CN112825195A - 物品摆放位置的确定方法、装置及计算机可读存储介质 - Google Patents

物品摆放位置的确定方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112825195A
CN112825195A CN201911146981.XA CN201911146981A CN112825195A CN 112825195 A CN112825195 A CN 112825195A CN 201911146981 A CN201911146981 A CN 201911146981A CN 112825195 A CN112825195 A CN 112825195A
Authority
CN
China
Prior art keywords
wall
ground
indoor space
sideline
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911146981.XA
Other languages
English (en)
Other versions
CN112825195B (zh
Inventor
贾海晶
刘丽艳
伊红
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201911146981.XA priority Critical patent/CN112825195B/zh
Priority to JP2020188596A priority patent/JP7001138B2/ja
Publication of CN112825195A publication Critical patent/CN112825195A/zh
Priority to JP2021203620A priority patent/JP7222418B2/ja
Application granted granted Critical
Publication of CN112825195B publication Critical patent/CN112825195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了物品摆放位置的确定方法、装置及计算机可读存储介质。其中,本发明实施例提供的物品摆放位置的确定方法,包括:获取室内空间的第一图像;对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地‑墙边线的位置信息、墙‑墙边线存在的可能性信息和物品摆放的可能性信息;根据所述室内空间中的地‑墙边线的位置信息、墙‑墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地‑墙边线的位置。本发明实施例可以确定某个室内空间中适合摆放物品的具体位置,为虚拟物品的自动摆放提供了先验知识。

Description

物品摆放位置的确定方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种物品摆放位置的确定方法、装置及计算机可读存储介质。
背景技术
全景(Panorama),又被称为三维(3D)实景,是一种新兴的富媒体技术,其与视频,声音,图片等传统的流媒体最大的区别是“可操作,可交互”。全景虚拟现实(也称实景虚拟)是基于全景图像的真实场景虚拟现实技术,它通过计算机技术实现全方位互动式观看真实场景的还原展示。在播放插件的支持下,可以调整环视的方向,使用户感到处在现场环境当中,获得接近于真实场景中的体验。
全景虚拟现实的一种应用场景是:在全景图像中放置虚拟物体。例如,可以用全景相机拍摄一张空房间的室内图像,然后在这个空房间摆放一些虚拟的家具,让这个房间看起来更有吸引力。例如,目前房地产经纪人拍摄的很多待出售或出租的房屋房间都是空房间,如果可以在这些房间放置一些虚拟的家具后再展示给客户,客户就可以想象他们住进来是什么样的,从而有利于提升交易率并降低交易周期。
全景图像中放置虚拟家具的业务受到了很多房地产公司的欢迎,但是该业务的进一步扩展却很困难,其原因在于:目前该业务主要由人工来完成,需要花费大量的人力和时间成本。因此,亟需一种能够在全景图像中自动放置虚拟物品的解决方案,而上述解决方案中首先需要解决的问题是确定适合摆放物品的位置。
发明内容
本发明实施例要解决的技术问题是提供一种物品摆放位置的确定方法、装置及计算机可读存储介质,可以确定空间中适合摆放物品的位置,为虚拟物品的自动摆放提供先验知识。
为解决上述技术问题,本发明实施例提供的物品摆放位置的确定方法,包括:
获取室内空间的第一图像;
对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;
提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
可选的,根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置的步骤,包括:
根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;
根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度;
根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
可选的,根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置的步骤,包括:
利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线;
从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
可选的,提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息的步骤,包括:
将所述第二图像输入至一预先训练好的神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
可选的,所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,均采用宽度等于所述第二图像的宽度的一维数组表示,所述一维数组中的第k个元素表示所述第二图像的第k列图像列对应的取值。
可选的,在获取室内空间的第一图像的步骤之前,所述方法还包括:
获取多个经过垂直校正的样本图像及其标签,所述标签包括所述样本图像对应的室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
利用所述样本图像及其标签,训练神经网络及权重,得到训练好的神经网络模型。
可选的,所述标签中,物品摆放的可能性信息是根据对应的第k列图像列中的墙是否被截断来标注的。
可选的,所述物品为家具。
本发明实施例还提供了一种物品摆放位置的确定装置,包括:
图像获取单元,用于获取室内空间的第一图像;
图像校正单元,用于对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;
特征分析单元,用于提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
位置确定单元,用于根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
可选的,所述位置确定单元,还用于根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度;根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
可选的,所述位置确定单元,还用于利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线;从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
可选的,所述特征分析单元,还用于将所述第二图像输入至一预先训练好的神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
本发明实施例还提供了一种物品摆放位置的确定装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的物品摆放位置的确定方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的物品摆放位置的确定方法的步骤。
与现有技术相比,本发明实施例提供的物品摆放位置的确定方法、装置及计算机可读存储介质,可以确定某个室内空间中适合摆放物品的具体位置,为虚拟物品的自动摆放提供了先验知识。另外,本发明实施例在确定物品摆放位置时,还考虑了物品的宽度限制,可以选择出适合摆放特定物品的具体位置。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的物品摆放位置的确定方法的一种流程示意图;
图2为本发明实施例提供的地-墙边线的位置信息的示例图;
图3为本发明实施例提供的墙-墙边线存在的可能性信息的示例图;
图4为本发明实施例提供的物品摆放的可能性信息的示例图;
图5为本发明实施例提供的所确定的墙-墙边线的示例图;
图6为本发明实施例提供的融合地-墙边线的位置信息和物品摆放的可能性信息的示例图;
图7为本发明实施例提供的确定物品摆放位置的示例图;
图8为本发明实施例采用的一种神经网络模型的结构示例图;
图9为本发明实施例的物品摆放位置的确定装置的另一种结构示意图;
图10为本发明实施例的物品摆放位置的确定装置的又一结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
为了支持虚拟物品的自动摆放,本发明实施例提供了一种确定空间中适合摆放物品的位置的方法,该方法可以确定特定室内空间中适合摆放物品的具体位置,从而可以为虚拟物品的自动摆放提供先验知识。本发明实施例中,所述物品具有一定的体积,在摆放于室内空间时需要占用一定的空间。所述物品具体可以是家具(如沙发、桌椅和衣柜等),还可以是特定室内空间中可能摆放的其他用品,如办公室内通常摆放的复印机和打印机等设备,展览场所内摆放的各种产品等,本发明实施例对此不作具体限定。
如图1所示,本发明实施例提供的物品摆放位置的确定方法可以包括:
步骤101,获取室内空间的第一图像。
这里,第一图像可以是采用全景相机对某个室内空间拍摄得到的全景图像(如等距柱状投影图),也可以是采用普通视场角相机拍摄得到的透视图。为了便于后续处理,可以尽量减少所述室内空间内摆放的物品,例如,所述室内空间为空房间,没有摆放家具或其他物品。
步骤102,对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像。
在建筑结构中,相邻墙面(与水平方向相垂直的墙体的表面)之间的交线通常是位于垂直方向(即与水平面相垂直的方向)。而在所拍摄的图像中,由于拍摄角度以及形变等原因,上述交线可能偏离了垂直方向。本发明实施例在步骤102中对第一图像进行垂直校正,将相邻墙面间的交线调整至垂直方向,得到校正后的图像,这里称之为第二图像。垂直校正的具体实现可以参考现有技术的垂直/倾斜校正算法,本发明实施例对此不做具体限定。通过垂直校正,可以使得第二图像中两面相邻墙面的墙-墙边线在图像坐标系中是垂直的竖线。
步骤103,提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
在本发明实施例中,可以利用一预先训练好的神经网络模型执行上述步骤103,例如,将所述第二图像输入至所述神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。其中,所述地-墙边线是指室内空间中的地面与墙面的交线,所述墙-墙边线是指室内空间中的墙面与墙面的交线。
这里,所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,可以都采用宽度等于所述第二图像的宽度的一维数组表示,其中,所述一维数组中的第k个元素表示所述第二图像的第k列图像列对应的取值。例如,第二图像是高×宽为512×1024的图像,其宽度方向上包括有1024个像素单位。那么,所述室内空间中的地-墙边线的位置信息是一个1×1024维的数组,该数组中的第k个元素表示第二图像中第k列图像列对应的地-墙边线的位置信息,这里,第k列图像列是指第二图像中的第k列像素点所组成的图像。类似的,所述室内空间中的墙-墙边线存在的可能性信息也是一个1×1024维的数组,该数组中的第k个元素表示第二图像中第k列图像列对应的墙-墙边线存在的可能性信息;所述室内空间中的物品摆放的可能性信息也是一个1×1024维的数组,该数组中的第k个元素表示第二图像中第k列图像列对应的物品摆放的可能性信息。
图2~4分别给出了将第二图像输入神经网络模型进行特征提取,并预测到的所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息的示例。其中,图2~4中的横坐标表示图像列,纵坐标表示各个预测结果的取值,如地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息的取值。这里,地-墙边线的位置信息已归一化至[-π/2,π/2],墙-墙边线存在的可能性信息已归一化至[0,1],物品摆放的可能性信息为也已归一化至[0,1]。
步骤104,根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
这里,考虑到物品通常需要有一定的宽度,过窄的墙面所对应的区域,由于空间限制,通常不适宜摆放物品。因此,在上述步骤104中,本发明实施例可以根据步骤103中获得的多个参数,确定适合摆放物品的地-墙边线的位置,具体可以包括:
a)根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;以及,根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度。
这里,本发明实施例中,某个图像列对应的墙-墙边线存在的可能性信息的取值越大,表示该图像列存在墙-墙边线可能性越大,因此可以查找所述室内空间中的墙-墙边线存在的可能性信息中的波峰位置,确定墙-墙边线的位置。图5给出了根据波峰位置确定墙-墙边线的位置的一个示例,图5中的墙-墙边线51~57即为根据墙-墙边线存在的可能性信息的波峰位置所确定的墙-墙边线。
另外,本发明实施例还可以融合所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度,例如,针对每个图像列对应的物品摆放的可能性信息,赋予给该图像列对应的地-墙边线,作为该图像列对应的地-墙边线适合摆放物品的置信度。图6给出了融合了室内空间中的地-墙边线的位置信息和物品摆放的可能性信息的一种示例,该示例中,对于置信度不大于预设置信度阈值的地-墙边线未显示,仅显示了置信度大于所述预设置信度阈值的地-墙边线。
b)根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
这里,可以利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线,即利用墙-墙边线,对地-墙边线进行了分割,分割成各个墙面的地-墙边线。然后,从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
图7给出了上述步骤b的一个示例,通过利用所述室内空间中的墙-墙边线51~57的位置信息,将所述室内空间中的地-墙边线划分出多个墙面,分别为墙面701~708。由于图7中显示的地-墙边线均为所述置信度大于所述预设置信度阈值的边线,因此仅需要从所显示的每个墙面的地-墙边线711~716中,找到长度大于预设长度阈值的连续部分,就可以得到适合摆放物品的地-墙边线的位置。可以看出,墙面705中存在3段连续且所述置信度大于所述预设置信度阈值的地-墙边线712~714,但它们的长度均小于预设长度阈值,因此将舍弃。而墙面704中的地-墙边线711,以及,墙面706中的地-墙边线715均满足上述长度要求,因此被作为适合摆放物品的地-墙边线的位置。
通过以上步骤,本发明实施例可以确定某个室内空间中适合摆放物品的具体位置,为虚拟物品的自动摆放提供了先验知识。另外,本发明实施例在上述步骤中还考虑了物品通常具有一定的宽度,从而可以根据具体的物品宽度,选择出适合摆放该物品的具体位置。
本发明实施例在上述步骤103中利用预先训练好的神经网络模型获取相关信息,下面进一步提供了本发明实施例训练得到所述神经网络模型的实现方式。具体的,在上述步骤101之前,本发明实施例可以获取多个经过垂直校正的样本图像及其标签,这里标签可以是人工方式进行标注的,所述标签可以包括所述样本图像对应的室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。然后,利用所述样本图像及其标签,训练神经网络及权重,得到训练好的神经网络模型。
作为一种实现方式,本发明实施例中,地-墙边线的位置信息和墙-墙边线存在的可能性信息可以是经过归一化处理的结果。例如,地-墙边线的位置信息可以是以图像坐标系为参考坐标系,然后统一归一化至[-π/2,π/2];墙-墙边线存在的可能性信息可以归一化至[0,1]。本发明实施例还提供了墙-墙边线存在的可能性信息归一化的一种实现方式,具体为,当前图像列的墙-墙边线存在的可能性信息等于0.96d,其中,d是该图像列的列索引和与该图像列距离最近的墙-墙边线所在的图像列的距离。
另外,物品摆放的可能性信息中第k个元素的值通常取决于第k列图像列中的墙是否被截断,这里的是否被截断可以依据预设的规则进行判断,例如,在第k列图像列中存在某些预设的目标物(例如,窗户、衣柜或门等),则判断墙被截断;在第k列图像列中不存在所述目标物时,则判断墙未被截断,此时,墙面上可能没有任何物品,也可能存在一些不影响物品摆放的其他物品,如开关、空调等。如果墙被截断,那么第k个元素的值可以设置为0,反之,可以设置为1。当然,也可以将上述0和1的取值对调,只需要预先定义不同取值所代表的含义即可。
图8提供了本发明实施例可以采用的一种神经网络模型的结构示例图,需要说明的是,本发明实施例对神经网络模型的结构不做具体限制,图8仅以卷积神经网络(ResNet-101网络)作为一个示例进行说明,该示例中:
输入的图像的尺寸为512×1024(高×宽)。ResNet-101网络包括有四个块conv2_x,conv3_x,conv4_x和conv5_x的输出特征会分别进行上采样和变形处理,上采样处理包括连续4层卷积操作和上采样,卷积操作将特征高度压缩至1/16,卷积核大小为3×3,步长为2×1(h×w),每层卷积操作后伴有一个ReLU激活函数。上采样是将特征的宽度采样到相同宽度256。变形处理是将特征的尺寸统一到相同的高度1。然后,将处理后的四块特征沿着通道这一维度进行拼接,并重新调整特征的尺寸,得到尺寸为1×256×1024(c×h×w)的特征,至此特征提取任务完成。
之后,仍然需要全连接层来完成地-墙边线位置,墙-墙边线存在可能性以及物品摆放可能性的预测。该特征经过两次线性操作后,尺寸为3×1024(h×w),可以看作是3个1×1024数组。对于第一个1×1024数组,送入L1损失函数层,可以得到地-墙边线的位置信息;对于第二个1×1024数组,送入二值交叉熵损失函数层,可以得到墙-墙边线存在的可能性信息;对于第三个1×1024数组,送入二值交叉熵损失函数层,可以得到物品摆放的可能性信息。
基于以上方法,本发明实施例还提供了实施上述方法的装置,请参考图9,本发明实施例提供的物品摆放位置的确定装置900,包括:
图像获取单元901,用于获取室内空间的第一图像;
图像校正单元902,用于对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;
特征分析单元903,用于提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
位置确定单元904,用于根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
通过以上单元,本发明实施例的物品摆放位置的确定装置900可以确定空间中适合摆放物品的位置,为虚拟物品的自动摆放提供先验知识。
可选的,所述位置确定单元904,还用于根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度;根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
可选的,所述位置确定单元904,还用于利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线;从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
可选的,所述特征分析单元903,还用于将所述第二图像输入至一预先训练好的神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
可选的,所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,均采用宽度等于所述第二图像的宽度的一维数组表示,所述一维数组中的第k个元素表示所述第二图像的第k列图像列对应的取值。
可选的,上述物品摆放位置的确定装置900还包括以下单元:
模型训练单元(图9中未示出),用于获取多个经过垂直校正的样本图像及其标签,所述标签包括所述样本图像对应的室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;利用所述样本图像及其标签,训练神经网络及权重,得到训练好的神经网络模型。
可选的,所述标签中,物品摆放的可能性信息是根据对应的第k列图像列中的墙是否被截断来标注的。这里的墙是否被截断可以依据预设的规则进行判断,例如,在第k列图像列中存在某些预设的目标物,则判断墙被截断;在第k列图像列中不存在所述目标物时,则判断墙未被截断。如果墙被截断,那么第k个元素的值可以设置为0,反之,可以设置为1。当然,也可以将上述0和1的取值对调,只需要预先定义不同取值所代表的含义即可。
请参考图10,本发明实施例还提供了物品摆放位置的确定装置的一种硬件结构框图,如图10所示,该物品摆放位置的确定装置1000包括:
处理器1002;和
存储器1004,在所述存储器1004中存储有程序,
其中,在所述程序被所述处理器运行时,使得所述处理器1002执行以下步骤:
获取室内空间的第一图像;
对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;
提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
进一步地,如图10所示,该物品摆放位置的确定装置1000还可以包括网络接口1001、输入设备1003、硬盘1005、和显示设备1006。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量的互联的总线和桥。具体由处理器1002代表的一个或者多个中央处理器(CPU),以及由存储器1004代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解,总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外,还包括电源总线、控制总线和状态信号总线,这些都是本领域所公知的,因此本文不再对其进行详细描述。
所述网络接口1001,可以连接至网络(如因特网、局域网等),从网络中收集所述第一图像和/或样本数据(包括样本图像及其标签),并可以将收集到的数据保存在硬盘1005中。
所述输入设备1003,可以接收操作人员输入的各种指令,并发送给处理器1002以供执行。所述输入设备1003可以包括键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等)。
所述显示设备1006,可以将处理器1002执行指令获得的结果进行显示,例如适合摆放物品的地-墙边线的位置等。
所述存储器1004,用于存储操作系统运行所必须的程序和数据,以及处理器1002计算过程中的中间结果等数据。
可以理解,本发明实施例中的存储器1004可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM),其用作外部高速缓存。本文描述的装置和方法的存储器1004旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器1004存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统10041和应用程序10042。
其中,操作系统10041,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序10042,包含各种应用程序,例如浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序10042中。
本发明上述实施例揭示的方法可以应用于处理器1002中,或者由处理器1002实现。处理器1002可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1002中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1002可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1004,处理器1002读取存储器1004中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选的,所述程序被处理器1002执行时还可实现如下步骤:
根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;
根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度;
根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
可选的,所述程序被处理器1002执行时还可实现如下步骤:
利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线;
从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
可选的,所述程序被处理器1002执行时还可实现如下步骤:
将所述第二图像输入至一预先训练好的神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
可选的,所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,均采用宽度等于所述第二图像的宽度的一维数组表示,所述一维数组中的第k个元素表示所述第二图像的第k列图像列对应的取值。
可选的,所述程序被处理器1002执行时还可实现如下步骤:
获取多个经过垂直校正的样本图像及其标签,所述标签包括所述样本图像对应的室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
利用所述样本图像及其标签,训练神经网络及权重,得到训练好的神经网络模型。
可选的,所述标签中,物品摆放的可能性信息是根据对应的第k列图像列中的墙是否被截断来标注的。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的物品摆放位置的确定方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种物品摆放位置的确定方法,其特征在于,包括:
获取室内空间的第一图像;
对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;
提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
2.如权利要求1所述的方法,其特征在于,根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置的步骤,包括:
根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;
根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度;
根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
3.如权利要求2所述的方法,其特征在于,根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置的步骤,包括:
利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线;
从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
4.如权利要求1至3任一项所述的方法,其特征在于,提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息的步骤,包括:
将所述第二图像输入至一预先训练好的神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
5.如权利要求4所述的方法,其特征在于,
所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,均采用宽度等于所述第二图像的宽度的一维数组表示,所述一维数组中的第k个元素表示所述第二图像的第k列图像列对应的取值。
6.如权利要求4所述的方法,其特征在于,在获取室内空间的第一图像的步骤之前,所述方法还包括:
获取多个经过垂直校正的样本图像及其标签,所述标签包括所述样本图像对应的室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
利用所述样本图像及其标签,训练神经网络及权重,得到训练好的神经网络模型。
7.如权利要求6所述的方法,其特征在于,所述标签中,物品摆放的可能性信息是根据对应的第k列图像列中的墙是否被截断来标注的。
8.如权利要求1至3任一项所述的方法,其特征在于,所述物品为家具。
9.一种物品摆放位置的确定装置,其特征在于,包括:
图像获取单元,用于获取室内空间的第一图像;
图像校正单元,用于对所述第一图像进行垂直校正,将所述第一图像中的相邻墙面间的交线调整至垂直方向,得到第二图像;
特征分析单元,用于提取所述第二图像的特征,通过特征分析,得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息;
位置确定单元,用于根据所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息,确定适合摆放物品的地-墙边线的位置。
10.如权利要求9所述的装置,其特征在于,
所述位置确定单元,还用于根据所述室内空间中的墙-墙边线存在的可能性信息,查找其中的波峰位置,得到所述室内空间中的墙-墙边线的位置信息;根据所述室内空间中的地-墙边线的位置信息和物品摆放的可能性信息,确定地-墙边线适合摆放物品的置信度;根据所述室内空间中的墙-墙边线的位置信息和所述地-墙边线适合摆放物品的置信度,确定适合摆放物品的地-墙边线的位置。
11.如权利要求10所述的装置,其特征在于,
所述位置确定单元,还用于利用所述室内空间中的墙-墙边线的位置信息,将所述室内空间中的地-墙边线划分为各个墙面的地-墙边线;从各个墙面的地-墙边线中,选择出长度大于预设长度阈值,且所述置信度大于预设置信度阈值的连续部分,得到适合摆放物品的地-墙边线的位置。
12.如权利要求9至11任一项所述的装置,其特征在于,
所述特征分析单元,还用于将所述第二图像输入至一预先训练好的神经网络模型中进行特征提取,并通过所述神经网络模型预测得到所述室内空间中的地-墙边线的位置信息、墙-墙边线存在的可能性信息和物品摆放的可能性信息。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的物品摆放位置的确定方法的步骤。
CN201911146981.XA 2019-11-21 2019-11-21 物品摆放位置的确定方法、装置及计算机可读存储介质 Active CN112825195B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911146981.XA CN112825195B (zh) 2019-11-21 2019-11-21 物品摆放位置的确定方法、装置及计算机可读存储介质
JP2020188596A JP7001138B2 (ja) 2019-11-21 2020-11-12 アイテムの配置位置の決定方法、装置およびコンピュータ読み取り可能な記憶媒体
JP2021203620A JP7222418B2 (ja) 2019-11-21 2021-12-15 アイテムの配置位置の決定方法、装置およびコンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911146981.XA CN112825195B (zh) 2019-11-21 2019-11-21 物品摆放位置的确定方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112825195A true CN112825195A (zh) 2021-05-21
CN112825195B CN112825195B (zh) 2024-06-21

Family

ID=75907198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911146981.XA Active CN112825195B (zh) 2019-11-21 2019-11-21 物品摆放位置的确定方法、装置及计算机可读存储介质

Country Status (2)

Country Link
JP (2) JP7001138B2 (zh)
CN (1) CN112825195B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297741A (zh) * 2021-11-17 2022-04-08 万翼科技有限公司 砌体墙建模方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530404A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar虚拟现实技术和云存储的待售房屋考察系统
WO2017061954A1 (en) * 2015-10-06 2017-04-13 Singapore Valley Pte. Ltd. Method and system for an online space planning tool
CN106779900A (zh) * 2016-11-09 2017-05-31 大连文森特软件科技有限公司 基于ar虚拟现实技术的待售房屋考察系统
JP2018180803A (ja) * 2017-04-10 2018-11-15 富士通株式会社 モデル配置プログラム、モデル配置方法およびモデル配置装置
CN108875651A (zh) * 2018-06-22 2018-11-23 深圳市易成自动驾驶技术有限公司 物品摆放评估方法、装置及计算机可读存储介质
CN108959669A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和系统
CN109643445A (zh) * 2016-09-19 2019-04-16 苏州宝时得电动工具有限公司 安装定位方法及装置
CN110363853A (zh) * 2019-07-15 2019-10-22 贝壳技术有限公司 家具摆放方案生成方法、装置以及设备、存储介质
US20190325653A1 (en) * 2018-04-23 2019-10-24 Houzz, Inc. Augmented reality based item modeling

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061954A1 (en) * 2015-10-06 2017-04-13 Singapore Valley Pte. Ltd. Method and system for an online space planning tool
CN109643445A (zh) * 2016-09-19 2019-04-16 苏州宝时得电动工具有限公司 安装定位方法及装置
CN106530404A (zh) * 2016-11-09 2017-03-22 大连文森特软件科技有限公司 基于ar虚拟现实技术和云存储的待售房屋考察系统
CN106779900A (zh) * 2016-11-09 2017-05-31 大连文森特软件科技有限公司 基于ar虚拟现实技术的待售房屋考察系统
JP2018180803A (ja) * 2017-04-10 2018-11-15 富士通株式会社 モデル配置プログラム、モデル配置方法およびモデル配置装置
CN108959669A (zh) * 2017-05-19 2018-12-07 深圳市掌网科技股份有限公司 智能的家居设计方法和系统
US20190325653A1 (en) * 2018-04-23 2019-10-24 Houzz, Inc. Augmented reality based item modeling
CN108875651A (zh) * 2018-06-22 2018-11-23 深圳市易成自动驾驶技术有限公司 物品摆放评估方法、装置及计算机可读存储介质
CN110363853A (zh) * 2019-07-15 2019-10-22 贝壳技术有限公司 家具摆放方案生成方法、装置以及设备、存储介质

Also Published As

Publication number Publication date
JP7001138B2 (ja) 2022-01-19
JP2021082276A (ja) 2021-05-27
JP2022037125A (ja) 2022-03-08
CN112825195B (zh) 2024-06-21
JP7222418B2 (ja) 2023-02-15

Similar Documents

Publication Publication Date Title
CN114072801B (zh) 用于建筑位置的全景图像在移动设备上的自动生成和随后使用
KR101561827B1 (ko) 단말 화면 상의 객체 처리 장치 및 방법
US11184646B2 (en) 360-degree panoramic video playing method, apparatus, and system
EP2375376A1 (en) Method and arrangement for multi-camera calibration
CN110287877B (zh) 视频目标的处理方法及装置
CN102016927A (zh) 使用图像内容来帮助在全景图像数据中导航
JP7352748B2 (ja) 三次元再構築方法、装置、機器及び記憶媒体
EP2555156B1 (en) Image mosaicing
CN108648140B (zh) 图像拼接方法、系统、设备及存储介质
Kopf et al. Locally adapted projections to reduce panorama distortions
CN108648149B (zh) 基于增强现实的图像拼接方法、系统、设备及存储介质
US7126603B2 (en) Method and system for creating interactive walkthroughs of real-world environment from set of densely captured images
CN114416244A (zh) 信息的显示方法、装置、电子设备及存储介质
CN113625863A (zh) 自主式导览虚拟场景的创建方法、系统、设备和存储介质
CN111161138A (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
CN112825195B (zh) 物品摆放位置的确定方法、装置及计算机可读存储介质
CN112580435B (zh) 人脸定位方法、人脸模型训练与检测方法及装置
CN110427936B (zh) 一种酒窖的藏酒管理方法及系统
WO2017024954A1 (zh) 图像显示方法及装置
CN117058343A (zh) 一种基于nerf的vr看展方法、系统、电子设备和存储介质
EP3177005B1 (en) Display control system, display control device, display control method, and program
CN111091117A (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
CN116168100A (zh) 构图生成方法、构图生成装置、计算机设备及其介质
CN114299271A (zh) 三维建模方法、三维建模装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant