CN112712584B - 空间建模方法、装置、设备 - Google Patents

空间建模方法、装置、设备 Download PDF

Info

Publication number
CN112712584B
CN112712584B CN201911024592.XA CN201911024592A CN112712584B CN 112712584 B CN112712584 B CN 112712584B CN 201911024592 A CN201911024592 A CN 201911024592A CN 112712584 B CN112712584 B CN 112712584B
Authority
CN
China
Prior art keywords
line
line segment
wall
corrected
wall surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911024592.XA
Other languages
English (en)
Other versions
CN112712584A (zh
Inventor
冀鼎皇
冷晓旭
黄梓敬
李嗣旺
于景铭
刘梦怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201911024592.XA priority Critical patent/CN112712584B/zh
Priority to TW109128232A priority patent/TWI845744B/zh
Priority to US17/075,064 priority patent/US11729511B2/en
Priority to PCT/US2020/056582 priority patent/WO2021081037A1/en
Publication of CN112712584A publication Critical patent/CN112712584A/zh
Application granted granted Critical
Publication of CN112712584B publication Critical patent/CN112712584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G01B5/008—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points using coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种空间建模方法、装置和设备，该空间建模方法包括：获取在空间内拍摄的全景图；根据墙面的曼哈顿结构特征，确定全景图中包含的墙线；根据墙线构建空间的三维模型。根据墙面的曼哈顿结构特征即墙面之间相互垂直的结构特征，能够准确地识别出全景图中包含的墙线，而该墙线反映了该空间中各个墙面的位置，而空间中各墙面的位置也可以反映出该空间的整体形状，从而，最终可以根据确定出的墙线准确地构建出空间的三维模型。

Description

空间建模方法、装置、设备
技术领域
本发明涉及互联网技术领域，尤其涉及一种空间建模方法、装置、设备。
背景技术
随着科技的不断发展，人们可以通过互联网在线地完成事情。
原本用户想要租用或购买某个厂房、商品住房，需要实地去看，花费很多的时间精力。如何让用户足不出户地便能在线直观地看到诸如厂房、商品住房等空间的信息，是亟待解决的问题。
发明内容
本发明实施例提供一种空间建模方法、装置、设备，用以实现诸如厂房、商品住房等空间的三维模型的创建，以便于用户在线观看该三维模型便能快捷方便地获得该空间的相关信息。
第一方面，本发明实施例提供一种空间建模方法，该方法包括：
获取在空间内拍摄的全景图；
根据墙面的曼哈顿结构特征，确定所述全景图中包含的墙线；
根据所述墙线构建所述空间的三维模型。
第二方面，本发明实施例提供一种空间建模装置，该装置包括：
获取模块，用于获取在空间内拍摄的全景图；
墙线确定模块，用于根据墙面的曼哈顿结构特征，确定所述全景图中包含的墙线；
建模模块，用于根据所述墙线构建所述空间的三维模型。
第三方面，本发明实施例提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的空间建模方法。
本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现第一方面中的空间建模方法。
第四方面，本发明实施例提供一种墙线确定方法，该方法包括：
获取在空间内拍摄的画面；
识别所述画面中的预设物体；
根据所述物体与墙面之间的关联关系，确定所述画面中包含的墙线。
在本发明实施例中，当需要对某个空间（比如某个房间）进行三维模型的创建时，可以拍摄获取该空间的全景图，进而根据墙面的曼哈顿结构特征即墙面之间相互垂直的结构特征，确定全景图中包含的墙线。该墙线反映了该空间中各个墙面的位置，而空间中各墙面的位置也可以反映出该空间的整体形状，从而，最终可以根据确定出的墙线以及相机拍摄参数准确地构建出该空间的三维模型。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的空间建模方法的流程图；
图2为本发明一实施例提供的修正前的墙线的示意图；
图3为图2所示的墙线的修正结果示意图；
图4为本发明一实施例提供的墙线投影为的多条线段的示意图；
图5为图4所示的多条线段的修正结果示意图；
图6为本发明一实施例提供的线段的置信度的确定原理示意图；
图7为本发明另一实施例提供的线段的置信度的确定原理示意图；
图8至图14为本发明一实施例提供的墙线修正过程的示意图；
图15为本发明一实施例提供的空间建模方法的执行过程的示意图；
图16为本发明另一实施例提供的空间建模方法的流程图；
图17为本发明一实施例提供的门线检测过程的原理示意图；
图18为本发明一实施例提供的空间建模装置的结构示意图；
图19为与图18所示实施例提供的空间建模装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
为执行本发明实施例提供的空间建模方法，需要的硬件设备可以包括相机和计算设备。当然，如果相机具有满足要求的计算能力，则可以仅由相机来执行该空间建模方法。当由相机和诸如PC机、笔记本电脑、手机、服务器等计算设备来共同执行该空间建模方法时，相机用于采集空间的全景图，计算设备用于对该全景图进行处理。
图1为本发明一实施例提供的空间建模方法的流程图，如图1所示，可以包括如下步骤：
101、获取在空间内拍摄的全景图。
102、根据墙面的曼哈顿结构特征，确定全景图中包含的墙线。
103、根据确定出的墙线构建空间的三维模型。
本发明实施例中提及的空间可以是任意的建筑空间，比如可以是厂房、商品住房的某个房间、办公室，等等。该空间可以视为是由天花板、地板以及墙体组成的。
实际应用中，通过能够拍摄全景图的相机来进行某空间的全景图的拍摄，从而得到上述全景图。实际应用中，一个空间可以拍摄一张全景图，当然，如果该空间的面积较大，也可以拍摄多张全景图。后续对每张全景图的处理都是相同的。另外，实际上，也可以使用相机拍摄得到空间的视频画面，对该视频画面进行图像帧的分割，对得到的图像进行后续的墙线检测等处理。
在拍得某空间的全景图后，为了基于该全景图实现该空间的三维模型的创建，首先需要基于该全景图得知该空间的形状。而空间的墙面信息恰好能够反映出该空间的形状，因此，首先需要对该全景图进行分析以确定该空间的墙面信息，比如墙面的位置、尺寸。
具体地，通过对全景图进行墙线检测处理，便可以得到该全景图中包含的墙线。该墙线即为墙面的边界线，从而，由墙线检测结果便可以得知空间中包含的各个墙面的信息。
本实施例中，为了能够准确地从全景图中检测出墙线，结合墙面的曼哈顿结构特征来对全景图进行墙线检测处理，以确定全景图中包含的墙线。其中，所谓墙面的曼哈顿结构特征即为相邻墙面之间相互垂直的结构特征。
其中，可选地，在确定全景图中包含的墙线时，可以先将全景图输入到墙线检测模型中，以通过墙线检测模型输出第一墙线，进而，再根据墙面的曼哈顿结构特征对第一墙线进行修正，以得到第二墙线，此时，得到的第二墙线是满足曼哈顿结构特征的。基于此，最终会结合修正后的第二墙线以及相机的拍摄参数来构建空间的三维模型。
其中，墙线检测模型为预先训练好的用于进行墙线检测的模型，具体可以实现为诸如卷积神经网络等网络模型。该墙线检测模型可以采用现有技术中已经存在的用于检测墙线的模型即可。
另外，为提高墙线检测结果的准确性，在将全景图输入到墙线检测模型前，还可以对该全景图进行预处理，比如对全景图进行图像增强处理、对全景图进行朝向校正处理以使全景图中的竖直墙线与图像的纵轴方向平行，等等。
为对比描述，结合图2和图3来示例性说明第一墙线与第二墙线的差异。在图2中示意的是墙线检测模型检测输出的第一墙线。在图2中，由于家具A的遮挡，墙线检测模型错误地将遮挡墙线的家具A的边界认为是墙线。在图3中示意的是对第一墙线基于墙面的曼哈顿结构特征进行修正后得到的第二墙线。
下面介绍一种根据墙面的曼哈顿结构特征对上述第一墙线进行修正以得到第二墙线的实现方式：
将第一墙线映射到水平面上，以得到与第一墙线对应的多条线段；
根据墙面的曼哈顿结构特征，对多个线段进行修正；
将修正后的多条线段映射到全景图中，以得到第二墙线。
其中，上述水平面可以是地面或者是天花板。由于实际应用中，用户使用相机对空间进行全景图拍摄时，相机距离地面会有一定的高度，从相机的视角来说，相机向上转动拍摄会拍得空间中各墙面的上部，向下转动拍摄会拍得各墙面的下部，因此，如图2中所示，通过墙线检测模型输出的第一墙线可以由图2中示意的上下两条对称的墙线组成。
实际应用中，可以选用上面的一条墙线作为第一墙线，将该第一墙线向天花板投影以得到上述多条线段。此时，可以理解的是，第一墙线可以视为由空间中各墙面的上侧边界线依次连接而成，而上述多条线段即对应于各墙面的上侧边界线。
实际上，受到相机进行全景图拍摄的拍摄角度等的影响，可能会存在诸如家具等物体遮挡住墙线的情况，此时，墙线检测模型输出的第一墙线可能会存在错误。假设第一墙线向天花板进行映射得到的多条线段如图4中所示，分别为线段a、线段b、线段c、线段d、线段e、线段f、线段g。由图4中的示意可知，此时，这多条线段并不满足墙面的曼哈顿结构特征。具体来说，根据墙面的曼哈顿结构特征可知，相邻的墙面之间是垂直关系，亦即相邻的墙面的上侧边界之间是垂直关系，也就是说，如果第一墙线估计正确，那么图4中的多条线段中相邻两条线段应该是垂直关系，而现在图4中示意的多条线段并不满足该垂直关系，因此，可以认为第一墙线的检测结果是不准确的，需要进行修正。修正结果如图5中所示，在图5中，经过修正的多条线段（线段a’、线段b1’、 线段b2’、线段c’、线段d’、线段e’、线段f’、线段g’）满足相邻线段之间是垂直关系的特征。最后，将修正后的多条线段映射到全景图中便可以得到第一墙线的修正结果——第二墙线。
下面介绍如何对图4所示的多条线段进行修正以得到如图5中所示意的多条线段。
首先，需要确定该多个线段各自对应的置信度，进而，按照置信度由高到低的顺序，依次修正多个线段，使得修正后的相邻线段满足垂直关系。
其中，一条线段的置信度反映了这条线段是真实的墙线的可能性。
在一可选实施例中，可以通过如下方式确定多个线段各自对应的置信度：
针对多个线段中的任一线段，根据该任一线段分别与横纵坐标轴的夹角，确定与该任一线段对应的目标坐标轴，其中，该任一线段与目标坐标轴的夹角小于与非目标坐标轴的夹角，该任一线段与目标坐标轴的夹角作为任一线段的置信度。
以图4中示意的多条线段中的线段c为例，结合图6来示意性说明线段c的置信度的确定过程。
在投影第一墙线的水平面上建立二维坐标系如图6中所示，横轴表示为X，纵轴表示为Y。对于线段c来说，分别确定线段c与X轴和Y轴的夹角，假设如图6中所示，线段c与Y轴的夹角小于与X轴的夹角，从而确定线段c对应的目标坐标轴为Y轴，进而，确定线段c与Y轴的夹角θ作为线段c的置信度。
在另一可选实施例中，可以通过如下方式确定多个线段各自对应的置信度：
针对多个线段中的任一线段，根据该任一线段分别与横纵坐标轴的夹角，确定与该任一线段对应的目标坐标轴，其中，该任一线段与目标坐标轴的夹角小于与非目标坐标轴的夹角；
拟合出经过该任一线段的中点的拟合线段，拟合线段与目标坐标轴平行；
确定该任一线段上的多个点分别到拟合线段的距离；
确定距离小于设定阈值的点数占该多个点的总数的比值，以该比值作为该任一线段的置信度。
以图4中示意的多条线段中的线段c为例，结合图7来示意性说明线段c的置信度的确定过程。
首先，与图6中示意的情况相同，可以先确定线段c对应的目标坐标轴，由图6可知，对于线段c来说，目标坐标轴为Y轴。进而，可以采用现有的某种拟合方法拟合出一条经过线段c的中点，并且平行与Y轴的线段，称为拟合线段，比如为图7中的线段c’。进而，在线段c上选取多个点，分别计算这多个点到线段c’的距离。假设一共选取了N个点，如果这N个点中的M个点到线段c’的距离小于设定阈值，则认为比值M/N作为线段c的置信度。
在确定出多条线段各自对应的置信度后，按照置信度由高到低的顺序，依次修正多个线段，使得修正后的相邻线段满足垂直关系。
概括来说，首先按照置信度的排序确定出当前需要修正的线段，称为第一线段，进而，结合该第一线段的两个端点分别连接的两个线段（分别称为第二线段和第三线段）的修正情况，对该第一线段进行修正。
下面结合图8至图14示例性说明对图4中示意的多条线段进行修正的过程。
假设图4中所示的多条线段按照置信度由高到低的排序结果是：线段d、线段f、线段g、线段a、线段c、线段e、线段b。
初始情况下，根据该置信度排序可知，最先被确定为需要修正的第一线段为线段d，由于线段d左右相邻的线段c和线段e此时还未被修正，因此，根据线段d分别与横纵坐标轴的夹角，确定与第一线段对应的目标坐标轴，其中，线段d与目标坐标轴的夹角小于与非目标坐标轴的夹角，由图4的示意可知，线段d对应的目标坐标轴为X轴。进而，如图8中所示，将线段d被修正为与目标坐标轴即X轴平行的直线段：线段d’。
其中，线段d’的获取方式可以是上文中介绍的：拟合出一条经过线段d的中点并平行于目标坐标轴X轴的线段，该拟合出的线段即为线段d’。
置信度最高的线段d被修正完之后，按照置信度的排序，接下来需要被修正的为线段f。由于此时线段f左右相邻的线段g和线段e均未被修正，因此，线段f的修正过程与线段d的修正过程一致，不再赘述，线段f的修正结果为图9中示意的线段f’。
综上对线段d和线段f的修正过程可知：在根据多个线段各自对应的置信度确定出当前需要修正的第一线段后，若与第一线段连接的第二线段和第三线段均未被修正，则根据第一线段分别与横纵坐标轴的夹角，确定与第一线段对应的目标坐标轴，其中，第一线段与目标坐标轴的夹角小于与非目标坐标轴的夹角，进而，将第一线段修正为与目标坐标轴平行的直线段。
在修正完线段f之后，按照置信度的排序，接下来需要被修正的为线段g。此时，线段g左右相邻的线段f和线段a中存在一条线段即线段f已被修正，另一条线段a未被修正，因此，为满足墙面的曼哈顿结构特征亦即相邻线段应该为垂直关系的特征，此时，将线段g修正为与修正后的线段f’满足垂直关系的直线段，如图10中示意的线段g’。
在修正完线段g之后，按照置信度的排序，接下来需要被修正的为线段a。此时，线段a左右相邻的线段b和线段g中，线段g已被修正，另一条线段b未被修正，因此，为满足相邻线段应该为垂直关系的特征，此时，将线段a修正为与线段g的修正结果：线段g’满足垂直关系的直线段，如图11中示意的线段a’。
在修正完线段a之后，按照置信度的排序，接下来需要被修正的为线段c。此时，线段c左右相邻的线段b和线段d中，线段d已被修正，另一条线段b未被修正，因此，为满足相邻线段应该为垂直关系的特征，此时，将线段c修正为与线段d的修正结果：线段d’满足垂直关系的直线段，如图12中示意的线段c’。
结合上述对线段g、线段a和线段c的修正过程可知：在根据多个线段各自对应的置信度确定当前需要修正的第一线段后，若与第一线段连接的第二线段和第三线段中第二线段已被修正，第三线段未被修正，则将第一线段修正为与修正后的第二线段垂直的直线段。
在修正完线段c之后，按照置信度的排序，接下来需要被修正的为线段e。此时，线段e左右相邻的线段f和线段d均已被修正，并且，线段f和线段d的修正结果即线段f’和线段d’为平行关系，从而，为满足相邻线段应该为垂直关系的特征，线段e可以被修正为垂直于线段f’和线段d’的直线段，如图13中示意的线段e’。
其中，可以拟合经过线段e的中点并垂直于线段f’和线段d’的直线段作为线段e’。此时，线段e’若不能与线段f’和线段d’相交，则可以根据线段e’来调整线段f’和线段d’的长度，使得线段f’和线段d’的一侧端点分别与线段e’相交。
结合上述对线段e的修正过程可知：在根据多个线段各自对应的置信度确定当前需要修正的第一线段后，若与第一线段连接的第二线段和第三线段均已被修正，并且修正后的第二线段与修正后的第三线段为平行关系，则将第一线段修正为垂直于修正后的第二线段和修正后的第三线段的直线段。
在修正完线段e之后，按照置信度的排序，最后需要被修正的为线段b。此时，线段b左右相邻的线段a和线段c均已被修正，并且，线段a和线段c的修正结果即线段a’和线段c’为垂直关系，从而，为满足相邻线段应该为垂直关系的特征，线段b可以被修正为：以线段b作为斜边的两个直角边，如图14中示意的线段b1’和线段b2’。其中，可以理解的是，与线段a’相连接的直角边b1’与线段a’是垂直关系，与线段c’相连接的直角边b2’与线段c’是垂直关系。
结合上述对线段b的修正过程可知：在根据多个线段各自对应的置信度确定当前需要修正的第一线段后，若与第一线段连接的第二线段和第三线段均已被修正，并且修正后的第二线段与修正后的第三线段为垂直关系，则确定以第一线段作为斜边的两个直角边，第一线段被修正为该两个直角边。
通过上述修正过程，最终，图4所示的多条线段被修正为图5所示的多条线段。将图5所示的多条线段还原到全景图中，即完成了对第一墙线的修正，第一墙线的修正结果称为第二墙线。从而，基于第二墙线可以准确地确定出空间的墙体的布局。进而，结合相机的拍摄参数便可以完成该空间的三维模型的创建。其中，相机的拍摄参数比如可以包括相机的拍摄高度即距离地面的高度等信息，基于成像原理以及相机拍摄参数和第二墙线的确定结果，便可以得知该空间的高度、墙体布局信息，从而完成三维模型的创建。
为便于直观地理解上述空间建模方法的执行过程，结合图15所示实施例来举例说明。在图15所示实施例中，假设用户通过相机采集了某个房间的全景图，进而，对采集的全景图进行墙线检测处理，得到初步检测出的墙线，进而，基于房间内的墙面是符合曼哈顿结构特征的假设，对初步检测出的墙线进行修正，假设最终得到的墙线如图15中所示，进而，基于最终得到的墙线构建出如图15中示意的三维模型。
图16为本发明另一实施例提供的空间建模方法的流程图，如图16所示，该方法可以包括如下步骤：
1601、获取在空间内拍摄的全景图。
1602、根据墙面的曼哈顿结构特征，确定全景图中包含的墙线。
1603、根据全景图中包含的墙线，将全景图投影到墙面上，以得到二维的墙面图像。
1604、根据门线的矩形结构特征，从墙面图像中识别出门线。
基于前述其他实施例中的说明可知，基于对某个空间比如某个房间的全景图的采集以及对该全景图进行墙线检测的结果，可以构建出该空间的三维模型。在一种实际应用场景中，可能会存在多个彼此相邻的空间，比如一个房子里包含的多个房间，如果要实现对这多个空间的三维模型的创建，基于相邻空间是由门连接的这个前提，还可以对全景图进行门线检测，从而，基于门线检测结果可以实现多个空间的三维模型的创建。具体地，在基于每个空间的墙线检测结果构建出每个空间的三维模型之后，可以基于门线检测结果确定多个空间的位置关系，进而按照该位置关系拼接多个空间各自对应的三维模型，便可以得到多个空间的三维模型。
在一可选实施例中，当检测出一个全景图中包含的门线后，可以向用户输出该门线检测结果，以便用户可以根据该门线检测结果完成多个空间各自对应的三维模型的拼接。
可以理解的是，当存在多个相邻的空间时，每个空间可以拍摄一张全景图，从而，对每个全景图进行前述实施例中介绍的墙线检测处理，便可以得到每个全景图中包含的墙线。进而，针对任一全景图来说，可以基于该全景图的墙线检测结果进行该全景图中包含的门线的检测。
具体地，对于某全景图来说，首先，根据该全景图中包含的墙线，将该全景图投影到墙面上，以得到二维的墙面图像；进而，根据门线的矩形结构特征，从该墙面图像中识别出门线。
其中，所谓门线的矩形结构特征是指，门的边界即门线投影到墙面之后为矩形形状，且左右两边的竖直门线与地面垂直，上下两边的水平门线与地面平行。
基于此，在将全景图向检测出的多个墙面（由检测出的墙线可以界定出空间中包含的各个墙面）进行投影后，可以得到多张墙面图像，针对每张墙面图像，可以结合上述门线的矩形结构特征从中检测出符合该特征的门线。
可选地，可以通过对墙面图像进行矩形图形的检测，以便识别出其中是否包含门线，当然，实际应用中，为了避免墙面图像中其他线条的干扰，还可以进一步结合门的高度信息从墙面图像中过滤掉不符合门的高度信息的线条，比如：如果检测出的由四条线条围成的矩形图形的尺寸明显与门的尺寸不符，则过滤掉该矩形图形。
可选地，为提高门线检测结果的准确性和检测效率，还可以借助深度学习的方式从全景图中检测出门线。实现方式可以参考如下方案实现：
根据全景图中包含的墙线，将全景图投影到墙面上，以得到二维的墙面图像；
提取墙面图像中包含的竖直线段；
对墙面图像进行二值化处理，以得到第一二值化图像，第一二值化图像中仅包含上述竖直线段；
将第一二值化图像和墙面图像输入到门线检测模型中，以通过门线检测模型输出该墙面图像中包含的竖直门线；
对墙面图像进行转置；
提取转置后的墙面图像中包含的竖直线段；
对转置后的墙面图像进行二值化处理，以得到第二二值化图像，第二二值化图像中仅包含转置后的墙面图像中的竖直线段；
将第二二值化图像和转置后的墙面图像输入到门线检测模型中，以通过门线检测模型输出墙面图像中包含的水平门线。
其中，可选地，为节省计算量，所述对墙面图像进行转置，可以实现为：从墙面图像中截取出包含所述竖直门线的图像区域，对截取出的图像区域进行转置。
本实施例中，门线检测模型可以采用卷积神经网络等网络模型来实现。本实施例中，为检测出门线，定义了两个损失函数，其中一个是损失函数的物理含义是：预测输入图像（为上述墙面图像和转置后的墙面图像）中各像素的分类，该分类反映了像素是否位于门框内，比如位于门框内的像素被预测的概率值为1，不位于门框内的像素被预测的概率值为0。另一个损失函数的物理含义是：预测输入图像（为上述墙面图像和转置后的墙面图像）中各像素距离最近门线的距离。
下面结合图17来示例性说明上述门线检测过程的执行。
假设全景图向某个墙面的投影结果如图17中所示，在该墙面图像中包括一个门，一个电视机。进而，对该墙面图像进行竖直线段的提取，基于提取结果生成与该墙面图像对应的第一二值化图像，如图17中所示，在该第一二值化图像中，墙面图像中被提取出的各个竖直线段被表示为黑色，墙面图像中其他位置的内容都被设置为白色。当然，可选地，在进行竖直线段提取时，可以过滤掉长度低于预设阈值的竖直线段，该阈值是根据门的尺寸设定的。
进而，将第一二值化图像和墙面图像作为输入，输入到门线检测模型中，由门线监测模型根据该墙面图像中哪些像素位于门框内以及各像素与最近门线的距离的预测结果确定出该墙面图像中包含的竖直门线。
进而，对墙面图像进行转置，相当于旋转90度，提取转置后的墙面图像中包含的竖直线段，以及根据提取结果生成第二二值化图像，再将第二二值化图像和转置后的墙面图像输入到门线检测模型中，由门线监测模型根据该墙面图像中哪些像素位于门框内以及各像素与最近门线的距离的预测结果确定出该墙面图像中包含的竖直门线，由于对墙面图像进行了转置，此时检测出的竖直门线其实为真正的水平门线。
以上各实施例中介绍的是基于墙面的曼哈顿结构特征来进行墙线检测，实际应用中，除此之外，还可以结合空间内与墙面相关的物体来进行墙线的检测。基于此，本发明实施例还提供了如下的墙线确定方法：
获取在空间内拍摄的画面；
识别该画面中的预设物体；
根据该物体与墙面之间的关联关系，确定画面中包含的墙线。
实际应用中，该画面可以是对空间进行全景图拍摄得到的全景图，也可以是站在空间内的某位置向不同方向拍得的多张图片，可以是对空间进行视频拍摄得到的视频中的若干帧图像。
本实施例中，上述预设物体是与墙面具有关联关系的物体。比如，在家居场景下，该空间为家里的某个房间，该预设物体可以是附属于墙面的电视机、窗户、沙发等。可以基于这些物体的特征从拍得的画面中识别出这些物体。
其中，这些物体与墙面的关联关系主要体现为这些物体与墙面的位置关系。以电视机为例，当从画面中识别出电视机后，基于电视机一般设置在墙面的中、下部的情况以及电视机的边界线与所附属墙面的边界线的平行关系，可以在电视机周围的区域中检测出墙线。
以下将详细描述本发明的一个或多个实施例的空间建模装置。本领域技术人员可以理解，这些空间建模装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图18为本发明一实施例提供的空间建模装置的结构示意图，如图18所示，该空间建模装置包括：获取模块11、墙线确定模块12、建模模块13。
获取模块11，用于获取在空间内拍摄的全景图。
墙线确定模块12，用于根据墙面的曼哈顿结构特征，确定所述全景图中包含的墙线。
建模模块13，用于根据所述墙线构建所述空间的三维模型。
可选地，所述墙线确定模块12具体可以用于：将所述全景图输入到墙线检测模型中，以通过所述墙线检测模型输出第一墙线；根据所述墙面的曼哈顿结构特征对所述第一墙线进行修正，以得到第二墙线。从而，所述建模模块13具体用于：根据所述第二墙线构建所述空间的三维模型。
可选地，所述墙线确定模块12具体可以用于：将所述第一墙线映射到水平面上，以得到与所述第一墙线对应的多条线段；根据所述墙面的曼哈顿结构特征，对所述多个线段进行修正；将修正后的多条线段映射到所述全景图中，以得到第二墙线。
可选地，所述墙线确定模块12具体可以用于：确定所述多个线段各自对应的置信度；按照所述置信度由高到低的顺序，依次修正所述多个线段，使得修正后的相邻线段满足垂直关系。
可选地，所述墙线确定模块12具体可以用于：针对所述多个线段中的任一线段，根据所述任一线段分别与横纵坐标轴的夹角，确定与所述任一线段对应的目标坐标轴，其中，所述任一线段与所述目标坐标轴的夹角小于与非目标坐标轴的夹角；拟合出经过所述任一线段的中点的拟合线段，所述拟合线段与所述目标坐标轴平行；确定所述任一线段上的多个点分别到所述拟合线段的距离；确定所述距离小于设定阈值的点数占所述多个点的总数的比值，所述比值作为所述任一线段的置信度。
可选地，所述墙线确定模块12具体可以用于：针对所述多个线段中的任一线段，根据所述任一线段分别与横纵坐标轴的夹角，确定与所述任一线段对应的目标坐标轴，其中，所述任一线段与所述目标坐标轴的夹角小于与非目标坐标轴的夹角，所述任一线段与所述目标坐标轴的夹角作为所述任一线段的置信度。
可选地，所述墙线确定模块12具体可以用于：根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；若与所述第一线段连接的第二线段和第三线段均未被修正，则根据所述第一线段分别与横纵坐标轴的夹角，确定与所述第一线段对应的目标坐标轴，其中，所述第一线段与所述目标坐标轴的夹角小于与非目标坐标轴的夹角；将所述第一线段修正为与所述目标坐标轴平行的直线段。
可选地，所述墙线确定模块12具体可以用于：根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；若与所述第一线段连接的第二线段和第三线段中所述第二线段已被修正，所述第三线段未被修正，则将所述第一线段修正为与修正后的第二线段垂直的直线段。
可选地，所述墙线确定模块12具体可以用于：根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；若与所述第一线段连接的第二线段和第三线段均已被修正，并且修正后的第二线段与修正后的第三线段为垂直关系，则确定以所述第一线段作为斜边的两个直角边，所述第一线段被修正为所述两个直角边。
可选地，所述墙线确定模块12具体可以用于：根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；若与所述第一线段连接的第二线段和第三线段均已被修正，并且修正后的第二线段与修正后的第三线段为平行关系，则将所述第一线段修正为垂直于所述修正后的第二线段和所述修正后的第三线段的直线段。
可选地，所述装置还包括：门线确定模块，用于根据所述全景图中包含的墙线，将所述全景图投影到墙面上，以得到二维的墙面图像；根据门线的矩形结构特征，从所述墙面图像中识别出门线。
可选地，所述门线确定模块具体用于：提取所述墙面图像中包含的竖直线段；对所述墙面图像进行二值化处理，以得到第一二值化图像，所述第一二值化图像中仅包含所述竖直线段；将所述第一二值化图像和所述墙面图像输入到门线检测模型中，以通过所述门线检测模型输出所述墙面图像中包含的竖直门线；对所述墙面图像进行转置；提取转置后的墙面图像中包含的竖直线段；对所述转置后的墙面图像进行二值化处理，以得到第二二值化图像，所述第二二值化图像中仅包含所述转置后的墙面图像中的竖直线段；将所述第二二值化图像和所述转置后的墙面图像输入到所述门线检测模型中，以通过所述门线检测模型输出所述墙面图像中包含的水平门线。
可选地，所述门线确定模块具体用于：从所述墙面图像中截取出包含所述竖直门线的图像区域；对所述图像区域进行转置。
可选地，所述门线检测模型能够预测出所述墙面图像和所述转置后的墙面图像中各像素的分类，所述分类反映了像素是否位于门框内。
可选地，所述门线检测模型能够预测出所述墙面图像和所述转置后的墙面图像中各像素距离最近门线的距离。
图18所示空间建模装置可以执行前述图1至图17所示实施例中提供的方法，本实施例未详细描述的部分，可参考前述实施例的相关说明，在此不再赘述。
在一个可能的设计中，上述图18所示的空间建模装置的结构可实现为一电子设备。如图19所示，该电子设备可以包括：处理器21、存储器22。其中，存储器22上存储有可执行代码，当所述可执行代码被处理器21执行时，至少使处理器21可以实现如前述图1至图17所示实施例中提供的方法。
其中，该电子设备的结构中还可以包括通信接口23，用于与其他设备或通信网络通信。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行前述图1至图17所示实施例中提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的各个模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种空间建模方法，其特征在于，包括：
获取在空间内拍摄的全景图；
将所述全景图输入到墙线检测模型中，以通过所述墙线检测模型输出第一墙线；
将所述第一墙线映射到水平面上，以得到与所述第一墙线对应的多个线段；
根据墙面的曼哈顿结构特征对所述多个线段进行修正，将修正后的多个线段映射到所述全景图中，以得到第二墙线；
根据所述第二墙线构建所述空间的三维模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述墙面的曼哈顿结构特征，对所述多个线段进行修正，包括：
确定所述多个线段各自对应的置信度；
按照所述置信度由高到低的顺序，依次修正所述多个线段，使得修正后的相邻线段满足垂直关系。
3.根据权利要求2所述的方法，其特征在于，所述确定所述多个线段各自对应的置信度，包括：
针对所述多个线段中的任一线段，根据所述任一线段分别与横纵坐标轴的夹角，确定与所述任一线段对应的目标坐标轴，其中，所述任一线段与所述目标坐标轴的夹角小于与非目标坐标轴的夹角；
拟合出经过所述任一线段的中点的拟合线段，所述拟合线段与所述目标坐标轴平行；
确定所述任一线段上的多个点分别到所述拟合线段的距离；
确定所述距离小于设定阈值的点数占所述多个点的总数的比值，所述比值作为所述任一线段的置信度。
4.根据权利要求2所述的方法，其特征在于，所述确定所述多个线段各自对应的置信度，包括：
针对所述多个线段中的任一线段，根据所述任一线段分别与横纵坐标轴的夹角，确定与所述任一线段对应的目标坐标轴，其中，所述任一线段与所述目标坐标轴的夹角小于与非目标坐标轴的夹角，所述任一线段与所述目标坐标轴的夹角作为所述任一线段的置信度。
5.根据权利要求2所述的方法，其特征在于，所述按照所述置信度由高到低的顺序，依次修正所述多个线段，使得修正后的相邻线段满足垂直关系，包括：
根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；
若与所述第一线段连接的第二线段和第三线段均未被修正，则根据所述第一线段分别与横纵坐标轴的夹角，确定与所述第一线段对应的目标坐标轴，其中，所述第一线段与所述目标坐标轴的夹角小于与非目标坐标轴的夹角；
将所述第一线段修正为与所述目标坐标轴平行的直线段。
6.根据权利要求2所述的方法，其特征在于，所述按照所述置信度由高到低的顺序，依次修正所述多个线段，使得修正后的相邻线段满足垂直关系，包括：
根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；
若与所述第一线段连接的第二线段和第三线段中所述第二线段已被修正，所述第三线段未被修正，则将所述第一线段修正为与修正后的第二线段垂直的直线段。
7.根据权利要求2所述的方法，其特征在于，所述按照所述置信度由高到低的顺序，依次修正所述多个线段，使得修正后的相邻线段满足垂直关系，包括：
根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；
若与所述第一线段连接的第二线段和第三线段均已被修正，并且修正后的第二线段与修正后的第三线段为垂直关系，则确定以所述第一线段作为斜边的两个直角边，所述第一线段被修正为所述两个直角边。
8.根据权利要求2所述的方法，其特征在于，所述按照所述置信度由高到低的顺序，依次修正所述多个线段，使得修正后的相邻线段满足垂直关系，包括：
根据所述多个线段各自对应的置信度确定当前需要修正的第一线段；
若与所述第一线段连接的第二线段和第三线段均已被修正，并且修正后的第二线段与修正后的第三线段为平行关系，则将所述第一线段修正为垂直于所述修正后的第二线段和所述修正后的第三线段的直线段。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述全景图中包含的第二墙线，将所述全景图投影到墙面上，以得到二维的墙面图像；
根据门线的矩形结构特征，从所述墙面图像中识别出门线。
10.根据权利要求9所述的方法，其特征在于，所述根据门线的矩形结构特征，从所述墙面图像中识别出门线，包括：
提取所述墙面图像中包含的竖直线段；
对所述墙面图像进行二值化处理，以得到第一二值化图像，所述第一二值化图像中仅包含所述竖直线段；
将所述第一二值化图像和所述墙面图像输入到门线检测模型中，以通过所述门线检测模型输出所述墙面图像中包含的竖直门线；
对所述墙面图像进行转置；
提取转置后的墙面图像中包含的竖直线段；
对所述转置后的墙面图像进行二值化处理，以得到第二二值化图像，所述第二二值化图像中仅包含所述转置后的墙面图像中的竖直线段；
将所述第二二值化图像和所述转置后的墙面图像输入到所述门线检测模型中，以通过所述门线检测模型输出所述墙面图像中包含的水平门线。
11.根据权利要求10所述的方法，其特征在于，所述对所述墙面图像进行转置，包括：
从所述墙面图像中截取出包含所述竖直门线的图像区域；
对所述图像区域进行转置。
12.根据权利要求10所述的方法，其特征在于，所述门线检测模型能够预测出所述墙面图像和所述转置后的墙面图像中各像素的分类，所述分类反映了像素是否位于门框内。
13.根据权利要求12所述的方法，其特征在于，所述门线检测模型能够预测出所述墙面图像和所述转置后的墙面图像中各像素距离最近门线的距离。
14.一种空间建模装置，其特征在于，包括：
获取模块，用于获取在空间内拍摄的全景图；
墙线确定模块，用于将所述全景图输入到墙线检测模型中，以通过所述墙线检测模型输出第一墙线，将所述第一墙线映射到水平面上，以得到与所述第一墙线对应的多个线段，根据墙面的曼哈顿结构特征对所述多个线段进行修正，将修正后的多个线段映射到所述全景图中，以得到第二墙线；
建模模块，用于根据所述第二墙线构建所述空间的三维模型。
15.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至13中任一项所述的空间建模方法。
CN201911024592.XA 2019-10-25 2019-10-25 空间建模方法、装置、设备 Active CN112712584B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911024592.XA CN112712584B (zh) 2019-10-25 2019-10-25 空间建模方法、装置、设备
TW109128232A TWI845744B (zh) 2019-10-25 2020-08-19 牆線確定方法以及空間建模方法、裝置、設備
US17/075,064 US11729511B2 (en) 2019-10-25 2020-10-20 Method for wall line determination, method, apparatus, and device for spatial modeling
PCT/US2020/056582 WO2021081037A1 (en) 2019-10-25 2020-10-21 Method for wall line determination, method, apparatus, and device for spatial modeling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911024592.XA CN112712584B (zh) 2019-10-25 2019-10-25 空间建模方法、装置、设备

Publications (2)

Publication Number Publication Date
CN112712584A CN112712584A (zh) 2021-04-27
CN112712584B true CN112712584B (zh) 2024-05-24

Family

ID=75541529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911024592.XA Active CN112712584B (zh) 2019-10-25 2019-10-25 空间建模方法、装置、设备

Country Status (3)

Country Link
US (1) US11729511B2 (zh)
CN (1) CN112712584B (zh)
WO (1) WO2021081037A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN113987653A (zh) * 2021-10-29 2022-01-28 久瓴(江苏)数字智能科技有限公司 三维模型的生成方法和装置
CN114297741A (zh) * 2021-11-17 2022-04-08 万翼科技有限公司 砌体墙建模方法、装置、设备及存储介质
CN114491741A (zh) * 2021-12-31 2022-05-13 万翼科技有限公司 墙线提取方法、装置、电子设备及存储介质
CN114444173A (zh) * 2021-12-31 2022-05-06 万翼科技有限公司 墙线提取方法、装置、电子设备及存储介质
CN114569004B (zh) * 2022-02-22 2023-12-01 杭州萤石软件有限公司 行进方向调整方法、移动机器人系统及电子设备
CN114663618B (zh) * 2022-03-03 2022-11-29 北京城市网邻信息技术有限公司 三维重建及校正方法、装置、设备及存储介质
CN114756928B (zh) * 2022-03-23 2024-05-28 福建晨曦信息科技集团股份有限公司 墙体的识别方法、计算机设备及可读存储介质
CN115359114B (zh) * 2022-08-16 2023-07-25 中建一局集团第五建筑有限公司 一种定位方法、装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657659A (zh) * 2017-08-14 2018-02-02 南京航空航天大学 基于长方体拟合扫描三维点云的曼哈顿结构建筑物自动建模方法
CN108648224A (zh) * 2018-05-18 2018-10-12 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
CN108961395A (zh) * 2018-07-03 2018-12-07 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN110009727A (zh) * 2019-03-08 2019-07-12 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739844A (en) 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
US6553184B1 (en) 1994-03-14 2003-04-22 Sanyo Electric Co., Ltd. Method of converting two dimensional images into three-dimensional images
US6466205B2 (en) 1998-11-19 2002-10-15 Push Entertainment, Inc. System and method for creating 3D models from 2D sequential image data
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US7123263B2 (en) 2001-08-14 2006-10-17 Pulse Entertainment, Inc. Automatic 3D modeling system and method
CN1295655C (zh) 2001-11-24 2007-01-17 Tdv技术公司 从2d图像序列生成立体图像序列
US20040196282A1 (en) 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
US7573489B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US20090219383A1 (en) 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US8918715B2 (en) 2010-11-16 2014-12-23 Magix Ag System and method for generating stereoscopic 3D multimedia works from 2D input material
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
TWI489414B (zh) 2011-07-25 2015-06-21 Realtek Semiconductor Corp ２ｄ轉３ｄ影像轉換裝置及其方法
CA2801512A1 (en) 2012-01-05 2013-07-05 Jeremy Mutton System and method for virtual touring of model homes
JP6181388B2 (ja) 2013-03-08 2017-08-16 株式会社トプコン 計測装置
US9025861B2 (en) 2013-04-09 2015-05-05 Google Inc. System and method for floorplan reconstruction and three-dimensional modeling
US9727667B2 (en) 2013-06-10 2017-08-08 Honeywell International Inc. Generating a three dimensional building management system
US10242400B1 (en) * 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US20160048934A1 (en) 2014-09-26 2016-02-18 Real Data Guru, Inc. Property Scoring System & Method
US20160378887A1 (en) 2015-06-24 2016-12-29 Juan Elias Maldonado Augmented Reality for Architectural Interior Placement
US20170177748A1 (en) * 2015-12-16 2017-06-22 Wal-Mart Stores, Inc. Residential Upgrade Design Tool
US10190791B2 (en) 2016-04-27 2019-01-29 Crestron Electronics, Inc. Three-dimensional building management system visualization
GB2563596B (en) * 2017-06-19 2021-06-09 Shortbite Ltd System and method for modeling a three dimensional space based on a two dimensional image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657659A (zh) * 2017-08-14 2018-02-02 南京航空航天大学 基于长方体拟合扫描三维点云的曼哈顿结构建筑物自动建模方法
CN108648224A (zh) * 2018-05-18 2018-10-12 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
CN108961395A (zh) * 2018-07-03 2018-12-07 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN110009727A (zh) * 2019-03-08 2019-07-12 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic 3D Indoor Scene Modeling from Single Panorama;Yang Yang et al;《Computers & Graphics》;20181231;3926-3934 *
接触网巡检图像的细节强化与场景重构;胡燕花;《中国优秀硕士学位论文全文数据库（电子期刊）》;20181015;第2018卷(第10期);全文 *

Also Published As

Publication number Publication date
US20210127060A1 (en) 2021-04-29
CN112712584A (zh) 2021-04-27
TW202117672A (zh) 2021-05-01
US11729511B2 (en) 2023-08-15
WO2021081037A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN112712584B (zh) 空间建模方法、装置、设备
US11321872B2 (en) Method for calibrating a camera using bounding boxes, and camera configured to perform that method
US9734427B2 (en) Surveillance systems and image processing methods thereof
CN105453131B (zh) 图像的自动调整
US9303525B2 (en) Method and arrangement for multi-camera calibration
US11816810B2 (en) 3-D reconstruction using augmented reality frameworks
WO2022237026A1 (zh) 平面信息检测方法及系统
US20230334727A1 (en) 2d and 3d floor plan generation
CN112507848B (zh) 一种移动端实时人脸姿态估计方法
CN113298708A (zh) 三维房型的生成方法、装置及设备
CN111161138B (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
CN111091117B (zh) 用于二维全景图像的目标检测方法、装置、设备、介质
TWI845744B (zh) 牆線確定方法以及空間建模方法、裝置、設備
CN112184766A (zh) 一种对象的跟踪方法、装置、计算机设备和存储介质
CN111627061B (zh) 位姿检测方法、装置以及电子设备、存储介质
CN111178300B (zh) 目标检测方法、装置、设备、介质
CN113709409B (zh) 一种室内监控处理方法、装置及设备
CN114332403A (zh) 布局图的生成方法
KR20230082949A (ko) 동적 프로젝션을 수행하는 장치
CN117788710A (zh) 基于鱼眼图的三维空间融合方法、装置、电子设备和介质
CA3131587A1 (en) 2d and 3d floor plan generation
CN114943849A (zh) 图像处理方法和服务器
AU2022400964A1 (en) System and methods for validating imagery pipelines
CA3201746A1 (en) 3-d reconstruction using augmented reality frameworks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant