CN114821055A - 房屋模型的构建方法、装置、可读存储介质和电子设备 - Google Patents

房屋模型的构建方法、装置、可读存储介质和电子设备 Download PDF

Info

Publication number
CN114821055A
CN114821055A CN202210450790.8A CN202210450790A CN114821055A CN 114821055 A CN114821055 A CN 114821055A CN 202210450790 A CN202210450790 A CN 202210450790A CN 114821055 A CN114821055 A CN 114821055A
Authority
CN
China
Prior art keywords
point cloud
semantic
determining
model
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210450790.8A
Other languages
English (en)
Inventor
焦少慧
唐中樑
张东波
柯锦乐
武芳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210450790.8A priority Critical patent/CN114821055A/zh
Publication of CN114821055A publication Critical patent/CN114821055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种房屋模型的构建方法、装置、可读存储介质和电子设备，房屋模型的构建方法，包括：获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与第一图像数据对应的深度图以及拍摄装置的位姿信息；根据位姿信息、第一图像数据和深度图确定点云模型；对第一图像数据进行语义分割，得到具有语义先验的语义点云；根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果；根据点云模型的语义分割结果确定房屋模型。

Description

房屋模型的构建方法、装置、可读存储介质和电子设备
技术领域
本申请属于数据处理领域，具体涉及一种房屋模型的构建方法、装置、可读存储介质和电子设备。
背景技术
在过往的技术中，往往引入深度采集设备来采集房屋的几何形状，以用于建模，然而，深度采集设备往往会由于自身采集精度的限制而导致采集数据引入一定的误差。
另外，在实际采集过程中，摄影师也会由于误操作而导致采集的精度大幅度的下降，在采集误差比较大的情况下，会考察并利用语义的信息，来弥补采集的误差，具体地，方案如下：
将墙面、地面天花板等进行二维的语义识别，并按照CAD(Computer AidedDesign，利用计算机及其图形设备帮助设计人员进行设计工作)建图的方式来进行墙面、地面和天花板的表面重建。
上述方案实际上是采用纯二维的语义分割，若采用上述方案重建模型，在某些情况下，建模容易出现失败。
发明内容
本申请实施例的目的是提供一种房屋模型的构建方法、装置、可读存储介质和电子设备，能够解采用纯二维的语义分割，若采用上述方案重建模型，在某些情况下，建模容易出现失败的问题。
第一方面，本申请实施例提供了一种房屋模型的构建方法，包括：获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与第一图像数据对应的深度图以及拍摄装置的位姿信息；根据位姿信息、第一图像数据和深度图确定点云模型；对第一图像数据进行语义分割，得到具有语义先验的语义点云；根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果；根据点云模型的语义分割结果确定房屋模型。
第二方面，本申请实施例提供了一种房屋模型的构建装置，包括：获取单元，用于获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与第一图像数据对应的深度图以及拍摄装置的位姿信息；第一确定单元，用于根据位姿信息、第一图像数据和深度图确定点云模型；分割单元，用于对第一图像数据进行语义分割，得到具有语义先验的语义点云；第二确定单元，用于根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果；构建单元，用于根据点云模型的语义分割结果确定房屋模型。
第三方面，本申请实施例提供了一种房屋模型的构建装置，包括：处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面中任一项的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面，本申请实施例提供了一种电子设备，包括：如第二方面或第三方面的房屋模型的构建装置；和/或如第四方面的可读存储介质。
第六方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法。
第七方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的方法。
在本申请实施例中，利用对第一图像数据进行语义分割，得到已经被验证的语义点云，在语义点云的指导下，对点云模型进行分割。在此过程中，将二维语义、三维的点云实例分割结合起来，增强了整体的建模进行了增强，提升了建模的平整性和完整性，因此，降低了建模失败的几率。
此外，现有的纯二维语义分割，由于缺乏形状等先验信息，无法在一些场景上做的精准分割，如在墙上挂不明物体或者衣服等，这种场景很难判断类别，很有可能被误分为墙面，而在本申请的实施例中，采用的是具有语义先验的语义点云进行三维的点云实例分割，能够将上述场景进行有效分割，从而提高了建模成功的几率。
具体地，由于点云模型是基于预设点位下的拍摄装置拍摄房屋的位姿信息、第一图像数据和深度图确定的，因此，语义分割得到的结果中保留了房屋的深度信息，因此，得到的房屋模型能够准确还原房屋的真实细节，实现高精度的建模的同时，最大程度的还原房屋的真实情况，比如具备家装设计感的表面并不平齐的物体表面，以便用户通过房屋模型准确知悉房屋的装修设计感。
附图说明
图1是本申请实施例中的房屋模型的构建方法的流程示意图；
图2是本申请实施例中的语义分割前的房屋示意图；
图3是本申请实施例中的语义分割后的房屋示意图；
图4是本申请实施例中的6DoF位姿的示意图；
图5是本申请实施例中的点云中存在空洞的示意图；
图6是本申请实施例中的填充点云中存在空洞后的示意图；
图7是本申请实施例中的在提取平面，并将相关点云对应的重建网格进行网格形变之前，房屋模型的示意图；
图8是本申请实施例中的在提取平面，并将相关点云对应的重建网格进行网格形变之后，房屋模型的示意图；
图9是本申请实施例中的房屋模型的构建装置的示意框图；
图10是本申请实施例中的房屋模型的构建装置的示意框图；
图11是本申请实施例中的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的房屋模型的构建方法、装置、可读存储介质和电子设备进行详细地说明。
在其中一个实施例中，如图1所示，提出了一种房屋模型的构建方法，包括：
步骤102，获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与第一图像数据对应的深度图以及拍摄装置的位姿信息。
在其中一个实施例中，拍摄装置可以是RGB-D相机，如利用Light Coding(结构光)或TOF进行成像的深度相机。
在其一个实施例中，预设点位可以在房屋结构确定的情况下由人工选取的，其中，点位可以理解为拍摄装置的放置位置。
在其中一个技术方案中，位姿信息可以采用SFM(Structure From Motion)、SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)、或者惯导融合方式进行计算，其中，SFM(Structure From Motion)、SLAM(Simultaneous Localization andMapping，即时定位与地图构建)、或者惯导融合方式进行计算的计算过程在此不再赘述。
在其中一个实施例中，深度图可以以深度图片的形式表征。
步骤104，根据位姿信息、第一图像数据和深度图确定点云模型。
在该实施例中，由于第一图像数据和深度图是对房屋进行采集所得到的，因此，点云模型可以理解为房屋所对应的点云所构成的模型。通过构建点云模型，以便将房屋以点云的形式展示出来。
其中，点云模型的生成方法如下：
Pcloud＝[R|t]-1K-1prgbd，其中，Pcloud为点云模型中的一个三维点，prgbd为第一图像数据中一个目标选取点的RGB取值以及目标选取点在深度图中的深度值。
其中，[R|t]是采用第一图像数据和深度图的相机的外参矩阵，K是内参。
步骤106，对第一图像数据进行语义分割，得到具有语义先验的语义点云。
其中，语义分割可以采用各种backbone的深度学习网络作为语义分割网络，比如transformer，Resnet等，其具体分割方式在此不再赘述。
在该实施例中，具有语义先验的语义点云可以理解为，分割得到的点云所对应的语义是验证后的，是可信的。
其中，Pcloud(semantic)＝[R|t]-1K-1prgbd(semantic)，其中，Pcloud(semantic)为语义先验的语义点云中的一个三维点，prgbd(semantic)为二维语义分割对应的像素点的RGB取值以及对应在深度图中的深度值。其中，[R|t]是采用第一图像数据和深度图的相机的外参矩阵，K是内参。
步骤108，根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果。
步骤110，根据点云模型的语义分割结果确定房屋模型。
在本申请实施例中，利用对第一图像数据进行语义分割，得到已经被验证的语义点云，在语义点云的指导下，对点云模型进行分割。在此过程中，将二维语义、三维的点云实例分割结合起来，增强了整体的建模进行了增强，提升了建模的平整性和完整性，因此，降低了建模失败的几率。
此外，现有的纯二维语义分割，由于缺乏形状等先验信息，无法在一些场景上做的精准分割，如在墙上挂不明物体或者衣服等，这种场景很难判断类别，很有可能被误分为墙面，而在本申请的实施例中，采用的是具有语义先验的语义点云进行三维的点云实例分割，能够将上述场景进行有效分割，从而提高了建模成功的几率。
具体地，由于点云模型是基于预设点位下的拍摄装置拍摄房屋的位姿信息、第一图像数据和深度图确定的，因此，语义分割得到的结果中保留了房屋的深度信息，因此，得到的房屋模型能够准确还原房屋的真实细节，实现高精度的建模的同时，最大程度的还原房屋的真实情况，比如具备家装设计感的表面并不平齐的物体表面，以便用户通过房屋模型准确知悉房屋的装修设计感。
在其中一个实施例中，根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果，包括：确定具有语义先验的语义点云对应的语义类型；根据语义类型，将具有语义先验的语义点云对点云模型进行匹配，确定与具有语义先验的语义点云对应的第一目标点云；将语义类型与第一目标点云关联，得到点云模型的语义分割结果。
在该实施例中，通过确定具有语义先验的语义点云对应的语义类型，以便在确定语义类型的情况，根据语义类型为类别，对点云模型中与具有语义先验的语义点云匹配的点云进行提起，也即确定第一目标点云，从而实现对点云模型的分割。
其中，在语义类型为多个的情况下，对多个语义类型进行排序，并按照排序结果依次确定第一目标点云，直至所有的语义类型所对应的第一目标点云确定结束。
举例来说，在语义类型包含墙体、床的情况下，对墙体和床进行排序，得到墙体在前、床在后的排序结果，并基于此结果，依次确定墙体对应的第一目标点云和床对应的第一目标点云。
在其中一个实施例中，还包括：将第一目标点云与预设点云库中的模板进行匹配，得到第一匹配结果；确定第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果；根据第一匹配结果和第二匹配结果对具有语义先验的语义点云进行更新。
在该实施例中，通过设置预设点云库，以便对第一目标点云进行验证，从而确保语义分割的准确性，具体地，在第一目标点云归属预设点云库的情况下，认为分割准确；反之，在第一目标点云不归属预设点云库的情况下，认为分割不准确。
其中，与具有语义先验的语义点云对应的第一目标点云，可以理解为根据语义类型对点云模型进行分割所得到的点云，其表达如下：
Pcloud(instance)＝[R|t]-1K-1prgbd(instance)，其中，Pcloud(instance)为根据语义类型对点云模型进行分割所得到的点云中的一个三维点，prgbd(instance)为根据语义类型对点云模型进行分割所得到的点云中的一个三维点的像素点的RGB取值以及对应在深度图中的深度值。
其中，根据语义类型对点云模型进行分割所得到的点云可以是3D点云，对预设点云库中的模板进行匹配，提取3D点云和模板中的点云的特征，例如sift特征、orb特征，采用相似度匹配的方式进行匹配。
具体地，相似度匹配的公式如下：
Figure BDA0003618528340000071
其中，
Figure BDA0003618528340000072
是第一匹配结果的类别，Pclass是预设点云库中的模板的类别。
其中，第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果，可以理解为根据相似度匹配的结果在一定范围(也即上文中的预设阈值范围内)fine tune点云，其具体操作包括：
Figure BDA0003618528340000073
其中，Pc，loud(instance)是fine tune点云中的一个三维点，Boundary是预设阈值范围内(如0厘米至50厘米)的最佳结果，该结果可以用于获取最大的相似度匹配值。
其中，[R|t]是采用第一图像数据和深度图的相机的外参矩阵，K是内参。
在其中一个实施例中，预设点云库可以包含但不局限于如桌椅点云数据、床体点云数据、灯具点云数据、电器的点云数据，其中，电器可以是冰箱、洗衣机、热水器、空调器等。
在该实施例中，通过计算第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果，以便衡量第一目标点云与预设语义点云或实例点云之间的差异，从而根据差异情况对具有语义先验的语义点云进行优化，以便确保点云模型的分割的准确性。
在其中一个实施例中，预设阈值范围可以根据实际使用场景进行选取，其具体取值在此不再赘述。
举例来说，预设阈值范围可以是预设语义点云或实例点云的领域内0cm至50cm之间的取值。
在其中一个实施例中，第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果可以理解为，第一目标点云的预设参数与预设语义点云或实例点云的预设阈值范围内预设参数匹配一致或不一致。
在其中一个实施例中，在第一目标点云不归属预设点云库的情况下，且第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数不匹配的情况下，更新具有语义先验的语义点云，从而确保对点云模型的分割的准确性。
在其中一个实施例中，预设参数包括：法向量、颜色值和深度值。
在其中一个实施例中，还包括：确定第一目标点云中的空白部分；根据第一匹配结果，对空白部分进行填充。
在该实施例中，通过对第一目标点云中的空白部分进行填充，以便提高房屋模型的完整性。
在其中一个实施例中，采用第一匹配结果对空白部分进行填充，确保了填充的准确性。
在其中一个实施例中，对空白部分进行填充，包括：确定深度图中与空白部分对应的目标位置；对目标位置进行深度填充。
在该实施例中，给出了对空白部分进行填充的可能选取方案，通过确定深度图中与空白部分对应的目标位置，以便确保填充位置与空白部分能够准确对应，减少对不需要填充的位置进行填充或无法对空白位置进行准确填充对房屋模型的完整性的影响。
在其中一个实施例中，对目标位置进行深度填充可以理解为修改深度值。
在其中一个实施例中，采用遍历算法找到所有点云缺失的空洞(其中，空洞指的是连通域没有点云)，也即上文中的空白部分。
在其中一个实施例中，对于每一个空白部分，估计空洞所在平面或曲面的形状方程，并根据形状方程，生成空白部分的点云，对于生成空白部分的点云的颜色，采用空白部分周边点云的颜色平均值来代替。
在该实施例中，可以在点云模型中存在点云采集缺失的情况下，(比如桌面反光，结构光等深度相机无法正确采集点云)，采用精确的语义信息可以很好的补充相应的点云，并提升建模完整性。
在其中一个实施例中，还包括：确定具有语义先验的语义点云中的平面部分；确定第一目标点云中与平面部分对应的第二目标点云；对第二目标点云对应的重建网格进行网格形变。
在该实施例中，通过确定具有语义先验的语义点云中的平面部分，以便在查找到第一目标点云中与平面部分对应的第二目标点云后，对第二目标点云对应的重建网格进行网格形变，使得构建的房屋模型中理应是平面的部分呈现平面的状态，最大程度提高构建的房屋模型的平整度。
在其中一个实施例中，平面部分可以采用预先设置的平面提取方法进行提取，其中，平面提取方法可以是3D平面提取方法。
在其中一个实施例中，位姿信息包括：拍摄装置的位置信息和拍摄装置的三维朝向信息。
在其中一个实施例中，还包括：确定点云模型的语义分割结果对应的纹理；根据纹理、点云模型的语义分割结果确定房屋模型。
在该实施例中，在构建房屋模型的时候，通过结合点云模型的语义分割结果对应的纹理，以便提高房屋模型的真实性，利于用户感受实地的装修设计感。
在其中一个实施例中，第一图像数据包括全景图数据。
在该实施例中，可以理解的是，全景图数据也即全景图图片。
在其中一个实施例中，房屋模型的构建方法，包括：
step1:输入采集房屋的原始图片或者原始图，进行图片语义分割或者全景图语义分割，此步骤可采用各种backbone的深度学习网络作为语义分割网络，比如transformer，Resnet等。
举例来说，在原始图为图2的情况下，进行语义分割后，得到如图3的分割结果。
step2:计算每个点位采集到的全景图/原始图片的6DoF位姿(包含采集位置和相机的三维朝向)，一般可采用SFM、SLAM、或者惯导融合方式进行计算。
如图4所示，三角形钝角顶点表示采集位置，三角形钝角对应边的法向表示采集三维朝向。
step3:每个点位的6DoF位姿，和对应的原始数据(全景图/原始图片-rgb，深度图片-depth)，生成点云模型。并且根据二维语义分割的结果，生成带有二维语义先验的点云。
step4:输入点云模型及带有二维语义先验的点云，计算3D点云的语义分割结果。具体分步骤如下：
4-1:按照语义类型，提取每个实例的3D点云，并进行3D点云库(家具家居等)进行模版匹配。同时在语义/实例点云的领域一定阈值范围内(e.g.，0cm-50cm)，计算法向量N，颜色(RGB)，以及深度(D)，并根据匹配值的结果和模版结果重新fine tune语义点云；
4-2:对于语义点云，检查是否有空洞，如果有空洞，按照模版匹配的结果，对于空洞部分(也即本申请中的空白部分)点云进行填充。具体方法可直接在深度图上修改相关空洞处对应的深度，做深度填充。并重复4-1。如没有空洞，则跳过4-2步骤。
如图5所示，点云中存在空洞，通过进行填充，得到如图6所示的语义点云。
4-3:对于语义点云中的平面部分，采用3D平面提取方法，提取平面，并将相关点云对应的重建网格进行网格形变，使其符合平面特征。
在提取平面，并将相关点云对应的重建网格进行网格形变之前，房屋模型如图7所示，通过3D平面提取方法，提取平面，并将相关点云对应的重建网格进行网格形变后，得到如图8所示的房屋模型。
step4：纹理估计，并获取最终的房屋模型。
在该实施例中，将2D语义/实例分割混合3D点云语义分割方法，提升语义分割的准确性；同时，对于空洞物体和采集带来的点云误差(墙面并不是单层，而具有一定的厚度)，可以很好的提升重建模型的完整性(无空洞)和平整性(房屋内天花板、地板、桌子面等更加平整)。
本申请实施例提供的房屋模型的构建方法，执行主体可以为房屋模型的构建装置。本申请实施例中以房屋模型的构建装置执行房屋模型的构建方法为例，说明本申请实施例提供的房屋模型的构建装置。
在其中一个实施例中，如图9所示，提出了一种房屋模型的构建装置900，包括：获取单元902，用于获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与第一图像数据对应的深度图以及拍摄装置的位姿信息；第一确定单元904，用于根据位姿信息、第一图像数据和深度图确定点云模型；分割单元906，用于对第一图像数据进行语义分割，得到具有语义先验的语义点云；第二确定单元908，用于根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果；构建单元910，用于根据点云模型的语义分割结果确定房屋模型。
在其中一个实施例中，第二确定单元908，用于：确定具有语义先验的语义点云对应的语义类型；根据语义类型，将具有语义先验的语义点云对点云模型进行匹配，确定与具有语义先验的语义点云对应的第一目标点云；将语义类型与第一目标点云关联，得到点云模型的语义分割结果。
在其中一个实施例中，第二确定单元908，还用于：将第一目标点云与预设点云库中的模板进行匹配，得到第一匹配结果；确定第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果；根据第一匹配结果和第二匹配结果对具有语义先验的语义点云进行更新。
在其中一个实施例中，预设参数包括：法向量、颜色值和深度值。
在其中一个实施例中，第二确定单元908，还用于：确定第一目标点云中的空白部分；根据第一匹配结果，对空白部分进行填充。
在其中一个实施例中，第二确定单元908，具体用于：确定深度图中与空白部分对应的目标位置；对目标位置进行深度填充。
在其中一个实施例中，第二确定单元908，还用于：确定具有语义先验的语义点云中的平面部分；确定第一目标点云中与平面部分对应的第二目标点云；对第二目标点云对应的重建网格进行网格形变。
在其中一个实施例中，位姿信息包括：拍摄装置的位置信息和拍摄装置的三维朝向信息。
在其中一个实施例中，构建单元，用于：确定点云模型的语义分割结果对应的纹理；根据纹理、点云模型的语义分割结果确定房屋模型。
在其中一个实施例中，第一图像数据包括全景图数据。
本申请实施例中的房屋模型的构建装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的房屋模型的构建装置900可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的房屋模型的构建装置900能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图10所示，本申请实施例还提供一种房屋模型的构建装置1000，包括处理器1002和存储器1004，存储器1004上存储有可在处理器1002上运行的程序或指令，该程序或指令被处理器1002执行时实现上述房屋模型的构建方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
在其中一个实施例中，提出了一种电子设备，包括：如上述任一的房屋模型的构建装置；和/或如上述可读存储介质。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
在其中一个实施例中，处理器1110用于：获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与第一图像数据对应的深度图以及拍摄装置的位姿信息；根据位姿信息、第一图像数据和深度图确定点云模型；对第一图像数据进行语义分割，得到具有语义先验的语义点云；根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果；根据点云模型的语义分割结果确定房屋模型。
在其中一个实施例中，根据具有语义先验的语义点云和点云模型确定点云模型的语义分割结果，处理器1110用于：确定具有语义先验的语义点云对应的语义类型；根据语义类型，将具有语义先验的语义点云对点云模型进行匹配，确定与具有语义先验的语义点云对应的第一目标点云；将语义类型与第一目标点云关联，得到点云模型的语义分割结果。
在其中一个实施例中，处理器1110还用于：将第一目标点云与预设点云库中的模板进行匹配，得到第一匹配结果；确定第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果；根据第一匹配结果和第二匹配结果对具有语义先验的语义点云进行更新。
在其中一个实施例中，预设参数包括：法向量、颜色值和深度值。
在其中一个实施例中，处理器1110还用于：确定第一目标点云中的空白部分；根据第一匹配结果，对空白部分进行填充。
在其中一个实施例中，对空白部分进行填充，处理器1110用于：确定深度图中与空白部分对应的目标位置；对目标位置进行深度填充。
在其中一个实施例中，处理器1110还用于：确定具有语义先验的语义点云中的平面部分；确定第一目标点云中与平面部分对应的第二目标点云；对第二目标点云对应的重建网格进行网格形变。
在其中一个实施例中，位姿信息包括：拍摄装置的位置信息和拍摄装置的三维朝向信息。
在其中一个实施例中，处理器1110还用于：确定点云模型的语义分割结果对应的纹理；根据纹理、点云模型的语义分割结果确定房屋模型。
在其中一个实施例中，第一图像数据包括全景图数据。
在本申请实施例中，利用对第一图像数据进行语义分割，得到已经被验证的语义点云，在语义点云的指导下，对点云模型进行分割。在此过程中，将二维语义、三维的点云实例分割结合起来，增强了整体的建模进行了增强，提升了建模的平整性和完整性，因此，降低了建模失败的几率。
此外，现有的纯二维语义分割，由于缺乏形状等先验信息，无法在一些场景上做的精准分割，如在墙上挂不明物体或者衣服等，这种场景很难判断类别，很有可能被误分为墙面，而在本申请的实施例中，采用的是具有语义先验的语义点云进行三维的点云实例分割，能够将上述场景进行有效分割，从而提高了建模成功的几率。
具体地，由于点云模型是基于预设点位下的拍摄装置拍摄房屋的位姿信息、第一图像数据和深度图确定的，因此，语义分割得到的结果中保留了房屋的深度信息，因此，得到的房屋模型能够准确还原房屋的真实细节，实现高精度的建模的同时，最大程度的还原房屋的真实情况，比如具备家装设计感的表面并不平齐的物体表面，以便用户通过房屋模型准确知悉房屋的装修设计感。
应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述对称壁纸的显示方法和/或对称壁纸的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述对称壁纸的显示方法和/或对称壁纸的生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (14)

1.一种房屋模型的构建方法，其特征在于，包括：
获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与所述第一图像数据对应的深度图以及所述拍摄装置的位姿信息；
根据所述位姿信息、所述第一图像数据和所述深度图确定点云模型；
对所述第一图像数据进行语义分割，得到具有语义先验的语义点云；
根据所述具有语义先验的语义点云和所述点云模型确定所述点云模型的语义分割结果；
根据所述点云模型的语义分割结果确定所述房屋模型。
2.根据权利要求1所述的房屋模型的构建方法，其特征在于，根据所述具有语义先验的语义点云和所述点云模型确定所述点云模型的语义分割结果，包括：
确定所述具有语义先验的语义点云对应的语义类型；
根据所述语义类型，将所述具有语义先验的语义点云对所述点云模型进行匹配，确定与所述具有语义先验的语义点云对应的第一目标点云；
将所述语义类型与所述第一目标点云关联，得到所述点云模型的语义分割结果。
3.根据权利要求2所述的房屋模型的构建方法，其特征在于，还包括：
将所述第一目标点云与预设点云库中的模板进行匹配，得到第一匹配结果；
确定所述第一目标点云在预设语义点云或实例点云的预设阈值范围内预设参数的第二匹配结果；
根据所述第一匹配结果和所述第二匹配结果对所述具有语义先验的语义点云进行更新。
4.根据权利要求3所述的房屋模型的构建方法，其特征在于，所述预设参数包括：
法向量、颜色值和深度值。
5.根据权利要求3所述的房屋模型的构建方法，其特征在于，还包括：
确定所述第一目标点云中的空白部分；
根据所述第一匹配结果，对所述空白部分进行填充。
6.根据权利要求5所述的房屋模型的构建方法，其特征在于，所述对所述空白部分进行填充，包括：
确定所述深度图中与所述空白部分对应的目标位置；
对所述目标位置进行深度填充。
7.根据权利要求2所述的房屋模型的构建方法，其特征在于，还包括：
确定所述具有语义先验的语义点云中的平面部分；
确定所述第一目标点云中与所述平面部分对应的第二目标点云；
对所述第二目标点云对应的重建网格进行网格形变。
8.根据权利要求1所述的房屋模型的构建方法，其特征在于，所述位姿信息包括：
所述拍摄装置的位置信息和所述拍摄装置的三维朝向信息。
9.根据权利要求1至8中任一项所述的房屋模型的构建方法，其特征在于，还包括：
确定所述点云模型的语义分割结果对应的纹理；
根据纹理、所述点云模型的语义分割结果确定所述房屋模型。
10.根据权利要求9所述的房屋模型的构建方法，其特征在于，所述第一图像数据包括全景图数据。
11.一种房屋模型的构建装置，其特征在于，包括：
获取单元，用于获取预设点位下的拍摄装置拍摄房屋所得到的RGB色彩模式的第一图像数据、与所述第一图像数据对应的深度图以及所述拍摄装置的位姿信息；
第一确定单元，用于根据所述位姿信息、所述第一图像数据和所述深度图确定点云模型；
分割单元，用于对所述第一图像数据进行语义分割，得到具有语义先验的语义点云；
第二确定单元，用于根据所述具有语义先验的语义点云和所述点云模型确定所述点云模型的语义分割结果；
构建单元，用于根据所述点云模型的语义分割结果确定所述房屋模型。
12.一种房屋模型的构建装置，其特征在于，包括：
处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。
13.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。
14.一种电子设备，其特征在于，包括：
如权利要求11或12所述的房屋模型的构建装置；和/或
如权利要求13所述的可读存储介质。
CN202210450790.8A 2022-04-27 2022-04-27 房屋模型的构建方法、装置、可读存储介质和电子设备 Pending CN114821055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210450790.8A CN114821055A (zh) 2022-04-27 2022-04-27 房屋模型的构建方法、装置、可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210450790.8A CN114821055A (zh) 2022-04-27 2022-04-27 房屋模型的构建方法、装置、可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN114821055A true CN114821055A (zh) 2022-07-29

Family

ID=82507624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210450790.8A Pending CN114821055A (zh) 2022-04-27 2022-04-27 房屋模型的构建方法、装置、可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN114821055A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408544A (zh) * 2022-08-19 2022-11-29 梅卡曼德（北京）机器人科技有限公司 图像数据库构建方法、装置、设备、存储介质及产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115408544A (zh) * 2022-08-19 2022-11-29 梅卡曼德（北京）机器人科技有限公司 图像数据库构建方法、装置、设备、存储介质及产品

Similar Documents

Publication Publication Date Title
US11989895B2 (en) Capturing environmental features using 2D and 3D scans
Dick et al. Modelling and interpretation of architecture from several images
US10268917B2 (en) Pre-segment point cloud data to run real-time shape extraction faster
CN107851178B (zh) 基于多个表面模型的混合三维场景重构
CN110276829B (zh) 通过多尺度体素哈希处理的三维表示
US10885707B1 (en) Network, system and method for multi-view 3D mesh generation via deformation
US9311756B2 (en) Image group processing and visualization
CN111815755A (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
Dzitsiuk et al. De-noising, stabilizing and completing 3D reconstructions on-the-go using plane priors
CN107464286B (zh) 三维城市模型中的孔洞修复方法及装置、设备及可读介质
CN107798725B (zh) 基于Android的二维住房户型识别和三维呈现方法
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
CN110827376A (zh) 增强现实多平面模型动画交互方法、装置、设备及存储介质
US20230186562A1 (en) Method and system for 3d modeling based on volume estimation
CN115330940B (zh) 一种三维重建方法、装置、设备和介质
Manni et al. Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device
CN112991424B (zh) 一种基于八叉树算法的分形维数计算方法及装置
CN116563493A (zh) 基于三维重建的模型训练方法、三维重建方法及装置
TW202309834A (zh) 模型重建方法及電子設備和電腦可讀儲存介質
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
CN114821055A (zh) 房屋模型的构建方法、装置、可读存储介质和电子设备
CN115668271A (zh) 用于生成平面图的方法及装置
CN110378948B (zh) 3d模型重建方法、装置及电子设备
TW202312100A (zh) 網格生成方法、電子設備及電腦可讀儲存介質
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination