CN113536417A - 一种基于平面约束的室内场景模型补全方法 - Google Patents

一种基于平面约束的室内场景模型补全方法 Download PDF

Info

Publication number
CN113536417A
CN113536417A CN202110683663.8A CN202110683663A CN113536417A CN 113536417 A CN113536417 A CN 113536417A CN 202110683663 A CN202110683663 A CN 202110683663A CN 113536417 A CN113536417 A CN 113536417A
Authority
CN
China
Prior art keywords
plane
dimensional
completion
model
hole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110683663.8A
Other languages
English (en)
Inventor
路荣丰
颜成钢
朱尊杰
徐枫
裘健鋆
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110683663.8A priority Critical patent/CN113536417A/zh
Publication of CN113536417A publication Critical patent/CN113536417A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于平面约束的室内场景模型补全方法。在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测，通过平面检测结果，将室内环境分割为不同的平面区域和物体区域，然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开，然后分别在不同的平面区域和不同的物体模型上进行孔洞检测，分别完成孔洞补全任务，然后将逐个补全的结果放在同一个三维空间中，最终完成室内全场景的三维模型孔洞补全任务。本发明消除了不同物体上孔洞之间的干扰，极大的提高了物体模型的补全精度，提高了补全效果，在对场景中的平面模型进行补全时，能够在平面方程的约束下，实现更加鲁棒的平面补全效果。

Description

一种基于平面约束的室内场景模型补全方法
技术领域
本专利属于计算机图形学中的三维模型重建、三维模型补全领域，是一种充分利用人造室内空间中平面约束条件的室内三维场景模型补全方法，可以进一步的完善实时稠密重建的重建效果，未来可应用于AR和VR领域。
背景技术
在虚拟现实(VR)、增强现实(AR)或者混合现实(MR)领域中，往往需要将虚拟的数字化场景、物体或者其他数字化信息和真实环境进行互动，三维重建技术将作为一种将真实场景或者物体转换成虚拟场景或物体的接口，在真实环境与虚拟物体进行交互过程中起着至关重要的作用。
现有的三维重建技术虽然能够将完成的稠密三维模型重建出来，但是这个重建过程往往需要拿着传感器缓慢的对整个室内环境中的所有物体以及整个场景进行全方位无死角的扫描，最终才能生成完整的室内稠密模型，这个过程往往十分耗费时间，且稍有不慎就会使得模型中出现一些孔洞。在用户实际使用VR等设备进行现实三维环境稠密重建时，生成的三维模型中不可避免的存在孔洞，此时在孔洞的干扰下，真实场景和虚拟物体进行交互的过程中就会出现错误的互动，影响用户的体验。本专利针对重建后的三维模型中存在孔洞的问题，提出了一种在重建的三维模型上进行全场景的孔洞补全技术。
现有的三维模型孔洞补全方法分为两种。一种是基于三维点云数据的模型补全，如PCN算法能够将有缺失的点云补全，但点云模型对三维模型的细节和纹理部分描述能力较差，往往无法在VR等领域中应用。第二种是基于稠密三维mesh模型的孔洞补全，但是现有的基于稠密mesh模型的补全算法只针对单个物体模型有效，在进行多物体乃至场景模型孔洞补全时，不同物体上的孔洞会产生互相干扰，使得最终的补全效果十分不理想，所以该方法无法解决整个室内全场景环境模型的孔洞补全任务。
在人造的室内空间中，往往平面是最主要的组成图元，同时各种不同的物品也都分别放置在室内的平面结构之上，所以对于绝大部分不相关的物体我们不需经过深度学习的训练就可以在平面的约束下从空间中彼此分割。
本专利发明了一种在平面结构信息约束下的室内全场景环境模型补全的方法。
发明内容
针对现有技术中存在的不足，本发明提供一种基于平面约束的室内场景模型补全方法。
本发明方法在稠密室内三维重建的基础上使用循环使用RANSAC方法进行三维平面的检测，通过平面检测结果，将室内环境分割为不同的平面区域和物体区域，然后利用物体区域中各mesh顶点的邻接关系将空间上彼此分离的物体分割开，然后分别在不同的平面区域和不同的物体模型上进行孔洞检测，分别完成孔洞补全任务，然后将逐个补全的结果放在同一个三维空间中，最终完成室内全场景的三维模型孔洞补全任务。
一种基于平面约束的室内场景模型补全方法，包括以下步骤：
步骤(1)、基于RANSAC的三维模型平面检测；
在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面，将三维空间中的不同平面分割出来，同时将整个模型分割为平面部分和非平面的物体部分，完成预分割。
步骤(2)、非邻接物体的分割；
利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体进行分割，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰。
步骤(3)、孔洞检测；
分别检测每个不同平面和不同物体上的孔洞。
步骤(4)、孔洞补全；
在室内三维模型中每个物体上孔洞的周围都建立一个三维边界框BH，该三维边界框BH为每个孔洞在每个坐标方向像外扩展20％来建立的，然后在每个扩展的三维边界框BH内求解双调和方程，最终求该边界框内的零等值面，在孔洞边界处沿零等值面不断生成mesh，完成每个物体的孔洞补全。在对该场景模型中的每个平面模型进行补全时，在平面方程的约束下，将求解的双调和方程与平面检测得到的平面方程进行加权融合，进而得到一个更加鲁棒的平面补全结果。最终完成室内场景模型孔洞的补全。
本发明有益效果如下：
(1)本发明能够在室内场景级模型中进行mesh孔洞补全，相比于原来的方法，该方法能够辅助稠密重建系统，得到更好的室内重建模型，方便与后续的在VR或AR中使用。
(2)本发明在对场景中的物体进行补全时，消除了不同物体上孔洞之间的干扰，极大的提高了物体模型的补全精度，提高了补全效果。
(3)本发明在对场景中的平面模型进行补全时，能够在平面方程的约束下，实现更加鲁棒的平面补全效果。
(4)本发明采用了基于mesh的补全方法，相比于在点云上的补全方法，该补全方法具有更好的模型纹理信息。
附图说明
图1为本发明实施例室内场景模型补全流程图；
图2为本发明实施例带有孔洞的室内三维场景模型；
图3为本发明实施例三维模型孔洞示意图；
图4为本发明实施例通过双调和方程求解得到的孔洞等值面示意图；
图5为本发明实施例补全后得到的室内三维场景模型。
具体实施方式
下面结合本专利的附图来对发明专利的具体实施进行详细描述。
结合图1.基于平面约束的室内场景模型补全的流程图，本发明主要包含以下步骤：
步骤(1)、基于RANSAC的三维模型平面检测；
如图2所示，在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面并将其从三维空间中分割出来，当循环到平面面积为设定的最小阈值时，终止循环RANSAC平面检测算法，即提取出该三维场景中全部平面，其余部分为三维空间中的物体部分，将整个模型分割为平面部分和非平面的物体部分，完成预分割，为接下来孔洞补全任务提供平面约束。
步骤(2)、非邻接物体的分割；
首先在物体部分mesh模型中撒入种子点，然后利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体分割开来，确保空间上接触的物体之间彼此分离开的，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰。
步骤(3)、孔洞检测；
分别检测每个不同平面和不同物体上的孔洞。首先检测所有边界边，边界边为只属于一个mesh的边，而不属于其他mesh的边，将边界边构成的闭合回环当作需要补全的模型孔洞。
步骤(4)、孔洞补全；
在完成孔洞检测后，将在每个孔洞的周围都建立一个三维边界框BH，该三维边界框BH用过每个孔洞在每个坐标方向像外扩展20％建立，然后在每个扩展的三维边界框BH内使用基于体素的修补方案。
首先在该三维边界框内BH定义一个分辨率一致的网格GH，该分辨率要确保每个三角面片的边界边都不会大于三维边界框BH边的大小，其分辨率的设置会根据第二节中超体素的分辨率变化而进行变化。在每一个网格GH中要计算两个距离，一个是到BH中mesh的无符号距离，一个是计算到孔洞边界边的无符号距离。通过这两个距离的计算，我们将边界框BH内的网格GH分为了两种不区域Rd和Rb，其中Rd区域是靠近mesh附近可以鲁棒的计算出无符号距离值的区域，而Rb区域是相对来说更靠近孔洞附近的区域，在该区域中我们希望通过Rd区域中数值的帮助下，能够进一步在Rb区域中平滑的扩展Rd中的数值。在Rd区域中，我们通过计算到mesh的距离来构建一个无符号距离场(SDF)，然后在Rb区域中，我们通过求解约束优化问题来计算得到一个离散的双调和场，进而在Rb区域中得到零等值面，该算法还可以通过多重网格求解器来对求解过程进行加速，在求解的过程中，我们将无符号距离场Rd来作为求解双调和场的边界约束条件，从而更鲁棒的再Rb中计算出零等值面，然后再将该零等值面和步骤(1)中求出的平面方程进行加权融合，进而得到一个在平面约束下的更加鲁棒的零等值面。最后将BH中的零等值面和孔洞的边界边附近的mesh进行缝合，完成每个孔洞的修补任务。当每个物体或平面上的孔洞都补全成功后，就完成了该室内场景的补全。
图3为本发明实施例三维模型孔洞示意图；
图4为本发明实施例通过双调和方程求解得到的孔洞等值面示意图；
图5为本发明实施例补全后得到的室内三维场景模型。

Claims (5)

1.一种基于平面约束的室内场景模型补全方法，其特征在于，包括以下步骤：
步骤(1)、基于RANSAC的三维模型平面检测；
在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面，将三维空间中的不同平面分割出来，同时将整个模型分割为平面部分和非平面的物体部分，完成预分割；
步骤(2)、非邻接物体的分割；
利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体进行分割，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰；
步骤(3)、孔洞检测；
分别检测每个不同平面和不同物体上的孔洞；
步骤(4)、孔洞补全；
在室内三维模型中每个物体上孔洞的周围都建立一个三维边界框BH，该三维边界框BH为每个孔洞在每个坐标方向像外扩展20％来建立的，然后在每个扩展的三维边界框BH内求解双调和方程，最终求该边界框内的零等值面，在孔洞边界处沿零等值面不断生成mesh，完成每个物体的孔洞补全；在对该场景模型中的每个平面模型进行补全时，在平面方程的约束下，将求解的双调和方程与平面检测得到的平面方程进行加权融合，进而得到一个更加鲁棒的平面补全结果；最终完成室内场景模型孔洞的补全。
2.根据权利要求1所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(1)具体方法如下；
在通过稠密三维重建算法得到的室内三维模型中，循环使用RANSAC平面检测算法，检测三维模型中的平面并将其从三维空间中分割出来，当循环到平面面积为设定的最小阈值时，终止循环RANSAC平面检测算法，即提取出该三维场景中全部平面，其余部分为三维空间中的物体部分，将整个模型分割为平面部分和非平面的物体部分，完成预分割，为接下来孔洞补全任务提供平面约束。
3.根据权利要求2所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(2)具体方法如下；
首先在物体部分mesh模型中撒入种子点，然后利用各个物体上mesh顶点的邻接关系，遍历所有mesh，分别将空间中不邻接的各个物体分割开来，确保空间上接触的物体之间彼此分离开的，从而针对不同的物体分别检测空洞和补全空洞，以免不同物体的孔洞补全的过程中形成干扰。
4.根据权利要求3所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(3)具体方法如下；
分别检测每个不同平面和不同物体上的孔洞；首先检测所有边界边，边界边为只属于一个mesh的边，而不属于其他mesh的边，将边界边构成的闭合回环当作需要补全的模型孔洞。
5.根据权利要求4所述的一种基于平面约束的室内场景模型补全方法，其特征在于，步骤(4)具体方法如下；
在完成孔洞检测后，将在每个孔洞的周围都建立一个三维边界框BH，该三维边界框BH用过每个孔洞在每个坐标方向像外扩展20％建立，然后在每个扩展的三维边界框BH内使用基于体素的修补方案；
首先在该三维边界框内BH定义一个分辨率一致的网格GH，该分辨率要确保每个三角面片的边界边都不会大于三维边界框BH边的大小，其分辨率的设置会根据第二节中超体素的分辨率变化而进行变化；在每一个网格GH中要计算两个距离，一个是到BH中mesh的无符号距离，一个是计算到孔洞边界边的无符号距离；通过这两个距离的计算，我们将边界框BH内的网格GH分为了两种不区域Rd和Rb，其中Rd区域是靠近mesh附近可以鲁棒的计算出无符号距离值的区域，而Rb区域是相对来说更靠近孔洞附近的区域，在该区域中我们希望通过Rd区域中数值的帮助下，能够进一步在Rb区域中平滑的扩展Rd中的数值；在Rd区域中，我们通过计算到mesh的距离来构建一个无符号距离场(SDF)，然后在Rb区域中，我们通过求解约束优化问题来计算得到一个离散的双调和场，进而在Rb区域中得到零等值面，该算法还可以通过多重网格求解器来对求解过程进行加速，在求解的过程中，我们将无符号距离场Rd来作为求解双调和场的边界约束条件，从而更鲁棒的再Rb中计算出零等值面，然后再将该零等值面和步骤(1)中求出的平面方程进行加权融合，进而得到一个在平面约束下的更加鲁棒的零等值面；最后将BH中的零等值面和孔洞的边界边附近的mesh进行缝合，完成每个孔洞的修补任务；当每个物体或平面上的孔洞都补全成功后，就完成了该室内场景的补全。
CN202110683663.8A 2021-06-21 2021-06-21 一种基于平面约束的室内场景模型补全方法 Withdrawn CN113536417A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110683663.8A CN113536417A (zh) 2021-06-21 2021-06-21 一种基于平面约束的室内场景模型补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110683663.8A CN113536417A (zh) 2021-06-21 2021-06-21 一种基于平面约束的室内场景模型补全方法

Publications (1)

Publication Number Publication Date
CN113536417A true CN113536417A (zh) 2021-10-22

Family

ID=78125298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110683663.8A Withdrawn CN113536417A (zh) 2021-06-21 2021-06-21 一种基于平面约束的室内场景模型补全方法

Country Status (1)

Country Link
CN (1) CN113536417A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745728A (zh) * 2024-02-21 2024-03-22 法奥意威(苏州)机器人系统有限公司 点云平面检测方法、装置、电子设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745728A (zh) * 2024-02-21 2024-03-22 法奥意威(苏州)机器人系统有限公司 点云平面检测方法、装置、电子设备和可读存储介质
CN117745728B (zh) * 2024-02-21 2024-05-24 法奥意威(苏州)机器人系统有限公司 点云平面检测方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN108648269B (zh) 三维建筑物模型的单体化方法和系统
Jones et al. 3D distance fields: A survey of techniques and applications
CN111243090B (zh) 土方量计算方法及系统
Bojsen-Hansen et al. Tracking surfaces with evolving topology.
Zaharescu et al. Topology-adaptive mesh deformation for surface evolution, morphing, and multiview reconstruction
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
CN106780751A (zh) 基于改进的屏蔽泊松算法的三维点云重建方法
CN108665530B (zh) 基于单张图片的三维建模实现方法
KR20130060162A (ko) 복수의 3d 곡선들로부터의 표면 생성
CN103700117A (zh) 一种基于tv-l1变分模型的鲁棒光流场估计方法
Raina et al. Sharpness fields in point clouds using deep learning
Barazzetti Point cloud occlusion recovery with shallow feedforward neural networks
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
CN113536417A (zh) 一种基于平面约束的室内场景模型补全方法
Chetan et al. Accurate Differential Operators for Hybrid Neural Fields
Cao et al. A tracking registration method for augmented reality based on multi-modal template matching and point clouds
CN113536416A (zh) 一种基于室内空间布局约束的场景模型补全方法
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
Zhao et al. 3D reconstruction and rendering visualization of tunnel point cloud
Han et al. 3D reconstruction of dense model based on the sparse frames using RGBD camera
Gao et al. Multi-target 3d reconstruction from rgb-d data
Kelly et al. Visiongpt-3d: A generalized multimodal agent for enhanced 3d vision understanding
Achar et al. A Comparative Study of Garment Draping Techniques
Ma et al. Application of point cloud segmentation algorithm in high-precision virtual assembly
Yu et al. Three-dimensional design of architectural appearance in coastal areas based on digital media technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Yan Chenggang

Inventor after: Lu Rongfeng

Inventor after: Zhu Zunjie

Inventor after: Xu Feng

Inventor after: Qiu Jianjun

Inventor after: Sun Yaoqi

Inventor after: Zhang Jiyong

Inventor after: Zhang Yongdong

Inventor before: Lu Rongfeng

Inventor before: Yan Chenggang

Inventor before: Zhu Zunjie

Inventor before: Xu Feng

Inventor before: Qiu Jianjun

Inventor before: Sun Yaoqi

Inventor before: Zhang Jiyong

Inventor before: Zhang Yongdong

CB03 Change of inventor or designer information
WW01 Invention patent application withdrawn after publication

Application publication date: 20211022

WW01 Invention patent application withdrawn after publication