CN115984467A - 一种基于无监督学习的多房间室内户型图重建方法 - Google Patents
一种基于无监督学习的多房间室内户型图重建方法 Download PDFInfo
- Publication number
- CN115984467A CN115984467A CN202211700300.1A CN202211700300A CN115984467A CN 115984467 A CN115984467 A CN 115984467A CN 202211700300 A CN202211700300 A CN 202211700300A CN 115984467 A CN115984467 A CN 115984467A
- Authority
- CN
- China
- Prior art keywords
- room
- line segment
- point cloud
- wall
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000003628 erosive effect Effects 0.000 claims abstract description 20
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 230000000877 morphologic effect Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 239000003795 chemical substances by application Substances 0.000 claims description 4
- 238000005034 decoration Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于无监督学习的多房间室内户型图重建方法，首先使用形态学侵蚀对多房间场景进行单房间检测，得到单房间点云；然后提取单个房间中的所有壁面点云；通过强化学习拟合壁面线段，得到单房间的线段集合；最后根据得到单房间的线段集合完成结构重建。本发明在对场景中的重建时，消除了房间之间的干扰，保证了重建后结果的完整性。本发明使用形态学方法保留壁面点云，使用强化学习提取线段，消除了平面拟合方法中室内家具对线段拟合的影响。
Description
技术领域
本发明属于计算机图形学中的三维模型重建、无监督学习领域，是一种充分利用强化学习的室内户型图结构重建方法，可以较好提升实时稠密重建的重建效果，可应用于目前盛行的AR和VR领域。
背景技术
目前，对室内场景的数字化研究受到越来越多的关注，真实场景的数据化能够让我们可以从任意视角充分观察场景的各个部分。室内场景的结构化重建成为了一个定义明确的新兴课题，特别是针对常见和结构化的多房间室内环境开发，如住宅、办公室或公共建筑，这些领域的常用解决方法包括基于全景图和视频的虚拟建筑重建方法或者通过获得的视觉或激光数据映射到参考平面测量的方法。
基于设备获得原始数据，一般的表面重建方法专注于生产准确密集的三维模型，以确保还原甚至最小的几何形状和外观细节。从这个意义上说，他们的主要目标是提供组成输入场景的所有表面的最精确的表示，而不考虑其结构和语义，或者可能只利用它们来最大化输出表面模型的保真度。但是对于室内结构化重建，我们更希望解决方案集中于抽象出简化的高级结构化模型，因此我们把基本任务放在发现结构元素，如房间、墙壁、门，并将它们组合为三维结构形状和视觉表示。
室内结构化重建的输出可以被用于室内装修设计人员的房屋初始设计结构图，结合室内平面图的参数信息在三维模型中对房屋进行装修设计工作。目前室内结构化重建领域在使用传统数学方法时，往往会使用平面拟合等拟合方法检测模型内的平面柱面等结构来还原出房间主干以得到室内布局，但是室内家居物体在平面检测的过程中常常会对检测结果有所影响。因此我们考虑不借助拟合的检测方法，采用形态学方法提取壁面。随后利用无监督学习来拟合壁面线段，以提高壁面识别的准确度，这也避免了在传统方法中对房屋结构的曼哈顿假设以及对模型的预处理步骤，同时通过无监督学习可以较大程度地提升模型构建的效率与速度。
发明内容
针对现有技术中存在的不足，本发明提供了一种基于无监督学习的多房间室内户型图重建方法。
本发明在稠密室内三维重建模型的基础上使用形态学侵蚀，将具有多个房间的室内场景分割成多个单房间场景，再对单个房间进行单独处理。将提取出来的单个房间点云转为Mesh，由房间中心位置的Mesh向外进行侵蚀直到侵蚀面积比例达到阈值，经过反复侵蚀，保留锯齿形边缘。通过使用强化学习拟合壁面线段，得到未闭合的线段集合，随后通过最短路径算法确定壁面端点的排序，通过挤压线段回归多边形角，并且将线段沿着Z轴方向拔高3D模型的高度就可以得到模型户型图结构。
一种基于无监督学习的多房间室内户型图重建方法，包括以下步骤：
步骤(1)单房间的检测；
使用形态学侵蚀对多房间场景进行单房间检测，得到单房间点云。
步骤(2)提取单个房间中的所有壁面点云；
步骤(3)通过强化学习拟合壁面线段，得到单房间的线段集合；
步骤(4)根据得到单房间的线段集合完成结构重建。
进一步的，步骤(2)具体方法如下：
将单房间空间点云投影到二维平面X0Y中，使用贪心三角化算法将点云数据转换为Mesh(面片)数据，计算房间中心位置的Mesh，从房间中心Mesh开始向外侵蚀，侵蚀后得到单房间边缘面片，面片和点云重叠，将边缘面片内的点云保留作为边缘点云。
进一步的，步骤(3)具体方法如下；
通过点云的法向量将单房间边缘点云分割为多个壁面点云。对每个壁面点云，使用边缘点云的两端来拟合线段避免锯齿形边缘点云拟合线段时受到的锯齿尖端的影响。使用强化学习中的经典算法Q-learning进行训练，定义壁面点云最远两端的n个点的两个簇团为agent。利用两簇团中的点云拟合的壁线段作为statement。通过线段的斜率和截距控制两个簇团的移动定义为action。将每次拟合得到的线段与目标线段的接近程度作为reward。利用Q-learning策略迭代训练得到最优的壁线段。
进一步的，步骤(4)具体方法如下；
该阶段中，从上一步得到了单房间的线段集合，使用旅行商问题思路，计算出最短路径下各节点的连接顺序，将前后的线段延伸至相交得到交点坐标，按照角点顺序相连形成闭合的多边形结构。对n条边缘的多边形在Z轴方向进行拔高，得到具有n个壁面的3D房间模型。将所有单个3D房间模型组合构成一个完整的室内重建户型图。
本发明有益效果如下：
(1)本发明在对场景中的重建时，消除了房间之间的干扰，保证了重建后结果的完整性。方便与后续的在VR或AR或室内家装设计使用。
(2)本发明方法新颖，使用形态学方法保留壁面点云，使用强化学习提取线段，消除了平面拟合方法中室内家具对线段拟合的影响。
(3)本发明在应用过程中对应用场景没有如预设的约束条件，不需要如曼哈顿假设等的先验信息，应用场景更加广泛，方法可以得到完整准确的室内重建模型。
附图说明
图1为本发明实施例基于无监督学习的室内场景模型结构重建；
图2形态学侵蚀房间分割结果；
图3线段拟合过程。
具体实施方式
下面结合本专利的附图来对发明专利的具体实施进行详细描述。
结合图1.一种基于无监督学习的多房间室内户型图重建方法，包括以下步骤：
步骤(1)、单房间的检测；
使用形态学侵蚀对多房间场景进行单房间检测，得到单房间点云。形态学分割的主要优势在于算法简单且计算速度快。
在该阶段中，我们在如图2所示，我们将点云映射到像素坐标，像素最初在映射的可访问区域标记为可达，在墙壁和外部区域标记为不可达。如图2-1(左上角)所示，白色区域表示可达。墙壁通过形态侵蚀算子向内迭代生长。然后通过判断区域是否连接，分析之前连接的可访问区域是否已被侵蚀分开，如图2-2(右上角)所示。若一个被分离区域有一个介于较低和较高阈值之间的大小，则它侵蚀后保留的白色区域大小取决于侵蚀步骤中的被侵蚀的次数，所有被侵蚀后的单元格在图2-3中被标记为一个单独的区域，如图2-3(左下角)，它是原始地图的副本。经过重复侵蚀，直到所有可访问的单元格都从图2-1中删除。接下来，图中的标记区域通过传播扩展到可访问的未标记空间，直到所有可访问的单元格都被标记。由此产生单个区域的分割结果，如图2-4(右下角)所示。
步骤(2)、提取单个房间中的所有壁面点云：
在该阶段，我们将单房间空间点云P0投影到二维平面X0Y中，使用贪心三角化算法将点云数据转换为Mesh(面片)数据，通过点坐标计算处在房间中心位置的Mesh，从房间中心Mesh开始向外侵蚀，以近似圆形的趋势向外侵蚀，侵蚀面积与单房间Mesh总面积的比值达到设定阈值后停止侵蚀，然后从侵蚀结果余下的Mesh重新向外侵蚀，直到侵蚀结果仅剩下房间边缘Mesh，此时房间边缘Mesh为锯齿形。将房间边缘Mesh和原始点云P0重叠，得到边缘面片内的点云,即单房间边缘点云P1。
步骤(3)通过强化学习拟合壁面线段，得到单房间的线段集合：
在该阶段中，我们提供一种基于强化学习的拟合壁面线段的方法，具体步骤如下：
(3-1)、对于步骤2获得的单组单房间边缘点云数据，通过点云的法向量将房间边缘点云分割为n个壁面点云簇；
(3-2)、定义模型参数，使用强化学习中的Q-learning进行训练，定义壁面点云最远两端的m数量点的簇团为agent(智能体)。利用两个簇团中的点云拟合的壁面线段作为statement(状态)。通过线段的斜率和截距控制两个簇团的移动定义为action(行动)。将每次拟合得到的线段与目标真值线段的接近程度(两线段的角度和距离)作为reward(奖励)，基于接近程度生成reward矩阵。定义学习参数为γ。
(3-3)、每一个壁面点云数据通过直线拟合得到初始线段数据；
(3-4)、初始化状态矩阵Q，表示线段端点在二维空间的位置，计算初始线段数据和目标真值线段的接近程度，通过reward矩阵得到奖励值R，在当前线段端点状态s的所有可能移动行为中选取一个移动行为a，利用选定的移动行为a,得到下一个线段端点状态s，计算下一个状态s在Q矩阵中所能到达的最大奖励，按照公式1计算Q(s,a)，跟新Q矩阵。
其中s，a当时的线段端点的状态和移动的行为，
表示下一个线段端点的状态和移动的行为。
(3-5)、经过迭代训练得到最优模型Q，将每个单房间的壁面点云得到拟合的壁面线段输入到模型中得到优化的最终结果，此时的结果为未闭合的线段集合。
步骤(4)、根据得到单房间的线段集合完成结构重建；
在该阶段，如图3所示，我们得到了步骤3的单房间线段集合后，使用旅行商问题的思路，计算出最短路径下各节点的连接顺序，将前后的线段延伸至相交得到交点坐标，按照角点顺序相连形成闭合的多边形结构。对具有k条边缘的多边形在Z轴方向进行拔高，得到具有k个壁面的3D房间模型。最后，依次重建各个房间，将所有单个3D房间模型组合构成一个完整的室内重建户型图。
Claims (5)
1.一种基于无监督学习的多房间室内户型图重建方法，其特征在于，包括以下步骤：
步骤(1)单房间的检测；
使用形态学侵蚀对多房间场景进行单房间检测，得到单房间点云；
步骤(2)提取单个房间中的所有壁面点云；
步骤(3)通过强化学习拟合壁面线段，得到单房间的线段集合；
步骤(4)根据得到单房间的线段集合完成结构重建。
2.根据权利要求1所述的一种基于无监督学习的多房间室内户型图重建方法，其特征在于，步骤(2)具体方法如下：
将单房间空间点云投影到二维平面X0Y中，使用贪心三角化算法将点云数据转换为Mesh数据，计算房间中心位置的Mesh，从房间中心Mesh开始向外侵蚀，侵蚀后得到单房间边缘面片，面片和点云重叠，将边缘面片内的点云保留作为边缘点云。
3.根据权利要求2所述的一种基于无监督学习的多房间室内户型图重建方法，其特征在于，步骤(3)具体方法如下；
通过点云的法向量将单房间边缘点云分割为多个壁面点云；对每个壁面点云，使用边缘点云的两端来拟合线段避免锯齿形边缘点云拟合线段时受到的锯齿尖端的影响；使用强化学习中的经典算法Q-learning进行训练，定义壁面点云最远两端的n个点的两个簇团为agent；利用两簇团中的点云拟合的壁线段作为statement；通过线段的斜率和截距控制两个簇团的移动定义为action；将每次拟合得到的线段与目标线段的接近程度作为reward；利用Q-learning策略迭代训练得到最优的壁线段。
4.根据权利要求3所述的一种基于无监督学习的多房间室内户型图重建方法，其特征在于，在步骤(3)中提供一种基于强化学习的拟合壁面线段的方法，具体步骤如下：
(3-1)、对于步骤2获得的单组单房间边缘点云数据，通过点云的法向量将房间边缘点云分割为n个壁面点云簇；
(3-2)、定义模型参数，使用强化学习中的Q-learning进行训练，定义壁面点云最远两端的m数量点的簇团为agent；利用两个簇团中的点云拟合的壁面线段作为statement；通过线段的斜率和截距控制两个簇团的移动定义为action；将每次拟合得到的线段与目标真值线段的接近程度作为reward，基于接近程度生成reward矩阵；定义学习参数为γ；
(3-3)、每一个壁面点云数据通过直线拟合得到初始线段数据；
(3-4)、初始化状态矩阵Q，表示线段端点在二维空间的位置，计算初始线段数据和目标真值线段的接近程度，通过reward矩阵得到奖励值R，在当前线段端点状态s的所有可能移动行为中选取一个移动行为a，利用选定的移动行为a,得到下一个线段端点状态
计算下一个状态
在Q矩阵中所能到达的最大奖励，按照公式1计算Q(s,a)，跟新Q矩阵；
其中s，a当时的线段端点的状态和移动的行为，
表示下一个线段端点的状态和移动的行为；
(3-5)、经过迭代训练得到最优模型Q，将每个单房间的壁面点云得到拟合的壁面线段输入到模型中得到优化的最终结果，此时的结果为未闭合的线段集合。
5.根据权利要求3或4所述的一种基于无监督学习的多房间室内户型图重建方法，其特征在于，步骤(4)具体方法如下；
根据从上一步得到的单房间的线段集合，使用旅行商问题思路，计算出最短路径下各节点的连接顺序，将前后的线段延伸至相交得到交点坐标，按照角点顺序相连形成闭合的多边形结构；对n条边缘的多边形在Z轴方向进行拔高，得到具有n个壁面的3D房间模型；将所有单个3D房间模型组合构成一个完整的室内重建户型图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211700300.1A CN115984467A (zh) | 2022-12-28 | 2022-12-28 | 一种基于无监督学习的多房间室内户型图重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211700300.1A CN115984467A (zh) | 2022-12-28 | 2022-12-28 | 一种基于无监督学习的多房间室内户型图重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115984467A true CN115984467A (zh) | 2023-04-18 |
Family
ID=85964465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211700300.1A Withdrawn CN115984467A (zh) | 2022-12-28 | 2022-12-28 | 一种基于无监督学习的多房间室内户型图重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984467A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523036A (zh) * | 2024-01-05 | 2024-02-06 | 深圳大学 | 平面户型图结构化重建方法、装置、设备与介质 |
-
2022
- 2022-12-28 CN CN202211700300.1A patent/CN115984467A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523036A (zh) * | 2024-01-05 | 2024-02-06 | 深圳大学 | 平面户型图结构化重建方法、装置、设备与介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Turner et al. | Fast, automated, scalable generation of textured 3D models of indoor environments | |
| Meng et al. | 3D building generalisation | |
| EP1560163B1 (en) | Wrap deformation using subdivision surfaces | |
| WO2007053740A1 (en) | Sketching reality | |
| Li et al. | Vox-surf: Voxel-based implicit surface representation | |
| CN108446830B (zh) | 一种基于移动设备端的户型日照分析方法 | |
| CN115984467A (zh) | 一种基于无监督学习的多房间室内户型图重建方法 | |
| Hu et al. | Extended interactive and procedural modeling method for ancient Chinese architecture | |
| Knott et al. | Towards mesh-based deep learning for semantic segmentation in photogrammetry | |
| Becher et al. | Feature-based volumetric terrain generation and decoration | |
| Chen et al. | A real-time sculpting and terrain generation system for interactive content creation | |
| Finkenzeller et al. | Feature-based decomposition of façades | |
| CN109509249B (zh) | 一种基于部件的虚拟场景光源智能生成方法 | |
| Zhang | Virtual Design Method of Interior Landscape Based on 3D Vision | |
| Pal | Fast freeform hybrid reconstruction with manual mesh segmentation | |
| Wang et al. | Research on 3D Digital Modeling and Virtual Simulation Technology of Ancient Architecture Based on Image Sequence | |
| Menzel et al. | City Reconstruction and Visualization from Public Data Sources. | |
| Vasin et al. | AUTOMATED 3D MODELING AND 3D VISUALIZATION OF INTERNAL STRUCTURE OBJECTS OF BUILDINGS AND FACILITIES1, 2, 3 | |
| CN112215951B (zh) | 一种核外多分辨率点云表示方法及点云显示方法 | |
| Ji et al. | Construction of Minecraft Virtual Reality Scene Based on Voxel Point Cloud | |
| Klavdianos et al. | A concise survey for 3D reconstruction of building façades | |
| Wichmann et al. | Integration of building knowledge into binary space partitioning for the reconstruction of regularized building models | |
| Roure et al. | Hierarchical Radiosity for Procedural Urban Environments. | |
| Garifullin et al. | Single-view 3D reconstruction via inverse procedural modeling | |
| Qin et al. | A Method of Indoor Space Layout for Home Stay Based on Binocular Vision SLAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230418 |