CN114359437A - 基于点云的建筑结构二维平面图重建方法 - Google Patents

Abstract

本发明公开了基于点云的建筑结构二维平面图重建方法，包括以下步骤：基于mesh面片进行稠密点云重采样，对每一个三角片面进行均匀概率采样，生成具有连续性的稠密点云数据；基于RANSAC得到三维主平面分析结果，进一步拟合三维主平面点云，获得对应的二维投影线段，并通过霍夫变换提取与墙对应的投影线段；在获取到所有候选线段后，采用三层能量函数，通过整数线性规划求解筛选出最优线段解集重建二维平面图。本发明对小型室内场景的平面图重建效果优于现有方法，同时对办公楼、超市等大型场景也具有较好且稳定的平面图重建效果。

Description

基于点云的建筑结构二维平面图重建方法

技术领域

本发明属于建筑重建技术领域，涉及一种基于点云的建筑结构二维平面图重建方法。

背景技术

近年来，深度学习在二维平面图重建的研究上取得了较为不错的效果。其中，FloorNet作为基于深度学习的先进方法，提出了一个深度神经架构。以单张图片作为输入，通过三个网络分支预测了像素方面的几何和语义信息，1)单层的PointNet获取三维信息；2)自上而下视图的二维点密度图像，增强局部空间推理；3)利用完整图像信息输入到Convolution Neural Network(CNN)生成深度图像特征。FloorNet的跨分支交换中间特性，将带摄像机姿势的RGBD视频转换为像素平面几何和语义信息，并通过整数规划得到了满足约束条件的平面图。并且同时能够在二维平面图中恢复出的房屋的语义标签信息，例如某部分平面区域属于卧室、厨房、过道等。但是该方法只适用于曼哈顿假设下的场景。于是基于FloorNet后续又提出了FloorSP,一种更加新颖的优化方案被提出，通过房间坐标下降顺序求解最短路径问题来优化平面图结构。目标函数包含数据项，它由深度神经网络引导，连续项来表达相邻房间共享角落和墙壁的一致性项以及模型复杂性项。与大多数其他方法不同，该方法不需要角点或者边缘的提取，并且不需要曼哈顿约束。但是该方法在使maskRcnn网络对房间进行聚类分割时会用一个较大的bounding-box对单房间做掩膜处理，这就导致了检测出来的房间会比原始房间面积更大，重建后平面图房屋的边缘以及角点信息与真值无法配准。同时该方法需要十分严格的数据预处理，需要将模型与坐标系配准为正交才能够对房屋准确的分割聚类。现有技术中有方法提出通过PointNet对房间和墙分开进行聚类，然后计算一个房间墙体的周长来完成对平面图的重建。但是该方法只适用于简单的小场景重建，并且无法恢复出场景内部小房间的平面图结构，仅能重建场景的外轮廓。

近年传统数学的方法在二维平面图重建领域上也有较为突出的成果。包括有通过整数线性规划的求解来重建平面图，该方法以建筑三维点云数据作为原始输入，以RANSAC方法检测墙面数据并投影为二维线段，通过整数线性规划对能量函数优化求解选择最优片段集合组成平面图。然而，当前基于RANSAC的方法对不同建筑场景的鲁棒性较差，其存在难以稳定检测小平面以及无法根据场景大小进行自适应调参等问题，导致该类方法会出现平面图重建结果不完整、存在噪声线段等问题。

发明内容

为解决上述问题，本发明针对上述不足，技术方案为基于点云的建筑结构二维平面图重建方法，包括以下步骤：

S10，基于mesh面片进行稠密点云重采样，对每一个三角片面进行均匀概率采样，生成具有连续性的稠密点云数据；

S20，基于RANSAC得到三维主平面分析结果，进一步拟合三维主平面点云，获得对应的二维投影线段，并通过霍夫变换提取与墙对应的投影线段；

S30，在获取到所有候选线段后，采用三层能量函数，通过整数线性规划求解筛选出最优线段解集重建二维平面图。

优选地，所述S10包括以下步骤：

S11，采用雷达扫描后的点云数据作为原始输入；

S12，通过稠密点云的重采样并且平滑处理，将稀疏点云数据转化为稠密的点云数据的同时避免了点云数据的断层现象；

S13，将模型方向矫正为地面法向量平行于Z轴坐标方向。

优选地，所述S13中为了避免室内家具对结果的影响，默认0m-0.7m高度为室内家具，并且以0.7m高度作为阈值将点云数据从地面取该高度做点云切割，即仅保留所有高于0.7m的点云数据。

优选地，所述S20中由于S10中采用稠密点云数据，故在RANSAC检测时采用宽阈值以保证检测到足够多的平面，导致将一个大的平面检测为多个小的平面，便需提炼小平面组合成一个完整的大平面，对于任意的两个平面p_i和p_j如果满足以下条件就会被合并：

条件1、p_i和p_j之间的夹角小于θ；

条件2、p_i和p_j距离小于d；

新合并后的平面p_n的法向量信息

为：

将所有新合并后的平面投影到2D的X0Y坐标轴中，并且再通过线段拟合将投影后平面的点拟合成新的线段，得到零散的平面片段集合S_i；再将所有线段沿着首尾方向各延长1m使得片段之间相交。

优选地，所述S30中在获取到不完整片段集合S_i后采用全局能量优化方法，从S_i中筛选目标片段组成的平面图，具体为：用整型变量x_i来代表第i个片段是否被最终选择保留，若x_i＝0则舍弃该片段，若x_i＝1则保留片段至最终平面图中，采用能量函数E包含三个能量项，分别为曼哈顿项M，长度项L和复杂项C：

E＝λ₁·M+λ₂·L+λ₃·C (2)

其中，λ₁,λ₂,λ₃分别为平衡常数，最终的平面图结果是通过求解能量函数E的最小值后，从S_i中保留所有x_i＝1的片段；

式(2)中的曼哈顿项M约束所有的线段，线段与线段之间的余弦值保持在近正交的阈值以内，

其中，|cos(S_i,S_j)|是S_j与S_i余弦值的绝对值，S_j是与S_i片段相交的片段；

式(2)中的长度项L考虑到在点云存在遗失的情况，于是用长度项L用来平衡数据的完整性，将拟合线段使用到的点云数据投影到拟合后的线段中，计算所有点云投影的线段中与线段的覆盖长度是否达到阈值δ；

其中，P是所有点云的数量，len_cov是点云投影到线段上的覆盖长度，lenS_i是线段的覆盖长度；

式(2)中的复杂项C计算了在闭环场景中片段与片段相交时构成的角点数量：

其中，N_c是与S_i相交片段的数量总和，将式(2)通过整数线性规划求解方法优化求最小值，平面图由所有x_i＝1的片段组合构成；

在获取到完整的平面图结果后，将相邻并且平行的线段进行合并处理获取最终重建的平面图结构。

本发明以常见的雷达扫描点云模型作为输入数据，通过预处理充分避免了噪音的干扰，后通过十分宽松的阈值将点云数据中的平面通过RANSAC方法尽可能多的检测复现平面数据并投影拟合成二维线段。接着经由多层能量函数通过整数线性规划处理从预选平面线段中得出最优解。该方法整体框架相比较以往方法在指标性能上都有一定的提升。在公开数据集上的定量及定性对比结果可见，所提方法对小型室内场景的平面图重建效果优于现有先进方法，同时对办公楼、超市等大型场景也具有较好且稳定的平面图重建效果。

附图说明

图1为本发明实施例的基于点云的建筑结构二维平面图重建方法的步骤流程图；

图2为本发明实施例的采用基于点云的建筑结构二维平面图重建方法的重建效果图；

图3为现有技术中FloorSP与本发明基于点云的建筑结构二维平面图重建方法的重建对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

参见图1，为本发明实施例的本发明的技术方案为基于点云的建筑结构二维平面图重建方法的S10流程图，包括以下步骤：

S10，基于三角面片(Mesh)进行稠密点云重采样，对每一个三角片面进行均匀概率采样，生成具有连续性的稠密点云数据；

S20，基于随机采样一致性算法(RANdom SAmple Consistency，RANSAC)得到三维主平面分析结果，进一步拟合三维主平面点云，获得对应的二维投影线段，并通过霍夫变换提取与墙对应的投影线段；

S30，在获取到所有候选线段后，采用三层能量函数，通过整数线性规划求解筛选出最优线段解集重建二维平面图。

S10包括以下步骤：

S11，采用雷达扫描后的点云数据作为原始输入；

S12，通过稠密点云的重采样并且平滑处理，将稀疏点云数据转化为稠密的点云数据的同时避免了点云数据的断层现象；

S13，将模型方向矫正为地面法向量平行于Z轴坐标方向。

S13中为了避免室内家具对结果的影响，默认0m-0.7m高度为室内家具，并且以0.7m高度作为阈值将点云数据从地面取该高度做点云切割，即仅保留所有高于0.7m的点云数据。

S20中由于S10中采用稠密点云数据，故在RANSAC检测时采用宽阈值以保证检测到足够多的平面，导致将一个大的平面检测为多个小的平面，便需提炼小平面组合成一个完整的大平面，对于任意的两个平面p_i和p_j如果满足以下条件就会被合并：

条件1、p_i和p_j之间的夹角小于θ；

条件2、p_i和p_j距离小于d；

新合并后的平面p_n的法向量信息

为：

将所有新合并后的平面投影到2D的X0Y坐标轴中，并且再通过线段拟合将投影后平面的点拟合成新的线段，得到零散的平面片段集合S_i；再将所有线段沿着首尾方向各延长1m使得片段之间相交。

S30中在获取到不完整片段集合S_i后采用全局能量优化方法，从S_i中筛选目标片段组成的平面图，具体为：用整型变量x_i来代表第i个片段是否被最终选择保留，若x_i＝0则舍弃该片段，若x_i＝1则保留片段至最终平面图中，采用能量函数E包含三个能量项，分别为曼哈顿项M，长度项L和复杂项C：

E＝λ₁·M+λ₂·L+λ₃·C (2)

其中，λ₁,λ₂,λ₃分别为平衡常数，最终的平面图结果是通过求解能量函数E的最小值后，从S_i中保留所有x_i＝1的片段；

式(2)中的曼哈顿项M约束所有的线段，线段与线段之间的余弦值保持在近正交的阈值以内，能够有效剔除冗余的细小片段，保证平面图的完整性以及准确性，进一步优化在S20中平面检测和线段拟合过程中线段生成的结果，提高了鲁棒性：

其中，|cos(S_i,S_j)|是S_j与S_i余弦值的绝对值，S_j是与S_i片段相交的片段，S_j∈N_Si表示所有S_i片段相交的其他片段。

式(2)中的长度项L考虑到在点云存在遗失的情况，于是用长度项L用来平衡数据的完整性，将拟合线段使用到的点云数据投影到拟合后的线段中，计算所有点云投影的线段中与线段的覆盖长度是否达到阈值δ；

其中，P是所有点云的数量，len_cov是点云投影到线段上的覆盖长度，lenS_i是线段的覆盖长度；

式(2)中的复杂项C计算了在闭环场景中片段与片段相交时构成的角点数量：

其中，N_c是与S_i相交片段的数量总和，将式(2)通过整数线性规划求解方法优化求最小值，平面图由所有x_i＝1的片段组合构成；

在获取到完整的平面图结果后，将相邻并且平行的线段进行合并处理获取最终重建的平面图结构。

在重建了二维平面图后，采用了2021年CVPR BIM WorkShop提供的开源数据集进行定量以及定性的实验对比。由于官方并没有提供测试集的Ground Truth，导致无法在测试集中进行对比。故本发明以该数据集中带有真值的训练集部分作为测试对象，并从中随机抽取30个数据样本作为本章实验对比数据。对于小型场景以及单房间场景则是由iphonearkit对真实场景扫描获得。

方法对比及消融实验：将本发明的实验结果与2019年优秀论文FloorSP方法以及2020cvpr BIM WorkShop Challenge最优指标进行对比。同时采用了BIM WorkShop提供的开源的指标评估方法进行实验分别对10cm误差召回率、10cm误差准确率和贝蒂误差进行了对比，参见表1结果，其中本发明-m为不带有曼哈顿项M约束时的本发明方法。

表1对比评估结果

	准确率	召回率	贝蒂误差
				FloorSP	8.9	4.6	1.925
本发明-m	21.4	11.2	1.131
				本发明	25.8	14.9	1.181

在不带有曼哈顿项M约束时场景中会存在倾斜角度较大的片段被保留，这将影响到准确率以及召回率的精度，但是由于多余倾斜线段在一定程度上会延展了平面图拓扑结构从而减小贝蒂数的误差值。图3中，第1列为采用雷达扫描后的点云数据作为原始输入，包括单房间和多房间；第2列为通过稠密点云的重采样并且平滑处理后的图像；第3列为采用FloorSP的重建效果图；第4列为本发明方法中不带有曼哈顿项M约束时的重建效果图；第5列为本发明完整方法的重建效果图。其中，第3行是单房间场景，因为干扰数据点经过S10预处理后已经完全剔除(室内家具、杂物等)，所以不会生成小的倾片线段干扰，带和不带曼哈顿项M约束的两个方法的结果呈现一致结果。本发明整体方法在没有曼哈顿项M能量优化的结果明显呈现出散乱的小片段，也会影响到平面图整体轮廓结构的完整性。图3中第3列为采用FloorSP的重建效果图，无法对房间进行稳定的分割识别，导致重建时房间与房间之间会存在极大的缝隙，同时房间整体结构会比原模型更大；此外，其重建的二维平面图会出现整体倾斜的情况，对于房间的边缘轮廓无法十分平滑的重建出，呈现出了凹凸不平的结构。并且针对第3行单房间场景无法在重建时实现掩膜的覆盖导致平面图无法完成重建，所以呈现出空的结果。

本发明提出了一种平面图重建方法，以常见的雷达扫描点云模型作为输入数据，通过预处理充分避免了噪音的干扰，后通过十分宽松的阈值将点云数据中的平面通过RANSAC方法尽可能多的检测复现平面数据并投影拟合成二维线段。接着经由多层能量函数通过整数线性规划处理从预选平面线段中得出最优解。该方法整体框架相比较以往方法在指标性能上都有一定的提升。后续可以基于现有的数据集加入神经网络进行学习，会对未预处理过的数据集有更宽泛的适用性。后续还可以加入语义的信息，将门、窗户以及室内家具等信息恢复，做平面检测时将该类数据全部过滤可以极大提高实验结果的精度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于点云的建筑结构二维平面图重建方法，其特征在于，包括以下步骤：

S10，基于mesh面片进行稠密点云重采样，对每一个三角片面进行均匀概率采样，生成具有连续性的稠密点云数据；

S20，基于RANSAC得到三维主平面分析结果，进一步拟合三维主平面点云，获得对应的二维投影线段，并通过霍夫变换提取与墙对应的投影线段；

S30，在获取到所有候选线段后，采用三层能量函数，通过整数线性规划求解筛选出最优线段解集重建二维平面图。

2.根据权利要求1所述的一种基于点云的建筑结构二维平面图重建方法，其特征在于，所述S10包括以下步骤：

S11，采用雷达扫描后的点云数据作为原始输入；

S12，通过稠密点云的重采样并且平滑处理，将稀疏点云数据转化为稠密的点云数据的同时避免了点云数据的断层现象；

S13，将模型方向矫正为地面法向量平行于Z轴坐标方向。

3.根据权利要求2所述的一种基于点云的建筑结构二维平面图重建方法，其特征在于，所述S13中为了避免室内家具对结果的影响，默认0m-0.7m高度为室内家具，并且以0.7m高度作为阈值将点云数据从地面取该高度做点云切割，即仅保留所有高于0.7m的点云数据。

4.根据权利要求1所述的一种基于点云的建筑结构二维平面图重建方法，其特征在于，所述S20中由于S10中采用稠密点云数据，故在RANSAC检测时采用宽阈值以保证检测到足够多的平面，导致将一个大的平面检测为多个小的平面，便需提炼小平面组合成一个完整的大平面，对于任意的两个平面p_i和p_j如果满足以下条件就会被合并：

条件1、p_i和p_j之间的夹角小于θ；

条件2、p_i和p_j距离小于d；

新合并后的平面p_n的法向量信息

为：

将所有新合并后的平面投影到2D的X0Y坐标轴中，并且再通过线段拟合将投影后平面的点拟合成新的线段，得到零散的平面片段集合S_i；再将所有线段沿着首尾方向各延长1m使得片段之间相交。

5.根据权利要求4所述的一种基于点云的建筑结构二维平面图重建方法，其特征在于，所述S30中在获取到不完整片段集合S_i后采用全局能量优化方法，从S_i中筛选目标片段组成的平面图，具体为：用整型变量x_i来代表第i个片段是否被最终选择保留，若x_i＝0则舍弃该片段，若x_i＝1则保留片段至最终平面图中，采用能量函数E包含三个能量项，分别为曼哈顿项M，长度项L和复杂项C：

E＝λ₁·M+λ₂·L+λ₃·C (2)

其中，λ₁,λ₂,λ₃分别为平衡常数，最终的平面图结果是通过求解能量函数E的最小值后，从S_i中保留所有x_i＝1的片段；

式(2)中的曼哈顿项M约束所有的线段，线段与线段之间的余弦值保持在近正交的阈值以内，

其中，|cos(S_i,S_j)|是S_j与S_i余弦值的绝对值，S_j是与S_i片段相交的片段；

式(2)中的长度项L考虑到在点云存在遗失的情况，于是用长度项L用来平衡数据的完整性，将拟合线段使用到的点云数据投影到拟合后的线段中，计算所有点云投影的线段中与线段的覆盖长度是否达到阈值δ；

其中，P是所有点云的数量，len_cov是点云投影到线段上的覆盖长度，lenS_i是线段的覆盖长度；

式(2)中的复杂项C计算了在闭环场景中片段与片段相交时构成的角点数量：

其中，N_c是与S_i相交片段的数量总和，将式(2)通过整数线性规划求解方法优化求最小值，平面图由所有x_i＝1的片段组合构成；

在获取到完整的平面图结果后，将相邻并且平行的线段进行合并处理获取最终重建的平面图结构。

Images