CN107978017B - 基于框线提取的室内结构快速建模方法 - Google Patents

Abstract

本发明公开了一种基于框线提取的室内结构快速建模方法，包括以下步骤：S1、利用背负式移动测绘系统获取室内的三维点云数据；S2、对室内三维点云数据分为墙面点、天花板点、地面点以及杂点；S3、对墙面点、天花板点以及地面点进行框线提取以分别获得墙面框线、天花板的最外围框线以及地面的最外围框线；S4、分别对提取的天花板及地面的最外围框线进行优化处理；S5、根据天花板与地面的对应关系，连接优化处理后的天花板与地面的最外围框线，得到除门窗之外的室内三维框线；S6、以室内三维框线对墙面线进行过滤以获取门窗线，并对获得的门窗线进行线性优化处理，将处理后的门框线置入室内三维框线，获得完整的室内三维模型。

Description

基于框线提取的室内结构快速建模方法

技术领域

本发明涉及测绘领域，具体涉及一种基于框线提取的室内结构快速建模方法。

背景技术

近年来，激光扫描系统发展迅烈，其在测绘领域的应用越来越广泛，其应用已扩展到与资源调查与开发、灾难现场还原、室内结构勘测等场景。

现有的对室内结构进行建模的方法仍然存在着一些缺陷，主要包括：

1、由于室内结构未知，空间狭小，因此三维点云数据的获取主要依赖于静态激光扫描设备的多站点数据获取，造成点云数据的获取效率低，无法实现室内结构的三维点云数据的实时获取；

2、由于由三维点云数据提取出的框线结果通常无法与实际结果完全一致，因此现有的建模方法需要结合建筑的实际情形对框线结果进行人工干预，存在较大的主观性，且干预规则无法通用，针对不同的建筑需要制定不同的干预规则；

3、在建模过程中，由于三维点云数据的精度、室内遮挡物(电器、家具等)的影响，提取的框线结构常存在不完整、噪声(线条外凸、扭曲等)等缺陷，现有的室内建模方法难以对室内结构进行准确的复原，从而获取完整的室内框线结构。

发明内容

本发明的目的在于提供一种基于框线提取的室内结构快速建模方法，实现室内结构的实时、高精度建模。

为实现上述目的，本发明采用以下技术方案：

基于框线提取的室内结构快速建模方法，包括以下步骤：

S1、利用背负式移动测绘系统获取室内的三维点云数据；

S2、对获取的室内三维点云数据进行分类标记，将室内三维点云数据分为墙面点、天花板点、地面点以及杂点；

S3、对墙面点、天花板点以及地面点进行框线提取以分别获得墙面、天花板以及地面的框线，去除天花板框线及地面框线中的内部框线以分别获得天花板及地面的最外围框线；

S4、分别对提取的天花板及地面的最外围框线进行优化处理；

S5、根据天花板与地面的对应关系，连接优化处理后的天花板与地面的最外围框线，得到除门窗之外的室内三维框线；

S6、以S5获得的室内三维框线对墙面线进行过滤，去除墙面线中的最外围框线而保留内部框线以获取门窗线，并对获得的门窗线进行与步骤S4一致的优化处理，获得完整的室内三维模型。

进一步地，步骤S3中通过小平面算法进行墙面、天花板以及地面的框线提取，所述小平面算法具体包括：

S31、对所有的点进行法向量的计算，对于任意点，以该点及和该点距离在一定范围d内的点构成的平面的法向量作为该点的法向量；

S32、随机选取点云数据里的某个点作为种子点并放入种子点集S中，在剩余的点集T内找到满足：和种子点法向量方向夹角不超过阈值θ的法向量的点以及和种子点距离d不超过距离阈值的条件的点作为候选点放入种子点集S内，并标记该种子点已被访问，接着对种子点集S内的剩余点进行同样的操作，直到找不到符合条件的点为止；

S33、将种子点集S内的点记为平面f_i，放入平面集F内，继续执行上一步操作，直到剩余点集T为空或找到的种子点集S为空为止；

S34、计算平面集F内所有的平面f_i的边缘点，并用最小二乘法拟合平面f_i的边缘线，得到框线。

进一步地，去除天花板框线及地面框线中的内部框线的方法具体为：将所有f_i的边缘线合在一起，利用NFA算法去除属于平面内部的交线，最终得到墙面或者地面或者天花板平面的最外围框线。

进一步地，步骤S4具体为：

S41、将每个平面的坐标系投影到一个新的坐标系o′x′y′z′，并将z’置为0以完成3D-2D的投影操作；

S42、获得投影后，x′和y′将转换为2D图像中的行和列，2D图像被分成若干个子图像，采用卷积神经网络对这些子图像进行分类，并将结果输入到不同的cGAN网络，获得优化的2D线，将优化的2D线上的像素反投影成3D点；最后，通过线性最小二乘拟合算法将3D点拟合为3D线。

进一步地，步骤S41具体为：

S411、随机选取原来平面上的某个点作为新平面的原点o′(x₀,y₀,z₀)；

S412、在原来平面上以o′为起始点上找到两个正交的单位向量u′_x＝(u′_x1,u′_x2,u′_x3)和u′_y＝(u′_y1,u′_y2,u′_y3)作为新平面的x′轴和y′轴，并找出和u′_x及u′_y正交的单位向量u′_z＝(u′_z1,u′_z2,u′_z3)；

S413、根据向量u′_x、u′_y以及u′_z，计算从旧平面到新平面的投影关系并获得投影平面，则有：

(x′,y′,z′,1)＝(x,y,z,1)·T·R；

其中，T为平移矩阵，R为旋转矩阵。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明利用背负式移动测绘系统获取室内的三维点云数据，结合系统内嵌的SLAM算法，能实时获取周围的三维环境，具有高效、便捷的优点；

本发明提出了基于深度学习的室内建模方法，能自动实现对提取结果的干预，使其与实际结果一致，并同时对不同的建筑具有很强的适用性；

本发明对提取出的框线进行优化处理，从而对框线进行断线连接、外凸修剪及线段正则化优化，消除框线所存在的缺陷，提高室内建模的准确度。

附图说明

图1为本发明流程框图；

图2为利用小平面算法所提取的框线示意图；

图3为本发明对提取框线进行优化的流程图；

图4所示的a、b、c为本发明所采用的不同cGAN网络；

图5为cGAN网络的一些测试集样本的训练结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

参考图1所示，基于框线提取的室内结构快速建模方法，包括以下步骤：

S1、利用背负式移动测绘系统获取室内的三维点云数据；

S2、对获取的室内三维点云数据进行分类标记，将室内三维点云数据分为墙面点、天花板点、地面点以及杂点；

S3、对墙面点、天花板点以及地面点进行框线提取以分别获得墙面、天花板以及地面的框线，去除天花板框线及地面框线中的内部框线以分别获得天花板及地面的最外围框线；

S4、分别对提取的天花板及地面的最外围框线进行优化处理；

S5、根据天花板与地面的对应关系，连接优化处理后的天花板与地面的最外围框线，得到除门窗之外的室内三维框线；

S6、以S5获得的室内三维框线对墙面线进行过滤，去除墙面线中的最外围框线而保留内部框线以获取门窗线(只有内部框线才可能是门窗)，并对获得的门窗线进行与步骤S4一致的优化处理，将优化后的门窗线放入S5所获得的室内三维框线中，获得完整的室内三维模型。

其中，S1中的背负式移动测绘系统包括两个激光LiDAR以及一个IMU传感器，根据嵌入的SLAM算法，实时地获取周围的三维环境信息，最终得到室内三维点云数据。

步骤S2中，构建一个MRF模型，利用3dpatches构建3DPMG(3-D patch-based matchgraph)结构，对原始的室内三维点云进行分类标记。

步骤S3中通过小平面算法进行墙面、天花板以及地面的框线提取，所述小平面算法具体包括：

S31、对所有的点进行法向量的计算，对于任意点，以该点及和该点距离在一定范围d内的点构成的平面的法向量作为该点的法向量；

S32、随机选取点云数据里的某个点作为种子点并放入种子点集S中，在剩余的点集T内找到满足：和种子点法向量方向夹角不超过阈值θ的法向量的点以及和种子点距离d不超过距离阈值的条件的点作为候选点放入种子点集S内，并标记该种子点已被访问，接着对种子点集S内的剩余点进行同样的操作，直到找不到符合条件的点为止；

S33、将种子点集S内的点记为平面f_i，放入平面集F内，继续执行上一步操作，直到剩余点集T为空或找到的种子点集S为空为止；

S34、计算平面集F内所有的平面f_i的边缘点，并用最小二乘法拟合平面f_i的边缘线，得到框线。

去除天花板框线及地面框线中的内部框线的方法具体为：将所有fi_i的边缘线合在一起，利用NFA算法去除属于平面内部的交线，最终得到墙面或者地面或者天花板平面的最外围框线。

由于利用小平面算法提取得到的框线只是初步结果，其结果并不完美，如图2所示，其提取的框线存在不垂直、多余延长线、不相交、断开及错开等多种缺陷，不符合实际情况要求，因此需要对所提取的框线进行优化处理。本发明中使用cGAN网络来实现框线的优化，由于cGAN网络是在二维平面上工作，因此首先需要将前面提取到的三类数据分别投影到二维平面上，如图3所示的是对提取框线进行优化的流程图，其操作步骤具体为：

S41、将每个平面的坐标系投影到一个新的坐标系o′x′y′z′，并将z’置为0以完成3D-2D的投影操作；

S42、获得投影后，x′和y′将转换为2D图像中的行和列，2D图像被分成若干个子图像，采用卷积神经网络对这些子图像进行分类，并将结果输入到不同的cGAN网络，获得优化的2D线，将优化的2D线上的像素反投影成3D点；最后，通过线性最小二乘拟合算法将3D点拟合为3D线。

其中，步骤S41又具体包括：

S411、随机选取原来平面上的某个点作为新平面的原点o′(x₀,y₀,z₀)；

S412、在原来平面上以o′为起始点上找到两个正交的单位向量u′_x＝(u′_x1,u′_x2,u′_x3)和u′_y＝(u′_y1,u′_y2,u′_y3)作为新平面的x′轴和y′轴，并找出和u′_x及u′_y正交的单位向量u＇_z＝(u＇_z1,u′_z2,u′_z3)；

S413、根据向量u′_x、u′_y以及u′_z，计算从旧平面到新平面的投影关系并获得投影平面，则有：

(x′,y′,z′,1)＝(x,y,z,1)·T·R；

其中，T为平移矩阵，R为旋转矩阵。

cGAN网络是conditionalGAN网络的缩写，是关于图像到图像翻译的各种各样的任务通用框架，它可以自动的完成图像语义标记，图像边框的检测等任务。cGAN网络可以自动的学习损失函数，因此cGAN网络进行线条优化是个完全自动化的过程。如图4所示的是步骤S42所采用的三个不同的cGAN网络，其可对不同的框线缺陷进行处理，如图5所示的是cGAN网络的对线框的优化结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.基于框线提取的室内结构快速建模方法，其特征在于，包括以下步骤：

S1、利用背负式移动测绘系统获取室内的三维点云数据；

S2、对获取的室内三维点云数据进行分类标记，将室内三维点云数据分为墙面点、天花板点、地面点以及杂点；

S3、对墙面点、天花板点以及地面点通过小平面算法进行框线提取以分别获得墙面、天花板以及地面的框线，去除天花板框线及地面框线中的内部框线以分别获得天花板及地面的最外围框线，所述小平面算法具体包括：

S31、对所有的点进行法向量的计算，对于任意点，以该点及和该点距离在一定范围d内的点构成的平面的法向量作为该点的法向量；

S32、随机选取点云数据里的某个点作为种子点并放入种子点集S中，在剩余的点集T内找到满足：和种子点法向量方向夹角不超过阈值θ的法向量的点以及和种子点的距离d不超过距离阈值的条件的点作为候选点放入种子点集S内，并标记该种子点已被访问，接着对种子点集S内的剩余点进行同样的操作，直到找不到符合条件的点为止；

S33、将种子点集S内的点记为平面f_i，放入平面集F内，继续执行上一步操作，直到剩余点集T为空或找到的种子点集S为空为止；

S34、计算平面集F内所有的平面f_i的边缘点，并用最小二乘法拟合平面f_i的边缘线，得到框线；

所述去除天花板框线及地面框线中的内部框线的方法具体为：将所有f_i的边缘线合在一起，利用NFA算法去除属于平面内部的交线，最终得到墙面或者地面或者天花板平面的最外围框线；

S4、分别对提取的天花板及地面的最外围框线进行优化处理，包括断线连接、外凸修剪及线段正则化；

S5、根据天花板与地面的对应关系，连接优化处理后的天花板与地面的最外围框线，得到除门窗之外的室内三维框线；

S6、以S5获得的室内三维框线对墙面线进行过滤，去除墙面线中的最外围框线而保留内部框线以获取门窗线，并对获得的门窗线进行与步骤S4一致的优化处理，将优化处理后的门框线置入S5获得的室内三维框线，获得完整的室内三维模型。

2.如权利要求1所述的基于框线提取的室内结构快速建模方法，其特征在于，步骤S4具体为：

S41、将每个平面的坐标系投影到一个新的坐标系o′x′y′z′，并将z′置为0以完成3D-2D的投影操作；

S42、获得投影后，x′和y′转换为2D图像中的行和列，2D图像被分成若干个子图像，采用卷积神经网络对这些子图像进行分类，并将结果输入到不同的cGAN网络，获得优化的2D线，将优化的2D线上的像素反投影成3D点；最后，通过线性最小二乘拟合算法将3D点拟合为3D线。

3.如权利要求2所述的基于框线提取的室内结构快速建模方法，其特征在于，步骤S41具体为：

S411、随机选取原来平面上的某个点作为新平面的原点o′(x₀，y₀，z₀)；

S412、在原来平面上以o′为起始点上找到两个正交的单位向量u＇_x＝(u′_x1，u′_x2，u′_x3)和u′_y＝(u′_y1，u′_y2，u′_y3)作为新平面的x′轴和y′轴，并找出和u′_x及u′_y正交的单位向量u′_z＝(u′_z1，u′_z2，u′_z3)；

S413、根据向量u′_x、u＇_y以及u′_z，计算从旧平面到新平面的投影关系并获得投影平面，则有：

(x′，y′，z′，1)＝(x，y，z，1)·T·R；

其中，T为平移矩阵，R为旋转矩阵。

Images