CN107978017B - 基于框线提取的室内结构快速建模方法 - Google Patents

基于框线提取的室内结构快速建模方法 Download PDF

Info

Publication number
CN107978017B
CN107978017B CN201710965539.4A CN201710965539A CN107978017B CN 107978017 B CN107978017 B CN 107978017B CN 201710965539 A CN201710965539 A CN 201710965539A CN 107978017 B CN107978017 B CN 107978017B
Authority
CN
China
Prior art keywords
point
indoor
ceiling
ground
frame line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710965539.4A
Other languages
English (en)
Other versions
CN107978017A (zh
Inventor
温程璐
王程
候士伟
李军
宫正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Sizhong Construction Co.,Ltd.
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201710965539.4A priority Critical patent/CN107978017B/zh
Publication of CN107978017A publication Critical patent/CN107978017A/zh
Application granted granted Critical
Publication of CN107978017B publication Critical patent/CN107978017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于框线提取的室内结构快速建模方法,包括以下步骤:S1、利用背负式移动测绘系统获取室内的三维点云数据;S2、对室内三维点云数据分为墙面点、天花板点、地面点以及杂点;S3、对墙面点、天花板点以及地面点进行框线提取以分别获得墙面框线、天花板的最外围框线以及地面的最外围框线;S4、分别对提取的天花板及地面的最外围框线进行优化处理;S5、根据天花板与地面的对应关系,连接优化处理后的天花板与地面的最外围框线,得到除门窗之外的室内三维框线;S6、以室内三维框线对墙面线进行过滤以获取门窗线,并对获得的门窗线进行线性优化处理,将处理后的门框线置入室内三维框线,获得完整的室内三维模型。

Description

基于框线提取的室内结构快速建模方法
技术领域
本发明涉及测绘领域,具体涉及一种基于框线提取的室内结构快速建模方法。
背景技术
近年来,激光扫描系统发展迅烈,其在测绘领域的应用越来越广泛,其应用已扩展到与资源调查与开发、灾难现场还原、室内结构勘测等场景。
现有的对室内结构进行建模的方法仍然存在着一些缺陷,主要包括:
1、由于室内结构未知,空间狭小,因此三维点云数据的获取主要依赖于静态激光扫描设备的多站点数据获取,造成点云数据的获取效率低,无法实现室内结构的三维点云数据的实时获取;
2、由于由三维点云数据提取出的框线结果通常无法与实际结果完全一致,因此现有的建模方法需要结合建筑的实际情形对框线结果进行人工干预,存在较大的主观性,且干预规则无法通用,针对不同的建筑需要制定不同的干预规则;
3、在建模过程中,由于三维点云数据的精度、室内遮挡物(电器、家具等)的影响,提取的框线结构常存在不完整、噪声(线条外凸、扭曲等)等缺陷,现有的室内建模方法难以对室内结构进行准确的复原,从而获取完整的室内框线结构。
发明内容
本发明的目的在于提供一种基于框线提取的室内结构快速建模方法,实现室内结构的实时、高精度建模。
为实现上述目的,本发明采用以下技术方案:
基于框线提取的室内结构快速建模方法,包括以下步骤:
S1、利用背负式移动测绘系统获取室内的三维点云数据;
S2、对获取的室内三维点云数据进行分类标记,将室内三维点云数据分为墙面点、天花板点、地面点以及杂点;
S3、对墙面点、天花板点以及地面点进行框线提取以分别获得墙面、天花板以及地面的框线,去除天花板框线及地面框线中的内部框线以分别获得天花板及地面的最外围框线;
S4、分别对提取的天花板及地面的最外围框线进行优化处理;
S5、根据天花板与地面的对应关系,连接优化处理后的天花板与地面的最外围框线,得到除门窗之外的室内三维框线;
S6、以S5获得的室内三维框线对墙面线进行过滤,去除墙面线中的最外围框线而保留内部框线以获取门窗线,并对获得的门窗线进行与步骤S4一致的优化处理,获得完整的室内三维模型。
进一步地,步骤S3中通过小平面算法进行墙面、天花板以及地面的框线提取,所述小平面算法具体包括:
S31、对所有的点进行法向量的计算,对于任意点,以该点及和该点距离在一定范围d内的点构成的平面的法向量作为该点的法向量;
S32、随机选取点云数据里的某个点作为种子点并放入种子点集S中,在剩余的点集T内找到满足:和种子点法向量方向夹角不超过阈值θ的法向量的点以及和种子点距离d不超过距离阈值的条件的点作为候选点放入种子点集S内,并标记该种子点已被访问,接着对种子点集S内的剩余点进行同样的操作,直到找不到符合条件的点为止;
S33、将种子点集S内的点记为平面fi,放入平面集F内,继续执行上一步操作,直到剩余点集T为空或找到的种子点集S为空为止;
S34、计算平面集F内所有的平面fi的边缘点,并用最小二乘法拟合平面fi的边缘线,得到框线。
进一步地,去除天花板框线及地面框线中的内部框线的方法具体为:将所有fi的边缘线合在一起,利用NFA算法去除属于平面内部的交线,最终得到墙面或者地面或者天花板平面的最外围框线。
进一步地,步骤S4具体为:
S41、将每个平面的坐标系投影到一个新的坐标系o′x′y′z′,并将z’置为0以完成3D-2D的投影操作;
S42、获得投影后,x′和y′将转换为2D图像中的行和列,2D图像被分成若干个子图像,采用卷积神经网络对这些子图像进行分类,并将结果输入到不同的cGAN网络,获得优化的2D线,将优化的2D线上的像素反投影成3D点;最后,通过线性最小二乘拟合算法将3D点拟合为3D线。
进一步地,步骤S41具体为:
S411、随机选取原来平面上的某个点作为新平面的原点o′(x0,y0,z0);
S412、在原来平面上以o′为起始点上找到两个正交的单位向量u′x=(u′x1,u′x2,u′x3)和u′y=(u′y1,u′y2,u′y3)作为新平面的x′轴和y′轴,并找出和u′x及u′y正交的单位向量u′z=(u′z1,u′z2,u′z3);
S413、根据向量u′x、u′y以及u′z,计算从旧平面到新平面的投影关系并获得投影平面,则有:
(x′,y′,z′,1)=(x,y,z,1)·T·R;
Figure GDA0002400748140000031
其中,T为平移矩阵,R为旋转矩阵。
采用上述技术方案后,本发明与背景技术相比,具有如下优点:
本发明利用背负式移动测绘系统获取室内的三维点云数据,结合系统内嵌的SLAM算法,能实时获取周围的三维环境,具有高效、便捷的优点;
本发明提出了基于深度学习的室内建模方法,能自动实现对提取结果的干预,使其与实际结果一致,并同时对不同的建筑具有很强的适用性;
本发明对提取出的框线进行优化处理,从而对框线进行断线连接、外凸修剪及线段正则化优化,消除框线所存在的缺陷,提高室内建模的准确度。
附图说明
图1为本发明流程框图;
图2为利用小平面算法所提取的框线示意图;
图3为本发明对提取框线进行优化的流程图;
图4所示的a、b、c为本发明所采用的不同cGAN网络;
图5为cGAN网络的一些测试集样本的训练结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例
参考图1所示,基于框线提取的室内结构快速建模方法,包括以下步骤:
S1、利用背负式移动测绘系统获取室内的三维点云数据;
S2、对获取的室内三维点云数据进行分类标记,将室内三维点云数据分为墙面点、天花板点、地面点以及杂点;
S3、对墙面点、天花板点以及地面点进行框线提取以分别获得墙面、天花板以及地面的框线,去除天花板框线及地面框线中的内部框线以分别获得天花板及地面的最外围框线;
S4、分别对提取的天花板及地面的最外围框线进行优化处理;
S5、根据天花板与地面的对应关系,连接优化处理后的天花板与地面的最外围框线,得到除门窗之外的室内三维框线;
S6、以S5获得的室内三维框线对墙面线进行过滤,去除墙面线中的最外围框线而保留内部框线以获取门窗线(只有内部框线才可能是门窗),并对获得的门窗线进行与步骤S4一致的优化处理,将优化后的门窗线放入S5所获得的室内三维框线中,获得完整的室内三维模型。
其中,S1中的背负式移动测绘系统包括两个激光LiDAR以及一个IMU传感器,根据嵌入的SLAM算法,实时地获取周围的三维环境信息,最终得到室内三维点云数据。
步骤S2中,构建一个MRF模型,利用3dpatches构建3DPMG(3-D patch-based matchgraph)结构,对原始的室内三维点云进行分类标记。
步骤S3中通过小平面算法进行墙面、天花板以及地面的框线提取,所述小平面算法具体包括:
S31、对所有的点进行法向量的计算,对于任意点,以该点及和该点距离在一定范围d内的点构成的平面的法向量作为该点的法向量;
S32、随机选取点云数据里的某个点作为种子点并放入种子点集S中,在剩余的点集T内找到满足:和种子点法向量方向夹角不超过阈值θ的法向量的点以及和种子点距离d不超过距离阈值的条件的点作为候选点放入种子点集S内,并标记该种子点已被访问,接着对种子点集S内的剩余点进行同样的操作,直到找不到符合条件的点为止;
S33、将种子点集S内的点记为平面fi,放入平面集F内,继续执行上一步操作,直到剩余点集T为空或找到的种子点集S为空为止;
S34、计算平面集F内所有的平面fi的边缘点,并用最小二乘法拟合平面fi的边缘线,得到框线。
去除天花板框线及地面框线中的内部框线的方法具体为:将所有fii的边缘线合在一起,利用NFA算法去除属于平面内部的交线,最终得到墙面或者地面或者天花板平面的最外围框线。
由于利用小平面算法提取得到的框线只是初步结果,其结果并不完美,如图2所示,其提取的框线存在不垂直、多余延长线、不相交、断开及错开等多种缺陷,不符合实际情况要求,因此需要对所提取的框线进行优化处理。本发明中使用cGAN网络来实现框线的优化,由于cGAN网络是在二维平面上工作,因此首先需要将前面提取到的三类数据分别投影到二维平面上,如图3所示的是对提取框线进行优化的流程图,其操作步骤具体为:
S41、将每个平面的坐标系投影到一个新的坐标系o′x′y′z′,并将z’置为0以完成3D-2D的投影操作;
S42、获得投影后,x′和y′将转换为2D图像中的行和列,2D图像被分成若干个子图像,采用卷积神经网络对这些子图像进行分类,并将结果输入到不同的cGAN网络,获得优化的2D线,将优化的2D线上的像素反投影成3D点;最后,通过线性最小二乘拟合算法将3D点拟合为3D线。
其中,步骤S41又具体包括:
S411、随机选取原来平面上的某个点作为新平面的原点o′(x0,y0,z0);
S412、在原来平面上以o′为起始点上找到两个正交的单位向量u′x=(u′x1,u′x2,u′x3)和u′y=(u′y1,u′y2,u′y3)作为新平面的x′轴和y′轴,并找出和u′x及u′y正交的单位向量u'z=(u'z1,u′z2,u′z3);
S413、根据向量u′x、u′y以及u′z,计算从旧平面到新平面的投影关系并获得投影平面,则有:
(x′,y′,z′,1)=(x,y,z,1)·T·R;
Figure GDA0002400748140000061
其中,T为平移矩阵,R为旋转矩阵。
cGAN网络是conditionalGAN网络的缩写,是关于图像到图像翻译的各种各样的任务通用框架,它可以自动的完成图像语义标记,图像边框的检测等任务。cGAN网络可以自动的学习损失函数,因此cGAN网络进行线条优化是个完全自动化的过程。如图4所示的是步骤S42所采用的三个不同的cGAN网络,其可对不同的框线缺陷进行处理,如图5所示的是cGAN网络的对线框的优化结果。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.基于框线提取的室内结构快速建模方法,其特征在于,包括以下步骤:
S1、利用背负式移动测绘系统获取室内的三维点云数据;
S2、对获取的室内三维点云数据进行分类标记,将室内三维点云数据分为墙面点、天花板点、地面点以及杂点;
S3、对墙面点、天花板点以及地面点通过小平面算法进行框线提取以分别获得墙面、天花板以及地面的框线,去除天花板框线及地面框线中的内部框线以分别获得天花板及地面的最外围框线,所述小平面算法具体包括:
S31、对所有的点进行法向量的计算,对于任意点,以该点及和该点距离在一定范围d内的点构成的平面的法向量作为该点的法向量;
S32、随机选取点云数据里的某个点作为种子点并放入种子点集S中,在剩余的点集T内找到满足:和种子点法向量方向夹角不超过阈值θ的法向量的点以及和种子点的距离d不超过距离阈值的条件的点作为候选点放入种子点集S内,并标记该种子点已被访问,接着对种子点集S内的剩余点进行同样的操作,直到找不到符合条件的点为止;
S33、将种子点集S内的点记为平面fi,放入平面集F内,继续执行上一步操作,直到剩余点集T为空或找到的种子点集S为空为止;
S34、计算平面集F内所有的平面fi的边缘点,并用最小二乘法拟合平面fi的边缘线,得到框线;
所述去除天花板框线及地面框线中的内部框线的方法具体为:将所有fi的边缘线合在一起,利用NFA算法去除属于平面内部的交线,最终得到墙面或者地面或者天花板平面的最外围框线;
S4、分别对提取的天花板及地面的最外围框线进行优化处理,包括断线连接、外凸修剪及线段正则化;
S5、根据天花板与地面的对应关系,连接优化处理后的天花板与地面的最外围框线,得到除门窗之外的室内三维框线;
S6、以S5获得的室内三维框线对墙面线进行过滤,去除墙面线中的最外围框线而保留内部框线以获取门窗线,并对获得的门窗线进行与步骤S4一致的优化处理,将优化处理后的门框线置入S5获得的室内三维框线,获得完整的室内三维模型。
2.如权利要求1所述的基于框线提取的室内结构快速建模方法,其特征在于,步骤S4具体为:
S41、将每个平面的坐标系投影到一个新的坐标系o′x′y′z′,并将z′置为0以完成3D-2D的投影操作;
S42、获得投影后,x′和y′转换为2D图像中的行和列,2D图像被分成若干个子图像,采用卷积神经网络对这些子图像进行分类,并将结果输入到不同的cGAN网络,获得优化的2D线,将优化的2D线上的像素反投影成3D点;最后,通过线性最小二乘拟合算法将3D点拟合为3D线。
3.如权利要求2所述的基于框线提取的室内结构快速建模方法,其特征在于,步骤S41具体为:
S411、随机选取原来平面上的某个点作为新平面的原点o′(x0,y0,z0);
S412、在原来平面上以o′为起始点上找到两个正交的单位向量u'x=(u′x1,u′x2,u′x3)和u′y=(u′y1,u′y2,u′y3)作为新平面的x′轴和y′轴,并找出和u′x及u′y正交的单位向量u′z=(u′z1,u′z2,u′z3);
S413、根据向量u′x、u'y以及u′z,计算从旧平面到新平面的投影关系并获得投影平面,则有:
(x′,y′,z′,1)=(x,y,z,1)·T·R;
Figure FDA0002400748130000021
其中,T为平移矩阵,R为旋转矩阵。
CN201710965539.4A 2017-10-17 2017-10-17 基于框线提取的室内结构快速建模方法 Active CN107978017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710965539.4A CN107978017B (zh) 2017-10-17 2017-10-17 基于框线提取的室内结构快速建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710965539.4A CN107978017B (zh) 2017-10-17 2017-10-17 基于框线提取的室内结构快速建模方法

Publications (2)

Publication Number Publication Date
CN107978017A CN107978017A (zh) 2018-05-01
CN107978017B true CN107978017B (zh) 2020-05-12

Family

ID=62012423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710965539.4A Active CN107978017B (zh) 2017-10-17 2017-10-17 基于框线提取的室内结构快速建模方法

Country Status (1)

Country Link
CN (1) CN107978017B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961395B (zh) * 2018-07-03 2019-07-30 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN110148220B (zh) * 2018-08-30 2023-09-19 杭州维聚科技有限公司 室内空间大物件的三维重建方法
CN110009727B (zh) * 2019-03-08 2023-04-18 深圳大学 一种具有结构语义的室内三维模型自动重构方法及系统
CN109828284B (zh) * 2019-03-18 2023-02-10 上海盎维信息技术有限公司 基于人工智能的实测实量的方法及装置
CN109934228B (zh) * 2019-03-18 2023-02-10 上海盎维信息技术有限公司 基于人工智能的3d点云处理方法及装置
CN110505463A (zh) * 2019-08-23 2019-11-26 上海亦我信息技术有限公司 基于拍照的实时自动3d建模方法
CN112464326B (zh) * 2019-09-06 2023-07-21 久瓴(上海)智能科技有限公司 识别屋面和墙体的方法、装置、计算机设备和存储介质
JP2024133937A (ja) * 2023-03-20 2024-10-03 株式会社リコー 三次元形状生成装置、三次元形状生成方法、プログラム、および三次元形状生成システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811714B2 (en) * 2013-08-28 2017-11-07 Autodesk, Inc. Building datum extraction from laser scanning data
CN106033653A (zh) * 2015-03-12 2016-10-19 襄阳翠鸟视图科技有限公司 一种基于地面激光扫描的三维室内地图制作方法

Also Published As

Publication number Publication date
CN107978017A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN107978017B (zh) 基于框线提取的室内结构快速建模方法
US11734468B2 (en) System and method for generating computerized models of structures using geometry extraction and reconstruction techniques
CN107093205B (zh) 一种基于无人机图像的三维空间建筑物窗户检测重建方法
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
US11051000B2 (en) Method for calibrating cameras with non-overlapping views
Zhang et al. A sparsity‐inducing optimization‐based algorithm for planar patches extraction from noisy point‐cloud data
CN109598794B (zh) 三维gis动态模型的构建方法
US9305355B2 (en) Photograph localization in a three-dimensional model
CN111524168B (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN107247834A (zh) 一种基于图像识别的三维环境模型重构方法、设备及系统
US9286539B2 (en) Constructing contours from imagery
Canaz Sevgen et al. An improved RANSAC algorithm for extracting roof planes from airborne lidar data
EP3274964B1 (en) Automatic connection of images using visual features
Dai et al. Building segmentation and outline extraction from UAV image-derived point clouds by a line growing algorithm
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
CN112818925A (zh) 一种城市建筑和树冠识别方法
CN115546116B (zh) 全覆盖式岩体不连续面提取与间距计算方法及系统
CN113822996B (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
Hossein Pouraghdam et al. Building floor plan reconstruction from SLAM-based point cloud using RANSAC algorithm
CN116030335A (zh) 基于室内建筑框架约束的视觉定位方法及系统
Haque et al. Robust feature-preserving denoising of 3D point clouds
Bobkov et al. Noise-resistant Unsupervised Object Segmentation in Multi-view Indoor Point Clouds.
Dimitrov et al. Robust context free segmentation of unordered 3d point cloud models
Paravolidakis et al. Reduction of building façade model complexity using computer vision
Kashani et al. Automated extraction of building geometry from mobile laser scanning data collected in residential environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210721

Address after: 361000 Floor 9, No. 171, Tapu East Road, Siming District, Xiamen City, Fujian Province

Patentee after: Xiamen Sizhong Construction Co.,Ltd.

Address before: 361000 Siming South Road, Xiamen, Fujian Province, No. 422

Patentee before: XIAMEN University

TR01 Transfer of patent right