CN113888391A - 一种室内结构化重建方法、装置及计算机可读存储介质 - Google Patents
一种室内结构化重建方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113888391A CN113888391A CN202110968759.9A CN202110968759A CN113888391A CN 113888391 A CN113888391 A CN 113888391A CN 202110968759 A CN202110968759 A CN 202110968759A CN 113888391 A CN113888391 A CN 113888391A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- indoor
- data
- plane
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种室内结构化重建方法、装置及计算机可读存储介质,该室内结构化重建方法包括:获取多帧点云数据进行拼接,得到室内结构的完整点云模型;提取完整点云模型相应的点云平面特征,并基于点云平面特征将其划分为包括地面、墙面及天花板的室内结构类型;将墙面的点云数据投影至地面的平面,生成平面栅格图;基于平面栅格图生成室内结构的二维平面图。通过本申请方案的实施,基于扫描的点云数据进行特征分析,室内结构特征获取的精度更高,可以提高复杂环境下建模的有效性。
Description
技术领域
本申请涉及建模技术领域,尤其涉及一种室内结构化重建方法、装置及计算机可读存储介质。
背景技术
随着科学技术的不断发展,室内环境建模已成为虚拟现实技术领域重要的研究课题之一,广泛应用于交通、医疗、军事等领域,对社会发展具有深远意义。
在现有的室内环境建模应用中,通常是基于人工测量或图纸进行人工建模的方式来进行室内结构化重建,也即通过人为的特征识别来获取室内结构(例如地面、墙面、天花板)的特征,然后参考室内结构图纸进行室内环境重建,然而,在这种重建方式中进行特征获取时误差通常较大,且耗费大量人工及时间成本,导致所生成的室内环境模型的精度较低且效率低下。
发明内容
本申请实施例提供了一种室内结构化重建方法、装置及计算机可读存储介质,至少能够解决相关技术中采用人工建模方式进行室内结构化重建所导致的建模精度较低且效率低下的问题。
本申请实施例第一方面提供了一种室内结构化重建方法,包括:
获取多帧点云数据进行拼接,得到室内结构的完整点云模型;
提取所述完整点云模型相应的点云平面特征,并基于所述点云平面特征划分将其划分为包括地面、墙面及天花板的室内结构类型;
将所述墙面的点云数据投影至所述地面的平面,生成平面栅格图;
基于所述平面栅格图生成所述室内结构的二维平面图。
本申请实施例第二方面提供了一种室内结构化重建装置,包括:
采集模块,通过移动对室内结构进行扫描,得到多帧点云数据;
拼接模块,用于对所述采集模块移动扫描的多帧点云数据进行拼接,得到所述室内结构的完整点云模型;
划分模块,用于提取所述完整点云模型相应的点云平面特征,并基于所述点云平面特征将其划分为包括地面、墙面及天花板的室内结构类型;
第一生成模块,用于将所述墙面的点云数据投影至所述地面的平面,生成平面栅格图;
第二生成模块,用于基于所述平面栅格图生成所述室内结构的二维平面图。
本申请实施例第三方面提供了一种电子设备,包括:存储器及处理器,其中,处理器用于执行存储在存储器上的计算机程序,处理器执行计算机程序时,实现上述本申请实施例第一方面提供的室内结构化重建方法中的各步骤。
本申请实施例第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现上述本申请实施例第一方面提供的室内结构化重建方法中的各步骤。
由上可见,根据本申请方案所提供的室内结构化重建方法、装置及计算机可读存储介质,获取多帧点云数据进行拼接,得到室内结构的完整点云模型;提取完整点云模型相应的点云平面特征,并基于点云平面特征将其划分为包括地面、墙面及天花板的室内结构类型;将墙面的点云数据投影至地面的平面,生成平面栅格图;基于平面栅格图生成室内结构的二维平面图。通过本申请方案的实施,基于扫描的点云数据进行特征分析,室内结构特征获取的精度更高,可以提高复杂环境下建模的有效性。
附图说明
图1为本申请第一实施例提供的室内结构化重建方法的基本流程示意图;
图2为本申请第一实施例提供的一种点云数据三角化的示意图;
图3为本申请第二实施例提供的室内结构化重建方法的细化流程示意图;
图4为本申请第三实施例提供的室内结构化重建装置的程序模块示意图;
图5为本申请第四实施例提供的电子设备的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了解决相关技术中采用人工建模方式进行室内结构化重建所导致的建模精度较低且效率低下的问题,本申请第一实施例提供了一种室内结构化重建方法,如图1为本实施例提供的室内结构化重建方法的基本流程图,该室内结构化重建方法包括以下的步骤:
步骤101、获取多帧点云数据进行拼接,得到室内结构的完整点云模型。
在一个实施例中,可以利用采集模块对室内结构进行扫描获取点云数据,具体地,利用移动式激光雷达全方位扫描室内环境,该雷达优选为移动背包式雷达,在激光雷达移动过程中可以采集到多帧点云数据,然后拼接每帧点云数据以形成室内结构的完整点云模型。需要说明的是,除移动式激光雷达外,还可以使用深度相机或3D扫描仪等获取室内结构的多帧点云,其中,深度相机包括但不限于基于诸如间接飞行时间(indirect time-of-flight,iToF)或直接飞行时间(direct time-of-flight,dToF)等光飞行时间法(time-of-flight,TOF)、基于双目视觉、或基于结构光等的相机,此处不作限制。
步骤102、提取完整点云模型相应的点云平面特征,并基于点云平面特征将其划分为包括地面、墙面、天花板的室内结构类型。
具体的,本实施例的室内结构类型包括:地面、墙面、天花板。在实际应用中,可以采用随机采样一致算法(RANSAC,Random Sample Consensus)提取点云大平面特征。在本实施例中,重建好的点云模型大致是z轴垂直地面向上的,可以根据平面法线朝向和高度信息,将室内平面进行分类。
在本实施例一些实施方式中,上述提取完整点云模型相应的点云平面特征的步骤之前,还包括:获取完整点云模型相应的点云密度统计信息;基于点云密度统计信息,去除完整点云模型中低于预设密度阈值的区域的点云数据。
具体的,在复杂室内环境中通常会存在移动人物、玻璃反光灯干扰因素,从而所有点云数据拼接得到的完整点云模型中会存在大量噪点,基于该完整点云模型进行室内结构化重建的准确性较低。基于此,本实施例基于点云密度统计信息对模型进行去噪滤波,滤除低密度区域的点云,低密度区域的点云可以理解为离群点,以消除室内环境中动态前景(如行人等)和玻璃反光造成的大量噪点。
步骤103、将墙面的点云数据投影至地面的平面,生成平面栅格图。
具体的,本实施例对墙面点云进行栅格化,将模型墙面点投影到xOy平面(也即地面),生成平面栅格图。应当说明的是,点云栅格化的核心思想是将采集模块所扫描到的区域用网格进行处理,每个栅格点云代表空间的一小块区域,内含一部分点云。
在本实施例一些实施方式中,上述将墙面的点云数据投影至地面的平面,生成平面栅格图的步骤之前,还包括:检测所有点云平面中接近正交和/或接近平行的点云平面;通过调整相应平面方程,对接近正交和/或接近平行的点云平面进行正则化处理,得到完全正交和/或完全平行的点云平面。
具体的,不同平面之间的相对关系包括:正交关系和平行关系,而在实际应用中,点云平面之间并非绝对正交或绝对平行,本实施例为了提升模型展示效果,先检测出完整点云模型的所有点云平面之中,接近正交和/或接近平行的点云平面,然后对检测的点云平面进行正则化,使接近正交的平面正交化,接近平行的平面平行化,达到平面之间完全正交或完全平行的效果。
另外,为了更进一步的提高模型展示效果,便于后续生成平面图等操作,本实施例还可以统计平面法线的三个集中方向,并按照三个集中方向校正完整点云模型的位姿,使z轴完全垂直地面向上,x、y轴平行于主要大墙面。
步骤104、基于平面栅格图生成室内结构的二维平面图。
其中,在基于平面栅格图生成室内结构的二维平面图的步骤之前,先获取采集模块移动扫描每帧点云数据时对应的轨迹数据;将轨迹数据投影至地面的平面。然后,对平面栅格图上的所有墙面的点云数据进行三角剖分处理,得到多个外接圆内不存在墙面的点云数据的三角形;通过轨迹数据剔除视线可见范围外的三角形,得到二维地面网格模型;对二维地面网格模型中的墙面矢量线进行正则化处理,得到室内结构的二维平面图。
具体的,栅格图上的墙面点为多个离散点,本实施例对栅格图上的离散墙面点进行三角化,将点集连接成一定大小的三角形。如图2所示为本实施例提供的一种点云数据三角化的示意图,三角化后的平面图具有如下特性:其一,除了端点,平面图中的边不包含点集中任何点;其二,没有相交边;其三,平面图中所有的面都是三角面,且所有三角面的合集是离散点集的凸包。在实际应用中,应用最多的三角剖分为德劳内三角剖分,针对德劳内三角剖分,存在一个圆经过两点,而圆内不含点集中任何其它点,也即具有空圆特性。
在本实施例中,在对平面栅格图进行三角剖分处理之后,进一步通过采集模块的轨迹数据进行空间雕刻处理,从轨迹点出发连出视线,去除与视线不相交(也即可见范围之外)的三角形,留下内部三角形,得到二维地面网格模型,网格的边界即为二维平面图的墙面矢量线,通过该处理可以补全部分缺失墙面,得到完整封闭的平面图。
进一步地,对二维地面网格模型进行平滑处理和正则化处理,使墙面矢量平整,接近正交的平面完全正交,接近平行的平面完全平行,得到室内结构的二维平面图。
在本实施例一些实施方式中,上述基于平面栅格图生成室内结构的二维平面图的步骤之后,还包括:获取采集模块移动扫描每帧点云数据时对应的轨迹数据;根据轨迹数据获取墙面的点云数据对应的门洞数据;基于门洞数据获取二维平面图的房间分割信息;基于房间分割信息,生成具有房间标记和门标记的二维平面图。
具体的,本实施例的采集模块的轨迹数据也即位姿数据,在本实施例中,在获取门洞数据时,可以提取轨迹线穿过的墙面点云投影到墙面平面上,然后以轨迹点为生长起点,该生长起点作为判定其它点云之间是否具有联系的参考点,再根据判定规则将生长起点周围相似的点云进行判别,相似性较高的点云进行合并,完成区域增长。本实施例提取空洞区域作为门洞,门洞边缘可以进行平滑和正则化处理。进一步地,本实施例在平面图的相关墙面上标记出门洞位置和宽度,得到含门标记的平面图,再利用门洞数据,即门的两边属于不同房间,可在门两边分别进行三角形的区域增长,得到平面图的房间分割信息,最后输出带房间标记和门标记的二维平面图。
在本实施例另一些实施方式中,上述基于平面栅格图生成室内结构的二维平面图的步骤之后,还包括:获取采集模块移动扫描每帧点云数据时对应的轨迹数据,以及获取室内结构的天花板高度数据;根据轨迹数据获取墙面的点云数据对应的门洞数据;结合二维平面图、天花板高度数据以及门洞数据,生成室内结构的三维立体图。
进一步地,上述结合二维平面图、天花板高度数据以及门洞数据,生成室内结构的三维立体图的步骤,包括:基于二维平面图以及天花板高度数据,生成三维网格模型;基于门洞数据提取门洞所处墙面网格,并在门洞所处墙面网格上添加门洞轮廓点,得到包含门洞的墙面网格;采用包含门洞的墙面网格替换三维网格模型中原始墙面网格,生成室内结构的三维立体图。
具体的,在本实施例中,通过分析每个房间的天花板高度中位数,得到房间高度,基于平面图网格可直接生成三维网格模型。然后提取含有门洞的墙面网格,加入之前得到的门洞轮廓点,重新进行约束德劳内三角化,可得到开了门洞的墙面网格。最后把带门洞的墙面网格替换掉原墙面网格,得到最终的三维CAD模型。应当说明的是,对比直接从点云数据进行三角化的实现方式,本实施例方法可以补全部分缺失的天花板由于各种前景(如行人等)遮挡而导致的墙面空洞,并且建模速度更快,并且该三维CAD模型为轻量化模型,便于移动端存储展示,此外,减少了建模阶段的人工干预,模型更加准确。
基于上述本申请实施例的技术方案,对采集模块移动扫描的多帧点云数据进行拼接,得到室内结构的完整点云模型;提取完整点云模型相应的点云平面特征,并基于点云平面特征划分不同室内结构类型;将墙面的点云数据投影至地面平面,生成平面栅格图;基于平面栅格图生成室内结构的二维平面图。通过本申请方案的实施,基于采集模块扫描的点云数据进行特征分析,室内结构特征获取的精度更高,可以提高复杂环境下建模的有效性。
图3中的方法为本申请第二实施例提供的一种细化的室内结构化重建方法,该室内结构化重建方法包括:
步骤301、对采集模块移动扫描的多帧点云数据进行拼接,得到室内结构的完整点云模型。
步骤302、提取完整点云模型相应的点云平面特征,并基于点云平面特征将其划分为包括地面、墙面及天花板的室内结构类型。
具体的,本实施例的室内结构类型包括:地面、墙面、天花板,在实际应用中,点云平面特征可以基于随机采样一致算法实现。应当理解的是,本实施例为了消除模型噪点,提高后续室内结构化重建的准确性,可以在特征提取之前,基于点云密度统计信息对模型进行去噪滤波,滤除低密度区域的点云。
步骤303、将墙面的点云数据投影至地面的平面,生成平面栅格图,并获取每帧点云数据对应的采集模块轨迹数据,将采集模块的轨迹数据投影至地面平面。
具体的,本实施例对墙面点云进行栅格化,将模型墙面点投影到xOy平面(也即地面),生成平面栅格图,并把每帧采集模块的轨迹点也投影到xOy平面。
步骤304、对平面栅格图上的所有墙面的点云数据进行三角剖分处理,得到多个外接圆内不存在墙面的点云数据的三角形。
具体的,栅格图上的墙面点为多个离散点,本实施例对栅格图上的离散墙面点进行三角化,将点集连接成一定大小的三角形。
步骤305、通过采集模块的轨迹数据剔除视线可见范围外的三角形,得到二维地面网格模型。
具体的,在对平面栅格图进行三角剖分处理之后,进一步通过采集模块的轨迹数据进行空间雕刻处理,从轨迹点出发连出视线,去除与视线不相交(也即可见范围之外)的三角形,留下内部三角形,得到二维地面网格模型。
步骤306、对二维地面网格模型中的墙面矢量线进行正则化处理,得到室内结构的二维平面图。
具体的,本实施例对二维地面网格模型进行平滑处理和正则化处理,使墙面矢量平整,接近正交的平面完全正交,接近平行的平面完全平行,得到室内结构的二维平面图。
步骤307、获取每帧点云数据对应的采集模块轨迹数据,并根据采集模块的轨迹数据获取墙面的点云数据对应的门洞数据。
在本实施例中,在获取门洞数据时,可以提取轨迹线穿过的墙面点云投影到墙面平面上,然后以轨迹点为生长起点,该生长起点作为判定其它点云之间是否具有联系的参考点,再根据判定规则将生长起点周围相似的点云进行判别,相似性较高的点云进行合并,完成区域增长。本实施例提取空洞区域作为门洞,门洞边缘可以进行平滑和正则化处理。
步骤308、基于门洞数据获取二维平面图的房间分割信息,并基于房间分割信息,生成具有房间标记和门标记的二维平面图。
具体的,本实施例在平面图的相关墙面上标记出门洞位置和宽度,得到含门标记的平面图,再利用门洞数据,即门的两边属于不同房间,可在门两边分别进行三角形的区域增长,得到平面图的房间分割信息,最后输出带房间标记和门标记的二维平面图。
步骤309、获取室内结构的天花板高度数据,并结合二维平面图、天花板高度数据以及门洞数据,生成室内结构的三维立体图。
具体的,本实施例通过分析每个房间的天花板高度中位数,得到房间高度,基于平面图网格可直接生成三维网格模型。然后提取含有门洞的墙面网格,加入之前得到的门洞轮廓点,重新进行约束德劳内三角化,可得到开了门洞的墙面网格。最后把带门洞的墙面网格替换掉原墙面网格,得到最终的三维CAD模型。需要说明的是,亦可结合步骤S308中得到的具有房间标记和门标记的二维平面图并基于天花板高度数据生成室内结构的三维立体图,此处不作限制。
应当理解的是,本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成唯一限定。
基于上述本申请实施例的技术方案,通过对室内场景的平面特征分析和扫描轨迹分析,全自动重建出室内场景的二维平面图和三维CAD模型,具有自动房间分割与门洞标准等特点,并且可以抗复杂环境干扰,适用于人流众多的商城等室内环境建模,有效节省了人工建模时间,并且由于减少了建模阶段的人工干预,模型更加准确。
图4为本申请第三实施例提供的一种室内结构化重建装置。该室内结构化重建装置可用于实现前述实施例中的室内结构化重建方法,该室内结构化重建装置主要包括:
采集模块400,通过移动对室内结构进行扫描,得到多帧点云数据;
拼接模块401,用于对采集模块移动扫描的多帧点云数据进行拼接,得到室内结构的完整点云模型;
划分模块402,用于提取完整点云模型相应的点云平面特征,并基于点云平面特征将其划分为地面、墙面及天花板的室内结构类型;
第一生成模块403,用于将墙面的点云数据投影至地面的平面,生成平面栅格图;
第二生成模块404,用于基于平面栅格图生成室内结构的二维平面图。
在本实施例的一些实施方式中,本实施例的室内结构化重建装置还包括:去除模块,用于:在提取完整点云模型相应的点云平面特征之前,获取完整点云模型相应的点云密度统计信息;基于点云密度统计信息,去除完整点云模型中低于预设密度阈值的区域的点云数据。
在本实施例的一些实施方式中,本实施例的室内结构化重建装置还包括:处理模块,用于:在将墙面的点云数据投影至地面的平面,生成平面栅格图之前,检测所有点云平面中接近正交和/或接近平行的点云平面;通过调整相应平面方程,对接近正交和/或接近平行的点云平面进行正则化处理,得到完全正交和/或完全平行的点云平面。
在本实施例的一些实施方式中,本实施例的室内结构化重建装置还包括:映射模块,用于在基于平面栅格图生成室内结构的二维平面图之前,获取采集模块移动扫描每帧点云数据时对应的轨迹数据;将轨迹数据投影至地面平面。相应的,第二生成模块具体用于:对平面栅格图上的所有墙面的点云数据进行三角剖分处理,得到多个外接圆内不存在墙面的点云数据的三角形;通过轨迹数据剔除视线可见范围外的三角形,得到二维地面网格模型;对二维地面网格模型中的墙面矢量线进行正则化处理,得到室内结构的二维平面图。
在本实施例的一些实施方式中,本实施例的室内结构化重建装置还包括:第三生成模块,用于在基于平面栅格图生成室内结构的二维平面图之后,获取采集模块移动扫描每帧点云数据时对应的轨迹数据;根据轨迹数据获取墙面的点云数据对应的门洞数据;基于门洞数据获取二维平面图的房间分割信息;基于房间分割信息,生成具有房间标记和门标记的二维平面图。
在本实施例的一些实施方式中,本实施例的室内结构化重建装置还包括:第四生成模块,用于在基于平面栅格图生成室内结构的二维平面图之后,获取采集模块移动扫描每帧点云数据时对应的轨迹数据,以及获取室内结构的天花板高度数据;根据轨迹数据获取墙面的点云数据对应的门洞数据;结合二维平面图、天花板高度数据以及门洞数据,生成室内结构的三维立体图。
进一步地,在本实施例的一些实施方式中,第四生成模块在执行结合二维平面图、天花板高度数据以及门洞数据,生成室内结构的三维立体图的功能时,具体用于:基于二维平面图以及天花板高度数据,生成三维网格模型;基于门洞数据提取门洞所处墙面网格,并在门洞所处墙面网格上添加门洞轮廓点,得到包含门洞的墙面网格;采用包含门洞的墙面网格替换三维网格模型中原始墙面网格,生成室内结构的三维立体图。
需要理解的是,第四生成模块还可以结合第三生成模块生成的具有房间标记和门标记的二维平面图、天花板高度数据生成室内结构的三维立体图,此处不作限制。
应当说明的是,第一、二实施例中的室内结构化重建方法均可基于本实施例提供的室内结构化重建装置实现,所属领域的普通技术人员可以清楚的了解到,为描述的方便和简洁,本实施例中所描述的室内结构化重建装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
根据本实施例所提供的室内结构化重建装置,对采集模块移动扫描的多帧点云数据进行拼接,得到室内结构的完整点云模型;提取完整点云模型相应的点云平面特征,并基于点云平面特征将其划分为包括地面、墙面及天花板室内结构类型;将墙面的点云数据投影至地面平面,生成平面栅格图;基于平面栅格图生成室内结构的二维平面图。通过本申请方案的实施,基于采集模块扫描的点云数据进行特征分析,室内结构特征获取的精度更高,可以提高复杂环境下建模的有效性。
图5为本申请第四实施例提供的一种电子设备。该电子装置可用于实现前述实施例中的室内结构化重建方法,主要包括:
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序503,存储器501和处理器502通过通信连接。处理器502执行该计算机程序503时,实现前述实施例中的室内结构化重建方法。其中,处理器的数量可以是一个或多个。
存储器501可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器501用于存储可执行程序代码,处理器502与存储器501耦合。
进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述各实施例中的电子设备中,该计算机可读存储介质可以是前述图5所示实施例中的存储器。
该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述实施例中的室内结构化重建方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本申请所提供的室内结构化重建方法、装置及计算机可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种室内结构化重建方法,其特征在于,包括:
获取多帧点云数据进行拼接,得到室内结构的完整点云模型;
提取所述完整点云模型相应的点云平面特征,并基于所述点云平面特征将其划分为包括地面、墙面、天花板的室内结构类型;
将所述墙面的点云数据投影至所述地面的平面,生成平面栅格图;
基于所述平面栅格图生成所述室内结构的二维平面图。
2.根据权利要求1所述的室内结构化重建方法,其特征在于,所述提取所述完整点云模型相应的点云平面特征的步骤之前,还包括:
获取所述完整点云模型相应的点云密度统计信息;
基于所述点云密度统计信息,去除所述完整点云模型中低于预设密度阈值的区域的点云数据。
3.根据权利要求1所述的室内结构化重建方法,其特征在于,所述将所述墙面的点云数据投影至所述地面的平面,生成平面栅格图的步骤之前,还包括:
检测所有点云平面中接近正交和/或接近平行的点云平面;
通过调整相应平面方程,对接近正交和/或接近平行的点云平面进行正则化处理,得到完全正交和/或完全平行的点云平面。
4.根据权利要求1所述的室内结构化重建方法,其特征在于,所述基于所述平面栅格图生成所述室内结构的二维平面图的步骤之前,还包括:
获取采集模块移动扫描每帧点云数据时对应的轨迹数据;
将所述轨迹数据投影至所述地面平面;
所述基于所述平面栅格图生成所述室内结构的二维平面图的步骤,包括:
对所述平面栅格图上的所有墙面的点云数据进行三角剖分处理,得到多个外接圆内不存在墙面的点云数据的三角形;
通过所述轨迹数据剔除视线可见范围外的三角形,得到二维地面网格模型;
对所述二维地面网格模型中的墙面矢量线进行正则化处理,得到所述室内结构的二维平面图。
5.根据权利要求1至3中任意一项所述的室内结构化重建方法,其特征在于,所述基于所述平面栅格图生成所述室内结构的二维平面图的步骤之后,还包括:
获取采集模块移动扫描每帧点云数据时对应的轨迹数据;
根据所述轨迹数据获取所述墙面的点云数据对应的门洞数据;
基于所述门洞数据获取所述二维平面图的房间分割信息;
基于所述房间分割信息,生成具有房间标记和门标记的二维平面图。
6.根据权利要求1至3中任意一项所述的室内结构化重建方法,其特征在于,所述基于所述平面栅格图生成所述室内结构的二维平面图的步骤之后包括:
获取采集模块移动扫描每帧点云数据时对应的轨迹数据,以及获取所述室内结构的天花板高度数据;
根据所述轨迹数据获取所述墙面的点云数据对应的门洞数据;
结合所述二维平面图、所述天花板高度数据以及所述门洞数据,生成所述室内结构的三维立体图。
7.根据权利要求6所述的室内结构化重建方法,其特征在于,所述结合所述二维平面图、所述天花板高度数据以及所述门洞数据,生成所述室内结构的三维立体图的步骤,包括:
基于所述二维平面图以及所述天花板高度数据,生成三维网格模型;
基于所述门洞数据提取门洞所处墙面网格,并在所述门洞所处墙面网格上添加门洞轮廓点,得到包含门洞的墙面网格;
采用所述包含门洞的墙面网格替换所述三维网格模型中原始墙面网格,生成所述室内结构的三维立体图。
8.一种室内结构化重建装置,其特征在于,包括:
采集模块,通过移动对室内结构进行扫描,得到多帧点云数据;
拼接模块,用于对所述采集模块移动扫描的多帧点云数据进行拼接,得到所述室内结构的完整点云模型;
划分模块,用于提取所述完整点云模型相应的点云平面特征,并基于所述点云平面特征将其划分为包括地面、墙面及天花板的室内结构类型;
第一生成模块,用于将所述墙面的点云数据投影至所述地面的平面,生成平面栅格图;
第二生成模块,用于基于所述平面栅格图生成所述室内结构的二维平面图。
9.一种电子设备,其特征在于,包括存储器及处理器,其中:
所述处理器用于执行存储在所述存储器上的计算机程序;
所述处理器执行所述计算机程序时,实现权利要求1至7中任意一项所述方法中的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至7中的任意一项所述方法中的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110968759.9A CN113888391A (zh) | 2021-08-23 | 2021-08-23 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
PCT/CN2022/080521 WO2023024482A1 (zh) | 2021-08-23 | 2022-03-13 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
US18/396,171 US20240127535A1 (en) | 2021-08-23 | 2023-12-26 | Indoor structured reconstruction method, apparatus, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110968759.9A CN113888391A (zh) | 2021-08-23 | 2021-08-23 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113888391A true CN113888391A (zh) | 2022-01-04 |
Family
ID=79011206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110968759.9A Pending CN113888391A (zh) | 2021-08-23 | 2021-08-23 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240127535A1 (zh) |
CN (1) | CN113888391A (zh) |
WO (1) | WO2023024482A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023024482A1 (zh) * | 2021-08-23 | 2023-03-02 | 奥比中光科技集团股份有限公司 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
TWI831503B (zh) * | 2022-12-06 | 2024-02-01 | 愛實境股份有限公司 | 基於網格的平面格局建構方法與電腦可讀取儲存媒體 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116993923B (zh) * | 2023-09-22 | 2023-12-26 | 长沙能川信息科技有限公司 | 换流站三维模型制作方法、系统、计算机设备和存储介质 |
CN117194704B (zh) * | 2023-11-07 | 2024-02-06 | 航天宏图信息技术股份有限公司 | 针对部件级实景三维模型属性查询的方法、装置和设备 |
CN117808703B (zh) * | 2024-02-29 | 2024-05-10 | 南京航空航天大学 | 一种多尺度大型部件装配间隙点云滤波方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10026218B1 (en) * | 2017-11-01 | 2018-07-17 | Pencil and Pixel, Inc. | Modeling indoor scenes based on digital images |
CN109325998B (zh) * | 2018-10-08 | 2023-06-30 | 香港理工大学 | 一种基于点云数据的室内3d建模方法、系统及相关装置 |
CN109887082A (zh) * | 2019-01-22 | 2019-06-14 | 武汉大学 | 一种基于点云数据的室内建筑三维建模方法及装置 |
CN110009727B (zh) * | 2019-03-08 | 2023-04-18 | 深圳大学 | 一种具有结构语义的室内三维模型自动重构方法及系统 |
CN113888391A (zh) * | 2021-08-23 | 2022-01-04 | 奥比中光科技集团股份有限公司 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
-
2021
- 2021-08-23 CN CN202110968759.9A patent/CN113888391A/zh active Pending
-
2022
- 2022-03-13 WO PCT/CN2022/080521 patent/WO2023024482A1/zh unknown
-
2023
- 2023-12-26 US US18/396,171 patent/US20240127535A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023024482A1 (zh) * | 2021-08-23 | 2023-03-02 | 奥比中光科技集团股份有限公司 | 一种室内结构化重建方法、装置及计算机可读存储介质 |
TWI831503B (zh) * | 2022-12-06 | 2024-02-01 | 愛實境股份有限公司 | 基於網格的平面格局建構方法與電腦可讀取儲存媒體 |
Also Published As
Publication number | Publication date |
---|---|
US20240127535A1 (en) | 2024-04-18 |
WO2023024482A1 (zh) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
CN113888391A (zh) | 一种室内结构化重建方法、装置及计算机可读存储介质 | |
CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
US9412040B2 (en) | Method for extracting planes from 3D point cloud sensor data | |
Zach | Fast and high quality fusion of depth maps | |
CN105354883B (zh) | 基于点云的3ds Max快速精细三维建模方法及系统 | |
CN111932688A (zh) | 一种基于三维点云的室内平面要素提取方法、系统及设备 | |
CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
Locher et al. | Progressive prioritized multi-view stereo | |
CN110009671B (zh) | 一种场景理解的网格曲面重建系统 | |
CN107730519A (zh) | 一种人脸二维图像到人脸三维重建的方法及系统 | |
Aiteanu et al. | Hybrid tree reconstruction from inhomogeneous point clouds | |
Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
CN102222357A (zh) | 基于图像分割和网格细分的脚型三维表面重建方法 | |
CN109766866B (zh) | 一种基于三维重建的人脸特征点实时检测方法和检测系统 | |
Holzmann et al. | Semantically aware urban 3d reconstruction with plane-based regularization | |
CN109064533B (zh) | 一种3d漫游方法及系统 | |
Yuan et al. | Volume cutout | |
Pacheco et al. | Reconstruction of high resolution 3D objects from incomplete images and 3D information | |
Haala et al. | Cell decomposition for the generation of building models at multiple scales | |
CN113345072A (zh) | 一种多视角遥感地形影像点云重建方法及系统 | |
Pound et al. | Surface reconstruction of plant shoots from multiple views | |
CN116051980B (zh) | 基于倾斜摄影的建筑识别方法、系统、电子设备及介质 | |
Labatut et al. | Hierarchical shape-based surface reconstruction for dense multi-view stereo | |
CN113129348B (zh) | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |