CN110147775A - 利用细化空间分隔法从点云提取室内导航元素的方法 - Google Patents
利用细化空间分隔法从点云提取室内导航元素的方法 Download PDFInfo
- Publication number
- CN110147775A CN110147775A CN201910437237.9A CN201910437237A CN110147775A CN 110147775 A CN110147775 A CN 110147775A CN 201910437237 A CN201910437237 A CN 201910437237A CN 110147775 A CN110147775 A CN 110147775A
- Authority
- CN
- China
- Prior art keywords
- point
- metope
- wall
- room
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用细化空间分隔法从点云提取室内导航元素的方法,该方法通过将一面墙细化为两个墙面,利用区域增长算法获取墙面角点,从而获得室内的精细化表达,同时利用对应墙面上的对应区域点云密度比对方法,规避门窗提取中遮挡墙面的障碍物对提取结果产生的影响。其流程如下:首先,对单一楼层内的点云进行基于主成分分析法的法线滤波,剔除杂点。其次通过投影降维和区域增长算法获得提取所需的墙面。最后通过对对应墙面同时进行格网化,筛选对应格网均符合阈值的格网作为室内导航网络中门窗的位置。该方法在现有技术的基础上,极大地降低了障碍物对门窗提取的影响,增加了提取的正确性。
Description
技术领域
本发明属于三维建模技术领域,特别是涉及一种利用细化空间分隔法从点云提取室内导航元素的方法。
背景技术
激光雷达技术是获取建筑物室内数据的重要手段,其获取的室内点云具有数据量大,离散化,噪声多等特点。但是单纯的点云数据虽然可以展示建筑内部的环境,实现三维浏览功能,但其数据量庞大,且不承载语义信息,因此建筑物室内点云的自动语义分割及三维结构空间模型构建成为研究热点。其他数据源相比,点云数据采集速度更快,采样频率更高,更新成本低。但是这也导致了点云数据具有高冗余,误差分布非线性,不完整等特点,这都给从杂乱无序的点云中识别和提取人工与自然地物要素带来了困难。并且由于室内环境的复杂性,无法有效定义室内导航元素之间的拓扑关系。因此如何有效从海量,散乱点云中高效提取出可用于室内三维建模的元素成为了研究难点。对于室内导航网络中的门窗提取,室内环境复杂,且橱柜等遮掩墙壁,其形状特征等与门窗类似,给提取造成阻碍。
现有提取方法在提取门窗所在墙体时,一般将墙体作为整体来提取。墙面在点云中可以表达为X值或者Y值相同的一组点集(曼哈顿世界)。包括:1.利用点云密度峰值检测过楼板之后,利用同样的方法对墙进行检测,八叉树划分后的子区间,在一个楼层空间中,墙存在区域,存在大量x值或者y值相同的样本,因此在沿着一个轴进行点云密度统计时,墙面处会相应形成峰值。2.应用PCA算法对点云计算法线后,采用RANSAC算法进行平面的检测。上述方法均将墙体作为一个整体的墙段来对待,忽略了墙体的厚度,从而使得对房间的提取不够精确。
门窗在点云中的特征表现为,位于墙上的矩形。利用这个特征提出了结合影像与点云进行门的提取。将图像进行正射校正,再将真彩色影像转换为灰度图像,应用canny算子提取边界。对提取到的边界进行方向滤波,最后筛选出影像中的门。此方法对于遮挡墙壁的柜子等在几何形状上和门类似的障碍物,无法有效区分。为了解决该问题,有思想提出,将门窗表述为形状为矩形的,在墙体表面上密度较低的区域,对于平面上的窗户和门,在对平面进行投影,光栅化后得到的二值图像,再利用GHT方法进行形状检测。但室内橱柜等物体通过遮挡墙壁,且其在墙体点云中的统计特征与几何特征均与门窗类似,上述方法很难进行区分。
因此,如何解决上述技术问题成为了本领域技术人员努力的方向。
发明内容
本发明的目的就是提供一种利用细化空间分隔法从点云提取室内导航元素的方法,能完全解决上述现有技术的不足之处。
本发明的目的通过下述技术方案来实现:
一种利用细化空间分隔法从点云提取室内导航元素的方法,采用三维激光扫描仪;三维激光扫描仪的主要构造是由一台高速精确的激光测距仪,配上一组能引导激光并以均匀角速度扫描的反射棱镜;激光测距仪主动发射激光,同时接受由自然物表面反射的信号从而进行测距;因此在门等开放区域存在的地方,反射的信号较弱甚至没有,在一个房间的墙面上,这种现象反映为扫描出的点云在开放区域存在孔洞或者点云较之其他区域稀疏;由于扫描仪的工作原理,其只能对墙表面进行扫描,墙体中间由于遮挡无法生成对应的点云,因此会在两个墙面形成的点云密度峰值之间产生一个代表墙体的间隙;因此将由墙体进行的房间的分割,更改为由墙面进行的点云分割,获取到的每一个不相邻空间能够更加真实地表达房间的空间位置和大小;将承担空间分隔作用的墙,细化为能被三维激光扫描仪扫描并记录坐标的一组平行墙面和无法被扫描到的内部墙体,对组成同一个房间的墙面的角点进行检测,得到房间的精细化表达;
在将墙体拆分为两个临近平行的墙面过程中,在门窗存在处,代表一面墙体的两个墙面对应位置均会形成点云密度较低的区域;因此选择对单一墙体的两个墙面进行投影格网化,比对两个墙面的对应位置,如两个对应格网点云密度均低于阈值,则该格网所在区域可被认为是门窗的备选区域。
进一步,在每个楼层中,房间作为独立的导航区域很难单独提取,因此选择提取出作为空间分隔的墙,从而得到一个个不相邻的空间,作为房间节点,在一个楼层内提取的房间节点和该楼层记为从属关系;将点云中的每个被扫描的元素被表达为一组涵盖自身背部空白区域的点,生成点云密度的直方图,在直方图上进行卷积操作,筛选出峰值之间的空白区域作为墙的备选。
进一步,采用滤波方法,对单层内室内环境点云进行PCA算法,计算其法线,保留垂直方向点;算法具体流程如下:给定点集P={p1,p2,…,pn},其中n代表点集中的点云总数,点pi的最近K邻域表示为Nb(pi),其中Nb表示邻域,对点集中任意一点pi用其K邻域拟合的最小二乘平面的表示为公式:
式中n为平面Pl的法向量,它必须满足||n||2=1,d表示邻域点到拟合平面的距离;以上公式可转换为以下公式里面半正定协方差矩阵C进行特征值分解,即:
式中C的最小特征值的特征向量可被当作pi的法向量,协方差矩阵C定义了局部曲面的几何信息,为一个对称的半正定矩阵;C可以分解为3个特征向量v1,v2,v0,3个特征向量对应的特征值分别是λ2、λ1和λ0,其中λ0≤λ1≤λ2,最小特征值对应的特征向量为平面的法向量即为n=v0。
进一步,在单层楼中提取墙面的几何信息及其语义标注提取房间,方法包括:
(1)首先选取值为1的任意一点作为种子点,记为P1,对其八邻域进行搜索,若邻域内没有值为1的点,则若其周围只有一个值为1的点,则将该点记为P2,且记P1为端点N1;然后对P2的其他邻域进行搜索,若不存在某一点能与P1,P2共线,则记P2为端点N2;若存在某一点能形成这三点共线,则该点记为P3,P2点标记为中间点;然后继续对P3进行邻域搜索,以此类推,直到Pn的邻域中,没有任何一个点能与Pn-1,Pn共线,则记Pn为端点,P1与Pn连成的直线段构成一段墙面;
(2)若P1点周围有两个及以上的点,则寻找是否有能与P1形成共线的两点;如果没有,则记P1为端点,且分别向各点延伸,重复方法(1)直到达到另一个端点;如果有一对点与P1形成共线,则记P1点为中间点,且由P1分别向该两点延伸,重复方法(1),直到达到端点;如果有超过一对点与P1形成共线,则对每一对点依次重复方法(1);
(3)完成一次搜索后进行下一个种子点的选取,其中,前面步骤中的种子点不可再作为种子点,前面步骤中标记的中间点不可再作为种子点,直到完成对所有值为1的点的判断;
(4)角点判断,由于点云扫描过程中障碍物的遮蔽,或者杂乱障碍物的影响,实际生活中的完整的墙面,可能会在生成的二值图中断开,因此墙面上会生成断点,同时杂点也会造成线段的端点,而只有房间墙面的角点才是对房间几何信息有用的,因此需要判断端点是否为角点,因墙面之外的间隙区域不会被扫描到,所有墙面背处是空白。因此这里定义有且仅有一组互相垂直的线段相交于某端点,则该点是房间墙面的角点;
(5)语义标注,选取方法(4)筛选出的角点N1,沿着该节点的其中一个方向进行搜索,直到遇到另一个角点记为N2,记录两个角点之间的墙面为Wallsurf1,接着向该角点所在的与N1方向相异的墙面方向搜索,依次类推,直到回到N1点,至此形成一个闭合的房间,过程中记录的角点和墙面都属于这个房间。
进一步,门窗提取,将门窗认为是墙上的开放区域,通过上述房间提取中对墙的细化,得出门窗在一面墙的两个墙面上都会形成点云孔洞,投影数据从一面墙细化为两个墙面,而在相对应的位置部分会形成低点云密度区域,而障碍物只能在墙的一个表面造成低密度点云区域,从而被有效地剔除。
进一步,基于位置关系的墙面匹配,上述方法获取的墙面都是独立的,在计算点云密度之前,需要将同属于一面墙的两个墙面进行匹配,其方法为:选定一墙面,排除与其同属于一房间的墙面后,任选一墙面,判断两个墙面所在的线段相互之间的关系,记其中一个墙面对应的端点各自是N1(x1,y1),N2(x2,y2),另一个墙面对应的点的坐标是N3(x3,y3),N4(x4,y4);当两墙面在格网化后的二维坐标系中,均不是水平直线时,即x1≠x2并且x3≠x4时,令,则两个墙面直接的夹角θ可由下列公式求得
当x1=x2并且x3=x4时,直线斜率无法表达,此时直接判定两墙面平行;若有一面墙的两个端点x值相等,则另一墙面的斜率在规定阈值范围内时,可认为是平行;选取任意端点,计算其与另一墙面间的距离,如选取N1点,计算其与N3,N4之间的距离d,如公式
若墙面厚度为ε,以此作为两墙面距离的阈值的参考,这里选择ε的1.5倍,若d<ε,则认为上述两个墙面是平行且距离足够近的,那么这两个墙面即可以匹配成为一个墙段。
进一步,对匹配得到的每组墙面均进行格网化,但是格网化的参考面需要改为垂直面,对于点云密度低于设定阈值的格网,寻找其匹配墙面上对应点位的格网,若其同样符合阈值,则将该点位的格网记为门窗备选区域,从而进行门窗提取。
与现有技术相比,本发明的有益效果在于:本发明通过将一面墙细化为两个墙面的方法,利用区域增长算法获取墙面角点,从而获得室内的精细化表达,同时利用对应墙面上的对应区域点云密度比对方法,规避门窗提取中遮挡墙面的障碍物对提取结果产生的影响,增加了提取的正确性。
附图说明
图1是房间精细化表达的流程图;
图2是门窗提取的总体流程图;
图3是房间墙面与点云直方图比对图;
图4是PCA算法示意图;
图5是Dataset1-墙面滤波前的示意图;
图6是Dataset1-墙面滤波后的示意图;
图7是Dataset2-房间滤波前的示意图;
图8是Dataset2-房间滤波后的示意图;
图9是Dataset3-二楼滤波前的示意图;
图10是Dataset3-二楼滤波后的示意图;
图11是第一种种子点为端点的情况的示意图;
图12是第二种种子点为端点的情况的示意图;
图13是房间角点细节示意图;
图14是房间语义标注的示意图;
图15是数据集的点云的示意图;
图16是数据集的二值图;
图17是行人主体开放区域筛选约束图;
图18是实验中门窗几何信息图;
图19是墙面格网化后密度图;
图20是两个墙面的二值图比对图;
图21是聚集区域显示图。
具体实施方式
下面结合具体实施例和附图对本发明作进一步的说明。
现有室内三维模型重建中,通常将墙等承担空间分隔作用的室内导航元素看做一个整体,然而一面墙上的两个墙面形态上的差异,会造成在室内三维重建房间提取中细节的损失,以及造成门窗提取的困难。针对这一现象,本文提出一种细化空间分隔的方法,通过将一面墙细化为两个墙面的方法,利用区域增长算法获取墙面角点,从而获得室内的精细化表达,同时利用对应墙面上的对应区域点云密度比对方法,规避门窗提取中遮挡墙面的障碍物对提取结果产生的影响。其流程如下:首先,对单一楼层内的点云进行基于主成分分析法的法线滤波,剔除杂点。其次通过投影降维和区域增长算法获得提取所需的墙面。最后通过对对应墙面同时进行格网化,筛选对应格网均符合阈值的格网作为室内导航网络中门窗的位置。该方法在现有技术的基础上,极大地降低了障碍物对门窗提取的影响,增加了提取的正确性。
一种利用细化空间分隔法从点云提取室内导航元素的方法,采用三维激光扫描仪,三维激光扫描仪的主要构造是由一台高速精确的激光测距仪,配上一组可以引导激光并以均匀角速度扫描的反射棱镜。激光测距仪主动发射激光,同时接受由自然物表面反射的信号从而可以进行测距。因此在门等开放区域存在的地方,反射的信号较弱甚至没有,在一个房间的墙面上,这种现象反映为扫描出的点云在开放区域存在孔洞或者点云较之其他区域稀疏。由于扫描仪的工作原理,其只能对墙表面进行扫描,墙体中间由于遮挡无法生成对应的点云,因此会在两个墙面形成的点云密度峰值之间产生一个代表墙体的间隙。这个方法可以将原始点云解析为不相邻的空间,有助于将其解析为组成元素。因此将由墙体进行的房间的分割,更改为由墙面进行的点云分割,获取到的每一个不相邻空间能够更加真实地表达房间的空间位置和大小。
本发明据此将承担空间分隔作用的墙,细化为可以被三维激光扫描仪扫描并记录坐标的一组平行墙面和无法被扫描到的内部墙体,对组成同一个房间的墙面的角点进行检测,得到房间的精细化表达。其流程图如图1所示。
在曼哈顿世界的建筑中,门窗的统计特征表现为点云密度低于墙面其他位置,其几何特征表现为存在一个矩形的边缘。但是靠墙的障碍物特别是形状与门类似的橱柜等,也会由于遮盖墙体,而使得墙面形成矩形边缘的低密度区域。为了减少这类障碍物的影响,本发明将墙体拆分为两个临近平行的墙面,在门窗存在处,代表一面墙体的两个墙面对应位置均会形成点云密度较低的区域。因此选择对单一墙体的两个墙面进行投影格网化,比对两个墙面的对应位置,如两个对应格网点云密度均低于阈值,则该格网所在区域可被认为是门窗的备选区域。该方法能有效避免由于遮挡造成的门窗提取错误,总体流程如图2所示。
1.提取方法及实验
1.1房间提取
在每个楼层中,房间作为独立的导航区域很难单独提取,因此选择提取出作为空间分隔的墙,从而得到一个个不相邻的空间,作为房间节点。在一个楼层内提取的房间节点和该楼层记为从属关系。将点云中的每个被扫描的元素被表达为一组涵盖自身背部空白区域的点。生成点云密度的直方图,在直方图上进行卷积等操作,筛选出峰值之间的空白区域作为墙的备选。不探测边界的点云,而是着眼于他们之间的空白,展示了建筑和结构元素可以很好地用由于空间解析引起的强烈的几何先验信息探测到。基于这个理论,可以认为在沿着某一轴生成点云密度直方图的时候,存在墙的地方,会呈现出峰值-间隙-峰值的模式。如图3所示。其中的峰值代表墙面,间隙代表墙体内部。
为了使得该特征更加清晰健壮,采用滤波方法,对单层内室内环境点云进行PCA算法,计算其法线,保留垂直方向点,如图4所示。算法具体流程如下:
给定点集P={p1,p2,…,pn},其中n代表点集中的点云总数,点pi的最近K邻域表示为Nb(pi),其中Nb表示邻域。对点集中任意一点pi用其K邻域拟合的最小二乘平面的表示为公式(3-2)。
式中n为平面Pl的法向量,它必须满足||n||2=1,d表示邻域点到拟合平面的距离。公式(3-2)可以转换为对公式(3-3)里面半正定协方差矩阵C进行特征值分解,即
式中,C的最小特征值的特征向量可被当作pi的法向量,这就是所谓的PCA方法。协方差矩阵C定义了局部曲面的几何信息,为一个对称的半正定矩阵。C可以分解为3个特征向量v1,v2,v0,3个特征向量对应的特征值分别是λ2、λ1和λ0,其中λ0≤λ1≤λ2。最小特征值对应的特征向量为平面的法向量即为n=v0。
PCA算法计算得到的法向量还需要进一步判断法向量的方向,但是在本文中只需要保留垂直方向的点,因此不需要进行进一步的计算,法向量的方向是不影响法线滤波的结果的。
为了验证PCA算法对杂点的滤除作用,本文选取了三个比较有代表性的数据集,Dataset1是后续提取中需要的一个墙面,Dataset2是一组邻接的房间,Dataset3是建筑二楼全部点云数据。其进行法线滤波前后的对比如图5至图10所示。三个数据集在进行基于PCA算法的法线滤波前后,点云数量变化如表5-2所示,其中精简比例
表5-2法线滤波效果
根据表5-2,基于PCA算法的法线滤波可以有效滤除房间提取过程中不需要的垂直方向以外的点,这些点在房间提取中可以被称作杂点。特别是当数据集体量很大的时候,法线滤波可以大幅度去除杂点,不仅可以有效精简数据量,也增加了后续提取的正确性。
1.2在单层楼中提取墙面的几何信息
本质上是对墙面对应的灰度图或者二值图上的各个直线段的提取。较为常见的方法有霍夫变换和LSD算法等。霍夫变换是特征检测中常用的方法,它主要对间断点边界形状进行检测,通过把图像坐标空间转换到参数空间中,实现对各种线边界的拟合,它的优点是不仅能检测直线,还能检测曲线。LSD算法需要对图像中所有点的梯度大小和方向进行计算,如两相邻点梯度方向变化小,则将其作为连通域,根据约束和规则对所有的域进行筛选从而获得最终的直线检测结果。LSD算法的优点是速度快,准确性较高。但是上述两种方法在应用于墙面提取时,提取出来的直线段是散乱的,难以标注语义。
针对房间提取及其语义标注,本文提出一个在二值图像上进行区域生长以获得各个墙面所在线段端点,筛选一间房间内部边线上拐点即墙面角点的方法,该方法可以对任何非弧线的房间边线进行提取。该方法利用了墙面之间的点云间隙,为了避免将两个墙面混淆,定义的格网尺寸需小于墙体厚度的二分之一。
区域生长算法的本质是将有特征相似的像素点聚集到一起。对区域内,要先指定一个种子点作为区域生长算法的起点,然后将种子点周围邻域的像素点和种子点进行对比,将具有相似特征的点聚集起来并继续以其邻域向外生长,直到没有满足条件的像素被聚集进来为止。
本文中需要对区域中的墙面进行提取,墙面是空间中点垂直聚集的区域,根据格网化降维后,二值化的结果,墙面所在格网应是值为1的点位。因此对于墙面提取时,区域生长的规则是对种子点邻域中值为1的点进行聚集,并继续生长,直到达到某点邻域中没有值为1的像素,则停止生长,且认为二值图上的线段达到了端点,该点是房间角点的备选点。具体步骤描述如下:
(1)首先选取值为1的任意一点作为种子点,记为P1,对其八邻域进行搜索,若邻域内没有值为1的点,则若其周围只有一个值为1的点,则将该点记为P2,且记P1为端点N1,如图11中a所示。然后对P2的其他邻域进行搜索,若不存在某一点能与P1,P2共线,则记P2为端点N2,如图11中b所示。若存在某一点能形成这三点共线,则该点记为P3,P2点标记为中间点如图11中c所示。然后继续对P3进行邻域搜索,以此类推,直到Pn的邻域中,没有任何一个点能与Pn-1,Pn共线,则记Pn为端点,P1与Pn连成的直线段构成一段墙面。
(2)若P1点周围有两个及以上的点,则寻找是否有能与P1形成共线的两点。如果没有,则记P1为端点,且分别向各点延伸,重复步骤(1)直到达到另一个端点,如图12中a所示。如果有一对点与P1形成共线,如图12中b所示,则记P1点为中间点,且由P1分别向该两点延伸,重复上一步骤,直到达到端点。如果有超过一对点与P1形成共线,如图12中c所示,则对每一对点依次重复前面的步骤。
(3)完成一次搜索后进行下一个种子点的选取,其中,前面步骤中的种子点不可再作为种子点,前面步骤中标记的中间点不可再作为种子点。直到完成对所有值为1的点的判断。
(4)角点判断。由于点云扫描过程中障碍物的遮蔽,或者杂乱障碍物的影响,实际生活中的完整的墙面,可能会在生成的二值图中断开。因此墙面上会生成断点,同时杂点也会造成线段的端点,而只有房间墙面的角点才是对房间几何信息有用的,因此需要判断端点是否为角点。因墙面之外的间隙区域不会被扫描到,所有墙面背处是空白。因此这里定义有且仅有一组互相垂直的线段相交于某端点,则该点是房间墙面的角点。
传统方法中,如图13所示,方框中的角点往往会在墙段提取中被忽略,而生成一个矩形模型代表房间。而本文通过室内墙面点云提取得到的房间区域,则可以很好地比利用墙段分隔得到的房间精细化程度更高,保留了更多的细节。
(5)语义标注。如图14选取前一步骤的筛选出的角点N1,沿着该节点的其中一个方向进行搜索,直到遇到另一个角点记为N2,记录两个角点之间的墙面为Wallsurf1。接着向该角点所在的与N1方向相异的墙面方向搜索,依次类推,直到回到N1点,至此形成一个闭合的房间(Room)。过程中记录的角点和墙面都属于这个房间。
本文用包含四个房间的典型点云数据集,对基于区域生长算法的角点提取方法进行验证。这四个房间中的边缘细节各自不同,代表性较强。如图15所示,以X-O-Y平面为参考面进行降维投影,实验中规定格网尺寸必须小于对应墙面间隙宽度的二分之一,防止两个墙面落入同一个或相邻的两列格网中,从而失去墙面间缝隙的几何特征,造成后续提取困难。二值化后的图如图16所示。由图中可以定性看出,二值化图对于室内墙面的细节有较好的保留,墙的角点和墙面之间的间隙细节均损失较小。数据集中四个房间真实角点个数N与提取出角点的个数n比较如表5-3所示,提取正确率Cr,定义
表5-3角点提取正确性
基于区域生长算法而得墙面角点从而得到室内三维空间表达,比单独用墙段表达房间更加精细化,更加接近真实世界。
1.3门窗提取
门窗提取对于拓扑关系的定义至关重要,它们的存在与否,决定了共享该空间分隔的两个子空间是否存在连通关系。门窗在点云上的最显著的特征是会造成一面墙的点云在其所在的位置形成点云密度的较低值,甚至是孔洞,很多学者也利用这个特征对门窗进行了提取,Lucia还对提取区域利用canny算子进行边缘提取,后根据其形态特征进行判断。然而这个特征很容易被遮挡墙面的障碍物所影响,特别是橱柜等几何形态与门窗类似的障碍物,对此处进行三维扫描时,橱柜的遮挡造成影响提取出的墙面上,在此处点云密度值明显低于墙面其他位置,而其形状,高度,宽度均与门窗相似,因此很难通过统计方法或者几何方法对其进行区分。
因此本文在上述提取方法的基础上做了延伸,将门窗认为是墙上的开放区域,由房间提取中对墙的细化,得出门窗在一面墙的两个墙面上都会形成点云孔洞,那么上述提取方法中,投影数据从一面墙细化为两个墙面,而在相对应的位置部分会形成低点云密度区域。而障碍物只能在墙的一个表面造成低密度点云区域,从而被有效地剔除。
1.4基于位置关系的墙面匹配
前面步骤中获取的墙面都是独立的,在计算点云密度之前,需要将同属于一面墙的两个墙面进行匹配。同一面墙中,墙面是两个互相平行的立面,则在格网化降维之后,表现为二值图上平行且临近的两条直线段。因此需对生成的墙面之间进行判断。
选定一墙面,排除与其同属于一房间的墙面后,任选一墙面,判断两个墙面所在的线段相互之间的关系。记其中一个墙面对应的端点各自是N1(x1,y1),N2(x2,y2),另一个墙面对应的点的坐标是N3(x3,y3),N4(x4,y4)。当两墙面在格网化后的二维坐标系中,均不是水平直线时,即x1≠x2并且x3≠x4时,令,则两个墙面直接的夹角θ可由下列公式求得
当x1=x2并且x3=x4时,直线斜率无法表达。此时直接判定两墙面平行。若有一面墙的两个端点x值相等,则另一墙面的斜率在规定阈值范围内时,可认为是平行。选取任意端点,计算其与另一墙面间的距离。如选取N1点,计算其与N3,N4之间的距离d,如公式(3-5),
若墙面厚度为ε,以此作为两墙面距离的阈值的参考,这里选择ε的1.5倍,若d<ε,则认为上述两个墙面是平行且距离足够近的,那么这两个墙面即可以匹配成为一个墙段。
2.备选区域
对匹配得到的每组墙面均同样进行格网化,但是格网化的参考面需要改为垂直面。对于点云密度低于设定阈值的格网,寻找其匹配墙面上对应点位的格网,若其同样符合阈值,则将该点位的格网记为门窗备选区域。
3.约束条件筛选
室内导航网络提取工作中,门窗提取的目的是定义共享一面墙的两个空间是否可以通过一定的开放区域,达到能够让导航主体通过的条件,从而定义这两个空间是否具有连通性。因此提取出的开放区域必须达到一定面积,且形态特征上可以允许导航主体通过。因此不同导航主体所设置的筛选条件是不同的。
当导航主体是无人机时,其体积通常较小,而且无人机的运动特性不同于行人,它可以穿过位于较高位置的开放区域;当导航主体是智能仓储,智能物流中的叉车时,不仅要考虑其通过体积,还要考虑当前出口是否有为叉车平稳通过该处的条件。
如果导航主体是行人,则通常做法是,以人体正射影像所占面积的经验值为基础,向外以一定宽度生成面域缓冲区,获得行人所能通过的开放区域的面积约束。然而面积约束并不能将全部异常区域,过于狭窄或者过于低矮的条形区域,有可能面积达到一定值,但是并不适合人类行走。为了使得提取出的开放区域更加符合人的真实感受和行走习惯,本文选择设定矩形区域的经验宽度值和经验高度值,以保证提取出来的开放区域是可供人类穿过的,如图17。
本实验中涉及到的门窗几何信息如图18和表5-4给出。
表5-4门窗几何数据
单位:米(m)
如图19所示,对一组对应的墙面分别进行格网化,将整个墙面按照n*n进行格网划分,统计落入每个格网的点云的数量。生成以密度插值的二维图像。设定阈值,进行二值化。本实验在n=20时,将点云数量小于等于5的格网利用空间插值赋值为1,显示为黑色,其余部分赋值为0显示为白色。两个墙面分别生成的二值图如图20所示。
比较两个墙面上对应格网点上的值,若均为1则该格网被筛选为备选区域。比对后聚集区域显示图如图21所示,对聚集格网计算格网面积,本文中基于行人导航主体考虑,设置约束条件:设面积阈值经验值为1.8m2,最小宽度经验值为0.4m,最小高度经验值为1.5m。当导航主体是行人时,只有同时满足这三个条件才可以认为此处存在可供通过的开放区域,认为该处是有门存在的。
对于门窗提取方法进行精度的验证,利用实验数据门窗中三种不同的开放区域的高和宽与真实数据进行对比,记门窗尺寸数据误差值=计算值-真实值。当提取出的区域由于格网原因并不为规则形状时,分别选取长度和宽度的平均值代表其长度和宽度。在一定量数据的情况下,一组数据的平均误差比较能反应真实值,选择中误差作为本次实验的精度评价标准,计算方法为
当n=20时,格网尺寸为其精度数据如表5-5所示。
表5-5 n=20时门窗提取精度
为了验证门窗提取方法中,格网尺寸的大小对精度的影响,本文针对不同的n值,分别重复实验步骤,当n=22时,中误差值为0.031,n=24时,中误差值为0.134。
经过实验验证,结合实际情况,得出以下结论,门窗提取精度随着格网密度增加,呈现出近似正态分布的趋势。在n值较小,格网尺寸较大的情况下,则门窗边缘与格网互相的位置关系,对于该格网是否符合阈值有较大影响,提取的边缘也随之变化较大。因此,在一定范围内逐渐缩小格网尺寸,提取精度逐渐提高。但是超出合理范围之后,随着格网密度的增高,落入每一个格网的点云数量都相对稀少,各个格网通过插值之后灰度值大小相近,难以用阈值将备选区域区分出来精度反而会降低,甚至无法有效进行提取。
4.结论
基于三维激光扫描仪只对物体表面坐标进行记录的工作原理,被扫描的物体都可以表述为涵盖自身背部空白的一组点集,由此本文提出一种细化空间分隔的方法,即将墙视为由两个墙面及中间不被扫描的墙体组成的。在点云中一面墙表现为两组平行且相近的平面点云集和一处间隙。
(1)利用该空间分隔进行房间提取时,将墙面厚度纳入考虑,利用内部墙面确定一个房间,运用区域生长算法获取墙面上的角点时,可以获得房间内部的精细边缘。
(2)以一面墙的两个墙面对应的格网点云密度比对来对门窗进行提取。该方法解决了墙面障碍物对门窗提取的干扰,对于拓扑关系的正确构建有着重要意义,解决了现有技术中存在的相应问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:采用三维激光扫描仪;
三维激光扫描仪的主要构造是由一台高速精确的激光测距仪,配上一组能引导激光并以均匀角速度扫描的反射棱镜;激光测距仪主动发射激光,同时接受由自然物表面反射的信号从而进行测距;因此在门等开放区域存在的地方,反射的信号较弱甚至没有,在一个房间的墙面上,这种现象反映为扫描出的点云在开放区域存在孔洞或者点云较之其他区域稀疏;由于扫描仪的工作原理,其只能对墙表面进行扫描,墙体中间由于遮挡无法生成对应的点云,因此会在两个墙面形成的点云密度峰值之间产生一个代表墙体的间隙;因此将由墙体进行的房间的分割,更改为由墙面进行的点云分割,获取到的每一个不相邻空间能够更加真实地表达房间的空间位置和大小;将承担空间分隔作用的墙,细化为能被三维激光扫描仪扫描并记录坐标的一组平行墙面和无法被扫描到的内部墙体,对组成同一个房间的墙面的角点进行检测,得到房间的精细化表达;
在将墙体拆分为两个临近平行的墙面过程中,在门窗存在处,代表一面墙体的两个墙面对应位置均会形成点云密度较低的区域;因此选择对单一墙体的两个墙面进行投影格网化,比对两个墙面的对应位置,如两个对应格网点云密度均低于阈值,则该格网所在区域可被认为是门窗的备选区域。
2.根据权利要求1所述的利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:在每个楼层中,房间作为独立的导航区域很难单独提取,因此选择提取出作为空间分隔的墙,从而得到一个个不相邻的空间,作为房间节点,在一个楼层内提取的房间节点和该楼层记为从属关系;将点云中的每个被扫描的元素被表达为一组涵盖自身背部空白区域的点,生成点云密度的直方图,在直方图上进行卷积操作,筛选出峰值之间的空白区域作为墙的备选。
3.根据权利要求2所述的利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:采用滤波方法,对单层内室内环境点云进行PCA算法,计算其法线,保留垂直方向点;
算法具体流程如下:给定点集P={p1,p2,…,pn},其中n代表点集中的点云总数,点pi的最近K邻域表示为Nb(pi),其中Nb表示邻域,对点集中任意一点pi用其K邻域拟合的最小二乘平面的表示为公式:
式中n为平面Pl的法向量,它必须满足||n||2=1,d表示邻域点到拟合平面的距离;以上公式可转换为以下公式里面半正定协方差矩阵C进行特征值分解,即:
式中C的最小特征值的特征向量可被当作pi的法向量,协方差矩阵C定义了局部曲面的几何信息,为一个对称的半正定矩阵;C可以分解为3个特征向量v1,v2,v0,3个特征向量对应的特征值分别是λ2、λ1和λ0,其中λ0≤λ1≤λ2,最小特征值对应的特征向量为平面的法向量即为n=v0。
4.根据权利要求3所述的利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:在单层楼中提取墙面的几何信息及其语义标注提取房间,方法包括:
(1)首先选取值为1的任意一点作为种子点,记为P1,对其八邻域进行搜索,若邻域内没有值为1的点,则若其周围只有一个值为1的点,则将该点记为P2,且记P1为端点N1;然后对P2的其他邻域进行搜索,若不存在某一点能与P1,P2共线,则记P2为端点N2;若存在某一点能形成这三点共线,则该点记为P3,P2点标记为中间点;然后继续对P3进行邻域搜索,以此类推,直到Pn的邻域中,没有任何一个点能与Pn-1,Pn共线,则记Pn为端点,P1与Pn连成的直线段构成一段墙面;
(2)若P1点周围有两个及以上的点,则寻找是否有能与P1形成共线的两点;如果没有,则记P1为端点,且分别向各点延伸,重复方法(1)直到达到另一个端点;如果有一对点与P1形成共线,则记P1点为中间点,且由P1分别向该两点延伸,重复方法(1),直到达到端点;如果有超过一对点与P1形成共线,则对每一对点依次重复方法(1);
(3)完成一次搜索后进行下一个种子点的选取,其中,前面步骤中的种子点不可再作为种子点,前面步骤中标记的中间点不可再作为种子点,直到完成对所有值为1的点的判断;
(4)角点判断,由于点云扫描过程中障碍物的遮蔽,或者杂乱障碍物的影响,实际生活中的完整的墙面,可能会在生成的二值图中断开,因此墙面上会生成断点,同时杂点也会造成线段的端点,而只有房间墙面的角点才是对房间几何信息有用的,因此需要判断端点是否为角点,因墙面之外的间隙区域不会被扫描到,所有墙面背处是空白。因此这里定义有且仅有一组互相垂直的线段相交于某端点,则该点是房间墙面的角点;
(5)语义标注,选取方法(4)筛选出的角点N1,沿着该节点的其中一个方向进行搜索,直到遇到另一个角点记为N2,记录两个角点之间的墙面为Wallsurf1,接着向该角点所在的与N1方向相异的墙面方向搜索,依次类推,直到回到N1点,至此形成一个闭合的房间,过程中记录的角点和墙面都属于这个房间。
5.根据权利要求4所述的利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:门窗提取,将门窗认为是墙上的开放区域,通过上述房间提取中对墙的细化,得出门窗在一面墙的两个墙面上都会形成点云孔洞,投影数据从一面墙细化为两个墙面,而在相对应的位置部分会形成低点云密度区域,而障碍物只能在墙的一个表面造成低密度点云区域,从而被有效地剔除。
6.根据权利要求5所述的利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:基于位置关系的墙面匹配,上述方法获取的墙面都是独立的,在计算点云密度之前,需要将同属于一面墙的两个墙面进行匹配,其方法为:
选定一墙面,排除与其同属于一房间的墙面后,任选一墙面,判断两个墙面所在的线段相互之间的关系,记其中一个墙面对应的端点各自是N1(x1,y1),N2(x2,y2),另一个墙面对应的点的坐标是N3(x3,y3),N4(x4,y4);
当两墙面在格网化后的二维坐标系中,均不是水平直线时,即x1≠x2并且x3≠x4时,令,则两个墙面直接的夹角θ可由下列公式求得
当x1=x2并且x3=x4时,直线斜率无法表达,此时直接判定两墙面平行;若有一面墙的两个端点x值相等,则另一墙面的斜率在规定阈值范围内时,可认为是平行;
选取任意端点,计算其与另一墙面间的距离,如选取N1点,计算其与N3,N4之间的距离d,如公式
若墙面厚度为ε,以此作为两墙面距离的阈值的参考,这里选择ε的1.5倍,若d<ε,则认为上述两个墙面是平行且距离足够近的,那么这两个墙面即可以匹配成为一个墙段。
7.根据权利要求6所述的利用细化空间分隔法从点云提取室内导航元素的方法,其特征在于:对匹配得到的每组墙面均进行格网化,但是格网化的参考面需要改为垂直面,对于点云密度低于设定阈值的格网,寻找其匹配墙面上对应点位的格网,若其同样符合阈值,则将该点位的格网记为门窗备选区域,从而进行门窗提取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910437237.9A CN110147775B (zh) | 2019-05-24 | 2019-05-24 | 利用细化空间分隔法从点云提取室内导航元素的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910437237.9A CN110147775B (zh) | 2019-05-24 | 2019-05-24 | 利用细化空间分隔法从点云提取室内导航元素的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110147775A true CN110147775A (zh) | 2019-08-20 |
CN110147775B CN110147775B (zh) | 2021-05-18 |
Family
ID=67592934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910437237.9A Active CN110147775B (zh) | 2019-05-24 | 2019-05-24 | 利用细化空间分隔法从点云提取室内导航元素的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110147775B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532963A (zh) * | 2019-08-30 | 2019-12-03 | 扆亮海 | 一种车载激光雷达点云驱动的道路标线精准提取方法 |
CN111044988A (zh) * | 2020-01-06 | 2020-04-21 | 青梧桐有限责任公司 | 一种激光雷达扫描户型图的精细化处理方法 |
CN111578949A (zh) * | 2020-07-03 | 2020-08-25 | 哈工大机器人湖州国际创新研究院 | 室内定位方法及装置、存储介质和电子装置 |
CN112147998A (zh) * | 2020-08-24 | 2020-12-29 | 同济大学 | 一种基于区域生长法的移动机器人路径规划方法 |
CN115131656A (zh) * | 2022-09-01 | 2022-09-30 | 深圳鹏行智能研究有限公司 | 空间识别方法、装置、电子设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914875A (zh) * | 2014-04-17 | 2014-07-09 | 中国科学院深圳先进技术研究院 | 室内场景的功能性建模方法 |
CN106780509A (zh) * | 2016-12-01 | 2017-05-31 | 山东交通学院 | 融合多维特征的建筑物点云层次聚类分割方法 |
US20180039713A1 (en) * | 2016-08-02 | 2018-02-08 | Indoor Reality | Building scan window detection |
CN108027984A (zh) * | 2015-09-25 | 2018-05-11 | 奇跃公司 | 用于在3d重建中检测和组合结构特征的方法和系统 |
WO2018122335A1 (en) * | 2016-12-30 | 2018-07-05 | Robert Bosch Gmbh | Mobile robotic device that processes unstructured data of indoor environments to segment rooms in a facility to improve movement of the device through the facility |
CN108875133A (zh) * | 2017-05-09 | 2018-11-23 | 达索系统公司 | 确定建筑布局 |
CN109325998A (zh) * | 2018-10-08 | 2019-02-12 | 香港理工大学 | 一种基于点云数据的室内3d建模方法、系统及相关装置 |
-
2019
- 2019-05-24 CN CN201910437237.9A patent/CN110147775B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914875A (zh) * | 2014-04-17 | 2014-07-09 | 中国科学院深圳先进技术研究院 | 室内场景的功能性建模方法 |
CN108027984A (zh) * | 2015-09-25 | 2018-05-11 | 奇跃公司 | 用于在3d重建中检测和组合结构特征的方法和系统 |
US20180039713A1 (en) * | 2016-08-02 | 2018-02-08 | Indoor Reality | Building scan window detection |
CN106780509A (zh) * | 2016-12-01 | 2017-05-31 | 山东交通学院 | 融合多维特征的建筑物点云层次聚类分割方法 |
WO2018122335A1 (en) * | 2016-12-30 | 2018-07-05 | Robert Bosch Gmbh | Mobile robotic device that processes unstructured data of indoor environments to segment rooms in a facility to improve movement of the device through the facility |
CN108875133A (zh) * | 2017-05-09 | 2018-11-23 | 达索系统公司 | 确定建筑布局 |
CN109325998A (zh) * | 2018-10-08 | 2019-02-12 | 香港理工大学 | 一种基于点云数据的室内3d建模方法、系统及相关装置 |
Non-Patent Citations (3)
Title |
---|
WENZHONG SHI,ET AL.: "Semantic Geometric Modelling of Unstructured Indoor Point Cloud", 《INTERNATIONAL JOURNAL OF GEO-INFORMATION》 * |
危双丰,等: "利用点云检测室内导航元素的方法综述", 《武汉大学学报 信息科学版》 * |
汤涌,等: "室内 SLAM 点云的快速分割研究", 《测绘与空间地理信息》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110532963A (zh) * | 2019-08-30 | 2019-12-03 | 扆亮海 | 一种车载激光雷达点云驱动的道路标线精准提取方法 |
CN111044988A (zh) * | 2020-01-06 | 2020-04-21 | 青梧桐有限责任公司 | 一种激光雷达扫描户型图的精细化处理方法 |
CN111578949A (zh) * | 2020-07-03 | 2020-08-25 | 哈工大机器人湖州国际创新研究院 | 室内定位方法及装置、存储介质和电子装置 |
CN112147998A (zh) * | 2020-08-24 | 2020-12-29 | 同济大学 | 一种基于区域生长法的移动机器人路径规划方法 |
CN115131656A (zh) * | 2022-09-01 | 2022-09-30 | 深圳鹏行智能研究有限公司 | 空间识别方法、装置、电子设备及计算机可读存储介质 |
CN115131656B (zh) * | 2022-09-01 | 2022-12-13 | 深圳鹏行智能研究有限公司 | 空间识别方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110147775B (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147775A (zh) | 利用细化空间分隔法从点云提取室内导航元素的方法 | |
Previtali et al. | A flexible methodology for outdoor/indoor building reconstruction from occluded point clouds | |
CN104573705A (zh) | 一种建筑物激光扫描点云数据的聚类方法 | |
CN112801022A (zh) | 一种无人驾驶矿卡作业区道路边界快速检测更新的方法 | |
Lee et al. | Perceptual organization of 3D surface points | |
CN107784663A (zh) | 基于深度信息的相关滤波跟踪方法及装置 | |
CN102136155A (zh) | 基于三维激光扫描数据的物体立面矢量化方法和系统 | |
CN108109139A (zh) | 基于灰度体元模型的机载lidar三维建筑物检测方法 | |
Tang et al. | BIM generation from 3D point clouds by combining 3D deep learning and improved morphological approach | |
Özdemir et al. | Automatic extraction of trees by using multiple return properties of the lidar point cloud | |
Yang et al. | A skeleton-based hierarchical method for detecting 3-D pole-like objects from mobile LiDAR point clouds | |
Li et al. | An over-segmentation-based uphill clustering method for individual trees extraction in urban street areas from MLS data | |
CN110363299A (zh) | 面向露头岩层分层的空间案例推理方法 | |
Tian et al. | Robust segmentation of building planar features from unorganized point cloud | |
Adán et al. | Reconstruction of wall surfaces under occlusion and clutter in 3D indoor environments | |
He | Automated 3D building modelling from airborne LiDAR data | |
Keller et al. | Extracting and visualizing structural features in environmental point cloud LiDaR data sets | |
Zhang et al. | Object-based classification of urban airborne LiDAR point clouds with multiple echoes using SVM | |
Previtali et al. | Automatic façade segmentation for thermal retrofit | |
An et al. | Automatic recognition and feature extraction of rock blocks based on 3D point cloud data analytics | |
Previtali et al. | Automated detection of repeated structures in building facades | |
Wakita et al. | Multi-scale based extracion of vegetation from terrestrial lidar data for assessing local landscape | |
Huang et al. | A multi-scale point clouds segmentation method for urban scene classification using region growing based on multi-resolution supervoxels with robust neighborhood | |
Niigaki et al. | Segmentation of 3D lidar points using extruded surface of cross section | |
Lari | Adaptive Processing of Laser Scanning Data and Texturing of the Segmentation Outcome |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |