CN103942824A - 一种三维点云直线特征提取方法 - Google Patents

Abstract

本发明公开了一种三维点云直线特征提取方法，一种三维点云直线特征提取方法，包括以下步骤：S1、将原始点云沿不同方向投影到二维空间，生成多张2D图像并保留深度信息，采用非真实感渲染技术将深度信息转化为图像灰度值，使2D图像具有清晰的边缘；S2、在2D图像中提取2D直线支持区；S3、将2D直线支持区反投影到三维空间，得到3D直线支持区。本发明通过投影和反投影的操作，3D直线支持区提取的问题转化为2D直线支持区提取的问题，降低了数据处理的复杂度，能够快速准确的从大规模点云数据中提取出直线特征。

Description

一种三维点云直线特征提取方法

技术领域

本发明涉及三维点云处理领域，尤其涉及一种三维点云直线特征提取方法。

背景技术

点云的线状结构包括曲线结构和直线结构。针对于大多数的人造物体都具有平面特征且两平面的交线为直线的特点，使用直线来表示点云结构就成为了一个自然且合适的选择。面向直线特征的提取，大部分研究成果集中于2D图像上，其中包括单幅图片的直线提取，以及多视角图片的3D直线重建。而只有少数的研究成果面向点云的直线提取。

2D图像中的直线检测已有数十年的研究历史。传统的方法是先使用Canny边缘检测算子来确定哪些像素点是边缘点，然后使用Hough变换来提取包含一定数目边缘点的直线。该方法具有一些明显的缺点：首先Hough变换的方法在具有高密度边缘的区域容易导致很多虚拟检测(false detections)的发生；其次，由于没有考虑边缘点的梯度方向，该方法很容易产生异常方向的直线；最后，使用固定阈值的使得该方法容易产生显著的假阳性检测(falsepositives)或假阴性检测(false negatives)。另一种经典的方法是先将边缘点连接成曲线，然后再将曲线根据直线度标准(straightness criterion)分割成线段，但是该类方法的结果也不尽人意。最近，最近提出的LSD算法是一种有效的且具备虚假检测控制(false detection control)的直线检测方法。该方法首先将图像分割成一系列的直线支持区域，同一个直线支持区域中的像素点具有相似的梯度方向。每一个直线支持区域使用一条直线来近似，并使用反证检验法来控制虚假的检测。该方法具有快速有效且不需要修改参数的优点，因此在近年来被广泛引用。

不同于2D图像中的直线提取，三维点云的直线提取仍处于起步阶段。其难点体现在：目前仍缺乏一种行之有效的方法将三维的边缘特征点连接成直线；由于噪声点的存在，在局部区域很难将噪声点与边缘特征区分开；对于大规模数据的情况，目前仍缺乏快速的提取边缘特征点的方法；原始扫描的点云数据往往缺乏法向量和连接信息，这也进一步增加了问题的难度。

现有的三维点云的直线提取算法主要包括Hough变换和RANdom SampleConsensus(RANSAC)，如近年有人提出结合了Mahalanobis距离的RANSAC方法来检测三维直线的方法，以及利用Hough变换和最小二乘法来提取古建筑的直线特征的方法等。这类方法难以处理复杂的大规模点云数据，因此不具有工程实用性。

另一类方法是基于点云的平面特征，该类方法先从点云中提取出平面，然后再确定两两平面间的交线。首先通过分析每个点与其k个最近邻点所构成的协方差矩阵的特征值来判断该点是否为平面特征的点，然后使用聚类的方法将这些点聚集成平面，最后再计算两两平面的交线。但基于平面提取的方法具有以下缺点：平面的边界难以确定；该方法只能提取出显著的直线，对于处于两个窄小的平面的交线难以被检测。而窄小平面本身也难以从点云中提取，且容易受到噪音的影响；针对复杂数据，该方法在非平面处容易提取出错误的直线。

发明内容

本发明的目的在于提供一种三维点云直线特征提取方法。

为实现上述目的，本发明采用以下技术方案：

一种三维点云直线特征提取方法，包括以下步骤：

S1、将原始点云沿不同方向投影到二维空间，生成多张2D图像并保留深度信息，采用非真实感渲染技术将深度信息转化为图像灰度值，使2D图像具有清晰的边缘；

S2、在2D图像中提取2D直线支持区；

S3、将2D直线支持区反投影到三维空间，得到3D直线支持区。

优选地，所述步骤S2具体为：采用LSD算法对2D图像进行直线检测分割，提取一组直线支持区，并采用反证检验法来控制虚假检测。

优选地，其还包括步骤S4，将3D直线支持区拟合成LSHP结构，所述LSHP结构为一对侧边相接的3D矩形片。

优选地，其还包括步骤S5，对每张2D图像重复步骤S1-S4，得到多个LSHP结构，对所述的多个LSHP结构进行合并、扩展。

优选地，所述步骤S4具体包括以下分步骤：

S41、将3D直线支持区沿着其主轴方向投影到2D平面，得到投影点集；

S42、在投影点集中提取V字型点集区域；

S43、采用最小中值二乘法对V字型点集区域的左、右两部分分别用平面进行拟合，得到两个拟合平面；

S44、根据两个拟合平面将3D支持区分成两个子区域，根据两个子区域内的点分别计算LSHP结构两个矩形片的参数。

优选地，所述步骤S4还包括分步骤S45，基于LSHP结构验证3D直线支持区的置信度并滤除虚假的3D直线支持区。

优选地，所述分步骤S45包括以下子步骤：

S451、判断LSHP结构是否满足位置约束条件，若不满足，则将其对应的3D直线支持区作为虚假3D直线支持区进行滤除，所述位置约束条件为：

$\underset{p\∈P}{\mathrm{median}}\left(\mathrm{dist}(p,\mathrm{\β})\right)\≤\mathrm{\θ}$

其中，P为3D直线支持区的其中一个部分，β为拟合平面，阈值θ是原始点云中两个最近邻点的平均距离；

S452、判断LSHP结构是否满足参数关系约束条件，若不满足，则将其对应的3D直线支持区作为虚假3D直线支持区进行滤除，所述参数关系约束条件为：

$\frac{1}{4}{w}_1{w}_2\sin \left(\mathrm{\α}\right)>t_1{w}_1+t_2{w}_2$

其中，w₁、w₂分别为两个3D矩形片的宽度，t₁、t₂分别为两个3D矩形片的厚度，α为两个3D矩形片的夹角。

优选地，所述步骤S5具体包括以下分步骤：

S51、对每张2D图像重复步骤S1-S4，得到多个LSHP结构；

S52、对于两两有交集的3D直线支持区，判断其合并后是否满足所述位置约束条件，若满足，则对其进行合并，并计算合并后的LSHP结构；

S53、将LSHP结构沿其直线段方向来进行区域增长；

S54、判断区域增长后LSHP结构是否满足所述位置约束条件，若满足，则对区域增长后的LSHP结构重复步骤S53，若不满足，则取消本次区域增长并停止。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明通过投影和反投影的操作，3D直线支持区提取的问题转化为2D直线支持区提取的问题，降低了数据处理的复杂度，能够快速准确的从大规模点云数据中提取出直线特征。

2、本发明采用直线半平面结构来拟合3D直线支持区，其能够为直线提供几何约束，使得最终提取的结果更为可靠。

附图说明

图1为本发明的工作流程示意图。

图2显示了本发明直线特征提取的过程，其中：图2a显示了获取的原始点云数据；图2b显示了通过投影生成的2D图像；图2c显示了提取的2D直线支持区；图2d显示了通过反投影获取3D直线支持区，并进行LSHP结构拟合后的结果；图2e显示了经过合并、扩展后的LSHP结构。

图3显示了采用不同的非真实感渲染技术所得到的结果，其中：图3a显示了SSA0的渲染结果；图3a显示了EDL的渲染结果。

图4为LSHP结构的示意图。

图5显示了对3D直线支持区进行LSHP结构拟合的过程，其中：图5a显示了拟合前的3D直线支持区；图5b显示了显示了3D直线支持区沿着其主轴方向投影得到投影点集；图5c显示了从投影点集中提取的V字型点集区域；图5d显示了拟合后得到的LSHP结构。

图6显示了对建筑物点云数据直线特征提取的结果，其中：图6a显示了原始的建筑物点云数据，图6b显示了本发明最终获得LSHP结构。

具体实施方式

在对本发明进行详细描述之前，先给出直线支持区的概念。最早提出直线支持区是用于图片直线检测，其定义为一个在图像空间中的矩形区域，该区域内部的像素有着相似的梯度方向。实践证明，使用直线支持区来表征直线比直接的直线定义更鲁棒，并且可以获得更好的处理结果。基于此，本发明中提出了“3D直线支持区”的概念，3D直线支持区定义为三维点云中位于直线特征区域附近的点集，相应的，在本发明中，把二维图像上的直线支持区称为“2D直线支持区”。

下面结合实施例和附图对本发明进行详细说明。

实施例

请参阅图1，本发明公开了一种三维点云直线特征提取方法，其包括以下步骤：

S1、将原始点云沿不同方向投影到二维空间，生成多张2D图像并保留深度信息，采用非真实感渲染技术将深度信息转化为图像灰度值，使2D图像具有清晰的边缘。

全局光照模型、屏幕空间环境光(SSAO)、EDL等非真实感渲染技术都可以使2D图像具有清晰的边缘。全局光照模型通常用于加强曲面的浮雕和边缘信息，使用这样的模型往往需要大量的计算时间及其法向量等信息，因此不适合应用到大规模三维点云处理中。SSAO和EDL只使用了图像深度信息并且运行在图像坐标空间，二者均可用于对大规模大规模三维点云的处理，但采用SSAO得到的边缘信息相对不尽理想，因此，在本实施例中，采用EDL对2D图

对2D图像上的每个像素点，其灰度值通过以下公式得出：

$I\left(p\right)=\exp (-A*\underset{w\∈\mathrm{\Ω}}{\mathrm{\Σ}}\underset{q\∈w\∩V_p}{\max }s(p,q))$

其中，I(p)为像素点p的灰度值，A＝100为强度因子，Ω是一个环绕像素点p的k个均匀分布的方向集合，V_p为图像空间中到像素点p的距离为1的像素点集，s(p,q)用来衡量关于的阻挡值。s(p,q)通过以下公式求解：

$s(p,q)=\max (\frac{z_p-z_q}{d_{\mathrm{pg}}},0)$

其中，z_p∈[0,1]、z_q∈[0,1]分别为像素点p和像素点q归一化后的深度值。d_pq为像素点p和像素点q的欧式距离。

为了引入较远像素的影响，并保证不明显的增加图像数据处理的时间复杂度，采用以上灰度值求解公式来计算1/2分辨率和1/4分辨率的2D图像的灰度值，并采用高斯滤波来平滑锯齿，最后将得到的三张灰度图像进行线性叠加，从而得到的最终的图像处理结果。

S2、在2D图像中提取2D直线支持区。采用LSD算法对2D图像进行直线检测分割，提取一组直线支持区，并采用反证检验法来控制虚假检测。LSD算法能够快速有效的从2D图像中提取2D直线支持区，且无需人为去修改参数。本发明所采用的LSD算法与现有技术中涉及的具备虚假检测控制的图像直线检测算法相同，在此不再赘述。

S3、将2D直线支持区反投影到三维空间，得到3D直线支持区。由于原始点云缺乏连接和法向量信息，并且目前缺乏一个有效的三维空间中的编组方法，因此无法从原始点云中直接提取3D直线支持区。本发明经过步骤S1-S3的处理过程，即可获取3D直线支持区，这样不仅避免了3D邻域搜索这一耗时的操作，降低了数据处理复杂度，并且可以利用2D图像中的成熟优秀的算法来获得良好的编组结果，进而保证了3D直线支持区的准确性。

S4、将3D直线支持区拟合成LSHP结构(直线半平面结构)，LSHP结构为一对侧边相接的3D矩形片，每个3D矩形片由其长、宽、高和法向量来确定。本领域技术人员应该理解的是，LSHP结构是对3D直线支持区的模型化，为3D直线支持区提供了几何约束，其实际上仍然是以3D直线支持区的形式存在。LSHP结构同样可以用来验证3D直线支持区的置信度。该步骤具体通过以下步骤实现：

S41、将3D直线支持区沿着其主轴方向投影到2D平面，得到投影点集，并在投影点集中提取V字型点集区域。为了便于理解，结合具体实例做进一步描述：

在不失一般性的情况下，假设3D直线支持区L所对应的2D直线支持区与Y轴平行(即与X轴垂直)且其所在的图像位于XY平面上，则V字型点集区域沿X轴从左到右分布，其过拐点的分割线可以认为是与Y轴平行的。

3D直线支持区L的主轴方向v定义为v＝(0,cosα,sinα)，α是3D直线支持区L的主轴与Z轴的夹角。α通过以下公式求解：

$\underset{\mathrm{\Ω}}{\arg \min }\left(\mathrm{\σ}\left(\mathrm{dist}(p,\mathrm{\Ω})\right)\right)$

其中，点p∈L，Ω是由X轴和3D直线支持区L的主轴确定的平面，dist(p,Ω)是从点p到Ω的欧式距离，σ(·)是标准差。σ(dist(p,Ω))越小意味着投影点越收敛。

由于V字型点集区域很可能是由一组相接触的半平面沿主轴方向投影后产生的，因此使用多边形折线C来表示投影后的点集。考虑到可见性的因素，C是一个X-单调的折线，即每一条正交于X轴的直线与C至多只有一个交点。为了生成C，我们将投影点集沿X轴方向分割成n段，每一段具有相同的宽度，然后计算每一段的中心点，并将这些中心点沿X轴连接起来就得到了多边形折线。在本实施例中，n值取100。

为了提取V字型点集区域，考虑寻找C中的一个最大的子集，该子集可以分解成左右两个具有不同单调性符号的部分。考虑到折线C是沿X-单调的，用数组S来表示折线的各个顶点的Y坐标值，则该问题可以转化为计算两个最长单调子序列。定义LIS_i表示序列S[1,...,i]中以S_i结尾的最长递增子序列，LISR_i表示序列S[n,...,i]中以S_i结尾的最长递增子序列；类似的，定义LDS_i表示序列S[1,...,i]中以S_i结尾的最长递减子序列，LDSR_i表示序列S[n,...,i]中以S_i结尾的最长递减子序列。

V字型点集区域的拐点坐标可以通过下式确定：

$\underset{i=1,...,n}{\arg \max }\left(\right|{\mathrm{LIS}}_i|*|{\mathrm{LISR}}_i|*|{\mathrm{LDS}}_i|*|{\mathrm{LDSR}}_i\left|\right)$

其中，|·|符号表示子序列的长度。

通过在O(nlogn)时间内求解两个最长单调子序列，两个最长单调子序列所对应的点集区域即为所要提取的V字型点集区域。在本实施例中，n值取100。

S42、采用最小中值二乘法对V字型点集区域的左、右两部分分别用平面进行拟合，得到两个拟合平面。

S43、根据两个拟合平面将3D支持区分成两个子区域，根据两个子区域内的点分别计算LSHP结构两个矩形片的参数。

S44，基于LSHP结构验证3D直线支持区的置信度并滤除虚假的3D直线支持区。该步骤具体为：

S441、判断LSHP结构是否满足位置约束条件，若不满足，则将其对应的3D直线支持区作为虚假3D直线支持区进行滤除，位置约束条件为：

$\underset{p\∈P}{\mathrm{median}}\left(\mathrm{dist}(p,\mathrm{\β})\right)\≤\mathrm{\θ}$

其中，P为3D直线支持区的其中一个部分，β为拟合平面，阈值θ是原始点云中两个最近邻点的平均距离。通过设置位置约束条件，也就是限制了拟合平面与点集间的中值距离不能超过阈值θ。

S442、判断LSHP结构是否满足参数关系约束条件，若不满足，则将其对应的3D直线支持区作为虚假3D直线支持区进行滤除，参数关系约束条件为：

$\frac{1}{4}{w}_1{w}_2\sin \left(\mathrm{\α}\right)>t_1{w}_1+t_2{w}_2$

其中，w₁、w₂分别为两个3D矩形片的宽度，t₁、t₂分别为两个3D矩形片的厚度，α为两个3D矩形片的夹角。通过设置参数关系约束条件，也就是限定了LSHP结构两个3D矩形片的夹角、矩形宽度和矩形厚度之间的关系。

S5、对每张2D图像重复步骤S1-S4，得到多个LSHP结构，对的多个LSHP结构进行合并、扩展。该步骤具体通过以下步骤实现：

S51、对每张2D图像重复步骤S1-S4，得到多个LSHP结构；

S52、对于两两有交集的3D直线支持区，判断其合并后是否满足位置约束条件，若满足，则对其进行合并，并计算合并后的LSHP结构。

S53、将LSHP结构沿其直线段方向来进行区域增长。

S54、判断区域增长后LSHP结构是否满足位置约束条件，若满足，则对区域增长后的LSHP结构重复步骤S53，若不满足，则取消本次区域增长并停止。|

为了便于理解，对步骤S53、S54做进一步描述，步骤S53、S54是为了完成对LSHP结构的扩展，从而确定LSHP结构的边界，其具体实现过程为：

基于区域增长的方式，对于3D直线支持区L中的每个点p，考虑他的邻域如下：

N(p,r)＝{q∈P|||p-q||≤r}

其中,P为原始点云,r为邻域半径。在本实施例中r值取LSHP结构中两个3D矩形片的宽度的平均值。

判断加入领域N(p,r)的点后，3D直线支持区L的LSHP结构是否仍满足公式(2)，若满足，则将领域N(p,r)的点加入到3D直线支持区L中。重复以上步骤直到无法再添加更多的点。

通过以上步骤，即可实现对三维点云直线特征的提取。

为了更直观的理解，图5a显示了原始的建筑物点云数据，图5b显示了本发明最终获得LSHP结构，通过图5a和图5b可以发现，本发明可以有效的提取出建筑物的直线特征，并滤除了不规则的区域(如树木等)，并具备抗噪声能力；最终获得的LSHP也很好的表征了点云的结构，可以被应用于点云的结构化表示中。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种三维点云直线特征提取方法，其特征在于，包括以下步骤：

S1、将原始点云沿不同方向投影到二维空间，生成多张2D图像并保留深度信息，采用非真实感渲染技术将深度信息转化为图像灰度值，使2D图像具有清晰的边缘；

S2、在2D图像中提取2D直线支持区；

S3、将2D直线支持区反投影到三维空间，得到3D直线支持区。

2.如权利要求1所述的一种三维点云直线特征提取方法，其特征在于，所述步骤S2具体为：采用LSD算法对2D图像进行直线检测分割，提取一组直线支持区，并采用反证检验法来控制虚假检测。

3.如权利要求1所述的一种三维点云直线特征提取方法，其特征在于：其还包括步骤S4，将3D直线支持区拟合成LSHP结构，所述LSHP结构为一对侧边相接的3D矩形片。

4.如权利要求3所述的一种三维点云直线特征提取方法，其特征在于：其还包括步骤S5，对每张2D图像重复步骤S1-S4，得到多个LSHP结构，对所述的多个LSHP结构进行合并、扩展。

5.如权利要求3或4所述的一种三维点云直线特征提取方法，其特征在于，所述步骤S4具体包括以下分步骤：

S41、将3D直线支持区沿着其主轴方向投影到2D平面，得到投影点集；

S42、在投影点集中提取V字型点集区域；

S43、采用最小中值二乘法对V字型点集区域的左、右两部分分别用平面进行拟合，得到两个拟合平面；

S44、根据两个拟合平面将3D支持区分成两个子区域，根据两个子区域内的点分别计算LSHP结构两个矩形片的参数。

6.如权利要求5所述的一种三维点云直线特征提取方法，其特征在于，所述步骤S4还包括分步骤S45，基于LSHP结构验证3D直线支持区的置信度并滤除虚假的3D直线支持区。

7.如权利要求6所述的一种三维点云直线特征提取方法，其特征在于，所述分步骤S45包括以下子步骤：

S451、判断LSHP结构是否满足位置约束条件，若不满足，则将其对应的3D直线支持区作为虚假3D直线支持区进行滤除，所述位置约束条件为：

$\underset{p\∈P}{\mathrm{median}}\left(\mathrm{dist}(p,\mathrm{\β})\right)\≤\mathrm{\θ}$

其中，P为3D直线支持区的其中一个部分，β为拟合平面，阈值θ是原始点云中两个最近邻点的平均距离；

S452、判断LSHP结构是否满足参数关系约束条件，若不满足，则将其对应的3D直线支持区作为虚假3D直线支持区进行滤除，所述参数关系约束条件为：

$\frac{1}{4}{w}_1{w}_2\sin \left(\mathrm{\α}\right)>t_1{w}_1+t_2{w}_2$

其中，w₁、w₂分别为两个3D矩形片的宽度，t₁、t₂分别为两个3D矩形片的厚度，α为两个3D矩形片的夹角。

8.如权利要求4所述的一种三维点云直线特征提取方法，其特征在于，所述步骤S5具体包括以下分步骤：

S51、对每张2D图像重复步骤S1-S4，得到多个LSHP结构；

S52、对于两两有交集的3D直线支持区，判断其合并后是否满足所述位置约束条件，若满足，则对其进行合并，并计算合并后的LSHP结构；

S53、将LSHP结构沿其直线段方向来进行区域增长；

S54、判断区域增长后LSHP结构是否满足所述位置约束条件，若满足，则对区域增长后的LSHP结构重复步骤S53，若不满足，则取消本次区域增长并停止。