CN104299260A - 一种基于sift和lbp的点云配准的接触网三维重建方法 - Google Patents

Abstract

本发明为一种基于SIFT和LBP的点云配准的接触网三维重建方法，通过体感外设Kinect for Windows获取待重建接触网零部件所在环境初始三维点云数据，对其进行去噪、简化、分割聚类、融合等预处理操作，得到待重建接触网零部件单视角点云数据；然后采用SIFT算法进行关键点提取，并运用均匀模式LBP特征构建关键点描述向量，依照向量间的距离确定不同点云中关键点间对应关系；接着利用粗配准和ICP精配准法完成点云配准，获得待重建接触网零部件完整三维点云数据；最后利用泊松曲面重建法完成三维重建，得到三维模型。本发明方法针对点云配准是影响三维重建速度的关键步骤这一重要因素，运用均匀模式LBP特征来构建关键点描述向量，从而降低向量维数，加快对应关系匹配速度，加速配准，从而提高三维重建的速度。

Description

一种基于SIFT和LBP的点云配准的接触网三维重建方法

技术领域

本发明涉及电气化铁路悬挂装置三维模型获得领域，考虑三维重建过程中点云配准方法。 

背景技术

接触网作为铁路电气化工程的主架构，其三维模型在人员培训、故障检测、接触网参数设计方面的应用前景广泛^[1,2,3]。目前，关于接触网零部件三维模型的获得大多采用3DMax等三维软件并参考各接触网参数进行绘制，获得模型所需耗时长、工作量大及获得模型与实际模型相差较大。所以新的自动化重建方法是必需的，具体思路为：利用光学扫描仪获得接触网各零部件的点云数据，并运用一定的点云配准算法将不用视角下测量得到的多片点云转换合并到同一坐标系下形成一个完整的数据点云，然后经曲面重建和渲染获得各部件三维模型。 

目前利用深度数据的三维重建研究较为广泛，有点云简化、点云配准及应用方面，但总体来说在电气化铁路接触网零部件的三维重建方面的应用研究几乎没有。 

文献“蔡宽.基于点云的三维重建技术研究[D].哈尔滨工业大学硕士学位论文,2010.”和“王二柱.基于点云的三维重建系统研究与实现[D].哈尔滨工业大学硕士学位论文,2011.”介绍了一种新型的三维重建方法，并给出了重建的基本过程及流程，另外，还提出了一种新的海量空间点云数据的简化方法。该方法以海量散乱空间点云数据为输入数据，将非均匀网格法和曲率精简法相结合对点云数据进行精简，首先搜索各离散点K近邻并获取其最小二乘曲面，计算法矢和曲率，经全局调整，保证法矢的全局协调性，然后进行精简。K近邻搜索所用方法为Kd-Tree近邻搜索法，最小二乘曲面获取所用方法是抛物面拟合法，精简算法使用的是非均匀网格法及曲率精简法。 

文献“楚发.基于体感的三维配准系统的设计与实现[D].上海交通大学硕士学位论文,2011.”设计开发了基于体感的三维配准系统，该系统采用多层系统架构设计，底层基于微软Kinect for windows体感设备进行三维信息的采集，采用开源OpenNI框架驱动，按照相似点评估提取、坐标转换及点云对齐进行点云配准，同时考虑系统的效率及配准的效果间的协调。系统中对快速点特征直方图(Fast Point Feature Histograms，FPFH)算法做了改进，提出三角法线特征直方图(Triangle Normal Feature Histograms，TNFH)算法，只利用三角面法线夹角特征，使特征计算的过程得以简化，并较FPFH算法复杂度低及特征量更少，并保持FPFH的配准率。 

文献“刘求龙,胡伍生.利用点云数据进行惠泉变电站三维重建[J].地矿测绘,2009,25(4): 7-8.”提出了运用点云数据对变电站进行三维重建的方案，首先利用激光扫描仪采集待重建物体不同角度的点云数据；然后进行相邻角度点云数据的自动拼接，形成完整点云；最后提取点云特征线，结合共面条件，生成待重建物体的三维模型，完成变电站的三维重建及模型可视化。 

发明内容

鉴于现有技术的以上不足，本发明的目的在于提供一种接触网零部件的三维重建方法，该方法是采用三维点云处理技术对获取到的待重建接触网零部件点云数据进行预处理、配准、融合及曲面重建，获得三维模型。其核心是对三维重建中点云配准算法作了改进，在利用SIFT算法提取关键点后，采用均匀模式的LBP特征来构建关键点描述向量，然后进行后续配准过程及三维重建，获得三维模型。此改进提高了点云配准的速度，且对配准效果影响不大，从而加快三维重建。 

本发明的目的是通过如下的手段实现的： 

一种基于SIFT和LBP的点云配准的接触网零部件三维重建方法，通过Kinect设备获取待重建接触网零部件三维点云数据，包含如下手段： 

(1)、接触网零部件三维点云数据获取及预处理 

利用Kinect for Windows设备并结合OpenNI中的Niviewer.exe获取oni格式视频数据，然后运用点云库PCL将视频数据转换为pcd格式点云数据文件，从而获得待重建接触网零部件所在环境初始三维数据；对获取到的初始三维点云数据进行去噪、简化、分割聚类、融合等预处理操作，得到待重建接触网零部件三维点云数据。 

(2)、对(1)所获取的待重建接触网零部件各视角下三维点云数据运用尺度不变特征转换(SIFT：Scale Invariant Feature Transform)算法，提取SIFT关键点；接着，利用均匀模式的图像局部二值模式(LBP：Local Binary Patterns)对关键点进行特征描述，获得各关键点特征描述向量；然后，将向量间距离作为关键点间相似性判定度量，并以此确定不同视角下点云间的对应关系；最后，进行点云粗配准和最近点迭代(ICP：Iterative Closest Point)精配准，获取待重建接触网零部件完整三维点云数据。 

(3)、使用泊松曲面重建法对(2)数据进行曲面重建，对所获模型进行孔洞修复，纹理添加等，最终获得待重建接触网零部件的三维模型，完成重建过程。 

本发明方法中，三维点云数据获取方法将数据获取和三维重建分开进行，解决了对各硬件设备配置要求高的问题，利于普通三维重建的顺利进行。 

本发明的方法中，点云配准方法将LBP特征与SIFT关键点提取相结合，进行关键点的提 取与特征描述，极大降低关键点描述向量的维数，加快点云配准的速度，从而加速三维重建。 

上述(2)和(3)施行的具体步骤包含： 

(1)SIFT关键点提取 

A、尺度空间特征点检测，即在高斯差分金字塔中检测局部极值点，以此作为关键点候选对象，所用尺度空间及高斯差分函数如下所示， 

尺度空间： $L(x,y,\mathrm{\σ})=G(x,y,\mathrm{\σ})\⊗I(x,y)$

高斯差分函数：D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ) 

G(x,y,σ)为高斯核，I(x,y)为图像强度；σ尺度；k为常量； 

B、关键点精确定位、尺度确定及不稳定候选关键点的剔除；通过计算拟合曲面的极值来确定关键点的精确位置及尺度，同时剔除对比度低的特征点和不稳定的边缘响应点，以提高匹配的稳定性及抗噪性； 

C、关键点主方向的确定；尺度空间中每个像素的梯度模和方向分别为： 

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) 

创建梯度方向直方图，选择直方图的主峰值为关键点主方向； 

(2)关键点周围区域的旋转不变均匀模式LBP特征描述 

A、在SIFT关键点p_i(x,y,z,σ,α,β,γ)的K近邻区域中，分别以每个点p_j为中心，求得以其为中心的旋转不变均匀模式LBP特征记为lbp_j(j＝1,2,...,K)； 

g_p、g_c分别是邻域内采样点的灰度值和中间像素点的灰度值；P为采样点数；R为采样半径； $s\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.;$

B、添加加权值，ω_j＝exp(^-(d²/(2σ₀ ²)))/(2πσ₀ ²) 

d为点p_j和关键点p_i间的距离；σ₀为选定的常数； 

C_、特征向量构建_，T_i＝[ω₁·lbp₁ ω₂·lbp₂ … ω_k·lbp_k]； 

D、归一化处理消除光照影响，即

(3)SIFT关键点匹配，确定对应关系； 

判定度量为向量间的距离，表示如下： 

${\left|\right|T_A-T_B\left|\right|}_1=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}|a_i-b_i|$

T_A，T_B分别是关键点A和B的LBP特征描述向量；a_i、b_i分别是A和B的LBP特征描述向量的各维元素； 

匹配策略为：取点云1中关键点A，在点云2中找出与其特征描述向量距离最近的两个关键点B和C，若最近距离与次近距离的比值小于一定阈值t，则认为与关键点A距离最近的关键点B与其相匹配，即 

$\frac{{\left|\right|T_A-T_B\left|\right|}_1}{{\left|\right|T_A-T_C\left|\right|}_1}<t$

(4)点云配准 

两点云对应关系确定后，对点云进行配准，可划分为粗配准和精配准两个过程；粗配准采用主成分分析法PCA(Principal Components Analysis)，精配准采用ICP精配准法；经一系列点云配准获得完整的待重建接触网零部件三维点云数据； 

(5)采用泊松曲面重建法，对所获完整点云数据进行曲面重建，获得待重建接触网零部件三维模型； 

根据这一点云配准方法进行三维重建过程中点云的配准，加速点云配准速度，从而加快重建过程，获得待重建接触网零部件三维模型。 

与现有技术相比，采用本发明的方法的有益效果是： 

1、本发明所采用的三维模型获取方法是计算机视觉三维技术，以待重建接触网零部件的三维点云数据为处理对象，通过点云预处理、点云配准、曲面重建等过程，最终获得三维模型，该方法相对于直接绘制三维模型，自动化程度高，模型与实际物体特征间的差异少，模型更加准确。 

2、本发明针对三维重建过程中点云配准过程制约重建速度这一缺陷，运用均匀模式LBP特征与SIFT算法相结合的点云配准方法进行点云配准，提高点云配准速度，从而加快重建过程。 

如上所述，本发明采用的方法针针对接触网零部件的三维重建速度慢，自动化程度低等缺陷，运用基于SIFT与均匀模式LBP相结合的点云配准的接触网三维重建方法，实现接触网零部件快速自动化重建的目的。 

附图说明

图1点云数据预处理流程图 

图2获取oni视频数据界面图。 

图3初始点云可视化图。 

图4预处理后绝缘子部分点云数据可视化图，图4(a)不含RGB，图4(b)含RGB。 

图5绝缘子关键点提取效果图，图5(a)视角1，图5(b)视角2。 

图6绝缘子配准前后对比图。 

图7配准完成后绝缘子完整点云可视化图。 

图8SIFT算法与本发明算法的处理速度对比分析。 

图9绝缘子三维重建模型的三视图。 

图10棒式绝缘子实物与重建模型对比图。 

图11分段绝缘器实物与重建模型对比图。 

图12盆式绝缘子实物与重建模型对比图。 

具体实施方式

下面结合附图对本发明的实施方式作进一步的详述，且本发明的保护范围不限于下述的实施例。 

图1为点云数据预处理流程图。 

A、点云数据获取 

利用Kinect for Windows设备并结合OpenNI中的Niviewer.exe获取oni格式视频数据，然后运用点云库PCL将视频数据转换为pcd格式点云数据文件，从而获得待重建接触网零部件所在环境初始三维数据，获取界面如图2所示，初始点云可视化如图3所示。 

B、待重建接触网零部件点云数据预处理 

a、三维点云数据去噪 

由于受人为扰动、光照、扫描设备自身缺陷等因素影响，三维数据采集设备获取真实物体表面数据会受噪声污染，不能正确真实反映物体空间位置，故需对其进行去噪处理。有效 的去噪在去噪的同时能保持点云模型的尖锐特征，防止所获模型过于光顺。一般来说，高斯滤波对于数据原貌的保存较高，而中值滤波则对于数据毛刺的消除较为明显。 

b、点云数据简化 

初始点云数据量大，存在冗余点，需通过过滤的方法去除，从而减小储存空间，加快点云处理速度。通常，对于散乱点云采用随机采样及均匀网格等进行简化^[51]；对于扫描线及多边形点云采用缩减法进行简化；对于网格点云采用最小区域包围及分布密度等方法进行简化。 

c、点云数据分割 

点云数据量庞大时，一次处理较为困难，可通过将完整点云数据分割成若干小块，然后经融合匹配等回复原始模型形状的方式降低每次数据处理的点云数量，进而提高三维重建的效率和准确度。分割所选区域的曲率应变化较小，曲率较为平滑的地方，如此可降低模型的变形几率。 

d、点云数据融合 

将模型上若干独立点云合并成完整点云，以便后续的文理映射添加及空洞修复等操作的进行。 

点云数据预处理后所获待重建接触网零部件部分点云数据可视化如图4所示。 

C、各视角三维点云数据配准 

采用本发明所述SIFT与LBP相结合的算法进行关键点提取及描述，并确定对应关系，然后经点云粗配准和ICP精配准法进行点云配准，获得完整的待重建接触网零部件三维点云数据。关键点提取效果如图5所示，点云配准前后对比如图6所示，所获完整点云数据可视化如图7所示。 

a、点云粗配准采用主成分分析法(PCA：Principal Components Analysis) 

采用PCA方法获取点云间的初始坐标变换，从而实现点云间的粗配准^[18]。该方法所用到的协方差矩阵如下： 

$\mathrm{COV}=\frac{1}{n}\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}(x_i-\stackrel{\&OverBar;}{x}){(x_i-\stackrel{\&OverBar;}{x})}^T$

式中 $\stackrel{\&OverBar;}{x}=\frac{1}{n}\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{x}_i.$

将目标点集P及源点集Q分别代入协方差矩阵并利用SVD分解法，最终获得初始旋转矩阵R及平移向量t： 

R＝U_PU_Q ^-1

$t=\stackrel{\&OverBar;}{Q}-R\&times;\stackrel{\&OverBar;}{P}$

式中U_P，U_Q分别是点集P和Q协方差矩阵的SVD分解矩阵；分别是点集P和Q的中心点。 

b、ICP精配准 

为实现高精度点云配准，采用目前应用最广的ICP点云配准算法。从经粗配准的点云中根据一定的准则确定对应点集P与Q，然后根据最小二乘法迭代计算最优的坐标变换，使误差函数最小。误差函数定义为： 

$E(R,t)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|q_i-(R{p}_i+t)\left|\right|}^2$

ICP精配准算法流程如下： 

1)获得目标点集P及参考源点集Q(两点集个数相等)； 

2)匹配点提纯处理，获得P中N个特征点组成特征点集S₀； 

3)初始化(k＝0)，由粗配准得到的初始变换矩阵T₀对特征点集进行变换S_1＝T(S₀)； 

4)在参考源点集Q中寻找特征点集S_k的最近点S_k'，由相对应的两点集计算坐标变换矩阵T_k； 

5)利用获得的坐标变换矩阵对特征点集进行坐标变换：S_k+1＝T_k(S_k)； 

6)判断误差是否小于设定阈值，若d_k-d_k+1＜τ，则迭代结束，否则，转至4)； 

7)确定最终坐标变换，实现点云精配准：P'＝T(P)。 

c、算法分析 

本发明所述算法用于三维点云的配准，与SIFT算法相比主要在关键点特征向量描述的构建方面做了变化。SIFT算法关于关键点描述需构建一个128维的向量，这极大影响了该算法的速度，且计算量大。而本发明所述方法在进行关键点特征向量构建时所涉及的计算只是一些较为简单的算数运算以及向量维数大小的指数运算，故配准速度相比于SIFT算法要快。本实例采用的LBP方法所使用的描述向量维数为20，该方法记为LBP-20。本文算法结合点云库(PCL)在C++环境中实现，两种算法速度的比较如图8所示。 

分析图8数据可知，在关键点描述上SIFT算法所用时间是本文方法使用时间的15.264 倍，而匹配所用时间前者是后者的2.102倍。实验证明，本文提出的算法符合预期，能提高配准的速度，从而加快重建过程。 

D、曲面重建 

获取得到待重建接触网零部件完整点云数据之后，需进行曲面重建，以获得三维模型，本发明采用泊松曲面重建法完成曲面重建，重建效果如图9所示。 

实施例 

下面将本发明所述方法用于接触网中棒式绝缘子、分段绝缘器、盆式绝缘子的三维重建。重建过程与本发明具体实施过程一致，所得效果附图所示。棒式绝缘子实物与模型对照图如图10所示，分段绝缘器实物与三维模型对照图如图11所示，盆式绝缘子实物与重建模型对照图如图12所示。 

从算法实例可知本发明能够获得较为理想的接触网零部件三维重建模型。 

Claims (2)

1.一种基于SIFT和LBP的点云配准的接触网零部件三维重建方法，通过Kinect设备获取待重建接触网零部件三维点云数据，包含如下手段：

(1)、接触网零部件三维点云数据获取及预处理

利用Kinect for Windows设备并结合OpenNI中的Niviewer.exe获取oni格式视频数据，然后运用点云库PCL将视频数据转换为pcd格式点云数据文件，从而获得待重建接触网零部件所在环境初始三维数据；对获取到的初始三维点云数据进行去噪、简化、分割聚类、融合等预处理操作，得到待重建接触网零部件三维点云数据；

(2)、对(1)所获取的待重建接触网零部件各视角下三维点云数据运用尺度不变特征转换SIFT(Scale Invariant Feature Transform)算法，提取SIFT关键点；接着，利用均匀模式的图像局部二值模式(LBP：Local Binary Patterns)对关键点进行特征描述，获得各关键点特征描述向量；然后，将向量间距离作为关键点间相似性判定度量，并以此确定不同视角下点云间的对应关系；最后，进行点云粗配准和最近点迭代ICP(Iterative Closest Point)精配准，获取待重建接触网零部件完整三维点云数据；

(3)、使用泊松曲面重建法对(2)数据进行曲面重建，对所获模型进行孔洞修复，纹理添加等，最终获得待重建接触网零部件的三维模型，完成重建过程。

2.根据权利要求1所述之基于SIFT和LBP的点云配准的接触网零部件三维重建方法，其特征在于，所述(2)和(3)施行的具体步骤包含：

(1)SIFT关键点提取

A、尺度空间特征点检测，即在高斯差分金字塔中检测局部极值点，以此作为关键点候选对象，所用尺度空间及高斯差分函数如下所示，

尺度空间： $L(x,y,\mathrm{\&sigma;})=G(x,y,\mathrm{\&sigma;})\&CircleTimes;I(x,y)$

高斯差分函数：D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)

G(x,y,σ)为高斯核，I(x,y)为图像强度；σ尺度；k为常量；

B、关键点精确定位、尺度确定及不稳定候选关键点的剔除；通过计算拟合曲面的极值来确定关键点的精确位置及尺度，同时剔除对比度低的特征点和不稳定的边缘响应点，以提高匹配的稳定性及抗噪性；

C、关键点主方向的确定；尺度空间中每个像素的梯度模和方向分别为：

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L+(x,y+1)-L(x,y-1))}^2}$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

创建梯度方向直方图，选择直方图的主峰值为关键点主方向；

(2)关键点周围区域的旋转不变均匀模式LBP特征描述

A、在SIFT关键点p_i(x,y,z,σ,α,β,γ)的K近邻区域中，分别以每个点p_j为中心，求得以其为中心的旋转不变均匀模式LBP特征记为lbp_j(j＝1,2,...,K)；

g_p、g_c分别是邻域内采样点的灰度值和中间像素点的灰度值；P为采样点数；R为采样半径； $s\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.;$

B、添加加权值，ω_j＝exp(-(d²/(2σ₀ ²)))/(2πσ₀ ²)

d为点p_j和关键点p_i间的距离；σ₀为选定的常数；

C、特征向量构建，T_i＝[ω₁·lbp₁ ω₂·lbp₂ … ω_k·lbp_k]；

D、归一化处理消除光照影响，即

(3)SIFT关键点匹配，确定对应关系；

判定度量为向量间的距离，表示如下：

${\left|\right|T_A-T_B\left|\right|}_1=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}|a_i-b_i|$

T_A，T_B分别是关键点A和B的LBP特征描述向量；a_i、b_i分别是A和B的LBP特征描述向量的各维元素；

匹配策略为：取点云1中关键点A，在点云2中找出与其特征描述向量距离最近的两个关键点B和C，若最近距离与次近距离的比值小于一定阈值t，则认为与关键点A距离最近的关键点B与其相匹配，即

$\frac{{\left|\right|T_A-T_B\left|\right|}_1}{{\left|\right|T_A-T_C\left|\right|}_1}<t$

(4)点云配准

两点云对应关系确定后，对点云进行配准，可划分为粗配准和精配准两个过程；粗配准采用主成分分析法PCA(Principal Components Analysis)，精配准采用ICP精配准法；经一系列点云配准获得完整的待重建接触网零部件三维点云数据；

(5)采用泊松曲面重建法，对所获完整点云数据进行曲面重建，获得待重建接触网零部件三维模型；

根据这一点云配准方法进行三维重建过程中点云的配准，加速点云配准速度，从而加快重建过程，获得待重建接触网零部件三维模型；

以上其他各符号和变量的定义为：(x，y)为空间像素坐标；表示卷积运算；σ是尺度坐标。σ大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之，对应精细尺度(高分辨率)。

σ(s)＝2^o-1σ₀·2^s/S，o为金字塔组数，o＝[log₂(min(m,n))]-3，m、n为二维图像高和宽，s为每组中层坐标，σ₀为初始尺度，S为每组层数(一般为3～5)；k为相邻两个尺度空间倍数的常数，k＝2^1/S；α,β,γ为三维图像关键点各坐标面投影主方向。