CN104036541A - 一种视觉测量中的快速三维重建方法 - Google Patents

Abstract

本发明提供了一种视觉测量中的快速三维重建方法，首先进行摄像机内参和外参的标定，然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正，然后进行特征点检测与描述，接着进行特征点匹配，结束后，利用匹配结果计算出其在世界坐标系中的三维坐标，最后利用Delaunay三角剖分对左图像进行三角剖分，得到顶点编号，最后利用OpenGL将三角形逐个贴到计算出的三维坐标上，即可。

Description

一种视觉测量中的快速三维重建方法

技术领域

本发明属于双目立体视觉技术领域，具体涉及一种视觉测量中基于特征点匹配的快速三维重建技术。

背景技术

三维重建一直是计算机视觉的重要研究领域之一。近年来，三维重建技术的研究取得了巨大的进步，新技术新方法不断涌现。常用的三维重建方法主要有运动图像序列法、光度立体学方法、纹理恢复形状法和立体视觉方法等。各种三维重建方法的理论基础不同，在精度、尺寸以及系统价位等方面存在一定的差异，因此适用的应用领域也不尽相同。现有的三维获取系统通常使用特定的硬件设备，如X射线、激光测距仪等，系统投资巨大，所以需要研制一种使用方便、稳定性好、花费低的三维信息获取系统。随着数字影像技术的迅速发展，如何使用普通便携数码设备实现三维重建技术的应用逐渐成为研究的热点，对视觉精度、稳定性、操作过程简单化等方面也提出了更高的要求。

空间绳系机器人系统由“空间绳系机器人+空间系绳+空间平台”组成，具有安全、灵活、操作距离远等特点，可广泛应用于在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中，已经成为空间操控技术领域的研究热点之一。这种新型的微型智能机器人，在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量系统对目标进行实时检测、跟踪与三维测量。因此由于立体视觉法功耗低，不需要人为的设置辐射源，只利用场景在自然光照条件下的二维图像来重建物体的三维信息，在这种应用环境下具有适应性强、实现手段灵活、造价低的优点，是目前研究最多、应用最广泛的技术之一。

双目立体视觉方法采用两台摄像机模拟人类双眼处理景物的方式，从两个视点观察同一场景，获得不同视角下的一对图像，然后通过左右图像间的匹配点，恢复出场景中目标物体的几何形状和位置等三维信息。该项技术在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。

立体视觉虽然经过20多年的发展，但是无论从视觉生理角度，还是从实际应用角度来看，现有的立体视觉技术还处于不成熟的阶段。基于立体视觉的三维重建技术在一些核心算法上仍然存在有待解决的问题。立体匹配中如何选择合理的匹配特征，从而克服匹配准确性与恢复视差全面性间的矛盾；如何选择有效的匹配准则和算法结构，从而解决存在灰度失真、几何畸变、噪声干扰及遮挡景物的匹配问题；如何建立更加有效的图像表达形式和立体视觉模型，从而更充分地反映景物的本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。

因此，目前三维重建研究工作还有待进一步的改进。

本专利基于FAST特征检测、SURF描述以及Delaunay三角剖分算法等，能够快速精确地对目标物体进行被动三维重建，具有较为广泛的应用范围和良好的应用前景。

发明内容

本发明的目的在于弥补现有图像拼接算法在速度、重建精度上、模型逼真度等方面的不足，提供一种视觉测量中的快速三维重建方法，能够快速自动对空间绳系机器人双目立体视觉系统采集到的左右图像进行三维重建。

为实现上述目的，本发明的技术方案为：

一种视觉测量中的快速三维重建方法，首先进行摄像机内参和外参的标定，然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正，然后进行特征点检测与描述，接着进行特征点匹配，结束后，利用匹配结果计算出其在世界坐标系中的三维坐标，最后利用Delaunay三角剖分对左图像进行三角剖分，得到顶点编号，最后利用OpenGL将三角形逐个贴到计算出的三维坐标上，即可。

对采集到的图像对进行对极线校正之前，首先对其进行中值滤波和维纳滤波。

特征点描述之后，采取特征点匀散化，所述特征点匀散化即分别计算特征点之间的欧式距离，如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，则全部保留。

特征点匹配的具体方法为：

（1）利用FLANN匹配算法对特征点集进行匹配，得到匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}；

（2）计算各个匹配点之间的欧式距离d_lr1,d_lr2,…,d_lrc；

（3）对于匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中的每个特征点，如果d_lri<2×d_min，其中，d_lri为第i个欧式距离，d_min为欧式距离中的最小值，则该该特征点对视为正确匹配，保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，剔除该特征点对P_lmi和P_rmi。

与现有技术相比，本发明具有如下有益效果：本发明采用FAST算法进行特征点提取极大地提高了检测速度；通过设计的匀散化策略避免了特征点聚集，提高了重建精度；通过Delaunay三角剖分技术并结合OpenGL，使得三维重建结果能够逼真的显示。

此外，本发明还具有以下优点：

1、算法的耗时较少，重建速度显著提高；

2、三维重建精度与逼真度较高；

3、应用场景比较广泛。

本发明的方法易于实现和应用，主要可以应用于以下几个方面：

1、机器人应用场景的三维重建；

2、双目立体视觉测量系统。

附图说明

图1为本发明的算法总流程框图。

图2为双目立体视觉三维重建原理图。

图3为左右相机采集到的原始图像经校正变换后的图像对。

图4为得到的逼真三维图像效果。

具体实施方式

以下结合附图对本发明进行详细的描述。应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明实施例提供的快速三维重建方法包括：

(1)图像采集

左右两台相机对目标图像同步进行采集，分别得到左图像I_l(x,y)，右图像I_r(x,y)。

(2)图像预处理

对采集到的图像I_l(x,y)和I_r(x,y)分别进行中值滤波和维纳滤波，得到平滑的目标图像对I_cl(x’,y’)和I_cr(x’,y’)。

(3)摄像机标定

采用张定友标定法，利用左右相机多次采集到的图像对进行摄像机标定，得到各自的内参数矩阵A_l，A_r以及外参数矩阵[R_lt_l]，[R_rt_r]。

其中关于步骤（3）如何具体操作，为本领域公知技术，可参考文献1“Bradski Gary Bradski,Kaebler Adrian Kaebler.学习OpenCV.于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:414-429.”，此处不再赘述。

(4)对极几何校正及图像变换

利用步骤（3）摄像机标定的结果，对步骤（2）得到的左图像I_cl(x’,y’)和右图像I_cr(x’,y’)进行极线校正变换，从而获得左右极线对齐后的图像对I_cl(x’’,y’’)和I_cr(x’’,y’’)。

其中关于步骤（4）如何具体操作，为本领域公知技术，可参考文献2“Bradski Gary Bradski,Kaebler Adrian Kaebler.学习OpenCV.于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:430-432.”，此处不再赘述。

(5)特征点检测与匹配

采用FAST算法，分别对步骤（4）得到的极线对齐后的图像对I_cl(x’’,y’’)和I_cr(x’’,y’’)进行特征点检测，利用SURF算法进行特征描述，同时采取特征点匀散化策略，得到特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}。

其中关于如何进行特征点检测以及如何进行特征点描述，为本领域公知技术，可参考文献3“Rosten E,Porter R,Drummond T.Faster andbetter:A machine learning approach to corner detection[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2010,32(1):105-119.”，文献4“Bay H,Tuytelaars T,Gool L V.SURF:uprobust features.The9th European Conference on Computer Vision,2006.”，此处不再赘述。

其中所述的特征点匀散化策略就是，分别计算特征点之间的欧氏距离，如果两者距离小于10个像素，则删除其中任意一个。如果两者距离大于等于10个像素，则全部保留。

然后利用FLANN匹配算法对特征点集{P_lo1，P_lo2，…，P_lom}和{P_ro1，P_ro2，…，P_ron}进行匹配，由此得到匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}。

采用阈值法对上述匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}进行错误匹配点的剔除。方法如下：分别计算各匹配点之间的欧式距离d_lr1,d_lr2,…,d_lrc。计算得到其中的最小距离d_min。

对匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中每个特征点对进行如下判断，如果d_lri<2×d_min，其中，d_lri为第i个欧式距离，该特征点对视为正确匹配，则保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，则剔除该特征点对P_lmi和P_rmi。经过该步骤后得到正确匹配的特征点集{P_lfm1,P_lfm2,…,P_lfmj}和{P_rfm1,P_rfm2,…,P_rfmj}。

(6)计算3D坐标：

根据如图2所示的视差原理，利用步骤（5）得到的正确匹配点对可以相应的求出其在世界坐标系中的三维坐标。图中B表示左右相机之间的基线距离，f为左右相机镜头焦距。P(X,Y,Z)表示世界坐标系中的一个点坐标，其在左相机成像中投影为(x_l,y_l)，其在右相机成像中投影为(x_r,y_r)。

(x_l,y_l)和(x_r,y_r)即为步骤（5）中正确的匹配点对。

(x_l,y_l)和(x_r,y_r)用各自图像上的像素坐标表示，B和P(X,Y,Z)用毫米表示，f用像素表示。根据相似三角形的知识就可以推出：

$Z=-B\frac{f}{x_r-x_l}$

$X=Z\frac{W/2-x_l}{f}$

$Y=-Z\frac{H/2-y}{f}$

其中W和H是图像的宽高（像素数），y是y_l和y_r的均值，Z加负号是为了保持右手坐标系，而Y加负号是由于图像成像过程中上下发生了倒转。

经过计算可以得到三维点集{P₁,P₂,…,P_j}。

(7)Delaunay三角剖分：

根据三维点集{P₁,P₂,…,P_j}，采用Delaunay算法对左图像进行三角剖分，得到对应的顶点编号集{(V₁₁,V₁₂,V₁₃)，(V₂₁,V₂₂,V₂₃)，…，(V_n1,V_n2,V_n3)}。

其中关于三角剖分的步骤如何具体操作，为本领域公知技术，可参考文献5“Bradski Gary Bradski,Kaebler Adrian Kaebler.学习OpenCV.于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:333-340.”，此处不再赘述。

(8)三维重构：

利用OpenGL中的纹理贴图功能，将平面图像中的三角形逐个贴到计算出的三维坐标上，得到逼真的三维图像。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献6“OpenGL编程指南(第四版)[M].人民邮电出版社,2005.”，

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种视觉测量中的快速三维重建方法，其特征在于：首先进行摄像机内参和外参的标定，然后采集立体图像对并根据摄像机标定结果对图像对进行对极线校正，然后进行特征点检测与描述，接着进行特征点匹配，结束后，利用匹配结果计算出其在世界坐标系中的三维坐标，最后利用Delaunay三角剖分对左图像进行三角剖分，得到顶点编号，最后利用OpenGL将三角形逐个贴到计算出的三维坐标上，即可。

2.根据权利要求1所述的一种视觉测量中的快速三维重建方法，其特征在于：对采集到的图像对进行对极线校正之前，首先对其进行中值滤波和维纳滤波。

3.根据权利要求1所述的一种视觉测量中的快速三维重建方法，其特征在于：特征点描述之后，采取特征点匀散化，所述特征点匀散化即分别计算特征点之间的欧式距离，如果两者距离小于10个像素，则删除其中任意一个，如果两者距离大于或等于10个像素，则全部保留。

4.根据权利要求1所述的一种视觉测量中的快速三维重建方法，其特征在于：特征点匹配的具体方法为：

（1）利用FLANN匹配算法对特征点集进行匹配，得到匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}；

（2）计算各个匹配点之间的欧式距离d_lr1,d_lr2,…,d_lrc；

（3）对于匹配特征点集{P_lm1,P_lm2,…,P_lmc}和{P_rm1,P_rm2,…,P_rmc}中的每个特征点，如果d_lri<2×d_min，其中，d_lri为第i个欧式距离，d_min为欧式距离中的最小值，则该该特征点对视为正确匹配，保留该特征点对P_lmi和P_rmi；如果d_lri≥2×d_min，该特征点对视为错误匹配，剔除该特征点对P_lmi和P_rmi。