CN104361627A - 基于sift的双目视觉沥青路面微观纹理三维图像重构方法 - Google Patents

Abstract

本发明公开了基于SIFT的双目视觉沥青路面微观纹理三维图像重构方法，双目视觉系统中的计算机控制左相机与右相机同时捕获到含有沥青路面信息的图像对；通过基于SIFT算法的双目视觉立体匹配算法实现特征点匹配，进一步实现区域点立体匹配；通过双目视觉沥青路面微观纹理三维图像重构模型得到沥青路面微观纹理的三维坐标，形成表面点三维坐标点集合，实现沥青路面微观纹理三维图像重构。本发明为沥青路面力学和流体学有限元分析提供真实的沥青路面微观纹理三维图像重构模型，为后续研究奠定基础。

Description

基于SIFT的双目视觉沥青路面微观纹理三维图像重构方法

技术领域

本发明属于沥青路面检测技术领域，涉及基于SIFT的双目视觉沥青路面微观纹理三维图像重构方法。

背景技术

随着我国高速公路建设和管理的发展，道路使用者对路面的经济、安全、舒适和环保的功能提出了要求。有国外研究资料表明路面表面纹理能够影响路面的耐磨性、轮胎与路面的摩擦力、车辆的噪声、外部路面的噪声、行车的安全性和舒适性以及轮胎的磨损等各个方面的性质。沥青路面是车-路摩擦面，国内学者毛起广和李柱等也研究发现微观形貌对摩擦表面的磨损、润滑状态、摩擦、振动、噪声、疲劳、密封、配合性质、涂层质量、抗腐蚀性、导电性、导热性和反射性能的影响更为显著。由此可见，沥青路面微观纹理对路面性能有着显著的影响，快速全面的获取沥青路面三维微观纹理是研究路面微观纹理与路面性能本构关系的关键。由于沥青路面微观纹理复杂且呈现仿射自相似特性，快速准确提取其三维纹理一直较困难。

目前，国内外比较前沿的方法是通过数字图像技术三维重构出路面三维纹理。代表性研究如下：2007年，Amin El Gendy和AhmedShalaby通过采集四个方向光源照射下路面数字图像并通过专业软件的处理，恢复路面三维微观形貌。但该方法恢复精度不高，且要求有专业高深的图像处理技术，对广大研究者来说难度较大。2008年，武汉理工大学的胡克波和白秀琴等提出了一种基于双目视觉的沥青路面微观形貌检测方法与系统。通过图像上同名点对的立体匹配，并借助matlab实现路面微观形貌的三维重构，但其同名点对的立体匹配是半手工半自动完成，匹配速度和精度较差，通用性不强。2009年，长安大学的孙朝云和文静借助XJTUOM型三维光学扫描系统全面地获取路表面构造纹理的三维数字坐标信息，实现三维重构，但不能精确恢复沥青路面三维纹理，数据误差较大。韩森和蒋超借助三维光学密集点云测量系统扫描水泥混凝土路面，很好的提取到路面纹理构造的三维坐标信息，通过MATLAB软件实现了路面纹理三维重构，但该重构系统体积较大，不便携带，应用到实际工程中有很大局限性。2012年，哈尔滨工业大学的刘宛予和黄建平发明了基于二维图像和深度信息的路面信息提取装置，能够提取深度信息，已经具备了沥青路面微观形貌的三维测量能力，但其并未深入的对三维重构进行探讨研究。

沥青路面微观纹理有其自身特点，呈现分形和仿射自相似特性，这使得快速准确提取其三维纹理很难。以上国内外研究做出的尝试虽然取得了一定成果，各自局限性和不足处还是很突出，但整体上都采用了视觉非接触式测量与数字图像处理技术来实现三维重构，进一步恢复微观纹理的。基于此，本发明在已有研究基础上，进一步延拓武汉科技大学周兴林和李潘微观形貌识制研究成果，提出了以SIFT算法为匹配算法的激光双目视觉的沥青路面微观纹理三维图像重构方法。

发明内容

本发明的目的在于提供基于SIFT的双目视觉沥青路面微观纹理三维图像重构方法，解决了目前的方法对于沥青路面微观纹理不能快速准确提取并重构的问题。

本发明所采用的技术方案是按照以下步骤进行：

步骤1：以测量平台中心为原点，建立世界坐标系，左相机与右相机，规格一样，两相机平行、镜头垂直的安装在沥青路面上方，计算机控制左相机与右相机同时捕获到含有沥青路面信息的图像对，并构建双目视觉三维重构模型式：

$\left[\begin{array}{ccc}{x}_l{m}_{31}^l-m_{11}^l& x_l{m}_{32}^l-m_{12}^l& x_l{m}_{33}^l-m_{13}^l\\ y_l{m}_{31}^l-m_{21}^l& y_l{m}_{32}^l-m_{22}^l& v_1{m}_{33}^l-m_{23}^l\\ x_r{m}_{31}^r-m_{11}^r& x_r{m}_{32}^r-m_{12}^r& x_r{m}_{33}^r-m_{13}^r\\ y_r{m}_{31}^r-m_{21}^r& y_r{m}_{32}^r-m_{12}^r& y_r{m}_{33}^r-m_{23}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{m}_{14}^l-x_l{m}_{34}^l\\ m_{24}^l-y_l{m}_{34}^l\\ m_{14}^r-x_r{m}_{34}^r\\ m_{24}^r-y_r{m}_{34}^r\end{array}\right];$

步骤2：检测尺度空间极值点，初步确定关键点位置和所在尺度；

步骤3：精确确定特征点位置；对检测到的尺度空间极值点进行三维二次函数拟合以精确确定特征点的位置和尺度；

步骤4：确定特征点的主方向；利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数；

步骤5：生成SIFT特征描述符：首先将坐标轴顺时针旋转为特征点主方向，以保证旋转不变性，再以特征点为中心取8*8的窗口，然后在每4*4的窗口上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，一个特征点由2*2共4个种子点组成，每个种子点有8个方向向量信息，产生2*2*8共32个数据的SIFT特征向量即SIFT特征描述符，所需的图像窗口为8*8；

步骤6：以两个特征点描述符之间的欧式距离作为特征点匹配的相似度准则，先采用K-D树进行优先搜索来查找每个特征点的两个近似最近邻特征点，如果找出特征点p的欧式距离最近和次近的两个邻特征点q'和q″，然后计算p与q'，p和q″两组描述符之间的欧式距离的比值r，如果r小于规定阀值T，阀值T的取值范围为0.4～0.6，则视匹配成功，接受点(p,q')为图像对中的一对匹配点，否则匹配失败；

步骤7：对于左图像上特征点a_l(x_l,y_l)和与之匹配右图像上特征点a_r(x_r,y_r)，用单应性矩阵H表示其对应匹配关系如下：

$\left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]$

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]=\left[\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right],$ 其中(i＝1,2,3)为向量(h_i1,h_i2,h_i3)

对于每一对特征点可以得到2个线性方程组：

$B\×h^T=\left[\begin{array}{c}{x}_l\\ y_l\end{array}\right]$

$B=\left[\begin{array}{cccccccc}{x}_l& y_l& 1& 0& 0& 0& -x_r{x}_l& -y_r{x}_l\\ 0& 0& 0& x_r& y_r& 1& -x_r{y}_l& -y_r{y}_l\end{array}\right]$

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂]，左图像上每一点，其在右图像上对应匹配点通过单应性矩阵H求解；

步骤8：完成了立体匹配后，采用最小二乘法求解步骤1中构建的双目视觉三维重构模型式，便可得到沥青路面表面上任意一点P(X,Y,Z)的三维坐标，形成表面点三维坐标点集合，从而恢复出三维微观纹理。

本发明的有益效果是能够对于沥青路面微观纹理快速准确提取并重构。

附图说明

图1是双目视觉系统示意图；

图2是沥青路面微观纹理三维图像重构模型；

图3是双目视觉立体匹配算法基本流程图；

图4是高斯金字塔和DOG尺度空间金字塔；

图5是DOG图像中的极值检测；

图6是图像梯度及特征点描述符；

图7是沥青路面左右图像；

图8是配对成功连线图；

图9是沥青路面三维图像重构图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明双目视觉系统采用的是竖向平行结构，所获取的左右图像在空间平面上有着相互关系。左图像内任意一点，在右图像只是位置发生了平移，旋转，能找到对应点与之匹配，且满足唯一性。而单应性矩阵是一个数学概念，它定义了两幅图像之间的相互关系，一张图像上的任意一点可以在另一张图像上找到对应的点，且对应点惟一。因此，可以用单应性矩阵来描述左右图像上对应点的关系，实现区域点匹配。单应性矩阵求解方法众多。沥青路面微观纹理有仿射自相似特性，对其图像特征的描述要求要更加苛刻，这样才能提高特征点的提取以及匹配精度。加上双目视觉系统两相机规格尺寸不可能完全一致，存在视点的平移和旋转，图像尺度的缩放。借助一般立体匹配算法不能很好对特征点进行描述和提取，同名点对的配对速度慢，误匹配率很高，势必影响微观纹理的提取。尺度不变特征变换SIFT算法能较好地解决旋转、尺度缩放、视点变化等引起的图像变形问题，有效地提高了特征匹配精度，能够很好的提取沥青路面微观纹理的特征点。

步骤一、搭建双目视觉三维重构模型。左相机与右相机，规格一样，两相机平行、镜头垂直的安装在沥青路面上方。计算机控制左相机与右相机同时捕获到含有沥青路面信息的图像对。构建的双目视觉三维重构模型如图1所示。坐标系如图2所示，以测量平台中心为原点，建立世界坐标系O-XYZ，以左右相机光心O_l和O_r为相机坐标系原点，Z轴与光轴重合，两光轴相互平行，建立左右相机坐标系O_l-X_lY_lZ_l和O_r-X_rY_rZ_r。C_l和C_r左右像平面，o_l和o_r为光心投影点。以o_l和o_r为左右像平面坐标系原点，建立左右像平面坐标系o_l-x_ly_l和o_r-x_ry_r。现假定沥青路面表面上任意一点P(X,Y,Z)，其在左右像平面的对应坐标为a_l(x_l,y_l)和a_r(x_r,y_r)，根据摄像机的透视成像模型有：

$Z_{\mathrm{cl}}\left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=M_1^l{M}_2^l\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=M^l\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^l& m_{12}^l& m_{12}^l& m_{14}^l\\ m_{21}^l& m_{22}^l& m_{23}^l& m_{24}^l\\ m_{31}^l& m_{32}^l& m_{33}^l& m_{34}^l\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

$Z_{\mathrm{cr}}\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=M_1^r{M}_2^r\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=M^r\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^r& m_{12}^r& m_{12}^r& m_{14}^r\\ m_{21}^r& m_{22}^r& m_{23}^r& m_{24}^r\\ m_{31}^r& m_{32}^r& m_{33}^r& m_{34}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(2\right)$

其中，式(1)中和分别为左相机内外参数矩阵，M^l为左相机投影矩阵.类似，式(2)中和分别为右相机内外参数矩阵，M^r为右相机投影矩阵。将上述式(1)和式(2)进一步推导，得到求解世界坐标P(X，Y，Z)的矩阵式(3)，即双目视觉三维重构模型：

$\left[\begin{array}{ccc}{x}_l{m}_{31}^l-m_{11}^l& x_l{m}_{32}^l-m_{12}^l& x_l{m}_{33}^l-m_{13}^l\\ y_l{m}_{31}^l-m_{21}^l& y_l{m}_{32}^l-m_{22}^l& v_1{m}_{33}^l-m_{23}^l\\ x_r{m}_{31}^r-m_{11}^r& x_r{m}_{32}^r-m_{12}^r& x_r{m}_{33}^r-m_{13}^r\\ y_r{m}_{31}^r-m_{21}^r& y_r{m}_{32}^r-m_{12}^r& y_r{m}_{33}^r-m_{23}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{m}_{14}^l-x_l{m}_{34}^l\\ m_{24}^l-y_l{m}_{34}^l\\ m_{14}^r-x_r{m}_{34}^r\\ m_{24}^r-y_r{m}_{34}^r\end{array}\right]---\left(3\right)$

步骤二、如图3所示为本发明的整体步骤，通过基于SIFT算法的双目视觉立体匹配算法实现特征点匹配，进一步实现区域点立体匹配，具体步骤为：

1).特征点提取，具体算法如下：

①检测尺度空间极值点，初步确定关键点位置和所在尺度。

利用高斯差值(Difference of Gaussian，DOG)方程同图像的卷积求取尺度空间极值点，高斯差分函数D(x,y,σ)表示如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)   (4)

其中：L(x,y,σ)-二维图像I(x,y)在不同尺度下的尺度空间，L(x,y,σ)＝G(x,y,σ)*I(x,y)，*表示x和y方向上的卷积，L表示尺度空间，σ表示尺度因子，G(x，y，σ)表示高斯函数，(x,y)表示二维图像I上的X轴、Y轴坐标点； $G(x,y,\mathrm{\σ})=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/{2\mathrm{\σ}}^2};$

在实际的尺度不变特征点提取中，SIFT算法将图像金字塔引入了尺度空间。首先将二维图像I(x,y)与不同尺度因子下的高斯函数G(x,y,σ)进行卷积操作，构成高斯金字塔。高斯金字塔有σ阶，这里取4阶，每一阶有s层尺度图像，这里取5层。然后通过高斯金字塔中相邻尺度空间函数相减，就得到DOG尺度空间金字塔。建立的高斯金字塔与DOG尺度空间金字塔如图4所示。

DOG尺度空间金字塔建立后，其中间层的每个像素点需要跟同一层的相邻8个像素点以及它下一层和上一层的9个相邻像素点共26个相邻像素点进行比较，检测出DOG空间的最大值和最小值，以确保在尺度空间和二维图像空间都检测到极值点。

在图5中，标记为叉号的像素点如果比相邻26个相邻像素点的DOG值都大或者都小，则该点将作为一个局部极值点，记下它的位置和对应的尺度空间。

②精确确定特征点位置：对检测到的尺度空间极值点进行三维二次函数拟合以精确确定特征点的位置和尺度；DOG值对噪声和边缘比较敏感，因此可对检测到的尺度空间极值点进行三维二次函数拟合以精确确定特征点的位置和尺度。运用Taylor级数，将D(x,y,σ)展开为：

$D\left(x\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{{\∂X}^2}X---\left(5\right)$

上式中D与D(x)都是D(x,y,σ)的简写；

其中，X＝(x,y,σ)^T, $\frac{\∂D}{\∂X}=\left[\begin{array}{c}\frac{\∂D}{\∂x}\\ \frac{\∂D}{\∂y}\\ \frac{\∂D}{\∂\mathrm{\σ}}\end{array}\right],\frac{{\∂}^{2}D}{{\∂X}^2}=\left[\begin{array}{ccc}\frac{{\∂}^{2}D}{{\∂x}^2}& \frac{{\∂}^{2}D}{\∂\mathrm{xy}}& \frac{{\∂}^{2}D}{\∂\mathrm{\σ}}\\ \frac{{\∂}^{2}D}{\∂\mathrm{yx}}& \frac{{\∂}^{2}D}{{\∂y}^2}& \frac{{\∂}^{2}D}{\∂\mathrm{y\σ}}\\ \frac{{\∂}^{2}D}{\∂\mathrm{\σx}}& \frac{{\∂}^{2}D}{\∂\mathrm{\σy}}& \frac{{\∂}^{2}D}{{\∂\mathrm{\σ}}^2}\end{array}\right],$

对式(5)求导并令求导结果等于0，得到极值点的偏移量

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{{\∂x}^2}-\frac{\∂D}{\∂x}---\left(6\right)$

将偏移量的表达式(6)代入式(5)，得到相对应的极值点，极值点的方程为 $D\left(\hat{X}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂x}.$

如果则保留该极值点，并将该极值点作为特征点，否则舍去；

③确定特征点的主方向：利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数，(x,y)处的梯度值m(x，y)和方向θ(x，y)分别为：

$\begin{array}{c}m(x,y)=\sqrt{L(x+1,y)-L{(x-1,y)}^2+L(x,y+1)-{L(x,y-1)}^2}\\ \mathrm{\θ}(x,y)={\tan }^{-1}\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\end{array}---\left(7\right)$

④生成SIFT特征描述符：首先将坐标轴顺时针旋转为特征点主方向，以保证旋转不变性，即不管如何转，都不会改变图像结构。再以特征点为中心取8*8的窗口，即8*8个像素。如图6(a)中，中央黑点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中圈内代表高斯加权的范围，越靠近特征点的像素，梯度方向信息贡献越大。然后在每4*4的窗口上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，如图6(b)所示。一个特征点由2*2共4个种子点组成，每个种子点有8个方向向量信息，产生2*2*8共32个数据的SIFT特征向量即SIFT特征描述符，所需的图像窗口为8*8；这种领域方向信息联合的思想增强匹配的鲁棒性，同时对于含有定位误差的特征匹配也提供了较好的容错性。

2).特征点的匹配：以两个特征点描述符之间的欧式距离作为特征点匹配的相似度准则，假设特征点对p和q的特征描述符分别为Desp和Desq，则它们之间的欧式距离定义为：

$d=\sqrt{\underset{i=\mathrm{0,1}...127}{\mathrm{\Σ}}{(\mathrm{Desp}\left(i\right)-\mathrm{Desq}\left(i\right))}^2}---\left(8\right)$

上面所说的特征点对是特征点集中任意两个的组合，如果这两个点的欧式距离满足阀值要求，则这两个点实际为一个点，为进一步简化计算，先采用K-D树进行优先搜索来查找每个特征点的两个近似最近邻特征点，如果找出特征点p的欧式距离最近和次近的两个邻特征点q'和q″，然后计算p与q'，p和q″两组描述符之间的欧式距离的比值r，如果r小于规定阀值T，阀值T的取值范围为0.4～0.6，则视匹配成功，接受点(p,q')为图像对中的一对匹配点，否则匹配失败；

3).区域点匹配，即大面积内的点的匹配：对于左图像上特征点a_l(x_l,y_l)和与之匹配右图像上特征点a_r(x_r,y_r)，用单应性矩阵H表示其对应匹配关系如下：

$\left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]---\left(9\right)$

式(9)中， $H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]=\left[\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right],$ 其中(i＝1,2,3)为向量(h_i1,h_i2,h_i3)

对于每一对特征点可以得到2个线性方程组，如式(10)所示：

$B\×h^T=\left[\begin{array}{c}{x}_l\\ y_l\end{array}\right]---\left(10\right)$

式(10)中， $B=\left[\begin{array}{cccccccc}{x}_l& y_l& 1& 0& 0& 0& -x_r{x}_l& -y_r{x}_l\\ 0& 0& 0& x_r& y_r& 1& -x_r{y}_l& -y_r{y}_l\end{array}\right]$

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂]，左图像上每一点，其在右图像上对应匹配点通过单应性矩阵H求解。

步骤三、沥青路面微观纹理三维图像重构。

完成了立体匹配后，采用最小二乘法求解双目视觉三维重构模型式(3)，便可得到沥青路面表面上任意一点P(X,Y,Z)的三维坐标，形成表面点三维坐标点集合，从而恢复出三维微观纹理。

下面列举具体实施例对本发明进行说明：

实施例1：根据双目视觉系统原理，沥青路面微观纹理三维图像重构模型如图2所示。以测量平台中心为原点，建立世界坐标系O-XYZ，以左相机与右相机光心O_l和O_r为相机坐标系原点，Z轴与光轴重合，两光轴相互平行，建立左相机与右相机坐标系O_l-X_lY_lZ_l和O_r-X_rY_rZ_r。C_l和C_r左右像平面，o_l和o_r为光心投影点。以o_l和o_r为左右像平面坐标系原点，建立左右像平面坐标系o_l-x_ly_l和o_r-x_ry_r。现假定沥青路面表面上任意一点P(X,Y,Z)，其在左右像平面的对应坐标为a_l(x_l,y_l)和a_r(x_r,y_r)，根据摄像机的透视成像模型有：

$Z_{\mathrm{cl}}\left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=M_1^l{M}_2^l\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=M^l\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^l& m_{12}^l& m_{12}^l& m_{14}^l\\ m_{21}^l& m_{22}^l& m_{23}^l& m_{24}^l\\ m_{31}^l& m_{32}^l& m_{33}^l& m_{34}^l\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(1\right)$

$Z_{\mathrm{cr}}\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=M_1^r{M}_2^r\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=M^r\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^r& m_{12}^r& m_{12}^r& m_{14}^r\\ m_{21}^r& m_{22}^r& m_{23}^r& m_{24}^r\\ m_{31}^r& m_{32}^r& m_{33}^r& m_{34}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(2\right)$

其中，式(1)中和分别为左相机内外参数矩阵，M^l为左相机投影矩阵。类似，式(2)中和分别为右相机内外参数矩阵，M^r为右相机投影矩阵。为了得到摄像机的内外参数，需要对摄像机进行标定。

将上述式(1)和式(2)进一步推导，得到求解坐标P(X，Y，Z)的矩阵式(3)：

$\left[\begin{array}{ccc}{x}_l{m}_{31}^l-m_{11}^l& x_l{m}_{32}^l-m_{12}^l& x_l{m}_{33}^l-m_{13}^l\\ y_l{m}_{31}^l-m_{21}^l& y_l{m}_{32}^l-m_{22}^l& v_1{m}_{33}^l-m_{23}^l\\ x_r{m}_{31}^r-m_{11}^r& x_r{m}_{32}^r-m_{12}^r& x_r{m}_{33}^r-m_{13}^r\\ y_r{m}_{31}^r-m_{21}^r& y_r{m}_{32}^r-m_{12}^r& y_r{m}_{33}^r-m_{23}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{m}_{14}^l-x_l{m}_{34}^l\\ m_{24}^l-y_l{m}_{34}^l\\ m_{14}^r-x_r{m}_{34}^r\\ m_{24}^r-y_r{m}_{34}^r\end{array}\right]---\left(3\right)$

一旦完成了立体匹配，采用最小二乘法求解式(3)，便可得到沥青路面表面上任意一点P(X,Y,Z)的三维坐标。从而形成表面点的三维坐标点集合，从而恢复出沥青路面微观纹理三维图像。

本发明实施例中，为了验证本发明提出的沥青路面微观纹理三维图像重构方法可行性，利用已经标定了的双目视觉系统获取沥青路面左右两图像，如图7所示：对两图像分别采用SIFT算法提取各自特征点。其中左图像找到151个特征点，右图像找到157个特征点。以两个特征点描述符之间的欧式距离作为特征点匹配的相似度准则，并用K-D树优先搜索，匹配成功64组。左右图像上，将匹配成功的点连线，如图8所示。成功匹配点对应坐标表如表1所示。

表1

通过表1里64组成功匹配点对，参照式(10)，可求得归一化后单应性矩阵H。

$H=\left[\begin{array}{ccc}0.5765& 0.0003& -0.0377\\ 0& 0.5771& -0.0370\\ 0& 0& 0.5760\end{array}\right].$ 则对于左图像上任意一点，其对应的匹配点可由H求出。再代入式(3)，便可求出整个图像区域内点三维坐标。经过插值后，沥青路面微观纹理三维图像重构效果图如图9所示。图上每一点三维坐标具有实际物理意义，重构的结果可以作为沥青路面微观纹理三维图像重构模型，参与力学和流体学有限元分析。

目前，国内外对沥青路面微观纹理三维图像重构已有研究，但在重构精度和通用性方面不足。本发明针对已有研究，借助双目视觉系统原理，搭建了沥青路面微观纹理三维图像重构平台，并建立了沥青路面微观纹理三维图像重构模型。为解决沥青路面微观纹理放射自相似带来的匹配难题，用SIFT算法来提取特征点，以欧式距离作为特征点匹配的相似度准则，成功找到了多对匹配点对，进而估算出单应性矩阵来实现左右图像区域点匹配，完成大面积重构。为验证提出的基于SIFT算法的双目视觉沥青路面微观纹理三维图像重构方法的可行性，通过标定了的双目视觉系统采集到两幅图像，以SIFT算法提取若干特征点，成功找到64对立体匹配点，估计出了单应性矩阵，实现了沥青路面微观纹理三维图像重构。这为沥青路面力学和流体学有限元分析提供了真实的沥青路面微观纹理三维图像重构模型，为后续研究奠定了基础。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式

与现有技术相比，本发明的有益效果是：本发明实现了沥青路面微观纹理三维图像重构，为沥青路面力学和流体学有限元分析提供了真实的沥青路面微观纹理三维图像重构模型，为后续研究奠定了基础。

Claims (1)

1.基于SIFT的双目视觉沥青路面微观纹理三维图像重构方法，其特征在于：按照以下步骤进行：

步骤1：以测量平台中心为原点，建立世界坐标系，左相机与右相机，规格一样，两相机平行、镜头垂直的安装在沥青路面上方，计算机控制左相机与右相机同时捕获到含有沥青路面信息的图像对，并构建双目视觉三维重构模型式：

$\left[\begin{array}{ccc}{x}_l{m}_{31}^l-m_{11}^l& x_l{m}_{32}^l-m_{12}^l& x_l{m}_{33}^l-m_{13}^l\\ y_1{m}_{31}^l-m_{21}^l& y_l{m}_{32}^l-m_{22}^l& v_1{m}_{33}^l-m_{23}^l\\ x_r{m}_{31}^r-m_{11}^r& x_r{m}_{32}^r-m_{12}^r& x_r{m}_{33}^r-m_{13}^r\\ y_r{m}_{31}^r-m_{21}^r& y_r{m}_{32}^r-m_{12}^r& y_r{m}_{33}^r-m_{23}^r\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\begin{array}{c}\left[\begin{array}{c}{m}_{14}^l-x_l{m}_{34}^l\\ m_{24}^l-y_l{m}_{34}^l\\ m_{14}^r-x_r{m}_{34}^r\\ m_{24}^r-y_r{m}_{34}^r\end{array}\right];\end{array}$

步骤2：检测尺度空间极值点，初步确定关键点位置和所在尺度；

步骤3：精确确定特征点位置；对检测到的尺度空间极值点进行三维二次函数拟合以精确确定特征点的位置和尺度；

步骤4：确定特征点的主方向；利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数；

步骤5：生成SIFT特征描述符：首先将坐标轴顺时针旋转为特征点主方向，以保证旋转不变性，再以特征点为中心取8*8的窗口，然后在每4*4的窗口上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，一个特征点由2*2共4个种子点组成，每个种子点有8个方向向量信息，产生2*2*8共32个数据的SIFT特征向量即SIFT特征描述符，所需的图像窗口为8*8；

步骤6：以两个特征点描述符之间的欧式距离作为特征点匹配的相似度准则，先采用K-D树进行优先搜索来查找每个特征点的两个近似最近邻特征点，如果找出特征点p的欧式距离最近和次近的两个邻特征点q'和q″，然后计算p与q'，p和q″两组描述符之间的欧式距离的比值r，如果r小于规定阀值T，阀值T的取值范围为0.4～0.6，则视匹配成功，接受点(p,q')为图像对中的一对匹配点，否则匹配失败；

步骤7：对于左图像上特征点a_l(x_l,y_l)和与之匹配右图像上特征点a_r(x_r,y_r)，用单应性矩阵H表示其对应匹配关系如下：

$\left[\begin{array}{c}{x}_l\\ y_l\\ 1\end{array}\right]=H\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]$

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]=\left[\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right],$ 其中 $h_i^T(i=\mathrm{1,2,3})$ 为向量(h_i1,h_i2,h_i3)

对于每一对特征点可以得到2个线性方程组：

$B\×h^T=\left[\begin{array}{c}{x}_l\\ y_l\end{array}\right]$

$B=\left[\begin{array}{cccccccc}{x}_l& y_l& 1& 0& 0& 0& {-x}_r{x}_l& {-y}_r{x}_l\\ 0& 0& 0& x_r& y_r& 1& {-x}_r{y}_l& {-y}_r{y}_l\end{array}\right]$

h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂]，左图像上每一点，其在右图像上对应匹配点通过单应性矩阵H求解；

步骤8：完成了立体匹配后，采用最小二乘法求解步骤1中构建的双目视觉三维重构模型，得到沥青路面表面上任意一点P(X,Y,Z)的三维坐标，形成表面点三维坐标点集合，从而恢复出三维微观纹理。