CN104331897A - 基于极线校正的亚像素级相位立体匹配方法 - Google Patents

Abstract

本发明属于机器视觉领域，涉及一种基于极线校正的亚像素级相位立体匹配方法，主要针对双目结构投影栅相位法三维测量系统中立体匹配的效率与精度问题，方法通过外极线校正算法将双目立体视觉几何结构校正为平视双目标准几何结构，使匹配点在左右相机上成的像位于同一水平线上，采用双线性内插法获得校正后新相位图的稠密相位值，并提出一种基于相位区域的立体匹配算法，获得初始匹配点，采用基于最小二乘法的曲面拟合将初始匹配点附近3×3邻域内的相似度量拟合为一个二次曲面，然后求解得到该曲面的局部最小值，得到与待匹配点相位相同的右摄像机匹配点坐标，该方法能够快速、准确地实现稠密的立体匹配，满足工业应用的需求。

Description

基于极线校正的亚像素级相位立体匹配方法

技术领域

本发明属于机器视觉领域，特别涉及一种基于极线校正的亚像素级相位立体匹配方法，能够满足工业测量中高效快速的匹配的要求。 

背景技术

基于投影栅相位法的双目立体视觉测量系统是光学非接触式三维型面密集型测量的一种重要方法。该方法具有快速、高精度等特点，在工业测量中得到广泛应用。视觉测量系统采用数字投影仪投射光栅条纹到物体表面，通过采集多帧条纹图像来计算包含有被测物体表面三维信息的包裹相位图，相位值被包裹在[-π，π]，并采用相应的方法对包裹相位进行解包，获取连续的绝对相位值；然后，以相位信息作为全场特征点进行立体匹配，得到双目立体视觉的高精度、稠密型视差图(disparity map)。其中，基于相位信息的立体匹配是影响视觉测量系统性能的主要因素之一。相位立体匹配问题的关键是找出每对图像间等相位点的对应关系，得到视差图。传统的方法大多利用两组相互垂直的光栅获取两条等相位线，再通过两条等相位线相交实现立体匹配。由于此方法需要投射两组光栅，无法满足工业测量的快速性要求；传统的利用极线约束的匹配方法通过在外极线上寻找等相位点将匹配过程由二维转化成一维，提高了匹配速度和精度。但是每个待匹配点的极线求取、畸变校正等计算量较大，影响测量速度。 

本发明针对传统的相位立体匹配方法的不足，提出了一种基于极线校正的亚像素级相位立体匹配方法。该方法通过校正立体视觉系统的方法，简化了匹配的复杂度；并在极线约束的基础上提出通过计算待匹配点n领域相位模板与右相位图像间的相似度来实现初始匹配点的定位；之后，提出采用基于最小二乘法的二次曲面拟合方法，将初始匹配点附近3×3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即为亚像素精度级最优匹配位置坐标；最后，根据平视双目视觉测量原理求得视差图。 

发明内容

本发明的目的是克服现有技术的上述不足，提供一种基于极线校正的亚像素级相位立体匹配方法，其关键技术能够为工业测量提供高精度、高效率的匹配方法，避免传统匹配技术中计算量较大、速度较慢、精度不高等缺点。 

本发明是通过这样的技术方案实现的：一种基于极线校正的亚像素级相位立体匹配方法，其特征在于，包括下列步骤： 

(1)标定摄像机内外参数； 

(2)极线校正得到具有标准极线几何结构的立体像对； 

(3)相位插值得到极线校正后的相位图； 

(4)亚像素级相位立体匹配得到立体像对的对应匹配点，进而获取视差图。 

本发明的有益效果：提出了一种基于相位信息的匹配方法。该方法综合运用了摄像机标 定、图像极线校正、基于相位信息相似性度量的模板匹配和亚像素级相位立体匹配等技术。首先，根据摄像机成像模型，对摄像机进行内外部参数标定。再根据所标定的内外部参数得到立体像对基本矩阵。然后根据所得到的基本矩阵进行极线校正。然后，通过双线性内插值法进行相位插值，得到经过极线校正后的相位图。最后，通过模板匹配的方法，确定初始匹配点，再通过基于最小二乘的二次曲面拟合的方法在初始匹配点3×3邻域内进行亚像素级定位，进而得到亚像素级的匹配点。本发明与现有技术相比较具有如下优点： 

1.通过校正立体视觉系统的方法，简化了匹配的复杂度，提高匹配的速度。 

2.本发明采用基于相位区域的匹配方法进行初定位，相位区域覆盖的图像空间大，且不易受噪声、光度变化等因素的影响，可以减少误匹配发生的几率。 

3.采用基于最小二乘的二次曲面拟合方法，可以获得亚像素级匹配位置坐标，提高匹配的精度。 

附图说明

图1：本发明的系统框图； 

图2：平视双目标准几何结构示意图； 

图3：双目立体视觉系统视差模型说明图； 

图4：双线性插值说明图 

具体实施方式

本发明的系统框图如图1所示，首先摄像机进行内外参数标定，利用标定的内外参数获得立体像对的基础矩阵，然后根据所获得的基本矩阵进行极线校正，得到具有标准极几何结构的立体像对，根据校正后的图像，采用双线性插值的方法进行相位插值，之后再根据相位图，采用模板匹配的方法，通过计算相似度量值来获取初始匹配点，最后，采用基于最小二乘法的曲面拟合方法进行二次曲面拟合，选取拟合曲面的峰值坐标做为最优匹配位置坐标，从而得到亚像素级最优匹配位置坐标。下面结合附图，对本发明技术方案的具体实施过程加以说明。 

1.摄像机内外参数标定 

建立面阵摄像机的非线性成像几何模型，基于两步法思想对摄像机进行标定，得到内部参数：摄像机的光学和几何参数，以及外部参数：摄像机坐标系和世界坐标系之间的位姿关系。 

2.极线校正得到具有标准极线几何结构的立体像对 

为了减小匹配的计算量，提高匹配的速度和精度，进行极线校正。极线校正就是经过一系列变换把双目立体视觉几何结构校正为平视双目标准几何结构，即左右摄像机的成像平面在同一个平面上且是垂直对齐的。 

平视双目标准几何结构如图2所示。校正后图像对成像坐标系只有平移，所以外极线都平行。任何一对匹配特征点的列坐标差值即为视差，可以表示物体的深度信息。 

在平视双目标准几何结构下，重构空间点深度信息变得非常简单。如图3所示，图为从摄像机坐标系的y轴方向观察得到的剖面图。点的深度值就是该点在世界坐标系下的z坐标。空间点P_w在左右图像中的视差可以表示为： 

d＝c₂-c₁   (7) 

通过对相似三角形O₁O₂P_W和P₁P₂P_W分析，得出P_w的深度只取决于点P₁和点P₂的列坐标差值，即P_w的深度只取决于点P₁和P₂视差，则空间点P_w的三维坐标表示为： 

$\left\{\begin{array}{c}{X}_w=B{X}_1/d\\ Y_w={\mathrm{BY}}_1/d\\ Z_w=\mathrm{Bf}/d\end{array}\right.---\left(8\right)$

3.相位插值得到极线校正后的相位图 

校正后相位图上点的坐标在原始图像上的对应坐标点一般为亚像素坐标，通过双线性内插值法计算出极线校正后的相位图。如图4，变换后像素的中心位于一个正方形中，此正方形的四个顶点就是与此像素相邻的四个像素的中心点。若极线校正后相位图上任一点P的待求相位为其对应的极线校正前原始相位图上一点为P₀(x_0,y₀)，取P₀临近的4个像素点P₀₀(x_00,y₀₀)_，P₀₁(x_01,y₀₁)_，P₁₀(x_10,y₁₀)_，P₁₁(x_11,y₁₁)，对应的相位值分别为 和

P₀与4点的关系如图4所示。所以用相应的权重配合这四个灰度值进行插值运算，具体的权重值由周围4点到P₀的距离确定。首先，我们分别计算转换后的坐标到四个相邻像素中心点的垂直方向和水平方向距离。注意这些计算出的距离值在0到1之间。然后，根据距离值计算出不同灰度值所占权重后利用双线性内插法获得新相位图上点的相位值： 

其中，a，b为到输入图像中邻近的像素中心的距离。 

4.亚像素级相位立体匹配得到立体像对的对应匹配点，进而获取视差图 

相位立体匹配技术是影响系统测量精度的重要因素，目前针对极线校正后的相位图立体匹配方法是以左图像单个坐标点作为匹配基元，计算该点处相位值与右图像单点相位最小差值来实现的，是像素级精度。本发明在提出以待匹配点为中心点的n邻域作为匹配模板，通过计算相似度量值来获取初始匹配点，并提出采用基于最小二乘法的二次曲面拟合方法，将初始匹配点附近3×3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即为最优匹配位置坐标。得到亚像素级的最优匹配位置坐标。 

在极线校正后的新相位图像对中，左相位图任一待匹配点对应匹配点的搜索简化为在外极线上寻找最相关点。相关点的搜索在极线约束、唯一性约束、相位单调约束、顺序一致性约束的基础上，通过计算待匹配点n邻域相位模板与右相位图像间的相似度来实现。先根据左摄像机相位图中待匹配点为中心的n邻域相位模板，在右摄像机相位图的中心点横坐标相同的直线上搜索与左图该相位模板相似度最高的区域作为匹配区域，则该区域的中心点为左摄像机相位图中待匹配点的初始匹配点。模板由一副图像t(r,c)以及相应的待匹配点邻域T指定。然后基于这些灰度值计算一个标量值作为相似度量。相似度量值越小，模板与图像之间的相关性越大。本文的相似度量方法是计算模板与图像之间差值的绝对值的总和(SAD)，等式为： 

$\mathrm{sad}(r,c)=\frac{1}{n}\underset{(u,v)\∈T}{\mathrm{\Σ}}|t(u,v)-f(r+u,c+v)|---\left(10\right)$

在式(10)中，n是模板连通区域中点的数量，即n＝|T|，f(r+u,c+v)是模板连通区域移到图像当前位置时连通区域中的灰度值。 

在上述匹配点搜索过程中，必须对右摄像机相位图横坐标相同的外极线上的平移位置依次计算出相似度量值。为了快速找到匹配点，本文提出设置一个自适应阈值t_s作为相似性度量的上限。对是否继续计算相似度量值进行判定，减少部分平移位置相似度量值的计算。阈值判定公式如下： 

$\mathrm{sad}(r,c)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|t(u_i,v_i)-f(r+u_i,c+v_i)|\≤t_s---\left(11\right)$

由于相似度量值是求邻域内各点差值绝对值和，假设已经计算得到等式(11)中前j项的总和sad′_j(r,c)，得到等式： 

${\mathrm{sad}}^{\′}(r,c)=\mathrm{se}{d}_j^{\′}(r,c)+\underset{i=j+1}{\overset{n}{\mathrm{\Σ}}}|t(u_i,v_i)-f(r+u_i,c+v_i)|\≤{\mathrm{nt}}_s---\left(12\right)$

因此在sad′_j(r,c)≥nt_s的情况下停止计算，计算下一个平移位置的相似度量值；在sad′_j(r,c)<nt_s的情况下，选择t_s作为当前阈值。自适应阈值t_s的使用减少了相似度量值的计算量。 

在外极线校正的新相位图中，通过计算相似度量值获取的匹配点位置属于像素精度级。为了得到亚像素精度级的匹配点位置，本文提出采用基于最小二乘法的二次曲面拟合方法，将初始匹配点附近3×3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即为最优匹配位置坐标。然后，根据邻近点相位进行线性插值，得到与待匹配点相位相同的右摄像机匹配点坐标，完成相位立体匹配。 

根据上述分析,本文选择如下拟合函数: 

F(G,X)＝ax²+bxy+cy²+dx+ey+f＝0   (13) 

其中，G＝[a,b,c,d,e,f]^T，X＝[x²,xy,y²,x,y,1]^T，F(G,X_i)为点(x_i,y_i)到曲线F(G,X)＝0的“代数距离”，采用最小二乘法求解方程，即可解出拟合函数的系数。 

为此，在式(13)中分别对x，y求偏导，并使偏导为0，即： 

$\left\{\begin{array}{c}\frac{\&PartialD;z}{\&PartialD;x}=2\mathrm{ax}+c+d=0\\ \frac{\&PartialD;z}{\&PartialD;y}=2\mathrm{by}+\mathrm{cx}+e=0\end{array}\right.---\left(14\right)$

由式(14)可解得： 

$x=\frac{2\mathrm{db}-\mathrm{ce}}{c^2-4\mathrm{ab}}$

$y=\frac{2\mathrm{ae}-\mathrm{ac}}{c^2-4\mathrm{ab}}$

式中的x，y即为所求的平移量且具有亚像级的分辨率。 

综上所述，本发明能够通过校正立体视觉系统的方法，简化匹配的复杂度，并在极线约束的基础上提出基于相位区域，以相似性度量为参数的初定位匹配方法，相对于点基元，相位区域覆盖的图像空间大，且不易受噪声、光度变化等因素的影响，减少误匹配发生的几率，更容易进行匹配。本发明提出采用基于最小二乘法的二次曲面拟合方法获得了亚像素级最优匹配位置坐标。在已知摄像机内外参的情况下，提高了算法速度和精度。与已有的方法相比较，本方法具有亚像素级的精度和较强的适应性。 

根据上述说明，结合本领域技术可实现本发明的方案。 

Claims (5)

1.一种基于极线校正的亚像素级相位立体匹配方法，包括下列步骤： 

(1)标定摄像机内外参数； 

(2)极线校正得到具有标准极线几何结构的立体像对； 

(3)相位插值得到极线校正后的相位图； 

(4)亚像素级相位立体匹配得到立体像对的对应匹配点，进而获取视差图。 

2.根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在于，步骤(1)中，建立面阵摄像机的非线性成像几何模型，基于两步法思想对摄像机进行标定，得到内部参数：摄像机的光学和几何参数，以及外部参数：摄像机坐标系和世界坐标系之间的位姿关系。 

3.根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在于，步骤(2)中，为了减小匹配的复杂度，提高匹配的速度和精度，进行极线校正，极线校正就是经过一系列变换把双目立体视觉几何结构校正为平视双目标准几何结构，即左右摄像机的成像平面在同一个平面上且是垂直对齐的；校正后图像对成像坐标系只有平移，所以外极线都平行，任何一对匹配特征点的列坐标差值即为视差，表示物体的深度信息；在平视双目标准几何结构下，重构空间点深度信息较简单。 

4.根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在于，步骤(3)中，经过极线校正后相位图上点的坐标在原始图像上的对应坐标点一般为像素坐标，可以通过双线性内插值法计算出极线校正后的相位图； 

假设变换后像素的中心位于一个正方形中，此正方形的四个顶点就是与此像素相邻的四个像素的中心点，若极线校正后相位图上任一点P的待求相位为其对应的极线校正前原始相位图上一点为P₀(x₀,y₀)，取P₀临近的4个像素点： 

P₀₀(x₀₀,y₀₀)，P₀₁(x₀₁,y₀₁)_，P₁₀(x₁₀,y₁₀)，P₁₁(x₁₁,y₁₁)；对应的相位值分别为： 

和

所以用相应的的权重配合这四个灰度值进行插值运算,权重值由P₀与周围4点的距离确定； 

首先，分别计算转换后的坐标到四个相邻像素中心点的垂直方向和水平方向距离，这些计算出的距离值在0到1之间； 

然后，根据距离值计算出不同灰度值所占权重后利用双线性内插法获得新相位图上点的相位值： 

其中，a，b为到输入图像中邻近的像素中心的距离。 

5.根据权利要求1所述的一种基于极线校正的亚像素级相位立体匹配方法，其特征在于，步骤(4)中，在极线校正后的新相位图像对中，左相位图任一待匹配点的对应匹配点的搜索可 简化为在外极线上寻找最相关点；相关点的搜索在极线约束、唯一性约束、相位单调约束、顺序一致性约束的基础上，通过计算待匹配点n邻域相位模板与右相位图像间的相似度来实现： 

首先根据左摄像机相位图中待匹配点为中心的n邻域相位模板，在右摄像机相位图的中心点横坐标相同的直线上搜索与左图该相位模板相似度最高的区域作为匹配区域，则该区域的中心点为左摄像机相位图中待匹配点的初始匹配点，模板由一幅图像t(r,c)以及相应的待匹配点邻域T指定； 

然后基于模板范围内灰度值计算一个标量值作为相似度量，相似度量值越小，模板与图像之间的相关性越大；相似度量方法采用计算模板与图像之间差值的绝对值的总和(SAD)，等式为： 

在式(2)中，n是模板连通区域中点的数量，即n＝|T|，f(r+u,c+v)是模板连通区域移到图像当前位置时连通区域中的灰度值； 

在上述匹配点搜索过程中，必须对右摄像机相位图横坐标相同的外极线上的平移位置依次计算出相似度量值，为了快速找到匹配点，设置一个自适应阈值ts作为相似度量值上限，对是否继续计算相似度量值进行判定，减少部分平移位置相似度量值的计算，阈值判定公式如下： 

由于相似度量值是求邻域内各点差值绝对值和，假设已经计算得到等式(3)中前j项的总和sad_j′(r,c)，得到等式： 

因此在sad_j′(r,c)3nt_s的情况下停止计算，计算下一个平移位置的相似度量值；在sad_j′(r,c)<nt_s的情况下，选择ts作为当前阈值，自适应阈值ts的使用减少了相似度量值的计算量； 

为了得到亚像素精度级的匹配点位置，采用基于最小二乘法的二次曲面拟合方法，将初始匹配点附近3×3邻域内的相似度量值拟合为一个二次曲面，拟合曲面的峰值坐标即为最优匹配位置坐标；然后，根据邻近点相位进行线性插值，得到与待匹配点相位相同的右摄像机匹配点坐标，完成相位立体匹配； 

选择如下拟合函数: 

F(G,X)＝ax²+bxy+cy²+dx+ey+f＝0         (5) 

其中，G＝[a,b,c,d,e,f]^T，X＝[x²,xy,y²,x,y,1]^T，F(G,X_i)为点(x_i,y_i)到曲线F(G,X)＝0的“代数距离”，采用最小二乘法求解方程，即可解出拟合函数的系数； 

为此，在式(5)中分别对x，y求偏导，并使偏导为0，即： 

由式(6)可解得： 

式中的x，y即为所求的平移量且具有亚像级的分辨率。