CN102184542B - 一种双目立体视觉测量的立体匹配方法 - Google Patents

Abstract

本发明一种双目立体视觉测量的立体匹配方法，采用最小周期为T＝16的格雷码编码图片，投影后通过左右摄像机采集该格雷码编码图片，并分别计算出该左右两幅图片中所有像素的格雷码值；基于优化正弦光栅参数生成正弦投影光栅图片，投影后通过左右摄像机采集该光栅图片，并计算出左右两幅图片中所有像素点的相位值；采用最大概率校正法对格雷码值和相位值之间的周期错位进行校正，使格雷码周期边缘的像素点构成一个正确而完整的相位周期；采用两步匹配法来查找左右两幅图片中的对应匹配点后，输出所有匹配点数据；本发明能快速、准确地查找左右图片中的对应匹配点，提高查找对应点的精度。

Description

一种双目立体视觉测量的立体匹配方法

技术领域

本发明属于逆向工程技术领域，涉及一种双目立体视觉测量的立体匹配方法。

背景技术

双目立体视觉中的立体匹配是指查找物体表面同一个可视点在左右摄像机采样图片中的对应像素位置。这是双目立体视觉中最复杂、最重要的环节。在摄像机标定基本成熟的环境下，立体匹配的准确性，成为影响三维测量精度最关键、最直接的因素，因此立体匹配成为目前国内外立体视觉研究者研究的热点、难点和重点。目前，双目立体视觉的立体匹配中，格雷码光栅编码解码、正弦光栅的解相、立体校正等技术已经比较完善和成熟，但目前在左右图片中查找匹配像素点的方法在准确性和效率上仍然不尽如人意。为进一步提高三维测量精度与效率，需要研究开发提高匹配准确性和效率的方法，这是本发明关注的问题。

另一方面，格雷码周期与相位周期发生错位，将直接影响匹配精度，使计算出的三维数据产生许多噪声点或三维点缺失。为解决此问题，尹丽萍等在学术期刊《哈尔滨理工大学学报》2007，12(5)，P5-8发表的学术论文“格雷码与相移结合的结构光三维测量技术研究”中提出逐行扫描每一个像素点，并分别对相邻两像素点做差运算比较，找到相位突变和解码周期增加的像素点的位置，若相位发生了突变，而其对应解码周期值并未增加，即k(i,j)=k(i,j-1)，则调节解码周期值，使得k(i,j)=k(i,j)+1，假若相位值未发生突变，而解码周期值增加即k(i,j)=k(i,j-1)+1，则调节解码周期值，使得k(i,j)=k(i,j)-1，从而确保解码周期和相位周期的变化保持一致。该方法获得了较好的校正效果，但由于其所从事的是仿真研究，格雷码周期与相位周期校正建立在格雷码值与相位值求解完全正确的基础上，而在实际测量中，受到噪声、物体表面对光敏感度不同等因素的影响，很难对格雷码值与相位值求解完全准确，如果还采用以上方法校正，当中间突然出现一个很大噪声，引发相位突变使得格雷码值加一，就会使得后续的所有点格雷码值加一，从而使得后续所有点的格雷码值经周期校正后比正确值大一。因此该方法不能完全解决周期错位问题。

对于左右两幅图像中对应像素点匹配查找问题，由于事前对图像进行了立体校正，匹配时只需在Y值相同的行方向搜索相位绝对值相同的像素点即可，当找到某一匹配点后，利用顺序性原则，下一点的匹配直接在该匹配点后续点中搜索，以提高匹配搜索速度，这就是传统的直接匹配。但在实际测量过程中，由于左右相机采样不一致，加上随机噪声的影响，利用直接匹配找到的匹配点数量少，只能生产稀疏不连续的视差图。

综上所述，传统双目立体视觉测量的左右图像对应点匹配查找方法存在匹配效率不高、匹配点查找数量较少等问题。

发明内容

本发明的目的在于提供一种双目立体视觉测量的立体匹配方法，以快速、准确地查找左右图片中的对应匹配点，为重建三维数据提供基础数据。

一种双目立体视觉测量的立体匹配方法，包括以下几个步骤：

步骤1、采用最小周期为T=16的格雷码编码图片，投影后通过左右摄像机采集该格雷码编码图片，以左右摄像机所获取的格雷码图片为基准，利用图像立体校正函数对该两幅图片进行立体校正，记为基准格雷码图片，并分别计算出该两幅基准格雷码图片中所有像素的格雷码值；

步骤2、根据公式

采用优化正弦光栅参数生成光栅图片，投影后通过左右摄像机采集该光栅图片，以左右摄像机所获取的正弦光栅图片为基准，利用图像立体校正函数对该两幅正弦光栅图片进行立体校正，记为基准正弦光栅图片，并计算出该两幅基准正弦光栅图片中所有像素点的相位主值；

所述的优化正弦光栅参数是指：图像宽度D=1024，像素周期T=16，背景光强A=100，调制振幅B=100；满足

公式

(x,y)表示图像中的像素位置，y代表图像的行，x代表图像的列，I_k(x,y)表示该像素点的灰度值，A表示背景光强，B表示调制振幅，k表示第k帧正弦光栅图，

表示该像素点的相位，T表示像素周期,D表示图像宽度：

步骤3、采用基于格雷码值的最大概率校正法对格雷码周期与正弦光栅周期之间的错位进行校正，使格雷码周期边缘的像素点构成一个正确而完整的相位周期；所述的最大概率校正法为：

①在基准正弦光栅图片上逐行扫描每一个像素点，并分别对相邻两像素点的相位主值差进行比较，找到两相位主值绝对差大于π的相位突变点并标记，则两相邻相位突变点之间的像素具有相同的相位周期；当某个相位周期内共有M个像素点，其中有N个像素点的格雷码值为G_i，则这个相位周期的格雷码值为G_i的概率为(N/M)×100%；

②检查图片中每一行内的每一个相位周期，对每个相位周期，比较其不同格雷码值的概率，具有最大格雷码值概率的格雷码为G，则该相位周期为G，其中的像素的相位绝对值就等于G乘以2π加上相位主值；

步骤4、采用基于相位的两步匹配法来查找两幅基准正弦光栅图片中的对应匹配点后，输出所有匹配点数据，所述的两步匹配法是：

①以左摄像机采集的基准正弦光栅图片为基础，取该图片中每一行中的每一个像素，其相位绝对值记为φ(x,y)，从右摄像机采集的基准正弦光栅图片对应行中查找出相位绝对值最大、且小于等于φ(x,y)的像素XR₁，以及相位绝对值最小、且大于等于φ(x,y)的像素XR₂；

②当像素XR₁不等于像素XR₂时，按照d=(φ(x,y)-φ_XR1(x,y)/(φ_XR2(x,y)-φ(x,y))方式插值计算右摄像机采集的基准正弦光栅图片中匹配点的亚像素位置。

所述的步骤2中分别提取该两幅基准正弦光栅图片中各像素的灰度值I₀(x,y)、I₁(x,y)、I₂(x,y)、I₃(x,y)，按照下式

分别计算该两幅基准正弦光栅图片中的相位主值。

在格雷码和相位的基础上，本发明提出采用优化的正弦光栅投影图片，并设计出基于格雷码值的最大概率校正法、基于相位的两步匹配法等方法来提高匹配准确性和匹配效率，与现有相关技术相比，具有以下优点：

（1）能够快速、准确地查找左右图片中的对应匹配点；

（2）采用优化光栅生成参数生成的正弦光栅投影图片,通过数字投影仪投射到物体表面后，能够有效避免采样图片出现白平衡和黑平衡；

（3）采用最大概率校正法来纠正格雷码周期与相位周期之间的错位，能有效解决受到噪声、物体表面对光敏感度不同等因素影响下引发相位突变的问题；

（4）采用两步匹配法可以大大缩短匹配时间，提高查找对应点的精度。

附图说明

图1是本发明的流程图；

图2是本发明采用参数T=32生成光栅图形所产生的三维点云图；

图3是本发明采用参数T=16生成光栅图形所产生的三维点云图；

图4是本发明采用参数T=8生成光栅图形所产生的三维点云图；

图5是本发明采用参数T=16，A=150，B=50生成光栅图形所产生的三维点云图；

图6是本发明采用参数T=16，A=B=100生成光栅图形所产生的三维点云图；

图7是本发明采用参数T=16，A=B=127.5生成光栅图形所产生的三维点云图；

图8是采用尹丽萍等提出的校正法进行相位周期校正后获得的三维点云图；

图9是本发明采用最大概率校正法进行相位周期校正后获得的三维点云图；

图10是采用直接匹配法查找匹配点后生成的三维点云图；

图11是本发明采用两步匹配法查找匹配点后生成的三维点云图。

以下结合具体实施例对本发明作进一步详述。

具体实施方式

如图1所示，本发明一种双目立体视觉测量的立体匹配方法，具体采用以下几个步骤：

步骤1、采用最小周期为T=16的格雷码编码图片，投影后通过左右摄像机采集该格雷码编码图片，并分别计算出该左右两幅图片中所有像素的格雷码值；

步骤2、基于优化正弦光栅参数生成正弦投影光栅图片，投影后通过左右摄像机采集该光栅图片，并计算出左右两幅图片中所有像素点的相位值；

所述的优化正弦光栅参数是指：

公式

中，相关参数值为图像宽度D=1024，像素周期T=16，参数A=100，B=100；

步骤3、采用最大概率校正法对格雷码值和相位值之间的周期错位进行校正，使格雷码周期边缘的像素点构成一个正确而完整的相位周期；

所述的确定格雷码周期边缘像素点正确相位周期的最大概率校正法为：

①对经过对齐处理的图片，逐行扫描每一个像素点，并分别对相邻两像素点的相位主值差进行比较，找到两相位主值绝对差大于π的相位突变点并标记，则两相邻相位突变点之间的像素具有相同的相位周期；当某个相位周期内共有M个像素点，其中有N个像素点的格雷值为G_i，则这个相位周期的格雷码值为G_i的概率为(N/M)×100%；

②检查图片中每一行内的每一个相位周期，对每个相位周期，比较其不同格雷值的概率，具有最大格雷码值概率的格雷码为G，则该相位周期为G，其中的像素的相位绝对值就等于G乘以2π加上相位主值。

步骤4、采用两步匹配法来查找左右两幅图片中的对应匹配点，输出所有可用于计算三维点的匹配点数据。

所述的查找左右两幅图像中对应匹配点的两步匹配法是：

①以左图片为基础，取左图片中每一行中的每一个像素，其相位绝对值为φ，从右图片对应行中查找出相位绝对值最大、且小于等于φ的像素XR1，以及相位绝对值最小、且大于等于φ的像素XR2；

②当像素XR1不等于像素XR2时，按照d=(φ-φ_XR1)/(φ_XR2-φ)方式插值计算右图片中匹配点的亚像素位置。

具体实施例为，首先采用6张格雷码编码图片，分别通过投影仪投射并用工业摄像机分别采样，利用OpenCV提供的图像立体校正函数对6张采样格雷码图片进行校正后进行二值化，然后将格雷码值转化成二进制码，转化方法最高位保持不变，依次用前一位与该位做异或处理，最后把二进制码转化成十进制码。该格雷码值转化成二进制码的具体算式如下：

$\left\{\begin{array}{c}{B}_n=G_n\\ B_{n-1}=B_n\⊕G_{n-1}\\ B_{n-2}=B_{n-1}\⊕G_{n-2}\\ M\\ B_i=B_{i+1}\⊕G_i\\ M\\ B_1=B_2\⊕G_1\end{array}\right.$

根据公式

采用优化参数生成4步相移使用的4幅光栅图片，分别利用OpenCV提供的图像立体校正函数对左右各4张采样光栅图片进行校正后，分别提取图片中各像素的灰度值I₀、I₁、I₂、I₃,按照下式

计算左右图片中的相位值。

在完成格雷码值和相位值计算后，采用最大概率校正法来校正像素的格雷码周期与相位周期错位，然后采用两步匹配法获得左右相机图片的对应匹配点，输出该匹配点数据用于计算三维几何数据。

由于生成的正弦光栅只是编程生成的灰度呈正弦分布的灰度图片，受灰度值只能是整数的影响，实际生成的灰度图片与理想的正弦光栅之间存在误差，而投射的后的图片，又受投影仪采样和相机采样的影响，相邻像素之间灰度差值十分重要，因为相邻像素之间的灰度差过小，加上环境光相机采集后的正弦图片就会出现灰度相等的情况；相邻像素之间灰度过大，小片区域中就会形成线性直线，对正弦光栅的正弦性影响也较大。而条纹周期宽度T是影响正弦光栅灰度采样的一个最直接的因素。通过分别取T=32、T=16以及T=8进行试验对比，如图2-4所示的三维点云效果，从三者的三维点云图上，可以看到在T=32、T=8的表面上都形成了有规律的明显的周期波浪，这显然是由于周期内的灰度非正弦性产生的，而T=16的表面明显好于另外二者，确定取T=16效果最好。对于参数A、B的选择，同样进行三组实验：第一组，A=150，B=50；第二组，A=100，B=100；第三组，A=127.5，B=127.5。如图5-7所示的三维点云效果，从三者的三维点云图上，可以看到第一组的表面噪声明显比后两组多，表面质量明显比后两组差，后两组中从正对的平面看，第二组表面光滑性略好于第三组，确定参数A=100，B=100。

若格雷码周期与相位周期发生错位，使用尹丽萍等提出的校正法进行相位周期校正后获得的三维点云图如图8，采用本发明所述的最大概率校正法后，生成的三维点云如图9所示，比较图8与图9可知，最大概率校正法能有效避免周期错位的发生。

查找两幅图片中对应匹配点的两步匹配法是首先利用相位形成像素级粗匹配，然后利用已找到的匹配点进行插值形成亚像素，具体方法是：①以左图片为基础，取左图片中每一行中的每一个像素，其相位绝对值为φ，从右图片对应行中查找出相位绝对值最大、且小于等于φ的像素XR1，以及相位绝对值最小、且大于等于φ的像素XR2；②当XR1不等于XR2时，按照d=(φ-φ_XR1)/(φ_XR2-φ)方式插值计算右图片中匹配点的亚像素位置。图10所示为直接匹配后生成的三维点云图，可以清晰的看到有遗漏点；应用本发明所述的两步匹配法后，生成的三维点云如图11，其包含的三维点密度要比图10大。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种双目立体视觉测量的立体匹配方法，其特征在于包括以下几个步骤：

步骤1、采用最小周期为T=16的格雷码编码图片，投影后通过左右摄像机采集该格雷码编码图片，以左右摄像机所获取的格雷码图片为基准，利用图像立体校正函数对该两幅图片进行立体校正，记为基准格雷码图片，并分别计算出该两幅基准格雷码图片中所有像素的格雷码值；

步骤2、根据公式

采用优化正弦光栅参数生成光栅图片，投影后通过左右摄像机采集该光栅图片，以左右摄像机所获取的正弦光栅图片为基准，利用图像立体校正函数对该两幅正弦光栅图片进行立体校正，记为基准正弦光栅图片，并计算出该两幅基准正弦光栅图片中所有像素点的相位主值；

所述的优化正弦光栅参数是指：图像宽度D=1024，像素周期T=16，背景光强A=100，调制振幅B=100；满足

公式

(x,y)表示图像中的像素位置，y代表图像的行，x代表图像的列，I_k(x,y)表示该像素点的灰度值，A表示背景光强，B表示调制振幅，k表示第k帧正弦光栅图，

表示该像素点的相位，T表示像素周期,D表示图像宽度：

步骤3、采用基于格雷码值的最大概率校正法对格雷码周期与正弦光栅周期之间的错位进行校正，使格雷码周期边缘的像素点构成一个正确而完整的相位周期；所述的最大概率校正法为：

①在基准正弦光栅图片上逐行扫描每一个像素点，并分别对相邻两像素点的相位主值差进行比较，找到两相位主值绝对差大于π的相位突变点并标记，则两相邻相位突变点之间的像素具有相同的相位周期；当某个相位周期内共有M个像素点，其中有N个像素点的格雷码值为G_i，则这个相位周期的格雷码值为G_i的概率为(N/M)×100%；

②检查图片中每一行内的每一个相位周期，对每个相位周期，比较其不同格雷码值的概率，具有最大格雷码值概率的格雷码为G，则该相位周期为G，其中的像素的相位绝对值就等于G乘以2π加上相位主值；

步骤4、采用基于相位的两步匹配法来查找两幅基准正弦光栅图片中的对应匹配点后，输出所有匹配点数据，所述的两步匹配法是：

①以左摄像机采集的基准正弦光栅图片为基础，取该图片中每一行中的每一个像素，其相位绝对值记为φ(x,y)，从右摄像机采集的基准正弦光栅图片对应行中查找出相位绝对值最大、且小于等于φ(x,y)的像素XR₁，以及相位绝对值最小、且大于等于φ(x,y)的像素XR₂；

②当像素XR₁不等于像素XR₂时，按照d=(φ(x,y)-φ_XR1(x,y)/(φ_XR2(x,y)-φ(x,y))方式插值计算右摄像机采集的基准正弦光栅图片中匹配点的亚像素位置。

2.根据权利要求1所述的一种双目立体视觉测量的立体匹配方法，其特征在于：所述的步骤2中分别提取该两幅基准正弦光栅图片中各像素的灰度值I₀(x,y)、I₁(x,y)、I₂(x,y)、I₃(x,y)，按照下式

分别计算该两幅基准正弦光栅图片中的相位主值。

Images