CN105528785B - 一种双目视觉图像立体匹配方法 - Google Patents

Abstract

本发明一种双目视觉图像立体匹配方法，涉及图像数据处理，步骤是：双目图像的采集与预处理；对双目图像进行图像梯度矩阵求解；得到初始视差图；得到最终视差图像并输出，由此完成双目视觉图像立体匹配。本发明克服了现有的双目立体匹配技术匹配的精度低和实时性不足的缺陷。

Description

一种双目视觉图像立体匹配方法

技术领域

本发明的技术方案涉及图像数据处理，具体地说是一种双目视觉图像立体匹配方法。

背景技术

立体视觉技术是移动机器人视觉导航领域的关键技术之一，在未知环境中导航，快速和准确地识别障碍物信息，规划出可行路径，要求立体视觉导航系统的立体匹配算法应具有高的准确性和实时性。过去几十年来计算机视觉领域的专家对使用立体图像提取场景三维信息的问题进行了广泛深入的研究，尤其在近年来引起广泛重视的机器人智能化领域，立体视觉在导航、避障和场景感知方面为机器人提供了重要的决策信息。

立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法。全局立体匹配算法主要是采用了全局的优化理论方法估计视差，建立全局能量函数得到最优视差值，但是其运行时间比较长，不适合实时运行。局部立体匹配算法通过能量最小化方法进行视差估计，相比全局立体匹配算法，涉及信息量较少，计算复杂度较低，能保证立体匹配的实时性，但受图像放射畸变和辐射畸变影响较大，容易产生误匹配，致使准确度降低。

由于局部立体匹配方法受窗口大小与窗口形状以及匹配代价计算方法的约束，所以如何选择合适的窗口以及应用何种匹配代价计算方法是提高匹配精度的关键所在。加拿大安大略理工大学的Veksler教授通过比较不同尺寸窗口的性能，根据不同形状尺寸窗口的适用范围快速准确地得到视差图，但所用窗口的形状数量少，且需要用户指定窗口测量计算的参数。清华大学教授徐光祐根据分割区域动态选择窗口的形状和大小得到了较为稠密的视差图，但对于复杂纹理图像，难以实现精确的色彩分割。韩国光州科学技术院的Kuk-JinYoon团队没有从解决色彩分割入手，而是利用像素间光度学和几何学关系调配窗口中像素的权值，本质上类似于分割的思想，此方法不依赖初始视差估计，同时在深度不连续和连续区域匹配精度都得到了提高，不足之处是其计算复杂度较高。CN103440653A公开了一种双目立体匹配方法，该方法首先对视图组中待匹配点进行基于稠密特征描述的视差先验估计，而后采用汉明间距方法计算视图组中候选匹配点之间的匹配代价，并利用基于最大后验概率模型的视差估计方法来计算视差值，该方法可以有效抑制左右视图光照不同或曝光时间不同对立体匹配的影响，使匹配的准确性得到了提高，但是该方法时间复杂度仍然很高，不具实时性。

双目立体匹配一直是计算机立体视觉技术中研究的热点之一，同时也是最困难的环节，现有的双目立体匹配技术的缺陷是主要体现在匹配的精度和实时性的不足。

发明内容

本发明所要解决的技术问题是：提供一种双目视觉图像立体匹配方法，首先根据设定的窗口大小提取带匹配点的邻域像素点信息，结合梯度信息进行初始匹配，得到初始视差图，再利用改进的Mode滤波器对初始视差图进行滤波得到最终视差图。本发明克服了现有的双目立体匹配技术匹配的精度低和实时性不足的缺陷。

本发明解决该技术问题所采用的技术方案是：一种双目视觉图像立体匹配方法，步骤如下：

第一步，双目视觉图像的采集与预处理：

双目视觉图像的采集方法是通过两个在物理位置上相对平行的摄像头进行左右视图的提取；预处理的方法是，将提取的双目视觉图像归一化为384×288像素，然后根据摄像头的标定参数对左右视图进行校正，消除畸变以及行对准，使得左右视图的成像原点坐标一致，对校正完的左右视图进行初始参数的设置，将左右视图分别设置为匹配图像L和待匹配图像R，并设置最大视差值d_max，具体方法是：

(1)图像分块：

对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，将输入的图像分别分成大小均匀的Q₁×Q₂个子块；

(2)图像块匹配代价聚类：

采用平方差和算法的代价聚集策略聚集窗口内的匹配代价，首先对上述步骤(1)中各个图像子块内的像素在初始视差范围内进行匹配代价求解，求解方法如公式(1)所示，其中，F_x,y(o)为匹配代价函数，o为偏移距离，表示当前视差，o的初始范围为[0,100]，R(x,y,z)、L(x,y,z)是待匹配图像R以及匹配图像L在点(x,y,z)处的像素值，

之后，对偏移距离为o时的图像子块q内各像素匹配代价进行求平均，并作为偏移距离为o时的图像子块q的匹配代价，如公式(2)所示，

这里γ(x,y,o)是偏移距离为o的图像块的匹配代价，N_c、N_r分别为图像块的宽度和高度，以像素为单位；将偏移距离o从0到100遍历，重复上述步骤(2)，记录下每个视差值下的γ(x,y,o)，直到对所有的子块完成上述计算；

(3)选取视差值范围：

统计每个子块在不同偏移距离下的匹配代价，将其称作图像块的匹配代价图，若匹配代价图存在唯一的显著的最小值，则认为该子块可靠，选择匹配代价最小的偏移距离o作为子块的视差值d，否则认为该子块不可靠，进一步将该子块细分为Q₁×Q₂个子块，重复上述步骤(2)，选择被细分的子块与这些细分后的子块中视差值最相近的局部极小值点作为被细分的子块的视差，依照上述方法判断全部的子块，并判断当前子块的视差值是否全部相等或者子块的尺寸是否达到设定的分隔阈值，若是，则返回这些当前子块的视差值作为双目视觉图像的最大视差值d_max，否则，将最大视差值所在的子块继续细分为Q₁×Q₂个子块，初始偏移距离范围减半，重复上述步骤(2)的计算过程，直到当前子块的视差值全部相等或者子块的尺寸达到设定的阈值，由此完成设置最大视差值d_max；

第二步，对双目视觉图像进行图像梯度矩阵求解：

对上述第一步采集与预处理后的双目视觉图像进行图像梯度矩阵求解，过程是：根据下述公式(3)、(4)和(5)分别求出待匹配图像R在x、y、z轴三方向的梯度矩阵D_rx、D_ry、D_rz，x轴为待匹配图像R的横坐标轴，y轴为待匹配图像R的纵坐标轴，z轴为待匹配图像R的RGB通道的坐标轴，以下公式(3)、(4)和(5)中，R(i,j,k)代表待匹配图像R在点(i,j,k)处的像素值，其中，i、j、k分别代表点(i,j,k)对应于x、y、z坐标轴的坐标值，a、b分别代表匹配图像R在x、y坐标轴方向的最大下标值，k＝1,2,3，分别表示RGB通道的红色、绿色和蓝色通道，

同理，根据以下公式(6)、(7)、(8)求出匹配图像L在x、y、z轴三方向的梯度矩阵D_lx、D_ly、D_lz，L(i,j,k)代表匹配图像L在点(i,j,k)处的像素值，

第三步，得到初始视差图：

视差图是双目视觉图像的视差值的图像，初始视差图的生成方法如下：

(1)计算匹配代价：

1)计算像素值匹配代价：

根据上述第一步中得到的匹配图像L和待匹配图像R，计算对应图像中的每个像素对在z轴方向的平方差的和以消去z轴的位置信息，再用消去z轴位置信息的矩阵中点(x,y)在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，采用的计算公式(9)如下：

其中，d为匹配点与待匹配点在y轴坐标的差值，即匹配图像的移动次数，0≤d≤d_max；

2)计算梯度矩阵匹配代价：

同上述步骤1)，对第二步中获得的梯度矩阵进行梯度匹配代价计算，采用的计算公式(10)、(11)、(12)如下：

(2)计算代价聚合值矩阵：

将上述步骤(1)得到的结果利用公式(13)计算匹配图像L中点(x,y)的代价聚合值矩阵A(x,y,d)：

A(x,y,d)＝S(x,y,d)+w×(D_x(x,y,d)+D_y(x,y,d)+D_z(x,y,d)) (13)，

其中，w为梯度矩阵匹配代价值的权重；

(3)匹配代价比较：

将匹配图像L以及上述第二步求出的匹配图像L的x、y、z轴三方向的梯度矩阵D_lx、D_ly、D_lz分别向左移动一列，最后一列都补零，得到四个新的矩阵L₁、D_lx1、D_ly1、D_lz1，将这四个新的矩阵带入上述步骤(1)的计算匹配代价和上述步骤(2)的计算匹配代价聚合值矩阵，得到新的代价聚合矩阵A₁，比较A₁与上述步骤(2)计算得到的代价聚合矩阵A，两矩阵中相应较小的元素保留在A₁中，并保存A₁中各元素获得时的匹配图像的移动次数，以此对应存放于矩阵C中，矩阵C中元素随着代价聚合矩阵A₁的更新而更新，直到移动次数达到所规定的最大视差值d_max，最后的矩阵C即为初始视差矩阵，由此得到初始视差图；

第四步，得到最终视差图像并输出，由此完成双目视觉图像立体匹配：

将第一步中得到的匹配图像L换为待匹配图像R，待匹配图像R换为匹配图像L，重复第三步，求得第二个视差矩阵M，用胜者为王算法对矩阵C和矩阵M进行去噪，即遍历两幅图像，创建一个新的视差矩阵N，其大小与视差矩阵M相同，取初始视差矩阵C和视差矩阵M同一位置中数值最小的值，保存在视差矩阵N的对应位置上，然后利用改进的Mode滤波器对视差矩阵N进行滤波，所用公式(14)如下:

其中，m是大小为n×n像素的窗口中心点像素值，H为直方图统计，即通过一个大小为n×n像素的小窗口在矩阵N上滑动，首先判断窗口中心点像素值m的大小，当m≤2，即m＝0,1,2时，该窗口的中心点像素值取值不变，当2＜m≤d_max时，d_max为第一步中的最大视差值，统计窗口中各个像素值v的出现次数H(v)，取出现次数最多，即H_max次的像素值v来代替中心点像素值m，通过提前判断中心点像素值m的大小，避免无用的计算，此更新滤波过程结束后的视差矩阵N为最终视差图像，至此，将视差矩阵N即最终视差图像输出，由此完成双目视觉图像立体匹配。

上述一种双目视觉图像立体匹配方法，所述根据摄像头的标定参数对左右视图进行校正，采用的是Bouguet极线校正法。

上述一种双目视觉图像立体匹配方法，所述在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，这里的n＝3。

上述一种双目视觉图像立体匹配方法，所述w为梯度匹配代价值的权重，其中w＝5。

上述一种双目视觉图像立体匹配方法，所述通过一个大小为n×n像素的小窗口在矩阵N上滑动，该n＝3。

上述一种双目视觉图像立体匹配方法，所述对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，该初始的视差范围为[0，100]，分割阈值为20。

上述一种双目视觉图像立体匹配方法，所述将输入的图像分别分成大小均匀的Q₁×Q₂个子块，这里Q₁＝Q₂＝2。

本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：

(1)本发明方法在立体匹配代价求取的过程中，相对于现有区域立体匹配方法在匹配代价计算时参考项过少导致的匹配精度降低的缺陷。本发明方法通过加入了图像矩阵x、y、z轴三方向的梯度函数作为参考，增加了匹配代价的匹配精度使匹配结果更加合理；

(2)本发明方法将匹配代价值通过计算待匹配点与匹配点的邻域像素影响，使匹配的过程与上下文进行了联系，而且对邻域像素值参与计算时分配了相应的比例，减小了数据量，使计算更加快速，所求得的匹配代价值更具有参考性；

(3)本发明方法在矩阵移动的过程中，采取整个矩阵集体向左移动一列之后再参与计算的方法，大大减少了移动的次数，较现有的SAD、SSD、NCC算法，移动的次数由384×284×d_max次(图像大小为384×288像素)减少到移动次数只有d_max次，提高了算法的效率，降低了计算时间；

(4)本发明方法在视差求精的过程中，综合运用了胜者为王以及改进的Mode滤波器，不仅增加了匹配的精度，而且改进的Mode滤波器具有更快的速度，使整个计算过程具备更高的效率。

总之。本发明方法提出了一种快速的双目视觉图像立体匹配方法，首先根据设定的窗口大小提取带匹配点的邻域像素点信息，结合梯度信息进行初始匹配，得到初始视差图，再利用改进的Mode滤波器对初始视差图进行滤波得到最终视差图，克服了现有立体匹配方法对左右视图的光照变化或曝光时间变化敏感、匹配精度低、运算速度慢和实时性不足的缺点。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明方法的图像块的匹配代价示意图，其中：

图1(a)为图像块匹配代价的可靠子块示意图。

图1(b)为弱纹理区域中图像匹配代价的不可靠子块示意图。

图1(c)为噪声影响的图像匹配代价的不可靠子块示意图。

图2为本发明方法的流程示意图。

图3为本发明方法计算图像中各点匹配代价模板示意图。

图4(a)为本发明方法中匹配图像的初始形式。

图4(b)为本发明方法中匹配图像向左移动一列之后的形式。

具体实施方式

图1(a)所示实施例显示了图像块匹配代价的可靠子块示意图，其中横坐标代表偏移距离，纵坐标代表匹配代价，图中存在唯一的显著的最小值，则认为该子块可靠。

图1(b)所示实施例显示了弱纹理区域中图像匹配代价的不可靠子块示意图，其中横坐标代表偏移距离，纵坐标代表匹配代价，由于弱纹理区域的影响图中不存在唯一的显著的最小值，由此认为该子块不可靠。

图1(c)所示实施例显示了噪声影响的图像匹配代价的不可靠子块示意图，其中横坐标代表偏移距离，纵坐标代表匹配代价，由于图像噪声的影响图中不存在唯一的显著的最小值，由此认为该子块不可靠。

图2所示实施例表明，本发明方法步骤的流程是：双目视觉图像的采集与预处理→对双目视觉图像进行图像梯度矩阵求解→得到初始视差图→得到最终视差图像并输出，由此完成双目视觉图像立体匹配。

图3所示实施例显示了计算图像中各点匹配代价模板，即在立体匹配的像素值匹配代价以及梯度匹配代价计算时的运算模板，其中8个有右斜线的方块代表计算匹配代价时的参考像素点，1个有网格的方块代表当前待匹配像素点或者匹配像素点，其他空白方块代表图像矩阵内未参与此次运算的点，计算图像中各点匹配代价模板的过程是，在消去z轴的位置信息之后的矩阵上，以当前点为中心像素点，构造一个大小为n×n像素的窗口，将窗口内像素值的平均值作为像素值匹配代价或者梯度匹配代价。

图4(a)表明匹配图像的初始形式，其中各方块中显示的参量代表各点的像素值。

图4(b)表明匹配图像向左移动一列之后的形式，与图4(a)相比可见，图4(a)中的最左边的一列去掉不要，图4(a)中最右边一列即最后一列全部补0。

实施例1

本实施例的一种双目视觉图像立体匹配方法，步骤如下：

第一步，双目视觉图像的采集与预处理：

双目视觉图像的采集方法是通过两个在物理位置上相对平行的摄像头进行左右视图的提取；预处理的方法是，将提取的双目视觉图像归一化为384×288像素，然后根据摄像头的标定参数对左右视图进行校正，采用的是Bouguet极线校正法，消除畸变以及行对准，使得左右视图的成像原点坐标一致，对校正完的左右视图进行初始参数的设置，将左右视图分别设置为匹配图像L和待匹配图像R，并设置最大视差值d_max，具体方法是：

(1)图像分块：

对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，该初始的视差范围为[0，100]，分割阈值为20，将输入的图像分别分成大小均匀的Q₁×Q₂个子块，这里Q₁＝Q₂＝2；

(2)图像块匹配代价聚类：

采用平方差和算法的代价聚集策略聚集窗口内的匹配代价，首先对上述步骤(1)中各个图像子块内的像素在初始视差范围内进行匹配代价求解，求解方法如公式(1)所示，其中，F_x,y(o)为匹配代价函数，o为偏移距离，o的初始范围为[0,100]，R(x,y,z)、L(x,y,z)是待匹配图像R以及匹配图像L在点(x,y,z)处的像素值，

之后，对偏移距离为o时的图像子块q内各像素匹配代价进行求平均，并作为在偏移距离为o时的图像子块q的匹配代价，如公式(2)所示，

这里γ(x,y,o)是偏移距离为o的图像块的匹配代价，N_c、N_r分别为图像块的宽度和高度，以像素为单位；将偏移距离o从0到100遍历，重复上述步骤(2)，记录下每个视差值下的γ(x,y,o)，直到对所有的子块完成上述计算；

(3)选取视差值范围：

统计每个子块在不同偏移距离下的匹配代价，将其称作图像块的匹配代价图，若匹配代价图存在唯一的显著的最小值，则认为该子块可靠，选择匹配代价最小的偏移距离o作为子块的视差值d，否则认为该子块不可靠，进一步将该子块细分为Q₁×Q₂个子块，重复上述步骤(2)，选择被细分的子块与这些细分后的子块中视差值最相近的局部极小值点作为被细分的子块的视差，依照上述方法判断全部的子块，并判断当前子块的视差值是否全部相等或者子块的尺寸是否达到设定的分隔阈值，若是，则返回这些当前子块的视差值作为双目视觉图像的最大视差值d_max，否则，将最大视差值所在的子块继续细分为Q₁×Q₂个子块，初始偏移距离范围减半，重复上述步骤(2)的计算过程，直到当前子块的视差值全部相等或者子块的尺寸达到设定的阈值，由此完成设置最大视差值d_max；

第二步，对双目视觉图像进行图像梯度矩阵求解：

对上述第一步采集与预处理后的双目视觉图像进行图像梯度矩阵求解，过程是：根据下述公式(3)、(4)和(5)分别求出待匹配图像R在x、y、z轴三方向的梯度矩阵D_rx、D_ry、D_rz，x轴为待匹配图像R的横坐标轴，y轴为待匹配图像R的纵坐标轴，z轴为待匹配图像R的RGB通道的坐标轴，以下公式(3)、(4)和(5)中，R(i,j,k)代表待匹配图像R在点(i,j,k)处的像素值，其中，i、j、k分别代表点(i,j,k)对应于x、y、z坐标轴的坐标值，a、b分别代表匹配图像R在x、y坐标轴方向的最大下标值，k＝1,2,3，分别表示RGB通道的红色、绿色和蓝色通道，

同理，根据以下公式(6)、(7)、(8)求出匹配图像L在x、y、z轴三方向的梯度矩阵D_lx、D_ly、D_lz，L(i,j,k)代表匹配图像L在点(i,j,k)处的像素值，

第三步，得到初始视差图：

视差图是双目视觉图像的视差值的图像，初始视差图的生成方法如下：

(1)计算匹配代价：

1)计算像素值匹配代价：

根据上述第一步中得到的匹配图像L和待匹配图像R，计算对应图像中的每个像素对在z轴方向的平方差的和以消去z轴的位置信息，再用消去z轴位置信息的矩阵中点(x,y)在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，这里的n＝3，采用的计算公式(9)如下：

其中，d为匹配点与待匹配点在y轴坐标的差值，即匹配图像的移动次数，0≤d≤d_max；

2)计算梯度矩阵匹配代价：

同上述步骤1)，对第二步中获得的梯度矩阵进行梯度匹配代价计算，采用的计算公式(10)、(11)、(12)如下：

(2)计算代价聚合值矩阵：

将上述步骤(1)得到的结果利用公式(13)计算匹配图像L中点(x,y)的代价聚合值矩阵A(x,y,d)：

A(x,y,d)＝S(x,y,d)+w×(D_x(x,y,d)+D_y(x,y,d)+D_z(x,y,d)) (13)，

其中，w为梯度矩阵匹配代价值的权重，w＝5；

(3)匹配代价比较：

将匹配图像L以及上述第二步求出的匹配图像L的x、y、z轴三方向的梯度矩阵D_lx、D_ly、D_lz分别向左移动一列，最后一列都补零，得到四个新的矩阵L₁、D_lx1、D_ly1、D_lz1，将这四个新的矩阵带入上述步骤(1)的计算匹配代价和上述步骤(2)的计算匹配代价聚合值矩阵，得到新的代价聚合矩阵A₁，比较A₁与上述步骤(2)计算得到的代价聚合矩阵A，两矩阵中相应较小的元素保留在A₁中，并保存A₁中各元素获得时的匹配图像的移动次数，以此对应存放于矩阵C中，矩阵C中元素随着代价聚合矩阵A₁的更新而更新，直到移动次数达到所规定的最大视差值d_max，最后的矩阵C即为初始视差矩阵，由此得到初始视差图；

第四步，得到最终视差图像并输出，由此完成双目视觉图像立体匹配：

将第一步中得到的匹配图像L换为待匹配图像R，待匹配图像R换为匹配图像L，重复第三步，求得第二个视差矩阵M，用胜者为王算法对矩阵C和矩阵M进行去噪，即遍历两幅图像，创建一个新的视差矩阵N，其大小与视差矩阵M相同，取初始视差矩阵C和视差矩阵M同一位置中数值最小的值，保存在视差矩阵N的对应位置上，然后利用改进的Mode滤波器对视差矩阵N进行滤波，所用公式(14)如下:

其中，m是大小为n×n像素的窗口中心点像素值，H为直方图统计，即通过一个大小为n×n像素的小窗口在矩阵N上滑动，该n＝3，首先判断窗口中心点像素值m的大小，当m≤2，即m＝0,1,2时，该窗口的中心点像素值取值不变，当2＜m≤d_max时，d_max为第一步中的最大视差值，统计窗口中各个像素值v的出现次数H(v)，取出现次数最多，即H_max次的像素值v来代替中心点像素值m，通过提前判断中心点像素值m的大小，避免无用的计算，提高了算法的效率，此更新滤波过程结束后的视差矩阵N为最终视差图像，至此，将视差矩阵N即最终视差图像输出，由此完成双目视觉图像立体匹配。

Claims (7)

1.一种双目视觉图像立体匹配方法，其特征在于步骤如下：

第一步，双目视觉图像的采集与预处理：

双目视觉图像的采集方法是通过两个在物理位置上相对平行的摄像头进行左右视图的提取；预处理的方法是，将提取的双目视觉图像归一化为384×288像素，然后根据摄像头的标定参数对左右视图进行校正，消除畸变以及行对准，使得左右视图的成像原点坐标一致，对校正完的左右视图进行初始参数的设置，将左右视图分别设置为匹配图像L和待匹配图像R，并设置最大视差值d_max，具体方法是：

(1)图像分块：

对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，将输入的图像分别分成大小均匀的Q₁×Q₂个子块；

(2)图像块匹配代价聚类：

采用平方差和算法的代价聚集策略聚集窗口内的匹配代价，首先对上述步骤(1)中各个图像子块内的像素在初始视差范围内进行匹配代价求解，求解方法如公式(1)所示，其中，F_x,y(o)为匹配代价函数，o为偏移距离，表示当前视差，o的初始范围为[0,100]，R(x,y,z)、L(x,y,z)是待匹配图像R以及匹配图像L在点(x,y,z)处的像素值，

之后，对偏移距离为o时的图像子块q内各像素匹配代价进行求平均，并作为偏移距离为o时的图像子块q的匹配代价，如公式(2)所示，

这里γ(x,y,o)是偏移距离为o的图像块的匹配代价，N_c、N_r分别为图像块的宽度和高度，以像素为单位；将偏移距离o从0到100遍历，重复上述步骤(2)，记录下每个视差值下的γ(x,y,o)，直到对所有的子块完成上述计算；

(3)选取视差值范围：

统计每个子块在不同偏移距离下的匹配代价，将其称作图像块的匹配代价图，若匹配代价图存在唯一的显著的最小值，则认为该子块可靠，选择匹配代价最小的偏移距离o作为子块的视差值d，否则认为该子块不可靠，进一步将该子块细分为Q₁×Q₂个子块，重复上述步骤(2)，选择被细分的子块与这些细分后的子块中视差值最相近的局部极小值点作为被细分的子块的视差，依照上述方法判断全部的子块，并判断当前子块的视差值是否全部相等或者子块的尺寸是否达到设定的分隔阈值，若是，则返回这些当前子块的视差值作为双目视觉图像的最大视差值d_max，否则，将最大视差值所在的子块继续细分为Q₁×Q₂个子块，初始偏移距离范围减半，重复上述步骤(2)的计算过程，直到当前子块的视差值全部相等或者子块的尺寸达到设定的阈值，由此完成设置最大视差值d_max；

第二步，对双目视觉图像进行图像梯度矩阵求解：

对上述第一步采集与预处理后的双目视觉图像进行图像梯度矩阵求解，过程是：根据下述公式(3)、(4)和(5)分别求出待匹配图像R在x、y、z轴三方向的梯度矩阵D_rx、D_ry、D_rz，x轴为待匹配图像R的横坐标轴，y轴为待匹配图像R的纵坐标轴，z轴为待匹配图像R的RGB通道的坐标轴,以下公式(3)、(4)和(5)中，R(i,j,k)代表待匹配图像R在点(i,j,k)处的像素值，其中，i、j、k分别代表点(i,j,k)对应于x、y、z坐标轴的坐标值，a、b分别代表匹配图像R在x、y坐标轴方向的最大下标值，k＝1,2,3，分别表示RGB通道的红色、绿色和蓝色通道，

同理，根据以下公式(6)、(7)、(8)求出匹配图像L在x、y、z轴三方向的梯度矩阵D_lx、D_ly、D_lz，L(i,j,k)代表匹配图像L在点(i,j,k)处的像素值，

第三步，得到初始视差图：

视差图是双目视觉图像的视差值的图像，初始视差图的生成方法如下：

(1)计算匹配代价：

1)计算像素值匹配代价：

根据上述第一步中得到的匹配图像L和待匹配图像R，计算对应图像中的每个像素对在z轴方向的平方差的和以消去z轴的位置信息，再用消去z轴位置信息的矩阵中点(x,y)在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，采用的计算公式(9)如下：

其中，d为匹配点与待匹配点在y轴坐标的差值，即匹配图像的移动次数，0≤d≤d_max；

2)计算梯度矩阵匹配代价：

同上述步骤1)，对第二步中获得的梯度矩阵进行梯度匹配代价计算，采用的计算公式(10)、(11)、(12)如下：

(2)计算代价聚合值矩阵：

将上述步骤(1)得到的结果利用公式(13)计算匹配图像L中点(x,y)的代价聚合值矩阵A(x,y,d)：

A(x,y,d)＝S(x,y,d)+w×(D_x(x,y,d)+D_y(x,y,d)+D_z(x,y,d)) (13)，其中，w为梯度矩阵匹配代价值的权重；

(3)匹配代价比较：

将匹配图像L以及上述第二步求出的匹配图像L的x、y、z轴三方向的梯度矩阵D_lx、D_ly、D_lz分别向左移动一列，最后一列都补零，得到四个新的矩阵L₁、D_{lx 1}、D_{ly 1}、D_{lz 1}，将这四个新的矩阵带入上述步骤(1)的计算匹配代价和上述步骤(2)的计算匹配代价聚合值矩阵，得到新的代价聚合矩阵A₁，比较A₁与上述步骤(2)计算得到的代价聚合矩阵A，两矩阵中相应较小的元素保留在A₁中，并保存A₁中各元素获得时的匹配图像的移动次数，以此对应存放于矩阵C中，矩阵C中元素随着代价聚合矩阵A₁的更新而更新，直到移动次数达到所规定的最大视差值d_max，最后的矩阵C即为初始视差矩阵，由此得到初始视差图；

第四步，得到最终视差图像并输出，由此完成双目视觉图像立体匹配：

将第一步中得到的匹配图像L换为待匹配图像R，待匹配图像R换为匹配图像L，重复第三步，求得第二个视差矩阵M，用胜者为王算法对矩阵C和矩阵M进行去噪，即遍历两幅图像，创建一个新的视差矩阵N，其大小与视差矩阵M相同，取初始视差矩阵C和视差矩阵M同一位置中数值最小的值，保存在视差矩阵N的对应位置上，然后利用改进的Mode滤波器对视差矩阵N进行滤波，所用公式(14)如下:

其中，m是大小为n×n像素的窗口中心点像素值，H为直方图统计，即通过一个大小为n×n像素的小窗口在矩阵N上滑动，首先判断窗口中心点像素值m的大小，当m≤2，即m＝0,1,2时，该窗口的中心点像素值取值不变，当2＜m≤d_max时，d_max为第一步中的最大视差值，统计窗口中各个像素值v的出现次数H(v)，取出现次数最多，即H_max次的像素值v来代替中心点像素值m，通过提前判断中心点像素值m的大小，避免无用的计算，此更新滤波过程结束后的视差矩阵N为最终视差图像，至此，将视差矩阵N即最终视差图像输出，由此完成双目视觉图像立体匹配。

2.根据权利要求1所述一种双目视觉图像立体匹配方法，其特征在于：所述根据摄像头的标定参数对左右视图进行校正，采用的是Bouguet极线校正法。

3.根据权利要求1所述一种双目视觉图像立体匹配方法，其特征在于：所述在n×n邻域中的平均值作为像素值匹配代价S(x,y,d)，这里的n＝3。

4.根据权利要求1所述一种双目视觉图像立体匹配方法，其特征在于：所述w为梯度匹配代价值的权重，其中w＝5。

5.根据权利要求1所述一种双目视觉图像立体匹配方法，其特征在于：所述通过一个大小为n×n像素的小窗口在矩阵N上滑动，该n＝3。

6.根据权利要求1所述一种双目视觉图像立体匹配方法，其特征在于：所述对于输入的匹配图像L和待匹配图像R设置初始的视差范围和分割阈值，该初始的视差范围为[0，100]，分割阈值为20。

7.根据权利要求1所述一种双目视觉图像立体匹配方法，其特征在于：所述将输入的图像分别分成大小均匀的Q₁×Q₂个子块，这里Q₁＝Q₂＝2。