CN103366354A - 用于立体匹配的方法和系统 - Google Patents

Abstract

公开了一种用于立体匹配的方法和系统。该用于立体匹配的方法，包括匹配代价计算步骤、代价聚集步骤、视差计算步骤、以及视差优化步骤，其中匹配代价计算步骤利用左图像和右图像中每个像素的所有分量通道的强度值的水平梯度和竖直梯度，获取左视差空间图像和右视差空间图像。利用本发明，可以快速获取精确的视差图。

Description

用于立体匹配的方法和系统

技术领域

本发明涉及图像处理领域，更具体地涉及一种用于立体匹配的方法和系统。

背景技术

立体匹配是对某一场景拍摄两个以上图像，通过精确地找出图像间的匹配像素来估计该场景的三维(3D)模型，并且将这些图像间的匹配像素的二维(2D)位置转换为3D深度的处理。在简单的成像配置(例如，两只眼睛或两个相机向前直视的成像配置)中，两只眼睛或两个相机之间的视差与该两只眼睛或两个相机与观察对象之间的距离(即，观察对象在所拍摄的图像中的立体深度)成反比。所以，视差图通常被用来描述所拍摄图像中的像素的立体深度。

在传统的用于立体匹配的算法中，通常将分别由两个眼睛或两个相机获取的两个图像中的一个图像作为参考图像、另一个图像作为目标图像，并且输出目标图像相对于参考图像的视差图。

尽管存在很多用于立体匹配的算法，但是它们一般都包括以下几个步骤：匹配代价计算步骤、代价聚集(cost aggregation)步骤、视差计算步骤、以及视差优化步骤。其中：

匹配代价计算步骤计算与最小视差值(d_min)到最大视差值(d_max)之间的每个视差值相对应的参考图像和目标图像之间的像素差。从d_min到d_max之间的所有视差值和与这些视差值相对应的所有像素差形成了初始的视差空间图像(DSI)。传统的匹配代价计算方法包括：1)计算强度差的平方(SD)的方法和计算光强差的绝对值(AD)的方法(这两种方法对噪声都比较敏感)。2)诸如分级变换和统计变换之类的非参数方法(这些方法对噪声不太敏感，但是计算时间较长)。

代价聚集步骤通过对与每个视差值相对应的匹配代价平面上的支持窗口中的匹配代价求和，来获得更可靠的匹配代价。最常用的代价聚集方法是对匹配代价平面上的固定窗口中的匹配代价求和。但是该方法在很多方面都存在不足，因为1)其忽略了图像上的像素的立体深度的不连续性；以及2)其没有对图像中的模糊区域进行处理。所以，理想的代价聚集方法应该使用这样的支持窗口，该支持窗口包括匹配代价平面上的与同一视差值相对应的尽可能多的点。为此，提出了诸如可移动窗口、多窗口、以及可变窗口之类的支持窗口。但是，所有的这些窗口都不能获得令人满意的结果，并且它们的效率不高。

视差计算步骤根据初始的DSI获取图像的视差图。通常，对于拍摄一个场景所获得的图像上的某个像素点，选择与该像素点相关联的最小匹配代价聚集值所对应的视差值作为该像素点的视差值。

视差优化步骤对所获取的视差值进行后处理，进一步包括子像素优化步骤、遮挡检测步骤、以及遮挡填充步骤。传统的遮挡填充方法包括：1)选择处于同一像素行的在空间上最接近的未被遮挡的像素的最低视差值作为被遮挡的像素的视差值(该方法会产生条纹状的伪像)；以及2)使用双边滤波器对被遮挡的区域进行平滑处理(该方法处理速度比较慢)。

发明内容

鉴于以上所述的问题，本发明提供了一种新颖的用于立体匹配的方法和系统。

根据本发明实施例的用于立体匹配的方法，包括匹配代价计算步骤、代价聚集步骤、视差计算步骤、以及视差优化步骤，其中匹配代价计算步骤利用左图像和右图像中每个像素的所有分量通道的强度值的水平梯度和竖直梯度，计算以左图像为参考图像的左视差空间图像和以右图像为参考图像的右视差空间图像。

根据本发明实施例的用于立体匹配的系统，包括匹配代价计算单元、代价聚集单元、视差计算单元、以及视差优化单元，其中匹配代价计算单元用于利用左图像和右图像中每个像素的所有分量通道的强度值的水平梯度和竖直梯度，计算以左图像为参考图像的左视差空间图像和以右图像为参考图像的右视差空间图像。

利用本发明，可以快速获取精确的视差图。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出了根据本发明实施例的用于立体匹配的方法/系统的示意图；

图2示出了由匹配代价计算单元执行的匹配代价计算步骤的示意图；

图3示出了确定左边界像素x₁和右边界像素x₂的过程；

图4示出了由视差计算单元和视差优化单元执行的视差计算和优化步骤的过程；以及

图5示出了二次多项式的曲线图。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

与传统的立体匹配方法一样，本发明提出的用于立体匹配的方法也包括以下四个步骤：匹配代价计算步骤、代价聚集步骤、视差计算步骤、和视差优化步骤。

图1示出了根据本发明实施例的用于立体匹配的方法/系统的示意图。具体地，在根据本发明实施例的用于立体匹配的方法/系统中，使用了能够更好地平衡对噪声的敏感度和计算复杂度的匹配代价计算方法和基于边缘感知(edge aware)的支持窗口的代价聚集方法。另外，在根据本发明实施例的视差优化单元/步骤中，使用二次多项式内插来进行子像素优化处理，使用交叉检查法来进行遮挡检测处理，并且使用边缘感知的中值滤波器来进行遮挡填充处理。

根据本发明实施例的用于立体匹配的方法/系统从一对校正图像(rectified images)生成视差图。在标准的校正几何(rectified geometry)中，视差是一对校正图像中的两个相应像素的x坐标之间的差，但是由于视差与像素深度(下文中可以简称为“深度”)成反比，所以视差通常被用来表示像素深度。由于每个像素都有其自身的深度，所以视差图将形成图像d(x，y)。

具体地，根据本发明实施例的用于立体匹配的方法/系统将左图像、右图像、以及预定的最大视差值d_max和最小视差值d_min作为输入，并且输出左图像的视差图(下面以获取左图像的视差图为例进行说明。但是，相关领域技术人员将明白，可以通过类似的处理获取右图像的视差图)。需要说明的是，这里所说的最大视差值和最小视差值代表预先规定的根据本发明实施例的用于立体匹配的方法能够处理的视差值范围。

下面结合附图，详细描述根据本发明实施例的用于立体匹配的系统中的各个单元所执行的用于立体匹配的方法中的各个步骤。

匹配代价计算

该步骤用于计算两个像素之间的匹配代价，以找出两个像素之间的对应关系。图2示出了根据本发明实施例的匹配代价计算步骤的示意图。如图2所示，对于左图像I_L(x，y)和介于最小视差值d_min和最大视差值d_max之间的任一视差值d，匹配代价C₀(x，y，d)被如下计算出来：

当x-d≥1时

$C_0(x,y,d)=(1-{\mathrm{\α}}_1-{\mathrm{\α}}_2)\min (\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}|I_L^i(x,y)-I_R^i(x-d,y)|}{c},\mathrm{\τ})+$

${\mathrm{\α}}_1\min \left(\right|{\▿}_x{I}_L(x,y)-{\▿}_x{I}_R(x-d,y)|,{\mathrm{\τ}}_1)+,$

${\mathrm{\α}}_2\min \left(\right|{\▿}_y{I}_L(x,y)-{\▿}_y{I}_R(x-d,y)|,{\mathrm{\τ}}_2)$

当x≤d时，

$C_0(x,y,d)=(1-{\mathrm{\α}}_1-{\mathrm{\α}}_2)\min (\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left|I_L^i(x,y)\right|}{c},\mathrm{\τ})+$

${\mathrm{\α}}_1\min \left(\right|{\▿}_x{I}_L(x,y)|,{\mathrm{\τ}}_1)+.$

${\mathrm{\α}}_2\min \left(\right|{\▿}_y{I}_L(x,y)|,{\mathrm{\τ}}_2)$

在以上公式中，表示左图像中的像素(x，y)的i通道的强度值，

表示右图像中的像素(x-d，y)的i通道的强度值。

表示左图转换成的灰度图像在像素(x，y)处的水平梯度，

表示右图转换成的灰度图像在像素(x-d，y)处的水平梯度，

表示左图转换成的灰度图像在像素(x，y)处的竖直梯度，表示右图转换成的灰度图像在像素(x-d，y)处的竖直梯度。C表示通道数目(对于RGB图像，C＝3；对于灰度图像，C＝1)。另外，以上公式中的参数被设置如下：

α₁＝0.75；

α₂＝0.14；

τ＝9/255；

τ₁＝2/255；

τ₂＝2/255；

对于右图像I_R(x，y)，匹配代价C’₀(x，y，d)被如下简单地计算出来：

当x+d≤w时，

C′₀(x，y，d)＝C₀(x+d，y，d)

当x+d＞w时，

${C^{\′}}_0(x,y,d)=(1-{\mathrm{\α}}_1-{\mathrm{\α}}_2)\min (\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left|I_R^i(x,y)\right|}{c},\mathrm{\τ})+$

${\mathrm{\α}}_1\min \left(\right|{\▿}_x{I}_R(x,y)|,{\mathrm{\τ}}_1)+$

${\mathrm{\α}}_2\min \left(\right|{\▿}_y{I}_R(x,y)|,{\mathrm{\τ}}_2)$

以上计算出的匹配代价将形成尺寸为h*w*(d_max-d_min+1)的两个视差空间图像(DSI)，其中h表示做图像和右图像的高度，w表示左图像和右图像的宽度。

代价聚集步骤

该步骤用于通过在DSI中的支持窗口上对匹配代价进行求和或平均来对匹配代价进行聚集。对于每个视差值d，分别沿着水平方向和竖直方向对C₀(x，y，d)和C’₀(x，y，d)执行双行程一维(two-pass 1D)代价聚集。下面以左视差空间图像(DSI)为例进行说明。对于左视差空间图像(DSI)中与视差值d相对应的匹配代价平面，首先执行水平行程的代价聚集，然后对水平行程产生的结果应用竖直行程的代价聚集。首先，对水平行程的处理过程进行说明。对于左视差空间图像中与视差值d相对应的匹配代价平面中的像素(x，y)，其聚集代价是支持窗口(即，代价聚集支持窗口)上的匹配代价的平均值：

$C_1(x,y,d)=\frac{\underset{u=x_1}{\overset{x_2}{\mathrm{\Σ}}}{C}_0(u,y,d)}{x_2-x_1+1}$

其中，x₁是支持窗口的左边界像素的横坐标值，x₂是支持窗口的右边界像素的横坐标值。理想的支持窗口应该包括与视差值d相对应的匹配代价平面中的同一深度的尽可能多的点。深度在支持窗口的边界处发生改变。根据本发明实施例的用于立体匹配的方法通过梯度累加来检测边界。处于与视差值d相对应的匹配代价平面中的像素(x，y)周围、且横坐标处于以上所述边界像素的横坐标之间的像素将被包括在支持窗口中。

图3示出了确定左边界像素的横坐标值x₁和右边界像素的横坐标值x₂的过程。首先，对于左边界像素的横坐标值x₁，定义以下函数来判断像素(u，y)是否具有与(x，y)相同的深度。如果T_1x(u，y)≤0，则认为像素(u，y)与像素(x，y)具有相同的深度，否则不认为它们具有相同的深度。

$T_{1x}(u,y)=(x-u)+\mathrm{\α}\underset{j=u+1}{\overset{x}{\mathrm{\Σ}}}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left|{\▿}_x{I}^i(j,y)\right|-\mathrm{\β}$

其中，

表示左图像中的像素(j，y)处的i通道的水平梯度。参数α和β控制根据本发明实施例的用于立体匹配的方法对支持窗口的边界的敏感性。这里，参数α和β的值被设置如下：

$\mathrm{\α}=\frac{10}{3}(d_{\max }-d_{\min });$

$\mathrm{\β}=\sqrt{3}(d_{\max }-d_{\min }).$

对于右边界像素，类似地定义以下函数。如果T_2x(u，y)≤0，则认为像素(u，y)与像素(x，y)具有相同的深度，否则不认为它们具有相同的深度。

$T_{2x}(u,y)=(u-x)+\mathrm{\α}\underset{j=x+1}{\overset{u}{\mathrm{\Σ}}}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left|{\▿}_x{I}^i(j,y)\right|-\mathrm{\β}$

为了使支持窗口包括同一深度的尽可能多的点，使得：

x₁＝min{u|1≤u＜x and T_1x(u，y)≤0}；

x₂＝max{u|x＜u≤w and T_2x(u，y)≤0}。

这样，即得到了针对与视差值d相对应的匹配代价平面中的像素(x，y)的x方向的支持窗口。在支持窗口上进行匹配代价的平均，以得到聚合代价C₁(x，y，d)。对于右视差空间图像，也使用相同的方法来获取支持窗口并计算聚合代价C’₁(x，y，d)。

实际上，也可以使用递归公式来得到T_1x和T_2x：

$T_{1x}(u,y)=\left\{\begin{array}{c}1+\mathrm{\&alpha;}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\left|{\&dtri;}_x{I}^i(u+1,y)\right|+T_{1x}(u+1,y),1\&le;u<x\\ -\mathrm{\&beta;},u=x\end{array}\right.;$

$T_{2x}(u,y)=\left\{\begin{array}{c}1+\mathrm{\&alpha;}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\left|{\&dtri;}_x{I}^i(u,y)\right|+T_{2x}(u-1,y),x<u\&le;w\\ -\mathrm{\&beta;},u=x\end{array}\right..$

现在，描述竖直行程的处理。具体地，竖直行程的处理被应用于水平行程得到的结果：

$C(x,y,d)=\frac{\underset{y_i=y_1}{\overset{y_2}{\mathrm{\&Sigma;}}}{C}_1(x,y_i,d)}{y_2-y_1+1}$

其中，

y₁＝min{v|1≤v＜y and T_1y(x，v)≤0}；

y₂＝max{v|y＜v≤h and T_2y(x，v)≤0}。

$T_{1y}(x,v)=(y-v)+\mathrm{\&alpha;}\underset{j=v+1}{\overset{y}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\left|{\&dtri;}_y{I}^i(x,j)\right|-\mathrm{\&beta;};$

$T_{2y}(x,v)=(v-y)+\mathrm{\&alpha;}\underset{j=y+1}{\overset{v}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{c}{\mathrm{\&Sigma;}}}\left|{\&dtri;}_y{I}^i(x,j)\right|-\mathrm{\&beta;}.$

需要说明的是，这里我们也依据T_1y(x，v)≤0和T_2y(x，v)≤0来判断像素(x，v)与像素(x，y)具有相同的深度，并且窗口大小是满足这个条件的所有点。

在右视差空间图像(DSI)中执行相同运算，以获取C’(x，y，d)。在遍历包括最小视差值和最大视差值、以及介于最小视差值和最大视差值之间的所有视差值d执行以上步骤后，根据本发明实施例的用于立体匹配的方法进行到下一步骤，即从DSI计算视差并且对视差进行优化。

视差计算和优化

图4示出了视差计算和优化的过程。根据本发明实施例的用于立体匹配的方法简单地选择每个像素处的与最小聚合代价相对应的视差作为该像素的视差值(这被称为胜者全拿(WTA)法)。

$d_0(x,y)=\underset{d}{\arg \min }\left(C(x,y,d)\right),$

${d^{\&prime;}}_0(x,y)=\underset{d}{\arg \min }\left(C^{\&prime;}(x,y,d)\right).$

其中，d₀(x，y)表示左图像中的像素(x，y)的初始视差值，d′₀(x，y)表示右图像中的像素(x，y)的初始视差值。

然后，根据本发明实施例的用于立体匹配的方法应用子像素优化来减小由于离散代价函数导致的视差不连续性。根据本发明实施例的用于立体匹配的方法通过二次多项式内插，利用像素(x，y)处的与初始视差值d₀及其相邻的两个视差值(d₀-1)和(d₀+1)相对应的匹配代价来估计像素(x，y)的中间视差值，其中d₀是具有最小匹配代价的视差值，另两个视差值是与d₀相邻的视差值。

图5示出了以下的二次多项式的曲线图：

f(x)＝ax²+bx+c

利用三点可以唯一地确定以上二次多项式表示的抛物线，并且当

时，f(x)将具有最小值。给定d₀，f(d₀)，f(d₀-1)和f(d₀+1)(其中，f(d₀)，f(d₀-1)和f(d₀+1)分别是与视差值d₀、(d₀-1)和(d₀+1)相对应的匹配代价)，可以如下计算参数a和b：

$a=\frac{f(d_0+1)+f(d_0-1)-2f\left(d_0\right)}{2},$

$b=-d_0(f(d_0+1)+f(d_0-1)-2f\left(d_0\right))+\frac{f(d_0+1)-f(d_0-1)}{2}.$

所以，优化后的视差值为：

$d_1=\frac{-b}{2a}=d_0-\frac{f(d_0+1)-f(d_0-1)}{2(f(d_0+1)+f(d_0-1)-2f\left(d_0\right))}$

另一方面，离散的左视差图和离散的右视差图被用来进行用于遮挡检测的交叉检查。也就是说，如果右图像中的像素(x，y)处的中间视差值与左图像中的像素(x，y)处的中间视差值相同，则认为像素(x，y)处于被遮挡区域。如果使用L(x，y)表示二进制遮挡图(1：被遮挡的像素，0：未遮挡的像素)，则

为了填充被遮挡的区域，根据本发明实施例的用于立体匹配的方法使用了边缘感知的中值滤波器(edge-aware median filter)。用于填充被遮挡的区域的处理被分为两个步骤：

步骤1：对于每个被遮挡的像素，找出位于同一条扫描线上的在空间上最接近的未被遮挡的像素的最低视差值：

$d_2(x,y)=\left\{\begin{array}{c}\min (d_{1l}(x,y),d_{1r}(x,y)),\mathrm{ifL}(x,y)=1\\ d_1(x,y),\mathrm{ifL}(x,y)=0\end{array}\right.$

其中

d_1l(x，y)＝d₁(max{x_i|1≤x_i＜x andL(x_i，y)＝0}，y)，

d_1r(x，y)＝d₁(min{x_i|x＜x_i≤w and L(x_i，y)＝0}，y)。

步骤2：将双行程一维边缘感知的中值滤波器应用于这些被遮挡的像素：

$d_x(x,y)=\underset{x_1\&le;x_i\&le;x_2}{\mathrm{median}}\left(d_2(x_i,y)\right),$

$d(x,y)=\underset{y_1\&le;y_i\&le;y_2}{\mathrm{median}}\left(d_x(x,y_i)\right),$

这意味着水平窗口上的中值首先被设置为像素的视差值，然后竖直窗口上的中值被设置为最终视差值。用于每个像素的窗口尺寸的计算类似于代价聚集的计算。

由于根据本发明实施例的用于立体匹配的方法所使用的边缘感知的支持窗口比其他代价累加方法更强大(尤其是在边界处)，所以根据本发明实施例的用于立体匹配的方法可以产生非常准确的视差图。

另外，由于根据本发明实施例的用于立体匹配的方法计算复杂度较低，所以更加高效。再者，由于根据本发明实施例的用于立体匹配的方法中的所有步骤都是用局部运算符，所以这些步骤可以被并行实现。并且根据本发明实施例的用于立体匹配的方法能够很好地填充遮挡区域。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (10)

1.一种用于立体匹配的方法，包括匹配代价计算步骤、代价聚集步骤、视差计算步骤、以及视差优化步骤，其中所述匹配代价计算步骤利用左图像和右图像中每个像素的所有分量通道的强度值的水平梯度和竖直梯度，获取左视差空间图像和右视差空间图像。

2.根据权利要求1所述的用于立体匹配的方法，其特征在于，所述代价聚集步骤包括：

对于左/右视差空间图像中的与任意视差值d相对应的匹配代价平面中的任意像素(x，y)，通过梯度累加方法，利用左/右图像中像素(x，y)周围的多个像素的所有通道的强度值的水平梯度和竖直梯度，确定用于像素(x，y)的代价聚集支持窗口的范围；

利用用于像素(x，y)的代价聚集支持窗口的范围中的像素的匹配代价，计算与视差值d相对应的匹配代价平面中的像素(x，y)处的聚集代价。

3.根据权利要求2所述的用于立体匹配的方法，其特征在于，对于左/右图像中的任意像素(x，y)，所述视差计算步骤将与像素(x，y)处的最小聚集代价相对应的视差值作为像素(x，y)的视差值d₀。

4.根据权利要求3所述的用于立体匹配的方法，其特征在于，所述视差优化步骤包括：

子像素优化子步骤，用于通过二次多项式内插，利用像素(x，y)的视差值d₀、视差值d₀的两个相邻视差值(d₀-1)和(d₀+1)、以及像素(x，y)处的分别与视差值d₀、(d₀-1)和(d₀+1)相对应的匹配代价，估计像素(x，y)的优化视差值d₁。

5.根据权利要求3所述的用于立体匹配的方法，其特征在于，所述视差优化步骤包括：

遮挡检测子步骤，用于找出左/右优化视差图中的被遮挡的区域；

遮挡填充子步骤，用于利用左优化视差图和右优化视差图中与被遮挡的每个像素相对应的视差值中较小的一个视差值、以及未被遮挡的每个像素的视差值组成遮挡图，利用中值滤波器对遮挡图中的用于每个被遮挡的像素的代价聚集支持窗口的范围内的像素的视差值进行中值滤波，以获取被遮挡的每个像素的最终视差值。

6.一种用于立体匹配的系统，包括匹配代价计算单元、代价聚集单元、视差计算单元、以及视差优化单元，其中所述匹配代价计算单元用于利用左图像和右图像中每个像素的所有分量通道的强度值的水平梯度和竖直梯度，获取左视差空间图像和右视差空间图像。

7.根据权利要求6所述的用于立体匹配的系统，其特征在于，所述代价聚集单元包括：

窗口获取单元，用于对于左/右视差空间图像中的与任意视差值d相对应的匹配代价平面中的任意像素(x，y)，通过梯度累加方法，利用左/右图像中像素(x，y)周围的多个像素的所有通道的强度值的水平梯度和竖直梯度，确定用于像素(x，y)的代价聚集支持窗口的范围；

代价聚集单元，用于利用用于像素(x，y)的代价聚集支持窗口的范围中的像素的匹配代价，计算与视差值d相对应的匹配代价平面中的像素(x，y)处的聚集代价。

8.根据权利要求7所述的用于立体匹配的系统，其特征在于，对于左/右图像中的任意像素(x，y)，所述视差计算单元将与像素(x，y)处的最小聚集代价相对应的视差值作为像素(x，y)的视差值d₀。

9.根据权利要求8所述的用于立体匹配的系统，其特征在于，所述视差优化单元包括：

子像素优化子单元，用于通过二次多项式内插，利用像素(x，y)的视差值d₀、视差值d₀的两个相邻视差值(d₀-1)和(d₀+1)、以及像素(x，y)处的分别与视差值d₀、(d₀-1)和(d₀+1)相对应的匹配代价，估计像素(x，y)的优化视差值d₁。

10.根据权利要求8所述的用于立体匹配的系统，其特征在于，所述视差优化单元包括：

遮挡检测子单元，用于找出左/右优化视差图中的被遮挡的区域；

遮挡填充子单元，用于利用左优化视差图和右优化视差图中与被遮挡的每个像素相对应的视差值中较小的一个视差值、以及未被遮挡的每个像素的视差值组成遮挡图，利用中值滤波器对遮挡图中的用于每个被遮挡的像素的代价聚集支持窗口的范围内的像素的视差值进行中值滤波，以获取被遮挡的每个像素的最终视差值。

Images