CN103226821B - 基于视差图像素分类校正优化的立体匹配方法 - Google Patents

Abstract

本发明涉及立体视觉技术领域，具体为一种立体匹配方法，解决现有立体匹配方法存在视差校正优化不够精确的问题。一种基于视差图像素分类校正优化的立体匹配方法，包括如下步骤：（Ⅰ）以左、右视图为参考，基于灰度差和梯度相结合的方法来进行代价聚合，得到左、右视差图，并经过左右一致性检测生成初始可靠视差图；（Ⅱ）进行相关置信度检测和弱纹理区域检测，将像素分类为稳定匹配像素点、不稳定匹配像素点、闭塞区域像素点、弱纹理区域像素点；（Ⅲ）对不稳定匹配点采用基于改进的自适应权重算法进行校正，对闭塞区域点和弱纹理区域点采用误匹配像素校正方法进行校正；（Ⅳ）将校正完的视差图再通过基于分割的算法进行优化，得到稠密视差图。

Description

基于视差图像素分类校正优化的立体匹配方法

技术领域

本发明涉及立体视觉技术领域，具体为一种基于视差图像素分类校正优化的立体匹配方法。

背景技术

立体匹配是机器视觉研究领域的热点和难点，在立体视觉领域中有着广泛的应用和前景。立体匹配是通过对三维空间中的同一场景在不同视点下的立体图像建立一一对应关系，来得到该场景视差映射的过程。

立体匹配的难点主要是消除匹配图像的歧义性和模糊性。歧义性和模糊性是由于采集图像时的噪声以及场景自身的剧烈变化、弱纹理以及重复纹理区域造成的。为了应对这些病态的问题，立体匹配算法采用了不同的优化方式，依据优化方式的分类目前主要有两种不同算法：局部匹配算法和全局匹配算法。全局匹配算法是建立一个全局的能量代价函数，它由数据项、平滑项和依据不同的场景加入的一些其他惩罚项构成，经过全局信息约束，在全局范围内进行能量函数的最优化求解，得到全局视差图，它具有对局部信息敏感性小且有很高的精确性的特点，但是存在计算代价大、计算耗时多的缺点；局部匹配算法在选定的窗口内进行，建立只包含数据项的能量代价函数，再进行优化求解，该方法具有耗时少、计算简单的优点，但是由于窗口大小、形状以及代价函数设定具有局限性，所以会造成在图像深度不连续区域、闭塞区域以及弱纹理重复纹理区域出现误匹配的情况。

所以，现有的立体匹配方法中存在视差校正优化不够精确的缺点，因此，为改善匹配精度，有必要对现有的立体匹配方法进行改进。

发明内容

本发明为了解决现有的立体匹配方法存在的视差校正优化不够精确的问题，提供了一种基于视差图像素分类校正优化的立体匹配方法。

本发明是采用如下技术方案实现的：

一种基于视差图像素分类校正优化的立体匹配方法，包括如下步骤：

（Ⅰ）、进行初始视差值的估计：分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，得出左、右视差图，再经过左右一致性检测（交叉验证）剔除误匹配点，得到初始可靠视差图。

具体如下：

分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，并依据场景调节它们的权重，具体如式（1）：C(x,y,d)=ω₁*C_SAD(x,y,d)+ω₂*C_GRAD(x,y,d)，    （1）

其中：

$C_{\mathrm{SAD}}(x,y,d)=\underset{(i,j)\∈N(x,y)}{\mathrm{\Σ}}|I_1(i,j)-I_2(i+d,j)|,---\left(2\right)$

$C_{\mathrm{GRAD}}(x,y,d)=\underset{(i,j)\∈\mathrm{Nx}(x,y)}{\mathrm{\Σ}}|{\▿}_x{I}_1(i,j)-{\▿}_x{I}_2(i+d,j)|+\underset{(i,j)\∈\mathrm{Ny}(x,y)}{\mathrm{\Σ}}|\▿y{I}_1(i,j)-\▿y{I}_2(i+d,j)|$

（3）

在式（2）和式（3）中，C(x,y,d)为聚合代价，C_SAD(x,y,d)为灰度差聚合项，C_GRAD(x,y,d)为基于梯度聚合项，ω₁和ω₂为权重，依据场景特征设置。d为初始设置的视差值，d∈[d_min,d_max]；N(x,y)表示像素点(x,y)的聚合窗，I₁(i,j)为参考图(x,y)的灰度值，I₂(i,j)为目标图(x,y)的灰度值，和分别表示在此点指向右和底部的梯度值，Nx(x,y)和Ny(x,y)为它们的区间；依据匹配代价计算方式，在d∈[d_min,d_max]范围内进行聚合代价的计算，采用胜者为王策略(Winner Take All，WTA)评价结果，通过式（4）得到点(x,y)处视差值，

$d(x,y)=\arg \underset{d\∈[d\min ,d\max ]}{\min }\left(C(x,y,d)\right),---\left(4\right);$

由此分别得到左、右视差图d₁₂(x,y)、d₂₁(x,y)。

对得到的左、右视差图采用左右一致性检测（即交叉验证），具体如式（5）：

|d₁₂(x,y)-d₂₁(x+d₁₂(x,y),y)|<T（T取值为1），    （5）；

对于左视差图的每一个像素点，如果满足上式，则说明满足左右一致性检测，否则设置此点的视差值为0；

经过交叉验证检测后，得到初始可靠视差图。

（Ⅱ）、进行匹配像素的分类：对得到的初始可靠视差图中满足交叉验证的像素点进行相关置信度检测，得到视差值稳定匹配像素点和视差值不稳定匹配像素点；对初始可靠视差图中不满足交叉验证的像素点进行弱纹理区域检测，得到闭塞区域像素点和弱纹理区域像素点。

具体如下：

相关置信度检测：假设像素点的最优视差的匹配代价为次最优视差的匹配代价为则相关置信度定义为式（6）：

$T_{\mathrm{CC}}=\left|\frac{C_L^1-C_L^2}{C_L^1}\right|,---\left(6\right)$

设α_s为阈值；如果T_CC>α_s，则认为此匹配点是稳定匹配像素点，视差值稳定可靠；否则被认为是不稳定匹配像素点，它的视差值也被认为是不稳定的；

弱纹理区域检测：首先使用均值漂移进行图像分割（分割步骤着重在基于分割的视差优化过程中介绍），得到不同区域的图像，并取区域的像素点数N_s，然后采用式（7）检测：

$F\left(R_s\right)=\frac{\mathrm{Var}\left(R_{\mathrm{grayscale}}\right)}{\mathrm{Var}\left(R_{\mathrm{disparity}}\right)+\mathrm{\&delta;}},---\left(7\right)$

其中R_s是第s个分割区域，Var(R_grayscale)表示灰度方差，Var(R_disparity)表示视差值方差，δ是调节参数，设置为0.01；根据式（7），计算每个区域的F值和点数N_s，并设置阈值F_T和N_t，F小于F_T且N_s大于N_t时，该区域为弱纹理区域；对于不满足左右一致性检测的匹配点，如果其位于弱纹理区域，就认为是由弱纹理特性引起的误匹配，分类为弱纹理区域像素点；其它则认为是由于闭塞遮挡引起的，分类为闭塞区域像素点。

经过上述相关置信度检测和弱纹理区域检测后，将初始可靠视差图的像素分为稳定匹配像素点、不稳定匹配像素点、闭塞区域像素点、弱纹理区域像素点。

（Ⅲ）、对分类后的像素分别进行校正：对于视差值需要校正的像素点，搜索其周围可靠视差值，形成可能视差值集v_p，不稳定视差的像素点通过改进的自适应权重算法进行校正；闭塞区域和弱纹理区域造成的误匹配像素点，采用其周围可靠视差值传播的方法进行校正。

具体如式（8）

对于初始可靠视差图中误匹配的像素点，如果像素p的错误视差是由闭塞遮挡引起的，即是闭塞区域像素，算法采用集合v_p中次最小的视差值seclow来代替；如果像素p的错误视差是由弱纹理特性引起的，采用集合v_p的中值median来代替它的视差值。

对于初始可靠视差图中视差值不稳定匹配像素点，采用改进的自适应权重算法ASW，像素q对像素p的支持权重只依据像素间的颜色差别，如式（9）：

w(p,q)=k*exp(-Δc_pq/r_s)，    （9）

Δc_pq=||I(p)-I(q)||₂，    （10）

其中式r_s是核大小，表示颜色带宽；式（10）中||·||₂是二阶范式，I(·)是灰度值；则自适应权重的代价聚合为式（11）：

$C_{\mathrm{ASW}}(p,p_d^{\&prime;})=\frac{\underset{q\&Element;N{S}_{s\left(p\right)},q_d^{\&prime;}\mathrm{NSs}\left(P_d^{\&prime;}\right)}{\mathrm{\&Sigma;}}w(p,q)\&CenterDot;w\left(p_d^{\&prime;}\right)\left(q_d^{\&prime;}\right)\&CenterDot;|I\left(q\right)-I\left(q_d^{\&prime;}\right)|}{\underset{q\&Element;N{S}_{s\left(p\right)},q_d^{\&prime;}\&Element;\mathrm{NSs}\left(p_d^{\&prime;}\right)}{\mathrm{\&Sigma;}}w(p,q)\&CenterDot;w(p_d^{\&prime;},q_d^{\&prime;})},d\&Element;v_p---\left(11\right)$

其中可能视差值d只在v_p中搜寻，即d∈v_p；p′_d和q′_d是视差为d时，左、右视图对应的像素点；NS_s(p)和分别为p和p′_d的邻域；然后进行胜者为王策略(Winner Take All，WTA)选取最优视差值，完成校正过程。

（Ⅳ）、对校正后的视差图进行优化：采用基于图像分割的算法进行视差值的优化，剔除奇异值，得到分段平滑的最终视差图。

具体如下：

采用基于均值漂移分割的优化算法，在得到分割区域R_s后，对分割区域内视差值进行优化，把每个区域当作一个前置的窗口，使用胜者为王策略，计算它们的平均视差值d'，于是对每一个像素(x,y)∈R_s，如果|d(x,y)-d'|<th，那么这个像素的视差值不变；否则，该像素就被优化为该区域的中值；其中th为阈值。

经过优化后即得到分段平滑的最终视差图。

基于上述立体匹配方法，验证效果如下：

如图3中（a）（b）（c）（d）（e）（f）所示，使用matlab2008a版本进行仿真实验，实验中主要参数：基于Mean-Shift均值漂移算法的参数有空间带宽h_r=30，颜色带宽h_c=7，以及最小分割区域像素点数min=30；匹配代价的权重ω₁为1，ω₂为5；弱纹理区域检测阈值F_T为0.2，N_t=50；寻找支持像素的聚合窗口大小为7*7；自适应权重参数颜色带宽r_s同样采用7。使用的测试图像为标准测试图像对，从立体匹配测试平台下载，并对算法进行对比测试。

图4中（a1）（a2）（a3）（a4）为本发明所述的立体匹配方法在Venus标准测试图集上的结果；图4中（b1）（b2）（b3）（b4）为本发明所述的立体匹配方法在Teedy标准测试图集上的结果；图4中（c1）（c2）（c3）（c4）为本发明所述的立体匹配方法在Cones标准测试图集上的结果。

从图3和图4可看出，本方法能有效地消除由普通弱纹理、重复纹理造成的匹配歧义，并对闭塞遮挡造成的复杂歧义也有很好的改善。产生误匹配现象主要出现在斜面弱纹理区域，如图4中Venus，Teedy的左视图标注有方框的区域，分析产生这种误匹配的原因主要是：斜面本身的视差是不连续的，但经过弱纹理区域检测的校正方法将此区域的视差值进行了统一，所以造成了匹配误差。

另外，表1为本方法和其他多种经典方法对标准测试图集进行实验的结果。此结果使用误匹配率作为评价指标。其他方法主要包括自适应权重算法(ASW)、分割支持（Seg-Sup）、优化的SAD(SAD-IGMCT)、漂移窗口(SSD+MF)、基于相位(Phase)以及扫描线优化(SO)等经典算法。表中Tsukuba、Venus、Teddy、Cones分别为四个标准的立体匹配测试图像集，nonocc为非闭塞遮挡区域的误匹配率，disc.为不连续区域的误匹配率，nonocc计算方式如式(14)：

$\mathrm{nonocc}=\frac{1}{\left|R_{\mathrm{non}}\right|}\underset{(x,y)\&Element;\mathrm{Rnon}}{\mathrm{\&Sigma;}}\left[\right|d_{\mathrm{ture}}(x,y)-d(x,y)|>{\mathrm{\&delta;}}_{\mathrm{error}}],---\left(14\right)$

其中R_non为非闭塞遮挡区域，|R_non|取区域的像素点数，d_ture为真实视差，d为算法估计视差，δ_error为误差门限，取δ_error=2。disc.和平均误匹配率的计算方式与式(14)相似。

表1不同方法实验结果对比

表1中是多种算法误匹配率的情况，能更精确地反应立体匹配方法在不同区域误匹配的情况。分析可得本方法在非闭塞遮挡区域的误匹配率（nonocc）相对传统经典算法（SAD、SSD、SO等）有了较大的改进，在深度不连续区域的误匹配率（disc.）也有较为理想的结果，并且在平均误匹配率上接近经典的自适应权重（ASW）和分割支持（Seg-Sup）算法，能得到精度较高的稠密视差图。

为改善匹配精度，本方法通过融合像素分类、校正优化以及自适应权重，在粗细精度调节的策略下，提出了一种基于像素分类校正优化的立体匹配方法，主要是采用基于灰度差和梯度共同作用的方式提高了聚合效果，使代价聚合函数更具鲁棒性，能应用于更为广泛的场景；并采用一种相关置信度检测和弱纹理区域检测相结合的方法对像素进行分类，使分类结果更精细；在视差校正过程中，应用改进的自适应权重算法和误匹配像素点校正方法，提高了校正的精度，将可靠稳定的像素视差估计值传播至误匹配和不稳定的视差估计点上，在像素级别上将视差值估计的更加精确。实验结果表明，本方法能够有效处理弱纹理区域和闭塞遮挡区域误匹配象素点，在深度不连续区域也有比较理想的结果，相比传统经典算法提高了匹配精度、减小了误匹配率，为机器人导航、工业检测、视觉测量等工作提供了精确的视差图。

本方法主要优点在于：（1）对局部立体匹配的聚合代价函数进行改进，使用基于灰度差值和梯度相结合的方法，改善图像灰度变化不敏感和采集图像时相机镜头畸变等引起的情况；（2）提出新的匹配像素的分类方法，更加细化视差图中的匹配像素，使得匹配精度更精确；（3）对分类的像素采用不同方法来校正，并进行优化，使得所得视差图更加平滑。

本发明设计合理，该方法所得的视差图为三维重建和深度测量提供了很好的准备，可以应用在机器人导航、工业检测、视觉测量等领域，解决了现有的立体匹配方法存在的视差校正优化不够精确的问题。

附图说明

图1是本发明所述方法的流程框图。

图2是像素分类模型图。

图3(a)是Tsukuba的标准左视图。

图3(b)是由左右一致性检测得到的初始可靠视差图，图中黑色像素为不满足左右一致性检测的像素点，被认为是误匹配像素。

图3(c)是经过相关置信度检测和弱纹理区域检测后的像素分类情况，图中，黑色像素为闭塞区域引起的误匹配，白色像素为弱纹理区域引起的误匹配像素，不稳定视差的像素点在实验标签中记录。

图3(d)是经过分割优化滤波后的最终视差图。

图3(e)是Tsukuba的真实视差图。

图3(f)是使用测试平台对比真实视差图所得到的本发明结果的误差图，图中，黑色像素点表示错误视差估计点，白色像素表示准确的视差估计点。

图4（a1）是Venus的标准左视图。

图4（a2）是Venus的真实视差图。

图4（a3）是经过本发明后的最终视差图。

图4（a4）使用测试平台对比真实视差图所得到的本发明结果的误差图。

图4（b1）是Teedy的标准左视图。

图4（b2）是Teedy的真实视差图。

图4（b3）是经过本发明后的最终视差图。

图4（b4）使用测试平台对比真实视差图所得到的本发明结果的误差图。

图4（c1）是Cones的标准左视图。

图4（c2）是Cones的真实视差图。

图4（c3）是经过本发明后的最终视差图。

图4（c4）使用测试平台对比真实视差图所得到的本发明结果的误差图。

具体实施方式

下面对本发明的具体实施例进行详细说明。

一种基于视差图像素分类校正优化的立体匹配方法，包括如下步骤：

（Ⅰ）、进行初始视差值的估计：分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，得出左、右视差图，再经过左右一致性检测（交叉验证）剔除误匹配点，得到初始可靠视差图。

具体如下：

初始可靠视差图的形成是由局部立体匹配算法得到的，它要求有一个匹配核和聚合窗口，并通过视差估计得到。匹配核即匹配代价，通常是采用像素灰度值差的平方和像素灰度值差的绝对值，这两种方式受到图像的颜色亮度约束，对亮度的变化敏感。其他匹配代价计算可依据像素的梯度和无参数估计等鲁棒性强的函数核进行，它们可以很好地改善相机镜头畸变或者场景本身弱纹理区域带来的影响。因此本发明方法分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，并依据场景调节它们的权重，具体如式（1）：

C(x,y,d)=ω₁*C_SAD(x,y,d)+ω₂*C_GRAD(x,y,d)，    （1）

其中：

$C_{\mathrm{SAD}}(x,y.d)=\underset{(i,j)\&Element;N(x,y)}{\mathrm{\&Sigma;}}|I_1(i,j)-I_2(i+d,j)|,---\left(2\right)$

$C_{\mathrm{GRAD}}(x,y,d)=\underset{(i,j)\&Element;\mathrm{Nx}(x,y)}{\mathrm{\&Sigma;}}|{\&dtri;}_x{I}_1(i,j)-{\&dtri;}_x{I}_2(i+d,j)|+\underset{(i,j)\&Element;\mathrm{Ny}(x,y)}{\mathrm{\&Sigma;}}|\&dtri;y{I}_1(i,j)-\&dtri;y{I}_2(i+d,j)|---\left(3\right)$

在式（2）和式（3）中，C(x,y,d)为聚合代价，C_SAD(x,y,d)为灰度差聚合项，C_GRAD(x,y,d)为基于梯度聚合项，ω₁和ω₂为权重，依据场景特征设置。d为初始设置的视差值，d∈[d_min,d_max]；N(x,y)表示像素点(x,y)的聚合窗，I₁(i,j)为参考图(x,y)的灰度值，I₂(i,j)为目标图(x,y)的灰度值，和分别表示在此点指向右和底部的梯度值，Nx(x,y)和Ny(x,y)为它们的区间；依据代价匹配计算方式，在d∈[d_min,d_max]范围内进行代价的计算，采用胜者为王策略(WinnerTake All，WTA)评价结果，点(x,y)处视差值如式（4）：

$d(x,y)=\arg \underset{d\&Element;[d\min ,d\max ]}{\min }\left(C(x,y,d)\right),---\left(4\right);$

由此分别得到左、右视差图d₁₂(x,y)、d₂₁(x,y)。

为初步提高视差值的精度，采用左右一致性检测（即交叉验证），它要求左、右视差图的视差值是一致的，如式（5）：

|d₁₂(x,y)-d₂₁(x+d₁₂(x,y),y)|<T（T取值为1），    （5）；

对于左视差图的每一个像素点，如果满足上式，则说明满足左右一致性检测；否则设置此点的视差值为0。

经过交叉验证检测后，得到了初始可靠视差图。

（Ⅱ）、进行匹配像素的分类，如图2所示：对得到的初始可靠视差图中满足交叉验证的像素点进行相关置信度检测，得到视差值稳定匹配像素点和视差值不稳定匹配像素点；对初始可靠视差图中不满足交叉验证的像素点进行弱纹理区域检测，得到闭塞区域像素点和弱纹理区域像素点。

具体如下：

对于初始可靠的视差图，绝大多数的像素是满足左右一致性检测（即交叉验证）的，通常满足左右一致性检测的像素点是被认为匹配正确的，但是依据相关检测，仍可分为稳定和不稳定的匹配点；并且不满足左右一致性检测的像素点是误匹配点，被认为是闭塞像素。然而，在弱纹理区域由于弱纹理的特性，也会造成误匹配的现象。

相关置信度检测：相关置信度检测表征了相关计算值的特点，它能反映数据极值的独特程度。假设像素点的最优视差的匹配代价为次最优视差的匹配代价为则相关置信度定义为式（6）：

$T_{\mathrm{CC}}=\left|\frac{C_L^1-C_L^2}{C_L^1}\right|,---\left(6\right)$

设α_s为阈值，通常取值为0.04；如果T_CC>α_s，则认为此匹配点是稳定匹配像素点，视差值稳定可靠；否则被认为是不稳定匹配像素点，它的视差值也被认为是不稳定的。

弱纹理区域检测：弱纹理区域是图像中没有明显的颜色和灰度变化的区域，它的灰度值方差趋近于0，导致很难在另一幅图像中找到其匹配点，所以弱纹理区域的视差值是不稳定的，它的视差值方差就很大，并且造成误匹配的弱纹理区域通常是比较大的区域。根据这两个方差的特性以及区域大小的特性，采用一种弱纹理检测方式，首先使用均值漂移进行图像分割，得到不同区域的图像，并取区域的像素点数N_s，然后采用式（7）检测：

$F\left(R_s\right)=\frac{\mathrm{Var}\left(R_{\mathrm{grayscale}}\right)}{\mathrm{Var}\left(R_{\mathrm{disparity}}\right)+\mathrm{\&delta;}},---\left(7\right)$

其中R_s是第s个分割区域，Var(R_grayscale)表示灰度方差，Var(R_disparity)表示视差值方差，δ是调节参数，设置为0.01；根据式（7），计算每个区域的F值和点数N_s，并设置阈值F_T和N_t，F小于F_T且N_s大于N_t时，该区域为弱纹理区域；对于不满足左右一致性检测的匹配点，如果其位于弱纹理区域，就认为是由弱纹理特性引起的误匹配，分类为弱纹理区域像素点；其它则认为是由于闭塞遮挡引起的，分类为闭塞区域像素点。

经过上述相关置信度检测和弱纹理区域检测后，将初始可靠视差图的像素分为稳定匹配像素点、不稳定匹配像素点、闭塞区域像素点、弱纹理区域像素点。

（Ⅲ）、对分类后的像素分别进行校正：对于视差值需要校正的像素点，搜索其周围可靠视差值，形成可能视差值集v_p，不稳定视差的像素点通过改进的自适应权重算法进行校正；闭塞区域和弱纹理区域造成的误匹配像素点，采用其周围可靠视差值传播的方法进行校正。

具体如式（8）

对于初始可靠视差图中误匹配的像素点，如果像素p的错误视差是由闭塞遮挡引起的，即是闭塞区域像素，算法采用集合v_p中次最小的视差值seclow来代替；如果像素p的错误视差是由弱纹理特性引起的，采用集合v_p的中值median来代替它的视差值。

对于初始视差图中视差值不稳定的像素点，由于其常出现于深度不连续的区域，即是颜色变化较大的区域，所以采用改进的自适应权重算法ASW，像素q对像素p的支持权重只依据像素间的颜色差别，如式（9）：

w(p,q)=k*exp(-Δc_pq/r_s)，    （9）

Δc_pq=||I(p)-I(q)||₂，    （10）

其中式r_s是核大小，表示颜色带宽；式（10）中||·||₂是二阶范式，I(·)是灰度值；则自适应权重的聚合代价为式（11）：

$C_{\mathrm{ASW}}(p,p_d^{\&prime;})=\frac{\underset{q\&Element;N{S}_{s\left(p\right)},q_d^{\&prime;}\mathrm{NSs}\left(P_d^{\&prime;}\right)}{\mathrm{\&Sigma;}}w(p,q)\&CenterDot;w(p_d^{\&prime;},q_d^{\&prime;})\&CenterDot;|I\left(q\right)-I\left(q_d^{\&prime;}\right)|}{\underset{q\&Element;N{S}_{s\left(p\right)},q_d^{\&prime;}\&Element;\mathrm{NSs}\left(p_d^{\&prime;}\right)}{\mathrm{\&Sigma;}}w(p,q)\&CenterDot;w(p_d^{\&prime;},q_d^{\&prime;})},d\&Element;v_p---\left(11\right)$

其中可能视差值d只在v_p中搜寻，即d∈v_p；p′_d和q′_d是视差为d时，左、右视图对应的像素点；NS_s(p)和分别为p和p′_d的邻域。

然后进行胜者为王策略选取最优视差值，完成校正过程。

（Ⅳ）、对校正后的视差图进行优化：采用基于图像分割的算法进行视差值的优化，剔除奇异值，得到分段平滑的最终视差图。

具体如下：

采用常规的基于均值漂移的算法进行图像的分割，它首先进行初始兴趣区域的选择，并确定初始质心，兴趣区域中心向确定的初始质心移动，并计算新的质心；迭代的进行区域移动和质心计算，直到稳定。最终的位置概率密度函数达到局部极大，形成局部模态。当像素点趋于同一个局部模态就形成一个区域，完成了分割图像的目的。所以均值漂移算法主要依赖于兴趣区域的大小和形状，如式（12）为它的核函数：

K(x)=c*K(||(x-x_i)/h||²)，    （12）

式（12）中x_i为空间某点；c为常数；h表征核函数的大小，称为带宽，它的物理意义就是控制兴趣区域的大小。在分割图像的时，将图像的空间坐标以及色彩灰度值空间统一到空‐值联合域中，就产生两个径向对称核函数，如式（13）:

K_hshr(x)=c*K(||(x-x_i)/h_r||²)*K(||(x-x_i)/h_c||²)，    （13）

式（13）中h_r表示空间上大小，h_c表示在色彩上的相近程度。另外为了避免分割的图像过小，区域过多，还有个最小分割区域像素点数min。

采用基于均值漂移分割的优化算法，在得到分割区域R_s后，把每个区域当作一个前置的窗口，使用胜者为王策略，计算它们的平均视差值d'，于是对每一个像素(x,y)∈R_s，如果|d(x,y)-d'|<th，那么这个像素的视差值不变；否则，该像素就被优化为该区域的中值；其中th为阈值3。

经过优化后即得到分段平滑的最终视差图。

Claims (2)

1.一种基于视差图像素分类校正优化的立体匹配方法，其特征在于：包括如下步骤：

(Ⅰ)、进行初始视差值的估计：分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，得出左、右视差图，再经过左右一致性检测剔除误匹配点，得到初始可靠视差图；

具体如下：

分别以左、右视图为参考图，使用基于灰度差和梯度相结合的方法进行匹配代价的聚合，并依据场景调节它们的权重，具体如式(1)：

C(x,y,d)＝ω₁*C_SAD(x,y,d)+ω₂*C_GRAD(x,y,d)，  (1)

其中：

$C_{\mathrm{SAD}}(x,y,d)=\underset{(i,j)\&Element;N(x,y)}{\mathrm{\&Sigma;}}|I_1(i,j)-I_2(i+d,j)|,---\left(2\right)$

$C_{\mathrm{GRAD}}(x,y,d)=\underset{(i,j)\&Element;\mathrm{Nx}(x,y)}{\mathrm{\&Sigma;}}|{\&dtri;}_x{I}_1(i,j)-{\&dtri;}_x{I}_2(i+d,j)|+\underset{(i,j)\&Element;\mathrm{Ny}(x,y)}{\mathrm{\&Sigma;}}|\&dtri;y{I}_1(i,j)-\&dtri;y{I}_2(i+d,j)|,---\left(3\right)$

在式(2)和式(3)中，C(x,y,d)为聚合代价，C_SAD(x,y,d)为灰度差聚合项，C_GRAD(x,y,d)为基于梯度聚合项，ω₁和ω₂为权重，依据场景特征设置；d为初始设置的视差值，d∈[d_min,d_max]；N(x,y)表示像素点(x,y)的聚合窗，I₁(i,j)为参考图(x,y)的灰度值，I₂(i,j)为目标图(x,y)的灰度值，▽_xI(i,j)和▽yI(i,j)分别表示在此点指向右和底部的梯度值，Nx(x,y)和Ny(x,y)为它们的区间；依据匹配代价计算方式，在d∈[d_min,d_max]范围内进行聚合代价的计算，采用胜者为王策略评价结果，通过式(4)得到点(x,y)处视差值，

$d(x,y)=\arg \underset{d\&Element;[d\min ,d\max ]}{\min }\left(C(x,y,d)\right),---\left(4\right);$

由此分别得到左、右视差图d₁₂(x,y)、d₂₁(x,y)；

对得到的左、右视差图d₁₂(x,y)、d₂₁(x,y)采用左右一致性检测，如式(5)，

|d₁₂(x,y)-d₂₁(x+d₁₂(x,y),y)|＜T，T取值为1，  (5)；

对于左视差图的每一个像素点，如果满足上式，则说明满足左右一致性检测，否则设置此点的视差值为0；

经过交叉验证检测后，得到了初始可靠视差图；

(Ⅱ)、进行匹配像素的分类：对得到的初始可靠视差图中满足交叉验证的像素点进行相关置信度检测，得到视差值稳定匹配像素点和视差值不稳定匹配像素点；对初始可靠视差图中不满足交叉验证的像素点进行弱纹理区域检测，得到闭塞区域像素点和弱纹理区域像素点；

具体如下：

相关置信度检测：假设像素点的最优视差的匹配代价为次最优视差的匹配代价为则相关置信度定义为式(6)：

$T_{\mathrm{CC}}=\left|\frac{C_L^1-C_L^2}{C_L^1}\right|,---\left(6\right)$

设α_s为阈值；如果T_CC>α_s，则认为此匹配点是稳定匹配像素点，视差值稳定可靠；否则被认为是不稳定匹配像素点，它的视差值也被认为是不稳定的；

弱纹理区域检测：首先使用均值漂移进行图像分割，得到不同区域的图像，并取区域的像素点数N_s，然后采用式(7)检测：

$F\left(R_s\right)=\frac{\mathrm{Var}\left(R_{\mathrm{grayscale}}\right)}{\mathrm{Var}\left(R_{\mathrm{disparity}}\right)+\mathrm{\&delta;}}---\left(7\right)$

其中R_s是第s个分割区域，Var(R_grayscale)表示灰度方差，Var(R_disparity)表示视差值方差，δ是调节参数，设置为0.01；根据式(7)，计算每个区域的F值和点数N_s，并设置阈值F_T和N_t，F小于F_T且N_s大于N_t时，该区域为弱纹理区域；对于不满足左右一致性检测的匹配点，如果其位于弱纹理区域，就认为是由弱纹理特性引起的误匹配，分类为弱纹理区域像素点；其它则认为是由于闭塞遮挡引起的，分类为闭塞区域像素点；

经过上述相关置信度检测和弱纹理区域检测后，将初始可靠视差图的像素分为稳定匹配像素点、不稳定匹配像素点、闭塞区域像素点、弱纹理区域像素点；

(Ⅲ)、对分类后的像素分别进行校正：对于视差值需要校正的像素点，搜索其周围可靠视差值，形成可能视差值集v_p，不稳定视差的像素点通过改进的自适应权重算法进行校正；闭塞区域和弱纹理区域造成的误匹配像素点，采用其周围可靠视差值传播的方法进行校正；

具体如式(8)

对于初始可靠视差图中误匹配的像素点，如果像素p的错误视差是由闭塞遮挡引起的，即是闭塞区域像素，算法采用集合v_p中次最小的视差值seclow来代替；如果像素p的错误视差是由弱纹理特性引起的，采用集合v_p的中值median来代替它的视差值；

对于初始可靠视差图中视差值不稳定匹配像素点，采用改进的自适应权重算法ASW，像素q对像素p的支持权重只依据像素间的颜色差别，如式(9)：

w(p,q)＝k*exp(-Δc_pq/r_s)，  (9)

Δc_pq＝||I(p)-I(q)||₂，  (10)

其中式(9)中r_s是核大小，表示颜色带宽；式(10)中||·||₂是二阶范式，I(·)是灰度值；则自适应权重的代价聚合为式(11)：

$C_{\mathrm{ASW}}(p,p_d^{\&prime;})=\frac{\underset{q\&Element;{\mathrm{NS}}_{s\left(p\right)},q_d^{\&prime;}\&Element;{\mathrm{NS}}_S\left(p_d^{\&prime;}\right)}{\mathrm{\&Sigma;}}w(p,q)\&CenterDot;w(p_d^{\&prime;},q_d^{\&prime;})\&CenterDot;|I\left(q\right)-I\left(q_d^{\&prime;}\right)|}{\underset{q\&Element;{\mathrm{NS}}_{s\left(p\right)},q_d^{\&prime;}\&Element;{\mathrm{NS}}_S\left(p_d^{\&prime;}\right)}{\mathrm{\&Sigma;}}w(p,q)\&CenterDot;w(p_d^{\&prime;},q_d^{\&prime;})},d\&Element;v_p---\left(11\right)$

其中可能视差值d只在v_p中搜寻，即d∈v_p；p′d和q′d是视差为d时，左、右视图对应的像素点；NS_s(p)和分别为p和p'_d的邻域；

然后进行胜者为王策略选取最优视差值，完成校正过程；

(Ⅳ)、对校正后的视差图进行优化：采用基于图像分割的算法进行视差值的优化，剔除奇异值，得到分段平滑的最终视差图；

具体如下：

采用基于均值漂移分割的优化算法，在得到分割区域R_s后，对分割区域内视差值进行优化，把每个区域当作一个前置的窗口，使用胜者为王策略，计算它们的平均视差值d'，于是对每一个像素(x,y)∈R_s，如果|d(x,y)-d'|＜th，那么这个像素的视差值不变；否则，该像素就被优化为该区域的中值；其中th为阈值；

经过上述优化后即得到分段平滑的最终视差图。

2.根据权利要求1所述的基于视差图像素分类校正优化的立体匹配方法，其特征在于：步骤(Ⅱ)中的阈值α_s＝0.04，F_T＝0.2，N_t＝50；步骤(Ⅳ)中的阈值th＝3。