CN104680510A - Radar视差图优化方法、立体匹配视差图优化方法及系统 - Google Patents

Abstract

本申请公开了一种RADAR视差图优化方法、立体匹配视差图优化方法及系统，其中RADAR视差图优化方法包括步骤：获取颜色分块图：对初始图像进行对比度增强并将其由RGB空间转换为CIELab空间，通过mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图；获取视差图边缘信息：接收初始图像的初始视差图，结合Canny算子提取初始视差图中的视差图边缘信息；视差图优化；结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域图，根据问题区域图对初始视差图进行OccWeight修正并滤波得到最终视差图。通过本申请的方法对初始视差图进行优化后，降低了错误率，提高了最终视差图的准确率。

Description

RADAR视差图优化方法、立体匹配视差图优化方法及系统

技术领域

本发明涉及立体匹配图像处理技术领域，具体涉及一种RADAR视差图优化方法、立体匹配视差图优化方法及系统。 

背景技术

在传统视频系统中，用户只能被动的观看由摄像机拍摄到的画面，无法从其他视角观看到不同的画面，而多视角视频（Multi-View Video）则允许用户从多个视点进行观看，增强了交互性及3D感官效果，在立体电视、视频会议、自动导航、虚拟现实等领域有广泛的应用前景。然而，多视角视频在增强交互性及感官效果的同时也增加了视频的数据量，对视频存储及传输等增加了负担，如何解决此类问题已成为目前的研究热点。 

立体匹配，也称视差估计，是根据前端摄像机获取的多目图像数据（一般为双目），估计出对应图像中的像素点间的几何关系。利用视差估计，可以由一个视点的信息及其深度（视差）信息得到对应视点的信息，从而减少了原始数据量，为多目视频的传输及存储提供了便利。 

根据具体实现细节的不同，立体匹配方法可以大致分为局部立体匹配算法和全局立体匹配算法（可参见Scharstein D,Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International journal of computer vision,2002,47(1-3):7-42.）。全局立体匹配算法是基于对全局的能量函数最优化得到视差结果，其准确性较高但计算复杂度也很高，不利于实际应用；局部立体匹配算法虽然准确性一般不如全局算法高，但其实施相对简单方便，计算复杂度低，甚至可以达到视差图的实时获取，因此获得越来越多研究者的关注，同时，已有一些局部的方法产生了与全局效果相当的视差结果。 

近年来，基于自适应权重的局部方法获得了与全局相似的效果，其核心思想是通过自适应权重描述窗口中心点与窗口内相邻点间的相似性，权重越大则两点越有可能属于同一个物体，进而具有相似的视差。然而此类方法的计算量太大。后来，Hosni等人提出了一种线性的立体匹配方法（参见Rhemann C,Hosni A,Bleyer M,et al.Fast cost-volume filtering for visual correspondence and beyond[C]//Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference on.IEEE,2011:3017-3024.），利用引导滤波器（guided filter） 作为聚合的方法，其计算复杂度与滤波窗口无关，并提出了一种新的聚合方法，即对代价空间进行滤波，随后出现了很多基于滤波的方法。但这些方法的主要工作在于代价聚合阶段，很少关注代价的测度及视差优化，在最终结果中仍然存在一些错误区域，影响了视差图的效果。 

综合上述叙述可知，立体匹配作为多视角视频中的重要环节，已受到广泛关注，并有大量的立体匹配算法涌现。然而，立体匹配尚存在很多问题，特别是基于滤波的局部方法，需要进一步的提高性能。 

发明内容

本申请提出一种RADAR视差图优化方法、立体匹配视差图优化方法及系统，提高视差图的准确率。 

根据本申请的第一方面，本申请提供一种RADAR视差图优化方法，包括步骤：获取颜色分块图：对初始图像进行对比度增强并将其由RGB空间转换为CIELab空间，通过mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图；获取视差图边缘信息：接收所述初始图像的初始视差图，结合Canny算子提取初始视差图中的视差图边缘信息；视差图优化：结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域图，根据问题区域图对所述初始视差图进行OccWeight修正并滤波得到最终视差图。 

根据本申请的第二方面，本申请还提供一种立体匹配视差图优化方法，包括步骤：匹配代价计算：读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；代价空间滤波：对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；RADAR视差图优化：对初始视差图应用上述所述的RADAR视差图优化方法的进行处理得到最终视差图。 

根据本申请的第三方面，本申请还提供一种立体匹配视差图优化系统，包括：匹配代价计算模块、代价空间滤波模块和RADAR视差图优化模块；所述匹配代价计算模块读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；所述代价空间滤波模块对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；所述RADAR视差图优化模块对初始视差图应用上述所述的RADAR视差图优化方法进行处理得到最终视差图。 

本申请的方法，结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域图，根据问题区域图对初始视差图进行OccWeight修正并滤波得到最终视差图，降低了错误率，提高了最终视差图的准确率。 

附图说明

图1为本申请中立体匹配的框架图； 

图2为本申请中代价空间滤波的流程图； 

图3为本申请中基于RADAR的视差优化流程图； 

图4为本申请中交叉区域构造示例图； 

图5为本申请中视差优化性能对比图； 

图6为本申请中Middlebury测试集实验结果图； 

图7为本申请中Middlebury排名结果图； 

图8为本申请中实际场景序列对比结果图。 

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。 

本申请中所用到的缩写词解释 

MCCT：Modified Color Census Transform，改进的彩色空间census变换；其表达式请见公式2、3； 

ADc：Absolute Difference in Color space，截断的彩色空间绝对值差； 

LRC：Left-Right consistency Check，一致性检测； 

RADAR：Remaining Artifacts Detection and Refinement，剩余错误点检测及优化； 

MOW：Modified OccWeight，改进的OccWeight； 

WTA：winner-takes-all，胜者为王。 

本申请中的RADAR视差图优化方法，包括步骤： 

获取颜色分块图：对初始彩色图像进行对比度增强并将其由RGB空间转换为CIELab空间，通过mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图； 

获取视差图边缘信息：接收初始图像的初始视差图，结合Canny算子提取初始视差图中的视差图边缘信息； 

视差图优化：结合颜色分块图和视差图边缘信息进行不一致区域检测得到 问题区域图，根据问题区域图对初始视差图进行OccWeight修正并滤波得到最终视差图。 

具体的，进行OccWeight修正时采用交叉窗口进行相似点选取，并将更新后的点作为可靠点参与其他点的更新过程，滤波时采用中值滤波器。步骤：获取视差图边缘信息中，接收到初始视差图时还对初始视差图进行初始处理，具体为：对接收到的第一初始视差图和第二初始视差图进行一致性检测查找错误点；通过交叉区域投票法修正初始视差图中的错误点视差值；再通过加权中值滤波处理。 

本申请中的立体匹配视差图优化方法，包括步骤： 

匹配代价计算：读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；具体的，读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像在第二初始图像的第一视差范围中通过代价函数计算第一视差范围中的每个点与第一初始图像的第一匹配代价值，将第一匹配代价值存入第一代价空间中；对第二初始图像在第一初始图像的第二视差范围中通过代价函数计算第二视差范围中的每个点与第二初始图像的第二匹配代价值，将第二匹配代价值存入第二代价空间中。 

代价空间滤波：对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter（引导滤波器）滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；具体的，对第一代价空间和第二代价空间分别进行边缘增强，并通过对称Guided Filter对第一代价空间中的每一个切片进行滤波聚合再通过WTA法筛选视差值得到第一初始视差图；通过对称Guided Filter对第二代价空间中的每一个切片进行滤波聚合再通过WTA法筛选视差值得到第二初始视差图；切片为视差值所对应的与初始彩色图像尺寸相同的代价图。 

视差图初始处理：对第一初始视差图和第二初始视差图进行一致性检测查找错误点，通过交叉区域投票法修正初始视差图中的错误点视差值，再通过加权中值滤波。 

RADAR视差图优化：通过RADAR视差图优化法对进行视差图初始处理后的视差图进行进一步处理得到最终视差图。如进行视差图初始处理时是针对第一初始视差图进行交叉区域投票法修正错误点视差值并通过加权中值滤波，则得到的最终视差图与第一初始视差图对应；同理，针对第二初始视差图进行交叉区域投票法修正错误点视差值并通过加权中值滤波，则得到的最终视差图与第二 初始视差图对应。 

其中，代价函数至少由MCCT代价项、截断的ADc代价项和截断的双向梯度代价项加权构成。进行MCCT的代价项计算时，分别对第一初始图像和第二初始图像进行GCM变换，并分别通过MCCT计算得到第一比特串和第二比特串；通过鲁棒的指数函数对第一比特串和第二比特串的汉明距离进行归一化得到MCCT的代价项。进行截断的ADc代价项计算时，通过第一限定阈值对第一初始图像和第二初始图像的RGB绝对值差的均值进行截断得到截断的ADc代价项。进行截断的双向梯度代价项计算时，通过第二限定阈值对第一初始图像和第二初始图像在水平和竖直方向的梯度差进行截断得到截断的双向梯度代价项。其中，第一初始图像和第二初始图像为通过双目摄像机拍摄得到的双目序列中的彩色图像，或者是单目摄像机在一定水平位移下拍摄得到的两幅彩色图像。 

本申请中的立体匹配视差图优化系统，请参照图1，包括：匹配代价计算模块、代价空间滤波模块和RADAR视差图优化模块；匹配代价计算模块读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；代价空间滤波模块对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；RADAR视差图优化模块对初始视差图应用上述所述的RADAR视差图优化方法进行处理得到最终视差图。 

实施例一 

本例中的立体匹配视差图优化方法，其中第一初始图像和第二初始图像分别选取双目摄像机拍摄得到的双目序列中的图像中的左图和右图，并以左图作为参考图进行说明，即对左图进行立体匹配（即视差估计），对于右图估计方法相同。具体过程如下： 

（1）读入两幅图像，这两幅图像是通过双目摄像机拍摄得到的双目序列中的图像，分别为左图和右图，在其他实施例中，第一初始图像和第二初始图像还可以是单目摄像机在一定水平位移下拍摄得到的两幅图像，这两幅图像均为彩色图像，且已经过极线校正，即两幅图的极线（epipolar line）是水平平行的，便于后续进行匹配代价计算，若输入的两幅图像未经过极线校正，则进行极线校正后再作为输入。 

（2）匹配代价计算 

获得两幅输入图像后，进入立体匹配过程，首先计算匹配代价。对于左图中的某一点p，在右图的视差范围D内进行匹配，计算视差范围内所有点与左图中点p的匹配代价，视差范围D是搜索范围，也即视差值的取值范围，且该视差范围是与点p在同一条扫描线（极线）上的，由于左图和右图已做过校正，极线是水平平行的，因此此处的扫描线即水平方向的线段。匹配代价的计算通过代价函数得到，本例中的代价函数为混合代价函数，该混合代价函数由三部分组成：一个改进的彩色空间census变换（缩写为MCCT，Modified Color Census Transform，后续简称MCCT）、一个截断的彩色空间绝对值差（缩写为ADc，Absolute Difference in Color space，后续简称ADc）、一个截断的双向梯度，各部分的具体计算如下所示： 

（2.1）MCCT代价项的计算 

传统的census变换的使用场景大都是在灰度图上进行，而这样丢失了颜色分量所表达的信息，因此本发明使用一种改进的彩色空间census变换，即MCCT。首先，将左图和右图由RGB空间利用高斯颜色模型（缩写为GCM，Gaussian Color Model，后续简称GCM）进行变换，以消除对光照等因素的敏感性，具体变换公式如下所示： 

$\left[\begin{array}{c}{G}_1\\ G_2\\ G_3\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.60& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$     （公式1） 

转换到GCM空间后，左图和右图中的两点p，q之间的差异用欧式距离Eucli_G(p,q)表示，同时，在以p为中心的5x5窗口中所有点的欧式距离平均值用E_m(p)表示，可得到MCCT的表示如下： 

$\mathrm{MCCT}\left(p\right)=\underset{q\∈N\left(p\right)}{\⊗}\left(\mathrm{\ξ}(E_m\left(p\right),{\mathrm{Eucli}}_G(p,q))\right)$     （公式2） 

    （公式3） 

其中表示按比特位连接，N（p）表示点p的邻域中的点（即以点p为中心的5x5窗口中的点的集合。在对左图和右图进行MCCT计算后可得到第一比特串和第二比特串，通过汉明距离来描述它们之间的差异，得到代价值如下所示： 

h(p,d)=Hamming(MCCT_L(p),MCCT_R(p-d))    （公式4） 

其中d代表对应像素点间的视差。之后通过一个鲁棒的指数函数对其进行归一化，得到MCCT对应的代价项如下所示： 

$C_{\mathrm{MCCT}}(p,d)=1-\exp (-\frac{h(p,d)}{{\mathrm{\λ}}_{\mathrm{MCCT}}})$     （公式5） 

（2.2）截断的ADc及双向梯度 

绝对值差是衡量两个点相似度的较为常用的方法，这里采用彩色空间绝对值差来表示，即ADc；同时，为避免一些极值错误点，利用阈值λ_ADc对左图和右图的RGB三通道的绝对值差的均值进行截断，得到截断ADc如下所示： 

$C_{\mathrm{ADc}}(p,d)=\min \left(\frac{1}{3}\underset{i=R,G,B}{\mathrm{\Σ}}\right||I_i^L\left(p\right)-I_i^R(p-d)||,{\mathrm{\λ}}_{\mathrm{ADc}})$     （公式6） 

其中，I_i ^L（p）表示左图中点p在第i个通道的像素值，I_i ^R（p-d）表示右图中与点p的对应点（p-d）在第i个通道的像素值。另一方面，选取梯度作为代价项，此处用双向梯度，即水平和竖直方向的梯度，同样采用阈值λ_GD进行约束，得到梯度代价如式（7）（8）所示。其中▽_x和▽_y分别表示在x和y方向的导数（梯度），I_L(p)为左图中待计算点的像素值，I_R(p-d)为其在右图对应点的像素值，d为两点间的视差。 

C_GDx(p,d)=min(||▽_xI_L(p)-▽_xI_R(p-d)||,λ_GD)    （公式7） 

C_GDy(p,d)=min(||▽_yI_L(p)-▽_yI_R(p-d)||,λ_GD)    （公式8） 

（2.3）混合代价函数 

最终的代价函数由上述四项代价项加权混合而成，如式（9）所示，其中α,β,γ为各项权重，用以各项对最终代价函数值的贡献。 

$C(x,y,d)=\mathrm{\α}\·C_{\mathrm{MCCT}}+\mathrm{\β}\·C_{\mathrm{ADc}}+\mathrm{\γ}{\·C}_{\mathrm{GDy}}+(1-\mathrm{\α}-\mathrm{\β}-\mathrm{\γ})\·C_{\mathrm{GDx}}$     （公式9） 

（3）基于Guided Filter的代价空间滤波 

算得左图中每个点的代价值之后，将这些代价值存入一个三维的代价空间中，如图2中（a）所示。该代价空间中的每个点（x，y，d）表示坐标为（x，y）的点在视差为d时的匹配代价值。为消除代价空间中的不确定性及噪声的影响，需要对其进行聚合（cost aggregation），这里使用Guided Filter对代价空间中的每一个切片进行滤波的方法完成聚合过程，其中切片表示在视差为d时所对应的与左图等尺寸的代价图。滤波过程如下所示： 

$C_{\mathrm{Aggd}}\left(p\right)=\underset{q}{\mathrm{\Σ}}{W}_{p,q}\left(I\right)C_0\left(q\right)$     （公式10） 

其中q表示以p为中心的滤波窗口中的点，C_Aggd为初始代价值C₀经过聚合后的新的代价值，I表示引导图。其中的滤波核W为引导图I的函数，定义如下： 

$W_{i,j}\left(I\right)=\frac{1}{{\left|w\right|}^2}\underset{k(i,j)\∈w_k}{\mathrm{\Σ}}(1+\frac{(I_i-u_k)(I_j-u_k)}{{\mathrm{\Σ}}_k+\mathrm{\ϵU}})$     （公式11） 

其中|w|表示滤波窗口w_k中的像素点数目，滤波窗口尺寸为r×r，而ε则为一平滑参数。u_k,Σ_k分别代表窗口中像素的均值矩阵和互相关矩阵。为同时保持左右图中的边缘信息，采用对称的Guided Filter（详见Rhemann C,Hosni A,Bleyer M,et al.Fast cost-volume filtering for visual correspondence and beyond[C]//Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference on.IEEE,2011:3017-3024.）。 

然而，当使用guided filter的时候，会存在“光晕”效应，即在滤波过程中边缘会由于过分滤波而产生模糊的光晕，这对于立体匹配来说，将会导致代价空间中的点的辨识度下降，进而影响最终视差图的效果。这里通过对初始代价空间进行边缘增强的方法，在一定程度上减弱了由于光晕效应所带来的影响，如图2所示。 

经过聚合后，通过立体匹配局部方法中最常用的“胜者为王”（缩写为WTA，winner-takes-all）的方法进行视差值的选取，即在可选视差中选取对应代价函数值最小的作为该点的视差。 

（4）基于RADAR的视差优化 

经过第（3）步聚合过后，得到左图的初始视差图，同理，将左图和右图的关系置换可得到右图的初始视差图，但是这里面会存在很多错误估计的区域，需要通过视差优化进行修正，这里主要通过初始处理和RADAR视差优化方法来对视差图进行修正与完善，具体实施细节如下： 

（4.1）初始处理 

首先，对于WTA后获得的左图的初始视差图和右图的初始视差图进行一致性检测，即查找那些在左右初始视差图中不一致的点，这里采用左右一致性检测（Left Right consistency Check，LRC），如果一个点p不满足下面式（12）中的约束，则标定该点为不一致点（错误点）。其中d_ref（p），d_targ（p’-d_ref（p））分别表示像素点p及其对应点的视差值。 

|d_ref(p)-d_targ(p′-d_ref(p))|<1    （公式12） 

当错误点被检测出来后，采用一个基于“交叉区域投票”的方法对错误点的视差值进行修正，即选取该区域中出现最多次数的视差值作为更新值，并且，只有当该区域中的可靠视差点足够多且被选中的视差点“票数”也足够多时，才进行更新，如式（13）所示，其中NR_p和V(d_p′)是可靠点的数目和被选中点的票数，τ_N,τ_V是阈值，且τ_N=10,τ_V=0.4，d_p′是更新后点p的视差值。同时，为保证足够鲁棒，该投票过程迭代多次，每一次都将已修正的视差值更新，作为下 一次投票的候选值，此处迭代次数为4次。作为示例，像素值p的交叉区域构造方法如图4所示，当点q为点p的上臂时，q的水平臂就被加入交叉区域，所有的这些长臂就组成了点p的交叉区域。 

${\mathrm{NR}}_p>{\mathrm{\&tau;}}_N,\frac{V\left(d_p^{\&prime;}\right)}{{\mathrm{NR}}_p}>{\mathrm{\&tau;}}_V$     （公式13） 

在交叉区域投票过后，大部分由LRC检测到的错误点便被修正，对于残留的小部分错误点，通过在其扫描线上找最邻近的有效点替代的方法进行修正，即找到离错误点最近的非错误点，将其视差值作为更新值替代错误点的值。之后，通过加权中值滤波的方法去掉该修正方法引入的条纹效应，其中滤波器的权重采用具有边缘保持效应的双边滤波器。 

（4.2）RADAR 

在很多立体匹配算法中，即使经过了后处理阶段，仍然会有很多错误区域存在，因为这些区域是无法被传统后处理所发现的，在这里称之为“问题区域”。这些区域的出现很大程度上是因为LRC的缺陷，当问题区域同时存在于左右图中时，简单的LRC就无法检测到这些错误点。因此，采用一种RADAR（Remaining Artifacts Detection and Refinement）的方法针对这些区域进行进一步的优化和修正。 

问题区域主要是一些“小洞”及物体边缘轮廓区域。“小洞”就是一些视差值明显小于周围点的暗部区域，产生了类似洞点的效果。对于这些小洞的检测，通过判断其视差值是否小于阈值d_thres来检测。找到了洞点之后，用其邻域中最合适的点的视差值来修正该洞点，如式（13）所示。 

    （公式13） 

d_thres=ρ·d_max

其中和为最邻近（上、下、左、右）的大于d_thres的视差值，d_max表示视差的最大值，ρ为一惩罚系数，此处为1/7，为修正后的视差值。 

另一种类型的问题区域是位于物体边界轮廓处的错误点，这里称作“不一致区域”，如图3所示。这些区域可以分为“凸区域”和“凹区域”，即相对实际物体的边界，视差边界是凸是凹。不一致区域是位于物体边界但却不与边界吻合的那些错误点，因此对于这类区域的检测就是判断视差图中的边缘是否与物体的边缘相吻合。如果在物体边界处的视差是被正确赋值的，那么视差图中的边界应该是与彩色图中物体的边界相互一致的，而如果物体边界处的视差值是错的，那么不一致区域就出现了。为了提取视差图中的边缘信息，采用Canny 算子进行边缘提取，对于物体的边界信息，通过分割的方法，将图像分成很多小块，这样物体的边界就可以显现出来了，为了防止“欠分割”，也就是不同物体被分到同一个块中，采用基于mean-shift的颜色分割进行分块。在分割之前，对原彩色图像进行对比度增强（对其亮度分量进行直方图均衡化）处理，本例中，对左图进行对比度增强处理，然后将其由RGB空间转为CIELab空间，这样，在很大程度上消除了颜色分块的不准确性，特别是在较暗的区域。在获得了视差图边缘信息及颜色分块之后，进行不一致区域的查找，首先是找到有问题区域的边缘（问题边缘），如果某一边缘与物体轮廓不一致的话（也就是边缘穿过某一个块），就被标记为“问题边缘”。由于凸区域总是出现在前景区域，则可通过检测问题边缘的前景一侧即可找到凸区域，也就是查找视差值较大的那一侧；同样的，凹区域可以通过检测问题边缘的背景一侧来找到。图3展示了不一致区域检测及修正后的结果，其中，测试图像为来自Middlebury数据集的Tsukuba左图，对其进行对比度增强，并在CIELab空间进行颜色分割，然后结合Canny检测到的视差图中的边缘信息，进行不一致区域区域的查找，进而进行修正。 

在检测到不一致区域之后，基于改进的OccWeight方法（Modified OccWeight,简称MOW）来对不一致区域进行修正。原OccWeight的方法是通过选取一个固定窗口中最相似的点的视差来替换该窗口中心点的视差值，相似性的判别通过权重决定。然而，固定窗口难以保证相似点选取的鲁棒性，因此这里采用图4所示的自适应交叉窗口来进行相似点选取。除此之外，采用“视差继承”技术，即更新后的点作为可靠点参与其他点的更新过程。在p的交叉窗口中，其邻域点q的权重sw（p，q）定义如下： 

    （公式14） 

其中Δc_pq和Δs_pq表示p和q之间的颜色距离及空间距离，都以欧氏距离进行度量。φ_c,φ_s是归一化系数，R_f为不一致区域的点集。更新后的视差值d^*（p）通过式（15）算得。 

$d^{*}\left(p\right)=\underset{d\&Element;D}{\arg \max }(\underset{q\&Element;{\mathrm{AW}}_p}{\mathrm{\&Sigma;}}\mathrm{sw}(p,q)\&times;m(q,d))$

$m(q,d)=\left\{\begin{array}{cc}1,& \mathrm{ifd}\left(q\right)=d\\ 0,& \mathrm{otherwise}\end{array}\right.$     （公式15） 

其中D表示可选取视差值的集合，AW_p表示p的自适应窗口中的像素点集。通过MOW的修正优化，错误点得以改正，如图3所示。 

最后，通过一个中值滤波器来去除一些细小的残留噪声。图5给出了本发明提出的方法（记作proposed）与Yu-Chih Wang等人在2013年提出的方法MDC（参见Wang Y,Tung C P.Efficient Disparity Estimation Using Hierarchical Bilateral Disparity Structure Based Graph Cut Algorithm with Foreground Boundary Refinement Mechanism[J].2013.）、原始OccWeight方法（参见Wei Wang;Caiming Zhang,″Local Disparity Refinement with Disparity Inheritance,″Photonics and Optoelectronics(SOPO),2012Symposium on,vol.,no.,pp.1,4,21-23May2012）、以及单独采用RADAR（记作RADAR-o）的比较结果。所有这些方法都是基于相同的初始视差图作为输入，即通过本发明方法算得的初始值。选取Middlebury数据集（Tsukuba，Venus，Teddy，Cones）作为评判，同时用“Nonocc”“All”“Disc”作为评判指标，分别表示非遮挡区域、所有区域、不连续区域。对于每一评测项，计算4幅图的平均值。由图中可以看出，本发明提出的优化方法要明显好于其他方法。 

经过以上四个步骤后，就得到了最终视差图。 

本发明中所用到的参数如表1所示，均为经验值且保持不变。 

表1 实验中用到的参数 

λcensus	λADc	λGD	α	β
					55	7/255	2/255	0.011	0.15
γ	r	ε	φc	φs
					0.1	9	0.0001	15.0	10.5

图6给出了在Middlebury数据集上的实验结果图，从左到右依次表示：左侧彩色图，groundtruth（标准）真实值，未经RADAR的视差效果，经过RADAR的最终结果，错误点图（其中黑色代表错误点，灰色代表遮挡区域）。在Middlebury测试平台上的测试结果表明，本发明提出的方法已达到了目前的先进水平，在140余个已提交算法中排名第5（如图7所示），其中也包含全局算法。并且，本发明的方法是目前为止最好的基于代价空间滤波的局部方法。同时，本发明的算法已超过原始的基于GuidedFilter的方法，其排名为32名。 

表2给出了本发明提出的算法与Middlebury上的其他局部方法的对比实验数据（表中数据为错误率，以百分比为单位），包括一些基于滤波的方法以及目前最好的局部方法ADCensus。此处用到了“nonocc”“all”“disc”作为评价指标，错误率阈值被设为1.0，即与groundtruth视差相差大于1则标为错误点。同时，也采用分像素阈值0.75，其排名见表2中的“排名*”。 

表2 本发明算法与Middlebury部分算法对比结果 

由表2中数据可知，当错误阈值为1.0时，本发明算法是基于滤波的最好算法，但并不是局部方法中最好的，仅次于ADCensus。然而当错误阈值设为分像素0.75时，本发明的方法为所选算法中的最优方法。分像素测度意味着视差值可以是浮点数，而不仅仅局限于整数值，这在很多实际应用中是有必要的。应该注意到的是，本发明的算法并未刻意进行分像素的处理，也就是所有视差值的估计均是在整像素点进行的。当由整像素测度变为分像素测度时，本发明的方法也仅仅是有小幅度的下降（从第5名变为第8名），这也验证了其稳定性。 

由于Middlebury测试集的测试图片都是在理想状态下设定的，没有噪声等干扰，因此仅仅在Middlebury测试集上进行实验可能无法全面评价算法的性能，同时，立体匹配算法就是为实际应用设计的，因此，在实际场景序列中进行实验来验证算法的性能。选取四个实际场景序列作为测试集，分别是：来自HHI3Dvideo数据库的BookArrival序列，来自FTV的Balloons序列，以及来自GIST的Cafe和Newspaper序列。对于每个序列，随机抽取其中的一帧以及其对应视角中的一帧作为测试图片对，同时，选取三种具代表性的基于滤波的算法进行对比，分别是HEBF（详见Yang Q.Hardware-efficient bilateral filtering for stereo matching[J].2013.），CostFilter（详见Rhemann C,Hosni A,Bleyer M,et al.Fast cost-volume filtering for visual correspondence and beyond[C]//Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference on.IEEE,2011:3017-3024.），和RecursiveBF（详见Yang Q.Recursive bilateral filtering[M]//Computer Vision–ECCV 2012.Springer Berlin Heidelberg,2012:399-413.）。 

实验结果如图8所示。其中（a）表示左图，（b）为HEBF的结果，（c）为CostFilter的结果，（d）为RecursiveBF的结果，（e）为本发明算法的结果。 

从图8中的直观结果可以看出，与其他方法相比，本发明算法具有较好的边缘保持特性，例如在BookArrival序列中的狮子的边缘轮廓，以及Balloons 序列中气球等物体的轮廓。此外，可以观察到，本发明算法的结果在图像边缘具有较好的性质，例如BookArrival序列和Newspaper序列中左侧的外套，都被很好地保留了下来，这在很多实际应用中是很重要的性质，例如虚拟视角合成和三维重建等。在实际场景序列中的实验再次验证了本发明方法的准确性。 

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。 

Claims (10)

1.一种RADAR视差图优化方法，其特征在于，包括步骤：

获取颜色分块图：对初始图像进行对比度增强并将其由RGB空间转换为CIELab空间，通过mean-shift颜色分割对CIELab空间进行颜色分块得到颜色分块图；

获取视差图边缘信息：接收所述初始图像的初始视差图，结合Canny算子提取初始视差图中的视差图边缘信息；

视差图优化：结合颜色分块图和视差图边缘信息进行不一致区域检测得到问题区域图，根据问题区域图对所述初始视差图进行OccWeight修正并滤波得到最终视差图。

2.如权利要求1所述的RADAR视差图优化方法，其特征在于，进行OccWeight修正时采用交叉窗口进行相似点选取。

3.如权利要求1所述的RADAR视差图优化方法，其特征在于，进行OccWeight修正滤波时采用中值滤波器。

4.如权利要求1所述的RADAR视差图优化方法，其特征在于，步骤:获取视差图边缘信息中，接收到初始视差图时还对初始视差图进行初始处理，具体为：对接收到的第一初始视差图和第二初始视差图进行一致性检测查找错误点；通过交叉区域投票法修正初始视差图中的错误点的视差值；再通过加权中值滤波处理。

5.一种立体匹配视差图优化方法，其特征在于，包括步骤：

匹配代价计算：读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；

代价空间滤波：对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；

RADAR视差图优化：对初始视差图应用权利要求1-3中任一项所述的RADAR视差图优化方法进行处理得到最终视差图。

6.如权利要求5所述的方法，其特征在于，进行RADAR视差图优化前包括步骤：视差图初始处理：对所述第一初始视差图和第二初始视差图进行一致性检测查找错误点，通过交叉区域投票法修正初始视差图中的错误点视差值，再通过加权中值滤波。

7.如权利要求5所述的方法，其特征在于，所述代价函数至少由MCCT代价项、截断的ADc代价项和截断的双向梯度代价项加权构成；进行MCCT的代价项计算时，分别对第一初始图像和第二初始图像进行GCM变换，并分别通过MCCT计算得到第一比特串和第二比特串，通过鲁棒的指数函数对第一比特串和第二比特串的汉明距离进行归一化得到MCCT的代价项。

8.如权利要求7所述的方法，其特征在于，进行截断的ADc代价项计算时，通过第一限定阈值对第一初始图像和第二初始图像的RGB绝对值差的均值进行截断得到截断的ADc代价项。

9.如权利要求7所述的方法，其特征在于，进行截断的双向梯度代价项计算时，通过第二限定阈值对第一初始图像和第二初始图像在水平和竖直方向的梯度差进行截断得到截断的双向梯度代价项。

10.一种立体匹配视差图优化系统，其特征在于，包括：匹配代价计算模块、代价空间滤波模块和RADAR视差图优化模块；所述匹配代价计算模块读入经过极线校正的第一初始图像和第二初始图像，对第一初始图像和第二初始图像分别通过代价函数计算匹配代价值并分别存入第一代价空间和第二代价空间中；所述代价空间滤波模块对第一代价空间和第二代价空间分别进行边缘增强，并分别通过对称Guided Filter滤波聚合再通过WTA法得到第一初始视差图和第二初始视差图；所述RADAR视差图优化模块对初始视差图应用权利要求1-4中任一项所述的RADAR视差图优化方法进行处理得到最终视差图。