CN108898575B - 一种新型自适应权重立体匹配方法 - Google Patents

Abstract

本发明公开了一种新型自适应权重立体匹配方法，包括，获取参考图像及目标图像，得到每个像素支持权重值的表示方法，然后本发明通过对传统自适应算法进行改进，选择CIELab色彩空间下的灰度绝对差代替RGB空间下的灰度绝对差，并引用Census非参数变换的相似性测度法用中心像素点与其邻域内的像素的关系来替代中心像素点的灰度值，最后再进行左右一致性检测、亚像素增强与中值滤波的视差后处理。本发明有效提高了匹配精度，增强了立体匹配的鲁棒性，并且改善了传统算法在低纹理区域产生的块效应。

Description

一种新型自适应权重立体匹配方法

技术领域

本发明涉及数字图像处理领域，具体涉及一种新型自适应权重立体匹配方法。

背景技术

立体匹配就是根据两个不同位置的相机对同一场景进行拍摄得到的两幅图像中寻找三维场景中的空间点在两幅图像中对应的投影点，并根据匹配点的坐标生成视差图的过程。通过双目视觉系统获取图像有着与双眼感知场景信息相同的模式，两相机获取的左右图像对又称为参考图像和目标图像，在进行立体匹配之前，左右两幅图像需经过极线校正，经过校正的左右图像像素行对齐，这样降低了立体匹配的搜索空间，提高了匹配效率。立体匹配的目标是从不同视点图像中找到匹配的对应点得到视差图，然后通过三角测量关系得到物体的景深，它被广泛的应用于医学影像、三维重构、机器人视觉导航和目标跟踪等诸多领域。

目前双目立体匹配技术的缺陷主要体现在一下几个方面：外在因素的影响难以克服、遮挡区域与弱纹理区域匹配不准确、深度不连续点的匹配问题。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种新型自适应权重立体匹配方法。

本发明采用如下技术方案：

本发明对将CIELab色彩空间下的绝对灰度差与Census非参数变换相结合作为自适应权重算法的匹配代价函数。该算法在不显著增加原始算法复杂度的情况下提高了自适应权重算法的匹配精度。相对传统ASW算法，本发明算法所得到的视差图视觉效果相对原始算法得到明显改善，在图像深度不连续区域的匹配效果增强，如场景物体边缘区域以及前景与背景的交界处，且本发明算法总体匹配精度也得到提高，且在低纹理区域的匹配效果比传统的ASW算法更好，减少了低纹理区域的“块效应”。

一种新型自适应权重立体匹配方法，包括如下步骤：

S1左右两个相机拍摄的图像分别为左图像及右图像，设定其中一个为参考图像，另一个为目标图像，左、右图像建立初始局部匹配窗口；

S2在CIELab颜色空间中建立相似性度量表达式，然后再根据该表达式确定局部匹配窗口中每个像素支持权重值的表示方法；

S3计算匹配代价；

S4根据赢者取全的原则计算出最终视差；

S5视差处理后得到最终结果图。

局部匹配窗口大小为35*35像素。

每个像素点的支持权重的计算可由下式表示：

其中L代表颜色的亮度，a代表红色/品红色和绿色之间的位置，b代表黄色和蓝色之间的位置，γ_c和γ_p用来调整颜色相似性和距离接近性对支撑权重的影响程度，q为窗口内像素，p为窗口内中心像素。

所述S3中计算匹配代价，具体为：

S3.1将待处理图像转化至CIElab空间进行处理；

S3.2计算CIElab空间下的绝对色度差C_AD(p,d)；

S3.3计算Census变换匹配代价C_census(p,d)；

S3.4由S3.2及S3.3，得出联合的匹配代价函数C(p,d)的计算公式如下：

C(p,d)＝ρ(C_census(p,d),λ_c)+ρ(C_AD(p,d),λ_AD)

式中，ρ(c,λ)是变量c的鲁棒性函数：

使用ρ(c,λ)对两个匹配代价进行转换主要有两个目的：1)将匹配代价值的范围映射到[0,1],这样上式就不会因为某种代价因子的异常而出现大幅度变动；2)通过λ可以控制不同的匹配代价因子在融合匹配代价中的权重。

λ_c，λ_AD为两个性能指标参数，分别用于表示CIELab空间下的绝对色度差C_AD(p,d)和Census变换匹配代价C_census(p,d)在融合匹配代价过程之中的权重大小；

S3.5将参考图像局部窗口的权值矩阵与目标图像窗口权值矩阵相乘后的结果作为代价聚合的权重，得到匹配代价：

式中，d为视差层级，

为目标图像窗口中的像素点，p和

是左右图像中视差为d的左右点对，q和

是p邻域内和

邻域内对应的匹配点对，N_p是左图像中以p为中心的支持向量窗的尺寸，

是右图像中以

为中心的支持向量窗的尺寸，C(p,d)为所对应像素点q和q_d的匹配代价，w(p,q)与

分别对应这两点的权重值大小。

所述视差处理包括左右一致性检测、亚像素增强和中值滤波。

选择Census变换的窗口的大小为奇数乘奇数的窗口，小于或等于用于支持权重计算的窗口。

所述Census变换将中心像素点与其邻域内的像素的灰度值进行比较，灰度值大于中心点的位置记为1，灰度值小于或等于中心点的位置记为0，然后再将这些数字以比特串的形式进行表示，并用该值替代中心点像素的灰度值，再根据Hamming距离相似性测度得到Census变换匹配代价C_census(p,d),最后引入图像的颜色强度特征即CIElab空间下的绝对色度差C_AD(p,d)，结合鲁棒性函数ρ(c,λ)，选取适当的权重值，便能得到最终的匹配代价C(p,d)的计算公式。

本发明的有益效果：

(1)在局部立体匹配算法方面，对自适应支持权重算法做出了改进，将CIELab色彩空间下的绝对灰度差与Census非参数变换相结合作为自适应权重算法的匹配代价函数，最终使得低纹理区域的块效应得到消除，各个方面的误匹配率均得到下降，并且相对其他改进算法，本发明算法的平均误匹配率较低。

(2)本发明算法通过在传统ASW算法的基础上改进相似性测度，加入了CIELab空间下的绝对灰度差与Census非参数变换，进一步提高了视差不连续区域、低纹理区域和遮挡区域的匹配精度，另外本章改进算法的复杂度与传统自适应权重算法的计算复杂度相同，因为Census变换的计算量相对权重的计算及聚合步骤的计算量可忽略不计。

(3)选择CIELab色彩空间下的灰度绝对差代替RGB空间下的灰度绝对差，并引入Census变换提高算法对噪声的抑制能力。

附图说明

图1是本发明的局部立体匹配方法的流程图；

图2是本发明的匹配代价计算方法的流程图；

图3是本发明Census变换的示意图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

如图1、图2及图3所示，一种新型自适应权重立体匹配方法，包括如下步骤：

S1左右两个相机拍摄的图像分别为左图像及右图像，设定其中一个为参考图像，另一个为目标图像，左、右图像建立初始局部匹配窗口；

立体匹配是根据两个位于不同位置的相机对同一场景进行拍摄，通过双目视觉系统获取图像有着与双眼感知场景信息相同的模式，两个相机获取的左右图像对称为左图像及右图像，设定左图像为参考图像，另一个为目标图像，局部立体匹配算法的主要难点在于窗口大小的选择，窗口过大会导致边缘处及纹理丰富区域匹配精度不高，窗口过小会使得在低纹理区域不能包含的信息较少，造成匹配歧义。

本算法无需改变匹配窗口的大小，只对窗口内权值进行修改。窗口大小可以根据图片具体特征进行选择，本发明使用的局部匹配窗口大小为35*35像素。

S2在CIELab颜色空间中建立相似性度量表达式，然后再根据该表达式确定局部匹配窗口中每个像素支持权重值的表示方法；

自适应支持权重算法简称ASW算法，算法不直接考虑窗口的形状和大小，而是依据窗口邻域像素与目标像素的近似程度为其分配聚合权重。

现有技术中，根据格式塔理论，窗口中某个像素点的支持权重表示为：

w(p,q)＝f(Δc_pq,Δg_pq)

式中，Δc_pq表示窗口中的像素q与中心像素点p的色彩差异，Δg_pq表示空间距离差异。f(Δc_pq,Δg_pq)表示根据相似性和接近性分组的聚类强度。由于Δc_pq与Δg_pq可以认为相互独立，故像素q的支持权重可表示为：

w(p,q)＝f_s(Δc_pq,Δg_pq)

上式所述的色彩相似性强度与空间接近性强度可以分别由以下两个式子表示：

其中γ_c和γ_p用来调整颜色相似性和距离接近性对支撑权重的影响程度。Δc_pq为窗口像素q和中心像素p的颜色相似度，用CIELab颜色空间中的欧几里得距离表示。像素p在CIELab空间中的强度值为可表示为c_p＝[L_p,a_p,b_p]，同理c_q＝[L_q,a_q,b_q]。其中L代表颜色的亮度，a代表红色/品红色和绿色之间的位置，b代表黄色和蓝色之间的位置。

则Δc_pq可由下式给出：

其中Δg_pq的表示窗口内像素q与目标像素p的几何接近性，即两个像素在二维图像中的欧几里得距离，若像素q的坐标为q(x_q,y_q)，像素p的坐标为p(x_p,y_p)，则Δg_pq可通过下式给出：

联立上述各式，每个像素点的支持权重的计算可由下式表示：

S3计算匹配代价，分别计算将CIELab空间的灰度绝对值差与Census变换相结合作为新的匹配代价函数。并采用鲁棒性函数将匹配代价值的范围映射到[0,1]，用以作为算法的单个像素的最终的匹配代价，如图2所示，具体步骤为：

S3.1将待处理图像转化至CIElab空间进行处理；

传统方法的灰度绝对差是建立在RGB空间上的，但对于RGB颜色空间，由于其分布的不均匀性，难以完成符合人眼色彩感觉的颜色空间分割。CIELab色度空间是国际照明委员会指定的颜色度量国际标准的基础上建立起来的，它是一种与设备无关的颜色系统，也是一种基于生理特征的颜色系统，提供了颜色刺激感知的三维表示，含有的信息量较其他颜色空间更广泛。ASW算法在计算区域权重分配时采用相似性和接近性分组，其中相似性分组就是基于CIELab空间的，本发明将匹配代价函数中的绝对灰度差也同样建立在CIELab空间上，并不需要再次增加额外的空间转换代价。

根据实际情况选择Census变换的窗口的大小为奇数乘奇数的窗口，但是所选窗口必须小于或等于用于支持权重计算的窗口。然后再选取两个性能指标参数λ_c，λ_AD，用以表示CIELab空间下的绝对色度差C_AD(p,d)和Census变换匹配代价C_census(p,d)在融合匹配代价过程之中的权重大小。

Census非参数变换的相似性测度法用中心像素点与其邻域内的像素的关系来替代中心像素点的灰度值。该方法增强了立体匹配的鲁棒性，同时在颜色分布相似的区域，基于窗口下的Census变换比基于颜色强度差的相似度量匹配精度高，但它的计算特点也可能在具有相似结构的图像区域处引起匹配歧义，而图像的颜色强度有助于缓解这一区域的匹配问题。因此本发明将两者相结合，构建联合匹配代价函数。

S3.2计算CIElab空间下的绝对色度差C_AD(p,d)；

对于参考图像上的像素点p(x,y)以及视差层级d，分别计算CIELab空间下的绝对色度差C_AD(p,d)和Census变换匹配代价C_census(p,d)。C_AD(p,d)的计算公式可由下式表示：

S3.3计算Census变换匹配代价C_census(p,d)；

其中Census变化的目的是将测度信息按照一定规定转化为比特串来表示。其变化示意图，如图3所示，以3*3像素窗口为例：

将除中心像素点与其邻域内的像素的灰度值进行比较，灰度值大于中心点大的位置记为1，灰度值小于或等于中心点的位置记为0，然后再将这些数字以比特串的形式进行表示，最终用该值替代中心点像素的灰度值。其可由下式表示：

其中：ξ(I(p),I(q_i))为变换结果；p为中心像素；q_i为窗口内的其他像素；I(p)和I(q_i)分别为其对应的灰度值。根据映射关系得到对应的比特串，其定义如下：

式中，Str(x,y)为中心像素点的Census变换码；I(x,y)为窗口中心像素点的灰度值；I(x+i,y+j)为窗口内其他像素点的灰度值；

为位串联符。在Census变换码的基础上，利用Hamming距离相似性测度得到匹配代价，其定义如式所示：

C_census(p,d)＝C(x,y,d)＝Ham(Str_L(x,y),Str_r(x-d,y))

式中Str_L(x,y)为左图像素点的Census变换码；Str_r(x-d,y)为右图对应于左图像素点视差为d的Census变换码；C(x,y,d)为两个比特串对应位相异个数的和。

自适应支持权重区域匹配算法是局部算法中最出色的算法之一，算法的效果在某种程度上可以和全局匹配算法相媲美。算法的匹配代价计算阶段采用阶段绝对值差TAD作为相似性测度函数，最终取得了不错的效果，但相似性度量仅仅采用了像素的颜色强度值，这使得很难区分与待匹配点相邻的像素，而且由于辐射测量失真的影响，像素的颜色强度值会存在异常值，另外在低纹理区域，像素间颜色强度区别不大，容易造成误匹配。

Census变换的相似性测度法用中心像素点与其邻域内的像素的关系来替代中心像素点的灰度值。该方法增强了立体匹配的鲁棒性，同时在颜色分布相似的区域，基于窗口下的Census变换比基于颜色强度差的相似度量匹配精度高，但它的计算特点也可能在具有相似结构的图像区域处引起匹配歧义，而图像的颜色强度有助于缓解这一区域的匹配问题。因此本发明将两者相结合，构建联合匹配代价函数。

基于此，本发明提出了新的匹配度量方法，引入到自适应权重方法的匹配代价计算阶段，将CIELab空间的灰度绝对值差与Census变换相结合作为新的匹配代价函数。

S3.4由S3.2及S3.3，得出联合的匹配代价函数C(p,d)的计算公式如下：

C(p,d)＝ρ(C_census(p,d),λ_c)+ρ(C_AD(p,d),λ_AD)

式中，ρ(c,λ)是变量c的鲁棒性函数：

λ_c，λ_AD为两个性能指标参数，分别用于表示CIELab空间下的绝对色度差C_AD(p,d)和Census变换匹配代价C_census(p,d)在融合匹配代价过程之中的权重大小；

S3.5将参考图像局部窗口的权值矩阵与目标图像窗口权值矩阵相乘后的结果作为代价聚合的权重，得到匹配代价：

式中，d为视差层级，

为目标图像窗口中的像素点，p和

是左右图像中视差为d的左右点对，q和

是p邻域内和

邻域内对应的匹配点对，N_p是左图像中以p为中心的支持向量窗的尺寸，

是右图像中以

为中心的支持向量窗的尺寸，C(p,d)为所对应像素点q和q_d的匹配代价，w(p,q)与

分别对应这两点的权重值大小。

使用ρ(c,λ)对两个匹配代价进行转换主要有两个目的：1)将匹配代价值的范围映射到[0,1],这样上式就不会因为某种代价因子的异常而出现大幅度变动；2)通过λ可以控制不同的匹配代价因子在融合匹配代价中的权重。

S4根据赢者取全的原则计算出最终视差。

S5视差处理后得到最终结果图。

所述视差处理包括左右一致性检测及亚像素增强和中值滤波。

其中，左右一致性检测主要是为了检测出两幅图像中的遮挡部分，以提高立体匹配精度。其基本思想为是：对左图和右图分别计算视差图，对应匹配点的视差图应该是相同的，过程如下：设左图像向右图像中搜索匹配点的视差值为d_LR(p)，右图像向左图像中搜索匹配点的视差值为d_RL(p)，如果左右对应的视差值的绝对值差大于阈值th(通常选择一个像素)，即|d_LR(p)-d_RL(p)|＜th，则将该点标记为遮挡点，遮挡点的视差值为无效值，可以重新赋值。对于参考图像的视差图，遮挡像素点的视差可赋值为与它左边最相邻像素点的视差值，如果遮挡点左边的所有像素的视差值均为无效值，则选取右边相邻像素点的视差值。

其中，亚像素增强方法是采用插值算法使视差图由像素级别精细到亚像素级别，使得误差更小结果更优化，其计算公式可由下式表示：

式中C(p,d)是点p在视差为d时所对应的匹配代价，d₊＝d+1,d_-＝d-1，d^*是最终得到的亚像素级视差。

上述步骤得到的视差图还存在一些噪声点，可以采用中值滤波的方法去噪，它将毎一像素点的值设置为该点某邻域窗口内的所有像素点值的中间值，能够有效消除噪声点，使得同一深度区域的视差连续。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种新型自适应权重立体匹配方法，其特征在于,包括如下步骤：

S1左右两个相机拍摄的图像分别为左图像及右图像，设定其中一个为参考图像，另一个为目标图像，左、右图像建立初始局部匹配窗口；

S2在CIELab颜色空间中建立相似性度量表达式，然后再根据该表达式确定局部匹配窗口中每个像素支持权重值的表示方法；

S3计算匹配代价；

S4根据赢者取全的原则计算出最终视差；

S5视差处理后得到最终结果图；

所述S3中计算匹配代价，具体为：

S3.1将待处理图像转化至CIElab空间进行处理；

S3.2计算CIElab空间下的绝对色度差C_AD(p,d)；

S3.3计算Census变换匹配代价C_census(p,d)；

S3.4由S3.2及S3.3，得出联合的匹配代价函数C(p,d)的计算公式如下：

C(p,d)＝ρ(C_census(p,d),λ_c)+ρ(C_AD(p,d),λ_AD)

式中，ρ(c,λ)是变量c的鲁棒性函数：

λ_c，λ_AD为两个性能指标参数，分别用于表示CIELab空间下的绝对色度差C_AD(p,d)和Census变换匹配代价C_census(p,d)在融合匹配代价过程之中的权重大小；

S3.5将参考图像局部窗口的权值矩阵与目标图像窗口权值矩阵相乘后的结果作为代价聚合的权重，得到匹配代价：

式中，d为视差层级，

为目标图像窗口中的像素点，p和

是左右图像中视差为d的左右点对，q和

是p邻域内和

邻域内对应的匹配点对，N_p是左图像中以p为中心的支持向量窗的尺寸，

是右图像中以

为中心的支持向量窗的尺寸，C(p,d)为所对应像素点q和q_d的匹配代价，w(p,q)与

分别对应这两点的权重值大小；

所述Census变换将中心像素点与其邻域内的像素的灰度值进行比较，灰度值大于中心点的位置记为1，灰度值小于或等于中心点的位置记为0，然后再将这些数字以比特串的形式进行表示，并用该值替代中心点像素的灰度值，再根据Hamming距离相似性测度得到Census变换匹配代价C_census(p,d),最后引入图像的颜色强度特征即CIElab空间下的绝对色度差C_AD(p,d)，结合鲁棒性函数ρ(c,λ)，选取适当的权重值，便能得到最终的匹配代价C(p,d)的计算公式。

2.根据权利要求1所述的一种新型自适应权重立体匹配方法，其特征在于，局部匹配窗口大小为35*35像素。

3.根据权利要求1所述的一种新型自适应权重立体匹配方法，其特征在于，每个像素点的支持权重的计算可由下式表示：

其中L代表颜色的亮度，a代表红色/品红色和绿色之间的位置，b代表黄色和蓝色之间的位置，γ_c和γ_p用来调整颜色相似性和距离接近性对支撑权重的影响程度，q为窗口内像素，p为窗口内中心像素。

4.根据权利要求1所述的一种新型自适应权重立体匹配方法，其特征在于，所述视差处理包括左右一致性检测、亚像素增强和中值滤波。

5.根据权利要求1所述的一种新型自适应权重立体匹配方法，其特征在于，选择Census变换的窗口的大小为奇数乘奇数的窗口，小于或等于用于支持权重计算的窗口。

Images