CN106355608B - 基于可变权重代价计算与S-census变换的立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于可变权重代价计算与S‑census变换的立体匹配方法，利用星型邻域最小均匀度的均值代替中心像素灰度值进行census变换；以可变权重的Hamming距作为匹配代价，采用非局部代价聚合方法获取初始视差；利用基于均值偏移的视差提精方法，对初始视差做进一步的处理，处理不可信视差区域，获得高精度视差图。本发明分析了传统census变换的不足，提出了可变权重代价计算与S‑census变换，有效地增强了算法的抗干扰能力；通过可变权重汉明距作为对匹配代价的选取分析方法，有效的提高了匹配精准度，减少了误匹配率；采用非局部代价聚合的方法获取初始视差，提高了视差的区分度；突破了局部立体匹配精度不高、抗干扰能力弱等局限性、能够实现高精度的立体匹配。

Description

基于可变权重代价计算与S-census变换的立体匹配方法

技术领域

本发明涉及一种立体匹配方法，特别涉及一种基于可变权重代价计算与S-census变换的立体匹配方法，属于数字图像处理领域。

背景技术

随立体匹配是计算机视觉领域的研究难点与热点之一，匹配精度对于视觉应用有着重大影响。目前，立体视觉在工业检测、机器人导航、军事航空测绘等众多领域有着广泛的应用。

依据最优化理论方法的不同，主要有局部的和全局的两大类匹配算法。全局算法通过能量函数最小化获得匹配结果，精度较高,效率较低。局部算法利用窗口内的邻域信息来进行单像素的匹配。速度快，容易实现，但局部算法存在支持窗口的大小和合适的匹配代价选取等问题。

在局部匹配算法中，算法SAD(sum of absolute differences)和ASW(adaptivesupport weight)等，对于理想图像能够获得较高精度的匹配结果，但对幅度失真非常敏感，难以用于真实场景图像的匹配。而基于census变换的匹配算法，在幅度失真方面具有较强的鲁棒性。适用于真实场景图像的立体匹配，但精度不高。

发明内容

本发明所要解决的技术问题是提供一种基于基于可变权重代价计算与S-census(variable support-weight S-census transform，VSC)变换的立体匹配算法。该算法在分析传统census变换不足的基础上，利用星型邻域最小均匀度的均值代替中心像素灰度值进行Census变换，以可变权重的Hamming距作为匹配代价，采用非局部代价聚合方法获取初始视差。利用基于均值偏移的视差提精方法，对初始视差做进一步的处理，处理不可信视差区域，获得高精度视差图。本发明使用改进后的S-census变换方法，融合加权区域海明距均值和方差作为匹配相似性测度，减少误匹配，提高匹配精度；采用非局部代价聚合自适应的进行代价聚合获取初始视差，利用一种基于均值偏移的视差提精方法，对于代价聚合后的初始视差处理，处理不可信视差区域。本发明方法突破了局部立体匹配精度不高、抗干扰能力弱等局限性，能够实现高精度的立体匹配，该局部立体匹配算法适用于真实场景图像的立体匹配。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于可变权重代价计算与S-census变换的立体匹配算法，包括以下具体步骤：

步骤1，分别对左右视图进行特征点提取，对提取到的左右视图的特征点进行匹配特征，建立以匹配特征点为中心的census变换窗口；

步骤2，以通过匹配特征点的线段划分步骤1中的census变换窗口，其中，划分线段呈星型领域状，计算各条划分线段上的灰度均匀度；

步骤3，采用步骤2中计算得到的最小灰度均匀度对应的区域灰度均值作为参考值进行census变换；

步骤4，通过加权区域海明距作为相似性测度，进行代价计算，获取单点匹配视差；

步骤5，采用非局部代价聚合方法自适应进行代价聚合，对步骤4中的单点匹配视差进行聚合，获取初始视差；

步骤6，获取初始视差后，采用均值偏移法和左右一致性校验方法提高初始视差的精度，获得最终视差图。

作为本发明的进一步优化方案，步骤1中，采用ORB特征提取算法分别对左右视图进行特征点提取。

作为本发明的进一步优化方案，步骤1中，建立以匹配特征点为中心的3*3或5*5大小的census变换窗口。

作为本发明的进一步优化方案，步骤2中，各条划分线段上的灰度均匀度W计算公式为：

式中，f(i,j)为星型邻域的像素灰度值；为f(i,j)的均值。

作为本发明的进一步优化方案，步骤4中，通过加权区域海明距作为相似性测度，进行代价计算，具体为：

(1)计算census变换窗口大小h,h＝m×n，其中，m和n分别代表census变换窗口的宽度和高度；h即表示经census变换后码的长度；

(2)对census变换后的码值依次赋予权重，其中，权重因子δ_k为：

式中，k表示对census变换后码的编号，k＝1,2,...,h。

(3)可变权重代价计算，其中，代价计算公式为：

式中，w_1k(u,v)表示左视图中census变换窗口对应编号k的码，w_2k(u-f,v)表示右视图中census变换窗口对应编号k的码。

作为本发明的进一步优化方案，步骤6中采用均值偏移法和左右一致性校验方法提高初始视差的精度，获得最终视差图，具体为：

1)对步骤5中的初始视差采用左右一致性校验方法进行校验，则初始视差划分为高置信度初始视差和低置信度初始视差；

2)采用均值偏移法对1)中的低置信度初始视差进行优化：

2.1)采用均值偏移法将低置信度初始视差分割为N个子区域，每个子区域记为S_i，i＝1,2,...,N；

2.2)对2.1)中的N个子区域分别建立视差估计统计直方图，记为统计不同视差出现次数；

2.3)选择视差估计统计直方图的峰值作为子区域S_i视差结果，其中，其中，d是视差估计，d∈[0,d_max]，d_max是最大的视差估计；

2.4)依据的结构特征确定视差估计，S_i最后视差估计为：

式中，是初始视差估计，N_i是子区域S_i中像素的个数，是的像素量，α是比例阈值，A是子区域S_i的大小阈值；

3)采用2.4)中的公式对低置信度初始视差所得视差结果进行判断，得到最终视差图。

本发明采用以上技术方案与现有技术相比，本发明利用星型邻域最小均匀度的均值代替中心像素灰度值进行census变换，有效地增强算法的抗干扰能力，以可变权重的Hamming距作为匹配代价求取初始视差。采用非局部代价聚合的方法进行自适应的代价聚合，提高了视差的区分度，获取初始视差。最后，采用均值偏移的视差提精方法，对初始视差进行处理，处理不可信的视差区域，获得高精度的最终视差图。算法突破了局部立体匹配精度不高、抗干扰能力弱等局限性。能够实现高精度的立体匹配。

附图说明

图1是本发明的算法流程图。

图2是本发明的一种星型邻域线段划分示意图。

图3是本发明的S-census变换示意图。

具体实施方式

下面结合附图以及具体实施例对本发明的技术方案做一详细说明：

本发明提供一种基于可变权重代价计算与S-census变换的立体匹配算法，如图1所示，包括以下具体步骤：

步骤1，建立变换窗口：采用ORB特征提取算法选择特征点并配对，建立以已匹配特征点(u,v)为中心3*3大小的变换窗口。

步骤2，S-census变换：在census变换过程中，加大census变换窗口内各个像素间的相关信息，缩小census变换过度依赖中心点亮度；

步骤3，基于权重可变汉明距代价计算：加权区域海明距的均值和方差作为立体匹配的相似性测度，减少误匹配，提高匹配精度；

步骤4，采用非局部代价聚合方法自适应的进行代价聚合，提高视差区分度，获取初始视差；

步骤5，均值偏移法进行视差提精：利用基于均值偏移的视差提精方法，处理不可信视差区域，获得高精度视差图；

下面通过具体实施例对本发明的方法进行进一步阐述：

1.S-census变换：在census变换过程中，加大census变换窗口内各个像素间的相关信息，缩小census变换过度依赖中心点亮度。具体实现如下：

1)以(u,v)为中心的窗口，划分窗口内以过(u,v)为点的各条线段，其中，线段划分方式如图2所示，划分线段呈星型领域状。

2)计算各条线段上的灰度均匀度W：

这里，f(i,j)表征星型邻域的像素灰度大小；是f(i,j)的均值。

3)取最小灰度均匀度对应的区域的灰度均值替换中心点(u,v)的灰度值。

4)以3)中替换后的中心点(u,v)的灰度值作为参考值，进行census变换，得到新的鲁棒性强的二进制码，如图3所示。

2.基于权重可变汉明距，获取初始匹配视差。通过加权区域海明距作为立体匹配的相似性测度，减少误匹配，提高匹配精度。具体实现如下：

(1)计算census变换窗口大小h,h＝m×n，其中，m和n分别代表census变换窗口的宽度和高度；h即表示经census变换后码的长度；

(2)对census变换后的码值依次赋予权重，其中，权重因子δ_k为：

式中，k表示对census变换后码的编号，k＝1,2,...,h。

(3)可变权重代价计算，其中，代价计算公式为：

式中，w_1k(u,v)表示左视图中census变换窗口对应编号k的码，w_2k(u-f,v)表示右视图中census变换窗口对应编号k的码。

3.采用非局部代价聚合方法自适应的进行代价聚合，提高视差区分度，获取初始视差。

4.利用均值偏移的视差提精方法，对不可信的视差区域进行处理，提高视差精度。具体步骤如下：

1)对步骤5中的初始视差采用左右一致性校验方法进行校验，则初始视差划分为高置信度初始视差和低置信度初始视差；

2)采用均值偏移法对1)中的低置信度初始视差进行优化：

2.1)采用均值偏移法将低置信度初始视差分割为N个子区域，每个子区域记为S_i，i＝1,2,...,N；

2.2)对2.1)中的N个子区域分别建立视差估计统计直方图，记为统计不同视差出现次数；

2.3)选择视差估计统计直方图的峰值作为子区域S_i视差结果，其中，其中，d是视差估计，d∈[0,d_max]，d_max是最大的视差估计；

2.4)依据的结构特征确定视差估计，S_i最后视差估计为：

式中，是初始视差估计，N_i是子区域S_i中像素的个数，是的像素量，α是比例阈值，A是子区域S_i的大小阈值；

3)采用2.4)中的公式对低置信度初始视差所得视差结果进行判断，得到最终视差图。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于可变权重代价计算与S-census变换的立体匹配方法，其特征在于，包括以下具体步骤：

步骤1，分别对左右视图进行特征点提取，对提取到的左右视图的特征点进行匹配特征，建立以匹配特征点为中心的census变换窗口；

步骤2，以通过匹配特征点的线段划分步骤1中的census变换窗口，其中，划分线段呈星型领域状，计算各条划分线段上的灰度均匀度；

步骤3，采用步骤2中计算得到的最小灰度均匀度对应的区域灰度均值作为参考值进行census变换；

步骤4，通过加权区域海明距作为相似性测度，进行代价计算，获取单点匹配视差；其中，通过加权区域海明距作为相似性测度，进行代价计算，具体为：

(1)计算census变换窗口大小h,h＝m×n，其中，m和n分别代表census变换窗口的宽度和高度；h即表示经census变换后码的长度；

(2)对census变换后的码值依次赋予权重，其中，权重因子δ_k为：

式中，k表示对census变换后码的编号，k＝1,2,...,h；

(3)可变权重代价计算，其中，代价计算公式为：

式中，w_1k(u,v)表示左视图中census变换窗口对应编号k的码，w_2k(u-f,v)表示右视图中census变换窗口对应编号k的码；

步骤5，采用非局部代价聚合方法自适应进行代价聚合，对步骤4中的单点匹配视差进行聚合，获取初始视差；

步骤6，获取初始视差后，采用均值偏移法和左右一致性校验方法提高初始视差的精度，获得最终视差图。

2.根据权利要求1所述的基于可变权重代价计算与S-census变换的立体匹配方法，其特征在于，步骤1中，采用ORB特征提取算法分别对左右视图进行特征点提取。

3.根据权利要求1所述的基于可变权重代价计算与S-census变换的立体匹配方法，其特征在于，步骤1中，建立以匹配特征点为中心的3*3或5*5大小的census变换窗口。

4.根据权利要求1所述的基于可变权重代价计算与S-census变换的立体匹配方法，其特征在于，步骤2中，各条划分线段上的灰度均匀度W计算公式为：

式中，f(i,j)为星型邻域的像素灰度值；为f(i,j)的均值。

5.根据权利要求1所述的基于可变权重代价计算与S-census变换的立体匹配方法，其特征在于，步骤6中采用均值偏移法和左右一致性校验方法提高初始视差的精度，获得最终视差图，具体为：

1)对步骤5中的初始视差采用左右一致性校验方法进行校验，则初始视差划分为高置信度初始视差和低置信度初始视差；

2)采用均值偏移法对1)中的低置信度初始视差进行优化：

2.1)采用均值偏移法将低置信度初始视差分割为N个子区域，每个子区域记为S_i，i＝1,2,...,N；

2.2)对2.1)中的N个子区域分别建立视差估计统计直方图，记为统计不同视差出现次数；

2.3)选择视差估计统计直方图的峰值作为子区域S_i视差结果，其中，其中，d是视差估计，d∈[0,d_max]，d_max是最大的视差估计；

2.4)依据的结构特征确定视差估计，S_i最后视差估计为：

式中，是初始视差估计，N_i是子区域S_i中像素的个数，是的像素量，α是比例阈值，A是子区域S_i的大小阈值；

3)采用2.4)中的公式对低置信度初始视差所得视差结果进行判断，得到最终视差图。