CN112150519A - 一种对光照不敏感的局部立体匹配方法 - Google Patents

Abstract

本发明公开感的局部立体匹配方法，涉及光照不敏感的局部立体匹配技术领域。本方法包括算、代价聚合、视差计算和视差精化四个阶段；代价计算阶段：融合梯度信息和HSV颜色空间的像素强度信息作为初始代价，并采用边缘加权的方法对边缘信息相似点的代价进行加权；代价聚合阶段：在跨尺度模型下使用引导滤波进行代价聚合；视差计算阶段：采用WTA算法进行视差选择；视差精化阶段：通过左右一致性检测，空洞填充和加权中值滤波的方法进行视差精化处理。

Description

一种对光照不敏感的局部立体匹配方法

技术领域

本发明涉及照不敏感的局部立体匹配技术领域，具体是一种对光照不敏感的局部立体匹配方法。

背景技术

立体匹配旨在寻找同一场景下两幅或多幅图中对应点，进行场景深度信息估计的过程，是计算机视觉和机器视觉的重要组成部分。传统立体匹配可分为全局立体匹配方法和局部立体匹配方法。立体匹配的过程可归纳为代价计算、代价聚合、视差计算和视差精化四个步骤。

全局立体匹配算法通常跳过代价聚合步骤，通过最小化能量函数来选择最佳视差值，能够获得较精准的视差图，常见的全局立体匹配算法有：置信度传播匹配算法、图割匹配算法、动态规划匹配算法、马尔可夫随机场匹配算法等。但由于全局立体匹配算法复杂度较高，在解决现实生活中的立体匹配问题时耗时较长，具有一定的局限性。局部立体匹配算法通过构建窗口，计算窗口内像素代价进行聚合，并采用赢者通吃(WTA)算法得到视差图，计算速度快，便于实现，具有远大的发展前景。

大部分立体匹配算法的代价计算是基于像素灰度值的，当图像受到光照影响出现辐射度失真时，这些算法的匹配精度会大打折扣。对此，Hirshmuller等人提出了Census算法。为了提高Census变换的抗噪性，Chang等提出了Mini-Census算法，对窗口内固定的六个点进行Census变换。刘建国等利用窗口内像素均值信息代替中心像素，并设置容错阈值。但Census及其变体算法在进行代价计算时忽略了图像的像素强度信息。

局部立体匹配过程中，处在边缘位置的像素点大多是视差不连续的，其所在的聚合窗口背景发生了偏移，容易造成误匹配。为了减少这种情况，Yoon等提出自适应权重的立体匹配算法，根据邻域像素和中心像素的颜色和几何相似性调整权重。Mattoccia等引入双边滤波进行代价聚合，具有良好的边缘保持效果。但以上两种方法计算复杂度随内核增大而上升，实际应用中耗时较长。Hosni等把引导滤波应用到窗口聚合上，其计算复杂度与内核大小无关。Yang利用最小生成树进行聚合，在较低的计算复杂度下取得了稳健的效果。传统算法都是在最精细尺度下进行的，忽视了尺度间的信息，Zhang等考虑到多尺度交互，将现有的方法进行归纳融合，设计了统一的代价聚合模型。以上算法一定程度上减少了边缘模糊现象，提升了匹配精度，但对图像的边缘信息利用不够充分，在对边缘点的代价计算中缺乏区分度，容易导致视差选择错误。

(2)总结上述方法，目前同类方法的主要缺陷：

第一，大部分立体匹配算法的代价计算是基于灰度图或者RGB颜色空间的像素强度，当图像受到光照影响出现辐射度失真时，这些算法的匹配精度会大打折扣。对于灰度图，其丢失了图像颜色信息，对彩色图像区分能力不强；对于RGB颜色空间，彩色图像像素点在R、G、B颜色通道上相互影响，信息冗余且可靠性低。当外部环境光照发生变化时，匹配精度会受到影响而降低。

第二，现有算法对图像的边缘信息利用不够充分，在对边缘点的代价计算中缺乏区分度，容易导致视差选择错误。

第三，传统算法大多是在最精细尺度下进行的，忽视了尺度间的信息。往往在纹理丰富区域表现较好，而在低纹理区表现不理想。

发明内容

为了克服上述现有技术的缺点，本发明提供一种对光照不敏感的局部立体匹配方法。

本发明是以如下技术方案实现的：一种光照不敏感的局部立体匹配方法，包括代价计算、代价聚合、视差计算和视差精化四个阶段；

代价计算阶段：融合梯度信息和HSV颜色空间的像素强度信息作为初始代价，并采用边缘加权的方法对边缘信息相似点的代价进行加权；

代价聚合阶段：在跨尺度模型下使用引导滤波进行代价聚合；

视差计算阶段：采用WTA算法进行视差选择；

视差精化阶段：通过左右一致性检测，空洞填充和加权中值滤波的方法进行视差精化处理。

优选的，代价计算阶段包括初始代价计算和边缘加权的代价计算，具体如下：

a、初始代价计算采用颜色强度和梯度信息相结合的代价计算方法，在计算颜色强度时，采用HSV颜色空间，RGB转换到HSV颜色空间公式如下：

对于两幅图像I和I′，匹配代价计算函数可表示为：

C＝f(I,I′) (2)

视差为d时点i的代价表示为：

C(i,d)＝(1-α)·min[C_AD,τ_c]+α·min[C_GRAD,τ_g]， (3)

式中，α是平衡因子，用于调节颜色强度和梯度对于代价的贡献比例，τ_c和τ_g分别为颜色绝对值差和梯度绝对值差的截断阈值，用来降低异常值的影响；C_AD和C_GRAD分别是颜色强度绝对值差和梯度强度绝对值差，可表示为：

I(i)和I′(i_d)分别表示参考图和目标图的颜色强度，

和

表示参考图和目标图沿x轴方向的梯度；i_d表示目标图上坐标点(x_i-d,y_i)；下标H、S分别表示H通道和S通道；β表示不同通道对代价的贡献值；

b、边缘加权的代价计算方法

对立体匹配图形对采用Canny算法进行边缘检测，得到包含边缘信息的二值化图像；对边缘图像进行二进制编码，以像素i为中心，r为半径选择一个矩形窗口N(i)，遍历该窗口，对边缘点和非边缘点分别用1和0赋值：

统计以像素i为中心的窗口内边缘点的数量n_E(i)，并将窗口内所有点映射为一个比特串s_E(i)，用于保存边缘结构信息：

式中，符号

表示按位连接；

根据边缘的数量和结构信息，定义参考图和目标图的边缘代价函数表示为：

c_n(i,d)＝|n_E(i)-n_E′(i_d)|， (8)

其中，c_n(i,d)表示像素点i和i_d所在邻域内边缘点数量差值，c_n(i,d)越小，以i和i_d两点为中心的矩形窗内边缘点数量越接近，c_s(i,d)表示点i和i_d二进制编码的汉明距离，c_s(i,d)越小，则两点边缘结构越相似；

当像素点处于弱纹理或无纹理区域时，边缘点数量少，结构差异较小，边缘信息缺乏鲁棒性，对于这部分点不采取加权：

式中，C′(i,d)表示经过边缘加权后像素点i在视差d下的匹配代价，T表示边缘数量限制阈值，λ表示边缘加权系数，λ选择策略如下：

其中，k₁，k₂是奖励系数，0＜k₂＜k₁＜1，τ_n和τ_s分别是数量容错阈值和结构容错阈值，对于边缘点数量差值小于τ_n的两点，认为是“相似点”，将该点初始代价乘以奖励系数k₁获得较小的代价值，对于边缘数量差值小于τ_n且边缘结构差值小于τ_s的两点，认为是“强相似点”，该点初始代价乘以奖励系数k₂获得更小的代价值。

优选的，代价聚合阶段：使用跨尺度聚合的方法，对原始图像对进行高斯下采样，分别计算各个尺度的匹配代价，利用多尺度聚合模型进行聚合，并引入二范数正则化项，以保证不同尺度下同一像素代价的一致性，跨尺度空间聚合模型表示为：

其中，s∈{0,1,...,S}表示不同尺度，

是归一化常量，

是在s尺度下像素点i的邻域窗口，

是正则化项，用来协调各个尺度之间的关系，λ表示正则化因子，λ越大，表示各尺度之间的约束关系越强，K^s(i^s,j^s)表示相似核，用来衡量i^s和j^s之间的相似度，本文选择计算量与窗口大小无关，且边缘保持较好的引导滤波^[13]作为相似核函数，其表达式为：

式中，q为输出图像，I为引导图像，a_k和b_k是以像素k为中心时的不变系数，ω_k是以k为中心的矩形窗口。

优选的，视差计算阶段采用Winner-Takes-All算法进行视差选择，得到初始视差：

式中，D表示视差搜索范围，

为聚合后代价值。

优选的，在视差精化阶段对得到的初始视差图进行左右一致性检测、空洞填充和加权中值滤波处理；

首先，采用左右一致性检测:

|d_L(i)-d_R[i-d_L(i)]|＜δ₀， (17)

其中d_L(i)表示i点在左视图中的视差值，d_R[i-d_L(i)]表示i点在右视图中的对应点的视差值；阈值δ₀一般设为1，即i不满足左右视差值相等，则被标记为遮挡点；对于遮挡点，需要进行填充来获得合理的视差值；对于某一遮挡点i′，分别沿扫描线向左和向右寻找第一个非遮挡点，记为i′_L和i′_R，并将其中较小的视差值赋给i′：

d(i′)＝min[d(i′_L),d(i′_R)]； (18)

最后，采用加权中值滤波对得到的视差图进行平滑处理，生成最终视差图。

本发明有益效果：

第一，代价计算阶段采用HSV颜色空间进行像素强度计算，提取图像中的有效颜色信息并舍弃易受光照影响的信息，既降低了特征维度提高了运算速率，又增强了对光照变化的鲁棒性。

第二，充分利用图像中物体边缘信息，根据边缘点的数量和结构信息提出一种边缘相似度测量方法，并对满足约束条件的点进行两种策略的“奖励”加权，提高目标图和参考图中对应点的辨识度。

第三，引入跨尺度聚合模型，在多个尺度下分别进行代价计算，在纹理丰富和低纹理区域都有较好的匹配精度。

附图说明

图1是本发明流程框图。

具体实施方式

如图1所示，本部分按照立体匹配算法四个步骤进行论述，分别是：代价计算、代价聚合、视差计算和视差精化。在代价计算阶段，融合梯度信息和HSV颜色空间的像素强度信息作为初始代价，并采用边缘加权的方法对边缘信息相似点的代价进行加权，聚合阶段，在跨尺度模型下使用引导滤波进行代价聚合。采用WTA算法进行视差选择，最后通过左右一致性检测，空洞填充和加权中值滤波的方法进行视差精化处理。流程图和具体步骤如下：

(1)代价计算

a、初始代价计算

本发明采用目前较常用的颜色强度和梯度信息相结合的代价计算方法，在计算颜色强度时，采用HSV颜色空间。RGB转换到HSV颜色空间公式如下：

V＝max (1)

对于两幅图像I和I′，匹配代价计算函数可表示为：

C＝f(I,I′)。 (2)

视差为d时点i的代价表示为：

C(i,d)＝(1-α)·min[C_AD,τ_c]+α·min[C_GRAD,τ_g]， (3)

式中，α是平衡因子，用于调节颜色强度和梯度对于代价的贡献比例，τ_c和τ_g分别为颜色绝对值差和梯度绝对值差的截断阈值，用来降低异常值的影响。C_AD和C_GRAD分别是颜色强度绝对值差和梯度强度绝对值差，可表示为：

C_AD|(i,d)＝|β[I_H(i)-I′_H(i_d)]+(1-β)[I_S(i)-I_S′(i_d)]|

I(i)和I′(i_d)分别表示参考图和目标图的颜色强度，

和

表示参考图和目标图沿x轴方向的梯度。i_d表示目标图上坐标点(x_i-d,y_i)。下标H、S分别表示H通道和S通道。β表示不同通道对代价的贡献值，由于V通道易受光照因素影响，因此舍弃V通道上的信息不仅可以降低算法计算复杂度，而且增强图像对光照因素影响的鲁棒性。

在进行初始代价计算时，将图像从RGB颜色空间转换到独立性强且鲁棒性较好的HSV颜色空间，提取H、S通道的像素强度进行代价计算，舍弃易受光照影响的V通道信息，降低算法计算复杂度，同时减少受光照强度变化的影响。结合像素间梯度信息作为初始代价，进一步增强图像对光照因素影响的鲁棒性。

b、边缘加权的代价计算方法

本发明对立体匹配图形对采用Canny算法进行边缘检测，得到包含边缘信息的二值化图像。对边缘图像进行二进制编码，以像素i为中心，r为半径选择一个矩形窗口N(i)，遍历该窗口，对边缘点和非边缘点分别用1和0赋值：

统计以像素i为中心的窗口内边缘点的数量n_E(i)，并将窗口内所有点映射为一个比特串s_E(i)，用于保存边缘结构信息：

式中，符号

表示按位连接。图1是对一个3×3的边缘信息窗口变换示意图。

边缘变换示意图

根据边缘的数量和结构信息，定义参考图和目标图的边缘代价函数表示为：

c_n(i,d)＝|n_E(i)-n_E′(i_d)|， (8)

其中，c_n(i,d)表示像素点i和i_d所在邻域内边缘点数量差值，c_n(i,d)越小，以i和i_d两点为中心的矩形窗内边缘点数量越接近。c_s(i,d)表示点i和i_d二进制编码的汉明距离，c_s(i,d)越小，则两点边缘结构越相似。传统算法在初始代价计算时，边缘部分的点没有被有效区分，聚合过程中，由于背景发生了偏移，导致视差选择错误。为了增加边缘处匹配点的区分度，应给予边缘相似度高的匹配点更小的匹配代价，从而保证在视差选择过程中获得正确的视差值。但由于相机偏移、光照、噪声等因素的影响，参考图和目标图对应点的边缘图像往往存在微小差异，实验证明，直接将每个点的边缘信息融合到初始代价计算中对匹配精度提升有限。因此，本发明采取“奖励”加权的方法，仅对满足约束条件的代价进行加权处理。

当像素点处于弱纹理或无纹理区域时，边缘点数量少，结构差异较小，边缘信息缺乏鲁棒性，对于这部分点不采取加权：

式中，C′(i,d)表示经过边缘加权后像素点i在视差d下的匹配代价，T表示边缘数量限制阈值，λ表示边缘加权系数，λ选择策略如下：

其中，k₁，k₂是奖励系数，0＜k₂＜k₁＜1。τ_n和τ_s分别是数量容错阈值和结构容错阈值。即对于边缘点数量差值小于τ_n的两点，认为是“相似点”，将该点初始代价乘以奖励系数k₁获得较小的代价值，对于边缘数量差值小于τ_n且边缘结构差值小于τ_s的两点，认为是“强相似点”，该点初始代价乘以奖励系数k₂获得更小的代价值。

(2)代价聚合

代价聚合是立体匹配中关键的一步，大部分聚合过程可以看做是对代价体进行滤波的过程。传统的代价聚合是在最精细尺度下进行的，往往在纹理丰富区域表现较好，而在低纹理区表现不理想。本发明使用跨尺度聚合的方法，对原始图像对进行高斯下采样，分别计算各个尺度的匹配代价，利用多尺度聚合模型进行聚合，并引入二范数正则化项，以保证不同尺度下同一像素代价的一致性。跨尺度空间聚合模型表示为：

其中，s∈{0,1,...,S}表示不同尺度，

是归一化常量，

是在s尺度下像素点i的邻域窗口，

是正则化项，用来协调各个尺度之间的关系，λ表示正则化因子，λ越大，表示各尺度之间的约束关系越强。K^s(i^s,j^s)表示相似核，用来衡量i^s和j^s之间的相似度，本文选择计算量与窗口大小无关，且边缘保持较好的引导滤波[13]作为相似核函数，其表达式为：

式中，q为输出图像，I为引导图像，a_k和b_k是以像素k为中心时的不变系数，ω_k是以k为中心的矩形窗口。

针对图像中物体边缘易出现误匹配的问题，利用Canny算子进行边缘检测，统计所得边缘图像的数量和结构信息，为边缘信息近似的初始代价提供两种策略的“奖励”加权，增强了相似点的辨识度，提高了匹配精度。将所得到的代价信息带入多尺度模型，分别计算各个尺度的匹配代价，利用多尺度聚合模型进行聚合，并引入二范数正则化项，以保证不同尺度下同一像素代价的一致性。

(3)视差计算和视差精化

视差计算阶段，使用Winner-Takes-All算法进行视差选择，得到初始视差：

式中，D表示视差搜索范围，

为聚合后代价值。

在视差精化阶段，为了进一步降低算法的误匹配率，对得到的初始视差图进行左右一致性检测、空洞填充和加权中值滤波处理。

首先，采用左右一致性检测:

|d_L(i)-d_R[i-d_L(i)]|＜δ₀， (17)

其中d_L(i)表示i点在左视图中的视差值，d_R[i-d_L(i)]表示i点在右视图中的对应点的视差值。阈值δ₀一般设为1，即i不满足左右视差值相等，则被标记为遮挡点。对于遮挡点，需要进行填充来获得合理的视差值。对于某一遮挡点i′，分别沿扫描线向左和向右寻找第一个非遮挡点，记为i′_L和i′_R，并将其中较小的视差值赋给i′：

d(i′)＝min[d(i′_L),d(i′_R)]。 (18)

最后，采用加权中值滤波对得到的视差图进行平滑处理，生成最终视差图。

将所得到的代价信息带入多尺度模型，分别计算各个尺度的匹配代价，利用多尺度聚合模型进行聚合，并引入二范数正则化项，以保证不同尺度下同一像素代价的一致性。

第一，针对像素强度信息易受光照因素影响的问题，本发明对图像彩色信息进行提取并编码。将图像RGB颜色空间转换到独立性强且鲁棒性较好的HSV颜色空间，提取H、S通道信息，分别进行代价计算并结合，舍弃最易受光照影响的V通道信息。

第二，针对现有算法对图像的边缘信息利用不够充分，在对边缘点的代价计算中缺乏区分度的问题，本发明提出一种基于边缘加权的跨尺度局部立体匹配算法，在代价计算时，利利用Canny算子进行边缘检测，统计所得边缘图像的数量和结构信息，为边缘信息近似的初始代价提供两种策略的“奖励”加权，增强了相似点的辨识度，提高了匹配精度。

第三，针对传统算法忽视了尺度间的信息的问题，本发明在代价聚合阶段引入跨尺度聚合模型，对原始图像对进行高斯下采样，分别计算各个尺度的匹配代价，利用多尺度聚合模型进行聚合，并引入二范数正则化项，以保证不同尺度下同一像素代价的一致性。

Claims (5)

1.一种光照不敏感的局部立体匹配方法，其特征在于：包括代价计算、代价聚合、视差计算和视差精化四个阶段；

代价计算阶段：融合梯度信息和HSV颜色空间的像素强度信息作为初始代价，并采用边缘加权的方法对边缘信息相似点的代价进行加权；

代价聚合阶段：在跨尺度模型下使用引导滤波进行代价聚合；

视差计算阶段：采用WTA算法进行视差选择；

视差精化阶段：通过左右一致性检测，空洞填充和加权中值滤波的方法进行视差精化处理。

2.根据权利要求1所述的一种光照不敏感的局部立体匹配方法，其特征在于：代价计算阶段包括初始代价计算和边缘加权的代价计算，具体如下：a、初始代价计算采用颜色强度和梯度信息相结合的代价计算方法，在计算颜色强度时，采用HSV颜色空间，RGB转换到HSV颜色空间公式如下：

对于两幅图像I和I′，匹配代价计算函数可表示为：

C＝f(I,I′) (2)

视差为d时点i的代价表示为：

C(i,d)＝(1-α)·min[C_AD,τ_c]+α·min[C_GRAD,τ_g]， (3)

式中，α是平衡因子，用于调节颜色强度和梯度对于代价的贡献比例，τ_c和τ_g分别为颜色绝对值差和梯度绝对值差的截断阈值，用来降低异常值的影响；C_AD和C_GRAD分别是颜色强度绝对值差和梯度强度绝对值差，可表示为：

I(i)和I′(i_d)分别表示参考图和目标图的颜色强度，

和

表示参考图和目标图沿x轴方向的梯度；i_d表示目标图上坐标点(x_i-d,y_i)；下标H、S分别表示H通道和S通道；β表示不同通道对代价的贡献值；

b、边缘加权的代价计算方法

对立体匹配图形对采用Canny算法进行边缘检测，得到包含边缘信息的二值化图像；对边缘图像进行二进制编码，以像素i为中心，r为半径选择一个矩形窗口N(i)，遍历该窗口，对边缘点和非边缘点分别用1和0赋值：

统计以像素i为中心的窗口内边缘点的数量n_E(i)，并将窗口内所有点映射为一个比特串s_E(i)，用于保存边缘结构信息：

式中，符号

表示按位连接；

根据边缘的数量和结构信息，定义参考图和目标图的边缘代价函数表示为：

c_n(i,d)＝|n_E(i)-n_E′(i_d)|， (8)

其中，c_n(i,d)表示像素点i和i_d所在邻域内边缘点数量差值，c_n(i,d)越小，以i和i_d两点为中心的矩形窗内边缘点数量越接近，c_s(i,d)表示点i和i_d二进制编码的汉明距离，c_s(i,d)越小，则两点边缘结构越相似；

当像素点处于弱纹理或无纹理区域时，边缘点数量少，结构差异较小，边缘信息缺乏鲁棒性，对于这部分点不采取加权：

式中，C′(i,d)表示经过边缘加权后像素点i在视差d下的匹配代价，T表示边缘数量限制阈值，λ表示边缘加权系数，λ选择策略如下：

其中，k₁，k₂是奖励系数，0＜k₂＜k₁＜1，τ_n和τ_s分别是数量容错阈值和结构容错阈值，对于边缘点数量差值小于τ_n的两点，认为是“相似点”，将该点初始代价乘以奖励系数k₁获得较小的代价值，对于边缘数量差值小于τ_n且边缘结构差值小于τ_s的两点，认为是“强相似点”，该点初始代价乘以奖励系数k₂获得更小的代价值。

3.根据权利要求1所述的一种光照不敏感的局部立体匹配方法，其特征在于：代价聚合阶段：使用跨尺度聚合的方法，对原始图像对进行高斯下采样，分别计算各个尺度的匹配代价，利用多尺度聚合模型进行聚合，并引入二范数正则化项，以保证不同尺度下同一像素代价的一致性，跨尺度空间聚合模型表示为：

其中，s∈{0,1,...,S}表示不同尺度，

是归一化常量，

是在s尺度下像素点i的邻域窗口，

是正则化项，用来协调各个尺度之间的关系，λ表示正则化因子，λ越大，表示各尺度之间的约束关系越强，K^s(i^s,j^s)表示相似核，用来衡量i^s和j^s之间的相似度，本文选择计算量与窗口大小无关，且边缘保持较好的引导滤波^[13]作为相似核函数，其表达式为：

式中，q为输出图像，I为引导图像，a_k和b_k是以像素k为中心时的不变系数，ω_k是以k为中心的矩形窗口。

4.根据权利要求1所述的一种光照不敏感的局部立体匹配方法，其特征在于：视差计算阶段采用Winner-Takes-All算法进行视差选择，得到初始视差：

式中，D表示视差搜索范围，

为聚合后代价值。

5.根据权利要求4所述的一种光照不敏感的局部立体匹配方法，其特征在于：在视差精化阶段对得到的初始视差图进行左右一致性检测、空洞填充和加权中值滤波处理；

首先，采用左右一致性检测:

|d_L(i)-d_R[i-d_L(i)]|＜δ₀， (17)

其中d_L(i)表示i点在左视图中的视差值，d_R[i-d_L(i)]表示i点在右视图中的对应点的视差值；阈值δ₀一般设为1，即i不满足左右视差值相等，则被标记为遮挡点；对于遮挡点，需要进行填充来获得合理的视差值；对于某一遮挡点i′，分别沿扫描线向左和向右寻找第一个非遮挡点，记为i′_L和i′_R，并将其中较小的视差值赋给i′：

d(i′)＝min[d(i′_L),d(i′_R)]； (18)

最后，采用加权中值滤波对得到的视差图进行平滑处理，生成最终视差图。

Images