CN110473217B

CN110473217B - 一种基于Census变换的双目立体匹配方法

Info

Publication number: CN110473217B
Application number: CN201910674451.6A
Authority: CN
Inventors: 魏东; 樊启明; 蒋晓彤; 张晨; 崔泽璐
Original assignee: Shenyang University of Technology
Current assignee: Shenyang University of Technology
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2022-12-06
Anticipated expiration: 2039-07-25
Also published as: CN110473217A

Abstract

本发明涉及计算机视觉领域、图像处理技术领域，具体涉及一种基于Census变换的双目立体匹配方法。该方法包括初始化，再进行匹配代价计算，代价聚合，然后视差计算，最后视差优化。现有基于Census变换匹配方法无法形成更高精度的视差图，特别是在遮挡区域和边缘的获得较精确的视差。本发明基于现有技术进行了改进，提升了双目立体匹配方法的匹配精度，为后续三维重建过程打好基础。

Description

一种基于Census变换的双目立体匹配方法

技术领域：

本发明涉及计算机视觉领域、图像处理技术领域，具体涉及一种基于Census变换的双目立体匹配方法。

背景技术：

计算机视觉是一门研究使用计算机来模拟人的视觉系统的学科，人类对于图像中的信息感知效率远超文字等其他媒介，人类获取的信息总量中更是有高达80％依靠视觉系统。双目立体匹配是计算机视觉领域的重要分支，它通过模拟人的视觉系统来处理现实世界。随着社会的科技进步，立体匹配技术的发展日新月异，随着匹配算法精度与速度的提高，其应用场景进一步扩大。在此背景下，研究立体匹配变的意义非凡。立体匹配作为三维重建、立体导航、非接触测距等技术的关键步骤，通过匹配两幅或者多幅图像来获取深度信息。并且广泛应用于工业生产自动化、流水线控制、无人驾驶汽车(测距，导航)、安防监控、遥感图像分析、机器人智能控制等方面。虽然立体匹配应用广泛但是还有很多尚未解决的难题因此该技术成为了近年来计算机视觉领域广泛关注的难点和热点。

通常根据立体匹配算法所采用的约束，可以将其分为两大立体匹配算法。第一类为基于区域约束的局部匹配算法。如采用匹配窗的代价聚合算法(平方差算法SSD，绝对差算法SAD，归一化算法NCC，非参数变换变换Census等)；采用特征点的匹配算法；采用相位匹配的匹配算法。这些算法的优点是运算速度快，能够快速恢复出纹理丰富区域的视差。缺点是在低纹理区域会造成误匹配，得到的视差图不致密，需要在后期通过插值算法来进行修正。第二类为基于全局约束的优化算法，如图割算法(Graph Cuts,GC)，人工智能算法(神经网络，遗传算法)，置信传播算法(Belief Propagation,BP)，动态规划算法(DynamicProgramming,DP)。这些算法虽然运算时间较长并且会产生一些误匹配，但是基本上能够获得所有的视差信息从而生成稠密的视差图。

但是目前的匹配方法无法形成更高精度的视差图，特别是在遮挡区域和边缘不连续处的获得较精确的视差。

发明内容：

发明目的：

为了获得较高精度的视差信息，特别是在遮挡区域和边缘的获得较精确的视差，本发明提供了一种基于Census变换的双目立体匹配方法。

技术方案：

一种基于Census变换的双目立体匹配方法，该方法包括：

步骤一：初始化：输入图像对，将图像对中的左图像和右图像分别作为参考图像和目标图像：

步骤二：匹配代价计算：将参考图像和目标图像采用邻域中值做阈值进行Census变换，并引入高斯颜色模型和梯度算子，通过加权融合进行立体匹配代价计算；

步骤三：代价聚合：采用最小生成树及多尺度高斯金字塔模型进行跨尺度代价聚合结合进行代价聚合；

步骤四：视差计算：采用胜者为王的方法来计算视差，得到视差图；

步骤五：视差优化：对视差图检测遮挡区域、边缘特征和误匹配点，再进行视差优化。

进一步地，匹配代价计算的具体方法包括：

(1)采用Census算法并将邻域中值替换中心像素；

(2)引入高斯颜色模型，获取彩色图像的特征信息使模型不受阴影变换的影响；高斯颜色模型Census变换具体公式如下：

其中C₁(p，d)是高斯颜色模型Census匹配代价，，

表示Census变换的连接符，ΔE_G是高斯颜色模型中两个像素之间的欧氏距离，窗口尺寸为：(2m+1)×(2n+1)；

(3)引入梯度算子，采用sobel梯度算子来进行边缘约束求取梯度图像，具体公式如下：

C₂(p,d)＝max|0,L(p_L)-L_max(p_R),L_min(p_R)-L(p_L)|

C₂(p，d)是引入梯度算子的匹配代价，p_L左图像像素灰度值，p_R为右图像像素灰度值，L(p_L)和L(p_R)分别代表左右图像像素点的梯度值，L_max(p_R)和L_min(p_R)分别代表右图像梯度的极大值和极小值；

(4)加权融合具体公式如下：

C(p,d)＝ρ(C₁(p,d),λ₁)+ρ(C₂(p,d),λ₂)

其中C(p,d)是加权融合后的匹配代价，C₁(p，d)是高斯颜色模型Census匹配代价，C₂(p，d)是引入梯度算子的匹配代价，λ表示Census变换和灰度差绝对值算法的控制参数，ρ(C,λ)是算法的鲁棒参数，将计算结果都归一化到[0,1]区间。

进一步地，代价聚合的具体步骤包括：

S1、最小生成树代价聚合方法是求树中任意两个结点间的最短距离权重和，最小生成树代价聚合的聚合公式如下：

其中

表示代价聚合值，C_d(v)是步骤二计算得到的匹配代价，p(v_c)表示节点v的父节点，S(v，v_c)表示节点v与父节点v_c之间的相似性；

S2、跨尺度代价聚合跨尺度代价聚合算法公式如下：

其中v代表不同尺度下的代价聚合值，K(i^s,j^s)是一个常量；

表示每个比例尺上的对应变量序列，其中i^s，j^s表示单个像素视差水平，向量C^s(j^s,l^s)表示每个正则化尺度下的代价聚合值，由每个尺度下的最先生成树代价聚合计算得到。

进一步地，视差优化的方法是采用左右一致性检测检测遮挡，采用背景填充和中值滤波方法处理遮挡；采用Canny边缘算子检测边缘，利用二值法和引导滤波修复边缘视差；采用亚像素检测法检测整体的误匹配点，采用均值滤波对整体视差进行求精。

优点及效果：

本发明具有以下优点和有益效果：

本发明将Census变换匹配中误匹配的问题分别在立体匹配中进行了改进，在匹配代价计算阶段采用高斯颜色模型来取代传统的RGB颜色模型，利用邻域中值做阈值代替窗口的中心像素，采用Sobel梯度算子引入梯度信息来结合Census匹配代价，在代价聚合阶段采用多尺度高斯金字塔模型作为一个跨尺度平台融合最小生成树代价聚合方法，在视差计算阶段通过“胜者为王”WTA策略来求取代价聚合后的视差图，在视差优化阶段采用左右一致性检测，背景填充和中值滤波，Canny边缘检测，自适应二值法和引导滤波法，亚像素角点求精来进行最后的视差求精以便求得最优的视差。最后通过Middlebury测试平台对本文的算法进行对比评估，本发明提升了Census算法的匹配精度。

本发明基于现有Census技术进行了改进，提升了Census算法的匹配精度，尤其是在边缘及遮挡部分匹配精度较高，为后续三维重建过程打好基础。

将最小生成树算法结合到跨尺度代价聚合中，可以通过最小生成树算法来提高边缘深度不连续区域的匹配精度，通过跨尺度代价聚合方法来提高弱纹理区域的匹配精度，将二者融合到一起提高代价聚合的整体精度。

附图说明：

图1是本发明一种基于Census变换的双目立体匹配方法处理流程；

具体实施方式：

下面结合附图对本发明做进一步的说明：

如图1所示，一种基于Census变换的双目立体匹配方法，具体包括如下步骤：

步骤一：初始化：输入图像对，将图像对中的左图像和右图像分别作为参考图像和目标图像。

步骤二：匹配代价计算：将参考图像和目标图像采用邻域中值做阈值代替窗口的中心像素进行Census变换，并引入高斯颜色模型和梯度算子，通过加权融合进行立体匹配代价计算。

在Census变换中，利用邻域像素替换中心像素改进census变换可以解决中心像素易受噪声和光照变化的影响而引起匹配精度失真的问题，同时提高了方法的鲁棒性。由于传统的Census变换只考虑邻域像素与中心像素之间的比较，这样会对中心像素产生很大的依赖性，一旦中心像素受到噪声(例如椒盐噪声)的干扰，就会对变换结果产生很大影响，此外，Census变换没有完全利用灰度连续性约束的条件，因此中心像素未必就是最佳参考值，考虑到上述两个方面存在的问题，决定选择邻域中值来替换中心像素并将其作为参考值与邻域信息进行比较，这样就忽略了中心像素可能干扰进而来提高算法的鲁棒性。

由于Census算法只能对灰度图像进行处理，而彩色图像通常具有更重要的特征，并且大部分原图像都是彩色的，为了使彩色图形中图像的特征信息在光照条件下具有更高的不变性，建立颜色不变模型即高斯颜色模型对Census变换进行了改进，由于传统的RGB颜色信息缺少对空间结构的描述，不能很好的贴近人类的视觉信息，因此采用兼顾颜色和空间信息的高斯颜色模型来获取更完全的颜色特征信息，来提高Census变换的精度。

高斯颜色模型的定义来自光能量分布的二阶泰勒展开，令E(λ)表示入射光的能量分布，其中λ表示波长，用G(λ₀；σ_λ)表示λ₀处光谱尺度为σ_λ的高斯函数，光谱能量分布可用一个在λ₀处的泰勒展开式近似表示为：

测量光谱强度公式如下：

测量光谱的一阶导数为：

测量光谱的二阶导数为：

当摄像机的响应线性化时，RGB摄像机通过线性变换近似于CIE 1964 X色度，具体公式如下所示：

XYZ值到高斯颜色模型的最佳线性变换方程如下：

直接将RGB三颜色通道转换到高斯颜色模型的方法，具体转换公式为：

高斯颜色模型可以反映出颜色信息和空间信息，体现彩色图像的局部空间结构，由于颜色通道受物体和相机的光源方向的影响，体现为亮度的变化，对高斯颜色模型进行标准化处理，得到：

式中，μE和σE为亮度的均值和标准差。此标准化处理在保留了颜色信息的同时增强了对光照或视角变化的鲁棒性。因此将图像RGB颜色信息转换成高斯颜色模型进而在进行灰度化，既保留了图像的彩色信息又增强了光照不变条件下的鲁棒性，可以提升匹配的精度。

将彩色图像从RGB颜色空间转换为高斯颜色模型，并根据欧氏距离公式计算两个像素之间的色差。ΔE_G是GCM中两个像素之间的欧式距离。因此将高斯颜色模型census变换表示为：

其中C₁(p，d)是高斯颜色模型Census匹配代价，，

表示Census变换的连接符，ΔE_G是高斯颜色模型中两个像素之间的欧氏距离，窗口尺寸为：(2m+1)×(2n+1)；通过建立高斯颜色模型引入了颜色强度信息和空间距离信息。

由于census变换的窗口采用可以随意扩大窗口的大小和改变窗口的形状，随着窗口范围的扩大，边缘的精度会下降，从而产生误匹配，因此选择Sobel梯度算子来进行边缘约束求取梯度图像，计算当前图像像素点水平方向上的梯度值，并将此梯度值与左右邻域像素的梯度值进行比较计算出极值，然后通过极值计算出左右次序的灰度差绝对值公式如下：

C₂(p,d)＝max{0,L(p_L)-L_max(p_R),L_min(p_R)-L(p_L)}

C₂(p，d)是引入梯度算子的匹配代价，p_L为左图像像素灰度值，p_R为右图像像素灰度值，L(P_L)和L(P_R)分别代表左右图像像素点的梯度值L_min(p_L)，L_max(p_L)和L_max(p_R)L_max(p_L)分别代表左右图图像梯度的极大值和极小值。

将改进的Census变换与灰度差绝对值结合，得到一个新的匹配代价函数：C(p,d)，计算公式如下：

C(p,d)＝ρ(C₁(p,d),λ₁)+ρ(C₂(p,d),λ₂)

在匹配代价计算过程中，通过引入Sobel算子来约束梯度信息来增强边缘的匹配精确度，来保证边缘信息的准确性，将梯度引入到匹配代价计算的过程中，可以增强匹配代价对幅度等失真的抗干扰能力，并且Sobel算子约束梯度不会过多的增加算法复杂度，通过引入梯度信息来保证在匹配代价计算过程中图像边缘的精确性。

步骤三：代价聚合：采用最小生成树及多尺度高斯金字塔模型进行跨尺度代价聚合结合进行代价聚合。

最小生成树代价聚合方法是一种基于图像双边滤波的方法，图像滤波器的运行时间在图像像素上是线性的，并且能够自适应聚合像素的相似性。构建最小生成树代价聚合即将引导图像I表示为一个连通的无向图，并将加权函数w：E→R映射为实数权值。顶点代表所有像素，边缘E代表相邻图像点之间的边缘。因此，无向图G只是标准的平面图。s和r两个相邻像素对之间的权重计算公式为如下：

w(s,r)＝w(r,s)＝|I(s)-I(r)|

在加权函数w(s，r)中，s和r是相邻像素对，w是对图像进行梯度运算。

将图像的两个像素存放到最小生成树中，若这两个像素的值在最小生成树中接近，它们就是相似的。

最小生成树代价聚合值是求树中任意两个结点间的最短距离权重和，最小生成树代价聚合的聚合公式如下：

其中

设D(p,q)＝D(q,p)表示p和q之间的距离，S(p,q)表示p与q之间的相似性，通过计算p和q两个像素点的加权相似距离来计算其代价聚合。

多尺度平台采用经典的高斯金字塔模型。通过连续下采样来将金字塔进行划分成不同的层次，由于粗比例尺保存低频信息，而高频信息则能很好地从高分辨率信息中获取。因此，所得到的视差空间图像是一种较好的图像信息维护方法，因此本发明基于跨尺度平台来进行代价聚合。

跨尺度代价聚合平台可以降低匹配代价计算过程中产生的噪声。跨尺度平台即是在每个尺度上分别进行匹配代价计算和代价聚合，在每个尺度上计算的公式：

其中

为归一化的系数，

表示在S尺度上像素点P的邻域，表示尺度S上类核。

由于使用从较粗比例尺的成本体积估计出的视差图，通常会导致小视差细节的丢失。为了保证高斯金子塔模型中的每个层次之间代价聚合取得相同的匹配效果，检验多尺度之间的一致性，将广义正则化公式加入到规模间成本聚合方程中，公式如：

其中v代表不同尺度下的代价聚合值，K(i^s,j^s)是一个常量；

上式中第一项表示每个尺度间的成本聚合，式中第二项是检验当前尺度和上一层尺度的成本一致性。λ表示正则化参数，当λ值较高时候，正则化项是最优的。通过加入正则化法则以后，强化了每一层代价计算量规模的一致性。

步骤四：视差计算：采用胜者为王的方法来计算视差，得到视差图。

在使用基于最小生成树融入跨尺度代价聚合的过程后，要进行最优视差的选取，采用“胜者为王”-WTA的策略选取最优的视差，选取匹配代价最小值作为最优视差。通过WTA得到的视差公式如下：

视差优化的方法是采用左右一致性检测方法来检测遮挡区域，用背景填充法来填充遮挡区域，使用中值滤波平滑填充后的视差图。采用Canny边缘检测算子来检测边缘，采用自适应二值法连接边缘，采用引导滤波法来平滑边缘视差。采用亚像素角点检测法来检测出区域的整体误匹配点，再用均值滤波对整体视差进行求精。

视差优化主要是对遮挡区域和深度不连续区域进行进一步优化的后处理过程，首先用左右一致性检测方法来检测遮挡区域，具体做法是根据左右两幅输入图像，分别得到左右两幅视差图。对于左图中的一个点p，求得的视差值是d1，那么p在右图中的对应点应该是(p-d1)，其视差值记作d2.若|d1-d2|>threshold，p标记为遮挡点。得到二值遮挡图像，对此二值图像进行遮挡过滤，即为所有黑色的遮挡点赋予合理的视差值。对于左图而言，遮挡点一般存在于背景区域和前景区域接触的地方。遮挡的产生正是因为前景比背景的偏移量更大，从而将背景遮盖。具体赋值方法：对于一个遮挡点p，分别水平往左和往右找到第一个非遮挡点，记作pl、pr。点p的视差值赋成pl和pr视差值中较小的那一个值。d(p)＝min(d(pl),d(pr))。

然后进行对不可靠点进行加权中值滤波来填充和平滑遮挡区域消除遮挡区域的误匹配。由于中值滤波虽然会平滑噪声提高遮挡区域的匹配精度，但是在弱纹理处和边缘深度不连续处仍然存在匹配误差，最后加入亚像素角点检测来进一步提高视差图的匹配精度。

Claims

1.一种基于Census变换的双目立体匹配方法，其特征在于：该方法包括：

步骤五：视差优化：对视差图检测遮挡区域、边缘特征和误匹配点，再进行视差优化；

匹配代价计算的具体方法包括：

(1)采用Census算法并将邻域中值替换中心像素；

其中C₁(p,d)是高斯颜色模型Census匹配代价，

C₂(p,d)＝max|0,L(p_L)-L_max(p_R),L_min(p_R)-L(p_L)|

C₂(p,d)是引入梯度算子的匹配代价，p_L左图像像素灰度值，p_R为右图像像素灰度值，L(p_L)和L(p_R)分别代表左右图像像素点的梯度值，L_max(p_R)和L_min(p_R)分别代表右图像梯度的极大值和极小值；

(4)加权融合具体公式如下：

C(p,d)＝ρ(C₁(p,d),λ₁)+ρ(C₂(p,d),λ₂)

其中C(p,d)是加权融合后的匹配代价，C₁(p,d)是高斯颜色模型Census匹配代价，C₂(p,d)是引入梯度算子的匹配代价，λ表示Census变换和灰度差绝对值算法的控制参数，ρ(C,λ)是算法的鲁棒参数，将计算结果都归一化到[0,1]区间。

2.根据权利要求1所述的一种基于Census变换的双目立体匹配方法，其特征在于：代价聚合的具体步骤包括：

其中

表示代价聚合值，C_d(v)是步骤二计算得到的匹配代价，p(v_c)表示节点v的父节点，S(v,v_c)表示节点v与父节点v_c之间的相似性；

S2、跨尺度代价聚合跨尺度代价聚合算法公式如下：

其中v代表不同尺度下的代价聚合值，K(i^s,j^s)是一个常量；

表示每个比例尺上的对应变量序列，其中i^s，j^s表示单个像素视差水平，向量C^s(j^s,l^s)表示每个正则化尺度下的代价聚合值，由每个尺度下的最小生成树代价聚合计算得到。

3.根据权利要求1所述的一种基于Census变换的双目立体匹配方法，其特征在于：视差优化的方法是采用左右一致性检测检测遮挡，采用背景填充和中值滤波方法处理遮挡；采用Canny边缘算子检测边缘，利用二值法和引导滤波修复边缘视差；采用亚像素检测法检测整体的误匹配点，采用均值滤波对整体视差进行求精。