CN116071415B - 一种基于改进Census算法的立体匹配方法 - Google Patents

Abstract

本发明涉及立体匹配技术领域，公开了一种基于改进Census算法的立体匹配方法，采集左右图像信息进行预处理；将图像进行多区域分割成多个子区域体；使用改进后的Census算法对多个子区域进行匹配代价计算，对初始窗口内像素灰度值计算方差，根据方差选用像素灰度值的中值或平均值替换中心像素点灰度值，并将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合；采用四路径代价聚和策略进行代价聚合，赢家通吃策略进行视差计算；使用左右一致性检测与中值滤波进行视差图优化处理。本发明用自适应窗口并且融合多匹配代价降低对中心像素点灰度值的过度依赖，使得算法对图像弱纹理区域以及不连续区域匹配效果更佳。

Description

一种基于改进Census算法的立体匹配方法

技术领域

本发明涉及立体匹配技术领域，具体涉及一种基于改进Census算法的立体匹配方法。

背景技术

当前立体匹配技术逐渐发展成熟，按照分类可以分为全局立体匹配、局部立体匹配以及半全局立体匹配技术，其一般的流程为代价计算、代价聚合、视差计算、视差优化四步。全局立体匹配技术是通过对全图构建能量函数，利用能量函数求取最优解的方式获取最优视差，该方法虽然能都获取高质量的视差图，但是该方法运算量较大，复杂性较高不易实现；局部立体匹配技术利用局部窗口来遍历图像，对图像逐像素匹配，该方法匹配速度快，但匹配精度较低，容易受光照、图像重复纹理和图像不连续点影响产生误匹配；半全局立体匹配是一种介于全局与局部立体匹配之间的方法，该方法是通过构建多个路径上的能量函数进行代价聚合，具有较好的匹配效果以及较高的运算效率。目前广泛应用的局部立体匹配方法主要通过在代价计算阶段采用Census算法、绝对差AD、绝对差和SAD以及AD-Census算法等实现对图像特征点的匹配，这些方法在匹配上具有各自优势的同时也存在着一定的缺点。

SAD算法其基本原理是通过计算左右矩阵窗口内像素点灰度值差的绝对值之和来实现代价计算，与AD算法一样该算法虽然匹配速度快，但是对与光照条件较为敏感；传统Census算法的基本原理是建立一个固定窗口，选取周边邻域像素点分别与中心像素点进行比较，若像素灰度值大于中心点灰度值则标记为0，否则标记为1，将左右图像窗口生成的比特串数据进行异或处理，即可得出该窗口中心像素点的匹配代价值，该方法虽然对光照、曝光环境具有良好的效果，但是在图像弱纹理区域、图像不连续区域的匹配效果较差，另外，采用固定窗口大小，难以根据图像灰度分布情况调整窗口计算灰度值，并且该算法对于中心像素灰度值过于依赖，使得匹配精度受到限制；AD-Census算法虽然融合了两种算法，使其在复杂场景下具有更高的鲁棒性，但在融合的过程中两代价采用固定权重，使其不能在平滑区域发挥匹配代价函数的最大作用。

综上，传统的改进立体匹配方法在一定程度上具有局限性，具体如下：

(1)Census变换过程需要对整张图片所有像素点进行计算处理，计算量大并且耗费大量时间。

(2)传统Census变换固定窗口大小严重限制了像素灰度值信息量，另外传统Census算法多数采用与颜色强度代价相融合，未考虑到图像梯度信息，并且Census变换过程中对窗口内中心像素点灰度值过度依赖。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于改进Census算法的立体匹配方法，基于原始Census算法基础上对图像划分多块区域并行处理，采用自适应窗口并且融合多匹配代价降低对中心像素点灰度值的过度依赖，使得算法对图像弱纹理区域以及不连续区域匹配效果更佳。

技术方案：本发明提供了一种基于改进Census算法的立体匹配方法，包括如下步骤：

步骤1：通过双目相机采集左右图像信息；

步骤2：对左右图像分别进行预处理，保留需要的图像区域；

步骤3：将图像进行多区域分割，每个分割后的子区域为一个独立的整体，使得多个子区域可以并行处理；

步骤4：使用改进后的Census算法对步骤3中的多个子区域进行匹配代价计算，所述改进后的Census算法为对初始窗口内像素灰度值计算方差，根据方差选用像素灰度值的中值或去除最大最小值之后的平均值替换中心像素点灰度值，并将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合；

步骤5：采用四路径代价聚和策略进行代价聚合；

步骤6：采用赢家通吃策略进行视差计算；

步骤7：在视差后处理过程中使用左右一致性检测与中值滤波进行视差图优化处理。

进一步地，所述步骤3中将图像通过Opencv技术进行图像多等分，图像分割后的每个区域分别作为一个独立的子区域。

进一步地，所述步骤4中改进后的Census算法包括：

获取步骤3处理后的左右相机图像，定义一个n₀×n₀大小的初始窗口，初始窗口的最大范围不能超过n_m，初始窗口内每个像素点代表一个灰度值，对窗口内除中心值之外的其他像素点灰度值进行排序，公式如下：

其中，q代表初始窗口内除中心像素点以外的其他像素点，I(q)表示像素点灰度值，A₁表示依据从小到大排序后的像素点灰度值集合；

通过对窗口内像素灰度值计算方差，判断窗口内灰度值的数据离散性，公式如下：

其中，表示灰度值的平均值；

对比方差的大小，当方差大于0.5时则选用窗口内像素灰度值的中值来替换中心像素点灰度值，反之，则选用去除最大最小值之后的平均值来替换中心像素点灰度值，如下：

其中，Max(I(q))表示窗口内像素点的最大值，Min(I(q))表示最小值，[]表示对数值进行取整，I_avg(p)表示去除最大最小值后剩余像素灰度值的平均值，I_zz(p)表示窗口内像素灰度值的中值，I_center(p)表示替换后图像的中心像素点灰度值。

进一步地，所述步骤4中改进后的Census算法还包括：

设定阈值T₀，将初始窗口中最终得到的替换值与中心像素值做差的绝对值，如果与阈值相近则使用该替换值，否则n₀＝n₀+2,重新进行比较；

将窗口中像素点与中心像素点进行比较，以二进制的形式对数据进行替换，公式如下：

其中，p表示窗口内中心像素点，q表示窗口内非中心像素点，I(p)表示中心像素灰度值，I(q)表示非中心像素灰度值；

对左右图像中所有像素点进行替换后，分别生成左图像窗口的比特串、右图像窗口的比特串，进一步计算Hamming距离，公式如下：

C_cen(p,d)＝Hamming(C_str(p),C_str(p-d))

将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合，形成高可靠性的匹配代价，公式如下：

C_cen1(p,d)＝ω₁(C_ADc(p,d))+ω₂(C_ADt(p,d))+ω₃(C_cen(p,d))

其中ω₁，ω₂，ω₃分别对应颜色信息、图像梯度信息、灰度值信息的权重值。

进一步地，所述步骤4中改进后的Census算法还包括：将改进的Census算法与SAD算法基于权重进行融合，公式如下：

其中，a表示代价值，b表示控制参数，可以通过该函数将任意代价值归一化为[0,1]的范围，与/>代表SAD变换与Census变换的权重，通过调节该权重可以实现图像在平滑区域和图像纹理区域不同条件下匹配代价计算的精度。

进一步地，所述步骤5中采用四路径代价聚和策略对初始代价进行代价聚合，将像素点p在某条路径上所有视差范围内的匹配代价进行一维聚合，求取路径代价值，并建立p的代价聚合函数，最后将像素点p各路径下的代价值累加，即可得到该像素点最终的聚合代价值。

进一步地，所述步骤6中采用赢家通吃策略生成初始视差图，选取图中匹配代价值最小的点对应的视差作为初始视差，从而构建初始视差图。

进一步地，所述步骤7中视差图优化处理具体为：

采用左右一致性检测对视差图中错误匹配点、遮挡点以及异常点进行处理，首先计算出右视差图，然后对比左视差图中与右视差图对应像素点的视差值，如果差值小于设定的阈值，则认为该点的视差是正确的，反之则认为该点视差是异常的，需予以剔除；最后采用中值均值滤波对优化处理后的视差图进行滤波处理。

有益效果：

本发明在传统Census算法的基础上，针对立体匹配过程中对图像纹理区域、像素不连续区域匹配精度低，匹配速度慢的问题进行改进，将图像划分为多个子区域并行处理来提高匹配速度；采用自适应窗口根据图像灰度分布情况调整视窗大小，提高了算法在图像纹理区域、图像不连续点区域处匹配效果；通过计算方差，选取中值、平均值替换中心像素点灰度值降低算法对中心像素灰度值的依赖；最后通过与SAD融合使得算法降低了对光线的敏感度并且提高了匹配速度。

附图说明

图1为本发明立体匹配流程图；

图2为本发明改进Census算法流程图；

图3为本发明仿真实验结果图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明公开了一种基于改进Census算法的立体匹配方法，包括如下步骤：

步骤1：通过双目相机采集左右图像信息。

步骤2：对左右图像分别进行预处理，保留需要的图像区域。

步骤3：将图像进行多区域分割，每个分割后的子区域为一个独立的整体，使得多个子区域可以并行处理。将图像通过Opencv技术进行图像多等分，图像分割后的每个区域分别作为一个独立的子区域。

步骤4：使用改进后的Census算法对步骤3中的多个子区域进行匹配代价计算，所述改进后的Census算法为对初始窗口内像素灰度值计算方差，根据方差选用像素灰度值的中值或去除最大最小值之后的平均值替换中心像素点灰度值，并将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合。

改进后的Census算法具体如下：

获取步骤3处理后的左右相机图像，在传统Census算法基础上定义一个n₀×n₀大小的初始窗口，初始窗口的最大范围不能超过n_m，初始窗口内每个像素点代表一个灰度值，对窗口内除中心值之外的其他像素点灰度值进行排序，公式如下：

其中，q代表初始窗口内除中心像素点以外的其他像素点，I(q)表示像素点灰度值，A₁表示依据从小到大排序后的像素点灰度值集合；

通过对窗口内像素灰度值计算方差，判断窗口内灰度值的数据离散性，公式如下：

其中，表示灰度值的平均值；

对比方差的大小，当方差大于0.5时则选用窗口内像素灰度值的中值来替换中心像素点灰度值，反之，则选用去除最大最小值之后的平均值来替换中心像素点灰度值，如下：

其中，Max(I(q))表示窗口内像素点的最大值，Mi_n(I(q))表示最小值，[]表示对数值进行取整，I_avg(p)表示去除最大最小值后剩余像素灰度值的平均值，I_zz(p)表示窗口内像素灰度值的中值，I_center(p)表示替换后图像的中心像素点灰度值。

设定阈值T₀，将初始窗口中最终得到的替换值与中心像素值做差的绝对值，如果与阈值相近则使用该替换值，否则n₀＝n₀+2,重新进行比较；

将窗口中像素点与中心像素点进行比较，以二进制的形式对数据进行替换，公式如下：

其中，p表示窗口内中心像素点，q表示窗口内非中心像素点，I(p)表示中心像素灰度值，I(q)表示非中心像素灰度值；

对左右图像中所有像素点进行替换后，分别生成左图像窗口的比特串、右图像窗口的比特串，进一步计算Hamming距离，公式如下：

C_cen(p,d)＝Hamming(C_str(p),C_str(p-d))

为了提高Census算法对图像纹理区域的匹配效果，以及有效保留图像边缘信息，本次将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合，形成高可靠性的匹配代价，公式如下：

C_cen1(p,d)＝ω₁(C_ADc(p,d))+ω₂(C_ADt(p,d))+ω₃(C_cen(p,d))

其中ω₁，ω₂，ω₃分别对应颜色信息、图像梯度信息、灰度值信息的权重值。

最后，为了提高立体匹配的精度，将改进的Census算法与SAD算法基于权重进行融合，公式如下：

其中，a表示代价值，b表示控制参数，可以通过该函数将任意代价值归一化为[0,1]的范围，与/>代表SAD变换与Census变换的权重，通过调节该权重可以实现图像在平滑区域和图像纹理区域不同条件下匹配代价计算的精度。

步骤5：采用四路径代价聚和策略进行代价聚合。采用四路径代价聚和策略对初始代价进行代价聚合，将像素点p在某条路径上所有视差范围内的匹配代价进行一维聚合，求取路径代价值，并建立p的代价聚合函数，最后将像素点p各路径下的代价值累加，即可得到该像素点最终的聚合代价值。

此处的四路径代价聚和策略和划分的区域没有关系。四路径代价聚合策略是一种算法，是将图像上某一像素点所在条路径上所有视差范围内的匹配代价进行一维聚合，求取路径代价值。简单来说，就是从像素点的上下左右方向将视差进行聚合。

四路径代价聚合策略和步骤3部分的多区域没有关系。首先，上一部分划分的区域较多，可以理解为将图片切割成很多块，提高了每一块上像素点匹配的速度。其次，四路径简单代价聚合策略是针对像素点而言的，除此之外还有左右路径聚合、上下路径聚合、八路径聚合等。

步骤6：采用赢家通吃策略进行视差计算。采用赢家通吃策略生成初始视差图，选取图中匹配代价值最小的点对应的视差作为初始视差，从而构建初始视差图。

步骤7：在视差后处理过程中使用左右一致性检测与中值滤波进行视差图优化处理。采用左右一致性检测对视差图中错误匹配点、遮挡点以及异常点进行处理，首先计算出右视差图，然后对比左视差图中与右视差图对应像素点的视差值，如果差值小于设定的阈值，则认为该点的视差是正确的，反之则认为该点视差是异常的，需予以剔除；最后采用中值均值滤波对优化处理后的视差图进行滤波处理。

为了验证方法的有效性，采用以下方法进行仿真实验，实验环境基于Window10操作系统(Inter(R)Core(TM)i5-12500H CPU@3.5GHz CPU)作为硬件处理平台，采用基于VS2015软件开发平台以及采用C++和OpenCV结合实现算法的运行与图像的显示。

为了进一步说明算法的优越性，采用当前计算机视觉领域公认的模型训练数据集Middlebury提供的标准图像对，以及采用相同的代价聚合、视差计算、视差优化方法对当前算法与传统算法进行测评，将算法运算后所得结果进行对比研究。

图3为仿真实验结果图，图3为(a)原始图像，(b)为传统Census，(c)为SAD，(d)为AD-Census(e)为本发明算法。

从实验结果图中可以看出改进后的算法处理的图像，噪点减少、图像边缘信息更为平滑，图像深度变化较大以及弱纹理区域信息匹配效果更佳，本发明在总体效果要优于传统的算法。

通过Middlebury平台图像对测试得出算法的误匹配率，将传统Census立体匹配算法、SAD算法、AD-Census算法与本文算法进行对比，如下表1所示。

表1各算法误匹配率对比结果(％)

表1选用Middlebury平台提供的Tsukuba、Teddy标准图像对在Nocc(无遮挡区域)、All(全局区域)和Disc(不连续区域)条件下得出各算法的误匹配率。分析表1中结果可以看出，本文算法相较于传统Census算法和SAD算法在误匹配率上具有明显的提升，相较于AD-Census算法有部分提升。综上实验对比可得，本文算法具有更高的匹配效率。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于改进Census算法的立体匹配方法，其特征在于，包括如下步骤：

步骤1：通过双目相机采集左右图像信息；

步骤2：对左右图像分别进行预处理，保留需要的图像区域；

步骤3：将图像进行多区域分割，每个分割后的子区域为一个独立的整体，使得多个子区域可以并行处理；

步骤4：使用改进后的Census算法对步骤3中的多个子区域进行匹配代价计算，所述改进后的Census算法为对初始窗口内像素灰度值计算方差，根据方差选用像素灰度值的中值或平均值替换中心像素点灰度值，并将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合；

所述步骤4中改进后的Census算法包括：

获取步骤3处理后的左右相机图像，定义一个n₀×n₀大小的初始窗口，初始窗口的最大范围不能超过n_m，初始窗口内每个像素点代表一个灰度值，对窗口内除中心值之外的其他像素点灰度值进行排序，公式如下：

其中，q代表初始窗口内除中心像素点以外的其他像素点，I(q)表示像素点灰度值，A₁表示依据从小到大排序后的像素点灰度值集合；

通过对窗口内像素灰度值计算方差，判断窗口内灰度值的数据离散性，公式如下：

其中，表示灰度值的平均值；

对比方差的大小，当方差大于0.5时则选用窗口内像素灰度值的中值来替换中心像素点灰度值，反之，则选用去除最大最小值之后的平均值来替换中心像素点灰度值，如下：

其中，Max(I(q))表示窗口内像素点的最大值，Min(I(q))表示最小值，[]表示对数值进行取整，I_avg(p)表示去除最大最小值后剩余像素灰度值的平均值，I_zz(p)表示窗口内像素灰度值的中值，I_center(p)表示替换后图像的中心像素点灰度值；

步骤5：采用四路径代价聚和策略进行代价聚合；

步骤6：采用赢家通吃策略进行视差计算；

步骤7：在视差后处理过程中使用左右一致性检测与中值滤波进行视差图优化处理。

2.根据权利要求1所述的基于改进Census算法的立体匹配方法，其特征在于，所述步骤3中将图像通过Opencv技术进行图像多等分，图像分割后的每个区域分别作为一个独立的子区域。

3.根据权利要求1所述的基于改进Census算法的立体匹配方法，其特征在于，所述步骤4中改进后的Census算法还包括：

设定阈值T₀，将初始窗口中最终得到的替换值与中心像素值做差的绝对值，如果与阈值相近则使用该替换值，否则n₀＝n₀+2,重新进行比较；

将窗口中像素点与中心像素点进行比较，以二进制的形式对数据进行替换，公式如下：

其中，p表示窗口内中心像素点，q表示窗口内非中心像素点，I(p)表示中心像素灰度值，I(q)表示非中心像素灰度值；

对左右图像中所有像素点进行替换后，分别生成左图像窗口的比特串、右图像窗口的比特串，进一步计算Hamming距离，公式如下：

C_cen(p,d)＝Hamming(C_str(p),C_str(p-d))

将灰度值、颜色信息和图像梯度信息按照各自的比例进行加权融合，形成高可靠性的匹配代价，公式如下：

C_cen1(p,d)＝ω₁(C_ADc(p,d))+ω₂(C_ADt(p,d))+ω₃(C_cen(p,d))

其中ω₁，ω₂，ω₃分别对应颜色信息、图像梯度信息、灰度值信息的权重值。

4.根据权利要求1或3所述的基于改进Census算法的立体匹配方法，其特征在于，所述步骤4中改进后的Census算法还包括：将改进的Census算法与SAD算法基于权重进行融合，公式如下：

其中，a表示代价值，b表示控制参数，可以通过该函数将任意代价值归一化为[0,1]的范围，与/>代表SAD变换与Census变换的权重，通过调节该权重可以实现图像在平滑区域和图像纹理区域不同条件下匹配代价计算的精度。

5.根据权利要求1所述的基于改进Census算法的立体匹配方法，其特征在于，所述步骤5中采用四路径代价聚和策略对初始代价进行代价聚合，将像素点p在某条路径上所有视差范围内的匹配代价进行一维聚合，求取路径代价值，并建立p的代价聚合函数，最后将像素点p各路径下的代价值累加，即可得到该像素点最终的聚合代价值。

6.根据权利要求1所述的基于改进Census算法的立体匹配方法，其特征在于，所述步骤6中采用赢家通吃策略生成初始视差图，选取图中匹配代价值最小的点对应的视差作为初始视差，从而构建初始视差图。

7.根据权利要求1所述的基于改进Census算法的立体匹配方法，其特征在于，所述步骤7中视差图优化处理具体为：

采用左右一致性检测对视差图中错误匹配点、遮挡点以及异常点进行处理，首先计算出右视差图，然后对比左视差图中与右视差图对应像素点的视差值，如果差值小于设定的阈值，则认为该点的视差是正确的，反之则认为该点视差是异常的，需予以剔除；最后采用中值均值滤波对优化处理后的视差图进行滤波处理。