CN111325778A - 基于窗口互相关信息的改进Census立体匹配算法 - Google Patents

Abstract

本发明公开了基于窗口互相关信息的改进Census立体匹配算法,包括以下步骤：1)用一个窗口遍历双目摄像头拍摄到的左图像，取窗口内各像素灰度值的平均值作为参考值；2)在参考值的基础上增加了一个噪声阈值作为另一约束条件，进行Census变换；3)使用SAD‑Census进行加权匹配代价的计算，并在双目摄像头拍摄到的右图像中找到对应匹配值最小的窗口。本发明提高了算法的鲁棒性，减少了噪声干扰，丰富了图像的细节信息，同时降低了误匹配率，在深度不连续区域的改进效果明显。

Description

基于窗口互相关信息的改进Census立体匹配算法

技术领域

本发明涉及数字图像处理领域，具体涉及一种基于窗口互相关信息的改进Census立体匹配算法。

背景技术

距离信息的获取是可以通过双目视觉来完成的，而双目立体匹配是双目立体视觉的核心与关键。立体匹配算法首先需要构造一个能量代价函数，然后通过求解该能量代价函数的最小值进而完成对像素点视差值的估计，获取视差图，从而得到深度信息[参见：宋伟，纳鹏宇，刘宁宁.基于双目视觉系统的运动目标跟踪算法研究[J].北京交通大学学报，2013，37(6)：13-17]。立体匹配算法的本质为求取函数的最优值，设置恰当的能量代价函数，并添加约束条件，最后借助最优化理论来完成方程的求解[参见：Scharstein D,Szeliski R.A Taxonomy and Evaluation of Dense Two-Frame Stereo CorrespondenceAlgorithms[C]//Smbv.IEEE Computer Society,(密集两帧立体对应算法的分类和评估，IEEE计算机学会)2001,47(1-3):0131]。

按照不同的分类标准，可以将立体匹配算法进行不同的分类。根据采用图像表示的基元不同，立体匹配算法可分为四类：区域立体匹配算法、基于特征的立体匹配算法和基于相位的立体匹配算法[参见：胡海.基于双目立体视觉的相位匹配算法研究[D].中南大学，2013]。也可以根据最优化理论的不同，将立体匹配算法划分为全局匹配算法和局部匹配算法。基于生成的视差图可以分为稠密匹配和稀疏匹配[参见：Yu W,Chen T,FranchettiF,et al.High Performance Stereo Vision Designed for Massively Data ParallelPlatforms[J].IEEE Transactions on Circuits&System for Video Technology(专为海量数据并行平台设计的高性能立体视觉，IEEE视频技术电路与系统处理),2010,20(11):1509-1519]，稠密匹配是指所有的像素都能生成确定的视差值，稀疏匹配是指只选择关键像素点(通常为角点或者边缘点)计算视差，该方法使用效率较高，但后续缺失像素点的视差值还需要通过插值算法的方式来进行计算，因此在场景应用方面受到很大限制。

全局立体匹配算法是通过全局优化理论来估算视差，构造一个包含数据项和平滑项的全局性能量代价函数，并采用求取函数最小值的方法获取最佳视差值，其中常见的全局立体匹配算法有：动态规划(DP)、图割法(GC)、置信传播(BP)[参见：马帅.一种改进置信度传播提取视差图算法研究[D].辽宁大学，2016]等。

局部立体匹配算法也通常被称为基于窗口的匹配方法或者基于支持区域的匹配方法[参见：Mei X,Sun X,Zhou M,et al.On building an accurate stereo matchingsystem on graphics hardware[C]//IEEE International Conference on ComputerVision Workshops(在图形硬件上构建准确的立体声匹配系统，IEEE计算机视觉国际会议研讨会).IEEE,2012,21(5):467-474]。算法借助参考图像中的每一个像素计算出一个大小、形状和权重合适的匹配窗口，进而对这个窗口的所有视差进行加权平均计算。理想的支持窗口模型可以通过覆盖窗口中的弱纹理区域使得窗口内的图像具有连续的深度。与全局立体匹配算法类似，局部立体匹配算法也是采取最优化代价函数的方式来求取最佳视差，但是局部立体匹配算法对于弱纹理区域、重复纹理区域、视差不连续区域以及被遮挡区域的视差图不理想。常用的局部立体匹配算法主要包括SAD(像素差绝对值之和)、SSD(像素差平方和)、NCC(归一化互相关)等。其中SAD算法快速、但并不精确。

Zabih[Zabih R,Woodfill J.Non-parametric local transforms forcomputing visual correspondence[C]//Computer Vision-ECCV’94(用于计算视觉对应关系的非参数局部变换，计算机视觉ECCV).1994:151-158]等提出将非参数变换引入立体匹配中，非参数变换是以像素点在窗口中的灰度顺序为基础，经过非参数变换后的图像像素矩阵不再代表灰度值本身，而是表示图像中每个像素点在窗口中的灰度值顺序，或者表示图像每个像素与参考像素灰度值大小的比较。外界的噪声、光照等干扰不易影响到各点灰度值在窗口中的相对大小，故具有较强的稳定性和抗干扰能力，但如果中心像素点的灰度值受到较大的干扰，立体匹配算法的稳定性会大打折扣。传统的非参数变换主要包括rank变换和Census变换，其中Census变换较典型且运用的最为广泛，但其在噪声抑制和图像细节方面存在的缺陷。

发明内容

本发明的目的在于克服已有技术的缺点，提供一种匹配准确度较高的基于窗口互相关信息的改进Census变换进行优化的算法。

本发明的技术方案为：

本发明的一种基于窗口互相关信息的改进Census立体匹配算法，包括以下步骤：

第一步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的左图像进行灰度化处理，得到左图像各像素的灰度值，然后通过长、宽为别为m和n的矩形窗口与双目摄像头的左图像的前m行和前n列像素对齐，求取窗口内各像素灰度值的平均值

作为参考值，计算公式为：

上式中，p表示一个像素点；I(p)表示窗口内任一像素值；

表示窗口内像素的平均值；

第二步，分别计算窗口内中心像素各邻域的噪声阈值，表达式为：

τ＝λ·I(q)+ω

上式中，q表示像素点p的邻域的某一像素点，λ·I(q)表示由摄像机畸变引起的噪声，I(q)表示窗口中心像素邻域内任一像素的灰度值，λ表示畸变常数；ω表示环境噪声阈值；

第三步，计算窗口内中心像素各邻域像素值与参考值的灰度值差异，公式为：

第四步，采用两位二进制码表示中心像素各邻域像素灰度值相对于中心像素的大小关系，方法如下：

式中，ξ[I(p),I(q)]表示对窗口内中心像素和其邻域像素进行编码的值，是一个二进制的序列；

第五步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的右图像进行灰度化处理，然后采用第一步同样大小的矩形窗口与右图像的前m行和前n列像素对齐，重复第一步至第四步得到该窗口内图像的二进制编码序列；对左图像的矩形窗口内的图像信息和右图像矩形窗口内的图像信息使用改进Census立体匹配算法的匹配代价公式进行计算得到改进后的匹配代价值C(p,d)，表达式为：

C(p,d)＝λ_Census C_Census(p,d)+λ_SADC_SAD(p,d)

C_Census(p,d)表示Census变换的匹配代价，即像素点p处的匹配代价，d表示双目摄像头左图像和双目摄像头右图像的视差；L_i和R_i表示左右图像对应位置的长度为n的比特串的值，i表示比特串中的第i个位置，取值范围为1,2…n；

为异或运算，表示两个二进制码比较时，相同时取0，不同时取1；

C_SAD(p,d)表示SAD立体匹配算法的匹配代价,即左右图两像素点像素值的绝对差，I_L、I_R分别表示左右图像的灰度值；u、v分别表示像素点的横纵坐标值，m和n分别表示匹配窗口的长和宽；j,k用于累加运算，其取值范围分别为1,2…m和1,2…n；；λ_Census和λ_SAD作为调节Census和SAD匹配代价之间的比重参数；

第六步，在右图中选取一个搜索范围后，在该搜索范围内用矩形窗口遍历，在窗口遍历过程中的每个位置上，重复第一步求取窗口内各像素灰度值的平均值

作为参考值，然后重复第二步至第六步找到这个范围内与左图的第一个选定窗口位置对应的C(p,d)值最小的窗口；

第七步，使用第一步中的窗口遍历整个左图，在窗口遍历过程中的每个位置上，采用第一步至第六步的方法，找到右图中与左图的每一个窗口对应的最佳匹配块。

与现有技术相比，本发明的有益效果是：

本发明方法相比于传统的Census变换使用Hamming距离作为匹配代价或是单独使用SAD进行代价计算，可以产生更精确的匹配结果。如果仅采用Census变换，在深度不连续的区域处容易产生误匹配，如果仅采用SAD则对于纹理细节单一的区域匹配效果不佳。针对两者的缺陷利用加权匹配代价计算的方法能够在一定程度上减少单独使用两者所产生的误匹配。本发明方法增加了噪声阈值作为约束条件，并采用两位二进制码表示像素序列。在计算匹配代价时，结合改进Census变换和SAD(像素灰度差绝对差和)进行匹配相似度衡量，即同时考虑到图像的深度差异和纹理信息，其匹配准确度较高。

附图说明

图1改进Census立体匹配算法流程图；

图2(a)细节单一区域的改进Census变换；

图2(b)细节丰富区域的改进Census变换；

图3(a)为本发明和四组Middlebury测试图像的定性对比评估方法中待处理的双目摄像头的左图像；

图3(b)为本发明和四组Middlebury测试图像的定性对比评估方法中待处理的双目摄像头的右图像；

图3(c)为本发明和四组Middlebury测试图像的标准视差图；

图3(d)为本发明算法处理后的四组Middlebury测试图像的视差图；

图3(e)为本发明处理后的视差图和标准视差图的误匹配点标记；

图4(a)为本发明和四组Middlebury测试图像的定性对比评估方法中待处理的双目摄像头的左图像；

图4(b)为测试平台Middlebury网站所提供的四组测试图像的标准视差图；

图4(c)DP算法对四组Middlebury测试图像处理后所生成的视差图；

图4(d)AdaptWeight算法对四组Middlebury测试图像处理后所生成的视差图；

图4(e)传统Census算法对四组Middlebury测试图像处理后所生成的视差图；

图4(f)SAD-Census算法对四组Middlebury测试图像处理后所生成的视差图；

图4(g)本发明算法对四组Middlebury测试图像处理后所生成的视差图；

图5四种算法执行时间直方图；

具体实施方式

下面结合附图和具体实施方案对本发明技术作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

首先求取窗口内各像素灰度值的平均值

作为参考值，取代了传统Census变换采用窗口中心像素灰度值作为参考值的方法，从而在一定程度上避免了窗口内中心像素由于受到干扰发生变化对匹配精度造成的影响。同时，为了增强算法的鲁棒性，在参考值的基础上增加了一个噪声阈值τ作为约束条件。对改进Census变换窗口内的各邻域像素值与参考值进行大小比较的同时，利用窗口邻域像素值与参考值的灰度值差异与噪声阈值的关系作为另一约束条件，运用两位二进制码表示这种差异，既丰富了图像的细节信息，又减小了误匹配，提高了算法鲁棒性。

基于上述原理，本发明的一种基于窗口互相关信息的改进Census立体匹配算法，包括以下步骤：

第一步，如图4(a)采用计算机视觉库OpenCV对双目摄像头拍下选定图的左图像进行灰度化处理，得到左图像各像素的灰度值，然后通过长、宽为别为m和n的矩形窗口与双目摄像头的左图像的前m行和前n列像素对齐，求取窗口内各像素灰度值的平均值

作为参考值，计算公式为：

上式中，p表示一个像素点；I(p)表示窗口内任一像素值；

表示窗口内像素的平均值；m和n分别表示矩形窗口的长和宽。

第二步，分别计算窗口内中心像素各邻域的噪声阈值，噪声阈值一般由两部分组成：其一为内部结构，即摄像机的自身畸变，可以通过图像灰度值进行比例计算；其二为外部组成，主要是环境因素的影响。因此噪声阈值可以用内部噪声和外部噪声之和来表达：

τ＝λ·I(q)+ω(2)

上式中，q表示像素点p的邻域的某一像素点，λ·I(q)表示由摄像机畸变引起的噪声，I(q)表示窗口中心像素邻域内任一像素的灰度值，λ表示畸变常数，一般取值为0.01；ω表示环境噪声阈值，这里取值5。

第三步，计算窗口内中心像素各邻域像素值与参考值的灰度值差异，公式为：

第四步，采用两位二进制码表示中心像素各邻域像素灰度值相对于中心像素的大小关系，方法如下：

式中，ξ[I(p),I(q)]表示对窗口内中心像素和其邻域像素进行编码的值，是一个二进制的序列。

图2(a)和图2(b)表示改进Census变换与传统Census变换在变换具体过程上的对比。从图2(a)中可以很清晰的得出，两种细节丰富程度不同的图像区域，使用传统Census变换得出的是相同的序列，均为11011000。但是从图2(b)可以看出使用了改进Census变换，添加了噪声阈值，并且用两位二进制码表示后，两种图像区域的序列表示完全不同，图2(a)的改进Census序列为1010001010000000，图2(b)的改进Census序列为1011011111000101。对比两个序列有六个位置存在差异，分别对应了图像中像素梯度变化较大的区域，即纹理细节较为显著的区域。因此可以得出结论，经过改进Census变换后，图像纹理细节的反映更加清晰。

第五步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的右图像(如图4(b))进行灰度化处理，然后采用第一步同样大小的矩形窗口与右图像的前m行和前n列像素对齐，重复第一步至第四步得到该窗口内图像的二进制编码序列。对左图像的矩形窗口内的图像信息和右图像矩形窗口内的图像信息使用改进Census立体匹配算法的匹配代价公式进行计算(将SAD的匹配代价加入到Census变换的匹配代价中，并进行加权求和计算)得到改进后的匹配代价值C(p,d)：

C(p,d)＝λ_Census C_Census(p,d)+λ_SADC_SAD(p,d)(5)

式(5)中，C_Census(p,d)表示Census变换的匹配代价，即像素点p处的匹配代价，根据公式(6)计算可得，d表示双目摄像头左图像和双目摄像头右图像的视差；L_i和R_i表示左右图像对应位置的长度为n的比特串的值，i表示比特串中的第i个位置，取值范围为1,2…n；

为异或运算，表示两个二进制码比较时，相同时取0，不同时取1；

式(5)中C_SAD(p,d)表示SAD立体匹配算法的匹配代价,即左右图两像素点像素值的绝对差，根据式(7)计算可得。I_L、I_R分别表示左右图像的灰度值；u、v分别表示像素点的横纵坐标值，m和n分别表示匹配窗口的长和宽。j,k用于累加运算，其取值范围分别为1,2…m和1,2…n。。

λ_Census和λ_SAD作为调节Census和SAD匹配代价之间的比重参数。根据图像的特征在纹理结构丰富的区域选用较大的λ_Census(可以根据具体效果，自行调整确定。本发明算法实验选取0.8)和较小的λ_SAD(本发明算法实验选取0.2)，而在纹理结构单一的区域选用较大的λ_SAD(本发明实验算法选取0.8)和较小的λ_Census(本发明算法实验选取0.2)。

第六步，在右图中选取一个搜索范围后，在该搜索范围内用矩形窗口遍历，在窗口遍历过程中的每个位置上，重复第一步求取窗口内各像素灰度值的平均值

作为参考值，然后重复第二步至第六步找到这个范围内与左图的第一个选定窗口位置对应的C(p,d)值最小的窗口；

第七步，使用第一步中的窗口遍历整个左图，在窗口遍历过程中的每个位置上，采用第一步至第六步的方法，找到右图中与左图的每一个窗口对应的最佳匹配块。

基于窗口互相关信息的改进Census立体匹配算法基于VS2013软件平台并采用C++和OpenCV来具体实现。硬件平台采用Windows10操作系统(3.3GHz Intel(R)Core(TM)i3-3220CPU)。

实施例1

图3(a)和图3(b)为权威性的立体匹配算法测试平台Middlebury网站对其所提供的Tsukuba、Teddy、Venus、Cones四组标准基准色立体图像，本发明用这四幅图像来对算法进行评测。四组图像对的大小分别为384×288、450×375、434×383、450×375像素，且左右图像均已完成了标定与矫正。第一到四列分别为：左图像、右图像、标准视差图、本发明结果图以及误匹配点标记图。

从图3(c)和图3(d)可以直观看出，经过本发明优化后的视差图与标准视差图整体较为接近，但是局部细节部分仍然存在明显差异。标记误匹配点后可以明显看出，四组误匹配点整体较少，且误匹配点主要存在于图像深度差异较大的局部区域。并且可以发现本发明对于Tsukuba和Venus图像对处理后生成的视差图要优于Teddy和Cones，且误匹配点也相对较少。

实施例2

针对DP(动态规划)图4(c)、AdaptWeight(自适应权值)图4(d)、传统Census图4(e)、SAD-Census图4(f)和本发明图4(g)五种立体匹配算法生成的视差图进行了直观上的对比。可以较为明显的看出DP算法相比其他算法具有较大的弱势，很容易造成图像的失真以及边缘信息的严重丢失。AdaptWeight算法虽然边缘细节较好，但是视差图中存在较多的视差空洞，需要后期使用附近可靠的视差值进行空洞填充。传统Census变换作为非参数变换的一种，虽然有所改善但是整体效果依旧较差。SAD-Census算法更进一步克服了噪声干扰而且边缘信息更加丰富，但是在图像深度变化较大或是纹理信息较为丰富的区域存在较多的误匹配点。而本发明在SAD-Census基础上提出的改进算法综合了前者的优缺点，在克服噪声干扰的同时，在深度变换区域和纹理区域较大程度上提高了匹配精度，获得更精确的视差图。

实施例3

通过计算Middlebury四组测试图像对在不同区域的误匹配率，并与DP、AdaptWeight、传统Census和SAD-Census四种立体匹配算法的误匹配率进行对比。如下表1所示，其中Nocc为非遮挡区域的误匹配率，All为全部区域的误匹配率，Disc为深度不连续区域的误匹配率，Average表示平均误匹配率。误匹配率是指计算所得的视差值与真实的误差大于视差容差的像素在整幅图像中所占的比率，可以表示为：

上式中，N表示视差图中总的像素个数；g_x(x,y)和g_s(x,y)分别表示测试算法得出的视差值和真实视差值，δ_thresh表示视差容差，取值为1。

从表1中可以看出，和传统Census以及SAD-Census立体匹配算法相比，改进算法在求取视差图的误匹配率的降低上具有明显优势，平均误匹配率相比其分别减少了9.57％和2.11％，改进效果明显。四对图像中，Teddy和Cones图像对较Tsukuba和Venus图像对的纹理细节和深度信息更丰富，因此四种算法对于Teddy和Cones图像对Disc(深度不连续区域)的误匹配率明显偏大。本发明和SAD-Census算法相比，对于Teddy和Cones的误匹配率较Tsukuba和Venus降低更多，说明在对纹理和深度信息丰富图像的立体匹配方面本发明算法更精确且效果更显著。对比当前较为成熟的AdaptWeight算法仍具有1.09％平均误匹配率的降低，说明本发明算法在匹配精度方面也有一定程度的提升。

表1五种立体匹配算法对Middlebury测试图像的定量分析(％)

基于3.3GHzIntel(R)Core(TM)i3-3220CPU和4G内存的PC硬件平台，DP、AdaptWeight、传统Census、SAD-Census和本发明的执行时间如表2和图5所示。从下表中可以看出，本发明对Middlebury四组测试图像对生成视差图的平均时间分别为3051ms、7324ms、4256ms、8037ms，相较传统Census算法和SAD-Census算法，其执行时间更长。其原因在于本发明所提出的算法改进了Census变换并结合SAD进行加权匹配代价计算，进一步克服噪声干扰同时在图像中深度不连续和纹理细节丰富的区域提高匹配精度，这样一来大大提升了算法复杂度，增加了耗时。但是相较于当前较为成熟的AdaptWeight立体匹配算法，耗时较小，在降低误匹配率的同时提升了算法的实时性。

表2五种立体匹配算法实时性对比

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.基于窗口互相关信息的改进Census立体匹配算法，其特征在于包括以下步骤：

第一步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的左图像进行灰度化处理，得到左图像各像素的灰度值，然后通过长、宽为别为m和n的矩形窗口与双目摄像头的左图像的前m行和前n列像素对齐，求取窗口内各像素灰度值的平均值

作为参考值，计算公式为：

上式中，p表示一个像素点；I(p)表示窗口内任一像素值；

表示窗口内像素的平均值；

第二步，分别计算窗口内中心像素各邻域的噪声阈值，表达式为：

τ＝λ·I(q)+ω

上式中，q表示像素点p的邻域的某一像素点，λ·I(q)表示由摄像机畸变引起的噪声，I(q)表示窗口中心像素邻域内任一像素的灰度值，λ表示畸变常数；ω表示环境噪声阈值；

第三步，计算窗口内中心像素各邻域像素值与参考值的灰度值差异，公式为：

第四步，采用两位二进制码表示中心像素各邻域像素灰度值相对于中心像素的大小关系，方法如下：

式中，ξ[I(p)，I(q)]表示对窗口内中心像素和其邻域像素进行编码的值，是一个二进制的序列；

第五步，采用计算机视觉库OpenCV对双目摄像头拍下选定图的右图像进行灰度化处理，然后采用第一步同样大小的矩形窗口与右图像的前m行和前n列像素对齐，重复第一步至第四步得到该窗口内图像的二进制编码序列；对左图像的矩形窗口内的图像信息和右图像矩形窗口内的图像信息使用改进Census立体匹配算法的匹配代价公式进行计算得到改进后的匹配代价值C(p，d)，表达式为：

C(p，d)＝λ_CensusC_Census(p，d)+λ_SAD C_SAD(p，d)

C_Census(p，d)表示Census变换的匹配代价，即像素点p处的匹配代价，d表示双目摄像头左图像和双目摄像头右图像的视差；L_i和R_i表示左右图像对应位置的长度为n的比特串的值，i表示比特串中的第i个位置，取值范围为1，2…n；

为异或运算，表示两个二进制码比较时，相同时取0，不同时取1；

C_SAD(p，d)表示SAD立体匹配算法的匹配代价，即左右图两像素点像素值的绝对差，I_L、I_R分别表示左右图像的灰度值；u、v分别表示像素点的横纵坐标值，m和n分别表示匹配窗口的长和宽；j，k用于累加运算，其取值范围分别为1，2…m和1，2…n；λ_Census和λ_SAD作为调节Census和SAD匹配代价之间的比重参数；

第六步，在右图中选取一个搜索范围后，在该搜索范围内用矩形窗口遍历，在窗口遍历过程中的每个位置上，重复第一步求取窗口内各像素灰度值的平均值

作为参考值，然后重复第二步至第六步找到这个范围内与左图的第一个选定窗口位置对应的C(p，d)值最小的窗口；

第七步，使用第一步中的窗口遍历整个左图，在窗口遍历过程中的每个位置上，采用第一步至第六步的方法，找到右图中与左图的每一个窗口对应的最佳匹配块。

Images