CN110148181A - 一种通用双目立体匹配方法 - Google Patents

Abstract

本发明提供了一种通用双目立体匹配的方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，采用统一的代价聚合函数框架在不同尺度上进行代价匹配，利用各像素窗口的信息熵作为不同尺度下匹配代价对整个匹配代价的影响因子；同时为了保证不同尺度下同一像素的代价一致性,在代价函数里加入正则化因子。一种通用双目立体匹配的方法可以应用在利用多尺度进行代价匹配的算法上，并使原有算法的准确率和鲁棒性得到改善，提高了多尺度立体匹配的准确率和鲁棒性。

Description

一种通用双目立体匹配方法

技术领域

本发明涉及一种通用双目立体匹配方法，是一种基于双目立体 视觉、通过对图像对立体匹配计算深度的方法，属于计算机视觉领域。

背景技术

立体匹配可以用来求取双目相机、多目相机或者具有交叉视野序 列图像的深度图。旨在寻找多幅图像中相对应的点，广泛应用在机器 人导航、无人驾驶、虚拟现实、三维重建等领域内。立体匹配技术的 研究热点主要集中于三类匹配算法：基于局部、基于全局和基于半全 局的立体匹配算法。Scharstein等将立体匹配算法分为四个步骤：代 价计算、代价聚合、视差计算、视差求精。在代价计算阶段，在可能 的视差范围内根据对应像素的匹配代价生成三维代价体(cost volume)。在代价聚合阶段，对每个像素的窗口区域内根据相应的核 函数进行代价聚合。然后每个像素的视差可以由局部或者全局优化方 法求得。最后对视差图进行求精计算。

大多数代价聚合可以看成是对代价体进行滤波操作。盒滤波和高 斯滤波为最基本的线性滤波器，运行速度较快，但其会模糊视差图像 使精度下降。Yoon等引入具有边缘感知的双边滤波器应用在代价聚 合步骤上，往往需要较大的滤波窗口才能生成比较准确的视差图，其 计算复杂度较大。Rhemann等把引导滤波器应用在代价聚合上，其计 算复杂度与窗口大小无关。Yang等提出一种半局部代价聚合方法， 其将整副图像作为核函数窗口。利用最小生成树加速代价匹配。Mei 等先对图像进行分割，后采用半局部方法对每个分割块求取子树，然 后根据贪心算法，将各个分割对应的子树进行合并。这些算法极大提 高了立体匹配的精度，但同时其未利用像人眼视觉系统采取由粗到精 的策略融合多尺度图像信息来处理匹配问题，不能充分利用图像内容 信息。因此Zhang等提出跨尺度代价聚合方法，并设计了统一的代价 聚合模型。可融合现有的多种立体匹配算法，同时又考虑跨尺度的交 互，引入正则化项，目前被多数多尺度匹配算法采用。

综上所述，目前聚合算法大多在多尺度下进行代价聚合，其根据 人眼视觉模型融合不同尺度的匹配代价，从而减小误匹配率。但其一 视同仁简单将各个尺度图像匹配代价相加，未考虑由于高斯滤波和下 采样造成的信息丢失，使得单一尺度下匹配正确的点在多尺度融合中 出现错误匹配。

发明内容

本发明实施例提供了一种通用双目立体匹配方法，是一种自适应 权值的跨尺度立体匹配算法框架。采用统一的代价聚合函数框架在不 同尺度上进行代价匹配，利用各像素窗口的信息熵作为不同尺度下匹 配代价对整个匹配代价的影响因子；同时为了保证不同尺度下同一像 素的代价一致性，在代价函数里加入正则化因子。一种通用双目立体 匹配的方法可以应用在利用多尺度进行代价匹配的算法上，并使原有 算法的准确率和鲁棒性得到改善，提高了多尺度立体匹配的准确率和 鲁棒性。

为解决上述技术问题，本发明提出的技术方案是：一种通用双目 立体匹配方法，包括双目标定、双目图像矫正、双目立体匹配、匹配 代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：

01)双目标定：对双目相机进行标定，得到所述双目相机的相关 参数；

02)双目图像矫正，对双目相机在成像过程中存在的径向失真和 切向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行 对准进行立体矫正的双目图像矫正；

03)双目立体匹配：利用双目标定得到的双目相机相关参数以及 图像对，通过代价匹配生成初始视差空间，再通过代价聚合处理所述 初始视差信息形成二次视差空间以及图像中各点的三维信息；

04)匹配代价计算：将已校正的双目立体视觉传感器获得的左右 两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特 征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、 梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范 围完成所有视差值下的匹配代价计算后得到匹配代价卷；

05)匹配代价聚合：对步骤04的匹配代价计算阶段获得的匹配代 价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波 方法代价聚合得到经过匹配代价聚合的代价卷。

06)视差计算：将步骤05聚合后得到的经过匹配代价聚合的代价 卷采用WTA(Winner-Take-All，即“胜者为王”)算法选择最优视差 得到初始视差图，然后对初始视差图采用双峰测试BMD(Bimodality)、 左-右一致性检测LRC(Left-Right Checking)、顺序一致性检测ORD (Ordering)或遮挡约束OCC(Occlusion Constraint)算法寻找遮挡 区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到 视差图；

07)视差图优化：对步骤06的视差图使用均值滤波器或双边滤波 器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终 视差图。

所述的步骤01中，优选地，利用小孔成像原理实现双目相机中左 右相机的标定、通过计算左右相机之间的旋转和平移矩阵实现双目相 机的标定的离线相机标定。

具体地，设定空间任意一点的像素坐标为(u，v)，其在世界坐标 系中对应的坐标为(x，y，z)，依据小孔成像原理，两坐标满足：

以双目相机对棋盘格标定板进行成像，通过harrs方法 提取棋盘格上角点的像素坐标以及已知的棋盘格上角点的世界坐标， 实现双目相机中左右相机的标定；

通过R＝Rr(R1)T和T＝Tr-R*T1计算出左右相机之间的旋转和平 移矩阵，实现双目相机的标定。

所述的步骤02中，设定一点的坐标为(x，y)，点的真实的未畸变的 坐标为(x0，y0)则双目相机的径向畸变模型和切向畸变模型分别可以 表示为：

x_r＝x₀*(k1*r²+k²*r⁴+1)

y_r＝y₀*(k1*r²+k²*r⁴+1)

实现图像的畸变矫正；

在双目相机标定过程中可以得出左右相机的旋转矩阵，且左右相 机之间存在如下关系：

R＝r₁/r_r

r₁*r_r＝1实现图像的立体矫正。

所述的步骤03中，双目立体匹配步骤中还包括生成初始视差空间， 所述步骤包括：

图像划分：将所述图像通过超像素划分，获得包括超像素A在内 的若干个超像素点；

初始视差空间计算：初始视差空间通过下列公式求得：

其中，表示超像素区域LA的像素pix视差 空间之和，numer(pix∈L_A)表示超像素区域LA的像素pix数量；

需要说明的是，视差空间是指双目立体匹配时，依据视差的个数 生成的视差匹配图。比如视差等级为D，图像的大小为W*H，则视 差空间是D副大小为W*H构成的视差匹配图；numer(pix∈LA)表示 的一个超像素分割区域的像素个数。

需要说明的是，通过对图像的划分，可以方便后续代价聚合步骤 的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要 根据图像的大小的数量进行计算，大大提高了运算效率。

所述的步骤04中，在匹配代价计算中，规定两幅图为左图和右图， 设置左图像素点位置为p(x，y)，则在右图像上偏移量为d的像素点位 置为q(x-d，y)，该水平方向的偏移量d即视差，范围为dmin～dmax； 匹配代价需要计算每个像素点在视差范围dmin～dmax内相似性，具 体包括以下子步骤：

(4.1)基于图片的颜色信息的相似性度量是采用计算像素p和q之 间的颜色绝对差进行度量，如果是多通道的图像，则计算各个通道的 颜色绝对差的平均值；

(4.2)采用复合梯度进行相似性度量的时候，则计算的是像素p和 q之间的复合梯度向量的绝对差求和，然后根据图像的颜色空间通道 数ch求平均值；

(4.3)Census变换法采用的是先将计算窗win内的每点像素值与 中心像素对比，比中心像素高的置为1，其他置为0，再将win窗内 的所有二进制数据进行串接得到编码cen，然后将左图像像素p和右 图像像素q相应的计算窗win内的像素按照同样的方法求取cen(p)和 cen(q)，最后对它们求取异或计算，统计异或运算后的1的个数用来 度量像素p和q的相似性；

(4.4)复合匹配代价综合了以上三个度量算子，将它们组合成了一 个新的三维匹配代价空间；

(4.5)依据以上的计算步骤计算每一点的匹配代价，分别计算得到 度量算子计算的匹配代价，然后按照三维匹配代价空间进行组合。

所述的步骤05中，引导滤波方法是将立体图像对的左视图作为引 导图像，通过组合颜色、梯度和深度特征的截断匹配代价函数得到每 个视差值对应的匹配代价片作为滤波输入，其中引导图像为三通道彩 色图像，然后利用相对于彩色图像的滤波核权重对彩色图像滤波核进 行滤波输出经过匹配代价滤波的代价卷，并由计算匹配代价阶段获得 的匹配代价卷包含噪声，代价聚合阶段对匹配代价卷的去噪声处理可 以看成是对匹配代价卷的加权最小二乘(weighted least squares：WLS) 优化问题，从而消除噪声，提高匹配代价的鲁棒性，使得匹配的结果 更加准确，同时将信息熵引入多尺度代价聚合统一框架内，并使其表 示某像素窗口在各尺度下的影响因子，最后加入正则项去统一该像素 的匹配一致性。

所述步骤06中，左-右一致性检测LRC是对初始视差图分别以 左、右图像为匹配参考图像分两次计算得到基于左、右视图的中间视 差图，将得到的两幅中间视差图做对比，当左图像中某点的视差值与 右图像对应像素的视差值大于某个阈值时，则将该点视为遮挡区域的 点，然后将遮挡点赋予距离其最近的同行点的视差值后得到视差图。

所述对初始视差图分别以左、右图像为匹配参考图像分两次计算 得到基于左、右视图的视差图是将初始视差图分别以左、右图像为匹 配参考图像通过引导滤波方法和WTA选择最优视差计算得到基于左、 右视图的中间视差图。

所述的步骤07中，采用加权联合双边滤波视差图精细化方法对立 体匹配得到的视差图进行精细化，具体步骤包括：

7.1)在初始的视差图上使用斑点检测算法filterSpeckles得到视差 图中的连通区域；

7.2)对于视差图中的每一像素点，设置以该像素点为中心的支持窗 口，根据窗口内所有像素点信息计算该像素点的权值，包括基于空间 距离的权值、基于颜色距离的权值、基于连通区域的权值；其中基于 空间距离的权值用两像素的空间距离的高斯函数计算；基于颜色距离 的权值用两像素的颜色距离的高斯函数计算；基于连通区域的权值是支持窗口中连通区域的所有像素到中心像素点的空间距离、颜色距离 和视差距离的乘积之和；

7.3)利用7.2)中计算的三种权值，对支持窗口中心点进行加权联合 双边滤波；

7.4)滤波之后需要对轮廓边缘模糊的区域进行视差修正：以当前像 素为中心的支持窗口中，使用双边滤波前与当前像素使用双边滤波后 视差差异最小的视差作为当前像素的视差。

与现有技术相比，本发明的有益效果是：

1)、针对传统多尺度方法利用相同权值对各尺度进行代价聚合造 成错误匹配。引入图像信息熵，利用各像素对应窗口在各尺度的信息 熵大小作为各尺度对整个匹配代价的贡献程度，充分利用图像信息， 减少了原有算法由于高斯模糊和下采样造成的错误匹配点。

(2)加入正则化项进行各尺度一致性约束，进一步降低了误匹配 率。

(3)在损失可忽略不计的运行时间下，有效降低了错误匹配率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发 明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明 的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的 具体实施方式。

附图说明

图1为本发明实施例中的流程图；

为更进一步阐述本发明为达成预定发明目的所采取的技术手段 及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、 结构、特征及其功效，详细说明如下：

一种通用双目立体匹配方法，包括双目标定、双目图像矫正、双 目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化 步骤，具体包括：

01)双目标定：对双目相机进行标定，得到所述双目相机的相关参 数；

02)双目图像矫正，对双目相机在成像过程中存在的径向失真和切 向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行对 准进行立体矫正的双目图像矫正；

03)双目立体匹配：利用双目标定得到的双目相机相关参数以及图 像对，通过代价匹配生成初始视差空间，再通过非局部代价聚合处理 所述初始视差信息形成二次视差空间以及图像中各点的三维信息；

04)匹配代价计算：将已校正的双目立体视觉传感器获得的左右两 幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征 为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯 度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围 完成所有视差值下的匹配代价计算后得到匹配代价卷；

05)匹配代价聚合：匹配代价聚合：对步骤04的匹配代价计算阶 段获得的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重 聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；

06)视差计算：将步骤05聚合后得到的经过匹配代价聚合的代价 卷采用WTA(Winner-Take-All，即“胜者为王”)算法选择最优视差 得到初始视差图，然后对初始视差图采用双峰测试BMD(Bimodality)、 左-右一致性检测LRC(Left-Right Checking)、顺序一致性检测ORD (Ordering)或遮挡约束OCC(Occlusion Constraint)算法寻找遮挡 区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到 视差图；

07)视差图优化：对步骤06的视差图使用均值滤波器或双边滤波 器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终 视差图。

进一步的，在所述步骤01中，优选地，利用小孔成像原理实现双 目相机中左右相机的标定、通过计算左右相机之间的旋转和平移矩阵 实现双目相机的标定的离线相机标定。

具体地，设定空间任意一点的像素坐标为(u，v)，其在世界坐标 系中对应的坐标为(x，y，z)，依据小孔成像原理，两坐标满足：

以双目相机对棋盘格标定板进行成像，通过harrs方法 提取棋盘格上角点的像素坐标以及已知的棋盘格上角点的世界坐标， 实现双目相机中左右相机的标定；

通过R＝Rr(Rl)T和T＝Tr-R*T1计算出左右相机之间的旋转和平 移矩阵，实现双目相机的标定。

进一步的，所述的步骤02中，设定一点的坐标为(x，y)，点的真实 的未畸变的坐标为(x0，y0)则双目相机的径向畸变模型和切向畸变模 型分别可以表示为：

x_r＝x₀*(k1*r²+k²*r⁴+1)

y_r＝y₀*(k1*r²+k²*r⁴+1)

实现图像的畸变矫正；

在双目相机标定过程中可以得出左右相机的旋转矩阵，且左右相 机之间存在如下关系：

R＝r₁/r_r

r₁*r_r＝1实现图像的立体矫正，方便后续代价聚合步骤的计算。

进一步的，所述的步骤03中，双目立体匹配步骤中还包括生成初 始视差空间，所述步骤包括：

图像划分：将所述图像通过超像素划分，获得包括超像素A在内 的若干个超像素点；

初始视差空间计算：初始视差空间通过下列公式求得：

其中，表示超像素区域LA的像素pix视差 空间之和，numer(pix∈L_A)表示超像素区域LA的像素pix数量；

需要说明的是，视差空间是指双目立体匹配时，依据视差的个数 生成的视差匹配图。比如视差等级为D，图像的大小为W*H，则视 差空间是D副大小为W*H构成的视差匹配图；numer(pix∈LA)表示 的一个超像素分割区域的像素个数。

需要说明的是，通过对图像的划分，可以方便后续代价聚合步骤 的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要 根据图像的大小的数量进行计算，大大提高了运算效率。

在本实施例中，匹配代价是用来衡量不同视角拍摄的两幅或者多 幅同一场景不同图像，在不同视差下对应像素点对之间在的相似性， 匹配代价计算用来计算不同视图下对应像素点的匹配关系。一般用 表示，其中W、H为输入图像的长和宽，3代表 图像颜色通道。L表示两图像对应像素点的最大视差d_max。因此两个图 像对I、I′∈R^W×Hx3，的匹配代价可表示为：

C＝f(I，I′)(1)

根据公式(1)可以计算出整副图像的代价体C∈R^W×H×L，其代表每个像 素在最大视差下的匹配代价。对于每一个像素i＝(x_i，y_i)在视差l下的匹 配代价用C(i，l)表示。有许多方法可以用来计算代价体，本文将颜色与 梯度信息相结合计算匹配代价：

其中I(i)表示像素i颜色的三维列向量。表示相应图像转化为灰度图 像后在x方向的梯度。i_l＝(x_i-l，y_i)表示像素在视差为l时对应的像素。 α为颜色信息和梯度信息的平衡权值。τ₁，τ₂为截断值。

作为本实施例的优选实施例，在步骤04所述的匹配代价计算中， 规定两幅图为左图和右图，设置左图像素点位置为p(x，y)，则在右图 像上偏移量为d的像素点位置为q(x-d，y)，该水平方向的偏移量d即 视差，范围为dmin～dmax；匹配代价需要计算每个像素点在视差范 围dmin～dmax内相似性，具体包括以下子步骤：

(4.1)基于图片的颜色信息的相似性度量是采用计算像素p和q之 间的颜色绝对差进行度量，如果是多通道的图像，则计算各个通道的 颜色绝对差的平均值；

(4.2)采用复合梯度进行相似性度量的时候，则计算的是像素p和 q之间的复合梯度向量的绝对差求和，然后根据图像的颜色空间通道 数ch求平均值；

(4.3)Census变换法采用的是先将计算窗win内的每点像素值与 中心像素对比，比中心像素高的置为1，其他置为0，再将win窗内 的所有二进制数据进行串接得到编码cen，然后将左图像像素p和右 图像像素q相应的计算窗win内的像素按照同样的方法求取cen(p)和 cen(q)，最后对它们求取异或计算，统计异或运算后的1的个数用来 度量像素p和q的相似性；

(4.4)复合匹配代价综合了以上三个度量算子，将它们组合成了一 个新的三维匹配代价空间；

(4.5)依据以上的计算步骤计算每一点的匹配代价，分别计算得到 度量算子计算的匹配代价，然后按照三维匹配代价空间进行组合。

所述步骤04中的匹配代价算法，主要考虑梯度、颜色和局部块 信息，因为梯度信息对于光照等变化不敏感同时又富含结构信息，图 像色彩信息可以在一定程度上降低局部重复纹理带来的影响，而 census非参数变换包含了局部的编码信息因而具有局部鲁棒性，所以 复合的匹配代价计算主要包含了上文的复合梯度信息、初始图像的色 彩信息和轻量级的census变换三种算子。其中复合梯度信息和图像 的色彩信息度量采用的是简单的绝对误差计算方法，轻量级的census 变换度量则将计算窗口选的很小，这样即可以保证鲁棒性，又降低计 算量。这种组合式的匹配代价计算算子吸收了每种算子的优点，同时 相互制约了缺点，因而比单独的算子更具有广泛适用性

进一步的，在所述步骤05中，由计算匹配代价阶段获得的匹配代 价卷包含噪声，代价聚合阶段对匹配代价卷的去噪声处理可以看成是 对匹配代价卷的加权最小二乘(weighted least squares：WLS)优化问题， 所述优化公式如下：

其中当代价聚合采用局部方法时Ni为以像素点i为中心核窗口内 的其他像素点，当采用非局部的方法时Ni为整个图像内的其他像素 点；K(i，j)为用来衡量像素点i，j之间相似性的相似性核，在使用引导 滤波器做相似核函数时采用像素点间像平面二维空间距离和颜色空 间距离来衡量像素点i，j之间的相似性，在使用最小生成树做相似核 函数时则采用测地线距离衡量像素点i，j之间的相似性；Z_i＝ ∑_j∈NiK(i，j)，为归一化常数；z变量为匹配代价迭代去噪声过程中的输 出值；式(3)为匹配代价迭代去噪声过程的最终输出值，是最终 去除噪声的匹配代价，也就是说当时为式(3)加权最小二乘优化问题的最优解，对代价卷的去噪声处理可以提高匹配代价的鲁棒性， 使得匹配的结果更加准确。

同时在代价聚合中，将信息熵引入多尺度代价聚合统一框架内， 并使其表示某像素窗口在各尺度下的影响因子，最后加入正则项去统 一该像素的匹配一致性。

图像信息熵是一种特征表述形式，可以用来描述图像的平均信息 量，数学上表示为信息量的期望值，其在图像中的计算公式如下：

将图像连续高斯平滑并以采样因子为η下采样，得到不同尺度图像。并将 其引入多尺度空间的统一聚合框架，公式如下：

其中s∈{0，1，...，S}代表不同尺度。K(i，j)表示像素i，j匹配程度的相似核， 我们可以根据要求利用不同的核函数或者滤波器进行代价聚合，例如 盒子滤波、双边滤波、引导滤波和基于树结构的核函数等。 为多尺度归一化因子，表示不同尺度的像 素和其对应的视差值，并且i^s+1＝i^s/η，l^s+1＝l^s/η。为不同尺度图像下 对应像素的聚合窗口大小，该窗口可以根据尺度不同进行更改，也可 以保持不变使其在粗尺度下利用更多的邻域信息。 为S+1个尺度下各尺度的匹配代价。方程(5) 的解相当于在各尺度下分别求对应的匹配代价，其解为：

将归一化的图像信息熵作为各尺度匹配代价对整个匹配代价的影响 因子，同时为了保证各像素在多尺度下的一致性和减少噪声干扰加入 二范数正则化项。其公式如下：

其中为s尺度下i像素聚合窗口的图像信息熵。可见方程(5)为凸 函数，因此通过求方程驻点可以得到局部最优值。令表示方 程(11)后面的优化项，当s∈{1，2，...，S-1}时，对各尺度匹配代价的偏 导数为：

令得：

因此对于s∈{0，1，...，S}有：

对于S+1个尺度，我们可以将S+1个线性方程组表述为矩阵形式如下：

其中A是(S+1)×(S+1)的可逆系数矩阵，因此各尺度的匹配代价为：

然后在最细尺度图像下生成最终的匹配代价如下：

进一步的，在所述步骤06中，左-右一致性检测LRC是对初始 视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右 视图的中间视差图，将得到的两幅中间视差图做对比，当左图像中某 点的视差值与右图像对应像素的视差值大于某个阈值时，则将该点视 为遮挡区域的点，然后将遮挡点赋予距离其最近的同行点的视差值后 得到视差图。

所述对初始视差图分别以左、右图像为匹配参考图像分两次计算 得到基于左、右视图的视差图是将初始视差图分别以左、右图像为匹 配参考图像通过引导滤波方法和WTA选择最优视差计算得到基于左、 右视图的中间视差图。

在立体匹配算法中，由于左右图像存在视差，遮挡问题一直不 可避免。在获得最终视差图之前，本文首先采用LRC左右一致性算 法进行视差后处理运算。

在以左图像为参考图像时计算得到视差dl，以右图像为参考图 像得到视差dr。当满足如下公式条件：|dl-dr|＞δ。

δ为阈值，δ∈(0，1)。本文中δ取值为1。当满足左右视差差的 绝对值大于δ，则认为是遮挡点。对遮挡点取左右视差中较小的视 差值进行视差填充。

在进行代价聚合算法之后，得到的视差图往往存在较多的椒盐 噪声，有必要对图像进行中值滤波。然而传统的滤波往往忽视了像 素之间的相关性。本文基于空间内像素之间颜色与距离的差异对窗 口内像素赋予不同的权值，具体权值运算如公式(14)所示。

γc，γd为常数，通过试验获得。论文中通过大量的实验取γ_c＝ 0.1，γ_d＝9。k1，k2由中心像素与周围像素点在颜色空间与距离空间 的差异得出，分别获得下式(15)和(16)。

窗口大小为19*19。在获得窗口内各像素的权值之后进行自适应中值 滤波。具体过程如下：

(1)对窗口内除中心点外的各像素灰度值与各自的权值相乘，得到新 的灰度值，利用式(17)计算获得。

I′(q)＝w·I(q) (17)

(2)对窗口内包括中心点在内的各像素的新值进行排序，取位于中值 附近最接近中心点的2个像素值I′(q1)，I′(q2)，取其均值得到新的亚像 素级别灰度值代替原中心点像素的灰度值，由式(18)计算获得。

进一步的额，在所述的步骤07中，采用加权联合双边滤波视差图 精细化方法对立体匹配得到的视差图进行精细化，具体步骤包括：

7.1)在初始的视差图上使用斑点检测算法filterSpeckles得到视差 图中的连通区域；

7.2)对于视差图中的每一像素点，设置以该像素点为中心的支持窗 口，根据窗口内所有像素点信息计算该像素点的权值，包括基于空间 距离的权值、基于颜色距离的权值、基于连通区域的权值；其中基于 空间距离的权值用两像素的空间距离的高斯函数计算；基于颜色距离 的权值用两像素的颜色距离的高斯函数计算；基于连通区域的权值是支持窗口中连通区域的所有像素到中心像素点的空间距离、颜色距离 和视差距离的乘积之和；

7.3)利用7.2)中计算的三种权值，对支持窗口中心点进行加权联合 双边滤波；

7.4)滤波之后需要对轮廓边缘模糊的区域进行视差修正：以当前像 素为中心的支持窗口中，使用双边滤波前与当前像素使用双边滤波后 视差差异最小的视差作为当前像素的视差。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不 脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于 本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些 改动和变型在内。

Claims (8)

1.一种通用双目立体匹配方法，一种通用双目立体匹配的方法，包括双目标定、双目图像矫正、双目立体匹配、匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：

01)双目标定：对双目相机进行标定，得到所述双目相机的相关参数；

02)双目图像矫正：对双目相机在成像过程中存在的径向失真和切向失真进行畸变矫正、对双目相机所成的图像在同一平面内切同行对准进行立体矫正的双目图像矫正；

03)双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；

04)匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；

05)匹配代价聚合：对步骤04的匹配代价计算阶段获得的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷。

06)视差计算：将步骤05聚合后得到的经过匹配代价聚合的代价卷采用WTA(Winner-Take-All，即“胜者为王”)算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD(Bimodality)、左一右一致性检测LRC(Left-Right Checking)、顺序一致性检测ORD(Ordering)或遮挡约束OCC(Occlusion Constraint)算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；

07)视差图优化：对步骤06的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。

2.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于所述步骤01中，设定空间任意一点的像素坐标为(u，v)，其在世界坐标系中对应的坐标为(x，y，z)，依据小孔成像原理，两坐标满足：

以双目相机对棋盘格标定板进行成像，通过harrs方法提取棋盘格上角点的像素坐标以及已知的棋盘格上角点的世界坐标，实现双目相机中左右相机的标定。通过R＝Rr(R1)T和T＝Tr-R*T1计算出左右相机之间的旋转和平移矩阵，实现双目相机的标定。

3.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在步骤02中，设定一点的坐标为(x，y)，点的真实的未畸变的坐标为(x0，y0)则双目相机的径向畸变模型和切向畸变模型分别可以表示为：

x_r＝x₀*(k1*r²+k²*r⁴+1)

y_r＝y₀*(k1*r²+k²*r⁴+1)

实现图像的畸变矫正；

在双目相机标定过程中可以得出左右相机的旋转矩阵，且左右相机之间存在如下关系：

R＝r₁/r_r

r₁*r_r＝1实现图像的立体矫正。

4.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在步骤03中，双目立体匹配步骤中还包括生成初始视差空间，所述步骤包括：

图像划分：将所述图像通过超像素划分，获得包括超像素A在内的若干个超像素点；

初始视差空间计算：初始视差空间通过下列公式求得：

其中，表示超像素区域LA的像素pix视差空间之和，numer(pix∈L_A)表示超像素区域LA的像素pix数量。

5.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在所述的步骤04中，规定两幅图为左图和右图，设置左图像素点位置为p(x，y)，则在右图像上偏移量为d的像素点位置为q(x-d，y)，该水平方向的偏移量d即视差，范围为dmin～dmax；匹配代价需要计算每个像素点在视差范围dmin～dmax内相似性，具体包括以下子步骤：

(4.1)基于图片的颜色信息的相似性度量是采用计算像素p和q之间的颜色绝对差进行度量，如果是多通道的图像，则计算各个通道的颜色绝对差的平均值；

(4.2)采用复合梯度进行相似性度量的时候，则计算的是像素p和q之间的复合梯度向量的绝对差求和，然后根据图像的颜色空间通道数ch求平均值；

(4.3)Census变换法采用的是先将计算窗win内的每点像素值与中心像素对比，比中心像素高的置为1，其他置为0，再将win窗内的所有二进制数据进行串接得到编码cen，然后将左图像像素p和右图像像素q相应的计算窗win内的像素按照同样的方法求取cen(p)和cen(q)，最后对它们求取异或计算，统计异或运算后的1的个数用来度量像素p和q的相似性；

(4.4)复合匹配代价综合了以上三个度量算子，将它们组合成了一个新的三维匹配代价空间；

(4.5)依据以上的计算步骤计算每一点的匹配代价，分别计算得到度量算子计算的匹配代价，然后按照三维匹配代价空间进行组合。

6.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在所述的步骤05中，引导滤波方法是将立体图像对的左视图作为引导图像，通过组合颜色、梯度和深度特征的截断匹配代价函数得到每个视差值对应的匹配代价片作为滤波输入，其中引导图像为三通道彩色图像，然后利用相对于彩色图像的滤波核权重对彩色图像滤波核进行滤波输出经过匹配代价滤波的代价卷，并由计算匹配代价阶段获得的匹配代价卷包含噪声，代价聚合阶段对匹配代价卷的去噪声处理可以看成是对匹配代价卷的加权最小二乘(weightedleast squares:WLS)优化问题，从而消除噪声，提高匹配代价的鲁棒性，使得匹配的结果更加准确，同时将信息熵引入多尺度代价聚合统一框架内，并使其表示某像素窗口在各尺度下的影响因子，最后加入正则项去统一该像素的匹配一致性。

7.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在所述步骤06中，左—右一致性检测LRC是对初始视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右视图的中间视差图，将得到的两幅中间视差图做对比，当左图像中某点的视差值与右图像对应像素的视差值大于某个阈值时，则将该点视为遮挡区域的点，然后将遮挡点赋予距离其最近的同行点的视差值后得到视差图。

所述对初始视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右视图的视差图是将初始视差图分别以左、右图像为匹配参考图像通过引导滤波方法和WTA选择最优视差计算得到基于左、右视图的中间视差图。

8.根据权利要求1所述的一种通用双目立体匹配方法，其特征在于，在所述的步骤07中，采用加权联合双边滤波视差图精细化方法对立体匹配得到的视差图进行精细化，具体步骤包括：

71)在初始的视差图上使用斑点检测算法filterSpeckles得到视差图中的连通区域；

7.2)对于视差图中的每一像素点，设置以该像素点为中心的支持窗口，根据窗口内所有像素点信息计算该像素点的权值，包括基于空间距离的权值、基于颜色距离的权值、基于连通区域的权值；其中基于空间距离的权值用两像素的空间距离的高斯函数计算；基于颜色距离的权值用两像素的颜色距离的高斯函数计算；基于连通区域的权值是支持窗口中连通区域的所有像素到中心像素点的空间距离、颜色距离和视差距离的乘积之和；

7.3)利用7.2)中计算的三种权值，对支持窗口中心点进行加权联合双边滤波；

7.4)滤波之后需要对轮廓边缘模糊的区域进行视差修正：以当前像素为中心的支持窗口中，使用双边滤波前与当前像素使用双边滤波后视差差异最小的视差作为当前像素的视差。