CN107274448B - 一种基于水平树结构的可变权重代价聚合立体匹配算法 - Google Patents

Abstract

本发明是一种基于水平树结构的可变权重代价聚合立体匹配算法，该方法包括计算匹配代价、计算引导图像、构建水平权值树与垂直权值树、代价聚合、更新权值树、代价聚合和视差优化等阶段。在代价聚合阶段获得初始视差值后，对四领域图边的权值进行相应的调整，将平滑约束和权值调整结合起来，通过对四领域图边的权值更新，构建新的水平权值树和垂直权值树，沿着水平树、垂直树聚合，代价聚合结果表明对背景区域和图像边界区域匹配精度有一定提高。

Description

一种基于水平树结构的可变权重代价聚合立体匹配算法

技术领域

本发明属于计算机立体视觉领域的立体匹配部分，涉及到一种基于水平树结构的可变权重代价聚合立体匹配算法，可应用于虚拟现实、机器人导航、3D场景绘制与重建等领域。

背景技术

立体匹配是根据同一场景内不同视角下的两幅图像，通过寻找像素之间的对应关系来获得3D场景中物体的深度信息的过程。它是计算机视觉领域中最悠久且尚未解决的问题之一。

根据约束条件的不同，立体匹配算法可分为全局立体匹配和局部立体匹配两类。现行的全局匹配算法通常考虑局部的颜色信息和结构信息，并为图像建立全局的能量函数，通过一些优化方法，如置信度传播、动态规划、图割等来为每个像素点分配视差值。虽然全局立体匹配算法有较高的匹配精度，但是其复杂度和运算量过大，往往需要分布式系统和专用计算设备的支持，难以满足实时性要求。局部立体匹配由于每个像素点只依靠相邻像素的支持，而这些提供支持的邻域像素，必须具备深度相似性。而支持窗口的的大小、形状在没有图像的先验信息的情况下很难确定。若采用固定的小窗口可以很好的估计丰富纹理区域和边缘区域的视差值，但是导致弱纹理区域的误匹配，并且易受噪声影响。而较大的窗口对弱纹理区域匹配较好，但是会导致深度不连续区域过于平滑，即前景膨胀现象。

Yang于2015年提出了一种新颖的代价量正则化(cost volume regularization)和水平树权值传播相结合的非局部立体匹配算法。其中水平树权值传播方法利用图论中的概念，把参照图像视为一个4连通无向图结构。其将图像中每个像素点作为一个节点，像素点与相邻像素之间的距离作为权重支持，所有像素沿着水平树和垂直树结构通过权值传播对目标像素提供支持。针对大多数局部立体匹配都基于一基本假设-局部支持区域视差相同。其得到的视差图出现视差分层现象且对于倾斜平面视差估计很差。因此Yang在代价聚合阶段引入全局匹配中的平滑项(smoothness terms)的思想，大大增加了倾斜平面的视差精度。但是该算法在代价聚合阶段只使用颜色信息计算四邻域边的权值，忽视了真实场景中颜色相同区域可能深度不同，不同颜色区域可能深度相同现象。这导致图像背景区域和相同颜色边界区域视差估计不准确。

发明内容

本发明所要解决的技术问题是，针对前述现有技术的缺陷，提出一种基于水平树结构的可变权重代价聚合立体匹配算法，提高匹配精度。

本发明通过下述技术方案解决前述技术问题：

一种基于水平树结构的可变权重代价聚合立体匹配算法，包括如下步骤：

(1)计算匹配代价：分别选取左、右图像为参考图，利用图像的亮度信息、水平梯度信息计算匹配代价；

(2)计算引导图像：对左右参考图像进行窗口大小为3*3的中值滤波获得引导图像，减小图像噪声对代价聚合阶段中的权值计算的影响；

(3)构建水平权值树与垂直权值树：根据四邻域像素之间的颜色差异构建水平权值树与垂直权值树；

(4)计算代价聚合值：把图像中的每个像素当做一个节点，根据步骤(3)得到的权值和Yang提出的代价量正则化对步骤(1)获得的每个像素点的匹配代价值进行代价聚合；

(5)计算初始视差图：利用“胜者为王”算法(英文名称为：Winner Take All，简称为WTA算法)获得初始视差图，这个算法是在视差范围内通过选择每个像素聚合后的匹配代价中最小值所对应的视差值作为最终视差值，获得初始视差图D；

(6)更新水平权值树与垂直权值树：根据步骤(5)得到的初始视差图，将像素视差信息与颜色信息相结合重新计算相邻像素之间的权值；

(7)重新计算代价聚合值：把图像中的每个像素当做一个节点，根据步骤(6)获得的权值和代价正则化匹配聚合算法对步骤(1)获得的每个像素点的匹配代价值进行代价聚合；

(8)计算视差图：同步骤(5)利用“胜者为王”算法获得视差图D1；

(9)视差优化：采用左右一致性检测方法检测步骤(8)获得的视差图D1，将满足左右一致性像素点归类为可靠像素点，不满足的归类为不可靠像素点，对像素点代价量根据下式

做更新，获得新的代价量。其中d_p为像素点p的视差值,β∈[0,1]。根据步骤(8)获得的视差图D1与像素之间的颜色信息依据步骤(6)重新计算相邻像素之间的权值，通过步骤(7)水平树权值传播与代价正则化对新获得的代价量C^new进行聚合，然后采用胜者为王算法获得最终的视差图。

本发明的有益效果：

本发明针对非局部聚合中只采用颜色信息计算相邻像素之间的权值，其对真实场景中相同颜色但深度不同或颜色不同但深度相同等情况不能进行有效的表述，因此在这些区域视差估计精度不高，基于实际场景中视差值应满足平滑性约束，本发明在获取初始视差值后，对四邻域图边的权值进行相应的调整，将平滑性约束和权值调整结合起来，通过对四邻域图边的权值更新，构建新的水平权值树和垂直权值树，采用Yang提出的代价正则化聚合方法，聚合结果表明相比Yang能有效提高背景区域和边缘匹配精度。

附图说明

图1是本发明整体流程。

图2是水平权值树与垂直权值树权值计算图。

图3是聚合阶段权值传播方向图。

图4是误差图。

具体实施方式

下面结合实例和附图对本发明内容作进一步的说明，但不是对本发明的限定。

如图1所示，一种基于水平树结构的可变权重代价聚合立体匹配算法，包含以下几个步骤：

(1)计算匹配代价：

依次选取左、右图为参考图，用图像的颜色信息和水平梯度信息相结合计算匹配代价

C(x,y,d)＝α*C_c(x,y,d)+(1-α)*C_g(x,y,d)

其中，k代表图像R,G,B三个通道，

分别表示左、右彩色图像转换成灰度图像后的水平方向梯度图，T_c和T_g为截断阈值，取值为T_c＝7、T_g＝2。α是平衡因子，一般取值为0.11。C_c(x,y,d)代表参考像素点在视差假设为d的亮度匹配代价，C_g(x,y,d)代表参考像素点在视差假设为d的水平梯度匹配代价，C(x,y,d)表示参考像素点在视差为d的初始匹配代价。

(2)计算引导图像：

对左、右图像进行窗口大小为3*3的中值滤波

I(x,y)＝Median(IH(x,y))

获得引导图像I(x,y)，其中，IH(x,y)为左右图像中以像素点(x,y)为中心，窗口大小为3*3内的像素灰度值，Median(IH(x,y))为序列IH(x,y)的中值。

(3)构建水平权值树与垂直权值树：

首先将引导图像中的每个像素当做一个节点，当考虑水平方向上相邻像素之间的权重关系时构建如图2中左图的水平树结构，同理当考虑垂直方向相邻像素权重关系时构建图2右图垂直树结构。以图2左图中节点a、b和右图中节点1、2为例，用如下公式计算它们之间的权重：

其中，T_a,b(I)表示在水平树中，节点a、b之间的权重，T_1,2(I)表示在垂直树中节点1、2之间的权重，R,G,B表示图像三个通道，w_a,b表示节点a、b之间的颜色距离，w_1,2表示节点1、2之间的颜色距离，σ为平滑因子，一般取值为255*0.08。

(4)计算代价聚合值：

如图3所示，对于图像中的每个像素点P,图像其余像素点对该点的聚合路径为沿 着水平方向向像素点P汇合，当到达像素点p所在的垂直方向时，沿着垂直方向向p聚合。用 如下公式计算点p初次聚合之后在深度d处的匹配代价C_p(d_p)：

其中，T_i,j(I)为已获得的水平权值树和垂直权值树中像素点i,j之间的权值，q为图像内所有像素点，L_p,q为像素点q到目标像素点p的聚合路径，W_p,q(I)为沿着聚合路径权值乘积，亦是像素q对p的权值，m_p(d_p)为未进行代价聚合前在视差d下的匹配代价，v(p)为图像内所有像素点，D为像素视差搜索范围，s(d_p,d_q)为平滑惩戒因子，实验验证选取P_smooth＝2、d_step＝1。

(5)计算初始视差图：

在对匹配代价进行聚合之后，采用胜者为王算法，获取初始视差图。过程如下：匹配代价聚合后，获得每个像素点在不同视差值假设下的匹配代价，利用胜者为王算法选出这些匹配代价当中的最小值，而这个最小值所对应的视差值就是该点的视差值。因此，可求得图像中每个像素点的视差值。

(6)更新水平权值树和垂直权值树：

利用初始视差图更新水平权值树和垂直权值树，更新方法为：对于水平树和垂直树中任两个相邻像素s、r,令D(s)和D(r)分别表示两个像素点的初始视差值，更新后的权重

T_update＝exp(-w′_s,r)

其中，R,G,B为三彩色通道，w_s,r为像素s、r之间的颜色距离，w′_s,r为深度信息与颜色信息相结合对像素距离更新，μ∈[0,1]；优选μ＝0.5，β为视差因子，取值为255*0.08,σ为平滑因子，取值为255*0.08，当s、r为水平方向相邻时，遍历图像所有像素点更新水平权值树，当s、r为垂直方向相邻时，遍历图像所有像素点更新垂直权值树。

(7)重新计算代价聚合值：

在新的水平权值树和垂直权值树的基础上，依据步骤(4)的方法进行新的匹配代价聚合。

(8)计算视差图：

在获得新的匹配代价聚合的基础上，利用步骤(5)的方法计算获得视差图。

(9)视差优化：

根据前述的方法，我们可分别求得左视图和右视图的视差图。获得左右视差图后，通过左右一致性检测将像素点分为可靠像素点和不可靠像素点，对像素点代价量根据下式做更新，获得新的代价量。

其中d_p为像素点p的视差值,β∈[0,1],优选β＝0.1。再次使用步骤(6)获得的水平权值树和垂直权值树以及步骤(4)的方法对新的代价量进行聚合，然后采用胜者为王算法获得最终的视差图。

为了验证算法的有效性，选用Middlebury测试平台提供的图像进行测试。如图4所示，其中(a)为Teddy,baby1,Dolls,Reindeer四组左视图图像，(b)为真实的视差图，(c)为步骤(8)的初始视差图，(d)为步骤(9)得到的最终视差图。从图中可以看出本发明算法在倾斜平面和无纹理区域能得到很好的效果。

Claims (1)

1.一种基于水平树结构的可变权重代价聚合立体匹配算法，其特征在于，包含以下几个步骤：

(1)计算匹配代价：分别选取左、右图像为参考图，利用图像的颜色信息、水平梯度信息计算匹配代价；

(2)计算引导图像：对左右参考图像进行窗口大小为3*3的中值滤波获得引导图像，减小图像噪声对代价聚合阶段中的权值计算的影响；

(3)构建水平权值树与垂直权值树：根据四邻域像素之间的颜色差异构建水平权值树与垂直权值树；

(4)计算代价聚合值：把图像中的每个像素当做一个节点，根据步骤(3)得到的权值和代价量正则化匹配聚合算法对步骤(1)获得的每个像素点的匹配代价值进行代价聚合；

(5)计算初始视差图：利用“胜者为王”算法获得初始视差图D；

(6)更新水平权值树与垂直权值树：根据步骤(5)得到的初始视差图，将像素视差信息与颜色信息相结合重新计算相邻像素之间的权值；包括：对于水平树和垂直树中任两个相邻像素s、r,令D(s)和D(r)分别表示两个像素点的初始视差值，更新后的权重

Tupdate＝exp(-w′s,r)

其中，R,G,B为三彩色通道，w_s，r为像素s、r之间的亮度距离，w′_s，r为深度信息与彩色信息相结合对像素距离更新，μ∈[0,1]；β为视差因子，取值为255*0.08,σ为平滑因子，取值为255*0.08，当s、r为水平方向相邻时，遍历图像所有像素点更新水平权值树，当s、r为垂直方向相邻时，遍历图像所有像素点更新垂直权值树；

(7)重新计算代价聚合值：把图像中的每个像素当做一个节点，根据步骤(6)获得的权值和代价正则化匹配聚合算法对步骤(1)获得的每个像素点的匹配代价值进行代价聚合；

(8)计算视差图：同步骤(5)利用“胜者为王”算法获得视差图D1；

(9)视差优化：首先采用左右一致性检测方法检测步骤(8)获得的视差图D1，将满足左右一致性像素点归类为可靠像素点，不满足的归类为不可靠像素点，对像素点代价量根据下式

做更新，获得新的代价量,其中dp为像素点p的视差值,β∈[0,1],根据步骤(8)获得的视差图D1与像素之间的颜色信息依据步骤(6)重新计算相邻像素之间的权值，通过步骤(7)水平树权值传播与代价正则化对新获得的代价量Cnew进行聚合，然后采用胜者为王算法获得最终的视差图。

Images