CN106991693B - 基于模糊支持权重的双目立体匹配方法 - Google Patents

Abstract

本发明提出了一种基于模糊支持权重的立体匹配方法，其方案是：获取左右两幅视图，并计算在不同视差下左右视图对应点的匹配代价，并对其分别进行带权的模糊C均值聚类，得到每个像素点的隶属度；为左右视图中的每个像素点选取窗口，计算窗口内的像素点对该点的模糊支持权重；计算在不同视差下左右视图中对应窗口的总匹配代价；选取最小匹配代价的视差值作为像素点的最优视差值；分别获取左右视图上所有像素点的视差值，获取左右视图中视差值不一致的点，并对其进行替换；再对左视图上像素点的视差值做中值滤波，完成对左右视图像素点的匹配。本发明减小了在遮挡区域及深度不连续区域的误匹配，可用于三维重建和测量。

Description

基于模糊支持权重的双目立体匹配方法

技术领域

本发明属于立体视觉技术领域，特别涉及一种双目立体匹配方法，可用于虚拟现实、三维重建和测量。

背景技术

视觉是人类观察和认知世界的重要方式之一，人类所需要的75％的信息都是视觉系统提供，通过机器模拟人类视觉在学术和工程领域有着重要的理论意义和实用价值。双目立体视觉就是通过模拟人眼的视觉方式，从两个不同的角度对同一物体进行观察，从而获得同一物体不同角度的感知图像，然后再通过成像几何原理计算景物图像像素之间的视差，从而获得目标景物的三维信息。

双目立体匹配是双目立体视觉的关键步骤，其目的是得到图像对中像素一一对应的关系。20世纪80年代，美国麻省理工学院的Marr提出了一种视觉计算机理论并应用在双目匹配上，使两张有视差的平面图产生具有深度的立体图形，从而奠定了双目立体匹配技术发展的理论基础。随着双目立体匹配理论的不断发展，对双目立体匹配算法的优化是永无止境的。

双目立体匹配一般分为四个步骤，分别为：计算匹配代价，计算左右视图对应像素点的代价；匹配代价的聚合，通过叠加给定区域内的匹配代价来增强匹配的可靠性；计算视差，在一定的视差范围内寻找最优的匹配点；视差细化，通过后处理使视差结果更加精确。

Scharstein.D和Szeliski.R将双目立体匹配算法分为局部立体匹配算法和全局立体匹配算法。全局立体匹配算法主要是采用了全局的优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值。在其建立的能量函数中，除了数据项之外，还有平滑项。数据项主要是测量像素之间的相似性问题，而平滑项是平滑像素之间的视差关系，保证相邻像素之间视差的平滑性。一般认为，全局立体匹配算法得到的结果比较准确，但是其运行时间比较长，不适合实时运行。局部立体匹配算法主要是采用局部优化方法进行视差值估计，它利用匹配点和周围的点构成一个窗体，计算匹配点局部的信息支持，涉及信息量少，相应的计算复杂度较低，但是其对噪声较敏感，因为要求窗口内具有纹理特征，所以对弱纹理或重复纹理区域匹配效果不好，而且因为在窗口内，所有像素被认为具有相同的真实视差值，所以不适应深度变化剧烈的场景，另外窗口的大小也很难选择。

基于支持权重的方法能有效的解决上述局部立体匹配算法的这些问题，该方法给窗口内的每个点分配一个权重。权重的大小由周围的点和匹配点的相似度决定，相似度越大，相应点分配的权重越大。由于该方法合理利用了窗口内的特征信息，可以有效排除异常值，避免噪声干扰，为匹配代价的聚合提供可靠的信息。如Yoon.K.J和Kweon.I.S 2006年在国际电子与电气工程师协会模式分析与机器智能汇刊上发表的名为自适应支持权重的立体匹配方法，是通过计算窗口内点与中心点在物理空间和国际照明委员会制定的色度空间CIELAB的欧式距离来定义支持权重，然后根据权重计算左右视图对应窗口的相似度，寻找最优的匹配点。该方法为支持权重的定义提供了新的思路，但其不足是它所使用的物理空间的距离特征过于武断，缺少可靠性，导致在遮挡区域以及深度不连续区域仍存在明显的误匹配。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提供一种基于模糊支持权重的立体匹配方法，提高图像提取特征的可靠性，减小在遮挡区域以及深度不连续区域的误匹配。

本发明的技术方案是这样实现的：

一.技术原理

寻找合理的支持权重的计算方式，一直是立体匹配方法亟待解决的问题。模糊C均值聚类方法，由于其实现容易，聚类效果较好而被广泛应用于机器学习和图像分割等领域。考虑到模糊聚类可以得到每个像素点和每个类别的相似程度，为支持权重的计算提供更好的依据，模糊聚类在立体匹配上的应用吸引了很大一批学者的研究兴趣。本发明通过带权的模糊C均值聚类建立图像各点类属的不确定描述，以更客观的反应图像特征。它通过优化目标函数得到每个点对所有类中心的隶属度，使用每个点和中心点的隶属度向量的内积来定义支持权重。同时，除去物理空间距离信息，保留国际照明委员会制定的色度空间CIELAB的距离信息，构成新的支持权重的计算方式，以实现对权重可靠性的提高。

二.实现方案

根据上述技术原理，本发明的实现步骤包括如下：

(1)获取左右两幅视图，并计算在不同视差下左右视图的对应点在RGB空间下的欧式距离，作为点p的匹配代价TAD(p,p_d)：

其中p表示左视图上的点，p_d表示在左右两幅视图的视差d下点p在右图上的对应点，I_c(p)表示p点的RGB值，I_c(p_d)表示p_d点的RGB值，T表示截断值；

(2)对左右视图分别进行带权的模糊C均值聚类，得到所有像素点的隶属度U；

(3)分别以视图上每个像素点p作为中心点选取一个窗口W_p，计算窗口内每个点q对于中心点p的模糊支持权重w(q,p)；

(4)根据左右两幅视图的视差为d时，左视图上p点在右视图上对应点为p_d，左视图上窗口W_p在右图上对应窗口为W_pd的关系，叠加这两个窗口所有对应点的匹配代价，得到点p的总匹配代价C_d(p,p_d)：

其中w_l(q,p)表示q对中心点p的支持权重，w_r(q_d,p_d)表示q_d对中心点p_d的支持权重，q_d表示左视图点q在视差为d时右图上的对应点；

(5)根据总匹配代价C_d(p,p_d)，使用胜者为王WTA的方法选取最小匹配代价的视差值，作为点p的最优视差值d_p：

其中S_d＝{d_min,…,d_max}表示视差范围；

(6)分别获取左右视图上所有像素点的视差值，通过左右一致性检验LRC方法获取左右视图中视差值不一致的点，并选取与这些点相邻的左右视图视差值一致的点的视差值，替换这些点的视差值，最后对左视图上的像素点的视差值做中值滤波，完成对左右视图像素点的匹配。

本发明与现有技术相比，具有如下优点：

1)本发明在计算支持权重中加入了模糊的特征描述，可以对像素点类属进行客观描述，即：像素点属于每一类都有一个隶属度，增强了特征的可靠性。

2)本发明利用模糊的思想，通过计算两个隶属度的内积来衡量两个像素点的相似程度，能很好的解决类似立体匹配这种不确定问题；

3)本发明用模糊聚类的类属信息代替物理空间的距离信息，避免了权重计算的盲目性，使结果更加可靠准确。

附图说明

图1为本发明的实现流程图；

图2为本发明中对Middlebury测试数据进行带权的模糊C均值聚类后的结果图；

图3为用本发明与现有自适应权重立体匹配方法分别对Middlebury测试数据进行立体匹配结果对比图。

具体实施方式

下面结合附图对本发明的实施例和效果作进一步描述。

参照图1，本发明的实现步骤如下

步骤1，获取左右两幅视图，并计算在不同视差下左右视图对应点的匹配代价。

在Middlebury测试数据中获得左右两幅视图，当视差为d时，左视图上点p在右视图上的对应点为p_d，计算点p与p_d在RGB空间下的欧式距离，作为点p的匹配代价TAD(p,p_d)：

其中I_c(p)表示p点的RGB值，I_c(p_d)表示p_d点的RGB值，T表示截断值。

步骤2，对左右视图分别进行带权的模糊C均值聚类，得到每个像素点的隶属度。

用带权的模糊C均值聚类提取视图中像素点的特征，是要把视图中的像素点先分成c个类别，再通过优化目标函数得到像素点与每个类别的相似程度，即隶属度，其步骤如下：

(2a)提取左视图中每个像素点的灰度信息gray和位置信息(x,y)，构成每个像素点的三维特征，并对三维特征分配不同的权值；

(2b)将左视图中的n个像素点分为c类，通过优化模糊C均值聚类方法中的目标函数获得第i个像素点与第k类聚类中心的相似程度u_ik，得到左视图所有像素点的隶属度U_左i＝[u_i1,u_i2..u_ik..,u_ic]，k＝1,2,…,c，i＝1,2,…,n；

(2c)对右视图中的像素点进行(2a)与(2b)的同样操作，获得右视图所有像素点的隶属度U_右i＝[u_i1,u_i2..u_ik..,u_ic]。

步骤3，计算模糊支持权重。

分别以视图上每个像素点p作为中心点选取一个窗口W_p，计算窗口内每个点q对于中心点p的模糊支持权重，并为左右视图中的每个像素点选取一个窗口，计算窗口内的像素点对该点的模糊支持权重，其计算步骤如下：

(3a)计算点q隶属度与点p隶属度的内积，作为隶属度特征产生的支持权重

其中：U_q为q点的隶属度，U_p为p的隶属度；

(3b)计算点q与点p在国际照明委员会制定的色度空间CIELAB中的欧式距离，作为像素点的色度特征产生的支持权重

其中：I(q)为q点的色度值，I(p)为p点的色度值，γ_c表示调节参数，其取值根据视图中的纹理明显程度决定；

(3c)对像素点隶属度特征产生的支持权重和像素点的色度特征产生的支持权重进行融合，得到模糊支持权重：

步骤4，计算在不同视差下左右视图中对应窗口的总匹配代价。

根据左右两幅视图的视差为d时，左视图上p点在右视图上对应点为p_d，左视图上窗口W_p在右图上对应窗口为W_pd的关系，叠加这两个窗口所有对应点的匹配代价，得到点p的总匹配代价C_d(p,p_d)：

其中w_l(q,p)表示q对中心点p的支持权重，w_r(q_d,p_d)表示q_d对中心点p_d的支持权重，q_d表示左视图点q在视差为d时右图上的对应点。

步骤5，计算每个像素点的最优视差值。

根据总匹配代价C_d(p,p_d)，使用胜者为王WTA的方法选取最小匹配代价的视差值，作为点p的最优视差值d_p：

其中S_d＝{d_min,…,d_max}表示视差范围。

步骤6，优化左右视图上所有像素点的视差值。

(6a)分别获取左右视图上所有像素点的视差值，通过左右一致性检验LRC方法获取左右视图中视差值不一致的点，并选取与这些点相邻的左右视图视差值一致的点的视差值，替换这些点的视差值；

(6b)对左视图上的像素点的视差值做中值滤波，增强视差值的连续性，完成对左右视图像素点的匹配。

本发明的效果可以通过使用以下仿真实验进一步说明

1、仿真条件

本实例在Intel(R)Core(TM)i7-4790 3.60GHz、内存16G、Windows 7操作系统上，运用Microsoft Visual Studio 2010平台上，完成本发明仿真实验。

2、仿真内容

仿真1，用本发明对Middlebury测试数据使用带权的模糊C均值聚类，结果如图2，其中图2(a)列表示左视图的聚类结果，图2(b)列表示右视图的聚类结果。

由图2可以看出左右视图的聚类结果非常相近，可以准确地表示视图的特征。

仿真2，本发明和现有的自适应权重立体匹配方法在Middlebury测试数据中分别进行立体匹配，结果如图3，其中：

图3(a)列表示Middlebury测试数据中的左视图，视图的名称从上到下依次是Tsukuba、Venus、Teddy、Cones。

图3(b)列为用现有自适应权重立体匹配方法在Middlebury测试数据中得到的匹配结果，

图3(c)列为用本发明方法在Middlebury测试数据中得到的匹配结果，

图3(d)列表示Middlebury测试数据提供的准确匹配结果图。

对比两个方法的匹配结果，可以发现本发明在低纹理区域、遮挡区域、深度不连续区域的匹配效果都有明显的提高，说明模糊支持权重能有效的解决在低纹理区域和遮挡区域寻找匹配点的不确定性问题。

表1给出了两种方法在非遮挡区域、全图区域和深度不连续区域误匹配的百分比。

表1本发明与自适应权重立体匹配方法在不同区域的误匹配百分比

从表1可以发现，本发明在非遮挡区域、全图区域和深度不连续区域的误匹配百分比明显低于自适应权重立体匹配方法，说明本发明在不同区域有很强的适应性，匹配结果更好。

根据以上结果可得，本发明的方法实现简单，能提取可靠的像素的特征，提高寻找匹配点的准确率。

Claims (2)

1.一种基于模糊支持权重的立体匹配方法，包括：

(1)获取左右两幅视图，并计算在不同视差下左右视图的对应点在RGB空间下的欧式距离，作为点p的匹配代价TAD(p,p_d)：

其中p表示左视图上的点，p_d表示在左右两幅视图的视差d下点p在右视图上的对应点，I_c(p)表示p点的RGB值，I_c(p_d)表示p_d点的RGB值，T表示截断值；

(2)对左右视图分别进行带权的模糊C均值聚类，得到所有像素点的隶属度U；

(3)分别以视图上每个像素点p作为中心点选取一个窗口W_p，计算窗口内每个点q对于中心点p的模糊支持权重w(q,p)：

(3a)计算点q隶属度与点p隶属度的内积，作为隶属度特征产生的支持权重

其中：U_q为q点的隶属度，U_p为p的隶属度；

(3b)计算点q与点p在国际照明委员会制定的色度空间CIELAB中的欧式距离，作为像素点的色度特征产生的支持权重

其中：I(q)为q点的色度值，I(p)为p点的色度值，γ_c表示调节参数，其取值根据视图中的纹理明显程度决定；

(3c)对像素点隶属度特征产生的支持权重和像素点的色度特征产生的支持权重进行融合，得到模糊支持权重：

(4)根据左右两幅视图的视差为d时，左视图上p点在右视图上对应点为p_d，左视图上窗口W_p在右图上对应窗口为W_pd的关系，叠加这两个窗口所有对应点的匹配代价，得到点p的总匹配代价C_d(p,p_d)：

其中w_l(q,p)表示q对中心点p的支持权重，w_r(q_d,p_d)表示q_d对中心点p_d的支持权重，q_d表示左视图点q在视差为d时右图上的对应点；

(5)根据总匹配代价C_d(p,p_d)，使用胜者为王WTA的方法选取最小匹配代价的视差值，作为点p的最优视差值d_p：

其中S_d＝{d_min,…,d_max}表示视差范围；

(6)分别获取左右视图上所有像素点的视差值，通过左右一致性检验LRC方法获取左右视图中视差值不一致的点，并选取与这些点相邻的左右视图视差值一致的点的视差值，替换这些点的视差值，最后对左视图上的像素点的视差值做中值滤波，完成对左右视图像素点的匹配。

2.根据权利要求书1所述的方法，其特征在于，步骤(2)中对左右视图分别进行带权的模糊C均值聚类，按如下步骤进行：

(2a)提取左视图中每个像素点的灰度信息gray和位置信息(x,y)，构成每个像素点的三维特征，并对三维特征分配不同的权值；

(2b)将左视图中的n个像素点分为c类，通过优化模糊C均值聚类方法中的目标函数获得第i个像素点与第k类聚类中心的相似程度u_ik，得到左视图所有像素点的隶属度U_左i＝[u_i1,u_i2..u_ik..,u_ic]，k＝1,2,…,c，i＝1,2,…,n；

(2c)对右视图中的像素点进行(2a)与(2b)的同样操作，获得右视图所有像素点的隶属度U_右i＝[u_i1,u_i2..u_ik..,u_ic]。