CN102129567A - 一种基于色彩分割和自适应窗口的快速立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于色彩分割和自适应窗口的快速立体匹配方法，包括以下步骤：（1）构造基于色彩分割的匹配代价；（2）构造基于自适应窗口的匹配代价；（3）构造基于色彩分割和自适应窗口的联合匹配代价；（4）采用局部优化方法优化联合匹配代价，获得稠密视差图。本发明不仅可以提高视差不连续区域和低纹理区域的匹配精度，而且获得的视差与当前主流算法具有可比性。此外，所提方法的处理时间较之当前优秀的局部方法提高了约19～35倍，兼顾了匹配精度和速度。

Description

一种基于色彩分割和自适应窗口的快速立体匹配方法

技术领域

本发明涉及立体视觉系统中的立体匹配方法，属于计算机视觉领域，主要是应用于快速获得高精度稠密视差信息，从而为基于立体视觉的三维信息恢复提供基础。

背景技术

立体匹配是计算机视觉领域中的一个重要任务，它通过双目或多目图像匹配得到视差图，从而感知场景中的三维深度信息。国内外许多学者对这个领域进行了深入研究。其中，局部立体匹配算法有效率高且易于实现，但其一直存在如何自适应确定支持窗口的大小和形状的问题，导致其难以达到较高的匹配精度。许多学者针对这一问题，提出了不少具有代表性的局部匹配方法，改进后的局部算法总体上可以分为两类：

第一类方法集中于在预先给定的多个窗口中选择最优窗口作为支持窗口，或是逐点的自适应选取支持窗口的大小和形状。这些方法在一定程度上提高了图像中不易匹配区域的视差精度，抑制了前景放大现象(Foreground Fattening Effect)，但是由于支持窗口的形状固定或被限制，缺乏灵活性，所以很难适应多变的图像结构，误匹配率仍然较高，视差边缘也不够清晰。

第二类方法主要是基于对已确定大小和形状的支持窗口内的像素进行加权的思想。这些方法根据给定窗口内各像素点与待匹配像素点间的色彩和几何关系提出了一种自适应权值的方法，可以有效的构造匹配代价，使得匹配的歧义性大大减少，得到的视差结果可以和全局优化结果媲美，但该方法计算复杂，运算开销大，无法体现局部算法高效的优点。

发明内容

针对以上两类局部匹配方法很难兼顾匹配精度和速度的不足，本发明提出了一种基于色彩分割和自适应窗口的联合匹配代价，以实现匹配精度和速度的平衡，在保证精度的前提下，满足实施的快速性

本发明是采取以下的技术方案来实现的：

一种基于色彩分割和自适应窗口的快速立体匹配方法其特征在于包括以下步骤：

(1)构造基于色彩分割的匹配代价；

(2)构造基于自适应窗口的匹配代价；

(3)构造基于色彩分割的匹配代价和自适应窗口的联合匹配代价；

(4)采用局部优化方法优化联合匹配代价，获得稠密视差图。

前述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于：所述的基于色彩分割的匹配代价是根据视差在同一色彩分割区域内平滑变化的思想构造。为了获得任意形状和大小的支持区域，分别对目标图像和参考图像进行Mean Shift色彩分割，并利用该支持区域得到参考图像中基于色彩分割的匹配代价，可以表示为：

$C_s(p,q,d)=\underset{p_i\∈S_p}{\mathrm{\Σ}}\min (\mathrm{\δ}(p_i,q_{i,d}),T_r)---\left(1\right)$

式(1)中p∈I_r和q∈I_t是在视差假设为d下的一对匹配点，I_r和I_t分别表示参考图像和目标图像，S_p是p在参考图像中的色彩分割区域。δ(p，q)为p和q在RGB彩色空间中的距离，T_r表示一个固定的阈值，p_i为S_p内的任意一个像素，i为其编号。

前述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于所述的基于自适应窗口的匹配代价是根据视差一致性的思想构造。在RGB色彩空间中，通过由窗口内的平均匹配误差、误差方差及较大窗口的偏向误差构成的窗口选择评价函数选择最优的自适应矩形窗口，并利用该支持区域得到基于自适应窗口的匹配代价。

前述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于所述的联合匹配代价是基于色彩分割假设和视差一致性假设的约束，由基于色彩分割的匹配代价和基于自适应窗口的匹配代价有机结合而构成，可以表示为：

$C_{\mathrm{aggr}}(p,q,d)=\frac{C_{\mathrm{sr}}(p,q,d)}{n\left(S_p\right)}+\frac{C_{\mathrm{st}}(p,q,d)}{n\left(S_q\right)}+k\·\frac{C_w(p,q,d)}{\left|W_p\right|}---\left(2\right)$

式(2)中C_aggr(p，q，d)为联合匹配代价，C_sr(p，q，d)为基于参考图像的色彩分割的匹配代价，C_st(p，q，d)为基于目标图像的色彩分割的匹配代价，C_w(p，q，d)为基于自适应窗口的匹配代价，k为基于自适应窗口匹配代价的权值，Wp为p的自适应窗口，S_p是p在参考图像中的色彩分割区域，S_q是q在目标图像中的色彩分割区域，n(S_p)和n(S_q)分别为色彩分割区域S_p和S_q的大小。

前述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于采用了积分图像方法加速了自适应窗口选择和匹配代价的计算速度。

前述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于将灰度空间拓展至RGB彩色空间以构造基于自适应窗口的匹配代价。

至此，基于色彩分割和自适应窗口的快速立体匹配方法执行完毕。

本发明专利的有益效果是：解决了现有立体局部匹配方法难以兼顾匹配精度和速度的不足问题，实现了立体视觉系统中快速获得高精度稠密视差图的方法。

附图说明

图1为本发明的算法流程图。

具体实施方式

下面结合附图和实例对本发明专利进一步说明。

如图1所示，一种基于色彩分割和自适应窗口的快速立体匹配方法包括以下步骤：

第一步，在某一视差假设d下，计算对应匹配像素的初始匹配代价δ(p，q)：

δ(p，q)＝|R_p-R_q|+|G_p-G_q|+|B_p-B_q|                (1)

式(1)中，p∈I_r和q∈I_t是在视差假设d下的一对匹配点。

第二步，利用Mean Shift算法分割参考图像和目标图像，分别构造视差d下对应匹配点p和q基于参考图像色彩分割的匹配代价C_sr和基于目标图像色彩分割的匹配代价C_st：

$C_{\mathrm{sr}}(p,q,d)=\underset{p_i\∈S_p}{\mathrm{\Σ}}\min (\mathrm{\δ}(p_i,q_{i,d}),T_r)---\left(2\right)$

$C_{\mathrm{st}}(p,q,d)=\underset{q_i\∈S_p}{\mathrm{\Σ}}\min (\mathrm{\δ}(p_{i,d},q_i),T_r)---\left(3\right)$

式(2)(3)中p_i＝q_i，d-d，q_i＝p_i，d+d，T_r表示一个固定的阈值，算法中取35，S_p是p在参考图像中的色彩分割区域，S_q是q在目标图像中的色彩分割区域。在Mean Shift色彩算法中，空域带宽h_s＝10，色彩域带宽h_r＝7，最小分割区域M＝30。

由假设可知，色彩突变总是伴随着深度边界出现，因此利用基于色彩分割的匹配代价C_sr和C_st能够显著提高图像中视差不连续区域的匹配精度，抑制前景放大现象；而图像中低纹理部分一般具有较大的分割区域，因此基于色彩分割的匹配代价C_sr和C_st能在低纹理区域获得较高的信噪比，增强算法的鲁棒性。

第三步，根据视差一致性假设，构造基于可变矩形窗口的匹配代价C_w。其中窗口选择的评价选择如下：

$E_d\left(W\right)=\stackrel{\‾}{\mathrm{\δ}}+\mathrm{\α}\·\mathrm{var}\left(\mathrm{\δ}\right)+\frac{1}{\sqrt{\left|W\right|}}---\left(4\right)$

式(4)中，第一项是窗口内像素点的误差均值，其含义可以理解为，窗口内像素的视差越接近，误差均值越小；第二项是窗口内的误差方差，引入这一项的原因是窗口内像素视差接近时不仅误差均值较小而且误差方差也很小。因此，误差方差的引入可以进一步确保窗口选择的可靠性。第三项是为让窗口选择评价函数对大尺寸的窗口具有偏向性。|W|为窗口的大小，α、β及γ为比例系数。

在视差假设d下，选择具有最小E_d(W)的窗口作为自适应窗口，定义基于自适应窗口的匹配代价为：

$C_w(p,q,d)=\underset{p_i\∈W_p}{\mathrm{\Σ}}\min (\mathrm{\δ}(p_i,q_{i,d}),T_r)---\left(5\right)$

式(5)中Wp为p的自适应窗口。

在计算效率上，由于积分图像的应用，对任意匹配代价C_w均可通过独立于窗口大小的有限次加减运算得到。

第四步，根据上述色彩分割假设和视差一致性假设的约束，联合匹配代价C_aggr可以构造为：

$C_{\mathrm{aggr}}(p,q,d)=\frac{C_{\mathrm{sr}}(p,q,d)}{n\left(S_p\right)}+\frac{C_{\mathrm{st}}(p,q,d)}{n\left(S_q\right)}+k\·\frac{C_w(p,q,d)}{\left|W_p\right|}---\left(6\right)$

式(6)中，k为基于自适应窗口匹配代价的权值，k＝0.2。考虑到自适应窗口会随着视差假设d而变化，利用|W_p|对匹配代价C_w进行归一化；同时，为了保证两项匹配代价具有可比性，用n(S_p)对匹配代价C_s也进行了归一化。

第五步，采用局部优化方法优化联合匹配代价，获得稠密视差图。

综上所述，针对现有立体匹配算法难以兼顾匹配精度和速度的不足，本发明提出了一种基于色彩分割和自适应窗口的快速匹配方法。实验结果表明，本方法不仅可以提高视差不连续区域和低纹理区域的匹配精度，而且获得的视差与当前主流算法具有可比性。此外，所提算法的处理时间较之当前优秀的局部方法提高了约19～35倍。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用等同替换或等效变换的方式所获得的技术方案均落在本发明的保护范围。

Claims (6)

1.一种基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于包括以下步骤：

(1)构造基于色彩分割的匹配代价；

(2)构造基于自适应窗口的匹配代价；

(3)构造基于色彩分割和自适应窗口的联合匹配代价；

(4)采用局部优化方法优化联合匹配代价，获得稠密视差图。

2.根据权利要求1所述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于：在所述步骤1)中，为了获得任意形状和大小的支持区域，分别对目标图像和参考图像进行Mean Shift色彩分割，并利用该支持区域得到参考图像中基于色彩分割的匹配代价，可以表示为：

$C_s(p,q,d)=\underset{p_i\∈S_p}{\mathrm{\Σ}}\min (\mathrm{\δ}(p_i,q_{i,d}),T_r)---\left(1\right)$

式(1)中p∈I_r和q∈I_t是在视差假设为d下的一对匹配点，I_r和I_t分别表示参考图像和目标图像，S_p是p在参考图像中的色彩分割区域，δ(p，q)为p和q在RGB彩色空间中的距离，T_r表示一个固定的阈值，p_i为S_p内的任意一个像素，i为其编号。

3.根据权利要求1所述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于：在所述步骤2)中，在RGB色彩空间中，通过由窗口内的平均匹配误差、误差方差及较大窗口的偏向误差构成的窗口选择评价函数选择最优的自适应矩形窗口，并利用该支持区域得到基于自适应窗口的匹配代价。

4.根据权利要求1所述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于：在所述步骤3)中，所述的联合匹配代价是基于色彩分割假设和视差一致性假设的约束，由基于色彩分割的匹配代价和基于自适应窗口的匹配代价有机结合而构成，可以表示为：

$C_{\mathrm{aggr}}(p,q,d)=\frac{C_{\mathrm{sr}}(p,q,d)}{n\left(S_p\right)}+\frac{C_{\mathrm{st}}(p,q,d)}{n\left(S_q\right)}+k\·\frac{C_w(p,q,d)}{\left|W_p\right|}---\left(2\right)$

式(2)中C_aggr(p，q，d)为联合匹配代价，C_sr(p，q，d)为基于参考图像的色彩分割的匹配代价，C_st(p，q，d)为基于目标图像的色彩分割的匹配代价，C_w(p，q，d)为基于自适应窗口的匹配代价，k为基于自适应窗口匹配代价的权值，W_p为p的自适应窗口，S_p是p在参考图像中的色彩分割区域，S_q是q在目标图像中的色彩分割区域，n(S_p)和n(S_q)分别为色彩分割区域S_p和S_q的大小。

5.根据权利要求3所述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于：采用积分图像方法加速自适应窗口选择和匹配代价的计算速度。

6.根据权利要求3所述基于色彩分割和自适应窗口的快速立体匹配的方法，其特征在于：将灰度空间拓展至RGB彩色空间以构造基于自适应窗口的匹配代价。

Images