CN103606162A

CN103606162A - 一种基于图像分割的立体匹配算法

Info

Publication number: CN103606162A
Application number: CN201310644184.0A
Authority: CN
Inventors: 郭太良; 姚剑敏; 叶芸; 林志贤; 徐胜; 钟德海
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2013-12-04
Filing date: 2013-12-04
Publication date: 2014-02-26

Abstract

本发明涉及一种基于图像分割的立体匹配算法，包括以下步骤：S01：采用mean-shift（均值分割）算法分别对左右彩色图像进行图像分割；S02：采用统计与绝对误差求和(SAD)相结合的匹配代价，利用大窗口匹配方法分别对左右彩色图像进行匹配，并对匹配精度高的种子点进行提取；S03：利用步骤S01中图像分割的结果，在各个区域内，根据区域内的平滑约束条件，利用小窗口匹配方法将步骤S02中得到的种子点扩散到整个区域；S04：对步骤S03得到的视差图进行填补；S05：最终得到稠密的视差图。本发明既能很好的对低纹理区域进行检测，又不会在视差不连续区域造成前景的膨胀。

Description

一种基于图像分割的立体匹配算法

技术领域

本发明涉及立体匹配算法领域，尤其是一种基于图像分割的立体匹配算法。

背景技术

近几十年来，立体匹配在越来越多现代化领域中占据了至关重要的地位，比如三维测量技术，3D电视技术，机器人视觉等，因此，立体匹配也是目前许多专家，学者研究的热点问题，已经有不少优秀的立体匹配算法被提出，并且也取得了不错的效果。但是在立体匹配过程中依然存在的不少问题。影响立体匹配精度的问题主要是低纹理区域的匹配和深度不连续问题。

由于在立体匹配过程中，低纹理区域是中的像素点没有明显的颜色或灰度变化，换句话说，低纹理区域中像素的灰度值方差趋近于0，很难根据颜色或者灰度找到其对应的匹配点的。很容易产出误匹配。对立体匹配的精度造成影响。

而深度不连续区域通常会造成遮挡，导致左图中的某些像素点在右图中是匹配不到的，同理，右边图像也存在像素点，在左图中也是匹配不到。由于像素点不是一一对应的，给立体匹配带来了巨大困难。如果采用图像中像素的颜色和灰度去计算匹配代价，将导致匹配发生错误。

对于低纹理区域，通常采用较大的窗口加权匹配的方法，会有比较好的效果，因为较大的窗口包含更多的匹配点周围的像素，在计算匹配点的匹配代价时，可以增加匹配点在低纹理区域的辨别能力，更好的抑制低纹理区域的影响。但采用较大的窗口又会在视差不连续区域造成前景的膨胀。

采用不同窗口处理不同区域中的匹配点，可以很好的解决这个问题，但是，同时又产生了一个问题，就是如何区分图像中的低纹理和视差不连续区域。

首先可以通过较大的窗口匹配算法对视差图进行匹配，并规定匹配代价的上限，如果像素点的匹配代价在限定的范围内，我们认为是可靠的视差点，这样我们可以将深度不连续区域和其他区域区分开来（因为不连续区域像素的缺失，导致匹配代价偏大）。然后，我们采用较小的窗口对剩余的像素进行匹配。采用小窗口在匹配过程中容易产生误差。

为了提高匹配精度，可以先将图像经行分割，将图像中具有相识性的区域进行划分。利用图像间的平滑条件对匹配点经行约束，从而提高匹配精度。在实际空间中，颜色相似的连续区域通常对应平滑表面，对彩色图像进行分割，可以认为分割块中的像素是连续的。图像分割的结果直接影响到后面视差图的估计，Mean-shift是一种迭代收敛割算法，在解决图像平滑和图像分割很有效，算法将图像分割。

发明内容

有鉴于此，针对立体匹配中出现的视差不连续造成匹配误差的问题，本发明的目的是提供一种基于图像分割的立体匹配算法，比传统的自适应匹配算法，视差不连续区域匹配误差降低10%左右。

本发明采用以下方案实现：一种基于图像分割的立体匹配算法，其特征在于，包括以下步骤：

S01：采用mean-shift算法分别对左右彩色图像进行图像分割；

S02：采用统计与绝对误差求和相结合的匹配代价，利用大窗口匹配方法分别对左右彩色图像进行匹配，并对匹配精度高的种子点进行提取；

S03：利用步骤S01中图像分割的结果，在各个区域内，根据区域内的平滑约束条件，利用小窗口匹配方法将步骤S02中得到的种子点扩散到整个区域；

S04：对步骤S03得到的视差图进行填补；

S05：最终得到稠密的视差图。

在本发明一实施例中，所述步骤S02中的大窗口匹配方法是利用15×15的大窗口分别对左右彩色图像进行匹配。

在本发明一实施例中，所述步骤S03中的扩散方法是采用4邻域的扩散方式。

在本发明一实施例中，所述步骤S04是采用前景补偿的方法进行填补剩余区域像素。

在本发明一实施例中，所述步骤S02中的绝对误差求和匹配代价公式为：C_SAD(x,y,d)=∑_{(i,j)∈N(x,y)}|p(i,j)-q(i+d,j)|，式中：N(x,y)为匹配矩形框的大小，d为图像的视差，p(i,j)为点(i,j)在左图像中的像素值，q(1+d,j)为点(1+d,j)在右图像中的像素值，C_SAD(x,y,d)为绝对误差求和匹配代价。

在本发明一实施例中，所述步骤S02中的统计匹配代价公式为：C_CENUS(x,y,d)=Ham{CT_L(x,y),CT_R(x+d,y)}，式中：CT_L为左图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；CT_R为右图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；Ham为CT_L(x,y)与CT_R(x+d,y)字节流的海明距离；C_CENUS(x,y,d)为统计匹配代价。

在本发明一实施例中，所述步骤S02中统计与绝对误差求和相结合的匹配代价公式为：C(x,y,d)=αC_SAD(x,y,d)+(1-α)C_CENUS(x,y,d)，式中：α是由C_SAD和C_CENUS线性叠加的权重因子，C(x,y,d)为统计与绝对误差求和相结合的匹配代价。

在本发明一实施例中，所述步骤S02中的种子点选取公式为：min(C(x,y,D_i))<M,i=0,1,2,3,…,D_max，式中：D_i为视差取值，它的范围从0到最大视差，M为种子点选取上限。

在本发明一实施例中，所述步骤S04中的填充公式为：d_occ=max(X_L,X_R)，式中：X_L为区域左边界像素视差，X_R为区域右边界像素视差，d_occ为填补的像素值。

本发明将图像分割成一个个视差连续的区域，利用区域内视差的平滑条件，以精度较高的点的视差为基准，缩小其他像素点的视差范围；采用较小的匹配窗，向其他区域进行扩散，最终得到完整的视差图。这样既能很好的对低纹理区域进行检测，又不会在视差不连续区域造成前景的膨胀。

为使本发明的目的、技术方案及优点更加清楚明白，以下将通过具体实施例和相关附图，对本发明作进一步详细说明。

附图说明

图1为本发明视差图求解流程图。

图2a为第一组原始立体图像对左图。

图2b为第一组原始立体图像对右图。

图3为种子点生长方向示意图。

图4为第一组本发明算法生成的视差图。

图5a为第二组原始立体图像对左图。

图5b为第二组原始立体图像对右图。

图6为第二组本发明算法生成的视差图。

图7a为第三组原始立体图像对左图。

图7b为第三组原始立体图像对右图。

图8为第三组本发明算法生成的视差图。

图9a为第四组原始立体图像对左图。

图9b为第四组原始立体图像对右图。

图10为第四组本发明算法生成的视差图。

具体实施方式

如图1所示，本发明提供一种基于图像分割的立体匹配算法，包括以下步骤：

S01：采用mean-shift（均值分割）算法分别对左彩色图像（如图2a、图5a、图7a和图9a所示的原始立体图像对左彩色图像）和右彩色图像（如图2b、图5b、图7b和图9b所示的原始立体图像对右彩色图像）进行图像分割；

S02：采用统计与绝对误差求和(SAD)相结合的匹配代价，利用大窗口匹配方法分别对左右彩色图像进行匹配，并对匹配精度高的种子点进行提取；

S04：对步骤S03得到的视差图进行填补；

S05：最终得到（如图4、图6、图8和图10所示的视差图）稠密的视差图。

优选的，所述步骤S02中的大窗口匹配方法是利用15×15的大窗口分别对左右彩色图像进行匹配；，所述步骤S03中的扩散方法是采用4邻域的扩散方式；所述步骤S04是采用前景补偿的方法进行填补剩余区域像素。

其中，所述步骤S02中的绝对误差求和(SAD)匹配代价公式为：C_SAD(x,y,d)=∑_{(i,j)∈N(x,y)}|p(i,j)-q(i+d,j)|，式中：N(x,y)为匹配矩形框的大小，d为图像的视差，p(i,j)为点(i,j)在左图像中的像素值，q(1+d,j)为点(1+d,j)在右图像中的像素值，C_SAD(x,y,d)为绝对误差求和匹配代价。

所述步骤S02中的统计匹配代价公式为：C_CENUS(x,y,d)=Ham{CT_L(x,y),CT_R(x+d,y)}，式中：CT_L为左图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；CT_R为右图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；Ham为CT_L(x,y)与CT_R(x+d,y)字节流的海明距离；C_CENUS(x,y,d)为统计匹配代价。

所述步骤S02中统计与绝对误差求和相结合的匹配代价公式（即本发明最终使用的像素匹配代价）为：C(x,y,d)=αC_SAD(x,y,d)+(1-α)C_CENUS(x,y,d)，式中：α是由C_SAD和C_CENUS线性叠加的权重因子，C(x,y,d)为统计与绝对误差求和相结合的匹配代价（像素匹配代价）。

所述步骤S02中的种子点选取公式为：min(C(x,y,D_i))<M,i=0,1,2,3,…,D_max，式中：D_i为视差取值，它的范围从0到最大视差，M为种子点选取上限，M取值需要保证种子点的数量大于图像的40%。

如图3所示，图3中灰色区域表示种子点，按照图3的扩散的方法将区域内所有的种子点向邻域扩散，然后在以邻域上的点，向对应的邻域扩散，直到填满整个区域。所述步骤S04中的填充公式为：d_occ=max(X_L,X_R)，式中：X_L为区域左边界像素视差，X_R为区域右边界像素视差，d_occ为填补的像素值。

上列较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于图像分割的立体匹配算法，其特征在于，包括以下步骤：

S01：采用mean-shift算法分别对左右彩色图像进行图像分割；

S04：对步骤S03得到的视差图进行填补；

S05：最终得到稠密的视差图。

2.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S02中的大窗口匹配方法是利用15×15的大窗口分别对左右彩色图像进行匹配。

3.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S03中的扩散方法是采用4邻域的扩散方式。

4.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S04是采用前景补偿的方法进行填补剩余区域像素。

5.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S02中的绝对误差求和匹配代价公式为：C_SAD(x,y,d)=∑_{(i,j)∈N(x,y)}|p(i,j)-q(i+d,j)|，式中：N(x,y)为匹配矩形框的大小，d为图像的视差，p(i,j)为点(i,j)在左图像中的像素值，q(1+d,j)为点(1+d,j)在右图像中的像素值，C_SAD(x,y,d)为绝对误差求和匹配代价。

6.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S02中的统计匹配代价公式为：C_CENUS(x,y,d)=Ham{CT_L(x,y),CT_R(x+d,y)}，式中：CT_L为左图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；CT_R为右图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；Ham为CT_L(x,y)与CT_R(x+d,y)字节流的海明距离；C_CENUS(x,y,d)为统计匹配代价。

7.根据权利要求5所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S02中的统计匹配代价公式为：C_CENUS(x,y,d)=Ham{CT_L(x,y),CT_R(x+d,y)}，式中：CT_L为左图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；CT_R为右图像比特流，表示点(x,y)与周围像素之间亮度的大小关系，如果(x,y)点的像素的亮度大于周围的像素则取1，反之则取0；Ham为CT_L(x,y)与CT_R(x+d,y)字节流的海明距离；C_CENUS(x,y,d)为统计匹配代价。

8.根据权利要求7所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S02中统计与绝对误差求和相结合的匹配代价公式为：C(x,y,d)=αC_SAD(x,y,d)+(1-α)C_CENUS(x,y,d)，式中：α是由C_SAD和C_CENUS线性叠加的权重因子，C(x,y,d)为统计与绝对误差求和相结合的匹配代价。

9.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S02中的种子点选取公式为：min(C(x,y,D_i))<M,i=0,1,2,3,…,D_max，式中：D_i为视差取值，它的范围从0到最大视差，M为种子点选取上限。

10.根据权利要求1所述的一种基于图像分割的立体匹配算法，其特征在于：所述步骤S04中的填充公式为：d_occ=max(X_L,X_R)，式中：X_L为区域左边界像素视差，X_R为区域右边界像素视差，d_occ为填补的像素值。