CN102708379A - 一种立体视觉的遮挡像素分类算法 - Google Patents

Abstract

公开一种立体视觉的遮挡像素分类算法，以基准图像中的像素为基准，在参照图像中寻找匹配点，形成视差图，并列出为遮挡像素点，然后执行一下步骤：1：在所述的基准图像中，选定所述的遮挡像素点相邻左端的连续匹配成功的像素区域作为第一样本集，并计算该样本集的平均视差；选定相邻右端的连续匹配成功的像素区域作为的第二样本集,并计算该样本集的平均视差；2：围绕遮挡像素点选取相邻的遮挡像素点，构成遮挡像素集，并计算该遮挡像素集的像素均值；3：以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一像素集的平均欧式距离和与所述的第二像素集的平均欧式距离；4：根据平均欧式距离的大小，确定所述的遮挡像素点的视差值。

Description

一种立体视觉的遮挡像素分类算法

技术领域

本发明涉及一种立体视觉的遮挡像素分类算法，属于计算机立体视觉领域。

背景技术

图像匹配是立体视觉中恢复三维信息的关键环节。在图像匹配过程中，由于左右视角所限形成了遮挡区域，左图像中物体的左边界区域往往在右图像中找不到对应点，同时右图像的右边界区域在左图像中找不到对应点，以及图像的噪声也会导致图像匹配失败。由于这些因素使像素匹配失败，不能获得有效的视差值和深度信息。目前常用的处理办法是直接将匹配失败点的视差值直接等于邻近像素的视差值。那么这种方法明显存在弊端，就是在边界位置，也即使在视差值发生突变的位置，匹配失败点的视差值误差有可能会很大。

发明内容

本发明的目的是为了解决上述的视差计算问题，提出一种立体视觉的遮挡像素分类算法，该算法基于相似性原理，将匹配失败点进行相似性比较，其视差值等于与之最为相似的像素区域的视差值。

本发明解决其技术问题所采用的技术方案是： 

一种立体视觉的遮挡像素分类算法，以基准图像f _B(i, j)中的像素为基准，在参照图像f _C(i, j)中寻找匹配点，形成视差图d(i, j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m, j)，其中，0≤i< M，0≤j< N，0<m< M，系数M为图像的像素宽度，系数N为图像的像素高度，包括以下步骤：

（1）在所述的基准图像f _B(i, j)中，选定所述的遮挡像素点O(m, j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n,j), n<m},计算所述的第一样本集的视差均值D1=                                                 d(n,j)/K；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l,j),m<l<M},计算所述的第二样本集的视差均值D2=∑d(l,j)/K,其中，系数K为所述的第一样本集和第二样本集的像素个数；

（2）围绕所述的遮挡像素点O(m, j)取相邻的遮挡像素点，构成遮挡像素集{ O(m, j),O(m±1, j),O(m, j±1)}，计算所述的遮挡像素集的像素均值为[f _B(m, j)+ f _B(m+1, j)+ f _B(m-1, j)+ f _B(m, j+1)+ f _B(m, j-1)]/5;

（3）以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一像素集的平均欧式距离L1和与所述的第二像素集的平均欧式距离L2；

（4）根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m, j)的视差值：当L1>L2时，d(m, j)=D2；当L1<L2时，d(m, j)=D1。

对于灰度图像，所述的平均欧式距离L1=

[ f _B(n, j)- f _B(m, j)/5- f _B(m+1, j)/5- f _B(m-1, j)/5- f _B(m, j+1)/5- f _B(m, j-1)/5]/K。

对于灰度图像，所述的平均欧式距离L2=

[ f _B(l, j)- f _B(m, j)/5- f _B(m+1, j)/5- f _B(m-1, j)/5- f _B(m, j+1)/5- f _B(m, j-1)/5]/K。

对于彩色图像，所述的基准图像f _B(i, j)为多维函数f _B(i, j)=(R_B(i, j),G_B(i, j),B_B(i, j))，所述的遮挡像素集的像素均值为(α(m, j), β(m, j), θ(m, j))= ( R_B(m, j)/5+R_B(m+1, j)/5+R_B(m-1, j)/5+R_B(m, j+1)/5+R_B(m, j-1)/5, G_B(m, j) /5+ G _B(m+1, j) /5+G_B(m-1, j) /5+G_B(m, j+1) /5+G_B(m, j-1) /5, B_B(m, j) /5+B_B(m+1, j) /5+B_B(m-1, j) /5+B_B(m, j+1) /5+B_B(m, j-1)/5)，所述的平均欧式距离L1 = /K。

对于彩色图像，所述的平均欧式距离L2 = 

/K。

附图说明

图1是遮挡区域示意图；

图2是遮挡像素分类算法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1－2，一种立体视觉的遮挡像素分类算法，以基准图像f _B(i, j)中的像素为基准，在参照图像f _C(i, j)中寻找匹配点，形成视差图d(i, j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m, j)，其中，0≤i< M，0≤j< N，0<m< M，系数M为图像的像素宽度，系数N为图像的像素高度，该遮挡像素分类算法包括以下步骤：

（1）在所述的基准图像f _B(i, j)中，选定所述的遮挡像素点O(m, j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n,j), n<m},计算所述的第一样本集的视差均值D1=

d(n,j)/K；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l,j),m<l<M},计算所述的第二样本集的视差均值D2=∑d(l,j)/K,其中，系数K为所述的第一样本集和第二样本集的像素个数。

其中，所述的系数K为经验系数，也可以将所述的系数K设置为按比例根据所述的系数M动态调整，这样可以适应不同的相机分辨率。所述的第一样本集和第二样本集与所述的遮挡像素点O(m, j)相邻，与所述的遮挡像素点O(m, j)的视差值与所述的第一样本集或者第二样本集的视差值最为接近。因此，只需要确定所述的遮挡像素点O(m, j)与所述的第一样本集更为相似，还是与第二样本集更为相似，从而确定所述的遮挡像素点O(m, j)的视差值。

（2）围绕所述的遮挡像素点O(m, j)取相邻的遮挡像素点，构成遮挡像素集{ O(m, j),O(m±1, j),O(m, j±1)}，计算所述的遮挡像素集的像素均值为[f _B(m, j)+ f _B(m+1, j)+ f _B(m-1, j)+ f _B(m, j+1)+ f _B(m, j-1)]/5。

       在步骤（2）中，围绕所述的遮挡像素点O(m, j)取多个遮挡像素点组成一个集合，并取平均值作为后续比较的依据，这样可以避免单个像素由于噪声或者图案的原因导致比较结果错误。

（3）以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一像素集的平均欧式距离L1和与所述的第二像素集的平均欧式距离L2。

在步骤（3），欧式距离计算，存在两种情况：

第一种情况：基准图像f _B(i, j)和参照图像f _C(i, j)为灰度图像。

所述的平均欧式距离L1=

[ f _B(n, j)- f _B(m, j)/5- f _B(m+1, j)/5- f _B(m-1, j)/5- f _B(m, j+1)/5- f _B(m, j-1)/5]/K。

所述的平均欧式距离L2=

[ f _B(l, j)- f _B(m, j)/5- f _B(m+1, j)/5- f _B(m-1, j)/5- f _B(m, j+1)/5- f _B(m, j-1)/5]/K。

第二种情况：基准图像f _B(i, j)和参照图像f _C(i, j)为彩色图像，包括了R、G、B信息，为多维函数。所述的基准图像f _B(i, j)为多维函数f _B(i, j)=(R_B(i, j),G_B(i, j),B_B(i, j))，则所述的遮挡像素集的像素均值为(α(m, j), β(m, j), θ(m, j))= ( R_B(m, j)/5+R_B(m+1, j)/5+R_B(m-1, j)/5+R_B(m, j+1)/5+R_B(m, j-1)/5, G_B(m, j) /5+ G _B(m+1, j) /5+G_B(m-1, j) /5+G_B(m, j+1) /5+G_B(m, j-1) /5, B_B(m, j) /5+B_B(m+1, j) /5+B_B(m-1, j) /5+B_B(m, j+1) /5+B_B(m, j-1)/5)。

所述的平均欧式距离L1 = 

/K。

对于彩色图像，所述的平均欧式距离L2 = 

/K。

（4）根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m, j)的视差值：当L1>L2时，d(m, j)=D2；当L1<L2时，d(m, j)=D1。

如果所述的平均欧式距离L1大于所述的平均欧式距离L2，则所述的遮挡像素点O(m, j)更有可能属于第二样本集，因此d(m, j)=D2；所述的遮挡像素点O(m, j)更有可能属于第一样本集，因此d(m, j)=D1。

综上所述，本发明根据最大相似性原则，通过对遮挡像素点归类的方法获得其视差值，这样可以将遮挡像素视差的计算错误降到最低，并且以遮挡像素点为中心构造像素块，以像素块的平均值作为归类比较的参数，避免由于噪声或者图案的原因对分类对产生影响。

Claims (5)

1.一种立体视觉的遮挡像素分类算法，以基准图像f _B(i, j)中的像素为基准，在参照图像f _C(i, j)中寻找匹配点，形成视差图d(i, j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m, j)，其中，0≤i< M，0≤j< N，0<m< M，系数M为图像的像素宽度，系数N为图像的像素高度，其特征在于：包括以下步骤：

（1）在所述的基准图像f _B(i, j)中，选定所述的遮挡像素点O(m, j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n,j), n<m},计算所述的第一样本集的视差均值D1=                                                

d(n,j)/K；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l,j),m<l<M},计算所述的第二样本集的视差均值D2=∑d(l,j)/K,其中，系数K为所述的第一样本集和第二样本集的像素个数；

（2）围绕所述的遮挡像素点O(m, j)取相邻的遮挡像素点，构成遮挡像素集{ O(m, j),O(m±1, j),O(m, j±1)}，计算所述的遮挡像素集的像素均值为[f _B(m, j)+ f _B(m+1, j)+ f _B(m-1, j)+ f _B(m, j+1)+ f _B(m, j-1)]/5;

（3）以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一像素集的平均欧式距离L1和与所述的第二像素集的平均欧式距离L2；

（4）根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m, j)的视差值：当L1>L2时，d(m, j)=D2；当L1<L2时，d(m, j)=D1。

2.如权利要求1所述的一种立体视觉的遮挡像素分类算法，其特征在于：对于灰度图像，所述的平均欧式距离L1=

[ f _B(n, j)- f _B(m, j)/5- f _B(m+1, j)/5- f _B(m-1, j)/5- f _B(m, j+1)/5- f _B(m, j-1)/5]/K。

3.如权利要求1所述的一种立体视觉的遮挡像素分类算法，其特征在于：对于灰度图像，所述的平均欧式距离L2=

[ f _B(l, j)- f _B(m, j)/5- f _B(m+1, j)/5- f _B(m-1, j)/5- f _B(m, j+1)/5- f _B(m, j-1)/5]/K。

4.如权利要求1所述的一种立体视觉的遮挡像素分类算法，其特征在于：对于彩色图像，所述的基准图像f _B(i, j)为多维函数f _B(i, j)=(R_B(i, j),G_B(i, j),B_B(i, j))，所述的遮挡像素集的像素均值为(α(m, j), β(m, j), θ(m, j))= ( R_B(m, j)/5+R_B(m+1, j)/5+R_B(m-1, j)/5+R_B(m, j+1)/5+R_B(m, j-1)/5, G_B(m, j) /5+ G _B(m+1, j) /5+G_B(m-1, j) /5+G_B(m, j+1) /5+G_B(m, j-1) /5, B_B(m, j) /5+B_B(m+1, j) /5+B_B(m-1, j) /5+B_B(m, j+1) /5+B_B(m, j-1)/5)，所述的平均欧式距离L1 = 

/K。

5.如权利要求1所述的一种立体视觉的遮挡像素分类算法，其特征在于：对于彩色图像，所述的平均欧式距离L2 = 

/K。

Images