CN102567992A - 遮挡区域的图像匹配方法 - Google Patents

Abstract

公开一种遮挡区域的图像匹配方法，属于图像匹配技术领域。包括步骤：S1：以基准图像中的像素为基准，在参照图像中寻找匹配点，形成视差图，并列出为遮挡像素点；S2：在所述的基准图像中，选定所属的遮挡像素点相邻左端的连续匹配成功的像素区域作为第一样本集；选定相邻右端的连续匹配成功的像素区域作为的第二样本集，样本集的像素个数为系数K；S3：计算所述的遮挡像素点与所述的第一像素集的平均欧式距离L1和所述的第二像素集的平均欧式距离L2；S4：根据平均欧式距离的大小，确定所述的遮挡像素点的视差。本发明将遮挡像素点与两侧像素块进行相似性比较，将遮挡像素点的视差值等于相似像素块的平均视差值，从而解决遮挡区域的图像匹配问题。

Description

遮挡区域的图像匹配方法

技术领域

本发明涉及一种遮挡区域的图像匹配方法，属于计算机立体视觉领域。

背景技术

人眼在观察世界的时候，成像在双眼的图像是不同的，即左右眼会存在一个视差，而大脑神经就会根据这个视差来感觉立体影像。计算机立体视觉正是基于这个原理进行场景及研究对象的三维恢复，并模仿人眼建立平行光轴的摄像机系统，称为双目视觉系统。双目视觉系统是通过两个摄像机分别对同一场景从不同角度获得的图像来恢复被摄场景的三维信息的。

图像匹配是立体视觉中恢复三维信息最关键的环节，而由于左右视角所限，左图像中物体的左边界区域往往在右图像中找不到对应点，同时右图像的右边界区域在左图像中找不到对应点，这种边界遮挡区域的计算还是非常困难的，但是又是一个不可忽视、必须解决的问题。对于大景深的场合，边界遮挡区域相对较小，近似地处理为前景或者后景所产生的误差对工作影响不大，比如大环境下移动机器人的视觉导航。但是，对于近距离测量和高精度测量，边界遮挡区域所带来的误差是不允许的。

现有的解决方案仍存在的局限性，解决问题思路局限于基于视差图寻找遮挡区域，并从中计算遮挡区域的视差，其直接结果是遮挡区域被主观地背景化、前景化或者被插值处理。对于一些简单的应用，上述处理可以满足实际要求，但是对于更多应用场合，前景物体距离较近，存在较大区域的遮挡，而背景相对前景物体距离较大，在这种情况下，上述方法就会将前景物体侧面的部分区域与背景融合造成较大误差。

发明内容

本发明的目的是为了解决计算机立体视觉中遮挡区域的视差计算问题，基于成熟图像匹配方法的基础上，利用原始图像中灰度或者颜色信息，实现遮挡区域像素视差值的正确计算。

本发明解决其技术问题所采用的技术方案是：

遮挡区域的图像匹配方法，包括以下步骤：

S1：以基准图像f_B(i，j)中的像素为基准，在参照图像f_C(i，j)中寻找匹配点，形成视差图d(i，j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m，j)，其中，0≤i＜M，0≤j＜N，0≤m＜M，系数M为图像的宽度，系数N为图像的高度；

S2：在所述的基准图像f_B(i，j)中，选定所述的遮挡像素点O(m，j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n，j)，0＜n＜m}；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l，j)，m＜l＜M}，所述的第一样本集和第二样本集的像素个数为系数K；

S3：计算所述的遮挡像素点O(m，j)与所述的第一像素集的平均欧式距离L1和所述的遮挡像素点O(m，j)与所述的第二像素集的平均欧式距离L2；

S4：根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m，j)的视差值。

所述的步骤S1中，所述的基准图像f_B(i，j)为左视图像，所述的参照图像f_C(i，j)为右视图像。

所述的步骤S1中，所述的基准图像f_B(i，j)为右视图像，所述的参照图像f_C(i，j)为左视图像。

所述的步骤S2中，所述的系数K为经验系数。

所述的步骤S2中，所述的系数K设置为按比例根据所述的系数M动态调整。

对于灰度图像，所述的平均欧式距离 $L1=\frac{\underset{n}{\mathrm{\Σ}}|f_B(n,j)-f_B(m,j)|}{K}.$

对于灰度图像，所述的平均欧式距离 $L2=\frac{\underset{l}{\mathrm{\Σ}}|f_B(l,j)-f_B(m,j)|}{K}.$

对于彩色图像，所述的基准图像f_B(i，j)为多维函数f_B(i，j)＝{R_B(i，j)，G_B(i，j)，B_B(i，j)}，所述的平均欧式距离 $L1=\frac{\underset{n}{\mathrm{\Σ}}\sqrt{{(R_B(n,j)-R_B(m,j))}^2+{(G_B(n,j)-G_B(m,j))}^2+{(B_B(n,j)-B_B(m,j))}^2}}{K}.$

对于彩色图像，所述的平均欧式距离 $L2=\frac{\underset{l}{\mathrm{\Σ}}\sqrt{{(R_B(l,j)-R_B(m,j))}^2+{(G_B(l,j)-G_B(m,j))}^2+{(B_B(l,j)-B_B(m,j))}^2}}{K}.$

如果所述的平均欧式距离L1小于所述的平均欧式距离L2，则所述的遮挡像素点O(m，j)的视差值等于所述的第一样本集{x(n，j)，0＜n＜m}的平均视差值

如果所述的平均欧式距离L1大于所述的平均欧式距离L2，则所述的遮挡像素点O(m，j)的视差值等于第二样本集{y(l，j)，m＜l＜M}的平均视差值

附图说明

图1是遮挡区域示意图；

图2是遮挡区域的图像匹配方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1-2，遮挡区域的图像匹配方法，其特征在于：该方法包括以下步骤：

步骤S1：以基准图像f_B(i，j)中的像素为基准，在参照图像f_C(i，j)中寻找匹配点，形成视差图d(i，j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m，j)，其中，0≤i＜M，0≤j＜N，0≤m＜M，系数M为图像的宽度，系数N为图像的高度。

首先，所述的基准图像f_B(i，j)为左视图像，相应地，所述的参照图像f_C(i，j)为右视图像。如果所述的基准图像f_B(i，j)为右视图像，则相应地，所述的参照图像f_C(i，j)为左视图像。

匹配方法可以采用对称多窗口策略等方法，沿着扫描线对左右图像进行匹配。匹配成功的像素点获得视差值，而不能匹配成功的像素点，被列为遮挡像素点O(m，j)。

步骤S2：在所述的基准图像f_B(i，j)中，选定所述的遮挡像素点O(m，j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n，j)，0＜n＜m}；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l，j)，m＜l＜M}，所述的第一样本集和第二样本集的像素个数为系数K。

其中，所述的系数K为经验系数。也可以将所述的系数K设置为按比例根据所述的系数M动态调整，这样可以适应不同的相机分辨率。

在所述的遮挡像素点O(m，j)临近的两侧，从匹配成功像素点中选定两个样本集：第一样本集和第二样本集，为遮挡像素点O(m，j)提供再次匹配的参考样本。

步骤S3：计算所述的遮挡像素点O(m，j)与所述的第一像素集的平均欧式距离L1和所述的遮挡像素点O(m，j)与所述的第二像素集的平均欧式距离L2。

步骤S3中的，欧式距离计算，存在两种情况：

第一种情况：基准图像f_B(i，j)和参照图像f_C(i，j)为灰度图像。

对于灰度图像，所述的平均欧式距离 $L1=\frac{\underset{n}{\mathrm{\Σ}}|f_B(n,j)-f_B(m,j)|}{K}.$

所述的平均欧式距离 $L2=\frac{\underset{l}{\mathrm{\Σ}}|f_B(l,j)-f_B(m,j)|}{K}.$

第二种情况：基准图像f_B(i，j)和参照图像f_C(i，j)为彩色图像，包括了R、G、B信息，为多维函数。基准图像f_B(i，j)＝{R_B(i，j)，G_B(i，j)，B_B(i，j)}，而参照图像f_C(i，j)＝{R_C(i，j)，G_C(i，j)，B_C(i，j)}。

对于彩色图像，所述的平均欧式距离 $L1=\frac{\underset{n}{\mathrm{\Σ}}\sqrt{{(R_B(n,j)-R_B(m,j))}^2+{(G_B(n,j)-G_B(m,j))}^2+{(B_B(n,j)-B_B(m,j))}^2}}{K}.$

对于彩色图像，所述的平均欧式距离 $L2=\frac{\underset{l}{\mathrm{\Σ}}\sqrt{{(R_B(l,j)-R_B(m,j))}^2+{(G_B(l,j)-G_B(m,j))}^2+{(B_B(l,j)-B_B(m,j))}^2}}{K}.$

步骤S4：根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m，j)的视差值。

如果所述的平均欧式距离L1小于所述的平均欧式距离L2，则所述的遮挡像素点O(m，j)的视差值等于所述的第一样本集{x(n，j)，0＜n＜m}的平均视差值

如果所述的平均欧式距离L1大于所述的平均欧式距离L2，则所述的遮挡像素点O(m，j)的视差值等于第二样本集{y(l，j)，m＜l＜M}的平均视差值

综上所述，该发明在成熟图像匹配方法的基础上，利用原始图像中灰度或者颜色信息对遮挡区域像素点进行再次匹配，根据最大相似性原则，将遮挡像素点归类于图像中匹配成功的像素点集合，从而获得遮挡像素点的视差值，从而解决了遮挡区域的图像匹配难题。

Claims (10)

1.遮挡区域的图像匹配方法，其特征在于：该方法包括以下步骤：

S1：以基准图像f_B(i，j)中的像素为基准，在参照图像f_C(i，j)中寻找匹配点，形成视差图d(i，j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m，j)，其中，0≤i＜M，0≤j＜N，0≤m＜M，系数M为图像的宽度，系数N为图像的高度；

S2：在所述的基准图像f_B(i，j)中，选定所述的遮挡像素点O(m，j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n，j)，0＜n＜m}；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l，j)，m＜l＜M}，所述的第一样本集和第二样本集的像素个数为系数K；

S3：计算所述的遮挡像素点O(m，j)与所述的第一像素集的平均欧式距离L1和所述的遮挡像素点O(m，j)与所述的第二像素集的平均欧式距离L2；

S4：根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m，j)的视差值。

2.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：所述的步骤S1中，所述的基准图像f_B(i，j)为左视图像，所述的参照图像f_C(i，j)为右视图像。

3.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：所述的步骤S1中，所述的基准图像f_B(i，j)为右视图像，所述的参照图像f_C(i，j)为左视图像。

4.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：所述的步骤S2中，所述的系数K为经验系数。

5.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：所述的步骤S2中，所述的系数K设置为按比例根据所述的系数M动态调整。

6.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：对于灰度图像，所述的平均欧式距离 $L1=\frac{\underset{n}{\mathrm{\Σ}}|f_B(n,j)-f_B(m,j)|}{K}.$

7.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：对于灰度图像，所述的平均欧式距离 $L2=\frac{\underset{l}{\mathrm{\Σ}}|f_B(l,j)-f_B(m,j)|}{K}.$

8.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：对于彩色图像，所述的基准图像f_B(i，j)为多维函数f_B(i，j)＝{R_B(i，j)，G_B(i，j)，B_B(i，j)}，所述的平均欧式距离 $L1=\frac{\underset{n}{\mathrm{\Σ}}\sqrt{{(R_B(n,j)-R_B(m,j))}^2+{(G_B(n,j)-G_B(m,j))}^2+{(B_B(n,j)-B_B(m,j))}^2}}{K}.$

9.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：对于彩色图像，所述的平均欧式距离 $L2=\frac{\underset{l}{\mathrm{\Σ}}\sqrt{{(R_B(l,j)-R_B(m,j))}^2+{(G_B(l,j)-G_B(m,j))}^2+{(B_B(l,j)-B_B(m,j))}^2}}{K}.$

10.如权利要求1所述的遮挡区域的图像匹配方法，其特征在于：如果所述的平均欧式距离L1小于所述的平均欧式距离L2，则所述的遮挡像素点O(m，j)的视差值等于所述的第一样本集{x(n，j)，0＜n＜m}的平均视差值

如果所述的平均欧式距离L1大于所述的平均欧式距离L2，则所述的遮挡像素点O(m，j)的视差值等于第二样本集{y(l，j)，m＜l＜M}的平均视差值

Images