CN1688168A - 多视点系统中视频图像的视差计算方法 - Google Patents

Abstract

本发明涉及一种多视点系统中视频图像的视差计算方法，属于视频图像处理技术领域。首先利用块匹配法计算目标视频图像中第一帧视频图像的完整视差；以上一帧目标视频图像中的相应图像块的视差值为当前位置，对参考视频图像进行有限搜索和方向搜索；若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则得到视差，若搜索不到与目标视频图像中相对应的图像块，则继续搜索，直到最后，取目标视频图像中平均象素灰度差最小的图像块作为对应的图像块，得到视差。本发明方法提高了视差计算的效率。

Description

多视点系统中视频图像的视差计算方法

技术领域

本发明设计一种多视点系统中视频图像的视差计算方法，属于视频图像处理技术领域。

背景技术

用于多视点视频系统的块匹配法是最常用的两个视频图像之间的视差计算方法，其基本思想是将目标图像分割为固定尺寸的块，并搜索每个块在参考图像中的最佳匹配。经典的搜索技术是在搜索窗内的完全搜索，其基本算法如下(设块尺寸为N乘N)：

若f(T′)＝min(f(T))，则视差d＝T’，

其中

$T=\sqrt{m^2+n^2}$

T为图像块的空间位移量；T’是目标图像和参考图像中两个对应图像块之间相关性达到最大时的空间位移量；m、n分别是空间位移量T的横坐标和纵坐标，f_l、f_r是目标图像和参考图像中两个对应图像块的像素灰度值。

传统的块匹配视差估计算法由于算法简单、计算量小而被普遍采用。然而，对整个目标图像进行完全搜索时，其计算量很大。

发明内容

本发明的目的是提出一种多视点系统中视频图像的视差计算方法，在传统的块匹配基础上提出了基于立体摄像几何及视频特性的自适应算法，提高了视差计算的效率。

本发明提出的多视点系统中视频图像的视差计算方法，包括以下步骤：

(1)利用块匹配法计算目标视频图像中第一帧视频图像的完整视差；

(2)以上一帧目标视频图像中的相应图像块的视差值为当前位置，以LW为搜索半径，对参考视频图像进行有限搜索；

(3)若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则进行步骤(8)，若搜索不到与目标视频图像中相对应的图像块，则进行步骤(4)；

(4)以上一帧目标视频图像中的相应图像块的视差值为当前位置，向左对参考视频图像进行方向搜索，搜索范围为LW+1～LW+DW1；

(5)若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则进行步骤(8)，若搜索不到与目标视频图像中相对应的图像块，则进行步骤(6)；

(6)以上一帧目标视频图像中的相应图像块的视差值为当前位置，向右对参考视频图像进行方向搜索，搜索范围为LW+1～LW+DW2；

(7)若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则进行步骤(8)，若搜索不到与目标视频图像中相对应的图像块，则取目标视频图像中平均象素灰度差最小的图像块作为对应的图像块，进行步骤(8)；

(8)根据目标视频图像中图像块的位置和搜索到的参考图像块的位置，得到目标视频图像中的图像块与参考视频图像中相应图像块之间的视差。

本发明提出的多视点系统中视频图像的视差计算方法，其优点是提高了算法的计算效率，只需比传统的块匹配算法更少的计算量，就可以得到相同的视差计算结果的准确性。

具体实施方式

本发明提出的多视点系统中视频图像的视差计算方法，首先利用块匹配法计算目标视频图像中第一帧视频图像的完整视差；以上一帧目标视频图像中的相应图像块的视差值为当前位置，以LW为搜索半径，对参考视频图像进行有限搜索；若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则根据目标视频图像中图像块的位置和搜索到的参考图像块的位置，得到目标视频图像中的图像块与参考视频图像中相应图像块之间的视差，若搜索不到与目标视频图像中相对应的图像块，则以上一帧目标视频图像中的相应图像块的视差值为当前位置，向左对参考视频图像进行方向搜索，搜索范围为LW+1～LW+DW1；若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则根据目标视频图像中图像块的位置和搜索到的参考图像块的位置，得到目标视频图像中的图像块与参考视频图像中相应图像块之间的视差，若搜索不到与目标视频图像中相对应的图像块，则以上一帧目标视频图像中的相应图像块的视差值为当前位置，向右对参考视频图像进行方向搜索，搜索范围为LW+1～LW+DW2；若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则根据目标视频图像中图像块的位置和搜索到的参考图像块的位置，得到目标视频图像中的图像块与参考视频图像中相应图像块之间的视差，若搜索不到与目标视频图像中相对应的图像块，则取目标视频图像中平均象素灰度差最小的图像块作为对应的图像块，根据目标视频图像中图像块的位置和搜索到的参考图像块的位置，得到目标视频图像中的图像块与参考视频图像中相应图像块之间的视差。

在多视点摄像系统中，方向性与均匀性是与视差有关的两个性质，在视差计算时若能充分利用这些几何特性，可以简化视差匹配的算法，实现快速匹配：

1、方向性：

对于同一景物，其透视投影左图像相对于右图像局部地向水平方向的反方向移动。也就是说，如果正水平方向是向右，则同一空间点在左图像中的投影位置比右图像偏左。这个特性为本算法的方向性搜索提供了依据，比如在搜索左图像各块在右图像中的匹配块时，可优先向右方搜索。

2、均匀性：

偏振线上相邻图像子块间的视差差异实际上是很小的，因此，在进行视差匹配时，以邻近块已求出的视差矢量作为参考，在小范围内搜索当前块的视差矢量，能迅速准确地搜索出当前视差这一特性，称之为有限搜索。

视差计算的目的是应用于视频的编、解码，因此可以结合视频的特性，即相邻视频帧间的视差相关度非常高，进一步提高块匹配的效率；另外，由于算法是应用于视频，可以利用前面视频帧的搜索结果来修改本帧的参数值，从而使得参数本身可以自动适应视频的特性。

对于视频的第一帧，采用传统搜索算法得到其完整视差；从第二帧开始，每一帧都在前一帧的视差结果基础上进行视差计算。

本发明方法中的搜索半径LW、DW1和DW2，必须根据对目标图像进行搜索的结果不断调整，以提高搜索效率。三个搜索半径参数的调整方法完全相同，以下以LW为例进行说明：

为每一帧图像设定一个调整参数ALW，则第n+1帧图像的LW＝(第n帧的ALW+第n-1帧的ALW+第n-2帧的ALW)/3，其中第n帧的ALW根据本帧在LW范围内搜索后的结果是否满足匹配准则而定，若满足匹配准则，则第n帧的ALW为搜索到的视差值与上一帧视差值差的绝对值；若不满足匹配准则，则第n帧的ALW为第n-1帧的ALW加9。

上述匹配准则可采用平均绝对差准则(MAD)或其他的相似度准则，这里定义一种离散度准则，性能优于一般的MAD准则。设f_l(i，j)、f_r(i，j)为参考视频图像和目标视频图像块的像素灰度，块的尺寸为N乘以N，在满足立体平行摄像系统条件下，定义离散度函数为：

当B(d)为最小时，两个图像块达到匹配，此时的d即为两图像块之间的视差。

$B\left(d\right)=\frac{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(f_l(i,j)-f_r(i+d,j))}^2}{\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(f_l(i,j)+f_r(i+d,j))}^2}$

Claims (1)

1、一种多视点系统中视频图像的视差计算方法，其特征在于该方法包括以下步骤：

(1)利用块匹配法计算目标视频图像中第一帧视频图像的完整视差；

(2)以上一帧目标视频图像中的相应图像块的视差值为当前位置，以LW为搜索半径，对参考视频图像进行有限搜索；

(3)若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则进行步骤(8)，若搜索不到与目标视频图像中相对应的图像块，则进行步骤(4)；

(4)以上一帧目标视频图像中的相应图像块的视差值为当前位置，向左对参考视频图像进行方向搜索，搜索范围为LW+1～LW+DW1；

(5)若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则进行步骤(8)，若搜索不到与目标视频图像中相对应的图像块，则进行步骤(6)；

(6)以上一帧目标视频图像中的相应图像块的视差值为当前位置，向右对参考视频图像进行方向搜索，搜索范围为LW+1～LW+DW2；

(7)若在参考视频图像中搜索到与目标视频图像中相对应的图像块，则进行步骤(8)，若搜索不到与目标视频图像中相对应的图像块，则取目标视频图像中平均象素灰度差最小的图像块作为对应的图像块，进行步骤(8)；

(8)根据目标视频图像中图像块的位置和搜索到的参考图像块的位置，得到目标视频图像中的图像块与参考视频图像中相应图像块之间的视差。