CN1767655A

CN1767655A - 一种多视点视频图像视差估计的方法

Info

Publication number: CN1767655A
Application number: CN 200510061144
Authority: CN
Inventors: 蒋刚毅; 郁梅; 董海涛
Original assignee: Ningbo University
Current assignee: Shanghai Guizhi Intellectual Property Service Co.,Ltd.
Priority date: 2005-10-18
Filing date: 2005-10-18
Publication date: 2006-05-03
Anticipated expiration: 2025-10-18
Also published as: CN100463527C

Abstract

本发明公开了一种多视点视频图像视差估计的方法，通过Hadamard相似度系数判断当前块与其已编码的相邻块的相似性，以利用相邻块视差矢量和参考视点预测当前块的视差矢量和参考视点，并通过最佳视差矢量判定准则和快速搜索终止准则，使得目标视点图像中多数块的视差估计过程提前终止，从而降低视差估计计算复杂度，提高编码速度，与全搜索视差估计方法相比，采用本发明方法时整个编码过程的时耗仅相当于前者的1.53％～2.22％，PSNR下降不超过0.08dB，码流比特数增加不超过2.43％；与DLS快速视差估计方法相比，本发明编码过程的时耗也仅相当于DLS的11.62％～14.05％，而码流比特数略有节省，且PSNR基本相当。

Description

一种多视点视频图像视差估计的方法

技术领域

本发明涉及采用平行相机系统的多视点视频图像信号的编码方法，尤其是涉及一种多视点视频图像视差估计的方法。

背景技术

在真实世界中，观察者所看到的视觉内容取决于观察者相对于被观察对象的位置，观察者可以自由地选择各个不同的角度去观察和分析事物。在传统的视频系统中，真实场景的相对于一个视点的画面是由摄像师或导演选择决定的，用户只能被动地观看摄像机在单一视点上所摄制的视频图像序列，而不能自由选择其它视点来观察真实场景。这些单方向上的视频序列只能反映真实世界场景的一个侧面。自由视点视频系统可以使用户自由地选择视点去观看真实世界场景中的一定范围内的任意侧面，被国际标准组织MPEG称为下一代视频系统的发展方向。

多视点视频图像技术是自由视点视频技术中的一个核心环节，它能提供所拍摄场景的不同角度的视频图像信息。图1为多视点平行相机系统成像示意图，其中n个相机(或摄像机)被平行地放置以拍摄多视点视频图像。利用多视点视频信号中多个视点的信息可以合成用户所选择的任意视点的图像信息，达到自由切换任意视点图像的目的。但是多视点视频信号的数据量随着视点数目的增加而成倍增加，因此需要相应的多视点视频编码压缩技术来减少其庞大的数据量，以节省多视点视频信号传送的带宽和存储的空间。

多视点视频信号中各视点图像间存在着明显的数据冗余，即各视点图像间具有很高的相似性。与传统的视频编码中利用运动估计与补偿来消除时间上的数据冗余类似，利用合理的视差估计与补偿方法能有效消除各视点图像间的数据冗余，达到对多视点视频信号有效压缩的目的。图2所示为视差估计的示意图，视差估计与补偿技术是利用不同视点图像间的相似性，对目标视点图像中的正在编码的块B寻找其在参考视点图像中的最佳对应块P作为块B的预测信号，并以视差矢量表示块P相对于块B的位置偏移，然后令D＝B-P为块B的预测残差信号，由于预测残差信号D相对于原信号B具有更小的幅值，因此相对于直接对原信号B编码而言，对预测残差信号D进行编码所需的比特数大为降低，从而提高了压缩率。

视差估计是多视点视频编码中的关键技术之一，也是整个多视点视频信号编码中计算量最大的部分之一。多视点视频信号视差估计性能的优劣直接影响到整个多视点视频编码器的编码速度、压缩率和重构的多视点图像的质量。图3为一种多视点图像的视差估计补偿预测示意图，其中最左和最右的视点图像被作为2个参考视点图像，其余位于中间的视点图像被作为目标视点图像。目标视点图像可以通过多视点视差估计由最左和最右的2个参考视点图像进行预测得到。这样，在编码端只要对左右2个参考视点图像采用普通视频编码技术进行编码，而对其余的目标视点图像的视差矢量和相应的残差信号进行编码，从而有效降低多视点视频信号编码所需码率。多视点视差估计也可以采用2个以上的参考视点，以提高预测的准确性，从而提高重构的多视点图像的质量；但随着参考视点数量的增加，多视点视差估计的计算复杂度也随之成倍增长。

多视点视差估计的计算复杂度非常高，是限制多视点视频系统实时应用的一个技术瓶颈。同时，多视点视差估计的预测准确性对提高多视点视频系统的编码压缩性能有重要作用。

发明内容

本发明所要解决的技术问题是提供一种多视点视频图像视差估计的方法，在保证多视点视差估计准确性的同时，降低视差估计的计算复杂度。

本发明解决上述技术问题所采用的技术方案为：一种多视点视频图像视差估计的方法：首先令具有n个相机的平行相机系统拍摄的多视点图像从左至右表示为视点图像k，1≤k≤n，将k＝1的最左视点图像和k＝n的最右视点图像作为参考视点图像，其余2≤k≤n-1的中间视点图像作为目标视点图像，并令各视点图像编码顺序为先编码参考视点图像，然后按从左到右或从右到左的次序依次编码各目标视点图像；正在编码处理的目标视点图像称为当前目标视点图像k，当前目标视点图像以块为单位进行视差估计与编码，其中正在编码处理的块称为当前块c；当前块c在当前目标视点图像内的相邻块中已完成编码处理的上块a、右上块b及左块d通称为视点内相邻块，而当前块c在当前目标视点图像的前一相邻视点图像中的对应块称为视点间相邻块e，然后进行以下具体步骤的操作：

(1)以最左视点为参考视点，对最右视点图像进行视差估计，获得最右视点图像相对于最左视点图像的视差矢量{DV_L→R}；以最右视点为参考视点，对最左视点图像进行视差估计，获得最左视点图像相对于最右视点图像的视差矢量{DV_R→L}；

(2)分别计算当前目标视点图像k中的当前块c及其3个视点内相邻块a、b、d在8×8的Hadamard矩阵中位于(0，0)、(0，2)、(2，0)三个特定位置的Hadamard系数；

这里，8×8的Hadamard变换表示为G＝HFH^*，其中，F为输入的8×8图像块信号，G为Hadamard系数矩阵，是变换输出信号，H为Hadamard变换矩阵，H^*为H的共轭矩阵，

H = \frac{1}{\sqrt{8}} [\begin{matrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & - 1 & 1 & - 1 & 1 & - 1 & 1 & - 1 \\ 1 & 1 & - 1 & - 1 & 1 & 1 & - 1 & - 1 \\ 1 & - 1 & - 1 & 1 & 1 & - 1 & - 1 & 1 \\ 1 & 1 & 1 & 1 & - 1 & - 1 & - 1 & - 1 \\ 1 & - 1 & 1 & - 1 & - 1 & 1 & - 1 & 1 \\ 1 & 1 & - 1 & - 1 & - 1 & - 1 & 1 & 1 \\ 1 & - 1 & - 1 & 1 & - 1 & 1 & 1 & - 1 \end{matrix}];

(3)分别计算当前块c和视点内相邻块a、b、d的Hadamard相似度系数R_na、R_nb、R_nd，令R_n＝min(R_na，R_nb，R_nd)，min()为取最小值运算，将R_n与视点内相似度系数阈值R_T进行比较，若R_n＜R_T，则转到步骤(4)，否则转到步骤(5)；

(4)以具有最小Hadamard相似度系数的视点内相邻块的参考视点和视差矢量作为当前块c的预测参考视点和预测视差矢量DV_c(0)，用该预测视差矢量确定当前块c在预测参考视点图像中的预测块，计算当前块c与其预测块之间的绝对差和SAD_c(0)，令SAD_a、SAD_b、SAD_d分别为当前目标视点图像内已完成编码处理的相邻块a、b、d与其各自的预测信号P_a、P_b、P_d之间的绝对差和，若SAD_c(0)≤median(SAD_a，SAD_b，SAD_d)，median()为取中值运算，则该预测视差矢量DV_c(0)即作为当前块c的最佳视差矢量DV_c，转到步骤(9)，否则转到步骤(7)；

(5)根据当前块c所在目标视点k、当前块c的视点间相邻块e所在视点、最左和最右视点之间的距离，分别利用最左、最右视点图像之间的视差矢量{DV_L→R}和{DV_R→L}，通过视差矢量插值得到当前块c相对于最左和最右视点中对应块的位移作为其预测视差矢量DV_cl(0)和DV_cr(0)，计算当前块c在8×8矩阵中位于(0，4)、(4，0)和(4，4)三个特定位置的Hadamard系数以及视点间相邻块e位于(0，0)、(0，2)、(2，0)、(0，4)、(4，0)和(4，4)六个特定位置的Hadamard系数，在此基础上计算当前块c和其视点间相邻块e的Hadamard相似度系数R_j，若R_j小于视点间相似度系数阈值R_t则转到步骤(6)，否则转到步骤(8)；

(6)若最左视点较最右视点距离当前目标视点k更近，则选择最左视点为当前块c的预测参考视点，DV_cl(0)为预测视差矢量，即DV_c(0)＝DV_cl(0)；反之选择最右视点为预测参考视点，DV_cr(0)为预测视差矢量，即DV_c(0)＝DV_cr(0)，若|DV_cl(0)-DV_cr(0)|＜1，则本步骤所述的预测视差矢量DV_c(0)即作为当前块c的最佳视差矢量DV_c，转到步骤(9)，否则转到步骤(7)；

(7)对于当前块c，以预测参考视点为参考视点，预测视差矢量DV_c(0)为初值进行单参考视点最佳匹配块搜索以找到最佳视差矢量DV_c，转到步骤(9)；

(8)根据预测视差矢量DV_cl(0)和DV_cr(0)分别在最左和最右2个参考视点中进行最佳块匹配搜索，比较在最左参考视点中获得的最佳块和在最右参考视点中获得的最佳块的绝对差和SAD，取最小者作为最佳视差矢量DV_c和最佳参考视点，转到步骤(9)；

(9)结束当前块c的视差估计过程，并继续进行下一块的视差估计过程，直至完成所有目标视点中的所有块的视差估计过程，这里当前块的下一块是指当前块的右块，若当前块为所在行的最右块，则其下一块为下一行的最左块。

视点内相邻块的Hadamard相似度系数为R_n＝(C_0，0+C_0，2+C_2，0)/S_0，0，其中，C_i，j＝|G₁(i，j)-G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数差的绝对值，S_i，j＝|G₁(i，j)+G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数和的绝对值。

视点间相邻块的Hadamard相似度系数R_j＝(C_0，0+C_0，2+C_0，4+C_2，0+C_4，0+C_4，4)/(S_0，0+S_4，4)，其中，C_i，j＝|G₁(i，j)-G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数差的绝对值，S_i，j＝|G₁(i，j)+G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数和的绝对值。

对于16×16的宏块，采用其4个8×8子块相应位置的Hadamard系数的平均值计算相似度系数。

与现有技术相比，本发明的优点在于基于Hadamard相似度与相邻块特征，利用多视点图像间和目标视点图像中相邻块之间的相关性，通过目标视点图像中已完成视差估计的当前块的相邻块的视差估计结果，快速预测当前块的预测视差矢量和预测参考视点，并通过最佳视差矢量判定和快速搜索终止准则，使得目标视点图像中多数块的视差估计过程提前终止，从而在保证编码质量的前提下，大大减少多视点图像视差估计的计算复杂度，提高多视点视频图像编码系统的编码速度。

与采用全搜索的视差估计方法相比，采用本发明的视差估计方法时整个编码过程的时耗仅相当于前者的1.53％～2.22％左右，而PSNR的下降不超过0.08dB，码流的比特数增加不超过2.43％；而与现有的快速视差估计方法DLS(方向—有限搜索方法)相比，采用本发明的快速视差估计方法时整个编码过程的时耗也仅相当于DLS的11.62％～14.05％左右，而码流的比特数还略有节省，且PSNR基本相当。

附图说明

图1为多视点平行相机系统成像示意图；

图2为视差估计示意图；

图3为多视点图像的视差估计补偿预测示意图；

图4为相邻块定义示意图；

图5为用于确定视点间相邻块位置的多视点视差插值示意图；

图6为用视点间相邻块视差矢量预测当前块的视差矢量示意图；

图7为最佳匹配块搜索过程示意图；

图8为本发明的快速多视点视频图像视差估计流程图；

图9为“Xmas”多视点测试集10个视点中的3个视点图像；

图10为“Cup”多视点测试集10个视点中的3个视点图像；

图11为“Note”多视点测试集10个视点中的3个视点图像；

图12为“Xmas”多视点测试集的编码率失真性能比较曲线图；

图13为“Cup”多视点测试集的编码率失真性能比较曲线图；

图14为“Note”多视点测试集的编码率失真性能比较曲线图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

这里仅以一个目标视点图像的视差估计为例进行说明，其余各目标视点图像的处理方法与之相同。

下面首先描述本发明定义的“相邻块”概念和基于Hadamard变换的图像块相似度系数。

相邻块的定义如图4所示：块a、b、d分别为与当前块c在同一目标视点图像k内的上块、右上块和左块，称为视点内相邻块，它们是当前目标视点图像k内已完成编码处理的块；块e为块c在相邻视点图像k-1中的对应块，称为视点间相邻块，相邻视点图像k-1已先于当前目标视点图像k完成编码处理。块e的位置采用如图5所示的视差插值方式确定：先以最左视点图像为参考视点对最右视点图像进行视差估计，即对最右视点图像中每个块(用实线表示的方块)寻找其在最左视点图像中的最佳匹配块，得到视差矢量DV_L→R，然后对于当前目标视点图像k根据其视点位置与最左和最右视点位置的距离利用视差矢量DV_L-R插值确定当前目标视点图像中块c在相邻视点图像k-1中的对应块e的位置。图5中带箭头的实线表示以最左视点为参考视点对最右视点图像进行视差估计，得到最左和最右视点图像间的视差矢量{DV_L→R}，带箭头的虚线表示目标视点视差插值，用以确定视点间相邻块的位置关系，以及当前块c在最左参考视点的预测视差矢量。显然，同样可以以最右视点图像为参考视点来确定块e的位置。

对于当前块与其相邻块的相似性判断，本发明利用Hadamard系数来确定图像块间的相关性。8×8的Hadamard变换表示为G＝HFH^*，其中，F为8×8图像块，是变换输入信号，G为Hadamard系数矩阵，是变换输出信号，H为Hadamard变换矩阵，H^*为H的共轭矩阵，

H = \frac{1}{\sqrt{8}} [\begin{matrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & - 1 & 1 & - 1 & 1 & - 1 & 1 & - 1 \\ 1 & 1 & - 1 & - 1 & 1 & 1 & - 1 & - 1 \\ 1 & - 1 & - 1 & 1 & 1 & - 1 & - 1 & 1 \\ 1 & 1 & 1 & 1 & - 1 & - 1 & - 1 & - 1 \\ 1 & - 1 & 1 & - 1 & - 1 & 1 & - 1 & 1 \\ 1 & 1 & - 1 & - 1 & - 1 & - 1 & 1 & 1 \\ 1 & - 1 & - 1 & 1 & - 1 & 1 & 1 & - 1 \end{matrix}] .

定义视点内相邻块的Hadamard相似度系数：R_n＝(C_0，0+C_0，2+C_2，0)/S_0，0，用于判断当前块c与视点内相邻块a、b、d的相关性；定义视点间相邻块的Hadamard相似度系数：R_j＝(C_0，0+C_0，2+C_0，4+C_2，0+C_4，0+C_4，4)/(S_0，0+S_4，4)，用于判断当前块c与视点间相邻块e的相关性。这里，C_i，j＝|G₁(i，j)-G₂(i，j)|，为两图像块位置为(i，j)的Hadamard系数差的绝对值，S_i，j＝|G₁(i，j)+G₂(i，j)|，为两图像块位置为(i，j)的Hadamard系数和的绝对值。对于16×16的宏块，采用其4个8×8子块相应位置的Hadamard系数的平均值计算相似度系数。事实上，本发明不需要计算所有的64个Hadamard系数，而只要计算8×8矩阵中(0，0)、(0，2)、(2，0)、(0，4)、(4，0)和(4，4)六个特定位置的Hadamard系数即可。相似度系数越小，表明进行比较的两图像块越相似。

在上述相邻块和基于Hadamard变换的相似度系数定义的基础上，描述本发明的快速多视点视频图像视差估计方法步骤如下：

首先分别以最左和最右视点为参考视点，如图2所示在最左和最右视点图像间进行视差估计，获得最左、最右视点图像之间的双向视差矢量{DV_L→R}和{DV_R→L}；

对于当前目标视点图像k中的当前块c，分别计算它和三个视点内相邻块a、b、d的Hadamard相似度系数R_na、R_nb、R_nd，令R_n为三者中的最小数，即R_n＝min(R_na，R_nb，R_nd)，将R_n与视点内相邻块相似度阈值R_T进行比较，当R_n＜R_T时，则将当前块c看作同具有最小视点内相邻块Hadamard相似度系数的块是同一区域的，具有相同的性质，因此以该已编码块的参考视点作为c块的预测参考视点，并且以该块的视差矢量作为c块的预测视差矢量DV_c(0)。这里视点内相邻块相似度阈值R_T为一经验常数，可通过实验比较分析R_T取不同值时的多视点视频图像编码性能，从中确定一个合适的值，使得在编码速度和解码信号质量之间获得平衡，即二者都是可接受的。

本发明采用绝对差和SAD来衡量两个8×8图像块的差异，

SAD = Σ_{i = 0}^{7} Σ_{j = 0}^{7} | B_{ij} - P_{ij} |

B_ij为目标视点图像的某一块中位置为(i，j)的像素值，P_ij为参考视点图像的某一块中位置为(i，j)的像素值，如图2所示，P块为B块在参考视点图像中寻找的匹配块，是B块的预测块。令SAD_a、SAD_b、SAD_d分别为a、b、d三个块与它们各自所对应的预测块之间的SAD值，SAD_c(0)表示当前块c与用预测参考视点和预测视差矢量DV_c(0)确定的预测块之间的SAD值。若满足SAD_c(0)≤median(SAD_a，SAD_b，SAD_d)，其中median()表示取中值运算，则令当前块c的最佳视差矢量DV_c等于其预测视差矢量DV_c(0)，并结束当前块c的视差估计，转而继续进行下一块的视差估计。反之，若条件不满足，则以DV_c(0)为初始预测视差矢量在预测参考视点图像中进行小范围的搜索，以寻找当前块c在参考视点图像中的最佳匹配块，得到当前块c的最佳视差矢量DV_c。

若前述当前块c与它的3个视点内相邻块之间的最小Hadamard相似度系数R_n≥R_T，则转而判断当前块c和其视点间相邻块e的相关性，若当前块c与其相邻块e的视点间相邻块Hadamard相似度系数R_j＜R_t，R_t为视点间相邻块相似度阈值，则认为e块就是c块在前一个视点图像中的匹配块，这时c块的参考视点就采用e块的参考视点。与视点内相邻块相似度阈值相类似，视点间相邻块相似度阈值R_t也为一由实验确定的经验常数。由于采用视差插值确定e块位置，会造成相邻视点图像k-1中的e块如图6所示由小块e₁、e₂、e₃、e₄组成。因此，e块的参考视点由4小块中面积最大块的参考视点决定。e块的视差矢量DV_e＝(el·DV_e1+e2·DV_e2+e3·DV_e3+e4·DV_e4)/64，即e块的视差矢量由4小块各自的视差矢量DV_e1、DV_e2、DV_e3、DV_e4加权平均得到。根据当前视点k和相邻视点k-1及其与参考视点之间的距离，可以用DV_e插值得到c块的预测视差矢量DV_c(0)。图5所示的DV_c(0)的获取是以最左视点为参考视点得到的，该预测视差矢量DV_c(0)表示为DV_cl(0)；相似地，如果DV_c(0)的获取是以最右视点为参考视点得到的，则该预测视差矢量表示为DV_cr(0)。令当前块c的预测视差矢量

如果|DV_cl(0)-DV_cr(0)|＜1，则令当前块c的最佳视差矢量DV_c等于DV_c(0)，并结束当前块c的视差估计，转而继续进行下一块的视差估计。反之，若条件不满足，则以DV_c(0)为初始预测视差矢量在预测参考视点图像中进行小范围的搜索，以寻找当前块c在参考视点图像中的最佳匹配块，得到当前块c的最佳视差矢量DV_c。

若当前块c与其相邻块e的视点间相邻块Hadamard相似度系数R_j≥R_t，则表明当前块c与其视点间相邻块e也不尽相同，可能不对应于同一区域，因此必须进行多参考视点的最佳匹配块搜索，即分别以最左和最右视点为参考视点，以DV_cl(0)和DV_cr(0)为相应的预测视差矢量，在最左和最右视点图像中进行小范围的搜索，以寻找当前块c在这2个参考视点图像中的最佳匹配块，然后取相应SAD值小的参考视点和视差矢量作为当前块c的预测结果，得到当前块c的最佳视差矢量DV_c。

对于以预测视差矢量DV_c(0)作为初始值在参考视点图像中进行小范围最佳匹配块搜索过程，本发明采用了快速搜索算法和SAD阈值作为搜索终止条件以进一步提高搜索速度。如图7所示，假定点(x，y)是由预测视差矢量DV_c(0)确定的匹配块位置，称为预测中心点，先用预测中心点和其左右2个相邻点(图7中均标记为“1”的点)的SAD确定主搜索方向和次搜索方向。主搜索方向对应SAD值相对较小的点的方向，例如图7中假设(x，y)右边相邻点的SAD值相对更小，因此将向右搜索作为主搜索方向。对于主搜索方向先用间隔2个像素点的大模板找到一个较好的匹配点，即在已搜索的点中其SAD值最小的点，例如图7中的点(x+4，y)，然后再在该“较好匹配点”及其左右相邻点中确定具有最小SAD值的主搜索方向上的最佳匹配点；对于次搜索方向采用折半查找法寻找次搜索方向上的最佳匹配点；最后比较两个搜索方向上得到的最佳匹配点，从中选出SAD值最小的点作为最终的最优匹配点。图7中的数字表示上述搜索过程中的搜索序号，主搜索方向上数字相同的点为需同时搜索并进行SAD值比较的点，次搜索方向上的数字代表了搜索的次序。为了提高搜索的速度，本发明进一步采用了SAD阈值作为搜索终止的条件。由于当前块c与其相邻块之间存在着很强的相关性，因此以相邻块的SAD_neigh乘以一系数作为SAD阈值，即SAD阈值SAD_T＝(1-R)SAD_neigh，其中R为当前块和相邻块的Hadamard相似度系数。在上述搜索过程中，一旦某点的SAD小于SAD_T，则认为该点即为最佳匹配点，终止匹配搜索过程。

本发明的基于Hadamard相似度与相邻块特征的快速多视点视频图像视差估计方法的流程图如图8所示。

以下就本发明方法进行多视点视频图像视差估计的精度及速度进行说明。

对由平行相机系统所拍摄的具有10个视点的“Xmas”、“Cup”、“Note”三组多视点图像测试集采用本发明所述的多视点视频图像视差估计方法进行视差估计补偿预测及编码，并与基于全搜索视差估计的编码方法和基于DLS(方向—有限搜索方法)快速视差估计方法的编码方法进行了比较。图9、图10、图11所示即为上述三组多视点图像测试集的3个不同视点图像，其图像尺寸均为640×480，YUV(4∶2∶0)格式；“Xmas”和“Note”各视点间距为30mm，“Cup”各视点间距为15mm；“Xmas”视差较小，背景纹理较复杂，“Cup”和“Note”视差相对较大，背景纹理较简单。

图12、图13和图14为不同码率下对“Xmas”、“Cup”、“Note”三组多视点图像测试集采用本发明快速视差估计方法、全搜索视差估计方法及现有的DLS快速视差估计方法进行编码后的解码重建图像的平均峰值信噪比PSNR曲线。由图中可见采用本发明的快速视差估计方法同采用全搜索视差估计方法得到的重建图像的峰值信噪比曲线非常接近，表明采用本发明快速视差估计方法所获得的编码质量与采用全搜索视差估计方法所获得的编码质量基本相同，仅有微小下降。而采用本发明的快速视差估计方法同采用DLS快速视差估计方法得到的重建图像的峰值信噪比曲线几乎重叠，略优于DLS快速视差估计方法的结果。

采用本发明快速视差估计方法与采用全搜索视差估计方法和DLS快速视差估计方法对三组多视点图像测试集进行编码后码流的比特数、解码信号的峰值信噪比以及整个编码过程的时耗比如表1所示，其中，比特数反映了压缩性能，PSNR反映了解码信号质量，时耗比反映了编码过程的计算复杂度。由表1可见，与采用全搜索的视差估计方法相比，采用本发明的快速视差估计方法的整个编码过程的时耗仅相当于前者的1.53％～2.22％左右，而PSNR的下降不超过0.08dB，码流的比特数增加不超过2.43％。而本发明与另一种快速视差估计方法DLS相比，其搜索速度的提高依然十分显著。与DLS快速视差估计方法相比，采用本发明的快速视差估计方法时整个编码过程的时耗也仅相当于DLS的11.62％～14.05％左右，而码流的比特数还略有节省，且PSNR基本相当。表2所示为仅考虑视差估计过程的计算复杂度(即只考虑平均每块的搜索点数)时本发明快速视差估计方法与全搜索视差估计方法及DLS快速视差估计方法的性能比较。显然，本发明方法明显降低了多视点视差估计的计算量，从而降低了整个多视点编码系统的计算复杂度。

表1本发明方法和全搜索视差估计方法及DLS快速视差估计方法的编码性能比较

视差估计方法	Xmas			Cup			Note
	Xmas			Cup			Note			比特数	PSNR	耗时比	比特数	PSNR	耗时比	比特数	PSNR	耗时比
	全搜索方法	937904	41.6561	100％	856360	43.5952	100％	604792	40.8027	比特数	PSNR	耗时比	比特数	PSNR	耗时比	比特数	PSNR	耗时比	100％
DLS方法	全搜索方法	937904	41.6561	100％	856360	43.5952	100％	604792	40.8027	956236	41.6416	15.80％	876065	43.5913	12.96％	620369	40.7282	13.51％	100％
DLS方法	本发明方法	954267	41.6401	2.22％	873176	43.5887	1.53％	619481	40.7271	956236	41.6416	15.80％	876065	43.5913	12.96％	620369	40.7282	13.51％	1.57％

表2本发明方法和全搜索方法及DLS快速视差估计方法的视差估计过程复杂度比较

测试图像集	视差估计方法	PSNR	搜索点数	速度倍数
测试图像集	视差估计方法	PSNR	搜索点数	速度倍数	Xmas	全搜索方法	41.66	768	1
DLS方法	41.64	105.2	7.30			全搜索方法	41.66	768	1
DLS方法	41.64	105.2	7.30	本发明方法		41.64	12.2	62.95
Cup	全搜索方法	43.60	768	本发明方法		41.64	12.2	62.95	1
	全搜索方法	43.60	768	DLS方法	43.59	85.4	8.99		1
	本发明方法	43.59	8.8	DLS方法	43.59	85.4	8.99	87.27
	本发明方法	43.59	8.8	Note	全搜索方法	40.80	768	87.27	1
DLS方法	40.73	80.4	9.55		全搜索方法	40.80	768		1
DLS方法	40.73	80.4	9.55		本发明方法	40.73	9.4	81.70

Claims

1、一种多视点视频图像视差估计的方法，其特征在于：首先令具有n个相机的平行相机系统拍摄的多视点图像从左至右表示为视点图像k，1≤k≤n，将k＝1的最左视点图像和k＝n的最右视点图像作为参考视点图像，其余2≤k≤n-1的中间视点图像作为目标视点图像，并令各视点图像编码顺序为先编码参考视点图像，然后按从左到右或从右到左的次序依次编码各目标视点图像；正在编码处理的目标视点图像称为当前目标视点图像k，当前目标视点图像以块为单位进行视差估计与编码，其中正在编码处理的块称为当前块c；当前块c在当前目标视点图像内的相邻块中已完成编码处理的上块a、右上块b及左块d通称为视点内相邻块，而当前块c在当前目标视点图像的前一相邻视点图像中的对应块称为视点间相邻块e，然后进行以下具体步骤的操作：

(2)分别计算当前目标视点图像k中的当前块c及其3个视点内相邻块a、b、d在8×8的Hadamard矩阵中位于(0，0)、(0，2)、(2，0)三个特定位置的Hadamard系数；这里，8×8的Hadamard变换表示为G＝HFH^*，其中，F为输入的8×8图像块信号，G为Hadamard系数矩阵，是变换输出信号，H为Hadamard变换矩阵，H^*为H的共轭矩阵，

H = \frac{1}{\sqrt{8}} [\begin{matrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & - 1 & 1 & - 1 & 1 & - 1 & 1 & - 1 \\ 1 & 1 & - 1 & - 1 & 1 & 1 & - 1 & - 1 \\ 1 & - 1 & - 1 & 1 & 1 & - 1 & - 1 & 1 \\ 1 & 1 & 1 & 1 & - 1 & - 1 & - 1 & - 1 \\ 1 & - 1 & 1 & - 1 & - 1 & 1 & - 1 & 1 \\ 1 & 1 & - 1 & - 1 & - 1 & - 1 & 1 & 1 \\ 1 & - 1 & - 1 & 1 & - 1 & 1 & 1 & - 1 \end{matrix}];

(3)分别计算当前块c和视点内相邻块a、b、d的Hadamard相似度系数R_na、R_nb、R_nd，令R_n＝min(R_na，R_nb，R_nd)，min( )为取最小值运算，将R_n与视点内相似度系数阈值R_T进行比较，若R_n＜R_T，则转到步骤(4)，否则转到步骤(5)；

(4)以具有最小Hadamard相似度系数的视点内相邻块的参考视点和视差矢量作为当前块c的预测参考视点和预测视差矢量DV_c(0)，用该预测视差矢量确定当前块c在预测参考视点图像中的预测块，计算当前块c与其预测块之间的绝对差和SAD_c(0)，令SAD_a、SAD_b、SAD_d分别为当前目标视点图像内已完成编码处理的相邻块a、b、d与其各自的预测信号P_a、P_b、P_d之间的绝对差和，若SAD_c(0)≤median(SAD_a，SAD_b，SAD_d)，median( )为取中值运算，则该预测视差矢量DV_c(0)即作为当前块c的最佳视差矢量DV_c，转到步骤(9)，否则转到步骤(7)；

2、如权利要求1所述的一种多视点视频图像视差估计的方法，其特征在于所述的视点内相邻块的Hadamard相似度系数为R_n＝(C_0，0+C_0，2+C_2，0)/S_0，0，其中，C_i，j＝|G₁(i，j)-G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数差的绝对值，S_i，j＝|G₁(i，j)+G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数和的绝对值。

3、如权利要求1所述的一种多视点视频图像视差估计的方法，其特征在于所述的视点间相邻块的Hadamard相似度系数为R_j＝(C_0，0+C_0，2+C_0，4+C_2，0+C_4，0+C_4，4)/(S_0，0+S_4，4)，其中，C_i，j＝|G₁(i，j)-G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数差的绝对值，S_i，j＝|G₁(i，j)+G₂(i，j)|为2个图像块位置为(i，j)的Hadamard系数和的绝对值。

4、如权利要求1所述的一种多视点视频图像视差估计的方法，其特征在于对于16×16的宏块，采用其4个8×8子块相应位置的Hadamard系数的平均值计算相似度系数。