CN102611893B - 基于直方图匹配和sad判决的dmvc边信息融合方法 - Google Patents

Abstract

本发明涉及一种基于直方图匹配和SAD判决的DMVC边信息融合方法，其技术特点是：(1)使用运动补偿时间内插法生成时间边信息Y1，同时采用最小绝对误差和作为判断准则寻找最佳匹配块并构造基于SAD阈值判断的flag标记；(2)使用虚拟视点合成方法生成空间边信息Y2；(3)采用基于灰度直方图匹配和SAD判决的边信息融合算法对时间边信息Y1和空间边信息Y2进行融合得到最终的边信息。本发明设计合理，其采用基于块的灰度直方图匹配和对时间边信息中匹配块的最小绝对误差和进行阈值判断的方法，有效地融合了时间边信息和空间边信息得到最终边信息，提高最终边信息的质量和分布式多视点视频编码系统性能，扩大了应用场合。

Description

基于直方图匹配和SAD判决的DMVC边信息融合方法

技术领域

本发明涉及视频压缩技术领域，特别是一种基于直方图匹配和SAD判决的DMVC边信息融合方法。

背景技术

分布式视频编码是一种全新的视频编码模式，它基于Slepian-Wolf和Wyner-Ziv多信源信息编码理论，采用帧内编码、帧间解码的方式，将计算复杂度从编码端转移到解码端，具有编码器复杂度低、耗电量低、容错性好等特点。分布式多视点视频编码(Distributed Multi-view Video Coding，DMVC)是分布式视频编码与多视点视频编码的结合，该编码系统既具有分布式视频编码的编码简单特性，同时也能充分利用多视点视频中时间和空间方向上的相关性，使其特别适合于一些计算能力、内存容量、耗电量等受限的无线视频终端(如无线视频监控系统、视频传感器网络等)，并随着这些新视频应用的发展快速成熟起来。

通常认为边信息(Side information，SI)是当前WZ(Wyner-Ziv)帧通过一个虚拟信道传输所得到的，是原始WZ帧的估计值。边信息SI是由当前待译码WZ帧的相邻关键帧通过内插或者外插以及一些改进方法生成的，它联合信道传输的校验信息位进行信道译码，并与译码后的量化值一起对当前帧进行重构，得到最终的WZ帧。SI和WZ帧之间的相关性越高，译码时出现错误的概率就越少，译码成功需要的校验信息位就越少，译码WZ帧质量越高，能够达到更好的系统性能。但由于解码端无法获得原始WZ帧的信息，并且不同序列的不同帧的边信息质量是不断变化的，因此获取质量较好的边信息是分布式多视点视频编码系统的一项重要工作。好的边信息不仅能够提高DVC系统的编码效率而且能够降低译码端的复杂度，并能够适用在一些低时延的视频应用中。

在分布式多视点视频编码系统中，不仅可以在同一视点中利用时间相关性获得时间边信息，也可以在不同视点中利用空间相关性获得空间边信息。研究人员对上述两种边信息的获取方法进行研究，通常可以通过运动补偿时间内插法或者外插法以及在此基础上的改进方法来获取时间边信息，而采用基于单应性变换或者虚拟视点合成等方法获取空间边信息。如何有效地融合这两种边信息得到最终的高质量的边信息，是译码端一项重要工作。

为了有效融合可用的边信息，研究人员提出了一种构造掩码信息的方法，以此判断某处应该采用哪种边信息进行译码。Guo等人提出在DMVC中对WZ帧的前后关键帧的像素差值进行阈值判断，同时对运动矢量进行阈值限定。对像素差值小于设定阈值Th1，且运动矢量的幅度小于设定阈值Th2的位置标记为1，采用时间边信息作为此处的最终边信息；反之，标记为0，采用空间边信息。M.Ouaret等人提出一种由译码端决定的时间边信息和空间边信息的融合方法，分别计算两个关键帧与时间边信息的差值以及二者与空间边信息的差值，构造掩码信息。然而，目前的掩码方法只考虑时间边信息的准确性，并优先选择时间边信息，对运动快速和复杂的场景适应性不好。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够有效提高最终边信息质量和DMVC系统性能的基于直方图匹配和SAD判决的DMVC边信息融合方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于直方图匹配和SAD判决的DMVC边信息融合方法，包括以下步骤：

(1)使用运动补偿时间内插法生成时间边信息Y1，同时采用最小绝对误差和作为判断准则寻找最佳匹配块并构造基于SAD阈值判断的flag标记；

(2)使用虚拟视点合成方法生成空间边信息Y2；

(3)采用基于灰度直方图匹配和SAD判决的边信息融合算法对时间边信息Y1和空间边信息Y2进行融合得到最终的边信息。

而且，所述步骤(1)中运动补偿时间内插法采用如下计算公式：

$Y_i(x,y)=\frac{X_{i-1}(x+i_B,y+j_B)+X_{i+1}(x+i_F,y+j_F)}{2}$

式中，X_i表示当前的WZ帧，Y_i表示X_i的边信息，X_i-1和X_i+1表示与当前帧相邻的前后关键帧，(x，y)表示当前帧X_i中像素的位置，(i_B，j_B)和(i_F，j_F)分别表示X_i-1和X_i+1运动向量。

而且，所述步骤(1)中最小绝对误差和采用如下计算公式：

$\mathrm{SAD}(i,j)=\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}|I_{n-1}(x,y)-I_{n+1}(x+i,y+j)|$

式中，(i，j)是运动矢量，I_n-1(x，y)和I_n+1(x+i，y+j)分别是前、后关键帧位于(x，y)和(x+i，y+j)处的像素值，M＝N＝8是图像块的大小。

而且，所述步骤(1)中基于SAD阈值判断的flag标记的构造方法为：

$\mathrm{flag}\left(B\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{SAD}\left(\mathrm{AC}\right)<{\mathrm{Th}}_1\\ 0& \mathrm{if}& \mathrm{SAD}\left(\mathrm{AC}\right)<{\mathrm{Th}}_1\end{array}\right\}$

式中，A是前一关键帧中块A，C是后一关键帧中的最佳匹配块，SAD(AC)是二者之间的SAD值，B是当前WZ帧位于块A和C的运动矢量中点处的块，Th1是给定的阈值，该阈值Th1的选取方法如下：统计前、后关键帧所有匹配对的SAD值，根据SAD值的分布画出其分布直方图，选择直方图的谷底对应的SAD值，作为阈值Th1的值。

而且，所述步骤(2)中使用虚拟视点合成方法生成空间边信息Y2包括以下步骤：

(1)将参考摄像机C1中的二维平面点P(x₁，y₁)映射到三维空间坐标(u，v，w)：

[u，v，w]^T＝R(c₁)A^-1(c₁)[x₁，y₁，1]^TD(t，x₁，y₁)+T(c₁)

(2)将三维空间坐标(u，v，w)再映射成合成视点C2的坐标(x′，y′，z′)：

[x′，y′，z′]^T＝A(c₂)R^-1(c₂){[u，v，w]^T-T(c₂)}

(3)将上述得到的坐标转化为图像坐标，得到合成视点C2中点Q(x₂，y₂)

$\left\{\begin{array}{c}{x}_2=[x^{\&prime;}/z^{\&prime;}]\\ y_2=[y^{\&prime;}/z^{\&prime;}]\end{array}\right.$

其中，A(c)代表摄像机c的内在固有矩阵参数；R(c)代表摄像机c的旋转矩阵参数；T(c)代表摄像机c的一个线性偏移矢量；而D(t，x，y)代表参考图像的深度图在t时刻点(x，y)处的深度值；[·]表示取整运算。

而且，所述步骤(3)中采用基于灰度直方图匹配和SAD判决的边信息融合算法包括以下处理过程：

(1)计算时间边信息Y1中的块B1和空间边信息Y2中相同位置处的块B2之间的x²(B1，B2)，若x²(B1，B2)的值小于阈值Th2，则该位置处的最终边信息Y＝(Y₁+Y₂)/2；若x²(B1，B2)的值大于阈值Th2，进行步骤(2)；

(2)检查时间边信息Y1的基于SAD阈值判断的flag标记信息，若flag(B₁)为1，则该位置处的最终边信息为Y＝Y1；若flag(B₁)为0，进行步骤(3)；

(3)若x²(B1，B2)的值大于阈值Th2，并且flag(B₁)为0，则该位置处的最终边信息为Y＝Y2；

(4)逐块进行上述步骤，直至Y中的每块都计算出最终的边信息。

而且，所述x²(B1，B2)是通过对时间边信息Y1和空间边信息Y2进行以块为单位的灰度直方图匹配计算得到，其采用的数学模型为：

${\mathrm{\&chi;}}^2(p_1,p_2)=\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\frac{{(p_1\left(u\right)-p_2\left(u\right))}^2}{p_1\left(u\right)+p_2\left(u\right)}$

其中，u是每个像素的亮度值，其值分布在1到m之中，p(u)是像素值为u的像素点的个数，即p₁(u)和p₂(u)是两个需要比较的直方图。

而且，所述的阈值Th2是通过实验统计方法分析得出。

本发明的优点和积极效果是：

本发明采用基于块的灰度直方图匹配和对时间边信息中匹配块的最小绝对误差和(SAD)进行阈值判断的方法确定最终的边信息，有效地融合了时间和空间边信息，提高了最终边信息的质量和分布式多视点视频编码系统性能。本方法可以在不增加编码端计算复杂度的情况下更有效地融合时间边信息和空间边信息，充分利用多视点中的时空相关性，能够适用于多种运动情形：在缓慢或线性运动情况下，时间相关性较大，融合时优先选择时间边信息；在快速和非线性运动情况下，视点间的空间相关性较大，融合时根据各步判断优先选择空间边信息。

附图说明

图1为本发明的分布式多视点视频编码及解码框架示意图；

图2为运动补偿时间内插法生成时间边信息的原理图；

图3为实施例Foreman序列WZ帧与时间边信息及对应flag标记图；

图4为虚拟视点合成方法生成空间边信息的原理图；

图5为实施例Ballet序列的时间边信息、空间边信息、及二者的灰度直方图匹配情况图；

图6为DMVC边信息融合示意图；

图7为Breakdancer和Ballet序列不同方法生成的边信息的PSNR比较图；

图8为Breakdancer序列不同方法生成的SI和重构WZ帧主观质量比较图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于直方图匹配和SAD判决的DMVC边信息融合方法，采用在译码端时间边信息和空间边信息之间的直方图匹配判决，以及时间边信息基于块的SAD阈值判决。直方图匹配用于确定时间方向上的预测和空间方向上的预测之间的相似性，能够充分利用多视点视频中存在的时空相关性；SAD阈值判决用来判断时间方向上预测的可靠程度，用于选取更合适的边信息。本方法通过直方图匹配和SAD阈值双重判断可有效提高分布式多视点视频编码系统的边信息质量，从而提高系统总体的译码性能。下面对本发明进行详细说明：

分布式多视点视频编码是一种全新的视频编码模式，采用帧内编码、帧间解码的方式，将计算复杂度从编码端转移到解码端。如图1所示，DMVC在编码端将视频序列分为两种类型：一种是关键帧，采用传统的帧内编解码方式进行编码和传输；另一种称为WZ帧，采用帧内编码、帧间解码的WZ编码方式。边信息SI是在译码端通过对参考关键帧进行某些运算和操作，得到的当前WZ帧的估计值，用于信道译码和重构，得到最后的译码WZ帧。边信息的质量是决定系统性能的重要因素之一。在DMVC中，可以利用同一视点内时间方向上的相关性生成时间边信息，同时也可以利用不同视点之间的空间相关性生成空间边信息。边信息融合算法就是对可用的时间边信息和空间边信息进行有效整合，使融合后的边信息更接近WZ帧，从而提高译码和重构的质量。

本发明的DMVC系统边信息融合方法包括以下步骤：

步骤1：使用运动补偿时间内插法生成时间边信息Y1，同时采用最小绝对误差和SAD作为判断准则寻找最佳匹配块并构造基于SAD阈值判断的flag标记。

在本步骤中，对当前视点中i时刻的WZ帧，在译码端使用其前一时刻和后一时刻的关键帧通过运动补偿时间内插法生成WZ帧的边信息Y1。运动补偿时间内插法(Motion Compensate Temporal Ihterpolation，MCTI)的原理如图2所示，同时使用前向运动估计与双向运动估计，并使用空间运动平滑法来降低错误运动矢量的数目，进一步提高运动矢量的空间相关性。该方法能够充分挖掘相邻帧在时域和空域的相关性，找到最接近真实运动场景的运动矢量。运动补偿时间内插法(MCTI)的计算公式如下：

$Y_i(x,y)=\frac{X_{i-1}(x+i_B,y+j_B)+X_{i+1}(x+i_F,y+j_F)}{2}$

其中，X_i表示当前的WZ帧，Y_i表示X_i的边信息，X_i-1和X_i+1表示与当前帧相邻的前后关键帧，(x，y)表示当前帧X_i中像素的位置。(i_B，j_B)和(i_F，j_F)分别表示X_i-1和X_i+1运动向量。

在使用MCTI生成时间边信息Y1过程中，采用最小绝对误差和SAD作为判断准则寻找最佳匹配块，该最小绝对误差和SAD的计算公式如下：

$\mathrm{SAD}(i,j)=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}|I_{n-1}(x,y)-I_{n+1}(x+i,y+j)|$

其中，(i，j)是运动矢量，I_n-1(x，y)和I_n+1(x+i，y+j)分别是前、后关键帧位于(x，y)和(x+i，y+j)处的像素值，M＝N＝8是图像块的大小。

基于SAD阈值判断的flag标记的构造方法为：对前一关键帧中块A，其在后一关键帧中的最佳匹配块是C，二者之间的SAD值记为SAD(AC)，B是当前WZ帧位于块A和C的运动矢量中点处的块。如果SAD(AC)小于阈值Th1，将flag(B)标记为1，认为AC是时间方向上预测的实际最佳匹配块；如果SAD(AC)大于阈值Th1，标记flag(B)为0，认为A和C的时间预测值不够准确。该flag标记构造规则如下：

$\mathrm{flag}\left(B\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{SAD}\left(\mathrm{AC}\right)<{\mathrm{Th}}_1\\ 0& \mathrm{if}& \mathrm{SAD}\left(\mathrm{AC}\right)<{\mathrm{Th}}_1\end{array}\right\}$

其中，SAD(AC)是指前一关键帧中块A与后一关键帧中最佳匹配块C之间的SAD值，B是当前WZ帧位于块A和C的运动矢量中点处的块，Th1是给定的阈值。

其中，阈值Th1的选取方法如下：统计前、后关键帧所有匹配对的SAD值，根据SAD值的分布画出其分布直方图，选择直方图的谷底对应的SAD值，作为阈值Th1的值。

图3展示了使用SAD阈值形成flag标记的仿真实例结果。其中仿真环境为matlab.R2010b，仿真实验选用标准视频序列库中Foreman序列的连续100帧进行测试，采用QCIF(176×144)格式，速率为30fps。实验视频序列分组设置为：奇数帧为关键帧，偶数帧为WZ帧。在解码端，对已解码的关键帧使用运动补偿时间内插法生成边信息，用于中间WZ帧的解码，解码端误码门限设定为P_e＝10^-3。图3(a)是原始帧(Foreman序列第9帧)，图3(b)为第9帧使用MCTI生成的边信息，图中人的嘴部有较大的失真和块效应，此区域的匹配只是相对于当前帧其他块更加匹配目标块，但其实际效果很差，图3(c)中黑色的块即为flag标记中为0的区域。由图可知，flag标记大多数集中都在MCTI出现误匹配的地方，如人的嘴部和脖子处，证明对匹配块进行SAD阈值判断的方法是有效的。

步骤2：使用虚拟视点合成方法生成空间边信息Y2。

在DMVC系统不同摄像机之间视频分组情况如下表所示。这种分组结构能够确保每个WZ帧在时间方向上前后相邻参考帧是关键帧，同时在相邻左右视点的同一时刻的参考帧也都是关键帧。

如图4所示，采用虚拟视点合成(View Synthesis Predication，VSP)方法生成空间边信息Y2的过程包括以下步骤：

1、将参考摄像机C1中的二维平面点P(x₁，y₁)映射到三维空间坐标(u，v，w)：

[u，v，w]^T＝R(c₁)A^-1(c₁)[x₁，y₁，1]^TD(t，x₁，y₁)+T(c₁)

2、将三维空间坐标(u，v，w)再映射成合成视点C2的坐标(x′，y′，z′)：

[x′，y′，z′]^T＝A(c₂)R^-1(c₂){[u，v，w]^T-T(c₂)}

3、将上述得到的坐标转化为图像坐标，得到合成视点C2中点Q(x₂，y₂)

$\left\{\begin{array}{c}{x}_2=[x^{\&prime;}/z^{\&prime;}]\\ y_2=[y^{\&prime;}/z^{\&prime;}]\end{array}\right.$

其中，A(c)代表摄像机c的内在固有矩阵参数；R(c)代表摄像机c的旋转矩阵参数；T(c)代表摄像机c的一个线性偏移矢量；而D(t，x，y)代表参考图像的深度图在t时刻点(x，y)处的深度值；[·]表示取整运算。

步骤3：采用基于灰度直方图匹配和SAD判决的边信息融合算法对时间边信息Y1和空间边信息Y2进行有效融合得到最终的边信息。

本步骤是对时间边信息Y1和空间边信息Y2进行有效融合，得到高质量的最终的边信息，以提高译码WZ帧的质量，如图6所示。本边信息融合算法包括以下步骤：

1、计算时间边信息Y1中的块B1和空间边信息Y2中相同位置处的块B2之间的x²(B1，B2)，若x²(B1，B2)的值小于阈值Th2，则该位置处的最终边信息Y＝(Y₁+Y₂)/2；若x²(B1，B2)的值大于阈值Th2，进行步骤2；

在本步骤中，计算x²(B1，B2)是对时间边信息Y1和空间边信息Y2进行以块为单位的灰度直方图匹配，其采用的数学模型为：

${\mathrm{\&chi;}}^2(p_1,p_2)=\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\frac{{(p_1\left(u\right)-p_2\left(u\right))}^2}{p_1\left(u\right)+p_2\left(u\right)}$

其中，u是每个像素的亮度值，其值分布在1到m之中，p(u)是像素值为u的像素点的个数，即p₁(u)和p₂(u)是两个需要比较的直方图。阈值Th2的取值是通过多次实验统计分析得出。

直方图匹配可以度量不同图像中相似物体的相似性，匹配程度越大，说明待比较图像越相似。图5显示使用直方图匹配的仿真实例结果。其中仿真环境为matlab.R2010b，选用标准视频序列库中Ballet序列的cam4进行测试，采用352×264的分辨率。在解码端使用cam3和cam5同时刻的关键帧生成cam4的WZ帧的空间边信息。图5(a)为时间边信息Y1(Ballet序列cam4第2帧)，图5(b)空间边信息Y2，图5(c)为第2帧直方图匹配的结果，块大小取为16×16，每个方格表示对应块的χ²值，颜色越深表示χ²值越大，此时Y1和Y2的匹配程度越小。由图可看出两个边信息在中间舞者处有不匹配的情况，图5(c)中间的黑块表示该处的直方图匹配程度差，证明直方图匹配方法的有效性。

2、检查时间边信息Y1的基于SAD阈值判断的flag标记信息，若flag(B₁)为1，则该位置处的最终边信息为Y＝Y1；若flag(B₁)为0，进行步骤3；

3、若x²(B1，B2)的值大于阈值Th2，并且flag(B₁)为0，则该位置处的最终边信息为Y＝Y2。

4、逐块进行上述步骤，直至Y中的每块都计算出最终的边信息。以上判断步骤，其表现形式如下：

$Y\left(B\right)=\left\{\begin{array}{c}\begin{array}{ccc}(Y_1+Y_2)/2& \mathrm{if}& {\mathrm{\&chi;}}^2(B_1,B_2)<{\mathrm{Th}}_2\end{array}\\ \left\{\begin{array}{ccc}{Y}_1& \mathrm{if}& \mathrm{flag}\left(B_1\right)=1\&cap;{\mathrm{\&chi;}}^2(B_1,B_2)>{\mathrm{Th}}_2\\ Y_2& \mathrm{if}& \mathrm{flag}\left(B_1\right)=0\&cap;{\mathrm{\&chi;}}^2(B_1,B_2)>{\mathrm{Th}}_2\end{array}\right..\end{array}\right.$

下面以一个仿真实例验证本发明的效果。在仿真实例验证中采用的仿真环境为matlab.R2010b，仿真实验分别选用标准视频序列库中运动剧烈程度较大的Breakdancer序列和运动较为缓慢的Bal let序列的cam4中连续100帧进行测试，对原始视频序列进行下采样得到352×264的分辨率格式，帧率为15帧/秒。视频分组结构采用上述的DMVC分组设置：中间摄像机cam4的奇数帧被编码为关键帧，偶数帧为WZ帧，左右摄像机cam3和cam5采用与cam4相反的序列分组。

在实验过程中考虑WZ帧亮度分量的平均峰值信噪比(PSNR)值，并且为不失一般性，测试结果与时间边信息、空间边信息和参考文献中的传统方法进行了对比。其中，关键帧统一采用H.264/JVT JM16编码器编码。实验对Breakdancer序列和Ballet序列cam4的连续100帧的WZ帧进行实验。

图7说明了不同方法的平均PSNR性能比较。其中，参考文献的方法优先选用时间边信息，只有在判断时间边信息失效的情况下才使用空间边信息。对图7(a)，Breakdancer序列运动剧烈，MCTI中线性运动假设前提不成立，时间边信息的质量比空间边信息质量差，使用本发明生成的边信息的PSNR比参考方法高出约4.37dB。对图7(b)，Ballet序列运动平缓，时间边信息质量良好；由于摄像机之间位置和角度的差别较大，空间边信息的质量比时间边信息差；使用本发明生成的边信息的PSNR比参考方法高出约1.06dB。由此可知，本发明能够适用于不同运动强度的视频，能够更好的利用时间和空间的相关性，融合效率更高。

图8显示了Breakdancer序列cam4中第2帧边信息和译码WZ帧的主观质量对比图。图8(a)和图8(b)分别是使用本发明生成的边信息及参考文献方法的边信息。相比于参考方法，使用本发明的边信息主观质量更好，并且PSNR性能高于约1.96dB。图8(c)和图8(d)分别是上述两种边信息的译码后的重构WZ帧，此处使用matlab.R2010b中自带的LDPC函数进行定长度的信道编码，在信道中传输了全部校验位，不需要反馈信道。本发明对cam4的100帧进行测试，重构后的图像质量比参考方法平均高约1.6dB。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：包括以下步骤：

⑴使用运动补偿时间内插法生成时间边信息Y1，同时采用最小绝对误差和作为判断准则寻找最佳匹配块并构造基于SAD阈值判断的flag标记；

⑵使用虚拟视点合成方法生成空间边信息Y2；

⑶采用基于灰度直方图匹配和SAD判决的边信息融合算法对时间边信息Y1和空间边信息Y2进行融合得到最终的边信息。

2.根据权利要求1所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述步骤⑴中运动补偿时间内插法采用如下计算公式：

$Y_i(x,y)=\frac{X_{i-1}(x+i_B,y+j_B)+X_{i+1}(x+i_F,y+j_F)}{2}$

式中，X_i表示当前的WZ帧，Y_i表示X_i的边信息，X_i-1和X_i+1表示与当前帧相邻的前后关键帧，(x,y)表示当前帧X_i中像素的位置，(i_B,j_B)和(i_F,j_F)分别表示X_i-1和X_i+1运动向量。

3.根据权利要求1所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述步骤⑴中最小绝对误差和采用如下计算公式：

$\mathrm{SAD}(i,j)=\underset{x=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}|I_{n-1}(x,y)-I_{n+1}(x+i,y+j)|$

式中，(i,j)是运动矢量，I_n-1(x,y)和I_n+1(x+i,y+j)分别是前、后关键帧位于(x,y)和(x+i,y+j)处的像素值，M＝N＝8是图像块的大小。

4.根据权利要求1所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述步骤⑴中基于SAD阈值判断的flag标记的构造方法为：

$\mathrm{flag}\left(B\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{SAD}\left(\mathrm{AC}\right)<{\mathrm{Th}}_1\\ 0& \mathrm{if}& \mathrm{SAD}\left(\mathrm{AC}\right)>{\mathrm{Th}}_1\end{array}\right\}$

式中，A是前一关键帧中块A，C是后一关键帧中的块A的最佳匹配块，SAD(AC)是二者之间的SAD值，B是当前WZ帧位于块A和C的运动矢量中点处的块，Th1是给定的阈值，该阈值Th1的选取方法如下：统计前、后关键帧所有匹配对的SAD值，根据SAD值的分布画出其分布直方图，选择直方图的谷底对应的SAD值，作为阈值Th1的值。

5.根据权利要求1所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述步骤⑵中使用虚拟视点合成方法生成空间边信息Y2包括以下步骤：

⑴将参考摄像机C1中的二维平面点P(x₁,y₁)映射到三维空间坐标(u,v,w)：

[u,v,w]^T＝R(c₁)A^-1(c₁)[x₁,y₁,1]^TD(t,x₁,y₁)+T(c₁)

⑵将三维空间坐标(u,v,w)再映射成合成视点C2的坐标(x',y',z')：

[x',y',z']^T＝A(c₂)R^-1(c₂){[u,v,w]^T-T(c₂)}

⑶将上述得到的坐标转化为图像坐标，得到合成视点C2中点Q(x₂,y₂)：

$\left\{\begin{array}{c}{x}_2=[x^{\&prime;}/z^{\&prime;}]\\ y_2=[y^{\&prime;}/z^{\&prime;}]\end{array}\right.$

其中，A(c)代表摄像机c的内在固有矩阵参数；R(c)代表摄像机c的旋转矩阵参数；T(c)代表摄像机c的一个线性偏移矢量；而D(t,x,y)代表参考图像的深度图在t时刻点(x,y)处的深度值；[·]表示取整运算。

6.根据权利要求1所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述步骤⑶中采用基于灰度直方图匹配和SAD判决的边信息融合算法包括以下处理过程：

⑴计算时间边信息Y1中的块B1和空间边信息Y2中相同位置处的块B2之间的灰度直方图匹配值，该灰度直方图匹配值使用x²（B1，B2）表示，若x²（B1，B2）的值小于阈值Th2，则该位置处的最终边信息Y=(Y₁+Y₂)/2；若x²（B1，B2）的值大于阈值Th2，进行步骤⑵；

⑵检查时间边信息Y1的基于SAD阈值判断的flag标记信息，若flag(B₁)为1，则该位置处的最终边信息为Y=Y1；若flag(B₁)为0，进行步骤⑶；

⑶若x²（B1，B2）的值大于阈值Th2，并且flag(B₁)为0，则该位置处的最终边信息为Y=Y2；

⑷逐块进行上述步骤，直至Y中的每块都计算出最终的边信息。

7.根据权利要求6所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述x²（B1，B2）是通过对时间边信息Y1和空间边信息Y2进行以块为单位的灰度直方图匹配计算得到，其采用的数学模型为：

${\mathrm{\&chi;}}^2({\mathrm{\&rho;}}_1,{\mathrm{\&rho;}}_2)=\underset{u=1}{\overset{m}{\mathrm{\&Sigma;}}}\frac{{({\mathrm{\&rho;}}_1\left(u\right)-{\mathrm{\&rho;}}_2\left(u\right))}^2}{{\mathrm{\&rho;}}_1\left(u\right)+{\mathrm{\&rho;}}_2\left(u\right)}$

其中，u是每个像素的亮度值，其值分布在1到m之中，p(u)是像素值为u的像素点的个数，即p₁(u)和p₂(u)是两个需要比较的直方图。

8.根据权利要求6所述的基于直方图匹配和SAD判决的DMVC边信息融合方法，其特征在于：所述的阈值Th2是通过实验统计方法分析得出。

Images