CN100531397C - 用于设置数字视频的运动矢量的方法 - Google Patents

Abstract

一种用于设置数字视频的运动矢量的方法，包括使用二个运动矢量计算分配给分辨率降低的宏块的最终运动矢量，该二个运动矢量是在四个相邻的宏块的运动矢量中彼此之间具有最高的相关性的两个运动矢量。

Description

用于设置数字视频的运动矢量的方法

技术领域

本发明涉及一种用于设置数字视频的运动矢量的方法，并且具体地说涉及一种用于设置数字视频的运动矢量的方法，其能够将压缩的数字视频转换为具有低分辨率的视频。

背景技术

在数字视频编码技术(例如，H.261、H.263、MPEG等等)中，使用16×16亮度宏块估算运动矢量，其中每个宏块具有一个运动矢量。

例如，图1示出了降低分辨率过程的一般原理，其中原始图像的宽度和长度被缩减一半。在这个例子中，分辨率缩减过程被应用到16×16宏块的每个8×8块，其中一个16×16宏块被缩减为一个8×8块。

对于数字视频的I画面和P画面单元，按照如图1所示降低该分辨率。但是，对于P画面单元，需要一附加过程，以选择运动矢量来降低该分辨率。

例如，图2示出了用于P画面单元的分辨率降低技术。如图2所示，从该P画面单元的四个相邻的宏块(M1、M2、M3和M4)到一个宏块(N)降低该分辨率。在降低分辨率过程之前，以中间编码(inter code)模式编码每个宏块(Mi)，并且其具有运动矢量mv_i和预测误差块e_ij(i，j＝1，2，3，4)。

更详细地说，该宏块(M₁)的四个块e₁₁～e₁₄的每一个被缩减为一个块(e₁)。同样地，在M₂中四个块的每一个被缩减为一个块(e₂)，在M₃中四个块的每一个被缩减为一个块(e₃)等等。然后，在降低分辨率过程之后，分配给每个分辨率降低的预测误差块(e_i)的中间运动矢量(mv_i’)由以下等式(1)获得：

${\mathrm{mv}}_i^{\′}=\frac{{\mathrm{mv}}_i}{2}---\left(1\right)$

这里mv_i是一个在分辨率过程降低之前输入的运动矢量，并且对应于该宏块的宽度和长度被降低一半的时间。

在常规的视频编码技术中，该分辨率降低的宏块(N)是由一个运动矢量(mv)表示的，因为一个宏块具有一个运动矢量。

使用以下三种方法来设置该运动矢量(mv)。第一种方法在T.Shanableh和M.Ghanbari于2000年6月撰写的文章“Heterogeneous videotranscoding to lower spatio-temporal resolutions and different encodingformats(不同种类的视频代码转换为低时空分辨率和不同的编码格式)，IEEE Trans，Multimedia，Vol.2，No.2，pp.101-110”中介绍。在这个第一种方法中，最终的运动矢量是通过使用以下等式(2)对四个输入运动矢量来平均中间运动矢量计算的：

$\mathrm{mv}=\frac{{\mathrm{mv}}_1^{\′}+{\mathrm{mv}}_2^{\′}+{\mathrm{mv}}_3^{\′}+{\mathrm{mv}}_4^{\′}}{4}---\left(2\right)$

第二种运动矢量设置方法在同一个文章中提出，其中该最终的运动矢量是使用用于四个输入运动矢量的每个中间值来计算的。首先，定义中间矢量(mv′₁，mv′₂，mv′₃，mv′₄)，并且然后使用下面的欧几里德距离等式(3)计算在中间矢量之间的距离：

$d_i=\underset{j=1,j\≠i}{\overset{4}{\mathrm{\Σ}}}\left|\right|{\mathrm{mv}}_i^{\′}-{\mathrm{mv}}_j^{\′}\left|\right|---\left(3\right)$

作为最终的运动矢量(mv)，通过比较欧几里德距离设置位置最靠近于每个矢量的运动矢量。

被称作AMVR(自适应的运动矢量重复取样)方法的第三种运动矢量设置方法在B.Shen，I.Sethi和V.Bhaskaran于1999年9月撰写的文章“adaptive motion vector resampling for compressed video down-scaling(用于压缩视频缩减的自适应的运动矢量重复取样)，IEEE Trans.Circuits Syst.Video Technol.，Vol.9，No.6，pp.929-936”中提出。在这个方法中，对于四个输入宏块，经由DCT(离散余弦变换)系数(非“0”)的数目获得每个占空系数(activity)，并且使用占空系数作为加权值获得四个运动矢量的平均值，以设置分辨率降低的宏块的最终运动矢量。

但是，现有技术的运动矢量设置降低分辨率方法并未精确地计算该分辨率降低的宏块的最终运动矢量。

例如，图3示出了在平坦区域中四个相邻的宏块的运动矢量。即使在其中图像特性没有很多的变化的平坦区域中，一个由BMS(块匹配算法)获得的运动矢量可以具有非常不同于其他三个运动矢量的值。即，存在一个高的概率，即按照现有技术运动矢量设置方法(其中运动矢量被简单地相加，然后除以4，以计算最终的运动矢量或者使用平均值作为该最终的运动矢量)计算的最终运动矢量具有与图3的现有运动矢量完全不同的值。因此，最后的分辨率降低的图像的画面质量恶化。

在这里完全包括上述文章并引入作为参考。

发明内容

因此，本发明的一个目的是至少解决上述问题和/或缺点，并且至少提供下文中描述的优点。

本发明的另一个目的是当压缩的数字视频被转换为具有低分辨率的图像的时候，使用二个运动矢量设置一个精确的运动矢量，该二个运动矢量是在四个运动矢量中彼此之间具有最高的相关性的两个运动矢量。

本发明的又一个目的是通过降低求精(refine)运动矢量需要的求精范围的大小来提高处理速率。

为了至少全部或部分地实现上述目的，在一个例子中，本发明提供了一种用于设置数字视频的运动矢量的新颖的方法，其用于降低压缩和存储的数字视频的分辨率。该方法包括使用二个运动矢量计算分配给分辨率降低的宏块的最终运动矢量以处理为一个宏块，该二个运动矢量是在四个相邻的宏块的运动矢量中、相互之间具有最高的相关性的二个运动矢量。

根据本发明的另一方面，一种用于设置具有多个宏块的数字视频的运动矢量的方法，其包括：从四个相邻的宏块的运动矢量中选择在彼此之间具有最高的相关性的二个运动矢量以处理为一个宏块；和使用所选的二个运动矢量计算要分配给一个分辨率降低的宏块的最终运动矢量。

根据本发明的另一方面，一种用于设置数字视频的运动矢量的方法，其包括：计算在四个相邻的宏块的多个运动矢量的二个运动矢量之间的相关性以处理为一个宏块；选择在彼此间具有最高的相关性的二个运动矢量；计算该选择的二个运动矢量的平均值；和基于该平均值计算要分配给分辨率降低的宏块的最终运动矢量。

本发明的其它优点、目的和特征将在随后的说明中部分地描述，经过以下检验或从本发明的实践中学习，上述优点、目的和特征对于本领域的普通技术人员来说是显而易见的。本发明的目的和优点可以如所附权利要求书中所特别指出的来实现和获得。

附图说明

下面将参考附图详细地描述本发明，其中相同的参考数字表示相同的单元，其中：

图1示出了一般的块单元分辨率降低技术；

图2示出了一种根据现有技术的用于降低P图片分辨率的技术；

图3示出了在平坦区域中四个相邻宏块的运动矢量；

图4是根据本发明的用于设置数字视频的运动矢量方法的流程图；

图5是示出了在本发明的运动矢量设置方法和现有技术的性能之间的比较的曲线图；

图6是示出了在作为本发明的运动矢量设置方法的图像的画面质量和现有技术的画面质量之间的比较的曲线图；并且

图7是示出了对图6的运动矢量的求精应用的曲线图。

具体实施方式

现在将参考附图描述根据本发明的用于设置数字视频的运动矢量的方法。

如上所述，因为使用每个相邻的运动矢量计算最终的运动矢量，在实施分辨率降低过程之前，一个运动矢量显著地不同于另一个运动矢量，并且在该分辨率降低过程之后，该最终的运动矢量具有与在分辨率降低过程之前的该运动矢量完全不同的值。因此，分辨率降低的图像的画面质量恶化。

此外，当使用MVR(运动矢量求精，Motion Vector Refinement)计算精确的运动矢量的时候，求精范围的大小增加，因此计算量与该大小成比例增加，引起增加系统负载。

本发明人确定存在一个高的概率，即，在其中图像没有很多的变化的区域中，在四个相邻的宏块的运动矢量之间至少二个宏块的运动矢量具有高的相关性。因此，本发明有利地使用在彼此之间具有最高的相关性的二个运动矢量计算最终的运动矢量。

更详细地说，图4是一示出了根据本发明的用于设置数字视频的运动矢量方法的流程图。首先，从四个运动矢量中选择在彼此之间具有最高的相关性的二个运动矢量(步骤S11)。即，在彼此之间具有最高的相关性的二个运动矢量(mv_i，mv_j)是使用以下等式(4)从四个相邻的宏块的运动矢量中选择出来的：

$D(i,j)=\arg \underset{i\≠j}{\min }\left(\right|{\mathrm{mx}}_i-{\mathrm{mx}}_j|+|{\mathrm{my}}_i-{\mathrm{my}}_j\left|\right)---\left(4\right)$

这里mx_i，my_i是任意的运动矢量mv_i(i，j＝1，2，3，4，...，i≠j)的水平和垂直分量的值。

代入等式(4)中的运动矢量的相关性越高，该结果就会越低。因此，使用等式(4)可以找到在彼此之间具有最高的相关性的二个运动矢量。

在从四个运动矢量中选择出在彼此之间具有最高的相关性的二个运动矢量(mv_i，mv_j)之后，使用以下等式(5)获得该运动矢量的平均值(MV)(步骤S12)：

${\mathrm{mv}}^{\′}=\frac{{\mathrm{mv}}_i+{\mathrm{mv}}_j}{2}---\left(5\right)$

然后，将该运动矢量的平均值(mv′)代入以下等式(6)，以获得对应于分辨率降低的宏块的最终运动矢量(mv)(步骤S13)：

$\mathrm{mv}=\frac{{\mathrm{mv}}^{\′}}{2}---\left(6\right)$

最终的运动矢量(mv)将具有与在分辨率降低处理过程之前的二个运动矢量相同的值，以便对于至少二个宏块进行精确的运动补偿。

此外，为了提高图像的画面质量，可以根据用户的选择求精(refine)最终的运动矢量(步骤S 14)。即，可以在由用户预先设置的小范围中做出分配给分辨率降低的宏块的最终运动矢量。

接下来，图5是示出在本发明的运动矢量设置方法和现有技术的性能之间的比较的曲线图。

参考图5，由7Mbps比特速率MPEG-1编码的CCIR(国际无线电咨询委员会)601标准的“足球”图像的50帧分辨率(704×480)被降低为SIF(源输入格式)(352×240)。

在该曲线图中，纵轴对应于平均PSNR(峰值信噪比)，该横轴对应于运动矢量求精范围的大小。如图5所示，本发明产生比现有技术的运动矢量设置方法更好的画面质量。

此外，如果该运动矢量没有被求精，本发明的运动矢量设置方法的PSNR与使用平均值的现有运动矢量设置方法相比呈现大约0.6dB的画面质量的改善。在这种情况下，PSNR是一个表示恢复的图像的画面质量的客观评价的值，并且该PSNR值越高，原始图像的保存速率越高。

因此，通过使用本发明的运动矢量设置方法计算最终的运动矢量，可以降低求精该运动矢量需要的求精范围的大小。因此，可以降低求精过程需要的计算量。

接下来，图6是一示出了本发明和现有技术的画面质量比较的曲线图。在图6中，客观地比较每个图像的画面质量，以6.5Mbps比特速率MPEG-2编码的CCIR-601标准编码的“花园”的图像的分辨率被降低为SIF标准。

如图6所示，根据本发明的运动矢量设置方法比使用平均值的现有技术运动矢量设置方法具有更高的PSNR，大约平均高0.3～0.7dB。

接下来，图7是一示出了对图6的运动矢量的求精应用的曲线图，其中该求精范围是[-2，+2]，并且对于在本发明和现有领域之间的可靠比较，将完整搜索方法应用于[-2，+2]。如图所示，本发明提供了更好的图像。

此外，图7的PSNR与图6的PSNR的比较示出了提高了本发明的方法和现有技术方法的画面质量。此外，与如图6所示的结果相比，在图7中本发明和现有技术方法的PSNR的差值的量降低了。

PSNR的差值被降低的原因是因为提取根据现有技术运动矢量设置方法获得的不精确的运动矢量作为接近于根据运动矢量的求精的最优运动矢量的运动矢量，并且该提取的运动矢量接近于通过对根据本发明获得的运动矢量求精而获得的结果值。

但是，虽然使用求精降低了在图7中在本发明和现有技术运动矢量设置方法之间性能的差别，当求精范围增加时，需要计算的量以几何级数增加。

因此，如图5所示，与现有技术的方法相比，根据本发明的运动矢量设置方法可以采用很小的求精范围，从而降低计算量，并很好地改善性能。

换句话说，在本发明的方法中，当将压缩和存储的数字视频转换为具有低的分辨率的图像，以便编辑和发送时，从四个相邻的宏块的运动矢量中选择在每个之间具有最高的相关性的二个运动矢量，以获得要分配给分辨率降低的宏块的最终运动矢量。因此，与现有技术的方法相比，可以计算精确的运动矢量。

如迄今为止所描述的，根据本发明的用于设置数字视频的运动矢量的方法至少具有以下优点。

例如，第一，使用在四个相邻的宏块的运动矢量中具有最高的相关性的二个运动矢量获得分辨率降低的宏块的运动矢量，使得可以计算最优运动矢量，以精确补偿至少二个宏块的运动。

第二，通过计算要分配给分辨率降低的宏块的精确的运动矢量，分辨率降低的数字视频的恢复的图像的画面质量增强。

第三，通过降低求精运动矢量需要的求精范围的大小，降低计算量，改善运动矢量的求精处理速率，并且降低根据运动矢量的求精的系统负载。

对于那些计算机领域的普通技术人员来说，很明显，可以方便地使用常规的通用数字计算机或者根据本说明书的教导编程的微处理器来实现本发明。并且对于那些软件领域的普通技术人员来说，很明显，基于当前公开的教导，可以容易地由熟练的程序员制备适当的软件编码。对于那些本领域普通技术人员来说，很明显，还可以通过制备特定用途集成电路或者通过互连现有组件电路的适宜网络来实现本发明。

本发明包括计算机程序产品，其是包括可用于编程计算机以执行本发明的处理过程的指令的存储介质。该存储介质可以包括，但是不限于任何类型的盘，包括软盘、光盘、CD-ROM和磁光盘、ROM、RAM、EPROM、EEPROM、磁或者光卡，或者适于存储电子指令的任何类型的介质。

上述实施例和优点仅仅是示范性的，并且不应被理解为限定本发明。当前的教导可以很容易地应用于其他类型的装置。本发明的描述意在为说明性的，而不限定该权利要求的范围。对于那些本领域普通技术人员来说，很多的替换、修改和变更是显而易见的。

Claims (15)

1.一种用于设置数字视频的运动矢量的方法，其包括：

使用二个运动矢量计算分配给分辨率降低的宏块的最终运动矢量以处理为一个宏块，该二个运动矢量是在四个相邻的宏块的运动矢量中彼此之间具有最高的相关性的二个运动矢量。

2.如权利要求1所述的方法，进一步包括：

使用下面等式计算在二个运动矢量之间的相关性：

$D(i,j)=\arg \underset{i\≠j}{\min }\left(\right|{\mathrm{mx}}_i-{\mathrm{mx}}_j|+|{\mathrm{my}}_i-{\mathrm{my}}_j\left|\right)$

这里i，j＝1，2，3，4，且i≠j，并且mx_i，my_i是该运动矢量的水平和垂直分量的值。

3.如权利要求2所述的方法，其中，该等式的结果越低，在该二个运动矢量之间的相关性越高。

4.如权利要求1所述的方法，其中，计算该最终运动矢量的步骤进一步包括：

获得在彼此中间具有最高的相关性的二个运动矢量的平均值。

5.如权利要求4所述的方法，其中，该最终运动矢量是使用下面等式计算的：

$\mathrm{mv}=\frac{{\mathrm{mv}}^{\′}}{2}$

这里mv′是所述二个运动矢量的平均值。

6.如权利要求1所述的方法，进一步包括：

求精要分配给分辨率降低的宏块的最终运动矢量。

7.如权利要求6所述的方法，进一步包括：

由用户设置要求精的视频范围。

8.如权利要求1所述的方法，其中，该数字视频的分辨率被降低一半。

9.如权利要求6所述的方法，其中，该相关性是使用下面等式计算的：

$D(i,j)=\arg \underset{i\≠j}{\min }\left(\right|{\mathrm{mx}}_i-{\mathrm{mx}}_j|+|{\mathrm{my}}_i-{\mathrm{my}}_j\left|\right)$

这里i，j＝1，2，3，4，且i≠j，并且mx_i，my_i是该运动矢量mv_i的水平和垂直分量的值。

10.如权利要求9所述的方法，其中，该等式的结果越低，该相关性越高。

11.如权利要求6所述的方法，其中，计算最终运动矢量的步骤进一步包括：

获得在彼此间具有最高的相关性的二个运动矢量的平均值；和

使用该平均值获得要分配给分辨率降低的宏块的最终运动矢量。

12.如权利要求11所述的方法，其中，获得该最终运动矢量是通过将该平均值除以2计算的。

13.如权利要求4所述的方法，进一步包括：

求精要分配给分辨率降低的宏块的最终运动矢量。

14.如权利要求4所述的方法，其中，该相关性是使用下面等式计算的：

$D(i,j)=\arg \underset{i\≠j}{\min }\left(\right|{\mathrm{mx}}_i-{\mathrm{mx}}_j|+|{\mathrm{my}}_i-{\mathrm{my}}_j\left|\right)$

这里i，j＝1，2，3，4，且i≠j，并且mx_i，my_i是该运动矢量mv_i的水平和垂直分量的值。

15.如权利要求14所述的方法，其中，该等式的结果越低，该相关性越高。

Images