CN1127970A - 利用逐象素的运动预测对视频信号进行编码的方法和装置 - Google Patents

Abstract

用在运动补偿视频信号编码器中的装置，用于根据数字视频信号的当前帧和一以前帧确定预测的当前帧，包括：用于从含于该以前帧的象素中选择若干象素的单元；用于检测该当前帧与以前帧间的第一组运动矢量的单元；用于通过使用该第一组运动矢量产生含于当前帧的所有象素的运动矢量的单元；用于分配含于所述以前帧的各象素的值作为当前帧的象素之一的值的单元。

Description

利用逐象素的运动预测对视频信号 进行编码的方法和装置

本发明涉及一种对视频信号编码的方法和装置，更具体地，涉及一种利用逐象素的运动预测技术对视频信号进行编码的方法和装置。

众所周知，发送数字视频信号比发送模拟信号能获得高得多的视频图像质量。当以数字形式来表示一个含有一系列图象“帧”的图象信号时，要产生大量的用于发送的数据，对于高清晰度电视系统则尤其如此。然而由于传统的发射频道可利用的频率带宽是有限的，因而为了在该频道中发送大量的数字数据就不得不压缩或减少发送数据的量。在各种视频压缩技术中，公认最有效的技术是所谓的混合编码技术，它把时间和空间压缩技术同统计编码技术结合在一起。

大多数混合编码技术采用运动补偿DPCM(差分脉冲编码调制)，二维DCT(离散余弦变换)，DCT系数量化，以及VLC(变长度编码)。运动补偿DPCM是这样一种处理，它估算当前帧与其以前帧之间目标的运动，并根据该目标体的运动流对当前帧进行预测，以产生表征当前帧同其预测情况之间的差别的差分信号。这一方法在例如下述文献中已有说明：Staffan Ericsson的，“Fixed andAdaptire Predictors forHybrid Pridictive/Transform Coding(混合预测/变换编码的固定和自适应预测器)”，IEEE Transactions on Communications，COM-33，No.12(1985年12月)；Ninmiya和Ohtsuka的，“A Motion-Compensated Interframe Coding Scheme for Television Pictures”，(“一种电视图象的运动补偿帧间编码方案”，IEEE Transactions on Communications，COM-30，No.1(1982年1月)。

二维DCT可减少或使用图象数据之间的空间冗余，它把一个数字图象数据块，比如8×8象素的图象数据块，转换成一组变换系数数据。该技术在Chen和Pratt的，”Scene Adaptive Coder(景象自适应编码器)”，IEEE Transactions on Communications，COM-32，No.3(1984年3月)中已有说明。通过借助于量化器、折线扫描及VLC对这种变换系数数据进行处理，则要发送的数据量能被有效地压缩。

具体地说，在运动补偿DPCM中，当前帧数据是根据对当前帧和其以前帧之间的运动的估算而从相应的前一帧数据预测出来的。这种估算的运动可以用代表前一帧和当前帧之间的象素位移的二维矢量来描述。

对目标的象素的位移进行估算有两种基本方式。一般地，可把它们分成两类：一类是逐块的估算，而另一类是逐象素的估算。

在逐块的运动估算中，当前帧的一个块同其以前帧的块逐一进行比较直到能够确定一最佳匹配为止。由此，将被发送的当前帧的上述的整个块的帧间位移矢量(即帧间象素块的运动大小)即可被估算。然而，在逐块的运动估算中，块的边缘的分块影响有可能在运动补偿处理过程中出现；并且如果在该块中的所有象素不能以相同的方式运动，则会导致很差的估算结果，从而降低整个画面的质量。

另一方面，利用逐象素的方式，其位移是对每一个象素确定的。该种技术可提供更为确切的象素值的估算并能够容易地处理比例变化(例如，变焦垂直于图象面的运动)。然而，在逐象素的方式中，由于运动矢量是就每一个象素而确定的，因而根本不可能将全部运动矢量发送给接收机。

为此，本发明的一个主要目的就是提供一种利用根据本发明的特征点的逐象素的改善了的运动估算和补偿技术。

依照本发明，提供了一种在运动补偿视频信号编码器中使用的装置，用于根据数字视频信号的一当前帧和其一以前帧确定一预测的当前帧。该装置包括：用于从包含于该以前帧的象素中选择若干象素的装置；用于检测在当前帧和以前帧之间的第一组运动矢量的装置，第一组运动矢量中的每个代表着每一所选的象素的运动；用于通过使用上述第一组运动矢量对所有包含于所述的当前帧中的象素，产生第二组运动矢量的装置；以及用于分配所述的以前帧中的每一象素的值作为所述的当前帧的一象素的值，用以确定预测当前帧的装置，其中所述的以前帧中的每一象素通过第二组运动矢量中之一与所述的当前帧中的一个象素相对应。

本发明的上述及其他目的和特点将通过结合附图对下面较佳实施例的说明得以体现。附图中：

图1是依据本发明的一图象信号编码装置，其具有一当前帧的预测模块；

图2示出了图1中的当前帧预测模块的详细的方框图。

图3例示出一个帧，以定义特征点。

图4A和4B示出两类用于选择特征点的格网图。

图5A和图5B表示出通过使用网格和边线来选择特征点的技术。

图6示出了一种用于检测非准特征点的运动矢量的方法。

图1示出了具有本发明的当前帧预测模块的图象信号编码装置的一较佳实施例。按图1所示，一当前帧信号被存储于第一帧存储器100中，该存储器通过线路L11与一减法器102相连，并通过线路L10同一当前帧预测模块相连。

在当前帧预测模块150，线路L10上的从第一帧存储器中取出的一当前帧信号及线路L12上的从第二帧存储器124中取出的一重建的以前帧信号被处理以在一个象素一个象素的基础上对当前帧进行预测，从而在线路L30上产生一预测的当前帧信号和在线路L20上产生一组特征点的运动矢量。当前帧预测模块150的详细情况将参照图2和图3予以说明。

线路L30上的预测的当前帧信号在减法器102中被从来自线路L11的当前帧信号中减除，其结果数据，即代表一差分象素值的误差信号，被送到图象信号编码器105，在其中，该误差信号通过例如使用DCT及任何已知的量化方法，被编码为一组量化的变换系数。而后，该量化的变换系数被传送到一熵编码器107和一图象信号解码器113。在熵编码器107，来自图象信号编码器105的量化的变换系数和通过线路L20传输的来自当前帧预测模块150的运动矢量，通过使用例如一种可变长编码技术被一起编码，并被传送到一发送器(未示出)以备发送。与此同时，图象信号解码器113通过使用逆量化和逆余弦变换，将来自图象信号编码器105的量化的变换系数重新转换为一重建的误差信号。

该出自图象信号解码器113的重建的误差信号在加法器115同经过线路L30的来自当前帧预测模块150的预测的当前帧信号组合，由此提供一重建的当前帧信号，并将其作为未来的以前帧存储于第二帧存储器124中。

下面参见图2，其对示于图1中的当前帧预测模块150做了详细的说明。如图2中所示，在线路L12上的来自第二帧存储器124的一以前帧信号被输入一特征点选择模块210，一特征点运动矢量检测模块212以及一运动补偿模块216。

在特征点选择模块210，在包含于该以前帧的象素中选出若干个特征点。每一特征点都被定义为某一象素的位置，其能够表示该帧中的一目标的运动。参见图3，其示出了一示例性的10×7象素的帧。如果一运动的目标大约存在于一帧的中心部位，而该运动的目标的运动状况可以成功地由一组象素“A”到“I”来表示，这些象素即被选为该帧的特征点。

在本发明的一个较佳实施例中，特征点是由一种网格技术来确定的，该技术运用了不同类型的网格，如附图4A和4B分别示出的短形网格和六边形网格。按图4A和4B所示，特征点被定位在所示网格的结点处。

在本发明的另一较佳实施例中，一种边界检测技术与上述的网格技术结合在一起使用，正如图5A及5B所示。在该技术中，网格和运动目标的边界的交叉点被选作特征点。

下面回到附图2，从特征点选择模块210中选出的特征点被输到一特征点运动矢量检测模块212及一当前帧运动矢量检测模块214。线路L10上的当前帧信号被提供到特征点运动矢量检测模块212中。

在特征点运动矢量检测模块212，对于每一所选特征点的第一组运动矢量被检测。该第一组中的每一运动矢量是指在前一帧中的一特征点是同前帧中与其最相似的象素间的空间位移。

以基于象素的方式对运动矢量进行检测可以采用许多处理算法。在本发明的较佳实施例中，使用了一种块匹配算法：当来自特征点选择模块210的一个特征点被接收时，一含有该特征点在其中心的特征点块，例如前一帧信号中具有5×5象素的块，通过线路L12被从第二帧存储器124(在图1中示出)中取出。而后，经过在该特征点块同包含于从第一帧存储器100(示于图1)取出的当前帧的一个一般更大的搜索区域内(例如10×10象素)内的多个同等大小的候选块中的每个之间的相似性运算，确定该特征点块的一特征点运动矢量。

当检测完所有的特征点的运动矢量后，该第一组运动矢量被提供到当前帧运动矢量检测模块214并通过线路L20被提供到熵编码器107(在图1中示出)。在当前帧运动矢量检测模块214，通过使用第一组运动矢量和来自特征点选择模块210的特征点信息，确定出包含于当前帧内的所有象素的第二组运动矢量。为了确定第二组运动矢量，首先，通过第一组运动矢量，确定出用于代表从前一帧特征点的位移来的当前帧特征点的“准特征点”的的一组矢量。用于准特征点的运动矢量的幅度与其相应的特征点的运动矢量的相同，但该二矢量的方向相反。

当确定了所有准特征点运动矢量后，即可按下面方式确定包含于当前帧内的其他点一非准特征点的运动矢量。

如图6所示，若干个准特征点不规则地分布在整个当前帧内。通过对那些分布在一半径为“dr＋da”的圆周内的准特征点进行平均运算，具有星标记的非准特征点的运动矢量可被确定。其中“da”为从星标记的象素位置到其最近的准特征点间的距离，而“dr”则为一预定的扩展的半径，其用于包含了其他将用在运动矢量计算中的特征点。例如，如果最近的特征点为“Y”，而特征点“X”位于半径为“da＋dr”的圆周内，则星标记象素的运动矢量(MVx，MVy)可按下式计算： $({\mathrm{MV}}_x,{\mathrm{MV}}_y)=\frac{\frac{1}{d_X}({\mathrm{MV}}_x,{\mathrm{MV}}_y{)}_x+\frac{1}{d_Y}{({\mathrm{MV}}_x,{\mathrm{MV}}_y)}_Y}{\frac{1}{d_X}+\frac{1}{d_Y}}$ 其中dx和dy分别为特征点X和Y到星标记象素位置的距离。(MVx，MVy)x和(MVx，MVy)y分别为准特征点的运动矢量。

返回附图2，用于准特征点和非准特征点的第二组运动矢量被提供到运动补偿模块216。在该运动补偿模块，每一欲被包含于一预测的当前帧中的象素的值通过使用包含于第二组中的各矢量被从第二帧存储器124(示于图1)取出。

在对应于本发明的编码器的解码器中，其运动预测模块具有与图2中运动预测模块相似的结构，只是没有诸如图2中示出的特征点运动矢量检测模块212那样的运动估算器，这是因为发送自解码器的特征点运动矢量被提供给编码器。该预测模块包括一特征点选择模块，一当前帧运动矢量检测模块以及一运动补偿模块。这些模块的功能同上述的编码器相应模块的功能是一样的。

另外，来自解码器的帧存储器的一以前帧信号被输入到特征点选择模块以选择出若干个特征点。当前帧运动矢量检测块根据所选特征点及从参照图2解释的编码器发送来的运动矢量确定所有欲被包含在该预测当前帧的象素的运动矢量。运动补偿模块用来提供与编码器中相同的预测的当前帧。该预测的当前帧在解码器中经进一步处理被恢复为与原视频信号相同的当前帧。

尽管本发明是对特定的实施例进行说明的，但对于熟悉本技术领域的人来说，显然可以在不偏离由下面的权利要求所规定的本发明的精神和范畴的前提下做出各种变化和修改。

Claims (8)

1、一种使用在运动补偿视频信号编码器中的装置，用于根据一数字视频信号的一当前帧和一以前帧确定一预测的当前帧，包括：

用于从包含在该以前帧中的象素中选择若干个象素的装置；

用于检测所述的当前帧与以前帧间的第一组运动矢量的装置，该第一组运动矢量的每一个代表一所选象素的运动；

用于通过利用所述的第一组运动矢量生成用于包含在所述当前帧内的所有象素的第二组运动矢量的装置；以及

用于分配含于所述以前帧的各象素的值作为所述当前帧中的象素之一的值，以由此确定所述的预测的当前帧的装置，其中，所述的以前帧的各象素通过所述的第二组运动矢量之一而与所述的当前帧中的象素之一相对应。

2、如权利要求1的装置，其中所述的生成装置包括：

用于分配所述第一组运动矢量作为用于对应于所述的以前帧的选出的象素的当前帧中的象素的第二组运动矢量的一部分的装置；以及用于对包含在所述第二组运动矢量的一部分中的至少一个运动矢量进行平均运算以确定该第二组运动矢量的剩余部分的装置。

3、一种使用在一运动补偿视频信号编码器中的方法，用于根据一数字视频信号的一当前帧和一以前帧确定一预测的当前帧，包括下面步骤：

(a)从包含在所述的以前帧中的象素中选择若干个象素；

(b)检测所述当前帧同该以前帧之间的第一组运动矢量，第一组运动矢量的每一个代表各所选象素的一个运动；

(c)通过利用所述的第一组运动矢量生成用于包含在所述当前帧中的所有象素的第二组运动矢量；以及

(d)分配含于所述以前帧的各象素的值作为所述的当前帧中的各象素的值以确定所述的预测的当前帧；其中，所述的以前帧的各象素通过所述的第二组运动矢量之一而与所述的当前帧的各象素相对应。

4、如权利要求3的方法，其中所述的步骤(c)包括下面步骤：

(c1)分配上述第一组运动矢量作为用于对应于所述的以前帧的选出的象素的当前帧的象素的第二组运动矢量的一部分；以及

(c2)对包含在所述第二组运动矢量的一部分中的至少一个运动矢量进行平均运算以确定该第二组运动矢量的剩余部分的装置。

5、一种使用在一运动补偿视频信号解码器中的装置，用于根据一数字视频信号的一以前帧和由一编码器发送来的第一组运动矢量确定一预测的当前帧，其中所述编码器包括用于从包含于所述以前帧的象素中选择若干象素的装置以及用于检测所述的在所述当前帧和以前帧间的第一组运动矢量的装置，该第一组运动矢量的每一个都代表着在上述当前帧和该以前帧间的所选象素之一的运动，该装置包括：

用于从包含于所述以前帧的象素中选择若干象素的装置；

用于通过利用所述的第一组运动矢量生成用于含于上述当前帧的所有象素的第二组运动矢量的装置；以及

用于分配含于所述以前帧的各象素的值作为所述的当前帧中的各象素的值，以确定所述的预测的当前帧的装置，其中，所述的以前帧的各象素通过所述的第二组运动矢量之一而与所述的当前帧的各象素相对应。

6、如权利要求5的装置，其中所述的生成装置包括：用于分配所述第一组运动矢量作为用于对应于所述的以前帧的选出的象素的当前帧象素的第二组运动矢量的一部分的装置；以及用于对包含在该第二组运动矢量的所述一部分中的至少一个运动矢量进行平均运算以确定该第二组运动矢量的剩余部分的装置。

7、一种使用在运动补偿视频信号解码器中的方法，用于根据一数字视频信号的一以前帧和由一编码器发送来的第一组运动矢量确定一预测的当前帧，其中该编码器包括用于从包含于所述以前帧的象素中选择若干象素的装置以及用于检测所述的在所述当前帧和以前帧间的该第一组运动矢量的装置，该第一组运动矢量的每一个代表着在所述当前帧和以前帧间的所选象素之一的运动，所述的方法包括下列步骤：

从包含于所述以前帧的象素中选择若干象素；

通过利用所述的第一组运动矢量生成用于所述当前帧的所有象素的第二组运动矢量；以及

分配含于所述以前帧的各象素的值作为所述的当前帧中的象素之一的值，以确定所述预测的当前帧，其中所述的以前帧的各象素均通过所述的第二组运动矢量之一而与所述的当前帧的象素之一相对应。

8、如权利要求7的方法，其中所述的生成步骤包括：分配所述第一组运动矢量作为用于对应于所述以前帧的选出的象素的当前帧象素的第二组运动矢量的一部分的步骤；以及对包含在所述第二组运动矢量的该一部分中的至少一个运动矢量进行平均运算以确定该第二组运动矢量的剩余部分的步骤。

Images