CN1129385A - 利用基于象素的运动预测编码视频信号的方法和装置 - Google Patents

Abstract

用于确定一预测的当前帧的装置，包括：从前一帧的象素中选择若干象素以检测第一组运动矢量的单元；利用第一组运动矢量产生当前帧所有象素的第二组运动矢量的单元；利用第二组运动矢量确定初步预测的当前帧的单元；找出当前帧和该预测帧间的差异以检测集中误差区的单元；从各集中误差区中选择一象素的单元；检测该所选象素的第三组运动矢量的单元；利用第一和第三组运动矢量产生当前帧中所有象素的第四组运动矢量的单元；通过第四组运动矢量确定当前帧的单元。

Description

利用基于象素的运动预测编码视频 信号的方法和装置

本发明涉及一种对视频信号编码的方法和装置，更具体地，涉及一种基于象素的运动预测技术对视频信号进行编码的方法和装置。

众所周知，发送数字视频信号比发送模拟信号能获得高得多的视频图象质量。当以数字形式来表示一个含有一系列图象“帧”的图象信号时，发送时要产生大量的数据，对于高清晰度电视系统则尤其如此。然而，由于传统的发射频道可利用的频率带宽是有限的。因而，为了在有限的频道中发送大量的数字数据就不得不压缩或减少发送数据的量。在各种视频压缩技术中，公认为最有效的技术是所谓的混合编码技术，它把时间和空间压缩技术同统计编码技术结合在一起。

大多数混合编码技术采用运动补偿DPCM(差分脉冲编码调制)，二维DCT(离散余弦变换)，DCT系数量化，以及VLC(变长度编码)。运动补偿DPCM是这样一种处理，它估算一目标在当前帧与其以前帧之间的运动，并根据该目标的运动流对当前帧进行预测，以产生表征当前帧同其预测之间的差别的差值信号。这一方法在例如下述文献中已有说明：Staffan Ericsson的“Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding”(混合预测/变换编码的固定和自适应预测器)IEEE Transactionson communication，COM-33，NO.12(1985年12月)；Ninomiya和Ohtsuka的“A Motion-Compensated Interframe codingScheme for Television Pictures”(一种电视图象的运动补偿帧间编码方案)，IEEE TransactionsonCommunications，COM-30，NO.1(1982年1月)。

二维DCT可减少或使用图象数据之间的空间冗余，它把一个数字图象数据块，比如8×8象素的图象数据块，转换成一组变换系数数据，该技术在Chen和Pratt的Scene Adaptive Coder“(景象自适应编码器)，IEEE Transactionson communications，COM-32，NO.3(1984年3月)中已有说明，通过借助于量化器、折线扫描及VLC对这种变换系数数据进行处理，则要发送的数据量能被有效地压缩。

具体地说，在运动补偿DPCM中，当前帧数据是根据对当前帧和其以前帧之间的运动的估算而从相应的前一帧数据预测出来的，这种估算的运动可以用代表前一帧和当前帧之间的象素位移的二维运动矢量来描述。

对目标的象素的位移进行估算有两种基本方式：一种是基于块的估算，而另一种是基于象素的估算。

在基于块的运动估算中，当前帧的一个块同其以前帧的块逐一进行比较直到能够确定一最佳匹配为止。由此，正被发送的当前帧的上述的整个块的位移矢量(即帧间象素块的移动大小)即可被估算。然而，在基于块的运动估算中，块的边缘的分块影响有可能在运动补偿处理过程中出现；并且如果在该块中的所有象素不能以相同的方式运动，则会导致很差的估算结果，从而降低整个画面的质量。

另一方面，利用基于象素的方式，其位移是对每一个象素而确定的。该种技术可提供更为确切的象素值的估算并能够容易地处理比例变化(例如，变焦，垂直于图象面的运动)。然而，在基于象素的方式中，由于运动矢量是就每一个象素而确定的，因而根本不可能将全部运动矢量发送给接收机。

为此，本发明的一个主要目的就是提供一种利用依照本发明的特征点和补充的准特征点的基于象素的改善了的运动估算和补偿技术。

依照本发明，提供了一种在运动补偿视频信号编码器中使用的装置，用于根据一数字视频信号的当前帧的和前一帧确定一预测的当前帧，该装置包括：用于从包含于该前一帧的象素中选择若干象素(特征点)的装置；用于检测在当前帧和其前一帧之间的第一组运动矢量的装置，该第一组运动矢量中的每个代表着各所选的象素的运动；用于通过使用上述第一组运动矢量对所有包含于所述的当前帧中的象素产生第二组运动矢量的装置；用于分配所述的前一帧中的每一象素的值作为所述的当前帧的一象素的值，用以确定初步预测的当前帧的装置，其中所述的前一帧中的每一象素都通过第二组运动矢量中之一与所述的当前帧中的一个象素相对应；用于找出上述的当前帧同初步预测的当前帧之间的差异以确定集中误差区的装置；用于在包含于每一个集中误差区的象素中选择一象素(补充准特征点)的装置；用于对从上述的集中误差区中选出的象素确定一第三组运动矢量的装置；用于通过使用所述的第一组运动矢量和所述的第三组运动矢量为包含在当前帧中的所有象素产生一第四组运动矢量的装置；以及用于分配每一个包含于上述前一帧中的象素的值作为所述的含于上述当前帧中的象素之一的值以确定预测的当前帧的装置，其中所述的前一帧中的每一象素都通过第四组运动矢量之一与所述的当前帧中的一个象素相对应。

本发明上述及其它目的和特点将通过下面结合附图所给出的较佳实施例的说明体现出来，附图中：

图1是带有依据本发明的一当前帧预测模块的图象信号编码装置；

图2为示于图1中的当前帧预测模块的详细方框图；

图3给出了示于图2中的集中误差区检测模块的一实施例方框图；

图4提供了示于图2中的补充准特征点及其运动矢量检测模块的详细的方框图；

图5描述了一示例帧以给出特征点的定义；

图6A和6B给出了用于选择特征点的两类网格图；

图7A和7B用来说明通过利用网格及边界选择特征点的技术；

图8用来描述确定一非准特征点的矢量的方法；

图9A到9B用来说明检测集中误差区的技术；以及

图10A和10B用来解释检测一补充准特征点及其运动矢量的技术。

图1用来说明本发明的具有一当前帧预测模块的图象信号编码装置的一较佳实施例。如图1所示，一当前帧信号被存于第一帧存储器100中，该存储器通过线路L9与一减法器102相连，并通过线路L10与当前帧预测模块150相连。

在当前帧预测模块150中，对线路L10上的从第一帧存储器100中取出的当前帧信号和线路L12上的取自第二帧存储器124的重建的前一帧信号进行处理用来逐象素地预测当前帧以产生一预测的当前帧信号于线路L30上并产生对特征点的一组运动矢量于线路L20上。当前帧预测模块150的详细情况将参照图2进行说明。

在减法器102中，线路L30上的预测的当前帧信号被从线路L9上的当前帧信号减去，其结果数据，即一表示差分象素值的误差信号被送到图象信号编码器105，在那里，该误差信号例如通过使用DCT或任何已知的量化方法，被编码为一组量化的变换系数。而后这些量化的变换系数被转送到熵编码器107和图象信号解码器113。在熵编码器107，来自图象信号编码器105的量化的变换系数同来自当前帧预测模块150的通过线路L20传送的运动矢量通过使用例如变长度编码技术被一起编码，并被传送到发送器(未示出)以被发送。

另一方面，图象信号解码器113通过使用反量化和反离散余弦变换，将来自图象信号编码器105的量化变换系数重又转换为一重建的误差信号。

该来自图象信号解码器113的重建的误差信号与线路L30上的来自当前帧预测模块150的预测的当前帧信号在一加法器115中被组合以提供一重建的当前帧信号，作为前一帧信号储存于第二帧存储器124中。

参见图2，其示出了在图1中的当前帧预测模块的详细情况。如图2所示，线路L12上的来自第二存储器124的前一帧信号被输入到一特征点选择模块210，一特征点运动矢量检测模块212，一第一运动补偿模块216，一补充准特征点及其运动矢量检测模块220以及一第二运动补偿模块224。

在特征点选择模块210中，若干个特征点从包含于前一帧的象素中被选择。每一特征点被定义为表示帧中的一目标的运动的一象素的位置。参见图5，其示出了一具有10×7象素的帧的实例。如果一运动目标存在于该帧的中心部位，并且该运动目标的运动可以很好地由一组象素“A”到“I”表示，则这些象素被选为这一帧的特征点。

在本发明的一较佳实施例中，特征点是通过使用不同类网格(例如分别示于图6A和6B中的矩形网格和六边形网格)的网格技术被确定的。按图6A和6B所示，特征点位于网格的结点上。

在另一较佳实施例中，一种边界检测技术同上述的网格技术一起被采用，如图7A和7B所示。在这种技术中，网格和运动目标的边界的交叉点被选作特征点。

返回到图2，由特征点选择模块210选出的特征点被输到一特征点运动矢量检测模块212，一第一运动矢量检测模块214和一第二运动矢量检测模块222。而线路L10上的当前帧信号被提供到特征点运动矢量检测模块212。

在特征点运动矢量检测模块212，已选出的特征点的第一组运动矢量被检测。第一组中的每一个运动矢量都代表在前一帧的一特征点同与该特征点最相近的当前帧中的一象素之间的一空间位移。

有许多种处理算法可用于逐象素的运动矢量检测中。在本发明的该较佳实施例中，采用了一种块匹配算法：当接收来自特征点选择模块210的一特征点时，一带有一特征点于其中心的特征点块，例如前一帧的5×5象素的块，通过线路L12被从第二帧存储器124中取出。而后，经过该特征点块同包含在取自第一帧存储器100(示于图1)的该当前帧的一个一般更大的搜索区(例如10×10象素)内的等大小的多个候选块中的每一块之间的近似计算，该特征点块的特征点运动矢量即可被确定。

当检测所有的特征点的运动矢量以后，该第一组运动矢量被提供到第一运动矢量检模块214并通过线路L20被提供到熵编码器107(示于图1)。在第一运动矢量检测模块214，通过利用第一组运动矢量和来自特征点选择模块210的特征点信息，对所有包含于当前帧中的象素的第二组运动矢量即被确定。

为了确定上述第二组运动矢量用于表示从前一帧的特征点偏移了第一组运动矢量的那些当前帧的象素点的“准特征点”的一组运动矢量被确定。准特征点的运动矢量的幅度完全等同于其相应特征点的矢量，但两者的方向相反。在所有准特征点的运动矢量被确定后，余下的象素点的运动矢量，即当前帧中的非准特征点的运动矢量可按下述方式确定。

按图8所示，若干准特征点不规则地分布在整个当前帧中。通过对位于一半径为“dr＋da”的圆周内的准特征点的平均运算，一带有星形标记的非准特征点的运动矢量被确定，其中“da”是从星形标记的象素点到最近的准特征点的距离，“dr”是预定的用于包含将用在运动矢量计算中的其它特征点的一扩展半径。例如，如果最近的特征点是“Y”，且特征点“X”位于“da＋dr”的圆周内，则星形标记的象素的运动矢量(MV_x，MV_y)可计算如下： $({\mathrm{MV}}_x,{\mathrm{MV}}_y)=\frac{\frac{1}{d_X}{({\mathrm{MV}}_x,{\mathrm{MV}}_y)}_X+\frac{1}{d_Y}{({\mathrm{MV}}_x,{\mathrm{MV}}_y)}_Y}{\frac{1}{d_X}+\frac{1}{d_Y}}$ 其中d_x和d_y分别为星形标记的象素点到准特征点X和Y的距离；(MV_x，MV_y)_X和(MV_x，MV_y)_Y则分别为上述准特征点的运动矢量。

返回图2，用于准特征点和非准特征点的第二组运动矢量通过线路L16被提供到第一运动补偿模块216。与此同时，对应于准特征点的那部分第二组运动矢量通过线路L15被提供到补充特征点及其运动矢量检测模块220。

第一运动补偿模块216分配存在于第二帧存储器124(示于图1)的前一帧的每一个象素的值作为所述的当前帧的象素之一的值，以产生一初步预测的当前帧，其中前一帧的每一个象素都通过第二组运动矢量之一与当前帧的一个象素相对应。运动补偿模块216的输出被提供到一集中误差区检测模块218和补充准特征点及其运动矢量检测模块220。

图3示出了图2中的集中误差区检测模块150的详细情况。如图3所示，来自第一帧存储器100的通过线路L10传送的当前帧与来自第一运动补偿模块216的通过线路L17传送的初步预测的当前帧被输入到与一绝对值化模块304相连的减法器302。如果当前帧信号为图9A所示的那样，而初步预测的当前帧为图9B所示的那样，则经过减法器302及绝对值化模块304的输出信号可表示为图9C。

如图9C所示，可以发现多个误差部分，比如在眼睛、嘴和运动目标的周边附近。来自绝对值化模块304的绝对误差信号被提供到一滤波器306，在那里，绝对误差信号被滤波以使微小的误差区被删除，如图9D所示。而后，经滤波的误差信号被加到集中误差区检测模块308，在那里，集中误差区通过使用矩形窗口被分离(如图9E所示)以提供一集中误差区信号于线路L18上。

返回附图2，线路L18上的集中误差区信号被提供到补充准特征点及其运动矢量检测模块220，在那里，从每一个集中误差区内的象素中选出一个象素作为准特征点，所选象素的运动矢量亦被确定为其对应的准特征点的运动矢量。图4示出了示于图2的补充准特征点及其运动矢量检测模块220的细节。

如图4所示，一集中误差区信号被提供到一运动矢量选择模块400和一运动矢量检测模块402以向其通知一集中误差区。在运动矢量选择模块400，响应于集中误差区信号，用于包含于集中误差区内的象素的第一套运动矢量从来自于第一运动矢量检测模块214(示于图2)的第二组运动矢量中选出。该第一运动矢量被提供到一减法器406。

与此同时，在运动矢量检测模块402，对应于当前帧同其存于帧存储器404内的前一帧之间的，用于包含在集中误差区内的象素的第二套运动矢量被确定。该第二套运动矢量也被提供到减法器406。

而后，在减法器406，上述两套运动矢量的差被算出。并且每一象素的差的幅度在一绝对值化模块408中被算出。而后，绝对值化模块408的输出依据两套运动矢量的差的幅度而被分割。如果差的幅度如图10A所示，则集中误差区在分割模块410被分成两个子区，如图10B所示。在图10B所示的状况下，一带星形标记的象素变为该集中误差区的一准特征点，而其运动矢量则按下述方式选择。首先，一多数运动矢量检测模块418通过对每个子区选择一占多数的运动矢量为每一子区检测出一区运动矢量，并将第一子区运动矢量通过线路L42送到第一运动矢量检测及运动补偿模块420和开关SW1；将第二子区运动矢量通过线路L44送到第二运动矢量检测及运动补偿模块422和开关SW1。与此同时，从中心点选择模块412输出的集中误差区的所选中心点同由线路L15传送的来自第一运动矢量检测模块214的准特征点组合，其结果数据被提供到第一运动矢量检测及运动补偿模块420和第二运动矢量检测及运动补偿模块422。

第一运动矢量检测及运动补偿模块420通过对准特征点的运动矢量与第一子区运动矢量间组合运动矢量中的至少一个做平均运算来检测含于集中误差区内的所有象素的运动矢量，并从第二帧存储器124取出含于集中误差区内的每一象素的值，以此来确定一第一预测区，该第一预测区被加到一第一均方误差检测模块(MSE)424。

第二运动矢量检测及运动补偿模块422通过对准特征点的运动矢量组与第二子区运动矢量间组合的运动矢量中的至少一个做平均运算来检测含于集中误差区内的所有象素的运动矢量，并从第二帧存储器124取得含于集中误差区内的每一象素的值，以此来确定一第二预测区，该第二预测区被加到一第二均方误差检测模块(MSE)426。

在第一均方误差检测模块424，当前帧同第一预测区之间的差被确定，其结果被提供到一比较和选择模块428。以同样的方式，在第二均方误差检测模块426，当前帧同第二预测区之间的差被确定，其结果被提供到比较和选择模块428。

在比较和选择模块428，来自两均方误差检测模块424和426的输出结果较小者被确定，并且一开关控制信号被提供到开关SW1，以对线路L42和L44上的输入选择其一并将所选信号加到一多路复用器(MUX)416。在多路复用器416，来自中心点选择模块412的一中心点同其来自开关SW1的运动矢量组合，其结果作为一补充准特征点及其运动矢量被提供到熵编码器107。

返回图2，在第二运动矢量检测模块222，通过利用准特征点及补充准特征点，对包含于当前帧内的所有象素的第三组运动矢量被确定。并且该第三组运动矢量被提供到第二运动补偿模块224。第二运动补偿模块224分配储存于第二帧存储器124的前一帧中的每一象素的值为所述的当前帧中的象素之一的值，以产生一最终预测的当前帧；其中上述前一帧中的每一象素均通过第三组运动矢量之一而与当前帧中的象素之一相对应。

对应于本发明编码器的解码器中的运动预测模块同图2所示的内容大体相同，只是少了特征点运动矢量检测模块212，第一运动矢量检测模块214，第一运动补偿模块216，集中误差区检测模块218以及补充准特征点及其运动矢量检测模块220。这是因为特征点运动矢量，补充准特征点和它们的运动矢量已通过编码器直接发送过来。因而解码器中的运动预测模块包括一特征点选择模块，一第二当前帧运动矢量检测模块和一第二运动补偿模块。这些模块的功能与在编码器中所解释的完全一致。

更进一步说，来自解码器中一帧存储器的前一帧信号被输入到特征点选择模块以选择若干特征点。第二当前帧运动矢量检测模块依据该所选特征点已参照附图2进行了说明的编码器发送来的补充准特征点以及它们的运动矢量来确定将包含于预测的当前帧中的所有象素的运动矢量。第二运动补偿模块提供与编码器中相同的预测的当前帧。该预测的当前帧在解码器中经进一步处理以恢复与原始视频信号基本一致的当前帧信号。

尽管本发明是对特定的实施例进行说明的，但对于熟本技术领域的人们来说，虽然可以在不偏离由下面的权利要求所规定的本发明精神和范畴的前提下做出各种变化和修改。

Claims (10)

1、一种使用在运动补偿视频信号编码器中的装置，用于根据数字视频信号的当前帧和前一帧来确定一预测的当前帧，包括：

用于在包含于上述前一帧中的象素中选择若干象素的装置；

用于检测上述当前帧及前一帧间的第一组运动矢量的装置，该第一组运动矢量中的每一个代表上述各所选象素的一运动；

用于通过利用所述第一组运动矢量产生用于包含于上述当前帧内的所有象素的第二组运动矢量的装置；

用于分配上述前一帧中的每一象素的值为所述的当前帧中的象素之一的值以确定一初步预测的当前帧的装置，其中所述的前一帧中的每一象素均通过上述第二组运动矢量之一而与所述当前帧的象素之一相对应；

用于找出上述当前帧同上述初步预测的当前帧之间的差异以检测集中误差区的装置；

用于从包含于上述的每一个集中误差区中的象素中选择一个象素的装置；

用于检测用于上述的所选的集中误差区中的象素的一第三组运动矢量的装置；

用于通过利用所述的第一组运动矢量和第三组运动矢量产生用于包含于上述当前帧内的所有象素的一第四组运动矢量的装置；以及

用于分配含于上述前一帧中的每一象素的值为所述的含于上述当前帧中的象素之一的值以确定上述预测的当前帧的装置，其中所述的前一帧中的每一象素均通过上述第四组运动矢量之一而与所述当前帧中的象素之一相对应。

2、如权利要求1的装置，其中所述的用于产生第二组运动矢量的装置包括用于分配上述第一组运动矢量作为上述第二组运动矢量的一部分及用于对于包含于所述第二组运动矢量的一部分中的至少一个运动矢量做平均运算以确定上述第二组运动矢量中剩余部分的装置，其中所述的一部分运动矢量是用于那些当前帧中那些与上述前一帧中所选的象素相对应的象素的。

3、如权利要求1的装置，其中所述的用于找出差异的装置包括：

用于从上述当前帧中减去上述初步预测的当前帧以产生一误差区信号的装置；

用于对上述误差区做绝对值化运算的装置；

用于对上述绝对误差区信号进行滤波的装置；以及

用于对上述的经滤波的绝对误差区信号做窗口处理以产生上述的集中误差区信号的装置。

4、如权利要求1的装置，其中所述的用于检测上述第三组运动矢量的装置包括：

用于根据每一集中误差区内的各象素的误差值将每一集中误差区分割为至少两个子区的装置；

用于检测上述每一子区的一运动矢量以产生子区运动矢量的装置；以及

用于从上述子区运动矢量中选择一运动矢量以提供上述第三组运动矢量中的各运动矢量的装置。

5、如权利要求4的装置，所述的第四组运动矢量产生装置包括：

用于分配上述第一组运动矢量和第三组运动矢量作为上述第四组运动矢量的一部分，及用于对包含于第四组运动矢量所述一部分中的至少一个运动矢量做平均运算以确定上述第四组运动矢量的剩余部分的装置。

6、一种使用在一运动补偿视频信号编码器中的方法，用于根据一数字视频信号的一当前帧及一前一帧来确定一预测的当前帧，包括下述步骤：

(a)从包含于上述前一帧中的象素中选择若干象素；

(b)检测上述当前帧及其前一帧间的第一组运动矢量，该第一组运动矢量中的每一个代表上述各所选象素的一运动；

(c)通过利用所述第一组运动矢量产生包含于上述当前帧内的所有象素的第二组运动矢量；

(d)分配上述前一帧中的每一象素的值为所述的当前帧中的象素之一的值以确定一初步预测的当前帧，其中所述的前一帧的每一象素均通过上述第二组运动矢量之一而与所述当前帧的象素之一相对应；

(e)找出上述当前帧同上述初步预测的当前帧之间的差异以检测集中误差区；

(f)从上述的每一个集中误差区中的象素中选择一个象素；

(g)检测上述的所选的集中误差区中的象素的一第三组运动矢量；

(h)通过利用所述的第一组运动矢量和第三组运动矢量产生对于包含于上述当前帧内的所有象素的一第四组运动矢量；以及

(i)分配含于上述前一帧中的每一象素的值为所述的含于上述当前帧中的象素之一的值以确定上述预测的当前帧，其中所述的前一帧中的每一象素均通过上述第四组运动矢量之一而与所述当前帧中的象素之一相对应。

7、如权利要求6的方法，其中所述步骤(c)包括下述步骤：

(c1)分配上述第一组运动矢量作为上述第二组运动矢量的一部分，其中所述的一部分运动矢量是用于那些包含在与上述前一帧中所选的象素相对应的当前帧中的象素的；以及

(c2)对于包含于所述第二组运动矢量的一部分中的至少一个运动矢量做平均运算以确定上述第二组运动矢量中剩余部分。

8、如权利要求6的方法，其中所述的步骤(e)包括下述步骤：

(e1)从上述当前帧中减去上述初步预测的当前帧以产生一误差区信号；

(e2)对上述误差区信号做绝对值化运算；

(e3)对上述绝对误差区信号进行滤波；以及

(e4)对上述的经滤波的绝对误差区信号做窗口处理以产生集中误差区信号。

9、如权利要求6的方法，其中所述的步骤(g)包括下述步骤：

(g1)根据每一集中误差区内的各象素的误差值的大小将每一集中误差区分割为至少两个子区；

(g2)检测上述每一子区的运动矢量以产生子区运动矢量；以及

(g3)从上述的子区运动矢量中选择一运动矢量以提供一集中误差区运动矢量。

10、如权利要求9的方法，其中所述的步骤(h)包括下述步骤：

(h1)分配上述的第一组运动矢量和集中误差区运动矢量作为上述第四组运动矢量的一部分；以及

(h2)对包含于所述的第四组运动矢量的一部分中的至少一个运动矢量做平均运算以确定上述第四组运动矢量的剩余部分。

Images