CN1077379C

CN1077379C - 用于检测运动矢量到半象素精度的装置和方法

Info

Publication number: CN1077379C
Application number: CN94115989A
Authority: CN
Inventors: 金相昊
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co Ltd
Priority date: 1993-07-21
Filing date: 1994-07-21
Publication date: 2002-01-02
Anticipated expiration: 2014-07-21
Also published as: EP0637894A3; KR960010198B1; DE69426179D1; US5587741A; JPH0795594A; CN1107632A; KR950005039A; EP0637894A2; EP0637894B1

Abstract

通过寻找相应于在一个检索区域中多个最佳匹配块的多个全象素分辨率运动矢量，使视频信号的一个当前帧和它的前一帧之间的运动矢量最好测定到一个半象素精度；和通过选择从包含在半象素分辨率检索区域的所有可能的半象素分辨率块来得到半象素分辨率运动矢量，每一个半象素分辨率检索区域相应于全象素运动矢量之一。

Description

用于检测运动矢量到半象素精度的装置和方法

本发明涉及一种用于对视频信号进行编码的方法与装置，更具体地说，涉及一种估算运动矢量到半象素精度的装置和方法。

众所周知，数字视频信号的传输比模拟信号的传输能够得到更高质量的视频图象，当包括图象“帧”的序列的一个图象信号以一种数字格式出现时，特别在高清晰度电视系统的情况下，就产生了用于传输的基本数据量。但是，为于传输整个的基本数据量，普通传输信道的有效频率带宽受到限制，那就必须压缩或者缩减传输数据的容量。在各种视频压缩技术中，与统计编码技术一起的时间与空间相结合的压缩技术，所谓混合编码技术是最有效的。

大部分混合编码技术使用一种运动补偿的DPCM(differentialpulse code modulation)(差分编码调制)、两维DCT(discrete cosinetransform)(离散余弦变换)、DCT系数的量化、和VLC(variable lengthcoding)(可变宽度编码)。运动补偿的DPCM是一个在当前的帧和它的前一帧之间测定目标运动的方法，和根据目标的运动流量产生表示在当前的帧和它的前一帧之间差别的差分信号来预测当前的帧。这种方法已被公开，例如，在Staffan Ericsson撰写的“用于混合预测/变换编码的固定的和自适应的预测器”，IEEE Transactionson Communications，第33卷第12期(1985年12月)及Ninomiya和Dhtsuka撰写的“电视图象的运动补偿帧间编码方案”IEEETransactions on Cominunications，第30卷第1期(1982年1月)中已有描述。

两维DCT，它减少和消除了图象数据中的空间冗余码，将一块数字图象数据，例如，一块8×8象素换成一组变换系数数据，这种技术在Chen和Pratt撰写的“景象自适应编码器”中已公开，IEEETransactions on Communications，第32卷第五期(1984年3月)，通过采用量化器、折线扫描和VLC处理变换系数数据，被传输的数据量可能被有效地压缩。

尤其是，在运动补偿DPCM中，根据当前帧和前一帧之间运动的估算，从相应于前一帧数据中预测当前的帧数据。这种估算运动可通过在前一帧和当前帧之间象素的位移表示的两维运动矢量来描述。

用于估算视频序列中目标位移的几种方法已被提出。通常，它们可以被分为两种类型：象素递归算法；和块匹配算法(参见例如J.R.Jain等人“IEEE Transactions on Communications第29卷第12期(1981年12月))。本发明主要涉及块匹配算法。

根据块匹配算法，一个当前帧被分成多个检索块，检索块的大小典型地在8×8至32×32象素范围之内，为了确定在当前帧中一检索块的运动矢量，在当前帧的检索块和包含在前一帧内通常较大检索区域中的多个同样大小的候选块的每一个之间执行相似计算。误差函数，如平均绝对误差或均方误差被用于执行在当前的检索块和在检索区域中的每个候选块之间的相似测量。并且，根据定义，运动矢量表示在检索块和得出最小误差函数的候选块之间的位移。

在运动补偿编码方法中，编码性能很大程度上取决于运动矢量的精度。在目前有效的方案中，例如，ISO/IEC MPEG标准中，运动矢量可检测到半象素精度(参见MPEG视频模拟模式三，国际标准化组织，图象和音频信息的编码表示，1990年ISO IEC/JTC1/SC2/WG8 MPEG90/041)。

在通常的半象素分辨率运动估算器中，运动估算分两步执行，首先，由当前帧中每个检索块得出整数值的全象素分辨率运动矢量，然后，全象素分辨率运动矢量精选到半象素精度，由此确定一块的最后半象素分辨率运动矢量。该半象素分辨率运动矢量可以有非整数值，并指向在若干全象素位置之间的一个位置。用于在半象素分辨率，即半象素分辨率候选块中的估算和补偿的候选块是空间的前一帧的内插块，并且也包含在相应的检索区域内，该检索区域被称为半一象素分辨率检索区域(例如，参见Lucas等人的已公开的欧洲专利，专利号为0560577A2)。用于半象素分辨运动矢量的检索通常遵循全象素分辨率运动矢量估算，以致使半象素分辨率运动矢量围绕由全象素分辨运动矢量表示的一个位置检索。

在得出最小误差函数的半象素分辨率候选块不包括在由该块的全象素分辨率运动矢量产生的半象素分辨率检索区域的情况下，由于其它半象素分辨率位移会得出较小的误差函数，所以尽管从半象素分辨率检索区域得出的最后的半象素分辨率运动矢量将不是最佳的。

因此，本发明的主要目的是提供一种用于决定一块的精确的半象素分辨率运动矢量的方法，它不限于被该块的全象素分辨率运动矢量所规定的半象素分辨率检索区域从而改善了总的压缩效果。

根据本发明，提供一种用于确定视频信号的在当前帧和它的前一帧之间运动矢量到半象素精度的精度，其中当前帧被分成多个大小相等的检索块，且前一帧由包含相应的多个检索区域构成，上述检索区域的每一个具有多个上述大小相同的候选块，该方法包括下列步骤：

i)计算误差函数，每个上述误差函数表示在当前帧的检索块和每个全象素分辨率侯选块之间的差，即每一个都具有包含在前一帧的相应检索区域中的整数值的位移；

ii)选择预定数目的全象素分辨率运动矢量，用于得出该预定数目的最小误差函数的检索块，其中上述预定数目一般大于1，但是小于在相应于检索块的检索区域中候选块的数目；

iii)获得在由全象素分辨率运动矢量之一规定的半象素分辨率检索区域中的半象素分辨率候选块；

iv)计算和比较误差函数，每个上述误差函数表示在当前帧中的检索块和每个半象素分辨率候选块之间的差，从而选择得出最小误差函数的半象素分辨率块；和

v)对于下一个全象素分辨率运动矢量，重复步骤iii)和iv)，直到在相应于该块的最后全象素分辨率运动矢量的最后半象素分辨检索区域中的所有半象素分辨率候选块都被处理为止，从而得出该块的最后半象素分辨率运动矢量。

本发明上述的和其他的目的和优点从下面对结合附图的优选实施例的描述中将变得更明显。其中：

图1是采用本发明的运动估算器的先有技术的视频编码器的方框图；

图2表示本发明的运动估算器的方框图；

图3示意他说明图2中所示的全象素分辨率运动矢量检测器；

图4表示解释在图3的运动矢量比较器中执行程序的流程图；和

图5描绘了图2的半象素分辨率运动矢量检测器的方框图。

参照图1，它表示采用本发明的运动估算器110的视频编码器的方框图。当前帧数据101被送到减法器102和运动估算器110，实际上根据逐块从输入存贮器(未示出)读出当前帧数据，其中每个帧按用于逐块地处理它们的象素数据的顺序块存贮。典型地，该地大小在8×8至32×32象素范围之内。

在减法器102.从当前帧数据的检索块中减去一块来自运动补偿预测器122的预测帧数据103，而且，所得的数据，即差分象素数据被传送到变换编码器105，其中差分象素数据块被编码成一组变换系数(例如通过使用离散余弦变换)，该变换系数在量化器106量化。其后，量化的变换系数经两个信号路径传输：一个通路通向熵编码器107，其中量化的变换系数和运动矢量119是通过例如扫描宽度和可变宽度编码一起组合编码的，而另一个通路通向一个反量化器113，然后到逆变换编码器114，其中量化的变换系数分别由反量化和逆变换变换成再现差分象素数据。该再现差分象素数据和从运动补偿预测器122预测的数据在加法器115组合，以提供写入帧存储器121的再现当前帧数据。

通过使用块匹配算法，在本发明的运动估算器110处理当前帧数据101和来自帧存贮器121的再现前一帧数据118来确定运动矢量，运动估算器110将参照图2至图5在后面进行描述。运动矢量119加到运动补偿预测器122，其中预测数据，即相应于运动矢量119的候选块数据按逐块从帧存贮器121中检索出，并提供给减法器102和加法器115，用于进一步处理。运动矢量119也送到熵编码器107。

在本发明的运动估算器110中，运动矢量用后面描述的不同分辨率大小分两个步骤确定。

图2说明图1所示的本发明的运动估算器110的方框图。当前帧数据101和再现前一帧数据118被加到全象素分辨率运动矢量检测器160和半象素分辨率运动矢量检测器170。该全象素分辨率运动矢量检测器160确定相应于在一个检索区域中的多个最佳匹配块的多个全象素分辨率运动矢量。这些全象素分辨率运动矢量被传送到半象素分辨率运动矢量检测器170，其中半象素分辨率运动矢量是通过选择从包含在多个半象素分辨率检索区域的所有半象素分辨率候选块中得到最小误差函数的半象素分辨率来确定的，每个半象素分辨率检索区域相应于全象素运动矢量中的一个。

参照图3，它示出了图2所示的全象素分辨率运动矢量检测器160的方框图。当前帧数据110和前一帧数据118输入到块选择器220，在该块选择器220中，在相应于当前帧的检测块的检索区域中的一组全象素分辨率候选块都是从前一帧中选择的。这些在线222上被选的候选块和在线224上的检索块都被输入到块比较器230。该块比较器230计算误差函数，每个误差函数表示在当前帧中的检索块和包含在前一帧的检索区域中具有整数值的位移的每个候选块之间的差。这些在线236上的误差函数和来自块选择器220在线233上的相应的位移都输入到运动矢量比较器240。该运动矢量比较器240比较误差函数，并选择根据图4描述的方法产生多个最小误差函数的多个位移。

图4表示选择预定数目，例如在运动矢量比较器240中N个全象素分辨率运动矢量的一种方法。SE_i′S和SD_i′S是两组变量，以分别贮存N个所选误差函数和相应位移。其中i是从1到N的正整数值，在步骤S1，SE_i′S是预置为大于最大误差函数值的值。i的初始值为1。因此，在步骤S2中，第一候选块的位移D1和误差函数E1都从图3所示的块选择器220和块比较器230中读出。然后，在步骤S3中，E1与所有的SE_i值比较。在步骤S4中，如果SE_i值之一大于E1，则最大的SE_i值被删除，剩余的SE_i值和E1被重新排列。例如按与较小误差函数值有关的i的较小值升序，并返回存贮在SE_i′S中，用于下一个选择块的处理。如果所有的SE_i值都小于E1，则SE_i′S保持相同。在步骤S4中，根据重新排列的SE_i′S，位移也被贮存在SD_i′S。实际上，所有的SE_i值都预置为相同值，并大于E1。在多数SE_i′S具有相同的最大值和其值大于E1的情况下。任何SE_i′S中的值是不连续的，并且用E1代替。对于下一个候选块，即在检索区域的第二个候选块重复步骤S2到S4。具体地是，在步骤S2中，读出第二候选块的误差函数E2和位移D2。然后，在步骤S3中，E2与所有SE_i值比较。在步骤S4中，如果SE_i值之一大于E2，则最大的SE_i值被删除，并且剩余的SE_i值和E2重新排列并返回存贮在SE_i′S中，用于下一个候选块的处理。在步骤S4中，根据重新排列SE_i′S，位移也被存贮在SD_i′S中。对于剩余的候选块，重复步骤S2至S4，直到在检索区域的所有候选块都被处理为止。在所有候选块都被处埋后，即i等于检索区域中候选块的数目，保留在SD_i′S中的位移是按相对于检索块的全象素分辨率运动矢量确定的。

图5是图2所示的半象素运动矢量检测器170的方框图。内插帧数据，即在半象素位置中前一帧数据在帧内插器410被算出。块选择器420接收内插帧数据和当前帧数据101以及来自图3所示的运动矢量比较器240的全象素分辨率运动矢量245。在块选择器420中，相应于全象素分辨率运动矢量之一的半象素分辨检索区域中的半象素分辨率选择块从内插帧中被选出。在每个检索块的处理结束时，在块选择器420上还产生检索终了信号。在线422上半象素分辨率候选块之一和在线423上当前帧的检索块被传送到块比较器430，从而计算该两个块之间的误差函数。在线421上两个块之间的相应半象素分辨率位移送到锁存器460。误差函数A被传送到比较器440和锁存器450。在每个检索块处理开始时，在比较器440中B预置到其某个大的值，以便用如后面所解释的误差函数代替。比较器440把误差函数A与存贮值B进行比较。如果A＜B，则比较器输出一个脉冲到锁存器450，锁存或贮存代替B的误差函数A，从而用新的误差函数代替先前存贮值。在这种情况下，半象素分辨率块的位移也由锁存器460锁存。如果A≥B，则B值保持不变，与在锁存器460中位移保持一致。在块选择器420输出与全象素分辨率运动矢量有关的所有半象素分辨率侯选块之后，对于由下一个全象素分辨率运动矢量表示的下一个检索区域，重复计算和比较误差函数的过程。在相应于全象素分辨率运动矢量的每一个所有半象素分辨率检索区域已处理后，相应于每个全象素分辨率运动矢量的所有检索区域中得到最小误差函数的半象素分辨率位移保留在锁存器460中，同时在块选择器420产生检查终了信号，锁存在锁存器460的位移进入锁存器470，其中在输出导线上的值表示与当前帧的检索块有关的最后半象素分辨率运动矢量。根据这个方法，半象素分辨率运动估算是对于相应于每个全象素分辨率运动矢量的多个检索区域执行的，提供了更为精确的半象素分辨率运动矢量。

虽然已经根据半象素分辨率运动矢量对本发明进行了描述，但是，运动矢量(利用各种子象素分辨率计算的)例如1/4象素分辨率可用于编码运动图象，并且能够用在这里出现的同样的方法计算所述的运动矢量。

因此，当根据具体实施例描述本发明时，本领域的普通技术人员将会理解：所做的各种变化和改型，都没有脱离在下面的权利要求中所定义的本发明的精神和范围。

Claims

1.一种用于测定视频信号的当前帧和它的前一帧之间运动矢量到半象素精度的方法，其中该当前帧被分成相同大小的多个检索块，该前一帧是由包括相应的多个检索区域构成的，每个检索区域具多个与有上述相同大小的候选块；该方法的特征在于包括下列步骤：

(a)测定在当前帧中每个检索块的一预定数目的全象素分辨率运动矢量的，其中上述预定数目大于1，但是小于一检索区域中候选块的数目；和

(b)根据在步骤(a)中已测定的全象素分辨率运动矢量测定半象素分辨率运动矢量；其中，所述步骤(a)包括下列步骤：

(a1)计算误差函数，每个上述误差函数表示在当前帧中检索块和每个全象素分辨率候选块之间的差，它具有包括在前一帧的相应的检索区域中的整数值的位移；和

(a2)选择在预定数目中得到最小的误差函数的所述预定数目的全象素分辨率运动矢量。

2.根据权利要求1的方法，其特征在于上述步骤(b)包括下列步骤：

(b1)在相应于上述的全象素分辨率运动矢量之一的半象素分辨率检索区域中取得半象素分辨率候选块；

(b2)计算和比较误差函数，上述每个误差函数表示在当前帧中检索块和每个半象素分辨率候选块之间的差，由此选一个产生最小误差函数的半象素分辨率；和

(b3)对于下一个全象素分辨率运动矢量重复步骤(b1)和(b2)，直到相应于该块的最后全象素分辨率运动矢量的最后半象素分辨率检索区域中所有的半象素分辨率候选块都被处理为止，由此确定该块的半象素分辨率运动矢量。

3.根据权利要求1的方法，其特征在于上述步骤(a2)进一步包括下列步骤：

(a21)预置一个第一组变量SE_i′S，它存贮误差函数的预定数目，其中i是一个从1至该预定数目的正整数；

(a22)读出相应于前一帧的检索区域中一个候选块误差函数E和位移D；

(a23)把上述E与存贮在上述SE_i′S中的值相比较；

(a24)按升序重新排列存贮在上述SE_i′S中的值和E，并且删除最大的一个；

(a25)为了下一个候选块的处理，把存贮的剩余值存贮在上述SE_i′S中和把E存贮在上述SE_i′S中；

(a26)把位移存贮在一个第2组变量SD_i′S中，每个上述位移相应于已存贮在SE_i′S中的值之一，其中i是从1到预定值排列的正整数；

(a27)重复步骤(a22)至(a26)，直到在检索区域中所有选块都被处理为止。

4.一种用于测定在视频信号的一个当前帧和它的前一帧之间运动矢量到半象素精度的设备，其中该当前帧被分成相同大小的多个检索块，该前一帧由包括相应的多个检索区域构成，每个检索区域具有多个上述相同大小的候选块，其特征在于该设备包括：

一个全象素分辨率运动矢量检测器，用于测定一个在当前帧中每个检索块的全象素分辨率运动矢量的预定数目，其中上述预定数目大于1，但是小于在检索区域中的候选块数目；和

一个半象素分辨率运动矢量检测器，用于根据在该全象素分辨率运动矢量检测器已测定的全象素分辨率运动矢量测定一个半象素分辨率运动矢量；其中，该全象素分辨率运动矢量检测器包括：

用于计算误差函数的装置，每个上述误差函数表示在当前帧中检索块和每个全象素分辨率候选块之间的差，它具有包括在前一帧的相应的检索区域中的整数值的位移；和

用于选择在预定数中得到最小的误差函数的检索块的所述预定数目的全象素分辨率运动矢量的装置。

5.根据权利要求4的设备，其特征在于所述半象素分辨率运动矢量检测器包括：

用于取得相应于上述全象素分辨率运动矢量之一的在半象素分辨率检索区域中半象素分辨率候选块的装置；和

用于计算和比较上述误差函数的装置，由此选择一产生一个最小的误差函数的半象素分辨率块。