CN1270543C - 用于以固定的计算复杂度编码活动图象的方法 - Google Patents

Abstract

本发明提供了一种用于编码活动图象的方法和装置，它能够有规律地将计算复杂度保持而与图象的特性无关，所述方法包括：(a)将候选活动向量的绝对差(SAD)的和与按照前一个帧的每个宏块的搜索点的数量而设定的阈值相比较；(b)如果在(a)中确定每个候选活动向量的SAD小于阈值，则结束对于宏块的活动向量的搜索，并确定具有最小SAD的候选活动向量为活动向量；(c)当在(b)中结束对于活动向量的搜索的时候，按照当前帧的每个宏块的搜索点的数量更新阈值，所述阈值要针对下一个帧用于步骤(a)中。

Description

用于以固定的计算复杂度编码活动图象的方法

技术领域

本发明涉及一种视频编码系统，具体涉及与活动图象的特性无关地利用固定的计算复杂度来编码活动图象的方法和装置。

背景技术

传统上，由硬件编码活动图象。但是，个人计算机(PC)的中央处理器(CPU)的性能上的改进与高性能媒体处理器的发展使得有可能通过软件来编码活动图象。因此，需要一种用于有效地降低计算量的编码技术来实时地压缩和还原活动图象。例如，如果按照利用n步的搜索的H.263标准以视频编码器来估测活动图象的活动，则离散余弦变换(DCT)/逆DCT模块占有视频编码器中的处理时间的30％。为了减少这样的计算复杂度，传统的视频编码器使用DCT跳过技术。

图1是传统的视频编码技术的方框图。首先，将输入的视频数据划分成多个图象组(GOP)单元。离散余弦变换(DCT)单元120基于8×8逐块对视频数据进行DCT处理，以便获得在视频数据中的空间冗余。量化器(Q)130量化由DCT单元120对其执行DCT处理的视频数据。逆量化器(IQ)150逆向量化由Q 130量化的视频数据。逆DCT(IDCT)160对于由IQ 150逆向量化的视频数据进行IDCT处理。帧存储器(FM)单元170以帧为单位存储由IDCT单元160进行IDCT处理的视频数据。活动估测(ME)单元180利用存储在FM单元170中的当前帧的视频数据和前一个帧的视频数据，估测每个宏块的活动图象的绝对差的和(SAD)以及活动向量(MV)。可变长度编码(VLC)单元140消除在按照由ME单元180估测的MV量化的视频数据中的统计冗余。

DCT跳过单元110将由ME单元180估测的每个块的SAD或由Q 130产生的量化参数(QP)与一个阈值T相比较，并基于8×8逐块向DCT单元120发送比较结果来作为跳过信息。更具体而言，如果比率SAD/QP小于所述阈值T，则DCT跳过单元110限制不要编码的视频数据，这表示块的结尾(EOB)是大约0，并且如果比率SAD/QP大于所述阈值T，则允许DCT单元120对视频数据的执行DCT。但是，如果阈值T是在视频序列内的一个固定值，则在DCT计算中的复杂度变得对每个块或帧不同。特别是，当软件视频编码器由PC或媒体处理器执行的时候，如果DCT计算复杂度按照宏块或帧来改变，则实时编码因为PC或媒体处理器的计算复杂度的限制而不能进行。

发明内容

为了解决上述问题，本发明的一个目的在于提供一种视频编码方法，它能够通过自适应地调整对于DCT跳过的阈值而保持视频编码器的固定的计算复杂度。

本发明的第二个目的在于提供一种视频解码方法和装置，它能够通过调整ME计算复杂度和离散余弦变换(DCT)计算复杂度而与图象的特性无关地保持视频编码器的计算复杂度的固定。

为了实现上述目的的一个方面，提供了一种用于编码活动图象的方法，它能够估测活动图象的活动向量，所述方法包括：(a)将侯选活动向量的绝对差(SAD)的和与按照前一个帧的每个宏块的搜索点的数量而设定的阈值相比较；(b)如果在(a)中确定每个侯选活动向量的SAD小于阈值，则结束对于宏块的活动向量的搜索，并确定具有最小SAD的侯选活动向量为活动向量；以及(c)当在(b)中结束对于活动向量的搜索的时候，按照当前帧的每个宏块的搜索点的数量更新阈值，所述阈值要针对下一个帧用于(a)中。

为了实现上述目的的另一个方面，本发明提供了一种用于编码活动图象的方法，所述方法包括：(a)将按照前一个帧的每个宏块的搜索点的数量而设定的一个阈值与所述前一个帧的活动向量的SAD相比较，按照比较结果确定是否结束对于宏块的搜索，并根据确定结果估测活动图象的活动；(b)计算在(a)中估测的活动估测(ME)的计算复杂度，以获得在所述ME计算复杂度和目标计算复杂度之间的差；(c)根据在ME计算复杂度和目标计算复杂度之间的差更新目标离散余弦变换(DCT)复杂度，并根据更新的目标DCT复杂度设定一个阈值，以便确定是否跳过对视频数据的DCT的执行；(d)按照在(c)中设定的阈值跳过执行对当前帧的视频数据的DCT处理或执行对于当前帧的视频数据的DCT处理。

为了实现上述目的的又一个方面，本发明提供了一种用于编码活动图象的装置，所述装置包括：离散余弦变换(DCT)单元，用于在逐块的基础上对输入的视频数据执行DCT；量化器，用于量化由所述DCT单元进行DCT的视频数据；活动估测(ME)单元，用于按照前一个帧的每个宏块的搜索点的平均数量更新一个阈值TH，将所述阈值与每个宏块的SAD相比较，估测当前帧的活动向量；DCT计算复杂度计算器，用于根据由ME单元更新的每个帧的阈值计算按照每个宏块的搜索点的数量的计算复杂度，估测在所计算的计算复杂度和目标ME计算复杂度之间的差，并根据所估测的ME计算复杂度来更新目标DCT计算复杂度；以及DCT跳过单元，用于根据由DCT计算复杂度计算器更新的目标DCT计算复杂度来设定一个阈值以确定是否跳过对于视频数据执行DCT，所述DCT跳过单元用于将由ME单元产生的每个块的SAD和由量化器产生的量化参数与阈值相比较，并确定是否允许所述DCT单元来对视频数据执行DCT。

附图说明

通过参照附图详细说明本发明的优选实施例，本发明的上述和优点将会变得更加清楚，其中：

图1是传统视频编码系统的方框图；

图2是按照本发明的视频编码器的结构的方框图；

图3是图解按照本发明的以活动估测(ME)单元估测活动图象的活动的方法的流程图；

图4是图解按照本发明的用于编码活动图象的方法的流程图；

图5是图解当在执行图3的方法期间调整阈值的时候的每个帧的搜索点的数量的图。

具体实施方式

图2是按照本发明的视频编码器的结构的方框图。参见图2，输入的视频数据包括以8×8块为单位的多个帧。

离散余弦变换(DCT)单元220响应于由DCT跳过单元290产生的DCT跳过控制信号而以8×8逐块方式对输入的视频数据进行DCT处理，或处理不要编码的输入的视频数据。量化器(Q)230量化由DCT单元220执行DCT的视频数据。可变长度编码(VLC)单元240消除在量化的视频数据中的统计冗余。逆量化器(IQ)250逆量化由Q 230量化的视频数据。逆DCT(IDCT)单元260对于由IQ 250逆量化的视频数据执行IDCT。帧存储器(FM)单元270以帧为单位存储由IDCT单元260执行IDCT的视频数据。活动估测(ME)单元280利用存储在FM单元270中的当前帧的视频数据和前一个帧的视频数据来估测每个宏块的绝对差的和(SAD)以及活动向量(MV)。在MV和SAD的估测期间，ME单元280按照每个宏块的前一个帧的搜索点的平均数量更新阈值TH，将对于当前帧的更新的阈值TH和SAD相比较，并确定是否终止对于活动向量的搜索。

DCT计算复杂度计算器284计算由ME单元280使用的前一个帧的整体(overall)ME计算复杂度，以便估测在整体ME计算复杂度和目标计算复杂度之间的差，并根据所述差更新目标DCT计算复杂度。

DCT跳过单元290按照所更新的目标DCT计算复杂度设定一个阈值T_on+1以跳过对当前帧的DCT的执行。接着，DCT跳过单元290将由ME单元280估测的每个块的SAD和由Q 230估测的量化参数(QP)与设定的阈值T_on+1相比较，并向DCT单元220发送比较结果作为DCT跳过信息。

图3是图解按照本发明的以ME单元280估测活动图象的活动的方法的流程图。参见图3，首先，在步骤301，按照估测图象的高速活动的特定方法，对于正在被处理的一个宏块的一个第一侯选活动向量的SAD被计算并被设定为一个最小的SAD，即SAD_min。

在步骤301后，在步骤320，比较所计算的SAD与预定的阈值TH，所述阈值TH是每个宏块的前一个帧的搜索点的数量。结果，在步骤322，如果SAD小于阈值TH，则SAD被确定为最小SAD，即SAD_min。同时，在步骤324，终止对于当前宏块的活动向量的搜索，并且确定最小SAD，即SAD_min的侯选活动向量为当前宏块的最后活动向量。下面，在步骤330，查看是否在当前帧中存在任何要处理的宏块。如果仍然存在要处理的宏块，则方法返回步骤310，并在步骤310估测在宏块中的图象的活动。否则，方法进行到步骤340，并且在步骤340，按照当前帧的每个宏块的搜索点的数量来更新阈值TH，并根据阈值TH估测下一个帧的活动。而且，在步骤340，利用公式(TH_n×S_n)/S_t来更新阈值TH，其中TH_n表示前一个阈值，S_n表示前一个帧的每个宏块的搜索点的平均数量，S_t表示每个宏块的搜索点的目标数量。阈值TH的计算是基于这样的事实，即它与ME单元的计算复杂度成正比。也就是说，第n+1帧的阈值TH被计算如下：

${\mathrm{TH}}_{n+1}=\mathrm{\ω}\·\frac{1}{M}\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\mathrm{SA}{D}_{n\min }\left[i\right],\·\·\·\left(1\right)$

其中M表示每个帧的宏块的数量，SAD_nmin[i]表示第n个帧的第i个宏块的最小SAD，w表示一个常数。而且，一般，阈值与搜索点的平均数量成反比，如下：

${\mathrm{TH}}_n\∝\frac{1}{S_n}\·\·\·\left(2\right)$

其中S_n表示在第n个帧中的ME计算复杂度。按照本发明的优选实施例的图3的方法使用了由L.-K.Liu和E.Feig，“A Block-Based Gradient DescentSearch Algorithm for Block Motion Estimation in VIdeo Coding(“在视频编码中对于块活动估测的基于块的梯度下降搜索算法”)”，IEEE Trans.Circ.Syst.For Video Technol.，vol.6，no.4，pp.419-422，August 1996引入的基于块的梯度下降搜索(BBGDS)算法。在BBGDS的情况下，每个宏块的搜索点的数量是方程2中给出的S。

方程2也可以如下表示：

${\mathrm{TH}}_n=\frac{k}{S_n}\·\·\·\left(3\right)$

${\mathrm{TH}}_{n+1}=k\frac{1}{S_t}\·\·\·\left(4\right)$

基于方程3和4，获得下面的方程5：

${\mathrm{TH}}_{n+1}=T{H}_n\frac{S_n}{S_t}\·\·\·\left(5\right)$

在步骤310之后，在步骤320查看是否阈值TH大于SAD。如果阈值TH小于SAD，则在步骤326查看是否SAD小于最小SAD，即SAD_MIN。如果肯定，则在步骤328 SAD被确定为最小SAD，即SAD_MIN。其后，如果在步骤350查看下一个侯选活动向量的存在，则在步骤360计算对应于侯选活动向量的SAD。接着，在步骤320，将所计算的SAD与阈值TH相比较。

因此，按照本发明，利用估测某个高速活动的技术来搜索搜索区域中的每个侯选的活动向量。如果对应于某个侯选的活动向量的SAD小于当前帧的阈值——它基于前一个帧的阈值和前一个帧的每个宏块的搜索点的平均数量，则不搜索其他侯选的活动向量，并且剩余的侯选的活动向量被确定为最后的活动向量。

图4是图解按照本发明的用于编码活动图象的方法的流程图。参见图4，首先，根据整体编码器计算复杂度来设定目标活动估测(ME)计算复杂度S_t和目标DCT计算复杂度C_t。

下面，在步骤405，当输入视频数据的时候，活动图象的活动以下列方法来估测：如图3的流程图所述，按照每个帧的每个宏块的搜索点的数量更新阈值，比较阈值与SAD，并按照按照比较结果来控制对宏块的搜索。

在步骤405之后，在步骤410，其活动被估测的第n个帧的每个宏块的搜索点数量被平均，以计算ME计算复杂度S(n)。在这个情况下，一般的高速活动估测方法的缺点在于每个宏块的搜索计算复杂度不是恒定的。一般高速活动估测方法被分为：其中在搜索区域中的搜索点的数量不相同的方法，如基于块的梯度下降搜索(BBGDS)算法；以及其中每个块匹配需要的计算被有效地减少的方法，如快速全面搜索方法。可以通过上述方法之一来计算每个帧的ME计算复杂度。

在步骤410之后，在步骤420，从目标ME计算复杂度S_t减去前一个帧的ME计算复杂度S(n)以获得在ME计算复杂度中的一个差，即S_t-S(n)。换句话说，查看是否前一个帧的ME计算复杂度S(n)大于或小于目标ME计算复杂度S_t，这是基于这样的事实，即诸如前一个帧和当前帧的连续帧的ME计算复杂度是类似的。

在步骤420之后，在步骤430，所述差S_t-S(n)被加到原目标DCT计算复杂度C_t以获得更新的目标DCT计算复杂度C′_t。在此，前一个帧的目标ME计算复杂度S_t和ME计算复杂度S(n)表示每个宏块的搜索点的平均数量，目标DCT计算复杂度C_t表示每个宏块的执行DCT的块的总数。其后，在处理一个搜索点花费的计算复杂度等于8×8 DCT计算复杂度的假设下，所述差S_t-S(n)被仅仅加到原目标DCT计算复杂度C_t。如果处理一个搜索点花费的计算复杂度不等于8×8 DCT计算复杂度，则所述差S_t-S(n)被乘以一个合适的权w并被加到原目标DCT计算复杂度C_t，因此获得了w{S_t-S(n)}+C_t。

在步骤430后，在步骤440，基于更新的目标DCT计算复杂度C′_t来设定用于确定是否在当前帧上执行DCT的当前帧的阈值T_on+1。

当前帧的阈值T_on+1被获得如下。

DCT复杂度指的是DCT单元在视频数据上执行DCT的概率，它通过执行DCT的块的数量来确定。基于阈值T_on+1与一个阈值和一个量化系数(T.Q.)成反比的事实，DCT复杂度由下列方程表示：

$C\≈\frac{v}{T_{o}Q},\·\·\·\left(6\right)$

其中T_o表示阈值，Q表示量化系数。在第n个帧的情况下，从方程6获得公式v＝C_nQ_nT_on。

而且，从方程6获得第n+1个帧的优选阈值如下：

$T_{\mathrm{on}+1}=\frac{v}{C_t{Q}_{n+1}},\·\·\·\left(7\right)$

其中C_t表示目标DCT复杂度。

方程7也可以表示如下：

$T_{\mathrm{on}+1}=T_{\mathrm{on}}\frac{Q_n{C}_n}{C_t{Q}_{n+1}},\·\·\·\left(8\right)$

方程8也可以表示如下：

$T_{\mathrm{on}+1}=T_{\mathrm{on}}\frac{Q_n}{Q_{n+1}}(1+\frac{C_n-C_t}{C_t}),\·\·\·\left(9\right)$

方程9也可以表示如下：

$T_{\mathrm{on}+1}=T_{\mathrm{on}}\frac{Q_n}{Q_{n+1}}(1+\frac{C_n-C_t}{{\mathrm{kC}}_t}),\·\·\·\left(10\right)$

其中阈值T_on+1的会聚速度依赖于常数k。参见方程10，可以注意到，用前一个帧的阈值T_on、量化系数Q_n和Q_n+1以及前一个帧的DCT复杂度C_n来计算当前帧的阈值T_on+1。

最后，如果在方程10中给出的目标DCT复杂度C_t被更新为目标DCT计算复杂度C′_t，即C′_t＝C_t+S_t-S_n，应用到本发明的当前帧的阈值T_on+1计算如下：

$T_{\mathrm{on}+1}=T_{\mathrm{on}}\frac{Q_n}{Q_{n+1}}(1+\frac{C_n-{C^{\′}}_t}{k{C^{\′}}_t}),\·\·\·\left(11\right)$

其中T_on表示前一个帧的阈值，Q_n表示前一个帧的量化系数，Q_n+1表示当前帧的量化系数，C_n表示前一个帧的DCT计算复杂度，k表示一个常数，C′_t表示一个更新的目标DCT计算复杂度。

在步骤440之后，在步骤450，将在ME和量化期间分别产生的每个块的SAD和量化参数Q_n+1与当前帧的阈值T_on+1相比较。

在步骤460，如果SAD/量化参数Q_n+1小于阈值T_on+1，则不在相关的块上执行DCT，并且该块被限定为不编码。在步骤470，如果SAD/量化参数Q_n+1大于T_on+1，则在所述块上执行DCT。

在步骤470之后，在步骤480查看是否编码输入的活动图象结束，如果否定，则重复上述步骤直到编码结束。

如上所述，按照本发明，利用某个高速活动估测方法，在将在ME单元280中的计算复杂度的差施加到DCT跳过模块上的同时，ME单元280有规律地保持通过调整每个帧的阈值TH而固定的ME计算复杂度。结果，有可能将编码器的整体计算量保持为与目标计算复杂度，即C_t+S_t贴近。

图5是图解当在执行图3的活动估测方法期间利用方程5调整阈值T的时候的每个帧的搜索点的数量的图。在图5中，虚线表示当执行按照本发明的活动向量估测方法的时候获得的搜索点数量的分布，实线表示当不执行按照本发明的活动向量估测方法的时候的搜索点数量的分布。图5显示，有可能有效地降低由于图象的活动的突然增加而导致的搜索点的数量的迅速增加而不降级编码器的性能。

虽然已经参照本发明的实施例具体示出和说明了本发明，本领域的技术人员会明白，在不脱离所附的权利要求所限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

本发明可以体现为可以由计算机可读介质执行的计算机可读代码。在此，计算机可读介质可以是能够存储可以由计算机系统读取的数据的任何记录装置，如只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD-ROM)、磁带、软盘、闪存、光学数据存储装置等等。而且，计算机可读介质可以是通过例如因特网发送数据的载波。计算机可读记录介质可以远程安装在连接到网络的计算机系统中，并通过一个分布式计算环境存储和执行计算机可读代码。

如上所述，在按照本发明的活动估测方法中，通过自适应地更新每个帧的阈值来调整每个帧的搜索点的数量，因此有规律地将视频编码器的计算复杂度保持固定而与图象的特性无关。而且，使用考虑到活动估测(ME)计算复杂度而设计的DCT跳过方法以及活动估测方法使得有可能有规律地保持整体的编码计算复杂度，即使使用了高速活动估测方法也是如此。即，如图2所示，按照本发明的视频编码器首先降低在一个帧的ME计算复杂度中的差，并根据所降低的差来更新目标DCT计算复杂度。因此，与不调整活动估测单元的计算复杂度而更新目标DCT计算复杂度的时候相比，有可能更有效和有规律地保持视频编码器的计算复杂度。

Claims (4)

1.一种用于编码活动图象的方法，它能够估测活动图象的活动向量，所述方法包括：

(a)将侯选活动向量的绝对差的和与按照前一个帧的每个宏块的搜索点的数量而设定的阈值相比较；以及

(b)如果在步骤(a)中确定每个侯选活动向量的绝对差的和小于阈值，则结束对于宏块的活动向量的搜索，并确定具有最小绝对差的和的侯选活动向量为活动向量；

(c)当在步骤(b)中结束对于活动向量的搜索的时候，按照当前帧的每个宏块的搜索点的数量更新阈值，所述阈值要针对下一个帧用于步骤(a)中。

2.如权利要求1所述的方法，其特征在于，步骤(a)还包括：

当每个侯选活动向量的绝对差的和大于阈值的时候，将所述绝对差的和与最小绝对差的和比较；

当所述绝对差的和小于最小绝对差的和的时候，将这个绝对差的和确定为最小绝对差的和，并当所述绝对差的和大于最小绝对差的和的时候，计算下一个侯选活动向量的绝对差的和；

当下一个侯选活动向量不存在的时候结束对于当前宏块的活动向量的搜索，并确定具有最小绝对差的和的侯选活动向量是活动向量；以及

当搜索侯选活动向量结束的时候，按照当前帧的每个宏块的搜索点的数量来更新要施加到下一个帧的阈值。

3.如权利要求1所述的方法，其特征在于，当不存在下一个宏块的时候，按照一个帧的每个宏块的搜索点的数量确定阈值的更新。

4.如权利要求1所述的方法，其特征在于，利用公式TH_n×S_n/S_t来更新阈值，

其中TH_n表示前一个阈值，S_n表示前一个帧的每个宏块的搜索点的平均数量，S_t表示每个宏块的搜索点的目标数量。

Images