CN1103531C - 用基于块的重排编码技术编码视频信号的目标区域的设备 - Google Patents

Abstract

一种用于对视频信号的任意形状的目标区域编码的设备包括一个处理块判定电路，用于基于形状信息选择一个包围目标区域的处理块以产生处理块信号和处理块位置数据，其中，处理块包括P×Q个子块，P和Q是正整数；一个子块重排电路，用于重排处理块的子块以产生具有最小包围目标区域的子块数的重排处理块以及代表重排子块位置的位置信息。然后，一种变换编码电路在逐子块的基础上的把重排处理块转变成待传输的变换编码视频信号。

Description

用基于块的重排编码技术编 码视频信号的目标区域的设备

本发明涉及一种用于对视频信号的一个目标区域编码的设备；更具体地说，涉及一种通过用一项基于块的重排编码技术来对视频信号的一个目标区域进行有效编码的设备。

在诸如电视电话、电话会议和高清晰度电视系统的数字电视系统中，需要大量数字数据来定义每一个视频帧信号，因为在视频帧信号中的一个视频行信号包括一系列被称作象素值的数字数据。然而，因为传统传输信道的可用频率带宽有限，为了通过它传输大量的数字数据，不可避免地要通过使用数据压缩技术来压缩或减少数据量，尤其是在低比特率的视频信号编码器的情况下，如电视电话或电话会议系统。

用于低比特率的编码系统编码视频信号的技术之一就是所谓的面向目标的分析-合成编码技术(参见Michael Hotter的“基于移动二维目标的面向目标的分析-综合编码”，Signal Processing：Image Communication，2，No.4 409-428页(1990年12月))。

根据面向目标的分析-综合编码技术，一个输入视频图象首先被分成两部分：即一个或多个目标区域及一个背景区域。然后，通过使用各种基于块的编码技术，如DCT(离散余弦变换)和量化，在逐块的基础上独立地对背景区域和目标区域编码。具体地说，因为目标区域可能是任意形状，就用一个包围该目标区域的处理块通过使用基于块的DCT编码技术来对目标区域编码，其中处理块首先被分成多个大小相等的子块。然后通过使用DCT编码技术对这些大小相等的子块顺序地编码。在这种情况下，为了有效地减少所传输的数字数据量，通过使用已有的填充技术，如一项扩展插值技术(EI)或一项形状自适应(SA)DCT编码技术所确定的某一个值去填充居于子块中目标区域以外的区域。

即使通过使用EI或SA DCT编码技术可能减少数字传输数据量，但减少包括目标区域的子块数目以进一步减少数字数据量，从而在低比特率编码系统中，比如说有64kb/s的传输信道带度的系统中，成功地实施这些技术是更所期望的或更方便的。

因此，本发明的一个目的在于提供一种通过用基于块的视频编码电路而对视频信号的一个目标区域进行有效编码的设备，它能够提供包围目标区域的最小量的子块数，从而改进视频信号编码的效率。

本发明的另一个目的在于提供一种有子块重排电路的设备，该电路能够通过对重排子块的平均活动而有效地提供包围目标区域的最小量的子块数。

根据本发明，提供了一种对视频信号的一个任意形状的目标区域编码的设备，其中，该视频信号包括零屏蔽区域、目标区域和代表着目标区域形状的形状信息，该视频信号被分成多个大小相同的子块，每一个子块有M×M个象素，M是一个正整数，该设备包括：

处理块判定装置，用于根据形状信息来选择一个包围目标区域的处理块，从而产生一个处理块信号和处理块位置数据，其中该处理块包括P×Q个子块，P和Q为正整数；

子块重排装置，用于重排处理块的子块，从而产生具有最小包围目标区域的子块数的重排的处理块以及代表了重排的子块位置的位量信息；及

变换编码装置，用于在逐块的基础上将重排的处理块转换为变换编码的视频信号。

从以下对联系附图给出优选实施例的描述中更易见本发明的如上及其它目的和特征，其中：

图1是原理方框图，显示了根据本发明的具有子块重排电路的一个视频编码设备；

图2A用于说明示例性的包围目标区域的处理块；

图2B显示了示例性的行重排处理块；

图2C用于描述示例性的列重排处理块；

图3提供了一个示于图1的行移位子块产生电路的详细方框图；及

图4显示了一个示于图1的列移位子块产生电路的详细方框图。

参见图1，示出的是一个根据本发明的用于对视频信号的目标区域编码的视频编码设备。该视频编码设备包括一个处理块制定电路200，一个子块重排电路300，及一个变换编码电路400。

从视频源，比如视频存储器(未示出)，输出的零屏蔽视频帧信号被提供给处理块制定电路200，其中零屏蔽视频帧信号包括至少一个目标区域和一个零屏蔽区域。表示目标区域的形状信息也被传入处理块判定电路200。

通过用零屏蔽视频帧信号和形状信息，处理块判定电路200判定一个处理块，其中处理块包括多个包围该目标区域的相同大小的子块，例如，P×Q个子块，P和Q为正整数。每一个子块有M×M个象素，M是一个正整数，例如，8×8个象素或16×16个象素。这些块被置于一个有P个行子块阵列及Q个列子块阵列的矩阵表中。例如，参见图2A，显示了一个示例性的处理块110，为简单起见，它只有5×5个包围着目标区域120的子块。处理块110包括5个行子块阵列10、21、31、41和51，各行含5个子块，而且处理块110还包括5个列子块阵列11、12、13、14和15，各列含5个子块。

在处理块判定电路200，产生出一个代表处理块的处理块信号表示处理块的位置的处理块位置信息，并把它们提供给子块重排电路300，其中子块重排电路300包括一个行移位子块产生电路310，一个列移位子块产生电路320、一个比较器330及一个选择器340。

在子块重排电路300，处理块的子块被重排，并且产生一个重排的处理块信号和重排的子块阵列位置信息，其中，重排的处理块信号包括包围目标区域的最小量的子块数。以下将详述获取具有最小量包围目标区域的子块数的重排过的处理块的过程。

在行移位子块产生电路310，每一个行子块阵列首先被移位以获取一需要一最小平均活动的行重排的处理块，然后产生代表了移位的行子块阵列的位置的重排的子块阵列位置信息及表示行重排过的处理块的平均活动的一行平均活动信号。类似地，在列移位子块产生电路320，每一个列子块阵列首先被移位以获取一需要另一个最小平均活动的列重排的处理块，然后产生代表了移位的列子块阵列的位置的列子块阵列位置信息及表示第二次重排过的处理块的活动的一列活动信号。参加图3和图4，下面将描述行移位和列移位子块产生电路310和320的细节。

重排过行和列的处理块，以及行和列子块阵列位置信息被供给选择器340，而行和列平均活动信号被传至比较器330。在比较器330，对行平均活动信号和列平均活动信号进行比较，选择出具有相比较小的平均活动的重排的处理块，从而产生一个代表了被选择的重排过的处理块的选择信号。

在选择器340，对从比较器330来的选择信号作出响应，被选择的重排过的处理块作为待被传输的重排过的处理块而被提供给变换编码电路400。另一方面，选中的重排过的处理块的子块阵列位置信息经过选择器340被传输至下一个已知的处理器，比如，一个可变长编码器(未示出)。

变换编码电路400对从选择器340输出的重排的处理块进行处理以给下一个处理器提供一组变换系数。正如本领域中已知的变换编码电路400是通过用一已有离散余弦变换(DCT)编码电路来实现的，该电路使用了已有的扩展插值(EI)技术或已有的形状自适应(SA)DCT编码技术。变换编码电路也可包括一个已知的量化电路。

参见图3和图4示出了解释图1中的行移位和列移位子块发生电路310和320的详细框图。如图3所示，行移位子块产生电路310包括M个行移位电路311-1、311-2、…、311-M，M个平均活动计算器312-1、312-2、…312-M，一个比较器313，一个选择器314，一个行活动计算电路315以及一个缓冲器316。

图1所示的从处理块到判定电路200输出的P个行子块阵列被顺序地传至行移位电路311-1到311-M。处理块位置信息也被提供给行移位电路311-1到311-M。虽然图3意在显示M个行移位电路，然而为简单起见，只画出了三个。行移位电路311-1、311-2，…，和311-M同时接收一行子块阵列，并且各自把行子块阵列移位一个预定的象素位置，例如一个象素，以此产生一个移位的行子块阵列。例如，参见图2B，行子块阵列10同时被传至行移位电路311-1到311-M，而且第一个行移位电路311-1提供在行方向上被移了一个象素位置的第一个移位子块阵列10-1。类似地，第二个行移位电路311-2和第M个行移位电路311-M分别提供在行方向上被移了2个象素位置的第二个移位子块阵列10-2以及被移了M个象素位置的第M个移位子块阵列10-M。如果如上所述，子块由8×8个象素形成，则M为8。

行移位电路311-1至311-M把各自的子块阵列位置信息和一组移位子块阵列分别提供给选择器314和相应的平均活动计算器312-1至312-M。平均活动计算器312-1至312-M中的每一个都要把每个移位子块阵列的平均活动提供给比较器313。每个子块的中间活动AV被表述为下式： $\mathrm{AV}=\frac{1}{N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(H(i,j)-\stackrel{\‾}{m})}^2$ 其中N＝M×M，H(i，j)代表了在位置(i，j)的象素的亮度级数，i和j分别是代表了子块中象素的水平和垂直位置的正整数， m是在每一相应子块中的象素的亮度级数的平均值。

在比较器313中，平均活动值被相互比较以选出一个具有最小平均活动的移位子块阵列。例如，如果在移位子块阵列中第二个移位子块阵列具有最小的平均活动值，就选出第二个移位子块，并且比较器313产生一个选择信号表示第二个移位子块阵列作为被选中的移位子块阵列。然后，选择信号被传送到选择器314，选择器314对选择信号作出响应，把选中的移位子块阵列和相应的子块阵列位置信息提供给缓冲器316。比较器313也向行活动计算器315提供选中的移位子块阵列的平均活动值。以上过程一起重复到所有P个行子块阵列(例如，图2A的10、21、31、41和51)都被处理了为止。行活动计算器315把每一个选中的移位子块阵列的平均活动值累加作为平均活动累加值，然后把平均活动累加值除以选中的移位子块阵列总数以产生被传入图1中比较器330的行平均活动信号。另一方面，缓冲器316暂存选中的移位产块阵列，直到所有选中的移位子块阵列都被存入为止，而且缓冲器316顺序地产生所存储的子块作为传至图1所示选择器340的行重排处理块(例如图2B和130)。

参见图4，列移位子块产生电路320包括M个列移位电路411-1、411-2、…，411-M，M个平均活动计算器412-1，412-2，…412-M，一个比较器413，一个选择器414，一个列活动计算电路415及一个缓冲器416。

从图1中所示的处理块判定电路200输出的Q个列子块阵列被顺序地传到列移位电路411-1至411-M。处理块位置信息也被提供给列移位电路411-1至411-M。虽然图4也是意在显示M个列移位电路，为简单起见只画出了三个。列移位电路411-1至411-M同时接收一个列子块阵列，并且各自把列子块阵列移一个预定的象素位置，例如一个象素，以此产生一个移位的列子块阵列。例如，参见图2C，列子块阵列11同时被传至列移位电路411-1至411-M，而且第一个列移位电路411-1提供在列方向上被移了一个象素位置的第一个移位子块阵列11-1。类似地，第二个列移位电路411-2和第M个列移位电路411-M分别提供在列方向上被移了2个象素位置的第二个移位子块阵列11-2以及被移了M个象素位置的第M个移位子块阵列11-M。如果，如上所述，子块由8×8个象素形成，则M为8。

列移位电路411-1至411-M把各自的子块阵列位置信息和一组移位子块阵列分别提供给选择器414和相应的平均活动计算器412-1至412-M。平均活动计算器412-1至412-M中的每一个都要把每个移位子块阵列的平均活动提供给比较器413。每个子块的平均活动AV被表述为下式： $\mathrm{AV}=\frac{1}{N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{(H(i,j)-\stackrel{\‾}{m})}^2$ 其中N＝M×M，H(i，j)代表了在位置(i，j)的象素的亮度级数，i和j分别是代表了子块中象素的水平和垂直位置的正整数， m是在每一相应子块中的象素的亮度级数的平均值。

在比较器413中，平均活动值被相互比较以选出一个具有最小平均活动的移位子块阵列。例如，如果在移位子块阵列中第二个移位子块阵列具有最小的平均活动值，就选出第二个移位子块，并且比较器413产生一个选择信号表示第二移位子块作为被选中的移位子块阵列。然后，选择信号被传送到选择器414，选择器414对选择信号作出响应，把选中的移位子块阵列和相应的子块阵列位置信息提供给缓冲器416。比较器413也向列活动计算器415提供选中的移位子块阵列的平均活动值。以上过程一直重复到所有Q个列子块阵列(例如，图2A的11、12、13、14和15)都被处理了为止。列活动计算器415把每一个选中的移位子块阵列的平均活动值累加作为平均活动累加值，然后把此平均活动累加值除以选中的移位子块阵列总数以产生被传入图1中所示比较器330的列平均活动信号。另一方面，缓冲器416暂存选中的移位子块阵列，直到所有选中的移位子块阵列都被存入为止，而且缓冲器416顺序地产生所存储子块作为被传至图1所示选择器340的列重排处理块(例如图2B和140)。

使用根据本发明的子块重排电路，能有效地使包围被编码的目标区域的子块数最小化，以便能够极大地减少通过基于块的编码技术，如DCT编码技术待被编码的数据量，从而改善视频编码器的编码效率。此外，通过使用平均活动计算技术能够有效地获得包围目标区域的子块数的最小化。

虽然讲述发明时参考了特定的实施例，但显而易见，对本领域人员来说，在不离开如以下的权利要求所定义的本发明的精髓和范围的前提下，可对本发明作出各种变化和修改。

Claims (6)

1、一种用于对视频信号的任意形状的目标区域进行编码的设备，其中，视频信号包括一个零屏蔽区域、目标区域和代表目标区域形状的形状信息；并且该视频信号被分成多个大小相同的子块，每一个子块M×M个象素，M是正整数，该设备包括：

处理块判定装置，用于根据形状信息来选择一个包围目标区域的处理块，从而产生一个处理块信号和处理块位置数据，其中，处理块包括P×Q个子块，P和Q为正整数；

子块重排装置，用于排处理块的子块，以产生具有包围目标区域的最小子块数的重排的处理块以及代表重排子块的位置的位置信息；及

变换编码装置，用于在逐子块的基础上把重排的处理块转变成一个变换编码的视频信号，

其中处理块包括P个行子块阵列及Q个列子块阵列；而且子块重排装置包括：

行移位子块产生装置，顺序地接收P个行子块阵列，用于在行方向上把每一个行子块阵列进行移位以产生一个需要最小平均活动的行重排处理块、产生代表行重排子块阵列的位置的行子块阵列位置数据以及一个表示行重排处理块的平均活动的行活动信号；

列移位子块产生装置，顺序地接收Q个列子块阵列，用于在列方向向上把每一列子块阵列进行移位以产生一个需要最小活动的列重排处理块、产生代表列重排子块阵列的位置的列子块阵列位置数据以及一个表示列重排处理块的平均活动的列活动信号；及

比较装置，用于比较行活动信号与列活动信号，以选出该行和列重排处理块中的一个作为重排处理块，并选择选中的重排处理块的行或者列子块阵列位置数据作为位置信息，其中所述的选中的重排处理块具有比其余的重排处理块要小的平均活动。

2、如权利要求1所述设备，其中行移位子块产生装置包括：

M个行移位装置，接收行子块阵列中的一个以及处理块位置数据，每一个行移位装置用于基于该处理块位置数据把接收到的行子块阵列中的一个移动一个预定的位置，从而产生一个移位的行子块阵列和移位的子块阵列位置数据；

M个平均活动计算装置，各用来计算从所述的相应行移位装置输出的移位行子块阵列的平均活动，从而为相应的行子块阵列提供一个平均活动信号；

比较装置，用于相互比较平均活动信号以选择一个具最小平均活动的移位行子块阵列和相应的移位子块阵列位置数据，该装置还用于产生选中的移位行子块阵列和相应的移位子块阵列位置数据；

行平均活动计算装置，用于把所有选中的行子块阵列的平均活动信号累加起来作为平均活动累加信号，该装置还用于把该平均活动累加信号除以选中的行子块阵列的总数来产生一个行平均活动信号；及

缓冲装置，用于暂存选中的行子块阵列和相应的移位阵列位置数据，直到所有的子块阵列都经过了处理为止，以产生选中的行子块阵列作为行重排处理块以及相应的移位子块阵列作为行子块阵列位置数据。

3、如权利要求2所述的设备，其中列移位子块产装置包括：

M个列移位装置，接收列子块阵列中的一个以及处理块位置数据，每一个列移位装置用于基于处理块位置数据把所述的接收到的列子块阵列中的一个移动一个预定的位置，从而产生一个移位的列子块阵列和移位的子块阵列位置数据；

M个平均活动计算装置，每一个都是用来计算从所述的相应列移位装置输出的移位列子块阵列的平均活动，从而为相应的列子块阵列提供一个平均活动信号；

比较装置，用于相互比较平均活动信号以选择一个具有最小平均活动的移位列子块阵列和相应和移位子块阵列位置数据，该装置还用于产生选中的移位列子块阵列和相应的移位子块阵列位置数据；

列平均活动计算装置，用于把所有选中的列子块阵列的平均活动信号累加起来作为平均活动累加信号，该装置还用于把平均活动累加信号除以选中的列子块阵列的总数以产生一个列平均活动信号；及

缓冲装置，用于暂存选中的列子块阵列和相应的移位阵列位置数据，直到所有的列子块阵列都经过了处理为止，以产生选中的列子块阵列作为列重排处理块以及相应移位的子块阵列位置数据作为列子块阵列位置数据。

4、如权利要求3所述设备，比较装置包括一个比较器和一个选择器；

5、如权利要求4所述的设备，其中变换编码装置包括一个离散余弦变换电路。

6、如权利要求5所述的设备，其中变换编码装置包括一个形状自适应离散余弦变换电路。

Images