CN100423581C

CN100423581C - 动态图形的编码/解码方法及其设备

Info

Publication number: CN100423581C
Application number: CNB021583900A
Authority: CN
Inventors: 莫海安
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Entropic Communications LLC
Priority date: 2002-12-30
Filing date: 2002-12-30
Publication date: 2008-10-01
Anticipated expiration: 2022-12-30
Also published as: US20060192698A1; WO2004059985A1; CN1512783A; AU2003285711A1; JP2006512838A; EP1582071A1

Abstract

本发明涉及动态图形的处理，具体公开了一种预处理动态图形的方法、相应的解码方法，以及相应的设备。本发明的动态图形预处理方法包括以下步骤：把多个动态元素都处于第一状态的画面编码为基准图像；把多个动态元素中至少有一个处于第一状态之外的其它状态的其余画面分别编码为相对基准图像的差分图像，从而形成一个差分图像序列；复用所述的基准图像和所述的差分图像序列，并提供所得到的视频格式信号。采用本发明的方法，可以无需对用户设备进行大的改动，并可以有效地减小带宽或存储空间的占用。

Description

动态图形的编码/解码方法及其设备

技术领域

本发明涉及动态图形的处理，特别涉及动态图形内容的编码/解码方法及其设备。

背景技术

近年来，随着会议电视、VCD、数字电视以及高清晰度电视(HDTV)等新技术的迅速发展，动态图形得到了广泛的应用。这里所说的“图形内容”指的是图形、文本的组合。而“动态图形”的特征在于包含窗体、按钮、动态信息等这些动态元素，这些动态元素的显示是由显示设备的内部状态和用户所确定的。

如图1所示，最常用的向终端用户提供动态图形的方法是给显示设备添加相应的处理能力，使其能够根据描述信息而呈现图形内容，即由用户设备绘出动态图形。可以利用数字TV标准，比如OpenTV、MHP等等，或者互联网标准，比如HTML和JavaScript这样的扩展，来描述图形内容。

但是，给设备添加上述的处理能力是成本很高的。这需要更强大的CPU和图形协处理器，需要附加的编码和数据存储器，以及基于像素的图像存储器。同时这自然需要大规模地改变用户设备，增加用户设备的成本。因此，无法用低成本的设备来访问动态图形内容。

还有一种方法是逐页面地预先处理动态图形的内容，然后把所得到的视频信号复用在一起，从而可以按照数字视频格式传输或存储动态图形。图3显示了这样的方法。这样就可以自然地得到用户设备的支持，而无需对用户设备进行大的改动。例如，可以利用现有的MPEG解码器。图2显示了现有的MPEG解码器的原理图。图2中，VLD表示可变长度解码，IQ表示反量化，IDCT表示反离散余弦变换，MC表示运动补偿。

但是，这种方法同样存在问题。在这种现有技术的处理方法中，要根据动态图形中包含的动态元素数目创建很多的画面。假设在动态图形中包含有N个动态元素，表示为e₁，...，e_N。元素e₁具有M₁个不同的显示状态，表示为0，....，M_1-1。这样，要创建的静态图形的数目等于M₁(i＝1～N)的累乘积，即∏M₁。图3显示了在头端中由页面生成各个可能的画面的示意框图，可见，随着N值的增大，要创建的静态图形的数目急剧增加。假设动态图形中包含10个动态元素，每个动态元素有2个状态，则要创建的静态图形的数目是2¹⁰＝1024。显然，这会造成带宽的巨大浪费。

由此，需要一种提供动态图形的方法，既能够经济有效地对动态图像进行压缩，减小带宽和存储空间的占用，又无需对用户设备进行大的改动。

发明内容

本发明的目的即在于解决上述现有技术中存在的问题。

根据本发明的一个方面，提供了一种在基于块的视频预测编码方案中对动态图形进行编码的方法，该方法包括以下步骤：把所述的多个动态元素都处于第一状态的画面编码为基准图像；把多个动态元素中至少有一个处于所述第一状态之外的其它状态的其余画面分别编码为相对所述基准图像的差分图像，从而形成一个差分图像序列；以及复用所述的基准图像和所述的差分图像序列，并提供所得到的视频格式信号。

优选的，本发明的动态图形编码方法是在MPEG编码方案中实施的。

根据本发明的另一个方面，提供了一种对按照本发明的动态图形编码方法提供的图像信号进行解码的方法，包括以下步骤：解码所述的基准图像；对与相对所述基准图像有变化的动态元素状态相对应的差分图像进行解码。

优选地，本发明的解码方法还包括跳过对应于相对所述基准图像没有变化的动态元素状态的差分图像。

根据本发明的另一个方面，还提供了一种用于实现本发明的动态图形编码/解码方法的编码/解码设备。

根据本发明的另一个方面，还提供了一种包含本发明的编码/解码设备的广播系统、视频信号提供设备、视频信号播放器，以及用户设备等。

应该指出的是，本发明的方法可以应用于各种基于块(或对象)的预测编码方案，包括MPEG-1，2，4，DivX，H261，H262，H263，H264等等。

附图说明

附图帮助更好地理解本发明，并在此结合构成本申请的一部分，附图说明本发明的实施例并和说明书一起解释本发明的原理，附图中：

图1显示了现有技术的具有动态图形处理能力的用户设备的原理框图；

图2显示了现有技术的MPEG解码器的原理框图；

图3显示了现有技术的动态图形预处理的原理图；

图4显示了根据本发明的动态图形预处理的原理图；

图5显示了使用单个MPEG编码器对所有画面进行编码的概念图；

图6显示了根据本发明的解码方法的前端；

图7显示了图12和13所示状态机的操作逻辑；

图8解释了有限状态机的流程规范；

图9解释了由一个采用块/对象编码和差分编码的编码器对所有画面进行编码；

图10显示的是图9所示编码处理的另一种实施方式，由此得到近似的效果，但是操作更为简单；

图11是一个示意框图，显示的是应用于基于块/对象的编码和差分编码的编码方案的现有解码器；

图12显示的是根据本发明对图11所示现有解码器加以改进，以解码动态图形内容；

图13显示的是根据本发明对图12所示现有解码器加以改进，以解码动态图形内容。

具体实施方式

以下对本发明的具体实施方式进行详细说明。

在基于块(对象)的预测编码方案中，将图像划分为块单元(或者对象)，各个块(对象)在图像中占据固定的位置。在本发明的方法中，将各个动态元素划分到分别的块(对象)中。各个动态元素在动态图形中占据固定的区域，与它们的状态无关，这使得在不同的画面中可以保持固定的图形布局。在像素域和编码域中，各个元素之间都不会相互交叠。例如，MPEG-1和MPEG-2在编码过程中使用块栅格。不同的元素落在不同的块中。

为便于说明，以下以MPEG视频编码标准为例对本发明的优选实施例进行详细描述。应该强调的是，在此MPEG视频编码方案仅仅是作为示例，并不限制本发明的范围。本发明的方法可以应用于各种基于块(或对象)的编码方案，包括MPEG-1，2，4，DivX，H261，H262，H263，H264等等。

在本发明的方法中，把各个动态元素都处于第一状态的画面(e₁＝0，e₂＝0，...，e_N＝0)编码为帧内图像(I图像)。然后，对于第一动态元素e₁，把画面(e₁＝1，e₂＝0，...，e_N＝0)，...，(e₁＝M₁-1，e₂＝0，...，e_N＝0)编码为相对于(e₁＝0，e₂＝0，...，e_N＝0)的差分图像。差分编码是大多数视频编码方案的基础，特别是MPEG。在MPEG中，差分图像被称为P图像(预测图像)。对其它的动态元素执行上述处理，即，把(e₁＝0，e₂＝1，...，e_N＝0)，...，(e₁＝0，e₂＝M₂-1，...，e_N＝0)，直到(e₁＝0，...，e_N-1＝0，e_N＝1)，...，(e₁＝0，...，e_N-1＝0，e_N＝M_N-1)，分别编码为相对(e₁＝0，e₂＝0，...，e_N＝0)的差分图像，如图4所示。

在利用差分(或预测)编码的编码方案中，可以使用一个编码器进行上述的编码处理。图9显示了这样的处理过程。首先，把图9中标记为V₁的画面(e₁＝0，e₂＝0，...，e_N＝0)编码为所谓的帧内图像或I图像。利用该I图像解码后得到的图像V₁′来预测后续图像中的块/对象。图10中显示了上述处理的另一种实施方式。在图10所示的处理中，是利用V₁，而不是V₁′来预测后续图像。由于不需要对编码后的V₁画面进行解码，所以图10所示的处理具有更为简单和快速的优点。图9和图10所示的系统对于画面中的静态块/对象能得到相同的结果。然而，对于动态块/对象，图10所示的系统得到的是根据基准图像预测而得到的近似结果。对于这些块，可以选择预测参数为“无预测”，从而与基准图像无关地对这些块/对象进行编码。

图5显示了使用单个MPEG编码器对所有画面进行编码的过程，其中DCT表示离散余弦变换，Q表示量化，VLC表示可变长度编码。MPEG使用最后的编码P图像作为新的锚图像(anchor picture)。但是在本发明的方法中应该保持画面V₁′作为锚图像。根据MPEG标准，锚图像和新的锚图像都保留在存储器中。优选的，在一个动态图形的处理中，禁止新锚图像的更新。在这个实施例中无需运动预测。在I图像的编码过程中，不使用存储器中的锚图像。把MC设定为“帧内”，这表示不对编码中的块进行任何运动补偿预测。因此，MC的输出是空信号。MC的输入状态是不确定的。编码I图像解码后得到的V₁′进入存储器，成为新的锚图像。在P图像的编码过程中，与锚图像无关地把块编码成“帧内”图像，或者使用锚图像中相同位置的数据编码成预测块，即，使用了(0，0)运动矢量。在现有的MPEG编码器中进行这个选择处理。例如，根据要预测的块及其预测之间的L1距离(绝对距离和)。对于编码为“帧内”的块，使用块的平均值作为预测。把这两个距离与一个预定的偏差进行比较。使用产生最小偏差距离的编码。优化为使用最少的操作对本发明的视频信号进行编码的编码器无需进行上述计算。这样的编码器可以利用事先知道的图像布局。具体而言，画面中的静态部分可以由(0，0)运动矢量进行预测，而动态部分可以一直使用利用(0，0)运动矢量进行的“帧内”编码或预测。

如此，得到了一个由1个帧内图像和{∑(M₁-1)i＝1，...，N}个预测图像构成的编码视频序列。这个序列比较短，而且通常是重复的，直到内容发生了更新。

为了进一步减小带宽，优选的，视频信号中至少每隔预定的时间包含一个帧内图像。如果这个间隔小于预定时间，则可以在上述序列中加入仅表示“与先前图像相比没有变化”的预测图像，这种预测图像的编码形式是非常紧凑的。例如，对于所述预定时间为1/2秒的情况，按照每秒25幅图像的显示频率，P图像的数目{∑(M₁-1)i＝1，...，N}等于11。这里，1/2秒是指画面之间切换的最大等待时间。

下面的表1显示了本发明的动态图形预处理方法与现有技术方法的比较结果，其中在接收端处画面切换的等待时间是相同的。

表1

	现有技术	本发明
	现有技术	本发明	I图像	M<sub>i</sub>(i＝1，...，N)的累乘积	1
有用的P图像	0	∑(M<sub>i</sub>-1)i＝1，...，N	I图像	M<sub>i</sub>(i＝1，...，N)的累乘积	1
有用的P图像	0	∑(M<sub>i</sub>-1)i＝1，...，N	“相比先前图像无变化”的图像	11*M<sub>i</sub>(i＝1，...，N)的累乘积	11-{∑(Mi-1)i＝1，...，N}

表2

对于10个具有2种状态的元素	现有技术	本发明
对于10个具有2种状态的元素	现有技术	本发明	I图像	1024	1
有用的P图像	0	10	I图像	1024	1
有用的P图像	0	10	“相比先前图像无变化”的图像	11*1024	1

由以上的表1和表2可见，不仅{∑(M_i-1)i＝1，...，N}显著小于M₁(i＝1，...，N)的累乘积，而且P图像的大小至少要比I图像小一个数量级。可见，本发明的方法可以大大减小带宽。

以下参照图6-图8，以及图12-图13对本发明的解码方法进行说明。

可以利用现有的视频解码器来播放由本发明的方法所编码的视频信号。

要显示对应于(e₁，e₂，...，e_N)的画面(其中e₁是0～M_i-1范围内的值，表示元素的显示状态)，解码器应该首先解码I图像，然后对P图像进行解码。包含有一个动态元素一个状态变化信息的P图像可以表示为N维矢量(0，...，0，f₁≠0，0，...，0)，其中i是一个1～N范围内的索引，f₁是元素状态，f₁∈{1，...，M₁-1}。然后，对于所有使e₁≠0的i，对P图像(0，…，0，f₁＝e₁，0，…，0)进行解码，同时跳过其它的P图像。

上述解码处理可以在图11所示的解码器中实现，该解码器适用于基于块/对象的编码和差分编码的编码方案。在图12中，为编码器添加了一个用于跳过图像的模块。这个模块可以是，例如，现有的错误恢复模块。该模块也可以通过“新图像”信号来检测编码图像流中编码图像的起始，并通过“图像类型”信号来检测图像类型。

可以利用图7所示的状态机来根据用户界面输入而控制图像的跳过。图6中显示了用户界面的示例。“新画面”信号表示要生成新的画面，“解码字”信号表示要在I图像之后解码的P图像。“解码字”是由画面矢量(e₁，e₂，…，e_N)计算出来的，画面矢量表示了N个动态元素的状态，其中e₁是0到M_i-1之间的值。假设解码字为(D₁，…，D_k)，其中K＝∑(M_i-1)，则：

如果e₁＝1，则D₁＝1，否则D₁＝0

…

如果

e_{M_{1} - 1} = 1,

则

D_{M_{i} - 1} = 1,

否则

D_{M_{1} - 1} = 0

如果e₂＝1，则

D_{M_{1} - 1 + 1} = 1,

否则

D_{M_{1} - 1 + 1} = 0

…

如果

e_{M_{2} - 1} = 1,

则

D_{M_{1} - 1 + M_{2} - 1} = 1,

否则

D_{M_{1} - 1 + M_{2} - 1} = 0

…

如果

e_{M_{N} - 1} = 1,

则

D_{Σ (M_{i} - 1)} = 1,

否则

D_{Σ (M_{i} - 1)} = 0

图7所示的状态机具有K+3种状态，其中K＝∑(M_i-1)。其初始状态是“同步”，其输入是{新画面，新图像，图像类型，解码字}，其输出是“跳过”，{“不跳过”＝0，“跳过”＝1}，取决于状态和输入。Not()表示布尔反函数，即not(1)＝0，not(0)＝1。图8示出了状态机的表达规范。

如果编码方案是MPEG，则可以利用图2所示的现有MPEG解码器进行本发明的解码处理，只需进行少量的改动。这种解码器具有VLD(可变长度解码器)模块，其通常能够实现图像跳过，例如为了错误恢复或特技播放。在图3种，使用状态机的跳过信号来触发VLD的跳过输入。

所期望的画面构建之后，将其冻结在屏幕上，直到图形内容发生了变化。在通常的解码处理中，画面冻结是为了隐蔽数据流中的错误，而在本发明的解码方法中，画面的冻结是正常的处理步骤。例如，在MPEG解码器中，最后一幅画面冻结，VLD等待下一个图形的同步字。图7所示的状态机保持冻结状态，直到需要对新的画面进行解码(由“新图像”信号的输入表示)。

可见，本发明的解码处理无需对用户设备进行大的改动，特别是，可以利用现有的视频解码器进行本发明的解码处理。

以上利用MPEG编码方案作为示例对本发明进行了说明。但应该理解的是，MPEG视频编码方案仅仅是作为示例，并不限制本发明的范围。本发明可以方便地用于其它的基于块(对象)的预测编码方案。同时，以上说明中的细节也不应理解为对本发明的限制。对于本领域的技术人员，很显然可以有很多的替换、改进和变化。

Claims

1. 一种动态图形的编码方法，其中动态图形中包含有多个动态元素，每个动态元素具有多种变化状态，所述多个动态元素的多种状态形成了动态图形的多个画面，所述的方法包括以下步骤：

把所述的多个动态元素都处于第一状态的画面编码为基准图像；

把多个动态元素中至少有一个处于所述第一状态之外的其它状态的其余画面分别编码为相对所述基准图像的差分图像，从而形成一个差分图像序列；以及

复用所述的基准图像和所述的差分图像序列，并提供所得到的视频格式信号。

2. 根据权利要求1所述的方法，其中，所述的方法是在MPEG编码方案中实施的。

3. 根据权利要求2所述的方法，其中，所述的基准图像是帧内图像，所述的差分图像是预测图像。

4. 根据权利要求1所述的方法，其中，每隔预定的时间至少包含一个所述的基准图像，使编码信号的比特率减小预定的比率。

5. 根据权利要求1所述的方法，还包括在所述差分图像序列中加入表示“相对先前图像无变化”的附加图像的步骤，以减小比特率。

6. 一种对按照权利要求1的方法编码的视频信号进行解码的方法，包括以下步骤：

(1)解码所述的基准图像；

(2)对与相对所述基准图像有变化的动态元素状态相对应的差分图像进行解码。

7. 根据权利要求6所述的方法，其中所述的步骤(2)还包括跳过对应于相对所述基准图像没有变化的动态元素状态的差分图像。

8. 一种提供动态图形的方法，其中动态图形中包含有多个动态元素，每个动态元素具有多种变化状态，所述多个动态元素的多种状态形成了动态图形的多个画面，所述的方法包括以下步骤：

在编码端：

把其中多个动态元素中至少有一个处于所述第一状态之外的其它状态的其余画面分别编码为相对所述基准图像的差分图像，从而形成一个差分图像序列；

在解码端：

(1)解码所述的基准图像；

(2)对与相对所述基准图像有变化的动态元素状态相对应的差分图像进行解码，并跳过其它图像。

9. 一种图形编码设备，包括编码器和控制器，所述控制器控制编码器执行以下操作：

10. 一种对按照权利要求1所述方法编码的视频信号进行解码的设备，包括解码器和控制器，所述控制器控制所述解码器执行以下操作：

解码所述的基准图像；

对与相对所述基准图像有变化的动态元素状态相对应的差分图像进行解码。

11. 一种广播系统，其具有如权利要求9所述的图形编码设备。

12. 一种提供视频信号的设备，其具有如权利要求9所述的图形编码设备。

13. 一种视频播放器，其包含如权利要求10所述的解码设备。

14. 一种用户设备，其包含如权利要求10所述的解码设备。