CN1984329B - 视频数据的编码设备、编码方法、解码系统和解码方法 - Google Patents

Abstract

本发明涉及一种视频数据编码设备和方法。所述设备包括用于以图像的片的形式对每个图像进行编码的装置，其中每个片是与其它片无关地编码的。根据本发明，该设备包括用于将至少一个消息(SEI)插入数据流的装置，其中该消息指示与将图像分解为片相关的结构。本发明还涉及一种视频数据解码系统和解码方法，所述视频数据以片的形式编码，每个片是与其它片无关地编码的。根据本发明，该解码系统包括：用于分析视频数据以便确定数据分解为片的分解的装置；逐片地对视频数据进行解码的装置；用于在解码之后重构多个视频数据以便重构解码的视频数据的装置。应用于H.264标准。

Description

视频数据的编码设备、编码方法、解码系统和解码方法

技术领域

本发明涉及一种视频数据的编码设备和方法以及解码的方法和系统。

更具体地，本发明涉及编码标准，在该标准中，编码的图像与特定数目的信息单元一起发送，以使得可以容易地解码这些图像。

背景技术

诸如MPEG-2和最近的H.264之类的压缩标准以图像组(GOP)的形式发送编码图像，图像组还包括描述图像组的结构的信息，该信息随后由解码器用于解码图像。

H.264标准以片(slice)式的结构发送图像组。片可以包含整个图像或者部分图像。编码器用于将图像分解为片(大多数情况下是基于固定的配置)，但是解码器原则上从不知道图像的片结构，并因此在解码过程期间发现图像的片结构。

片以NAL(网络适配层)类型的单元封装。

分解为片有利地使得可以将附加的同步点插入图像。因此，如果在包含片“0”的NAL的传送期间，传输层引入错误，则解码可以从片“1”重新开始。如果未将图像分解为片，则解码器整体上将忽略该图像。

多数解码器对于完整视频序列的所有图像使用相同的分解为片的分解，但是这只是普遍性的，并且分解实际上取决于编码设备。

本发明实现了：与解码器无关地对片进行编码，从而可以容易地对片进行并行解码。因此，处理器“0”可以处理片“0”，处理器“1”可以处理片“1”，如此等等，只要存在能够并行进行解码的处理器。然而，在解码器处不知道分解为片的分解。因此，由于解码器不能够预测分解，所以在解码处这种并行化是不可能的。

一种简单的解决方案包括在编码器中一直使用分解为片的相同的结构。然而，这涉及多个限制。因此如果希望所有的编码流均可以由市场上的任意解码器解码，必须对于所有符合标准的解码器，将该分解标准化。

发明内容

本发明通过提出一种解决方案，使得可以由任意解码器解码任意编码流，来解决至少一个上述缺点。

因此，本发明涉及一种视频数据编码设备，包括用于以图像的片的形式对每个图像进行编码的装置，其中每个片是与其它片无关地编码的。根据本发明，该编码设备包括用于将至少一个消息插入数据流的装置，其中该消息指示与将图像分解为片相关的结构。

按照这种方式，流包括与其结构有关的信息。有利地，这使得可以由编码设备以选择方式对视频数据进行编码，而解码设备不知道该选择方式。

根据本发明的优选实施例，用于插入所述消息的装置插入要编码的图像组的所述消息。

根据本发明的另一实施例，用于插入所述消息的装置插入要编码的每个图像的所述消息。

根据另一方面，本发明涉及一种视频数据编码方法，包括用于以图像的片的形式对每个图像进行编码的步骤，其中每个片是与其它片无关地编码的。根据本发明，该编码方法包括用于将至少一个消息插入数据流的步骤，其中该消息指示与将图像分解为片相关的结构。

根据另一方面，本发明还涉及一种视频数据解码系统，所述视频数据以片的形式编码，每个片是与其它片无关地编码的。根据本发明，该系统包括：

-用于分析视频数据以便确定数据分解为片的分解的装置，

-逐片地对视频数据进行解码的装置，

-用于在解码之后重构多个视频数据以便重构解码的视频数据的装置。

根据本发明的优选实施例，该视频数据解码系统包括：

-用于逐片地对视频数据进行解码的多个装置，

-用于根据解码设备的可用性，使多个片定位至多个解码设备，使得同时解码多个片的装置。

因此，有利地，可以并行地解码多个片，当解码了与同一个图像相对应的所有片时，可以重组整个图像。

优选地，用于分析视频数据的装置能够识别和提取至少一个消息，所述消息包括与分解为片的分解相关的信息。

根据另一方面，本发明还涉及一种视频数据解码方法，所述视频数据以片的形式编码，其中每个片是与其它片无关地编码的。根据本发明，该视频数据解码方法包括步骤：

-分析视频数据以便确定数据分解为片的分解，

-根据各个方法的可用性来使多个片定位至视频解码方法，

-并行地对视频数据片进行解码，

-在解码之后重构多个视频数据以便重构解码的视频数据。

附图说明

参考附图，通过非限制性的示范性实施例和有益应用，将更好地理解和示出本发明，附图中：

-图1表示根据本发明编码的流的结构，

-图2表示根据本发明的编码设备，

-图3表示根据本发明的解码设备，

-图4表示在GOP的解码期间流的分析的流程图。

多个附图中表示的模块是功能单元，可以对应于也可以不对应于物理可区分的单元。例如，这些模块或其中的一些可以组合到单个组件中，或者构成同一个软件程序的功能。另一方面，在需要时，某些模块可以构成分离的物理实体。

具体实施方式

下面的描述是基于符合H.264标准的数据编码的。该示范性实施例不局限于这种编码。本发明实质上涉及信息被插入流中以便以后可以更容易地使用该信息的任意编码类型。

图1示出了根据本发明优选实施例编码的流的结构。

以分解的方式编码图像。每个图像分解为部分(section)，所述部分最好理解为片(slice)。在编码期间决定分解为片的分解。由编码设备的用户，具体地，由节目的广播方，来执行这种分解为片的分解。

每个解码设备单独地决定其使用的分解类型。因此，在解码器之外，都不知道与该解码器所使用的分解相关的信息。因此其它设备不可能将该信息用于其它目的。

因此，根据本实施例，在多个图像的组之前插入SEI消息。该SEI消息指示该SEI消息所涉及的这组图像的片的分解。当新图像的片的分解不同于前面的图像的片的分解时，插入新的SEI消息。因此，对于图像0、图像1和图像2，插入单个SEI消息。将这三个图像的每一个分解为三个片。对于图像3和4，插入第二SEI消息。将这两个图像的每一个分解为两个片。如果对图像5和之后的图像进行不同于图像4的分解，则在图像5的片之前插入新的SEI消息。

图2表示根据本发明优选实施例的编码设备。

在编码器的输入处呈现要在这里进行编码的当前帧Fn。以一组象素的形式对该帧进行编码，所述一组象素被称为宏块，对应于16*16象素的组。以帧内模式或帧间模式对每个宏块进行编码。无论是帧内模式还是帧间模式，都基于重构的帧来对宏块进行编码。模块109根据图像的内容，决定当前图像的编码模式是帧内模式。在帧内模式中，P(图2中示出)由先前已经编码、解码和重构的当前帧Fn(图2中的uF’n，u意味着未滤波)的采样组成。在帧间模式中，P由基于一个或多个帧F’n-1的运动估计构成。

运动估计模块101建立在当前帧Fn与至少一个前一帧F’n-1之间的运动估计。当必须以帧间模式对当前图像Fn进行编码时，基于该运动估计，运动补偿模块102生成帧P。

减法器103生成信号Dn，信号Dn是要进行编码的图像Fn与图像P之间的差值。然后，在模块104中通过DCT变换来转换该图像。然后，由量化模块105对转换的图像进行量化。接下来，由模块111来重新组织该图像。然后，CABAC(基于上下文的自适应二进制算术编码)类型的熵编码模块112对每个图像进行编码。

在变换和量化、然后逆量化和逆变换之后，逆变换和逆量化模块106和107可以分别重构差值D’n。

当根据模块109，以帧内模式对图像进行编码时，帧内预测模块108对图像进行编码。在加法器114的输出处获得图像uF’n，作为信号D’n和信号P的和。该模块108还在输入处接收未滤波的重构图像uF’n。

滤波模块110可以基于图像uF’n，获得重构滤波图像F’n。

熵解码模块112传输以NAL类型的单元封装的编码片。除了片之外，  NAL除了片之外还包含例如与报头相关的信息。将NAL类型单元传输至模块113。模块113在将多个编码图像片传输至传输网络之前，插入SEI消息。

插入SEI消息以获得如图1所示的流。

图3表示根据本发明的解码系统。

模块209分析在数据流中接收到的SEI消息。SEI消息可以是不同种类的。有效地，SEI消息可以用于其它目的，用于传输在解码期间可能有用的其它数据。

在对SEI消息分析之后，基于分析，将数据发送到多个解码设备D1、D2、D3、Di、...Dn。有效地，基于可用的硬件或软件配置，有一个或多个解码设备D1、D2、D3、Di、...Dn可用。有利地，解码设备D1、D2、D3、Di、...Dn的数目与编码图像的片的最大数目相等。例如，如果使用分解为四片的分解来编码图像，则就解码速度而言，并行地对片进行解码以快速地重构图像是尤其有利的。

当解码设备D1、D2、D3、Di、...Dn的数目少于分解为图像片的分解时，则仍然在多个解码模块中并行地对片进行解码。然后只要编码设备D1、D2、D3、Di、...Dn可用，就依次对剩下的片进行解码。因此，在时刻t处，多个解码模块的每一个对属于不同图像的片进行解码。

由模块209决定片至多个解码模块的定位。该定位考虑了多个解码模块的可用性、其数目以及到来的SEI消息所指示的值。有效地，如果SEI消息指示值“3”，则意味着跟随的图像的每一个被分解为三片。如果有三个解码模块可用，则对于该图像组最有利的情况是，分别将每个片发送到编码模块D1、D2、D3。

将图像类型NAL发送到熵解码模块201。熵解码模块201执行图2的模块112的逆操作。然后，将数据发送到重新排序模块202以获得一组系数。这些系数然后在模块203中经过逆量化，在模块204中经过DCT逆变化，在模块204的输出处获得宏块D’n，D’n是Dn的变形版本。通过加法器205，将预测块P与D’n相加，来重构宏块uF’n。在帧间模式的编码期间，在由模块208执行的前一解码帧的运动补偿之后，获得块P，或者在帧内模式的编码的情况下，在模块207对宏块uF’n的帧内预测之后，获得块P。将滤波器206应用于信号uF’n，以降低失真效应，并从一串宏块中生成重构片F’n。

在由多个解码模块D1、D2、D3、Di、...Dn解码之后，在发送到应用程序之前，例如通过在重构缓冲存储器210中重新进行排序，将片依次排列，以重构整个图像。

图4表示根据本发明的通过软件实现解码操作的方法的实施例。

在步骤E1中，如图2所示，编码设备接收到编码的数据流。编码的流具有如图1所示的结构。在步骤E2中，分析SEI消息。对SEI消息的分析包括查看SEI消息是否包含与将图像分解为片的分解有关的信息。当存在该信息时，在对SEI消息进行分析之后，在步骤E3中，决定将片定位至不同的解码模块D1、D2、D3、Di、...Dn。解码模块同样是通过软件D1、D2、D3、Di、...Dn产生的。

在步骤E4中，由多个解码模块并行地对多个片进行解码。

在步骤E5中，例如通过图3的重构缓冲存储器201，来重组图像。

下表示出了SEI消息的有效载荷部分，使用与H.264标准中的“user_data_unregistered”类型的有效载荷相对应的类型6的有效载荷，示于下表中。

user_data_unregistered(payloadSize){	描述符
		uuid_iso_iec_11578	u(128)
for(i＝16；i＜payloadSize；i++)
		user_data_payload_byte	b(8)
}

-128比特的字“uuid_iso_iec_11578”在解码阶段期间向解码器指示出消息类型。H.264标准根据该字的意义，规定了用于该字的特定数量的值。这些值之一指示出它是“user_data_payload”类型的消息。

-字“user_data_payload_byte”是包括一部分SEI消息的8比特字。该字用于对与专门的应用相关的数据进行编码，尤其是，在这里用于对与本发明相关的如以下编码的数据进行编码。

PayloadSize等于17字节，其中16字节用于UUID，一个字节用于user_data_payload_byte。在每一个user_data_unregistered中，如上表中所示，存在user_data_payload_byte字节的序列。该字节串实际上是3字节结构(2字节+1字节)的重复。因此有效载荷大小的值是3的倍数。

字“user_data_payload_byte”可以对图像中的片数和宏块中每个片的大小进行编码，第一字节表示图像中的片数，接下来的两个字节可以对宏块中片的大小进行编码，因此使用上述的2字节+1字节的结构。

Configuration_slice(payloadSize){	描述符
		Number of slices	u(8)
for(i＝0；i＜＝number of slices；i++)
		Size of the slice in macroblocks	u(16)
}

注意，如果解码设备不具有如在本发明中所述的SEI消息分析模块，则它们设计用于忽略SEI消息，而这是H.264标准的特殊要求。因此，仍然可以对数据进行解码，而只是不再具有本发明可以提供的优点，具体地即并行解码多个片。按照这种方式，保留了一定的与市场上的解码器的兼容性。

Claims (8)

1.一种视频数据编码设备，包括用于根据H.264视频编码标准以图像的片的形式对每个图像进行编码的装置，其中每个片是与其它片无关地编码的，其特征在于，该编码设备包括用于在图像分解为片的分解在图像之间不同时将至少一个SEI消息插入数据流的装置，其中该SEI消息指示图像被分解为多少片。

2.根据权利要求1所述的设备，其特征在于，用于插入所述SEI消息的装置插入要编码的图像组的所述SEI消息。

3.根据权利要求2所述的设备，其特征在于，用于插入所述SEI消息的装置插入要编码的每个图像的所述SEI消息。

4.一种视频数据编码方法，包括用于根据H.264视频编码标准以图像的片的形式对每个图像进行编码的步骤，其中每个片是与其它片无关地编码的，其特征在于，该编码方法包括用于在图像分解为片的分解在图像之间不同时将至少一个SEI消息插入数据流的步骤，其中该SEI消息指示图像被分解为多少片。

5.一种视频数据解码系统，所述视频数据根据H.264视频编码标准以片的形式编码，每个片是与其它片无关地编码的，其特征在于，该视频数据解码系统包括：

-用于分析视频数据以便确定图像被分解为多少片的装置，

-逐片地对视频数据进行解码的装置，

-用于在解码之后重构多个视频数据以便重构解码的视频数据的装置。

6.根据权利要求5所述的视频数据解码系统，其特征在于，该视频数据解码系统包括：

-用于逐片地对视频数据进行解码的多个装置，

-用于根据解码设备的可用性，使多个片定位至多个解码设备，使得同时解码多个片的装置。

7.根据权利要求5或6所述的视频数据解码系统，其特征在于，用于分析视频数据的装置能够识别和提取至少一个消息，所述消息包括与分解为片的分解相关的信息。

8.一种视频数据解码方法，所述视频数据根据H.264视频编码标准以片的形式编码，其中每个片是与其它片无关地编码的，其特征在于，该视频数据解码方法包括步骤：

-分析视频数据以便确定图像被分解为多少片，

-根据各个方法的可用性来使多个片定位至视频解码方法，

-并行地对视频数据片进行解码，

-在解码之后重构多个视频数据以便重构解码的视频数据。

Images