CN101218827B - 对包括图像序列和标识的视频内容进行编码的方法和设备 - Google Patents

Abstract

本发明涉及一种对视频内容进行编码的方法，所述视频内容包括图像序列和至少一个标识。所述方法包括以下步骤：按照第一编码方法对图像序列进行编码，该步骤产生与图像序列有关的编码数据；按照第二编码方法对标识和与标识有关的附加信息进行编码，所述附加信息至少包括与标识在图像序列中的定位有关的信息，该步骤产生与标识有关的编码数据；以及产生独立地包括与标识有关的编码数据和与图像序列有关的编码数据的单个数据流。

Description

对包括图像序列和标识的视频内容进行编码的方法和设备

技术领域

本发明涉及一种设备和方法，用于对包括图像序列和标识的视频内容进行编码，能够产生编码数据流。本发明还涉及一种方法和设备，用于对根据本发明的方法和编码设备所产生的编码数据流进行解码。 

背景技术

视频内容在其创建和分发到末端用户之间穿越多个网络。例如，视频内容是电影，更一般地，是可能要插入标识的图像序列。通常，在演播室创建之后，通过所谓的分发网络将视频内容分发给发送机。在该网络上，由图像专家(内容作者、演播室、发送机等)对内容进行处理和/或变换。其后，(可能是已变换的)内容由发送机通过分发网络发送给末端用户。 

按照一般的方式，视频内容经在其创建(例如利用摄像机和图像合成而获取)和发送到末端用户(例如发送到观众的电视)之间经历多个变换。紧接在其创建之后，通常以高比特率对内容进行压缩，以使存储和/或传送的成本最小，传输的成本受限于网络带宽。高比特率的视频内容的压缩使得可以不降低其初始质量。此外，该内容通常经历多种处理，例如由内容的作者插入标识(logo)。此外，随着电视频道的激增和分发网络的多样性(有线、RF、卫星、互联网等)，该内容通常由不同公司在不同网络上销售/配置，这些公司也想要插入它们自己的标识。典型地，电视频道购买特定持续时间的内容，以便能够在特定条件下进行发送。通常，购买已经包括了标识的视频内容的频道隐藏和删除该标识。它也许还希望插入它自己的标识。当前，标识构成了图像序列的一部分，因此与后者一起被编码。由于需要对视频内容进行解码，因此删除和隐藏标识的技术比较复杂。因此，隐藏标 识的技术需要对视频内容进行解码(即对图像序列进行解码，因此对标识进行解码)、利用新的标识来隐藏已有的标识并对整个内容重新进行编码。类似地，将标识插入到已经编码的图像序列需要对该序列进行解码、将标识插入到图像序列并对整个内容重新进行编码。此外，(尤其是)由于所使用的隐藏技术和内容的重新编码，所有技术均引入了多个视觉缺陷(例如模糊效应)。 

发明内容

本发明的目的在于消除这些缺陷中的至少一个。为此，本发明提出一种对视频内容进行编码的方法，具体地，可以避免在希望例如向视频内容添加标识和从视频内容中删除标识时的解码和重新编码的连续步骤。 

本发明涉及一种用于对视频内容进行编码的方法，所述视频内容包括图像序列和至少一个标识，标识本身包括至少一个图像。所述方法包括步骤：对图像序列进行编码，产生与图像序列有关的编码数据流。所述方法还包括以下步骤： 

-对标识和与标识有关的附加信息进行编码，所述附加信息至少包括与标识在该序列的图像中的定位有关的信息，所述步骤产生与标识有关的编码数据；以及 

-通过将与标识有关的编码数据直接插入与图像序列有关的编码数据流中，产生独立地包括与标识有关的编码数据和与图像序列有关的编码数据的单个视频数据流。 

有利地，不需要附加时间同步信息来将与标识有关的编码数据和与图像有关的编码数据同步。 

有利地，与标识有关的编码数据被编码为SEI类型的消息。 

优选地，与标识有关的附加信息还包括与标识的初始大小有关的信息。 

在特定实施例中，与标识有关的附加信息还包括使得可以在显示期间管理标识的透明度的信息和与标识的显示大小有关的信息。 

优选地，利用与属于以下标准集合的编码标准之一兼容的编码方法来对图像序列进行编码： 

-MPEG-2； 

-MPEG-4部分2；以及 

-MPEG-4 AVC。 

有利地，利用与属于以下标准集合的编码标准之一兼容的编码方法来对标识进行编码： 

-MPEG-2； 

-MPEG-4部分2； 

-MPEG-4 AVC； 

-JPEG；以及 

-JPEG 2000。 

本发明还涉及一种用于对视频内容进行编码的编码设备，所述视频内容包括图像序列和至少一个标识，该标识本身包括至少一个图像。该编码设备包括用于对图像序列进行编码的装置，所述装置产生与图像序列有关的编码数据流。该编码设备还包括： 

-装置，用于对标识和与标识有关的附加信息进行编码，所述附加信息至少包括与标识在该序列的图像中的定位有关的信息，所述装置产生与标识有关的编码数据；以及 

-装置，用于通过将与标识有关的编码数据直接插入与图像序列有关的编码数据流中，产生独立地包括与标识有关的编码数据和与图像序列有关的编码数据的单个视频数据流。 

本发明还涉及根据MPEG类型的语法编码的数据流，该数据流包括与图像序列有关的编码数据的至少一个第一部分，其中该数据流独立地包括与编码为SEI类型的消息(被称为SEI消息)的标识有关的编码数据的第二部分。 

有利地，SEI消息包括：与标识在该序列的图像中的水平方向上的定位有关的至少一个字段，以及与标识在该序列的图像中的垂直方向上的定位有关的至少一个字段。 

附图说明

通过参考附图，利用完全非限制性的有利的示范性实施例和实现模式，示出了本发明，并且可更好地理解本发明，附图中： 

-图1表示根据现有技术编码的数据流； 

-图2表示标识在图像序列的图像中的位置； 

-图3表示根据本发明编码的包括与标识有关的数据的数据流；以及 

-图4表示根据本发明的编码设备。 

具体实施方式

本发明涉及一种用于对包括图像序列和标识的视频内容进行编码的方法。标识是图像或图像序列，每个图像包括一个或多个分量，例如亮度分量Y和两个色度分量U和V。每个分量本身可以以包括各与一个值(例如亮度值Y或色度值U或V)相关联的象素或图像点的图像的形式表示。更精确地，根据本发明的方法包括与图像序列无关地对一个或多个标识进行编码。本发明还包括产生与图像序列有关的编码数据和与标识有关的编码数据独立的编码数据流，以便能够在数据流中清楚地识别出它们。为此，对与标识有关的附加信息进行编码，并添加到与图像序列有关的编码数据流中，以形成单个编码数据流。该编码的附加信息允许解码方法对要插入到解码图像序列中的标识进行重构，确定标识在编码图像序列中的位置，并可以重定标识的大小。该附加信息还使得可以管理特定的视觉效果，例如透明效果(也称为“混合”或“α混合”)，使得可以通过一个图像而看见另一个图像。 

典型地，编码数据流是比特子集的级联。根据第一实施例，按照第一编码方法(例如MPEG-2、MPEG-4 AVC等)来对图像序列进行编码，以产生与该序列有关的编码数据流，将其称为视频基本流。该第一编码方法可以是能够对图像序列进行编码的任意编码方法。图1示出了与图像序列有关的这种编码数据流。在该图中，示出了表示为S₁、S₂和S₃的三个比特子集。它们可选地以表示为M1或M2的同步标记开始，以允许随机访问该流，然后是表示为H_V1、H_V2或H_V3的报头和与图像序列的压缩且编码的内容相对应的表示为V₁、V₂或V₃的数据。因此，本发明包括以与同图像序列的有关的编码数据独立且不同的方式，对与标识有关的附加信息进行编码。与标识有关的编码的 附加信息包括按照第二方法编码的标识的各种分量，用于对图像和已经编码的附加信息进行编码。该附加信息具体包括可以定位标识在该序列的图像中的位置的信息。例如，参考图2，将标识20插入图像21，使得位于标识的左上角的象素22的横坐标和纵坐标分别等于x₀ 和y₀。这样对标识的各种分量和与标识在序列的图像中的位置有关的信息(即x₀和y₀)进行编码。附加信息还包括在某些情况下需要且在流中必须编码的与标识的初始大小有关的信息(即宽度W和高度H)。将标识的初始大小定义为在编码数据流中进行编码的标识的大小。有利地，在重定标识大小的情况下，可对其它附加信息进行编码，例如在序列的图像中的、可以与初始大小不同的标识的显示宽度W_d和高度H_d，以及与透明度的管理有关的数据。透明度的管理(例如α混合技术)包括对整个标识编码唯一的透明度值(例如0.8)，或者对属于标识的每个象素编码不同的值，就像在α混合技术中一样。在后一情况下，透明度则是标识的附加分量，并且就像例如亮度分量和色度分量等标识的其它分量一样进行编码。 

在图3中表示为H_L的报头中，或者在表示为L的比特子集中，根据其类型(例如位置、标识的分量、标识的初始大小等)对附加信息进行编码。因此，在图3中表示为H_L的报头中唯一地对例如位置、标识的初始大小和显示大小、以及可能的透明度值的附加信息进行编码。在L中的报头H_L之后，对与标识的各种分量有关的附加信息(可能包括与透明度有关的分量)进行编码。报头H_L本身的前面可以有表示为M_L的标记，以便可以随机访问流。通过在与图像序列有关的编码数据中直接进行插入而添加与标识有关的编码数据(即报头H_L、数据L以及可能的标记ML)，以便产生如图3所示的单个编码数据流。标识通常在很长时段内保持固定，有利的实现包括：仅在随机接入点(或者RAP)，在与图像序列有关的编码数据流中直接添加/插入与标识有关的编码数据。例如，这些随机接入点是：根据在题为“Informationtechnology-Coding of audio-visual objects-Part 10：AdvancedVideo Coding”中的文献ISO/IEC 14496-10中定义的MPEG.4 AVC标准(也称为H.264)的流中的IDR类型的图像(“即时编码刷新”)或 I类型的图像，和题为“Information Technology-Generic Coding ofmoving pictures and associated audio：Systems”的文献ITU TRec.H.222.0|ISO/IEC 13818 1(第二版，2000)中定义的MPEG2-TS传输层中的传输分组TS标记的RAI(“随机接入标识符”)。因此，在对编码数据流进行解码之后，例如，解码的标识插入在在紧接在标识之前解码的第一随机接入点RAP1之后的序列的所有解码图像上。还可以设想，该标识插入在RAP1之后的序列的所有解码图像上，直到下一个随机接入点为止，或者在多个标识的情况下，直到下一个随机接入点为止。 

在使用SEI消息(SEI代表“补充增强信息”)的M PEG4 AVC编码标准的框架下提出示范性实施例。该标准定义了任意编码数据流必须与该标准兼容的语法。具体地，该语法定义了怎样对各种信息(例如与序列中包括的图像有关的数据、运动矢量等)进行编码。因此，根据该标准的第一编码方法，对图像序列进行编码，以便产生与该序列有关的编码数据流。此外，该标准在文献ISO/IEC 14496-10的附录D中定义了对被称为SEI的附加信息进行编码的方式。在语法上，由被称为payloadType的字段表示用于处理图像序列的该附加信息。这使得可以定义尤其是显示的新功能。注意，如果解码设备不具有这种用途所需的功能，则忽略该信息。因此，本发明包括：定义新类型的信息SEI，以便对与标识有关的附加信息进行编码。在与该序列有关的编码数据流中添加/插入与图像序列无关地编码的该信息，即与同该序列有关的编码数据流复用。为此，根据尚未使用的值来定义字段payloadType的新值(例如payloadType等于22)。具体地，payloadType的前22个值(从0至21)已经用于对诸如与等于19的payloadType相对应的胶片颗粒的特性的特定信息进行了编码。下面以伪码的形式，以数组来展示新的语法，与文献ISO/IEC 14496-10习惯一样。具体地，运算符“＝＝”表示“等于”。运算符“！”是“非”逻辑运算符。在该数组中，与标识有关的附加信息是斜体字。 

以如下方式对SEI数据(即sei_payload)的语法进行扩展： 

sei_payload(payloadType，payloadSize){	C	Descriptor
			if(payloadType＝＝0)
buffering_period(payloadSize)	5
			.....
else if(payloadType＝＝21)
			stereo_video_info(payloadSize)	5
else if(payloadType＝＝22)
			logo_info(payloadSize)	5
else
			reserved_sei_message(payloadSize)	5
if(！byte_aligned()){
			bit_equal_to_one /*equal to 1*/	5	f(1)
while(！byte_aligned())
			bit_equal_to_zero /*equal to 0*/	5	f(1)
}
			}

以如下方式定义包含与标识有关的信息的SEI消息(logo-info)的语法： 

·payloadSize表示用于对标识进行编码的字节数，或者更精确地，对其各个分量(例如亮度分量和两个色度分量，也可能有透明度分量)进行编码的字节数。 

·pic_width_msb表示在要插入的标识的多个象素中的初始宽度的高位比特。 

·pic_width_lsb表示要插入的标识的多个象素中的初始宽度的低位比特。 

·pic_height_msb表示要插入的标识的多个象素中的初始高度的高位比特。 

·pic_height_lsb表示要插入的标识的多个象素中的初始高度的低位比特。 

·pic_start_w_msb表示沿必须插入在序列的图像中的标识的第一象素(即位于标识左上角)的水平轴(关于图2是x₀)的位置的高位比特。 

·pic_start_w_lsb表示沿必须插入在序列的图像中的标识的第一象素的水平轴(关于图2是y₀)的位置的低位比特。 

·pic_start_h_msb是表示沿必须插入在序列的图像中的标识的第一象素的垂直轴的位置的高位比特。 

·pic_start_h_lsb是表示沿必须插入在序列的图像中的标识的第一象素的垂直轴的位置的低位比特。 

·pic_transparency表示用于将标识插入序列的图像中的透明度系数。 

·pic_format规定了用于对标识进行编码的编码格式。该格式由下面的数组规定，例如，该格式可扩展为其它编码格式。因此，可通过添加与帧内语法MPEG-2编码的格式相对应的表示为pic_format＝2的编码格式来完成该数组。 

pic_format	编码格式
		0	AVC intra syntax
1	JPEG
		...	...

因此，可通过添加与帧内语法MPEG-2编码的格式相对应的表示为pic_format＝2的编码格式来完成该数组。 

表示标识的多个分量的图像分为宏块(即象素块)，每个宏块是根据第二编码方法，根据由pic_format定义的编码格式来而编码的。有利地，在其它字段之前对该字段进行编码，以便在pic_format＝1时解 码器知道以下字段(例如pic_width_msb，pic_width_lsb，pic_height_msb，and pic_height_lsb)中的一些在流中不存在。 

·data_pic_avc(payloadSize)SEI message syntax表示根据H.264/AVC语法编码的数据流的一部分，描述了以帧内模式编码的标识的宏块集合。 

data_pic_jpeg(payloadSize)SEI message syntax表示根据JPEG语法编码的数据流的一部分，描述了标识的宏块集合。在根据该语法来对标识进行编码的情况下，与标识的初始大小有关的字段(pic_width_msb，pic_width_lsb，pic_height_msb，and pic_height_lsb)可能在流中不存在，因为该信息已经编码在流的一部分data_pic_jpeg(payloadSize)中了。通过针对每个图像添加SEI消息，可以处理动画标识。 

在上述示例中，通过按照pic_transparency字段而编码的单个系数来管理透明度。在这种情况下，将同一个值用于标识的象素集合。根据另一个实施例，作为标识的附加分量来管理透明度。在这种情况下，透明度值与标识的每个象素相关联。然后与其它分量(例如两速和色度)一样，在与图3中表示为L的标识数据相对应的流的一部分中对该附加分量进行编码，而不使用字段pic_transparency。根据另一个实施例，不对透明度信息进行编码，并且不使用字段pic_transparency。 

对于特定应用，也许希望在对标识进行解码之后并且在将其插入图像序列之前重定标识的大小。以W×H象素的初始大小对标识进行编码，然后在序列的图像中以W_d×H_d象素的显示大小显示，W_d(H_d)可能大于或小于W(或者H)。在这种情况下，必须对标识的显示的宽度W_d和高度H_d进行编码。为此，在报头L中添加四个附加字段(pic_disp_width_msb，pic_disp_width_lsb，pic_disp_height_msb andpic_disp_height_lsb)，例如在字段pic_height_lsb之后，以便对标识的显示大小(即插入序列的图像中的标识所具有的大小)进行编码。前 两个字段pic_disp_width_msb和pic_disp_width_lsb分别标识要插入的标识的多个象素的显示宽度的高位和低位比特，后两个字段pic_disp_height_msb和pic_disp_height_lsb分别标识要插入的标识的多个象素的显示高度的高位和低位比特。 

下面在MPEG-4 AVC编码标准的框架中描述其它实施例。在题为《Information technology--Coding of audio-visual objects--Part10：Advanced Video Coding》的文献ISO/IEC 14496-10中描述了该视频编码标准。这些实施例可以处理动画标识，即包括图像序列的标识。如果存在α图像，则使用α混合技术来支持透明度。如果标识序列中的图像的数目小于基本序列中的图像的数目，则循环标识序列。基本图像包含与要编码的初始序列的图像有关的视觉信号(例如亮度和色度)。 

与标识相关联的数据是：ogo_id、标识状态、标识图像、α图像(如果有的话)、这些图像所使用的pic_parameter_set_id、以及基本解码图像中的标识的位置。在标准文献中描述的流结构是本领域技术人员公知的(例如图像参数集合、序列参数集合、网络适配层单元...)。片是一组宏块。网络适配层单元是包含视频编码层数据(VCL数据)的同样公知的结构。首先提出以下实施例使用的三个MPEG-4 AVC的特定元素：辅助编码图像、冗余编码图像和灵活宏块排序(称为FMO)。 

最初，引入辅助编码图像，以便用在需要α混合的应用中。在MPEG-4 AVC的FRext简档中添加该功能，作为可选工具。辅助编码图像具有与单色冗余编码图像相同的语法和语义限制，并且必须包含与基本编码图像相同的宏块数目。图5示出了这种图像的示例。 

辅助编码图像的语法

在序列参数集合扩展RBSP(SPSext)中，一些参数指向辅助编码图像，并且规定α混合公式来使用： 

  aux_format_idc 

  if(aux_format_idc ！＝0){//(0:no auxiliary coded pictures) 

      bit_depth_aux_minus8 

      alpha_incr_flag 

      alpha_opaque_value 

      alpha_transparent_value 

} 

RBSP代表原始字节序列有效载荷。这是包含以NAL单元封装的整数数目字节的语法结构。RBSP为空，或者具有数据比特串的形式，其包含后面跟随RBSP停止比特并且后面跟随等于0的零或多个后续比特的语法单元。 

辅助编码图像具有与基本编码图像相同的宽度和高度。在编码视频序列的每一个访问单元中，仅有一个辅助编码图像。辅助编码图像的nal_unit_type是19。图6示出了包含这种辅助编码图像的流。 

冗余编码图像是在标准中引入以便增强对分组丢失的鲁棒性的抗误差工具之一。冗余图像是基本图像或基本图像的一部分的编码表示。除非由于分组丢失而丢失了相应的基本图像，否则不对冗余图像的内容进行解码。按照与基本图像相同的方式对冗余编码图像进行编码。然而，也可以使用较少比特以低质量来对其进行编码。 

冗余编码图像的语法

-在图像参数集合中，redundant_pic_cnt_present_flag表示是否存在冗余图像。 

-在片报头中，如果redundant_pic_cnt_present_flag＝＝true并且redundant_pic_cnt＞0，则当前片处于冗余编码图像。 

FMO是可以将编码图像分为不同形状的多个片组的工具。图7示出了使用FMO工具的图像的示例。 

FMO的语法：

-在图像参数集合中，如果num_slice_groups_minus1＞0，则图像包含多个片。如果slice_group_map_type＝＝2，则片的形状是矩形。 

if(num_slice_groups_minus1＞0){ 

    slice_group_map_type＝2 

    if(slice_group_map_type＝＝2 ) 

        for(iGroup＝0；iGroup＜num_slice_groups_minus1； 

    iGroup++){ 

      top_left[iGroup] 

                bottom_right[iGroup] 

        } 

} 

根据下面的实施例，根据SEI标识消息，将标识的编码透明度和亮度/色度分量编码为不同的NAL单元。 

第二实施例包括使用辅助编码图像原理来传输背景图像。背景编码图像具有与颜色冗余编码图像相同的语法和语义限制，并且包含与基本编码图像相同数目的宏块。在编码视频序列的每一个访问单元中，仅有一个背景编码图像。例如，将背景编码图像的nal_unit_type设置为24，并且redundant_pic_cnt＝0。如果存在，则背景编码图像应该紧紧跟随辅助编码图像(如果有的话)，否则跟随冗余编码图像(如果有的话)，否则跟随基本编码图像。由aux_format_idc指定要使用的α混合公式。图8和9示出了该解决方案。 

该建议是辅助图像的补充，并且可将背景图像用于标识插入之外的其它目的。由于仅通过去除或替换辅助和背景图像来进行，所以利 用该解决方案编码的所有标识的去除或替换是显而易见的。这还可以处理动画标识。 

图10所示的第三实施例包括使用标识片。更具体地，包括：在使用单色图像来传输α掩码(mask)(与辅助图像一样)和标识颜色采样值的冗余编码图像语法中，使用FMO，以便精确地定位插入基本图像的标识并估计标识的大小。该解决方案包括：创建描述具有如图7所示的与标识相对应的片组ID 0的两个片的FMO的新PPS。该PPS指向基本图像编码所使用的SPS。该解决方案还包括使用该PPS来创建两个编码片： 

-具有与冗余编码图像相同的语法和语义限制的标识编码片，其中仅使用片组ID 0(另一个不存在)，并且redundant_pic_cnt＝logo_id(参见最后一部分中描述的SEI标识消息语法)。 

-按照与辅助编码图像相同的方式编码的α编码片。这是单色图像(chroma_format_idc为零)，但是仅使用片组ID 0(另一个不存在)，并且redundant_pic_cnt＝0。α编码片不一定存在，但是如果存在，则其紧跟随这相应的标识编码片。 

这两个编码片的nal_unit_type byte值等于例如24。并不一定所有的基本编码片后面都跟随着标识编码片。可以通过使用num_slice_groups_minus1＝nl来插入多个(nl)标识。该解决方案还包括：针对另一个标识信息(例如标识显示状态？)来创建一个SEI标识消息。该SEI标识消息遵循特定语法，例如在最后一部分中描述的语法。 

该第三实施例具有以下优点： 

-高编码效率； 

-支持动画标识(甚至是画中画)； 

-支持多个标识；通过使用多个标识编码片； 

-仅基于已有语法和工具的重新利用(与辅助图像一样)； 

-如图11中的三行所示，通过添加新PPS、SEI标识消息和新标 识(以及可选地α)编码片来添加新的标识； 

-通过去除相应的PPS、SEI标识消息和标识(和α)编码片来去除已有标识。 

图12所示的第四实施例包括使用标识图像。有利地，避免如先前实施例一样使用FMO(多片)。在SEI标识消息中规定标识的位置。在新的SPS中规定标识的大小。因此，该解决方案包括：创建包含标识图像大小的新SPS，指向该SPS的新PPS和用于将标识(和其它信息)定位到基本图像中的特定SEI消息。在图12的第二行示出了新的SPS和PPS。该SEI消息遵循特定语法，例如在最后一部分中描述的语法。 

该解决方案还包括使用该PPS来创建两个编码图像： 

-使用nal_unit_type字节值等于例如24且redundant_pic_cnt＝logo_id的新PPS，创建作为基本编码图像的标识编码图像。 

-创建nal_unit_type字节值等于例如24且redundant_pic_cnt＝0的单色图像(chroma_format_idc为零)的可选α编码图像。 

如果存在α编码图像，则其紧跟随标识编码图像。α混合等式使用针对aux_format_idc＝1的辅助图像所规定的α混合公式。并不一定所有基本编码图像后面都跟随标识编码片。该第四实施例具有与第三实施例相同的优点。然而，第四实施例并不使用多个片，即FMO工具。 

第三和第四实施例所使用的SEI消息遵循特定语法，例如下面所述的语法。为此，创建新类型的SEI消息(例如payloadType＝＝22)。该新的SEI消息在logo_info(payloadSize)有效载荷中包含在解码阶段插入标识所需的一些信息。如图13所示定义了三个标识状态：可见、暂时可见和不可见。当设置为可见或暂时可见时，显示标识。否则(不可见状态)不显示标识。因此，解码器应该保持针对不同logo_id 值所接收到的最新SEI标识消息。如果与给定的logo_id相对应的标识处于可见或暂时可见状态，则应该在图像序号大于或等于跟随SEI标识消息的第一NAL单元片的图像序号的所有解码图像中，并且在图像序号复位之后的所有后续解码图像中，插入该标识。如果与给定logo_id相对应的标识处于不可见状态，则不应该插入该标识。在这种情况下，不对指向pic_parameter_set_id的标识编码图像和α编码图像进行解码。 

下面给出MPEG-4AVC的语法扩展示例： 

SEI有效载荷语法扩展： 

sei_payload(payloadType，payloadSize){	C	Descriptor
			if(payloadType＝＝0)
buffering_period(payloadSize)	5
			.....
else if(payloadType＝＝21)
			stereo_video_info(payloadSize)	5
else if(payloadType＝＝22)
			logo_info(payloadSize)	5
Else
			reserved_sei_message(payloadSize)	5
if(！byte_aligned()){
			bit_equal_to_one/*equal to 1*/	5	f(1)
while(！byte_aligned())
			bit_equal_to_zero/*equal to 0*/	5	f(1)
}
			}

标识信息SEI消息语法： 

Logo_info(payloadSize){	C	Descri ptor
			nb_logo	5	ue(v)
for(i＝0；i＜nb_logo；i++){
			logo_id	5	ue(v)
pic_parameter_set_id	5	ue(v)
			nb_pictures	5	ue(v)
logo_permanent_flag	5	u(1)
			logo_new_flag	5	u(1)
logo_origin_x	5	ue(v)
			logo_origin_y	5	ue(v)
}
			}

标识id

每个SEI标识消息载有唯一的标识号标识符(logo_id)。这允许在解码视频中插入多个标识。可选地，内容创建者或视频服务提供商(TV广播公司、VOD服务、...)可定义一些特定的规则来管理多个标识id。如果两个SEI标识消息具有相同的logo_id值并且logo_new_flag等于1，则后一个将替换前一个。唯一的标识号标识符logo_id指向pic_parameter_set_id。 

pic parameter set id

每个SEI标识消息均载有pic_parameter_set id。这允许将SEI标识消息与使用该pic_parameter_set_id的标识编码图像和α编码图像相关联。 

pic_parameter_set_id定义了指向标识编码图像(或片)和α编码图像(或片)的图像参数集合。pic_parameter_set_id的值应该在 0至255(含)的范围内。 

nb pictures

在动画标识的情况下，nb_picture是标识序列动画中标识图像的数目。对于静态标识，nb_picture＝1。如果标识图像的数目未定，则nb_picture＝0，否则标识序列循环。 

logo permanent flag

logo_permanent_flag控制标识的显示状态。图13所示的状态图给出了两个不同状态之间可见的转换。 

logo new flag

如果logo_new_flag等于1，则标识参数和相关联的图像是新的并且logo_info()有效载荷对应于新的标识。然后，如果标识状态是可见的，则应该对标识编码图像(如果有的话，还有α编码图像)采样进行解码，并应该插入解码的标识图像。 

如果logo_new_flag等于0，则标识参数和相关联的图像(即logo_info()有效载荷)与具有相同logo_id的先前SEI标识消息相同。因此，如果尚未对标识(α，如果有的话)编码图像进行解码和存储，则可忽略标识编码采样。 

logo origin x指定了在当前图像的亮度采样的单元中，要插入的标识图像的左上象素的水平位置。 

logo origin y指定了在当前图像的亮度采样的单元中，要插入的标识图像的左上象素的垂直位置。 

最后两个元素：logo_origin_x和logo_origin_y仅是第四实施例需要的，并且是第三实施例应该避开的。 

所提出的解决方案具有多个优点。具体地，可以容易地在已经编码的图像序列中插入标识而不需要对其进行解码。为此，将比特子集插入已有编码数据流中就足够了，不需要对其进行解码。此外，还可容易地从编码数据流中删除标识，因为利用报头HL来识别与标识相关的流的部分并且删除与标识相对应的比特子集就足够了。代替删除，可以用与另一个标识相对应的另一比特子集来替换。所提出的解决方案因此允许针对同一个视频内容进行删除和/或插入标识的不限数目的循环，而不会降低视频内容的最终质量。此外，可以获得高于传统解决方案的最终质量，因为删除了解码/重新编码的步骤，并且避免了隐藏已有标识的步骤。最后，这是与传统视频处理(后处理、改变比特率(被称为“速率转换”)、代码转换、布局等)独立且兼容的。此外，所提出的解决方案并不需要与标识有关的编码数据和与图像序列有关的编码数据之间的任何时间同步信息。实际上，将标识信息直接插入到视频基本流中。因此，不需要任何系统级别的附加信息(例如时间戳)来同步与标识相关联的编码数据和与图像序列有关的编码数据。因此，这种解决方案是简单的，并且与任何传输层无关(例如MPEG-2 TS)。

本发明还涉及一种解码方法，可以对按照本发明的编码方法所产生的编码数据流进行解码。该解码方法包括：对编码数据流中与同图像序列有关的数据相对应的第一部分进行解码，以便产生解码图像序列。该方法还包括：对编码数据流中与同标识有关的编码数据相对应的第二部分进行解码，即对其各种分量、初始大小、可能的显示大小和可以管理透明度效果的信息进行解码。与同图像序列有关的编码数据无关地，对与标识有关的编码数据进行解码。该解码方法可能根据与标识有关的解码信息来将标识插入解码的图像序列。还可通过与该解码方法不同的显示方法来将标识插入图像序列。 

本发明还涉及一种实现先前所述的方法的编码设备。该设备具体包括装置40，用于对图像序列进行编码，以产生与图像序列有关的编码数据流；装置41，用于对标识进行编码，以产生与标识有关的编码数据流；以及装置42，用于产生独立地包括与标识有关的编码数据和与序列有关的编码数据的单个编码数据流。对标识进行编码的装置是例如JPEG 2000静止图像的编码器。对图像序列进行编码的装置是例如按照MPEG4 AVC标准的编码设备。 

本发明还涉及一种实现先前所述的解码方法的解码设备。该解码设备具体包括：装置，用于对编码数据流中与同图像序列有关的数据相对应的第一部分进行解码，以产生解码图像序列。该解码设备还包括：装置，用于与图像序列无关地，对编码数据流中与同标识有关的 编码数据相对应的第二部分进行解码，即对其各种分量、初始大小、可能的显示大小、以及可以管理透明度效果的信息进行解码。可选地，该解码设备包括：装置，用于根据与标识有关的解码信息来将标识插入解码图像序列。该插入装置也可集成到与解码设备不同的显示设备中。 

当然，本发明并不局限于上述示范性实施例。具体地，本领域技术人员可对提出的实施例引入任何变化，并进行这些实施例，以便受益于它们的多个优点。具体地，可在两个SEI消息中编码两个不同的标识。特别地，可以对序列的第一部分使用第一标识，对序列的第二部分使用第二标识。当然，可以对多于两个标识进行编码。 

Claims (7)

1.一种用于对视频内容进行编码的方法，所述视频内容包括图像序列和至少一个标识，所述标识包括至少一个图像，所述方法包括对所述图像序列进行编码的步骤，所述步骤产生与所述图像序列有关的编码数据的视频基本流，其中，所述方法还包括以下步骤：

-对所述至少一个标识和与所述至少一个标识有关的附加信息进行编码，所述附加信息至少包括与所述至少一个标识在所述序列的图像中的定位有关的信息，所述步骤产生与所述至少一个标识有关的编码数据；以及

-通过将与所述至少一个标识有关的编码数据直接插入与所述图像序列有关的所述编码数据的视频基本流中，产生独立地包括与所述至少一个标识有关的所述编码数据和与所述图像序列有关的所述编码数据的单个视频基本流。

2.根据权利要求1所述的方法，其中，与所述至少一个标识有关的所述编码数据被编码为SEI类型的消息。

3.根据权利要求1或2所述的方法，其中，与所述至少一个标识有关的所述附加信息还包括与所述至少一个标识的初始大小有关的信息。

4.根据权利要求1或2所述的方法，其中，与所述至少一个标识有关的所述附加信息还包括使得可以在显示期间管理所述至少一个标识的透明度的信息和与所述至少一个标识的显示大小有关的信息。

5.根据权利要求1或2所述的方法，其中，利用与属于以下标准集合的编码标准之一兼容的编码方法来对所述图像序列进行编码：

-MPEG-2；

-MPEG-4部分2；以及

-MPEG-4AVC。

6.根据权利要求1或2所述的方法，其中，利用与属于以下标准集合的编码标准之一兼容的编码方法来对所述至少一个标识进行编码：

-MPEG-2；

-MPEG-4部分2；

-MPEG-4AVC；

-JPEG；以及

-JPEG 2000。

7.一种用于对视频内容进行编码的编码设备(4)，所述视频内容包括图像序列和至少一个标识，所述标识包括至少一个图像，所述编码设备(4)包括用于对所述图像序列进行编码的装置(40)，所述装置产生与所述图像序列有关的编码数据的视频基本流，其中，所述编码设备(4)还包括：

-装置(41)，用于对所述至少一个标识和与所述至少一个标识有关的附加信息进行编码，所述附加信息至少包括与所述至少一个标识在所述序列的图像中的定位有关的信息，所述装置产生与所述至少一个标识有关的编码数据；以及

-装置(42)，用于通过将与所述至少一个标识有关的编码数据直接插入与所述图像序列有关的所述编码数据的视频基本流中，产生独立地包括与所述至少一个标识有关的所述编码数据和与所述图像序列有关的所述编码数据的单个视频基本流。

Images