CN101690228A - 视频编索引方法和视频编索引设备 - Google Patents

Abstract

本发明涉及用于给已编码的视频数据流编索引的方法和设备。根据本发明，视频数据流包括与每幅图像的兴趣区域的位置有关的信息，该方法包括以下步骤：接收(T1)已编码的视频流，在记录载体上记录已编码的视频流，对兴趣区域的位置信息进行解码(T2)，选择(T3)每幅图像的兴趣区域，对视频数据进行解码(T3)，从每幅图像的所选兴趣区域中选择(T4)针对该视频数据流的预定数目的兴趣区域，记录(T6)所选兴趣区域。

Description

视频编索引方法和视频编索引设备

技术领域

本发明涉及视频编索引方法，以及视频编索引设备。

背景技术

许多图像处理应用使用对兴趣区域(ROI)的检测来提高图像质量。例如，编码装置通常对兴趣区域进行解码，并配置更多资源用于对这些区域进行编码。

不同方法能够检测图像中的兴趣区域。具体地，已知这些方法是基于建立图像或视频的显著映射(salience map)，该显著映射考虑视觉参数，并在查看图像或视频时实现人眼停留区的清晰度。

目前，主要在进行编码之前使用兴趣区域的检测，以便在编码期间通过给予兴趣区域更多带宽(例如通过减少针对这些区的量化步骤)来对兴趣区域进行特别处理。

已经将移动终端(如移动电话、PDA、游戏机控制器、便携式DVD播放器)的出现、显示和屏幕技术的发展和信息服务的出现全部组合，以便在具有低显示能力的终端上呈现必需的视频显示。例如，能够在移动电话上接收电视引发了低尺寸屏幕上密集图像的显示问题。

本发明原则上不涉及兴趣区域的检测，而是涉及考虑到针对不同应用向设备或应用传输这些兴趣区域，并至少解决在具有低显示能力的(无论是移动的还是非移动的)终端上的图像显示问题。

发明内容

为此，本发明提出了一种用于给已编码的视频数据流编索引的方法。根据本发明，视频数据流包括与每幅图像的兴趣区域的位置有关的信息，该方法包括以下步骤：

-接收已编码的视频流，

-在记录载体(support)上记录已编码的视频流，

-对兴趣区域的位置信息进行解码，

-选择每幅图像的兴趣区域，

-对视频数据进行解码，

-从每幅图像的兴趣区域中选择针对该视频数据流的预定数目的兴趣区域，

-记录所选兴趣区域。

根据优选实施例，在记录步骤期间，

-当对所选兴趣区域进行选择和解码时，将所选兴趣区域记录在临时存储器中，

-当将所选兴趣区域记录在临时存储器中时，将所选兴趣区域传送至永久性存储器载体(503)。

优选地，在对兴趣区域进行记录之前，将兴趣区域进行格式化，以便获得针对所有所选兴趣区域的同质(homogenous)尺寸。

优选地，该方法包括：根据加密密钥对兴趣区域的位置进行加密的步骤。

优选地，该方法包括：在用户付费时获得解密密钥的步骤。

优选地，根据编码标准H.264/AVC对视频数据流进行编码，并在补充增强信息(SEI)类型消息中包含位置信息。

根据优选实施例，将SEI消息封装成实时协议分组(RTP)，该RTP分组是被加密过的。

优选地，将与兴趣区域位置信息有关的补充增强信息类型消息插入在已编码数据中该消息所指代的每幅图像之前或之后。

根据优选实施例，位置信息包括选自以下内容的信息：

-每幅图像中兴趣区域的数目，

-针对每幅图像尺寸的每个兴趣区域的坐标，

-每个兴趣区域的表面，

-与所述图像的兴趣区域相对于所述图像的其他兴趣区域的重要性有关的权重，

-与每个兴趣区域的内容有关的信息，

以及该信息的任何组合。

优选地，对每幅图像的兴趣区域的选择步骤根据与兴趣区域的重要性有关的权重来选择兴趣区域。

优选地，视频编码标准使用灵活的宏块排序，独立于其他图像数据，将兴趣区域编码成片组，兴趣区域的位置信息包括其中兴趣区域进行编码的片组数目。

优选地，补充增强信息消息包括针对每个片组指示该片组是否与一个兴趣区域相关的标识符。

优选地，该方法包括：读取SEI消息的另一步骤，以及对视频数据进行解码的步骤仅对包含兴趣区域的片组进行解码。

本发明还涉及用于给已编码的视频数据流编索引的设备。根据本发明，视频数据流包括与每幅图像中兴趣区域的位置有关的信息，该设备包括：装置，用于

-接收已编码的视频流，

-在记录载体(503)上记录已编码的视频流，

-对兴趣区域的位置信息进行解码(501)，

-对视频数据进行解码(501)，

-选择(502)每幅图像的兴趣区域，

-在每幅图像中的所选兴趣区域之中选择(502)针对视频数据流的预定数目的兴趣区域，

-记录(503)所选兴趣区域。

一般在编码之前对图像的兴趣区域进行检测。该数据然后用于便于进行编码。发明人意识到，在图像解码期间，尤其在显示能力有限的设备上的显示期间，兴趣区域的位置也可以是令人感兴趣的。事实上，接收终端事实上可以选择仅显示兴趣区域，使得这些区域能够相对于完整图像的显示具有更好的可见性。

附图说明

参照附图，通过实施例和实现方式将更好地理解和说明本发明，但并非用于限制本发明，在附图中：

图1示出了根据本发明优选实施例的编码设备；

图2示出了根据本发明优选实施例的编码方法；

图3示出了根据本发明优选实施例的解码设备；

图4示出了根据本发明另一实施例的解码方法；

图5示出了根据本发明另一实施例的个人记录类型设备；

图6示出了实现本发明实施例的个人记录类型设备中的编索引方法。

具体实施方式

图1示出了根据实现本发明优选实施例的编码标准H.264/AVC的编码设备。在该优选实施例中，对视频流进行编码。

在编码器输入处呈现当前帧F_n以由编码器进行编码。以片的形式对该帧进行编码，即将该帧划分成子单元，每个子单元包含与16×16像素组相对应的特定数目的宏块。以帧内或帧间模式对每个宏块进行编码。无论在帧内模式下还是帧间模式下，基于重构的帧对宏块进行编码。模块109根据图像的内容判定编码模式处于当前图像的帧内模式下。在帧内模式中，P(图2所示)包括先前被编码、解码和重构的当前帧F_n的采样(图2中的uF’n，u表示非滤波的)。在帧内模式下，基于一个或多个F’_n-1帧根据运动估计组成P。

运动估计模块101在当前帧F_n和至少一个先前帧F’n-1之间建立运动估计。根据该运动估计，当必须在帧间模式下对当前图像Fn进行编码时，运动补偿模块102产生帧P。

减法器103产生信号Dn(要被编码的图像Fn和图像P之间的差值)。然后在模块104中通过DCT变换对该图像进行变换。然后由量化模块105对变换后的图像进行量化。然后，由模块111重新组织图像。CABAC(基于上下文的自适应二进制算术编码)类型的熵编码模块112然后对每幅图像进行编码。

相应地，量化和逆变换的模块106和107在变换和量化然后逆量化和逆变换之后能够重构差值D’n。

当在帧内模式下对图像进行编码时，根据模块109，帧内预测模式108对图像进行编码。在加法器输出114处获得uF’n图像，作为信号D’n和P信号的和。该模块108同样在输入处接收重构的非滤波F’n图像。

滤波器模块110可以获得根据uF’n图像重构和滤波的图像F’n。

熵解码模块112传输以NAL类型单元封装的已编码的片。NAL包含与例如报头有关的信息以及片。将NAL类型单元传输至模块113。

模块116能够确定兴趣区域。现在多种方法能够在图像中对兴趣区域进行定位。具体地，已知基于建立显著映射的方法。

例如，以汤姆森许可贸易公司的名义于2006年1月10日提交并于2006年7月13日公布的专利申请WO2006/07263公开了用于建立显著映射的有效方法。

装置116然后建立针对视频的每幅图像的显著映射。为了建立该显著映射，也可以考虑由用户输入的参数。例如，能够根据与视频有关的事件来定义拍摄场景中的特定重要目标，特别对于体育事件来指定所关心的足球比赛。有利地，这允许获得显著映射，该显著映射根据事件对显著区域进行加权。在足球比赛中，优选地，集中于球而不是看台。

兴趣区域模块因此能够提取一个或多个显著区域，也被称为兴趣区域。然后在图像中在地理上对这些兴趣区域进行定位。

根据图像的高度和宽度，通过兴趣区域的坐标来识别这些兴趣区域。也可以针对每个兴趣区域来提取兴趣区域的尺寸。同样能够将兴趣区域与语义信息的元素相关联。事实上，对于足球比赛，如果用户可以从要显示的若干兴趣区域的选择中选择要显示的兴趣区域，则用户需要关于兴趣区域的信息。

模块115接收与兴趣区域有关的信息，以便将它们编码成SEI(“补充增强信息”)类型消息。

如以下表中所示，对SEI消息进行编码：

user_data_unregistered(payloadSize){	C	描述符
			uuid_iso_ieo_11578	5	u(128)

for(i＝16；i＜payloadSize；i++)
			user_data_payload_byte	5	b(8)
}

表1

uuid_iso_iec_11578：向解码器指示消息类型的128比特的单字。

user_data_payload_byte：包括SEI消息的一部分的8比特。

典型地，在这种情况下：

·payloadSize＝17(字节)，16个字节用于UUID，1个字节用于专有数据。

·user_data_payload_byte：

number_of_ROI	u(8)
		for(i＝0；i＜Number_of_ROI；i++){
roi_x_16	u(8)
		roi_y_16	u(8)
roi_w_16	u(8)
		roi_h_16	u(8)
Semantic_information	u(8)
		Relative weights	u(8)
Macroblock_alignment	u(8)
		}

表2

其中：

·number_of_ROI：图像(或后续图像)中出现的兴趣区域的数目

·roi_x_16：在多个16像素中，图像中兴趣区域的位置X。

·roi_y_16：在多个16像素中，图像中兴趣区域的位置Y。

·roi_w_16：在多个16像素中，图像中兴趣区域的宽度。

·roi_h_16：在多个16像素中，图像中兴趣区域的高度。

·semantic_information：描述兴趣区域特征的标题。

·Relative weights：给出图像中每个兴趣区域的权重，以这样的方式知道原则上哪个兴趣区域是最感兴趣的。

·Macroblock_alignment：给出在其中找到兴趣区域的开始宏块的编号，以及宏块编号中兴趣区域的大小(宽度和高度)。

当使用显著映射检测兴趣区域时，针对每个兴趣区域来获得显著率，如果区域的显著性高于由用于获得显著映射的方法预定的特定阈值，则将该区域列为显著。因此，在SEI消息中，针对显著性高于固定阈值的所有区域以显著性增加的顺序来对兴趣区域进行分类。

模块113将SEI消息插入到数据流中，并将如此编码的视频流发送至传输网络。

在SEI消息所引用的每幅图像之前发送该SEI消息。

在其他实施例中，还能够仅当至少一个兴趣区域的位置在两幅或多幅图像之间变化时传输SEI消息。因此，在解码期间，如果这样的SEI消息不在当前图像之前，则图像解码器考虑最后接收到SEI消息，无论其紧邻要解码的图像之前还是其是否与先前接收到的图像有关。

图2示出了根据实现本发明优选实施例的编码标准H.264/AVC的编码方法。

在步骤E1期间，确定与要广播的视频相关联的显著映射。为了确定示出了兴趣区域的该显著映射，还可以接收与视频内容有关的信息，在建立显著映射期间考虑该信息。具体地，在体育事件期间，认为球的位置与用户兴趣区域相对应，在这种情况下，给予球所处的图像的区域特别处理。当视频与电视报道的广播相对应时，还可以假设主持人与兴趣区域相对应，并且在这种情况下，通过使用已知图像处理技术检测例如人脸，而给予包含主持人在内的区域特别处理来确定兴趣区域。

在E1步骤的结束处，因此获得与视频内容有关的一个或多个兴趣区域。

在步骤E2期间，确定图像中兴趣区域的坐标。也可以按照像素确定兴趣区域的大小，并且将关于内容的语义信息与每个兴趣区域相关联。

并行地，在步骤E3期间，根据编码标准H.264对视频流进行编码。在编码期间，给予被检测为兴趣区域的区域特别处理。为了在编码级给予兴趣区域特别处理，向兴趣区域应用较低量化步骤。

在步骤E2之后，在步骤E4期间，根据与兴趣区域相关联的位置和语义信息来创建SEI消息。因此根据先前在表1和2中描述的SEI消息来创建SEI消息。

在步骤E5期间，根据H.264标准，通过将SEI消息插入到流中来构建流以获得已编码的流。

因此在步骤E6期间实时地或以推迟的方式来将如此编码的视频流传输至解码设备，解码设备可以是本地的或远程的。

根据编码标准H.264/AVC，图3示出了根据本发明的解码设备的优选实施例。

209模块在输入接收SEI消息。209模块提取不同SEI消息。将有用数据的NAL传输至熵解码模块201。

通过模块201分析SEI消息。该模块能够对表示兴趣区域的SEI消息的内容进行解码。因此以简单方式并使用字段macroblock alignment中包含的信息对每幅图像进行解码之前，在解码设备级处识别每幅图像的兴趣区域。

将宏块传输至重新排序模块202来获得系数的集合。在获得D’n宏块的输出处，这些系数在模块203中经历逆量化并在模块204中经历逆DCT变换，D’n是Dn的变形版本。通过加法器205将预测块P与D’n相加，来构建宏块uF’n。在帧间模式下的编码期间在通过模块208执行对先前解码的帧的运动补偿之后，或者在帧内模式下编码的情况下在通过模块207对宏块uF’n进行帧内预测之后，获得块P。将滤波器206应用于信号uF’n来降低失真的效果，并且根据宏块序列来创建重构的帧F’n。

使用与包括在SEI消息中的兴趣区域有关的信息，在显示之前，在流中检测代表兴趣区域的块，识别这些块，并可以根据用户的选择来修剪这些块，并对这些块进行传输以向设备(如，PDA、或移动电话)显示。

还可以给用户留有选择，通过输入例如语义信息来选择其期望显示的宏块。用户例如输入“球”，并在这种情况下，显示包含球在内的兴趣区域。如果没有兴趣区域与该语义相关联，则可以显示所有兴趣区域。以镶嵌的形式在屏幕上显示不同兴趣区域。当显示单个兴趣区域时，在屏幕上以缩放的方式显示该兴趣区域以占据整个屏幕。

解码设备因此仅对可能包含用户感兴趣信息的宏块进行解码。这样，解码较快，并在解码设备级处、因而在接收处需要较少资源。这对接收设备是包括有限处理能力的移动终端时特别有利。

图4示出了根据实现本发明实施例的编码标准H.264/AVC的解码方法。

可以在具有有限显示能力的移动终端中实现这样的方法。

在步骤S1期间，选择所需的显示类型。通过在移动终端上呈现的用户界面来进行选择。判定处于全图像模式下，并且在这样的情况下，当通过发送器发送视频流时显示视频流的完整性。或者，判定仅显示图像的兴趣区域。该特定模式构成本发明的特性。当判定显示兴趣区域时，转至步骤S2，如果判定不显示，则转至步骤S8。应当理解，针对其他应用，可以将不同类型的SEI消息插入到视频流中，并且在这种情况下，在步骤S8之前或在步骤S8期间，可以存在SEI消息分析步骤。

在步骤S2期间，用户选择其期望如何利用兴趣区域。具体地，用户可以选择：

-用户期望显示的最大数目的兴趣区域。

-用户期望在屏幕上显示各种兴趣区域的方式，例如以镶嵌形式，

-用户期望对于兴趣区域的缩放程度。

-使用关键字，兴趣区域的“语义信息”字段包括该关键字。在这种情况下，针对每个图像，还可以指定是需要显示包括关键字的每幅图像的单个兴趣区域(在这种情况下，针对那些兴趣区域的显著性最大)还是需要显示包括关键字的多个兴趣区域。

在步骤S3期间，当接收到在流中出现的SEI消息时对该消息进行分析。由于在图像编码之前检测到图像的兴趣区域，该SEI消息用来对图像的兴趣区域的位置进行编码。因此，针对每幅图像，根据图像的视觉属性或根据图像内容或这二者存在一个或多个兴趣区域。根据先前描述的表1和表2对SEI消息进行编码。临时记录与SEI消息有关的信息，直到显示相应图像为止。

在步骤S4期间，根据解码标准对所有图像进行解码。

在步骤S5期间，根据在S2步骤期间的用户选择，对已解码的兴趣区域进行处理。如果用户选择对图像的基本兴趣区域进行缩放，则在步骤S6期间，对区域进行放大使得达到显示的最大尺寸。如果用户已经选择兴趣区域的镶嵌，则图像由兴趣区域重新组成，根据屏幕大小和选择用于显示的兴趣区域的数目来放大每个兴趣区域。如果用户已经指定关键字，则对包括关键字的兴趣区域进行显示和缩放。

在步骤S7期间，根据用户的期望，在移动终端的屏幕上显示兴趣区域。

在步骤S8期间，在用户没有进行选择仅显示兴趣区域之后，对全部视频流进行解码以进行显示。

图5示出了本发明的视频编索引应用。

图5部分地示出了个人录像机(PVR)类型设备500。PVR500在其输入处接收压缩视频流。根据描述的实施例，该视频数据流符合编码标准H.264。压缩的视频流特别地包括如先前表1和2中描述的SEI消息。

部分地将该视频数据流传输至记录载体503。可以将记录载体理解为硬盘、全息载体、存储卡或“蓝光”盘。在其他实施例中，该记录载体可以是远程的。

在另一部分中将视频数据流传输至解码器501以进行实时解码，例如以便在电视机上显示。在已知设备中，当用户期望实时查看该流时，将该流传输至解码器501。如果用户不期望实时查看该流，则不对该流进行解码，只是当请求记录时简单地对该流进行记录。

根据这方面，本发明甚至在没有请求实时查看时提供了对视频数据流的一部分进行解码。对于视频流的一部分，应当理解，特别是兴趣区域或特定的兴趣区域。

当解码器501接收到针对其请求记录的视频流时，将数据传输至记录载体503。当接收到数据时记录载体503对数据进行记录。同时，解码器501接收视频数据流并逐步对SEI消息进行解码。在将已解码的兴趣区域传输至记录载体503之前，将已解码的兴趣区域传输至负责该已解码的兴趣区域的临时记录的视频索引模块502。

图6示出了由解码器501和索引模块502实现的方法。

在步骤T1期间，解码器501接收到视频数据流。在步骤T2期间，解码器501对在视频数据流中呈现的SEI消息进行解码。已解码的SEI消息是先前如表1和2中描述的SEI消息。解码器还对其他SEI消息进行解码，但是这不是本发明的目的。如表1和2中描述的，每个SEI消息可以描述每幅图像中一个或多个兴趣区域。在步骤T3期间，解码器501分析每个SEI消息并对每幅图像进行解码。在该步骤期间，在SEI消息中指示的权重用来选择将记录每幅图像中的哪个兴趣区域。在优选实施例中，保持具有最大显著性(即，具有最高权重)的兴趣区域。

一旦兴趣区域已经被解码，在步骤T4期间，将该兴趣区域传输至索引模块502。对每幅图像中兴趣区域的记录以及针对所有图像的记录几乎不令人感兴趣，这是由于兴趣区域表示大量信息，并也不能够实现视频的有效编索引。因此，索引模块判定哪幅图像用来给视频编索引。根据这里描述的优选实施例，仅针对一个半小时的视频选择大约10幅图像。可以设想，在其他实施例中，图像的数目将更多。以规则的时间间隔来获取这些10幅图像。将这些所选图像临时记录在包括在索引模块502中的RAM类型存储器(并未示出)中。为了以最佳方式显示这些所选图像，在步骤T5期间对这些图像进行缩放，即对图像进行放大，使得这些图像均是相同尺寸。根据优选实施例，该尺寸可以是图像尺寸。为此，在临时存储器中读取这些图像，并在这些图像的放大之后重新记录。根据另一实施例，在将这些图像记录在临时存储器中之前对图像进行放大。

根据另一实施例，在显示器上将图像呈现为镶嵌。因此，代替被放大，将图像缩小至一个单一尺寸，针对所有图像均是相同的。

当接收到整个视频从而将其记录在记录载体503中时，在步骤T6期间，同样将索引图像从临时存储器转移至记录载体503，并将其记录在文件中。

然后根据期望使用，兴趣区域用于索引化，并同样用于在用户期望查阅数据的内容时在PVR类型设备上进行显示。

根据本发明的另一方面，还能够在SEI消息的编码期间对兴趣区域的位置数据进行加密。因此，仅具有解密密钥的用户可以访问兴趣区域并从而访问兴趣区域的可视化，或由于兴趣区域的位置信息而产生的视频流的索引。在图2的方面中，该加密步骤将是步骤E4’(未示出)，但是应当插入在步骤E4之后。

解密密钥的获得是支付来自例如节目广播站的服务的目标。

为此，将与兴趣区域有关的SEI消息封装在RTP(实时协议)类型分组中，并在不同的视频端口上对其进行传输。时间CTS类型标签可以将与兴趣区域有关的SEI消息与相应的图像链接。有利的，该传输模式能够仅对包含SEI消息的RTP分组进行加密，而不对视频进行加密。

在终端接收器级处执行解密。

在MPEG-2TS封装的情况下，所使用的编码标准是DVB-CSA，并且将与兴趣区域有关的SEI消息封装到不同的PID中，而不是视频的PID。与兴趣区域有关的SEI消息经由PES分组报头的PTS(时间戳)链接至相应的图像。该传输模式仅允许包含与兴趣区域有关的SEI消息的PID的加密，而不允许视频PID的加密。

根据另一实施例，使用FMO(灵活的宏块排序)根据编码标准H.264/AVC对视频数据流进行加密，FMO能够独立地对图像的不同部分进行编码从而独立地对它们进行解码。FMO模式使用“片组”。在标准中定义了“片组”。在该实施例中，与图像的其余部分不同，在组中对兴趣区域进行编码。PPS类型NAL包括“片组”的映射。插入如下文中描述的那些指示在哪个“片组”对兴趣区域进行编码的SEI消息。

下表示出了根据该实施例使用的SEI消息的格式：

user_data_unregistered(payloadSize){	C	描述符
			uuid_iso_ieo_11578	5	u(128)
for(i＝16；i＜payloadSize；i++)
			user_data_payload_byte	5	b(8)

}

表3

uuid_iso_iec_11578：向解码器指示消息类型的128比特单个字。

user_data_payload_byte：包括SEI消息的一部分的8比特。

典型地，在这种情况下：

·payloadSize＝17(字节)，16个字节用于UUID，1个字节用于专有数据。

·user_data_payload_byte：

number_of_slices_groups	u(8)
		for(i＝0；i＜Number_of_slices_groups；i++){
slices_groups(i)_id	u(8)
		If slices_groups_id＝＝1	u(8)
slices_groups_w_16	u(8)
		Semantic_information	u(8)
Relative weights	u(8)
		Macroblock_alignment	u(8)
}

表4

-slices_groups(i)_id：如果slices_groups_id等于“1”，则slices_group表示兴趣区域，如果其等于“0”，则slices_groups表示图像的其余部分。

对于表示兴趣区域的每个slices_group，可以指定语义信息、相关权重以及slices_group所涉及的宏块。

这里，由于可以独立识别和编码与兴趣区域相对应的宏块，在接收期间可以仅对该宏块进行解码。

Claims (14)

1、一种用于给已编码的视频数据流编索引的方法，其特征在于，所述视频数据流包括与每幅图像的兴趣区域的位置有关的信息，所述方法包括以下步骤：

-接收(T1)已编码的视频流，

-在记录载体上记录已编码的视频流，

-对兴趣区域的位置信息进行解码(T2)，

-选择(T3)每幅图像的兴趣区域，

-对视频数据进行解码(T3)，

-从每幅图像的所选兴趣区域中选择(T4)针对该视频数据流的预定数目的兴趣区域，

-记录(T6)所选兴趣区域。

2、根据权利要求1所述的编索引方法，其特征在于，在记录步骤期间，

-当对所选兴趣区域进行选择和解码时，将所选兴趣区域记录在临时存储器中，

-当将所有所选兴趣区域记录在临时存储器中时，将所述所选兴趣区域转移至永久性存储器载体(503)。

3、根据权利要求1或2所述的编索引方法，其特征在于，在对所述兴趣区域进行记录之前，将所述兴趣区域进行格式化，以便获得针对所有所选兴趣区域的同质尺寸。

4、根据前述权利要求中任一项所述的编索引方法，其特征在于，所述方法包括：根据加密密钥对兴趣区域的位置进行加密的步骤。

5、根据权利要求4所述的编索引方法，其特征在于，在用户付费时获得解密密钥的步骤。

6、根据前述权利要求中任一项所述的编索引方法，其特征在于，根据编码标准H.264/AVC对视频数据流进行编码，以及在补充增强信息(SEI)类型消息中包含位置信息。

7、根据权利要求5和6所述的编索引方法，其特征在于，将所述SEI消息封装成实时协议分组(RTP)，所述RTP分组是被加密过的。

8、根据权利要求5或6之一所述的编索引方法，其特征在于，将与兴趣区域位置信息有关的补充增强信息类型消息插入在已编码数据中该消息所引用的每幅图像之前或之后。

9、根据前述权利要求中任一项所述的编索引方法，其特征在于，所述位置信息包括选自以下内容的信息：

-每幅图像中兴趣区域的数目，

-针对每个图像尺寸的每个兴趣区域的坐标，

-每个兴趣区域的表面，

-与所述图像的兴趣区域相对于所述图像的其他兴趣区域的重要性有关的权重，

-与每个兴趣区域的内容有关的信息，

以及该信息的任何组合。

10、根据前述权利要求中任一项所述的编索引方法，其特征在于，每幅图像的兴趣区域的所述选择步骤(T3)根据与所述兴趣区域的重要性有关的权重来选择兴趣区域。

11、根据权利要求6至10中任一项所述的编索引方法，其特征在于，视频编码标准使用灵活的宏块排序，独立于其他图像数据，将兴趣区域编码成片组，兴趣区域的所述位置信息包括其中对兴趣区域进行编码的片组数目。

12、根据权利要求11所述的编索引方法，其特征在于，补充增强信息消息包括针对每个片组指示该片组是否与一个兴趣区域相关的标识符。

13、根据权利要求12所述的编索引方法，其特征在于，所述方法还包括读取SEI消息的另一步骤，以及对视频数据进行解码(T3)的步骤仅对包含兴趣区域的片组进行解码。

14、一种用于给已编码的视频数据流编索引的设备，其特征在于，所述视频数据流包括与每幅图像的兴趣区域的位置有关的信息，所述设备包括：装置，用于

-接收已编码的视频流，

-在记录载体(503)上记录已编码的视频流，

-对兴趣区域的位置信息进行解码(501)，

-对视频数据进行解码(501)，

-选择(502)每幅图像的兴趣区域，

-从每幅图像中的所选兴趣区域中选择(502)针对视频数据流的预定数目的兴趣区域，

-记录(503)所选兴趣区域。

Images