CN102047662B - 编码器 - Google Patents

Abstract

一种对媒体内容进行编码的方法和装置。在视频压缩领域，时间压缩生成I帧和相关的P帧和B帧。通过视频中场景切换的存在来确定I帧的布置。为了提高用户寻找视频中感兴趣部分的能力，视频编码器考虑识别视频内感兴趣的叙述点的语义数据。编码处理生成具有出现在场景转换处以及在视频的叙述感兴趣部分处的I帧的已编码的视频数据。

Description

编码器

技术领域

本发明涉及媒体编码，更具体地说，涉及利用语义数据对视频内容进行编码的装置和方法。

背景技术

近年来，数字媒体已经成为向用户传递信息的常见载体。具体地说，数字视频允许用户通过视觉和听觉手段来获取信息。

在数字视频的最基本的形式中，数字视频由按照每秒几帧的速率向用户重放的完整图像帧序列组成。视频质量取决于各帧的分辨率，并取决于帧的显示速率。分辨率越高意味着各帧中可以包含的细节越多，同时，更高的帧率提高了用户对视频中的运动的感知。

视频内容质量的提高导致更大的文件尺寸，这在很多应用中是令人不满意的。已经知道编码技术(尤其是视频压缩技术)致力于在使视频质量的任何损失最小化的同时减小文件尺寸。一般地说，视频压缩技术分为两类：空间压缩和时间压缩，很多常见的视频压缩格式使用了这两种技术的组合。

空间压缩涉及对单个图像帧分别进行压缩，例如，以与针对静态图像的JPEG压缩类似的方式。

时间压缩利用连续帧序列中的相似性来减少信息存储需求。在很多视频中，大部分场景不随时间而改变。在这种情况下，来自前一场景的场景信息可以再用于呈现下一场景，并且仅存储与改变的像素相关的信息。这样使得文件尺寸明显减小。类似地，当相机摇摄场景时，新帧中的很大一部分与前一场景相同而仅在摇摄方向出现偏移。在这种情况下，将仅需要对新看见的像素进行编码。

在诸如MPEG-2的视频压缩中，完整信息帧被称为完整帧或I帧(独立帧)。这些帧独立于其它帧，因此，可以在不参照视频的任何其它帧中的任何信息的情况下对这些帧进行解码。通过将未压缩的视频帧转换为相关帧来得到主要的压缩节省。这些帧是为了成功地进行解码而与来自相邻帧的一些信息相关的帧。将与之前的帧相关的相关帧称为预测帧或P帧，而与之前的帧和随后的帧二者都相关的帧已知为B帧。

当使用I帧时，P帧和B帧提供了宝贵的文件尺寸节省，时间压缩技术可能使用户的观看经历变得不方便。例如，用户可能希望跳到文件中的特定位置，并从该位置开始重放，而不是按照顺序观看整个视频。

如果I帧位于视频文件中用户所选择的位置，则从所选择的位置开始重放。然而，如果I帧不处于所希望的位置，则在多数情况下，视频解码器将寻找最近的I帧位置。那么，用户必须等待视频文件中的要播放的期待段。

解决上述问题的一种公知的方法是将更多I帧插入压缩后的视频文件。除了位于场景切换点的I帧之外，以规则的间隔(例如，每秒或每20帧)插入I帧，使得改进视频段的粒度。然而，更多I帧的出现增加了视频的文件尺寸。

本发明可解决上述问题。

发明内容

在一个方面中，本发明提供了一种将媒体内容编码为独立数据帧和相关数据帧的序列的方法，该方法包括以下步骤：分析所述媒体内容，以确定所述媒体内容中在哪里出现场景变化；生成限定了所述场景变化的位置的编码参数；访问表示所述媒体内容的语义重要部分的数据；以及更新所述编码参数，使得在所述语义数据所表示的位置处出现独立数据帧。

在另一个方面中，本发明提供了一种将媒体内容编码为独立数据帧和相关数据帧的序列的装置，该装置包括：用于分析所述媒体内容的视觉内容的单元；表示在所述媒体内容中场景变化的位置的配置数据存储器；用于访问表示所述媒体内容的语义重要部分的数据的访问单元；以及用于更新所述配置数据存储器以在所述语义数据表示的位置处包括完整帧的单元。

在其它方面中，本发明提供了一种由独立数据帧和相关数据帧的序列形成的已编码的媒体文件，该独立媒体帧位于媒体文件的语义重要部分处。

其它优选特征在从属权利要求中阐释。

附图说明

现在将参照附图来说明本发明的实施方式，附图中：

图1示出了根据第一实施方式的编码系统中的功能组件；

图2示出了图1所示的系统内的主要功能单元；

图3示出了图2所示的视频编码器的操作的流程图；

图4示意性示出了在第一轮视频编码处理中被处理以识别场景变化的已编码的视频文件；

图5示出了场景变化I帧和语义I帧在样本视频文件内的位置；

图6示出了叙述数据文件的内容；

图7示出了第三实施方式中的系统的功能组件；

图8示出了具有位于各个原始I帧之后的额外的I帧的压缩视频文件；以及

图9示出了根据第五实施方式的叙述数据文件的内容。

具体实施方式

在第一实施方式中，编码系统对未压缩的视频文件进行处理，以与传统方式一样产生具有位于视频内的场景变化处的I帧和用于其它帧的P帧或B帧的相应的经压缩的视频文件。此外，编码器使用诸如叙述性信息的语义重要数据，来在视频内没有场景变化但却叙述重要的位置处增加另外的I帧。

图1示出了根据第一实施方式的编码系统1中的主要组件。该系统包括经由公共系统总线13进行连接的中央处理器3、工作存储器5、数据存储器7、显示接口9和显示器11。系统1还包括连接到该系统总线的专用视频编码处理器15。

图2示出了如图1所示的系统内部的主要功能单元。视频编码器15从数据存储器7接收输入的视频文件21。该输入的视频文件是临时未压缩格式，从而各帧完全独立于其它帧。在编码之后，视频编码器15在数据存储器7中存储所输出的已编码的压缩视频文件23。视频编码器15还从连接到叙述数据文件27的语义重要数据处理单元25接收数据，该叙述数据文件27也存储在数据存储器7内。

图3示出了图2所示的视频编码器的操作的流程图。在该实施方式中，视频编码器17使用两轮的视频编码方法来产生经压缩的视频文件23。

在步骤s1中，编码器15访问未压缩的视频文件21。在步骤s3中，编码器15对所访问的视频21执行第一轮，以识别在哪里出现场景变化。将视频文件21内的场景变化位置存储在工作存储器5中存储的配置文件29中。在此实施方式中，视频编码器15存储出现场景变化的各帧的帧号。例如：

帧0；

帧56；

帧215；

帧394；

帧431；

帧457；

帧1499。

图4示意性示出了在第一轮视频编码处理中被处理以识别与上述示例配置文件相对应的场景变化的已编码的视频文件23。视频文件23内基于同一场景的片段上画上阴影。作为在步骤s3中的第一轮视频编码处理的结果，配置文件包含各个I帧需要在输出的视频文件23中的位置的详细资料。在该实施方式中，配置文件29包含出现了场景变换的帧号的列表。为便于解释，在该实施方式中，仅针对各个场景部分产生单个I帧。

回到图3，在第一轮之后，在步骤s5中，视频编码器15访问语义重要处理单元，该语义重要处理单元进而访问叙述数据文件27，以识别在哪里需要附加的I帧。在步骤s7中，将这些额外的I帧位置插入配置文件29中。图5示出场景变化I帧31和语义I帧33在样本视频文件内的位置。

如图3所示，一旦已经更新了配置文件，则在步骤s9，视频编码器执行第二轮处理，以传统方式产生压缩视频文件。最后，在步骤s11中，视频编码器输出在配置文件29所指示的位置处具有I帧31、33以及在其它帧位置具有P帧和B帧的压缩视频文件。在数据存储器7中存储所输出的压缩视频文件23。

现在将解释叙述数据文件27及叙述数据文件27的生成。图6示出了叙述数据文件27的内容。叙述数据文件27与视频编码器15所生成的配置文件29非常相似。叙述数据文件具有关于文件的创建方以识别他们的创建方字段45以及标识叙述数据文件27所涉及的视频文件21的标题字段47。叙述数据文件27中的每个条目是帧号41和表示额外的I帧将出现在压缩视频文件中的什么位置的相应的时间戳43。另外，叙述数据文件27中的每个条目可以具有表示帧的重要性的相关注释49。

在该实施方式中，由制作未压缩视频输入21的用户来生成叙述数据文件27。制作者执行手动操作来标记视频中的观看最终视频的任何终端用户可能叙述感兴趣的片段的起点。叙述感兴趣的示例包括：一些演员讲话的开始、动作序列的开始、音乐作品的开始等。叙述感兴趣的点并不限于音轨中的事件，还包括不会导致场景变化的视觉事件。例如，运动停顿或者演员步入场景中。

在第一实施方式中，生成与输入的未压缩视频文件相对应的压缩视频文件，该压缩视频文件在视频制作者已经手动指定了特别感兴趣的片段的位置处具有附加的I帧。通过这种方式，稍后观看压缩视频的用户能够寻找视频中特定感兴趣的部分。

第二实施方式

在第一实施方式中，视频编码器利用两轮的编码方案由输入的未压缩视频文件生成压缩的MPEG2视频。在第二实施方式中，视频编码器利用一轮的编码方案压缩所输入的视频文件。

第三实施方式

在第一和第二实施方式中，视频编码器处理未压缩的视频输入，并且生成具有根据由视频制作者确定的感兴趣的片段而布置的I帧以及基于场景变化的传统I帧布置的压缩视频数据。

在第三实施方式中，系统允许将代表叙述感兴趣的点的I帧添加到已经压缩的视频文件中。这在一旦视频在一定长度的时间内变得可用而仅一部分视频变成叙述感兴趣的情况下有用。

图7示出了第三实施方式中的系统的功能组件。这里的物理组件与第一实施方式相同，因此将不再进行说明。通过视频编码器53处理压缩视频文件51，以产生新的已编码且压缩的视频文件55。在处理所输入的视频文件51时，视频编码器53建立指定了已有的I帧的位置的配置文件57。还经由语义处理单元59来接收叙述数据文件61的信息。在再编码之后，新的压缩视频文件55在叙述数据文件61的信息所指定的位置处包含附加的I帧。在这种情况下，新的视频文件因为包含更多的I帧而比旧的压缩视频数据文件大。

第四实施方式

在上述实施方式中，视频编码器被设置为产生具有位于视频内的场景转换处的I帧以及在由视频的制作者或者希望向视频中加入I帧的任何用户所定义的叙述文件中指定的位置处的I帧的压缩视频文件。

在很多视频中，当发生场景变化时，在新的视频段的起点和叙述重要的任何视频内容的起点之间常常有小的时间延迟。在稍后的视频编缉任务中，例如，将单独的视频或者来自单个视频的摘录合并成合成视频，期望滤除叙述性不重要的内容。

在第四实施方式中，编码器进一步操作，以在场景变化I帧或语义I帧之后插入附加的I帧。图8示出了在具有叙述重要I帧77和位于各个初始原始I帧75之后的额外I帧73的压缩视频文件71。

第五实施方式

在第一实施方式到第四实施方式中，编码器被设置为根据如叙述数据文件81中提出的视频文件中的叙述重要视频内容，在视频中的指定位置处插入I帧。

在第五实施方式中，除了插入I帧之外，视频编码器被设置为通过改变所插入的I帧之后的帧的输出视频的质量，来强调输入视频中的语义重要部分。

第五实施方式中的编码系统的物理组件和功能组件类似于前述实施方式中的物理组件和功能组件，仅有的差别在于叙述数据文件81和编码器。

图9示出了根据第五实施方式的叙述数据文件81的内容。该叙述文件类似于前述实施方式中的叙述数据文件，该叙述文件具有创建方名称83、所期望的视频名称85、帧号87以及与视频中该片断相对应的时间索引89和注释91的字段。叙述数据文件83还包括指定叙述重要内容的持续时间的持续时间字段93的信息，在这种情况下，帧号跨越该叙述重要事件。

编码器从叙述数据文件81接收信息，并且，作为响应，插入I帧，并增加对视频中该叙述重要的部分进行编码所分配的比特数(此后称为比特率)。

在一些情况下，叙述重要部分将与视频编码器通常认为需要更多比特的部分一致。然而，在其它情形中，例如，在传送特别重要的话音但视频背景却没有显著变化的情况下，视频编码器将为叙述文件中定义的部分分配更高的比特率。如果存在对视频文件尺寸所允许的比特率的限制，则视频编码器将为叙述重要部分分配更高的比特率，并为视频的其它部分设置较低的比特率。

替代例/变型例

在实施方式中，视频编码器生成MPEG2视频文件。可以理解，可以使用执行时间帧压缩的任何压缩格式。例如，WMV或H.264。

在第一实施方式中，编码器使用两轮的编码方案。在替代例中，使用多轮的编码方案。例如，三轮或四轮的编码方案。

在实施方式中，由系统用户手动生成叙述文件。在替代例中，在无需用户动作的情况下，生成叙述文件。音频处理器分析视频文件内的音频流，以确定何时出现话音并填充(populate)叙述文件。

Claims (14)

1.一种将媒体内容编码为独立数据帧和相关数据帧的编码序列的方法，该方法包括以下步骤：

分析所述媒体内容，以确定所述媒体内容中哪里出现了场景变化；

生成限定了所述场景变化的位置的编码参数；

在编码序列内与识别出的场景变化对应的位置处生成独立数据帧；

其特征在于以下步骤：

访问由所述媒体内容的视频制作者生成的叙述数据文件，所述文件表示所述媒体内容中的观看编码的媒体内容的任何终端用户可能叙述感兴趣的叙述重要音轨部分；以及

更新所述编码参数，使得能在叙述数据文件所表示的位置处生成另外的独立数据帧；

在编码序列内没有场景变化但叙述重要的位置处生成另外的独立帧。

2.根据权利要求1所述的方法，其中，叙述数据文件包括多个条目，每个条目与媒体内容中的叙述重要音轨部分有关、并且具有帧号和表示额外的独立帧将出现在什么位置的时间戳。

3.根据权利要求1所述的方法，其中，所述媒体内容包括未压缩的视频数据。

4.根据权利要求1所述的方法，该方法还包括更新配置数据，以指定在所述媒体内容中出现场景变化之后加入独立帧。

5.根据权利要求1所述的方法，该方法还包括更新所述编码参数，以增加在所述媒体内容中的被表示为叙述重要的部分处的所述媒体内容的编码率。

6.根据权利要求1所述的方法，其中，叙述数据文件中的条目包括指示音乐作品的开始、某一演员讲话的开始的音轨数据。

7.根据权利要求1所述的方法，其中，叙述数据文件中的另外的条目指示所述媒体内容中作为不会导致场景变化的视觉事件的部分。

8.一种将媒体内容编码为独立数据帧和相关数据帧的编码序列的装置，该装置包括：

用于分析所述媒体内容的视觉内容的单元；

表示所述媒体内容中场景变化的位置的配置数据存储器；

用于在编码序列内对应于识别出的场景变化的位置处生成独立数据帧的生成单元；

其特征在于：

用于访问由所述媒体内容的视频制作者生成的叙述数据文件的访问单元，所述文件表示所述媒体内容中的观看编码的媒体内容的任何终端用户可能叙述感兴趣的叙述重要音轨部分；

用于更新所述配置数据存储器使得能在由叙述性数据表示的位置处包括另外的独立帧的单元，

其中所述生成单元还操作为在视频中没有场景变化但叙述重要的位置处生成另外的独立帧。

9.根据权利要求8所述的装置，其中，叙述数据文件包括多个条目，每个条目与媒体内容中的叙述重要音轨部分有关、并且具有帧号和表示额外的独立帧将出现在什么位置的时间戳。

10.根据权利要求8所述的装置，其中，所述媒体内容包括未压缩的视频数据。

11.根据权利要求8所述的装置，其中，用于更新配置数据的单元还进一步操作以指定在所述媒体内容中出现场景变化之后加入独立帧。

12.根据权利要求8所述的装置，该装置还包括更新所述配置数据存储器，以增加所述媒体内容中被表示为叙述重要的部分处的所述媒体内容的编码率。

13.根据权利要求8所述的装置，其中，叙述数据文件中的条目包括指示音乐作品的开始、某一演员讲话的开始的音轨数据。

14.根据权利要求8所述的装置，其中，叙述数据文件中的另外的条目指示所述媒体内容中作为不会导致场景变化的视觉事件的部分。