CN102833620B - 进行时间最优化编码的系统和方法 - Google Patents

Abstract

本公开关注一种进行时间最优化编码的系统(10)和方法(100)。时间最优化编码通过在编码质量牺牲最小或不牺牲编码质量的情况下使时间密集型编码并行化，使多个编码节点(28-32)或群(22-26)的使用最大化。从而，减少了完成时间密集型编码所需的时间，并提高了通过系统(10)的多个编码的有效吞吐量。

Description

进行时间最优化编码的系统和方法

技术领域

本发明总体涉及对视频内容进行编码，更具体地，涉及视频内容的时间最优化编码。

背景技术

本部分意在向读者介绍可能与下面所描述和/或要求保护的本发明的各方面有关的技术的各方面。相信这种讨论有助于向读者提供背景信息以利于更好地理解本发明的各方面。相应地，应该理解，应该就此而论地阅读这些声明，而不是将其视为对现有技术的承认。

在过去，视频编码过程是由单片编码硬件操控的线性过程。由于在对编码进行硬件中使用的编解码器是简单的并在合理的时间量内完成编码，所以这种实现方式是足够的。已经开发了新一代的视频编解码器(如，高级视频编解码器(AVC))，以便更高效地压缩视频从而改进比特率效率并提供更高级的视频质量。然而，新的视频编解码器具有的缺陷是：数学计算强度大，并因而不期望地增大了视频编码所需的时间周期。

此外，正在努力通过在多编码通路中采用编解码器来提高编码的质量。更特别地，使编解码器通过多编码通路来传递内容并分析内容。如果这些通路彼此依赖，则每个通路都必须等待前一通路完成。这增大了完成多路编码所需的时间，并因此还具有不期望地增大视频编码所需的时间周期的缺陷。

本公开关注于克服这些缺陷。

发明内容

本公开关注用于时间最优化编码的系统和方法。时间最优化编码通过在编码质量牺牲最小或不牺牲编码质量的情况下使时间密集型编码并行化，使多个编码节点或群的使用最大化。从而，减少了完成时间密集型编码所需的时间，并提高了通过系统的多个编码的有效吞吐量。

本公开的一方面关注用于一种编码视频内容的方法，该方法包括：接收视频内容，将视频内容分段成多个场景，检测场景的长度是否超过第一限制，如果场景的长度超过第一限制则将场景切分成场景段，以及并行地对切分后的场景进行编码。

本公开的另一方面关注用于一种编码视频内容的设备或系统，该设备包括：用于接收视频内容的装置，用于将视频内容分段成多个场景的装置，用于检测场景的长度是否超过第一限制的装置，用于在场景的长度超过第一限制的情况下将场景切分成场景段的装置，以及用于并行地对切分后的场景进行编码的装置。

附图说明

本发明的这些以及其它方面、特征以及优点将从后续对较佳实施例的详尽描述中得以阐述或变得清晰，将结合附图来阅读这些较佳实施例。

在附图中，相似的参考标记表示所有视图中类似的元件：

图1是示出了依照本公开的使用编码器的示例性系统的方框图；

图2是示出了依照本公开的示例性编码器布置的方框图；

图3是传统编码工作流程的示意图；

图4是依照本公开的编码工作流程的示意图；

图5是依照本公开的影片内容场景的示意图；

图6是依照本公开的场景内画面组(GOP)大小和类型的示意图；以及

图7是示出了依照本公开的编码过程的流程图。

应理解，附图旨在说明本发明的构思，并不一定是用于说明本发明的唯一可能配置。

具体实施方式

应该知道，可以以不同形式的硬件、软件或其组合来实现图中所示元件。优选地，在一个或多个适当编程的通用设备上采用硬件与软件相结合的形式来实现这些元件，所述适当编程的通用设备可以包括处理器、存储器和输入/输出接口。

本描述示出了本发明的原理。因此将意识到，本领域技术人员可以设计出体现本发明的原理并且包含在本发明的精神和范围之内的各种布置，即使这里并未明确描述或示出这些布置。

此处提到的所有示例和条件性语言倾向用于教学目的以帮助读者理解本发明的原理以及由发明人为促进本领域发展而贡献的构思，并且应理被解为不限于这些具体提到的示例和条件。

此外，这里提到本发明的原理、方面和实施例的所有陈述及其具体示例旨在包含其结构性和功能性等同物。此外，这些等同物旨在包括当前现有的等同物以及将来开发的等同物，即，被开发为执行相同功能而与结构无关的任何元件。

因此，例如，本领域技术人员应该意识到，这里所呈现的方框图表示说明本发明原理的示例电路的方案图。类似地，应该意识到，任何流程图表、流程图、状态转移图、伪码等表示各种过程，其中可以在计算机可读介质中表示这些过程并且由计算机或处理器来执行这些过程，而不管是否明确示出了这样的计算机或处理器。

可以通过使用专用硬件以及与适当的软件相关联的、能够执行软件的硬件来提供图中所示不同元件的功能。在由处理器来提供的情况下，该功能可以由单个专用处理器、单个共享处理器，或者多个单独的处理器(其中的一些可以是共享的)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，可以隐含包括而不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储器。

也可以包括常规的或是定制的其他的硬件。类似地，附图所示的任何开关只是概念上的。可以通过编程逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑的交互、或者甚至以手动方式来实现这些开关的功能，如从上下文中可更加明确地理解的，具体的技术是可以由实现者来选择的。

在本文的权利要求中，以用于执行指定功能的装置的形式表示的任何元件旨在包括执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或b)任何形式的软件(因此包括固件、微码等等)，与用于执行该软件的适当电路相结合以执行该功能。因此，认为能够提供这些功能性的任何装置与这里所示出的装置等同。

现参见图1，示出了说明编码布置或系统10中使用的本公开的实施方式的方框图。编码布置10包括用户图形界面(GUI)12，所述用户图形界面(GUI)12驻留在例如节点(未示出)上并且可操作地连接到预处理器14和编码器16(如，高级视频编码(AVC)编码器)，编码器16可操作地连接到下游处理模块18。在GUI 12的输入处接收包含一系列静止图像帧的未压缩运动图像视频内容数据流。

在操作中，GUI 12向预处理器14提供对未压缩运动图像视频内容数据流的访问。使用集成场景检测模块(未示出)的预处理器14对接收到的未压缩运动图像视频内容数据流中的新场景进行检测，并向GUI 12发送场景检测信号，所述场景检测信号指示需要对新的画面组(GOP)进行编码。场景检测信号可以包括时间戳、指针、同步数据等以指示新GOP应在何时何地出现。GUI 12将未压缩运动图像视频内容和控制数据(如，上述的场景检测信号和/或下面讨论的附加控制数据)传递给编码器16。例如，利用从GUI 12接收到的控制数据，依照运动图像专家组(MEPG)所开发的标准而工作的编码器16将未压缩数据流转换成包含以帧内编码帧(I帧)开始的GOP在内的压缩数据流，在帧内编码帧(I帧)中，编码视频内容数据与原始未压缩静止图像的视觉属性(如，亮度、色度)相对应。基于组中在先帧的改变来编码GOP中的在后帧，如，预测编码帧(P帧)和双向编码帧(B帧)。常规上，因为与描述相邻静止图像之间较大改变所需的数据相比，描述新的静止图像所需的数据更少，所以当视频内容数据改变较大时，在场景改变处开始新的帧群以及由此的新的I帧。如下面所讨论的，本公开关注于可以当新的帧组开始时改变的时间最优化编码技术。

在编码器16压缩了未压缩数据流后，压缩数据流被传递到下游处理模块18，该处理模块18对该压缩数据流执行附加处理，以使得该压缩数据可被存储(如，在硬盘驱动器(HDD)、数字视频碟(DVD)、高分辨率数字视频碟(HD-DVD)等中)、在媒体上(如，无线地、在互联网上、通过广域网(WAN)或局域网(LAN)等)传输、或(如，在影院中、在数字显示器(如，等离子体显示器、LCD显示器、LCOS显示器、DLP显示器、CRT显示器)上等)显示。

现参见图2，示出了依照本公开的示例性编码器布置16的方框图。编码器布置16包括可操作地连接到多个群22-26的群管理器20。每一个群22-26包含多个节点28-32，每一个节点28-32包含多个中央处理单元(CPU)。在操作中，群管理器20从GUI 12接收未压缩运动图像视频内容和控制数据，并且还可从群22-26中的节点28-32接收反馈数据。如下面要进一步详细讨论的，基于控制数据以及任何所提供的反馈数据，群管理器20将未压缩运动图像内容分段成帧组，并将所述帧组传递至群22-26中的节点28-32。

现在参考图3，示出了常规的编码工作流程40。常规的编码工作流程包括群管理器20接收未压缩运动图像内容，并基于控制数据(如，预处理器14产生的场景检测信号)将该未压缩运动图像内容分段41成场景(a-i)。在分段后，群管理器20可向群22-26提供场景(a-i)，并且群22-26可以对场景(a-i)执行多编码通路。例如，第一编码通路43可以包括将每一个场景提供给群22-26的不同节点28-32，因而每一个节点28-32可以分析所分配的场景(a-i)的复杂度(如，场景帧之间的运动、帧之间的颜色变化等)。中间处理44可以包括：群22的一个节点28将第一编码通路43的结果聚集到单个日志文件或元数据文件中。中间处理44还可包括附加处理，例如但不限于，基于节点28从群管理器20接收到的指令来格式化调整。之后，在第二编码通路46期间，群管理器将每一个场景(a-i)连同元数据文件和任何附加的指令一起提供给群22-24的不同节点28-32，因而每一个节点28-32可以依照元数据和任何附加指令处理所分配的场景以产生针对所分配场景的AVC文件。然后可将AVC文件聚集到包含压缩运动图像视频内容的已编码文件48中，如上所述，所述压缩运动图像视频内容可被传递到下游处理模块18以供进一步处理。

应该意识到，由于视频内容的随机特性，场景可能会具有可变的场景长度或大小。与较短的场景相比，较长的场景很可能花费更长的时间来通过编码通路。此外，在完成较长场景的编码通路从而所有的场景可以进行下一个编码通路之前，较长的场景可能一直需要处理较短场景的节点等待并进入待机模式，从而浪费宝贵的处理资源并降低了处理效率。因此，常规的并行场景处理途径减慢了当前最前沿编码过程的吞吐量。

现返回图3，进一步示出了常规并行场景处理途径的缺陷。场景(a-i)可以具有可变长度。例如，场景(i)比场景(c)长，即，比场景(c)具有更多的帧。此外，如图所示，如果由单个节点执行中间处理44，那么在可以开始中间处理44之前，必须完成第一编码通路43。因此，场景(i)的长度减慢了编码工作流程40的吞吐量。

现参见图4，示出了依照本公开的编码工作流程50。编码工作流程50包括：群管理器20接收未压缩运动图像视频内容，并基于控制数据(例如但不限于由预处理器14产生的场景检测信号)将该未压缩运动图像视频内容分段52成场景(a-i)。如以下将更详细讨论的，在将未压缩运动图像视频内容分段成场景后，群管理器20还可在在开始编码通路56之前基于例如GOP类型和GOP大小来切分54场景(a-i)。优选地，还可切分场景中的一些以提高所有场景(a-i)通过编码通路56(即，第一编码通路58、中间处理60和第二编码通路62)的吞吐量。

如图4所述，可认为场景(a、b和e)具有“平均”长度，认为场景(c、f和h)具有“短的”长度以及认为场景(d、g和i)具有“长的”长度。如上讨论的，较长的场景(d、g和i)很可能放慢所有场景(a-i)通过编码通路56的吞吐量。因此，为了提高吞吐量，群管理器20或GUI 12还可切分54较长的场景(d、g和i)。例如，可将场景(d、g和i)切分成两段(d₁、d₂；g₁、g₂以及i₁、i₂)，其中，一段具有近似平均的长度(即，d₂、g₂和i₂)，而另一段具有优选地不大于平均长度的可变长度(即，d₁、g₁和i₁)。应该注意到，还可将超过平均长度的场景段切分成更小的场景段。在切分场景54后，群管理器还可在向群22-26提供场景之前将剩余段(即，d₁、g₁和i₁)与较短长度段(c、f和h)编组。由于群22-26的节点28-32应该大约在同时完成对所分配场景(即，a、b和e)、切分后的场景段(d₂、g₂和i₂)、或场景与切分后的场景段的编组(d₁和c、g₁和f、以及i₁和h)的编码通路，所以场景的切分和编组(a、b、d₁和c、d₂、e、g₁和f、g₂、i₁和h、以及i₂)提高了场景通过编码通路42的吞吐量。

例如，第一编码通路58可以包括：将每一个场景(即，a、b和e)、切分后的场景段(d₂、g₂和i₂)、或场景与切分后的场景段的编组(d₁与c、g₁与f以及i₁与h)并行地提供给群22-26的不同节点28-32，从而每一个节点28-32可分析所分配的场景(即，a、b和e)、切分后的场景段(d₂、g₂和i₂)或场景与切分后的场景段的编组(d₁和c、g₁和f、以及i₁和h)的复杂度。中间处理60可以包括：群22的一个节点28将第一编码通路58的结果聚集到单个日志文件或元数据文件中。中间处理60还可以包括附加处理，例如但不限于，基于节点28从群管理器20接收到的指令来格式化调整。之后，在第二编码通路62期间，群管理器20将每一个场景(即，a、b和e)、切分后的场景段(d₂、g₂和i₂)或场景与切分后的场景段的编组(d₁和c、g₁和f、以及i₁和h)连同元数据文件和任何附加指令一起并行地提供给群22-24的不同节点28-32，因而每一个节点28-32可以依照元数据和任何附加指令处理所分配的场景以产生针对所分配场景的AVC文件。然后可将AVC文件聚集到包含压缩运动图像视频内容的已编码文件64中，如上所述，所述压缩运动图像视频内容可被传递到下游处理模块18以供进一步处理。

应该意识到，场景的切分和编组克服了当对具有可变场景长度或大小的场景的视频内容进行编码时会遇到的缺陷。通过对场景进行切分和编组，极大地减小了对长的场景进行编码所导致的延迟。这种延迟的减小提高了编码过程的效率和吞吐量。

现参见图5，示出了示例性的影片内容70。影片内容70可以包含任意数目的场景72-78。每一个场景可以包含可变数目的帧(未示出)。

现参见图6，示出了压缩或编码后的场景80。压缩后的场景80包括I帧82、B帧84和P帧86。I帧82包含完全示出该帧所需的所有数据。基于组中在先帧的变化来编码B帧84和P帧86。常规地，编码器依照预定的GOP类型或模式对影片内容70编码，直到达到预定的画面组大小90为止。在这一点上，编码器产生另一个I帧，并依照预定的GOP模式和大小继续进行编码过程。例如，一个预定的GOP模式可以是I帧之后跟着重复的B帧、P帧、B帧模式。预定的GOP大小可以是24帧，以使得每第24帧是I帧。其它GOP模式和大小为本领域技术人员所知并且被视为本公开的范围之内。

现返回图2，为了最大程度使用群22-26的节点28-32，从而使所需的编码时间最小，可在群22-26的节点28-32之间平均划分影片中所有场景的帧。然而，以任意方式划分帧都将导致编码性能受损，因为与在任意位置增加场景的子划分可以引入比最优必要I帧更多的I帧，所述最优必要I帧需要以最少量的编码信息再循环来保留和存储所有画面信息。因此，引入不必要的I帧增大了比特率以及所生成的视频流的文件大小。因此，编码后的文件不是最优的文件大小。

现参见图6，由于GOP类型88和GOP大小90是已知的并且在整个编码过程中保持恒定，所以可以预测可充当自动切分场景的理想位置的特定帧。使用这种途径，可以产生具有最佳编码性能和最优文件大小的编码后的文件。

如上讨论的，常规地，长的场景要求所分配的节点对整个场景编码。然而，依照本公开，可在长的场景内已知的I帧位置处进一步切分该场景。然后，可将切分后的段并行地提供给不同的节点，从而可以在更短的时间周期内编码该场景。

按照本公开，预测或确定最优场景中断以最优化并行处理的方法可包括下面的步骤。在编码期间，压缩者或用户选择GOP大小90和GOP类型88。可以结合场景边界标识使用GOP大小90和类型88来确定切分哪一个场景和应在何处发生切分。基于统计数据(包括但不限于场景长度、每一个场景中GOP的数目、以及可用的群22-26和/或节点28-32的数目)，可以通过算法或过程来产生归一化分布。换言之，优选地，所有的节点都将有实质上相等数目的GOP要处理。

确定在何处切分或中断场景的一个示例性的算法或过程可以包括：

1.在接收到的不包含淡变(fade)和渐隐(dissolve)的视频内容(如，故事片或影片)中获得原始的场景数目。

2.在接收到的将被编码的视频内容内获得帧的数目。

3.针对每一个场景计算编码以上帧所需的GOP数(Go)。

4.根据场景的给定等级长度和数目所需的GOP数，来创建直方图分布。

5.采用该直方图并创建该直方图的密度曲线。

6.找到该密度曲线的均值、中值、最大值、最小值和标准差。换言之，针对来自群的平衡且最优化编码吞吐量，每节点应包含的平均GOP数。

7.假定密度曲线是正态曲线，即，对于不同场景大小该曲线符合正态曲线族，则可以应用68-95-99.7％规则(又名正态分布规则)来计算出位于第一标准差68％之上的所有场景并在该等级所指示的GOP数目处将这些场景切分成更小的场景。曲线高度(或标准差)可以取决于可用节点的数目。可用节点数目越大，标准差越小，并从而场景可以包含的GOP数目越小。

应该注意到，淡变和渐隐可以根据编码内容需要附加的I帧，并从而具有比通常更小或不同的GOP大小。这是由于淡变和渐隐是在过渡帧之间具有可能地有限相似性的更复杂场景。使用更小或不同的GOP大小可引入比最优必要的更多的I帧。因此，特别当涉及淡变和渐隐时，最优化编码时间的附加途径是通过以下方式来实现的：根据场景所包含的帧数的增大的长度，来布置场景。然后，按照场景长度的顺序来分布场景。换言之，在较短场景之前将包含淡变和渐隐的较长场景或复杂场景提供给群或节点。这使得较长场景可以在早期开始编码过程，而留下短的场景在其它节点变得可用时利用并行处理。

现参见图7，示出了说明依照本公开的编码处理100的流程图。最初，在步骤102处，编码布置10输入或接收视频内容，例如但不限于长片(feature film)内容。接下来，在步骤104，编码布置10基于所输入的视频内容拉产生视频内容数据。示例性的视频内容数据可包括但不限于：场景和/或连续镜头检测、淡变和/或渐隐检测、直方图产生、基于场景颜色的分类(如，着暗色和/或红色的场景通常处理起来更复杂)、类似场景的识别、帧分类(如，具有很多移动对象的有噪帧，如树叶被吹动的树)、缩略图产生等。可以由预处理器14或由用户经由GUI 12来产生视频内容数据。之后，在步骤106，编码器布置10询问用户是否愿意使用时间最优编码对视频内容进行压缩和编码。如果不愿意，则编码布置10在步骤116发起常规的、为本领域技术人员所知的群编码过程。如果想要进行时间最优编码，则编码布置10在步骤108基于场景和/或连续镜头检测以及淡变和/或渐隐检测来计算并收集统计数据。接下来，在步骤110，编码布置10处理统计数据以确定视频内容中给出的场景是否包含淡变和/或渐隐。如果场景不包含淡变或渐隐，编码布置在步骤112进一步确定场景是短场景、平均场景、还是长场景，并且基于GOP大小和GOP类型适当切分该场景。如果场景的确包含淡变或渐隐，则编码布置在步骤114依照场景的长度来组织包含淡变或渐隐的场景。之后，编码布置10如上讨论的读具有淡变和/或渐隐的场景、切分后的场景和未切分的场景进行编组，并在步骤116将场景分发给群22-26的节点28-32以依照本公开进行时间最优化编码。

虽然在此详细地示出和描述了加入本发明教导的实施方式，然而本领域技术人员可以轻易地想到仍然加入这些教导的很多其它不同实施方式。已经描述了使用智能边缘设备来打包和传输基本文件、元数据文件和业务数据文件的系统和方法的优选实施方式，应该注意到，本领域技术人员在以上教导的启示之下能够做出修改和变型。因此应该理解，在所附权利要求所概括的本发明的范围之内，可以对所公开的本发明的具体实施方式进行改变。

Claims (14)

1.一种编码视频内容的方法(100)，所述方法包括以下步骤：

接收(102)视频内容；

将所述视频内容分段(108)成多个场景；

检测(112)场景是否具有较短长度、平均长度和较长长度之一；

将具有较长长度的场景切分(112)成第一场景段和第二场景段，所述第一场景段具有平均长度，所述第二场景段不超过平均长度；

将所述第二场景段与具有较短长度的场景编组(54)；以及

并行地编码(116)已切分和编组的场景。

2.根据权利要求1的方法，其中，切分的步骤还包括以下步骤：

基于所述场景中的画面组特性来切分(112)所述场景。

3.根据权利要求2所述的方法，其中，所述画面组特性是画面组类型(88)。

4.根据权利要求2所述的方法，其中，所述画面组特性是画面组大小(90)。

5.根据权利要求1的方法，其中，编码的步骤还包括以下步骤：

与所述第一场景段并行地以及与平均长度的场景并行地对编组后的第二场景段和较短长度的场景进行编码(56)。

6.根据权利要求1的方法，其中，检测的步骤还包括以下步骤：

检测(110)场景是否包含淡变效果和渐隐效果之一。

7.根据权利要求6的方法，其中，编码的步骤还包括以下步骤：

在并行地对切分后的场景进行编码之前，发起对包含淡变效果和渐隐效果之一的场景的编码(116)。

8.一种用于编码视频内容的设备(10)，所述设备包括：

用于接收视频内容的装置(12)；

用于将所述视频内容分段成多个场景的装置(12、20)；

用于检测场景是否具有较短长度、平均长度和较长长度之一的装置(12、20)；

用于将具有较长长度的场景切分成第一场景段和第二场景段的装置(12、20)，所述第一场景段具有平均长度，所述第二场景段不超过平均长度；

用于将所述第二场景段与具有较短长度的场景编组的装置(54)；以及

用于并行地编码已切分和编组的场景的装置(16)。

9.根据权利要求8所述的设备，其中，用于切分的装置还包括：

用于基于所述场景中的画面组特性来切分所述场景的装置(12、20)。

10.根据权利要求9所述的设备，其中，所述画面组特性是画面组类型(88)。

11.根据权利要求9所述的设备，其中，所述画面组特性是画面组大小(90)。

12.根据权利要求8所述的设备，其中，用于编码的装置还包括：

用于与所述第一场景段并行地以及与平均长度的场景并行地对编组后的第二场景段和较短长度的场景进行编码的装置(22-32)。

13.根据权利要求8所述的设备，其中，用于检测的装置还包括：

用于检测场景是否包含淡变效果和渐隐效果之一的装置(12、20)。

14.根据权利要求13所述的设备，其中，用于编码的装置还包括：

用于在并行地对切分后的场景进行编码之前，发起对包含淡变效果和渐隐效果之一的场景的编码的装置(12、20)。