CN101569195A - 用于可调节比特流提取的方法和系统 - Google Patents

Abstract

提供了一种具有编码器(120)、比特流提取器(140)和解码器(160)的可调节视频压缩系统(100)，该系统用于以不同的视频分辨率、帧速率和视频质量级有效地编码和解码可调节嵌入比特流(130)。可以按照细化层(136)、其后是时间级(132)、再后是空间层(134)的次序来提取比特，其中每个提取的比特在视频解码质量上提供渐增的改进。可以在嵌入比特流中对应于最大细化层、最大时间级和最大空间层的位置处截断比特提取。对于给定细化层，并且在移动到下一个细化层之前，在提取来自较高时间级中的空间层的比特之前提取来自较低时间级的所有空间层的比特，用于区分编码增益的优先次序以增加视频解码质量。

Description

用于可调节比特流提取的方法和系统

技术领域

本发明涉及视频编码，尤其涉及可调节视频压缩。

背景技术

便携电子设备和移动通信设备的使用在近年来显著地增长。而且，对具有视频能力的移动设备的需求快速增长。视频处理需要大量的信号处理并且对具有有限的计算能力和电池能量的移动设备设置了高的处理要求。因此，通常接收压缩格式的视频以减少呈现图像所需的数据量。由于传输的数据量减少，因此压缩数据也促进了实时数据递送。视频编码是将视频编码成压缩格式的过程。

在传统的视频压缩中，视频序列被编码成压缩的比特流，随后解码该压缩的比特流以获得原始视频序列的重构。该系统由一个编码器和一个解码器组成。可以扩展视频压缩以提供可调节性。可调节性允许基于可用的硬件或软件资源调整视频质量。可调节性也提供无缝移动性平台并且该平台允许用户跨不同的视频设备和传输信道来有效使用视频内容。例如，某些硬件可以仅支持某一帧速率范围或比特速率范围。可调节视频压缩系统允许硬件支持根据硬件资源调节的各种解码选择。

可调节视频压缩(SVC)产生可以在不同分割点(即，嵌入比特流内的位置)被截断的嵌入比特流以产生具有不同期望参数的重构视频，所述参数诸如分辨率、帧速率和质量。作为示例，参照图1，可调节视频压缩(SVC)系统可以由编码器120、比特流提取器140和解码器160组成。编码器120可以压缩视频输入并生成具有表示视频输入的比特的嵌入比特流130。该SVC系统100可以接收用于设定视频解码质量的用户输入参数145。该SVC系统100在下述意义上是可调节的：即可以根据参数145调节视频解码质量。

参照图2，示出了示例性可调节比特流表示。应当注意，可以以各种次序保存比特流片段(B0-B35)。在图2的说明中，以行(例如，时间层)和列(例如，空间级)格式示出比特。实际上，可以通过编码次序所规定的连续方式接收比特流的每个比特131。可调节比特流的细化层中的渐进细化(PR)片可以在相关的比特流片断中的任何位置被截断，每个附加比特提供对重构的视频质量的改进。例如，可以在比特流片断B 14的末尾截断可调节比特流从而仅提供比特片断B0至B14用于解码，这对于低质量图像可能是足够的。返回参照图1，比特流提取器140可以截断编码比特流以获得较低比特速率的流，其在期望的空间分辨率和时间帧速率上解码，SNR质量基于所提供的用户输入参数145。在每个分辨率和帧速率上允许某一范围的比特速率，以较高速率产生较好的SNR质量。对于固定的比特速率视频编码应用，比特流提取器将沿着设计的比特流提取路径从给定的可调节比特流中顺序收集相关的比特片断直到达到目标比特预算。当理论上的最佳提取次序不清楚时，对于广泛的各种视频序列，各种比特提取方案可以不同地执行。

存在三种主要的可调节性类型：空间、时间和SNR(质量)。空间可调节性是以多种不同的分辨率来解码比特流的能力。时间可调节性是以多种不同的帧速率来解码比特流的能力。SNR可调节性是以不同的比特速率解码比特流以获得期望的质量的能力。例如，用户可以调整参数145，诸如分辨率、帧速率和质量用于设定空间、时间和SNR可调节性。通常以分层的方式提供空间和时间可调节性，其中存在小集合的可能的分辨率和帧速率。即，在层中提供信息，使得每个层都对视频解码质量提供渐增的改进。以类似的分层方式，或是以具有嵌入比特流的更连续的方式提供SNR可调节性是可能的。

ITU-T和MPEG标准组织的联合视频组(JVT)处于发展新的国际可调节视频编码标准的过程中，作为对MPEG-4AVC/H.264标准的可调节编码扩展的新修改。新标准通过联合可调节视频模型(JSVM)而发展。在标准化行动期间，与所采用的新编码工具结合在一起的参考软件，被发展用于传导编码实验(conduction coding experiment)。JSVM参考软件提供用于比特提取的两种方法，在这里称作点提取，以及层、级和细化提取(LLR)的提取。

对于点提取的方法，用户在嵌入比特流130中指定一点(例如，比特位置)用于解码。该点与用于视频解码质量的分辨率、帧速率和比特速率相关联。点提取是用于比特提取的直观方法，并且由于已经提供了期望的比特速率所以是用户友好的方法。在图3中图示了点提取200方法。从嵌入比特流130中提取比特，如通过比特提取次序141所示出的那样。特别地，点提取200沿着比特被编码的同一路径。这是避免“漂移”所必需的。点提取200方法根据如下所述的比特提取次序141操作。其起始于最低的空间层和最低的时间级。其在该层和级上包括依照从最低到最高的次序的细粒度可调节(FGS)细化。当在该层存在更多级时，编解码器移动到下一级，并在该级提取所有的细化。例如，在时间级0，空间级0具有2个细化(A然后B)。在时间级1，空间层1也有2个细化(G和H)。细化的数目等于细化层的数目。在最低层的所有级的所有细化都被提取后，编解码器移动到下一个较高空间层并重复该过程。当满足目标数据速率时，编解码器适当截断当前细化处的数据，并退出。在最高空间层，编解码器确保所有级都将使用细化层的相同部分。在图4中示出了FGS点提取方法的另一表示。

对于LLR提取，用户指定将包括在比特流中的空间层的数目、时间级的数目和FGS细化的数目。用户通常被限定于空间层和时间级的整数值，但可以为FGS细化，或JSVM中的调用的渐进细化片选择小数值。在LLR提取中，不指定所提取的流的比特速率。对于等于或小于给定的最大空间层的每一个空间层，以及对于等于或小于给定的最大时间级的每一个时间级，包括细化直到给定的细化截断点。因为这种模式没有比特速率限制并且所提取的比特流片断完全由输入参数确定，所以比特流提取的次序对最终的解码质量没有影响。

JSVM以不同方式来实施点提取200和LLR提取250。以一定比特速率的点提取的比特流的重构可以具有与以相同比特速率的LLR提取的比特流的重构显著不同的PSNR值。在PSNR方面，两种方法中的任何一种方法都没有永远胜过另一种；选择最好的方法取决于提取点。因为JSVM编解码器是第一种灵活地在时间、空间和FGS维度中结合可调节性的国际视频编码标准，因此在过去最佳比特流提取次序的问题在当前进行的标准化行动之外并没有被涉及也没有被解决。

发明内容

广义地讲，本发明的实施例指向用于以不同视频分辨率、帧速率和视频质量级来有效解码可调节嵌入比特流的比特提取器及其方法。本发明的实施例使得能够以不同视频分辨率、帧速率和质量级来更有效地决定单个压缩的可调节比特流。特别地，比特提取器以细化层、其后是时间级、再后是空间层的次序来提取比特，其中每个提取的比特对视频解码质量提供细化。在一个方案中，比特提取器可以接收最大细化层、最大时间级和最大空间层，以为嵌入比特流设定视频解码质量。比特提取器可以在嵌入比特流中对应于最大细化层、最大时间级和最大空间层的位置截断比特提取以获得视频解码质量。比特提取器考虑最大细化层提供信噪比(SNR)可调节性范围，考虑最大时间级提供时间可调节性范围，以及考虑最大空间层提供空间可调节性范围。对于给定细化层，在从细化层的较高时间级中的空间层提取比特之前，从该细化层的较低时间级中的所有空间层提取比特，用于区分编码增益的优先次序以增加视频解码质量。在一个方面，比特提取器可以指定可用于提供信噪比(SNR)可调节性的比特速率范围。在另一方面，比特提取器可以指定对于每个分辨率和帧速率所允许的比特速率范围。

比特提取器可以开始于最低细化层的最低时间级的最低空间层。在最低细化层中，对于每个细化，可以按照最低到最高空间层的次序从最低空间层的最低时间级到最高空间层的最高时间级提取比特。比特提取器可以移动到较高细化层，并且对于每个细化，按照最低到最高空间层的次序从最低空间层的最低时间级到最高空间层的最高时间级提取比特。比特提取器可以重复移动到下一个细化层的步骤直到并且包括最高细化层。对于每个细化层，按照每个时间级层后跟随每个空间层的细化次序来从嵌入比特流中提取比特。比特提取器可以按照编码增益优先次序为解码器聚集嵌入比特流中的比特，从而每个附加的提取比特对视频解码质量提供细化。比特提取器可以针对编码增益按照细化层、其后是时间级、再后是空间层的细化次序区分嵌入比特流中的比特的优先次序。来自空间层的比特可以对视频质量提供最高的贡献，其次是来自时间级的比特，再次是来自细化层的比特。

本发明的实施例也可以指向用于视频编码的方法。该方法可以包括编码第一组比特以创建嵌入比特流的至少一个细化层，编码第二组比特以创建嵌入比特流的至少一个时间级，以及编码第三组比特以创建嵌入比特流的至少一个空间层，其中使用用于预测的先前空间层来编码每个空间层。可以根据编码增益按照细化层、其后是时间级、再后是空间层的细化次序区分嵌入比特流中的比特的优先次序。来自最低时间级和细化的所有空间层的比特按照从最低空间层到最高空间层被区分优先次序来对视频质量提供最高贡献。其后跟随的是在最低细化的下一个时间级上从最低空间层到最高空间层的比特。这将持续直到最低细化的所有时间级的所有空间层都被包括。来自下一个细化的比特将以同样的次序被包括。

附图说明

在所附权利要求中详细阐述了被认为新颖的系统的特征。通过结合附图参照接下来的描述可以理解此处描述的实施例，在附图的多个图中同样的附图标记表示同样的元件，其中：

图1是可调节视频压缩系统的方框图；

图2是嵌入比特流的表格表示；

图3是现有技术的点提取的图示；

图4是现有技术的点提取的另一个图示；

图5是根据本发明实施例的嵌入比特流的时间级、空间层和细化层的图解说明；

图6是根据本发明实施例调整嵌入比特流的时间级、空间层和细化层的图解说明；

图7是根据本发明实施例的细化层、时间级和空间层(FTS)方法；

图8是根据本发明实施例的FTS的比特提取次序的第一途径；

图9是根据本发明实施例的FTS的比特提取次序的第二途径；以及

图10是根据本发明实施例的FTS方法的伪代码。

具体实施方式

虽然本说明书以被认为是新颖的、限定本发明实施例的特征的权利要求作为结论，但是可以相信通过结合附图考虑以下描述将更好地理解该方法、系统和其它实施例，在附图中沿用相同的附图标记。

按要求，此处公开了本发明方法和系统的详细实施例。然而，可以理解的是所公开的实施例仅仅是示例性的，其可以具体化为各种形式。因此，本文中公开的具体结构和功能细节不解释为是限定性的，而仅仅是作为权利要求的基础并且作为教导本领域技术人员以实质上任何适当的详细结构不同地采用本发明实施例的代表性基础。而且，本文中使用的术语和短语不是用于限定而是用于提供对本文实施例的可理解的说明。

本文所使用的术语“一”被定义为一个或多于一个。本文所使用的术语“多个”被定义为两个或多于两个。本文所使用的术语“另一个”被定义为至少第二个或更多。本文所使用的术语“包含”和/或“具有”被定义为包括(即，开放式语言)。本文所使用的术语“耦合”被定义为连接，虽然不必是直接地连接，并且不必是机械连接。术语“细化层”可以被定义为用于细粒度调节(FGS)质量增强以及向解码器提供更优质的视频的整个过程的编码级。术语“嵌入比特流”可以被定义为存储器或通信信道内的内部分散比特的集合。术语“时间级”可以被定义为基于时间排序的比特的集合。术语“空间层”可以被定义为基于关联排序的比特集合。术语“比特预算限制”可以被定义为对用于编码的比特数目的限制。术语“质量增强”可以被定义为在时间分辨率、空间分辨率或两者的组合上的增加。术语“视频解码质量”可以被定义为时间分辨率上的信噪比、空间分辨率上的信噪比或两者的组合的增加。

图1显示了用于有效视频编码的可调节视频压缩(SVC)系统100。可以通过处理器，诸如本领域公知的微处理器或数字信号处理器(DSP)、或任何其它适当的电子设备，在软件中实施SVC系统100。也可以在硬件中，诸如本领域公知的ASIC或FPGA，或任何其它适当的硬件，来实施SVC系统100的功能。如前所述，SVC系统100可以包括编码器120、比特流提取器140和解码器160。编码器120可以随着时间推移接收表示多个图像的视频输入流。编码器120可以压缩视频输入并生成表示视频输入的嵌入比特流130。在图2中示出了嵌入比特流130。SVC系统100也可以接收用于设定视频解码质量的输入参数145。在可以根据参数145调节视频解码质量的意义上SVC系统100是可调节。SVC系统100能够根据单个嵌入比特流提供广泛的单个或组合的可调节解码选项，诸如空间、时间和质量。这允许SVC系统100提供嵌入在高端视频比特流数据中的低端视频。

将编码器120和解码器160的操作分离以提供有效存储、传输、媒体管理和差错弹性(error resiliency)。编码器120可以编码输入视频并且提取相关比特流片断用于服务不同的解码资源限制。编码器120可以生成能被以不同方式灵活提取的可调节比特流以满足视频解码器160的空间-时间分辨率和比特速率限制。比特提取器140可以以指定的次序从嵌入比特流130中提取比特。比特提取可以取决于空间层、时间级和细化层的数目以及用于解码的期望的比特速率。比特提取器可以按编码增益优先次序为解码器从嵌入比特流中提取比特，使得每个附加的提取比特提供对视频解码质量的有效细化。

参照图5，示出了通过时间级、空间层和细化级排列的嵌入比特流130的图解说明。特别地，可以通过许多个时间级132、许多个空间层134和许多个细化层136来表示嵌入比特流130。可以给定时间级132的数目作为建立时间可调节性的输入，可以给定空间层134的数目作为建立空间可调节性的输入，以及可以给定细化层136的数目作为建立SNR可调节性的输入。嵌入比特流表示130呈现了时间可调节性、空间可调节性和SNR可调节性之间的可视关系。

参照图6，示出了嵌入比特流130的多种表示。作为一个示例，参照嵌入比特流142，增加时间级的数目可以提高时间质量。作为另一个示例，参照嵌入比特流144，增加空间层的数目可以提高空间质量。作为又一个示例，参照嵌入比特流146，增加细化层的数目可以提高SNR质量。特别地，时间级、空间级、和细化级的数目可以通过图1的用户参数145来设定。改变时间级、空间级或细化级的数目可以改变视频解码质量。

返回参照图1，比特提取器140可以以细化层136、其后是时间级132、再后是空间层134的次序，来从嵌入比特流130中提取比特。解码器160可以根据由比特提取器提取的比特来创建视频。比特提取器140可以接收包括分辨率、帧速率和比特速率的参数以提供可调节视频解码，并且将上述参数转换成对应的给定细化层、给定时间级和给定空间层以获得所述分辨率、帧速率和比特速率。视频可以具有取决于给定的细化层136数目、给定的时间级132数目和给定的空间层134数目的视频解码质量。比特提取器140可以指定对于每个分辨率和帧速率所允许的比特速率范围，以及可用于提供信噪比(SNR)可调节性的比特速率范围。例如，比特提取模块140可以接收用于设定视频解码质量的给定细化层、给定时间级和给定空间层，并且在嵌入比特流130中对应于给定细化层136、给定时间级132和给定空间层134的位置处截断比特提取，以获得视频解码质量。

返回参照图1，比特提取器140可以以不同的次序提取比特。一个这样的比特提取次序，如前面现有技术中所引用的，是图3所示的点提取200方法。另一个比特提取次序，如前面现有技术中所引用的，是图4所示的层、级和细化(LLR)250方法。点提取200和LLR提取250方法的缺点是在所有时间级中分离比特不是有效的。

作者已证明来自较低时间级的比特比来自较高时间级的比特提供更多增益。因此，关于比特提取，可以基于编码增益的比特优先级对比特进行重新排序。仿真中的率失真曲线显示，根据本发明实施例通过对比特进行重新排序，可以在端到端的视频解码质量增益中获得达2dB的增益。实际上，来自较低时间级的比特在来自较高时间级的比特之前被提取。特别地，按照细化、其后是时间级、再后是空间层的次序提取比特。这种通过基于优先次序对比特重新排序的提取方案的比特提取排序产生了较高的端到端质量。空间、其后是时间、再后是细化，被称为FTS，并且是本发明的新颖方面。比特提取次序与LLR和点提取方法的比特提取次序不同。

参照图7，示出了FTS方法的比特提取次序137。FTS方法根据如下比特提取次序137操作。对于细化层136中的每个细化，来自最低空间层的最低时间级的比特首先被提取。随后来自这个时间级和细化层上的所有空间层的比特依次序被提取。然后，比特提取器140移动到下一个时间级132并按从最低到最高的次序从空间层134提取比特。一旦在最低细化对所有时间级和空间层都进行了提取，编码器就移动到下一细化并重复该过程。

例如，参照图8，示出了根据比特提取次序137从嵌入比特流130提取比特的第一途径。比特提取次序明确地指定了对嵌入比特流130中的比特提取的独特次序。特别地，第一途径与作为最低细化层的细化层0相关联。即，在提取来自细化层1的比特之前首先从所有空间层134和所有时间级132提取比特。如比特提取次序137所示，按照细化、其后是时间级、再后是空间层的次序来提取所有比特。特别地，为了区分编码增益的优先次序，来自较低时间级的所有空间层的所有比特优先于来自较高时间级的空间层的比特被提取。

参照图9，示出了根据比特提取次序137从嵌入比特流130提取比特的第二途径。特别地，第二途径与作为下一最高细化层的细化层1相关联。来自细化层1的所有空间层134和所有时间级132的比特被提取。由于细化层仅包含两个细化，因此比特提取在第二途径完成后结束。特别地，由比特提取次序137示例的比特提取方法将被复制用于进一步细化中。

也可以利用下面在图10中所示的伪代码来实施FTS方法。

(310)For FGS_refinement＝0：highest_refinement

(312)For Temporal_level＝0：highest_level

(314)For Spatial_layer＝0：highest_layer

(316)包括来自当前细化、空间层和时间级的数据

如果达到指配的比特预算(若必需则使用部分细化)，则退出

实际上，(310)针对给定细化层136，(312)针对给定时间级132，以及(314)针对给定空间层134，(316)对于给定时间级和给定细化层从最低空间层到最高空间层提取比特。FTS方法300对最低空间层直到最高空间层重复(314)，对最低时间级直到最高时间级重复(312)，并且对最低细化层直到最高细化层重复(310)。

返回参照图5，应当注意，比特提取器140执行从嵌入比特流130中提取比特的方法。比特提取器140以编码增益优先级的次序从嵌入比特流中提取比特。即，以最有效地减少编码失真的次序来提取比特。例如，参照图5，在较低时间级的比特，诸如在级0的比特，比在较高时间级的比特，诸如在级3的比特，提供更多增益。因此，在来自较高时间级的比特之前提取比特以充分利用编码增益。在另一方案中，通过与图1的SVC系统100通信地耦合的主处理器(未示出)来提取比特。

特别地，FTS比特提取方法与现有技术中的点提取200和LLR方法所执行的比特提取具有显著区别。在点提取200中，按照空间层134、其后是时间级132、再后是细化层136的次序来提取比特。在FTS 300中，按照细化层、其后是时间级132、再后是空间层134的次序来提取比特。LLR不直接应用于固定比特速率编码。

本发明的实施例也可指向创建适用于可调节视频编码的嵌入比特流的方法。该方法包括按照细化层、其后是时间级、再后是空间层的细化次序，在嵌入比特流中按编码增益区分比特的优先次序。

在可应用的情况下，本发明当前的实施例可以在硬件、软件或硬件和软件的组合中实现。适合执行本文所描述的方法的任何种类的计算机系统或其它装置都是恰当的。硬件和软件的典型组合可以是具有计算机程序的移动通信设备，当该计算机程序被加载和执行时，可以控制移动通信设备使其执行本文所描述的方法。本方法和系统的部分也可以被嵌入在计算机程序产品中，其包括所有能够执行本文所描述的方法的特征并且当其被加载到计算机系统中时，可以执行这些方法。

虽然已经图解说明和描述了本发明的优选实施例，但是清楚的是本发明的实施例并不如此受限。在不偏离所附权利要求所限定的本发明当前实施例的精神和范围的前提下，本领域技术人员将想到多种修改、改变、变化、置换和等效。

Claims (10)

1.一种适于在视频处理中使用的可调节比特流提取方法，包括以下步骤：

接收嵌入比特流，该嵌入比特流具有至少一个细化层、至少一个时间级和至少一个空间层；

根据比特预算限制，按照细化层、随后是时间级、随后是空间层的次序提取比特，以对视频解码质量提供质量增强。

2.如权利要求1所述的方法，进一步包括：

接收最大细化层、最大时间级和最大空间层，用于设定视频解码质量；以及

在嵌入比特流中与最大细化层、最大时间级和最大空间层相对应的位置处截断所述提取比特的步骤，以获得所述视频解码质量。

3.如权利要求2所述的方法，进一步包括：

考虑所述最大细化层来提供信噪比(SNR)可调节性范围；

考虑所述最大时间级来提供时间可调节性范围；

考虑所述最大空间层来提供空间可调节性范围。

4.如权利要求1所述的方法，进一步包括：

对于给定细化层，在从较高时间级中的空间层提取比特之前从较低时间级的所有空间层提取比特，用于区分编码增益的优先次序以提高视频解码质量。

5.如权利要求1所述的方法，其中所述提取比特的步骤是包括以下各项的提取次序：

针对最低细化层到最高细化层；

针对最低时间级到最高时间级；

针对最低空间层到最高空间层；

从当前细化、空间层和时间级提取数据；

如果达到指配的比特预算，则停止提取数据。

6.一种适于在视频处理中使用的可调节视频压缩系统，包括：

编码器，所述编码器压缩视频输入并且生成具有至少细化层、至少一个时间级和至少一个空间层的嵌入比特流；

比特提取器，所述比特提取器根据比特预算限制，按照细化层、随后是时间级、随后是空间层的次序从嵌入比特流中提取比特；

解码器，所述解码器依据所提取的比特创建图像，所述图像具有取决于给定细化层、给定时间级和给定空间层的视频解码质量。

7.如权利要求6所述的可调节视频压缩系统，其中所述比特提取器接收包括分辨率、帧速率和比特速率的参数以提供可调节视频解码，并且将上述参数转换成对应的给定细化层、给定时间级和给定空间层，用于获得所述分辨率、所述帧速率和所述比特速率。

8.如权利要求7所述的可调节视频压缩系统，其中所述比特提取器指定每个分辨率和帧速率所允许的比特速率范围。

9.如权利要求7所述的可调节视频压缩系统，其中所述比特提取器指定可用于提供信噪比(SNR)可调节性的比特速率范围。

10.如权利要求6所述的可调节视频压缩系统，其中所述比特提取器在从较高时间级中的空间层提取比特之前从较低时间级的所有空间层提取比特，用于区分编码增益的优先次序，以提高视频解码质量。

Images