CN1398491A - Mpeg－2可比例缩放解码器中复杂度的动态适配 - Google Patents

Abstract

一种用来对视频解码器中用于可比例缩放模块的复杂度水平进行动态设定的系统和方法。该方法包括步骤：使用初始阈值对第一GOP进行解码；确定用于第一GOP的被调节阈值；以及使用为第一GOP计算的被调节阈值对第二GOP进行解码。类似地公开一计算系统，通过迭代选择不同阈值直到用于前一GOP的解码器系统被比例缩放复杂度基本上符合用于当前GOP的视频解码器系统所需复杂度，该系统基于前一被解码GOP确定用于当前GOP的阈值。

Description

MPEG-2可比例缩放解码器中复杂度的动态适配

本申请涉及于2000年11月14日提交的名为“可比例缩放MPEG-2视频解码器”(SCALABLE MPEG-2 VIDEIO DECODER)的序列号为09/712,678的US专利申请，该申请通常与本申请一起指定并据此一并作为参考。

本发明涉及对被压缩视频信号进行解码，并且更具体地涉及一种用于对可比例缩放(scalable)MPEG-2视频解码器的复杂度(complexity)进行动态适配的系统和方法。

MPEG标准是一套用于视频和音频压缩的不断发展的标准，由移动画面专家组(MPEG)进行开发。MPEG-1设计用于对以大约1.5兆比特每秒的速率传输的渐进图像进行编码。它特别设计用于视频CD和CD-i媒体。MPEG-2设计用于对以4兆比特每秒以上的速率传输的交错图像进行编码。MPEG-2标准被用于不同应用情况，如数字电视(DTV)广播、数字通用盘(DVD)技术和视频存储系统。

依照MPEG-2标准，将MPEG-2序列分为一系列GOP(画面组)。有三种不同类型的画面，每个本质上为一像素帧。每个GOP以内编码画面(I画面)开始，随后安排为前向预测编码画面(P画面)和双向预测编码画面(B画面)。I画面是作为单独静止图像而进行编码的字段或帧。P画面是相对于最近的I或P画面而进行编码并导致前向预测处理的字段或帧。通过使用运动补偿，P画面允许高于I画面的压缩率，并也作为参照用于B画面和将来的P画面。B画面是使用最接近的过去和将来的I和P画面作为参照导致双向预测的字段或帧。

随着数字TV市场逐渐开始占领TV市场并且其它视频应用变得更加理想，对于具有高性能的系统的需求变得越来越大，该高性能是用于处理MPEG-2画面的。现有用来处理MPEG-2数据的结构，如在DTV机顶盒和高端数字TV中所发现的，典型地利用一数字信号处理中央处理单元(DSPCPU)、控制处理器、协处理器和软件应用程序的结合。不幸的是，即使有所有这些资源，高级音频/视频处理功能也趋向于耗费比通常所用的多的计算能力。

MPEG-2处理中的一个关键元件是MPEG-2解码器，它将被压缩MPEG-2数据的比特流转化为像素图像。普通MPEG-2解码器11的主要部件如图1中所示。有四个功能块：可变长度解码器(VLD)13、反量化(IQ)15、反向离散余弦变换(IDCT)17和运动补偿(MC)19。存储器21用于存储参照帧。加法器将从IDCT17输出的残留误差(通路1)与运动补偿结果(通路2)结合以形成最终视频输出。不幸的是，这些功能部件每个都耗费极大量的计算能力，使得成本增加并局限了使用MPEG-2技术的数字视频系统的灵活性。相应地，制作高效、有成本效益的解码器仍是所有电子制造商的主要目标之一。

一个用于针对MPEG-2解码器的处理需要的解决方案是提供增加计算能力的专门硬件系统。例如，在此一并作为参考的于1999年5月11日发给Ozcelik等的US专利5,903,311对包括用于MPEG-2解码器的专门电路的芯片进行描述。不幸的是，当整个硬件成本继续减少时，设计和构建象这样的专门硬件的过程中所含的成本大大增加了解码器的费用。

因此优选的解决方案是在软件中实现尽可能多的功能性，这提供了硬件解决方案之上明显的成本和灵活性方面的优点。具体地，软件解决方案减少对贵硬件如协处理器的需要并将允许多路视频功能同时在DSPCPU核心上运行。然而，当需要在计算上加强的解码运算时，软件应用程序趋向于运行地过慢以至于不能处理偶然事件。相应地，存在对于增强系统的需要，该系统在将视频质量维持在可接受水平时可提供不贵的MPEG-2解码器解决方案。

本发明通过提供一可比例缩放解码器系统来克服上述及其它问题。在第一方面，本发明提供一种用于在视频解码器中对用于可比例缩放模块的阈值进行设定的方法，包括步骤：(1)使用初始阈值对第一画面组(GOP)进行解码；(2)基于第一GOP来确定被调节阈值；以及(3)使用该被调节阈值对第二GOP进行解码。

在第二方面，本发明提供一种可比例缩放视频解码器系统，包括：基于前一被解码画面组(GOP)来确定被调节阈值的计算系统；和使用该被调节阈值对当前GOP进行解码的可比例缩放模块。

在第三步，本发明提供一种在可记录媒体上存储的程序产品，当被执行时，该产品动态地选择用于可比例缩放视频解码器系统的阈值，并且包括一系统，通过迭代选择不同阈值直到用于前一GOP的解码器系统被比例缩放复杂度基本上符合用于当前GOP的视频解码器系统所需复杂度时，该系统基于前一被解码的GOP来确定用于当前画面组(GOP)的阈值。

因此，提供一种用来在视频解码系统中对用于可比例缩放模块的阈值进行动态设定的系统和方法是本发明的优点。

因此，提供一可比例缩放系统是进一步的优点，该系统不需要预设阈值并可基于由该系统确定的所需复杂度来对被比例缩放复杂度进行动态设定。

本发明的优选示例实施例将在下文中与附图一起描述，图中相同名称表示相同元件，并且：

图1描述普通解码器的方块图。

图2描述依照本发明优选实施例的资源分配系统的功能图。

图3描述依照本发明优选实施例的视频解码器的功能图。

参考图2，示出可比例缩放视频应用系统10。如相关专利申请“可比例缩放MPEG-2视频解码器”中所详述的，可比例缩放应用程序提供允许在计算上加强的视频系统更有效地进行运算且不明显牺牲输出质量的机构。例如，这样的系统可包括为节省计算能力而有选择的排除处理步骤的算法。

可比例缩放视频系统10包括资源管理器12，策略管理器14，本地资源控制器16、18、20，以及可比例缩放应用22、24、26(“应用程序”)。这些部件的关系参照图2如以下进行描述。资源管理器12监视整个系统的所有资源使用情况。在资源变化时，资源管理器向策略管理器传递控制命令，并在应用程序进行比例缩放时从策略管理器接收反馈。策略管理器14起类似于使节的作用而用于资源管理器12，并具有命令本地资源控制器16、18、20对其应用程序进行比例缩放以对改变资源水平进行适配。在优选实施例中，如图3中所述，可比例缩放应用程序将在MPEG-2的情况下进行描述。然而，应当理解，本发明的特征和优点可应用到其它可比例缩放应用程序22、24，包括但不局限于视频解码器。

尽管策略管理器14控制不同应用程序的所有比例缩放水平，但它不控制每个专门应用程序可比例缩放性的细节。例如，策略管理器14控制分配到MPEG-2解码器26的总复杂度水平，但它不控制应缩小哪个MPEG-2功能块并到什么水平。这是本地资源控制器18的功能。本地资源控制器确定如何精确地对MPEG-2解码器中的每个功能块进行比例缩放并到什么水平。最后，可比例缩放应用程序或算法是完成可比例缩放性工作的机构。

当策略管理器14通知本地资源控制器18需要改变MPEG-2解码器26的复杂度水平时，本地资源控制器18将在本地把资源分为MPEG-2解码器中的每个可比例缩放功能块。一种这样的用于在解码器中对资源进行比例缩放的方法在相关专利申请序列号为09/712,678的“可比例缩放MPEG-2视频解码器”(在下文为“示例比例缩放应用程序”)中进行描述。

在示例的比例缩放应用程序中，提出一种用于可比例缩放MPEG-2解码器的被比例缩放B帧处理方法。这种方法将MPEG-2序列的一个画面组(GOP)看作复杂度可比例缩放单元。在每个GOP中，依照资源可用性水平对B帧的计算进行比例缩放。与I和P帧相比，B帧没有预测偏移。因此，减少用于计算B帧的计算负荷将有益于其它应用程序，并不导致对预测偏移进行积累。具体地，应认识到在大多数情况下，当运动不是过快时，残留误差通常是小的并且完全消除它将不使图像质量严重降低。然而，当存在快运动并且预测误差大时，消除B帧的残留将明显使图像输出降级。

这样，提供比例缩放应用程序以有选择地仅对那些符合特定阈值的B块(即活动B块)进行解码，并放弃对不符合该阈值的那些B块(即非活动B块)进行的计算。相应地，当设定该阈值为低时，对较多的B块进行解码，较少的资源被节省，并且输出质量较好。作为选择，当设定该阈值为高时，对较少的B块进行解码，较多的资源被节省，并且输出较差。当示例的比例缩放应用程序提供B帧可比例缩放性的方法时，它不提供对改变资源水平和如图2中所示在系统中发生的使输入数据波动的情况进行动态适配的方案。本发明提供这样一种系统。应当了解，当本发明参照B帧比例缩放应用程序进行描述时，应理解本发明可应用于任何在其中系统资源分配波动的比例缩放应用程序。

将用于普通MPEG-2解码器的复杂度定义为一完整GOP的平均复杂度。GOP复杂度和B块数量之间的关系为 $C_s=1-\frac{N_B}{N_{I+P+B}}(1-\mathrm{\γ})(C_{\mathrm{IQ}+\mathrm{IDCT}}+C_{\mathrm{adder}}),$

其中N_B为一个GOP中的B块总数，N_i+P+B为一个GOP中的块数；C_IQ+IDCT+C_adder为一个GOP中IQ、IDCT和加法器功能的总复杂度；γ为被比例缩放B帧方案所保持B块的百分比。令 $C_0=\frac{N_B}{N_{I+P+B}}(C_{\mathrm{IQ}+\mathrm{IDCT}}+C_{\mathrm{adder}}).$ 则

C_s＝1-(1-γ)C₀。或

C_s＝(1-C₀)+γC₀。

显然γ的变化将改变解码器的总复杂度。由于γ通过所选择的阈值来描述，对于给定GOP，可容易地确定所选择阈值和结果复杂度之间的关系。这样，通过对将符合复杂度要求的适当阈值水平进行识别，可对解码器的复杂度进行比例缩放。

然而，为当前GOP对解码器的复杂度进行计算依赖于该当前GOP中包含的数据。对于受资源制约的系统来说，为当前GOP的解码运算进行这样的实时计算在计算上的强度是过大的，这样，对于寻求减少计算成本的系统来说，为基于当前GOP而进行的当前解码运算选择一被比例缩放复杂度水平是不实际的。为克服这个局限，本实施例对前一解码运算的复杂度水平进行检查以迭代到达用于当前解码运算的被适当比例缩放的复杂度水平。

如以上所述，典型的可比例缩放应用程序包括一些阈的水平或值，用来确定是否及何时应将该应用程序比例缩放回来。为了提供不同的资源水平，本实施例提供一可遵循不同复杂度水平要求的阈阵列或集合。该阈阵列表示为：

threshold_array＝[val_1，val_2，…val_p]，

其中p为一整数，而val_1，val_2，...val_p可例如基于试验结果来选择并可覆盖任何范围的必要阈值。在此实施例中，优选地以升序来设定阈值p的数。该阵列中较小的值对应较高的复杂度。

对于第一次解码运算，从阈阵列中选择初始阈。随即的解码运算将利用被调节阈值，该阈值以在此描述的方式从阈阵列中选择。通常，如果应用程序的所需复杂度低于用初始阈设定计算的被比例缩放复杂度，则通过选择阈阵列中的下一个值来将初始阈值调为较高。作为选择，如果所需复杂度计算得比被比例缩放复杂度高，则初始阈值被调为较低。而且为达到一可接受的比例缩放复杂度，在获得稳定值之前可能需要几次迭代。

可通过以下方式来计算复杂度和选择阈值。为了此实施例的目的，假定总共有K个GOP，且用被比例缩放B帧的方法从一个复杂度水平到另一个的用于解码器的过渡时间为α个GOP(α≤K)。亦假定阈8的初始值为

λ＝val_Ψ₀，

其中

val_1≤val_Ψ₀≤val_p

首先，解码器以用于第一GOP表示为GOP_Ψ_ξ-1的初始阈λ来运行，其中1≤ξ≤α。

然后输入第二GOP，即GOP_Ψ_ξ。在开始GOP_Ψ_ξ(例如在I帧)时，为前一GOP即GOP_Ψ_ξ-1计算γ_ξ-1，使用 ${\mathrm{\γ}}_{\mathrm{\ξ}-1}=\frac{{\mathrm{\ζ}}_{B\_\mathrm{active}\_(\mathrm{\ξ}-1)}}{{\mathrm{\ζ}}_{B\_\mathrm{total}\_(\mathrm{\ξ}-1)}}$

其中ζ_{B_active_(ξ-1)}代表前一GOP中的活性B块(例如，那些具有高于阈值的DC值的块)的总数，而ζ_{B_total_(ξ-1)}代表前一GOP中的B块总数。

通过以上给出的Cs和γ之间的关系，用γ_ξ-1的结果来计算被比例缩放复杂度C_{s_}Ψ_ξ-1。然后将被比例缩放复杂度C_{s_}Ψ_ξ-1与通过外部资源如本地资源控制器而设定的所需复杂度进行比较。考虑三种可能的结果：(1)如果C_{s_}Ψ_ξ-1等于或略小于所需复杂度，则保持阈值λ并对当前GOP_ψ_ξ进行解码。(2)如果C_{s_}Ψ_ξ-1高于所需复杂度，则选择阈阵列中的下一较高阈值。然后对被比例缩放复杂度C_{s_}Ψ_ξ-1进行再计算并再次与所需复杂度进行比较。(3)如果C_{s_}Ψ_ξ-1低于所需复杂度，则选择阈阵列中的下一较低阈值。然后对被比例缩放复杂度C_{s_}Ψ_ξ-1进行再计算并再次与所需复杂度进行比较。迭代结果(2)和(3)直到被比例缩放复杂度基本上符合所需复杂度(即，直到被比例缩放复杂度等于或略小于所需复杂度)。应当理解，被比例缩放复杂度何时“基本上符合于”所需复杂度的确定因子可依据具体实施而变化。例如95-100％所需复杂度的被比例缩放复杂度可设定为确定因子。

现在参考图3，对可比例缩放MPEG-2视频解码器30进行描述。解码器30包括可变长度解码器(VLD)块32、以及反量化(IQ)块34、反向离散余弦变换(IDCT)块36、加法器40和运动补偿(MC)块38。另外，解码器30包括本地资源控制器42(如以上所述)，该控制器依照分配到解码器30的资源的可用性从资源管理器/策略管理器中接受指令。本地资源控制器42负责将解码器30的复杂度放大或缩小到必要水平。因此，本地资源管理器对解码器的被用于上述阈确定方案的“所需复杂度”进行设定。

在图3描述的实施例中，解码器30以驻留在VLD32中的可比例缩放模块44来表示。可比例缩放模块44可包括上述B帧可比例缩放算法或任何其它类型的可比例缩放应用程序。亦应理解，可比例缩放模块44不必驻留在VLD32中，而可驻留在解码器30的其它部件中或另一可比例缩放系统中。

计算系统46亦在图3中表示。尽管计算系统46示出与解码器30中的其它部件分离而驻留，应理解它可并入本地资源控制器42、可比例缩放模块44或具体的被比例缩放部件(例如VLD)。计算系统46负责为欲处理的当前画面组计算用于可比例缩放模块44的正确阈值。在这里描述的优选实施例中，通过迭代选择新阈值直到用于前一被解码GOP的解码器系统可比例缩放复杂度基本上符合用于当前GOP的视频解码器系统所需复杂度，对阈值进行计算。如以上细节，该迭代过程包括：(1)确定用预定阈值来处理的视频解码器被比例缩放复杂度；(2)将被比例缩放复杂度与所需复杂度进行比较；以及(3)如果被比例缩放复杂度不是基本上符合所需复杂度，则用新阈值来替换预定阈值。相应地，基于前一被解码GOP的复杂度，计算系统46对用于当前GOP的阈值进行动态计算。通过提供这样的系统，即使所输入的数据和资源要求变化，解码器30的总复杂度仍尽可能地保持为健壮的。

应理解，在此描述的系统和模块，包括计算系统46，可在硬件、软件或硬件和软件的结合中实现。它们可通过任何形式的计算机系统来实现——或适用于实现在此描述的方法的其它设备。典型的硬件和软件的结合可以是有计算机程序的通用计算机系统，当被加载并执行时，该计算机程序对该计算机系统进行控制以使其实现在此描述的方法。作为选择，可利用一专用计算机，该计算机包含用于完成本发明的一个或多个功能任务的专门硬件。本发明亦可嵌入一计算机程序产品，该产品包括所有能实现在此描述的方法和功能的特征，并当在计算机系统中被加载时能实现这些方法和功能。在本上下文中，计算机程序、软件程序、程序、程序产品或软件指以任何语言、代码或概念进行表达的一套指令，该指令欲导致具有信息处理能力的系统直接执行具体功能，或在以下任一或两者之后执行：(a)转换为另一语言、代码或概念；和/或(b)以一不同的材料形式进行再现。

以上本发明优选实施例的描述是为了示例和描述的目的而提供的。它们并不是欲为周密的或将本发明局限于所公开的精确形式，而根据以上所教的进行许多改进和变化显然是可能的。这样的改进和变化欲包括在如所附权利要求限定的本发明的范围中，这些改进和变化对于本领域的技术人员来说是明显的。例如，尽管在此提供的描述通常涉及MPEG-2解码器，应理解本发明可应用于任何包括编码器的可比例缩放系统。

Claims (16)

1.一种用来对用于视频解码器[30]中的可比例缩放模块进行动态设定的方法，包括步骤：

使用初始阈值对第一画面组(GOP)进行解码；

基于第一GOP来确定一被调节的阈值；以及

使用该被调节阈值对第二GOP进行解码。

2.权利要求1的方法，其中计算步骤包括步骤：

确定用初始阈值进行处理的视频解码器的被比例缩放复杂度；

将该被比例缩放复杂度与所需复杂度进行比较；以及

如果该被比例缩放复杂度不是基本上符合所需复杂度，则用被调节阈值来替换初始阈值。

3.权利要求2的方法，其中所述确定、比较和替换步骤反复迭代直到被比例缩放复杂度符合所需复杂度。

4.权利要求3的方法，其中每个阈值都是从一组预定阈值中选择的。

5.权利要求2的方法，其中视频解码器[30]的被比例缩放复杂度(Cs)通过： $C_s=1-\frac{N_B}{N_{I+P+B}}(1-\mathrm{\γ})(C_{\mathrm{IQ}+\mathrm{IDCT}}+C_{\mathrm{adder}})$ 来计算，其中N_B为GOP中B块的数量，N_I+P+B为GOP中帧的总数，γ为解码过程中所保持的B块相对于GOP中总B块的比，而C_IQ+IDCT+C_addor为解码器[30]中IQ[34]、IDCT[36]和加法器[40]功能的总组合复杂度。

6.权利要求5的方法，其中编码过程中所保持的B块的比(γ)为所选阈值的函数。

7.权利要求6的方法，其中所选阈值与被比例缩放复杂度成反比。

8.权利要求5的方法，其中所需复杂度由资源管理器来确定。

9.一种可比例缩放视频解码器系统[30]，包括：

计算系统[46]，基于前一被解码画面组(GOP)来确定一被调节阈值；和

可比例缩放模块[44]，基于被调节阈值对当前GOP进行解码。

10.权利要求9的视频解码器系统[30]，其中计算系统[46]迭代选择新的被调节阈值，直到用于前一被编码GOP的解码器系统被比例缩放复杂度基本上符合用于当前GOP的视频解码器所需复杂度。

11.权利要求9的视频解码器系统[30]，其中所计算的被调节阈值是从一组预定阈值中选择的。

12.权利要求9的视频解码器系统[30]，其中可比例缩放模块[44]包括一系统，用于在所确定被调节阈值的基础上跳过某些B块的处理。

13.权利要求12的视频解码器系统[30]，其中解码器系统[30]的被比例缩放复杂度(Cs)通过： $C_s=1-\frac{N_B}{N_{I+P+B}}(1-\mathrm{\γ})(C_{\mathrm{IQ}+\mathrm{IDCT}}+C_{\mathrm{adder}})$

来计算，其中N_B为前一GOP中B帧的数量，N_I+P+B为前一GOP中块的总数，γ为基于被调节阈值在解码过程中保持的B块的比，而C_IQ+IDCT+C_adder为解码器中IQ[34]、IDCT[36]和加法器[40]功能的总组合复杂度。

14.权利要求10的视频解码器，进一步包括对用于当前G0P的所需复杂度进行设定的本地资源控制器[42]。

15.一种存储于可记录媒体上的程序产品，当被执行时，对用于可比例缩放视频解码系统[30]的阈值进行动态选择，并且包括：

一系统，通过迭代选择不同阈值直到用于前一GOP的解码器系统[30]被比例缩放复杂度基本上符合用于当前GOP的视频解码器系统[30]所需复杂度，该系统基于前一被解码GOP来确定用于当前画面组(GOP)的阈值。

16.权利要求15的程序产品，其中每个阈值是都从一组预定阈值中选择的。

Images