CN101729895B

CN101729895B - 解码流水线中的第二去块器

Info

Publication number: CN101729895B
Application number: CN2009101804288A
Authority: CN
Inventors: 贾玮
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2008-10-14
Filing date: 2009-10-14
Publication date: 2013-01-09
Anticipated expiration: 2029-10-14
Also published as: JP4987049B2; KR20100041681A; KR101082184B1; US8867605B2; JP2010098725A; TW201019271A; US20100091878A1; CN101729895A; TWI473040B

Abstract

本发明公开了解码流水线中的第二去块器。解码器可以包括能用于解码(先于去块)编码的数据帧的第一级。该解码器也可以包括在该第一级下游的第二级。该第二级包括第一去块器和能用于并行地去块已解码的帧的第二去块器。

Description

解码流水线中的第二去块器

相关的美国申请

本申请和同在申请中的美国专利申请有关，该美国专利申请的代理人卷号为NVID-P-SC-08-0333-US2，序列号为____，于____提交，名称为“On-the-Spot Deblocking in a Decoding Pipeline”，转让给了本发明的受让人，并在此通过援引的方式并入本申请。本申请也和同在申请中的美国专利申请有关，该美国专利申请的代理人卷号为NVID-P-SC-08-0333-US 3，序列号为____，在____提出，名称为“AdaptiveDeblocking in a Decoding Pipeline”，转让给了本发明的受让人，并在此引入作为参考。

技术领域

根据本发明的实施例总体涉及视频解码(视频解压缩)。

背景技术

H.264，也即已知的活动图像专家组4(MPEG-4)的第10部分或MPEG-4高级视频编码(AVC)，是一种视频压缩的标准。视频包括一系列图片(或帧)，每个帧包括二维阵列的像素。像素被划分为宏块(16x16的像素阵列)。每个宏块具有宏块编号；通常，宏块从帧的左上开始连续编号，并从左至右和从上至下单调递增。宏块可以分组为片(slice)，片可以分组为片组。片内的宏块以宏块编号递增的次序排列。片可以包括任意数量的宏块，这些宏块可以连续或可以不连续；即，一个片中的宏块可以散布于其他片组中的一个或多个其他片中的宏块之间，但是相同片组中的片中的宏块彼此不互相散布。

刚刚描述的H.264的允许将宏块分组成片的特点通常被称为灵活宏块排序(FMO)。FMO是一种误码弹性工具，其可以由解码器使用以在传输期间当片丢失或毁坏时隐藏错误。丢失或毁坏的片中的宏块可以通过对来自另一片的宏模块信息进行内插或外推运算来重建。

H.264的另一个特点通常被称为任意片排序(ASO)。使用ASO，片可以以任意次序传送。例如，片可以在一准备好时就传送，即当组成该片的所有宏块都已编码时，该片就可以以数据流的方式传送到解码器。结果，可以发送来自一个片组的片，跟着发送来自另一片组中的片，再跟着发送来自第一片组的另一片，以此类推。

这样，总的来说，H.264允许编码的宏块“无序地”发送。即，宏块可以以特定次序编码(例如，从上至下和从左至右地根据宏块编号以升序)，但是宏块发送给解码设备的次序和相应地由解码设备接收的次序可以与编码次序不同。

除了基本解码操作之外，解码设备还执行去块(deblocking)操作。在去块中，去块过滤器应用于已解码的宏块以使相邻宏块之间的边界平滑。

参考图1，为了对宏块M1进行去块操作，需要宏块M2(宏块M1左边最近的邻居)的信息，还可能需要宏块M3(宏块M1上面最近的邻居)的信息。但是，宏块M1可能在一个片(例如片S2)中，邻近的宏块M2和M3可能在不同的片(例如片S1)或多个片中。当ASO启用时，片S2可以在片S1之前被发送给解码器。这样，宏块M1可能已准备好进行去块操作，但如果片S1还没有到达解码器，则去块操作也不得不延迟。

结果，H.264解码典型地使用双通道方法来实现。在第一通道中执行基本解码(去块之前的解码)，且解码后的数据被保存为已解码的形式。在第二通道中，解码后的数据被重新载入并执行去块操作。不幸的是，这种类型的实现方式会给解码装置带来额外的负担。更具体地，解码设备可能需要更高的数据总线带宽以适应将数据传输到存储器中以及从存储器中传输数据，需要额外的存储器以在去块操作之前存储解码后的数据，以及由于第一和第二通道顺序执行而需要更长的计算时间。

发明内容

根据本发明的实施例，一种解码器包括能被用于对已编码数据帧进行解码的第一(去块之前进行解码)级。该解码器还包括第一级下游的第二(去块)级。该第二级包括能用于并行地对已解码的帧进行去块操作的第一去块器和第二去块器。

该第一和第二去块器可以彼此并行地运行，并相对该解码级并行地运行。例如，该第一去块器可以去块一个帧，同时该第二去块器去块另一帧，同时解码级对又一帧进行操作。进一步地，在一些例子中，去块器可以对帧的一部分机械操作，同时解码级对同一帧的后续部分进行操作。

通常，已编码的帧被接收作为解码器的第一级(基本解码级)的输入并进行解码。已解码的帧被转发给第一去块器或者第二去块器以便对其进行去块。在一个实施例中，基于该已解码的帧如何分类而将该已解码的帧转发给第一去块器或者第二去块器。如果已解码的帧被分类为第一类型帧，那么它被发送给第一去块器；否则，已解码的帧被分类为第二类型帧并被发送给第二去块器。

第二去块器的引入意味着对一些帧的去块操作可以从主要路径中卸下给并行的次要路径。降低了处理时间，改善了总体性能。

本领域中的普通技术人员在阅读通过各种附图示出的详细说明的实施例后，将理解本发明的各种实施例的这些和其他的目的和优点。

附图说明

本发明通过附图中的例子以示意性的方式而非限制性的方式示出，在附图中相同附图标记表示相似元素。

图1示出了宏块阵列；

图2是可以实现根据本发明实施例的解码器的系统示例的框图；

图3是示出根据本发明一个实施例的解码流水线的元件的框图；

图4是示出根据本发明实施例的解码器的元件的框图；

图5是使用根据本发明实施例的第二去块器处理数据的计算机实现方法例子的流程图；

图6是以适应性方式使用根据本发明实施例的第二去块器以处理数据的计算机实现方法例子的流程图；

图7A，7B，7C和7D示出了根据本发明实施例的能用于追踪宏块状态的阵列的例子；

图8是根据本发明实施例的用于对宏块进行去块操作的计算机实现方法的例子的流程图；

图9是根据本发明实施例的用于识别适合进行去块操作的宏块的计算机实现方法例子的流程图；

图10是根据本发明实施例的可以被去块的无序帧的例子。

具体实施方式

现在将详细参考根据本发明的实施例，其例子示出在附图中。虽然本发明将结合这些实施例描述，但可以理解的是它们并不是为了将本发明限定于这些实施例。相反，本发明意味着覆盖为所附权利要求限定的本发明的精神和范围所包括的替换、修改和等同物。另外，下面对于本发明的实施例的详细描述中，数个特定的详细描述的阐明是为了提供对本发明的彻底的理解。但是，本领域的普通技术人员可以认识到，本发明可以省去这些详细描述而实施。在其他例子中，为了避免不必要地模糊本发明的实施例的各个方面，公知的方法、程序、组件和电路没有详细描述。

接着详细描述的一些部分用程序、步骤、逻辑框图、流程和其他计算机存储器中对数据位的操作其他符号表示法来表示。这些描述和表示法是数据处理领域的普通技术人员最有效地向本领域的其他普通技术人员传达他们工作的实质所使用的手段。这里的程序、计算机可执行步骤、逻辑框图、流程等通常被认为是通往所需结果的自相容的步骤或指令序列。这些步骤是需要物理量的物理操作。通常，尽管不是必须的，但这些量仍以能在计算机系统中存储、转移、结合、比较或其他操作的电或磁信号的形式出现。主要为了通用的原因，用位、值、元件、标识、字符、术语、数字等来表明这些信号被多次证明是方便的。

但是应当记住的是，所有这些和相似的术语是和合适的物理量联系的，并仅仅是适用于这些量的方便的标记。除非下面的讨论中明显特别地做其他说明，可以理解的是贯穿本发明中，利用术语例如“编码”、“解码”、“去块”、“接收”、“发送”、“转送”、“识别”、“确定”、“分类”、“比较”、“选择”、“存储”、“处理”、“使用”、“初始化”、“设置”、“标识”、“访问”、“联合”等的讨论，指的是计算机系统或类似电子计算设备的动作和处理，其将以物理(电子)量代表的在计算机系统的寄存器和存储器中的数据操作和转换为在计算机系统的存储器和寄存器或其他这类信息存储、传送或显示设备中的以物理量相似地代表的其他数据。

图5、6、8和9是根据本发明实施例的用于处理数据的计算机实现方法的例子的流程图。虽然在流程图中公开了特定的步骤，但这些步骤只是示例性的。即，本发明的实施例非常适合于执行各种其他步骤或流程图中列举的步骤的变型。

图5、6、8和9的流程图可以实现为驻留在一些计算机可使用介质形式上的由一个或多个计算机或其他设备执行的计算机可执行的指令，例如程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、目标、组件、数据结构等。在各种实施例中程序模块的功能可以根据需要结合或者分配。

通过示例的方式而非限制性的方式，计算机可使用介质可以包括计算机存储介质和通讯介质。计算机存储介质包括以诸如计算机可读指令、数据结构、程序模块或其他数据等的任何信息存储的方法或技术实现的易失和非易失、可移除和非可移除介质。计算机存储介质包括但不限于随机访问存储器(RAM)、只读存储器(ROM)、电擦除可编程ROM(EEPROM)、闪存或其他存储器技术、压缩盘ROM(CD-ROM)、数字通用盘(DVD)或其他光存储器、磁录音带、磁带、磁盘存储器或其他磁存储设备或任何其他可用于存储所需信息的介质。

通讯介质可具体化为计算机可读指令、数据结构、程序模块或在调制数据信号中的其他数据，例如载波或其他运输机制，并包括任何信息传输介质。术语“调制数据信号”意思是具有一个或多个自身特征集合的信号或者以在该信号中编码信息形式改变的信号。通过示例的方式而非限制性的方式，通讯介质包括有线介质，例如有线网络或直接有线连接，和无线介质，例如声的、射频(RF)、红外和其他无线介质。任何上述的组合也应当包括在计算机可读介质范围内。

图2是可以实现根据本发明的解码器的系统20的例子的框图。在图2的例子中，该系统包括通过总线25与图形处理单元(GPU)22耦合的主机中央处理单元(CPU)21。GPU也可以被称为媒体处理单元(MPU)。CPU和GPU都与存储器24耦合。在图2的例子中，存储器是共享存储器，凭借该存储器为CPU和GPU存储指令和数据。作为替换，CPU和GPU可以分别有专有的单独的存储器。存储器也可以包括视频帧缓冲器以存储驱动耦合的显示器23的像素数据。

一般来说，系统20包括实现根据本发明实施例的功能的计算机系统平台的基本组件。系统20可以实现为例如任意多个不同类型的计算机系统(例如膝上电脑，桌上电脑和笔记本电脑)，以及家庭娱乐系统(例如DVD播放器)，诸如机顶盒或数字电视、便携式或手持电子设备(例如便携电话、个人数字助理或手持游戏设备)或实际上任何其他具有显示能力的设备类型。

图3是显示根据本发明一个实施例的解码器30的元件的框图。通常，解码器接收编码的位流31，对位流中的数据进行解码，并产生可显示的图像数据34。

在一个实施例中，使用一些类型的压缩方案来压缩原始图像数据(例如视频数据)以产生一组编码参数，例如但并不限于帧类型(例如，帧内编码的I帧，预测的P帧或者双向预测的B帧)、宏块预测模式(例如块间对块内)、变换(例如离散余弦变换)系数、纹理系数和运动矢量信息。然后使用例如Huffman编码将编码参数翻译为可变长度代码(VLC)。编码位流是包含VLC的序列化的位流。

解码器本质上是将编码过程逆转以重建图像数据。在图3的例子中，解码器包括解码流水线36，解码流水线36包括解码级32和去块级33。

解码级执行基本解码操作，例如可变长度解码、逆量化、逆变换和运动补偿。通常，解码级解析已编码的位流以提取VLC，再将VLC翻译以再现上面指出的编码参数。编码参数接着用于重建原始视频数据(更具体地，构建原始视频数据的版本形式)。

去块级应用去块过滤器来对宏块进行解码，以当呈现(显示)重建的图像时使相邻宏块之间的边界平滑。例如，去块过滤器可以利用相邻宏块边界处或附近的加权平均像素值来沿着边界混合宏块，因此去除了在压缩(编码)过程中可能引入的伪像，该伪像如果没有去除，可能会造成重建的图像显示为块状。在一个实施例中，去块级包括两个去块器，这将在下面结合图4做进一步描述。

在下面的讨论中，除非另外注明，“解码器”指的是执行解码和去块操作的元件(例如，独立的或外围的设备或集成系统)。除非另外注明，“解码”指的是上面指出的基本解码操作(例如，可变长度解码、逆量化、逆变换和运动补偿)。除非另外注明，术语“全部解码的数据”和“完全解码的数据”指的是既进行了解码和也进行了去块操作的数据。

解码流水线中的第二去块器

图4是显示根据本发明一个实施例的与帧缓冲器45和显示器46耦合的解码器的元件的框图。在图4的例子中，解码器包括解码级32和去块级33。去块级包括第一去块器41和第二去块器42。从解码级经过第一去块器的路径可以在本文中被称为经过去块流水线的主要路径，而从解码级经过第二去块器的路径可以在本文被称为经过去块流水线的次要路径。在一个实施例中，存储元件43耦合在解码级的输出和第二去块器的输入之间，并与第一去块器的输入耦合。

第一和第二去块器的输出存储在帧缓冲器中。帧缓冲器的内容可以随后呈现在显示器上和/或用于解码另一帧。在后者的情况下，一旦帧(例如，诸如I帧或P帧或可能是B帧的参考帧，根据H.264，B帧可以用做参考帧)被解码，则可以依靠它对一个或多个随后的帧(例如另外的P帧或B帧)解码。每个由其他帧依赖用以解码的帧可以保持在帧缓冲器中，这样当其他那些帧解码时，该帧是可用的。在一些实施中，可以使用帧缓冲器以外的存储器来存储被依赖用于解码其他帧的帧。

第一和第二去块器可以彼此并行地运行，并且和解码级并行地运行。例如，第一去块器可以去块一个帧，而第二去块器去块另一帧，同时解码级对另外的帧进行操作。进一步地，在一些例子中，去块器可以对帧的一部分操作，同时解码级对同一帧的后续部分操作。换句话说，在一些情况下，帧中的宏块可以被解码，被直接输入到第一去块器并立即去块，这些操作与该帧中的其他宏块的解码并行进行。结合图6，8和9来提供与立即去块相关的附加信息。

在下面详细说明的情况下，第二独立的去块器的引入意味着一些帧的去块可以从主要路径中卸下给并行的次要路径。这降低了处理时间，改善了总体性能。

通常，图4的解码器以图5描述的流程图工作，图5示出了使用根据本发明实施例的第二去块器处理数据的计算机实现的方法。在图5的块51，已编码的帧被接收作为解码器的第一级(基本解码级)的输入。在块52，已编码的帧被解码以产生解码的帧(去块之前的解码)。

在块53中，已解码的帧被转发给第一去块器或者第二去块器以对其去块。在一个实施例中，基于已解码的帧怎样被分类而将已解码的帧转发给第一去块器或者第二去块器。如果已解码的帧被分类为第一类型的帧，那么它被发送给第一去块器；否则，已解码的帧被分类为第二类型的帧并被发送给第二去块器。结合图6提供与帧分类有关的附件信息。

在图5的块54中，完全解码(既解码又去块的)的帧被转发给帧缓冲器，这样它可以用于重建随后的帧和/或呈现以观看。

解码流水线中的适应性去块

在一个实施例中，图4的解码器按如图6的流程图描述的适应性方式运行，图6示出了使用根据本发明实施例的第二去块器处理数据的计算机实现的方法。在块61，解码器访问已编码的帧。

在块62中，确定该帧是“有序帧”还是“无序帧”。如本文使用的，有序帧是包含按规定次序排列的宏块的帧，如果帧中的宏块排列满足特定预定的次序，那么帧被分类为有序帧；否则，帧被分类为无序帧。使用本文前述的灵活宏块排序(FMO)和/或任意片排序(ASO)进行编码的帧是无序帧的例子。

帧头中可以不包括用于识别帧是FMO/ASO帧或是相对于无序帧的有序帧的信息。但是，在一个实施例中，与帧中每个宏块相关的宏块编号可以以将要描述的方式用于推导帧是有序帧还是无序帧。

一般来说，宏块编号与宏块编码的次序一致。例如，宏块可以从帧中最左上的宏块开始，从左至右和从上至下单调递增地连续编号。宏块也通常从帧中最左上的宏块开始，从左至右和从上至下(有时称为“光栅扫描次序”)进行编码。因此，如果已编码帧中的宏块由解码器按它们编码的次序接收，那么帧中的宏块编号将是有序的。

因此，在一个实施例中，如果帧的编码版本形式(相应地帧的解码版本形式)中的宏块编号是按数字次序的，那么帧是有序帧；否则，帧是无序帧。在一个实施例中，当解码器接收帧中的宏块(“目标宏块”，也在本文中称为“当前宏块”)时，解码器将目标宏块的宏块编号与在目标宏块之前刚刚接收的宏块的宏块编号比较。换句话说，解码器可以以解码器接收宏块的次序来比较宏块的宏块编号，如下：

如果对于所有i＝0，1，......，N-1，MB_ID_i+1＝MB_ID_i+1，那么帧是有序的；

否则，帧是无序的；

其中“MB_ID”是宏块编号，“i”对应宏块接收的次序，“N”是该帧中的宏块编号。

继续参考图6，如果帧被分类为无序帧，那么流程图进行到块63；否则，流程图前进到块64。

在块63中，确定无序帧是“参考帧”或“非参考帧”。如本文使用的，参考帧是由另外帧依赖得以解码的帧。I帧和P帧(有时称为I图片和P图片)是参考帧的例子。根据H.264，B帧可以用作参考帧。如本文使用的，非参考帧是不作为参考帧的帧。B帧(或B图片)是非参考帧的一个例子。与每个帧相关的帧头通常包括识别一个帧是I帧，P帧还是B帧的信息。

如果帧被分类为参考帧，那么流程图进行到块64；否则，流程图进行到块65。

在块64中，使用图4的第一去块器对有序的参考帧或有序的非参考帧完全解码(基本解码外加去块操作)。即，该帧被“立刻”去块，相比无序的非参考帧的处理方式(参看图6的块65，66和67)，该帧不需要在去块前存储在存储器中。

如果该帧是有序的参考帧或有序的非参考帧，那么随着帧被解码，去块操作也发生。一般来说，为了被分类为有序帧，帧中的所有宏块都是如上所述的有序的。返回来参考图1，为了对宏块M1进行去块操作，来自宏块M2和M3(例如，该宏块左边最近的邻居和/或该宏块上面最近的邻居)的信息被利用。作为普遍规则，在有序帧中，在宏块M1准备好进行去块操作前，宏块M2和宏块M3将被解码和去块，而不管帧中宏块M1的位置如何。

一般来说，在有序帧中，对特定宏块进行去块操作所依赖的该宏块将被及时解码和去块，以对该特定宏块进行去块操作。因此，有序帧可以立即去块——这是由于该帧中的每个宏块被解码，已解码的宏块可以直接转发给第一去块器并在基本解码后立即去块。

当处理有序帧时，可以对一个宏块进行去块操作同时对下一宏块进行解码。相似地，一旦一个帧中所有的宏块已被解码，即使当前一帧的宏块正在进行去块操作，流水线的解码级也可以开始对下个帧中的宏块进行解码。即，去块级可以处理一个帧中后面的宏块，同时解码级正在处理下一帧的第一个宏块。

在图6的块65中，无序的非参考帧被解码(仅进行基本解码)。在这一点上，图4中的解码级变为可以用于开始解码下一帧。

在图6的块66中，已解码的无序的非参考帧可选择地存储在图4的存储元件43中。当该帧是无序的非参考帧时，需要将该帧中的一些或所有已解码的宏块进行存储，直到对这些宏块进行去块操作所需的其他宏块也被解码。另外，不用依赖非参考帧来解码另一帧，因此如果基于一些原因是有利的话，也可以推迟去块操作。在块67中，使用图4的第二去块器对无序的非参考帧进行去块操作。

这样，在对无序的非参考帧的基本解码完成后，将已解码的数据传送给第二去块器以进行去块操作。同时，主要解码路径可用于解码下一帧。即，当无序的非参考帧进行去块操作时，下一帧可以与该去块操作并行地(时间上重叠)被解码。通过这种方式，非参考帧的解码，甚至是启用了FMO/ASO，也可以和有序帧解码一样快地执行。通常，视频序列中的大部分帧是非参考帧。因此，通过以可与有序解码相比的速率来处理非参考帧，可以显著提高解码流水线的总体性能。

总结图6的实施例，如果已解码的帧被分类为参考帧(不管该帧中的宏块是有序的还是无序的)，那么已解码的帧被直接发送给第一去块器以立刻进行去块操作。如果已解码的帧被分类为有序的非参考帧，那么已解码的帧也被直接发送给第一去块器以立刻进行去块操作。此外，如果已解码的帧被分类为无序的非参考帧，那么它将被发送给第二去块器。换句话说，根据刚刚描述的实施例，第一去块器对参考帧(有序或无序)和有序的非参考帧进行去块操作，第二去块器对无序的非参考帧进行去块操作。

这样，根据本发明的实施例，除了区分参考和非参考帧外，还可能区分有序和无序帧。换句话说，基于实时输入数据，检测(更具体地，推导)运行中的ASO/FMO编码并适用相应的解码方法(具体地，去块方法)是可能的。在帧中的片的到达次序不能保证的通讯应用中，ASO/FMO的实时检测对于在通讯应用中获得低延迟处理是尤其重要的。本文描述的实施例可以当不使用ASO/FMO时执行有序解码，并在使用ASO/FMO时降低处理延迟，而无需提前知道是否使用ASO/FMO。

根据本发明的实施例，在解码流水线中引入了第二去块器，因此对一些类型的帧，去块任务可以从主要解码路径(包括第一去块器的路径)中卸下给并行的次要路径(包括第二去块器的路径)。结果，第一去块器被有效地预留以对更重要的帧(例如参考帧)进行去块操作。结果，对更重要帧进行的去块操作可以更快地执行。另外，第一去块器也有效地被预留以对可以立即去块的帧(例如有序帧)进行去块操作。由于立即去块是随着宏块被解码而完成的，因此使用第一去块器来立即去块不会给解码流水线带来任何延迟。

通过利用两个去块器来处理不同类型的帧，由于解码和去块可以使用对每个特定帧类型来说最快的流水线路径来完成，因此帧解码和去块操作可以总体上更快地完成。另外，对参考帧和有序帧使用立即去块操作，由于不需要像常规双通道实现方式那样来存储和取出数据，因此降低了数据总线的通讯量并降低了存储数据的量。一般来说，第二去块器的使用改善了总体解码器性能。

第二去块器并非必须使用专用处理器或其他专用硬件资源来实现。第二去块器可以使用例如空闲的GPU或CPU来实现。换句话说，如果不是在大多数场合下而仅仅是在某些场合下，第二去块器可以不作用于关键时间帧，因此当现存的硬件资源可用时，它的功能可以使用这些资源来提供。

帧中宏块的立即去块操作

在上面图6的讨论中，参考帧和有序的非参考帧可以立即(紧接在解码之后)进行去块操作，但是无序的非参考帧在随后的时间被解码、存储并去块。但是，在被分类为无序帧的帧中，可以有有序的宏块序列。在一些情况下，无序帧中的有序宏块序列可以立即进行去块操作。

具体地，当帧中的特定宏块之前的所有宏块已经被解码和去块(完全解码)时，该帧中的该特定宏块可以被去块。另一方面，如果特定宏块之前的宏块不是所有都被完全解码，那么该特定宏块被存储并随后重载，以便当之前所有的宏块已完全解码时对该特定宏块以相似于上述的帧水平的方式进行去块操作。在宏块被去块后，它能接着用于对跟随的已经解码但没有去块的宏块进行去块操作，该跟随的宏块接着用于对另外的跟随的已经解码但没有去块的宏块进行去块操作，以此类推，直到所有适合去块的宏块被去块为止。

图7A是能用于追踪帧中宏块的去块状态的阵列70的例子。该阵列包括该帧中每个宏块的位值。位值设置为识别哪些宏块已经解码但没有去块。如果宏块的该位没有被设置，那么该宏块要么还没有被解码，要么还没有被解码和去块。换句话说，将该位设置为识别作为进行去块操作的候选者的宏块。

在图7A的例子中，该阵列包括4x3的位值阵列。图7A只表示了视频数据帧的一部分；通常，帧包括多于12个宏块。首先，将所有位值设置为相同的二进位值(例如零)。在帧已完全解码后，将该阵列重新初始化。

图7B是在稍后当宏块M0，M1，M2和M3已经解码和去块后该阵列的例子。在图7B的例子中，宏块M0，M1，M2和M3在相同的片(片S1)中，并由解码器以它们被编码的次序(例如，以下列次序：M0，M1，M2，M3)接收。由于宏块M0不依赖当前帧的另一宏块进行去块操作，因此它可以被解码并立即去块。使用图4的第一去块器沿着通过解码流水线的主要路径来执行立即去块操作。

因为在当前帧中宏块M1只依赖宏块M0以进行去块操作，因此宏块M1可以被解码并使用第一去块器立即去块。一般来说，对宏块M1进行去块操作所需的所有宏块已被解码和去块。换句话说，在编码次序中所有先于宏块M1的宏块已被接收和去块。相同的概括也适用于宏块M2和M3，因此这些宏块也被解码并使用第一去块器立即去块。在图中，星号用于表示宏块M0，M1，M2和M3已经被解码和去块。在实际应用中，无需做这样的区分。

跟随片S1，包括宏块M6和M7的片S2在解码器处被接收。即，宏块没有按次序接收。由于在编码次序中并不是所有先于宏块M6和M7的宏块(例如宏块M4和M5)都已被接收和去块，因此宏块M6和M7可以被解码但不能去块。相应地，对应于宏块M6和M7的位值在阵列中被设置(例如设置为值1)，如图7C所示。此外，已解码的宏块M6和M7存储在存储器(例如图4的存储元件43)中。

跟随片S2，包括宏块M8和M9的片S3在解码器处被接收。由于并不是所有先于宏块M8和M9的宏块都已被接收和去块(在这点上，宏块M4和M5还没有被去块)，因此宏块M8和M9可以被解码但不能去块。相应地，对应于宏块M8和M9的位值在阵列中被设置(例如设置为值1)，如图7D所示。

跟随片S3，包括宏块M4和M5的片S4在解码器处被接收。由于在编码次序中所有先于宏块M4的宏块(即宏块M0，M1，M2和M3)已被解码和去块，因此宏块M4可以被解码并由第一去块器立即去块。在宏块M4被去块后，宏块M5可以被解码并由第一去块器立即去块。

另外，一旦宏块M5被去块，所有先于宏块M6的宏块现在都已被去块，因此宏块M6可以从存储器中取出并被去块。在这种情况下，宏块M6使用图4的第一去块器沿着通过解码流水线的主要路径进行去块操作。一旦宏块M6被去块，宏块M7可以从存储器中取出并使用第二去块器去块，以此类推直到宏块M9。在这个例子中，由于宏块M10和M11本身还没有被接收和解码，因此尽管所有在先宏块斗已经被解码和去块，宏块M10和M11此时也还没有被去块。一旦接收到宏块M10和M11，它们可以被解码并使用图4中的第一去块器立即去块。

根据刚刚讨论的实施例，宏块可以具有以下三种状态中的一种：没有被解码(不完全的基本解码)；已解码但没有去块；以及已解码和去块。但是，由于使用阵列来识别作为去块操作候选的宏块(已经解码但没有去块的那些宏块)，因此只需要具有两个状态的一个二进制位来指示每个宏块的状态。为了识别要进行去块操作的宏块，没有必要在已经解码和去块的宏块中区分没有解码的宏块。

图8是根据本发明实施例的对宏块进行立即去块操作的计算机实现的方法的流程图。在块81中，变量“Last_Db_MB”(最后去块的宏块)被初始化为值-1(负1)。图7A的阵列也如本文前述被初始化。

在块82中，取得当前宏块M的宏块编号(“MB_ID”)。在块83中，将MB_ID的值与Last_Db_MB的值加1(Last_Db_MB+1)相比较。实际上，块83用于确定该宏块是有序接收还是无序接收，如果是有序，则确定之前紧邻的宏块M-1是否完全解码(解码并去块)。如果MB_ID的值和Last_Db_MB+1的值相等，那么当前宏块M是跟随被去块了的最后宏块Last_Db_MB的下个宏块，即当前宏块M的宏块编号和最后去块的宏块Last_Db_MB的宏块编号是连续编号，流程图进行到块87。否则，宏块是无序接收或者当前宏块M不是跟随最后去块的宏块Last_Db_MB的下个宏块，即当前宏块M与最后去块的宏块Last_Db_MB隔开一个或多个没有被去块的宏块，流程图进行到块84。

在块84中，当前宏块M被解码(但没有被去块)，解码数据被保存(例如在图4的存储元件43中)。在块85中，当前宏块M被标记为正在被解码但没有去块。在一个实施例中，如上面结合图7A-7D描述的，对应于当前宏块M的位值在阵列中被设置。

在图8的块86中，如果当前宏块M不是该帧中的最后宏块，那么流程图返回到块82(除非有某种错误，在这点上，图8的流程图将始终返回到块82)。

在块87中，当前宏块M被解码并使用图4的第一去块器立即去块。如上面讨论的，如果在编码次序中该宏块先前的所有宏块已被去块，则该宏块可以被去块。如果当前宏块M之前紧邻的宏块M-1已经被去块(如流程图的块83所确定的)，那么当前宏块M可以被去块。换句话说，为了去块，宏块M-1将要满足所有在先的宏块都已经去块的条件；由于当前宏块M紧跟随宏块M-1，因此它也将满足该条件。

在图8的块88中，其他符合条件的宏块从存储器中取出并使用图4的第二去块器去块。即，如果宏块M+1先前已经被解码和存储，则在编码次序中紧跟随当前宏块M的宏块M+1也可以被去块。一旦宏块M+1被去块，在编码次序中紧跟随宏块M+1的宏块M+2如果先前已经被解码和存储，则宏块M+2可以被去块，以此类推。在一个实施例中，每个适合去块的宏块在阵列中被标识，如图7A-7D的阵列。结合图9在下面提供另外的信息。

在图8的块89中，如果当前宏块M(现在等同于最后已去块的宏块Last_Db_MB)不是帧中的最后宏块，那么流程图返回到块82。否则，该帧被完全解码。

图9是根据本发明的实施例对适合的宏块进行去块操作的计算机实现的方法的流程图。在块91中，该帧中的第N个宏块被去块，其他适合去块的宏块被识别。在一个实施例中，访问如图7A-7D所示阵列的阵列以识别适合的宏块。

在图9的块92中，将最后(最近的)已去块的宏块(块91中已去块的宏块)的宏块编号加1(N＝N+1)。在块93中，如果当前N的值大于该帧中最后宏块的宏块编号，那么流程图前进到块95；否则，流程图进行到块94。

在块94中，读取阵列中对应于当前宏块的位值。如果该位值被设置(例如等于1)，那么当前宏块可以被去块，流程图返回到块91，当前宏块被去块。否则，流程图进行到块95。

在块95中，Last_Db_MB(如上定义)的值设置为当前N的值减1(N-1)，Last_Db_MB的值被返回并如结合图8描述的那样被利用。

因此，根据本发明的实施例，宏块在它们一适合去块时就可以被去块。对于在无序帧中(例如ASO/FMO)的一些宏块，可以实现立即去块。相应地，由于不必要将这样的帧中的所有宏块都转移到存储器中或从存储器中转移出来，因此可以降低总线通讯量，也可以降低消耗的存储器量。另外，由于解码和去块可以并行完成，即当一个宏块解码时，另一宏块可以去块，因此可以降低计算时间。

例如，图10示出了一部分帧，其中第一片(使用阴影块表示)中的宏块与第二片(使用非阴影块表示)中的宏块以棋盘式样分布。首先将第一片发送到解码器，接着发送第二片——因此该帧是ASO/FMO帧。在解码期间，第一(左上)宏块Ma可以立即去块，但是其他阴影块在去块之前被存储。当第二(非阴影)片中的宏块被解码时，第二片中的每个宏块可以在其被解码后立即被去块，第一片中的每个宏块可以从存储器中按次序取出并去块。更具体地，由于宏块Mb仅依赖正被去块的宏块Ma，因此宏块Mb可以被立即去块；然后可以从存储器中取出宏块Mc并去块；宏块Md可以立即去块，以此类推。因此，在去块之前，不需要存储第二片中的宏块；只有第一片中的宏块(除了宏块Ma)在去块之前被存储。因此，在这个例子中，该帧中少于一半的宏块在去块之前被存储，沿着总线来回存储器的通讯量也降低了大约一半。

由于完成运动补偿会比去块消耗更多的时间，因此解码流水线的去块级有时可能是空闲的(例如，它可能缺乏数据)。但是，由于实现了立即去块，去块级可以使用空闲时间来处理存储的宏块，相比惯常的双通道实现方式，降低了总的解码时间。

另外，ASO/FMO帧可以在运行中被检测。在解码有序帧时获得了至少与惯常实现方式相同性能的同时，也显著改进了对无序帧的解码。此外，单解码器架构可以用于处理有序/无序的参考/非参考帧——基于要处理的帧的类型来适应性地选择经过解码器的路径。

为了示例和描述的目的，本发明已经通过上述特定实施例进行了展示。它们并非意在详尽地和限定本发明的公开的精确的形式，根据上述教导还可以做出更多种的变型和修改。选择和描述的实施例是为了最好地解释本发明的原理和它的实际应用，并使其他本领域的普通技术人员最好地利用本发明和各种具有各种适用于特定使用目的改变的实施例。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims

1.一种用于对已编码的数据帧进行解码的解码器，所述解码器包括：

解码器第一级，可操作对已编码的第一帧进行解码以产生解码的第一帧；和

解码器第二级，耦合于所述第一级的下游，所述第二级包括可操作用于并行地对已解码的帧进行去块操作的第一去块器和第二去块器，其中帧类型与所述已解码的第一帧关联，其中基于所述帧类型，将被分类为参考帧或有序的非参考帧的所述已解码的第一帧发送给所述第一去块器，将被分类为无序的非参考帧的所述已解码的第一帧发送给所述第二去块器。

2.根据权利要求1所述的解码器，其中所述已编码的第一帧包括多个宏块，所述宏块具有分别与其关联的宏块编号，其中如果所述已编码的第一帧中的宏块以所述宏块编号连续且增加的次序到达所述解码器，那么所述已解码的第一帧被识别为有序帧，否则所述已解码的第一帧被识别为无序帧；并且其中如果另一帧依赖所述已解码的第一帧的信息进行解码，那么所述已解码的第一帧被识别为参考帧，否则所述已解码的第一帧被识别为非参考帧。

3.根据权利要求1所述的解码器，进一步包括存储元件，所述存储元件与所述第二去块器耦合并可操作以在去块之前存储已解码的帧。

4.根据权利要求1所述的解码器，其中所述解码器第一级可操作以与所述已解码的第一帧的去块操作并行地来对已编码的第二帧进行解码。

5.根据权利要求1所述的解码器，其中所述解码器第一级可操作以执行选自下列中的操作：可变长度解码、逆量化、逆变换和运动补偿。

6.一种处理已编码的数据帧的计算机实施的方法，所述方法包括：

接收已编码的第一帧作为解码器的第一级的输入；

在所述第一级中对所述已编码的第一帧进行解码以产生解码的第一帧；

将已解码的第一帧从所述第一级转发给所述解码器的第二级，其中所述第二级包括可操作用于并行地对已解码的帧进行去块操作的第一去块器和第二去块器；并且如果所述已解码的第一帧被分类为参考帧或有序的非参考帧，那么将所述已解码的第一帧发送给所述第一去块器，以及如果所述已解码的第一帧被分类为无序的非参考帧，那么将所述已解码的第一帧发送给所述第二去块器；

在所述第二级中对所述已解码的第一帧进行去块操作，以产生适合呈现在显示设备上的已解码并已去块的第一帧。

7.根据权利要求6所述的方法，其中所述已编码的第一帧包括多个宏块，所述宏块具有分别与其关联的宏块编号，其中所述方法进一步包括：

如果所述已编码的第一帧中的宏块是按照所述宏块编号连续且增加的次序到达所述解码器，那么识别所述已解码的第一帧为有序帧，否则识别所述已解码的第一帧为无序帧；

如果另一帧依赖所述已解码的第一帧的信息进行解码，那么识别所述已解码的第一帧为参考帧，否则识别所述已解码的第一帧为非参考帧。

8.根据权利要求6所述的方法，其中所述已编码的第一帧包括多个宏块，所述宏块的每个具有分别与其关联的宏块编号，其中该多个所述宏块以宏块编号增加的次序进行编码，其中所述方法进一步包括：

如果所述宏块以不同于宏块编号增加的次序到达所述解码器，且如果所述已解码的第一帧被识别为非参考帧，那么将所述已解码的第一帧被识别为无序的非参考帧，其中如果一帧不被另一帧所依赖用于解码，那么该帧被识别为非参考帧。

9.根据权利要求6所述的方法，进一步包括在进行去块之前存储一个或多个已解码的帧。

10.根据权利要求6所述的方法，进一步包括与所述已解码的第一帧的去块操作并行地对已编码的第二帧进行解码。

11.根据权利要求6所述的方法，其中所述解码包括选自下列中的操作：可变长度解码、逆量化、逆变换和运动补偿。

12.一种用于对已编码的数据帧进行解码的解码器流水线单元，所述解码流水线单元包括于解码器中，所述解码器流水线单元包括：

解码级，可操作以对已编码的帧进行解码；和

去块级，所述去块级与所述解码级耦合，并包括可操作以对已解码的帧进行去块操作的第一去块器和第二去块器，其中已解码的参考帧使用所述第一去块器而不是所述第二去块器进行去块操作，其中基于已解码的非参考帧的所述编码版本形式中的宏块次序来选择所述第一去块器和所述第二去块器中之一，用于对所述已解码的非参考帧进行去块操作，其中如果所述已解码的非参考帧被分类为有序帧，那么将所述已解码的非参考帧发送给所述第一去块器，如果所述已解码的非参考帧被分类为无序帧，那么将所述已解码的非参考帧发送给所述第二去块器，其中如果一帧被另一帧所依赖用于解码，那么该帧被分类为参考帧，否则该帧被分类为非参考帧。

13.根据权利要求12所述的解码器流水线单元，其中如果以所述已编码版本形式的所述宏块是按照所述宏块编号连续且增加的次序到达所述解码器，那么所述已解码的非参考帧被识别为有序帧，否则所述已解码的非参考帧被识别为无序帧。

14.根据权利要求12所述的解码器流水线单元，进一步包括存储元件，所述存储元件与所述第二去块器耦合并可操作以在去块之前存储已解码的帧。

15.根据权利要求12所述的解码器流水线单元，其中所述解码级可操作以处理已编码的帧，同时并行的，所述去块级可操作以处理已解码的帧。

16.根据权利要求12所述的解码器流水线单元，其中所述解码级可操作以执行选自下列中的操作：可变长度解码、逆量化、逆变换和运动补偿。