CN1435054A

CN1435054A - 用于进行视频图像解码的方法和装置

Info

Publication number: CN1435054A
Application number: CN00819034A
Authority: CN
Inventors: H·H·蒋; V·G·库克; A·H·西蒙
Original assignee: Intel Corp
Current assignee: Nomonks GmbH; Micron Technology Inc
Priority date: 1999-12-20
Filing date: 2000-10-25
Publication date: 2003-08-06
Anticipated expiration: 2020-10-25
Also published as: US20030043918A1; US7263231B2; TW502541B; AU2619001A; CN1236619C; WO2001047280A1; HK1046605A1; EP1240785A1; US20030198392A1

Abstract

在一个实施例中，一种进行视频图像解码的方法包括如下步骤。在频域中一个压缩视频图像被向下采样。向下采样的视频图像被逆变换。在空间域中对向下采样图像进行运动位移补偿。

Description

用于进行视频图像解码的方法和装置

发明背景

领域

本发明涉及视频处理并尤其涉及视频图像。

背景

由于实现的限制，在视频解码中使用的运动位移补偿硬件典型的设计为一个特定的视频图像分辨率。例如，如果没有限制，MPEG2规范，ISO/IEC 13818-2 MPEG-2视频编码标准，“Informationtechnology-Generic coding of moving pictures and associated audioinformation：Video”，1995年3月，下文称为“MPEG2”，可强制使用720×480每秒30帧的视频分辨率。在传统设计中，典型的执行解码的引擎只在压缩视频比特流规定的视频分辨率上生成图像。由于保存解码图像使用存储空间数量的原因，更高分辨率的压缩视频比特流，例如用于数字电视(DTV)内容的MPEG2比特流，将不能运行在这样的系统上。如果有足够的存储空间在全部规定的分辨率上进行解码，且用户选择在一个计算机平台上用较小的窗口浏览视频，例如，在显示时把解码图像实际尺寸压缩，则因此，实际上就仍使用分辨率解码。因此，需要有一种方法或技术让一个系统操作或产生视频分辨率而不是由提供视频或图像数据的压缩视频比特流规定分辨率。

附图简述

本发明的主题被特别的指出并在详述的结束部分明确提出了权利要求。而关于本发明的组织结构和操作方法，目标，特性及其中的优势，在利用其中附图阅读时，可参考下列详述获得最佳的理解：

图1是一个描述压缩数字视频图像解码传统流水线实施例的框图；

图2是一个描述按照本发明进行视频图像解码的装置的实施例框图；

图3是一个描述在宏模块上按照本发明的方法进行视频解码应用实施例的结果的示意图。

图4是一个描述在宏模块上按照本发明的方法进行视频解码应用另一实施例的结果的示意图。

图5是一个描述在宏模块上按照本发明的方法进行视频解码应用另一实施例的结果的示意图。

图6是一个描述在宏模块上按照本发明的方法进行视频解码应用另一实施例的结果的示意图。

图7是一个描述用于实现按照本发明的方法进行视频解码的实施例的硬件实施例的框图。

图8通过覆盖图描述图7来示意性描述3维视图流水线的对应实施例。

图9是一个描述象素双线性内插操作的示意图，例如可应用于按照本发明进行视频解码的方法实施例中。

图10是一个描述双线性内插实施例的框图，例如可应用于按照本发明进行视频解码的方法实施例中。

图11是一个描述与视频显示子系统耦合的视频解码器子系统实施例的框图，例如可应用于按照本发明进行视频解码的方法实施例中。

图12是一个具有均匀定位区域的规则交错视频数据的空间位置情况示意图，其中在底部区域中的线段定位于顶部区域的两线段之间的中间处，例如可应用于按照本发明的实施例中。

图13是一个具有非均匀定位区域的规则交错视频数据的空间位置情况示意图，其中在底部区域中的线段定位于顶部区域两相邻线段之间的1/4处，例如可应用于按照本发明的实施例中。

图14是一个具有非均匀定位区域的规则交错视频数据的空间位置情况示意图，其中在底部区域中的线段定位于顶部区域两相邻线段之间的1/8处，例如可应用于按照本发明的实施例中。

图15是一个描述用于均匀定位交错的视频源的基于DDA的垂直定标操作结果的示意图，例如可应用于按照本发明的实施例中。

图16是一个描述用于非均匀定位交错的视频源的基于DDA的垂直定标操作结果的示意图，例如可应用于按照本发明的实施例中。

详细说明

为了提供对发明的全面理解，在接下来的详细描述中会提出大量特别的细节。然而，本领域的技术人员可以理解本发明可以不需要这些特殊细节而被实施。在其它情况，公知的方法，过程，元件和电路没有详细描述以便避免使本发明模糊不清。

按照惯例，如前所示一个通常为指定的最大分辨率所设计的视频解码和显示系统典型的不运行在规定较高视频分辨率的比特流上。同样如果一个用户选择在较小的窗口浏览视频，压缩比特流按惯例在显示时实现，因此，仍然会产生全分辨率解码。因为全分辨率解码伴随着规模减小，所以就以附加计算，附加存储，附加存储带宽及在显示时的复杂的规模压缩的形式增加了成本，如果比特流的规模压缩可以不需要全分辨率解码而实现，则上述的增加的成本是值得的。

在这点上虽然本发明在范围上不受限制，图7是一个描述硬件运动位移补偿引擎实施例的示意图，其中硬件运动位移补偿引擎可用于实现按照本发明进行视频解码方法的实施例。例如下面将更详细的描述，一个三维(3D)流水线可用于有效执行运动位移补偿，如图8中所示，虽然其它的硬件平台而不是3D流水线可用于实现执行按照本发明的实施例的视频解码的方面的例子。图7和8将在下面进行更详细的描述。

图1是一个描述用于进行视频图像解码的传统流水线实施例的框图。图2是一个描述按照本发明进行视频图像解码的装置的实施例框图；在按照本发明的一个实施例中，下面将更详细描述，一个在频域中的压缩视频图像在230处向下采样并在220处逆变换。在210处，在空间域中在向下采样的图像上进行运动位移补偿。换句话说，下面将更详细的描述，在240处，在频域中的压缩图像逆变换并且在空间域中向下采样并进行运动位移补偿。虽然本发明不局限于这点的范围，在频域中的压缩视频图像的一个例子包括一个离散余弦变换(DCT)图像。同样，虽然本发明不局限于这点的范围，例如一个DCT图像可与MPEG2规范一致，正象下面就要叙述的那样。关于这点，虽然最好采样MPEG2，包括分隔图像成16×16宏模块的方式，本发明不仅限于采用MPEG的范围，包括MPEG2，采用特殊尺寸和形状的宏模块甚至采样所有的宏模块。

如图2中所示将更详细描述，DCT图像可在被传送给运动位移补偿引擎之前向下采样。同样，如上所示，取决于不同的因素，向下采样可在反向DCT之前应用于该实施例中，例如在230处，或者在反向DCT之后，例如在240处。

在特定实施例中，虽然本发明不限于这方面的范围，图2中所示的模块在垂直线之前的以软件实现，在垂直线之后的模块以硬件实现。按照惯例，这种可实现向下采样的视频处理过程以硬件实现；然而，按照本发明执行视频解码的方法的实施例的优点是它提供至少部分的由于与传统方法相比较高的处理效率以软件执行处理过程的能力。因此该方法的一个优点是它提供较高的适应性。在此实施例中，解码器软件将向下采样的预测误差传送给运动位移补偿硬件并且运动矢量可按照向下采样率而充分调整，如下所述。在特定实施例中，虽然本发明在这方面不限于范围，沿着水平，垂直或者两个方向可以提供1∶1，2∶1，4∶1和8∶1的向下采样率。使用MPEG2的特定实施例中，由于本来的8×8MPEG2模块尺寸向下采样率限制小于8∶1。然而该限制不可以应用在其它替代实施例中。进一步，在替代实施例中，甚至对于MPEG2，可实现并非2的向下采样率，例如3∶1。

如附图2中所示，运动位移补偿硬件可直接在向下采样比特流上操作。在采样MPEG2的特定实施例中，向下采样率可以为n，其中n＝1，2，4和8。在运动位移补偿处理过程中，处理的宏模块的运动矢量规定来自要处理的宏模块参考数据的相对距离。(Vx，Vy)＝(vector[r][0]，vector[r][1])是原始的用于宏模块的运动矢量，其中Vx和Vy是运动矢量的横向和纵向元素，以16比特信号值的形式存在，虽然本发明不局限于这方面的范围。按照MPEG2的标准，Vx和Vy的最低有效位(LSB)用于指示半象素分辨率参考值。用(Dx^Y，Dy^Y)指示对亮度分量的整个象素运动位移，而由(Fx^Y，Fy^Y)指示对亮度分量的少量偏移。由于有限的下一象素预测，少量偏移(Fx^Y，Fy^Y)也可被称为半象素偏移标志。当没有对比特流的采样时，这可通过运动矢量由如下公式算出：和

其中“＞＞”表示右移操作而“&”表示“逻辑与”操作。如果Fx^Y或者正好非零，水平内插，例如计算一个平均值，可被应用于参考象素。如果Fy^Y被设置，垂直内插，例如计算平均值，可被应用于参考象素。如果均被设置，可在两个方向上应用内插。

色度运动位移也可由运动矢量信号信息的同样设置导出。对于YUV4∶2∶0色空间格式，例如既然色度度数(Cb，Cr)图像是水平和垂直两个方向上亮度分量图像的一半，则对于处理的宏模块亮度分量的整个象素位移(Dx^C，Dy^C)和少量位移(Fx^C，Fy^C)可由如下确定：和

其中符号‘/’表示具有向零截短结果的常整数除法。注意到在本例中色度少量位移也可在一半亮度象素分辨率中。

忽略亮度和色度项上标(Dx，Dy)和(Fx，Fy)，在实施例中运动预测操作可以用简单的加法器和移位器以下列描述的伪代码来实现。

    MC_Prediction(p，q)

    {

      if(Fx！＝1&amp;&amp;Fy！＝1)                    /*full-pel prediction in both directions

    —*/

          P[q][p]＝R[n][m]；

      if(Fx＝＝1&amp;&amp;Fy！＝1)                  /*full-pel vertical，half-pel horizontal*/

          P[q][p]＝(R[n][m]+R[n][m+1])//2；

      if(Fx！＝1&amp;&amp;Fy＝＝1)                  /*half-pel vertical，full pel horizontal*/

          P[q][p]＝(R[n][m]+R[n+1][m])//2；

      if(Fx＝＝1&amp;&amp;Fy＝＝1)                  /*half-pel prediction in both directions

      */

          P[q][p]＝(R[n][m]+R[n][m+1]+R[n+1][m]+R[n+1][m+1])//4；

    }//end Mc_Prediction(p，q)

在此例中，除号“//”表示向上舍入较大的整数(舍入远离零)。符号p和q分别代表在目标图像中沿水平和垂直方向的整型指数。符号m和n分别代表在参考图像中沿水平和垂直方向的整型指数。参考象素位置(m，n)可分别从运动矢量导出。参考象素位置(m，n)可从运动矢量位移项(Dx，Dy)。

在本发明的特定实施例中，提供给向下采样比特流的运动位移补偿的预测使用向下采样参考图像和从压缩比特流解码得到的原始运动矢量直接执行。用于预测的运动矢量也可参考向下采样的图像通过运动位移(Dx^Y，Dy^Y)，(Dx^C，Dy^C)和运动少量偏移(Fx^Y，Fy^Y)，(Fx^C，Fy^C)规定。如前所述，与传统的运动少量偏移相反，在MPEG2中只有一个比特值，在按照本发明的特定实施例中更多的预测在向下采样操作中保存为(Fx^Y，Fy^Y)，(Fx^C，Fy^C)。因此，上述简单平均值操作可由更精确的内插操作来代替，例如在一个内插实施例中，虽然本发明不局限于这点的范围但是双线性内插单元可用于运动位移补偿的运动预测计算中。视频和图像再现质量也可通过使用较高阶内插单元而提高。双线性内插器典型的使用硬件多于基于平均的内插器。然而，在表示引擎或者用于图像换算或者过虑的图像处理器的3维(3D)结构流水线中可以发现一个共同的特性。因此在一个实施例中，如图8所示3D流水线可包括一个双线性内插器，标记为820和830，例如一个具有6比特内插相位值的内插器，如图10中所示。在一个实施例中虽然本发明不局限于这点，运动位移和运动少量偏移可通过运动矢量计算得到，运动矢量如下从压缩比特流中解码：和

和和[6]

由于这些关系和实施例，可以确定至少部分的基于向下采样率的用于二次抽样位移偏移subDx和subDy，二次采样微量掩码FmaskDx，FmaskDy和二次采样双线性内插相移subRx和subRy。这可在下面表1中用于具有6比特内插相位值范围。相似地，可以理解对于具有不同内插精度的系统的值可如期导出。可以理解用于具有不同内插过滤器而不是双线性内插过滤器的系统的相应内插参数也可如期导出。

表1：用于设置双线性内插参数的变量，其中的参数用于向下采样。

	向下取样率
	向下取样率				1∶1	2∶1	4∶1	8∶1
	SubD_x或SubD_y	1	2	3	1∶1	2∶1	4∶1	8∶1	4
FMaskD_x或FMaskD_y	SubD_x或SubD_y	1	2	3	0×01	0×03	0×07	0×0F	4
FMaskD_x或FMaskD_y	SubR_x或SubR_y	5	4	3	0×01	0×03	0×07	0×0F	2

具有定义运动位移和运动微量值的上述等式，运动位移补偿预测可通过下面的双线性内插关系而描述：P[q][p]＝{(0x40-F_y)？[(0x40-F_x)？R[n][m]+F_x？R[n][m+1]]

+F_y？[(0x40-F_x)？R[n+1][m]+F_x？R[n+1][m+1]]}//0x80

＝{

(0x40-F_y)？[(0x40-F_x)？R[g+D_y][p+D_x]+F_x？R[q+D_y][p+D_x]+F_x？R[q+D_y][p+D_x+1]] [7]

+F_y？[(0x40-F_x)？R[q+D_y+1][p+D_x]+F_x？R[q+D_y+1][p+D_x+1]]

}//0x80.

其中参考象素位置(m，n)从运动矢量位移中导出，其中参考象素位置(m，n)从运动位移矢量(Dx，Dy)导出。

图9表明提供给用于该实施例的重建象素的预测的4个参考象素的空间关系。如上所示，双线性内插器的一个实施例在图10中表示。在该实施例中，双线性内插器1001由两个线性内插器1020和1030构成，其中1020和1030沿由另一个线性内插器1040跟随的一个空间方向操作，1040沿正交方向操作。从线性内插器1040输出的信号穿过舍入和饱和单元1050，该单元使输出信号转变成一个规定的有限精度的形式，虽然本发明不局限于这点，这仅仅是一个双线性内插器实施例中的一个例子，进一步，本发明不仅限于使用双线性内插。

对于该实施例，虽然本发明不仅局限于这一方面，但是上述的运动位移补偿操作可通过硬件运动位移补偿系统实现，例如表示在图7中的701。这里然而如上所述，该操作应用在宏模块基础上，这仅仅是MPEG2的一个特性并且替代的实施例也是可能的。特定实施例的操作这里将详细描述。指令分析程序和地址发生器单元810接收对于给定的宏模块的运动位移补偿指令并产生目标地址并传送该目标地址给矫正数据存储器界面单元815和目标数据存储器界面单元825。矫正数据存储器界面单元815使用该目标地址加载来自矫正数据缓存器(没有示出)的矫正数据。目标数据存储器界面单元825使用该目标地址来发送来自运动位移补偿引擎的最终输出数据给目标缓存器(没有示出)。指令分析程序和地址发生器单元810使用关于当前宏模块和它的运动矢量信息在参考图片和图像中产生预测地址并且发送给参考数据存储器界面单元835。参考数据存储器界面单元使用这些加载来自前项参考缓存器或者后项参考缓存器或者既有前项参考缓存器又有后项参考缓存器的数据(没有示出)。

指令分析程序和地址发生器单元还产生下一象素微量信息以应用于双线性内插单元820和830。这两个双线性内插单元，一个执行向前预测而一个执行向后预测。这里每一双线性内插单元使用微量信息内插来自参考缓冲器中的数据。可以想象这两个双线性内插单元可由单一硬件单元实现。在单一硬件双线性内插单元实现的情况下，如果要求向前和向后双向预测，则此双线性内插单元可被依次使用。

来自向前双线性内插单元和向后双线性内插单元的输出信号在联合单元850被加在一起。根据一个压缩标准，例如，MPEG2，联合预测单元对数据执行适当的换算和饱和。对此实施例，来自联合预测单元的输出信号随后被发送至预测矫正单元860并且矫正数据被添加至运动预测数据并生成最终输出数据。来自预测矫正单元的输出数据随后通过目标数据存储器界面被发送至存储器。

如图8所示，上述运动位移补偿实施例可使用现有的3D再现硬件实现，该3D再现硬件在图形控制硬件中是一个公共特性。为适于描述的目的，在虚线中的方框将刚刚描述的实施例的运动位移补偿方面映射为一些3D硬件单元。当然其它硬件映射和硬件再用也是可能的并且现在在本领域可通过普通技术来实现。在此特定实施例中，参考缓冲器被映射为结构缓冲器。所以，结构存储器和结构高速缓冲存储器可被用于获取加载自存储器的参考数据。此后，典型的包括双线性内插器或甚至三线性内插器的3D结构流水线可被用于在运动位移补偿中执行双线性内插或预测联合操作。然后，3D结构混合单元可被用于执行预测矫正操作。3D颜色和目标存储器界面单元可被用于将运动位移补偿信号写至存储器。

使用MPEG2编码的一些实施例将被描述。如前所述，本发明对这些实施例不局限于此范围。可使用其它多个视频或者图像编码规范和/或存储格式中的任何一个。尽管如此，这些实施例作为实现按照本发明执行视频图像解码的方法的例子提供。关于这点，将描述MPEG2编码类型的3种主要种类。一种编码类型包括一个具有帧预测或者使用帧运动位移补偿的帧图像。关于这点，术语帧图像或者帧类型是指用于一个图像的数据信号的顺序序列显示，例如通常运行在具有监视器的计算机平台上。术语帧预测或者帧运动位移补偿指用于预测误差和通过编码器编码或者产生的运动矢量的特殊格式。为了执行解码以便重现产生信号信息的图像，期望知道以比特流编码的信号信息的格式。因此，使用帧预测或者帧解码，那么预测误差以帧格式存储，类似于用于帧图像的格式。第二种编码类型包括一个具有域运动位移补偿或者域预测的域图像。术语域图像或者域类型通常指用于电视设备或者电视显示设备的技术，其中图像的一半在允许人眼合成图像的速率分别显示。在这种格式中，域数据行，也就是说来自域图像的信号数据行以交错格式存储。因此，顶部区域和底部区域线在数据信号的一帧中交替或者交错。术语域运动位移补偿或者域预测指预测误差和运动矢量所存储的格式，其中预测可以基于所谓的顶部区域或者底部区域而分别预测。在一个域编码图像中，顶部和底部区域作为分离的图像分别编码，并且以交错形式显示。在此情况中，用于顶部和底部的运动预测数据部分地基于最近解码的域。一个用于本文中的第三种MPEG2编码类型包括，一个具有域运动位移补偿或者域预测的帧图像。在此格式中，所有的区域作为单独的图像编码，但是用于两个区域中每一个的运动位移补偿数据部分地基于先前解码的域。在MPEG2中，第三种格式有两个变形，在一个变形中，如图5所示，亮度DCT数据以帧为基础编码，而在另一个变形中，如图6中所示，亮度DCT数据存储在域基础上。该编码类型位于上述的两个编码类型之间，其中两个格式交替在宏模块基础上。更特别的，在宏模块基础上，数据信号可被作为具有域或者帧预测的帧图像存储。

因为这些特定实施例与用于MPEG2编码类型的DCT域向下采样实施有关，所以将采样向下采样与应用于垂直方向的运动位移补偿。在视频帧中的垂直方向类似于上述的MPEG2编码类型而处理，因此，在本实施例中，垂直方向用与下面所描述的具有帧预测的帧图像的方法的相似方式处理，虽然在按照本发明的视频图像解码的特定实施例中，这个方面可以变化。进一步，这里给出的图例说明仅用于亮度元件的技术。然而，曾经描述的本技术扩展，处理MPEG的色度成分是本领域技术人员力所能及的。进一步，例如在其它具有以比特流编码的多成分应用中，但不限于RGB编码的JPEG图像，这里所描述的对每一个组件的扩展也是本领域技术人员力所能及的。

图3是一个按照本发明的进行视频图像解码方法的实施例示意图，其中采用与MPEG2规范一致的DCT图像。在特定实施例中，如上所述一个具有帧运动位移补偿的帧图像是所采用的MPEG2编码类型。图3表示两个在宏模块中的8×8亮度模块，其中向下采样发生在DCT域中。列1表示先于向下采样的两个模块数据行的空间位置。列2表示在向下采样之后数据行的空间位置。因此，列2表示在DCT域中向下采样数据位置的影响，并且执行反向DCT。同样，如图3所示，列3表示比率为4∶1的向下采样，与用于列2的2∶1比率相反。如图3所示，向下采样行在向下采样之后在空间上均匀分布并逆变换。在本实施例中对于水平方向的向下采样象素将以相似方式产生。因此，向下采样帧图像和帧运动矢量可以是相似于提供给原始图像的方法的方式。向下采样的结果是将16×16的宏模块和它们所包含的8×8的模块转换成更小的模块。例如，在2∶1水平二次采样和4∶1垂直二次采样之后，每个8×8模块解码成一个4×2模块，每个16×16宏模块解码成8×4宏模块。因此对于任何给定的向下采样模块的运动位移补偿，例如在本实施例中尺寸为4×4，4×2，2×4，2×2或者1×1的模块，可使用定标的运动矢量直接实施在向下采样参考值，其中在特定实施例中运动矢量采用先前所描述的技术，因此虽然本发明不局限于这方面的范围，先前所述的运动位移补偿硬件可有效的使用来执行信号处理操作。

图4是表示按照本发明进行视频图像解码的方法的实施例的示意图，其中采用另一个MPEG2编码类型。在特定实施例中，如上所述采用具有域运动位移补偿的一个域图像。考虑到用于一帧的两个临时分离特性，基于向下采样的域可产生空间混叠和/或来自两个域的线的非均匀定位。可以导致的非均匀定位在图4中说明，其中向下采样以及反向DCT被再次应用，以说明对该编码类型的影响。然而，非均匀线距没有影响运动矢量。同样地，对图4中说明的行位置的调整，例如预测误差，可以使用例如双线性插值法的内插法完成。此外，可以使用先前描述的3D硬件流水线执行该内插法。因此，在特定实施例中，运动补偿以及向下采样单元的空间位置应该包括用于每个领域的精确的行位置。

在另一个实施例中，不使用图4中说明的产生非均匀垂直线间距的方法，选择的脉冲线可以用于顶域以及底域行以产生在垂直方向上均匀间隔的一个向下采样图像。例如，虽然本发明在这方面不限制范围，可以使用两个空间的滤波器，每一个分别地对应底域和顶域。另外，一个类似方法可以替代地用于本频率域，例如DCT域。在它所被使用的频率域中，变换的数据信号可以相移，而不是空间地移位。空间移位和它的相应的变换域操作的关系可以使用特定变换的卷积特性导出。

图5和6每个说明按照本发明用于执行视频图像解码的方法的实施例的一部分，其中本发明用于描述为具有域运动补偿帧图像的MPEG2编码类型。图5说明按照本发明用于执行视频解码的方法的实施例的一部分，其中宏模块作为具有域预测和帧DCT的帧类型保存在该格式中。相反，图6说明按照本发明用于执行视频解码的方法的实施例的一部分，其中宏模块作为具有域预测和域DCT的帧类型保存在该格式中。可能便于将图像数据和预测或者运动补偿数据转换为一个格式，帧或者域。同样地，转换为帧格式通常包括暂时的滤波，其中可以包括先前说明的3D管线硬件。然而，当然本发明在这方面没有限制，该方法可以带有硬件流水线使用，例如，包含这些特征。然而，在该特定实施例中，执行该操作以便放置该帧数据进入一个域格式，并且放置该帧运动补偿数据成为域运动补偿格式。在特定实施例里，每个域然后分别地处理进入该空间域以完成运动补偿。

一个改进，用于该特定实施例是将一个帧帧压缩宏模块转换成为一个域压缩宏模块。在图5所示的特定实施例里，由来自DCT域的逆变换通过在该空间域里在完全垂直分辨力上宏模块中单元的重建而完成，隔行扫描该单元成为两个域并且在该空间域里垂直地压缩它。因此，对于该实施例，如附图1中所示，在执行该反向DCT之后，垂直压缩有效地移动。同样地，如上所述运动补偿在每个域上分别地执行。如果在该实施例里，运动补偿是基于帧的，使用被说明的该方法预测误差可以变为基于域的。转换帧运动矢量为基于域的，帧运动矢量可以用于全部情况域运动矢量的每一个。图5和图6中所述的实施例之间的差异是宏模块被存为帧宏模块还是域宏模块。与先前论述一样，如果它存为帧宏模块，隔行扫描按照图5.中说明的那样执行。相反，按照图6中说明的那样执行，如果宏模块存为一个域宏模块，那么隔行扫描按照说明的执行，并且数据线可以按照对于一种隔行扫描域格式的先前描述而处理。

虽然本发明在这方面不限制范围，按照本发明实施例的一个方面是在频域中压缩视频图像，例如在DCT域中的MPEG2图像。这可以通过参考一维(1D)信号论述。由于操作的分离性，用于2D信号的结果是该方法的扩展。同样地，2∶1压缩的情况将要作为其它压缩比的代表而论述。通常，在频域中执行压缩是公知的并且存在许多公知的方法实现它。本发明对于一个特定的方法不限制范围并且该论述仅仅作为一个例子提供。

在抽样域里有限长的数字信号的滤波使用卷积执行。例如，通过一个该信号和滤波器的周期性扩展可以获得一个公知的圆周卷积。该卷积通过该信号和滤波器的离散傅里叶变换的简略乘法可以在离散傅里叶变换(DFT)域中高效地执行并且应用该反向DFT到该结果。对于DCT，可以应用一个与DFT卷积相关但是又不同于它的卷积。例如，在1994年5月第42卷第5号，电气电子工程师学会信号处理上的论文集中S.Martucci所著的″对称卷积和离散正弦和余弦变换″中描述了，并且包含该信号和滤波器的对称扩充、线性卷积，并且应用一个窗口到该结果。例如，假定该信号表示为s(n)，n＝0......N-1，并且它的相应的变换(DCT域)系数表示为S(u)，u＝0......N-1，，并且该滤波器表示为h(m)，m＝0......M-1，那么该DCT可以表示为矩阵形式作为S＝C*s，带有S，S是该信号的列向量形式并且它的DCT系数和C是DCT矩阵，如下：

C_u，n＝(2/N)^1/2k(u)cos[π(u(2n+1)/2N)]，其中u，n＝0，...，N-1 [8]

其中

k(u)＝

·1/√2，其中u＝0 [9]

·1，u＝1，...，N-1

假定一个对称低通均匀长度滤波器h(m)带有滤波长度M，其中M＝2*N，用于该滤波器的DCT系数H(u)可以通过应用如上所述的回旋的形式到该滤波器的右半部而获得，该系数等于系数的右半部与该变换矩阵相乘：

D_u，m＝2cos[πu(2m+1)/2n]，其中u，m＝1，...，N-1 [10]

该滤波通过信号DCT系数和该滤波器DCT系数的元素与元素相乘执行并且获得DCT域相乘结果的适当的反向DCT变换：

Y(u)＝S(u)*H(u)，其中u＝0，....，N-1 [11]

不仅滤波，还有向下采样可以在DCT域里执行。对于通过两个向下采样，元素与元素相乘的结果通过四分中二点折叠并且做减法然后按照1N2.换算。数学上，这表示为：

[Y(u)-Y(N-u)]/√2，其中u＝0，...(N/2)-1 [12]

通过应用长度N/2的反向DCT变换获得十中抽一信号。有一些有效地应用在该实施例里的特别的情况，虽然本发明不限制在这方面。例如可以执行在DCT域里一个带有系数[11110000]的理想滤波器更进一步的通过双向操作简化DCT域向下采样。特别地，该特别的滤波器形状避免折叠和附加。另一个带有系数[11110.500O]的滤波器通过两个操作对于该向下采样提供消除混叠滤波器的一个变换函数。当然其它滤波器也可以同时使用。

同样地，可以理解在一个特定实施例里，执行一个低通、线性插值滤波器以便执行向下采样；虽然如此，本发明不限制在这方面的范围。例如，除了低通滤波器，线性滤波器，或者替代地非线性的滤波器，例如中值滤波器、自适应的边缘增强滤波器也都可以使用。当然，虽然本发明不局限于此方方面，可以理解使用运动补偿硬件和双线性插值法可以有效地实现一些线性滤波器。

在运动补偿或者向下采样之后滤波可以同时被应用。更具体地说，所得到的图像透明度中的偏差可能变成对人眼明显，特别作为在该序列里被观察的图像。在一些实施例里，需要平滑该偏差或者换句话说，增强具有较少透明度的图像。因此，可以使用大量滤波器中任何一个的，线形的或者非线性的。例如，虽然本发明在这方面不限制，可以应用一个边缘增强图像。此外，可以理解使用一个3D硬件流水线和双线性插值法可以有效地实现一些线性滤波器。

当然，如前所述，本发明不限于先前所述实施例的范围。例如，在一个替代的实施例里，其中使用一个3D硬件流水线以便实现一个双线性插值法操作，一个3×3 4×4或者更大的内插法操作可以替代2×2双线性插值法操作而实现。同样地，在另一个替代的实施例里，为了跟上被提供或者接收的图象比特流量，作为显著的计算资源由该解码器所需求，为了允许在提供的图像质量上的适度退化该解码器可以适合于在较高比率上向下采样。同样，该解码器也可以适合于执行反向。

在另一个实施例里，代替向下采样所有视频图像，该解码器可以适合于仅仅对一些视频图象向下采样。例如，可以选择特殊的图像用于向下采样，例如通过传送一个信号指示，或者该解码器可以至少部分地基于一个预先决定的标准适合于对接收的视频图像的一个子集向下采样，例如，作为一个例子，在二次采样B帧的同时在完全分辩率上解码I和P帧。因此，可以使用许多方法中的任何一个并且本发明不限制在任何特定方法的范围内。虽然本发明在这方面不限制范围，按照本发明实施例的另一个方面是解码的视频图像的显示也就是说在频域中向下采样，例如在DCT域中的MPEG2图像。在该特定的实施例里，上述讨论到的视频解码器子系统与图10.中所示的一个视频显示子系统联系在一起。视频解码器子系统和视频显示子系统可与存贮器子系统接在一起，其中解码的视频图像存在该存贮器子系统上。如图10中所示，在存贮器子系统中，解码的视频图像被标记为视频缓冲器1，视频缓冲器2等等。解码的视频图像的数目n可以按照视频解码器和视频显示子系统来选择。在这样一个实施例里，除典型信息之外，例如解码的图像尺寸(X，Y)，视频解码器子系统可以和带有附加信号的视频显示子系统接在一起，例如涉及变换域向下采样操作的图像类型(PICT)和垂直辅助取样因数(VSFF)。例如PICT和VSFF的信号可能用来调整视频显示子系统适当地显示解码的视频图像也就是说使用一个按照本发明的实施例在变换域里向下采样。

视频显示子系统操作在屏幕上显示器解码的视频图像。所要求的显示视频窗口的尺寸未必同源视频图像相同。在该情况下，源视频可以扩大或者压缩与分别地相应于内插法和抽取的处理的显示窗口尺寸匹配。性能比例包括源视频数据的恰当滤波以减少混叠效应。在一种方法中，有限脉冲响应(FIR)滤波器是一个在视频显示子系统里实现比例滤波器的例子，其中输入象元的仅仅有限数有助于特定的输出象元。用于视频信号的空间比例的一个滤波器通常是两维(2D)功能。实际上，可分离的滤波器可能用来减少硬件复杂性和成本。换句话说，视频信号的比例被分别用于垂直的和水平方向。在下文中，阐明垂直比例尺操作，因为它与提出的视频解码器产生的均匀和非均匀场扫描行分配有关。

对于给定的源大小N_src和目标尺寸N_dest，正向的定标因数(与随后规定的反向定标因数形成对照)定义为基于目标尺寸的源大小的比率：

S_{f} = \frac{N_{src}}{N_{dest}} .

[13]

标志源采样步骤作为单一，我们可以规定一个用于假设输出线的DDA(数字微分分析机)值作为到源线垂直位置的相对位置。通常，一个DDA蓄电池包括一个定点值。由int(DDA)表示的DDA值的整数部分指示最接近的源线数字，而由fnact(DDA)表示的DDA值的分数部分相应于自源线起的相对距离。比例操作的初相位定义为与自该比例滤波器起与第一个输出线相联系的DDA蓄电池(DDA₀＝DDA(0))的初始值。那么随后的输出线的抽样位置可以由由定标因数积累的DDA值所描述。

DDA(n)＝DDA(n-1)+S_f，for n＝1，N_dest-1，

[14]

其中n是输出视频线的指数。对于一个由上述的视频解码器子系统产生的并且处于带有图3中源视频图像所述的变换域向下采样的帧类型中的源视频图像来说，虽然定标因数是不同的，但是它的显示类似于非向下采样视频图像。

对于一个由上述的视频解码器子系统产生的并且处于带有图12中所述的均匀分布的扫描行的变换域向下采样的域类型中的源视频图像来说，虽然定标因数是不同的，但是它的显示类似于非向下采样域视频图像。然而，对于一个上述的视频解码器子系统产生的并且处于带有图13和图14中所述的变换域向下采样而不带有非均匀分布的扫描行的域类型中的源视频图像来说，传统的域视频显示方法不能应用于这种视频图像。相反，使用恰当的垂直位置调整以便正确地显示变换域向下抽样视频图像的全部域。使一个域里两个邻线之间的距离为1单位。如图12中所示，对于非向下采样域类型视频图像，在顶域(行0)里第一行下面的底域(行1)里的第一行是0.5单元。对于随后的全部域中的行，也是成立的。用于均匀地定位隔行扫描视频源的基于DDA的垂直比例操作的结果表示在图15.里。该例子显示3∶8.的扩展因数。图15(a)是从带有DDA[0]＝0.0的初相位的顶域测量的一种情况，图15(b)是从带有DDA[0]＝-0.5的初相位的底域测量的一种情况。当通过两个的垂直向下采样在该变换域里执行时，在顶域(行0)中的第一行下面的底域(行1)中的第一行是0.25单元，如附图13中所说明的那样。图16说明用于非均匀地定位隔行扫描视频源的基于DDA垂直比例操作的结果。该例子显示3∶8.扩展因数。图16(a)是是从带有DDA[0]＝0.0的初相位的顶域测量的一种情况，图16(b)是从带有DDA[0]＝-0.25的初相位的底域测量的一种情况。

同样地，图14说明当通过四个进行的垂直向下采样在变换域里执行时，顶域里第一行下面的底域里的第一行是0.125单位。

当然，可以理解虽然一个特定的实施例刚被描述，本发明不限制在一个特定的实施例或者实施的范围中。例如一个实施例可以在硬件里，然而另一个实施例也许在软件里。同样地，一个实施例也许在固件里，或者任何硬件软件或者固件的组合，例如同样地虽然本发明不限制在这方面，一个实施例可能包括一个产品，例如一个存储介质。例如上述一个存储介质，例如一个光盘或者一个磁盘，其上也许已经存储有指令，当通过一个系统执行时，例如一个计算机系统或者平台或者一个成像系统，可以导致按照本发明执行视频图像解码的一个方法，例如先前描述的实施例中的一个。

虽然本发明的特定特征已经作为此处的描述说明了，本领域的技术人员会想到许多改进、替换、变化和等效。因此，可以理解附加的权利要求覆盖所有的落入本发明实质范围的上述实施例和其变化。

Claims

1.一种执行视频图像解码的方法包括：

在频域中向下采样一种压缩视频图像；

反向变换该向下采样的视频图像；以及

在该空间域里对向下采样的图像执行运动补偿。

2.按照权利要求1所述的方法，其中在频域中的压缩视频图像包括一种离散余弦变换(DCT)图像。

3.按照权利要求2所述的方法，其中DCT图像作为一种遵照MPEG规范的DCT图像存储。

4.该按照权利要求3所述的方法，其中DCT图像存为一种帧类型图像。

5.按照权利要求4所述的方法，其中运动补偿数据信号存为帧预测类型运动补偿。

6.按照权利要求3所述的方法，其中DCT图像存为一种域类型图像。

7.按照权利要求6所述的方法，其中运动补偿数据信号存为域预测类型运动补偿。

8.按照权利要求1所述的方法，进一步包括显示向下采样的空间图象以便得到在向下采样空间图象中的数据信号行的非均匀垂直线间距离，其中向下采样空间图象在计算机监视器上呈现充分地均匀。

9.按照权利要求1所述的方法，其中向下采样使用一个整数比率执行。

10.按照权利要求1所述的方法，其中执行运动补偿包括按照向下采样比率换算运动矢量。

11.按照权利要求10.所述的方法，其中运动矢量换算包括执行一个内插法操作。

12.按照权利要求11所述的方法，其中运动矢量换算包括执行一种双线性插值法操作。

13.按照权利要求12所述的方法，其中双线性插值法操作在三维管线硬件上实现。

14.按照权利要求1所述的方法，其中向下采样包括作为一种双线性插值法操作执行一种线性滤波器。

15.按照权利要求14所述的方法，其中双线性插值法操作在3D管线硬件上实现。

16.一种执行视频图像解码的方法包括：

反向变换一种压缩视频图像；

在空间域里对反向变换的图像向下采样；以及

在该空间域里对于该向下采样的图像执行运动补偿。

17.按照权利要求16所述的方法，其中压缩视频图像包括一种离散余弦变换(DCT)图像。

18.按照权利要求17所述的方法，其中DCT图像存为一种遵照MPEG规范的DCT图像。

19.按照权利要求18所述的方法，其中DCT图像包括存为帧宏模块的宏模块以及存为域宏模块的宏模块。

20.按照权利要求19所述的方法，进一步地包括：在空间域里向下采样之前转换该帧宏模块为域宏模块。

21.按照权利要求19所述的方法，其中运动补偿数据信号存为域预测类型运动补偿。

22.按照权利要求16所述的方法，其中执行运动补偿包括按照一种压缩比率换算运动矢量。

23.按照权利要求22所述的方法，其中运动矢量换算包括实现一个内插法操作。

24.按照权利要求23.所述的方法，其中运动矢量换算包括实现一种双线性插值法操作。

25.按照权利要求24所述的方法，其中双线性插值法操作在三维管线硬件上实现。

26.按照权利要求16所述的方法，其中向下采样包括作为一种双线性插值法操作实现一种线性滤波器。

27.按照权利要求26所述的方法，其中双线性插值法操作在3D管线硬件上实现。

28.一种产品包括：一种其上已经存储了指令的存储介质，当通过平台执行时，导致下列：

在频域中向下采样一种压缩视频图像；

反向变换该向下采样的视频图像；以及

在空间域里对于向下采样的图像执行运动补偿。

29、按照权利要求28所述的产品，其中当执行该指令时进一步地得到在频域中的压缩视频的图像包括一种离散余弦变换(DCT)图像。

30.按照权利要求29所述的产品，当执行该指令时进一步地得到存为遵照MPEG规范的DCT图像的DCT图像。

31.按照权利要求28所述的产品，当执行该指令时进一步地得到：显示向下采样的空间图象以便得到在向下采样空间图象里的数据信号行的非均匀垂直线间距离，它们在计算机监视器上呈现充分地均匀。

32.一种产品包括：一种其上已经存储了指令的存储介质，当通过平台执行时，导致下列：

反向变换一种压缩视频图像；

在空间域里向下采样该反向变换的图像；以及

在空间域里对于该向下采样的图像执行运动补偿。

33.按照权利要求32所述的产品，其中执行该指令时进一步地得到在频域中的压缩视频图像包括一种离散余弦变换(DCT)图像。

34.按照权利要求33所述的产品，其中执行该指令时进一步地得到存为遵照MPEG规范的DCT图像的DCT图像。