CN101822051A - 视频解码 - Google Patents

Abstract

本发明提供了一种用于对数字视频文件进行解码的方法，所述数字视频文件包括分别具有第一数目像素的多个编码帧，每个编码帧由整数倍的n阶方形矩阵组成，所述方法包括：i)对于每个n阶方形矩阵，对n阶方形矩阵执行离散余弦逆变换以产生m阶方形矩阵，其中m＜n；ii)对于每个m阶方形矩阵，将m阶方形矩阵缩减为p×m矩阵，其中，p＜m；iii)对于每个帧，产生由从步骤ii)中导出的整数倍的p×m矩阵组成的解码帧，其中，每个解码帧具有小于第一像素数目的第二数目的像素。

Description

视频解码

技术领域

本发明涉及数字视频数据的解码，具体涉及对数字视频数据进行解码以使得能够在较低分辨率屏幕上播放高分辨率视频的方法。

背景技术

为了在便携式设备上观看视频，需要该设备支持视频标准。优选的数字视频标准一般被称为“MPEG-4”，是ISO(国际标准化组织)运动图像专家组所设计的第四代标准。可以以许多不同的分辨率和帧速率来显示MPEG-4视频，以适合广泛的应用。

适合于便携式媒体以及有线或无线互联网传输的公用类型的编码视频文件是cif mpeg-4文件。cif(公用中分辨率图像格式)视频具有352×288像素的分辨率。尽管该分辨率足以适合在许多设备(例如，计算机监控器)上回放，但对于例如手持便携式无线电话(一般被称为移动电话或蜂窝电话)上的屏幕而言，该分辨率太大。因此，降低的分辨率格式是优选的，例如，mpeg-4 qcif(四分之一公用中分辨率图像格式)。顾名思义，qcif mpeg-4视频具有四分之一的cif mpeg-4分辨率，即，176×144像素。

贯穿本说明书，术语“像素分辨率”旨在涉及具体帧或图像中的像素数目，例如，从定义了帧的水平和垂直像素的数目方面表示的。

与qcif的需求相比，cif需要相当高的CPU能力水平、改变高速缓存存储器来提供足够空间，以及增加存储器需求。因此，用户尝试在支持视频的移动电话上播放cif格式的mpeg-4文件可能会导致错误消息。

在移动电话上支持mpeg-4是优选的，但是典型的移动电话能够播放的文件类型会受限于其处理能力。例如，具有一个以100MIPS(每秒100×10⁶个指令)进行操作的ARM9处理器的移动电话能够以每秒15帧的速度来处理qcif mpeg-4文件。为了利用仅qcif大小的屏幕来播放较高分辨率cif mpeg-4文件，出于计算机能力和存储器容量的考虑，这种布置是效率低的。因此，当面对cif mpeg-4文件时，这样的移动电话不能够播放视频，相反不得不向用户返回错误消息。

因此，问题在于如何在具有较小分辨率屏幕的并仅具有足以对较小分辨率mpeg-4文件进行解码的计算能力的移动电话上播放大(或高分辨率)mpeg-4文件。

本发明的目的是解决上述问题中的一个或多个。

发明内容

本发明提供了一种对数字视频文件进行解码的方法，该数字视频文件包括多个编码帧，其中每个编码帧具有第一数目的像素，每个编码帧由整数倍的n阶方形矩阵组成，该方法包括：

i)对于每个n阶方形矩阵，对n阶方形矩阵执行离散余弦逆变换以产生m阶方形矩阵，其中m＜n；

ii)对于每个m阶方形矩阵，将m阶方形矩阵缩减为p×m矩阵，其中，p＜m；

iii)对于每个帧，产生由从步骤ii)中导出的多个p×m矩阵组成的解码帧，

其中，每个解码帧具有小于第一像素数目的第二数目的像素。

本发明在计算机硬件中实现，并因此以计算机程序产品的形式体现，该计算机程序产品包括其上具有计算机程序代码装置的计算机可读介质，当将所述程序加载到计算机上时，该计算机程序代码装置适合于使计算机执行本发明的方法。

优选地，本发明在便携式电子设备(例如，移动电话)上实现。

附图说明

参照附图，现在将仅通过示例详细描述本发明，在附图中：

图1示出了用于对包括I帧和P帧的视频文件进行解码的步骤的示例序列；以及

图2示出了用于对从图1的解码过程导出的解码帧进行显示的步骤的示例序列。

具体实施方式

以下不应视为限制由所附权利要求限定的本发明。

为了简单起见，以下示例实施例涉及在移动电话上对cif mpeg-4文件进行解码，该移动电话具有qcif分辨率屏幕(176×144像素)并仅具有足够的计算能力来对qcif mpeg-4文件进行解码。

在典型SP(简单简档)cif mpeg-4文件中，存在两种类型的帧：I(帧内编码)帧和P(预测)帧。

对于每个I帧，在去量化之后，在组成I帧的8×8DCT(离散余弦变换)矩阵上执行4×4IDCT(离散余弦逆变换)。根据以下方程来执行IDCT操作：

A₄＝(D₄’*(I₄，O₄)*A₈*(I₄，O₄)’*D₄)./2

其中，A₄是4×4输出矩阵，A₈是DCT域中(去量化后的)8×8矩阵，I₄是4×4单位矩阵，O₄是4×4零矩阵，以及D₄是标准4×4DCT矩阵。D₄’是D的转置，以及(I₄，O₄)’是(I₄，Q₄)的转置。X./2意味着矩阵X中的所有元素被2除。该运算的效果是对8×8矩阵A₈的左上部4×4部分执行离散余弦逆变换，产生4×4输出矩阵A₄。

然后将4×4矩阵A₄变换成2×4矩阵A₂₄：

A₂₄＝T*A₄

矩阵T包括如下元素：所述元素被选出，使得在矩阵计算中对A₄矩阵的行进行平均，以产生A₂₄矩阵。例如，矩阵T可以具有以下形式：

$\left[\begin{array}{cccc}0.5& 0.5& 0& 0\\ 0& 0& 0.5& 0.5\end{array}\right]$

因此以上运算有效地对矩阵A₄上下两行中垂直相邻的像素进行平均，以产生较小矩阵A₂₄。

因此，解码帧具有176×72的像素分辨率。优选地，解码帧采用YCbCr(或YUV)格式，然后还可以被处理成RGB格式，并可选地提升到176×144像素的qcif分辨率，以在适合的屏幕上显示。

对于每个P帧，上述相同方法可以用于产生2×4误差矩阵，E₂₄。对于这些预测矩阵计算，可以使用Vetro和Sun在“On the MotionCompensation Within a Down-Conversion Decoder”，SPIE Journal ofElectronic Imaging，1998年7月中描述的方法。总之，该方法包括：

i)找到包括2×4参考块的4×8宏块，该参考块被命名为R₄₈；以及

ii)计算参考块R₂₄：

R₂₄＝P₂₄*R₄₈*P₈₄

在以上公式中，P₂₄是2×4矩阵，P₂₄＝(N₁，N₂)，N₁、N₂是2×2矩阵，N₁＝D₂*S₁*D₂’，N₂＝D₂*S₂*D₂’，D₂是2×2DCT变换矩阵，以及S₁、S₂是基于MV(平均运动矢量)的2×2矩阵。矩阵P₈₄是8×4矩阵，其中，P₈₄＝(M₁，M₂)’，M₁和M₂是4×4矩阵，其中M₁＝D₄*P₁*D₄’，M₂＝D₄*P₂*D₄’，以及P₁、P₂是基于MV的4×4矩阵。

矩阵S₁和S₂是基于垂直MV来导出的。例如，对于MV_y/4＝0，S₁＝[1，0；0，1]，S₂＝[0，0；0，0]。如果MV_y/4＝1，则S₁＝[0，1；0，0]，S₂＝[0，0；1，0]。P₁和P₂是从水平MV中导出的。通常，对于P帧中的帧间编码块，在其参考帧中存在一个参考块。当解码时，可以通过MV来找到参考块。然后对误差块进行解码并与参考块相加。在这种情况下，8×8块变成2×4块，从而参考块应当也是2×4块。参考块必须在一个4×8宏块中，从而R₄₈是包含2×4参考块的宏块。

然后通过以下公式来计算当前块C₂₄：

C₂₄＝R₂₄+E₂₄

然后可以将从以上过程中产生的分辨率176×72的解码后的YCbCr帧变成RGB帧，并可选地提升到176×144像素的qcif分辨率。提升之前将分辨率降低至176×72，这具有降低CPU和存储器负载的效果。

在图1所示的流程图中示出了以上解码方法，图1示出了用于对包括I帧和P帧的视频文件进行解码的步骤的示例序列。该序列在步骤100开始，针对第一(或下个)帧前进至步骤101，该第一(或下个)帧可以是I帧或P帧。如果该帧是I帧，则对I帧中的每个块进行变换(步骤102至104)，该过程经由步骤105进行重复，直到达到当前I帧中的最后块为止。该过程然后前进至下个帧(步骤101)。如果下个帧是P帧，对P帧中的每个块进行分析和变换(步骤110至114)，这包括与针对I帧中的每个块的过程相同的过程(步骤110至112)，但是后续步骤是基于来自P帧的参考块对当前块C₂₄进行计算(步骤113和114)。重复步骤110-115的序列，直到达到P帧中的最后块为止(步骤115)。经由步骤106和101重复针对每个P帧和每个I帧的过程，直到达到最后帧为止。然后过程停止(步骤107)。

图2示出了用于对从解码过程中导出的解码帧进行显示的步骤的示例序列。将被选择用于显示(步骤201)的帧提升到qcif大小(步骤202)，从YCbCr转换到RGB格式(步骤203)、以及在屏幕上写入(步骤204)。过程然后停止(步骤205)，或针对要显示的下个帧而重复。

使用以上方法，可以将cif mpeg-4视频文件变换成设备(例如，移动电话)上的一系列qcif图像，这里，该设备仅仅具有足够的能力对qcif mpeg-4文件进行解码，但是不具有足够的能力对cif mpeg-4文件进行解码和显示。

在以下表中对以上解码方法和传统mpeg4解码器所需的CPU和存储器资源进行比较。在该表中，从所需乘法次数方面给出了CPU需求，并且从对每个帧进行解码所需的字节数目方面给出了存储器需求。

	传统mpeg-4 qcif解码器	针对cif文件的新mpeg-4解码器
			CPU需求	每个8×8IDCT需要192次乘法；每个qcif帧需要192*22*18*1.5＝114048次乘法	每个4×4IDCT需要32次乘法；每个cif帧需要：32*32*44*36*1.5＝76032次乘法；为了计算2×4参考矩阵，需要128次乘法；
		为了计算cif帧，需要128*44*36*1.5＝304128次乘法；总数＝380160次乘法。
			存储器需求	参考帧需要176*144*1.5字节；当前帧需要176*144*1.5字节	参考帧需要176*72*1.5字节；当前帧需要176*72*1.5字节

尽管以上乘法方法需要是普通解码器的多于3倍的乘法次数，但由于DCT模块对CPU的占有大约为整个mpeg-4解码过程的10％-15％，增加的CPU负载相对而言是较小的。通常，对于解码器，大部分CPU能力被运动补偿使用。与总的解码器CPU占有相比，IDCT仅占有大约CPU的10-15％。在IDCT过程中增加乘法次数，这使总的解码CPU占有仅增加大约20％-30％。由于最终的帧大小减小，需要读取和写入的数据量也减小，并且高速缓存的使用因此也减少。帧大小的减小意味着减少存储器的读取时间，因此使高速缓存未命中相应降低。这可以使解码更快速。当应用于对qcif格式的cif mpeg-4文件进行解码时，以上方法的解码速度估计是大约等于传统qcif mpeg-4解码过程的速度。

以下提供了一种通过向设备提供包括测试矩阵的数据来检测根据以上方法的解码是否正在设备中执行的方法。

以上方法将8×8矩阵变换成2×4矩阵，即：

A₂₄＝T*A₄＝T*D₄’*(I₄，O₄)*A₈*(I₄，O₄)’*D₄

其中，矩阵定义如上。

如果令A₈为特殊矩阵：

$\left[\begin{array}{cc}{D^{\′}}_4*S*D_4& M_1\\ M_2& M_3\end{array}\right]$

其中，D₄是4×4DCT变换矩阵，M₁、M₂、M₃是任意的4×4矩阵，以及S是以下矩阵：

$\left[\begin{array}{cccc}-a& -a& -a& -a\\ a& a& a& a\\ -a& -a& -a& -a\\ a& a& a& a\end{array}\right]$

其中，a≠0(a不等于零)。那么，如果根据以上方法对以上矩阵进行处理，则产生的A₂₄将是零矩阵。

作为用于检测是否正在执行根据以上方法的解码的示例测试方法，如果I帧由以上A₈矩阵的复制版本组成，则将解码帧显示为黑帧，这是由于所有解码后的数据将为0。然而，如果在传统解码器中对该I帧进行处理，则解码后的帧将不是黑帧。从而可以检测采用根据本发明的特定方面的方法的解码器。

其他实施例意在所附权利要求所限定的本发明的范围内。

Claims (11)

1.一种用于对数字视频文件进行解码的方法，所述数字视频文件包括多个编码帧，每个编码帧具有第一数目的像素，每个编码帧由整数倍的n阶方形矩阵组成，所述方法包括：

i)对于每个n阶方形矩阵，对n阶方形矩阵执行(103)离散余弦逆变换以产生m阶方形矩阵，其中m＜n；

ii)对于每个m阶方形矩阵，将m阶方形矩阵缩减(104)为p×m矩阵，其中，p＜m；

iii)对于每个帧，产生(202，203)解码帧，所述解码帧由从步骤ii)中导出的整数倍的p×m矩阵组成，

其中，每个解码帧具有小于第一像素数目的第二数目的像素。

2.根据权利要求1所述的方法，其中，步骤i)包括：执行以下矩阵计算：

A_m＝D′_m(I_m，O_m)A_n(I_m，O_m)′D_m

其中，A_m是m阶方形矩阵，D_m是m阶离散余弦变换矩阵，I_m是m阶单位矩阵，以及O_m是m阶零矩阵。

3.根据权利要求1或2所述的方法，其中，步骤ii)包括：执行以下矩阵计算：

A_pm＝T_pmA_m

其中，A_m是m阶方形矩阵，A_pm是p×m矩阵，以及

T_pm是具有如下元素的p×m矩阵：所述元素被选出，使得在矩阵计算中对A_m矩阵的行进行平均，以产生A_pm矩阵。

4.根据权利要求1所述的方法，其中，步骤iii)包括：产生由整数倍的p×m矩阵组成的YCbCr帧。

5.根据前述权利要求中任一项所述的方法，其中，n是m的整数倍，并且m是p的整数倍。

6.根据权利要求5所述的方法，其中，n为8，m为4，以及p为2。

7.根据权利要求3至6中任一项所述的方法，其中，T_pm是以下矩阵：

$\left[\begin{array}{cccc}0.5& 0.5& 0& 0\\ 0& 0& 0.5& 0.5\end{array}\right].$

8.根据前述权利要求中任一项所述的方法，其中，数字视频文件包括具有352×288像素分辨率的cif mpeg-4帧，并且每个解码帧被提升为具有176×144像素分辨率的cif帧。

9.一种检测方法，用于检测对包括多个编码帧在内的数字视频文件进行视频解码的方法，所述检测方法包括以下步骤：

i)提供包括测试帧的测试文件，所述测试帧由以下形式的多个测试矩阵组成：

$\left[\begin{array}{cc}{D^{\text{'}}}_4*S*D_4& M_1\\ M_2& M_3\end{array}\right]$

其中，D₄是4×4DCT变换矩阵，M₁、M₂、M₃是任意的4×4矩阵，以及S是以下矩阵：

$\left[\begin{array}{cccc}-a& -a& -a& -a\\ a& a& a& a\\ -a& -a& -a& -a\\ a& a& a& a\end{array}\right]$

其中，a≠0；

ii)执行根据权利要求7所述的方法；

iii)确定解码后的测试帧是否由零矩阵组成。

10.一种计算机程序产品，包括：其上具有计算机程序代码装置的计算机可读介质，所述计算机程序代码装置适用于当将所述程序加载到计算机中时使计算机执行权利要求1至9中任一项所述的方法。

11.一种手持便携式电子设备，用于执行根据权利要求1至9中任一项所述的方法。

Images