CN103905830A - 离散余弦逆变换方法及装置 - Google Patents

Abstract

本发明涉及视频多媒体技术开发领域，公开了一种离散余弦逆变换方法及装置。本发明中，通过统计离散余弦逆变换IDCT之前的矩阵中非零系数的个数，并根据非零系数的个数，进行可变系数的IDCT处理，对不同块的DCT非零系数情况采用不同的IDCT过程，而不全是采用全系数IDCT处理，使得离散余弦逆变换的处理速度得以提高，从而提升了多媒体解码器的性能。

Description

离散余弦逆变换方法及装置

技术领域

本发明涉及视频多媒体技术开发领域，特别涉及视频、图像编解码器中的离散余弦逆变换方法及装置。

背景技术

二维的离散余弦变换（以下简称DCT）和离散余弦逆变换（以下简称IDCT）在许多图像和视频数据压缩应用中起着关键的作用，是实现多种多媒体压缩标准（例如联合图像专家组JPEG、H.263、H.264、动态图像专家组MPEG系列协议）编解码算法的重要组成部分。DCT是把正交矩阵的时序变为频率信号，是一种近似于傅立叶变换的正交变换。这种变换具有输入序列的功率（平方和）同变换序列的功率相等的特点。也就是说，如果在某一地方由于变换导致功率集中的话，那么其它部分的功率将变小。图像信号具有在低频段时功率集中的特性，使高频率的功率变小。另外，人眼对高频段信号的视觉特性也不太敏感，利用这些特性，可对低频段部分进行细量化，而对高频段部分进行粗量化。

DCT先将整体图像分成N×N像素块，再对N×N块像素逐一进行DCT。由于大多数图像高频分量较小，相应于图像高频成分的失真不太敏感，可以用更粗的量化，在保证所要求的图质下，舍弃某些次要信息，这样，传送变换系数所用的数据率要大大小于传送像素所用的数据率。数据传送到接收端后，再通过IDCT变回到样值。这样做虽然会有一定的失真(也就是说这种压缩方式是有损的)，但大多数情况下，并不要求经压缩后的图像和原图完全相同，而允许有少量失真，只要这些失真不被人眼察觉就可以接受。这给压缩比的提高提供了有利的条件，可允许的失真愈多，可实现的压缩效率就愈高。

以N=8为例进行分析。二维8x8离散余弦变换和逆变换，分别完成的是数据从时域到频域，从频域到时域的变换，公式分别是：

$F(u,v)=\frac{1}{4}c\left(u\right)c\left(v\right)\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}f(x,y)\cos \frac{\mathrm{\π}(2x+1)u}{16}\cos \frac{\mathrm{\π}(2y+1)v}{16}---\left(1\right)$

$f(x,y)=\frac{1}{4}c\left(u\right)c\left(v\right)\underset{u=0}{\overset{7}{\mathrm{\Σ}}}\underset{v=0}{\overset{7}{\mathrm{\Σ}}}F(u,v)\cos \frac{\mathrm{\π}(2x+1)u}{16}\cos \frac{\mathrm{\π}(2y+1)v}{16}---\left(2\right)$

其中：x,y,u,v=0,1,2,...,7

式（1）和（2）也可以用矩阵表示如下：

F＝G·f·G^T                                    （4）

f=G^T·F·G                                     （5）

$G=\left[\begin{array}{cccc}\frac{1}{2\sqrt{2}}& \frac{1}{2\sqrt{2}}& ...& \frac{1}{2\sqrt{2}}\\ \frac{1}{2}\cos \frac{\mathrm{\π}}{16}& \frac{1}{2}\cos \frac{3\mathrm{\π}}{16}& ...& \frac{1}{2}\cos \frac{15\mathrm{\π}}{16}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ \frac{1}{2}\cos \frac{7\mathrm{\π}}{16}& \frac{1}{2}\cos \frac{21\mathrm{\π}}{16}& ...& \frac{1}{2}\cos \frac{105\mathrm{\π}}{16}\end{array}\right]=\left[\begin{array}{c}{G}_0\\ G_1\\ .\\ .\\ .\\ G_7\end{array}\right]---\left(6\right)$

G_u为矩阵G中各行所组成的矢量，二维8x8IDCT还可以表示为：

$f=\underset{u=0}{\overset{7}{\mathrm{\Σ}}}\underset{v=0}{\overset{7}{\mathrm{\Σ}}}F(u,v)\×G_u^T\×G_u=\underset{u=0}{\overset{7}{\mathrm{\Σ}}}\underset{v=0}{\overset{7}{\mathrm{\Σ}}}F(u,v)\×T_{\mathrm{uv}}---\left(7\right)$

其中：

被称为F(u,v)对应的基本图像。

设t_mn(u,v)为矩阵T_uv的元素，则二维8x8IDCT还可以表示为：

$f=\underset{u=0}{\overset{7}{\mathrm{\Σ}}}\underset{v=0}{\overset{7}{\mathrm{\Σ}}}F(u,v)t_{\mathrm{mn}}(u,v)---\left(8\right)$

可以看出二维8x8IDCT运算可以分解为两个一维的IDCT运算的叠加，即先对行进行IDCT变换，再对列进行IDCT变换，或者先对列进行IDCT变换，再对行进行IDCT变换，共需要进行1024次乘法，1024次加法。

随着超大规模集成电路VLSI技术的不断更新和进步，各种移动终端的体积越来越小，在没有特殊硬件加速器的情况下，对多媒体编解码性能有了很高的要求。在视频和图像的编解码算法中，IDCT算法需要很大的运算量，因而能否快速实现该算法就成了能否实现高速和实时多媒体处理的关键。

实际测试发现，对于连续视频序列的每一帧，除了跳帧和skip块之外都要进行DCT/IDCT变换，所以DCT/IDCT算法的运算量还是挺大的，而每个块进行完全IDCT运算量又比较大，因此进一步对某些连续运动序列的IDCT系数情况进行了实验统计，发现需要完全IDCT的块比例很小，其中skip块占有很大比例，只有低频几个系数需要IDCT的比例也很大，具体比例值取决于待测运动序列的运动剧烈程度。根据实验情况，针对根据不同系数情况分别进行IDCT变换能够提高IDCT模块或视频解码器的效率。

发明内容

本发明的目的在于提供一种离散余弦逆变换方法及装置，使得离散余弦逆变换的处理速度得以提高，从而提升了多媒体解码器的性能。

为解决上述技术问题，本发明的实施方式提供了一种离散余弦逆变换方法，包含以下步骤：

A．统计欲进行离散余弦逆变换IDCT的矩阵中非零系数的个数；

B．根据所述非零系数的个数，进行可变系数的IDCT处理。

本发明的实施方式还提供了一种离散余弦逆变换装置，包含：统计模块、IDCT处理模块；其中，所述统计模块用于统计欲进行IDCT的矩阵中非零系数的个数；所述IDCT处理模块用于根据所述非零系数的个数，进行可变系数的IDCT处理。

本发明实施方式相对于现有技术而言，通过统计离散余弦逆变换IDCT之前的矩阵中非零系数的个数，并根据非零系数的个数，进行可变系数的IDCT处理，对不同块的DCT非零系数情况采用不同的IDCT过程，使得离散余弦逆变换的处理速度得以提高，从而提升了多媒体解码器的性能。

另外，在根据所述非零系数的个数，进行可变系数的IDCT处理的过程中，包含以下几种情况：

a.如果所述非零系数的个数为零，则不进行IDCT处理；

b.如果只有直流DC系数为非零系数，则进行单系数IDCT处理；

c.如果所述非零系数的个数小于或者等于预设值，则进行预设个数系数IDCT处理；其中，所述预设值至少有1个，并根据DCT变换后系数的特点统计确定；所述预设个数系数IDCT处理的个数与所述预设值的个数相对应；

d.如果所述非零系数不满足所述a、b、c中提到的三种情况，则进行全系数IDCT处理。

根据DCT变换后矩阵的系数特点分为不同情况进行不同的IDCT处理，而不全是采用全系数IDCT处理，可以提高离散余弦逆变换的处理速度，从而提升了多媒体解码器的性能。

另外，在确定所述预设值的步骤中，包含以下子步骤：

输入不同类型的运动序列；

根据指定多媒体压缩标准中IDCT块大小、编码后DCT非零系数统计情况和实现过程中所采用的处理器特点，统计所有运动序列中不同非零系数个数块所占的比例和多媒体解码算法整体效率，确定所述预设值。

通过输入不同类型的运动序列进行实验，统计不同非零系数个数块占的比例和多媒体解码算法整体效率，确定IDCT的分支情况，从而使本发明不受处理器限制，不仅适用于ARM平台，也适用于其他任何处理平台。

另外，所述IDCT为N×N IDCT；其中，所述N根据采用的多媒体压缩标准设定；所述多媒体压缩标准包含：JPEG、H263、H264、MPEG系列等凡涉及到基于块的IDCT过程的协议；从而使本发明适用于被处理块大小为NxN的所有IDCT过程，应用范围广泛。

附图说明

图1是根据本发明第一实施方式的离散余弦逆变换方法的流程图；

图2是根据本发明第一实施方式的mpeg4解码器中二维8x8离散余弦逆变换方法的流程图；

图3是根据本发明第二实施方式的离散余弦逆变换装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种离散余弦逆变换方法，该方法通过统计离散余弦逆变换IDCT之前的矩阵中非零系数的个数，并根据非零系数的个数，进行可变系数的IDCT处理，对不同块的DCT非零系数情况采用不同的IDCT过程。具体流程如图1所示，包含以下步骤：

步骤101，统计欲进行离散余弦逆变换IDCT的矩阵中非零系数的个数；

步骤102，判断非零系数的个数是否为零，如是，则不进行IDCT处理，直接结束本流程；如否，则执行步骤103；

步骤103，判断是否只有直流DC系数为非零系数，如是，则执行步骤104；否则，执行步骤105；

步骤104，进行单系数IDCT处理，然后结束本流程；

步骤105，判断非零系数的个数是否小于或者等于预设值，如是，则执行步骤106；否则，执行步骤107；

步骤106，进行预设个数系数IDCT处理，然后结束本流程；

步骤107，进行全系数IDCT处理。

在步骤101至107中，IDCT为N×N IDCT；其中，N根据采用的多媒体压缩标准设定；多媒体压缩标准包含：JPEG、H263、H264、MPEG系列等凡涉及到基于块的IDCT过程的协议，从而使本实施方式适用于被处理块大小为NxN的所有IDCT过程，应用范围广泛。

在步骤105中，预设值根据DCT变换后系数的特点统计确定。具体地说，输入不同类型的运动序列，根据指定多媒体压缩标准中IDCT块大小、编码后DCT非零系数统计情况和实现过程中所采用的处理器特点，统计所有运动序列中不同非零系数个数块所占的比例和多媒体解码算法整体效率，确定预设值，该预设值至少有1个，并且步骤106中预设个数系数IDCT处理的个数与预设值的个数相对应，也就是说，有多少个预设值，在步骤106中就相应有多少IDCT处理过程，在此就不一一列举了。通过输入不同类型的运动序列进行实验，统计不同非零系数个数块占的比例和多媒体解码算法整体效率，确定IDCT的分支情况，从而使本实施方式不受处理器限制，不仅适用于ARM平台，也适用于其他任何处理平台，比如ZSP、DSP、基于PC的任何处理器等。

在多媒体算法处理中，DCT/IDCT变换考虑到人眼对于低频系数比较敏感，而对于高频系数比较不敏感，同时DCT变换之后矩阵呈现上三角系数集中，下三角系数分散的特点，采用之字形扫描（以下简称zigzag扫描）将这个特点转化为前几行系数集中，后几行系数分散。本实施方式正是在IDCT变换时利用了这一特点，节省运算量，同时结合处理器的运算特点，将IDCT的变换分成几种类型来进行，从而极大的降低了IDCT模块的计算复杂度。

实现过程中具体将变换过程分成几种类型，可以根据指定多媒体处理算法中IDCT块大小、编码后DCT非零系数统计情况和实现过程中采用的处理器特点，通过输入不同类型的运动序列进行实验，统计不同非零系数个数块占的比例和多媒体解码算法整体效率，确定IDCT的分支情况。

下面以基于ARM处理器的mpeg4解码器为例对该优化方案进行具体说明：mpeg4解码中IDCT块大小为8x8，即每个块有64个像素组成。对mpeg4编码DCT非零系数情况进行统计和解码算法整体效率衡量，可以将IDCT变换分以下几种情况来处理(如图2所示)：

1）逆zigzag扫描变换之前的矩阵中数据全部为0，不需要进行处理；

2）逆zigzag扫描变换之前的矩阵中只有DC系数不为0，其他数据全都为0，这种情况最简单，只需要进行一个系数的处理，进行两次乘法；

3）逆zigzag扫描变换之前的矩阵中最多只有前8个系数不为0，其他数据全都为0，进行8系数IDCT处理，需要进行36次乘法和112次加法；

4）逆zigzag扫描变换之前的矩阵中最多只有前20个系数不为0，其他数据全都为0，进行20系数IDCT处理，需要进行194次乘法和208次加法；

5）逆之字形扫描变换之前的矩阵中最多只有前34个系数不为0，其他数据全都为0，进行34系数IDCT处理，需要进行287次乘法和512次加法；

6）逆zigzag扫描变换之前的矩阵中的数据全都要处理，进行全系数IDCT处理，不省运算量。

上述MPEG4解码中8x8块IDCT例子中，在ADS环境下对MPEG4解码器的IDCT算法进行上述优化算法后，采用ARM926EJ-S处理器，测试用例的分辨率为320*240大小，总的解码性能较优化前采用8x8全系数运算有10%左右的提升，这对于资源比较紧张的嵌入式系统来说具有重要意义。

本实施方式的重点是根据DCT后系数特点按非零系数个数分别进行IDCT变换，上述流程中是MPEG-4解码器8x8块的优化情况，其他视频解码器具体处理流程可以采用本实施方式所述的方法，视开发过程中不同的DCT变换后系数特点而重新划定。

与现有技术相比，本实施方式通过统计离散余弦逆变换IDCT之前的矩阵中非零系数的个数，并根据非零系数的个数，进行可变系数的IDCT处理，对不同块的DCT非零系数情况采用不同的IDCT过程，而不全是采用全系数IDCT处理，使得离散余弦逆变换的处理速度得以提高，从而提升了多媒体解码器的性能。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第二实施方式涉及一种离散余弦逆变换装置，如图3所示，包含：统计模块、IDCT处理模块；其中，统计模块用于统计欲进行IDCT的矩阵中非零系数的个数；IDCT处理模块用于根据非零系数的个数，进行可变系数的IDCT处理。

IDCT处理模块进一步包含以下子模块：非零系数判定子模块、单系数IDCT子模块、预设个数系数IDCT子模块、全系数IDCT子模块。

非零系数判定子模块用于判断非零系数的个数。

IDCT处理模块在非零系数判定子模块判定非零系数的个数为零时，不进行IDCT处理。

单系数IDCT子模块在非零系数判定子模块判定只有直流DC系数为非零系数时，进行单系数IDCT处理。

预设个数系数IDCT子模块在非零系数判定子模块判定非零系数的个数小于或者等于预设值时，进行预设个数系数IDCT处理；其中，预设值至少有1个，并根据DCT变换后系数的特点统计确定，预设个数系数IDCT子模块的个数与预设值的个数相对应；也就是说，有多少个预设值，相应地，就有多少个预设个数系数IDCT子模块。

全系数IDCT子模块在非零系数判定子模块判定非零系数的个数不为零，且不满足采用单系数IDCT子模块、预设个数系数IDCT子模块的处理条件时，进行全系数IDCT处理。

在本实施方式中，IDCT处理模块进行N×N IDCT；其中，N根据采用的多媒体压缩标准设定；多媒体压缩标准包含：JPEG、H263、H264、MPEG系列等凡涉及到基于块的IDCT过程的协议；非零系数的预设个数根据DCT变换后系数的特点统计确定。

此外，预设个数系数IDCT子模块中的预设值，通过输入不同类型的运动序列，并根据指定多媒体压缩标准中IDCT块大小、编码后DCT非零系数统计情况和实现过程中所采用的处理器特点，统计所有运动序列中不同非零系数个数块所占的比例和多媒体解码算法整体效率确定。通过输入不同类型的运动序列进行实验，统计不同非零系数个数块占的比例和多媒体解码算法整体效率，确定IDCT的分支情况，从而使本实施方式不受处理器限制，不仅适用于ARM平台，也适用于其他任何处理平台，比如ZSP、DSP、基于PC的任何处理器等。

以MPEG4解码器为例，其中IDCT处理模块进行MPEG-4标准解码中的二维8×8IDCT；统计模块中统计的欲进行IDCT的矩阵为逆之字形zigzag扫描变换之前的矩阵；非零系数判定子模块判断逆zigzag扫描变换之前的矩阵中非零系数的个数。

预设个数系数IDCT子模块包含以下子模块：8系数IDCT子模块、20系数IDCT子模块、34系数IDCT子模块；

8系数IDCT子模块在非零系数判定子模块判定逆zigzag扫描变换之前的矩阵中最多只有前8个系数不为0，其他数据全都为0时，进行8系数IDCT处理。

20系数IDCT子模块在非零系数判定子模块判定逆zigzag扫描变换之前的矩阵中最多只有前20个系数不为0，其他数据全都为0时，进行20系数IDCT处理。

34系数IDCT子模块在非零系数判定子模块判定逆之字形扫描变换之前的矩阵中最多只有前34个系数不为0，其他数据全都为0时，进行34系数IDCT处理。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种离散余弦逆变换方法，其特征在于，包含以下步骤：

A．统计欲进行离散余弦逆变换IDCT的矩阵中非零系数的个数；

B．根据所述非零系数的个数，进行可变系数的IDCT处理。

2.根据权利要求1所述的离散余弦逆变换方法，其特征在于，在所述步骤B中，包含以下子步骤：

a.如果所述非零系数的个数为零，则不进行IDCT处理；

b.如果只有直流DC系数为非零系数，则进行单系数IDCT处理；

c.如果所述非零系数的个数小于或者等于预设值，则进行预设个数系数IDCT处理；其中，所述预设值至少有1个，并根据DCT变换后系数的特点统计确定；所述预设个数系数IDCT处理的个数与所述预设值的个数相对应；

d.如果所述非零系数不满足所述a、b、c中提到的三种情况，则进行全系数IDCT处理。

3.根据权利要求2所述的离散余弦逆变换方法，其特征在于，在确定所述预设值的步骤中，包含以下子步骤：

输入不同类型的运动序列；

根据指定多媒体压缩标准中IDCT块大小、编码后DCT非零系数统计情况和实现过程中所采用的处理器特点，统计所有运动序列中不同非零系数个数块所占的比例和多媒体解码算法整体效率，确定所述预设值。

4.根据权利要求1至3任一项所述的离散余弦逆变换方法，其特征在于，所述IDCT为N×N IDCT；其中，所述N根据采用的多媒体压缩标准设定；

所述多媒体压缩标准包含：联合图像专家组JPEG、H.263、H.264、动态图像专家组MPEG系列协议。

5.根据权利要求4所述的离散余弦逆变换方法，其特征在于，所述IDCT为MPEG-4标准解码中的二维8×8IDCT；

所述欲进行IDCT的矩阵为逆之字形zigzag扫描变换之前的矩阵；

在进行预设个数系数IDCT处理步骤中，包含以下子步骤：

如果所述逆zigzag扫描变换之前的矩阵中最多只有前8个系数不为0，其他数据全都为0，则进行8系数IDCT处理；

如果所述逆zigzag扫描变换之前的矩阵中最多只有前20个系数不为0，其他数据全都为0，则进行20系数IDCT处理；

如果所述逆之字形扫描变换之前的矩阵中最多只有前34个系数不为0，其他数据全都为0，则进行34系数IDCT处理。

6.一种离散余弦逆变换装置，其特征在于，包含：统计模块、IDCT处理模块；

其中，所述统计模块用于统计欲进行IDCT的矩阵中非零系数的个数；

所述IDCT处理模块用于根据所述非零系数的个数，进行可变系数的IDCT处理。

7.根据权利要求6所述的离散余弦逆变换装置，其特征在于，所述IDCT处理模块包含以下子模块：非零系数判定子模块、单系数IDCT子模块、预设个数系数IDCT子模块、全系数IDCT子模块；

所述非零系数判定子模块用于判断所述非零系数的个数；

所述IDCT处理模块在所述非零系数判定子模块判定所述非零系数的个数为零时，不进行IDCT处理；

所述单系数IDCT子模块在所述非零系数判定子模块判定只有直流DC系数为非零系数时，进行单系数IDCT处理；

所述预设个数系数IDCT子模块在所述非零系数判定子模块判定所述非零系数的个数小于或者等于预设值时，进行预设个数系数IDCT处理；其中，所述预设值至少有1个，并根据DCT变换后系数的特点统计确定；预设个数系数IDCT子模块的个数与所述预设值的个数相对应；

所述全系数IDCT子模块在所述非零系数判定子模块判定所述非零系数的个数不为零，且不满足采用所述单系数IDCT子模块、所述预设个数系数IDCT子模块的处理条件时，进行全系数IDCT处理。

8.根据权利要求7所述的离散余弦逆变换装置，其特征在于，所述预设个数系数IDCT子模块中的预设值，通过输入不同类型的运动序列，并根据指定多媒体压缩标准中IDCT块大小、编码后DCT非零系数统计情况和实现过程中所采用的处理器特点，统计所有运动序列中不同非零系数个数块所占的比例和多媒体解码算法整体效率确定。

9.根据权利要求6至8中任一项所述的离散余弦逆变换装置，其特征在于，所述IDCT处理模块进行N×N IDCT；其中，所述N根据采用的多媒体压缩标准设定；

所述多媒体压缩标准包含：联合图像专家组JPEG、H.263、H.264、动态图像专家组MPEG系列协议。

10.根据权利要求9所述的离散余弦逆变换装置，其特征在于，所述IDCT处理模块进行MPEG-4标准解码中的二维8×8IDCT；

所述统计模块中统计的欲进行IDCT的矩阵为逆之字形zigzag扫描变换之前的矩阵；

所述非零系数判定子模块判断所述逆zigzag扫描变换之前的矩阵中非零系数的个数；

所述预设个数系数IDCT子模块包含以下子模块：8系数IDCT子模块、20系数IDCT子模块、34系数IDCT子模块；

所述8系数IDCT子模块在所述非零系数判定子模块判定所述逆zigzag扫描变换之前的矩阵中最多只有前8个系数不为0，其他数据全都为0时，进行8系数IDCT处理；

所述20系数IDCT子模块在所述非零系数判定子模块判定所述逆zigzag扫描变换之前的矩阵中最多只有前20个系数不为0，其他数据全都为0时，进行20系数IDCT处理；

所述34系数IDCT子模块在所述非零系数判定子模块判定所述逆之字形扫描变换之前的矩阵中最多只有前34个系数不为0，其他数据全都为0时，进行34系数IDCT处理。

Images