CN101459842B - 一种空间降采样解码方法和装置 - Google Patents

Abstract

本发明公开了一种空间降采样解码方法，步骤包括：1输入编码视频码流，经过变长码解码与反量化编码得到DCT块；2对于帧内编码码流，将DCT块划分为高频信息和低频信息，低频信息通过反变换后重建低分辨率图像并输出；对于帧间编码码流，执行以下步骤：将DCT块分为高频信息Res-H和低频信息Res-L并分别进入高频回路和低频回路进行运动补偿得到高频信息H-H和低频信息H-L；高频信息Res-H的至少一部分和高频信息H-H的至少一部分相加得到高频参考帧送入高频帧存中用于后续帧的高频运动补偿；同时，低频信息Res-L和低频信息H-L相加进行反变换得到像素域残差，再与低频信息L-L相加得到低频参考帧送入低频存帧进行低频运动补偿，并在像素域重建低分辨率图像并输出。

Description

一种空间降采样解码方法和装置

技术领域

本发明涉及图像编码领域，更具体地说，本发明涉及一种基于DCT域降采样算法的高频补偿空降采样解码方法和装置。

背景技术

离散余弦变换(Discrete Cosine Transform，简称DCT变换)是一种与傅立叶变换紧密相关的数学运算，IDCT是逆离散余弦变换。DCT域转码不需要DCT及IDCT运算，计算复杂性较低，且能较好地保持图像质量，因而受到重视。视频压缩技术的发展使视频数据得到更有效的压缩，但是相应的计算复杂度也不断增加，同时现今视频内容在向高分辨率的方向发展，这造成解码视频码流所需的计算量与存储空间很大。空间降采样解码技术能够在解码过程中降低视频图像分辨率，降低计算量与存储空间开销。

在许多视频播放终端上，由于信息输出能力(屏幕尺寸等)有限，进行视频播放时并不能输出码流包含的全部信息。传统的方法是解出码流中的全部信息，然后将不需要的信息丢弃，例如在标清电视上播放高清电视信号时，需要先从码流中解出高分辨率视频图像，然后通过后处理降采样单元降低分辨率以适应输出屏幕。空间降采样解码技术将信息丢弃的过程整合到解码过程中，从而降低解码所需的计算量或存储空间。在符合以下两个特征的场合：不需要码流中的全部信息、对解码速度或解码所需存储空间有较高要求，降采样解码技术都能发挥重要作用，例如便携多媒体终端、多媒体数据库视频内容检索、标清电视上播放高清视频码流等。

现有空间降采样解码器基本结构如图7所示。与标准解码器相比，空间降采样解码器主要有两点不同：1.经过变长码解码和反量化得到DCT块后，先在DCT域完成降采样与反变换；2.帧存储器中存储的是降采样后的低分辨率参考帧，在低分辨率参考帧上进行运动补偿。VLD是指变长码解码，这个模块的作用是从码流中解出经过量化的DCT块。

对图像进行降采样的过程实际上是抛弃信息的过程，通常被抛弃的信息是图像的高频信息。DCT域降采样算法以块为单位进行，因此保存下来的低频信息与被抛弃的高频信息都是在一个块区域内的高低频信息。运动补偿并不是块对齐的，将若干个块的部分区域拼接为一个新的块时，会产生新的频率信息，这种现象称为运动补偿的频率扩散。

最常用的DCT域降采样算法是截取法。假设DCT系数块大小为M×N，M、N为正整数；水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y为大于1的实数，必须满足M/X、N/Y为整数。截取左上角(M/X)×(N/Y)区域的DCT系数进行幅度修正IDCT变换完成降采样。

低分辨率运动补偿在降采样后的低分辨率参考帧上进行，由于降采样的过程丢弃了一些高频信息，造成残差与预测块不匹配，引起解码图像质量下降。由于采用运动补偿的解码器结构具有递归特性，一帧的误差会被以此帧为参考帧的后续帧继承，导致误差沿着P帧不断扩散积累。A.Vetro与H.Sun在论文On the motion compensation within a down-conversiondecoder.Journal of Electronic Imaging，vol.7，no.3，pp.616-627，Jul.1998.中提出了低分辨率运动补偿算法，其基本思想是将参考图像升采样后进行运动补偿，然后再作降采样处理，升采样算法与降采样算法相关。

低分辨率运动补偿算法能够有效减缓空间降采样解码器误差累积速度，但是并不能消除这种误差。视频编码的发展趋势是码流中I帧间隔越来越大，这种情况下误差积累带来的质量问题将更为突出。如果一个画面组GOP中P帧数量较多，即使采用低分辨率运动补偿算法，到了一个画面组GOP的末段解码图像质量也会出现严重下滑。

发明内容

本发明提供了一种空间降采样解码方法，该方法在空间降采样解码器中加入高频回路，保留了高频运动补偿产生的低频信息。

一种空间降采样解码方法包括以下步骤：

1.输入编码视频码流，经过变长码解码与反量化得到DCT块；

视频码流的变长码解码可以解码一部分，以降低解码所需的计算量或存储空间，但是解码部分至少包含低频信息和进行高频运动补偿的高频信息，即DCT块的左上角解码线与x轴和y轴围成的区域，该区域包含了所有的低频信息和部分的高频信息。设DCT块大小为M×N，M、N为正整数，水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y为大于1的实数，且满足M/X、N/Y为整数，左上角(M/X)×(N/Y)区域为DCT块的低频信息，如果起始点为原点，直角坐标系的x轴正方向向右，直角坐标系的y轴正方向向下，则左上角解码线即是过点(M/X，N/Y)的且平行于DCT块的副对角线MN的直线，左上角解码线与x轴和y轴围成的区域包含了所有的低频信息和重要的部分高频信息。

2.对于帧内编码的码流，将从码流中得到的DCT块按照截取法划分为高频信息和低频信息，截取后的低频信息通过反变换IDCT在像素域重建低分辨率图像并输出解码后的图像。

所述的截取法为：设DCT块大小为M×N，M、N为正整数，水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y为大于1的实数，且满足M/X、N/Y为整数，则DCT块的左上角(M/X)×(N/Y)区域为DCT块的低频信息，剩余区域为高频信息。

视频码流分为帧内编码的码流和帧间编码的码流。对于帧间编码的码流，执行以下步骤：

(1)将从码流中得到的DCT块按照截取法划分为高频信息Res-H、低频信息Res-L，高频信息与低频信息分别进入高频回路与低频回路，其中高频信息Res-H和低频信息Res-L都是DCT域中的；

(2)高频回路在DCT域进行运动补偿得到，低频回路在像素域进行运动补偿得到低频信息L-L，其中高频信息H-H、低频信息H-L和高频信息L-H都是在DCT域中的，低频信息L-L是像素域中的；

低频回路在像素域进行运动补偿生成高频信息L-H的步骤如下：

I.在低频回路中对所有需要进行运动补偿的块进行幅度修正DCT变换，得到大小均为(M/X)×(N/Y)的DCT块，其中M、N为正整数，Y∶1为水平方向降采样比例，X∶1为垂直方向降采样比例，X、Y为大于1的实数，且满足M/X、N/Y为整数；

II.将步骤I得到的DCT块扩展大小为M×N的DCT系数块，原有系数位于左上角，剩余部分的系数补0；

III.对大小为M×N的DCT系数块进行IDCT变换得到升采样的像素块，根据像素块的运动矢量通过普通的运动补偿方法从像素块中获得预测块；

IV.对预测块进行DCT变换，得到新的DCT块，采用截取法将新的DCT块划分为高频信息L-H与低频信息L-L，将高频信息L-H送回到高频回路；

(3)当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加得到高频DCT系数的至少一部分形成高频DCT域参考帧送入高频DCT帧存中用于后续帧的高频DCT域运动补偿；

(4)与步骤(3)同时，当前帧的低频信息Res-L和高频回路运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频信息L-L相加得到低频像素域参考帧送入低频分辨率存帧进行低频像素域运动补偿，并在像素域重建低分辨率图像，即解码后的输出图像；

(5)输出解码后的图像。

更进一步，本发明所述的一种空间降采样解码方法将步骤4改进得到新的方法：低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频部分Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到的高频DCT系数形成高频DCT域参考帧送入高频DCT帧存中用于后续帧的高频DCT域运动补偿。

得到的参与高频运动补偿的高频DCT系数，保留出现频率较高的高频DCT系数，常用的高频DCT系数保留模板有a、保留过点(M/X-1，N/Y-1)且平行于DCT块副对角线的直线左上方的所有高频DCT系数；b、保留(M/X，0)、(M/X+1，0)...(M-1，0)和(0，N/Y)、(0，N/Y)...(0，N-1)的DCT高频系数；c、除保留a中所有高频DCT系数之外，还保留第一行和第一列剩余的所有高频DCT系数；d、保留(M/X，0)和(0，N/Y)两个DCT高频系数；e、保留(M/X，0)、(M/X+1，0)和(0，N/Y)、(0，N/Y+1)四个DCT高频系数，保留(M/X，0)、(M/X，1)和(0，N/Y)、(1，N/Y)四个DCT高频系数；f、保留(M/X，0)、(M/X+1，0)、(M/X+2，0)和(0，N/Y)、(0，N/Y+1)、(0，N/Y+2)六个DCT高频系数。

一种空间降采样解码装置，它包括以下部分：

用于视频序列输入的编码视频输入码流装置；

用于视频序列空间降采样解码的高频补偿空间降采样解码器；

用于解码后的视频图像显示的显示装置；

其特征在于，所述的高频补偿空间降采样解码器包括：

用于从视频序列中解出经过量化的DCT块的变长解码单元；

用于将量化的DCT块进行反量化的反量化单元；

用于视频码流信息的叠加的加法单元1、加法单元2和加法单元3；

用于视频码流当前帧低频信息Res-L和高频回路运动补偿生成的低频信息H-L进行反变换IDCT得到像素域残差的反变换单元；

用于存储像素域的低分辨率图像的存储单元；

用于视频码流的当前帧的低频信息Res-L和高频回路运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频信息L-L相加得到低频像素域参考帧存储的低频帧存储单元；

用于视频序列的低频像素域参考帧进行低频运动补偿的低频运动补偿单元；

用于视频序列的低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到高频DCT系数形成高频DCT域参考帧的存储的高频DCT帧存储单元；

用于视频序列的高频DCT域参考帧进行高频运动补偿的高频DCT运动补偿单元；

用于视频序列的输出图像的控制和加速显示的显示控制加速单元。

空间降采样解码器最后输出的是低频回路的重建图像，低频回路在像素域进行运动补偿中产生的高频信息L-H通过频率扩散产生，即L-H＝D(L)，D表示频率扩散；这部分高频信息并不会直接影响低频信息，而要通过再一次的频率扩散才能产生低频信息，即L′＝D(L-H)＝D(D(L))；且频率扩散产生能量较小，因此去掉二次以及二次以上频率扩散产生的低频信息，即去掉低频回路对高频回路的补偿L-H，对解码效果影响不大。

低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频部分Res-H的至少一部分和高频回路DCT域运动补偿生成高频DCT块H-H的至少一部分是指高频信息和低频信息划分好之后，保留任意位置的部分或者全部的高频信息，保留高频信息实际上就是保留高频信息系数原值不变，舍弃高频信息实际上就是将高频信息该位置上的系数值直接设为0。所述的任意位置的高频信息是指在划分好的高频范围内的任意位置，这个任意是没有规律的，当然实际应用中会用一些比较好的保留模板。

在高频信息和低频信息划分的方法中低频范围与降采样比例的有关系：例如一个8×8的块，如果水平垂直降采样比例都是2∶1，那么左上角的4×4范围就是低频区域，如果水平垂直降采样比例都是4∶1，那么左上角的2×2范围就是低频区域。不同的块大小和不同的降采样比例会产生不同的高低频范围。高频信息和低频信息的范围根据块大小以及降采样比例确定。在某一个具体应用中，块大小和降采样比例都是确定的，高频信息和低频信息的范围也是确定的。

视频码流中高频信息的出现的可能性比较小，因此只保留重要的高频信息进入高频回路能够在减少存储器和计算量开销的同时尽可能地保证解码图像质量，保留高频信息的数量与位置可根据对解码图像质量的要求确定。

本发明方法较好的解决了空间降采样解码器的误差累积问题，通过本发明方法得到的解码图像质量与现有空间降采样解码器相比有很大提升，而且空间降采样解码方法在解码过程中完成空间分辨率降采样，直接输出低分辨率视频图像，在便携多媒体终端、多媒体数据库视频内容检索、标清电视上播放高清视频码流等领域中将具有广泛地应用。

附图说明

图1本发明方法的技术方案流程图；

图2为采用本发明方法中变长码解码范围及截取法的截取范围示意图；

图3为采用本发明方法改进前的空间降采样解码方法的框图；

图4为采用本发明方法改进后的空间降采样解码方法的框图；

图5为降采样过程中九种高频信息保留模板示意图；

图6为加入L-H的模板A、加入L-H的模板D和不加入L-H的模板A的高频补偿空间降采样解码器解码foreman序列码流重建图像峰值信噪比曲线示意图；

图7为现有空间降采样解码方法的框图；

图8为本发明空间降采样解码装置的功能框图；

图9为本发明空间降采样解码装置中高频补偿空间降采样解码装置的模块框图。

具体实施方式

下面结合附图对本发明一种空间降采样解码方法的实施例进行详细说明。

一种空间降采样解码方法包括以下步骤：

1.输入编码视频码流，经过变长码解码与反量化得到DCT块；

2.对于帧内编码的码流，将从码流中得到的DCT块按照截取法划分为高频信息和低频信息，截取后的低频信息通过反变换IDCT在像素域重建低分辨率图像并输出解码后的图像；

如图1所示，对于帧间编码的码流，执行以下步骤：

(1)将从码流中得到的DCT块按照截取法划分为高频信息Res-H、低频信息Res-L，高频信息与低频信息分别进入高频回路与低频回路；(2)高频回路在DCT域进行运动补偿得到高频信息H-H和低信息H-L，低频回路在像素域进行运动补偿得到高频信息L-H和低频信息L-L；(3)当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到高频DCT系数形成高频DCT域参考帧送入高频DCT帧存中用于后续帧的高频DCT域运动补偿；(4)与步骤(3)同时，当前帧的低频信息Res-L和高频回路DCT域运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频像素域信息L-L相加得到低频像素域参考帧送入低频分辨率存帧进行低频像素域运动补偿，并在像素域重建低分辨率图像，即解码后的输出图像；(5)输出解码后的图像。

更进一步，本发明所述的一种空间降采样解码方法将步骤(3)改进得到新的方法：低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到高频DCT系数，形成高频DCT域参考帧送入高频DCT帧存中用于后续帧的高频DCT域运动补偿。

采用本发明方法改进前的空间降采样解码方法的框图如图3所示，现具体介绍本方法的步骤：

一种空间降采样解码方法包括以下步骤：

1.输入编码视频码流，经过变长码解码与反量化得到DCT块；

视频码流的变长码解码可以解码一部分，以降低解码所需的计算量或存储空间，示意图如图2所示，解码部分至少包含DCT块的左上角解码线与x轴和y轴围成的区域，即图2中的OAB区域，该部分包含了所有的低频信息和部分高频信息，解码后保留的高频信息进入高频回路进行运动补偿。在直角坐标系中，设DCT块大小为M×N，M、N为正整数，水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y为大于1的实数，且满足M/X、N/Y为整数，如果起始点为原点，如果起始点为原点，直角坐标系的x轴正方向向右，直角坐标系的y轴正方向向下，则左上角解码线AB即是过点(M/X，N/Y)的且平行于DCT块的副对角线MN的直线，左上角解码线AB与x轴和y轴围成的区域包含了所有的低频信息和重要的部分高频信息。

2.对于帧内编码的码流，将从码流中得到的DCT块按照截取法划分为高频信息和低频信息，截取后的低频信息通过反变换IDCT在像素域重建低分辨率图像并输出解码后的图像。

对于帧间编码的码流，执行以下步骤：

(1)将从码流中得到的DCT块按照截取法划分为高频信息Res-H、低频信息Res-L，高频信息与低频信息分别进入高频回路与低频回路，其中高频信息Res-H和低频信息Res-L都是DCT域中的；

如图2所示，所述的截取法为：设DCT块大小为M×N，M、N为正整数，水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y均为大于1的实数，且满足M/X、N/Y为整数，则DCT块的左上角(M/X)×(N/Y)区域为DCT块的低频信息，剩余区域为高频信息；

(2)高频回路在DCT域进行运动补偿得到，低频回路在像素域进行运动补偿得到低频信息L-L，其中高频信息H-H、低频信息H-L和高频信息L-H都是在DCT域中的，低频信息L-L是像素域中的；

低频回路在像素域进行运动补偿生成高频信息L-H的步骤如下：

I.在低频回路中对所有需要进行运动补偿的块进行幅度修正DCT变换，得到大小均为(M/X)×(N/Y)的DCT块，其中M、N为正整数，Y∶1为水平方向降采样比例，X∶1为垂直方向降采样比例，X、Y为大于1的实数，且满足M/X、N/Y为整数；

II.将步骤I得到的DCT块扩展大小为M×N的DCT系数块，原有系数位于左上角，剩余部分的系数补0；

III.对大小为M×N的DCT系数块进行IDCT变换得到升采样的像素块，根据像素块的运动矢量通过普通的运动补偿方法从像素块中获得预测块；

IV.对预测块进行DCT变换，得到新的DCT块，采用截取法将新的DCT块划分为高频信息L-H与低频信息L-L，将高频信息L-H送回到高频回路；

(3)当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到高频DCT系数形成高频DCT域参考帧，送入高频DCT帧存进行高频DCT域运动补偿；

(4)与步骤(3)同时，当前帧的低频信息Res-L和高频回路运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频信息L-L相加得到低频像素域参考帧送入低频分辨率存帧进行低频像素域运动补偿，并在像素域重建低分辨率图像，即解码后的输出图像；

(5)输出解码后的图像；

更进一步，本发明所述的一种空间降采样解码方法将步骤4改进得到新的方法，采用本发明方法改进后的空间降采样解码方法的框图如图4所示：低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频部分Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到高频DCT系数形成高频DCT域参考帧，送入高频DCT帧存中用于后续帧的高频DCT域运动补偿。

如图8所示，一种空间降采样解码装置，它包括以下部分：

用于视频序列输入的编码视频输入码流装置；

用于视频序列空间降采样解码的高频补偿空间降采样解码器；

用于解码后的视频图像显示的显示装置；

其中高频补偿空间降采样解码器的结构如图9所示，包括：

用于从视频序列中解出经过量化的DCT块的变长解码单元；

用于将量化的DCT块进行反量化的反量化单元；

用于视频码流信息的叠加的加法单元1、加法单元2和加法单元3；

用于视频码流当前帧低频信息Res-L和高频回路运动补偿生成的低频信息H-L进行反变换IDCT得到像素域残差的反变换单元；

用于存储像素域的低分辨率图像的存储单元；

用于视频码流的当前帧的低频信息Res-L和高频回路运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频信息L-L相加得到低频像素域参考帧存储的低频帧存储单元；

用于视频序列的低频像素域参考帧进行低频运动补偿的低频运动补偿单元；

用于视频序列的低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加得到高频DCT域参考帧的存储的高频DCT帧存储单元；

用于视频序列的高频DCT域参考帧中用于后续帧的高频运动补偿的高频DCT运动补偿单元；

用于视频序列的输出图像的控制和加速显示的显示控制加速单元。

在图9所示的高频补偿空间降采样解码器中，编码视频码流先输入到高频补偿空间降采样解码器中，经过变长解码单元和反量化单元得到DCT块；对视频序列中帧内编码的码流，通过反变换单元对DCT块中的低频部分进行离散余弦反变换，生成低频输出图像并送入低频帧存储单元，而DCT块中的高频部分送入高频DCT运动补偿单元；对视频序列中帧间编码的码流，高频DCT域运动补偿单元得到的低频DCT系数与低频残差相加，然后送入反变换单元进行反变换得到像素域残差，再与低频运动补偿单元得到的低频部分相加得到输出图像，并送入低频存储单元中；而低频运动补偿单元得到的高频部分送回高频回路，与高频残差以及高频运动补偿单元产生的高频部分相加得到高频DCT参考帧，送入高频DCT帧存储单元。低频存储单元中的输出图像，通过显示装置进行显示，而显示控制加速模块起到控制和加速显示的作用。

空间降采样解码装置最后输出的是低频回路的重建图像，低频回路在像素域进行运动补偿中产生的高频信息L-H通过频率扩散产生，即L-H＝D(L)，D表示频率扩散；这部分高频信息并不会直接影响低频信息，而要通过再一次的频率扩散才能产生低频信息，即L′＝D(L-H)＝D(D(L))；且频率扩散产生能量较小，因此去掉二次以及二次以上频率扩散产生的低频信息，即去掉低频回路对高频回路的补偿L-H，对解码效果影响不大。

低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频部分Res-H的至少一部分和高频回路DCT域运动补偿生成高频DCT块H-H的至少一部分是指高频信息和低频信息划分好之后保留任意位置的部分或者全部的高频信息，保留高频信息实际上就是保留高频信息系数原值不变，舍弃高频信息实际上就是将高频信息该位置上的系数值直接设为0。所述的任意位置的高频信息是指在划分好的高频范围内的任意位置，这个任意是没有规律的，当然实际应用中会用一些比较好的保留模板。

在高频信息和低频信息划分的方法中低频范围与降采样比例的有关系：例如一个8×8的块，如果水平垂直降采样比例都是2∶1，那么左上角的4×4范围就是低频区域，如果水平垂直降采样比例都是4∶1，那么左上角的2×2范围就是低频区域。不同的块大小和不同的降采样比例会产生不同的高低频范围。高频信息和低频信息的范围根据块大小以及降采样比例确定。在某一个具体应用中，块大小和降采样比例都是确定的，高频信息和低频信息的范围也是确定的。

视频码流中高频信息的出现的可能性比较小，因此只保留重要的高频信息进入高频回路能够在减少存储器和计算量开销的同时尽可能地保证解码图像质量，保留高频信息的数量与位置可根据对解码图像质量的要求确定。

在具体应用的过程中本发明可以采用不同的软件平台和测试序列进行实施，为了简单说明该方法的效果，下面以Xvid1.1.3作为软件平台，选择了几个英文名的akiyo、carphone、coastguard、flower、foreman、mobile、mother_daughter、news、silence、tempete等具有代表性的视频序列作为示例性实施。

以Xvid1.1.3作为软件平台，分别实现了采用现有的空间降采样解码方法和采用本发明方法对视频序列进行解码。视频序列码流由Xvid1.1.3编码器生成，原始序列是分辨率为352×288的CIF序列，码率设置为4Mb/s，画面组GOP长度为100帧，没有B帧。原始序列采用半像素精度运动补偿，而未采用全局运动补偿。

视频序列的空间降采样比例在水平垂直方向均为2∶1，对应的DCT降采样截取算法为截取8×8 DCT系数块的左上角4×4 DCT系数。

高频信息DCT系数在DCT块中不同位置出现的概率不同，DCT块中的不同位置所出现如下。

表1  高频信息DCT系数在DCT块中不同位置出现的概率初步统计图

Y/X

0

1

2

3

4

5

6

7

0

28.62％

20.89％

18.18％

16.81％

15.54％

13.28％

9.17％

4.86％

1

21.70％

18.44％

16.56％

15.32％

14.12％

11.59％

7.97％

3.67％

2

19.87％

17.29％

15.56％

14.38％

13.00％

10.63％

6.77％

3.15％

3

18.67％

16.13％

14.48％

13.33％

11.89％

9.26％

5.82％

2.23％

4

17.07％

14.49％

12.85％

11.52％

10.08％

7.57％

4.25％

1.59％

5

14.14％

11.91％

10.09％

8.93％

7.41％

5.29％

2.75％

0.76％

6

10.75％

8.35％

7.03％

5.76％

4.68％

3.08％

1.48％

0.40％

7

6.82％

5.31％

4.23％

3.61％

2.73％

1.92％

0.91％

0.25％

从表1中可以看出高频DCT系数出现的几率较小，因此可以对高频运动补偿回路做简化，只保留高频DCT系数中相对低频的若干个系数参与高频运动补偿，这些待保留的系数是一些出现几率大的高频DCT系数。

得到的参与高频运动补偿的高频DCT系数，保留出现频率较高的高频DCT系数，常用的高频DCT系数保留模板有a、保留过点(M/X-1，N/Y-1)且平行于DCT块副对角线的直线左上方的所有高频DCT系数；b、保留(M/X，0)、(M/X+1，0)...(M-1，0)和(0，N/Y)、(0，N/Y)...(0，N-1)的DCT高频系数；c、除保留a中所有高频DCT系数之外，还保留第一行和第一列剩余的所有高频DCT系数；d、保留(M/X，0)和(0，N/Y)两个DCT高频系数；e、保留(M/X，0)、(M/X+1，0)和(0，N/Y)、(0，N/Y+1)四个DCT高频系数，保留(M/X，0)、(M/X，1)和(0，N/Y)、(1，N/Y)四个DCT高频系数；f、保留(M/X，0)、(M/X+1，0)、(M/X+2，0)和(0，N/Y)、(0，N/Y+1)、(0，N/Y+2)六个DCT高频系数。

本发明方法试验采用了四种高频信息保留方式，如图5中所示的A、B、C、D四种模板，模板A保留了出现频率最高的前8个高频信息DCT系数；模板B保留了出现频率最高的前6个高频信息DCT系数；模板C保留了出现频率最高的前4个高频信息DCT系数；模板D保留了出现频率最高的前2个高频信息DCT系数；图5中其余的几种高频信息保留方式的模板在实际应用中也有十分广泛的运用。

采用本发明方法改进后的视频解码方法与现有的图像解码方法得到的解码图像峰值信噪比如表2所示：

表2本发明方法改进后的视频解码方法与现有图像解码方法的解码质量比较

由表2可以看出，随着保留的高频信息的减少，解码质量不断下降。对于小运动序列如akiyo，四种简化模板都有较好的解码质量，能够有效控制误差累积速度，模板A解码质量与完整模板非常接近；对于运动比较剧烈的序列如foreman，模板A与模板B效果仍然能够有效控制误差累积速度，模板C与模板D在某些视频场景移动时未能控制误差累积速度，信噪比急剧下降，解码图像出现一定的失真；对于运动非常剧烈的序列如coastguard，四种模板均有失真，模板C与模板D失真较为严重。采用简化模板的高频补偿空间降采样解码器相对现有的不带高频回路的空间降采样解码器解码图像质量都有显着提高，模板A解码图像信噪比平均提高约3dB，最差的模板D平均也提高约1.5dB。

采用本发明方法的视频解码方法与本发明方法改进后的视频解码方法得到的解码图像峰值信噪比如表3所示：

表3本发明方法改进前和改进后的解码图像的质量比较

由表3结果可以看出加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板A、不加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板A与加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板D的高频补偿空间降采样解码图像的性能。从以上数据可以看出，不加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板A的解码质量与加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板D解码器解码质量相当，但是入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板解码质量更稳定。对于运动比较剧烈的序列前者解码质量较高且比较稳定，例如图6中foreman序列第二个GOP的末段，前者的峰值信噪比保持原有水准，而后者的峰值信噪比急剧下降；对于运动较小的序列如mother_daughter，后者的解码质量略好，原因是运动较小的序列高频DCT系数出现概率较低。

如图6所示，该图为foreman视频序列在加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板A、不加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板A与加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分的简化模板D的高频补偿空间降采样几种方法中的解码图像的峰值信噪比曲线示意图。

Claims (10)

1.一种空间降采样解码方法,包括以下步骤：

(1)输入编码视频码流，经过变长码解码与反量化得到DCT块；

(2)对于帧内编码的码流，将从码流中得到的DCT块按照截取法划分为高频信息和低频信息，截取后的低频信息通过反变换IDCT在像素域重建低分辨率图像并输出重建的低分辨率图像；

对于帧间编码的码流，执行以下步骤：

I.将从码流中得到的DCT块按照截取法划分为高频信息Res-H、低频信息Res-L，高频信息与低频信息分别进入高频回路与低频回路；

II.高频回路在DCT域进行运动补偿得到高频信息H-H和低频信息H-L，低频回路在像素域进行运动补偿得到高频信息L-H和低频信息L-L；

III.当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加，得到高频DCT系数的至少一部分形成高频DCT域参考帧送入高频DCT帧存储单元中用于后续帧的进行高频DCT域运动补偿；

IV.与步骤III同时，当前帧的低频信息Res-L和高频回路运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频信息L-L相加得到低频像素域参考帧送入低频分辨率存帧中进行低频像素域运动补偿，并在像素域重建低分辨率图像；

V.输出像素域重建的低分辨率图像。

2.根据权利要求1所述的空间降采样解码方法，其特征在于：步骤(1)中视频序列每一帧的变长码解码，至少解码到DCT块的左上角解码线与x轴和y轴围成的区域，该区域包含了所有的低频信息和部分的高频信息；

设DCT块大小为M×N，M、N为正整数，水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y为大于1的实数，且满足M/X、N/Y为整数，左上角(M/X)×(N/Y)区域为DCT块的低频信息；

在直角坐标系中，起始点为原点，直角坐标系的x轴正方向向右，直角坐标系的y轴正方向向下，则左上角解码线即是过点(M/X，N/Y)的且平行于DCT块的副对角线MN的直线，左上角解码线与x轴和y轴围成的区域包含了所有的低频信息和部分高频信息。 

3.根据权利要求1所述的空间降采样解码方法，其特征在于：步骤I所述的截取法为：设DCT块大小为M×N，M、N为正整数，水平方向降采样比例为Y∶1，垂直方向降采样比例为X∶1，X、Y为大于1的实数，且满足M/X、N/Y为整数，则DCT块的左上角(M/X)×(N/Y)区域为DCT块的低频信息，剩余区域为高频信息。

4.根据权利要求1所述的一种空间降采样解码方法，其特征在于：步骤II中低频回路在像素域进行运动补偿生成高频信息L-H的步骤如下：

1)在低频回路中对所有需要进行运动补偿的块进行幅度修正DCT变换，得到大小均为(M/X)×(N/Y)的DCT块，其中M、N为正整数，Y∶1为水平方向降采样比例，X∶1为垂直方向降采样比例，X、Y为大于1的实数，且满足M/X、N/Y为整数；

2)将步骤1)得到的DCT块扩展大小为M×N的DCT系数块，原有系数位于左上角，剩余部分的系数补0；

3)对大小为M×N的DCT块进行IDCT变换得到升采样的像素块，根据像素块的运动矢量通过普通的运动补偿方法从像素块中获得预测块；

4)对预测块进行DCT变换，得到新的DCT块，采用截取法将新的DCT块划分为高频信息L-H与低频信息L-L，将高频信息L-H送回到高频回路。

5.根据权利要求2所述的空间降采样解码方法，其特征在于：所述的步骤III中，在当前帧的高频部分Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加时，加入低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分，得到的高频DCT系数形成高频DCT域参考帧，送入高频DCT帧存储单元中用于后续帧的高频运动补偿。

6.根据权利要求5所述的一种空间降采样解码方法，其特征在于：所述的得到的高频DCT系数为保留过点(M/X-1，N/Y-1)且平行于DCT块副对角线的直线的左上方的所有高频DCT系数。

7.根据权利要求6所述的一种空间降采样解码方法，其特征在于：所述的得到的高频DCT系数为保留过点(M/X-1，N/Y-1)且平行于DCT块副对角线的直线的左上方的所有高频DCT系数之外，还保留第一行和第一列剩余的所有高频DCT系数。 

8.根据权利要求5所述的一种空间降采样解码方法，其特征在于：所述的得到的高频DCT系数为保留(M/X，0)、(M/X+1，0)...(M-1，0)和(0，N/Y)、(0，N/Y)...(0，N-1)的高频DCT系数。

9.根据权利要求5所述的一种空间降采样解码方法，其特征在于：所述的得到的高频DCT系数为保留(M/X，0)和(0，N/Y)两个DCT高频系数或保留(M/X，0)、(M/X+1，0)和(0，N/Y)、(0，N/Y+1)四个DCT高频系数或保留(M/X，0)、(M/X，1)和(0，N/Y)、(1，N/Y)四个DCT高频系数或保留(M/X，0)、(M/X+1，0)、(M/X+2，0)和(0，N/Y)、(0，N/Y+1)、(0，N/Y+2)六个DCT高频系数。

10.一种空间降采样解码装置，它包括以下部分：

用于视频序列输入的编码视频码流输入装置；

用于视频序列空间降采样解码的高频补偿空间降采样解码器；

用于解码后的视频图像显示的显示装置；

其特征在于，所述的高频补偿空间降采样解码器包括：

用于从视频序列中解出经过量化的DCT块的变长解码单元；

用于将量化的DCT块进行反量化的反量化单元；

用于视频码流信息叠加的三个加法单元；

用于视频码流当前帧低频信息Res-L和高频回路运动补偿生成的低频信息H-L进行反变换IDCT得到像素域残差的反变换单元；

用于存储像素域的低分辨率图像的存储单元；

用于视频码流的当前帧的低频信息Res-L和高频回路运动补偿生成的低频信息H-L相加进行反变换IDCT得到像素域残差，再与低频回路运动补偿产生的低频信息L-L相加得到低频像素域参考帧存储的低频帧存储单元；

用于视频序列的低频像素域参考帧进行低频运动补偿的低频运动补偿单元；

用于视频序列的低频回路在像素域进行运动补偿中产生的高频信息L-H的至少一部分、当前帧的高频信息Res-H的至少一部分和高频回路DCT域运动补偿生成高频信息H-H的至少一部分相加得到高频DCT域参考帧存储的高频DCT帧存储单元；

用于视频序列的高频DCT域参考帧进行高频运动补偿的高频DCT运 动补偿单元；

用于视频序列的输出图像的控制和加速显示的显示控制加速单元。 

Images