CN100596201C - 用于图像和视频压缩的正交整数变换方法 - Google Patents

Abstract

一种用于图像和视频压缩的正交整数变换方法，其是先将图像分成8×8的小块M，然后用8×8正交变换矩阵P对每一个小块M作二维变换，用于压缩编码，得到变换系数矩阵N，再对N的每一个系数量化后熵编码，完成图像和视频压缩过程，其特征在于：所述正交变换矩阵所有的元素皆为整数，且满足一定的条件，同时各行的顺序不同者或行相差一个因子者，视为同一矩阵。本发明设计了一个新的8×8正交整数变换矩阵，可形成一个无限的整数矩阵类，通过一定条件的约束，在一个优化数学模型的作用下，在成千上万个矩阵里，产生最优整数变换，在计算效率上，达到了理论上的最优。试验证明，用这个正交变换压缩图像和视频，其压缩性能已全面优于DCT。

Description

用于图像和视频压缩的正交整数变换方法

【技术领域】

本发明涉及信息技术领域，具体涉及一种用于数字图像和数字视频压缩编码变换方法。

【背景技术】

随着计算机、微电子、信息处理、通信以及激光等技术的迅猛发展，集图文、声音、图像于一体的多媒体技术更是迅速渗透到计算机、通信、广播电视以及消费娱乐业，在上述各领域中，越来越多地采用通过数字信号传输之数字设备。数字信号有很多优点，但当模拟信号数字化后其频带会大大加宽，如一路6MHz的普通电视信号数字化后，其数码率将高达167Mbps，这对储存器容量和传输带宽要求很大，从而使数字信号失去实用价值。数字压缩技术很好地解决了上述困难，压缩后信号所占用的频带大大低于原模拟信号的频带。因此说，数字压缩编码技术是使数字信号走向实用化的关键技术之一，数字图像和数字视频之所以能传输和保存的一个关键因素在于数字图像和数字视频的这种可压缩性。这种压缩是以降低图像或视频的质量为前提的，以牺牲图像或视频的质量换取宝贵的存储空间或传输带宽。当然，这种压缩不能过度，以致图像或视频的视觉效果变得不可接受，这就要求在一定的质量条件下，不断提高压缩效率。此外，压缩行为应该是规范的，这样将有利于信息的传输与共享。为了规范这种压缩编码行为，目前出台了不少国际标准，如图像压缩标准JPEG(国际标准ISO/ICE IS 10918，大量使用在数码相机和国际互联网)，视频压缩标准MPEG-1(国际标准ISO/ICE 11172，在VCD里使用)、MPEG-2(国际标准ISO/ICE 13818，使用在DVD和数字电视里)和MPEG-4(国际标准ISO/ICE 14496，使用在流媒体技术中)等。这些标准除了规范了压缩行为外，压缩效率也在不断提高。如MPEG-2的压缩效率高于MPEG-1，MPEG-4的压缩效率高于MPEG-2。

在这些压缩标准和技术里，有一个通用的方法，那就是使用了正交变换技术。目前，在JPEG、MPEG-1、MPEG-2和MPEG-4里，所用的正交变换方法都是离散余弦变换(Discrete Cosine Transformation，简称DCT)。DCT是经典谱分析常采用的工具，它的问世，对数字图像和视频压缩技术而言具有里程碑式的意义。它是先将整体图像分成N×N像素块，然后对N×N像素块逐一进行离散余弦变换。然后舍弃对视觉不敏感的频率信息，只保留最为重要的数据信息。这样，压缩过程对图像细腻平滑程度方面必然有所损失。人们也试图研究和寻找其它更好更有效的正交变换来取代DCT，如傅立叶变换，离散正弦变换，哈达姆变换等等。可这些变换在性能上都无法超越DCT，甚至相差还较远。理论上也有一些证据证明DCT“几乎是最优变换”。

近几年来，由于手持设备应用和普及，压缩算法要求进一步简化以节省有关芯片的成本和功耗。因此，整数变换技术和方法取得了不少进展，但这些整数变换也有一些不足：有的整数变换的计算性能还有改进空间，尤其在反变换上，目前的整数变换计算效率还不高。如在最新的国际标准H.264里，建议采用一种如下近似DCT的整数变换D₁：

$D_1=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 12& 10& 6& 3& -3& -6& -10& -12\\ 2& 1& -1& -2& -2& -1& 1& 2\\ 10& -3& -12& -6& 6& 12& 3& -10\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 6& -12& 3& 10& -10& -3& 12& -6\\ 1& -2& 2& -1& -1& 2& -2& 1\\ 3& -6& 10& -12& 12& -10& 6& -3\end{array}\right].$

上述矩阵D₁的计算性能虽然得到了一定的改善，但并未见到有其压缩性能超过DCT的报道。

本申请人曾提出下列变换矩阵D₂：

$D_2=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ -7& -5& -3& -1& 1& 3& 5& 7\\ 7& 1& -3& -5& -5& -3& 1& 7\\ -7& 5& 7& 3& -3& -7& -5& 7\\ 7& -13& -3& 9& 9& -3& -13& 7\\ -7& 23& -17& -15& 15& 17& -23& 7\\ 1& -5& 9& -5& -5& 9& -5& 1\\ -1& 7& -21& 35& -35& 21& -7& 1\end{array}\right].$

但该矩阵D₂的编码性能与DCT各有所长：低码率时，优于DCT；而在高码率时，DCT则优于该矩阵D₂。目前，现有的整数变换的技术思路还是寻求DCT的近似矩阵，整数化后性能有一定程度的下降。因此，需要新的发明思路进一步改善整数变换技术。

【发明内容】

本发明所要解决的技术问题是提供一种用于图像和视频压缩的正交整数变换方法，其压缩性能全面优于离散余弦变换。

为达到上述发明目的，本发明所提出的技术方案是：

一种用于图像和视频压缩的正交整数变换方法，其是先将图像分成8×8的小块M，然后用8×8正交变换矩阵P对每一个小块M作二维变换，用于压缩编码，得到变换系数矩阵N，再对N的每一个系数量化后熵编码，其特征在于：

所述8×8正交变换矩阵P为：

$P=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ x_1& x_2& x_3& x_4& {-x}_4& -x_3& -x_2& -x_1\\ y_1& y_2& y_3& y_4& y_4& y_3& y_2& y_1\\ z_1& z_2& z_3& z_4& -z_4& {-z}_3& -z_2& -z_1\\ 1& -1& -1& 1& 1& -1& -1& 1\\ -z_4& z_3& -z_2& z_1& -z_1& z_2& -z_3& z_4\\ y_2& -y_1& -y_4& y_3& y_3& -y_4& -y_1& y_2\\ -x_4& x_3& -x_2& x_1& -x_1& x_2& -x_3& x_4\end{array}\right]$

其中：

$\left\{\begin{array}{c}{y}_1=-y_4\\ y_1=-y_3\\ x_1{z}_1+x_2{z}_2+x_3{z}_3+x_4{z}_4=0\\ -x_1{z}_4+x_2{z}_3-x_3{z}_2+x_4{z}_1=0\end{array}\right..$

以及

$x_1^2+x_2^2+x_3^2+x_4^2=z_1^2+z_2^2+z_3^2+z_4^2=2(y_1^2+y_2^2),$

且x₁，x₂，x₃，x₄，y₁，y₂，y₃，y₄，z₁，z₂，z₃，z₄都是整数。

本发明基于特殊整数矩阵类的构造，设计了一个新的8×8正交整数变换矩阵类，可形成无限个整数矩阵，通过一定条件的约束，在一个优化数学模型下的作用下，在成千上万个矩阵里，产生最优整数变换。在变换的计算效率上，达到了理论上的最优。由于本发明是在几万个矩阵里通过优化程序选出来的，试验证明，用这个正交变换压缩图像和视频，其压缩性能已全面优于DCT。

【附图说明】

图1为本发明P₁之第二行的波形图；

图2为本发明P₂之第二行的波形图；

图3为现有技术中D₁之第二行的波形图；

图4为现有技术中D₂之第二行的波形图；

图5为现有技术中DCT之第二行的波形图。

【具体实施方式】

在图像和视频压缩技术领域中，图像压缩是最核心的基础，正交变换方法是图像和视频压缩技术中的最核心的技术。在图像压缩标准JPEG(国际标准ISO/ICE IS10918)和视频压缩标准MPEG-1(国际标准ISO/ICE 11172)、MPEG-2(国际标准ISO/ICE13818)以及MPEG-4(国际标准ISO/ICE 14496)里，目前，所采用的正交变换方法是8×8的离散余弦变换(DCT，即Discrete Cosine Transform)。

正交整数矩阵的概念为：如果A的所有元素都是整数，且AA^T是一个对角矩阵，就称A为正交整数矩阵，在不引起混淆的情况下，也简称为整数矩阵。这里，“A^T”表示矩阵A的转置。

最简单的整数矩阵为著名的Walsh-Hadamard矩阵，它的元素为1或-1，所有行的范数都相等。这个结论反过来也是对的，即如果一个整数矩阵所有行的范数都相等，且除一行外，其它行均有一阶消失矩(即这行的元素和为0)，则这个正交整数矩阵为Walsh-Hadamard矩阵。就计算效率而言，Walsh-Hadamard矩阵是最高的，主要得益于它的行的范数都是同一个数。可以验证，矩阵D₁中的行范数有3个不同的数，而矩阵D₂的行范数有6个不同的数。一般说来，行范数越少，计算效率越高，尤其对于反变换。为了理解这一点，我们考虑矩阵P₁和矩阵D₁的反变换形式分别为：

$\frac{1}{\sqrt{2}}((c_1+c_2)/2+\frac{1}{\sqrt{442}}(15c_3+12c_4+8c_5+3c_6+14c_7+5c_8)),---\left(1\right)$

和

$\frac{1}{\sqrt{2}}((c_1+c_2)/2+\frac{1}{17}({12c}_3+10c_4+6c_5+3c_6)+\frac{1}{\sqrt{10}}(c_7+2c_8)).---\left(2\right)$

式(1)和(2)中的c_i为整数。很明显，对应于矩阵D₁，式(2)比对应于P₁之式(1)的计算要复杂，因为要做2个除法，而(1)中只需一个除法。注意，在二维变换里，

变成了2，从而2的除法变成移位运算。D₂的反变换更复杂一些。

本发明提出了一种8×8正交整数变换矩阵P，其为：

$P=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ x_1& x_2& x_3& x_4& {-x}_4& -x_3& -x_2& -x_1\\ y_1& y_2& y_3& y_4& y_4& y_3& y_2& y_1\\ z_1& z_2& z_3& z_4& -z_4& {-z}_3& -z_2& -z_1\\ 1& -1& -1& 1& 1& -1& -1& 1\\ -z_4& z_3& -z_2& z_1& -z_1& z_2& -z_3& z_4\\ y_2& -y_1& -y_4& y_3& y_3& -y_4& -y_1& y_2\\ -x_4& x_3& -x_2& x_1& -x_1& x_2& -x_3& x_4\end{array}\right]$

其中：

$\left\{\begin{array}{c}{y}_1=-y_4\\ y_1=-y_3\\ x_1{z}_1+x_2{z}_2+x_3{z}_3+x_4{z}_4=0\\ -x_1{z}_4+x_2{z}_3-x_3{z}_2+x_4{z}_1=0\end{array}\right..$

以及

$x_1^2+x_2^2+x_3^2+x_4^2=z_1^2+z_2^2+z_3^2+z_4^2=2(y_1^2+y_2^2),$

且x₁，x₂，x₃，x₄，y₁，y₂，y₃，y₄，z₁，z₂，z₃，z₄都是整数。

上述整数变换矩阵P中行顺序不同者，为与上述整数矩阵P之等效变换；矩阵P中行相差一个因子者，为与上述整数矩阵P之等效变换。此两种情形具有等效的编码效果，这是因为，变换后的数据只是改变了位置和符号，大小没有改变。符号是单独编码的，改变符号对编码效率没有影响。对变化了的位置，可调整到同原来的一样。当然，一般会对矩阵的行有一个排列法。一行中元素符号改变的次数称为消失矩的阶数。一般根据消失矩的阶数由低到高排列矩阵的行。如在上面的矩阵P₁中，消失矩的阶数依次为0，1，2，3，4，5，6，7。

上述正交矩阵设计的主要思想之一是使矩阵P的行范数为2个，从而在最少的计算复杂性的同时，寻求性能最优者。

这是因为，矩阵类P里的整数矩阵有无限个，其计算性能都能达到理论上的最优(最多两个行范数)，但并不是所有矩阵都有好的压缩性能。如何选出好的矩阵是一个目前图像和视频压缩技术中的难题。一个可行的办法是，建立一个数学模型，将大部分矩阵排除，留下少量的较优矩阵，用实验的办法确定最优矩阵。

如果限制x₁，x₂，x₃，x₄，y₁，y₂，y₃，y₄，z₁，z₂，z₃，z₄的绝对值不超过20，矩阵P将有4000多个；如果限制其绝对值不超过30，矩阵P则有20000多个。在图像和视频压缩中，通过变换将空间域变换成频率域，然后对频域系数编码。频域系数越小，越有利于编码。用这个原理，我们建立一个基于信号的模型。具体说来，对矩阵P中的每个A，它的标准正交矩阵记为B.取一幅512×512典型测试图I，将I划分为4096个8×8数据块I_i，然后采取下面的步骤：

Step 1：计算Q_i＝[q_j，b]＝BI_iB^T；

Step 2：计算

Step 3：计算

这样，对图像I，我们能解出

$\underset{A}{\mathrm{Min}}\left(M(P,A)\right).---\left(3\right)$

一般说来，式(3)依赖于图像I。然而，如果图像比较典型，(3)的解应该有一致性，即对于不同的图像，(3)的最优解在一个小的集合里面。这样，我们可以得到下列矩阵：

$P_1=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 15& 12& 8& 3& -3& -8& -12& -15\\ 14& 5& -5& -14& -14& -5& 5& 14\\ 12& -3& -15& -8& 8& 15& 3& -12\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 8& -15& 3& 12& -12& -3& 15& -8\\ 5& -14& 14& -5& -5& 14& -14& 5\\ 3& -8& 12& -15& 15& -12& 8& -3\end{array}\right];$

$P_2=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 20& 18& 12& 4& -4& -12& -18& -20\\ 19& 9& -9& -19& -19& -9& 9& 19\\ 18& -4& -20& -12& 12& 20& 4& -18\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 12& -20& 4& 18& -18& -4& 20& -12\\ 9& -19& 19& -9& -9& 19& -19& 9\\ 4& -12& 18& -20& 20& -18& 12& -4\end{array}\right]$

我们对多幅典型的测试图，如Lena，Barbara，Goldhill等，遍历4000多个整数解，最优解一般集中在矩阵P₁和P₂上，有些图像P₁最优，P₂次优；而对于另外的图像，P₂最优，P₁次优。特别地，我们对Lena图像遍历了20000多个矩阵，最优解始终是P₁。所以，我们用P₁作具体实例，来进行压缩测试。

对于变换矩阵，第二行的性质尤其重要，越光滑越好，它几乎决定了变换的性能。如图1、图2、图3、图4、图5所示，我们给出了对应的P₁、P₂、D₁、D₂和DCT的波形图，其光滑程度一目了然。从上述波形图也可以看出，P₁和P₂更相似于DCT。

将上述被压缩的图像数据块M(8×8矩阵)，用P中的正交变换对这个数据块作二维变换，所得到的变换系数矩阵N为：N＝PMP^T，以便完成后续的压缩编码过程。其中，“P^T”为P的转置矩阵。

对经过熵解码和反量化等处理后的数据块

用所述8×8正交整数变换矩阵P正交变换，其二维反变换恢复图像数据块为：

$\tilde{M}=P^T\tilde{N}P.$

其中，“P^T”表示P的转置矩阵。

实施例：

我们用MPEG-4的一个开放源代码的验证模型XVID(Ver.1.1.0，可以通过互联网下载)来测试P₁的视频压缩性能。为了简化试验，我们用其基本模型(baseline)，使用“IPPIPPIPP”帧结构，熵编码采用Huffman编码。在XVID里，我们只改变两项内容以测验P₁的压缩编码性能：(1)用矩阵P₁的标准正交形式代替DCT；(2)两个量化矩阵调整为下列两个矩阵P₃和P₄：

$P_3=\left[\begin{array}{cccccccc}8& 17& 18& 19& 23& 22& 25& 27\\ 16& 18& 19& 21& 25& 25& 26& 28\\ 18& 21& 22& 23& 26& 26& 28& 30\\ 21& 22& 23& 24& 28& 28& 30& 32\\ 22& 23& 23& 26& 30& 30& 32& 35\\ 23& 25& 26& 28& 32& 32& 35& 38\\ 25& 26& 28& 30& 33& 35& 38& 41\\ 27& 28& 30& 33& 35& 38& 41& 45\end{array}\right]$

$P_4=\left[\begin{array}{cccccccc}15& 16& 17& 19& 20& 21& 22& 23\\ 16& 17& 18& 20& 21& 22& 23& 24\\ 17& 18& 20& 21& 22& 23& 24& 25\\ 19& 19& 21& 22& 23& 24& 26& 27\\ 20& 20& 21& 23& 24& 26& 27& 28\\ 21& 21& 22& 24& 25& 27& 28& 30\\ 22& 22& 23& 25& 27& 28& 30& 31\\ 23& 24& 25& 26& 28& 30& 31& 32\end{array}\right]$

其中：P₃为帧间量化矩阵，P₄为帧内量化矩阵。从而形成一个新的视频压缩编码解决方案。通过和原始的XVID方案对比，就能比较矩阵P₁和DCT性能的优劣。在两个方案里，Huffman码表都是相同的。

常用的5个视频片断，Foreman，Akiyo，Mother and daughter，Coast Guard和Mobile，被用于测试试验。这些视频片断都是300帧长，43.5MB大小，每帧大小是352x288x1.5 bytes，YUV分量，播放速度为25帧/秒。

测试结果：

我们对5个视频序列在4个码率作了编码测试，然后解码后计算每一帧Y，U和V分量的峰值信噪比(PSNR)，最后求平均值。所有的实验结果列在Tab.1-Tab.5.我们看到，几乎所有视频在所有的码率下，新方案都超过了原始的XVID方案。尤其在低码率下，优势更明显。这些测试结果说明P₁的压缩编码性能较DCT的有显著改善。

表1：实验结果-Foreman

表2：实验结果-Akiyo

表3：实验结果--Coast Guard

表4：实验结果-Mobile

表5：实验结果--Mother and daughter

以上所述实施例仅表达了本发明的几种较佳的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1、一种用于图像和视频压缩的正交整数变换方法，其是先将图像分成8×8的小块M，然后用8×8正交变换矩阵P对每一个小块M作二维变换，用于压缩编码，得到变换系数矩阵N，再对N的每一个系数量化后熵编码，其特征在于：

所述8×8正交变换矩阵P为：

$P=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ x_1& x_2& x_3& x_4& -x_4& -x_3& -x_2& -x_1\\ y_1& y_2& y_3& y_4& y_4& y_3& y_2& y_1\\ z_1& z_2& z_3& z_4& -z_4& -z_3& -z_2& -z_1\\ 1& -1& -1& 1& 1& -1& -1& 1\\ -z_4& z_3& -z_2& z_1& -z_1& z_2& -z_3& z_4\\ y_2& -y_1& -y_4& y_3& y_3& -y_4& -y_1& y_2\\ -x_4& x_3& -x_2& x_1& -x_1& x_2& -x_3& x_4\end{array}\right]$

其中：

$\left\{\begin{array}{c}{y}_1=-y_4\\ y_2=-y_3\\ x_1{z}_1+x_2{z}_2+x_3{z}_3+x_4{z}_4=0\\ -x_1{z}_4+x_2{z}_3-x_3{z}_2+x_4{z}_1=0\end{array}\right..$

以及

$x_1^2+x_2^2+x_3^2+x_4^2=z_1^2+z_2^2+z_3^2+z_4^2=2(y_1^2+y_2^2),$

且x₁，x₂，x₃，x₄，y₁，y₂，y₃，y₄，z₁，z₃，z₃，z₄都是整数。

2、根据权利要求1所述的用于图像和视频压缩的正交整数变换方法，其特征在于：所述8×8正交整数变换矩阵P中行顺序不同者，为与上述整数矩阵P的等效变换。

3、根据权利要求1所述的用于图像和视频压缩的正交整数变换方法，其特征在于：所述8×8正交整数变换矩阵P中行相差一个因子者，为与上述整数矩阵P的等效变换。

4、根据权利要求1或2或3所述的用于图像和视频压缩的正交整数变换方法，其特征在于：所述8×8正交整数变换矩阵P中各行的行范数只由两个不同的数组成。

5、根据权利要求1所述的用于图像和视频压缩的正交整数变换方法，其特征在于：所述8×8正交整数变换矩阵P的较优解为：

$P_1=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 15& 12& 8& 3& -3& -8& -12& -15\\ 14& 5& -5& -14& -14& -5& 5& 14\\ 12& -3& -15& -8& 8& 15& 3& -12\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 8& -15& 3& 12& -12& -3& 15& -8\\ 5& -14& 14& -5& -5& 14& -14& 5\\ 3& -8& 12& -15& 15& -12& 8& -3\end{array}\right].$

6、根据权利要求1所述的用于图像和视频压缩的正交整数变换方法，其特征在于：所述8×8正交整数变换矩阵P的较优解为：

$P_2=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 20& 18& 12& 4& -4& -12& -18& -20\\ 19& 9& -9& -19& -19& -9& 9& 19\\ 18& -4& -20& -12& 12& 20& 4& -18\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 12& -20& 4& 18& -18& -4& 20& -12\\ 9& -19& 19& -9& -9& 19& -19& 9\\ 4& -12& 18& -20& 20& -18& 12& -4\end{array}\right].$

7、根据权利要求1或2或3所述的用于图像和视频压缩的正交整数变换方法，其特征在于：对被压缩的图像数据块M做二维变换，所得到的变换系数矩阵N为：N＝PMP^T，其中，“P^T”为P的转置矩阵。

8、根据权利要求1或2或3所述的用于图像和视频压缩的正交整数变换方法，其特征在于：对经过熵解码和反量化处理后的数据块

用所述8×8正交整数变换矩阵P正交反变换，其二维恢复图像反变换数据块为：

$\tilde{M}=P^T\tilde{N}P.$

其中，“P^T”表示P的转置矩阵。

Images