CN1338182A - 在离散余弦变换域中减少块噪声的方法和装置 - Google Patents

Abstract

一种消除频域中的块噪声的方法和装置。一视频流可接收两个频域块(A和B)。一覆盖第一和第二频域块的边界的第三频域块可在变换域直接计算。第三个块的系数可在频域进行修正,以消除块噪声,并且这种修正可转化成两个频域块(A和B)在频域的修正。

Description

在离散余弦变换域中减少块噪声的方法和装置

本发明涉及一种减少图像数据中的块噪声(blocking artifacts)，特别是指，减少只用于频域的图像数据中的块噪声的方法和装置。

图像的压缩使得图像能够以一种编码的形式并使用比未压缩形式更少的数据流在通信信道中传输。离散余弦变换(DCT)编码是一种广为人知的压缩方案。图像被划分为多个小的长方形区域或“块”。每个块被变换编码并通过通信信道进行传输。在接收端，这些块被解码并还原成原始的图像。典型的块结构是8×8像素阵列的形式。每个块都要经过DCT变换然后量化。

DCT是一种线性变换方式，并产生一个新的像素块；每个新的像素都是原始图像块的输入像素的一个线性组合。以DCT为基础的图像块编码技术会使接收图像质量下降，形式上表现为块噪声。当一幅图像被块编码时，重建的块可以在重建的图像上看到但收看者可以看到块的边界，通常这是由于非相关的量化噪声引起的。量化噪声是由于在块之间产生一个跳变或在块的边界上产生阶跃。通常压缩率越大，块噪声就越大。块效应对于收看者非常明显，甚至让人难以忍受，因为人眼对块边界的“阶跃”非常敏感。

这个问题已被发现并已有多种努力试图解决这个问题。块噪声是由于在相邻块之间陡峭的不连续性产生的，消除这些不连续性就可以减少块噪声。以前的许多方法都是在空间(像素)范围内进行处理。其中一种技术是在像素域中，在块的边界使用一个空间变量低通滤波器。这种方法的问题是在使用滤波器之前还包括图像的解压缩。虽然，这种方法在减少块噪声之后对于存储某种形式的压缩图像很有用，但这种方法需要对图像进行再次压缩。

在此提供一种可减少块噪声的方法和装置，通过分析DCT中两个块之间边界的特性，并在频域使块边界上陡峭的不连续性变得平滑来减少块噪声。第一频域块(A)和第二频域块(B)被视频流接收。然后计算覆盖第一和第二频域块之间的边界的第一和第二频域块的第三频域块(C)。第三个块是通过调整第三个块的DCT系数来使A块和B块边界的不连续性变得平滑。第三个块的系数计算后的变量将被转换成第一和第二个块(A，B)的系数的变量。

本发明的目的是通过第三个块C仅在频域实现这种平滑处理。

本发明的目的是第一和第二个块的变量应满足方程δC＝δAM₁+δBM₂

这里δC是第三个块的变量，δA和δB是第一和第二个块的各自变量。M₁和M₂是各自的值已知的矩阵。

本发明的另一目的是通过选择δA和δB来使第一和第二个块的变量最小化。

本发明的进一步的目的是使δA的值与δB的值相反。

本发明的另一个目的是决定在第一和第二个块内当两个块相邻边界的像素值产生跃变时是否有相对一致的像素值。

本发明的又一目的是当块A和块B没有相对一致的像素值时对它们进行处理。本目的是通过减小第三个块C中高频成份的大DCT系数来实现的。

本发明的又一目的是通过减小第三个块C的高频成份的大系数来改变第三个块C的系数，如果它们在第一和第二个块的相应系数几乎为零的话。

本发明的其它目的和优点将部分地在说明书中更直观和显而易见。本发明包含数个步骤，这些步骤之间的相互关系，以及与这些步骤相应的装置的构造特点，各组件的配置等，以下将对所有这些内容举例详述。

本发明的保护范围将在权利要求书中加以说明。

本发明的实施例都是通过分析两个块之间边界上的DCT特性，并在频域使块边界上陡峭的不连续性变得平滑来减小块噪声。在视频流中接收两个频域块A和B，然后计算覆盖两个频域块A和B之间的边界的第三个块C。第三个块的作用是使块A和块B之间边界上的不连续性变得平滑，其方法是修正第三个块的DCT系数并把这种修正转换成块A和B的系数的修正。块噪声的减小是参照实施例来说明的，在第一个实施例中参照的块A和B，各自在空间域中都有一致的像素值，但块间边界上的像素值有一个阶跃或跳变；在第二个实施例中参照的块A和B，在空间域中并不一定有一致的像素值。

图1a表示两个8×8像素块‘a’和‘b’，叠加在块‘a’和‘b’的第三像素块‘c’覆盖了边界‘e’。图1b是举例说明本发明第一实施例中块‘a’中的元素a_ij和块‘b’中的元素b_ij。在此实施例中，a_ij在所有行列(i，j)的值是一样的，这种情况下，对于i＝0·7且j＝0·7，表示为θ，即a_ij＝θ(同样地，当b_ij在所有行列(i，j)的值是一样的，这种情况下，对于i＝0·7且j＝0·7，被表示为↓，即b_ij＝↓)，此后，a_ij和b_ij各自表示一个单独的像素值。在压缩率很高时，块‘a’和‘b’之间的边界‘e’将出现阶跃，例如在边界‘e’的左侧和右侧，所有的像素值a_ij和b_ij都是常量，但在边界‘e’上有一个很大的不连续性。图2a表示块‘c’中的像素值是怎样变化的。由图2a中可以看到在4上有一个阶跃的边缘。这个阶跃边缘就会造成块噪声。为了消除这种块噪声，阶跃边缘必须被变成一个斜坡的边缘以使之平滑，如图2b所示。本发明的目的就是使块‘c’的DCT，即C，在频域变得平滑，就可以消除块‘c’中间的阶跃，再将这种平滑的变化转换成块A和B的DCT系数的变化。

当收到一个用JPEG或MPEG压缩过的比特流时，经过可变长解码后就可以从压缩的比特流中得到DCT块A和B，但并不能得到DCT块C。因此，为了使DCT块C变得平滑就必须计算块C的DCT系数。这种计算不仅包括合并块A右部分的DCT值和块B左部分的DCT值，因为每个DCT块都是一个块中所有输入像素的线性组合，还要对DCT块C进行非常复杂的计算。一种寻找块C的DCT系数的方法是将块A和B变换到空间域中，并通过对块‘c’的所有像素进行线性组合来计算块C。这是一种很繁琐的方法而且需要对块进行解压缩。本发明中不需要进行DCT变换就可以由DCT块A和B得到DCT块C。

由于块‘a’，‘b’和‘c’都可以简单地看作由像素值a_ij和b_ij构成元素的矩阵，因此，矩阵‘c’可以写成以矩阵‘a’和‘b’表示的以下形式：

c＝aK₁+bK₂                                                 (1)

这里K₁和K₂都是8×8的矩阵。矩阵K₁已知是： $K_1=\left[\begin{array}{cc}O& O\\ I& O\end{array}\right]$

这里0是一个所有值都为0的4×4矩阵，I也是一个4×4矩阵，它的对角线上的所有值都等于1，非对角线的所有值都等于0。K₂＝K₁ ^T(即K₂是K₁的转置矩阵)。块‘c’的DCT，即C，是由以下的DCT矩阵相乘得到的。已知为了得到一个矩阵的DCT，必须按下述方式相乘：

A＝DaD^T

B＝DbD^T

C＝DcD^T                                                    (2)

(这里D是图3中的DCT矩阵，D^T是图8所示矩阵D的转置矩阵)。

原始矩阵(‘a’，‘b’，‘c’)可以用以下方程由DCT矩阵计算出：

a＝D^TAD                                                (3)

b＝D^TBD                                                (4)

c＝D^TCD

将方程2中的‘c’用方程1代替：

C＝D(aK₁+bK₂)D^T                                      (5)

并将方程5中的‘a’和‘b’用方程3和4代替，得到：

C＝D(D^TADK₁+D^TBDK₂)D^T

 ＝(DD^TADK₁+DD^TBDK₂)D^T

 ＝DD^TADK₁D^T+DD^TBDK₂D^T                                 (6)

已知DD^T＝D^TD＝I

C＝ADK₁D^T+BDK₂D^T                                       (7)

此方程还可以写成：

C＝AM₁+BM₂                                             (8)

由方程7可以看出，M₁和M₂是固定值且不依赖于矩阵‘a’，‘b’和‘c’。

图4a和图4b各表示矩阵M₁和M₂。由这些矩阵可以看出M₁与M₂奇数行中第1，3，5，7个元素的值是相同的，第2，4，6，8个的元素的值是相反的。在偶数行中则相反。因此，M₁与M₂可以写成以下形式：

M₁＝Com+Dif                                            (9)

M₂＝Com-Dif                                            (10)

这里Com仅包含M₁与M₂中相同的元素，其余的元素都为0，Dif则仅包含不同的元素(其余元素都为0)，各如图5a和5b所示。用方程9和10代替方程8中的M₁和M₂，DCT矩阵C可以从DCT矩阵A和B由以下方式得到(不需变换回空间域)：

C＝A(Com+Dif)+B(Com-Dif)

 ＝(A+B)Com+(A-B)Dif                                 (11)

因为矩阵Com仅包含相同的元素，它有少于32个的非零元素。同样的，矩阵Dif也只有32个非零的元素。用方程11而不用方程8来计算C可以简化计算，因为尽管方程8和11都需要用两个矩阵相乘，但方程11相乘的矩阵中有更多的元素是零。

因此不需要将块A和B变换到像素域，就可以由方程11得到块‘c’的DCT变换的DCT系数。

一旦块C的DCT系数计算完，这个块就必须被“平滑处理”，以消除空间域中位于块中间的阶跃边缘。为了在DCT域使块C变得平滑，并且不需要再变换回像素域，当空间域的块‘c’由阶跃形边缘变成斜坡形边缘时，就要对块C的系数的变化作出分析。

图6a表示一个像素矩阵‘c’，它在第4列和第5列产生一个阶跃。图6b表示一个矩阵newc，它在图6a中矩阵‘c’的像素值中进行了一个内插。newc是在像素域中平滑后的块，它的块内的边缘是斜坡形的。在图6b中第1列包含块‘a’的像素值a_ij，最后一列包含块‘b’的像素值B_ij。第2-7列的像素值通过线性内插的方式由左至右变化。由图6b可看出在第4列和第5列之间不再有一个阶跃的边缘。显然线性内插并不是唯一去除这种阶跃边缘的方法，这里是为了便于说明而采用这种方法。

块newc的DCT形式是NEWC，如图7c所示。块‘c’的DCT形式是C，如图7a所示。块C和‘c’的不同仅在于第一行的系数已被修正。由于一个块的DCT变换可以通过DcD^T公式来得到，图3和8中已示出矩阵D和D^T，图6a中已示出矩阵‘c’，块C的第一行可以由以下方程写出。(注意块C中所有剩余的元素都为零，这里a_ij＝θ对i＝0·7，j＝0·7的所有值，b_ij＝↓对i＝0·7，j＝0·7所有值)C₀₀＝4(θ+↓)，C₀₁＝2^1/22.563(θ-↓)，C₀₃＝2^1/20.9(θ-↓)，C₀₅＝2^1/20.601(θ-↓)，C₀₇＝2^1/20.511(↓-θ)

(上述用于计算C₀₀-C₀₇的方程可用于各自的a_ij和b_ij的像素值都一样的任何两个块。)

用图4b中的newc代替方程2中的‘c’

DnewcD^T＝NEWC

NEWC的第一行可以写作(同样NEWC中所有的剩余元素都为零)：

NEWC₀₀＝4(θ+↓)，NEWC₀₁＝2^1/21.841(θ-↓)，NEWC₀₃＝2^1/20.1918(θ-↓)，

NEWC₀₅＝2^1/20.0576(θ-↓)，NEWC₀₇＝2^1/20.50139(θ-↓)   (12)

公式12需要用到空间域的值θ_ij和□_ij，但这些值很容易由块A和B的系数计算出来，并且不需要转换到空间域中。在本实施例中，对所有的i＝0·7且j＝0·7，a_ij＝θ＝40且b_ij＝↓＝70；但θ和↓的值依赖于视频流接收的视频格式。图9A和9B表示块A和B(图1b所示的块‘a’和‘b’的DCT变换)。DCT块A和B各只有一个非零系数，当此系数被8除时可得到频域块‘a’和‘b’各自的像素值θ和↓。例如本实施例中a_ij＝40＝θ对i＝0·7且j＝0·7，↓＝70＝b_ij对i＝0·7且j＝0·7。因此只需将块A和B各自的DCT系数除以8，就可以直接得到频域的像素值a_ij和b_ij。为了将块C变换成NEWC，块C的第一行系数必须用方程12来变换。这样只在频域对块C进行处理就可以将阶跃形边缘变成平滑的斜坡形边缘。

如上所述，块C并不存在于视频流中，它是为了消除块噪声而进行的计算。因此对块C的平滑处理必须转换成视频流中的块A和B的系数变化。由方程C＝AM₁+BM₂可以得到

C+δC＝(A+δA)M₁+(B+δB)M₂

δC＝δAM₁+δBM₂

将δC(这里δC表示将块C变换成块NEWC的差值)写作NEWC-C，则

NEWC-C＝δAM₁+δBM₂

因此任何满足此方程δA和δB的值都可以使块A和B之间的边界变得平滑，并消除块噪声。此方程的解有许多种，但为了使图像质量有最好的效果，就应当使每个块的变化量最小，并使一个块的变化与另一个块的变化方向相反，这样就可以在块之间产生一个平滑的斜坡形边缘。本发明的一个优选实施例中令δA＝δB。则方程变为：

NEWC-C＝δAM₁+δAM₂

NEWC-C＝δA(M₁-M₂)

(NEWC-C)(M₁-M₂)^-1＝δA

δA已在图11中示出。

块A和B的系数变化(A+δA，B+δB)各在图12和13中示出。通过对块A和B以这种方式修正，块A和B不需要变换到空间域中就可以使它们之间的边缘变得平滑。

图14示出了一种应用本发明的方法和/或装置的系统。一个可变长解码器10对输入的视频流进行解码，一个反向量化器20对带有块噪声的DCT块进行计算。块噪声消除系统30将块噪声从DCT块中消除，并提供DCT块用于显示或存储。

以上是当空间域中的块包含相同的像素值时，如何消除块噪声的说明。以下将说明当空间域中的块包含许多高频成份时，所使用的一种不同的方法。

当块内不包含相同的像素值时，减少块噪声的第一种方法是，减少块C内的由于块边界而产生的高频成份。在计算块C时，使用这里所表述的方法，将在块C内产生大量的高频DCT成份，这是由于块的边界而造成的。

通过将块C内大的高频系数值设置为零或减少它们的值，就可以实现平滑处理。一旦这种对块C的修正完成后，就按上述方法将块C的变化转换成块A和B的变化。这种方法可用于包含相同像素的块，但对于包含相同像素的块，使用线性内插的方法将得到一个更为精确的结果。

在本发明的另一实施例中，块C的平滑处理是改变C内的个别系数值至零，当此系数值在块A和B中相应的值也为零时。这样处理的原因是，假设块A和B属于同一图像区域，则块A和B的频率特性应是相似的。由于块C也属于相同的图像区域，则块C的频率特性也应与块A和B的频率特性是相似的。但由于块C中有一个块边界，块C中将存在某些代表块边界的高频特性，但在块A和B中却不存在，因此应被设置为零。从而在块A和B中都为零的高频成份在块C中被设置为零。块C的这种变化将按上述方法被转换为块A和B中的变化。

尽管上述讨论的范围已被限定为块A和B之间的一条垂直边界，但可以理解扩展到一条水平边界的情况也是同样适用的。此外，上述DCT系数的修正可以在图像块内反复迭代，直至得到所需的平滑曲线。

由上述说明可以明显看出，本发明的目的能够有效实现，并且，由于在实施上述方法时必然会有一些变形，在不脱离本发明的精神和范围的前提下，上述说明和相关附图所包含的所有内容都只是用于举例说明，而不能限制本发明的保护范围。

Claims (12)

1、一种消除块噪声的方法，包括：

接收第一频域块(图9a)；

接收第二频域块(图9B)；

计算(30)覆盖第一(图9a)和第二(图9b)频域块之间的一个边界(e)的第三频域块(图7a)；

通过计算(30)第三频域块的系数的一个变量(δC)(图10)来减少边界(e)的块噪声，此边界(e)位于第一(图9a)和第二(图9b)频域块各自的空间域块(图1b)之间；并且

计算(30)在第一和第二频域块相应的变量(δA，δB)，此变量将引起第三频域块的系数变化(δC)。

2、如权利要求1所述的方法，其特征在于计算第一和第二频域块相应变量的步骤满足如下条件

δC＝δAM₁+δBM₂

这里M₁和M₂是常量。

3、如权利要求2所述的方法，其特征在于对δA和δB进行选择以使第一和第二频域块的变量最小。

4、如权利要求2所述的方法，其特征在于δA的值与δB的值相反。

5、如权利要求1所述的方法，其特征在于计算第三频域块系数变量(δC)的步骤是减小第三频域块中高频成份的大系数并减去第三频域块完成的。

6、如权利要求1所述的方法，其特征在于计算第三频域块系数变量(δC)的步骤是，若第三频域块高频成份的系数在第一和第二频域块中相应的系数为零，则修正第三频域块的系数以减小高频成份的系数，然后减去第三频域块。

7、一种减小块噪声的装置，包括：

接收装置(图14)，用于接收第一和第二频域块；

处理器(30)，用于a.)计算覆盖第一(图9a)和第二(图9b)频域块之间的一个边界(e)的第三频域块(图7a)，b.)通过计算第三频域块的系数的一个变量(δC)来减少边界的块噪声，此边界位于第一和第二频域块各自的空间域块之间，c.)计算在第一和第二频域块相应的变量(δA，δB)，此变量将引起第三频域块的系数变化(δC)。

8、如权利要求7所述的装置，其特征在于，所述处理器计算第一和第二频域块相应的变量需满足以下条件

δC＝δAM₁+δBM₂

这里M₁和M₂是常量。

9、如权利要求8所述的装置，其特征在于，所述处理器计算δA和δB以便使第一和第二频域块的变量最小。

10、如权利要求8所述的装置，其特征在于，所述处理器计算δA的值与δB的值相反。

11、如权利要求7所述的装置，其特征在于，所述处理器计算第三频域块的系数变量方法是，减小第三频域块中高频成份的大系数，并减去第三频域块。

12、如权利要求7所述的装置，其特征在于，所述计算第三频域块的系数变量的方法是，若第三频域块高频成份的系数在第一和第二频域块中相应的系数为零，则修正第三频域块的系数以减小高频成份的系数，然后减去第三频域块。

Images