CN109218738A - 一种基于二阶梯度的图像去块效应滤波方法 - Google Patents

Abstract

本发明属于图像处理领域，提供了一种基于图像二阶梯度的去块效应滤波方法，利用压缩图像块边界两侧像素点的二阶梯度特征，对压缩后的像素点进行合理调整，从而实现对图像块边界的平滑处理，有效去图像压缩中存在的块效应。同时，本发明的滤波方法充分利用了图像块边界的二阶梯度变化特性，从而能够有效保留图像的原始特征，防止因滤波所造成的图像细节信息损失。本发明的滤波方法因为计算复杂度较低、效果明显，所以在对压缩图像的实际处理中具有较高的应用价值。

Description

一种基于二阶梯度的图像去块效应滤波方法

技术领域

本发明属于图像处理领域，涉及一种基于图像二阶梯度的去块效应滤波方法，用以去除压缩图像中存在的块效应。

背景技术

图像压缩技术为设备终端的存储和传输图像带来了极大的便利，但是对于海量的图像数据来说，无损图像压缩的压缩率是远远不够的，因此，在绝大多数情况下，图像压缩都采用有损压缩的方式。有损压缩以引入一定的失真为代价，来换取更高的压缩比。

由于离散余弦变换形式与输入信号无关且存在快速实现算法，同时离散余弦变换的性能接近去相关性能最优的K-L变换，因此，离散余弦变换被广泛的应用在图像及视频编码的标准中，比如JPEG、H.264/AVC、H.265/HEVC等。在基于离散余弦变换的压缩编码中，首先将图像划分为许多8×8大小不重叠的图像块，对每个块进行离散余弦变换，得到离散余弦变换系数，然后对其进行量化和可变长度编码；在量化的过程中会带来信息的损失，这就会带来失真，表现为：振铃效应、块效应等。

近年来，学者们提出了许多去块效应算法，例如，对块边界进行平滑滤波可以有效地降低、去除块效应，但是峰值信噪比提高不多，视觉效果一般；基于凸集投影POCS的方法，将去块效应视为图像恢复问题，但是这种方法需要经过多次迭代，计算复杂度很高；基于重叠块的正交变换编码、小波变换、预测编码等方式，也取得了不错的去块效应的效果，但是计算复杂度高、去块效应时间长。

发明内容

本发明的目的在于针对上述去块效应方法计算复杂度高、去块效应时间长的问题，提供一种基于二阶梯度的图像去块效应滤波方法，用以提高图像压缩中去块效应的能力，提高峰值信噪比，减少计算复杂度，同时提高图像主观上的视觉感受。

为实现上述目的，本发明采用的技术方案如下：

一种基于图像二阶梯度的去块效应滤波方法，包括以下步骤：

步骤1.对原始图像进行压缩

采用JPEG图像压缩方法对输入图像进行压缩，将压缩后的图像记为X；

步骤2.对压缩后的图像进行分块

按照JPEG图像压缩方法中的分块方式将步骤1中得到的压缩图像X划分成互不重叠的、大小为8×8的图像块，将所有图像块中左右相邻的两个图像块分别记为pl_k和pr_k，将所有图像块中上下相邻的两个图像块分别记为pu_k和pd_k，k是图像块的下标索引，k＝1,2,3,…；

步骤3.对图像块进行二维离散余弦变换

首先，对步骤2中产生的图像块pl_k、pr_k、pu_k与pd_k分别进行二维离散余弦变换，得到变换后的系数块，对应记为Pl_k、Pr_k、Pu_k于Pd_k；

步骤4.产生变换系数向量

首先，将步骤3中得到的系数块Pl_k、Pr_k、Pu_k与Pd_k均进行如下变换：

将系数块中的系数按照从上到下、从左到右的顺序依次取出，再按照从上到下的顺序组成一个一维的列向量，

对应得到列向量Y₁、Y₂、Y₃与Y₄；

然后，将列向量Y₁和列向量Y₂按照从上到下的顺序组成变换系数N：符号T表示转置；将列向量Y₃和列向量Y₄按照从上到下的顺序组成变换系数M：

步骤5.产生采样变换矩阵

首先，构建64×64的变换矩阵B：其中，A为8×8的离散余弦变换矩阵，代表Kronecker乘法中的乘法算子；

然后，按照从上到下的顺序将矩阵B的第49～64个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₁；按照从上到下的顺序将矩阵B的第1～16个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₂；按照从上到下的顺序将矩阵B的第7、15、23、31、 39、47、55、63、8、16、24、32、40、48、56、64个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₃；按照从上到下的顺序将矩阵B的第1、9、17、25、33、41、49、57、 2、10、18、26、34、42、50、58个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₄；

最后，用Φ₁、Φ₂构建32×128的采样变换矩阵B₁：用Φ₃、Φ₄构建32×128 的采样变换矩阵B₂：其中，O是大小为16×64的全零矩阵；

步骤6.产生去块效应算法的相关参数

首先，用8×8的单位矩阵I和8×24的全零矩阵L₁，按照从左到右的顺序组成8×32的矩阵G₁：G₁＝[I L₁]；用8×8的全零矩阵L₂和矩阵I、以及8×16的全零矩阵L₃，按照从左到右的顺序组成8×32的矩阵G₂：G₂＝[L₂ I L₃]；用矩阵L₃、矩阵I和矩阵L₂，按照从左到右的顺序组成8×32的矩阵G₃：G₃＝[L₃ I L₂]；用矩阵L₁和矩阵I，按照从左到右的顺序组成 8×32的矩阵G₄：G₄＝[L₁ I]；

然后，用矩阵G₁、矩阵G₂和矩阵G₃生成8×32的矩阵U：U＝G₁-2G₂+G₃；用矩阵G₂、矩阵G₃和矩阵G₄生成8×32的矩阵V：V＝G₂-2G₃+G₄；

最后，根据JPEG图像压缩方法中的品质因子QF，定义去块效应方法中的调节因子λ：λ＝0.26×QF+0.9；

步骤7.水平方向滤波

其中，N′为水平方向滤波后的系数列向量，E为128×128的单位矩阵；

进而得到水平方向滤波后的像素列向量a₁：a₁＝B₁N′；

步骤8.垂直方向滤波

其中，M′为垂直方向滤波后的系数列向量；

进而得到垂直方向滤波后的像素列向量a₂：a₂＝B₂M′；

步骤9.更新图像块像素点

用步骤7产生的像素列向量a₁的第1～8行的元素按照从上到下的顺序替换步骤2中产生的图像块pl_k中从右向左数的第二列的列向量；用像素列向量a₁的第9～16行的元素按照从上到下的顺序替换步骤2中产生的图像块pl_k最右侧的列向量；将替换后的图像块记为pl_k′；

用步骤7产生的像素列向量a₁的第17～24行的元素按照从上到下的顺序替换步骤2中产生的图像块pr_k最左侧的列向量；用像素列向量a₁的第25～32行的元素按照从上到下的顺序替换步骤2中产生的图像块pr_k中从左向右数的第二列的列向量；将替换后的图像块记为pr_k′；

用步骤8产生的像素列向量a₂的第1～8行的元素按照从左到右的顺序替换步骤2中产生的图像块pu_k中从下向上数的第二行的行向量；用像素列向量a₂的第9～16行的元素按照从左到右的顺序替换步骤2中产生的图像块pu_k最下侧的行向量；将替换后的图像块记为pu_k′；

用步骤8产生的像素列向量a₂的第17～24行的元素按照从左到右的顺序替换步骤2中产生的图像块pd_k最上侧的行向量；用像素列向量a₂的第25～32行的元素按照从左到右的顺序替换步骤2中产生的图像块pd_k中从上向下数的第二行的行向量；将替换后的图像块记为 pd_k′；

步骤10.合成滤波后的图像

对于步骤9中产生的图像块pl_k′、pr_k′、pu_k′和pd_k′，采用JPEG图像压缩方法中图像块合成图像方法，得到滤波后的图像X′。

本发明的有益效果如下：

1、为了避免因滤波产生的误差而影响编码效率，以解码后的系数为约束，对图像块边界两侧地像素点进行合理的调整，在有效降低编码块响应的同时，避免因滤波产生的二次误差，从而显著提升滤波效率及整体编码效率。

2、本发明的算法采用了基于二阶梯度的滤波方法，滤波效果十分明显，并且本发明所提出的滤波方法在有效的去除图像块效应的同时，能够充分利用图像的二阶变化特征，在实现滤波的同时，有效保留图像的细节信息，防止因滤波所造成的额外信息损失。

附图说明

图1为本发明一种基于图像二阶梯度的去块效应滤波方法的流程示意图。

图2为本发明实施例中仿真所使用的图像：(a)Butterfly；(b)Statue；

具体实施方式

本发明提供一种基于图像二阶梯度的去块效应滤波方法，为方便描述本发明内容，首先做一下术语定义：

定义1：传统的JPEG图像压缩方法

传统的JPEG图像压缩方法是按照JPEG图像压缩标准对图像进行分块式压缩的方法，其中包括了经典的图像分块方法、图像块的二维离散余弦变换方法、变换系数块的量化和反量化方法、系数块的熵编码方法、系数块的二维离散余弦反变换方法以及用压缩后的图像块合成完整图像的方法等，具体描述过程参见“JPEG(Joint Photographic ExpertsGroup):ISO/IEC IS 10918–1/ITU-T Recommendation T.81,Digital Compression andCoding of Continuous-Tone Still Image,1993”；

定义2：传统的二维离散余弦变换

传统的二维离散余弦变换是将图像块从像素域转换到变换域的方法，通过对原始图像块矩阵分别左乘和右乘二维离散余弦变换矩阵，能够实现对原始图像块的二维离散余弦变换，具体描述过程参见“JPEG(Joint Photographic Experts Group):ISO/IEC IS10918–1/ITU-T Recommendation T.81,Digital Compression and Coding ofContinuous-Tone Still Image,1993”；

定义3：传统的产生离散余弦变换矩阵的方法

传统的产生离散余弦变换矩阵的方法是根据离散余弦变换的定义，计算变换矩阵中的每一个变换系数，产生任意大小的离散余弦变换矩阵的方法，具体描述过程参见文献“数字视频编码技术原理”，高文、赵德斌、马思伟著，科学出版社；

定义4：传统的Kronecker乘法

传统的Kronecker乘法可以表示为其中，表示Kronecker乘法算子，A是大小为m×n的矩阵，a_ij为矩阵A中的元素，i代表横坐标索引，j代表纵坐标索引。

B是大小为p×q的矩阵，b_ij为矩阵B中的元素，i代表横坐标索引，j代表纵坐标索引。

C是大小为mp×nq的矩阵，

具体描述过程参见文献“矩阵分析与应用(第2版)”，张贤达著，清华大学出版社；

上述基于图像二阶梯度的去块效应滤波方法的具体流程如图1所示，包括以下步骤：

步骤1.对原始图像进行压缩

用传统的JPEG图像压缩方法对输入图像进行压缩，将压缩后的图像记为X；

步骤2.对压缩后的图像进行分块

按照传统的JPEG图像压缩方法中的分块方式将步骤1中得到的压缩图像X划分成互不重叠的、大小为8×8的图像块，将所有图像块中左右相邻的两个图像块分别记为pl_k和pr_k，将所有图像块中上下相邻的两个图像块分别记为pu_k和pd_k，这里，k是图像块的下标索引， k＝1,2,3,…；

步骤3.对图像块进行二维离散余弦变换

首先，对步骤2中产生的图像块pl_k进行传统的二维离散余弦变换，得到变换后的系数块，记为Pl_k；对步骤2中产生的图像块pr_k进行传统的二维离散余弦变换，得到变换后的系数块，记为Pr_k；

接着，将步骤2中产生的图像块pu_k进行传统的二维离散余弦变换，得到变换后的系数块，记为Pu_k；对步骤2中产生的图像块pd_k进行传统的二维离散余弦变换，得到变换后的系数块，记为Pd_k；

步骤4.产生变换系数向量

首先，将步骤3中产生的系数块Pl_k中的系数按照从上到下、从左到右的顺序依次取出，再按照从上到下的顺序组成一个一维的列向量，记为Y₁；将步骤3中产生的系数块Pr_k中的系数按照从上到下、从左到右的顺序依次取出，按照从上到下的顺序组成一个一维的列向量，记为Y₂；

接着，将步骤3中产生的系数块Pu_k中的系数按照从上到下、从左到右的顺序依次取出，再按照从上到下的顺序组成一个一维的列向量，记为Y₃；将步骤3中产生的系数块Pd_k中的系数按照从上到下、从左到右的顺序依次取出，按照从上到下的顺序组成一个一维的列向量，记为Y₄；

最后，将列向量Y₁和列向量Y₂按照从上到下的顺序组成一个列向量，记为N，这里，符号T表示对向量进行转置操作；将列向量Y₃和列向量Y₄按照从上到下的顺序组成一个列向量，记为M，这里，

步骤5.产生两个采样变换矩阵

首先，用传统的产生离散余弦变换矩阵的方法产生一个大小为8×8的离散余弦变换矩阵，记为A；

其次，用传统的Kronecker乘法和离散余弦变换矩阵A,产生一个大小为64×64的变换矩阵，记为B，这里，符号代表传统的Kronecker乘法中的乘法算子；

接着，按照从上到下的顺序将矩阵B的第49～64个行向量依次取出，按照从上到下的顺序组成一个大小为16×64的矩阵，记为Φ₁；按照从上到下的顺序将矩阵B的第1～16个行向量依次取出，按照从上到下的顺序组成一个大小为16×64的矩阵，记为Φ₂；按照从上到下的顺序将矩阵B的第7、15、23、31、39、47、55、63、8、16、24、32、40、48、56、64个行向量依次取出，按照从上到下的顺序组成一个大小为16×64的矩阵，记为Φ₃；按照从上到下的顺序将矩阵B的第1、9、17、25、33、41、49、57、2、10、18、26、34、42、50、58个行向量依次取出，按照从上到下的顺序组成一个大小为16×64的矩阵，记为Φ₄；

最后，用Φ₁、Φ₂和大小为16×64的全零矩阵，产生一个大小为32×128的采样变换矩阵，记为B₁，这里，O是大小为16×64的全零矩阵；用Φ₃、Φ₄和大小为16×64 的全零矩阵，产生一个大小为32×128的采样变换矩阵，记为B₂，这里，

步骤6.产生去块效应算法的相关参数

首先，用一个大小为8×8的单位矩阵，记为I，和一个大小为8×24的全零矩阵，记为L₁，按照从左到右的顺序组成一个大小为8×32的矩阵，记为G₁，这里，G₁＝[I L₁]；用一个大小为8×8的全零矩阵，记为L₂，和矩阵I，再加上一个大小为8×16的全零矩阵，记为L₃，按照从左到右的顺序组成一个大小为8×32的矩阵，记为G₂，这里，G₂＝[L₂ I L₃]；

其次，用矩阵L₃、矩阵I和矩阵L₂，按照从左到右的顺序组成一个大小为8×32的矩阵，记为G₃，这里，G₃＝[L₃ I L₂]；用矩阵L₁和矩阵I，按照从左到右的顺序组成一个大小为8×32 的矩阵，记为G₄，这里，G₄＝[L₁ I]；

接着，用矩阵G₁、矩阵G₂和矩阵G₃生成一个大小为8×32的矩阵，记为U，这里， U＝G₁-2G₂+G₃；用矩阵G₂、矩阵G₃和矩阵G₄生成一个大小为8×32的矩阵，记为V，这里，V＝G₂-2G₃+G₄；

最后，根据传统的JPEG图像压缩方法中的品质因子QF，定义去块效应算法中的调节因子，记为λ，这里，λ＝0.26×QF+0.9；

步骤7.水平方向滤波

首先，将水平方向滤波后的系数列向量记为N′：

其中，E是大小为128×128的单位矩阵；

然后，用B₁和N′产生水平方向滤波后的像素列向量，记为a₁，这里a₁＝B₁N′；

步骤8.垂直方向滤波

首先，将垂直方向滤波后的系数列向量记为M′：

然后，用B₂和M′产生垂直方向滤波后的像素列向量，记为a₂，这里a₂＝B₂M′；

步骤9.更新图像块像素点

首先，用步骤7产生的像素列向量a₁的第1～8行的元素按照从上到下的顺序替换步骤2 中产生的图像块pl_k中从右向左数的第二列的列向量；用像素列向量a₁的第9～16行的元素按照从上到下的顺序替换步骤2中产生的图像块pl_k最右侧的列向量；将替换后的图像块记为 pl_k′

其次，用步骤7产生的像素列向量a₁的第17～24行的元素按照从上到下的顺序替换步骤 2中产生的图像块pr_k最左侧的列向量；用像素列向量a₁的第25～32行的元素按照从上到下的顺序替换步骤2中产生的图像块pr_k中从左向右数的第二列的列向量；将替换后的图像块记为 pr_k′；

接着，用步骤8产生的像素列向量a₂的第1～8行的元素按照从左到右的顺序替换步骤2 中产生的图像块pu_k中从下向上数的第二行的行向量；用像素列向量a₂的第9～16行的元素按照从左到右的顺序替换步骤2中产生的图像块pu_k最下侧的行向量；将替换后的图像块记为 pu_k′；

最后，用步骤8产生的像素列向量a₂的第17～24行的元素按照从左到右的顺序替换步骤 2中产生的图像块pd_k最上侧的行向量；用像素列向量a₂的第25～32行的元素按照从左到右的顺序替换步骤2中产生的图像块pd_k中从上向下数的第二行的行向量；将替换后的图像块记为pd_k′；

步骤10.合成滤波后的图像

对于步骤9中产生的图像块pl_k′、pr_k′、pu_k′和pd_k′，采用传统的JPEG图像压缩方法中图像块合成图像的方法，产生滤波后的图像，记为X′。

本实施例中采用的测试图像如图2所示，分别为“Butterfly”和“Statue”图像；将图像按照上述方法进行去块滤波处理，其结果如下表所示：

从上表中可以看出，当图像分别使用0.25bpp、0.30bpp、0.35bpp、0.40bpp、0.45bpp的码率进行编码时，使用本发明方法所得到的图像的峰值信噪比相比于压缩后的图像的峰值信噪比，有十分明显的提升。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于图像二阶梯度的去块效应滤波方法，包括以下步骤：

步骤1.对原始图像进行压缩

采用JPEG图像压缩方法对输入图像进行压缩，将压缩后的图像记为X；

步骤2.对压缩后的图像进行分块

按照JPEG图像压缩方法中的分块方式将步骤1中得到的压缩图像X划分成互不重叠的、大小为8×8的图像块，将所有图像块中左右相邻的两个图像块分别记为pl_k和pr_k，将所有图像块中上下相邻的两个图像块分别记为pu_k和pd_k，k是图像块的下标索引，k＝1,2,3,…；

步骤3.对图像块进行二维离散余弦变换

首先，对步骤2中产生的图像块pl_k、pr_k、pu_k与pd_k分别进行二维离散余弦变换，得到变换后的系数块，对应记为Pl_k、Pr_k、Pu_k于Pd_k；

步骤4.产生变换系数向量

首先，将步骤3中得到的系数块Pl_k、Pr_k、Pu_k与Pd_k均进行如下变换：

将系数块中的系数按照从上到下、从左到右的顺序依次取出，再按照从上到下的顺序组成一个一维的列向量，

对应得到列向量Y₁、Y₂、Y₃与Y₄；

然后，将列向量Y₁和列向量Y₂按照从上到下的顺序组成变换系数N：符号T表示转置；将列向量Y₃和列向量Y₄按照从上到下的顺序组成变换系数M：

步骤5.产生采样变换矩阵

首先，构建64×64的变换矩阵B：其中，A为8×8的离散余弦变换矩阵，代表Kronecker乘法中的乘法算子；

然后，按照从上到下的顺序将矩阵B的第49～64个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₁；按照从上到下的顺序将矩阵B的第1～16个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₂；按照从上到下的顺序将矩阵B的第7、15、23、31、39、47、55、63、8、16、24、32、40、48、56、64个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₃；按照从上到下的顺序将矩阵B的第1、9、17、25、33、41、49、57、2、10、18、26、34、42、50、58个行向量依次取出，按照从上到下的顺序组成16×64的矩阵Φ₄；

最后，用Φ₁、Φ₂构建32×128的采样变换矩阵B₁：用Φ₃、Φ₄构建32×128的采样变换矩阵B₂：其中，O是大小为16×64的全零矩阵；

步骤6.产生去块效应算法的相关参数

首先，用8×8的单位矩阵I和8×24的全零矩阵L₁，按照从左到右的顺序组成8×32的矩阵G₁：G₁＝[I L₁]；用8×8的全零矩阵L₂和矩阵I、以及8×16的全零矩阵L₃，按照从左到右的顺序组成8×32的矩阵G₂：G₂＝[L₂ I L₃]；用矩阵L₃、矩阵I和矩阵L₂，按照从左到右的顺序组成8×32的矩阵G₃：G₃＝[L₃ I L₂]；用矩阵L₁和矩阵I，按照从左到右的顺序组成8×32的矩阵G₄：G₄＝[L₁ I]；

然后，用矩阵G₁、矩阵G₂和矩阵G₃生成8×32的矩阵U：U＝G₁-2G₂+G₃；用矩阵G₂、矩阵G₃和矩阵G₄生成8×32的矩阵V：V＝G₂-2G₃+G₄；

最后，根据JPEG图像压缩方法中的品质因子QF，定义去块效应方法中的调节因子λ：λ＝0.26×QF+0.9；

步骤7.水平方向滤波

其中，N′为水平方向滤波后的系数列向量，E为128×128的单位矩阵；

进而得到水平方向滤波后的像素列向量a₁：a₁＝B₁N′；

步骤8.垂直方向滤波

其中，M′为垂直方向滤波后的系数列向量；

进而得到垂直方向滤波后的像素列向量a₂：a₂＝B₂M′；

步骤9.更新图像块像素点

用步骤7产生的像素列向量a₁的第1～8行的元素按照从上到下的顺序替换步骤2中产生的图像块pl_k中从右向左数的第二列的列向量；用像素列向量a₁的第9～16行的元素按照从上到下的顺序替换步骤2中产生的图像块pl_k最右侧的列向量；将替换后的图像块记为pl_k′；

用步骤7产生的像素列向量a₁的第17～24行的元素按照从上到下的顺序替换步骤2中产生的图像块pr_k最左侧的列向量；用像素列向量a₁的第25～32行的元素按照从上到下的顺序替换步骤2中产生的图像块pr_k中从左向右数的第二列的列向量；将替换后的图像块记为pr_k′；

用步骤8产生的像素列向量a₂的第1～8行的元素按照从左到右的顺序替换步骤2中产生的图像块pu_k中从下向上数的第二行的行向量；用像素列向量a₂的第9～16行的元素按照从左到右的顺序替换步骤2中产生的图像块pu_k最下侧的行向量；将替换后的图像块记为pu_k′；

用步骤8产生的像素列向量a₂的第17～24行的元素按照从左到右的顺序替换步骤2中产生的图像块pd_k最上侧的行向量；用像素列向量a₂的第25～32行的元素按照从左到右的顺序替换步骤2中产生的图像块pd_k中从上向下数的第二行的行向量；将替换后的图像块记为pd_k′；

步骤10.合成滤波后的图像

对于步骤9中产生的图像块pl_k′、pr_k′、pu_k′和pd_k′，采用JPEG图像压缩方法中图像块合成图像方法，得到滤波后的图像X′。