CN107463989B - 一种基于深度学习的图像去压缩伪影方法 - Google Patents

Abstract

本发明公开一种基于深度学习的图像去压缩伪影方法，能够对图像在高度压缩中产生的伪影进行有效消除。本发明的创新性主要体现在两个方面：第一，本发明运用了最新的深度学习技术，将深度残差网络作为基本模块应用于网络模型当中，有效地缓解了深度网络模型的梯度扩散问题。同时，网络学习得到的底层特征和高层特征通过跳跃式连接相融合，为重建去伪影图像提供了更加丰富的特征信息，进一步提升了模型的去伪影性能。第二，本发明进一步提出了模型选择的方案，可以针对不同程度的压缩伪影，合理选择更加适合的模型进行去伪影操作。通过在两套公开数据集上进行测试，本发明的方法比目前最好的去伪影算法在性能上有了显著的提升。

Description

一种基于深度学习的图像去压缩伪影方法

技术领域

本发明涉及图像处理领域与深度学习技术，尤其涉及一种基于深度学习的图像去压缩伪影方法。

背景技术

图像数据的访问占用新闻网站和各种社交平台以及电商平台的大量流量，而图像压缩技术可以尽可能地减少从网站下载的字节数，从而提高网页加载速度或者社交平台的图片浏览速度。有损压缩方式如JPEG、WebP等技术被广泛应用于新闻网站、微信、微博等平台。这些压缩技术不仅提高客户端的响应速度，而且还能给平台节省存储成本和带宽成本。然而，图像的有损压缩会带来一定程度失真，被解码后的图像会有很多伪影，给用户带来不好的体验。例如，在JPEG和WebP等图像编码的时候，图像被分成16x16或者8x8这样的块，然后对这些块进行离散余弦变换，这样块与块之间的相关信息被忽略，从而形成解码图像的块状伪影。此外，为了能够有效压缩图像数据的字节数，在JPEG和WebP编码时会对离散余弦变换得到的系数进行量化，使得图像的高频分量被丢失，从而导致了解码图像会产生振铃伪影和边界模糊。

在JPEG和WebP等图像压缩编码过程中，可以通过一个质量系数Q来控制生成图片的质量和存储大小。这个质量系数是用在量化阶段，用来控制丢失图像高频信息的多少，一般取值在[1 100]区间。质量系数越大，意味着图像保留的高频信息越多，图像质量越高，然而带来的问题是生成的图片字节数大，压缩比很低。质量系数设置越低，图像的存储很小，压缩比很高，然而解码的图像会有很强的块状伪影、振铃伪影和边界模糊。因而，找到图像的最佳设置需要在文件大小与有损压缩带来的伪影之间权衡。例如，微信平台会将质量系数设置在50左右，而Twitter平台将质量系数设置在[30 100]之间，如果将这些平台的图像放大，可以看到很明显的压缩伪影。

为了除去这种由于图像在压缩编码过程中所产生的图像伪影，传统的解决方法是采用空域滤波器对图像进行平滑操作，例如对块边界的像素用3*3的低通滤波器进行滤波。然而，这种空域滤波器比较单一，对去除压缩伪影的效果一般，并且会使去伪影后的图像产生过度模糊。中国公开专利“基于稀疏表示的自动去块效应方法”(公开号CN102081795A，公开日为2011.06.01)采用了一种基于字典学习的方法，该算法利用稀疏表示原理，去除图像中的块状伪影，并且可以根据不同的边界强度调整去伪影强度。然而，这种去伪影方法受限于字典学习的线性重构能力，不能够有效地减少压缩图像中的非线性伪影。近年来，基于深度学习的技术迅速地发展，Dong^[1]等人提出利用3层卷积神经网络来去除JPEG压缩图像的伪影，并取得了较好的图像去压缩伪影效果。然而，由于浅层网络的非线性特征表示能力和图像重构能力有限，在某些复杂和强伪影的图像中，其去伪影并不令人满意。中国公开专利“一种基于联合深度网络的压缩低分辨率图像复原方法”(公开号CN106709875A，公开日为2017.05.24)结合了JPEG去伪影和超分辨率处理的应用。然而该专利的去JPEG压缩伪影是参照了Dong^[1]等人提出的网络模型，形成了一个循环的4层卷积神经网络，仍然是利用浅层网络来进行去伪影操作，其去伪影性能有限。

发明内容

本发明的目的是针对图像高度压缩所产生的伪影问题，提出利用一种基于深度残差卷积神经网络模型的图像去压缩伪影方法，不仅可以有效地去除压缩图像中的各种伪影，极大改善了互联网上的照片质量，同时也提升了终端用户观看图片的视觉感受。

本发明采用的技术方案是：

一种基于深度学习的图像去压缩伪影方法，其包括以下步骤：

步骤1，收集高质量照片，形成训练图像数据库；利用手机和数码相机拍摄大量高质量照片，由于这些照片没有被高度压缩处理，因而没有压缩伪影，可以用作深度学习训练的目标图像。

步骤2，对图像数据库进行预处理，形成N对有压缩伪影的低质量子图像与高质量子图像的配对集{I_c ⁱ，I_t ⁱ}，其中I_c ⁱ为质量子图像，I_t ⁱ为高质量子图像，i为配对集中不同配对的标志位，i∈{1,2,…,N}；随机打乱配对集中的每对子图像顺序，得到最终用于训练深度卷积神经网络模型的数据集；

步骤3，利用深度卷积神经网络模型，输入压缩的低质量子图像I_c ⁱ，得到模型预测的图像I_g ⁱ，其中，深度神经网络模型分别包括初始卷积模块、残差卷积模块和图像重建模块；

其中初始卷积阶段包含一个卷积层和激活层，学习得到底层特征F₁，具体的计算公式为：

其中W₁和B₁为初始卷积模块的权值参数和偏置参数；

利用得到的底层特征F₁，开始执行残差卷积模块，每个残差卷积模块依次包含第一卷积层、一个非线性激活层、第二卷积层和一个特征结合层，从而得到高层特征F_k，其计算公式是：

F_k＝W_k max(W_k-1F_k-2+B_k-1)+F_k-2 (2)

第一卷积层、一个非线性激活层和第二卷积层分别对应公式(2)中的W_k-1、B_k-1和W_k，其中k为卷积层的序号；特征结合层是通过跳跃式连接将k-2层的输出特征F_k与第k卷积层的输出特征相加，并得到结合的特征F_k，特征结合层没有参数需要学习；

利用高层特征F_k执行图像重建层得到去伪影的模型预测的图像I_g ⁱ，去伪影的模型预测的图像I_g ⁱ的计算公式为：

其中M为网络模型的所有卷积层个数；

步骤4，比较去伪影的模型预测的图像I_g ⁱ和高质量子图像I_t ⁱ，通过优化算法的迭代，得到最终的网络模型参数W和B；

步骤5，对于需要去压缩伪影的测试图像，先估计测试图像的质量系数；

步骤6，根据估计的测试图像的质量系数，再选择相应的神经网络模型参数W和B进行去伪影操作；对测试图像执行步骤3的前向操作，得到测试图像的去伪影结果。

进一步地，所述步骤2中配对集的生成方法为：

根据预先设定的图像质量系数q，利用JPEG格式压缩收集的高质量照片，得到具有压缩伪影的低质量图像集；

从低质量图像集中按d*d截取低质量子图像I_c，并同时从对应的高质量照片中截取相应大小的高质量子图像I_t，形成包含N对子图像的配对集{I_c ⁱ，I_t ⁱ},i∈{1,2,…,N}。

进一步地，所述步骤4的具体步骤为：

计算去伪影图像I_g ⁱ和高质量子图像I_t ⁱ的欧式距离：

其中bz为每次从子图像配对集中随机选取的小批量训练图像个数，并对卷积模型参数W增加规则项；

以公式(4)为目标函数，优化计算得到网络模型各层的梯度，迭代更新网络模型各层的参数，其中第k卷积层参数W_k迭代的计算公式是：

其中m为结合动量，λ为学习率，L为训练的损失误差；

优化过程直到满足一定的迭代次数才终止。

进一步地，所述步骤5中估计测试图像的质量系数的具体方法为：在测试算法性能时，可以根据预先设定的质量系数q对高质量图像进行压缩，得到有压缩伪影的测试图像，在实际应用中，对一副任意的JPEG压缩图像，需要根据图像内容进行质量系数的评估，从而得到图像被压缩的程度。质量系数越低，表示图像丢失的信息越多，图像所产生的伪影就会越多，图像恢复的难度加大。再通过将测试图像转换到频域空间，并统计频域空间的特征来表示图像的块状效应和模糊效应等伪影，从而估计出测试图像的质量系数。

本发明采用以上技术方案，运用了最新的深度学习技术，有效地移除了图像由于高度压缩而带来的伪影，增强了图像的显示效果。首先，深度残差网络作为基本模块应用于网络模型当中，有效地缓解了深度网络模型的梯度扩散问题，使得网络模型能够收敛，并学习到更多的信息。同时，通过加深网络，模型的非线性表征能力更强，能够更加有效的学习到压缩伪影的特征表示，使得训练得到的模型能够有效移除压缩伪影。其次，通过跳跃式连接，将高层特征F_k和底层特征F₁融合，为重建去伪影图像提供了更加多层次的特征信息，进一步提升了模型的去伪影性能。同时，本发明提出根据图像的质量系数选择相应的模型进行去伪影操作。对压缩图像的块状效应和模糊效应进行评估，估计出图像压缩时候的质量系数，这样可以根据图像的压缩伪影程度选择模型，从而达到更好的去伪影效果。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种基于深度学习的图像去压缩伪影方法的流程示意图；

图2为本发明方法与现有技术ARCNN在LIVE1数据库中的paintedhouse图像的去伪影效果比较图，JPEG压缩质量系数为10；

图3为本发明方法与现有技术ARCNN在LIVE1数据库中的monarch图像的去伪影效果比较图，JPEG压缩质量系数为10。

具体实施方式

如图1所示，本发明公开了一种基于深度学习的图像去压缩伪影方法，具体包括以下步骤：

步骤1，收集高质量照片，形成训练图像数据库。利用手机和数码相机拍摄大量高质量照片，由于这些照片没有被高度压缩处理，因而没有压缩伪影，可以用作深度学习训练的目标图像。

步骤2，对图像数据库进行预处理，形成有压缩伪影的低质量子图像与高质量子图像的配对集。根据预先设定的图像质量系数q，利用JPEG格式压缩收集的高质量照片，得到具有压缩伪影的低质量图像集。从低质量图像集中按d*d截取低质量子图像I_c，并同时从对应的高质量照片中截取相应大小的高质量子图像I_t，形成包含N对子图像的配对集{I_c ⁱ，I_t ⁱ},i∈{1,2,…,N}。随机打乱配对集中的子图像顺序，得到最终用于训练深度卷积神经网络模型的数据集。

步骤3，利用深度卷积神经网络模型，输入压缩的低质量子图像I_c ⁱ，得到模型预测的图像I_g ⁱ。其中，深度神经网络模型分别包括初始卷积模块、残差卷积模块和图像重建模块。其中初始卷积阶段包含一个卷积层和激活层，学习得到底层特征F₁，具体的计算公式为：

其中W₁和B₁为初始卷积模块的权值参数和偏置参数。利用得到的底层特征F₁，开始执行残差卷积模块，从而得到高层特征F_k，其计算公式是：

F_k＝W_k max(W_k-1F_k-2+B_k-1)+F_k-2 (2)

每个残差卷积模块依次包含一个卷积层，一个非线性激活层，一个卷积层和一个特征结合层，分别对应公式(2)中的W_k-1、B_k-1和W，k为卷积层的序号。特征结合层是通过跳跃式连接将k-2层的输出特征F_k与第k卷积层的输出特征相加，并得到结合的特征F_k，特征结合层没有参数需要学习。最后，利用高层特征F_k执行图像重建层，其计算公式为：

I_g＝W_M(max(W_M-1F_k+B_M-1)+F₁) (3)

其中M为网络模型的所有卷积层个数。为了能够得到更好的去伪影图像I_g，如公式(3)所示，将高层特征F_k和底层特征F₁经过跳跃式连接相加，为去伪影图像的重建提供更加丰富的特征信息。

步骤4，比较预测图像和原始图像，通过优化算法的迭代，得到最终的网络模型参数W和B。通过步骤3的前向计算，可以得到网络模型去伪影的预测图像I_g，并与高质量子图像I_t进行比较，计算两幅子图像的欧式距离：

其中bz为每次从子图像配对集中随机选取的小批量训练图像个数，并对卷积模型参数W增加规则项。以公式(4)为目标函数，优化计算得到网络模型各层的梯度，迭代更新网络模型各层的参数，其中第k卷积层参数W_k迭代的计算公式是：

其中m为结合动量，λ为学习率，L为训练的损失误差。优化过程直到满足一定的迭代次数才终止。

步骤5，针对有压缩伪影的测试图像，估计测试图像的质量系数。在测试算法性能时，可以根据预先设定的质量系数q对高质量图像进行压缩，得到有压缩伪影的测试图像。在实际应用中，对一副任意的JPEG压缩图像，需要根据图像内容进行质量系数的评估，从而得到图像被压缩的程度。质量系数越低，表示图像丢失的信息越多，图像所产生的伪影就会越多，图像恢复的难度加大。本发明通过将测试图像转换到频域空间，并统计频域空间的特征来表示图像的块状效应和模糊效应等伪影，从而估计出测试图像的质量系数。

步骤6，根据测试图像质量系数，选择相应的神经网络模型参数W和B进行去伪影操作。对测试图像执行步骤3的前向操作，得到测试图像的去伪影结果。

为了验证本发明方法的有效性，采用了公开数据库LIVE1和Classical5进行实验，该数据分别包含了29张和5张测试图片。对这些测试图片运用JPEG分别按照质量系数为10和40进行压缩，然后采用本发明的方法进行去伪影操作。得到的去伪影图像与原始数据库中的图像进行对比，并计算峰值信噪比(PSNR:Peak Signal to Noise Ratio)和结构相似性(SSIM:Structural Similarity Index)来衡量图像的去伪影性能。本发明得到的去伪影效果与现有最好的技术ARCNN^[1]进行比较。表1比较了不同方法在公开数据库Classical5上的测试结果，当压缩质量系数设置为10时，本发明的方法比目前最好的ARCNN方法的PSNR值和SSIM值分别提高了0.5db和0.0158。在公开数据库LIVE1上的测试结果如表2所示。当压缩质量系数为10时，本发明的方法比ARCNN方法的PSNR值和SSIM值提高了0.74db和0.0254。由此可见，本发明采用以上技术方案，较目前最好的技术ARCNN相比，获得了更好的去伪影效果。图2和图3分别比较了本发明方法和ARCNN在不同压缩图像上的去伪影结果。

表1本发明与现有技术对于Classical5数据集的结果比较

表2本发明与现有技术对于LIVE1数据集的结果比较

本发明采用以上技术方案，运用了最新的深度学习技术，有效地移除了图像由于高度压缩而带来的伪影，增强了图像的显示效果。首先，深度残差网络作为基本模块应用于网络模型当中，有效地缓解了深度网络模型的梯度扩散问题，使得网络模型能够收敛，并学习到更多的信息。同时，通过加深网络，模型的非线性表征能力更强，能够更加有效的学习到压缩伪影的特征表示，使得训练得到的模型能够有效移除压缩伪影。其次，通过跳跃式连接，将高层特征F_k和底层特征F₁融合，为重建去伪影图像提供了更加多层次的特征信息，进一步提升了模型的去伪影性能。同时，本发明提出根据图像的质量系数选择相应的模型进行去伪影操作。对压缩图像的块状效应和模糊效应进行评估，估计出图像压缩时候的质量系数，这样可以根据图像的压缩伪影程度选择模型，从而达到更好的去伪影效果。

本发明涉及的参考文献为：

[1]Chao Dong,Yubin Deng,Chen Change Loy,Xiaoou Tang.CompressionArtifacts Reduction by a Deep Convolutional Network,in Proceedings ofInternational Conference on Computer Vision(ICCV),2015.

Claims (4)

1.一种基于深度学习的图像去压缩伪影方法，其特征在于：其包括以下步骤：

步骤1，收集高质量照片，形成训练图像数据库；

步骤2，对图像数据库进行预处理，形成N对有压缩伪影的低质量子图像与高质量子图像的配对集{I_c ⁱ，I_t ⁱ}，其中I_c ⁱ为低质量子图像，I_t ⁱ为高质量子图像，i为配对集中不同配对的标志位，i∈{1,2,…,N}；随机打乱配对集中的每对子图像顺序，得到最终用于训练深度卷积神经网络模型的数据集；

步骤3，利用深度卷积神经网络模型，输入压缩的低质量子图像I_c ⁱ，得到模型预测的图像I_g ⁱ，其中，深度卷积神经网络模型分别包括初始卷积模块、残差卷积模块和图像重建模块；

其中初始卷积阶段包含一个卷积层和激活层，学习得到底层特征F₁，具体的计算公式为：

其中W₁和B₁为初始卷积模块的权值参数和偏置参数；

利用得到的底层特征F₁，开始执行残差卷积模块，每个残差卷积模块依次包含第一卷积层、一个非线性激活层、第二卷积层和一个特征结合层，从而得到高层特征F_k，其计算公式是：

F_k＝W_k max(W_k-1F_k-2+B_k-1)+F_k-2 (2)

第一卷积层、一个非线性激活层和第二卷积层分别对应公式(2)中的W_k-1、B_k-1和W_k，其中k为卷积层的序号；特征结合层是通过跳跃式连接将k-2层的输出特征F_k-2与第k卷积层的输出特征相加，并得到结合的特征F_k，特征结合层没有参数需要学习；

利用高层特征F_k执行图像重建层得到去伪影的模型预测的图像I_g ⁱ，去伪影的模型预测的图像I_g ⁱ的计算公式为：

其中M为网络模型的所有卷积层个数；

步骤4，比较去伪影的模型预测的图像I_g ⁱ和高质量子图像I_t ⁱ，通过优化算法的迭代，得到最终的网络模型参数W和B；

步骤5，对于需要去压缩伪影的测试图像，先估计测试图像的质量系数；

步骤6，根据估计的测试图像的质量系数，再选择相应的神经网络模型参数W和B进行去伪影操作；对测试图像执行步骤3的前向操作，得到测试图像的去伪影结果。

2.根据权利要求1所述的一种基于深度学习的图像去压缩伪影方法，其特征在于：所述步骤2中配对集的生成方法为：

根据预先设定的图像质量系数q，利用JPEG格式压缩收集的高质量照片，得到具有压缩伪影的低质量图像集；

从低质量图像集中按d*d截取低质量子图像I_c，并同时从对应的高质量照片中截取相应大小的高质量子图像I_t，形成包含N对子图像的配对集{I_c ⁱ，I_t ⁱ},i∈{1,2,…,N}。

3.根据权利要求1所述的一种基于深度学习的图像去压缩伪影方法，其特征在于：所述步骤4的具体步骤为：

计算去伪影的模型预测的图像I_g ⁱ和高质量子图像I_t ⁱ的欧式距离：

其中bz为每次从子图像配对集中随机选取的小批量训练图像个数，并对卷积模型参数W增加规则项；

以公式(4)为目标函数，优化计算得到网络模型各层的梯度，迭代更新网络模型各层的参数，其中第k卷积层参数W_k迭代的计算公式是：

其中m为结合动量，λ为学习率，L为训练的损失误差；Δ_j为第j次迭代的梯度向量；

优化过程直到满足一定的迭代次数才终止。

4.根据权利要求1所述的一种基于深度学习的图像去压缩伪影方法，其特征在于：所述步骤5中估计测试图像的质量系数的具体方法为：

在测试算法性能时，可以根据预先设定的质量系数q对高质量图像进行压缩，得到有压缩伪影的测试图像，再将测试图像转换到频域空间，并统计频域空间的特征来表示图像的伪影，从而估计出测试图像的质量系数。