CN110519595A - 一种基于频域量化损失估计的jpeg压缩图像复原方法 - Google Patents

Abstract

本发明公开了一种基于频域量化损失估计的JPEG压缩图像复原方法，首先提出了基于双域卷积神经网络的JPEG编码压缩图像复原方法的处理框架，该框架由图像特征编码单元、图像特征解码单元、双域压缩损失修正单元以及标记图，量化表等要素组成。通过研究DCT量化的统计先验特性，引入了位素图和标记图等要素，同时采用预测图像在频域中亮度和色度的损失的策略，有效地将亮度与色度分量的学习与双域卷积神经网络相结合，解决了双域卷积神经网络无法利用双域信息进行图像复原的问题。该方法在JPEG编码压缩图像复原领域较其他图像去块滤波方法在主观图像质量及PSNR、SSIM等关键技术指标上均有明显的提升。

Description

一种基于频域量化损失估计的JPEG压缩图像复原方法

技术领域

本发明属于图像处理领域，具体涉及一种基于频域量化损失估计的JPEG压缩图像复原方法。

背景技术

JPEG图像压缩编码技术采用基于8×8像素块的离散余弦(Discrete CosineTransform，DCT)变换，对变换后的DCT系数进行量化处理以消除图像空间的冗余信息，实现对原有图像的压缩存储。由于JPEG的优良的压缩性能以及较低的计算复杂度，这种方法被广泛应用于图像技术相关的各个领域，是世界上应用最为广泛的图像压缩编码技术之一。

但由于JPEG是一种有损压缩方法，通过使用更大的量化步长来实现更高的压缩率，这使得图像在获取较高的压缩率的同时，图像质量产生了较为严重的下降。由于量化操作是一种非线性操作，且图像中所有的像素块量化都是独立的，这使得相邻像素块的边界处会产生明显的灰度跳变，产生块效应，且还会像素块内部形成大量无序分布的模糊以及伪边缘(振铃效应)。这无论是对图像的观看体验还是基于图像的计算机视觉技术的应用都会产生极大的负面影响。

现有的压缩损失图像复原方法，尤其是基于卷积神经网络的方法，大多数的仅基于像素域进行复原。由于JPEG压缩的量化是针对频域系数进行量化，也有一些方法将待复原图像转换至频域，通过量化带来的约束，对卷积神经网络进行训练。但是这种基于频域量化约束来训练的方法受制于DCT变换，只能针对灰度图像进行处理，难以推广到彩色图像，这极大限制了卷积神经网络在JPEG压缩图像复原方面的应用。

发明内容

本发明的目的是提供一种基于频域量化损失估计的JPEG压缩图像复原方法。该JPEG压缩图像复原方法能够快速实现对JPEG压缩图像的复原，且复原图像质量较高。

本发明的技术方案为：

一种基于频域量化损失估计的JPEG压缩图像复原方法，包括以下步骤：

步骤1，根据待复原图像的图像质量因子匹配对应的压缩质量位素图；

步骤2，根据压缩质量位素图和目标复原图像尺寸，以失真图像左上角为原点，重复叠加对应像素位置的压缩质量位素图，使得重复叠加的压缩质量位素图完全覆盖目标复原图像尺寸，并裁掉右侧和下侧区域多余像素点，得到目标复原图像的压缩质量标记图；

步骤3，将压缩质量标记图与目标复原图像按通道进行连接，得到一幅四通道图像；

步骤4，将该四通道图像及该待复原图像的图像质量因子对应的亮度通道量化表和色度通道量化表输入至训练好的双域卷积神经网络模型中，该四通道图像依次经过图像特征编码单元、n个双域压缩损失修正单元以及图像特征解码单元处理，输出复原图像；

其中，每个双域压缩损失修正单元包括特征提取器、修正器、第一叠加层以及放大层四部分；

特征提取器主要用于像素域特征提取，包括膨胀卷积层、激活层、连接层以及卷积层；

修正器主要用于对频域进行修正和像素特征进行修正，其包括频域修正分支、像素特征修正分支以及对频域修正分支结果和像素特征修正分支结果进行叠加输出像素特征域损失的第二叠加层；像素特征修正分支包括一个卷积层C_P1；频域修正分支包括亮度修正分支、色度修正分支以及对亮度修正分支结果和色度修正分支结果进行融合的卷积层C_D5；

放大层用于对第二叠加层输出的像素特征域损失进行放大；

第一叠加层用于对放大层输出的放大后的像素特征域损失和特征提取器输入的像素域特征进行叠加融合，输出修正后的像素域特征。

其中，所述亮度修正分支按照数据流顺序依次包括卷积层C_D1、输出限制单元R1、乘法层M1、DCT反变换层iDCT1、卷积层C_D3，其中，

卷积层C_D1用于对输入像素域特征进行卷积操作，再一次进行像素域特征提取，输出图；

输出限制单元R1用于预测卷积层输出的像素域特征图中每个像素点的相对亮度损失频谱；

乘法层M1用于将输出限制单元输出的相对亮度损失频谱乘以对应的亮度量化表，得到绝对亮度损失频谱；

DCT反变换层iDCT1用于对绝对亮度损失频谱进行DCT反变换，将绝对亮度损失频谱转回至像素点的亮度像素域；

卷积层C_D3用于将像素点的亮度像素域损失映射至像素点的像素特征域。

其中，色度修正分支按照数据流顺序依次包括膨胀卷积DC_D2、乘法层M2、DCT反变换层iDCT2、卷积层C_D4，其中，

膨胀卷积DC_D2用于预测输入特征图中每个像素点的相对色度损失频谱；

乘法层M2用于将膨胀卷积DC_D2输出的相对色度损失频谱乘以对应的色度量化表，得到绝对色度损失频谱；

DCT反变换层iDCT2用于对绝对色度损失频谱进行DCT反变换，将绝对色度损失频谱转回至像素点的亮度像素域；

卷积层C_D4用于将像素点的色度像素域损失映射至像素点的像素特征域。

具体地，所述图像特征编码单元包括依次连接的卷积层CONV_E1、激活层RELU_E1、卷积层CONV_E2以及激活层RELU_E2；

所述图像特征解码单元包括依次连接的卷积层CONV_D1，激活层RELU_D1，卷积层CONV_D2，激活层RELU_D2。

优选地，所述双域压缩损失修正单元中，特征提取器中的卷积层和卷积层C_D5的卷积核尺寸为1×1，个数为64。

优选地，所述双域压缩损失修正单元中，卷积层C_D1、卷积层C_D3以及卷积层C_D4的卷积核尺寸均为3×3，个数为64，滑动步长为1，边缘填充为1。

所述JPEG压缩图像复原方法中，根据JPEG压缩编码标准，计算不同图像质量因子所对应的亮度通道及色度通道，即可以获得亮度通道量化表和色度通道量化表。

所述JPEG压缩图像复原方法中，所述双域卷积神经网络模型是经过训练获得的模型参数确定的双域卷积神经网络模型。所述双域卷积神经网络模型的训练过程为：

构建训练样本，采用动态范围在[5，20]的图像质量因子对高清的彩色图像进行JPEG压缩编码得到失真图像，按照相同的尺寸将彩色图像和失真图像分隔成若干个彩色图像块和失真图像块，根据失真图像块与对应彩色图像块统计每个像素点由于JPEG压缩所造成像素损失的方差，得到每个图像块对应的压缩质量位素图；在获得压缩质量位素图后，按照步骤2～3对压缩质量位素图进行处理，获得四通道图像，该四通道图像与对应的彩色图像组成一个训练样本；

模型的训练，以双域卷积神经网络模型输出的复原图像和对应的彩色图像的差值作为损失函数对双域卷积神经网络模型进行训练，训练结束后，模型参数确定，获得训练好的双域卷积神经网络模型。

与现有技术相比，该基于频域量化损失估计的JPEG压缩图像复原方法可以实现对JPEG压缩图像复原为彩色图像，且复原速度快，精度高，获得的彩色图像质量佳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是基于频域量化损失估计的JPEG压缩图像复原方法的流程框图；

图2是双域卷积神经网络模型的结构示意图；

图3是图2中图像特征编码单元的结构示意图；

图4是图2中图像特征解码单元的结构示意图；

图5是图2中双域压缩损失修正单元的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1所示，本实施例提供的基于频域量化损失估计的JPEG压缩图像复原方法包括构建训练数据、训练卷积神经网络模型以及使用已训练模型进行图像复原阶段。

构建训练数据阶段

训练本发明提出卷积神经网络模型所使用的数据集是DIV2K数据集。DIV2K数据集包含900张2K分辨率的高清彩色图像。其中一组包含800张图像，作为训练数据集，另一组包含100张图像，作为验证数据集。

采用动态范围在5～20的图像质量因子对高清的彩色图像进行JPEG压缩编码得到失真图像，根据失真图像与对应彩色图像统计每个像素点由于JPEG压缩所造成像素损失的方差，得到缩质量位素图；在获得压缩质量位素图后，根据压缩质量位素图和目标复原图像尺寸，以失真图像左上角为原点，重复叠加对应像素位置的压缩质量位素图，使得重复叠加的压缩质量位素图完全覆盖目标复原图像尺寸，并裁掉右侧和下侧区域多余像素点，得到目标复原图像的压缩质量标记图；将压缩质量标记图与目标复原图像按通道进行连接，得到一幅四通道图像；该四通道图像与对应的彩色图像组成一个样本，最后将四通道图像和彩色图像切割成48×48×4的图像块。

训练卷积神经网络模型阶段

训练卷积神经网络模型阶段主要包括搭建卷积神经网络模型、初始化训练模型优化器参数，输入训练数据训练网络模型以及保存模型参数到文件。

针对搭建卷积神经网络模型，如图2所示，搭建的卷积神经网络模型包括图像特征编码单元、8个双域压缩损失修正单元以及图像特征解码单元。输入的四通道图像依次经过图像特征编码单元、n个双域压缩损失修正单元以及图像特征解码单元处理，输出复原图像。

如图3所示，图像特征编码单元按照数据流顺序包含依次连接的卷积层CONV_E1、激活层RELU_E1、卷积层CONV_E2以及激活层RELU_E2。

如图4所示，双域压缩损失修正单元包括特征提取器、修正器、第一叠加层以及放大层四部分。

其中，特征提取器主要用于像素域特征提取，按照数据流顺序依次包括膨胀卷积DC1、激活层DC_R1、连接层DC_C1、膨胀卷积DC2、激活层DC_R2、连接层DC_C2、膨胀卷积DC3、激活层DC_R3、连接层DC_C3、膨胀卷积DC4、激活层DC_R4、连接层DC_C4、膨胀卷积DC5、激活层DC_R5、连接层DC_C5、膨胀卷积DC6、激活层DC_R6、连接层DC_C6、卷积层C_F1、激活层C_FR1，且每一个连接层的输入包含两部分，具体为上一激活层的输出和上一个连接层的输出，即连接层DC_C2的输入为连接层DC_C1的输出和激活层DC_R2的输出，连接层DC_C3的输入为连接层DC_C2的输出和激活层DC_R3的输出，连接层DC_C4的输入为连接层DC_C3的输出和激活层DC_R4的输出，连接层DC_C5的输入为连接层DC_C4的输出和激活层DC_R5的输出，连接层DC_C,6的输入为连接层DC_C5的输出和激活层DC_R6的输出。

修正器主要用于对频域进行修正和像素特征进行修正，其包括频域修正分支、像素特征修正分支以及对频域修正分支结果和像素特征修正分支结果进行叠加，并输出像素特征域损失的第二叠加层A1；像素特征修正分支包括一个卷积层C_P1；频域修正分支包括亮度修正分支、色度修正分支以及对亮度修正分支结果和色度修正分支结果进行融合的卷积层C_D5。

亮度修正分支按照数据流顺序依次包括卷积层C_D1、输出限制单元R1、乘法层M1、DCT反变换层iDCT1、卷积层C_D3，其中，卷积层C_D1用于对输入像素域特征进行卷积操作，再一次进行像素域特征提取，输出图；输出限制单元R1基于量化损失的特性，通过阈值函数将预测卷积层输出的像素域特征图中每个像素点的相对亮度损失频谱限制在[-0.5，0.5]；乘法层M1用于将输出限制单元输出的相对亮度损失频谱乘以对应的亮度量化表，得到绝对亮度损失频谱；DCT反变换层iDCT1用于对绝对亮度损失频谱进行DCT反变换，将绝对亮度损失频谱转回至像素点的亮度像素域；卷积层C_D3用于将像素点的亮度像素域损失映射至像素点的像素特征域。

色度修正分支按照数据流顺序依次包括膨胀卷积DC_D2、乘法层M2、DCT反变换层iDCT2、卷积层C_D4，其中，膨胀卷积DC_D2用于预测输入特征图中每个像素点的相对色度损失频谱；乘法层M2用于将膨胀卷积DC_D2输出的相对色度损失频谱乘以对应的色度量化表，得到绝对色度损失频谱；DCT反变换层iDCT2用于对绝对色度损失频谱进行DCT反变换，将绝对色度损失频谱转回至像素点的亮度像素域；卷积层C_D4用于将像素点的色度像素域损失映射至像素点的像素特征域。

放大层L1用于对第二叠加层输出的像素特征域损失进行放大；

第一叠加层A2用于对放大层输出的放大后的像素特征域损失和特征提取器输入的像素域特征进行叠加融合，输出修正后的像素域特征。

如图5所示，图像特征解码单元包括依次连接的卷积层CONV_D1，激活层RELU_D1，卷积层CONV_D2，激活层RELU_D2。

在此基础上，双域压缩损失修正单元中，特征提取器中的卷积层和卷积层C_D5的卷积核尺寸为1×1，个数为64。卷积层C_D1、卷积层C_D3以及卷积层C_D4的卷积核尺寸均为3×3，个数为64，滑动步长为1，边缘填充为1。

激活层的激活函数均为ReLU函数：

所有放大层的放大系数λ均为0.1。

针对初始化训练模型优化器参数，本实施例中设置卷积神经网络模型的学习优化方法采用Adam优化器，初始学习率设置为0.0001，每经过100000次迭代学习率衰减直至学习率小于2×10^-6则不在衰减，最大迭代次数设置为10⁶。

针对输入训练数据训练网络模型以卷积神经网络模型输出的复原图像和对应的彩色图像的差值作为损失函数对卷积神经网络模型进行训练，每训练10000批次的数据后在验证集上计算验证损失。训练结束后，模型参数确定，保存模型参数到文件，获得训练好的卷积神经网络模型。

使用已训练模型进行图像复原阶段

步骤a，根据待复原图像的图像质量因子匹配对应的压缩质量位素图；

步骤b，根据压缩质量位素图和目标复原图像尺寸，以失真图像左上角为原点，重复叠加对应像素位置的压缩质量位素图，使得重复叠加的压缩质量位素图完全覆盖目标复原图像尺寸，并裁掉右侧和下侧区域多余像素点，得到目标复原图像的压缩质量标记图；

步骤c，将压缩质量标记图与目标复原图像按通道进行连接，得到一幅四通道图像；

步骤d，将该四通道图像及该待复原图像的图像质量因子对应的亮度通道量化表和色度通道量化表输入至训练好的双域卷积神经网络模型中，该四通道图像依次经过图像特征编码单元、8个双域压缩损失修正单元以及图像特征解码单元处理，输出复原图像。

利用BSDS500数据集对本发明提供的模型进行评估：

评估所使用的指标是峰值信噪比(PSNR)和结构相似性(SSIM)。峰值信噪比和结构相似形为越大越好。评估结果如下表1所示，可以看出看出本发明所提出的卷积神经网络模型的在彩色图像的JPEG压缩损失复原方面的性能优越。

表1

其中，ARCNN为文献“C.Dong,Y.Deng,C.L.Chen et al.:Compression ArtifactsReduction by a Deep Convolutional Network.IEEE Conference on ComputerVision.IEEE,576-584(2016)”中的复原方法；RDN为文献“Zhang,Y.,Tian,Y.,Kong,Y.,Zhong,B.,and Fu,Y.:‘Residual Dense Network for Image Restoration’,ArxivPreprint,Arxiv:1812.10477,2018.”中的复原方法；MWCNN为文献“Liu,P.,Zhang,H.,Zhang,K.,Lin,L.,and Zuo,W.:‘Multi-level wavelet-CNN for image restoration’,2018IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops(CVPRW),Salt Lake City,UT,2018,,pp.886-88609”中的复原方法。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于频域量化损失估计的JPEG压缩图像复原方法，包括以下步骤：

步骤1，根据待复原图像的图像质量因子匹配对应的压缩质量位素图；

步骤2，根据压缩质量位素图和目标复原图像尺寸，以失真图像左上角为原点，重复叠加对应像素位置的压缩质量位素图，使得重复叠加的压缩质量位素图完全覆盖目标复原图像尺寸，并裁掉右侧和下侧区域多余像素点，得到目标复原图像的压缩质量标记图；

步骤3，将压缩质量标记图与目标复原图像按通道进行连接，得到一幅四通道图像；

步骤4，将该四通道图像及该待复原图像的图像质量因子对应的亮度通道量化表和色度通道量化表输入至训练好的双域卷积神经网络模型中，该四通道图像依次经过图像特征编码单元、n个双域压缩损失修正单元以及图像特征解码单元处理，输出复原图像；

其中，每个双域压缩损失修正单元包括特征提取器、修正器、第一叠加层以及放大层四部分；

特征提取器主要用于像素域特征提取，包括膨胀卷积层、激活层、连接层以及卷积层；

修正器主要用于对频域进行修正和像素特征进行修正，其包括频域修正分支、像素特征修正分支以及对频域修正分支结果和像素特征修正分支结果进行叠加输出像素特征域损失的第二叠加层；像素特征修正分支包括一个卷积层C_P1；频域修正分支包括亮度修正分支、色度修正分支以及对亮度修正分支结果和色度修正分支结果进行融合的卷积层C_D5；

放大层用于对第二叠加层输出的像素特征域损失进行放大；

第一叠加层用于对放大层输出的放大后的像素特征域损失和特征提取器输入的像素域特征进行叠加融合，输出修正后的像素域特征。

2.如权利要求1所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，所述亮度修正分支按照数据流顺序依次包括卷积层C_D1、输出限制单元R1、乘法层M1、DCT反变换层iDCT1、卷积层C_D3，其中，

卷积层C_D1用于对输入像素域特征进行卷积操作，再一次进行像素域特征提取，输出图；

输出限制单元R1用于预测卷积层输出的像素域特征图中每个像素点的相对亮度损失频谱；

乘法层M1用于将输出限制单元输出的相对亮度损失频谱乘以对应的亮度量化表，得到绝对亮度损失频谱；

DCT反变换层iDCT1用于对绝对亮度损失频谱进行DCT反变换，将绝对亮度损失频谱转回至像素点的亮度像素域；

卷积层C_D3用于将像素点的亮度像素域损失映射至像素点的像素特征域。

3.如权利要求1或2所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，色度修正分支按照数据流顺序依次包括膨胀卷积DC_D2、乘法层M2、DCT反变换层iDCT2、卷积层C_D4，其中，

膨胀卷积DC_D2用于预测输入特征图中每个像素点的相对色度损失频谱；

乘法层M2用于将膨胀卷积DC_D2输出的相对色度损失频谱乘以对应的色度量化表，得到绝对色度损失频谱；

DCT反变换层iDCT2用于对绝对色度损失频谱进行DCT反变换，将绝对色度损失频谱转回至像素点的亮度像素域；

卷积层C_D4用于将像素点的色度像素域损失映射至像素点的像素特征域。

4.如权利要求1所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，所述图像特征编码单元包括依次连接的卷积层CONV_E1、激活层RELU_E1、卷积层CONV_E2以及激活层RELU_E2；

所述图像特征解码单元包括依次连接的卷积层CONV_D1，激活层RELU_D1，卷积层CONV_D2，激活层RELU_D2。

5.如权利要求1所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，所述双域压缩损失修正单元中，特征提取器中的卷积层和卷积层C_D5的卷积核尺寸为1×1，个数为64。

6.如权利要求3所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，所述双域压缩损失修正单元中，卷积层C_D1、卷积层C_D3以及卷积层C_D4的卷积核尺寸均为3×3，个数为64，滑动步长为1，边缘填充为1。

7.如权利要求1所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，根据JPEG压缩编码标准，计算不同图像质量因子所对应的亮度通道及色度通道，即可以获得亮度通道量化表和色度通道量化表。

8.如权利要求3所述的基于频域量化损失估计的JPEG压缩图像复原方法，其特征在于，所述双域卷积神经网络模型的训练过程为：

构建训练样本，采用动态范围在[5，20]的图像质量因子对高清的彩色图像进行JPEG压缩编码得到失真图像，按照相同的尺寸将彩色图像和失真图像分隔成若干个彩色图像块和失真图像块，根据失真图像块与对应彩色图像块统计每个像素点由于JPEG压缩所造成像素损失的方差，得到每个图像块对应的压缩质量位素图；在获得压缩质量位素图后，按照步骤2～3对压缩质量位素图进行处理，获得四通道图像，该四通道图像与对应的彩色图像组成一个训练样本；

模型的训练，以双域卷积神经网络模型输出的复原图像和对应的彩色图像的差值作为损失函数对双域卷积神经网络模型进行训练，训练结束后，模型参数确定，获得训练好的双域卷积神经网络模型。