CN111510578A - 基于强化学习的jpeg压缩图像重建方法 - Google Patents

Abstract

本发明涉及一种基于强化学习的JPEG压缩图像重建方法，包括下列步骤：第一步：制作JPEG压缩图像数据集：对于已经公开的图像数据集，进行4种不同程度的JPEG压缩生成含有压缩噪声的图片。第二步：设计JPEG压缩图像恢复工具：针对4种不同程度的JPEG压缩，分别训练重建算法参数，获得4个压缩图像恢复工具。第三步：训练最优处理工具选择网络，面对不同程度的压缩图片选择最合适的恢复工具。

Description

基于强化学习的JPEG压缩图像重建方法

技术领域

本发明属于图像处理技术领域，涉及一种基于机器学习技术，采用强化学习重建JPEG压缩图像的方法。

背景技术

随着大数据时代的到来，图像信息因其更具有直观性，更加通俗易懂，已经是日常生活中必不可少的信息来源。虽然数字化技术已经非常成熟，但是存储器的存储容量、通信干线的信道带宽以及计算机的处理速度任然承受着较大压力。为了缓解压力，在传输或者保存图像时都经过了压缩编码。JPEG压缩编码常用的压缩方式。图像数据的冗余主要有：相邻位置的像素之间有一定的相关性，会产生空间上的冗余；同时在图像序列中，不同帧之间也会有一定的相关性，会产生时间上的冗余；还有频带冗余等。虽然图像压缩编码可以提高图像存储、传输以及处理的速度，节省存储空间，但是也会降低图像的分辨率，缺失细节信息，影响了图像的后续处理。

压缩图像重建是指从已有的低分辨率图像中恢复出损失的高频信息，进而获得高分辨率图像的技术。近年来，海内外诸多学者都对重建压缩图像进行了研究。Wang等设计了一种深度双域基础上的快速重建模型，利用了深度网络强大的学习能力以及专家系统^[1]；Yu等利用卷积神经网络实现人工痕迹的无缝衰减，并通过层次分解和联合使用大幅度卷积和反卷积网络来加速^[2]；在特定的先验知识(比如量化表)的帮助下，Liu等提出了一种分解压缩图片的方法，将压缩图片分为结构层和细节层分别采用不同的处理方法^[3]；Kang等先对图像进行去块操作后再进行重建，以避免压缩图像上的块痕迹对重建造成影响^[4]。

[1]WangZ,LiuD,Chang S,etal.D3:Deep dual-domainbasedfastrestoration ofJPEG-compressedimages[C]//Proceedings oftheIEEE ConferenceonComputerVisionand Pattern Recognition.2016:2764-2772.

[2]YuK,DongC,LoyC C,etal.DeepConvolutionNetworksforCompressionArtifacts Reduction[J].arXivpreprintarXiv:1608.02778.2016.

[3]LiY,GuoF,TanRT,etal.AcontrastenhancementframeworkwithJPEGartifacts suppression[C]//EuropeanConferenceonComputerVision.SpringerInternational Publishing,2014:174-188.

[4]KangLW,HsuC C,etal.Self-learning-basedsingleimage super-resolutionofhighly compressedimage[C]

发明内容

本发明提供一种JPEG压缩图像重建方法，基于强化学习的方法对JPEG压缩图像重建，针对不同程度的压缩图片，自主采取最合适的重建方法，提高图像的细节信息，便于后续的处理，提高效率和准确率。

技术方案如下：

一种基于强化学习的JPEG压缩图像重建方法，包括下列步骤：

第一步：制作JPEG压缩图像数据集

对于已经公开的图像数据集，划分训练集和测试集，用matlab对训练集和测试集进行预处理，进行4种不同程度的JPEG压缩生成含有压缩噪声的图片。

第二步：设计JPEG压缩图像恢复工具

针对4种不同程度的JPEG压缩，分别训练重建算法参数，并生成对应的meta文件，获得4个压缩图像恢复工具，每个工具对恢复某个特定压缩程度的图片效果最好。采取的是生成对抗网络恢复重建算法。

第三步：训练最优处理工具选择网络

对压缩图像进行重建时，4个压缩图像恢复工具的恢复效果不同，利用DQN强化学习算法设计自主选择最优处理工具的网络，将选择问题看作马尔科夫过程，用回报函数来评价每一个动作。面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化，将处理工具的选择视为离散的动作，面对不同程度的压缩图片选择最合适的恢复工具。

第四步：模型性能测试

将测试集中的4种不同程度JPEG压缩后的图片输入最优处理工具选择网络中，输出各图片最优恢复算法对应的标号，并对压缩图片进行对应的重建操作，得到重建后的图像；通过计算没有压缩的原始图片和重建后的图像之间的峰值功率信噪比PSNR，对模型的性能进行评估，PSNR值越高，恢复效果越好。

优选地，第三步包括：

(1)设环境状态S_t＝{I_t,v_t}，其中I_t表示输入的压缩图片向量，v_t表示历史动作向量，第一步时，v_t为0向量；t时刻个体采取的动作A_t∈{4个工具}，采取动作即选择一种工具处理压缩图片，获得重建后图片，转换状态至S_t+1，同时得到环境的奖励R_t，计算公式如下：

R_t＝||I_target-I_t-1||²-||I_target-I_t||²

其中I_target表示无压缩原图；累计回报函数Q(t)＝E(R_t+1+λR_t+2+λ²R_t+3+…|S_t)，其中E是期望函数，λ是衰减因子，累计回报函数Q(t)最大化与选择最优处理工具问题等价。

(2)确定训练最优处理工具选择网络参数调整方案：Batch设置为32，学习率设置为0.0001，探索率初值0.1，迭代次数设置为100000次，测试时将Batch设置为1，即每次只处理一张图像，训练最优处理工具选择网络参数，使得目标函数累计回报函数Q(t)最大化。

(3)训练迭代结束或者累计回报函数Q(t)收敛时，得到压缩图片最优处理工具选择网络：输入压缩图片，输出最优处理工具对应的标号。

本发明提出的基于强化学习的JPEG压缩图像重建方法，泛化能力好，重建之后的图片效果较好，提高了图片后续处理的效率。

附图说明

附图1 JPEG压缩图_1

附图2模型重建结果图_1

附图3 JPEG压缩图_2

附图4模型重建结果图_2

附图5 JPEG压缩图_3

附图6模型重建结果图_3

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明具体实施方式做进一步地描述。

第一步：制作JPEG压缩图像数据集。

将DIV2K数据集按照15:1的比例分为训练集，测试集。用matlab对训练集和测试集进行预处理，采用JPEG压缩生成含有压缩噪声的图片，获得750张训练集图片，50张测试集图片。数据集中图片的压缩程度不同。本发明中使用了4种不同程度的JPEG压缩，如表2所示。

表2 JPEG压缩质量因子

第二步：设计JPEG压缩图像恢复工具。

针对4种不同程度的JPEG压缩，分别训练重建算法参数，并生成对应的meta文件，获得4个压缩图像恢复工具，每个处理工具对恢复某个特定压缩程度的图片效果最好。本发明采取的是生成对抗网络恢复重建算法。

第三步：训练最优处理工具选择网络。

当压缩图像输入模型中，4个处理工具的恢复效果不同，所以应当设计自主选择最优处理工具的网络。强化学习算法，将决策看作马尔科夫过程，用回报函数来评价每一个动作。面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化。本发明采用DQN强化学习算法，将处理工具的选择视为离散的动作，面对不同程度的压缩图片选择最合适的恢复工具。

本发明DQN算法中，环境状态S_t＝{I_t,v_t}，其中I_t表示当前的输入的图片向量，v_t表示历史动作向量，第一步时，v_t为0向量；t时刻个体采取的动作A_t∈{4个工具}，采取动作即选择一种工具处理图片，得到状态S_t+1；环境的奖励R_t：

R_t＝||I_target-I_t-1||²-||I_target-I_t||²

其中I_target表示无压缩原图；累计回报函数Q(t)＝E(R_t+1+λR_t+2+λ²R_t+3+…|S_t)，其中E是期望函数，λ是衰减因子，累计回报函数Q(t)最大化与选择最优处理工具问题等价。

由于本发明所使用的数据尺寸较大，经过多次实验结果，最终决定训练参数调整方案：Batch设置为32，学习率设置为0.0001，探索率初值0.1，网络更新频率1000，迭代次数设置为100000次。测试检测模型时，测试时将Batch设置为1，即每次只处理一张图像。训练网络参数，使得目标函数Q(t)最大化。实验环境为Ubuntu16.04操作系统，利用NVIDIA公司6GB显存的RTX2060GPU进行网络的训练并利用CUDA进行训练的加速。

网络迭代结束或者收敛时，得到压缩图片最优处理工具选择网络，输入压缩图片，输出最优处理工具对应的标号。

第四步：模型性能测试。

将测试集中的4种不同程度JPEG压缩后的图片输入最优处理工具选择网络中，输出各图片最优恢复算法对应的标号，并对压缩图片进行对应的重建操作，得到重建后的图像。通过计算没有压缩的原始图片和重建后的图像之间的峰值功率信噪比PSNR，对模型的性能进行评估，PSNR值越高，恢复效果越好。

PSNR的定义为：

其中m,n,c表示图像的尺寸，本发明中为256，256，8；x为没有压缩的原始图片，y时重建后的图片，MAX_I是像素最大值，即为255。

对实验数据进行分析与处理，评价本系统重建JPEG压缩图片的性能。测试后结果如表1所示，对比可知，模型重建效果较好，在一定程度上提高了图片质量。

Claims (3)

1.一种基于强化学习的JPEG压缩图像重建方法，包括下列步骤：

第一步：制作JPEG压缩图像数据集

对于已经公开的图像数据集，划分训练集和测试集，用matlab对训练集和测试集进行预处理，进行4种不同程度的JPEG压缩生成含有压缩噪声的图片。

第二步：设计JPEG压缩图像恢复工具

针对4种不同程度的JPEG压缩，分别训练重建算法参数，并生成对应的meta文件，获得4个压缩图像恢复工具，每个工具对恢复某个特定压缩程度的图片效果最好。

第三步：训练最优处理工具选择网络

对压缩图像进行重建时，4个压缩图像恢复工具的恢复效果不同，利用DQN强化学习算法设计自主选择最优处理工具的网络，将选择问题看作马尔科夫过程，用回报函数来评价每一个动作。面对不同的当前状态，采取最合适的动作来转换状态使得回报函数最大化，将处理工具的选择视为离散的动作，面对不同程度的压缩图片选择最合适的恢复工具。

第四步：模型性能测试

将测试集中的4种不同程度JPEG压缩后的图片输入最优处理工具选择网络中，输出各图片最优恢复算法对应的标号，并对压缩图片进行对应的重建操作，得到重建后的图像；通过计算没有压缩的原始图片和重建后的图像之间的峰值功率信噪比PSNR，对模型的性能进行评估，PSNR值越高，恢复效果越好。

2.根据权利要求1所述的方法，其特征在于，第二步，采用生成对抗网络恢复重建算法。

3.根据权利要求1所述的方法，其特征在于，第三步包括：

(1)设环境状态S_t＝{I_t,v_t}，其中I_t表示输入的压缩图片向量，v_t表示历史动作向量，第一步时，v_t为0向量；t时刻个体采取的动作A_t∈{4个工具}，采取动作即选择一种工具处理压缩图片，获得重建后图片，转换状态至S_t+1，同时得到环境的奖励R_t，计算公式如下：

R_t＝||I_target-I_t-1||²-||I_target-I_t||²

其中I_target表示无压缩原图；累计回报函数Q(t)＝E(R_t+1+λR_t+2+λ²R_t+3+…|S_t)，其中E是期望函数，λ是衰减因子，累计回报函数Q(t)最大化与选择最优处理工具问题等价。

(2)确定训练最优处理工具选择网络参数调整方案：Batch设置为32，学习率设置为0.0001，探索率初值0.1，迭代次数设置为100000次，测试时将Batch设置为1，即每次只处理一张图像，训练最优处理工具选择网络参数，使得目标函数累计回报函数Q(t)最大化。

(3)训练迭代结束或者累计回报函数Q(t)收敛时，得到压缩图片最优处理工具选择网络：输入压缩图片，输出最优处理工具对应的标号。

Images