CN111951207A - 基于深度增强学习和语义损失的图像质量增强方法 - Google Patents

基于深度增强学习和语义损失的图像质量增强方法 Download PDF

Info

Publication number
CN111951207A
CN111951207A CN202010861879.4A CN202010861879A CN111951207A CN 111951207 A CN111951207 A CN 111951207A CN 202010861879 A CN202010861879 A CN 202010861879A CN 111951207 A CN111951207 A CN 111951207A
Authority
CN
China
Prior art keywords
image
distortion
action
network
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010861879.4A
Other languages
English (en)
Other versions
CN111951207B (zh
Inventor
牛玉贞
黄江艺
郑清炀
陈俊豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Jieyu Computer Technology Co ltd
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010861879.4A priority Critical patent/CN111951207B/zh
Publication of CN111951207A publication Critical patent/CN111951207A/zh
Application granted granted Critical
Publication of CN111951207B publication Critical patent/CN111951207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度增强学习和语义损失的图像质量增强方法，步骤S1：构造两种数据集，分别为单一程度单一失真类型数据集和不同程度混合失真类型的数据集；步骤S2：设计一种卷积神经网络模型和一个深度增强学习网络，并为深度增强学习网络设计一种包含综合失真损失和语义损失的损失函数；训练深度增强学习网络，得到训练好的图像质量增强模型；步骤S3：将待测的失真图像划分为图像块，利用训练好的图像质量增强模型恢复待测失真图像的质量，得到最终的图像质量增强结果。本发明利用预训练好的应对单一失真类型的工具集合，通过找出使恢复结果最佳的工具及其使用顺序，最终显著增强混合失真类型图像的质量。

Description

基于深度增强学习和语义损失的图像质量增强方法
技术领域
本发明涉及图像处理以及计算机视觉领域，特别是一种基于深度增强学习和语义损失的图像质量增强方法。
背景技术
图像复原是一个备受关注的热门话题，旨在从受到污染(如噪声、模糊、JPEG压缩)的图像中恢复出清晰的图像。过往的基于卷积神经网络的方法致力于研究一个单一的网络解决单一失真的图像复原问题并且表现突出。如去噪，去模糊，超分辨率和减少JPEG压缩。但是这些研究并没有考虑混合失真，也就是单张图片受到多种失真的影响，而KeYu等人探索了使用较小规模的3-8层的卷积神经网络来联合还原混合失真的图像。与之类似的还有，Park等人提出了一种用于颜色增强的深度强化学习(DRL)方法，显式地建模了迭代的、逐步的人类修饰过程。
鉴于深度强化学习算法在计算机视觉领域取得的成功，研究者们提出了多个有效的深度强化学习算法。DeepMind在2013年提出了开创性的深度Q网络DQN算法，可以说是深度学习和强化学习的第一次成功结合，使得计算机能够直接根据高维感知来学习控制策略。2015年又发布了改进版本，其中包含两个关键技术：样本池和固定目标值网络。同年Lillicrap等提出了深度确定性策略梯度算法DDPG，将确定性策略梯度DPG与Actor-Critic框架相结合，使得深度强化学习方法可以应用于较为复杂的有大的动作空间和连续动作空间的情境。Mnih等于2016年提出了A3C算法，利用这种方法可以不再依赖样本池来存储历史经验，极大地缩短了训练时间。2017年Heess提出了分布式近似策略优化算法DPPO，有效避免了训练过程中的参数震荡。
目前基于强化学习的图像复原根据复原图像和原始图像之间的差异定义损失函数，但是图像中不同图像内容在各种应用中的作用各不相同，如去雨和去雾图像应用在自动驾驶中，需要复原图像中的行人、车辆、交通标志灯，但是目前不能尽可能复原图像的语义信息。
发明内容
有鉴于此，本发明的目的是提供一种基于深度增强学习和语义损失的图像质量增强方法，可以显著提高混合失真图像的质量。
本发明采用以下方案实现：基于深度增强学习和语义损失的图像质量增强方法，包括以下步骤：
步骤S1：构造两种数据集，分别为单一程度单一失真类型数据集和不同程度混合失真类型的数据集；
步骤S2：设计一种卷积神经网络模型，使用单一失真程度单一失真类型数据集训练，令每一个训练好的模型为一个图像恢复动作；设计一个深度增强学习网络，该深度增强学习网络由主体网络结构和动作集组成，动作集由若干个图像恢复动作和一个停止动作组成；为深度增强学习网络设计一种包含综合失真损失和语义损失的损失函数；使用不同程度混合失真类型数据集训练深度增强学习网络，用以使该网络学习到如何通过多次选择图像恢复动作逐步恢复出最优的图像质量，最终得到训练好的深度增强学习网络模型即图像质量增强模型；
步骤S3：将待测的失真图像划分为图像块，利用训练好的图像质量增强模型恢复待测失真图像的质量，得到最终的图像质量增强结果。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：以(峰值信噪比)PSNR为指标，PSNR低于20dB视为严重失真，PSNR在20到30dB之间视为中度失真，PSNR在30到40dB之间视为轻度失真，划分出三种失真程度；引入五种失真类型：噪声、高斯模糊、JPEG压缩损失、雨失真和雾失真；使用matlab的相关函数，任选失真程度和失真类型，对原始图像加失真：使用imnoise函数添加高斯噪声；使用FSPECIAL函数添加高斯模糊；使用imwrite函数添加JPEG压缩损失；使用imnoise函数生成随机噪声，对噪声拉长、旋转方向模拟不同大小不同方向的雨水，然后与原图叠加得到雨失真效果；使用imnoise函数添加随机白噪声，与原图叠加后再对图像使用两次imfilter函数得到雾失真效果，最终得到15组单一程度和单一失真类型数据集；再制作混合失真类型数据集，对所有原始图像做3-5次加失真处理，每一次都是任选失真程度和失真类型对原始图像加失真，最终得到1组不同程度和混合失真类型的数据集；
步骤S12：将每一张处理后的失真图像和对应的原始图像作为一组，对每一组的失真图像和原始图像分别按照h×w的大小进行裁剪，得到同等份的h×w大小的失真图像块和原始图像块，将一个失真图像块和与之对应的原始图像块称为一个图像对；
步骤S13：在生成所有图像对后以图像对为单位进行随机打乱，然后按自然数顺序对图像对重新编号并保存，用以确保在训练过程中读入图像对时图像内容相近的图像对不会被连续读入。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：设计一种卷积神经网络模型，网络使用残差结构设计，由直接映射部分和残差部分组成，输入单一程度单一失真类型数据集，直接映射部分是输入的直接映射，残差部分让输入通过5层或9层的卷积层，每一层卷积层都是卷积核大小为3×3、步长为1的卷积层，每一层卷积层后都跟上激活函数ReLU；该卷积神经网络模型的输出由直接映射部分和残差部分相加得到；使用15组单一失真程度单一失真类型数据集，训练出15个针对不同失真程度和失真类型的卷积神经网络模型，每一个训练好的卷积神经网络模型为一个图像恢复动作；
步骤S22：设计一个深度增强学习网络模型，用以实现不同程度和混合失真类型图像的图像质量增强；
步骤S23：设计综合失真损失和语义损失的损失函数；在深度增强学习网络训练阶段，损失函数通过反向传播更新网络参数，训练好的深度增强学习网络模型称为图像质量增强模型；深度增强学习网络模型的损失函数包括失真损失和语义损失。
进一步地，步骤S21中所述使用15组单一失真类型数据集，训练出15个针对不同失真程度和失真类型的卷积神经网络模型的具体内容为：
使用5层卷积网络针对每一种失真类型的轻度和中度程度各训练一个去失真模型，使用9层卷积网络针对每一种失真类型的严重程度训练一个去失真模型；每一次训练的数据来自15组单一程度和单一失真类型数据集中的一组数据，训练中每个批次的损失函数L的公式如下：
Figure BDA0002648084380000051
其中，m代表一个训练批次中图像对的数量，
Figure BDA0002648084380000052
表示第j幅失真图像对应的原始的参考图像，
Figure BDA0002648084380000053
表示第j幅失真图像输入模型后输出的恢复结果；最终每个失真类型得到针对轻度、中度、严重三个程度的3个去失真模型；当失真类型数为5时，共得到15个去失真模型，将它们称为图像修复动作；对这15个工具进行编号，编号为0～14，再定义一个停止动作，编号为15。
5、根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：所述步骤S22的具体内容为：
设计一个深度增强学习网络模型，该深度增强学习网络模型由主体网络结构和动作集组成，动作集由15个图像恢复动作和一个停止动作组成，主体网络结构的任务是多次决策，每一次决策都从15个图像恢复动作中选择一个动作，调用对应的卷积神经网络模型以增强当前图像的质量，然后再将处理后的图像再次送入主体网络结构中再次决策，直到决策选中停止动作则决策停止；
所述深度增强学习网络模型的主体网络结构由多个密集连接的层叠卷积模块和递归神经网络模块复合而成；首先将输入图像通过密集连接的4层卷积层，依次包括1个卷积核大小为9×9的卷积层和3个卷积核大小为5×5的卷积层；然后将4层卷积层的输出进行拼接，通过1个卷积核大小为3×3的卷积层和1个全连接层得到卷积特征Fcontext；每一层卷积层后都使用激活函数ReLU；层叠卷积模块的任务是提取出输入图像的卷积特征Fcontext，将上一步所做决策对应的动作编号做one-hot编码，得到一个one-hot编码向量，如果当前步为第一步则不存在上一步，one-hot编码向量置为全0；然后将卷积特征Fcontext和one-hot编码向量拼接，作为递归神经网络模块的输入；递归神经网络模块由一层长短时记忆网络LSTM和一层32个节点的全连接层组成；其输出是一个16维的列向量(q0,q1,...qi,...q15),i＝0～15，代表当前步待选择的各个动作对应的回报估计，通过贪婪策略决策出失真图像当前步待操作的动作序号及其对应的动作a；贪婪策略的公式如下：
Figure BDA0002648084380000061
其中，N是动作总数，s代表当前状态，a代表动作集合中的动作，Q(s|a)代表增强学习网络Q在当前状态s下选择动作a获得的回报估计，其含义是从当前步选择动作a开始往后直至所有步终止所能获得的奖励的总和的预测，该值由网络输出，当动作的数量为16时，输出是一个16维的列向量(q0,q1,...qi,...q15),i＝0～15，值越大，对应动作越优，π(a|s)表示在当前状态s下选择动作a的概率；该选择策略公式的含义是有1-ε+ε/N的概率选择目前认为最大回报值的动作，而有ε的概率随机从所有的N个可选动作中选择行为；若执行当前操作后得到的图像质量有提高，则将当前步的恢复结果图像再次输入到深度增强学习网络中，通过执行多步去失真操作增强图像质量，直至得到的恢复结果图像质量变差或者超出最大执行步数。
进一步地，所述步骤S23的具体内容为：
图像失真程度用梯度幅值相似性偏差(Gradient Magnitude SimilarityDeviation，GMSD)来表示，GMSD得分越低代表损失越小，图像质量越高，计算公式如下：
Figure BDA0002648084380000071
式中，hx和hy分别代表水平方向和垂直方向上的Prewitt滤波器，将hx与hy分别与参考图像Igt和失真图像Id进行卷积，得到参考图像和失真图像的水平和垂直梯度图像，然后计算参考图像和失真图像的梯度幅值图像：
Figure BDA0002648084380000072
Figure BDA0002648084380000073
式中，mgt和md分别是参考图像和失真图像的梯度幅值图像，Id表示一幅失真图像，Igt代表一幅参考图像；
Figure BDA0002648084380000074
代表卷积操作，k代表图像中的像素位置,mgt(k)代表参考图像的梯度幅值图像中像素位置k处的像素值，md(k)代表失真图像的梯度幅值图像中像素位置k处的像素值，
Figure BDA0002648084380000075
表示将hx与参考图像Igt进行卷积，再对得到的参考图像水平梯度图像的每一个像素单位求平方后，像素位置k处的像素值，
Figure BDA0002648084380000081
表示将hy与参考图像Igt进行卷积，再对得到的参考图像垂直梯度图像的每一个像素单位求平方后，像素位置k处的像素值，
Figure BDA0002648084380000082
表示将hx与失真图像Id进行卷积，再对得到的失真图像水平梯度图像的每一个像素单位求平方后，像素位置k处的像素值，
Figure BDA0002648084380000083
表示将hy与失真图像Id进行卷积，再对得到的失真图像垂直梯度图像的每一个像素单位求平方后，像素位置k处的像素值；利用梯度幅值图像mgt和md，计算梯度幅值相似性图GMS(GradientMagnitudeSimilarity，GMS)如下：
Figure BDA0002648084380000084
式中，c是一个常数，k代表图像中的像素位置,GMS(k)代表梯度幅值相似性图GMS中像素位置k处的像素值；通过平均池化的方法计算梯度幅值相似性均值GMSM(GradientMagnitude Similarity Mean，GMSM)如下：
Figure BDA0002648084380000085
其中，N为图像中像素的总数；GMSM分数越高，图像质量越好；平均池化令每个像素在估计整体图像质量时具有相同的重要性；基于局部质量退化在图像全局上的变化能够反映图像质量这一理念，使用标准差池化方法计算梯度幅值相似性偏差scoreGMSD如下：
Figure BDA0002648084380000086
其中，N为图像中像素的总数；scoreGMSD的值反映了图像中严重失真的范围；scoreGMSD得分越高，失真范围越大，图像感知质量越低；
为深度增强学习网络Q定义一个结构一致但参数不同的子网络Q'，并且规定子网络Q'的参数必须使用子网络Q的参数进行延迟更新，同时引入经验回放机制，设计一个经验池用于存放五元组
Figure BDA0002648084380000091
五元组中的
Figure BDA0002648084380000092
分别表示：第j幅图像在第i步执行动作前的状态、第j幅图像在第i步执行的动作序号、第j幅图像在第i步执行动作得到的奖励、第j幅图像在第i步执行动作后的状态、第j幅图像在第i步执行动作后的终止符；第j幅图像在第i步执行动作后的终止符为真，则代表第j幅图像在第i步执行动作后循环结束，否则循环不结束；令第j幅图像在第i步输入子网络Q时，状态为
Figure BDA0002648084380000093
使用子网络Q的输入图像
Figure BDA0002648084380000094
即第i-1步得到的恢复结果图像，如果是第1步，则是输入的原始失真图像，和参考图像
Figure BDA0002648084380000095
计算梯度幅值相似性偏差得分scoreGMSD，记为
Figure BDA0002648084380000096
子网络Q选择动作
Figure BDA0002648084380000097
执行动作后，状态为
Figure BDA0002648084380000098
第j幅图像是否结束循环的判断记为
Figure BDA0002648084380000099
执行动作后的恢复结果图像为
Figure BDA00026480843800000910
使用恢复结果图像
Figure BDA00026480843800000911
和参考图像
Figure BDA00026480843800000912
计算梯度幅值相似性偏差得分scoreGMSD，记为
Figure BDA00026480843800000913
因此，
第j幅图像第i步执行动作a后得到的失真即时奖励ri j，计算公式如下：
Figure BDA00026480843800000914
其中，η是折扣因子；将
Figure BDA00026480843800000915
五元组保存到固定大小的经验池中；
其中，损失函数的计算规则如下：
对子网络Q，输入状态为
Figure BDA0002648084380000101
时，在输出的回报估计中找到最大值对应的动作，即：
Figure BDA0002648084380000102
其中，
Figure BDA0002648084380000103
代表第j幅图像第i步执行动作后的状态即第i+1步执行动作前的状态，a'代表动作序号，Q网络在状态
Figure BDA0002648084380000104
下选择最大回报对应的动作序号记为
Figure BDA0002648084380000105
代表Q网络在状态
Figure BDA0002648084380000106
下选择动作a'的回报；
然后利用这个选择出来的动作
Figure BDA0002648084380000107
到子网络Q'中计算回报目标值yi，即：
Figure BDA0002648084380000108
其中，
Figure BDA0002648084380000109
表示子网络Q'在状态为
Figure BDA00026480843800001010
动作为
Figure BDA00026480843800001011
时的回报估计，γ是折扣因子，该公式的含义是第j幅图像在第i步希望获得的总回报由第i步的即时奖励和未来能获得的回报组成，令第j幅图像经过T步结束，理想情况下第T+1步的回报值
Figure BDA00026480843800001012
为0，所以第T步的回报值
Figure BDA00026480843800001013
为
Figure BDA00026480843800001014
第T-1步的回报值
Figure BDA00026480843800001015
为
Figure BDA00026480843800001016
即
Figure BDA00026480843800001017
第T-2步的回报值
Figure BDA00026480843800001018
为
Figure BDA00026480843800001019
即
Figure BDA00026480843800001020
第T-3步的回报值
Figure BDA00026480843800001021
为
Figure BDA00026480843800001022
即
Figure BDA00026480843800001023
可知，
Figure BDA00026480843800001024
等于第j幅图像从第i步开始往后到结束所有奖励的有衰减的总和，
Figure BDA00026480843800001025
表示对第j幅图像从第i+1步开始往后到结束的
Figure BDA00026480843800001026
的预测；
若一幅输入图像执行x次后结束，对应经验池中x条前后相邻的五元组，将这x条前后相邻的五元组称为一条记录，则每一条记录对应一幅输入图像，x是该记录的长度，即输入图像的执行步数；按照记录长度将经验池中的记录分组，使每一组中记录的长度相等；每次取一个组中M条记录进行训练，这M条记录的长度相等，均为T，因此，
每个训练批次的失真损失L1计算公式如下：
Figure BDA0002648084380000111
其中，
Figure BDA0002648084380000112
代表第j幅图像在第i步时的回报目标值，
Figure BDA0002648084380000113
代表第j幅图像在第i步执行动作前的状态，
Figure BDA0002648084380000114
代表第j幅图像在第i步选择的动作，
Figure BDA0002648084380000115
代表Q网络在状态
Figure BDA0002648084380000116
下选择动作
Figure BDA0002648084380000117
的回报；
此外，为复原图像的语义信息，引入图像分类模型VGG-19，利用VGG-19计算参考图像的分类向量和当次迭代得到的恢复结果图像的分类向量，计算这两个向量之间的交叉熵作为语义损失；将第j幅图像在第i步执行动作后将得到的恢复结果图像
Figure BDA0002648084380000118
输入VGG-19，输出对应的分类向量，记为
Figure BDA0002648084380000119
将第j幅图像的参考图像
Figure BDA00026480843800001110
输入VGG-19，输出分类向量，记为
Figure BDA00026480843800001111
计算两个向量之间的交叉熵，语义损失L2的公式如下：
Figure BDA00026480843800001112
其中，M代表一个批次中记录的个数，T是每一个记录的长度，每一个记录代表一幅输入图像的处理过程，T是处理的步数。
所以，图像质量增强模型的损失函数公式为：
L＝λ1L1+λ2L2
其中，λ1,λ2为常数；使用损失函数对图像质量增强模型即深度增强学习网络进行训练，在训练阶段，将
Figure BDA0002648084380000121
五元组保存到固定大小的经验池中，经验池满后遵循先进先出的原则淘汰旧的五元组并存入新的五元组，从而保证经验的更新；每当经验池满，进行一次损失函数的反向传播，反向传播结束后淘汰一半的五元组，等待下一次经验池满再开启训练；使用不同程度和混合失真类型数据集对增强学习网络进行训练，在训练阶段，损失函数通过反向传播更新网络参数，得到训练好的图像质量增强模型。
进一步地，所述步骤S3的具体包括以下步骤：
步骤S31：先将待测的失真图像划分成多个大小为h×w的图像块；打乱图像块与图像块之间的顺序后送入训练好的图像质量增强模型中得到每个图像块的恢复结果图像块；
步骤S32：将恢复结果图像块拼接得到与初始图像大小相同的图像质量增强结果图像。
与现有技术相比，本发明具有以下有益效果：
本发明适用于多种失真类型的、不同失真程度的图像质量增强，实验结果的主观评价和大部分客观图像质量评价得分都比已有的方法优秀。该方法读取原始图像并多次添加不同程度不同类型的失真，二者按一定大小生成图像对；采用多个预训练的简单神经网络模型作为工具，输入失真图像训练深度增强学习网络探索合适的工具使用顺序以逐步恢复图像质量；将待测的失真图像按相同大小划分为图像块，利用训练好的模型恢复待测失真图像的质量，得出最终的恢复结果并计算出每张图像对应的客观评价指标。本发明将混合失真图像的恢复过程分为多个步骤，综合考虑良好的深度增强学习框架和合理的网络结构对图像质量增强效果的影响，对图像的失真有更强的处理能力，能显著提高失真图像的质量。
附图说明
图1为本发明实施例的方法流程图。
图2为本发明实施例的设计的图像恢复工具的结构图。
图3为本发明实施例的深度增强学习网络的结构图。
图4为本发明实施例的分类模型的结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供一种基于深度增强学习和语义损失的图像质量增强方法，包括以下步骤：
步骤S1：构造两种数据集，分别为单一程度单一失真类型数据集和不同程度混合失真类型的数据集；
步骤S2：设计一种卷积神经网络模型，使用单一失真程度单一失真类型数据集训练，令每一个训练好的模型为一个图像恢复动作；设计一个深度增强学习网络，该深度增强学习网络由主体网络结构和动作集组成，动作集由若干个图像恢复动作和一个停止动作组成；为深度增强学习网络设计一种包含综合失真损失和语义损失的损失函数；使用不同程度混合失真类型数据集训练深度增强学习网络，用以使该网络学习到如何通过多次选择图像恢复动作逐步恢复出最优的图像质量，最终得到训练好的深度增强学习网络模型即图像质量增强模型；
步骤S3：将待测的失真图像划分为图像块，利用训练好的图像质量增强模型恢复待测失真图像的质量，得到最终的图像质量增强结果。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：以(峰值信噪比)PSNR为指标，PSNR低于20dB视为严重失真，PSNR在20到30dB之间视为中度失真，PSNR在30到40dB之间视为轻度失真，划分出三种失真程度；引入五种失真类型：噪声、高斯模糊、JPEG压缩损失、雨失真和雾失真；使用matlab的相关函数，任选失真程度和失真类型，对原始图像加失真：使用imnoise函数添加高斯噪声；使用FSPECIAL函数添加高斯模糊；使用imwrite函数添加JPEG压缩损失；使用imnoise函数生成随机噪声，对噪声拉长、旋转方向模拟不同大小不同方向的雨水，然后与原图叠加得到雨失真效果；使用imnoise函数添加随机白噪声，与原图叠加后再对图像使用两次imfilter函数得到雾失真效果，最终得到15组单一程度和单一失真类型数据集；再制作混合失真类型数据集，对所有原始图像做3-5次加失真处理，每一次都是任选失真程度和失真类型对原始图像加失真，最终得到1组不同程度和混合失真类型的数据集；
步骤S12：将每一张处理后的失真图像和对应的原始图像作为一组，对每一组的失真图像和原始图像分别按照h×w的大小进行裁剪，得到同等份的h×w大小的失真图像块和原始图像块，将一个失真图像块和与之对应的原始图像块称为一个图像对；
步骤S13：在生成所有图像对后以图像对为单位进行随机打乱，然后按自然数顺序对图像对重新编号并保存，用以确保在训练过程中读入图像对时图像内容相近的图像对不会被连续读入。
在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：设计一种卷积神经网络模型，网络使用残差结构设计，由直接映射部分和残差部分组成，输入单一程度单一失真类型数据集，直接映射部分是输入的直接映射，残差部分让输入通过5层或9层的卷积层，每一层卷积层都是卷积核大小为3×3、步长为1的卷积层，每一层卷积层后都跟上激活函数ReLU；该卷积神经网络模型的输出由直接映射部分和残差部分相加得到；使用15组单一失真程度单一失真类型数据集，训练出15个针对不同失真程度和失真类型的卷积神经网络模型，每一个训练好的卷积神经网络模型为一个图像恢复动作；
为此本发明设计了5层去失真卷积模型和9层去失真卷积模型，网络模型如图2所示；
步骤S22：设计一个深度增强学习网络模型，用以实现不同程度和混合失真类型图像的图像质量增强，该深度增强学习网络由主体网络结构和动作集组成，动作集由若干个图像恢复动作和一个停止动作组成；
步骤S23：设计综合失真损失和语义损失的损失函数；在增强学习网络训练阶段，损失函数通过反向传播更新网络参数，训练好的模型称之为图像质量增强模型；深度增强学习网络模型的损失函数包括失真损失和语义损失。
在本实施例中，步骤S21中所述使用15组单一失真类型数据集，训练出15个针对不同失真程度和失真类型的卷积神经网络模型的具体内容为：
使用5层卷积网络针对每一种失真类型的轻度和中度程度各训练一个去失真模型，使用9层卷积网络针对每一种失真类型的严重程度训练一个去失真模型；每一次训练的数据来自15组单一程度和单一失真类型数据集中的一组数据，训练中每个批次的损失函数L的公式如下：
Figure BDA0002648084380000161
其中，m代表一个训练批次中图像对的数量，
Figure BDA0002648084380000162
表示第j幅失真图像对应的原始的参考图像，
Figure BDA0002648084380000171
表示第j幅失真图像输入模型后输出的恢复结果；最终每个失真类型得到针对轻度、中度、严重三个程度的3个去失真模型；当失真类型数为5时，共得到15个去失真模型，将他们称为图像修复动作。对这15个工具进行编号，编号为0～14，再定义一个停止动作，编号为15。
在本实施例中，所述步骤S22的具体内容为：
设计一个深度增强学习网络模型，该深度增强学习网络模型由主体网络结构和动作集组成，动作集由15个图像恢复动作和一个停止动作组成，主体网络结构的任务是多次决策，每一次决策都从15个图像恢复动作中选择一个动作，调用对应的卷积神经网络模型以增强当前图像的质量，然后再将处理后的图像再次送入主体网络结构中再次决策，直到决策选中停止动作则决策停止；如图3所示，动作向量a代表上一步的动作向量，不包括终止操作，维度为15；动作向量b代表当前步的动作向量，包含终止操作，维度为16；
所述深度增强学习网络模型的主体网络结构由多个密集连接的层叠卷积模块和递归神经网络模块复合而成；层叠卷积模块结构如图3所示。首先将输入图像通过密集连接的4层卷积层，依次包括1个卷积核大小为9×9的卷积层和3个卷积核大小为5×5的卷积层；然后将4层卷积层的输出进行拼接，通过1个卷积核大小为3×3的卷积层和1个全连接层得到卷积特征Fcontext；每一层卷积层后都使用激活函数ReLU；层叠卷积模块的任务是提取出输入图像的卷积特征Fcontext；将上一步所做决策对应的动作编号做one-hot编码，得到一个one-hot编码向量，如果当前步为第一步则不存在上一步，one-hot编码向量置为全0；然后将卷积特征Fcontext和one-hot编码向量拼接，作为递归神经网络模块的输入；递归神经网络模块由一层长短时记忆网络LSTM和一层32个节点的全连接层组成；其输出是一个16维的列向量(q0,q1,...qi,...q15),i＝0～15，代表当前步待选择的各个动作对应的回报估计，通过贪婪策略决策出失真图像当前步待操作的动作序号及其对应的动作a；贪婪策略的公式如下：
Figure BDA0002648084380000181
其中，N是动作总数，s代表当前状态，a代表动作集合中的动作，Q(s|a)代表增强学习网络Q在当前状态s下选择动作a获得的回报估计，其含义是从当前步选择动作a开始往后直至所有步终止所能获得的奖励的总和的预测，该值由网络输出，当动作的数量为16时，输出是一个16维的列向量(q0,q1,...qi,...q15),i＝0～15，值越大，对应动作越优，π(a|s)表示在当前状态s下选择动作a的概率；该选择策略公式的含义是有1-ε+ε/N的概率选择目前认为最大回报值的动作，而有ε的概率随机从所有的N个可选动作中选择行为；若执行当前操作后得到的图像质量有提高，则将当前步的恢复结果图像再次输入到深度增强学习网络中，通过执行多步去失真操作增强图像质量，直至得到的恢复结果图像质量变差或者超出最大执行步数
在本实施例中，所述步骤S23的具体内容为：
图像失真程度用梯度幅值相似性偏差(Gradient Magnitude SimilarityDeviation，GMSD)来表示，GMSD得分越低代表损失越小，图像质量越高，计算公式如下：
Figure BDA0002648084380000191
式中，hx和hy分别代表水平方向和垂直方向上的Prewitt滤波器，将hx与hy分别与参考图像Igt和失真图像Id进行卷积，得到参考图像和失真图像的水平和垂直梯度图像，然后计算参考图像和失真图像的梯度幅值图像：
Figure BDA0002648084380000192
Figure BDA0002648084380000193
式中，mgt和md分别是参考图像和失真图像的梯度幅值图像，Id表示一幅失真图像，Igt代表一幅参考图像；
Figure BDA0002648084380000194
代表卷积操作，k代表图像中的像素位置,mgt(k)代表参考图像的梯度幅值图像中像素位置k处的像素值，md(k)代表失真图像的梯度幅值图像中像素位置k处的像素值，
Figure BDA0002648084380000195
表示将hx与参考图像Igt进行卷积，再对得到的参考图像水平梯度图像的每一个像素单位求平方后，像素位置k处的像素值，
Figure BDA0002648084380000196
表示将hy与参考图像Igt进行卷积，再对得到的参考图像垂直梯度图像的每一个像素单位求平方后，像素位置k处的像素值，
Figure BDA0002648084380000197
表示将hx与失真图像Id进行卷积，再对得到的失真图像水平梯度图像的每一个像素单位求平方后，像素位置k处的像素值，
Figure BDA0002648084380000198
表示将hy与失真图像Id进行卷积，再对得到的失真图像垂直梯度图像的每一个像素单位求平方后，像素位置k处的像素值；利用梯度幅值图像mgt和md，计算梯度幅值相似性图GMS(Gradient MagnitudeSimilarity，GMS)如下：
Figure BDA0002648084380000201
式中，c是一个常数，k代表图像中的像素位置,GMS(k)代表梯度幅值相似性图GMS中像素位置k处的像素值；通过平均池化的方法计算梯度幅值相似性均值GMSM(GradientMagnitude Similarity Mean，GMSM)如下：
Figure BDA0002648084380000202
其中，N为图像中像素的总数；GMSM分数越高，图像质量越好；平均池化令每个像素在估计整体图像质量时具有相同的重要性；基于局部质量退化在图像全局上的变化能够反映图像质量这一理念，使用标准差池化方法计算梯度幅值相似性偏差scoreGMSD如下：
Figure BDA0002648084380000203
其中，N为图像中像素的总数；scoreGMSD的值反映了图像中严重失真的范围；scoreGMSD得分越高，失真范围越大，图像感知质量越低；
为深度增强学习网络Q定义一个结构一致但参数不同的子网络Q'，并且规定子网络Q'的参数必须使用子网络Q的参数进行延迟更新，同时引入经验回放机制，设计一个经验池用于存放五元组
Figure BDA0002648084380000204
五元组中的
Figure BDA0002648084380000205
分别表示：第j幅图像在第i步执行动作前的状态、第j幅图像在第i步执行的动作序号、第j幅图像在第i步执行动作得到的奖励、第j幅图像在第i步执行动作后的状态、第j幅图像在第i步执行动作后的终止符；第j幅图像在第i步执行动作后的终止符为真，则代表第j幅图像在第i步执行动作后循环结束，否则循环不结束；
令第j幅图像在第i步输入子网络Q时，状态为
Figure BDA0002648084380000211
使用子网络Q的输入图像
Figure BDA0002648084380000212
即第i-1步得到的恢复结果图像，如果是第1步，则是输入的原始失真图像，和参考图像
Figure BDA0002648084380000213
计算梯度幅值相似性偏差得分scoreGMSD，记为
Figure BDA0002648084380000214
子网络Q选择动作
Figure BDA0002648084380000215
执行动作后，状态为
Figure BDA0002648084380000216
第j幅图像是否结束循环的判断记为
Figure BDA0002648084380000217
执行动作后的恢复结果图像为
Figure BDA0002648084380000218
使用恢复结果图像
Figure BDA0002648084380000219
和参考图像
Figure BDA00026480843800002110
计算梯度幅值相似性偏差得分scoreGMSD，记为
Figure BDA00026480843800002111
因此，
第j幅图像第i步执行动作a后得到的失真即时奖励
Figure BDA00026480843800002112
计算公式如下：
Figure BDA00026480843800002113
其中，η是折扣因子；将
Figure BDA00026480843800002114
五元组保存到固定大小的经验池中；
损失函数的计算规则如下：
对子网络Q，输入状态为
Figure BDA00026480843800002115
时，在输出的回报估计中找到最大值对应的动作，即：
Figure BDA00026480843800002116
其中，
Figure BDA00026480843800002117
代表第j幅图像第i步执行动作后的状态即第i+1步执行动作前的状态，a'代表动作序号，Q网络在状态
Figure BDA00026480843800002118
下选择最大回报对应的动作序号记为
Figure BDA00026480843800002119
代表Q网络在状态
Figure BDA00026480843800002120
下选择动作a'的回报；
然后利用这个选择出来的动作
Figure BDA0002648084380000221
到子网络Q'中计算回报目标值yi，即：
Figure BDA0002648084380000222
其中，
Figure BDA0002648084380000223
表示子网络Q'在状态为
Figure BDA0002648084380000224
动作为
Figure BDA0002648084380000225
时的回报估计，γ是折扣因子，该公式的含义是第j幅图像在第i步希望获得的总回报由第i步的即时奖励和未来(从第i+1步开始到结束)能获得的回报组成，令第j幅图像经过T步结束，理想情况下第T+1步的回报值
Figure BDA0002648084380000226
为0，所以第T步的回报值
Figure BDA0002648084380000227
为
Figure BDA0002648084380000228
第T-1步的回报值
Figure BDA0002648084380000229
为
Figure BDA00026480843800002210
即
Figure BDA00026480843800002211
第T-2步的回报值
Figure BDA00026480843800002212
为
Figure BDA00026480843800002213
即
Figure BDA00026480843800002214
第T-3步的回报值
Figure BDA00026480843800002215
为
Figure BDA00026480843800002216
即
Figure BDA00026480843800002217
因此，
Figure BDA00026480843800002218
等于第j幅图像从第i步开始往后到结束所有奖励的有衰减的总和，
Figure BDA00026480843800002219
表示对第j幅图像从第i+1步开始往后到结束的
Figure BDA00026480843800002220
的预测；
在深度增强学习网络的训练过程中，若一幅输入图像执行x次后结束，对应经验池中x条前后相邻的五元组，将这x条前后相邻的五元组称为一条记录，则每一条记录对应一幅输入图像，x是该记录的长度，即输入图像的执行步数；按照记录长度将经验池中的记录分组，使每一组中记录的长度相等；每次取一个组中M条记录进行训练，这M条记录的长度相等，均为T，因此，
每个训练批次的失真损失L1计算公式如下：
Figure BDA00026480843800002221
其中，
Figure BDA0002648084380000231
代表第j幅图像在第i步时的回报目标值，
Figure BDA0002648084380000232
代表第j幅图像在第i步执行动作前的状态，
Figure BDA0002648084380000233
代表第j幅图像在第i步选择的动作，
Figure BDA0002648084380000234
代表Q网络在状态
Figure BDA0002648084380000235
下选择动作
Figure BDA0002648084380000236
的回报；
此外，为复原图像的语义信息，引入图像分类模型VGG-19，网络结构如图4所示。VGG-19在Image Net数据集中充分训练，广泛应用于图像分类、检测、嵌入和分割等计算机视觉研究方向。利用VGG-19计算参考图像的分类向量和当次迭代得到的恢复结果图像的分类向量，计算这两个向量之间的交叉熵作为语义损失；将第j幅图像在第i步执行动作后将得到的恢复结果图像
Figure BDA0002648084380000237
输入VGG-19，输出对应的分类向量，记为
Figure BDA0002648084380000238
将第j幅图像的参考图像
Figure BDA0002648084380000239
输入VGG-19，输出分类向量，记为
Figure BDA00026480843800002310
计算两个向量之间的交叉熵，语义损失L2的公式如下：
Figure BDA00026480843800002311
其中，M代表一个批次中记录的个数，T是每一个记录的长度，每一个记录代表一幅输入图像的处理过程，T是处理的步数。
所以，图像质量增强模型的损失函数公式为：
L＝λ1L1+λ2L2
其中，λ1,λ2为常数。
使用损失函数对图像质量增强模型即深度增强学习网络进行训练，在训练阶段，将
Figure BDA00026480843800002312
五元组保存到固定大小的经验池中，经验池满后遵循先进先出的原则淘汰旧的五元组并存入新的五元组，从而保证经验的更新；每当经验池满，进行一次损失函数的反向传播，反向传播结束后淘汰一半的五元组，等待下一次经验池满再开启训练；使用不同程度和混合失真类型数据集对增强学习网络进行训练，在训练阶段，损失函数通过反向传播更新网络参数，得到训练好的图像质量增强模型。
在本实施例中，所述步骤S3的具体包括以下步骤：
步骤S31：先将待测的失真图像划分成多个大小为h×w的图像块；打乱图像块与图像块之间的顺序后送入训练好的图像质量增强模型中得到每个图像块的恢复结果图像块；
步骤S32：将恢复结果图像块拼接得到与初始图像大小相同的图像质量增强结果图像。
较佳的，本实施例提出将包含多种失真类型的图像质量增强问题分割成多个恢复单一失真类型图像质量增强子问题，利用预训练好的应对单一失真类型的工具集合，通过找出使恢复结果最佳的工具及其使用顺序，最终显著增强混合失真类型图像的质量。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：包括以下步骤：
步骤S1：构造两种数据集，分别为单一程度单一失真类型数据集和不同程度混合失真类型的数据集；
步骤S2：设计一种卷积神经网络模型，使用单一失真程度单一失真类型数据集训练，令每一个训练好的模型为一个图像恢复动作；设计一个深度增强学习网络，该深度增强学习网络由主体网络结构和动作集组成，动作集由若干个图像恢复动作和一个停止动作组成；为深度增强学习网络设计一种包含综合失真损失和语义损失的损失函数；使用不同程度混合失真类型数据集训练深度增强学习网络，用以使该网络学习到如何通过多次选择图像恢复动作逐步恢复出最优的图像质量，最终得到训练好的深度增强学习网络模型即图像质量增强模型；
步骤S3：将待测的失真图像划分为图像块，利用训练好的图像质量增强模型恢复待测失真图像的质量，得到最终的图像质量增强结果。
2.根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：所述步骤S1具体包括以下步骤：
步骤S11：以PSNR为指标，PSNR低于20dB视为严重失真，PSNR在20到30dB之间视为中度失真，PSNR在30到40dB之间视为轻度失真，划分出三种失真程度；引入五种失真类型：噪声、高斯模糊、JPEG压缩损失、雨失真和雾失真；使用matlab的相关函数，任选失真程度和失真类型，对原始图像加失真：使用imnoise函数添加高斯噪声；使用FSPECIAL函数添加高斯模糊；使用imwrite函数添加JPEG压缩损失；使用imnoise函数生成随机噪声，对噪声拉长、旋转方向模拟不同大小不同方向的雨水，然后与原图叠加得到雨失真效果；使用imnoise函数添加随机白噪声，与原图叠加后再对图像使用两次imfilter函数得到雾失真效果，最终得到15组单一程度和单一失真类型数据集；再制作混合失真类型数据集，对所有原始图像做3-5次加失真处理，每一次都是任选失真程度和失真类型对原始图像加失真，最终得到1组不同程度和混合失真类型的数据集；
步骤S12：将每一张处理后的失真图像和对应的原始图像作为一组，对每一组的失真图像和原始图像分别按照h×w的大小进行裁剪，得到同等份的h×w大小的失真图像块和原始图像块，将一个失真图像块和与之对应的原始图像块称为一个图像对；
步骤S13：在生成所有图像对后以图像对为单位进行随机打乱，然后按自然数顺序对图像对重新编号并保存，用以确保在训练过程中读入图像对时图像内容相近的图像对不会被连续读入。
3.根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：设计一种卷积神经网络模型，网络使用残差结构设计，由直接映射部分和残差部分组成，输入单一程度单一失真类型数据集，直接映射部分是输入的直接映射，残差部分让输入通过5层或9层的卷积层，每一层卷积层都是卷积核大小为3×3、步长为1的卷积层，每一层卷积层后都跟上激活函数ReLU；该卷积神经网络模型的输出由直接映射部分和残差部分相加得到；使用15组单一失真程度单一失真类型数据集，训练出15个针对不同失真程度和失真类型的卷积神经网络模型，每一个训练好的卷积神经网络模型为一个图像恢复动作；
步骤S22：设计一个深度增强学习网络模型，用以实现不同程度和混合失真类型图像的图像质量增强；
步骤S23：设计综合失真损失和语义损失的损失函数；在深度增强学习网络训练阶段，损失函数通过反向传播更新网络参数，训练好的深度增强学习网络模型称为图像质量增强模型；深度增强学习网络模型的损失函数包括失真损失和语义损失。
4.根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：步骤S21中所述使用15组单一失真类型数据集，训练出15个针对不同失真程度和失真类型的图像恢复动作的具体内容为：
使用5层卷积网络针对每一种失真类型的轻度和中度程度各训练一个去失真模型，使用9层卷积网络针对每一种失真类型的严重程度训练一个去失真模型；每一次训练的数据来自15组单一程度和单一失真类型数据集中的一组数据，训练中每个批次的损失函数L的公式如下：
Figure FDA0002648084370000031
其中，m代表一个训练批次中图像对的数量，
Figure FDA0002648084370000032
表示第j幅失真图像对应的原始的参考图像，
Figure FDA0002648084370000041
表示第j幅失真图像输入模型后输出的恢复结果；最终每个失真类型得到针对轻度、中度、严重三个程度的3个去失真模型；当失真类型数为5时，共得到15个去失真模型，将它们称为图像修复动作；对这15个工具进行编号，编号为0～14，再定义一个停止动作，编号为15。
5.根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：所述步骤S22的具体内容为：
设计一个深度增强学习网络模型，该深度增强学习网络模型由主体网络结构和动作集组成，动作集由15个图像恢复动作和一个停止动作组成，主体网络结构的任务是多次决策，每一次决策都从15个图像恢复动作中选择一个动作，调用对应的卷积神经网络模型以增强当前图像的质量，然后再将处理后的图像再次送入主体网络结构中再次决策，直到决策选中停止动作则决策停止；
所述深度增强学习网络模型的主体网络结构由多个密集连接的层叠卷积模块和递归神经网络模块复合而成；首先将输入图像通过密集连接的4层卷积层，依次包括1个卷积核大小为9×9的卷积层和3个卷积核大小为5×5的卷积层；然后将4层卷积层的输出进行拼接，通过1个卷积核大小为3×3的卷积层和1个全连接层得到卷积特征Fcontext；每一层卷积层后都使用激活函数ReLU；层叠卷积模块的任务是提取出输入图像的卷积特征Fcontext；将上一步所做决策对应的动作编号做one-hot编码，得到一个one-hot编码向量，如果当前步为第一步则不存在上一步，one-hot编码向量置为全0；然后将卷积特征Fcontext和one-hot编码向量拼接，作为递归神经网络模块的输入；递归神经网络模块由一层长短时记忆网络LSTM和一层32个节点的全连接层组成；其输出是一个16维的列向量(q0,q1,...qi,...q15),i＝0～15，代表当前步待选择的各个动作对应的回报估计，通过贪婪策略决策出失真图像当前步待操作的动作序号及其对应的动作a；贪婪策略的公式如下：
Figure FDA0002648084370000051
其中，N是动作总数，s代表当前状态，a代表动作集合中的动作，Q(s|a)代表增强学习网络Q在当前状态s下选择动作a获得的回报估计，其含义是从当前步选择动作a开始往后直至所有步终止所能获得的奖励的总和的预测，该值由网络输出，当动作的数量为16时，输出是一个16维的列向量(q0,q1,...qi,...q15),i＝0～15，值越大，对应动作越优，π(a|s)表示在当前状态s下选择动作a的概率；该选择策略公式的含义是有1-ε+ε/N的概率选择目前认为最大回报值的动作，而有ε的概率随机从所有的N个可选动作中选择行为；若执行当前操作后得到的图像质量有提高，则将当前步的恢复结果图像再次输入到深度增强学习网络中，通过执行多步去失真操作增强图像质量，直至得到的恢复结果图像质量变差或者超出最大执行步数。
6.根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：所述步骤S23的具体内容为：
图像失真程度用梯度幅值相似性偏差来表示，GMSD得分越低代表损失越小，图像质量越高，计算公式如下：
Figure FDA0002648084370000061
式中，hx和hy分别代表水平方向和垂直方向上的Prewitt滤波器，将hx与hy分别与参考图像Igt和失真图像Id进行卷积，得到参考图像和失真图像的水平和垂直梯度图像，然后计算参考图像和失真图像的梯度幅值图像：
Figure FDA0002648084370000062
Figure FDA0002648084370000063
式中，mgt和md分别是参考图像和失真图像的梯度幅值图像，Id表示一幅失真图像，Igt代表一幅参考图像；
Figure FDA0002648084370000064
代表卷积操作，k代表图像中的像素位置,mgt(k)代表参考图像的梯度幅值图像中像素位置k处的像素值，md(k)代表失真图像的梯度幅值图像中像素位置k处的像素值；
Figure FDA0002648084370000065
表示将hx与参考图像Igt进行卷积，再对得到的参考图像水平梯度图像的每个像素单位求平方后，像素位置k处的像素值；
Figure FDA0002648084370000066
表示将hy与参考图像Igt进行卷积，再对得到的参考图像垂直梯度图像的每个像素单位求平方后，像素位置k处的像素值；
Figure FDA0002648084370000067
表示将hx与失真图像Id进行卷积，再对得到的失真图像水平梯度图像的每个像素单位求平方后，像素位置k处的像素值；
Figure FDA0002648084370000068
表示将hy与失真图像Id进行卷积，再对得到的失真图像垂直梯度图像的每个像素单位求平方后，像素位置k处的像素值；利用梯度幅值图像mgt和md，计算梯度幅值相似性图GMS如下：
Figure FDA0002648084370000071
式中，c是一个常数，k代表图像中的像素位置,GMS(k)代表梯度幅值相似性图GMS中像素位置k处的像素值；通过平均池化的方法计算梯度幅值相似性均值GMSM如下：
Figure FDA0002648084370000072
其中，N为图像中像素的总数；GMSM分数越高，图像质量越好；平均池化令每个像素在估计整体图像质量时具有相同的重要性；基于局部质量退化在图像全局上的变化能够反映图像质量这一理念，使用标准差池化方法计算梯度幅值相似性偏差scoreGMSD如下：
Figure FDA0002648084370000073
其中，N为图像中像素的总数；scoreGMSD的值反映了图像中严重失真的范围；scoreGMSD得分越高，失真范围越大，图像感知质量越低；
为深度增强学习网络Q定义一个结构一致但参数不同的子网络Q'，并且规定子网络Q'的参数必须使用子网络Q的参数进行延迟更新，同时引入经验回放机制，设计一个经验池用于存放五元组
Figure FDA0002648084370000074
五元组中的
Figure FDA0002648084370000075
分别表示：第j幅图像在第i步执行动作前的状态、第j幅图像在第i步执行的动作序号、第j幅图像在第i步执行动作得到的奖励、第j幅图像在第i步执行动作后的状态、第j幅图像在第i步执行动作后的终止符；第j幅图像在第i步执行动作后的终止符为真，则代表第j幅图像在第i步执行动作后循环结束，否则循环不结束；令第j幅图像在第i步输入子网络Q时，状态为
Figure FDA0002648084370000081
使用子网络Q的输入图像
Figure FDA0002648084370000082
即第i-1步得到的恢复结果图像，如果是第1步，则是输入的原始失真图像，和参考图像
Figure FDA0002648084370000083
计算梯度幅值相似性偏差得分scoreGMSD，记为
Figure FDA0002648084370000084
子网络Q选择动作
Figure FDA0002648084370000085
执行动作后，状态为
Figure FDA0002648084370000086
第j幅图像是否结束循环的判断记为
Figure FDA0002648084370000087
执行动作后的恢复结果图像为
Figure FDA0002648084370000088
使用恢复结果图像
Figure FDA0002648084370000089
和参考图像
Figure FDA00026480843700000810
计算梯度幅值相似性偏差得分scoreGMSD，记为
Figure FDA00026480843700000811
因此，
第j幅图像第i步执行动作a后得到的失真即时奖励ri j，计算公式如下：
Figure FDA00026480843700000812
其中，η是折扣因子；将
Figure FDA00026480843700000813
五元组保存到固定大小的经验池中；
损失函数的计算规则如下：
对子网络Q，输入状态为
Figure FDA00026480843700000814
时，在输出的回报估计中找到最大值对应的动作，即：
Figure FDA00026480843700000815
其中，
Figure FDA00026480843700000816
代表第j幅图像第i步执行动作后的状态即第i+1步执行动作前的状态，a'代表动作序号，Q网络在状态
Figure FDA00026480843700000817
下选择最大回报对应的动作序号记为
Figure FDA00026480843700000818
Figure FDA00026480843700000819
代表Q网络在状态
Figure FDA00026480843700000820
下选择动作a'的回报；
然后利用这个选择出来的动作
Figure FDA00026480843700000821
到子网络Q'中计算回报目标值yi，即：
Figure FDA0002648084370000091
其中，
Figure FDA0002648084370000092
表示子网络Q'在状态为
Figure FDA0002648084370000093
动作为
Figure FDA0002648084370000094
时的回报估计，γ是折扣因子，该公式的含义是第j幅图像在第i步希望获得的总回报由第i步的即时奖励和未来能获得的回报组成，令第j幅图像经过T步结束，理想情况下第T+1步的回报值
Figure FDA0002648084370000095
为0，所以第T步的回报值
Figure FDA0002648084370000096
为
Figure FDA0002648084370000097
第T-1步的回报值
Figure FDA0002648084370000098
为
Figure FDA0002648084370000099
即
Figure FDA00026480843700000910
第T-2步的回报值
Figure FDA00026480843700000911
为
Figure FDA00026480843700000912
即
Figure FDA00026480843700000913
第T-3步的回报值
Figure FDA00026480843700000914
为
Figure FDA00026480843700000915
即
Figure FDA00026480843700000916
可知，
Figure FDA00026480843700000917
等于第j幅图像从第i步开始往后到结束所有奖励的有衰减的总和，
Figure FDA00026480843700000918
表示对第j幅图像从第i+1步开始往后到结束的
Figure FDA00026480843700000919
的预测；
若一幅输入图像执行x次后结束，对应经验池中x条前后相邻的五元组，将这x条前后相邻的五元组称为一条记录，则每一条记录对应一幅输入图像，x是该记录的长度，即输入图像的执行步数；按照记录长度将经验池中的记录分组，使每一组中记录的长度相等；每次取一个组中M条记录进行训练，这M条记录的长度相等，均为T，因此，
每个训练批次的失真损失L1计算公式如下：
Figure FDA00026480843700000920
其中，
Figure FDA00026480843700000921
代表第j幅图像在第i步时的回报目标值，
Figure FDA00026480843700000922
代表第j幅图像在第i步执行动作前的状态，
Figure FDA00026480843700000923
代表第j幅图像在第i步选择的动作，
Figure FDA00026480843700000924
代表Q网络在状态
Figure FDA00026480843700000925
下选择动作
Figure FDA00026480843700000926
的回报；
此外，为复原图像的语义信息，引入图像分类模型VGG-19，利用VGG-19计算参考图像的分类向量和当次迭代得到的恢复结果图像的分类向量，计算这两个向量之间的交叉熵作为语义损失；将第j幅图像在第i步执行动作后将得到的恢复结果图像
Figure FDA0002648084370000101
输入VGG-19，输出对应的分类向量，记为
Figure FDA0002648084370000102
将第j幅图像的参考图像
Figure FDA0002648084370000103
输入VGG-19，输出分类向量，记为
Figure FDA0002648084370000104
计算两个向量之间的交叉熵，语义损失L2的公式如下：
Figure FDA0002648084370000105
其中，M代表一个批次中记录的个数，T是每一个记录的长度，每一个记录代表一幅输入图像的处理过程，T是处理的步数。
所以，图像质量增强模型的损失函数公式为：
L＝λ1L1+λ2L2
其中，λ1,λ2为常数；使用损失函数对图像质量增强模型即深度增强学习网络进行训练，在训练阶段，将
Figure FDA0002648084370000106
五元组保存到固定大小的经验池中，经验池满后遵循先进先出的原则淘汰旧的五元组并存入新的五元组，从而保证经验的更新；每当经验池满，进行一次损失函数的反向传播，反向传播结束后淘汰一半的五元组，等待下一次经验池满再开启训练；使用不同程度和混合失真类型数据集对增强学习网络进行训练，在训练阶段，损失函数通过反向传播更新网络参数，得到训练好的图像质量增强模型。
7.根据权利要求1所述的一种基于深度增强学习和语义损失的图像质量增强方法，其特征在于：所述步骤S3的具体包括以下步骤：
步骤S31：先将待测的失真图像划分成多个大小为h×w的图像块；打乱图像块与图像块之间的顺序后送入训练好的图像质量增强模型中得到每个图像块的恢复结果图像块；
步骤S32：将恢复结果图像块拼接得到与初始图像大小相同的图像质量增强结果图像。
CN202010861879.4A 2020-08-25 2020-08-25 基于深度增强学习和语义损失的图像质量增强方法 Active CN111951207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010861879.4A CN111951207B (zh) 2020-08-25 2020-08-25 基于深度增强学习和语义损失的图像质量增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010861879.4A CN111951207B (zh) 2020-08-25 2020-08-25 基于深度增强学习和语义损失的图像质量增强方法

Publications (2)

Publication Number Publication Date
CN111951207A true CN111951207A (zh) 2020-11-17
CN111951207B CN111951207B (zh) 2022-06-14

Family

ID=73359930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010861879.4A Active CN111951207B (zh) 2020-08-25 2020-08-25 基于深度增强学习和语义损失的图像质量增强方法

Country Status (1)

Country Link
CN (1) CN111951207B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365428A (zh) * 2020-12-03 2021-02-12 华中科技大学 一种基于dqn的高速公路监测视频去雾方法和系统
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112966709A (zh) * 2021-01-27 2021-06-15 中国电子进出口有限公司 一种基于深度学习的精细车型识别方法及系统
CN113837231A (zh) * 2021-08-30 2021-12-24 厦门大学 一种基于混合样本与标签的数据增强的图像描述方法
CN114202673A (zh) * 2021-12-13 2022-03-18 深圳壹账通智能科技有限公司 证件分类模型的训练方法、证件分类方法、装置和介质
CN114330279A (zh) * 2021-12-29 2022-04-12 电子科技大学 一种跨模态语义连贯性恢复方法
CN114418877A (zh) * 2022-01-12 2022-04-29 新乡学院 基于梯度幅度相似度的图像非盲去模糊方法及系统
CN114548156A (zh) * 2022-01-24 2022-05-27 成都理工大学 基于降采样和卷积神经网络的分布式光纤测温降噪方法
US20220284548A1 (en) * 2021-03-02 2022-09-08 International Business Machines Corporation System and method of automatic image enhancement using system generated feedback mechanism

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364839A1 (en) * 2015-06-10 2016-12-15 Boe Technology Group Co., Ltd. Image interpolation device and method thereof
CN106780446A (zh) * 2016-12-01 2017-05-31 重庆邮电大学 一种无参考混合失真图像质量评价方法
CN110232670A (zh) * 2019-06-19 2019-09-13 重庆大学 一种基于高低频分离的图像视觉效果增强的方法
CN110852964A (zh) * 2019-10-30 2020-02-28 天津大学 一种基于深度学习的图像比特增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364839A1 (en) * 2015-06-10 2016-12-15 Boe Technology Group Co., Ltd. Image interpolation device and method thereof
CN106780446A (zh) * 2016-12-01 2017-05-31 重庆邮电大学 一种无参考混合失真图像质量评价方法
CN110232670A (zh) * 2019-06-19 2019-09-13 重庆大学 一种基于高低频分离的图像视觉效果增强的方法
CN110852964A (zh) * 2019-10-30 2020-02-28 天津大学 一种基于深度学习的图像比特增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NIU,YUZHEN ET AL.: "Machine learning-based framework for saliency detection in distorted images", 《MULTIMEDIA TOOLS & APPLICATIONS》, vol. 76, no. 24, 15 December 2016 (2016-12-15), pages 26329 - 26353, XP036376185, DOI: 10.1007/s11042-016-4128-1 *
丁丹丹 等: "多特征增量学习的视频重建图像质量增强算法", 《华南理工大学学报(自然科学版)》, vol. 46, no. 12, 15 December 2018 (2018-12-15), pages 42 - 50 *
吴志山 等: "基于多尺度失真感知特征的重定向图像质量评估", 《北京航空航天大学学报》, vol. 45, no. 12, 12 August 2019 (2019-08-12), pages 2487 - 2494 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365428A (zh) * 2020-12-03 2021-02-12 华中科技大学 一种基于dqn的高速公路监测视频去雾方法和系统
CN112966709A (zh) * 2021-01-27 2021-06-15 中国电子进出口有限公司 一种基于深度学习的精细车型识别方法及系统
CN112494063A (zh) * 2021-02-08 2021-03-16 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
CN112494063B (zh) * 2021-02-08 2021-06-01 四川大学 一种基于注意力机制神经网络的腹部淋巴结分区方法
US20220284548A1 (en) * 2021-03-02 2022-09-08 International Business Machines Corporation System and method of automatic image enhancement using system generated feedback mechanism
US11688041B2 (en) * 2021-03-02 2023-06-27 International Business Machines Corporation System and method of automatic image enhancement using system generated feedback mechanism
CN113837231A (zh) * 2021-08-30 2021-12-24 厦门大学 一种基于混合样本与标签的数据增强的图像描述方法
CN113837231B (zh) * 2021-08-30 2024-02-27 厦门大学 一种基于混合样本与标签的数据增强的图像描述方法
CN114202673A (zh) * 2021-12-13 2022-03-18 深圳壹账通智能科技有限公司 证件分类模型的训练方法、证件分类方法、装置和介质
CN114330279A (zh) * 2021-12-29 2022-04-12 电子科技大学 一种跨模态语义连贯性恢复方法
CN114330279B (zh) * 2021-12-29 2023-04-18 电子科技大学 一种跨模态语义连贯性恢复方法
CN114418877A (zh) * 2022-01-12 2022-04-29 新乡学院 基于梯度幅度相似度的图像非盲去模糊方法及系统
CN114418877B (zh) * 2022-01-12 2023-09-01 新乡学院 基于梯度幅度相似度的图像非盲去模糊方法及系统
CN114548156A (zh) * 2022-01-24 2022-05-27 成都理工大学 基于降采样和卷积神经网络的分布式光纤测温降噪方法

Also Published As

Publication number Publication date
CN111951207B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111951207B (zh) 基于深度增强学习和语义损失的图像质量增强方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
KR102235745B1 (ko) 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법
CN112084868B (zh) 一种基于注意力机制的遥感图像中目标计数方法
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
CN110009580B (zh) 基于图片块雨滴密集度的单张图片双向去雨方法
CN113688723A (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
Hu et al. Underwater image restoration based on convolutional neural network
CN114677304B (zh) 一种基于知识蒸馏和深度神经网络的图像去模糊算法
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN111353505B (zh) 基于可联合实现语义分割和景深估计的网络模型的装置
CN112508960A (zh) 一种基于改进注意力机制的低精度图像语义分割方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN114742719A (zh) 一种基于多特征融合的端到端图像去雾方法
CN114638836B (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
CN112766062B (zh) 一种基于双流深度神经网络的人体行为识别方法
CN112381733B (zh) 面向图像恢复的多尺度神经网络结构搜索方法及网络应用
CN105787867A (zh) 基于神经网络算法的处理视频图像的方法和装置
CN109871790B (zh) 一种基于混合神经网络模型的视频去色方法
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
CN117455809B (zh) 基于深度引导扩散模型的图像混合雨去除方法和系统
CN117274115A (zh) 基于多尺度稀疏Transformer网络的图像增强方法及系统
CN116416212B (zh) 路面破损检测神经网络训练方法及路面破损检测神经网络
CN115995002B (zh) 一种网络构建方法及城市场景实时语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230627

Address after: 350028 workshop 13b, Taijiang Park, Pushang Pian, Jinshan Industrial Zone, Cangshan District, Fuzhou City, Fujian Province (No. 27, Yangzhou Road, Jianxin town)

Patentee after: FUJIAN JIEYU COMPUTER TECHNOLOGY Co.,Ltd.

Address before: Fuzhou University, No.2, wulongjiang North Avenue, Fuzhou University Town, Minhou County, Fuzhou City, Fujian Province

Patentee before: FUZHOU University

TR01 Transfer of patent right