CN114494065A - 图像去模糊方法、装置、设备及可读存储介质 - Google Patents

图像去模糊方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114494065A
CN114494065A CN202210095243.2A CN202210095243A CN114494065A CN 114494065 A CN114494065 A CN 114494065A CN 202210095243 A CN202210095243 A CN 202210095243A CN 114494065 A CN114494065 A CN 114494065A
Authority
CN
China
Prior art keywords
scale
image
network
loss
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210095243.2A
Other languages
English (en)
Inventor
荆晓远
成明康
王许辉
窦习文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210095243.2A priority Critical patent/CN114494065A/zh
Publication of CN114494065A publication Critical patent/CN114494065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像去模糊方法、装置、设备及可读存储介质，图像去模糊方法包括：在多尺度生成网络中对复杂模糊核的去除过程进行统一建模，由粗糙到精细的逐步生成模糊图像对应的恢复图像。同时，在多尺度生成网络中每一尺度的生成网络均采用全局跳跃连接，使得训练完成的多尺度生成网络对应该学习到的细节更敏感，所述细节为多尺度生成网络所应当向输入图像中添加的细节。再构建端到端的对抗式深度学习网络，结合对抗损失、内容损失与结构相似性损失得到联合损失来指导多尺度生成网络的训练。当多尺度生成网络的联合损失收敛时，得到训练完成的多尺度生成网络，基于训练完成的多尺度生成网络可以提高所得到的不同尺度的恢复图像的质量。

Description

图像去模糊方法、装置、设备及可读存储介质
技术领域
本发明涉及人工智能和图像处理领域，尤其涉及一种图像去模糊方法、装置、设备及可读存储介质。
背景技术
图像处理一直是计算机领域的一个重要课题，与日常生活、军事、航天、生物等多个领域紧密相关。其中，图像去模糊是一种将由于各种原因而形成的模糊图像，还原成清晰图像的技术。1964年，美国NASA使用了图像去模糊技术处理了有关月球的照片，这是该技术的一次成功应用，此后，图像去模糊在各个领域都有了广泛应用。例如：在交通领域需要拍摄车牌，但由于车速过快或曝光时间过长，造成模糊，通过图像去模糊技术可以得到清晰的车牌图像，提高识别准确率；在航天领域，航天器与地面的相对速度和遥远距离可能造成模糊，而图像去模糊技术可以提高卫星定位的精度；除此之外，比如刑侦领域的指纹和人脸识别、军事领域的目标识别和医学领域的扫描成像等，图像去模糊技术都具有重要作用。
图像模糊可抽象为原图像与模糊核算子进行卷积运算后的结果，而去模糊则是其逆过程。根据模糊的方式，模糊核也各不相同，根据是否知晓模糊核，主流图像去模糊方法可以分为非盲去模糊和盲去模糊两类。非盲去模糊根据已知的模糊核对模糊图像进行逆卷积，在特定情况下可以获得非常好的效果，由于实际情况下模糊核一般未知，这类方法的局限性较大，不适合多种复杂场景下的图像去模糊任务。而盲去模糊则需要模型去估算模糊核，但由于自然场景中的模糊核并不单一，同一个场景中不同位置可能有不同模糊类型，例如局部模糊和整体模糊、运动模糊和离焦模糊，各种模糊之间也可能产生叠加，一般的模糊核估算方法很难正确模拟出真实情况，并且由于计算过程复杂、约束较多、超参数难以确定等原因，传统的盲去模糊方法在多种复杂场景下的可靠性难以保证。随着深度学习技术的发展，基于卷积神经网络的盲去模糊算法逐渐兴起，并取得了优异成绩。但使用卷积神经网络估算模糊核，也带来了参数过多的问题，造成效率低下，难以应用在有实时处理要求的领域上。
发明内容
本发明的主要目的在于提供一种图像去模糊方法、装置、设备及可读存储介质，旨在解决现有技术中，基于传统卷积神经网络的图像去模糊方法在进行复杂模糊核的去除时，产生的参数过多，效率低下而难以应用在有实时处理要求的领域上的技术问题。
第一方面，本发明提供一种图像去模糊方法，所述图像去模糊方法包括以下步骤：
将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，所述多尺度生成网络包括预设个数的不同尺度的生成网络；
所述将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像的步骤包括：
将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度；
将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像；
将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像，以此类推，直到得到第1尺度的恢复图像，所述第1尺度为多尺度生成网络中最精细的尺度，以所述第1尺度的恢复图像作为原始模糊图像对应的恢复图像。
可选的，所述多尺度生成网络中每一尺度的生成网络包括预设个数的卷积层，且每一尺度的生成网络均采用全局跳跃连接，即每一尺度的生成网络的最后一个卷积层的输出图像加上所述尺度的生成网络的输入图像为所述尺度的生成网络输出的恢复图像。
可选的，将原始模糊图像输入到训练完成的多尺度生成网络中，输出原始模糊图像对应的恢复图像的步骤之前还包括：
构建成对的训练数据集，所述训练数据集包括若干模糊图像与所述模糊图像对应的清晰图像；
将所述训练数据集中待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像；
将所述待恢复的模糊图像对应的清晰图像进行预设倍数的下采样，得到预设个数的不同尺度清晰图像；
基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到待训练的多尺度判别网络，得到预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵；
基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到感知网络，得到预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图；
基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失；
基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数；
将所述联合损失函数反向传播给待训练的多尺度生成网络与待训练的多尺度判别网络，交替优化调整多尺度生成网络与多尺度判别网络的参数；
检测多尺度生成网络的联合损失函数是否收敛；
若所述多尺度生成网络的联合损失函数未收敛，则以训练数据集中新的模糊图像作为待恢复的模糊图像，并返回执行将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像的步骤；
若所述多尺度生成网络的联合损失函数收敛，则以最新的多尺度生成网络作为训练完成的多尺度生成网络。
可选的，所述基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失的步骤包括：
将所述预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像的像素值均值、像素值方差以及像素值协方差代入到结构相似性损失公式中，计算得到结构相似性损失，其中，所述结构相似性损失公式为：
Figure BDA0003490761000000041
其中结构相似性的计算方法为：
Figure BDA0003490761000000042
其中，
Figure BDA0003490761000000043
为针对第k尺度生成网络的结构相似性损失，
Figure BDA0003490761000000044
代表第k尺度的恢复图像，x(k)代表第k尺度的清晰图像，c1＝0.012，c2＝0.032，
Figure BDA0003490761000000045
表示
Figure BDA0003490761000000046
的像素值均值，
Figure BDA0003490761000000047
表示x(k)的像素值均值；
Figure BDA0003490761000000048
表示
Figure BDA0003490761000000049
的像素值方差，
Figure BDA00034907610000000410
表示x(k)的像素值方差；
Figure BDA00034907610000000411
是
Figure BDA00034907610000000412
与x(k)的像素值协方差。
可选的，所述基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失的步骤包括：
将所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵代入到对抗损失公式中，计算得到对抗损失，其中，所述对抗损失公式为：
Figure BDA00034907610000000413
Figure BDA00034907610000000414
其中，
Figure BDA00034907610000000415
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA00034907610000000416
表示第k个尺度的判别网络输出的对于第k个尺度恢复图像的判别矩阵，D(k)(x(k))表示第k个尺度的判别网络输出的对于第k个尺度清晰图像的判别矩阵，E表示期望，Pg为恢复图像的统计分布，Pr为清晰图像的统计分布；Critic loss部分为对抗损失的训练目标，基于Wasserstein距离；Gradient penalty部分采用梯度裁剪策略，保证了判别网络的梯度能在训练中自动约束，其中
Figure BDA00034907610000000417
表示计算梯度，λ为梯度惩罚的权重，
Figure BDA00034907610000000418
代表在清晰图像x(k)和生成的恢复图像
Figure BDA00034907610000000419
之间的随机插值取样，
Figure BDA00034907610000000420
为
Figure BDA00034907610000000421
的统计分布，x(k)表示第k尺度的清晰图像，
Figure BDA00034907610000000422
表示第k尺度的恢复图像。
可选的，所述基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失的步骤包括：
将所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图代入到内容损失公式，计算得到内容损失，其中，所述内容损失公式为：
Figure BDA0003490761000000051
其中，
Figure BDA0003490761000000052
为针对第k尺度生成网络的内容损失，φi，j(x(k))表示第k尺度的清晰图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，
Figure BDA0003490761000000053
表示第k尺度的恢复图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，Wi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000054
的宽度，Hi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000055
的高度。
可选的，所述基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数的步骤包括：
将所述结构相似性损失、对抗损失与内容损失代入到多尺度联合损失函数公式，得到多尺度的联合损失函数，其中，所述多尺度联合损失函数公式为：
Figure BDA0003490761000000056
并以最大-最小优化求解联合损失函数，其中，以最大-最小优化求解联合损失函数的计算公式为：
Figure BDA0003490761000000057
Figure BDA0003490761000000058
其中，G为待训练的多尺度生成网络，D为待训练的多尺度判别网络，L(G，D)为联合损失函数，
Figure BDA0003490761000000059
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA00034907610000000510
为针对第k尺度生成网络的内容损失，
Figure BDA00034907610000000511
为针对第k尺度生成网络的结构相似性损失，α与κ为超参数。
第二方面，本发明还提供一种图像去模糊装置，所述图像去模糊装置包括：
处理模块，用于将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，所述多尺度生成网络包括预设个数的不同尺度的生成网络；
所述处理模块具体用于：
将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度；
将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像；
将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像，以此类推，直到得到第1尺度的恢复图像，所述第1尺度为多尺度生成网络中最精细的尺度，以所述第1尺度的恢复图像作为原始模糊图像对应的恢复图像。
可选的，所述多尺度生成网络中每一尺度的生成网络包括预设个数的卷积层，且每一尺度的生成网络均采用全局跳跃连接，即每一尺度的生成网络的最后一个卷积层的输出图像加上所述尺度的生成网络的输入图像为所述尺度的生成网络输出的恢复图像。
可选的，所述图像去模糊装置，还包括训练模块，用于：
构建成对的训练数据集，所述训练数据集包括若干模糊图像与所述模糊图像对应的清晰图像；
将所述训练数据集中待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像；
将所述待恢复的模糊图像对应的清晰图像进行预设倍数的下采样，得到预设个数的不同尺度清晰图像；
基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到待训练的多尺度判别网络，得到预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵；
基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到感知网络，得到预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图；
基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失；
基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数；
将所述联合损失函数反向传播给待训练的多尺度生成网络与待训练的多尺度判别网络，交替优化调整多尺度生成网络与多尺度判别网络的参数；
检测多尺度生成网络的联合损失函数是否收敛；
若所述多尺度生成网络的联合损失函数未收敛，则以训练数据集中新的模糊图像作为待恢复的模糊图像，并返回执行将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像的步骤；
若所述多尺度生成网络的联合损失函数收敛，则以最新的多尺度生成网络作为训练完成的多尺度生成网络。
可选的，所述图像去模糊装置，还包括第一计算模块，用于：
将所述预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像的像素值均值、像素值方差以及像素值协方差代入到结构相似性损失公式中，计算得到结构相似性损失，其中，所述结构相似性损失公式为：
Figure BDA0003490761000000071
其中结构相似性的计算方法为：
Figure BDA0003490761000000072
其中，
Figure BDA0003490761000000073
为针对第k尺度生成网络的结构相似性损失，
Figure BDA0003490761000000074
代表第k尺度的恢复图像，x(k)代表第k尺度的清晰图像，c1＝0.012，c2＝0.032，
Figure BDA0003490761000000075
表示
Figure BDA0003490761000000076
的像素值均值，
Figure BDA0003490761000000077
表示x(k)的像素值均值；
Figure BDA0003490761000000078
表示
Figure BDA0003490761000000079
的像素值方差，
Figure BDA00034907610000000710
表示x(k)的像素值方差；
Figure BDA00034907610000000711
是
Figure BDA00034907610000000712
与x(k)的像素值协方差。
可选的，所述图像去模糊装置，还包括第二计算模块，用于：
将所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵代入到对抗损失公式中，计算得到对抗损失，其中，所述对抗损失公式为：
Figure BDA0003490761000000081
Figure BDA0003490761000000082
其中，
Figure BDA0003490761000000083
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA0003490761000000084
表示第k个尺度的判别网络输出的对于第k个尺度恢复图像的判别矩阵，D(k)(x(k))表示第k个尺度的判别网络输出的对于第k个尺度清晰图像的判别矩阵，E表示期望，Pg为恢复图像的统计分布，Pr为清晰图像的统计分布；Critic loss部分为对抗损失的训练目标，基于Wasserstein距离；Gradient penalty部分采用梯度裁剪策略，保证了判别网络的梯度能在训练中自动约束，其中
Figure BDA0003490761000000085
表示计算梯度，λ为梯度惩罚的权重，
Figure BDA0003490761000000086
代表在清晰图像x(k)和生成的恢复图像
Figure BDA0003490761000000087
之间的随机插值取样，
Figure BDA0003490761000000088
为
Figure BDA0003490761000000089
的统计分布，x(k)表示第k尺度的清晰图像，
Figure BDA00034907610000000810
表示第k尺度的恢复图像。
可选的，所述图像去模糊装置，还包括第三计算模块，用于：
将所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图代入到内容损失公式，计算得到内容损失，其中，所述内容损失公式为：
Figure BDA00034907610000000811
其中，
Figure BDA00034907610000000812
为针对第k尺度生成网络的内容损失，φi，j(x(k))表示第k尺度的清晰图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，
Figure BDA00034907610000000813
表示第k尺度的恢复图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，Wi，j为深度特征图φi，j(x(k))或
Figure BDA00034907610000000814
的宽度，Hi，j为深度特征图φi，j(x(k))或
Figure BDA00034907610000000815
的高度。
可选的，所述图像去模糊装置，还包括第四计算模块，用于：
将所述结构相似性损失、对抗损失与内容损失代入到多尺度联合损失函数公式，得到多尺度的联合损失函数，其中，所述多尺度联合损失函数公式为：
Figure BDA0003490761000000091
并以最大-最小优化求解联合损失函数，其中，以最大-最小优化求解联合损失函数的计算公式为：
Figure BDA0003490761000000092
Figure BDA0003490761000000093
其中，G为待训练的多尺度生成网络，D为待训练的多尺度判别网络，L(G，D)为联合损失函数，
Figure BDA0003490761000000094
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA0003490761000000095
为针对第k尺度生成网络的内容损失，
Figure BDA0003490761000000096
为针对第k尺度生成网络的结构相似性损失，α与κ为超参数。
第三方面，本发明还提供一种图像去模糊设备，所述图像去模糊设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像去模糊程序，其中所述图像去模糊程序被所述处理器执行时，实现如上述所述的图像去模糊方法的步骤。
第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有图像去模糊程序，其中所述图像去模糊程序被处理器执行时，实现如上述所述的图像去模糊方法的步骤。
本发明针对传统卷积神经网络的图像去模糊方法在进行复杂模糊核的去除时，产生的参数过多，效率低下而难以应用在有实时处理要求的领域上的技术问题，在多尺度生成网络中对复杂模糊核的去除过程进行统一建模，由粗糙到精细的逐步生成模糊图像对应的恢复图像。同时，在多尺度生成网络中每一尺度的生成网络均采用全局跳跃连接，使得训练完成的多尺度生成网络对应该学习到的细节更敏感，所述细节为多尺度生成网络所应当向输入图像中添加的细节。再构建端到端的对抗式深度学习网络，结合对抗损失、内容损失与结构相似性损失来指导多尺度生成网络的训练。其中，通过最小化所述结构相似性损失，可使得将模糊图像输入到多尺度生成网络中时保持所输入的原始模糊图像的结构，避免所输出的不同尺度的恢复图像出现局部变形和失真。通过最小化内容损失可以使得多尺度生成网络倾向于恢复模糊图像的整体内容与形状，而非局部像素，从而促使基于多尺度生成网络所得到的恢复图像与对应的同一尺度清晰图像具有更接近的轮廓与视觉特征。并可以通过对抗损失对判别网络和生成网络进行交替优化，使多尺度判别网络可以更加合理地衡量数据的统计分布，并促使多尺度生成网络缩小输出的不同尺度的恢复图像与原始模糊图像对应的不同尺度的清晰图像之间的统计分析的差异，从而当多尺度生成网络的联合损失收敛时，得到训练完成的多尺度生成网络，基于训练完成的多尺度生成网络可以提高输出的不同尺度的恢复图像的质量。
附图说明
图1为本发明实施例方案中涉及的图像去模糊设备的硬件结构示意图；
图2为本发明图像去模糊方法一实施例的流程示意图；
图3为本发明图像去模糊方法又一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供一种图像去模糊设备。
参照图1，图1为本发明实施例方案中涉及的图像去模糊设备的硬件结构示意图。本发明实施例中，图像去模糊设备可以包括处理器1001(例如中央处理器CentralProcessing Unit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random access memory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像去模糊程序。其中，处理器1001可以调用存储器1005中存储的图像去模糊程序，并执行本发明实施例提供的图像去模糊方法。
第二方面，本发明实施例提供了一种图像去模糊方法。
参照图2，图2为本发明图像去模糊方法一实施例的流程示意图。
在本发明图像去模糊方法一实施例中，图像去模糊方法包括：
步骤S10，将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，所述多尺度生成网络包括预设个数的不同尺度的生成网络；
所述步骤S10包括：
步骤S101，将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度；
步骤S102，将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像；
步骤S103，将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像；
步骤S104，判断所述第K-1尺度是否为第1尺度，所述第1尺度为多尺度生成网络中最精细的尺度；
步骤S105，若所述第K-1尺度非第1尺度，则以所述第K-1尺度作为新的第K尺度，并返回至将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像的步骤；
步骤S106，若所述第K-1尺度为第1尺度，则以所述第K-1尺度的恢复图像作为原始模糊图像对应的恢复图像。
本实施例中，将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，其中，所述多尺度生成网络包括预设个数的不同尺度的生成网络。其中，多尺度生成网络对原始模糊图像进行去模糊处理时，是由粗糙到精细逐步生成原始模糊图像对应的恢复图像的。具体地，将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像的步骤包括：
将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度。将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像。其中，所得到的第K尺度的恢复图像是所述多尺度生成网络生成的最粗糙尺度的恢复图像，需要继续对所得到的最粗糙尺度的恢复图像进行更精细的去模糊处理，即需要将所得的第K尺度的恢复图像进行预设倍数的上采样，并将上采样得到的图像输入到第K-1尺度的生成网络，得到第K-1尺度的恢复图像，所述第K-1尺度为多尺度生成网络中第二最粗糙的尺度。判断所述第K-1尺度是否为第1尺度。若所述第K-1尺度非第1尺度，则以所述第K-1尺度作为新的第K尺度，并返回至将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像的步骤。若所述第K-1尺度为第1尺度，则以所述第K-1尺度的恢复图像作为原始模糊图像对应的恢复图像。即以此类推，将这一尺度所得的恢复图像进行预设倍数的上采样后，输入到下一尺度的生成网络中，输入下一尺度的恢复图像，直到得到第1尺度的恢复图像，所述第1尺度为多尺度生成网络中最精细的尺度，以所述第1尺度的恢复图像作为原始模糊图像对应的恢复图像。
所述图像去模糊方法所用到的多尺度生成网络将复杂模糊核的去除过程进行统一建模，从粗糙到精细地逐步生成清晰图像。训练完成的多尺度生成网络已习得复杂场景下的模糊图像到清晰图像的映射，能够对输入的复杂场景下的模糊图像进行复原，解决了传统卷积神经网络的图像去模糊方法在进行复杂模糊核的去除时，产生的参数过多，效率低下而难以应用在有实时处理要求的领域上的问题，从而实现了多种复杂场景下的端到端的图像去模糊。
进一步，一实施例中，所述多尺度生成网络中每一尺度的生成网络包括预设个数的卷积层，且每一尺度的生成网络均采用全局跳跃连接，即每一尺度的生成网络的最后一个卷积层的输出加上所述尺度的生成网络的输入图像为所述尺度的生成网络输出的恢复图像。
本实施例中，所述多尺度生成网络中每一尺度的生成网络包括预设个数的卷积层，且每一尺度的生成网络均采用全局跳跃连接，即每一尺度的生成网络的最后一个卷积层的输出加上所述尺度的生成网络的输入图像为所述尺度的生成网络输出的恢复图像。在多尺度生成网络中每一尺度的生成网络均采用全局跳跃连接，这样在训练生成网络时训练的不是直接的输出与输入图像间的映射，而是输出的目标恢复图像与输入的模糊图像之间的残差。因此在多尺度生成网络中每一尺度的生成网络中采用全局跳跃连接，能使得训练完成的多尺度生成网络对应该学习到的细节更敏感，所述细节为多尺度生成网络所应当向输入图像中添加的细节。
进一步，一实施例中，参照图3，图3为本发明图像去模糊方法又一实施例的流程示意图。
在本发明图像去模糊方法一实施例中，所述步骤S10之前还包括：
步骤S001，构建成对的训练数据集，所述训练数据集包括若干模糊图像与所述模糊图像对应的清晰图像；
本实施例中，构建成对的训练数据集，所述训练数据集包括若干模糊图像与所述模糊图像对应的清晰图像。具体地，采集若干张清晰图像，对其进行裁剪得到相同大小的图像，例如512*512像素大小。将所述若干张清晰图像通过模糊算法生成若干张对应的模糊图像，将所得到的若干对模糊图像与所述模糊图像对应的清晰图像作为训练数据集。
步骤S002，将所述训练数据集中待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像；
本实施例中，将所述训练数据集中待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像。具体地，如多尺度生成网络对应K个尺度，则可以得到K个第1、2、……、K-1、K尺度的恢复图像。
步骤S003，将所述待恢复的模糊图像对应的清晰图像进行预设倍数的下采样，得到预设个数的不同尺度清晰图像；
本实施例中，将所述待恢复的模糊图像对应的清晰图像进行预设倍数的下采样，得到预设个数的不同尺度清晰图像。具体地，如多尺度生成网络对应K个尺度，则可以将原始的清晰图像进行预设倍数的1到K-1次幂的下采样，得到K个第1、2、……、K-1、K尺度的清晰图像。
步骤S004，基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失；
本实施例中，基于步骤S002得到的预设个数的不同尺度清晰图像与步骤S003得到的预设个数的不同尺度恢复图像，可以计算得到结构相似性损失。其中，在多尺度生成网络的训练过程中，可以通过最小化多尺度生成网络生成的不同尺度恢复图像与对应的不同尺度清晰图像的结构相似性来约束多尺度生成网络。因此通过最小化所述结构相似性损失，可使得将模糊图像输入到多尺度生成网络中时保持所输入的原始模糊图像的结构，避免所输出的不同尺度的恢复图像出现局部变形和失真。
进一步，一实施例中，所述步骤S004包括：
将所述预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像的像素值均值、像素值方差以及像素值协方差输入到结构相似性损失公式中，计算得到结构相似性损失，其中，所述结构相似性损失公式为：
Figure BDA0003490761000000141
其中结构相似性的计算方法为：
Figure BDA0003490761000000142
其中，
Figure BDA0003490761000000143
为针对第k尺度生成网络的结构相似性损失，
Figure BDA0003490761000000144
代表第k尺度的恢复图像，x(k)代表第k尺度的清晰图像；c1＝0.012，c2＝0.032；
Figure BDA0003490761000000145
表示
Figure BDA0003490761000000146
的像素值均值，
Figure BDA0003490761000000147
表示x(k)的像素值均值；
Figure BDA0003490761000000148
表示
Figure BDA0003490761000000149
的像素值方差，
Figure BDA00034907610000001410
表示x(k)的像素值方差；
Figure BDA00034907610000001411
是
Figure BDA00034907610000001412
与x(k)的像素值协方差。
本实施例中，将所述预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像的像素值均值、像素值方差以及像素值协方差输入到结构相似性损失公式中，计算得到结构相似性损失，其中，所述结构相似性损失公式为：
Figure BDA00034907610000001413
其中结构相似性的计算方法为：
Figure BDA00034907610000001414
其中，
Figure BDA00034907610000001415
为针对第k尺度生成网络的结构相似性损失，
Figure BDA00034907610000001416
代表第k尺度的恢复图像，x(k)代表第k尺度的清晰图像；c1＝0.012，c2＝0.032；
Figure BDA00034907610000001417
表示
Figure BDA00034907610000001418
的像素值均值，
Figure BDA00034907610000001419
表示x(k)的像素值均值；
Figure BDA00034907610000001420
表示
Figure BDA00034907610000001421
的像素值方差，
Figure BDA00034907610000001422
表示x(k)的像素值方差；
Figure BDA00034907610000001423
是
Figure BDA00034907610000001424
与x(k)的像素值协方差。
步骤S005，将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到待训练的多尺度判别网络，得到预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵；
本实施例中，在训练多尺度生成网络的时候采用对抗学习策略，将所得到的预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到待训练的多尺度判别网络，得到预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵。其中，判别矩阵中每个元素是对输入图像一个局部区域的判别结果。
步骤S006，基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失；
本实施例中，基于多尺度判别网络所得到的预设个数对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，可以计算得到对抗损失。使用对抗损失可以来衡量原始模糊图像对应的不同尺度的清晰图像和基于多尺度生成网络所得到的不同尺度恢复图像之间统计分布的差异。基于对抗损失可以对判别网络和生成网络进行交替优化，使多尺度判别网络可以更加合理地衡量数据的统计分布，并促使多尺度生成网络缩小输出的不同尺度的恢复图像与原始模糊图像对应的不同尺度的清晰图像之间的统计分析的差异，从而提高输出的不同尺度的恢复图像的质量。
进一步，一实施例中，所述步骤S006包括：
将所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵输入到对抗损失公式中，计算得到对抗损失，其中，所述对抗损失公式为：
Figure BDA0003490761000000151
Figure BDA0003490761000000152
其中，
Figure BDA0003490761000000153
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA0003490761000000154
表示第k个尺度的判别网络输出的对于第k个尺度恢复图像的判别矩阵，D(k)(x(k))表示第k个尺度的判别网络输出的对于第k个尺度清晰图像的判别矩阵，E表示期望，Pg为恢复图像的统计分布，Pr为清晰图像的统计分布；Critic loss部分为对抗损失的训练目标，基于Wasserstein距离；Gradient penalty部分采用梯度裁剪策略，保证了多尺度判别网络的梯度能在训练中自动约束，其中
Figure BDA0003490761000000161
表示计算梯度，λ为梯度惩罚的权重，
Figure BDA0003490761000000162
代表在清晰图像x(k)和生成的恢复图像
Figure BDA0003490761000000163
之间的随机插值取样，
Figure BDA0003490761000000164
为
Figure BDA0003490761000000165
的统计分布，x(k)表示第k尺度的清晰图像，
Figure BDA0003490761000000166
表示第k尺度的恢复图像。
本实施例中，将所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵输入到对抗损失公式中，计算得到对抗损失，其中，所述对抗损失公式为：
Figure BDA0003490761000000167
Figure BDA0003490761000000168
其中，
Figure BDA0003490761000000169
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA00034907610000001610
表示第k个尺度的判别网络输出的对于第k个尺度恢复图像的判别矩阵，D(k)(x(k))表示第k个尺度的判别网络输出的对于第k个尺度清晰图像的判别矩阵，E表示期望，Pg为恢复图像的统计分布，Pr为清晰图像的统计分布；Critic loss部分为对抗损失的训练目标，基于Wasserstein距离；Gradient penalty部分采用梯度裁剪策略，保证了多尺度判别网络的梯度能在训练中自动约束，其中
Figure BDA00034907610000001611
表示计算梯度，入为梯度惩罚的权重，
Figure BDA00034907610000001612
代表在清晰图像x(k)和生成的恢复图像
Figure BDA00034907610000001613
之间的随机插值取样，
Figure BDA00034907610000001614
为
Figure BDA00034907610000001615
的统计分布，x(k)表示第k尺度的清晰图像，
Figure BDA00034907610000001616
表示第k尺度的恢复图像。
步骤S007，将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到感知网络，得到预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图；
本实施例中，感知网络关注于图像的视觉内容，可以抽取图像的深度特征，将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到感知网络，可以将预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像通过感知网络映射到内容空间，得到预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图。
步骤S008，基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失；
本实施例中，基于感知网络所得的预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，可以计算得到内容损失。内容损失是用于衡量恢复图像与其对应的同一尺度清晰图像在内容空间的距离，即视觉内容的差异。最小化内容损失可以使得多尺度生成网络倾向于恢复模糊图像的整体内容与形状，而非局部像素，从而促使基于多尺度生成网络所得到的恢复图像与对应的同一尺度清晰图像具有更接近的轮廓与视觉特征。
进一步，一实施例中，所述步骤S008包括：
将所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图输入到内容损失公式，计算得到内容损失，其中，所述内容损失公式为：
Figure BDA0003490761000000171
其中，
Figure BDA0003490761000000172
为针对第k尺度生成网络的内容损失，φi，j(x(k))表示第k尺度的清晰图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，
Figure BDA0003490761000000173
表示第k尺度的恢复图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，Wi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000174
的宽度，Hi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000175
的高度。
本实施例中，将所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图输入到内容损失公式，计算得到内容损失，其中，所述内容损失公式为：
Figure BDA0003490761000000176
其中，
Figure BDA0003490761000000177
为针对第k尺度生成网络的内容损失，φi，j(x(k))表示第k尺度的清晰图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，
Figure BDA0003490761000000178
表示第k尺度的恢复图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，Wi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000179
的宽度，Hi，j为深度特征图φi，j(x(k))或
Figure BDA00034907610000001710
的高度。
步骤S009，基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数；
本实施例中，基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数。
进一步，一实施例中，所述步骤S009包括：
将所述结构相似性损失、对抗损失与内容损失代入到多尺度联合损失函数公式，得到多尺度的联合损失函数，其中，所述多尺度联合损失函数公式为：
Figure BDA0003490761000000181
并以最大-最小优化求解联合损失函数，其中，以最大-最小优化求解联合损失函数的计算公式为：
Figure BDA0003490761000000182
Figure BDA0003490761000000183
其中，G为待训练的多尺度生成网络，D为待训练的多尺度判别网络，L(G，D)为联合损失函数，
Figure BDA0003490761000000184
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA0003490761000000185
为针对第k尺度生成网络的内容损失，
Figure BDA0003490761000000186
为针对第k尺度生成网络的结构相似性损失，α与κ为超参数。
本实施例中，将所述结构相似性损失、对抗损失与内容损失代入到多尺度联合损失函数公式，得到多尺度的联合损失函数，其中，所述多尺度联合损失函数公式为：
Figure BDA0003490761000000187
本实施例中是采用端到端的对抗式深度学习网络来对待训练的多尺度生成网络进行训练，因此需要以最大-最小优化求解联合损失函数，即求解使得联合损失函数对应的损失为最大值的多尺度判别网络以及求解使得联合损失函数对应的损失为最小值的多尺度生成网络生成网络，其中，以最大-最小优化求解联合损失函数的计算公式为：
Figure BDA0003490761000000188
Figure BDA0003490761000000189
其中，G为待训练的多尺度生成网络，D为待训练的多尺度判别网络，L(G，D)为联合损失函数，
Figure BDA0003490761000000191
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA0003490761000000192
为针对第k尺度生成网络的内容损失，
Figure BDA0003490761000000193
为针对第k尺度生成网络的结构相似性损失，α与κ为超参数。
步骤S010，将所述联合损失函数反向传播给待训练的多尺度生成网络与待训练的多尺度判别网络，交替优化调整多尺度生成网络与多尺度判别网络的参数；
步骤S011，检测多尺度生成网络的联合损失函数是否收敛；
步骤S012，若所述多尺度生成网络的联合损失函数未收敛，则以训练数据集中新的模糊图像作为待恢复的模糊图像，并返回执行将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像的步骤；
步骤S013，若所述多尺度生成网络的联合损失函数收敛，则以最新的多尺度生成网络作为训练完成的多尺度生成网络。
本实施例中，使用反向传播算法对多尺度生成网络以及多尺度判别网络进行交替训练，直到多尺度生成网络的联合损失函数收敛，则停止训练，以最新的图像去模糊模型作为训练完成的多尺度生成网络。具体地，将所述联合损失函数反向传播给待训练的多尺度生成网络与待训练的多尺度判别网络，交替优化调整多尺度生成网络与多尺度判别网络的参数。检测多尺度生成网络的联合损失函数是否收敛。若所述多尺度生成网络的联合损失函数未收敛，则以训练数据集中新的模糊图像作为待恢复的模糊图像，并返回执行将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像的步骤。若所述多尺度生成网络的联合损失函数收敛，则以最新的多尺度生成网络作为训练完成的多尺度生成网络。
本实施例中，针对传统卷积神经网络的图像去模糊方法在进行复杂模糊核的去除时，产生的参数过多，效率低下而难以应用在有实时处理要求的领域上的技术问题，在多尺度生成网络中对复杂模糊核的去除过程进行统一建模，由粗糙到精细的逐步生成模糊图像对应的恢复图像。同时，在多尺度生成网络中每一尺度的生成网络均采用全局跳跃连接，使得训练完成的多尺度生成网络对应该学习到的细节更敏感，所述细节为多尺度生成网络所应当向输入图像中添加的细节。再构建端到端的对抗式深度学习网络，结合对抗损失、内容损失与结构相似性损失来指导多尺度生成网络的训练。其中，通过最小化所述结构相似性损失，可使得将模糊图像输入到多尺度生成网络中时保持所输入的原始模糊图像的结构，避免所输出的不同尺度的恢复图像出现局部变形和失真。通过最小化内容损失可以使得多尺度生成网络倾向于恢复模糊图像的整体内容与形状，而非局部像素，从而促使基于多尺度生成网络所得到的恢复图像与对应的同一尺度清晰图像具有更接近的轮廓与视觉特征。并可以通过对抗损失对判别网络和生成网络进行交替优化，使多尺度判别网络可以更加合理地衡量数据的统计分布，并促使多尺度生成网络缩小输出的不同尺度的恢复图像与原始模糊图像对应的不同尺度的清晰图像之间的统计分析的差异，从而当多尺度生成网络的联合损失收敛时，得到训练完成的多尺度生成网络，基于训练完成的多尺度生成网络可以提高输出的不同尺度的恢复图像的质量。
第三方面，本发明实施例还提供一种图像去模糊装置。
本实施例中，所述图像去模糊装置包括：
处理模块，用于将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，所述多尺度生成网络包括预设个数的不同尺度的生成网络；
所述处理模块具体用于：
将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度；
将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像；
将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像，以此类推，直到得到第1尺度的恢复图像，所述第1尺度为多尺度生成网络中最精细的尺度，以所述第1尺度的恢复图像作为原始模糊图像对应的恢复图像。
可选的，所述多尺度生成网络中每一尺度的生成网络包括预设个数的卷积层，且每一尺度的生成网络均采用全局跳跃连接，即每一尺度的生成网络的最后一个卷积层的输出图像加上所述尺度的生成网络的输入图像为所述尺度的生成网络输出的恢复图像。
可选的，所述图像去模糊装置，还包括训练模块，用于：
构建成对的训练数据集，所述训练数据集包括若干模糊图像与所述模糊图像对应的清晰图像；
将所述训练数据集中待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像；
将所述待恢复的模糊图像对应的清晰图像进行预设倍数的下采样，得到预设个数的不同尺度清晰图像；
基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到待训练的多尺度判别网络，得到预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵；
基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到感知网络，得到预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图；
基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失；
基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数；
将所述联合损失函数反向传播给待训练的多尺度生成网络与待训练的多尺度判别网络，交替优化调整多尺度生成网络与多尺度判别网络的参数；
检测多尺度生成网络的联合损失函数是否收敛；
若所述多尺度生成网络的联合损失函数未收敛，则以训练数据集中新的模糊图像作为待恢复的模糊图像，并返回执行将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像的步骤；
若所述多尺度生成网络的联合损失函数收敛，则以最新的多尺度生成网络作为训练完成的多尺度生成网络。
可选的，所述图像去模糊装置，还包括第一计算模块，用于：
将所述预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像的像素值均值、像素值方差以及像素值均方差输入到结构相似性损失公式中，计算得到结构相似性损失，其中，所述结构相似性损失公式为：
Figure BDA0003490761000000221
其中结构相似性的计算方法为：
Figure BDA0003490761000000222
其中，
Figure BDA0003490761000000223
为针对第k尺度生成网络的结构相似性损失，
Figure BDA0003490761000000224
代表第k尺度的恢复图像，x(k)代表第k尺度的清晰图像；c1＝0.012，c2＝0.032，
Figure BDA0003490761000000225
表示
Figure BDA0003490761000000226
的像素值均值，
Figure BDA0003490761000000227
表示x(k)的像素值均值；
Figure BDA0003490761000000228
表示
Figure BDA0003490761000000229
的像素值方差，
Figure BDA00034907610000002210
表示x(k)的像素值方差；
Figure BDA00034907610000002211
是
Figure BDA00034907610000002212
与x(k)的像素值协方差。
可选的，所述图像去模糊装置，还包括第二计算模块，用于：
将所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵输入到对抗损失公式中，计算得到对抗损失，其中，所述对抗损失公式为：
Figure BDA00034907610000002213
Figure BDA00034907610000002214
其中，
Figure BDA00034907610000002215
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA00034907610000002216
表示第k个尺度的判别网络输出的对于第k个尺度恢复图像的判别矩阵，D(k)(x(k))表示第k个尺度的判别网络输出的对于第k个尺度清晰图像的判别矩阵，E表示期望，Pg为恢复图像的统计分布，Pr为清晰图像的统计分布；Critic loss部分为对抗损失的训练目标，基于Wasserstein距离；Gradient penalty部分采用梯度裁剪策略，保证了判别网络的梯度能在训练中自动约束，其中
Figure BDA00034907610000002217
表示计算梯度，入为梯度惩罚的权重，
Figure BDA00034907610000002218
代表在清晰图像x(k)和生成的恢复图像
Figure BDA00034907610000002219
之间的随机插值取样，
Figure BDA00034907610000002220
为
Figure BDA00034907610000002221
的统计分布，x(k)表示第k尺度的清晰图像，
Figure BDA00034907610000002222
表示第k尺度的恢复图像。
可选的，所述图像去模糊装置，还包括第三计算模块，用于：
将所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图输入到内容损失公式，计算得到内容损失，其中，所述内容损失公式为：
Figure BDA0003490761000000231
其中，
Figure BDA0003490761000000232
为针对第k尺度生成网络的内容损失，φi，j(x(k))表示第k尺度的清晰图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，
Figure BDA0003490761000000233
表示第k尺度的恢复图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，Wi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000234
的宽度，Hi，j为深度特征图φi，j(x(k))或
Figure BDA0003490761000000235
的高度。
可选的，所述图像去模糊装置，还包括第四计算模块，用于：
将所述结构相似性损失、对抗损失与内容损失代入到多尺度联合损失函数公式，得到多尺度的联合损失函数，其中，所述多尺度联合损失函数公式为：
Figure BDA0003490761000000236
并以最大-最小优化求解联合损失函数，其中，以最大-最小优化求解联合损失函数的计算公式为：
Figure BDA0003490761000000237
Figure BDA0003490761000000238
其中，G为待训练的多尺度生成网络，D为待训练的多尺度判别网络，L(G，D)为联合损失函数，
Figure BDA0003490761000000239
为针对第k尺度生成网络与判别网络的对抗损失，
Figure BDA00034907610000002310
为针对第k尺度生成网络的内容损失，
Figure BDA00034907610000002311
为针对第k尺度生成网络的结构相似性损失，α与κ为超参数。
其中，上述图像去模糊装置中各个模块的功能实现与上述图像去模糊方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有图像去模糊程序，其中所述图像去模糊程序被处理器执行时，实现如上述的图像去模糊方法的步骤。
其中，图像去模糊程序被执行时所实现的方法可参照本发明图像去模糊方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像去模糊方法，其特征在于，所述图像去模糊方法包括：
将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，所述多尺度生成网络包括预设个数的不同尺度的生成网络；
所述将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像的步骤包括：
将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度；
将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像；
将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像，以此类推，直到得到第1尺度的恢复图像，所述第1尺度为多尺度生成网络中最精细的尺度，以所述第1尺度的恢复图像作为原始模糊图像对应的恢复图像。
2.如权利要求1所述的图像去模糊方法，其特征在于，所述多尺度生成网络中每一尺度的生成网络包括预设个数的卷积层，且每一尺度的生成网络均采用全局跳跃连接，即每一尺度的生成网络的最后一个卷积层的输出图像加上所述尺度的生成网络的输入图像为所述尺度的生成网络输出的恢复图像。
3.如权利要求1所述的图像去模糊方法，其特征在于，将原始模糊图像输入到训练完成的多尺度生成网络中，输出原始模糊图像对应的恢复图像的步骤之前还包括：
构建成对的训练数据集，所述训练数据集包括若干模糊图像与所述模糊图像对应的清晰图像；
将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像；
将所述待恢复的模糊图像对应的清晰图像进行预设倍数的下采样，得到预设个数的不同尺度清晰图像；
基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到待训练的多尺度判别网络，得到预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵；
基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失；
将所述预设个数的不同尺度恢复图像与所述预设个数的不同尺度清晰图像分别输入到感知网络，得到预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图；
基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失；
基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数；
将所述联合损失函数反向传播给待训练的多尺度生成网络与待训练的多尺度判别网络，交替优化调整多尺度生成网络与多尺度判别网络的参数；
检测多尺度生成网络的联合损失函数是否收敛；
若所述多尺度生成网络的联合损失函数未收敛，则以训练数据集中新的模糊图像作为待恢复的模糊图像，并返回执行将所述训练数据集中的待恢复的模糊图像输入到待训练的多尺度生成网络中，得到预设个数的不同尺度恢复图像的步骤；
若所述多尺度生成网络的联合损失函数收敛，则以最新的多尺度生成网络作为训练完成的多尺度生成网络。
4.如权利要求3所述的图像去模糊方法，其特征在于，所述基于预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像，计算得到结构相似性损失的步骤包括：
将所述预设个数的不同尺度清晰图像与预设个数的不同尺度恢复图像的像素值均值、像素值方差以及像素值协方差代入到结构相似性损失公式中，计算得到结构相似性损失，其中，所述结构相似性损失公式为：
Figure FDA0003490760990000031
其中结构相似性的计算方法为：
Figure FDA0003490760990000032
其中，
Figure FDA0003490760990000033
为针对第k尺度生成网络的结构相似性损失，
Figure FDA0003490760990000034
代表第k尺度的恢复图像，x(k)代表第k尺度的清晰图像，c1＝0.012，c2＝0.032，
Figure FDA0003490760990000035
表示
Figure FDA0003490760990000036
的像素值均值，
Figure FDA00034907609900000322
表示x(k)的像素值均值；
Figure FDA0003490760990000037
表示
Figure FDA0003490760990000038
的像素值方差，
Figure FDA0003490760990000039
表示x(k)的像素值方差；
Figure FDA00034907609900000310
是
Figure FDA00034907609900000311
与x(k)的像素值协方差。
5.如权利要求3所述的图像去模糊方法，其特征在于，所述基于所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵，计算得到对抗损失的步骤包括：
将所述预设个数的对于恢复图像的判别矩阵以及预设个数的对于清晰图像的判别矩阵代入到对抗损失公式中，计算得到对抗损失，其中，所述对抗损失公式为：
Figure FDA00034907609900000312
Figure FDA00034907609900000313
其中，
Figure FDA00034907609900000314
为针对第k尺度生成网络与判别网络的对抗损失，
Figure FDA00034907609900000315
表示第k个尺度的判别网络输出的对于第k个尺度恢复图像的判别矩阵，D(k)(x(k))表示第k个尺度的判别网络输出的对于第k个尺度清晰图像的判别矩阵，E表示期望，Pg为恢复图像的统计分布，Pr为清晰图像的统计分布；Critic loss部分为对抗损失的训练目标，基于Wasserstein距离；Gradient penalty部分采用梯度裁剪策略，保证了判别网络的梯度能在训练中自动约束，其中
Figure FDA00034907609900000316
表示计算梯度，λ为梯度惩罚的权重，
Figure FDA00034907609900000317
代表在清晰图像x(k)和生成的恢复图像
Figure FDA00034907609900000318
之间的随机插值取样
Figure FDA00034907609900000319
为
Figure FDA00034907609900000320
的统计分布，x(k)表示第k尺度的清晰图像，
Figure FDA00034907609900000321
表示第k尺度的恢复图像。
6.如权利要求3所述的图像去模糊方法，其特征在于，所述基于所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图，计算得到内容损失的步骤包括：
将所述预设个数的对于恢复图像的深度特征图以及预设个数的对于清晰图像的深度特征图代入到内容损失公式，计算得到内容损失，其中，所述内容损失公式为：
Figure FDA0003490760990000041
其中，
Figure FDA0003490760990000042
为针对第k尺度生成网络的内容损失，φi,j(x(k))表示第k尺度的清晰图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，
Figure FDA0003490760990000043
表示第k尺度的恢复图像经过感知网络的第i个最大池化层之前第j个卷积层的激活函数后得到的深度特征图，Wi,j为深度特征图φi,j(x(k))或
Figure FDA0003490760990000044
的宽度，Hi,j为深度特征图φi,j(x(k))或
Figure FDA0003490760990000045
的高度。
7.如权利要求3所述的图像去模糊方法，其特征在于，所述基于所述结构相似性损失、对抗损失与内容损失得到多尺度的联合损失函数，并以最大-最小优化求解联合损失函数的步骤包括：
将所述结构相似性损失、对抗损失与内容损失代入到多尺度联合损失函数公式，得到多尺度的联合损失函数，其中，所述多尺度联合损失函数公式为：
Figure FDA0003490760990000046
并以最大-最小优化求解联合损失函数，其中，以最大-最小优化求解联合损失函数的计算公式为：
Figure FDA0003490760990000047
Figure FDA0003490760990000048
其中，G为待训练的多尺度生成网络，D为待训练的多尺度判别网络，L(G,D)为联合损失函数，
Figure FDA0003490760990000049
为针对第k尺度生成网络与判别网络的对抗损失，
Figure FDA00034907609900000410
为针对第k尺度生成网络的内容损失，
Figure FDA00034907609900000411
为针对第k尺度生成网络的结构相似性损失，α与κ为超参数。
8.一种图像去模糊装置，其特征在于，所述图像去模糊装置包括：
处理模块，用于将原始模糊图像输入到训练完成的多尺度生成网络中，得到原始模糊图像对应的恢复图像，所述多尺度生成网络包括预设个数的不同尺度的生成网络；
所述处理模块具体用于：
将原始模糊图像进行预设倍数的第K次幂的下采样，得到第K尺度的模糊图像，所述第K尺度为多尺度生成网络中最粗糙的尺度；
将所述第K尺度的模糊图像输入到第K尺度的生成网络中，得到第K尺度的恢复图像；
将所述第K尺度的恢复图像进行预设倍数的上采样，并输入到第K-1尺度的生成网络中，得到第K-1尺度的恢复图像，以此类推，直到得到第1尺度的恢复图像，所述第1尺度为多尺度生成网络中最精细的尺度，以所述第1尺度的恢复图像作为原始模糊图像对应的恢复图像。
9.一种图像去模糊设备，其特征在于，所述图像去模糊设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像去模糊程序，其中所述图像去模糊程序被所述处理器执行时，实现如权利要求1至7中任一项所述的图像去模糊方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有图像去模糊程序，其中所述图像去模糊程序被处理器执行时，实现如权利要求1至7中任一项所述的图像去模糊方法的步骤。
CN202210095243.2A 2022-01-26 2022-01-26 图像去模糊方法、装置、设备及可读存储介质 Pending CN114494065A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210095243.2A CN114494065A (zh) 2022-01-26 2022-01-26 图像去模糊方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210095243.2A CN114494065A (zh) 2022-01-26 2022-01-26 图像去模糊方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114494065A true CN114494065A (zh) 2022-05-13

Family

ID=81476264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210095243.2A Pending CN114494065A (zh) 2022-01-26 2022-01-26 图像去模糊方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114494065A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998156A (zh) * 2022-06-30 2022-09-02 同济大学 一种基于多补丁多尺度网络的图像运动去模糊方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998156A (zh) * 2022-06-30 2022-09-02 同济大学 一种基于多补丁多尺度网络的图像运动去模糊方法
CN114998156B (zh) * 2022-06-30 2023-06-20 同济大学 一种基于多补丁多尺度网络的图像运动去模糊方法

Similar Documents

Publication Publication Date Title
CN110033003B (zh) 图像分割方法和图像处理装置
KR101871098B1 (ko) 이미지 처리 방법 및 장치
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
US9633274B2 (en) Method and system for denoising images using deep Gaussian conditional random field network
US20210342977A1 (en) Method And Apparatus For Image Restoration, Storage Medium And Terminal
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
EP1006481A2 (en) Estimating scenes using statistical properties of images and scenes
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
US6380934B1 (en) Estimating targets using statistical properties of observations of known targets
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN112541877A (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN113221645B (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN114418030A (zh) 图像分类方法、图像分类模型的训练方法及装置
CN114419392A (zh) 高光谱快照图像恢复方法、装置、设备及介质
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN113763268B (zh) 人脸图像盲修复方法及系统
CN114494065A (zh) 图像去模糊方法、装置、设备及可读存储介质
JP7294275B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN114078149A (zh) 一种图像估计方法、电子设备及存储介质
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN111861931A (zh) 模型训练、图像增强方法和装置、电子设备及存储介质
CN116993933A (zh) 应急场景下的实景地图构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination