CN112734678B - 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法 - Google Patents

基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法 Download PDF

Info

Publication number
CN112734678B
CN112734678B CN202110089105.9A CN202110089105A CN112734678B CN 112734678 B CN112734678 B CN 112734678B CN 202110089105 A CN202110089105 A CN 202110089105A CN 112734678 B CN112734678 B CN 112734678B
Authority
CN
China
Prior art keywords
network
image
training
generated
discrimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110089105.9A
Other languages
English (en)
Other versions
CN112734678A (zh
Inventor
蒋文波
刘安顺
李潘
卜云
宋潇潇
郭奕
刘霞
付钱华
黄永茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pottice (Beijing) Skin Health Management Co.,Ltd.
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN202110089105.9A priority Critical patent/CN112734678B/zh
Publication of CN112734678A publication Critical patent/CN112734678A/zh
Application granted granted Critical
Publication of CN112734678B publication Critical patent/CN112734678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法。该方法包括选取训练数据集并对其进行预处理；基于训练数据集中的模糊图像利用生成网络得到生成图像；将生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；通过得到的概率来训练判别网络达到预设次数，判断生成网络和判别网络是否达到纳什均衡，若是，生成网络训练完成，采用训练好的生成网络去图像运动模糊，否则训练生成网络后，返回判别网络训练步骤。本发明为了解决现有技术中去模糊效果不理想、计算开销大、振铃效应明显和泛化能力不足的问题，结合了深度残差收缩网络和生成对抗网络，在解决上述问题的同时还明显提升了去图像运动模糊性能。

Description

基于深度残差收缩网络和生成对抗网络的去图像运动模糊 方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法。
背景技术
图像作为重要的信息载体，让受众得到更加直观、高效、客观的视觉化信息。鉴于图像在传播信息时的优点与重要性，图像在各行各业中都扮演着重要的角色。例如：医学图像领域、交通监控领域、军事侦察领域、航天航空领域等等。在这些领域，清晰的图像难以获得，但是往往对决策判断有至关重要的作用。然而，由于各种不确定因素的影响，我们通过设备采集到的图像难免会产生不同程度的失真，通常将这些失真称为图像退化，图像的运动模糊就是一种典型的图像退化现象。运动模糊是指由于在拍摄时相机与被拍摄物体之间发生了相对位移，图像上就会出现运动模糊。恢复运动模糊图像并从中提取有效运动信息有着重要的意义，但实施起来却非常困难，因此图像去运动模糊算法的研究有重要价值。
为了提高图像的质量，可以通过硬件和软件这两方面去改进。由于在硬件方面改进花费的成本太高而且技术上难以实现，所以大多都从软件算法方面对图像进行处理。国内外研究者在图像去运动模糊的研究方面已开展了大量的工作并取得了较大的进展,但是仍存在以下问题：
第一：去模糊效果不理想。去模糊效果由主观评价指标和客观评价指标来体现。目前有研究将生成对抗网络与残差网络相结合，但是该算法没有对图像的噪声进行处理，使得去模糊的结果受噪声的影响较大，所以最终得到的去运动模糊图像无论在主观评价指标还是客观评价指标上表现都很一般。
第二：计算开销较大。在图像去运动模糊算法的研究中，很多学者通过加深网络来提升算法去模糊的效果，取得了不错的效果。然而，这使得网络算法复杂度较高，需要大量的计算，需要消耗大量的时间，尽管图像的去模糊效果得到了一定的提升，但忽视了算法的运行速度，实用价值较低。
第三：振铃效应明显。有大量研究者使用深度学习的方法先对模糊核进行估计，然后再利用经典算法结合估计好的模糊核来得到去模糊图像。此类算法不仅步骤繁琐，而且会因为模糊核估计不准确而出现振铃效应。因为在进行经典算法时，输出信号在输入信号快速转换的边缘附近出现了有一定衰减速度的震荡。
第四：泛化能力不足。有大量研究者用的数据集是自己生成的数据集，他们将自己制造的运动模糊核卷积上清晰图像，形成清晰-模糊图像对，所以会存在许多人为制造的先验信息，并且人为制造的数据集很难模仿实际生活中产生的运动模糊，从而使得所训练出来的网络只是针对某一类模糊图像的复原效果较好，但是泛化能力低。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，包括以下步骤：
S1、选取训练数据集并对其进行预处理；
S2、基于步骤S1预处理后的训练数据集中的模糊图像，利用生成网络得到生成图像；
S3、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；
S4、通过步骤S3得到的概率来训练判别网络，判断判别网络训练次数是否达到预设次数，若是，执行步骤S5，否则返回步骤S3；
S5、利用步骤S4训练好的判别网络得到生成图像属于清晰图像的概率；
S6、判断生成网络和判别网络是否达到纳什均衡，若是，执行步骤S8，否则执行步骤S7；
S7、通过步骤S5得到的概率来训练生成网络，将判别网络训练次数清零后返回步骤S2；
S8、采用训练好的生成网络去图像运动模糊。
本发明具有以下有益效果：本发明结合了深度残差收缩网络和生成对抗网络，采用了“端到端”的深度学习算法实现去图像运动模糊，即输入一张模糊图像，输出对应的去运动模糊图像，这一过程避免了估计模糊核，也不需要做逆卷积操作，能够有效规避振铃效应，同时使算法步骤更简单，相较于现有技术中的去图像运动模糊方法，在运行时间差不多的同时，拥有了更好的性能，在训练网络时采用了交替训练的方法，这样的设计就使得判别网络与生成网络都在不断地更新，直到生成网络生成的数据与真实样本无差别,判别网络也无法正确的区分生成数据和真实数据。生成网络的参数更新不是直接来自数据样本,而是使用来自判别网络的反向传播。
优选地，步骤S1具体包括：
选取GoPro数据集作为训练数据集，将其中的模糊-清晰图像对按预设比例分为训练集和测试集，采用最邻近图像插值法将所有图像分辨率从1280×720转化为256×256。
该优选方案具有以下有益效果：本发明采用公开数据集-GoPro数据集来对模型进行训练。为了使图像更真实、贴切，该数据集是通过真实拍摄的形式来模拟模糊图像的产生过程，并非是以清晰图像卷积上模糊核的传统方法来对模糊图像进行算法合成。具体是通过一个高速摄像头来快速捕捉拍摄一系列的清晰图像，每张图片之间的拍摄间隔都非常短，拍摄完成后将这些一连串的清晰图像融合后得到模糊的图像，对应的清晰图像就取中间那一帧。解决了现有技术中的去图像运动模糊方法泛化能力不强的问题。
优选地，步骤S2包括以下分步骤：
S21、随机采样步骤S1预处理后的训练数据集中的模糊图像得到输入图像IB，并将其输入生成网络；
S22、对输入图像IB进行边缘镜像填充；
S23、通过1个7×7卷积块、2个3×3卷积块和深度残差收缩网络对镜像填充后的输入图像IB进行输入图像特征提取；
S24、对步骤S23得到的特征图进行上采样后，再进行边缘镜像填充；
S25、使二次边缘镜像填充后的输入图像IB经过1个7×7卷积层，得到图像IR；
S26、通过全局连接使输入图像IB和图像IR相加得到生成图像IS。
该优选方案具有以下有益效果：现有技术中的许多图像去运动模糊算法，大多为了提高客观评价指标，而忽略了主观评价。许多去运动模糊结果虽然在客观评价指标上表现较好，但是并不符合人眼的审美标准。由于人眼对于纹理信息比较敏感，所以本发明采用了生成对抗网络，该网络在保留图像纹理信息上表现很好。同时结合深度残差收缩网络，与深度残差网络相比，该网络能够自动设置阈值，再软阈值化去除冗余信息和噪声信息。同时结合了深度残差网络学习残差的特性，而不是学习一个完整的输出，这样就更容易优化网络。使得去运动模糊的效果在客观评价指标上依然表现优异。
优选地，步骤S23中的深度残差收缩网络的处理过程包括以下分步骤：
S231、将输入通过两个由批归一层、ReLU激活函数层和卷积层构成的卷积块后，对其求绝对值；
S232、对求绝对值后的输入通过全局均值池化得到特征A；
S233、将全局均值池化后的特征图输入到一个以Sigmod函数为最后一层的小型全连接网络中，将输出归一化到0和1之间，获得系数α；
S234、将阈值表示为α×A，基于阈值采用软阈值处理去掉步骤S231求绝对值后的输入的部分冗余信息和噪声信息；
S235、将输入与去掉冗余信息后的步骤S231的输出通过全局连接相加得到输出。
该优选方案具有以下有益效果：本发明中的深度残差收缩网络随着网络的加深，不仅没有出现退化问题，错误率也大大降低，同时计算复杂度也保持在很低的程度。而且对该网络的内部结构也做出了调整，将批归一化和激活层放到了卷积层前面，这样的调整使网络更加容易优化、训练时长减少，计算开销降低，并且网络越深效果越明显。
优选地，步骤S3包括以下分步骤：
S31、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，分别经过6个卷积块，得到特征图；
S32、将特征图一维化，得到一维化数据；
S33、将一维化数据经过全连接层，将提取到的特征整合到一起，输出一个[-1,1]的值；
S34、将[-1,1]的值再经过全连接层，将提取到的特征整合到一起，输出一个[0,1]的值，表示生成图像属于清晰图像的概率。
该优选方案具有以下有益效果：训练过程中有一个有意义的loss值来指示生成器收敛；同时改善了优化过程的稳定性，解决了梯度消失等问题，并且未发现存在生成样本缺乏多样性的问题。
优选地，步骤S4具体包括：
基于步骤S34得到的概率，通过Wasserstein距离得到对抗损失1，进而对判别网络进行训练，判断判别网络训练次数是否达到预设次数，若是，执行步骤S5，否则返回步骤S3。
该优选方案具有以下有益效果：最初的生成对抗网络利用的JS散度和KL散度来计算对抗损失，Wasserstein距离相对于KL散度与JS散度具有优越的平滑特性，从根本上解决了原始生成对抗网络的梯度消失问题。
优选地，步骤S5具体包括：
将训练好的判别网络参数代入步骤S3中，得到生成图像属于清晰图像的概率。
该优选方案具有以下有益效果：判别网络经过预设次数的训练之后，此时固定判别网络，再将生成网络生成图像和对应清晰图像输入判别网络，从而结合了生成网络的生成能力和判别网络的判别能力，输出为一个有意义的loss值，易于后续步骤判断生成网络与判别网络是否达到纳什均衡。
优选地，步骤S6中判断生成网络和判别网络是否达到纳什均衡具体包括：
判断步骤S5得到的概率是否位于0.5±0.001区间，若是，则达到纳什均衡，否则没有达到纳什均衡。
该优选方案具有以下有益效果：当得到的概率位于0.5±0.001区间时表明判别网络已经不能判断输入的图像是生成图像还是清晰图像，说明生成网络生成的图像已经接近清晰图像，因此可以判断出生成网络训练完成，判断方法简单方便，易于操作。
优选地，步骤S7具体包括：
基于步骤S5得到的概率，通过Wasserstein距离得到对抗损失2，通过vgg16网络得到感知损失，采用预设权重对生成网络进行训练，训练完成后将判别网络训练次数重置为0，返回步骤S2。
该优选方案具有以下有益效果：通过vgg16网络得到了感知损失，感知损失是在深度特征层面对清晰图和生成图进行约束，深度特征通过神经网络提取，而深度特征通常随着网络层数的加深而获取到图像更深层次的语义信息，通过惩罚深度特征差异的监督，生成图像可以保留源图像中较高层语义信息。预设权重可以使训练受感知损失的影响较大。因为感知损失体现的是清晰图像与生成图像内容上的差异，而对抗损失体现的是清晰图像与生成图像的概率分布差异。注重感知损失，会使去运动模糊图像在客观评价指标上表现更好。
附图说明
图1是本发明基于深度残差收缩网络和生成对抗网络的去图像运动模糊的流程图；
图2是本发明实施例中判别网络和生成网络训练过程及结构示意图；
图3是本发明实施例中生成网络结构示意图；
图4是本发明实施例中深度残差收缩网络结构示意图；
图5是本发明实施例中判别网络结构示意图；
图6是采用本发明实施例去模糊图像和现有技术去模糊图像对比示意图，其中图6的(a)是GoPro数据集中的一副清晰图像，图6的(b)是GoPro数据集中的对应模糊图像，图6的(c)是使用现有技术进行去运动模糊后的图像，图6的(d)是使用本发明提供方法进行去运动模糊后的图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参照图1和图2，本发明提供了一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，包括以下步骤：
S1、选取训练数据集并对其进行预处理；
本发明实施例中，步骤S1具体包括：
选取GoPro数据集作为训练数据集，将其中的3214对模糊-清晰图像对分为训练集和测试集，其中训练集有2103对，测试集有1111对，采用最邻近图像插值法将所有图像分辨率从1280×720转化为256×256。
S2、基于步骤S1预处理后的训练数据集中的模糊图像，利用生成网络得到生成图像；生成网络结合了软阈值处理，通过软阈值处理筛选出重要的特征用于生成图像。
请参照图3，生成网络由两个卷积块、9个残差收缩块和两个上采样卷积块组成，请参照图4，每个残差收缩块包括批归一化、ReLU激活层、卷积层和软阈值层，在每个残差收缩块中的第一个卷积层之后，添加0.5概率的Dropout。另外，通过全局连接方式直接将首层的输入传递给末尾层。软阈值化层由一个小型的全连接网络构成，包括全局均值池化、批归一化、ReLU激活层、全连接层、Sigmoid激活层。另外，通过全局连接方式将全局均值池化的结果传递给末尾层。
本发明实施例中，步骤S2包括以下分步骤：
S21、随机采样步骤S1预处理后的训练数据集中的模糊图像得到输入图像IB，并将其输入生成网络；
S22、对大小为256×256的输入图像IB进行边缘镜像填充；
S23、通过1个7×7卷积块、2个3×3卷积块和9个残差收缩块(深度残差收缩网络)对镜像填充后的输入图像IB进行输入图像特征提取，得到64×64的特征图像，其中深度残差收缩网络用于学习残差、删除冗余信息和噪声信息；
本发明实施例中，深度残差收缩网络在常见的残差网络中加入了软阈值处理，同时还调整了3×3的卷积层、批归一化层和ReLU激活函数层的先后顺序，将批归一化层和ReLU激活函数步骤S23中的深度残差收缩网络的处理过程包括以下分步骤：
S231、将输入通过两个由批归一层、ReLU激活函数层和卷积层构成的卷积块后，对其求绝对值；
S232、对求绝对值后的输入通过全局均值池化得到特征A；
S233、在另一条路中，将全局均值池化后的特征图输入到一个以Sigmod函数为最后一层的小型全连接网络中，将输出归一化到0和1之间，获得系数α；
S234、将阈值表示为α×A，基于阈值采用软阈值处理去掉步骤S231求绝对值后的输入的部分冗余信息和噪声信息；
S235、将输入与去掉冗余信息后的步骤S231的输出通过全局连接相加得到输出。
S24、对步骤S23得到的特征图进行上采样后，再进行边缘镜像填充，使得卷积操作能够提取到边缘特征，上采样和边缘镜像填充都是为了下一步S25卷积操作之后，能够得到输入图像同样的大小，从而才能够与输入图像IB相加得到生成图像；
S25、使二次边缘镜像填充后的输入图像IB经过1个7×7卷积层，得到与输入图像同样大小的图像IR；
S26、通过全局连接使输入图像IB和图像IR相加得到生成图像IS，即IS＝IB+IR。其中，除了最后一个卷积层使用的激活函数是“Tanh”，其它的卷积层使用的激活函数都是“ReLu”。
S3、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；
请参照图5，判别网络由6个卷积块和1个全连接层构成，第一个卷积块和最后一个卷积块不使用归一化，所有卷积块都使用LeakyReLU激活函数，全连接层使用Tanh激活函数，最后经过sigmoid激活函数输出代表置信度的值。
本发明实施例中，步骤S3包括以下分步骤：
S31、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，生成图像的标签为0，清晰图像的标签为1，分别经过6个卷积块，第一个卷积块和最后一个卷积块都不使用批归一化，最后一个卷积块激活函数为Sigmoid，其余5个卷积块激活函数为参数为0.2的LeakyReLU，得到16×16的特征图；
S32、将特征图一维化，得到256×1的一维化数据；
S33、将一维化数据经过激活函数为Tanh的全连接层，将提取到的特征整合到一起，输出一个[-1,1]的值；
S34、将[-1,1]的值再经过激活函数为Sigmoid的全连接层，将提取到的特征整合到一起，输出一个[0,1]的值，从而得到代表置信度的值，表示生成图像属于清晰图像的概率，如果大于0.501则为数据集中的清晰图像，如果小于0.499则为生成网络生成的图像，位于0.5±0.001区间则达到纳什均衡。
S4、通过步骤S3得到的概率来训练判别网络，判断判别网络训练次数是否达到预设次数，一般设为5次，若是，执行步骤S5，否则返回步骤S3；
本发明实施例中，步骤S4具体包括：
基于步骤S34得到的概率，通过Wasserstein距离得到对抗损失1，进而对判别网络进行训练，判断判别网络训练次数是否达到预设次数，一般设置为5次，若是，执行步骤S5，否则返回步骤S3。
本发明中的两个网络训练采用交替训练的方式，先对判别网络进行训练，损失函数用对抗损失，对判别网络训练5次。再对生成网络进行训练，损失函数用对抗损失和感知损失，二者的权重为1:100，对生成网络训练1次，在训练生成网络时要结合先训练好的判别网络，实现参数共享。整个训练过程交替迭代训练直到生成网络与判别网络达到纳什均衡，两个网络的训练均采用Adam优化器，学习率为0.0001。
S5、利用步骤S4训练好的判别网络得到生成图像属于清晰图像的概率；
本发明实施例中，步骤S5具体包括：
将训练好的判别网络参数代入步骤S3中，即采用训练好的判别网络参数重复一遍步骤S3的过程，得到生成图像属于清晰图像的概率。
S6、判断生成网络和判别网络是否达到纳什均衡，若是，执行步骤S8，否则执行步骤S7；
本发明实施例中，步骤S6中判断生成网络和判别网络是否达到纳什均衡具体包括：
判断步骤S5得到的概率是否位于0.5±0.001区间，若是，则达到纳什均衡，否则没有达到纳什均衡。
S7、通过步骤S5得到的概率来训练生成网络，将判别网络训练次数清零后返回步骤S2；
本发明实施例中，步骤S7具体包括：
基于步骤S5得到的概率，通过Wasserstein距离得到对抗损失2，通过vgg16网络得到感知损失，采用预设权重对生成网络进行训练，训练完成后将判别网络训练次数重置为0，返回步骤S2。
S8、采用训练好的生成网络去图像运动模糊。
综上所述，本发明采用了生成对抗网络对抗模型来进行去图像运动模糊，该生成对抗网络模型包括生成网络和判别网络，生成网络用于不断优化参数以使其生成的图像趋近清晰图像的分布，判别网络用于不断优化参数以使其能更好地判别图像来自于生成图像分布或清晰图像分布。其中生成网络模块结合了深度残差收缩网络，用于删除冗余信息和噪声信息，达到加快网络优化和高效提取图像特征的目的。而生成对抗网络能够保留图像的纹理信息，使得去图像运动模糊的效果符合人眼的感知。并且判别器用到了Wasserstein距离来进行训练，解决原始GAN存在的难训练、不稳定以及缺乏多样性的问题。
接下来对本发明的性能进行验证，对本发明的去运动模糊方法与现有技术中的去运动模糊方法在GoPro数据集上的性能进行比较，去模糊结果如图6所示，三个主要的客观评价指标峰值信噪比(PSNR)、结构相似度(SSIM)和运行时间(Time)对比结果如表1所示。
表1 PSNR、SSIM和Time性能比较
PSNR SSIM Time(s)
现有技术 28.64 0.97 6.55
本发明 29.68 0.98 6.56
从表1中可以看出，本发明的去运动模糊方法相较于现有技术，在PSNR和SSIM上均有提升，由于加入了一个小型的全连接网络，使得本发明相较于现有技术的运行时间略有提升，但只相差0.01s。所以本发明的方法能够在保持较短运行时长的同时，还能得到更优的峰值信噪比和结构相似度。
本领域的普通技术人员将会意识到，这里所描述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，包括以下步骤：
S1、选取训练数据集并对其进行预处理；
S2、基于步骤S1预处理后的训练数据集中的模糊图像，利用生成网络得到生成图像，包括以下分步骤：
S21、随机采样所述步骤S1预处理后的训练数据集中的模糊图像得到输入图像IB，并将其输入生成网络；
S22、对输入图像IB进行边缘镜像填充；
S23、通过1个7×7卷积块、2个3×3卷积块和深度残差收缩网络对镜像填充后的输入图像IB进行输入图像特征提取，包括以下分步骤：
S231、将输入通过两个由批归一层、ReLU激活函数层和卷积层构成的卷积块后，对其求绝对值；
S232、对求绝对值后的输入通过全局均值池化得到特征A；
S233、将全局均值池化后的特征图输入到一个以Sigmod函数为最后一层的小型全连接网络中，将输出归一化到0和1之间，获得系数α；
S234、将阈值表示为α×A，基于阈值采用软阈值处理去掉步骤S231求绝对值后的输入的部分冗余信息和噪声信息；
S235、将输入与去掉冗余信息后的步骤S231的输出通过全局连接相加得到输出；
S24、对步骤S23得到的特征图进行上采样后，再进行边缘镜像填充；
S25、使二次边缘镜像填充后的输入图像IB经过1个7×7卷积层，得到图像IR；
S26、通过全局连接使输入图像IB和图像IR相加得到生成图像IS；
S3、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，得到生成图像属于清晰图像的概率；
S4、通过步骤S3得到的概率来训练判别网络，判断判别网络训练次数是否达到预设次数，若是，执行步骤S5，否则返回步骤S3；
S5、利用步骤S4训练好的判别网络得到生成图像属于清晰图像的概率；
S6、判断生成网络和判别网络是否达到纳什均衡，若是，执行步骤S8，否则执行步骤S7；
S7、通过步骤S5得到的概率来训练生成网络，将判别网络训练次数清零后返回步骤S2；
S8、采用训练好的生成网络去图像运动模糊。
2.如权利要求1所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S1具体包括：
选取GoPro数据集作为训练数据集，将其中的模糊-清晰图像对按预设比例分为训练集和测试集，采用最邻近图像插值法将所有图像分辨率从1280×720转化为256×256。
3.如权利要求1所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S3包括以下分步骤：
S31、将步骤S2得到的生成图像及其对应清晰图像输入判别网络，分别经过6个卷积块，得到特征图；
S32、将特征图一维化，得到一维化数据；
S33、将一维化数据经过全连接层，将提取到的特征整合到一起，输出一个[-1,1]的值；
S34、将[-1,1]的值再经过全连接层，将提取到的特征整合到一起，输出一个[0,1]的值，表示生成图像属于清晰图像的概率。
4.如权利要求3所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S4具体包括：
基于所述步骤S34得到的概率，通过Wasserstein距离得到对抗损失1，进而对判别网络进行训练，判断判别网络训练次数是否达到预设次数，若是，执行所述步骤S5，否则返回所述步骤S3。
5.如权利要求4所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S5具体包括：
将训练好的判别网络参数代入所述步骤S3中，得到生成图像属于清晰图像的概率。
6.如权利要求5所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S6中判断生成网络和判别网络是否达到纳什均衡具体包括：
判断所述步骤S5得到的概率是否位于0.5±0.001区间，若是，则达到纳什均衡，否则没有达到纳什均衡。
7.如权利要求6所述的一种基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法，其特征在于，所述步骤S7具体包括：
基于所述步骤S5得到的概率，通过Wasserstein距离得到对抗损失2，通过vgg16网络得到感知损失，采用预设权重对生成网络进行训练，训练完成后将判别网络训练次数重置为0，返回所述步骤S2。
CN202110089105.9A 2021-01-22 2021-01-22 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法 Active CN112734678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110089105.9A CN112734678B (zh) 2021-01-22 2021-01-22 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110089105.9A CN112734678B (zh) 2021-01-22 2021-01-22 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法

Publications (2)

Publication Number Publication Date
CN112734678A CN112734678A (zh) 2021-04-30
CN112734678B true CN112734678B (zh) 2022-11-08

Family

ID=75593780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110089105.9A Active CN112734678B (zh) 2021-01-22 2021-01-22 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法

Country Status (1)

Country Link
CN (1) CN112734678B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340716A (zh) * 2019-11-20 2020-06-26 电子科技大学成都学院 一种改进双重判别对抗网络模型的图像去模糊方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技（深圳）有限公司 一种视频去模糊方法和装置
KR102641116B1 (ko) * 2018-08-23 2024-02-27 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
CN111199522B (zh) * 2019-12-24 2024-02-09 芽米科技(广州)有限公司 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111612703A (zh) * 2020-04-22 2020-09-01 杭州电子科技大学 一种基于生成对抗网络的图像盲去模糊方法
CN111783826B (zh) * 2020-05-27 2022-07-01 西华大学 一种基于预分类与集成学习的驾驶风格分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340716A (zh) * 2019-11-20 2020-06-26 电子科技大学成都学院 一种改进双重判别对抗网络模型的图像去模糊方法

Also Published As

Publication number Publication date
CN112734678A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN106204467B (zh) 一种基于级联残差神经网络的图像去噪方法
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111275643B (zh) 基于通道和空间注意力的真实噪声盲去噪网络系统及方法
CN112884671B (zh) 一种基于无监督生成对抗网络的模糊图像复原方法
CN111612711A (zh) 一种基于生成对抗网络改进的图片去模糊方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN115565056A (zh) 基于条件生成对抗网络的水下图像增强方法及系统
CN109859131A (zh) 一种基于多尺度自相似性与共形约束的图像复原方法
CN115861094A (zh) 一种融合注意力机制的轻量级gan水下图像增强模型
CN115546060A (zh) 一种可逆的水下图像增强方法
Luo et al. Bi-GANs-ST for perceptual image super-resolution
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN107295217A (zh) 一种基于主成分分析的视频噪声估计方法
CN112085705B (zh) 一种基于改进樽海鞘群算法的图像分割方法及装置
CN107748885B (zh) 一种对模糊字符进行识别的方法
CN112734678B (zh) 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法
CN111047537A (zh) 一种图像去噪中恢复细节的系统
Krishnan et al. A novel underwater image enhancement technique using ResNet
CN114820395B (zh) 一种基于多领域信息融合的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230927

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20230927

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 610039, No. 999, Jin Zhou road, Jinniu District, Sichuan, Chengdu

Patentee before: XIHUA University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231103

Address after: Tencent Creative Space A2-02-016, Building 1, No. 338 Huilongguan East Street, Changping District, Beijing, 100000

Patentee after: Pottice (Beijing) Skin Health Management Co.,Ltd.

Address before: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee before: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.