CN111199522A - 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 - Google Patents

Abstract

本发明公开了一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法。包括如下步骤：获取GoPRo成对数据集将其连接成形为模糊——清晰形式的图像对；将训练图像随机裁剪成256×256大小的图像补丁；将标准化后的图像作为模型训练输入数据；设计卷积神经网络，输出去模糊之后的图像；计算模型的输出信息与对应标签清晰图像的峰值信噪比和结构相似性以及损失优化；利用优化后的模型参数，对现实中的具有运动模糊场景的图片进行去模糊得到相应的清晰图片。本发明基于卷积神经网络，采用条件生成对抗网络作为骨干网络并采用了细粒度残差模块作为主体模块，实现了对图像去模糊问题转变为图像翻译问题并加以解决的突破，为图像去模糊的后续操作提供了重要的技术支持。

Description

一种基于多尺度残差生成对抗网络的单图像盲去运动模糊 方法

技术领域

本发明涉及卷积神经网络和图像盲去运动模糊技术领域，尤其涉及基于多尺度残差生成对抗网络的单图像盲去运动模糊方法。

背景技术

随着科技高速发展，智能手机、数码相机等摄影设备开始广泛普及，使得图像的获取以及传播变得十分简便。而在拍摄照片过程中，由于拍摄者手部的抖动造成相机在曝光过程中运动或者相机曝光过程中拍摄物体运动从而造成的图像具有运动模糊，最终影响图像在图像语义分割，检测等各个领域的应用。因此作为图像复原技术的一种，去除图像中的运动模糊这一课题也十分具有应用研究价值。

随着深度学习和机器学习的稳步发展，利用卷积神经网络进行图像去模糊的方法受到了研究者们的极大追捧，同时图像盲去模糊也得到了大的突破。目前基于卷积神经网络的图像盲去模糊方法主要分为通过卷积神经网络估计模糊核的方法和端到端直接输出去模糊后图片的形式，估计模糊核的方法较经典的有如Sun等人的工作，根据神经网络估计出的模糊核再对模糊图像进行重建；Gong等人使用全卷积网络(Fully ConvolutionalNetwork，简称FCN)估计出图像的运动流(Motion Flow)，并据此重建图像。虽然这些能够取得较好的效果，但是同样面临传统算法的困境，如运行速度缓慢、重建效果严重依赖于模糊核的预测准确与否，无法作用于多种模糊核函数等问题。端到端的比较经典的方法有：Nah等人提出使用多尺度卷积神经网络直接对图像进行去模糊，让网络直接输出重建后的图像。但是两种方法的困难点都在于如何能够让网络更加快速的对模糊图片进行重建的同时还能保证更好的重建效果。

发明内容

本发明为解决真实场景出现的图像运动模糊问题，为图像去模糊后的后续操作提供了重要的技术支持，可应用于车辆辅助驾驶、车祸细节鉴定，视频监控等领域。

为此本发明采用的技术方案是：

一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，包括以下步骤：

1)获取图像数据集，将其中的成对数据集拼接成形为模糊——清晰形式的图像对；

2)将训练集图像随机裁剪成256×256大小的图像补丁；

3)将标准化后的图像作为训练输入数据；

4)经过基于Pytorch开源深度学习框架设计的卷积神经网络，输出去模糊之后的图像；

5)根据步骤3)中的输入数据和步骤4)中的卷积神经网络，对卷积神经网络进行优化训练；

6)利用优化后的模型参数，输入现实中的具有运动模糊场景的图片进行去模糊得到相应的清晰图片。

进一步，所述256×256大小的图像补丁作为标准输入。

进一步，所述卷积神经网络包括生成器和判别器，当训练生成器时，固定判别器不做修改和训练，向网络中的生成器输入模糊——清晰图像对，通过生成器对模糊图像进行去模糊，输出去模糊后的峰值信噪比与结构相似性，之后再向判别器中输入去模糊后图片或清晰图像，让判别器判别输入图像是去模糊后的图像还是清晰图像，并对损失进行更新；在训练判别器时，固定生成器不做修改和训练，二者交替训练。

更进一步，所述生成器包括特征提取模块、细粒度残差模块模块和上采样模块；

所述特征提取模块，包括一个卷积层，实例归一化，以及一个ReLU激活层，之后在经过两个卷积层，实例归一化，ReLU激活层，最终将图片提取出得到特征图；

所述细粒度残差模块，经过卷积做信息聚合得到特征通道，然后将得到的特征通道均分为4组；第1组不做任何操作保留原始信息；第2组进行一次卷积操作，获得相对高一维度的特征信息；第3组在原信息的基础上加上第2组得到的特征信息进行一次卷积操作，从而达到特征融合的效果；第4组在原信息的基础上融合第3组得到的结果再进行一次卷积操作，最后将所得到的信息连接起来作为输出结果；

所述上采样模块，将细粒度残差模块输出的结果进行上采样，首先通过最近邻插值法进行一次上采样到128通道，再通过一次转置卷积将残差特征图上采样到64通道，再经过一个卷积层将残差特征图恢复为三通道图像，最后通过全局连接与输入图片做叠加，去除残差信息，得到去模糊后的图片。

进一步，步骤5)中所述优化训练过程中需计算模型的输出信息与对应标签清晰图像的峰值信噪比和结构相似性以及损失优化。

所述损失优化主要由两部分组成：对抗损失以及内容损失，训练优化的损失函数为：L＝L_GAN+L_content，L_GAN为对抗损失，L_content为内容损失。对抗损失和内容损失分别为

其中I^B表示输入的模糊图片，G(I^B)表示通过生成网络G对模糊图片进行重建后输出的重建图片，D(G(I^B))表示对重建图片进行概率计算，N表示样本个数；φ表示VGG-19第七层卷积的输出特征图，W,H分别表示特征图的宽，高，I^S表示标准清晰图像。

本发明的有益效果如下：

本发明基于卷积神经网络中的生成对抗网络，提出了一种对于图像盲去运动模糊的一种新的解决方法，将其转换为图像翻译的问题形式加以解决，并且采用细粒度残差模块做生成器中的骨干网络，以此能够在不增加参数保证去模糊速度的条件下，融合多尺度信息，提高去模糊后的图像的细节纹理信息，同时兼顾全局信息的保留，进而提升去模糊后图像的主管视觉效果以及客观评价指标，同时为了保证在生成对抗训练中能够完美的得到去模糊后的图像，采用了对抗损失结合内容损失的方式来确保去模糊后的内容准确性。并且经过检验，提出的方法具有更好的鲁棒性，对真实场景下的模糊图片还原效果更好，更加突出细节纹理。

附图说明

图1是本发明的主体网络流程图；

图2是本发明的生成器即去模糊网络流程图；

图3是本发明提出的细粒度残差模块的流程图

图4是激活函数ReLU函数图；

图5是真实场景图片去运动模糊案例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明公开了一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，包括如下步骤：

步骤一，获取GoPRo成对数据集将其连接为模糊——清晰形式的图像对；

步骤二，将训练图像随机裁剪成256×256大小的图像补丁；

步骤三，将标准化后的图像作为模型训练输入数据；

步骤四，基于Pytorch开源深度学习框架设计卷积神经网络，输出去模糊之后的图像；

步骤五，计算模型的输出信息与对应标签清晰图像的峰值信噪比和结构相似性以及损失优化；

步骤六，利用优化后的模型参数，对现实中的具有运动模糊场景的图片进行去模糊得到相应的清晰图片。

其中步骤一，包括：下载公开的图像数据即GoPRo，基于该数据帧，将训练集成对图片拼接成模糊——清晰图片对。

步骤二，包括：将训练集图片随机裁剪成256×256的图像补丁作为标准输入。

其中步骤四中的卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，最大的特征是局部连接性和权值共享性，通过卷积操作能够自动的提取图像的特征，不同的卷积核提取不同的特征，同时利用生成对抗网络进行对抗训练达到通过生成器网络去模糊后的图片达到了以假乱真的效果能够完美的对图像进行去模糊。去模糊网络模块具体为：

基于条件生成对抗网络的整体训练网络模块，包括生成器和判别器，其中在训练阶段时，当训练生成器时，固定判别器不做修改和训练即参数保持不变。向网络中生成器输入模糊——清晰图片，通过生成器对模糊图像进行去模糊，输出去模糊后的峰值信噪比与结构相似性，之后再向判别器中输入去模糊后图片或清晰图像，让判别器判别输入图像是去模糊后的图像还是清晰图像，并对损失进行更新，在训练判别器阶段时，固定生成器不动。二者交替训练。如图1所示。

生成器包括以下模块，如图2所示：

(1)特征提取模块，其中包括，一个7×7卷积层，实例归一化，以及一个ReLU激活层，之后在经过两个3×3卷积层，实例归一化，ReLU激活层，最终将图片提取出成256个通道的特征图。ReLU激活函数如图4所示。

(2)细粒度残差模块如图3所示，首先在残差模块中先引入一个1×1卷积做信息聚合，帮助网络能够在不损失信息的情况下聚合通道。而后将得到的特征通道均分为4组；第1组不做任何操作保留原始信息，以此获得低维尺度信息；第2组进行一次卷积操作，获得相对高一维度的特征信息；第3组在原信息的基础上加上第2组得到的特征信息进行一次卷积操作，从而达到特征融合的效果；第4组在原信息的基础上融合第3组得到的结果再进行一次卷积操作，最后将所得到的通道连接起来作为输出结果。

(3)上采样模块：将细粒度残差模块输出的残差特征图进行上采样，首先通过最近邻插值法进行一次上采样到128通道，再通过一次转置卷积将残差特征图上采样到64通道，再经过一个卷积层将残差特征图恢复为三通道图像最后通过全局连接与输入图片做叠加，去除残差信息，得到去模糊后的图片。

判别器是马尔科夫判别器由5层卷积层叠加构成，将清晰图片以及重建图片输入判别器经过卷积层得出感受域进行综合评分分辨图片是清晰图片还是重建图片。

步骤五中包括以下操作：

(1)根据步骤3)中的模型输入数据和步骤4)中设计的卷积神经网络，将数据分别放入卷积神经网络并优化训练。其中具体的超参数设置为：对于生成器和判别器依旧采用Adam作为优化算法，学习率置为1×10^-4，在经过150epochs之后学习率线性减少至0，采用实例标准化和Dropout优化方法且Batch Size＝1。

(2)训练优化的损失主要由两部分组成：对抗损失以及内容损失；其中为了提高训练稳定性对抗损失选用Wassertein GAN的Wassertein-1距离记为L_GAN，内容损失作用为评估生成的清晰图像和原图清晰图像的差距采用感知损失记为L_content；

其中I^B表示输入的模糊图片，G(I^B)表示通过生成网络G对模糊图片进行重建后输出的重建图片，D(G(I^B))表示对重建图片进行概率计算，N表示样本个数。φ表示VGG-19第七层卷积的输出特征图，W,H分别表示特征图的宽，高。I^S表示标准清晰图像。

(3)训练优化的损失函数为：

L＝L_GAN+L_content

(4)根据以上设置，迭代训练设计的卷积神经网络模型，完成模型框架参数的优化与更新，实现图像盲去运动模糊器。

利用优化后的模型，选择验证集图像测试已训练模型的去模糊性能，即通过峰值信噪比与结构相似性的指标数值来确定去模糊效果，并结合主观视觉效果进行观测评估。图5为真实场景下模糊图片去模糊后效果图。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于，包括以下步骤：

1)获取图像数据集，将其中的成对数据集拼接成形为模糊——清晰形式的图像对；

2)将训练集图像随机裁剪成256×256大小的图像补丁；

3)将标准化后的图像作为训练输入数据；

4)经过基于Pytorch开源深度学习框架设计的卷积神经网络，输出去模糊之后的图像；

5)根据步骤3)中的输入数据和步骤4)中的卷积神经网络，对卷积神经网络进行优化训练；

6)利用优化后的模型参数，输入现实中的具有运动模糊场景的图片进行去模糊得到相应的清晰图片。

2.根据权利要求1所述一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于：所述256×256大小的图像补丁作为标准输入。

3.根据权利要求1所述一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于：所述卷积神经网络包括生成器和判别器，当训练生成器时，固定判别器不做修改和训练，向网络中的生成器输入模糊——清晰图像对，通过生成器对模糊图像进行去模糊，输出去模糊后的峰值信噪比与结构相似性，之后再向判别器中输入去模糊后图片或清晰图像，让判别器判别输入图像是去模糊后的图像还是清晰图像，并对损失进行更新；在训练判别器时，固定生成器不做修改和训练，二者交替训练。

4.根据权利要求3所述一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于：所述生成器包括特征提取模块、细粒度残差模块和上采样模块；

所述特征提取模块，包括一个卷积层，实例归一化，以及一个ReLU激活层，之后在经过两个卷积层，实例归一化，ReLU激活层，最终将图片提取出得到特征图；

所述细粒度残差模块，经过卷积做信息聚合得到特征通道，然后将得到的特征通道均分为4组；第1组不做任何操作保留原始信息；第2组进行一次卷积操作，获得相对高一维度的特征信息；第3组在原信息的基础上加上第2组得到的特征信息进行一次卷积操作，从而达到特征融合的效果；第4组在原信息的基础上融合第3组得到的结果再进行一次卷积操作，最后将所得到的信息连接起来作为输出结果；

上采样模块，将细粒度残差模块输出的结果进行上采样，首先通过最近邻插值法进行一次上采样到128通道，再通过一次转置卷积将残差特征图上采样到64通道，再经过一个卷积层将残差特征图恢复为三通道图像，最后通过全局连接与输入图片做叠加，去除残差信息，得到去模糊后的图片。

5.根据权利要求1所述一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于：所述优化训练过程中需计算模型的输出信息与对应标签清晰图像的峰值信噪比和结构相似性以及损失优化。

6.根据权利要求5所述一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于：所述损失优化主要由两部分组成：对抗损失以及内容损失，训练优化的损失函数为：L＝L_GAN+L_content，L_GAN为对抗损失，L_content为内容损失。

7.根据权利要求6所述一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法，其特征在于：对抗损失和内容损失分别为

其中I^B表示输入的模糊图片，G(I^B)表示通过生成网络G对模糊图片进行重建后输出的重建图片，D(G(I^B))表示对重建图片进行概率计算，N表示样本个数；φ表示VGG-19第七层卷积的输出特征图，W,H分别表示特征图的宽，高，I^S表示标准清晰图像。

Images