CN111223062A - 基于生成对抗网络的图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的图像去模糊方法，主要解决现有技术需要估计模糊核，反卷积迭代求取清晰图像时运行速度缓慢、重建效果差的问题。其实现方案是：1)选择实验数据集，确定与其相关的训练数据集和测试数据集；2)分别构建15层结构的生成网络和6层结构的对抗网络；3)根据对抗损失、像素损失和特征损失构建联合损失函数；4)通过联合损失函数对生成网络和对抗网络进行交互训练，得到生成对抗网络模型；5)将对测试样本输入到生成对抗网络模型中，得到去模糊后的清晰图像。本发明具有无需估计模糊核、去模糊速度快、去模糊效果好的优点，可用于由于相机抖动而拍摄的模糊图像的去模糊处理。

Description

基于生成对抗网络的图像去模糊方法

技术领域

本发明属于图像处理技术领域，更进一步涉及一种图像去模糊方法,可用于由于相机抖动而拍摄的模糊图像的去模糊处理。

背景技术

数字图像在产生、处理、传送和保存的过程中，总会因为拍摄装置和外界不可预知的因素的影响，造成图像总体质量的减退，丢失图像的重要信息，对后续处理带来很多负面影响。为了满足图像应用及图像视觉对高质量图片的要求，如何从低质的图像中恢复出清晰的图像一直是数字图像领域研究的长期关注的问题。

在图像复原早期，研究者主要研究非盲去模糊技术，提出维纳滤波，LR迭代去模糊、最小二乘法等方法，但这几种方法过于简单，复原图像存在噪声大，边缘信息丢失严重等问题。在实际应用中，图像的点扩散函数往往很难获得，通常要解决的是盲去模糊问题。目前常用的方法就是通过估计模糊核尺寸，再通过逆卷积进行去模糊，但这往往需要复杂的先验；利用变量分离技术将图像复原中的保真项和正则项进行分离，使用迭代求解法，效果较好，但存在运行效率低的问题，同时也很难找到一个通用的、合理的算法停止条件。

随着深度学习在计算机视觉的应用广泛，很多学者利用卷积神经网络用于图像去模糊，取得了很好的效果，Kai提出一种有效CNN去噪器，把它集成到基于模型的优化方法，将降噪器先验作为基于模型的优化方法的模块化部分插入以解决其他反问题，利用可变分裂技术，解决去模糊问题；Gong使用卷积神经网络对模糊核进行估计，再根据估计的模糊核重建图像。这两种方法由于仍然采用非盲去模糊算法的思路，在经过CNN得到估计的模糊核后，再使用传统方法进行反卷积得到清晰图像，因而导致运行速度缓慢，重建效果严重依赖模糊核的预测结果，并且无法作用于多种模糊函数。

发明内容

本发明的目的在于针对以上现有技术存在的不足，提出一种基于生成对抗网络的端到端的图像去模糊方法，以实现无需核函数估计，提高去模糊速度和去模糊效果。

为达到上述技术目的，本发明的实现方案包括以下步骤：

(1)选用GOPRO数据集中的训练集，并依次通过翻转、水平和垂直旋转的扩大处理，从1280*720的图像中随机裁剪256*256图像作为最终训练数据；选用GOPRO数据集中的测试集作为测试数据来源；

(2)搭建一个包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层的生成网络，其结构依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层；

(3)搭建一个由6层卷积层构成的对抗网络，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层；

(4)根据对抗损失Ladv、像素损失L1和特征损失Lc这三个损失函数得到联合损失函数：L＝λ_aL_adv+λ₁L₁+λ_cL_c，其中λ_a,λ₁,λ_c为三个不同的权值参数；

(5)训练生成对抗网络：

5a)将经过生成网络的图像输入到对抗网络，利用梯度下降法，更新对抗网络的权值；

5b)迭代5a)共五次，得到对抗网络更新后的权值

5c)固定对抗网络权值，将模糊图像输入生成网络，利用梯度下降法，更新生成网络权值

5d)重复执行步骤5a)-5c)共120次，得到训练好的生成对抗网络模型；

(6)将模糊图像输入到训练好的生成对抗网络模型中，得到清晰图像。

与现有技术相比，本发明具有以下优点：

第一，由于本发明使用端到端的映射，无需迭代估计模糊核，克服了传统方法中需要迭代估计模糊核的弊端，缩短了去模糊的时间；

第二，由于本发明构建的生成网络中使用残差模块，克服了模糊核大小不确定、方向不固定的问题，使得网络适应性更强，去模糊效果更好。

第三，由于本发明构建的生成网络上使用上采样层和卷积层形式，减少了图像修复过程中的“棋盘效应”，克服了现存的深度学习方法中使用反卷积层实现上采样产生的方格效应，提高了恢复图像的清晰度。

附图说明

图1是本发明的实现流程图；

图2是本发明中的生成网络结构图；

图3是本发明中的对抗网络结构图；

图4是本发明中的测试图和结果图。

具体实施方案

以下结合附图对本发明的实施例进行详细阐述：

参照图1，本实例的实施步骤如下：

步骤1，选取实验数据集，确定与其相关的训练数据集和测试数据集。

选用GOPRO数据集中的训练集作为训练数据来源，并依次通过翻转、水平和垂直旋转的手段对数据集对训练集中的数据进行扩大，并从扩大后的训练数据集中将原始大小为1280*720的图像随机裁剪成大小为256*256的图像作为最终训练数据。

选用GOPRO数据集中的测试集作为测试数据。

步骤2，搭建一个生成网络。

参照图2，对本实例搭建的生成网络包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层结构，其左右分布依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层，其中各层参数设置如下：

第一卷积层的卷积核大小为7×7，卷积步长为1，卷积核个数为64；

第一下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为128；

第二下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为256；

第一到第九残差模块卷积核的个数均为256；

第一上采样层的卷积核大小为3×3，卷积步长为1，卷积核个数为128；

第二上采样层的卷积核大小为3*3，卷积步长为1，卷积核个数为64；

第二卷积层的卷积核大小为7*7，卷积步长为1，卷积核个数为3；

九个残差模块均由四个支路组成，其中:

第一支路卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256；

第二支路由两个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层的卷积核大小为3×3，卷积步长为1，卷积核个数为64；

第三支路由三个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256，第3卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256；

第四支路由池化层和卷积层构成，池化区域核的大小为2×2，卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为64；

四个支路经过拼接函数拼接为通道数为1024的图像，该图像经过卷积核大小为3×3，卷积步长为1，卷积核个数为256的卷积层得到最终的图像。

步骤3，搭建对抗网络

参照图3，对本实例搭建对抗网络由6层卷积层构成，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层，其中各层参数设置如下：

第一卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为64；

第二卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为64；

第三卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为128；

第四卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为256；

第五卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为512；

第六卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为1；

步骤4，构建联合损失函数

4.1)分别确定对抗损失函数Ladv、像素损失函数L1、特征损失函数Lc的权值参数λ_a,λ₁,λ_c：λ_a＝1，λ₁＝100，λ_c＝170；

4.2)根据对抗损失Ladv、像素损失L1和特征损失Lc这三个损失函数及其权值参数λ_a,λ₁,λ_c，得到联合损失函数：

L＝λ_aL_adv+λ₁L₁+λ_cL_c，

其中，对抗损失函数为：

式中N为图像数量，D(y_i)为经过对抗网络得到的结果；

像素损失函数为：

式中，C为通道数，W为图像宽度，H为图像高度，G_b为生成网络得到的结果，y为原始清晰图像，||·||₁为1范式操作；

特征损失函数为：

式中C为通道数，W为图像宽度，H为图像高度，

为G(x^c,w,h)经过VGG预训练网络得到的图像特征，

为y_b ^c,w,h经过VGG预训练网络得到的图像特征，||·||₂为2范式操作。

步骤5，训练生成网络和对抗网络，获得训练好的生成对抗网络。

5.1)固定生成网络权值，将生成网络的生成图像输入到对抗网络，利用梯度下降法，更新对抗网络的权值：

5.1.1)将对抗网络的学习率设置为0.0004；

5.1.2)将对抗网络的输出值与图像类别值的差值作为对抗网络的梯度值▽J₁

5.1.3)利用下式，更新一次对抗网络的权值：

其中，

表示更新后的对抗网络的权值，←表示赋值操作，θ₁表示对抗网络自身随机生成的服从高斯分布的权值，▽J₁表示对抗网络的梯度值；

5.1.4)迭代更新对抗网络参数共五次，得到对抗网络更新后的权值；

5.2)固定对抗网络权值，将模糊图像输入生成网络，利用梯度下降法，更新生成网络权值

5.2.1)将生成网络的学习率设置为0.0004；

5.2.2)将生成网络的输出图像与对应清晰图像之间的特征图像差值与像素差值作为生成网络的梯度值▽J₂；

5.2.3)利用下式，更新一次对抗网络的权值：

其中，

表示更新后的对抗网络的权值，←表示赋值操作，θ₂表示对抗网络自身随机生成的服从高斯分布的权值，▽J₂表示生成网络的梯度值；

5.3)迭代更新对抗网络和生成网络120次，得到训练好的生成对抗网络模型。

步骤6，模糊图像测试

将模糊图像输入到生成对抗网络中，得到清晰图像。

下面结合仿真实验对本发明的效果做进一步说明。

1.仿真实验条件

本发明的仿真实验是搭建在ubuntu16.0下，基于tensorflow-GPU-1.9.0深度学习框架，使用python3.6.7脚本语言搭建生成对抗网络，利用一块TITAN Xp GPU完成模型的训练。

所有训练图像是从GOPRO_Large数据集中获取，初始化训练迭代次数为120，批处理样本数为1，学习率为0.0004。

2.仿真内容

第一步，在上述实验条件下，用本发明方法对2103对清晰和模糊图像进行训练，在训练期间，将训练数据中的模糊图像作为生成网络输入，通过前向传播算法计算输出结果，将生成网络得到的结果与对应的清晰图像输入对抗网络，通过前向传播算法计算输出结果，将对抗网络得到的结果和生成网络得到的结果进行计算联合损失函数，利用梯度下降法，更新生成网络和对抗网络的权重，得到训练好的生成对抗网络模型。

第二步，将测试图输入给训练好的生成对抗网络，得到模型结果如图4所示，其中4(a)是测试原图，图4(b)是测试结果图，图4(c)是图4(a)的局部放大图，图4(d)是图4(b)的局部放大图。从图4(c)和图4(d)的对比可以发现，本发明基于生成对抗网络的图像去模糊方法，克服现有方法需要估计模糊核，去模糊效果差的问题，其去模糊后的复原图细节清晰，效果好。

Claims (8)

1.一种基于生成对抗网络的图像去模糊方法，其特征在于，包括如下：

(1)选用GOPRO数据集中的训练集，并依次通过翻转、水平和垂直旋转的扩大处理，从1280*720的图像中随机裁剪256*256图像作为最终训练数据；选用GOPRO数据集中的测试集作为测试数据来源；

(2)搭建一个包括两个卷积层、两个下采样层、九个残差模块、两个上采样层的15层的生成网络，其结构依次是：第一卷积层→第一下采样层→第二下采样层→第一残差模块→第二残差模块→第三残差模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第一上采样层→第二上采样层→第二卷积层；

(3)搭建一个由6层卷积层构成的对抗网络，其结构依次是：第一卷积层→第二卷积层→第三卷积层→第四卷积层→第五卷积层→第六卷积层；

(4)根据对抗损失Ladv、像素损失L1和特征损失Lc这三个损失函数得到联合损失函数：L＝λ_aL_adv+λ₁L₁+λ_cL_c，其中λ_a,λ₁,λ_c为三个不同的权值参数；

(5)训练生成对抗网络：

5a)将经过生成网络的图像输入到对抗网络，利用梯度下降法，更新对抗网络的权值；

5b)迭代5a)共五次，得到对抗网络更新后的权值

5c)固定对抗网络权值，将模糊图像输入生成网络，利用梯度下降法，更新生成网络权值

5d)重复执行步骤5a)-5c)共120次，得到训练好的生成对抗网络模型；

(6)将模糊图像输入到训练好的生成对抗网络模型中，得到清晰图像。

2.根据权利要求1所述的方法，其特征在于，2)搭建的15层生成网络，其各层参数设置如下：

第一卷积层的卷积核大小为7×7，卷积步长为1，卷积核个数为64；

第一下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为128；

第二下采样层的卷积核大小为3×3，卷积步长为2，卷积核个数为256；

第一到第九残差模块卷积核的个数均为256；

第一上采样层的卷积核大小为3×3，卷积步长为1，卷积核个数为128；

第二上采样层的卷积核大小为3*3，卷积步长为1，卷积核个数为64；

第二卷积层的卷积核大小为7*7，卷积步长为1，卷积核个数为3；

九个残差模块均由四个支路组成，其中:

第一支路卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256；

第二支路由两个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层的卷积核大小为3×3，卷积步长为1，卷积核个数为64；

第三支路由三个卷积层构成，其中第1卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为256，第2卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256，第3卷积层卷积核大小为3×3，卷积步长为1，卷积核个数为256；

第四支路由池化层和卷积层构成，池化区域核的大小为2×2，卷积层的卷积核大小为1×1，卷积步长为1，卷积核个数为64；

四个支路经过拼接函数拼接为通道数为1024的图像，该图像经过卷积核大小为3×3，卷积步长为1，卷积核个数为256的卷积层得到最终的图像。

3.根据权利要求1所述的方法，其特征在于，3)搭建的6层对抗网络，其各层参数设置如下：

第一卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为64；

第二卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为64；

第三卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为128；

第四卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为256；

第五卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为512；

第六卷积层的卷积核大小为4×4，卷积步长为2，卷积核个数为1。

4.根据权利要求1所述的方法，其特征在于，步骤3)中的对抗损失函数，表示如下：

其中，N为图像数量，D(y_i)为经过对抗网络得到的结果。

5.根据权利要求1所述的方法，其特征在于，步骤3)中的像素损失函数，表示如下：

其中，C为通道数，W为图像宽度，H为图像高度，G_b为生成网络得到的结果，y为原始清晰图像，||·||₁为1范式操作。

6.根据权利要求1所述的方法，其特征在于，步骤3)中的特征损失函数，表示如下：

其中C为通道数，W为图像宽度，H为图像高度，

为G(x^c,w,h)经过VGG预训练网络得到的图像特征，

为y_b ^c,w,h经过VGG与训练网络得到的图像特征，||·||₂为2范式操作。

7.根据权利要求1所述的方法，其特征在于，步骤5a)中利用梯度下降法，更新对抗网络的权值，实现如下：

5a1)将对抗网络的学习率设置为0.0004；

5a2)将对抗网络的输出值与图像类别值的差值作为对抗网络的梯度值▽J₁；

5a3)利用下式，更新一次对抗网络的权值：

其中，

表示更新后的对抗网络的权值，←表示赋值操作，θ₁表示对抗网络自身随机生成的服从高斯分布的权值，

表示对抗网络的梯度值。

8.根据权利要求1所述的方法，其特征在于，步骤5c)中利用梯度下降法，更新生成网络权值，实现如下：

5c1)将生成网络的学习率设置为0.0004；

5c2)将生成网络的输出图像与对应清晰图像之间的特征图像差值与像素差值作为生成网络的梯度值

5c3)利用下式，更新一次对抗网络的权值：

其中，

表示更新后的对抗网络的权值，←表示赋值操作，θ₂表示对抗网络自身随机生成的服从高斯分布的权值，

表示生成网络的梯度值。

Images