CN111612711B - 一种基于生成对抗网络改进的图片去模糊方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络改进的图片去模糊方法，属于计算机视觉技术领域。首先处理训练数据，然后设计对抗网络中的生成器网络和判别器网络，融合内容损失、纹理损失、美学评分损失、对抗损失等作为损失函数，加入边缘检测信息与注意力机制，训练对抗网络，得到一个改进的图片去模糊网络；将模糊图片输入该网络，可以生成对应的清晰图片。本方法能够关注纹理信息与生成图片的美感，并且强调生成图片的边缘信息、优化处理图片中的主要物体；改进的图片去模糊网络适用于任何场景的图片，均可产生较高质量的清晰图片，具有较好的普适性。

Description

一种基于生成对抗网络改进的图片去模糊方法

技术领域

本发明涉及一种基于生成对抗网络改进的图片去模糊方法，尤其涉及一种基于被称作深度特征翻译网络的卷积神经网络、融合多种损失函数、融合边缘检测信息与注意力机制的图片去模糊方法，属于计算机视觉技术领域。

背景技术

由于日常生活及生产场景中，有很多导致图片模糊的因素，比如拍摄相机抖动，或者被拍物体的抖动，以致于产生大量的模糊图片。对于很多重要的场景，拍摄者希望得到更加清晰的画面，比如进球的瞬间，或者在安防领域希望得到高速运动的人或车的清晰图像，研究如何去除图像的模糊就显得尤为重要。

早期去模糊的研究中，倾向于寻找模糊核，为每一个像素点寻找模糊核是一个病态的问题，难以求解，除此之外，由于抖动产生的位移是随机的，难以推测。所以基于模糊核的方法，假定图像中所有的像素点的模糊核是一样的，认为模糊图像是由模糊核作用在清晰图片上，再加一些噪声所产生的，因此只要能够推理出模糊核，即可使用LucyRichardson等方法得到原图。其它现代去模糊方法也都取得不错的效果，也各有优势与缺陷，比如小波域求解方法，稀疏分布约束求解法，各类总变分约束复原方法等。

基于神经网络的方法是现阶段效果比较好，研究成果比较多的方法，大致分为基于encoder-decoder架构进行去模糊的研究，和基于生成对抗网络的方法，例如香港大学和腾讯联合提出的尺度循环网络，就是结合了多尺度和encoder-decoder的架构。而现有基于生成对抗网络的方法去模糊后生成的图片依旧存在质量不佳的情况，并且训练占用的时间较长，有很大的提升空间来改进和完善。

发明内容

本发明的目的是为了克服现有方法的不足，提出一种基于生成对抗网络改进的图片去模糊方法，可以提高生成图片的质量。

本发明的目的是通过以下技术方案实现的：

一种基于生成对抗网络改进的图片去模糊方法，包括以下步骤：

步骤一：处理训练数据：

在公共数据集上获取模糊-清晰图片对，作为训练数据集，为了计算效率与满足网络输入格式的要求，将图片随机裁剪为224×224大小的图片，然后将模糊图片通过边缘检测网络得到的输出结果，按照通道维度与原模糊图片拼接，产生4通道模糊图片，将拼接后的4通道图片对作为训练样本；

步骤二：设计网络结构：

网络结构包括生成器与判别器，其中生成器由2次下采样、通道注意力模块、9个ResBlock残差块和2次上采样模块依次串联组成；模糊图片经生成器处理后得到生成图片，将该生成图片和输入的真实的清晰图片输入到判别器，即美学评分网络后得到美学评分损失，将美学评分损失进行损失融合后反馈回生成器进行参数调整，对生成器进行训练；

步骤三、设计损失函数：

网络的损失函数Loss包括四部分：内容损失函数，对抗损失函数，纹理损失函数，美学评分损失函数；训练中同时用到以上四种损失函数，表示如下：

Loss＝α₁L_content+α₂L_adv+α₃L_texture+α₄L_assessment；

其中，L_content表示内容损失，L_adv表示对抗损失，L_texture表示纹理损失，L_assessment表示美学评分损失，α₁、α₂、α₃和α₄分别表示内容损失、对抗损失、纹理损失和美学评分损失的权重，为超参数；

(1).内容损失表示如下：

其中，L表示VGG19网络的总层数，

是第l层的生成图片的特征图，I_l表示清晰图片在第l层的特征图，ε²是超参数；

(2).对抗损失表示如下：

其中，D表示判别器，

表示生成样本，P_g表示生成样本的分布函数，E表示生成样本的概率分布；

(3).纹理损失计算方式如下：

一，将生成的清晰图像与真实样本图像转换为张量，使用VGG19网络抽取不同尺度的特征，计算每个尺度特征的Gram矩阵，具体的公式如下：

其中，F表示图片经过VGG19网络提取后得到的特征图，

表示VGG19网络第l层中第k个位置上第i个卷积核的激活输出，/>

表示VGG19网络第l层中第k个位置上第j个卷积核的激活输出，特征图形状为(批处理的大小batch，通道维度channel，高H，宽W)，将特征图保持通道channel维度与batch维度不变，设此时的张量为A，A按照宽和高两个维度转置得到B，A与B的内积为这张特征图的Gram矩阵；其中K表示得到的特征图划分出的位置数量；i、j∈[0，K]；H，W分别表示特征图的长和宽；

二，基于上述Gram矩阵，获取真实样本和生成样本之间的差异E_l，通过将真实样本与生成样本各自由步骤一得到的Gram矩阵作差后将各元素先计算平方再求和得到，具体计算公式如下：

其中G^l表示真实样本Gram矩阵，

表示生成样本Gram矩阵，M_l和N_l分别表示图像的长和宽；

三，得到真实样本与生成数据在VGG19网络第l层输出的差异之后，融合多层差异值，得到纹理损失L_texture，具体计算公式如下：

其中w是需要训练的参数；

(4).图像美学评分损失表示如下：

其中I_score表示原始清晰图片的美学评分，

表示生成图片的美学评分；该公式为最小化生成图片与原始清晰图片的美学评分差距，在考虑生成图像美学程度的同时考虑图像的真实性。

步骤四：用上述损失函数Loss训练步骤二设计好的网络模型，训练过程使用随机梯度下降法和小批量法；

步骤五：通过步骤四训练好的生成器G，输入模糊图片，生成清晰图片。

有益效果

本发明方法，与现有技术相比，具有以下有益效果：

本发明融合的纹理损失函数，关注图片样本的多尺度特征，能够更好的提高图片的质量，提高信噪比；

本发明从图像美学评分的角度设计的损失函数，能够使网络更加关注生成图片的美观程度，并且逼近真实样本；

本发明融合边缘检测信息能够将样本中物体的边缘信息更加突出，在图片恢复重建过程中更加被重视；

本发明加入到网络中的注意力机制，可以发现图片样本中重要的物体，使得视觉上重点关注的部分恢复效果更优；

本发明适用于任何图片，均有较好的效果，具有普适性。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的网络结构示意图；

图3为本方法使用的边缘检测网络的结构图；

图4为本方法计算纹理损失时使用的VGG19模型结构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

一种基于生成对抗网络改进的图片去模糊方法，如图1所示，包括如下步骤：

步骤1：处理训练数据。下载使用GOPRO数据集，该数据集中包含像素较高的清晰-模糊图片对，处于计算量的考虑，我们使用随机裁剪的方法将所有图片裁剪为224*224大小，这样不仅缓解计算量大的问题，也为训练增加更多的训练样本；然后对所有图片对中的模糊图片，经过图3中的HED边缘检测网络(Saining Xie,Zhuowen Tu.Holistically-Nested Edge Detection[J].International Journal of Computer Vision,2017.)，将生成的结果按照单通道读入内存与原始的3通道图像，按照通道维度叠加。

步骤2：设计网络结构。如图2所示，我们使用的原始生成器网络结构由2个下采样，9个ResBlock，2个上采样模块依次连接组成，在重新设计改进的过程中，我们在下采样模块后加入了注意力模块，该注意力模块是一种非局部信息统计的自注意力机制Self-Attention(Wang,Xiaolong,Girshick,Ross,Gupta,Abhinav,等.Non-local NeuralNetworks[J].)，可以捕捉长距离特征之间的关系，这种方式通过计算两个位置之间的关系获得长范围依赖，只需较少的堆叠层就可以达到卷积的同样效果，更重要的一点是其输入输出尺度不变决定了这种结构的易嵌入性质，几乎不需要对被嵌入网络进行结构调整。并在图2所示的美学评分网络(来自论文Talebi,Hossein,Milanfar,Peyman.NIMA:NeuralImage Assessment[J].IEEE Transactions on Image Processing,2017,PP(99):1-1.)处，接入了预训练好的图像美学评分模型，该模型基于AVA数据集训练出一个分类模型用于图像评分，将图像分为10类，代表1-10分。该模型参数固定，只用于评价，不进行联合训练。图中美学评分网络即为判别器网络，生成器生成的图片和真实图片作为输入，经过判别器网络进行判别，输出结果，计算融合损失loss，回传给生成器，重复此过程，直到生成器生成的图片可以做到以假乱真，使判别器的输出满足自定义的阈值要求。

步骤3：设计用于训练网络的损失函数。包括内容损失，对抗损失，纹理损失，图像美学评分损失。计算纹理损失时，采用如图4所示的VGG19网络提取特征图，VGG19网络由卷积层，激活函数，池化层，全连接层依次组成。本文实验VGG19网络中的卷积层设为五层(即L＝5)：Relu1-1,Relu2-1,Relu3-1,Relu4-1,Relu5-1；当然，不限于此，可以根据需要进行设置，如3层、6层、8层等。超参数通过控制变量的方法进行多组对比实验调整获得。选取多组对比实验中效果最好的参数，本例中设置内容损失的权重为0.25，对抗损失的权重为0.25，纹理损失的权重设置为0.35，图像美学评分损失的权重设置为0.15；ε²取值为0，即不添加偏置。

步骤4：使用步骤1中预处理好的数据和步骤3定义的损失函数，来训练步骤2定义的网络模型，使用随机梯度下降的方法反向传播计算梯度并更新网络参数。

步骤5：将需要恢复清晰的图片先过边缘检测网络，再将输出与原始图片按照通道维度叠加，输入到上述步骤训练好的生成器中，得到高质量的清晰图片。

实验结果

方法	PSNR	SSIM
			Kim et al.	22.64	0.8239
Sun et al.	24.64	0.8429
			DeblurGAN	25.3616	0.7803
Our	26.0762	0.8031

如上表所示，将Kim et al.、Sun et al.、DeblurGAN三种公认的先进算法和本发明方法应用于GOPRO数据集对图片进行清晰化处理，通过对比，本发明方法在PSNR指标中达到了最优的效果，在SSIM指标上也可与最优方法相媲美，充分说明本发明方法的有效性。

为了说明本发明的内容及实施方法，本说明书给出了上述具体实施例。但是，本领域技术人员应理解，本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (3)

1.一种基于生成对抗网络改进的图片去模糊方法，其特征在于，包括以下步骤：

步骤一：处理训练数据：

获取模糊-清晰图片对，作为训练数据集，为了计算效率与满足网络输入格式的要求，将图片随机裁剪为224×224大小的图片，然后将模糊图片通过边缘检测网络得到的输出结果，按照通道维度与原模糊图片拼接，产生4通道模糊图片，将拼接后的4通道图片对作为训练样本；

步骤二：设计网络结构：

网络结构包括生成器与判别器，其中生成器由2次下采样、通道注意力模块、9个ResBlock残差块和2次上采样模块依次串联组成；模糊图片经生成器处理后得到生成图片，将该生成图片和输入的真实的清晰图片输入到判别器，即美学评分网络后得到美学评分损失，将美学评分损失进行损失融合后反馈回生成器进行参数调整，对生成器进行训练；

步骤三、设计损失函数：

网络的损失函数Loss包括四部分：内容损失函数，对抗损失函数，纹理损失函数，美学评分损失函数；训练中同时用到以上四种损失函数，表示如下：

Loss＝α₁L_content+α₂L_adv+α₃L_texture+α₄L_assessment；

其中,L_content表示内容损失，L_adv表示对抗损失，L_texture表示纹理损失，L_assessment表示美学评分损失，α₁、α₂、α₃和α₄分别表示内容损失、对抗损失、纹理损失和美学评分损失的权重，为超参数；

(1).内容损失表示如下：

其中，L表示VGG19网络的总层数，

是第l层的生成图片的特征图，I_l表示清晰图片在第l层的特征图，ε²是超参数；

(2).对抗损失表示如下：

其中，D表示判别器，

表示生成样本，P_g表示生成样本的分布函数，E表示生成样本的概率分布；

(3).纹理损失计算方式如下：

一，将生成的清晰图像与真实样本图像转换为张量，使用VGG19网络抽取不同尺度的特征，计算每个尺度特征的Gram矩阵，具体的公式如下：

其中，F表示图片经过VGG19网络提取后得到的特征图，

表示VGG19网络第l层中第k个位置上第i个卷积核的激活输出，/>

表示VGG19网络第l层中第k个位置上第j个卷积核的激活输出，特征图形状为批处理的大小batch,通道维度channel,高H,宽W,将特征图保持通道channel维度与batch维度不变，设此时的张量为A，A按照宽和高两个维度转置得到B，A与B的内积为这张特征图的Gram矩阵；其中K表示得到的特征图划分出的位置数量；i、j∈[0,K]；H,W分别表示特征图的长和宽；

二，基于上述Gram矩阵，获取真实样本和生成样本之间的差异E_l，通过将真实样本与生成样本各自得到的Gram矩阵作差后将各元素先计算平方再求和得到，具体计算公式如下：

其中G^l表示真实样本Gram矩阵，

表示生成样本Gram矩阵，M_l和N_l分别表示图像的长和宽；

三，得到真实样本与生成数据在VGG19网络第l层输出的差异之后，融合多层差异值，得到纹理损失L_texture，具体计算公式如下：

其中w是需要训练的参数；

(4).图像美学评分损失表示如下：

其中I_score表示原始清晰图片的美学评分，

表示生成图片的美学评分；

步骤四：用上述损失函数Loss训练步骤二设计好的网络模型，训练过程使用随机梯度下降法和小批量法；

步骤五：通过步骤四训练好的生成器G，输入模糊图片，生成清晰图片。

2.根据权利要求1所述的方法，其特征在于，所述α₁、α₂、α₃和α₄分别取值0.25、0.25、0.35和0.15。

3.根据权利要求1或2所述的方法，其特征在于，所述ε²取值为0。

Images