CN112541877B - 基于条件生成对抗网络的去模糊方法、系统、设备及介质 - Google Patents
基于条件生成对抗网络的去模糊方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN112541877B CN112541877B CN202011549596.2A CN202011549596A CN112541877B CN 112541877 B CN112541877 B CN 112541877B CN 202011549596 A CN202011549596 A CN 202011549596A CN 112541877 B CN112541877 B CN 112541877B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- feature
- inputting
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000010606 normalization Methods 0.000 claims abstract description 48
- 230000004913 activation Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 60
- 238000012216 screening Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008485 antagonism Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 241000512668 Eunectes Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于条件生成对抗网络的去模糊方法、系统、设备及介质，所述方法包括：构建生成对抗网络；获取模糊图像和清晰图像；将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；将处理结果输入多个Group‑SE模块中提取特征；将提取的特征输入反卷积层中进行上采样，得到模拟图像；以模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；利用训练好的生成对抗网络对待处理图像进行去模糊处理。本发明可以解决图像去模糊技术运用在人脸识别相关场景中准确率提升不明显等问题。
Description
技术领域
本发明涉及一种基于条件生成对抗网络的去模糊方法、系统、设备及介质，属于深度学习、计算机视觉和图像处理领域。
背景技术
尽管近几年计算机成像已经取得了巨大的进步，但对于处理捕获的运动模糊内容仍然是一个挑战。运动模糊是由传感器曝光期间场景中的物体或照相机的运动引起。除了明显降低图像的视觉质量外，模糊造成的失真会导致诸多计算机视觉任务的性能大幅下降(如人脸识别)。商业上有一些可用的相机，它们可以以高帧频捕获帧，从而减少模糊现象，但是这会使图像拥有更多噪声且相机价格很昂贵。
由于运动模糊本身的不适定性，它依然是计算机视觉中一个具有挑战性的问题。目前运用相对广泛的图像去模糊方法主要有以下两类：盲去模糊和非盲去模糊。非盲去模糊是当模糊核已知时，采取有针对性的反卷积操作获取清晰图像，因此模糊核估计的准确性就成了图像去模糊的关键。目前主流的模糊核估计方法大部分建立在概率先验模型之上。朝阳提出两阶段图像恢复方法，首先利用图像的稀疏性，在多尺度情况下估计模糊核，再结合非盲反卷积获取清晰图像。徐弦秋等提出利用模糊核对各个通道彩色分量图造成的差异性，对图像的RBG通道分别进行模糊核估计，此方法取得了不错的去模糊效果，但其运算较为复杂且运行速度缓慢。
随着人工智能的不断兴起，新兴的深度学习技术推动了图像修复任务的突破。在图像去模糊任务中，盲去模糊的方法越来越受到研究者的青睐。Nah等通过使用多尺度残差网络，以粗到细的方式聚合特征，直接对图像去模糊，避免了对模糊核进行估计；Ramakrishnan等结合使用pix2pix框架和稠密连接网络DenseNet执行图像无核盲去模糊；陈阳等提出一种基于自编码深度神经网络的方法，对输入图像中的模糊区域进行准确标记，并对这些区域进行去模糊处理，这能在保证图像不发生失真的同时有效去除局部模糊；Kupyn等针对运动模糊提出一种基于生成对抗网络的图像盲去模糊方法，将梯度惩罚和感知损失引入生成对抗神经网络，这不仅使图像保留了更多的纹理细节，运行效率也有大幅提高。Yan等采用数据驱动的先验鉴别并设计了基于半二次分裂法的图像盲去模糊算法；Tao等提出尺度循环网络(Scale-Recurrent Network，SRN)，将不同尺度上的权重共享用于图像去模糊；Dai等提出区域自适应稠密网络(Region-Adaptive Dense Network，RADN)，通过使用空间注意力来处理局部特征和在全卷积中嵌入DenseNet预训练层的方法，实现了高效的图像去运动模糊效果。
现有大部分基于深度神经网络的图像去运动模糊算法存在参数量众多，运用在一些人脸识别场景中，对识别准确率的提升微小或者对识别率产生负面影响的问题。
发明内容
有鉴于此，本发明提供了一种基于条件生成对抗网络的去模糊方法、系统、设备及介质，其可以解决图像去模糊技术运用在人脸识别相关场景中准确率提升不明显等问题。
本发明的第一个目的在于提供一种基于条件生成对抗网络的去模糊方法。
本发明的第二个目的在于提供一种基于条件生成对抗网络的去模糊系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于条件生成对抗网络的去模糊方法，所述方法包括：
构建生成对抗网络；
获取模糊图像和清晰图像；
将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
将处理结果输入多个Group-SE模块中提取特征；
将提取的特征输入反卷积层中进行上采样，得到模拟图像；
以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
利用训练好的生成对抗网络对待处理图像进行去模糊处理。
进一步的，每个Group-SE模块包括依次相连的第一卷积层、分组卷积层、第二激活函数层、第二特征归一化层、SE块、第二卷积层和特征融合层。
进一步的，所述SE块包括相连的特征筛选层和特征重标定层，其中特征筛选层包括依次相连的全局平均池化层、第一全连接层、第三特征归一化层、第二全连接层和Sigmoid函数层。
进一步的，所述第一激活函数层以及Group-SE模块的第二激活函数层中的激活函数均采用LeakyReLU函数，如下式：
所述生成器输出层的激活函数采用tanh函数。
进一步的，所述第一特征归一化层以及Group-SE模块的第二特征归一化层均采用组归一化。
进一步的，所述判别器包括DPN网络，所述DPN网络将ResNet的加和操作与DenseNet的拼接操作共同设计到神经网络中，包括多个DPN块，每个DPN块采用具有第一路径和第二路径的双路结构，其中第一路径整合特征采用加和操作，第二路径整合特征采用拼接操作；
将第一路径和第二路径中的特征拼接后进行整体的卷积操作，根据输入特征的比例进行拆分操作，得到两部分特征，将两部分特征分别输入对应的路径中进行操作。
进一步的，所述生成对抗网络的训练损失函数表达式如下：
Ltotal＝Lcont+λLadv
其中，Ltotal为总体损失，Lcont为内容损失，Ladv为对抗损失，λ为权重系数；
所述内容损失的表达式如下：
其中，Lmse为均方误差，为正则化项，w为特征权重，n为特征权重数量，β为正则项系数；
所述对抗损失的表达式如下：
其中，表示清晰图像数据分布的数学期望，/>表示模糊图像数据分布的数学期望，Is和Ib分别表示清晰图像和模糊图像，D(Is)表示Is被判定为清晰图像的概率，D(G(Ib))表示模糊图像Ib经生成器模拟得到的清晰图像被判定为清晰图像的概率。
进一步的，所述均差误差的表达式如下：
其中，W和H分别表示图像的宽和高，Is表示清晰图像，Ib表示模糊图像，表示生成器模拟得到的清晰图像，wG表示生成器的特征权重，x和y为对应像素位置坐标。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于条件生成对抗网络的去模糊系统，所述系统包括：
构建单元，用于构建生成对抗网络；
获取单元，用于获取模糊图像和清晰图像；
处理单元，用于将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
特征提取单元，用于将处理结果输入多个Group-SE模块中提取特征；
上采样单元，用于将提取的特征输入反卷积层中进行上采样，得到模拟图像；
输出单元，用于以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
迭代单元，用于通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
去模糊处理单元，用于利用训练好的生成对抗网络对待处理图像进行去模糊处理。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的去模糊方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的去模糊方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明的生成对抗网络中，生成器主要由Group-SE模块组成，将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理，将处理结果输入多个Group-SE模块中提取特征，将提取的特征输入反卷积层中进行上采样，得到模拟图像，通过将模拟图像作为负样本，清晰图像作为正样本，作为判别器的输入，通过迭代训练生成器和判别器的训练，得到训练好的生成对抗网络，可以解决图像去模糊技术运用在人脸识别相关场景中准确率提升不明显等问题。
2、本发明的Group-SE模块中，通过分组卷积层进行特征提取，不但可以保持原有标准卷积的效果，还能大幅减少计算量和参数量，同时在一定程度了也防止了过拟合现象的发生。
3、本发明的Group-SE模块中，通过SE块加入了通道之间关系信息，对特征的重要程度进行了重标定，通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，可以最大化利用有用特征，帮助模型提升特征提取能力。
4、本发明将结合了ResNet与DenseNet优势的改进DPN网络作为判别器，整个生成对抗网络在无监督学习下通过约束对抗损失迫使生成器模拟出更加清晰、高质量的图像。
5、本发明通过在生成对抗网络的训练过程中加入L2正则化的方式，可以在保持原有性能的基础上大幅降低模型的复杂度，使图像去模糊模型更加容易训练，防止出现过拟合现象的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于条件生成对抗网络的去模糊方法的流程图。
图2为本发明实施例1的生成对抗网络中生成器的结构图。
图3为本发明实施例1的生成对抗网络中判别器的结构图。
图4为本发明实施例1的Group-SE模块中的SE块的结构图。
图5为本发明实施例1的DPN网络的结构图。
图6为本发明实施例2的基于条件生成对抗网络的去模糊系统的结构框图。
图7为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种基于条件生成对抗网络的去模糊方法，该方法包括以下步骤：
S101、构建生成对抗网络。
生成对抗网络(Generative Adversarial Networks，GAN)包括生成器G和判别器D，生成器G的结构如图2所示，主要由32个Group-SE模块堆叠构成，生成器具体包括依次相连的输入层、第一标准卷积层、第一激活函数层、第一特征归一化(Activation andNormalization，AN)层、32个Group-SE模块、反卷积层(ConvTranspose)、第二标准卷积层和输出层，判别器D的结构如图3所示，包括DPN(Dual Path Network)网络，DPN网络包括多个DPN块，其中第一标准卷积层和第二标准卷积层为7x7标准卷积层，反卷积层为两个，用于将低分辨率图像上采样为高分辨率图像。
每个Group-SE模块主要由分组卷积(Group Convolu-tion，GConv)层和SE(Squeeze and Excitation，SE)块组成，每个Group-SE模块具体包括依次相连的第一卷积层、分组卷积层、第二激活函数层、第二特征归一化层、SE块、第二卷积层和特征融合层(Add)。
生成器的结构具体说明如下：
1)Group-SE模块中的第一卷积层和第二卷积层
第一卷积层和第二卷积层均为1x1卷积层，分别用于对特征的降维和升维，以降低模型的复杂度。
2)Group-SE模块中的分组卷积层为3x3分组卷积层
分组卷积顾名思义就是先对输入的特征图进行分组，再对每组分别进行卷积操作。它常用在轻量级的高效神经网络中，因为它可以用较少的运算量和参数量产生大量的特征图，而大量的特征图就意味着网络能够编码更多有用信息。假设某一层的输入特征图尺寸为C·H·W(分别为输入特征图数量、特征图高和宽)，输出特征图数量为N，卷积核边长为K，分成G组。
标准卷积：卷积核参数量为C·K·K·N。
分组卷积：将标准卷积分成G组，则每组的输入特征图数量为每组的输出特征图数量为/>卷积和总数依然为N，每组的卷积核数量为/>卷积核只与它同组的输入特征图进行卷积，所以卷积核参数量为/>
从上述对比可知，分组卷积的总参数量是标准卷积的本实施例中G取32。
将标准卷积进行分组可以减少层与层之间一些冗余的连接，起到了一定的剪枝作用，并且可以在网络训练过程中降低发生过拟合的风险。
本实施例在Group-SE模块中引入分组卷积用于降低模型参数量并且更好地提升模型性能。同时由生成器网络部分可知，本实施例只在3x3卷积中使用了分组的方法，原因是1x1卷积的作用是对前面层的输出特征做通道上的融合，如果加入分组，那么融合的输入就减少了许多，因此输出的多样性就得不到保证。
3)第一激活函数层和Group-SE模块中的第二激活函数层
在深度学习中，稀疏性一般是模型需要的属性之一，由于修正线性单元(Rectified Linear Unit，ReLU)不但具有计算效率高、运算简单等优势，同时，在模型训练过程中容易产生稀疏的梯度，因此ReLU函数常被用于各类深度学习算法。但是基于生成对抗网络本身相互对抗的特性，稀疏的梯度会妨碍生成对抗网络的训练，容易引起模式塌陷问题。
基于上述原因，本实施例的采用LeakyReLU函数来代替ReLU函数，LeakyReLU允许出现较小的负数激活值，从而放宽了稀疏性的限制，LeakyReLU函数的表达式如下所示，其中α取0.1。
同时，在生成器中，激活函数除了最后一层(即输出层)都使用LeakyReLU函数，即第一激活函数层和第二激活函数层中的激活函数均采用LeakyReLU函数，LeakyReLU函数为非线性激活函数，而最后一层的激活函数采用tanh函数，使用tanh函数的原因在于最后一层要输出图像，而图像的像数值是在0～255的取值范围。LeakyReLU的输出可能会很大，而tanh函数的输出是在-1～1之间，只要将tanh函数的输出加1再乘以127.5就可以得到0～255的像数值。使用有界激活允许模型更快地学会饱和覆盖训练分布的彩色空间。
4)第一特征归一化层和Group-SE模块中的第二特征归一化层
批量归一化(Batch Normalization，BN)是深度学习中常使用的归一化方法，BN通过计算一个批次中的均值和方差进行特征归一化。众多的实验证明，BN在提升训练收敛速度和设计更深模型上发挥了重大的作用。但是运用BN时，每个批次中过少的训练样本会导致模型性能的下降。因此，BN非常不适合用于硬件资源受限(如GPU显存不够大)的实验。
本实施例依据这一现象，第一特征归一化层和第二特征归一化层采用组归一化(Group Normalization，GN)来代替批量归一化，以帮助解决批量归一化在训练过程中过度依赖批次中样本数量的问题，组归一化将输入特征在通道维度上进行分组，然后计算每个组中特征的均值和方差来进行归一化操作，这有效减少了因为归一化操作对模型性能的负面影响。
因此，本实施例依据生成对抗网络的训练情况，采用可以放宽模型稀疏性限制的LeakyReLU函数以及可以降低对设备硬件要求的组归一化GN，以进一步提升网络性能。
5)Group-SE模块中的SE块
SE块的结构如图4所示，包括相连的特征筛选(Feature Selec-tion，FS)层和特征重标定(Scale)层，其中特征筛选层包括依次相连的全局平均池化(Golbal AveragePooling，GAP)层、第一全连接(Fully Connected，FC)层、第三特征归一化层、第二全连接层和Sigmoid函数层
SE块首先对输入特征图使用全局平均池化层进行压缩操作，得到通道级的全局特征，然后对全局特征进行激励操作，学习各个通道之间的关系；第一全连接层主要的目的是降维，这可以极大地减少参数量和计算量，本实施例的缩放因子取16，并将输出用非线性激活函数和特征归一化进行处理，以增强模型的非线性表达能力、加速模型收敛以及更好地拟合通道间复杂的相关性；第二全连接层属于扩张层，它的输出通道又回到了原来的输入的数量，为后面的权重归一化预先做准备；Sigmoid函数层对上一步的通道进行最后的筛选，获得0～1之间归一化的权重，即越是重要的通道，它的权重就越大。最后的特征重标定层为特征重标定，即将归一化后的权重加权到原先输入的每个通道的特征上，最终完成SE块对图像特征的筛选工作。
本质上SE块是一种带有注意机制的模块，这种注意机制可以让模型更加关注信息量大的通道特征，而抑制那些并不重要的通道特征，起到对特征重标定的作用；本实施例将SE块加入到生成器中，推动网络快速地寻找到模糊图像存在的潜在有效特征，帮助生成器模拟出欺骗判别器网络的“真”样本。
判别器的结构具体说明如下：
判别器使用结合了ResNet和DenseNet双重优势的DPN网络，ResNet通过加和操作(Add)实现了特征的再利用，但这不利于发掘新的特征；而DenseNet通过拼接(Concatenate)操作，实现了对新特征的发掘，但这又会产生过多的冗余连接，需要占用大量的显存，DPN将ResNet的加和操作与DenseNet的拼接操作共同设计到神经网络中，创造出了新的特征提取网络，使得模型对特征的利用更加充分，同时也降低了在训练过程中对硬件设备的要求。
DPN网络中的每个DPN块结构如图5所示，采用具有第一路径和第二路径的双路结构，其中第一路径整合特征采用加和操作，第二路径整合特征采用拼接操作；DPN块的运作流程为：将第一路径和第二路径中的特征拼接后进行整体的卷积操作，根据输入特征的比例进行拆分操作，得到两部分特征，将两部分特征分别输入对应的路径中进行操作；其中，卷积操作为用于降维的1x1卷积、3x3卷积、非线性激活、特征归一化和用于升维的1x1卷积。
本实施例根据实验本身的情况，采用LeakyReLU函数作为DPN的非线性激活函数，采用组归一化GN作为DPN的特征归一化方法，这使得整个生成对抗网络更加容易训练。采用DPN作为判别器，可以更好地指导生成器模拟清晰图像。
S102、获取模糊图像和清晰图像。
其中，模糊图像为未经处理的低分辨率图像，清晰图像为未经处理的高分辨率图像。
S103、将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理。
在将模糊图像送入判别器网络之前，对图像进行随机裁剪、水平翻转等数据增强方式充分增加训练样本量，以提高生成对抗网络的稳定性。
S104、将处理结果输入多个Group-SE模块中提取特征。
S105、将提取的特征输入反卷积层中进行上采样，得到模拟图像。
其中，模拟图像为通过反卷积层将低分辨率图像上采样后得到的高分辨率图像。
S106、以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果。
S107、通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡。
迭代训练生成器和判别器，即重复执行步骤S103～S106，在经过大量的迭代训练后，生成器会尽可能模拟产生以假乱真的样本，判别器则会拥有更加精准判别数据真伪的能力；最后，整个生成对抗网络将达到一个纳什均衡，即判别器对于生成器的模拟样本判别结果为正确率和错误率各占50％。
本实施例中将内容损失(Content loss)与对抗损失(Adversarial loss)的总和作为训练整个生成对抗网络的总体损失，即生成对抗网络的训练损失函数表达式如下：
Ltotal＝Lcont+λLadv (2)
其中，Ltotal为总体损失，Lcont为内容损失，Ladv为对抗损失，λ为权重系数，本实施例中λ＝1x10-4。
1)内容损失
本实施例采用带有L2正则项的像素均方误差(Mean Square Error，MSE)作为内容损失部分，内容损失的表达式如下：
其中，Lmse为均方误差，为正则化项，w为特征权重，n为特征权重数量，β为正则项系数，本实施例中β＝4x10-4。
在算法中采用均差误差作为内容损失的一部分，用于计算由生成器模拟的图像与目标图像对应像素间的欧几里得距离。通过使用均差误差训练得到的模型，其模拟的图像在细节上更加接近真实图像。
目前，均差误差被广泛运用在图像去模糊、超分辨率图像重构等模型的训练中。均差误差具体表达式如下所示：
均差误差的表达式如下：
其中，W和H分别表示图像的宽和高，Is表示清晰图像，Ib表示模糊图像，表示生成器模拟得到的清晰图像，wG表示生成器的特征权重，x和y为对应像素位置坐标。
为防止模型与训练集中的数据过拟合，本实施例在内容损失中加入L2正则项，通过降低模型的复杂度来防止过拟合现象的发生，内容损失的表达式将正则化定义为所有特征权重w的平方，即其中w＝{w1，w2，…，wn}，n为特征权重的数量。L2越小，|w1|，|w2|，…，|wn|整体就越小，则模型的复杂度就越小，所以将原来以最小化损失为目标：
min(Loss(Data|Model)) (5)
转变为以最小化损失和复杂度为目标：
min(Loss(Data|Model)+Complexity(Model))(6)
其中，min为最小化操作，Data为模型需要拟合的数据，Model为需要训练的模型，Loss(Data|Model)为损失项，用来衡量模型与数据的拟合度；Complexity(Model)为正则化项，用于衡量模型的复杂度。
2)对抗损失
基于生成对抗网络互相对抗的原理，本实施例将由Group-SE模块组成的网络作为生成器，将结合了ResNet与DenseNet优势的改进DPN网络作为判别器，整个网络在无监督学习下通过约束对抗损失迫使生成器模拟出更加清晰、高质量的图像，具体对抗损失表达式如下式所示，在训练过程中，生成器尝试去最小化对抗损失Ladv，而判别器则竭尽所能最大化Ladv，如下式：
其中，表示清晰图像数据分布的数学期望，/>表示模糊图像数据分布的数学期望，Is和Ib分别表示清晰图像和模糊图像，D(Is)表示Is被判定为清晰图像的概率，D(G(Ib))表示模糊图像Ib经生成器模拟得到的清晰图像被判定为清晰图像的概率。
S108、利用训练好的生成对抗网络对待处理图像进行去模糊处理。
上述步骤S101～S107为离线阶段，即训练阶段，而步骤S108为在线阶段，即应用阶段。可以理解，上述步骤S101～S107在一台计算机设备(如计算机等)完成，可以在该计算机设备上进入步骤S107的应用阶段，也可以将该台计算机设备训练好的生成对抗网络植入其他的计算机设备(如手机、平板电脑等移动设备，或是内存较小的设备)，在其他的计算机设备上进入步骤S108的应用阶段。
本实施例的步骤S101～S107均在Window8.1操作系统上进行，使用Anaconda下基于Python语言的PyCharm解释器，深度学习框架为MXNet，计算机CPU为ADM Ryzen7 2700X，GPU使用的是NVIDIA RTX 2080，生成对抗网络总共训练400个周期，采用带有动量momentum的SGD算法优化器，momentum＝0.9。本实施例训练时每一批次的图片数量为8张，初始学习率为0.001，每经过100个周期，学习率下降90％。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图6所示，本实施例提供了一种基于条件生成对抗网络的去模糊系统，该系统包括构建单元601、获取单元602、处理单元603、特征提取单元604、上采样单元605、输出单元606、迭代单元607和去模糊处理单元608，各个单元的具体功能如下：
构建单元601，用于构建生成对抗网络。
获取单元602，用于获取模糊图像和清晰图像。
处理单元603，用于将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理。
特征提取单元604，用于将处理结果输入多个Group-SE模块中提取特征。
上采样单元605，用于将提取的特征输入反卷积层中进行上采样，得到模拟图像。
输出单元606，用于以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果。
迭代单元607，用于通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡。
去模糊处理单元607，用于利用训练好的生成对抗网络对待处理图像进行去模糊处理。
本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图7所示，其通过系统总线701连接的处理器702、存储器、输入装置703、显示器704和网络接口705，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质706和内存储器707，该非易失性存储介质706存储有操作系统、计算机程序和数据库，该内存储器707为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器702执行存储器存储的计算机程序时，实现上述实施例1的去模糊方法，如下：
构建生成对抗网络；
获取模糊图像和清晰图像；
将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
将处理结果输入多个Group-SE模块中提取特征；
将提取的特征输入反卷积层中进行上采样，得到模拟图像；
以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
利用训练好的生成对抗网络对待处理图像进行去模糊处理。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的去模糊方法，如下：
构建生成对抗网络；
获取模糊图像和清晰图像；
将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
将处理结果输入多个Group-SE模块中提取特征；
将提取的特征输入反卷积层中进行上采样，得到模拟图像；
以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
利用训练好的生成对抗网络对待处理图像进行去模糊处理。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明的生成对抗网络中，生成器主要由Group-SE模块组成，将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理，将处理结果输入多个Group-SE模块中提取特征，将提取的特征输入反卷积层中进行上采样，得到模拟图像，通过将模拟图像作为负样本，清晰图像作为正样本，作为判别器的输入，通过迭代训练生成器和判别器的训练，得到训练好的生成对抗网络，可以解决图像去模糊技术运用在人脸识别相关场景中准确率提升不明显等问题。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (6)
1.一种基于条件生成对抗网络的去模糊方法，其特征在于，所述方法包括：
构建生成对抗网络；
获取模糊图像和清晰图像；
将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
将处理结果输入多个Group-SE模块中提取特征；
将提取的特征输入反卷积层中进行上采样，得到模拟图像；
以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
利用训练好的生成对抗网络对待处理图像进行去模糊处理；
其中，每个Group-SE模块包括依次相连的第一卷积层、分组卷积层、第二激活函数层、第二特征归一化层、SE块、第二卷积层和特征融合层；
所述分组卷积层用于先对输入的特征图进行分组，再对每组分别进行卷积操作；
所述SE块包括相连的特征筛选层和特征重标定层，其中特征筛选层包括依次相连的全局平均池化层、第一全连接层、第三特征归一化层、第二全连接层和Sigmoid函数层；所述SE块首先对输入的特征图使用全局平均池化层进行压缩操作，得到通道级的全局特征，然后对全局特征进行激励操作，学习各个通道之间的关系；通过第一全连接层进行降维，并将输出用非线性激活函数和特征归一化进行处理；通过第二全连接层为后续的权重归一化预先做准备；通过Sigmoid函数层对上一步的通道进行最后的筛选，获得0～1之间归一化的权重；通过特征重标定层将归一化后的权重加权到原先输入的每个通道的特征上，以完成SE块对图像特征的筛选工作；
所述判别器包括DPN网络，所述DPN网络将ResNet的加和操作与DenseNet的拼接操作共同设计到神经网络中，包括多个DPN块，每个DPN块采用具有第一路径和第二路径的双路结构，其中第一路径整合特征采用加和操作，第二路径整合特征采用拼接操作；
所述DPN块的运作流程为：将第一路径和第二路径中的特征拼接后进行整体的卷积操作，根据输入特征的比例进行拆分操作，得到两部分特征，将两部分特征分别输入对应的路径中进行操作；
所述生成对抗网络的训练损失函数表达式如下：
Ltotal＝Lcont+λLadv
其中，Ltotal为总体损失，Lcont为内容损失，Ladv为对抗损失，λ为权重系数；
所述内容损失的表达式如下：
其中，Lmse为均方误差，为正则化项，w为特征权重，n为特征权重数量，β为正则项系数；
所述对抗损失的表达式如下：
其中，表示清晰图像数据分布的数学期望，/>表示模糊图像数据分布的数学期望，Is和Ib分别表示清晰图像和模糊图像，D(Is)表示清晰图像Is被判定为清晰图像的概率，D(G(Ib))表示模糊图像Ib经生成器模拟得到的清晰图像被判定为清晰图像的概率。
2.根据权利要求1所述的基于条件生成对抗网络的去模糊方法，其特征在于，所述第一激活函数层以及Group-SE模块的第二激活函数层中的激活函数均采用LeakyReLU函数，如下式：
所述生成器输出层的激活函数采用tanh函数。
3.根据权利要求1所述的基于条件生成对抗网络的去模糊方法，其特征在于，所述第一特征归一化层以及Group-SE模块的第二特征归一化层均采用组归一化。
4.一种基于条件生成对抗网络的去模糊系统，用于实现如权利要求1所述的基于条件生成对抗网络的去模糊方法，其特征在于，所述系统包括：
构建单元，用于构建生成对抗网络；
获取单元，用于获取模糊图像和清晰图像；
处理单元，用于将模糊图像输入生成器的输入层，依次经过标准卷积层、第一激活函数层和第一特征归一化层进行处理；
特征提取单元，用于将处理结果输入多个Group-SE模块中提取特征；
上采样单元，用于将提取的特征输入反卷积层中进行上采样，得到模拟图像；
输出单元，用于以生成器得到的模拟图像作为负样本，以清晰图像作为正样本，将负样本和正样本输入判别器中进行判别，输出清晰图像的真假判别结果；
迭代单元，用于通过迭代训练生成器和判别器，直到生成对抗网络达到纳什均衡；
去模糊处理单元，用于利用训练好的生成对抗网络对待处理图像进行去模糊处理。
5.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-3任一项所述的基于条件生成对抗网络的去模糊方法。
6.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-3任一项所述的基于条件生成对抗网络的去模糊方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011549596.2A CN112541877B (zh) | 2020-12-24 | 2020-12-24 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011549596.2A CN112541877B (zh) | 2020-12-24 | 2020-12-24 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541877A CN112541877A (zh) | 2021-03-23 |
| CN112541877B true CN112541877B (zh) | 2024-03-19 |
Family
ID=75017385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011549596.2A Active CN112541877B (zh) | 2020-12-24 | 2020-12-24 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541877B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435243A (zh) * | 2021-05-14 | 2021-09-24 | 西安电子科技大学 | 一种高光谱真实下采样模糊核估计方法 |
| CN113362239A (zh) * | 2021-05-31 | 2021-09-07 | 西南科技大学 | 一种基于特征交互的深度学习图像修复方法 |
| CN114783020A (zh) * | 2022-04-03 | 2022-07-22 | 南京邮电大学 | 基于新型对抗学习去模糊理论的动态人脸识别方法 |
| CN115131210B (zh) * | 2022-06-28 | 2023-06-27 | 闽江学院 | 基于精准核估计的交替优化图像盲超分辨率重建方法 |
| CN115860054B (zh) * | 2022-07-21 | 2023-09-26 | 广州工商学院 | 基于生成对抗网络的稀疏码本多址编解码系统 |
| CN116205822B (zh) * | 2023-04-27 | 2023-10-03 | 荣耀终端有限公司 | 一种图像处理的方法、电子设备和计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN110992275A (zh) * | 2019-11-18 | 2020-04-10 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
| CN111047543A (zh) * | 2019-12-31 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置和存储介质 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111340716A (zh) * | 2019-11-20 | 2020-06-26 | 电子科技大学成都学院 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
| CN111489304A (zh) * | 2020-03-27 | 2020-08-04 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
| CN111815529A (zh) * | 2020-06-30 | 2020-10-23 | 上海电力大学 | 一种基于模型融合和数据增强的低质图像分类增强方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10698063B2 (en) * | 2017-11-01 | 2020-06-30 | Siemens Healthcare Gmbh | Motion artifact reduction of magnetic resonance images with an adversarial trained network |
| US11403735B2 (en) * | 2018-01-25 | 2022-08-02 | King Abdullah University Of Science And Technology | Deep-learning based structure reconstruction method and apparatus |
-
2020
- 2020-12-24 CN CN202011549596.2A patent/CN112541877B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN110992275A (zh) * | 2019-11-18 | 2020-04-10 | 天津大学 | 一种基于生成对抗网络的细化单幅图像去雨方法 |
| CN111340716A (zh) * | 2019-11-20 | 2020-06-26 | 电子科技大学成都学院 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
| CN111047543A (zh) * | 2019-12-31 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置和存储介质 |
| CN111489304A (zh) * | 2020-03-27 | 2020-08-04 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
| CN111815529A (zh) * | 2020-06-30 | 2020-10-23 | 上海电力大学 | 一种基于模型融合和数据增强的低质图像分类增强方法 |
Non-Patent Citations (5)
| Title |
|---|
| A Novel Method for the Deblurring of Photogrammetric Images Using Conditional Generative Adversarial Networks;Pawel Burdziakowski et al.;《Remote Sensing》;20200810;第12卷(第16期);全文 * |
| DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks;Orest Kupyn et al.;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181216;全文 * |
| Single Image Dehazing Based on Enhanced Generative Adversarial Network;Kanghui Zhao et al.;《2020 5th International Conference on Control, Robotics and Cybernetics (CRC)》;20201112;全文 * |
| 密集连接卷积网络图像去模糊;吴迪 等;《中国图象图形学报》;20200531;第25卷(第05期);全文 * |
| 采用双框架生成对抗网络的图像运动模糊盲去除;罗琪彬 等;《图学学报》;20191231;第40卷(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541877A (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| Lim et al. | DSLR: Deep stacked Laplacian restorer for low-light image enhancement | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Gurrola-Ramos et al. | A residual dense u-net neural network for image denoising | |
| US20210350168A1 (en) | Image segmentation method and image processing apparatus | |
| Ma et al. | Efficient and fast real-world noisy image denoising by combining pyramid neural network and two-pathway unscented Kalman filter | |
| WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
| CN115442515A (zh) | 图像处理方法和设备 | |
| CN111861894B (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
| EP4163832A1 (en) | Neural network training method and apparatus, and image processing method and apparatus | |
| CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
| CN111402146A (zh) | 图像处理方法以及图像处理装置 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN112598597A (zh) | 一种降噪模型的训练方法及相关装置 | |
| US11915383B2 (en) | Methods and systems for high definition image manipulation with neural networks | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| WO2022100490A1 (en) | Methods and systems for deblurring blurry images | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN113673545A (zh) | 光流估计方法、相关装置、设备及计算机可读存储介质 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
| CN115035011A (zh) | 一种融合策略下自适应RetinexNet的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |