CN111340716A - 一种改进双重判别对抗网络模型的图像去模糊方法 - Google Patents
一种改进双重判别对抗网络模型的图像去模糊方法 Download PDFInfo
- Publication number
- CN111340716A CN111340716A CN201911145549.9A CN201911145549A CN111340716A CN 111340716 A CN111340716 A CN 111340716A CN 201911145549 A CN201911145549 A CN 201911145549A CN 111340716 A CN111340716 A CN 111340716A
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- discriminator
- blurred
- deblurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 14
- 238000011160 research Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 241001069925 Orestes Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种改进双重判别对抗网络模型的图像去模糊方法，包括如下步骤：步骤一：对模糊图像进行预处理，采用融合提取方法提取模糊图像的图像边缘；步骤二：利用所提取的图像边缘作为辅助信息，将模糊图像和提取的该图像边缘一并输入生成器中，生成去模糊图像；步骤三：将去模糊图像及其边缘图像、清晰图像及其边缘图像分别输入判别器网络，对判别器进行训练；步骤四：重复步骤二、三，直到判别器无法判断去模糊图像是否是由生成器生成，则生成器完成图像去模糊。通过本发明，可以实现显著图像去模糊效果。
Description
技术领域
本发明涉及图像处理领域，具体是一种改进双重判别对抗网络模型的图像去模糊方法。
背景技术
现实中，因拍照设备与拍摄物体无法保持相对静止而造成图像模糊。如何去除模糊获取清晰图像是图像识别与检测研究的重要内容之一。运动图像模糊可认为是一张清晰图像卷积上模糊核函数，再加上各种噪声而形成的。在图像去模糊研究中主要分为盲去模糊和非盲去模糊两大类，本研究主要涉及盲去模糊领域。
盲去模糊的方法分为估计模糊核和图像端到端去模糊两大类，通过求解出多个局部模糊核，利用相似性融合成一个全局模糊核来进行去模糊；通过加入边缘信息作为约束条件来估计模糊核，但是这些基于估计模糊核的方法容易受到噪声影响对于运动模糊的模糊核估计不精确导致振铃现象出现使去模糊效果不佳。因此，在能够降低复杂度的前提下，提高图像去模糊性能并抑制伪影和振铃现象的产生，成为当前端到端去模糊方法的难题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种改进双重判别对抗网络模型的图像去模糊方法，包括如下步骤：
步骤一：对模糊图像进行预处理，采用融合提取方法提取模糊图像的图像边缘；
步骤二：利用所提取的图像边缘作为辅助信息，将模糊图像和提取的该图像边缘一并输入生成器中，生成去模糊图像；
步骤三：将去模糊图像及其边缘图像、清晰图像及其边缘图像分别输入判别器网络，对判别器进行训练；
步骤四：重复步骤二、三，直到判别器无法判断去模糊图像是否是由生成器生成，则生成器完成图像去模糊。
进一步的，步骤一中的采用融合提取方法提取模糊图像的图像边缘包括如下过程，通过图像提取器对模糊图像使用引导滤波对模糊图像进行去噪处理，采用边缘提取算子的融合的边缘提取方法，通过将Sobel、Roberts、Prewitt和Canny 4个算子提取的的边缘通过加权融合最终得到显著边缘，其算法目标函数为：
α＝w1Es+w2ER+w3EP+w4Ec+w5
其中，Es，ER，EP，Ec分别表示Sobel、Roberts、Prewitt和Canny 4个算子，w5为修正项。
进一步的，步骤二中所述的生成器用于将模糊图和模糊图片的边缘图像作为输入，输出去模糊图像；所述的生成器的结构包括一次连接的两个1/2间隔的卷积块、9个残差块、两个反卷积块，9个残差块中每个残差快都包括了卷积层、Instance归一化层、Relu激活函数层，并在第一个卷积层后面添加概率为0.5的Dropout正则化。
进一步的，步骤三中的判别器包括真实图像判别器和边缘判别器，两个判别器的网络结构相同，其中，真实图像判别器训练数据为模糊图像对应的清晰图像，边缘判别器的训练样本是清晰图像经过边缘提取器提取到的边缘梯度图像。
进一步的，所述的真实图像判别器或边缘判别器的网络结构与PatchGAN的相同，包括5个模块，依次连接，除最后一个模块外，其余每一模块包含卷积块、Instance归一化层和LeakyReLU激活层，前面四个模块通过最后连接一个一维的全连接层和sigmoid，得到单个判别网络的输出；将两个判别器的输出作为输入再连接一个一维的全连接层和sigmoid得到最终输出。
进一步的，生成器与判别器联合训练的过程为：将模糊图像及通过边缘提取器所获得的边缘图像，一并输入生成器中，获得恢复的去模糊图像；将去模糊图像和清晰图像、去模糊图像的边缘图像和清晰图像的边缘图像分别送入真实图像判别器和边缘图像判别器中进行训练；当判别器无法区分图像是否为生成器生成图像时，则生成器生成的图像达到图像去模糊的结果。
进一步的，目标函数在计算损失函数和迭代训练的过程中会带来梯度消失，将目标函数改进为如下所示：
其中x～Px(x)表示清晰图像中的数据分布；
表示清晰图像的边缘图像数据分布z～Pz(z)表示模糊图像中的数据分布，
表示真实图像X和生成图像B中的采集数据样本连接中的一个随机样本，其中
表示真实边缘图像YX和生成边缘图像YB中的采集数据样本连接中的一个随机样本，其中
E表示数学期望，D1表示真实图像判别网络，D2表示边缘判别网络X是模糊图像；YX是清晰图像的边缘图像；Z是模糊图像；，YZ是取自模糊图像的边缘图像
本发明的有益效果是：通过对模糊图像进行预处理，提取图像边缘，利用所提取的图像边缘作为辅助信息，作用于生成器中进行模糊处理。同时，研究对判别器还进行了改进，采用双判别器结构，使用两个判别器分别对去模糊图像和从该图像中提取的边缘图像进行判别，当双判别器都认定通过后才认为达到去模糊效果。由于边缘提取采用融合提取算法，因此可提取到显著边缘，能够降低噪声干扰和抑制振铃现象产生，同时能减少模型复杂度因此使用双判别器能够很好的保证去模糊性能。结果表明，改进模型能够保证在较低模型复杂度的情况下，达到显著图像去模糊效果。
附图说明
图1为一种改进双重判别对抗网络模型的图像去模糊方法原理图；
图2为基于图像边缘的双重判别生成对抗神经网络框架图；
图3为生成器神经网络模型图；
图4为去模糊实验效果对比图；
图5为自身结构缺省实验去模糊实验效果对比图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，本研究以条件生成对抗神经网络为基准模型，在此基础上引入基于图像边缘双重判别器生成对抗神经网络，如图2所示。在训练模型中，将运动模糊图像Z及通过边缘提取器所获得的边缘图像YZ，一并输入生成器中，获得恢复的去模糊图像B。由于判别器网络采用双判别器结构，将去模糊图像B、清晰图像X及其边缘图像YB、YX分别送入真实图像判别器和边缘图像判别器中进行训练。
由于生成器和判别器在整个训练模型过程中是一个相互博弈的过程。其中，生成器的目的是生成图像，同时尝试欺骗判别器；判别器的目的是区分出生成图像和清晰图像，当判别器无法区分是否为生成器生成图像时，说明生成器生成的图像已经达到了去模糊的效果。
由于条件生成式对抗神经网络的判别器是将条件信息和生成图片信息同时输入到判别器网络并得出一个综合结果，此方式并不能严格约束生成器的去模糊的质量，本研究认为一个清晰图像除了图像本身清晰以外，该图像的边缘图像也应该清晰，由此将判别器改造为双判别器的结构，即分别对恢复图像和恢复图像提取的边缘图像进行独立评判，当两个判别器同时认定通过后才认为图像达到去模糊效果。且判别器和生成器同时进行训练，直到生成器和判别器达到平衡判别器无法区分清晰图像与生成图像为止。
由于原目标函数在计算损失函数和迭代训练的过程中会带来梯度消失，和训练缓慢的问题并由于研究对原来的CGAN的判别器部分进行了改进，将原来的一个判别网络修改成了两个判别网络，并采用WGAN-G的方法作为判别函数，所以原目标函数进行优化为
其中x～Px(x)表示清晰图像中的数据分布；
表示清晰图像的边缘图像数据分布z～Pz(z)表示模糊图像中的数据分布，
表示真实图像X和生成图像B中的采集数据样本连接中的一个随机样本，其中
表示真实边缘图像YX和生成边缘图像YB中的采集数据样本连接中的一个随机样本，其中
E表示数学期望，D1表示真实图像判别网络，D2表示边缘判别网络X是模糊图像；YX是清晰图像的边缘图像；Z是模糊图像；，YZ是取自模糊图像的边缘图像。
由于提取边缘图像作为条件生成对抗神经网络的辅助信息，引导生成器生成清晰图片。因此图像边缘提取的效果会直接影响模型的好坏，由此研究设计了一个图像提取器对图像提取边缘，由于在提取图像边缘中，图像的噪声会对图像边缘提取产生很大影响，因此边缘提取器中首先在对图像使用引导滤波对图像进行去噪处理，由于单一的边缘提取算子存在着各种各样的缺陷，如拉普拉斯算子和Canny容易受到图片噪声干扰，Sobel算子虽然能够有效抑制噪音，但是却容易产生伪边缘，Prewitt算子的边缘提取的准确度较低。为了更好的提取出显著边缘，研究采用了文献中所提到的边缘提取算子的融合的边缘提取算法，文献中的边缘检测算法通过将Sobel、Roberts、Prewitt和Canny 4个算子提取的的边缘通过加权融合最终得到显著边缘，其算法目标函数为：
α＝α＝w1Es+w2ER+w3EP+w4Ec+w5 (5)
其中，Es，ER，EP，Ec分别表示Sobel、Roberts、Prewitt和Canny 4个算子，w5为修正项。
为了降低图片噪声对于边缘提取的影响，研究在边缘提取前使用引导滤波对图像进行预处理对图像进行去噪处理。
由于编码器-解码器网络架构在计算机视觉领域的广泛应用，由此研究也采用类似的结构作为生成器的基础架构，生成器的目的在于将模糊图片Z和模糊图片的边缘图像YZ作为输入并输出去模糊图像B。
生成器网络模型如图3所示，生成器共由13块组成，其中包含两个
间隔的卷积块，以及9个残差块，和两个反卷积块，9个残差快中每个残差快都包括了卷积层、Instance归一化层、Relu激活函数层，并在第一个卷积层后面添加概率为0.5的Dropout正则化。此外，引入全局跳跃连接使生成器可从模糊图像学习到残差校正，使得模型训练更快、模型泛化能力更强。
双重判别器由真实图像判别器和边缘判别器两个判别器组成，两个判别器的网络结构一致，但是训练样本不同，真实图像判别器训练数据是模糊图像对应的清晰图像，边缘判别器的训练样本是清晰图像经过边缘提取器提取到的边缘梯度图像，研究特别在边缘提取器中先对清晰图像使用导滤波对图像进行预处理，并在提取完梯度边缘图像后对其进行边缘增强，这样能够增强判别器的判别能力并且提高判别器的鲁棒性。
判别器网络由于是具有梯度惩罚的Wasserstein GAN(也称WANP_GP)，所以其单个判别器的网络结构与PatchGAN的相同，总共包含五块，除最后一块外，其余每一块包含卷积块、Instance归一化层和LeakyReLU激活层，前面四块通过最后连接一个一维的全连接层和sigmoid，得到单个判别网络的输出。将两个判别器网络的输出作为输入再连接一个一维的全连接层和sigmoid得到最终输出。由于研究采用了WGAN-GP的方法作为判别函数，并使用了两个判别网络，因此总的对抗损失应该是分别计算两个判别器损失的权值和，所以对抗损失函数应该改写成如下式所示：
LGAN＝kLD1+wLD2
(6)
其中分别是LD1、LD2分别是真实图像判别网络与边缘判别网络的对抗损失；k、w是权重参数；B、YB分别代表恢复的清晰图像和恢复的清晰图像的边缘图像；
为了使生成图像B和清晰图像X在内容与结构上更为相似，因此研究引进了L2loss作为内容感知损失函数来表示生成图像B和清晰图像X之间的差异：
其中j代表第j层，CjHjWj代表第j层特征映射的大小，
代表第j层清晰图像的特征映射，
代表第j层生成图像的特征映射。
总损失函数由对抗损失、内容感知损失两部分加权组合而成其公式如式(10)所示.
L＝βLGAN+αLx
(10)
其中LGAN为对抗损失，β、α为权重参数，Lx为内容感知损失。
具体的，设计了两个不同的实验来，分别将本文算法与传统的前沿的端到端去模糊模型和自身结构缺省对比，以分别验证实验的去模糊效能和神经网络结构的有效性。为了验证模型去模糊的性能，本文采用三个评价指标：峰值信噪比(PSNR)、结构相似度(SSIM)、以及去模糊平均时间来评判模型去模糊性能。峰值信噪比(PSNR)和结构相似度(SSIM)的定义如下所示：
其中I是清晰图像，K是去模糊图像,m、n分别代表图像的长河宽，MAX1为图像最大像素值
其中x,y分别代表去模糊图像样本和清晰图像样本；μx、μy分别代表图像x,y的像素平均值；σx、σy分别代表图像x,y的像素值的标准差，σxy代表图像x,y像素值的协方差。
研究所有实验基于深度学习框架Pytorch实现的，使用的语言是python，实验的硬件配置分别是：CPU为Intel i9 9900k，GPU为11G内存的NVIDA GTX 1080TI。研究遵循WGAN-GP[16]中的训练策略，使用Adam的优化算法令beta_1＝0.92,beta_2＝0.999，生成器与判别器交叉训练，并先在判别器上执行5次梯度下降步骤，然后在生成器中执行一次。学习率初始设置为104并且在600个时期衰减到10-6。与各种CGAN类似，所有模型都以batch size＝1进行训练。除非另有说明，研究所有的实验都是在具有相同PC配置相同的数据集上训练的。
研究使用DeblurGAN[24]中所提及到的方法，在AI CHANLENGER 2018病虫害识别挑战赛所发布的病虫害数据的基础上对其中2000副清晰图像使用12种不同的模糊核进行模糊处理并随机加入方差＝0.0007、方差＝0.0003的高斯噪声以模仿真实的运动模糊，由此形成了具有2000个图像对的新数据集。
为了验证本文算法的先进性和有效性研究将本文算法与Orest Kupyn等人提出的deblurGAN的方法，与Shuai Zheng等人提出的边缘启发式GAN用于非均匀盲消模糊，
实验的评价指标采用提到的峰值信噪比(PSNR)和结构相似性(SSIM)两个作为评价指标。并且评测了本文算法与其他算法去模糊所花费的平均时间。其每种算法使用30张图，在同一条件下独立重复实验20次最后取其平均值作为最后的实验结果。其去模糊实验效果对比图如图5所示，评价指标表如表一所示，去模糊时间花费对比表如表二所示。
表一：测试集下评价指数平均值
从表一的结果可知本文算法的峰值信噪比(PSNR)和结构相似度(SSIM)比ShuaiZheng的峰值信噪比(PSNR)和结构相似度(SSIM)平均要高出6.9％和7.1％；比Orest Kupyn的峰值信噪比(PSNR)和结构相似度(SSIM)平均要高出8.5％和13.4％。说明本文算法的去模糊性能明显比其余算法好。
表二：测试集下平均去模糊花费时间
从表二的结果可知本文算法所用时间比Shuai Zheng多了4.3％比Orest Kupyn的方法少了2.7％；说明算法的去模糊时间花费并未明显增加。
与常规模型相比在本文模型中研究添加了边缘信息作为辅助信息以及使用了双判别器的结构并且在边缘提取中加入了图像预处理的工作来提高图像去模糊的性能。由于Shuai Zheng[8]等人的研究已经验证了将边缘信息作为辅助条件加入到生成器中能够有效提高模型去模糊的能力，所以本文不再重新实验证明，研究本实验中研究设计以下了三个基线模型来进行验证双判别器结构，以及对提取边缘图像前进行数据预处理的有效性，并且使用峰值信噪比(PSNR)和结构相似性(SSIM)两个作为评价指标。其中基线模型一即本文提出来的算法模型；基线模型二是在基线模型一的基础上保持其他结构不变使判别器网络使用传统CGAN的单判别器模型；基线模型三在基线模型一的基础上，在提取图像边缘前，去除掉对图像的预处理工作。
表三：测试集下评价指数平均值
| 评价指标/模型 | 模型三 | 模型二 | 模型一 |
| PSNR | 28.99 | 27.9 | 29.99 |
| SSIM | 0.865 | 0.803 | 0.916 |
从表三的结果可知本文算法的峰值信噪比(PSNR)和结构相似度(SSIM)比模型二的峰值信噪比(PSNR)和结构相似度(SSIM)平均要高出7％和14％；比模型三的峰值信噪比(PSNR)和结构相似度(SSIM)平均要高出3.4％和5.9％。说明本文算法的去模糊性能明显比其余算法好。
实验结果表明：本算法对比于模型二，在整体去模糊效果中具有双判别器结构的本文算法，其去模糊效能更好；本算法对比于模型三，具有数据预处理的本文算法在局部细节表现力相对于模型三其局部细节表现更突出。说明使用双判别器结构和对提取图像边缘前进行降噪的数据预处理操作均能够提高模型的图像去模糊能力。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (7)
1.一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，包括如下步骤：
步骤一：对模糊图像进行预处理，采用融合提取方法提取模糊图像的图像边缘；
步骤二：利用所提取的图像边缘作为辅助信息，将模糊图像和提取的该图像边缘一并输入生成器中，生成去模糊图像；
步骤三：将去模糊图像及其边缘图像、清晰图像及其边缘图像分别输入判别器网络，对判别器进行训练；
步骤四：重复步骤二、三，直到判别器无法判断去模糊图像是否是由生成器生成，则生成器完成图像去模糊。
2.根据权利要求1所述的一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，步骤一中的采用融合提取方法提取模糊图像的图像边缘包括如下过程，通过图像提取器对模糊图像使用引导滤波对模糊图像进行去噪处理，采用边缘提取算子的融合的边缘提取方法，通过将Sobel、Roberts、Prewitt和Canny 4个算子提取的的边缘通过加权融合最终得到显著边缘，其算法目标函数为：
α＝w1Es+w2ER+w3EP+w4Ec+w5
其中，Es，ER，EP，Ec分别表示Sobel、Roberts、Prewitt和Canny 4个算子，w5为修正项。
3.根据权利要求1所述的一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，步骤二中所述的生成器用于将模糊图和模糊图片的边缘图像作为输入，输出去模糊图像；所述的生成器的结构包括一次连接的两个1/2间隔的卷积块、9个残差块、两个反卷积块，9个残差块中每个残差快都包括了卷积层、Instance归一化层、Relu激活函数层，并在第一个卷积层后面添加概率为0.5的Dropout正则化。
4.根据权利要求1所述的一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，步骤三中的判别器包括真实图像判别器和边缘判别器，两个判别器的网络结构相同，其中，真实图像判别器训练数据为模糊图像对应的清晰图像，边缘判别器的训练样本是清晰图像经过边缘提取器提取到的边缘梯度图像。
5.根据权利要求4所述的一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，所述的真实图像判别器或边缘判别器的网络结构与PatchGAN的相同，包括5个模块，依次连接，除最后一个模块外，其余每一模块包含卷积块、Instance归一化层和LeakyReLU激活层，前面四个模块通过最后连接一个一维的全连接层和sigmoid，得到单个判别网络的输出；将两个判别器的输出作为输入再连接一个一维的全连接层和sigmoid得到最终输出。
6.根据权利要求1所述的一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，生成器与判别器联合训练的过程为：将模糊图像及通过边缘提取器所获得的边缘图像，一并输入生成器中，获得恢复的去模糊图像；将去模糊图像和清晰图像、去模糊图像的边缘图像和清晰图像的边缘图像分别送入真实图像判别器和边缘图像判别器中进行训练；当判别器无法区分图像是否为生成器生成图像时，则生成器生成的图像达到图像去模糊的结果。
7.根据权利要求1所述的一种改进双重判别对抗网络模型的图像去模糊方法，其特征在于，目标函数在计算损失函数和迭代训练的过程中会带来梯度消失，将目标函数改进为如下所示：
其中x～Px(x)表示清晰图像中的数据分布；
表示清晰图像的边缘图像数据分布z～Pz(Z)表示模糊图像中的数据分布，
表示真实图像X和生成图像B中的采集数据样本连接中的一个随机样本，其中
表示真实边缘图像YX和生成边缘图像YB中的采集数据样本连接中的一个随机样本，其中
E表示数学期望，D1表示真实图像判别网络，D2表示边缘判别网络X是模糊图像；YX是清晰图像的边缘图像；Z是模糊图像；，YZ是取自模糊图像的边缘图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911145549.9A CN111340716B (zh) | 2019-11-20 | 2019-11-20 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911145549.9A CN111340716B (zh) | 2019-11-20 | 2019-11-20 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340716A true CN111340716A (zh) | 2020-06-26 |
| CN111340716B CN111340716B (zh) | 2022-12-27 |
Family
ID=71185357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911145549.9A Active CN111340716B (zh) | 2019-11-20 | 2019-11-20 | 一种改进双重判别对抗网络模型的图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340716B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951192A (zh) * | 2020-08-18 | 2020-11-17 | 义乌清越光电科技有限公司 | 一种拍摄图像的处理方法及拍摄设备 |
| CN112102205A (zh) * | 2020-10-15 | 2020-12-18 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112257787A (zh) * | 2020-10-23 | 2021-01-22 | 天津大学 | 基于生成式双重条件对抗网络结构的图像半监督分类方法 |
| CN112488940A (zh) * | 2020-11-30 | 2021-03-12 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车部件图像边缘增强方法 |
| CN112541877A (zh) * | 2020-12-24 | 2021-03-23 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN112734678A (zh) * | 2021-01-22 | 2021-04-30 | 西华大学 | 基于深度残差收缩网络和生成对抗网络的去图像运动模糊 |
| CN113538263A (zh) * | 2021-06-28 | 2021-10-22 | 江苏威尔曼科技有限公司 | 基于改进DeblurGAN模型的去运动模糊方法、介质及设备 |
| CN114697709A (zh) * | 2020-12-25 | 2022-07-01 | 华为技术有限公司 | 视频传输方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050033139A1 (en) * | 2002-07-09 | 2005-02-10 | Deus Technologies, Llc | Adaptive segmentation of anatomic regions in medical images with fuzzy clustering |
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN108550118A (zh) * | 2018-03-22 | 2018-09-18 | 深圳大学 | 运动模糊图像的模糊处理方法、装置、设备及存储介质 |
| CN108734677A (zh) * | 2018-05-21 | 2018-11-02 | 南京大学 | 一种基于深度学习的盲去模糊方法及系统 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109523476A (zh) * | 2018-11-02 | 2019-03-26 | 武汉烽火众智数字技术有限责任公司 | 用于视频侦查的车牌去运动模糊方法 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
-
2019
- 2019-11-20 CN CN201911145549.9A patent/CN111340716B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050033139A1 (en) * | 2002-07-09 | 2005-02-10 | Deus Technologies, Llc | Adaptive segmentation of anatomic regions in medical images with fuzzy clustering |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN108550118A (zh) * | 2018-03-22 | 2018-09-18 | 深圳大学 | 运动模糊图像的模糊处理方法、装置、设备及存储介质 |
| CN108734677A (zh) * | 2018-05-21 | 2018-11-02 | 南京大学 | 一种基于深度学习的盲去模糊方法及系统 |
| CN109166102A (zh) * | 2018-07-24 | 2019-01-08 | 中国海洋大学 | 一种基于判别区域候选对抗网络的图像转图像翻译方法 |
| CN109523476A (zh) * | 2018-11-02 | 2019-03-26 | 武汉烽火众智数字技术有限责任公司 | 用于视频侦查的车牌去运动模糊方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
Non-Patent Citations (8)
| Title |
|---|
| ISHAAN GULRAJANI: "Improved Training of Wasserstein GANs", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30(NIPS 2017)》 * |
| SHUAI ZHENG: "Edge Heuristic GAN for Non-Uniform Blind Deblurring", 《IEEE SIGNAL PROCESSING LETTERS》 * |
| 刘晨: "边缘检测算子研究及其在医学图像中的应用", 《计算机技术与发展》 * |
| 刘桂雄等: "运动模糊图像复原技术研究进展与展望", 《激光杂志》 * |
| 刘鹏飞等: "多尺度卷积神经网络的噪声模糊图像盲复原", 《红外与激光工程》 * |
| 徐敏: "改进加权融合在消除图像拼接重影中的运用", 《软件工程》 * |
| 林凡强等: "基于生成对抗网络的QR码去模糊算法", 《包装工程》 * |
| 毛勇等: "基于深度学习的车牌图像去运动模糊技术", 《杭州电子科技大学学报(自然科学版)》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951192A (zh) * | 2020-08-18 | 2020-11-17 | 义乌清越光电科技有限公司 | 一种拍摄图像的处理方法及拍摄设备 |
| CN112102205A (zh) * | 2020-10-15 | 2020-12-18 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112102205B (zh) * | 2020-10-15 | 2024-02-09 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112257787A (zh) * | 2020-10-23 | 2021-01-22 | 天津大学 | 基于生成式双重条件对抗网络结构的图像半监督分类方法 |
| CN112488940A (zh) * | 2020-11-30 | 2021-03-12 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路机车部件图像边缘增强方法 |
| CN112541877A (zh) * | 2020-12-24 | 2021-03-23 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN112541877B (zh) * | 2020-12-24 | 2024-03-19 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN114697709A (zh) * | 2020-12-25 | 2022-07-01 | 华为技术有限公司 | 视频传输方法及装置 |
| CN112734678A (zh) * | 2021-01-22 | 2021-04-30 | 西华大学 | 基于深度残差收缩网络和生成对抗网络的去图像运动模糊 |
| CN112734678B (zh) * | 2021-01-22 | 2022-11-08 | 西华大学 | 基于深度残差收缩网络和生成对抗网络的去图像运动模糊方法 |
| CN113538263A (zh) * | 2021-06-28 | 2021-10-22 | 江苏威尔曼科技有限公司 | 基于改进DeblurGAN模型的去运动模糊方法、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340716B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
| CN112200750B (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
| CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| Fu et al. | Removing rain from single images via a deep detail network | |
| CN108921800B (zh) | 基于形状自适应搜索窗口的非局部均值去噪方法 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN108932699B (zh) | 基于变换域的三维匹配调和滤波图像去噪方法 | |
| CN110956632B (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| CN110992292A (zh) | 一种增强型低秩稀疏分解模型医学ct图像去噪方法 | |
| Smith et al. | Effect of pre-processing on binarization | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN112927137A (zh) | 一种用于获取盲超分辨率图像的方法、设备及存储介质 | |
| CN116309178A (zh) | 一种基于自适应注意力机制网络的可见光图像去噪方法 | |
| CN114862710A (zh) | 红外和可见光图像融合方法及装置 | |
| CN114283058A (zh) | 基于对抗网络和最大互信息优化的图像超分辨率重建方法 | |
| CN113450275A (zh) | 基于元学习的画质增强系统及方法、存储介质 | |
| CN112819739A (zh) | 一种扫描电子显微镜图像处理方法和系统 | |
| CN104966271B (zh) | 基于生物视觉感受野机制的图像去噪方法 | |
| Ma et al. | Edge-guided cnn for denoising images from portable ultrasound devices | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN111814682A (zh) | 人脸活体检测方法及装置 | |
| CN111553860B (zh) | 水色遥感影像的深度学习非邻域均值化处理方法及系统 | |
| Chen et al. | Blur kernel estimation of noisy-blurred image via dynamic structure prior | |
| Tao et al. | Radon transform-based motion blurred silkworm pupa image restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |