CN110223259A - 一种基于生成式对抗网络的道路交通模糊图像增强方法 - Google Patents

一种基于生成式对抗网络的道路交通模糊图像增强方法 Download PDF

Info

Publication number
CN110223259A
CN110223259A CN201910513691.8A CN201910513691A CN110223259A CN 110223259 A CN110223259 A CN 110223259A CN 201910513691 A CN201910513691 A CN 201910513691A CN 110223259 A CN110223259 A CN 110223259A
Authority
CN
China
Prior art keywords
network
convolution
image
road traffic
production confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910513691.8A
Other languages
English (en)
Inventor
曹锦纲
李金华
郑顾平
杨国田
杨锡运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201910513691.8A priority Critical patent/CN110223259A/zh
Publication of CN110223259A publication Critical patent/CN110223259A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于生成式对抗网络的道路交通模糊图像增强方法,包含基于生成式对抗网络的多尺度提取图像特征值进行多路径学习的模型，该模型设有生成网络和判别网络，首先将模糊图像输入生成网络然后生成清晰的图像，并将生成的清晰图像及原清晰图像输入给判别网络，然后将判别网络的输出值再利用损失函数反向传播给判别网络和生成网络，以此进行不断对抗训练且优化，直至判别网络无法区分清晰图像及原清晰图像。其具有多尺度卷积核的神经网络进行更细致地特征值提取；并将局部残差学习和全局残差学习相结合，采用多路径多权重共享的递归学习，该模型可以有效地提高道路交通场景下的运动模糊图像增强，生成图像的细节更加丰富，具有较好的图像视觉效果。

Description

一种基于生成式对抗网络的道路交通模糊图像增强方法
技术领域
本发明涉智能交通领域，尤指一种基于生成式对抗网络的道路交通模糊图像增强方法。
背景技术
随着科技的飞速发展，当今社会已迎来新的智能时代，智能交通系统为智能城市的发展创造了重要条件，智能交通系统的道路交通信息来源于拍摄设备上传的道路交通图片。由于拍摄设备抖动或是车辆在行驶的过程中采集到的图像会有不同程度的运动模糊，这给道路交通管理带来了极大的不便。
而传统方法去模糊方法涉及到启发式参数调整和复杂计算，而且真实情况下的模糊要比建模复杂得多，同时对于运动离焦模糊，效果不是很好。为了提高道路交通模糊图像增强的质量，进一步促进道路交通管理，针对道路交通场景下的运动模糊图像增强，发明人提出了一种基于生成式对抗网络的多尺度提取图像特征值进行多路径学习的模型。
目前，生成式对抗网络(Generative Adversarial Network,GAN)是由Goodfellow等人于2014年设计的一种生成式模型，其核心思想是二人零和博弈，生成式对抗网络模型是由一个生成网络G和一个判别网络D组成。生成网络G是通过不断学习真实数据的概率分布，利用学习到的分布模型生成新的数据。判别网络D的作用是将真实数据与生成网络G生成的数据区别开。判别网络能使生成网络在没有较多的图像先验知识的情况下仍然可以很好地去学习真实数据，生成网络与判别网络进行对抗训练相互进行参数优化，提高各自的生成和判别能力，最终使通过生成网络生成的数据可以达到与真实数据十分相近。
其中，生成式对抗网络原始模型框架如图1所示，其展示了最基本的GAN结构图。其主要机理是将随机噪声向量z输入生成网络G，输出G(z)，当输入判别网络D的数据为真实数据x时，D输出1，当输入判别网络D的数据为G(z)时，D输出0。判别网络的输出值利用损失函数反向传播给判别网络和生成网络，使生成网络和判别网络进行对抗训练，网络对抗训练的目的是为使G(z)接近真实数据分布Pdate。借此，经过不断对抗训练且优化，当D最终无法判别数据来源时，则可认为生成网络已学到真实数据分布。
因此，发明人意欲借助该生成式对抗网络思想的启发，提出一种基于生成式对抗网络的多尺度提取图像特征值进行多路径学习的模型，以期能有效地提高道路交通场景下的运动模糊图像增强，使得生成的图像细节更加丰富，能具有较好的图像视觉效果。
发明内容
为解决上述问题，本发明主要目的在于，提供一种有效地提高道路交通场景下的运动模糊图像增强，生成图像的细节更加丰富，具有较好的图像视觉效果的道路交通模糊图像增强方法。
为此，本发明采用了如下技术方案：一种基于生成式对抗网络的道路交通模糊图像增强方法,该方法包含基于生成式对抗网络的多尺度提取图像特征值进行多路径学习的模型，该模型设有生成网络和判别网络，首先将模糊图像输入生成网络然后生成清晰的图像，并将生成的清晰图像及原清晰图像输入给判别网络，然后将判别网络的输出值再利用损失函数反向传播给判别网络和生成网络，以此进行不断对抗训练且优化，直至判别网络无法区分清晰图像及原清晰图像。
较佳的，该方法包含步骤：
(1)将原清晰图片作为判别网络的输入，训练判别网络参数，每循环预定次数训练保存一次参数；
(2)将模糊图片作为生成网络的输入，得到生成网络生成的清晰图像，再使用生成得到的清晰图像作为判别网络的输入，训练判别网络，每循环预定次数训练保存一次参数；
(3)固定判别网络，不使判别网络的参数更新，使用损失函数训练生成网络，每循环预定次数训练保存一次参数；
(4)重复以上三步，直到生成网络可以生成判别网络分辨不出的图像；
(5)模型训练结束后，将模糊图片输入生成网络，即可得到对应的清晰图片。其中预定次数可选为5次既兼顾效率又考虑效果。
进一步，较佳的是所述生成网络是可采用多尺度卷积核神经网络来进行特征值提取，并且所述生成网络可采用多路径模式的局部残差学习与全局残差学习相结合，进行多权重的递归学习。其目的在于获得图像在不同尺度下采集到的不同类型的特征信息，因而能提取到更加丰富和细腻的特征信息。而多路径模式下的局部与全局学习相结合，采用多权重的递归学习，以实现各卷积层的参数共享，深浅层特征融合，采用残差学习，提高了网络的性能。这些都有利于使模糊增强图片的更加清晰和细节丰富。
较佳的，其具体实现包括：所述生成网络包含一个卷积核尺寸为7*7*64的卷积，步长为1，多尺度卷积的卷积核尺寸分别为5*5*64、3*3*64、1*1*64，步长为1，卷积融合后进行instanceNorm和relu处理，之后进行卷积核尺寸为3*3*128、3*3*256的卷积处理，步长为2，每步卷积跟随instanceNorm和relu处理，随后进入步长为1、卷积核为3*3*256的多路径模式的局部残差学习与全局残差学习，每步卷积跟随instanceNorm和relu处理，经过循环学习数次后，进行两次步长为2、卷积核为3*3*128和3*3*64的反卷积操作，每步反卷积跟随instanceNorm和relu处理，最后进行一次卷积核为7*7*64的卷积和tanh操作；其中，conv、instanceNorm和convtranspose分别代表卷积层、归一化0和反卷积层，tanh和relu是激活函数。
其中，所述判别网络：其每次只输入N*N个像素点，然后让判别器对这N*N个像素点判断其是否为真，得到每个N*N框的判别器输出值，然后将这些输出值进行平均得到最后判别器的输出结果。
其实现步骤为所述判别器是将生成网络生成的清晰图片和原清晰图片输入判别网络结构，先进行步长为2、卷积核为4*4*64的卷积，跟随relu处理，之后依次经过步长为2、卷积核为4*4*128、4*4*256、4*4*384的卷积，再进行一个步长为1、卷积核为4*4*384的卷积，每步卷积跟随instanceNorm和relu处理，接着经过步长为1、卷积核为4*4*1的一次卷积，经flatten、全连接、tanh、全连接、sigmoid操作后产生0～1之间的值。
较佳的所述损失函数可由对抗网络损失Ladv和感知损失LC构成。其采用的是WGAN-GP中的对抗网络损失，对每个样本独立地施加梯度惩罚
所述抗网络损失Ladv和感知损失Lc可表示为：
式中的为在z和x之间随机插值取样，λ取值为10；
该模型的总体损失函数为式：
Lloss＝Ladv+βLc (3)
其中β为权重系数。
其中学习率α可定为0.0001，β1＝0，β2＝0.9。可采用道路交通图像作为直接输入，每50对图片为一次训练，设置的最大迭代次数为1000，使用的峰值信噪比(PSNR)和结构相似度(SSIM)数据取的是全部测试图片的平均值。
本发明有益效果在于，借助上述技术方案，利用本创新设计实现了对道路交通场景下的运动模糊图像增强，所设计的模型中首先选用了具有多尺度卷积核的神经网络，对输入的图像进行更细致地特征值提取；其次，将局部残差学习和全局残差学习相结合，采用多路径多权重共享的递归学习，并利用判别网络和生成网络间的对抗训练优化网络参数；最后，实现端到端地直接生成图像。相比其他算法，本发明提出的模型可以有效地提高道路交通场景下的运动模糊图像增强，生成图像的细节更加丰富，具有较好的图像视觉效果。
附图说明
图1为生成式对抗网络原始模型框架；
图2本发明的基于生成式对抗网络的道路交通模糊图像增强方法中的模型整体框架示意图；
图3本发明的基于生成式对抗网络的道路交通模糊图像增强方法的生成网络框架图及其B部分的组构示意图；
图4本发明的基于生成式对抗网络的道路交通模糊图像增强方法的判别网络框架结构图；
图5(a)-(e)为本发明具体实施例的实验结果对比图。
其中：
图5中：(a)原始清晰图(b)模糊图(c)本文提出的模型(d)sun算法(e)Kupyn算法；图1及图2中：G生成网络、D判别网络，图3中：A多尺度神经网络，B多路径模式下的学习架构。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。
本发明的技术构思在于，受上述生成式对抗网络思想的启发，发明人提出了一种基于生成式对抗网络的多尺度提取图像特征值进行多路径学习的模型，如图2所示，为本发明的模型整体框架示意图。其同样设有生成网络G和判别网络D，首先将模糊图像输入生成网络G然后生成清晰的图像，并将生成的清晰图像及原清晰图像输入给判别网络D，然后将判别网络D的输出值再利用损失函数反向传播给判别网络D和生成网络G，以此进行不断对抗训练且优化，直至判别网络D无法区分清晰图像及原清晰图像，此时可认为生成网络G的生成模型已经可以真实还原模糊图像了。
以下实施例用于说明本发明，但不用来限制本发明的范围。
如图3所示，为本发明的一种基于生成式对抗网络的道路交通模糊图像增强方法的系统架构，其是该系统在该具体实施例中的生成网络框架图及B部分的组构示意图。其中，A部分为多尺度神经网络单元，B部分为多路径模式下的学习单元，IN为instanceNorm的缩写。
在该具体实施例中，采用了的一种基于生成式对抗网络的道路交通模糊图像增强方法的模型作为进行多路径学习的模型。
其个组成部分详述如下：
1、生成网络G；
为了能更好地提取出图像数据信息，相对于现有的技术，本发明的采用的生成网络，主要有如下两点改进：
一是采用了多尺度卷积核神经网络来进行特征值提取；
二是引入多路径模式的局部残差学习与全局残差学习相结合，进行多权重的递归学习。
利用多尺度卷积核提取特征的本质是使用大小不同尺寸的卷积核对图像进行卷积操作，从而获得图像在不同尺度下采集到的不同类型的特征信息，因而能提取到更加丰富和细腻的特征信息。
而多路径模式下的的局部与全局学习相结合，由于采用了多权重的递归学习，实现各卷积层的参数共享，及深浅层特征融合，采用了残差学习，提高了网络的性能。这些技术特征都有利于使模糊增强图片的更加清晰和细节丰富。
请参见图3，在图3的本发明提出的生成网络框架图中，A框内部分为多尺度神经网络，B部分为多路径模式下的学习，IN为instanceNorm的缩写。
其中，conv、instanceNorm和convtranspose分别代表卷积层(提取特征)、归一化(据变成(0,1)或者(1,1)之间的小数)0和反卷积层(还原特征图的尺寸大小)。tanh和relu是激活函数(将输入信号转换成一个输出信号)。本发明提出的生成网络框架图包含一个卷积核尺寸为7*7*64的卷积，步长为1，多尺度卷积的卷积核尺寸分别为5*5*64、3*3*64、1*1*64，步长为1，卷积融合后进行instanceNorm和relu处理，之后进行卷积核尺寸为3*3*128、3*3*256的卷积处理，步长为2，每步卷积跟随instanceNorm和relu处理，随后进入步长为1、卷积核为3*3*256的多路径模式的局部残差学习与全局残差学习，每步卷积跟随instanceNorm和relu处理，经过循环学习5次后，进行两次步长为2、卷积核为3*3*128和3*3*64的反卷积操作，每步反卷积跟随instanceNorm和relu处理，最后进行一次卷积核为7*7*64的卷积和tanh操作。
2、判别网络D；
为充分考虑到像素间的联系，本发明选用了已有网络模型PathcGAN作为判别网络，其每次只输入N*N个像素点，然后让判别器对这N*N个像素点判断其是否为真，采用类似CNN滑窗的方法得到每个N*N框的判别器输出值，将这些输出值进行平均得到最后判别器的输出结果。
本发明采用的判别网络框架结构图如图4所示。
其中，Dense代表全连接层(将特征进行整合)，sigmoid是激活函数。生成网络生成的清晰图片和原清晰图片输入判别网络结构，先进行步长为2、卷积核为4*4*64的卷积，跟随relu处理，之后依次经过步长为2、卷积核为4*4*128、4*4*256、4*4*384的卷积，再进行一个步长为1、卷积核为4*4*384的卷积，每步卷积跟随instanceNorm和relu处理，接着经过步长为1、卷积核为4*4*1的一次卷积，经flatten、全连接、tanh、全连接、sigmoid操作后产生0～1之间的值。
2、损失函数；
引入损失函数的作用是使生成样本接近真实样本，常用的损失函数有感知损失Lc、MSE均方误差损失函数、SVM合页损失函数等，本发明的该具体实施例中的损失函数由两部分构成，即对抗网络损失Ladv和感知损失Lc。
为训练过程更好地收敛，采用的是WGAN-GP中的对抗网络损失，对每个样本独立地施加梯度惩罚，损失函数如式：
式中的为在z和x之间随机插值取样，λ取值为10。
另外，本发明还采用了感知损失来帮助恢复图像内容，感知损失是基于生成的和目标图像特征映射的差异。
它的定义如下：
先使用公开数据集ImageNet进行预训练VGG19，其中是在VGG19网络中第i个最大化层之前的第j个卷积(激活之后)获得的特征图，Wi,j和Hi,j是特征值，IB是模糊图像，IS是清晰图像。
模型的总体损失函数为式：
Lloss＝Ladv+βLc (3)
其中β为权重系数，在本具体实施例的实验中的取值为100。
在本发明的该具体实施例中，本发明的模型是在pycharm平台上建立的，并采用深度学习Keras框架实现，选用自适应矩估计(ADAM)算法来优化损失方程，通过训练数据不断更新神经网络权重，经过多次训练调优，学习率α定为0.0001，β1＝0，β2＝0.9。采用道路交通图像作为直接输入，每50对图片为一次训练，设置的最大迭代次数为1000，本发明使用的峰值信噪比(PSNR)和结构相似度(SSIM)数据取的是全部测试图片的平均值。
实验步骤如下：
(1)将原清晰图片作为判别网络D的输入，训练判别网络参数，每循环5次训练保存一次参数。
(2)将模糊图片作为生成网络的输入，得到生成网络G生成的清晰图像，再使用生成得到的清晰图像作为判别网络D的输入，训练判别网络D，每循环5次训练保存一次参数。
(3)固定判别网络D，不使判别网络D的参数更新，使用损失训练生成网络G，每循环5次训练保存一次参数。
(4)重复以上三步，直到生成网络G可以生成判别网络D分辨不出的图像。
(5)模型训练结束后，将模糊图片输入生成网络，即可得到对应的清晰图片。
为验证本发明提出模型的效果，发明人将其与Sun等人及Kupyn等人提到的算法进行了对比实验，选取了测试集中2幅图片进行结果分析，实验结果如图5(a)-图5(e)所示，图中的图像分别为：图5(a)原始清晰图(b)模糊图(c)本发明提出的模型(d)sun(e)Kupyn。
在图5的效果图展示中可以看到，sun等人的方法在处理图片边缘模糊增强时，效果不是很好，图片细节不够丰富，Kupyn等人的方法和sun等人的方法都会出现失真的效果，而经本发明模型处理后的图片在主观的视觉感受方面取得了较好的效果。另请参见表1，为上述图片质量评价结果。
表1图片质量评价结果
由该表显示的对比实验的图片质量评价结果可知，sun等人提出模型的峰值信噪比达到了24.81，Kupyn等人提出模型的峰值信噪比达到了26.31，而本发明提出的模型的峰值信噪比达到了27.27，同时本发明提出的模型的结构相似度达到了0.8991，皆高于另外两个模型的结构相似度，本发明算法模型的表中的数据定量地说明了本发明提出的该神经网络模型无论是从峰值信噪比还是从结构相似度上来看都要优于其他的算法。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于生成式对抗网络的道路交通模糊图像增强方法,其特征在于，该方法包含基于生成式对抗网络的多尺度提取图像特征值进行多路径学习的模型，该模型设有生成网络和判别网络，首先将模糊图像输入生成网络然后生成清晰的图像，并将生成的清晰图像及原清晰图像输入给判别网络，然后将判别网络的输出值再利用损失函数反向传播给判别网络和生成网络，以此进行不断对抗训练且优化，直至判别网络无法区分清晰图像及原清晰图像。
2.根据权利要求1所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于，该方法包含步骤：
(1)将原清晰图片作为判别网络的输入，训练判别网络参数，每循环预定次数训练保存一次参数；
(2)将模糊图片作为生成网络的输入，得到生成网络生成的清晰图像，再使用生成得到的清晰图像作为判别网络的输入，训练判别网络，每循环预定次数训练保存一次参数；
(3)固定判别网络，不使判别网络的参数更新，使用损失函数训练生成网络，每循环预定次数训练保存一次参数；
(4)重复以上三步，直到生成网络可以生成判别网络分辨不出的图像；
(5)模型训练结束后，将模糊图片输入生成网络，即可得到对应的清晰图片。
3.根据权利要求1或2所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于，所述生成网络是采用多尺度卷积核神经网络来进行特征值提取。
4.根据权利要求3所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于：所述生成网络采用了多路径模式的局部残差学习与全局残差学习相结合，进行多权重的递归学习。
5.根据权利要求4所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于：所述生成网络包含一个卷积核尺寸为7*7*64的卷积，步长为1，多尺度卷积的卷积核尺寸分别为5*5*64、3*3*64、1*1*64，步长为1，卷积融合后进行instanceNorm和relu处理，之后进行卷积核尺寸为3*3*128、3*3*256的卷积处理，步长为2，每步卷积跟随instanceNorm和relu处理，随后进入步长为1、卷积核为3*3*256的多路径模式的局部残差学习与全局残差学习，每步卷积跟随instanceNorm和relu处理，经过循环学习数次后，进行两次步长为2、卷积核为3*3*128和3*3*64的反卷积操作，每步反卷积跟随instanceNorm和relu处理，最后进行一次卷积核为7*7*64的卷积和tanh操作；其中，conv、instanceNorm和convtranspose分别代表卷积层、归一化0和反卷积层，tanh和relu是激活函数。
6.根据权利要求1所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于：所述别网络每次只输入N*N个像素点，然后让判别器对这N*N个像素点判断其是否为真，得到每个N*N框的判别器输出值，然后将这些输出值进行平均得到最后判别器的输出结果。
7.根据权利要求6所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于：所述判别器是将生成网络生成的清晰图片和原清晰图片输入判别网络结构，先进行步长为2、卷积核为4*4*64的卷积，跟随relu处理，之后依次经过步长为2、卷积核为4*4*128、4*4*256、4*4*384的卷积，再进行一个步长为1、卷积核为4*4*384的卷积，每步卷积跟随instanceNorm和relu处理，接着经过步长为1、卷积核为4*4*1的一次卷积，经flatten、全连接、tanh、全连接、sigmoid操作后产生0～1之间的值。
8.根据权利要求1所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于：所述损失函数由对抗网络损失Ladv和感知损失Lc构成。
9.根据权利要求8所述的一种基于生成式对抗网络的道路交通模糊图像增强方法，其特征在于：所述抗网络损失Ladv和感知损失Lc为：
式中的为在z和x之间随机插值取样，λ取值为10；
该模型的总体损失函数为式：
Lloss＝Ladv+βLc (3)
其中β为权重系数。
CN201910513691.8A 2019-06-14 2019-06-14 一种基于生成式对抗网络的道路交通模糊图像增强方法 Pending CN110223259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910513691.8A CN110223259A (zh) 2019-06-14 2019-06-14 一种基于生成式对抗网络的道路交通模糊图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910513691.8A CN110223259A (zh) 2019-06-14 2019-06-14 一种基于生成式对抗网络的道路交通模糊图像增强方法

Publications (1)

Publication Number Publication Date
CN110223259A true CN110223259A (zh) 2019-09-10

Family

ID=67817104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910513691.8A Pending CN110223259A (zh) 2019-06-14 2019-06-14 一种基于生成式对抗网络的道路交通模糊图像增强方法

Country Status (1)

Country Link
CN (1) CN110223259A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807740A (zh) * 2019-09-17 2020-02-18 北京大学 一种面向监控场景车窗图像的图像增强方法与系统
CN111028166A (zh) * 2019-11-30 2020-04-17 温州大学 一种基于迭代神经网络的视频去模糊方法
CN111145106A (zh) * 2019-12-06 2020-05-12 深圳市雄帝科技股份有限公司 一种图像增强方法、装置、介质及设备
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111161191A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种图像增强方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111209850A (zh) * 2020-01-04 2020-05-29 圣点世纪科技股份有限公司 一种基于改进cGAN网络生成适用多设备识别指静脉图像的方法
CN111340716A (zh) * 2019-11-20 2020-06-26 电子科技大学成都学院 一种改进双重判别对抗网络模型的图像去模糊方法
CN111586389A (zh) * 2020-05-29 2020-08-25 Oppo（重庆）智能科技有限公司 图像处理方法及相关装置
CN111583101A (zh) * 2020-05-13 2020-08-25 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN112258425A (zh) * 2020-11-24 2021-01-22 中电万维信息技术有限责任公司 一种二维码图像清晰化去模糊处理方法
CN112419171A (zh) * 2020-10-28 2021-02-26 云南电网有限责任公司昆明供电局 一种多残差块条件生成对抗网络的图像复原方法
CN112465776A (zh) * 2020-11-26 2021-03-09 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112465736A (zh) * 2020-11-18 2021-03-09 武汉理工大学 一种用于港口船舶监控的红外视频图像增强方法
CN112541864A (zh) * 2020-09-25 2021-03-23 中国石油大学(华东) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112767377A (zh) * 2021-01-27 2021-05-07 电子科技大学 一种级联医学图像增强方法
CN112801900A (zh) * 2021-01-21 2021-05-14 北京航空航天大学 一种基于双向循环卷积生成对抗网络的视频模糊去除方法
CN112906459A (zh) * 2021-01-11 2021-06-04 甘肃省公路局 基于高分辨率遥感影像与深度学习方法的路网核查技术
CN112991495A (zh) * 2021-03-09 2021-06-18 大连海事大学 一种基于草图的交互迭代式虚拟鞋印图像生成方法
CN113205464A (zh) * 2021-04-30 2021-08-03 作业帮教育科技（北京）有限公司 图像去模糊模型的生成方法、图像去模糊方法和电子设备
CN113256503A (zh) * 2020-02-13 2021-08-13 北京小米移动软件有限公司 图像优化方法及装置、移动终端及存储介质
CN114298935A (zh) * 2021-12-27 2022-04-08 重庆港宇高科技开发有限公司 图像增强方法、装置及计算机可读存储介质
CN114609631A (zh) * 2022-03-08 2022-06-10 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
US11669937B2 (en) 2022-02-28 2023-06-06 Huajie ZENG Method and system for enhancing image captured by on-board camera, and computing device
WO2023159671A1 (zh) * 2022-02-28 2023-08-31 曾华杰 增强车辆的摄像头拍摄的影像的方法、系统和计算设备
CN117196985A (zh) * 2023-09-12 2023-12-08 军事科学院军事医学研究院军事兽医研究所 一种基于深度强化学习的视觉去雨雾方法
CN117495687A (zh) * 2023-12-29 2024-02-02 清华大学深圳国际研究生院 一种水下图像增强方法
CN114298935B (zh) * 2021-12-27 2024-06-04 重庆港宇高科技开发有限公司 图像增强方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537746A (zh) * 2018-03-21 2018-09-14 华南理工大学 一种基于深度卷积网络的模糊可变图像盲复原方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109035149A (zh) * 2018-03-13 2018-12-18 杭州电子科技大学 一种基于深度学习的车牌图像去运动模糊方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035149A (zh) * 2018-03-13 2018-12-18 杭州电子科技大学 一种基于深度学习的车牌图像去运动模糊方法
CN108537746A (zh) * 2018-03-21 2018-09-14 华南理工大学 一种基于深度卷积网络的模糊可变图像盲复原方法
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN109671018A (zh) * 2018-12-12 2019-04-23 华东交通大学 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISHAAN GULRAJANI ET AL.: ""Improved Training of Wasserstein GANs"", 《ARXIV》 *
OREST KUPYN ET AL.: ""DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
张皓: ""生物医学显微图像超分辨中的人工神经网络应用研究"", 《中国优秀硕士学位论文全文数据库 工程科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807740A (zh) * 2019-09-17 2020-02-18 北京大学 一种面向监控场景车窗图像的图像增强方法与系统
CN111340716A (zh) * 2019-11-20 2020-06-26 电子科技大学成都学院 一种改进双重判别对抗网络模型的图像去模糊方法
CN111340716B (zh) * 2019-11-20 2022-12-27 电子科技大学成都学院 一种改进双重判别对抗网络模型的图像去模糊方法
CN111028166A (zh) * 2019-11-30 2020-04-17 温州大学 一种基于迭代神经网络的视频去模糊方法
CN111028166B (zh) * 2019-11-30 2022-07-22 温州大学 一种基于迭代神经网络的视频去模糊方法
CN111145106A (zh) * 2019-12-06 2020-05-12 深圳市雄帝科技股份有限公司 一种图像增强方法、装置、介质及设备
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111199522B (zh) * 2019-12-24 2024-02-09 芽米科技(广州)有限公司 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111161178A (zh) * 2019-12-25 2020-05-15 湖南大学 基于生成式对抗网络的单幅低光图像增强方法
CN111161191A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种图像增强方法
CN111161191B (zh) * 2019-12-31 2023-06-20 华南理工大学 一种图像增强方法
CN111209850A (zh) * 2020-01-04 2020-05-29 圣点世纪科技股份有限公司 一种基于改进cGAN网络生成适用多设备识别指静脉图像的方法
CN113256503B (zh) * 2020-02-13 2024-03-08 北京小米移动软件有限公司 图像优化方法及装置、移动终端及存储介质
CN113256503A (zh) * 2020-02-13 2021-08-13 北京小米移动软件有限公司 图像优化方法及装置、移动终端及存储介质
CN111583101A (zh) * 2020-05-13 2020-08-25 杭州云梯科技有限公司 基于深度学习的图像防盗系统和方法
CN111586389A (zh) * 2020-05-29 2020-08-25 Oppo（重庆）智能科技有限公司 图像处理方法及相关装置
CN111586389B (zh) * 2020-05-29 2022-03-29 Oppo（重庆）智能科技有限公司 图像处理方法及相关装置
CN112541864A (zh) * 2020-09-25 2021-03-23 中国石油大学(华东) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112419171A (zh) * 2020-10-28 2021-02-26 云南电网有限责任公司昆明供电局 一种多残差块条件生成对抗网络的图像复原方法
CN112465736A (zh) * 2020-11-18 2021-03-09 武汉理工大学 一种用于港口船舶监控的红外视频图像增强方法
CN112258425A (zh) * 2020-11-24 2021-01-22 中电万维信息技术有限责任公司 一种二维码图像清晰化去模糊处理方法
CN112465776A (zh) * 2020-11-26 2021-03-09 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112465776B (zh) * 2020-11-26 2023-10-31 常州信息职业技术学院 一种基于风力机表面模糊图像的裂纹智能检测方法
CN112906459A (zh) * 2021-01-11 2021-06-04 甘肃省公路局 基于高分辨率遥感影像与深度学习方法的路网核查技术
CN112801900A (zh) * 2021-01-21 2021-05-14 北京航空航天大学 一种基于双向循环卷积生成对抗网络的视频模糊去除方法
CN112767377B (zh) * 2021-01-27 2022-07-05 电子科技大学 一种级联医学图像增强方法
CN112767377A (zh) * 2021-01-27 2021-05-07 电子科技大学 一种级联医学图像增强方法
CN112991495A (zh) * 2021-03-09 2021-06-18 大连海事大学 一种基于草图的交互迭代式虚拟鞋印图像生成方法
CN112991495B (zh) * 2021-03-09 2023-10-27 大连海事大学 一种基于草图的交互迭代式虚拟鞋印图像生成方法
CN113205464A (zh) * 2021-04-30 2021-08-03 作业帮教育科技（北京）有限公司 图像去模糊模型的生成方法、图像去模糊方法和电子设备
CN114298935A (zh) * 2021-12-27 2022-04-08 重庆港宇高科技开发有限公司 图像增强方法、装置及计算机可读存储介质
CN114298935B (zh) * 2021-12-27 2024-06-04 重庆港宇高科技开发有限公司 图像增强方法、装置及计算机可读存储介质
US11669937B2 (en) 2022-02-28 2023-06-06 Huajie ZENG Method and system for enhancing image captured by on-board camera, and computing device
WO2023159671A1 (zh) * 2022-02-28 2023-08-31 曾华杰 增强车辆的摄像头拍摄的影像的方法、系统和计算设备
CN114609631A (zh) * 2022-03-08 2022-06-10 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
CN114609631B (zh) * 2022-03-08 2023-12-22 电子科技大学 一种基于生成对抗网络的合成孔径雷达欠采样成像方法
CN117196985A (zh) * 2023-09-12 2023-12-08 军事科学院军事医学研究院军事兽医研究所 一种基于深度强化学习的视觉去雨雾方法
CN117495687A (zh) * 2023-12-29 2024-02-02 清华大学深圳国际研究生院 一种水下图像增强方法
CN117495687B (zh) * 2023-12-29 2024-04-02 清华大学深圳国际研究生院 一种水下图像增强方法

Similar Documents

Publication Publication Date Title
CN110223259A (zh) 一种基于生成式对抗网络的道路交通模糊图像增强方法
CN111539884B (zh) 一种基于多注意力机制融合的神经网络视频去模糊方法
CN110634108B (zh) 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法
CN111798369B (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN106447626A (zh) 一种基于深度学习的模糊核尺寸估计方法与系统
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN107153816A (zh) 一种用于鲁棒人脸识别的数据增强方法
CN110458765B (zh) 基于感知保持卷积网络的图像质量增强方法
CN112528830A (zh) 一种结合迁移学习的轻量级cnn口罩人脸姿态分类方法
CN108711141A (zh) 利用改进的生成式对抗网络的运动模糊图像盲复原方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN109285129A (zh) 基于卷积神经网络的图像真实噪声去除系统
CN109003234B (zh) 针对运动模糊图像复原的模糊核计算方法
CN109819321A (zh) 一种视频超分辨率增强方法
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN111901532B (zh) 基于循环神经网络迭代策略的视频稳定方法
CN109035146A (zh) 一种基于深度学习的低质量图像超分方法
CN109949222A (zh) 基于语义图的图像超分辨率重建方法
CN110148088A (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN111612703A (zh) 一种基于生成对抗网络的图像盲去模糊方法
CN110135501A (zh) 基于神经网络框架的高动态范围图像取证方法
CN108989731A (zh) 一种提高视频空间分辨率的方法
KR20210018600A (ko) 얼굴 표정 인식 시스템
Aghelan et al. Underwater image super-resolution using generative adversarial network-based model
CN111681192A (zh) 一种基于残差图像条件生成对抗网络的比特深度增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910

RJ01 Rejection of invention patent application after publication