CN111179189B - 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 - Google Patents
基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 Download PDFInfo
- Publication number
- CN111179189B CN111179189B CN201911287816.6A CN201911287816A CN111179189B CN 111179189 B CN111179189 B CN 111179189B CN 201911287816 A CN201911287816 A CN 201911287816A CN 111179189 B CN111179189 B CN 111179189B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- frequency
- model
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000008485 antagonism Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供一种基于生成对抗网络GAN的图像处理方法、装置以及电子设备、存储介质，属于图像处理技术领域。通过输入第一图像至DenseNet模型以获取第二图像；根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；基于更新后的所述DenseNet模型实现图像处理；其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。本发明将频率信息作为附加先验来参与模型的设计，该模型能够生成更自然、更真实的去雾图像，具有更小的色彩失真和更少的伪影。
Description
技术领域
本申请涉及一种图像去雾技术领域，特别是涉及一种基于生成对抗网络GAN的图像处理方法、装置以及存储介质。
背景技术
雾霾是一种常见的大气现象，灰尘、烟雾或其他漂浮的粒子大量吸收和散射光线，导致成像传感器采集的图像严重降质。雾霾图像通常会失去对比度、颜色保真度和边缘信息，从而降低场景的可视性，进而危害大量的计算机视觉任务和相关应用，如分类、定位和自动驾驶系统。图像去雾技术是通过一定的手段去除图像中雾的干扰，从而得到高质量的图像，以便于得到满意的视觉效果并获取更多有效的图像信息。图像去雾技术是图像处理领域一个重要的研究分支。
现有的去雾算法可以分为两大类，一类是先验型传统去雾算法，另一类是学习型去雾算法。先验型算法需要先经过繁琐的手工设计，且往往由于先验本身具有的局限性和真实场景的复杂性，并不能有稳定的效果，计算量复杂度也较高，实时性不佳。学习型算法对数据依赖性较大，同时，直接从合成数据中学习有雾到无雾的映射关系，而没有有效的先验信息的约束，也使得模型在自然数据上的泛化效果不太理想，尤其浓雾天气。
近年来，卷积神经网络(Convolutional neural networks，简称CNNs)在单图像的去雾处理方面取得了很大的进展，受到了研究领域的重视。CNNs是一种深度的监督学习下的机器学习模型。由于获取每个像素点都匹配的真实的清晰和雾霾图像对有巨大的困难，所以目前常用的训练数据为合成图像对，即在清晰图像的深度图基础上，利用大气散射模型，调节介质折射率和大气光值来得到不同效果的雾霾图像。现有的基于学习的去雾方法大多不是完全端到端，而是根据大气散射模型遵循常见的去雾过程：首先估计介质的透射率和大气光，然后根据大气散射模型恢复无雾图像。然而，在实际应用中，由于缺乏先验和约束，很难准确地估计这些中间参数，不准确的估计会进一步影响去雾的效果，导致伪影出现、颜色失真和去雾不彻底等问题。因此，去雾不够彻底，颜色失真，伪影出现等问题并没有得到很大的改善。
发明内容
为了解决上述技术问题，本发明将先验信息加入到网络的设计中，提出一种基于融合型判别器的生成对抗网络--Fusion-discriminator(FD-GAN)用于图像去雾方法、系统以及存储介质，从而使得去雾效果好，避免了颜色失真，伪影出现等问题，技术方案如下：
一种基于生成对抗网络GAN的图像处理方法，其特征在于，包括：
生成步骤，输入第一图像至DenseNet模型以获取第二图像；
判别步骤，根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；
基于更新后的所述DenseNet模型实现图像处理；
其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。
优选地，所述根据第一样本、第二样本构建生成对抗网络模模型，包括：
其中，其中，G为生成网络，D为判别网络，I为输入图像，J为分布于ptrain(J)测试数据集中的优化图像；G(I)LF为使用高斯滤波提取到的图像低频信息；G(I)HF＝1-G(I)LF，为图像高频信息。
优选地，所述判断所述生成对抗网络模型收敛，包括构建所述生成对抗网络模模型所对应的损失函数：
其中，I为输入图像，G为生成网络，G(I)LF为使用高斯滤波提取到的图像低频信息，G(I)HF＝1-G(I)LF，为图像高频信息；Dfusion为融合判别器；
当损失函数趋于稳定，确定所述对抗网络模模型抗达到动态平衡。
优选地，所述根据第一样本、第二样本分别构建平衡函数使得对抗达到动态平衡，包括：
标记所述第一样本为真；标记所述第二样本为假。
优选地，所述生成步骤包括：
根据DenseNet模型实现包括编码步骤、解码步骤，其中所述编码步骤包括卷积操作、批量归一化、激活函数层和池化操作。
优选地，根据第二图像获取第二样本，包括：根据高斯滤波滤除所述第二图像的高频细节，从而获取第二低频图像分量；根据拉普拉斯算子增强所述第二图像的边缘和纹理，从而获取第二高频图像分量。
为了解决上述技术问题，本发明还提出一种基于生成对抗网络GAN的图像处理装置，包括：
生成器，输入第一图像至DenseNet模型以获取第二图像；
判别器，根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；
所述生成器还用于，基于更新后的所述DenseNet模型实现图像处理；
其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。
优选地，所述根据第一样本、第二样本构建生成对抗网络模模型，包括：
其中，其中，G为生成网络，D为判别网络，I为输入图像，J为分布于ptrain(J)测试数据集中的优化图像；G(I)LF为使用高斯滤波提取到的图像低频信息；G(I)HF＝1-G(I)LF，为图像高频信息。
优选地，所述判断所述生成对抗网络模型收敛，包括构建所述生成对抗网络模模型所对应的损失函数：
其中，I为输入图像，G为生成网络，G(I)LF为使用高斯滤波提取到的图像低频信息，G(I)HF＝1-G(I)LF，为图像高频信息；Dfusion为融合判别器；
当损失函数趋于稳定，确定所述对抗网络模模型抗达到动态平衡。
优选地，所述根据第一样本、第二样本分别构建平衡函数使得对抗达到动态平衡，包括：
标记所述第一样本为真；标记所述第二样本为假。
优选地，所述生成器包括：
根据DenseNet模型实现包括编码器、解码器，其中所述编码器包括卷积操作、批量归一化、激活函数层和池化操作。
优选地，根据第二图像获取第二样本，包括：根据高斯滤波滤除所述第二图像的高频细节，从而获取第二低频图像分量；根据拉普拉斯算子增强所述第二图像的边缘和纹理，从而获取第二高频图像分量。
为了解决上述技术问题，本发明还提出一种电子设备，所述设备包括：
至少一个处理器；以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如上所述的图像处理方法。
本发明还提出一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于被处理器执行时，执行如上所述的图像处理方法。
与现有技术相比，本发明通过输入第一图像至DenseNet模型以获取第二图像；根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；基于更新后的所述DenseNet模型实现图像处理；其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。由于有雾图像和无雾图像在边界、细节信息为代表的高频，和以颜色饱和度、亮度信息为代表的低频上都有明显的区别，所以本发明将频率信息作为附加先验来参与模型的设计，该模型能够生成更自然、更真实的去雾图像，同时具有更小的色彩失真和更少的伪影。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的基于生成对抗网络GAN的图像处理方法流程图；
图2为本发明实施例二的生成器的网络结构图；
图3为本发明实施例二的判别器网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例一种基于生成对抗网络GAN的图像处理方法，图1为本发明实施例一的基于生成对抗网络GAN的图像处理方法流程图，实际应用中，投影装置，是一种可以连接计算机等设备，把用户选择的视频信号通过内置的光电转换单元投射出来，本方法中投影面可以是任意的平整平面。
实施例一
如图1所示，一种基于生成对抗网络GAN的图像处理方法，包括：
生成步骤，输入第一图像至DenseNet模型以获取第二图像；
相应的，对于输入的第一图像的训练数据集，本实施例针对目前匮乏的数据问题提出改进方案，即提出包含室内和室外图像，且场景多样性强，数据丰富的训练数据集。该数据集是以开源的Microsoft COCO数据集为基础进行合成得到的，即随机选取公开数据集Microsoft COCO的部分数据，在现有表现优越的深度估计算法上得到每副图像的深度图；利用大气散射模型，合成训练时使用的模拟雾霾图像，即数据集中包括一对对原始图像以及雾霾图像。
优选地，所述根据第一样本、第二样本分别构建平衡函数使得对抗达到动态平衡，包括：
标记所述第一样本为真；标记所述第二样本为假。
优选地，所述生成步骤包括：
根据DenseNet模型实现包括编码步骤、解码步骤，其中所述编码步骤包括卷积操作、批量归一化、激活函数层和池化操作。
在本实施例的设计中，为了使得生成器可以直接从有雾的输入图像(I)产生清晰的图像(G(I))，而不需要估计中间参数，因此，为了达到这个目的，训练时，生成器应该在学习雾霾特征的时候尽可能多地恢复细节。
相应的，由于DenseNet(密集连接型网络)具有促进强大的特征提取和传递的潜力，特别是对于低水平的视觉任务，因此本实施例设计了以DenseNet为基础的的编码器(Encoder)-解码器(Decoder)作为生成器，它可以充分利用从浅层到深层提取的所有特征。编码器包含三个密集块，其中包含一系列卷积、批量归一化(BN)和ReLU(激活函数)层、池化操作；并在池化操作后，特征图的大小(高度和宽度)逐渐缩小到输入大小的1/8。在解码器模块中，特征映射的大小逐渐恢复到原始分辨率。本实施例选择最近邻插值法进行上采样，因为据研究表明，它可以缓解产生棋盘格伪影的产生。
判别步骤，根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；
其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。
优选地，所述根据第一样本、第二样本构建生成对抗网络模模型，包括：
其中，其中，G为生成网络，D为判别网络，I为输入图像，J为分布于ptrain(J)测试数据集中的优化图像；G(I)LF为使用高斯滤波提取到的图像低频信息；G(I)HF＝1-G(I)LF，为图像高频信息。
优选地，所述判断所述生成对抗网络模型收敛，包括构建所述生成对抗网络模模型所对应的损失函数：
其中，I为输入图像，G为生成网络，G(I)LF为使用高斯滤波提取到的图像低频信息，G(I)HF＝1-G(I)LF，为图像高频信息；Dfusion为融合判别器；
当损失函数趋于稳定，确定所述对抗网络模模型抗达到动态平衡。
相应的，当损失函数LG指数级下降，到达一个数量级，如10-5时趋于稳定，此时，确定所述对抗网络模模型抗达到动态平衡。
优选地，根据第二图像获取第二样本，包括：根据高斯滤波滤除所述第二图像的高频细节，从而获取第二低频图像分量；根据拉普拉斯算子增强所述第二图像的边缘和纹理，从而获取第二高频图像分量。
相应的，本实施例从有雾图像和无雾图像在颜色，对比度为代表的低频(LF)信息和边缘，细节为代表的高频(HF)信息等方面的不同考虑，提出了一种新的融合判别器，它将高频和低频信息作为去雾的附加先验和约束。高频和低频可以帮助判别器分辨出有雾图像和无雾图像在纹理和色彩上的区别。为了提取低频信息，本实施例对生成器的输出结果进行高斯滤波来滤除高频细节。在提取高频信息时，本实施例应用拉普拉斯算子，对生成器的输出结果的边缘和纹理进行强调。本实施例将生成器的输出结果G(I)和它对应的高频版本(G(I)HF)以及低频版本(G(I)LF)一起组成一个样本，标记为假，将金标准J和它对应的高频版本(JHF)以及低频版本(JLF)一起组成另一个样本，标记为真，送入判别器中，通过对抗式的共同学习，判别器与生成器逐渐强大，使得对抗达到动态平衡的状态，并通过对抗达到动态平衡的状态下的参数更新后的所述DenseNet模型。
相应的，基于更新后的所述DenseNet模型实现图像处理。
本实施例，通过判别器与生成器逐渐对抗强大，并使得损失函数趋于稳定，使得对抗达到动态平衡的状态，本实施例的去雾效果也达到最优值，因此基于通过对抗达到动态平衡的状态下的参数更新后的所述DenseNet模型，并基于更新后的所述DenseNet模型实现图像的去雾处理。
实施例二
此外，为了解决上述技术问题，本发明还提出一种基于生成对抗网络GAN的单图像快速去雾装置，包括：
一种基于生成对抗网络GAN的图像处理装置，包括：
生成器，输入第一图像至DenseNet模型以获取第二图像；
相应的，如图2所示为本实施例的生成器网络结构图。对于输入的第一图像的训练数据集，本实施例针对目前匮乏的数据问题提出改进方案，即提出包含室内和室外图像，且场景多样性强，数据丰富的训练数据集。该数据集是以开源的Microsoft COCO数据集为基础进行合成得到的，即随机选取公开数据集Microsoft COCO的部分数据，在现有表现优越的深度估计算法上得到每副图像的深度图；利用大气散射模型，合成训练时使用的模拟雾霾图像，即数据集中包括一对对原始图像以及雾霾图像。
优选地，所述根据第一样本、第二样本分别构建平衡函数使得对抗达到动态平衡，包括：
标记所述第一样本为真；标记所述第二样本为假。
优选地，所述生成器包括：
根据DenseNet模型实现包括编码器、解码器，其中所述编码步骤包括卷积操作、批量归一化、激活函数层和池化操作。
在本实施例的设计中，为了使得生成器可以直接从有雾的输入图像(I)产生清晰的图像(G(I))，而不需要估计中间参数，因此，为了达到这个目的，训练时，生成器应该在学习雾霾特征的时候尽可能多地恢复细节。
相应的，由于DenseNet(密集连接型网络)具有促进强大的特征提取和传递的潜力，特别是对于低水平的视觉任务，因此本实施例设计了以DenseNet为基础的的编码器(Encoder)-解码器(Decoder)作为生成器，它可以充分利用从浅层到深层提取的所有特征。编码器包含三个密集块，其中包含一系列卷积、批量归一化(BN)和ReLU(激活函数)层、池化操作；并在池化操作后，特征图的大小(高度和宽度)逐渐缩小到输入大小的1/8。在解码器模块中，特征映射的大小逐渐恢复到原始分辨率。本实施例选择最近邻插值法进行上采样，因为据研究表明，它可以缓解产生棋盘格伪影的产生。
相应的，根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型。
其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。
优选地，所述根据第一样本、第二样本构建生成对抗网络模模型，包括：
其中，其中，G为生成网络，D为判别网络，I为输入图像，J为分布于ptrain(J)测试数据集中的优化图像；G(I)LF为使用高斯滤波提取到的图像低频信息；G(I)HF＝1-G(I)LF，为图像高频信息。
优选地，所述判断所述生成对抗网络模型收敛，包括构建所述生成对抗网络模模型所对应的损失函数：
其中，I为输入图像，G为生成网络，G(I)LF为使用高斯滤波提取到的图像低频信息，G(I)HF＝1-G(I)LF，为图像高频信息；Dfusion为融合判别器；
当损失函数趋于稳定，确定所述对抗网络模模型抗达到动态平衡。
相应的，当损失函数LG指数级下降，到达一个数量级，如10-5时趋于稳定，此时，确定所述对抗网络模模型抗达到动态平衡。
优选地，根据第二图像获取第二样本，包括：根据高斯滤波滤除所述第二图像的高频细节，从而获取第二低频图像分量；根据拉普拉斯算子增强所述第二图像的边缘和纹理，从而获取第二高频图像分量。
相应的，如图3所示为本实施例的判别器网络结构图，本实施例从有雾图像和无雾图像在颜色，对比度为代表的低频(LF)信息和边缘，细节为代表的高频(HF)信息等方面的不同考虑，提出了一种新的融合判别器，它将高频和低频信息作为去雾的附加先验和约束。
高频和低频可以帮助判别器分辨出有雾图像和无雾图像在纹理和色彩上的区别。为了提取低频信息，本实施例对生成器的输出结果进行高斯滤波来滤除高频细节。在提取高频信息时，本实施例应用拉普拉斯算子，对生成器的输出结果的边缘和纹理进行强调。本实施例将生成器的输出结果G(I)和它对应的高频版本(G(I)HF)以及低频版本(G(I)LF)一起组成一个样本，标记为假，将金标准J和它对应的高频版本(JHF)以及低频版本(JLF)一起组成另一个样本，标记为真，送入判别器中，通过对抗式的共同学习，判别器与生成器逐渐强大，使得对抗达到动态平衡的状态，并通过对抗达到动态平衡的状态下的参数更新后的所述DenseNet模型。
相应的，基于更新后的所述DenseNet模型实现图像处理。
本实施例，通过判别器与生成器逐渐对抗强大，并使得损失函数趋于稳定，使得对抗达到动态平衡的状态，本实施例的去雾效果也达到最优值，因此基于通过对抗达到动态平衡的状态下的参数更新后的所述DenseNet模型，并基于更新后的所述DenseNet模型实现图像的去雾处理。
为了解决上述技术问题，本实施例还提出一种电子设备，所述设备包括：
至少一个处理器；以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如上所述的图像处理方法。
本实施例还提出一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于被处理器执行时，执行如上所述的图像处理方法。
在本发明上述实施例的方案中，本实施例通过输入第一图像至DenseNet模型以获取第二图像；根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；基于更新后的所述DenseNet模型实现图像处理；其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量。由于有雾图像和无雾图像在边界、细节信息为代表的高频，和以颜色饱和度、亮度信息为代表的低频上都有明显的区别，所以本发明将频率信息作为附加先验来参与模型的设计，该模型能够生成更自然、更真实的去雾图像，同时具有更小的色彩失真和更少的伪影。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种基于生成对抗网络GAN的图像处理方法，其特征在于，包括：
生成步骤，输入第一图像至DenseNet模型以获取第二图像；
判别步骤，根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本通过训练构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；
基于更新后的所述DenseNet模型实现图像处理；
其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量；
其中，所述生成对抗网络模型包含生成器和判别器，并将所述DenseNet模型作为所述生成器，在训练过程中，将该生成器所输出的第二图像和对应的高频图像分量以及低频图像分量一起组成所述第一样本，标记为假，将金标准图像和对应的高频图像分量以及低频图像分量一起组成所述第二样本，标记为真，送入所述判别器进行对抗式的共同学习。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据第一样本、第二样本构建生成对抗网络模模型，包括：
其中，G为生成器，D为判别器，I为输入图像，J为分布于ptrain(J)测试数据集中的优化图像；G(I)LF为使用高斯滤波提取到的图像低频信息；G(I)HF＝1-G(I)LF，为图像高频信息。
3.根据权利要求2所述的图像处理方法，其特征在于，所述判断所述生成对抗网络模型收敛，包括构建所述生成对抗网络模模型所对应的损失函数：
其中，I为输入图像，G为生成器，G(I)LF为使用高斯滤波提取到的图像低频信息，G(I)HF＝1-G(I)LF，为图像高频信息；Dfusion为融合判别器；
当损失函数趋于稳定，确定所述对抗网络模模型抗达到动态平衡。
4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述生成步骤包括：
根据DenseNet模型实现包括编码步骤、解码步骤，其中所述编码步骤包括卷积操作、批量归一化、激活函数层和池化操作。
5.根据权利要求1-3任一项所述的图像处理方法，其特征在于，根据第二图像获取第二样本，包括：根据高斯滤波滤除所述第二图像的高频细节，从而获取第二低频图像分量；根据拉普拉斯算子增强所述第二图像的边缘和纹理，从而获取第二高频图像分量。
6.一种基于生成对抗网络GAN的图像处理装置，其特征在于，包括：
生成器，输入第一图像至DenseNet模型以获取第二图像；
判别器，根据第一图像获取第一样本；根据第二图像获取第二样本；根据第一样本、第二样本通过训练构建生成对抗网络模型；判断所述生成对抗网络模型收敛，更新所述DenseNet模型；
所述生成器还用于，基于更新后的所述DenseNet模型实现图像处理；
其中，所述第一样本包括第一图像所对应的第一低频图像分量、第一高频图像分量；所述第二样本包括所述第二图像所对应的第二低频图像分量、第二高频图像分量；
其中，所述生成对抗网络模型包含生成器和判别器，并将所述DenseNet模型作为所述生成器，在训练过程中，将该生成器所输出的第二图像和对应的高频图像分量以及低频图像分量一起组成所述第一样本，标记为假，将金标准图像和对应的高频图像分量以及低频图像分量一起组成所述第二样本，标记为真，送入所述判别器进行对抗式的共同学习。
7.根据权利要求6所述的图像处理装置，其特征在于，所述根据第一样本、第二样本构建生成对抗网络模模型，包括：
其中，G为生成器，D为判别器，I为输入图像，J为分布于ptrain(J)测试数据集中的优化图像；G(I)LF为使用高斯滤波提取到的图像低频信息；G(I)HF＝1-G(I)LF，为图像高频信息。
8.根据权利要求7所述的图像处理装置，其特征在于，所述判断所述生成对抗网络模型收敛，包括构建所述生成对抗网络模模型所对应的损失函数：
其中，I为输入图像，G为生成器，G(I)LF为使用高斯滤波提取到的图像低频信息，G(I)HF＝1-G(I)LF，为图像高频信息；Dfusion为融合判别器；
当损失函数趋于稳定，确定所述对抗网络模模型抗达到动态平衡。
9.根据权利要求6-8任一项所述的图像处理装置，其特征在于，所述生成器包括：
根据DenseNet模型实现包括编码器、解码器，其中所述编码器包括卷积操作、批量归一化、激活函数层和池化操作。
10.根据权利要求6-8任一项所述的图像处理装置，其特征在于，根据第二图像获取第二样本，包括：根据高斯滤波滤除所述第二图像的高频细节，从而获取第二低频图像分量；根据拉普拉斯算子增强所述第二图像的边缘和纹理，从而获取第二高频图像分量。
11.一种电子设备，其特征在于，所述设备包括：
至少一个处理器；以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，执行如权利要求1-5任一项所述的图像处理方法。
12.一种存储介质，所述存储介质用于存储计算机程序，其特征在于，所述计算机程序用于被处理器执行时，执行如权利要求1-5任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911287816.6A CN111179189B (zh) | 2019-12-15 | 2019-12-15 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911287816.6A CN111179189B (zh) | 2019-12-15 | 2019-12-15 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179189A CN111179189A (zh) | 2020-05-19 |
| CN111179189B true CN111179189B (zh) | 2023-05-23 |
Family
ID=70657212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911287816.6A Active CN111179189B (zh) | 2019-12-15 | 2019-12-15 | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179189B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112529080B (zh) * | 2020-12-11 | 2023-07-25 | 深圳龙岗智能视听研究院 | 一种基于频谱特征判别的图像生成方法 |
| CN112862733A (zh) * | 2021-01-21 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 一种图像生成方法、装置、电子设备和存储介质 |
| CN113409407B (zh) * | 2021-05-17 | 2022-05-17 | 海南师范大学 | 一种基于平均压缩获取低频信息的对抗样本防御方法 |
| CN113658051B (zh) * | 2021-06-25 | 2023-10-13 | 南京邮电大学 | 一种基于循环生成对抗网络的图像去雾方法及系统 |
| CN113628144A (zh) * | 2021-08-25 | 2021-11-09 | 厦门美图之家科技有限公司 | 人像修复方法、装置、电子设备及存储介质 |
| CN115170443B (zh) * | 2022-09-08 | 2023-01-13 | 荣耀终端有限公司 | 一种图像处理方法、拍摄方法及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN110363215A (zh) * | 2019-05-31 | 2019-10-22 | 中国矿业大学 | 基于生成式对抗网络的sar图像转化为光学图像的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10319076B2 (en) * | 2016-06-16 | 2019-06-11 | Facebook, Inc. | Producing higher-quality samples of natural images |
-
2019
- 2019-12-15 CN CN201911287816.6A patent/CN111179189B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615226A (zh) * | 2018-04-18 | 2018-10-02 | 南京信息工程大学 | 一种基于生成式对抗网络的图像去雾方法 |
| CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
| WO2019223397A1 (zh) * | 2018-05-23 | 2019-11-28 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、计算机设备和计算机存储介质 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN110363215A (zh) * | 2019-05-31 | 2019-10-22 | 中国矿业大学 | 基于生成式对抗网络的sar图像转化为光学图像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179189A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179189B (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN113658051B (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
| CN107220997B (zh) | 一种立体匹配方法及系统 | |
| Lee et al. | Local disparity estimation with three-moded cross census and advanced support weight | |
| Wynn et al. | Diffusionerf: Regularizing neural radiance fields with denoising diffusion models | |
| CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
| Xie et al. | Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN103455984A (zh) | 一种Kinect深度图像获取方法与装置 | |
| CN107481271B (zh) | 一种立体匹配方法、系统及移动终端 | |
| KR102160690B1 (ko) | 다초점 이미지 융합 방법 | |
| CN111192226B (zh) | 一种图像融合去噪方法及装置、系统 | |
| Bansal et al. | A review of image restoration based image defogging algorithms | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| Wang et al. | An efficient method for image dehazing | |
| CN113160286A (zh) | 一种基于卷积神经网络的近红外和可见光图像融合方法 | |
| Liu et al. | Generic model-agnostic convolutional neural network for single image dehazing | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| Huang et al. | FFNet: A simple image dedusting network with feature fusion | |
| CN105719257A (zh) | 图像超高密度椒盐噪声的降除方法 | |
| CN115953312A (zh) | 一种基于单幅图像的联合去雾检测方法、装置及存储介质 | |
| Li et al. | Single image dehazing via model-based deep-learning | |
| Peng et al. | Detail enhancement for infrared images based on propagated image filter | |
| Sharma et al. | A Review on Image Dehazing Algorithms for Vision based Applications in Outdoor Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |