CN116245739A - 基于生成对抗网络的无人机航拍图像去雾方法及装置 - Google Patents
基于生成对抗网络的无人机航拍图像去雾方法及装置 Download PDFInfo
- Publication number
- CN116245739A CN116245739A CN202111483374.XA CN202111483374A CN116245739A CN 116245739 A CN116245739 A CN 116245739A CN 202111483374 A CN202111483374 A CN 202111483374A CN 116245739 A CN116245739 A CN 116245739A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- foggy
- generator
- defogging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 83
- 230000004913 activation Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于生成对抗网络的无人机航拍图像去雾方法及装置，该方法包括合成多对同一场景下的航拍雾天图像和清晰图像数据；将上述数据划分为训练集和测试集；构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像质量的判别器，生成器中具有约束函数，约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，约束函数包括色彩饱和度、对比度和亮度约束信息；将训练集中成对的航拍雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；将测试集中的雾天图像输入训练完成的生成器预测去雾后的图像。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于生成对抗网络的无人机航拍图像去雾方法及装置。
背景技术
近几年空气质量退化严重，雾霾等恶劣天气出现频繁，PM2.5值越来越引起人们的广泛关注。在有雾天气下拍摄的图像模糊不清，清晰度不够，细节不明显，色彩保真度下降，出现严重的颜色偏移和失真，达不到满意的视觉效果。由此限制和影响了室外目标识别和跟踪、智能导航、公路视觉监视、卫星遥感监测、军事航空侦查等系统效用的发挥，给生产与生活等各方面都造成了极大的影响。
无人机在空中飞行获取航拍视频图像过程中，由于雾的影响，会导致获取到的视频图像出现色彩泛白、对比度下降、色彩变淡等问题，不仅影响这些无人机航拍视频图像的视觉质量，而且会给后续的计算机视觉算法，如目标检测与识别算法和目标跟踪定位算法等带来很大的困难，故现在迫切需要对雾天图像进行有效的去雾处理。
图像去雾算法目前已取得较大的进展，主要可分为两大类：第一类是基于图像增强的图像去雾方法，第二类是基于物理模型的图像去雾方法。
第一类基于图像增强的图像去雾方法，如直方图均衡化算法，通过灰度直方图的形状，能判断该图像的清晰度和黑白对比度，即如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。
但是，这类基于图像增强的图像去雾方法，并不考虑图像退化模型及降质原因，仅从图像处理的角度提高图像对比度，因此容易造成图像的信息丢失，并不能从根本上去雾。
第二类基于物理模型的图像去雾方法，比如构建图像去雾模型，将低分辨率图像作为输入并产生高分辨率输出，得到去雾图像；具体为：通过构建图像去雾模型，获取有雾图像数据，再通过结合循环一致性和感知损失来增强Cycle生成对抗网络模型，以便改善纹理信息恢复的质量并产生视觉上更好的清晰图像。
然而，这类基于物理模型的图像去雾方法，由于采用一些室内图像进行端到端的训练模型，导致室内数据场景较为单一，并且无法很好的类比到真实雾天图像，图像景深距离小，不符合真是雾天图像的特性，去雾模型泛化性不够，同时该技术方案中，往往对图像进行去雾处理后导致图像细节损失严重，无法实现良好的收敛性，而且去雾结果颜色对比度较低并且去雾力度不足，仍有少许残雾出现。
因此，提供一种去雾效果更好的去雾方法，是目前需要解决的主要问题。
发明内容
本申请提供了一种基于生成对抗网络的无人机航拍图像去雾方法及装置，以解决现有的基于图像增强的图像去雾方法和基于物理模型的图像去雾方法均去雾效果不佳的问题。
本申请采用的技术方案如下：
第一方面，本发明提供一种基于生成对抗网络的无人机航拍图像去雾方法，包括：
合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；
将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；
构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，高频信息损失函数、低频信息损失函数和内容信息损失函数；
将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；
将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。
在一种可实现的实施方式中，所述生成器包括编码器、残差结构和解码器；
构建用于雾天图像去雾形成去雾图像的生成器，包括：
编码器对雾天图像提取图像特征；
残差网络将提取图像特征的雾天图像转换为符合目标域数据分布的特征图；
转换器将所述特征图的特征向量进行扩张反演出低级特征，若步长为1，则输入输出特征图大小相等；
若步长为2，则经卷积后输出特征大小减半，经反卷积后输出特征大小加倍，得到原尺寸的去雾图像。
进一步地，所述编码器包括3个卷积、3个批规范化层和3个ReLU激活层，卷积核大小为3*3，步长为2；
残差结构包括6个残差块，每个残差块又包含了2个卷积层、2个批规范化层和1个ReLU激活层，卷积核大小为3*3，步长为1；
解码器包括2个反卷积层、2个批规范化层、2个ReLU激活层、1个卷积层和1个ReLU激活层。
在一种可实现的实施方式中，用于判别生成器生成的图像是真实图像还是生成图像的判别器，包括：
固定生成器的参数，先训练判别器，让判别器能够分辨生成对抗网络的输入数据是来自于真实数据还是生成数据；
当判别器训练完成后，固定判别器的参数，训练生成器网络，让生成器网络生成的去雾图像能够最小化真实数据和生成数据的差异；
经过多次迭代，直至生成器网络和判别器达到纳什均衡。
进一步地，所述判别器包括5个卷积模块，每个卷积层均使用Leaky-Relu激活函数，分别为Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4和Conv Layer；
所述Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4用于提取生成器的输出图像特征，每层卷积的卷积核大小为4*4，步长为2；
通过添加产生一维输出的卷积层Conv Layer，其卷积核大小为4*4，步长为1；
使用Sigmoid激活函数，判断生成的去雾图像是否符合真实图像的数据分布，若真实图像则输出为1，则重建图像则输出为0。
在一种可实现的实施方式中，所述约束函数为Haze loss损失函数，所述Hazeloss损失函数的定义为：
Haze Loss＝α*Llow+β*Lhigh+γ*Lcontent (1)
Ib(i，j)＝∑m，nI(i+m，j+n).G(m，n) (4)
(1)式中α、β和γ分别是高频信息、低频信息和内容信息损失函数的权重，Llow为低频信息损失函数，Lhigh为高频信息损失函数，Lconten，为内容信息损失函数；(2)式中(Ix)b、(Iy)b和F(G(Ix))b、G(F(Iy)))b分别表示进行高斯模糊处理后的原始图像和生成图像；(3)式中(Ix)v、(Iy)v和F(G(Ix)))v、G(F(Iy)))v分别表示雾天图像和清晰图像和它们的重建图像在HSV空间中V通道的灰度图像；(4)式中Ib表示对图像I进行高斯模糊处理，Ib(i，j)表示图像中的像素点(i，j)，G(m，n)为高斯模糊算子，G(m，n)中的m，n决定模糊半径的大小；(5)式中α表示正态分布的标准偏差，此处α2＝3，(6)式中Ix、Iy、F(G(Ix)))和G(F(Iy))分别表示雾天和无雾输入图像和它们的重建图像。
第二方面，本发明提供一种基于生成对抗网络的无人机航拍图像去雾装置，包括：
合成模块，用于合成多对同一场景下的无人机航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；
划分模块，用于将多对同一场景下的无人机航拍雾天图像和清晰图像划分为训练集和测试集；
构建生成对抗网络模块，用于构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括色彩饱和度、对比度和亮度约束信息；
训练模块，用于将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；
测试模块，用于将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。
第三方面，本发明提供一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或者多个处理器实现如上所述的基于生成对抗网络的去雾方法。
第四方面，本发明提供一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上所述的基于生成对抗网络的去雾方法。
采用本申请的技术方案的有益效果如下：
本发明提出一种新的特征约束函数对CycleGAN网络进行优化。雾天图像可以分为高频和低频分量两部分，在雾天图像中雾霾主要存在于低频分量并且低频分量主要由图像的颜色、对比度以及亮度等信息组成，高频分量主要是一些细节、边缘变化锐利的纹理信息，并且雾天图像的色彩饱和度、对比度严重下降，纹理细节信息损失严重。本申请选用低频信息作为约束函数评估图像之间的亮度、对比度和色彩饱和度之间的差异，同时消除纹理和内容信息。而选取高频信息作为约束条件是为了增强图像去雾后的细节纹理信息。并在此基础上加入内容损失，使得图像具有相似的特征，包括图像内容和感知质量等方面，从而获得更加符合人眼视觉特性的图像。基于上述分析，本申请的特征约束函数Haze Loss通过对雾天图像进行颜色、纹理和内容的约束，不仅能提升图像去雾性能，而且增强后图像的纹理细节信息得到了更好的恢复，更有利于后续的图像处理工作。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于生成对抗网络的无人机航拍图像去雾方法的流程图；
图2为不同场景、浓度下的合成雾天图像及对应的清晰图像；
图3为雾天图像和清晰图像的HSV通道分量示意图；
图4为雾天图像和清晰图像的不同HSV通道分量的组合对比示意图；
图5为1492对图像之间H通道的MSE散点图；
图6为Cycle生成对抗网络的网络整体示意图；
图7为生成网络结构图(雾天图像到去雾图像过程)；
图8为判别器结构图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
为便于对申请的技术方案进行，以下首先在对本申请所涉及到的一些概念进行说明。
(1)RGB格式的图像：RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一，RGB格式的图像即每个像素点均有红(R)、绿(G)、蓝(B)三个颜色。
(2)灰度图像：灰度数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度，尽管理论上这个采样可以任何颜色的不同深浅，甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。
(3)训练：本发明中训练指的是将批量有标签的数据作为网络模型的输入，经过训练后得到的权重包含针对这些数据对应变换的参数。
(4)模型：本发明中模型指的是训练产生的权重参数和对应的网络结构。
(5)约束函数：本发明中约束函数指的是用来约束循环生成对抗网络模型所用的损失函数。
(6)低频信息：图像中的低频分量主要由图像的颜色、对比度以及亮度等信息组成。
(7)高频信息：图像的高频分量主要是一些细节、边缘变化锐利的纹理信息，并且雾天图像的色彩饱和度、对比度严重下降，纹理细节信息损失严重。
(8)图像先验信息：先验信息指的是根据大量数据的统计和分析发现某类图像具有一种通用或特定的规律，不随图像本身的背景和场景变化。
由于现有的直方图均衡化算法，通过灰度直方图的形状，能判断该图像的清晰度和黑白对比度，即如果获得一幅图像的直方图效果不理想，可以通过直方图均衡化处理技术作适当修改，即把一幅已知灰度概率分布图像中的像素灰度作某种映射变换，使它变成一幅具有均匀灰度概率分布的新图像，实现使图像清晰的目的。但是，这类基于图像增强的图像去雾方法，并不考虑图像退化模型及降质原因，仅从图像处理的角度提高图像对比度，因此容易造成图像的信息丢失，并不能从根本上去雾。构建图像去雾模型，将低分辨率图像作为输入并产生高分辨率输出，得到去雾图像；具体为：通过构建图像去雾模型，获取有雾图像数据，再通过结合循环一致性和感知损失来增强Cycle生成对抗网络模型，以便改善纹理信息恢复的质量并产生视觉上更好的清晰图像。然而，这类基于物理模型的图像去雾方法，由于采用一些室内图像进行端到端的训练模型，导致室内数据场景较为单一，并且无法很好的类比到真实雾天图像，图像景深距离小，不符合真是雾天图像的特性，去雾模型泛化性不够，同时该技术方案中，往往对图像进行去雾处理后导致图像细节损失严重，无法实现良好的收敛性，而且去雾结果颜色对比度较低并且去雾力度不足，仍有少许残雾出现。
因此，本申请提出了一种基于生成对抗网络的无人机航拍图像去雾方法及装置，具体结合图1至图8以及如下所述。
第一方面，如图1所示，本发明提供的一种基于生成对抗网络的无人机航拍图像去雾方法，包括：
S100：合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式。
步骤S100中是先合成多对同一场景下的RGB格式的雾天图像和清晰图像，再将RGB格式的雾天图像和清晰图像转换为HSV格式。
相对于其他计算机视觉任务而言，成对的雾天数据集更难获取，数据对深度学习的效果影响更为突出。本申请通过人工搜索、现场采集一共得到6081幅不同场景下无人机航拍的室外图像数据，而在去雾领域，大气散射模型被广泛应用于去雾技术研究，如式(7)所示：
I(x)＝J(x)t(x)+A(x)(1-t(x)) (7)
式(7)中，I(x)是雾天图像；J(x)是对应的清晰图像；A(x)为大气光强度值，表明环境光的强度；t(x)为散射率。当大气光值均匀时，散射率t(x)可表示为t(x)＝e-βd(x)，其中β是大气散射系数，d(x)表示景深。为了可以适应不同天气下的雾浓度，将散射率随机设置在[0.6，1.8]，大气光值随机设置在[0.7，1.0]，合成不同程度的雾霾图像共6081幅。如图2所示，根据不同参数组合，每张原图对应不同雾级的合成雾图。
S200：将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集。
本申请选择在合成的6081对雾天图像数据集上训练模型，并将其分辨率调整至480×640，从中随机抽取5473张作为训练集，其余608张作为测试集。
本申请对大量雾天图像和无雾清晰图像在HSV空间分别进行通道分解(如图3所示)，并且采用不同的组合方式来对不同的通道进行组合对比，发现将雾天图像的H通道同清晰图像的S、V通道进行组合时发现与真实无雾清晰图像并无明显差异(如图4所示)。根据这一现象对1492对雾图和清晰图像进行统计，发现雾天图像和清晰图像在H分量上的均方误差MSE非常小，得到该先验规律。
从图3、图4中可以直观看出无论是雾天图像的H分量还是清晰图像的H分量，相较于其他的组合形式对最终的效果产生的影响几乎与原始图像一致，由此对大量雾天-清晰图像对进行统计分析得出雾天图像的HSV分量中的H分量对雾天图像的差异影响很小这一先验知识。针对雾天图像特点而言，通过统计处雾天图像和清晰图像在HSV空间中H分量差异很小这一先验知识可以指导对损失约束函数的设计，目的是更加有针对性的约束雾天图像。
其中，本方法通过对1492对分辨率为256*256的雾天图像和清晰图像在HSV颜色空间的统计分析，发现将雾图由RGB颜色空间映射到HSV颜色空间后，在同一场景下的航拍雾天图像和清晰图像的HSV分量中的H分量对雾天图像差异影响很小，如图5所示。
S300：构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，高频信息损失函数、低频信息损失函数和内容信息损失函数。
步骤S300中将约束函数Haze loss和Cycle生成对抗网络网络结合，具体如下所述：
Cycle生成对抗网络的整体网络结构，分为生成器和判别器两个网络，两个部分独立进行，其中生成网络的作用是通过学习目标域的数据分布来对输入图像进行重建，生成器G和F采用完全一样的网络结构，整体网络模型如图6所示。
其中，所述生成器包括编码器、残差结构和解码器；所述编码器包括3个卷积、3个批规范化层和3个ReLU激活层，卷积核大小为3*3，步长为2；残差结构包括6个残差块，每个残差块又包含了2个卷积层、2个批规范化层和1个ReLU激活层，卷积核大小为3*3，步长为1；解码器包括2个反卷积层、2个批规范化层、2个ReLU激活层、1个卷积层和1个ReLU激活层。
如图7所示，在一种可实现的实施方式中，构建用于雾天图像去雾形成去雾图像的生成器，包括：
编码器对雾天图像提取图像特征；
残差网络将提取图像特征的雾天图像转换为符合目标域数据分布的特征图；
转换器将所述特征图的特征向量进行扩张反演出低级特征，若步长为1，则输入输出特征图大小相等；
若步长为2，则经卷积后输出特征大小减半，经反卷积后输出特征大小加倍，得到原尺寸的去雾图像。
其中，如图8所示，所述判别器包括5个卷积模块，每个卷积层均使用Leaky-Relu激活函数，分别为Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4和Conv Layer；ConvLayer1、Conv Layer2、Conv Layer3、Conv Layer4用于提取生成器的输出图像特征，每层卷积的卷积核大小为4*4，步长为2；通过添加产生一维输出的卷积层Conv Layer，其卷积核大小为4*4，步长为1；使用Sigmoid激活函数，判断生成的去雾图像是否符合真实图像的数据分布，若真实图像则输出为1，则重建图像则输出为0。
在一种可实现的实施方式中，用于判别生成器生成的图像是真实图像还是生成图像的判别器，包括：
固定生成器的参数，先训练判别器，让判别器能够分辨生成对抗网络的输入数据是来自于真实数据还是生成数据；
当判别器训练完成后，固定判别器的参数，训练生成器网络，让生成器网络生成的去雾图像能够最小化真实数据和生成数据的差异；
经过多次迭代，直至生成器网络和判别器达到纳什均衡。
在一种可实现的实施方式中，构造的约束函数定义为Haze loss损失函数，加入模糊实现细节包括低频信息损失函数、高频信息损失函数和内容信息损失函数，所述Hazeloss损失函数的定义为：
Haze Loss＝α*Llow+β*Lhigh+γ*Lcontent (8)
其中，(8)式中α、β和γ分别是三项损失函数(高频信息、低频信息和内容信息损失函数)的权重，通过大量数据验证取经验值。通过统计了6081对航拍图像及对应的合成有雾图像的实验，α、β和γ分别取值0.46，0.59和0.97的时候能得到最优的去雾效果；Llow为低频信息损失函数，Lhigh为高频信息损失函数，Lcontent为内容信息损失函数。
为了获取低频(Low-Frequency)信息，本申请对图像进行高斯核模糊处理，主要是为了消除纹理和内容信息的影响，进而约束图像的色彩饱和度、对比度和亮度等信息。低频信息损失的定义如下：
其中，(9)式中(Ix)b、(Iy)b和F(G(Ix))b、G(F(Iy)))b分别表示进行高斯模糊处理后的原始图像和生成图像。
根据大量数据统计得到的雾天图像和清晰图像间H分量差异很小这一先验知识，同时为避免因S分量的色彩饱和度信息产生的误差，本申请对图像高频(High-Frequency)纹理特征信息在V通道进行约束，在最大化舍弃图像色彩信息的同时保留图像的高频纹理信息。根据上述分析，高频信息损失的定义如下：
其中，(9)式中(Ix)v、(Iy)v和F(G(Ix)))v、G(F(Iy)))v分别表示雾天图像和清晰图像和它们的重建图像在HSV空间中V通道的灰度图像。
Ib(i，j)＝∑m，nI(i+m，j+n).G(m，n) (10)
其中，(10)式中Ib表示对图像I进行高斯模糊处理，Ib(i，j)表示图像中的像素点(i，j)，高斯模糊算子表示为G(m，n)，G(m，n)中的m，n决定模糊半径的大小，模糊半径为
其中高斯模糊算子G(m,n)的定义如下：
其中，(11)式中α表示正态分布的标准偏差，为了消除高频纹理信息对图像进行高斯模糊处理，在消除纹理和内容信息的同时最大限度地保留图像的原始信息，这里取α2＝3。
本申请利用图像内容信息损失在特征空间对图像进行约束，包括图像内容和感知质量等方面，从而获得更加符合人眼视觉特性的图像。本方法采用预训练的VGG-16模型的ReLU层生成的激活映射来定义内容损失。假设
是在VGG-16的第i个卷积层后得到的特征图，内容损失定义如下：
其中，(12)式Ix、Iy、F(G(Ix)))和G(F(Iy))分别表示雾天和无雾输入图像和它们的重建图像。
S400：将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器。
S500：将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。
本发明提出一种新的特征约束函数对Cycle生成对抗网络网络进行优化。雾天图像可以分为高频和低频分量两部分，在雾天图像中雾霾主要存在于低频分量并且低频分量主要由图像的颜色、对比度以及亮度等信息组成，高频分量主要是一些细节、边缘变化锐利的纹理信息，并且雾天图像的色彩饱和度、对比度严重下降，纹理细节信息损失严重。本申请选用低频信息作为约束函数评估图像之间的亮度、对比度和色彩饱和度之间的差异，同时消除纹理和内容信息。而选取高频信息作为约束条件是为了增强图像去雾后的细节纹理信息。并在此基础上加入内容损失，使得图像具有相似的特征，包括图像内容和感知质量等方面，从而获得更加符合人眼视觉特性的图像。基于上述分析，本申请的特征约束函数HazeLoss通过对雾天图像进行颜色、纹理和内容的约束，不仅能提升图像去雾性能，而且增强后图像的纹理细节信息得到了更好的恢复，更有利于后续的图像处理工作。本发明通过Cycle生成对抗网络网络结合约束函数Haze loss雾天图像上进行去雾处理，与最原始的基于Cycle生成对抗网络网络的方法相比，本发明在雾天图像上的去雾效果更显著。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
第二方面，本发明提供一种基于生成对抗网络的去雾装置，包括：
合成模块，用于合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；
划分模块，用于将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；
构建生成对抗网络模块，用于构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括色彩饱和度、对比度和亮度约束信息；
训练模块，用于将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；
测试模块，用于将测试集中的雾天图像输入训练好的生成器预测去雾后的图像。
需要说明的是：上述实施例提供的基于生成对抗网络的无人机航拍图像去雾方法在进行图像去雾时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于生成对抗网络的去雾装置与基于生成对抗网络的无人机航拍图像去雾方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
其中，具体关于基于生成对抗网络的去雾装置的限定可以参见上文中对低照度全景图像增强方法的限定，在此不多做赘述。另外，上述基于生成对抗网络的去雾装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
第三方面，本发明提供一种计算机设备，该计算机设备可以是服务器。该计算机设备包括：一个或多个处理器，用于提供计算和控制能力；存储器，存储器用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或者多个处理器实现以下步骤：合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括高频信息损失函数、低频信息损失函数和内容信息损失函数；将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；将测试集中的雾天图像输入训练完成的生成器预测去雾后的图像。
作为第四方面，本发明还公开了一种计算机可读介质，其上存储有计算机程序，该计算机可读介质可以是上述实施例中描述的设备中所包含的，也可以是单独存在，而未装配入该设备中。上述程序被处理器执行以下步骤：合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括高频信息损失函数、低频信息损失函数和内容信息损失函数；将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；将测试集中的雾天图像输入训练完成的生成器预测去雾后的图像。
需要说明的是,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个....”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
应当理解的是,本申请并不局限于上面己经描述并在附图中示出的内容,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (9)
1.一种基于生成对抗网络的无人机航拍图像去雾方法及装置，其特征在于，包括：
合成多对同一场景下的无人机航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；
将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；
构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括高频信息损失函数、低频信息损失函数和内容信息损失函数；
将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；
将测试集中的航拍雾天图像输入训练完成的生成器预测去雾后的图像。
2.根据权利要求1所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述生成器包括编码器、残差结构和解码器；
构建用于雾天图像去雾形成去雾图像的生成器，包括：
编码器对雾天图像提取图像特征；
残差网络将提取图像特征的雾天图像转换为符合目标域数据分布的特征图；
转换器将所述特征图的特征向量进行扩张反演出低级特征，若步长为1，则输入输出特征图大小相等；
若步长为2，则经卷积后输出特征大小减半，经反卷积后输出特征大小加倍，得到原尺寸的去雾图像。
3.根据权利要求2所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述编码器包括3个卷积、3个批规范化层和3个ReLU激活层，卷积核大小为3*3，步长为2；
残差结构包括6个残差块，每个残差块又包含了2个卷积层、2个批规范化层和1个ReLU激活层，卷积核大小为3*3，步长为1；
解码器包括2个反卷积层、2个批规范化层、2个ReLU激活层、1个卷积层和1个ReLU激活层。
4.根据权利要求1所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，用于判别生成器生成的图像是真实图像还是生成图像的判别器，包括：
固定生成器的参数，先训练判别器，让判别器能够分辨生成对抗网络的输入数据是来自于真实数据还是生成数据；
当判别器训练完成后，固定判别器的参数，训练生成器网络，让生成器网络生成的去雾图像能够最小化真实数据和生成数据的差异；
经过多次迭代，直至生成器网络和判别器达到纳什均衡。
5.根据权利要求4所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述判别器包括5个卷积模块，每个卷积层均使用Leaky-Relu激活函数，分别为ConvLayer1、Conv Layer2、Conv Layer3、Cony Layer4和Cony Layer；
所述Conv Layer1、Conv Layer2、Conv Layer3、Conv Layer4用于提取生成器的输出图像特征，每层卷积的卷积核大小为4*4，步长为2；
通过添加产生一维输出的卷积层Conv Layer，其卷积核大小为4*4，步长为1；
使用Sigmoid激活函数，判断生成的去雾图像是否符合真实图像的数据分布，若真实图像则输出为1，则重建图像则输出为0。
6.根据权利要求1所述的基于生成对抗网络的无人机航拍图像去雾方法，其特征在于，所述约束函数为Haze loss损失函数，所述Haze loss损失函数的定义为：
Haze Loss＝w1*Llf+w2*Lhf+w3*Lcontent (1)
Ib(i，j)＝∑m，nI(i+m，j+n).G(m，n) (4)
(1)式中w1、w2和w2分别是高频信息、低频信息和内容信息损失函数的权重，Llf为低频信息损失函数，Lhf为高频信息损失函数，Lcontent为内容信息损失函数；(2)式中(Ix)b、(Iy)b和F(G(Ix))b、G(F(Iy)))b分别表示进行高斯模糊处理后的原始图像和生成图像；(3)式中(Ix)v、(Iy)v和F(G(Ix)))v、G(F(Iy)))v分别表示雾天图像和清晰图像和它们的重建图像在HSV空间中V通道的灰度图像；(4)式中Ib表示对图像I进行高斯模糊处理，Ib(i，j)表示图像中的像素点(i，j)，G(m，n)为高斯模糊算子，G(m，n)中的m，n决定模糊半径的大小；(5)式中α表示正态分布的标准偏差，此处α2＝3，(6)式中Ix、Iy、F(G(Ix)))和G(F(Iy))分别表示雾天和无雾输入图像和它们的重建图像。
7.一种基于生成对抗网络的去雾装置，包括：
合成模块，用于合成多对同一场景下的航拍雾天图像和清晰图像，所述雾天图像和清晰图像均为HSV格式；
划分模块，用于将多对同一场景下的航拍雾天图像和清晰图像划分为训练集和测试集；
构建生成对抗网络模块，用于构建用于雾天图像去雾生成去雾图像的生成器，以及用于判别生成器生成的图像是真实图像还是生成图像的判别器，其中，所述生成器中具有约束函数，所述约束函数为根据雾天图像和清晰图像在H分量上的差异构建的，所述约束函数包括色彩饱和度、对比度和亮度约束信息；
训练模块，用于将训练集中成对的雾天图像和清晰图像与去雾图像交替训练生成器和判别器直至收敛到纳什平衡，得到并保存训练好的生成器和判别器；
测试模块，用于将测试集中的航拍雾天图像输入训练好的生成器预测去雾后的图像。
8.一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或者多个处理器实现如权利要求1至6任一项所述的基于生成对抗网络的去雾方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6任一项所述的基于生成对抗网络的去雾方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111483374.XA CN116245739A (zh) | 2021-12-07 | 2021-12-07 | 基于生成对抗网络的无人机航拍图像去雾方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111483374.XA CN116245739A (zh) | 2021-12-07 | 2021-12-07 | 基于生成对抗网络的无人机航拍图像去雾方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116245739A true CN116245739A (zh) | 2023-06-09 |
Family
ID=86633573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111483374.XA Pending CN116245739A (zh) | 2021-12-07 | 2021-12-07 | 基于生成对抗网络的无人机航拍图像去雾方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116245739A (zh) |
-
2021
- 2021-12-07 CN CN202111483374.XA patent/CN116245739A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| Wu et al. | A two-stage underwater enhancement network based on structure decomposition and characteristics of underwater imaging | |
| CN112288658A (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
| CN110136075B (zh) | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 | |
| CN111738948B (zh) | 一种基于双U-net的水下图像增强方法 | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| CN110570381B (zh) | 一种基于高斯总变差的半解耦图像分解暗光图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN112614070B (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
| CN110827218A (zh) | 基于图像hsv透射率加权校正的机载图像去雾方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| Wang et al. | Underwater color disparities: Cues for enhancing underwater images toward natural color consistencies | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN113298744B (zh) | 一种端到端的红外与可见光图像融合方法 | |
| Pan et al. | ChebyLighter: Optimal Curve Estimation for Low-light Image Enhancement | |
| Guan et al. | DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model | |
| CN114881879A (zh) | 一种基于亮度补偿残差网络的水下图像增强方法 | |
| CN116245739A (zh) | 基于生成对抗网络的无人机航拍图像去雾方法及装置 | |
| Li et al. | Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN112734655A (zh) | 一种基于卷积神经网络图像对crm增强的低光图像增强方法 | |
| CN110796609A (zh) | 基于尺度感知和细节增强模型的低光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |