CN115471429A - 一种基于全局颜色迁移的遥感影像去雾方法和装置 - Google Patents
一种基于全局颜色迁移的遥感影像去雾方法和装置 Download PDFInfo
- Publication number
- CN115471429A CN115471429A CN202211341493.6A CN202211341493A CN115471429A CN 115471429 A CN115471429 A CN 115471429A CN 202211341493 A CN202211341493 A CN 202211341493A CN 115471429 A CN115471429 A CN 115471429A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- image
- sample
- defogging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013508 migration Methods 0.000 title claims abstract description 38
- 230000005012 migration Effects 0.000 title claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007667 floating Methods 0.000 claims description 6
- 239000003595 mist Substances 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 230000004075 alteration Effects 0.000 abstract description 16
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于全局颜色迁移的遥感影像去雾方法和装置，涉及影像增强的技术领域，包括：获取样本遥感影像集，并利用预设加雾算法，对样本遥感影像集进行加雾处理，得到目标遥感影像集；利用目标遥感影像集和样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；在获取到待去雾影像之后，利用目标去雾网络模型对待去雾影像进行去雾处理，得到初始去雾影像；将待去雾影像和初始去雾影像转换至Lab颜色空间进行颜色迁移，得到目标去雾影像，解决了现有的遥感影像去雾方法效率较低且完成去雾的遥感影像存在色差的技术问题。
Description
技术领域
本发明涉及影像增强的技术领域，尤其是涉及一种基于全局颜色迁移的遥感影像去雾方法和装置。
背景技术
在室外影像采集的过程中，经常会遭遇雾霾天等恶劣环境，在这种环境之下，空气中的雾气、灰尘、雨滴等细小悬浮颗粒会引起光线的散射吸收，阻碍光线传播，从而造成采集影像的颜色失真、结构信息模糊等退化问题。影像的退化严重干扰计算机视觉系统对影像真实特征的提取，并影响其后续分析、理解以及识别。因此，能将雾图重建为原始清晰影像的去雾算法在诸如智能交通、民航辅助、自动驾驶、遥感观测等领域都拥有着重大应用价值。
近年来的去雾算法可以大致分为两类，一类就是早期基于影像先验知识(对比度、暗通道先验)的传统算法对影像雾相关的特征、物理量直接进行预测，这类算法容易造成影像的颜色畸变，并且只适用于特定场景，稳定性较差，鲁棒性较差；第二类则是基于深度学习的去雾算法，利用神经网络对清晰影像或是对传输率等物理量直接进行端到端的预测，这一类算法得益于深度网络的表达能力，通常效果不错，但是对于通常尺寸较大的遥感影像（诸如无人机影像、卫星影像）来讲，深度神经网络的计算消耗是实际应用中的一大瓶颈。同样因为此瓶颈，当类似去雾的影像增强算法无法直接处理整张遥感影像时，通常会将影像分割为若干块，将其分别送入模型处理后再进行拼接得到最后的结果。但因为模型此时仅有单个分块的感受野，影像在拼接之后分块之间自然会有不同程度的色差，从而使得影像复原的质量受到极大影响，这也是当前遥感影像增强应用中亟待解决的一个问题。
针对上述问题，还未提出有效的解决方案。
发明内容
有鉴于此，本发明的目的在于提供一种基于全局颜色迁移的遥感影像去雾方法和装置，以缓解了现有的遥感影像去雾方法效率较低且完成去雾的遥感影像存在色差的技术问题。
第一方面，本发明实施例提供了一种基于全局颜色迁移的遥感影像去雾方法，包括： 获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；将所述待去雾影像和所述初始去雾影像转换至 Lab颜色空间进行颜色迁移，得到目标去雾影像。
进一步地，所述预设加雾算法包括第一加雾算法和第二加雾算法，则利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集，包括：利用所述第一加雾算法和所述第二加雾算法，以随机概率对所述样本遥感影像集中的各个样本遥感影像进行加雾处理，得到所述目标遥感影像集；其中，所述第一加雾算法为
；所述第二加雾算法为
；
和
用于表征所述样本遥感影像中像素的位置，
为雾浓度系数，
和
用于表征所述样本遥感影像的尺寸，
为0到1之间的随机浮点数，
为所述样本遥感影像的随机传输率，
为所述样本遥感影像中像素的传输率，
所述样本遥感影像中像素的亮度系数，
为所述样本遥感影像。
进一步地，所述初始去雾网络模型包括生成器和判别器；其中，所述生成器的输入层和输出层由7×7的普通卷积和步长为2的2×2卷积、转置卷积重叠，用于对所述样本遥感影像进行下采样和特征还原；所述生成器的编码层和解码层的每层都由一个CA-ConvNext模块构成，均使用步长为2的2×2卷积、转置卷积对中间特征尺寸进行变换，并以add操作进行残差连接；所述编码层的末尾加入了由CA-ConvNext模块堆叠构成的特征转换层，其首尾由带权重的残差连接，且，所述生成器不包括Normalization层，所述CA-ConvNext模块由深度可分离卷积及反置权重残差结构组成。
进一步地，利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，包括：对所述目标遥感影像集中的目标遥感影像和所述样本遥感影像集中的样本遥感影像进行下采样，得到第一目标遥感影像集和第一样本遥感影像集；按照预设尺寸，对所述第一目标遥感影像集中的遥感影像和所述第一样本遥感影像集中的遥感影像进行裁切，得到初始样本集；对所述初始样本集进行归一化处理和数据增强处理，得到样本集；利用所述样本集对所述初始去雾网络模型进行迭代训练，直至迭代次数达到预设次数或损失函数值小于预设阈值，将迭代次数达到预设次数或损失函数值小于预设阈值时得到的去雾网络模型确定为损失目标去雾网络模型。
进一步地，在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像，包括：对所述待去雾影像进行下采样处理、插值处理和裁切处理，得到影像块；将所述影像块输入所述目标去雾网络模型，得到完成去雾的影像块；对所述完成去雾的影像块进行拼接处理，得到所述初始去雾影像。
第二方面，本发明实施例还提供了一种基于全局颜色迁移的遥感影像去雾装置，包括： 获取单元，训练单元，执行单元和颜色迁移单元，其中，所述获取单元，用于获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；所述训练单元，用于利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；所述执行单元，用于在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；所述颜色迁移单元，用于将所述待去雾影像和所述初始去雾影像转换至 Lab颜色空间进行颜色迁移，得到目标去雾影像。
进一步地，所述预设加雾算法包括第一加雾算法和第二加雾算法，则所述获取单元，用于：利用所述第一加雾算法和所述第二加雾算法，以随机概率对所述样本遥感影像集中的各个样本遥感影像进行加雾处理，得到所述目标遥感影像集；其中，所述第一加雾算法为
；所述第二加雾算法为
；
和
用于表征所述样本遥感影像中像素的位置，
为雾浓度系数，
和
用于表征所述样本遥感影像的尺寸，
为0到1之间的随机浮点数，
为所述样本遥感影像的随机传输率，
为所述样本遥感影像中像素的传输率，
所述样本遥感影像中像素的亮度系数，
为所述样本遥感影像。
进一步地，所述初始去雾网络模型包括生成器和判别器；其中，所述生成器的输入层和输出层由7×7的普通卷积和步长为2的2×2卷积、转置卷积重叠，用于对所述样本遥感影像进行下采样和特征还原；所述生成器的编码层和解码层的每层都由一个CA-ConvNext模块构成，均使用步长为2的2×2卷积、转置卷积对中间特征尺寸进行变换，并以add操作进行残差连接；所述编码层的末尾加入了由CA-ConvNext模块堆叠构成的特征转换层，其首尾由带权重的残差连接，且，所述生成器不包括Normalization层，所述CA-ConvNext模块由深度可分离卷积及反置权重残差结构组成。
第三方面，本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述第一方面中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序。
在本发明实施例中，通过获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；将所述待去雾影像和所述初始去雾影像转换至 Lab颜色空间进行颜色迁移，得到目标去雾影像，达到了对遥感影像进行高效的去雾处理以及消除了完成去雾的遥感影像的色差的目的，进而解决了现有的遥感影像去雾方法效率较低且完成去雾的遥感影像存在色差的技术问题，从而实现了提高遥感影像进行去雾处理的效率以及消除了完成去雾的遥感影像的色差的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于全局颜色迁移的遥感影像去雾方法的流程图；
图2为本发明实施例提供的初始去雾网络模型的示意图；
图3为本发明实施例提供的Ca-ConvNext 模块的示意图；
图4为本发明实施例提供的一种基于全局颜色迁移的遥感影像去雾装置的示意图；
图5为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
根据本发明实施例，提供了一种基于全局颜色迁移的遥感影像去雾方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种基于全局颜色迁移的遥感影像去雾方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；
优选的，上述的样本遥感影像集中四分之三采集、筛选于真实的卫星、无人机遥感影像，四分之一采集于DIV8K数据集中的高分辨率自然影像，尺寸均在4000×6000左右，数量为6000张。
步骤S104，利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；
步骤S106，在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；
步骤S108，将所述待去雾影像和所述初始去雾影像转换至 
颜色空间进行颜色迁移，得到目标去雾影像。
在本发明实施例中，通过获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；将所述待去雾影像和所述初始去雾影像转换至Lab颜色空间进行颜色迁移，得到目标去雾影像，达到了对遥感影像进行高效的去雾处理以及消除了完成去雾的遥感影像的色差的目的，进而解决了现有的遥感影像去雾方法效率较低且完成去雾的遥感影像存在色差的技术问题，从而实现了提高遥感影像进行去雾处理的效率以及消除了完成去雾的遥感影像的色差的技术效果。
在本发明实施例中，步骤S102包括如下步骤：
利用所述第一加雾算法和所述第二加雾算法，以随机概率对所述样本遥感影像集中的各个样本遥感影像进行加雾处理，得到所述目标遥感影像集；
其中，所述第一加雾算法为
；
所述第二加雾算法为
；
在本发明实施例中，为了制作尽可能真实的仿真有雾数据，参考大气散射模型及雾气不均匀的特性，将上述两种加雾算法以随机概率的方式糅合在一起，对样本遥感影像集进行的仿真加雾。
不同于以往的去雾算法数据仿真方法(如RESIDE数据集)对β、t、A这些系数都是在有限的集合中随机抽取，本发明实施例中β、t、A都为一定阈值范围内的随机浮点数，每次在线加雾都J具有随机性，增加例模型的泛化性。在本发明一实例中，β阈值范围为[0.05,0.08]，t阈值范围为[0.4，0.85]，A阈值范围为[0.45, 0.95]。
下面对上述初始去雾网络模型进行详细说明。
本发明实施例中的去雾算法基于生成对抗网络、ConvNext以及注意力机制。如图2所示，在生成器输入层，为了减少计算消耗，影像首先经过7×7卷积转为通道数为512×512×16的特征图，再经过1个步长为2的2×2卷积将特征图转换为256×256×64。然后便是编码层，编码层中的每一层都由1个步长为2的2x2卷积和1个CA-ConvNext模块依次堆叠而成，一共两层，输出特征图依次为128×128×128、64×64×256。编码层的末端连接着由4个CA-ConvNext模块堆叠成的特征转换层，在特征转换层中特征图形状不改变，其首位由权重为0.2的残差连接。解码层与编码器结构相似，每一层都由1个CA-ConvNext模块和1个步长为2的2x2转置卷积依次堆叠而成，一共两层，输出特征图依次为128×128×128、256×256×64。最后输出层也由1个2×2转置卷积与7×7卷积将影像转换为512×512×3，并由Tanh函数将输出压缩在[-1, 1]之间。此输出与GT标签分别喂入由3层3×3卷积组成的全卷积判别器中输出512×512×1的概率预测图用以进行对抗损失的反向传播。
本发明实施例中，生成器中所有模块都未使用Normalization，经实验证明此举可以加速模型收敛、显著提升去雾效果。
本发明实施例中的CA-ConvNext模块如图3所示，由7×7卷积、两个线性层以及CA层组成，其中7×7卷积将通道数降维4倍，第一个线性层将通道数升维4倍，并在其后设置ReLU激活函数。模块的输入与CA层的输出由残差连接，其中CA层由平均池化层和两个1×1卷积、Sigmoid函数构成，第一个1×1卷积后设置ReLU激活函数，Sigmoid的输出与CA层的输入相乘得到CA层的输出。CA层中的两个1×1卷积依次将输入通道数降、升维16倍。
在本发明实施例中，步骤S104包括如下步骤：
对所述目标遥感影像集中的目标遥感影像和所述样本遥感影像集中的样本遥感影像进行下采样，得到第一目标遥感影像集和第一样本遥感影像集；
按照预设尺寸，对所述第一目标遥感影像集中的遥感影像和所述第一样本遥感影像集中的遥感影像进行裁切，得到初始样本集；
对所述初始样本集进行归一化处理和数据增强处理，得到样本集；
利用所述样本集对所述初始去雾网络模型进行迭代训练，直至迭代次数达到预设次数或损失函数值小于预设阈值，将迭代次数达到预设次数或损失函数值小于预设阈值时得到的去雾网络模型确定为损失目标去雾网络模型。
在本发明实施例中，对目标遥感影像集中的目标遥感影像和样本遥感影像集中的样本遥感影像进行下采样，得到第一目标遥感影像集和第一样本遥感影像集；按照预设尺寸，对第一目标遥感影像集中的遥感影像和第一遥感影像集中的样本遥感影像进行裁切，得到目标遥感影像的影像块和样本遥感影像的影像块（即，初始样本集），且一个目标遥感影像的影像块对应一个样本遥感影像的影像块，一个目标遥感影像的影像块与对应的样本遥感影像的影像块够成初始样本集中的一个样本。
接着，对初始样本集中的样本进行归一化处理和数据增强处理，得到样本集。
然后，按照预设比例将样本集划分为训练集、验证集和测试集，并利用训练集、验证集和测试集对初始去雾网络模型进行训练、验证和测试。
在本发明实施例中，生成器与判别器的学习率初始值都设置为0.0002，随着训练线性衰减直至5e-7，训练迭代总数为480000次。损失函数公式如下：
L1损失函数为：
；
对抗损失函数为：
，
；
感知损失函数为： 
；
在本发明实施例中，损失函数值为
，其中，0.005和0.01为权重值。
在本发明实施例中，步骤S106包括如下步骤：
对所述待去雾影像进行下采样处理、插值处理和裁切处理，得到影像块；
将所述影像块输入所述目标去雾网络模型，得到完成去雾的影像块；
对所述完成去雾的影像块进行拼接处理，得到所述初始去雾影像。
在本发明实施例中，在获取到分辨率为4000×6000的待去雾影像之后，对待去雾影像下采样2倍为2000x3000，插值方式为BICUBIC，然后将其分成若干512×512的影像块，并将影像块归一化到[-1, 1]之后，依次送入目标去雾网络模型，得到完成去雾的影像块。
接着，对完成去雾的影像块进行拼接得到有色差的去雾影像（即，初始去雾影像）。
下面对去除初始去雾影像的色差的过程进行说明。
为了解决初始去雾影像的色差问题，将上述有色差的初始去雾影像与待去雾影像一同转至Lab颜色空间进行颜色迁移之后得到目标去雾影像。颜色转换及颜色迁移公式及步骤如下：
RGB颜色空间转XYZ颜色空间的颜色转换公式为
；
XYZ颜色空间转LMS颜色空间的颜色转换公式为
LMS颜色空间转Lab 颜色空间的颜色转换公式为
，
。
颜色迁移公式为：
。
Lab颜色空间转RGB颜色空间的颜色转换公式为
，
。
本发明中，去雾算法基于神经网络及生成对抗方法，生成器为常见的编码器-解码器结构，但由于轻量化、全局感受野、动态特征自适应的考量，所有卷积都由CA-ConvNext模块替代。且本算法舍弃了对特征图的标准化操作，用以更好地保留任务所需的浅层特征；除了去雾算法模块及结构，另一重要技术是为了解决分块处理后的色差问题所提出的基于全局颜色迁移的去色差技术。具体步骤如下：将遥感影像进行适当下采样后送入去雾算法进行去雾，得到的结果与原图都转换至 Lab 颜色空间，以去雾结果作的颜色信息为目标对原图进行颜色迁移，得到无色差的去雾结果。
实施例二：
本发明实施例还提供了一种 基于全局颜色迁移的遥感影像去雾装置，该基于全局颜色迁移的遥感影像去雾装置用于执行本发明实施例上述内容所提供的基于全局颜色迁移的遥感影像去雾方法，以下是本发明实施例提供的基于全局颜色迁移的遥感影像去雾装置的具体介绍。
如图4所示，图4为上述基于全局颜色迁移的遥感影像去雾装置的示意图，该基于全局颜色迁移的遥感影像去雾装置包括：获取单元10，训练单元20，执行单元30和颜色迁移单元40。
所述获取单元，用于获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；
所述训练单元，用于利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；
所述执行单元，用于在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；
所述颜色迁移单元，用于将所述待去雾影像和所述初始去雾影像转换至 Lab 颜色空间进行颜色迁移，得到目标去雾影像。
在本发明实施例中，通过获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；将所述待去雾影像和所述初始去雾影像转换至 Lab 颜色空间进行颜色迁移，得到目标去雾影像，达到了对遥感影像进行高效的去雾处理以及消除了完成去雾的遥感影像的色差的目的，进而解决了现有的遥感影像去雾方法效率较低且完成去雾的遥感影像存在色差的技术问题，从而实现了提高遥感影像进行去雾处理的效率以及消除了完成去雾的遥感影像的色差的技术效果。
实施例三：
本发明实施例还提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行上述实施例一中所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
参见图5，本发明实施例还提供一种电子设备100，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
其中，存储器51可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例一中所述方法的步骤。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于全局颜色迁移的遥感影像去雾方法，其特征在于，包括：
获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；
利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；
在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；
将所述待去雾影像和所述初始去雾影像转换至 Lab颜色空间进行颜色迁移，得到目标去雾影像。
2.根据权利要求1所述的方法，其特征在于， 所述预设加雾算法包括第一加雾算法和第二加雾算法，则利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集，包括：
利用所述第一加雾算法和所述第二加雾算法，以随机概率对所述样本遥感影像集中的各个样本遥感影像进行加雾处理，得到所述目标遥感影像集；
其中，所述第一加雾算法为
；
所述第二加雾算法为
；
3.根据权利要求1所述的方法，其特征在于，
所述初始去雾网络模型包括生成器和判别器；
其中，所述生成器的输入层和输出层由7×7的普通卷积和步长为2的2×2卷积、转置卷积重叠，用于对所述样本遥感影像进行下采样和特征还原；
所述生成器的编码层和解码层的每层都由一个CA-ConvNext模块构成，均使用步长为2的2×2卷积、转置卷积对中间特征尺寸进行变换，并以add操作进行残差连接；
所述编码层的末尾加入了由CA-ConvNext模块堆叠构成的特征转换层，其首尾由带权重的残差连接，且，所述生成器不包括Normalization层，所述CA-ConvNext模块由深度可分离卷积及反置权重残差结构组成。
4.根据权利要求1所述的方法，其特征在于， 利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，包括：
对所述目标遥感影像集中的目标遥感影像和所述样本遥感影像集中的样本遥感影像进行下采样，得到第一目标遥感影像集和第一样本遥感影像集；
按照预设尺寸，对所述第一目标遥感影像集中的遥感影像和所述第一样本遥感影像集中的遥感影像进行裁切，得到初始样本集；
对所述初始样本集进行归一化处理和数据增强处理，得到样本集；
利用所述样本集对所述初始去雾网络模型进行迭代训练，直至迭代次数达到预设次数或损失函数值小于预设阈值，将迭代次数达到预设次数或损失函数值小于预设阈值时得到的去雾网络模型确定为损失目标去雾网络模型。
5.根据权利要求1所述的方法，其特征在于，在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像，包括：
对所述待去雾影像进行下采样处理、插值处理和裁切处理，得到影像块；
将所述影像块输入所述目标去雾网络模型，得到完成去雾的影像块；
对所述完成去雾的影像块进行拼接处理，得到所述初始去雾影像。
6.一种基于全局颜色迁移的遥感影像去雾装置，其特征在于，包括：获取单元，训练单元，执行单元和颜色迁移单元，其中，
所述获取单元，用于获取样本遥感影像集，并利用预设加雾算法，对所述样本遥感影像集进行加雾处理，得到目标遥感影像集；
所述训练单元，用于利用所述目标遥感影像集和所述样本遥感影像集，对初始去雾网络模型进行训练，得到目标去雾网络模型，其中，所述初始去雾网络模型为基于生成对抗网络、ConvNext和注意力机制构建的网络模型；
所述执行单元，用于在获取到待去雾影像之后，利用所述目标去雾网络模型对所述待去雾影像进行去雾处理，得到初始去雾影像；
所述颜色迁移单元，用于将所述待去雾影像和所述初始去雾影像转换至 Lab颜色空间进行颜色迁移，得到目标去雾影像。
7.根据权利要求6所述的装置，其特征在于，所述预设加雾算法包括第一加雾算法和第二加雾算法，则所述获取单元，用于：
利用所述第一加雾算法和所述第二加雾算法，以随机概率对所述样本遥感影像集中的各个样本遥感影像进行加雾处理，得到所述目标遥感影像集；
其中，所述第一加雾算法为
；
所述第二加雾算法为
；
8.根据权利要求6所述的装置，其特征在于，
所述初始去雾网络模型包括生成器和判别器；
其中，所述生成器的输入层和输出层由7×7的普通卷积和步长为2的2×2卷积、转置卷积重叠，用于对所述样本遥感影像进行下采样和特征还原；
所述生成器的编码层和解码层的每层都由一个CA-ConvNext模块构成，均使用步长为2的2×2卷积、转置卷积对中间特征尺寸进行变换，并以add操作进行残差连接；
所述编码层的末尾加入了由CA-ConvNext模块堆叠构成的特征转换层，其首尾由带权重的残差连接，且，所述生成器不包括Normalization层，所述CA-ConvNext模块由深度可分离卷积及反置权重残差结构组成。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至5任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341493.6A CN115471429B (zh) | 2022-10-31 | 2022-10-31 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211341493.6A CN115471429B (zh) | 2022-10-31 | 2022-10-31 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115471429A true CN115471429A (zh) | 2022-12-13 |
| CN115471429B CN115471429B (zh) | 2023-04-07 |
Family
ID=84336238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211341493.6A Active CN115471429B (zh) | 2022-10-31 | 2022-10-31 | 一种基于全局颜色迁移的遥感影像去雾方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115471429B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949242A (zh) * | 2019-03-19 | 2019-06-28 | 内蒙古工业大学 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
| CN110136075A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111476736A (zh) * | 2020-04-14 | 2020-07-31 | 中国人民解放军陆军特种作战学院 | 一种图像去雾方法、终端及系统 |
| CN111738942A (zh) * | 2020-06-10 | 2020-10-02 | 南京邮电大学 | 一种融合特征金字塔的生成对抗网络图像去雾方法 |
| CN111986109A (zh) * | 2020-08-13 | 2020-11-24 | 湖北富瑞尔科技有限公司 | 一种基于全卷积网络的遥感影像去雾方法 |
| CN113191971A (zh) * | 2021-04-26 | 2021-07-30 | 贵州电网有限责任公司 | 一种基于yuv颜色空间的无人机图像去雾方法 |
| CN113744159A (zh) * | 2021-09-09 | 2021-12-03 | 青海大学 | 一种遥感图像去雾方法、装置及电子设备 |
| US20220076168A1 (en) * | 2020-05-11 | 2022-03-10 | Nanjing University Of Posts And Telecommunications | Method for recognizing fog concentration of hazy image |
-
2022
- 2022-10-31 CN CN202211341493.6A patent/CN115471429B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949242A (zh) * | 2019-03-19 | 2019-06-28 | 内蒙古工业大学 | 图像去雾模型的生成方法、装置及图像去雾方法、装置 |
| CN110136075A (zh) * | 2019-04-18 | 2019-08-16 | 中国地质大学（武汉） | 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法 |
| AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
| CN111476736A (zh) * | 2020-04-14 | 2020-07-31 | 中国人民解放军陆军特种作战学院 | 一种图像去雾方法、终端及系统 |
| US20220076168A1 (en) * | 2020-05-11 | 2022-03-10 | Nanjing University Of Posts And Telecommunications | Method for recognizing fog concentration of hazy image |
| CN111738942A (zh) * | 2020-06-10 | 2020-10-02 | 南京邮电大学 | 一种融合特征金字塔的生成对抗网络图像去雾方法 |
| CN111986109A (zh) * | 2020-08-13 | 2020-11-24 | 湖北富瑞尔科技有限公司 | 一种基于全卷积网络的遥感影像去雾方法 |
| CN113191971A (zh) * | 2021-04-26 | 2021-07-30 | 贵州电网有限责任公司 | 一种基于yuv颜色空间的无人机图像去雾方法 |
| CN113744159A (zh) * | 2021-09-09 | 2021-12-03 | 青海大学 | 一种遥感图像去雾方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| ZHUANG LIU: ""A ConvNet for the 2020s"", 《ARXIV》 * |
| 吴峻江: ""基于感知监督和多层次特征融合的去雾算法"", 《计算机工程与应用》 * |
| 马宏兴: ""基于改进YOLO v5的宁夏草原蝗虫识别研究与实现"", 《农业机械学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115471429B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183788B (zh) | 一种域自适应设备运检系统和方法 | |
| CN114359851A (zh) | 无人驾驶目标检测方法、装置、设备及介质 | |
| CN112801158A (zh) | 基于级联融合和注意力机制的深度学习小目标检测方法及装置 | |
| CN111627015A (zh) | 小样本缺陷识别方法、装置、设备及存储介质 | |
| CN111931799B (zh) | 图像识别方法及装置 | |
| CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN111160096A (zh) | 禽蛋异常的识别方法、装置及系统、存储介质、电子装置 | |
| CN113052106A (zh) | 一种基于PSPNet网络的飞机起降跑道识别方法 | |
| CN113255607A (zh) | 基于多模型融合的遥感房屋检测方法及装置 | |
| CN115578280A (zh) | 一种双分支遥感图像去雾网络的构建方法 | |
| CN115601236A (zh) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN115471429B (zh) | 一种基于全局颜色迁移的遥感影像去雾方法和装置 | |
| CN111079634B (zh) | 车辆行驶中检测障碍物的方法、装置、系统及车辆 | |
| CN115293992B (zh) | 基于无监督权重深度模型的偏振图像去雾方法及装置 | |
| CN115760641A (zh) | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 | |
| CN116258756A (zh) | 一种自监督单目深度估计方法及系统 | |
| CN113139617B (zh) | 一种输电线路自主定位方法、装置及终端设备 | |
| CN115639159A (zh) | 一种基于多光谱影像的废水污染监测方法和装置 | |
| CN115170746A (zh) | 一种基于深度学习的多视图三维重建方法、系统及设备 | |
| CN112597788B (zh) | 目标测定方法、装置、电子设备和计算机可读介质 | |
| CN115187775A (zh) | 一种遥感图像语义分割方法及装置 | |
| CN113744152A (zh) | 一种潮水图像去噪处理方法、终端及计算机可读存储介质 | |
| CN113240589A (zh) | 一种多尺度特征融合的图像去雾方法及系统 | |
| CN116681625B (zh) | 基于多尺度对比学习的无监督图像去雨方法、装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |