CN115546069A - 一种非均匀雾密度分布先验的遥感影像去雾方法 - Google Patents

一种非均匀雾密度分布先验的遥感影像去雾方法 Download PDF

Info

Publication number
CN115546069A
CN115546069A CN202211397691.4A CN202211397691A CN115546069A CN 115546069 A CN115546069 A CN 115546069A CN 202211397691 A CN202211397691 A CN 202211397691A CN 115546069 A CN115546069 A CN 115546069A
Authority
CN
China
Prior art keywords
fog
remote sensing
image
module
distribution prior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211397691.4A
Other languages
English (en)
Inventor
张正鹏
叶家研
张帅
卜丽静
程燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202211397691.4A priority Critical patent/CN115546069A/zh
Publication of CN115546069A publication Critical patent/CN115546069A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种非均匀雾密度分布先验的遥感影像去雾方法。该方法包括以下内容：1)基于改进HDM模型的雾分布先验图的提取；2)基于雾分布先验的遥感非均匀雾影像的模拟；3)基于雾密度分布先验的去雾网络构建与验证。本发明的方法提供了一种非均匀雾密度分布先验的遥感影像去雾方法，利用非均匀雾密度分布先验的学习网络可准确表达影像的真实雾特征，有效解决了遥感影像去雾不均匀、色彩和边缘退化的问题。本发明方法的处理过程没有近似，方法对遥感影像中存在的非均匀雾特征具有较好的去除效果，可在遥感数据质检、遥感数据增强等领域中使用，可有效提高遥感数据的质量。

Description

一种非均匀雾密度分布先验的遥感影像去雾方法
技术领域
本发明属于遥感数据质检和数据增强的相关技术领域，尤其是涉及一种非均匀雾密度分布先验的遥感影像去雾方法。
背景技术
针对不均匀的雾，大部分学者都选择首先估计一个雾分布先验图，再利用这个先验引导模型进行精准的去雾。Makarau等人在Chavez的工作基础上，通过对黑暗物体的局部搜索，计算出一个雾密度图(HTM)，以消除不均匀的雾(参考：A.Makarau,R.Richter,R.Muller,and P.Reinartz,“Haze detection and removal in remotely sensedmultispectral imagery,”IEEE Trans.Geosci.Remote Sens.,vol.52,no.9,pp.5895–5905,Jan.2014)。Liu等人通过计算地面辐射率抑制的雾密度图(GRS-HTM)来消除雾成分(参考：Q.Liu,X.Gao,L.He,and W.Lu,“Haze removal for a single visible remotesensing image,”Signal Process.,vol.137,pp.33–43,2017)，这比HTM更精确。Pan等人利用饱和度分量来对暗通道进行校正得到雾分布图(HDM)，并将其用于雾浓度估计(参考：Pan,X.,Xie,F.,Jiang,Z.,Shi,Z.,&Luo,X.(2016).No-Reference Assessment on Hazefor Remote-Sensing Images.IEEE Geoscience and Remote Sensing Letters,13(12),1855–1859)。然而，上述方法严重依赖雾分布先验的精度。Gu等人通过输入HDM和雾霾影像，提出了基于先验的致密脱色网络(DADN)(参考：Gu,Z.,Zhan,Z.,Yuan,Q.,&Yan,L.(2019).Single Remote Sensing Image Dehazing Using a Prior-Based Dense AttentiveNetwork.Remote Sensing,11(24),3008)。在网络中采用堆叠方法来融合雾的分布先验，网络缺乏物理上的可解释性，而且容易产生雾与纹理特征混叠的问题。另外现有方法大多利用暗通道先验合成非均匀雾图，并没有考虑遥感成像的物理特性，比如遥感不同波段的雾成像辐射特征不同，其雾的时间和空间特征都具有随机性，因此现有方法对真实遥感雾的去除效果不佳，网络模型的泛化能力较弱。
深度学习方法随着网络的加深，会出现特征退化的现象，往往需要在传播过程中对特征进行增强。因此，应将注意力机制视为去雾的效果模块。Liu等人基于注意力机制提出了一种基于注意力的多尺度网络(Grid Dehaze Net)(参考：X Liu,Ma Y,Shi Z,etal.GridDehazeNet:Attention-Based Multi-Scale Network for Image Dehazing[J].2019)，通过计算一个通道上的权重，实现影像不同尺度特征的融合。Qin等人考虑不同颜色光对形成雾的影响不同以及雾在影像上的分布不均匀等，提出了一个具有通道和空间注意力的特征融合注意力网络(FFA-Net)(参考：Qin X,Wang Z,Bai Y,et al.FFA-Net:Feature Fusion Attention Network for Single Image Dehazing[J].2019)，以分别解决影像不同波段和区域的雾问题。基于雾先验特征的网络学习方法，势必会增加信息的冗余性以及带来额外的噪声，上述方法并没有考虑引入雾分布先验后的多特征注意力问题；另外考虑到遥感影像的透射特性，雾特征在不同波段，不同区域的表征不同，因此如何设计一个适应遥感影像去雾网络的注意力模块，并能提高纹理和边缘的保持能力是关键。
发明内容
针对上述技术问题，本发明的目的在于克服已有技术的不足之处，提出了一种非均匀雾密度分布先验的遥感影像去雾网络模型，首先利用遥感影像的近红外波段修正雾密度分布先验物理模型，并以此模型构建了端到端的逼近真实场景的遥感雾训练集；以解码器-编码器为主干网络，设计了雾密度分布先验的雾特征感知融合模块FPFM，该模块采用仿射变换方法实现影像色彩和雾密度分布先验特征的融合，提升模型对不均匀雾分布特征的表征能力；然后设计了基于残差注意力机制的多尺度纹理特征增强模块MTEM，该模块包括残差注意力、可变/差分卷积，增强模型对不同尺度地物几何和纹理特征的表征能力。
为实现上述目的，本发明包括以下步骤：
S1：对输入的雾天拍摄下的遥感影像，提取非均匀的雾分布先验图；
S2：将步骤S1提取的非均匀雾分布先验图作为待模拟雾影像的透射率，并随机给定一个大气光参数构建大气散射模型；
S3：对输入的无雾天拍摄下的清晰遥感影像，根据步骤S2所得的大气散射模型可生成具有非均匀分布特征的模拟雾影像，利用生成的模拟雾影像与原始清晰无雾影像，制作用于遥感影像去雾的训练数据集；
S4：构建一种非均匀雾密度分布先验的遥感影像去雾网络模型，采用步骤S3的训练数据集对该网络模型进行参数的学习与训练，得到去雾网络模型的参数；
S5：采用步骤S4中的去雾网络模型和参数，对待输入的雾影像进行测试，得到去雾之后的遥感影像。
进一步的，所述的步骤S1中非均匀的雾分布先验图的提取方法，包括以下方法和步骤：
(1)雾分布先验分量的表达：从真实遥感雾影像中提取暗通道分量图Idark(x)、饱和度分量图S(x)以及近红外波段NI(x)；
(2)对真实遥感雾影像，采用以下模型提取雾分布先验图FDM(x):
FDM(x)＝max(Idark(x)-αS(x)-gNI(x)，0)
其中，S(x)表示影像的饱和度分量图，Idark(x)影像的暗通道图，α为饱和度分量的比例因子，FDM(x)为雾密度分布图，NI(x)为影像的近红外波段，ε为近红外波段的比例因子。
进一步的，所述的步骤S2中的透射率计算方法，包括以下方法和步骤：
(1)遥感影像第1波段的透射率
Figure BDA0003933822870000051
表达为：
Figure BDA0003933822870000052
其中，FDM(x)为雾密度分布图，
Figure BDA0003933822870000053
为第1波段的透射率；
(2)遥感影像其它波段的透射率ti表达为：
Figure BDA0003933822870000054
其中，λ1为第1波段的波长，λi为第i波段的波长，γ是与大气悬浮颗粒大小相关的一个固定量，ln为自然对数运算，ti为第i波段的透射率。
进一步的，所述的步骤S4中非均匀雾密度分布先验的遥感影像去雾网络模型的构建方法，包括以下方法和步骤：
(1)网络模型的总体结构：该网络为端到端的卷积网络结构，包括特征提取模块、雾特征感知融合模块FPFM、多尺度纹理特征增强模块MTEM和特征输出模块；
(2)网络的端到端输入：对训练集中的雾影像，采用步骤S1的方法提取雾分布先验图，把先验图和雾影像一起作为网络一端的输入，把训练集中的清晰影像作为网络的另一端输入；
(3)特征提取模块的结构：该模块由三个上采样的卷积层构成，输出为特征图；
(4)雾特征感知融合模块FPFM的结构：该模块有两个输入，一个是上一层特征提取模块的输出，另一个是步骤(2)中网络一端雾分布先验图的输入，输出为特征图；该模块由空间变换模块SFT、通道注意力层CA和空间注意力层PA串联结构构成，其中空间变换模块SFT的结构如下：
第一模块是对输入的雾分布先验图进行三个卷积层的特征提取；
第二模块是上下两个并行的结构，均为两个卷积层组成，其中，分别得到两个输出
Figure BDA0003933822870000061
和
Figure BDA0003933822870000062
再对这两个输出特征进行如下的表达：
Figure BDA0003933822870000063
其中，SFT(x)为空间变换模块的最终输出，I(x)为上一层特征提取模块的输出，
Figure BDA0003933822870000064
为乘积操作；
(5)多尺度纹理特征增强模块MTEM的结构：该模块为上下两个并行分支构成的残差注意力结构，一个分支是注意力通道，另一个分支是融合可变性卷积和差分卷积的多尺度通道；该模块有一个输入是上一层雾特征感知融合FPFM模块的输出，输出为特征图；
其中，注意力通道的结构为：首先采用1×1的卷积层来提取通道的基本特征，再建立空间注意力和通道注意力两个分支提取注意力特征，并以残差结构进行特征的融合来获取一个全局注意图；
其中，多尺度通道的结构为：首先采用一个3×3的可变性卷积，再采用多个尺度的池化操作，最后连接一个差分卷积；
(6)特征输出模块：该模块由三个上采样的卷积层构成，输出为去雾后的预测图。
进一步的，所述的步骤S4中构建的影像去雾模型中的损失包括内容损失Lc，感知损失Lprep和边缘损失Lgra，损失函数采用计算量较小的均方差误差，上述可以用公式表示为:
L＝Lc+λ1Lprep+λ2Lgra
其中，λ1、λ2分别为感知损失和边缘损失的权重系数；
感知损失采取固定的预训练VGG16网络，在第4阶段最后一个卷积层激活前的特征进行损失计算，具体可由公式所示：
Lprep＝∑||V1(GI))-V1(I)||2
其中，V1表示固定的VGG16网络，G表示本文网络，I表示输入影像；
通过sobel算子对影像的梯度信息进行提取，从x和y两个方向上对网络的边缘恢复能力进行约束，边缘损失可由公式表示：
Lgra＝||(Ex(GI))-ExI)+(Ey(GI))-EyI)||1
其中，Ex为水平方向上的边缘提取，Ey为垂直方向上的边缘提取；
由上，本发明利用非均匀雾密度分布先验的学习网络可准确表达影像的真实雾特征，有效解决了遥感影像去雾不均匀、色彩和边缘退化的问题。本发明通过一种更新颖的，解释性更强的方式将雾分布先验与网络结合起来，提高网络对雾的感知能力，并利用注意力机制与特征金字塔的巧妙结合来增强特征，另外，本发明采用两种特殊卷积来代替传统卷积，加强边缘与纹理的恢复。本发明方法对遥感影像中存在的非均匀雾特征具有较好的去除效果，可在遥感数据质检、遥感数据增强等领域中使用，可有效提高遥感数据的质量。
附图说明
本发明内容的描述与下面附图相结合将变得明显和容易理解，其中：
图1为本发明一种非均匀雾密度分布先验的遥感影像去雾方法的流程图；
图2为整体网络结构图；
图3为雾特征感知融合模块FPFM结构图；
图4为空间特征变换层SFT结构图；
图5为多尺度纹理特征增强模块MTEM结构图；
图6为影像去雾算法效果图。
具体实施方式
按图1所示步骤，对本发明一种非均匀雾密度分布先验的遥感影像去雾方法进行详细说明。
步骤1：对输入的雾天拍摄下的遥感影像，提取非均匀的雾分布先验图，详细操作如下：
(1)雾分布先验分量的表达：从真实遥感雾影像中提取暗通道分量图Idark(x)、饱和度分量图S(x)以及近红外波段NI(x)；
(2)对真实遥感雾影像，采用以下模型提取雾分布先验图FDM(x):
FDM(x)＝max(Idark(x)-αS(x)-gNI(x)，0)
其中，S(x)表示影像的饱和度分量图，Idark(x)影像的暗通道图，α为饱和度分量的比例因子，FDM(x)为雾密度分布图，NI(x)为影像的近红外波段，ε为近红外波段的比例因子，通过大量实验验证可得两个经验值α＝0.5和ε＝0.2。
步骤2：将步骤S1提取的非均匀雾分布先验图作为待模拟雾影像的透射率，并随机给定一个大气光参数构建大气散射模型，详细步骤如下：
(1)遥感影像第1波段的透射率
Figure BDA0003933822870000091
表达为：
Figure BDA0003933822870000092
其中，FDM(x)为雾密度分布图，
Figure BDA0003933822870000093
为第1波段的透射率；
(2)遥感影像其它波段的透射率ti表达为：
Figure BDA0003933822870000094
其中，λ1为第1波段的波长，λi为第i波段的波长，γ是与大气悬浮颗粒大小相关的一个固定量，ln为自然对数运算，ti为第i波段的透射率，γ的变化范围为0.5～1，薄云条件下，γ取1。
步骤3：对输入的无雾天拍摄下的清晰遥感影像，根据步骤S2所得的大气散射模型可生成具有非均匀分布特征的模拟雾影像，利用生成的模拟雾影像与原始清晰无雾影像，制作用于遥感影像去雾的训练数据集，详细步骤如下：
选取时间在2020年1月左右的ZY3-02星的多光谱影像作为制作数据集的基础影像，传感器为TMS，影像范围在东经102.9°，北纬24.7°周围；首先将影像经过预处理，裁剪为512×512大小，然后选取15张真实雾影像，并提取出雾密度分布，将大气光值在0.6、0.8、1.0中随机选择，最终生成10000张不同效果且非均匀分布的模拟雾影像。
步骤4：构建一种非均匀雾密度分布先验的遥感影像去雾网络模型，采用步骤S3的训练数据集对该网络模型进行参数的学习与训练，得到去雾网络模型的参数，详细步骤如下：
(1)网络模型的总体结构：如图2所示，该网络为端到端的卷积网络结构，包括特征提取模块、雾特征感知融合模块FPFM、多尺度纹理特征增强模块MTEM和特征输出模块；
(2)网络的端到端输入：对训练集中的雾影像，采用步骤S1的方法提取雾分布先验图，把先验图和雾影像一起作为网络一端的输入，把训练集中的清晰影像作为网络的另一端输入；
(3)特征提取模块的结构：该模块由三个上采样的卷积层构成，输出为特征图；
(4)雾特征感知融合模块FPFM的结构：如图3所示，该模块有两个输入，一个是上一层特征提取模块的输出，另一个是步骤(2)中网络一端雾分布先验图的输入，输出为特征图；该模块由空间变换模块SFT、通道注意力层CA和空间注意力层PA串联结构构成，其中如图4所示，空间变换模块SFT的结构如下：
第一模块是对输入的雾分布先验图进行三个卷积层的特征提取；
第二模块是上下两个并行的结构，均为两个卷积层组成，其中，分别得到两个输出
Figure BDA0003933822870000111
和
Figure BDA0003933822870000112
再对这两个输出特征进行如下的表达：
Figure BDA0003933822870000113
其中，SFT(x)为空间变换模块的最终输出，I(x)为上一层特征提取模块的输出，
Figure BDA0003933822870000114
为乘积操作；
(5)多尺度纹理特征增强模块MTEM的结构：如图5所示，该模块为上下两个并行分支构成的残差注意力结构，一个分支是注意力通道，另一个分支是融合可变性卷积和差分卷积的多尺度通道；该模块有一个输入是上一层雾特征感知融合FPFM模块的输出，输出为特征图；
其中，注意力通道的结构为：首先采用1×1的卷积层来提取通道的基本特征，再建立空间注意力和通道注意力两个分支提取注意力特征，并以残差结构进行特征的融合来获取一个全局注意图；
其中，多尺度通道的结构为：首先采用一个3×3的可变性卷积，再采用多个尺度的池化操作，最后连接一个差分卷积；
(6)特征输出模块：该模块由三个上采样的卷积层构成，输出为去雾后的预测图。
(7)损失的表达：
构建的影像去雾模型中的损失包括内容损失Lc，感知损失Lprep和边缘损失Lgra，损失函数采用计算量较小的均方差误差，上述可以用公式表示为:
L＝Lc+λ1Lprep+λ2Lgra
其中，λ1、λ2分别为感知损失和边缘损失的权重系数；
感知损失采取固定的预训练VGG16网络，在第4阶段最后一个卷积层激活前的特征进行损失计算，具体可由公式所示：
Lprep＝∑||V1(GI))-V1(I)||2
其中，V1表示固定的VGG16网络，G表示本文网络，I表示输入影像；
通过sobel算子对影像的梯度信息进行提取，从x和y两个方向上对网络的边缘恢复能力进行约束，边缘损失可由公式表示：
Lgra＝||(Ex(GI))-ExI)+(Ey(GI))-EyI)||1
其中，Ex为水平方向上的边缘提取，Ey为垂直方向上的边缘提取；
步骤5：采用步骤S4中的去雾网络模型和参数，对待输入的雾影像进行测试，得到去雾之后的遥感影像，效果如图6所示，其中第一列的图像均为真实遥感云雾影像，第二列的图像为真实遥感云雾影像对应的去雾之后的遥感影像。
本发明提供了一种非均匀雾密度分布先验的遥感影像去雾方法，针对目前的影像去雾算法，无论是基于先验知识的算法还是基于深度学习的算法都只是在影像的单一特征空间中进行去雾操作，存在去雾不均匀、色彩和边缘退化等问题，因此本发明提出一种新的非均匀雾密度分布先验的遥感影像去雾网络模型。
以上所述，仅为本发明中的具体实施方式，本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖本发明的包含范围之内，因此本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种非均匀雾密度分布先验的遥感影像去雾方法，其特征在于，包括如下步骤：
S1：对输入的雾天拍摄下的遥感影像，提取非均匀的雾分布先验图；
S2：将步骤S1提取的非均匀雾分布先验图作为待模拟雾影像的透射率，并随机给定一个大气光参数构建大气散射模型；
S3：对输入的无雾天拍摄下的清晰遥感影像，根据步骤S2所得的大气散射模型可生成具有非均匀分布特征的模拟雾影像，利用生成的模拟雾影像与原始清晰无雾影像，制作用于遥感影像去雾的训练数据集；
S4：构建一种非均匀雾密度分布先验的遥感影像去雾网络模型，采用步骤S3的训练数据集对该网络模型进行参数的学习与训练，得到去雾网络模型的参数；
S5：采用步骤S4中的去雾网络模型和参数，对待输入的雾影像进行测试，得到去雾之后的遥感影像。
2.根据权利要求1所述的一种非均匀雾密度分布先验的遥感影像去雾方法，其特征在于，所述的步骤S1中非均匀的雾分布先验图的提取方法，包括以下方法和步骤：
(1)雾分布先验分量的表达：从真实遥感雾影像中提取暗通道分量图Idark(x)、饱和度分量图S(x)以及近红外波段NI(x)；
(2)对真实遥感雾影像，采用以下模型提取雾分布先验图FDM(x)：
FDM(x)＝max(Idark(x)-αS(x)-εNI(x)，0)
其中，S(x)表示影像的饱和度分量图，Idark(x)影像的暗通道图，α为饱和度分量的比例因子，FDM(x)为雾密度分布图，NI(x)为影像的近红外波段，ε为近红外波段的比例因子。
3.根据权利要求1所述的一种非均匀雾密度分布先验的遥感影像去雾方法，其特征在于，所述的步骤S2中的透射率计算方法，包括以下方法和步骤：
(1)遥感影像第1波段的透射率
Figure FDA0003933822860000021
表达为：
Figure FDA0003933822860000022
其中，FDM(x)为雾密度分布图，
Figure FDA0003933822860000023
为第1波段的透射率；
(2)遥感影像其它波段的透射率ti表达为：
Figure FDA0003933822860000024
其中，λ1为第1波段的波长，λi为第i波段的波长，γ是与大气悬浮颗粒大小相关的一个固定量，ln为自然对数运算，ti为第i波段的透射率。
4.根据权利要求1所述的一种非均匀雾密度分布先验的遥感影像去雾方法，其特征在于，所述的步骤S4中非均匀雾密度分布先验的遥感影像去雾网络模型的构建方法，包括以下方法和步骤：
(1)网络模型的总体结构：该网络为端到端的卷积网络结构，包括特征提取模块、云雾特征感知融合模块FPFM、多尺度纹理特征增强模块MTEM和特征输出模块；
(2)网络的端到端输入：对训练集中的雾影像，采用步骤S1的方法提取雾分布先验图，把先验图和雾影像一起作为网络一端的输入，把训练集中的清晰影像作为网络的另一端输入；
(3)特征提取模块的结构：该模块由三个上采样的卷积层构成，输出为特征图；
(4)雾特征感知融合模块FPFM的结构：该模块有两个输入，一个是上一层特征提取模块的输出，另一个是步骤(2)中网络一端雾分布先验图的输入，输出为特征图；该模块由空间变换模块SFT、通道注意力层CA和空间注意力层PA串联结构构成，其中空间变换模块SFT的结构如下：
第一模块是对输入的雾分布先验图进行三个卷积层的特征提取；
第二模块是上下两个并行的结构，均为两个卷积层组成，其中，分别得到两个输出
Figure FDA0003933822860000031
和
Figure FDA0003933822860000032
再对这两个输出特征进行如下的表达：
Figure FDA0003933822860000033
其中，SFT(x)为空间变换模块的最终输出，I(x)为上一层特征提取模块的输出，
Figure FDA0003933822860000034
为乘积操作；
(5)多尺度纹理特征增强模块MTEM的结构：该模块为上下两个并行分支构成的残差注意力结构，一个分支是注意力通道，另一个分支是融合可变性卷积和差分卷积的多尺度通道；该模块有一个输入是上一层雾特征感知融合FPFM模块的输出，输出为特征图；
其中，注意力通道的结构为：首先采用1×1的卷积层来提取通道的基本特征，再建立空间注意力和通道注意力两个分支提取注意力特征，并以残差结构进行特征的融合来获取一个全局注意图；
其中，多尺度通道的结构为：首先采用一个3×3的可变性卷积，再采用多个尺度的池化操作，最后连接一个差分卷积；
(6)特征输出模块：该模块由三个上采样的卷积层构成，输出为去雾后的预测图。
CN202211397691.4A 2022-11-09 2022-11-09 一种非均匀雾密度分布先验的遥感影像去雾方法 Pending CN115546069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211397691.4A CN115546069A (zh) 2022-11-09 2022-11-09 一种非均匀雾密度分布先验的遥感影像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211397691.4A CN115546069A (zh) 2022-11-09 2022-11-09 一种非均匀雾密度分布先验的遥感影像去雾方法

Publications (1)

Publication Number Publication Date
CN115546069A true CN115546069A (zh) 2022-12-30

Family

ID=84719768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211397691.4A Pending CN115546069A (zh) 2022-11-09 2022-11-09 一种非均匀雾密度分布先验的遥感影像去雾方法

Country Status (1)

Country Link
CN (1) CN115546069A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474801A (zh) * 2023-10-30 2024-01-30 安徽大学 一种融合时空频信息的非均匀遥感视频影像去雾方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474801A (zh) * 2023-10-30 2024-01-30 安徽大学 一种融合时空频信息的非均匀遥感视频影像去雾方法
CN117474801B (zh) * 2023-10-30 2024-05-07 安徽大学 一种融合时空频信息的非均匀遥感视频影像去雾方法

Similar Documents

Publication Publication Date Title
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN112288647B (zh) 一种基于门控卷积的遥感影像云和阴影修复的方法
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN108537742A (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN108460739A (zh) 一种基于生成对抗网络的遥感图像薄云去除方法
Ai et al. Convolutional neural network to retrieve water depth in marine shallow water area from remote sensing images
CN108549893A (zh) 一种任意形状的场景文本端到端识别方法
CN109146831A (zh) 基于双支深度学习网络的遥感图像融合方法及系统
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN112529788B (zh) 一种基于薄云厚度图估计的多光谱遥感图像薄云去除方法
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN113239830A (zh) 一种基于全尺度特征融合的遥感图像云检测方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN110276363A (zh) 一种基于密度图估计的鸟类小目标检测方法
CN114494821A (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN114066755A (zh) 一种基于全波段特征融合的遥感影像薄云去除方法及系统
CN111179196A (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN116258816A (zh) 一种基于神经辐射场的遥感影像仿真方法
CN115546069A (zh) 一种非均匀雾密度分布先验的遥感影像去雾方法
CN113034371B (zh) 一种基于特征嵌入的红外与可见光图像融合方法
CN107341449A (zh) 一种基于云块特征变化的静止气象卫星降水估算方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN114764752A (zh) 一种基于深度学习的夜晚影像去雾算法
Han et al. Hypothetical visible bands of advanced meteorological imager onboard the geostationary Korea multi-purpose satellite-2A using data-to-data translation
Li et al. Multi-sensor multispectral reconstruction framework based on projection and reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination