CN117726550A - 一种多尺度门控注意力遥感图像去雾方法和系统 - Google Patents
一种多尺度门控注意力遥感图像去雾方法和系统 Download PDFInfo
- Publication number
- CN117726550A CN117726550A CN202410179633.7A CN202410179633A CN117726550A CN 117726550 A CN117726550 A CN 117726550A CN 202410179633 A CN202410179633 A CN 202410179633A CN 117726550 A CN117726550 A CN 117726550A
- Authority
- CN
- China
- Prior art keywords
- convolution
- remote sensing
- module
- defogging
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 11
- 239000011800 void material Substances 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 230000001788 irregular Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000008521 reorganization Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 4
- 239000003595 mist Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005202 decontamination Methods 0.000 description 1
- 230000003588 decontaminative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种多尺度门控注意力遥感图像去雾方法和系统,属于图像处理技术领域,包括:构建一个包含多空间分辨率、多复杂地形的遥感图像数据集;构建适用于多空间分辨率、多复杂地形的遥感图像去雾模型;将构建的遥感图像数据集输入到遥感图像去雾模型中进行训练得到训练模型;将需要进行去雾处理的遥感图像输入到训练模型中进行去雾处理。本发明的多尺度融合模块实现了浅层的语义信息与深层的局部信息结合,能够有效减少卷积过程的信息损失并提升模型的稳定性,多通路卷积相结合的方式也能够保证模型在对多空间分辨率的遥感影像去雾时避免过拟合,影响去雾性能。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种多尺度门控注意力遥感图像去雾方法和系统。
背景技术
在飞行员的培养过程中,常用飞行模拟器来代替实机进行训练,以减少经济消耗并保证安全。视景系统作为飞行模拟机的重要组成部分直接影响着飞行员的训练质量;现阶段,视景系统通常使用多空间分辨率、多复杂地形的遥感影响构成数据库以模拟真是视景环境,尽管可能获得的遥感影像随着眼高卫星的发射不断增多,但由于遥感图像大多通过观测太阳光照反射的电磁波信息,因而极易受天气等因素影响,在云层较多、雾霾较为严重时会产生边缘模糊、颜色失真等问题。使用这些遥感图像生成的地景数据库通常也会伴随细节模糊和颜色失真等问题,严重影响飞行员的训练质量。
现有的图像去雾方法大多基于大气散射模型出发,通过估计大气传输图实现图像去污,尽管这种方法能够有效进行图像均匀去雾,但却不适用于遥感图像,原因是遥感图像的成像范围广,雾霾的分布也是不均匀的,因此传统的基于物理先验的去雾方法不适用于遥感图像去雾。
近年来,随着深度学习和神经网络技术在计算机领域的快速发展,出现了许多基于深度学习的图像去雾网络,这些去雾网络通过估计雾霾图像与清晰图像之间的残差来实现图像去雾。然而应用这些模型方法在进行遥感图像去雾时效果较差,原因是遥感图像的成像范围广,一张遥感图像中所包含的地景地物信息繁多,在感官上呈现地形复杂多样;同时遥感图像的空间分辨率多样,同一地点不同空间分辨率的遥感图像包含的信息不尽相同,在感官上呈现局部相似,整体不同的情况。这些特点极易使得应用深度学习的模型方法进行对于多空间分辨率、多复杂地形的遥感图像进行去雾处理时极易出现欠拟合或过拟合现象。使用这些欠拟合或过拟合模型去雾后的图像来构建地景数据库会出现地形模糊、饱和度与对比度损失从而导致视景系统的真实感差进而影响飞行员的训练质量。
发明内容
本发明的目的在于克服现有技术的缺点,提供了一种多尺度门控注意力遥感图像去雾方法和系统,解决了现有方法存在的不足。
本发明的目的通过以下技术方案来实现:一种多尺度门控注意力遥感图像去雾方法,所述去雾方法包括:
步骤一、构建适用于多空间分辨率、多复杂地形的遥感图像去雾模型;
遥感图像去雾模型包括进行残差连接的编码器和解码器,编码器包括四个阶段,每个阶段由卷积模块、多尺度融合模块和门控大核注意力模块组成,输入的图像首先通过卷积模块提取原始的图像特征后通过多尺度融合模块与门控大核注意力模块来提取高维的特征图像;解码器包括三个阶段,每个阶段由上采样模块、多尺度融合模块和门控大核注意力模块组成,且第三个阶段还包括卷积模块;
步骤二、将构建的遥感图像数据集输入到遥感图像去雾模型中进行训练得到训练模型;
步骤三、将需要进行去雾处理的遥感图像输入到训练模型中进行去雾处理。
所述卷积模块由1个3×3大小的卷积核组成,通过卷积核模块将原始图像转化为高维、稀疏的矩阵向量;
所述多尺度融合模块由归一化处理层、点卷积层、三个空洞率不同的卷积层和激活函数层组成,卷积层利用不同大小的空洞率改变感受野大小来提取并融合图像局部语义信息与全局语义信息;
所述门控大核注意力模块由归一化层、大核卷积注意力层、门控机制与残差连接组成;
所述上采样模块包括像素重组层,通过上采样模块进行图像升维,将特征信息恢复到原始图像的大小。
所述门控大核注意力模块包括深度卷积、深度膨胀卷积和通道卷积,对于给定的特征图在确定膨胀系数d以及卷积核大小k后,先进行的深度卷积,再进行的深度膨胀卷积以及1×1的通道卷积,通过分解卷积来捕捉像素参数自建的长程关系。
所述门控机制表现为两个平行路径的元素乘积,其中一条路径进行大核卷积注意力层来建立长程依赖,另一条路径只进行深度卷积来对空间相邻像素位置的信息进行编码,帮助学习和恢复局部图像结构;
所述残差连接为输入门控大核注意力模块前后的特征图相加,得到输出的特征图。
所述去雾方法还包括构建一个包含多空间分辨率、多复杂地形的遥感图像数据集;其具体包括以下内容:
A1、获取多幅包括多种且空间分辨率满足条件的光谱图像;
A2、以改进大气散射模型为基础,通过生成遥感图像加雾算法得到加雾图像,,其中,/>为清晰图像,/>为大气传输图,/>为大气光值。
所述A2步骤具体包括以下内容:
A21、生成大气传输图与计算不同像素点的大气光值,其中大气传输图采用柏林函数生成,记为;
A22、计算不同像素点的大气光值,将每个像素点划定为一个窗口斑块,寻找每个像素点的大气光,有雾霾的像素点为白色,用RGB表示像素点值为(255,255,255),没有雾霾的像素点为其本身,用RGB表示像素点值为,用K(x)表示大气光的投射比率,如果整张遥感图像都收到雾霾影响,则大气光值/>为White,由于雾霾分布不规律导致大气光分布也不规律,则A(x) = White * K(x),大气传输图用于度量通过大气介质与接收到的辐射与初始场景辐射度之间的比率,这个比率越高,代表其受到大气介质的影响越小,即受到的雾霾影响越小,该点的大气光越接近其本身,则K(x)=1-pl(x),进而大气光值转换为/>,White为白色的RGB值(255,255,255),在得到大气传输图和大气光值/>,即可得到图像加雾算法公式/>;
A23、通过A22步骤得到的遥感图像加雾算法对A1步骤获取到的光谱图像组成的遥感图像数据集进行加雾处理。
一种多尺度门控注意力遥感图像去雾系统,它包括数据集构建模块、模型构建模块、训练模块和去雾模块;
所述数据集构建模块:用于构建包括多空间分辨率、多复杂地形的遥感图像数据集;
所述模型构建模块:用于构建适用于多空间分辨率、多复杂地形的遥感图像去雾模型;
所述去雾模型包括进行残差连接的编码器和解码器,编码器包括四个阶段,每个阶段由卷积模块、多尺度融合模块和门控大核注意力模块组成,输入的图像首先通过卷积模块提取原始的图像特征后通过多尺度融合模块与门控大核注意力模块来提取高维的特征图像;解码器包括三个阶段,每个阶段由上采样模块、多尺度融合模块和门控大核注意力模块组成,且第三个阶段还包括卷积模块;
所述训练模块:用于将构建的遥感图像数据集输入到遥感图像去雾模型中进行训练得到训练模型;
所述去雾模块:用于将需要进行去雾处理的遥感图像输入到训练模型中进行去雾处理。
所述卷积模块由1个3×3大小的卷积核组成,通过卷积核模块将原始图像转化为高维、稀疏的矩阵向量;
所述多尺度融合模块由归一化处理层、点卷积层、三个空洞率不同的卷积层和激活函数层组成,卷积层利用不同大小的空洞率改变感受野大小来提取并融合图像局部语义信息与全局语义信息;
所述门控大核注意力模块由归一化层、大核卷积注意力层、门控机制与残差连接组成;
所述上采样模块包括像素重组层,通过上采样模块进行图像升维,将特征信息恢复到原始图像的大小。
所述门控大核注意力模块包括深度卷积、深度膨胀卷积和通道卷积,对于给定的特征图在确定膨胀系数d以及卷积核大小k后,先进行的深度卷积,再进行的深度膨胀卷积以及1×1的通道卷积,通过分解卷积来捕捉像素参数自建的长程关系。
所述门控机制表现为两个平行路径的元素乘积,其中一条路径进行大核卷积注意力层来建立长程依赖,另一条路径只进行深度卷积来对空间相邻像素位置的信息进行编码,帮助学习和恢复局部图像结构;
所述残差连接为输入门控大核注意力模块前后的特征图相加,得到输出的特征图。
本发明具有以下优点:
1、能够对多空间分辨率、多复杂地形的遥感影像进行去雾处理,并提出了多尺度融合模块与门控大核注意力模块来进行特征提取以及特征融合。
2、多尺度融合模块实现了浅层的语义信息与深层的局部信息结合,能够有效减少卷积过程的信息损失并提升模型的稳定性,多通路卷积相结合的方式也能够保证模型在对多空间分辨率的遥感影像去雾时避免过拟合,影响去雾性能。
3、通过大核卷积以及深度膨胀卷积来保证注意力的自适应性以及建立长程依赖,纯卷积的方式避免大量的计算和内存开销,提升效率性能。同时通过门控机制保证在建立长程依赖的同时不丢失局部信息,保证模型对于多复杂地形的遥感影像的通用性。
附图说明
图1为本发明去雾模型的结构示意图;
图2为多尺度融合模块的结构示意图;
图3为门控大核注意力模块的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
本发明针对现有深度学习方法没有很好的方式对多空间分辨率、多复杂地形的遥感影像去雾处理的问题提出一种适用于飞行模拟器的多尺度门控注意力遥感图像去雾方法,针对遥感影像多空间分辨率的问题,提出多尺度融合模块,通过多个不同大小的卷积核来提取图像特征,不同尺度的卷积核能够适用于不同的空间分辨率以获取异构尺度相关性。针对遥感图像地景地物信息繁多、地形复杂的特点,提出了门控大核注意力模块,引入自适应注意力来提高模型在多地景地物信息、多复杂地形下的特征提取能力。
具体包括以下内容:
S1、构建一个包含多空间分辨率、多复杂地形的遥感图像数据集;
S11、通过谷歌地球获取多幅多光谱图像,包含城市地区、海岸地区、沙漠地区、农田地区、森林地区、山地地区,空间分辨率为512米—1米;
S12、生成遥感图像加雾算法:
具体的,由于受雾霾的影响,遥感图像不同位置的所接收到的大气光是不同的,因此以改进大气散射模型为基础,记为:
;
根据公式,清晰图像为已有的,只需计算求得大气传输图/>与大气光/>即可得到加雾图像/>,包括以下:
S121、生成大气传输图与计算不同像素点的大气光值,其中大气传输图采用柏林函数生成,记为;
S122、计算不同像素点的大气光值,一是划分成不同大小的窗口斑块的雾霾图像
中强度最大的像素的颜色,有雾与无雾的局部大气光是不同的,这里我们把每个像素点划
定为一个窗口斑块,寻找窗口斑块的局部大气光就变成了寻找每个像素点的大气光。而有
雾霾的像素点通常情况下应为白色,其像素点值用RGB表示则为(255,255,255),没有雾霾
的像素点则为其本身,其像素点值用RGB表示则为;二是大气光的投射比
率,这决定了大气光在介质影响下的强度表现,用表示。假设整张遥感图像都受雾霾影
响,则大气光应为White,但由于雾霾分布不规律因此大气光分布也不规律,计算
的公式可记为:
A(x) = White * K(x)
根据柏林函数生成的大气传输图pl(x),且大气传输图用于度量通过大气介质与接收到的辐射与初始场景辐射度之间的比率,这个比率越高,代表其受到大气介质的影响越小,即受到的雾霾影响越小,该点的大气光越接近其本身。因此K(x)可表示为:
K(x)=1-pl(x)
大气光A(x)最终可表示为:
;
其中为每一个像素点的大气光值,White为白色的RGB值(255,255,255);
在得到大气传输图与大气光值/>后,即可得到图像加雾算法公式:
;
其中为加雾后的图像,/>为清晰图像;
S123、应用S122得到的遥感图像加雾算法对S11获取到的遥感图像数据集(光谱图像)进行加雾处理。
S2、构建适用于多空间分辨率、多复杂地形的遥感图像去雾模型;
适用于多空间分辨率、多复杂地形的遥感图像去雾模型如图1所示,模型主要由编
码器与解码器两个阶段组成,其中编码器有4个阶段,每一个阶段由一个卷积模块,一个多
尺度融合模块与门控大核注意力模块组成,输入的图像会首先通过卷积模块,进行3×3卷
积来提取原始的图像特征,之后通过多尺度融合模块与门控大核注意力模块来进一步提取
高维的特征图像,记为:
;
其中 表示该阶段结束后的特征图,/>表示输入的图像I;
在解码器阶段,共有3个阶段,每个阶段由上采样模块、多尺度融合模块与门控大核注意力模块组成,最后一个阶段额外包括一个卷积模块以恢复初始尺寸。在进入解码器的每个阶段前,每个阶段都会与解码器对应阶段进行残差连接,记为:
;
其中N代表包括编码器、解码器在内的所有阶段的数量,代表上采样模块,为多尺度融合模块,/>为门控大核注意力模块,具体模块构成包括以下:
S21、卷积模块,由1个3×3大小的卷积核构成,步长为1,用于图像降维,将原始图像转化为高维、稀疏的矩阵向量;
S22、多尺度融合模块,由归一化处理层,点卷积层,三个平行的、空洞率分别为1,3,5的3×3卷积层,激活函数层组成的,模块图如图2所示,利用不同大小的空洞率改变感受野大小来提取并融合图像局部语义信息与全局语义信息,记为:
;
;
;
其中,为输入的特征图,/>为通过归一化与点卷积的特征图,/>,/>与 />的分别表示通过卷积核大小为3,空洞率为1,3,5的空洞卷积后的特征图,表示点卷积,/>为层归一化,/>为激活函数层,/>为模块最终输出的特征图。
S23、门控大核注意力模块,由归一化层、大核卷积注意力层、门控机制与残差连接组成,其中大核卷积注意力层由深度卷积、深度膨胀卷积以及通道卷积组成,模块图如图3所示,对于给定的特征图在确定膨胀系数d以及卷积核大小k后,会先进行的深度卷积,之后会进行/>的深度膨胀卷积以及1×1的通道卷积。通过分解卷积来捕捉像素参数自建的长程关系,记为:
;
其中表示深度卷积,/>表示深度膨胀卷积,/>表示点卷积;
门控机制具现化为两个平行路径的元素乘积,其中一条路径进行大核卷积注意力层来建立长程依赖,另一条路径则只进行深度卷积,来对空间相邻像素位置的信息进行编码,帮助学习和恢复局部图像结构,记为:
;
;
;
其中Y为两个平行路径的元素乘积;
残差连接为输入门控大核注意力模块前的特征图与输入门控大核注意力模块后的特征图元素相加,记为:
;
其中为输出的特征图;
S24、上采样模块由像素重组层构成,利用上采样模块进行图像升维,将特征信息恢复到原始图像的大小;
S3、将S1得到的遥感图像据集输入到适用于多空间分辨率、多复杂地形的遥感图像去雾模型进行训练获得训练模型;
S4、将需要进行去雾处理的遥感图像输入步骤S3训练完成的模型进行去雾处理。
通过以下实例对本发明的可行性和性能进行验证:
首先,构建遥感图像数据集,采用实施例1提出的遥感图像数据集。
通过谷歌地球下载到36幅城市地区、23幅海岸地区、32幅沙漠地区、29幅农田、32幅森林、29幅山地的多光谱图像,分辨率从1565*862到32938*15220不等。每幅多光谱图像随机裁成512*512的图像10张(部分地区多光谱图像裁剪更多),每张图像添加5种不同特征的柏林函数生成了9080组薄雾训练集,并二次加雾生成9080组浓雾训练集,共18160对图像共同组成模型训练的训练集。并从以上每张多光谱图像再次随机裁剪6张512*512的图像,5/6应用1种不同特征的柏林函数生成905对薄雾测试集,1/6二次加雾生成181对浓雾测试集,共1086对图像共同组成模型测试的测试集。
测试结果均为在测试集上进行遥感图像去雾的结果。
使用Pytroch框架来实现基准模型并在一张NVIDIA RTX A4000 GPU对模型进行训练。训练时,输入的图像为512×512并被随机裁剪成256×256。我们使用AdamW优化器来优化训练结果,与/>的初始值分别0.9与0.999,初始学习率为1e-4。
实验结果中辅助任务结果采用峰值信噪比(PSNR)、结构相似性(SSIM)与感知损失(LPIPS)数值衡量,其中峰值信噪比的指标范围通常在20到50之间,数值越高表示图像质量越好,SSIM的指标范围通常在0到1,其中0表示两幅图像完全不相似,1表示两幅图像完全相同,LPIPS的指标范围通常在0到1之间,数值越小表示图像的感知质量越高;将我们的模型与AOD-Net、DehazeNet、DCPDN和GCA进行了比较,最终结果如表1所示。本发明提出的模型在所有指标上都优于其他方法,PSNR达到31.54dB,SSIM达到0.955,LPIPS降至0.039。
表1.比较结果表
因此,本发明提出的方法在除雾能力和细节恢复方面都优于上述方法,无论是在薄雾或朦胧条件下,都表现出良好的除雾能力,并在色彩对比度和细节恢复方面取得了良好的效果。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和完善,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种多尺度门控注意力遥感图像去雾方法,其特征在于:所述去雾方法包括:
步骤一、构建适用于多空间分辨率、多复杂地形的遥感图像去雾模型;
遥感图像去雾模型包括进行残差连接的编码器和解码器,编码器包括四个阶段,每个阶段由卷积模块、多尺度融合模块和门控大核注意力模块组成,输入的图像首先通过卷积模块提取原始的图像特征后通过多尺度融合模块与门控大核注意力模块来提取高维的特征图像;解码器包括三个阶段,每个阶段由上采样模块、多尺度融合模块和门控大核注意力模块组成,且第三个阶段还包括卷积模块;
步骤二、将构建的遥感图像数据集输入到遥感图像去雾模型中进行训练得到训练模型;
步骤三、将需要进行去雾处理的遥感图像输入到训练模型中进行去雾处理。
2.根据权利要求1所述的一种多尺度门控注意力遥感图像去雾方法,其特征在于:所述卷积模块由1个3×3大小的卷积核组成,通过卷积核模块将原始图像转化为高维、稀疏的矩阵向量;
所述多尺度融合模块由归一化处理层、点卷积层、三个空洞率不同的卷积层和激活函数层组成,卷积层利用不同大小的空洞率改变感受野大小来提取并融合图像局部语义信息与全局语义信息;
所述门控大核注意力模块由归一化层、大核卷积注意力层、门控机制与残差连接组成;
所述上采样模块包括像素重组层,通过上采样模块进行图像升维,将特征信息恢复到原始图像的大小。
3.根据权利要求2所述的一种多尺度门控注意力遥感图像去雾方法,其特征在于:所述门控大核注意力模块包括深度卷积、深度膨胀卷积和通道卷积,对于给定的特征图在确定膨胀系数d以及卷积核大小k后,先进行的深度卷积,再进行的深度膨胀卷积以及1×1的通道卷积,通过分解卷积来捕捉像素参数自建的长程关系。
4.根据权利要求2所述的一种多尺度门控注意力遥感图像去雾方法,其特征在于:所述门控机制表现为两个平行路径的元素乘积,其中一条路径进行大核卷积注意力层来建立长程依赖,另一条路径只进行深度卷积来对空间相邻像素位置的信息进行编码,帮助学习和恢复局部图像结构;
所述残差连接为输入门控大核注意力模块前后的特征图相加,得到输出的特征图。
5.根据权利要求1-4中任意一项所述的一种多尺度门控注意力遥感图像去雾方法,其特征在于:所述去雾方法还包括构建一个包含多空间分辨率、多复杂地形的遥感图像数据集;其具体包括以下内容:
A1、获取多幅包括多种且空间分辨率满足条件的光谱图像;
A2、以改进大气散射模型为基础,通过生成遥感图像加雾算法得到加雾图像,,其中,/>为清晰图像,/>为大气传输图,/>为大气光值。
6.根据权利要求5所述的一种多尺度门控注意力遥感图像去雾方法,其特征在于:所述A2步骤具体包括以下内容:
A21、生成大气传输图与计算不同像素点的大气光值,其中大气传输图采用柏林函数生成,记为;
A22、计算不同像素点的大气光值,将每个像素点划定为一个窗口斑块,寻找每个像素点的大气光,有雾霾的像素点为白色,用RGB表示像素点值为(255,255,255),没有雾霾的像素点为其本身,用RGB表示像素点值为,用K(x)表示大气光的投射比率,如果整张遥感图像都收到雾霾影响,则大气光值/>为White,由于雾霾分布不规律导致大气光分布也不规律,则A(x) = White * K(x),大气传输图用于度量通过大气介质与接收到的辐射与初始场景辐射度之间的比率,这个比率越高,代表其受到大气介质的影响越小,即受到的雾霾影响越小,该点的大气光越接近其本身,则K(x)=1-pl(x),进而大气光值转换为,White为白色的RGB值(255,255,255),在得到大气传输图/>和大气光值/>,即可得到图像加雾算法公式/>;
A23、通过A22步骤得到的遥感图像加雾算法对A1步骤获取到的光谱图像组成的遥感图像数据集进行加雾处理。
7.一种多尺度门控注意力遥感图像去雾系统,其特征在于:它包括数据集构建模块、模型构建模块、训练模块和去雾模块;
所述数据集构建模块:用于构建包括多空间分辨率、多复杂地形的遥感图像数据集;
所述模型构建模块:用于构建适用于多空间分辨率、多复杂地形的遥感图像去雾模型;
所述去雾模型包括进行残差连接的编码器和解码器,编码器包括四个阶段,每个阶段由卷积模块、多尺度融合模块和门控大核注意力模块组成,输入的图像首先通过卷积模块提取原始的图像特征后通过多尺度融合模块与门控大核注意力模块来提取高维的特征图像;解码器包括三个阶段,每个阶段由上采样模块、多尺度融合模块和门控大核注意力模块组成,且第三个阶段还包括卷积模块;
所述训练模块:用于将构建的遥感图像数据集输入到遥感图像去雾模型中进行训练得到训练模型;
所述去雾模块:用于将需要进行去雾处理的遥感图像输入到训练模型中进行去雾处理。
8.根据权利要求7所述的一种多尺度门控注意力遥感图像去雾系统,其特征在于:所述卷积模块由1个3×3大小的卷积核组成,通过卷积核模块将原始图像转化为高维、稀疏的矩阵向量;
所述多尺度融合模块由归一化处理层、点卷积层、三个空洞率不同的卷积层和激活函数层组成,卷积层利用不同大小的空洞率改变感受野大小来提取并融合图像局部语义信息与全局语义信息;
所述门控大核注意力模块由归一化层、大核卷积注意力层、门控机制与残差连接组成;
所述上采样模块包括像素重组层,通过上采样模块进行图像升维,将特征信息恢复到原始图像的大小。
9.根据权利要求8所述的一种多尺度门控注意力遥感图像去雾系统,其特征在于:所述门控大核注意力模块包括深度卷积、深度膨胀卷积和通道卷积,对于给定的特征图在确定膨胀系数d以及卷积核大小k后,先进行的深度卷积,再进行的深度膨胀卷积以及1×1的通道卷积,通过分解卷积来捕捉像素参数自建的长程关系。
10.根据权利要求8所述的一种多尺度门控注意力遥感图像去雾系统,其特征在于:所述门控机制表现为两个平行路径的元素乘积,其中一条路径进行大核卷积注意力层来建立长程依赖,另一条路径只进行深度卷积来对空间相邻像素位置的信息进行编码,帮助学习和恢复局部图像结构;
所述残差连接为输入门控大核注意力模块前后的特征图相加,得到输出的特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410179633.7A CN117726550B (zh) | 2024-02-18 | 2024-02-18 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410179633.7A CN117726550B (zh) | 2024-02-18 | 2024-02-18 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117726550A true CN117726550A (zh) | 2024-03-19 |
CN117726550B CN117726550B (zh) | 2024-04-30 |
Family
ID=90200257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410179633.7A Active CN117726550B (zh) | 2024-02-18 | 2024-02-18 | 一种多尺度门控注意力遥感图像去雾方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117726550B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934473A (zh) * | 2024-03-22 | 2024-04-26 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
CN113962878A (zh) * | 2021-07-29 | 2022-01-21 | 北京工商大学 | 一种低能见度图像去雾模型方法 |
CN114820388A (zh) * | 2022-06-22 | 2022-07-29 | 合肥工业大学 | 一种基于编解码器结构的图像去雾方法 |
CN114936995A (zh) * | 2022-06-15 | 2022-08-23 | 郑州轻工业大学 | 基于大核注意力机制的多尺度特征增强的遥感图像融合方法 |
CN115953311A (zh) * | 2022-12-21 | 2023-04-11 | 南京理工大学 | 基于Transformer的多尺度特征表示的图像去雾方法 |
WO2023066173A1 (zh) * | 2021-10-18 | 2023-04-27 | 虹软科技股份有限公司 | 图像处理方法、装置及存储介质、电子设备 |
CN116258652A (zh) * | 2023-05-11 | 2023-06-13 | 四川大学 | 基于结构注意和文本感知的文本图像修复模型及方法 |
CN117078943A (zh) * | 2023-10-17 | 2023-11-17 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
CN117151990A (zh) * | 2023-06-28 | 2023-12-01 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
CN117495718A (zh) * | 2023-11-06 | 2024-02-02 | 东北电力大学 | 一种多尺度自适应的遥感图像去雾方法 |
CN117541505A (zh) * | 2023-11-07 | 2024-02-09 | 三峡大学 | 基于跨层注意力特征交互和多尺度通道注意力的去雾方法 |
-
2024
- 2024-02-18 CN CN202410179633.7A patent/CN117726550B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111383192A (zh) * | 2020-02-18 | 2020-07-07 | 清华大学 | 一种融合sar的可见光遥感图像去雾方法 |
AU2020100274A4 (en) * | 2020-02-25 | 2020-03-26 | Huang, Shuying DR | A Multi-Scale Feature Fusion Network based on GANs for Haze Removal |
CN113962878A (zh) * | 2021-07-29 | 2022-01-21 | 北京工商大学 | 一种低能见度图像去雾模型方法 |
WO2023066173A1 (zh) * | 2021-10-18 | 2023-04-27 | 虹软科技股份有限公司 | 图像处理方法、装置及存储介质、电子设备 |
CN114936995A (zh) * | 2022-06-15 | 2022-08-23 | 郑州轻工业大学 | 基于大核注意力机制的多尺度特征增强的遥感图像融合方法 |
CN114820388A (zh) * | 2022-06-22 | 2022-07-29 | 合肥工业大学 | 一种基于编解码器结构的图像去雾方法 |
CN115953311A (zh) * | 2022-12-21 | 2023-04-11 | 南京理工大学 | 基于Transformer的多尺度特征表示的图像去雾方法 |
CN116258652A (zh) * | 2023-05-11 | 2023-06-13 | 四川大学 | 基于结构注意和文本感知的文本图像修复模型及方法 |
CN117151990A (zh) * | 2023-06-28 | 2023-12-01 | 西南石油大学 | 一种基于自注意力编码解码的图像去雾方法 |
CN117078943A (zh) * | 2023-10-17 | 2023-11-17 | 太原理工大学 | 融合多尺度特征和双注意力机制的遥感影像道路分割方法 |
CN117495718A (zh) * | 2023-11-06 | 2024-02-02 | 东北电力大学 | 一种多尺度自适应的遥感图像去雾方法 |
CN117541505A (zh) * | 2023-11-07 | 2024-02-09 | 三峡大学 | 基于跨层注意力特征交互和多尺度通道注意力的去雾方法 |
Non-Patent Citations (5)
Title |
---|
CHENG-YING TSAI 等: "Attention-Gate-Based Model with Inception-like Block for Single-Image Dehazing", 《APPLIED SCIENCES》, 2 July 2022 (2022-07-02), pages 1 - 18 * |
HAOZHENG ZHANG 等: "MLKAF-Net:Multiscale Large Kernel Attention Network for Hyperspectral and Multispectral Image Fusion", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 21, 18 December 2023 (2023-12-18), pages 1 - 5 * |
YAN WANG 等: "Multi-Scale Attention Network for Single Image Super-Resolution", 《ARXIV》, 29 September 2022 (2022-09-29), pages 1 - 13 * |
卢昂: "基于编解码网络的图像去雾算法研究", 《万方数据知识服务平台》, 31 December 2023 (2023-12-31), pages 1 - 79 * |
宋昊文: "基于多尺度特征融合和门控卷积的图像修复方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 February 2023 (2023-02-15), pages 138 - 2745 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117934473A (zh) * | 2024-03-22 | 2024-04-26 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
CN117934473B (zh) * | 2024-03-22 | 2024-05-28 | 成都信息工程大学 | 一种基于深度学习的公路隧道表观裂缝检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117726550B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259898B (zh) | 基于无人机航拍图像的农作物分割方法 | |
US11151403B2 (en) | Method and apparatus for segmenting sky area, and convolutional neural network | |
Qin et al. | Dehazing for multispectral remote sensing images based on a convolutional neural network with the residual architecture | |
CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
CN107256541B (zh) | 一种基于卷积神经网络的多光谱遥感图像去雾方法 | |
CN117726550B (zh) | 一种多尺度门控注意力遥感图像去雾方法和系统 | |
CN111709902A (zh) | 基于自注意力机制的红外和可见光图像融合方法 | |
CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN108269244B (zh) | 一种基于深度学习和先验约束的图像去雾系统 | |
CN111985543A (zh) | 一种高光谱图像分类模型的构建方法、分类方法及系统 | |
CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
CN110020693B (zh) | 基于特征注意和特征改善网络的极化sar图像分类方法 | |
CN107330871A (zh) | 恶劣气象条件下运行绝缘子自动识别的图像增强方法 | |
CN113610905B (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
CN109509156A (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
CN112464745B (zh) | 一种基于语义分割的地物识别与分类方法和装置 | |
CN109410144A (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
CN117115669B (zh) | 双条件质量约束的对象级地物样本自适应生成方法及系统 | |
CN106296749A (zh) | 基于l1范数约束的rgb‑d图像本征分解方法 | |
CN116630723A (zh) | 基于大核注意力机制与mlp混合的高光谱地物分类方法 | |
CN114821074B (zh) | 机载liDAR点云语义分割方法、电子设备及存储介质 | |
CN113191970B (zh) | 一种正交色彩传递网络及方法 | |
CN114972625A (zh) | 一种基于rgb光谱超分辨技术的高光谱点云生成方法 | |
Chen et al. | Multi‐scale single image dehazing based on the fusion of global and local features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |