CN115760641B - 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 - Google Patents
基于多尺度特征注意力网络的遥感影像去云雾方法和设备 Download PDFInfo
- Publication number
- CN115760641B CN115760641B CN202211558315.9A CN202211558315A CN115760641B CN 115760641 B CN115760641 B CN 115760641B CN 202211558315 A CN202211558315 A CN 202211558315A CN 115760641 B CN115760641 B CN 115760641B
- Authority
- CN
- China
- Prior art keywords
- cloud
- image
- feature
- fog
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012549 training Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 30
- 238000002834 transmittance Methods 0.000 claims description 87
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000004088 simulation Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 11
- 230000000903 blocking effect Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 230000032669 eclosion Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 239000003595 mist Substances 0.000 abstract description 50
- 238000010606 normalization Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 238000003860 storage Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 17
- 238000009826 distribution Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000005855 radiation Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000005549 size reduction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100146536 Picea mariana RPS15 gene Proteins 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及影像处理领域，尤其涉及一种基于多尺度特征注意力网络的遥感影像去云雾方法和设备，方法包括：获取待处理云雾影像；将待处理云雾影像进行归一化处理，得到归一化后待处理云雾影像；将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像；对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像；其中，去云雾模型包括特征提取结构、多尺度特征增强结构和信息融合结构,去云雾模型是根据云雾训练影像集训练网络模型至收敛得到的。本申请提高了去云雾的精确度。
Description
技术领域
本申请涉及影像处理的技术领域，尤其是涉及一种基于多尺度特征注意力网络的遥感影像去云雾方法和设备。
背景技术
目前，在影像处理领域，关于单幅遥感影像中云雾去除的研究，主要是利用神经网络去除薄云雾的遮挡。影像中的薄云雾包含云雾均匀和不均匀两种类型，一般的，在使用神经网络去除不均匀的薄云雾遮挡时，由于对不均匀的薄云雾的云雾特征提取精确度不高，导致获取的去云雾影像存在部分失真，使得后续得到的去云雾图像中仍含有部分薄云雾，或薄云雾不能去除，从而导致影像去云雾方法精确度较低。
故，现如今的影像去云雾过程，存在影像去云雾精确度较低的问题。
发明内容
为了提高影像去云雾的精准度，本申请提供一种基于多尺度特征注意力网络的遥感影像去云雾方法和设备。
第一方面，本申请提供一种基于多尺度特征注意力网络的遥感影像去云雾方法，采用如下的技术方案：
一种基于多尺度特征注意力网络的遥感影像去云雾方法，包括：
获取待处理云雾影像；
将待处理云雾影像进行归一化处理，得到归一化后待处理云雾影像；
将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，其中，所述去云雾模型是根据云雾训练影像集训练网络模型至收敛得到的；
对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像；
其中，所述去云雾模型包括特征提取结构、多尺度特征增强结构和信息融合结构；
所述将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，包括：
根据归一化后待处理云雾影像，通过特征提取结构进行特征提取，获取待处理云雾影像对应多张第一特征图；
根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，多尺度特征增强用于实现扩大感受野，每一第一特征图对应预设数量的第二特征图，预设数量为尺度数量；
将所有第二特征图与待处理云雾影像通过信息融合结构进行特征融合，得到初始去云雾影像。
通过采用上述技术方案，本方案考虑到去云雾网络在去云雾过程中，存在精确度不高的问题，因而，本方案提供了基于多尺度特征注意力网络的遥感影像去云雾方法，在待处理云雾影像输入时，先归一化处理，在根据归一化后待处理云雾影像，利用去云雾网络模型，在特征提取中获得多张第一特征图的基础上，通过多尺度特征增强以扩大感受野，以便于更精确的对云雾特征进行提取，以得到多张第二特征图；再将待处理云雾影像与多张第二特征图融合，获得初始去云雾影像后，再进行归一化逆处理，以恢复影像的灰度值和色彩，得到去云雾影像，提高了影像去云雾方法的精确度。
本申请在一较佳示例中可以进一步配置为：所述根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，包括：
根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图；
根据多张第一特征图，通过下采样进行第一尺度变换，得到各自对应的第一尺度特征图；
根据多张第一尺度特征图，通过第二特征增强网络，得到各自对应的初始第一尺度增强特征图；并根据多张初始第一尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第二增强特征图；
根据多张第一特征图，通过下采样进行第二尺度变换，得到各自对应的第二尺度特征图；
根据多张第二尺度特征图，通过第三特征增强网络，得到各自对应的初始第二尺度增强特征图；并根据多张初始第二尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第三增强特征图；
其中，每一第二特征图包括第一增强特征图、第二增强特征图和第三增强特征图。
通过采用上述技术方案，利用不同尺度的特征增强网络，以不同尺度的感受野，使得第一特征图中的影像信息更加全面的被关注；即对第一特征图进行多尺度的特征增强，通过扩大感受野，使得去云雾方法更加关注影像的全局信息，防止去云雾方法受局部信息影像导致的误判现象。
本申请在一较佳示例中可以进一步配置为：所述第一特征增强网络、第二特征增强网络和第三特征增强网络的结构相同，均包括多个基础块、卷积模块和跳跃连接模块，每个基础块包括局部残差模块和特征注意力模块；
所述根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图，包括：
根据多张第一特征图，依次通过多个基础块，得到各自对应的初级第一增强特征图，其中，基础块用于增强空间特征信息与通道注意信息；
根据多张初级第一增强特征图，通过卷积块进行特征整理，得到多张中级第一增强特征图；
根据多张第一尺度的第一特征图和多张中级第一增强特征图，通过跳跃连接层融合，得到多张第一尺度的第一特征图各自对应的第一增强特征图。
通过采用上述技术方案，利用多个基础块对特征提取的叠加增强、后续卷积结构和跳跃连接层的对特征的信息融合，以及特征注意模块对含有云雾的特征通道信息和空间分布信息的关注。可以实现云雾特征的精确增强，从而提升去云雾方法的精确度。
本申请在一较佳示例中可以进一步配置为：所述待处理云雾影像包括多个波段的待处理云雾影像，其中，多个波段至少包括红色波段、绿色波段、蓝色波段和近红外波段。
通过采用上述技术方案，考虑到真实云雾在不同波段时，各个波段对云雾影像的实际影响也不尽相同，可以充分利用影像空间光谱信息，来解决由光谱信息利用不充分带来的去云雾后去云雾影像中云雾残留、影像模糊和色彩失真的问题，得到去云雾效果较好的去云雾影像，提升去云雾方法的精确度，进一步的，能够尽可能的保持影像地物的形态和色彩的一致性，提升遥感影像的质量。
本申请在一较佳示例中可以进一步配置为：对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像之后，还包括：
获取待处理云雾影像的各像素点的像素值；
获取去云雾影像各像素点的像素值；
根据去云雾影像和待处理云雾影像的各像素点的像素差值，确定补偿值，其中，补偿值表征未受云雾影响各像素点的像素差值中的最小值；
根据补偿值和去云雾影像各像素点的像素值，对去云雾影像进行处理，得到最终去云雾影像。
通过采用上述技术方案，根据去云雾影像和待处理云雾影像的各像素点的像素差值，确定的补偿值，对去云雾图像进行辐射校正，消除去云雾影像中由于数据传递带来的辐射误差，减少去云雾影像的失真情况的发生。
本申请在一较佳示例中可以进一步配置为：在获取待处理云雾影像之前，还包括：
根据待处理云雾影像，通过影像分块，得到多张待处理云雾影像；
相应的，在对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像之后，还包括：
根据多张去云雾影像，通过羽化拼接，得到去云雾影像。
通过采用上述技术方案，在需要对大尺寸的云雾影像进行去云雾时，能够通过影像分块以得到多张分块影像，进而依次对多张分块影像进行去云雾后再拼接，以得到大尺寸的去云雾图像，能够满足大尺寸去云雾需求，改善用户体验。
本申请在一较佳示例中可以进一步配置为：所述方法，还包括：
获取云雾训练影像集，云雾训练影像集包括多个云雾训练影像块，所述云雾训练影像集用于训练去云雾模型：
其中，获取云雾训练影像集，包括：
获取多个初始影像块，其中，初始影像块包括含厚云雾影像块和不含云影像块；
获取多个含厚云雾影像块各自对应的大气光值和透射率图；
针对每一不含云影像块，基于每一所述大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到每一模拟含云雾影像块；
根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得所述多个云雾训练影像块，以获取云雾训练影像集。
通过采用上述技术方案，利用多个含厚云雾影像块各自对应的透射率图，而不是利用perlin方式或其他方式直接给定的模拟透射率值，模拟云雾的透射程度，同时使用大气光值模拟大气光对云雾的影响，使提取到的云雾特征更加真实不失真，进一步的提升了云雾训练影像集的真实性。
本申请在一较佳示例中可以进一步配置为：获取多个含厚云雾影像块各自对应透射率图，包括：
对多个含厚云雾影像块进行归一化处理，得到多个归一化后的含厚云雾影像块；
获取每一归一化后的含厚云雾影像块的每一像素点对应的窗口区域；
针对每一归一化后的含厚云雾影像块，基于每一像素点对应的窗口区域，利用初始透射率图的计算公式，获取初始透射率图；
根据多个初始透射率图，通过线型拉伸公式，获得多个透射率图；
其中，初始透射率图的计算公式为：，
x为当前像素点的位置，Ω(x)表示以当前像素点的位置为中心的窗口区域，y表示窗口区域内的所有像素点，c表示像素点y四个颜色波段的其中一个,IN表示归一化后的含厚云雾影像块，t0表示初始透射率图；
线型拉伸公式为：
，
t0(x)为当前位置的初始透射率，tmin为初始透射率图中透射率最小值，tmax为该初始透射率图中透射率最大值，t(x)为当前位置纠正后的透射率图，α为设定参数。
通过采用上述技术方案，首先使用真实影像获取初始透射率图，而不是直接给定一个均匀的透射率值，或，使用perlin方式直接给定一个模拟的模拟透射率值，避免使用均值得到的模拟云雾测试影像准确度不高、真实性偏低，且，通过调整透射率值域，以增强云雾特征；拉伸透射率图，以增强云雾纹理，进而能够提高模拟含云雾影像的真实性。
本申请在一较佳示例中可以进一步配置为：在针对每一不含云影像块，基于每一所述大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到模拟含云雾影像块之后，还包括：
根据多个模拟含云雾影像块，通过高斯模糊，得到各自对应的最终模拟含云雾影像块；
相应的，根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得所述多个云雾训练影像块，包括：
根据所有不含云影像块的所有最终模拟含云雾影像块、多个不含云影像块，获得所述多个云雾训练影像块,以得到云雾训练影像集。
通过采用上述技术方案，利用高斯模糊向模拟云雾训练影像块中添加云雾散射现象，以获取更加真实的云雾训练影像块，提升了训练去云雾模型训练过程的真实度，进一步提高了去云雾模型的去云雾精确度。
第二方面，本申请提供一种基于多尺度特征注意力网络的遥感影像去云雾装置，采用如下的技术方案：
一种基于多尺度特征注意力网络的遥感影像去云雾装置，包括：
待处理云雾影像获取模块，用于获取待处理云雾影像；
归一化模块，用于将待处理云雾影像进行归一化处理，得到归一化后待处理云雾影像；
去云雾模块，用于将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，其中，所述去云雾模型是根据云雾训练影像集训练网络模型至收敛得到的；
逆变换模块，用于对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像；
其中，所述去云雾模型包括特征提取结构、多尺度特征增强结构和信息融合结构；
所述去云雾模块在执行将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像时，用于：
根据归一化后待处理云雾影像，通过特征提取结构进行特征提取，获取待处理云雾影像对应多张第一特征图；
根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，多尺度特征增强用于实现扩大感受野，每一第一特征图对应预设数量的第二特征图，预设数量为尺度数量；
将所有第二特征图与待处理云雾影像通过信息融合结构进行特征融合，得到初始去云雾影像。
第三方面，本申请提供一种电子设备，采用如下的技术方案：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行如第一方面的任一的基于多尺度特征注意力网络的遥感影像去云雾方法。
第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行如第一方面的任一的基于多尺度特征注意力网络的遥感影像去云雾方法。
综上所述，本申请包括以下至少一种有益技术效果：
1、考虑到去云雾网络在去云雾过程中，存在精确度不高的问题，因而，本方案提供了基于多尺度特征注意力网络的遥感影像去云雾方法，在待处理云雾影像输入时，先归一化处理，再根据归一化后待处理云雾影像，利用去云雾网络模型，在特征提取中获得多张第一特征图的基础上，通过多尺度特征增强以扩大感受野，以便于更精确的对云雾特征进行提取，以得到多张第二特征图；再将待处理云雾影像与多张第二特征图融合，获得初始去云雾影像后，再进行归一化逆处理，以恢复影像的灰度值和色彩，得到去云雾影像，提高了影像去云雾方法的精确度；
2、通过采用上述技术方案，利用多个含厚云雾影像块各自对应的透射率图，而不是利用perlin方式或其他方式直接给定的模拟透射率值，模拟云雾的透射程度，同时使用大气光值模拟大气光对云雾的影响，使提取到的云雾特征更加真实不失真，进一步的提升了云雾训练影像集的真实性。
附图说明
图1为本申请实施例提供的一种影像去云雾方法的流程示意图。
图2为本申请实施例提供的一种利用去云雾模型的执行过程示意图。
图3为本申请实施例提供的一种多尺度特征增强网络的结构示意图。
图4为本申请实施例提供的一种基础块的结构示意图。
图5为本申请实施例提供的一种特征注意力模块的结构示意图。
图6为本申请实施例提供一种具体的影像去云雾方法的流程示意图。
图7为本申请实施例提供的一种去云雾模型训练的流程示意图。
图8为本申请实施例提供的一种影像去云雾装置的结构示意图。
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
现如今在影像处理领域，关于单幅遥感影像中云雾去除的研究，主要是利用神经网络去除薄云雾的遮挡。影像中的薄云雾可以包括均匀薄云雾和不均匀薄云雾。其中，均匀薄云雾由于云雾特征单一，因此是易于提取的，去云雾效果较好；但，对于不均匀薄云雾，由于其云雾特征复杂，且，由于相关技术中神经网络去云雾过程中云雾特征提取准确率不高，对于影像中的云雾特征提取不足，导致去云雾效果较差。
由此可知，已有去云雾方法无法准确提取不均匀薄云雾的云雾特征，导致得到的去云雾图像中仍含有部分云雾，或过分去除部分薄云雾，进一步的，导致去云雾网络去云雾精确度较低。
因此，发明人发现，在对于不均匀薄云雾进行去云雾处理时，可以在待处理云雾影像输入时，先归一化处理，在根据归一化后待处理云雾影像，利用去云雾网络模型，然后利用特征提取，先行初步提取待处理影像中的云雾特征，得到多张第一特征图；再通过多尺度增强，扩大去云雾网络的感受野，得到多张第二特征图；对多张第二特征图与待处理影像进行特征融合处理，以在保留待处理影像低层次特征的同时，融合待处理影像的高层次信息，实现网络的去云雾，得到初始去云雾影像，再进行归一化逆处理，以恢复影像的灰度值和色彩，得到去云雾影像，提高了影像去云雾方法的精确度。
具体的，本申请实施例提供了一种影像去云雾方法，由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制，如图1所示，图1为本申请实施例提供的一种影像去云雾方法的流程示意图，其中，该方法包括步骤S101、步骤S102、步骤S103以及步骤S104，其中：
步骤S101、获取待处理云雾影像；
其中，待处理云雾影像可以包括厚云雾影像和薄云雾影像。待处理云雾影像可以包括一张或多张影像。
在本申请实施例的影像去云雾方法中，当待处理云雾影像为一张时，处理一张处理云雾影像即可；当待处理云雾影像为多张时，对多张处理云雾影像可以同时处理、分批处理或逐一处理，得到多张去云雾影像后可以同时输出、分批输出或逐一输出，本申请实施例对于多张待处理云雾影像的处理顺序和输出顺序不再限定。
步骤S102、将待处理云雾影像进行归一化处理，得到归一化后待处理云雾影像；
一般的，待处理云雾影像的储存位数可以为16位，该种格式影像保存位数大，携带信息多，能够满足实际生产需求，但由于待处理云雾影像存储空间大，包含大量冗余数据，可能会影响利用算法去云雾的效果或者利用去云雾模型去云雾的效果。
本申请实施例采用归一化方式，对原始影像进行归一化处理，通过保持输入数据的分布一致性，提高去云雾的效果。归一化方式至少可以包括线型归一化或均值方差归一化，本申请实施例以线型归一化方式为例，但不对归一化方式做具体限定。
对于本申请实施例，进行归一化处理的过程可以包括：根据待处理云雾影像，统计待处理云雾影像中每个像素值出现的频率，形成各像素值分布列表；根据像素值分布列表，获取素值频率的最大频率v，其中，最大频率v对应的像素值可以包括X1；根据标准正态分布中概率分布于第一概率值（可以为1%）和第二概率值（可以为99%）与峰值，通过粗略计算，得到固定系数（当第一概率值为1%、第二概率值为99%时，固定系数可以为0.0662）；根据固定系数和最大频率v，得到参考值，参考值为固定系数和最大频率v乘积；根据最大频率v对应的像素值X1和参考值，利用归一化的计算公式，得到待处理云雾影像归一化后的各点像素，其中，归一化的计算公式可以包括，aα为(0,X1)区间频率大于参考值的最大像素值，bα为（X1，65535）的最小像素值，xα为待处理云雾影像归一化后各点像素值，Xα为待处理云雾影像各点像素值。
值得注意的是，在利用去云雾模型去云雾前进行归一化处理，相应的，在去云雾模型的训练过程时，训练集中的各影像也可以是进行归一化处理后的影像，能够加快模型训练。
同时，计算机处理能力有限，为保证计算机在去云雾过程中顺利运行，将待处理云雾影像各点的像素值进行归一化处理，提升去云雾方法的稳定性。
步骤S103、将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，其中，去云雾模型是根据云雾训练影像集训练网络模型至收敛得到的；
其中，去云雾模型包括特征提取结构、多尺度特征增强结构和信息融合结构；
对于本申请实施例，请参考图2，图2为本申请实施例提供的一种去云雾模型的执行过程示意图，步骤S103将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，包括：步骤S1031-S1033，其中：
步骤S1031、根据归一化后待处理云雾影像，通过特征提取结构进行特征提取，获取待处理云雾影像对应多张第一特征图；
在本申请实施例中归一化后待处理云雾影像中可能包括多种特征，多张第一特征图可以利用特征提取结构进行特征提取得到，其中，特征提取结构可以是卷积结构，卷积结构本申请实施例不再进行限定，用户可根据实际需求设置。具体的，卷积结构常设定的通道数包括但是不限定于：64、128、256，优选的，本申请实施例选取64作为通道数，卷积结构中的卷积设定为3*3*64大小的卷积，3为卷积大小，64为卷积后输出通道数，经过大量实验可知，在去云雾模型中应用卷积结构提取云雾特征时，基于64通道数进行特征提取，最后实现的去云雾效果最好，去云雾误差最小、精确度最高。
步骤S1032、根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，多尺度特征增强用于实现扩大感受野，每一第一特征图对应预设数量的第二特征图，预设数量为尺度数量；
其中，针对每一第一特征图，根据第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到对应的多张第二特征图。针对每一张第一特征图来说，在进行多尺度特征增强时，可以将当前的第一特征图经由不同的尺度变换，以得到不同空间尺寸的特征图；尺度变换的具体方式可以包括：缩小空间尺寸；即尺度变化通过缩小第一特征图的空间尺寸，分别将不同尺度下的第一特征图进行特征增强处理，得到多尺度下的多张第二特征图，实现扩大感受野，其中，本步骤后得到的所有的第二特征图的数量取决于多尺度增强中空间尺度的数量，如第一特征图的数量为A，空间尺度的数量为B，所有第一特征图对应的所有第二特征图的数量为A*B。
在本申请实施例中，使用多尺度下的特征增强，对云雾特征进行多尺度特征增强处理，特征增强过程中，由于卷积核不变，故，可以通过扩大感受野来关注除特征图现有范围之外的更多云雾特征，更加关注影像的全局信息，防止去云雾模型受局部信息影响，减少误判现象的出现。具体的，本申请实施例利用多尺度特征增强结构，针对所有第一特征图，通过变换所有第一特征图的空间尺寸，得到所有第一特征图对应的尺度不同的第一特征图，每一第一特征图对应的尺度数量的不同尺度的第一特征图；通过对所有空间尺度不同的第一特征图，进行特征增强处理，得到所有第一特征图对应的所有第二特征图。
其中，多尺度特征增强结构中包括多个并联的特征增强网络，并且，输入每一特征增强网络的特征图的尺度均不同。以图3为例，多尺度特征增强结构包括三个特征增强网络即组结构。
步骤S1033、将所有第二特征图与待处理云雾影像通过信息融合结构进行特征融合，得到初始去云雾影像。
当前多张第二特征图拥有比多张第一特征图高级的特征，多张第一特征图的类别可以包括特征提取后的类别，多张第二特征图的低级的特征可以包括每一特征增强网络中对于特征提取后的特征再次提取更高级的特征。本申请实施例不对信息融合结构进行限定，通过信息融合结果进行所有第二特征图和待处理云雾影像的融合，能够得到去云雾影像。具体的，为了保证处理前后影像的分布一致性，结合图3可知，信息融合结构可以包括：连接层、CA、PA、两个卷积层和跳跃连接层，其中，针对所有第一特征图对应的第二特征图，通过连接层进行每一第一特征图的不同尺度内容融合，得到每一第一特征图的多张初级第二特征图；根据每一第一特征图的多张初级第二特征图，通过特征注意模块FA（FA包括通道注意力模块CA和空间注意力模块PA）得到增强后的云雾特征，得到每一初级第二特征图对应的中级第二特征图，以防止融合信息后出现未增强的云雾特征；根据所有中级第二特征图，通过两个卷积层，将现有的特征图进行合并与重新分类，得到多张高级第二特征图；根据多张高级第二特征图和待处理云雾影像，利用一个跳跃连接层，通过将残差信息与原始信息融合，得到初始去云雾影像，以实现影像去云雾，其中，残差信息包括所有高级第二特征图，原始信息包括归一化后待处理云雾影像。
步骤S104、对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像。
为保证输入输出影像数据的存储格式一致，可以将初始去云雾影像，进行归一化的逆变换，以获取带有真实像素值的去云雾影像。
具体的，根据aβ、bβ和初始去云雾影像各点像素值xβ，利用归一化逆变换的计算公式，得到去云雾影像，其中，归一化逆变换的计算公式可以包括，X β为去云雾影像中各点真实像素值,x β为去云雾影像中各点归一化后的像素值，a β为（0，x β）区间频率大于0.0662*v的最大像素值，b β为（x β，65535）区间的最小像素值，v为影像中出现频率最大的像素值的出现频率。
在本申请实施例中，通过在待处理云雾影像输入时，先归一化处理，再经由去云雾处理，在得到初始去云雾影像后，再进行归一化逆处理，以保证去云雾影像灰度值和色彩与实际地物相符，且，同时保障影像数据的分布一致性，从而提高去云雾模型的鲁棒性。
可见，本申请实施例考虑到去云雾网络在去云雾过程中，存在精确度不高的问题，因而，本方案提供了基于多尺度特征注意力网络的遥感影像去云雾方法，在待处理云雾影像输入时，先归一化处理，再根据归一化后待处理云雾影像，利用去云雾网络模型，在特征提取中获得多张第一特征图的基础上，通过多尺度特征增强以扩大感受野，以便于更精确的对云雾特征进行提取，以得到多张第二特征图；再将待处理云雾影像与多张第二特征图融合，获得初始去云雾影像后，再进行归一化逆处理，以恢复影像的灰度值和色彩，得到去云雾影像，提高了影像去云雾方法的精确度。
在本申请另一实施例中，多尺度特征增强结构包括：第一特征增强网络、第二特征增强网络和第三特征增强网络，步骤S1032根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，包括：步骤S1032-1（图中未示出）、步骤S1032-2（图中未示出）以及步骤S1032-3（图中未示出），其中：
步骤S1032-1、根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图；
第一特征增强网络、第二特征增强网络和第三特征增强网络可以是三个结构相同的并联结构，且三个增强网络输入特征图空间尺度不同，具体的可以是依次相差四倍。
具体的，本申请实施例根据多张第一特征图，通过第一特征增强网络，对云雾特征进行特征增强，得到各自对应的第一增强特征图。
步骤S1032-2、根据多张第一特征图，通过下采样进行第一尺度变换，得到各自对应的第一尺度特征图；根据多张第一尺度特征图，通过第二特征增强网络，得到各自对应的初始第一尺度增强特征图；并根据多张初始第一尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第二增强特征图；
第一尺度变换可以包括将第一特征图的空间尺寸缩小，具体可以是缩小至原来的四分之一。
一般的，已有技术在特征增强过程中，常以单一空间尺度下的特征图为基础，进行云雾特征增强，由于经由特征提取获得的云雾特征，可能存在误差，使用单一空间尺度进行云雾特征增强，不仅会增强云雾有效特征，还会增强云雾的错误特征，对应的误差可能也会随之增强，从而导致去云雾方法精确度的降低；因而，本申请实施例使用多尺度下的特征增强，对云雾特征进行多尺度特征增强处理，特征增强过程中，由于卷积核不变，故，可以通过扩大感受野来关注除特征图现有范围之外的更多云雾特征，更加关注影像的全局信息，防止去云雾模型受局部信息影响，减少误判现象的出现。
本申请实施例通过下采样进行尺度缩小，通过上采样进行尺度恢复，本申请不对上采样以及下采样的方式进行限定，用户可根据实际需求进行设置，优选的，下采样方式可以为均值下采样，对于结果非整的下采样特征图，采用向下取整的方式获得尺度特征图，可以更多的保留影像中的背景信息，进而在进行特征增强后，将初始第一尺度增强特征图通过上采样恢复输入第二特征增强网络前的空间尺寸，不仅保证了信息传递时的数据分布一致性，同时与均值下采样同时作用，可以使去云雾过程更加关注影像中的复杂地物纹理，进一步提升了去云雾方法的精确度。
上采样方法包括但是不限于：最近邻插值法、双线性插值法、转置卷积法或反池化法，本申请实施例不再对上采样具体采样方式进行限定。
步骤S1032-3根据多张第一特征图，通过下采样进行第二尺度变换，得到各自对应的第二尺度特征图；根据多张第二尺度特征图，通过第三特征增强网络，得到各自对应的初始第二尺度增强特征图；并根据多张初始第二尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第三增强特征图；其中，每一第二特征图包括第一增强特征图、第二增强特征图和第三增强特征图。
第一尺度变换实现的尺寸缩小程度与第二尺寸变换实现的尺寸缩小程度不同，承接上述实施例，可以通过第二尺度变换将第一特征图的空间尺寸缩小至原来的十六分之一。对于第一尺度变化和第二尺度变换中各影像的空间尺寸关系，例如：待处理云雾影像空间尺度为256*256，第一特征增强网络输入特征图空间尺度为256*256，第二特征增强网络输入特征图和初始第一尺度增强特征图空间尺度为64*64，第三特征增强网络输入特征图和初始第二尺度增强特征图空间尺度为16*16，第一增强特征图、第二增强特征图和第三增强特征图空间尺度为256*256。
具体的，根据多张第一特征图，得到多张第三增强特征图的具体过程可参考步骤S1032-2。
可见，在本申请实施例中，利用不同尺度的特征增强网络，以不同尺度的感受野，使得第一特征图中的影像信息更加全面的被关注；即通过对第一特征图进行多尺度的特征增强，通过扩大感受野，使得去云雾方法更加关注影像的全局信息，防止去云雾方法受局部信息影像导致的误判现象。
具体的，在本申请另一实施例中，第一特征增强网络、第二特征增强网络和第三特征增强网络的结构相同，均包括多个基础块、卷积模块和跳跃连接模块，每个基础块包括局部残差模块和特征注意力模块，结合图3，图3为本申请实施例提供的一种多尺度特征增强网络的结构示意图。步骤S1032-1具体可以包括步骤S1032-11（图中未示出）、步骤S1032-12（图中未示出）以及步骤S1032-13（图中未示出），其中：
步骤S1032-11、根据多张第一特征图，依次通过多个基础块，得到各自对应的初级第一增强特征图，其中，基础块用于增强空间特征信息与通道注意信息；
本申请实施例可以通过基础块的特征注意力模块（FA）更加关注影像中云雾空间上的不均匀性。
第一特征增强网络中的基础块的数量取决于计算机性能和去云雾的精确度要求，对于数量本申请实施例不再进行限定，用户可根据实际需求设置。例如，第一特征增强网络可以包括18个基础块，每个基础块结构由局部残差模块和特征注意（FA）模块组成，使网络更加关注含有云雾的特征通道信息和空间分布信息。
针对基础块运行进行具体描述，具体的，请参考图4，图4为本申请实施例提供的一种基础块的结构示意图，其中，每个基础块包括局部残差模块和特征注意力模块（CA+PA构成）。
根据每一第一特征图，通过第一卷积层conv进行特征提取和特征映射，得到每一第一处理结果；根据每一第一处理结果，通过激活层relu增加非线性映射，得到每一第二处理结果；根据每一第一特征图和第二处理结果，通过跳跃连接层融合，得到每一第三处理结果；根据每一第三处理结果，利用第二卷积层进行特征提取和特征映射，得到每一第四处理结果；根据每一第四处理结果，利用通道注意力模块CA增加通道注意力、抑制无用信息，得到每一第五处理结果；根据每一第五处理结果，通过空间特征模块PA增强空间注意力，得到每一第六处理结果；根据每一第一特征图和第六处理结果，通过跳跃连接层融合，得到得到每一基础块处理的增强特征图。其中，局部残差模块包括第一卷积层、第二卷积层、激活层。
通过对通道特征CA和空间特征PA，采用不同权重加权处理，能够在空间和通道上更加合理的处理特征图中的分布不均的云雾信息。
在本申请实施例中，如图5所示，图5为本申请实施例提供的一种特征注意力模块的结构示意图，相应的，根据每一第四处理结果，利用通道注意力模块增加通道注意力、抑制无用信息，通过空间特征模块增强空间注意力，得到每一第六处理结果，其中：
针对通道注意力模块（CA模块），由于云雾在不同的特征通道上所表现出的数值大小不同。根据每一第四处理结果，利用通道描述符的计算公式，通过全局平均池化pool，以将通道相关的全局空间信息转化为通道描述符，得到每一通道描述符gc；
其中，通道描述符的计算公式可以包括，gc表示转化的通道描述符，Hp是全局池化函数，Fc是输入特征图即第四处理结果，Xc（i，j）表示位置（i，j）处第c个通道Xc的值。特征图的形状从C×H×W变为C×1×1的通道描述符；
根据每一通道描述符gc，依次通过卷积层conv、和ReLu激活层、卷积层conv、S层即sigmoid激活函数，以利用通道权重的计算公式，得到每一通道的权重CAc；
其中，通道权重的计算公式可以包括，σ是sigmoid函数，δ是ReLu函数，Conv是卷积层；/>
根据每一通道的权重CAc和输入特征图Fc，通过跳跃连接层以利用通道注意输出特征图的计算公式，得到每一通道注意输出特征图Fc *；其中，通道注意输出特征图的计算公式可以包括；
针对空间注意（PA）模块，由于云雾在各特征通道空间上的分布是不均匀的，故，可以使用一个空间注意（PA）模块，以使去云雾模型更加关注空间特征，其中，加重关注的空间特征可以包括浓雾区域和高频区域。
根据每一通道注意输出特征图Fc *，通过两个卷积层和ReLu和Sigmoid激活函数处理，以利用空间权重值的计算公式，得到每一特征图空间权重值PA；其中，空间权重值的计算公式可以包括，特征图的权重值变化可以包括从C×H×W的特征图变为1×H×W的特征图空间权重值，F∗表示通道注意输出特征图Fc *，PA表示每一特征图空间权重值；
根据通道注意输出特征图Fc*和每一特征图空间权重值PA，通过跳跃连接层，以利用输出特征图Fout的计算公式，得到每一输出特征图Fout即第六处理结果，其中，输出特征图Fout的计算公式可以包括。
步骤S1032-12、根据多张初级第一增强特征图，通过卷积块进行特征整理，得到多张中级第一增强特征图；
由于在多个基础块的特征增强过程中，可能会出现除多张第一特征图已有信息分类基础之外的信息类别，为保证影像去云雾过程中信息的分布统一性，可以对多张初级第一增强特征图，通过卷积块进行分类整理，以得到多张中级第一增强特征图。
步骤S1032-13、根据多张第一尺度的第一特征图和多张中级第一增强特征图，通过跳跃连接层融合，得到多张第一尺度的第一特征图各自对应的第一增强特征图。
经过步骤S1032-12后，多张中级第一增强特征图中包括高层次信息，使用多张第一尺度的第一特征图与中级第一增强特征图融合，得到的第二特征图的精确度更高。
可见，在本申请实施例中，利用多个基础块对特征提取的叠加增强、后续卷积结构和跳跃连接层的对特征的信息融合，以及特征注意模块对含有云雾的特征通道信息和空间分布信息的关注。可以实现云雾特征的精确增强，从而提升去云雾方法的精确度。
进一步的，本申请实施例的一种可能的实现方式，待处理云雾影像包括多个波段的待处理云雾影像，其中，多个波段至少包括红色波段、绿色波段、蓝色波段和近红外波段。
已有去云雾方式对于影像空间光谱信息利用不充分，大都仅考虑到了可见光范围内的红色波段、绿色波段和蓝色波段，但大多现如今的遥感影像获取装置，对于近红外波段的信息是能够捕捉的，故，为充分利用影像空间光谱信息，在对待处理云雾影像进行去云雾操作之前，先将获取到的影像分别以不同波段的形式存储。
本申请实施例不对多个波段做具体限定，多个波段至少可以包括红色波段、绿色波段、蓝色波段和近红外波段，还可以包括除上述四个波段之外的任意波段。
本申请实施例的待处理云雾影像可以是各种尺度、各种波段组合的标准影像。
具体的，待处理云雾影像的获取过程可以包括获取初始影像；根据初始影像，通过将初始影像数据的各波段数据以16位储存位数储存，得到至少经过数据解码、拼接、匀色、波段配准、分景处理后的待处理云雾影像。
其中，初始影像的获取方式至少可以包括通过遥感卫星获得，本申请实施例不再限定初始影像的获取方式。
由此可见，本方案考虑到真实云雾在不同波段时，各个波段对云雾影像的实际影响也不尽相同，可以充分利用影像空间光谱信息，来解决由光谱信息利用不充分带来的去云雾后去云雾影像中云雾残留、影像模糊和色彩失真的问题，得到去云雾效果较好的去云雾影像，提升去云雾方法的精确度，进一步的，能够尽可能的保持影像地物的形态和色彩的一致性，提升遥感影像的质量。
进一步的，本申请的另一实施例中，步骤S104对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像之后，还包括：S1051（图中未示出）、步骤S1052（图中未示出）、步骤S1053（图中未示出）以及步骤S1054（图中未示出），其中：
步骤S1051、获取待处理云雾影像的各像素点的像素值；
步骤S1052、获取去云雾影像各像素点的像素值；
步骤S1053、根据去云雾影像和待处理云雾影像的各像素点的像素差值，确定补偿值，其中，补偿值表征未受云雾影响各像素点的像素差值中的最小值；
在获取去云雾影像的过程中，由于外界因素，数据获取和传输系统可能会产生的系统的、随机的辐射失真或畸变，导致去云雾图像可能存在失真，因而，对去云雾影像进行辐射矫正，以减少去云雾影像的失真情况的发生。
具体的，由于在待处理云雾影像中至少存在一点未受云雾影像，故可以使用未受云雾影像这一点的雾度作为补偿值，对整个去云雾图像进行辐射矫正，其中，雾度指的是待处理云雾影像中各点去云雾前后的像素值差值，故可以通过将待处理云雾影像与去云雾影像中各点像素值比较作差，从各个像素点对应的差值中选取对应补偿值。为保证选取的雾度是未受云雾影像的点的雾度，可以选取像素差值的最小值作为补偿值。例如，本申请实施例通过补偿值计算公式，根据待处理云雾影像和去云雾影像各点的像素值，得到补偿值，其中，补偿值=min（I-J），I为待处理云雾影像的各像素点的像素值，J为待去云雾影像的各像素点的像素值。
步骤S1054、根据补偿值和去云雾影像各像素点的像素值，对去云雾影像进行处理，得到最终去云雾影像。
具体的，根据补偿值与去云雾图像，利用辐射校正的计算公式，得到辐射校正后的去云雾图像，其中，辐射校正的计算公式可以包括，J’(x)表示辐射校正后的去云雾图像的各像素点的像素值，I（x）为去云雾图像的各像素点的像素值。
在本申请实施例中，根据去云雾影像和待处理云雾影像的各像素点的像素差值，确定的补偿值，对去云雾图像进行辐射校正，消除去云雾影像中由于数据传递带来的辐射误差，减少去云雾影像的失真情况的发生。
进一步的，本申请实施例的另一种可能的实现方式，在步骤S101获取待处理云雾影像之前，具体还可以包括：根据待处理云雾影像，通过影像分块，得到多张待处理云雾影像；
当待处理云雾影像超过去云雾模型的预设大小时，可以通过分割，得到待处理云雾影像块，然后将待处理云雾影像块进行去云雾，在去云雾后拼接，获得去云雾影像。
具体的，根据计算机的性能，将待处理云雾影像，可以按照2000*2000像素块分割影像块，且分割上下左右设置重叠，以便于后续拼接，其中，重叠宽度为150个像素，保留每一待处理云雾影像块地理坐标。
相应的，在步骤S104对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像之后，还包括：根据多张去云雾影像，通过羽化拼接，得到去云雾影像。
具体的，将多张去云雾影像块，在对应重叠区域，采用羽化拼接的方式合成去云雾影像。
进一步的，本申请实施例不对“根据多张去云雾影像，通过羽化拼接，得到去云雾影像”的执行顺序进行限定，在一种可能的情况中，可以先进行补偿校正后，再进行拼接；还可以是先进行拼接在进行补偿校正，用户可根据实际情况选择。
可见，本申请实施例在需要对大尺寸的云雾影像进行去云雾时，能够通过影像分块以得到多张分块影像，进而依次对多张分块影像进行去云雾后再拼接，以得到大尺寸的去云雾图像，能够满足大尺寸去云雾需求，改善用户体验。
具体的，请参考图6，图6为本申请实施例提供一种具体的影像去云雾方法的流程示意图，该影像去云雾方法包括：构建去云雾数据集步骤、构建去云雾网络步骤、整景影像拼接和后处理步骤；
其中，构建去云雾数据集步骤包括：对无云遥感影像，通过影像分块，获取无云遥感影像块；对含云遥感影像，进行影像分块，得到含云遥感影像块；根据含云遥感影像块，获取每一含云遥感影像块的初始透射率图和对应大气光值；对每一含云遥感影像块的初始透射率图，进行云雾增强，获得对应透射率图；根据每一无云遥感影像块与每一透射率图，获取每一初始模拟含云雾遥感影像块；根据每一初始模拟含云雾遥感影像块，通过高斯模糊，获取每一模拟含云雾遥感影像块，其中，去云雾数据集包括多个模拟含云雾遥感影像块。
构建去云雾网络步骤包括：根据去云雾数据集，训练多尺度特征注意网络，通过多尺度特征注意网络得到的去云雾影像，评价图像块去雾效果；若去雾效果好则结束训练，获取训练完成的去云雾网络；若去雾效果不好，则继续训练多尺度特征注意网络，直至去雾效果好，获取训练完成的去云雾网络。
整景影像拼接和后处理步骤包括：获取整景真实含云雾遥感影像并进行影像分块，获取整景真实含云雾遥感影像块；根据真实含云雾遥感影像块，通过训练完成的去云雾网络，得到去云雾真实含云雾遥感影像块；利用羽化拼接，根据去云雾真实含云雾遥感影像块，获取初始整景去云雾真实含云雾遥感影像；根据初始整景去云雾真实含云雾遥感影像，通过辐射补偿校正，获取整景去云雾真实含云雾遥感影像。
具体的，本申请另一实施例中，请参考图7，图7为本申请实施例提供的一种去云雾模型训练的流程示意图，包括：步骤SA1、步骤SA2以及步骤SA3，其中：
步骤SA1、获取云雾训练影像集，和云雾训练影像集中的多个云雾训练影像块各自对应的标签，并获取未训练去云雾模型，其中，未训练去云雾模型包括：特征提取结构、多尺度特征增强结构和信息融合结构。
多个云雾训练影像块用于训练未训练去云雾模型。多个云雾训练影像块对应标签用于判断去云雾模型是否训练合格。多个云雾训练影像块对应标签至少可以包括标准去云雾训练影像块。
步骤SA2、利用未训练去云雾模型对多个云雾训练影像块进行去云雾处理，得到各自对应的去云雾训练结果图像块。
具体的，针对每一云雾训练影像块，步骤SA2，包括：
根据云雾训练影像块，通过特征提取结构进行特征提取，获取云雾训练影像块对应多张第一训练特征图；根据多张第一训练特征图通过多尺度特征增强结构进行多尺度特征增强，得到多张第二训练特征图；将多张第二训练特征图与云雾训练影像块通过信息融合结构进行特征融合，得到去云雾训练结果图像块。
步骤SA3、计算多个去云雾训练结果图像块和标签的残差值，并基于残差值更新未训练去云雾模型，并返回利用未训练去云雾模型对云雾影像训练集进行去云雾处理的步骤后迭代执行，直到残差值达到预设残差值阈值，得到去云雾模型。
具体的，通过多个云雾训练影像块训练未训练去云雾模型，得到多个去云雾训练结果；根据多个去云雾训练结果与训练影像，计算得到对应的残差值；基于残差值更新未训练去云雾模型，调节训练模型的超参数，对上述过程迭代执行，直到残差值达到预设残差值阈值，即此时的去云雾模型满足预设要求。
其中，计算残差值的损失函数包括但是不限于：L1损失函数、L2损失函数，由于L2损失函数的收敛速度较快且收敛时精度较高，故，本申请实施例可以选用L2损失函数。
具体的，损失函数可以使用L2损失函数；上述卷积的卷积核大小都为3*3，采用0填充方式；优化器采用Adam；学习率设置为1×10-4，动量参数设置为β1=0.9、β2=0.999，训练批大小为4，训练10000次。
为了提高去云雾模型的准确度，在调节训练模型的超参数后，在利用多个云雾训练影像块训练使得残差值达到预设残差值阈值后，得到去云雾模型，进而，还可以：
获取多个云雾测试影像；根据多个云雾测试影像，通过当前去云雾模型，得到多个去云雾测试影像；根据多个去云雾测试影像与云雾测试影像，得到去云雾验证结果。
云雾测试影像可以包括模拟云雾测试影像和真实云雾测试影像，其中，模拟云雾测试影像包括模拟含云影像和模拟不含云影像，真实云雾测试影像包括真实含云影像；根据多个模拟云雾测试影像，通过当前去云雾模型，得到去云雾后的多个模拟云雾测试影像；针对每一模拟云雾测试影像，根据模拟含云影像和对应去云雾影像，通过图像质量评价指标进行定量判断，得到模拟去云雾结果，其中，图像质量评价指标包括PSNR和SSIM，模拟去云雾结果包括合格与不合格；进而基于所有的模拟去云雾据结果确定最终的去云雾结果，若最终的去云雾结果不合格，则利用去云雾模型训练方法继续训练去云雾模型；若最终的去云雾结果合格，则确定通过测试，得到最终的去云雾模型。
进一步的，云雾训练影像块的获取，可以通过获取真实影像或构建模拟影像获取；但，云雾训练影像块的需求量较大，通过真实影像获取云雾训练影像块，完整的真实影像难以大量获取。
针对上述问题，本申请实施例的一种可能的实现方式，获取云雾训练影像集，云雾训练影像集包括多个云雾训练影像块，云雾训练影像集用于训练去云雾模型：
具体的，获取云雾训练影像集，包括：步骤SB1-步骤SB4（附图未示出），其中：
步骤SB1、获取多个初始影像块，其中，初始影像块包括含厚云雾影像块和不含云影像块；
初始影像块可以为北京二号L1级多光谱影像，初始影像块可以至少包含波段红色波段、绿色波段、蓝色波段和近红外波段，含云雾影像各波段储存位数为16位；L1级遥感影像已经至少通过了数据解码、拼接、匀色、波段配准、分景处理。本申请实施例考虑到不同波段对云雾特征影响不同，在获取训练集时提前获取不同波段的影像数据。具体的，含厚云雾影像块中云雾信息可辨，不含云影像块中不包含云雾信息，且可以包含较多地物类型，地物类型至少可以包括建筑、植被、裸地、水体。
进一步的，在获取的影像尺寸较大时，可以先根据多张初始影像，通过分块处理，得到多张初始影像块，每个初始影像块的大小用户可根据实际需求设置，例如，影像块大小可以为512*512。
步骤SB2、获取多个含厚云雾影像块各自对应的大气光值和透射率图；
具体的，在一种可能的情况中，根据多个含厚云雾影像块，确定各自对应的大气光值和透射率图，在另一种可能的情况中，可以对多个含厚云雾影像块进行归一化处理，并根据多个归一化处理后的含厚云雾影像块，确定各自对应的大气光值和透射率图。
进一步的，为了扩大样本数量，还可以在根据多个含厚云雾影像块，得到含厚云雾影像块各自对应的透射率图后，将多个透射率图通过翻转、旋转操作，增加透射率图的数量，直至增加样本量后的透射率图的数量与无云影像块数量相等。
在本申请实施例中，针对每一含厚云雾影像块，通过暗通道去雾算法，对每一含厚云雾影像块进行全局大气光值A的估计。具体的，根据含厚云雾影像块对应透射率图，各点对应像素值，通过将像素值从大到小排序处理，得到前0.1%的像素值。根据前0.1%的像素值和各自对应像素点的位置，在含厚云雾影像块中，获取0.1%的像素值对应各波段的多个真实像素值；根据多个真实像素值，统计算多个波段中的最高的值分别为RA、GA、BA、NA，作为大气光值A（RA，GA，BA，NA）。
可知，本申请实施例中，运用真实影像获取透射率图和大气光值，增加初始透射率图和大气光值的真实度。
步骤SB3、针对每一不含云影像块，基于每一大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到每一模拟含云雾影像块；
具体的，针对每一不含云影像块，根据不含云影像块、每一大气光值和对应的透射率图对不含云影像块，利用大气散射模型的生成公式，得到多个模拟含云雾影像块，其中，大气散射模型的生成公式可以包括,x为当前像素位置，P(x)代表模拟含云雾影像块；Q(x)代表无云雾影像，t(x)为透射率图，A为大气光值；Q(x)t(x)为目标衰减反射光，A(1-t(x))为大气光散射部分。
利用真实影像获取的透射率图和大气光值，根据每一不含云影像块获取模拟每一模拟含云雾影像块，解决了模拟含云雾训练影像块真实度不够的问题。
步骤SB4、根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得多个云雾训练影像块，以获取云雾训练影像集。
具体的，将每一未归一化的不含云影像块与模拟含云雾影像块成对保存，并按照一定比例划分模拟云雾影像训练集、验证集、测试集，其中，划分比例至少可以包括8:1:1或7:2:1；将多个含薄云雾影像块作为真实云雾测试集。
本申请实施例利用通过真实影像获取透射率图构建模拟含云雾影像块，弥补常规模拟云雾训练影像块真实性不够、精确度不高的问题，解决训练影像难以大量获取的问题，无论是从质量还是数量上，都使云雾训练影像块得到了很大程度的优化。
可见，利用多个含厚云雾影像块各自对应的透射率图，而不是利用perlin方式或其他方式直接给定的模拟透射率值，模拟云雾的透射程度，同时使用大气光值模拟大气光对云雾的影响，使提取到的云雾特征更加真实不失真，进一步的提升了云雾训练影像集的真实性。
进一步的，在本申请另一实施例中，步骤SB2中的获取多个含厚云雾影像块各自对应透射率图，可以包括：步骤SB21-步骤SB24（附图未示出），其中：
步骤SB21、对多个含厚云雾影像块进行归一化处理，得到多个归一化后的含厚云雾影像块；
具体的，得到的多个归一化后的含厚云雾影像块中各点像素值均在0到1之内。将各点真实像素值归一化处理，得到0至1之间的像素值，既能保证计算机处理时的处理速度，也能保留含厚云雾影像各像素点的像素值之间的相对关系。
步骤SB22、获取每一归一化后的含厚云雾影像块的每一像素点对应的窗口区域；
具体的，针对每以归一化后的含厚云雾影像块，以逐个像素点的位置为中心，为各像素点选取一个窗口区域，在本申请实施例中窗口区域大小可以为7×7。
步骤SB23、针对每一归一化后的含厚云雾影像块，基于每一像素点对应的窗口区域，利用初始透射率图的计算公式，获取初始透射率图；
其中，初始透射率图的计算公式为：，
x为当前像素点的位置，Ω(x)表示以当前像素点的位置为中心的窗口区域，y表示窗口区域内的所有像素点，c表示像素点y四个颜色波段的其中一个,IN表示归一化后的含厚云雾影像块，t0表示初始透射率图。
初始透射率图的获取方式可以包括，利用上述初始透射率图的计算公式获取，或，使用真实影像的卷云波段获取。
具体的，针对N点对应的窗口区域，根据对应归一化后含厚云雾影像块，获得各波段中像素值的最小值M；根据对应归一化后含厚云雾影像块与未归一化含厚云雾影像块，通过对M所在点定位，获取M所在点的真实像素值；根据M所在点的定位与M所在点对应窗口区域，获取M所在点对应窗口区域中的最小真实像素值Q；将Q作为N点的透射率。每一含厚云雾影像块中各像素点对应初始透射率，可以构成每一含厚云雾影像块对应初始透射率图。
步骤SB24、根据多个初始透射率图，通过线型拉伸公式，获得多个透射率图；
其中，线型拉伸公式为：
，
t0(x)为当前位置的初始透射率，tmin为初始透射率图中透射率最小值，tmax为该初始透射率图中透射率最大值，t(x)为当前位置纠正后的透射率图，α为设定参数。
线型拉伸至少包括直线型线型拉伸或裁剪型线性拉伸或分段式线性拉伸，本申请实施例以直线型线型拉伸为例，但不对线性拉伸方式具体限定。
为了防止合成影像的云雾浓度太高，即防止t0（x）值过小，将初始透射率图t0（x）,利用线型拉伸的计算公式，得到t（x），将透射率图t（x）的值域范围限制在[α，1]之间，其中，α可以设置为0.2。在计算过程中，随机使用旋转、翻转方法，增加t（x）的样本量，直至t（x）的数量与无云影像块的数量相等。
在本申请实施例中，首先使用真实影像获取初始透射率图，而不是直接给定一个均匀的透射率值，或，使用terlin方式直接给定一个模拟的模拟透射率值，避免使用均值得到的模拟云雾测试影像准确度不高、真实性偏低，且，通过调整透射率值域，以增强云雾特征；拉伸透射率图，以增强云雾纹理，进而能够提高模拟含云雾影像块的真实性。
进一步的，发明人发现，薄云雾导致的影像降质的原因包括两个部分，第一是由于地物反射的光源信息在穿过云雾时有一部分被阻挡，传感器无法接收到全部光源信息，导致影像整体变暗，对比度下降；第二是因为光直接与云雾中散射粒子发生反射或者散射作用而传输到传感器的光源信息，这会导致成像结果出现色彩失真、亮度增强以及模糊等现象。
对于上述薄云雾导致的影像降质问题，本申请实施例的一种可能的实现方式，在针对每一不含云影像块，基于每一大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到模拟含云雾影像块之后，还包括：根据多个模拟含云雾影像块，通过高斯模糊，得到各自对应的最终模拟含云雾影像块；
为了增加模拟含云雾影像块的真实性，根据多个模拟含云雾影像块，通过高斯模糊，逐一向模拟含云雾影像块中添加不同大小的高斯模糊来模拟云雾散射导致的模糊现象，以得到各自对应的带有云层散射的模拟含云雾影像块即最终模拟含云雾影像块；其中，高斯模糊核大小可以设置为5*5，标准偏差（sigma）可以根据标准偏差的计算公式获得。
其中，标准偏差的计算公式可以包括，标准偏差限定范围可以为(0,0.5]。
相应的，根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得多个云雾训练影像块，包括：
根据所有不含云影像块的所有最终模拟含云雾影像块、多个不含云影像块，获得多个云雾训练影像块,以得到云雾训练影像集。
仅根据含云雾影像无法训练去云雾模型，故，将多个最终模拟含云雾影像块与归一化前的无云雾影像成对保存，作为模拟影像数据集。其中，模拟影像数据集至少包括多个模拟云雾训练影像块，即多个云雾训练影像块。
在本申请实施例中，利用高斯模糊向模拟云雾训练影像块中添加云雾散射现象，以获取更加真实的云雾训练影像块，提升了未训练去云雾模型训练过程的真实度，进一步提高了去云雾模型的去云雾精确度。
上述实施例从方法流程的角度介绍一种基于多尺度特征注意力网络的遥感影像去云雾方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种基于多尺度特征注意力网络的遥感影像去云雾装置，具体详见下述实施例。图8为本申请实施例提供的一种基于多尺度特征注意力网络的遥感影像去云雾装置的结构示意图，该基于多尺度特征注意力网络的遥感影像去云雾装置具体可以包括：
待处理云雾影像获取模块810，用于获取待处理云雾影像；
归一化模块820，用于将待处理云雾影像进行归一化处理，得到归一化后待处理云雾影像；
去云雾模块830，用于将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，其中，去云雾模型是根据云雾训练影像集训练网络模型至收敛得到的；
逆变换模块840，用于对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像；
其中，去云雾模型包括特征提取结构、多尺度特征增强结构和信息融合结构；
去云雾模块830在执行将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像时，用于：
根据归一化后待处理云雾影像，通过特征提取结构进行特征提取，获取待处理云雾影像对应多张第一特征图；
根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，多尺度特征增强用于实现扩大感受野，每一第一特征图对应预设数量的第二特征图，预设数量为尺度数量；
将所有第二特征图与待处理云雾影像通过信息融合结构进行特征融合，得到初始去云雾影像。
本申请实施例的一种可能的实现方式，去云雾模块830，在执行述根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图时，用于：
根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图；
根据多张第一特征图，通过下采样进行第一尺度变换，得到各自对应的第一尺度特征图；
根据多张第一尺度特征图，通过第二特征增强网络，得到各自对应的初始第一尺度增强特征图；并根据多张初始第一尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第二增强特征图；
根据多张第一特征图，通过下采样进行第二尺度变换，得到各自对应的第二尺度特征图；
根据多张第二尺度特征图，通过第三特征增强网络，得到各自对应的初始第二尺度增强特征图；并根据多张初始第二尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第三增强特征图；
其中，每一第二特征图包括第一增强特征图、第二增强特征图和第三增强特征图。
本申请实施例的一种可能的实现方式，第一特征增强网络、第二特征增强网络和第三特征增强网络的结构相同，均包括多个基础块、卷积模块和跳跃连接模块，每个基础块包括局部残差模块和特征注意力模块；
去云雾模块830在执行根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图，用于：
根据多张第一特征图，依次通过多个基础块，得到各自对应的初级第一增强特征图，其中，基础块用于增强空间特征信息与通道注意信息；
根据多张初级第一增强特征图，通过卷积块进行特征整理，得到多张中级第一增强特征图；
根据多张第一尺度的第一特征图和多张中级第一增强特征图，通过跳跃连接层融合，得到多张第一尺度的第一特征图各自对应的第一增强特征图。
本申请实施例的一种可能的实现方式，待处理云雾影像包括多个波段的待处理云雾影像，其中，多个波段至少包括红色波段、绿色波段、蓝色波段和近红外波段。
本申请实施例的一种可能的实现方式，基于多尺度特征注意力网络的遥感影像去云雾装置，还包括：
补偿模块用于：
获取待处理云雾影像的各像素点的像素值；
获取去云雾影像各像素点的像素值；
根据去云雾影像和待处理云雾影像的各像素点的像素差值，确定补偿值，其中，补偿值表征未受云雾影响各像素点的像素差值中的最小值；
根据补偿值和去云雾影像各像素点的像素值，对去云雾影像进行处理，得到最终去云雾影像。
本申请实施例的一种可能的实现方式，基于多尺度特征注意力网络的遥感影像去云雾装置，还包括：
分块模块，用于根据待处理云雾影像，通过影像分块，得到多张待处理云雾影像；
拼接模块，用于根据多张去云雾影像，通过羽化拼接，得到去云雾影像。
本申请实施例的一种可能的实现方式，基于多尺度特征注意力网络的遥感影像去云雾装置，还包括：
云雾训练影像集获取模块，用于获取云雾训练影像集，云雾训练影像集包括多个云雾训练影像块，云雾训练影像集用于训练去云雾模型：
云雾训练影像集获取模块，在执行获取云雾训练影像集时，用于：
获取多个初始影像块，其中，初始影像块包括含厚云雾影像块和不含云影像块；
获取多个含厚云雾影像块各自对应的大气光值和透射率图；
针对每一不含云影像块，基于每一大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到每一模拟含云雾影像块；
根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得多个云雾训练影像块，以获取云雾训练影像集。
本申请实施例的一种可能的实现方式，云雾训练影像集获取模块，在执行获取多个含厚云雾影像块各自对应透射率图时，用于：
对多个含厚云雾影像块进行归一化处理，得到多个归一化后的含厚云雾影像块；
获取每一归一化后的含厚云雾影像块的每一像素点对应的窗口区域；
针对每一归一化后的含厚云雾影像块，基于每一像素点对应的窗口区域，利用初始透射率图的计算公式，获取初始透射率图；
根据多个初始透射率图，通过线型拉伸公式，获得多个透射率图；
其中，初始透射率图的计算公式为：，/>
x为当前像素点的位置，Ω(x)表示以当前像素点的位置为中心的窗口区域，y表示窗口区域内的所有像素点，c表示像素点y四个颜色波段的其中一个,IN表示归一化后的含厚云雾影像块，t0表示初始透射率图；
线型拉伸公式为：
，
t0(x)为当前位置的初始透射率，tmin为初始透射率图中透射率最小值，tmax为该初始透射率图中透射率最大值，t(x)为当前位置纠正后的透射率图，α为设定参数。
本申请实施例的一种可能的实现方式，云雾训练影像集获取模块，还用于：
根据多个模拟含云雾影像块，通过高斯模糊，得到各自对应的最终模拟含云雾影像块；
相应的，云雾训练影像集获取模块在执行根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得多个云雾训练影像块时，用于：
根据所有不含云影像块的所有最终模拟含云雾影像块、多个不含云影像块，获得多个云雾训练影像块,以得到云雾训练影像集。
本申请实施例中提供了一种电子设备，如图9所示，图9所示的电子设备包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备30还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述影像去云雾方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图9示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述影像去云雾方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (8)
1.一种基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，包括：
获取待处理云雾影像；
将待处理云雾影像进行归一化处理，得到归一化后待处理云雾影像；
将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，其中，所述去云雾模型是根据云雾训练影像集训练网络模型至收敛得到的；
对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像；
其中，所述去云雾模型包括特征提取结构、多尺度特征增强结构和信息融合结构；
所述将归一化后待处理云雾影像输入去云雾模型中，以得到初始去云雾影像，包括：
根据归一化后待处理云雾影像，通过特征提取结构进行特征提取，获取待处理云雾影像对应多张第一特征图；
根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，多尺度特征增强用于实现扩大感受野，每一第一特征图对应预设数量的第二特征图，预设数量为尺度数量；
将所有第二特征图与待处理云雾影像通过信息融合结构进行特征融合，得到初始去云雾影像；
该方法还包括：
获取云雾训练影像集，所述云雾训练影像集包括多个云雾训练影像块，所述云雾训练影像集用于训练去云雾模型；
所述获取云雾训练影像集，包括：
获取多个初始影像块，其中，初始影像块包括含云雾影像块和不含云影像块；
获取多个含云雾影像块各自对应的大气光值和透射率图；
针对每一不含云影像块，基于每一所述大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到每一模拟含云雾影像块；
根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得所述多个云雾训练影像块，以获取云雾训练影像集；
获取多个含云雾影像块各自对应的透射率图，包括：
对多个含云雾影像块进行归一化处理，得到多个归一化后的含云雾影像块；
获取每一归一化后的含云雾影像块的每一像素点对应的窗口区域；
针对每一归一化后的含云雾影像块，基于每一像素点对应的窗口区域，利用初始透射率图的计算公式，获取初始透射率图；
根据多个初始透射率图，通过线型拉伸公式，获得多个透射率图；
其中，所述初始透射率图的计算公式为：，
x为当前像素点的位置，Ω(x)表示以当前像素点的位置为中心的窗口区域，y表示窗口区域内的所有像素点，c表示像素点y四个颜色波段的其中一个,IN表示归一化后的含云雾影像块，t0表示初始透射率图；
所述线型拉伸公式为：
，
t0(x)为当前像素点的位置的初始透射率图，tmin为初始透射率图中透射率最小值，tmax为该初始透射率图中透射率最大值，t(x)为当前位置纠正后的透射率图，α为设定参数。
2.根据权利要求1所述的基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，所述根据多张第一特征图通过多尺度特征增强结构进行多尺度特征增强，得到每一第一特征图各自对应的多张第二特征图，包括：
根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图；
根据多张第一特征图，通过下采样进行第一尺度变换，得到各自对应的第一尺度特征图；
根据多张第一尺度特征图，通过第二特征增强网络，得到各自对应的初始第一尺度增强特征图；并根据多张初始第一尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第二增强特征图；
根据多张第一特征图，通过下采样进行第二尺度变换，得到各自对应的第二尺度特征图；
根据多张第二尺度特征图，通过第三特征增强网络，得到各自对应的初始第二尺度增强特征图；并根据多张初始第二尺度增强特征图，通过上采样进行尺度恢复，得到各自对应的第三增强特征图；
其中，每一第二特征图包括第一增强特征图、第二增强特征图和第三增强特征图。
3.根据权利要求2所述的基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，所述第一特征增强网络、第二特征增强网络和第三特征增强网络的结构相同，均包括多个基础块、卷积模块和跳跃连接模块，每个基础块包括局部残差模块和特征注意力模块；
所述根据多张第一特征图，通过第一特征增强网络，得到各自对应的第一增强特征图，包括：
根据多张第一特征图，依次通过多个基础块，得到各自对应的初级第一增强特征图，其中，基础块用于增强空间特征信息与通道注意信息；
根据多张初级第一增强特征图，通过卷积模块进行特征整理，得到多张中级第一增强特征图；
根据多张第一尺度的第一特征图和多张中级第一增强特征图，通过跳跃连接模块融合，得到多张第一尺度的第一特征图各自对应的第一增强特征图。
4.根据权利要求1所述的基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，所述待处理云雾影像包括多个波段的待处理云雾影像，其中，多个波段至少包括红色波段、绿色波段、蓝色波段和近红外波段。
5.根据权利要求1所述的基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像之后，还包括：
获取待处理云雾影像的各像素点的像素值；
获取去云雾影像各像素点的像素值；
根据去云雾影像和待处理云雾影像的各像素点的像素差值，确定补偿值，其中，补偿值表征未受云雾影响各像素点的像素差值中的最小值；
根据补偿值和去云雾影像各像素点的像素值，对去云雾影像进行处理，得到最终去云雾影像。
6.根据权利要求1至5任一项所述的基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，在获取待处理云雾影像之前，还包括：
根据待处理云雾影像，通过影像分块，得到多张待处理云雾影像；
相应的，在对初始去云雾影像进行归一化的逆变换处理，得到去云雾影像之后，还包括：
根据多张去云雾影像，通过羽化拼接，得到去云雾影像。
7.根据权利要求6所述的基于多尺度特征注意力网络的遥感影像去云雾方法，其特征在于，在针对每一不含云影像块，基于每一所述大气光值和对应的透射率图对不含云影像块进行云雾模拟，得到模拟含云雾影像块之后，还包括：
根据多个模拟含云雾影像块，通过高斯模糊，得到各自对应的最终模拟含云雾影像块；
相应的，根据所有不含云影像块的所有模拟含云雾影像块、多个不含云影像块，获得所述多个云雾训练影像块，包括：
根据所有不含云影像块的所有最终模拟含云雾影像块、多个不含云影像块，获得所述多个云雾训练影像块,以得到云雾训练影像集。
8.一种电子设备，其特征在于，包括：
至少一个处理器；
存储器；
至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211558315.9A CN115760641B (zh) | 2022-12-06 | 2022-12-06 | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211558315.9A CN115760641B (zh) | 2022-12-06 | 2022-12-06 | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115760641A CN115760641A (zh) | 2023-03-07 |
| CN115760641B true CN115760641B (zh) | 2024-01-23 |
Family
ID=85344639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211558315.9A Active CN115760641B (zh) | 2022-12-06 | 2022-12-06 | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760641B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078553A (zh) * | 2023-08-25 | 2023-11-17 | 杭州智元研究院有限公司 | 一种基于多尺度深度学习的图像去雾方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578386A (zh) * | 2017-09-01 | 2018-01-12 | 荆门程远电子科技有限公司 | 一种无人机拍摄图像的优化去雾处理方法 |
| CN112508814A (zh) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN112767283A (zh) * | 2021-02-03 | 2021-05-07 | 西安理工大学 | 一种基于多图像块划分的非均匀图像去雾方法 |
| CN113610730A (zh) * | 2021-08-06 | 2021-11-05 | 上海大学 | 一种卫星影像非均匀薄云去除方法及系统 |
| CN113763259A (zh) * | 2021-02-18 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 图像去雾方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9230308B2 (en) * | 2011-06-30 | 2016-01-05 | Weyerhaeuser Nr Company | Method and apparatus for removing artifacts from aerial images |
-
2022
- 2022-12-06 CN CN202211558315.9A patent/CN115760641B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578386A (zh) * | 2017-09-01 | 2018-01-12 | 荆门程远电子科技有限公司 | 一种无人机拍摄图像的优化去雾处理方法 |
| CN112508814A (zh) * | 2020-12-07 | 2021-03-16 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN112767283A (zh) * | 2021-02-03 | 2021-05-07 | 西安理工大学 | 一种基于多图像块划分的非均匀图像去雾方法 |
| CN113763259A (zh) * | 2021-02-18 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 图像去雾方法和装置 |
| CN113610730A (zh) * | 2021-08-06 | 2021-11-05 | 上海大学 | 一种卫星影像非均匀薄云去除方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Fast spatial-spectral random forests for thick cloud removal of hyperspectral images;Lanxing Wang;《International Journal of Applied Earth Observation and Geoinformation》;第112卷;第1-13页 * |
| 高分辨率遥感卫星图像不均匀云雾去除算法;龚文斌;《激光与光电子学进展》;第57卷(第6期);第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115760641A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| WO2020098708A1 (zh) | 车道线的检测及驾驶控制方法、装置和电子设备 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN111709883B (zh) | 一种图像检测方法、装置及设备 | |
| CN110490203B (zh) | 图像分割方法及装置、电子设备和计算机可读存储介质 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN111695421B (zh) | 图像识别方法、装置及电子设备 | |
| CN111415323B (zh) | 图像的检测方法及装置，神经网络的训练方法及装置 | |
| CN110443242B (zh) | 读数框检测方法、目标识别模型训练方法及相关装置 | |
| CN115760641B (zh) | 基于多尺度特征注意力网络的遥感影像去云雾方法和设备 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN111104941B (zh) | 图像方向纠正方法、装置及电子设备 | |
| CN111027412A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
| CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
| CN111784699A (zh) | 一种对三维点云数据进行目标分割方法、装置及终端设备 | |
| Zhang et al. | An image inpainting method for object removal based on difference degree constraint | |
| CN106778822B (zh) | 基于漏斗变换的图像直线检测方法 | |
| CN111178200B (zh) | 一种仪表盘指示灯的识别方法及计算设备 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| CN115689947A (zh) | 一种图像锐化的方法、系统、电子装置和存储介质 | |
| CN115393756A (zh) | 一种基于视觉图像的水印识别方法、装置、设备及介质 | |
| CN113298098B (zh) | 基础矩阵估计方法及相关产品 | |
| CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |