CN117391958B - 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 - Google Patents
一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 Download PDFInfo
- Publication number
- CN117391958B CN117391958B CN202311665860.2A CN202311665860A CN117391958B CN 117391958 B CN117391958 B CN 117391958B CN 202311665860 A CN202311665860 A CN 202311665860A CN 117391958 B CN117391958 B CN 117391958B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- model
- satellite cloud
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004220 aggregation Methods 0.000 title claims abstract description 28
- 230000002776 aggregation Effects 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000000694 effects Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 230000002411 adverse Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005520 cutting process Methods 0.000 claims abstract description 5
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 9
- 230000009977 dual effect Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于多路径聚合Transformer的卫星云图超分辨率重建方法，属于卫星云图的图像处理及深度学习超分辨率重建技术领域。包括卫星云图预处理，对预处理后的图像数据进行筛选、剪裁、分类并制作不同分辨率的数据集；构建基于深度学习的超分辨率神经网络模型；使用制作数据集对搭建的超分辨率模型进行训练、优化和测试，并保存得到的最优模型权重；将低分辨率卫星云图输入构建的超分辨率模型并加载最优模型权重，最后生成高分辨率卫星云图。本发明改进Transformer模型并用于卫星云图超分辨重建任务，改进的超分辨模型可以缓解复杂特征所造成的不利影响，且模型拥有更少的参数量和计算量，大大减小资源占用。
Description
技术领域
本发明属于卫星云图的图像处理及深度学习超分辨率重建技术领域，具体涉及一种基于多路径聚合Transformer的卫星云图超分辨率重建方法。
背景技术
卫星云图可以帮助人们识别不同的天气系统，确定天气系统的位置、强度和趋势，或为天气分析和预报提供基础。卫星云图也可以帮助在海洋、沙漠和高原等缺乏气象观测站的地区建立天气信息。分辨率是卫星云图质量的重要指标。高分辨率的卫星云图可以帮助气象学家和电子设备更准确地识别云特征。然而，卫星云图的空间分辨率已经不能满足日益增长的气象监测需求。硬件设备的改进通常受到技术水平和成本的限制，因此使用算法来提高分辨率是一种更有效的方法。
深度学习近年来发展迅速，基于深度学习的超分辨率（SR）方法应运而生，这种超分辨率模型能够利用大量训练数据进行端到端学习，并且可以获得更多信息来执行超分辨率任务。利用超分辨率技术提升卫星云图的分辨率是一种简便高效的方法，但卫星云图特征具有很强的不规则性，水云等现象有着半透明，不规则形状的特征，地形轮廓，海浪等也严重影响超分辨率的有效性，同时流行的超分辨率模型过多的参数量和计算量也不利于模型的部署。因此，需要一种更适合卫星云图的深度学习超分辨率方法。
发明内容
本发明提供一种基于多路径聚合Transformer的卫星云图超分辨率重建方法，主要针对提升彩色气象卫星云图的分辨率。本发明方法可以缓解卫星云图中水云形状，地形轮廓等复杂特征造成不利影响，提高超分辨率的效果。同时相比于流行的超分辨率模型，本发明提出的模型拥有更少的参数量和计算量，大大减小资源占用。
为实现上述技术目的，本发明所采用的技术方案为：
一种基于多路径聚合Transformer的卫星云图超分辨率重建方法，包括以下步骤：
S1：卫星云图数据预处理；
S2：根据步骤S1处理后的图像数据制作用于超分辨率技术的彩色卫星云图数据集；
S3：构建基于多路径聚合Transformer超分辨率网络模型；
S4：使用步骤S2中的数据集对步骤S3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型结构和权重；
S5：将低分辨率卫星云图输入步骤S4得到的最优超分辨率模型中，最后生成高分辨率卫星云图。
进一步的，步骤S1卫星云图数据预处理包括以下步骤：
S11：选用葵花-8号卫星波段5，波段4，波段3的反照率数据制作自然色彩的卫星云图，并通过人工筛选，剔除分辨率低，色彩偏差大的图像数据；
S12：对S11得到的卫星云图数据按步长300像素进行剪裁，得到每张为600像素×600像素的图像，作为高分辨率卫星云图数据集。
进一步的，步骤S2包括以下步骤：
S21：将步骤S12剪裁后的图像根据图像中的特征进行分类，分为冰云，水云，海洋，植被，沙漠五类卫星云图数据；
S22：根据图像包含信息的丰富程度和超分辨率任务对训练数据的需求剔除步骤S21中质量不合格的样本，例如黑边过多或者过于模糊的海洋图像等；
S23：将步骤S22获得的600像素×600像素的数据样本分成两份，一份用双三次差值方法按1/2和1/4比例进行下采样生成两种低分辨率的图像数据，另一份作为对应的高分辨率数据；
S24：将步骤S23获得的所有数据样本划分为训练集、验证集和测试集，训练集包括五类图像，每类图像600张，验证集和测试集包括每类图像5张。
进一步的，步骤S3包括以下步骤：
S31：浅层特征提取部分，通过一个3×3卷积提取图像的浅层特征同时扩展图像的通道数；
S32：深层特征提取部分，利用基于Transformer结构和注意力机制有效捕获卫星云图中的图像的特征细节，其中包含6个改进的多路径Transformer模块，即MTB，每个模块串联在一起；每个MTB内包含6个多路径Transformer层，即MTL；每个MTL包含双路聚合自注力机制DASA和多尺度特征聚合块MFAB；浅层特征通过残差连接与深层特征融合；DASA通过双路径卷积聚合不同深度的特征，并且利用通道注意力帮助自注意力激活更多像；DASA能够在空间，通道，深度三个维度探索特征间的相关性，并且利用卷积关注更丰富的局部信息并减小参数量，自注意力机制计算公式为：，其中/>由双路径中1×1卷积路径生成的/>和带有通道注意力的卷积组路径生成的/>加权合并得到，B，C，H，W分别表示输入特征的批量大小，通道数，高，宽。加权公式表达为：/>，，/>，其中/>和/>为赋予/>和/>的权重，分别为0.2和0.8，/>和/>分别表示1×1卷积路径和带有通道注意力的卷积组路径，/>表示输入特征；是由双路径生成的特征聚合并线性变换得到的三维向量，/>由/>转置得到；/>表示输出的特征，/>表示softmax函数，其公式为：，其中/>为特征向量，/>表示/>的第/>维数据；
MFAB由移位卷积和多尺度交互操作组成，移位卷积可以帮助局部像素参与不同通道组之间的特征关联计算，多尺度交互操作能够进一步建立相邻区域特征之间的关联；MFAB利用更丰富的区域特征，使模型能够与目标区域进行空间交互并自适应收敛，以减轻卫星云图的模糊和云遮挡对超分辨率任务造成的不利影响，具体公式表达为：，，其中/>为输入特征；/>为按通道维度分割后的四组特征；/>表示切分函数；/>表示移位卷积；/>表示提取的多尺度特征；/>，，/>，/>表示不同卷积核大小的深度可分离卷积；/>表示不同尺度特征经过交互后的输出；/>为可学习的权重，且/>；/>为最后的输出特征；
S33：图像重建部分，融合深层特征提取部分输出的所有特征，浅层特征通过残差连接与融合的深层特征结合，再利用亚像素卷积重建得到高分辨率图像，过程公式为：，其中/>表示重建的高分辨率云图，/>包含亚像素卷积层和降维卷积层，/>和/>分别表示浅层特征提取部分和深层特征提取部分的输出；
进一步的，步骤S4使用步骤S2中数据集对步骤S3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型和权重，具体包括以下步骤：
S41：设置各项训练参数并开始训练模型，其中bachsize设置为8；初始学习率设置为0.0002；通道数为64；输入图像尺寸为48×48；总训练轮数为800，每50轮验证一次并保存模型权重；
S42：构建用于模型反向传播的基于的损失函数；/>损失的表达形式为：，其中，N为训练样本的数量，/>为真实的高分辨率卫星云图，为重建的高分辨率卫星云图，/>表示重建模型中的参数，图像经过模型处理后与真实图像计算损失值，用于参数的迭代更新；
S43：验证和测试模型效果时先将重建的三通道图像转为YCbCr图像，再在Y通道上使用峰值信噪比PSNR和结构相似性SSIM作为评价指标来客观评价模型的重建性能；峰值信噪比PSNR的计算公式为：，其中/>为两张图片之间的均方误差，是图片的最大可能像素值，PSNR通过计算两幅图像间的对应像素之间的误差来评估图像重建效果；当重建图像与真实图像的峰值信噪比大于30.0dB时，说明重建效果良好；
结构相似性SSIM的计算公式为：
，其中/>表示为真实的高分辨率图像，/>表示为重建的高分辨率图像，/>和/>分别表示为真实高分辨率图像和重建图像的平均灰度值，/>和/>分别表示为真实高分辨率图像和重建图像的标准差，/>表示为真实高分辨率图像和重建图像的协方差，/>和/>为常数，且/>，/>，/>，/>，/>是像素值的动态范围；当重建图像与真实图像的结构相似性大于0.8时，说明重建效果良好；
S44：对比验证得到的评估结果，如果此次得到的评估结果最高则将此轮模型权重保存为最优权重；
S45：通过Adam优化算法更新网络的参数；Adam优化算法更新网络参数的过程表示为：，/>，/>，，/>，/>，其中/>是均方误差函数/>对的梯度，/>是对梯度/>的一阶矩估计，/>是对梯度/>的二阶矩估计，/>是对/>的偏差修正，/>是对/>的偏差修正，矩估计的指数衰减速率/>为0.9、/>为0.99，/>是步长,取值为0.001，/>是常数其值为/>，/>是计算的/>的更新值，/>为/>时刻的/>值，将/>和的值求和应用到/>；
Adam优化算法更新网络参数首先对参数向量、一阶矩向量和二阶矩向量进行初始化；然后循环迭代地更新各个部分，使参数收敛，即时间步/>加1、更新偏差的一阶矩估计和二阶矩估计，接着计算一阶矩估计的偏差修正和二阶矩估计的偏差修正，再更新目标函数在该时间步上对参数/>所求的梯度，最后再更新模型的参数/>；循环上述步骤，迭代模型直到完成训练次数，最后输出最优模型权重；
进一步的，步骤S5包括以下步骤：
S51：将步骤S4中保存的最优权重加载到步骤S3搭建的重建模型中；
S52：将低分辨率卫星云图输入重建模型中生成高分辨率卫星云图。
有益效果
本发明设计了基于Transformer的模型并用于卫星云图超分辨重建任务，改进的超分辨模型可以缓解卫星云图中水云形状，地形轮廓等复杂特征造成不利影响，提高超分辨率的效果。同时相比于流行的超分辨率模型，本发明提出的模型拥有更少的参数量和计算量，大大减小资源占用。
附图说明
图1为本发明实施例的流程示意图；
图2为本发明多路径聚合Transformer超分辨率重建模型的整体结构图；
图3为本发明重建模型深层特征提取部分的双路径聚合自注意力（DASA）结构图；
图4为本发明重建模型深层特征提取部分的多尺度特征聚合块（MFAB）结构图；
图5为本发明中模型的训练流程图。
具体实施方式
下面结合具体实施例对本发明的技术方案做进一步说明，但不限于此。
实施例
本发明提供了一种基于多路径聚合Transformer的卫星云图超分辨率重建方法，能够缓解卫星云图中复杂场景对超分辨率任务造成的不利影响，更高效的提升卫星云图的分辨率。整个方法的实施流程如图1所示。本发明基于多路径聚合Transformer的卫星云图超分辨率重建方法包括以下步骤：
步骤S1，卫星云图数据预处理；
S11：选用葵花-8号卫星波段5，波段4，波段3的反照率数据制作自然色彩的卫星云图并人工筛选步骤合成的彩色卫星云图，剔除分辨率低，色彩偏差大的图像数据；
S12：对S11得到的卫星云图数据按步长300像素进行剪裁，得到每张为600像素×600像素的图像，作为高分辨率卫星云图数据集。
步骤S2，根据步骤S1处理后的图像数据制作用于超分辨率技术的彩色卫星云图数据集；
S21：将步骤S12剪裁后的图像根据图像中的特征进行分类，分为冰，水，海洋，植被，沙漠五类卫星云图数据；
S22：根据图像包含信息的丰富程度和超分辨率任务对训练数据的需求剔除步骤S21中质量不合格的样本，例如黑边过多或者过于模糊的海洋图像等；
S23：将步骤S22获得的600像素×600像素的数据样本分成两份，一份用双三次差值方法按1/2和1/4比例进行下采样生成两种低分辨率的图像数据，另一份作为对应的高分辨率数据；
S24：将步骤S23获得的所有数据样本划分为训练集、验证集和测试集，训练集包括五类（冰，水，海洋，植被，沙漠）图像，每类图像600张，验证集和测试集包括每类图像5张。
步骤S3，构建基于多路径聚合Transformer超分辨率网络模型，模型整体结构如附图2所示；
S31：浅层特征提取部分，通过一个3×3卷积提取图像的浅层特征同时扩展图像的通道数；
S32：深层特征提取部分，利用基于Transformer结构和注意力机制有效捕获卫星云图中的图像的特征细节，其中包含6个改进的多路径Transformer模块（multi-pathtransformer block，MTB），每个模块串联在一起。每个MTB内包含6个多路径Transformer层（multi-path transformer layer，MTL），每个MTL包含双路聚合自注力机制（dual-pathaggregation self-attention，DASA）和多尺度特征聚合块（multi-scale featureaggregation block，MFAB）。此外，浅层特征通过残差连接与深层特征融合。DASA通过双路径卷积聚合不同深度的特征，并且利用通道注意力帮助自注意力激活更多像。DASA能够在空间，通道，深度三个维度探索特征间的相关性，并且利用卷积关注更丰富的局部信息并减小参数量。DASA结构如附图3所示。
输入特征先经过一个3×3卷积，再由双路径卷积中1×1卷积路径生成和带有通道注意力的卷积组路径生成/>，/>和/>加权合并得到/>，B，C，H，W分别表示输入特征的批量大小，通道数，高，宽。这一部分公式表达为：
；
；
；
其中和/>为赋予/>和/>的权重，分别为0.2和0.8，/>和/>分别表示1×1卷积路径和带有通道注意力的卷积组路径，/>表示输入特征。双路径生成的特征聚合并线性变换得到的三维向量/>，/>和/>进行自注意力计算，自注意力机制计算公式为：
；
其中由/>转置得到。/>表示输出的特征，/>表示softmax函数，公式如下所示：
；
其中为特征向量，/>表示/>的第/>维数据。特征/>经过转换和一个1×1卷积后输出。
MFAB由移位卷积和多尺度交互操作组成，移位卷积可以帮助局部像素参与不同通道组之间的特征关联计算，多尺度交互操作能够进一步建立相邻区域特征之间的关联。MFAB利用更丰富的区域特征，使模型能够与目标区域进行空间交互并自适应收敛，以减轻卫星云图的模糊和云遮挡等缺点对超分辨率任务造成的不利影响。MFAB结构如附图4所示，输入特征，先经过移位卷积和1×1卷积操作，再被切分成四个维度相同的特征，其公式表达为：
；
其中为按通道维度分割后的四组特征；/>表示切分函数；/>表示移位卷积和1×1卷积操作。/>会被多尺度卷积处理，/>与处理后的特征分别进行空间信息交互，其公式表达为：
；
；
其中表示提取的多尺度特征；/>，/>，/>，表示不同卷积核大小的深度可分离卷积；/>表示/>与不同尺度特征经过交互后的输出。信息交互后的特征被聚合并经过一个1×1卷积，然后输出，其公式表达为：
；
其中为可学习的权重，且/>。/>为最后的输出特征。
S33：图像重建部分，融合深层特征提取部分输出的所有特征，浅层特征通过残差连接与融合的深层特征结合，再利用亚像素卷积重建得到高分辨率图像，过程公式为：
；
其中表示重建的高分辨率云图，/>包含亚像素卷积层和降维卷积层，/>和分别表示浅层特征提取部分和深层特征提取部分的输出。
步骤S4，使用步骤S2中的训练数据集、验证数据集和测试数据集对步骤S3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型和权重，整个训练过程如附图5所示。
S41：设置各项训练参数并开始训练模型，其中bachsize设置为8；初始学习率设置为0.0002；通道数为64；输入图像尺寸为48×48；总训练轮数为800，每50轮验证一次并保存模型权重。
S42：构建用于模型反向传播的基于的损失函数；/>损失的表达形式为：
；
其中，N为训练样本的数量，为真实的高分辨率卫星云图，/>为重建的高分辨率卫星云图，/>表示重建模型中的参数。图像经过模型处理后与真实图像计算损失值，用于参数的迭代更新。
S43：验证和测试模型效果时先将重建的三通道图像转为YCbCr图像，再在Y通道上使用峰值信噪比（PSNR）和结构相似性（SSIM）作为评价指标来客观评价模型的重建性能；峰值信噪比（PSNR）的计算公式为：
；
其中为两张图片之间的均方误差，/>是图片的最大可能像素值。PSNR通过计算两幅图像间的对应像素之间的误差来评估图像重建效果。当重建图像与真实图像的峰值信噪比大于30.0dB时，说明重建效果良好。结构相似性SSIM的计算公式为：
；
其中表示为真实的高分辨率图像，/>表示为重建的高分辨率图像，/>和/>分别表示为真实高分辨率图像和重建图像的平均灰度值，/>和/>分别表示为真实高分辨率图像和重建图像的标准差，/>表示为真实高分辨率图像和重建图像的协方差，/>和/>为常数，且/>，/>，/>，/>，/>是像素值的动态范围；当重建图像与真实图像的结构相似性大于0.8时，说明重建效果良好。
S44：对比验证得到的评估结果，如果此次得到的评估结果最高则将此轮模型权重保存为最优权重；
S45：通过自适应矩估计（Adam）优化算法更新网络的参数；Adam优化算法更新网络参数的过程表示为：
；
；
；
，/> ；
；
；
其中是均方误差函数/>对/>的梯度，/>是对梯度/>的一阶矩估计，/>是对梯度/>的二阶矩估计，/>是对/>的偏差修正，/>是对/>的偏差修正，矩估计的指数衰减速率/>为0.9、/>为0.99，/>是步长，取值为0.001，/>是常数其值为/>，/>是计算的/>的更新值，/>为/>时刻的/>值，将/>和/>的值求和应用到/>。
Adam优化算法更新网络参数首先对参数向量、一阶矩向量和二阶矩向量进行初始化；然后循环迭代地更新各个部分，使参数收敛。即时间步/>加1、更新偏差的一阶矩估计和二阶矩估计，接着计算一阶矩估计的偏差修正和二阶矩估计的偏差修正，再更新目标函数在该时间步上对参数/>所求的梯度，最后再更新模型的参数/>；
循环上述步骤，并随时根据情况调整模型结构，迭代模型直到完成训练次数，最后输出最优模型和权重。
步骤S5，将低分辨率卫星云图输入步骤S3构建的超分辨率模型并加载步骤S4得到的最优模型权重，最后生成高分辨率卫星云图：
S51：将步骤S4中保存的最优权重加载到步骤S3搭建的重建模型中；
S52：将低分辨率卫星云图输入重建模型中生成高分辨率卫星云图。
需要说明的是，上述实施例仅仅是实现本发明的优选方式的部分实施例，而非全部实施例。显然，基于本发明的上述实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其他所有实施例，都应当属于本发明保护的范围。
Claims (5)
1.一种基于多路径聚合Transformer的卫星云图超分辨率重建方法，其特征在于，包括以下步骤：
S1：卫星云图数据预处理；
S2：根据步骤S1处理后的图像数据制作用于超分辨率技术的彩色卫星云图数据集；
S3：构建基于多路径聚合Transformer超分辨率网络模型；
S4：使用步骤S2中的数据集对步骤S3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型结构和权重；
S5：将低分辨率卫星云图输入步骤S4得到的最优超分辨率模型中，最后生成高分辨率卫星云图；
步骤S3包括以下步骤：
S31：浅层特征提取部分，通过一个3×3卷积提取图像的浅层特征同时扩展图像的通道数；
S32：深层特征提取部分，利用基于Transformer结构和注意力机制有效捕获卫星云图中的图像的特征细节，其中包含6个改进的多路径Transformer模块，即MTB，每个模块串联在一起；每个MTB内包含6个多路径Transformer层，即MTL；每个MTL包含双路聚合自注力机制DASA和多尺度特征聚合块MFAB；浅层特征通过残差连接与深层特征融合；DASA通过双路径卷积聚合不同深度的特征，并且利用通道注意力帮助自注意力激活更多像；DASA能够在空间，通道，深度三个维度探索特征间的相关性，并且利用卷积关注更丰富的局部信息并减小参数量，DASA中的自注意力机制计算公式为：，其中/>由双路径中1×1卷积路径生成的/>和带有通道注意力的卷积组路径生成的/>加权合并得到，B，C，H，W分别表示输入特征的批量大小，通道数，高，宽；加权公式表达为：/>，，/>，其中/>和/>为赋予/>和/>的权重，分别为0.2和0.8，/>和分别表示1×1卷积路径和带有通道注意力的卷积组路径，/>表示输入特征；是由双路径生成的特征聚合并线性变换得到的三维向量，/>由/>转置得到；/>表示输出的特征，/>表示softmax函数，其公式为：，其中/>为特征向量，/>表示/>的第/>维数据；
MFAB由移位卷积和多尺度交互操作组成，移位卷积可以帮助局部像素参与不同通道组之间的特征关联计算，多尺度交互操作能够进一步建立相邻区域特征之间的关联；MFAB利用更丰富的区域特征，使模型能够与目标区域进行空间交互并自适应收敛，以减轻卫星云图的模糊和云遮挡对超分辨率任务造成的不利影响，具体公式表达为：，，其中/>为输入特征；/>为按通道维度分割后的四组特征；/>表示切分函数；/>表示移位卷积；/>表示提取的多尺度特征；/>，/>，，/>表示不同卷积核大小的深度可分离卷积；/>表示不同尺度特征经过交互后的输出；/>为可学习的权重，且/>；/>为最后的输出特征；
S33：图像重建部分，融合深层特征提取部分输出的所有特征，浅层特征通过残差连接与融合的深层特征结合，再利用亚像素卷积重建得到高分辨率图像，过程公式为：，其中/>表示重建的高分辨率云图，/>包含亚像素卷积层和降维卷积层，/>和/>分别表示浅层特征提取部分和深层特征提取部分的输出。
2.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法，其特征在于，步骤S1卫星云图数据预处理包括以下步骤：
S11：选用葵花-8号卫星波段5，波段4，波段3的反照率数据制作自然色彩的卫星云图，并通过人工筛选，剔除分辨率低，色彩偏差大的图像数据；
S12：对S11得到的卫星云图数据按步长300像素进行剪裁，得到每张为600像素×600像素的图像，作为高分辨率卫星云图数据集。
3.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法，其特征在于，步骤S2包括以下步骤：
S21：将步骤S12剪裁后的图像根据图像中的特征进行分类，分为冰云，水云，海洋，植被，沙漠五类卫星云图数据；
S22：根据图像包含信息的丰富程度和超分辨率任务对训练数据的需求剔除步骤S21中不合格的样本；
S23：将步骤S22获得的600像素×600像素的数据样本分成两份，一份用双三次差值方法按1/2和1/4比例进行下采样生成两种低分辨率的图像数据，另一份作为对应的高分辨率数据；
S24：将步骤S23获得的所有数据样本划分为训练集、验证集和测试集，训练集包括五类图像，每类图像600张，验证集和测试集包括每类图像5张。
4.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法，其特征在于，步骤S4使用步骤S2中数据集对步骤S3搭建的重建模型进行训练、优化和测试，并保存得到的最优模型和权重，具体包括以下步骤：
S41：设置各项训练参数并开始训练模型，其中bachsize设置为8；初始学习率设置为0.0002；通道数为64；输入图像尺寸为48×48；总训练轮数为800，每50轮验证一次并保存模型权重；
S42：构建用于模型反向传播的基于的损失函数；/>损失的表达形式为：，其中，N为训练样本的数量，/>为真实的高分辨率卫星云图，/>为重建的高分辨率卫星云图，/>表示重建模型中的参数，图像经过模型处理后与真实图像计算损失值，用于参数的迭代更新；
S43：验证和测试模型效果时先将重建的三通道图像转为YCbCr图像，再在Y通道上使用峰值信噪比PSNR和结构相似性SSIM作为评价指标来客观评价模型的重建性能；峰值信噪比PSNR的计算公式为：，其中/>为两张图片之间的均方误差，/>是图片的最大可能像素值，PSNR通过计算两幅图像间的对应像素之间的误差来评估图像重建效果；当重建图像与真实图像的峰值信噪比大于30.0dB时，说明重建效果良好；
结构相似性SSIM的计算公式为：
，其中/>表示为真实的高分辨率图像，/>表示为重建的高分辨率图像，/>和/>分别表示为真实高分辨率图像和重建图像的平均灰度值，/>和/>分别表示为真实高分辨率图像和重建图像的标准差，/>表示为真实高分辨率图像和重建图像的协方差，/>和/>为常数，且/>，/>，/>，/>，/>是像素值的动态范围；当重建图像与真实图像的结构相似性大于0.8时，说明重建效果良好；
S44：对比验证得到的评估结果，如果此次得到的评估结果最高则将此轮模型权重保存为最优权重；
S45：通过Adam优化算法更新网络的参数；Adam优化算法更新网络参数的过程表示为：，/>，/>，，/>，/>，其中/>是均方误差函数/>对/>的梯度，/>是对梯度/>的一阶矩估计，/>是对梯度/>的二阶矩估计，/>是对/>的偏差修正，/>是对/>的偏差修正，矩估计的指数衰减速率/>为0.9、/>为0.99，/>是步长,取值为0.001，/>是常数其值为/>，/>是计算的/>的更新值，/>为/>时刻的/>值，将/>和/>的值求和应用到；
Adam优化算法更新网络参数首先对参数向量、一阶矩向量和二阶矩向量进行初始化；然后循环迭代地更新各个部分，使参数收敛，即时间步/>加1、更新偏差的一阶矩估计和二阶矩估计，接着计算一阶矩估计的偏差修正和二阶矩估计的偏差修正，再更新目标函数在该时间步上对参数/>所求的梯度，最后再更新模型的参数/>；循环上述步骤，迭代模型直到完成训练次数，最后输出最优模型权重。
5.根据权利要求1所述基于多路径聚合Transformer的卫星云图超分辨率重建方法，其特征在于，步骤S5包括以下步骤：
S51：将步骤S4中保存的最优权重加载到步骤S3搭建的重建模型中；
S52：将低分辨率卫星云图输入重建模型中生成高分辨率卫星云图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311665860.2A CN117391958B (zh) | 2023-12-07 | 2023-12-07 | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311665860.2A CN117391958B (zh) | 2023-12-07 | 2023-12-07 | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117391958A CN117391958A (zh) | 2024-01-12 |
| CN117391958B true CN117391958B (zh) | 2024-03-08 |
Family
ID=89472376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311665860.2A Active CN117391958B (zh) | 2023-12-07 | 2023-12-07 | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391958B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576402B (zh) * | 2024-01-15 | 2024-03-26 | 临沂大学 | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 |
| CN118014844B (zh) * | 2024-04-09 | 2024-06-14 | 临沂大学 | 一种结合超分辨率技术的遥感图像语义分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861884A (zh) * | 2020-07-15 | 2020-10-30 | 南京信息工程大学 | 一种基于深度学习的卫星云图超分辨率重建方法 |
| CN114254715A (zh) * | 2022-03-02 | 2022-03-29 | 自然资源部第一海洋研究所 | 一种gf-1 wfv卫星影像超分辨率方法、系统及应用 |
| KR20230048727A (ko) * | 2021-10-05 | 2023-04-12 | 인하대학교 산학협력단 | 적대적 초해상도 다중 스케일 특징맵 학습 및 객체 검출기 |
| CN117173022A (zh) * | 2023-09-06 | 2023-12-05 | 大连海事大学 | 基于多路径融合和注意力的遥感图像超分辨率重建方法 |
-
2023
- 2023-12-07 CN CN202311665860.2A patent/CN117391958B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861884A (zh) * | 2020-07-15 | 2020-10-30 | 南京信息工程大学 | 一种基于深度学习的卫星云图超分辨率重建方法 |
| KR20230048727A (ko) * | 2021-10-05 | 2023-04-12 | 인하대학교 산학협력단 | 적대적 초해상도 다중 스케일 특징맵 학습 및 객체 검출기 |
| CN114254715A (zh) * | 2022-03-02 | 2022-03-29 | 自然资源部第一海洋研究所 | 一种gf-1 wfv卫星影像超分辨率方法、系统及应用 |
| CN117173022A (zh) * | 2023-09-06 | 2023-12-05 | 大连海事大学 | 基于多路径融合和注意力的遥感图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Metafoemer Super-Resolution Network with Recursive Gated Attention for the Meteorological Satellite Cloud Image;Lun-Qian Wang et al.;IEEE;20231128;全文 * |
| Superresolution Imaging With a Deep Multipath Network for the Reconstruction of Satellite Cloud Images;Jinglin Zhang et al.;Earth and Space Science;20210405;第8卷(第6期);全文 * |
| 融合多路径与混合注意力的遥感图像超分辨率重建;李千等;小型微型计算机系统;20220513;全文 * |
| 面向单图像超分辨率的多尺度卷积神经网络模型研究;徐石;中国优秀硕士学位论文集信息科技辑;20210630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117391958A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117391958B (zh) | 一种基于多路径聚合Transformer的卫星云图超分辨率重建方法 | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN112509001A (zh) | 一种多尺度和多特征融合的特征金字塔网络盲复原方法 | |
| CN110570363A (zh) | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 | |
| CN111179167A (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| CN111598778A (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN113592715B (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
| CN112419171A (zh) | 一种多残差块条件生成对抗网络的图像复原方法 | |
| Shen et al. | Implicit euler ode networks for single-image dehazing | |
| CN114972024A (zh) | 一种基于图表示学习的图像超分辨率重建装置及方法 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及系统 | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN117576402B (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
| CN115358922A (zh) | 一种基于生成对抗网络的太赫兹图像超分辨率重建方法 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN113096015A (zh) | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 | |
| CN114862699B (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| CN116309178A (zh) | 一种基于自适应注意力机制网络的可见光图像去噪方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |