CN117935066A - 基于并行多尺度约束的海表面温度补全方法及系统 - Google Patents
基于并行多尺度约束的海表面温度补全方法及系统 Download PDFInfo
- Publication number
- CN117935066A CN117935066A CN202410338050.4A CN202410338050A CN117935066A CN 117935066 A CN117935066 A CN 117935066A CN 202410338050 A CN202410338050 A CN 202410338050A CN 117935066 A CN117935066 A CN 117935066A
- Authority
- CN
- China
- Prior art keywords
- surface temperature
- constraint
- sea surface
- network
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000000295 complement effect Effects 0.000 title claims abstract description 60
- 230000008439 repair process Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims description 37
- 230000004927 fusion Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000013016 learning Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000004154 complement system Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000004698 Polyethylene Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- -1 polyethylene Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，公开了基于并行多尺度约束的海表面温度补全方法及系统，该方法包括：步骤S1、全局约束阶段：以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入；W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，所述并行多尺度特征约束网络分为上下两流，上流是基于Swin‑Transformer的U‑net网络，下流是基于卷积的U‑net网络，上下两流网络输出的特征图进行融合，输出全局一致性约束序列X，为下一阶段提供全局一致性约束；步骤S2、差异约束修复阶段：以海表面温度差异值C和全局一致性约束序列X作为差异约束修复阶段的输入，输出海表面温度图像补全值R。通过本发明提高海表面温度图像补全的精度。
Description
技术领域
本发明属于图像处理技术领域，特别涉及基于并行多尺度约束的海表面温度补全方法及系统。
背景技术
基于深度神经网络的海表面温度图像补全方法借助大量历史海洋数据进行估计的方式来学习海表面温度数据的分布。传统方法通常基于生成模型，如生成对抗网络、重构模型等神经网络模型利用历史海洋数据直接对海表面温度补全图像进行估计和补全，传统方法存在以下问题：补全不稳定、不准确，造成的原因是由于：传统方法通常采用一次补全的方式直接对缺失区域开展补全；海表面温度的数值范围通常很大，而直接对这么大的数值范围进行估计会导致补全过程不稳定，同时又难以准确估计每个点的数值，从而限制了补全的准确性。
因此，有研究人员提出了前沿的方法—基于异常修复网络的海表面温度图像的补全方法，采用“由粗到细”的图像补全机制，首先采用海表面温度月均值估计周均值，然后借助待补全的海表面温度日数据中未缺失的部分和周均值的间的偏差值去估计缺失部分的偏差，后再与周平均值进行叠加得到补全的日海表面温度图像。优势在于通过借助月均值进行周均值的估计，首先获得较为稳定的中长时序均值，可以提供一个全局约束，其次借助日数据中未缺失的数据和该周均值之间的偏差，获得局部的数据模式，利用该模式对缺失部分进行补全，获得局部的细粒度准确性。通过全局和局部的结合，既满足了全局的一致性，又同时兼顾了局部特殊性。但是，以上方法存在以下问题：
第一，“由粗到细”的两阶段补全网络先后提取粗细特征，且仅在图像的单一尺度上进行了一次特征融合。例如，粗补全网络和细补全网络在特征提取的过程中各自进行上采样和下采样，但是，不同尺度特征图包含了不同尺度的海洋现象，如小尺度的涡旋，中尺度的内波，大尺度的洋流，而该网络忽略了不同尺度视角下存在的不同特征信息，降低了提取特征的质量。
第二，对约束信息直接无差别利用，未考虑不同时间的历史海表面温度图像或者同一历史图像的不同区域对于当前海表面温度图像的补全有不同程度的影响。例如，对于当前图像的某一块缺失区域，过去第一天和过去第七天的历史海表面温度图像对于该缺失区域的关联性显然是不同的，缺失区域附近的海表面温度和远离缺失区域的海表面温度对于该缺失区域的关联性也是不同的。现有方法没有考虑时间和位置因素对海表面温度图像补全的差异性影响，降低了补全图像的质量。
发明内容
针对现有技术存在的不足，本发明提供基于并行多尺度约束的海表面温度补全方法及系统，设计了用于全局约束提取和局部约束修复的并行多尺度特征约束网络，并在差异异常修复过程中使用通道注意力模块和空间注意力模块对全局一致性约束序列和差异约束序列的通道和位置信息进行修正，为特征图增加时间和空间权重，提高海表面温度图像补全的精度。
为了解决上述技术问题，本发明采用的技术方案是：
首先，本发明提供基于并行多尺度约束的海表面温度补全方法，包括全局约束阶段和差异约束修复阶段，具体步骤如下：
步骤S1、全局约束阶段：
以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入；W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，所述并行多尺度特征约束网络分为上下两流，上流是基于Swin-Transformer的U-net网络，下流是基于卷积的U-net网络，上下两流网络输出的特征图进行融合，输出全局一致性约束序列X，为下一阶段提供全局一致性约束；
步骤S2、差异约束修复阶段：
以海表面温度差异值C和全局一致性约束序列X作为差异约束修复阶段的输入，输出海表面温度图像补全值R；在训练时，判别器依照海表面温度图像真值T对海表面温度图像补全值R进行真假判别，进行迭代训练；在应用时，海表面温度图像补全值R即是最终输出的补全后的海表面温度图像。
进一步的，步骤S1通过并行多尺度特征约束网络实现，具体流程为：将过去七天海表面温度图像W输入基于卷积的U-net网络，将七通道海表面温度周均值图像A输入基于Swin-Transformer的U-net网络，上下两流网络进行并行计算和特征提取，两者编码器阶段各自进行了四次下采样，在每次下采样后两侧的U-net网络的特征图进行拼接融合，在多尺度上进行全局特征和局部特征的融合学习，并在上采样阶段通过多尺度膨胀卷积操作提取多尺度特征，上下两流网络各自进行四次上采样，其中基于Swin-Transformer的U-net网络在上采样过程中依次得到A1、A2、A3、A4特征图，基于卷积的U-net网络在上采样过程中依次得到B1、B2、B3、B4特征图，将A4与B4拼接后再依次经过卷积、激活和池化操作得到全局一致性约束序列X。
进一步的，基于Swin-Transformer的U-net网络是在经典的U-net编码器-解码器结构的基础上将编码器中的卷积结构换为Swin-Transformer模块，其中，Swin-Transformer模块是基于多头注意力机制的图像编码器。
进一步的，上下两流网络四次下采样分别是两倍下采样、四倍下采样、八倍下采样和十六倍下采样。
进一步的，在上采样阶段，使用多尺度膨胀卷积模块进行解码，在多尺度膨胀卷积模块中，输入的特征经过一个卷积、两个不同规格的膨胀卷积进行特征值提取，获得三种不同尺度的特征，然后经过通道融合层、卷积层、归一化和激活层得到解码后的特征图。
进一步的，步骤S2中，通过差异约束修复网络实现，在差异约束修复网络内，以海表面温度差异值C和全局一致性约束序列X作为输入，C经过生成器处理后得到海表面温度差异约束序列Y，X与Y各自经过通道注意力模块和空间注意力模块处理添加时间权重和空间权重，对X和Y的通道和位置信息进行修正后送入并行多尺度特征约束网络，最终输出海表面温度图像补全值R。
进一步的，输入特征图的通道维度包含了历史时间信息，通道注意力模块在通道维度上产生注意力特征图，然后将其与原输入特征图进行相乘进行自适应时间权重修正，通道注意力模块的运算过程如公式（1）所示：
（1）；
其中，σ是sigmoid归一化函数，Conv是卷积操作，AvgPool是平均池化，MaxPool是最大池化，在通道注意力模块中，对输入的特征图F分别进行最大池化和平均池化操作，得到特征图Fc-max和Fc-avg，经过一个共享权重的卷积层后，将Fc-max和Fc-avg相加得到Fc，最后将归一化的Fc与原特征图F相乘，得到增加了时间权重的特征图Fco。
进一步的，输入特征图的空间维度包含了海表面温度图像的位置信息，空间注意力模块在空间维度上产生注意力特征图，然后将其与原输入特征图进行相乘进行自适应空间权重修正，空间注意力模块的运算过程如公式（2）所示:
（2）；
其中，σ是sigmoid归一化函数，Conv是卷积操作，AvgPool是平均池化，MaxPool是最大池化，在空间注意力模块中，对输入的特征图F分别进行最大池化和平均池化操作，得到特征图Fs-max和Fs-avg，将Fs-max和Fs-avg拼接得到Fs，最后将归一化的Fs与原特征图F相乘，得到增加了空间权重的特征图Fso。
进一步的，X经过通道注意力模块和空间注意力模块处理得到增加了时间和空间权重的全局一致性约束序列Xr，Y经过通道注意力模块和空间注意力模块处理得到增加了时间和空间权重的差异约束序列Yr，将增加了时间和空间权重的全局一致性约束序列Xr送入并行多尺度特征约束网络的基于Swin-Transformer的U-net网络的输入端，将增加了时间和空间权重的差异约束Yr送入并行多尺度特征约束网络的基于卷积的U-net网络的输入端，并行多尺度特征约束网络的输出经过自适应池化操作后得到海表面温度图像补全值R，最后将海表面温度图像补全值R和海表面温度图像真值T送入判别器进行判别迭代。
其次，本发明提供基于并行多尺度约束的海表面温度补全系统，用于实现如前所述的基于并行多尺度约束的海表面温度补全方法，包括全局约束提取网络和差异性约束修复网络，所述全局约束提取网络以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入；W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，输出全局一致性约束序列X，为差异性约束修复网络提供全局一致性约束；
所述差异性约束修复网络以海表面温度差异值C和全局一致性约束序列X作为输入，C经过生成器处理后得到海表面温度差异约束序列Y，X与Y各自经过通道注意力模块和空间注意力模块处理添加时间权重和空间权重，对X和Y的通道和位置信息进行修正后送入并行多尺度特征约束网络，最终输出海表面温度图像补全值R；通过判别器依照海表面温度图像真值T对海表面温度图像补全值R进行真假判别，进行迭代训练。
与现有技术相比，本发明优点在于：
（1）设计了一种在海表面温度图像补全过程中用于全局约束提取和差异约束修复的并行多尺度特征约束网络，增加了多尺度特征的提取和融合能力。
例如，原补全网络仅在图像的单一尺度上进行了一次特征融合，忽略了不同尺度视角下存在的不同尺度的海洋现象。本发明通过并行多尺度特征约束网络，使用基于Swin-Transformer的U-net网络和基于卷积的U-net网络对数据进行并行处理，提取多尺度特征并在四种不同大小的特征图层面进行粗细粒度特征融合。在上采样阶段使用三种不同大小的卷积进一步进行多尺度特征提取。该网络提高了模型对多尺度特征的学习、融合和补全能力，保证了多尺度特征修复的可信性和准确性。
（2）本网络在差异异常修复过程中使用通道注意力模块和空间注意力模块对全局信息嵌入序列和差异约束序列的通道和位置信息进行修正，为特征图增加时间和空间权重，更加合理地利用特征图序列各个时间维度和空间位置里隐含的历史信息。
例如，原方法对约束信息直接无差别利用，未考虑不同时间的历史海表面温度图像或者同一历史图像的不同区域对于当前海表面温度图像的补全有不同程度的影响。而本发明使用通道注意力模块和空间注意力模块对全局信息嵌入序列和差异约束序列的通道和位置信息进行修正，为特征图添加时间和空间权重，帮助并行多尺度特征约束网络更加合理地利用各个时间维度和空间位置里隐含的历史信息，使得补全的海表面温度图像误差更小且精度更高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统架构图；
图2为本发明的并行多尺度特征约束网络结构图；
图3为本发明的多尺度膨胀卷积模块模块结构图；
图4为本发明的通道注意力模块结构图；
图5为本发明的空间注意力模块结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
实施例1
结合图1所示，本实施例提供一种基于并行多尺度约束的海表面温度补全方法，包括全局约束阶段和差异约束修复阶段，具体步骤如下：
步骤S1、全局约束阶段：
以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入；W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，并行多尺度特征约束网络分为上下两流，上流是基于Swin-Transformer的U-net网络，下流是基于卷积的U-net网络，上下两流网络输出的特征图进行融合，输出全局一致性约束序列X，为下一阶段提供全局一致性约束。
作为一个优选的实施方式，步骤S1通过并行多尺度特征约束网络实现，结合图2所示，具体流程为：将过去七天海表面温度图像W输入基于卷积的U-net网络，将七通道海表面温度周均值图像A输入基于Swin-Transformer的U-net网络，上下两流网络进行并行计算和特征提取，两者编码器阶段各自进行了四次下采样，在每次下采样后两侧的U-net网络的特征图进行拼接融合，在多尺度上进行全局特征和局部特征的融合学习，并在上采样阶段通过多尺度膨胀卷积操作提取多尺度特征，上下两流网络各自进行四次上采样。基于Swin-Transformer的U-net网络在上采样过程中依次得到A1、A2、A3、A4特征图，基于卷积的U-net网络在上采样过程中依次得到B1、B2、B3、B4特征图。将A4与B4拼接后再依次经过卷积层、激活层和池化层的操作处理，得到全局一致性约束序列X。
基于Swin-Transformer的U-net网络是在经典的U-net编码器-解码器结构的基础上将编码器中的卷积结构换为Swin-Transformer模块，其中，Swin-Transformer模块是基于多头注意力机制的图像编码器；基于Swin-Transformer的U-net网络提取海表面温度的局部信息，基于卷积的U-net网络利用卷积网络擅长提取局部细节信息的优势提取海表面温度的局部信息。
作为一个优选的实施例，上下两流网络四次下采样分别是两倍下采样、四倍下采样、八倍下采样和十六倍下采样。
作为一个优选的实施例，在上采样阶段，使用多尺度膨胀卷积模块MCD进行解码。结合图3所示，在多尺度膨胀卷积模块中，输入的特征经过一个卷积、两个不同规格的膨胀卷积进行特征值提取，获得三种不同尺度的特征，然后经过通道融合层、卷积层、归一化和激活层得到输出的特征图；上采样共重复四次，第四次上采样后，将经过基于Swin-Transformer的U-net网络和基于卷积的U-net网络补输出的特征图进行融合，全局约束提取网络的输出为全局一致性约束序列X。
步骤S2、差异约束修复阶段：
以海表面温度差异值C和全局一致性约束序列X作为差异约束修复阶段的输入，输出海表面温度图像补全值R。
具体来说，步骤S2通过差异约束修复网络实现，在差异约束修复网络内，以海表面温度差异值C和全局一致性约束序列X作为输入，C经过生成器处理后得到海表面温度差异约束序列Y，X与Y各自经过通道注意力模块和空间注意力模块处理添加时间权重和空间权重，对X和Y的通道和位置信息进行修正后送入并行多尺度特征约束网络，最终输出海表面温度图像补全值R。
作为一个优选的实施例，通道注意力模块的结构如图4所示，输入特征图F的通道维度包含了历史时间信息，通道注意力模块在通道维度上产生注意力特征图，然后将其与原输入特征图进行相乘进行自适应时间权重修正，通道注意力模块的运算过程如公式（1）所示：
（1）；
其中，σ是sigmoid归一化函数，Conv是卷积操作，AvgPool是平均池化，MaxPool是最大池化，在通道注意力模块中，对输入的特征图F分别进行最大池化和平均池化操作，得到特征图Fc-max和Fc-avg，经过一个共享权重的卷积层后，将Fc-max和Fc-avg相加得到Fc，最后将归一化的Fc与原特征图F相乘，得到增加了时间权重的特征图Fco。
作为一个优选的实施例，空间注意力模块的结构如图5所示，输入特征图F的空间维度包含了海表面温度图像的位置信息，空间注意力模块在空间维度上产生注意力特征图，然后将其与原输入特征图进行相乘进行自适应空间权重修正，空间注意力模块的运算过程如公式（2）所示:
（2）；
其中，σ是sigmoid归一化函数，Conv是卷积操作，AvgPool是平均池化，MaxPool是最大池化，在空间注意力模块中，对输入的特征图F分别进行最大池化和平均池化操作，得到特征图Fs-max和Fs-avg，将Fs-max和Fs-avg拼接得到Fs，最后将归一化的Fs与原特征图F相乘，得到增加了空间权重的特征图Fso。
X经过通道注意力模块和空间注意力模块处理得到增加了时间和空间权重的差异约束序列Xr，Y经过通道注意力模块和空间注意力模块处理得到增加了时间和空间权重的差异约束序列Yr，将增加了时间和空间权重的差异约束序列Xr送入并行多尺度特征约束网络的基于Swin-Transformer的U-net网络的输入端，将增加了时间和空间权重的差异约束序列Yr送入并行多尺度特征约束网络的基于卷积的U-net网络的输入端，并行多尺度特征约束网络的输出经过自适应池化操作后得到海表面温度图像补全值R，最后将海表面温度图像补全值R和海表面温度图像真值T送入判别器进行判别迭代。
在训练时，通过判别器依照海表面温度图像真值T对海表面温度图像补全值R进行真假判别，进行迭代训练。
在应用时，海表面温度图像补全值R即是最终输出的补全后的海表面温度图像。
实施例2
如图1所示，本实施例提供一种基于并行多尺度约束的海表面温度补全系统，包括全局约束提取网络和差异性约束修复网络，可以实现实施例1记载的基于并行多尺度约束的海表面温度补全方法，具体方法和各个网络的数据处理过程可参见实施例1的记载，相同部分此处不再赘述。
（1）首先介绍全局约束提取网络，以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入。W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，输出全局一致性约束序列X，为差异性约束修复网络提供全局一致性约束。
其中，并行多尺度特征约束网络的结构如图2所示，图2中，PE表示模块嵌入，TB表示注意力模块，DB表示逆卷积模块，MP表示最大池化，PM表示模块融合，MCD表示多尺度膨胀卷积模块，CR表示卷积核激活函数层，AP表示自适应池化。
并行多尺度特征约束网络分为上下两流，上流是基于Swin-Transformer的U-net网络，下流是基于卷积的U-net网络。上下两流网络进行并行计算和特征提取，两者编码器阶段各自进行了四次下采样，在每次下采样后两侧的U-net网络的特征图进行拼接融合，在多尺度上进行全局特征和局部特征的融合学习，并在上采样阶段通过多尺度膨胀卷积操作提取多尺度特征，上下两流网络各自进行四次上采样。基于Swin-Transformer的U-net网络在上采样过程中依次得到A1、A2、A3、A4特征图，基于卷积的U-net网络在上采样过程中依次得到B1、B2、B3、B4特征图。将A4与B4拼接后再依次经过卷积层、激活层和池化层，得到全局一致性约束序列。
具体流程为：将过去七天海表面温度图像W输入基于卷积的U-net网络，将七通道海表面温度周均值图像A输入基于Swin-Transformer的U-net网络，基于Swin-Transformer的U-net网络是在经典的U-net编码器-解码器结构的基础上将编码器中的卷积结构换为Swin-Transformer模块，其中，Swin-Transformer模块是基于多头注意力机制的图像编码器，注意力机制在提取图像的全局信息和大尺度依赖关系方面性能优异，可以弥补传统的基于卷积的U-net擅长提取局部细节信息和微小对象特征，而忽视大尺度特征的不足。此外，基于Swin-Transformer的U-net网络通过分区计算的方式消除了注意力机制计算量较大的劣势，提取海表面温度的局部信息，基于卷积的U-net网络利用卷积网络擅长提取局部细节信息的优势提取海表面温度的局部信息。
根据基于Swin-Transformer的U-net网络和基于卷积的U-net网络的上述特性，将包含全局信息和粗粒度信息较多的数据（七通道海表面温度周均值图像A）送入基于Swin-Transformer的U-net网络的输入端，将包含细节信息和特异性信息较多的数据（过去七天海表面温度图像W）送入基于卷积的U-net网络的输入端。基于Swin-Transformer的U-net网络和基于卷积的U-net网络进行并行计算和特征提取，两者编码器阶段各自进行了四次下采样，在每次下采样后两侧的U-net网络的特征图进行拼接融合，在多尺度上进行全局特征和局部特征的融合学习。
在上采样阶段，本实施例使用多尺度膨胀卷积模块进行解码，进一步学习多尺度特征。多尺度膨胀卷积模块的具体结构如图3所示。
在多尺度膨胀卷积模块中，输入的特征经过一个卷积、两个不同规格的膨胀卷积进行特征值提取，本实施例采用3×3卷积，5×5膨胀卷积，7×7膨胀卷积三种规格的卷积，获得三种不同尺度的特征，然后经过通道融合层、卷积层、归一化和激活层得到输出的特征图。最后将经过基于Swin-Transformer的U-net网络和基于卷积的U-net网络补输出的特征图进行融合，全局约束提取网络的输出为全局一致性约束序列X，X的维度为W×H×7，为下一阶段网络提供全局一致性约束。
其中，该网络解决了现有方法“由粗到细”补全网络先后提取粗细特征，仅在图像的单一尺度上进行了一次特征融合，多尺度特征融合能力弱，没有充分利用各个尺度特征图上的粗粒度特征和细粒度特征进行交互，忽略了不同尺度视角下存在的不同特征信息，降低了提取特征质量的问题。
（2）然后介绍差异性约束修复网络，以海表面温度差异值C和全局一致性约束序列X作为输入，C经过生成器处理后得到海表面温度差异约束序列Y，X与Y各自经过通道注意力模块和空间注意力模块处理添加时间权重和空间权重，对X和Y的通道和位置信息进行修正后送入并行多尺度特征约束网络，最终输出海表面温度图像补全值R。
其中，通道注意力模块的结构如图4所示，空间注意力模块的结构如图5所示，图4中表示相加操作，/>表示相乘操作，图5中/>表示拼接操作，具体数据处理过程可参见实施例1部分的记载，此处不赘述。
最后，通过判别器依照海表面温度图像真值T对海表面温度图像补全值R进行真假判别，进行迭代训练。
其中，该部分网络使用通道注意力模块和空间注意力模块对全局一致性约束序列X和差异约束序列Y的通道和位置信息进行修正，调整特征图的时间和空间权重。解决了原网络对约束信息直接无差别利用，未考虑不同时间的历史海表面温度图像或者同一历史图像的不同区域对于当前海表面温度图像的补全有不同程度的影响的问题。
综上所述，本发明先后两次使用并行多尺度特征约束网络，使用基于Swin-Transformer的U-net网络和基于卷积的U-net网络对数据进行并行处理，提取多尺度特征并对两倍下采样，四倍下采样，八倍下采样和十六倍下采样后的特征图进行多尺度特征提取和融合，并在上采用过程采用多尺度卷积模块，同时采用3×3卷积，5×5膨胀卷积，7×7膨胀卷积进行进一步的多尺度特征提取。该网络提高了模型对多尺度特征的学习、融合和补全能力，保证了多尺度特征修复的可信性和准确性。解决了原方法“由粗到细”补全网络先后提取粗细特征，仅在图像的单一尺度上进行了一次特征融合，多尺度特征融合能力弱，没有充分利用各个尺度特征图上的粗粒度特征和细粒度特征进行交互，忽略了不同尺度视角下存在的不同特征信息，降低了提取特征质量的问题（问题一）。
在差异约束修复网络中，本发明使用通道注意力模块和空间注意力模块对全局一致性约束序列X和差异约束序列Y的通道和位置信息进行修正，调整特征图的时间和空间权重。通道注意力模块将输入的特征图经过最大池化、平均池化和卷积运算后叠加并归一化，得到特征图时间维度的权重。通道注意力模块将输入的特征图经过最大池化和平均池化后进行拼接，然后进行卷积运算并归一化，得到特征图空间维度的权重。时间和空间的权重信息帮助网络更加合理地利用特征图序列各个时间维度和空间位置里隐含的历史信息，使得补全的海表面温度图像误差更小且精度更高。解决了原网络对约束信息直接无差别利用，未考虑不同时间的历史海表面温度图像或者同一历史图像的不同区域对于当前海表面温度图像的补全有不同程度的影响的问题（问题二）。
此外，本发明的损失函数L总包括判别损失Ladv和相似性损失Lsim两部分：
；
其中，α、β分别代表判别损失Ladv和Lsim相似性损失的权重。
判别损失Ladv为：
；
其中，T为海表面温度图像真值，W为七天海表面温度图像，A为七通道海表面温度周均值图像，D（）代表判别器，G（）代表本模型，E[ ]代表数学期望。本发明的模型与判别器进行对抗训练，追求损失函数尽可能小，判别器追求损失函数尽可能大。
相似性损失Lsim为：
；
其中，T为海表面温度图像的真实值，R为海表面温度图像补全值，为L2范数，为L1范数，/>表示将图像输入Vgg16网络后，在第j次下采样后的特征图。是结构相似性损失，其内容由下面公式所示。
；
；
；
；
；
其中，SSIM是计算结构相似性，SSIM的数值越大表示真实图像T与补全图选R的相似度越高。如公式SSIM结构相似性由亮度对比函数，对比度对比函数/>和结构对比函数/>三部分组成。其中/>和/>分别是真实图像T与补全图像R的平均亮度测量，/>和/>分别是真实图像T与补全图像R的灰度标准差测量，/>是真实图像T与补全图像R的结构协方差测量。C1、C2、C3是常数，防止分母趋近于0造成的数据异常。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。
Claims (10)
1.基于并行多尺度约束的海表面温度补全方法，其特征在于，包括全局约束阶段和差异约束修复阶段，具体步骤如下：
步骤S1、全局约束阶段：
以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入；W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，所述并行多尺度特征约束网络分为上下两流，上流是基于Swin-Transformer的U-net网络，下流是基于卷积的U-net网络，上下两流网络输出的特征图进行融合，输出全局一致性约束序列X，为下一阶段提供全局一致性约束；
步骤S2、差异约束修复阶段：
以海表面温度差异值C和全局一致性约束序列X作为差异约束修复阶段的输入，输出海表面温度图像补全值R；在训练时，判别器依照海表面温度图像真值T对海表面温度图像补全值R进行真假判别，进行迭代训练；在应用时，海表面温度图像补全值R即是最终输出的补全后的海表面温度图像。
2.根据权利要求1所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，步骤S1通过并行多尺度特征约束网络实现，具体流程为：将过去七天海表面温度图像W输入基于卷积的U-net网络，将七通道海表面温度周均值图像A输入基于Swin-Transformer的U-net网络，上下两流网络进行并行计算和特征提取，两者编码器阶段各自进行了四次下采样，在每次下采样后两侧的U-net网络的特征图进行拼接融合，在多尺度上进行全局特征和局部特征的融合学习，并在上采样阶段通过多尺度膨胀卷积操作提取多尺度特征，上下两流网络各自进行四次上采样，其中基于Swin-Transformer的U-net网络在上采样过程中依次得到A1、A2、A3、A4特征图，基于卷积的U-net网络在上采样过程中依次得到B1、B2、B3、B4特征图，将A4与B4拼接后再依次经过卷积、激活和池化操作得到全局一致性约束序列X。
3.根据权利要求2所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，基于Swin-Transformer的U-net网络是在经典的U-net编码器-解码器结构的基础上将编码器中的卷积结构换为Swin-Transformer模块，其中，Swin-Transformer模块是基于多头注意力机制的图像编码器。
4.根据权利要求2所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，上下两流网络四次下采样分别是两倍下采样、四倍下采样、八倍下采样和十六倍下采样。
5.根据权利要求2所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，在上采样阶段，使用多尺度膨胀卷积模块进行解码，在多尺度膨胀卷积模块中，输入的特征经过一个卷积、两个不同规格的膨胀卷积进行特征值提取，获得三种不同尺度的特征，然后经过通道融合层、卷积层、归一化和激活层得到解码后的特征图。
6.根据权利要求2所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，步骤S2中，通过差异约束修复网络实现，在差异约束修复网络内，以海表面温度差异值C和全局一致性约束序列X作为输入，C经过生成器处理后得到海表面温度差异约束序列Y，X与Y各自经过通道注意力模块和空间注意力模块处理添加时间权重和空间权重，对X和Y的通道和位置信息进行修正后送入并行多尺度特征约束网络，最终输出海表面温度图像补全值R。
7.根据权利要求6所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，输入特征图的通道维度包含了历史时间信息，通道注意力模块在通道维度上产生注意力特征图，然后将其与原输入特征图进行相乘进行自适应时间权重修正，通道注意力模块的运算过程如公式（1）所示：
（1）；
其中，σ是sigmoid归一化函数，Conv是卷积操作，AvgPool是平均池化，MaxPool是最大池化，在通道注意力模块中，对输入的特征图F分别进行最大池化和平均池化操作，得到特征图Fc-max和Fc-avg，经过一个共享权重的卷积层后，将Fc-max和Fc-avg相加得到Fc，最后将归一化的Fc与原特征图F相乘，得到增加了时间权重的特征图Fco。
8.根据权利要求7所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，输入特征图的空间维度包含了海表面温度图像的位置信息，空间注意力模块在空间维度上产生注意力特征图，然后将其与原输入特征图进行相乘进行自适应空间权重修正，空间注意力模块的运算过程如公式（2）所示:
（2）；
其中，σ是sigmoid归一化函数，Conv是卷积操作，AvgPool是平均池化，MaxPool是最大池化，在空间注意力模块中，对输入的特征图F分别进行最大池化和平均池化操作，得到特征图Fs-max和Fs-avg，将Fs-max和Fs-avg拼接得到Fs，最后将归一化的Fs与原特征图F相乘，得到增加了空间权重的特征图Fso。
9.根据权利要求6所述的基于并行多尺度约束的海表面温度补全方法，其特征在于，X经过通道注意力模块和空间注意力模块处理得到增加了时间和空间权重的全局一致性约束序列Xr，Y经过通道注意力模块和空间注意力模块处理得到增加了时间和空间权重的差异约束序列Yr，将增加了时间和空间权重的全局一致性约束序列Xr送入并行多尺度特征约束网络的基于Swin-Transformer的U-net网络的输入端，将增加了时间和空间权重的差异约束Yr送入并行多尺度特征约束网络的基于卷积的U-net网络的输入端，并行多尺度特征约束网络的输出经过自适应池化操作后得到海表面温度图像补全值R，最后将海表面温度图像补全值R和海表面温度图像真值T送入判别器进行判别迭代。
10.基于并行多尺度约束的海表面温度补全系统，其特征在于，用于实现如权利要求1-9任一项所述的基于并行多尺度约束的海表面温度补全方法，包括全局约束提取网络和差异性约束修复网络，所述全局约束提取网络以过去七天海表面温度图像W和七通道海表面温度周均值图像A作为输入；W与A做差得到海表面温度差异值C；W与A输入并行多尺度特征约束网络，输出全局一致性约束序列X，为差异性约束修复网络提供全局一致性约束；
所述差异性约束修复网络以海表面温度差异值C和全局一致性约束序列X作为输入，C经过生成器处理后得到海表面温度差异约束序列Y，X与Y各自经过通道注意力模块和空间注意力模块处理添加时间权重和空间权重，对X和Y的通道和位置信息进行修正后送入并行多尺度特征约束网络，最终输出海表面温度图像补全值R；通过判别器依照海表面温度图像真值T对海表面温度图像补全值R进行真假判别，进行迭代训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338050.4A CN117935066B (zh) | 2024-03-25 | 2024-03-25 | 基于并行多尺度约束的海表面温度补全方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410338050.4A CN117935066B (zh) | 2024-03-25 | 2024-03-25 | 基于并行多尺度约束的海表面温度补全方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117935066A true CN117935066A (zh) | 2024-04-26 |
| CN117935066B CN117935066B (zh) | 2024-05-28 |
Family
ID=90761422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410338050.4A Active CN117935066B (zh) | 2024-03-25 | 2024-03-25 | 基于并行多尺度约束的海表面温度补全方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117935066B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118506411A (zh) * | 2024-07-19 | 2024-08-16 | 浙江工业大学 | 一种基于滑动窗口变换器的深浅特征融合的掌纹识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738420A (zh) * | 2020-06-24 | 2020-10-02 | 莫毓昌 | 一种基于多尺度抽样的机电设备状态数据补全与预测方法 |
| CN115984146A (zh) * | 2023-03-16 | 2023-04-18 | 中国海洋大学 | 基于全局一致性的海洋叶绿素浓度图像的补全方法及网络 |
| CN115984281A (zh) * | 2023-03-21 | 2023-04-18 | 中国海洋大学 | 基于局部特异性深化的时序海温图像的多任务补全方法 |
| CN116596784A (zh) * | 2023-05-12 | 2023-08-15 | 中国海洋大学 | 基于多尺度异常的海表面温度遥感图像补全方法 |
| CN117036880A (zh) * | 2023-08-08 | 2023-11-10 | 中国海洋大学 | 基于去噪扩散生成模型的海表面温度图像补全方法及网络 |
-
2024
- 2024-03-25 CN CN202410338050.4A patent/CN117935066B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738420A (zh) * | 2020-06-24 | 2020-10-02 | 莫毓昌 | 一种基于多尺度抽样的机电设备状态数据补全与预测方法 |
| CN115984146A (zh) * | 2023-03-16 | 2023-04-18 | 中国海洋大学 | 基于全局一致性的海洋叶绿素浓度图像的补全方法及网络 |
| CN115984281A (zh) * | 2023-03-21 | 2023-04-18 | 中国海洋大学 | 基于局部特异性深化的时序海温图像的多任务补全方法 |
| CN116596784A (zh) * | 2023-05-12 | 2023-08-15 | 中国海洋大学 | 基于多尺度异常的海表面温度遥感图像补全方法 |
| CN117036880A (zh) * | 2023-08-08 | 2023-11-10 | 中国海洋大学 | 基于去噪扩散生成模型的海表面温度图像补全方法及网络 |
Non-Patent Citations (1)
| Title |
|---|
| QICHEN WEI ET AL.: "Inpainting of Remote Sensing Sea Surface Temperature image with Multi-scale Physical Constraints", 《2023 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO(ECME)》, 14 July 2023 (2023-07-14), pages 492 - 497, XP034407781, DOI: 10.1109/ICME55011.2023.00091 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118506411A (zh) * | 2024-07-19 | 2024-08-16 | 浙江工业大学 | 一种基于滑动窗口变换器的深浅特征融合的掌纹识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117935066B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117935066B (zh) | 基于并行多尺度约束的海表面温度补全方法及系统 | |
| CN116665176B (zh) | 一种面向车辆自动驾驶的多任务网络道路目标检测方法 | |
| CN111242999B (zh) | 基于上采样及精确重匹配的视差估计优化方法 | |
| CN115147598B (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN114972231B (zh) | 一种基于先验-后验概率编码器的多模态mr图像分割方法 | |
| CN110866938B (zh) | 一种全自动视频运动目标分割方法 | |
| CN115564692B (zh) | 顾及幅宽差异下的全色-多光谱-高光谱一体化融合方法 | |
| CN112132834A (zh) | 一种心室图像分割方法、系统、装置及存储介质 | |
| CN118298288A (zh) | 一种水下无线充电平台对接仓角度及异物识别方法 | |
| CN113536971B (zh) | 一种基于增量学习的目标检测方法 | |
| CN113052187A (zh) | 一种基于多尺度特征融合的全局特征对齐目标检测方法 | |
| CN116805389A (zh) | 一种基于解耦级联区域生成网络的开放世界目标检测方法 | |
| CN117036436A (zh) | 一种基于双编码器-解码器的单目深度估计方法及系统 | |
| CN114372944B (zh) | 一种多模态和多尺度融合的候选区域生成方法及相关装置 | |
| CN115131414A (zh) | 基于深度学习的无人机图像对齐方法、电子设备和存储介质 | |
| CN115660984A (zh) | 一种图像高清还原方法、装置及存储介质 | |
| CN115358962A (zh) | 一种端到端视觉里程计方法及装置 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN114463187B (zh) | 基于聚合边缘特征的图像语义分割方法及系统 | |
| CN113192093B (zh) | 基于双流网络结构的快速显著性目标检测方法 | |
| CN117372885B (zh) | 基于孪生U-Net神经网络的多模态遥感数据变化检测方法及系统 | |
| CN117523205B (zh) | 少样本ki67多类别细胞核的分割识别方法 | |
| CN116363369A (zh) | 图像分割模型优化方法及装置、介质、装置 | |
| CN118608786A (zh) | 一种基于改进注意力的Water-Res-Swin遥感图像水体分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |