CN114332592A - 一种基于注意力机制的海洋环境数据融合方法及系统 - Google Patents

一种基于注意力机制的海洋环境数据融合方法及系统 Download PDF

Info

Publication number
CN114332592A
CN114332592A CN202210236402.6A CN202210236402A CN114332592A CN 114332592 A CN114332592 A CN 114332592A CN 202210236402 A CN202210236402 A CN 202210236402A CN 114332592 A CN114332592 A CN 114332592A
Authority
CN
China
Prior art keywords
layer
module
data
feature
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210236402.6A
Other languages
English (en)
Other versions
CN114332592B (zh
Inventor
黄磊
张科
魏志强
安辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202210236402.6A priority Critical patent/CN114332592B/zh
Publication of CN114332592A publication Critical patent/CN114332592A/zh
Application granted granted Critical
Publication of CN114332592B publication Critical patent/CN114332592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于数据处理技术领域，公开了一种基于注意力机制的海洋环境数据融合方法及系统，该系统包括用于构造时空连续的数据序列的多源数据增强模块和用于输出融合数据的基于注意力机制的多层特征组合神经网络，所述基于注意力机制的多层特征组合神经网络包括初始特征提取层、深层特征交互部分和融合重建层，深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出。通过本发明融合特征信息、结合注意力机制，突出特征的关键信息。

Description

一种基于注意力机制的海洋环境数据融合方法及系统
技术领域
本发明属于数据处理技术领域，特别涉及一种基于注意力机制的海洋环境数据融合方法及系统。
背景技术
时空连续的海洋环境监测观测数据是认识海洋的基础。通过遥感观测技术可获得准确的海洋观测数据，但是数据较离散，无法满足海洋领域实际应用的需求。如何通过观测数据得到时空连续的海洋监测数据，即海洋环境数据融合方法，是海洋环境监、观测数据利用的关键步骤。
早期的研究者主要采用物理模型驱动方案，这类方法在融合过程中通过对海洋内部复杂过程建立数学物理方程组进行参数化处理，通常可以获得较好的效果。但是模型驱动方案的核心问题是关键物理过程的参数化具有很大的不确定性，且许多参数不容易从第一性原理推导出来。近些年，随着观测技术的提高和观测数据的日益丰富，很多研究者提出数据驱动的方法。数据驱动的方法从数据中自动分析获得规律，并利用规律对未知数据进行预测。尽管这类方法比以前模型驱动方案更灵活，但存在一些固有的限制，例如区域外推、数据存在偏差时会存在风险。在这一方面，深度学习技术有望取得突破。
近几年，深度学习方法在诸多领域均取得了很好的应用，比如计算机视觉，时间序列预测等。研究者将深度卷积神经网络引入到海洋环境数据融合中，取得了一定的效果。目前基于深度学习的海洋环境数据融合方法主要关注于构造更深或更宽的网络上，提取高阶特征，并以端到端的方式学习输入到标签的映射。
需要考虑的是，数据融合有别于目标识别、分类等任务，要求模型不仅要学习输入与标签之间的映射关系，还要在保持整体纹理的基础上增强高频细节，所以模型提取的潜在特征包含的信息越丰富，融合模型的性能越好。上述数据融合任务的特点导致了目前的基于深度学习的海洋环境数据融合方法有以下缺点：1)由于卫星自身的特点和对采样条件的敏感性，观测数据非常稀疏且可能含有噪声，使得模型学习映射困难。2)虽然特征表达能力随着网络深度的增加而增强，但每一层特征的信息量都小于其上层。所以，只依赖更深的网络或深层特征不能更好的完成海洋数据重建任务。3)每一层提取的特征包含关键信息和补充信息，模型没有突出关键信息的作用。
因此，本发明的目的是采用深度学习方法来解决海洋环境数据融合问题，提出了一种基于注意力机制的海洋环境数据融合方法及系统。
发明内容
针对现有技术存在的不足，本发明提供一种基于注意力机制的海洋环境数据融合方法及系统，分别针对以下三个方面进行改进：（1）多源数据增强；（2）多层特征组合；（3）特征显著性，本发明设计了多源数据增强模块、多层特征组合模块并引入了注意力机制，该方法可以构建时空连续的输入数据序列、组合不同层的高阶和低阶特征信息，增加特征的融合信息、结合注意力机制，突出特征的关键信息。
为了解决上述技术问题，本发明采用的技术方案是：
一方面，本发明提供一种基于注意力机制的海洋环境数据融合系统，包括多源数据增强模块和基于注意力机制的多层特征组合神经网络，
所述多源数据增强模块，用于构造时空连续的数据序列，作为基于注意力机制的多层特征组合神经网络的输入；
所述基于注意力机制的多层特征组合神经网络，包括初始特征提取层、深层特征交互部分和融合重建层，所述多源数据增强模块输出的数据序列依次输入初始特征提取层、深层特征交互部分和融合重建层，所述深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出；
其中，每个残差单元包括基础残差单元和空间注意力模块，基础残差单元输出的残差特征
Figure 689449DEST_PATH_IMAGE001
通过跳跃连接发送至末端，通过对应元素相乘的方式应用空间注意力模块生成的空间注意力权重，得到特征
Figure 278694DEST_PATH_IMAGE002
，特征
Figure 494649DEST_PATH_IMAGE003
与该残差单元的输入
Figure 827542DEST_PATH_IMAGE004
通过残差连接进行对应元素相加后得到该残差单元的输出
Figure 438652DEST_PATH_IMAGE005
，
多层特征组合模块的输入依次经过M个残差单元后得到M个残差特征，所述特征拼接层用于将所有M个残差特征进行拼接，然后输入融合卷积层，提取综合特征
Figure 198797DEST_PATH_IMAGE006
，
所述通道注意力模块的输入为综合特征
Figure 137934DEST_PATH_IMAGE007
，通道注意力模块生成各通道的权重，并通过对应元素相乘的方式应用通道注意力权重，输出通道注意力特征
Figure 773053DEST_PATH_IMAGE008
；
每个多层特征组合模块的末端接受三部分特征进行对应元素相加，分别是初始特征提取层输出的初始特征
Figure 379615DEST_PATH_IMAGE009
、该模块的输入特征
Figure 310661DEST_PATH_IMAGE010
及该模块的通道注意力模块的输出特征
Figure 737095DEST_PATH_IMAGE011
；
所述融合重建层，用于将深层特征交互部分的输出映射为海洋环境融合数据。
优选的是，构造时空连续的数据序列的方法是：将观测数据和最优插值数据相结合，将观测数据的空缺区域填补为最优插值数据，得到空间连续的网格化数据，并利用该空间连续的网格化数据构造定长的时间连续的数据序列，得到多源数据增强数据序列。
优选的是，每个残差单元末端的空间注意力模块依次包括用于减少特征通道数量的卷积层、跨步卷积层、最大池化层、用于扩大感受野的卷积组、用于恢复特征空间尺寸的上采样层、用于恢复通道数量的卷积层，最后由Sigmoid激活函数生成空间注意力权重。
优选的是，所述通道注意力模块通过全局平均池化、卷积运算和上采样层生成各通道的权重。
另一方面，本发明提供一种基于注意力机制的海洋环境数据融合方法，包括以下步骤：
步骤1、构建时空分布连续的海洋环境输入数据序列：将观测数据和最优插值数据相结合，将观测数据的空缺区域填补为最优插值数据，得到空间连续的网格化数据，并利用该空间连续的网格化数据构造定长的时间连续的数据序列，得到多源数据增强数据序列；
步骤2、构建基于注意力机制的多层特征组合神经网络：该神经网络包括初始特征提取层、深层特征交互部分和融合重建层，深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出；
步骤1得到的海洋环境输入数据序列经过初始特征提取层，得到初始特征
Figure 910325DEST_PATH_IMAGE012
；初始特征
Figure 105814DEST_PATH_IMAGE013
送入深层特征交互部分，初始特征
Figure 473341DEST_PATH_IMAGE014
依次经过M个残差单元后得到M个残差特征，所有残差特征经特征拼接层拼接后得到拼接特征，输入融合卷积层，提取综合特征
Figure 354447DEST_PATH_IMAGE015
，综合特征
Figure 301675DEST_PATH_IMAGE016
输入通道注意力模块，通道注意力模块为不同的通道分配权重，输出特征
Figure 820512DEST_PATH_IMAGE017
；每个多层特征组合模块的末端将接受三部分特征进行对应元素相加，分别为初始特征
Figure 952416DEST_PATH_IMAGE018
、该模块的输入特征
Figure 140993DEST_PATH_IMAGE019
及该模块的通道注意力模块的输出特征
Figure 157491DEST_PATH_IMAGE020
；第N个多层特征组合模块的输出
Figure 327572DEST_PATH_IMAGE021
，即是深层特征交互部分的输出
Figure 302482DEST_PATH_IMAGE022
；
特征
Figure 423759DEST_PATH_IMAGE023
由融合重建层，即最后一层卷积层映射为海洋环境融合数据；
步骤3、损失计算：选择对异常值不敏感的平均绝对值误差函数作为损失函数；
步骤4、训练网络模型逐渐收敛，保存实验准确率最高的网络模型；
步骤5、海洋环境数据输入步骤4训练好的网络模型中，得到海洋环境融合数据。
优选的是，深层特征交互部分的每个残差单元包括基础残差单元和位于末端的空间注意力模块，步骤2中，每个残差单元的运算方式如下：
输入特征依次经过每个残差单元内的基础残差单元，经过基础残差单元的特征为：
Figure 243948DEST_PATH_IMAGE024
其中，
Figure 534115DEST_PATH_IMAGE025
是第n个多层特征组合模块中第m-1个残差单元输出的残差特征，
Figure 148767DEST_PATH_IMAGE026
和
Figure 22919DEST_PATH_IMAGE027
分别为基础残差单元内两层卷积函数，
Figure 115640DEST_PATH_IMAGE028
为第二层卷积层输出的特征，特征
Figure 525893DEST_PATH_IMAGE029
包含三个维度：二维空间信息和一维通道信息；
基础残差单元输出的残差特征
Figure 436080DEST_PATH_IMAGE030
通过跳跃连接发送至末端，通过对应元素相乘的方式应用空间注意力模块生成的空间注意力权重，得到特征
Figure 298994DEST_PATH_IMAGE031
，特征
Figure 693941DEST_PATH_IMAGE032
与该残差单元的输入
Figure 693121DEST_PATH_IMAGE033
通过残差连接进行对应元素相加后得到该残差单元的输出
Figure 649576DEST_PATH_IMAGE034
。
优选的是，步骤2中，基础残差单元的输出特征
Figure 999786DEST_PATH_IMAGE035
通过降尺度以减少模型的参数量：
Figure 464003DEST_PATH_IMAGE036
其中，
Figure 317689DEST_PATH_IMAGE037
是用于降通道的1×1卷积层，
Figure 304100DEST_PATH_IMAGE038
是用于减小特征空间的跨步卷积层和最大池化层。为了进一步扩大感受野，加入卷积组：
Figure 141606DEST_PATH_IMAGE039
Figure 645400DEST_PATH_IMAGE040
Figure 117707DEST_PATH_IMAGE041
其中，
Figure 415964DEST_PATH_IMAGE042
指3个连续的卷积操作，对应于降尺度，
Figure 475187DEST_PATH_IMAGE043
和
Figure 782672DEST_PATH_IMAGE044
分别是用于恢复空间和通道的操作，应用Sigmoid函数激活后生成注意力权重
Figure 109486DEST_PATH_IMAGE045
，通过跳跃连接将注意力权重
Figure 578644DEST_PATH_IMAGE046
应用于基础残差特征
Figure 125163DEST_PATH_IMAGE047
。
优选的是，步骤2中，综合特征
Figure 236339DEST_PATH_IMAGE048
，该特征包含了C个通道的特征图，每个通道特征图的尺寸为H×W，通过对特征的二维空间统计可以获得每个通道的信息统计量
Figure 43758DEST_PATH_IMAGE049
，s的第c个通道的信息统计量可以由以下公式获得：
Figure 182353DEST_PATH_IMAGE050
其中，
Figure 216168DEST_PATH_IMAGE051
是综合特征
Figure 865455DEST_PATH_IMAGE052
第c个通道特征图中(i，j)位置的值，
Figure 402747DEST_PATH_IMAGE053
指全局平均池化函数，为了从信息统计量s中捕获各通道间的依赖，引入了Sigmoid函数：
Figure 243401DEST_PATH_IMAGE054
其中，ReLU(g)和δ(g)分别指ReLU和Sigmoid激活函数，信息统计量s首先输入通道降维率为r的卷积层，该卷积层权重为W D ，被ReLU激活后，低通道信息统计量再由卷积层恢复通道数，该卷积层权重为W U ，最后由Sigmoid激活后生成通道注意力权重，通过对应元素相乘的方式应用通道注意力权重：
Figure 498933DEST_PATH_IMAGE055
其中，w c 和f c 分别指第c通道的注意力权重和特征图，则该通道注意力模块的输出为：
Figure 420753DEST_PATH_IMAGE056
。
与现有技术相比，本发明优点在于：
（1）本发明设计多源数据增强模块，通过对多个来源数据进行时空匹配，构建时空连续的输入数据序列。该数据序列可以为神经网络提供准确、丰富的时空上下文信息，并缓解噪声的影响。
（2）本发明设计多层特征组合模块，丰富更深层次特征的信息，多层特征组合模块通过组合高阶和低阶特征的非局部信息，充分利用层间特征，提高了融合能力。
（3）在多层特征组合模块中引入注意力机制，通过建模特征间的相互依赖关系，自适应地缩放空间和通道特征权重，增强特征中的高频信息。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的多层特征组合神经网络结构图；
图2为本发明的空间注意力模块示意图；
图3为本发明的通道注意力模块示意图；
图4为本发明的方法流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的说明。
针对观测数据稀疏，神经网络学习映射困难问题，设计了多源数据增强模块，用于构造时空连续的数据序列，作为基于注意力机制的多层特征组合神经网络的输入。
针对深层特征信息减少和关键信息不够突出的问题，本发明设计了基于注意力机制的多层特征组合神经网络（Multi-layer Feature Combination Network Based onAttention, FCANet）。
针对网络没有突出层内特征中旋涡、边缘等关键高频信息的问题，本发明引入注意力模块。下面分别介绍本发明的海洋环境数据融合系统的各组成部分及其功能实现。
实施例1
结合图1，本发明基于注意力机制的海洋环境数据融合系统，包括多源数据增强模块和基于注意力机制的多层特征组合神经网络，
一、多源数据增强模块
准确而丰富的时空上下文信息是训练有效模型的关键。由于观测数据时空覆盖率较低，直接将其作为神经网络的输入难以训练出有效的模型。与之相对应，最优插值方式得到的结果是规则的每日网格化数据，但小范围区域精度和分辨率偏低。因此，本发明构造时空连续的数据序列的方法是将观测数据和最优插值数据相结合，为神经网络模型训练构建时空分布连续的输入数据序列。
给定训练观测数据
Figure 343710DEST_PATH_IMAGE057
和最优插值数据
Figure 450206DEST_PATH_IMAGE058
，其中T为训练集时间戳长度。在具体应用时，观测数据包含卫星、浮标、船舶等设备获取的海洋环境观测数据，最优插值数据可直接在开源网站中下载。首先，将观测数据的空缺区域填补为最优插值数据，得到空间连续的数据
Figure 957148DEST_PATH_IMAGE059
。计算过程如下所示：
Figure 948238DEST_PATH_IMAGE060
然后，考虑到空间上某一位置的海洋环境元素数值不仅与空间邻域数值有关，还与该位置前后时间戳的对应数值有关，因此，利用上述空间连续数据X构造定长的时间连续的数据序列。对于时间戳t，构造的数据序列为
Figure 460122DEST_PATH_IMAGE061
，其中d是时间窗口，数据序列总长度为2d+1。观测数据和最优插值数据经过多源数据增强模块可得到训练集
Figure 878465DEST_PATH_IMAGE062
，d是一个超参数，将d设置为5，数据序列总长度为11。
数据融合是一个滚动的过程，在t时刻，多源数据增强模块构造数据序列
Figure 341545DEST_PATH_IMAGE063
，将数据序列输入基于注意力机制的多层特征组合神经网络后可得到融合结果
Figure 136326DEST_PATH_IMAGE064
。相同的，在t+1时刻，数据序列
Figure 502716DEST_PATH_IMAGE065
输入基于注意力机制的多层特征组合神经网络后可得到融合结果
Figure 91961DEST_PATH_IMAGE066
。
本发明的任务是给定时间戳t的数据序列
Figure 934015DEST_PATH_IMAGE067
，由神经网络得到数据融合结果
Figure 765442DEST_PATH_IMAGE068
。
二、基于注意力机制的多层特征组合神经网络
结合图1所示的网络结构，基于注意力机制的多层特征组合神经网络主要包括三部分，分别是初始特征提取层、深层特征交互部分和融合重建层。多源数据增强模块输出的数据序列依次输入初始特征提取层、深层特征交互部分和融合重建层。
1. 初始特征提取层
给定时间戳t的海洋环境输入数据序列
Figure 986339DEST_PATH_IMAGE069
，经过初始特征提取层，即一层卷积层，得到初始特征
Figure 746485DEST_PATH_IMAGE070
：
Figure 951201DEST_PATH_IMAGE071
其中，
Figure 586319DEST_PATH_IMAGE072
表示初始特征提取层的卷积运算。
2. 深层特征交互部分
深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出；特别地，第一个多层特征组合模块的输入为初始特征
Figure 661723DEST_PATH_IMAGE073
。
（1）残差单元
每个残差单元包括基础残差单元和位于末端的空间注意力模块，输入特征顺序送入M个残差单元，依次经过每个残差单元内的基础残差单元，经过基础残差单元的特征为：
Figure 717404DEST_PATH_IMAGE074
其中，
Figure 409416DEST_PATH_IMAGE075
是第n个多层特征组合模块中第m-1个残差单元输出的残差特征，
Figure 84111DEST_PATH_IMAGE076
和
Figure 43714DEST_PATH_IMAGE077
分别为基础残差单元内两层卷积函数，
Figure 411242DEST_PATH_IMAGE078
为第二层卷积层输出的特征。
针对网络没有突出关键空间特征作用的问题，本发明在每个残差单元末端引入空间注意力模块。
Figure 59392DEST_PATH_IMAGE079
特征包含三个维度：二维空间（宽和高）信息和一维通道信息。引入空间注意力模块后，该模块可以建模
Figure 272199DEST_PATH_IMAGE029
残差特征在空间上的重要程度，并赋予相应权重，使残差特征突出重要空间信息。
鉴于海洋环境数据的特点和网络结构，引入的空间注意力模块应考虑以下因素。首先，由于海洋动力学、热力学等因素的影响，海洋环境数据往往具有很强的空间相关性。因此，空间注意力模块需要一个很大的感受野来捕捉这种相关性。其次，由于空间注意力模块插入在每个残差单元的末端，而网络由大量残差单元构成，因此，该模块必须足够轻量化。
如图2所示，每个残差单元末端的空间注意力模块依次包括用于减少特征通道数量的卷积层、跨步卷积层、最大池化层、用于扩大感受野的卷积组、用于恢复特征空间尺寸的上采样层、用于恢复通道数量的卷积层，最后由Sigmoid激活函数生成空间注意力权重。下面以举例方式介绍空间注意力模块处理特征：引入的空间注意力模块从一个1×1卷积层开始，该层减少特征的通道数量，缩减率为e。经过该层卷积后，空间注意力模块的参数量将减少为
Figure 351888DEST_PATH_IMAGE080
。之后，特征将依次送入跨步卷积层和最大池化层，其中最大池化层应用更大的步长（步长为3）和更大的池化窗（7×7）。
Figure 359158DEST_PATH_IMAGE081
其中，
Figure 25763DEST_PATH_IMAGE082
是用于降通道的1×1卷积层，
Figure 42260DEST_PATH_IMAGE038
是用于减小特征空间的跨步卷积层和最大池化层。为了进一步扩大感受野，添加了一个卷积组，即3个连续的卷积层。
Figure 336976DEST_PATH_IMAGE083
其中，
Figure 13682DEST_PATH_IMAGE084
指卷积组操作。对应于上述步骤，使用上采样层来恢复特征的空间尺寸，并添加1×1卷积层恢复通道数量。最后空间注意力权重由Sigmoid激活函数生成。
Figure 167583DEST_PATH_IMAGE085
Figure 987772DEST_PATH_IMAGE086
其中，
Figure 12359DEST_PATH_IMAGE087
和
Figure 414563DEST_PATH_IMAGE088
分别是用于恢复空间和通道的操作，应用Sigmoid函数激活后生成注意力权重，通过跳跃连接发送至末端，通过对应元素相乘的方式应用空间注意力模块生成的空间注意力权重
Figure 524602DEST_PATH_IMAGE089
，得到特征
Figure 882902DEST_PATH_IMAGE090
，特征
Figure 293155DEST_PATH_IMAGE091
与该残差单元的输入
Figure 937763DEST_PATH_IMAGE092
通过残差连接进行对应元素相加后得到该残差单元的输出
Figure 299212DEST_PATH_IMAGE093
。
（2）特征拼接层和融合卷积层
多层特征组合模块的输入依次经过M个残差单元后得到M个残差特征，所述特征拼接层用于将所有M个残差特征进行拼接，然后输入融合卷积层，提取综合特征
Figure 461203DEST_PATH_IMAGE094
，
Figure 460383DEST_PATH_IMAGE095
Figure 682417DEST_PATH_IMAGE096
其中，
Figure 265582DEST_PATH_IMAGE097
指特征拼接函数，
Figure 965685DEST_PATH_IMAGE098
指拼接后的残差特征，拼接特征
Figure 819372DEST_PATH_IMAGE099
输入到融合卷积层，提取综合特征
Figure 212307DEST_PATH_IMAGE100
。
（3）通道注意力模块
为了最大化发挥注意力机制的作用，通道注意力机制应该与空间注意力机制相结合，所以本发明在多层特征组合模块的末端引入了通道注意力模块。因为空间注意力模块建模了特征的二维空间上的重要程度，通道注意力模块则将突出更有价值的通道特征。该模块的本质是为不同的通道分配权重，如何自适应生成权重是关键步骤。一方面，权重能够反映特征中每个通道的信息量。另一方面，权重能够反映各通道之间的联系。针对上述问题，本发明通过全局平均池化、卷积运算和上采样层生成了各通道的权重；并通过对应元素相乘的方式应用通道注意力权重，输出通道注意力特征。
结合图3所示，通道注意力模块的输入为综合特征
Figure 548348DEST_PATH_IMAGE101
，该特征包含了C个通道的特征图，每个通道特征图的尺寸为H×W。通过对特征的二维空间统计可以获得每个通道的信息统计量
Figure 911196DEST_PATH_IMAGE102
。s的第c个通道的信息统计量可以由以下公式获得：
Figure 884968DEST_PATH_IMAGE103
其中，
Figure 183226DEST_PATH_IMAGE104
是综合特征
Figure 242449DEST_PATH_IMAGE105
第c个通道特征图中(i，j)位置的值，
Figure 782889DEST_PATH_IMAGE106
指全局平均池化函数。为了从信息统计量s中捕获各通道间的依赖，引入了Sigmoid函数：
Figure 611168DEST_PATH_IMAGE107
其中，ReLU(g)和δ(g)分别指ReLU和Sigmoid激活函数，信息统计量s首先输入通道降维率为r的卷积层，该卷积层权重为W D ，被ReLU激活后，低通道信息统计量再由卷积层恢复通道数，该卷积层权重为W U ，最后由Sigmoid激活后生成通道注意力权重，通过对应元素相乘的方式应用通道注意力权重：
Figure 345906DEST_PATH_IMAGE108
其中，w c 和f c 分别指第c通道的注意力权重和特征图。则该通道注意力模块的输出为
Figure 892425DEST_PATH_IMAGE109
（4）每个多层特征组合模块的末端接受三部分特征进行对应元素相加，分别是初始特征提取层输出的初始特征
Figure 862655DEST_PATH_IMAGE110
、该模块的输入特征
Figure 309554DEST_PATH_IMAGE111
及该模块的通道注意力模块的输出特征
Figure 215193DEST_PATH_IMAGE112
，第n个多层特征组合模块的输出为：
Figure 983429DEST_PATH_IMAGE113
。
3. 融合重建层
融合重建层，用于将深层特征交互部分的输出映射为海洋环境融合数据。
第N个多层特征组合模块的输出
Figure 367137DEST_PATH_IMAGE114
，即深层特征交互部分的输出
Figure 668543DEST_PATH_IMAGE115
可表示为：
Figure 745084DEST_PATH_IMAGE116
特征
Figure 616DEST_PATH_IMAGE117
由融合重建层，即最后一层卷积层映射为海洋环境融合数据，由公式表达为：
Figure 188015DEST_PATH_IMAGE118
其中，
Figure 970026DEST_PATH_IMAGE119
，
Figure 716003DEST_PATH_IMAGE120
和
Figure 724410DEST_PATH_IMAGE121
分别表示时刻t的海洋环境融合数据，融合重建层函数和基于注意力机制的多层特征组合神经网络函数。
实施例2
结合图4，一种基于注意力机制的海洋环境数据融合方法，包括以下步骤：
步骤1、构建时空分布连续的海洋环境输入数据序列：将观测数据和最优插值数据相结合，将观测数据的空缺区域填补为最优插值数据，得到空间连续的数据，并利用该空间连续数据构造定长的时间连续的数据序列，得到多源数据增强数据序列；
步骤2、构建基于注意力机制的多层特征组合神经网络：
如图1所示，该神经网络包括初始特征提取层、深层特征交互部分和融合重建层，所述多源数据增强模块输出的数据序列依次输入初始特征提取层、深层特征交互部分和融合重建层，所述深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出。
步骤21、提取初始特征
步骤1得到的海洋环境输入数据序列经过初始特征提取层，得到初始特征
Figure 449920DEST_PATH_IMAGE122
。
步骤22、提取深层特征
初始特征
Figure 227384DEST_PATH_IMAGE123
送入深层特征交互部分，初始特征
Figure 144262DEST_PATH_IMAGE122
依次经过M个残差单元后得到M个残差特征，所有残差特征经特征拼接层拼接后得到拼接特征，输入融合卷积层，提取综合特征
Figure 108807DEST_PATH_IMAGE124
，综合特征
Figure 903587DEST_PATH_IMAGE125
输入通道注意力模块，通道注意力模块为不同的通道分配权重，输出特征
Figure 535557DEST_PATH_IMAGE011
；每个多层特征组合模块的末端将接受三部分特征进行对应元素相加，分别是初始特征提取层输出的初始特征
Figure 357757DEST_PATH_IMAGE126
、该模块的输入特征
Figure 199811DEST_PATH_IMAGE127
及该模块的通道注意力模块的输出特征
Figure 532704DEST_PATH_IMAGE112
；第N个多层特征组合模块的输出
Figure 753601DEST_PATH_IMAGE114
，即是深层特征交互部分的输出
Figure 779325DEST_PATH_IMAGE128
。
a. 此处需要说明的是，每个残差单元包括基础残差单元和位于末端的空间注意力模块，每个残差单元的运算方式如下：
输入特征依次经过每个残差单元内的基础残差单元，经过基础残差单元的特征为：
Figure 482577DEST_PATH_IMAGE074
其中，
Figure 88002DEST_PATH_IMAGE129
是第n个多层特征组合模块中第m-1个残差单元输出的残差特征，
Figure 428984DEST_PATH_IMAGE130
和
Figure 625610DEST_PATH_IMAGE131
分别为基础残差单元内两层卷积函数，
Figure DEST_PATH_IMAGE132
为第二层卷积层输出的特征，特征
Figure 347317DEST_PATH_IMAGE029
包含三个维度：二维空间信息和一维通道信息；
基础残差单元输出的残差特征
Figure 287591DEST_PATH_IMAGE133
通过跳跃连接发送至末端，通过对应元素相乘的方式应用空间注意力模块生成的空间注意力权重，得到特征
Figure 483080DEST_PATH_IMAGE134
，特征
Figure 319449DEST_PATH_IMAGE135
与该残差单元的输入
Figure 997293DEST_PATH_IMAGE136
通过残差连接进行对应元素相加后得到该残差单元的输出
Figure 475678DEST_PATH_IMAGE093
。
b. 此处需要说明的是，基础残差单元的输出特征
Figure 525674DEST_PATH_IMAGE137
通过降尺度以减少模型的参数量：
Figure 64103DEST_PATH_IMAGE138
其中，
Figure 324183DEST_PATH_IMAGE139
是用于降通道的1×1卷积层，
Figure 839216DEST_PATH_IMAGE140
是用于减小特征空间的跨步卷积层和最大池化层。为了进一步扩大感受野，加入卷积组：
Figure 540455DEST_PATH_IMAGE141
Figure 718627DEST_PATH_IMAGE085
Figure 606948DEST_PATH_IMAGE142
其中，
Figure 925672DEST_PATH_IMAGE143
指3个连续的卷积操作，对应于降尺度，
Figure DEST_PATH_IMAGE144
和
Figure 746998DEST_PATH_IMAGE145
分别是用于恢复空间和通道的操作，应用Sigmoid函数激活后生成注意力权重
Figure DEST_PATH_IMAGE146
，通过跳跃连接将注意力权重
Figure 33754DEST_PATH_IMAGE147
应用于基础残差特征
Figure DEST_PATH_IMAGE148
。
c. 此处还需要说明的是，步骤2中，综合特征
Figure 580010DEST_PATH_IMAGE149
，该特征包含了C个通道的特征图，每个通道特征图的尺寸为H×W，通过对特征的二维空间统计可以获得每个通道的信息统计量
Figure DEST_PATH_IMAGE150
，s的第c个通道的信息统计量可以由以下公式获得：
Figure 875993DEST_PATH_IMAGE151
其中，
Figure DEST_PATH_IMAGE152
是综合特征
Figure 339377DEST_PATH_IMAGE153
第c个通道特征图中(i，j)位置的值，
Figure DEST_PATH_IMAGE154
指全局平均池化函数，为了从信息统计量s中捕获各通道间的依赖，引入了Sigmoid函数：
Figure 62614DEST_PATH_IMAGE155
其中，ReLU(g)和δ(g)分别指ReLU和Sigmoid激活函数，信息统计量s首先输入通道降维率为r的卷积层，该卷积层权重为W D ，被ReLU激活后，低通道信息统计量再由卷积层恢复通道数，该卷积层权重为W U ，最后由Sigmoid激活后生成通道注意力权重，通过对应元素相乘的方式应用通道注意力权重：
Figure DEST_PATH_IMAGE156
其中，w c 和f c 分别指第c通道的注意力权重和特征图，则该通道注意力模块的输出为：
Figure 361746DEST_PATH_IMAGE157
。
每个多层特征组合模块的末端接受三部分特征进行对应元素相加，分别是初始特征提取层输出的初始特征
Figure DEST_PATH_IMAGE158
、该模块的输入特征
Figure 195841DEST_PATH_IMAGE159
及该模块的通道注意力模块的输出特征
Figure DEST_PATH_IMAGE160
，第n个多层特征组合模块的输出为：
Figure 896818DEST_PATH_IMAGE161
第N个多层特征组合模块的输出
Figure DEST_PATH_IMAGE162
，即深层特征交互部分的输出
Figure 790956DEST_PATH_IMAGE163
可表示为：
Figure DEST_PATH_IMAGE164
。
步骤23、输出融合数据
特征
Figure 311805DEST_PATH_IMAGE165
由融合重建层，即最后一层卷积层映射为海洋环境融合数据，由公式表达为：
Figure DEST_PATH_IMAGE166
其中，
Figure 215170DEST_PATH_IMAGE167
，
Figure DEST_PATH_IMAGE168
和
Figure 131174DEST_PATH_IMAGE169
分别表示时刻t的海洋环境融合数据，融合重建层函数和基于注意力机制的多层特征组合神经网络函数。
步骤3、损失计算：选择对异常值不敏感的平均绝对值误差函数作为损失函数。
海洋环境监/观测数据（比如卫星观测的海面高度数据）常常包含噪声（异常值），在损失函数设计时，对异常值是否敏感至关重要。因此，本发明选择对异常值不敏感的平均绝对值误差函数作为损失函数。平均绝对值误差函数计算真实值与预测值之间的平均绝对值之差，以此表示预测值的平均误差。在海洋环境数据融合中，基于注意力机制的多层特征组合神经网络优化的目标是最小化预测值和真实值之间的绝对值，给定一个包含个输入和对应的标签训练集记为
Figure DEST_PATH_IMAGE170
，网络模型所优化的损失函数如下：
Figure 694748DEST_PATH_IMAGE171
其中，
Figure DEST_PATH_IMAGE172
表示基于注意力机制的多层特征组合神经网络的所有可训练参数集合；损失函数采样随机梯度下降算法进行优化。
步骤4、训练网络模型逐渐收敛，保存实验准确率最高的网络模型。
步骤5、海洋环境数据输入步骤4训练好的网络模型中，得到海洋环境融合数据（输出海洋环境数据融合结果
Figure 469937DEST_PATH_IMAGE173
）。
需要说明的是，本发明实施例1与实施例2相通部分内容可相互借鉴，不做重复赘述。
综上所述，本发明在当前基于学习的海洋环境数据融合的方法中，许多方法将最优插值数据作为融合结果的背景场，只将观测数据用于学习映射，这使得模型学习映射困难。对此，构建了多源数据增强模块，该模块通过构建时空连续的数据序列，提供准确、丰富的时空信息。在海洋环境数据融合模型的网络结构设计上，当前的方法主要关注于构造更深或更宽的网络，这导致了深层特征中融合信息减少。本发明设计了多层特征组合模块，通过全局跳跃连接和局部跳跃连接的方式将不同层的特征图组合起来，扩展了数据融合特征的信息，提高了融合能力。此外，在多层特征组合模块中添加注意力机制，自适应地放缩空间和通道特征，最大化发挥关键特征的作用。本发明通过以上三点创新设计，显著提升了海洋环境数据融合的性能。
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (8)

1.一种基于注意力机制的海洋环境数据融合系统，其特征在于，包括多源数据增强模块和基于注意力机制的多层特征组合神经网络，所述多源数据增强模块，用于构造时空连续的数据序列，作为基于注意力机制的多层特征组合神经网络的输入；所述基于注意力机制的多层特征组合神经网络，包括初始特征提取层、深层特征交互部分和融合重建层，所述多源数据增强模块输出的数据序列依次输入初始特征提取层、深层特征交互部分和融合重建层，所述深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出；
其中，每个残差单元包括基础残差单元和空间注意力模块，基础残差单元输出的残差特征
Figure 621639DEST_PATH_IMAGE001
通过跳跃连接发送至末端，通过对应元素相乘的方式应用空间注意力模块生成的空间注意力权重，得到特征
Figure 601097DEST_PATH_IMAGE002
，特征
Figure 941686DEST_PATH_IMAGE003
与该残差单元的输入
Figure 133633DEST_PATH_IMAGE004
通过残差连接进行对应元素相加后得到该残差单元的输出
Figure 10322DEST_PATH_IMAGE005
，
多层特征组合模块的输入依次经过M个残差单元后得到M个残差特征，所述特征拼接层用于将所有M个残差特征进行拼接，然后输入融合卷积层，提取综合特征
Figure 895101DEST_PATH_IMAGE006
，
所述通道注意力模块的输入为综合特征
Figure 958872DEST_PATH_IMAGE007
，通道注意力模块生成各通道的权重，并通过对应元素相乘的方式应用通道注意力权重，输出通道注意力特征
Figure 721554DEST_PATH_IMAGE008
；
每个多层特征组合模块的末端接受三部分特征进行对应元素相加，分别是初始特征提取层输出的初始特征
Figure 452750DEST_PATH_IMAGE009
、该模块的输入特征
Figure 242851DEST_PATH_IMAGE010
及该模块的通道注意力模块的输出特征
Figure 59498DEST_PATH_IMAGE011
；
所述融合重建层，用于将深层特征交互部分的输出映射为海洋环境融合数据。
2.根据权利要求1所述的基于注意力机制的海洋环境数据融合系统，其特征在于，构造时空连续的数据序列的方法是：将观测数据和最优插值数据相结合，将观测数据的空缺区域填补为最优插值数据，得到空间连续的网格化数据，并利用该空间连续的网格化数据构造定长的时间连续的数据序列，得到多源数据增强数据序列。
3.根据权利要求1所述的基于注意力机制的海洋环境数据融合系统，其特征在于，每个残差单元末端的空间注意力模块依次包括用于减少特征通道数量的卷积层、跨步卷积层、最大池化层、用于扩大感受野的卷积组、用于恢复特征空间尺寸的上采样层、用于恢复通道数量的卷积层，最后由Sigmoid激活函数生成空间注意力权重。
4.根据权利要求1所述的基于注意力机制的海洋环境数据融合系统，其特征在于，所述通道注意力模块通过全局平均池化、卷积运算和上采样层生成各通道的权重。
5.一种基于注意力机制的海洋环境数据融合方法，其特征在于，包括以下步骤：
步骤1、构建时空分布连续的海洋环境输入数据序列：将观测数据和最优插值数据相结合，将观测数据的空缺区域填补为最优插值数据，得到空间连续的网格化数据，并利用该空间连续的网格化数据构造定长的时间连续的数据序列，得到多源数据增强数据序列；
步骤2、构建基于注意力机制的多层特征组合神经网络：该神经网络包括初始特征提取层、深层特征交互部分和融合重建层，深层特征交互部分包括N组多层特征组合模块，每个多层特征组合模块包括M个残差单元、特征拼接层、融合卷积层和通道注意力模块，多层特征组合模块通过全局跳跃连接和局部跳跃连接来组合不同层特征中的信息，每个多层特征组合模块的输入为前一个模块的输出；
步骤1得到的海洋环境输入数据序列经过初始特征提取层，得到初始特征
Figure 91782DEST_PATH_IMAGE012
；初始特征
Figure 677484DEST_PATH_IMAGE013
送入深层特征交互部分，初始特征
Figure 169646DEST_PATH_IMAGE013
依次经过M个残差单元后得到M个残差特征，所有残差特征经特征拼接层拼接后得到拼接特征，输入融合卷积层，提取综合特征
Figure 473588DEST_PATH_IMAGE014
，综合特征
Figure 46914DEST_PATH_IMAGE015
输入通道注意力模块，通道注意力模块为不同的通道分配权重，输出特征
Figure 752702DEST_PATH_IMAGE016
；每个多层特征组合模块的末端将接受三部分特征进行对应元素相加，分别为初始特征
Figure 150185DEST_PATH_IMAGE017
、该模块的输入特征
Figure 675844DEST_PATH_IMAGE018
及该模块的通道注意力模块的输出特征
Figure 816976DEST_PATH_IMAGE019
；第N个多层特征组合模块的输出
Figure 875805DEST_PATH_IMAGE020
，即是深层特征交互部分的输出
Figure 975348DEST_PATH_IMAGE021
；
特征
Figure 988304DEST_PATH_IMAGE022
由融合重建层，即最后一层卷积层映射为海洋环境融合数据；
步骤3、损失计算：选择对异常值不敏感的平均绝对值误差函数作为损失函数；
步骤4、训练网络模型逐渐收敛，保存实验准确率最高的网络模型；
步骤5、海洋环境数据输入步骤4训练好的网络模型中，得到海洋环境融合数据。
6.根据权利要求5所述的基于注意力机制的海洋环境数据融合方法，其特征在于，深层特征交互部分的每个残差单元包括基础残差单元和位于末端的空间注意力模块，步骤2中，每个残差单元的运算方式如下：
输入特征依次经过每个残差单元内的基础残差单元，经过基础残差单元的特征为：
Figure 434591DEST_PATH_IMAGE023
其中，
Figure 849392DEST_PATH_IMAGE024
是第n个多层特征组合模块中第m-1个残差单元输出的残差特征，
Figure 854257DEST_PATH_IMAGE025
和
Figure 88929DEST_PATH_IMAGE026
分别为基础残差单元内两层卷积函数，
Figure 306284DEST_PATH_IMAGE027
为第二层卷积层输出的特征，特征
Figure 339705DEST_PATH_IMAGE027
包含三个维度：二维空间信息和一维通道信息；
基础残差单元输出的残差特征
Figure 515472DEST_PATH_IMAGE028
通过跳跃连接发送至末端，通过对应元素相乘的方式应用空间注意力模块生成的空间注意力权重，得到特征
Figure 503019DEST_PATH_IMAGE029
，特征
Figure 524065DEST_PATH_IMAGE029
与该残差单元的输入
Figure 149344DEST_PATH_IMAGE030
通过残差连接进行对应元素相加后得到该残差单元的输出
Figure 496011DEST_PATH_IMAGE031
。
7.根据权利要求6所述的基于注意力机制的海洋环境数据融合方法，其特征在于，步骤2中，基础残差单元的输出特征
Figure 705276DEST_PATH_IMAGE032
通过降尺度以减少模型的参数量：
Figure 795592DEST_PATH_IMAGE033
其中，
Figure 773912DEST_PATH_IMAGE034
是用于降通道的1×1卷积层，
Figure 524437DEST_PATH_IMAGE035
是用于减小特征空间的跨步卷积层和最大池化层，为了进一步扩大感受野，加入卷积组：
Figure 486577DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
Figure 911742DEST_PATH_IMAGE038
其中，
Figure 777192DEST_PATH_IMAGE039
指3个连续的卷积操作，对应于降尺度，
Figure 934504DEST_PATH_IMAGE040
和
Figure 383940DEST_PATH_IMAGE041
分别是用于恢复空间和通道的操作，应用Sigmoid函数激活后生成注意力权重
Figure 550479DEST_PATH_IMAGE042
，通过跳跃连接将注意力权重
Figure 1926DEST_PATH_IMAGE043
应用于基础残差特征
Figure 861298DEST_PATH_IMAGE044
。
8.根据权利要求5所述的基于注意力机制的海洋环境数据融合方法，其特征在于，步骤2中，综合特征
Figure 532451DEST_PATH_IMAGE046
，该特征包含了C个通道的特征图，每个通道特征图的尺寸为H×W，通过对特征的二维空间统计可以获得每个通道的信息统计量
Figure 768260DEST_PATH_IMAGE047
，s的第c个通道的信息统计量可以由以下公式获得：
Figure 575679DEST_PATH_IMAGE049
其中，
Figure 841838DEST_PATH_IMAGE050
是综合特征
Figure 286DEST_PATH_IMAGE051
第c个通道特征图中(i，j)位置的值，
Figure 774207DEST_PATH_IMAGE052
指全局平均池化函数，为了从信息统计量s中捕获各通道间的依赖，引入了Sigmoid函数：
Figure 436133DEST_PATH_IMAGE054
其中，ReLU(g)和δ(g)分别指ReLU和Sigmoid激活函数，信息统计量s首先输入通道降维率为r的卷积层，该卷积层权重为W D ，被ReLU激活后，低通道信息统计量再由卷积层恢复通道数，该卷积层权重为W U ，最后由Sigmoid激活后生成通道注意力权重，通过对应元素相乘的方式应用通道注意力权重：
Figure DEST_PATH_IMAGE055
其中，w c 和f c 分别指第c通道的注意力权重和特征图，则该通道注意力模块的输出为：
Figure 34097DEST_PATH_IMAGE056
。
CN202210236402.6A 2022-03-11 2022-03-11 一种基于注意力机制的海洋环境数据融合方法及系统 Active CN114332592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210236402.6A CN114332592B (zh) 2022-03-11 2022-03-11 一种基于注意力机制的海洋环境数据融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210236402.6A CN114332592B (zh) 2022-03-11 2022-03-11 一种基于注意力机制的海洋环境数据融合方法及系统

Publications (2)

Publication Number Publication Date
CN114332592A true CN114332592A (zh) 2022-04-12
CN114332592B CN114332592B (zh) 2022-06-21

Family

ID=81033374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210236402.6A Active CN114332592B (zh) 2022-03-11 2022-03-11 一种基于注意力机制的海洋环境数据融合方法及系统

Country Status (1)

Country Link
CN (1) CN114332592B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913400A (zh) * 2022-05-25 2022-08-16 天津大学 基于知识蒸馏的海洋大数据协同表示的预警方法及装置
CN116106880A (zh) * 2023-04-13 2023-05-12 北京理工大学 基于注意力机制和多尺度融合的水下声源测距方法和装置
CN116881704A (zh) * 2023-09-06 2023-10-13 北京新亚盛创电气技术有限公司 电网运行状态的预警方法及系统
CN118521009A (zh) * 2024-07-22 2024-08-20 中国海洋大学 基于内容引导注意力的enso预测方法和模型

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830330A (zh) * 2018-06-22 2018-11-16 西安电子科技大学 基于自适应特征融合残差网的多光谱图像分类方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111951165A (zh) * 2020-08-18 2020-11-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN112785480A (zh) * 2021-03-15 2021-05-11 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN112990116A (zh) * 2021-04-21 2021-06-18 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113435253A (zh) * 2021-05-31 2021-09-24 西安电子科技大学 一种多源影像联合城区地表覆盖分类方法
CN113516133A (zh) * 2021-04-01 2021-10-19 中南大学 一种多模态图像分类方法及系统
CN113706406A (zh) * 2021-08-11 2021-11-26 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法
WO2021248687A1 (zh) * 2020-06-10 2021-12-16 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
CN113920043A (zh) * 2021-09-30 2022-01-11 海南大学 基于残差通道注意力机制的双流遥感图像融合方法
CN113947609A (zh) * 2021-10-12 2022-01-18 中南林业科技大学 深度学习网络结构及多标签主动脉夹层ct图像分割方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830330A (zh) * 2018-06-22 2018-11-16 西安电子科技大学 基于自适应特征融合残差网的多光谱图像分类方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
WO2021248687A1 (zh) * 2020-06-10 2021-12-16 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
CN111951165A (zh) * 2020-08-18 2020-11-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法
CN112785480A (zh) * 2021-03-15 2021-05-11 河北工业大学 基于频域变换和残差反馈模块的图像拼接篡改检测方法
CN113516133A (zh) * 2021-04-01 2021-10-19 中南大学 一种多模态图像分类方法及系统
CN112990116A (zh) * 2021-04-21 2021-06-18 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113362223A (zh) * 2021-05-25 2021-09-07 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法
CN113435253A (zh) * 2021-05-31 2021-09-24 西安电子科技大学 一种多源影像联合城区地表覆盖分类方法
CN113706406A (zh) * 2021-08-11 2021-11-26 武汉大学 基于特征空间多分类对抗机制的红外可见光图像融合方法
CN113920043A (zh) * 2021-09-30 2022-01-11 海南大学 基于残差通道注意力机制的双流遥感图像融合方法
CN113947609A (zh) * 2021-10-12 2022-01-18 中南林业科技大学 深度学习网络结构及多标签主动脉夹层ct图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIQU 等，: "Strip pooling channel spatial attention network for the segmentation of cloud and cloud shadow", 《COMPUTERS & GEOSCIENCES》 *
高明柯 等，: "基于注意力机制和特征融合的手势识别方法", 《计算机应用与软件》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913400A (zh) * 2022-05-25 2022-08-16 天津大学 基于知识蒸馏的海洋大数据协同表示的预警方法及装置
CN116106880A (zh) * 2023-04-13 2023-05-12 北京理工大学 基于注意力机制和多尺度融合的水下声源测距方法和装置
CN116881704A (zh) * 2023-09-06 2023-10-13 北京新亚盛创电气技术有限公司 电网运行状态的预警方法及系统
CN116881704B (zh) * 2023-09-06 2023-11-14 北京新亚盛创电气技术有限公司 电网运行状态的预警方法及系统
CN118521009A (zh) * 2024-07-22 2024-08-20 中国海洋大学 基于内容引导注意力的enso预测方法和模型

Also Published As

Publication number Publication date
CN114332592B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN114332592B (zh) 一种基于注意力机制的海洋环境数据融合方法及系统
CN112347859B (zh) 一种光学遥感图像显著性目标检测方法
CN111582483B (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
Castro et al. Stconvs2s: Spatiotemporal convolutional sequence to sequence network for weather forecasting
US20230359865A1 (en) Modeling Dependencies with Global Self-Attention Neural Networks
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN113469094A (zh) 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN111401436B (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
CN111507521A (zh) 台区电力负荷预测方法及预测装置
JP2023533907A (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
CN112991350A (zh) 一种基于模态差异缩减的rgb-t图像语义分割方法
CN113627093B (zh) 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113792641A (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
CN111931779A (zh) 一种基于条件可预测参数的图像信息提取与生成方法
CN113642716B (zh) 深度变分自编码器模型训练方法、装置、设备和存储介质
CN114021696A (zh) 用于高保真图像变换的条件轴向变换层
CN116612288B (zh) 一种多尺度轻量级实时语义分割方法、系统
CN116740527A (zh) U型网络与自注意力机制结合的遥感图像变化检测方法
EP4409523A1 (en) Neural semantic fields for generalizable semantic segmentation of 3d scenes
CN113516133A (zh) 一种多模态图像分类方法及系统
CN114494699A (zh) 基于语义传播与前背景感知的图像语义分割方法及系统
CN112115744A (zh) 点云数据的处理方法及装置、计算机存储介质、电子设备
CN117788996A (zh) 一种融合大核注意力卷积的轻量化遥感图像目标检测方法
Barthakur et al. Deep learning based semantic segmentation applied to satellite image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant