CN116305967A - 基于卷积神经网络和多模态特征融合的海面风速反演方法 - Google Patents
基于卷积神经网络和多模态特征融合的海面风速反演方法 Download PDFInfo
- Publication number
- CN116305967A CN116305967A CN202310291639.9A CN202310291639A CN116305967A CN 116305967 A CN116305967 A CN 116305967A CN 202310291639 A CN202310291639 A CN 202310291639A CN 116305967 A CN116305967 A CN 116305967A
- Authority
- CN
- China
- Prior art keywords
- wind speed
- sea surface
- layer
- surface wind
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002759 z-score normalization Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 108091006146 Channels Proteins 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 108091092878 Microsatellite Proteins 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005290 field theory Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于卷积神经网络和多模态特征融合的海面风速反演方法，属于海面风速反演技术领域，包括以下步骤：步骤1：将CYGNSS卫星数据和ECMWF风速数据进行时空匹配构成完整的数据集，将数据集划分成训练集、验证集和测试集；步骤2：构建海面风速反演模型；步骤3：利用训练集训练海面风速反演模型，利用验证集调整模型的超参数；步骤4：利用测试集评价海面风速反演模型的性能。本发明首先提高了海面风速反演模型的效率，将模型的计算资源更多的投入到对海面风速反演更重要的特征中；其次增强了图像特征与辅助特征的交叉交互，提升了海面风速反演模型的精度。
Description
技术领域
本发明属于海面风速反演技术领域，特别涉及一种基于卷积神经网络和多模态特征融合的海面风速反演方法。
背景技术
准确探测海面风场不仅能为研究极端气候提供依据，能为人类的海上安全作业提供可行性预测,在海浪预报、航海安全、以及研究海洋遥感，预测海洋风暴灾难等有着重要的意义。
现有的采用深度学习和特征融合方法进行星载GNSS-R海面风速反演时，[1]GuoW,Du H,Guo C,et al.Information fusion for GNSS-R wind speed retrieval usingstatistically modified convolutional neural network[J].Remote Sensing ofEnvironment,2022,272:112934和[2]Asgarimehr M,Arnold C,Weigel T,etal.GNSSreflectometry global ocean wind speed using deep learning:Development andassessment of CyGNSSnet[J].Remote Sensing of Environment,2022,269:112801，主要包括两个步骤：运用卷积神经网络从DDM中提取特征值；将提取的DDM特征与其他辅助特征如信号镜面反射点的经纬度通过拼接实现特征融合，然后基于深度学习原理构建风速反演模型。
但现有方法依然存在一定问题，具体如下：由于不同风速所对应的DDM图像在视觉上相似度较高，且图像的区别主要集中在反射信号镜面点附近，这就意味着经过卷积神经网络所提取的DDM特征与风速的相关性不尽相同。如何让模型重点关注到与风速相关的特征从而进一步提高风速反演精度，是现有方法中尚未考虑到的问题。不仅如此，现有方法只是单纯的将DDM特征与其他辅助特征进行拼接，这种融合方式无法让两者进行充分的交互，因此如何充分融合二者特征来提高GNSS-R海面风速反演的精度变得尤为重要。
发明内容
本发明针对现有技术中存在的对DDM中对风速敏感区域的特征提取不充分、对DDM特征和辅助特征融合不充分的技术问题，提供一种基于卷积神经网络和多模态特征融合的海面风速反演方法，采用目前遥感领域中新颖的全球导航卫星系统反射信号卫星数据，构建能够在全球范围内反演海面风速的高精度模型，本方法首先提高了风速反演模型的效率，将模型的计算资源更多的投入到对风速反演更重要的特征中；其次增强了图像特征与辅助特征的交叉交互，提升了风速反演模型的精度。
本发明采用的技术方案是：基于卷积神经网络和多模态特征融合的海面风速反演方法，包括以下步骤：
步骤1：CYGNSS卫星数据和ECMWF风速数据进行时空匹配构成完整的数据集，将数据集划分成训练集、验证集和测试集；
步骤2：构建海面风速反演模型；
步骤3：利用训练集训练海面风速反演模型，利用验证集调整模型的超参数，
步骤4：利用测试集评价海面风速反演模型的性能。
进一步的，CYGNSS卫星数据包括DDM、BRCS和辅助特征，辅助特征包括Inc_Angle、Az_Body、Sp_Lat、Sp_Lon、NBRCS、LES、Noise Floor、Instrument Gain、Scatter Area、SNR和DDMA。
进一步的，辅助特征采用Z-Score标准化方法进行标准化处理。
进一步的，所述海面风速反演模型包括卷积神经网络和多模态特征融合网络，卷积神经网络用于从DDM、BRCS中提取与风速相关的图像特征，多模态特征融合网络用于将从DDM、BRCS中提取出的图像特征与辅助特征融合，输出预测风速。
进一步的，所述卷积神经网络包括依次连接的7*7的卷积层、最大池化层、1*1的卷积层、3*3的卷积层、最大池化层、两个Inception-A模块、最大池化层、两个Inception-B模块、两个Inception-C模块、ECA模块、AdaptiveAvgPool层和Flatten函数，对图片特征展平。
进一步的，图像特征和辅助特征输入所述多模态特征融合网络；图像特征通过全连接层FC1降维得到特征向量X′，辅助特征通过多层感知机升维得到特征向量Y′，特征向量X′和特征向量Y′通过动态多层感知机进行交叉融合得到特征向量Z；特征向量Z通过多层感知机对特征进行非线性表达、全连接层FC2升维、LN层归一化后，与图像特征通过跳跃相加得到特征Z′；特征Z′依次通过全连接层FC3、BN层、ReLU层、全连接层FC4、BN层、ReLU层和全连接层FC5，输出预测风速，多层感知机是由若干全连接层、LN层和ReLU层构成的。
进一步的，特征向量X′和特征向量Y′输入动态多层感知机，将特征向量Y′从一维特征重构为一个二维矩阵W，将特征向量X′和二维矩阵W通过矩阵相乘得到特征向量Z。
进一步的，步骤3中，模型的优化器选择Adam，权重衰减的系数设置为0.001；损失函数采用均方误差函数；批处理大小设置为256，学习率设置为0.00001，迭代次数设置为100。
进一步的，采用提前停止策略，在每轮迭代后计算验证集的损失值，当验证集的损失值连续6轮迭代均不下降时，则提前自动停止模型的训练，保存最优的网络模型参数。
进一步的，步骤3中，训练模型时，在海面风速反演模型的ReLU层后添加Dropout层。
与现有技术相比，本发明所具有的有益效果是：本发明构建了卷积神经网络CyIECANet，在CyIECANet中采用了Inception-A模型、Inception-B模型和Inception-C模型，提高模型的特征表达能力，同时引入注意力机制，让模型重点关注到与风速相关的特征图，从DDM、BRCS图像中充分提取风速敏感区域的特征，从而提高风速反演精度。本发明利用动态多层感知机对DDM、BRCS图像特征和辅助特征进行充分融合，提升了风速反演模型的精度。经性能评估，本发明的RMSE和相关系数分别达到1.3714m/s和0.8645m/s，证明了本发明有效提升了风速反演模型的精度。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例的海面风速反演模型的结构示意图。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明作详细说明。
本发明的实施例提供了一种基于卷积神经网络和多模态特征融合的海面风速反演方法，如图1所示，其包括以下步骤：
步骤1：构建数据集。
本实施例采用了从2019年到2021年的星载GNSS-R卫星，是美国CYGNSS微型卫星系统的v3.1版本L1级别数据，该微型卫星系统可以获取并分析多颗导航卫星的直射信号和反射信号，它由8颗微型卫星构成，是目前最成熟且性能最好的星载GNSS-R卫星系统，相关数据可以在NASA官方网站内下载。
将CYGNSS卫星数据中的部分变量及参数作为辅助特征，来反演海面目标点的海面风速，所采用的辅助特征已被该领域理论及实验验证与目标点的海面风速相关性较强，各辅助特征的物理含义如表1所示。
表1辅助特征及其物理含义表
| 特征名称 | 物理含义 | 单位 |
| Inc_Angle | 反射信号在目标点的入射角 | 度 |
| Az_Body | 反射信号在目标点的方位角 | 度 |
| Sp_Lat | 镜面反射点纬度 | 度 |
| Sp_Lon | 镜面反射点经度 | 度 |
| NBRCS | 归一化双基雷达截面均值 | 无单位 |
| LES | 反射信号功率峰值的前沿斜率 | 无单位 |
| Noise Floor | 反射信号底噪 | 无单位 |
| Instrument Gain | 仪器增益 | 无单位 |
| Scatter Area | 反射信号的在目标点的反射区域大小 | 平方米 |
| SNR | 反射信号信噪比 | 分贝 |
| DDMA | 反射信号在目标点的模拟总功率平均值 | 无单位 |
其中，NBRCS、LES、SNR和DDMA是该方向常用于反演海面风速的变量，它们与海面粗糙度关系紧密，所以它们对海面风速敏感性很强。Noise Floor、Inc_Angle、Az_Body、Instrument Gain、Scatter Area、Sp_Lat、Sp_Lon在该方向中一般被称为辅助变量，它们可以描述出反射信号的状态和质量，所以它们也在海面风速反演中起到了较大的作用。
由于辅助特征具有不同的量纲和单位，若直接使用原始数据进行模型的训练往往会影响神经网络的收敛速度和预测结果的精度，因此，采用Z-Score标准化方法，基于原始数据的均值μ和标准差σ对数据进行标准化处理，使处理后的数据均值为0、标准差为1，符合标准的正态分布，转换函数如下：
其中，x代表输入数据，y代表经过Z-Score标准化后的数据。
本实施例使用的风速数据是欧洲中期天气预报中心(European Centre forMedium-Range Weather Foresting，ECMWF)的模式风场数据作为风速的真实数据，相关数据可在ECMWF官网内下载。
本实施例将CYGNSS卫星数据和ECMWF风速数据进行时空匹配构成完整的数据集，数据集共计约500万样本。将数据集按照3：1：1比例进行划分成训练集、验证集和测试集，最终得到训练集、验证集和测试集的数量分别为3000012、1000003、1000007。CYGNSS卫星数据包括DDM、BRCS图像和辅助特征。
步骤2：构建海面风速反演模型(CyIECANet_DMLP)。
海面风速反演模型CyIECANet_DMLP包括卷积神经网络CyIECANet和多模态特征融合网络Dynamic MLP两部分(本文简称其为DMLP)，如图2所示，卷积神经网络CyIECANet用于从DDM、BRCS中提取与风速有关的特征，多模态特征融合网络DMLP用于将从DDM、BRCS中提取出的图像特征与辅助特征融合，输出预测风速。
卷积神经网络CyIECANet是基于GoogLeNet和注意力机制改进的卷积神经网络。DDM、BRCS输入卷积神经网络CyIECANet，输出图像特征X。所述卷积神经网络CyIECANet包括依次连接的7*7的卷积层、最大池化层、1*1的卷积层、3*3的卷积层、最大池化层、两个Inception-A模块、最大池化层、两个Inception-B模块、两个Inception-C模块、ECA模块、AdaptiveAvgPool层和Flatten函数对图片特征展平。图2中flatten是指一个函数，将张量拉成一维的向量：x＝torch.flatten(x,1)。
由于GoogLeNet是针对ImageNet这类图像尺寸为224x224像素的大规模数据集设计的，为了提高模型对尺寸为11*17像素的DDM图像的特征表达能力，卷积神经网络采用Inception V4网络模型结构中的Inception-A、Inception-B和Inception-C替换GoogLeNet中的Inception模块。相较于Inception，Inception-A、Inception-B、Inception-C采用平均池化下采样层取代了Inception中的最大池化下采样层。Inception-A中运用两个串联的3*3卷积层代替Inception中5*5的卷积层，在降低网络计算量的同时，增加了网络深度，提高了网络的非线性表达能力。Inception-B、Inception-C则运用非对称卷积的思想，将n*n的卷积核替换成两个1*n和n*1的卷积核，这样做的优势主要有两点，首先，降低了参数量，节省了计算资源并缓解了深度神经网络模型的过拟合问题；其次，通过增加一层卷积层来提高模型的特征表达能力。在本模型中，非对称卷积核均采用1*3和3*1的卷积核。
由于不同风速所对应的DDM图像的区别主要集中在“闪烁区”，这就意味着经过卷积层和池化层所提取的DDM图像特征与风速的相关性不尽相同。本实施例在卷积神经网络中引入注意力机制来解决这一问题，将最后一个Inception-C模块输出的特征图，输入通道注意力模块ECA(Efficient Channel Attention)中，得到尺寸大小不变的特征图。其中，ECA模块是现有的一种使用无需降维的局部通道交互策略的有效注意力模块。
图像特征X和辅助特征Y输入所述多模态特征融合网络；图像特征X通过全连接层FC1降维得到特征向量X′，辅助特征Y通过多层感知机升维得到特征向量Y′，特征向量X′和特征向量Y′通过动态多层感知机进行交叉融合得到特征向量Z；特征向量Z通过多层感知机对特征进行非线性表达、全连接层FC2升维、LN层归一化后，与图像特征通过跳跃相加得到特征Z′；特征Z′依次通过全连接层FC3、BN层、ReLU层、全连接层FC4、BN层、ReLU层和全连接层FC5，输出预测风速，多层感知机是由若干全连接层、LN层和ReLU层构成的。
动态多层感知机是利用多层感知机对特征进行非线性表达，核心是动态投影的生成，具体过程如下：特征向量X′和特征向量Y′作为输入，将通过多层感知机的特征向量Y′从一维特征重构(Reshape)为一个二维矩阵W，再将通过多层感知机的特征向量X′和二维矩阵W通过矩阵相乘得到经过动态投影后的特征向量Z。图2中，R指Reshape。
步骤3：利用训练集训练海面风速反演模型，利用验证集调整模型的超参数。
海面风速反演模型基于PyTorch框架搭建，模型的实验环境如表2所示。
表2实验环境配置表
在模型训练过程中，将训练集的DDM、BRCS图像和辅助特征输入到海面风速反演模型中，前向传播，输出预测的风速值；然后与ECMWF的真实风速数据进行对比，计算出损失值，再进行反向传播，更新网络参数。模型的优化器选择Adam，权重衰减的系数设置为0.001；损失函数采用均方误差函数；批处理大小设置为256，学习率设置为0.00001，迭代次数设置为100。采用提前停止策略，在每轮迭代后计算验证集的损失值，当验证集的损失值连续6轮迭代均不下降时，则提前自动停止模型的训练，保存最优的网络模型参数。
训练模型时，在海面风速反演模型的ReLU层后添加Dropout层。Dropout层避免模型过拟合。
步骤4：利用测试集评价海面风速反演模型的性能。
为了评估海面风速反演模型的性能，本实施例选择2种评价指标，分别是：均方根误差(Root Mean Square Error，RMSE)和相关系数(Correlation Coefficient)。RMSE能够反映预测值和真实值之间的偏差，结果越小，表明模型反演的风速大小越接近真实值，公式如下所示：
其中，n为总数据样本数，
为经过模型拟合得到的预测值，yi为风速真实值。
相关系数是指反映变量之间相关关系密切程度的统计指标，能够衡量两个变量之间的相关性，其定义为两个变量之间的协方差和标准差的商。相关系数能够反映真实值与预测值之间的线性关系，结果越接近1，表明模型反演的风速大小越接近真实值，公式如下所示：
其中，n为总数据样本数，xi为风速预测值，yi为风速真实值，
为{xi}的平均值，/>
为的{yi}平均值。
运用测试集对海面风速反演模型CyIECANet_DMLP进行评估，最终的RMSE和相关系数分别达到1.3714m/s和0.8645m/s。通过微调现有模型来适配现有的输入数据维度，并在同一数据集下进行对比实验，结果如表3所示，证明了本发明有效提升了风速反演模型的精度。
表3本方法与现有的GNSS-R海面风速反演算法对比实验结果表
| 模型 | RMSE | 相关系数 |
| CyIECANet_DMLP | 1.3714 | 0.8645 |
| CNN | 1.4517 | 0.847 |
| CyGNSSnet | 1.4658 | 0.8459 |
以上通过实施例对本发明进行了详细说明，但所述内容仅为本发明的示例性实施例，不能被认为用于限定本发明的实施范围。本发明的保护范围由权利要求书限定。凡利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，在本发明的实质和保护范围内，设计出类似的技术方案而达到上述技术效果的，或者对申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖保护范围之内。
Claims (10)
1.基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，包括以下步骤：
步骤1：将CYGNSS卫星数据和ECMWF风速数据进行时空匹配构成完整的数据集，将数据集划分成训练集、验证集和测试集；
步骤2：构建海面风速反演模型；
步骤3：利用训练集训练海面风速反演模型，利用验证集调整模型的超参数，
步骤4：利用测试集评价海面风速反演模型的性能。
2.如权利要求1所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，CYGNSS卫星数据包括DDM、BRCS和辅助特征，辅助特征包括Inc_Angle、Az_Body、Sp_Lat、Sp_Lon、NBRCS、LES、Noise Floor、Instrument Gain、Scatter Area、SNR和DDMA。
3.如权利要求2所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，辅助特征采用Z-Score标准化方法进行标准化处理。
4.如权利要求1所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，所述海面风速反演模型包括卷积神经网络和多模态特征融合网络，卷积神经网络用于从DDM、BRCS中提取与海面风速相关的图像特征，多模态特征融合网络用于将从DDM、BRCS中提取出的图像特征与辅助特征融合，输出预测风速。
5.如权利要求4所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，所述卷积神经网络包括依次连接的7*7的卷积层、最大池化层、1*1的卷积层、3*3的卷积层、最大池化层、两个Inception-A模块、最大池化层、两个Inception-B模块、两个Inception-C模块、ECA模块、AdaptiveAvgPool层和Flatten函数，将图片特征展平。
6.如权利要求4所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，图像特征和辅助特征输入所述多模态特征融合网络；图像特征通过全连接层FC1降维得到特征向量X′，辅助特征通过多层感知机升维得到特征向量Y′，特征向量X′和特征向量Y′通过动态多层感知机进行交叉融合得到特征向量Z；特征向量Z通过多层感知机对特征进行非线性表达、全连接层FC2升维、LN层归一化后，与图像特征通过跳跃相加得到特征Z′；特征Z′依次通过全连接层FC3、BN层、ReLU层、全连接层FC4、BN层、ReLU层和全连接层FC5，输出预测风速，多层感知机是由若干全连接层、LN层和ReLU层构成的。
7.如权利要求6所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，特征向量X′和特征向量Y′输入动态多层感知机，将特征向量Y′从一维特征重构为一个二维矩阵W，将特征向量X′和二维矩阵W通过矩阵相乘得到特征向量Z。
8.如权利要求1所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，步骤3中，模型的优化器选择Adam，权重衰减的系数设置为0.001；损失函数采用均方误差函数；批处理大小设置为256，学习率设置为0.00001，迭代次数设置为100。
9.如权利要求8所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，采用提前停止策略，在每轮迭代后计算验证集的损失值，当验证集的损失值连续6轮迭代均不下降时，则提前自动停止模型的训练，保存最优的网络模型参数。
10.如权利要求1所述的基于卷积神经网络和多模态特征融合的海面风速反演方法，其特征在于，步骤3中，训练模型时，在海面风速反演模型的ReLU层后添加Dropout层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291639.9A CN116305967A (zh) | 2023-03-23 | 2023-03-23 | 基于卷积神经网络和多模态特征融合的海面风速反演方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291639.9A CN116305967A (zh) | 2023-03-23 | 2023-03-23 | 基于卷积神经网络和多模态特征融合的海面风速反演方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116305967A true CN116305967A (zh) | 2023-06-23 |
Family
ID=86818441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310291639.9A Pending CN116305967A (zh) | 2023-03-23 | 2023-03-23 | 基于卷积神经网络和多模态特征融合的海面风速反演方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116305967A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116910457A (zh) * | 2023-09-13 | 2023-10-20 | 北京师范大学 | 一种基于区域的污染物反演方法和装置 |
| CN117612023A (zh) * | 2023-11-23 | 2024-02-27 | 国网江苏省电力有限公司扬州供电分公司 | 融合注意力机制和卷积神经网络的遥感图像屋顶识别方法 |
| CN117872424A (zh) * | 2024-03-11 | 2024-04-12 | 中国石油大学(华东) | 一种gnss-r海面ddm数据生成方法和装置 |
| CN117969881A (zh) * | 2024-03-29 | 2024-05-03 | 中国石油大学(华东) | 基于遥感数据反演台风海况海面风速的方法、装置及介质 |
-
2023
- 2023-03-23 CN CN202310291639.9A patent/CN116305967A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116910457A (zh) * | 2023-09-13 | 2023-10-20 | 北京师范大学 | 一种基于区域的污染物反演方法和装置 |
| CN116910457B (zh) * | 2023-09-13 | 2023-12-08 | 北京师范大学 | 一种基于区域的污染物反演方法和装置 |
| CN117612023A (zh) * | 2023-11-23 | 2024-02-27 | 国网江苏省电力有限公司扬州供电分公司 | 融合注意力机制和卷积神经网络的遥感图像屋顶识别方法 |
| CN117872424A (zh) * | 2024-03-11 | 2024-04-12 | 中国石油大学(华东) | 一种gnss-r海面ddm数据生成方法和装置 |
| CN117872424B (zh) * | 2024-03-11 | 2024-05-10 | 中国石油大学(华东) | 一种gnss-r海面ddm数据生成方法和装置 |
| CN117969881A (zh) * | 2024-03-29 | 2024-05-03 | 中国石油大学(华东) | 基于遥感数据反演台风海况海面风速的方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116305967A (zh) | 基于卷积神经网络和多模态特征融合的海面风速反演方法 | |
| Li et al. | A ship motion forecasting approach based on empirical mode decomposition method hybrid deep learning network and quantum butterfly optimization algorithm | |
| CN111507521B (zh) | 台区电力负荷预测方法及预测装置 | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN112446419A (zh) | 基于注意力机制的时空神经网络雷达回波外推预报方法 | |
| US11836605B2 (en) | Meteorological big data fusion method based on deep learning | |
| CN110991284B (zh) | 一种基于场景预分类的光学遥感图像语句描述生成方法 | |
| CN116468730B (zh) | 基于YOLOv5算法的航拍绝缘子图像缺陷检测方法 | |
| CN111047078B (zh) | 交通特征预测方法、系统及存储介质 | |
| CN111967679A (zh) | 基于tcn模型的电离层总电子含量预报方法 | |
| KR102248963B1 (ko) | 해무 예측 방법 및 그 장치 | |
| CN115902806A (zh) | 一种基于多模态的雷达回波外推方法 | |
| CN115598611A (zh) | 一种基于全局-局部聚合模型的雷达智能回波外推方法 | |
| Ye et al. | Multi-year ENSO forecasts using parallel convolutional neural networks with heterogeneous architecture | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN115062526B (zh) | 基于深度学习的三维电离层电子浓度分布模型训练方法 | |
| KR102515608B1 (ko) | 태양광 발전량 예측 방법 및 시스템 | |
| CN115423091A (zh) | 一种条件对抗神经网络训练方法、场景生成方法和系统 | |
| CN113947250A (zh) | 一种基于有限数据资源的城市细粒度流量预测方法及系统 | |
| WO2022212031A1 (en) | Controlling asynchronous fusion of spatio-temporal multimodal data | |
| CN114219998A (zh) | 一种基于目标检测神经网络的声纳图像实时检测方法 | |
| CN113421281A (zh) | 一种基于分割理论的行人微动部位分离方法 | |
| KR20220071038A (ko) | 인공지능과 위성영상을 이용한 냉수대 탐지 및 예측을 위한 장치 및 방법 | |
| CN117872424B (zh) | 一种gnss-r海面ddm数据生成方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |