CN117892096A - 一种基于迁移学习的小样本海洋声速剖面预报方法 - Google Patents
一种基于迁移学习的小样本海洋声速剖面预报方法 Download PDFInfo
- Publication number
- CN117892096A CN117892096A CN202410288473.XA CN202410288473A CN117892096A CN 117892096 A CN117892096 A CN 117892096A CN 202410288473 A CN202410288473 A CN 202410288473A CN 117892096 A CN117892096 A CN 117892096A
- Authority
- CN
- China
- Prior art keywords
- sound velocity
- model
- task
- velocity profile
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013526 transfer learning Methods 0.000 title claims abstract description 30
- 238000013277 forecasting method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013508 migration Methods 0.000 claims description 22
- 230000005012 migration Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于迁移学习的小样本海洋声速剖面预报方法，属于海洋观测技术领域。本发明首先利用全球公开数据集中的大量声速剖面数据对基础模型进行充分预训练；其次将学习到的经验和参数从预训练后的基础模型迁移到任务模型；最后利用目标新任务相关的小样本数据对任务模型进行微调，进而实现在小样本情况下的声速剖面准确预报。本发明相比于传统的声速剖面预测方法，有效地避免了小样本情况下的过拟合现象提高了预测精度，同时加速了模型的收敛速度，使其具有更加高效而可靠的预测能力。本发明能够快速实现对目标区域未来时刻声速剖面的准确预报，不仅能够兼顾预测的准确性和时效性，还具有较强的泛化能力。
Description
技术领域
本发明属于海洋观测技术领域，具体地说，尤其涉及一种基于迁移学习的小样本海洋声速剖面预报方法。
背景技术
由于声信号在海水中独特的传播特性使其成为水下综合定位、导航、授时与通信（positioning, navigation, timing and communication，PNTC）体系的主要信号载体。在这一背景下，实时获取海洋声速剖面变得至关重要，成为推动PNTC系统高精度定位、测距、授时和通信发展的关键。
美国海军实验室的Tolstoy等人在海洋声层析中采用了匹配场处理方法，首先对经验声速剖面进行经验正交分解提取主成分特征，然后通过格点遍历生成候选声速分布。接着，利用射线理论或简正波理论计算理论声场分布，并通过与实测声场匹配得到最优声速分布，得出声速反演结果，成为了目前声速剖面反演的主流算法。虽然匹配场处理方法成功避免了建立声场信息到声速分布的反向映射关系的难题，但是其搜索匹配项的过程计算复杂度高，反演精度不足，因此仍需改进以提高反演精度和时效性。西北工业大学的张忠兵博士针对匹配场处理容易受到海底参数失配影响的问题，提出了一种匹配波束反演方法，通过对波束传播路径的精准控制，有效的减少了海底反射次数，从而在一定程度上降低了反演精度对海底参数的依赖程度，提高了反演的稳定性和可靠性。虽然匹配波束反演法在一定程度上提高了声速剖面反演的精度，但是反演的时效性并未得到解决，且无法对未来时刻的声速剖面进行预测。武汉大学黄威博士等人提出了一种自编码特征映射神经网络(auto-encoding feature-mapping neural network, AEFMNN)结构，通过自编码网络对含噪干扰声场进行去噪重构，提取鲁棒性更强的隐含特征，再由特征映射网络建立隐含特征到声速剖面分布的映射关系，有效提高了神经网络模型构建声速场的抗干扰能力。但是以上三种方法都是基于空间上的声速剖面反演，无法实现时间上的声速剖面预报。为了探索声速剖面在时间维度上的分布规律，山东大学徐天河教授团队提出了一种基于径向基函数（radial basis function, RBF）神经网络的声速剖面预报方法。该方法以温度、盐度场为输入构建网络，先是利用历史温盐剖面及采样时的经纬度与深度信息构建平均温盐场；然后利用历史声速剖面及采样信息构建平均声速场。RBF方法无需实测声场数据，但模型结果趋向于区域样本均值，难以准确描述未来声速剖面的时空分布变化。
上述相关研究均实现了相对可靠的声速剖面反演，但是它们都过度依赖于实时海面观测温度、盐度、深度等数据，且都是在大量数据作为参考的前提下进行反演和预测的，无法做到在小样本情况下对未来声速剖面的精准预报，应用范围受限。在目前的海洋科学研究中，实际声速信息观测困难与海洋参数实时数据稀缺等问题尤为普遍，因此解决在小样本情况下的海洋声速剖面精准预报问题是未来的一大趋势。
综上，传统的海洋声速剖面反演方法通常需要利用现场实测的声速、温度、盐度等数据作为输入信息实现空间上的声速剖面构建，难以实现时间上的声速分布估计。而近几年提出的海洋声速剖面预测方法虽然摆脱了现场测量数据的限制，大体实现了时间维度上的声速剖面粗略估计，但这些方法通常需要大量的历史声速剖面数据作为模型训练的参考信息，难以完成在小样本情况下的未来时刻声速剖面准确预报。
发明内容
本发明的目的在于提供一种基于迁移学习的小样本海洋声速剖面预报方法，为了解决小样本声速剖面在时间维度上的预测问题，以及海洋声速剖面预报的精度不足以及在小样本情况下未来声速预报功能缺失的问题，以弥补现有技术的不足。
为达到上述目的，本发明采取的具体技术方案为：
一种基于迁移学习（transfer learning，TL）的小样本海洋声速剖面预报方法，具体步骤如下所示：
S1：历史声速剖面数据集获取：历史声速剖面数据集的获取主要分为基础模型数据集获取和任务模型数据集获取；
S2：数据标准化处理：包括基础模型数据和任务模型数据的标准化处理；
S3：选取迁移学习框架内部模型：提出了一种分层长短期记忆（hierarchicallong short-term memory，HLSTM）神经网络作为迁移学习框架的基础模型和任务模型；
S4：搭建内部HLSTM模型：模型共有4层结构：输入层、HLSTM层、全连接层和输出层；首先输入层的输入是分层时间标准化数据集每层的声速时间序列；其次为每一个深度层分别构建一个HLSTM网络，取1层HLSTM层作为隐含层，然后在隐含层和输出层之间添加一个具有线性激活函数的全连接层；最后输出层的输出是预测的未来时刻相应深度层的声速值；
S5：对基础模型预训练：海域1~n的基础模型构建完毕后，用不同海域的大量分层时间标准化数据集对相应基础模型的每一深度层的H-LSTM分别进行充分预训练，使得基础模型能够准确捕捉到训练输入和输出之间的关系，并深入学习多海域多类型的时序声速剖面变化规律；
S6：针对基础模型进行收敛验证；
S7：模型迁移：将S6中保存的多海域基础模型及相应参数迁移到不同的任务模型，这些任务模型具有与基础任务数据相关的先验知识；
S8：最佳模型匹配：将目标小样本任务数据集与基础任务数据集进行比对；
S9：针对任务模型进行微调；
S10：全海深声速剖面预测。
进一步的，所述S1中模型数据的获取包括：
（1）基础模型数据集获取（大量数据）
预先准备海域1、海域2…海域n的大量历史声速数据集供基础模型的预训练使用，以便在给定实际声速预测任务时能够直接使用已训练完毕的基础模型为相关海域声速剖面预测的任务模型迁移使用。（海域1~n可以取不同的海域，比如太平洋、大西洋、印度洋等，也可以取同一海域的不同位置。）
（2）任务模型数据集获取（小样本数据）
任务模型的小样本数据集是由目标声速预测任务给定的，即需要根据已知的少量数据对未来声速剖面做出准确预测。
进一步的，所述S2中，由于基于迁移学习的小样本海洋声速剖面预报方法是对声速数据进行分层训练并预测的，故对S1获取的基础模型数据和任务模型数据进行深度分层处理；在深度分层之前要对数据进行时间排序处理；更为具体的以基础模型海域1的大量历史声速数据集为例，该历史数据集中共包含了M条声速剖面，则时间标准化数据集可表示为：
（1）
其中表示数据集中按时间先后顺序排列的第/>条声速剖面。（由于基础模型的训练集是大量数据，故取M≥120）。
然后对时间标准化数据集进行深度方向分层处理，具体划分为Z层。由于声速剖面在海深1000米以下的深海部分随深度呈线性变化，且浅海部分环境复杂，故应结合实际任务对声速剖面进行不等间隔分层，浅海部分分层应采取小间隔，深海部分分层可采取大间隔，具体几米海深分为一层视具体任务而定。
分层后的时间标准化数据集可表示为：
（2）
其中， 表示按时间排序的第M条声速剖面在第Z深度层的声速值，M是时间索引，/> 是深度层索引。/> 表示第一深度层的声速值时间序列， 表示第一条分层声速剖面，“/>”表示向量的转置。
为确保数据迁移时各深度层模型学习到的特征能够实现最佳的迁移效果，任务模型数据集的分层方式应与基础模型保持一致；任务模型小样本数据集分层时间标准化处理后表示为：
（3）
其中， 表示任务模型数据集按时间排序的第N条声速剖面在第Z深度层的声速值。（由于任务模型需解决的是小样本预测问题，故取N≤15。）
数据标准化处理完毕后，转入S3。
进一步的，所述S3中，在迁移学习框架中，内部模型的选取不限于深度神经网络模型，高斯模型或Transformer模型等，内部模型的选取根据实际任务而定。
进一步的，所述S6中，基础模型充分预训练之后，判断基础模型是否达到收敛状态或趋于收敛状态，通过设定判决阈值，若Loss＜/> ，则表示模型收敛；若基础模型达到收敛，则将不同海域数据对应的收敛模型分别保存，然后转入S7的模型迁移；若基础模型未达到收敛状态，则返回S5，继续对基础模型预训练。
进一步的，所述S7中，相应参数包括HLSTM层，权重矩阵，/>，/>，/>，偏置矩阵/>，，/>，/>等参数。
进一步的，所述S8中，先对基础任务模型数据集与目标小样本任务数据集分别取均值处理：
（4）
（5）
然后，计算数据整体相似性指标：
（6）
其中，和/>分别是目标小样本任务数据和基础任务数据在第/> 层的声速均值，/>是最大共同深度层；/>越小表示数据集差异越小，即数据相似性越强；
进一步的，所述S9具体为：在选定最佳的任务模型后，首先对任务模型进行微调，由于迁移之前的基础模型已经在基础任务数据集上达到了收敛，所以要对任务模型设置更小的学习率；然后，使用目标任务小样本声速数据 /> 对任务模型进一步的训练和优化。
进一步的，所述S10具体为：
S10-1：把目标任务当前时刻的分层声速剖面数据作为微调后的任务模型输入，进行一次前向传播即可预测出该深度层未来时刻的声速数据；
S10-2：将预测的不同深度层的声速数据按深度升序进行组合得到分层声速剖面：
（7）
其中，表示第Z深度层声速预测值；
S10-3：对预测的分层声速剖面进行全海洋深度范围插值处理，得到预测的未来全海深声速剖面/>：
（8）
这里，表示在海洋深度为F米时的声速预测值，此处的 /> 是海洋深度索引，表示海深F米。
进一步的，上述方法中，为验证模型预测的声速剖面准确性，计算出预测声速剖面与实际声速剖面之间的全海深均方根误差，RMSE越小表示预测精确度越高：
（9）
这里，和/>分别是预测声速剖面与实际声速剖面在海深 /> 米处的声速值， 是最大共同海深。
与现有技术相比，本发明的有益效果是：
本发明是为了解决海洋声速剖面在小样本情况下的预测问题，根据有限的历史信息完成对未来时刻声速剖面的准确预报。该方法首先利用全球公开数据集中的大量声速剖面数据对基础模型进行充分预训练；其次将学习到的经验和参数从预训练后的基础模型迁移到任务模型；最后利用目标新任务相关的小样本数据对任务模型进行微调，进而实现在小样本情况下的声速剖面准确预报。
本发明提出的方法相比于传统的声速剖面预测方法，有效地避免了小样本情况下的过拟合现象提高了预测精度，同时加速了模型的收敛速度，使其具有更加高效而可靠的预测能力。本发明能够快速实现对目标区域未来时刻声速剖面的准确预报，不仅能够兼顾预测的准确性和时效性，还具有较强的泛化能力。
附图说明
图1是基于迁移学习的小样本海洋声速剖面预报方法示意图。
图2是迁移学习框架结构示意图。
图3是内部模型HLSTM神经网络的结构示意图。
图4是预测的全海深声速剖面与实际的声速剖面对比示意图。
具体实施方式
下面结合实施例对本发明所述的技术方案作进一步地描述说明。
实施例
一种基于迁移学习的小样本海洋声速剖面预报方法，如图1所示，具体实施如下：
步骤1：历史声速剖面数据集获取
（1）基础模型数据集获取（大量数据）
分别从全球ARGO公开数据集中准备海域1、海域2、海域3、海域4历史10年的月平均声速数据集（2012年-2021年），每个区域数据集分别包含120条声速剖面。
海域1的地理位置：113.5°E,17.5°N （中国海域）；
海域2的地理位置：149.5°E,17.5°N （太平洋）；
海域3的地理位置：77.5°E,10.5°S （印度洋）；
海域4的地理位置：47.5°W,27.5°N （大西洋）；
将预先准备的四个海域历史10年的数据集分别记为 、 /> 、 、 /> ，作为迁移学习内部基础模型的预训练参考数据。
（2）任务模型数据集获取（小样本数据）
于2023年4月中旬在中国海域进行了深海实验，深度超过3500m，采集的声速数据共持续3天。由于采集的14条声速数据分别在3天的不同时刻，时间上几乎覆盖了一整天，把14条数据近似地看作该区域24小时的声速变化，时间间隔为近似每两小时。
目标海域的地理位置：116°E,20°N （中国海域），将实验获取的小样本声速数据记为 ，作为目标区域预测任务的历史参考数据。
历史声速剖面数据集获取完毕后，转入步骤2。
步骤2：数据标准化处理
由于基于迁移学习的小样本声速剖面预报方法是对声速剖面数据进行分层训练并预测的，故对步骤1获取的基础模型和任务模型历史声速数据进行深度分层处理。在深度分层之前要对历史数据进行时间排序处理，以基础模型海域1的历史十年声速数据集为例，该历史数据集共包含了120条声速剖面，则时间标准化数据集可表示为：
；
其中表示数据集中按时间先后顺序排列的第/>条声速剖面，即2021年12月份的月平均声速剖面。
然后对时间标准化数据集进行深度方向分层处理，共划分为58层。由于声速剖面在海深1000米以下的深海部分随深度呈线性变化，且浅海部分环境复杂，故采取对声速剖面进行不等间隔分层，1000米以上浅海部分分层采取小间隔，海深1000米以下的深海部分分层采取大间隔。
分层后的时间标准化数据集可表示为：
；
其中， 表示按时间排序的第120条声速剖面在第58深度层的声速值。 表示第一深度层的声速值时间序列，/> 表示第一条分层声速剖面，“/>”表示向量的转置。
与之类似，海域2、海域3、海域4分层后的时间标准化数据集可表示为：
；
；
。
为了确保数据迁移时各深度层模型学习到的特征能够实现最佳的迁移效果，任务模型数据集的分层方式与基础模型保持一致。与之类似，任务模型小样本数据集分层时间标准化处理后表示为：
；
其中， 表示任务模型数据集按时间排序的第14条声速剖面在第58深度层的声速值。
数据标准化处理完毕后，转入步骤3。
步骤3：迁移学习框架内部模型选取
根据声速剖面的垂直分布特点，为了保证良好的预测性能，选取分层长短期记忆神经网络HLSTM作为迁移学习框架的基础模型和任务模型。
内部模型选型完毕后，转入步骤4。
步骤4：内部模型搭建
迁移学习框架（如图2所示）的内部HLSTM模型结构如图3所示。为58个深度层中每一个深度层分别构建一个HLSTM网络，输入层节点个数取1，取1层HLSTM层作为隐含层，隐含层神经元个数取L=128，在隐含层和输出层之间添加一个具有线性激活函数的全连接层。
内部模型搭建完毕后，转入步骤5。
步骤5：基础模型预训练
海域1~4的基础模型构建完毕后，用不同海域的分层时间标准化数据集分别对相应的基础模型1、基础模型2、基础模型3、基础模型4每一深度层的H-LSTM进行充分预训练，使得基础模型能够准确捕捉到训练输入和输出之间的关系，并深入学习多海域多类型的时序声速剖面变化规律。值得注意的是，基础模型的预训练过程可离线进行，分别保存离线预训练后的不同基础模型以便目标任务下达时的快速迁移使用，大大提高了声速剖面预测的时间效率。
基础模型的主要参数设置如下：模型代价函数取均方误差函数MSE，隐含层单元个数取150，学习率 取0.01,迭代次数 /> 取300。为了提高了声速剖面预测的时间效率，基础模型的预训练过程离线进行。
基础模型预训练完毕后，转入步骤6。
步骤6：基础模型收敛验证
基础模型充分预训练之后，判断基础模型是否达到收敛状态。收敛判决阈值设置为 0.005。当Loss＜0.005时，表示模型收敛。基础模型1~4在迭代300次之后均达到了收敛状态，分别对4种海域对应的基础模型进行保存，并转入步骤7的模型迁移。这一步骤有助于提高模型的泛化能力，能最大程度地利用基础模型已经学到的声速基本特征，使得经迁移学习的任务模型在新的海域中能够更加灵活的处理和适应声速分布预测任务。
步骤7：模型迁移
将步骤6中保存的海域1~4的基础模型及相应参数（主要包括HLSTM层，权重矩阵，/>，/>，/>，偏置矩阵/>，/>，/>，/>等参数）分别迁移到任务模型1~4，这些任务模型具有与基础任务数据相关的先验知识。进行迁移学习的目的就是利用基础任务的知识和经验来加速目标小样本任务的学习过程。由于这些任务模型不是从零开始训练的，所以在目标任务小样本参考数据的少次训练下就可以快速学习到新的声速剖面时序分布规律，并保持着对于声速分布变化的敏感性，不易出现因样本过少而导致的模型过拟合及预测精度下降现象。
模型迁移完毕后，转入步骤8。
步骤8：最佳模型匹配
将基础任务1~4的数据集与目标小样本预测任务的数据集进行比对，可以考虑区域相关性或数据相似性来对最佳的任务模型进行匹配。数据的相似性用均方根误差RMSE来衡量，数值越小代表相似程度越高。
首先对基础模型数据集1~4与目标小样本数据集分别取均值处理：
基础模型数据集1~4：
；
；
；
。
目标小样本预测任务数据集：
；
然后，计算数据出基础模型数据1~4与目标小样本数据之间的整体相似性指标：
2.5408
10.2835
5.0343
16.6864
对比可知， 最小，即基础模型海域1数据集与目标小样本数据集相似程度最高，则任务模型1被确定为最佳模型。
最佳模型匹配完毕后，转入步骤9。
步骤9：任务模型微调
在选定最佳的任务模型后，首先对任务模型进行微调，由于迁移之前的基础模型已经在基础模型数据集上达到了收敛状态，所以要对任务模型设置更小的学习率=0.001。任务模型微调阶段的训练是在预先训练的模型基础上进行的，而非从零开始训练，所以只需要几次训练即可使任务模型达到收敛状态，所以将任务模型迭代次数设置为= 5。其余模型参数与基础模型保持一致。
对目标小样本数据 划分为训练集与验证集。取 />数据中的前13条声速剖面作为任务模型训练集，/>数据中的第14条声速剖面作为任务模型验证集，训练集与验证集可分别表示为：
；
；
然后，用小样本训练集 对任务模型进一步的训练和优化。这个阶段的训练是在预先训练的模型基础上进行的，只需几次训练，就可以使任务模型达到收敛状态，从而更好地适应目标小样本预测任务实现未来SSP的精准预测。
任务模型微调完毕后，转入步骤10。
步骤10：全海深声速剖面预测
在声速剖面预测阶段，首先把待预测任务前一时刻的分层声速剖面数据作为微调后的任务模型输入（由于实例中是为了测试预测一天中最后两小时的声速剖面的准确性，即小样本数据中的第14条声速剖面，故前一时刻的数据是小样本数据中的第13条声速剖面），进行一次前向传播即可预测出该深度层的未来SSP数据
。其次，将预测的不同深度层的声速数据按深度升序进行组合得到分层声速剖面/>：
；
最后，对预测的分层声速剖面 进行全海洋深度范围插值处理，得到预测的未来全海深声速剖面/>：
；
其中，表示在海洋深度为1975米时的声速预测值，此处的 />表示最大共同海深为1975米。
另外，用目标小样本数据对未经迁移学习的普通HLSTM模型直接进行训练，作为本发明提出方法的对比实验，模型参数的设置与迁移学习框架中的任务模型保持一致。两种模型预报的全海深SSP与实际的全海深SSP对比如图4所示。对比可知，迁移学习模型预测的未来时刻的全海深SSP几乎与实际的全海深SSP完全贴合，相似度极高，全海深预报误差RMSE仅为0.1057m/s。而在相同训练参数的条件下，未经过迁移学习的HLSTM模型的预测表现较差，预测的未来时刻声速剖面曲线不够光滑，全海深预报误差RMSE为0.6314m/s，虽然也能大致表示出实际全海深SSP的大体特征，但是在与本发明提出方法的对比下，未进行迁移学习的HLSTM模型的预测效果远不如迁移学习模型。实验结果充分验证了本发明提出的方法在小样本海洋声速剖面预报方面的优异性能。
本发明利用全球公开数据集中与目标小样本预测任务所在海域以及与此海域具有类似声速分布特征的大量历史声速剖面数据为参考，对基础模型进行充分预训练；然后将学习到的声速分布时间序列变化规律和模型参数从预训练后的基础模型迁移到任务模型；最后利用目标小样本预测任务相关的少量数据对任务模型进行微调，进而实现在小样本情况下的未来声速剖面准确预报。本发明提出的方法可以在小样本情况下，快速实现对目标区域未来时刻声速剖面的准确预报，不仅能够兼顾预测的准确性和时效性，同时还具有较强的泛化能力，为海洋科学研究提供了重要的指导意义。
在上述实施例的基础上，本发明继续对其中涉及到的技术特征及该技术特征在本发明中所起到的功能、作用进行详细的描述，以帮助本领域的技术人员充分理解本发明的技术方案并且予以重现。
最后，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，该方法包括：
S1：历史声速剖面数据集获取：历史声速剖面数据集的获取主要分为基础模型数据集获取和任务模型数据集获取；
S2：数据标准化处理：包括基础模型数据和任务模型数据的标准化处理；
S3：选取迁移学习框架内部模型：提出了一种分层长短期记忆神经网络作为迁移学习框架的基础模型和任务模型；
S4：搭建内部HLSTM模型：模型共有4层结构：输入层、HLSTM层、全连接层和输出层；输入层的输入是分层时间标准化数据集每层的声速时间序列；为每一个深度层分别构建一个HLSTM网络，取1层HLSTM层作为隐含层，然后在隐含层和输出层之间添加一个具有线性激活函数的全连接层；最后输出层的输出是预测的未来时刻相应深度层的声速值；
S5：对基础模型预训练：海域1~n的基础模型构建完毕后，用不同海域的大量分层时间标准化数据集对相应基础模型的每一深度层的H-LSTM分别进行充分预训练；
S6：针对基础模型进行收敛验证；
S7：模型迁移：将S6中保存的多海域基础模型及相应参数迁移到不同的任务模型，这些任务模型具有与基础任务数据相关的先验知识；
S8：最佳模型匹配：将目标小样本任务数据集与基础任务数据集进行比对；
S9：针对任务模型进行微调；
S10：全海深声速剖面预测。
2.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S1中模型数据的获取包括：
（1）基础模型数据集获取
预先准备海域1、海域2…海域n的大量历史声速数据集供基础模型的预训练使用，以便在给定实际声速预测任务时能够直接使用已训练完毕的基础模型为相关海域声速剖面预测的任务模型迁移使用；
（2）任务模型数据集获取
任务模型的小样本数据集由目标声速预测任务给定。
3.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S2中，针对S1获取的基础模型数据和任务模型数据进行深度分层处理；在深度分层之前首先对数据进行时间排序处理；以基础模型海域1的大量历史声速数据集为例，该历史数据集中共包含了M条声速剖面，则时间标准化数据集表示为：
（1）
其中表示数据集中按时间先后顺序排列的第/>条声速剖面；
然后对时间标准化数据集进行深度方向分层处理，具体划分为Z层，分层后的时间标准化数据集表示为：
（2）
其中， 表示按时间排序的第M条声速剖面在第Z深度层的声速值，M是时间索引，/>是深度层索引；/> 表示第一深度层的声速值时间序列， 表示第一条分层声速剖面，“/>”表示向量的转置；
任务模型数据集的分层方式应与基础模型保持一致；任务模型小样本数据集分层时间标准化处理后表示为：
（3）
其中， 表示任务模型数据集按时间排序的第N条声速剖面在第Z深度层的声速值。
4.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S6中，基础模型充分预训练之后，判断基础模型是否达到收敛状态或趋于收敛状态，通过设定判决阈值，若Loss＜/> ，则表示模型收敛；若基础模型达到收敛，则将不同海域数据对应的收敛模型分别保存，然后转入S7的模型迁移；若基础模型未达到收敛状态，则返回S5，继续对基础模型预训练。
5.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S7中，相应参数包括HLSTM层，权重矩阵，/>，/>，/>，偏置矩阵/>，/>，/>，/>参数。
6.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S8中，先对基础任务模型数据集与目标小样本任务数据集分别取均值处理； （4）
（5）
然后，计算数据整体相似性指标：
（6）
其中，和/>分别是目标小样本任务数据和基础任务数据在第/> 层的声速均值，/>是最大共同深度层；/>越小表示数据集差异越小，即数据相似性越强。
7.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S9具体为：在选定最佳的任务模型后，首先对任务模型进行微调，由于迁移之前的基础模型已经在基础任务数据集上达到了收敛，所以要对任务模型设置更小的学习率；然后，使用目标任务小样本声速数据 /> 对任务模型进一步的训练和优化。
8.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，所述S10具体为：
S10-1：把目标任务当前时刻的分层声速剖面数据作为微调后的任务模型输入，进行一次前向传播即可预测出该深度层未来时刻的声速数据；
S10-2：将预测的不同深度层的声速数据按深度升序进行组合得到分层声速剖面：
（7）
其中，表示第Z深度层声速预测值；
S10-3：对预测的分层声速剖面进行全海洋深度范围插值处理，得到预测的未来全海深声速剖面/>：
（8）
这里，表示在海洋深度为F米时的声速预测值，此处的 /> 是海洋深度索引，表示海深F米。
9.如权利要求1所述的基于迁移学习的小样本海洋声速剖面预报方法，其特征在于，该方法中，为验证模型预测的声速剖面准确性，计算出预测声速剖面与实际声速剖面之间的全海深均方根误差，RMSE越小表示预测精确度越高：
（9）
和/>分别是预测声速剖面与实际声速剖面在海深 /> 米处的声速值，/> 是最大共同海深。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410288473.XA CN117892096B (zh) | 2024-03-14 | 2024-03-14 | 一种基于迁移学习的小样本海洋声速剖面预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410288473.XA CN117892096B (zh) | 2024-03-14 | 2024-03-14 | 一种基于迁移学习的小样本海洋声速剖面预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117892096A true CN117892096A (zh) | 2024-04-16 |
| CN117892096B CN117892096B (zh) | 2024-05-14 |
Family
ID=90644352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410288473.XA Active CN117892096B (zh) | 2024-03-14 | 2024-03-14 | 一种基于迁移学习的小样本海洋声速剖面预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117892096B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200387829A1 (en) * | 2019-06-06 | 2020-12-10 | Retrace Labs | Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information |
| CN113011562A (zh) * | 2021-03-18 | 2021-06-22 | 华为技术有限公司 | 一种模型训练方法及装置 |
| CN113139329A (zh) * | 2021-03-04 | 2021-07-20 | 河海大学 | 一种基于水文相似性和人工神经网络的新安江模型参数率定方法 |
| CN116202611A (zh) * | 2023-05-06 | 2023-06-02 | 中国海洋大学 | 一种基于元学习的小样本声速剖面反演方法 |
| WO2023114923A1 (en) * | 2021-12-17 | 2023-06-22 | The Regents Of The University Of California | Fusion of deep-learning based image reconstruction with noisy image measurements |
| CN117076893A (zh) * | 2023-10-16 | 2023-11-17 | 中国海洋大学 | 一种基于长短期记忆神经网络的声速分布预报方法 |
| CN117574059A (zh) * | 2023-11-28 | 2024-02-20 | 南京图格医疗科技有限公司 | 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统 |
-
2024
- 2024-03-14 CN CN202410288473.XA patent/CN117892096B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200387829A1 (en) * | 2019-06-06 | 2020-12-10 | Retrace Labs | Systems And Methods For Dental Treatment Prediction From Cross- Institutional Time-Series Information |
| CN113139329A (zh) * | 2021-03-04 | 2021-07-20 | 河海大学 | 一种基于水文相似性和人工神经网络的新安江模型参数率定方法 |
| CN113011562A (zh) * | 2021-03-18 | 2021-06-22 | 华为技术有限公司 | 一种模型训练方法及装置 |
| WO2023114923A1 (en) * | 2021-12-17 | 2023-06-22 | The Regents Of The University Of California | Fusion of deep-learning based image reconstruction with noisy image measurements |
| CN116202611A (zh) * | 2023-05-06 | 2023-06-02 | 中国海洋大学 | 一种基于元学习的小样本声速剖面反演方法 |
| CN117076893A (zh) * | 2023-10-16 | 2023-11-17 | 中国海洋大学 | 一种基于长短期记忆神经网络的声速分布预报方法 |
| CN117574059A (zh) * | 2023-11-28 | 2024-02-20 | 南京图格医疗科技有限公司 | 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统 |
Non-Patent Citations (1)
| Title |
|---|
| 文成林;吕菲亚;: "基于深度学习的故障诊断方法综述", 电子与信息学报, no. 01, 15 January 2020 (2020-01-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117892096B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652443B (zh) | 综合多源卫星遥感预测远洋渔业资源丰度的方法及其应用 | |
| CN111767517B (zh) | 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质 | |
| CN117076893B (zh) | 一种基于长短期记忆神经网络的声速分布预报方法 | |
| CN112733447B (zh) | 一种基于域自适应网络的水下声源定位方法及系统 | |
| CN114399073A (zh) | 一种基于深度学习的海洋表面温度场预测方法 | |
| Zhao et al. | An evaporation duct height prediction model based on a long short-term memory neural network | |
| CN115935834A (zh) | 一种基于深度自回归网络和持续学习策略的历史拟合方法 | |
| CN112884217A (zh) | 一种基于多模型集成的海面高预报方法 | |
| CN114417693A (zh) | 一种基于深度学习的海洋三维温度场反演方法 | |
| WO2022032873A1 (zh) | 一种基于对抗神经网络的无资料地区水文参数率定方法 | |
| CN115859116A (zh) | 一种基于径向基函数回归插值法的海洋环境场重建方法 | |
| CN115545159A (zh) | 一种深度神经网络的平均海表面温度预报方法 | |
| CN116910534A (zh) | 一种不同海域海洋环境要素时空智能预测方法和装置 | |
| CN115758074A (zh) | 基于多源数据的高空间分辨率海水二氧化碳分压重构方法 | |
| CN117113857B (zh) | 全连接深度神经网络模型及反演海底地形的方法 | |
| CN117421562B (zh) | 海洋溶解氧含量时空分布预测方法、系统、介质及设备 | |
| CN117784250A (zh) | 一种基于模型无关元学习算法的海底声学参数反演方法 | |
| CN116202611B (zh) | 一种基于元学习的小样本声速剖面反演方法 | |
| CN117892096B (zh) | 一种基于迁移学习的小样本海洋声速剖面预报方法 | |
| CN111914488A (zh) | 一种基于对抗神经网络的有资料地区水文参数率定方法 | |
| CN114943189B (zh) | 一种基于XGboost的声速剖面反演方法及系统 | |
| CN115540832A (zh) | 基于VGGNet的卫星测高海底地形校正方法及系统 | |
| CN115860165A (zh) | 一种考虑初损的神经网络流域降雨径流预报方法及系统 | |
| Ma et al. | A Method for Establishing Tropospheric Atmospheric Refractivity Profile Model Based on Multiquadric RBF and k-means Clustering | |
| Lu et al. | Enhancing Few-Shot Prediction of Ocean Sound Speed Profiles through Hierarchical Long Short-Term Memory Transfer Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |