CN116993821A - 一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法 - Google Patents
一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法 Download PDFInfo
- Publication number
- CN116993821A CN116993821A CN202310754536.1A CN202310754536A CN116993821A CN 116993821 A CN116993821 A CN 116993821A CN 202310754536 A CN202310754536 A CN 202310754536A CN 116993821 A CN116993821 A CN 116993821A
- Authority
- CN
- China
- Prior art keywords
- data
- adarnn
- time
- model
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000009826 distribution Methods 0.000 claims abstract description 71
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000012512 characterization method Methods 0.000 claims abstract description 9
- 230000002123 temporal effect Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Transformer‑AdaRNN模型的船舶姿态实时预测方法,属于深度学习和计算机视觉技术领域。该方法步骤主要包括:S1.获取船舶运动姿态的待处理三自由度数据,对数据进行预处理;S2.采用AdaRNN(AdaptiveRNN)的TDC(Temporal DistributionCharacterization)模块对数据进行时间分布表征;S3.利用Transformer输出时序分布特征矩阵,AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配,建立广泛预测模型;S4.AdaRNN的输出传递给Transformer,进行训练后预测船舶三个自由度数据。利用本发明提出的Transformer‑AdaRNN模型框架能够解决在对船舶姿态预测时存在时序分布漂移,精度不高,误差较大等问题。采用本发明提出的模型能够精准的预测船舶的运动姿态,可以保障舰载机的正常起降和船上工作人员的安全等。
Description
技术领域
本发明属于深度学习和计算机视觉技术领域,具体涉及一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法。
背景技术
近年来,随着愈加成熟的现代科技和工业化的繁荣发展,船舶工业作为我国科技发展的重要部分,对于国家的经济发展、国家领土安全、对外交流和军事实力的提高有着重要的意义。我国在近几十年的时间里,船舶工业有了一个质的飞跃,不仅摆脱了以往的落后状态,而且在船舶的制造行业中逐渐有了重要地位。针对海上作业的实际需求,为提高作业的安全性,降低作业的事故率,很多国家都在大力开展船舶运动预报技术的研究,由于船舶实际运动受到波浪的影响,因此在这一研究中,对于波浪影响下的船舶运动进行快速而准确的求解便成为了重要一步。
受海风、海浪和海流等开放海域环境的影响,处于真实海面上的船舶会产生艏摇、横摇、纵摇、垂荡、横荡、纵荡这六种摇荡运动,这种由外界环境的扰动作用引起的船舶摇荡运动被定义为船舶六自由度运动。由于实际海况相当复杂,在实际航行过程中,这六种摇荡运动甚至还会相互耦合成更加复杂的运动。此外,海浪与海风的运动是多变且复杂的,在海上航行或停留在海面的船舶会受到许多来自海洋环境的随机干扰。在上述的六个自由度中,其中横摇运动对其在海中正常作业产生的影响最大。剧烈的升沉运动也会严重影响船舶间货物补给、工程船深海作业、舰载直升机起降等海上作业的正常进行,这种影响在恶劣海况下会更明显。
目前,船舶运动姿态预测方法主要分为三大类:数学模型、统计模型和机器学习模型。数学模型在建模过程中,需要依靠经验知识进行参数选择和干扰设置,导致建模过程不易实现,预测误差较大。统计方法的建立需要大量准确的输入输出数据,计算繁琐。机器学习方法也有着很广泛的应用,长短期记忆神经网络,双向长短期记忆模型等神经网络模型方法。但是单一的神经网络模型对于船舶的姿态预测能力有限。
发明内容
针对上述研究的问题,本发明的目的在于:为了充分开发神经网络的处理能力,提高船舶姿态的预测效果,提出了一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法。
为了解决上述技术问题,本发明采用的技术方案如下:
一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法,包括如下步骤:
S1:获取船舶运动姿态的待处理三自由度数据,对数据进行预处理,主要包括以下部分:整理获取数据,截取数据大小,规范化处理;
进一步的,所述S1的具体步骤为:
S1.1:整理获取的船舶姿态数据,提取其中的三自由度(横摇角度、纵摇角度和升沉大小)数据。
S1.2:将获取的三自由度数据进行截取,数据每行间隔的采样时间为0.05秒,因此每个自由度截取1000行数据进行处理。
S1.3:由于数据的输入维度不同,并且存在噪声点,会影响神经网络模型的训练效果。因此为了使神经网络模型能够更加准确的对数据进行操作,需要将数据进行规范化处理。归一化是现有的规范化处理非常普遍的方法,采用MinMaxScaler函数将数据映射到[1,-1]之间,以便接下来的操作。具体公式如下:
xi是当前输入的数据,xmin是数据中最小的那一个值,xmax代表的是数据中最大的那个值,Mi是最后归一化后得到的数据。
通过以上步骤可以对三自由度的数据进行预处理工作。
S2:采用AdaRNN(Adaptive RNN)的TDC(Temporal DistributionCharacterization)模块对数据进行时间分布表征,其中主要包括计算时序分布特征部分;
进一步的,所述S2的具体步骤为:
S2.1:TDC将时间序列划分为K个最不相关且最不相同的子序列段,用分布距离D来表示分布特征,具体公式如下:
d是相似度度量距离,Δ1,Δ1和K0是为了避免无意义的解而预先定义好的参数。
S3:利用Transformer输出时序分布特征矩阵,AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配,建立广泛预测模型,主要包括时序分布特征,时序分布匹配部分;
进一步的,所述S3的具体步骤为:
S3.1:利用Transformer输出时序分布特征矩阵;
进一步的,所述S3.1的具体步骤为:
A1:将K个最不相关的子序列通过Transformer编码器层,编码器由多层自注意力(self-attention)和前向神经网络(feed-forward network)组成。自注意力机制可以使编码器在考虑每个位置时都能够捕捉到整个序列的上下文信息,从而更好地编码输入序列。前向神经网络则可以进一步增强模型的表达能力。
A2:经过编码层后得到最后一个时刻的隐藏状态表示H,将输入子序列转换成一些固定长度的向量表示,并从隐藏状态H中提取信息。
A3:根据返回的最优参数,建立广泛预测且自适应的模型。
S3.2:采用AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配;
进一步的,所述S3.2的具体步骤为:
A1:将每个时间步的隐藏状态ht(t为时间步数)都作为AdaRNN的输入,以学习更丰富的时间序列特征。
A2:应用AdaRNN中的TDM(Temporal Distribution Matching)模块在周期之间进行分布匹配,TDM学习权重模型参数α和θ,具体公式如下:
Lpred(θ)为用于预测的损失函数;α表示动态度量RNN单元中每个时间状态的重要性;θ表示可学习的模型参数;Ltdm为时间分布匹配的损失函数;不同学习阶段的分布匹配损失计算的更新函数;/>是在epoch中的时间t步长处的分布距离。进行计算后返回最优参数,得到输出序列Y,捕捉时间序列的长期依赖关系。
S4:AdaRNN的输出传递给Transformer,进行训练后预测船舶三个自由度数据;
进一步的,所述S4的具体步骤为:
S4.1:将输出序列Y=(y1,y2,…yt)与编码器的输出H拼接成一个输入序列(y1,y2,…yt,H),并将其输入到Transformer解码器中。解码器由多层自注意力和前向神经网络组成,并添加了一个多头注意力(multi-head attention)机制。多头注意力机制可以使解码器在进行生成时能够同时考虑输入序列和已生成的部分输出序列,从而更好地建模目标输出序列。
S4.2:解码器采用自回归的方式来进行输出,即在每个时间步都生成一个预测输出,并根据前面的所有预测输出计算下一个预测输出的概率分布。在每个解码器层中,使用多头注意力机制和前馈神经网络对输入进行处理,并输出当前时刻的隐藏状态表示Dt。
S4.3:当前时刻的隐藏状态Dt和编码器的输出H经过一些预处理得到注意力机制接受的键值对(K-VPair),用来对编码器的输出进行加权平均,得到加权编码器的输出Ct。注意力机制的计算公式如下所示:
Q为查询向量,K为键向量,V为值向量,dk表示查询/键向量的维度。公式中计算矩阵Q和K每一行向量的内积,为了防止内积过大,因此除以dk的平方根。
S4.4:将当前时刻的隐藏状态Dt、加权编码器的输出Ct和输入嵌入向量相结合,通过线性变换和激活函数进行处理,得到当前时刻的预测输出概率分布P(yt|y1,…yt-1)。
S4.5:最终预测输出为所有时间步的预测输出概率分布的联合分布,即其中X为输入序列。
S4.6:将数据按4:1分为训练数据集和测试数据集,对网络进行训练,再将测试集的数据传入模型得出预测结果。
与现有技术相比,本发明的有益效果是:利用Transformer的注意力机制,能够更好的捕捉序列的关联信息;AdaRNN的两个模块是针对时序分布漂移提出的,充分对时序进行处理,二者模型相结合充分的提高了网络的处理能力,与单一的神经网络模型相比,提高了预测精度,减少了预测误差。
附图说明
图1为本发明Transformer框架图;
图2为本发明AdaRNN网络结构图;
图3为本发明采用Transformer-AdaRNN模型框架船舶实时预测的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,提出相应具体实施方案,对本发明进一步详细说明。
一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法,包括如下步骤:
S1:获取船舶运动姿态的待处理三自由度数据,对数据进行预处理,主要包括以下部分:整理获取数据,截取数据大小,规范化处理;
进一步的,所述S1的具体步骤为:
S1.1:整理获取的船舶姿态数据,提取其中的三自由度(横摇角度、纵摇角度和升沉大小)数据。
S1.2:将获取的三自由度数据进行截取,数据每行间隔的采样时间为0.05秒,因此每个自由度截取1000行数据进行处理。
S1.3:由于数据的输入维度不同,并且存在噪声点,会影响神经网络模型的训练效果。因此为了使神经网络模型能够更加准确的对数据进行操作,需要将数据进行规范化处理。归一化是现有的规范化处理非常普遍的方法,采用MinMaxScaler函数将数据映射到[1,-1]之间,以便接下来的操作。具体公式如下:
xi是当前输入的数据,xmin是数据中最小的那一个值,xmax代表的是数据中最大的那个值,Mi是最后归一化后得到的数据。
通过以上步骤可以对三自由度的数据进行预处理工作。
S2:采用AdaRNN的TDC(Temporal Distribution Characterization)模块对数据进行时间分布表征,其中主要包括计算时序分布特征部分;
进一步的,所述S2的具体步骤为:
S2.1:TDC将时间序列划分为K个最不相关且最不相同的子序列段,用分布距离D来表示分布特征,具体公式如下:
D是相似度度量函数,Δ1,Δ1和K0是为了避免无意义的解而预先定义好的参数。
S3:利用Transformer输出时序分布特征矩阵,AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配,主要包括时序分布特征,时序分布匹配部分;
进一步的,所述S3的具体步骤为:
S3.1:利用Transformer输出时序分布特征矩阵;
进一步的,所述S3.1的具体步骤为:
A1:将K个最不相关的子序列通过Transformer编码器层,编码器由多层自注意力(self-attention)和前向神经网络(feed-forward network)组成。自注意力机制可以使编码器在考虑每个位置时都能够捕捉到整个序列的上下文信息,从而更好地编码输入序列。前向神经网络则可以进一步增强模型的表达能力。
A2:经过编码层后得到最后一个时刻的隐藏状态表示H,将输入子序列转换成一些固定长度的向量表示,并从隐藏状态H中提取信息。
S3.2:采用AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配。
进一步的,所述S3.2的具体步骤为:
A1:将每个时间步的隐藏状态ht(t为时间步数)都作为AdaRNN的输入,以学习更丰富的时间序列特征。
A2:应用AdaRNN中的TDM(Temporal Distribution Matching)模块在周期之间进行分布匹配,TDM学习权重模型参数α和θ,具体公式如下:
Lpred(θ)为用于预测的损失函数;α表示动态度量RNN单元中每个时间状态的重要性;θ表示可学习的模型参数;Ltdm为时间分布匹配的损失函数;不同学习阶段的分布匹配损失计算的更新函数;/>是在epoch中的时间t步长处的分布距离。进行计算后返回最优参数,得到输出序列Y,捕捉时间序列的长期依赖关系。
S4:AdaRNN的输出传递给Transformer,进行训练后预测船舶三个自由度数据。
进一步的,所述S4的具体步骤为:
S4.1:将输出序列Y=(y1,y2,…yt)与编码器的输出H拼接成一个输入序列(y1,y2,…yt,H),并将其输入到Transformer解码器中。解码器由多层自注意力和前向神经网络组成,并添加了一个多头注意力(multi-head attention)机制。多头注意力机制可以使解码器在进行生成时能够同时考虑输入序列和已生成的部分输出序列,从而更好地建模目标输出序列。
S4.2:解码器采用自回归的方式来进行输出,即在每个时间步都生成一个预测输出,并根据前面的所有预测输出计算下一个预测输出的概率分布。在每个解码器层中,使用多头注意力机制和前馈神经网络对输入进行处理,并输出当前时刻的隐藏状态表示Dt。
S4.3:当前时刻的隐藏状态Dt和编码器的输出H经过一些预处理得到注意力机制接受的键值对(K-VPair),用来对编码器的输出进行加权平均,得到加权编码器的输出Ct。注意力机制的计算公式如下所示:
Q为查询向量,K为键向量,V为值向量,dk表示查询/键向量的维度。公式中计算矩阵Q和K每一行向量的内积,为了防止内积过大,因此除以dk的平方根。
S4.4:将当前时刻的隐藏状态Dt、加权编码器的输出Ct和输入嵌入向量相结合,通过线性变换和激活函数进行处理,得到当前时刻的预测输出概率分布P(yt|y1,…yt-1)。
S4.5:最终预测输出为所有时间步的预测输出概率分布的联合分布,即其中X为输入序列。
S4.6:将数据按4:1分为训练数据集和测试数据集,对网络进行训练,再将测试集的数据传入模型得出预测结果。
以上所述仅为本发明的一个实施方式,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法,其特征在于,包括以下步骤:
S1:获取船舶运动姿态的待处理三自由度数据,对数据进行预处理;
S2:采用AdaRNN(Adaptive RNN)的TDC(Temporal Distribution Characterization)模块对数据进行时间分布表征;
S3:利用Transformer输出时序分布特征矩阵,AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配,建立广泛预测模型;
S4:AdaRNN的输出传递给Transformer,进行训练后预测船舶三个自由度数据。
2.根据权利要求1所述的一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法,其特征在于,所述步骤S1的具体步骤为:
S1.1:整理获取的船舶姿态数据,提取其中的三自由度(横摇角度、纵摇角度和升沉大小)数据;
S1.2:将获取的三自由度数据进行截取,数据每行间隔的采样时间为0.05秒,因此每个自由度截取1000行数据进行处理;
S1.3:由于数据的输入维度不同,并且存在噪声点,会影响神经网络模型的训练效果。因此为了使神经网络模型能够更加准确的对数据进行操作,需要将数据进行规范化处。归一化是现有的规范化处理非常普遍的方法,采用MinMaxScaler函数将数据映射到[1,-1]之间,以便接下来的操作。具体公式如下:
xi是当前输入的数据,xmin是数据中最小的那一个值,xmax代表的是数据中最大的那个值,Mi是最后归一化后得到的数据。
3.根据权利要求1所述的一种基于Transformer-AdaRNN模型的船舶姿态预测方法,其特征在于,所述步骤S2的具体步骤为:
TDC将时间序列划分为K个最不相关且最不相同的子序列段,用分布距离D来表示分布特征,具体公式如下:
d是相似度度量距离,Δ1,Δ1和K0是为了避免无意义的解而预先定义好的参数。
4.根据权利要求1所述的一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法,其特征在于,所述步骤S3的具体步骤为:
S3.1:利用Transformer输出时序分布特征矩阵具体步骤如下:
A1:将K个最不相关的子序列通过Transformer编码器层,编码器由多层自注意力(self-attention)和前向神经网络(feed-forward network)组成。自注意力机制可以使编码器在考虑每个位置时都能够捕捉到整个序列的上下文信息,从而更好地编码输入序列。前向神经网络则可以进一步增强模型的表达能力。
A2:经过编码层后得到最后一个时刻的隐藏状态表示H,将输入子序列转换成一些固定长度的向量表示,并从隐藏状态H中提取信息。
S3.2:采用AdaRNN模型接收时序分布特征矩阵并进行时序分布匹配的具体步骤如下:
A1:将每个时间步的隐藏状态ht(t为时间步数)都作为AdaRNN的输入,以学习更丰富的时间序列特征。
A2:应用AdaRNN中的TDM(Temporal Distribution Matching)模块在周期之间进行分布匹配,TDM学习权重模型参数α和θ,具体公式如下:
Lpred(θ)为用于预测的损失函数;α表示动态度量RNN单元中每个时间状态的重要性;θ表示可学习的模型参数,Ltdm为时间分布匹配的损失函数,不同学习阶段的分布匹配损失计算的更新函数,/>是在epoch中的时间t步长处的分布距离。进行计算后返回最优参数,得到输出序列Y,捕捉时间序列的长期依赖关系。
A3:根据返回的最优参数,建立广泛预测且自适应的模型。
5.根据权利要求1所述的一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法,其特征在于,所述步骤S4的具体步骤为:
S4.1:将输出序列Y=(y1,y2,…yt)与编码器的输出H拼接成一个输入序列(y1,y2,…yt,H),并将其输入到Transformer解码器中。解码器由多层自注意力和前向神经网络组成,并添加了一个多头注意力(multi-head attention)机制。多头注意力机制可以使解码器在进行生成时能够同时考虑输入序列和已生成的部分输出序列,从而更好地建模目标输出序列。
S4.2:解码器采用自回归的方式来进行输出,即在每个时间步都生成一个预测输出,并根据前面的所有预测输出计算下一个预测输出的概率分布。在每个解码器层中,使用多头注意力机制和前馈神经网络对输入进行处理,并输出当前时刻的隐藏状态表示Dt。
S4.3:当前时刻的隐藏状态Dt和编码器的输出H经过一些预处理得到注意力机制接受的键值对(K-V Pair),用来对编码器的输出进行加权平均,得到加权编码器的输出Ct。注意力机制的计算公式如下所示:
Q为查询向量,K为键向量,V为值向量,dk表示查询/键向量的维度。公式中计算矩阵Q和K每一行向量的内积,为了防止内积过大,因此除以dk的平方根。
S4.4:将当前时刻的隐藏状态Dt、加权编码器的输出Ct和输入嵌入向量相结合,通过线性变换和激活函数进行处理,得到当前时刻的预测输出概率分布P(yt|y1,…yt-1)。
S4.5:最终预测输出为所有时间步的预测输出概率分布的联合分布,即其中X为输入序列。
S4.6:将数据按4:1分训练数据集和测试数据集,对网络进行训练,再将测试集的数据传入模型得出预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310754536.1A CN116993821B (zh) | 2023-06-25 | 2023-06-25 | 一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310754536.1A CN116993821B (zh) | 2023-06-25 | 2023-06-25 | 一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116993821A true CN116993821A (zh) | 2023-11-03 |
CN116993821B CN116993821B (zh) | 2024-06-21 |
Family
ID=88532964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310754536.1A Active CN116993821B (zh) | 2023-06-25 | 2023-06-25 | 一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116993821B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117592787A (zh) * | 2024-01-16 | 2024-02-23 | 交通运输部水运科学研究所 | 海上船舶安全风险预测方法、电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408430A (zh) * | 2021-06-22 | 2021-09-17 | 哈尔滨理工大学 | 基于多级策略和深度强化学习框架的图像中文描述系统及方法 |
CN114021441A (zh) * | 2021-10-28 | 2022-02-08 | 江苏科技大学 | 一种基于CNN-BiLSTM的船舶运动姿态预测方法 |
CN114528638A (zh) * | 2022-01-25 | 2022-05-24 | 武汉大学 | 基于强化学习的船舶运动大多步实时预测混合方法及系统 |
CN115330072A (zh) * | 2022-08-24 | 2022-11-11 | 江苏方天电力技术有限公司 | 基于CNN网络和AdaRNN模型的电力负荷预测方法 |
CN116094761A (zh) * | 2022-12-06 | 2023-05-09 | 上海海事大学 | 基于卫星通信的船舶网络安全态势预测方法 |
WO2023108324A1 (zh) * | 2021-12-13 | 2023-06-22 | 中国科学院深圳先进技术研究院 | 对比学习增强的双流模型推荐系统及算法 |
-
2023
- 2023-06-25 CN CN202310754536.1A patent/CN116993821B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408430A (zh) * | 2021-06-22 | 2021-09-17 | 哈尔滨理工大学 | 基于多级策略和深度强化学习框架的图像中文描述系统及方法 |
CN114021441A (zh) * | 2021-10-28 | 2022-02-08 | 江苏科技大学 | 一种基于CNN-BiLSTM的船舶运动姿态预测方法 |
WO2023108324A1 (zh) * | 2021-12-13 | 2023-06-22 | 中国科学院深圳先进技术研究院 | 对比学习增强的双流模型推荐系统及算法 |
CN114528638A (zh) * | 2022-01-25 | 2022-05-24 | 武汉大学 | 基于强化学习的船舶运动大多步实时预测混合方法及系统 |
CN115330072A (zh) * | 2022-08-24 | 2022-11-11 | 江苏方天电力技术有限公司 | 基于CNN网络和AdaRNN模型的电力负荷预测方法 |
CN116094761A (zh) * | 2022-12-06 | 2023-05-09 | 上海海事大学 | 基于卫星通信的船舶网络安全态势预测方法 |
Non-Patent Citations (2)
Title |
---|
张彪 等: "基于ELM-EMD-LSTM 组合模型的船舶运动姿态预测", 《船舶力学》, vol. 24, no. 11, 30 November 2020 (2020-11-30) * |
朱鹏程 等: "基于Transformer 的船舶运动预测模型研究", 《中国造船》, vol. 63, no. 5, 31 October 2022 (2022-10-31) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117592787A (zh) * | 2024-01-16 | 2024-02-23 | 交通运输部水运科学研究所 | 海上船舶安全风险预测方法、电子设备 |
CN117592787B (zh) * | 2024-01-16 | 2024-04-02 | 交通运输部水运科学研究所 | 海上船舶安全风险预测方法、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116993821B (zh) | 2024-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112684701A (zh) | 一种基于长短时记忆网络和高斯过程回归的船舶运动预报方法 | |
CN111428789A (zh) | 一种基于深度学习的网络流量异常检测方法 | |
CN116993821B (zh) | 一种基于Transformer-AdaRNN模型的船舶姿态实时预测方法 | |
CN112116162B (zh) | 基于ceemdan-qfoa-lstm的输电线覆冰厚度预测方法 | |
CN111199270A (zh) | 一种基于深度学习的区域波高预报方法及终端 | |
CN117114207B (zh) | 一种海上人员漂移轨迹预测方法 | |
CN110244689A (zh) | 一种基于判别性特征学习方法的auv自适应故障诊断方法 | |
CN113219978B (zh) | 一种基于零阶保持器的船舶路径跟踪事件触发控制方法 | |
CN111738478A (zh) | 基于随机森林算法和Adam神经网络波浪补偿预测方法 | |
CN117634661A (zh) | 一种基于自注意双向长短期记忆网络的船舶操纵运动预报方法 | |
CN114021818A (zh) | 一种考虑时空分布特征的风电功率多步预测方法 | |
CN116861617A (zh) | 一种基于IWOA-TCN-Attention模型的船舶姿态预测方法 | |
CN114936669B (zh) | 一种基于数据融合的混合船舶横摇预测方法 | |
CN116242584A (zh) | 基于bp神经网络的浮式海洋平台随船波浪测量装置 | |
Yang et al. | A ship trajectory prediction model based on ECA-BiGRU | |
CN116026325A (zh) | 一种基于神经过程与卡尔曼滤波的导航方法及相关装置 | |
CN114942480A (zh) | 基于信息感知注意力动态协同网络的海洋站风速预报方法 | |
CN109711022B (zh) | 一种基于深度学习的潜艇抗沉系统 | |
CN116788472A (zh) | 一种基于sca-hho-gru模型的船舶姿态预测方法 | |
Zhang et al. | Comparison and Evaluation of Learning Capabilities of Deep Learning Methods for Predicting Ship Motions | |
Xun et al. | Multi-direction prediction based on SALSTM model for ship motion | |
Zhang et al. | A novel approach based on LSTM and self-attention mechanism for vessel trajectory prediction | |
CN116405368B (zh) | 一种高维不平衡数据条件下的网络故障诊断方法、系统 | |
CN117198331B (zh) | 一种基于对数比调整的水下目标智能识别方法及系统 | |
CN117029838B (zh) | 一种水下机器人导航控制方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |