CN117114051A - 基于lstm和自注意力机制的船舶轨迹预测方法 - Google Patents
基于lstm和自注意力机制的船舶轨迹预测方法 Download PDFInfo
- Publication number
- CN117114051A CN117114051A CN202311213547.5A CN202311213547A CN117114051A CN 117114051 A CN117114051 A CN 117114051A CN 202311213547 A CN202311213547 A CN 202311213547A CN 117114051 A CN117114051 A CN 117114051A
- Authority
- CN
- China
- Prior art keywords
- self
- track
- ship
- model
- lstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000007774 longterm Effects 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000012952 Resampling Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 239000010410 layer Substances 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000002411 adverse Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 206010056292 Androgen-Insensitivity Syndrome Diseases 0.000 description 5
- 208000032382 Ischaemic stroke Diseases 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于LSTM和自注意力机制的船舶轨迹预测方法，具体包括：步骤一：采集代表船舶轨迹的AIS数据并进行预处理；步骤二：构建模型输入，具体使用三次样条插值对数据进行重采样，使用数据差分消除轨迹长期趋势，再利用滑动窗口和归一化构建模型输入；步骤三：构建基于LSTM和自注意力机制的预测模型；步骤四：训练模型，学习船舶运动潜在规律；步骤五：利用训练出的模型对船舶轨迹进行预测。本发明在对船舶轨迹数据进行预处理的前提下，使用所设计的基于LSTM和自注意力机制的预测模型进行建模，有效提升了船舶轨迹多步预测的准确率。
Description
技术领域
本发明属于船舶轨迹智能预测技术领域，特别是涉及一种基于LSTM和自注意力机制的船舶轨迹预测方法。
背景技术
当下航海事业蓬勃发展，作为最具有性价比的长途运输方式，据统计航海运输已经占据了全球所有贸易运输量的90％，但随之而来的则是船舶航行的管理难题。随着运输的船舶增多，热门港口或航道的压力不断增加，这不仅降低了运输的效率，还会提高船只之间碰撞的风险，所以需要对航行船只的轨迹进行预测，以实现对船舶的导航、调度和监管，提高安全性。AIS系统的快速发展使获得大量的船舶轨迹数据成为可能，这为船舶轨迹数据挖掘的研究，特别是船舶轨迹的预测提供了基本条件。AIS提供了大量的实时水上监控数据，包括水上移动通信业务标识码(MMSI)、船舶位置信息、船舶的对地航向和航速等。根据船舶当前的航行轨迹，充分挖掘历史数据中隐藏的重要信息，预测船舶航行轨迹，解决船舶航行的安全问题，了解国际贸易的变化和发展，具有重要的应用价值。
发明内容
发明目的：本发明的目的是构建基于LSTM和自注意力机制的船舶轨迹预测方法，实现船舶轨迹的多步预测，提高船舶轨迹预测准确率。
本发明解决其技术问题是采取以下技术方案实现的：
基于LSTM和自注意力机制的船舶轨迹预测方法，包括以下步骤：
步骤一：采集代表船舶轨迹的AIS数据并进行预处理；
步骤二：构建模型输入，具体使用三次样条插值对数据进行重采样，使用数据差分消除轨迹长期趋势，再利用滑动窗口和归一化构建模型输入；
步骤三：构建基于LSTM和自注意力机制的预测模型；
步骤四：对步骤三所构建的模型进行训练，学习船舶航行的潜在规律；
步骤五：使用步骤四所训练模型对船舶轨迹进行预测。
进一步的，步骤一对AIS数据清洗方法主要包括异常值处理，去除停留点并基于停留点进行轨迹分割。
进一步的，步骤二中所提及的模型输入构建方式如下：首先，从船舶轨迹中提取时间戳、船舶经纬度、航向和航速特征，利用三次样条插值使两连续轨迹点之间的时间间隔相同。接着，使用一阶差分移除轨迹长期趋势，即通过预测当前时刻轨迹点与下一时刻轨迹点特征差值的方式进行预测。然后，对数据进行归一化，消除奇异样本数据造成的不良影响。最后，设置模型输入轨迹长度和预测长度，使用滑动窗口产生模型输入。
进一步的，步骤三所涉及模型采用编码器和解码器的结构，以实现多步预测。
进一步的，步骤二所提出模型的编码器细节如下：首先将输入数据 送入循环神经网络层，该层由一个双向循环神经网络BiLSTM构成，得到该层隐藏层输出/>然后将Henc送入一个自注意力层进一步提取时序特征，接着由该层产生输出/>最后将Henc与/>经过线性映射得到编码器输出的中间向量/>
进一步的，步骤二所提出模型的解码器细节如下：解码器的输入为 将解码器输入Xdec送入一个循环神经网络层，该层为单层LSTM，得到输出/>然后将Hdec分别送入交叉注意力层和自注意力层，并将各自的输出/>和/>与Hdec送入各自对应的线性映射层，并进一步将两个输出送入一个统一的线性映射层，经由一个多层感知机得到最终输出。
进一步的，模型中所提及的自注意力层和交叉注意力层的计算方式相同，都是采用多头注意力机制，计算方式为：
其中，mH是主意力头的个数，/> 是对应头部查询、键值的权重，/>则用来线性拼接所有的头部Hi。区别在于自注意力层的V、Q和K皆来自于对应的循环神经网络层的输出，而交叉注意力层的V和K来自于编码器输出的中间向量C，Q则来自与它所对应的循环神经网络层的输出。
进一步的，模型中所提及的线性映射计算方式如下：
Linear(H1；H2)＝ELU(W1H1+W2H2)
其中ELU(·)为激活函数。
本发明的有益效果为：
本发明构建的基于LSTM和自注意力机制的船舶轨迹预测方法能够实现直接多步预测，解决了迭代预测模型进行多步预测时容易产生误差累积的问题；在传统循环神经网络上进行改进，引入了自注意力机制，使得每个时刻的特征能够拥有更广阔的视野，获取各个时刻的特征信息，提高预测的能力；不对预测目标进行直接预测，而是使用数据差分处理原轨迹特征，使处理后的模型输入为平稳序列，利于目标结果的预测；本发明在所构建的深度学习模型的基础上，对原始规矩数据进行相应的预处理，提高了对于轨迹的拟合能力。
附图说明
图1为本发明流程图；
图2为本发明基于LSTM和自注意力机制的船舶轨迹预测模型；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
基于LSTM和自注意力机制的船舶轨迹预测方法，包括以下步骤：
步骤一：采集代表船舶轨迹的AIS数据进行清洗，获取轨迹预测数据集。
(1)异常值处理方式。常规检测，船舶经度在-180°到180°之间，纬度范围在-90°到90°之间，船舶航速范围在0到船舶速度上限之间，船舶航向在0°到360°之间，超出规定范围即为异常值，进行去除；离群点检测，对于连续三个时刻的轨迹点，如果中间时刻的轨迹点到前后两个时刻的轨迹点的距离超过相应时间间隔×船舶速度上限，则判定为异常值。
(2)去除船舶锚点。一段连续时间内船舶速度几乎为0，且行驶距离几乎没有增加的轨迹点集视为锚点，以停泊开始时间为子轨迹段结束点，以停泊结束时间开始为另一个子轨迹段起点，对原轨迹进行分段。
(3)最终获取属于同一船舶的多条子轨迹段，提取船舶的时间戳、经纬度信息(lat、lon)、船舶航速(sog)和船舶航向(cog)，用于轨迹预测的数据集。
步骤二：构建模型输入，使用三次样条插值对数据进行重采样，使用数据差分消除轨迹长期趋势，再利用滑动窗口和归一化构建模型输入。
(1)三次样条差值。船舶各连续轨迹点之间的时间间隔不一，使用三次样条差值对轨迹数据进行重采样，使相邻轨迹点之间的时间间隔相同。
(2)数据差分。以一条长度为N的船舶轨迹为例，该轨迹用S表示，表示方法具体为：S＝{s1，s2，...，sN|si＝(lati，loni，sogi，cogi)}。经一阶差分后，可以获得一个新的时序序列 其中/>
(3)滑动窗口。设置滑动窗口大小为I+O，获得长度为I的历史序列和对应的长度为O的标签序列。
(4)数据归一化。采用(Min-Max Normalization)最小最大归一化方法对数据进行归一化，计算方式如下：
最终获得若干条用于模型的输入序列和待预测的标签序列/>
步骤三：构建基于LSTM和自注意力机制的预测模型。
(1)首先将输入数据Xenc进入循环神经网络层，该层由一个双向循环神经网络BiLSTM构成，得到该层隐藏层输出Henc。然后将Henc送入一个自注意力层用于进一步提取时序特征，接着由该层产生输出最后将Henc与/>经过线性映射得到编码器输出的中间向量C。
(2)解码器的输入为其中，对于任意时刻的输入/>为上一个时刻的预测值。将解码器输入Xdec送入一个循环神经网络层，该层为单层LSTM，得到输出Hdec。然后将Hdec分别送入交叉注意力层和自注意力层，并将各自的注意力输出/>和/>与Hdec送入各自对应的线性映射层，并进一步将两个输出送入一个统一的线性映射层，经由一个多层感知机得到最终输出。
步骤四：训练所搭建的模型。实验采用MSE作为损失函数，优化器采用Adam。对于模型参数，采用网格化搜索，其中所模型结构参数为模型隐藏节点数、多头注意力头数，多层感知机层数。模型训练参数为训练批量大小、学习率，历史轨迹长度和预测轨迹长度。
步骤五：获取模型预测结果。对于任意时刻t，模型的输出为当前时刻船舶位置(latt，lont)与下一时刻船舶位置(latt+1，lont+1)的差值需要对数据进行反差分操作以获得最终实现对于位置(latt+1，lont+1)的预测。
本发明构建的基于LSTM和自注意力机制的船舶轨迹预测方法能够实现直接多步预测，解决了迭代预测模型进行多步预测时容易产生误差累积的问题；在传统循环神经网络上进行改进，引入了自注意力机制，使得每个时刻的特征能够拥有更广阔的视野，可以获取各个时刻的特征信息，提高预测的能力；不对预测目标进行直接预测，而是使用数据差分处理原轨迹特征，使处理后的模型输入为平稳序列，利于目标结果的预测。
Claims (5)
1.基于LSTM和自注意力机制的船舶轨迹预测方法，其特征在于，包括如下步骤：
步骤一：采集代表船舶轨迹的AIS数据并进行预处理；
步骤二：构建模型输入，具体使用三次样条插值对数据进行重采样，使用数据差分消除轨迹长期趋势，再利用滑动窗口和归一化构建模型输入；
步骤三：构建基于LSTM和自注意力机制的预测模型；
步骤四：对步骤三所构建的模型进行训练，学习船舶航行的潜在规律；
步骤五：使用步骤四所训练模型对船舶轨迹进行预测。
2.根据权利要求1中所述的基于LSTM和自注意力机制的船舶轨迹预测方法，其特征在于：所述步骤二，构建模型输入的方式如下：
首先，从船舶轨迹中提取时间戳、船舶经纬度、航向和航速特征，利用三次样条插值使两连续轨迹点之间的时间间隔相同。
接着，使用一阶差分移除轨迹长期趋势，即通过预测当前时刻轨迹点与下一时刻轨迹点特征差值的方式进行预测。
然后，对数据进行归一化，消除奇异样本数据造成的不良影响。
最后，设置模型输入轨迹长度和预测长度，使用滑动窗口构建模型输入。
3.根据权利要求1中所述的基于LSTM和自注意力机制的船舶轨迹预测方法，其特征在于：步骤三所涉及的基于LSTM和自注意力机制的预测模型的细节如下：
首先，模型采用编码器和解码器的结构，以实现序列到序列的多步预测。
对于编码器，首先将输入数据送入循环神经网络层，该层由一个双向循环神经网络BiLSTM构成，得到该层隐藏层输出/> 然后将Henc送入一个自注意力层进一步提取时序特征，接着由该层产生输出/>最后将Henc与/>经过线性映射得到编码器输出的中间向量
对于解码器，解码器的输入为将解码器输入Xdec送入一个循环神经网络层，该层为单层LSTM，得到输出/> 然后将Hdec分别送入交叉注意力层和自注意力层，并将各注意力层的输出/>和与Hdec送入各自对应的线性映射层，并进一步将两个输出送入一个统一的线性映射层，经由一个多层感知机得到最终输出。
4.根据权利要求3所述的基于LSTM和自注意力机制的船舶轨迹预测方法，其特征在于：模型中所提及的自注意力层和交叉注意力层的计算方式相同，都是采用多头注意力机制，计算方式为：
其中，mH是主意力头的个数，/> 是对应头部查询、键值的权重，/>则用来线性拼接所有的头部Hi。区别在于自注意力层的V、Q和K皆来自于对应的循环神经网络层的输出，而交叉注意力层的V和K来自于编码器输出的中间向量C，Q则来自与它所对应的循环神经网络层的输出。
5.根据权利要求3所述的基于LSTM和自注意力机制的船舶轨迹预测方法，其特征在于：模型中所提及的线性映射计算方式如下：
Linear(H1；H2)＝ELU(W1H1+W2H2)
其中ELU(·)为激活函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311213547.5A CN117114051A (zh) | 2023-09-19 | 2023-09-19 | 基于lstm和自注意力机制的船舶轨迹预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311213547.5A CN117114051A (zh) | 2023-09-19 | 2023-09-19 | 基于lstm和自注意力机制的船舶轨迹预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117114051A true CN117114051A (zh) | 2023-11-24 |
Family
ID=88812834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311213547.5A Pending CN117114051A (zh) | 2023-09-19 | 2023-09-19 | 基于lstm和自注意力机制的船舶轨迹预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117114051A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117491987A (zh) * | 2023-12-29 | 2024-02-02 | 海华电子企业(中国)有限公司 | 基于lstm神经网络和时空运动距离算法的船舶轨迹拼接方法 |
-
2023
- 2023-09-19 CN CN202311213547.5A patent/CN117114051A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117491987A (zh) * | 2023-12-29 | 2024-02-02 | 海华电子企业(中国)有限公司 | 基于lstm神经网络和时空运动距离算法的船舶轨迹拼接方法 |
| CN117491987B (zh) * | 2023-12-29 | 2024-04-09 | 海华电子企业(中国)有限公司 | 基于lstm神经网络和时空运动距离算法的船舶轨迹拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112257850B (zh) | 一种基于生成对抗网络的车辆轨迹预测方法 | |
| Gao et al. | Ship-handling behavior pattern recognition using AIS sub-trajectory clustering analysis based on the T-SNE and spectral clustering algorithms | |
| CN113032502B (zh) | 一种基于改进轨迹段dbscan聚类的船舶异常检测方法 | |
| CN117114051A (zh) | 基于lstm和自注意力机制的船舶轨迹预测方法 | |
| CN113312438B (zh) | 融合航线提取与趋势判断的海上目标位置预测方法 | |
| CN111382686B (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
| CN103258427A (zh) | 基于信息物理网络的城市快速路交通实时监控系统与方法 | |
| CN113240199B (zh) | 基于dilate_tlstm的港口船舶轨迹预测方法 | |
| CN115618251B (zh) | 船舶轨迹预测方法、装置、电子设备及存储介质 | |
| CN116342657B (zh) | 一种基于编码-解码结构的tcn-gru船舶轨迹预测方法、系统、设备及介质 | |
| CN113658423B (zh) | 基于循环门控单元的车辆轨迹异常检测方法 | |
| CN112785077A (zh) | 基于时空数据的出行需求预测方法及系统 | |
| CN114429189A (zh) | 一种高泛用性滑坡位移速率预警方法 | |
| Pan et al. | Unsupervised fault detection with a decision fusion method based on Bayesian in the pumping unit | |
| CN113393027B (zh) | 一种基于深度学习的航标漂移智能预测方法 | |
| CN117141518A (zh) | 一种基于意图感知时空注意网络的车辆轨迹预测方法 | |
| Eljabu et al. | Anomaly detection in maritime domain based on spatio-temporal analysis of ais data using graph neural networks | |
| CN114550498A (zh) | 一种海量ais数据驱动的船舶偏离航道智能预警系统 | |
| CN113674525B (zh) | 基于稀疏数据的信号交叉口车辆排队长度预测方法 | |
| Xu et al. | Improved Vessel Trajectory Prediction Model Based on Stacked‐BiGRUs | |
| CN112927507A (zh) | 一种基于LSTM-Attention的交通流量预测方法 | |
| CN117312891A (zh) | 一种基于船舶数据的轨迹预测方法 | |
| CN116541708A (zh) | 融合数据质量控制和Transformer网络的船舶航迹预测方法及系统 | |
| CN113962460A (zh) | 基于时空对比自监督的城市细粒度流量预测方法及系统 | |
| Liu et al. | Extraction of hottest shipping routes: From positioning data to intelligent surveillance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |