CN110232319A - 一种基于深度学习的船舶行为识别方法 - Google Patents
一种基于深度学习的船舶行为识别方法 Download PDFInfo
- Publication number
- CN110232319A CN110232319A CN201910376075.2A CN201910376075A CN110232319A CN 110232319 A CN110232319 A CN 110232319A CN 201910376075 A CN201910376075 A CN 201910376075A CN 110232319 A CN110232319 A CN 110232319A
- Authority
- CN
- China
- Prior art keywords
- data
- ship
- feature
- distance
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000000694 effects Effects 0.000 title abstract description 8
- 230000006399 behavior Effects 0.000 claims abstract description 59
- 238000013461 design Methods 0.000 claims abstract description 21
- 230000006403 short-term memory Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 230000007774 longterm Effects 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 25
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000004873 anchoring Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于深度学习的船舶行为识别方法，属于模式识别领域。本发明可以在智能海洋监测，船舶智能监管等领域应用。具体包括：步骤S1：获取原始船舶轨迹数据，通过数据预处理以及轨迹分割方法自建船舶行为识别数据集；步骤S2：设计多尺度卷积模块与长短期记忆网络级联的船舶行为识别网络，使用自建船舶行为识别数据集训练的船舶行为识别网络，实现对船舶轨迹数据的行为识别。采用本发明的技术方案，将船舶行为识别技术应用到船舶监管领域中，从海量的船舶轨迹数据中自动分析船舶的行为，可以对近海海洋的船舶行为活动进行有效的取证和监管，来替代低效的人为查验模式。整体方案具有设备依赖性低、识别准确率高以及识别速度快等特点。
Description
技术领域
本发明涉及船舶行为模式识别技术领域，尤其涉及一种基于深度学习的船舶行为识别方法。
背景技术
我国拥有丰富的海洋资源与港口资源，随着人们对海洋资源的进一步开发和利用，各类船舶数量日益增加，海上交通活动日益频繁，存在着各种利用船舶进行非法活动的行为，包括走私、非法移民，非法捕鱼等。船舶自动识别系统(Automatic IdentificationSystem，AIS)是一种新型助航系统，可以帮助有关部门协调海洋交通，监管海洋活动。比如，在海洋牧场禁渔期，可以根据AIS数据来分析是否有非法捕鱼行为。目前，排水量100吨以上的船舶大多数已经安装了AIS设备，虽然可以近实时的获取船舶的位置、速度、船号等信息，但是还缺乏对AIS数据的分析，对近海海洋非法行为取证及监管的有效方法。随着数据的爆炸式增长，采用传统人工查验的模式效率太低，给相关部门的监管带来了很大的挑战。所以从海量的AIS数据中自动分析船舶的行为以及状态变化规律等有价值的信息，为有关部门处理和决策提供辅助与依据，已经成为了海上交通研究的热点问题。
现有技术的船舶行为识别方法主要存在以下三个问题：
1、需要手工设计特征，容易忽略很多有效信息；
2、计算开销依赖于所建立的模型，非常耗时；
3、噪声对聚类方法的分布干扰较大，阈值设置具有很强的主观因素。
故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。
发明内容
有鉴于此，确有必要提供一种基于深度学习的船舶行为识别方法，在自建船舶行为识别数据集上使用深度学习方法自动学习AIS数据中的语义特征信息，再引入时序特征信息学习模块，缓解了数据噪声对识别方法的影响，提高了识别方法对场景的适应能力，解决了传统识别方法在设置参数上的难题，并能够实现近实时的船舶行为识别。
为了克服现有技术的缺陷，本发明的技术方案如下：
一种基于深度学习的船舶行为识别方法，包括以下步骤：
步骤S1：通过数据预处理以及轨迹分割方法自建船舶行为识别数据集；
步骤S2：设计多尺度卷积模块与长短期记忆网络级联的船舶行为识别网络，训练并实现对船舶的行为识别；
其中，步骤S1进一步包括：
步骤S11：获取大规模船舶AIS数据，选取AIS数据中具有行为判别力的信息，作为特征；选取特征包含基准时间t，经度x，纬度y以及对地速度v，对地航向c，定义AIS中的某一点Pi＝(ti,xi,yi,vi,ci)；
步骤S12：根据船舶运动特性以及特征的物理意义，通过位置异常处理方法与速度异常处理方法对步骤S11得到的AIS数据中的异常数据进行处理，缓解数据对方法结果的影响；该步骤进一步包括：
步骤S121：由于船舶的航线相对稳定，位置异常点一般会明显偏离航线。已知当前点Pi的前后两点Pi-1与Pi+1，则该点不会超过以Pi-1和Pi+1两点为焦点，以两点的时间间隔Δt乘上最大速度vm的值为长轴的椭圆范围内；若该点的位置在范围之外，则认为该点的位置异常，将点Pi替换为点Pi-1与Pi+1的连线的中点；
步骤S122：根据当前点Pi与前一点Pi-1的速度之间的差值来检测速度异常；如果速度差值大于阈值，则通过比较两点之间的距离是否大于两点之间较大速度乘上两点的时间间隔Δt的值；若大于，则判定该点的速度异常，将速度设置为两点之间行驶的平均速度；
步骤13：使用多特征融合距离的方法来切割AIS轨迹数据；使用d(a,b)表示a，b两点之间的距离，并计算两点各个特征之间的距离，包括时间距离dt、空间距离ds、速度距离dv以及航向距离dc：
其中，Pi(＜T＞)表示点i的特征＜T＞的值，t表示时间，v表示对地速度，c表示对地航向；Pa(x)与Pa(y)分别表示a点的经度与纬度；可以得到a与b两点之间的多特征融合距离：
d(a,b)＝ωt×dt(a,b)+ωs×ds(a,b)+ωv×dv(a,b)+ωc×dc(a,b)
其中，ωt，ωs，ωv，ωc分别为各个特征距离的权重；
步骤S14：采用固定长度的方式来划分运动轨迹；通过步骤S13可以得到的两点之间的多特征融合距离，对该距离进行判别，若距离大于设定阈值时，则将第二个点设置为切割点；得到若干个有序的切割点，遍历所有切割点，若两个切割点之间的距离大于64，则取两点之间连续的64个点作为一段行为轨迹数据集；
步骤S15：步骤S14得到的轨迹片段的不同的特征代表的物理意义不同，选取经度、纬度、对地速度以及对地航向四个特征，使用归一化处理的方法，使数据分布在[0,1]之间：
其中，Pi(＜T＞)表示点i的特征＜T＞的值，max＜T＞表示特征＜T＞的最大值，min＜T＞表示特征＜T＞的最小值；
步骤S16：将步骤S15得到的轨迹片段，根据AIS数据中对应的状态值进行标注，标注的行为类别分别为正常航行，捕鱼，锚泊，系泊，并将数据按照一定比例划分为训练集和测试集；
其中，步骤S2进一步包括：
步骤S21：设计并使用基于AIS数据的卷积作为数据特征提取的基本操作，通过引入多尺度卷积模块以及通道加权来增强网络对特征的表达能力；该步骤进一步包括：
步骤S211：考虑到二维卷积会对AIS数据特征信息造成损失，使用一维卷积对固定长度的AIS序列进行特征提取；
步骤S212：设计多尺度卷积提高模型对特征的表达能力，卷积模块有四个通道，其中一个通道传入原始特征信号，另外三个通道的一维卷积核大小分别为2,3和5，每个通道有两层相同的卷积；第一层卷积可以学习AIS数据特征之间的局部相关性，第二层卷积可以增加网络的非线性，扩大信息的感受野，提高特征的表达能力；
步骤S213：设计基于AIS数据的SE操作，对数据中的每个特征进行通道加权，通过显式地构建特征通道的相互依赖关系来提高网络的表达能力；定义输入为U＝[u1,u2,...,uN]，其中N表示数据的特征数量，u为该特征在时间长度 T上的向量；使用squeeze操作得到一个通道相关的统计信息s＝[s1,s2,...,sN]：
使用excitation操作得到一个具有特征通道依赖性权重的向量w：
w＝Fex(s,W)＝σ(W2δ(W1s))
其中，W1与W2分别表示两个全连接层的参数；σ为sigmoid函数，δ为 ReLU激活函数；最后将d与原有特征结合得到输出U′＝[u′1,u′2,...,u′N]：
u′n＝Fscale(un,wn)＝wn·un
其中·表示两个向量的乘积；
步骤S214：语义特征学习分支有三层卷积模块，前两个卷积模块为步骤 S211中的一维卷积加上批标准化层以及激活函数ReLU再加上步骤S213的SE 操作；第三层卷积为步骤S212中得到的多尺度卷积层，该多尺度卷积层每条分支有两层卷积；多尺度卷积的多个通道级联后得到的特征经过池化层，最终得到一个一维向量；
步骤S22：考虑到长短期记忆网络LSTM在处理序列数据时优异的特征学习能力，使用LSTM作为网络的时序特征学习分支，并与语义特征学习分支合并得到最终的船舶行为识别网络；该步骤进一步包括：
步骤221：时序特征学习分支首先通过维度变换层，将维度变换后的向量输入LSTM网络；LSTM核心内部有三个控制门，分别为输入门、输出门以及遗忘门,ht表示t时刻LSTM内部的隐含状态，t时刻的输入pt和上一时刻隐含状态ht-1共同决定当前时刻的遗忘单元Ft、输入单元It、输出单元Ot以及中间单元Gt：
Ft＝σ(wfpt+ufht-1+bf)
It＝σ(wipt+uiht-1+bi)
Ot＝σ(wopt+uoht-1+bo)
Gt＝tanh(wgpt+ught-1+bg)
其中，wf，wi，wo，wg分别为遗忘门，输入门，输出门以及中间状态与输入pt相乘时的权重，bf，bi，bo，bg分别为遗忘门、输入门、输出门以及中间状态与输入pt相乘时的偏置；σ(·)表示sigmoid函数；当前时刻记忆单元中的保留状态St与隐含状态ht：
St＝Gt⊙It+St-1⊙Ft
ht＝tanh(St)⊙Ot
其中，⊙表示矩阵对应元素相乘；最后LSTM的输出通过dropout层，输出一个一维向量；
步骤222：将步骤S221得到的时序特征一维向量与步骤S21得到的语义特征一维向量合并，再通过全连接层提取特征，最后使用softmax分类器进行分类；
步骤23：使用步骤S1得到的船舶行为识别数据集对步骤S22得到的船舶行为识别网络进行训练，通过测试集验证模型的有效性，得到最终的船舶行为识别网络；
与现有技术相比较，本发明具有的有益效果：
实用性：本发明利用基于AIS系统的船舶行为识别数据集训练得到的船舶行为识别模型，提高了AIS数据的利用效率，解决了在海量数据集中分析数据特征耗时长，设计模型参数复杂的问题；设计简单高效的船舶行为识别框架，降低了场景的复杂度，提高了模型复现性，具有实际应用意义；
适应性：本发明使用深度学习网络对船舶运动模式进行建模，能够更好的学习船舶的运动规律以及数据特征，提高了系统的自适应能力；本发明通过深度网络对船舶AIS数据进行特征提取，避免了手工设计特征对场景泛化能力不足的问题，缓解了行为信息丢失的问题；
稳定性：本发明使用了效果稳定的行为识别网络，通过数据异常以及设计轨迹分割的策略，有效的减少了数据噪声对识别结果的影响，提高了识别系统的稳定性；
附图说明
图1为本发明提供的一种基于深度学习的船舶行为识别方法的整体框架流程图；
如下具体实施例将结合上述附图进一步说明本发明。
具体实施方式
以下将结合附图对本发明提供的技术方案作进一步说明。
参见图1，本发明提供一种基于深度学习的船舶行为识别方法，图1所示为本发明基于深度学习的船舶行为识别方法的整体架构图，整体而言，本发明包括2大步骤，步骤S1：通过数据预处理以及轨迹分割方法自建船舶行为识别数据集；步骤S2：设计船舶行为识别网络，使用步骤S1的数据集训练，实现对船舶行为的识别；
步骤S1基于船舶自动识别系统AIS数据，利用位置异常处理方法和速度异常处理方法处理数据中的异常数据，降低了数据噪声对网络结果的影响；船舶的行为变化时通常会发生速度或航向的变化，或者是进入某个特定的区域发生的，所以提出基于多特征融合的距离度量方法，可以判别不同行为之间的差异，增加数据的判别力。
图1中数据层部分为本发明提供的一种基于深度学习的船舶行为识别方法中上述步骤S1的框架流程图，其进一步包括以下步骤：
步骤S11：获取大规模的船舶AIS数据，选取具有判别力的特征，包括经度，纬度，对地速度以及对地航向，选取基准时间作为数据处理中用到的时间信息，所以定义数据点为Pi＝(ti,xi,yi,vi,ci)；
步骤S12：通过位置异常处理方法和速度异常处理方法对步骤S11得到的 AIS数据进行异常处理；其进一步包括：
步骤S121：由于船舶的航线相对稳定，位置异常点一般会明显偏离航线。已知当前点Pi的前后两点Pi-1与Pi+1，则该点不会超过以Pi-1和Pi+1两点为焦点，以两点的时间间隔Δt乘上最大速度vm的值为长轴的椭圆范围内；若该点的位置在范围之外，则认为该点的位置异常，将点Pi替换为点Pi-1与Pi+1的连线的中点；
步骤S122：根据当前点Pi与前一点Pi-1的速度之间的差值来检测速度异常；如果速度差值大于阈值，则通过比较两点之间的距离是否大于两点之间较大速度乘上两点的时间间隔Δt的值；若大于，则判定该点的速度异常，将速度设置为两点之间行驶的平均速度；
步骤S13：设计多特征融合距离，来判别船舶行为是否改变；使用d(a,b) 表示a，b两点之间的距离，并计算两点各个特征之间的距离，包括时间距离dt、空间距离ds、速度距离dv以及航向距离dc：
其中，Pi(＜T＞)表示点i的特征＜T＞的值，t表示时间，v表示对地速度，c表示对地航向；Pa(x)与Pa(y)分别表示a点的经度与纬度；可以得到a与b两点之间的多特征融合距离：
d(a,b)＝ωt×dt(a,b)+ωs×ds(a,b)+ωv×dv(a,b)+ωc×dc(a,b)
其中，ωt，ωs，ωv，ωc分别为各个特征距离的权重；
步骤S14：通过步骤S13得到某段AIS轨迹中相邻两点之间的多特征融合距离，对该距离进行判别，若距离大于设定阈值时，则将第二个点设置为切割点；得到若干个有序的切割点，按照时间顺序遍历所有切割点，若两个切割点之间的距离大于64，则取两点之间连续的64个点作为一个行为轨迹数据；
步骤S15：步骤S14得到的轨迹数据的不同的特征代表的物理意义不同，使用归一化处理的方法，使数据分布在[0,1]之间：
其中，Pi(＜T＞)表示点i的特征＜T＞的值，max＜T＞表示特征＜T＞的最大值，min＜T＞表示特征＜T＞的最小值；
步骤S16：将步骤S15得到的轨迹数据，根据AIS数据中对应的状态值进行标注，标注的行为类别分别为正常航行，捕鱼，锚泊，系泊，并将数据按照一定比例划分为训练集和测试集；
参见图1中网络层以及测试层，本发明一种基于深度学习的船舶行为识别方法中步骤S2进一步包括以下步骤：
步骤S21：设计并使用基于AIS数据的卷积作为数据特征提取的基本操作，通过引入多尺度卷积模块以及通道加权来增强网络对特征的表达能力；其进一步包括以下步骤：
步骤S211：使用一维卷积对固定长度的AIS序列进行特征提取；
步骤S212：设计多尺度卷积提高模型对特征的表达能力，卷积模块有四个通道，其中一个通道传入原始特征信号，另外三个通道的一维卷积核大小分别为2,3和5，大尺寸的卷积可以学习特征的对称性，小尺寸的卷积可以学习特征的局部特性；每个通道有两层相同的卷积；第一层卷积可以学习AIS数据特征之间的局部相关性，第二层卷积可以增加网络的非线性，扩大信息的感受野，提高特征的表达能力；
步骤S213：设计基于AIS数据的SE操作，对数据中的每个特征进行通道加权，通过显式地构建特征通道的相互依赖关系来提高网络的表达能力；定义输入为U＝[u1,u2,...,uN]，其中N表示数据的特征数量，u为该特征在时间长度 T上的向量；使用squeeze操作得到一个通道相关的统计信息s＝[s1,s2,...,sN]：
使用excitation操作得到一个具有特征通道依赖性权重的向量w：
w＝Fex(s,W)＝σ(W2δ(W1s))
其中，W1与W2分别表示两个全连接层的参数；σ为sigmoid函数，δ为ReLU激活函数；最后将d与原有特征结合得到输出U′＝[u′1,u′2,...,u′N]：
u′n＝Fscale(un,wn)＝wn·un
其中·表示两个向量的乘积；
步骤S214：设计一个有三层卷积模块的语义特征学习分支，前两个卷积模块层的堆叠顺序分别为：步骤S211中的一维卷积，批标准化层，激活函数 ReLU，步骤S213中的SE操作；第三层卷积为步骤S212中的多尺度卷积层；多尺度卷积的多个通道级联后得到的特征经过池化层，最终得到一个一维向量；
步骤S22：设计了一个基于长短期记忆网络LSTM的时序特征学习分支，并与语义特征学习分支合并得到最终的船舶行为识别网络；其进一步包括以下步骤：
步骤S221：时序特征学习分支首先通过维度变换层，将维度变换后的向量输入LSTM网络；LSTM核心内部有三个控制门，分别为输入门、输出门以及遗忘门,ht表示t时刻LSTM内部的隐含状态，t时刻的输入pt和上一时刻隐含状态ht-1共同决定当前时刻的遗忘单元Ft、输入单元It、输出单元Ot以及中间单元Gt：
Ft＝σ(wfpt+ufht-1+bf)
It＝σ(wipt+uiht-1+bi)
Ot＝σ(wopt+uoht-1+bo)
Gt＝tanh(wgpt+ught-1+bg)
其中，wf，wi，wo，wg分别为遗忘门，输入门，输出门以及中间状态与输入pt相乘时的权重，bf，bi，bo，bg分别为遗忘门、输入门、输出门以及中间状态与输入pt相乘时的偏置；σ(·)表示sigmoid函数；当前时刻记忆单元中的保留状态St与隐含状态ht：
St＝Gt⊙It+St-1⊙Ft
ht＝tanh(St)⊙Ot
其中，⊙表示矩阵对应元素相乘；最后LSTM的输出通过dropout层，输出一个一维向量；
步骤S222：将步骤S221得到的时序特征一维向量与步骤S21得到的语义特征一维向量合并，再通过全连接层提取特征，最后使用softmax分类器进行分类；
步骤S23：使用步骤S1得到的船舶行为识别数据集对步骤S22得到的船舶行为识别网络进行训练，通过测试集验证模型的有效性，得到最终的船舶行为识别网络；
与现有技术相比，本发明具有如下技术效果：(1)基于多尺度卷积技术，丰富了特征提取层的感受野，增强了网络对不同长度的特征片段的适应能力； (2)针对船舶AIS数据特点，引入基于AIS的SE操作，通过通道加权的思想，显示地构建特征通道之间的依赖关系，提高了模型的特征表达能力，进而提高了模型的识别准确率；(3)网络能够自动学习数据特征，解决了手工设计特征的耗时问题，避免了设置大量的模型参数；(4)方法整体框架简单，具有较低的算法复杂度，提高了模型的复现性。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (1)
1.一种基于深度学习的船舶行为识别方法，其特征在于，包括以下步骤：
步骤S1：获取原始船舶轨迹数据，通过数据预处理以及轨迹分割方法自建船舶行为识别数据集；
步骤S2：设计多尺度卷积模块与长短期记忆网络级联的船舶行为识别网络，使用自建船舶行为识别数据集训练的船舶行为识别网络，实现对船舶轨迹数据的行为识别；
其中，所述步骤S1进一步包括：
步骤S11：选取AIS(Automatic Identification System)数据的具有行为判别力的信息，作为数据的特征；选取特征为基准时间，经度，纬度以及对地速度，对地航向作为数据的特征，其中，基准时间仅在数据预处理阶段使用；
步骤S12：通过位置异常处理方法与速度异常处理方法对步骤S11得到的AIS数据中的异常数据进行处理；
其中，所述步骤S12进一步包括：
步骤S121：对位置明显偏离航线的AIS数据点进行位置异常处理，先将异常点删除，再使用插入中值的方法将失去的点近似还原；
步骤S122：对速度明显异常的AIS数据点进行速度异常处理，将船舶行为距离与根据速度计算的距离进行比较，根据差值的置信区间来判别速度是否发生异常；
步骤S13：使用多特征距离融合的方法来描述a，b两个数据点之间的距离，包括时间距离dt、空间距离ds、速度距离dv以及航向距离dc；
其中，Pi(＜T＞)表示点i的特征＜T＞的值，t表示时间，v表示对地速度，c表示对地航向；Pa(x)与Pa(y)分别表示a点的经度与纬度；a与b两点之间的多特征融合距离：
d(a,b)＝ωt×dt(a,b)+ωs×ds(a,b)+ωv×dv(a,b)+ωc×dc(a,b)
其中，ωt，ωs，ωv，ωc分别为各个特征距离的权重；
步骤S14：采用固定长度的方式来划分运动轨迹；通过判别步骤S13得到的两点之间的距离，若距离大于设定阈值时，则将第二个点设置为切割点；若两个切割点之间的距离大于64，则取两点之间连续的64个点作为一段轨迹数据集；
步骤S15：归一化处理；通过步骤S14得到若干轨迹数据集后，选择经度、纬度、对地速度、对地航向作为数据特征，对其进行归一化处理，让数据分布在[0,1]之间：
其中，Pi(＜T＞)表示点i的特征＜T＞的值，max＜T＞表示特征＜T＞的最大值，min＜T＞表示特征＜T＞的最小值；x，y，v，c分别表示经度，纬度，对地速度以及对地航向；
步骤S16：将步骤S15得到的轨迹片段，根据AIS数据中对应的状态值进行标注，标注的行为类别分别为正常航行，捕鱼，锚泊，系泊，并将数据按照一定比例划分为训练集和测试集；
其中，所述步骤S2进一步包括：
步骤S21：根据AIS数据的特性，设计基于AIS数据的卷积操作，多尺度卷积模块以及通道加权模块；
所述步骤S21进一步包括：
步骤S211：设计基于AIS数据的卷积操作，使用一维卷积操作对固定长度的时间序列进行特征提取；
步骤S212：设计多尺度卷积提高模型对特征的表达能力，卷积模块有四个通道，其中一个通道传入原始特征信号，另外三个通道的一维卷积核大小分别为2,3和5；
步骤S213：设计基于AIS数据的SE(squeeze-and-excitation)操作，对数据中的每个特征进行通道加权，通过显式地构建特征通道的相互依赖关系来提高网络的表达能力；定义输入为U＝[u1,u2,...,uN]，其中N表示数据的特征数量，u为该特征在时间长度T上的向量；使用squeeze操作得到一个通道相关的统计信息s＝[s1,s2,...,sN]：
使用excitation操作得到一个具有特征通道依赖性权重的向量w：
w＝Fex(s,W)＝σ(W2δ(W1s))
其中，W1与W2分别表示两个全连接层的参数；σ为sigmoid函数，δ为ReLU(RectifiedLinear Unit)激活函数；最后将d与原有特征结合得到输出U′＝[u′1,u′2,...,u′N]：
u′n＝Fscale(un,wn)＝wn·un
其中·表示两个向量的乘积；
步骤S214：语义特征学习分支有三层卷积模块，前两个卷积模块为步骤S211中的一维卷积加上批标准化层以及激活函数ReLU再加上步骤S213的SE操作；第三层卷积为步骤S212中得到的多尺度卷积层，该多尺度卷积层每条分支有两层卷积；多尺度卷积的多个通道级联后得到的特征经过池化层，最终得到一个一维向量；
步骤S22：使用长短期记忆网络LSTM(long short-term memory)作为网络的时序特征学习分支；
所述步骤S22进一步包括：
步骤S221：时序特征学习分支首先通过维度变换层，将维度变换后的向量输入LSTM网络；LSTM核心内部有三个控制门，分别为输入门、输出门以及遗忘门,ht表示t时刻LSTM内部的隐含状态，t时刻的输入pt和上一时刻隐含状态ht-1共同决定当前时刻的遗忘单元Ft、输入单元It、输出单元Ot以及中间单元Gt：
Ft＝σ(wfpt+ufht-1+bf)
It＝σ(wipt+uiht-1+bi)
Ot＝σ(wopt+uoht-1+bo)
Gt＝tanh(wgpt+ught-1+bg)
其中，wf，wi，wo，wg分别为遗忘门，输入门，输出门以及中间状态与输入pt相乘时的权重，bf，bi，bo，bg分别为遗忘门、输入门、输出门以及中间状态与输入pt相乘时的偏置；σ(·)表示sigmoid函数；当前时刻记忆单元中的保留状态St与隐含状态ht：
St＝Gt⊙It+St-1⊙Ft
ht＝tanh(St)⊙Ot
其中，⊙表示矩阵对应元素相乘；最后LSTM的输出通过dropout层，输出一个一维向量；
步骤S222：将步骤S21得到的语义特征向量与S222得到的时序特征向量合并为一维向量，再通过全连接层，最后使用softmax分类器进行分类；
步骤S23：使用步骤S1得到船舶行为识别数据集对步骤S22得到的船舶行为识别网络进行训练，得到最终船舶识别网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910376075.2A CN110232319B (zh) | 2019-05-07 | 2019-05-07 | 一种基于深度学习的船舶行为识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910376075.2A CN110232319B (zh) | 2019-05-07 | 2019-05-07 | 一种基于深度学习的船舶行为识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232319A true CN110232319A (zh) | 2019-09-13 |
| CN110232319B CN110232319B (zh) | 2021-04-06 |
Family
ID=67860617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910376075.2A Active CN110232319B (zh) | 2019-05-07 | 2019-05-07 | 一种基于深度学习的船舶行为识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232319B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781266A (zh) * | 2019-09-16 | 2020-02-11 | 北京航空航天大学 | 一种基于时空因果关系的城市感知数据处理方法 |
| CN110866477A (zh) * | 2019-11-06 | 2020-03-06 | 中国人民解放军战略支援部队信息工程大学 | 一种轨迹运动模式识别方法及装置 |
| CN111178267A (zh) * | 2019-12-30 | 2020-05-19 | 成都数之联科技有限公司 | 一种用于监测非法捕鱼的视频行为识别方法 |
| CN111368690A (zh) * | 2020-02-28 | 2020-07-03 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及系统 |
| CN111694913A (zh) * | 2020-06-05 | 2020-09-22 | 海南大学 | 一种基于卷积自编码器的船舶ais轨迹聚类方法和装置 |
| CN112948969A (zh) * | 2021-03-01 | 2021-06-11 | 哈尔滨工程大学 | 一种基于lstmc混合网络的船舶横摇预测方法 |
| CN112988849A (zh) * | 2021-04-27 | 2021-06-18 | 北京航空航天大学 | 一种交通轨迹模式分布式挖掘方法 |
| CN113627359A (zh) * | 2021-08-13 | 2021-11-09 | 上海磐启微电子有限公司 | 一种基于双向长短时神经网络的渔船行为智能监控算法 |
| CN113837461A (zh) * | 2021-09-18 | 2021-12-24 | 海南大学 | 一种基于lstm网络的船舶轨迹预测方法 |
| CN114154619A (zh) * | 2021-11-15 | 2022-03-08 | 哈尔滨工程大学 | 一种基于cnn和bilstm的船舶轨迹预测方法 |
| CN114155491A (zh) * | 2021-12-09 | 2022-03-08 | 杭州电子科技大学 | 一种基于ais数据的船舶行为识别方法及系统 |
| CN114550497A (zh) * | 2022-02-14 | 2022-05-27 | 武汉理工大学 | 船舶行为的语义计算方法及装置 |
| CN114943050A (zh) * | 2022-03-24 | 2022-08-26 | 大连海事大学 | 一种船舶时空轨迹异常识别方法 |
| CN115512152A (zh) * | 2022-09-08 | 2022-12-23 | 武汉大学 | 一种cnn和lstm神经网络组合的船舶轨迹分类方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117883A (zh) * | 2018-08-13 | 2019-01-01 | 上海海洋大学 | 基于长短时记忆网络的sar影像海冰分类方法及系统 |
| CN109299671A (zh) * | 2018-09-04 | 2019-02-01 | 上海海事大学 | 一种级联式由粗到精的卷积神经网络船舶类型识别方法 |
-
2019
- 2019-05-07 CN CN201910376075.2A patent/CN110232319B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117883A (zh) * | 2018-08-13 | 2019-01-01 | 上海海洋大学 | 基于长短时记忆网络的sar影像海冰分类方法及系统 |
| CN109299671A (zh) * | 2018-09-04 | 2019-02-01 | 上海海事大学 | 一种级联式由粗到精的卷积神经网络船舶类型识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| HU JIE等: "《Squeeze-and-Excitation Networks》", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| KRAUS P等: "《Ship classification based on trajectory data with machine-learning methods》", 《2018 19TH INTERNATIONAL RADAR SYMPOSIUM (IRS)》 * |
| MAO SHANGBO等: "《An Automatic Identification System (AIS) Database for Maritime Trajectory Prediction and Data Mining》", 《PROCEEDINGS OF ELM-2016》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781266A (zh) * | 2019-09-16 | 2020-02-11 | 北京航空航天大学 | 一种基于时空因果关系的城市感知数据处理方法 |
| CN110866477A (zh) * | 2019-11-06 | 2020-03-06 | 中国人民解放军战略支援部队信息工程大学 | 一种轨迹运动模式识别方法及装置 |
| CN111178267A (zh) * | 2019-12-30 | 2020-05-19 | 成都数之联科技有限公司 | 一种用于监测非法捕鱼的视频行为识别方法 |
| CN111368690A (zh) * | 2020-02-28 | 2020-07-03 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及系统 |
| CN111694913A (zh) * | 2020-06-05 | 2020-09-22 | 海南大学 | 一种基于卷积自编码器的船舶ais轨迹聚类方法和装置 |
| CN112948969B (zh) * | 2021-03-01 | 2022-07-15 | 哈尔滨工程大学 | 一种基于lstmc混合网络的船舶横摇预测方法 |
| CN112948969A (zh) * | 2021-03-01 | 2021-06-11 | 哈尔滨工程大学 | 一种基于lstmc混合网络的船舶横摇预测方法 |
| CN112988849A (zh) * | 2021-04-27 | 2021-06-18 | 北京航空航天大学 | 一种交通轨迹模式分布式挖掘方法 |
| CN113627359A (zh) * | 2021-08-13 | 2021-11-09 | 上海磐启微电子有限公司 | 一种基于双向长短时神经网络的渔船行为智能监控算法 |
| CN113837461B (zh) * | 2021-09-18 | 2023-07-25 | 海南大学 | 一种基于lstm网络的船舶轨迹预测方法 |
| CN113837461A (zh) * | 2021-09-18 | 2021-12-24 | 海南大学 | 一种基于lstm网络的船舶轨迹预测方法 |
| CN114154619A (zh) * | 2021-11-15 | 2022-03-08 | 哈尔滨工程大学 | 一种基于cnn和bilstm的船舶轨迹预测方法 |
| CN114155491A (zh) * | 2021-12-09 | 2022-03-08 | 杭州电子科技大学 | 一种基于ais数据的船舶行为识别方法及系统 |
| CN114155491B (zh) * | 2021-12-09 | 2024-04-23 | 杭州电子科技大学 | 一种基于ais数据的船舶行为识别方法及系统 |
| CN114550497A (zh) * | 2022-02-14 | 2022-05-27 | 武汉理工大学 | 船舶行为的语义计算方法及装置 |
| CN114943050A (zh) * | 2022-03-24 | 2022-08-26 | 大连海事大学 | 一种船舶时空轨迹异常识别方法 |
| CN114943050B (zh) * | 2022-03-24 | 2024-08-16 | 大连海事大学 | 一种船舶时空轨迹异常识别方法 |
| CN115512152A (zh) * | 2022-09-08 | 2022-12-23 | 武汉大学 | 一种cnn和lstm神经网络组合的船舶轨迹分类方法及系统 |
| CN115512152B (zh) * | 2022-09-08 | 2024-09-13 | 武汉大学 | 一种cnn和lstm神经网络组合的船舶轨迹分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232319B (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232319A (zh) | 一种基于深度学习的船舶行为识别方法 | |
| CN108388927B (zh) | 基于深度卷积孪生网络的小样本极化sar地物分类方法 | |
| CN111428789A (zh) | 一种基于深度学习的网络流量异常检测方法 | |
| CN111553193A (zh) | 一种基于轻量级深层神经网络的视觉slam闭环检测方法 | |
| Pang et al. | Time-frequency supervised contrastive learning via pseudo-labeling: An unsupervised domain adaptation network for rolling bearing fault diagnosis under time-varying speeds | |
| Montalbo et al. | Classification of fish species with augmented data using deep convolutional neural network | |
| CN110084151A (zh) | 基于非局部网络深度学习的视频异常行为判别方法 | |
| CN111611847A (zh) | 基于尺度注意力空洞卷积网络的视频动作检测方法 | |
| CN108133172A (zh) | 视频中运动对象分类的方法、车流量的分析方法及装置 | |
| CN115512152B (zh) | 一种cnn和lstm神经网络组合的船舶轨迹分类方法及系统 | |
| CN109581339B (zh) | 一种基于头脑风暴自动调整自编码网络的声呐识别方法 | |
| CN112087442B (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
| CN113269121B (zh) | 一种基于融合cnn模型的渔船捕捞状态识别方法 | |
| CN111161315A (zh) | 一种基于图神经网络的多目标跟踪方法和系统 | |
| CN109376613A (zh) | 基于大数据和深度学习技术的视频智能监控系统 | |
| CN115830531A (zh) | 一种基于残差多通道注意力多特征融合的行人重识别方法 | |
| CN109376736A (zh) | 一种基于深度卷积神经网络的视频小目标检测方法 | |
| CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
| CN114155446A (zh) | 一种基于语义特征向量的渔船类型识别方法 | |
| Li et al. | A novel anomaly detection method for digital twin data using deconvolution operation with attention mechanism | |
| CN114882069A (zh) | 基于lstm网络和注意力机制的出租车轨迹异常检测方法 | |
| Bui et al. | Big data analytics-based urban traffic prediction using deep learning in ITS | |
| Feng et al. | A graph convolutional stacked temporal attention neural network for traffic flow forecasting | |
| Chen et al. | More robust and better: Automatic traffic incident detection based on XGBoost | |
| CN114915496A (zh) | 基于时间权重和深度神经网络的网络入侵检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |