CN110210537A - 一种基于无监督聚类的船舶历史航迹规律提取方法 - Google Patents

Abstract

一种基于无监督聚类的船舶历史航迹规律提取方法。本发明属于一种船舶历史航迹规律提取；本发明将聚类的结果提供给海域网格划分和相关统计计算，实现剔除噪声航迹，航迹预分类的目的，提高最终的航迹异常检测精度。该方法首先通过航迹抽稀算法对航迹点进行压缩，然后使用基于密度的带噪声空间聚类算法(DBSCAN)对航迹线段进行聚类，一方面剔除离群的异常航迹线段，另一方将位置、航向、速度等相似的航迹线段合并为一类，实现航路的分离。最终形成去噪和聚合的航迹簇，用于后续的海域网格划分。本发明解决了海域网格训练中不能区分航路和交错航道互相影响统计结果的问题，提高了异常检测的精度。

Description

一种基于无监督聚类的船舶历史航迹规律提取方法

技术领域

本发明属于一种船舶历史航迹规律提取，特别是涉及一种基于无监督聚类的船舶历史航迹规律提取方法。

背景技术

船舶交通管理系统，Vessel Traffic System，是用于管理船舶交通、保障船舶安全航行的信息管理系统。随着人类商业生产活动的增加，进行水面作业航行的船舶数量越来越多，如何针对越来越多的水面船舶利用VTS系统进行有效服务与监管，是各类海事部门面临的问题。VTS系统每天将积累大量的船舶航迹信息，以烟台为例2017年每个月的AIS报文有上亿条之多，从大量船舶信息中寻找异常船舶行为费事费力，无法做到高效、及时、准确的监控，因此通过计算机进船舶异常行为识别成为当前一个重点研究课题。

目前已有的研究主要是基于统计的海域网格训练。其基本原理是将监测海域划分为大量网格区域，将航向离散化为8个方向，速度离散化为4个级别后统计每一个网格中的航迹点的数量、航向比例、速度比例，并设置数量和比例阈值，以此来判断航迹点的异常。举例来说，经度维度分别按0.2度为界，将目标海域划分成网格，实时航迹点落在的网格中，历史航迹点落于该网格的点数在所有网格的历史航迹点数按从多到少排序后位于后4％，且预先定义的异常阈值为5％，则该航迹点为位置异常。航向异常、速度异常也是采用类似的判断方式。

采用这种基于统计的海域网格训练方法，可以在一定程度上学习历史航迹的规律，但存在两个问题：1)该方法统计的是所有船舶的航迹信息，其中必然存在不同船舶类型，不同航路的船舶航迹点位于同一区域的情况，但这些船舶的航迹规律应该是不同的，如果统一计算，彼此之间会互相影响统计结果，最终影响检测精度；2)单独统计网格内的航迹点割裂了航迹线段的相关性，比如有两条互相交错的航迹，在相交的位置航迹点的数量会明显高于其他位置的数量，如果存在多条航迹相交的情况，此时按网格点数排序计算异常的方式会存在误报的风险。

本发明提出一种基于无监督聚类的航迹规律提取方法来进行船舶历史航迹的聚类处理，将聚类的结果提供给海域网格划分和相关统计计算，实现剔除噪声航迹，航迹预分类的目的，提高最终的航迹异常检测精度。该方法首先通过航迹抽稀算法对航迹点进行压缩，然后使用基于密度的带噪声空间聚类算法(DBSCAN)对航迹线段进行聚类，一方面剔除离群的异常航迹线段，另一方将位置、航向、速度等相似的航迹线段合并为一类，实现航路的分离。最终形成去噪和聚合的航迹簇，用于后续的海域网格划分。本发明解决了海域网格训练中不能区分航路和交错航道互相影响统计结果的问题，提高了异常检测的精度。

发明内容

针对上述问题，本发明提供一种基于无监督聚类的船舶历史航迹规律提取方法；防止剔除过多有效航迹，进行一次聚类后，通过设置较为宽松的领域范围和最小领域线段数量，将上一次聚类后的噪声再次进行聚类，最后无法聚合的线段予以剔除，从而形成最终的航迹簇，作为海域网格训练的输入进行统计训练。

本发明的技术方案是：一种基于无监督聚类的船舶历史航迹规律提取方法其操作步骤如下；

步骤1、获取雷达和AIS航迹点数据，航迹预处理，形成航迹线段集合，

步骤2、线段结构距离的计算，

步骤3、航迹线段聚类，

步骤4、从步骤1得到的航迹线段集合中剔除噪声线段，并根据航迹线段类簇进行后续的海域网格训练统计处理。

步骤1所述对船舶历史航迹数据进行预处理，包括：

获取历史航迹数据，保留位置连续且位于目标海域内，速度大于0节小于50节，航向大于等于0小于360的航迹点，去除飞点、岸上的点，速度小于0或大于50节，航向小于0或大于360的航迹点；

航迹抽稀，将航迹曲线近似表示为航迹点集，对航迹点集进行压缩，减少一条航迹曲线上航迹点的数量，同时保证航迹路径位置的不变形，为后续船舶航行模型训练提供支撑。

步骤2航迹线段结构距离的计算，包括：

线段结构距离是用来表示两条航迹线段间的相似度dist(L_i，L_j)的度量，结构距离越小相似度越大，结构距离由垂直距离d_⊥(L_i，L_j)，水平距离d_||(L_i，L_j)，方向距离d_θ(L_i，L_j)，速度距离d_v(L_i，L_j)组成；

L_i与L_j的垂直距离d_⊥(L_i，L_j)定义如下式所示，其中l_⊥1为s_j到p_s的欧氏距离，l_⊥2为e_j到p_e的欧氏距离：

水平距离d_||(L_i，L_j)表示两条线段在水平方向的相似度：

d_||(L_i，L_j)＝AVE(d_||1，d_||2) (2)，

并分三种情况分别计算：(a)当投影点均在线段内时，d_||1为端点s_i到距它近投影点之间的距离，d_||2为端点e_i到距它近投影点之间的距离；(b)当投影点均在线段外时，d_||1为非投影点侧的端点距它近投影点之间的距离，d_||2为投影点侧的端点距它远投影点之间的距离；(c)投影点一个位于线段内，另一个位于线段外时，d_||1为非外投影点侧的端点距它近投影点之间的距离，d_||2为外投影点侧的端点距另一个投影点之间的距离；另外，为避免轨迹之间长度相差过于大导致水平距离的过度地决定位置距离，对水平距离和垂直距离之间设置修正权重，水平距离的权重为长度较小的线段长度在两线段总长度的比率，两权重需满足大于零且和为1的条件；

方向距离d_θ(L_i，L_j)代表两条线段的平行相似度，由下式进行计算：

速度距离d_v，(L_i，L_j)，代表两条航迹线段的速度相似度，由下式计算；

其中v(L_i)，v(L_j)为航迹线段L_i和L_j的平均速度。

步骤3航迹线段聚类的计算，包括：

遍历航迹线段集合，计算线段L_i其与另一条线段L_j的结构距离；将结构距离小于设定的近邻距离阈值的线段L_j添加到L_i的领域中，重复此过程形成线段类簇；遍历完所有线段，形成线段类簇和噪声线段；将计算得到的噪声线段集合进行一次二次聚类。

所得到的噪声线段集合作为一个新的线段集合，定义新的近邻距离阈值为定义近邻距离阈值的1.5倍，并上述聚类计算，将新生成的线段类簇添加到计算得到的类簇中作为补充。

在步骤1得到的是一条条线段集合，需要计算线段间两两相似度，本发明使用的是航迹结构距离(L_i，L_j)表示两条线段的相似度，结构距离越小相似度越大，结构距离由垂直距离d_⊥(L_i，L_j)，水平距离d_||(L_i，L_j)，方向距离d_θ(L_i，L_j)，速度距离d_v(L_i，L_j)组成。

进一步，计算垂直距离d_⊥(L_i，L_j)，垂直距离表示两条线段在垂直方向的相似度；

进一步，计算水平距离d_||(L_i，L_j)，水平距离表示两条线段在水平方向的相似度；

进一步，计算方向距离d_θ(L_i，L_j)，方向距离代表两条线段的平行相似度；

进一步，计算速度距离d_v(L_i，L_j)，由于航迹线段除了几何属性外还存在速度属性，因此还需要计算两条线段间的速度相似度；

进一步，将抽稀后的线段进行基于线段的密度空间聚类算法(DBSCAN)，输出航迹线段类簇和噪声线段集合。

进一步，取一条没有计算过的线段L_i，计算其与另一条没有计算过的线段L_j的结构距离；

进一步，根据结构距离的计算结果判断是否将L_j添加到L_i的领域中；

进一步，找到线段L_i的所有近邻线段集合，形成一个线段类簇；

进一步，扩充已形成的类簇；

进一步，遍历完所有线段，形成线段类簇和噪声线段；

进一步，为了防止剔除过多的线段，将上述计算得到的噪声线段集合进行一次二次聚类；

进一步，从原始数据中剔除噪声线段，并根据航迹线段类簇分别进行后续的海域网格训练等统计处理。

本发明的有益效果是：本发明的目的在于将包含位置唯一ID、坐标、航向、速度等信息的历史航迹点进行聚类，剔除与其他航迹不一致的航迹，并将位置、航向、速度等相似的航迹线段合并为一类，实现航路的分离。获取历史航迹，进行预处理后进行航迹抽稀，形成航迹线段。然后遍历计算航迹线段间的垂直距离，水平距离，方向距离和速度距离，根据预设的领域范围和最小领域线段数量，将距离满足条件的线段归为一类，最终无法聚合的线段为噪声。为了防止剔除过多有效航迹，进行一次聚类后，通过设置较为宽松的领域范围和最小领域线段数量，将上一次聚类后的噪声再次进行聚类，最后无法聚合的线段予以剔除，从而形成最终的航迹簇，作为海域网格训练的输入进行统计训练。

附图说明

图1是本发明中航迹线段聚类流程图；

图2是本发明中线段相似度计算示意图；

图3是本发明中航迹聚类效果对比图。

具体实施方式

本发明中，一种基于无监督聚类的船舶历史航迹规律提取方法其操作步骤如下；

步骤1、获取雷达和AIS航迹点数据，航迹预处理，形成航迹线段集合，

步骤2、线段结构距离的计算，

步骤3、航迹线段聚类，

步骤4、从步骤1得到的航迹线段集合中剔除噪声线段，并根据航迹线段类簇进行后续的海域网格训练统计处理。

如图1所示，历史航迹训练的方法如下：

获取历史航迹数据，保留位置连续且位于目标海域内，速度大于0节小于50节，航向大于等于0小于360的航迹点，去除飞点、岸上的点，速度小于0或大于50节，航向小于0或大于360的航迹点；

理论上历史数据越多训练效果越好，但由于航道可能随年限的变化存在差别，因此近期的航迹更有参考价值，可以设置抽样的方式组合历史航迹作为输入数据。比如近一年的数据使用全航迹，上一年随机抽取80％的数据，前一年随机抽取60％的数据，组合成历史航迹；由于存在海量的历史航迹需要处理，使用分布式系统进行数据存储和处理。

航迹抽稀，将每一条航迹曲线的首尾点虚连一条直线，求所有点与直线的距离，并找出最大距离，用最大距离与限差相比：若小于限差，那么这条曲线上的中间点全部舍去；若大于限差，那么保留该坐标点并以该点为界，把曲线分为两部分，对这两部分重复使用该方法；假定包含了n个连续且足够密集的位置点的点集P，点集中相邻两点的连线所构成的线段集可近似作为轨迹T，航迹抽稀的思想是在保证线段走向和基本长度不变的情况下，减少点集P和轨迹集T中元素的数量；同时引入速度变化和固定时间阈值，该航迹中超过速度变化阈值的点和超过时间阈值的点也会作为关键点，被提取出来。

线段结构距离的计算：上述得到的是一条条线段集合，需要计算线段间两两相似度，本发明使用的是航迹结构距离dist(L_i，L_j)表示两条线段的相似度，结构距离越小相似度越大。

dist(L_i，L_j)＝w_⊥d_⊥(L_i，L_j)+w_||d_||(L_i，L_j)+w_θd_θ(L_i，L_j)+w_vd_v(L_i，L_j) (1)

权重w_⊥+w_||+w_θ+w_v＝1，且均大于0，实际计算时可以根据各属性敏感度调整，本发明默认w_⊥＝w_||＝w_θ＝w_v＝0.25；

计算垂直距离d_⊥(L_i，L_j)，垂直距离表示两条线段在垂直方向的相似度，如图2所示，线段L_i＝s_ie_i、L_j＝s_je_j，p_s和p_e是线段s_je_i的端点到s_ie_i的投影点。

L_i与L_j的垂直距离如d_⊥(L_i，L_j)定义如下式所示，其中l_⊥1为s_j到p_s的欧氏距离，l_⊥2为e_j到p_e的欧氏距离。

计算水平距离d_||(L_i，L_j)，水平距离表示两条线段在水平方向的相似度，计算公式如下式所示：

d_||(L_i，L_j)＝AVE(d_||1，d_||2) (3)

并分三种情况分别计算：(a)当投影点均在线段内时，d_||1为端点s_i到距它近投影点之间的距离，d_||2为端点e_i到距它近投影点之间的距离；(b)当投影点均在线段外时，d_||1为非投影点侧的端点距它近投影点之间的距离，d_||2为投影点侧的端点距它远投影点之间的距离；(c)投影点一个位于线段内，另一个位于线段外时，d_||1为非外投影点侧的端点距它近投影点之间的距离，d_||2为外投影点侧的端点距另一个投影点之间的距离；另外，为避免轨迹之间长度相差过于大导致水平距离的过度地决定位置距离，对水平距离和垂直距离之间设置修正权重，水平距离的权重为长度较小的线段长度在两线段总长度的比率，两权重需满足大于零且和为1的条件。

计算方向距离d_θ(L_i，L_j)，方向距离代表两条线段的平行相似度，由下式进行计算；

如果||L_j||的值很小，则θ对方向距离的影响将变得很小，而实际中夹角θ较大的两条线段相似度应该是较低的，为了放大θ对方向距离的影响，当θ≥30°采用MAX(||L_i||，||L_j||)，θ＜30°时用MAX(||L_i||，||L_j||)×sin(θ)计算方向距离。

计算速度距离d_v(L_i，L_j)，由于航迹线段除了几何属性外还存在速度属性，因此还需要计算两条线段间的速度相似度；速度相似度由下式计算：

其中v(L_i)，v(L_j)为航迹线段L_i和L_j的平均速度。

航迹线段聚类：将抽稀后的线段进行基于线段的密度空间聚类算法(DBSCAN)；该步骤是本发明的主要算法，算法流程如图1所示。

取一条没有计算过的线段L_i，计算其与另一条没有计算过的线段L_j的结构距离。

判断结构距离是否小于给定的领域范围ε，如果小于ε，则将L_j添加到L_i的领域中，本发明第一次聚类的领域范围ε＝1000，单位m。

找到线段L_i的所有近邻线段集合N_s(L_i)，判断该集合中线段数量是否大于最小领域线段数量MinLns，如果大于MinLns则N_s(L_i)为一个聚类簇，如果小于MinLns则L_i为一条噪声线段，本发明第一次聚类的MinLns＝5。

遍历N_s(L_i)取一条未计算的线段L_j，重复2-1、2-2，找到L_j的领域N_s(L_j)，将N_s(L_j)添加到形成的类簇中。

遍历完所有线段，形成线段类簇和噪声线段。

为了防止剔除过多的线段，将上一步计算得到的噪声线段集合进行一次二次聚类，二次聚类设定的ε＝1500，MinLns＝4，重复2-1到2-5的过程，形成最终的类簇和噪声集合；如图3所示为采用本发明后得到的航迹聚类对比图，其中(a)为原始航迹，原始航迹中存在一艘或少量几艘船舶形成的航迹，这些航迹与其他航迹不归为一类，属于异常航迹，在(b)的聚类航迹中已将这些孤立的单条航迹剔除；并且将相似的航迹线段聚成了一类，为后续的海域网格训练提供了去噪声且以分类的航迹簇。

从原始数据中剔除噪声线段，并根据航迹线段类簇分别进行后续的海域网格训练等统计处理。

进一步，计算垂直距离d_⊥(L_i，L_j)，垂直距离表示两条线段在垂直方向的相似度；

进一步，计算水平距离d_||(L_i，L_j)，水平距离表示两条线段在水平方向的相似度；

进一步，计算方向距离d_θ(L_i，L_j)，方向距离代表两条线段的平行相似度；

进一步，计算速度距离d_v(L_i，L_j)，由于航迹线段除了几何属性外还存在速度属性，因此还需要计算两条线段间的速度相似度；

进一步，将抽稀后的线段进行基于线段的密度空间聚类算法(DBSCAN)，输出航迹线段类簇和噪声线段集合。

进一步，取一条没有计算过的线段L_i，计算其与另一条没有计算过的线段L_j的结构距离；

进一步，根据结构距离的计算结果判断是否将L_j添加到L_i的领域中；

进一步，找到线段L_i的所有近邻线段集合，形成一个线段类簇；

进一步，扩充已形成的类簇；

进一步，遍历完所有线段，形成线段类簇和噪声线段；

进一步，为了防止剔除过多的线段，将上述计算得到的噪声线段集合进行一次二次聚类；

进一步，从原始数据中剔除噪声线段，并根据航迹线段类簇分别进行后续的海域网格训练等统计处理。

本发明的目的在于将包含位置唯一ID、坐标、航向、速度等信息的历史航迹点进行聚类，剔除与其他航迹不一致的航迹，并将位置、航向、速度等相似的航迹线段合并为一类，实现航路的分离。获取历史航迹，进行预处理后进行航迹抽稀，形成航迹线段。然后遍历计算航迹线段间的垂直距离，水平距离，方向距离和速度距离，根据预设的领域范围和最小领域线段数量，将距离满足条件的线段归为一类，最终无法聚合的线段为噪声。为了防止剔除过多有效航迹，进行一次聚类后，通过设置较为宽松的领域范围和最小领域线段数量，将上一次聚类后的噪声再次进行聚类，最后无法聚合的线段予以剔除，从而形成最终的航迹簇，作为海域网格训练的输入进行统计训练。

Claims (5)

1.一种基于无监督聚类的船舶历史航迹规律提取方法，其特征在于，其操作步骤如下；

步骤1、获取雷达和AIS航迹点数据，航迹预处理，形成航迹线段集合，

步骤2、线段结构距离的计算，

步骤3、航迹线段聚类，

步骤4、从步骤1得到的航迹线段集合中剔除噪声线段，并根据航迹线段类簇进行后续的海域网格训练统计处理。

2.根据权利要求1所述的一种基于无监督聚类的船舶历史航迹规律提取方法，其特征在于，步骤1所述对船舶历史航迹数据进行预处理，包括：

获取历史航迹数据，保留位置连续且位于目标海域内，速度大于0节小于50节，航向大于等于0小于360的航迹点，去除飞点、岸上的点，速度小于0或大于50节，航向小于0或大于360的航迹点；

航迹抽稀，将航迹曲线近似表示为航迹点集，对航迹点集进行压缩，减少一条航迹曲线上航迹点的数量，同时保证航迹路径位置的不变形，为后续船舶航行模型训练提供支撑。

3.根据权利要求1所述的一种基于无监督聚类的船舶历史航迹规律提取方法，其特征在于，步骤2航迹线段结构距离的计算，包括：

线段结构距离是用来表示两条航迹线段间的相似度dist(L_i，L_j)的度量，结构距离越小相似度越大，结构距离由垂直距离d_⊥(L_i，L_j)，水平距离d_||(L_i，L_j)，方向距离d_θ(L_i，L_j)，速度距离d_v(L_i，L_j)组成；

L_i与L_j的垂直距离d_⊥(L_i，L_j)定义如下式所示，其中l_⊥1为s_j到p_s的欧氏距离，l_⊥2为e_j到p_e的欧氏距离：

水平距离d_||(L_i，L_j)表示两条线段在水平方向的相似度：

d_||(L_i，L_j)＝AVE(d_||1，d_||2) (2)，

并分三种情况分别计算：(a)当投影点均在线段内时，d_||1为端点s_i到距它近投影点之间的距离，d_||2为端点e_i到距它近投影点之间的距离；(b)当投影点均在线段外时，d_||1为非投影点侧的端点距它近投影点之间的距离，d_||2为投影点侧的端点距它远投影点之间的距离；(c)投影点一个位于线段内，另一个位于线段外时，d_||1为非外投影点侧的端点距它近投影点之间的距离，d_||2为外投影点侧的端点距另一个投影点之间的距离；另外，为避免轨迹之间长度相差过于大导致水平距离的过度地决定位置距离，对水平距离和垂直距离之间设置修正权重，水平距离的权重为长度较小的线段长度在两线段总长度的比率，两权重需满足大于零且和为1的条件；

方向距离d_θ(L_i，L_j)代表两条线段的平行相似度，由下式进行计算：

速度距离d_v(L_i，L_j)，代表两条航迹线段的速度相似度，由下式计算；

其中v(L_i)，v(L_j)为航迹线段L_i和L_j的平均速度。

4.根据权利要求1所述的一种基于无监督聚类的船舶历史航迹规律提取方法，其特征在于，步骤3航迹线段聚类的计算，包括：

遍历航迹线段集合，计算线段L_i其与另一条线段L_j的结构距离；将结构距离小于设定的近邻距离阈值的线段L_j添加到L_i的领域中，重复此过程形成线段类簇；遍历完所有线段，形成线段类簇和噪声线段；将计算得到的噪声线段集合进行一次二次聚类。

5.根据权利要求4所述的一种基于无监督聚类的船舶历史航迹规律提取方法，其特征在于，所述的二次聚类，其特征在于，其定义为：

将权利要求4所述得到的噪声线段集合作为一个新的线段集合，定义新的近邻距离阈值为权利要求4中定义近邻距离阈值的1.5倍，并重复权利要求4中的聚类计算，将新生成的线段类簇添加到权利要求4计算得到的类簇中作为补充。