CN110633353A - 一种基于集成学习的船舶类型仿冒监测方法 - Google Patents

Abstract

本发明提供了一种基于集成学习的船舶类型仿冒监测方法，包括对船舶历史数据的清洗和类型调整的方法；特征的选择、格式变换以及滑动窗口特征生成方法，特征的归一化方法；分类器的选择和构成，分类器评估函数的设置方法；实时船舶目标类型判断监测方法。本发明能够利用历史船舶航迹报文，训练生成用于船舶类型判断监测的模型，并能够对实时船舶目标进行类型判断监测，对疑似类型仿冒目标进行告警，帮助海事部门及时发现类型仿冒的船舶目标。

Description

一种基于集成学习的船舶类型仿冒监测方法

技术领域

本发明涉及船舶类型监测方法，特别是涉及一种基于集成学习的船舶类型仿冒监测方法

背景技术

随着我国水上生产活动的发展，各大港口、航道内航行的船舶数量越来越多。越来越多的船舶也带来了越来越高的航行事故风险。以渔船为主的AIS类型仿冒行为无 疑大大增加了海事部门监管难度，加重了水上交通运输的安全隐患。传统的海事监管 手段面对船舶类型仿冒，只能根据经验通过船舶AIS报文中的位置、速度、航向等信 息进行估计，这种方法不仅效率极低，并且往往准确率不高。更早、更好地发现类型 仿冒违规行为，能有效减少海上人命和财产损失，提高船舶航行违法成本，对事故事 前预防、事后发现及船舶违法行为自动识别等都具有重要意义。因此，如何及时发现 此类违规行为变得亟待研究。

发明内容

本发明针对部分船舶AIS报文类型仿冒问题，提供一种基于集成学习的船舶类型仿冒监测方法。方法包括以AIS历史数据为基础了特征项选择、历史数据的预处理和 特征生成、评估函数的设置等创新方法。

本发明中使用的历史航迹报文均为符合NEMA0183协议的AIS航迹报文，每一条 报文中包含船名、MMSI号、船舶类型、航向、航速、船艏向、经度、纬度、时间戳、 情报源、批号、辖区号、责任区号、海空标识等信息，其中时间戳信息记录了船舶在 每个位置点的时间，MMSI号为AIS系统中船舶唯一ID。

所述的历史数据的选择、预处理和特征生成方法，经过多次试验发现，船舶AIS 报文中的经度、纬度、速度、航向、船艏向、时间戳几项用于描述船舶航行特征以实 现船舶类型判断效果最好。历史AIS数据必须经过异常值剔除、类型调整等过程以免 异常值影响模型监测结果。在实验中发现，单个航迹报文作为一条特征用于训练分类 模型其误差较大，更好的方法是将一艘船的连续多条航迹报文的重要数据项拼接成一 条特征用于模型训练。因此本发明中设置了一种滑窗特征拼接生成方法，用于生成最 终用于模型训练的特征。

所述的评估函数设置方法，由于类型仿冒并不是在各个类型船舶中普遍发生的，其在渔船类型中出现的概率要远远的大于货船、客船等类型中出现的概率。因此在模 型训练时需要自定义评估函数以干预模型训练过程，使最终生成的模型对渔船等仿冒 现象频发的类型的监测敏感度更高。

技术方案：一种基于集成学习的船舶类型仿冒监测方法，包括以下步骤：

步骤1，获取用于模型训练的船舶历史航迹报文数据，对船舶历史航迹报文数据进行清洗，并调整数据类型；

步骤2，选择特征数据项，并进行格式变换，对变换生成后的特征进行归一化处理；

步骤3，选择分类器，设置评估函数进行模型训练，得到分类模型；

步骤4，根据分类模型实时对船舶目标类型进行判断监测与告警。

所述步骤1包括：

步骤1-1，清洗历史数据：扫描全部用于模型训练的船舶历史航迹报文数据，根据如下规则清洗历史数据：删除速度、航向和船艏向小于0的船舶历史航迹报文数据、 经纬度在陆地位置的船舶历史航迹报文数据，以及航向和船艏向大于360度的船舶历 史航迹报文数据；

步骤1-2，进行历史数据去重：将时间、位置、航向均相同的航迹点判定为重复点，删除船舶历史航迹报文数据中的重复点进行去除；

步骤1-3，进行数据类型调整：对部分命名有特征的船舶类型，设置对应的正则表达式对AIS报文的船名进行匹配，将其他类型的船舶历史航迹报文数据中符合该类型 船名命名特征的船舶历史航迹报文数据的船舶类型修改为该类型。如渔船名称一般包 含“YU”、“YANG ZHI”等相关字符并以4至6为数字结尾，可设置正则表达式pattern 如下：

pattern＝'.*(YU(-/|.)*|YU*CHUAN|Y|YV|YANG*ZHI.*|YU*YANG|YU*YUN|YU *BU|BU|BU*LAO.*)*[0-9]{4}[0-9]*'

其代表含义是包含YU、YU CHUAN、YANG ZHI、YU YANG、YU BU、BU LAO等字 符并以至少4位数字结尾的船名，该类船名为渔船特有。如果货船、客船等类型AIS 报文数据中有符合该正则表达式的报文，就将该报文的船舶类型数据项修改为渔船。

所述步骤2包括：

步骤2-1，经过多次试验发现，船舶AIS报文中的经度、纬度、速度、航向、船艏 向、时间戳几项能够很好的描述船舶航行特征，用于船舶类型判断效果最好。因此选 择船舶历史航迹报文数据中的MMSI、经度、纬度、速度、航向、船艏向、时间戳作 为特征数据项单独存储，将船舶历史航迹报文数据根据MMSI(水上移动通信业务标 识码，Maritime MobileService Identify，以下简称“MMSI”)和时间戳从小到大排序， 其中MMSI为排序主键，时间戳为副键，即先按照MMSI从小到大排序，MMSI相同 的项按照时间戳从小到大排序；

步骤2-2，使用滑动窗口进行特征拼接：设置滑动窗口大小n和滑动步长m，使用 滑动窗口的方法将同一个MMSI的连续船舶历史航迹报文数据中的经度、纬度、速度、 航向、船艏向、时间戳拼接成一条特征并存储，特征维度为6n，一条特征中相邻两条 船舶历史航迹报文数据之间时间差不超过900秒，如果超过则滑动窗口前进一步，重 新拼接窗口内特征；特征标签为该船舶AIS报文的船舶类型的代号(例如可以将客船、 货船、渔船、油轮、拖船分别设置代号0、1、2、3、4)；

步骤2-3，对时间戳进行变换：由于大部分船舶航行规律都具有周期性，因此将时间戳与一天的秒数取余，并加上与0时区时差，将其变换为当日的秒数，对于处于东 八区的我国海域来说具体变换公式如下：

time＝timestamp％86400+28800

其中，timestamp表示时间戳，time表示变换后的时间戳；

步骤2-4，对新的特征进行归一化处理：计算每一维特征在全部样本空间中的均值μ和方差σ，使用归一化公式对每一维特征进行变换，并保存下μ和σ作为归一化模型， 变换公式为：

x’＝(x-μ)/σ，

其中，x表示新的特征，x’表示归一化后的特征，所有归一化后的特征组成训练样本。

所述步骤3包括：

步骤3-1，使用分类回归树(Classification and Regression Tree，CART)作为集成 学习的基分类器；使用串行结构组合的集成学习，即每一层只有一个CART，上一层 的分类误差作为下一层CART的输入(符合上述结构特征的集成学习分类算法如GBDT、 XGBoost等均可用于实现本发明的方法)；

步骤3-2，使用错误率error、均方误差MSE、接收者操作特征曲线下面积roc_auc作为评估函数，根据实际需求对集成学习的评估函数进行扰动修改；

步骤3-3，使用符合步骤3-1和3-2描述的集成学习算法对步骤2-4得到的训练样本进行学习训练，生成分类模型并进行保存。

步骤3-2，所述根据实际需求对集成学习的评估函数进行扰动修改，包括：当需要着重监测伪装成其他船舶的渔船时，只计算渔船部分的错误率error作为目标函数：

error＝pred_{yu_other}/train_yu，

其中pred_{yu_other}表示将渔船预测成其他船舶的数量，train_yu表示训练样本中渔船样本 的真实数量。

步骤3-2中，所述根据实际需求对集成学习的评估函数进行扰动修改，包括：当需要着重监测伪装成其他船舶的渔船时，对渔船增加权重系数：：

error＝(pred_{yu_other}*weight+pred_{other_yu})/train，

其中weight为一个大于1的实数，表示将渔船的误差计算权重，pred_{other_yu}表示将其 他船预测成渔船的数量，train表示样本数据总数量。

所述步骤4包括：

步骤4-1，记录船舶实时航迹报文，记录数量需大于滑动窗口大小n，其中报文数值应符合步骤1-1中清洗历史数据的规则，否则重新记录船舶实时航迹报文；

步骤4-2，生成实时类型监测特征：收到一条新报文时，将最近n条连续船舶实时航迹报文采用步骤2的方法进行处理，得到归一化后的特征；

步骤4-3，异常监测与报告：将归一化后的特征输入分类模型，使用分类模型判断船舶的类型，如果与船舶实时航迹报文中的类型不一致则记录异常；设置异常数量阈 值，当连续异常数量超过阈值时则报告疑似仿冒告警，如之后监测判断正常则报告消 警。

有益效果：本发明很好的解决了船舶类型仿冒监测的问题。在传统的海事监管当中，工作人员若想发现船舶类型仿冒，只能根据经验，通过船舶AIS报文中的位置、 速度、航向等信息进行估计，这种方法不仅效率极低，并且往往准确率不高。本发明 首先明确了类型判断监测所需的特征信息及其生成方法；之后给出了合适的机器学习 分类算法的组成结构及其相关设置；最后给出了实时监测的具体流程方法。经过实验 测试，本发明给出的类型仿冒监测方法在实际使用中有着较快的监测速度和较高的监 测准确率，能够同时对整个海域进行实时监测，相比于传统的利用人工经验的方法效 率得到了极大的提升。使用本发明的方法能够解决传统船舶类型仿冒监测效率差、准 确率低的问题。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。

图1是模型训练及实时监测整体流程图；

图2是数据清洗及特征生成流程图；

图3是滑动窗口特征生成方法示意图；

图4是对于一条报文的类型判断监测流程图。

具体实施方式

如图1所示，一种基于集成学习的船舶类型仿冒监测方法，包括以下步骤：

(1)船舶历史航迹数据的清洗和类型的划分；

(11)设置规则对历史数据进行清洗

如图2所示，首先设置清洗规则，包括但不限于位置应在责任区内且不能在陆地位置、航速不能为负数、航向及船艏向不能为负数且不能大于360度，对历史数据中 位置、航速、航向等数据项符合异常值点清洗规则的航迹点进行去除；

(12)进行历史数据去重

遍历数据，对时间、位置、航向均相同的航迹点作为重复点进行去除，防止其影 响统计结果；

(13)进行数据类型调整

对部分命名有特征的船舶类型，设置对应的正则表达式对AIS报文的船名进行匹配，将其他类型数据中符合该类型船名命名特征的数据的船舶类型修改为该类型。如 渔船名称一般包含“YU”、“YANG ZHI”等相关字符并以4至6为数字结尾，可设置 正则表达式pattern如下：

pattern＝'.*(YU(-/|.)*|YU*CHUAN|Y|YV|YANG*ZHI.*|YU*YANG|YU*YUN|YU *BU|BU|BU*LAO.*)*[0-9]{4}[0-9]*'

其代表含义是包含YU、YU CHUAN、YANG ZHI、YU YANG、YU BU、BU LAO等字符 并以至少4位数字结尾的船名，该类船名为渔船特有。如果货船、客船等类型AIS报文 数据中有符合该正则表达式的报文，就将该报文的船舶类型数据项修改为渔船。

(2)分类特征的选择、格式变换以及生成，分类特征的归一化；

(21)特征数据项选择

如图2所示，经过多次试验发现，船舶AIS报文中的经度、纬度、速度、航向、 船艏向、时间戳几项能够很好的描述船舶航行特征，用于船舶类型判断效果最好。因 此选择航迹报文中的MMSI、经度、纬度、速度、航向、船艏向、时间戳作为单独存 储，降低内存使用量；将数据根据MMSI和时间戳从大到小排序，其中MMSI为排序 主键，时间戳为副键，即先按照MMSI从小到大排序，MMSI相同的项按照时间戳从 小到大排序；

(22)使用滑动窗口进行特征拼接

如图2、图3所示，设置滑动窗口大小n及滑动步长m，一般可取n＝30，m＝5； 使用滑动窗口的方法对同一个MMSI的连续多个报文截取经度、纬度、速度、航向、 船艏向、时间戳拼接成一条特征，特征维度为6n；相邻两条报文之间时间差不能超过 900秒，否则滑窗前进一步，重新拼接窗口内特征；特征标签为该船舶AIS报文的船 舶类型的代号，如可以将客船、货船、渔船、油轮、拖船分别设置代号0、1、2、3、4；

(23)时间戳的变换

由于大部分船舶航行规律都具有周期性，因此将时间戳与一天的秒数取余，并加上与0时区时差，将其变换为当日的秒数，对于处于东八区的我国海域来说具体变换 公式如下：

time＝timestamp％86400+28800

(24)特征的归一化

对变换生成后的特征进行归一化处理，计算每一维特征在全部样本空间中的均值μ 和方差σ，使用归一化公式对每一维特征进行变换，并保存下μ和σ作为归一化模型。 其变换公式为：

x’＝(x-μ)/σ

(3)分类器的选择和构成，分类器评估函数的设置，以及模型的训练；

(31)分类器选择与组成

本发明方法使用CART作为集成学习的基分类器；使用串行迭代结构组合的集成学习，即每一层只有一个CART，上一层的分类误差作为下一层CART的输入；符合上述 结构特征的集成学习分类算法如GBDT、XGBoost等均可用于实现本发明的方法；

(32)评估函数的选择

对于本发明方法使用的串行迭代的集成学习分类方法，可根据实际需求可以对集成学习的评估函数进行扰动修改，以在增加对应类型的权重，加速训练迭代过程；如 当想着重监测伪装成其他船舶的渔船时可只计算渔船部分的error作为评估函数，如：

error＝pred_{yu_other}/train_yu

其中pred_{yu_other}表示将渔船预测成其他船舶的数量，train_yu表示数据中渔船样本的真实数 量。或者对渔船部分增加权重系数，如：

error＝(pred_{yu_other}*weight+pred_{other_yu})/train

其中weight为一个大于1的实数，表示将渔船的误差计算权重，pred_{other_yu}表示将其他船 预测成渔船的数量，train表示样本数据总数量。

(33)模型的训练生成

使用符合上述结构的集成学习算法及根据需求选择的评估函数，对预处理后的特征进行学习训练，生成分类模型并进行保存。实验使用XGBoost作为分类器，使用error 左右评估函数，训练模型后使用部分测试集进行测试，计算各个类型的error，得到结 果如下表1所示，可以看出使用本发明方法可以很好的完成船舶类型的监测判断任务。

表1

船舶类型	测试总数量	预测错误数量	预测错误率
				客船	150000	360	0.24％
货船	200000	2240	1.12％
				渔船	200000	2700	1.35％
油轮	150000	930	0.62％
				拖船	100000	2640	2.64％

(4)实时船舶目标类型判断监测与告警。

(41)实时航迹报文的记录

如图4所示，记录船舶实时航迹报文，记录数量需大于滑动窗口大小n，其中报文数值应符合步骤(11)中数据清洗的规则，否则重新记录；

(42)实时类型监测特征生成

如图4所示，收到一条新报文时，将最近n条连续实时报文中经度、纬度、速度、 航向、船艏向、时间戳拼接成一条特征，使用(23)中方法将时间戳项变换成当天的 秒数；使用保存的归一化模型对特征进行归一化变换；

(43)异常监测与报告

如图4所示，使用分类模型判断船舶的类型，如果与报文类型不一致则记录异常；设置异常数量阈值，一般为10-30之间的整数，阈值越小系统敏感度越高，当连续异常 数量超过阈值时则报告疑似仿冒告警，如之后监测判断正常则报告消警。

为了进一步提高船舶异常监测系统的准确性，及时发现仿冒AIS类型的目标，本发明综合利用大数据和人工智能技术，从技术角度研究提出了可行的方案，并给出了 具体实现步骤。该发明能够成功检测出仿冒AIS报文类型的船舶，为海事和渔业部们 提供有力的技术保障，帮助其进一步降低水上交通事故发生概率，相信其在我国地海 事及渔业部门，尤其是环渤海、舟山、北部湾等渔业资源丰富的地区有着广阔的市场 前景。

本发明提供了一种基于集成学习的船舶类型仿冒监测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰， 这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用 现有技术加以实现。

Claims (7)

1.一种基于集成学习的船舶类型仿冒监测方法，其特征在于，包括以下步骤：

步骤1，获取用于模型训练的船舶历史航迹报文数据，对船舶历史航迹报文数据进行清洗，并调整数据类型；

步骤2，选择特征数据项，并进行格式变换，对变换生成后的特征进行归一化处理；

步骤3，选择分类器，设置评估函数进行模型训练，得到分类模型；

步骤4，根据分类模型实时对船舶目标类型进行判断监测与告警。

2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：

步骤1-1，清洗历史数据：扫描全部用于模型训练的船舶历史航迹报文数据，根据如下规则清洗历史数据：删除速度、航向和船艏向小于0的船舶历史航迹报文数据、经纬度在陆地位置的船舶历史航迹报文数据，以及航向和船艏向大于360度的船舶历史航迹报文数据；

步骤1-2，进行历史数据去重：将时间、位置、航向均相同的航迹点判定为重复点，删除船舶历史航迹报文数据中的重复点进行去除；

步骤1-3，进行数据类型调整：对部分命名有特征的船舶类型，设置对应的正则表达式对AIS报文的船名进行匹配，将其他类型的船舶历史航迹报文数据中符合该类型船名命名特征的船舶历史航迹报文数据的船舶类型修改为该类型。

3.根据权利要求2所述的方法，其特征在于，所述步骤2包括：

步骤2-1，选择特征数据项：选择船舶历史航迹报文数据中的MMSI、经度、纬度、速度、航向、船艏向、时间戳作为特征数据项单独存储，将船舶历史航迹报文数据根据MMSI和时间戳从小到大排序，其中MMSI为排序主键，时间戳为副键，即先按照MMSI从小到大排序，MMSI相同的项按照时间戳从小到大排序；

步骤2-2，使用滑动窗口进行特征拼接：设置滑动窗口大小n和滑动步长m，使用滑动窗口的方法将同一个MMSI的连续两个以上的船舶历史航迹报文数据中的经度、纬度、速度、航向、船艏向、时间戳拼接成一条特征并存储，特征维度为6n，一条特征中相邻两条船舶历史航迹报文数据之间时间差不超过900秒，如果超过则滑动窗口前进一步，重新拼接窗口内特征；特征标签为该船舶AIS报文的船舶类型的代号；

步骤2-3，对时间戳进行变换：将时间戳与一天的秒数取余，并加上与0时区时差，将其变换为当日的秒数，对于处于东八区的我国海域来说具体变换公式如下：

time＝timestamp％86400+28800，

其中，timestamp表示时间戳，time表示变换后的时间戳；

步骤2-4，对新的特征进行归一化处理：计算每一维特征在全部样本空间中的均值μ和方差σ，使用归一化公式对每一维特征进行变换，并保存下μ和σ作为归一化模型，变换公式为：

x’＝(x-μ)/σ，

其中，x表示新的特征，x’表示归一化后的特征，所有归一化后的特征组成训练样本。

4.根据权利要求3所述的方法，其特征在于，所述步骤3包括：

步骤3-1，使用分类回归树CART作为集成学习的基分类器；使用串行结构组合的集成学习，即每一层只有一个CART，上一层的分类误差作为下一层CART的输入；

步骤3-2，根据实际需求对集成学习的评估函数进行扰动修改；

步骤3-3，使用符合步骤3-1和3-2描述的集成学习算法对步骤2-4得到的训练样本进行学习训练，生成分类模型并进行保存。

5.根据权利要求4所述的方法，其特征在于，步骤3-2中，所述根据实际需求对集成学习的评估函数进行扰动修改，包括：当需要着重监测伪装成其他船舶的渔船时，只计算渔船部分的错误率error作为目标函数：

error＝pred_{yu_other}/train_yu，

其中pred_{yu_other}表示将渔船预测成其他船舶的数量，train_yu表示训练样本中渔船样本的真实数量。

6.根据权利要求4所述的方法，其特征在于，步骤3-2中，所述根据实际需求对集成学习的评估函数进行扰动修改，包括：当需要着重监测伪装成其他船舶的渔船时，对渔船增加权重系数：

error＝(pred_{yu_other}*weight+pred_{other_yu})/train，

其中weight为一个大于1的实数，表示将渔船的误差计算权重；pred_{other_yu}表示将其他船预测成渔船的数量，train表示训练样本总数量。

7.根据权利要求6所述的方法，其特征在于，所述步骤4包括：

步骤4-1，记录船舶实时航迹报文，记录数量需大于滑动窗口大小n，其中报文数值应符合步骤1-1中清洗历史数据的规则，否则重新记录船舶实时航迹报文；

步骤4-2，生成实时类型监测特征：收到一条新报文时，将最近n条连续船舶实时航迹报文采用步骤2的方法进行处理，得到归一化后的特征；

步骤4-3，异常监测与报告：将归一化后的特征输入分类模型，使用分类模型判断船舶的类型，如果与船舶实时航迹报文中的类型不一致则记录异常；设置异常数量阈值，当连续异常数量超过阈值时则报告疑似仿冒告警，如之后监测判断正常则报告消警。

Images