CN113032502B - 一种基于改进轨迹段dbscan聚类的船舶异常检测方法 - Google Patents
一种基于改进轨迹段dbscan聚类的船舶异常检测方法 Download PDFInfo
- Publication number
- CN113032502B CN113032502B CN202110182150.9A CN202110182150A CN113032502B CN 113032502 B CN113032502 B CN 113032502B CN 202110182150 A CN202110182150 A CN 202110182150A CN 113032502 B CN113032502 B CN 113032502B
- Authority
- CN
- China
- Prior art keywords
- track
- point
- ship
- distance
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims abstract description 14
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 230000006835 compression Effects 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 3
- 238000007667 floating Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 101100102624 Drosophila melanogaster Vinc gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于改进轨迹段DBSCAN聚类的船舶异常检测方法，该方法面向海上船舶移动目标，将繁杂且存在噪声的大规模轨迹数据，处理形成形象、直观的目标活动规律模板，通过提取船舶典型的轨迹对船舶的异常行为进行分析识别。相比于传统的轨迹处理方法，使用了基于运动多特征模式的轨迹分段和压缩算法，充分利用AIS轨迹数据，减小关键点缺失和局部轨迹段特征丢失的缺点。本方法轨迹间的相似性更加准确，为轨迹的聚类准确度奠定了基础。本方法提出改进扫描线典型轨迹提取法，使典型轨迹描述船舶正常行为轨迹更具代表性，减小异常偏差的误差。
Description
技术领域
本发明涉及一种基于改进轨迹段DBSCAN聚类的船舶异常检测方法，属于 轨迹数据分析技术领域。
背景技术
随着经济发展，人们生活节奏加快、消费水平提升，假期出行次数更加频繁， 且近年来，海上船舶数量不断增长，航运贸易高速发展，我国丰富的海洋资源奠 定了海洋事业的繁荣。同时，随着定位系统、通信设备、传感器网络等技术的精 度提升与广泛应用，地面及海空目标繁杂的大规模数据被政府、企业及国防单位捕捉、存储、广泛关注并渴望加以充分利用，其中地面及海空目标的轨迹数据通 过挖掘手段形成目标历史行为模板可以提供重要的辅助和参考作用。
轨迹数据是移动对象在时空中移动点的集合，其中包括对象的经纬度、高度、 速度、时间等信息，是移动目标行为活动中的快照。例如，地面移动目标轨迹是 最贴近生活的轨迹数据，利用行人及车辆的轨迹数据在出行预测、城市道路规划、 异常行为检测等方面都有应用，而海洋船舶AIS轨迹数据是海洋中的移动目标 同样有轨迹预测，航路规划，船舶异常检测等应用。从原始轨迹到行为模式应用 之间，需要多种技术手段对数据进行分析和处理。通过对轨迹数据的分析可以挖掘出活动对象个体及群体间的活动规律，进而能够为轨迹预测、交通规划及海空 目标监测提供支持。
发明内容
本方法将设备采集的原始轨迹数据通过数据清洗和数据预处理等手段将噪 声、冗余、停留点等进行过滤和处理后，将数据用于模式挖掘，形成相对更加准 确、可靠的移动目标历史行为轨迹模板，展示目标个体或群体见的活动规律。
本发明采用的技术方案为一种基于改进轨迹段DBSCAN聚类的船舶异常检 测方法，该方法面向海上船舶移动目标，将繁杂且存在噪声的大规模轨迹数据， 处理形成形象、直观的目标活动规律模板，通过提取船舶典型的轨迹对船舶的异 常行为进行分析识别。包括以下步骤：
步骤S1:AIS数据预处理
步骤S1.1,首先对来自于各种船载系统以及AIS设备的报文进行解析，将数 据解析成动态和静态两部分。
步骤S1.2,采用多源数据融合算法对解析的报文数据进行清洗，使用多线程 对动静数据进行融合，根据两者的时间序列特性，进行动静插值，合成一条完整 的船舶轨迹。
步骤S1.3，对轨迹数据中的异常数据进行剔除，通过拉格朗路插值法对缺失 值进行补齐，以及对个别字段进行转义处理。
步骤S1.4，将预处理的数据进行存储。
步骤S2：轨迹的分段
把船舶的轨迹当作整体进行研究，这种方法可发现轨迹中的关键点，缺点是 研究轨迹的开销大，而且会因为丢掉一些具有相似运动特征的轨迹局部子段，而 这些信息对研究船舶轨迹至关重要，因此提出将轨迹进行分段研究，然后对分段 后的子轨迹进行聚类研究，将相似的轨迹子段归类为簇，在此基础上建立典型船 舶轨迹从而甄别异常轨迹。轨迹分段是根据轨迹点间隔时间，船位转向角和停留点进行划分，主要步骤如下：
步骤S2.1，如果两点时间间隔Δt大于一天，则将对轨迹进行分段；
步骤S2.2，如果轨迹经过停留点，则将轨迹进行分段，并去除停留点内的轨 迹。
步骤S2.3，轨迹设定一个给定的距离(dmin,dmax),若在P3点的邻域距离 (dmin,dmax)内，任一点与P3点的速度差的绝对值>＝设定的速度阈值Vmax，则 不管P3点的转向角多大，是否为停留点或者时间间隔变化点，都选定P3点为 关键点，该点被称为变速点。
步骤S2.4,船舶转向角是几个船位所连接的船舶子轨迹间的航迹对地航向之 差，根据船舶船位转向角的进行分段，设置船舶转向角分割阈值θmax。
步骤S2.5，如在给定的距离D0范围内，P3-P4轨迹段和P4-P5轨迹段是船 舶轨迹的两个子轨迹段见图2.计算两个轨迹段之间的航向之差，也就是转向角为 θ。
步骤S2.6,将θ与设定的转向角阈值θmax进行对比，比如θ＞＝θmax则将P4 点选为关键点，反之则继续采样。
步骤S2.7，如此循环，直到遍历完所有的点。
步骤S2.8，根据以上根据，轨迹点间隔，停留点，航速和航向关键点进行分 段得到分段后的轨迹数据集。
步骤S2.9，基于轨迹分段后的基础上处理轨迹异常点，轨迹异常点剔除函数 是遍历一条轨迹的所有子轨迹段，并根据速度阈值对轨迹进行重新分割，如果出 现轨迹段的速度大于给定阈值，则将原轨迹从该轨迹段处断开，该轨迹段起点作 为前一条轨迹的终点，终点作为后一条轨迹的起点。
若轨迹点与前轨迹段在速度上时空不可达，则定义该点为异常点。根据两个 相邻轨迹点的经纬度及时间戳信息可以得出子轨迹段的平均速度，设存在轨迹点 pi＝(xi，yi，ti)和pj＝(xj，yj，tj)(其中ti＜tj)，可以计算轨迹段<pi，pj>的速度(其中vinc(loni，lati，lonj，latj)表示两个轨迹点通过文 特森公式计算的地球表面距离)。再结合已知的各种类型目标的最高行驶速度， 设定速度阈值vmax，若vij＞vmax则表明该轨迹段存在异常，从而得出子轨迹段 的终点是异常点，将删除该轨迹点进行清理。
数据清洗后的结果图4所示，左图是一艘海上目标3年的原始轨迹，右图是 通过数据清洗算法处理后的轨迹集合。
步骤S3：轨迹压缩
目标轨迹中往往转向幅度平缓，这也意味着只需要保留少量的转向点，就可 以记录目标的运行轨迹，大大减轻数据库的存储压力，也提高了数据的查询和计 算效率，也尽可能避免了由于数据冗余而导致轨迹的局部特征及关键特征丢失。 DP轨迹压缩算法根据点到轨迹段距离探索分割点的过程，也可以看成是对轨迹拐点的发掘，该算法可以在压缩轨迹的同时保存轨迹的形状特征，但是传统的 DP算法仅仅考虑了轨迹点的空间位置，而没有考虑对地速度，船首向，航向等 关键信息，导致对于船舶直线加速，减速，大转角转向等特殊轨迹段进行压缩时 会发生关键特征轨迹点的提取丢失。在因而本节采用改进的轨迹特征点提取DP 算法来实现轨迹压缩。
如图5所示，将一条轨迹上的轨迹点按照时间顺序从p1到p10编号，并以此 介绍改进的轨迹特征点提取DP算法的主要流程：
步骤S3.1,将p1设为初始锚点，p0设为初始漂浮点，连接p1和p10将其作为 初始基线；
步骤S3.2,从锚点后一点p2起到漂浮点前一点p9，依次计算点到初始基线的 距离，并找出最大距离点；找出p1-p10之间最大的速度差点也设为p3；
步骤S3.3,判断图中最大距离点p3到基线的距离dmax与阈值ε的关系，若 dmax＜ε,则删除锚点p1和漂浮点p10之间所有点，反之，以p3作为分割点将轨 迹分成两部分：{p1-p3}和{p3-p10}；同时判断图中最大速度差点p3到p1-p10的 速度差Vmax与速度差阈值ε1之间的关系，若Vmax<ε1,则不参与决策，反之， 以p3作为分割点将轨迹分成两部分：{p1-p3}和{p3-p10}，并依次返回中间迭代 点。
步骤S3.4，对两部分子轨迹段重复2)-3)两步，判断每部分最大距离，最大 速度差与阈值的关系，直到锚点和漂浮点间没有其他点为止。
步骤S3.5，根据上述过程，假设找到p3和p7两个分割点，因此原轨迹被压 缩为{p1,p3,p7,p10}。阈值参数ε与ε1是DP算法唯二的先验参数，设定合适的 参数将提升轨迹压缩的效果。
步骤S4：船舶轨迹特征信息的采集
船舶异常检测需要对船舶正常行为建模，本文方法是通过聚类提取出一条典 型的船舶正常行为轨迹进行异常行为检测，而度量轨迹段之间的相似性是实现轨 迹聚类的基础，AIS数据中包含着丰富的船舶运动信息，如船舶位置，航速，航 向等，在轨迹相似性度量中要充分考虑这些信息。轨迹子段包含船位转向角信息和船位航速信息，这能够提高聚类的准确度和分析效果。由船位转向角信息和船 位航速信息确定的特征点组成船舶的分段轨迹。船舶的分段轨迹由一系列的特征 点根据时间的先后顺序组成。
步骤S4.1,船舶轨迹集可以用如下集合的形式表示：TD＝{TRl，...，TRi，...，TRn)上式中，TD表示船舶轨迹集合，TRi，表示第i条船舶轨迹，n为船舶轨 迹总数.
步骤S4.2，船舶轨迹是由一系列船舶轨迹点按时间先后顺序组成的，其表达 形式如下：
TRi＝{Pi1，…，Pij…，Pim)
上式中，Pij表示第i条船舶轨迹中的第j个船舶轨迹点，m为第i条船舶轨 迹中的轨迹点总数，不同船舶轨迹的轨迹点总数不一定相同，每个船舶轨迹点都 是由船舶动态信息和静态信息等海上交通信息组成。
步骤S4.3，根据研究内容需要，选取船舶MMSI、经度、纬度、航速、航向、 船长、定位时间组成船舶轨迹点信息，其船舶轨迹点Pij由如下形式表示：
Pij＝(MMSI，Longitude，Latitude，Sog，Cog，Length，Recdatatime)
步骤S5，使用改进的Hausdorff距离进行轨迹间的相似度度量。
图7为传统未改进Hausdorff距离，其中实心圆为船舶轨迹点，虚线圆圈c1,c2 为丢失轨迹点，实线为轨迹TR1到轨迹TR2的距离，而虚线为轨迹TR2到轨迹 TR1的距离，根据传统Hausdorff距离度量原理，其轨迹间距离将会变大。图8 为改进Hausdorff距离，其距离度量方法为依次计算船舶轨迹点到另一条轨迹中 与其最邻近的2个轨迹点所在直线的垂直距离，这样可以避免船舶轨迹点丢失造 成的影响。
为更加准确的度量船舶轨迹间距离，改进Hausdorff距离将船舶航向、航速 两个重要行为特征考虑在内，其距离度量原理具体步骤如下：
步骤S5.1，根据船舶轨迹点与直线的垂直交点，得出虚拟交点A位置(经、 纬度)信息，在改进的方法中P1与虚拟点A的连线为更真实的点到轨迹的距离， 对比P1到P21和P1到P22更加贴近实际。
步骤S5.2，根据点A的所在位置求出点A的航向、航速信息，垂直点的航 向、航速是根据垂直点的位置进行拉格朗日插值法进行信息补全。
步骤S5.3，求newdist(Pl，P2)距离，newdist(pl，p2)距离由空间(位置)距离、 航向距离、航速距离三部分组成，其中空间距离为欧氏距离，航向距离，航速距 离为两点数值之差。
但是newdist(p1，p2)代表轨迹TR1上的点P1到轨迹TR2的距离，由位置 距离、航向距离、航速距离组成，但船舶的位置距离、航向距离、航速距离其量 纲不同，直接组合计算容易受变化较大的行为特征影响，因此分别对船舶轨迹特 征距离的计算结果进行归一化处理，然后再进行计算，其公式为：
改进Hausdorff距离的Newdist(pl，p2)的计算原理如图9所示，假设船舶轨 迹TR1上有一点p1(3，5，6，4)，其中3，5，6，4分别代表经度、纬度、航向、 航速。度量轨迹TR1上的点P1到轨迹TR2的距离，遍历轨迹TR2上的所有的 点与点P1最近的两个轨迹点p21(2，3，4，5)和p22(4，4，7，6)，从点P1作点 P21和点P22所在直线的垂直线，图9中虚线圆圈为垂直点Pf，Pf的坐标可根 据相应的数学关系得出。式中，Norm为归一化处理，A为轨迹TR1中P1轨迹 点到轨迹TR2的垂直点，其中l1，r1，s1，c1上分别对应为A的经度、纬度、 航速、航向。
步骤S6:船舶典型轨迹提取
步骤S6.1，使用基于密度的聚类算法对完成相似度度量的轨迹段集进行聚类 操作；
步骤S6.2，得到正常行为类型的轨迹簇；
步骤S6.3，确定同方向的轨迹簇，确定聚类中心，图10TR2轨迹为聚类中 心；
步骤S6.4，设置典型轨迹提取扫描线，图10中垂直于聚类中心轨迹的点线。
步骤S6.5,设置扫描线的扫描间隔，规定以聚类中心轨迹TR2轨迹点为步长， 对该点所在的轨迹做垂线，记录与TR1,TR2,TR3相交点的坐标，包括(经度， 纬度，航向，航速)；
步骤S6.6，计算交点坐标的平局值，得到典型轨迹，即图10中黄色虚线轨 迹，这是通过计算得出的虚拟轨迹.
步骤S7：船舶异常行为检测
步骤S7.1，确定船舶异常行为特征；
(1)船舶位置：是否偏离航道，进入禁区，搁浅等。
(2)船速：是否超过正常平均值，过快或者过慢。
(3)航向：是否按照航道航行，是否存在突然大转角转向。
(4)其他：非正常AIS行为，比如未抵达港口。
步骤S7.2，根据先验知识设置异常阈值的初始值；
步骤S7.3，计算船舶轨迹点垂直映射到典型轨迹点的坐标(经度，纬度，航 速，航向)；
步骤S7.4，分别计算位置，航向，航速的偏差值；
步骤S7.5，将偏差值与设定的异常阈值进行对比，若任意因素发生异常则判 定为异常；
步骤S7.6，回归更新异常阈值，设准确率为：判定正确的轨迹点个数/全部 轨迹点个数，误报率：1-准确率；
以0.01为偏差阈值的梯度，计算每个偏差阈值下对应的准确率和误报率选 取准确率最高和误报警率最低所对应的偏差阂值作为船舶偏差阈值，为减少偶然 误差出现的误报警，设置偏差值连续三次超过阈值则确认为发生异常。
与现有技术相比，本发明具有以下优点：
(1)本方法思路明确简单，实施起来更加方便。
(2)本方法相比于传统的轨迹处理方法，使用了基于运动多特征模式的轨迹分 段和压缩算法，充分利用AIS轨迹数据，减小关键点缺失和局部轨迹段特征丢 失的缺点。
(3)本方法提出基于改进的Hausdorff距离轨迹段相似性度量法，对比传统Hausdorff距离法，轨迹间的相似性更加准确，为轨迹的聚类准确度奠定了基础。 (4)本方法提出改进扫描线典型轨迹提取法，使典型轨迹描述船舶正常行为轨 迹更具代表性，减小异常偏差的误差。
附图说明
图1.异常检测思路图。
图2船舶运动轨迹示例。
图3船舶轨迹转向角。
图4数据清洗结果示意图。
图5DP算法压缩结果示意图。
图6轨迹间的Hausdorff距离。
图7未改进Hausdorff距离。
图8改进后的Hausdorff距离。
图9改进Hausdorff距离度量原理。
图10典型轨迹的获取。
具体实施方式
以下结合附图和实施例对本发明进行详细说明。
步骤S10，对AIS船舶轨迹预处理；
步骤S20，对AIS轨迹进行分段处理；
步骤S30，对AIS数据进行压缩处理；
步骤S40，船舶轨迹特征信息的采集；
步骤S50，对轨迹段进行相似度度量；
步骤S60，船舶典型轨迹的获取；
步骤S70，船舶异常行为检测；
实施方式的对AIS数据进行压缩处理步骤S30还包括以下步骤：
如图5所示，将一条轨迹上的轨迹点按照时间顺序从p1到p10编号，并以此 介绍改进的轨迹特征点提取DP算法的主要流程：
步骤S300,将p1设为初始锚点，p0设为初始漂浮点，连接p1和p10将其作为
初始基线；
步骤S310,从锚点后一点p2起到漂浮点前一点p9，依次计算点到初始基线的 距离，并找出最大距离点；找出p1-p10之间最大的速度差点也设为p3。
步骤S320,判断图中最大距离点p3到基线的距离dmax与阈值ε的关系，若 dmax＜ε,则删除锚点p1和漂浮点p10之间所有点，反之，以p3作为分割点 将轨迹分成两部分：{p1-p3}和{p3-p10}；同时判断图中最大速度差点p3到 p1-p10的速度差Vmax与速度差阈值ε1之间的关系，若Vmax<ε1,则不参与决 策，反之，以p3作为分割点将轨迹分成两部分：{p1-p3}和{p3-p10}，并依 次返回中间迭代点。
步骤S330，对两部分子轨迹段重复2)-3)两步，判断每部分最大距离，最大 速度差与阈值的关系，直到锚点和漂浮点间没有其他点为止。
步骤S340，根据上述过程，假设找到p3和p7两个分割点，因此原轨迹被压 缩为{p1,p3,p7,p10}。
阈值参数ε与ε1是DP算法唯二的先验参数，设定合适的参数将提升轨迹 压缩的效果。
实施方式的船舶典型轨迹的获取步骤S60还包括以下步骤：
步骤S600，使用基于密度的聚类算法对完成相似度度量的轨迹段集进行聚类操作；
步骤S610，得到正常行为类型的轨迹簇；
步骤S620，确定同方向的轨迹簇，确定聚类中心，图10TR2轨迹为聚类中心；
步骤S630，设置典型轨迹提取扫描线，图10中垂直于聚类中心轨迹的点线。
步骤S640,设置扫描线的扫描间隔，规定以聚类中心轨迹TR2轨迹点为步长，对 该点所在的轨迹做垂线，记录与TR1,TR2,TR3相交点的坐标，包括(经度，纬 度，航向，航速)；
步骤S650，计算交点坐标的平局值，得到典型轨迹，即图10中黄色虚线轨迹， 这是通过计算得出的虚拟轨迹.
实施方式的船舶异常行为检测步骤S70还包括以下步骤：
步骤S700，确定船舶异常行为特征；
(1)船舶位置：是否偏离航道，进入禁区，搁浅等。
(2)船速：是否超过正常平均值，过快或者过慢。
(3)航向：是否按照航道航行，是否存在突然大转角转向。
(4)其他：非正常AIS行为，比如未抵达港口。
步骤S710，根据先验知识设置异常阈值的初始值；
步骤S720，计算船舶轨迹点垂直映射到典型轨迹点的坐标(经度，纬度，航速， 航向)；
步骤S730，分别计算位置，航向，航速的偏差值；
步骤S740，将偏差值与设定的异常阈值进行对比，若任意因素发生异常则判定 为异常；
步骤S750，回归更新异常阈值，设准确率为：判定正确的轨迹点个数/全部轨迹 点个数，误报率：1-准确率；
以0.01为偏差阈值的梯度，计算每个偏差阈值下对应的准确率和误报率选 2)取准确率最高和误报警率最低所对应的偏差阂值作为船舶偏差阈值，为减少 偶然误差出现的误报警，设置偏差值连续三次超过阈值则确认为发生异常。
Claims (3)
1.一种基于改进轨迹段DBSCAN聚类的船舶异常检测方法，其特征在于：该方法面向海上船舶移动目标，将繁杂且存在噪声的大规模轨迹数据，处理形成形象、直观的目标活动规律模板，通过提取船舶典型的轨迹对船舶的异常行为进行分析识别；包括以下步骤：
步骤S1:AIS数据预处理；
对来自于各种船载系统以及AIS设备的报文进行解析，将数据解析成动态和静态两部分；采用多源数据融合算法对解析的报文数据进行清洗，使用多线程对动静数据进行融合，根据两者的时间序列特性，进行动静插值，合成一条完整的船舶轨迹；对轨迹数据中的异常数据进行剔除，通过拉格朗路插值法对缺失值进行补齐，以及对个别字段进行转义处理并进行存储；
步骤S2：轨迹的分段；
把船舶的轨迹当作整体，将轨迹进行分段研究，然后对分段后的子轨迹进行聚类研究，将相似的轨迹子段归类为簇；建立典型船舶轨迹从而甄别异常轨迹，轨迹分段是根据轨迹点间隔时间，船位转向角和停留点进行划分；
步骤S3：轨迹压缩，采用改进的轨迹特征点提取DP算法来实现轨迹压缩:
将一条轨迹上的轨迹点按照时间顺序从p1到p10编号，并以此介绍改进的轨迹特征点提取DP的流程：
将p1设为初始锚点，p0设为初始漂浮点，连接p1和p10将其作为初始基线；从锚点后一点p2起到漂浮点前一点p9，依次计算点到初始基线的距离，并找出最大距离点；找出p1-p10之间最大的速度差点也设为p3；
判断最大距离点p3到基线的距离dmax与阈值ε的关系，若dmax＜ε,则删除锚点p1和漂浮点p10之间所有点，反之，以p3作为分割点将轨迹分成两部分：{p1-p3}和{p3-p10}；同时判断图中最大速度差点p3到p1-p10的速度差Vmax与速度差阈值ε1之间的关系，若Vmax<ε1,则不参与决策，反之，以p3作为分割点将轨迹分成两部分：{p1-p3}和{p3-p10}，并依次返回中间迭代点；对两部分子轨迹段重复步骤S2-S3两步，判断每部分最大距离，最大速度差与阈值的关系，直到锚点和漂浮点间没有其他点为止；假设找到p3和p7两个分割点，原轨迹被压缩为{p1,p3,p7,p10}；阈值参数ε与ε1是DP算法唯二的先验参数，设定参数将提升轨迹压缩的效果；
步骤S4：船舶轨迹特征信息的采集；
由船位转向角信息和船位航速信息确定的特征点组成船舶的分段轨迹；船舶的分段轨迹由一系列的特征点根据时间的先后顺序组成；
步骤S5，使用改进的Hausdorff距离进行轨迹间的相似度度量:
根据船舶轨迹点与直线的垂直交点，得出虚拟交点A位置信息，P1与虚拟点A的连线为更真实的点到轨迹的距离，对比P1到P21和P1到P22更加贴近实际；根据点A的所在位置求出点A的航向、航速信息，垂直点的航向、航速是根据垂直点的位置进行拉格朗日插值法进行信息补全；求newdist(pl，p2)距离，newdist(pl，p2)距离由空间距离、航向距离、航速距离三部分组成，空间距离为欧氏距离，航向距离，航速距离为两点数值之差；但是newdist(p1，p2)代表轨迹TR1上的点P1到轨迹TR2的距离，由位置距离、航向距离、航速距离组成，但船舶的位置距离、航向距离、航速距离其量纲不同，分别对船舶轨迹特征距离的计算结果进行归一化处理，然后再进行计算；
步骤S6:船舶典型轨迹提取；使用基于密度的聚类算法对完成相似度度量的轨迹段集进行聚类操作，得到正常行为类型的轨迹簇；确定同方向的轨迹簇，确定聚类中心；设置典型轨迹提取扫描线和扫描间隔，规定以聚类中心轨迹TR2轨迹点为步长，对该点所在的轨迹做垂线，记录与TR1,TR2,TR3相交点的坐标；计算交点坐标的平局值，得到典型轨迹；
步骤S7：船舶异常行为检测；确定船舶异常行为特征；
根据先验知识设置异常阈值的初始值，计算船舶轨迹点垂直映射到典型轨迹点的坐标；分别计算位置，航向，航速的偏差值；将偏差值与设定的异常阈值进行对比，若任意因素发生异常则判定为异常；回归更新异常阈值，设准确率为：判定正确的轨迹点个数/全部轨迹点个数，误报率：1-准确率。
2.根据权利要求1所述的一种基于改进轨迹段DBSCAN聚类的船舶异常检测方法，其特征在于：步骤2中，如果两点时间间隔Δt大于一天，则将对轨迹进行分段；如果轨迹经过停留点，则将轨迹进行分段，并去除停留点内的轨迹；轨迹设定一个给定的距离(dmin,dmax),若在P3点的邻域距离(dmin,dmax)内，任一点与P3点的速度差的绝对值>＝设定的速度阈值Vmax，则不管P3点的转向角多大，是否为停留点或者时间间隔变化点，都选定P3点为关键点即变速点；船舶转向角是几个船位所连接的船舶子轨迹间的航迹对地航向之差，根据船舶船位转向角的进行分段，设置船舶转向角分割阈值θmax；如在给定的距离D0范围内；计算两个轨迹段之间的航向之差，也就是转向角为θ；
根据轨迹点间隔，停留点，航速和航向关键点进行分段得到分段后的轨迹数据集；基于轨迹分段后的基础上处理轨迹异常点，轨迹异常点剔除函数是遍历一条轨迹的所有子轨迹段，并根据速度阈值对轨迹进行重新分割，如果出现轨迹段的速度大于给定阈值，则将原轨迹从该轨迹段处断开，该轨迹段起点作为前一条轨迹的终点，终点作为后一条轨迹的起点；
若轨迹点与前轨迹段在速度上时空不可达，则定义该点为异常点。
3.根据权利要求1所述的一种基于改进轨迹段DBSCAN聚类的船舶异常检测方法，其特征在于：步骤4中，船舶轨迹集用如下集合的形式表示：TD＝{TRl，...，TRi，...，TRn)上式中，TD表示船舶轨迹集合，TRi，表示第i条船舶轨迹，
n为船舶轨迹总数；船舶轨迹是由一系列船舶轨迹点按时间先后顺序组成的，其表达形式如下：
TRi＝{Pi1，…，Pij…，Pim)
式中，Pij表示第i条船舶轨迹中的第j个船舶轨迹点，m为第i条船舶轨迹中的轨迹点总数，每个船舶轨迹点都是由船舶动态信息和静态信息海上交通信息组成；
选取船舶MMSI、经度、纬度、航速、航向、船长、定位时间组成船舶轨迹点信息，船舶轨迹点Pij由如下形式表示：
Pij＝(MMSI，Longitude，Latitude，Sog，Cog，Length，Recdatatime)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110182150.9A CN113032502B (zh) | 2021-02-09 | 2021-02-09 | 一种基于改进轨迹段dbscan聚类的船舶异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110182150.9A CN113032502B (zh) | 2021-02-09 | 2021-02-09 | 一种基于改进轨迹段dbscan聚类的船舶异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113032502A CN113032502A (zh) | 2021-06-25 |
| CN113032502B true CN113032502B (zh) | 2024-02-02 |
Family
ID=76461382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110182150.9A Active CN113032502B (zh) | 2021-02-09 | 2021-02-09 | 一种基于改进轨迹段dbscan聚类的船舶异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032502B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542060B (zh) * | 2021-07-07 | 2023-03-07 | 电子科技大学中山学院 | 一种基于设备通信数据特征的异常设备检测方法 |
| CN113553682B (zh) * | 2021-07-12 | 2022-09-06 | 大连海事大学 | 一种数据驱动的多层次船舶航路网络构建方法 |
| CN113298195A (zh) * | 2021-07-27 | 2021-08-24 | 中国电子科技集团公司第十五研究所 | 海上目标经典轨迹的生成方法、装置及存储介质 |
| CN113887590B (zh) * | 2021-09-22 | 2023-06-09 | 中国电子科技集团公司第二十九研究所 | 一种目标典型航迹及区域分析方法 |
| CN113870620B (zh) * | 2021-10-19 | 2023-07-21 | 遨海科技有限公司 | 一种多ais设备同时开启的船舶识别方法 |
| CN114118243B (zh) * | 2021-11-18 | 2023-07-07 | 中交疏浚技术装备国家工程研究中心有限公司 | 一种基于航迹数据的耙吸挖泥船施工轨迹识别方法 |
| CN114219039A (zh) * | 2021-12-17 | 2022-03-22 | 杭州电子科技大学 | 一种基于船舶行为特征的船舶轨迹压缩方法及其系统 |
| CN114281915B (zh) * | 2021-12-22 | 2022-10-14 | 广州小鹏自动驾驶科技有限公司 | 一种生成几何路网的方法、装置、设备及存储介质 |
| CN114047508B (zh) * | 2022-01-13 | 2022-04-26 | 中国人民解放军海军工程大学 | 一种对海雷达探测范围统计评估方法及系统 |
| CN114743406B (zh) * | 2022-03-11 | 2023-04-07 | 中国电子科技集团公司第五十四研究所 | 一种船舶轨迹去纠缠方法 |
| CN115050214B (zh) * | 2022-06-07 | 2023-08-29 | 兰州大学 | 一种基于ais数据的船舶碰撞风险预测方法 |
| CN115294802A (zh) * | 2022-07-25 | 2022-11-04 | 中远海运科技股份有限公司 | 一种基于ais数据的船舶航行状态智能识别方法及系统 |
| CN116680346B (zh) * | 2022-09-23 | 2024-04-16 | 荣耀终端有限公司 | 运动轨迹分析方法、设备及介质 |
| CN115659263B (zh) * | 2022-10-14 | 2023-08-08 | 长江三峡通航管理局 | 一种基于大数据的船舶操控行为风险评估系统及评估方法 |
| CN116541727B (zh) * | 2023-07-07 | 2023-09-12 | 中国兵工物资集团有限公司 | 一种轨迹相似度计算方法和系统 |
| CN117851655A (zh) * | 2024-03-05 | 2024-04-09 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于多算法耦合的船舶航迹缺失数据补全方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309383A (zh) * | 2019-06-17 | 2019-10-08 | 武汉科技大学 | 基于改进的dbscan算法的船舶轨迹聚类分析方法 |
| CN111291149A (zh) * | 2020-02-28 | 2020-06-16 | 中国人民解放军国防科技大学 | 基于航向偏差的船舶ais时空轨迹分段及模式提取方法 |
| CN111949750A (zh) * | 2020-07-30 | 2020-11-17 | 智慧航海（青岛）科技有限公司 | 一种船舶轨迹模型建立及异常轨迹检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8855361B2 (en) * | 2010-12-30 | 2014-10-07 | Pelco, Inc. | Scene activity analysis using statistical and semantic features learnt from object trajectory data |
-
2021
- 2021-02-09 CN CN202110182150.9A patent/CN113032502B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309383A (zh) * | 2019-06-17 | 2019-10-08 | 武汉科技大学 | 基于改进的dbscan算法的船舶轨迹聚类分析方法 |
| CN111291149A (zh) * | 2020-02-28 | 2020-06-16 | 中国人民解放军国防科技大学 | 基于航向偏差的船舶ais时空轨迹分段及模式提取方法 |
| CN111949750A (zh) * | 2020-07-30 | 2020-11-17 | 智慧航海（青岛）科技有限公司 | 一种船舶轨迹模型建立及异常轨迹检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Adaptive Douglas-Peucker Algorithm With Automatic Thresholding for AIS-Based Vessel Trajectory Compression;JINGXIAN LIU 等;Digital Object Identifier;1-16 * |
| 船舶 AIS 轨迹快速自适应谱聚类算法;牟军敏 等;哈尔滨工程大学学报;第39卷(第3期);428-432 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113032502A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113032502B (zh) | 一种基于改进轨迹段dbscan聚类的船舶异常检测方法 | |
| CN110309383B (zh) | 基于改进的dbscan算法的船舶轨迹聚类分析方法 | |
| CN109684921B (zh) | 一种基于三维激光雷达的道路边界检测与跟踪方法 | |
| CN110210352B (zh) | 基于航道模型的船舶轨迹异常检测方法 | |
| CN105701479B (zh) | 基于目标特征的智能车辆多激光雷达融合识别方法 | |
| CN110220529B (zh) | 一种路侧自动驾驶车辆的定位方法 | |
| CN112906830B (zh) | 一种基于ais大数据的船舶最优航线自动生成方法 | |
| CN110008872B (zh) | 一种结合车辆轨迹和遥感图像的路网提取方法 | |
| CN113553682B (zh) | 一种数据驱动的多层次船舶航路网络构建方法 | |
| CN113312438B (zh) | 融合航线提取与趋势判断的海上目标位置预测方法 | |
| CN109000645A (zh) | 复杂环境目标经典航迹提取方法 | |
| CN112862156A (zh) | 一种基于船舶轨迹和蚁群算法的船舶路径规划方法 | |
| CN105893621B (zh) | 基于多维航迹聚类的目标行为规律挖掘方法 | |
| CN112699315A (zh) | 基于ais数据的船舶异常行为探测方法 | |
| CN112184736A (zh) | 一种基于欧式聚类的多平面提取方法 | |
| CN109147323A (zh) | 一种用于公路客货运输指标统计的车辆gps数据处理方法 | |
| CN112800938B (zh) | 无人驾驶车辆检测侧面落石发生的方法及装置 | |
| CN112862858A (zh) | 一种基于场景运动信息的多目标跟踪方法 | |
| CN114647705A (zh) | 一种基于ais数据的船舶航线提取与轨迹分类方法 | |
| Zheng et al. | Background noise filtering and clustering with 3D LiDAR deployed in roadside of urban environments | |
| CN114705193A (zh) | 一种基于海事大数据的船舶导航路径规划方法及系统 | |
| CN114550498B (zh) | 一种海量ais数据驱动的船舶偏离航道智能预警系统 | |
| Eljabu et al. | Spatial clustering method of historical ais data for maritime traffic routes extraction | |
| CN115457300A (zh) | 一种基于距离度量和隔离机制的船舶异常行为检测方法 | |
| CN116150299B (zh) | 一种可信度传播网络指引的多源轨迹关联方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |