一种海量船舶AIS轨迹数据在线压缩方法及装置
技术领域
本发明涉及数据压缩技术领域,具体涉及一种海量船舶AIS轨迹数据在线压缩方法及装置。
背景技术
根据国际海事组织(International Maritime Organization,IMO)MSC73通过修订的《海上人命安全公约》第5章的规定,300总吨以上的船舶到2002年需强制配备船舶自动识别系统(Automatic Identification System,AIS),以加强水上生命安全、提高船舶航行的安全性和效率。
船舶自动识别系统AIS可对船舶的运动状态进行实时监控。对船舶操纵人员来说,利用AIS数据可了解本船及其他目标船舶的航行动态信息,有利于船舶导航和避碰等行动;对海事交管部门来将,利用AIS数据信息可对船舶进行管理及控制;对事故调查人员来讲,利用AIS数据信息回顾船舶发生事故前的动态信息,并提取有效的特征信息,有利于事故的调查。目前,作为船舶避碰和自动交换信息的重要助航工具,越来越多的船舶配置了AIS设备,补充了雷达获取信息的不足,船舶通过该设备能够自动实时地与其他装有同类设备的船舶交换位置、航速和航向等动态信息,可有效避免船舶碰撞等海损事故的发生。通过AIS船舶也能向AIS基站发送船名、识别码、目的地、是否装载危险货物等静态信息,同时还能接收管理当局通过基站发送来的助航和告警等信息。AIS与电子海图显示与信息系统(Electronic Chart Display and Information System,ECDIS)系统结合使用对于减轻船员工作强度、帮助船员判断船舶所处态势,提供避碰相关信息,减少碰撞事故等方面起着重要作用。将AIS引入船舶交通管理系统(VesselTraffic Service,VTS),可有效提高VTS系统的功能,效率以及可靠性,对保障海上航行安全具有重要意义。AIS还可以应用于综合船桥系统,虚拟航标系统等。AIS的成功应用不仅可以提高船舶航行的安全性,还可以提高船舶管理的有效性,极大地避免了海上各种交通事故的发生,而且还增强了船舶在海上航行中的相互识别能力,为实现海上交通安全的信息化管理提供了重要保障,而且还可使海事主管机关能够借助岸基AIS电台提供的船舶信息及时掌握所辖海域交通状况,有助于加强海上交通管制并提高海域安全管理效率。
然而AIS数据产生的信息量庞大,容易引起计算机数据处理效率显著下降的问题。同时,船舶AIS数据中存在着大量的冗余和重复的信息,进一步降低了数据处理的效率。所以为了提高数据处理的效率,需要对那些冗余和重复的数据信息进行压缩,以降低存储设备的使用成本。船舶AIS数据应用非常广泛,但在这个越来越追求简便的时代,海量AIS数据处理却凸显出了不足。第一,船舶AIS数据内容多。船舶AIS信息包括船舶的静态信息和船舶的动态信息这两方面的内容。其中静态信息包括:IMO编码,呼号,船名,长度,宽度,吃水,目的港,选用航线计划等;动态信息包括:船位(实时),航向,对地航速,船首向,航行状态,转向率等。第二,船舶AIS信息发布频率高。船舶AIS信息一般到2s到6min发布一条。
现有技术中,通常采用的在线压缩方法,可以处理动态的轨迹数据。采用的压缩算法包括具有缓冲的启发式空间质量简化算法SQUISH(Spatial Quality SimplificationHeu-ristic)算法、SQUISH-E算法、OPW算法、OPW-TR算法等。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
现有的压缩算法是通过轨迹点所处的局部轨迹段的时空信息来衡量轨迹点在轨迹全局中所占的信息量大小,从而无法准确地衡量轨迹点在当前存储轨迹全局中的信息量,因而存在压缩效果较差的技术问题。
发明内容
有鉴于此,本发明提供了一种海量船舶AIS轨迹数据在线压缩方法及装置,用以解决或者至少部分解决现有技术中存在的压缩效果较差的技术问题。
本发明第一方面提供了1、一种海量船舶AIS轨迹数据在线压缩方法,包括:
根据历史AIS数据获取预设水域的船舶轨迹的历史特征;
基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩,运动状态的改变由当前轨迹点的运动状态与关键点的运动状态比较后得出。
在一种实施方式中,基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩,具体包括采用限定双因子的阈值结合算法进行在线压缩,双因子包括同步欧式距离和转向角度;
限定双因子的阈值结合算法具体包括如下步骤:
基于限定双因子的阈值结合算法,计算关键点在原轨迹上的速度和运动方向,将其作为关键点参照运动状态;
将关键点后的第一个点作为目标点,计算目标点在原轨迹上的速度与运动方向,并将目标点的运动方向角度与关键点的方向角度的差值作为转向角度,同时以关键点和目标点下一个点为基准点获得同步欧氏距离;参照关键点的运动状态,当限定的同步欧式距离大于阈值或者转向角度大于阈值或者速度的变化量大于规定的阈值时,将目标点转换为新的关键点;否则,舍弃目标点,保留关键点,直到待压缩AIS轨迹数据中包含所有的轨迹点处理完毕。
在一种实施方式中,基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩之后,所述方法还包括:
根据船舶运动建模与压缩后的AIS数据生成船舶轨迹。
在一种实施方式中,所述方法还包括:
基于核密度估计构建船舶AIS轨迹数据的统计推断建模。
基于同样的发明构思,本发明第二方面提供了一种海量船舶AIS轨迹数据在线压缩装置,包括:
历史特征获取模块,用于根据历史AIS数据获取预设水域的船舶轨迹的历史特征;
在线压缩模块,用于基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩,其中,运动状态的改变由当前轨迹点的运动状态与关键点的运动状态比较后得出。
在一种实施方式中,在线压缩模块具体用于采用限定双因子的阈值结合算法进行在线压缩,双因子包括同步欧式距离和转向角度;
限定双因子的阈值结合算法具体包括如下步骤:
基于限定双因子的阈值结合算法,计算关键点在原轨迹上的速度和运动方向,将其作为关键点参照运动状态;
将关键点后的第一个点作为目标点,计算目标点在原轨迹上的速度与运动方向,并将目标点的运动方向角度与关键点的方向角度的差值作为转向角度,同时以关键点和目标点下一个点为基准点获得同步欧氏距离;参照关键点的运动状态,当限定的同步欧式距离大于阈值或者转向角度大于阈值或者速度的变化量大于规定的阈值时,将目标点转换为新的关键点;否则,舍弃目标点,保留关键点,直到待压缩AIS轨迹数据中包含所有的轨迹点处理完毕。
在一种实施方式中,所述装置还包括船舶轨迹生成模块,用于在基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩之后:
根据船舶运动建模与压缩后的AIS数据生成船舶轨迹。
在一种实施方式中,所述装置还包括推断模型构建模块,用于:
基于核密度估计构建船舶AIS轨迹数据的统计推断模型。
基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现第一方面所述的方法。
基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明公开的一种海量船舶AIS轨迹数据在线压缩方法,首先根据历史AIS数据获取预设水域的船舶轨迹的历史特征;然后基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩。由于可以结合历史特征数据和运动状态的改变进行在线压缩,从而可以提高压缩的效果。
进一步地,采用限定双因子的阈值结合算法进行在线压缩,双因子包括同步欧式距离和转向角度;选取轨迹数据中的第一个点为关键点,计算出其在原轨迹上的速度和运动方向,作为关键点参照运动状态,以此来对其后的点的参照运动状态和同步欧氏距离对轨迹点的信息量进行评估,以速度变化阈值、转向角度阈值、同步欧氏距离阈值三个阈值的限制,保证了对多种轨迹点信息的保留。即可以根据轨迹点的速度大小的改变量作为评估该点的信息量大小的依据;同时,限定轨迹点之间的同步欧式距离和转向角度,从而可以进一步改善压缩效果。
进一步地,根据船舶运动建模与压缩后的AIS数据生成船舶轨迹,从而可以探究相邻两个点之间的运动特性,进而构建压缩后的船舶AIS数据轨迹模型。
进一步地,基于核密度估计构建船舶AIS轨迹数据的统计推断建模,从而得到船舶的习惯性航路(轨迹场),最终达到限定双因子结合算法对船舶AIS数据的压缩效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中海量船舶AIS轨迹数据在线压缩方法的流程图;
图2为实现图1中的在线压缩方法的具体技术路线的示意图;
图3为是本发明实施例基于KDE构建的船舶AIS轨迹场的示意图;
图4为本发明实施例海量船舶AIS轨迹数据在线压缩装置的结构框图;
图5为本发明实施例中一种计算机可读存储介质的结构框图;
图6为本发明实施例中计算机设备的结构图。
具体实施方式
本发明的目的在于:基于当前AIS产生的海量数据存储占用大量内存、传输耗时长、调用速度慢,以及目前的数据压缩方法在压缩过程中无法较为完整、准确的保留船舶轨迹特征点的不足。提出的一种可以高效的压缩AIS数据,并较为完整、准确的保留其轨迹特征点的方法,其将有助于实现对AIS数据的高效管理,提高船舶之间的信息交流效率和监管效率。
为了达到上述效果,本发明的主要构思如下:
以水域为研究对象,首先对于某一水域先依据历史AIS数据找到该区域的船舶轨迹的历史特征,然后基于运动状态的改变与历史特征数据结合的方式进行在线压缩。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例提供了一种海量船舶AIS轨迹数据在线压缩方法,请参见图1,该方法包括:
步骤S1:根据历史AIS数据获取预设水域的船舶轨迹的历史特征。
具体来说,针对海量数据存储占用内存空间大的弊端,选择压缩数据,舍去数据中含信息量较少的非关键点,从而可以提高数据的存储效率。然而,直接对当前数据进行压缩,会导致船舶轨迹产生较大的误差,因此,本发明选取收集某一水域过往船舶的历史AIS数据,利用道格拉斯算法,选择合适的阈值对其特点进行提取。然后将所得到的该水域船舶航行特征作为对修正实时船舶数据压缩的依据,对压缩后的数据进行再处理,提高船舶数据压缩的真实性,精确性。
步骤S2:基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩,运动状态的改变由当前轨迹点的运动状态与关键点的运动状态比较后得出。
具体来说,基于AIS预处理后得到的历史数据,然后可以结合限定双因子的阈值结合算法,选取数据中的第一个点为关键点,并且作为最后一个关键点,求其在原轨迹上的速度和运动方向,作为关键点参照运动状态,以此来对其后的点的参照运动状态和同步欧氏距离对轨迹点的信息量进行评估,以速度变化阈值、转向角度阈值、同步欧氏距离阈值三个阈值的限制,可以保证对多种轨迹点信息的保留。
其中,基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩,具体包括采用限定双因子的阈值结合算法进行在线压缩,双因子包括同步欧式距离和转向角度;
限定双因子的阈值结合算法具体包括如下步骤:
基于限定双因子的阈值结合算法,计算关键点在原轨迹上的速度和运动方向,将其作为关键点参照运动状态;
将关键点后的第一个点作为目标点,计算目标点在原轨迹上的速度与运动方向,并将目标点的运动方向角度与关键点的方向角度的差值作为转向角度,同时以关键点和目标点下一个点为基准点获得同步欧氏距离;参照关键点的运动状态,当限定的同步欧式距离大于阈值或者转向角度大于阈值或者速度的变化量大于规定的阈值时,将目标点转换为新的关键点;否则,舍弃目标点,保留关键点,直到待压缩AIS轨迹数据中包含所有的轨迹点处理完毕。
具体来说,限定双因子的阈值结合算法的基本概念是:限定双因子的阈值结合算法,根据轨迹点的速度大小的改变量作为评估该点的信息量大小的依据;同时,限定轨迹点之间的同步欧式距离和转向角度,从而达到更合理的压缩效果的目的,是一种在线的轨迹数据压缩算法。其中,涉及的相关概念包括:
轨迹向量。轨迹向量指轨迹中任意两个不同的轨迹点组成的向量,由其中的一个点指向另一个点。
轨迹向量的时间。轨迹向量的时间指轨迹起点和终点时间差的绝对值。
轨迹点的速度。轨迹点的速度指以此轨迹点为起点的轨迹向量的模与轨迹向量的时间的比值。
轨迹点的运动方向。轨迹点的运动方向指以此轨迹点为起点的最短轨迹向量的运动方向。
轨迹点的转向角度。轨迹点的转向角度是指两个时间不同的轨迹点运动方向之差,以时间小的一点为起点,以时间大的一点为终点。
在具体的实施过程中,算法的实现过程如下:
(1)将轨迹第1个点选为关键点,并且作为最后一个关键点,求其在原轨迹上的速度和运动方向,作为关键点参照运动状态。
(2)将关键点后的第一个点视为目标点,分别求取目标点在原轨迹上的速度与方向。其中,目标点的方向角度与关键点的方向角度之差为转向角度;同时以关键点和目标点下一个点为基准点获得同步欧氏距离。参照关键点的运动状态,当限定的双因子(同步欧式距离或转向角度)大于规定的阈值或速度的变化量大于规定的阈值时,目标点转换为新的关键点;若限定的双因子及速度变化量均在阈值内,则目标点舍去,关键点保留。
(3)若第一个目标点未被转化为关键点被舍去后,则顺延至下一轨迹点,将其视为目标点,按照步骤(2)所示过程分别计算转向角度,同步欧式距离等限定因子,并判断其是否可为下一关键点。
具体实现时,其伪代码表示如下所示:
输入:原轨迹T;速度变化阈值speed_eps;同步欧氏距离阈值sed_eps;运动方向变化阈值angle_eps。
输出:压缩后轨迹T_Prime。
伪代码相关注释见下表:
表1
在一种实施方式中,基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩之后,所述方法还包括:
根据船舶运动建模与压缩后的AIS数据生成船舶轨迹。
具体来说,船舶运动建模所表达的物理意义是探究相邻两个点之间的运动特性。在高频率采样的模式下,所取得的两个轨迹点之间可近似为匀速直线运动,两点之间的速度可以为两个点的平均速度,结合船舶运动模型,从而可以构建压缩后的船舶AIS数据轨迹模型。
在一种实施方式中,所述方法还包括:
基于核密度估计构建船舶AIS轨迹数据的统计推断建模。
具体来说,经过处理的船舶AIS轨迹数据再经过可视化技术可以直观的展现船舶所处水域的交通流特征,故本发明运用一维核密度估计KDE(Kernel Density Estimation)构建核密度估计模型,对采集到的船舶AIS轨迹数据进行合理分析,从而得到船舶的习惯性航路(轨迹场),构建形式如图3所示,图3中的线条表示运动轨迹,箭头表示运动方法,线条周围的阴影表示对周边的影响程度,最终达到限定SED的阈值结合算法对船舶AIS数据的压缩效果。
具体地,核密度估算算法的概念为:
设在定义域R(X1,X2…Xn)为独立的同分布随机变量,它所服从的分布密度函数为f(x),并且定义函数为:
式中,f'n(x)称为密度函数f(x)的核密度估计,其中K(0)为一维核函数,h为预先定义的光滑参数。依据船舶在研究水域内二维的观测数据,(xi,yi)n表示船舶在第i个样本上的经纬度坐标,故核密度函数估计表达式如下:
再结合高斯公式到(3),最后可得如下函数表达式:
其中,本发明中涉及的特征参数、函数以及评估指标的含义说明见下表。
表2
进一步地,本发明还可以基于可视化技术研究船舶AIS轨迹数据压缩效果。
将未被压缩的船舶AIS轨迹数据与压缩后的船舶AIS轨迹数据进行可视化处理,并将压缩前后的船舶AIS轨迹密度图进行对比分析,从而判断基于限定SED的阈值结合算法的压缩效果,进而得出结论。
请参见图2,为实现图1中的在线压缩方法的具体技术路线的示意图;首先确定研究水域,例如长江武汉段水域船舶航路网络,然后进行数据筛选,筛选出相应的历史特征,再将历史特征与限定双因子的阈值结合算法进行结合,对待处理数据进行在线压缩。其中,限定双因子的阈值结合算法涉及的参数与变量包括轨迹向量、轨迹向量的时间、轨迹点的速度、轨迹点的运动方向以及转向角度。接下来设置评估指标(压缩率、DTW算法、距离损失、运行时间等),然后再进行算法模块化整合,再利用基于可密度估计的可视化技术优化算法进行可视化,最后开发压缩算法评估软件。
总体来说,本发明以道格拉斯算法为基础,通过引入同步欧氏距离和转向角度,以速度和角度改变量的大小作为参考标准来对传统算法进行改进,将传统的离线压缩提高至在线压缩的新层面。并利用船舶AIS历史数据发现针对某一特定水域船舶运动轨迹的特征,以此来对船舶实时轨迹压缩后的数据进行修正。
本发明的有益效果是:基于当前AIS产生的海量数据存储占用大量内存、传输耗时长、调用速度慢,以及目前的数据压缩方法在压缩过程中无法较为完整、准确的保留船舶轨迹特征点的不足。提出了一种可以高效的压缩AIS数据,并较为完整、准确的保留其轨迹特征点的算法,其将助于实现对AIS数据的高效管理,提高船舶之间的信息交流效率和监管效率。
基于同一发明构思,本申请还提供了与实施例一中海量船舶AIS轨迹数据在线压缩方法对应的装置,详见实施例二。
实施例二
本实施例提供了一种海量船舶AIS轨迹数据在线压缩装置,请参见图4,该装置包括:
历史特征获取模块201,用于根据历史AIS数据获取预设水域的船舶轨迹的历史特征;
在线压缩模块202,用于基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩,其中,运动状态的改变由当前轨迹点的运动状态与关键点的运动状态比较后得出。
在一种实施方式中,在线压缩模块具体用于采用限定双因子的阈值结合算法进行在线压缩,双因子包括同步欧式距离和转向角度;
限定双因子的阈值结合算法具体包括如下步骤:
基于限定双因子的阈值结合算法,计算关键点在原轨迹上的速度和运动方向,将其作为关键点参照运动状态;
将关键点后的第一个点作为目标点,计算目标点在原轨迹上的速度与运动方向,并将目标点的运动方向角度与关键点的方向角度的差值作为转向角度,同时以关键点和目标点下一个点为基准点获得同步欧氏距离;参照关键点的运动状态,当限定的同步欧式距离大于阈值或者转向角度大于阈值或者速度的变化量大于规定的阈值时,将目标点转换为新的关键点;否则,舍弃目标点,保留关键点,直到待压缩AIS轨迹数据中包含所有的轨迹点处理完毕。
在一种实施方式中,所述装置还包括船舶轨迹生成模块,用于在基于运动状态的改变与历史特征数据结合的方式对待压缩AIS轨迹数据进行在线压缩之后:
根据船舶运动建模与压缩后的AIS数据生成船舶轨迹。
在一种实施方式中,所述装置还包括推断模型构建模块,用于:
基于核密度估计构建船舶AIS轨迹数据的统计推断模型。
由于本发明实施例二所介绍的装置,为实施本发明实施例一中海量船舶AIS轨迹数据在线压缩方法所采用的装置,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该装置的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
实施例三
请参见图5,基于同一发明构思,本申请还提供了一种计算机可读存储介质300,其上存储有计算机程序311,该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中海量船舶AIS轨迹数据在线压缩方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思,本申请还提供了一种计算机设备,请参见图6,包括存储401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403,处理器402执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中海量船舶AIS轨迹数据在线压缩方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。