发明内容
本申请的其中一个目的在于提供一种能够解决背景技术中至少一个缺陷的基于多源数据融合的船舶动态轨迹预测及跟踪方法。
为达到上述的至少一个目的,本申请采用的技术方案为:一种基于多源数据融合的船舶动态轨迹预测及跟踪方法,包括如下步骤:
S100:基于船舶自身的AIS以及桥梁设置的雷达系统甄别出目标船舶,并将目标船舶的AIS以及桥梁的雷达系统分别提供的位置信息进行融合;
S200:对步骤S100融合的数据进行整合,并基于双向长短期记忆网络建立目标船舶的轨迹预测模型;基于贝叶斯优化对建立的轨迹预测模型进行优化;
S300:基于步骤S200优化后的轨迹预测模型的预测轨迹与历史航行轨迹进行对比,若出现异常行为,则对目标船舶进行跟踪。
优选的,步骤S100包括如下具体过程:
S110:将雷达系统的目标位置坐标和AIS的目标位置坐标统一为地心坐标系下的坐标(Xr,Yr)和(Xa,Ya);
S120:将雷达系统的采样时刻设置为采样基准时刻,利用插值法计算出AIS于采样基准时刻的目标位置信息;
S130:对雷达系统采集的航行轨迹与船舶的AIS提供的航行轨迹进行关联,若满足关联条件,则认定在设定时间内雷达系统与AIS探测的为同一目标,即目标船舶;
S140:利用算法对步骤S130甄别出的目标船舶进行位置数据的融合。
优选的,雷达系统采用以雷达系统为中心的极坐标系,目标位置数据是用极坐标表示;AIS 检测的目标位置用 WGS-84 地理坐标/>表示;在步骤S110中,通过高斯-克吕格投影法将AIS的目标位置坐标转换为系统坐标系下的坐标(Xa,Ya);雷达系统的目标位置于系统坐标系中的坐标(Xr,Yr)通过下列转换公式得到:
;
;
其中,R为目标船舶相对于雷达系统的直线距离,为目标船舶相对于雷达系统的方位角(0°~360°);/>表示经度,/>表示纬度;(X0,Y0)为雷达系统在系统坐标系中的坐标。
优选的,在步骤S130中,采用置信度法进行航行轨迹的关联;具体过程如下:
S131:设置时间起始点t0,在时长为T的这段时间内,按照相同时间点等间隔获取N个雷达系统和AIS提供的目标船舶的位置数据及速度数据;
S132:根据步骤S131获取的数据按计算置信度D;
S133:设定置信度的阈值DM,当计算得到的置信度值D<DM时,则认为在T时间内雷达系统和AIS探测的为同一个目标;
置信度D的计算公式如下:
;
;
;
其中,表示T时间内的距离差总和;/>表示T时间内的速度差总和;k1、k2为权重系数;Vr、Va分别为i时间点雷达系统和AIS采集的目标船舶的速度;(Xri,Yri)和(Xai,Yai)分别为i时间点雷达系统和AIS采集的目标船舶于地心坐标系中的位置坐标。
优选的,在步骤S140中,采用基于最小方差原则的加权平均法进行数据融合,具体的计算公式如下:
;
;
;
;
其中,(X,Y)表示融合后的目标位置坐标值;m1、m2为数据融合权重;分别为雷达系统和AIS的测量精度。
优选的,在步骤S200中,对于数据的整合包括如下过程:
S210:选取轨迹特征;
S220:基于步骤S210选取的轨迹特征,对雷达系统和AIS采集的相关数据进行融合,进而得到目标船舶的航行轨迹特征数据C;
S230:对步骤S220获得的航行轨迹特征进行消除数据量级处理。
优选的,步骤S210中选取的轨迹特征包括:时间、经度、纬度、对地航速以及对地航向信息;则步骤S220中目标船舶于某一时刻的航行轨迹特征数据C可以表示为:
;
其中,(X,Y)表示融合后的目标位置坐标值;V表示目标船舶对地航速;α表示目标船舶对地航向。
优选的,步骤S230消除数据量级的过程为:对数据统一进行归一化处理,之后进行滑动窗口处理,将其转换为时间步长乘以输入维度的形式;归一化的公式如下:
;
其中,C´为归一化后的数据;Cmax为训练集中数据的最大值;Cmin为训练集中数据的最小值。
优选的,在通过步骤200中得到的轨迹预测模型进行结果输出时,将模型于当前时刻向前和反向的单元输出结果进行融合输出。
优选的,在步骤S200中通过贝叶斯优化对轨迹预测模型进行超参数调参来实现优化,具体的调参过程如下:
S240:将测试样本均方根误差的平均值定义为目标函数;
S250:给定目标函数待优化的超参数以及相应的参数变化范围;
S260:利用贝叶斯算法优化步骤S250中的超参数以进行目标函数求解;
S270:将目标函数的最小值对应的超参数作为模型的最终参数。
优选的,在步骤S240中,通过构建高斯过程代理模型来近似目标函数;在步骤S250中,待优化的超参数包括隐藏层层数、训练批次数量以及学习率;在步骤S260中,利用贝叶斯推断来选择采样点并代入高斯过程代理模型中求解目标函数的近似解;若求解的目标函数近似值满足限值要求,则代入步骤S270中;否则重新选择采样点来进行求解。
与现有技术相比,本申请的有益效果在于:
(1)本申请通过融合雷达系统和AIS的目标数据,对AIS无法探测的船舶信息以及环境状况进行了有效的数据补充,有效避免了仅应用AIS数据进行轨迹预测的局限性,在一定程度上提升了预测结果的稳定性和有效性。
(2)本申请采用基于深度学习和贝叶斯优化相结合的算法对船舶动态轨迹进行预测,准确率高、实时性强,利用较少的计算代价即可获得满足精度的预测结果;从而可以为管理人员对异常船舶的监管提供有力支撑。
具体实施方式
下面,结合具体实施方式,对本申请做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
在本申请的描述中,需要说明的是,对于方位词,如有术语“中心”、 “横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、 “前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位置关系为基于附图所示的方位或位置关系,仅是为了便于叙述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作,不能理解为限制本申请的具体保护范围。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请的其中一个优选实施例,如图1和图2所示,一种基于多源数据融合的船舶动态轨迹预测及跟踪方法,包括如下步骤:
S100:数据融合,基于船舶自身的AIS以及桥梁设置的雷达系统甄别出目标船舶,并将目标船舶的AIS以及桥梁的雷达系统分别提供的位置信息进行融合。
S200:轨迹预测,对步骤S100融合的数据进行整合,并基于双向长短期记忆网络建立目标船舶的轨迹预测模型;基于贝叶斯优化对建立的轨迹预测模型进行优化。
S300:轨迹跟踪,基于步骤S200优化后的轨迹预测模型的预测轨迹与历史航行轨迹进行对比,若出现异常行为,则对目标船舶进行跟踪。
应当知道的是,对于船舶的动态轨迹预测一般是应用在船舶需要进行过桥通航时,通过轨迹预测来提前对船舶的航行状态进行预警,以降低或避免船舶在过桥通航时出现异常状况的可能。
还应当知道的是,在桥梁附近进行过桥通航的船舶的数量一般有多个,则控制中心接收到的AIS数据的数量有多个,同时桥梁上的雷达系统通过扫描获取的船舶位置信息也有多个。由于部分船舶未安装有AIS,一般来说,雷达系统扫描获取的船舶数量要多个控制中心接收到的AIS数量。所以在进行船舶的航行轨迹预测时需要将雷达系统和AIS的数据进行结合;即未安装有AIS的船舶的航行轨迹通过雷达系统来进行识别并记录,而安装有AIS的船舶的航行轨迹可以通过AIS来提供并记录。
但是,考虑到AIS数据更新的时间为几十秒到几分钟,在这个更新的时间内船舶会航行较远的距离,使得船舶于更新时间的首尾时间点的轨迹变化较大,不利于航行轨迹预测的数据采集。即船舶在AIS更新时间内出现航行异常的可能性较高,若直接以船舶的AIS的数据为参考进行航行轨迹预测,将会降低预测的准确性。而雷达系统的扫描时间通常在2s~4s,在这个时间内船舶的航行距离较短,有利于进行航行轨迹预测的数据采集。所以对于安装有AIS的船舶可以将AIS的数据与雷达系统的数据进行融合来进行航行轨迹预测,可以有效避免了仅应用AIS数据进行轨迹预测的局限性,在一定程度上提升了预测结果的稳定性和有效性。
基于上述内容,在进行步骤S100时,控制中心可以根据接收的多个船舶的AIS数据以及桥梁上雷达系统的扫描数据,对安装有AIS的船舶和未安装有AIS的船舶进行甄别以获得多个目标船舶。通过AIS和雷达系统相结合来甄别船舶,还可以避免由于船舶靠的较近导致的识别错误。随后对甄别的目标船舶进行数据的融合;其中,对于安装有AIS的船舶,通过将自身AIS数据与雷达系统的采集数据进行融合来作为后续的航行轨迹预测的数据参考;而对于未安装AIS的船舶,只能够将雷达系统的采集数据作为后续的航行轨迹预测的数据参考。
需要知道的是,对于未安装有AIS的船舶,一般为小型船舶,吃水量较小,船身高度也不高,在进行过桥通航时的风险较低。所以只通过雷达系统的扫描数据得到的航行预测轨迹可以满足小型船舶的通航需求。
本实施例中,步骤S100中对于雷达系统和AIS的数据融合包括如下具体过程:
S110:坐标变换,将雷达系统的目标位置坐标和AIS的目标位置坐标统一为地心坐标系下的坐标(Xr,Yr)和(Xa,Ya)。
S120:时间同步,将雷达系统的采样时刻设置为采样基准时刻,利用插值法计算出AIS于采样基准时刻的目标位置信息。
S130:航行轨迹关联,对雷达系统采集的航行轨迹与船舶的AIS提供的航行轨迹进行关联,若满足关联条件,则认定在设定时间内雷达系统与AIS探测的为同一目标,即目标船舶。
S140:数据融合,利用算法对步骤S130甄别出的目标船舶进行位置数据的融合。
应当知道的是,雷达系统采用以雷达系统为中心的极坐标系,目标位置数据是用极坐标表示;AIS 检测的目标位置用 WGS-84 地理坐标/>表示;其中,R为目标船舶相对于雷达系统的直线距离,/>为目标船舶相对于雷达系统的方位角(0°~360°);表示经度,/>表示纬度。由前述内容可知,雷达系统采集的目标位置数据和AIS采集的目标位置数据的坐标不统一;所以在进行数据融合前需要先将雷达系统采集的目标位置数据和AIS采集的目标位置数据的坐标进行变换统一。
对于坐标变换的方式有多种,可以是将雷达系统的极坐标系作为系统坐标系,然后将AIS的目标位置坐标转换为极坐标系;也可以是将AIS的WGS-84 地理坐标作为系统坐标系,然后将雷达系统的目标位置坐标转换为WGS-84 地理坐标;还可以是选择新的坐标系作为系统坐标系,将雷达系统的目标位置坐标和AIS的目标位置坐标均转换为新的系统坐标系下的坐标。由于极坐标系和WGS-84 地理坐标都不方便进行后续的算法训练,所以本实施例中优选便于算法训练的新的坐标系作为系统坐标系。
便于算法训练的新的坐标系有多种,常见的有地心坐标系;地心坐标系是以地球质心为原点建立的空间直角坐标系,或以球心与地球质心重合的地球椭球面为基准面所建立的大地坐标系。为了方便理解和描述,后续内容将以地心坐标系为系统坐标系。应当知道的是,地心坐标系对应的坐标为三维空间坐标,而二维平面坐标更方便进行算法的训练。所以在进行算法训练前,需要将雷达系统和AIS的目标位置在地心坐标系中对应的三维坐标进行二维平面化。
具体的,在步骤S110中,对于将地理坐标在地心坐标系中进行二维平面化最常用的就是投影法,常见的投影方法有墨卡托投影(正轴等角圆柱投影)、高斯-克吕格投影、斜轴等面积方位投影、双标准纬线等角圆锥投影、等差分纬线多圆锥投影和正轴方位投影等。本实施例中优选采用高斯-克吕格投影法将AIS的目标位置坐标转换为系统坐标系下的坐标(Xa,Ya)。
在步骤S110中,由于极坐标系本身也是二维平面坐标系,则对于将极坐标系在地心坐标系中进行二维平面化无需使用投影法,只需通过公式转换即可。将雷达系统的目标位置在地心坐标系中进行二维平面化后得到坐标(Xr,Yr)的转换公式如下:
;/>;其中,(X0,Y0)为雷达系统在系统坐标系中的坐标。
可以理解的是,雷达系统的扫描时间为2s~4s,AIS的数据发送间隔时间为2min~3min;而在进行数据融合时,需要有统一的数据采集时间;所以在进行数据融合前需要对雷达系统和AIS的数据采集时间进行同步。为了提高后续轨迹预测的精度,优选以雷达系统的扫描时间即采样时刻作为采样基准时刻;即控制中心每隔2s~4s分别对雷达系统以及AIS进行一次数据采样。
但是,由前述内容可知,AIS的数据发送间隔时间远长于采样基准时刻;以采样基准时刻为2s,AIS的数据发送间隔时间为2min为例;在经历了60次的数据采样才能够采样到1次AIS的数据;这将导致雷达系统和AIS在进行数据融合时缺乏数据对应。所以需要对AIS的数据进行划分,使得AIS于每个采样基准时刻都能够有相应的数据与雷达系统的数据进行融合。
具体的,在步骤S120中,根据AIS发送的历史数据,通过插值法对AIS发送的数据进行插值计算;所谓插值计算,就是利用函数在有限点的取值来估算出函数于其他点处的近似值。从而通过插值计算可以得到AIS于自身数据发送间隔时间内与采样基准时刻对应的数据近似值,进而通过该数据近似值与雷达系统的数据进行融合。
应当知道的是,步骤S110和S120为数据融合前的前置处理过程;在控制中心采集到雷达系统的扫描数据以及接收到AIS发送的数据时就进行步骤S110和S120。由于目标船舶的甄别过程需要将AIS数据与雷达系统扫描的数据进行对比,为了方便进行对比,一般需要在完成数据的前置处理后进行对比。所以将对目标船舶进行甄别的过程放在步骤S120之后。
具体的,对于目标船舶的甄别方式有多种;在步骤S130中,采用置信度法进行航行轨迹的关联;具体过程如下:
S131:设置时间起始点t0,在时长为T的这段时间内,按照相同时间点等间隔获取N个雷达系统和AIS提供的目标船舶的位置数据及速度数据。
S132:根据步骤S131获取的数据按计算置信度D。
S133:设定置信度的阈值DM,当计算得到的置信度值D<DM时,则认为在T时间内雷达系统和AIS探测的为同一个目标。
置信度D的计算公式如下:
;。
其中,表示T时间内的距离差总和;/>表示T时间内的速度差总和;k1、k2为权重系数;Vr、Va分别为i时间点雷达系统和AIS采集的目标船舶的速度;(Xri,Yri)和(Xai,Yai)分别为i时间点雷达系统和AIS采集的目标船舶于地心坐标系中的位置坐标。
可以理解的是,具体的置信度D的计算过程可以理解为:将T时间段分为N个时间点;统计每个时间点雷达系统和AIS分别对应的目标位置的距离差和速度差;然后将统计的N个时间点对应的速度差和距离差分别进行求和以得到和/>;最后通过分配权重来对/>和/>进行求和得到所需的置信度D。
应当知道的是,为了保证置信度D的计算准确,雷达系统和AIS提供的目标船舶的数据尽可能的多,即N的取值要足够的大。同时对于置信度的阈值DM的取值以及权重系数k1和k2的取值可以根据实际需要自行进行选择。
具体的,能够进行数据融合的算法有多种;在步骤S140中,优选采用基于最小方差原则的加权平均法进行数据融合,具体的计算公式如下:
;/>;/>。
其中,(X,Y)表示融合后的目标位置坐标值;m1、m2为数据融合权重;分别为雷达系统和AIS的测量精度。
可以理解的是,对于数据融合权重m1和m2的取值可以根据实际需要自行进行选择;雷达系统和AIS的测量精度和/>可以通过铭牌或说明书查询得到。
应当知道的是,步骤S100的全部上述过程为轨迹预测的前置数据融合过程;在步骤S200中,将通过神经网络算法的深度学习和贝叶斯优化相结合的方式对目标船舶的航行轨迹进行预测。整个步骤S200主要包括如下几个步骤:数据的整合、预测模型的建立以及预测模型的优化。为了方便理解,下面将对每个步骤进行详细的描述。
本实施例中,步骤S200对于数据的整合包括如下过程:
S210:选取轨迹特征。
S220:基于步骤S210选取的轨迹特征,对雷达系统和AIS采集的相关数据进行融合,进而得到目标船舶的航行轨迹特征数据C。
S230:对步骤S220获得的航行轨迹特征数据进行消除数据量级处理。
应当知道的是,步骤S100只对雷达系统和AIS采集的数据进行融合,而并未对数据进行整合筛选。即雷达系统和AIS所采集的数据并不完全与航行轨迹相关,如目标船舶的尺寸等。所以为了降低轨迹预测的计算量,可以在进行轨迹预测前对融合的数据进行整合,进而筛选出只与船舶轨迹预测相关的特征数据,即轨迹特征。
具体的说,步骤S210中选取的与船舶航行轨迹相关的轨迹特征主要包括:时间、经度、纬度、对地航速以及对地航向信息等;则在步骤S220中,目标船舶于某一时刻的航行轨迹特征C可以表示为:。
其中,(X,Y)表示融合后的目标位置坐标值;V表示目标船舶对地航速;α表示目标船舶对地航向。
应当知道的是,各个轨迹特征之间的量级不同;则为了消除数据量级的影响以及提高轨迹预测计算的稳定性,步骤S230的数据量级消除过程为:对轨迹特征数据统一进行归一化处理,之后再进行滑动窗口处理,将其转换为时间步长乘以输入维度的形式。具体的归一化公式如下:
。
其中,C´为归一化后的数据;Cmax为训练集中数据的最大值;Cmin为训练集中数据的最小值。
应当知道的是,基于神经网络算法来建立深度学习模型的常用方法是采用长短期记忆网络(LSTM)。长短期记忆网络(LSTM)是在循环神经网络(RNN)基础上,通过内部的门结构,有效解决RNN模型训练中出现的梯度消失问题的一种深度学习模型。在船舶航行轨迹预测任务中,往往航行轨迹的前后时刻数据突变较大,LSTM模型无法获取从后到前的信息进行训练,导致数据利用率低,不能充分利用数据的内在特征。
本实施例中,如图2所示,对于目标船舶的航行轨迹预测模型建立引入了双向长短期记忆网络(BiLSTM)。则在通过步骤200中得到的轨迹预测模型进行结果输出时,双向长短期记忆网络(BiLSTM)可以实现将模型于当前时刻向前和反向的单元输出结果进行融合输出,进而可以有效的提高模型精度。
为了方便进行理解,下面可以对双向长短期记忆网络(BiLSTM)的工作原理进行简单的描述。
如图2所示,BiLSTM模型分为两个独立的LSTM模型,输入序列分别以正序和逆序输入至两个LSTM模型中进行特征提取,即向前和向后的LSTM模型分别对两个方向输入的数据进行学习,进而得到隐藏层状态的两个方向相反的输出向量;最后将两个输出向量(即提取后的特征向量)通过权重矩阵进行融合拼接,得到最终的输出数据来作为模型的最终特征表达。BiLSTM模型可以使某一时刻所获得的特征数据同时拥有过去和将来之间的信息,在进行数据特征提取效率和性能上要明显优于LSTM模型。
应当知道的是,由于隐藏层神经元的数量对模型的拟合能力起着决定性作用,LSTM模型的预测精度以及计算效率直接受网络结构超参数的控制。因此,不同超参数建立的模型的预测性能差异很大,如何选择合适的参数对模型的建立非常重要。目前,LSTM模型的超参数通常是根据研究人员的经验和多次实验的结果来选择的;随机性较大,在一定程度上影响了模型的预测性能。
本实施例中,通过贝叶斯优化(Bayesian Optimization,BO)来进行轨迹预测模型的超参数调参,具体的调参过程如下:
S240:将测试样本均方根误差的平均值定义为目标函数。
S250:给定目标函数待优化的超参数以及相应的参数变化范围。
S260:利用贝叶斯算法优化步骤S250中的超参数以进行目标函数求解。
S270:将目标函数的最小值对应的超参数作为模型的最终参数。
可以理解的是,测试样本均方根误差的平均值作为目标函数并没有确定的目标函数表达式,只能够通过近似的方式来求解目标函数。近似的方式有多种,本实施例中优选采用高斯过程代理模型来进行近似,即在步骤S240中,通过构建高斯过程代理模型来近似目标函数。
应当知道的是,可以将采样基准时刻对应的雷达系统和AIS的数据经过数据融合以及数据整合后作为步骤S240的测试样本。同时,在步骤S250中,待优化的超参数包括隐藏层层数、训练批次数量以及学习率等。
具体的,在步骤S260中,利用贝叶斯优化的具体过程如下:先利用贝叶斯推断来选择采样点,将采样点代入高斯过程代理模型中求解目标函数的近似解。然后判断求解的目标函数近似解是否满足限值(最小值)要求;若满足,则进行步骤S270将当前目标函数对应的超参数作为最终参数来优化航行轨迹预测模型并保存;若不满足,将通过贝叶斯推断来重新选择采样点以重复步骤S260,直至满足限值条件为止。
应当知道的是,在步骤S260中通过贝叶斯推断来选择采样点,可以尽量减少高斯过程代理模型的不确定性和目标函数的期望。进而双向长短期记忆网络和贝叶斯优化组合的算法(BO-BiLSTM)可以通过较少的采样点即可找到全局最优解,而且可以自适应地调整采样点的位置和数量,大大提升轨迹预测模型的预测精度和计算效率。
还应当知道的是,由于航行轨迹特征是在归一化处理后用于模型建立的,则在步骤 S270中得到的优化后的航行轨迹预测模型进行预测结果的输出时,需要对输出的结果进行数据逆归一化,以得到预测轨迹所对应的轨迹特征数据。
本实施例中,步骤S300中对于轨迹异常的船舶跟踪,需要利用视觉和轨迹进行协同跟踪。具体的说,在步骤S300中,基于历史轨迹提取目标船舶的正常行为特征,通过与预测的轨迹数据进行对比,可识别异常行为。一旦识别出轨迹异常的船舶,控制中心立即将目标船舶的实时位置信息传递给智能跟踪摄像机(中载云台),由该设备对目标船舶进行实时视频跟踪,直至目标船舶的轨迹状态显示正常为止。通过算法对轨迹的预测与智能设备的联动,可以实现船舶异常动态的实时监测,对规避航运潜在风险,提升航运智能化感知与安全监管能力具有重要意义。
以上描述了本申请的基本原理、主要特征和本申请的优点。本行业的技术人员应该了解,本申请不受上述实施例的限制,上述实施例和说明书中描述的只是本申请的原理,在不脱离本申请精神和范围的前提下本申请还会有各种变化和改进,这些变化和改进都落入要求保护的本申请的范围内。本申请要求的保护范围由所附的权利要求书及其等同物界定。