CN112857360B - 一种船舶航行多信息融合方法 - Google Patents

Abstract

本发明公开了一种船舶航行多信息融合方法，包括：步骤1：多目标船信息预处理；步骤2：船舶AIS信息中目标船状态插值；步骤3：雷达与AIS信息初步融合；步骤4：视觉图像信息再融合；步骤5：融合目标实时更新。本发明考虑了雷达、AIS、视觉图像三种信息，比以往仅考虑雷达和AIS目标融合算法相比，扩展了融合信息类别，可得到更为准确的融合目标信息；通过设定雷达和AIS融合后，再与视觉图像融合的步骤和策略，避免预先设定众多假设条件、主观约定等非客观情况，保证了融合目标的准确性和快速性；本发明通过视觉图像二维可视化方式，利用图像、文字和数据综合显示方式，更为直观反映目标融合的结果，提供了友好的人机交互模式。

Description

一种船舶航行多信息融合方法

技术领域

本发明涉及一种船舶航行多信息融合方法，属于信息融合技术领域。

背景技术

船舶航行过程中可通过雷达、AIS和摄像头取周边船舶的信息，为驾驶人员提供多种信息源，雷达的主动扫描、AIS被动接收以及摄像头的主动拍摄，可以提供各有侧重的信息，提高船舶航行安全性。但是固态雷达扫描获得的信息较少，AIS信息虽然信息多，但有时目标船不启动发送AIS信息，摄像头的信息虽然直观，但是不能直接提供目标的位置信息，为此需要一种可将全部或部分雷达信息、AIS信息以及图像信息融合在一起的方法。

目前典型的船舶航行多信息融合方法主要基于属性特征的多信息信息融合方法。如刘芳武在文献《一种多智能体信息融合船舶避碰系统》中，提出一种基于船舶属性的多数据融合方法，将多数据源的信息属性划分，相同属性叠加融合处理；再比如申其兵在文献《船舶导航系统中雷达与AIS信息融合系统分析》中，提出一种雷达与AIS信息融合算法，采用分布式方式构建信息属性，在标准属性基础上完成雷达和AIS信息融合。

以上文献在信息融合过程中存在如下问题：一是融合信息大多是2种，主要以雷达和AIS信息融合为主；二是需要对信息做复杂的预处理，比如提前划分信息属性，主观因素影响较大。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种船舶航行多信息融合方法，船舶在航行过程中，在获取雷达目标、AIS目标、图像目标后，可实现对以上三种目标完成信息融合，形成可靠的目标结果。

为解决上述技术问题，本发明一种船舶航行多信息融合方法，包括以下步骤：

步骤1：多目标船信息预处理：按照时间戳每个时间点均在系统内存中划分出雷达、AIS和视觉目标，并对每一个目标设定变量，包括：目标ID号、目标检测时间、目标在本船坐标系下距离、方位、目标的经纬度、AIS编号、目标所在全景视觉系统中某一路相机编号及图像中的位置坐标；

步骤2：船舶AIS信息中目标船状态插值：获取AIS解码后的目标船状态，采用对目标船状态线性插值方法，将AIS目标运动平滑化处理；

步骤3：雷达与AIS信息初步融合，具体为：

步骤3.1：雷达目标同一性检测，具体为：

根据当前时刻目标1位置A及当前目标的速度V预测时长t_d后的位置，即目标1位置B，并以位置B为圆心、半径为R的区域为检测域，如果在该检测域内、t_d时刻后存在回波目标，则判定目标1和目标2是同一目标，即目标2是t_d时刻后目标1的成像；

步骤3.2：选取连续的雷达与AIS目标，具体为：

设置时间点t₀及时长t_m，在t₀到t₀+t_m这段时间内，按照相同时间点等间隔分别获取N个雷达和AIS目标，雷达目标1到N的位置、速度、航向分别为(xr1,yr1)、Vr1、θr1、...、(xrN,yrN)、VrN、θrN；AIS目标1到N的位置、速度、航向分别为(xa1,ya1)、Va1、θa1、...、(xaN,yaN)、VaN、θaN；

步骤3.3：雷达与AIS目标同一性判定，具体为：

在t₀到t₀+t_m这段时间内，计算置信度J：

J＝k1·Δp+k2·ΔV+k3·Δθ

其中，k1、k2和k3为权重系数，设定阈值J_set，当J＜J_set时，则表示在t₀到t₀+t_m这段时间内，该雷达和AIS目标指的是同一目标；

步骤3.4：融合目标标识关联，具体为：

雷达和AIS目标关联后，为该雷达标志赋予AIS中MMSI编号，当AIS信号消失或者雷达与AIS信号融合失败，该雷达目标被赋予的MMSI编号作用给定时间后，自动消失；

步骤4：视觉图像信息再融合，具体为：

步骤4.1：确定相机编号：

根据雷达和AIS融合目标在本船坐标系中的方位角，确定融合目标与360度全景视觉系统中成像对应的相机；

步骤4.2：采用三维坐标系映射为二维坐标方式，对初步融合目标进行预处理，具体为：

空间直角坐标系oxyz，xy平面为水平面，xz面为垂直面，xz面为视觉图像所在平面，雷达和AIS融合后目标位于水平面内，增加海平面信息后，得到三维坐标，将该目标空间位置(x_c,y_c,z_c)向xz平面做投影，形成二维成像点o_v，坐标为(x_v,z_v)；

在图像检测出目标船的基础上，获得目标船位置，目标船识别框位置中心为o_s，坐标为(x_s,z_s)；

步骤4.3：距离有效性判定，具体为：

定义雷达和AIS融合目标的有效监测距离范围[D_min,D_max]，当雷达和AIS融合目标在本船坐标系内距离本船距离D_target满足D_min＜D_target＜D_max情况时，则表示目标距离判定是有效的；

步骤4.4：目标同一性判定，具体为：

将图像识别框中心o_s和雷达AIS融合目标投影点o_v，与本船坐标系原点o_w连线，计算o_wo_s与o_wo_v直线夹角γ，设定目标成像夹角阈值γ_max，当γ＜γ_max时，表示雷达和AIS融合目标与图像检测目标是同一目标，反之则不是同一目标；

步骤4.5：融合目标标识关联，具体为：

当雷达和AIS融合目标与图像检测目标是同一目标后，图像目标被赋予AIS中MMSI编号，当AIS信号消失或者雷达及AIS融合目标与图像识别目标再融合失败时，图像识别目标被赋予的MMSI编号作用给定时间后，自动消失。

步骤5：融合目标实时更新：

当雷达、AIS、图像信号都存在时，判定以上3类信息的融合目标的MMSI编号是否已存在，如存在，则表示是原来的融合目标，只对状态更新；

当只存在雷达、图像2种信号的融合目标时，此时没有MMSI编号，则为该融合目标分配自定义编号，并且根据融合目标位置、速度、航向数据，动态计算未来的位置，当实际融合目标位置与预测位置的距离小于给定阈值时，该情况下的2种信息目标编号不动，否则被赋予新编号；

记录AIS、雷达、视觉信息中各目标的当前最新时刻和历史时刻的目标信息，存储于计算机内存中，并标记每个类型的每个目标在每个时刻是否已完成融合的标志，如果已被融合过，那么在内存信息列表中删除，如果新接收到目标信息，则增补到列表信息中。

本发明还包括：

对步骤5得到的多目标信息融合进行可视化显示，采用二维图像方式展示目标融合状态。

本发明的有益效果：本发明提出的船舶航行多信息融合方法考虑了雷达、AIS、视觉图像三种信息，比以往仅考虑雷达和AIS目标融合算法相比，扩展了融合信息类别，可得到更为准确的融合目标信息；本发明通过设定雷达和AIS融合后，再与视觉图像融合的步骤和策略，避免预先设定众多假设条件、主观约定等非客观情况，保证了融合目标的准确性和快速性；本发明通过视觉图像二维可视化方式，利用图像、文字和数据综合显示方式，更为直观反映目标融合的结果，提供了友好的人机交互模式。本发明针对雷达、AIS以及摄像头图像信息开展多信息融合工作，与前人相比扩展了信息融合类型，在不需要复杂的预处理的前提下开展目标融合工作，具有良好的快速性和准确性。为船舶航行提供更为准确的融合目标，提高船舶航行的安全性。

附图说明

图1是本发明流程框图；

图2是360度全景视觉系统实际装备图；

图3是AIS目标插值原理；

图4是雷达目标同一性检测原理；

图5是连续的雷达和AIS目标运动示意图；

图6是雷达和AIS融合目标坐标变换示意图；

图7是各信息源检测结果输出存储示意图；

图8是多目标信息融合可视化界面。

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

本发明的流程框图如图1所示，首先多多目标信息开展预处理，根据雷达、AIS、视觉图像划分目标属性信息，然后针对AIS数据特征，对AIS中目标船状态开展插值工作，再选择雷达和AIS这两类信息开展具体的目标融合工作，构建初步的目标融合信息，在此基础上，与360度全景视觉系统获取的图像识别目标开展再融合。根据雷达、AIS、图像综合融合结果，实时更新目标信息。最后，利用二维图形模式，设计多信息融合可视化显示界面。

1、多目标船信息预处理

本发明的基础是目标被成功检测识别，并获取相应目标的信息。雷达和AIS目标为平面360度范围内全覆盖，本发明中视觉图像也采用360度全景视觉系统加以获取，系统由12路相机组成，相邻相机中轴线夹角为40度，并采用融合技术实现图像360度拼接，实际设备如图2所示。

本发明在目标融合前，对AIS、雷达、视觉信息进行预处理，按照时间戳对应划分各类信息源的数据信息，即每个时间点均在系统内存中划分出雷达、AIS、视觉目标，并对各类的每以个目标设定如下变量：

(1)目标ID号：用于统一检索目标；

(2)目标检测时间：记录每个目标的时间，用于判定目标历史时刻；

(3)目标在本船坐标系下距离、方位：将目标状态转换到本船坐标系中，便于数据处理；

(4)目标的经、纬度：用于反映目标的绝对位置；

(5)AIS编号：AIS中MMSI编号，用于标识目标融合结果；

(6)目标所在12路相机中某一路编号及图像中的位置坐标：用于获取在12路图像中待处理图像编号，并与雷达AIS融合目标对比判定。

本发明以上变量便于后续各个步骤的目标信息处理。

2、船舶AIS信息中目标船状态插值

获取AIS解码后的目标船状态后，考虑到AIS信息发送频率较低，AIS目标位置间歇性变化，会影响到目标融合准确性和可视化。为此，本发明采用对目标船状态线性插值方法，将AIS目标运动平滑化处理，原理如图3所示。

如图3所示，设当前时刻目标船位于图中(x1,y1)位置，此时船舶速度为V1，船舶航向角为θ，本发明时间推进步长为Δt，下一帧AIS信息为系统推进若干帧后才接收到，为此本发明在两帧AIS信息之间，采用插值方式，每个插值点时间相隔Δt。以上图为例，插值点1的位置(x1_in,y1_in)，可用下式计算：

同理，在假设目标船航速V和航向θ不变情况下，根据插值点1计算插值点2位置(x2_in,y2_in)，用下式计算：

其他插值点位置以此类推。

当接收到新的AIS指令时，如图3目标船位置2时刻，此时终止插值操作，按照新的AIS指令解算的目标船位置(x2,y2)、速度V2、航向φ。更新目标船以上信息，并在这些新的位置、速度、航向的基础上，按照式(1)和式(2)开展新的插值工作。

本发明利用上述所示的AIS解算信息和插值信息，可使目标船的轨迹平滑化，时间每个步长时间较短，保证本发明后续目标融合的准确性。

3、雷达与AIS信息初步融合

在雷达回波信息和AIS信息解析得到目标后，两种传感器信息解析出的目标并没有直接的对应关系，无法直接实现雷达和AIS的信息融合，本发明提出置信评价原理，以此判定两种信息源中的目标是否是同一目标，雷达和AIS目标融合步骤如下所示：

Step 1：雷达目标同一性检测。

本发明雷达目标同一性检测原理如图4所示，根据当前时刻目标1位置A及当前目标的速度V，预测时长t_d后的位置，如图中所示“目标1位置B”，并以该位置为圆心，半径为R的区域为检测域，如果在该检测域内、t_d时刻后存在回波目标，如图中所示“目标2位置”，则本发明则判定目标1和目标2是同一目标，即目标2是t_d时刻后目标1的成像。

Step 2：选取连续的雷达与AIS目标

本发明设置时间点t₀及时长t_m，在t₀到t₀+t_m这段时间内，按照相同时间点等间隔均获取N个雷达和AIS目标，如图5所示。

在图5中，雷达目标1到N的位置、速度、航向分别为(xr1,yr1)、Vr1、θr1、...、(xrN,yrN)、VrN、θrN。AIS目标1到N的位置、速度、航向分别为(xa1,ya1)、Va1、θa1、...、(xaN,yaN)、VaN、θaN。

Step 3：雷达与AIS目标同一性判定

在t₀到t₀+t_m这段时间内，按照下式计算置信度J：

J＝k1·Δp+k2·ΔV+k3·Δθ (6)

上式中：k1、k2和k3为权重系数，本发明设定阈值J_set，当J＜J_set时，本发明则表示在t₀到t₀+t_m这段时间内，该雷达和AIS目标指的是同一目标。

Step 4：融合目标标识关联

本发明中雷达和AIS目标关联后，为该雷达标志赋予AIS中MMSI编号，当AIS信号消失或者雷达与AIS信号融合失败，该雷达目标被赋予的MMSI编号作用一段时间后，自动消失。

4、视觉图像信息再融合

本发明按照如下步骤开展与视觉图像目标的再融合：

Step 1：确定相机编号。

根据雷达和AIS融合目标在本船坐标系中的方位角，确定融合目标与本船上12路360度全景视觉系统中哪个相机中的成像对应。

Step 2：明确与某一路相机对应后，开展坐标变换。

在雷达和AIS信息融合后的基础上，本发明进一步与视觉图像信息融合。雷达和AIS目标是在三维空间内成像，但视觉图像信息相当于在垂直平面二维空间成像，本发明采用三维坐标系映射为二维坐标方式，对初步融合目标进行预处理，原理详见图6。

如图6所示，空间直角坐标系oxyz，xy平面为水平面，xz面为垂直面，该平面为视觉图像所在平面，上图中五边形为雷达和AIS融合后所示目标，该目标位于在水平面内，但是增加海平面信息后，实际是三维坐标。将该目标空间位置(x_c,y_c,z_c)向xz平面做投影，形成图6所示二维成像点o_v，坐标为(x_v,z_v)。

本发明在图像检测出目标船的基础上，获得目标船所在图像中位置，如上图所示目标船识别框，该框中心为o_s，坐标为(x_s,z_s)。

Step 3：距离有效性判定

根据常用的360度全景视觉系统信号采集精度以及图像目标识别能力，本发明定义雷达和AIS融合目标的有效监测距离范围[D_min,D_max]，当雷达和AIS融合目标在本船坐标系内距离本船距离D_target满足D_min＜D_target＜D_max情况时，则表示目标距离判定是有效的；

Step 4：目标同一性判定

在图6中，将图像识别框中心o_s和雷达AIS融合目标投影点o_v，与本船坐标系原点o_w连线，计算o_wo_s与o_wo_v直线夹角γ。本发明设定目标成像夹角阈值γ_max，当γ＜γ_max时，表示雷达和AIS融合目标与图像检测目标是同一目标，反之则不是同一目标。

Step 5：融合目标标识关联

当雷达和AIS融合目标与图像检测目标是同一目标后，图像目标被赋予AIS中MMSI编号，当AIS信号消失或者雷达及AIS融合目标与图像识别目标再融合失败时，图像识别目标被赋予的MMSI编号作用一段时间后，自动消失。

5、融合目标实时更新

随着时间的推进，根据雷达、AIS、图像的目标信息，会出现新的融合目标，也会对以前融合目标更新状态。本发明按照如下2种情况加以处理：

(1)当雷达、AIS、图像信号都存在时，判定以上3类信息的融合目标的MMSI编号是否已存在，如存在，则表示是原来的融合目标，只对状态更新即可；

(2)当只存在雷达、图像2种信号的融合目标时，此时没有MMSI编号，则本发明为该融合目标分配自定义编号，该编号采用“Radar_Visual_XXXXX”形式，后5位为数字，从00000至99999由小到大依次分配。并且根据融合目标位置、速度、航向数据，动态计算未来的位置，当实际融合目标位置与预测位置的距离小于一定阈值时，该情况下的2种信息目标编号不动，否则被赋予新编号。

在上述情况基础上，根据雷达、AIS、视觉目标，按照图7所示原理存储目标，各目标按照时间排列处理。

如图7所示，本发明采用“单目标单时刻”方式存储上述变量信息，然后通过“多目标单时刻”方式记录某一时刻多目标的信息，再采用“多目标多时刻”的方式汇总某一类(雷达、AIS、视觉中一种)信息，以此记录AIS、雷达、视觉信息中各目标的当前最新时刻和历史时刻的目标信息，存储于计算机内存中，并标记每个类型(雷达、AIS、视觉)的每个目标在每个时刻(当前时刻、历史时刻)是否已完成融合的标志，如果已被融合过，那么在图7中的内存信息列表中删除，如果新接收到目标信息，则增补到图7所示的列表信息中。

6、多目标信息融合可视化

本发明采用二维图像方式展示目标融合状态，详见图8。

如图8所示，在360度全景视觉系统的某一路图像上，在上部增加本船航向角，用以确定当前摄像机相对于船首的角度位置，在图像中除了制定船舶类型、航向、速度、距离外，通过“AIS是否关联”值为1来确定已融合AIS目标、“TT是否关联”值为1来确定已融合雷达目标、“可见光是否关联”值为1来确定已融合图像目标。如果上述值为0，表示未融合相应目标。

Claims (2)

1.一种船舶航行多信息融合方法，其特征在于，包括以下步骤：

步骤1：多目标船信息预处理：按照时间戳每个时间点均在系统内存中划分出雷达、AIS和视觉目标，并对每一个目标设定变量，包括：目标ID号、目标检测时间、目标在本船坐标系下距离、方位、目标的经纬度、AIS编号、目标所在全景视觉系统中某一路相机编号及图像中的位置坐标；

步骤2：船舶AIS信息中目标船状态插值：获取AIS解码后的目标船状态，采用对目标船状态线性插值方法，将AIS目标运动平滑化处理；

步骤3：雷达与AIS信息初步融合，具体为：

步骤3.1：雷达目标同一性检测，具体为：

根据当前时刻目标1位置A及当前目标的速度V预测时长t_d后的位置，即目标1位置B，并以位置B为圆心、半径为R的区域为检测域，如果在该检测域内、t_d时刻后存在回波目标，则判定目标1和目标2是同一目标，即目标2是t_d时刻后目标1的成像；

步骤3.2：选取连续的雷达与AIS目标，具体为：

设置时间点t₀及时长t_m，在t₀到t₀+t_m这段时间内，按照相同时间点等间隔分别获取N个雷达和AIS目标，雷达目标1到N的位置、速度、航向分别为(xr1,yr1)、Vr1、θr1、...、(xrN,yrN)、VrN、θrN；AIS目标1到N的位置、速度、航向分别为(xa1,ya1)、Va1、θa1、...、(xaN,yaN)、VaN、θaN；

步骤3.3：雷达与AIS目标同一性判定，具体为：

在t₀到t₀+t_m这段时间内，计算置信度J：

J＝k1·Δp+k2·ΔV+k3·Δθ

其中，k1、k2和k3为权重系数，设定阈值J_set，当J＜J_set时，则表示在t₀到t₀+t_m这段时间内，该雷达和AIS目标指的是同一目标；

步骤3.4：融合目标标识关联，具体为：

雷达和AIS目标关联后，为该雷达标志赋予AIS中MMSI编号，当AIS信号消失或者雷达与AIS信号融合失败，该雷达目标被赋予的MMSI编号作用给定时间后，自动消失；

步骤4：视觉图像信息再融合，具体为：

步骤4.1：确定相机编号：

根据雷达和AIS融合目标在本船坐标系中的方位角，确定融合目标与360度全景视觉系统中成像对应的相机；

步骤4.2：采用三维坐标系映射为二维坐标方式，对初步融合目标进行预处理，具体为：

空间直角坐标系oxyz，xy平面为水平面，xz面为垂直面，xz面为视觉图像所在平面，雷达和AIS融合后目标位于水平面内，增加海平面信息后，得到三维坐标，将该目标空间位置(x_c,y_c,z_c)向xz平面做投影，形成二维成像点o_v，坐标为(x_v,z_v)；

在图像检测出目标船的基础上，获得目标船位置，目标船识别框位置中心为o_s，坐标为(x_s,z_s)；

步骤4.3：距离有效性判定，具体为：

定义雷达和AIS融合目标的有效监测距离范围[D_min,D_max]，当雷达和AIS融合目标在本船坐标系内距离本船距离D_target满足D_min＜D_target＜D_max情况时，则表示目标距离判定是有效的；

步骤4.4：目标同一性判定，具体为：

将图像识别框中心o_s和雷达AIS融合目标投影点o_v，与本船坐标系原点o_w连线，计算o_wo_s与o_wo_v直线夹角γ，设定目标成像夹角阈值γ_max，当γ＜γ_max时，表示雷达和AIS融合目标与图像检测目标是同一目标，反之则不是同一目标；

步骤4.5：融合目标标识关联，具体为：

当雷达和AIS融合目标与图像检测目标是同一目标后，图像目标被赋予AIS中MMSI编号，当AIS信号消失或者雷达及AIS融合目标与图像识别目标再融合失败时，图像识别目标被赋予的MMSI编号作用给定时间后，自动消失；

步骤5：融合目标实时更新：

当雷达、AIS、图像信号都存在时，判定以上3类信息的融合目标的MMSI编号是否已存在，如存在，则表示是原来的融合目标，只对状态更新；

当只存在雷达、图像2种信号的融合目标时，此时没有MMSI编号，则为该融合目标分配自定义编号，并且根据融合目标位置、速度、航向数据，动态计算未来的位置，当实际融合目标位置与预测位置的距离小于给定阈值时，该情况下的2种信息目标编号不动，否则被赋予新编号；

记录AIS、雷达、视觉信息中各目标的当前最新时刻和历史时刻的目标信息，存储于计算机内存中，并标记每个类型的每个目标在每个时刻是否已完成融合的标志，如果已被融合过，那么在内存信息列表中删除，如果新接收到目标信息，则增补到列表信息中。

2.根据权利要求1所述的一种船舶航行多信息融合方法，其特征在于：对步骤5得到的多目标信息融合进行可视化显示，采用二维图像方式展示目标融合状态。

Images