CN115080903A

CN115080903A - 一种基于智能优化算法的海上多目标多模态匹配融合方法

Info

Publication number: CN115080903A
Application number: CN202210622352.5A
Authority: CN
Inventors: 张妙藏; 韦一; 孟凡彬; 宋晔; 李彬; 朱志军; 谢华伟
Original assignee: 707th Research Institute of CSIC Jiujiang Branch
Current assignee: 707th Research Institute of CSIC Jiujiang Branch
Priority date: 2022-06-01
Filing date: 2022-06-01
Publication date: 2022-09-20
Anticipated expiration: 2042-06-01
Also published as: CN115080903B

Abstract

本发明公开了一种基于智能优化算法的海上多目标多模态匹配融合方法，包括：通过多个信息源在预设时间段内获取海上多目标多模态信息；对多目标多模态信息进行预处理；根据预处理后的多目标多模态信息的时间序列特征，构建全局关联隶属度函数；通过基于离散烟花优化算法的全局关联匹配算法，对全局关联隶属度函数进行处理，获得多目标多模态关联匹配关系所对应的最优解；根据多目标多模态关联匹配关系所对应的最优解，对多目标多模态信息进行匹配融合；通过该方法可以提高海上船舶多目标属性感知完整性、运动状态感知精度，实现辅助导航。

Description

一种基于智能优化算法的海上多目标多模态匹配融合方法

技术领域

本发明属于船舶多目标多模态信息关联匹配融合、辅助导航技术领域，特别是一种基于智能优化算法的海上多目标多模态匹配融合方法。

背景技术

近年来随着人工智能技术的发展，船舶自主航行研究得到了迅猛的发展，如船舶图像目标检测、信息融合、辅助导航等技术研究。船舶通过AIS、导航雷达、光电、激光雷达等设备自主感知由远到近的海上目标，通过对不同设备观测的多目标多模态信息关联匹配融合，从而提高感知目标信息完整性与感知精度。

目前，多目标关联方法大多为状态滤波类方法，将目标视为点对象，利用雷达等设备提供的目标位置、速度、方位等运动特征进行关联，如联合概率数据关联(JPDA)、多假设跟踪(MHT)、小波变换、随机有限集、粒子群优化算法、蚁群优化算法等方法。由于海上目标(如船舶、浮标、码头泊位等)探测手段多源，目标特征模态多样(包括视频图像、文本、点云等)，仅针对运动状态的关联算法不再适用，两传感器关联匹配算法在多源关联匹配将大大增加计算复杂度。而且船舶航行时设备探测性能受限于船舶姿态变化、光照等环境因素影响，在复杂场景下，多个目标存在遮挡、交叉运动等情况，传统的智能优化算法(如蚁群优化算法)存在局部收敛、计算量大等缺点，现有关联算法难以满足多模态融合的需求。

目前多模态融合技术研究处于起步阶段，多应用于汽车自动驾驶领域，如基于深度学习神经网络进行多模态信息融合等，包括可见光/红外、可见光/点云、可见光/声音等多模态融合，针对于海上船舶自主航行领域研究较少，且受限于复杂的海上环境。

因此，如何将多模态融合技术应用于海上船舶自主航行领域，从而提高船舶多目标属性感知完整性、运动状态感知精度，实现辅助导航，成为当前研究的关键问题。

发明内容

鉴于上述问题，本发明提供一种至少解决上述部分技术问题的一种基于智能优化算法的海上多目标多模态匹配融合方法，基于多模态信息的时间序列特征构建关联代价函数，并设计离散烟花优化算法求解多模态信息关联匹配矩阵；通过该方法可以提高海上船舶多目标属性感知完整性、运动状态感知精度，实现辅助导航。

本发明实施例提供了一种基于智能优化算法的海上多目标多模态匹配融合方法，包括：

S1、通过多个信息源在预设时间段内获取海上多目标多模态信息；

S2、对所述多目标多模态信息进行预处理；

S3、根据预处理后的多目标多模态信息的时间序列特征，构建全局关联隶属度函数；

S4、通过基于离散烟花优化算法的全局关联匹配算法，对所述全局关联隶属度函数进行处理，获得多目标多模态关联匹配关系所对应的最优解；

S5、根据所述多目标多模态关联匹配关系所对应的最优解，对所述多目标多模态信息进行匹配融合。

进一步地，还包括：

S6、将所述多目标多模态信息的匹配融合结果在光电视频、电子海图上叠加显示。

进一步地，所述S1中，所述多个信息源包括电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统和光电视频图像目标检测系统；所述光电视频图像目标检测系统包括可见光目标检测与热红外目标检测。

进一步地，所述S2包括将所述多目标多模态信息解析为时间序列特征，并进行保存，具体为：

解析所述电子海图在预设时间段内提取的多目标多模态信息，并保存为第一时间序列特征{UCT时间、目标类型、目标编号、目标所在经度、目标所在纬度、目标相对于本船舶的方位，以及目标至本船舶的距离}；

解析所述船舶自动识别系统AIS在预设时间段内获取的多目标多模态信息，并保存为第二时间序列特征{UCT时间、目标类型、目标编号、目标所在经度、目标所在纬度、本船舶航速、本船舶航向、本船舶航行状态、本船舶长度和本船舶宽度}；

解析所述ARPA雷达在预设时间段内获取的多目标多模态信息，并保存为第三时间序列特征{UCT时间、目标编号、目标相对于本船舶的方位、目标至本船舶的距离、本船舶航速和本船舶航向}；

解析所述雷达图像目标检测系统在预设时间段内获取的多目标多模态信息，并保存为第四时间序列特征{UCT时间、目标编号、目标中心至本船舶的距离、目标中心相对于本船舶的方位、目标的矩形包络框距离}；

解析所述光电视频图像目标检测系统在预设时间段内获取的多目标多模态信息，并保存为第五时间序列特征{UCT时间、目标类型、目标编号、目标中心相对于本船舶的方位、目标检测框长度和目标检测框宽度}。

进一步地，所述S2还包括：将所述多模态信息统一转化为像素坐标系下的信息，具体为：

根据像素坐标系与世界坐标系的映射关系，结合本船舶的定位信息，将所述ARPA雷达探测到的相对于本船舶的极坐标信息转换为世界坐标系下的经纬度坐标；

通过墨卡托变换法将所述电子海图和船舶自动识别系统AIS获取的经纬度坐标，以及将转换后的经纬度坐标，均转化为世界坐标系下的坐标信息；

根据像素坐标系与世界坐标系的映射关系，将世界坐标系下的坐标信息转换为像素坐标系下坐标信息。

进一步地，所述S3具体包括：

根据预处理后的多目标多模态信息的时间序列特征，通过欧氏距离法计算每两个信息源之间所述多目标的关联隶属度；

根据计算获得的多个所述关联隶属度，构建所述多目标多模态信息的全局关联隶属度函数。

进一步地，所述全局关联隶属度函数的约束条件包括：

对于每个所述信息源所获得的多目标多模态信息来讲，最多只有一个目标与其关联；

对于每个所述目标来讲，每个所述信息源所获得的多目标多模态信息中，最多只有一个模态信息与该目标关联；

对于所述全局关联隶属度函数来讲，最少有一个所述关联隶属度。

进一步地，所述S4具体包括：

S41、对烟花种群进行初始化，所述烟花种群中包括N个烟花个体，每个所述烟花个体代表一个所述目标在多个信息源间的关联匹配关系；每个所述烟花种群包括多个维度，所述维度的数量与所述信息源的数量一致；将首次初始化后的烟花种群作为烟花原始种群；

S42、对所述烟花原始种群进行计算，获得所述烟花原始种群中所有烟花个体所对应的全局关联隶属度；

S43、基于基于爆炸算子，计算当前烟花种群中每个烟花个体在爆炸后所产生的爆炸火花数，以及每个所述烟花个体在爆炸后所产生的爆炸半径；

S44、在当前烟花种群中随机选择一个烟花个体，在当前烟花种群的任一维度上对所选择的烟花个体进行高斯变异运算；

S45、基于所述爆炸火花数和爆炸半径，在当前烟花种群中选择所述全局关联隶属度大于预设值的n个烟花个体；按照轮盘赌规则在剩余N-n个烟花个体中进行筛选，将筛选出来的烟花个体和所述n个烟花个体一起组成下一代的烟花种群；

S46、重复步骤S43-S45，直到迭代次数达到预设值后，将所述全局关联隶属度大于预设值的所有烟花个体，作为多目标多模态关联匹配关系所对应的最优解。

进一步地，所述S41中，对烟花种群进行初始化，具体包括：

在每个信息源所获取的多目标多模态信息所对应的时间序列特征中的目标编号中随机选取一个编号，形成编码组合；重复N次，生成初始化后的烟花种群。

与现有技术相比，本发明记载的一种基于智能优化算法的海上多目标多模态匹配融合方法，具有如下有益效果：可以提高不同航行场景、航行工况下感知的多源探测多目标多模态信息关联匹配精度及计算效率，通过每个目标的多模态信息融合，提高多目标属性感知完整性、运动状态感知精度，实现辅助导航。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的基于智能优化算法的海上多目标多模态匹配融合方法流程图。

图2为本发明实施例提供的目标编号编码示意图。

图3为本发明实施例提供的基于离散烟花优化算法的关联匹配求解流程图。

图4为本发明实施例提供的多模态融合效果示意图。

图5为本发明实施例提供的目标多模态信息来源示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参见图1所示，本发明实施例提供了一种基于智能优化算法的海上多目标多模态匹配融合方法，具体包括如下步骤：

S2、对所述多目标多模态信息进行预处理；

S5、根据所述多目标多模态关联匹配关系所对应的最优解，对所述多目标多模态信息进行匹配融合；

S6、将所述多目标的多模态信息匹配融合结果在光电视频和电子海图上叠加显示。

下面分别对上述各个步骤进行详细的说明。

在上述步骤S1中，多个信息源包括电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统和光电视频图像目标检测系统；其中所述光电视频图像目标检测系统包括可见光目标检测与热红外目标检测；通过该多个信息源获取海上多目标在预设时间段内的多模态信息；其中多目标包括浮标、灯柱、航道、岸线和码头泊位等；

在上述步骤S2中，对所述多目标多模态信息进行预处理，包括：(1)将多目标多模态信息解析为时间序列特征，并进行保存；(2)将多模态信息统一转化为世界坐标系下的信息；其中：

(1)将多目标多模态信息解析为时间序列特征，并进行保存，具体包括：

在通过上述信息源获得海上多目标多模态信息后，将该多目标多模态信息保存为n个时刻的时间序列特征；具体为：

解析电子海图在预设时间段内所提取的多目标多模态信息，例如浮标、灯柱、航道、岸线等障碍物信息，通过卫星导航或惯导获取本船舶导航定位信息，并计算本船舶与障碍物的相对位置关系；若障碍物为航道、岸线等，则计算本船舶到岸线或航道的距离；之后将解析结果保存为第一时间序列特征{UCT时间、目标类型、目标编号、目标所在经度、目标所在纬度、目标相对于本船舶的方位，以及目标至本船舶的距离}；对应的特征时间序列表示为

其中，

表示从电子海图提取的多目标特征时间序列；

表示第i个目标t时间段的特征；nelen表示电子海图所提取到的多目标个数；

表示从t-N时拍到t时拍的时间段[t-N,t]；

解析船舶自动识别系统AIS在预设时间段内所获取的多目标多模态信息，例如多目标的运动状态及静态属性信息等；并将解析结果保存为第二时间序列特征{UCT时间、目标类型、目标编号、目标所在经度、目标所在纬度、本船舶航速、本船舶航向、本船舶航行状态、本船舶长度和本船舶宽度}，其中本船舶航行状态包括在航、锚泊、失控、操纵能力受限、吃水受限、系泊、搁浅等；对应的特征时间序列表示为

其中，

表示从AIS获取的多目标时间序列特征；

表示第i个目标

特征时间序列；n nAIS表示船舶自动识别系统AIS所获取到的多目标个数；

表示从t-N时拍到t时拍的时间段[t-N,t]；

解析ARPA雷达在预设时间段内获取的多目标多模态信息，并将解析结果保存为第三时间序列特征{UCT时间、目标编号、目标相对于本船舶的方位、目标至本船舶的距离、本船舶航速和本船舶航向}；对应的特征时间序列表示为

其中，

表示从ARPA雷达获取的多目标特征时间序列；

表示第i个目标

时间段的特征；n nARPA表示ARPA雷达所获取到的多目标个数；

表示从t-N时拍到t时拍的时间段[t-N,t]；

解析所述雷达图像目标检测系统在预设时间段内获取的多目标多模态信息，并将解析结果保存为第四时间序列特征{UCT时间、目标编号、目标中心至本船舶的距离、目标中心相对于本船舶的方位、目标的矩形包络框距离}；对应的特征时间序列为

其中，

表示从雷达图像获取的多目标特征时间序列；

表示第i个目标

时间段的特征；nRaIm表示雷达图像目标检测系统所获取到的多目标个数；

表示从t-N时拍到t时拍的时间段[t-N,t]；

解析所述光电视频图像目标检测系统在预设时间段内获取的多目标多模态信息，例如海上目标、码头泊位等的图像目标检测结果；并基于Yolov3深度学习神经网络算法检测图像中像素清晰的船舶目标，以检测框的形式得到图像中每个船舶的像素区间位置及检测类别，通过对连续帧目标特征的匈牙利匹配及卡尔曼滤波跟踪，获得每个目标连续状态；之后将解析结果保存为第五时间序列特征{UCT时间、目标类型、目标编号、目标中心相对于本船舶的方位、目标检测框长度和目标检测框宽度}；对应的特征时间序列表示为

其中，

表示从光电图像获取的多目标特征时间序列；

表示第i个目标

时间段的特征；nImage表示光电视频图像目标检测系统所获取到的多目标个数；

表示从t-N时拍到t时拍的时间段[t-N,t]。

(2)将多模态信息统一转化为像素坐标系下的信息，具体内容如下：

建立世界坐标与像素坐标的映射关系：建立像素坐标系、图像坐标系、相机坐标系和世界坐标系，并将上述坐标系的坐标轴分别记为[u,v]，[x,y]，[x_c,y_c,z_c]和[x_w,y_w,z_w]；

基于此，像素坐标系与世界坐标系映射关系表示为：

式中，l表示相机焦距；l,f_u,f_v,u₀,v₀构成相机的内参数矩阵，即为K；通过张氏标定算法可得，R,T分别为世界坐标系到相机坐标系转换的旋转矩阵与平移矩阵；

通过组合导航获得本船舶的姿态信息并用欧拉角表示，通过光电摄像机方位角、俯仰角反馈信息，可以计算世界坐标系与相机坐标系的旋转矩阵R；

令平移矩阵T＝[t_x,t_y,t_z]，其中，t_x,t_y,t_z分别表示世界坐标系下的点通过旋转矩阵R旋转变换后，为了与相机坐标系重合，x,y,z轴的平移量；获得多个点X＝{x₁,x₂,…,x_n-1,x_n}的世界坐标与像素坐标，已知内参矩阵K和旋转矩阵R，通过最小二乘拟合算法，建立拟合多项式，则平移矩阵为T＝(H^TH)^-1H^TZ，其中，H和Z分别为像素坐标与世界坐标对应的参数矩阵。

获得K、R、T后，通过式(1)获得像素坐标系与世界坐标系坐标变换映射关系。结合本船导航定位信息，将ARPA雷达探测相对本船的极坐标信息，转化为世界坐标系下经纬度信息，实现与海图、AIS获得的经纬度坐标统一。通过墨卡托变换将目标经纬度信息转化为平面世界坐标系，通过式(1)实现平面世界坐标系与光电探测多目标像素坐标系多模态间位置坐标的统一。

在上述步骤S3中，在基于时间序列特征，构建多目标多模态信息的全局关联隶属度函数时，考虑到获取目标信息的来源为多个信息源，而在本发明实施例中，该多个信息源分别为电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统和光电视频图像目标检测系统；即在本发明实施例中，信息源共有5个；首先通过欧氏距离法计算每两个信息源之间所述多目标的关联隶属度；则共有

种，即10种匹配关系计算。在本发明实施例中，考虑到ARPA雷达输出目标信息本身是通过雷达图像获取的，不再额外对雷达图像与电子海图、AIS进行关联匹配，雷达图像目标主要考虑在复杂海况杂波较多情况下与光电视频检测目标关联匹配以进行小目标与假目标交叉印证，因此最终有七种匹配关系，分别是电子海图碍航物-AIS、电子海图碍航物-ARPA雷达、电子海图碍航物-光电视频、AIS-ARPA雷达、AIS-光电视频、ARPA雷达-光电视频、雷达图像-光电视频。

上述7种匹配关系关联过程设计步骤如下：

1)电子海图与AIS关联匹配过程设计：

根据AIS获取N个时拍内船舶目标信息

将目标经纬度位置信息与电子海图提取的N个时拍碍航物信息

中的经纬度位置信息基于欧氏距离计算关联匹配度，N个时拍的第一关联隶属度如下：

式中，

表示N个时拍内的时刻点；

分别表示AIS第i个目标和电子海图提取第j目标在

时刻的经纬度位置坐标信息；σ₁ ²表示方差。

2)电子海图与ARPA雷达关联匹配过程设计：

ARPA雷达提取目标信息，根据本船导航定位信息，将N个时拍内雷达图像提取目标运动信息

转化为世界坐标系，并与电子海图提取的N个时拍碍航物

信息中的位置信息基于欧氏距离计算关联匹配度，N个时拍的第二关联隶属度如下：

式中，

表示N个时拍内的时刻点；

分别表示ARPA雷达第i个目标和电子海图提取第j目标在

时刻的位置信息；σ₂ ²表示方差。

3)电子海图与光电视频图像关联匹配过程设计：

将电子海图提取N个时拍目标信息

中多目标世界坐标位置根据公式(1)映射到像素坐标系，并与光电视频提取的N个时拍目标信息

在同一像素空间进行多目标方位关联，N个时拍的第三关联隶属度如下：

式中，

分别表示同一像素坐标系下电子海图第i个目标方位和光电视频提取第j目标方位；σ₃ ²表示方差。

4)AIS与ARPA雷达关联匹配过程设计：

AIS、ARPA雷达输出目标信息主要有相对本船距离、方位、航向、速度，建立模糊集{距离、方位、航向、航速}，计算模糊集内四种单因素集的欧式距离，通过模糊多因素对每个时刻建立关联隶属度函数，模糊因素集的每个因素的关联隶属度如下：

式中，r_qij(t)表示第i个目标和第j个目标在模糊多因素集中第q个因素的关联匹配度；u_qij(t)表示第q个单因素集的欧式距离。同样，τ_q和δ_q ²代表了第q个单因素集的调整系数和方差。

利用时序信息，计算连续N个时拍的所有因素的第四关联隶属度，如下式：

式中，w_q(t)表示该因素的计算权重。

5)AIS与光电图像关联匹配过程设计：

将AIS提取N个时拍目标信息

在同一像素空间进行多目标方位关联，N个时拍的第五关联隶属度如下：

式中，

分别表示同一像素坐标系下AIS第i个目标方位和光电视频提取第j目标方位；σ₅ ²表示方差。

6)ARPA雷达与光电图像关联匹配过程设计：

转化为世界坐标系，随后匹配过程与5)相同，N个时拍的第六关联隶属度如下：

式中，

分别表示同一像素坐标系下ARPA雷达第i个目标方位和光电视频提取第j目标方位；σ₆ ²表示方差。

7)雷达图像与光电图像关联匹配过程设计：

结合本船导航定位信息，计算雷达图像探测目标中心位置、矩形框包络位置转换为世界坐标系，随后匹配过程与5)相同，N个时拍的第七关联隶属度如下：

式中，

分别表示同一像素坐标系下雷达图像第i个目标方位和光电视频提取第j目标方位；σ₇ ²表示方差。

根据上述7个关联隶属度，建立基于时序的多目标多模态信息的全局关联隶属度函数；表示为：

g＝ω₁g₁+ω₂g₂+ω₃g₃+ω₄g₄+ω₅g₅+ω₆g₆+ω₇g₇ (10)

式中，ω₁,ω₂,ω₃,ω₄,ω₅,ω₆,ω₇分别代表各个隶属度对应权值，权值和为1，若目标编号有效，有对应关联隶属度，否则ω为0。

为上述全局关联隶属度函数构建约束模型，提出假设如下：

a)对于每个信息源所获得的多目标多模态信息来讲，最多只有一个目标与其关联；

b)对于每个目标来讲，每个信息源所获得的多目标多模态信息中，最多只有一个模态信息与该目标关联；

c)对于全局关联隶属度函数来讲，最少有一个关联隶属度值，即至少有一个权值ω为1。

对多个设备探测到的多目标多模态信息进行全局关联匹配，目标匹配度越高，关联隶属度越大，全局关联隶属度函数g越大；因此将多目标多模态关联问题转换组合优化问题，最大化全局关联隶属度函数，从而实现多目标多模态全局关联。

在上述步骤S4中，烟花算法是模拟烟花爆炸保持火花多样性的机制，在兼顾局部搜索的同时具有较好的全局搜索能力。烟花算法通过爆炸算子、变异算子、映射规则和选择策略实现复杂多目标优化问题的求解，具有优良的效率和性能。在本发明实施例中，结合多目标多模态的全局关联隶属度函数，对离散烟花优化算法进行改进，获得基于离散烟花优化算法的全局关联匹配算法；该基于离散烟花优化算法的全局关联匹配算法可以应用于多目标多模态关联；在此，每个烟花个体表示多目标多模态的一个关联匹配关系；该步骤S4的具体内容如下：

1)对烟花种群进行初始化；

将上述5种信息源获取的多目标多模态信息所对应的时间序列特征中的目标编号进行编码组合，如图2所示。图中，n₁,n₂,n₃,n₄,n₅分别表示电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统、光电视频图像目标检测系统探测目标对应的编号；若编号为0，表示编号无效，也就是说该信息源未探测到该目标。每个编号选择范围为N个时拍内该信息源探测到的多目标编号值和0。例如，AIS的编号范围为N个时拍内多目标的IMMSI船号和0。

对烟花种群进行初始化过程中，具体为：首先设置初始烟花种群数量为N个，然后在每个信息源所对应的编号范围内随机选取一个编号，生成具有五个编号的编码组合。例如从电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统、光电视频图像目标检测系统中分别随机选取的目标编号为35、413700400、29、0、2，则编码组合表示为{35，413700400，29，0，2}。重复N次生成初始化烟花种群，将首次形成的初始化烟花种群作为初始化烟花原始种群，并记作X；

在本发明实施例中，在通过电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统、光电视频图像目标检测系统连续10拍获得多目标多模态信息后，将这五种信息源探测到的对应的目标编号进行编码组合，并设置初始化后的烟花原始种群数量为200个，最大迭代次数为500，初始迭代次数为1；

2)根据式(10)计算烟花原始种群中每个烟花个体的多目标多模态全局关联隶属度，并将其作为离散烟花优化算法的适应度函数；

3)基于爆炸算子，计算当前烟花种群中每个烟花个体在爆炸后所产生的爆炸火花数，以及每个烟花个体在爆炸后所产生的爆炸半径；对应的计算公式如下：

式中，R_i表示第i个烟花产生的火花个数；R表示预设的爆炸火花数，用于限制产生的火花总数；f_max表示当前烟花种群中关联隶属度最大值；f_i表示第i个烟花个体的关联隶属度；ε表示极小的一个常数，用于避免分母为零。

设定边界，调整爆炸烟花数，如下：

其中R_min,R_max分别表示预设中的最小爆炸火花数、最大爆炸火花数。

爆炸半径D_i表示为：

其中，D表示预设的爆炸半径，用于限制爆炸半径；f_max,f_min分别为N个原始烟花种群中的最大关联隶属度、最小关联隶属度；ε用于避免出现分母为零的情况；

在本发明实施例中，设置最大烟花数为20，最小烟花数为2，根据公式(11)-(13)计算该烟花爆炸火花数与爆炸半径。

4)在当前烟花种群中引入高斯变异算子：

在当前烟花种群中随机选择一个烟花个体，记作x_i；然后多次在该烟花的随机维度进行高斯变异运算，即在一个烟花种群中，共有五个维度，代表5种目标信息源，随机选择信息源个数及对应来源，并在选择的信息源探测的所有目标中重新随机选择目标编号；

在本发明实施例中，在当前烟花种群中随机选择一个烟花进行高斯变异，例如该烟花为{35，413700400，29，0，2}，随机选择变异个数和对应变异来源，假设变异个数为1，该变异来源为ARPA雷达，则重新选取ARPA雷达探测的其他目标编号，例如为17，则变异后的烟花个体为{35，413700400，17，0，2}。

5)对烟花种群进行更新：

初始化烟花原始种群经过爆炸算子和高斯变异运算后产生了很多火花，在进行种群更新时，首先在烟花原始种群及其产生的爆炸烟花和高斯爆炸火花中选择全局隶属度大于0.7的n个烟花个体作为下一代的原始烟花，剩余N-n个烟花个体则按照轮盘赌规则筛选，每个烟花被选择的概率计算公式为：

其中d表示全局关联隶属度的欧式距离，距离和越大，则越有概率被选择。

在本发明实施例中，例如烟花原始种群及其产生的爆炸烟花和高斯爆炸火花一共有12个，其全局隶属度分别为[0.230.540.780.920.150.840.360.940.450.210.770.15]，选择隶属度大于0.7的5个烟花作为下一代原始烟花，在剩余的7个烟花中按照公式(14)选择概率最大的烟花作也作为下一代初始烟花。

烟花算法的基本原则是若烟花对应的全局关联隶属度越大，则该烟花爆炸产生的火花数量越多，爆炸幅度越小；反之，则该烟花爆炸产生的火花数量越少，爆炸幅度越大。以每个烟花个体表示一个多目标多模态全局关联匹配关系，当全局关联隶属度连续无变化或迭代次数达到最大时获得最优解，实现多目标多模态匹配关系求解，流程图见图3。

在本发明实施例中，选择全局关联隶属度最高的前15个烟花个体作为下一代的原始烟花，并在剩余烟花个体中按照轮盘赌规则筛选一个烟花个体也进入下一代初始烟花，同时迭代次数加1。

判断迭代次数是否大于500，若大于500则返回全局隶属度大于0.7的所有烟花个体，即为多目标多模态匹配关系，每个烟花个体代表一个目标的所有探测来源匹配关系，则进入下一次迭代循环。

假设基于离散烟花优化算法对多目标多模态全局关联匹配后，获得35个目标的关联匹配关系，包括光电视频图像探测的一个目标，该匹配关系对应目标编号编码为{0，413703710，11，0，1}，其中0代表该来源未探测到该目标。将船舶自动识别系统AIS探测的船号为413703710目标运动学信息与ARPA雷达探测到的批号为11的目标运动学信息进行航迹融合，并添加船舶自动识别系统AIS探测到的航行状态、船长船宽等静态属性信息，将这些信息与光电视频图像探测的编号为1的船舶目标匹配对应，并叠加显示在视频图像上，融合效果图见图4，同时也可叠加在电子海图上。

在上述步骤S5中，根据多目标多模态关联匹配关系所对应的最优解进行目标多模态信息匹配，可以提高多目标感知信息完整性与感知精度；根据目标对应探测来源、航向、速度变化等运动学时序特征、静态属性特征等基于证据理论进行多目标决策级融合，并进行多目标的航迹起始、维持和终结，获得每个目标更完整准确的信息，融合后的目标多模态信息来源于不同传感器设备，见图5。

在上述步骤S6中，可将融合信息在光电视频和电子海图上叠加显示，呈现更直观的态势，进行辅助导航。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，包括：

S2、对所述多目标多模态信息进行预处理；

2.如权利要求1所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，还包括：

S6、将所述多目标多模态信息的匹配融合结果在光电视频和电子海图上叠加显示。

3.如权利要求1所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述S1中，所述多个信息源包括电子海图、船舶自动识别系统AIS、ARPA雷达、雷达图像目标检测系统和光电视频图像目标检测系统；所述光电视频图像目标检测系统包括可见光目标检测与热红外目标检测。

4.如权利要求3所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述S2包括将所述多目标多模态信息解析为时间序列特征，并进行保存，具体为：

5.如权利要求4所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述S2还包括：将所述多模态信息统一转化为像素坐标系下的信息，具体为：

6.如权利要求1所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述S3具体包括：

7.如权利要求6所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述全局关联隶属度函数的约束条件包括：

8.如权利要求1所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述S4具体包括：

S43、基于爆炸算子，计算当前烟花种群中每个烟花个体在爆炸后所产生的爆炸火花数，以及每个所述烟花个体在爆炸后所产生的爆炸半径；

9.如权利要求8所述的一种基于智能优化算法的海上多目标多模态匹配融合方法，其特征在于，所述S41中，对烟花种群进行初始化，具体包括：