CN117237777B - 一种基于多模态融合的船舶目标识别方法 - Google Patents

Abstract

本发明公开了一种基于多模态融合的船舶目标识别方法，首先采集待识别水体区域的雷达回波数据和卫星图像数据并进行预处理，接着根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量，然后将雷达特征向量和卫星特征向量分别输入基于SSD算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果，最后采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果。本发明中两个模态的数据可以相互印证，有效避免了单模态数据精度较低或者出现误差时对最终目标识别精度的影响，具有较高的目标识别精度。

Description

一种基于多模态融合的船舶目标识别方法

技术领域

本发明属于目标识别技术领域，具体涉及一种基于多模态融合的船舶目标识别方法的设计。

背景技术

目标识别是指将一个特殊目标（或一种类型的目标）从其它目标（或其它类型的目标）中区分出来的过程，其既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。目标识别的基本原理是利用雷达回波或图像数据中的目标特征信息，通过数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。

目前，针对船舶的目标识别方法基本上是基于单模态数据的，例如采用机器学习算法或深度学习模型直接对包含船舶的卫星图像数据或雷达回波数据进行分类识别，但基于单模态数据的船舶目标识别方法受数据源影响较大，当采集的单模态数据精度较低或者出现误差时，会造成目标识别精度较低的问题。

发明内容

本发明的目的是为了解决现有基于单模态数据的船舶目标识别方法识别精度较低的问题，提出了一种基于多模态融合的船舶目标识别方法。

本发明的技术方案为：一种基于多模态融合的船舶目标识别方法，包括以下步骤：

S1、采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理。

S2、根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量。

S3、将雷达特征向量和卫星特征向量分别输入基于SSD算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果。

S4、采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果。

进一步地，步骤S1中雷达回波数据的预处理包括滤波处理、辐射定标、地理编码和几何校正。

进一步地，步骤S1中卫星图像数据的预处理包括辐射定标、大气校正、波段融合、几何校正和图像裁剪。

进一步地，步骤S2中雷达特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和雷达反射特性。

进一步地，步骤S2中卫星特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和卫星图像分辨率。

进一步地，步骤S3包括以下分步骤：

S31、将雷达特征向量和卫星特征向量分别输入VGG16网络，并进行正则化处理，得到第一雷达特征图和第一卫星特征图。

S32、将第一雷达特征图和第一卫星特征图分别输入第一卷积层进行卷积操作，得到第二雷达特征图和第二卫星特征图。

S33、将第二雷达特征图和第二卫星特征图分别输入第二卷积层进行卷积操作，得到第三雷达特征图和第三卫星特征图。

S34、将第三雷达特征图和第三卫星特征图分别输入第三卷积层进行卷积操作，得到第四雷达特征图和第四卫星特征图。

S35、将第四雷达特征图和第四卫星特征图分别输入第四卷积层进行卷积操作，得到第五雷达特征图和第五卫星特征图。

S36、将第五雷达特征图和第五卫星特征图分别输入第五卷积层进行卷积操作，得到第六雷达特征图和第六卫星特征图。

S37、分别对第六雷达特征图和第六卫星特征图进行非极大值抑制，得到雷达目标检测结果和卫星目标检测结果。

进一步地，步骤S4包括以下分步骤：

S41、对雷达目标检测结果和卫星目标检测结果进行特征双线性融合，得到融合矩阵：

其中表示融合矩阵，/>表示在图像P的位置l处的雷达目标检测结果，/>表示在图像P的位置l处的卫星目标检测结果。

S42、对融合矩阵进行总和池化操作，得到和矩阵：

S43、对和矩阵进行标量转换，得到标量转换结果Q：

其中表示向量-标量转换函数。

S44、对标量转换结果进行矩归一化操作，得到矩归一化结果N：

其中表示符号函数。

S45、对矩归一化结果进行L2归一化操作，得到船舶目标识别结果Z：

其中表示L2范数。

本发明的有益效果是：

（1）本发明通过对卫星图像数据和雷达回波数据分别进行目标检测，然后对两者的检测结果进行多模态融合，两个模态的数据可以相互印证，有效避免了单模态数据精度较低或者出现误差时对最终目标识别精度的影响，具有较高的目标识别精度。

（2）本发明采用SSD算法对卫星图像数据和雷达回波数据进行目标检测，在保证检测速度的前提下（与YOLO检测速度相当），有效提高了检测精度（与Faster RCNN检测精度相当）。

（3）本发明采用双线性池化方法进行多模态融合，通过建模特征的高阶统计信息来捕获多模态特征之间的关系，进而生成具有表达力的全局表示，即精确的船舶目标识别结果。

附图说明

图1所示为本发明实施例提供的一种基于多模态融合的船舶目标识别方法流程图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种基于多模态融合的船舶目标识别方法，如图1所示，包括以下步骤S1~S4：

S1、采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理。

本发明实施例中，待识别水体区域包含了待识别的船舶目标。

本发明实施例中，雷达回波数据的预处理包括滤波处理、辐射定标、地理编码和几何校正。

本发明实施例中，卫星图像数据的预处理包括辐射定标、大气校正、波段融合、几何校正和图像裁剪。

S2、根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量。

本发明实施例中，雷达特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和雷达反射特性。

本发明实施例中，卫星特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和卫星图像分辨率。

S3、将雷达特征向量和卫星特征向量分别输入基于SSD算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果。

本发明实施例中，基于SSD算法的目标检测模型基于SSD网络构建，SSD网络以VGG16网络为基础模型，分别将VGG16网络的全连接层FC6和FC7替换为卷积层Conv6和Conv7，并去掉所有的Dropout层以及全连接层FC8后，后接连续五个卷积层得到基于SSD算法的目标检测模型。

步骤S3包括以下分步骤S31~S37：

S31、将雷达特征向量和卫星特征向量分别输入VGG16网络，并进行正则化处理，得到第一雷达特征图和第一卫星特征图。

本发明实施例中，第一雷达特征图和第一卫星特征图的大小为38*38*512。

S32、将第一雷达特征图和第一卫星特征图分别输入第一卷积层进行卷积操作，得到第二雷达特征图和第二卫星特征图。

本发明实施例中，第二雷达特征图和第二卫星特征图的大小为19*19*1024。

S33、将第二雷达特征图和第二卫星特征图分别输入第二卷积层进行卷积操作，得到第三雷达特征图和第三卫星特征图。

本发明实施例中，第三雷达特征图和第三卫星特征图的大小为10*10*512。

S34、将第三雷达特征图和第三卫星特征图分别输入第三卷积层进行卷积操作，得到第四雷达特征图和第四卫星特征图。

本发明实施例中，第四雷达特征图和第四卫星特征图的大小为5*5*256。

S35、将第四雷达特征图和第四卫星特征图分别输入第四卷积层进行卷积操作，得到第五雷达特征图和第五卫星特征图。

本发明实施例中，第五雷达特征图和第五卫星特征图的大小为3*3*256。

S36、将第五雷达特征图和第五卫星特征图分别输入第五卷积层进行卷积操作，得到第六雷达特征图和第六卫星特征图。

本发明实施例中，第六雷达特征图和第六卫星特征图的大小为1*1*256。

S37、分别对第六雷达特征图和第六卫星特征图进行非极大值抑制，得到雷达目标检测结果和卫星目标检测结果。

S4、采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果。

步骤S4包括以下分步骤S41~S45：

S41、对雷达目标检测结果和卫星目标检测结果进行特征双线性融合，得到融合矩阵：

其中表示融合矩阵，/>表示在图像P的位置l处的雷达目标检测结果，/>表示在图像P的位置l处的卫星目标检测结果。

S42、对融合矩阵进行总和池化操作，得到和矩阵：

S43、对和矩阵进行标量转换，得到标量转换结果Q：

其中表示向量-标量转换函数。

S44、对标量转换结果进行矩归一化操作，得到矩归一化结果N：

其中表示符号函数。

S45、对矩归一化结果进行L2归一化操作，得到船舶目标识别结果Z：

其中表示L2范数。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于多模态融合的船舶目标识别方法，其特征在于，包括以下步骤：

S1、采集待识别水体区域的雷达回波数据和卫星图像数据，并进行预处理；

S2、根据预处理后的雷达回波数据和卫星图像数据提取雷达特征向量和卫星特征向量；

S3、将雷达特征向量和卫星特征向量分别输入基于SSD算法的目标检测模型，得到雷达目标检测结果和卫星目标检测结果；

S4、采用双线性池化方法对雷达目标检测结果和卫星目标检测结果进行多模态融合，得到船舶目标识别结果；

所述步骤S4包括以下分步骤：

S41、对雷达目标检测结果和卫星目标检测结果进行特征双线性融合，得到融合矩阵：

其中表示融合矩阵，/>表示在图像P的位置l处的雷达目标检测结果，/>表示在图像P的位置l处的卫星目标检测结果；

S42、对融合矩阵进行总和池化操作，得到和矩阵：

S43、对和矩阵进行标量转换，得到标量转换结果Q：

其中表示向量-标量转换函数；

S44、对标量转换结果进行矩归一化操作，得到矩归一化结果N：

其中表示符号函数；

S45、对矩归一化结果进行L2归一化操作，得到船舶目标识别结果Z：

其中表示L2范数。

2.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤S1中雷达回波数据的预处理包括滤波处理、辐射定标、地理编码和几何校正。

3.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤S1中卫星图像数据的预处理包括辐射定标、大气校正、波段融合、几何校正和图像裁剪。

4.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤S2中雷达特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和雷达反射特性。

5.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤S2中卫星特征向量中的特征包括船舶尺寸、船舶速度、船舶方向和卫星图像分辨率。

6.根据权利要求1所述的船舶目标识别方法，其特征在于，所述步骤S3包括以下分步骤：

S31、将雷达特征向量和卫星特征向量分别输入VGG16网络，并进行正则化处理，得到第一雷达特征图和第一卫星特征图；

S32、将第一雷达特征图和第一卫星特征图分别输入第一卷积层进行卷积操作，得到第二雷达特征图和第二卫星特征图；

S33、将第二雷达特征图和第二卫星特征图分别输入第二卷积层进行卷积操作，得到第三雷达特征图和第三卫星特征图；

S34、将第三雷达特征图和第三卫星特征图分别输入第三卷积层进行卷积操作，得到第四雷达特征图和第四卫星特征图；

S35、将第四雷达特征图和第四卫星特征图分别输入第四卷积层进行卷积操作，得到第五雷达特征图和第五卫星特征图；

S36、将第五雷达特征图和第五卫星特征图分别输入第五卷积层进行卷积操作，得到第六雷达特征图和第六卫星特征图；

S37、分别对第六雷达特征图和第六卫星特征图进行非极大值抑制，得到雷达目标检测结果和卫星目标检测结果。