CN115861787A - 面向复杂海事环境的舰艇识别算法 - Google Patents

Abstract

本发明公开了面向复杂海事环境的舰艇识别算法。面向复杂海事环境的舰艇识别算法；包括数据集构建、数据预处理、舰船细粒度识别模型训练以及属性识别与类型识别结果二次判定；数据集构建后的数据经过数据预处理得出船舶属性识别算法和船舶类型识别算法，第一步：数据集构建；第二步：数据预处理，得出船舶属性识别算法和船舶类型识别算法；第三步：船舶属性识别算法和船舶类型识别算法得出类型识别，输出舰船类型；容易部署不需要专业人员保养维护。同时，本发明系统基于大规模的舰船数据标注、细粒度舰船识别算法、以及自适应的新类发掘、数据回流算法，具备自我迭代、可持续更新的特性，系统可拓展性强，具有良好的应用价值。

Description

面向复杂海事环境的舰艇识别算法

技术领域

本发明涉及计算机应用技术领域，具体为面向复杂海事环境的舰艇识别算法。

背景技术

现阶段，海上舰船识别方面的研究以及应用主要在军事领域，且相关技术方案主要是基于物理场信号的处理和甄别以及基于遥感图像进行远程识别这两大类。这两类技术方案分别有以下两个方面的缺点：

物理场信号主要包括：声场、磁场、水压场这三类物理信号。在获取物理场信号之后，一般是采用基于小波变换的信号处理方式提取特征，然后采用传统支持向量机等对特征进行分类，从而达到舰艇识别的目的。获取这类物理场信号的设备往往较为昂贵，且需要专业的维护支持，很难在民用领域普及。而基于遥感图像的舰艇识别系统往往严重受限于各类气象环境的影响：例如海面背景干扰、云层遮挡等，都会严重损害对舰船识别系统的准确率。

发明内容

为了克服上述不足，本发明提出了面向复杂海事环境的舰艇识别算法，其具有面向复杂海洋气象环境、复杂拍摄条件下的，基于纯视觉信息，且适配各类军用民用船只甚至是移动设备的海上舰艇识别系统。

本发明采取的技术方案如下：

面向复杂海事环境的舰艇识别算法；包括数据集构建、数据预处理、舰船细粒度识别模型训练以及属性识别与类型识别结果二次判定；数据集构建后的数据经过数据预处理得出船舶属性识别算法和船舶类型识别算法，

第一步：数据集构建；

第二步：数据预处理，得出船舶属性识别算法和船舶类型识别算法；

第三步：船舶属性识别算法和船舶类型识别算法得出类型识别，输出舰船类型，

第四步：船舶属性识别算法和船舶类型识别算法得出识别结果二次判断，判断是否存在类型、属性不符或者矛盾的情况；

第五步：数据回流：人工干预判断返回的样本是否需要单独构建新的标签、扩充数据现有数据库、丢弃；进入到第一步。

数据集构建过程：舰船图像识别所需要的数据集元素主要包括图像和舰船类型及基础特征数据，建立基于web的图文数据库，管理，筛选，查重通过广域开源收集的舰船图像信息，人工和智能相结合的方式关联舰船类型和基本数据信息，形成可查询、编辑、管理的数据集。同时构建舰船三维模型库，弥补开源数据在训练数量和视角要求的不足。

数据预处理过程：包括：对比度扰动、图像旋转、过曝处理、颜色扰动、色调分离、对比度增强、亮度调整、图像锐化、图像切变、天气滤镜、雾霾处理以及随机切块对图像进行了预处理操作，来增加训练样本的复杂程度。

舰船细粒度识别模型训练过程包括四个步骤：

(1).模型选型：ResNet-50、ResNext-50、ConNext-Base，此外，自注意力神经网络本专利选择了Swin-Transformer结构。

(2).模型预训练：首先基于无监督对比学习方法，通过设计损失函数“让同一张图片，经过不同数据预处理方式得到不同图片之间的特征相似度越小则损失函数的值越小”，引导深度神经网络模型更多地关注不同预处理方式之后得到图片的相似部分，主要指轮廓相似部分；从而提升了分类模型对于图片的理解能力，也加强了模型对不同类型舰船结构的认识；

过程为，设数据预处理(数据增强)策略集合为T；被用来做预训练的深度神经网络模型表示为f()，其参数为θ；用来做特征映射的可导函数为g(),g()一般为单层或者多层全连接神经网络。

对于任意一幅给定的无标注的训练图片I,可以通过两次独立的数据预处理过程(t,t′∈T)得到关于该图片的增强数据对：(t(I),t′(I))。然后将其分别输入到预训练神经网络模型可以得到其特征表示：

v＝f(t(I),θ),v′＝f(t′(I),θ)

以及经过映射的特征:g(v),g(v′)。而我们预训练的优化目标就是最大化同一图像派生出的增强样本之间的相似度。令整个数据集中的图像集合为II，则深度模型预训练自监督学习算法的优化过程为最小化以下损失函数：

其中y()为f()的直接拷贝，但是训练过程中不进行梯度回传操作(这一过程保证了模型不会出现坍缩解)。最后，通过一般的反向梯度传播过程，可以完成对参数θ的更新，从而达到模型预训练的目的。

(3).针对舰船类型识别任务进行训练：在步骤(2)训练的基础上，采用有标签的数据进行有监督地舰船类型识别模型训练。首先，使用步骤(2)训练模型的参数作为初始化值，然后基于有监督的分类损失函数进行模型训练。由于舰船图像分布不均，本发明除了使用一般的基于softmax的损失函数以外还采用了两种特殊设计的损失函数：(1)带权重的交叉熵损失函数：使用权重系数描述样本在整体损失函数中的重要性，对于小数目样本的类别加强它对损失函数的贡献，对于大数目样本的类别削减它对于损失函数的贡献。(2)Focal Loss：同样对标准的交叉熵做改进，但是加入了描述样本难易分类的难易程度，并且相对放大对难分类样本的梯度，相对降低对易分类样本的梯度。

(4).经过上述步骤之后，将基于多种不同深度神经网络结构和不同损失函数训练得到的模型的预测结果进行加和取平均，得到最终的舰船分类预测结果，加权取平均为现有技术，被广泛应用于模型融合。

1.2.4属性识别与类型识别结果二次判定

给定一张输入舰船图片I,假设其标准的舰船类型标记为l，属性标签为

舰船细粒度识别模型训练中舰船细粒度识别模型训练舰船分类函数f(I),输出预测的舰船类型l′。而本小节的属性识别模型则是用来预测其属性标签{a′₁,a′₂,…,a′_N}。

在舰船细粒度识别模型训练中步骤2的基础上，使用二分属性判别损失函数(对于每个属性，均采用0-1判别函数)对深度神经网络模型进行有监督训练，从而得到属性识别模型g(I),输出预测的舰船属性{a′₁,a′₂,…,a′_N}。

实际测试环境下的二次判定以及数据回流机制：在测试环境中，我们给定任意一张图片均可以经过舰船细粒度识别模型训练中舰船细粒度识别模型预测一个置信度最大的舰船类型l′。且已知，对于每一种舰船类型，我们通过查询数据库可以获取与其相关联的属性标签

那么，通过统计直接预测的属性标签{a′₁,a′₂,…,a′_N}与预测舰船类型对应的标准属性

之间的共有属性，我们可以得到相互矛盾的属性占比，如果矛盾属性的占比超过阈值α，则可以判断该测试图片可能存在以下几种情况：

4)该图片中舰船类型属于不属于现有舰船数据库中的任意一类舰船；

5)舰船类型判断模型或者属性模型出现了严重的错判情况；

6)该测试图片为噪声图片，不具备测试意义；

我们会对此类图片进行数据回流(存储)，汇总之后经过人工判断：①是否需要新增舰船类型标签(对应情况1)；②将该图片加入现有训练数据库，重新训练更新类型和属性识别模型(对应情况2)；③丢弃该图片(对应情况3)；

可以通过对阈值α进行数值调节来控制回流样本的数量以及人工二次标注的工作量。

有益效果：

本发明提出了一种基于纯视觉信号的海上舰艇识别系统。该系统价格低廉不依赖昂贵的物理场信号探测设备、容易部署不需要专业人员保养维护，将对我国的海上国防事业发展产生积极影响。同时，本发明系统基于大规模的舰船数据标注、细粒度舰船识别算法、以及自适应的新类发掘、数据回流算法，具备自我迭代、可持续更新的特性，系统可拓展性强，具有良好的应用价值。

附图说明

图1是本发明的流程图。

具体实施方式

本发明提出一项基于纯视觉信号，结合底层图像信号处理办法、深度学习特征抽取、多属性特征融合的舰艇识别系统。具体地：

1.本发明首先大规模采集舰船训练样本，针对舰船图像识别的任务特点设计舰船属性标签体系；

2.采用特别设计的数据增强策略对训练图像进行预处理来模拟复杂海事环境下的成像结果；

3.采用深度学习技术，融合多种基于卷积神经网络的骨干网络结构，业界性能领先的深度自注意力神经网络技术，确保模型对于舰艇类别判断具有较高的召回率和准确率。

4.基于舰艇属性判别结果结合型号判别结果进行二次判断，自动化获取存在潜在识别错误的图像样本，进行数据回流，然后经由人工判别是否需要对回流的样本单独构建数据标签(指图像中船只不属于现有舰船类型标签体系时)，或者扩充现有数据库，亦或者是判别为噪声样本做丢弃处理。

5.将最终识别系统移植到移动端或者云端进行实际部署。

本发明的技术方案整体流程图如图1所示：

第一步：数据集构建；

第二步：数据预处理，得出船舶属性识别算法和船舶类型识别算法；

第三步：船舶属性识别算法和船舶类型识别算法得出类型识别，输出舰船类型，

第四步：船舶属性识别算法和船舶类型识别算法得出识别结果二次判断，判断是否存在类型、属性不符或者矛盾的情况；

第五步：数据回流：人工干预判断返回的样本是否需要单独构建新的标签、扩充数据现有数据库、丢弃；进入到第一步。

1.1本发明所要解决的技术问题(即发明目的)

海上舰船图像识别系统要求对多类船舰图片进行分类，属于典型的细粒度图像分类问题。需要解决的核心技术问题主要包括：

1.构造合理的舰船标签体系，以及适合舰船识别模型训练所需要的大规模船舰图像数据库；

2.海上环境气候复杂，要求系统在成像质量不佳的情况下依旧具备较好的识别准确率。即要求舰船识别系统具有良好的抗噪性；

3.舰船类型的识别一般需要经过专业知识培训，人工复核识别结果的成本很高，所以需要自动化舰船识别系统返回的类型识别结果准确率高，以减少或者避免对人工复核的依赖。一般地，要求在1比230的类别识别任务中的准确率在95％以上才具备实用价值。

3.实际部署环境中，往往存在一些现有训练图库没有覆盖到的船只或者图像类型，要求系统具备数据回流和自我数据扩充的功能，在尽可能少人工干预的情况下，对实际部署环境下的图像进行判别确定是否需要进行数据回流或扩充。从而完成数据持续扩充以及模型的持续迭代更新。

本发明的完整技术方案的详细阐述

1.数据集构建

舰船图像识别所需要的数据集元素主要包括图像和舰船类型。其中图像部分保证了舰船在图像中占比合理，满足识别要求。本发明涉及到的舰船图像主要为230类常见舰船，例如："丹麦_伊福·胡伊菲尔德"、"法国_拉法耶特"、"比利时_花"、"澳大利亚_堪培拉"等。

此外，我们针对舰船识别任务的特性，对各类舰船的属性类型进行了详细的划分，主要分为以下几大类属性集合：

上述图像数据库中的所有舰船类型、各类属性的标注均经过海洋军事知识领域专家进行核验标注，数据规模大于100张每类型舰艇，满足深度学习模型训练要求。

2.数据预处理

数据增广(数据预处理)策略是直接决定模型抗干扰性和泛化性的重要因素之一。一般来说，传统的数据增广策略主要包括图像的随机裁减、翻转以及小幅的色彩变化，对于图像的改变较小，对于训练带来难度提升微弱。受益于近年来网络结构朝着更深更复杂参数量更大的方向发展，强数据增强被证明对于模型性能提升可以起到四两拨千斤的作用，尤其是一部分数据强广策略有助于强化模型对于目标物体轮廓的学习，或者强化模型对于目标物体纹理的表征，这类强数据增广策略将有助于在训练图像有限的情况下提升模型的泛化能力和抗干扰性。

本专利采用包括：[对比度扰动、图像旋转,过曝处理,颜色扰动,色调分离,对比度增强,亮度调整,图像锐化,图像切变,天气滤镜，雾霾处理，随机切块]对图像进行了预处理操作，来增加训练样本的复杂程度。其中“亮度调整，图像切变,天气滤镜，雾霾处理”等主要用来模拟各类复杂气象环境，而“对比度扰动、图像锐化,图像切变,随机切块”等方式主要用来突出舰船整体轮廓的表征。

3.舰船细粒度识别模型训练

本发明专利所采用的舰船类型识别模型训练过程主要分为四个步骤：

1.模型选型：本发明所采用的基础模型主要包括两大类——深度卷积神经网络模型以及深度自注意力神经网络模型。卷积神经网络在过去十年内被广泛应用到图像识别、检测、分割任务中，其中目前性能最为领先的为基于残差的深度卷积神经网络结构，本发明主要采用选择了其中最有代表性，且经过本任务测试性能表现较优、计算量较低的三种卷积神经网络结构：ResNet-50、ResNext-50、ConNext-Base。此外，自注意力神经网络本专利选择了Swin-Transformer结构。

2.模型预训练：首先基于无监督对比学习方法，通过设计损失函数——“让同一张图片，经过不同数据预处理方式得到不同图片之间的特征相似度越小则损失函数的值越小”，引导深度神经网络模型更多地关注不同预处理方式之后得到图片的相似部分(主要指轮廓)，从而提升了分类模型对于图片的理解能力，也加强了模型对不同类型舰船结构的认识。

3.针对舰船类型识别任务进行训练：在步骤2训练的基础上，我们采用有标签的数据进行有监督地舰船类型识别模型训练。首先，使用步骤2训练模型的参数作为初始化值，然后基于有监督的分类损失函数进行模型训练。由于舰船图像分布不均，本发明除了使用一般的基于softmax的损失函数以外还采用了两种特殊设计的损失函数：(1)带权重的交叉熵损失函数：使用权重系数描述样本在整体损失函数中的重要性，对于小数目样本的类别加强它对损失函数的贡献，对于大数目样本的类别削减它对于损失函数的贡献。(2)FocalLoss：同样对标准的交叉熵做改进，但是加入了描述样本难易分类的难易程度，并且相对放大对难分类样本的梯度，相对降低对易分类样本的梯度。

最后，经过上述步骤之后，我们将基于多种不同深度神经网络结构和不同损失函数训练得到的模型的预测结果进行加和取平均，得到最终的舰船分类预测结果。

4.属性识别与类型识别结果二次判定

给定一张输入舰船图片I,假设其标准的舰船类型标记为l，属性标签为

步骤3.2.3中舰船细粒度识别模型训练舰船分类函数f(I),输出预测的舰船类型l′。而本小节的属性识别模型则是用来预测其属性标签{a′₁,a′₂,…,a′_N}。

采用类似与3.2.3中舰船类型识别模型的训练方式，在3.2.3中步骤2的基础上，使用二分属性判别损失函数(对于每个属性，均采用0-1判别函数)对深度神经网络模型进行有监督训练，从而得到属性识别模型g(I),输出预测的舰船属性{a′₁,a′₂,…,a′_N}。

5.实际测试环境下的二次判定以及数据回流机制：在测试环境中，我们给定任意一张图片均可以经过3.2.3中舰船细粒度识别模型预测一个置信度最大的舰船类型l′。且已知，对于每一种舰船类型，我们通过查询数据库可以获取与其相关联的属性标签

那么，通过统计直接预测的属性标签{a′₁,a′₂,…,a′_N}与预测舰船类型对应的标准属性

之间的共有属性，我们可以得到相互矛盾的属性占比，如果矛盾属性的占比超过阈值α，则可以判断该测试图片可能存在以下几种情况：

1.该图片中舰船类型属于不属于现有舰船数据库中的任意一类舰船；

2.舰船类型判断模型或者属性模型出现了严重的错判情况；

3.该测试图片为噪声图片，不具备测试意义；

我们会对此类图片进行数据回流(存储)，汇总之后经过人工判断：①是否需要新增舰船类型标签(对应情况1)；②将该图片加入现有训练数据库，重新训练更新类型和属性识别模型(对应情况2)；③丢弃该图片(对应情况3)。可以通过对阈值α进行数值调节来控制回流样本的数量以及人工二次标注的工作量。

Claims (4)

1.面向复杂海事环境的舰艇识别算法，其特征在于：包括数据集构建、数据预处理、舰船细粒度识别模型训练以及属性识别与类型识别结果二次判定；数据集构建后的数据经过数据预处理得出船舶属性识别算法和船舶类型识别算法，

第一步：数据集构建；

第二步：数据预处理，得出船舶属性识别算法和船舶类型识别算法；

第三步：船舶属性识别算法和船舶类型识别算法得出类型识别，输出舰船类型，

第四步：船舶属性识别算法和船舶类型识别算法得出识别结果二次判断，判断是否存在类型、属性不符或者矛盾的情况；

第五步：数据回流：人工干预判断返回的样本是否需要单独构建新的标签、扩充数据现有数据库、丢弃；进入到第一步。

2.根据权利要求1所述的面向复杂海事环境的舰艇识别算法，其特征在于：数据集构建过程：舰船图像识别所需要的数据集元素主要包括图像和舰船类型及基础特征数据，建立基于web的图文数据库，管理，筛选，查重通过广域开源收集的舰船图像信息，人工和智能相结合的方式关联舰船类型和基本数据信息，形成可查询、编辑、管理的数据集，同时构建舰船三维模型库，弥补开源数据在训练数量和视角要求的不足。

3.根据权利要求1所述的面向复杂海事环境的舰艇识别算法，其特征在于：数据预处理过程：包括：对比度扰动、图像旋转、过曝处理、颜色扰动、色调分离、对比度增强、亮度调整、图像锐化、图像切变、天气滤镜、雾霾处理以及随机切块对图像进行了预处理操作，来增加训练样本的复杂程度。

4.根据权利要求1所述的面向复杂海事环境的舰艇识别算法，其特征在于：舰船细粒度识别模型训练过程包括四个步骤：

(1).模型选型：ResNet-50、ResNext-50、ConNext-Base，此外，自注意力神经网络本专利选择了Swin-Transformer结构。

(2).模型预训练：首先基于无监督对比学习方法，通过设计损失函数“让同一张图片，经过不同数据预处理方式得到不同图片之间的特征相似度越小则损失函数的值越小”，引导深度神经网络模型更多地关注不同预处理方式之后得到图片的相似部分，主要指轮廓相似部分；从而提升了分类模型对于图片的理解能力，也加强了模型对不同类型舰船结构的认识；

过程为，设数据预处理(数据增强)策略集合为T；被用来做预训练的深度神经网络模型表示为f()，其参数为θ；用来做特征映射的可导函数为g(),g()一般为单层或者多层全连接神经网络；

对于任意一幅给定的无标注的训练图片I,可以通过两次独立的数据预处理过程(t,t′∈T)得到关于该图片的增强数据对：(t(I),t′(I))；然后将其分别输入到预训练神经网络模型可以得到其特征表示：

v＝f(t(I),θ),v′＝f(t′(I),θ)，

以及经过映射的特征:g(v),g(v′)，而我们预训练的优化目标就是最大化同一图像派生出的增强样本之间的相似度，令整个数据集中的图像集合为

则深度模型预训练自监督学习算法的优化过程为最小化以下损失函数：

其中y()为f()的直接拷贝，但是训练过程中不进行梯度回传操作(这一过程保证了模型不会出现坍缩解)；最后，通过一般的反向梯度传播过程，可以完成对参数θ的更新，从而达到模型预训练的目的；

(3).针对舰船类型识别任务进行训练：在步骤(2)训练的基础上，采用有标签的数据进行有监督地舰船类型识别模型训练，首先，使用步骤(2)训练模型的参数作为初始化值，然后基于有监督的分类损失函数进行模型训练，由于舰船图像分布不均(如图4所示)，本发明除了使用一般的基于softmax的损失函数以外还采用了两种特殊设计的损失函数：(1)带权重的交叉熵损失函数：使用权重系数描述样本在整体损失函数中的重要性，对于小数目样本的类别加强它对损失函数的贡献，对于大数目样本的类别削减它对于损失函数的贡献，(2)FocalLoss：同样对标准的交叉熵做改进，但是加入了描述样本难易分类的难易程度，并且相对放大对难分类样本的梯度，相对降低对易分类样本的梯度，

(4).经过上述步骤之后，将基于多种不同深度神经网络结构和不同损失函数训练得到的模型的预测结果进行加和取平均，得到最终的舰船分类预测结果，

属性识别与类型识别结果二次判定

给定一张输入舰船图片I,假设其标准的舰船类型标记为l，属性标签为

舰船细粒度识别模型训练中舰船细粒度识别模型训练舰船分类函数f(I),输出预测的舰船类型l′，而本小节的属性识别模型则是用来预测其属性标签{a′₁,a′₂,…,a′_N}，

在舰船细粒度识别模型训练中步骤2的基础上，使用二分属性判别损失函数(对于每个属性，均采用0-1判别函数)对深度神经网络模型进行有监督训练，从而得到属性识别模型g(I),输出预测的舰船属性{a′₁,a′₂,…,a′_N}，

实际测试环境下的二次判定以及数据回流机制：在测试环境中，我们给定任意一张图片均可以经过舰船细粒度识别模型训练中舰船细粒度识别模型预测一个置信度最大的舰船类型l′，且已知，对于每一种舰船类型，我们通过查询数据库可以获取与其相关联的属性标签

那么，通过统计直接预测的属性标签{a′₁,a′₂,…,a′_N}与预测舰船类型对应的标准属性

之间的共有属性，我们可以得到相互矛盾的属性占比，如果矛盾属性的占比超过阈值α，则可以判断该测试图片可能存在以下几种情况：

1)该图片中舰船类型属于不属于现有舰船数据库中的任意一类舰船；

2)舰船类型判断模型或者属性模型出现了严重的错判情况；

3)该测试图片为噪声图片，不具备测试意义；

我们会对此类图片进行数据回流(存储)，汇总之后经过人工判断：①是否需要新增舰船类型标签(对应情况1)；②将该图片加入现有训练数据库，重新训练更新类型和属性识别模型(对应情况2)；③丢弃该图片(对应情况3)；

可以通过对阈值α进行数值调节来控制回流样本的数量以及人工二次标注的工作量。

Images