CN113139623A - 舰船目标识别方法及装置 - Google Patents

Abstract

本发明公开了一种舰船目标识别方法及装置，属于目标识别技术领域，主要解决现有的舰船目标识别方法受限于识别训练集的目标类型和目标数量，从而无法支撑网络模型训练的需要的问题，本发明通过以更容易获得的舰船长宽比和角度为自监督信息，代替难以获得的舰船身份信息构建训练集，并结合卷积神经网络和Transformer网络两种网络优点，使得本发明的舰船目标识别网络模型在训练集上自监督学习提取舰船的显著性特征。本发明识别效果好，易实行，训练数据集易获取，不受舰船目标数据集的限制。

Description

舰船目标识别方法及装置

技术领域

本发明涉及目标识别技术领域，特别是涉及一种舰船目标识别方法及装置。

背景技术

舰船目标识别一直是数据处理领域的热点问题，其目的是通过对天基或空基图像信息的特征提取，获取舰船目标的显著性特征，实现对舰船身份信息的识别。舰船目标识别方法一般是建立在大量的、有标签的舰船目标数据集的基础上，通过对所构建的卷积神经网络模型进行有监督的训练、学习，使该卷积神经网络模型获得舰船目标特征的自动提取能力。

现有技术中对舰船目标的识别方法主要可以分为基于手工特征的方法和基于学习特征的方法两大类。基于手工特征的方法是通过人工设计的方式获取舰船目标的显著特征，例如舰船的形状、纹理等低层特征，以及SIFT、SURF等局部特征。随着卷积神经网络的提出，目标识别的准确率大大提升，基于学习特征的方法开始逐渐取代基于手工特征的方法。但是基于学习特征的现有方法需要依赖于大量、有标签训练数据集的构建，而舰船目标种类繁多、同一目标不同成像条件下差异较大、不同目标在某些成像条件下差异又不明显，因此，舰船目标身份标签的标注需要有专业的、经验丰富的判读员识别出舰船的具体型号，这项工作对判读员的专业水平要求较高，且容易出现误判、错判；这使得有效的舰船目标识别训练数据集的构建十分的困难。因此现有的舰船目标识别训练数据集大都存在舰船目标数据量小、舰船类型少的特点，难以支撑深度卷积神经网络的训练、学习，难以形成完备的舰船目标识别方法。

发明内容

有鉴于此，本发明提供的一种舰船目标识别方法及装置，针对现有的舰船目标识别方法受限于识别训练集的目标类型和目标数量，以及现有的舰船目标特征表示能力不足的问题，提出一种不依赖于目标身份标签监督的特征表示方法。通过让深度神经网络在大量舰船数据集上，以更容易获得的舰船长宽比和角度为自监督信息，代替难以获得的舰船身份信息，并结合卷积神经网络和Transformer网络两种网络优点，设计一种新的舰船目标特征提取网络模型，让网络模型在数据集上自监督学习提取舰船的显著性特征。

根据本发明一个方面，提供了一种舰船目标识别方法，该方法包括步骤：步骤1：构建预训练舰船目标识别网络模型，包括卷积神经网络层和Transformer自监督识别网络层；步骤2：采集大量样本图像，对舰船目标在所述样本图像中所占的长宽比r和倾斜角度θ进行标注，形成训练样本集D；步骤3：将所述样本图像通过所述卷积神经网络层，提取舰船目标高层特征；步骤4：将所述舰船目标高层特征、用于长宽比预测的随机变量A和用于倾斜角度预测的随机变量B输入所述Transformer自监督识别网络层，输出的预测结果包括预测长宽比和预测倾斜角度；步骤5：通过以所述长宽比r和倾斜角度θ构造的损失函数作为约束，对所述预训练舰船目标识别网络模型进行训练，得到训练好的舰船目标识别网络模型；步骤6：采用训练好的舰船目标识别网络模型读取待识别的舰船目标图像，输出舰船识别结果。

作为本发明的进一步改进，所述Transformer自监督识别网络层包括Transformer网络和全连接层，所述Transformer网络只包括编码器结构，所述编码器中包括多个重复模块，每个模块中包含一个多头注意力模块和一个全连接模块。

作为本发明的进一步改进，步骤4中将所述舰船目标高层特征输入所述Transformer自监督识别网络层包括两条分支：长宽比预测分支：所述用于长宽比预测的随机变量A通过所述Transformer网络输出后，依次连接两个全连接层；输出所述预测长宽比r′；角度预测分支：所述用于倾斜角度预测的随机变量B通过所述Transformer网络输出后，连接一个节点数为360的全连接层，并采用Softmax作为激活函数；输出对舰船目标360个角度概率分布的预测，进而获取所述预测倾斜角度θ′。

作为本发明的进一步改进，所述损失函数为L1损失函数和交叉熵损失函数；

所述L1损失函数为

所述交叉熵损失函数为

其中，

和

的分别表示两个网络分支的输出，q(θⁱ)为真实的舰船角度的概率分布。

作为本发明的进一步改进，所述卷积神经网络为VGG、ResNet、SeNet、ShuffleNet和GoogleNet中任意一种。

根据本发明另一个方面，提供了一种舰船目标识别装置，该装置包括：构建预训练模型模块，用于构建预训练舰船目标识别网络模型，包括卷积神经网络层和Transformer自监督识别网络层；构建训练样本集模块，用于采集大量样本图像，对舰船目标在所述样本图像中所占的长宽比r和倾斜角度θ进行标注，形成训练样本集D；提取高层特征模块，用于将所述样本图像通过所述卷积神经网络层，提取舰船目标高层特征；提取预测值模块，用于将所述舰船目标高层特征、用于长宽比预测的随机变量A和用于倾斜角度预测的随机变量B输入所述Transformer自监督识别网络层，输出的预测结果包括预测长宽比r′和预测倾斜角度θ′；模型训练模块，用于通过以所述长宽比r和倾斜角度θ构造的损失函数作为约束，对所述预训练舰船目标识别网络模型进行训练，得到训练好的舰船目标识别网络模型；识别模块，采用训练好的舰船目标识别网络模型读取待识别的舰船目标图像，输出舰船识别结果。

籍由上述技术方案，本发明提供的有益效果如下：

(1)从挖掘舰船目标数据集的自身信息出发，利用舰船目标数据集中更容易获取的长宽比和角度作为网络的监督信息，引导网络自监督学习舰船目标的特征表示，以解决舰船目标数据集语义标签信息难以获取的问题。

(2)通过结合卷积神经网络和Transformer网络，将卷积神经网络具有的尺度、平移不变性的优点和Transformer网络的注意力机制相结合，进一步提高了对舰船目标的特征表示能力，本发明识别效果好，易实行，训练数据集易获取，不受舰船目标数据集规模和身份标注情况的限制。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种舰船目标识别方法流程示意图；

图2示出了本发明实施例提供的一种舰船目标识别方法中训练数据集标注示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明所要解决的核心技术问题是现有的舰船目标识别方法受限于识别训练集的目标类型和目标数量，从而无法支撑网络模型训练的需要的问题，通过以更容易获得的舰船长宽比和角度为自监督信息，代替难以获得的舰船身份信息构建训练集，并结合卷积神经网络和Transformer网络两种网络优点，使得本发明的舰船目标识别网络模型在训练集上自监督学习提取舰船的显著性特征。

实施例1

图1为本发明实施例提供的一种舰船目标识别方法流程示意图，如图1所示，本实施例所述方法的技术方案包括以下步骤：

步骤1：构建预训练舰船目标识别网络模型，包括卷积神经网络层和Transformer自监督识别网络层；

本实施例中所使用的卷积神经网络包括：VGG、ResNet、SeNet、ShuffleNet、GoogleNet；实际应用时可选择其中任意一种卷积神经网络。

本实施例中所述Transformer自监督识别网络层由Transformer网络和全连接层组成。

Transformer网络是一种被广泛应用于自然语言处理的网络结构，具有注意力机制和对上下文信息的提取能力，本实施例为结合卷积神经网络对图像特征提取中的尺度不变、平移不变的特点和Transformer网络的优点，在卷积神经网络所提取的高层特征基础上，进一步利用Transformer网络的注意力机制和上下文信息提取能力，对图像不同区域特征向量的重要性进行学习和修正，以提高舰船目标的特征表示能力，并通过定义长宽比预测和角度预测两个子任务，计算两个初始化变量同不同图像区域特征表示间的相互关系，生成对舰船目标图像中长宽比和角度的预测结果。

Transformer网络结构是现有的一种网络结构，主要用在自然语言处理领域，该网络本身结构比较成熟，在此不做过多阐述。一般来说，Transformer网络结构包括编码器和解码器两部分，本实施例中所用的Transformer网络只包括编码器结构，编码器模块中包括5个重复模块，每个模块中包含一个多头注意力模块和一个全连接模块。

步骤2：针对训练样本集D中的样本图像，对舰船目标在样本图像中所占的长宽比r和倾斜角度θ进行标注；

步骤2.1：构建舰船目标识别训练样本集D。

广泛收集天基、空基平台的舰船目标图像，并以固定大小将舰船目标从原图像中裁出；下一步进行数据预处理，包括对裁出的图像进行随机旋转、翻转、颜色改变，以进行数据增强，增加训练数据集的多样性。

图2示出了本发明实施例提供的一种舰船目标识别方法中训练数据集标注示意图，如图2所示，本实施例中舰船目标识别训练数据集的构建只需对图像中舰船目标的长宽比和倾斜角度这些客观信息进行标注、记录，无需判读员识别出具体的舰船型号，因此对判读员的专业水平无要求，也不容易出现误判和错判，有利于大量数据集的生成，且标签信息客观、可靠。

步骤2.2：对图像进行标注。

将预处理后的图像中的舰船目标在图像中所占的长宽比r和倾斜角度θ进行标注，形成舰船目标识别训练数据集D：D＝{(xⁱ，rⁱ，θⁱ)，i∈(0，N)}，其中，xⁱ表示第i个目标的图像数据，rⁱ表示该第i个目标图像的长宽比，θⁱ表示第i个目标图像的倾斜角度，N表示训练数据集D中数据量的大小。

步骤3：将样本图像通过卷积神经网络层，提取舰船目标高层特征；

所提取的舰船目标高层特征是指通过卷积神经网络所提取的最后一个卷积层所代表的三维向量fⁱ∈d^w×w×k，其中最后一个卷积层的大小为w×w×k。举例来说，当使用卷积神经网络ResNet50时，最后一个卷积层的大小则为7×7×2048。

步骤4：将舰船目标高层特征输入Transformer自监督识别网络，输出的预测结果包括预测长宽比r′和预测倾斜角度θ′；

本实施例在基于卷积神经网络的舰船目标高层特征提取的基础上，引入Transformer网络，将所得的高层特征进一步输入到Transformer中网络，通过Transformer的注意力机制和上下文信息提取能力，学习不同图像区域的重要性程度和不同区域之间的上下文关系，以进一步提高特征表示能力。

具体来说，将步骤3中提取的舰船目标高层特征输入Transformer自监督识别网络，并同时输入用于长宽比、角度预测的两个随机变量，Transformer自监督识别网络的输出包括对舰船目标的长宽比预测值r′和角度预测值θ′两部分；

具体的，输入舰船目标高层特征，是指将卷积神经网络提取的三维高层特征fⁱ按照空间维展开，得到w×w个维度为d的向量(以ResNet50为例，得到一组49个维度为2048的向量)，这w×w个向量分别代表图像不同区域的特征表示，并将高层特征fⁱ以全局平均池化的方式得到一个总的特征表示向量，对得到w×w+1个特征向量分别连接一个神经元数为d/2的全连接层，得到w×w+1个维度为d/2向量，依次输入到Transformer自监督识别网络中；上述全连接层的神经元数可根据具体情况设置，一般可设为d，d/2，d/4等。

用于长宽比、角度预测的两个随机变量，具体是指随机初始化两个维度为d的向量，这两个向量分别作为对舰船目标长宽比和角度预测的初始向量，同上述w×w+1个特征向量一同作为输入向量输入到Transformer自监督识别网络中。

用于长宽比、角度预测的两个随机变量通过Transformer自监督识别网络输出后，分别连接全连接层；对于长宽比预测的分支，依次连接两个全连接层，第一个全连接层的节点数为d/2，第二个全连接层的节点数为1，用于预测长宽比的数值r′；对于角度预测的分支，连接一个节点数为360的全连接层，并采用Softmax作为激活函数，用于输出一个360维的向量，该向量代表对舰船目标360个角度概率分布的预测，进而获取预测倾斜角度θ′。使用分类问题代替回归问题，两个输出分支的损失函数分别采用L1损失函数和交叉熵损失函数，如公式(1)、(2)所示，

其中，

和

的分别表示两个网络分支的输出，q(θⁱ)为真实的舰船角度的概率分布；

步骤5：通过以长宽比r和倾斜角度θ构造的损失函数和交叉熵损失函数作为约束，对预训练舰船目标识别网络模型进行训练，得到训练好的舰船目标识别网络模型；

以训练样本集D中各舰船目标在样本图像中所占的长宽比r和倾斜角度θ为监督信息，以步骤4中的两个损失函数的加权和作为目标函数，在配置有GPU的计算机上对预训练舰船目标识别网络模型进行学习、训练，获得舰船目标识别网络模型。

优选的，构建具有舰船身份标签的训练样本集D′，由于舰船目标身份标签的标注需要判读员很强的专业度，因此不容易获得大量的训练样本，训练样本集D′为一小样本数据集。上述经训练完毕的舰船目标识别网络模型继续通过在有身份标签的小样本训练样本集D′上进行微调训练，获得最终的目标识别网络。

具体来说，上述的微调训练是在以训练样本集D训练好的基础上，用于长宽比、角度预测的两个随机变量通过Transformer自监督识别网络输出后，先进行按元素相加，再连接一个输出层，输出层的节点数为数据集中舰船目标的类别数，并利用交叉熵损失函数进行微调训练。

微调训练所使用的交叉熵损失函数见公式(3)所示，

L＝w_r×L_r+w_θ×L_θ (3)

其中，w_r和w_θ为重要性权重，取值在0.1-0.9之间，可根据训练结果自行调节。

步骤6：采用训练好的舰船目标识别网络模型读取待识别的舰船目标图像，输出舰船识别结果。

实施例2

进一步的，作为对上述实施例所示方法的实现，本发明另一实施例还提供了一种舰船目标识别装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。在该实施例的装置中，具有以下模块：

构建预训练模型模块，用于构建预训练舰船目标识别网络模型，包括卷积神经网络层和Transformer自监督识别网络层；构建预训练模型模块所实现的技术方案对应于实施例1中的步骤1。

构建训练样本集模块，用于采集大量样本图像，对舰船目标在样本图像中所占的长宽比r和倾斜角度θ进行标注，形成训练样本集D；构建训练样本集模块所实现的技术方案对应于实施例1中的步骤2。

提取高层特征模块，用于将样本图像通过卷积神经网络层，提取舰船目标高层特征；提取高层特征模块所实现的技术方案对应于实施例1中的步骤3。

提取预测值模块，用于将舰船目标高层特征、用于长宽比预测的随机变量A和用于倾斜角度预测的随机变量B输入Transformer自监督识别网络层，输出的预测结果包括预测长宽比r′和预测倾斜角度θ′；提取预测值模块所实现的技术方案对应于实施例1中的步骤4。

Transformer自监督识别网络层包括两条分支子模块：

长宽比预测分支子模块：用于长宽比预测的随机变量A通过Transformer网络输出后，依次连接两个全连接层；输出预测长宽比r′；

角度预测分支子模块：用于倾斜角度预测的随机变量B通过Transformer网络输出后，连接一个节点数为360的全连接层，并采用Softmax作为激活函数；输出对舰船目标360个角度概率分布的预测，进而获取预测倾斜角度θ′。

模型训练模块，用于通过以长宽比r和倾斜角度θ构造的损失函数作为约束，对预训练舰船目标识别网络模型进行训练，得到训练好的舰船目标识别网络模型；模型训练模块所实现的技术方案对应于实施例1中的步骤5。

识别模块，采用训练好的舰船目标识别网络模型读取待识别的舰船目标图像，输出舰船识别结果。识别模块所实现的技术方案对应于实施例1中的步骤6。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

Claims (10)

1.一种舰船目标识别方法，其特征在于，包括以下步骤：

步骤1：构建预训练舰船目标识别网络模型，包括卷积神经网络层和Transformer自监督识别网络层；

步骤2：采集大量样本图像，对舰船目标在所述样本图像中所占的长宽比r和倾斜角度θ进行标注，形成训练样本集D；

步骤3：将所述样本图像通过所述卷积神经网络层，提取舰船目标高层特征；

步骤4：将所述舰船目标高层特征、用于长宽比预测的随机变量A和用于倾斜角度预测的随机变量B输入所述Transformer自监督识别网络层，输出的预测结果包括预测长宽比r′和预测倾斜角度θ′；

步骤5：通过以所述长宽比r和倾斜角度θ构造的损失函数作为约束，对所述预训练舰船目标识别网络模型进行训练，得到训练好的舰船目标识别网络模型；

步骤6：采用训练好的舰船目标识别网络模型读取待识别的舰船目标图像，输出舰船识别结果。

2.根据权利要求1所述的舰船目标识别方法，其特征在于，所述Transformer自监督识别网络层包括Transformer网络和全连接层，所述Transformer网络只包括编码器结构，所述编码器中包括多个重复模块，每个模块中包含一个多头注意力模块和一个全连接模块。

3.根据权利要求2所述的舰船目标识别方法，其特征在于，步骤4中将所述舰船目标高层特征输入所述Transformer自监督识别网络层包括两条分支：

长宽比预测分支：所述用于长宽比预测的随机变量A通过所述Transformer网络输出后，依次连接两个全连接层；输出所述预测长宽比r′；

角度预测分支：所述用于倾斜角度预测的随机变量B通过所述Transformer网络输出后，连接一个节点数为360的全连接层，并采用Softmax作为激活函数；输出对舰船目标360个角度概率分布的预测，进而获取所述预测倾斜角度θ′。

4.根据权利要求1-3中任一项所述的舰船目标识别方法，其特征在于，所述损失函数为L1损失函数和交叉熵损失函数；

所述L1损失函数为

所述交叉熵损失函数为

其中，

和

均分别表示两个网络分支的输出，q(θⁱ)为真实的舰船角度的概率分布。

5.根据权利要求1所述的舰船目标识别方法，其特征在于，所述卷积神经网络为VGG、ResNet、SeNet、ShuffleNet和GoogleNet中任意一种。

6.一种舰船目标识别装置，其特征在于，包括：

构建预训练模型模块，用于构建预训练舰船目标识别网络模型，包括卷积神经网络层和Transformer自监督识别网络层；

构建训练样本集模块，用于采集大量样本图像，对舰船目标在所述样本图像中所占的长宽比r和倾斜角度θ进行标注，形成训练样本集D；

提取高层特征模块，用于将所述样本图像通过所述卷积神经网络层，提取舰船目标高层特征；

提取预测值模块，用于将所述舰船目标高层特征、用于长宽比预测的随机变量A和用于倾斜角度预测的随机变量B输入所述Transformer自监督识别网络层，输出的预测结果包括预测长宽比r′和预测倾斜角度θ′；

模型训练模块，用于通过以所述长宽比r和倾斜角度θ构造的损失函数作为约束，对所述预训练舰船目标识别网络模型进行训练，得到训练好的舰船目标识别网络模型；

识别模块，采用训练好的舰船目标识别网络模型读取待识别的舰船目标图像，输出舰船识别结果。

7.根据权利要求6所述的舰船目标识别装置，其特征在于，所述Transformer自监督识别网络层包括Transformer网络和全连接层，所述Transformer网络只包括编码器结构，所述编码器中包括多个重复模块，每个模块中包含一个多头注意力模块和一个全连接模块。

8.根据权利要求7所述的舰船目标识别装置，其特征在于，提取预测值模块中将所述舰船目标高层特征输入所述Transformer自监督识别网络层包括两条分支子模块：

长宽比预测分支子模块：所述用于长宽比预测的随机变量A通过所述Transformer网络输出后，依次连接两个全连接层；输出所述预测长宽比r′；

角度预测分支子模块：所述用于倾斜角度预测的随机变量B通过所述Transformer网络输出后，连接一个节点数为360的全连接层，并采用Soffmax作为激活函数；输出对舰船目标360个角度概率分布的预测，进而获取所述预测倾斜角度θ′。

9.根据权利要求6-8中任一项所述的舰船目标识别装置，其特征在于，所述损失函数为L1损失函数和交叉熵损失函数；

所述L1损失函数为

所述交叉熵损失函数为

其中，

和

的分别表示两个网络分支的输出，g(θⁱ)为真实的舰船角度的概率分布。

10.根据权利要求6所述的舰船目标识别装置，其特征在于，所述卷积神经网络为VGG、ResNet、SeNet、ShuffleNet和GoogleNet中任意一种。

Images