CN113723425A - 一种飞机型号识别方法、装置、存储介质及设备 - Google Patents

Abstract

本发明适用于图像信息识别技术领域，提供了一种飞机型号识别方法、装置、存储介质及设备，所述方法包括：获取目标飞机任意视角下的可见光图像；利用预先训练的图像分割模型对可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓；使用内部距离形状上下文描述目标飞机轮廓的每个轮廓点特征；根据目标飞机轮廓的每个轮廓点特征，将目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，预设飞机轮廓模板和目标飞机轮廓采用相同的特征描述子进行特征描述，且每一预设飞机轮廓模板均关联有预设的飞机型号；根据相似度匹配结果，识别出目标飞机的型号。本发明实现了基于多视角下可见光图像来有效、精准识别出飞机型号。

Description

一种飞机型号识别方法、装置、存储介质及设备

技术领域

本发明属于图像信息识别技术领域，尤其涉及一种飞机型号识别方法、装置、存储介质及设备。

背景技术

飞机型号识别是目标识别领域的一个重要任务。飞机型号的精确识别具备一些十分重要的应用，其不仅是空中交通管制的一项重要任务，还是一项重要的军事任务。

目前，对飞机型号的识别任务大都基于雷达信号或飞机飞行轨迹信息。由于存在姿态变换导致的类内差异较大等难点，多视角下可见光图像的飞机型号识别相比于传统的飞机型号识别更具挑战性，也正因为其极具挑战性且缺乏实际应用需求，直到目前一直尚未被广泛涉足。

近年来，随着可见光传感器技术和航空技术的发展，对飞机型号的智能识别提出了迫切需求。因此，基于多视角下可见光图像的飞机型号识别任务也随之成为亟待解决的难题。

发明内容

本发明实施例提供一种飞机型号识别方法、装置、存储介质及设备，旨在提供一种能够基于多视角下可见光图像来识别出飞机型号识别方法。

本发明实施例是这样实现的，一种飞机型号识别方法，所述方法包括：

获取目标飞机任意视角下的可见光图像；

利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓，所述目标飞机轮廓以坐标点集形式表示；

使用内部距离形状上下文描述所述目标飞机轮廓的每个轮廓点特征；

根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，所述预设飞机轮廓模板和所述目标飞机轮廓采用相同的特征描述子进行特征描述，且每一所述预设飞机轮廓模板均关联有预设的飞机型号；

根据相似度匹配结果，识别出所述目标飞机的型号。

优选地，利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓的步骤包括：

利用预先训练的目标检测网络对可见光图像中的目标飞机进行粗检测，并把对目标飞机的粗检测框作为初始轮廓；

以所述初始轮廓作为图像分割模型输入、且以所述目标飞机的真实轮廓作为训练目标、并以预设的模型损失函数作为模型输出评估，对所述图像分割模型进行迭代训练，以使飞机轮廓向真实轮廓迭代收敛；

当所述模型损失函数达到预设值时，输出所述图像分割模型的迭代训练结果，以得到所述目标飞机轮廓。

优选地，所述模型损失函数L_seg满足以下条件式：

L_seg＝L_det+L_ex+L_iter+λ_cp L_cp

式中，L_det表示目标飞机检测的损失函数，L_ex表示初始轮廓选定的损失函数，L_iter表示轮廓迭代收敛的损失函数，L_cp为收敛轮廓点分布的损失函数，λ_cp为超参数。

优选地，根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配的步骤包括：

根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与飞机轮廓数据库中各个视角下的预设飞机轮廓模板进行相似度匹配。

优选地，将所述目标飞机轮廓和所述预设飞机轮廓模板进行相似度匹配的步骤包括：

根据所述目标飞机轮廓的每个轮廓点，计算出所述目标飞机轮廓的每个轮廓点到预选的中心轮廓点的内部距离图；

根据所述内部距离图计算出以所述中心轮廓点为中心的形状上下文统计直方图，合并所有轮廓点的形状上下文统计直方图，得到所述目标飞机轮廓的形状上下文统计直方图；

计算所述目标飞机轮廓和所述预设飞机轮廓模板的形状上下文统计直方图之间的直方图距离，得到距离矩阵；

根据所述距离矩阵使用动态规划匹配算法，找到所述目标飞机轮廓和所述预设飞机轮廓模板当中相匹配的轮廓点，得到轮廓点匹配图；

根据所述轮廓点匹配图，计算出所述目标飞机轮廓的各轮廓点与所述预设飞机轮廓模板上对应匹配的轮廓点的直方图距离之和，得到述目标飞机轮廓和所述预设飞机轮廓模板的相似度距离；

将所述目标飞机轮廓与所有所述预设飞机轮廓模板的相似度距离组合，得到所述目标飞机轮廓的模板匹配代价矩阵。

优选地，根据相似度匹配结果，识别出所述目标飞机的型号的步骤包括：

采用预设的匹配评价算法对目标飞机轮廓的模板匹配代价矩阵进行评价，以从各个预设飞机轮廓模板当中找到轮廓匹配代价最小的最优匹配轮廓模板；

获取与所述最优匹配轮廓模板对应关联的预设的飞机型号，得到所述目标飞机的飞机型号。

优选地，所述匹配评价算法满足以下条件式：

式中，R表示最优匹配轮廓模板，C_Matching表示模板匹配代价矩阵，N_Matching表示匹配成功的轮廓点数量。

本发明实施例还提供了一种飞机型号识别装置，所述装置包括：

图像获取模块，用于获取目标飞机任意视角下的可见光图像；

轮廓提取模块，用于利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓，所述目标飞机轮廓以坐标点集形式表示；

轮廓描述模块，用于使用内部距离形状上下文描述所述目标飞机轮廓的每个轮廓点特征；

相似度匹配模块，用于根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，所述预设飞机轮廓模板和所述目标飞机轮廓采用相同的特征描述子进行特征描述，且每一所述预设飞机轮廓模板均关联有预设的飞机型号；

型号识别模块，用于根据相似度匹配结果，识别出所述目标飞机的型号。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的飞机型号识别方法。

本发明实施例还提供了一种飞机型号识别设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的飞机型号识别方法。

本发明所达到的有益效果为：通过利用预先训练的图像分割模型对可见光图像当中的目标飞机进行粗检测、提取出目标飞机轮廓，并采用特定描述方式对目标飞机轮廓进行描述，最后将描述好的目标飞机轮廓与预设的飞机轮廓模板进行相似度匹配，以识别出目标飞机的型号，从而提出了一种能够基于多视角下可见光图像来有效、精准识别出飞机型号的方法。

附图说明

图1是本发明实施例一当中的飞机型号识别方法的流程图；

图2是本发明实施例二当中的飞机型号识别方法的流程图；

图3是本发明实施例提供的飞机轮廓的轮廓点分布图；

图4为本发明实施例四当中的飞机型号识别装置的结构框图；

图5是本发明实施例五当中的飞机型号识别设备的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在现有飞机型号的识别方案当中，针对不同型号飞机的类间差异较小、雷达信号噪声干扰等问题，国内外研究者对基于雷达数据的飞机型号识别展开了深入研究。在基于飞行轨迹信息的飞机型号识别任务上，会把不同型号飞机的飞行轨迹信息(如最大飞行速度，巡航速度，最大爬升率等)作为一维信号输入机器学习模型，通过SVM等分类器对飞行轨迹特征进行分类，进而实现飞机型号识别。在此基础上，还利用主动学习对飞机飞行轨迹信息进行辅助标注，然后结合LSTM模型对飞机的飞行轨迹特征进行分类来实现飞机型号识别。

由于存在姿态变换导致的类内差异较大等难点，多视角下可见光图像的飞机型号识别相比于传统的飞机型号识别更具挑战性，也正因为其极具挑战性且缺乏实际应用需求，直到目前一直尚未被广泛涉足。

近年来，随着可见光传感器技术和航空技术的发展，对飞机型号的智能识别提出了迫切需求。因此，基于多视角下可见光图像的飞机型号识别任务也随之成为亟待解决的难题。

为解决飞机型号识别存在的难点，本发明提出了一种基于可见光图像的飞机型号方法，具体通过下述实施例做详细说明。

实施例一

请参阅图1，所示为本发明实施例一当中的飞机型号识别方法，所述方法具体包括步骤S01-步骤S05：

步骤S01，获取目标飞机任意视角下的可见光图像。

其中，所述可见光图像可以为在不同视角下对目标飞机图像捕捉得到的可见光图像。在具体实施时，可以在空中实时对目标飞机进行拍摄，拍摄的飞机图像具有拍摄视角多、飞行姿态复杂多样等特点。

步骤S02，利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓，所述目标飞机轮廓以坐标点集形式表示。

具体地，在图像分割模型当中，首先通过对可见光图像当中的目标飞机进行粗检测，然后把粗检测得到的正例检测框作为实例分割的初始轮廓，在初始轮廓上采样轮廓点，结合轮廓点的坐标和特征图形成轮廓点级的特征向量，最后，通过迭代训练驱使轮廓点向飞机边缘拟合以实现实例分割，从而提取出目标飞机轮廓。

其中，图像分割模型又称飞机实例分割模型，其可以采用大量的多视角下的飞机可见光图像并基于深度卷积神经网络(CNN)训练得到，并且飞机实例分割模型基于DeepSnake分割算法来实现，Deep Snake分割算法包含DLA(Deep Layer Aggregation)网络和CenterNet网络，CenterNet网络作为目标检测网络，DLA网络作为特征提取网络。

在提出的图像分割模型中，图像分割模型并不直接进行飞机型号分类，而是对飞机目标进行粗检测和轮廓提取，作为后续飞机轮廓匹配模型的基础。在实例分割模型中仅对图像中的飞机目标进行粗检测有以下原因：首先，多视角飞机图像的类内差异较大，直接通过深度实例分割模型进行飞机型号的精细检测难以达到可观的效果。其次，使用粗检测意味着可以在模型训练过程中使用更广泛的飞机图像而不受飞机型号的限制，在一定程度上也可以缓解多视角飞机图像可用样本较少导致训练样本不足的问题。此外，针对多视角飞机图像可用样本较少的问题，在建立的飞机训练集上采用迁移学习的训练策略以保证实例分割模型具备足够的泛化能力。

示例而非限定，为了训练得到飞机实例分割模型，建立了一个涵盖多种视角下飞机图像的飞机训练集。训练集包含2643张不同视角下的飞机图片，2250张筛选自COCO数据集，393张来自网络搜集。每张图片包含一个或多个完整的飞机目标。在筛选飞机图片过程中，尽可能地覆盖飞机足够多的飞行视角。训练集中按照COCO的实例分割标注格式进行数据标注。由于飞机实例分割模型不对飞机型号进行精细化分类，仅用于训练实例分割模型对飞机目标进行粗检测并提取飞机轮廓，因此训练集中可以为任意型号飞机的图片并且图片中的飞机实例均用二分类标签进行标注。训练集中90％的图片用于训练，剩下10％的图片作为训练验证集。

步骤S03，使用内部距离形状上下文描述所述目标飞机轮廓的每个轮廓点特征。

其中，内部距离形状上下文(Inner Distance Shape Context,简称IDSC)作为飞机轮廓的特征描述子。IDSC通过建立对数极坐标直方图来描述任意采样点与轮廓上其他采样点的空间分布情况。本实施例选择IDSC作为飞机轮廓的特征描述子有以下原因：第一，IDSC以坐标点集的形式表示轮廓，与飞机实例分割模型所输出的飞机轮廓的表示形式相符合，因此对实例分割模型输出的飞机轮廓不需要进一步处理便可以直接输入模板匹配模型。第二，IDSC可以十分有效地描述轮廓点的局部特征信息，且具备较强的局部感受野，适合用于某些局部区域轮廓点分布较复杂的轮廓，与飞机轮廓的特点相符。第三，IDSC在旋转和尺度变换上具备较强的鲁棒性，因此可以大幅减少模板匹配中所需要的飞机模板数量。第四，在飞机实例分割模型中基于Deep Snake的分割算法对每个飞机目标提取的轮廓均仅由一条闭合的多边形曲线表示，这意味着输入轮廓匹配模型的飞机轮廓天然没有额外的噪声干扰，从而完美地避开了IDSC存在的易受噪声干扰的缺点。

步骤S04，根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，所述预设飞机轮廓模板和所述目标飞机轮廓采用相同的特征描述子进行特征描述，且每一所述预设飞机轮廓模板均关联有预设的飞机型号。

步骤S05，根据相似度匹配结果，识别出所述目标飞机的型号。

其中，预设飞机轮廓模板存储于飞机轮廓数据库中，并且飞机轮廓数据库中存储有不同型号飞机在各个视角下的预设飞机轮廓模板。同时，预设飞机轮廓模板也同样采用坐标点集形式来表示，并也使用内部距离形状上下文(IDSC)来描述预设飞机轮廓模板的每个轮廓点特征。使得，根据轮廓点特征就可以直接进行目标飞机轮廓和预设飞机轮廓模板的相似度匹配，从而找到相似度匹配度最高的预设飞机轮廓模板(可称之为最优匹配轮廓模板)，而由于每一预设飞机轮廓模板均预先关联有对应的飞机型号，则查询相似度匹配度最高的预设飞机轮廓模板对应关联的飞机型号，即可以得到目标飞机的型号。

综上，本实施例当中的飞机型号识别方法，通过利用预先训练的图像分割模型对可见光图像当中的目标飞机进行粗检测、提取出目标飞机轮廓，并采用特定描述方式对目标飞机轮廓进行描述，最后将描述好的目标飞机轮廓与预设的飞机轮廓模板进行相似度匹配，以识别出目标飞机的型号，从而提出了一种能够基于多视角下可见光图像来有效、精准识别出飞机型号的方法。

实施例二

请参阅图2，所示为本发明实施例二当中的飞机型号识别方法，本实施例当中的检测方法与第一实施例当中检测方法的不同之处在于，步骤S02具体包括如下步骤：

步骤S21、利用预先训练的目标检测网络对可见光图像中的目标飞机进行粗检测，并把对目标飞机的粗检测框作为初始轮廓；

步骤S22、以所述初始轮廓作为图像分割模型输入、且以所述目标飞机的真实轮廓作为训练目标、并以预设的模型损失函数作为模型输出评估，对所述图像分割模型进行迭代训练，以使飞机轮廓向真实轮廓迭代收敛；

步骤S23、当所述模型损失函数达到预设值时，输出所述图像分割模型的迭代训练结果，以得到所述目标飞机轮廓。

示例而非限定，在本实施例当中，所述模型损失函数L_seg满足以下条件式：

L_seg＝L_det+L_ex+L_iter+λ_cp L_cp

式中，L_det表示目标飞机检测的损失函数，L_ex表示初始轮廓选定的损失函数，L_iter表示轮廓迭代收敛的损失函数，L_cp为收敛轮廓点分布的损失函数，λ_cp为超参数。

需要说明的是，在Deep Snake分割算法当中，令I∈R^W*H*3为三通道可见光输入图像，输入I经过特征提取网络后得到特征图f_I。给定一个实例轮廓，在轮廓上等间隔采样N个点，表示为{x_i|i＝1,2,...,N}，其中x_i为对应轮廓点的坐标向量。对于轮廓点x_i，其特征向量F_i可表示为该点处的图像特征向量F(x_i)和该点坐标x_i的结合[F(x_i)；x_i]，其中F(x_i)由特征图f_I在坐标点x_i上做双线性插值得到。在特征向量中加入轮廓点的坐标x_i向量目的是方便对轮廓点之间的空间关系进行编码，以增强同一轮廓中不同轮廓点之间的空间联系。在得到实例轮廓上每个轮廓点的特征向量F_i后，把所有轮廓点的特征向量F_i输入Deep Snake网络进行训练，输出为每个轮廓点的坐标偏移预测值x_offset，轮廓点根据偏移预测值更新坐标向实例边缘收敛。在本研究中，每个轮廓采样轮廓点的数量N设置为128。

基于Deep Snake的实例分割模型损失函数如下：

L_seg＝L_det+L_ex+L_iter

基于Deep Snake的实例分割流程分为两部分：初始轮廓的选定和轮廓的迭代收敛。在上式中，L_det表示目标检测部分的损失函数，L_ex表示初始轮廓选定部分的损失函数，L_iter表示轮廓迭代收敛部分的损失函数。

基于Deep Snake的实例分割模型在实例分割公开数据集上有较好的表现。但是，考虑到不同视角下的飞机轮廓较为复杂，同时飞机轮廓在收敛过程中受飞机尾流、起落架打开等视觉因素干扰极易丢失轮廓的细节信息。因此，实际在本实施例当中，基于DeepSnake实例分割模型还进一步提出关注轮廓点分布的损失函数CP Loss(Contour PointLoss)，即引入一个损失函数在轮廓点收敛过程中对轮廓点的分布进行监督。针对收敛轮廓点分布与实例标定轮廓点分布之间的差异，基于轮廓点统计直方图提出关注收敛轮廓点分布的损失函数CP Loss，CP Loss在轮廓点迭代收敛的同时对收敛轮廓点分布进行微调，促使轮廓点的分布更接近于飞机的真实轮廓分布。

CP Loss的灵感来源于轮廓点分布直方图(CPDH)。CPDH通过轮廓点的坐标相对于轮廓重心位置的分布关系来描述轮廓特征，是一种极坐标下的形状轮廓点分布直方图描述子。CP Loss根据训练过程中预测轮廓点和实例标定轮廓点之间的分布差异，通过计算两种分布之间的直方图距离并代入损失函数后得到，其具体计算过程如下：

1、以飞机标定框的中心为圆心，标定框对角线为直径画圆作为轮廓点统计直方图计算的基准圆。在基准圆中分别对半径和弧度进行均分，把基准圆分割成多个格子，在本实施例中分别采用半径九等分和弧度十二等分，如图3所示；

2、统计落在每个格子上的轮廓点的数量，形成轮廓点统计直方图H，轮廓点统计直方图H表示为一个12*9的矩阵。在本实施例中飞机轮廓由128个坐标点描述，并且可以保证轮廓为一条闭合的二维平面曲线；

3、计算预测轮廓的轮廓点统计直方图矩阵和标定轮廓的轮廓点统计直方图矩阵之间的直方图距离L，在本实施例中用L1距离表示直方图距离。把直方图距离作为损失代入损失函数计算得到CP Loss，在本实施例中损失函数选用SmoothL1 Loss。

采用飞机的标定框外接圆作为轮廓点分布直方图的基准圆，尽管这样选择会导致存在少量统计直方图的冗余空间，但是可以保证在计算两个轮廓的轮廓点统计直方图时始终在同一基准圆上进行计算，从而可以直接通过相对简单的L1距离来表示两个直方图之间的距离。

此外，在同样是基于轮廓点分布直方图的特征描述子内部距离形状上下文(IDSC)[16]中采用基于对数距离的半径分割方法来划分基准圆，而在CP Loss中采用半径均分的基准圆半径分割方法。原因是在IDSC中需要逐一以轮廓中每个轮廓点为基准圆中心计算轮廓点分布直方图，要求轮廓点分布直方图对局部轮廓点更加敏感，因此IDSC采用对数距离进行基准圆的半径分割。相比之下CP Loss以轮廓的标定框中心为基准圆圆心，属于轮廓点的全局分布特征，使用半径均分的分割方法可以更合理地表示轮廓点的分布。

CP Loss损失函数如下：

其中，l₁表示smooth L1损失函数，H_i表示预测轮廓点的直方图矩阵，H_i ^gt表示标定轮廓点的直方图矩阵。

加入CP Loss后，最终整个飞机实例分割模型的损失函数如下：

L_seg＝L_det+L_ex+L_iter+λ_cpL_cp

在上式中，L_cp表示CP Loss，λ_cp为CP Loss的超参数，用于控制CP Loss在损失函数中的权重。在损失函数中，L_ex和L_iter用于监督每个轮廓点的收敛，而L_cp关注轮廓点的全局分布。在实验部分，根据实验经验把λ_cp的值设置为2。

实施例三

本发明实施例三当中的飞机型号识别方法与第一实施例当中检测方法的不同之处在于，步骤S04具体包括如下步骤：

根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与飞机轮廓数据库中各个视角下的预设飞机轮廓模板进行相似度匹配。。

为实现飞机轮廓的模板匹配，在飞机三维仿真模型基础上建立了一个飞机轮廓模板数据库，也即飞机轮廓数据库，飞机轮廓模板数据库包含十种型号飞机在三个自由度的不同视角下的轮廓投影，每种型号飞机包含多达303个轮廓模板。

三维视角下飞机具备三个自由度，分别是绕X轴、绕Y轴和绕Z轴旋转。模板数据库的制作过程如下：

令飞机模型的顶视图为初始视角，使飞机模型分别在X、Y和Z轴上旋转一定角度并截取相应视图，得到飞机模型在不同三维视角下的投影视角图集S_TYPE：

S_TYPE＝{s_{TYPE_α_β_θ}|0≤α,β,θ<360}

其中，s_{TYPE_α_β_θ}表示飞机模型的投影视角图，TYPE表示飞机型号，α、β和θ分别表示飞机模型在X、Y和Z轴上旋转的角度。根据飞机投影视角图S_TYPE，通过二值化及边缘提取等传统图像处理操作，得到尺寸为400*400像素的飞机二值轮廓模板集P_TYPE：

P_TYPE＝{p_{TYPE_α_β_θ}|0≤α,β,θ<360}

其中，p_{TYPE_α_β_θ}表示处理后的飞机二值轮廓模板。在本实施例中，P_TYPE的维度为303，即每种型号飞机包含303个不同视角下的轮廓模板。

在轮廓模板数据库中，以TYPE_X_Y_Z的方式命名每个轮廓模板。其中，TYPE为飞机型号缩写，X、Y、Z分别代表飞机三维模型分别在飞机中X、Y、Z轴旋转的角度。例如，某一轮廓模板命名为TYPE_90_0_0。

在本实施例中，考虑到使用的轮廓特征描述子IDSC具备旋转和尺度变换的不变性，可以减少飞机一个旋转自由度(Z轴)的轮廓视角。因此，在实验中使用每种型号飞机仅包含90个轮廓模板的小型轮廓模板数据库，同时也可以大幅提升轮廓模板匹配的速度。

示例而非限定，在本实施例一些可选实施例当中，将所述目标飞机轮廓和所述预设飞机轮廓模板进行相似度匹配的步骤具体包括如下细化步骤：

根据所述目标飞机轮廓的每个轮廓点，使用最短路径算法计算出所述目标飞机轮廓的每个轮廓点到预选的中心轮廓点的内部距离图；

根据所述内部距离图计算出以所述中心轮廓点为中心的形状上下文统计直方图，合并所有轮廓点的形状上下文统计直方图，得到所述目标飞机轮廓的形状上下文统计直方图；

计算所述目标飞机轮廓和所述预设飞机轮廓模板的形状上下文统计直方图之间的直方图距离，得到距离矩阵；

根据所述距离矩阵使用动态规划匹配算法，找到所述目标飞机轮廓和所述预设飞机轮廓模板当中相匹配的轮廓点，得到轮廓点匹配图；

根据所述轮廓点匹配图，计算出所述目标飞机轮廓的各轮廓点与所述预设飞机轮廓模板上对应匹配的轮廓点的直方图距离之和，得到述目标飞机轮廓和所述预设飞机轮廓模板的相似度距离；

将所述目标飞机轮廓与所有所述预设飞机轮廓模板的相似度距离组合，得到所述目标飞机轮廓的模板匹配代价矩阵。

具体来说，在轮廓匹配模型中，设飞机轮廓为坐标点集{x_i|i＝1,2,...,N}，其中x_i为轮廓点的坐标向量，N为轮廓点的数量，在本实施例中取N＝128。飞机轮廓模板匹配的具体计算过程如下：

首先，对飞机轮廓A＝{p_i|i＝1,2,...,N},通过最短路径算法计算每个轮廓点p_i的内部距离图D_i:

D_i＝{d_i,1,d_i,2,...,d_i,N}

其中，d_i,j表示为轮廓点p_i到p_j的内部距离，1<＝i,j<＝N。然后，根据内部距离图D_i计算以轮廓点p_i为中心的形状上下文统计直方图h_A,i:

h_A,i＝{n₁,n₂,...,n_K}

其中，n_k表示统计直方图中第k维中轮廓点的数量，K表示统计直方图的维度，1<＝k<＝K，在本实施例中取K＝60(12*5)。设模板轮廓B(即预设飞机轮廓模板)＝{q_j|j＝1,2,...,N},按照上述步骤计算以轮廓点q_j为中心的形状上下文统计直方图h_B,j。

根据[25]中的平方统计距离函数，计算轮廓A中轮廓点p_i的直方图h_A,i到轮廓B中轮廓点q_j的直方图h_B,j的距离c(i,j):

将轮廓A到轮廓B所有轮廓点的直方图距离c(i,j)组合成一个N*N的距离矩阵C_dist：

距离矩阵

根据距离矩阵C_dist，使用动态规划匹配算法得到从轮廓A到轮廓B的轮廓点匹配图T:

T＝{t₁,t₂,...,t_N}

其中，T(i)＝t_i表示轮廓A中轮廓点p_i在轮廓B中的匹配点的索引，即与轮廓点p_i相匹配的轮廓点为q_T(i)，1<＝i<＝N,0<＝T(i)<＝N。当T(i)取0时，表示在轮廓B中没有与轮廓点p_i相匹配的轮廓点，即匹配不成功。

将轮廓A中所有轮廓点p_i到其匹配轮廓点q_T(i)的直方图距离c(i,T(i))相加(若T(i)＝0则跳过)，得到轮廓A到轮廓B的相似度距离c_Matching：

重复上述步骤在轮廓模板数据库中进行迭代匹配。将轮廓A到所有模板轮廓的相似度距离组合，得到轮廓A的模板匹配代价矩阵C_Matching：

其中，M表示轮廓模板数据库中的轮廓数量，在本实施例中M＝900(10*90)。

除此之外，在本实施例当中，步骤S05具体包括如下步骤：

采用预设的匹配评价算法对目标飞机轮廓的模板匹配代价矩阵进行评价，以从各个预设飞机轮廓模板当中找到轮廓匹配代价最小的最优匹配轮廓模板；

获取与所述最优匹配轮廓模板对应关联的预设的飞机型号，得到所述目标飞机的飞机型号。

其中，所述匹配评价算法满足以下条件式：

式中，R表示最优匹配轮廓模板，C_Matching表示模板匹配代价矩阵，N_Matching表示匹配成功的轮廓点数量。

也就是说，在轮廓匹配的最后，还需要根据匹配评价标准来选择最优的匹配轮廓模板输出。具体过程如下：

在动态规划匹配算法中，待匹配轮廓经过匹配后输出轮廓之间的匹配代价和涵盖匹配轮廓点索引的矩阵，然后在所有轮廓匹配结束后通过匹配评价标准函数选择最优的匹配轮廓。在此前基于动态规划匹配的轮廓匹配算法中，选择最优匹配模板时通常采用轮廓匹配代价最小的匹配评价标准，公式如下：

R＝argmin{C_Matching}

其中，C_Matching表示存放所有轮廓匹配代价的矩阵，R表示最优匹配模板的索引。

在实际中，上述的匹配评价标准忽略了匹配轮廓点数量在动态规划匹配中的作用。在动态规划匹配输出的匹配轮廓点匹配图T中可以获取轮廓匹配成功的轮廓点数量。因此，本实施例在匹配评价标准中引入匹配成功的轮廓点数量，提出一种新的且简单有效的匹配评价标准，公式如下：

其中，C_Matching表示存放所有轮廓匹配代价的矩阵，N_Matching表示匹配成功的轮廓点数量，R表示最优匹配模板的索引。

考虑到每次匹配都使用相同的轮廓模板数据库，采用预加载模板轮廓IDSC特征矩阵的方式对模板匹配进行加速。基于IDSC+DP Matching的轮廓匹配算法主要包含三个计算部分：给定一个由N个轮廓点表示的轮廓，首先，计算轮廓点的内部距离图，时间复杂度为O(N³)。其次，计算轮廓点的IDSC直方图，时间复杂度为O(N²)。最后，使用DP Matching进行轮廓匹配，时间复杂度为O(N²)。因此，实现一个飞机轮廓的模板匹配的时间复杂度为O(N³)。

也就是说，本实施例当中的飞机型号识别方法主要包含两个部分：飞机实例分割模型和轮廓匹配模型，两部分之间以飞机轮廓作为特征进行信息传递，采用从粗检测到细分类的思路，首先对输入的多视角下的飞机图像进行粗检测和轮廓级实例分割，通过后处理获取以坐标点集形式表示的飞机轮廓，然后计算飞机轮廓中每个轮廓点的内部距离形状上下文(IDSC)对飞机轮廓进行特征描述，最后通过动态规划匹配算法评估飞机轮廓特征和模板轮廓特征的相似度实现飞机轮廓模板匹配，输出飞机型号识别结果。

需要说明的是，上述各实施例及其特征之间在没有冲突的情况下可以自由组合。同时，基于上述实施例当中的内容，本发明当中的飞机型号识别方法在建立的包含十种型号飞机，800张飞机图片和917个不同视角下的飞机目标的测试集上达到了71.3％的TOP1准确率和90.8％的TOP3准确率，同时还至少具有以下优势：

1、针对多视角下飞机图像类内差异较大的难点，提出一种基于多视角下可见光图像的飞机型号识别框架，框架主张从粗检测到细分类的思路，分为基于深度学习的实例分割模型和基于内部距离形状上下文的轮廓模板匹配模型，这种先分割后匹配的两阶段飞机型号识别框架具备较强的可扩展性，便于扩展待识别的飞机型号类别。实验证明提出的框架能够有效实现多视角可见光图像下的飞机型号识别；

2、针对飞机轮廓提取过程中易受尾流等视觉因素干扰的难点，在轮廓级实例分割模型基础上提出关注轮廓点分布的损失函数Contour Point Loss(CP Loss)。CP Loss对迭代收敛的轮廓点分布进行微调，促使实例分割轮廓点的分布更加合理和精确。实验表明CPLoss的引入可以有效提升飞机型号识别准确率，并在实例分割公开数据集的实验中表现出可观的提升；

3、在轮廓匹配模型中，在原有动态规划匹配的评价标准基础上提出一种新的匹配评价标准，该匹配评价标准能够有效提升飞机轮廓模板匹配的准确率；

4、为实现多视角下飞机轮廓的模板匹配，在飞机三维仿真模型基础上建立一个飞机轮廓模板数据库，飞机轮廓模板数据库包含十种型号飞机在三个自由度的不同视角下的轮廓投影。此外，为训练模型和验证提出的框架的有效性，基于多视角下可见光飞机图像，还建立了一个飞机训练集和一个包含十种型号飞机的飞机型号测试集；

实施例四

本发明另一方面还提出一种飞机型号识别装置，请参阅图4，所示为本发明实施例四提供的飞机型号识别装置，所述装置包括：

图像获取模块11，用于获取目标飞机任意视角下的可见光图像；

轮廓提取模块12，用于利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓，所述目标飞机轮廓以坐标点集形式表示；

轮廓描述模块13，用于使用内部距离形状上下文描述所述目标飞机轮廓的每个轮廓点特征；

相似度匹配模块14，用于根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，所述预设飞机轮廓模板和所述目标飞机轮廓采用相同的特征描述子进行特征描述，且每一所述预设飞机轮廓模板均关联有预设的飞机型号；

型号识别模块15，用于根据相似度匹配结果，识别出所述目标飞机的型号。

优选地，在本发明一些可选实施例当中，所述轮廓提取模块12包括：

粗检测单元，用于利用预先训练的目标检测网络对可见光图像中的目标飞机进行粗检测，并把对目标飞机的粗检测框作为初始轮廓；

迭代收敛单元，用于以所述初始轮廓作为图像分割模型输入、且以所述目标飞机的真实轮廓作为训练目标、并以预设的模型损失函数作为模型输出评估，对所述图像分割模型进行迭代训练，以使飞机轮廓向真实轮廓迭代收敛；

结果输出单元，用于当所述模型损失函数达到预设值时，输出所述图像分割模型的迭代训练结果，以得到所述目标飞机轮廓。

所述模型损失函数L_seg满足以下条件式：

L_seg＝L_det+L_ex+L_iter+λ_cp L_cp

式中，L_det表示目标飞机检测的损失函数，L_ex表示初始轮廓选定的损失函数，L_iter表示轮廓迭代收敛的损失函数，L_cp为收敛轮廓点分布的损失函数，λ_cp为超参数。

优选地，在本发明一些可选实施例当中，所述相似度匹配模块14还用于根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与飞机轮廓数据库中各个视角下的预设飞机轮廓模板进行相似度匹配。。

优选地，在本发明一些可选实施例当中，所述相似度匹配模块14包括：

第一计算单元，用于根据所述目标飞机轮廓的每个轮廓点，计算出所述目标飞机轮廓的每个轮廓点到预选的中心轮廓点的内部距离图；

第二计算单元，用于根据所述内部距离图计算出以所述中心轮廓点为中心的形状上下文统计直方图，合并所有轮廓点的形状上下文统计直方图，得到所述目标飞机轮廓的形状上下文统计直方图；

第三计算单元，用于计算所述目标飞机轮廓和所述预设飞机轮廓模板的形状上下文统计直方图之间的直方图距离，得到距离矩阵；

匹配点确定单元，用于根据所述距离矩阵使用动态规划匹配算法，找到所述目标飞机轮廓和所述预设飞机轮廓模板当中相匹配的轮廓点，得到轮廓点匹配图；

第四计算单元，用于根据所述轮廓点匹配图，计算出所述目标飞机轮廓的各轮廓点与所述预设飞机轮廓模板上对应匹配的轮廓点的直方图距离之和，得到述目标飞机轮廓和所述预设飞机轮廓模板的相似度距离；

匹配组合单元，用于将所述目标飞机轮廓与所有所述预设飞机轮廓模板的相似度距离组合，得到所述目标飞机轮廓的模板匹配代价矩阵。

优选地，在本发明一些可选实施例当中，所述型号识别模块还包括：

评价单元，用于采用预设的匹配评价算法对目标飞机轮廓的模板匹配代价矩阵进行评价，以从各个预设飞机轮廓模板当中找到轮廓匹配代价最小的最优匹配轮廓模板；

型号识别单元，用于获取与所述最优匹配轮廓模板对应关联的预设的飞机型号，得到所述目标飞机的飞机型号。

所述匹配评价算法满足以下条件式：

式中，R表示最优匹配轮廓模板，C_Matching表示模板匹配代价矩阵，N_Matching表示匹配成功的轮廓点数量。

上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。

综上，本实施例当中的飞机型号识别装置，通过利用预先训练的图像分割模型对可见光图像当中的目标飞机进行粗检测、提取出目标飞机轮廓，并采用特定描述方式对目标飞机轮廓进行描述，最后将描述好的目标飞机轮廓与预设的飞机轮廓模板进行相似度匹配，以识别出目标飞机的型号，从而提出了一种能够基于多视角下可见光图像来有效、精准识别出飞机型号的方法。

实施例五

请参阅图5，本发明实施例五提出一种飞机型号识别设备，包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述程序30时实现如上述的飞机型号识别方法。

其中，处理器10在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。

其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是飞机型号识别设备的内部存储单元，例如该飞机型号识别设备的硬盘。存储器20在另一些实施例中也可以是飞机型号识别设备的外部存储装置，例如飞机型号识别设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。优选地，存储器20还可以既包括飞机型号识别设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于飞机型号识别设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

需要指出的是，图5示出的结构并不构成对飞机型号识别设备的限定，在其它实施例当中，该飞机型号识别设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

综上，本实施例当中的飞机型号识别设备，通过利用预先训练的图像分割模型对可见光图像当中的目标飞机进行粗检测、提取出目标飞机轮廓，并采用特定描述方式对目标飞机轮廓进行描述，最后将描述好的目标飞机轮廓与预设的飞机轮廓模板进行相似度匹配，以识别出目标飞机的型号，从而提出了一种能够基于多视角下可见光图像来有效、精准识别出飞机型号的方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的飞机型号识别方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种飞机型号识别方法，其特征在于，所述方法包括：

获取目标飞机任意视角下的可见光图像；

利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓，所述目标飞机轮廓以坐标点集形式表示；

使用内部距离形状上下文描述所述目标飞机轮廓的每个轮廓点特征；

根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，所述预设飞机轮廓模板和所述目标飞机轮廓采用相同的特征描述子进行特征描述，且每一所述预设飞机轮廓模板均关联有预设的飞机型号；

根据相似度匹配结果，识别出所述目标飞机的型号。

2.如权利要求1所述的飞机型号识别方法，其特征在于，利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓的步骤包括：

利用预先训练的目标检测网络对可见光图像中的目标飞机进行粗检测，并把对目标飞机的粗检测框作为初始轮廓；

以所述初始轮廓作为图像分割模型输入、且以所述目标飞机的真实轮廓作为训练目标、并以预设的模型损失函数作为模型输出评估，对所述图像分割模型进行迭代训练，以使飞机轮廓向真实轮廓迭代收敛；

当所述模型损失函数达到预设值时，输出所述图像分割模型的迭代训练结果，以得到所述目标飞机轮廓。

3.如权利要求2所述的飞机型号识别方法，其特征在于，所述模型损失函数L_seg满足以下条件式：

L_seg＝L_det+L_ex+L_iter+λ_cpL_cp

式中，L_det表示目标飞机检测的损失函数，L_ex表示初始轮廓选定的损失函数，L_iter表示轮廓迭代收敛的损失函数，L_cp为收敛轮廓点分布的损失函数，λ_cp为超参数。

4.如权利要求1所述的飞机型号识别方法，其特征在于，根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配的步骤包括：

根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与飞机轮廓数据库中各个视角下的预设飞机轮廓模板进行相似度匹配。

5.如权利要求1或4所述的飞机型号识别方法，其特征在于，将所述目标飞机轮廓和所述预设飞机轮廓模板进行相似度匹配的步骤包括：

根据所述目标飞机轮廓的每个轮廓点，计算出所述目标飞机轮廓的每个轮廓点到预选的中心轮廓点的内部距离图；

根据所述内部距离图计算出以所述中心轮廓点为中心的形状上下文统计直方图，合并所有轮廓点的形状上下文统计直方图，得到所述目标飞机轮廓的形状上下文统计直方图；

计算所述目标飞机轮廓和所述预设飞机轮廓模板的形状上下文统计直方图之间的直方图距离，得到距离矩阵；

根据所述距离矩阵使用动态规划匹配算法，找到所述目标飞机轮廓和所述预设飞机轮廓模板当中相匹配的轮廓点，得到轮廓点匹配图；

根据所述轮廓点匹配图，计算出所述目标飞机轮廓的各轮廓点与所述预设飞机轮廓模板上对应匹配的轮廓点的直方图距离之和，得到述目标飞机轮廓和所述预设飞机轮廓模板的相似度距离；

将所述目标飞机轮廓与所有所述预设飞机轮廓模板的相似度距离组合，得到所述目标飞机轮廓的模板匹配代价矩阵。

6.如权利要求5所述的飞机型号识别方法，其特征在于，根据相似度匹配结果，识别出所述目标飞机的型号的步骤包括：

采用预设的匹配评价算法对目标飞机轮廓的模板匹配代价矩阵进行评价，以从各个预设飞机轮廓模板当中找到轮廓匹配代价最小的最优匹配轮廓模板；

获取与所述最优匹配轮廓模板对应关联的预设的飞机型号，得到所述目标飞机的飞机型号。

7.如权利要求6所述的飞机型号识别方法，其特征在于，所述匹配评价算法满足以下条件式：

式中，R表示最优匹配轮廓模板，C_Matching表示模板匹配代价矩阵，N_Matching表示匹配成功的轮廓点数量。

8.一种飞机型号识别装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标飞机任意视角下的可见光图像；

轮廓提取模块，用于利用预先训练的图像分割模型对所述可见光图像当中的目标飞机进行粗检测，并提取出目标飞机轮廓，所述目标飞机轮廓以坐标点集形式表示；

轮廓描述模块，用于使用内部距离形状上下文描述所述目标飞机轮廓的每个轮廓点特征；

相似度匹配模块，用于根据所述目标飞机轮廓的每个轮廓点特征，将所述目标飞机轮廓与预设飞机轮廓模板进行相似度匹配，所述预设飞机轮廓模板和所述目标飞机轮廓采用相同的特征描述子进行特征描述，且每一所述预设飞机轮廓模板均关联有预设的飞机型号；

型号识别模块，用于根据相似度匹配结果，识别出所述目标飞机的型号。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－7任一所述的飞机型号识别方法。

10.一种飞机型号识别设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－7任一所述的飞机型号识别方法。

Images