CN112966555B - 一种基于深度学习和部件先验的遥感影像飞机识别方法 - Google Patents

Abstract

本发明一种基于深度学习和部件先验的遥感影像飞机识别方法，用于遥感影像细粒度飞机目标识别。本发明提出一种新颖的细粒度飞机目标提取框架，该框架包括(1)飞机目标先验库，(2)深度特征提取器以及(3)部件特征提取和型号识别。首先，将影像输入飞机部件先验库中以获取飞机部件先验；其次，将影像输入深度卷积神经网络以提取深度抽象特征。第三，基于深度卷积特征和飞机部件先验，通过对不同部件特征进行求和运算实现部件特征融合。最后，输出识别结构，以实现对细粒度飞机型号识别。为了评估细粒度飞机型号识别框架的性能，采用一个公开的民航飞机型号数据集进行模型验证，共包含10个民用飞机型号。

Description

一种基于深度学习和部件先验的遥感影像飞机识别方法

技术领域

本发明属于高分辨率遥感影像识别领域，特别涉及细粒度目标遥感深度学习识别方法。

背景技术

遥感技术的飞速发展，现在可以提供大量的高分辨率遥感影像。与低分辨率影像相比，高分辨率遥感影像包含更详细的空间信息，不仅带来了机遇，但也给遥感影像的识别带来挑战。基于高分辨率遥感影像技术的识别与分析现已运用于飞机型号识别任务中。飞机识别，旨在区分飞机类型，在民用和军用领域都至关重要，比如：飞机搜寻和救援、飞机监视、飞行计划和军事决策等应用。

飞机型号识别是一类细粒度目标识别问题。关于飞机识别的研究很多，但是在小样本情况下的飞机型号识别仍然是研究的难点。因为传统的深度学习方法是数据驱动的，在小样本情况下，模型难以拟合，导致无法学习到如何定位有效特征，使得模型识别性能大幅度下降。现有的细粒度图像识别算法的主要思路为：定位影像中的判别性区域，来提取有效特征。可以分为三大类：基于定位-分类子网络的识别算法、基于端到端编码算法、基于额外辅助数据算法。Fu提出一个多类激活图算法来实现弱监督飞机部件提取，从而进行飞机型号识别。 Xiong提出一种非局部增强特征融合算法来融合部件级特征，从而提升飞机型号识别精度。

尽管上述方法已大大提高了细粒度飞机识别的性能，但针对小样本情况下还是难以进行有效提取。因此，为了解决小样本细粒度飞机型号识别问题，提出了一种新颖的飞机识别框架来实现飞机型号识别。

发明内容

本发明的目的在于提出一种基于深度学习和部件先验的遥感影像飞机识别方法。

提出的基于深度学习和部件先验的遥感影像飞机识别方法，由三个组件组成，分别是飞机目标先验库，部件特征提取和型号识别网络。首先，将影像输入飞机部件先验库中以获取飞机部件先验；其次，将影像输入深度卷积神经网络以提取深度抽象特征。第三，基于深度卷积特征和飞机部件先验，通过对不同部件特征进行求和运算实现部件特征融合。最后，输出识别结构，以实现对细粒度飞机型号识别。为了评估细粒度飞机型号识别框架的性能，采用一个公开的民航飞机型号数据集进行模型验证，共包含10个民用飞机型号。

本发明提供一种基于深度学习和部件先验的遥感影像飞机识别方法，实现步骤如下：

步骤1，获取高分辨率遥感影像飞机型号数据集，选取固定少量样本作训练集，构建小样本库，选取固定数量样本作测试集；

步骤2，构建并训练基于飞机部件先验的飞机型号识别模型，包括以下子步骤；

步骤21，构建飞机部件训练集，利用飞机部件训练集训练语义分割模型，获取飞机部件先验；

步骤22，将步骤1中的训练集输入ResNet网络提取卷积特征，得到深度抽象特征；

步骤23，基于飞机部件先验，对深度抽象特征进行飞机部件特征选择；

步骤24，基于飞机部件特征的特征融合，将融合特征输入到一个全连接层，得到分类结果，结合分类结果和型号真实标签计算交叉熵损失函数，通过反向传播和随机梯度下降优化算法进行模型参数优化；

步骤3，利用训练收敛后的基于飞机部件先验的飞机型号识别模型，对测试集进行预测，利用输出概率获取识别结果。

进一步的，步骤1的具体实现包括如下子步骤；

步骤11，利用无人机或者高分卫星进行拍摄获取大量高空间分辨率影像；

步骤12，采集遥感影像中机场的飞机作为样本，将飞机型号与对应区域影像制作成深度学习飞机型号识别数据集；

步骤13，将深度学习飞机型号识别数据集划分成两个部分，用于拟合模型参数的小样本训练集A与用于模型精度评定的测试集B；

进一步的，步骤21中获取飞机部件先验的具体实现方式如下；

步骤211，构建飞机部件训练集，标记头部、左翼、右翼、机身、尾翼共5个部件，将构建好的训练集输入基于分层多尺度特征融合网络的语义分割模型中，得到预测结果，基于预测结果与真实标签计算损失函数，对模型参数进行优化更新；

步骤212，分层多尺度特征融合网络包含大、中、小三个尺度的网络分支：1)大尺度网络分支由9个卷积层连接，没有池化层，从而保证特征尺度不会缩小，特征分辨率始终保持较高水平；2)中尺度网络分支的特征来自于大尺度网络分支的第二个卷积层，首先对这第二个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入6个卷积层进行卷积运算，最后，通过2倍上采样得到和大尺度网络分支相同尺寸的特征；3)小尺度网络分支的特征来自于中尺度网络分支的第三个卷积层，首先对第三个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入3个卷积层进行卷积运算，最后，通过4倍上采样得到和大尺度网络分支相同尺寸的特征，最后，将来自大、中、小网络分支的三组等大的特征进行叠加，得到最终特征输出；

再将分层多尺度特征融合网络的输出特征输入到语义分割分支，得到飞机部件先验，即飞机部件掩膜。

进一步的，步骤22中，ResNet网络中引入多个残差单元，残差单元的表达式如下：

y_l＝h(x_l)+F(x_l,W_l)

其中x_l表示第l个残差单元的输入，h表示恒等变换，即输入等于输出；F是卷积函数，表示学习到的卷积特征，W₁表示模型权重，残差单元的核心是将原始的输入特征和卷积之后的特征求和，作为最终输出；

将训练集A输入到ResNet网络中，通过堆叠的7组残差单元，分别得到64维、128维、256维的特征。

进一步的，步骤23的具体实现方式如下；

首先将飞机部件先验被调整为和特征图，即从ResNet网络得到的256维卷积特征相同尺寸的大小；调整大小后，将飞机部件对应的数值整数化为0，1，2，3，4和5，分别表示飞机头部、左翼、右翼、机身、尾翼；当进行部件特征选择时，利用这组序列号对飞机5个部件区域进行索引，分别得到对应5个部件区域的卷积特征，并通过最大池化和平均池化对卷积特征进行处理得到部件特征。

进一步的，步骤24的具体实现方式如下；

经过最大池化和平均池化操作后，生成5个512维的特征向量，通过5个全连接层将这些特征映射到5个4096维的特征空间，之后，5个特征向量通过求和函数融合到4096维特征向量中；然后，4096维的特征向量被输入最后一个全连接层，映射到类别空间，得到的分类结果，通过与型号真实标签结合，用于计算交叉熵损失函数，通过反向传播和随机梯度下降优化算法进行模型参数优化。

与现有技术相比，本发明的优点和有益效果为：利用部件先验这一专家知识，指导深度学习模型定位飞机部件特征，显著提升飞机型号识别精度。

附图说明

图1是本发明实施例1的流程图。

图2是本发明实施例1中ResNet网络结构图。

图3是本发明实施例1步骤23和步骤24中飞机部件特征选择和融合流程图。

图4是本发明实施例1中的飞机识别结果图。

具体实施方式

下面通过实施例，进一步阐明本发明的突出特点和显著进步，仅在于说明本发明而决不限制本发明。

实施例1

本发明实施例提供一种基于深度学习和部件先验的遥感影像飞机识别方法，包括如下步骤：

步骤1，获取高分辨率遥感影像飞机型号数据集，选取固定少量样本作训练集，构建小样本库，选取固定数量样本作测试集；

步骤11，利用无人机或者高分卫星进行拍摄获取大量高空间分辨率影像；

步骤12，采集遥感影像中国内外机场的飞机作为样本，将飞机型号与对应区域影像制作成深度学习飞机型号识别数据集。

步骤13，将深度学习飞机型号识别数据集划分成两个部分，用于拟合模型参数的小样本训练集A与用于模型精度评定的测试集B；

使用公开的高空间分辨率遥感影像民航飞机型号数据集，共10个类别型号，训练数据集包含300幅影像，测试集为4448幅影像，每幅影像内仅包含一个飞机目标，该数据集包含来自国内外多个民用机场的飞机。选取数据集中的训练集和测试集A与B，用于本实施的样例数据。

步骤2，构建并训练基于飞机部件先验的飞机型号识别模型，包括以下子步骤；

步骤21，构建飞机部件训练集，利用飞机部件训练集训练语义分割模型，获取飞机部件先验；

步骤22，将步骤1中的训练集输入ResNet网络提取卷积特征，得到深度抽象特征；

步骤23，基于飞机部件先验，对深度抽象特征进行飞机部件特征选择；

步骤24，基于飞机部件特征的特征融合，将融合特征输入到一个全连接层，得到分类结果，结合分类结果和型号真实标签计算交叉熵损失函数，通过反向传播和随机梯度下降优化算法进行模型参数优化；

步骤21的具体实现方式如下；

步骤211，构建飞机部件训练集，标记头部、左翼、右翼、机身、尾翼共5个部件。将构建好的训练集输入语义分割模型，得到预测结果。基于预测结果与真实标签计算损失函数，对模型参数进行优化更新。

步骤212，采用基于分层多尺度特征融合网络的语义分割模型，对飞机的头部、左翼、右翼、机身、尾翼进行语义级分割。为了提取到边缘更加精细的飞机部件以提升部件先验精度，自主构建分层多尺度特征融合网络，结合语义分割分支进行语义分割。模型的主要特点是在整个过程中特征图始终保持高分辨率，得到训练完成的分层多尺度特征融合网络语义分割模型后，将待识别的飞机影像输入模型，得到测试结果，即为飞机部件先验。

如图1所示，分层多尺度特征融合网络包含大、中、小三个尺度的网络分支：1)大尺度网络分支仅仅由9个卷积层连接，没有池化层，从而保证特征尺度不会缩小，特征分辨率始终保持较高水平；2)中尺度网络分支的特征来自于大尺度网络分支的第二个卷积层，首先对这第二个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入6个卷积层进行卷积运算，最后，通过2倍上采样得到和大尺度网络分支相同尺寸的特征；3)小尺度网络分支的特征来自于中尺度网络分支的第三个卷积层，首先对这第三个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入3个卷积层进行卷积运算，最后，通过4倍上采样得到和大尺度网络分支相同尺寸的特征。最后，将来自大、中、小网络分支的三组等大的特征进行叠加，得到最终特征输出。

再将分层多尺度特征融合网络的输出特征输入到语义分割分支，得到飞机部件先验，即飞机部件掩膜。

步骤22的具体实现方式如下；

输入训练集A，采用ResNet网络作为基础CNN特征提取器，将训练集A中的影像输入到ResNet网络中，通过后续模型训练过程可以得到深度抽象特征。ResNet相比传统VGG模块，改变了网络结构，引入多个残差模块，残差单元表达式如下：

y_l＝h(x_l)+F(x_l,W_l)

其中x_l表示第l个残差单元的输入。h表示恒等变换，即输入等于输出。F是卷积函数，表示学习到的卷积特征，W₁表示模型权重。残差单元的核心是将原始的输入特征和卷积之后的特征求和，作为最终输出。

如图2所示，ResNet通过堆叠多个这样的残差模块，在加深网络层数的同时，有效保持浅层网络特征。残差模块的堆叠就类似于常规卷积层的连接，通过7组残差模块，分别得到64维、128维、256维的特征。之所以有效是因为残差学习相比原始特征直接学习更容易。当残差(F运算的输出)为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。这有点类似与电路中的“短路”，所以是一种短路连接(shortcut connection)。

步骤23的具体实现方式如下；

具体流程如图3所示，飞机部件先验首先被调整为和特征图(从ResNet网络得到的256 维卷积特征)相同尺寸的大小。调整大小后，将飞机部件对应的数值整数化为0，1，2，3，4和5，分别表示飞机头部、左翼、右翼、机身、尾翼。当进行部件特征选择时，利用这组序列号对飞机5个部件区域进行索引，分别得到对应5个部件区域的卷积特征，并通过最大池化和平均池化得到部件特征。

步骤24的具体实现方式如下；

上述最大池化和平均池化操作后，生成5个512维的特征向量。通过5个全连接层将这些特征映射到5个4096维的特征空间。之后，5个特征向量通过求和函数融合到4096维特征向量中。然后，4096维的特征向量被输入最后一个全连接层。得到的分类结果和型号真实标签结合，用于计算交叉熵损失函数，通过反向传播和随机梯度下降优化算法进行模型参数优化。

步骤3，利用训练收敛后的基于飞机部件先验的飞机型号识别模型，对测试集B进行预测，利用输出概率获取识别结果，如图4所示。本次实验选用民航10种型号的飞机数据集，包括：波音737、波音74、波音777、波音787、空客220、空客221、空客330、空客350、 ARJ21和其他。在实验结果中，每行表示不同对比方法的实验结果，每列表示不同型号的飞机影像，小方框表示识别错误。通过对比实验结果可以看出，本方法在各类飞机型号上均可得到正确的识别结果，而其他对比方法在某些型号上存在识别错误。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于深度学习和部件先验的遥感影像飞机识别方法，其特征在于，包括以下步骤：

步骤1，获取高分辨率遥感影像飞机型号数据集，选取固定少量样本作训练集，构建小样本库，选取固定数量样本作测试集；

步骤2，构建并训练基于飞机部件先验的飞机型号识别模型，包括以下子步骤；

步骤21，构建飞机部件训练集，利用飞机部件训练集训练语义分割模型，获取飞机部件先验；

步骤21中获取飞机部件先验的具体实现方式如下；

步骤211，构建飞机部件训练集，标记头部、左翼、右翼、机身、尾翼共5个部件，将构建好的训练集输入基于分层多尺度特征融合网络的语义分割模型中，得到预测结果，基于预测结果与真实标签计算损失函数，对模型参数进行优化更新；

步骤212，分层多尺度特征融合网络包含大、中、小三个尺度的网络分支：1)大尺度网络分支由9个卷积层连接，没有池化层，从而保证特征尺度不会缩小，特征分辨率始终保持较高水平；2)中尺度网络分支的特征来自于大尺度网络分支的第二个卷积层，首先对这第二个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入6个卷积层进行卷积运算，最后，通过2倍上采样得到和大尺度网络分支相同尺寸的特征；3)小尺度网络分支的特征来自于中尺度网络分支的第三个卷积层，首先对第三个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入3个卷积层进行卷积运算，通过4倍上采样得到和大尺度网络分支相同尺寸的特征，最后，将来自大、中、小网络分支的三组等大的特征进行叠加，得到最终特征输出；

再将分层多尺度特征融合网络的输出特征输入到语义分割分支，得到飞机部件先验，即飞机部件掩膜；

步骤22，将步骤1中的训练集输入ResNet网络提取卷积特征，得到深度抽象特征；

步骤22中，ResNet网络中引入多个残差单元，残差单元的表达式如下：

y_l＝h(x_l)+F(x_l,W_l)

其中x_l表示第l个残差单元的输入，h表示恒等变换，即输入等于输出；F是卷积函数，表示学习到的卷积特征，W_l表示模型权重，残差单元的核心是将原始的输入特征和卷积之后的特征求和，作为最终输出；

将训练集A输入到ResNet网络中，通过堆叠的7组残差单元，分别得到64维、128维、256维的特征；

步骤23，基于飞机部件先验，对深度抽象特征进行飞机部件特征选择；

步骤24，基于飞机部件特征的特征融合，将融合特征输入到一个全连接层，得到分类结果，结合分类结果和型号真实标签计算交叉熵损失函数，通过反向传播和随机梯度下降优化算法进行模型参数优化；

步骤3，利用训练收敛后的基于飞机部件先验的飞机型号识别模型，对测试集进行预测，利用输出概率获取识别结果。

2.根据权利要求1所述的一种基于深度学习和部件先验的遥感影像飞机识别方法，其特征在于：步骤1的具体实现包括如下子步骤；

步骤11，利用无人机或者高分卫星进行拍摄获取大量高空间分辨率影像；

步骤12，采集遥感影像中机场的飞机作为样本，将飞机型号与对应区域影像制作成深度学习飞机型号识别数据集；

步骤13，将深度学习飞机型号识别数据集划分成两个部分，用于拟合模型参数的小样本训练集A与用于模型精度评定的测试集B。

3.根据权利要求1所述的一种基于深度学习和部件先验的遥感影像飞机识别方法，其特征在于：步骤23的具体实现方式如下；

首先将飞机部件先验被调整为和特征图相同尺寸的大小，即从ResNet网络得到的256维卷积特征相同尺寸的大小；调整大小后，将飞机部件对应的数值整数化为0，1，2，3，4和5，分别表示飞机头部、左翼、右翼、机身、尾翼；当进行部件特征选择时，利用这组序列号对飞机5个部件区域进行索引，分别得到对应5个部件区域的卷积特征，并通过最大池化和平均池化对卷积特征进行处理得到部件特征。

4.根据权利要求3所述的一种基于深度学习和部件先验的遥感影像飞机识别方法，其特征在于：步骤24的具体实现方式如下；

经过最大池化和平均池化操作后，生成5个512维的特征向量，通过5个全连接层将这些特征映射到5个4096维的特征空间，之后，5个特征向量通过求和函数融合到4096维特征向量中；然后，4096维的特征向量被输入最后一个全连接层，映射到类别空间，得到的分类结果，通过与型号真实标签结合，用于计算交叉熵损失函数，通过反向传播和随机梯度下降优化算法进行模型参数优化。

Images