CN107665498B - 基于典型示例挖掘的全卷积网络飞机检测方法 - Google Patents

Abstract

本发明提供了一种基于典型示例挖掘的全卷积网络飞机检测方法，方法包括以下步骤：获取遥感图像的训练样本；对训练样本进行预处理，获得扩充后的飞机标注真值框的尺度与长宽比；飞机典型示例的自动挖掘；构建典型飞机示例与飞机标注真值框的对应关系；基于飞机典型示例挖掘的全卷积网络训练；利用全卷积网络实现飞机的检测。本发明将全卷积神经网络引入到遥感图像飞机检测，根据飞机外形特征对飞机样本进行聚类，挖掘训练数据中典型飞机示例，由此训练针对不同典型飞机示例的候选目标提取网络，有效提高候选区域提取网络的性能，进而提升飞机检测的查全率，同时达到了抑制虚警的效果。

Description

基于典型示例挖掘的全卷积网络飞机检测方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于典型示 例挖掘的全卷积网络飞机检测方法。

背景技术

目前针对遥感图像的飞机检测方法中人为设计的底层特征易受到遥感图 像中复杂背景的干扰，描述能力相对不足；而针对不同场景训练多个分类器 往往会导致计算量与时间开销的成倍增长，难以满足飞机检测任务的实际应 用需求。另外传统的基于卷积神经网络的飞机检测方法，在网络的训练过程 中，用于训练的所有飞机样本都被认为具有较高的视觉相似性，被作为统一 整体来对整个网络进行训练。然而所有参与网络训练的飞机样本通常由于型 号、尺寸上的差异，导致视觉相似性相对不高，因而若不加区分地利用所有训练样本直接对网络进行训练，容易降低训练网络的性能，导致飞机检测查 全率下降。

因此，如何提供一种能够提升飞机检测查全率的基于典型示例挖掘的全 卷积网络飞机检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于典型示例挖掘的全卷积网络飞机检测 方法，本发明将全卷积神经网络引入到遥感图像飞机检测，根据飞机外形特 征对飞机样本进行聚类，挖掘训练数据中典型飞机示例，由此训练针对不同 典型飞机示例的候选目标提取网络，有效提高候选区域提取网络的性能，进 而提升飞机检测的查全率，同时达到了抑制虚警的效果。

为了达到上述目的，本发明采用如下技术方案：

一种基于典型示例挖掘的全卷积网络飞机检测方法，所述方法包括以下 步骤：

步骤一，获取遥感图像的训练样本；

步骤二，对所述训练样本进行预处理，获得扩充后的飞机标注真值框的 尺度与长宽比；

步骤三，飞机典型示例的自动挖掘；

步骤四，构建典型飞机示例与飞机标注真值框的对应关系；

步骤五，基于飞机典型示例挖掘的全卷积网络训练；

步骤六，利用全卷积网络实现飞机检测。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，所述 步骤一具体包括：

提取分块的遥感图像数据；根据标注真值，计算滑动窗口对所有飞机标 注真值框的重叠率，若重叠率大于0.5，则认为窗口中包含飞机目标，那么将 该窗口截取到的图像数据作为训练样本，并记录此时窗口数据中的飞机标注 真值框位置；反之，该滑窗中的图像数据不作为训练样本；

获取分块图像中对应飞机目标的真值框坐标。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，读取 所述训练样本，并根据所述真值框坐标计算训练样本中飞机的原始尺度 Scale_plane与原始长宽比AR_plane；

对飞机的所述原始尺度Scale_plane与所述原始长宽比AR_plane数据进行扩充，得 到扩充后的真值框尺度Scale_ext与长宽比AR_ext数据。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，所述 步骤三具体包括：

根据待挖掘的飞机典型示例，在所述扩充后的真值框尺度Scale_ext与长宽比 AR_ext所构成的特征空间上进行K均值聚类，并采用两步迭代优化方式，直到 最终各训练样本的指派不再发生变化或者达到最大迭代次数。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，所述 两步迭代优化方式具体包括：

在所述特征空间内利用欧式距离度量聚类中心与飞机标注真值框间的距 离，并将当前训练样本指派给最近邻的聚类中心；

所有训练样本都被指派给最近邻的聚类中心后，划分到以聚类中心为代 表的不同簇中后，根据每个簇中的训练样本重新优化聚类中心c_k。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，所述 步骤四具体包括：

根据所述典型飞机示例的尺度与长宽比生成示例锚点，利用所述示例锚 点表示不同飞机尺度与长宽比的检测窗口；

计算遥感图像中不同位置锚点与飞机标注真值框间的交并比；

确定飞机示例锚点与飞机标注真值框间的对应关系。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，所述 步骤五具体包括：

对全卷积网络中各层的权重参数进行初始化；

将训练数据依次输入到全卷积网络中，通过网络提取高层语义特征，并 基于语义特征计算当前输入图像中所有已选取候选目标的损失函数 L(p,t|Z,C)，最终通过随机梯度下降算法来对损失函数最小化问题进行求解从 而得到最优的全卷积网络；损失函数L(p,t|Z,C)由目标分类损失函数

与目标位置回归损失函数

两部分组成，表达式为：

其中C与Z分别表示典型飞机示例以及候选目标的尺度、长宽比特征，i 表示候选目标的索引号，p_i表示第i个候选目标为真实目标的概率，真值标签 p_i ^*表示候选目标是否为真实目标，取值为{0,1}，1表示真实目标，反之则为0； t_i表示对候选目标位置的预测值矢量，t_i ^*表示候选目标真实位置的矢量；N_cls与 N_reg分别表示待分类候选目标与回归候选目标的个数；λ为平衡因子。

优选的，在上述基于典型示例挖掘的全卷积网络飞机检测方法中，所述 步骤六具体包括：

将遥感图像进行分块处理，逐块输入至全卷积网络中，所述全卷积网络 输出包含飞机目标的最小外接矩形框并对飞机目标的置信度进行评估，然后 将不同输入块的检测结果进行汇总，得到整幅遥感图像的最终检测结果。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基 于典型示例挖掘的全卷积网络飞机检测方法，先提取分块的遥感图像数据， 通过计算滑动窗口对所有飞机标注真值框的重叠率获得训练样本；根据训练 样本计算飞机标注真值框的尺度与长宽比并进行扩充；基于给定的飞机典型 示例数目，对扩充后的真值框尺度与长宽比进行聚类，从而得到飞机典型示 例的尺度与长宽比；通过典型示例的尺度与长宽比生成各类锚点，并构建各 个锚点与飞机真值的对应关系，最终建立了基于典型示例挖掘的全卷积网络， 实现了同一遥感图像中，对不同型号、尺寸的飞机目标的检测，有效提升了 训练网络的性能以及飞机检测的查全率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明基于典型示例挖掘的全卷积网络飞机检测方 法的飞机检测流程示意图；

图2附图为本发明基于典型示例挖掘的全卷积网络飞机检测方 法的检测结果示意图一；

图3附图为本发明基于典型示例挖掘的全卷积网络飞机检测方 法的检测结果示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于典型示例挖掘的全卷积网络飞机检测方法，方法 包括以下步骤：获取遥感图像的训练样本；对训练样本进行预处理，获得扩 充后的飞机标注真值框的尺度与长宽比；飞机典型示例的自动挖掘；构建典 型飞机示例与飞机标注真值框的对应关系；基于飞机典型示例挖掘的全卷积 网络训练；利用全卷积网络实现飞机的检测。

请参阅图1，图1为本发明基于典型示例挖掘的全卷积网络飞机检测方法 的飞机检测流程示意图。在此基础上，图2给出了本发明基于典型示例挖掘 的全卷积网络飞机检测方法的详细流程示意图。本发明基于典型示例挖掘的 全卷积网络飞机检测方法具体包括以下步骤：

步骤S101：将遥感图像与对应飞机标注真值作为所述遥感图像的训练样 本；

具体执行方法：遥感图像具有大视场、宽幅面等成像特点，因此其所需 的存储容量也相对较大，但由于计算机内部存储设备存在着一定的容量限制， 难以直接将整幅遥感图像作为训练数据用于模型求解。因此本发明对全幅面 遥感图像数据进行了分块处理，从中提取包含飞机标注真值的有效部分作为 训练数据，主要有以下两个步骤：

a.提取分块的遥感图像数据。在标注的全幅面遥感图像中以256个像素为 步长，设定滑动窗口大小为512×512像素，依次从左往右、从上往下滑动提 取固定窗口大小的图像数据，垂直、水平方向滑动次数分别记为row与col； 根据标注真值，计算滑动窗口对所有飞机标注真值框的重叠率，重叠率计算 公式如下：

其中，Win_sample表示滑动窗口，BndBox_gt为飞机标注的真值框，Area(*)表示 计算面积操作符；Overlap(Win_sample,BndBox_gt)表示Win_sample与BndBox_gt的重叠率，若 重叠率大于0.5，则认为窗口中包含飞机目标，那么将该窗口截取到的图像数 据作为训练数据，并记录此时窗口数据中的真值框位置；反之，该滑窗中的 图像数据不作为训练数据。

b.获取分块图像中对应飞机目标的真值框坐标。滑动窗口中真值框坐标与 全幅面光学遥感图像中真值框的关系表示为：

(x′_k,y′_k)＝(x_k-col×256,y_k-row×256)

其中(x_k,y_k)与(x′_k,y′_k)分别是全幅面光学遥感图像与滑动窗口中真值框的 坐标，且k∈{1,2}表示左上、右下角点。

步骤S102：读取训练样本图像及其标注真值，根据飞机标注计算真值框 的尺寸与长宽比并进行数据扩充；

具体执行方法：读取训练样本图像及其真值，并根据真值框计算训练数 据中飞机的尺度Scale_plane与长宽比AR_plane，计算方式如下：

在获取到所有标注数据中飞机的尺度与长宽比后，为了增强模型的泛化 能力，还需要对原始的飞机尺度与长宽比数据进行扩充，在扩充时保证真值 框及其衍生出的候选框之间的交并比α大于0.7，具体衍生方式如下：

0.7≤α≤1.0

其中Scale_ext与AR_ext分别表示扩充后得到的尺度与长宽比数据。通过衍生处 理可将原始长宽比与尺度数据扩充4倍，由此使训练模型能够适应更多不同 长宽比与尺度的飞机。

步骤S103：基于给定的飞机典型示例数目，对扩充得到的所有真值框尺 度与长宽比进行聚类，获取各典型示例的尺度与长宽比；

具体执行方法：给定待挖掘的飞机典型示例数目，对步骤S102得到的扩 充后的真值框在尺度与长宽比所构成的特征空间上进行K均值聚类，经处理 后各聚类中心分别对应了不同的典型飞机示例，由此根据聚类中心的取值获 取对应飞机典型示例的尺度与长宽比。K均值聚类通过优化argmin_cLoss(c；Z)来 得到最终的聚类结果。

f(c,z)＝c_k×1(k＝argmin_i||z-c_i||),

Scale＝Scale_plane∪Scale_ext,

AR＝AR_plane∪AR_ext,

其中c表示聚类中心，即获取对应飞机典型示例的尺度与长宽比，Z表示 当前用于训练的样本数据集，1(k＝argmin_i||z-c_i||)为示性函数，Scale和AR分 别表示飞机样本的标注真值的尺度和长宽比，

表示对飞机典型示例和样本数 据集的损失函数取最小值时c的取值，即在给定的样本数据集Z上，通过

使损失函数Loss(c；Z)达到最小，从而获取对应飞机典型示例的尺度与长宽比， 其中为了使损失函数Loss(c；Z)达到最小，本发明中采用两步迭代优化方式：

a.在特征空间内利用欧式距离度量聚类中心与样本点间的距离，并将当前 训练样本指派给最近邻的聚类中心。下式表示本轮迭代中Z被指派给了第k 个聚类中心。

k＝argmin_i||z-c_i||²

b.待所有样本数据都被指派给最近邻的聚类中心，划分到以聚类中心为代 表的不同簇中后，将根据每个簇中的样本数据重新优化聚类中心c_k，优化方 式如下：

本发明中K均值聚类通过多次迭代以上两步优化过程，直到最终各训练 样本的指派不再发生变化或者达到最大迭代次数，本发明中设置的最大迭代 次数为100轮。

步骤S104：根据步骤S103获得的各飞机典型示例的尺度与长宽比，生成 多类锚点表示各飞机典型示例的外形特征，并建立各个锚点与飞机标注真值 框的对应关系；

具体执行方法：通过自动挖掘得到飞机典型示例后，需要将飞机典型示 例与当前训练样本及其真值进行关联，由此利用关联数据来训练不同的飞机 示例网络。飞机典型示例与真值间关联的构建过程分为以下三个步骤：

a.根据所有飞机典型示例的尺度与长宽比生成示例锚点anchor(c)，利用锚 点表示不同尺度与长宽比的检测窗口。

b.计算遥感图像中不同位置锚点与真值框间的交并比 Overlap(BndBox_anchor,BndBox_gt)，其中x_det与y_det分别表示遥感图像中不同检测位置 的横纵坐标。

BndBox_anchor＝anchor(c)+[x_det y_det x_det y_det]

c.确定飞机示例锚点与真值框间的对应关系。当计算得到的不同位置处锚 点与真值框间的交并比大于0.7时，将当前锚点所代表的飞机典型示例与训练 样本及其真值进行关联。

步骤S105：利用与飞机典型示例相关联的训练样本及其真值，训练基于 典型示例挖掘的全卷积网络；

具体执行方法：利用在自然图像数据集上预训练得到的残差网络参数来 对全卷积网络中各层的权重参数进行初始化，然后将训练数据依次输入到全 卷积网络中，通过网络提取高层语义特征，并基于语义特征计算当前输入图 像中所有已选取候选目标的损失函数，最终通过随机梯度下降算法来对损失 函数最小化问题进行求解从而得到最优的全卷积网络。

在全卷积网络中所使用的损失函数L(p,t|Z,C)主要由目标分类损失函数

与目标位置回归损失函数

两部分组成，定义如下：

其中C与Z分别表示典型飞机示例以及候选目标的尺度、长宽比特征，i 表示候选目标的索引号，p_i表示第i个候选目标为真实目标的概率，真值标签 p_i ^*表示候选目标是否为真实目标，取值为{0,1}，1表示真实目标，反之则为0； t_i表示对候选目标位置的预测值矢量，t_i ^*表示候选目标真实位置的矢量；N_cls与 N_reg分别表示待分类候选目标与回归候选目标的个数；λ为平衡因子。

步骤S106：分块读取输入图像利用全卷积网络对遥感图像中飞机目标进 行检测；

具体执行方法：将遥感图像进行分块处理，逐块输入至全卷积网络中， 全卷积网络输出包含飞机目标的最小外接矩形框并对飞机目标的置信度进行 评估，然后将不同输入块的检测结果进行汇总，得到整幅遥感图像的最终检 测结果。

请参阅图3，图3为本发明基于典型示例挖掘的全卷积网络飞机检测方法 的检测结果示意图。

本发明根据飞机外形特征对飞机训练样本进行聚类，挖掘训练样本中典 型飞机示例，由此训练针对不同典型示例的候选目标提取网络，能够提高候 选区域提取网络的性能，进而提升飞机检测的查全率，同时抑制虚警。实验 结果如图2、图3所示，分别代表了两幅不同场景中飞机检测结果，图2、图 3中左侧为大幅面遥感图像飞机检测结果，右侧为图像中局部区域放大后的飞 机检测结果，两幅图中红色框标记出了本方法检测到飞机目标。本发明平均 检测率为91.2％，实验证明通过对飞机典型示例进行挖掘，训练基于典型示例的全卷积神经网络能够有效提升网络的检测精度，避免漏检。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述 的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下， 在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述方法包括以下步骤：

步骤一，获取遥感图像的训练样本：提取分块的遥感图像数据；根据标注真值，计算滑动窗口对所有飞机标注真值框的重叠率，若重叠率大于0.5，则认为窗口中包含飞机目标，那么将该窗口截取到的图像数据作为训练样本，并记录此时窗口数据中的飞机标注真值框位置；

步骤二，对所述训练样本进行预处理，获得扩充后的飞机标注真值框的尺度与长宽比；

步骤三，飞机典型示例的自动挖掘：对扩充后的真值框在尺度与长宽比所构成的特征空间上进行K均值聚类，经处理后各聚类中心分别对应了不同的飞机典型示例；

步骤四，构建飞机典型示例与飞机标注真值框的对应关系：根据所述飞机典型示例的尺度与长宽比生成示例锚点，确定飞机示例锚点与飞机标注真值框间的对应关系；飞机典型示例与真值间关联的构建过程分为以下三个步骤：

a.根据所有飞机典型示例的尺度与长宽比生成示例锚点，利用锚点表示不同尺度与长宽比的检测窗口；

b.计算遥感图像中不同位置锚点与真值框间的交并比；

c.确定飞机示例锚点与真值框间的对应关系；当计算得到的不同位置处锚点与真值框间的交并比大于0.7时，将当前锚点所代表的飞机典型示例与训练样本及其真值进行关联；

步骤五，基于飞机典型示例挖掘的全卷积网络训练；

步骤六，利用全卷积网络实现飞机检测。

2.根据权利要求1所述的基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述步骤一具体包括：

提取分块的遥感图像数据；根据标注真值，计算滑动窗口对所有飞机标注真值框的重叠率，若重叠率不大于0.5，该滑动窗口中的图像数据不作为训练样本；

获取分块图像中对应飞机目标的真值框坐标。

3.根据权利要求2所述的基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述步骤二具体包括：

读取所述训练样本，并根据所述真值框坐标计算训练样本中飞机的原始尺度Scale_plane与原始长宽比AR_plane；

对飞机的所述原始尺度Scale_plane与所述原始长宽比AR_plane数据进行扩充，得到扩充后的真值框尺度Scale_ext与长宽比AR_ext数据。

4.根据权利要求1所述的基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述步骤三具体包括：

根据待挖掘的飞机典型示例，在所述扩充后的真值框尺度Scale_ext与长宽比AR_ext所构成的特征空间上进行K均值聚类，并采用两步迭代优化方式，直到最终各训练样本的指派不再发生变化或者达到最大迭代次数。

5.根据权利要求4所述的基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述两步迭代优化方式具体包括：

在所述特征空间内利用欧式距离度量聚类中心与飞机标注真值框间的距离，并将当前训练样本指派给最近邻的聚类中心；

所有训练样本都被指派给最近邻的聚类中心，划分到以聚类中心为代表的不同簇中后，根据每个簇中的训练样本重新优化聚类中心c_k。

6.根据权利要求1所述的基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述步骤五具体包括：

对全卷积网络中各层的权重参数进行初始化；

将训练数据依次输入到全卷积网络中，通过网络提取高层语义特征，并基于语义特征计算当前输入图像中所有已选取候选目标的损失函数L(p,t|z,C)，最终通过随机梯度下降算法来对损失函数最小化问题进行求解从而得到最优的全卷积网络；损失函数L(p,t|z,C)由目标分类损失函数

与目标位置回归损失函数

两部分组成，表达式为：

其中C表示飞机典型示例的尺度、长宽比特征，z表示候选目标的尺度、长宽比特征，i表示候选目标的索引号，p_i表示第i个候选目标为真实目标的概率，真值标签p_i ^*表示候选目标是否为真实目标，取值为{0,1}，1表示真实目标，反之则为0；t_i表示对候选目标位置的预测值矢量，t_i ^*表示候选目标真实位置的矢量；N_cls与N_reg分别表示待分类候选目标与回归候选目标的个数；λ为平衡因子。

7.根据权利要求1所述的基于典型示例挖掘的全卷积网络飞机检测方法，其特征在于，所述步骤六具体包括：

将遥感图像进行分块处理，逐块输入至全卷积网络中，所述全卷积网络输出包含飞机目标的最小外接矩形框并对飞机目标的置信度进行评估，然后将不同输入块的检测结果进行汇总，得到整幅遥感图像的最终检测结果。

Images