CN106096655A - 一种基于卷积神经网络的光学遥感图像飞机检测方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的光学遥感图像飞机检测方法，包括以下步骤：S1、训练样本的获取；S2、图像预处理；S3、网络模型的构建；S4、模型的训练；S5、检测结果的优化。本发明将深度学习引入飞机检测的应用当中，构建基于卷积神经网络的飞机检测结构模型，借助优化图像预处理、训练样本获取和改进训练结构等方式，解决了飞机朝向多样性的问题，提高了检测算法的性能，使得飞机检测算法能够有效应对复杂的地物因素，抗干扰能力强，鲁棒性好。

Description

一种基于卷积神经网络的光学遥感图像飞机检测方法

技术领域

本发明涉及光学遥感图像飞机检测领域，具体的说是一种基于卷积神经网络的光学遥感图像飞机检测方法。

背景技术

由于遥感图像分辨率的增强，人们能够从中获取的信息大幅增加，基于遥感图像的目标检测和识别研究在许多领域都得到广泛的应用。尤其是遥感图像飞机检测对军事和民用都有着重大意义，利用遥感卫星获取的高清机场影像，能够分析飞机部署情况，为作战计划的调整及航班的调度提供了依据。

但是多数算法需要人工提取样本特征，特征的选择和提取主观性较强，没有相对应的实验对比验证，并且飞机检测的准确率和鲁棒性不够高，没有一种算法能够快速而准确地检测出各种类型图像中的飞机。而基于卷积神经网络的飞机检测算法善于刻画问题内部的结构，利用更清晰简明的方式表达复杂的特征，故而能够大大提高目标检测性能。

发明内容

本发明的目的在于提供一种基于卷积神经网络的光学遥感图像飞机检测方法，其能够有效提升检测准确率，增强检测算法的泛化能力。

为实现上述目的，本发明采用以下技术方案：

一种基于卷积神经网络的光学遥感图像飞机检测方法，包括以下步骤：

S1、训练样本的获取，得到用于训练的正负样本数据；

S2、图像预处理，得到训练模型的输入数据和待检测的遥感图像；

S3、网络模型的构建，根据输入数据的特征及不同层级的功能，构建一个适用于飞机检测的卷积神经网络结构模型；

S4、模型的训练，初始化结构参数，利用每个层级的误差函数不断调整网络结构；

S5、检测结果的优化，借助非极大值抑制算法对飞机检测结果进行优化。

进一步地，所述步骤S1包括以下分步骤：

S11、对每个飞机图像块进行八个方向旋转，以一定像素规格截取旋转后的飞机图像作为正样本；

S12、将图像中的飞机区域抹去，然后对剩余图像执行SLIC超像素分割操作,利用超像素分割算法得到超像素中心点，根据中心点得到原始负样本，接着借助k-means算法聚类获取最终负样本。

更进一步地，步骤S1中正负样本及分割操作中超像素块的规格均基于遥感图像的地面分辨率进行设定。

进一步地，所述步骤S2包括以下分步骤：

S21、对于S1中得到的正负样本进行像素归一化操作；

S22、利用超像素分割算法对待检测图像进行预处理。

更进一步地，所述超像素规格参数同负样本获取步骤中的设定一致。

进一步地，所述步骤S3包括以下分步骤：

S31、利用特定的卷积核与每一层的输入数据卷积得到下一层的特征图；

S32、借助特征映射层合并多个相似的特征，使得特征具备平移、缩放不变性。

进一步地，所述步骤S4包括以下分步骤：

S41、初始化卷积神经网络的结构参数；

S42、借助BP算法对各层级的参数进行调整，直到达到预设条件。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明将深度学习算法应用于基于光学遥感图像的飞机检测，通过改进网络结构，构建适用于飞机检测的网络模型，提升了算法的检测准确率及鲁棒性。基于深度学习的飞机检测算法能够自动学习输入数据的特征，研究人员无需纠结于各种特征的选取。

2、借助超像素分割的样本获取和图像预处理方法，避免等步长的滑窗检测，提升算法的检测效率。将训练正样本进行多方向旋转扩展，解决飞机朝向多样性的问题。对初始负样本进行k-means聚类，既去除了输入数据的冗余信息，又使得训练集中各类别数据分布均匀，为后续训练出优秀的检测模型提供了坚实的基础。

附图说明

图1为本发明一种基于卷积神经网络的光学遥感图像飞机检测方法的工作流程图。

图2为本发明所获取到的正负样本示意图。

图3为本发明超像素分割后的遥感图像示意图。

图4为本发明所构建的卷积神经网络结构模型示意图。

图5为本发明对待检测图像进行检测的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

在对本实施例进行详细描述之前，需要指出的是，本实施例所提供的基于卷积神经网络的光学遥感图像飞机检测方法，能够快速准确地检测出光学遥感图像中的飞机，同时又能够保证较高的检测准确率和对不同地物背景的鲁棒性。

在本实施例中，均假定遥感图像的地面分辨率为0.45米。对于其他地面分辨率的遥感图像，正、负样本块和超像素块包含的像素数目做相应调整，使得正、负样本块和超像素块对应的实际地面区域大小保持不变。

请参阅图1，本发明提供了一种基于卷积神经网络的光学遥感图像飞机检测方法，包括以下步骤：

S1、训练样本的获取，得到用于训练的正负样本数据。

训练样本包括正样本和负样本。人工选取每一架飞机的中心点，然后基于中心点截取160×160像素大小的图像块，用于产生正样本；同时借助超像素分割和k-means聚类方法获取负样本(参考图2所示)。该步骤具体通过以下步骤实现：

S11、对每个飞机图像块进行八个方向旋转，截取旋转后图像块中间的100×100像素大小的图像块，作为正样本。每个飞机图像块可以得到八个正样本；

S12、将图像中的飞机区域抹去，然后对剩余图像执行SLIC超像素分割操作，超像素块大小为30×30像素，规则度为500。利用超像素分割算法得到超像素中心点，以每个超像素块的中心点为基准截取出100×100像素大小的图像块作为原始负样本，接着借助k-means算法将原始负样本聚成10000个类别，每个类别选取10个图像块组成最终负样本集。

S2、图像预处理，得到训练模型的输入数据和待检测的遥感图像。

对正负样本图像进行像素归一化操作，根据以下公式进行加权平均可以获取较为合理的灰度图像：

gray＝r*w_r+g*w_g+b*w_b

其中加权系数w_r＝0.299，w_g＝0.588，w_b＝0.114。利用上式，将三通道的正负样本图像进行灰度化操作。

该步骤具体通过以下步骤实现：

S21、对于S1中得到的正负样本进行像素归一化操作；

S22、利用SLIC超像素分割方法对待检测图像进行分割(参考图3所示)，此处的超像素块规格为30×30像素，规则度也取500，最终得到每个超像素块的中心点。

S3、网络模型的构建，根据输入数据的特征及不同层级的功能，构建一个适用于飞机检测的卷积神经网络结构模型。

请参阅图4，卷积神经网络的结构模型由七个层级组成，每一层都囊括需要训练的权值参数。特征提取层和特征映射层交替出现，将输入特征在更高层次进行表达，使各个特征之间更容易区分。该步骤具体通过以下步骤实现：

S31、利用11×11大小的卷积核与每一层的输入数据卷积得到下一层的特征图。每个特征图并不是全连接于上一层的每个特征图，而是选择其相邻的三个特征组合，这样抽取的特征便是互不重复的，同时减少了网络结构的复杂程度；

S32、特征映射层能够合并多个相似的特征，使得特征具备平移、缩放不变性。通过均值池化操作，即将上一层的2×2局部邻域取均值，作为下一层的特征图，实现对上一层特征的亚采样，然后加上偏置参数，输入sigmoid函数进行处理，不断训练网络结构，局部感受野的大小设置为4。

S4、模型的训练，初始化结构参数，利用每个层级的误差函数不断调整网络结构。该步骤具体通过以下步骤实现：

S41、初始化卷积神经网络的结构参数；

S42、借助BP算法对各层级的参数进行调整，直到达到预设条件。

在卷积神经网络的训练阶段，仅仅是在输出层给定了带标签的数据，在网络结构不断重复反向调整的过程中，需要一个准则来衡量当前时刻的误差，那么通过计算softmax分类器中的损失函数，利用损失量的变化去控制训练过程，使其在恰当的时刻停止训练，以达到最优的效果，本实施例中当连续两次训练的损失量变化小于5％，即认为是恰当的时刻。

优选地，所述损失函数的计算公式为：

$E=\frac{1}{2}\underset{n=1}{\overset{C}{\Σ}}{(t_k^n-y_k^n)}^2$

其中，C表示最终的类别数，为第n个输入样本的第k维输出预测值，表示对应的实际输出值。

为了计算各个隐藏层中的误差，我们可以通过BP算法的反向调整来间接计算得到。那么我们先求出输出层的误差E对偏置的偏导数：

$\frac{\∂E}{\∂b_j^{\left(l\right)}}=\frac{\∂E}{\∂u}\frac{\∂u}{\∂b_j^{\left(l\right)}}=\mathrm{\δ}$

其中，为误差对当前层的单个神经元u的偏导数，在我们的网络结构中所以能直接根据下式求出各层级误差：

${\mathrm{\δ}}_j^{\left(l\right)}=f^{,}\left(u^{\left(l\right)}\right)\·{\left(W_{ij}^{(l+1)}\right)}^T{\mathrm{\δ}}_j^{(l+1)}$

式中，为第l+1层的权值系数，得到各层级的误差敏感因子后，根据误差E、权值系数和误差敏感因子的对应关系，可以求出更新后的系数，如下式所示：

${\mathrm{\ΔW}}_{ij}^{\left(l\right)}=-\mathrm{\η}\frac{\∂E}{\∂W_{ij}^{\left(l\right)}}=-{\mathrm{\ηz}}_j^{(l-1)}{\left({\mathrm{\δ}}_j^{\left(l\right)}\right)}^T$

其中，为更新后的权值系数，η为学习速率，此处设定为0.8，为l-1层的输入。

S5、检测结果的优化，借助非极大值抑制算法对飞机检测结果进行优化。

请参阅图5，当对待检测图像进行飞机检测时，利用方框将检测到的飞机标记出来，但由于有些超像素块的中心点较为相近，导致飞机可能被标记多次，为保留最准确的标记，需要去掉多余的方框。为了解决这一问题，常用的方法为基于贪婪的非极大值抑制算法，该方法的主要操作步骤如下：

(1)检测结果中的每个窗口都有相应的正样本得分，按照这个得分从大到小进行排序；

(2)选定序列中的第一个窗口，将其作为当前的操作的抑制窗口；

(3)设定一个抑制阈值，本实施例优选80％，计算该窗口与其他窗口的重合面积，去除与之重合面积大于预设阈值的窗口；

(4)选取序列中的下一个窗口作为当前操作抑制窗口，重复步骤(3)直到所有的多余窗口被去除。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，包括以下步骤：

S1、训练样本的获取，得到用于训练的正负样本数据；

S2、图像预处理，得到训练模型的输入数据和待检测的遥感图像；

S3、网络模型的构建，根据输入数据的特征及不同层级的功能，构建一个适用于飞机检测的卷积神经网络结构模型；

S4、模型的训练，初始化结构参数，利用每个层级的误差函数不断调整网络结构；

S5、检测结果的优化，借助非极大值抑制算法对飞机检测结果进行优化。

2.如权利要求1所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，所述的训练样本的获取方法通过以下实现：利用多方向旋转扩展飞机样本和超像素分割的方法获取正负样本。

3.如权利要求2所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，所述步骤S1包括以下分步骤：

S11、对每个飞机图像块进行八个方向旋转，以一定像素规格截取旋转后的飞机图像作为正样本；

S12、将图像中的飞机区域抹去，然后对剩余图像执行SLIC超像素分割操作,利用超像素分割算法得到超像素中心点，根据中心点得到原始负样本，接着借助k-means算法聚类获取最终负样本。

4.如权利要求3所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，步骤S1中正负样本及分割操作中超像素块的规格均基于遥感图像的地面分辨率进行设定。

5.如权利要求2所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，所述步骤S2包括以下分步骤：

S21、对于S1中得到的正负样本进行像素归一化操作；

S22、利用超像素分割算法对待检测图像进行预处理。

6.如权利要求5所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，步骤S22所述超像素分割算法中超像素块的规格基于遥感图像的地面分辨率进行设定。

7.如权利要求1-6任一项所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于，所述步骤S3包括以下分步骤：

S31、利用特定的卷积核与每一层的输入数据卷积得到下一层的特征图；

S32、借助特征映射层合并多个相似的特征，使得特征具备平移、缩放不变性。

8.如权利要求2所述的一种基于卷积神经网络的光学遥感图像飞机检测方法，其特征在于：所述步骤S4包括以下分步骤：

S41、初始化卷积神经网络的结构参数；

S42、借助BP算法对各层级的参数进行调整，直到达到预设条件。