CN107609525B

CN107609525B - 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

Info

Publication number: CN107609525B
Application number: CN201710852216.4A
Authority: CN
Inventors: 王生生; 王萌
Original assignee: Jilin University
Current assignee: Jilin University
Priority date: 2017-09-19
Filing date: 2017-09-19
Publication date: 2020-05-22
Anticipated expiration: 2037-09-19
Also published as: CN107609525A

Abstract

本发明公开一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，该方法包括以下步骤：步骤一、对目标检测训练数据集进行预处理；步骤二、对初始网络进行预训练，获得稠密网络；步骤三、对步骤二得到的稠密网络，采用基于网络剪枝技术的稠密‑稀疏训练方式，获得训练后稀疏网络，对训练后稀疏网络采用稠密训练方式进行训练，获得精确目标分类网络；步骤四、对步骤三得到的训练后稀疏网络进行处理，并采用稀疏‑稀疏的训练方式，获得快速区域提取网络；步骤五、从目标检测测试数据集生成多尺度图像金字塔，再先后使用快速区域提取网络和精确目标分类网络进行两阶段预测，获得目标的位置和类别标签。

Description

基于剪枝策略构建卷积神经网络的遥感图像目标检测方法

技术领域

本发明涉及自动构建卷积神经网络及遥感图像目标检测。

背景技术

光学遥感传感器空间分辨率在过去十年中有了很大的提高：GeoEye、WorldView和Pleiades系列均具有高空间分辨率；Skysat系列于2013年11月推出，可从太空采集1米地面采样距离(GSD，Ground Sample Distance)的影像。传感器技术的进步为诸如目标检测等图像解译工作提供了机遇与挑战，大量高分辨率图像为深度学习应用于遥感图像目标检测提供了可能，但大规模的数据却导致检测的计算量过高。

依赖于区域提取(Region Proposal)技术的进步以及神经网络的分层提取特征能力的发展，近来大多数基于深度学习的遥感图像目标检测方法都取得了不错的成绩。当前目标检测的解决模式是:首先用区域提取技术从原图中提取候选区域块，然后利用分类器将候选区域块分类。在候选区域块分类阶段使用深度特征作为分类器的输入，一般使用卷积神经网络CNN(Convolutional Neural Network)提取深度特征。区域提取技术大体分为两类，一类是分组方法(Grouping Methods)，另一类是窗口打分方法(Windows ScoringMethods)。分组方法首先尝试生成多个图像分割块(可重叠)，这些块可能对应于图像中的目标。其次，根据超像素估计、外观线索、边界估计等各种信息对分割后的块进行合并。窗口打分方法则是根据包含感兴趣对象的可能性来对每个候选窗口进行评分，与分组方法相比，这种方法通常只返回边界框，并且速度更快。

当前遥感图像目标检测方法具有一定的局限性：(1)目前在遥感领域使用的区域提取技术有Edge Boxes(窗口打分方法)、Selective Search(分组方法)等使用手工设计(hand-craft)特征，因此不能有效利用数据集自动学习深度特征，导致提取候选区域块时不精确、速度慢。(2)遥感图像具有图像大、目标占比小的特点，在网络的训练阶段，现有的解决模式直接把原图及其标注(ground truth)信息输入网络，从而导致网络学到更多背景信息、较少目标特征信息。基于剪枝策略的网络剪枝技术是神经网络压缩过程中出现的一种技术。网络剪枝技术为自动构建卷积神经网络提供了方法。如图1，网络剪枝技术由三个过程组成：(1)学习网络中重要连接。利用普通训练方式对网络进行训练，但目的是学习网络中重要连接而非只学习权重(2)剪掉网络中权重低于设定阈值的连接，将稠密网络变为稀疏网络；(3)重新训练稀疏网络。不经重新训练而使用稀疏网络将会使网络准确率降低。基于剪枝策略构建出的稀疏卷积神经网络稀疏度高，冗余参数少，比使用普通神经网络速度快，而构建出的稠密卷积神经网络则精确度更高。在遥感图像的区域提取阶段使用卷积神经网络可从数据集自动学习出图像特征，避免手工设计特征不精确的问题。在自动构建网络架构过程中，使用正负比例均衡的区域提取训练数据集和目标分类训练数据集，从而使训练出的网络可平衡学习到背景信息与目标特征信息。

综上所述，我们提出基于剪枝策略构建卷积神经网络的遥感图像目标检测方法。首先，对目标检测训练数据集进行预处理，使得训练集正负比例达到均衡，输出区域提取训练数据集和目标分类训练数据集。然后预训练初始网络，通过稠密-稀疏-稠密的训练方式获得AOCN，通过稠密-稀疏-稀疏的训练方式获得FRPN。最后，从目标检测测试数据集生成多尺度图像金字塔，再先后使用FRPN和AOCN进行两阶段预测，获得目标的位置和类别标签。

发明内容：

为解决现有的遥感图像目标检测的局限性，如目标检测运行速度非常慢，区域提取阶段使用的技术基于手工特征，网络训练时偏向于学习背景信息等。本发明提出了一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，发明内容主要包括：自动构建目标检测架构的思想，构建区域提取网络的流程，构建分类网络的流程，构建目标检测框架的流程，将网络剪枝技术用于目标检测框架的构建，将深度特征用于遥感领域区域提取阶段，预处理数据集的流程。

一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，其特征在于：至少包括以下步骤：

步骤一、对目标检测训练数据集进行预处理，使得训练集正负比例达到均衡，输出区域提取训练数据集和目标分类训练数据集。

步骤二、使用遥感图像公共数据集AID(Aerial Image Dataset)对初始网络进行预训练，获得稠密网络DN(Dense Network)。

步骤三、对步骤二得到的DN，使用目标分类训练数据集，采用基于网络剪枝技术的稠密-稀疏训练方式进行训练，获得训练后稀疏网络SN(Sparse Network)。恢复训练后SN剪掉的枝，对训练后SN采用稠密训练，使用目标分类训练数据集，获得精确目标分类网络AOCN(Accurate Region Classification Network)。

步骤四、提取步骤三中间得到的训练后SN第一到第五卷积层，为五层卷积层添加区域分类层和包围盒回归层，获得原始区域提取网络ORPN(Original Region ProposalNetwork)；对ORPN，使用区域提取训练数据集，采用基于网络剪枝技术的稀疏-稀疏的训练方式，获得快速区域提取网络FRPN(Fast Region Proposal Network)。

步骤五、从目标检测测试数据集生成多尺度图像金字塔，再先后使用FRPN和AOCN进行两阶段预测，获得目标的位置和类别标签。

有益效果：

与现有技术相比，采用本发明所述的设计方案，可以达到以下技术效果：

1、使用深度神经网对目标检测训练数据集进行预处理，使得训练集正负比例达到均衡，得到区域提取训练数据集和目标分类训练数据集。与现有技术相比，能有效避免网络学到更多背景信息、较少目标特征信息，并为训练两个任务不同的网络提供合适训练集。

2、对训练后稠密网络DN，使用稠密-稀疏-稠密训练方式，可让AOCN在学习出网络中重要连接的基础上增加网络的容量，从而使网络达到一个更好的局部最小值，比现有分类网络精确度更好。

3、对训练后稠密网络DN，使用基于网络剪枝技术的稠密-稀疏-稀疏训练方式训练出的FRPN稀疏性强、冗余参数少，可比现有区域提取方法更精确、更快速提取出区域块。

4、从目标检测测试数据集生成多尺度图像金字塔，再先后使用FRPN和AOCN进行两阶段预测，获得目标的位置和类别标签。用多尺度图像金字塔，将大尺度图像处理成热度图，从热度图中预测候选区域块，比现有技术直接将图像输入网络或者直接切分图像的方式提取速度快、漏检率低、准确率高。

附图说明：

图1.网络剪枝原理及训练方式

图2.自动构建目标检测架构流程图

图3.目标检测预测过程流程图

具体实施方式：

(1)均衡样例：在训练FRPN和AOCN的每个随机梯度下降迭代中，选取正样例：负样例＝1：3(包括所有的类)的小批量样本。

(2)生成区域提取训练数据集

利用目标检测训练数据集的类别标签和位置标签，从目标检测训练数据集中位置标签标注的区域，生成区域提取训练数据集正样例的第一部分；为使区域提取网络具有定位能力，利用目标检测训练数据集的类别标签和位置标签，保证交并比IoU(Intersectionover Union)>＝0.5，生成带有背景信息的区域提取训练数据集正样例的第二部分；利用目标检测训练数据集的类别标签和位置标签，保证IoU＝0，随机生成区域提取训练数据集负样例。正样例需要包括目标检测训练数据集的所有类别。区域提取训练数据集类别标签为二类别：目标(Object)和背景(Background)。

(3)生成目标分类训练数据集

利用目标检测训练数据集的类别标签和位置标签，从目标检测训练数据集中位置标签标注的区域，生成目标分类训练数据集正样例。利用目标检测训练数据集的类别标签和位置标签，保证IoU＝0，随机生成目标分类训练数据集负样例。正样例需要包括目标检测训练数据集的所有类别。目标分类训练数据集里类别标签为多类别和背景。

针对要解决的目标检测任务，选取初始网络，使用遥感图像数据集AID(AerialImage Dataset)对初始网络进行预训练，训练过程和普通训练相同。AID数据集是一个公开的遥感图像分类数据集。

步骤三、如图2，对步骤二得到的DN，使用基于网络剪枝技术的稠密-稀疏-稠密训练方式，获得精确目标分类网络AOCN(Accurate Region Classification Network)。

(1)稠密训练

使用目标分类训练数据集与其类别标签，采用随机梯度下降法，设置随机梯度下降法学习率，对步骤二得到的DN，进行训练。随机梯度下降法学习率需小于预训练学习率，使微调能够取得效果，并使预训练的权重不至于改变太大而失去预训练的意义。

这一步训练稠密网络的训练方式与通常神经网络训练方式相同，稠密网络通过训练学习到每个连接的权重和连接的重要性。但这一步的目标和通常训练不同：通常训练需要学习权重的值，而稠密训练不仅要学习权重的值，而且要学哪些连接比较重要。

(2)网络剪枝

使用连接的绝对值量化连接的重要性，对训练后DN按照稀疏度(Sparsity)剪掉量化值低的连接，得到稀疏网络SN(Sparse Network)。稀疏度是指被剪掉连接占全部连接的百分比，DN中所有层共享相同的“稀疏度”，因此稀疏度是整个神经网络的超参数。可以用验证(validation)法调整稀疏度，稀疏度值在25％到50％之间通常效果较好。利用稀疏度对网络中某一层进行剪枝的过程是：网络中层W有N个参数，将N个参数进行排序，选择第k大的参数作为阈值，其中：

k＝N*(1-sparsity)

使用一个二进制掩码将所有小于阈值的连接都剪切掉。

移除量化值小的连接依据是泰勒展开式，任何一个神经网络的损失函数及损失函数的泰勒展开式如下：

Loss＝f(x,W₁,W₂,W₃...) (1)

如果移除权重时想最小化损失的增长，那么需最小化公式(2)中第一项和第二项。因为移除权重是把权重设成0，所以ΔW_i实际上是W_i-0＝W_i。在损失函数局部最小时，

但

所以只有第二项对损失增长有影响，因此我们选用|W_i|作为剪枝的度量，更小的|W_i|意味损失增长更小。

(3)稀疏训练

使用目标分类训练数据集与其类别标签，利用二进制掩码，采用随机梯度下降法，设置随机梯度下降法学习率，对SN进行训练，得到训练后SN。

DN转换成SN后，去掉冗余参数，损失会出现暂时性增长。对SN经过重新训练后，可以恢复DN时的准确率。

(4)恢复连接后稠密训练

恢复训练后SN上一步剪掉了的连接，使网络由稀疏网络再次变为稠密网络DN。保持DN中其他连接权值不变而将DN中恢复的连接初始化为0，使用目标分类训练数据集与其类别标签，采用随机梯度下降法，设置随机梯度下降法学习率，对DN进行训练。因训练后SN已经到达一个较好局部最小值，所以这一步学习率设为上一步训练时学习率的1/10，而丢弃率(Dropout Ratio)和权重衰减(weight decay)等超参数保持不变。通过恢复剪掉的连接和训练，模型容量增加，使训练后DN可能到达一个比训练后SN更好的局部最小值。

训练后DN即为我们需要的精确目标分类网络AOCN(Accurate ObjectClassification Network)。

步骤四、如图2，利用步骤三中间得到的训练后SN第一到第五卷积层，为五层卷积层添加区域分类层和包围盒回归层，获得原始区域提取网络ORPN(Original RegionProposal Network)；对ORPN，使用区域提取训练数据集，采用基于网络剪枝技术的稀疏-稀疏的训练方式，获得快速区域提取网络FRPN(Fast Region Proposal Network)。

(1)步骤四中训练后SN的层conv1-层conv5均为卷积层，利用conv1-conv5，添加具有六个卷积核的第六层卷积层，得到新的网络ORPN。第六层卷积层由区域分类层和包围盒回归层组成，conv5特征图经过第六层卷积后分别输出2*1*1与4*1*1特征图。将2*1*1特征图，输入softmax分类器，得到类别及类别置信度。其中，类别有两个选择，一是目标，二是背景。4*1*1特征图中四个值，即为包围盒偏移。

(2)稀疏训练

使用区域提取训练数据集与其类别标签和位置标签，利用二进制掩码，采用随机梯度下降法，设置随机梯度下降法学习率，对ORPN进行训练，得到训练后ORPN。训练任务是训练网络学习二分类以及预测目标在图像中位置，训练目的是学习哪些连接不仅对二分类重要，而且对预测目标位置有效。

因需学习二分类及预测目标位置，相应地需采用多任务损失函数作为网络的目标函数。为此，设计损失函数公式(3)。因有两个学习任务所以使用两个损失监督层：第一，目标和背景的区别可看作一个二分类问题，可使用softmax损失层用于预测类别置信度(confidence)，

第二，每个包围盒(bounding-box)都编码了四个偏移值：x，y，w，h，其中x和y是目标左上角坐标值，w和h是目标宽、高度。将x，y，w，h，相对于图像的宽和高，进行正则化，使x，y，w，h位于0与1之间。注意所有背景图片x，y，w，h四个值都设置成0。使用smooth L1损失层作为包围盒回归，经过回归输出修正的坐标值：

因此，同时优化目标、背景二分类和包围盒回归的多任务损失函数L_FOPN为：

L_FOPN(loc,p^bic,ar,s)＝L_bic(p^bic)+αL_bbox(loc) (3)

其中，L_bic指目标、背景二分类softmax损失，L_bbox是smooth L1损失：

L_bbox(loc)＝f_L1(loc-loc_t),where

在FRPN的反向传播中，背景的包围盒无意义，但包围盒会使训练时模型过早收敛。因此，设背景样例α＝0，目标样例α＝0.5。

(3)网络剪枝

使用连接的绝对值量化连接的重要性，对训练后ORPN按照稀疏度(sparsity)剪掉量化值低的连接，得到稀疏区域提取网络SRPN(Sparse Region Proposal Network)。这一步剪枝方式和步骤三相同，但稀疏度不同，稀疏度是ORPN网络的超参数，可通过验证法调整。目标分类网络需要区分多类别，因此需更大的模型容量容纳不同类别之间的差异，表现在网络上就是使用更多的连接，但这一步的任务是训练网络学会二分类以及预测目标位置，模型容量太大会导致冗余连接多、预测速度慢。二次剪枝能保证精度的同时，剪掉冗余的连接，使网络更加稀疏，从而运算更快。

(4)稀疏训练

使用区域提取训练数据集与其类别标签和位置标签，利用二进制掩码，采用随机梯度下降法，设置随机梯度下降法学习率，对SRPN进行训练，得到训练后SRPN。这一步学习率设为上一步训练时学习率的1/10，而丢弃率(Dropout Ratio)和权重衰减(weightdecay)等超参数保持不变。

训练后SRPN即为我们需要的快速区域提取网络FRPN(Fast Region ProposalNetwork)。获得FRPN的过程可看作对步骤二得到的DN，经过稠密-稀疏-稀疏训练，最终获得FRPN。

目标检测测试数据集中图像具有不同的比例尺，在处理多尺度图像上神经网络具有劣势。为避免网络精确度降低，用高斯金字塔(Gaussian Pyramid)的方法，相对于原图比例从2^-3到2^1.2，步长为2^0.3，对目标检测测试数据集进行处理，得到多尺度图像金字塔(imagepyramid)。

两阶段目标检测预测模型由FRPN与AOCN构建而成。在预测时，FRPN接收输入的多尺度图像金字塔，将每个尺度图像都经过区域分类层和包围盒回归层的计算后，输出相对应的多尺度热度图金字塔。根据区域分类层输出的热度图金字塔中最大尺寸，保留通道中的峰值，将多尺度热度图统一调节大小，结合成一张得分热度图。根据包围盒回归层输出的热度图金字塔中最大尺寸，保留通道中的峰值，将多尺度热度图统一调节大小，结合成四张位置热度图。根据峰值在得分热度图中的坐标，从位置热度图中，获得相应坐标处的值(偏移值)。对得分热度图，利用阈值thres过滤掉低热点，采用可调半径的圆圈扫描器检测得分图上的峰值，得到峰值的位置。峰值的位置就使候选区域块的中心

圆圈扫描器半径设置为8，阈值thres设置为0.5。

根据聚集在峰值周围的热度点，可粗略预测每个候选区域块粗糙宽度与粗糙高度。为保留整个物体，将粗糙宽度与粗糙高度乘以m＝1.5，得到

因此，初步候选区域块位置就可以表示为

最后，从四张位置热度图

处，获得四个偏移值，用于微调初步候选区域块位置，获得候选区域块位置。其中，偏移值位于[0,1]。根据原图以及候选区域块位置，获得候选区域块。将候选区域块输入AOCN，获得类别及类别置信度。使用非极大值抑制NMS(Non-maximum Suppression)算法消除重复的检测，其中固定IoU为0.7。

最终，从FRPN与AOCN构成的目标检测两阶段网络，获得目标的位置和类别标签。整个预测过程如图3。

Claims

1.一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，其特征在于：至少包括以下步骤：

步骤一、对目标检测训练数据集进行预处理，使得训练集正负比例达到均衡，输出区域提取训练数据集和目标分类训练数据集；

步骤二、使用遥感图像公共数据集AID（Aerial Image Dataset）对初始网络进行预训练，获得稠密网络DN(Dense Network)；

步骤三、对步骤二得到的DN，使用目标分类训练数据集，采用基于网络剪枝技术的稠密-稀疏训练方式进行训练，获得训练后稀疏网络SN(Sparse Network)；恢复训练后SN剪掉的枝，对训练后SN采用稠密训练，使用目标分类训练数据集，获得精确目标分类网络AOCN（Accurate Region Classification Network）；

步骤四、提取步骤三中间得到的训练后SN第一到第五卷积层，为五层卷积层添加区域分类层和包围盒回归层，获得原始区域提取网络ORPN（Original Region ProposalNetwork）；对ORPN，使用区域提取训练数据集，采用基于网络剪枝技术的稀疏-稀疏的训练方式，获得快速区域提取网络FRPN(Fast Region Proposal Network)；

步骤五、从目标检测测试数据集，使用高斯金字塔方法，得到多尺度图像金字塔，再由FRPN生成多尺度热度图金字塔，结合形成一张得分热度图，通过统一调节大小，生成四张位置热度图，根据峰值热度点，粗略预测候选区域宽高，最后输入AOCN获得目标位置和类别标签。

2.根据权利要求1所述的一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，特征在于：步骤一中采用如下方法对目标检测训练数据集进行预处理：利用目标检测训练数据集的位置标签，从目标检测训练数据集中位置标签标注的区域，在正负比例均衡及交并比IoU（Intersection over Union）的指导下，生成区域提取训练数据集正样例及负样例和目标分类训练数据集正样例和负样例；上述操作能有效避免网络学到更多背景信息、较少目标特征信息，并为训练两个任务不同的网络提供合适训练集。

3.根据权利要求1所述的一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，其特征在于：所述步骤三中采用如下方法训练以得到AOCN：对步骤二得到的DN采用稠密训练，获得训练后DN；利用网络剪枝技术，对训练后DN进行剪枝，得到SN；对SN采用稀疏训练，得到训练后SN；恢复训练后SN剪掉的连接，得到DN；对DN采用稠密训练，得到AOCN；以上训练均采用目标分类训练，数据集为训练集；使用稠密-稀疏-稠密训练方式，可让目标分类网络在学习出网络中重要连接的基础上，增加网络的容量，从而使网络达到一个更好的局部最小值，比现有分类网络精确度更好。

4. 根据权利要求1所述的一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，其特征在于：步骤四中对步骤三训练后SN的前5层卷积层，添加区域分类层和包围盒回归层组成新的网络ORPN；对ORPN采用稀疏训练，得到训练后ORPN；利用网络剪枝技术，对训练后ORPN进行剪枝，得到稀疏区域提取网络SRPN（Sparse Region Proposla Network）；对SRPN采用稀疏训练，得到训练后FRPN；以上训练使用区域提取训练数据集为训练集；使用基于网络剪枝技术的稠密-稀疏-稀疏训练方式训练出的深度神经网络稀疏性强、冗余参数少，可比现有区域提取方法更精确、更快速地提取出区域块。

5.根据权利要求1所述的一种基于剪枝策略构建卷积神经网络的遥感图像目标检测方法，其特征在于：所述步骤五中从目标检测测试数据集生成多尺度图像金字塔，将图像金字塔输入步骤四得到的FRPN，获得多尺度热度图金字塔；将热度图金字塔中的热度图统一尺寸、保留峰值、合并，获得得分热度图和四张位置热度图；利用阈值过滤掉得分热度图的低热点，采用圆扫描器对得分热度图进行扫描，获得峰值位置；利用聚集在峰值周围的热度点，获得粗糙宽度与粗糙高度；从四张位置热度图对应峰值位置，获得偏移值；利用偏移值对候选区域块中心位置、粗糙宽度、粗糙高度进行微调，获得候选区域块位置；利用候选区域块位置和原图，获得候选区域块；将候选区域块输入AOCN，获得候选区域块的类别标签；用多尺度图像金字塔，将大尺度图像处理成热度图，从热度图中预测候选区域块，比现有技术直接将图像输入网络或者直接切分图像的方式提取速度快、漏检率低、准确率高。