CN109558819B

CN109558819B - 一种用于遥感图像目标检测的深度网络轻量化方法

Info

Publication number: CN109558819B
Application number: CN201811386002.3A
Authority: CN
Inventors: 赵鹏; 徐其志; 张帆; 王红钢
Original assignee: Beijing Institute of Remote Sensing Information
Current assignee: Beijing Institute of Remote Sensing Information
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2020-12-15
Anticipated expiration: 2038-11-20
Also published as: CN109558819A

Abstract

本发明公开了一种用于遥感图像目标检测的深度网络轻量化方法，其包括如下步骤：输入待检测遥感图像，根据遥感图像选择深度网络模型；将待量化深度网络中的每个三维卷积滤波器转化为一维卷积滤波器和二维卷积滤波器，得到卷积重构的深度网络模型；对输入待量化深度网络的计算数据量化为单比特参数；将上述一维和二维卷积滤波器，分别量化为浮点数与单比特参数相乘的形式；采用所述轻量化的深度网络模型进行目标检测，并输出检测结果。通过本发明的方案，使得模型压缩比率高，轻量化的模型适合在资源受限环境下应用，系数量化时，利用最小二乘原理实现了量化误差最小化，量化的深度网络模型计算复杂度低、精度高。

Description

一种用于遥感图像目标检测的深度网络轻量化方法

技术领域

本发明涉及一种参数轻量化方法，尤其涉及一种用于遥感图像目标检测的深度网络轻量化方法，属于数字媒体处理技术领域。

背景技术

随着信息技术由信息化向智能化的转变，太空目标识别的人工参与环节越来越少，例如，目标的发现、识别和确认均要求在卫星上能自动完成，以实现高时效信息支援。因此，它对星上信息智能处理的准确性和智能化水平提出了很高的要求，但是，当前星上所采用的传统方法或浅层模型都难以胜任。近年提出的以深度卷积神经网络为代表的深度网络模型，不仅在以大数据集训练为基础的图像分类、人脸识别和目标检测方面表现卓越，而且在小样本遥感图像的检测识别上也表现出巨大潜力，为提升星上信息智能处理的准确性和智能性提供了条件。

近期，美国国防高级研究计划局(DARPA)发文认为以深度网络为基础的人工智能是全球信息领域潜在的具有变革性的技术，将其作为其未来几年的发展重点。深度网络的应用除了需要丰富的训练数据集、强大的计算平台和多样的训练策略外，其令人叹服的能力主要归因于可学习的、庞大的参数集，而且研究表明通过增加网络的深度和宽度可以很容易地提升图像处理算法的准确性。但是，性能越好的深度网络模型往往需要消耗更多的存储空间、计算单元和通信带宽。然而，星载设备的能源、体积、功耗、计算资源受限，使得在星上部署应用深度网络面临着更大的困难和挑战。

在此背景下，研究一种用于遥感图像目标检测的深度网络轻量化方法，在基本不降低模型计算准确性的前提下，实现深度网络的高效压缩，即轻量化，对在资源受限平台环境下，如星载平台计算环境、车载与舰载平台计算环境等，高效使用深度网络支持智能化作战具有重

发明内容

本发明所要解决的技术问题在于提供一种用于遥感图像目标检测的深度网络轻量化方法。该方法首先将待量化深度网络模型中的三维卷积滤波器重构为一维卷积滤波器和二维卷积滤波器，得到卷积重构的深度网络模型；然后，对输入待量化深度网络的训练数据，根据最小二乘原理，将其所有浮点参数量化为多个单比特参数和1个浮点参数之积；最后，对卷积重构的深度网络模型中的每一个滤波器，根据最小二乘原理，将其所有浮点参数量化为多个单比特参数和1个浮点参数之积。与现有深度网络模型相比，本方法的量化误差小且压缩率高，可促进深度网络在资源受限平台环境下应用。

为实现上述的发明目的，本发明采用下述的技术方案：

一种用于遥感图像目标检测的深度网络轻量化方法，包括如下步骤：

(1)获取待进行目标检测的遥感图像；

(2)确定用于对遥感图像进行目标识别的深度网络模型；

(3)将深度网络模型的每个三维卷积滤波器转化为一维卷积滤波器和二维卷积滤波器，得到卷积重构的深度网络模型；

(4)对所述遥感图像的数据量化为单比特参数；

(5)将上述一维和二维卷积滤波器，分别量化为浮点数与单比特参数相乘的形式，得到轻量化的深度网络模型；

(6)采用所述轻量化的深度网络模型和所述遥感图像数据量化后的单比特参数进行目标检测，并输出检测结果。

根据本发明的方法，优选的，所述步骤(3)具体包括：对待量化深度网络模型，将其网络中每个三维卷积滤波器A_N×N×H转化为一维卷积滤波器B_1×H＝[b₁,b₂,...,b_i,...,b_H]和二维卷积滤波器C_N×N＝[c₁,c₂,...,c_i,...,c_N×N]，得到卷积重构的深度网络模型，其中N为三维卷积滤波器的长度与宽度，H为三维卷积滤波器的高度，N和为H大于等于1的正整数。

根据本发明的方法，优选的，所述步骤(4)具体包括：

对输入的遥感图像数据U＝[u₁,u₂,…,u_i,…,u_M×K×T]，根据最小二乘原理，按公式(1)计算量化的计算数据β×[a₁,a₂,…,a_i,…,a_M×K×T]，其中M、K、T分别为待进行目标检测的遥感图像数据的长度、宽度和高度，为大于等于1的正整数；

其中，β为量化的浮点参数，a_i为量化的单比特参数。

根据本发明的方法，优选的，所述步骤(5)具体包括：

对上述一维卷积滤波器B_1×H＝[b₁,b₂,…,b_i,…,b_H]，根据最小二乘原理，按公式(2)将其量化为p×[q₁,q₂,…,q_j,…,q_H]；

其中，p为量化的浮点参数，q_j为量化的单比特参数。

根据本发明的方法，优选的，所述步骤(5)还包括：

对上述二维卷积滤波器C_N×N＝[c₁,c₂,...,c_k,…,c_N×N]，根据最小二乘原理，按公式(3)将其量化为t×[r₁,r₂,...,r_k,...,r_N×N]；

其中，t为量化的浮点参数，r_k为量化的单比特参数。

根据本发明的方法，优选的，在所述步骤(3)中，N取值为3、5、7、9、11、13、15、17、19中的任一整数。

根据本发明的方法，优选的，在所述步骤(3)中，H取值为3、4、5、6、7、9、10、11、12、13、14、15中的任一整数。

为实现上述的发明目的，本发明采用下述的技术方案：

一种计算机可读存储介质，该介质存储有计算机程序指令，通过执行所述计算机程序指令，实现如上所述的方法。

本发明所提供的用于遥感图像目标检测的深度网络轻量化方法的优点包括：

1.综合使用了卷积重构与系数量化两种轻量化手段，模型压缩比率高，轻量化的模型适合在资源受限环境下应用；

2.系数量化时，利用最小二乘原理实现了量化误差最小化，量化的深度网络模型对遥感图像目标检测计算复杂度低、精度高。

附图说明

图1为根据本发明实施例的方法流程图；

图2本发明的卷积重构示意图。

具体实施方式

下面结合附图，对本发明所提供的用于遥感图像目标检测的深度网络轻量化方法的具体实施步骤进行详细的说明。如图1所示，对待量化深度网络模型，依次通过如下的步骤可以实现网络的高精度轻量化，实现对遥感图像的目标检测：

(1)获取待进行目标检测的遥感图像

获取需要进行目标检测或者目标识别的遥感图像，可通过各种方式获取需要进行目标检测的遥感图像，本发明主要用于航天侦察遥感图像的目标识别，但本发明并不限定遥感图像的类别，目标的识别包括舰船目标等目标的识别。

(2)确定用于对遥感图像进行目标识别的深度网络模型

根据不同的遥感图像，选择适合的深度网络模型。目前常见的网络模型和特点如下：

a、OverFeat模型

核心思想为三点：

候选区域：集合滑动窗口和规则块的多尺度滑动窗口；

分类和定位：统一用CNN来做分类和预测边框位置，模型与AlexNet类似，其中1～5层为特征抽取，即将图片转换为固定维度的特征向量，6～9层为分类层(分类任务专用)，不同的任务(分类、定位、检测)公用特征抽取层(1～5层)，值替换6～9层；

累积：因为用了滑动窗口，同一个目标对象会有多个位置，即多个视角，因用了多尺度，同一个目标对象又会有大小不一的块。这些不同位置和不同大小块上的分类置信度会进行累加，从而使得判定更为准确。

b、R-CNN模型

该模型存在以下缺点：

1)重复计算：R-CNN虽然不再是穷举，但依然有两千个左右的候选框，这些候选框都需要进行CNN操作，计算量依然很大，其中有不少其实是重复计算；

2)SVM模型：线性模型，在标注数据不缺的时候显然不是最好的选择；

3)训练测试分为多步：候选区域、特征提取、分类、回归都是断开的训练的过程，中间数据还需单独保存；

4)训练的空间和时间代价很高：卷积出来的特征需要先存在硬盘上，这些特征需要几百G的存储空间；

5)慢：前面的缺点最终导致R-CNN出奇的慢。

c、SPP-net模型

主要步骤：

候选区域：用Selective Search从原图中生成2000个左右的候选窗口；

区域大小缩放：SPP-net不再做区域大小归一化，而是缩放到min(w,h)＝s，即统一长宽的最短边长度，s选自{480,576,688,864,1200}中的一个，选择的标准是使得缩放后的候选窗口大小与224*224最接近；

特征提取：利用SPP-net网络结构提取特征；

分类与回归：类似R-CNN，利用SVM基于上面的特征训练分类器模型，用边框回归来微调候选框的位置。

d、Fast R-CNN模型

主要思想：

使用一个简化的SPP层-RoI Pooling层，操作与SPP类似；

训练和测试是不再分多步：不再需要额外的硬盘来存储中间层的特征，梯度能够通过RoI Pooling层直接传播；此外，分类和回归用Multi-task的方式一起进行；

SVD：使用SVD分解全连接层的参数矩阵，压缩为两个规模小很多的全连接层。

e、Faster R-CNN模型

主要步骤：

特征提取：通Fast R-CNN，以整张图片为输入，利用CNN得到图片的特征层；

候选区域：在最终的卷积特征层上利用k个不同的矩形框进行提名，k一般取9；

分类与回归：对每个Anchor Box对应的区域进行Object/Non-object二分类，并用k个回归模型(各自对应不同的Anchor Box)微调候选框位置与大小，最后进行目标分类。

f、R-FCN模型

主要步骤：

候选区域：使用RPN(Region Proposal Network，候选区域网络)，RPN本身是全卷积网络结构；

分类与回归：利用和RPN共享的特征进行分类。当做bbox回归时，则将C设置为4。

g、YOLO模型

主要步骤：

把输入图片缩放到448*448大小；

进行卷积网络；

对模型置信度卡阈值，得到目标位置与类别。

根据遥感图像的大小、类别等因素以及各个深度网络模型的特点，选择适合的深度网络模型。

(3)对待量化深度网络模型中的三维卷积滤波器转换为一维卷积滤波器和二维卷积滤波器

图2中，将三维卷积滤波器重构为一维卷积滤波器和二维卷积滤波器，即首先沿三维特征数据高度方向进行一维卷积，得到二维的滤波结果，然后对其进行二维卷积。

将其网络中每个三维卷积滤波器A_N×N×H转化为一维卷积滤波器B_1×H＝[b₁,b₂,...,b_i,...,b_H]和二维卷积滤波器C_N×N＝[c₁,c₂,...,c_k,...,c_N×N]，得到卷积重构的深度网络模型，其中N为滤波器的长度与宽度，H为滤波器的高度。

令滤波器A_N×N×H对应的滤波数据为I_W×L×H，W和L分别为滤波数据的宽度与长度，则三维卷积滤波可表示为

计算量为O(W×L×H×N×N×H)个乘加运算；卷积重构后，一维卷积滤波和二维卷积滤波可表示

计算量为O(W×L×H×H)+O(W×L×N×N)个乘加运算。因此，通过卷积重构，加速比达到O(1/N²)+O(1/H²)。根据深度网络模型训练结果的不同，N取值为3、5、7、9、11、13、15、17、19中的任一整数，H取值为3、4、5、6、7、9、10、11、12、13、14、15中的任一整数。

(4)将待检测遥感图像数据转量化为单比特数

对输入待量化深度网络模型的遥感图像计算数据U＝[u₁,u₂,...,u_i,...,u_M×K×T]，根据最小二乘原理，按公式(1)计算量化的计算数据β×[a₁,a₂,...,a_i,...,a_M×K×T]，其中M、K、T分别为待量化遥感图像数据的长度、宽度和高度，β为量化的浮点参数，a_i为量化的单比特参数；

为实现计算数据量化误差的最小化，建立基于最小二乘的量化误差模型

求解该误差模型，得到公式(1)所示的量化参数，所述基于最小二乘的量化误差模型表示：为了使得(u_i-βa_i)²求和值最小，在此约束条件下所确定的β,a₁,...,a_M×K×T的取值。

(5)将上述一维卷积滤波器，量化为浮点数与单比特参数相乘的形式，得到轻量化的深度网络模型

对上述卷积重构的深度网络模型中的一维卷积滤波器B_1×H＝[b₁,b₂,...,b_i,...,b_H]，根据最小二乘原理，按公式(2)将其量化为p×[q₁,q₂,...,q_j,...,q_H]，其中p为量化的浮点参数，q_j为量化的单比特参数；

为最小化一维卷积滤波器的量化误差，建立基于最小二乘的量化误差模型

求解该误差模型，得到公式(2)所示的量化参数，该基于最小二乘的量化误差模型表示：为了使得(b_j-pq_j)²求和值最小，在此约束条件下所确定的p,q₁,q₂,...,q_j,...,q_H的取值。

(6)将上述二维卷积滤波器，量化为浮点数与单比特参数相乘的形式，得到轻量化的深度网络模型

对上述卷积重构的深度网络模型中的二维卷积滤波器C_N×N＝[c₁,c₂,...,c_k,...,c_N×N]，根据最小二乘原理，按公式(3)将其量化为t×[r₁,r₂,...,r_k,…,r_N×N]，其中t为量化的浮点参数，r_k为量化的单比特参数。

为最小化二维卷积滤波器的量化误差，建立基于最小二乘的量化误差模型

求解该误差模型，得到公式(3)所示的量化参数，该基于最小二乘的量化误差模型表示：为了使得(c_k-tr_k)²求和值最小，在此约束条件下所确定的t,r₁,r₂,...,r_k,…,r_N×N的取值。

(7)采用所述轻量化的深度网络模型和所述遥感图像数据量化后的单比特参数进行目标检测，并输出检测结果

采用步骤(5)-(6)得到的轻量化深度网络模型对步骤(4)量化后的遥感图像数据进行目标检测，并输出目标检测结果。根据实际检测，深度网络模型的压缩倍率达到20倍以上，且轻量化的检测模型计算准确性(如舰船目标检测的虚警率和检测率)基本不变。

针对本发明提出的深度网络轻量化方法，设计了以下实验来验证轻量化深度网络的压缩率和计算精度：1)以20000个舰船检测样本作为训练数据，首先训练了一个未轻量化的深度网络舰船检测模型，然后针对该模型进行轻量化，得到轻量化的深度网络舰船检测模型，分别统计两个模型的参数总量；以5000个舰船检测样本测试未轻量化的深度网络舰船检测模型，以及轻量化的深度网络舰船检测模型的舰船检测率和虚警率，具体实验结果见表1。由表1可知，通过本发明方法的轻量化，深度网络模型的压缩倍率达到20.8，且轻量化的检测模型计算准确性(舰船检测的虚警率和检测率)基本不变。

表1轻量化与未轻量化的舰船检测模型实验结果统计表

本发明所提供的基于卷积重构与系数量化的深度网络轻量化方法主要是为提高深度网络的压缩率和计算精度而专门提出的。但显然，本说明书中所描述的轻量化方法也适用于其它深度模型的轻量化操作，所取得的有益效果也是相似的。

以上对本发明所提供的基于卷积重构与系数量化的深度网络轻量化方法进行了详细的说明，但显然本发明的范围并不局限于此。在不脱离所附权利要求书所限定的保护范围的情况下，对本发明的各种改变都在本发明的范围之内。

Claims

1.一种用于遥感图像目标检测的深度网络轻量化方法，其特征在于：包括如下步骤：

(1)获取待进行目标检测的遥感图像；

(2)确定用于对遥感图像进行目标识别的深度网络模型；

(4)对所述遥感图像的数据量化为单比特参数；

(6)采用所述轻量化的深度网络模型和所述遥感图像数据量化后的单比特参数进行目标检测，并输出检测结果；

所述步骤(4)具体包括：

对输入的遥感图像数据U＝[u₁,u₂,…,u_i,...,u_M×K×T]，根据最小二乘原理，按公式(1)计算量化的计算数据β×[a₁,a₂,…,a_i,...,a_M×K×T]，其中M、K、T分别为待进行目标检测的遥感图像数据的长度、宽度和高度，为大于等于1的正整数；

其中，β为量化的浮点参数，a_i为量化的单比特参数。

2.根据权利要求1所述的方法，其特征在于：所述步骤(3)具体包括：对待量化深度网络模型，将其网络中每个三维卷积滤波器A_N×N×H转化为一维卷积滤波器B_1×H＝[b₁,b₂,…,b_i,…,b_H]和二维卷积滤波器C_N×N＝[c₁,c₂,…,c_k,…,c_N×N]，得到卷积重构的深度网络模型，其中N为三维卷积滤波器的长度与宽度，H为三维卷积滤波器的高度，N和H为大于等于1的正整数。

3.根据权利要求1所述的方法，其特征在于：所述步骤(5)具体包括：

对上述一维卷积滤波器B_1×H＝[b₁,b₂,…,b_i,…,b_H]，根据最小二乘原理，按公式(2)将其量化为p×[q₁,q₂,...,q_j,...,q_H]；

其中，p为量化的浮点参数，q_j为量化的单比特参数。

4.根据权利要求2所述的方法，其特征在于：所述步骤(5)还包括：

对上述二维卷积滤波器C_N×N＝[c₁,c₂,...,c_k,...,c_N×N]，根据最小二乘原理，按公式(3)将其量化为t×[r₁,r₂,...,r_k,...,r_N×N]；

其中，t为量化的浮点参数，r_k为量化的单比特参数。

5.根据权利要求2所述的方法，其特征在于：

在所述步骤(3)中，N取值为3、5、7、9、11、13、15、17、19中的任一整数。

6.根据权利要求2所述的方法，其特征在于：

在所述步骤(3)中，H取值为3、4、5、6、7、9、10、11、12、13、14、15中的任一整数。

7.一种计算机可读存储介质，其特征在于：该介质存储有计算机程序指令，通过执行所述计算机程序指令，实现如权利要求1-6之一所述的方法。