CN106203396A - 基于深度卷积和梯度旋转不变性的航拍图像目标检测方法 - Google Patents

Abstract

本发明公开了基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，首先采用BING算法对航拍图像进行粗定位，提取感兴趣区域；其次采用AlexNet深度卷积网络分析感兴趣区域，选取AlexNet深度卷积网络的Pooling5层为AP特征；接着基于旋转梯度不变性，提取感兴趣区域的RGT特征；然后采用SFFS算法融合AP特征和RGT特征，生成AP‑RGT特征；最后使用SVM对AP‑RGT特征进行训练分类，建立优化问题，求解得到目标检测结果。本发明克服了航拍图像成像角度变化大、航拍镜头变化大以及航拍目标多变带来的困难。

Description

基于深度卷积和梯度旋转不变性的航拍图像目标检测方法

技术领域

本发明属于图像处理技术领域，特别涉及了基于深度卷积和梯度旋转不变性的航拍图像目标检测方法。

背景技术

近年来，随着航拍技术的不断发展，高分辨率航拍遥感相机相继研制成功，航拍图像在应急救灾、数字城市建设、工程设计等重大需求领域得到了广泛的应用；同时，随着大数据技术的兴起为航拍图像处理提供了新的思路。航拍图像包含的丰富信息量，覆盖了各个尺度的物体，且分布密集，如何快速高效地实现航拍图像目标检测至关重要。

航拍图像具有大范围、宽视角、高分辨率、数据量巨大的特点，这给目标检测带来巨大的问题与挑战。航拍图像成像角度变化大，一般的特征算子需要提取出不同角度的特征，再进行合并与筛选，这使得计算量大大的增加；同时，且由于航拍镜头的变化以及航拍目标的多变使得通常的目标检测算法难以适用于航拍图像目标检测。目前的研究主要是通过结合低层特征与模型来实现对航拍图像目标的分割与检测，没有充分考虑到图像的高层特征以及隐藏在其中的角度不变特征。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，克服了航拍图像成像角度变化大、航拍镜头变化大以及航拍目标多变带来的困难。

为了实现上述技术目的，本发明的技术方案为：

基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，包括以下步骤：

(1)输入航拍图像，利用BING算法对目标进行粗定位，提取包含目标的感兴趣区域；

(2)对于步骤(1)提取到的感兴趣区域，采用AlexNet深度卷积网络进行分析，选取AlexNet深度卷积网络的Pooling5层为最佳角度不敏感特征，即AP特征；

(3)基于旋转梯度不变性，提取感兴趣区域的旋转梯度不变特征，即RGT特征；

(4)采用SFFS算法融合步骤(2)得到的AP特征和步骤(3)得到的RGT特征，生成AP-RGT特征；

(5)使用支持向量机对生成的AP-RGT特征进行训练分类，并在SVM分类器后进行非极大值抑制的过程，过滤错误的分类，再建立优化问题，求解得到目标检测结果。

进一步地，步骤(1)的具体过程如下：

(a)使用模板[-1,0，+1]作用于航拍图像，计算出航拍图像的梯度值b_k,l，并通过尺度变换将其归一化到8*8的尺度，得到归一化的梯度特征值N_g，其中，b_k,l的下标k、l分别表示模板[-1,0，+1]的行和列；

(b)利用二进制估计算法，对梯度特征值N_g进行估计，获得BING特征：

$g_l={\mathrm{\Σ}}_{k=1}^{N_g}{2}^{8-k}{b}_{k,l};$

(c)将获得的BING特征输入到LinearSVM中进行训练，得到SVM分类器，作为第一级分类器，将得到的第一级分类器作用于训练样本所在的位置，得到待选目标框，通过非极大值抑制滤去错误的待选目标框，将剩下的待选目标框作为第二级分类器的训练样本，输入到LinearSVM中进行训练，得到第二级分类器；

(d)利用穷举法从航拍图像上得到的感兴趣区域的所有待选区域，将步骤(c)得到的级联分类器作用于各个待选区域，每一个待选区域通过线性模型w∈R⁶⁴打分机制进行评分：s_l＝＜w,g_l＞，得分s_l最高的待选区域即为感兴趣区域，其中＜w,g_l＞表示将线性模型w和BING特征g_l作内积运算。

进一步地，步骤(3)的具体过程如下：

(A)设提取到的感兴趣区域图像为I(x,y)，S(x,y)为其对应的离散图像：

$S(x,y)=\underset{v=0}{\overset{y}{\Σ}}\underset{u=0}{\overset{x}{\Σ}}I(u,v)$

计算离散图像的局部空间值：

Σ(x,y,s)＝S(x+s,y+s)+S(x-s-1,y-s-1)-S(x+s,y-s-1)-S(x-s-1,y+s)上式中s表示某一尺度，(x,y)为感兴趣区域内的点；

为增加特征的尺度不变性并降低计算复杂度，利用金字塔尺度空间获取不同尺度下的局部空间值，再通过比较得到局部空间极值，局部空间极值对应的尺度即为给定尺度；

(B)采用可变核函数检测感兴趣区域，在检测过程中，对于同一个点采用两个不同大小的核函数，在步骤(A)获得的给定尺度s下，内部的核函数为2s+1，外部的核函数为4s+1，则滤波器响应：

F(x,y,s)＝B(x,y,s)-B(x,y,2s)

上式中B(x,y,s)为区域规范化输出：

B(x,y,s)＝(2s+1)^-2Σ(x,y,s)

上式中Σ(x,y,s)为步骤(A)得到的局部空间极值，表示大小为2s+1的区域中所有像素和；

(C)在给定尺度下获取感兴趣特征点，以感兴趣特征点为圆心抽取直径为sp的统计块，处于统计块内的点的坐标表示：

$P\left(s\right)=\left\{(u,v)\right|\sqrt{{(s*u-x)}^2+{(s*v-y)}^2}\≤\frac{sp}{2}\}$

上式中s*u，s*v分别对应为x，y在给定尺度s下的离散值；

(D)将统计块内的笛卡尔梯度方向作为该统计块的方向，计算统计块内的梯度值并归一化，得到RGT特征。

:进一步地，步骤(4)的具体过程如下：

(Ⅰ)设AP-RGT特征的集合为Z，集合Z初始为空集，在AP特征集和RGT特征集的并集中选择一个子集t加入集合Z中，并使加入子集t后的集合Z的评价函数达到最优；

(Ⅱ)在集合Z中剔除子集z，并使剔除子集z后的集合Z的评价函数达到最优；

(Ⅲ)循环步骤(Ⅰ)-(Ⅱ)，得到nrep个候选集合Z；

(IV)计算各候选集合Z的贝叶斯分类精度：

J_nrep(Z)＝1-E[{ε(Z,T_r；D_r)}]

上式中，E(*)表示求期望，ε(Z,T_r；D_r)则表示贝叶斯分类错分率，T_r表示错分的集合，D_r表示训练集，r＝1,2,…,nrep；

选择贝叶斯分类精度值最大对应的集合Z作为融合后的AP-RGT特征集。

进一步地，在步骤(5)中，使用的分类函数为其中x_i为输入，y_i为输出，x_i,y_i∈Z，Z为步骤(4)得到的AP-RGT特征集，为当前特征距离分类平面的间隔，为设置的特征距离分类平面的最大间隔，b为偏移量，ω为需要求取的目标检测结果；将作为优化问题的目标函数，求得该问题的最优解即为最终的目标检测结果。

采用上述技术方案带来的有益效果：

本发明提出基于AP特征的提取方法，解决航拍图像镜头旋转以及飞行带来仿射变换等问题；结合旋转梯度不变性，引入RGT特征，增加了特征的鲁棒性与表征力，进一步提高目标检测的准确率；利用SFFS算法将AP和RGT两类特征进行融合生成AP-RGT特征，在降低维数的同时，提高了检测速度。突破了航拍图像在飞行过程中由于旋转需要多次提取不同角度特征的局限性。本发明适用于高分辨率的航拍图像目标检测。

附图说明

图1是本发明的基本流程图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示，基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，包括以下步骤：

步骤1、输入航拍图像，利用BING算法对目标进行粗定位，提取包含目标的感兴趣区域。

使用模板[-1,0，+1]作用于航拍图像，计算出航拍图像的梯度值b_k,l，通过尺度变换将其归一化到8*8的尺度，得到归一化的梯度特征值N_g，其中，b_k,l的下标k、l分别表示模板[-1,0，+1]的行和列；

利用二进制估计算法，对梯度特征值N_g进行估计，获得BING特征：

$g_l={\mathrm{\Σ}}_{k=1}^{N_g}{2}^{8-k}{b}_{k,l}$

将获得的BING特征输入到LinearSVM中进行训练，得到SVM分类器，作为第一级分类器，将得到的第一级分类器作用于训练样本所在的位置，得到待选目标框，通过非极大值抑制滤去错误的待选目标框，将剩下的待选目标框作为第二级分类器的训练样本，输入到LinearSVM中进行训练，得到第二级分类器。

利用穷举法从航拍图像上得到的感兴趣区域的所有待选区域，将上述级联分类器作用于各个待选区域，每一个待选区域通过线性模型w∈R⁶⁴打分机制进行评分：s_l＝＜w,g_l＞，得分s_l最高的待选区域即为感兴趣区域，其中＜w,g_l＞表示将线性模型w和BING特征g_l作内积运算。

步骤2、对于步骤1提取到的感兴趣区域，采用AlexNet网络进行分析，提取AlexNet网络的池化层Pooling5、全连结层Fc6、Fc7的特征来分析角度不敏感性，选取AlexNet网络的Pooling5层为最佳角度不敏感特征，即AP特征。

步骤3、基于旋转梯度不变性，提取感兴趣区域的旋转梯度不变特征，即RGT特征。

设提取到的感兴趣区域图像为I(x,y)，S(x,y)为其对应的离散图像：

$S(x,y)=\underset{v=0}{\overset{y}{\Σ}}\underset{u=0}{\overset{x}{\Σ}}I(u,v)$

计算离散图像的局部空间值：

∑(x,y,s)＝S(x+s,y+s)+S(x-s-1,y-s-1)-S(x+s,y-s-1)-S(x-s-1,y+s)上式中s表示某一尺度，(x,y)为感兴趣区域内的点；

为增加特征的尺度不变性并降低计算复杂度，利用金字塔尺度空间获取不同尺度下的局部空间值，再通过比较得到局部空间极值，局部空间极值对应的尺度即为给定尺度。

采用可变核函数检测感兴趣区域，在检测过程中，对于同一个点采用两个不同大小的核函数，在获得的给定尺度s下，内部的核函数为2s+1，外部的核函数为4s+1，则滤波器响应：

F(x,y,s)＝B(x,y,s)-B(x,y,2s)

上式中B(x,y,s)为区域规范化输出：

B(x,y,s)＝(2s+1)^-2∑(x,y,s)

上式中∑(x,y,s)为前述得到的局部空间极值，表示大小为2s+1的区域中所有像素和。

在给定尺度下获取感兴趣特征点，以感兴趣特征点为圆心抽取直径为sp的统计块，处于统计块内的点的坐标表示：

$P\left(s\right)=\left\{(u,v)\right|\sqrt{{(s*u-x)}^2+{(s*v-y)}^2}\≤\frac{sp}{2}\}$

上式中s*u，s*v分别对应为x，y在给定尺度s下的离散值。

将统计块内的笛卡尔梯度方向作为该统计块的方向，计算统计块内的梯度值并归一化，得到RGT特征。

步骤4、采用SFFS算法融合步骤2得到的AP特征和步骤3得到的RGT特征，生成AP-RGT特征。

设AP-RGT特征的集合为Z，集合Z初始为空集，在AP特征集和RGT特征集的并集中选择一个子集t加入集合Z中，并使加入子集t后的集合Z的评价函数达到最优。

在集合Z中剔除子集z，并使剔除子集z后的集合Z的评价函数达到最优。

循环上述过程，得到nrep个候选集合Z。计算各候选集合Z的贝叶斯分类精度：

J_nrep(Z)＝1-E[{ε(Z,T_r；D_r)}]

上式中，E(*)表示求期望，ε(Z,T_r；D_r)则表示贝叶斯分类错分率，T_r表示错分的集合，D_r表示训练集，r＝1,2,…,nrep；

选择贝叶斯分类精度值最大对应的集合Z作为融合后的AP-RGT特征集。

步骤5、使用支持向量机对生成的AP-RGT特征进行训练分类，并在SVM分类器后进行非极大值抑制的过程，过滤错误的分类，再建立优化问题，求解得到目标检测结果。

使用的分类函数为其中x_i为输入，y_i为输出，x_i,y_i∈Z，Z为步骤4得到的AP-RGT特征集，为当前特征距离分类平面的间隔，为设置的特征距离分类平面的最大间隔，b为偏移量，ω为需要求取的目标检测结果；将作为优化问题的目标函数，求得该问题的最优解即为最终的目标检测结果。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，其特征在于，包括以下步骤：

(1)输入航拍图像，利用BING算法对目标进行粗定位，提取包含目标的感兴趣区域；

(2)将步骤(1)提取到的感兴趣区域输入AlexNet深度卷积网络进行分析，选取AlexNet深度卷积网络的Pooling5层为最佳角度不敏感特征，即AP特征；

(3)基于旋转梯度不变性，提取感兴趣区域的旋转梯度不变特征，即RGT特征；

(4)采用SFFS算法融合步骤(2)得到的AP特征和步骤(3)得到的RGT特征，生成AP-RGT特征；

(5)使用支持向量机对生成的AP-RGT特征进行训练分类，并在SVM分类器后进行非极大值抑制的过程，过滤错误的分类；建立优化问题，求解得到目标检测结果。

2.根据权利要求1所述基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，其特征在于，步骤(1)的具体过程如下：

(a)使用模板[-1,0，+1]作用于航拍图像，计算出航拍图像的梯度值b_k,l，并通过尺度变换将其归一化到8*8的尺度，得到归一化的梯度特征值N_g，其中，b_k,l的下标k、l分别表示模板[-1,0，+1]的行和列；

(b)利用二进制估计算法，对梯度特征值N_g进行估计，获得BING特征：

$g_l={\mathrm{\Σ}}_{k=1}^{N_g}{2}^{8-k}{b}_{k,l};$

(c)将获得的BING特征输入到LinearSVM中进行训练，得到SVM分类器，作为第一级分类器，将得到的第一级分类器作用于训练样本所在的位置，得到待选目标框，通过非极大值抑制滤去错误的待选目标框，将剩下的待选目标框作为第二级分类器的训练样本，输入到LinearSVM中进行训练，得到第二级分类器；

(d)利用穷举法从航拍图像上得到的感兴趣区域的所有待选区域，将步骤(c)得到的级联分类器作用于各个待选区域，每一个待选区域通过线性模型w∈R⁶⁴打分机制进行评分：s_l＝＜w,g_l＞，得分s_l最高的待选区域即为感兴趣区域，其中＜w,g_l＞表示将线性模型w和BING特征g_l作内积运算。

3.根据权利要求1所述基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，其特征在于，步骤(3)的具体过程如下：

(A)设提取到的感兴趣区域图像为I(x,y)，S(x,y)为其对应的离散图像：

$S(x,y)=\underset{v=0}{\overset{y}{\Σ}}\underset{u=0}{\overset{x}{\Σ}}I(u,v)$

计算离散图像的局部空间值：

∑(x,y,s)＝S(x+s,y+s)+S(x-s-1,y-s-1)-S(x+s,y-s-1)-S(x-s-1,y+s)

上式中s表示某一尺度，(x,y)为感兴趣区域内的点；

为增加特征的尺度不变性并降低计算复杂度，利用金字塔尺度空间获取不同尺度下的局部空间值，再通过比较得到局部空间极值，局部空间极值对应的尺度即为给定尺度；

(B)采用可变核函数检测感兴趣区域，在检测过程中，对于同一个点采用两个不同大小的核函数，在步骤(A)获得的给定尺度s下，内部的核函数为2s+1，外部的核函数为4s+1，则滤波器响应：

F(x,y,s)＝B(x,y,s)-B(x,y,2s)

上式中B(x,y,s)为区域规范化输出：

B(x,y,s)＝(2s+1)^-2∑(x,y,s)

上式中∑(x,y,s)为步骤(A)得到的局部空间极值，表示大小为2s+1的区域中所有像素和；

(C)在给定尺度下获取感兴趣特征点，以感兴趣特征点为圆心抽取直径为sp的统计块，处于统计块内的点的坐标表示：

$P\left(s\right)=\left\{(u,v)\right|\sqrt{{(s*u-x)}^2+{(s*v-y)}^2}\≤\frac{sp}{2}\}$

上式中s*u，s*v分别对应为x，y在给定尺度s下的离散值；

(D)将统计块内的笛卡尔梯度方向作为该统计块的方向，计算统计块内的梯度值并归一化，得到RGT特征。

4.根据权利要求1所述基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，其特征在于，步骤(4)的具体过程如下：

(Ⅰ)设AP-RGT特征的集合为Z，集合Z初始为空集，在AP特征集和RGT特征集的并集中选择一个子集t加入集合Z中，并使加入子集t后的集合Z的评价函数达到最优；

(Ⅱ)在集合Z中剔除子集z，并使剔除子集z后的集合Z的评价函数达到最优；

(Ⅲ)循环步骤(Ⅰ)-(Ⅱ)，得到nrep个候选集合Z；

(Ⅳ)计算各候选集合Z的贝叶斯分类精度：

J_nrep(Z)＝1-E[{ε(Z,T_r；D_r)}]

上式中，E(*)表示求期望，ε(Z,T_r；D_r)则表示贝叶斯分类错分率，T_r表示错分的集合，D_r表示训练集，r＝1,2,…,nrep；

选择贝叶斯分类精度值最大对应的集合Z作为融合后的AP-RGT特征集。

5.根据权利要求1所述基于深度卷积和梯度旋转不变性的航拍图像目标检测方法，其特征在于：在步骤(5)中，分类函数为其中x_i为输入，y_i为输出，,x_i y_i∈Z，Z为步骤(4)得到的AP-RGT特征集，为当前特征距离分类平面的间隔，为设置的特征距离分类平面的最大间隔，b为偏移量，ω为需要求取的目标检测结果；将作为优化问题的目标函数，求得该问题的最优解即为最终的目标检测结果。