CN106446854A - 基于旋转不变hog特征的高分辨率光学遥感图像目标检测方法 - Google Patents

Abstract

本发明涉及一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法。基本思想是：首先，选取目标图像和背景图像得到初始训练样本集合，按照给定的旋转变换对初始训练样本进行旋转操作，并将旋转前后的样本集合进行合并得到总的训练样本集；其次：通过学习一个三层的全连接网络，实现旋转不变HOG特征提取模型和目标分类器的训练，传统的HOG特征为第一层的输入，第二层用于计算旋转不变HOG特征，第三层是softmax分类器。利用本发明方法，通过学习具有旋转不变性的HOG特征，有效解决了传统的HOG特征很难处理遥感图像目标旋转变化的问题，可以实现遥感图像的目标检测，具有很高的检测精度。

Description

基于旋转不变HOG特征的高分辨率光学遥感图像目标检测 方法

技术领域

本发明属于光学遥感图像处理与分析技术领域，涉及一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法。

背景技术

随着遥感技术的不断发展，我们可以获取越来越多的高分辨率光学遥感图像。如何构建一个能够快速、准确地从高分辨率光学遥感图像中检测出目标的检测系统，是光学遥感图像处理领域的一个热点和难点问题。由于目标检测通常在特征空间进行操作，所以设计一种有效的特征表达方式尤为重要。

目前方向梯度直方图特征(Histogram of Oriented Gradients，简称HOG)已经在自然图像处理领域获得了较大成功，但是在处理遥感图像时会存在一些问题。自然图像中的物体受重力因素的影响而往往呈竖直方向，而遥感图像则不同，目标会存在各种各样不同的朝向，使得传统的HOG特征不能直接应用于遥感图像的目标检测。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法，有效解决了传统的HOG特征很难处理目标旋转变化的问题，具有很高的目标检测准确率。

技术方案

一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法，其特征在于步骤如下：

步骤1、构建训练样本集：从训练图像中分别截取包含目标的目标图像块和不包含目标的背景图像块得到初始训练样本集合X＝{x₁,x₂,…,x_N}，给定K个角度φ＝{φ₁,φ₂,…,φ_K}和与之对应的K个旋转变换将旋转变换T_φ作用到初始训练样本集合X＝{x₁,x₂,…,x_N}上，得到新的训练样本集合T_φX＝{T_φx₁,T_φx₂,…,T_φx_N}，将旋转前和旋转后的样本集合进行合并得到总的训练样本集合χ＝{X,T_φX}；

其中：N表示初始训练样本集合中训练样本的个数；表示旋转角度为φ_k的旋转变换，k＝1,2,…,K，K表示旋转变换的总数；

步骤2、学习旋转不变HOG特征提取模型和目标分类器：通过学习一个三层的全连接网络，实现旋转不变HOG特征提取模型和目标分类器的训练，第一层到第三层的网络节点个数依次为1984、1984、C+1，C为目标类别个数，过称为：

对于任意一个训练样本x_i∈χ，将其变换到60×60像素大小、计算它的1984维的HOG特征并线性归一化到[-1,1]，该特征用O₁(x_i)表示，作为网络的第一层输入；O₂(x_i)是网络的第二层输出，为样本x_i的旋转不变HOG特征；O₃(x_i)是第三层softmax分类器的输出；(W₂,B₂)和(W₃,B₃)分别是第一层和第二层、第二层和第三层的连接权重，同时也分别是旋转不变HOG特征提取模型和目标分类器的参数；

得到三层全连接网络的层间关系为：

O₂(x_i)＝σ(W₂O₁(x_i)+B₂)

其中：分别是“tanh”和“softmax”非线性函数；给定训练样本集χ＝{X,T_φX}和训练样本对应的标签集表示训练样本x_i的标签，设定学习率α＞0，采用随机梯度下降法优化公式得到(W₂,B₂)和(W₃,B₃)，用于后续的目标检测：

所述随机梯度下降法优化公式为：

其中：λ₁和λ₂是调节公式(3)中三项之间关系的参数且λ₁＞0、λ₂＞0；表示和logO₃(x_i)的内积；表示经过旋转变换后的训练样本x_i的旋转不变HOG特征的均值；

步骤3、高分遥感图像目标检测：对于给定的待检测的高分遥感图像，进行如下步骤进行检测：

步骤a：采用选择性搜索方法selective search提取目标候选框集合；

步骤b：将每个目标候选框变换到60×60像素大小、计算它的1984维的HOG特征并线性归一化到[-1,1]；

步骤c：采用步骤2中的计算公式O₂(x_i)＝σ(W₂O₁(x_i)+B₂)得到每个目标候选框的旋转不变HOG特征；

步骤d：采用步骤2中的计算公式检测高分遥感图像中的目标；

重复步骤3对所有待检测的高分遥感图像进行目标检测。

有益效果

本发明提出的一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法，首先，选取目标图像和背景图像得到初始训练样本集合，按照给定的旋转变换对初始训练样本进行旋转操作，并将旋转前后的样本集合进行合并得到总的训练样本集；其次：通过学习一个三层的全连接网络，实现旋转不变HOG特征提取模型和目标分类器的训练，其中：第一层是传统的HOG特征，第二层用于计算旋转不变HOG特征，第三层是softmax分类器。

本发明提出的一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法，有效解决了传统HOG特征很难处理目标旋转变化的问题，可以实现遥感图像的目标检测，具有很高的检测准确率。

附图说明

图1：本发明方法的基本流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Intel Pentium 2.13GHz CPU计算机、2.0GB内存，运行的软件环境是：Matlab R2010b和Windows XP。从Google Earth下载了715幅高分辨率(空间分辨率为0.5m至2m)光学遥感图像，从Vaihingen data获得85幅超高分辨率(空间分辨率为0.08m)彩色图像构建NWPU VHR-10图像数据库(数据库下载地址为：http://pan.baidu.com/s/1hqwzXeG)。一共十个目标类别：飞机、船只、储油罐、棒球场、网球场、篮球场、田径场、港口、桥梁和车辆。其中，20％的数据用于训练，20％的数据用于验证，剩下的60％用于测试。

本发明具体实施如下：

步骤1、构建训练样本集：从训练图像中截取包含目标的目标图像块作为正例，随机截取和目标图像块数量相等的背景图像块作为负例，得到初始训练样本集合X＝{x₁,x₂,…,x_N}，N表示初始训练样本集中训练样本的个数；给定35个角度φ＝{φ₁,φ₂,…,φ_K}＝{10°,20°,…,350°}和与之对应的35个旋转变换表示旋转角度为φ_k的旋转变换，k＝1,2,…,35；将旋转变换T_φ作用到初始训练样本集合X＝{x₁,x₂,…,x_N}上，得到新的训练样本集合T_φX＝{T_φx₁,T_φx₂,…,T_φx_N}，将旋转前后的样本集合进行合并得到总的训练样本集χ＝{X,T_φX}。

步骤2、学习旋转不变HOG特征提取模型和目标分类器：通过学习一个三层的全连接网络，实现旋转不变HOG特征提取模型和目标分类器的训练，第一层到第三层的网络节点个数依次为1984、1984、11(10类目标加一类背景)。具体地：对于任意一个训练样本x_i∈χ，将其变换到60×60像素大小，按照文献[1]第2.3.4节的方法计算它的1984维的HOG特征并线性归一化到[-1,1]，该特征用O₁(x_i)表示，作为网络第一层输入；O₂(x_i)是网络的第二层输出，为样本x_i的旋转不变HOG特征；O₃(x_i)是第三层softmax分类器的输出；(W₂,B₂)和(W₃,B₃)分别是第一层和第二层、第二层和第三层的连接权重，同时也分别是旋转不变HOG特征提取模型和目标分类器的参数；三层全连接网络的层间关系由公式(1)和(2)给出：

O₂(x_i)＝σ(W₂O₁(x_i)+B₂) (1)

其中：和分别是“tanh”和“softmax”非线性函数；给定训练样本集χ＝{X,T_φX}和训练样本对应的标签集 表示训练样本x_i的标签，采用随机梯度下降法优化公式(3)得到(W₂,B₂)和(W₃,B₃)，用于后续步骤3的目标检测：

其中：K＝35，λ₁＝0.001，λ₂＝0.0005，学习率α＝0.01；表示和logO₃(x_i)的内积；表示经过旋转变换后的训练样本x_i的旋转不变HOG特征的均值，通过公式(4)计算：

步骤3、高分遥感图像目标检测：给定一幅待检测的高分遥感图像，首先，采用文献[2]第3节的选择性搜索方法(Selective Search)，其中：颜色空间设置为“HSV”和“Lab”，相似性度量准则设置为“颜色相似度”和“纹理相似度”，k值设置为“50”和“100”，候选框的最小边长设置为“20”)提取目标候选框集合；其次，将每个目标候选框变换到60×60像素大小，按照文献[1]第2.3.4节的方法计算它的1984维的HOG特征并线性归一化到[-1,1]；然后，通过步骤2中学习到的(W₂,B₂)，采用O₂(x_i)＝σ(W₂O₁(x_i)+B₂)得到每个目标候选框的旋转不变HOG特征；最后，通过步骤2中学习到的(W₃,B₃)，采用实现高分遥感图像目标检测；

重复步骤3对所有待检测的高分遥感图像进行目标检测。

选用平均精度(Average Precision，AP)对本发明的有效性进行评估，并在相同的训练集、测试集，相同的目标候选框生成方法的条件下，与其他三种方法进行对比，具体结果如表1所示。其中：平均精度(AP)来源于PRC曲线，表示PRC曲线下方的面积。平均精度越高，检测效果越好。平均精度指标表明了本发明的有效性。

表1检测结果评价

所述COPD[1]为本发明的方法检测的结果；

所述传统的HOG特征[3]为文献[3]的方法检测的结果；

所述FDDL[4]为文献[4]的方法检测的结果；

所述文献[1]为：G.Cheng,J.Han,P.Zhou,and L.Guo,"Multi-class geospatialobject detection and geographic image classification based on collection ofpart detectors,"ISPRS J.Photogramm.Remote Sens.,vol.98,pp.119-132,2014.

所述文献[2]为：J.R.Uijlings,K.E.van de Sande,T.Gevers,andA.W.Smeulders,"Selective search for object recognition,"Int.J.Comput.Vis.,vol.104,no.2,pp.154-171,2013.

所述文献[3]为：N.Dalal and B.Triggs,"Histograms of oriented gradientsfor human detection,"in Proc.IEEE Int.Conf.Comput.Vis.Pattern Recog.,2005,pp.886-893.

所述文献[4]为：J.Han,P.Zhou,D.Zhang,G.Cheng,L.Guo,Z.Liu,et al.,"Efficient,simultaneous detection of multi-class geospatial targets based onvisual saliency modeling and discriminative learning of sparse coding,"ISPRSJ.Photogramm.Remote Sens.,vol.89,pp.37-48,2014.

Claims (1)

1.一种基于旋转不变HOG特征的高分辨率光学遥感图像目标检测方法，其特征在于步骤如下：

步骤1、构建训练样本集：从训练图像中分别截取包含目标的目标图像块和不包含目标的背景图像块得到初始训练样本集合X＝{x₁,x₂,…,x_N}，给定K个角度φ＝{φ₁,φ₂,…,φ_K}和与之对应的K个旋转变换将旋转变换T_φ作用到初始训练样本集合X＝{x₁,x₂,…,x_N}上，得到新的训练样本集合T_φX＝{T_φx₁,T_φx₂,…,T_φx_N}，将旋转前和旋转后的样本集合进行合并得到总的训练样本集合

其中：N表示初始训练样本集合中训练样本的个数；表示旋转角度为φ_k的旋转变换，k＝1,2,…,K，K表示旋转变换的总数；

步骤2、学习旋转不变HOG特征提取模型和目标分类器：通过学习一个三层的全连接网络，实现旋转不变HOG特征提取模型和目标分类器的训练，第一层到第三层的网络节点个数依次为1984、1984、C+1，C为目标类别个数，过称为：

对于任意一个训练样本将其变换到60×60像素大小、计算它的1984维的HOG特征并线性归一化到[-1,1]，该特征用O₁(x_i)表示，作为网络的第一层输入；O₂(x_i)是网络的第二层输出，为样本x_i的旋转不变HOG特征；O₃(x_i)是第三层softmax分类器的输出；(W₂,B₂)和(W₃,B₃)分别是第一层和第二层、第二层和第三层的连接权重，同时也分别是旋转不变HOG特征提取模型和目标分类器的参数；

得到三层全连接网络的层间关系为：

O₂(x_i)＝σ(W₂O₁(x_i)+B₂)

其中：和分别是“tanh”和“softmax”非线性函数；给定训练样本集和训练样本对应的标签集 表示训练样本x_i的标签，设定学习率α＞0，采用随机梯度下降法优化公式得到(W₂,B₂)和(W₃,B₃)，用于后续的目标检测：

所述随机梯度下降法优化公式为：

$J(W_2,W_3,B_2,B_3)=min\left(\begin{array}{c}-\frac{1}{N+NK}\underset{x_i\&Element;\mathrm{\&chi;}}{\&Sigma;}<y_{x_i},\log O_3\left(x_i\right)>+\\ {\mathrm{\&lambda;}}_1\frac{1}{2N}\underset{x_i\&Element;X}{\&Sigma;}\left|\right|O_2\left(x_i\right)-{\stackrel{\&OverBar;}{O}}_2\left(T_{\mathrm{\&phi;}}{x}_i\right)|{|}_2^2+\frac{{\mathrm{\&lambda;}}_2}{2}\left(\right|\left|W_2\right|{|}_2^2+\left|\right|W_3\left|{|}_2^2\right)\end{array}\right)$

其中：λ₁和λ₂是调节公式(3)中三项之间关系的参数且λ₁＞0、λ₂＞0；表示和logO₃(x_i)的内积；表示经过旋转变换后的训练样本x_i的旋转不变HOG特征的均值；

${\stackrel{\&OverBar;}{O}}_2\left(T_{\mathrm{\&phi;}}{x}_i\right)=\frac{1}{K}\left(O_2\right(T_{{\mathrm{\&phi;}}_1}{x}_i)+O_2\left(T_{{\mathrm{\&phi;}}_2}{x}_i\right)+...+O_2\left(T_{{\mathrm{\&phi;}}_K}{x}_i\right));$

步骤3、高分遥感图像目标检测：对于给定的待检测的高分遥感图像，进行如下步骤进行检测：

步骤a：采用选择性搜索方法selective search提取目标候选框集合；

步骤b：将每个目标候选框变换到60×60像素大小、计算它的1984维的HOG特征并线性归一化到[-1,1]；

步骤c：采用步骤2中的计算公式O₂(x_i)＝σ(W₂O₁(x_i)+B₂)得到每个目标候选框的旋转不变HOG特征；

步骤d：采用步骤2中的计算公式检测高分遥感图像中的目标；

重复步骤3对所有待检测的高分遥感图像进行目标检测。