CN106096658A - 基于无监督深度空间特征编码的航拍图像分类方法 - Google Patents

Abstract

本发明涉及一种基于无监督深度空间特征编码的航拍图像分类方法，属于图像处理技术领域。首先，采用尺度不变特征变换（SIFT）提取图像特征；其次，将局部方差相似度引入到稀疏编码中对稀疏编码进行改进，并用改进的稀疏编码对图像特征进行稀疏表示，得到一种具有稀疏判别性和空间可分性的图像特征；最后，结合深度置信网络完成对航拍图像的分类。本发明在图像特征编码时保留了图像的空间特征信息，增强了所提取图像特征的判别性和可分性，提高了航拍图像的分类精度。

Description

基于无监督深度空间特征编码的航拍图像分类方法

技术领域

本发明涉及一种基于无监督深度空间特征编码的航拍图像分类方法，属于图像处理技术领域。

背景技术

随着卫星技术和传感器技术的快速发展，人们获得了大量的高分辨率的航拍图像，这些图像在城市规划、沿海地区监视、军事任务等方面都得到了广泛的运用。然而，由于航拍图像具有物体多、范围广、视角宽、分辨率高和数据量大等特点，对航拍图像的有效分类和识别已经成为了一个有挑战性的问题，引起了国内外学者的广泛关注。

目前，大多数针对航拍图像分类的方法主要通过提取光谱、文理和几何特征来对图像进行分类。Bruzzone等人提出了一种基于像素级的特征进行航拍图像分类的算法。该算法首先对图片进行不同尺度的分割，然后融合光谱信息和分割的形状信息，并将其作为特征进行分类。Shackelford等人将像素与物体识别的特征相结合，提出了一种基于物体识别的航拍图像分类方法。该算法首先提取光谱和文理信息，上述两种算法在很大程度上受到分割算法处理结果的影响，分类精度受到一定的限制。随着稀疏编码理论的提出，图像特征表示方法发生了巨大的变化。稀疏编码是指模拟神经元的稀疏型活动特性，用一组基函数获得输入图像的编码表示，在该组编码序列中只有少量的系数较大，而其他大部分系数较小或者接近于零。由于稀疏编码理论符合生物视觉感知特性，因此对图像的稀疏表示已经成为了图像研究的热点。近年来，深度学习作为一种新的方法被广泛应用于机器视觉的各个领域。深度学习网络具有分层式的架构，可以从大量输入数据中有效地学习特征表示。研究表明，由多层非线性映射层组成的深度网络结构比浅层结构更加有效，在复杂函数表示和复杂分类上有更好的效果和效率。

基于以上背景，本发明将局部方差相似度引入到稀疏编码中并结合深度置信网络，提出了一种基于无监督深度空间特征编码的航拍图像分类方法。相关的专利如申请号为201410033732.0的专利提出了一种海洋航拍图像的目标检测与识别方法。该方法首先构建航拍图像的视觉辞典，其次提取感兴趣区域的SIFT特征集，最后将特征点与视觉单词进行相似度比较，用相似度较高的视觉单词替代特征点，得到描述矢量，利用描述矢量进行图像分类。该方法不受光照变化、遮挡、尺度变化等的影响，能准确检测与识别船只目标。申请号为 201510080478.4的专利提出了一种基于多任务拓扑学习的航拍图像快速识别方法。该方法采用多任务学习框架，能够快速识别航拍图像的图像分类，提高了分类精度和效率。但是，以上专利并没有涉及局部方差相似度、稀疏编码和深度置信网络相结合的航拍图像分类方法，目前，尚未见到与本发明相似的相关文献。

发明内容

针对传统航拍图像分类精度不高的问题，本发明提出一种基于无监督深度空间特征编码的航拍图像分类方法。能够有效地提取航拍图像的特征，提高航拍图像的分类精度。

为实现上述目的，本发明采用下述技术方案：

一种基于无监督深度空间特征编码的航拍图像分类方法，包括如下步骤：

(1)输入航拍图像：

输入任意一幅待分类的航拍图像，并在航拍图像样本中随机选取80％的样本作为训练样本，随机选取20％的样本作为测试样本；

(2)特征提取：

将SIFT特征作为特征描述子，采用dense-SIFT算法提取航拍图像的特征，得到特征向量X＝[x₁,x₂,...,x_n]，n为采样次数；

(3)字典构建：

利用字典学习法构建航拍图像样本的字典D，为下一步特征稀疏表示做准备；

(4)改进稀疏表示：

将局部方差相似度引入稀疏编码，并用改进的稀疏编码方法对特征向量X＝[x₁,x₂,...,x_n]进行稀疏表示，得到稀疏特征向量Z＝[z₁,z₂,...,z_n]；

(5)特征池化：

采用平均特征池化方法对稀疏特征向量进行池化，得到最终的池化稀疏特征向量F＝[f₁,f₂,...,f_n]；

(6)构建并训练深度置信网络：

确定深度置信网络层数和每层节点数量，建立深度置信网络。将训练样本集的池化稀疏特征向量F＝[f₁,f₂,...,f_n]输入到深度置信网络中，自底向上无监督的训练和自顶向下有监督的微调相结合，得到训练好的深度置信网络；

(7)航拍图像分类：

利用训练好的深度置信网络对航拍图像测试样本集的池化稀疏特征向量F＝[f₁,f₂,...,f_n]进行分类，得到分类结果。

采用上述技术方案的本发明，与现有技术相比，具有以下优点：

(1)本发明采用稀疏编码理论对提取的SIFT特征进行稀疏表示，使得编码后的图像特征更简洁、更稀疏，符合生物视觉感知原理，有利于后续分类处理，提高分类准确率。

(2)本发明采用局部方差相似度和稀疏编码相结合的改进稀疏编码方式，克服了传统稀疏编码方式忽略图像像素间的相关性和图像空间特征信息的缺点，使得编码后的图像特征更好地保持了原图像中的空间特征信息。

(3)本发明将改进稀疏编码与深度置信网络相结合进行航拍图像分类，运用稀疏特征表示对图像进行低层特征提取和编码，同时利用深度置信网络的分层式架构对提取的低层图像特征进行高层语义表达。这种低层特征提取和高层语义表达相结合的方式克服了航拍图像难以被分类的问题，并提高了分类准确率。

作为优选，本发明更进一步的技术方案是：

步骤(2)所述的对航拍图像进行特征提取，按如下步骤进行：

第一步，按照下式，建立高斯尺度空间，对航拍图像I进行特征点检测，找出一系列尺度不变的特征点a_i：

D(x,y,δ)＝(G(x,y,kδ)-G(x,y,δ))·I(x,y)＝L(x,y,kδ)-L(x,y,δ)

其中，(x,y)是空间坐标，δ是尺度坐标，δ的大小决定图像的平滑程度，G(x,y,δ)为尺度可变高斯函数，

第二步，对每一个特征点a_i，以其为中心确定一个16×16的矩形区域；

第三步，按照下式，计算该区域中每个像素的梯度：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}$

$\mathrm{\θ}(x,y)=arctan\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)$

其中，m(x,y)为梯度信息，θ(x,y)为该梯度下的方向信息；

第四步，将该区域的y轴旋转到特征点的主方向，并将该区域划分为4×4个子区域；

第五步，对每个子区域进行8个方向的梯度直方图统计并进行归一化，得到SIFT特征向 量X＝[x₁,x₂,...,x_n]。

步骤(3)所述的字典构造，按如下步骤进行：

第一步，从X＝[x₁,x₂,...,x_n]中随机挑选特征向量初始化字典D，并令其每一列为单位向量(||D_j||₂＝1，||g||₂为2范数操作)；

第二步，令稀疏矩阵s_i中其他元素设为0；

第三步，按照下式计算，得到字典D：

$\underset{D,s_i}{min}\underset{i=1}{\overset{n}{\Σ}}\left|\right|{\mathrm{Ds}}_i-x_i|{|}_2^2$

其中，min为最小值操作，||g||₂为2范数操作。

步骤(4)所述的稀疏表示，按如下步骤进行：

第一步，初始化学习到的字典D，稀疏矩阵s_i；

第二步，利用局部方差相似度稀疏编码算法求解航拍图像的稀疏特征向量Z＝[z₁,z₂,...,z_n]。为了描述简便，将原始图像块分成N为向量I(i＝1,...,N)，φ_k为向量I中的每一个元素，φ_i,j为基函数矩阵A中的每一个元素，重建的图像块为Y(i＝1,...,N)。

将局部方差相似度引入稀疏编码中，得到改进后的目标函数：

$z_i={\mathrm{\λ}}_1\underset{i=1}{\overset{N}{\Σ}}{(I_i-Y_i)}^2+{\mathrm{\λ}}_2(1-LVS(I,Y\left)\right)+{\mathrm{\λ}}_3\underset{i=1}{\overset{N}{\Σ}}\left|\right|s_i|{|}_1$

其中，λ₁，λ₂，λ₃为权值系数，||g||₁为1范数操作，LVS为局部方差相似度函数：

$LVS=\frac{2{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2}\·\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2}$

其中，μ_x和μ_y为原始特征x和重建特征y的均值，σ_x和σ_y为标准差；

采用交替优化方法求解z_i，即固定一个变量求解另一个变量；定义：

Q₂₁＝2μ_Iμ_Y,Q₂₂＝2σ_Iσ_Y

$Q_{23}={\mathrm{\μ}}_I^2+{\mathrm{\μ}}_Y^2,Q_{24}={\mathrm{\σ}}_I^2+{\mathrm{\σ}}_Y^2,Q_3=\underset{i=1}{\overset{M}{\Σ}}\mathrm{\θ}\left(s_i\right)$

第三步，固定A，采用梯度下降法求解S：

${\▿}_{{\mathrm{\α}}_i}{z}_i={\mathrm{\λ}}_1{\▿}_{{\mathrm{\α}}_i}{Q}_1-{\mathrm{\λ}}_2\frac{Q_{21}\·Q_{22}}{Q_{23}\·Q_{24}}\·(\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{21}}{Q_{21}}+\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{22}}{Q_{22}}-\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{23}}{Q_{23}}-\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{24}}{Q_{24}})+{\mathrm{\λ}}_3{\▿}_{{\mathrm{\α}}_i}{Q}_3$

其中，

${\▿}_{{\mathrm{\α}}_i}{Q}_1=-2\underset{k=1}{\overset{N}{\Σ}}(I_k-Y_k){\mathrm{\φ}}_{k,i},{\▿}_{{\mathrm{\α}}_i}{Q}_{21}=\frac{2}{N}{\mathrm{\μ}}_I\underset{k=1}{\overset{N}{\Σ}}{\mathrm{\φ}}_{k,i}$

${\▿}_{{\mathrm{\α}}_i}{Q}_{22}=\frac{2}{N-1}\underset{k=1}{\overset{N}{\Σ}}\left(\right(I_k-{\mathrm{\μ}}_I\left){\mathrm{\φ}}_{k,i}\right),{\▿}_{{\mathrm{\α}}_i}{Q}_{23}=\frac{2}{N}{\mathrm{\μ}}_Y\underset{k=1}{\overset{N}{\Σ}}{\mathrm{\φ}}_{k,i}$

${\▿}_{{\mathrm{\α}}_i}{Q}_{24}=\frac{2}{N-1}\underset{k=1}{\overset{N}{\Σ}}\left(\right(Y_k-{\mathrm{\μ}}_Y\left){\mathrm{\φ}}_{k,i}\right)$

第四步，固定S，采用梯度法求解A：

${\▿}_{{\mathrm{\φ}}_{i,j}}{z}_i={\mathrm{\λ}}_1{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_1-{\mathrm{\λ}}_2\frac{Q_{21}\·Q_{22}}{Q_{23}\·Q_{24}}(\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{21}}{Q_{21}}+\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{22}}{Q_{22}}-\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{23}}{Q_{23}}-\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{24}}{Q_{24}})$

其中，

$\begin{array}{c}{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_1=-2(I_i-Y_i){\mathrm{\α}}_j{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{21}=\frac{2}{N}{\mathrm{\μ}}_I{\mathrm{\α}}_j,{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{22}=\frac{2}{N-1}(I_k-{\mathrm{\μ}}_I){\mathrm{\α}}_j\\ {\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{23}=\frac{2}{N}{\mathrm{\μ}}_Y{\mathrm{\α}}_j,{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{24}=\frac{2}{N-1}(Y_i-{\mathrm{\μ}}_Y){\mathrm{\α}}_j\end{array}.$

步骤(5)所述的特征池化，按如下公式计算：

$f_i=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{z}_i.$

步骤(6)所述的构建并训练深度置信网络，按如下步骤进行：

第一步，设置网络层数为3层，每层节点数量为50，50，200，随机初始化网络的权值和偏置；

第二步，采用贪婪逐层无监督算法对每一层RBM进行训练，初步更新网络的权值和偏置；

第三步，采用有监督的反向传播算法对整个网络的权值和偏置进行微调，得到训练好的深度置信网络。

附图说明

图1为本发明实施例的流程图；

图2为OT图像集中本发明无稀疏表示的分类准确率混淆矩阵；

图3为OT图像集中本发明有稀疏表示的分类准确率混淆矩阵；

图4为UC Merced图像集中本发明无稀疏表示的分类准确率混淆矩阵；

图5为UC Merced图像集中本发明有稀疏表示的分类准确率混淆矩阵。

具体实施方式

以下结合通过实施例对本发明进行详细说明，但实施例对本发明不做任何形式的限定。

参照图1，一种基于无监督深度空间特征编码的航拍图像分类方法，具体步骤如下：

(1)输入航拍图像：

输入任意一幅待分类的航拍图像，并在航拍图像样本中随机选取80％的样本作为训练样本，随机选取20％的样本作为测试样本。

(2)特征提取：

按照下式，建立高斯尺度空间，对航拍图像I进行特征点检测，找出一系列尺度不变的特征点a_i：

D(x,y,δ)＝(G(x,y,kδ)-G(x,y,δ))·I(x,y)＝L(x,y,kδ)-L(x,y,δ)

其中，(x,y)是空间坐标，δ是尺度坐标，δ的大小决定图像的平滑程度。G(x,y,δ)为尺度可变高斯函数，

以每一个特征点a_i为中心确定一个16×16的矩形区域，并按照下式，计算该区域中每个像素的梯度：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}$

$\mathrm{\θ}(x,y)=arctan\left(\frac{L(x,y+1)-L(x,y-1)}{L(x+1,y)-L(x-1,y)}\right)$

其中，m(x,y)为梯度信息，θ(x,y)为该梯度下的方向信息；

旋转y轴到特征点的主方向，划分区域为4×4的子区域，对每个子区域进行8个方向的梯度直方图统计并进行归一化，得到SIFT特征向量X＝[x₁,x₂,...,x_n]，n为采样次数；

(3)字典构造：

从X＝[x₁,x₂,...,x_n]中随机挑选特征向量，并令||D_j||₂＝1(||g||₂为2范数操作)，稀疏矩阵 按照下式计算，得到字典D：

$\underset{D,s_i}{min}\underset{i=1}{\overset{n}{\Σ}}\left|\right|{\mathrm{Ds}}_i-x_i|{|}_2^2$

其中，min为最小值操作，||g||₂为2范数操作。

(4)利用局部方差相似度稀疏编码算法求解航拍图像的稀疏特征向量Z＝[z₁,z₂,...,z_n]。为了描述简便，将原始图像块分成N为向量I(i＝1,...,N)，φ_k为向量I中的每一个元素，φ_i,j为基函数矩阵A中的每一个元素，重建的图像块为Y(i＝1,...,N)；

将局部方差相似度引入稀疏编码中，得到改进后的目标函数：

$z_i={\mathrm{\λ}}_1\underset{i=1}{\overset{N}{\Σ}}{(I_i-Y_i)}^2+{\mathrm{\λ}}_2(1-LVS(I,Y\left)\right)+{\mathrm{\λ}}_3\underset{i=1}{\overset{N}{\Σ}}\left|\right|s_i|{|}_1$

其中，λ₁，λ₂，λ₃为权值系数，||g||₁为1范数操作，LVS为局部方差相似度函数：

$LVS=\frac{2{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2}\·\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2}$

其中，μ_x和μ_y为原始特征x和重建特征y的均值，σ_x和σ_y为标准差；

采用交替优化方法求解z_i，即固定一个变量求解另一个变量；定义：

Q₂₁＝2μ_Iμ_Y,Q₂₂＝2σ_Iσ_Y

$Q_{23}={\mathrm{\μ}}_I^2+{\mathrm{\μ}}_Y^2,Q_{24}={\mathrm{\σ}}_I^2+{\mathrm{\σ}}_Y^2,Q_3=\underset{i=1}{\overset{M}{\Σ}}\mathrm{\θ}\left(s_i\right)$

首先，固定A，采用梯度下降法求解S：

${\▿}_{{\mathrm{\α}}_i}{z}_i={\mathrm{\λ}}_1{\▿}_{{\mathrm{\α}}_i}{Q}_1-{\mathrm{\λ}}_2\frac{Q_{21}\·Q_{22}}{Q_{23}\·Q_{24}}\·(\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{21}}{Q_{21}}+\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{22}}{Q_{22}}-\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{23}}{Q_{23}}-\frac{{\▿}_{{\mathrm{\α}}_i}{Q}_{24}}{Q_{24}})+{\mathrm{\λ}}_3{\▿}_{{\mathrm{\α}}_i}{Q}_3$

其中：

${\▿}_{{\mathrm{\α}}_i}{Q}_1=-2\underset{k=1}{\overset{N}{\Σ}}(I_k-Y_k){\mathrm{\φ}}_{k,i},{\▿}_{{\mathrm{\α}}_i}{Q}_{21}=\frac{2}{N}{\mathrm{\μ}}_I\underset{k=1}{\overset{N}{\Σ}}{\mathrm{\φ}}_{k,i}$

${\▿}_{{\mathrm{\α}}_i}{Q}_{22}=\frac{2}{N-1}\underset{k=1}{\overset{N}{\Σ}}\left(\right(I_k-{\mathrm{\μ}}_I\left){\mathrm{\φ}}_{k,i}\right),{\▿}_{{\mathrm{\α}}_i}{Q}_{23}=\frac{2}{N}{\mathrm{\μ}}_Y\underset{k=1}{\overset{N}{\Σ}}{\mathrm{\φ}}_{k,i}$

${\▿}_{{\mathrm{\α}}_i}{Q}_{24}=\frac{2}{N-1}\underset{k=1}{\overset{N}{\Σ}}\left(\right(Y_k-{\mathrm{\μ}}_Y\left){\mathrm{\φ}}_{k,i}\right)$

其次，固定S，采用梯度法求解A：

${\▿}_{{\mathrm{\φ}}_{i,j}}{z}_i={\mathrm{\λ}}_1{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_1-{\mathrm{\λ}}_2\frac{Q_{21}\·Q_{22}}{Q_{23}\·Q_{24}}(\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{21}}{Q_{21}}+\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{22}}{Q_{22}}-\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{23}}{Q_{23}}-\frac{{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{24}}{Q_{24}})$

其中：

${\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_1=-2(I_i-Y_i){\mathrm{\α}}_j{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{21}=\frac{2}{N}{\mathrm{\μ}}_I{\mathrm{\α}}_j,{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{22}=\frac{2}{N-1}(I_k-{\mathrm{\μ}}_I){\mathrm{\α}}_j$

${\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{23}=\frac{2}{N}{\mathrm{\μ}}_Y{\mathrm{\α}}_j,{\▿}_{{\mathrm{\φ}}_{i,j}}{Q}_{24}=\frac{2}{N-1}(Y_i-{\mathrm{\μ}}_Y){\mathrm{\α}}_j.$

(5)特征池化：

按如下公式计算，得到最终的池化稀疏特征向量F＝[f₁,f₂,...,f_n]，其中：

$f_i=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{z}_i.$

(6)构造并训练深度置信网络：

设置网络层数为3层，每层节点数量为50，50，200，随机初始化网络的权值和偏置。将训练样本集的池化稀疏特征向量F＝[f₁,f₂,...,f_n]输入到深度置信网络中，采用贪婪逐层无监督算法对每一层RBM进行训练，并采用反向传播算法对整个网络的权值和偏置进行微调，得到训练好的深度置信网络。

(7)航拍图像分类：

利用训练好的深度置信网络对航拍图像测试样本集的池化稀疏特征向量F＝[f₁,f₂,...,f_n]进行分类，得到分类结果。

本实施例的发明效果可以通过以下实验进一步说明：

实验1：在OT图像数据集上的实验。

OT图像集包含8类图像，分别为：(1)Forest.(2)Mountain.(3)Open Country.(4)Coast.(5)Highway.(6)City.(7)Tall Building.(8)Street。将发明与Newsam等人提出的视觉词袋方法(BoVW)、Lazebnik等人提出的空间金字塔匹配方法(SPMK)和Cheriyadat等人提出的稀疏编码与支持向量机相结合的方法(SC+SVM)进行对比，同时，为了验证稀疏表示的有效性，对本发明的有无稀疏表示过程进行了比较。实验结果如表1所示。每次实验都重复10次，取平均值作为最终的实验结果。

表1 OT图像集分类结果对比

分类方法	BoVW	SPMK	SC+SVM	无稀疏表示	有稀疏表示
						分类准确率	76.87％	79.12％	85.62％	84.73％	86.23％

从表1可以看出，本发明在航拍图像上的分类准确率要高于上述3种方法，展现了良好的分类性能。此外，与无稀疏表示相比，加入稀疏表示提高了分类准确率，验证了用改进稀疏编码进行稀疏表示的有效性。

图2、图3展示了OT图像集每类的分类情况。如图2和图3所示，本发明的错分类别主要来自于那些具有相似结构特征的场景，如street和highway。而具有规则结构和空间特征的场景，如forest、coast和tall building等，具有较高的分类准确率，验证了本发明的合理性和有效性。

实验2：在UC Merced图像数据集上的实验。

UC Merced图像集是由美国地质调查局(USGS)收集的航拍图像集，该图像集包含21类256×256像素的图像，分别为：(1)Agricultural.(2)Airplane.(3)Base-balldiamond.(4)Beach.(5)Buildings.(6)Chaparral.(7)Dense residential.(8)Forest.(9)Freeway.(10)Golf course.(11)Harbor.(12)Intersection.(13)Medium residential.(14)Mobile home park.(15)Overpasses.(16)Parking lot.(17)River.(18)Runway.(19)Sparse residential.(20)Storage tanks.(21)Tennis court，每类图像集有100张图像。

同样，与上述3种方法进行比较，实验结果如表2所示。

表2 UC Merced图像集分类结果对比

分类方法	BoVW	SPMK	SC+SVM	无稀疏表示	有稀疏表示
						分类准确率	71.86％	74％	81.67％	81.15％	82.07％

从表2可以看出，与其他3种方法相比，本发明方法的分类准确率有显著提高，验证了本发明的有效性。此外，与无稀疏表示相比，加入稀疏表示提高了分类准确率，进一步验证了用改进稀疏编码进行稀疏表示的有效性。

图4、图5展示了OT图像集每类的分类情况。如图4和图5所示，本发明的错分类别主要来自于那些具有相似结构特征的场景，如buildings、Sparse residential和Storagetanks。而具有规则结构和空间特征的场景，如Agricultural,Chaparral,和Harbor，具分类准确率较高，进一步验证了本发明的合理性和有效性。

以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (6)

1.一种基于无监督深度空间特征编码的航拍图像分类方法，其特征在于，包括以下步骤：

(1)输入航拍图像：

输入任意一幅待分类的航拍图像，并在航拍图像样本中随机选取80％的样本作为训练样本，随机选取20％的样本作为测试样本；

(2)特征提取：

将SIFT特征作为特征描述子，采用dense-SIFT算法提取航拍图像的特征，得到特征向量X＝[x₁,x₂,...,x_n]，n为采样次数；

(3)字典构建：

利用字典学习法构建航拍图像样本的字典D，为下一步特征稀疏表示做准备；

(4)改进稀疏表示：

将局部方差相似度引入稀疏编码，并用改进的稀疏编码方法对特征向量X＝[x₁,x₂,...,x_n]进行稀疏表示，得到稀疏特征向量Z＝[z₁,z₂,...,z_n]；

(5)特征池化：

采用平均特征池化方法对稀疏特征向量进行池化，得到最终的池化稀疏特征向量F＝[f₁,f₂,...,f_n]；

(6)构建并训练深度置信网络：

确定深度置信网络层数和每层节点数量，建立深度置信网络；将训练样本集的池化稀疏特征向量F＝[f₁,f₂,...,f_n]输入到深度置信网络中，自底向上无监督的训练和自顶向下有监督的微调相结合，得到训练好的深度置信网络；

(7)航拍图像分类：

利用训练好的深度置信网络对航拍图像测试样本集的池化稀疏特征向量F＝[f₁,f₂,...,f_n]进行分类，得到分类结果。

2.根据权利要求书1所述的基于无监督深度空间特征编码的航拍图像分类方法，其特征在于，步骤(2)所述的对航拍图像进行特征提取，按如下步骤进行：

第一步，按照下式，建立高斯尺度空间，对航拍图像I进行特征点检测，找出一系列尺度不变的特征点a_i：

D(x,y,δ)＝(G(x,y,kδ)-G(x,y,δ))·I(x,y)＝L(x,y,kδ)-L(x,y,δ)

其中，(x,y)是空间坐标，δ是尺度坐标，δ的大小决定图像的平滑程度，G(x,y,δ)为尺度可变高斯函数，

第二步，对每一个特征点a_i，以其为中心确定一个16×16的矩形区域；

第三步，按照下式，计算该区域中每个像素的梯度：

其中，m(x,y)为梯度信息，θ(x,y)为该梯度下的方向信息；

第四步，将该区域的y轴旋转到特征点的主方向，并将该区域划分为4×4个子区域；

第五步，对每个子区域进行8个方向的梯度直方图统计并进行归一化，得到SIFT特征向量X＝[x₁,x₂,...,x_n]。

3.根据权利要求书1所述的基于无监督深度空间特征编码的航拍图像分类方法，其特征在于，步骤(3)所述的字典构建，按如下步骤进行：

第一步，从X＝[x₁,x₂,...,x_n]中随机挑选特征向量初始化字典D，并令其每一列为单位向量(‖D_j‖₂＝1，‖g||₂为2范数操作)；

第二步，令稀疏矩阵s_i中其他元素设为0；

第三步，按照下式计算，得到字典D：

其中，min为最小值操作，‖g||₂为2范数操作。

4.根据权利要求书1所述的基于无监督深度空间特征编码的航拍图像分类方法，其特征在于，步骤(4)所述的稀疏表示，按如下步骤进行：

第一步，初始化学习到的字典D，稀疏矩阵s_i；

第二步，利用局部方差相似度稀疏编码算法求解航拍图像的稀疏特征向量Z＝[z₁,z₂,...,z_n]。为了描述简便，将原始图像块分成N为向量I(i＝1,...,N)，φ_k为向量I中的每一个元素，φ_i,j为基函数矩阵A中的每一个元素，重建的图像块为Y(i＝1,...,N)；

将局部方差相似度引入稀疏编码中，得到改进后的目标函数：

其中，λ₁，λ₂，λ₃为权值系数，||g||₁为1范数操作，LVS为局部方差相似度函数：

其中，μ_x和μ_y为原始特征x和重建特征y的均值，σ_x和σ_y为标准差；

采用交替优化方法求解z_i，即固定一个变量求解另一个变量；定义：

Q₂₁＝2μ_Iμ_Y,Q₂₂＝2σ_Iσ_Y

第三步，固定A，采用梯度下降法求解S：

其中，

第四步，固定S，采用梯度法求解A：

其中，

5.根据权利要求书1所述的基于无监督深度空间特征编码的航拍图像分类方法，其特征在于，步骤(5)所述的特征池化，按如下公式计算：

6.根据权利要求书1所述的基于无监督深度空间特征编码的航拍图像分类方法，其特征在于，步骤(6)所述的构建并训练深度置信网络，按如下步骤进行：

第一步，设置网络层数为3层，每层节点数量为50，50，200，随机初始化网络的权值和偏置；

第二步，采用贪婪逐层无监督算法对每一层RBM进行训练，初步更新网络的权值和偏置；

第三步，采用有监督的反向传播算法对整个网络的权值和偏置进行微调，得到训练好的深度置信网络。