CN106845381A - 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法 - Google Patents

Abstract

本发明涉及一种基于双通道卷积神经网络(Dual Channel Convolutional Neural Network，DC‑CNN)的空谱联合的高光谱图像分类方法，针对高光谱图像数据为三维结构的特点，采用一维卷积网络(1D‑CNN)通道和二维卷积网络(2D‑CNN)通道相结合的方式，提取空谱特征完成高光谱图像的空谱联合分类。针对高光谱图像人工标记数据较少的问题，采用适合高光谱图像的数据扩充方法，增加训练样本的规模，提高卷积网络的训练效率，减少过拟合问题。

Description

基于双通道卷积神经网络的空谱联合的高光谱图像分类方法

技术领域

本发明属于遥感信息处理技术领域，涉及一种高光谱图像的分类方法，尤其涉及一种基于双通道卷积神经网络的空谱联合的高光谱图像分类方法。

背景技术

高光谱遥感图像光谱分辨率高、成像波段多、信息量大，在遥感应用领域得到广泛应用。高光谱图像分类技术是高光谱图像处理技术中的重要内容，主要包含特征提取及分类两个步骤，其中从原高光谱图像中提取用特征，该步骤对高光谱图像的分类精度影响巨大：如果所提取的分类特征的鲁棒性强，能够大幅提高分类精度；相反，鲁棒性较差的分类特征则会明显降低分类效果。

近几年，深度学习在特征提取方面成绩显著。为了提高高光谱图像分类精度，各种深度模型被引入到高光谱图像的分类中来，并在谱特征的基础上，引入空间特征，利用深度学习模型，自主提取高光谱图像的空谱特征，有效提高了高光谱图像分类精度。

然而，现有的利用深度模型提取高光谱图像空谱特征的方法，在引入空间特征的时候，会在一定程度上忽视谱特征。同时，存在着邻域信息选取范围过大，导致分类效果出现过平滑，分类结果图不精确的问题。此外，现有的深度模型所含参数较多，需要的训练样本也比较多，对人工标记数据较少时的高光谱图像的分类也带来一定的限制。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于双通道卷积神经网络的空谱联合的高光谱图像分类方法，利用双通道网络，同时提取高光谱图像的空间特征和谱特征，并将二者有机结合，利用深度学习自主学习的优势，自动提取高光谱图像的空谱深度特征以提高分类精度。同时提出数据扩充方法，克服高光谱图像人工标记数据较少时容易过拟合的问题。

技术方案

一种基于双通道卷积神经网络的空谱联合的高光谱图像分类方法，其特征在于步骤如下：

步骤1：对输入的高光谱图像数据，依照公式对进行归一化操作；其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，x_··smax、x_··smin分别表示表示三维高光谱图像在s波段的最大值和最小值；

步骤2：对每个待分类的像元，提取八邻域范围内的所有信息作为该像元的谱数据样本L表示谱段总数；通过PCA降维将图像压缩，以该像元为中心提取邻域范围41×41内的信息作为该像元的空间数据样本

步骤3：从步骤2中提取出来的数据中随机抽取含有标签的数据样本作为DC-CNN的训练数据样本，随机抽取的数量为有标签数据总量的百分之五到百分之十；

步骤4构建DC-CNN：

网络整体结构为两部分，第一部分包含1D-CNN和2D-CNN，其中1D-CNN包含三层一维卷积层，卷积方向沿着谱方向进行；每层卷积层后连接一一维池化层，第三层池化层后依次连接一层全连接层和一层分类层，一共八层网络；2D-CNN包含三层二维卷积层，卷积在空间上进行；每层卷积层后连接一二维池化层，第三层池化层后依次连接一层全连接层和一层分类层，一共八层网络；第二部分包含两层全连接网络，第一层为输入层，第二层是分类层，分类层采用softmax计算损失；

步骤5、网络预训练：采用随机梯度下降算法对1D-CNN和2D-CNN进行训练，训练完成之后1D-CNN和2D-CNN分别具备提取深度谱特征和深度空间特征的能力；

步骤6、网络调优：通过步骤5中训练好的1D-CNN和2D-CNN，提取训练数据的谱特征和空间特征，结合提取出的谱特征和空间特征构成训练数据的空谱特征，以训练数据的空谱特征为输入，训练网络的全连接层；

步骤7：将待分类的数据依次通过训练好的1D-CNN和2D-CNN，特征融合，训练好的全连接层，最终根据全连接层的输出确定待分类数据的类别，完成高光谱图像空谱联合分类。

所述步骤5网络预训练为：

步骤5a)前向运算为卷积层前向运算，激励函数前向运算，分类器前向运算三部分，其中一维卷积层前向运算的公式为：

表示卷积运算之后，网络第l层，第j个特征向量上x位置上的值。b_l,j是第l层，第j个特征向量的偏置；f(·)表示激励函数，m是第(l-1)层特征向量的索引；表示连接到第(l-1)层第m个特征向量的位于卷积核位置h的值。H_l表示核的长度；

二维卷积层前向运算的公式为：

第(l-1)层第m个特征向量的位于卷积核位置(h,w)的值；H_l和W_l分别表示卷积核的高和宽。激励函数采用ReLU，分类器采用softmax；

步骤5b)反向求导对应于前向运算：对卷积层的求导，对激励函数的求导，对分类器的求导；

步骤5c)卷积核更新：计算出卷积核的偏导之后对卷积核进行更新的一步操作，更新公式如下：

k_l+1＝k_l+v_l+1

l表示迭代次数，ε表示学习率，学习率选取0.01。

有益效果

本发明提出的一种基于双通道卷积神经网络(Dual Channel ConvolutionalNeural Network，DC-CNN)的空谱联合的高光谱图像分类方法，针对高光谱图像数据为三维结构的特点，采用一维卷积网络(1D-CNN)通道和二维卷积网络(2D-CNN)通道相结合的方式，提取空谱特征完成高光谱图像的空谱联合分类。针对高光谱图像人工标记数据较少的问题，采用适合高光谱图像的数据扩充方法，增加训练样本的规模，提高卷积网络的训练效率，减少过拟合问题。

本发明的有益效果在于：1)构建出适用于三维结构的高光谱图像数据的DC-CNN模型，利用深度网络模型自主提取空谱深度特征，省去了人为预先设定特征的麻烦；2)基于DC-CNN的高光谱图像空谱联合分类方法，即扩展了深度学习的应用范围，也为高光谱图像分类提供了新思路。3)提出的数据扩充方法一定程度上减缓了深度学习需要大量训练数据和高光谱图像人工标记数据较少的矛盾，减小了过拟合问题。4)提高了高光谱图像分类精度。

附图说明

图1：本发明的流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

步骤1输入高光谱图像数据，依照公式对对数据进行归一化操作。其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，现有的高光谱图像一般包含100-240个谱段，x_··smax、x_··smin分别表示表示三维高光谱图像在s波段的最大值和最小值。

步骤2提取原始的谱数据样本和空间数据样本。对每个待分类的像元，提取八邻域范围内的所有信息作为该像元的谱数据样本L表示谱段总数。通过PCA降维压缩数据，保留前三主成分的信息，即将原始高光谱图像压缩到三维，以该像元为中心提取邻域范围41×41内的信息作为该像元的空间数据样本

步骤3从步骤2中提取出来的数据样本中随机抽取少量的含有标签的数据作为DC-CNN的训练数据样本，一般选取有标签数据总量的百分之五到百分之十作为训练数据样本。

步骤4构建DC-CNN并利用训练数据样本对DC-CNN进行训练。网络整体结构分为两部分，第一部分包含1D-CNN和2D-CNN两部分，其中1D-CNN包含三层一维卷积层(卷积方向沿着谱方向进行)，每层卷积层后连接一一维池化层，第三层池化层后依次连接一层全连接层和一层分类层，一共八层网络，一维卷积核的长度分别依次设置为3,7,5。2D-CNN包含三层二维卷积层(卷积在空间平面上进行)，每层卷积层后连接一二维池化层，第三层池化层后依次连接一层全连接层和一层分类层，一共八层网络，二维卷积核的尺寸依次设置为3×3，7×7，5×5。第二部分包含两层全连接网络，第一层为输入层，第二层是分类层，分类层采用softmax计算损失。网络的整体运算主要包含预训练，调优两阶段，每阶段包含前向运算，反向求导，参数更新三部分操作。

步骤5网络预训练。采用随机梯度下降算法分别对1D-CNN和2D-CNN进行训练，训练完成之后1D-CNN和2D-CNN分别具备提取深度谱特征和深度空间特征的能力。卷积网络的训练主要包含前向运算，反向求导，卷积核更新三部分操作：

5a)前向运算主要分为卷积层前向运算，激励函数前向运算，分类器前向运算三部分，其中一维卷积层前向运算的公式为：

表示卷积运算之后，网络第l层，第j个特征向量上x位置上的值。b_l,j是第l层，第j个特征向量的偏置。f(·)表示激励函数，m是第(l-1)层特征向量的索引。表示连接到第(l-1)层第m个特征向量的位于卷积核位置h的值。H_l表示核的长度。二维卷积层前向运算的公式为：

第(l-1)层第m个特征向量的位于卷积核位置(h,w)的值。H_l和W_l分别表示卷积核的高和宽。激励函数采用ReLU，分类器采用softmax。

5b)反向求导对应于前向运算，也包含对卷积层的求导，对激励函数的求导，对分类器的求导。对卷积层前向运算公式及激励函数前向运算公式求导按照基础的数学公式即可推导得到。

5c)卷积核更新是在反向求导运算完成，计算出卷积核的偏导之后对卷积核进行更新的一步操作，更新公式如下：

k_l+1＝k_l+v_l+1

l表示迭代次数，ε表示学习率，学习率一般选取0.01。

步骤6网络调优。通过步骤5中训练好的1D-CNN和2D-CNN，提取训练数据的谱特征和空间特征，结合提取出的谱特征和空间特征构成训练数据的空谱联合特征。以训练数据的空谱联合特征为输入，采用随机梯度下降算法训练网络的全连接层。

步骤7将待分类的数据首先通过训练好的1D-CNN和2D-CNN得到深度谱特征和空间特征，其次连接谱特征和空间特征得到空谱特征，最后将空谱特征输入到训练好的全连接层。最终根据全连接层的输出确定待分类数据的类别，完成高光谱图像的空谱联合分类。

Claims (2)

1.一种基于双通道卷积神经网络的空谱联合的高光谱图像分类方法，其特征在于步骤如下：

步骤1：对输入的高光谱图像数据，依照公式对进行归一化操作；其中x_ijs表示高光谱图像中的一个像元，i、j分别表示该像元位于高光谱图像中的坐标位置，s表示高光谱图像的谱段，x_··smax、x_··smin分别表示表示三维高光谱图像在s波段的最大值和最小值；

步骤2：对每个待分类的像元，提取八邻域范围内的所有信息作为该像元的谱数据样本L表示谱段总数；通过PCA降维将图像压缩，以该像元为中心提取邻域范围41×41内的信息作为该像元的空间数据样本

步骤3：从步骤2中提取出来的数据中随机抽取含有标签的数据样本作为DC-CNN的训练数据样本，随机抽取的数量为有标签数据总量的百分之五到百分之十；

步骤4构建DC-CNN：

网络整体结构为两部分，第一部分包含1D-CNN和2D-CNN，其中1D-CNN包含三层一维卷积层，卷积方向沿着谱方向进行；每层卷积层后连接一一维池化层，第三层池化层后依次连接一层全连接层和一层分类层，一共八层网络；2D-CNN包含三层二维卷积层，卷积在空间上进行；每层卷积层后连接一二维池化层，第三层池化层后依次连接一层全连接层和一层分类层，一共八层网络；第二部分包含两层全连接网络，第一层为输入层，第二层是分类层，分类层采用softmax计算损失；

步骤5、网络预训练：采用随机梯度下降算法对1D-CNN和2D-CNN进行训练，训练完成之后1D-CNN和2D-CNN分别具备提取深度谱特征和深度空间特征的能力；

步骤6、网络调优：通过步骤5中训练好的1D-CNN和2D-CNN，提取训练数据的谱特征和空间特征，结合提取出的谱特征和空间特征构成训练数据的空谱特征，以训练数据的空谱特征为输入，训练网络的全连接层；

步骤7：将待分类的数据依次通过训练好的1D-CNN和2D-CNN，特征融合，训练好的全连接层，最终根据全连接层的输出确定待分类数据的类别，完成高光谱图像空谱联合分类。

2.根据权利要求1所述基于双通道卷积神经网络的空谱联合的高光谱图像分类方法，其特征在于：所述步骤5网络预训练为：

步骤5a)前向运算为卷积层前向运算，激励函数前向运算，分类器前向运算三部分，其中一维卷积层前向运算的公式为：

$v_{l,j}^x=f(\underset{m}{\Σ}\underset{h=0}{\overset{H_l-1}{\Σ}}{k}_{l,j,m}^h{v}_{(l-1),m}^{(x+h)}+b_{l,j})$

表示卷积运算之后，网络第l层，第j个特征向量上x位置上的值。b_l,j是第l层，第j个特征向量的偏置；f(·)表示激励函数，m是第(l-1)层特征向量的索引；表示连接到第(l-1)层第m个特征向量的位于卷积核位置h的值。H_l表示核的长度；

二维卷积层前向运算的公式为：

${\mathrm{map}}_{l,j}^{x,y}=f(\underset{m}{\Σ}\underset{h=0}{\overset{H_l-1}{\Σ}}\underset{w=0}{\overset{W_l-1}{\Σ}}{k}_{l,j,m}^{h,w}{\mathrm{map}}_{(l-1),m}^{(x+h),(y+w)}+b_{l,j})$

第(l-1)层第m个特征向量的位于卷积核位置(h,w)的值；H_l和W_l分别表示卷积核的高和宽；激励函数采用ReLU，分类器采用softmax；

步骤5b)反向求导对应于前向运算：对卷积层的求导，对激励函数的求导，对分类器的求导；

步骤5c)卷积核更新：计算出卷积核的偏导之后对卷积核进行更新的一步操作，更新公式如下：

$v_{l+1}=0.9\·v_l-0.0005\·\mathrm{\ϵ}\·k_l-\mathrm{\ϵ}\·\frac{\∂J}{\∂k}{|}_{k_l}$

k_l+1＝k_l+v_l+1

l表示迭代次数，ε表示学习率，学习率选取0.01。