CN105740894A - 一种高光谱遥感图像的语义标注方法 - Google Patents

Abstract

一种高光谱遥感图像的语义标注方法，其步骤如下：一：通过高光谱遥感图像的光谱信息和标注真值得到高光谱遥感图像的训练数据和测试数据；二：根据高光谱遥感图像的波段数构造卷积神经网络；三：通过训练数据对卷积神经网络进行训练得到卷积神经网络模型；四：通过卷积神经网络模型对测试数据进行分类得到语义标注结果；五：根据语义标注结果构造条件随机场模型的一元势能函数；六：在邻域中用基于改进马氏距离的边缘约束模型构造条件随机场模型的二元势能函数；七：对条件随机场模型进行一元势能函数和二元势能函数的权重调节；八：对条件随机场模型进行求解得到语义标注结果；通过以上步骤，实现了对高光谱遥感图像进行语义标注的方法。

Description

一种高光谱遥感图像的语义标注方法

技术领域

本发明涉及一种高光谱遥感图像的语义标注方法，属于图像处理技术领域。

背景技术

随着高光谱遥感成像技术的快速发展，高光谱遥感图像语义标注作为遥感图像信息提取的一种重要手段，在灾害监测、农业调查、城市规划和军事探测等诸多领域发挥着极为重要的作用。然而，高光谱遥感图像包含的信息量巨大、光谱特征维度高、纹理复杂、结构和边缘细节丰富、不同类别间训练样本数的不平衡，这些特点为高光谱遥感图像语义标注带来了极大的困难，因此研究高效可行的高光谱遥感图像语义标注算法具有十分重要的理论和研究价值。

国内外学者针对高光谱遥感图像语义标注的研究主要分为两类：第一类是通过主成分分析、流形学习等降维方法，将原始的高维光谱特征变换到一个较低维的特征空间中，再用多光谱图像的分类方法进行处理；第二类是用支持向量机等针对高维特征的分类器，直接对原始的高维光谱向量进行分类处理。在现有的这些算法中，利用支持向量机对高维特征进行分类被公认为最有效的一种思路。该算法流程图如图1所示。现有方法由于只利用了高光谱图像的光谱信息，而没有充分利用图像中所包含的空间上下文信息，因此得到的高光谱遥感图像语义标注结果经常包含较多的孤立噪声点，标注结果中区域的边缘细节保留得也不够准确。

发明内容

(1)发明目的：有鉴于此，本发明实施例期望提供一种高光谱遥感图像的语义标注方法，至少能解决现有高光谱遥感图像语义标注方法存在的因忽略图像空间上下文信息而导致的噪声等技术问题。

(2)技术方案：本发明实施例提供了一种高光谱遥感图像的语义标注方法，应用于包含两种以上地物类别的高光谱遥感图像。

本发明一种高光谱遥感图像的语义标注方法，其步骤如下：

步骤一：通过所述高光谱遥感图像的光谱信息和标注真值得到所述高光谱遥感图像的训练数据和测试数据；

步骤二：通过所述高光谱遥感图像的波段数构造卷积神经网络；

步骤三：通过所述训练数据对所述卷积神经网络进行训练得到卷积神经网络模型；

步骤四：通过所述卷积神经网络模型对测试数据进行分类得到语义标注结果；

步骤五：根据所述语义标注结果构造条件随机场模型的一元势能函数；

步骤六：在邻域中用基于改进马氏距离的边缘约束模型构造所述条件随机场模型的二元势能函数；

步骤七：对所述条件随机场模型进行一元势能函数和二元势能函数的权重调节；

步骤八：对所述条件随机场模型进行求解得到调节后的语义标注结果。

其中，在步骤一中所述的“通过所述高光谱遥感图像的光谱信息和标注真值得到所述高光谱遥感图像的训练数据和测试数据”，其作法按如下步骤进行：

(1)对所述高光谱遥感图像的光谱信息进行归一化处理，归一化后的数据区间为[-1,1]；

(2)将所述经归一化的高光谱遥感图像的每一类随机分配设定个样本点，将所述样本点构造为训练数据；

(3)将所述经归一化的高光谱遥感图像全体像素构造为测试数据；

其中，在步骤二中所述的“通过所述高光谱遥感图像的波段数构造卷积神经网络”，其作法按如下步骤进行：

(1)根据第一预设参数分别构造输入层、卷积层、池化层、全连接层和输出层，具体过程如下：

设训练样本点的波段数为n₁，输入层与卷积层之间的滤波器个数为m，卷积层的滤波器大小为k₁，池化层滤波器大小为k₂，则卷积层每一个特征图的维数为n₂＝n₁-k₁+1，卷积层共包含m×n₂个节点；池化层每一个特征的维数为n₃＝n₂/k₂，池化层共包含m×n₃个节点；全连接层含n⁴个节点；输出层含有n⁵个节点，且n₅必须等于该高光谱遥感图像的物类数。

(2)根据所述第一预设参数初始化相邻层之间的权重矩阵。

其中，在步骤三中所述的“通过所述训练数据对卷积神经网络进行训练得到卷积神经网络模型”，其作法按如下步骤进行：

(1)根据第二预设参数计算卷积神经网络的训练批次；

(2)根据所述训练批次对卷积神经网络进行前向传导、反向传导和梯度下降优化，完成一次迭代。其中前向传导、反向传导和梯度下降的具体实施方法见后面所述；

(3)根据预设的迭代次数完成卷积神经网络的训练，得到卷积神经网络模型。

上面步骤(2)中所述的“前向传导”的处理过程如下：

步骤二的分步骤(1)中所述的输入层与卷积层之间的计算公式为：

$a_j^l=f(\underset{i\∈Q}{\Σ}{a}_i^{l-1}*k_{ij}^l+b_j^l)$

其中，l是层数的索引，为输入层数据，为卷积层数据，Q为输入层数据集合，为第i个像素点的光谱特征与第j个特征图之间的权重矩阵，为偏置项，*为卷积操作，f为激活函数；

步骤二的分步骤(1)中所述的卷积层与池化层之间的计算过程为：

$a_j^l=f\left({\mathrm{\β}}_j^{l}down\right(a_j^{l-1})+b_j^l)$

其中，为卷积层数据，为池化层数据，为乘积因子，down(·)为下采样函数，这里采用平均值池化；

步骤二的分步骤(1)中所述的全连接层将池化层所有输出拼接成一个大的向量；

步骤二的分步骤(1)中所述的输出层对全连接层进行激活处理得到训练数据的输出概率；

上面步骤(2)中所述的“反向传导”的处理过程如下：

构造卷积神经网络的整体代价函数：

$J(k,b;x,y)=\frac{1}{2}\left|\right|h_{k,b}\left(x\right)-y|{|}^2$

$J(k,b)=\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\left(\frac{1}{2}\right|\left|h_{k,b}\right(x_i)-y_i|{|}^2)$

其中，J(k,b)为整体代价函数，m为训练样本的个数，h_k,b(x_i)为训练样本i的输出概率；

对所述输出层的每个输出单元i计算残差：

${\mathrm{\δ}}_i^{\left(n_l\right)}=\frac{\∂}{\∂z_i^{\left(n_l\right)}}\frac{1}{2}\left|\right|h_{k,b}\left(x_i\right)-y_i|{|}^2=-(y_i-a_i^{\left(n_l\right)})\·f^{\′}\left(z_i^{\left(n_l\right)}\right)$

其中，为输出层的单元i所对应的残差，为输出层的单元i所对应的输入加权和；

对第l＝n_l-1,n_l-2,n_l-3,...,2的各个层，第i个节点的残差计算过程为：

${\mathrm{\δ}}_i^{\left(l\right)}=\left(\underset{j=1}{\overset{s_{l+1}}{\Σ}}{k}_{ji}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)f^{\′}\left(z_i^{\left(l\right)}\right)$

对权重矩阵和偏置项计算偏导数：

$\frac{\∂}{\∂k_{ij}^{\left(l\right)}}J(k,b;x,y)=a_j^{\left(l\right)}{\mathrm{\δ}}_i^{(l+1)}$

$\frac{\∂}{\∂b_i^{\left(l\right)}}J(k,b;x,y)={\mathrm{\δ}}_i^{(l+1)}$

其中，为权重矩阵的偏导，为偏置项的偏导；

上面步骤(2)中所述的“梯度下降”的处理过程包括：

$k_{ij}^{\left(l\right)}=k_{ij}^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂k_{ij}^{\left(l\right)}}J(k,b;x,y)$

$b_i^{\left(l\right)}=b_i^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂b_i^{\left(l\right)}}J(k,b;x,y)$

其中，为更新后的权重矩阵，为更新后的偏置项，α为学习速率。

其中，在步骤四中所述的“通过所述卷积神经网络模型对测试数据进行测试得到语义标注结果”，其作法按如下步骤进行：

(1)通过所述卷积神经网络模型对所述测试数据进行一次前向传导得到卷积神经网络的分类结果；

(2)根据所述分类结果提取测试数据对应的分类概率。

其中，在步骤五中所述的“根据所述语义标注结果构造条件随机场模型中的一元势能函数”包括：

根据所述分类概率计算条件随机场的一元势能函数：

${\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})=-\underset{k=1}{\overset{L}{\Σ}}logP(y_i=k|x_i,\mathrm{\θ})$

其中P(y_i＝k|x_i,θ)即为所述分类概率。

其中，在步骤六中所述的“在邻域中用基于改进马氏距离的边缘约束模型构造条件随机场模型中的二元势能函数”包括：

对所述经归一化的高光谱遥感图像的每一个样本点在八邻域中计算其二元势能函数如下：

$\mathrm{\φ}(y_i,y_j,x_i,x_j)=\left\{\begin{array}{cc}-1& y_i=y_j\\ \exp (-\frac{D(x_i,x_j)}{2{\mathrm{\δ}}^2})-1& y_i\≠y_j\end{array}\right.$

其中，D(x_i,x_j)为改进的马氏距离，δ²为(x_i-x_j)^T(x_i-x_j)在整幅高光谱遥感图像上的均值。

其中，在步骤七中所述的“对所述条件随机场模型进行一元势能函数和二元势能函数的权重调节”包括：

固定一元势能函数的权重，采用五折交叉验证来调节二元势能函数的权重。

其中，在步骤八中所述的“对所述条件随机场模型进行求解得到调节后的语义标注结果”，其作法按如下步骤进行：

(1)使用最大流-最小割算法对条件随机场进行求解，得到所述高光谱遥感图像的调节后的语义标注结果；

(2)对所述调节后的语义标注结果进行精度统计、混淆矩阵计算和可视化处理。

其中，步骤(1)中所述“使用最大流-最小割算法对条件随机场进行图模型求解”的处理过程包括：

$P\left(y\right|x,\mathrm{\η})\∝\exp \{-{\mathrm{\λ}}_1\underset{i\∈V}{\Σ}{\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})-{\mathrm{\λ}}_2\underset{i\∈V}{\Σ}\underset{j\∈N_i}{\Σ}{\mathrm{\φ}}_{ij}(y_i,y_j,x_i,x_j)\}$

其中，P(y|x,η)为条件随机场的整体能量，λ₁为一元势能函数的权重因子，λ₂为二元势能函数的权重因子，y^*为使得P(y|x,η)能量最大的标注结果。

通过以上步骤，本发明实现了一种利用卷积神经网络和条件随机场模型来对高光谱遥感图像进行语义标注的方法。

(3)优点：本发明所提供的高光谱遥感图像的语义标注方法，对高光谱遥感图像构造卷积神经网络和条件随机场，能根据高光谱遥感图像的特点自动进行图像特征学习和分类器最优化；利用条件随机场对图像上下文信息的建模，本发明实施例所得到的高光谱遥感图像的语义标注结果相对于传统语义标注方法的结果，去掉了大量的孤立噪声点，具有较好的区域连续性。本发明实施例所提出的方法适用于不同种类、不同传感器类型的高光谱遥感图像。

附图说明

图1是现有高光谱遥感图像的语义标注方法的流程图。

图2是本发明实施例提供的高光谱遥感图像的语义标注方法的流程图。

图3是本发明实施例中卷积神经网络的构造过程示意图。

图4是本说明实施例中前向传导的过程示意图。

具体实施方式

下面结合实施例来说明本发明。所举实施例中的结构，在图中标注了特定的尺寸、结构和器件，但这仅为示意需要，并非意图将本发明限定在该特定尺寸、结构、器件和环境中；既使将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在本发明权利要求书所述的保护范围之中。

实施例1

为了解决现有高光谱图像语义标注方法(现有方法流程图如图1所示)存在的因忽略图像空间上下文信息而导致的标注噪声等技术问题，本发明实施例提供了一种高光谱遥感图像的语义标注方法，应用于包含两种和两种以上地物类别的高光谱遥感图像，如图2所示。

本发明一种高光谱遥感图像的语义标注方法，其步骤如下：

步骤一：通过高光谱遥感图像的光谱信息和标注真值得到所述高光谱遥感图像的训练数据和测试数据。

本实施例所述的高光谱遥感图像是指通过遥感卫星传感器捕获的包含几十个甚至上百个波段信息的遥感图像。高光谱图像的光谱分辨率和空间分辨率较高，包含几十到上百个波段的信息，同时边缘和结构细节丰富，为后续的图像处理和分析工作带来了极大的困难。

本实施例将高光谱遥感图像的光谱特征进行归一化处理，结合真值图像提取训练数据和测试数据。

步骤二：通过所述高光谱遥感图像的波段数构造卷积神经网络。

根据高光谱图像的波段数初始化卷积神经网络的卷积层和池化层，使得所述语义标注方法对包含不同波段数的高光谱图像均能适用。

步骤三：根据训练数据对卷积神经网络进行训练得到卷积神经网络模型。

训练数据经过卷积、池化、全连接和输出等过程，完成一次前向传导，其中卷积和池化相当于对高光谱图像进行特征提取，而全连接和输出相当于分类器对特征进行分类；反向传导以训练误差最小的原则迭代地计算误差函数相对于权重矩阵和偏置项的偏导；同时，梯度下降利用所述偏导进行权重矩阵和偏置项的更新，使得整体误差越来越小，最终获得训练好的各层之间的权重矩阵和偏置项，即卷积神经网络模型。

步骤四：通过卷积神经网络模型对测试数据进行测试得到语义标注结果。

利用卷积神经网络模型对测试数据做一次前向传导得到卷积神经网络的分类结果。分类结果包括根据地物类别进行分类的语义标注图像以及被分类为对应的地物类别的概率。

步骤五：根据卷积神经网络的语义标注结果构造条件随机场模型中的一元势能函数。

根据卷积神经网络输出的分类概率构造条件随机场的一元势能函数。

步骤六：在邻域中用基于改进马氏距离的边缘约束模型构造条件随机场模型中的二元势能函数。

常用的领域系统包括四邻域和八邻域，其中八邻域对空间上下文建模的效果更佳，因此本发明实施例选用八邻域来计算二元势能函数。

步骤七：对条件随机场模型进行一元势能函数和二元势能函数的权重调节。

固定一元势能函数的权重为1，采用五折交叉验证对二元势能函数的权重进行调节。

步骤八：对条件随机场模型进行求解得到语义标注结果。

使用最大流-最小割算法对条件随机场进行求解，得到高光谱遥感图像语义标注结果。

本发明实施例利用高光谱遥感图像的光谱特征构造卷积神经网络，同时进行特征提取和初始的语义标注，并进一步利用卷积神经网络和基于改进马氏距离的边缘约束模型构造条件随机场来对空间上下文信息建模。通过分片学习策略和最大流-最小割算法进行模型学习和求解，改进了初始的语义标注。能根据高光谱遥感图像的特点自动进行图像特征学习和分类器最优化，适用于不同场景、不同分辨率、不同传感器的高光谱遥感图像。

具体的，步骤一中所述的“通过所述高光谱遥感图像的光谱信息和标注真值得到所述高光谱遥感图像的训练数据和测试数据”包括：

(1)：对高光谱遥感图像进行归一化处理，归一化后的数据区间为[-1,1]；

所述归一化过程为： $x_i=\frac{2(x_i-min(x))}{max\left(x\right)-\min \left(x\right)}-1;$

其中，x_i为第i个训练样本点，x为所有训练样本点的集合，max(x)为求样本矩阵中的最大值，min(x)为求样本矩阵中的最小值。

(2)：对经归一化的高光谱遥感图像的每种地物类别随机分配预设数量的样本点，将样本点构造为训练数据。

不同的高光谱遥感图像包含不同数量的地物类别。从图像中每种地物类别包含的所有样本点中，随机选出预设数量的样本点作为训练样本，将所有地物类别的训练样本连接为矩阵，即为训练数据。

(3)：用经归一化的高光谱遥感图像构造测试数据。

将上述每种地物类别的训练数据以外的样本点构造为测试数据，连接为矩阵形式，同时记录每个样本点对应的地物类别的真值。

步骤二中所述的“通过高光谱遥感图像的波段数构造卷积神经网络”的过程为：

(1)：根据第一预设参数分别构造输入层、卷积层、池化层、全连接层和输出层。

第一预设参数包括训练样本点的波段数为n₁，输入层与卷积层之间的滤波器个数为m，卷积层的滤波器大小为k₁，池化层滤波器大小为k₂，全连接层的节点数n₄，那么，卷积层每一个特征图的维数为n₂＝n₁-k₁+1，卷积层共包含m×n₂个节点；池化层每一个特征的维数为n₃＝n₂/k₂，池化层共包含m×n₃个节点；全连接层含n₄个节点；输出层含有n₅个节点，n₅等于该高光谱遥感图像的地物类别的数量。

(2)：根据第一预设参数初始化相邻层之间的滤波器权重。

根据上述描述，初始化m个滤波器所构成的权重矩阵，其中每个元素初始化为[-0.5,0.5]之间的随机数。

步骤三中所述的“通过所述训练数据对所述卷积神经网络进行训练得到卷积神经网络模型”具体包括：

(1)：根据第二预设参数计算卷积神经网络的训练批次。

(2)：根据训练批次对卷积神经网络进行前向传导、反向传导和梯度下降优化，完成一次迭代。

(3)：根据预设的迭代次数完成卷积神经网络的训练，得到卷积神经网络模型。

第二预设参数可以是训练样本的分组数量，根据该分组数量计算出每一批参加训练的样本数量；或者第二预设参数也可以是每一批参数训练的样本数量，并计算出训练样本的分组数量(参加训练的批次)。

步骤四中所述的“通过所述卷积神经网络模型对测试数据进行测试得到语义标注结果”具体包括：

(1)：通过所述卷积神经网络模型对测试数据进行一次前向传导得到卷积神经网络的分类结果。

(2)：根据所述分类结果提取测试数据对应的分类概率。

步骤五中所述的“根据所述语义标注结果构造条件随机场模型的一元势能函数”具体包括：

根据所述分类概率计算条件随机场的一元势能函数；

所述一元势能函数计算过程为：

${\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})=-\underset{k=1}{\overset{L}{\Σ}}logP(y_i=k|x_i,\mathrm{\θ});$

其中P(y_i＝k|x_i,θ)即为所述分类概率。

步骤六中所述的“在邻域中用基于改进马氏距离的边缘约束模型构造所述条件随机场模型的二元势能函数”具体包括：

所述基于改进马氏距离的边缘约束模型的二元势能函数求取过程为：

${\mathrm{\φ}}_i(y_i,y_j,x_i,x_j)=\left\{\begin{array}{cc}-1;& y_i=y_j\\ \exp (-\frac{D(x_i,x_j)}{2{\mathrm{\δ}}^2})-1;& y_i\≠y_j\end{array}\right.$

其中φ(y_i,y_j,x_i,x_j)为基于改进马氏距离的边缘约束模型的二元势能函数，用稀疏矩阵来表示；x_i为当前样本点的光谱特征，y_i为样本点i(即当前样本点)的标注类别，x_j为样本点i在八邻域中样本点(即样本点j)的光谱特征，y_j为样本点j的标注类别，D(x_i,x_j)为在样本点i和样本点j的光谱特征上计算的改进的马氏距离，δ²为(x_i-x_j)^T(x_i-x_j)在整幅高光谱遥感图像上的均值，其求取过程为：

${\mathrm{\δ}}^2=\frac{1}{8N}{\Σ}_{i=1}^N{(x_i-x_j)}^T(x_i-x_j);$

D(x_i,x_j)的求取过程为：

$D(x_i,x_j)=\frac{D_M(x_i,x_j)}{\left|Corr(x_i,x_j)\right|}$

$D_M(x_i,x_j)=\sqrt{{(x_i,x_j)}^T{\Σ}^{-1}(x_i,x_j)}$

$Corr(x_i,x_j)=\frac{{\Σ}_{u=v=1}^d(x_{iu}-{\stackrel{\‾}{x}}_i)(x_{jv}-{\stackrel{\‾}{x}}_j)}{\sqrt{{\Σ}_{u=1}^d{(x_{iu}-{\stackrel{\‾}{x}}_i)}^2}\sqrt{{\Σ}_{v=1}^d{(x_{jv}-{\stackrel{\‾}{x}}_j)}^2}}$

步骤七中所述的“对所述条件随机场模型进行一元势能函数和二元势能函数的权重调节”具体包括：

固定一元势能函数的权重，采用五折交叉验证来调节二元势能函数的权重。

通过调节二元势能函数的权重来调节分类结果中的语义标注图像的平滑度，去除图像中的噪点，使图像中的区域连续性更佳，同时防止平滑过度而造成图像细节的丢失。

步骤八中所述的“对所述条件随机场模型进行求解得到调节后的语义标注结果”具体包括：

(1)：使用最大流-最小割算法对条件随机场进行求解，得到高光谱遥感图像的语义标注结果；

所述求解过程为：

$P\left(y\right|x,\mathrm{\η})\∝\exp \{-{\mathrm{\λ}}_1\underset{i\∈V}{\Σ}{\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})-{\mathrm{\λ}}_2\underset{i\∈V}{\Σ}\underset{j\∈N_i}{\Σ}{\mathrm{\φ}}_{ij}(y_i,y_j,x_i,x_j)\};$

其中，P(y|x,η)为条件随机场的整体能量，λ₁为单点能量的权重因子(即一元势能函数的权重值，λ₂为双点能量的权重因子(即二元势能函数的权重值)，y^*为使得P(y|x,η)能量最大的标注结果。

(2)：对所述语义标注结果进行精度统计、混淆矩阵计算和可视化处理。

通过精度统计对每种地物类别下的总体分类精度进行统计，得到分类正确的比例；通过混淆矩阵计算出每种地物类别下分类正确的点数。可视化处理是获取语义标注结果对应的类别标签并转化为每种类别标签所对应的颜色。

本实施例方法用高光谱遥感图像的光谱特征构造卷积神经网络，进行特征选择和分类器学习，并进一步利用卷积神经网络和基于改进马氏距离的边缘约束模型构造条件随机场来对空间上下文信息建模。该方法通过分片学习策略和最大流-最小割算法进行模型学习和求解，适用于不同场景、不同分辨率、不同传感器的高光谱遥感图像。

实施例2

本实施例根据一个实际的场景对本发明进行详细说明。

本实施例方法包括以下步骤：

(1)生成图像的训练数据和测试数据。

将遥感卫星捕获的高光谱遥感图像输入到计算机中，对图像的光谱特征进行归一化处理，所用公式如下：

$x_i=\frac{2(x_i-min(x))}{max\left(x\right)-\min \left(x\right)}-1;$

其中，x_i为第i个训练样本点，x为所有训练样本点的集合，max(x)为求样本矩阵中的最大值，min(x)为求样本矩阵中的最小值。

高光谱图像的数据集一般仅有一张图像。每张图像包含一定数量的地物类别，每个地物类别包含数量不等的样本点。从每个地物类别中选择设定个样本点作为训练数据，其余样本点作为测试数据，同时记录每一个测试样本点对应的标注类别真值，该真值作测试阶段计算准确率使用。

(2)构造卷积神经网络。

本步骤的过程为：

根据样本的波段数设定输入样本大小为n₁，设定输入层与卷积层之间的滤波器个数为m，设定该滤波器的维数为k₁，设定池化层滤波器的维数为k₂，计算卷积层每一个特征图的维数为n₂＝n₁-k₁+1，在[-0.5,0.5]区间内，初始化m×(k₁+1)个滤波器参数；卷积层和池化层之间没有参数；在[-0.5,0.5]区间内，初始化池化层和全连接层之间的m×(n₃+1)×n₄个参数，其中池化层每一个特征的维数为n₃＝n₂/k₂，池化层共包含m×n₃个节点；全连接层包含n₄个节点，n₄为设定值；在[-0.5,0.5]区间内，初始化全连接层和输出层之间的(n₄+1)×n₅个参数，n₅为数据集中包含的地物类别数，如图3所示。

(3)训练卷积神经网络。

本步骤的过程为：

a，将训练数据分成s份，每次训练一份，s份训练完代表一次迭代结束，共迭代t次；

b，一次前向传导过程如图4所示：

一个输入样本点V0与滤波器权重W1进行卷积操作得到特征V1，该过程的作用为捕捉图像局部特征，对特征V1中k₂个元素进行平均值采样得到V2，池化操作相当于对特征做尺度不变性变换，使得池化结果适应于不同尺度的特征，将所有V2串接起来得到V3，V3与权重W3经过激活函数的处理得到分类结果。

c，一次反向传导的计算过程为：

由输出h_k,b(x)计算整体代价计算第l层上的第i个节点的残差：

${\mathrm{\δ}}_i^{\left(l\right)}=\left\{\begin{array}{cc}-(y_i-a_i^{\left(n_l\right)})\·f^{\′}\left(z_i^{\left(n_l\right)}\right);& l=n_l\\ \left(\underset{j=1}{\overset{s_{l+1}}{\Σ}}{k}_{ji}^{\left(l\right)}{\mathrm{\δ}}_j^{(l+1)}\right)f^{\′}\left(z_i^{\left(l\right)}\right);& others\end{array}\right.$

计算偏导数：

$\frac{\∂}{\∂k_{ij}^{\left(l\right)}}J(k,b;x,y)=a_j^{\left(l\right)}{\mathrm{\δ}}_i^{(l+1)}$

$\frac{\∂}{\∂b_i^{\left(l\right)}}J(k,b;x,y)={\mathrm{\δ}}_i^{(l+1)}$

d，梯度下降的计算过程为：

$k_{ij}^{\left(l\right)}=k_{ij}^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂k_{ij}^{\left(l\right)}}J(k,b)$

$b_i^{\left(l\right)}=b_i^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂b_i^{\left(l\right)}}J(k,b)$

e，完成卷积神经网络模型的训练：

根据设定迭代次数t，经过t次前向传导、反向传导和梯度下降，得到卷积神经网络模型。

(4)对高光谱图像的测试数据进行测试。

根据上述模型，对测试数据做一次前向传导，即可得到卷积神经网络在测试数据上的分类结果。

(5)构造条件随机场的一元势能函数。

根据上述分类结果可以得到分类概率，对分类概率取负对数可以构造一元势能函数，计算过程为：

${\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})=-\underset{k=1}{\overset{L}{\Σ}}logP(y_i=k|x_i,\mathrm{\θ})$

其中P(y_i＝k|x_i,θ)即为所述分类概率。

(6)构造条件随机场的二元势能函数。

所述基于改进马氏距离的边缘约束模型的求取过程为：

$\mathrm{\φ}(y_i,y_j,x_i,x_j)=\left\{\begin{array}{cc}-1;& y_i=y_j\\ \exp (-\frac{D(x_i,x_j)}{2{\mathrm{\δ}}^2})-1;& y_i\≠y_j\end{array}\right.$

其中，φ(y_i,y_j,x_i,x_j)为基于改进马氏距离的边缘约束模型，用稀疏矩阵来表示；x_i为当前样本点的光谱特征，y_i为样本点i的标注类别，x_j为样本点i的八邻域中样本点的光谱特征，y_j为样本点j的标注类别，D(x_i,x_j)为在样本点i和样本点j的光谱特征上计算的改进的马氏距离，δ²为(x_i-x_j)^T(x_i-x_j)在整幅高光谱遥感图像上的均值，其求取过程为：

${\mathrm{\δ}}^2=\frac{1}{8N}{\Σ}_{i=1}^N{(x_i-x_j)}^T(x_i-x_j)$

D(x_i,x_j)的求取过程为：

$D(x_i,x_j)=\frac{D_M(x_i,x_j)}{\left|Corr(x_i,x_j)\right|}$

$D_M(x_i,x_j)=\sqrt{{(x_i,x_j)}^T{\Σ}^{-1}(x_i,x_j)}$

$Corr(x_i,x_j)=\frac{{\Σ}_{u=v=1}^d(x_{iu}-{\stackrel{\‾}{x}}_i)(x_{jv}-{\stackrel{\‾}{x}}_j)}{\sqrt{{\Σ}_{u=1}^d{(x_{iu}-{\stackrel{\‾}{x}}_i)}^2}\sqrt{{\Σ}_{v=1}^d{(x_{jv}-{\stackrel{\‾}{x}}_j)}^2}}$

(7)调节条件随机场模型的一元势能函数和二元势能函数之间的权重。

固定一元势能函数的权重，采用五折交叉验证来调节二元势能函数的权重。

(8)对条件随机场模型求解得到语义标注结果。

采用最大流-最小割算法对上述条件随机场进行求解，得到最终的语义标注结果。

通过现有方法和本实施例方法对高光谱遥感图像进行语义标注：现有方法得到的语义标注结果图中包含很多孤立噪声点，语义标注精度不够理想；而本实施例方法得到语义标注结果中，各地物类别区域的平滑程度和连续性都比现有方法有明显提高，语义标注精度也有明显提高。

本发明采用卷积和池化的方法对高光谱遥感图像的局部特征进行提取，通过用卷积神经网络和条件随机场模型对高光谱遥感图像建模，充分利用了高光谱遥感图像的光谱信息，并深入发掘图像各样本点之间的空间相关性，同时二元势能函数中的边缘约束模型考虑了光谱之间的局部相关性。经过本方法得到的高光谱遥感图像语义标注结果，准确率较高，具有实际的应用效果；通过构造卷积神经网络可实现对高光谱图像特征的自动提取，通过池化操作可以使图像特征具有尺度不变性，同时通过前向传导、反向传导和梯度下降达到自动学习模型参数的效果，整个学习过程简单快捷，提高了算法的实用性；采用相对简单的计算公式和算法流程，时间复杂度较小，执行速度较快，具有较高的效率。本发明方法可用于遥感卫星捕获的高光谱遥感图像的语义标注，具有广阔的应用价值和市场前景。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种高光谱遥感图像的语义标注方法，其特征在于：该语义标注方法的实施步骤如下：

步骤一：通过所述高光谱遥感图像的光谱信息和标注真值得到所述高光谱遥感图像的训练数据和测试数据；

步骤二：通过所述高光谱遥感图像的波段数构造卷积神经网络；

步骤三：通过所述训练数据对所述卷积神经网络进行训练得到卷积神经网络模型；

步骤四：通过所述卷积神经网络模型对测试数据进行分类得到语义标注结果；

步骤五：根据所述语义标注结果构造条件随机场模型的一元势能函数；

步骤六：在邻域中用基于改进马氏距离的边缘约束模型构造所述条件随机场模型的二元势能函数；

步骤七：对所述条件随机场模型进行一元势能函数和二元势能函数的权重调节；

步骤八：对所述条件随机场模型进行求解得到调节后的语义标注结果；

通过以上步骤，实现了一种利用卷积神经网络和条件随机场模型来对高光谱遥感图像进行语义标注的方法。

2.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤一中所述的“通过所述高光谱遥感图像的光谱信息和标注真值得到所述高光谱遥感图像的训练数据和测试数据”，其作法按如下步骤进行：

(1)对所述高光谱遥感图像的光谱信息进行归一化处理，归一化后的数据区间为[-1,1]；

(2)将所述经归一化的高光谱遥感图像的每一类随机分配设定个样本点，将所述样本点构造为训练数据；

(3)将所述经归一化的高光谱遥感图像全体像素构造为测试数据。

3.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤二中所述的“通过所述高光谱遥感图像的波段数构造卷积神经网络”，其作法按如下步骤进行：

(1)根据第一预设参数分别构造输入层、卷积层、池化层、全连接层和输出层，具体过程如下：

设训练样本点的波段数为n₁，输入层与卷积层之间的滤波器个数为m，卷积层的滤波器大小为k₁，池化层滤波器大小为k₂，则卷积层每一个特征图的维数为n₂＝n₁-k₁+1，卷积层共包含m×n₂个节点；池化层每一个特征的维数为n₃＝n₂/k₂，池化层共包含m×n₃个节点；全连接层含n₄个节点；输出层含有n₅个节点，且n₅必须等于该高光谱遥感图像的物类数；

(2)根据所述第一预设参数初始化相邻层之间的权重矩阵。

4.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤三中所述的“通过所述训练数据对卷积神经网络进行训练得到卷积神经网络模型”，其作法按如下步骤进行：

(1)根据第二预设参数计算卷积神经网络的训练批次；

(2)根据所述训练批次对卷积神经网络进行前向传导、反向传导和梯度下降优化，完成一次迭代；其中前向传导、反向传导和梯度下降的具体实施方法见下面所述；

(3)根据预设的迭代次数完成卷积神经网络的训练，得到卷积神经网络模型；

上面步骤(2)中所述的“前向传导”是对步骤二中提到的“输入层、卷积层、池化层、全连接层和输出层”进行操作，具体实施方法如下：

所述的输入层与卷积层之间的计算公式为：

$a_j^l=f(\underset{i\∈Q}{\Σ}{a}_i^{l-1}*k_{ij}^l+b_j^l)$

其中，l是层数的索引，为输入层数据，为卷积层数据，Q为输入层数据集合，为第i个像素点的光谱特征与第j个特征图之间的权重矩阵，为偏置项，*为卷积操作，f为激活函数；

所述的卷积层与池化层之间的计算过程为：

$a_j^l=f\left({\mathrm{\β}}_j^{l}down\right(a_j^{l-1})+b_j^l)$

其中，为卷积层数据，为池化层数据，为乘积因子，down(·)为下采样函数，这里采用平均值池化；

所述的全连接层将池化层所有输出拼接成一个大的向量；

所述的输出层对全连接层进行激活处理得到训练数据的输出概率；

上面步骤(2)中所述的“反向传导”的具体实施方法如下：

构造卷积神经网络的整体代价函数：

$J(k,b;x,y)=\frac{1}{2}\left|\right|h_{k,b}\left(x\right)-y|{|}^2$

$J(k,b)=\frac{1}{m}\underset{i=1}{\overset{m}{\Σ}}\left(\frac{1}{2}\right|\left|h_{k,b}\right(x_i)-y_i\left|{|}^2\right)$

其中，J(k,b)为整体代价函数，m为训练样本的个数，h_k,b(x_i)为训练样本i的输出概率；

对所述输出层的每个输出单元i计算残差：

${\mathrm{\δ}}_i^{\left(n_l\right)}=\frac{\∂}{\∂z_i^{\left(n_l\right)}}\frac{1}{2}\left|\right|h_{k,b}\left(x_i\right)-y_i|{|}^2=-(y_i-a_i^{\left(n_l\right)})\·f^{\′}\left(z_i^{\left(n_l\right)}\right)$

其中，为输出层的单元i所对应的残差，为输出层的单元i所对应的输入加权和；

对第l＝n_l-1,n_l-2,n_l-3,...,2的各个层，第i个节点的残差计算过程为：

${\mathrm{\δ}}_i^{\left(l\right)}=\left(\underset{j=1}{\overset{s_{l+1}}{\Σ}}{k}_{ji}^{\left(l\right)}{\mathrm{\δ}}_j^{\left(l+1\right)}\right)f^{\′}\left(z_i^{\left(l\right)}\right)$

对权重矩阵和偏置项计算偏导数：

$\frac{\∂}{\∂k_{ij}^{\left(l\right)}}J(k,b;x,y)=a_j^{\left(l\right)}{\mathrm{\δ}}_i^{\left(l+1\right)}$

$\frac{\∂}{\∂b_i^{\left(l\right)}}J(k,b;x,y)={\mathrm{\δ}}_i^{(l+1)}$

其中，为权重矩阵的偏导，为偏置项的偏导；

上面步骤(2)中所述的“梯度下降”的具体实施方法包括：

$k_{ij}^{\left(l\right)}=k_{ij}^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂k_{ij}^{\left(l\right)}}J(k,b;x,y)$

$b_i^{\left(l\right)}=b_i^{\left(l\right)}-\mathrm{\α}\frac{\∂}{\∂b_i^{\left(l\right)}}J(k,b;x,y)$

其中，为更新后的权重矩阵，为更新后的偏置项，α为学习速率。

5.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤四中所述的“通过所述卷积神经网络模型对测试数据进行测试得到语义标注结果”，其作法按如下步骤进行：

(1)通过所述卷积神经网络模型对所述测试数据进行一次前向传导得到卷积神经网络的分类结果；

(2)根据所述分类结果提取测试数据对应的分类概率。

6.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤五中所述的“根据所述语义标注结果构造条件随机场模型中的一元势能函数”，它包括：

根据所述分类概率计算条件随机场的一元势能函数：

${\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})=-\underset{k=1}{\overset{L}{\Σ}}\log P,(y_i=k|x_i,\mathrm{\θ})$

其中P(y_i＝k|x_i,θ)即为所述分类概率。

7.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤六中所述的“在邻域中用基于改进马氏距离的边缘约束模型构造条件随机场模型中的二元势能函数”，它包括：

对所述经归一化的高光谱遥感图像的每一个样本点在八邻域中计算其二元势能函数如下：

$\mathrm{\φ}(y_i,y_j,x_i,x_j)=\left\{\begin{array}{cc}-1& y_i=y_j\\ \exp (-\frac{D(x_i,x_j)}{2{\mathrm{\δ}}^2})-1& y_i\≠y_j\end{array}\right.$

其中，D(x_i,x_j)为改进的马氏距离，δ²为(x_i-x_j)^T(x_i-x_j)在整幅高光谱遥感图像上的均值。

8.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤七中所述的“对所述条件随机场模型进行一元势能函数和二元势能函数的权重调节”，它包括：

固定一元势能函数的权重，采用五折交叉验证来调节二元势能函数的权重。

9.根据权利要求1所述的一种高光谱遥感图像的语义标注方法，其特征在于：在步骤八中所述的“对所述条件随机场模型进行求解得到调节后的语义标注结果”，其作法按如下步骤进行：

(1)使用最大流-最小割算法对条件随机场进行求解，得到所述高光谱遥感图像的调节后的语义标注结果；

(2)对所述调节后的语义标注结果进行精度统计、混淆矩阵计算和可视化处理；

其中，步骤(1)中所述“使用最大流-最小割算法对条件随机场进行图模型求解”的处理过程包括：

$P\left(y\right|x,\mathrm{\η})\∝\exp \{-{\mathrm{\λ}}_1\underset{i\∈V}{\Σ}{\mathrm{\φ}}_i(y_i,x_i,\mathrm{\θ})-{\mathrm{\λ}}_2\underset{i\∈V}{\Σ}\underset{j\∈N_i}{\Σ}{\mathrm{\φ}}_{ij}(y_i,y_j,x_i,x_j)\}$

其中，P(y|x,η)为条件随机场的整体能量，λ₁为一元势能函数的权重因子，λ₂为二元势能函数的权重因子，y^*为使得P(y|x,η)能量最大的标注结果。