CN113139515A - 基于条件随机场和深度特征学习的高光谱图像分类方法 - Google Patents

Abstract

本发明公开一种基于条件随机场和深度特征学习的高光谱图像分类方法，该方法首先对输入的高光谱数据集进行归一化处理，接着采用3D‑CNN神经网络获取高光谱影像光谱‑空间特征，然后应用3D‑CNN生成特征图，利用3D‑CNN的输出特征在框架中引入基于3D‑CNN的深度CRF，扩展基于3D‑CNN的深层CRF架构来计算CRF的一元势函数和二元势函数；再根据后验概率对特征图进行粗分类，采用平均场近似算法来计算最大后验边界推理的CRF分布；最后对粗分类的分类图基于反卷积神经网络进行改进分类。本发明可以处理整个光谱通道的光谱信息和空间信息，有效获取基于三维数据立方体区域之间的语义相关性，并利用反卷积神经网络来提高模型最终的分类性能。

Description

基于条件随机场和深度特征学习的高光谱图像分类方法

技术领域

本发明涉及高光谱图像处理与应用技术领域，尤其涉及一种基于条件随机场和深度特征学习的高光谱图像分类方法。

背景技术

高光谱成像技术是在给定的光谱范围内获取并分析相邻光谱波段图像的一种影像数据技术。高光谱图像数据相比其他类型的遥感数据能够提取更准确更详细的光谱信息，有利于对具有相似光谱特征的图像进行识别和分类。也可以利用图像的光谱信息，通过高光谱遥感图像空间邻域内光谱特征的变化，在一个像素点的邻域内找到它们的空间关系，从而提取图像的空间细节信息，组成光谱-空间融合特征模型使图像分类结果更精确。基于这些优势，高光谱成像已成为在农业、矿物学、监测和环境科学等领域具有广泛应用的一种遥感技术。

即便如此，对于高光谱图像分类的研究依旧面临着诸多挑战。光谱波段维数大与训练样本不足之间的不平衡是影响分类性能的主要因素。并且对于同类型目标，若仅利用光谱信息，算法无法捕捉到光谱特征空间的显著变化，因而其性能也并不理想。基于一些关键问题尚未得到解决，高光谱图像分析在实际应用中依然存在很大的缺陷。

发明内容

针对上述现有技术的不足，本发明提供一种基于条件随机场和深度特征学习的高光谱图像分类方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于条件随机场和深度特征学习的高光谱图像分类方法，包括如下步骤：

步骤1：输入待分类的高光谱原始数据集；

步骤2：对输入的高光谱数据集进行归一化处理，得到归一化处理后的高光谱数据集H为：

其中，s＝m×j为一个m行j列的高光谱影像的像素点个数，g表示高光谱影像的波段数，h_sg表示第g个波段的第s个像素点；

步骤3：输入归一化处理后的数据集H，在经过计算误差和训练更新后得到参数θ_λ，获取高光谱影像光谱-空间特征，具体过程如下：

步骤3.1：输入高光谱数据集H，T个目标标签{Y₁,Y₂,Y₃,...,Y_T},在3D-CNN神经网络中迭代R次；

步骤3.2：对于每个在波长λ的数据立方体进行卷积运算，计算误差并更新参数，过程如下：

步骤3.2.1：当前迭代次数b∈(1,R)时：对训练样本i∈(1,T)进行卷积运算，产生中间特征图；

步骤3.2.2：计算softmax函数，首先输入到softmax分类器，公式如下所示：

其中，o是网络最后一层的输出，k表示第k个元素，a为softmax函数输出；

步骤3.2.3：进行误差的计算，如下公式所示：

E＝y_i-a

其中，y_i为真实输出值，E为输出误差值；

步骤3.2.4：通过反向传播误差计算梯度

其中o_j为最后一层网络第j个元素的输出；

步骤3.2.5：使用梯度下降法更新网络参数θ_λ，如下所示：

其中，η是学习率，w_ij为第i层第j个输出。

步骤3.3：输出训练后的CNN参数θ_λ；3D-CNN经过训练后学习到的θ_λ参数包含波长λ∈B的光谱通道的每个波段组的不同信息；

步骤4：应用3D-CNN生成特征图，过程如下：

步骤4.1：将原始的B波段图像划分为几幅由相邻的L波段组成的图像，其中L<<B；

步骤4.2：将三维卷积滤波器应用于步骤4.1划分后的L波段组图像进行滤波操作，便于检测图像特征；

步骤4.3：进行3D卷积运算：设(x,y)在空间维度上定义一个位置，z为光谱维度上的带指数，对每个像素标签的滤波器输出进行加权求和，3D-CNN模型如下，给出了第c个特征图上某个位置(x,y,z)的值：

其中，l表示当前层；m是在第(l-1)层即当前层的上一层的特征图的数量；j表示当前内核数量；i是当前与第l层的特征图相连的第(l-1)层的特征图；

为前一层与第i个特征图相连的核的第(p,q,r)个值；P_l和Q_l分别是是核的高度和宽度，R_l表示核的大小和谱维数，b_lj为第l层第j个特征图的偏置；

将前一层的特征图与当前层的内核进行卷积，计算出特征图上某个位置空间坐标(x,y,z)的特征映射

步骤4.4：特征映射经过池化层和激活函数，由数据立方体组成的特征映射转化成一维特征向量，输入到一个全连接层，该层提取最终学习到的深度光谱空间特征，过程如下：

步骤4.4.1：对特征映射进行池化操作：对输入的特征图进行压缩，简化网络计算复杂度，提取主要特征，计算图像区域的平均值作为该区域池化后的值；

池化操作后输出图像大小为：

其中，W为图像宽度，H为图像高度，D为图像深度即通道数，卷积核的尺寸为F×F，S为步长；

步骤4.4.2：池化后的数据立方体经由ReLU激活函数进行操作，激活函数形式如下：

f(x)＝max(0,x)

其中，x为输入值；

步骤4.4.3：对激活后的数据立方体进行降维处理，输入到全连接层，全连接层连接所有的特征，将输出值送给softmax分类器进行归一化，该层提取最终学习到的深度光谱空间特征D＝{d₁,d₂,...,d_t}。

步骤5：利用3D-CNN的输出特征在框架中引入基于3D-CNN的深度CRF，扩展基于3D-CNN的深层CRF架构来计算CRF的一元势函数和二元势函数，过程如下：

步骤5.1：定义CRF模型：

其中，由步骤3得到的网络参数θ_λ通过波长λ进行学习；(E(n,v_(d,λ)；θ_λ)是模拟输入的某个像素点v兼容程度的能量函数；v由波长为λ的空间坐标d＝{x,y}定义，并具有特定的预测类别标记n；Z(v_(d,λ))＝∑exp[-E(n,v_(d,λ)；θ_λ)]是配分函数，

为归一化因子；

步骤5.2：在CRF中建模像素之间的关系，构造能量函数：

其中，M为像素/节点的数量，N为CRF图中节点之间边的总数，φ是计算单个像素的一元势函数，ψ是基于相邻像素之间的兼容性确定的二元势函数；

步骤5.3：计算代表CRF中节点的每个像素的一元势函数φ：

φ(n_p,v_p；θ_λ)＝-logP(n_p|v_p；θ_λ)

其中，n_p为第p个像素点所属类，v_p为第p个像素点，网络参数θ_λ将在整个光谱通道的三维CNNs堆栈中进行调整；

步骤5.4：通过将两个相邻像素的特征向量连接起来的方法得到高光谱图像的边缘特征，得到二元势函数ψ：

其中，μ()通过取可能的像素对组合，编码像素对(v_p,v_q)被标记为(n_p,n_q)的可能性；

应用于3D-CNN对节点的输出值，该节点由初始3D-CNN获得的对应特征向量f_p和f_q描述；θ_λ包含沿整个波长λ二元势函数的三维CNN参数；

步骤5.5：在计算CRF的一元势函数和二元势函数之后，定义CRF的分段目标函数为训练输入-输出对(v,n)，如下所示：

其中，

为目标函数，φ(n_p,v_p；θ_λ)为一元势函数，ψ(n_p,n_q,v_p,v_q；θ_λ)为二元势函数，Z(v)为配分函数；

步骤5.6：根据定义的分段目标函数计算一元势函数的独立似然数P_φ(n_p|v；θ)和二元势函数上的独立似然数P_ψ(n_p,n_q|v；θ_λ)，并输出后验概率：

所述步骤5.6还包括如下过程：

步骤5.6.1：计算一元势函数上的独立似然数P_φ(n_p|v；θ_λ)：

步骤5.6.2：计算二元势函数上的独立似然数P_ψ(n_p,n_q|v；θ_λ)：

步骤6：根据后验概率对特征图进行粗分类，采用平均场近似算法来计算最大后验边界推理的CRF分布，过程如下：

步骤6.1：利用两个高斯核，作用于在坐标d＝{x,y}和波长为λ的像素v强度定义的特征空间，两个像素v_p和v_q则使用由特征向量f_p和f_q定义的双核势函数，过程如下：

步骤6.1.1：第一个高斯核即一元势函数描述了像素邻域的大小和形状，相似度由参数θ_α控制，第一个高斯核的定义是：

其中，k⁽¹⁾(f_p,f_q)为第一个高斯核，w⁽¹⁾为第一个高斯核的权重，v_p,d和v_q,d为像素对，θ_α,d为第一个高斯核参数；

第一个高斯核由如下形式的两个对角协方差矩阵定义，其元素为参数θ_α,d；

步骤6.1.2：第二个高斯核即二元势函数与一元势函数相似，只是用一个额外的参数γ来解释像素在波长λ由空间坐标d定义的区域内的均匀性；第二个高斯核被定义为：

其中，θ_γ,λ为第二个卷积核参数，|v_p,d-v_q,d|是像素p和q之间的空间距离，|v_p,λ-v_q,λ|是它们在谱域上的差值；一元势函数和二元势函数的影响通过它们的权重w⁽¹⁾和w⁽²⁾进行调整。

步骤6.2：在进行权重调整之后，3D-CNN-CRF生成了一个粗分类的分类图；

步骤7：对粗分类的分类图基于反卷积神经网络进行改进分类，过程如下：

步骤7.1：对粗分类分类图反池化操作：在之前的池化过程中，记录下最大池化在对应卷积核中的坐标，在反池化过程中，将一个元素根据卷积核进行放大；恢复感兴趣对象的详细结构并跟踪池化操作期间选择的最大激活数的位置；

步骤7.2：对相应位置进行反卷积操作：使用滤波器加强邻近目标类的激活，抑制来自包含不同类的区域的噪声激活；

如下公式所示输出反卷积后的改进分类结果：

W₂＝S(W₁-1)+F×F-2×P

H₂＝S(H₂-1)+F×F-2×P

C₂＝N

其中，W₂为反卷积后的图像宽度，H₂为反卷积后的图像高度，C₂为反卷积后的图像通道数；卷积核尺寸为F×F，个数为N；卷积运算步长为S，卷积填充大小为P，输入和输出量分别以1和2表示。

采用上述技术方案所产生的有益效果在于：本发明提供的方法采用了基于卷积神经网络CNN和条件随机场CRF相结合的算法框架，考虑CNN多波段深度学习的特征，通过在光谱组上应用3D-CNN生成特征图，利用3D-CNN的输出在框架中引入基于3D-CNN的深度CRF，扩展基于3D-CNN的深层CRF架构来计算CRF的一元势函数和二元势函数建立深度CRF，以此来处理整个光谱通道的光谱信息和空间信息，可以有效获取基于三维数据立方体区域之间的语义相关性，再采用平均场推理算法生成分类图。最后，利用反卷积神经网络来提高模型最终的分类性能。

附图说明

图1为本发明实施例中提供的基于条件随机场和深度特征学习的高光谱图像分类方法的流程图；

图2为本发明实施例中提供的高光谱影像Pavia University数据集的伪彩色影像；

图3为本发明实施例中提供的高光谱影像数据集的地面参考数据；

图4为本发明实施例中提供的采用不同分类方法的分类结果图，其中，(a)为采用WHED方法的分类结果，(b)为采用MPM-LBP-ALL方法的分类结果，(c)为采用MLRsubMLL方法的分类结果，(d)为采用本发明方法的分类结果。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例中基于条件随机场和深度特征学习的高光谱图像分类方法如下所述：

步骤1：输入待分类的高光谱原始数据集；

本实施例中，选取由来源于AVIRIS传感器的高光谱遥感影像数据集PaviaUniversity。Pavia University数据集由反射光学系统成像光谱仪(ROSIS-3)收集。它由610×340像素和115个光谱反射率波段组成，空间分辨率为1.3m，参考图如图2所示。通过去除噪声波段，波段的数量减少到103个。考虑了九个不同种类的土地覆盖情况，高光谱影像数据集的地面参考数据如图3所示。

步骤2：对输入的高光谱数据集进行归一化处理，得到归一化处理后的高光谱数据集H为：

其中，s＝m×j为一个m行j列的高光谱影像的像素点个数，g表示高光谱影像的波段数，h_sg表示第g个波段的第s个像素点；

步骤3：输入归一化处理后的数据集H，在经过计算误差和训练更新后得到参数θ_λ，获取高光谱影像光谱-空间特征，具体过程如下：

步骤3.1：输入高光谱数据集H，T个目标标签{Y₁,Y₂,Y₃,...,Y_T},在3D-CNN神经网络中迭代R次；

步骤3.2：对于每个在波长λ的数据立方体进行卷积运算，计算误差并更新参数，过程如下：

步骤3.2.1：当前迭代次数b∈(1,R)时：对训练样本i∈(1,T)进行卷积运算，产生中间特征图；

步骤3.2.2：计算softmax函数，首先输入到softmax分类器，公式如下所示：

其中，o是网络最后一层的输出，k表示第k个元素，a为softmax函数输出；

步骤3.2.3：进行误差的计算，如下公式所示：

E＝y_i-a

其中，y_i为真实输出值，E为输出误差值；

步骤3.2.4：通过反向传播误差计算梯度

其中o_j为最后一层网络第j个元素的输出；

步骤3.2.5：使用梯度下降法更新网络参数θ_λ，如下所示：

其中，η是学习率，w_ij为第i层第j个输出。

步骤3.3：输出训练后的CNN参数θ_λ；3D-CNN经过训练后学习到的θ_λ参数包含波长λ∈B的光谱通道的每个波段组的不同信息；

步骤4：应用3D-CNN生成特征图，过程如下：

步骤4.1：将原始的B波段图像划分为几幅由相邻的L波段组成的图像，其中L<<B；

步骤4.2：将三维卷积滤波器应用于步骤4.1划分后的L波段组图像进行滤波操作，便于检测图像特征；

步骤4.3：进行3D卷积运算：设(x,y)在空间维度上定义一个位置，z为光谱维度上的带指数，对每个像素标签的滤波器输出进行加权求和，3D-CNN模型如下，给出了第c个特征图上某个位置(x,y,z)的值：

其中，l表示当前层；m是在第(l-1)层即当前层的上一层的特征图的数量；j表示当前内核数量；i是当前与第l层的特征图相连的第(l-1)层的特征图；

为前一层与第i个特征图相连的核的第(p,q,r)个值；P_l和Q_l分别是是核的高度和宽度，R_l表示核的大小和谱维数，b_lj为第l层第j个特征图的偏置；

将前一层的特征图与当前层的内核进行卷积，计算出特征图上某个位置空间坐标(x,y,z)的特征映射

步骤4.4：特征映射经过池化层和激活函数，由数据立方体组成的特征映射转化成一维特征向量，输入到一个全连接层，该层提取最终学习到的深度光谱空间特征，过程如下：

步骤4.4.1：对特征映射进行池化操作：对输入的特征图进行压缩，简化网络计算复杂度，提取主要特征，计算图像区域的平均值作为该区域池化后的值；

池化操作后输出图像大小为：

其中，W为图像宽度，H为图像高度，D为图像深度即通道数，卷积核的尺寸为F×F，S为步长；

步骤4.4.2：池化后的数据立方体经由ReLU激活函数进行操作，激活函数形式如下：

f(x)＝max(0,x)

其中，x为输入值；

步骤4.4.3：对激活后的数据立方体进行降维处理，输入到全连接层，全连接层连接所有的特征，将输出值送给softmax分类器进行归一化，该层提取最终学习到的深度光谱空间特征D＝{d₁,d₂,...,d_t}。

步骤5：利用3D-CNN的输出特征在框架中引入基于3D-CNN的深度CRF，扩展基于3D-CNN的深层CRF架构来计算CRF的一元势函数和二元势函数，过程如下：

步骤5.1：定义CRF模型：

其中，由步骤3得到的网络参数θ_λ通过波长λ进行学习；(E(n,v_(d,λ)；θ_λ)是模拟输入的某个像素点v兼容程度的能量函数；v由波长为λ的空间坐标d＝{x,y}定义，并具有特定的预测类别标记n；Z(v_(d,λ))＝∑exp[-E(n,v_(d,λ)；θ_λ)]是配分函数，

为归一化因子；

步骤5.2：在CRF中建模像素之间的关系，构造能量函数：

其中，M为像素/节点的数量，N为CRF图中节点之间边的总数，φ是计算单个像素的一元势函数，ψ是基于相邻像素之间的兼容性确定的二元势函数；

步骤5.3：计算代表CRF中节点的每个像素的一元势函数φ：

φ(n_p,v_p；θ_λ)＝-logP(n_p|v_p；θ_λ)

其中，n_p为第p个像素点所属类，v_p为第p个像素点，网络参数θ_λ将在整个光谱通道的三维CNNs堆栈中进行调整；

步骤5.4：通过将两个相邻像素的特征向量连接起来的方法得到高光谱图像的边缘特征，得到二元势函数ψ：

其中，μ()通过取可能的像素对组合，编码像素对(v_p,v_q)被标记为(n_p,n_q)的可能性；

应用于3D-CNN对节点的输出值，该节点由初始3D-CNN获得的对应特征向量f_p和f_q描述；θ_λ包含沿整个波长λ二元势函数的三维CNN参数；

步骤5.5：在计算CRF的一元势函数和二元势函数之后，定义CRF的分段目标函数为训练输入-输出对(v,n)，如下所示：

其中，

为目标函数，φ(n_p,v_p；θ_λ)为一元势函数，ψ(n_p,n_q,v_p,v_q；θ_λ)为二元势函数，Z(v)为配分函数；

步骤5.6：根据定义的分段目标函数计算一元势函数的独立似然数P_φ(n_p|v；θ)和二元势函数上的独立似然数P_ψ(n_p,n_q|v；θ_λ)，并输出后验概率：

所述步骤5.6还包括如下过程：

步骤5.6.1：计算一元势函数上的独立似然数P_φ(n_p|v；θ_λ)：

步骤5.6.2：计算二元势函数上的独立似然数P_ψ(n_p,n_q|v；θ_λ)：

步骤6：根据后验概率对特征图进行粗分类，采用平均场近似算法来计算最大后验边界推理的CRF分布，过程如下：

步骤6.1：利用两个高斯核，作用于在坐标d＝{x,y}和波长为λ的像素v强度定义的特征空间，两个像素v_p和v_q则使用由特征向量f_p和f_q定义的双核势函数，过程如下：

步骤6.1.1：第一个高斯核即一元势函数描述了像素邻域的大小和形状，相似度由参数θ_α控制，第一个高斯核的定义是：

其中，k⁽¹⁾(f_p,f_q)为第一个高斯核，w⁽¹⁾为第一个高斯核的权重，v_p,d和v_q,d为像素对，θ_α,d为第一个高斯核参数；

第一个高斯核由如下形式的两个对角协方差矩阵定义，其元素为参数θ_α,d；

步骤6.1.2：第二个高斯核即二元势函数与一元势函数相似，只是用一个额外的参数γ来解释像素在波长λ由空间坐标d定义的区域内的均匀性；第二个高斯核被定义为：

其中，θ_γ,λ为第二个卷积核参数，|v_p,d-v_q,d|是像素p和q之间的空间距离，|v_p,λ-v_q,λ|是它们在谱域上的差值；一元势函数和二元势函数的影响通过它们的权重w⁽¹⁾和w⁽²⁾进行调整。

步骤6.2：在进行权重调整之后，3D-CNN-CRF生成了一个粗分类的分类图；

步骤7：对粗分类的分类图基于反卷积神经网络进行改进分类，过程如下：

步骤7.1：对粗分类分类图反池化操作：在之前的池化过程中，记录下最大池化在对应卷积核中的坐标，在反池化过程中，将一个元素根据卷积核进行放大；恢复感兴趣对象的详细结构并跟踪池化操作期间选择的最大激活数的位置；

步骤7.2：对相应位置进行反卷积操作：使用滤波器加强邻近目标类的激活，抑制来自包含不同类的区域的噪声激活；

如下公式所示输出反卷积后的改进分类结果：

W₂＝S(W₁-1)+F×F-2×P

H₂＝S(H₂-1)+F×F-2×P

C₂＝N

其中，W₂为反卷积后的图像宽度，H₂为反卷积后的图像高度，C₂为反卷积后的图像通道数；卷积核尺寸为F×F，个数为N；卷积运算步长为S，卷积填充大小为P，输入和输出量分别以1和2表示。

本实施例中，对最后分类的总体精度(OA)、平均精度(AA)和相应的标准偏差进行了计算。在随机分割的训练和测试数据上重复进行了10次。此外，通过应用二项式检验(通过配对t检验计算p值进行评估)来评估结果的统计显著性。将置信区间设为95％，这表明在p<0.05的范围内具有统计学意义。

本实施例中，还采用本发明方法、最大后验边缘(MPM-LBP-AL)分类方法、多项逻辑回归(MLRsubMLL)分类方法和watershed(WHED)分类方法分别进行了分类计算，各方法的分类结果如图4所示，并针对各方法的分类结果进行了比较，如表1所示。

表1各分类方法的分类结果比较

如表1所示，分别展示了改进后的分类方法在数据集上的分类准确率。结果显示，3D-CNN-CRF架构明显优于MLRsubMLL、MPM-LBP-AL和WHED方法。在空间维度和光谱维度上定义的基于三维CNN的二阶势函数显著改善了初始预测结果，而不是在做局部平滑。

Claims (6)

1.一种基于条件随机场和深度特征学习的高光谱图像分类方法，其特征在于，包括如下步骤：

步骤1：输入待分类的高光谱原始数据集；

步骤2：对输入的高光谱数据集进行归一化处理，得到归一化处理后的高光谱数据集H为：

其中，s＝m×j为一个m行j列的高光谱影像的像素点个数，g表示高光谱影像的波段数，h_sg表示第g个波段的第s个像素点；

步骤3：输入归一化处理后的数据集H，在经过计算误差和训练更新后得到参数θ_λ，获取高光谱影像光谱-空间特征，具体过程如下：

步骤3.1：输入高光谱数据集H，T个目标标签{Y₁,Y₂,Y₃,...,Y_T},在3D-CNN神经网络中迭代R次；

步骤3.2：对于每个在波长λ的数据立方体进行卷积运算，计算误差并更新参数；

步骤3.3：输出训练后的CNN参数θ_λ；3D-CNN经过训练后学习到的θ_λ参数包含波长λ∈B的光谱通道的每个波段组的不同信息；

步骤4：应用3D-CNN生成特征图，过程如下：

步骤4.1：将原始的B波段图像划分为几幅由相邻的L波段组成的图像，其中L<<B；

步骤4.2：将三维卷积滤波器应用于步骤4.1划分后的L波段组图像进行滤波操作，便于检测图像特征；

步骤4.3：进行3D卷积运算：设(x,y)在空间维度上定义一个位置，z为光谱维度上的带指数，对每个像素标签的滤波器输出进行加权求和，3D-CNN模型如下，给出了第c个特征图上某个位置(x,y,z)的值：

其中，l表示当前层；m是在第(l-1)层即当前层的上一层的特征图的数量；j表示当前内核数量；i是当前与第l层的特征图相连的第(l-1)层的特征图；

为前一层与第i个特征图相连的核的第(p,q,r)个值；P_l和Q_l分别是是核的高度和宽度，R_l表示核的大小和谱维数，b_lj为第l层第j个特征图的偏置；

将前一层的特征图与当前层的内核进行卷积，计算出特征图上某个位置空间坐标(x,y,z)的特征映射

步骤4.4：特征映射经过池化层和激活函数，由数据立方体组成的特征映射转化成一维特征向量，输入到一个全连接层，该层提取最终学习到的深度光谱空间特征；

步骤5：利用3D-CNN的输出特征在框架中引入基于3D-CNN的深度CRF，扩展基于3D-CNN的深层CRF架构来计算CRF的一元势函数和二元势函数，过程如下：

步骤5.1：定义CRF模型：

其中，由步骤3得到的网络参数θ_λ通过波长λ进行学习；(E(n,v_(d,λ)；θ_λ)是模拟输入的某个像素点v兼容程度的能量函数；v由波长为λ的空间坐标d＝{x,y}定义，并具有特定的预测类别标记n；

是配分函数，

为归一化因子；

步骤5.2：在CRF中建模像素之间的关系，构造能量函数：

其中，M为像素/节点的数量，N为CRF图中节点之间边的总数，φ是计算单个像素的一元势函数，ψ是基于相邻像素之间的兼容性确定的二元势函数；

步骤5.3：计算代表CRF中节点的每个像素的一元势函数φ：

φ(n_p,v_p；θ_λ)＝-logP(n_p|v_p；θ_λ)

其中，n_p为第p个像素点所属类，v_p为第p个像素点，网络参数θ_λ将在整个光谱通道的三维CNNs堆栈中进行调整；

步骤5.4：通过将两个相邻像素的特征向量连接起来的方法得到高光谱图像的边缘特征，得到二元势函数ψ：

其中，μ()通过取可能的像素对组合，编码像素对(v_p,v_q)被标记为(n_p,n_q)的可能性；

应用于3D-CNN对节点的输出值，该节点由初始3D-CNN获得的对应特征向量f_p和f_q描述；θ_λ包含沿整个波长λ二元势函数的三维CNN参数；

步骤5.5：在计算CRF的一元势函数和二元势函数之后，定义CRF的分段目标函数为训练输入-输出对(v,n)，如下所示：

其中，▽(θ)为目标函数，φ(n_p,v_p；θ_λ)为一元势函数，ψ(n_p,n_q,v_p,v_q；θ_λ)为二元势函数，Z(v)为配分函数；

步骤5.6：根据定义的分段目标函数计算一元势函数的独立似然数P_φ(n_p|v；θ)和二元势函数上的独立似然数P_ψ(n_p,n_q|v；θ_λ)，并输出后验概率：

步骤6：根据后验概率对特征图进行粗分类，采用平均场近似算法来计算最大后验边界推理的CRF分布，过程如下：

步骤6.1：利用两个高斯核，作用于在坐标d＝{x,y}和波长为λ的像素v强度定义的特征空间，两个像素v_p和v_q则使用由特征向量f_p和f_q定义的双核势函数；

步骤6.2：在进行权重调整之后，3D-CNN-CRF生成了一个粗分类的分类图；

步骤7：对粗分类的分类图基于反卷积神经网络进行改进分类。

2.根据权利要求1所述的基于条件随机场和深度特征学习的高光谱图像分类方法，其特征在于，所述步骤3.2的过程如下：

步骤3.2.1：当前迭代次数b∈(1,R)时：对训练样本i∈(1,T)进行卷积运算，产生中间特征图；

步骤3.2.2：计算softmax函数，首先输入到softmax分类器，公式如下所示：

其中，o是网络最后一层的输出，k表示第k个元素，a为softmax函数输出；

步骤3.2.3：进行误差的计算，如下公式所示：

E＝y_i-a

其中，y_i为真实输出值，E为输出误差值；

步骤3.2.4：通过反向传播误差计算梯度

其中o_j为最后一层网络第j个元素的输出；

步骤3.2.5：使用梯度下降法更新网络参数θ_λ，如下所示：

其中，η是学习率，w_ij为第i层第j个输出。

3.根据权利要求1所述的基于条件随机场和深度特征学习的高光谱图像分类方法，其特征在于，所述步骤4.4的具体方法为：

步骤4.4.1：对特征映射进行池化操作：对输入的特征图进行压缩，简化网络计算复杂度，提取主要特征，计算图像区域的平均值作为该区域池化后的值；

池化操作后输出图像大小为：

其中，W为图像宽度，H为图像高度，D为图像深度即通道数，卷积核的尺寸为F×F，S为步长；

步骤4.4.2：池化后的数据立方体经由ReLU激活函数进行操作，激活函数形式如下：

f(x)＝max(0,x)

其中，x为输入值；

步骤4.4.3：对激活后的数据立方体进行降维处理，输入到全连接层，全连接层连接所有的特征，将输出值送给softmax分类器进行归一化，该层提取最终学习到的深度光谱空间特征D＝{d₁,d₂,...,d_t}。

4.根据权利要求1所述的基于条件随机场和深度特征学习的高光谱图像分类方法，其特征在于，所述步骤5.6的具体方法为：

步骤5.6.1：计算一元势函数上的独立似然数P_φ(n_p|v；θ_λ)：

步骤5.6.2：计算二元势函数上的独立似然数P_ψ(n_p,n_q|v；θ_λ)：

5.根据权利要求1所述的基于条件随机场和深度特征学习的高光谱图像分类方法，其特征在于，所述步骤6.1的具体方法为：

步骤6.1.1：第一个高斯核即一元势函数描述了像素邻域的大小和形状，相似度由参数θ_α控制，第一个高斯核的定义是：

其中，k⁽¹⁾(f_p,f_q)为第一个高斯核，w⁽¹⁾为第一个高斯核的权重，v_p,d和v_q,d为像素对，θ_α,d为第一个高斯核参数；

第一个高斯核由如下形式的两个对角协方差矩阵定义，其元素为参数θ_α,d；

步骤6.1.2：第二个高斯核即二元势函数与一元势函数相似，只是用一个额外的参数γ来解释像素在波长λ由空间坐标d定义的区域内的均匀性；第二个高斯核被定义为：

其中，θ_γ,λ为第二个卷积核参数，|v_p,d-v_q,d|是像素p和q之间的空间距离，|v_p,λ-v_q,λ|是它们在谱域上的差值；一元势函数和二元势函数的影响通过它们的权重w⁽¹⁾和w⁽²⁾进行调整。

6.根据权利要求1所述的基于条件随机场和深度特征学习的高光谱图像分类方法，其特征在于，所述步骤7的过程如下：

步骤7.1：对粗分类分类图反池化操作：在之前的池化过程中，记录下最大池化在对应卷积核中的坐标，在反池化过程中，将一个元素根据卷积核进行放大；恢复感兴趣对象的详细结构并跟踪池化操作期间选择的最大激活数的位置；

步骤7.2：对相应位置进行反卷积操作：使用滤波器加强邻近目标类的激活，抑制来自包含不同类的区域的噪声激活；

如下公式所示输出反卷积后的改进分类结果：

W₂＝S(W₁-1)+F×F-2×P

H₂＝S(H₂-1)+F×F-2×P

C₂＝N

其中，W₂为反卷积后的图像宽度，H₂为反卷积后的图像高度，C₂为反卷积后的图像通道数；卷积核尺寸为F×F，个数为N；卷积运算步长为S，卷积填充大小为P，输入和输出量分别以1和2表示。

Images