CN110348399A - 基于原型学习机制和多维残差网络的高光谱智能分类方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种基于原型学习机制和多维残差网络的高光谱智能分类方法。首先，构造适用于高光谱图像特征的多维残差网络，用于提取高光谱图像的光谱和空间特征；其次，构造基于原型学习机制的类别预测函数，对传统深度学习使用的softmax分类器进行替换；然后构造新型的原型距离损失函数，对传统的softmax交叉熵损失函数进行替换，完成对多维残差网络参数的优化更新。本发明引入多维残差网络，舍弃传统的softmax分类器和softmax交叉熵损失函数，构造并应用基于原型学习机制的类别预测函数和原型距离损失函数，具有针对高光谱图像分类问题精度高，训练过程收敛速度快，训练得到的分类模型的鲁棒性高等优点。

Description

基于原型学习机制和多维残差网络的高光谱智能分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域中的一种基于原型学习机制和多维残差网络的高光谱智能分类方法。本发明可用于对高光谱图像中的不同物质进行分类和识别，可在地质勘探、农作物生长和伪装揭露等方面发挥重要作用。

背景技术

高光谱成像技术是上世纪80年代逐渐发展起来的一种新技术，是一种将传统二维成像技术和一维光谱检测技术相结合的多维信息获取技术，具有“图谱合一”的特点。高光谱图像具有极高的光谱分辨率和信息丰富度，可以更详实准确地反映目标物体的诊断性光谱特征，因此，高光谱图像被广泛应用于军事、农业、医学、采矿等诸多领域。高光谱分类技术是高光谱成像技术中一项重要内容，其具体任务是对高光谱图像中的每一个像素所代表的目标进行分类，它是快速理解高光谱图像中所包含内容的重要手段。因而高光谱成像和分类技术在地质勘探、农作物生长、城市规划、伪装揭露和军事目标识别等方面发挥着重要作用。

传统的高光谱图像分类技术，比如支持向量机(SVM)等，仅使用了高光谱图像中的光谱信息，没有利用高光谱图像在空间上所具有的相关性，导致分类时容易出现错分以及大量散点噪声的现象。近几年随着以深度学习为代表的人工智能方法的崛起，以卷积神经网络及其衍生模型(如残差网络、循环网络和胶囊网络等)为基本框架的深度网络受到高光谱图像分类领域各位专家学者的重视，短短2～3年(2016年至今)即催生了大量学术论文和诸多专利，逐步成为高光谱图像分类的重要技术手段。

传统的深度学习网络模型多采用softmax函数作为分类器对输入数据进行类别预测，采用softmax交叉熵损失函数计算深度学习模型的损失值，进而对深度学习模型的参数进行优化。然而，对比文件1、2(Yang,Hong Ming等，Robust Classification withConvolutional Prototype Learning.CVPR.2018；Weiyang Liu等，SphereFace:DeepHypersphere Embedding for Face Recognition.CVPR,2017)等研究表明在softmax分类函数和softmax交叉熵损失函数的作用下，深度学习分类模型学到的用于区分不同类别的特征是线性分布的，且同类内部的特征差异有可能比不同类之间的特征差异更大。这将大大削弱深度学习模型在真实复杂环境中的鲁棒性，导致深度学习模型无法对未知目标、异常目标和对抗性目标进行高精度的分类识别，容易被其欺骗，出现错分的现象；其次传统的基于softmax分类器和交叉熵损失函数的深度模型学习到的特征在类内的差异有可能大于类间的差异，不同类的特征的可区分度不够大，这使得其分类精度仍有提高的空间，如对比文件3(“基于卷积网和循环神经网络的高光谱图像分类方法”，申请号：201810113878.4，公布号：108460342)实施例中展示的分类结果出现了大量噪声散点，即出现了大量错误分类的情况，有进一步改进的必要；最后，基于softmax分类器和softmax交叉熵损失函数的深度模型在训练过程中收敛速度较慢，训练耗时较长，计算开销较大。这使得基于softmax分类器和softmax交叉熵损失函数的深度学习模型的实用性受到挑战。

发明内容

本发明的目的是针对上述现有的依赖softmax分类器和softmax交叉熵损失函数的深度学习高光谱分类技术的不足：分类模型学习到的特征可分度不高，类内差异可能大于类间差异，深度模型鲁棒性不强，分类精度较低、训练过程收敛速度较慢等问题，提出了一种基于原型学习机制和多维残差网络的高光谱智能分类方法。本发明通过构造多维残差网络提取高光谱特征，利用原型学习的理论机制构造鲁棒性更好的类别预测函数和原型距离损失函数，分别对传统的softmax分类器和softmax交叉熵损失函数进行替换，对多维残差网络的参数进行训练优化，最终节省了训练时间，提高了分类模型的鲁棒性，实现了对高光谱图像的高精度分类。

本发明是通过以下技术方案实现的：

基于原型学习机制和多维残差网络的高光谱智能分类方法，具体包括以下步骤：

步骤S1：构造多维残差网络，包括由三维残差结构和二维残差结构构成的特征提取网络与由全连接层和Dropout层构成的全连接网络；

(1a)构造特征提取网络：输入数据先通过一个宽度为12的不对称三维卷积层，归一化BatchNormalization层，初步提取高光谱数据的空间光谱联合特征；再通过两个宽度为12的三维残差网络模块对光谱特征进行提取；接着通过一个宽度为128的三维卷积层，归一化BatchNormalization层，将三维的高光谱数据降到二维；然后通过三个宽度分别为24,48,64的二维残差网络模块，进一步提取空间特征；并且所述的不对称三维卷积层采用光谱维尺寸大于空间维尺寸的卷积核；

(1b)构造全连接网络：特征提取部分提取到的结果首先通过三维自适应最大池化层和Flatten层，然后依次通过宽度分别为1024、128、3或者N的全连接层，其中N为训练类别数；前两个全连接层后都连接一个Dropout层，Dropout层的保存率均设置为0.6；三维自适应最大池化层可以根据特征提取网络输出的结果调整池化操作的尺寸和步长，使得输入Flatten层的数据的空间维度变为(1,1)；对于单一输入数据，多维残差网络最终将输出一个形状为(1,3)或者(1,N)的张量；

步骤S2：构造基于原型学习机制的类别预测函数；

构造基于原型学习机制的类别预测函数，代替softmax分类器函数进行类别预测；根据多维残差网络最终输出的张量的形状构造各类类别的原型m_ij，其中i∈{1,2,..,N}代表训练类别索引，j∈{1,2,..,P}代表各类的原型索引，N为训练类别数，P为每一类中设置的原型的个数；将多维残差网络输出的特征表示为f(x；θ)，其中f代表多维残差网络的模型函数，x,θ分别代表输入数据和多维残差网络的参数，则基于原型学习机制构造的类别预测函数的表达式为：

其中h_i(x)表示第i类的P个原型{m_ij|j＝1,2,..,P}与特征f(x；θ)的最小距离值，表示N个h_i(x)中最小值所对应的索引，该索引值即为输入数据x的预测类别；

步骤S3：构造原型距离损失函数：原型距离损失函数由两部分构成，一部分是基于原型学习机制的原型学习损失函数，另一部分是基于欧几里得距离的交叉熵损失函数；具体步骤如下：

(3a)构造原型学习损失函数

输入数据x经过多维残差网络输出的特征为f(x；θ)，所有类别的所有原型为{m_ij|i＝1,2,..,N；j＝1,2,..,P}，其中N为训练类别数，P为每一类中设置的原型的个数，则根据原型学习机制的理论原理，确定原型学习损失函数的表达式为：

其中M＝{m_ij|i＝1,2,..,N；j＝1,2,..,P},y代表输入数据x的类别属性，m_yj为第y类物质的第j个原型；

(3b)构造基于欧几里得距离的交叉熵损失函数

根据原型学习机制，类别标签为y的输入数据x属于原型m_ij的概率p(x∈m_ij|x)可以用f(x；θ)和m_ij之间的欧几里得距离d(f(x,θ),m_ij)衡量，其表达式为：

其中，N为训练类别数，P为每一类中设置的原型的个数，θ代表多维残差网络的参数，λ为超参数，λ默认值为1，y代表输入数据x的类别属性，m_kl为第k类物质的第l个原型；基于p(x∈m_ij|x)，可求得输入数据x经过多维残差网络和类别预测函数的预测后，预测结果为类别y的概率p(x∈y|x)，其表达式为：

据此构建基于欧几里得距离的交叉熵损失函数，其表达式为：

distance_loss((x,y),θ,M)＝-logp(x∈y|x)

其中M＝{m_ij|i＝1,2,..,N；j＝1,2,..,P}。

(3c)构造原型距离损失函数

原型距离损失函数是由原型学习损失函数和基于欧几里得距离的交叉熵损失函数通过加权求和的形式构造的，具体表达式为：

PL_Distance_loss((x,y)；θ,M)＝α×distance_loss+β×PL_loss

其中，α和β分别为基于欧几里得距离的交叉熵损失函数和原型学习损失函数的权值。使用原型距离损失函数替换传统深度学习网络的softmax交叉熵损失函数，对多维残差网络进行优化训练；

步骤S4：对输入的高光谱图像进行预处理，预处理分为三个步骤，依次为最小最大值归一化、双边滤波器滤波、最小最大值归一化，具体步骤如下：

(4a)进行最小最大值归一化，归一化公式为：

式中x_ijd和分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；d代表高光谱影像的第d个波段；x_max和x_min分别代表三维高光谱影像数据中的最大值和最小值；a和b均为常数，使得归一化后的数值在(0,1)范围内，且不包括0和1；

(4b)双边滤波器滤波：

输入高光谱图像，对其所有波段处的图像使用双边滤波器进行滤波，通过改变双边滤波器滤波窗口的直径可以调节双边滤波器对高光谱图像的滤波效果，进一步提高光谱的分类精度；

(4c)再次按照步骤(4a)进行最小最大值归一化；

步骤S5：生成训练数据和测试数据，具体步骤如下：

(5a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为使其维度由(L,H,W)扩展成为边沿扩展层的数值均为0；

(5b)提取以待分类像元为中心的L×m×m邻域范围内的数据块H_L×m×m作为输入端数据，并以待分类像元所属标签为对应数据块的标签，生成大量维度为L×m×m的带标签的数据块，作为训练数据和测试数据；

其中，(L,H,W)分别代表高光谱图像光谱域的光谱通道数和空间域的长、宽值；m代表数据块在空间域的长宽值；

步骤S6：从步骤S5提取出来的带有标签的数据块中随机抽取20％的数据块作为多维残差网络的训练数据集，其余作为测试数据集；

步骤S7：利用训练数据集训练多维残差网络，具体步骤如下：

利用步骤S6得到的训练数据集、步骤S2构造的基于原型学习机制的类别预测函数和步骤S3构造的原型距离损失函数，对步骤S1中设计并搭建的多维残差网络分类模型进行训练，采用随机梯度下降算法更新网络参数，参数更新公式为：

其中，l代表迭代次数；δ表示学习速率；l(θ)为原型距离损失函数，用来计算预测类别与真实类别之间的误差；

步骤S8：将测试数据输入训练好的多维残差网络分类模型，获取分类结果图和分类精度。

本发明与现有技术相比具有以下优点：

构建的多维残差网络能够有效提取高光谱图像中的光谱信息和空间信息，进而实现高精度的分类效果；其次，舍弃了传统深度学习方法使用的softmax分类器和softmax交叉熵损失函数，提出了基于原型学习机制的类别预测函数和原型距离损失函数，并将其成功地应用到高光谱深度学习网络框架中，实现了对深度网络模型的训练优化。

原型学习机制的引入，使得深度神经网络学习到的类内特征分布相似度更高，类间特征分布差异更加明显，网络的鲁棒性得到大大增强；本发明在遥感高光谱图像分类中表现良好，加快了深度学习网络模型的训练收敛速度，增强了深度学习网络模型的鲁棒性，可以以极少的迭代循环实现极高的分类精度。

附图说明

图1是本发明的流程图；

图2是本发明的三维残差网络模块的结构示意图；

图3是本发明的二维残差网络模块的结构示意图；

图4是本发明实施例中高光谱图像第50个波段处的原始图像；

图5是本发明实施例中高光谱图像经过预处理后第50个波段处的图像；

图6是本发明实施例中高光谱图像的地面实况标注；

图7是本发明实施例中高光谱图像经过分类后的效果图。

具体实施方式

下面结合具体实施例的仿真实验和附图对本发明做进一步详细描述：

本发明实施仿真实验的硬件环境为：Xeon(R)W-2123CPU@3.60GHz×8，内存为32GiB，GPU为TITAN Xp；软件平台为：TensorFlow2.0和keras 2.2.4。

本发明仿真实验所采用的高光谱数据集为帕维尔大学高光谱图像。该数据集包含103个波段，图像大小为610×340个像素，空间分辨率为1.3m。该数据集根据地面实况标注了9类地物，在仿真实验中选择全部类别进行训练和测试。

参照图1、图2和图3，对本发明的具体步骤做进一步的详细描述。步骤如下：

步骤S1：构造多维残差网络，包括由三维残差结构和二维残差结构构成的特征提取网络与由全连接层和Dropout层构成的全连接网络；

(1a)构造特征提取网络：输入数据先通过一个宽度为12的不对称三维卷积层，归一化BatchNormalization层，初步提取高光谱数据的空间光谱联合特征；再通过两个宽度为12的三维残差网络模块对光谱特征进行提取；接着通过一个宽度为128的三维卷积层，归一化BatchNormalization层，将三维的高光谱数据降到二维；然后通过三个宽度分别为24,48,64的二维残差网络模块，进一步提取空间特征；并且所述的不对称三维卷积层采用光谱维尺寸大于空间维尺寸的卷积核。

在该实施例中，不对称三维卷积层采用的卷积核尺寸为(7,5,5)，卷积步长为1，padding模式为valid；三维残差网络模块中卷积核尺寸均为(7,1,1)，卷积步长为1，padding模式均为same；紧接着的三维卷积层采用的卷积核尺寸为(97,1,1)，卷积步长为1，padding模式为valid；后续的二维残差网络模块的卷积核尺寸均为(3,3)，卷积步长为2，padding模式为same。三维残差网络模块和二维残差网络模块的具体结构分别如图2和图3所示。

(1b)构造全连接网络：特征提取部分提取到的结果首先通过三维自适应最大池化层和Flatten层，然后依次通过宽度分别为1024、128、3或者N的全连接层，其中N为训练类别；前两个全连接层后都连接一个Dropout层，Dropout层的保存率均设置为0.6。三维自适应最大池化层可以根据特征提取网络输出的结果调整池化操作的尺寸和步长，使得输入Flatten层的数据的空间维度为(1,1)。对于一个输入数据x，最终输出一个形状为(1,3)或者(1,N)的张量。在本实施例中，最后一个全连接层的宽度设置为3；因此最终将输出一个形状为(1，3)的张量。

步骤S2：构造基于原型学习机制的类别预测函数；

构造基于原型学习机制的类别预测函数，代替softmax分类器函数进行类别预测。根据多维残差网络最终输出的张量的形状构造各类类别的原型m_ij，其中i∈{1,2,..,N}代表训练类别索引，j∈{1,2,..,P}代表各类的原型索引，N为训练类别数，P为每一类中设置的原型的个数。假设多维残差网络输出的特征为f(x；θ)，其中f代表多维残差网络的模型函数，x,θ分别代表输入的数据和多维残差网络的参数。则基于原型学习机制构造的类别预测函数的表达式为：

其中h_i(x)表示第i类的P个原型{m_ij|j＝1,2,..,P}与特征f(x；θ)的最小距离值，表示N个h_i(x)中最小值所对应的索引，该索引即为输入数据x的预测类别。

在本实施例中，N为训练类别数，根据实施例采用的帕维尔大学高光谱图像特征，N取值为9；P为每一类中设置的原型的个数，此实施例中设置为1，因此每一类类别都只有一个原型m_i。实施例中类别预测函数的表达式简化为：

步骤S3：构造原型距离损失函数：原型距离损失函数由两部分构成，一部分是基于原型学习机制的原型学习损失函数，另一部分是基于欧几里得距离的交叉熵损失函数。具体步骤如下：

(3a)构造原型学习损失函数

输入数据x经过多维残差网络输出f(x；θ)，所有类别的所有原型为{m_ij|i＝1,2,..,N；j＝1,2,..,P}，其中N为训练类别数，P为每一类中设置的原型的个数，则根据原型学习机制的理论原理，确定原型学习损失函数的表达式为：

其中M＝{m_ij|i＝1,2,..,N；j＝1,2,..,P},y代表输入数据x的类别属性，m_yj为第y类物质的第j个原型。在本实施例中，N为训练类别数，根据实施例采用的帕维尔大学高光谱图像特征，N取值为9；P为每一类中设置的原型的个数，此实施例中设置为1，因此有M＝{m_i|i＝1,2,..,N}，则原型学习损失函数的表达式简化为：

(3b)构造基于欧几里得距离的交叉熵损失函数

根据原型学习机制，类别标签为y的输入数据x属于原型m_i的概率p(x∈m_i|x)可以用f(x；θ)和m_i之间的欧几里得距离d(f(x,θ),m_i)衡量，其表达式为：

其中，λ为超参数，λ值为1，y代表输入数据x的类别属性。基于p(x∈m_i|x)，可求得输入数据x经过多维残差网络和原型学习机制的预测后，预测结果为类别y的概率p(x∈y|x)，其表达式为：

p(x∈y|x)＝p(x∈m_y|x)

据此构建基于欧几里得距离的交叉熵损失函数，其表达式为：

distance_loss((x,y),θ,M)＝-logp(x∈y|x)

(3c)构造原型距离损失函数

原型距离损失函数是由原型学习损失函数和基于欧几里得距离的交叉熵损失函数通过加权求和的形式构造的，具体表达式为：

PL_Distance_loss((x,y)；θ,M)＝α×distance_loss+β×PL_loss

其中，α和β分别为基于欧几里得距离的交叉熵损失函数和原型学习损失函数的权值，在本实施例中，α和β取值分别为0.99和0.01。使用原型距离损失函数替换传统深度学习网络的softmax交叉熵损失函数，对多维残差网络进行优化训练。

步骤S4：对输入的高光谱图像进行预处理；预处理分为三个步骤，依次为最小最大值归一化、双边滤波操作、最小最大值归一化，具体步骤如下：

(4a)进行最小最大值归一化，归一化公式为：

式中x_ijd和分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；d代表高光谱影像的第d个波段；x_max和x_min分别代表三维高光谱影像数据中的最大值和最小值；a和b均为常数，使得归一化后的数值在(0,1)范围内，且不包括0和1。在本实施例中a和b取值分别是0.989和0.01。

(4b)双边滤波器滤波：

输入高光谱图像，对其所有波段处的图像使用双边滤波器进行滤波，通过改变双边滤波器滤波窗口的直径可以调节双边滤波器对高光谱图像的滤波效果，进一步提高高光谱的分类精度。在本实施例中，双边滤波器滤波窗口直径设置为5。

(4c)再次按照步骤(4a)进行最小最大值归一化。

图5所示为经过预处理后的高光谱图像。

步骤S5：生成训练数据和测试数据；步骤S5分为两步进行操作，具体如下：

(5a)对高光谱图像空间维度的边沿进行扩充，扩充的宽度为使其维度由(L,H,W)扩展成为边沿扩展层的数值均为0。在实施例中，L取值103，m取值9；所以扩充宽度为4，高光谱图像数据维度由(103,610,340)扩展成为(103,618,348)。

(5b)提取以待分类像元为中心的邻域范围内的数据块H_L×m×m作为输入端数据，并以待分类像元所属标签为对应数据块的标签，生成大量L×m×m大小的带标签的数据块，作为训练数据和测试数据。在本实施例中，L取值103，m取值9；则数据块H_L×m×m的维度为103×9×9。

步骤S6：从步骤S5提取出来的带有标签的数据块中随机抽取20％的数据块作为多维残差网络的训练数据集，其余作为测试数据集；

步骤S7：利用训练数据集训练网络，具体步骤如下：

利用步骤S6得到的训练数据集、步骤S2构造的基于原型学习机制的类别预测函数和步骤S3构造的原型距离损失函数，对步骤S1中设计并搭建的多维残差网络分类模型进行训练，采用随机梯度下降算法训练网络参数，参数更新公式为：

其中，l代表迭代次数；δ表示学习速率；(θ)为原型距离损失函数，用来计算模型预测类别与真实类别之间的误差。在本实施例中，δ取值0.003，在训练过程中当分类精度发生下降时，学习速率即更新为0.3δ。一共训练20个epoch，每个batch输入32个数据求解训练精度和损失值。

步骤S8：将测试数据输入训练好的多维残差网络分类模型，获取分类结果图和分类精度。

下面结合仿真实验结果对本发明的效果做进一步说明：

在本发明提出的基于原型学习机制和多维残差网络的高光谱智能分类方法的分类下，实施例中高光谱图像的分类结果如图7所示。由图7可见分类结果中没有出现大面积噪点及明显错误分类的情况，优于专利文献(“基于卷积网和循环网络的高光谱图像分类方法”申请号：201810113878.4，公布号：108460342)中实施例显示的效果。进一步计算本发明高光谱图像分类结果的平均分类精度AA、总体分类精度OA和Kappa系数：

平均分类精度AA＝总分类正确像素个数/像素总数；

总体分类精度OA＝每类正确分类像素个数总和/像素总数；

Kappa系数是统计学中评估一致性的一种方法，多用来进行多分类模型准确度的评估。可通过真实标签和预测标签之间的混淆矩阵计算求得。Kappa系数值介于0和1之间，值越高，代表模型实现的分类准确度越高。

表1实施例中高光谱图像的分类结果

表1中列出了本发明对高光谱图像中各类地物的分类精度、总体分类精度OA、平均分类精度AA和Kappa系数的计算结果。由表1可知，本发明的分类精度指标均在98.5％以上，略优于专利文献(“基于压缩-激发的聚合残差网络高光谱图像分类方法”申请号：201810550435.1，公布号：108764357)实施例中展示的分类效果。表2列出了训练过程中精度随epoch迭代次数的变化趋势。由表2可见，只需要13个epoches迭代，训练精度即可达到并稳定于100％。由此可见本发明训练过程的收敛速度之快。

表2训练精度随epoch迭代的变化情况

综上所述，由具体实施例可知：基于原型学习机制和多维残差网络的高光谱智能分类方法在遥感高光谱图像分类中表现良好。本发明可以大大加快训练过程的收敛速度，增强深度学习网络模型的鲁棒性，可以以极少的迭代循环实现极高的分类精度。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应当视为落入本发明的保护范围。

Claims (3)

1.基于原型学习机制和多维残差网络的高光谱智能分类方法，其特征在于，包括以下步骤：

步骤S1：构造多维残差网络，包括由三维残差结构和二维残差结构构成的特征提取网络与由全连接层和Dropout层构成的全连接网络；

(1a)构造特征提取网络：输入数据先通过一个宽度为12的不对称三维卷积层，归一化BatchNormalization层，初步提取高光谱数据的空间光谱联合特征；再通过两个宽度为12的三维残差网络模块对光谱特征进行提取；接着通过一个宽度为128的三维卷积层，归一化BatchNormalization层，将三维的高光谱数据降到二维；然后通过三个宽度分别为24,48,64的二维残差网络模块，进一步提取空间特征；并且所述的不对称三维卷积层采用光谱维尺寸大于空间维尺寸的卷积核；

(1b)构造全连接网络：特征提取部分提取到的结果首先通过三维自适应最大池化层和Flatten层，然后依次通过宽度分别为1024、128、3或者N的全连接层，其中N为训练类别数；前两个全连接层后都连接一个Dropout层，Dropout层的保存率均设置为0.6；三维自适应最大池化层可以根据特征提取网络输出的结果调整池化操作的尺寸和步长，使得输入Flatten层的数据的空间维度变为(1,1)；对于单一输入数据，多维残差网络最终将输出一个形状为(1,3)或者(1,N)的张量；

步骤S2：构造基于原型学习机制的类别预测函数；

构造基于原型学习机制的类别预测函数，代替softmax分类器函数进行类别预测；根据多维残差网络最终输出的张量的形状构造各类类别的原型m_ij，其中i∈{1,2,..,N}代表训练类别索引，j∈{1,2,..,P}代表各类的原型索引，N为训练类别数，P为每一类中设置的原型的个数；将多维残差网络输出的特征表示为f(x；θ)，其中f代表多维残差网络的模型函数，x,θ分别代表输入数据和多维残差网络的参数，则基于原型学习机制构造的类别预测函数的表达式为：

其中h_i(x)表示第i类的P个原型{m_ij|j＝1,2,..,P}与特征f(x；θ)的最小距离值，表示N个h_i(x)中最小值所对应的索引，该索引值即为输入数据x的预测类别；

步骤S3：构造原型距离损失函数：原型距离损失函数由两部分构成，一部分是基于原型学习机制的原型学习损失函数，另一部分是基于欧几里得距离的交叉熵损失函数；具体步骤如下：

(3a)构造原型学习损失函数

输入数据x经过多维残差网络输出的特征为f(x；θ)，所有类别的所有原型为{m_ij|i＝1,2,..,N；j＝1,2,..,P}，其中N为训练类别数，P为每一类中设置的原型的个数，则根据原型学习机制的理论原理，确定原型学习损失函数的表达式为：

其中M＝{m_ij|i＝1,2,..,N；j＝1,2,..,P},y代表输入数据x的类别属性，m_yj为第y类物质的第j个原型；

(3b)构造基于欧几里得距离的交叉熵损失函数

根据原型学习机制，类别标签为y的输入数据x属于原型m_ij的概率p(x∈m_ij|x)可以用f(x；θ)和m_ij之间的欧几里得距离d(f(x,θ),m_ij)衡量，其表达式为：

其中，N为训练类别数，P为每一类中设置的原型的个数，θ代表多维残差网络的参数，λ为超参数，λ默认值为1，y代表输入数据x的类别属性，m_kl为第k类物质的第l个原型；基于p(x∈m_ij|x)，可求得输入数据x经过多维残差网络和类别预测函数的预测后，预测结果为类别y的概率p(x∈y|x)，其表达式为：

据此构建基于欧几里得距离的交叉熵损失函数，其表达式为：

distance_loss((x,y),θ,M)＝-logp(x∈y|x)

其中M＝{m_ij|i＝1,2,..,N；j＝1,2,..,P}；

(3c)构造原型距离损失函数

原型距离损失函数是由原型学习损失函数和基于欧几里得距离的交叉熵损失函数通过加权求和的形式构造的，具体表达式为：

PL_Distance_loss((x,y)；θ,M)＝α×distance_loss+β×PL_loss

其中，α和β分别为基于欧几里得距离的交叉熵损失函数和原型学习损失函数的权值。使用原型距离损失函数替换传统深度学习网络的softmax交叉熵损失函数，对多维残差网络进行优化训练；

步骤S4：对输入的高光谱图像进行预处理，预处理分为三个步骤，依次为最小最大值归一化、双边滤波器滤波、最小最大值归一化，具体步骤如下：

(4a)进行最小最大值归一化，归一化公式为：

式中x_ijd和分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；d代表高光谱影像的第d个波段；x_max和x_min分别代表三维高光谱影像数据中的最大值和最小值；a和b均为常数，使得归一化后的数值在(0,1)范围内，且不包括0和1；

(4b)双边滤波器滤波：

输入高光谱图像，对其所有波段处的图像使用双边滤波器进行滤波，通过改变双边滤波器滤波窗口的直径可以调节双边滤波器对高光谱图像的滤波效果，进一步提高光谱的分类精度；

(4c)再次按照步骤(4a)进行最小最大值归一化；

步骤S5：生成训练数据和测试数据，具体步骤如下：

(5a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为使其维度由(L,H,W)扩展成为边沿扩展层的数值均为0；

(5b)提取以待分类像元为中心的L×m×m邻域范围内的数据块H_L×m×m作为输入端数据，并以待分类像元所属标签为对应数据块的标签，生成大量维度为L×m×m的带标签的数据块，作为训练数据和测试数据；

其中，(L,H,W)分别代表高光谱图像光谱域的光谱通道数和空间域的长、宽值；m代表数据块在空间域的长宽值；

步骤S6：从步骤S5提取出来的带有标签的数据块中随机抽取20％的数据块作为多维残差网络的训练数据集，其余作为测试数据集；

步骤S7：利用训练数据集训练多维残差网络，具体步骤如下：

利用步骤S6得到的训练数据集、步骤S2构造的基于原型学习机制的类别预测函数和步骤S3构造的原型距离损失函数，对步骤S1中设计并搭建的多维残差网络分类模型进行训练，采用随机梯度下降算法更新网络参数，参数更新公式为：

其中，l代表迭代次数；δ表示学习速率；为原型距离损失函数，用来计算预测类别与真实类别之间的误差；

步骤S8：将测试数据输入训练好的多维残差网络分类模型，获取分类结果图和分类精度。

2.根据权利要求1所述的基于原型学习机制和多维残差网络的高光谱智能分类方法，其特征在于步骤S2和步骤S3中的P取值为1。

3.根据权利要求1所述的基于原型学习机制和多维残差网络的高光谱智能分类方法，其特征在于步骤S4(4b)中双边滤波器的滤波窗口直径取值为5。