CN112149758B - 一种基于欧式距离和深度学习的高光谱开放集分类方法 - Google Patents

一种基于欧式距离和深度学习的高光谱开放集分类方法 Download PDF

Info

Publication number
CN112149758B
CN112149758B CN202011150400.2A CN202011150400A CN112149758B CN 112149758 B CN112149758 B CN 112149758B CN 202011150400 A CN202011150400 A CN 202011150400A CN 112149758 B CN112149758 B CN 112149758B
Authority
CN
China
Prior art keywords
class
data
hyperspectral
test
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011150400.2A
Other languages
English (en)
Other versions
CN112149758A (zh
Inventor
江天
刘煜
侯静
彭元喜
周侗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011150400.2A priority Critical patent/CN112149758B/zh
Publication of CN112149758A publication Critical patent/CN112149758A/zh
Application granted granted Critical
Publication of CN112149758B publication Critical patent/CN112149758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种基于欧式距离和深度学习的高光谱开放集分类方法。本发明首先构造各已知类的类别中心、基于欧式距离的类别预测函数和基于欧式距离的损失函数，对深度学习网络模型进行训练优化；其次，将箱线图方法和极值理论Weibull分布模型相结合，对输入数据相对于各已知类的类别中心的距离进行分析和拟合，实现对各已知的分类边界的约束，进而实现对未知类的判别：箱线图用于提供拟合Weibull分布模型所需的异常点的个数，并依据异常点的个数判断是使用Weibull模型还是使用箱线图上边缘进行未知类的判别。本发明针对高光谱领域的开放集分类问题，是一种简单、实用、分类精度高、鲁棒性强的方法。

Description

一种基于欧式距离和深度学习的高光谱开放集分类方法
技术领域
本发明属于图像处理技术领域，涉及一种基于欧式距离和深度学习的高光谱开放集分类方法。在测试过程中，本发明不仅可以对训练过程中出现的已知类进行准确分类，还能对训练过程中没有出现的未知类进行识别和拒绝。
背景技术
高光谱分类技术是利用光谱信息和空间信息对高光谱图像中的每个像素进行分类的技术，在国防和民用领域有着巨大的应用价值。近几年随着深度学习技术的崛起，以卷积神经网络及其衍生模型(如残差网络、循环网络和稠密连接网络等)为基本框架的分类模型逐步成为高光谱分类领域的重要方法。
尽管深度学习技术的应用极大地提高了高光谱分类技术的性能，但这些基于深度学习的分类算法都基于一个理想的假设——闭合集假设。所谓闭合集假设，是指测试数据和训练数据均来自于相同的类别空间，即测试类别包含于训练类别。由于实际环境的开放性和动态性，研究人员是无法搜集到所有物质的类别信息的；因而在测试过程中，训练好的深度学习网络必然会遇到训练过程中没有出现的类别，即未知类，引发对未知类的错误分类；所以闭合集假设并不适用于动态、开放、真实的实际环境。与闭合集假设相对应，真实环境带来的挑战称之为开放集假设，与其相关的分类任务称为开放集分类。开放集分类不仅要实现已知类的高精度分类，还要实现对未知类的拒绝。
传统的基于深度学习的高光谱分类方法，因基于闭合集假设而只能实现已知类的分类。对比文件1(中国发明专利，申请号：CN201910635970.1)提出的基于原型学习机制和多维残差网络的高光谱智能分类方法，其只能实现已知类的分类，对未知类则无法加以拒绝。此外，对比文件1使用原型作为已知类的代表，利用原型距离损失函数对多维残差网络进行训练，进而得到优化后的原型和网络参数，实现对高光谱图像的分类。而本发明使用固定的类别中心作为已知类的代表，这些类别中心对应着N维空间(N为已知类的类别个数)的基底向量ei(i＝1,2,…,N)，因而无需经过训练便可得到各已知类的类别中心；相比原型，类别中心具有更高的稳定性，且更适用于大型的复杂的数据集。
目前，高光谱开放集分类方法的研究较少。对比文件2(中国发明专利，申请号：CN201910200211.2)和对比文件3(Hyperspectral open set classification withunknown classes rejection towards deep networks,Yu Liu,Yuhua Tang,LixiongZhang,Lu Liu,Minghui Song,Kecheng Gong,Yuanxi Peng,Jing Hou&Tian Jiang(2020),International Journal of Remote Sensing,41:16,6355-6383,DOI:10.1080/01431161.2020.1754492)提出的一种基于概率模型和深度学习的高光谱未知目标检测方法，其在深度神经网络的SoftMax层之前引入一个概率模型计算层OpenMax。OpenMax的理论基础是极值理论，使用Weibull分布模型对已知类的异常点的分布情况进行拟合，得到各已知类的Weibull分布模型；然后利用各已知类的Weibull分布模型来衡量输入数据属于已知类以及未知类的可能性。在对比文件2和对比文件3的具体操作中，对于每一个已知类，异常点的个数均取相同的数值。这一做法缺乏对不同已知类的差异性的考虑：各已知类的异常点个数不尽相同，且可能有的已知类不存在异常点。因而在实际使用过程中，对比文件2和对比文件3的鲁棒性和泛化性较差，未知目标检测的性能波动性较大。
综上所述，高光谱开放集分类任务的挑战仍有待解决；其次，当下已有的高光谱开放集分类方法存在调参困难、精度不高的问题，有待通过进一步的研究，对其进行改进或提出新的开放集分类方法。
发明内容
针对传统的基于深度学习的高光谱分类方法无法处理开放集分类任务，以及已有的高光谱开放集分类方法性能较差的现状，本发明设计了一种基于欧式距离和深度学习的高光谱开放集分类方法。为实现上述目的，本发明采取了下述技术方案：
一种基于欧式距离和深度学习的高光谱开放集分类方法，具体包括下述步骤：
步骤S1：构造各已知类的类别中心；
在N维特征空间，第i个已知类的类别中心为ci，表示为ci＝λei，其中ei代表第i个已知类在N维特征空间的基底向量，λ是调节类别中心幅度的参数，i＝1,…,N，N为已知类的类别个数；对于所有已知类，将类别中心的集合表示为：
C＝(c1,c2,…,cN)＝λ(e1,e2,…,eN)
e1＝(1,0,...,0)T,eN＝(0,0,...,1)T
步骤S2：构造基于欧式距离的类别预测函数，代替SoftMax分类器函数进行类别预测；
输入数据经深度学习网络特征提取后，得到的N维特征矢量z，表示为：
z＝f(x,θ)
式中，f代表深度学习网络的模型函数，x,θ分别代表输入数据和深度学习网络的参数；计算特征矢量z与各已知类的类别中心C之间的欧式距离d(z,C)，根据相对于各已知类的类别中心的距离的远近实现深度学习模型的类别预测，表示为：
y′＝arg min(d(z,C))
d(z,C)＝||z-C||2＝(d1,...,dN)＝(||z-c1||2,...,||z-cN||2)
式中y′代表预测类别，||·||2代表欧式范数，di为特征矢量z相对于第i个已知类的类别中心ci的欧式距离，i＝1,…,N，N为已知类的类别个数；
步骤S3：构造基于欧式距离的损失函数，损失函数由两部分构成：一部分是相对于类别中心的损失函数，另一部分是修正的Tuplet损失函数；
(3a)构造相对于类别中心的损失函数
输入数据x经过深度学习网络输出的特征为z，所有已知类的类别中心为C＝(c1,c2,…,cN)，相对于类别中心的损失函数为：
LA(x,y)＝dy＝||z-cy||2
其中y代表输入数据x的类别属性，y＝1,…,N，N为已知类的类别个数，cy为第y类已知类的类别中心；
(3b)构造修正的Tuplet损失函数LT(x,y)
输入数据x经过深度学习网络输出的特征为z，所有已知类的类别中心为C＝(c1,c2,…,cN)，特征矢量z与各已知类的类别中心C之间的欧式距离为d(x,C)；N为已知类的类别个数，y代表输入数据x的类别属性，j代表第j类已知类的类别属性，j＝1,…,N但j≠y；
Figure BDA0002741012400000031
(3c)构造基于欧式距离的损失函数
基于欧式距离的损失函数是由相对于类别中心的损失函数LA(x,y)和修正的Tuplet损失函数LT(x,y)通过加权求和的形式构造的，具体表达式为：
L(x,y)＝α×LA(x,y)+β×LT(x,y)
其中，α和β分别为相对于类别中心的损失函数和Tuplet损失函数的权值；使用基于欧式距离的损失函数替换传统深度学习网络的softmax交叉熵损失函数，对深度学习网络进行优化训练；
步骤S4：对输入的高光谱图像进行预处理；
预处理分为四个步骤，依次为高光谱数据标注、最小最大值归一化、引导滤波器滤波、最小最大值归一化；
(4a)高光谱数据标注：基于先验信息，赋予各个已知类标签信息：1,2,…,N，N为已知类的类别个数；然后对高光谱数据中属于各个已知类的像素进行标注；
(4b)进行最小最大值归一化，归一化公式为：
Figure BDA0002741012400000041
式中xijc和
Figure BDA0002741012400000042
分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；c代表高光谱影像的第c个波段；xmax和xmin分别代表三维高光谱影像数据中的最大值和最小值；a和b均为常数，为使得归一化后的数值在[0,255]范围内，令a＝255，b＝0，得到高光谱数据Snorm；
(4c)引导滤波器滤波
对归一化后的高光谱数据进行主成分分析，得到第一主成分对应的图像I1，将I1最小最大归一化到[0,255]范围内，得到图Iguide，然后将Iguide作为导向图对归一化后的高光谱数据Snorm进行引导滤波：对高光谱数据Snorm所有波段处的图像使用引导滤波器进行滤波，通过改变滤波器滤波窗口的直径调节滤波效果，有助于提高高光谱的分类精度；
(4d)进行最小最大值归一化，为使得高光谱数据归一化后的数值在[0,1]范围内，令a＝1，b＝0；
步骤S5：数据分割；具体分为三步进行操作：
(5a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为
Figure BDA0002741012400000043
使其维度由(H,W,L)扩展成为
Figure BDA0002741012400000044
边沿扩展层的数值均为0；
(5b)以待分类像素为中心，以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据，逐个像素地遍历高光谱数据，生成大量维度为m×m×L的数据块；
(5c)对中心像素属于已知类的数据块，以中心像素所属标签为该数据块的标签；
其中，(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数；m代表数据块在空间域的长宽值；
步骤S6：生成训练数据集和测试数据集；
从步骤S5提取出来的带有标签的数据块中随机抽取一定比例的数据块作为分类模型的训练数据集，其余的数据块作为测试数据集；测试数据集包括剩余的带有标签的数据块和所有没有标签的数据块；
步骤S7：利用训练数据集训练深度学习网络模型，具体步骤如下：
利用步骤S6得到的训练数据集、步骤S1构造的各已知类的类别中心、步骤S2构造的构造基于欧式距离的类别预测函数和步骤S3构造的基于欧式距离的损失函数，对深度学习网络模型进行训练；训练过程中，每次随机不重复地从训练集里抽取32个样本为一批训练数据，采用随机梯度下降方法更新网络参数，直至网络收敛；训练过程遍历整个训练集一次为一轮训练；
步骤S8：使用箱线图方法对得到正确分类的训练数据进行异常值数据捕获，得到各已知类的异常值判断阈值和异常点的个数，然后根据异常点的个数选择判别未知类的方式；具体如下：(8a)对于属于同一类且分类正确的训练数据，统计其通过深度学习网络输出的特征到该已知类的类别中心的距离，构建箱线图，使用箱线图上边缘(Q3+1.5×IQR)作为异常值判断阈值，其中Q3为75％分位数，IQR为四分位数全距，得到各已知类的异常值判断阈值t∈[t1,t2,…,tN]，各已知类的异常点的个数m∈[m1,m2,…,mN]；其中ti，mi分别是第i类已知类的异常值判断阈值和异常点的个数，i＝1,2，…,N，N为已知类的类别个数；
(8b)对于第i个已知类，如果其异常点的个数mi＜δ，则使用ti作为该已知类的拒绝阈值；如果mi≥δ，则将mi作为拟合极值分布Weibull分布模型所需要的异常点的个数，再利用这些异常点所对应的距离，拟合得到该已知类Weibull分布模型的比例参数，形状参数和位置参数；其中，δ是正整数，代表点的个数；Weibull分布的概率密度函数为：
Figure BDA0002741012400000051
式中λi为比例参数，κi为形状参数，τi为位置参数；di是输入数据通过深度学习网络输出的特征到该第i个已知类的类别中心的距离；
步骤S9：将测试数据输入训练好的深度学习网络模型，得到测试数据的特征矢量ztest，计算ztest相对于各个已知类的类别中心C的距离dtest，则argmin(dtest)为该测试数据的预测类别；使用步骤(8b)得到的各已知类的未知类判别方式实现开放集分类，具体如下：
如果argmin(dtest)对应的已知类是采用箱线图上边缘的方式进行未知类判别，则使用targmin(dtest)作为该已知类的未知类识别阈值；进一步地，若min(dtest)大于targmin(dtest)，则该测试数据为未知类，即第(N+1)类，否则为已知类argmin(dtest)，公式为：
Figure BDA0002741012400000061
式中
Figure BDA0002741012400000062
为开放集分类结果；
如果argmin(dtest)对应的已知类具有Weibull分布模型，则使用Weibull分布模型进行未知类判别：将min(dtest)输入已知类argmin(dtest)的Weibull分布模型，计算得到概率值p(min(dtest))，公式如下：
Figure BDA0002741012400000063
式中λargmin(dtest)，κargmin(dtest)和τargmin(dtest)分别为已知类argmin(dtest)的Weibull分布模型的比例参数，形状参数和位置参数；对于p(min(dtest))，若p(min(dtest))>ζ，则该测试数据为未知类，即第(N+1)类，否则为已知类argmin(dtest)，公式为：
Figure BDA0002741012400000064
其中，ζ为阈值参数，0<ζ<1；
Figure BDA0002741012400000065
为开放集分类结果。
相比于现有技术，本发明具有以下有益效果：
本发明提出的一种基于欧式距离和深度学习的高光谱开放集分类方法，通过使用基底向量构造各已知类的类别中心，进而使用基于欧式距离的类别预测函数和基于欧式距离的损失函数训练深度学习网络模型，使得深度学习网络学习到的类内特征分布相似度更高，类间特征分布差异更加明显，网络的鲁棒性得到大大增强；其次，类别中心基于高维空间的基底向量，无需通过训练进行优化，稳定性更高，更适用于大型复杂的数据集。此外，本发明融合箱线图和Weibull分布模型实现了高光谱开放集分类的任务，在对已知类进行分类的同时，能够对未知类目标进行拒绝；箱线图的使用使得Weibull分布模型的拟合更符合各已知类自身的分布特性，有助于提高高光谱开放集分类的性能，也更加适用于实际环境。
附图说明
图1是本发明的流程图；
图2是本发明箱线图的结构示意图；；
图3是本发明实施例中高光谱图像的地面实况标注，包含9类已知类和6类未知类，6类未知类统一用白色表示；
图4是本发明实施例中高光谱图像经过开放集分类后的效果图。
具体实施方式
下面结合具体实施例的仿真实验和附图对本发明做进一步详细描述：
本发明实施仿真实验的硬件环境为：
Figure BDA0002741012400000071
Xeon(R)W-2123CPU@3.60GHz×8，内存为16GiB，GPU为TITAN Xp；软件平台为：TensorFlow2.0和keras 2.2.4。
本发明仿真实验所采用的高光谱数据集为Houston高光谱图像，由2013年的GRSS数据融合比赛提供。该数据集包含144个波段，图像大小为349×1905个像素，空间分辨率为2.5m。该数据集包含15类地物，在仿真实验中随机选择9类作为已知类训练模型，其余6类作为未知类不参与训练。
参照图1对本发明的具体步骤做进一步的详细描述。步骤如下：
步骤S1：构造各已知类的类别中心；
在N维特征空间，第i个已知类的类别中心为ci，表示为ci＝λei，其中ei代表第i个已知类在N维特征空间的基底向量，λ是调节类别中心幅度的参数，i＝1,…,N，N为已知类的类别个数；则对于所有已知类，类别中心的集合为：
C＝(c1,c2,…,cN)＝λ(e1,e2,…,eN)
e1＝(1,0,...,0)T,eN＝(0,0,...,1)T
在本实施例中，N为9，λ为10；
步骤S2：构造基于欧式距离的类别预测函数，代替SoftMax分类器函数进行类别预测；
输入数据经深度学习网络特征提取后，得到的N维特征矢量z，表示为：
z＝f(x,θ)
式中，f代表深度学习网络的模型函数，x,θ分别代表输入数据和深度学习网络的参数；计算特征矢量z与各已知类的类别中心C之间的欧式距离d(z,C)，根据相对于各已知类的类别中心的距离的远近实现深度学习模型的类别预测，表示为：
y′＝arg min(d(z,C))
d(z,C)＝||z-C||2＝(d1,...,dN)＝(||z-c1||2,...,||z-cN||2)
式中y′代表预测类别，||·||2代表欧式范数，di为特征矢量z相对于第i个已知类的类别中心ci的欧式距离，i＝1,…,N，N为已知类的类别个数；在本实施例中，N为9，深度学习网络使用3D卷积神经网络模型；
步骤S3：构造基于欧式距离的损失函数，损失函数有两部分构成：一部分是相对于类别中心的损失函数，另一部分是修正的Tuplet损失函数；
(3a)构造相对于类别中心的损失函数
输入数据x经过深度学习网络输出的特征为z，所有已知类的类别中心为C＝(c1,c2,…,cN)，相对于类别中心的损失函数为：
LA(x,y)＝dy＝||z-cy||2
其中y代表输入数据x的类别属性，y＝1,…,N，N为已知类的类别个数，cy为第y类已知类的类别中心；
(3b)构造修正的Tuplet损失函数
输入数据x经过深度学习网络输出的特征为z，所有已知类的类别中心为C＝(c1,c2,…,cN)，特征矢量z与各已知类的类别中心C之间的欧式距离为d(x,C)；其中N为已知类的类别个数，y代表输入数据x的类别属性，j代表第j类已知类的类别属性，j＝1,…,N但j≠y；
Figure BDA0002741012400000081
(3c)构造基于欧式距离的损失函数
基于欧式距离的损失函数是由相对于类别中心的损失函数LA(x,y)和修正的Tuplet损失函数LT(x,y)通过加权求和的形式构造的，具体表达式为：
L(x,y)＝α×LA(x,y)+β×LT(x,y)
其中，α和β分别为相对于类别中心的损失函数和Tuplet损失函数的权值；使用基于欧式距离的损失函数替换传统深度学习网络的SoftMax交叉熵损失函数，对深度学习网络进行优化训练；在本实施例中，N为9，α和β分别为0.1和1；
步骤S4：对输入的高光谱图像进行预处理；
预处理分为四个步骤，依次为高光谱数据标注、最小最大值归一化、引导滤波器滤波、最小最大值归一化；
(4a)高光谱数据标注：基于先验信息，赋予各个已知类标签信息：1,2,…,N，其中N为已知类的类别个数；然后对高光谱数据中属于各个已知类的像素进行标注；在本实施例中，从Houston数据集中随机选择9类地物作为已知类，即N＝9，其余6类地物作为未知类，标注结果如图3所示；
(4b)进行最小最大值归一化，归一化公式为：
Figure BDA0002741012400000091
式中xijc和
Figure BDA0002741012400000092
分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；c代表高光谱影像的第c个波段；xmax和xmin分别代表三维高光谱影像数据中的最大值和最小值；a和b均为常数，为使得归一化后的数值在[0,255]范围内，令a＝255，b＝0，得到高光谱数据Snorm；
(4c)引导滤波器滤波
对归一化后的高光谱数据进行主成分分析，得到第一主成分对应的图像I1，将I1最小最大归一化到[0,255]范围内，得到图Iguide，然后将Iguide作为导向图对归一化后的高光谱数据Snorm进行引导滤波：对高光谱数据Snorm所有波段处的图像使用引导滤波器进行滤波，通过改变滤波器滤波窗口的直径调节滤波效果，有助于提高高光谱的分类精度；在本实施例中，引导滤波器滤波窗口直径设置为7；
(4d)进行最小最大值归一化，为使得高光谱数据归一化后的数值在[0,1]范围内，令a＝1，b＝0；
步骤S5：数据分割；具体分为三步进行操作：
(5a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为
Figure BDA0002741012400000093
使其维度由(H,W,L)扩展成为
Figure BDA0002741012400000094
边沿扩展层的数值均为0；在实施例中，L取值144，m取值9；高光谱图像数据维度由(349，1905，144)扩展成为(358,1914,144)；
(5b)以待分类像素为中心，以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据，逐个像素地遍历高光谱数据，生成大量维度为m×m×L的数据块；在本实施例中，L取值144，m取值9，则数据块的维度为9×9×144；
(5c)对中心像素属于已知类的数据块，以中心像素所属标签为该数据块的标签；
其中，(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数；m代表数据块在空间域的长宽值；
步骤S6：生成训练数据集和测试数据集；
从步骤S5提取出来的带有标签的数据块中随机抽取一定比例的数据块作为分类模型的训练数据集，其余的数据块作为测试数据集；测试数据集包括剩余的带有标签的数据块和所有没有标签的数据块；在本实施例中，对于Houston高光谱图像该比例取值20％；
步骤S7：利用训练数据集训练深度学习网络模型，具体步骤如下：
利用步骤S6得到的训练数据集、步骤S1构造的各已知类的类别中心、步骤S2构造的构造基于欧式距离的类别预测函数和步骤S3构造的基于欧式距离的损失函数，对深度学习网络模型进行训练；训练过程中，每次随机不重复地从训练集里抽取32个样本为一批训练数据，采用随机梯度下降方法更新网络参数，直至网络收敛；训练过程遍历整个训练集一次为一轮训练；在本实施例中，整个训练过程进行100轮，前40轮学习率设为0.003，后60轮，学习率衰减到0.0003。整个训练过程中，动量项设为0.9；
步骤S8：使用箱线图方法对得到正确分类的训练数据进行异常值数据捕获，得到各已知类的异常值判断阈值和异常点的个数，然后根据异常点的个数选择判别未知类的方式；具体如下：(8a)对于属于同一类且分类正确的训练数据，统计其通过深度学习网络输出的特征到该已知类的类别中心的距离，构建箱线图，使用箱线图上边缘(Q3+1.5×IQR)作为异常值判断阈值，其中Q3为75％分位数，IQR为四分位数全距；以此方法得到各已知类的异常值判断阈值t∈[t1,t2,…,tN]，各已知类的异常点的个数m∈[m1,m2,…,mN]；其中ti，mi分别是第i类已知类的异常值判断阈值和异常点的个数，i＝1,2，…,N，N为已知类的类别个数；在本实施例中，N为9；
(8b)对于第i个已知类，如果其异常点的个数mi＜δ，则使用ti作为该已知类的拒绝阈值；如果mi≥δ，则将mi作为拟合极值分布Weibull分布模型所需要的异常点的个数，再利用这些异常点所对应的距离，拟合得到该已知类Weibull分布模型的比例参数，形状参数和位置参数；其中，δ是正整数，代表点的个数；Weibull分布的概率密度函数为：
Figure BDA0002741012400000101
式中λi为比例参数，κi为形状参数，τi为位置参数；di是输入数据通过深度学习网络输出的特征到该第i个已知类的类别中心的距离；δ取值2；
步骤S9：将测试数据输入训练好的深度学习网络模型，得到测试数据的特征矢量ztest，计算ztest相对于各个已知类的类别中心C的距离dtest，则argmin(dtest)为该测试数据的预测类别；使用步骤(8b)得到的各已知类的未知类判别方式实现开放集分类，具体如下：
如果argmin(dtest)对应的已知类是采用箱线图上边缘的方式进行未知类判别，则使用targmin(dtest)作为该已知类的未知类识别阈值；进一步地，若min(dtest)大于targmin(dtest)，则该测试数据为未知类，即第(N+1)类，否则为已知类argmin(dtest)，公式为：
Figure BDA0002741012400000111
式中
Figure BDA0002741012400000112
为开放集分类结果；
如果argmin(dtest)对应的已知类具有Weibull分布模型，则使用Weibull分布模型进行未知类判别：将min(dtest)输入已知类argmin(dtest)的Weibull分布模型，计算得到概率值p(min(dtest))，公式如下：
Figure BDA0002741012400000113
式中λargmin(dtest)，κargmin(dtest)和τargmin(dtest)分别为已知类argmin(dtest)的Weibull分布模型的比例参数，形状参数和位置参数；对于p(min(dtest))，若p(min(dtest))>ζ，则该测试数据为未知类，即第(N+1)类，否则为已知类argmin(dtest)，公式为：
Figure BDA0002741012400000114
其中，ζ为阈值参数，0<ζ<1；
Figure BDA0002741012400000115
为开放集分类结果；在本实施例中，对于Houston数据集，ζ取值为0.15。
下面结合仿真实验结果对本发明的效果做进一步说明：
在本发明提出的一种基于欧式距离和深度学习的高光谱开放集分类方法下，实施例中高光谱图像的开放集分类结果如图4所示。图3和图4对比可知，大部分已知类得到了正确的分类，未知类也得到了正确的拒绝。进一步计算高光谱图像分类结果的平均分类精度AA、总体分类精度OA、Kappa系数和F1分数。平均分类精度AA＝各已知类的分类精度之和/已知类的类别总数；总体分类精度OA＝各已知类正确分类像素个数总和/像素总数；Kappa系数是统计学中评估一致性的一种方法，多用来进行多分类模型准确度的评估，可通过真实标签和预测标签之间的混淆矩阵计算求得，Kappa系数值介于0和1之间，值越高，代表模型实现的分类准确度越高；F1分数是模型精确率和召回率的调和平均数，介于0和1之间，值越高，模型的分类效果越好。结果如表1所示。
表1实施例中高光谱图像的开放集分类结果
Figure BDA0002741012400000116
Figure BDA0002741012400000121
由表1可知，本发明对已知类的分类精度均在90％以上，未知类的拒绝率为79.40％，结果优于对比文件3(Hyperspectral open set classification with unknownclasses rejection towards deep networks,Yu Liu,Yuhua Tang,Lixiong Zhang,LuLiu,Minghui Song,Kecheng Gong,Yuanxi Peng,Jing Hou&Tian Jiang(2020),International Journal of Remote Sensing,41:16,6355-6383,DOI:10.1080/01431161.2020.1754492)展示的分类效果。
综上所述，由具体实施例可知：一种基于欧式距离和深度学习的高光谱开放集分类方法在遥感高光谱图像的开放集分类中表现良好。相比于已知的高光谱开放集分类方法，本发明大大地提高了高光谱开放集分类的性能，增强了深度学习网络在实际环境中应用的鲁棒性。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应当视为落入本发明的保护范围。

Claims (4)

1.一种基于欧式距离和深度学习的高光谱开放集分类方法，其特征在于，具体包括下述步骤：
步骤S1：构造各已知类的类别中心；
在N维特征空间，第i个已知类的类别中心为ci，表示为ci＝λei，其中ei代表第i个已知类在N维特征空间的基底向量，λ是调节类别中心幅度的参数，i＝1,…,N，N为已知类的类别个数；对于所有已知类，将类别中心的集合表示为：
C＝(c1,c2,…,cN)＝λ(e1,e2,…,eN)
e1＝(1,0,...,0)T,eN＝(0,0,...,1)T
步骤S2：构造基于欧式距离的类别预测函数，代替SoftMax分类器函数进行类别预测；
输入数据经深度学习网络特征提取后，得到的N维特征矢量z，表示为：
z＝f(x,θ)
式中，f代表深度学习网络的模型函数，x,θ分别代表输入数据和深度学习网络的参数；计算特征矢量z与各已知类的类别中心C之间的欧式距离d(z,C)，根据相对于各已知类的类别中心的距离的远近实现深度学习模型的类别预测，表示为：
y′＝arg min(d(z,C))
d(z,C)＝||z-C||2＝(d1,...,dN)＝(||z-c1||2,...,||z-cN||2)
式中y′代表预测类别，||·||2代表欧式范数，di为特征矢量z相对于第i个已知类的类别中心ci的欧式距离，i＝1,…,N，N为已知类的类别个数；
步骤S3：构造基于欧式距离的损失函数，损失函数由两部分构成：一部分是相对于类别中心的损失函数，另一部分是修正的Tuplet损失函数；
(3a)构造相对于类别中心的损失函数
输入数据x经过深度学习网络输出的特征为z，所有已知类的类别中心为C＝(c1,c2,…,cN)，相对于类别中心的损失函数为：
LA(x,y)＝dy＝||z-cy||2
其中y代表输入数据x的类别属性，y＝1,…,N，N为已知类的类别个数，cy为第y类已知类的类别中心；
(3b)构造修正的Tuplet损失函数LT(x,y)
输入数据x经过深度学习网络输出的特征为z，所有已知类的类别中心为C＝(c1,c2,…,cN)，特征矢量z与各已知类的类别中心C之间的欧式距离为d(x,C)；N为已知类的类别个数，y代表输入数据x的类别属性，j代表第j类已知类的类别属性，j＝1,…,N但j≠y；
Figure FDA0002741012390000021
(3c)构造基于欧式距离的损失函数
基于欧式距离的损失函数是由相对于类别中心的损失函数LA(x,y)和修正的Tuplet损失函数LT(x,y)通过加权求和的形式构造的，具体表达式为：
L(x,y)＝α×LA(x,y)+β×LT(x,y)
其中，α和β分别为相对于类别中心的损失函数和Tuplet损失函数的权值；使用基于欧式距离的损失函数替换传统深度学习网络的softmax交叉熵损失函数，对深度学习网络进行优化训练；
步骤S4：对输入的高光谱图像进行预处理；
预处理分为四个步骤，依次为高光谱数据标注、最小最大值归一化、引导滤波器滤波、最小最大值归一化；
(4a)高光谱数据标注：基于先验信息，赋予各个已知类标签信息：1,2,…,N，N为已知类的类别个数；然后对高光谱数据中属于各个已知类的像素进行标注；
(4b)进行最小最大值归一化，归一化公式为：
Figure FDA0002741012390000022
式中xijc和
Figure FDA0002741012390000023
分别代表归一化处理前后的高光谱影像数据；(i,j)代表高光谱影像像素的空间位置坐标；c代表高光谱影像的第c个波段；xmax和xmin分别代表三维高光谱影像数据中的最大值和最小值；a和b均为常数，为使得归一化后的数值在[0,255]范围内，令a＝255，b＝0，得到高光谱数据Snorm；
(4c)引导滤波器滤波
对归一化后的高光谱数据进行主成分分析，得到第一主成分对应的图像I1，将I1最小最大归一化到[0,255]范围内，得到图Iguide，然后将Iguide作为导向图对归一化后的高光谱数据Snorm进行引导滤波：对高光谱数据Snorm所有波段处的图像使用引导滤波器进行滤波，通过改变滤波器滤波窗口的直径调节滤波效果，有助于提高高光谱的分类精度；
(4d)进行最小最大值归一化，为使得高光谱数据归一化后的数值在[0,1]范围内，令a＝1，b＝0；
步骤S5：数据分割；具体分为三步进行操作：
(5a)对高光谱影像空间域的边沿进行扩充，扩充的宽度为
Figure FDA0002741012390000031
使其维度由(H,W,L)扩展成为
Figure FDA0002741012390000032
边沿扩展层的数值均为0；
(5b)以待分类像素为中心，以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据，逐个像素地遍历高光谱数据，生成大量维度为m×m×L的数据块；
(5c)对中心像素属于已知类的数据块，以中心像素所属标签为该数据块的标签；
其中，(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数；m代表数据块在空间域的长宽值；
步骤S6：生成训练数据集和测试数据集；
从步骤S5提取出来的带有标签的数据块中随机抽取一定比例的数据块作为分类模型的训练数据集，其余的数据块作为测试数据集；测试数据集包括剩余的带有标签的数据块和所有没有标签的数据块；
步骤S7：利用训练数据集训练深度学习网络模型，具体步骤如下：
利用步骤S6得到的训练数据集、步骤S1构造的各已知类的类别中心、步骤S2构造的构造基于欧式距离的类别预测函数和步骤S3构造的基于欧式距离的损失函数，对深度学习网络模型进行训练；训练过程中，每次随机不重复地从训练集里抽取32个样本为一批训练数据，采用随机梯度下降方法更新网络参数，直至网络收敛；训练过程遍历整个训练集一次为一轮训练；
步骤S8：使用箱线图方法对得到正确分类的训练数据进行异常值数据捕获，得到各已知类的异常值判断阈值和异常点的个数，然后根据异常点的个数选择判别未知类的方式；具体如下：
(8a)对于属于同一类且分类正确的训练数据，统计其通过深度学习网络输出的特征到该已知类的类别中心的距离，构建箱线图，使用箱线图上边缘(Q3+1.5×IQR)作为异常值判断阈值，其中Q3为75％分位数，IQR为四分位数全距，得到各已知类的异常值判断阈值t∈[t1,t2,…,tN]，各已知类的异常点的个数m∈[m1,m2,…,mN]；其中ti，mi分别是第i类已知类的异常值判断阈值和异常点的个数，i＝1,2，…,N，N为已知类的类别个数；
(8b)对于第i个已知类，如果其异常点的个数mi＜δ，则使用ti作为该已知类的拒绝阈值；如果mi≥δ，则将mi作为拟合极值分布Weibull分布模型所需要的异常点的个数，再利用这些异常点所对应的距离，拟合得到该已知类Weibull分布模型的比例参数，形状参数和位置参数；其中，δ是正整数，代表点的个数；Weibull分布的概率密度函数为：
Figure FDA0002741012390000041
式中λi为比例参数，κi为形状参数，τi为位置参数；di是输入数据通过深度学习网络输出的特征到该第i个已知类的类别中心的距离；
步骤S9：将测试数据输入训练好的深度学习网络模型，得到测试数据的特征矢量ztest，计算ztest相对于各个已知类的类别中心C的距离dtest，则argmin(dtest)为该测试数据的预测类别；使用步骤(8b)得到的各已知类的未知类判别方式实现开放集分类，具体如下：
如果argmin(dtest)对应的已知类是采用箱线图上边缘的方式进行未知类判别，则使用targmin(dtest)作为该已知类的未知类识别阈值；进一步地，若min(dtest)大于targmin(dtest)，则该测试数据为未知类，即第(N+1)类，否则为已知类argmin(dtest)，公式为：
Figure FDA0002741012390000042
式中
Figure FDA0002741012390000043
为开放集分类结果；
如果argmin(dtest)对应的已知类具有Weibull分布模型，则使用Weibull分布模型进行未知类判别：将min(dtest)输入已知类argmin(dtest)的Weibull分布模型，计算得到概率值p(min(dtest))，公式如下：
Figure FDA0002741012390000051
式中λargmin(dtest)，κargmin(dtest)和τargmin(dtest)分别为已知类argmin(dtest)的Weibull分布模型的比例参数，形状参数和位置参数；对于p(min(dtest))，若p(min(dtest))>ζ，则该测试数据为未知类，即第(N+1)类，否则为已知类argmin(dtest)，公式为：
Figure FDA0002741012390000052
其中，ζ为阈值参数，0<ζ<1；
Figure FDA0002741012390000053
为开放集分类结果。
2.根据权利要求1所述的一种基于欧式距离和深度学习的高光谱开放集分类方法，其特征在于，所述步骤S1中的λ取值为10。
3.根据权利要求1所述的一种基于欧式距离和深度学习的高光谱开放集分类方法，其特征在于，所述步骤S5中的m取值为9。
4.根据权利要求1所述的一种基于欧式距离和深度学习的高光谱开放集分类方法，其特征在于，所述步骤S8中的δ取值为2。
CN202011150400.2A 2020-10-24 2020-10-24 一种基于欧式距离和深度学习的高光谱开放集分类方法 Active CN112149758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011150400.2A CN112149758B (zh) 2020-10-24 2020-10-24 一种基于欧式距离和深度学习的高光谱开放集分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011150400.2A CN112149758B (zh) 2020-10-24 2020-10-24 一种基于欧式距离和深度学习的高光谱开放集分类方法

Publications (2)

Publication Number Publication Date
CN112149758A CN112149758A (zh) 2020-12-29
CN112149758B true CN112149758B (zh) 2022-03-04

Family

ID=73954821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011150400.2A Active CN112149758B (zh) 2020-10-24 2020-10-24 一种基于欧式距离和深度学习的高光谱开放集分类方法

Country Status (1)

Country Link
CN (1) CN112149758B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408605B (zh) * 2021-06-16 2023-06-16 西安电子科技大学 基于小样本学习的高光谱图像半监督分类方法
CN113392931B (zh) * 2021-07-02 2023-02-10 西安电子科技大学 基于自监督学习及多任务学习的高光谱开放集分类方法
CN114399684B (zh) * 2022-03-24 2022-08-05 中国科学院西安光学精密机械研究所 一种基于双损失函数的高光谱图像开放性分类方法
CN115083442B (zh) * 2022-04-29 2023-08-08 马上消费金融股份有限公司 数据处理方法、装置、电子设备以及计算机可读存储介质
CN116863352B (zh) * 2023-09-05 2024-01-02 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201823A1 (de) * 2011-02-08 2012-08-09 Xerox Corp. Verfahren zur Klassifizierung eines Pixels eines hyperspektralen Bildes in einer Fernerfassungsanwendung
WO2017166156A1 (zh) * 2016-03-31 2017-10-05 深圳大学 一种高光谱图像的分类方法及其系统
CN107832797A (zh) * 2017-11-17 2018-03-23 西安电子科技大学 基于深度融合残差网的多光谱图像分类方法
CN109919241A (zh) * 2019-03-15 2019-06-21 中国人民解放军国防科技大学 基于概率模型和深度学习的高光谱未知类别目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201823A1 (de) * 2011-02-08 2012-08-09 Xerox Corp. Verfahren zur Klassifizierung eines Pixels eines hyperspektralen Bildes in einer Fernerfassungsanwendung
WO2017166156A1 (zh) * 2016-03-31 2017-10-05 深圳大学 一种高光谱图像的分类方法及其系统
CN107832797A (zh) * 2017-11-17 2018-03-23 西安电子科技大学 基于深度融合残差网的多光谱图像分类方法
CN109919241A (zh) * 2019-03-15 2019-06-21 中国人民解放军国防科技大学 基于概率模型和深度学习的高光谱未知类别目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《open set domain adaption for hyperspectral image classication using generatic adversarial network》;s nirmal;《research gate》;20200229;第1-9页 *

Also Published As

Publication number Publication date
CN112149758A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149758B (zh) 一种基于欧式距离和深度学习的高光谱开放集分类方法
CN109670528B (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN107368807B (zh) 一种基于视觉词袋模型的监控视频车型分类方法
CN109522956B (zh) 一种低秩判别特征子空间学习方法
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN106845358B (zh) 一种手写体字符图像特征识别的方法及系统
CN104239902B (zh) 基于非局部相似性和稀疏编码的高光谱图像分类方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110097060B (zh) 一种面向树干图像的开集识别方法
CN105574505A (zh) 一种多摄像机间人体目标再识别的方法及系统
JP5567448B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
CN109657610A (zh) 一种高分辨率多源遥感影像的土地利用变化检测方法
CN108537790B (zh) 基于耦合翻译网络的异源图像变化检测方法
CN109543723B (zh) 一种鲁棒的图像聚类方法
CN107563312A (zh) 人脸表情识别方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN109241813B (zh) 基于判别稀疏保持嵌入的非约束人脸图像降维方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN108108760A (zh) 一种快速人脸识别方法
CN103955709A (zh) 基于加权合成核与tmf的极化sar图像分类方法
CN108460400A (zh) 一种结合多种特征信息的高光谱图像分类方法
CN114694178A (zh) 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN114091606A (zh) 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法
WO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant