CN112200123B - 联合稠密连接网络和样本分布的高光谱开放集分类方法 - Google Patents

联合稠密连接网络和样本分布的高光谱开放集分类方法 Download PDF

Info

Publication number
CN112200123B
CN112200123B CN202011151970.3A CN202011151970A CN112200123B CN 112200123 B CN112200123 B CN 112200123B CN 202011151970 A CN202011151970 A CN 202011151970A CN 112200123 B CN112200123 B CN 112200123B
Authority
CN
China
Prior art keywords
data
hyperspectral
class
training
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011151970.3A
Other languages
English (en)
Other versions
CN112200123A (zh
Inventor
江天
刘煜
侯静
彭元喜
周侗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202011151970.3A priority Critical patent/CN112200123B/zh
Publication of CN112200123A publication Critical patent/CN112200123A/zh
Application granted granted Critical
Publication of CN112200123B publication Critical patent/CN112200123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域,公开了一种联合稠密连接网络和样本分布的高光谱开放集分类方法;包括数据预处理,对高光谱数据进行人工标注、双边滤波保边降噪、主成分分析降维和最大最小归一化处理;然后使用1D/2D稠密连接网络提取高光谱预处理数据的光谱和空间特征,使用SoftMax分类器得到输入数据相对于各已知类的概率值,取最大概率值所对应的类为其预测类别;使用箱线图方法捕获训练数据的异常分类概率值,得到各已知类的异常值判断阈值,然后对输入数据的预测类别所对应的概率值进行判断:若概率值大于该预测类别的异常值判断阈值,则输入数据属于预测类别,否则属于未知类。本发明结合深度学习和箱线图方法,能在已知类分类的同时拒绝未知类。

Description

联合稠密连接网络和样本分布的高光谱开放集分类方法
技术领域
本发明属于图像处理技术领域,更进一步涉及高光谱图像开放集分类技术领域中的联合稠密连接网络和样本分布的高光谱开放集分类方法。本发明不仅能对训练过程中出现的已知类进行分类,还能对训练过程中没有出现的未知类加以拒绝。
背景技术
高光谱分类技术是高光谱成像技术中一项重要内容,其具体任务是是利用相邻像素的空间相关性和光谱信息的特征,对图像中的每个像素点所对应的物质的属性进行归类。这项技术在民用和军用领域有着巨大实用价值,如农作物病虫害检测、地质勘探、环境检测和战场伪装目标侦察等方面。该技术也是高光谱感知领域的研究热点之一,到目前为止已经诞生了很多分类方法。近几年随着以深度学习为代表的人工智能方法的崛起,以卷积神经网络及其衍生模型(如残差网络、循环网络和胶囊网络等)为基本框架的深度网络受到高光谱图像分类领域各位专家学者的重视,逐步成为高光谱图像分类的重要技术手段。基于深度学习的高光谱图像分类和识别方法大部分属于有监督的分类和识别。其思想是通过有标签的高光谱图像数据对深度神经网络进行训练,然后使用训练好的深度神经网络对高光谱图像进行分类和识别。
尽管深度学习的应用极大地提高了高光谱图像智能感知的能力,然而值得注意的是这些基于深度学习的高光谱分类方法均基于一个理想的假设——闭合集假设。所谓闭合集假设,是指测试数据和训练数据均来自于相同的类别空间,并具有相同的概率分布,即测试类别包含于训练类别。然而由于实际环境的复杂性和动态性,研究人员无法搜集到所有类别物质的标签信息。公认地,在训练过程中出现的类,称之为已知类;在训练过程中未出现的类,称之为未知类。使用训练好的深度神经网络对高光谱图像分类的过程中必然会遇到未知类,所以在实际场景中闭合集假设并不存在。那么基于闭合集假设训练得到的高性能分类模型就无法应用于包含未知类的真实环境中。与闭合集假设相对应,真实环境带来的挑战我们称之为开放集分类问题,与其相关的分类任务称之为开放集分类。开放集分类不仅要求实现对已知类进行高精度分类,还要求实现对未知类的拒绝。
目前面向深度学习的高光谱开放集智能分类方法研究较少。对比文件1(Deep-learning-based active hyperspectral imaging classification method illuminatedby the supercontinuum laser)和对比文件2(中国发明专利,申请号:CN201911074775.2)提出的基于稠密神经网络的高光谱分类方法,这两种方法只能实现对已知类的分类,而对未知类则只能将其划分为已知类中的某一类或某几类,无法加以拒绝。对比文件3(中国发明专利,申请号:CN201910200211.2)提出的一种基于概率模型和深度学习的高光谱未知类别目标检测方法,其在深度神经网络的SoftMax层之前引入一个概率模型计算层OpenMax。OpenMax的理论基础是极值理论,其使用Weibull分布来对已知类各类中异常点的分布情况进行拟合,得到各个已知类的Weibull模型。然后利用各已知类的Weibull模型来衡量输入数据属于已知类以及未知类的可能性。然而该方法需要未知类的样本来进行调参,且其中Weibull拟合的过程对训练样本中异常点的选择较为敏感。因而在实际使用过程中,该方法的鲁棒性和泛化性较差,未知目标检测的性能的波动性较大。
综上所述,高光谱开放集分类的挑战亟待解决;其次,当下已有的高光谱开放集分类方法存在模型复杂、调参困难、精度不高的问题,有待通过进一步的研究,实现改进或提出新的开放集分类方法。
发明内容
针对传统的高光谱分类方法无法处理开放集分类任务,以及已有的高光谱开放集分类方法性能较差的现状,本发明结合深度学习技术,设计了一种联合稠密连接网络和样本分布的高光谱开放集分类方法。
本发明所述联合稠密连接网络和样本分布的高光谱开放集分类方法,具体包括下述步骤:
步骤S1:对输入的高光谱图像进行预处理;
预处理分为五个步骤,依次为高光谱数据标注、最小最大值归一化、双边滤波器滤波、主成分分析降维、最小最大值归一化;
(1a)高光谱数据标注:基于先验信息,赋予各个已知类标签信息,并对高光谱数据中属于各个已知类的像素进行标注;
(1b)进行最小最大值归一化,归一化公式为:
Figure BDA0002741012750000021
式中xijd
Figure BDA0002741012750000022
分别代表归一化处理前后的高光谱影像数据;(i,j)代表高光谱影像像素的空间位置坐标;d代表高光谱影像的第d个波段;xmax和xmin分别代表三维高光谱影像数据中的最小值和最大值;a和b均为常数,使得归一化后的数值在(0,1)范围内,且不包括0和1;
(1c)双边滤波器滤波
输入高光谱图像,对其所有波段处的图像使用双边滤波器进行滤波;通过改变双边滤波器滤波窗口的直径调节双边滤波器对高光谱图像的滤波效果,进一步提高高光谱的分类精度;
(1d)主成分分析降维
对滤波后的高光谱图像数据进行主成分分析降维,降维后的波段数为L;
(1e)重复最小最大值归一化;
步骤S2:数据分割:具体分为三步进行操作,如下所示:
(2a)对高光谱影像空间域的边沿进行扩充,扩充的宽度为
Figure BDA0002741012750000031
使其维度由(H,W,L)扩展成为
Figure BDA0002741012750000032
边沿扩展层的数值均为0;
(2b)以待分类像素为中心,以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据,逐个像素地遍历高光谱数据,生成大量维度为m×m×L的数据块;
(2c)对中心像素属于已知类的数据块,以中心像素所属标签为该数据块的标签;
其中,(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数;m代表数据块在空间域的长宽值;
步骤S3:生成训练数据集和测试数据集;
从步骤S2提取出来的带有标签的数据块中随机抽取20%的数据块作为分类模型的训练数据集,其余的数据块作为测试数据集;测试数据集包括剩余80%的带有标签的数据块和所有没有标签的数据块;
步骤S4:构建1D/2D稠密连接网络模型,其中网络整体结构如下:
网络由1D光谱特征提取分支和2D空间特征提取分支并联组成,数据块Λ(Λ∈Hm×m×L)同时输入这两条分支;
在1D光谱特征提取分支:数据块Λ首先通过一个宽度为24的1D卷积层;然后通过一个宽度为12、层数为3的1D稠密连接模块;接着通过一个宽度为60的1D自适应卷积层;然后通过全局平均池化得到形状为(1,60)的光谱特征矢量vSpectral;1D自适应卷积层根据稠密连接模块输出结果调整1D卷积层中卷积核的尺寸,从而将数据从三维降到二维;
在2D空间特征提取分支:数据块Λ首先通过一个宽度为24的1D自适应卷积层;然后通过一个宽度为12、层数为3的2D稠密连接模块;接着通过全局平均池化操作得到形状为(1,60)的空间特征矢量vSpatial;1D自适应卷积层根据数据块Λ的长度L调整1D卷积层中卷积核的尺寸,从而将数据从三维降到二维;
得到光谱特征矢量vSpectral和空间特征矢量vSpatial后,使用numpy.concatenate操作将二者串联形成一个形状为(1,120)的联合特征矢量v,表示为v=[vSpectral,vSpatial];其次,将联合特征矢量v依次通过宽度为64的全连接层,保存率设置为0.6的Dropout层,宽度为N的全连接层,得到一个形状为(1,N)的矢量s,其中N为已知类别数;矢量s经过SoftMax分类器得到数据块Λ相对于各已知类的概率分布P∈(P1,P2,…,PN),其中Pi为该数据块属于第i类已知类的概率值,i=1,2,…,N;
对于数据块Λ,argmax(P)为模型预测的类别,max(P)为属于类别argmax(P)的概率值;所述的稠密连接网络:第l层输出的特征图为Xl;第l层的输出是由l层前面所有层的特征图连接组成的,表示为Xl=Hl([X0,...,Xl-1]),式中Hl(·)代表稠密连接网络内部第l层卷积层的非线性函数,其包含归一化Batch Normalization操作、激活函数和卷积操作,[·,...,·]表示光谱通道维的numpy.concatenate操作;
步骤S5:利用训练数据集训练1D/2D稠密连接网络模型;
训练过程中,每次随机不重复地从训练集里抽取32个样本为一批训练数据,将所述训练数据输入到构建好的1D/2D稠密连接网络模型中,得到模型的预测结果;以预测结果与标签之间的交叉熵为损失函数,计算网络权值的偏导数,并采用随机梯度下降方法更新网络参数,直至网络收敛;训练过程遍历整个训练集一次为一轮训练;
步骤S6:使用箱线图方法对训练数据的预测概率值进行异常值数据捕获、构造相应统计型特征,具体如下:
对于属于同一类且分类正确的训练数据,统计其属于该类别的概率值,构建箱线图,使用(Q1-1.5×IQR)作为异常值判断阈值,其中Q1为25%分位数,IQR为四分位数全距;以此方法得到不同已知类的异常值判断阈值t∈(t1,t2,…,tN),其中ti为第i类已知类的异常值判断阈值,i=1,2,…,N;
步骤S7:将测试数据输入训练好的1D/2D稠密连接网络模型,得到测试数据相对于各已知类的概率分布P;其次使用步骤S6得到的各已知类异常值判断阈值实现开放集分类:若概率分布P中的最大值max(P)大于已知类argmax(P)的判断阈值targmax(P),则测试数据属于已知类argmax(P),否则属于未知类,即第(N+1)类;其公式为:
Figure BDA0002741012750000041
式中y为开放集分类结果。
相比于现有技术,本发明具有以下有益效果:
本发明提出的联合1D/2D稠密神经网络和样本分布的高光谱开放集分类方法,通过使用1D/2D稠密神经网络提取高光谱特征,稠密网络能够有效地缓解梯度消失问题,模型易于训练;本发明结合深度学习和箱线图方法实现了高光谱开放集分类的任务,在对已知类进行分类的同时,能够实现对未知类目标的拒绝,提高了高光谱分类算法的鲁棒性,使其更加适用于实际环境。
附图说明
图1是本发明的流程图;
图2是本发明的概率值分布箱线图的结构示意图;;
图3是本发明的1D稠密连接网络的结构示意图;
图4是本发明的2D稠密连接网络的结构示意图;
图5是本发明实施例中高光谱图像的地面实况标注,包含9类已知类和7类未知类,7类未知类统一用白色表示;
图6是本发明实施例中高光谱图像经过开放集分类后的效果图。
具体实施方式
下面结合具体实施例的仿真实验和附图对本发明做进一步详细描述:
本发明实施仿真实验的硬件环境为:
Figure BDA0002741012750000052
Xeon(R)W-2123CPU@3.60GHz×8,内存为16GiB,GPU为TITAN Xp;软件平台为:TensorFlow2.0和keras 2.2.4。
本发明仿真实验所采用的高光谱数据集为Salinas高光谱图像。该数据集包含204个波段,图像大小为512×217个像素,空间分辨率为3.7m。该数据集包含16类地物,在仿真实验中随机选择9类作为已知类训练模型,其余7类作为未知类不参与训练。
根据发明内容对具体实施方式适应性修改
参照图1、图2、图3和图4,对本发明的具体步骤做进一步的详细描述。步骤如下:
步骤S1:对输入的高光谱图像进行预处理
预处理分为五个步骤,依次为高光谱数据标注、最小最大值归一化、双边滤波器滤波、主成分分析降维、最小最大值归一化。
(1a)高光谱数据标注;基于先验信息,赋予各个已知类标签信息,并对高光谱数据中属于各个已知类的像素进行标注。在本实施例中,从Salinas数据集中随机选择9类地物作为已知类,其余7类地物作为未知类,标注结果如图5所示;
(1b)进行最小最大值归一化,归一化公式为:
Figure BDA0002741012750000051
式中xijd
Figure BDA0002741012750000061
分别代表归一化处理前后的高光谱影像数据;(i,j)代表高光谱影像像素的空间位置坐标;d代表高光谱影像的第d个波段;xmax和xmin分别代表三维高光谱影像数据中的最小值和最大值;a和b均为常数,使得归一化后的数值在(0,1)范围内,且不包括0和1;在本实施例中a和b取值分别是0.989和0.01;
(1c)双边滤波器滤波
输入高光谱图像,对其所有波段处的图像使用双边滤波器进行滤波。通过改变双边滤波器滤波窗口的直径调节双边滤波器对高光谱图像的滤波效果,进一步提高高光谱的分类精度;在本实施例中,双边滤波器滤波窗口直径设置为7;
(1d)主成分分析降维
对滤波后的高光谱图像数据进行主成分分析,高光谱图像降维后的波段数为L;在本实施例中,L取值40;
(1e)最小最大值归一化,同(1b);
步骤S2:数据分割;具体分为三步进行操作,如下所示:
(2a)对高光谱影像空间域的边沿进行扩充,扩充的宽度为
Figure BDA0002741012750000062
使其维度由(H,W,L)扩展成为
Figure BDA0002741012750000063
边沿扩展层的数值均为0;在实施例中,L取值40,m取值7;所以扩充宽度为3,高光谱图像数据维度由(512,217,40)扩展成为(518,223,40);
(2b)以待分类像元为中心,以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据,逐个像素地遍历高光谱数据,生成大量维度为m×m×L的数据块;在本实施例中,L取值40,m取值7;则数据块的维度为7×7×40;
(2c)对中心像素属于已知类的数据块,以中心像素所属标签为该数据块的标签;
步骤S3:生成训练数据集和测试数据集
从步骤S2提取出来的带有标签的数据块中随机抽取20%的数据块作为分类模型的训练数据集,其余的数据块作为测试数据集;测试数据集包括剩余80%的带有标签的数据块和所有没有标签的数据块;
步骤S4:构建1D/2D稠密连接网络模型。网络整体结构如下。
网络由1D光谱特征提取分支和2D空间特征提取分支并联组成,数据块Λ(Λ∈Hm×m×L)同时输入这两条分支;
在1D光谱特征提取分支:数据块Λ首先通过一个宽度为24的1D卷积层;然后通过一个宽度为12、层数为3的1D稠密连接模块;接着通过一个宽度为60的1D自适应卷积层;然后通过全局平均池化得到形状为(1,60)的光谱特征矢量vSpectral;1D自适应卷积层根据稠密连接模块输出结果调整1D卷积层中卷积核的尺寸,从而将数据从三维降到二维;
在2D空间特征提取分支:数据块Λ首先通过一个宽度为24的1D自适应卷积层;然后通过一个宽度为12、层数为3的2D稠密连接模块;接着通过全局平均池化操作得到形状为(1,60)的空间特征矢量vSpatial;1D自适应卷积层根据数据块Λ的长度L调整1D卷积层中卷积核的尺寸,从而将数据从三维降到二维;
得到光谱特征矢量vSpectral和空间特征矢量vSpatial后,使用numpy.concatenate操作将二者串联形成一个形状为(1,120)的联合特征矢量v,表示为v=[vSpectral,vSpatial];其次,将联合特征矢量v依次通过宽度为64的全连接层,保存率设置为0.6的Dropout层,宽度为N的全连接层,得到一个形状为(1,N)的矢量s,其中N为已知类别数;矢量s经过SoftMax分类器得到数据块Λ相对于各已知类的概率分布P∈(P1,P2,…,PN),其中Pi为该数据块属于第i类已知类的概率值,i=1,2,…,N;
对于数据块Λ,argmax(P)为模型预测的类别,max(P)为属于类别argmax(P)的概率值;所述的稠密连接网络:第l层输出的特征图为Xl;第l层的输出是由l层前面所有层的特征图连接组成的,表示为Xl=Hl([X0,...,Xl-1]),式中Hl(·)代表稠密连接网络内部第l层卷积层的非线性函数,其包含归一化Batch Normalization操作、激活函数和卷积操作,[·,...,·]表示光谱通道维的numpy.concatenate操作;
在该实施例中,光谱特征提取分支的1D卷积层采用的卷积核尺寸为(1,1,7),卷积步长为2,padding模式为valid;接着的1D稠密连接网络采用的卷积核尺寸为(1,1,7),卷积步长为1,padding模式为same;然后所用的1D卷积层采用的卷积核尺寸为(1,1,17),卷积步长为1,padding模式为same。空间特征提取分支的1D卷积层采用的卷积核尺寸为(1,1,40),卷积步长为1,padding模式为same;接着的2D稠密连接网络采用的卷积核尺寸为(3,3,1),卷积步长为1,padding模式为same;然后所用的2D卷积层采用的卷积核尺寸为(7,7,1),卷积步长为1,padding模式为same。1D稠密神经网络和2D稠密神经网络的具体结构分别如图3和图4所示。N取值为9;
步骤S5:利用训练数据集训练1D/2D稠密连接网络模型;
训练过程中,每次随机不重复地从训练集里抽取32个样本为一批训练数据,将该数据输入到构建好的1D/2D稠密连接网络模型中,得到模型的预测结果;以预测结果与标签之间的交叉熵为损失函数,计算网络权值的偏导数,并采用随机梯度下降算法更新网络参数,直至网络收敛;训练过程遍历整个训练集一次为一轮训练。在本实施例中,整个训练过程进行80轮,前40轮学习率设为0.03,后40轮,学习率衰减到0.003。整个训练过程中,动量项设为0.9
步骤S6:使用箱线图算法对训练数据的预测概率值进行异常值数据捕获、构造相应统计型特征,具体如下:
对于属于同一类且分类正确的训练数据,统计其属于该类别的概率值,构建箱线图,使用(Q1-1.5×IQR)作为异常值判断阈值,其中Q1为25%分位数,IQR为四分位数全距;以此方法得到不同已知类的异常值判断阈值t∈(t1,t2,…,tN),其中ti为第i类已知类的异常值判断阈值,i=1,2,…,N;
步骤S7:将测试数据输入训练好的1D/2D稠密连接网络模型,得到测试数据相对于各已知类的概率分布P;其次使用步骤S6得到的各已知类异常值判断阈值实现开放集分类:若概率分布P中的最大值max(P)大于已知类argmax(P)的判断阈值targmax(P),则测试数据属于已知类argmax(P),否则属于未知类,即第(N+1)类;其公式为:
Figure BDA0002741012750000081
式中y为开放集分类结果。图6所示为对实施例进行开放集分类的结果。图5和图6对比可知,大部分已知类得到了正确的分类,未知类也得到了正确的拒绝。

Claims (1)

1.联合稠密连接网络和样本分布的高光谱开放集分类方法,其特征在于,具体包括下述步骤:
步骤S1:对输入的高光谱图像进行预处理;
预处理分为五个步骤,依次为高光谱数据标注、最小最大值归一化、双边滤波器滤波、主成分分析降维、最小最大值归一化;
(1a)高光谱数据标注:基于先验信息,赋予各个已知类标签信息,并对高光谱数据中属于各个已知类的像素进行标注;
(1b)进行最小最大值归一化,归一化公式为:
Figure FDA0003511658640000011
式中xijd
Figure FDA0003511658640000012
分别代表归一化处理前后的高光谱影像数据;(i,j)代表高光谱影像像素的空间位置坐标;d代表高光谱影像的第d个波段;xmax和xmin分别代表三维高光谱影像数据中的最小值和最大值;a和b均为常数,使得归一化后的数值在(0,1)范围内,且不包括0和1;
(1c)双边滤波器滤波
输入高光谱图像,对其所有波段处的图像使用双边滤波器进行滤波;通过改变双边滤波器滤波窗口的直径调节双边滤波器对高光谱图像的滤波效果,进一步提高高光谱的分类精度;
(1d)主成分分析降维
对滤波后的高光谱图像数据进行主成分分析降维,降维后的波段数为L;
(1e)重复最小最大值归一化;
步骤S2:数据分割:具体分为三步进行操作,如下所示:
(2a)对高光谱影像空间域的边沿进行扩充,扩充的宽度为
Figure FDA0003511658640000013
使其维度由(H,W,L)扩展成为
Figure FDA0003511658640000014
边沿扩展层的数值均为0;
(2b)以待分类像素为中心,以m×m×L邻域范围内的数据块Hm×m×L作为中心像素的样本数据,逐个像素地遍历高光谱数据,生成大量维度为m×m×L的数据块;
(2c)对中心像素属于已知类的数据块,以中心像素所属标签为该数据块的标签;
其中,(H,W,L)分别代表高光谱影像空间域的长、宽值和光谱域的光谱通道数;m代表数据块在空间域的长宽值;
步骤S3:生成训练数据集和测试数据集;
从步骤S2提取出来的带有标签的数据块中随机抽取20%的数据块作为分类模型的训练数据集,其余的数据块作为测试数据集;测试数据集包括剩余80%的带有标签的数据块和所有没有标签的数据块;
步骤S4:构建1D/2D稠密连接网络模型,其中网络整体结构如下:
网络由1D光谱特征提取分支和2D空间特征提取分支并联组成,数据块Λ同时输入这两条分支,其中Λ∈Hm×m×L
在1D光谱特征提取分支:数据块Λ首先通过一个宽度为24的1D卷积层;然后通过一个宽度为12、层数为3的1D稠密连接模块;接着通过一个宽度为60的1D自适应卷积层;然后通过全局平均池化得到形状为(1,60)的光谱特征矢量vSpectral;1D自适应卷积层根据稠密连接模块输出结果调整1D卷积层中卷积核的尺寸,从而将数据从三维降到二维;
在2D空间特征提取分支:数据块Λ首先通过一个宽度为24的1D自适应卷积层;然后通过一个宽度为12、层数为3的2D稠密连接模块;接着通过全局平均池化操作得到形状为(1,60)的空间特征矢量vSpatial;1D自适应卷积层根据数据块Λ的长度L调整1D卷积层中卷积核的尺寸,从而将数据从三维降到二维;
得到光谱特征矢量vSpectral和空间特征矢量vSpatial后,使用numpy.concatenate操作将二者串联形成一个形状为(1,120)的联合特征矢量v,表示为v=[vSpectral,vSpatial];其次,将联合特征矢量v依次通过宽度为64的全连接层,保存率设置为0.6的Dropout层,宽度为N的全连接层,得到一个形状为(1,N)的矢量s,其中N为已知类别数;矢量s经过SoftMax分类器得到数据块Λ相对于各已知类的概率分布P∈(P1,P2,…,PN),其中Pi为该数据块属于第i类已知类的概率值,i=1,2,…,N;
对于数据块Λ,argmax(P)为模型预测的类别,max(P)为属于类别argmax(P)的概率值;所述的稠密连接网络:第l层输出的特征图为Xl;第l层的输出是由l层前面所有层的特征图连接组成的,表示为Xl=Hl([X0,...,Xl-1]),式中Hl(·)代表稠密连接网络内部第l层卷积层的非线性函数,其包含归一化Batch Normalization操作、激活函数和卷积操作,[·,...,·]表示光谱通道维的numpy.concatenate操作;
步骤S5:利用训练数据集训练1D/2D稠密连接网络模型;
训练过程中,每次随机不重复地从训练集里抽取32个样本为一批训练数据,将所述训练数据输入到构建好的1D/2D稠密连接网络模型中,得到模型的预测结果;以预测结果与标签之间的交叉熵为损失函数,计算网络权值的偏导数,并采用随机梯度下降方法更新网络参数,直至网络收敛;训练过程遍历整个训练集一次为一轮训练;
步骤S6:使用箱线图方法对训练数据的预测概率值进行异常值数据捕获、构造相应统计型特征,具体如下:
对于属于同一类且分类正确的训练数据,统计其属于该类别的概率值,构建箱线图,使用(Q1-1.5×IQR)作为异常值判断阈值,其中Q1为25%分位数,IQR为四分位数全距;以此方法得到不同已知类的异常值判断阈值t∈(t1,t2,…,tN),其中ti为第i类已知类的异常值判断阈值,i=1,2,…,N;
步骤S7:将测试数据输入训练好的1D/2D稠密连接网络模型,得到测试数据相对于各已知类的概率分布P;其次使用步骤S6得到的各已知类异常值判断阈值实现开放集分类:若概率分布P中的最大值max(P)大于已知类argmax(P)的判断阈值targmax(P),则测试数据属于已知类argmax(P),否则属于未知类,即第(N+1)类;其公式为:
Figure FDA0003511658640000031
式中y为开放集分类结果。
CN202011151970.3A 2020-10-24 2020-10-24 联合稠密连接网络和样本分布的高光谱开放集分类方法 Active CN112200123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011151970.3A CN112200123B (zh) 2020-10-24 2020-10-24 联合稠密连接网络和样本分布的高光谱开放集分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011151970.3A CN112200123B (zh) 2020-10-24 2020-10-24 联合稠密连接网络和样本分布的高光谱开放集分类方法

Publications (2)

Publication Number Publication Date
CN112200123A CN112200123A (zh) 2021-01-08
CN112200123B true CN112200123B (zh) 2022-04-05

Family

ID=74011294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011151970.3A Active CN112200123B (zh) 2020-10-24 2020-10-24 联合稠密连接网络和样本分布的高光谱开放集分类方法

Country Status (1)

Country Link
CN (1) CN112200123B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052130B (zh) * 2021-04-20 2024-03-29 辽宁工程技术大学 基于深度残差网络和边缘保护滤波的高光谱影像分类方法
CN113392931B (zh) * 2021-07-02 2023-02-10 西安电子科技大学 基于自监督学习及多任务学习的高光谱开放集分类方法
CN113837314A (zh) * 2021-10-09 2021-12-24 陕西科技大学 一种基于混合卷积神经网络的高光谱图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520199A (zh) * 2018-03-04 2018-09-11 天津大学 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN109522969A (zh) * 2018-11-29 2019-03-26 南京云思创智信息科技有限公司 基于深度学习的特定物品发现方法
CN110750665A (zh) * 2019-10-12 2020-02-04 南京邮电大学 基于熵最小化的开集域适应方法及系统
CN111027454A (zh) * 2019-12-06 2020-04-17 西安电子科技大学 基于深度密集连接和度量学习的sar舰船目标分类方法
CN111191033A (zh) * 2019-12-25 2020-05-22 华南理工大学 一种基于分类效用的开集分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985238B (zh) * 2018-07-23 2021-10-22 武汉大学 联合深度学习和语义概率的不透水面提取方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520199A (zh) * 2018-03-04 2018-09-11 天津大学 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN109522969A (zh) * 2018-11-29 2019-03-26 南京云思创智信息科技有限公司 基于深度学习的特定物品发现方法
CN110750665A (zh) * 2019-10-12 2020-02-04 南京邮电大学 基于熵最小化的开集域适应方法及系统
CN111027454A (zh) * 2019-12-06 2020-04-17 西安电子科技大学 基于深度密集连接和度量学习的sar舰船目标分类方法
CN111191033A (zh) * 2019-12-25 2020-05-22 华南理工大学 一种基于分类效用的开集分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Cassification;Wenju Wang 等;《Remote Sensing》;20180705;第10卷(第7期);第1-19页 *

Also Published As

Publication number Publication date
CN112200123A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN110532859B (zh) 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN109754017B (zh) 基于可分离的三维残差网络和迁移学习高光谱图像分类方法
CN108460342B (zh) 基于卷积神经网络和循环神经网络的高光谱图像分类方法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
US10713563B2 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN107239759B (zh) 一种基于深度特征的高空间分辨率遥感图像迁移学习方法
CN107944483B (zh) 基于双通道dcgan和特征融合的多光谱图像分类方法
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN109766934B (zh) 一种基于深度Gabor网络的图像目标识别方法
CN113705580B (zh) 基于深度迁移学习的高光谱图像分类方法
CN110929643B (zh) 一种基于多特征和孤立树的高光谱异常检测方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN110852369B (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
Carrara et al. On the robustness to adversarial examples of neural ode image classifiers
CN112115795B (zh) 一种基于Triple GAN的高光谱图像分类方法
CN111008652A (zh) 一种基于gan的高光谱遥感影像分类方法
CN115376010A (zh) 一种高光谱遥感影像分类方法
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
CN112329818A (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法
CN111046861A (zh) 识别红外影像是否存在样本设备的方法、构建电力设备识别模型的方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant