CN112308152A - 基于光谱分割与同质区域检测的高光谱图像地物分类方法 - Google Patents

基于光谱分割与同质区域检测的高光谱图像地物分类方法 Download PDF

Info

Publication number
CN112308152A
CN112308152A CN202011207567.8A CN202011207567A CN112308152A CN 112308152 A CN112308152 A CN 112308152A CN 202011207567 A CN202011207567 A CN 202011207567A CN 112308152 A CN112308152 A CN 112308152A
Authority
CN
China
Prior art keywords
hyperspectral
image
layer
convolution
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011207567.8A
Other languages
English (en)
Other versions
CN112308152B (zh
Inventor
张向荣
焦李成
尚守望
唐旭
陈璞花
程曦娜
马晶晶
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011207567.8A priority Critical patent/CN112308152B/zh
Publication of CN112308152A publication Critical patent/CN112308152A/zh
Application granted granted Critical
Publication of CN112308152B publication Critical patent/CN112308152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于光谱分割与同质区域检测的高光谱图像地物分类方法，其实现步骤为：构建同质区域检测模块、特征提取子网络簇、特征融合模块；构建高光谱分类模型；生成训练集；训练高光谱分类模型；对待分类的像素进行地物分类。本发明构建同质区域检测模块用于修正输入高光谱图像块，使用光谱分割策略对修正的图像块沿光谱维度分割，构建并训练多个并行的特征提取子网络，进行特征融合并得到分类结果，具有高光谱图像分类精度高的优点，可用于农业生态监测，地质探测等领域的地物目标识别。

Description

基于光谱分割与同质区域检测的高光谱图像地物分类方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种基于光谱分割与同质区域检测的高光谱图像地物分类方法。本发明可用于土地利用分析、环境检测、资源勘探以及城市规划时对地物目标的识别。
背景技术
高光谱遥感是高光谱分辨率遥感的简称，是在电磁波谱的可见光、近红外、中红外和热红外波段范围内，获取许多非常窄、光谱连续影像数据的技术。高光谱成像遥感已经广泛应用于地质探测、地质制图、植被生态监测、精细农业、大气环境、环境监测、海洋遥感、食品安全、产品质量监测、战场侦察、伪装监测等多个领域。
高光谱图像分类就是将高光谱图像中的每个像元划归到指定类别中去的过程。由于高光谱图像所特有的丰富的光谱信息，使得这种像元级别的分类成为可能。目前已有许多高光谱图像分类的算法，如基于支撑矢量机，多类逻辑斯蒂回归等传统的分类算法与基于卷积神经网络等深度学习算法，都取得了不错的分类效果。然而，高光谱图像较高的光谱维度与较少的训练样本容易造成模型的过拟合从而降低模型的性能，此即著名的Hughes现象。因此，在进行分类之前，一些文献会首先对图像光谱进行特征提取或者维度约简，以降低高光谱图像的光谱维度。特征提取算法中较经典的是PCA算法，但是这种无监督的方法可能会丢失光谱中重要判别信息而降低最终的分类精度。
Zilong Zhong等人在其发表的论文“Spectral–Spatial Residual Network forHyperspectral Image Classification:A 3-D Deep Learning Framework”(《IEEETransactions on Geoscience&Remote Sensing》,2018,56(2):847-858)中公开了一种光谱-空间残差网络对高光谱图像进行分类的方法。该方法的输入为目标像素与其周围的邻域组成的图像块。首先使用3-D卷积层构建的两个残差块提取输入的光谱信息。然后在输出光谱特征图的基础上，使用2-D卷积层构建两个残差块，提取特征图的空间信息。最后将得到的最终特征输入softmax并进行地物分类。此方法取得了较好的地物分类结果，然而该方法仍然存在的不足之处是，对于空间信息的提取并未考虑输入图像块中的异质像素，而图像块中的异质像素将干扰卷积核对目标像素的特征提取，进而降低了最终的地物分类精度。
西安电子科技大学在其申请专利文献“基于深度特征交叉融合的高光谱图像分类方法”(专利申请号：202010007701.3，申请公布号：CN 111191736 A)中提出了一种深度特征交叉融合的高光谱图像分类方法。该方法使用3-D卷积构建了多个并行的包含不同空间分辨率的卷积网络，并行网络在层间进行特征的交叉融合，并行网络的输出同样进行特征的交叉融合。最后，使用融合的特征进行地物的分类。该方法存在的不足之处是，由于该方法使用的是由3-D卷积构建多个并行的卷积网络提取高光谱图像的光谱与空间特征，因而带来卷积网络巨大的计算量，导致模型训练和分类速度慢。
发明内容
本发明的目的是针对上述现有技术的不足，提出了一种基于光谱分割和同质区域检测的高光谱图像地物分类方法，用于解决现有技术中对高光谱图像异质像素考虑不足，分类精度不高，模型计算量大，分类速度慢的问题。
实现本发明目的的思路是：由于现有技术中并未考虑高光谱图像块中的异质像素，而图像块中的异质像素将干扰卷积核对目标像素的特征提取，导致对高光谱图像的分类精度不高，此外现有技术使用3-D卷积提取高光谱图像块的特征，导致构建的分类模型计算量大，分类速度慢。本发明构建同质区域检测模块，捕捉高光谱图像块中的同质像素，降低异质像素对高光谱图像块特征提取的贡献度，使用光谱分割操作与2-D卷积替代3-D卷积提取高光谱图像块特征，减少模型计算量，提升高光谱图像分类的精度与速度。
实现本发明的具体步骤如下：
(1)构建同质区域检测模块：
(1a)搭建一个同质区域检测模块，其结构依次为：卷积层，批归一化层，激活函数层，掩膜计算单元，处理单元；
(1b)卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目为输入数据光谱维度通道数的1/2，卷积步长设置为1；激活函数层的激活函数选用sigmoid函数；掩膜计算单元采用光谱角计算公式实现；处理单元由逐通道哈达玛乘积公式进行处理；
(2)构建特征提取子网络簇：
(2a)特征提取子网络簇由5个结构相同的特征提取子网络并联组成；
(2b)每个特征提取子网络由两个结构相同的残差块级联组成，每个残差块的结构依次为：第1卷积层，第1批归一化层，第1激活函数层，第2卷积层，第2批归一化层，加法计算单元，第2激活函数层；
(2c)第1和第2卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目均设置为64，卷积步长均设置为1，第1和第2激活函数层激活函数均选用ReLU函数；
(3)构建特征融合模块：
(3a)搭建一个特征融合模块，其结构依次为：卷积层，批归一化层，激活函数层，全局平均池化层，全连接层；
(3b)卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目设置为128，激活函数层选用ReLU函数，全连接层神经元数目设置为待分类高光谱图像的类别数；
(4)构建高光谱分类模型：
将同质区域检测模块、特征提取子网络簇、特征融合模块依次连接组成高光谱分类模型；
(5)生成训练集：
(5a)输入一幅高光谱图像，该图像中每一类地物至少包含10个已知标签的像素点；
(5b)将高光谱图像归一化至[0,1]之间；以每个已知标签的像素点为中心及其周围大小为21×21邻域像素组成图像块，将所有图像块组成训练集；
(6)训练高光谱分类模型：
(6a)将训练集中的图像块依次输入到高光谱分类模型中，将同质区域检测模块输出的图像块沿光谱维度均分为5个子图像块，在光谱维度不能被5整除的图像块光谱维度的末端填充0直至其能被5整除，填0的数目由数目计算公式得到；每个子图像块依次经特征提取子网络簇中的一个特征提取子网络，输出5组特征；将5组特征依次沿其光谱维度进行拼接，输入特征融合模块获得该图像块的预测标签；
(6b)利用交叉熵损失函数，计算每个图像块的预测标签与其真实标签之间的损失值；
(6c)利用梯度下降算法，更新高光谱分类模型中的所有参数，直至高光谱分类模型收敛，得到训练好的高光谱分类模型；
(7)对待分类的像素进行地物分类：
将待分类高光谱图像归一化至[0,1]之间；以每个像素点为中心及其周围大小为21×21邻域像素组成图像块，将所有图像块依次输入到训练好的高光谱分类模型中，输出每个图像块的预测地物标签。
本发明与现有技术相比较，具有以下优点：
第一，由于本发明构建的同质区域检测模块可用于修正输入高光谱图像块，捕捉高光谱图像块中的同质像素，降低异质像素对高光谱图像块特征提取的贡献度，克服了现有技术提取高光谱图像块特征时忽略高光谱图像块中的异质像素，导致对高光谱图像空间特征的提取不精细，分类精度不高的问题，使得本发明实现了精细提取高光谱图像空间特征，提高了高光谱图像尤其是地物分布复杂图像的分类精度。
第二，由于本发明在训练5个并行的特征提取网络时，将同质区域检测模块输出的图像块沿光谱维度均分为5个子图像块，降低了单个特征提取网络输入数据的光谱维度，并使用2-D卷积核构建模型中所有的卷积层，克服了现有技术使用3-D卷积核联合提取高光谱图像块光谱-空间特征，导致分类模型计算量大，分类速度慢的问题。使得本发明构建的特征提取网络计算量小，提高了分类速度。
附图说明
图1是本发明的流程图；
图2是本发明构建的同质区域检测模块的结构示意图；
图3是本发明构建的高光谱分类模型的结构示意图；
图4是本发明的仿真结果图。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照图1，对本发明的具体步骤做进一步的详细描述。
步骤1，构建同质区域检测模块。
搭建一个同质区域检测模块，其结构依次为：卷积层，批归一化层，激活函数层，掩膜计算单元，处理单元。
卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目为输入数据光谱维度通道数的1/2，卷积步长设置为1，卷积层对其输入数据进行如下计算：
Figure BDA0002757545460000041
其中，xk表示卷积层输出的第k个特征图，k＝1,2,...,fout，fout为卷积核数目，∑表示求和操作，fin表示输入特征图数目，xm表示输入特征图第m通道，*表示图像二维卷积操作,wmk和bk是卷积层的权值与偏置参数。该卷积层用于降低输入图像块的光谱维度，同时对图像块进行简单光谱特征的提取；
批归一化层对其输入数据进行如下计算：
Figure BDA0002757545460000051
Figure BDA0002757545460000052
Figure BDA0002757545460000053
Figure BDA0002757545460000054
其中，B为批数据大小，
Figure BDA0002757545460000055
表示批归一化层第k通道的输入，
Figure BDA0002757545460000056
表示批归一化层的输出。γ和β表示批归一化层的参数。
激活函数层的激活函数选用sigmoid函数，sigmoid函数如下：
Figure BDA0002757545460000057
其中，sig(·)表示sigmoid函数，e(·)表示以自然常数e为底的指数操作，x表示sigmoid函数的输入。此sigmoid函数将批归一化层的输出映射到[0,1]之间；
掩膜计算单元计算高光谱图像块中所有像素同中心像素的相似度，采用光谱角计算公式实现，掩膜计算单元获得掩膜矩阵W，光谱角计算公式如下：
Figure BDA0002757545460000058
其中，wij表示输入图像块三维矩阵中位于第i行第j列像素点的权值，i＝1,2,…,21,j＝1,2,…,21，xij表示输入图像块中第i行第j列像素点光谱维度数值组成的向量，xcenter表示输入图像块的中心像素点光谱维度数值组成的向量，||·||表示取向量的二范数。光谱角计算公式的输出是位于区间[0,1]的实数，表明两个向量的相似度，图像块中同中心像素光谱特征相似的像素点(即同质像素)，计算的权值接近1，同中心像素光谱特征差异较大的像素点(即异质像素)，计算所得权值接近0，所有的wij构成了掩膜矩阵W∈R21×21。
处理单元由逐通道哈达玛乘积公式进行处理，逐通道哈达玛乘积公式如下：
Figure BDA0002757545460000059
其中，X′(n)表示哈达玛乘积输出矩阵，X(n)表示输入高光谱模型的图像块第n个通道的数值矩阵，n＝1,2,…,D，D表示输入高光谱模型的图像块的光谱维度，W表示掩膜计算单元中计算的权值掩膜矩阵，
Figure BDA0002757545460000061
表示哈达玛相乘操作。
步骤2，构建特征提取子网络簇。
特征提取子网络簇由5个结构相同的特征提取子网络并联组成；
每个特征提取子网络由两个结构相同的残差块级联组成，每个残差块的结构依次为：第1卷积层，第1批归一化层，第1激活函数层，第2卷积层，第2批归一化层，加法计算单元，第2激活函数层；
第1和第2卷积层使用2-D卷积核构建，卷积核形参数设置为1×1，卷积核数目均设置为64，卷积步长均设置为1，第1和第2激活函数层激活函数均选用ReLU函数；
加法计算单元进行如下计算：
O′＝F+O
其中，O′表示加法计算单元的输出，F表示此加法计算单元所在残差块的输入，O表示此加法计算单元所在残差块第二批归一化层的输出。
ReLU函数如下：
ReLU(x)＝max(0,x)
其中，ReLU(·)表示ReLU函数，max(·)表示取最大值操作，x表示函数输入。
步骤3，构建特征融合模块。
搭建一个特征融合模块，其结构依次为：卷积层，批归一化层，激活函数层，全局平均池化层，全连接层；
卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目设置为128，激活函数层选用ReLU函数，全局平均池化层综合图像块空间信息，全连接层神经元数目设置为待分类高光谱图像的类别数；
步骤4，构建高光谱分类模型。
参照图3，将同质区域检测模块、特征提取子网络簇、特征融合模块依次连接组成高光谱分类模型；
步骤5，生成训练集。
输入一幅高光谱图像，该图像中每一类地物至少包含10个已知标签的像素点；
将高光谱图像归一化至[0,1]之间；以每个已知标签的像素点为中心及其周围大小为21×21邻域像素组成图像块，将所有图像块组成训练集；
高光谱图像归一化公式如下：
Figure BDA0002757545460000071
其中，I′表示归一化处理后的高光谱图像，I表示归一化处理前的高光谱图像，max(·)和min(·)分别表示取最大值和最小值操作。
步骤6，训练高光谱分类模型。
将训练集中的图像块依次输入到高光谱分类模型中，结合图2，对本发明实施例所输入图像块经过同质区域检测模块的训练过程做进一步的描述。输入的每个图像块是形状为21×21×D的矩阵，D表示输入图像块矩阵的光谱维度，对于输入的图像块矩阵，首先经过卷积层与批归一化层，由于卷积层卷积核数目为输入图像块光谱维度的1/2，经过批归一化处理，得到批归一化后形状为21×21×D/2的图像块矩阵，再激活函数层中的sigmoid函数将批归一化后的每个图像块的数值映射到区间[0,1]，此时图像块矩阵形状不发生变化，然后经过光谱角计算单元计算得形状为21×21的掩膜矩阵W。将掩膜矩阵W与输入图像块矩阵输入到处理单元中，进行逐通道哈达玛乘法运算，输出形状为21×21×D的修正图像块矩阵；
结合图3，对本发明实施例经过同质区域检测模块后得到的21×21×D的修正图像块矩阵再输入到特征子网络簇与特征融合模块的训练过程做进一步的描述。将形状为21×21×D的修正图像块矩阵沿光谱维度均分为5个子图像块，在光谱维度不能被5整除的图像块光谱维度的末端填充0直至其能被5整除，填0的数目由数目计算公式得到，数目计算公式如下：
Figure BDA0002757545460000072
其中，nz表示填0的数目，D表示图像块的光谱维度数，
Figure BDA0002757545460000073
表示向上取整操作。每个子图像块依次经特征提取子网络簇中的一个特征提取子网络，一个特征提取子网络由两个残差块构成，每个残差块由两层卷积层与加法计算单元组成，特征提取子网络簇输出5组特征；将5组特征依次沿其光谱维度进行拼接，输入到特征融合模块，经过卷积层，全局平均池化层进行图像块光谱特征与空间特征的融合，经过全连接层获得该图像块的预测标签；
利用交叉熵损失函数，计算每个图像块的预测标签与其真实标签之间的损失值；交叉熵损失函数如下：
Figure BDA0002757545460000074
其中，CE表示交叉熵损失，∑表示求和操作，y(m)表示第m个训练样本的真实标签向量，ln表示以自然常数e为底的对数操作，p(m)表示第m个样本的预测标签向量，N表示训练集中训练样本的数目。
利用梯度下降算法，更新高光谱分类模型中的所有参数，直至高光谱分类模型收敛，得到训练好的高光谱分类模型；
步骤7，对待分类的像素进行地物分类。
将待分类高光谱图像归一化至[0,1]之间；以每个像素点为中心及其周围大小为21×21邻域像素组成图像块，将所有图像块依次输入到训练好的高光谱分类模型中，输出每个图像块的预测地物标签。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：
Figure BDA0002757545460000081
Xeon(R)CPU E5-2678 v3@2.50GHz×48，内存为128G，GPU为内存11G的GeForce GTX 1080Ti，
本发明的仿真实验的软件平台为：Ubuntu16.04操作系统和python 3.6，PyTorch深度学习框架。
本发明仿真实验所使用的输入图像为帕维亚大学Pavia University高光谱图像，该高光谱图像采集自意大利北部帕维亚大学，图像大小为610×340×103个像素，图像共包含103个波段和9类地物，图像格式为mat。
2.仿真内容及其结果分析：
本发明仿真实验是采用本发明和现有技术高光谱图像分类方法，分别对输入的帕维亚大学Pavia University高光谱图像进行分类，获得分类结果图，如图4所示。
在仿真实验中，采用的现有技术是指：
Zilong Zhong等人在其发表的论文“Spectral–Spatial Residual Network forHyperspectral Image Classification:A 3-D Deep Learning Framework”(《IEEETransactions on Geoscience&Remote Sensing》,2018,56(2):847-858)中提出的高光谱图像分类方法。
下面结合图4的仿真图对本发明的效果做进一步的描述。
图4(a)为由高光谱图像波段中第55个，第41个和第12个波段构成的伪彩色图像。图4(b)为输入的高光谱图像帕维亚大学Pavia University的真实地物分布图，其大小为610×340个像素。图4(c)为采用现有技术分类方法，对帕维亚大学Pavia University高光谱图像进行分类的结果图。图4(d)为采用本发明的方法，对帕维亚大学Pavia University高光谱图像进行分类的结果图。
由图4(c)与图4(d)标记框内的分类结果可以看出，现有技术分类结果与本发明分类结果相比，噪点较多且边缘预测准确性较差，主要因为该方法并未考虑输入图像块中异质像素，对高光谱图像块空间信息的提取不够精细，导致分类准确性尤其在类别边缘的分类准确性不高。
利用两个评价指标(每类分类精度、总精度OA)分别对四种方法的分类结果进行评价。利用下面公式，计算总精度OA，9类地物的分类精度，将所有计算结果绘制成表1：
Figure BDA0002757545460000091
Figure BDA0002757545460000092
表1仿真实验中本发明和现有技术分类结果的定量分析表
Figure BDA0002757545460000093
结合表1可以看出，本发明的总体分类精度OA为97.3％，高于现有技术方法，证明本发明可以得到更高的高光谱图像分类精度。
记录现有技术与本发明分类模型的训练时间，将结果绘制成表2：
表2本发明和现有技术模型训练时间
模型 模型训练时间(s)
现有技术 657
本发明方法 118
结合表2可以看出，本发明分类模型的训练时间快于现有技术，证明本发明模型计算量小，分类速度快。
以上仿真实验表明：本发明方法构建同质区域检测模块修正输入图像块，能够有效捕捉图像块中的同质像素，降低异质像素对图像块特征提取的干扰，精细化高光谱图像空间特征的提取，使用光谱分割策略沿图像块光谱维度分割，构建多个并行特征提取子网络提取子图像块，解决了现有技术方法中现有技术中对高光谱图像异质像素考虑不足，分类精度不高，模型计算量大，分类速度慢的问题，是一种非常实用的高光谱图像分类方法。

Claims (8)

1.一种基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，构建同质区域检测模块用于修正输入高光谱图像块，使用光谱分割策略对修正的图像块沿光谱维度分割，构建并训练5个并行的特征提取子网络，该方法的步骤包括如下：
(1)构建同质区域检测模块：
(1a)搭建一个同质区域检测模块，其结构依次为：卷积层，批归一化层，激活函数层，掩膜计算单元，处理单元；
(1b)卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目为输入数据光谱维度通道数的1/2，卷积步长设置为1；激活函数层的激活函数选用sigmoid函数；掩膜计算单元采用光谱角计算公式实现；处理单元由逐通道哈达玛乘积公式进行处理；
(2)构建特征提取子网络簇：
(2a)特征提取子网络簇由5个结构相同的特征提取子网络并联组成；
(2b)每个特征提取子网络由两个结构相同的残差块级联组成，每个残差块的结构依次为：第1卷积层，第1批归一化层，第1激活函数层，第2卷积层，第2批归一化层，加法计算单元，第2激活函数层；
(2c)第1和第2卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目均设置为64，卷积步长均设置为1，第1和第2激活函数层激活函数均选用ReLU函数；
(3)构建特征融合模块：
(3a)搭建一个特征融合模块，其结构依次为：卷积层，批归一化层，激活函数层，全局平均池化层，全连接层；
(3b)卷积层使用2-D卷积核构建，卷积核参数设置为1×1，卷积核数目设置为128，激活函数层选用ReLU函数，全连接层神经元数目设置为待分类高光谱图像的类别数；
(4)构建高光谱分类模型：
将同质区域检测模块、特征提取子网络簇、特征融合模块依次连接组成高光谱分类模型；
(5)生成训练集：
(5a)输入一幅高光谱图像，该图像中每一类地物至少包含10个已知标签的像素点；
(5b)将高光谱图像归一化至[0,1]之间；以每个已知标签的像素点为中心及其周围大小为21×21邻域像素组成图像块，将所有图像块组成训练集；
(6)训练高光谱分类模型：
(6a)将训练集中的图像块依次输入到高光谱分类模型中，将同质区域检测模块输出的图像块沿光谱维度均分为5个子图像块，在光谱维度不能被5整除的图像块光谱维度的末端填充0直至其能被5整除，填0的数目由数目计算公式得到；每个子图像块依次经特征提取子网络簇中的一个特征提取子网络，输出5组特征；将5组特征依次沿其光谱维度进行拼接，输入特征融合模块获得该图像块的预测标签；
(6b)利用交叉熵损失函数，计算每个图像块的预测标签与其真实标签之间的损失值；
(6c)利用梯度下降算法，更新高光谱分类模型中的所有参数，直至高光谱分类模型收敛，得到训练好的高光谱分类模型；
(7)对待分类的像素进行地物分类：
将待分类高光谱图像归一化至[0,1]之间；以每个像素点为中心及其周围大小为21×21邻域像素组成图像块，将所有图像块依次输入到训练好的高光谱分类模型中，输出每个图像块的预测地物标签。
2.根据权利要求1所述的基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(1b)中所述的sigmoid函数如下：
Figure FDA0002757545450000021
其中，sig(·)表示sigmoid函数，e(·)表示以自然常数e为底的指数操作，x表示sigmoid函数的输入。
3.根据权利要求1所述的基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(1b)中所述的光谱角计算公式如下：
Figure FDA0002757545450000022
其中，wij表示输入图像块三维矩阵中位于第i行第j列像素点的权值，i＝1,2,...,21,j＝1,2,...,21，xij表示输入图像块三维矩阵中位于第i行第j列像素点光谱维度数值组成的向量，xcenter表示输入图像块的中心像素点光谱维度数值组成的向量，||·||表示取二范数操作。
4.根据权利要求1所述基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(1b)中所述的逐通道哈达玛乘积公式如下：
Figure FDA0002757545450000031
其中，X′(n)表示哈达玛乘积输出矩阵，X(n)表示输入高光谱模型的图像块第n个通道的数值矩阵，n＝1,2,...,D，D表示输入高光谱模型的图像块的光谱维度，
Figure FDA0002757545450000032
表示哈达玛相乘操作，W表示掩膜计算单元中计算的权值掩膜矩阵。
5.根据权利要求1所述基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(2c)中所述ReLU函数如下：
ReLU(x)＝max(0,x)
其中，ReLU(·)表示ReLU函数，max(·)表示取最大值操作，x表示函数输入。
6.根据权利要求1所述基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(5b)、(7)中所述将高光谱图像归一化至[0,1]之间是由下述公式得到的：
Figure FDA0002757545450000033
其中，I′表示归一化处理后的高光谱图像，I表示归一化处理前的高光谱图像，max(·)和min(·)分别表示取最大值和最小值操作。
7.根据权利要求1所述基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(6a)所述的数目计算公式如下：
Figure FDA0002757545450000034
其中，nz表示填0的数目，D表示图像块的光谱维度数，
Figure FDA0002757545450000041
表示向上取整操作。
8.根据权利要求1所述基于光谱分割与同质区域检测的高光谱图像地物分类方法，其特征在于，步骤(6b)中所述的交叉熵损失函数如下：
Figure FDA0002757545450000042
其中，CE表示交叉熵损失，N表示训练集中训练样本的数目，∑表示求和操作，y(m)表示第m个训练样本的真实标签向量，ln表示以自然常数e为底的对数操作，p(m)表示第m个样本的预测标签向量。
CN202011207567.8A 2020-11-03 2020-11-03 基于光谱分割与同质区域检测的高光谱图像地物分类方法 Active CN112308152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011207567.8A CN112308152B (zh) 2020-11-03 2020-11-03 基于光谱分割与同质区域检测的高光谱图像地物分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011207567.8A CN112308152B (zh) 2020-11-03 2020-11-03 基于光谱分割与同质区域检测的高光谱图像地物分类方法

Publications (2)

Publication Number Publication Date
CN112308152A true CN112308152A (zh) 2021-02-02
CN112308152B CN112308152B (zh) 2023-04-28

Family

ID=74333741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011207567.8A Active CN112308152B (zh) 2020-11-03 2020-11-03 基于光谱分割与同质区域检测的高光谱图像地物分类方法

Country Status (1)

Country Link
CN (1) CN112308152B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN112990106A (zh) * 2021-04-19 2021-06-18 中国人民解放军国防科技大学 水下物体检测方法、装置、计算机设备和存储介质
CN113222908A (zh) * 2021-04-23 2021-08-06 中国科学院西安光学精密机械研究所 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN113344040A (zh) * 2021-05-20 2021-09-03 深圳索信达数据技术有限公司 图像分类方法、装置、计算机设备和存储介质
CN113627329A (zh) * 2021-08-10 2021-11-09 江南大学 基于混合卷积网络的小麦种子高光谱图像分类方法及系统
CN117115553A (zh) * 2023-09-13 2023-11-24 南京审计大学 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法
CN117788843A (zh) * 2024-02-27 2024-03-29 青岛超瑞纳米新材料科技有限公司 一种基于神经网络算法的碳纳米管图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109766858A (zh) * 2019-01-16 2019-05-17 中国人民解放军国防科技大学 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
WO2020199468A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109766858A (zh) * 2019-01-16 2019-05-17 中国人民解放军国防科技大学 结合双边滤波的三维卷积神经网络高光谱影像分类方法
WO2020199468A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU TANG等: ""Hyperspectral Image Classification Based on 3-D Octave Convolution With Spatial–Spectral Attention Network"", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
冉琼等: ""结合超像元和子空间投影支持向量机的高光谱图像分类"", 《中国图象图形学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN112990106A (zh) * 2021-04-19 2021-06-18 中国人民解放军国防科技大学 水下物体检测方法、装置、计算机设备和存储介质
CN113222908A (zh) * 2021-04-23 2021-08-06 中国科学院西安光学精密机械研究所 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN113222908B (zh) * 2021-04-23 2023-12-12 中国科学院西安光学精密机械研究所 基于自适应光谱波段筛选网络的高光谱遮挡效果评估方法
CN113344040A (zh) * 2021-05-20 2021-09-03 深圳索信达数据技术有限公司 图像分类方法、装置、计算机设备和存储介质
CN113627329A (zh) * 2021-08-10 2021-11-09 江南大学 基于混合卷积网络的小麦种子高光谱图像分类方法及系统
CN117115553A (zh) * 2023-09-13 2023-11-24 南京审计大学 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法
CN117115553B (zh) * 2023-09-13 2024-01-30 南京审计大学 一种基于掩膜谱空特征预测的高光谱遥感图像分类方法
CN117788843A (zh) * 2024-02-27 2024-03-29 青岛超瑞纳米新材料科技有限公司 一种基于神经网络算法的碳纳米管图像处理方法
CN117788843B (zh) * 2024-02-27 2024-04-30 青岛超瑞纳米新材料科技有限公司 一种基于神经网络算法的碳纳米管图像处理方法

Also Published As

Publication number Publication date
CN112308152B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
US11783569B2 (en) Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN109145992B (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
Shen et al. Detection of stored-grain insects using deep learning
CN108460342B (zh) 基于卷积神经网络和循环神经网络的高光谱图像分类方法
CN109754017B (zh) 基于可分离的三维残差网络和迁移学习高光谱图像分类方法
CN108537102B (zh) 基于稀疏特征与条件随机场的高分辨sar图像分类方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
Ortac et al. Comparative study of hyperspectral image classification by multidimensional Convolutional Neural Network approaches to improve accuracy
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN108229551B (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
Zhang et al. Polygon structure-guided hyperspectral image classification with single sample for strong geometric characteristics scenes
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN116740418A (zh) 一种基于图重构网络的目标检测方法
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Sehree et al. Olive trees cases classification based on deep convolutional neural network from unmanned aerial vehicle imagery
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
Lopez et al. Convolutional neural networks for semantic segmentation of multispectral remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant