CN111723731A - 基于空谱卷积核的高光谱图像分类方法、存储介质及设备 - Google Patents

基于空谱卷积核的高光谱图像分类方法、存储介质及设备 Download PDF

Info

Publication number
CN111723731A
CN111723731A CN202010560570.1A CN202010560570A CN111723731A CN 111723731 A CN111723731 A CN 111723731A CN 202010560570 A CN202010560570 A CN 202010560570A CN 111723731 A CN111723731 A CN 111723731A
Authority
CN
China
Prior art keywords
convolution
layer
size
convolution kernel
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010560570.1A
Other languages
English (en)
Other versions
CN111723731B (zh
Inventor
马文萍
马昊翔
朱浩
武越
焦李成
马梦茹
李亚婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010560570.1A priority Critical patent/CN111723731B/zh
Publication of CN111723731A publication Critical patent/CN111723731A/zh
Application granted granted Critical
Publication of CN111723731B publication Critical patent/CN111723731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Abstract

本发明公开了一种基于空谱卷积核的高光谱图像分类方法、存储介质及设备，输入一个三维立方体高光谱图像；对高光谱图像数据集划分；对高光谱图像数据进行SLIC超像素分割，提取空间卷积核；提取光谱卷积核；将空间卷积核和光谱卷积核经多次卷积操作构成空谱卷积核预训练网络；将预训练网络的输出特征图输入监督训练网络中进行训练，训练完毕后得到级联监督训练网络，网络输出特征经由softmax函数实现图像分类。本发明能更有效的利用图像自身特征，实现高光谱图像的快速、高准确率分类。

Description

基于空谱卷积核的高光谱图像分类方法、存储介质及设备
技术领域
本发明属于图像处理技术领域，具体涉及一种基于空谱卷积核的高光谱图像分类方法、存储介质及设备。
背景技术
近年来，随着光谱成像技术的不断发展，对高光谱图像的分析与处理已经成为遥感成像的热点研究领域之一。高光谱图像包含数百个连续的光谱带，相较于多光谱图像及全色图像，可以提供更多更准确的地物信息，可更方便的揭示图像细微光谱之间的特征联系；但高光谱图像本身也存在一些缺点，如光谱冗余度较高，标记样本较少，图像训练时间较长等，因此针对高光谱图像分类的网络也主要基于以上几方面改进。
早期的高光谱图像分类主要以机器学习方法为主，依据光谱特征及适当的特征变换完成，如：支持向量机(Support Vector Machine，SVM)、k-近邻算法(K-NearestNeighbor,K-NN)、朴素贝叶斯方法及决策树等，其中SVM方法分类效果较好，能更大限度上的避免Houghes现象；但仅使用光谱信息很难准确区分地物类别，受外界因素影响，同一地物可能存在较大光谱差异，不同地物也可能产生相似光谱特征，因此基于空谱联合的图像分类方法渐渐涌现出来，如基于马尔可夫随机场(MRF)的方法、三维小波变化、三维Gabor变换等。随着深度学习技术在各行各业中的广泛应用，基于深度学习的高光谱图像分类方法占据了主流，如自编码器(AutoEncoder，AE)、深度信念网络(Deep Belief Network，DBN)、卷积神经网络(CNN)等。相较于传统分类方法，深度学习网络能自动从样本中提取深度特征，从而更全面的表达数据本身特点。AE与DBN网络中使用了较多的全连接层，随着网络层数的增加，将会有较大的计算开销，而CNN网络通过权值共享的方法较少了参数量，更高效的提升了网络的特征表达能力，现已成为高光谱图像分类的主流方法。
现有一种基于random patches的高光谱图像分类方法。该网络直接从降维的图像中随机选择若干块(random patches)视为卷积核且无需训练，通过结合深浅层特征实现分类。但该方法也存在一定的不足：卷积核的选择过于随机，抽取的卷积核可能不具有过强的表征性；网络对数据光谱信息没有充分利用，且在降维的同时损失了部分光谱信息；无监督网络虽然分类速度较快，但与监督网络相比在分类精度上仍然有一定差距。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于空谱卷积核的高光谱图像分类方法、存储介质及设备，通过联合空间卷积核与光谱卷积核对高光谱图像中地物类别进行分类，可应用于灾害检测、环境监测、地质勘探、城市规划等相关领域。
本发明采用以下技术方案：
一种基于空谱卷积核的高光谱图像分类方法，包括以下步骤：
S1、输入一个三维立方体高光谱图像F，F∈Rm×n×c，R表示整个实数域，m表示整个输入图像的长度，n表示整个输入图像的宽度，c表示整个输入图像的通道数即光谱波段数；
S2、对高光谱图像数据集划分，将划分的结果分配到对应类别所属的集合中；
S3、对高光谱图像数据进行SLIC超像素分割，提取空间卷积核；
S4、步骤S3完成后，提取光谱卷积核；
S5、将空间卷积核和光谱卷积核经多次卷积操作构成空谱卷积核预训练网络；
S6、将步骤S5中预训练网络的输出特征图输入监督训练网络中进行训练，训练完毕后得到级联监督训练网络，网络输出特征经由softmax函数实现图像分类。
具体的，步骤S2具体为：
S201、对高光谱图像三维数据进行边缘填充，填充数据为0，填充尺寸为7；
S202、将填充完成的三维数据以每个像素为中心，截取周围15×15的像素块作为单个数据集，得到数据集尺寸为15×15×c；
S203、将得到数据集以每个中心像素类别为标签，分配到对应类别所属的集合中。
具体的，步骤S3具体为：
S301、对原始高光谱图像数据进行SLIC超像素分割，每个超像素分割尺寸为5×5，分割后得到N个超像素及其像素中心，以超像素中心为基准截取周围5×5尺寸像素块作为新的单位超像素；
S302、将得到的超像素转为灰度图，通过均值Hash算法实现超像素聚类；
S303、计算每一类超像素信息熵Hk；
S304、根据各类超像素抽取数量从各类总数中随机抽取a个，将抽到的超像素坐标映射到原高光谱图像中，空间卷积核将由映射出的d个5×5×c尺寸的超像素块构成。
进一步的，步骤S302具体为：
S3021、计算每个超像素块内像素平均值
Figure BDA0002546152310000041
将块内像素逐一与
Figure BDA0002546152310000042
比较，大于则标记为1，小于则标记为0，生成长度为n的二进制数，n表示超像素内单位像素个数；
S3022、将不同超像素生成的二进制数逐位比较，不同位数小于5时，可标记为一类；
S3023、将所有超像素依次遍历，聚为k类。
具体的，步骤S4具体为：
S401、对每个输入尺寸为15×15×c的高光谱数据作全局池化，得到1×1×c尺寸的列向量，将得到的列向量进行边缘填充，填充数据为0，填充尺寸为2；将此数据输入三维卷积层，卷积核尺寸设置为1×1×5，卷积步长设置为1，卷积输出特征尺寸为1×1×c；
S402、从输入高光谱数据中取出中心像素所在列向量，尺寸为1×1×c，与步骤S401中所得卷积特征逐像素相加，得到新的光谱通道特征，特征尺寸为1×1×c；
S403、将光谱通道特征输入通道权重训练网络，网络结构为：第一全连接层→ReLu激活层→第二全连接层→sigmoid激活层；第一全连接层输入神经元个数设置为c，输出神经元个数设置为16；第二全连接层输入神经元个数设置为16，输出神经元个数设置为c；经过sigmoid激活函数后输出1×1×c尺寸的通道权重向量；
S404、将步骤S403网络输出的通道权重向量通过乘法，逐通道加权到输入尺寸为15×15×c的高光谱数据上，得到新标定后的高光谱数据，尺寸保持不变为15×15×c；以新标定数据中心像素为基准，截取周围3×3区域的像素块，作为光谱卷积核父本；
S405、光谱卷积核父本尺寸为3×3×c，每个光谱卷积核需从父本光谱维度随机抽取d维组成，则每个光谱卷积核尺寸为3×3×d，光谱卷积核维数d需与空间卷积核个数保持一致，本阶段抽取卷积核的个数为b。
具体的，步骤S5中，预训练网络结构为：第一空间卷积层→第一规范层→第一激活层→第二空间卷积层→第二规范层→第二激活层→第三空间卷积层→第三规范层→第三激活层→第一光谱卷积层→第四规范层→第四激活层；
第一空间卷积层的卷积核由步骤S3操作产生，卷积核尺寸为5×5×c，个数为d，卷积步长为1，填充数据为2；第二空间卷积层的卷积核在第一层输出的特征图中生成，在特征图中截取d个空间卷积核，卷积核尺寸为5×5×d，卷积步长为1，填充数据为2；第三空间卷积层的卷积核，将在第二层输出特征图中生成，与第二层操作一致，在特征图中截取d个空间卷积核，卷积核尺寸为5×5×d，卷积步长为1，不做数据填充；
第一光谱卷积层的卷积核由步骤S4操作产生，卷积核尺寸为3×3×d，个数为b，卷积步长为1，不做数据填充；经光谱卷积操作后，输出的空谱特征维度为b。
具体的，步骤S6中，监督训练网络的输入为步骤S5中预训练网络的输出特征图，输入数据尺寸为9×9×b，进行训练时，将数据与数据标签输入整个网络中，训练完毕可得到训练好的级联监督训练网络；预训练结构为：
第一卷积层→第一规范层→ReLu激活层→第二卷积层→第二规范层→ReLu激活层→第三卷积层→第三规范层→ReLu激活层→第四卷积层→第四规范层→ReLu激活层→第五卷积层→第五规范层→ReLu激活层→第一融合层→第一全局池化层→第一全连接层→softmax层；第一融合层将第一、第二、第三、第四、第五激活层的特征沿维度方向叠加。
进一步的，监督训练网络的参数设置为：第一到第五卷积层卷积核尺寸均为3×3，卷积步长均为1，填充数据均为1，卷积核个数分别为64、64、128、128、256。
本发明的另一个技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
本发明的另一个技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于空谱卷积核的高光谱图像分类方法，从原输入高光谱数据中自选择的提取空谱卷积核用于图像深层特征的提取，可以加快网络收敛，更大程度利用图像自身特征，解决了现有高光谱图像分类方法中训练可用标签较少的问题；提出了通过卷积的方式融合图像的空间与光谱特征，避免了点积特征融合所带来的大计算量开销，同时也避免了特征直接级联导致的深层特征丢失。
进一步的，步骤S2截取每个待分类像素及其周边邻域作为数据集，可充分利用图像空间相关性信息，使地物分类更为准确，也使分类网络计算开销更小，处理更为高效。
进一步的，步骤S3通过SLIC超像素分割，可将图像中具有相似空间纹理的相邻像素聚合为新的不规则块，从而降低后续图像处理的复杂度，也使生成的空间卷积核更具代表性。
进一步的，步骤S302通过均值Hash算法实现超像素粗聚类，可使后续空间卷积核的提取类别更为均衡，减小因图像地物分布不均带来的分类误差。
进一步的，步骤S4提取光谱卷积核充分利用了图像光谱信息和通道相关性信息，更有利于后续空谱信息的融合。
进一步的，步骤S5通过空间卷积核与光谱卷积核的卷积操作，完成了空谱信息的高效融合，多层的卷积网络更有益于挖掘图像的深层次特征，实现特征的高阶表达。
进一步的，步骤S6的监督训练网络将通过多次迭代，完成真实地物与分类标签的非线性连结，以地物标签为依据，将更有助于网络超参数的动态更新，从而达到更高的分类准确性。
综上所述，本发明能更有效的利用图像自身特征，实现高光谱图像的快速、高准确率分类。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为本发明的空谱卷积核预训练网络结构图；
图3为本发明的级联监督训练网络结构图；
图4为本发明的高光谱图像分类仿真结果图，其中，(a)为Pavia University数据集的假彩色地物图像，(b)为本发明的分类结果。
具体实施方式
本发明提供了一种基于空谱卷积核的高光谱图像分类方法，从原始特征图中提取空谱卷积核，更大程度利用了图像自身特征信息，并且通过卷积的方式充分融合了空谱特征，可用于解决现有高光谱图像分类方法中，因可用标签较少导致的分类精度不高及样本分布不均匀等问题，实现步骤为：输入高光谱图像；对高光谱数据集进行划分；提取空间卷积核；提取光谱卷积核；构建空谱卷积核预训练网络；构建级联监督训练网络；对高光谱图像分类。本方法可用于灾害检测、环境监测、地质勘探、城市规划等相关领域。
请参阅图1，本发明一种基于空谱卷积核的高光谱图像分类方法，包括以下步骤：
S1、输入高光谱图像
输入一幅高光谱图像，该图像是一个三维立方体F∈Rm×n×c，∈表示属于符号，R表示整个实数域，m表示整个输入图像的长度，n表示整个输入图像的宽度，c表示整个输入图像的通道数即光谱波段数；
S2、高光谱图像数据集划分
S201、对高光谱图像三维数据进行边缘填充，填充数据为0，填充尺寸为7；
S202、将填充完成的三维数据以每个像素为中心，截取周围15×15的像素块作为单个数据集，得到数据集尺寸为15×15×c；
S203、将得到数据集以每个中心像素类别为标签，分配到该类别所属集合中；
S3、空间卷积核提取
S301、对原始高光谱图像数据进行SLIC超像素分割，每个超像素分割尺寸为5×5，分割后得到N个超像素及其像素中心，以超像素中心为基准截取周围5×5尺寸像素块作为新的单位超像素；
S302、将得到的超像素转为灰度图，通过均值Hash算法实现超像素聚类；
均值Hash算法实现方法如下：
第一步：计算每个超像素块内像素平均值
Figure BDA0002546152310000091
将块内像素逐一与
Figure BDA0002546152310000092
比较，大于则标记为1，小于则标记为0，生成长度为n的二进制数，n表示超像素内单位像素个数；
第二步：将不同超像素生成的二进制数逐位比较，不同位数小于5时，可标记为一类；
第三步：将所有超像素依次遍历，聚为k类；
S303、计算每一类超像素信息熵Hk，k表示聚类类别数，则k类总信息熵为
Figure BDA0002546152310000093
各类超像素作为空间卷积核的数量a可由以下公式计算：
Figure BDA0002546152310000094
超像素信息熵计算公式如下：
Figure BDA0002546152310000095
其中，Hk表示第k类超像素的信息熵，i表示第i个等级的像素值，Pi表示第i等级像素值在超像素区域内出现的概率。
S304、根据各类超像素抽取数量从各类总数中随机抽取a个，将抽到的超像素坐标映射到原高光谱图像中，空间卷积核将由映射出的d个5×5×c尺寸的超像素块构成；
S4、光谱卷积核提取
S401、对每个输入尺寸为15×15×c的高光谱数据作全局池化，得到1×1×c尺寸的列向量，将得到的列向量进行边缘填充，填充数据为0，填充尺寸为2；将此数据输入三维卷积层，卷积核尺寸设置为1×1×5，卷积步长设置为1，卷积输出特征尺寸为1×1×c；
S402、从输入高光谱数据中取出中心像素所在列向量，尺寸为1×1×c，与步骤S401中所得卷积特征逐像素相加，得到新的光谱通道特征，特征尺寸为1×1×c；
S403、将光谱通道特征输入通道权重训练网络，网络结构为：第一全连接层→ReLu激活层→第二全连接层→sigmoid激活层；第一全连接层输入神经元个数设置为c，输出神经元个数设置为16；第二全连接层输入神经元个数设置为16，输出神经元个数设置为c；经过sigmoid激活函数后输出1×1×c尺寸的通道权重向量，该向量表示每个光谱通道的重要性；
S404、将步骤S403网络输出的通道权重向量通过乘法，逐通道加权到输入尺寸为15×15×c的高光谱数据上，得到新标定后的高光谱数据，尺寸保持不变为15×15×c；以新标定数据中心像素为基准，截取周围3×3区域的像素块，作为光谱卷积核父本；
S405、光谱卷积核父本尺寸为3×3×c，每个光谱卷积核需从父本光谱维度随机抽取d维组成，则每个光谱卷积核尺寸为3×3×d，光谱卷积核维数d需与空间卷积核个数保持一致，本阶段抽取卷积核的个数为b；
S5、构建空谱卷积核预训练网络
S501、预训练网络主要由空间卷积核、光谱卷积核的多次卷积操作构成，网络结构为：第一空间卷积层→第一规范层→第一激活层→第二空间卷积层→第二规范层→第二激活层→第三空间卷积层→第三规范层→第三激活层→第一光谱卷积层→第四规范层→第四激活层，如图2所示；
S502、第一空间卷积层的卷积核由步骤S3操作产生，卷积核尺寸为5×5×c，个数为d，卷积步长为1，填充数据为2；第二空间卷积层的卷积核，将在第一层输出的特征图中生成，以步骤S304中生成的d个超像素坐标为基准，在特征图中截取d个空间卷积核，卷积核尺寸为5×5×d，卷积步长为1，填充数据为2；第三空间卷积层的卷积核，将在第二层输出特征图中生成，与第二层操作一致，在特征图中截取d个空间卷积核，卷积核尺寸为5×5×d，卷积步长为1，不做数据填充；
S503、第一光谱卷积层的卷积核由步骤S4操作产生，卷积核尺寸为3×3×d，个数为b，卷积步长为1，不做数据填充；经光谱卷积操作后，输出的空谱特征维度为b；
S6、构建级联监督训练网络
S601、监督训练网络的输入为步骤S5中预训练网络的输出特征图，输入数据尺寸为9×9×b；监督训练网络结构为：第一卷积层→第一规范层→ReLu激活层→第二卷积层→第二规范层→ReLu激活层→第三卷积层→第三规范层→ReLu激活层→第四卷积层→第四规范层→ReLu激活层→第五卷积层→第五规范层→ReLu激活层→第一融合层→第一全局池化层→第一全连接层→softmax层；第一融合层将第一、第二、第三、第四、第五激活层的特征沿维度方向叠加，如图3所示；
S602、监督训练网络的参数设置为：第一到第五卷积层卷积核尺寸均为3×3，卷积步长均为1，填充数据均为1，卷积核个数分别为64、64、128、128、256；
S603、该网络在进行训练时，将数据与数据标签输入整个网络中，训练完毕可得到训练好的级联监督训练网络。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
1.仿真环境
本发明的硬件测试平台是：处理器为Intel(R)Xeon(R)CPU E5-2630，主频为2.40GHz，内存为64G；
软件平台为：Pytorch。
2.仿真实验内容与结果
为了验证本发明所提出方法的有效性，在相同条件下将本发明与其他两种高光谱图像分类方法在Pavia University高光谱数据集中做了比较。Pavia University数据集尺寸为610×430，图像有103个光谱成像波段，共包含9类地物标签。，其他两种方法分别是：机器学习方法中经典的支持向量机(SVM)分类方法与基于空谱特征融合和空间坐标(SPE-SPA-SVM)的高光谱图像分类方法。经过实验仿真得出：支持向量机分类方法的Kappa系数为0.7804，基于空谱融合和空间坐标分类方法(SPE-SPA-SVM)的Kappa系数为0.9763，本发明分类方法的Kappa系数为0.9920。从仿真分类结果可以看出，本发明提出分类方法优于另两种现有技术。
请参阅图4，为本发明提出方法在高光谱数据集上的分类结果，图4(a)为PaviaUniversity数据集的假彩色地物图像，图4(b)为本发明的分类结果，由此可见，本发明对各类地物的分类一致性较好，类别边缘准确完整，分类效果整体良好，说明本发明提出的空谱卷积核分类方法对分类性能有较大提升。
综上所述，本发明提出方法因可从原高光谱图像中自主提取空间与光谱卷积核，使得数据本身信息特征能够充分利用，同时通过卷积方式结合了空间与光谱信息，因此在分类性能上相比于其他两种方法有较大提高。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于空谱卷积核的高光谱图像分类方法，其特征在于，包括以下步骤：
S1、输入一个三维立方体高光谱图像F，F∈Rm×n×c，R表示整个实数域，m表示整个输入图像的长度，n表示整个输入图像的宽度，c表示整个输入图像的通道数即光谱波段数；
S2、对高光谱图像数据集划分，将划分的结果分配到对应类别所属的集合中；
S3、对高光谱图像数据进行SLIC超像素分割，提取空间卷积核；
S4、步骤S3完成后，提取光谱卷积核；
S5、将空间卷积核和光谱卷积核经多次卷积操作构成空谱卷积核预训练网络；
S6、将步骤S5中预训练网络的输出特征图输入监督训练网络中进行训练，训练完毕后得到级联监督训练网络，网络输出特征经由softmax函数实现图像分类。
2.根据权利要求1所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，步骤S2具体为：
S201、对高光谱图像三维数据进行边缘填充，填充数据为0，填充尺寸为7；
S202、将填充完成的三维数据以每个像素为中心，截取周围15×15的像素块作为单个数据集，得到数据集尺寸为15×15×c；
S203、将得到数据集以每个中心像素类别为标签，分配到对应类别所属的集合中。
3.根据权利要求1所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，步骤S3具体为：
S301、对原始高光谱图像数据进行SLIC超像素分割，每个超像素分割尺寸为5×5，分割后得到N个超像素及其像素中心，以超像素中心为基准截取周围5×5尺寸像素块作为新的单位超像素；
S302、将得到的超像素转为灰度图，通过均值Hash算法实现超像素聚类；
S303、计算每一类超像素信息熵Hk；
S304、根据各类超像素抽取数量从各类总数中随机抽取a个，将抽到的超像素坐标映射到原高光谱图像中，空间卷积核将由映射出的d个5×5×c尺寸的超像素块构成。
4.根据权利要求3所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，步骤S302具体为：
S3021、计算每个超像素块内像素平均值x_，将块内像素逐一与x_比较，大于则标记为1，小于则标记为0，生成长度为n的二进制数，n表示超像素内单位像素个数；
S3022、将不同超像素生成的二进制数逐位比较，不同位数小于5时，可标记为一类；
S3023、将所有超像素依次遍历，聚为k类。
5.根据权利要求1所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，步骤S4具体为：
S401、对每个输入尺寸为15×15×c的高光谱数据作全局池化，得到1×1×c尺寸的列向量，将得到的列向量进行边缘填充，填充数据为0，填充尺寸为2；将此数据输入三维卷积层，卷积核尺寸设置为1×1×5，卷积步长设置为1，卷积输出特征尺寸为1×1×c；
S402、从输入高光谱数据中取出中心像素所在列向量，尺寸为1×1×c，与步骤S401中所得卷积特征逐像素相加，得到新的光谱通道特征，特征尺寸为1×1×c；
S403、将光谱通道特征输入通道权重训练网络，网络结构为：第一全连接层→ReLu激活层→第二全连接层→sigmoid激活层；第一全连接层输入神经元个数设置为c，输出神经元个数设置为16；第二全连接层输入神经元个数设置为16，输出神经元个数设置为c；经过sigmoid激活函数后输出1×1×c尺寸的通道权重向量；
S404、将步骤S403网络输出的通道权重向量通过乘法，逐通道加权到输入尺寸为15×15×c的高光谱数据上，得到新标定后的高光谱数据，尺寸保持不变为15×15×c；以新标定数据中心像素为基准，截取周围3×3区域的像素块，作为光谱卷积核父本；
S405、光谱卷积核父本尺寸为3×3×c，每个光谱卷积核需从父本光谱维度随机抽取d维组成，则每个光谱卷积核尺寸为3×3×d，光谱卷积核维数d需与空间卷积核个数保持一致，本阶段抽取卷积核的个数为b。
6.根据权利要求1所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，步骤S5中，预训练网络结构为：第一空间卷积层→第一规范层→第一激活层→第二空间卷积层→第二规范层→第二激活层→第三空间卷积层→第三规范层→第三激活层→第一光谱卷积层→第四规范层→第四激活层；
第一空间卷积层的卷积核由步骤S3操作产生，卷积核尺寸为5×5×c，个数为d，卷积步长为1，填充数据为2；第二空间卷积层的卷积核在第一层输出的特征图中生成，在特征图中截取d个空间卷积核，卷积核尺寸为5×5×d，卷积步长为1，填充数据为2；第三空间卷积层的卷积核，将在第二层输出特征图中生成，与第二层操作一致，在特征图中截取d个空间卷积核，卷积核尺寸为5×5×d，卷积步长为1，不做数据填充；
第一光谱卷积层的卷积核由步骤S4操作产生，卷积核尺寸为3×3×d，个数为b，卷积步长为1，不做数据填充；经光谱卷积操作后，输出的空谱特征维度为b。
7.根据权利要求1所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，步骤S6中，监督训练网络的输入为步骤S5中预训练网络的输出特征图，输入数据尺寸为9×9×b，进行训练时，将数据与数据标签输入整个网络中，训练完毕可得到训练好的级联监督训练网络；预训练结构为：
第一卷积层→第一规范层→ReLu激活层→第二卷积层→第二规范层→ReLu激活层→第三卷积层→第三规范层→ReLu激活层→第四卷积层→第四规范层→ReLu激活层→第五卷积层→第五规范层→ReLu激活层→第一融合层→第一全局池化层→第一全连接层→softmax层；第一融合层将第一、第二、第三、第四、第五激活层的特征沿维度方向叠加。
8.根据权利要求7所述的基于空谱卷积核的高光谱图像分类方法，其特征在于，监督训练网络的参数设置为：第一到第五卷积层卷积核尺寸均为3×3，卷积步长均为1，填充数据均为1，卷积核个数分别为64、64、128、128、256。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
CN202010560570.1A 2020-06-18 2020-06-18 基于空谱卷积核的高光谱图像分类方法、存储介质及设备 Active CN111723731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010560570.1A CN111723731B (zh) 2020-06-18 2020-06-18 基于空谱卷积核的高光谱图像分类方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010560570.1A CN111723731B (zh) 2020-06-18 2020-06-18 基于空谱卷积核的高光谱图像分类方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN111723731A true CN111723731A (zh) 2020-09-29
CN111723731B CN111723731B (zh) 2023-09-29

Family

ID=72567526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010560570.1A Active CN111723731B (zh) 2020-06-18 2020-06-18 基于空谱卷积核的高光谱图像分类方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN111723731B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580670A (zh) * 2020-12-31 2021-03-30 中国人民解放军国防科技大学 基于迁移学习的高光谱空谱联合特征提取方法
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113065601A (zh) * 2021-04-12 2021-07-02 陕西理工大学 基于遗传算法优化的深度学习林火异常检测方法
CN113191242A (zh) * 2021-04-25 2021-07-30 西安交通大学 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法
CN113378971A (zh) * 2021-06-28 2021-09-10 燕山大学 近红外光谱的分类模型训练方法、系统及分类方法、系统
CN114627369A (zh) * 2022-01-19 2022-06-14 上海土蜂科技有限公司 环境监测系统、方法及其计算机装置
CN114663747A (zh) * 2022-02-14 2022-06-24 湖南盛鼎科技发展有限责任公司 一种面向高光谱图像的分类方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110084159A (zh) * 2019-04-15 2019-08-02 西安电子科技大学 基于联合多级空谱信息cnn的高光谱图像分类方法
CN110321963A (zh) * 2019-07-09 2019-10-11 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN111191736A (zh) * 2020-01-05 2020-05-22 西安电子科技大学 基于深度特征交叉融合的高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘启超;肖亮;刘芳;徐金环;: "SSCDenseNet:一种空-谱卷积稠密网络的高光谱图像分类算法", 电子学报, no. 04 *
欧阳宁;朱婷;林乐平;: "基于空-谱融合网络的高光谱图像分类方法", 计算机应用, no. 07 *
魏祥坡;余旭初;谭熊;刘冰;职露;: "CNN和三维Gabor滤波器的高光谱图像分类", 计算机辅助设计与图形学学报, no. 01 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580670A (zh) * 2020-12-31 2021-03-30 中国人民解放军国防科技大学 基于迁移学习的高光谱空谱联合特征提取方法
CN112580670B (zh) * 2020-12-31 2022-04-19 中国人民解放军国防科技大学 基于迁移学习的高光谱空谱联合特征提取方法
CN112818920A (zh) * 2021-02-25 2021-05-18 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN112818920B (zh) * 2021-02-25 2022-09-20 哈尔滨工程大学 一种双时相高光谱图像空谱联合变化检测方法
CN113065601A (zh) * 2021-04-12 2021-07-02 陕西理工大学 基于遗传算法优化的深度学习林火异常检测方法
CN113191242A (zh) * 2021-04-25 2021-07-30 西安交通大学 一种基于OpenPose改进的嵌入式轻量化驾驶员腿部姿态估计方法
CN113378971A (zh) * 2021-06-28 2021-09-10 燕山大学 近红外光谱的分类模型训练方法、系统及分类方法、系统
CN114627369A (zh) * 2022-01-19 2022-06-14 上海土蜂科技有限公司 环境监测系统、方法及其计算机装置
CN114627369B (zh) * 2022-01-19 2024-03-22 上海土蜂科技有限公司 环境监测系统、方法及其计算机装置
CN114663747A (zh) * 2022-02-14 2022-06-24 湖南盛鼎科技发展有限责任公司 一种面向高光谱图像的分类方法及系统

Also Published As

Publication number Publication date
CN111723731B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN111723731B (zh) 基于空谱卷积核的高光谱图像分类方法、存储介质及设备
Sameen et al. Classification of very high resolution aerial photos using spectral-spatial convolutional neural networks
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
dos Santos et al. A relevance feedback method based on genetic programming for classification of remote sensing images
US20190236411A1 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN107292341B (zh) 基于成对协同正则化和nmf的自适应多视图聚类方法
CN111242208A (zh) 一种点云分类方法、分割方法及相关设备
WO2020062360A1 (zh) 一种图像融合分类的方法及装置
CN111401380B (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
Zeng et al. Semi-supervised hyperspectral image classification with graph clustering convolutional networks
CN113705580A (zh) 基于深度迁移学习的高光谱图像分类方法
CN112633481A (zh) 一种多跳图卷积神经网络模型及其训练方法
Pichel et al. A new approach for sparse matrix classification based on deep learning techniques
CN111680579A (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
Pang et al. Multihead attention mechanism guided ConvLSTM for pixel-level segmentation of ocean remote sensing images
Sima et al. Composite kernel of mutual learning on mid-level features for hyperspectral image classification
CN111161282B (zh) 基于深度种子的图像多层次分割的目标尺度选择方法
CN113516019A (zh) 高光谱图像解混方法、装置及电子设备
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
Wang et al. Adaptive hypergraph superpixels
CN114511571A (zh) 一种点云数据语义分割方法、系统及相关组件
Hu et al. Super pixel based classification using conditional random fields for hyperspectral images
Sohan et al. 3D-D2D: An efficient hybrid model for hyperspectral image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant