CN114663747A - 一种面向高光谱图像的分类方法及系统 - Google Patents

一种面向高光谱图像的分类方法及系统 Download PDF

Info

Publication number
CN114663747A
CN114663747A CN202210133831.0A CN202210133831A CN114663747A CN 114663747 A CN114663747 A CN 114663747A CN 202210133831 A CN202210133831 A CN 202210133831A CN 114663747 A CN114663747 A CN 114663747A
Authority
CN
China
Prior art keywords
hyperspectral image
convolution
dimension
hyperspectral
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210133831.0A
Other languages
English (en)
Other versions
CN114663747B (zh
Inventor
徐静冉
王怀採
赵健康
李修庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shengding Technology Development Co ltd
Original Assignee
Hunan Shengding Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Shengding Technology Development Co ltd filed Critical Hunan Shengding Technology Development Co ltd
Priority to CN202210133831.0A priority Critical patent/CN114663747B/zh
Publication of CN114663747A publication Critical patent/CN114663747A/zh
Application granted granted Critical
Publication of CN114663747B publication Critical patent/CN114663747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种面向高光谱图像的分类方法及系统，本发明面向高光谱图像的分类方法包括：对高光谱图像采用三维离散小波变换3D‑DWT提取高光谱图像的空间和光谱特征；将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像进行降维；将降维后的高光谱图像分割成重叠的小图像块；将小图像块采用预先训练好的卷积神经网络分类器进行分类。本发明将三维离散小波变换3D‑DWT和卷积神经网络CNN进行结合，将三维离散小波变换3D‑DWT用作高光谱图像的预处理手段，从而获得鲁棒的特征表达能力、减少CNN网络的计算负担，而且能够在较少的训练样本下获得较高的分类性能，大大缓解了高光谱数据缺乏带标签的训练样本的问题。

Description

一种面向高光谱图像的分类方法及系统
技术领域
本发明涉及遥感图像(高光谱图像)的图像处理技术，具体涉及一种面向高光谱图像的分类方法及系统。
背景技术
目前，针对高光谱图像的分类问题大多采用深度学习的方法中，卷积神经网络(Convolutional Neural Network，简称CNN)由于其较好的性能和独特的结构，使用最为广泛。然而基于CNN的分类结构大多都属于监督学习的范畴，这导致模型中通常存在数量巨大的待训练参数，意味着需要大量带标签的样本来保证算法的分类性能。由于获得带标签的高光谱数据的代价极高，所以带标签的样本数量非常有限。同时，很多基于CNN的分类算法为了在有限的训练样本下获得较高的分类性能，往往采取极其复杂的分类结构，这导致网络的计算代价极高而且非常耗时。
同时，一些传统的特征提取算法能够在无监督的条件下提取空谱联合特征(jointspatial-spectral features)。其中，三维离散小波变换(3-D DWT)由于其在不同方向和尺度下的较强的特征提取能力，在很多算法被用作高光谱图像的预处理手段，受到了广泛的关注。然而当下联合使用3-D DWT和CNN的工作依然非常稀少。很多工作只关注了3-D DWT的特征表达能力，或是只关注了CNN网络结构的调整。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种面向高光谱图像的分类方法及系统，本发明将三维离散小波变换3D-DWT和卷积神经网络CNN进行结合，将三维离散小波变换3D-DWT用作高光谱图像的预处理手段，从而获得鲁棒的特征表达能力、减少CNN网络的计算负担，而且能够在较少的训练样本下获得较高的分类性能，大大缓解了高光谱数据缺乏带标签的训练样本的问题。
为了解决上述技术问题，本发明采用的技术方案为：
一种面向高光谱图像的分类方法，包括：
1)对高光谱图像采用三维离散小波变换3D-DWT提取高光谱图像的空间和光谱特征；
2)将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像进行降维；
3)将降维后的高光谱图像分割成重叠的小图像块；
4)将小图像块采用预先训练好的卷积神经网络分类器进行分类。
可选地，步骤1)包括：
1.1)对尺寸为H×W×B的高光谱图像，在一级小波变换中，采用高通和低通滤波器在空间高度维、空间宽度维、光谱维三个维度上组合进行卷积产生八个经过滤波的一级子波块；然后，在一级小波变换得到八个经过滤波的一级子波块中，选择一个子波块，采用高通和低通滤波器在光谱维上组合进行卷积产生八个经过滤波的二级子波块；
1.2)将七个未使用的一级子波块和八个经过滤波的二级子波块一起在光谱维度进行集成，得到尺寸为H×W×15B的新的高光谱图像，其中H和W分别代表原始的高光谱图像在高光谱空间尺寸中的长和宽，B代表原始的高光谱图像的光谱维度；针对得到尺寸为H×W×15B的新的高光谱图像，在空间维度采用均值滤波器将其七个未使用的一级子波块和八个经过滤波的二级子波块中位于像素点(i,j)的像素的小波系数求均值作为空间纹理特征向量。
可选地，所述选择一个子波块是指选择LhLwLb，其中Lh代表空间高度维的滤波器组中的低通滤波器，Lw代表空间宽度维的滤波器组中的低通滤波器，Lb代表光谱维度的滤波器组中的低通滤波器。
可选地，步骤2)中提取高光谱图像的空间和光谱特征后得到的新的高光谱图像的波段数目为D，所述降维是指将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像中的一个像素视为一个D维向量，采用主成份分析PCA将D维向量选择前d维向量以降维为d维向量。
可选地，步骤3)中将降维后的高光谱图像分割成重叠的小图像块时，小图像块表示为P∈Rs×s×d，其中s×s为小图像块的空间尺寸，d为图像块的光谱维度，小图像块的类别以其中心像素的类别为准。
可选地，所述卷积神经网络分类器包括依次相连的三个第一3-D卷积模块、一个3D密集连接模块、一个瓶颈模块、两个全连接层以及输出层；所述第一3-D卷积模块由卷积层、RELU激活函数、批正则化层构成；所述3D密集连接模块包括由3个第二3-D卷积模块组成，且第一个第二3-D卷积模块的输入端包括到3D密集连接模块中第一个以及第三个第二3-D卷积模块输出的跳跃连接，第二个第二3-D卷积模块的输入端包括到3D密集连接模块中第二个以及第三个第二3-D卷积模块输出的跳跃连接，第三个第二3-D卷积模块的输入端包括到3D密集连接模块中第三个第二3-D卷积模块输出的跳跃连接，所述第二3-D卷积模块由卷积层、RELU激活函数、批正则化层构成；所述瓶颈模块用于将3D密集连接模块输出的特征图调整特征尺寸后展平为一维输入到后面的两个全连接层中，所述瓶颈模块包括依次相连的瓶颈层、批正则化层和池化层；所述两个全连接层的输出通过输出层的激活函数激活后作为分类结果输出。
可选地，所述三个第一3-D卷积模块中，第一个第一3-D卷积模块的卷积层采用8个尺寸为3×3×7的3-D卷积核，且得到的特征图数量为1；第二个第一3-D卷积模块的卷积层采用8个尺寸为3×3×5的3-D卷积核，且得到的特征图数量为8；第三个第一3-D卷积模块的卷积层采用8个尺寸为3×3×3的3-D卷积核，且得到的特征图数量为8；所述第二3-D卷积模块的卷积层采用16个尺寸为3×3×3的3-D卷积核；所述瓶颈模块的瓶颈曾为由16个尺寸为1×1×1的卷积核组成，且得到的特征图数量为16，瓶颈模块的池化层大小为3×3×3；所述两个全连接层中第一个全连接层的神经元数目为256，第二个全连接层的神经元数目为128，所述输出层采用softmax函数作为激活函数。
可选地，步骤4)之前包括训练卷积神经网络分类器的步骤，且训练卷积神经网络分类器时，采用反向传播交叉熵目标函数的梯度更新卷积神经网络分类器的网络参数。
此外，本发明还提供一种面向高光谱图像的分类系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行面向高光谱图像的分类方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，且该计算机程序用于被计算机设备执行以实施面向高光谱图像的分类方法的步骤。
和现有技术相比，本发明具有下述优点：
1、本发明面向高光谱图像的分类方法将三维离散小波变换3D-DWT用作高光谱图像的预处理手段，从而获得鲁棒的特征表达能力、减少卷积神经网络分类器的计算负担。
2、本发明面向高光谱图像的分类方法将三维离散小波变换3D-DWT和卷积神经网络CNN进行结合，能够在较少的训练样本下获得较高的分类性能，大大缓解了高光谱数据缺乏带标签的训练样本的问题。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的基本原理示意图。
图3为本发明实施例中三维离散小波变换3D-DWT的原理示意图。
图4为本发明实施例中卷积神经网络分类器的结构示意图。
图5为本发明实施例中在数据集IP上的实验曲线。
图6为本发明实施例中在数据集PU上的实验曲线。
图7为本发明实施例中在数据集KSC上的实验曲线。
具体实施方式
如图1和图2所示，本实施例面向高光谱图像的分类方法包括：
1)对高光谱图像采用三维离散小波变换3D-DWT提取高光谱图像的空间和光谱特征；
2)将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像进行降维；
3)将降维后的高光谱图像分割成重叠的小图像块；
4)将小图像块采用预先训练好的卷积神经网络分类器进行分类。
本实施例将三维离散小波变换3D-DWT(Three Dimensional Discrete WaveletTransform)用作高光谱图像的预处理手段，能够同时提取高光谱图像的空间和光谱特征，从而获得鲁棒的特征表达能力、减少卷积神经网络分类器的计算负担。经过三维离散小波变换3D-DWT预处理处理的高光谱图像在光谱维度集成，得到一个新的高光谱图像，其光谱维度相对于未处理的高光谱图像大大增加。小波变换由于其强大的时频分析能力，被广泛地应用在信号分析领域。本实施例中，三维离散小波变换3D-DWT采用了两级小波变换的方式，参见图3，本实施例中的步骤1)包括：
1.1)对尺寸为H×W×B的高光谱图像，在一级小波变换中，采用高通和低通滤波器在空间高度维、空间宽度维、光谱维三个维度上组合进行卷积产生八个经过滤波的一级子波块；然后，在一级小波变换得到八个经过滤波的一级子波块中，选择一个子波块，采用高通和低通滤波器在光谱维上组合进行卷积产生八个经过滤波的二级子波块；
1.2)将七个未使用的一级子波块和八个经过滤波的二级子波块一起在光谱维度进行集成，得到尺寸为H×W×15B的新的高光谱图像(高光谱的光谱维度为原始的15倍)，其中H和W分别代表原始的高光谱图像在高光谱空间尺寸中的长和宽，B代表原始的高光谱图像的光谱维度；针对得到尺寸为H×W×15B的新的高光谱图像，在空间维度采用均值滤波器将其七个未使用的一级子波块和八个经过滤波的二级子波块中位于像素点(i,j)的像素的小波系数求均值作为空间纹理特征向量。
每一个子波块(一级子波块和二级子波块)都表示了原始的高光谱图像在特定的尺寸、频率以及方向下的特征。位于结构表现复杂区域的像素，例如边缘，粗糙的表面以及纹理丰富的区域相对于其他同质化的区域具有更高的奇异值。从这些信息丰富的像素中采样有助于底层分类任务。可以通过利用小波的能力去关注局部信号结构，从而定位这些高奇异值的像素。参见图3，在一级小波变换中，采用高通和低通滤波器在空间高度维、空间宽度维、光谱维三个维度上组合进行卷积产生八个经过滤波的一级子波块包括：首先在空间高度维分别采用低通滤波器(Low Pass Filter)、高通滤波器(High Pass Filter)，然后在空间宽度维，将低通滤波器(Low Pass Filter)的输出作为组合滤波器LL和LH的输入，高通滤波器(High Pass Filter)的输出作为组合滤波器HL和HH的输入，组合滤波器中H代表高通滤波器，L代表低通滤波器，例如LL表示两个低通滤波器组合，LH表示低通滤波器和高通滤波器组合，依次类推。最后，在光谱维，组合滤波器LL的输出作为组合滤波器LLL和LLH的输入，组合滤波器LH的输出作为组合滤波器LHL和LHH的输入，组合滤波器HL的输出作为组合滤波器HLL和HLH的输入，组合滤波器HH的输出作为组合滤波器HHL和HHH的输入，从而产生八个经过滤波的一级子波块，分别为：组合滤波器LLL和LLH、组合滤波器LHL和LHH、组合滤波器HLL和HLH、组合滤波器HHL和HHH的输出。参见图3，本实施例中选择一个子波块是指选择LhLwLb，其中Lh代表空间高度维的滤波器组中的低通滤波器，Lw代表空间宽度维的滤波器组中的低通滤波器，Lb代表光谱维度的滤波器组中的低通滤波器，也即将组合滤波器LLL的输出选择作为高光谱图像的近似子波块(HSI Cube)。参见图3，在二级小波变换中，采用高通和低通滤波器在光谱维上组合进行卷积产生八个经过滤波的二级子波块，高通和低通滤波器在光谱维上组合分别包括组合滤波器LLL和LLH、组合滤波器LHL和LHH、组合滤波器HLL和HLH、组合滤波器HHL和HHH，即将选择LhLwLb分别通过上述八个滤波器，得到八个经过滤波的二级子波块。最终，使得15个子波块(7个一级子波块和8个二级子波块)均包含空间维特征和光谱维特征。
一般的小波变换可以由公式(1)表示：
Figure BDA0003503710590000051
上式中，Wf(a,b)表示对信号f(x)的小波变换W，a为尺度参数，b为平移参数，φa,b(x)为基本的小波函数。尺度参数a和平移参数b都是连续变化的参数，尺度参数a确定了小波的尺度，平移参数b确定了小波的平移量，且有：
∫φ(x)dx＝0，
上式中，φ(x)为小波函数。基本的小波函数φa,b(x)是由小波函数φ(x)通过伸缩和平移得到，因此将小波函数φ(x)称为母小波，过程由公式(2)表示：
Figure BDA0003503710590000052
上式中，当尺度参数a和平移参数b为离散的值时，就得到了离散的小波变换(discrete wavelet transform,DWT)，表示为公式(3)：
Figure BDA0003503710590000053
上式中，
Figure BDA0003503710590000054
表示对信号f施加离散参数为p,q的小波函数φ代表的小波变换W，a0和b0分别为二元缩放和位移参数，a0 p为尺度参数a的离散，qb0为平移参数b的离散。在尺度参数a和平移参数b的离散过程中，一般对尺度参数a进行幂级数离散化离散为a0 p；对平移参数b进行均匀离散为qb0。
离散小波变换(DWT)用于处理离散信号。在多级分析中，信号f(x)通过不同级别的小波φ(n)和尺度函数ψ[n]的组合来恢复。因而对于离散信号f(n)，上述公式(3)可改写为公式(4)：
Figure BDA0003503710590000055
上式中，M为离散数值的数量，d代表平移量，
Figure BDA0003503710590000061
为对应参数i0下的小波变换，Wψ[i，d]为对应参数i下的小波变换，i0及i代指不同的尺度级别，
Figure BDA0003503710590000062
为对应参数i0，d下的小波函数，ψi，d[n]为对应参数i，d下的尺度函数。
Figure BDA0003503710590000063
和ψi，d[n]相互正交，可通过取内积来获得小波系数，即：
Figure BDA0003503710590000064
Figure BDA0003503710590000065
实际工作时，三维离散小波变换(3-D DWT)可以通过三个一维离散小波变换(1-DDWT)来实现。在所提出的算法中，使用的母小波为Haar小波。在实践中，小波
Figure BDA0003503710590000066
和缩放系数ψ(x)由滤波器组(L，H)实现，其中L表示低通滤波器，H表示高通滤波器，分别由低通滤波器系数l[k]和高通滤波器系数h[k]给出。特别地，对于Haar小波来说，低通滤波器系数l[k]和高通滤波器系数h[k]满足：
Figure BDA0003503710590000067
且
Figure BDA0003503710590000068
采用高通和低通滤波器在空间高度维、空间宽度维、光谱维三个维度上组合进行卷积，最终一级小波变换可产生八个经过滤波的子波块，过程可以表示为公式(7)：
Figure BDA0003503710590000069
其中，Lh代表空间高度维的滤波器组中的低通滤波器，Lw空间宽度维的滤波器组中的低通滤波器，Lb代表光谱维度的滤波器组中的低通滤波器，HhHwHb同理，代表相应维度上的高通滤波器。
Figure BDA00035037105900000610
和
Figure BDA00035037105900000611
表示直接相加和乘积。
在产生的八个子波块中，立方体LhLwLb是原始立方体的近似，故第二级3-D DWT在立方体LhLwLb上实行。在1D-DWT操作中的下采样步骤被省略了，因而子立方体的大小与原始高光谱立方体的大小相同。经过2级3-D DWT的变换后产生了15个经过滤波的高光谱立方体。这15个立方体的大小均与原始高光谱立方体的尺寸相同，将其在光谱维度进行集成。最终一个得到一个尺寸为X∈RH×W×15B的新高光谱立方体。将所有子立方体中位于像素点(i，j)的像素的小波系数集成为其特征向量，如公式(9)所示：
x(i，j)＝(X1(i，j，.)，X2(i，j，.)，...，X15(i，j，.))， (9)
为了获得高光谱图像的空间纹理特征，本实施例中对小波系数的绝对值采用了均值滤波器，如公式(10)所示：
Figure BDA00035037105900000612
上式中，
Figure BDA00035037105900000613
表示均值滤波器的输出，a为尺度参数，b为平移参数。最终，像素点(i，j)基于3-D DWT产生的纹理特征向量x(i，j)表示为公式(11)：
Figure BDA0003503710590000071
本实施例中通过使用(principal component analysis)PCA算法进行降维，进而解决高光谱数据高维低样本量的问题。PCA操作可以减少数据维度，同时最大化数据的方差。这样在降低高光谱数据光谱维度的同时，能够增加训练样本的可辨别性，减轻后续网络的分类及运算负担。参见图2，步骤2)中提取高光谱图像的空间和光谱特征后得到的新的高光谱图像的波段数目为D，降维是指将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像中的一个像素视为一个D维向量，采用主成份分析PCA将D维向量(本实施例中15B)选择前d维向量以降维为d维向量，且一般应满足d＜＜D。假设有一组N维向量xi，xi∈RD，i＝1，2，...，N，且该组向量已经中心化，
Figure BDA0003503710590000072
其中xi为原始的N维向量，E{xi}为原始N维向量的均值。
传统的PCA通过公式(12)来表述特征值问题：
λV＝∑xV， (12)
上式中，λ是特征值，V是特征向量，∑x是数据集上的对应协方差矩阵，其由公式(13)计算得到。
Figure BDA0003503710590000073
上式中，xi为N维向量。
Vk表示特征向量v的第k维，特征向量Vk上的投影由公式(14)计算得到：
Figure BDA0003503710590000074
上式中，
Figure BDA0003503710590000075
为向量x在Vk上的投影，x为原始的待投影向量。
基于主成份的变换则表示为公式(15)：
yi＝WTxi， (14)
上式中，yi为降维为d维后的新向量，W是由图像的协方差矩阵∑x的对应的最大特征值的前d个归一化的特征向量组成的矩阵，代表着转置的操作。通过仅选择前d个分量，将来自原始D维空间的向量xi变换为yi。变换后的数据中仅仅前几个分量就几乎包含了原始数据中的全部方差，且新特征空间中的分量本质上是不相关的。
如图4所示，本实施例步骤3)中将降维后的高光谱图像分割成重叠的小图像块时包括：选取一个固定的空间尺寸s×s，将整个高光谱图像划分成n个重叠的小图像块，每个图像块的标签以其中心的像素的类别为准，故分割出的训练样本的尺寸为s×s×d；因此，小图像块表示为P∈Rs×s×d，其中s×s为小图像块的空间尺寸，d为图像块的光谱维度，小图像块的类别以其中心像素的类别为准，这些分割好的小图像块即构成了卷积神经网络分类器的输入。
如图4所示，本实施例中的卷积神经网络分类器是基于3维卷积神经网络的，包括依次相连的三个第一3-D卷积模块、一个3D密集连接模块、一个瓶颈模块、两个全连接层以及输出层。其中：
第一3-D卷积模块由卷积层(Conv)、RELU激活函数、批正则化层(BN)构成；
3D密集连接(dense connection)模块包括由3个第二3-D卷积模块组成，且第一个第二3-D卷积模块的输入端包括到3D密集连接模块中第一个以及第三个第二3-D卷积模块输出的跳跃连接，第二个第二3-D卷积模块的输入端包括到3D密集连接模块中第二个以及第三个第二3-D卷积模块输出的跳跃连接，第三个第二3-D卷积模块的输入端包括到3D密集连接模块中第三个第二3-D卷积模块输出的跳跃连接，所述第二3-D卷积模块由卷积层、RELU激活函数、批正则化层构成；传统的多个第二3-D卷积模块采用逐级级联的链式结构中，任意第l层的输出xl可以表示为公式(16)：
xl＝Tl(xl-1)， (16)
上式中，xl-1为第l-1层的输出，Tl表示第l层的操作。对于密集连接来说，前面所有层的输出会被集成当作当前层的输入，如公式(17)所示：
xl＝Tl([x0，x1，...，xl-1])， (17)
瓶颈模块用于将3D密集连接模块输出的特征图调整特征尺寸后展平为一维输入到后面的两个全连接层中，瓶颈模块包括依次相连的瓶颈层、批正则化层(BN)和池化层；
两个全连接层的输出通过输出层的激活函数激活后作为分类结果输出。
本实施例中的卷积神经网络分类器中3D密集连接模块采用了密集连接来优化CNN的结构，增强了网络的特征复用功能，使网络结构更为轻量和紧密。
参见图4，所述三个第一3-D卷积模块中，第一个第一3-D卷积模块的卷积层采用8个尺寸为3×3×7的3-D卷积核，且得到的特征图数量为1，图4中表示为8@3×3×7，若进一步表达出得到的特征图数量，则可进一步表示为“8@3×3×7×1”；第二个第一3-D卷积模块的卷积层采用8个尺寸为3×3×5的3-D卷积核，且得到的特征图数量为8，图4中表示为8@3×3×5；第三个第一3-D卷积模块的卷积层采用8个尺寸为3×3×3的3-D卷积核，且得到的特征图数量为8，图4中表示为8@3×3×3；
参见图4，第二3-D卷积模块的卷积层采用16个尺寸为3×3×3的3-D卷积核，图4中表示为16@3×3×3；参见图4，瓶颈模块的瓶颈层为由16个尺寸为1×1×1的卷积核组成，且得到的特征图数量为16，图4中表示为16@1×1×1，瓶颈模块的池化层大小为3×3×3；瓶颈模块的作用主要是用来调整特征尺寸，减少计算量并提高运算效率。
批正则化(BN)在每一个卷积层均有使用。最终，三维的特征立方体被展平为一维，输入到后面的两个全连接层中，参见图4，两个全连接层中第一个全连接层的神经元数目为256，第二个全连接层的神经元数目为128；
参见图4，输出层采用softmax函数作为激活函数。
本实施例中，步骤4)之前包括训练卷积神经网络分类器的步骤，且训练卷积神经网络分类器时，采用反向传播交叉熵目标函数的梯度更新卷积神经网络分类器的网络参数。训练卷积神经网络分类器时，同样采用步骤1)～步骤3)的预处理方法获取小图像块作为训练样本，按照提前设定的比例随机划分成训练集和测试集两部分，其中测试集中样本的数目远远超过训练集中样本的数目。最后使用训练集训练设计好的分类网络，使用测试集测试网络的分类性能。
本实施例方法应用于高光谱图像分类领域，通过联合应用三维离散小波变换(3-DDWT)和3-D CNN获得增强的特征表达能力，且对所提取特征对方向和尺度变化鲁棒。进而使分类网络能够在有限的带标签的训练样本下，通过使用尽可能简单的网络结构，达到较强的分类能力。本实施例方法所用的3-D DWT为二级；经由PCA所提取的主成份数目可根据数据集本身的特点进行调整；分块处理中所提取图像块的大小对于网络结构和最终的分类性能也存在一定的影响。为了验证本实施例方法各个环节对分类的影响，下文的实验在三组不同的数据集上进行，这三组数据集分别为IP,PU,KSC，实验结果记录在图5～图7和表1中。
图5～图7主要反应了所提出方法的分类精度，而表1则反应了神经网络的分类代价。我们主要从分类精度和分类代价两方面评价分类方法。图5～图7中，纵坐标OA代表整体分类精度(overall classification)用百分数表示；横坐标为实验中用于训练和测试的高光谱图像块的空间尺寸。因为PCA使用在光谱维度，15，20及30分别为使用PCA所提取的主成份数量。因为经过3D-DWT变换后的高光谱图像光谱维数过于庞大，所以必须采用PCA进行降维，才能进行后续处理。为了分析PCA的作用，故比较PCA提取的不同数目的主成份数量的分类精度。下图中ORI代表的折线为原始未经过DWT变换的高光谱数据的分类情况，而DWT代表的折线为经过DWT变换的高光谱数据的分类情况。例，DWT30即代表经过DWT变换的高光谱图像，经PCA提取30个主成份后，在不同空间尺寸下的分类情况。从图5～图7中的结果可知，经过DWT变换后的高光谱图像的分类精度均高于对应的原始高光谱图像的分类精度，证明了DWT在高光谱图像分类上的优势，它在一定程度上能够减轻CNN的分类负担，联合使用DWT和CNN能够提高整体分类精度。此外，PCA提取的主成份数目越多，包含的信息量也越多，在一定程度上能够提高对高光谱图像的分类精度，然而，这种情况并不绝对。例如(b)PU数据集上，由于主成份为15时就已经包含超过总体数据99％以上的信息，因而提高主成份的数量，并不能提高分类精度。然而减少主成份数量则必然能够降低分类代价，所以PCA选取合适的主成份数量对分类结果十分重要。
表1：不同的主成份数量对分类网络的影响。
Figure BDA0003503710590000101
表1中记录了不同的主成份数量对分类网络的影响，着重分析分类代价。其中复杂度(FLOPs)反应了分类网络的复杂度，值越大，代表网络的复杂度越高；网络参数量(Parameters)值越大表示网络运算所需的内存越多；而训练时间(Training time)和测试时间(Testing time)则反应了网络的计算效率。从表1中可以明显看出，主成分分析PCA所提取的主成份数目越多，分类的代价就越高。
对于不同分类方法的评估，也主要集中在分类精度和分类代价两方面。表2～表4中记录了不同方法的分类精度。表5～表6中记录了不同方法的分类代价。
表2：针对数据集IP不同分类方法分类精度的比较。
Figure BDA0003503710590000102
表3：针对数据集PU不同分类方法分类精度的比较。
Figure BDA0003503710590000103
Figure BDA0003503710590000111
表4：针对数据集KSC不同分类方法分类精度的比较。
Figure BDA0003503710590000112
表5：不同方法在IP数据集上的分类代价。
方法 网络参数量 复杂度 训练时间(s) 测试时间(s)
2DCNN 6,127,036 72,953,916 7.2198 0.9272
3DCNN 93,466 58,977,091 11.4543 1.0709
FastCNN 23,957,088 160,598,752 62.3471 1.372
HYSN 1,190,016 106,588,384 19.6465 1.0765
SSRN 163,232 335,652,360 69.5697 2.3312
FDSSC 426,680 306,668,388 48.0562 2.4473
GRU 547,616 1,190,435 125.9237 12.0691
MSR-3DCNN 2,303,196 979,312,032 343.8118 11.3744
MM 285,282 569,817 82.3555 1.2164
DENSE 293,952 117,361,856 33.7003 1.5451
DWT-DENSE 293,952 117,361,856 27.8359 1.4199
表6：不同方法在PU数据集上的分类代价。
Figure BDA0003503710590000113
Figure BDA0003503710590000121
表7：不同方法在KSC数据集上的分类代价。
方法 网络参数量 复杂度 训练时间(s) 测试时间(s)
2DCNN 6,126,493 72,952,818 12.3869 0.4269
3DCNN 80,758 58,951,663 18.3690 0.5576
FastCNN 23,956,701 160,597,966 114.2884 0.7004
HYSN 1,189,629 106,587,598 28.2891 0.6313
SSRN 163,157 335,652,198 79.4212 1.3110
FDSSC 426,497 306,668,010 81.0785 1.3522
GRU 461,210 1,017,635 93.0868 4.9992
MSR-3DCNN 2,302,809 979,311,246 260.9560 6.1438
MM 261,945 523,161 37.5238 0.7595
DENSE 293,565 117,361,070 32.2678 0.8941
DWT-DENSE 293,565 117,361,070 19.4592 0.8393
表2～图7，其中DENSE与DWT-DENSE分别指不使用三维离散小波变换3D-DWT、使用三维离散小波变换3D-DWT的本实施例方法，其区别为是否采用了DWT变换，其他方法(包括2DCNN、3DCNN、FastCNN、HYSN、SSRN、FDSSC、GRU、MSR-3DCNN以及MM)均为前人所提出的卷积神经网络方法。分类精度的比较由三个参数体现，整体分类精度OA，平均分类精度AA以及Kappa系数，三个值均为越高则分类精度越好。从表2～图4的结果中可以看出所提方法DWT-DENSE的分类精度较高，其中在IP和KSC的分类精度上达到了最高，在PU上的分类精度仅次于SSRN。而从5～图7中的分类代价上可以得到我们方法的分类代价及网络复杂度远低于SSRN，计算效率也远超SSRN。故而我们认为本实施例方法在分类精度和计算代价上得到了良好的平衡，且取得了不错的分类结果。
综上所述，首先，本实施例方法将3D-DWT作为高光谱图像的预处理手段使用，能够同时提取高光谱图像的空间和光谱特征，而且能够获得鲁棒的特征表达能力，减少CNN网络的计算负担。经过3D-DWT处理的高光谱图像在光谱维度集成，得到一个新的高光谱图像，其光谱维度相对于未处理的高光谱图像大大增加；然后，本实施例方法将PCA算法用于经3D-DWT处理后的高光谱图像，对光谱维度进行降维。能够在有限的维度下，尽可能多的保留高光谱图像的信息，降低了数据的冗余，为后续的处理提供了极大的便利；由于后续的分类网络为3-D CNN，在三维的CNN的网络架构中采用密集连接来优化网络结构，增强分类网络的特征复用功能。相对于其他的分类网络来说，我们的网络更为轻量和紧密。同时能够减少网络的可训练参数数量，在保持较强分类性能的同时降低了网络的复杂度；它同时使用了高光谱图像的空间和光谱信息。所以我们将高光谱图像分割成重叠的小图像块，并将其作为后续网络的训练和测试样本；最后，上述工作所得到的重叠的图像块将作为CNN的训练和测试样本，来对分类网络进行训练并测试网络的分类性能。本实施例方法相对于传统的基于深度学习的方法需要大量训练样本来保证分类性能，本实施例方法能够在有限训练样本的条件下达到较高的分类精度，大大缓解了高光谱图像带标签样本不足的问题。尤其在图像纹理复杂的情况下，该方法的优势更为突出；本实施例方法联合使用3-D DWT和CNN对高光谱数据进行特征提取，缓解了CNN的分类负担，使得可以在尽可能简单的网络结构下达到较好的分类性能，大大减少了网络中的可训练参数量，降低了网络的复杂度。联合应用传统的特征提取方法3D-DWT和基于CNN的分类网络，可以在较少的训练样本下，获得较高的分类性能，大大缓解了高光谱数据缺乏带标签的训练样本的问题。
此外，本实施例还提供一种面向高光谱图像的分类系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述面向高光谱图像的分类方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，且该计算机程序用于被计算机设备执行以实施前述面向高光谱图像的分类方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种面向高光谱图像的分类方法，其特征在于，包括：
1)对高光谱图像采用三维离散小波变换3D-DWT提取高光谱图像的空间和光谱特征；
2)将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像进行降维；
3)将降维后的高光谱图像分割成重叠的小图像块；
4)将小图像块采用预先训练好的卷积神经网络分类器进行分类。
2.根据权利要求1所述的面向高光谱图像的分类方法，其特征在于，步骤1)包括：
1.1)对尺寸为H×W×B的高光谱图像，在一级小波变换中，采用高通和低通滤波器在空间高度维、空间宽度维、光谱维三个维度上组合进行卷积产生八个经过滤波的一级子波块；然后，在一级小波变换得到八个经过滤波的一级子波块中，选择一个子波块，采用高通和低通滤波器在光谱维上组合进行卷积产生八个经过滤波的二级子波块；
1.2)将七个未使用的一级子波块和八个经过滤波的二级子波块一起在光谱维度进行集成，得到尺寸为H×W×15B的新的高光谱图像，其中H和W分别代表原始的高光谱图像在高光谱空间尺寸中的长和宽，B代表原始的高光谱图像的光谱维度；针对得到尺寸为H×W×15B的新的高光谱图像，在空间维度采用均值滤波器将其七个未使用的一级子波块和八个经过滤波的二级子波块中位于像素点(i,j)的像素的小波系数求均值作为空间纹理特征向量。
3.根据权利要求2所述的面向高光谱图像的分类方法，其特征在于，所述选择一个子波块是指选择LhLwLb，其中Lh代表空间高度维的滤波器组中的低通滤波器，Lw代表空间宽度维的滤波器组中的低通滤波器，Lb代表光谱维度的滤波器组中的低通滤波器。
4.根据权利要求3所述的面向高光谱图像的分类方法，其特征在于，步骤2)中提取高光谱图像的空间和光谱特征后得到的新的高光谱图像的波段数目为D，所述降维是指将提取高光谱图像的空间和光谱特征后得到的新的高光谱图像中的一个像素视为一个D维向量，采用主成份分析PCA将D维向量选择前d维向量以降维为d维向量。
5.根据权利要求4所述的面向高光谱图像的分类方法，其特征在于，步骤3)中将降维后的高光谱图像分割成重叠的小图像块时，小图像块表示为P∈Rs×s×d，其中s×s为小图像块的空间尺寸，d为图像块的光谱维度，小图像块的类别以其中心像素的类别为准。
6.根据权利要求5所述的面向高光谱图像的分类方法，其特征在于，所述卷积神经网络分类器包括依次相连的三个第一3-D卷积模块、一个3D密集连接模块、一个瓶颈模块、两个全连接层以及输出层；所述第一3-D卷积模块由卷积层、RELU激活函数、批正则化层构成；所述3D密集连接模块包括由3个第二3-D卷积模块组成，且第一个第二3-D卷积模块的输入端包括到3D密集连接模块中第一个以及第三个第二3-D卷积模块输出的跳跃连接，第二个第二3-D卷积模块的输入端包括到3D密集连接模块中第二个以及第三个第二3-D卷积模块输出的跳跃连接，第三个第二3-D卷积模块的输入端包括到3D密集连接模块中第三个第二3-D卷积模块输出的跳跃连接，所述第二3-D卷积模块由卷积层、RELU激活函数、批正则化层构成；所述瓶颈模块用于将3D密集连接模块输出的特征图调整特征尺寸后展平为一维输入到后面的两个全连接层中，所述瓶颈模块包括依次相连的瓶颈层、批正则化层和池化层；所述两个全连接层的输出通过输出层的激活函数激活后作为分类结果输出。
7.根据权利要求6所述的面向高光谱图像的分类方法，其特征在于，所述三个第一3-D卷积模块中，第一个第一3-D卷积模块的卷积层采用8个尺寸为3×3×7的3-D卷积核，且得到的特征图数量为1；第二个第一3-D卷积模块的卷积层采用8个尺寸为3×3×5的3-D卷积核，且得到的特征图数量为8；第三个第一3-D卷积模块的卷积层采用8个尺寸为3×3×3的3-D卷积核，且得到的特征图数量为8；所述第二3-D卷积模块的卷积层采用16个尺寸为3×3×3的3-D卷积核；所述瓶颈模块的瓶颈层为由16个尺寸为1×1×1的卷积核组成，且得到的特征图数量为16，瓶颈模块的池化层大小为3×3×3；所述两个全连接层中第一个全连接层的神经元数目为256，第二个全连接层的神经元数目为128，所述输出层采用softmax函数作为激活函数。
8.根据权利要求7所述的面向高光谱图像的分类方法，其特征在于，步骤4)之前包括训练卷积神经网络分类器的步骤，且训练卷积神经网络分类器时，采用反向传播交叉熵目标函数的梯度更新卷积神经网络分类器的网络参数。
9.一种面向高光谱图像的分类系统，其特征在于，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述面向高光谱图像的分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，且该计算机程序用于被计算机设备执行以实施权利要求1～8中任意一项所述面向高光谱图像的分类方法的步骤。
CN202210133831.0A 2022-02-14 2022-02-14 一种面向高光谱图像的分类方法及系统 Active CN114663747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210133831.0A CN114663747B (zh) 2022-02-14 2022-02-14 一种面向高光谱图像的分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210133831.0A CN114663747B (zh) 2022-02-14 2022-02-14 一种面向高光谱图像的分类方法及系统

Publications (2)

Publication Number Publication Date
CN114663747A true CN114663747A (zh) 2022-06-24
CN114663747B CN114663747B (zh) 2023-05-30

Family

ID=82027714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210133831.0A Active CN114663747B (zh) 2022-02-14 2022-02-14 一种面向高光谱图像的分类方法及系统

Country Status (1)

Country Link
CN (1) CN114663747B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523902A (zh) * 2023-06-21 2023-08-01 湖南盛鼎科技发展有限责任公司 基于改进yolov5的电子粉涂敷均匀检测方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316013A (zh) * 2017-06-14 2017-11-03 西安电子科技大学 基于nsct变换和dcnn的高光谱图像分类方法
CN111723731A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 基于空谱卷积核的高光谱图像分类方法、存储介质及设备
CN113837314A (zh) * 2021-10-09 2021-12-24 陕西科技大学 一种基于混合卷积神经网络的高光谱图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316013A (zh) * 2017-06-14 2017-11-03 西安电子科技大学 基于nsct变换和dcnn的高光谱图像分类方法
CN111723731A (zh) * 2020-06-18 2020-09-29 西安电子科技大学 基于空谱卷积核的高光谱图像分类方法、存储介质及设备
CN113837314A (zh) * 2021-10-09 2021-12-24 陕西科技大学 一种基于混合卷积神经网络的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUNJU ZHANG等: "Three-dimensional densely connected convolutional network for hyperspectral remote sensing image classification", 《APPLIED REMOTE SENSING》 *
R ANAND等: "Robust Classification Technique for Hyperspectral Images Based on 3D-Discrete Wavelet Transform", 《REMOTE SENSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523902A (zh) * 2023-06-21 2023-08-01 湖南盛鼎科技发展有限责任公司 基于改进yolov5的电子粉涂敷均匀检测方法及设备
CN116523902B (zh) * 2023-06-21 2023-09-26 湖南盛鼎科技发展有限责任公司 基于改进yolov5的电子粉涂敷均匀检测方法及设备

Also Published As

Publication number Publication date
CN114663747B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
Gholamalinezhad et al. Pooling methods in deep neural networks, a review
US11625601B2 (en) Neural network method and apparatus
Yang et al. Canonical correlation analysis networks for two-view image recognition
Chen et al. Deep learning with hierarchical convolutional factor analysis
Rodriguez et al. Deep adaptive wavelet network
Lodhi et al. Multipath-DenseNet: A Supervised ensemble architecture of densely connected convolutional networks
Ren et al. CT-SRCNN: cascade trained and trimmed deep convolutional neural networks for image super resolution
Stanitsas et al. Evaluation of feature descriptors for cancerous tissue recognition
Lei et al. Nites: A non-parametric interpretable texture synthesis method
CN114663747A (zh) 一种面向高光谱图像的分类方法及系统
Zhang et al. Multi-scale frequency separation network for image deblurring
Su et al. JPEG steganalysis based on ResNeXt with gauss partial derivative filters
Chitaliya et al. An efficient method for face feature extraction and recognition based on contourlet transform and principal component analysis using neural network
Luo et al. Wavelet-based extended morphological profile and deep autoencoder for hyperspectral image classification
Zamora et al. Convolutional filter approximation using fractional calculus
CN115641503A (zh) 一种基于Transformer网络的高光谱波段选择方法及装置
Zhu et al. Green steganalyzer: A green learning approach to image steganalysis
Trevino-Sanchez et al. Hybrid pooling with wavelets for convolutional neural networks
Chu et al. Mixed-precision quantized neural network with progressively decreasing bitwidth for image classification and object detection
El-Khamy et al. Less is more: matched wavelet pooling-based light-weight CNNs with application to image classification
Sinha et al. A structurally regularized convolutional neural network for image classification using wavelet-based subband decomposition
Carluer et al. GPU optimization of the 3D Scale-invariant Feature Transform Algorithm and a Novel BRIEF-inspired 3D Fast Descriptor
Rouhafzay et al. Improving Texture Image Retrieval with Redundant Contourlet Features
Chu et al. Similarity based filter pruning for efficient super-resolution models
Sinha et al. A Structurally Regularized CNN Architecture via Adaptive Subband Decomposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant