CN112183399A - 基于可分离卷积和密集连接的高光谱图像分类方法及介质 - Google Patents
基于可分离卷积和密集连接的高光谱图像分类方法及介质 Download PDFInfo
- Publication number
- CN112183399A CN112183399A CN202011062549.5A CN202011062549A CN112183399A CN 112183399 A CN112183399 A CN 112183399A CN 202011062549 A CN202011062549 A CN 202011062549A CN 112183399 A CN112183399 A CN 112183399A
- Authority
- CN
- China
- Prior art keywords
- data
- convolution
- hyperspectral
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001228 spectrum Methods 0.000 claims abstract description 42
- 230000003595 spectral effect Effects 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 238000013145 classification model Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 241000488988 Monotropa Species 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- ZZMVLMVFYMGSMY-UHFFFAOYSA-N 4-n-(4-methylpentan-2-yl)-1-n-phenylbenzene-1,4-diamine Chemical compound C1=CC(NC(C)CC(C)C)=CC=C1NC1=CC=CC=C1 ZZMVLMVFYMGSMY-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于可分离卷积和密集连接的高光谱图像分类方法及介质的技术方案，包括：搭建高光谱分类网络，初始化输入数据；对输入数据使用密集连接方式进行特征提取；对频谱维度进行压缩；通过感受野对空间信息进行第融合，同时整合数据的频谱信息，使用可分离卷积输出对应的特征图；使用无参的全局平均池化，将特征图投票，输出值拼接输入全连接层，并通过softmax输出分类。本发明的有益效果为：降低计算量的同时大大减少了网络参数，提高网络分类效率；显著提高了3个常用的高光谱数据集的分类准确率；使得卷积神经网络结构具有较好的泛化能力。
Description
技术领域
本发明涉及计算机及图像处理领域，具体涉及了一种基于可分离卷积和密集连接的高光谱图像分类方法及介质。
背景技术
高光谱图像中的光谱信息和空间信息可以充分反映地物的物理结构、化学成分，单个像素点富含的信息远大于高分辨率图像或者雷达图像，对于不同的地物类型的敏感度更高，因此更适合用于地物的分类，并已广泛应用于地物监测，农作物疾病检测，资源勘测等多个领域。
高光谱分类任务指的是对高光谱图像的每一个像素点给出其所属类别，本质是一个分类任务，影响分类准确率的原因主要有两个方面。首先是受成像传感器的影响，空间分辨率低导致单个像素包含多种地物，出现混合像元的情况，天气和大气气体的变化也会影响地物的频谱特性；其次是高光谱图像的高维性，在样本有限的情况下，当用于分类的特征超过一定限度时，分类精度反而会下降。
现有技术包括SVM、随机森林、人工智能(3D卷积)。
其存在的缺点：在早期的高光谱图像分类中，人们更关注于图像的频谱信息，使用支持向量机、随机森林等传统方法进行分类，Melgani等提出了基于支持向量机(SVM)的分类方法，但是该方法更适用于解决二分类问题，对于多分类问题和高维度的高光谱数据，矩阵的存储和计算需要占用大量的机器内存和计算资源，而且分类精度较低。
随着深度学习的发展，卷积神经网络在特征提取与特征融合方面显示出了强大的优势，3D卷积被验证适用于高光谱图像的分类任务。提出了高光谱图像分类的新思路，基于3D卷积搭建网络结构，通过迁移学习和数据增强来解决样本小的问题，这种训练方式取得了较好的效果，但是以3D卷积搭建的神经网络信息传递的效率低，3D卷积的卷积核带来了大量的参数。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于可分离卷积和密集连接的高光谱图像分类方法及介质，实现了小样本的情况下，提高了高光谱图像的分类精度和效率。
本发明的技术方案包括一种基于可分离卷积和密集连接的高光谱图像分类方法，其特征在于，该方法包括：S100，搭建高光谱分类网络，以11*11*波段数的高光谱数据作为输入数据，基于DenseNet算法以及分离卷积构建卷积神经网络；S200，对输入数据使用密集连接方式进行特征提取，搭建三层卷积层，每层使用1×1×7的卷积核进行频谱信息提取，并保持空间信息的独立性，以及，将第一层网络输出与第二层网络的输出数据进行频谱维度拼接，输入至第三层网络；将第一层网络、第二层网络与第三层网络的输出数据同样进行维度拼接输入到下一层；S300，使用1×1×7的卷积核，对频谱维度进行压缩；S400，以3×3的感受野对空间信息进行第一次融合，同时整合数据的频谱信息，使用可分离卷积，将3×3×K的卷积核分解为3×3×1的卷积和3×3×K的卷积，K的值为输入特征图的频谱维度，输出对应数量的9×9×1的特征图；S500，使用无参的全局平均池化，将9×9×1的特征图投票得出1×1×1的输出值，输出值拼接输入全连接层，并通过softmax输出分类。
根据所述的基于可分离卷积和密集连接的高光谱图像分类方法，其中S100还包括：使用开源数据集对光谱数据进行预处理，包括将高光谱数据通过归一化处理至[0，1]之间，以11*11*波段数的高光谱数据作为单条数据进行输入。
根据所述的基于可分离卷积和密集连接的高光谱图像分类方法，其中该方法还包括：对经过预处理的多个光谱数据划分训练集和验证集，其中验证集用于对卷积神经网络的训练进行分类准确度进行验证，训练集用于对卷积神经网络的训练进行参数调整，其中训练集和验证集的比例可自定义设置。
根据所述的基于可分离卷积和密集连接的高光谱图像分类方法，其中投票包括：将9×9×1的特征图中指向同一个输出的多个像素进行求总和计算，并计算平均值，将平均值作为对应的多个1×1×1的输出值。
根据所述的基于可分离卷积和密集连接的高光谱图像分类方法，其中该方法还包括：设置初始学习率设为0.001，采用学习衰减率策略，每迭代3次，损失函数保持不变，学习率降为上一次学习率的百分之十，训练样本的数量可自定义设置。
根据所述的基于可分离卷积和密集连接的高光谱图像分类方法，其中S400还包括：通过训练损失与验证损失图确定网络是否达到收敛，收敛则停止训练，得到高光谱分类模型；将高光谱测试数据输入至高光谱分类模型，输出分类结果。
本发明的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。
本发明的有益效果为：将分离卷积引入高光谱图像分类任务，代替传统的3D卷积，降低计算量的同时大大减少了网络参数，提高网络分类效率；使用Densenet频谱密集连接结构，将不同层次频谱信息进行拼接，提高了频谱信息利用率，显著提高了3个常用的高光谱数据集的分类准确率；通过频-空融合的神经网络框架，设计频谱信息提取、频谱压缩、空谱联合、投票分类四个部分，使得网络结构具有较好的泛化能力。
附图说明
下面结合附图和实施例对本发明进一步地说明；
图1所示为根据本发明实施方式的流程图；
图2所示为根据本发明实施方式的分离卷积示意图；
图3所示为根据本发明实施方式的密集连接示意图；
图4所示为根据本发明实施方式的卷积神经网络的结构图；
图5所示为根据本发明实施方式的数据集的处理流程图；
图6所示为根据本发明实施方式的输入高光谱图像分类流程图；
图7所示为根据本发明实施方式的IP、UP、KSC数据集的实验结果示意图；
图8所示为根据本发明实施方式的不同算法训练测试所需时间的柱形图；
图9所示为根据本发明实施方式的装置及介质图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
术语解释：
高光谱图像，具有空间信息与频谱信息的三维立体数据块。
图1所示为根据本发明实施方式的流程图，该流程如下：S100，搭建高光谱分类网络，以11*11*波段数的高光谱数据作为输入数据，基于DenseNet算法以及分离卷积构建卷积神经网络；S200，对输入数据使用密集连接方式进行特征提取，搭建三层卷积层，每层使用1×1×7的卷积核进行频谱信息提取，并保持空间信息的独立性，以及，将第一层网络输出与第二层网络的输出数据进行频谱维度拼接，输入至第三层网络；将第一层网络、第二层网络与第三层网络的输出数据同样进行维度拼接输入到下一层；S300，使用1×1×7的卷积核，对频谱维度进行压缩；S400，以3×3的感受野对空间信息进行第一次融合，同时整合数据的频谱信息，使用可分离卷积，将3×3×K的卷积核分解为3×3×1的卷积和3×3×K的卷积，K的值为输入特征图的频谱维度，输出对应数量的9×9×1的特征图；S500，使用无参的全局平均池化，将9×9×1的特征图投票得出1×1×1的输出值，输出值拼接输入全连接层，并通过softmax输出分类。
图2所示为根据本发明实施方式的分离卷积示意图，神经网络一类主要包含卷积计算的前馈神经网络统称，按计算方法分为：一维卷积、二维卷积和三维卷积。一维卷积用于处理序列信号的特征，二维卷积用于提取图像空间特征，三维卷积跟据卷积核的设置可以同时提取空间信息与序列信息，而高光谱图像可以被视为具有空间信息与频谱信息的三维立体数据块。现有技术使用3D卷积作为基础结构，但是这种方法需要更多的计算，影响分类效率。
假设输入数据为(N，Cin，Hin，Win，Din)，3D卷积核大小为(Kh，Kw，Kd)，个数为Kc，空洞率(dilation)为(d1,d2,d3)，步长(Stride)为(S1,S2,S3)，填充(padding)为(P1,P2,P3)则输出特征图的大小和卷积计算量为：
计算量＝Kc*Kh*Kw*Kd*Kc*Hout*Wout*Dout (4)
MobileNet使用深度可分离卷积替换传统的卷积，将标准卷积分解为depthwiseconvolution和pointwise convolution，首先使用空间卷积对输入进行特征提取，同时保持通道维度不变，然后使用深度卷积进行通道合并，在有同样效果的情况下大大降低了模型参数量。受MobileNet启发，将分离卷积引入高光谱分类任务，使用分离卷积代替3D卷积，本发明的技术方案将传统的3D卷积核(Kh，Kw，Kd)替换为(Kh，Kw，1)和(1，1，Kd)。
图3所示为根据本发明实施方式的密集连接示意图，包括：高光谱图像一般包括数百个波段，地物的类别越多，就需要更加细致、更加丰富的特征提取，对于深度学习来说是一个挑战。传统的卷积神经网络为了提高性能一般是加深网络层数，例如VGG，或者加宽网络结构Inception，但是这种方法给网络带来了更多的参数，对于高光谱图像数据难标注、数据小的问题，更加难收敛，容易出现过拟合的现象。
本发明的技术方案提出了密集连接卷积神经网络(DenseNet)，解决了这一问题，该网络结构的思想是尽可能的保留输入层到输出层的信息传递，在每一层的输入之前，将之前所有层的输出进行连接，作为一个整体的输入连接到下一层。layerm表示第m层输出，Hm表示第m层的卷积等操作，计算过程如下：
layerm＝([layer0+layer1+…+layerm-1]) (5)。
图4所示为根据本发明实施方式的卷积神经网络的结构图，包括：
网络结构如图4所示，首先对全部数据进行归一化处理，将数据压缩到0-1之间，降低不同维度数据之间的差异性，提高网络梯度下降求最优解的速度，然后以11*11*波段数的数据块作为单条输入数据，以中心点像素作为预测目标。网络结构整体分为频谱信息提取，频谱压缩，空间信息与频谱信息融合，投票求解共4个部分。以IP数据集为例，以11*11*频谱数的单条数据作为输入。
在频谱信息提取部分，搭建3层卷积层，每层使用1×1×7的卷积核进行频谱信息提取，并保持空间信息的独立性，卷积核个数设置为60；然后将卷积层的输出接入到归一化层(Batch Normalization)，对数据做一个归一化处理，最后使用线性整流激活函数(Relu)给网络引入非线性；将卷积层、BN层、激活层作为一层网络结构。为了增强特征提取能力，提高特征提取效率，结合DenseNet思想，将第一层网络输出与第二层网络输出进行频谱维度拼接，输入到第三层网络；将第一层、第二层与第三层的输出同样进行频谱维度拼接，此时输出为60个11*11*112的特征图，输入到频谱压缩部分。
在频谱压缩部分，由于频谱拼接保留了大量的频谱特征信息，为了提炼更深层次信息，使用1×1×7的卷积核，卷积核个数为60，同时设置步长为3，对频谱维进行压缩，并通过减少特征图的大小，降低了更深层网络的参数量，将卷积层的输出接入归一化层和激活层。在第二部分输出为60个11*11*36的特征图，输入到空频融合部分。
在空间信息与频谱信息融合部分，目的是以3×3感受野对空间信息第一次融合，同时整合数据的频谱信息。传统的3D卷积具有参数量大，难以训练的缺点，因此我们使用可分离卷积代替传统的3D卷积，保证有相同输出的同时减少了计算量。分离卷积的计算量如下：
计算量＝Kc*Kh*Kw*1*Kd*Kc*Hout*Wout*Din+Kc*1*1*KdHout*Wout*Dout (6)
假设卷积之后的输出与输入相同，则分离卷积与3D卷积计算量之比为：
从公式可以看出，卷积核越大时，分离卷积的计算量相对于3D卷积越少。因此将3D卷积核分解为3×3×1和1×1×K，输入分别与3*3*1和1*1*K的卷积核进行卷积操作，中间使用BN层和激活层对数据进行归一化和激活，K的值等于输入特征图的频谱维度，在这里K＝36，步长设为1，卷积核个数设为40。通过这种方式，大大减少了卷积核的参数，有效避免了过拟合问题。此时输出40张9×9的特征图输入到投票部分。
投票的含义是指如果大部分像素点的输出为同一个值，则所有值的平均值也会拉到这个值的附近。因此在投票求解部分，使用无参的全局平均池化，将40个9×9×1的特征图进行相加取平均值，投票得出40个1×1×1的输出值，将40个输出值拼接输入全连接层，搭建三层全连接层，神经元个数分别为40、20、分类个数(num_class)，最后通过softmax输出每一类的概率。概率最大的便为分类结果。
图5所示为根据本发明实施方式的数据集的处理流程图，对经过预处理的多个光谱数据划分训练集和验证集，其中验证集用于对卷积神经网络的训练进行分类准确度进行验证，训练集用于对卷积神经网络的训练进行参数调整，其中训练集和验证集的比例可自定义设置。
图6所示为根据本发明实施方式的输入高光谱图像分类流程图，
使用开源数据集Indian Pines(IP)、Pavia University(PU)和Kennedy SpaceCenter(KSC)，对数据进行预处理，归一化到0-1之间，降低不同维度数据之间的差异性，提高网络梯度下降求最优解的速度，以11*11*波段数的高光谱数据作为单条数据，预测中心点像素类别；
搭建高光谱分类网络，具体结构如上所示，以11*11*波段数的高光谱数据作为输入，首先搭建3层卷积层，每层使用1×1×7的卷积核进行频谱信息提取，并保持空间信息的独立性，个数设置为60。结合DenseNet思想，将第一层网络输出与第二层网络输出进行频谱维度拼接，输入到第三层网络；将第一层、第二层与第三层的输出同样进行维度拼接输入到下一层；下一步使用1×1×7的卷积核，设置步长为3，对频谱维进行压缩，通过减少特征图的大小，降低更深层网络的参数量。第三步以3×3的感受野对空间信息第一次融合，同时整合数据的频谱信息。我们使用可分离卷积代替传统的3D卷积，将3×3×K的卷积核分解为3×3×1的卷积和1×1×K的卷积，K的值等于输入特征图的频谱维度，此时输出40张9×9×1的特征图。第四步使用无参的全局平均池化，将9×9×1的特征图投票得出1×1×1的输出值，将40个输出值拼接输入全连接层，通过softmax输出分类；
在训练过程中，batchsize设为500，初始学习率设为0.001，采用学习衰减率策略，每迭代3次，损失函数没有下降，学习率降为上一次学习率的百分之十；
查看训练损失与验证损失图，网络达到收敛，即可停止训练，得到高光谱分类模型；
输入高光谱测试数据，输出分类结果。
图7所示为根据本发明实施方式的IP、UP、KSC数据集的实验结果示意图，表示SVM、CDCNN、DBDA、pResNet在IP(图7左)、UP(图7中)、KSC(图7右)三个数据集上，设置不同大小的训练数据，测试了不同算法的泛化能力。从下图给出的分析结果中可以看出，随着数据集的增加，各种方法的整体精度、平均精度、kappa系数都不断提高，精度差距缩小。本文提出的网络即使在小样本的情况下，也取得了较好的分类表现，达到了最高分类精度。对于IP数据集，使用3％数据作为训练，总体分类精度可以达到96％，使用5％作为训练，总体分类精度可以达到97％；对于Pavia University数据集，该数据集的空间分辨率高，混合像元少，使用0.6％的数据足以使整体分类精度达到98％，使用更大的数据对提升分类精度效果不大；对于KSC数据集，本文提出的网络在OA、AA指标上都优于其他算法，使用5％数据训练，OA达到99.2％。
图8所示为根据本发明实施方式的不同算法训练测试所需时间的柱形图，对数据集测试了多种算法训练测试所需的时间，以测试样例为16，一代训练为200，输入数据设定为5×5的数据块，将全部数据集按5％：95％的比例划分为训练集、测试集。柱状图代表训练所需时间，折线图代表测试所需时间(单位为秒)；图8中test_time和train_time分别表示测试时间和训练时间，RF、SVM、CDCNN、DBDA、pResNet分别表示不同的算法，Proposed为本专利的技术方案提出的实施方法，在相同数据大小输入下，本文提出的网络在速度上达到了最优，网络使用浅层密集连接，减少了卷积核参数量，增加了信息传递效率，在空间特征提取部分使用无参数的全局平均池化，减少了训练参数量。相比于pResNet网络，训练时间缩短66.8％，测试时间缩短76.5％；相比于SVM，训练时间缩短75.2％，测试时间缩短87.8％。
图9所示为根据本发明实施方式的装置及介质图。图8所示为根据本发明实施方式的装置及介质图。装置包括存储器100及处理器200，其中处理器200存储有计算机程序，计算机程序用于执行：搭建高光谱分类网络，以11*11*波段数的高光谱数据作为输入数据，基于DenseNet算法以及分离卷积构建卷积神经网络；对输入数据使用密集连接方式进行特征提取，搭建三层卷积层，每层使用1×1×7的卷积核进行频谱信息提取，并保持空间信息的独立性，以及，将第一层网络输出与第二层网络的输出数据进行频谱维度拼接，输入至第三层网络；将第一层网络、第二层网络与第三层网络的输出数据同样进行维度拼接输入到下一层；使用1×1×7的卷积核，对频谱维度进行压缩；以3×3的感受野对空间信息进行第一次融合，同时整合数据的频谱信息，使用可分离卷积，将3×3×K的卷积核分解为3×3×1的卷积和3×3×K的卷积，K的值为输入特征图的频谱维度，输出对应数量的9×9×1的特征图；使用无参的全局平均池化，将9×9×1的特征图投票得出1×1×1的输出值，输出值拼接输入全连接层，并通过softmax输出分类。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种基于可分离卷积和密集连接的高光谱图像分类方法，其特征在于，该方法包括：
S100，搭建高光谱分类网络，以11*11*波段数的高光谱数据作为输入数据，基于DenseNet算法以及分离卷积构建卷积神经网络；
S200，对输入数据使用密集连接方式进行特征提取，搭建三层卷积层，每层使用1×1×7的卷积核进行频谱信息提取，并保持空间信息的独立性，以及，将第一层网络输出与第二层网络的输出数据进行频谱维度拼接，输入至第三层网络；将第一层网络、第二层网络与第三层网络的输出数据同样进行维度拼接输入到下一层；
S300，使用1×1×7的卷积核，对频谱维度进行压缩；
S400，以3×3的感受野对空间信息进行第一次融合，同时整合数据的频谱信息，使用可分离卷积，将3×3×K的卷积核分解为3×3×1的卷积和3×3×K的卷积，K的值为输入特征图的频谱维度，输出对应数量的9×9×1的特征图；
S500，使用无参的全局平均池化，将9×9×1的特征图投票得出1×1×1的输出值，输出值拼接输入全连接层，并通过softmax输出分类。
2.根据权利要求1所述的基于可分离卷积和密集连接的高光谱图像分类方法，其特征在于，所述S100还包括：
基于开源数据集对光谱数据进行预处理，包括将高光谱数据通过归一化处理至[0，1]之间，以11*11*波段数的高光谱数据作为单条数据进行输入。
3.根据权利要求2所述的基于可分离卷积和密集连接的高光谱图像分类方法，该方法还包括：
对经过预处理的多个高光谱图像划分训练集和验证集，其中验证集用于对卷积神经网络的训练进行分类准确度进行验证，训练集用于对卷积神经网络的训练进行参数调整，其中训练集和验证集的比例可自定义设置。
4.根据权利要求1所述的基于可分离卷积和密集连接的高光谱图像分类方法，所述投票包括：
将9×9×1的特征图中像素进行求总和计算，并计算平均值，将平均值作为中心点像素的输出值。
5.根据权利要求1所述的基于可分离卷积和密集连接的高光谱图像分类方法，该方法还包括：
设置初始学习率设为0.001，采用学习衰减率策略，每迭代3次，损失函数保持不变，学习率降为上一次学习率的百分之十，训练样本的数量可自定义设置。
6.根据权利要求1所述的基于可分离卷积和密集连接的高光谱图像分类方法，所述S400还包括：
通过训练损失与验证损失图确定网络是否达到收敛，收敛则停止训练，得到高光谱分类模型；
将高光谱测试数据输入至高光谱分类模型，输出分类结果。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011062549.5A CN112183399A (zh) | 2020-09-30 | 2020-09-30 | 基于可分离卷积和密集连接的高光谱图像分类方法及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011062549.5A CN112183399A (zh) | 2020-09-30 | 2020-09-30 | 基于可分离卷积和密集连接的高光谱图像分类方法及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183399A true CN112183399A (zh) | 2021-01-05 |
Family
ID=73947640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011062549.5A Pending CN112183399A (zh) | 2020-09-30 | 2020-09-30 | 基于可分离卷积和密集连接的高光谱图像分类方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183399A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491849A (zh) * | 2018-03-23 | 2018-09-04 | 上海理工大学 | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 |
| CN110110596A (zh) * | 2019-03-29 | 2019-08-09 | 西北大学 | 高光谱图像特征提取、分类模型构建及分类方法 |
| CN110427990A (zh) * | 2019-07-22 | 2019-11-08 | 浙江理工大学 | 一种基于卷积神经网络的艺术图像分类方法 |
| CN111667019A (zh) * | 2020-06-23 | 2020-09-15 | 哈尔滨工业大学 | 基于可变形分离卷积的高光谱图像分类方法 |
-
2020
- 2020-09-30 CN CN202011062549.5A patent/CN112183399A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491849A (zh) * | 2018-03-23 | 2018-09-04 | 上海理工大学 | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 |
| CN110110596A (zh) * | 2019-03-29 | 2019-08-09 | 西北大学 | 高光谱图像特征提取、分类模型构建及分类方法 |
| CN110427990A (zh) * | 2019-07-22 | 2019-11-08 | 浙江理工大学 | 一种基于卷积神经网络的艺术图像分类方法 |
| CN111667019A (zh) * | 2020-06-23 | 2020-09-15 | 哈尔滨工业大学 | 基于可变形分离卷积的高光谱图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| FRANC¸OIS CHOLLET: "Xception: Deep Learning with Depthwise Separable Convolutions", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10846566B2 (en) | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks | |
| US11663489B2 (en) | Machine learning systems and methods for improved localization of image forgery | |
| Fu et al. | DSAGAN: A generative adversarial network based on dual-stream attention mechanism for anatomical and functional image fusion | |
| CN111914728B (zh) | 高光谱遥感影像半监督分类方法、装置及存储介质 | |
| Ramanah et al. | Painting halos from cosmic density fields of dark matter with physically motivated neural networks | |
| CN111090764B (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
| CN114821164A (zh) | 基于孪生网络的高光谱图像分类方法 | |
| CN108229551B (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
| US11392800B2 (en) | Computer vision systems and methods for blind localization of image forgery | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN110619352A (zh) | 基于深度卷积神经网络的典型红外目标分类方法 | |
| CN110543916B (zh) | 一种缺失多视图数据的分类方法及系统 | |
| Ahmed et al. | Improve of contrast-distorted image quality assessment based on convolutional neural networks. | |
| CN114795178B (zh) | 一种基于多注意力神经网络的大脑状态解码方法 | |
| Bykov et al. | DORA: exploring outlier representations in deep neural networks | |
| CN112464891A (zh) | 一种高光谱图像分类方法 | |
| CN115311502A (zh) | 基于多尺度双流架构的遥感图像小样本场景分类方法 | |
| Kate et al. | A 3 Tier CNN model with deep discriminative feature extraction for discovering malignant growth in multi-scale histopathology images | |
| CN111325134A (zh) | 一种基于跨层连接卷积神经网络的遥感影像变化检测方法 | |
| Raj et al. | Object detection in live streaming video using deep learning approach | |
| KR102455875B1 (ko) | 골 연령 판독 방법 및 장치 | |
| KR20220099409A (ko) | 딥러닝 모델을 사용한 분류 방법 | |
| Trevino-Sanchez et al. | Hybrid pooling with wavelets for convolutional neural networks | |
| CN112183399A (zh) | 基于可分离卷积和密集连接的高光谱图像分类方法及介质 | |
| Bharathi et al. | Detection and diagnosis of melanoma skin cancers in dermoscopic images using pipelined internal module architecture (PIMA) method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |