CN112766199B - 基于自适应多尺度特征提取模型的高光谱图像分类方法 - Google Patents
基于自适应多尺度特征提取模型的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN112766199B CN112766199B CN202110102544.9A CN202110102544A CN112766199B CN 112766199 B CN112766199 B CN 112766199B CN 202110102544 A CN202110102544 A CN 202110102544A CN 112766199 B CN112766199 B CN 112766199B
- Authority
- CN
- China
- Prior art keywords
- scale
- feature extraction
- network
- convolution
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000011946 reduction process Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明公开了基于自适应多尺度特征提取模型的高光谱图像分类方法，建立包含尺度参考网络和特征提取网络两部分的框架，在尺度参考网络，引入条件门控机制，通过三组模块逐级判断，将特征输入到对应尺度提取网络，深入挖掘高光谱遥感图像蕴含的丰富信息，有效结合不同尺度的特征，提高分类效果，生成精细分类结果图；在特征提取网络，设计大尺度特征提取网络和小尺度特征提取网络从两个尺度进行地物信息提取，综合考虑数据集异构性和被识别地物尺度差异性，能够自适应改变网络结构，实现多尺度特征协同学习。本发明在进行多尺度特征提取时，同时保留了高光谱遥感图像的较小尺度细节信息和较大尺度空间信息，满足高光谱遥感图像目标识别与分类需要。
Description
技术领域
本发明属于图像处理技术领域，涉及一种图像分类方法，具体涉及一种基于自适应多尺度特征提取模型的高光谱图像分类方法。
背景技术
高光谱遥感是将成像技术和光谱技术相结合的多维信息获取技术。自发展以来，在各个方面都显示出了巨大的潜力，成为遥感应用最广泛的领域之一。高光谱遥感图像具有图谱合一、光谱分辨率高和波段众多的特性，能够获取地物几乎连续的光谱特征曲线，并可根据需要选择或提取特定波段来突出对象特征。高光谱图像数据包含丰富的辐射、空间和光谱信息，是多种信息的综合载体，为测绘制图、城市规划、水利交通、大气观测、农业种植、地质研究、环境监测等领域的发展提供了条件。因此，利用高光谱遥感图像进行地物精细识别与分类，是实现高光谱遥感众多应用和地球对地观测技术的重要基础。目前，高光谱图像分类任务存在以下挑战：
1)不同高光谱遥感图像数据集具有不同的空间分辨率，通常存在较大差异。例如，从意大利北部采集到的帕维亚大学数据集空间分辨率为1.3米，而在印第安纳州西北部的印第安纳松树试验场获取的印第安纳松树数据集的空间分辨率是20米，二者相差15倍之多。因此，针对不同数据集设计可自动调节的模型，对于提高分类精度、获取精细分类图是十分重要的。现有方法往往通过人为设计一个固定的网络来提取不同数据集的地物，没有将不同数据的异构性纳入考虑。例如，文献[1]提出了一种基于门控循环单元的空间优先性方法，但该方法在建模时针对不同数据设计了统一的网络模型，未能充分考虑不同数据集由于空间分辨率差异带来的信息提取误差。
2)高光谱遥感图像蕴含丰富的地物信息，各类地物尺度差异较大。现有方法(如文献[2])通常没有考虑图像里各地物尺度差异性，使得不同尺度的特征难以被同时提取，大尺度的特征(如草地、海洋等)能够被较好地提取，但是小尺度的特征(如建筑物边缘、花坛里的砖瓦等)往往被忽略。文献[3]利用卷积神经网络提出了双流学习模型，然而由于多尺度信息缺失，分类效果依然受到较大限制。
因此，本领域需要一种可自适应调节的多尺度特征提取高光谱遥感图像分类方法，更好的实现多尺度信息在不同数据集上的自适应提取，从而满足地物识别与分类需要。
参考文献：
[1]E.Pan et al.,"GRU with Spatial Prior for Hyperspectral ImageClassification,"in IGARSS 2019-2019IEEE International Geoscience and RemoteSensing Symposium,28July-2 Aug.2019 2019,pp.967-970,doi:10.1109/IGARSS.2019.8898566.
[2]王伟.基于轻小型无人机获取高光谱影像分类精度评定[J].测绘与空间地理信息,2020,43(8):161-163,167.
[3]X.Li,M.Ding,and A.
"Deep Feature Fusion via Two-StreamConvolutional Neural Network for Hyperspectral Image Classification,"IEEETransactions on Geoscience and Remote Sensing,2019.
发明内容
为了解决上述技术问题，本发明提供了一种基于自适应多尺度特征提取模型的高光谱图像分类方法。
本发明提供一种基于自适应多尺度特征提取模型的高光谱图像分类方法，建立一个尺度参考网络和两个特征提取网络(大尺度特征提取网络和小尺度特征提取网络)共两类网络模型，并将两类网络进行自适应融合，实现针对不同数据集可自动调节模型结构的多尺度特征提取。在尺度参考网络里，设计了M组卷积池化模块和一个条件门控机制，每组卷积池化模块由一个卷积层和一个池化层组成，卷积层卷积核尺寸为3×3，条件门控机制由一个1×1卷积层、批量归一化层、Tanh激活函数层和平均池化层构成。卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳优化得到的。卷积运算是为了提取输入变量的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级简单特征里迭代提取更复杂、更抽象特征；池化层具体操作与卷积层基本相同，但下采样卷积核取对应位置最大值(最大池化)，即矩阵之间运算规律不一样，并且不通过反向传播修改用于压缩数据和参数的量，减小过拟合。所述全局平均池化层是指将整幅特征图进行平均池化，然后得到对应每个类别概率得分。在反向传播计算导数时，能够减少网络参数，避免过拟合现象。
在每一组卷积池化模块参与网络运算后，将该卷积池化模块内池化层输出的特征送入条件门控机制，条件门控机制可以计算出用于尺度判断的参考值向量，计算参考值向量平均值作为该卷积池化模块尺度参考值。
在利用尺度参考网络得到尺度参考值后，将尺度参考值与阈值0进行比较，如果尺度参考值大于0，则将该卷积池化模块输出特征送入小尺度特征提取网络；如果尺度参考值小于0，则将该卷积池化模块输出特征送入大尺度特征提取网络。
在大尺度特征提取网络里，建立M组与尺度参考网络对应的模块，每个模块内部包括一个卷积层和一个池化层，卷积层的卷积核尺寸都为5×5。在小尺度特征提取网络里，建立M组与尺度参考网络对应的模块，每个模块内部包括一个卷积层和一个池化层，卷积层的卷积核尺寸都为3×3。
记fi l为第l个特征提取网络(l＝1代表卷积核尺寸为3×3的小尺度特征提取网络，l＝2代表卷积核尺寸为5×5的大尺度特征提取网络)在第i个模块内卷积层函数，ri l为第l个特征提取网络在第i个模块的输入变量，Wi l和bi l是与卷积层对应的权重矩阵和偏置项，则第l个特征提取网络内第i个模块的输出变量为：
利用公式1可以计算出特征提取网络的输出变量。通过三组模块的逐级自适应选择，该框架能够针对不同数据集实现多尺度特征自动提取。
在利用均方根传播(Root Mean Square Propagation,RMSProp)算法最小化整体框架的损失函数之后，对待分类高光谱遥感图像生成测试样本，作为输入特征输入到框架，得到地物分类结果。所述均方根传播算法通过引入一个衰减系数，让各次衰减按照一定比例，一定程度上解决了模型学习时过早结束问题，适合处理非平稳目标。
本发明提供的一种基于自适应多尺度特征提取模型的高光谱图像分类方法，具体包括如下步骤：
步骤1，对原始高光谱遥感图像降维；
步骤2，针对降维后的高光谱图像内每一个像素，以该像素为中心提取图像块，作为训练样本；
步骤3，初始化尺度参考网络和两个特征提取网络的网络参数；
步骤4，将基于步骤1和步骤2生成的训练样本数据逐个图像块输入到尺度参考网络；
步骤5，利用条件门控机制计算第一个卷积池化模块的参考值向量，并计算参考值向量的平均值作为该卷积池化模块尺度参考值；
步骤6，将尺度参考网络输出的尺度参考值与阈值0比较，如果尺度参考值大于0，则将该卷积池化模块特征送入小尺度特征提取网络；如果尺度参考值小于0，则将该卷积池化模块特征送入大尺度特征提取网络；
步骤7，重复步骤5和6，计算第二至第M个卷积池化模块的尺度参考值；
步骤8，将利用步骤1和步骤2生成的训练样本输入整体框架，利用均方根传播算法，将网络损失函数调整至最小；
步骤9，对待分类高光谱图像，采用步骤1和步骤2生成测试样本，输入到整体框架，完成分类任务。
本方法采用以下步骤实现，
本发明有益效果为：
(1)本发明设计了尺度参考网络，能够为不同尺度的特征提取过程提供预判，将多尺度特征输入到对应特征提取网络，有针对性的进行多尺度特征提取。
(2)本发明充分考虑高光谱遥感图像不同地物的尺度差异性，提出了多尺度特征提取网络，通过大尺度特征提取网络和小尺度特征提取网络的逐级协同学习，综合考虑图像细节信息和空间信息，能够实现高光谱遥感图像内不同地物、不同尺度特征的同时提取，生成更精细分类结果图。
(3)本发明提出了一种新颖的自适应多尺度特征提取模型，利用尺度参考网络和特征提取网络，使得网络可以根据不同数据集的特点，自适应的学习不同遥感场景下的特征融合权重。相比于只考虑单一尺度特征提取的现有方法，本发明在进行特征提取时，不仅获取了小尺度目标细节信息，也能同时捕捉大尺度地物的空间信息，从而自适应调节网络结构，提高高光谱遥感图像分类效果。
因此，本发明技术方案能够更好的实现多尺度特征的自适应提取，实现更高精度地物识别与分类。
附图说明
图1为本发明实施例提出的基于自适应多尺度特征提取模型结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供的方法建立包含尺度参考网络与特征提取网络两个部分，并根据尺度参考网络的尺度参考值将特征自适应输入到相应特征提取网络，从而进行多尺度特征自适应提取。在尺度参考网络部分，考虑到高光谱图像不同地物之间尺度差异性，利用条件门控机制对尺度参考网络输出的尺度参考值进行判断，从而将特征自适应送入对应特征提取网络；在特征提取网路部分，建立大尺度特征提取网络和小尺度特征提取网路，采用多尺度的卷积神经网络模型进行多尺度地物信息的高精度提取。方法综合考虑了网络结构自适应调整和多尺度特征提取，使得地物多尺度信息能够更精确的被提取，从而更好的满足高精度地物目标识别与分类需要。
本发明实施例提供的一种基于自适应多尺度特征提取模型的高光谱遥感图像分类方法，包括以下步骤：
步骤1：对原始高光谱图像进行PCA降维，保留前p个主成分；
具体实施时，本领域技术人员可预先设定p的取值，建议取值范围为3-7。请见图1，原始高光谱图像经过PCA降维后，维度降至p维，主成分分析(Principal componentanalysis,PCA)算法是找一些投影方向，使得数据在这些投影方向上方差最大，而且这些投影方向是相互正交。PCA算法是一种常见的数据降维方法，为了在“信息”损失较小前提下，将高维数据转换到低维，从而提高计算效率。
作为优选，步骤1所述PCA降维过程具体包括以下步骤：
步骤1.1：记高光谱遥感图像为
其中m为图像像元总数，n为光谱特征总数，
表示实数域。计算图像X协方差矩阵C；
步骤1.2：对协方差矩阵C进行奇异值分解，得到矩阵C特征值与对应特征向量；
步骤1.3：对特征值按数值大小进行降序排序，特征向量按特征值的顺序也对应排序；
步骤1.4：取步骤1.3排序后前p个特征向量u1,u2,...up组成矩阵
步骤1.5：利用公式Z＝XU计算可以得到降维后图像。
步骤2：针对降维后高光谱遥感图像内每一个像素，以该像素为中心，提取大小为w×w×p的影像块，即图像块；具体实施时，可预设w取值，建议取值范围为9～27；
请见图1，在降维后高光谱遥感图像内，逐像元进行图像块提取操作。
步骤3：初始化网络参数；
具体实施时，可以根据需要设定神经网络内参数起始值。作为优选，初始卷积层与全连接层内权重矩阵和偏置向量参数，可以选择满足均值为0方差为0.1高斯分布。
步骤4：将基于步骤1和步骤2生成的训练样本数据逐图像块输入到尺度参考网络，具体过程如下：
记网络在第i个卷积池化模块(i＝1,2,3)输入特征为xi，特征激活函数为f，Wi和bi是对应权重矩阵和偏置项，则尺度参考网络在第i个卷积池化模块内的卷积层输出特征ci为
ci＝f(Wi xi+bi) (2)
提取到该卷积池化模块卷积层输出特征ci，可以进一步得到池化层特征pi，具体过程为
pi＝maxpool(ci) (3)
其中，maxpool是最大池化层函数。通过上述过程，可以获得每个卷积池化模块输出特征；
请见图1，网络的中间分支为尺度参考网络，具体包括三组卷积池化模块，每组卷积池化模块内部有一个3×3卷积层和一个池化层。输入数据为步骤1和步骤2产生的图像块，输出为池化后的特征。
步骤5：利用条件门控机制计算第一个卷积池化模块参考值向量，并计算参考值向量的平均值作为该卷积池化模块尺度参考值，具体过程为：
记第i个模块(i＝1,2,3)输入特征为xi，F为带有1×1卷积核尺寸的卷积层函数，N是批量归一化函数，σ代表Tanh激活函数，G是全局平均池化层函数，Wi和βi是与卷积层对应的权重矩阵和偏置项，则参考值向量gi为
gi＝G(σ(N(F(Wi,xi))))+βi (4)
利用参考值向量gi进一步计算出平均值作为尺度参考值。
步骤6：将尺度参考网络输出的尺度参考值与阈值0比较。具体过程为
记条件1为特征需要被输入到小尺度特征提取网络情况，条件2为特征需要被输入到大尺度特征提取网络情况，vi为第i个卷积池化模块尺度参考值，ri为第i个卷积池化模块输入值。
如果尺度参考值大于0，则将该模块特征送入小尺度特征提取网络；如果尺度参考值小于0，则将该模块特征送入大尺度特征提取网络；
步骤7，重复步骤5和6，依次计算第二个卷积池化模块和第三个卷积池化模块尺度参考值；
步骤8：将基于步骤2、3生成的训练样本输入到整体框架，并利用均方根传播算法，将网络损失函数降至最小；
请见图1，整体框架分支由一个尺度参考网络和两个特征提取网络构成。每个网络都包括三组模块，每个模块内部有一个卷积层和一个池化层，中间分支的尺度参考网络和上面分支的小尺度特征提取网络卷积层的卷积核尺寸为3×3，下面分支的大尺度特征提取网络卷积层的卷积核尺寸为5×5。输入数据为步骤1、2产生的图像块，输出为多尺度特征。具体而言，三组模块依次连接，将最后一个模块的输出特征拉直并输入128个节点全连接层，然后输出类别信息。
整体框架损失函数为：
其中，n为训练样本个数，yi为样本i对应真实类别，
代表样本i对应预测类别。
步骤9：对待分类高光谱图像，采用步骤1、2生成测试样本，输入到框架，完成分类任务。
通过对比试验发现，本发明实施例设计的三组卷积池化模块和对应的多尺度特征提取模块，最终的分类精度在两个公开数据集上可以达到93％以上。
以上是本发明涉及的高光谱图像分类方法的实现步骤。整体框架综合考虑了高光谱遥感图像数据集异构性与地物尺度差异性，通过尺度参考网络和特征提取网络，实现针对不同数据集的多尺度特征自适应提取。具体实施时，可采用软件方式实现流程的自动运行，运行流程的装置也应当在本发明的保护范围内。
由于数据采集设备差异，采集到高光谱遥感图像像元值往往差别很大，可能影响图像分类效果。为了避免这一问题，在进行步骤1前，应对高光谱图像数据进行标准化处理，数据标准化处理是指将数据按比例缩放，让所有数据值落入一个较小特定区间，这里让所有像素值统一映射到[0,1]区间，从而提高模型收敛速度，让各个特征对结果做出的贡献相同。这一步将作为本发明涉及预处理步骤。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：建立一个尺度参考网络和两个特征提取网络的整体框架，两个特征提取网络包括大尺度特征提取网络和小尺度特征提取网络两类网络模型，并将两类网络模型进行自适应融合，实现针对不同数据集自动调节模型结构的多尺度特征提取；
在尺度参考网络里，设计了M组卷积池化模块和一个条件门控机制，在每一组卷积池化模块参与网络运算后，将该卷积池化模块内池化层输出的特征送入条件门控机制，条件门控机制计算出用于尺度判断的参考值向量，计算参考值向量平均值作为该卷积池化模块尺度参考值；
具体包括如下步骤：
步骤1，对原始高光谱遥感图像降维；
步骤2，针对降维后的高光谱图像内每一个像素，以该像素为中心提取图像块，作为训练样本；
步骤3，初始化尺度参考网络和两个特征提取网络的网络参数；
步骤4，将基于步骤1和步骤2生成的训练样本数据逐个图像块输入到尺度参考网络；
步骤5，利用条件门控机制计算第一个卷积池化模块的参考值向量，并计算参考值向量的平均值作为该卷积池化模块尺度参考值；
步骤6，将尺度参考网络输出的尺度参考值与阈值0比较，如果尺度参考值大于0，则将该卷积池化模块特征送入小尺度特征提取网络；如果尺度参考值小于0，则将该卷积池化模块特征送入大尺度特征提取网络；
步骤7，重复步骤5和6，计算第二至第M个卷积池化模块的尺度参考值；
步骤8，将利用步骤1和步骤2生成的训练样本输入整体框架，利用均方根传播算法，将网络损失函数调整至最小；
步骤9，对待分类高光谱图像，采用步骤1和步骤2生成测试样本，输入到整体框架，完成分类任务。
2.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：步骤1中利用主成分分析算法对原始高光谱遥感图像降维，降维过程具体包括以下步骤；
步骤1.1，记高光谱遥感图像为
其中m为图像像元总数，n为光谱特征总数，
表示实数域，计算图像X协方差矩阵C；
步骤1.2，对协方差矩阵C进行奇异值分解，得到矩阵C特征值与对应特征向量；
步骤1.3，对特征值按数值大小进行降序排序，特征向量按特征值的顺序也对应排序；
步骤1.4，取步骤1.3排序后前p个特征向量u1,u2,…up组成矩阵
步骤1.5，利用公式Z＝XU计算可以得到降维后图像。
3.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：每组卷积池化模块由一个卷积层和一个池化层组成，卷积层卷积核尺寸为3×3，条件门控机制由一个1×1卷积层、批量归一化层、Tanh激活函数层和平均池化层构成。
4.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：在大尺度特征提取网络里，建立M组与尺度参考网络对应的模块，每个模块内部包括一个卷积层和一个池化层，卷积层的卷积核尺寸都为5×5；在小尺度特征提取网络里，建立M组与尺度参考网络对应的模块，每个模块内部包括一个卷积层和一个池化层，卷积层的卷积核尺寸都为3×3。
5.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：特征提取网络的输出变量的具体计算过程如下；
记fi l为第l个特征提取网络在第i个模块内卷积层函数，l＝1代表卷积核尺寸为3×3的小尺度特征提取网络，l＝2代表卷积核尺寸为5×5的大尺度特征提取网络，ri l为第l个特征提取网络在第i个模块的输入变量，Wi l和
是与卷积层对应的权重矩阵和偏置项，则第l个特征提取网络内第i个模块的输出变量为：
利用公式1计算出特征提取网络的输出变量，通过M组模块的逐级自适应选择，能够针对不同数据集实现多尺度特征自动提取。
6.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：尺度参考值的具体过程为；
记第i个模块输入特征为xi，F为带有1×1卷积核尺寸的卷积层函数，N是批量归一化函数，σ代表Tanh激活函数，G是全局平均池化层函数，Wi和βi是与卷积层对应的权重矩阵和偏置项，则参考值向量gi为：
gi＝G(σ(N(F(Wi,xi))))+βi (4)
利用参考值向量gi进一步计算出平均值作为尺度参考值。
7.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：整体框架损失函数为；
其中，n为训练样本个数，yi为样本i对应真实类别，
代表样本i对应预测类别。
8.根据权利要求1所述一种基于自适应多尺度特征提取模型的高光谱图像分类方法，其特征在于：在对原始高光谱遥感图像降维之前，对高光谱图像数据进行标准化处理。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110102544.9A CN112766199B (zh) | 2021-01-26 | 2021-01-26 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
| PCT/CN2021/122341 WO2022160771A1 (zh) | 2021-01-26 | 2021-09-30 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
| US18/302,745 US11783569B2 (en) | 2021-01-26 | 2023-04-18 | Method for classifying hyperspectral images on basis of adaptive multi-scale feature extraction model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110102544.9A CN112766199B (zh) | 2021-01-26 | 2021-01-26 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766199A CN112766199A (zh) | 2021-05-07 |
| CN112766199B true CN112766199B (zh) | 2022-04-29 |
Family
ID=75705705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110102544.9A Active CN112766199B (zh) | 2021-01-26 | 2021-01-26 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11783569B2 (zh) |
| CN (1) | CN112766199B (zh) |
| WO (1) | WO2022160771A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766199B (zh) * | 2021-01-26 | 2022-04-29 | 武汉大学 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
| CN113283390B (zh) * | 2021-06-24 | 2022-03-08 | 中国人民解放军国防科技大学 | 基于门控多尺度匹配网络的sar图像小样本目标识别方法 |
| CN114652326A (zh) * | 2022-01-30 | 2022-06-24 | 天津大学 | 基于深度学习的实时脑疲劳监测装置及数据处理方法 |
| TWI796156B (zh) | 2022-03-04 | 2023-03-11 | 國立中正大學 | 以波段用於超頻譜檢測物件影像之方法 |
| US11847811B1 (en) * | 2022-07-26 | 2023-12-19 | Nanjing University Of Posts And Telecommunications | Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition |
| CN115471677B (zh) * | 2022-09-15 | 2023-09-29 | 贵州大学 | 一种基于双通道稀疏化网络的高光谱图像分类方法 |
| CN115294405B (zh) * | 2022-09-29 | 2023-01-10 | 浙江天演维真网络科技股份有限公司 | 农作物病害分类模型的构建方法、装置、设备及介质 |
| CN115311463B (zh) * | 2022-10-09 | 2023-02-03 | 中国海洋大学 | 类别引导多尺度解耦的海洋遥感图像文本检索方法及系统 |
| CN115759658B (zh) * | 2022-11-24 | 2023-07-18 | 浙江智慧信息产业有限公司 | 适用于智慧城市的企业能耗数据管理系统 |
| CN115512232B (zh) * | 2022-11-24 | 2023-04-07 | 浙江托普云农科技股份有限公司 | 一种农作物种子发芽情况识别模型、构建方法及其应用 |
| CN115641445B (zh) * | 2022-12-23 | 2023-03-14 | 西南石油大学 | 一种非对称内卷积与Transformer相融合的遥感图像阴影检测方法 |
| CN116026528A (zh) * | 2023-01-14 | 2023-04-28 | 慈溪市远辉照明电器有限公司 | 一种高防水安全型三防灯 |
| CN116030363B (zh) * | 2023-02-20 | 2023-06-23 | 北京数慧时空信息技术有限公司 | 遥感图像类激活映射图优化方法 |
| CN115830461B (zh) * | 2023-02-23 | 2023-05-02 | 汕头大学 | 基于深度序列卷积网络的高光谱图像识别方法 |
| CN116188792B (zh) * | 2023-02-23 | 2023-10-20 | 四川大学 | 一种针对全血细胞散点图的定量分析方法及系统 |
| CN116563615B (zh) * | 2023-04-21 | 2023-11-07 | 南京讯思雅信息科技有限公司 | 基于改进多尺度注意力机制的不良图片分类方法 |
| CN116597258B (zh) * | 2023-07-18 | 2023-09-26 | 华东交通大学 | 一种基于多尺度特征融合的矿石分选模型训练方法及系统 |
| CN116612334B (zh) * | 2023-07-18 | 2023-10-10 | 山东科技大学 | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 |
| CN116740650B (zh) * | 2023-08-10 | 2023-10-20 | 青岛农业大学 | 一种基于深度学习的作物育种监测方法及系统 |
| CN116824396B (zh) * | 2023-08-29 | 2023-11-21 | 湖北省泛星信息技术有限公司 | 一种多卫星数据融合自动化解译的方法 |
| CN117092050B (zh) * | 2023-09-13 | 2024-02-27 | 佛山科学技术学院 | 基于光谱多模态时序学习的煤泥浮选灰分检测方法及系统 |
| CN117252787B (zh) * | 2023-11-17 | 2024-02-02 | 北京渲光科技有限公司 | 图像重新照明方法、模型训练方法、装置、设备及介质 |
| CN117372789B (zh) * | 2023-12-07 | 2024-03-08 | 北京观微科技有限公司 | 图像分类方法及图像分类装置 |
| CN117593597B (zh) * | 2024-01-19 | 2024-03-22 | 山东省国土测绘院 | 一种地形图像自动分类方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194942A (zh) * | 2017-03-27 | 2017-09-22 | 广州地理研究所 | 一种确定影像分类分割尺度阈值的方法 |
| CN110321963A (zh) * | 2019-07-09 | 2019-10-11 | 西安电子科技大学 | 基于融合多尺度多维空谱特征的高光谱图像分类方法 |
| CN110717354A (zh) * | 2018-07-11 | 2020-01-21 | 哈尔滨工业大学 | 基于半监督k-svd与多尺度稀疏表示的超像元分类方法 |
| CN111126256A (zh) * | 2019-12-23 | 2020-05-08 | 武汉大学 | 一种基于自适应空谱多尺度网络的高光谱图像分类方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7295700B2 (en) * | 2003-10-24 | 2007-11-13 | Adobe Systems Incorporated | Object extraction based on color and visual texture |
| CN107173540A (zh) | 2017-05-10 | 2017-09-19 | 刘淑鹤 | 解除毒素中毒的复合型添加剂 |
| JP7053423B2 (ja) * | 2018-09-19 | 2022-04-12 | 富士フイルム株式会社 | 画像処理装置，画像処理方法および画像処理プログラム |
| US20200372361A1 (en) * | 2019-05-22 | 2020-11-26 | Qualcomm Incorporated | Channel Gating For Conditional Computation |
| CN110598594A (zh) * | 2019-08-29 | 2019-12-20 | 武汉大学 | 基于空谱自适应双向长短时记忆模型的高光谱分类方法 |
| CN111191736B (zh) * | 2020-01-05 | 2022-03-04 | 西安电子科技大学 | 基于深度特征交叉融合的高光谱图像分类方法 |
| CN112766199B (zh) * | 2021-01-26 | 2022-04-29 | 武汉大学 | 基于自适应多尺度特征提取模型的高光谱图像分类方法 |
-
2021
- 2021-01-26 CN CN202110102544.9A patent/CN112766199B/zh active Active
- 2021-09-30 WO PCT/CN2021/122341 patent/WO2022160771A1/zh active Application Filing
-
2023
- 2023-04-18 US US18/302,745 patent/US11783569B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194942A (zh) * | 2017-03-27 | 2017-09-22 | 广州地理研究所 | 一种确定影像分类分割尺度阈值的方法 |
| CN110717354A (zh) * | 2018-07-11 | 2020-01-21 | 哈尔滨工业大学 | 基于半监督k-svd与多尺度稀疏表示的超像元分类方法 |
| CN110321963A (zh) * | 2019-07-09 | 2019-10-11 | 西安电子科技大学 | 基于融合多尺度多维空谱特征的高光谱图像分类方法 |
| CN111126256A (zh) * | 2019-12-23 | 2020-05-08 | 武汉大学 | 一种基于自适应空谱多尺度网络的高光谱图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Adaptive Spectral–Spatial Multiscale Contextual Feature Extraction for Hyperspectral Image Classification》;Di Wang et al；;《IEEE》;20200719;第2461-2477页； * |
| 《基于多尺度特征融合和支持向量机的高分辨率遥感影像分类》;黄昕 等；;《遥感学报》;20070131;第11卷(第1期);第48-54页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230252761A1 (en) | 2023-08-10 |
| WO2022160771A1 (zh) | 2022-08-04 |
| CN112766199A (zh) | 2021-05-07 |
| US11783569B2 (en) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766199B (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
| CN109145992B (zh) | 协作生成对抗网络和空谱联合的高光谱图像分类方法 | |
| CN110287800B (zh) | 一种基于sgse-gan的遥感图像场景分类方法 | |
| CN106355151B (zh) | 一种基于深度置信网络的三维sar图像目标识别方法 | |
| CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
| CN110084159A (zh) | 基于联合多级空谱信息cnn的高光谱图像分类方法 | |
| CN108647741A (zh) | 一种基于迁移学习的图像分类方法和系统 | |
| CN103440505B (zh) | 空间邻域信息加权的高光谱遥感图像分类方法 | |
| CN114488140B (zh) | 一种基于深度迁移学习的小样本雷达一维像目标识别方法 | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN113392748B (zh) | 一种基于卷积神经网络的遥感影像耕地信息提取方法 | |
| CN109145962B (zh) | 一种基于数字图像的大气参数反演观测方法 | |
| CN110060273A (zh) | 基于深度神经网络的遥感影像滑坡测图方法 | |
| Chen et al. | Agricultural remote sensing image cultivated land extraction technology based on deep learning | |
| CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
| CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN109034213B (zh) | 基于相关熵原则的高光谱图像分类方法和系统 | |
| CN115908924A (zh) | 一种基于多分类器的小样本高光谱图像语义分割方法及系统 | |
| CN110334584A (zh) | 一种基于区域全卷积网络的手势识别方法 | |
| CN113935249A (zh) | 基于压缩和激励网络的上层海洋热结构反演方法 | |
| CN114359702A (zh) | 一种基于Transformer的宅基地遥感图像违建识别方法及系统 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN113723482B (zh) | 基于多示例孪生网络的高光谱目标检测方法 | |
| CN113657290B (zh) | 一种螺类采集与细分类识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |