CN112906756A - 一种跨通道数量迁移学习的高图像分类方法及系统 - Google Patents

一种跨通道数量迁移学习的高图像分类方法及系统 Download PDF

Info

Publication number
CN112906756A
CN112906756A CN202110119042.7A CN202110119042A CN112906756A CN 112906756 A CN112906756 A CN 112906756A CN 202110119042 A CN202110119042 A CN 202110119042A CN 112906756 A CN112906756 A CN 112906756A
Authority
CN
China
Prior art keywords
sample
feature extraction
data
target data
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110119042.7A
Other languages
English (en)
Inventor
饶明朝
饶梦彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Zelicheng Intelligent Equipment Co ltd
Original Assignee
Kunshan Zelicheng Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Zelicheng Intelligent Equipment Co ltd filed Critical Kunshan Zelicheng Intelligent Equipment Co ltd
Priority to CN202110119042.7A priority Critical patent/CN112906756A/zh
Publication of CN112906756A publication Critical patent/CN112906756A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跨通道数量迁移学习的高光谱图像分类方法及系统，所述方法为在预训练阶段，以源数据集为对象，运用深度全卷积网络提取样本特征，运用光谱‑空间金字塔网络提取多尺度特征，运用全连接网络计算类别概率并优化预训练模型；在微调阶段，迁移预训练的深度全卷积网络和光谱‑空间金字塔网络，然后以目标数据为对象，运用所迁移网络提取多尺度特征，运用新的全连接网络计算类别概率并更新微调网络的参数；在应用阶段，以目标图像为对象，运用微调网络判断待分类样本的类别信息，并逐像元生成分类结果图；本发明能在不改变源数据和目标数据维度的情况下、实现跨通道数量的迁移学习，能实现不同传感器的高光谱图像高效分类。

Description

一种跨通道数量迁移学习的高图像分类方法及系统
技术领域
本发明涉及光谱图像分类领域，特别涉及一种跨通道数量迁移学习的高光谱图像分类方法及系统。
背景技术
高光谱图像通指光谱分辨率在10-2纳米数量级范围内的光谱图像，其特点在图像上不仅包含覆盖区域内的空间特征，还包含每个空间像元经过色散的几十个甚至几百个窄通道的光谱信息。高光谱图像不仅能反映目标的样本大小、形状、缺陷，而且能翻译目标的内部物理结构、化学成分差异，这决定了高光谱图像在农产品检测、机械材质分类、环境检测、地表覆盖分类和矿物学等领域都具有重要的应用价值，而高光谱图像分类技术是其应用过程中必不可少的环节之一。
由于高光谱传感器的种类繁多，不同源的传感器载荷的光谱传感器的波普范围、光谱分辨率和通道数量通常是不一致的。此外，现阶段的高光谱图像分类模型，输入的维度是固定的，这导致所学习的模型仅限于当前数据源图像的分类任务，并且不同源数据集上所训练的模型，通常是不能通用的。故而研究可以跨通道数量(即跨传感器)迁移学习的高光谱图像分类方法具有重要的工业价值。
所谓的迁移学习是指，从一个数据集(源数据集)学习模型，然后将所学习的模型其运用到另一个数据集(目标数据)上。高性能的迁移学习模型，要求既能满足源数据集上的任务，又能满足目标数据集上的任务。迁移学习的高光谱图像分类模型是近年来的研究热点，该问题需要面对的难点是源数据集和目标数据集包含的通道数量不一致，光谱分辨率也不一致。已经有学者，讨论了源数据与目标数据通道数量一致时，迁移学习的分类模型有助于提升分类精度以及缩短在目标数据集上模型训练的时间。而对于跨通道数量的迁移学习问题，最直接的解决方案时使用降维方法，统一源数据与目标数据的通道数量，但这种方法可能会丢失一些有效的数据信息。如果能够找到一种不降维的，跨通道数量迁移学习的高光谱图像分类方法，那么能够使得在保留足够多源数据知识的情况下，通过模型迁移将源数据的知识应用到目标数据集任务中，从而提高实际任务中的模型性能和效率。
因此，针对包含不同通道数量的高光谱图像，如何在不降维情况下，构建跨通道迁移学习的高光谱图像分类模型，实现不同源数据集上的高效分类，具有重要的工业应用价值。
发明内容
本发明的目的是，为了克服不同通道数量的高光谱图像数据集上模型的跨通道数量迁移学习问题，提供了一种跨通道数量迁移学习的高光谱图像分类方法及系统，利用该方法及系统，能够同时接受任意大小(空间大小和通道数量)的样本作为输入，且可以在数据不降维、输入层节点不改变的情况下，实现对不同通道数量的高光谱图像的高效分类。
为了实现上述目的，本发明采用了如下技术方案：
一种跨通道数量迁移学习的高光谱图像分类方法，包括
包括三个阶段：预训练方法、微调方法和应用方法，
所述预训练方法，具体步骤如下：
源数据样本集构建步骤A110：对多个传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；
批次源数据选择步骤A120：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
卷积特征提取步骤A130：将所述某个批次数据中的单个样本x，输入到设计好的多层全卷积神经网络
Figure BDA0002921798770000031
得到该样本的卷积特征
Figure BDA0002921798770000032
其中该全卷积网络的基本单元包括：卷积层、池化层、批处理层和非线性激活函数，且不包含全连接层，
Figure BDA0002921798770000033
是它的参数；
多尺度特征提取步骤A140：将所述样本卷积特征
Figure BDA0002921798770000034
输入到设计好的金字塔池化层gθ，得到样本的多尺度特征
Figure BDA0002921798770000035
其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；
全连接特征提取步骤A150：将所述的多尺度特征
Figure BDA0002921798770000036
输入到设计好的全连接神经网络h1ψ1，得到样本的全连接特征
Figure BDA0002921798770000037
其中ψ1是它的参数，并且其输出层节点的个数为C1，C1是源数据集包含的类别数量；
计算类别概率的步骤A160：对所述的全连接特征
Figure BDA0002921798770000038
运用柔性最大函数(softmax)作为输出层的激活函数，得到样本x属于各类别的概率值，且总概率和为1；
更新模型参数的步骤A170：基于所述的类别概率与源数据的真实标签，利用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120-A160，优化卷积特征提取参数
Figure BDA0002921798770000039
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0。
微调方法的步骤如下：
目标数据样本集构建步骤B110：对于某个目标传感器高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；
批次目标数据选择步骤B120：从所构建的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
预训练模型迁移步骤B130：将预训练阶段中所学习到的多层全卷积神经网络
Figure BDA0002921798770000041
和金字塔池化层gθ，分别作为卷积特征提取器和多尺度特征提取器，且在微调阶段相关参数不改变；
目标数据卷积特征提取步骤B134：将所述某个批次目标数据中的单个样本x′，输入到迁移的多层全卷积神经网络
Figure BDA0002921798770000042
得到目标数据卷积特征
Figure BDA0002921798770000043
目标数据多尺度特征提取步骤B138：将所述的目标数据卷积特征
Figure BDA0002921798770000044
输入到迁移的金字塔池化层gθ，得到目标数据样本的多尺度特征
Figure BDA0002921798770000045
全连接特征提取阶段B140：将所述目标数据多尺度特征
Figure BDA0002921798770000046
输入到新设计的全连接神经网络h2ψ2，得到样本的全连接特征
Figure BDA0002921798770000047
其中ψ2是它的参数，并且其输出层节点的个数为C2，C2是目标数据集包含的类别数量；
计算类别概率的步骤B150：对所述目标数据的全连接特征
Figure BDA0002921798770000048
运用柔性最大函数(softmax)作为输出层的激活函数，得到样本x′属于各类别的概率值，且总概率和为1；
微调模型参数的步骤B160：基于所述的类别概率与目标数据的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代步骤B120和B134-B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0。
应用方法的步骤如下：
对于给定的待分类目标数据集中的高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用微调方法的相关步骤，包括目标数据卷积特征提取步骤、目标数据多尺度特征提取步骤、全连接特征提取步骤和类别概率计算步骤，得到待分类样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
本发明进一步公开了一种跨通道数量迁移学习的高光谱图像分类系统，包括
包括三个部分：模型预训练部分、模型微调部分和模型应用部分，
所述模型预训练部分，具体如下：
样本集构建模块210：对源数据的高光谱图像库，选择质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；
批次数据构建模块220：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为模型预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
卷积特征提取模块230：对所述某个批次数据中的每个样本x，运用设计好的全卷积神经网络
Figure BDA0002921798770000051
得到该样本的卷积特征
Figure BDA0002921798770000052
其中
Figure BDA0002921798770000053
是它的参数；
多尺度特征提取模块240：对所述的卷积特征
Figure BDA0002921798770000054
运用设计好的金字塔池化层gθ，得到样本的多尺度特征
Figure BDA0002921798770000055
其中θ是它的参数；
全连接特征提取模块250：对所述多尺度特征
Figure BDA0002921798770000056
运用设计好的全连接神经网络h1ψ1，得到样本的全连接特征
Figure BDA0002921798770000057
其中ψ1是它的参数；
类别概率计算模块260：对所述的全连接特征
Figure BDA0002921798770000061
运用类别概率计算函数得，到样本x属于各类别的概率值；
参数更新模块270：基于所述的类别概率与源数据的真实标签，运用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代模块220-260，优化卷积特征提取参数
Figure BDA0002921798770000068
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0。
所述模型微调部分，具体如下：
样本集构建模块210：对目标数据的高光谱图像库，选择质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；
批次数据构建模块220：从所所述的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为模型微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
模型迁移模块280：将模型预训练部分中所学习到的多层全卷积神经网络
Figure BDA0002921798770000062
和金字塔池化层gθ，作为模型微调部分的卷积特征提取模块230和多尺度特征提取模块240；并对所述某目标数据批次中的每个样本x′，依次运用迁移的卷积特征提取模块230
Figure BDA0002921798770000063
和多尺度特征提取模块240(gθ)，得到样本的多尺度特征
Figure BDA0002921798770000064
全连接特征提取模块250：对所述的多尺度样本特征
Figure BDA0002921798770000065
运用设计好的全连接模块h2ψ2，得到样本的全连接特征
Figure BDA0002921798770000066
其中ψ2是它的参数；
类别概率计算模块260：对所述的全连接特征
Figure BDA0002921798770000067
运用类别概率计算函数得，到样本x′属于各类别的概率值；
微调参数模块285：基于所述的类别概率与目标数据x′的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代模块220-260，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0。
模型应用部分如下：
分类结果生成模块290：对于给定的待分类目标数据集中的高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用模块230-260，包括卷积特征提取模块230，多尺度特征提取模块240，全连接特征提取模块250,和类别概率计算模块260，计算得到待分类目标样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
综上，本发明具有如下优点：
1.本发明的迁移学习框架，可以在不改变源数据和目标数据维度的情况下、实现跨通道数量的模型迁移，能适应不同传感器的高光谱图像分类任务；
2.本发明在目标数据集应用时，仅需要少量的标注样本微调网络，而达到高精度，且当目标数据集与源数据集类别数量相同时，可以直接将预训练整个网络用于微调；
3.本发明的深度模型，可根据需求设计不同的多尺度特征提取层，使得网络在跨波段数量的前提下，也能跨样本空间尺度(可同时接受不同空间尺度5×5、7×7等)，具有较为重要的工程应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种跨通道数量迁移学习的高光谱图像分类方法预训练阶段的一个实施例的流程图。
图2为本发明提供的一种跨通道数量迁移学习的高光谱图像分类方法微调阶段的一个实施例的流程图。
图3为本发明提供的一种跨通道数量迁移学习的高光谱图像分类方法应用阶段的一个实施例的流程图。
图4为本发明提供的一种跨通道数量迁移学习的高光谱图像分类系统结构框图。
图5为本发明提供的源数据集Indian Pines、目标数据PaviaU示例图。
图6为本发明提供的目标数据PaviaU分类结果示意图。
图7为本发明提供的一种多尺度特征提取网络(自适应空谱金字塔池化层)结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明在于：在预训练阶段，以源数据集为对象，运用深度全卷积网络提取样本特征，运用光谱-空间金字塔网络提取多尺度特征，运用全连接网络计算类别概率并优化预训练模型；在微调阶段，迁移预训练的深度全卷积网络和光谱-空间金字塔网络，然后以目标数据为对象，运用所迁移网络提取多尺度特征，运用新的全连接网络计算类别概率并更新微调网络的参数；在应用阶段，以目标图像为对象，运用微调网络判断待分类样本的类别信息，并逐像元生成分类结果图；本发明能在不改变源数据和目标数据维度的情况下、实现跨通道数量的迁移学习，能实现不同传感器的高光谱图像高效分类。
本发明的目的是提供一种跨通道数量迁移学习的高光谱图像分类方法及系统。
参见图1-图3所示，作为一种可实施方式，一种跨通道数量迁移学习的高光谱图像分类，包括如下步骤：
本实例采用的源数据集为Indian Pines高光谱图像(如图5(a)所示)，该数据包含200个通道(波段)，空间分辨率为20米，数据空间大小为145×145像元，包含16个类别共10249个有标签的像元。目标数据集为PaviaU高光谱图像(如图5(b)),该数据包含103个通道(波段)。空间分辨率为1.3米，空间大小为610×340像元，包含9个类别，共42776个有标签的像元。这两个数据集可以从如下公共网址获得：http://www.ehu.eus/ccwintco/index.php？title＝Hyperspectral_Remote_Sensing_Scenes
首先利用源数据Indian Pines预训练模型的步骤如下：
源数据样本集构建步骤A110：对于源数据集Indian Pines，构建包含不同类别的源数据样本集X1；
批次源数据选择步骤A120：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
卷积特征提取步骤A130：将所述某个批次数据中的单个样本x，输入到设计好的多层全卷积神经网络
Figure BDA0002921798770000091
得到该样本的卷积特征
Figure BDA0002921798770000092
其中该全卷积网络的基本单元包括：卷积层、池化层、批处理层和非线性激活函数，且不包含全连接层，
Figure BDA0002921798770000101
是它的参数；
多尺度特征提取步骤A140：将所述样本卷积特征
Figure BDA0002921798770000102
输入到设计好的金字塔池化层gθ，得到样本的多尺度特征
Figure BDA0002921798770000103
其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；
全连接特征提取步骤A150：将所述的多尺度特征
Figure BDA0002921798770000104
输入到设计好的全连接神经网络h1ψ1，得到样本的全连接特征
Figure BDA0002921798770000105
其中ψ1是它的参数，本实例中h1ψ1的输出层包含16个神经元；
计算类别概率的步骤A160：对所述的全连接特征
Figure BDA0002921798770000106
运用输出层的激活函数，得到样本x属于各类别的概率值；
更新模型参数的步骤A170：基于所述的类别概率与源数据的真实标签，利用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120-A160，优化卷积特征提取参数
Figure BDA0002921798770000107
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0。
其次，在目标数据PaviaU上，微调方法的步骤如下：
目标数据样本集构建步骤B110：对于目标数据PaviaU，按照一定规则，构建包含不同类别的目标数据样本集X2；
批次目标数据选择步骤B120：从所构建的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
预训练模型迁移步骤B130：将预训练阶段中所学习到的多层全卷积神经网络
Figure BDA0002921798770000111
和金字塔池化层gθ，分别作为卷积特征提取器和多尺度特征提取器，且在微调阶段相关参数不改变；
目标数据卷积特征提取步骤B134：将所述某个批次目标数据中的单个样本x′，输入到迁移的多层全卷积神经网络
Figure BDA0002921798770000112
得到目标数据卷积特征
Figure BDA0002921798770000113
目标数据多尺度特征提取步骤B138：将所述的目标数据卷积特征
Figure BDA0002921798770000114
输入到迁移的金字塔池化层gθ，得到目标数据样本的多尺度特征
Figure BDA0002921798770000115
全连接特征提取阶段B140：将所述目标数据多尺度特征
Figure BDA0002921798770000116
输入到新设计的全连接神经网络h2ψ2，得到样本的全连接特征
Figure BDA0002921798770000117
其中ψ2是它的参数，并且其输出层节点的个数为C2，C2是目标数据集包含的类别数量，实施例中C2设置为9；
计算类别概率的步骤B150：对所述目标数据的全连接特征
Figure BDA0002921798770000118
运用柔性最大函数(softmax)作为输出层的激活函数，得到样本x′属于各类别的概率值，且总概率和为1；
微调模型参数的步骤B160：基于所述的类别概率与目标数据的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代步骤B120和B134-B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0。
最后，在目标数据PaviaU上，应用微调网络进行分类的步骤如下：
对于PaviaU数据按逐像元方法依次推断类别标签，即逐像元截取空间邻域窗口大小11×11的像元作为待分类三维样本，依次运用微调方法的相关步骤B134-B150，得到待分类样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
可选的，所述源数据样本集构建步骤A110具体包括：
在Indian Pines数据上以有标签的像元为中心，分别截取空间邻域窗口大小为5×5、7×7、9×9和11×11的像元作为三维样本，得到源数据集样本集X1，它包含4×10249个样本，且每个样本的大小为n×n×200，这里n为5、7、9或者11；这里也可以仅以一维(光谱维)、二维(将数据变换成二维)数据作为有标签像元的样本，本实施方式中仅介绍三维样本的情况。
可选的，所述批次源数据选择步骤A120具体包括：
根据空间邻域窗口大小，将所述源数据样本集X1，分成K类{X11,…,X1K}；并生成一个随机正整数k，它大于等于1，小于等于K，然后从子样本集X1k中随机选择B1个样本；由于每次随机生成的k可能不同，故允许不同批次的样本空间尺寸不相同，但同一批次的空间尺寸相同。
可选的，所述源数据卷积特征提取步骤A130具体包括：
将某个批次的某个输入样本x，输入到所设计的三维深度卷积网络
Figure BDA0002921798770000121
中，得到深度卷积特征
Figure BDA0002921798770000122
这里x的维度大小为n×n×200，
Figure BDA0002921798770000123
的维度大小与n的尺度、所设计网络的参数(卷积核个数，卷积核参数、池化层)有关，
Figure BDA0002921798770000124
是所述三维深度卷积网络的参数。
可选的，所述多尺度特征提取步骤A140具体包括：
将所述源数据样本卷积特征
Figure BDA0002921798770000125
输入到设计好的空间-光谱金字塔池化层gθ，得到样本的多尺度特征
Figure BDA0002921798770000126
其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数。
可选的，所述在多尺度特征提取步骤中，所述的一种多尺度特征提取网络—自适应空谱金字塔池化层(如图7)具体包括：
假设输入的样本卷积特征
Figure BDA0002921798770000131
的维度大小为w×h×d×c，其中c表示最后一个卷积层输出的滤波器数量，w×h×d表示最后一个卷积层输出的特征图大小。那么如图7所示，自适应空谱金字塔池化层的输出是一个c×T的一维向量(如图输出大小为(64+8+1)×c)，这里T是该金字塔层中空间-光谱单元的个数，且输出的维度仅与金字塔的空间-光谱单元数量和最后一层的滤波器数量相关，与输入数据的空间尺度、通道数量无关，故所设计的迁移学习模型能实现跨通道数量迁移。
可选的，所述的全连接特征提取步骤A150具体包括：
将所述的维度大小为c×T的多尺度特征
Figure BDA0002921798770000132
输入到一个输出层神经元个数为16的全连接神经网络h1ψ1，得到样本的全连接特征
Figure BDA0002921798770000133
其中ψ1是它的参数。
可选的，所述计算类别概率的步骤A160具体包括：
运用柔性最大函数(softmax)作用于所述的全连接特征
Figure BDA0002921798770000134
得到样本x属于各类别的概率值
Figure BDA0002921798770000135
包含C个值(此时C＝16)，
Figure BDA0002921798770000136
表示x属于第i个类的概率值，且
Figure BDA0002921798770000137
可选的，所述更新模型参数的步骤A170具体包括：
根据所述的某个批次源数据样本，每个样本运用上述A130-A160计算得到类别概率
Figure BDA0002921798770000138
并将其与源数据的真实标签Y输入到交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120-A160，优化卷积特征提取参数
Figure BDA0002921798770000139
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0，迭代完成后的卷积特征提取参数
Figure BDA0002921798770000141
多尺度特征提取参数θ和全连接特征提取参数ψ1结合在一起就是预训练得到的参数，其中当源数据与目标数据包含的类别数量不一致时，
Figure BDA0002921798770000142
和θ为微调阶段模型迁移的参数，当源数据与目标数据包含的类别数量相同时，可迁移预训练的所有参数
Figure BDA0002921798770000143
θ和ψ1。
可选的，所述目标数据样本集构建步骤B110，具体包括：
在PaviaU数据上以有标签的像元为中心，每个类别随机选择200个有标签的像元，并且以所选像元为中心，分别截取空间邻域窗口大小为5×5、7×7、9×9和11×11的像元作为三维样本，构建包含目标数据样本集X2，此时它包含9×200×4个三维样本，且每个样本的大小为n×n×103，这里n为5、7、9或者11；这里也可以仅以一维(光谱维)、二维(将数据变换成二维)数据作为有标签像元的样本，本实施方式中仅介绍三维样本的情况。
可选的，所述批次目标数据选择步骤B120，具体包括：
根据空间邻域窗口大小，将所述目标数据样本集X2，分成Z类{X11,…,X1Z}；并生成一个随机正整数z，它大于等于1，小于等于Z，然后从子样本集X1z中随机选择B2个样本；由于每次随机生成的z可能不同，故允许不同批次的样本空间尺寸不相同，但同一批次的空间尺寸相同；
可选的，预训练模型迁移步骤B130，具体包括：
根据所述的预训练模型A以及目标数据的类别数量，设计新的神经网络模型，且其中卷积特征提取网络
Figure BDA0002921798770000144
多尺度特征提取网络gθ与预训练网络中的设计和参数一致，而设计的全连接特征提取器，其输出层节点数据与目标数据包含的类别数量一致。
可选的，目标数据卷积特征提取步骤B134，具体包括：
将所述某个批次目标数据中的单个样本x′，运用所述迁移后的卷积特征提取网络
Figure BDA0002921798770000151
得到深度卷积特征
Figure BDA0002921798770000152
这里x′的维度大小为n×n×103，
Figure BDA0002921798770000153
的维度大小与n的尺度、所设计网络的参数(卷积核个数，卷积核参数、池化层)有关，
Figure BDA0002921798770000154
是所述迁移的三维深度卷积网络参数。
可选的，目标数据多尺度特征提取步骤B138，具体包括：
将所述的目标数据卷积特征
Figure BDA0002921798770000155
运用所述迁移后的多尺度特征提取网络gθ，得到目标数据样本的多尺度特征
Figure BDA0002921798770000156
根据预训练的设定，其输出是一个c×T的一维向量，这里T是该金字塔层中空间-光谱单元的个数，且输出的维度仅与金字塔的空间-光谱单元数量和最后一层的滤波器数量相关，与输入数据的空间尺度、通道数量无关。
可选的，微调阶段的全连接特征提取阶段B140，具体包括：
将所述的维度大小为c×T的多尺度特征
Figure BDA0002921798770000157
输入到一个输出层神经元个数为9的全连接神经网络h2ψ2，得到样本的全连接特征
Figure BDA0002921798770000158
其中ψ2是它的参数。
可选的，所述计算类别概率的步骤B150具体包括：
运用柔性最大函数(softmax)作用于所述的全连接特征
Figure BDA0002921798770000159
得到样本x′属于各类别的概率值
Figure BDA00029217987700001510
包含C个值(此时C＝9)，
Figure BDA00029217987700001511
表示x′属于第t个类的概率值，且
Figure BDA00029217987700001512
Figure BDA00029217987700001513
可选的，所述微调模型参数的步骤B160，具体包括：
根据所述的某个批次目标数据样本，每个样本运用上述A130-A160计算得到类别概率
Figure BDA00029217987700001514
并将其与源数据的真实标签Y′输入到交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X2，不断选择批次数据并迭代步骤B120和B134-B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0，，迭代完成后的卷积特征提取参数
Figure BDA0002921798770000161
多尺度特征提取参数θ和全连接特征提取参数ψ2结合在一起就是得到的微调阶段模型的参数。
可选的，所述应用阶段，进行图像分类的具体步骤包括：
当模型微调完成之后，对PaviaU数据按逐像元方法依次推断类别标签，即逐像元截取空间邻域窗口大小11×11的像元作为待分类三维样本，依次运用微调方法的相关步骤B134-B150，得到待分类样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
进一步的，参见图4，本发明还公开了开了一种跨通道数量迁移学习的高光谱图像分类系统，包括
包括三个部分：模型预训练部分、模型微调部分和模型应用部分，
所述模型预训练部分，具体如下：
样本集构建模块210：对源数据的高光谱图像库，选择质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；
批次数据构建模块220：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为模型预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
卷积特征提取模块230：对所述某个批次数据中的每个样本x，运用设计好的全卷积神经网络
Figure BDA0002921798770000162
得到该样本的卷积特征
Figure BDA0002921798770000163
其中
Figure BDA0002921798770000164
是它的参数；
多尺度特征提取模块240：对所述的卷积特征
Figure BDA0002921798770000165
运用设计好的金字塔池化层gθ，得到样本的多尺度特征
Figure BDA0002921798770000166
其中θ是它的参数；
全连接特征提取模块250：对所述多尺度特征
Figure BDA0002921798770000167
运用设计好的全连接神经网络h1ψ1，得到样本的全连接特征
Figure BDA0002921798770000171
其中ψ1是它的参数；
类别概率计算模块260：对所述的全连接特征
Figure BDA0002921798770000172
运用类别概率计算函数得，到样本x属于各类别的概率值；
参数更新模块270：基于所述的类别概率与源数据的真实标签，运用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代模块220-260，优化卷积特征提取参数
Figure BDA0002921798770000179
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0。
所述模型微调部分，具体如下：
样本集构建模块210：对目标数据的高光谱图像库，选择质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；
批次数据构建模块220：从所所述的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为模型微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
模型迁移模块280：将模型预训练部分中所学习到的多层全卷积神经网络
Figure BDA0002921798770000173
和金字塔池化层gθ，作为模型微调部分的卷积特征提取模块230和多尺度特征提取模块240；并对所述某目标数据批次中的每个样本x′，依次运用迁移的卷积特征提取模块230
Figure BDA0002921798770000174
和多尺度特征提取模块240(gθ)，得到样本的多尺度特征
Figure BDA0002921798770000175
全连接特征提取模块250：对所述的多尺度样本特征
Figure BDA0002921798770000176
运用设计好的全连接模块h2ψ2，得到样本的全连接特征
Figure BDA0002921798770000177
其中ψ2是它的参数；
类别概率计算模块260：对所述的全连接特征
Figure BDA0002921798770000178
运用类别概率计算函数得，到样本x′属于各类别的概率值；
微调参数模块285：基于所述的类别概率与目标数据x′的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代模块220-260，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0。
模型应用部分如下：
分类结果生成模块290：对于给定的待分类目标数据集中的高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用模块230-260，包括卷积特征提取模块230，多尺度特征提取模块240，全连接特征提取模块250,和类别概率计算模块260，计算得到待分类目标样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
综上，本发明具有如下优点：
1.本发明的迁移学习框架，可以在不改变源数据和目标数据维度的情况下、实现跨通道数量的模型迁移，能适应不同传感器的高光谱图像分类任务；
2.本发明在目标数据集应用时，仅需要少量的标注样本微调网络，而达到高精度，且当目标数据集与源数据集类别数量相同时，可以直接将预训练整个网络用于微调；
3.本发明的深度模型，可根据需求设计不同的多尺度特征提取层，使得网络在跨波段数量的前提下，也能跨样本空间尺度(可同时接受不同空间尺度5×5、7×7等)，具有较为重要的工程应用价值。
显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (8)

1.一种跨通道数量迁移学习的高光谱图像分类方法，其特征在于，所述图像分类方法分为模型的预训练阶段、微调阶段和应用阶段，具体包括：
源数据样本集构建步骤A110：对多个传感器的高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；
批次源数据选择步骤A120：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
卷积特征提取步骤A130：将所述某个批次数据中的单个样本x，输入到设计好的多层全卷积神经网络
Figure FDA0002921798760000011
得到该样本的卷积特征
Figure FDA0002921798760000012
其中该全卷积网络的基本单元包括：卷积层、池化层、批处理层和非线性激活函数，且不包含全连接层，
Figure FDA0002921798760000013
是它的参数；
多尺度特征提取步骤A140：将所述样本卷积特征
Figure FDA0002921798760000014
输入到设计好的金字塔池化层gθ，得到样本的多尺度特征
Figure FDA0002921798760000015
其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；
全连接特征提取步骤A150：将所述的多尺度特征
Figure FDA0002921798760000016
输入到设计好的全连接神经网络h1ψ1，得到样本的全连接特征
Figure FDA0002921798760000017
其中ψ1是它的参数，并且其输出层节点的个数为C1，C1是源数据集包含的类别数量；
计算类别概率的步骤A160：对所述的全连接特征
Figure FDA0002921798760000018
运用柔性最大函数作为输出层的激活函数，得到样本x属于各类别的概率值，且总概率和为1；
更新模型参数的步骤A170：基于所述的类别概率与源数据的真实标签，利用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120-A160，优化卷积特征提取参数
Figure FDA0002921798760000021
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0；
微调方法的步骤如下：
目标数据样本集构建步骤B110：对于某个目标传感器高光谱图像库，选取质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；
批次目标数据选择步骤B120：从所构建的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
预训练模型迁移步骤B130：将预训练阶段中所学习到的多层全卷积神经网络
Figure FDA0002921798760000022
和金字塔池化层gθ，分别作为卷积特征提取器和多尺度特征提取器，且在微调阶段相关参数不改变；
目标数据卷积特征提取步骤B134：将所述某个批次目标数据中的单个样本x′，输入到迁移的多层全卷积神经网络
Figure FDA0002921798760000023
得到目标数据卷积特征
Figure FDA0002921798760000024
目标数据多尺度特征提取步骤B138：将所述的目标数据卷积特征
Figure FDA0002921798760000025
输入到迁移的金字塔池化层gθ，得到目标数据样本的多尺度特征
Figure FDA0002921798760000026
全连接特征提取阶段B140：将所述目标数据多尺度特征
Figure FDA0002921798760000027
输入到新设计的全连接神经网络h2ψ2，得到样本的全连接特征
Figure FDA0002921798760000028
其中ψ2是它的参数，并且其输出层节点的个数为C2，C2是目标数据集包含的类别数量；
计算类别概率的步骤B150：对所述目标数据的全连接特征
Figure FDA0002921798760000031
运用柔性最大函数作为输出层的激活函数，得到样本x′属于各类别的概率值，且总概率和为1；
微调模型参数的步骤B160：基于所述的类别概率与目标数据的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代步骤B120和B134-B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0；
应用方法的步骤如下：
对于给定的待分类目标数据集中的高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用微调方法的相关步骤，包括目标数据卷积特征提取步骤、目标数据多尺度特征提取步骤、全连接特征提取步骤和类别概率计算步骤，得到待分类样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
2.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：
所述源数据样本集构建步骤A110具体包括：
在源数据上以有标签的像元为中心，按照不同空间邻域窗口{w1×w1，…，wK×wK}截取源数据集样本，并且按照一定规则组织样本，这里的样本可以是一维、二维或者三维的，且所截取样本的标签与中心像元的标签相同；
所述批次源数据选择步骤A120具体包括：
根据空间邻域窗口大小，将所述源数据样本集X1，分成K类{X11,…,X1K}；并生成一个随机正整数k，它大于等于1，小于等于K，然后从子样本集X1k中随机选择B1个样本；由于每次随机生成的k可能不同，故允许不同批次的样本空间尺寸不相同，但同一批次的空间尺寸相同；
所述源数据卷积特征提取步骤A130具体包括：
将某个批次的某个输入样本x，输入到所设计的深度全卷积网络
Figure FDA0002921798760000041
中，得到深度全卷积特征
Figure FDA0002921798760000042
这里x为所构建的源数据样本，并
Figure FDA0002921798760000043
的维度大小与n的尺度、所设计网络的参数(卷积核个数，卷积核参数、池化层)有关，
Figure FDA0002921798760000044
是所述深度全卷积网络的参数。
3.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：
所述多尺度特征提取步骤A140具体包括：
将所述源数据样本卷积特征
Figure FDA0002921798760000045
输入到设计好的光谱-空间金字塔池化层gθ，得到样本的多尺度特征
Figure FDA0002921798760000046
其中该金字塔池化层包含多个尺度(空间尺度和通道尺度)的特征提取函数，且对于不同的尺度的输入，得到的多尺度特征维度是相同的，θ是它的参数；
所述在多尺度特征提取步骤中，所述的一种多尺度特征提取网络—自适应空谱金字塔池化层(如图7)具体包括：
假设输入的样本卷积特征
Figure FDA0002921798760000047
的维度大小为w×h×d×c，其中c表示最后一个卷积层输出的滤波器数量，w×h×d表示最后一个卷积层输出的特征图大小。那么如图7所示，自适应空谱金字塔池化层的输出是一个c×T的一维向量(如图输出大小为(64+8+1)×c)，这里T是该金字塔层中空间-光谱单元的个数，且输出的维度仅与金字塔的空间-光谱单元数量和最后一层的滤波器数量相关，与输入数据的空间尺度、通道数量无关，故所设计的迁移学习模型能实现跨通道数量迁移。
4.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：
所述的全连接特征提取步骤A150具体包括：
将所述的维度大小为c×T的多尺度特征
Figure FDA0002921798760000051
输入到一个输出层神经元个数为C1的全连接神经网络h1ψ1，得到样本的全连接特征
Figure FDA0002921798760000052
其中C1为源数据集的类别数量，ψ1是它的参数；
所述计算类别概率的步骤A160具体包括：
运用柔性最大函数(softmax)作用于所述的全连接特征
Figure FDA0002921798760000053
得到样本x属于各类别的概率值
Figure FDA0002921798760000054
包含C1个值，
Figure FDA0002921798760000055
表示x属于第i个类的概率值，且
Figure FDA0002921798760000056
所述更新预训练模型参数的步骤A170具体包括：
根据所述的某个批次源数据样本，每个样本运用上述A130-A160计算得到类别概率
Figure FDA0002921798760000057
并将其与源数据的真实标签Y输入到交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代步骤A120-A160，优化卷积特征提取参数
Figure FDA0002921798760000058
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近零，迭代完成后的卷积特征提取参数
Figure FDA0002921798760000059
多尺度特征提取参数θ和全连接特征提取参数ψ1结合在一起就是预训练得到的参数，其中当源数据与目标数据包含的类别数量不一致时，
Figure FDA00029217987600000510
和θ为微调阶段模型迁移的参数，当源数据与目标数据包含的类别数量相同时，可迁移预训练的所有参数
Figure FDA00029217987600000511
θ和ψ1。
5.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：
所述目标数据样本集构建步骤B110，具体包括：
在目标数据上以有标签的像元为中心，与源数据集相似按照不同空间邻域窗口{w1×w1，…，wK×wK}截取目标数据集样本，并且按照与源数据集样本构建相同的规则，组织目标数据样本，且所截取样本的标签与中心像元的标签相同；
所述批次目标数据选择步骤B120，具体包括：
根据空间邻域窗口大小，将所述目标数据样本集X2，分成Z类{X11,…,X1Z}；并生成一个随机正整数z，它大于等于1，小于等于Z，然后从子样本集X1z中随机选择B2个样本；由于每次随机生成的z可能不同，故允许不同批次的样本空间尺寸不相同，但同一批次的空间尺寸相同；
所述预训练模型迁移步骤B130，具体包括：
根据所述的预训练模型A以及目标数据的类别数量，设计新的神经网络模型，且其中卷积特征提取网络
Figure FDA0002921798760000061
多尺度特征提取网络gθ与预训练网络中的设计和参数一致，而设计的全连接特征提取器，其输出层节点数据与目标数据包含的类别数量一致；
所述目标数据卷积特征提取步骤B134，具体包括：
将所述某个批次目标数据中的单个样本x′，运用所述迁移后的卷积特征提取网络
Figure FDA0002921798760000062
得到深度卷积特征
Figure FDA0002921798760000063
这里x′为所构建的目标数据样本，
Figure FDA0002921798760000064
的维度大小与n的尺度、所设计网络的参数(卷积核个数，卷积核参数、池化层)有关，
Figure FDA0002921798760000065
是所述迁移后深度全卷积网络参数；
所述目标数据多尺度特征提取步骤B138，具体包括：
将所述的目标数据卷积特征
Figure FDA0002921798760000066
运用所述迁移后的多尺度特征提取网络gθ，得到目标数据样本的多尺度特征
Figure FDA0002921798760000067
根据预训练的设定，其输出是一个c×T的一维向量，这里T是该金字塔层中空间-光谱单元的个数，且输出的维度仅与金字塔的空间-光谱单元数量和最后一层的滤波器数量相关，与输入数据的空间尺度、通道数量无关。
6.根据权利要求1所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：
所述微调阶段的全连接特征提取阶段B140，具体包括：
将所述的维度大小为c×T的多尺度特征
Figure FDA0002921798760000071
输入到一个输出层神经元个数为C2的全连接神经网络h2ψ2，得到样本的全连接特征
Figure FDA0002921798760000072
其中ψ2是它的参数，C2是目标数据集包含的类别数量；
所述计算类别概率的步骤B150具体包括：
运用柔性最大函数(softmax)作用于所述的全连接特征
Figure FDA0002921798760000073
得到样本x′属于各类别的概率值
Figure FDA0002921798760000074
包含C2个值，
Figure FDA0002921798760000075
表示x′属于第t个类的概率值，且
Figure FDA0002921798760000076
所述微调模型参数的步骤B160，具体包括：
根据所述的某个批次目标数据样本，每个样本运用上述A130-A160计算得到类别概率
Figure FDA0002921798760000077
并将其与源数据的真实标签Y′输入到交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X2，不断选择批次数据并迭代步骤B120和B134-B160，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0，迭代完成后的卷积特征提取参数
Figure FDA0002921798760000078
多尺度特征提取参数θ和全连接特征提取参数ψ2结合在一起就是得到的微调阶段模型的参数。
7.根据权利要求2-6中任意一项所述跨通道数量迁移学习的高光谱图像分类方法，其特征在于：
所述应用阶段，进行图像分类的具体步骤包括：
当模型微调完成之后，对目标数据按逐像元方法依次推断类别标签，即按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用微调方法的相关步骤B134-B150，包括目标数据卷积特征提取步骤、目标数据多尺度特征提取步骤、全连接特征提取步骤和类别概率计算步骤，得到待分类样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
8.一种跨通道数量迁移学习的高光谱图像分类系统，其特征在于：
包括三个部分：模型预训练部分、模型微调部分和模型应用部分，
所述模型预训练部分，具体如下：
样本集构建模块210：对源数据的高光谱图像库，选择质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的源数据样本集X1；
批次数据构建模块220：从所构建的源数据样本集X1中，随机选择尺寸(空间大小和通道数量)相同的N1个样本，作为模型预训练中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
卷积特征提取模块230：对所述某个批次数据中的每个样本x，运用设计好的全卷积神经网络
Figure FDA0002921798760000081
得到该样本的卷积特征
Figure FDA0002921798760000082
其中
Figure FDA0002921798760000083
是它的参数；
多尺度特征提取模块240：对所述的卷积特征
Figure FDA0002921798760000084
运用设计好的金字塔池化层gθ，得到样本的多尺度特征
Figure FDA0002921798760000085
其中θ是它的参数；
全连接特征提取模块250：对所述多尺度特征
Figure FDA0002921798760000086
运用设计好的全连接神经网络h1ψ1，得到样本的全连接特征
Figure FDA0002921798760000087
其中ψ1是它的参数；
类别概率计算模块260：对所述的全连接特征
Figure FDA0002921798760000088
运用类别概率计算函数得，到样本x属于各类别的概率值；
参数更新模块270：基于所述的类别概率与源数据的真实标签，运用交叉熵损失函数计算所选批次源数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的源数据样本集X1，不断选择批次数据并迭代模块220-260，优化卷积特征提取参数
Figure FDA0002921798760000091
多尺度特征提取参数θ和全连接特征提取参数ψ1，直到任意批次数据的损失函数稳定逼近0；
所述模型微调部分，具体如下：
样本集构建模块210：对目标数据的高光谱图像库，选择质量较高经过辐射校正的高光谱图像，构建包含不同目标类别的目标数据样本集X2；
批次数据构建模块220：从所所述的目标数据样本集X2中，随机选择尺寸(空间大小和通道数量)相同的N2个样本，作为模型微调阶段中一个批次的输入数据，这里允许不同批次的数据尺寸不相同；
模型迁移模块280：将模型预训练部分中所学习到的多层全卷积神经网络
Figure FDA0002921798760000092
和金字塔池化层gθ，作为模型微调部分的卷积特征提取模块230和多尺度特征提取模块240；并对所述某目标数据批次中的每个样本x′，依次运用迁移的卷积特征提取模块230
Figure FDA0002921798760000093
和多尺度特征提取模块240(gθ)，得到样本的多尺度特征
Figure FDA0002921798760000094
全连接特征提取模块250：对所述的多尺度样本特征
Figure FDA0002921798760000095
运用设计好的全连接模块h2ψ2，得到样本的全连接特征
Figure FDA0002921798760000096
其中ψ2是它的参数；
类别概率计算模块260：对所述的全连接特征
Figure FDA0002921798760000097
运用类别概率计算函数得，到样本x′属于各类别的概率值；
微调参数模块285：基于所述的类别概率与目标数据x′的真实标签，利用交叉熵损失函数计算所选批次目标数据的损失总和，然后利用反向传播机制更新模型的参数，最后完成模型的预训练，即根据所述的目标数据样本集X2，不断选择批次数据并迭代模块220-260，优化全连接特征提取参数ψ2，直到任意批次数据的损失函数稳定逼近0；
模型应用部分如下：
分类结果生成模块290：对于给定的待分类目标数据集中的高光谱图像按逐像元方法依次推断类别标签，根据待分类像元，构建待分类样本，依次运用模块230-260，包括卷积特征提取模块230，多尺度特征提取模块240，全连接特征提取模块250,和类别概率计算模块260，计算得到待分类目标样本的类别概率，然后根据最大概率得到待分类像元的类别信息，最后根据逐像元的推断结果，生成分类结果图像。
CN202110119042.7A 2021-01-28 2021-01-28 一种跨通道数量迁移学习的高图像分类方法及系统 Withdrawn CN112906756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110119042.7A CN112906756A (zh) 2021-01-28 2021-01-28 一种跨通道数量迁移学习的高图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110119042.7A CN112906756A (zh) 2021-01-28 2021-01-28 一种跨通道数量迁移学习的高图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN112906756A true CN112906756A (zh) 2021-06-04

Family

ID=76119743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110119042.7A Withdrawn CN112906756A (zh) 2021-01-28 2021-01-28 一种跨通道数量迁移学习的高图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN112906756A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807219A (zh) * 2021-09-06 2021-12-17 苏州中科蓝迪软件技术有限公司 一种种植地块粮油作物类型分步识别方法
CN113947725A (zh) * 2021-10-26 2022-01-18 中国矿业大学 一种基于卷积宽度迁移网络的高光谱图像分类方法
CN114821097A (zh) * 2022-04-07 2022-07-29 西南交通大学 一种基于迁移学习的多尺度特征图像分类方法
CN116416479A (zh) * 2023-06-06 2023-07-11 江西理工大学南昌校区 基于深度卷积融合多尺度图像特征的矿物分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807219A (zh) * 2021-09-06 2021-12-17 苏州中科蓝迪软件技术有限公司 一种种植地块粮油作物类型分步识别方法
CN113947725A (zh) * 2021-10-26 2022-01-18 中国矿业大学 一种基于卷积宽度迁移网络的高光谱图像分类方法
CN114821097A (zh) * 2022-04-07 2022-07-29 西南交通大学 一种基于迁移学习的多尺度特征图像分类方法
CN114821097B (zh) * 2022-04-07 2023-04-18 西南交通大学 一种基于迁移学习的多尺度特征图像分类方法
CN116416479A (zh) * 2023-06-06 2023-07-11 江西理工大学南昌校区 基于深度卷积融合多尺度图像特征的矿物分类方法
CN116416479B (zh) * 2023-06-06 2023-08-29 江西理工大学南昌校区 基于深度卷积融合多尺度图像特征的矿物分类方法

Similar Documents

Publication Publication Date Title
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN112906756A (zh) 一种跨通道数量迁移学习的高图像分类方法及系统
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
Wang et al. Few-shot SAR automatic target recognition based on Conv-BiLSTM prototypical network
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN111882040A (zh) 基于通道数量搜索的卷积神经网络压缩方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN114821217B (zh) 一种基于量子经典混合神经网络的图像识别方法及装置
CN111626267B (zh) 一种利用空洞卷积的高光谱遥感图像分类方法
CN113705641A (zh) 基于富上下文网络的高光谱图像分类方法
CN113420593B (zh) 基于混合推理网络的小样本sar自动目标识别方法
CN114493014A (zh) 多元时间序列预测方法、系统及计算机产品、存储介质
WO2021062050A1 (en) Icospherical gauge convolutional neural network
CN111986193A (zh) 一种遥感影像变化检测方法、电子设备及存储介质
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Xie et al. Semantic and spatial‐spectral feature fusion transformer network for the classification of hyperspectral image
Melzer et al. Exploring characteristics of neural network architecture computation for enabling SAR ATR
CN113962262B (zh) 一种基于连续学习的雷达信号智能分选方法
Miroszewski et al. Detecting clouds in multispectral satellite images using quantum-kernel support vector machines
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
Rajalakshmi et al. Hyperspectral Remote Sensing Image Classification Using Improved Metaheuristic with Deep Learning.
CN116563683A (zh) 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法
Yaman et al. Image processing and machine learning‐based classification method for hyperspectral images
Pan et al. Enhanced FCN for farmland extraction from remote sensing image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210604