CN114187510A - 基于元核网络的小样本遥感场景分类方法 - Google Patents

基于元核网络的小样本遥感场景分类方法 Download PDF

Info

Publication number
CN114187510A
CN114187510A CN202111456120.9A CN202111456120A CN114187510A CN 114187510 A CN114187510 A CN 114187510A CN 202111456120 A CN202111456120 A CN 202111456120A CN 114187510 A CN114187510 A CN 114187510A
Authority
CN
China
Prior art keywords
remote sensing
classification
class
network
metanuclear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111456120.9A
Other languages
English (en)
Other versions
CN114187510B (zh
Inventor
彭剑
崔振琦
赵革
李海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111456120.9A priority Critical patent/CN114187510B/zh
Publication of CN114187510A publication Critical patent/CN114187510A/zh
Application granted granted Critical
Publication of CN114187510B publication Critical patent/CN114187510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于元核网络的小样本遥感场景分类方法，包括选取给定不重叠的遥感数据集；对于每个任务，将给定的支持集嵌入到向量中；采用参数化的线性分类器对嵌入得到的特征向量进行分类；使用非线性映射将度量空间中的特征二次映射到高维空间，扩大分离边界表面周围的空间分辨率；使用拉伸损失函数约束类内与类间的方差比，强迫类内特征聚集；使用最终的最优解，将小样本遥感图片进行场景分类。本发明利用特定的任务信息，解除固定距离对模型的限制；将嵌入空间中的特征二次映射到高维空间中，提高分类边界清晰度，增强分类效果；降低类别边界对样本选择的依赖性，增加分类边界的鲁棒性，提高模型分类效果。

Description

基于元核网络的小样本遥感场景分类方法
技术领域
本发明属于遥感图像识别技术领域，尤其涉及基于元核网络的小样本遥感场景分类方法。
背景技术
场景分类是遥感图像解译领域的一个基础而重要的问题，其目的是根据语义内容为每张未标记的遥感图像分配一个特定的语义标签。该任务具有广泛的应用，包括灾害检测、住宅规划、环境监测、土地资源管理等。小样本遥感场景分类试图使模型迅速适应不出现在封闭训练集中的新场景，而每个新场景只有少数标记的例子。一方面，由于有限的样本很难描述数据的分布，所以模型要学习好的泛化特征是一个挑战；另一方面，由于表征受限，所以模型要学习依赖于样本偏差的分类边界是另一个挑战。
近年来，得益于高性能计算单元的发展，基于深度学习的方法凭借其出色的特征提取能力在遥感场景分类任务上取得了许多优异的成绩。该类方法的本质是使用自动编码机(Auto Encoder，AE)、深度信念网络(Deep Belief Network，DBN)和卷积神经网络(Convolutional Neural Network，CNN)等深度神经神经网络端到端的提取特征。一方面，这类方法都是基于封闭世界假设的，然而，在现实中，世界是开放的，本发明不得不面对封闭数据集中并不存在的新的遥感场景。另一方面，他们也都是数据饥渴的，因此这些标准监督的深度学习范式往往因为过拟合，无法为从少量数据中学习提供令人满意的解决方案。因此，为了减少对数据标注的依赖，更多的研究人员努力开发强大的方法，从很少的样本中学习新的概念，这就是所谓的小样本学习(FSL)。
为了解决FSL问题，最先进的方法当属元学习，其核心概念是学习一个模型，在给定任务(一组标记数据)的情况下，产生一个可以在所有任务中泛化的分类器。通过引入元学习策略和度量学习框架，匹配网络贡献了早期的小样本分类方法。原型网络和关系网络在此基础上做了进一步改进。这类方法通常由一个嵌入模块和一个度量模块组成。对于一个给定的未标记的遥感图像和几个标记的图像，嵌入模块首先生成所有输入图像的低维嵌入，然后度量模块通过测量未标记的图像特征和样本图像特征之间的距离给出识别结果。这类方法的本质是期望构建的嵌入空间能够更好地适应一些预先指定的距离度量函数，如余弦相似度或欧氏距离。然而，在实践中，由于只有嵌入模块是可学习的，固定的度量函数限制了特征提取器产生判别性的表示。Sung,I等人试图通过引入一个隐含的可学习的度量模块来解决上述问题，但事实证明，由于其固有的局部连通性，比较能力仍然有限。
有些图片的"商业区"、"密集区"、"湿地和湖泊"、"高速公路"和"跑道"几乎没有区别，而"宫殿"和"教堂"也非常相似。标签样本的稀少放大了这些相似个体对分类边界的影响，使得这些类别之间的高度相似性导致了嵌入模块产生的低维特征的纠缠，这使得度量模块无法进行有效的线性划分。
此外，由于地面物体的复杂性和多样性，在采集过程中还会受到背景、光照和比例等成像条件的影响。因此，有些图片中同一语义类别的场景图像中的物体之间存在较大的视觉差异，导致遥感图像的类内差异较大。这种大的类内变化导致类内特征分散现象。当样本数量足够丰富时，大量的样本可以弥补类的边界对样本的依赖性。然而，在小样本的情况下，当一个类的特征变得分散时，类内与类间方差比上升，类边界对选择一个样本的依赖性变得更强。这时通过对一个数据点进行抽样形成的分类边界往往会对大的区域进行错误分类，从而影响整体的分类精度。
小样本学习的核心是通过少数有监督信息的样本对新任务进行快速归纳，它大体上可以分为三种方法：基于生成的方法，基于梯度的方法，以及基于度量的方法。
基于生成的方法的核心思想是通过生成假的样本，将小的数据集扩展到大的数据集。Y.Wang提出了表示正则化技术为数据匮乏的类别幻化出额外的训练实例。L.Gomez-chova等人通过从有足够例子的类中转移统计数据来校准少数样本类的分布，相似的，N.Longbotham等人提出了一个带有数据平衡增强的光谱-空间分形残差卷积神经网络以解决高光谱分类中存在的标注样本有限问题。S.Chaib等人提出了弓形网络，通过反馈回路共同学习三维几何和语义表征。
基于梯度的方法着重于通过梯度下降使模型参数快速适应新的任务。迭代地选择一批以前的任务，为每个任务训练学习者以计算梯度和损失，并在权重更容易被反向传播更新的方向上进行更新。对一个给定的任务进行随机梯度下降的K次迭代，然后逐渐将初始化权重向K次迭代后得到的权重移动。还可学习步长大小，或训练循环网络从梯度中预测步长。
基于度量的方法的目的是通过度量约束获取一个可以适应新任务的特征空间，这个特征空间与网络的权重相吻合。新的任务可以通过比较新的输入和该特征空间中的标签来学习。一个新的输入和这个标签之间的相似度越高，新的输入就越有可能属于该标签所代表的类别。孪生网络和匹配网络构建了基本学习范式，奠定了该类方法的基础。原型方法在此基础上开创性的提出原型中心的概念，通过一个前馈神经网络来嵌入任务实例，将类中心作为原型中心，使用最近邻分类器进行分类。在此基础上使用可学习的距离度量并提出一个均衡损失函数，目的是在最大化拟合能力的同时，可以在不同遥感场景中获得最大泛化能力。DLA方法通过引入通道注意力和空间注意力模块以获得更具判别性的遥感影像特征，从全局和局部的角度捕捉遥感场景的辨别特征信息。
发明内容
本发明提出了一个称为元核网络的网络框架，以提高小样本遥感场景分类的有效性。本发明的方法仍然在度量学习的框架内，并遵循episode(任务)的训练策略。首先，本发明摒弃了非参数化的最近邻分类器，将参数化的线性分类器融入度量空间以解除固定的度量函数对模型可学习性的限制。参数化线性分类器允许更多的灵活性，因为它们为不同的任务产生不同的参数集，可以学习更多的特定任务知识.第二，本发明提出元核策略，将度量空间中的特征二次映射到高维空间，从而有效的解决了因遥感影像类间高相似性而引起的低维特征纠缠问题。第三，本发明提出了一个新的损失函数，名为拉伸损失。该损失函数通过约束类内与类间的方差比，降低了类别边界对样本选择的依赖性，从而有效的解决了因遥感影像类内极大的差异性而引发的类别误判现象。
具体地，本发明公开的基于元核网络的小样本遥感场景分类方法，包括以下步骤：
选取给定不重叠的第一遥感数据集和第二遥感数据集，从第一遥感数据集中构建训练集和验证集，从第二遥感数据集中构建测试集；所述训练集、验证集和测试集包括多个任务，所述任务包括支持集和查询集；
对于每个任务，将给定的支持集嵌入到向量中；
采用参数化的线性分类器对嵌入得到的特征向量进行分类，为不同的任务产生不同的参数集，计算出最优解后，得到梯度最优线性逼近，再通过优化轨迹进行反向传播；
针对低维纠缠特征，使用非线性映射将度量空间中的特征二次映射到高维空间，扩大分离边界表面周围的空间分辨率；
使用拉伸损失函数约束类内与类间的方差比，强迫类内特征聚集；
使用最终的最优解，将小样本遥感图片进行场景分类。
进一步的，所述将给定的支持集嵌入到向量中的计算公式如下：
Figure BDA0003387743980000051
其中V为视觉特征向量，
Figure BDA0003387743980000052
为网络参数。
进一步的，所述采用参数化的线性分类器对嵌入得到的特征向量进行分类的计算如下：
Figure BDA0003387743980000053
T表示训练过程中采样的一个任务，p(t)是任务的分布，θ定义了用于预测验证集中的例子的线性回归权重，为从p(T)中抽取的新任务提供解决方案。
进一步的，针对训练过程中采样的一个任务，都有
Figure BDA0003387743980000054
并且
Figure BDA0003387743980000055
其中
Figure BDA0003387743980000056
其中wn是第n个分类边界的参数，σn和σnk是正则项，η是正则项系数，xi是第i个输入，yi是对应的预测值，N是分类任务的类别数，
Figure BDA0003387743980000068
是获得由x参数化的预测模型。
进一步的，所述计算出最优解后，得到梯度最优线性逼近，再通过优化轨迹进行反向传播包括：
令c＝(θ，λ，v)，定义函数
Figure BDA0003387743980000061
其中diag(·)表示对角化操作，然后定义雅各比矩阵
Figure BDA0003387743980000062
当且仅当
Figure BDA0003387743980000063
取得最优解；
其中函数f和h分别是等式约束和不等式约束，F为求解拉格朗日鞍点
Figure BDA0003387743980000064
Figure BDA0003387743980000065
的函数，x是输入的图像。
当计算出最优解
Figure BDA0003387743980000066
时，就可以得到梯度最优线性逼近，然后通过优化轨迹进行反向传播。
进一步的，所述使用非线性映射将度量空间中的特征二次映射到高维空间的计算公式如下：
Figure BDA0003387743980000067
其中，Mtrain为支持集，Mtest为查询集，Φ为非线性映射函数，θ定义用于预测验证集中例子的线性回归权重，V为视觉特征向量，y为真实标签。
进一步的，损失函数计算如下：
L＝Lcls+αLstr
其中Lcls为分类损失函数，Lstr为拉伸损失函数。
进一步的，所述分类损失函数Lcls衡量嵌入模块中的分类效果，评估从同一分布中采样的测试数据的负对数可能性，计算如下：
Figure BDA0003387743980000071
其中wy是真实的分类边界，wk是第k个样本的预测边界，
Figure BDA0003387743980000072
是获得由x参数化的预测模型。
进一步的，所述拉伸损失函数，减小降低类别边界对样本选择的依赖性，提升分类边界鲁棒性，通过约束类内与类间的方差比，强迫类内特征聚集达成目的，计算如下：
Figure BDA0003387743980000073
其中，N表示类别数，K表示每个类别下包含的样本数,Vi表示第i个输入图像的视觉特征，vi表示类别i的特征向量的均值，v表示所有特征向量的均值。
本发明的有益效果如下：
1、通过将参数化的线性分类器有效的融合到元学习框架中，使得本发明的模型高效利用了特定的任务信息，解除了固定距离对模型的限制。
2、本发明提出一个元核策略，将嵌入空间中的特征二次映射到高维空间中，解决了因遥感影像类间相似性引发的低维特征纠缠问题，提高了分类边界清晰度，增强了分类效果。
3、本发明提出拉伸损失，通过减小类内类间方差比的方式，最大程度的降低了类别边界对样本选择的依赖性，有效的增加了分类边界的鲁棒性，提高了模型分类效果。
4、在三个公开的、具有挑战性的遥感数据集上的实验结果表明，本发明提出的MKN方法取得了最先进的结果。
附图说明
图1本发明基于元核网络的小样本遥感场景分类方法框架图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
本发明提出了用于小样本遥感分类的元核网络(MKN)的方法。本发明的方法在元度量学习的框架下，遵循episode的训练策略。针对每一个任务task，嵌入模块获取遥感图像特征，度量模块对不同特征进行线性分类。一方面，针对低维特征纠缠问题，本发明提出元核策略将其二次映射到较高维空间进行解缠，另一方面，为了降低类别边界对样本选择的依赖性本发明通过伸展loss约束类内与类间的方差比，强迫类内特征聚集。
问题定义：
给定不重叠的遥感数据集Cseen和Cunseen，本发明的目标是快速识别从Cunseen中抽取的N个不同的遥感场景，每个场景仅含有K个有标签样本。由于本发明拟解决的是小样本的遥感场景分类问题，所以K的设定通常很小，通常K∈{1,5}。训练集Dtrain和验证集Dval是从Cseen中构建的，测试集Dtest是从Cunseen构建的，验证集Dval的作用是选择合适的超参数和最好的模型，并且和训练集没有交集，即Dtrain∩Dval＝φ。Dtrain，Dval和Dtest都包含多个任务(episode)。每一个episode由支持集Mtrain和查询集Mtest组成，即
Figure BDA0003387743980000081
Figure BDA0003387743980000082
其中Etr，Eval，Ets分别代表训练，验证，测试过程中esipode的数量。训练阶段，对于每一个episode，本发明通过从Dtrain中采样M个不同的类别，每个类别K个有标签样本构建支持集
Figure BDA0003387743980000091
从剩下的类别中采样N个类别构建查询集合
Figure BDA0003387743980000092
注意Mtrain和Mtest也没有交集，即Mtrain∩Mtest＝φ。
嵌入模块：
本发明的最终目标是通过求解
Figure BDA0003387743980000093
获得由x参数化的预测模型
Figure BDA0003387743980000094
其中L为损失函数，衡量真实标签和由
Figure BDA0003387743980000095
预测的标签之间的误差。L由两个部分组成，第一部分衡量嵌入模块中的分类效果，第二部分为拉伸损失loss。它通过约束类内与类间的方差比，强迫类内特征聚集。通过嵌入模块，本发明将数据域映射到特征空间从而使得视觉信息彼此关联。即，对于每个任务episode，给定的数据集Mtrain嵌入到一个向量中：
Figure BDA0003387743980000096
度量模块：
度量模块需要针对嵌入模块得到的特征向量给出一个最佳的分类方案，传统方法大多使用最近邻分类器，然而这种分参数化的方法忽略了与任务相关的信息，固定的度量函数限制了特征提取器产生判别性的表示。因此，本发明采用参数化的线性分类器使度量空间具有更大的灵活性，因为它们可以为不同的任务产生一组不同的参数，并学习更多的特定任务知识。
Figure BDA0003387743980000097
T表示了训练过程中采样的一个任务，p(t)是任务的分布。θ定义了用于预测验证集中的例子的线性回归权重，为从p(T)中抽取的新的任务提供一个好的解决方案。针对每一个任务，都有
Figure BDA0003387743980000101
并且
Figure BDA0003387743980000102
其中
Figure BDA0003387743980000103
其中wn是第n个分类边界的参数，σn和σnk是正则项，η是正则项系数，xi是第i个输入，yi是对应的预测值，N是分类任务的类别数，
Figure BDA0003387743980000104
是获得由x参数化的预测模型。
本发明的嵌入模块是可微的，为了使整个模型可以端到端的训练，这就需要本发明的嵌入模块也是可微分的，即本发明需要计算出线性分类模型的梯度，然后进行反向传播，从而优化模型。
考虑如下优化问题：
minimize
Figure BDA0003387743980000105
这里向量θ是问题的优化变量，向量x是输入数据，函数f0是目标函数，函数f和h分别是等式约束和不等式约束，假设函数fi在固定的θ下是凸的，则可以通过求解以下拉格朗日的鞍点
Figure BDA0003387743980000106
来优化目标，
F(θ，λ，v，x）＝f0(θ，x)+λTf(θ，x)+vTh(θ，x) (7)
充分且必要的最优条件如下：
Figure BDA0003387743980000111
Figure BDA0003387743980000112
Figure BDA0003387743980000113
Figure BDA0003387743980000114
Figure BDA0003387743980000115
如果在一个连通区域内雅可比行列式恒等于零，则函数组是函数相关的，其中至少有一个函数是其余函数的一个连续可微的函数，也就是说，雅可比矩阵能够体现一个微分方程与给出点的最优线性逼近。
所以，本发明令z＝(θ，λ，v)，定义函数
Figure BDA0003387743980000116
其中diag(·)表示对角化操作。然后定义雅各比矩阵
Figure BDA0003387743980000117
当且仅当
Figure BDA0003387743980000118
取得最优解；
其中函数f和h分别是等式约束和不等式约束，F为求解拉格朗日鞍点
Figure BDA0003387743980000119
Figure BDA00033877439800001110
的函数，x是输入的图像。
当计算出最优解
Figure BDA00033877439800001111
时，就可以得到梯度最优线性逼近，然后通过优化轨迹进行反向传播。
针对低维纠缠特征，本发明引入元核的策略，使用非线性映射Φ(x)将度量空间中的特征二次映射到高维空间
Figure BDA00033877439800001112
(C可以是无穷大)，通过共形映射扩大分离边界表面周围的空间分辨率，从而提高不同类别之间的可分离性，核函数定义如下：
Figure BDA00033877439800001113
其中
Figure BDA0003387743980000121
并且
Figure BDA0003387743980000122
其中σ虽然是核函数超参数，但是它可以通过不同的任务和θ一同学习，一切都无需人为设定，这不仅使得模型以数据驱动的方式运行，也大大提高了模型效果和效率。此时公式3可以重新表达为：
Figure BDA0003387743980000123
损失函数
本发明的损失函数由两部分组成，第一部分衡量嵌入模块中的分类效果。本发明评估了从同一分布中采样的测试数据的负对数可能性：
Figure BDA0003387743980000124
wy是真实的分类边界，wk是第k个样本的预测边界，
Figure BDA0003387743980000125
是获得由x参数化的预测模型。
第二部分本发明命名为拉伸loss。遥感影像存在类间巨大的相似性，这就造成了度量空间内类内特征离散现象，在数据量很小时，分类边界很容易受到采样点的影响，即分类边界脆弱。因此，为了减小降低类别边界对样本选择的依赖性，提升分类边界鲁棒性，本发明提出拉伸损失loss。它通过约束类内与类间的方差比，强迫类内特征聚集达成目的。
Figure BDA0003387743980000126
N表示类别数，K表示每个类别下包含的样本数,Vi表示第i个输入图像的视觉特征，vi表示类别i的特征向量的均值，v表示所有特征向量的均值。因此，本发明的损失函数是：
L＝Lcls+αLstr (17)
实验结果
本发明将提出的MKN与三个基准数据集上的代表性和最先进的方法进行了比较。不难看出，无论是只给定一个样本(K＝1)还是五个样本(K＝5)，本发明的方法都表现出最好的性能，在UC_Merced数据集上分别达到57.29％和75.42％的场景分类精度，在AID上达到58.45％和77.92％的场景分类精度，在NWPUSISCS数据集中达到65.84％和82.67％的场景分类精度。此外，本发明还报告了在这三个数据集中的每一个上以混淆矩阵衡量的结果。在每个数据集中，本发明都显示了1次和5次的混淆矩阵，如图所示，其中第i行和第j列的条目代表了第i类的测试图像被分类为第j类的比率。
表1 NWPU-RESISC45数据集上不同方法的分类精度(％)(粗体字代表每种情况下这些方法中的最佳精度)
Figure BDA0003387743980000131
表2 AID数据集上不同方法的分类精度(％)(粗体字代表每种情况下这些方法中的最佳精度)
Figure BDA0003387743980000141
表3 UC_Merced数据集上不同方法的分类精度(％)(粗体字代表每种情况下这些方法中的最佳精度)
Figure BDA0003387743980000142
本发明的有益效果如下：
1、通过将参数化的线性分类器有效的融合到元学习框架中，使得本发明的模型高效利用了特定的任务信息，解除了固定距离对模型的限制。
2、本发明提出一个元核策略，将嵌入空间中的特征二次映射到高维空间中，解决了因遥感影像类间相似性引发的低维特征纠缠问题，提高了分类边界清晰度，增强了分类效果。
3、本发明提出拉伸损失，通过减小类内类间方差比的方式，最大程度的降低了类别边界对样本选择的依赖性，有效的增加了分类边界的鲁棒性，提高了模型分类效果。
4、在三个公开的、具有挑战性的遥感数据集上的实验结果表明，本发明提出的MKN方法取得了最先进的结果。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.基于元核网络的小样本遥感场景分类方法，其特征在于，包括以下步骤：选取给定不重叠的第一遥感数据集和第二遥感数据集，从第一遥感数据集中构建训练集和验证集，从第二遥感数据集中构建测试集；所述训练集、验证集和测试集包括多个任务，所述任务包括支持集和查询集；
对于每个任务，将给定的支持集嵌入到视觉特征向量中；
采用参数化的线性分类器对所述视觉特征向量进行分类，为不同的任务产生不同的参数集，计算出最优解后，得到梯度最优线性逼近，再通过优化轨迹进行反向传播；
使用非线性映射将度量空间中的特征二次映射到高维空间，扩大分离边界表面周围的空间分辨率；
使用拉伸损失函数约束类内与类间的方差比，强迫类内特征聚集；
使用最终的最优解，将小样本遥感图片进行场景分类。
2.根据权利要求1所述的基于元核网络的小样本遥感场景分类方法，其特征在于，所述将给定的支持集嵌入到向量中的计算公式如下：
Figure FDA0003387743970000011
其中V为视觉特征向量，
Figure FDA0003387743970000012
为网络参数，Mtrain为所述训练集。
3.根据权利要求1所述的基于元核网络的小样本遥感场景分类方法，其特征在于，所述采用参数化的线性分类器对嵌入得到的特征向量进行分类的计算如下：
Figure FDA0003387743970000013
T表示训练过程中采样的一个任务，p(t)是任务的分布，y是真实标签，V为视觉特征向量，Mtest为所述测试集，θ定义了用于预测验证集中的例子的线性回归权重，为从p(T)中抽取的新任务提供解决方案。
4.根据权利要求3所述的基于元核网络的小样本遥感场景分类方法，其特征在于，针对训练过程中采样的一个任务，都有
Figure FDA0003387743970000021
并且
Figure FDA0003387743970000022
其中
Figure FDA0003387743970000023
wn是第n个分类边界的参数，σn和σnk是正则项，η是正则项系数，xi是第i个输入，yi是对应的预测值，N是分类任务的类别数，
Figure FDA0003387743970000024
是获得由x参数化的预测模型。
5.根据权利要求1所述的基于元核网络的小样本遥感场景分类方法，其特征在于，所述计算出最优解后，得到梯度最优线性逼近，再通过优化轨迹进行反向传播包括：
给定点θ、λ和v，令z＝(θ，λ，ν)，定义函数
Figure FDA0003387743970000025
其中diag(·)表示对角化操作，然后定义雅各比矩阵
Figure FDA0003387743970000026
当且仅当
Figure FDA0003387743970000027
取得最优解；
其中函数f和h分别是等式约束和不等式约束，F为求解拉格朗日鞍点(θ,
Figure FDA0003387743970000028
)的函数，x是输入的图像；
当计算出最优解
Figure FDA0003387743970000029
时，就可以得到梯度最优线性逼近，然后通过优化轨迹进行反向传播。
6.根据权利要求1所述的基于元核网络的小样本遥感场景分类方法，其特征在于，所述使用非线性映射将度量空间中的特征二次映射到高维空间的计算公式如下：
Figure FDA0003387743970000031
其中，Mtrain为支持集，Mtest为查询集，Φ为非线性映射函数，θ定义用于预测验证集中例子的线性回归权重，V为视觉特征向量，y为真实标签。
7.根据权利要求1所述的基于元核网络的小样本遥感场景分类方法，其特征在于，损失函数计算如下：
L＝Lcls+αLstr
其中Lcls为分类损失函数，Lstr为拉伸损失函数，α为控制权重的超参数。
8.根据权利要求7所述的基于元核网络的小样本遥感场景分类方法，其特征在于，所述分类损失函数Lcls衡量嵌入模块中的分类效果，评估从同一分布中采样的测试数据的负对数可能性，计算如下：
Figure FDA0003387743970000032
其中wy是真实的分类边界，wk是第k个样本的预测边界，
Figure FDA0003387743970000033
是获得由x参数化的预测模型。
9.根据权利要求7所述的基于元核网络的小样本遥感场景分类方法，其特征在于，所述拉伸损失函数，减小降低类别边界对样本选择的依赖性，提升分类边界鲁棒性，通过约束类内与类间的方差比，强迫类内特征聚集达成目的，计算如下：
Figure FDA0003387743970000041
其中，N表示类别数，K表示每个类别下包含的样本数,Vi表示第i个输入图像的视觉特征，vi表示类别i的特征向量的均值，v表示所有特征向量的均值。
CN202111456120.9A 2021-12-02 2021-12-02 基于元核网络的小样本遥感场景分类方法 Active CN114187510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111456120.9A CN114187510B (zh) 2021-12-02 2021-12-02 基于元核网络的小样本遥感场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111456120.9A CN114187510B (zh) 2021-12-02 2021-12-02 基于元核网络的小样本遥感场景分类方法

Publications (2)

Publication Number Publication Date
CN114187510A true CN114187510A (zh) 2022-03-15
CN114187510B CN114187510B (zh) 2022-09-02

Family

ID=80541957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111456120.9A Active CN114187510B (zh) 2021-12-02 2021-12-02 基于元核网络的小样本遥感场景分类方法

Country Status (1)

Country Link
CN (1) CN114187510B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029839A1 (en) * 2012-07-30 2014-01-30 Xerox Corporation Metric learning for nearest class mean classifiers
CN106682653A (zh) * 2017-03-09 2017-05-17 重庆信科设计有限公司 一种基于knlda的rbf神经网络人脸识别方法
CN109685135A (zh) * 2018-12-21 2019-04-26 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
US20200097771A1 (en) * 2018-09-25 2020-03-26 Nec Laboratories America, Inc. Deep group disentangled embedding and network weight generation for visual inspection
CN113032733A (zh) * 2021-03-27 2021-06-25 长江水利委员会水文局 基于非线性分类回归分析的遥感降雨误差校正方法及系统
WO2021184621A1 (zh) * 2020-03-19 2021-09-23 南京因果人工智能研究院有限公司 一种基于mdp的多目标车辆跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029839A1 (en) * 2012-07-30 2014-01-30 Xerox Corporation Metric learning for nearest class mean classifiers
CN106682653A (zh) * 2017-03-09 2017-05-17 重庆信科设计有限公司 一种基于knlda的rbf神经网络人脸识别方法
US20200097771A1 (en) * 2018-09-25 2020-03-26 Nec Laboratories America, Inc. Deep group disentangled embedding and network weight generation for visual inspection
CN109685135A (zh) * 2018-12-21 2019-04-26 电子科技大学 一种基于改进型度量学习的少样本图像分类方法
WO2021184621A1 (zh) * 2020-03-19 2021-09-23 南京因果人工智能研究院有限公司 一种基于mdp的多目标车辆跟踪方法
CN113032733A (zh) * 2021-03-27 2021-06-25 长江水利委员会水文局 基于非线性分类回归分析的遥感降雨误差校正方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PEI ZHANG 等: "RS-SSKD:Self-supervision equipped with knowledge distillation for few-shot remote sensing scene classification", 《SENSORS》 *
周志祥等: "一种基于训练数据的迭代改进核函数", 《应用数学和力学》 *
李海峰 等: "有限标注样本条件下基于自监督特征学习的遥感影像分类方法", 《第七届高分辨率对地观测学术年会》 *

Also Published As

Publication number Publication date
CN114187510B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
Diallo et al. Deep embedding clustering based on contractive autoencoder
Wilmanski et al. Modern approaches in deep learning for SAR ATR
CN110826638B (zh) 基于重复注意力网络的零样本图像分类模型及其方法
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN108132968A (zh) 网络文本与图像中关联语义基元的弱监督学习方法
Zhao et al. Multiobjective sparse ensemble learning by means of evolutionary algorithms
CN105787513A (zh) 多示例多标记框架下基于域适应迁移学习设计方法和系统
CN113469186B (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN115019123B (zh) 一种遥感图像场景分类的自蒸馏对比学习方法
Xu et al. Constructing balance from imbalance for long-tailed image recognition
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN108877947A (zh) 基于迭代均值聚类的深度样本学习方法
Franchi et al. Latent discriminant deterministic uncertainty
CN112541530B (zh) 针对聚类模型的数据预处理方法及装置
Ma et al. Semi-supervised classification with graph structure similarity and extended label propagation
CN117371481A (zh) 一种基于元学习的神经网络模型检索方法
CN114187510B (zh) 基于元核网络的小样本遥感场景分类方法
CN114328921B (zh) 一种基于分布校准的小样本实体关系抽取方法
CN111581467B (zh) 基于子空间表示和全局消歧方法的偏标记学习方法
Yang et al. iCausalOSR: invertible Causal Disentanglement for Open-set Recognition
Bhattacharya et al. Ranking-based triplet loss function with intra-class mean and variance for fine-grained classification tasks
CN108985371B (zh) 一种图像多分辨率字典学习方法及其应用
CN118506101B (zh) 一种基于虚拟特征生成与重放的类增量图像分类方法
Kumari et al. A Deep Learning-Based Segregation of Housing Image Data for Real Estate Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cui Zhenqi

Inventor after: Peng Jian

Inventor after: Zhao Ge

Inventor after: Li Haifeng

Inventor before: Peng Jian

Inventor before: Cui Zhenqi

Inventor before: Zhao Ge

Inventor before: Li Haifeng