CN114067160B - 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 - Google Patents
基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 Download PDFInfo
- Publication number
- CN114067160B CN114067160B CN202111387970.8A CN202111387970A CN114067160B CN 114067160 B CN114067160 B CN 114067160B CN 202111387970 A CN202111387970 A CN 202111387970A CN 114067160 B CN114067160 B CN 114067160B
- Authority
- CN
- China
- Prior art keywords
- sample
- label
- embedded
- samples
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 46
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 230000004913 activation Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，属于遥感图像识别领域。该方法首先将场景图片输入到嵌入学习模块中，通过一个卷积神经网络提取场景嵌入特征；再将嵌入平滑引入到场景分类中，在无监督的情况下捕获嵌入特征之间的相似性与差异性，提高嵌入特征的可区分性，扩展决策边界，降低无关特征的影响；同时通过注意力机制采用任务级关系来构建图矩阵，将目标样本与任务中的所有样本关联起来，并在不同场景类别之间产生更具有分辨力的关系表示；然后根据样本间的内在联系构造图；标签匹配模块可以根据构造的图，通过直推式学习迭代生成测试集中样本的预测标签，直到得到最优解。本发明能够实现图像的精确分类。
Description
技术领域
本发明属于遥感图像识别领域，涉及一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法。
背景技术
场景分类是遥感图像处理与分析的重要组成部分，具有很好的应用前景。场景分类是将场景图像按照内容的不同划分为相应的场景类，广泛应用于土地利用、土地覆盖、城市规划、地质灾害监测、交通管理等方面。在遥感图像的目标识别中，由于机载雷达、遥感卫星图像采集的高成本和高难度，所以只能采集到少量图像作为训练模板，因此需要小样本识别系统的协助。其中，小样本遥感图像场景分类能够在仅存少量标注图片但类别信息较多的情况下发挥巨大的作用，因此基于小样本的遥感场景分类就得到了很好的发展。
现有的解决场景分类问题最常用的方法是利用大规模遥感数据训练深度神经网络。近年来，一些研究学者采用迁移学习或元学习的思想来解决标记数据较少的场景分类任务，迁移学习将某个领域或任务上学习到的知识或模式应用到不同但相关的问题中，通过与目标任务相似的元学习来训练网络，模拟真实的测试环境，并泛化到目标任务中，从而在有限的样本下快速实现场景分类。另外，也有一些学者探索使用图表示来解决有限标记数据的图像分类问题，其目的是将学习视为从训练数据到测试数据的信息迁移。
然而，现有的方法主要侧重于利用迁移知识或元知识来完成小样本场景分类任务，而忽略了学习图像特征表示的重要性，并且与自然图像不同的是，遥感图像具有一些独特的属性。在场景分类任务中，由于照明、背景、距离、角度等因素，同类图像之间存在一定的差异，不同类别图像之间存在一定的相似性，所以很容易造成场景分类混乱，从而增加分类的困难。
因此，亟需一种小样本遥感图像场景分类方法来解决上述问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，该网络不仅能够从小样本中学习，而且能够有效实现图像的精确分类。
为达到上述目的，本发明提供如下技术方案：
一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，首先将场景图片输入到嵌入学习模块中，通过一个卷积神经网络fθ提取场景嵌入特征。再将一种新的正则化方法，即嵌入平滑，引入到场景分类中，该方法可以在无监督的情况下捕获嵌入特征之间的相似性与差异性，提高嵌入特征的可区分性，扩展决策边界，降低无关特征的影响。同时通过注意力机制采用任务级关系来构建图矩阵，而不是使用常见的样本间距离，如余弦距离或欧氏距离，注意力机制可以获得需要重点关注的目标区域，抑制其他的无用信息，这样可以将目标样本与任务中的所有样本关联起来，并在不同场景类别之间产生更具有分辨力的关系表示。然后根据样本间的内在联系构造图。标签匹配模块可以根据构造的图，通过直推式学习迭代生成测试集中样本的预测标签，直到得到最优解。
该方法具体包括以下步骤：
S1：收集遥感图像，构建训练集、测试集和验证集，其中，测试集用来评价模型的泛化能力，验证集用来调整超参数；
S2：从训练集中，随机采样多个小样本数据集，每个小样本数据集都分为支撑集和查询集，其中，测试集和验证集均采用相同的采样方式；
S3：通过嵌入学习模块提取场景嵌入特征，将支撑集每个类的样本和查询集样本xi同时输入到特征提取网络fθ中，得到嵌入特征Z；
S4：将得到的嵌入特征Z输入到嵌入平滑模块中转化为一组插值特征，进而平滑嵌入特征；
S5：采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，从而对支撑集中不同类别的样本和查询集样本进行图的构造，进而得到支持集样本和查询集样本节点之间的距离和任务的关系，可以有效地避免不相关的局部关系；
S6：计算支撑集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，即通过直推式学习迭代生成查询集中样本的预测标签，直到得到最优解；
S7：计算查询集中样本的真实标签与预测标签之间的交叉熵损失，并通过端到端的反向传播的方式更新各个模块的参数；
S8：重复步骤S2～S7，直到各个模块或网络的参数收敛。
进一步，该方法中，通过训练数据集以及嵌入学习的训练方法来构建和训练特征提取网络，包含嵌入学习模块、嵌入平滑模块、关系图构建模块、标签匹配模块，从而组成了基于嵌入平滑图神经网络的小样本遥感图像场景分类模型。此外因为目标任务数据集中样本的数量远远少于训练数据集，所以为了避免模型过拟合，可以采用元学习的片段-片段方式对整个模型进行训练，从而解决目标任务训练数据不足的问题。在遥感图像的场景识别过程中，首先利用训练后的特征提取网络提取场景图片嵌入特征，再利用嵌入平滑模块将嵌入特征转化为一组插值特征来对进行平滑处理，过滤掉噪声等因素，通过引入注意力机制来构建图的关系网络，然后利用标签匹配模块对图像打标签，最后找出最大类别相似度所对应的类别标签，即为待测图片的类别。本技术方案能够训练到一个很好的端到端的图神经网络，有效实现图像的精确分类。
进一步，步骤S1中，对于小样本遥感场景分类，每个任务有N个类别，每个类别有K个样本，称为N-way K-shot学习。每个任务分别由一个训练集S(每个类别有K个样本)和一个验证集Q(所有类别共有T个样本)组成。
进一步，步骤S3中，通过嵌入学习模块提取场景嵌入特征。fθ(xi；θ)为特性映射，θ是网络参数。特征提取网络fθ包含4个卷积模块，每个卷积模块从一个包含3×3的卷积核，核的大小为64的二维卷积层开始。在每个卷积层之后都有一个批量标准化层(BN层)，一个线性整流函数(ReLU激活函数)和一个2×2最大池化层。BN层位于激活函数之前，它通过对数据标准化、缩放以及平移，来防止数据达到饱和，从而预防数据对激活函数产生不敏感的现象。ReLU激活函数让模型加入非线性因素，解决线性模型不能解决的问题。最大池化层则对特征图进行稀疏处理，减少数据运算量。
进一步，步骤S4中，平滑嵌入特征，具体包括以下步骤：
步骤S41：计算嵌入特征中查询集样本和支撑集样本的成对特征(i,j)的距离dij，根据得到的距离构建相邻矩阵；
步骤S42：计算相邻矩阵的拉普拉斯算子，用于平滑嵌入特征。
进一步，步骤S41中，构建的相邻矩阵Aij的计算公式为：
其中，σ为尺度参数，并且对于任意测试样本i，Aii＝0，即任何测试样本和自身都应该属于同一类；当σ＝std(dij)时，训练阶段是很稳定；std(·)表示支撑集样本和查询集样本特征距离的标准差。
进一步，步骤S42中，相邻矩阵的拉普拉斯算子S的计算公式为：
其中，Dii表示图的度矩阵；
通过标签传播公式，得到支撑集和查询集的传播矩阵，然后通过以下公式操作得到平滑之后的嵌入特征，其计算公式为：
其中，处理前的嵌入特征由嵌入学习模块得到，
为尺度参数，I为单位矩阵，其领域的加权组合得到平滑的嵌入特征
嵌入平滑可以有效地减少噪声学习，降低无关特征的影响。
本发明中，采用的是一种新的正则化技术嵌入平滑，来强制模型学习具有鉴别性和鲁棒性的嵌入特征，通过领域的加权组合得到平滑的嵌入特征，同时抑制噪声特征的干扰。
进一步，步骤S5中，采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，具体包括以下步骤：
S51：给定光滑的嵌入特征
对于节点i，利用注意力机制中常见的方法，可以得到目标嵌入特征与任务中所有其他样本特征的对应关系值；
S52：构造k-最邻近图，即找出测试样本附近的k个最近样本，矩阵A的每一行保留前k个最大值，然后在A上应用归一化图拉普拉斯，构建图结构，即节点之间的相似度矩阵。
进一步，步骤S51具体包括：给定光滑的嵌入特征
对于节点i，利用注意力机制中常见的方法，得到目标嵌入特征与任务中所有其他样本特征的对应关系值，对应的注意力值的计算公式为：
其中，
表示由自适应任务注意力模块获取的注意力值，用来表示节点之间相似度的权重，N表示每个小样本任务有N个类别，K表示每个支撑集中的每个类别有K个样本，T表示每个查询集中所有类别共有T个样本，m表示m个小样本任务；因此，查询集节点与支撑集不同类别节点之间的相似度越高，Wij越大。sij表示查询集样本的节点i与支撑集样本的节点j之间的相似度，其计算公式为：
其中，将查询集中目标样本光滑的嵌入特征
重塑为
采用矩阵求逆运算，
为成对的距离运算，然后利用Wi,j整合任务级信息，得到当前任务的关系表示，其计算公式表示为：
进一步，步骤S52中，节点i与j之间的相似度矩阵L的计算公式为：
其中，Oii表示图的度矩阵。
进一步，步骤S6中，计算支持集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，具体包括以下步骤：
步骤S61：对查询集Q进行预测；
步骤S62：在计算预测标签和真实标签之间的分类损失时，采用交叉熵损失对所有可学习的参数进行端到端的训练。
进一步，步骤S61中，对查询集Q进行预测，具体包括：设G代表矩阵的集合，每个矩阵由非负值组成，其形状为(N×K+T)×N；如果一个xi属于支撑集并且yi＝1，那么Y∈G的标签矩阵则由Yij＝1组成，否则Yij＝0；给定标签矩阵Y，在采用标签传播公式构造图上，标签匹配迭代地识别S∪Q，其公式为：
Gt+1＝γLGt+(1-γ)Y
其中，GT∈G表示第t轮的标签矩阵，L为归一化图权重，γ∈(0,1)，是相邻数值和Y的加权求和；当t足够大时，修正序列有一个封闭解，即预测标签相对于每个类别的预测得分，其公式如下：
G*＝(I-γL)-1Y
其中，I表示单位矩阵，因为这种方法直接运用到标签预测，所以逐个任务的学习会变得更加有效。
进一步，步骤S62具体包括：把来自于S∪Q的真实标签和预测得分G*作为相应的输入，把G*输入到softmax函数后得到预测概率P，其计算公式为：
其中，
是S∪Q中第i个样本的最后预测标号，
表示
的第j个元素；相应的损失如下面公式：
其中，LCE表示模型的分类损失；
为指示函数，当u为假时，
当u为真时，
表示样本xi对应的真实标签，即得到每个测试标签所匹配到的类别；为了模拟小样本场景，所有可学习的参数都通过端到端的元学习迭代更新。
本发明的有益效果在于：
1)本发明能解决小样本遥感场景的分类问题，可以很好地区分不同种类的遥感场景图像。本发明通过非参数嵌入平滑策略对嵌入空间进行正则化。
2)本发明采用嵌入平滑同时也对嵌入特征进行约束，嵌入学习模块能够提取出更具有鉴别性和鲁棒性的场景特征，从而能更好地应对复杂和真实的场景。
3)本发明采用注意力机制捕获节点间任务级关系表示，能更好的识别预测图片的类别，从而构造图。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本实施例的小样本遥感图像场景分类方法流程图；
图2为本实施例的5-way 1-shot场景框架。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图2，图1为本实施例的基于嵌入平滑图神经网络的小样本遥感图像场景分类方法程图，该方法包括以下步骤：
步骤S1：收集遥感图像，构建训练集、测试集和验证集。其中，测试集用来评价模型的泛化能力，验证集用来调整超参数。
步骤S2：从训练集中，随机采样多个小样本数据集，每个小样本数据集都分为支撑集和查询集，其中，测试集和验证集均采用相同的采样方式。
步骤S3：通过嵌入学习模块提取场景嵌入特征，将训练集每个类的样本和测试集样本xi同时输入到特征提取网络fθ中，得到嵌入特征Z。
其中特征提取网络fθ包含4个卷积模块，每个卷积模块从一个包含3×3的卷积核，核的大小为64的二维卷积层开始。在每个卷积层之后都有一个批量标准化层(BN层)，一个ReLU激活函数和一个2×2最大池化层。
步骤S4：将得到的嵌入特征Z输入到嵌入平滑模块中转化为一组插值特征，进而来平滑嵌入特征。其具体步骤包括：
S41：将一个任务的样本输入到嵌入学习模块中，得到一组嵌入特征，计算嵌入特征中验证集样本和不同类别支撑集样本的成对特征(i,j)的距离，根据得到的距离构建相邻矩阵，其公式如下：
其中，σ为尺度参数，并且对于任意测试样本i，Aii＝0，即任何测试样本和自身都应该属于同一类，当σ＝std(dij)时，训练阶段是很稳定的。
S42：计算矩阵的拉普拉斯算子，用于平滑嵌入特征，其公式如下：
其中，Aij是根据查询集与支撑集之间的距离得到的相邻矩阵。
通过标签传播公式，得到查询集和支撑集的传播矩阵，然后通过以下公式操作得到平滑的之后的嵌入特征，其公式如下：
其中，处理前的嵌入特征由嵌入学习模块得到，
为尺度参数，I为单位矩阵。其领域的加权组合得到平滑的嵌入特征
嵌入平滑可以有效地降低无关特征的影响。
步骤S5：采用注意力机制将平滑的嵌入特征转化为节点之间特定特征的关系表示，从而对支撑集不同类别的样本和查询集样本进行图的构造，显示支持集样本和查询集样本之间的关系。
S51：将提取到的嵌入特征，通过注意力机制转化为目标测试嵌入特征与任务中所有其他支撑集样本特征的对应关系值，其公式如下：
其中，sij表示查询集样本的节点i与支撑集样本的节点j之间的相似度，
表示测试节点与任务中所有其他节点比较后的任务级相似度。因此，查询集节点与支撑集不同类别节点之间的相似度越高，Wij越大。其中，相似度的计算公式如下：
其中，将支撑集中目标样本光滑的嵌入特征
重塑为
采用矩阵求逆运算，
为成对的距离运算，然后利用Wi,j整合任务级信息，得到当前任务的关系表示，其公式表示如下：
S52：节点i与j之间的关系表示Wij可以通过上面的公式来建模，为了构造k-最邻近图，即找出测试样本附近的k个最近样本，W的每一行保留前k个最大值，然后在W上应用归一化图拉普拉斯，构建图结构，即节点之间的相似度矩阵，其公式如下：
本实施例中，为了模拟小样本场景，元训练采用情景范式，即对每个任务中的逐个任务分别构建曲线图。一般来说，在5-way 1-shot场景中，N＝5，K＝1，T＝75，W的形状是80×80，是非常有效的参数。
步骤S6：计算支撑集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，通过直推式学习迭代生成查询集中样本的预测标签，直到得到最优解，其具体步骤包括：
S61：介绍如何对查询集Q进行预测，假设G代表矩阵的集合，每个矩阵由非负值组成，其形状为(N×K+T)×N。如果一个xi属于支撑集并且yi＝1，那么Y∈G的标签矩阵则由Yij＝1组成，否则Yij＝0。给定标签矩阵Y，在采用标签传播公式构造图上，标签匹配迭代地识别S∪Q，即训练集和测试集中样本未显示的标签，其公式如下：
Gt+1＝γLGt+(1-γ)Y
其中，Gt∈G表示第t轮的标签矩阵，L为归一化图权重，γ∈(0,1)，是相邻数值和Y的加权求和。当t足够大时，修正序列有一个封闭解，即预测标签相对于每个类别的预测得分，其公式如下：
G*＝(I-γL)-1Y
其中，I表示单位矩阵，因为这种方法直接运用到标签预测，所以逐个任务的学习会变得更加有效。
本实施例中，为了模拟小样本场景，元训练采用情景范式，即对每个任务中的逐个任务分别构建曲线图。一般来说，在5-way 1-shot场景中，N＝5，K＝1，T＝75，W的形状是80×80，是非常有效的参数。
S62：在计算预测标签和真实标签之间的分类损失时，为了对所有可学习的参数进行端到端的训练，实验中采用了交叉熵损失。其中，把来自于S∪Q的真实标签和预测得分G*作为相应的输入，把G*输入到softmax函数后就能得到预测概率，其公式如下：
其中，
是S∪Q中第i个样本的最后预测标号，
表示
的第j个元素；相应的损失如下面公式：
其中，LCE表示模型的分类损失；
为指示函数，当u为假时，
当u为真时，
表示样本xi对应的真实标签，即得到每个测试标签所匹配到的类别；为了模拟小样本场景，所有可学习的参数都通过端到端的元学习迭代更新。
步骤S7：计算测试集中样本的真实标签与预测标签之间的交叉熵损失，并通过端到端的反向传播的方式更新各个模块的参数。
本实例中，通过构建嵌入学习模块、嵌入平滑模块、图构建模块、标签匹配模块，组成基于嵌入平滑图神经网络的小样本遥感图像场景分类模型，能够解决小样本遥感图像场景分类问题。并且引入了一种新的正则化方法、注意力机制模块和元学习，能够有效地学习到一个更好的任务级关系，有效实现遥感场景图像的精确分类。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于嵌入平滑图神经网络的小样本遥感图像场景分类方法，其特征在于，该方法具体包括以下步骤：
S1：收集遥感图像，构建训练集、测试集和验证集；
S2：从训练集中，随机采样多个小样本数据集，每个小样本数据集都分为支撑集和查询集；
S3：通过嵌入学习模块提取场景嵌入特征，将支撑集每个类的样本和查询集样本xi同时输入到特征提取网络fθ中，得到嵌入特征Z；
S4：将得到的嵌入特征Z输入到嵌入平滑模块中转化为一组插值特征，进而平滑嵌入特征；具体包括以下步骤：
步骤S41：计算嵌入特征中查询集样本和支撑集样本的成对特征(i,j)的距离dij，根据得到的距离构建相邻矩阵Aij，计算公式为：
其中，σ为尺度参数，并且对于任意测试样本i，Aii＝0，即任何测试样本和自身都应该属于同一类；当σ＝std(dij)时，训练阶段是很稳定；std(·)表示支撑集样本和查询集样本特征距离的标准差；
步骤S42：计算相邻矩阵的拉普拉斯算子，用于平滑嵌入特征；相邻矩阵的拉普拉斯算子S的计算公式为：
其中，Dii表示图的度矩阵；
通过标签传播公式，得到支撑集和查询集的传播矩阵，然后通过以下公式操作得到平滑之后的嵌入特征，其计算公式为：
其中，处理前的嵌入特征由嵌入学习模块得到，
为尺度参数，I为单位矩阵，其邻域的加权组合得到平滑的嵌入特征
S5：采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，从而对支撑集中不同类别的样本和查询集样本进行图的构造，进而得到支持集样本和查询集样本节点之间的距离和任务的关系；
S6：计算支撑集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，即通过直推式学习迭代生成查询集中样本的预测标签，直到得到最优解；
S7：计算查询集中样本的真实标签与预测标签之间的交叉熵损失，并通过端到端的反向传播的方式更新各个模块的参数；
S8：重复步骤S2～S7，直到各个模块或网络的参数收敛。
2.根据权利要求1所述的小样本遥感图像场景分类方法，其特征在于，步骤S5中，采用注意力机制将平滑的嵌入特征转化为任务特征的关系表示，具体包括以下步骤：
S51：给定光滑的嵌入特征
对于节点i，利用注意力机制产生更具分辨性的特征表示得到目标嵌入特征与任务中所有其他样本特征的对应关系值；
S52：构造k-最邻近图，即找出测试样本附近的k个最近样本，矩阵A的每一行保留前k个最大值，然后在A上应用归一化图拉普拉斯，构建图结构，即节点之间的相似度矩阵。
3.根据权利要求2所述的小样本遥感图像场景分类方法，其特征在于，步骤S51具体包括：给定光滑的嵌入特征
对于节点i，利用注意力机制，得到目标嵌入特征与任务中所有其他样本特征的对应关系值，对应的注意力值的计算公式为：
其中，
为自适应任务注意力模块获取的注意力值，用来表示节点之间相似度的权重，N表示每个小样本任务有N个类别，K表示每个支撑集中的每个类别有K个样本，T表示每个查询集中所有类别共有T个样本，m表示m个小样本任务；sij表示查询集样本的节点i与支撑集样本的节点j之间的相似度，其计算公式为：
其中，将查询集中目标样本光滑的嵌入特征
重塑为
采用矩阵求逆运算，
为成对的距离运算，然后利用Wi,j整合任务级信息，得到当前任务的关系表示，其计算公式表示为：
4.根据权利要求3所述的小样本遥感图像场景分类方法，其特征在于，步骤S52中，节点i与j之间的相似度矩阵L的计算公式为：
其中，Oii表示图的度矩阵。
5.根据权利要求4所述的小样本遥感图像场景分类方法，其特征在于，步骤S6中，计算支持集样本与查询集样本的类别相似度，利用标签匹配模块对图像进行类名标注，具体包括以下步骤：
步骤S61：对查询集Q进行预测；
步骤S62：在计算预测标签和真实标签之间的分类损失时，采用交叉熵损失对所有可学习的参数进行端到端的训练。
6.根据权利要求5所述的小样本遥感图像场景分类方法，其特征在于，步骤S61中，对查询集Q进行预测，具体包括：设G代表矩阵的集合，每个矩阵由非负值组成，其形状为(N×K+T)×N；如果一个xi属于支撑集并且yi＝1，那么Y∈G的标签矩阵则由Yij＝1组成，否则Yij＝0；给定标签矩阵Y，在采用标签传播公式构造图上，标签匹配迭代地识别S∪Q，其公式为：
Gt+1＝γLGt+(1-γ)Y
其中，GT∈G表示第t轮的标签矩阵，L为归一化图权重，γ∈(0,1)，是相邻数值和Y的加权求和；当t足够大时，修正序列有一个封闭解，即预测标签相对于每个类别的预测得分，其公式如下：
G*＝(I-γL)-1Y
其中，I表示单位矩阵。
7.根据权利要求6所述的小样本遥感图像场景分类方法，其特征在于，步骤S62具体包括：把来自于S∪Q的真实标签和预测得分G*作为相应的输入，把G*输入到softmax函数后得到预测概率P，其计算公式为：
其中，
是S∪Q中第i个样本的最后预测标号，
表示
的第j个元素；相应的损失如下面公式：
其中，LCE表示模型的分类损失；
为指示函数，当u为假时，
当u为真时，
表示样本xi对应的真实标签，即得到每个测试标签所匹配到的类别。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111387970.8A CN114067160B (zh) | 2021-11-22 | 2021-11-22 | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 |
| PCT/CN2022/076475 WO2023087558A1 (zh) | 2021-11-22 | 2022-02-16 | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111387970.8A CN114067160B (zh) | 2021-11-22 | 2021-11-22 | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067160A CN114067160A (zh) | 2022-02-18 |
| CN114067160B true CN114067160B (zh) | 2023-04-07 |
Family
ID=80279122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111387970.8A Active CN114067160B (zh) | 2021-11-22 | 2021-11-22 | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114067160B (zh) |
| WO (1) | WO2023087558A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943859B (zh) * | 2022-05-05 | 2023-06-20 | 兰州理工大学 | 面向小样本图像分类的任务相关度量学习方法及装置 |
| CN115033689B (zh) * | 2022-05-27 | 2023-04-18 | 重庆邮电大学 | 一种基于小样本文本分类原型网络欧氏距离计算方法 |
| CN114814776B (zh) * | 2022-06-24 | 2022-10-14 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于图注意力网络和迁移学习的pd雷达目标检测方法 |
| CN116863327B (zh) * | 2023-06-05 | 2023-12-15 | 中国石油大学(华东) | 一种基于双域分类器协同对抗的跨域小样本分类方法 |
| CN116453032B (zh) * | 2023-06-16 | 2023-08-25 | 福建农林大学 | 一种海洋生态检测系统 |
| CN116660389B (zh) * | 2023-07-21 | 2023-10-13 | 山东大禹水务建设集团有限公司 | 一种基于人工智能的河道底泥探测及修复系统 |
| CN116958904B (zh) * | 2023-08-07 | 2024-05-07 | 济宁安泰矿山设备制造有限公司 | 一种基于小样本检测的井下异物识别方法 |
| CN116721301B (zh) * | 2023-08-10 | 2023-10-24 | 中国地质大学（武汉） | 目标场景分类模型训练方法、分类方法、设备及存储介质 |
| CN116821776B (zh) * | 2023-08-30 | 2023-11-28 | 福建理工大学 | 一种基于图自注意力机制的异质图网络节点分类方法 |
| CN117058470B (zh) * | 2023-10-12 | 2024-01-26 | 宁德思客琦智能装备有限公司 | 一种基于小样本学习的三维点云分类的方法和系统 |
| CN117093928A (zh) * | 2023-10-18 | 2023-11-21 | 南开大学 | 基于谱域图神经网络的自适应图节点异常检测方法 |
| CN117233725B (zh) * | 2023-11-15 | 2024-01-23 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于图神经网络多特征融合的相干雷达目标检测方法 |
| CN117557909A (zh) * | 2023-11-27 | 2024-02-13 | 中国科学院空天信息创新研究院 | 面向小样本弱小目标的遥感基础模型持续学习方法及装置 |
| CN117437234B (zh) * | 2023-12-21 | 2024-02-23 | 四川云实信息技术有限公司 | 基于图神经网络的航片地物分类与变化检测方法 |
| CN117455970B (zh) * | 2023-12-22 | 2024-05-10 | 山东科技大学 | 基于特征融合的机载激光测深与多光谱卫星影像配准方法 |
| CN117475518B (zh) * | 2023-12-27 | 2024-03-22 | 华东交通大学 | 一种同步人体运动识别与预测方法及系统 |
| CN117648585B (zh) * | 2024-01-29 | 2024-05-10 | 中国人民解放军军事科学院国防科技创新研究院 | 基于任务相似度的智能决策模型泛化方法和装置 |
| CN117710370B (zh) * | 2024-02-05 | 2024-05-10 | 江西财经大学 | 多任务驱动的真实失真全景图像盲质量评价方法与系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052762A (zh) * | 2020-08-27 | 2020-12-08 | 西安电子科技大学 | 基于高斯原型的小样本isar图像目标识别方法 |
| CN112288013A (zh) * | 2020-10-30 | 2021-01-29 | 中南大学 | 基于元度量学习的小样本遥感场景分类方法 |
| CN112818903B (zh) * | 2020-12-10 | 2022-06-07 | 北京航空航天大学 | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 |
-
2021
- 2021-11-22 CN CN202111387970.8A patent/CN114067160B/zh active Active
-
2022
- 2022-02-16 WO PCT/CN2022/076475 patent/WO2023087558A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023087558A1 (zh) | 2023-05-25 |
| CN114067160A (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114067160B (zh) | 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法 | |
| Zhang et al. | Artificial intelligence for remote sensing data analysis: A review of challenges and opportunities | |
| Gong et al. | Superpixel-based difference representation learning for change detection in multispectral remote sensing images | |
| Huang et al. | Local descriptor-based multi-prototype network for few-shot learning | |
| Kang et al. | Graph relation network: Modeling relations between scenes for multilabel remote-sensing image classification and retrieval | |
| Goodfellow et al. | Multi-digit number recognition from street view imagery using deep convolutional neural networks | |
| Lei et al. | Region-enhanced convolutional neural network for object detection in remote sensing images | |
| CN113190699B (zh) | 一种基于类别级语义哈希的遥感图像检索方法及装置 | |
| JP2021524099A (ja) | 異なるデータモダリティの統計モデルを統合するためのシステムおよび方法 | |
| Chen et al. | Deep learning from multiple crowds: A case study of humanitarian mapping | |
| CN114926746B (zh) | 基于多尺度差分特征注意力机制的sar图像变化检测方法 | |
| CN112733866B (zh) | 一种提高可控图像文本描述正确性的网络构建方法 | |
| CN111914156A (zh) | 自适应标签感知的图卷积网络跨模态检索方法、系统 | |
| Lin et al. | Multilabel aerial image classification with a concept attention graph neural network | |
| CN111476315A (zh) | 一种基于统计相关性与图卷积技术的图像多标签识别方法 | |
| Yang et al. | Local label descriptor for example based semantic image labeling | |
| Lin et al. | Building damage assessment from post-hurricane imageries using unsupervised domain adaptation with enhanced feature discrimination | |
| CN115292532B (zh) | 基于伪标签一致性学习的遥感图像域适应检索方法 | |
| Wang et al. | A pseudoinverse incremental algorithm for fast training deep neural networks with application to spectra pattern recognition | |
| CN115953621A (zh) | 一种基于不可靠伪标签学习的半监督高光谱图像分类方法 | |
| Sen et al. | A hierarchical approach to remote sensing scene classification | |
| Wang et al. | Detecting occluded and dense trees in urban terrestrial views with a high-quality tree detection dataset | |
| Sinnott et al. | A mobile application for dog breed detection and recognition based on deep learning | |
| CN113808166A (zh) | 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法 | |
| CN113590971A (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231012 Address after: Room 238, 2nd Floor, Building 1, Qiaoyuan Road, Shilong Industrial Zone, Mentougou District, Beijing, 102300 Patentee after: Beijing Jiuding Graphic Technology Co.,Ltd. Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2 Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Small Sample Remote Sensing Image Scene Classification Method Based on Embedded Smooth Graph Neural Network Granted publication date: 20230407 Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee Pledgor: Beijing Jiuding Graphic Technology Co.,Ltd. Registration number: Y2024990000084 |