CN116310466A - 基于局部无关区域筛选图神经网络的小样本图像分类方法 - Google Patents

基于局部无关区域筛选图神经网络的小样本图像分类方法 Download PDF

Info

Publication number
CN116310466A
CN116310466A CN202211093142.8A CN202211093142A CN116310466A CN 116310466 A CN116310466 A CN 116310466A CN 202211093142 A CN202211093142 A CN 202211093142A CN 116310466 A CN116310466 A CN 116310466A
Authority
CN
China
Prior art keywords
local
image
node
global
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211093142.8A
Other languages
English (en)
Inventor
秦科
段贵多
卢国明
罗光春
李雅俊
徐希玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202211093142.8A priority Critical patent/CN116310466A/zh
Publication of CN116310466A publication Critical patent/CN116310466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种基于局部无关区域筛选图神经网络的小样本图像分类方法，该方法包括：通过随机裁剪并输入特征嵌入网络中获取到图像的全局特征和局部特征；将全局特征和局部特征按照相关性构造出图结构用于图神经网络的更新；构建基于局部无关区域筛选图神经网络模型，通过模型获取到每个图像的最终特征以及每个局部子图的重要性；基于分类损失和局部重要性损失构成的损失函数进行模型训练；使用模型获取到的特征用于计算图像属于每个类的概率。本发明通过在局部特征聚合时对图像背景等无关区域增加限制参数降低其对分类的影响，解决现有基于度量学习方法中无关的局部信息干扰的技术问题，用于小样本图像分类任务时，能有效提升预测准确性。

Description

基于局部无关区域筛选图神经网络的小样本图像分类方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于局部无关区域筛选图神经网络的小样本图像分类方法。
背景技术
现有对小样本学习主流的方法是基于元学习的方法，而元学习的方法主要分为3种：1、基于模型的方法；2、基于优化的方法；3、基于度量学习的方法。
针对基于模型的方法，该方法在传统的深度学习利用大量的数据进行训练的基础上设计一个新的模型，将学习到的知识保存起来，在遇到样本较少的新任务时能通过已保存的知识对模型的参数进行更新。基于模型的方法需要额外的存储空间进行存储，网络模型较为复杂、灵活性较差并且不适合迁移，具有一定的局限性。
针对基于优化的方法，该方法对参数的优化函数进行修改，让模型在遇到新的任务时只需要通过很少的几次梯度下降操作就能快速适应新的任务。该方法的目标在于通过很少次数的优化就能得到能拟合新任务的模型，解决了深度学习需要使用大量数据训练的问题。基于优化的方法需要为每个训练任务的基学习器进行优化操作，使得计算复杂度较高。
基于度量学习的方法，利用网络模型将输入图像数据投影到一个度量空间中，然后通过比较图像在度量空间中相互的距离来判断图像之间类别相似的概率。基于度量学习的方法的模型设计相对简单、参数更新方式也使用的是简单的反向传播，并且在小样本图像分类任务上的分类效果优于前两种方法。然而，由于新任务的样本数量很少，模型往往无法提取到太多有效特征。全局特征能够描绘出图像的整体信息，大量的训练也能让模型学会如何分别其中的有用信息，但是在样本数量较少的时候，全局信息中无关的信息的干扰就不可避免，这时候局部特征这种可区分性强的特征可以获取到更好的效果。
发明内容
本发明针对上述现有技术存在图像局部无关区域干扰的问题，提供一种基于局部无关区域筛选图神经网络的小样本图像分类方法，旨在解决现有基于度量学习方法中无关的局部信息干扰的技术问题，最终实现小样本图像的准确分类。
为达到上述目的，本发明采用的技术方案如下：
本发明提出了一种基于局部无关区域筛选图神经网络的小样本图像分类方法，包括如下步骤：
步骤1、小样本任务采样。小样本学习的数据集包含训练集、支持集和查询集。其中，训练集用于预训练图像分类器，包含大量图像数据；支持集和查询集中包含不同于训练集的新类别的图像数据，并且图像数据很少。小样本图像分类就是将在训练集中训练好的预训练图像分类器在支持集上再次训练，并在查询集中验证分类准确率的任务。在测试阶段直接使用支持集和查询集作为数据集即可；在训练阶段，将大量的训练集图像数据按照支持集和查询集的分布进行多次采集，从而构成多组小样本学习任务用于后续训练。
每组小样本学习任务会分别进行训练，并通过损失函数优化整个网络模型，接下来是一组小样本学习任务训练过程。
步骤2、将支持集图像和查询集图像数据进行随机裁剪操作，使得每一个支持集图像或查询集图像都获得多个局部子图像；
步骤3、将一组小样本学习任务的数据集(支持集和查询集两个集合一起作为数据集)中图像的原图(数据集中的图像没经过其他操作进行变换就是原图，进行了裁剪就得到了子图像)和步骤2中提取到的数据集中每一个支持集图像或查询集图像对应的局部子图像一起输入一个嵌入网络中分别得到每一个支持集图像或查询集图像的全局特征和局部特征，每一个支持集图像或查询集图像都会获取到n个局部子图像，这里将全部的原图和全部的局部子图像都输入到嵌入网络，原图经过嵌入网络处理后得到的是全局特征，局部子图像经过嵌入网络处理后得到的称为局部特征；
步骤4、将步骤3获得的全局特征和局部特征进行建图，最终形成一个图结构，用于后续的图神经网络训练；
步骤5、将步骤4所得的图结构通过局部无关区域筛选图神经网络模型进行更新，得到更新后的图结构，其包含全局节点特征、局部节点特征和边特征；
步骤6、小样本图像分类。基于步骤5输出所述局部无关区域筛选图神经网络模型最后一层的图结构，该图结构的全局节点特征EG(X)将作为一组小样本学习任务的数据集中支持集图像X或查询集图像X最终的特征(在步骤6中简称为特征)用于图像分类，图像分类就是通过特征之间的距离度量来计算的，每个图像都会通过前面的步骤得到一个最终的特征EG(X)，然后再比较查询集图像的特征和支持集中图像特征之间的相似度，判断这个查询集图像与哪个支持集图像相似度最大，那么这个查询集图像就属于这个相似度最大的图像的类别，其中支持集的图像的类别是已知的，查询集图像的类别是未知的)。分类模块通过计算查询集图像Xq的特征与支持集中每个类别的图像的特征之间的距离度量(特征之间的余弦相似度)，来判断查询集图像Xq与支持集中哪个类别图像的相似度最高，从而进行分类(距离度量越小表示相似度越高，Xq属于这个类别的概率就越大)；
步骤7、图神经网络模型的训练。在模型训练过程中采用的损失函数由两部分组成，分别为分类损失函数L1和局部特征重要性损失L2，模型的总损失即为两者之和：L＝L1+L2。
将多组小样本任务依次进行步骤2-7的训练过程，最终图神经网络模型训练结束后得到训练好的图神经网络模型。
训练阶段需要利用步骤6的分类结果等数据来计算损失函数，从而优化整个图神经网络模型，使得图神经网络模型分类更加准确。
步骤8、将待分类的支持集和查询集输入训练好的图神经网络模型，按照步骤2-步骤6进行处理得到待分类的查询集中每一个图像数据的分类预测结果。
本发明基于图神经网络，针对局部特征进行筛选，提供一种基于局部无关区域筛选图神经网络的小样本图像分类方法。通过在局部特征聚合时对图像背景等无关区域增加限制参数降低其对分类的影响，解决现有基于度量学习方法中无关的局部信息干扰的技术问题，从而提高了预测效果。
附图说明
图1为本发明的模型总体结构图；
图2为本发明的小样本任务采样过程图；
图3为本发明的初始图结构示意图；
图4为本发明的图神经网络更新步骤图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
在本实施例中，本发明提出的基于局部无关区域筛选图神经网络的小样本图像分类方法包含元训练和元测试两个阶段，元训练阶段用于获得训练好的(即训练完善的)网络模型；获得训练完成的网络模型后，输入需要进行分类的小样本任务(小样本任务包括支持集和查询集)，即可得到每个查询集图像的分类预测结果。元测试阶段使用元训练阶段训练好的模型对图像进行分类预测，其步骤和元训练阶段基本一样，如图1所示，灰色方框部分是完全相同的步骤，因此只介绍元训练阶段的步骤。
小样本学习的数据集包含训练集、支持集和查询集。训练集用于预训练图像的分类器，包含大量数据；支持集和查询集中包含不同于训练集的新类别的数据，并且数据很少。小样本图像分类就是将在训练集中训练好的预训练分类器在支持集上再次训练，并在查询集中验证分类准确率的任务。
元训练主要包括三部分，即小样本任务采样、局部无关区域筛选图神经网络构建、局部无关区域筛选图神经网络模型训练，整个模型的流程图见图1。具体包括如下步骤：
步骤1、小样本任务采样。小样本任务采样主要是获得从大量的训练集图像中按照支持集和查询集的分布进行多次采集，从而构成多组小样本学习任务进行训练。如图2所示，训练时每次从训练集中按照现有的n-way k-shot的规则进行采样获取到支持集和查询集组成一组小样本学习任务，然后将该小样本学习任务中的支持集和查询集图像输入到后续的局部无关区域筛选图神经网络模型中。
其中，支持集图像为：小样本学习任务中用于训练的图像数据；
查询集图像为：小样本学习任务中用于查询分类结果的图像数据；
小样本学习任务的支持集包含n个类别，每个类别k个样本，称为n-way k-shot任务。查询集包含若干待查询的图像，这些图像都属于支持集所包含的n个类别。一个小样本分类任务就是通过支持集进行训练，然后将训练好的模型用于查询集图像的分类预测；
步骤2、将小样本的数据集中支持集图像和查询集图像进行随机裁剪操作，每个图像获取到它的多个局部子图像。其中，随机裁剪范围为(0.08,1.0)，裁剪后的图像缩放成裁剪之前图像的尺寸；
步骤3、将数据集中的支持集图像和查询集图像和步骤2中提取到的局部子图像一起输入一个嵌入网络中分别得到图像的全局特征(原图的特征)和局部特征(子图像的特征)，这里使用ResNet-12作为嵌入网络；
步骤4、将步骤3获得的全局特征和局部特征进行建图，最终形成一个图结构，用于后续的图神经网络训练。具体的，初始的图结构由节点和边构成，将步骤3中提取到的全局特征和局部特征用于构造节点，每个全局特征和局部特征都作为图结构中的一个节点，分别叫做全局节点和局部节点；图的边按照如下规则进行构造：1、所有的全局节点之间相互连接构成全连接图；2、所有的局部节点与它对应图像的全局节点相连。图3展示了2个样本、每个样本提取2个子图条件下构造的图结构。构造好的图结构将会用于图神经网络模型的训练；
其中，每个图结构包含节点和边，全局特征构造的节点叫全局节点，局部特征构造的节点叫局部节点(结构意义上的)；每个节点上都会保存一个数据，叫节点特征，全局节点上的节点特征又叫全局节点特征(用于计算的数据)；全局/局部节点特征是这个图上的特征数据，在图神经网络的训练过程中会进行更新变换。但是在更新变换之前，初始情况下的值是全局/局部特征输入得到的；全局/局部特征是步骤3的输出，步骤4的输入。
步骤5、将步骤4所得的图结构通过局部无关区域筛选图神经网络模型进行更新，得到更新后的图结构。
局部无关区域筛选图神经网络模型由一个图神经网络构成，通过图神经网络对图像(原图和子图)特征进行聚合更新，得到区分能力更强的特征用于图像分类，并在聚合局部特征时通过判断该局部是无关区域的概率，根据概率大小作为系数对其增加限制参数，降低无关区域对分类的影响。图神经网络分为多层(本发明使用3层结构)，每一层的更新步骤见图4，具体更新步骤如下：
步骤501、全局特征聚合。将所有的全局节点进行聚合，首先对于其中一个全局节点i，计算它与其他全局节点j之间的边特征ei,j：
Figure BDA0003837818000000051
其中，E(Xi)是全局节点i的节点特征，E(Xj)是全局节点j的节点特征(i≠j)，
Figure BDA0003837818000000052
是一个特征转换网络。然后将图结构中与全局节点i相连的其他全局节点特征与对应的边特征相乘相加，得到节点i的全局聚合特征Ai：
Figure BDA0003837818000000053
其中SG(i)表示节点i周围的节点集合；
步骤502、计算局部节点重要性。针对局部每个局部节点，通过将它与对应全局节点的全局聚合特征之间的相似度来计算该局部节点对图像的重要性。对于局部节点i′，它对于与之对应的全局节点i的重要性λi′计算如下：
Figure BDA0003837818000000054
其中，E(xi′)是局部节点i′的节点特征，
Figure BDA0003837818000000055
是局部节点重要性特征转换网络。
步骤503、更新局部节点特征。局部节点特征通过对应的全局节点对其进行更新。具体的，对于局部节点i′和它对应的全局节点i，首先计算它们之间的边特征ei′,i：
Figure BDA0003837818000000056
这里的
Figure BDA0003837818000000057
与步骤501中的特征转换网络相同。
然后将全局节点i与边特征ei′,i相乘，然后与局部节点特征拼接起来，并输入一个特征转换网络
Figure BDA0003837818000000061
得到新的局部节点特征，具体计算如下：
Figure BDA0003837818000000062
其中El(Xi′)表示第l层的局部节点特征，
Figure BDA0003837818000000063
表示特征拼接，/>
Figure BDA0003837818000000064
是特征转换网络，第l层表示将图结构第l次输入局部无关区域筛选图神经网络模型，每一层局部无关区域筛选图神经网络模型的输入图结构都是上一层图神经网络输出的图结构。
步骤504、更新全局节点特征(步骤4构造图结构之后，全局特征就没有使用了，在图结构中只包含节点特征和边特征；节点特征又根据当前节点是全局/局部节点分为：全局节点特征和局部节点特征；图神经网络的更新操作就是更新节点特征的过程，由于图结构的特殊性(见图2)，不能同时计算更新全局和局部特征，所以步骤503、504就分别介绍了局部节点特征和全局节点特征是如何更新的)。全局聚合特征在步骤501中已经获取，接下来首先计算局部聚合特征。局部聚合特征需要考虑该局部子图像对原图的分类重要性(即该局部图像属于原图图像分类的物体区域还是无关区域)，本发明将局部特征与全局聚合特征进行对比用于获取局部重要性，对于局部节点i′的局部重要性Ii′的计算如下：
Figure BDA0003837818000000065
其中
Figure BDA0003837818000000066
是特征转换网络(特征转换网络根据上标进行区分的，上标相同的就是同一个网络)，E(xi′)表示局部节点i′的节点特征，Ai表示节点i的全局聚合特征。接着将全局节点i的所有局部节点信息聚合起来，得到i的局部聚合特征ai，计算方式如下：
Figure BDA0003837818000000067
其中SL(i)表示全局节点i对应的局部节点集合,ei′,i表示步骤503中得到的节点i′,i之间的边特征。最后将全局节点特征、全局聚合特征和局部聚合特征进行拼接，并通过特征转换网络得到更新后的全局节点特征，对于全局节点i的更新计算如下：
Figure BDA0003837818000000068
其中El(Xi)表示第l层的全局节点i的特征，
Figure BDA0003837818000000069
表示特征拼接，/>
Figure BDA00038378180000000610
是特征转换网络。
步骤505、判断循环是否是最后一层。将图神经网络进行多层更新(图神经网络包含n层，每一层的输入都是上一层输出的图结构。整个图神经网络就是输入一个初始化的图结构，然后通过多层的更新，然后将最后一层输出的图结构作为整个图神经网络的输出。前面针对节点更新的操作(501-505)是网络中一层的更新步骤，然后循环n次就能得到n层图神经网络的输出了)，图神经网络的多层更新就是将图结构多次输入到图神经网络中得到更新后的图结构，每一层的输入都是上一层输出的图结构。当更新到预设的第N层(N一般设置为3，4或5)时，则结束循环完成了图神经网络的更新，并将第N层输出的图结构作为整个图神经网络更新后的输出。
步骤6、小样本图像分类。基于步骤5输出了图神经网络最后一层的图结构，该图结构的全局节点特征EG(X)将作为查询集还是支持集里面的所有图像X(数据集中的图像X经过一系列操作，得到了很多特征，这个全局节点特征就是图像X最终用来进行分类的特征)最终的特征用于图像分类，对于查询集中每个样本(x,y)，其属于类c(分类的类别，5way-1shot任务总共有5个类别)的概率p(y＝c|x)计算如下：
Figure BDA0003837818000000071
其中，x表示图像，y表示这个图像的分类标签；Ew(*)表示所述图像对应的分类标签为*的原型特征，EG(x)为图像x通过局部无关区域筛选图神经网络模型提取到的特征，Cbase表示标签集合，cos(#1,#2)表示#1和#2之间的余弦相似度，支持集中相同类通过局部无关区域筛选图神经网络模型提取到的全局节点特征的平均值即为类的原型特征。
步骤7、模型训练。在基于局部无关区域筛选图神经网络模型训练过程中采用的损失函数由两部分组成，分别为分类损失函数L1和局部特征重要性损失L2，模型的总损失即为两者之和：L＝L1+L2。其中组成损失函数的L1、L2分别为：
Figure BDA0003837818000000072
Figure BDA0003837818000000073
其中，Q表示训练集中采样到的查询集(包含图像和标签)，|Q|表示查询集样本数量，(x,y)表示样本图像和分类标签，Cbase表示支持集中的标签集合，Ew(y)表示标签为y的原型特征(支持集中相同类通过模型提取到的特征的平均值即为类的原型特征)，EG(x)为图像x通过模型提取到的全局节点特征，N为图神经网络的层数，S为支持集(包含图像和标签)，SL(x)表示图像x的局部子图像集合，
Figure BDA0003837818000000074
表示子图像i″在图网络第l层的重要性，Cbase表示标签集合，p(y＝c|x)表示图像x的标签y预测为类c的概率，由前面的步骤6中计算得到。
训练阶段需要利用步骤6得到的分类结果等数据来计算损失函数，从而优化整个网络模型，使得图神经网络模型分类更加准确。
步骤8、将待分类的支持集和查询集输入训练好的图神经网络模型，按照步骤2-步骤6进行处理得到待分类的查询集中每一个图像数据的分类预测结果。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合；所使用的所有特征转换网络都可以选择一些常用的卷积网络。

Claims (9)

1.一种基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，该方法包括以下步骤：
步骤1：小样本任务采样
小样本学习的数据集包含训练集、支持集和查询集，其中训练集用于预训练图像分类器，包含大量图像数据；支持集和查询集中包含不同于训练集的新类别的图像数据，并且图像数据比训练集中的图像数据少；小样本图像分类就是将在训练集中训练好的预训练图像分类器在支持集上再次训练，并在查询集中验证分类准确率的任务，在测试阶段直接使用支持集和查询集作为数据集即可；
首先，在训练阶段，将大量的训练集图像数据按照支持集和查询集的分布进行多次采集，从而构成多组小样本学习任务；每组小样本学习任务分别进行训练，并通过损失函数优化整个网络模型，接下来是一组小样本学习任务训练过程；
步骤2：将一组小样本学习任务中的支持集图像和查询集图像进行随机裁剪操作，使得每一个支持集图像或查询集图像都获得多个局部子图像；
步骤3：将该组小样本学习任务的数据集中的支持集图像和查询集图像与步骤2中提取到的数据集中每一个支持集图像或查询集图像对应的局部子图像一起输入一个嵌入网络中，分别得到每一个支持集图像或查询集图像的全局特征和局部特征，支持集图像和查询集图像经过嵌入网络处理后得到全局特征，局部子图像经过嵌入网络处理后得到局部特征；
步骤4：将步骤3获得的全局特征和局部特征进行建图，最终形成一个图结构，用于后续的图神经网络训练；
步骤5：将步骤4所得的图结构通过局部无关区域筛选图神经网络模型进行更新，得到更新后的图结构，其包含全局节点特征、局部节点特征和边特征；
步骤6：小样本图像分类
基于步骤5输出所述局部无关区域筛选图神经网络模型最后一层的图结构，该图结构的全局节点特征作为支持集图像或查询集图像最终的特征用于图像分类，图像分类通过特征之间的距离度量进行计算，比较查询集图像的特征和支持集图像特征之间的相似度，判断这个查询集图像与哪个支持集图像相似度最大，那么这个查询集图像就属于这个相似度最大的支持集图像的类别，由此得到查询集图像的分类结果，其中支持集图像的类别是已知的，查询集图像的类别是未知的；
步骤7：局部无关区域筛选图神经网络模型的训练
基于步骤6的分类结果计算损失函数，在模型训练过程中采用的损失函数由两部分组成，分别为分类损失函数L1和局部特征重要性损失L2，局部无关区域筛选图神经网络模型的总损失函数即为两者之和：L＝L1+L2；将步骤1得到的多组小样本学习任务依次进行步骤2-7的训练过程，训练过程结束后得到训练好的局部无关区域筛选图神经网络模型；
步骤8：将待分类的支持集图像和查询集图像输入训练好的局部无关区域筛选图神经网络模型，处理后得到待分类的查询集中每一个图像数据的分类预测结果。
2.根据权利要求1所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤1将大量的训练集图像数据按照支持集和查询集的分布进行多次采集中的每一次采样为：从训练集中按照现有的n-way k-shot规则采样获取到支持集图像和查询集图像，由此组成一组小样本学习任务，其中，小样本学习任务的支持集包含n个类别，每个类别包含k个样本；查询集包含若干待查询的图像，这些图像都属于支持集所包含的n个类别。
3.根据权利要求2所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤2中随机裁剪操作的随机裁剪范围为(0.08,1.0)，裁剪后的图像缩放成裁剪之前图像的尺寸。
4.根据权利要求3所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤3中的嵌入网络为ResNet-12。
5.根据权利要求4所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤4中所述图结构由节点和边构成，每个全局特征和局部特征都作为图结构中的一个节点，分别叫做全局节点和局部节点；图结构的边按照如下规则进行构造：1、所有的全局节点之间相互连接构成全连接图；2、所有的局部节点与它对应图像的全局节点相连。
6.根据权利要求5所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤5中局部无关区域筛选图神经网络模型对图结构中的全局特征和局部特征进行聚合更新，得到区分能力更强的特征用于图像分类，并在聚合局部特征时通过判断此时的局部是无关区域的概率，根据概率大小作为系数对该局部增加限制参数，降低无关区域对分类的影响；所述局部无关区域筛选图神经网络模型分为N层，每一层的更新步骤如下：
步骤501：全局特征聚合
将所有的全局节点进行聚合，首先对于其中一个全局节点i，计算它与其他全局节点j之间的边特征ei,j：
Figure FDA0003837817990000031
其中，E(Xi)是全局节点i的节点特征，E(Xj)是全局节点j的节点特征，i≠j，
Figure FDA0003837817990000032
是一个特征转换网络，然后将图结构中与全局节点i相连的其他全局节点特征与对应的边特征相乘后相加，得到节点i的全局聚合特征Ai：
Figure FDA0003837817990000033
其中SG(i)表示节点i周围的节点集合；
步骤502：计算局部节点重要性
针对每个局部节点，通过将它与对应全局节点的全局聚合特征之间的相似度来计算该局部节点对图像的重要性；对于局部节点i′，它对于与之对应的全局节点i的重要性λi′计算如下：
Figure FDA0003837817990000034
其中，E(Xi′)是局部节点i′的节点特征，
Figure FDA0003837817990000035
是局部节点重要性特征转换网络；
步骤503：更新局部节点特征
局部节点特征通过对应的全局节点进行更新，具体的，对于局部节点i′和它对应的全局节点i，首先计算它们之间的边特征ei′,i：
Figure FDA0003837817990000036
然后将全局节点i与边特征ei′,i相乘，然后与局部节点特征拼接起来，并输入一个特征转换网络
Figure FDA0003837817990000037
得到新的局部节点特征，具体计算如下：
Figure FDA0003837817990000038
其中El(Xi′)表示第l层的局部节点特征，⊕表示特征拼接，第l层表示将图结构第l次输入局部无关区域筛选图神经网络模型，每一层局部无关区域筛选图神经网络模型的输入图结构都是上一层图神经网络输出的图结构；
步骤504：更新全局节点特征
全局聚合特征在步骤501中已经获取，接下来首先计算局部聚合特征，局部聚合特征需要考虑局部子图像对于其对应的原始图像分类的重要性，将局部特征与全局聚合特征进行对比用于获取局部重要性，对于局部节点i′的局部重要性Ii′的计算如下：
Figure FDA0003837817990000039
其中
Figure FDA0003837817990000041
是一个特征转换网络，E(xi′)表示局部节点i′的节点特征，Ai表示节点i的全局聚合特征，接着将全局节点i的所有局部节点信息聚合起来，得到i的局部聚合特征ai，计算方式如下：
Figure FDA0003837817990000042
其中SL(i)表示全局节点i对应的局部节点集合，ei′,i表示步骤503中得到的节点i′,i之间的边特征；
最后将全局节点特征、全局聚合特征和局部聚合特征进行拼接，并通过一个特征转换网络得到更新后的全局节点特征，对于全局节点i的更新计算如下：
Figure FDA0003837817990000043
其中El(Xi)表示第l层的全局节点i的全局节点特征；
步骤505：判断循环是否是最后一层
将局部无关区域筛选图神经网络模型进行多层更新，步骤501-505是网络中一层的更新步骤，然后循环N次就能得到N层图神经网络的输出，局部无关区域筛选图神经网络模型的多层更新就是将图结构多次输入到图神经网络中得到更新后的图结构，每一层的输入都是上一层输出的图结构，当更新到预设的第N层时，则结束循环完成了局部无关区域筛选图神经网络模型的更新，并将第N层输出的图结构作为整个局部无关区域筛选图神经网络模型更新后的输出。
7.根据权利要求6所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤6中图像分类方法具体为：
对于查询集中每个样本(x,y)，其属于类c的概率p(y＝c|x)计算如下：
Figure FDA0003837817990000044
其中，x表示图像，y表示这个图像的分类标签；Ew(*)表示所述图像对应的分类标签为*的原型特征，EG(x)为图像x通过局部无关区域筛选图神经网络模型提取到的特征，Cbase表示标签集合，cos(#1,#2)表示#1和#2之间的余弦相似度，支持集中相同类通过局部无关区域筛选图神经网络模型提取到的全局节点特征的平均值即为类的原型特征。
8.根据权利要求7所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述步骤7中组成总损失函数的L1、L2分别为：
Figure FDA0003837817990000051
Figure FDA0003837817990000052
其中，Q表示训练集中采样到的查询集，|Q|表示查询集样本数量，x,y分别表示样本图像及其分类标签，Cbase表示支持集中的标签集合，Ew(y)表示标签为y的原型特征，N为图神经网络的层数，S为支持集，SL(x)表示图像x的局部子图像集合，
Figure FDA0003837817990000053
表示子图像i″在局部无关区域筛选图神经网络模型第l层的重要性，p(y＝c|x)表示图像x的标签y预测为类c的概率。
9.根据权利要求8所述的基于局部无关区域筛选图神经网络的小样本图像分类方法，其特征在于，所述N为3、4或5。
CN202211093142.8A 2022-09-08 2022-09-08 基于局部无关区域筛选图神经网络的小样本图像分类方法 Pending CN116310466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211093142.8A CN116310466A (zh) 2022-09-08 2022-09-08 基于局部无关区域筛选图神经网络的小样本图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211093142.8A CN116310466A (zh) 2022-09-08 2022-09-08 基于局部无关区域筛选图神经网络的小样本图像分类方法

Publications (1)

Publication Number Publication Date
CN116310466A true CN116310466A (zh) 2023-06-23

Family

ID=86776716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211093142.8A Pending CN116310466A (zh) 2022-09-08 2022-09-08 基于局部无关区域筛选图神经网络的小样本图像分类方法

Country Status (1)

Country Link
CN (1) CN116310466A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115117A (zh) * 2023-08-31 2023-11-24 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115117A (zh) * 2023-08-31 2023-11-24 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质
CN117115117B (zh) * 2023-08-31 2024-02-09 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
Zhu et al. Generalizable no-reference image quality assessment via deep meta-learning
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN103425996B (zh) 一种并行分布式的大规模图像识别方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN116089883B (zh) 用于提高已有类别增量学习新旧类别区分度的训练方法
CN110704662A (zh) 一种图像分类方法及系统
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN112733602A (zh) 关系引导的行人属性识别方法
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN116310466A (zh) 基于局部无关区域筛选图神经网络的小样本图像分类方法
CN114510594A (zh) 一种基于自注意力机制的传统纹样子图检索方法
CN106570514A (zh) 一种基于词袋模型和支持向量机的汽车轮毂分类方法
CN105844299B (zh) 一种基于词袋模型的图像分类方法
CN106874927A (zh) 一种随机强分类器的构建方法和系统
CN110555462A (zh) 基于卷积神经网络的无固定多字符验证码识别方法
CN111046861B (zh) 识别红外影像的方法、构建识别模型的方法及应用
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法
CN110750672B (zh) 基于深度度量学习和结构分布学习损失的图像检索方法
CN114926691A (zh) 基于卷积神经网络的虫害智能化识别方法及系统
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN112926670A (zh) 一种基于迁移学习的垃圾分类系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination