CN113592008B - 小样本图像分类的系统、方法、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质，属于计算机视觉技术领域。解决了现有技术中无法同时利用样本类内与类间分布情况的不足。本申请1)针对于基类数据集，依据重构损失最小化准则，训练一个自编码器，学习类内样本间的差异信息。2)将支持集的样本输入到自编码器中，为支持集生成更多的重构样本。3)将支持集的样本、重构样本和查询集样本一起训练出图神经网络，用来对查询集样本节点进行边标签的预测，进而预测节点所属的类别。本申请提高了小样本情况下模型的性能和泛化能力。

Description

小样本图像分类的系统、方法、设备及存储介质

技术领域

本申请涉及一种小样本图像分类的系统、方法、设备及存储介质，尤其涉及一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质，属于计算机视觉技术领域。

背景技术

近几年，随着人工智能的迅猛发展，小样本图像分类问题已经成为计算机视觉领域的一个重要问题，也是目前非常具有挑战性的热点问题。该问题的目标是当仅存少量新类的训练样本时，可以提高模型的泛化能力和图像分类的准确率。

目前大多数小样本学习(few shot learning)方法主要集中在图像分类的问题上，它们的方法大多是将支持集样本映射到一个特定的隐空间，再将测试样本与已知样本进行度量来预测测试样本的标签；或者利用对抗生成网络为支持集生成更多的样本，以提高分类器的性能。这两种方法都有各自的优点，但是这样的方法仅仅关注类间或者类内的样本分布，没有同时利用类间与类内的样本分布情况，所以不能取得较为满意的效果。

发明内容

有鉴于此，本申请提供一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质，以解决现有技术中无法同时利用样本类内与类间分布情况的不足。本申请将使用自编码器捕获类内样本间的差异信息，利用图神经网络传递样本类间的不相似性信息与类内样本的相似性信息，本申请首先利用自编码器学习类内样本的差异关系及样本在特征空间上的分布情况，然后利用图神经网络对样本的类内相似性信息与类间的不相似性信息进行聚集传递，最后根据查询集样本节点与邻接节点的关系，预测查询集样本的标签。

本申请的技术方案是这样实现的：

方案一：一种基于自编码器的图神经网络机制解决小样本图像分类的系统，包括：

特征提取器，用于提取图像样本特征；

数据集模块，用于将图像样本特征分为支持集和查询集；

自编码器，所述自编码器包括编码器和解码器，编码器用于学习样本间的差异信息，解码器用于解码差异信息和支持集的样本并为支持集生成重构样本；

图神经网络模型，所述图神经网络模型为支持集样本、支持集的重构样本、查询集样本一起训练获得，学习一个特定的隐空间，不断更新样本节点信息和连接节点的边信息，用于预测新类样本标签，提高小样本图像分类的准确率。

进一步地：所述图神经网络模型包括特征映射网络模型、节点特征转移网络模型和度量网络模型。

进一步地：所述编码器与解码器各包含一个多层感知机MLP，MLP包括一个8192单元的隐藏层和一个ReLU的激活层。

方案二：基于自编码器的图神经网络机制解决小样本图像分类的方法，包括：

步骤一，对于输入的基类数据集和支持集，训练出基于注意力模型的自编码器来编解码支持集的样本；

步骤二，对于输入的支持集，得到自编码器的输出，该输出为支持集的重构样本；将支持集样本、重构样本和查询集样本一起训练出图神经网络；

步骤三，对于查询集的样本，根据图神经网络边标签的预测，得到查询样本节点所预测的类别。

进一步地，所述步骤一，具体步骤为：

1.1将基类数据集中每一类两个不同的样本输入到自编码器，编码器计算出上述两个样本的差异信息；

1.2将1.1得到的差异信息和一个原始样本输入到解码器，解码器输出重构样本，通过最小化重构损失，最终训练出自编码器。

进一步地，所述步骤1.1，具体步骤为：

将基类数据集中的每一类两个不同的样本x、x_i输入到自编码器，编码出其特征信息；然后，以x作为注意力模型的被关注的对象，以x_i作为注意力模型的查询，计算出相似度得分：

其中，w是权重矩阵，

作为缩放因子；

计算出归一化后的每个样本之间的相似度得分：

其中，exp表示以自然常数e为底的指数函数，soft target softmax函数表示对齐函数，T表示soft target softmax函数的参数；

然后，计算出类内不同样本之间的差异信息d_i＝1-s_i。

进一步地，所述步骤1.2，具体步骤为：

将得到的差异信息{d₁,d₂,d₃,...,d_n}与步骤1.1输入到编码器的原始样本x输入到解码器，生成n个重构样本

为了最小化重构损失，优化目标公式设置为：

最终训练出一个自编码器。

进一步地，所述步骤二，具体步骤为：

2.1在基类数据集中选择与支持集样本分布情况最相似的类别，将该类别的样本输入到自编码器，编码出该类样本间的差异信息，将差异信息与支持集样本输入到解码器，输出支持集的重构样本；

2.2将支持集样本、查询集样本和2.1得到的重构样本作为图神经网络的节点，初始化边标签和边特征；

2.3根据图神经网络的边特征按比例地聚集其他邻接节点的信息，利用该聚集信息来更新节点特征；

2.4利用2.3得到的节点特征，来更新图神经网络中的边特征；

2.5循环执行若干次2.3、2.4两个步骤后，最终得到训练完成的图神经网络。

进一步地，所述步骤2.2，具体步骤为：

对于任务T的所有样本，包括支持集、支持集的重构样本以及查询集，以每个样本为图的节点，样本之间的语义关系作为图的边，得到一个图的表示形式：

G＝(υ,ε；T)

υ:＝{V_i}_{i＝1,...,|T|}表示图中的节点，ε:＝{E_ij}_{i,j＝1,...,|T|}表示构成图的边，V_i表示节点特征，E_i,j表示边特征；其中|T|＝n×k+n×m+t为任务T的样本总量，n为样本的类别数，k为支持集中每一类的样本数，m为每一类的重构样本数，t为查询集的样本总量；

通过节点的真实标签来定义边的真实标签,得到：

其中，y_i是节点i的真实标签，y_j是节点j的真实标签，y_i,j是连接节点i和节点j之间的边的真实标签；

通过卷积映射网络得到初始化的节点特征：

其中，x_i是输入到的图神经网络的样本i，f_emb表示卷积映射网络，θ_emb是卷积映射网络f_emb的可学习参数，

是样本i经过卷积映射网络后得到的初始特征，

边特征通过边标签来初始化：

其中||表示连接操作符，n为样本的类别数，k为支持集中每一类的样本数，

表示连接节点i和节点j之间的边的初始特征。

进一步地，所述步骤2.3，具体步骤为：

利用

表示图神经网络中第l-1层的节点特征和边特征，

表示图神经网络中第l-1层相似性的边特征，

表示图神经网络第l-1层不相似性的边特征。第l层的节点特征

根据边特征的信息按比例来聚集其他节点的信息，第l-1层的边特征

表示相对应邻接节点的贡献度，其类似于注意力机制，为了聚集类内节点信息和类间节点信息，节点特征更新公式为：

其中，

表示节点特征转移网络，

表示节点特征转移网络

的可学习参数，

表示节点j在图神经网络中第l-1层的节点特征，

表示节点i在图神经网络中第l层的节点特征。

进一步地，所述步骤2.4，具体步骤为：

基于更新后的节点特征，对边特征进行更新；先计算每个节点对之间的相似性：

其中，

表示用于计算相似度得分的度量网络，

表示度量网络

的可学习参数，

分别表示节点i、节点j和节点k在图神经网络第l层的节点特征，

表示节点i和节点j在图神经网络中第l-1层相似性的边特征，

表示节点i和节点k在图神经网络中第l-1层相似性的边特征，

然后，计算节点间的不相似性：

其中，

表示节点i和节点j在图神经网络中第l-1层不相似性的边特征，

表示节点i和节点k在图神经网络中第l-1层不相似性的边特征。

结合图神经网络上一层的边特征和更新后节点间的相似性与不相似性，对边特征进行更新，其更新公式为

经过多次迭代对节点特征和边特征进行更新后，最终得到训练好的图神经网络，

查询集节点v_i的预测概率为：

其中，S表示支持集，x_j表示支持集中的样本j，y_j表示样本j的标签，C_k表示第k个类别的类原型表征。

表示节点i和节点j之间边标签的预测结果，δ(y_j＝C_k)为Kroneckerdelta函数，

表示查询集节点i属于类别k的概率。通过比较概率的大小，最终得到查询集节点的分类结果。

所述方案二是基于方案一所述系统实现的。

方案三：一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行方案二所述方法的步骤。

方案四：一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案二所述方法的步骤。

本申请有益效果体现在：

相对于现有的小样本学习图像分类解决方案，本申请不仅捕获了样本类间的不相似性和样本类内的相似性，还对样本进行了特征增强，使得重构样本在图神经网络中得到充分利用，以达到对查询集的样本信息进行更准确地预测。本申请还很适合应用在不同类别数的任务上，灵活性很强，并且容易扩展到直推式的预测框架。本申请借助自编码器捕获了同类样本间的差异信息，并将其迁移到新类样本，能更有效地生成样本，以达到数据增强的目的。同时，图神经网络利用类内样本的相似性与类间样本的不相似性，迭代地更新边标签，来推断查询集样本节点与支持集样本节点之间的关系，则能够更准确地反映查询集样本在特征空间上的分布情况，并对查询集样本所属的类别进行更有效地预测。本申请在小样本图像分类问题中所取得的效果优越。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例一提供的一种基于自编码器的图神经网络机制解决小样本图像分类的系统框图；

图2为本申请实施例二提供的基于自编码器的图神经网络机制解决小样本图像分类的方法流程图；

图3为本申请所使用的对于小样本图像分类问题的基于自编码器的图神经网络的整体示意图；

图4为本申请训练出含注意力模型的自编码器来编解码支持集的样本的流程图；

图5为本申请对于支持集的重构样本，将样本一起训练出图神经网络的流程图；

图6为本申请的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与申请相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一

本申请实施例一提供了一种基于自编码器的图神经网络机制解决小样本图像分类的系统(参见图1)，包括：特征提取器，用于提取图像样本特征；数据集模块，用于将图像样本特征分为支持集和查询集；

自编码器，所述自编码器包括编码器和解码器，所述编码器与解码器各包含一个多层感知机MLP，MLP包括一个8192单元的隐藏层和一个ReLU的激活层，编码器用于学习样本间的差异信息，解码器用于解码差异信息和支持集的样本并为支持集生成重构样本；图神经网络模型，所述图神经网络模型包括特征映射网络模型、节点特征转移网络模型和度量网络模型；所述图神经网络模型为支持集样本、支持集的重构样本、查询集样本一起训练获得，学习一个特定的隐空间，不断更新样本节点信息和连接节点的边信息，用于预测新类样本标签，提高小样本图像分类的准确率。

实施例二

本申请实施例二提供了一种基于自编码器的图神经网络机制解决小样本图像分类的方法(参见图2-图5)，该方法具体为：

S1，对于输入的基类数据集和支持集，训练出基于注意力模型的自编码器来编解码支持集的样本；

在这一步骤中，具体操作为：

S1.1将基类数据集中每一类两个不同的样本输入到自编码器，编码器计算出上述两个样本的差异信息；更为具体地，

将基类数据集中的每一类两个不同的样本x、x_i输入到自编码器，编码出其特征信息；然后，以x作为注意力模型的被关注的对象，以x_i作为注意力模型的查询，计算出相似度得分：

其中，w是权重矩阵，

作为缩放因子；

计算出归一化后的每个样本之间的相似度得分：

其中，exp表示以自然常数e为底的指数函数，soft target softmax函数表示对齐函数，T表示soft target softmax函数的参数；

然后，计算出类内不同样本之间的差异信息d_i＝1-s_i。

S1.2将S1.1得到的差异信息和一个原始样本输入到解码器，解码器输出重构样本，通过最小化重构损失，最终训练出自编码器；更为具体地，

将得到的差异信息{d₁,d₂,d₃,...,d_n}与步骤1.1输入到编码器的原始样本x输入到解码器，生成n个重构样本

为了最小化重构损失，优化目标公式设置为：

最终训练出一个自编码器。

S2，对于输入的支持集，得到自编码器的输出，该输出为支持集的重构样本；将支持集样本、重构样本和查询集样本一起训练出图神经网络；

在这一步骤中，具体操作为：

S2.1在基类数据集中选择与支持集样本分布情况最相似的类别，将该类别的样本输入到自编码器，编码出该类样本间的差异信息；将差异信息与支持集样本输入到解码器，输出支持集的重构样本；

S2.2将支持集样本、查询集样本和S2.1得到的重构样本作为图神经网络的节点，初始化边标签和边特征；更为具体地，

对于任务T的所有样本，包括支持集、支持集的重构样本以及查询集，以每个样本为图的节点，样本之间的语义关系作为图的边，得到一个图的表示形式：

G＝(υ,ε；T)

υ:＝{V_i}_{i＝1,...,|T|}表示图中的节点，ε:＝{E_ij}_{i,j＝1,...,|T|}表示构成图的边，V_i表示节点特征，E_i,j表示边特征；其中|T|＝n×k+n×m+t为任务T的样本总量，n为样本的类别数，k为支持集中每一类的样本数，m为每一类的重构样本数，t为查询集的样本总量；

通过节点的真实标签来定义边的真实标签,得到：

其中，y_i是节点i的真实标签，y_j是节点j的真实标签，y_i,j是连接节点i和节点j之间的边的真实标签，

通过卷积映射网络得到初始化的节点特征：

其中，x_i是输入到的图神经网络的样本i，f_emb表示卷积映射网络，θ_emb是卷积映射网络f_emb的可学习参数，

是样本i经过卷积映射网络后得到的初始特征，

边特征通过边标签来初始化：

其中||表示连接操作符，n为样本的类别数，k为支持集中每一类的样本数，

表示连接节点i和节点j之间的边的初始特征。

S2.3根据图神经网络的边特征按比例地聚集其他邻接节点的信息，利用该聚集信息来更新节点特征；更为具体地，

利用

表示图神经网络中第l-1层的节点特征和边特征，

表示图神经网络中第l-1层相似性的边特征，

表示图神经网络第l-1层不相似性的边特征。第l层的节点特征

根据边特征的信息按比例来聚集其他节点的信息，第l-1层的边特征

表示相对应邻接节点的贡献度，其类似于注意力机制，为了聚集类内节点信息和类间节点信息，节点特征更新公式为：

其中，

表示节点特征转移网络，

表示节点特征转移网络

的可学习参数，

表示节点j在图神经网络中第l-1层的节点特征，

表示节点i在图神经网络中第l层的节点特征。

S2.4利用S2.3得到的节点特征，来更新图神经网络中的边特征；更为具体地，基于更新后的节点特征，对边特征进行更新；先计算每个节点对之间的相似性：

其中，

表示用于计算相似度得分的度量网络，

表示度量网络

的可学习参数，

分别表示节点i、节点j和节点k在图神经网络第l层的节点特征，

表示节点i和节点j在图神经网络中第l-1层相似性的边特征，

表示节点i和节点k在图神经网络中第l-1层相似性的边特征，

然后，计算节点间的不相似性：

其中，

表示节点i和节点j在图神经网络中第l-1层不相似性的边特征，

表示节点i和节点k在图神经网络中第l-1层不相似性的边特征。

结合图神经网络上一层的边特征和更新后节点间的相似性与不相似性，对边特征进行更新，其更新公式为

经过多次迭代对节点特征和边特征进行更新后，最终得到训练好的图神经网络；

查询集节点v_i的预测概率为：

其中，S表示支持集，x_j表示支持集中的样本j，y_j表示样本j的标签，C_k表示第k个类别的类原型表征。

表示节点i和节点j之间边标签的预测结果，δ(y_j＝C_k)为Kroneckerdelta函数，

表示查询集节点i属于类别k的概率。通过比较概率的大小，最终得到查询集节点的分类结果。

S2.5循环执行若干次S2.3、S2.4两个步骤后，最终得到训练完成的图神经网络。

S3，对于查询集的样本，根据图神经网络边标签的预测，得到查询样本节点所预测的类别。

实施例三

本申请实施例三提供一种电子设备，参见图6，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器或者处理单元，用于存储能够在处理器上运行的计算机程序的存储器，连接不同系统组件(包括存储器、一个或者多个处理器或者处理单元)的总线。

其中，所述一个或者多个处理器或者处理单元用于运行所述计算机程序时，执行实施例二所述方法的步骤。所述处理器所用类型包括中央处理器、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。

其中，总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

实施例四

本申请实施例四提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例二所述方法的步骤。

需要说明的是，本申请所示的存储介质可以是计算机可读信号介质或者存储介质或者是上述两者的任意组合。存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。存储介质还可以是存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

对本申请进行效果验证

本申请在互联网上下载小样本图像分类常用的两个数据集miniImageNet、CIFAR100，并在miniImageNet数据集、CIFAR100数据集上进行实验验证，其中miniImageNet数据集、CIFAR100数据集各包含100个类别，每个类别包含600张图像。本申请对于miniImageNet数据集和CIFAR100数据集进行如下预处理：对于每一个数据集均随机选取64个类别作为训练集，16个类别作为验证集，剩下的20个类别作为测试集，并且把每张图像都设置为84×84尺寸大小。

为了客观地评价本申请的性能，本申请在所选出的测试集，使用了5way-Accuracy(五分类的准确率)来对于本申请的效果进行评价。分为以下2种设置进行测试，GNNDE-1shot(每个新类仅提供一个支持集样本)，GNNDE-5shot(每个新类仅提供五个支持集样本)。对于实验中的自编码器网络，初始权重按高斯分布随机初始化，初始的学习率设定为1e-3，每一个epoch训练后设定的抛弃率(dropout rate)为0.5。自编码器设置训练30个epoch，批数据集大小(batch size)为128，使用了ADAM(Adaptive Moment Estimation)的梯度下降技术。对于图神经网络，本申请使用的初始学习率为5e-4，权重衰减设置为1e-6。

另外，为了客观地评价本申请的性能，按实施方式中描述的步骤，测试了本申请在miniImageNet数据集和CIFAR100数据集的性能，分别按照5way-1shot和5-way-5shot两个设置，所得的实验结果如表1所示。

Setting	mini ImageNet数据集	CIFAR100数据集
			5way-1shot	68.5％	72.5％
5way-5shot	79.5％	86.7％

表1本申请针对于miniImageNet数据集和CIFAR100数据集对于5way1-shot和5way-5shot两种不同设置的测试结果。

以上所述的实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的实施例而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (9)

1.一种基于自编码器的图神经网络机制解决小样本图像分类的方法，基于自编码器的图神经网络机制解决小样本图像分类系统，包括：

特征提取器，用于提取图像样本特征；

数据集模块，用于将图像样本特征分为支持集和查询集；

自编码器，所述自编码器包括编码器和解码器，编码器用于学习样本间的差异信息，解码器用于解码差异信息和支持集的样本并为支持集生成重构样本；

图神经网络模型，所述图神经网络模型为支持集样本、支持集的重构样本、查询集样本一起训练获得，学习一个特定的隐空间，不断更新样本节点信息和连接节点的边信息，用于预测新类样本标签，提高小样本图像分类的准确率；

所述图神经网络模型包括特征映射网络模型、节点特征转移网络模型和度量网络模型；

所述编码器与解码器各包含一个多层感知机MLP，MLP包括一个8192单元的隐藏层和一个ReLU的激活层；

其特征在于，包括：

步骤一，对于输入的基类数据集和支持集，训练出基于注意力模型的自编码器来编解码支持集的样本；

步骤二，对于输入的支持集，得到自编码器的输出，该输出为支持集的重构样本；将支持集样本、重构样本和查询集样本一起训练出图神经网络；

步骤三，对于查询集的样本，根据图神经网络边标签的预测，得到查询样本节点所预测的类别。

2.根据权利要求1所述的基于自编码器的图神经网络机制解决小样本图像分类的方法，其特征在于，所述步骤一，具体步骤为：

1.1将基类数据集中每一类两个不同的样本输入到自编码器，编码器计算出上述两个样本的差异信息；

1.2将1.1得到的差异信息和一个原始样本输入到解码器，解码器输出重构样本，通过最小化重构损失，最终训练出自编码器。

3.根据权利要求2所述的基于自编码器的图神经网络机制解决小样本图像分类的方法，其特征在于，所述步骤1.1，具体步骤为：

将基类数据集中的每一类两个不同的样本x、x_i输入到自编码器，编码出其特征信息；然后，以x作为注意力模型的被关注的对象，以x_i作为注意力模型的查询，计算出相似度得分：

其中，w是权重矩阵，

作为缩放因子；

计算出归一化后的每个样本之间的相似度得分：

其中，exp表示以自然常数e为底的指数函数，soft target softmax函数表示对齐函数，T表示soft target softmax函数的参数；

然后，计算出类内不同样本之间的差异信息d_i＝1-s_i。

4.根据权利要求3所述的基于自编码器的图神经网络机制解决小样本图像分类的方法，其特征在于，所述步骤1.2，具体步骤为：

将得到的差异信息{d₁,d₂,d₃,...,d_n}与步骤1.1输入到编码器的原始样本x输入到解码器，生成n个重构样本

为了最小化重构损失，优化目标公式设置为：

最终训练出一个自编码器。

5.根据权利要求4所述的基于自编码器的图神经网络机制解决小样本图像分类的方法，其特征在于，所述步骤二，具体步骤为：

2.1在基类数据集中选择与支持集样本分布情况最相似的类别，将该类别的样本输入到自编码器，编码出该类样本间的差异信息；将差异信息与支持集样本输入到解码器，输出支持集的重构样本；

2.2将支持集样本、查询集样本和2.1得到的重构样本作为图神经网络的节点，初始化边标签和边特征；

2.3根据图神经网络的边特征按比例地聚集其他邻接节点的信息，利用该聚集信息来更新节点特征；

2.4利用2.3得到的节点特征，来更新图神经网络中的边特征；

2.5循环执行若干次2.3、2.4两个步骤后，最终得到训练完成的图神经网络。

6.根据权利要求5所述的基于自编码器的图神经网络机制解决小样本图像分类的方法，其特征在于，所述步骤2.2，具体步骤为：

对于任务T的所有样本，包括支持集、支持集的重构样本以及查询集，以每个样本为图的节点，样本之间的语义关系作为图的边，得到一个图的表示形式：

G＝(υ,ε；T)

υ:＝{V_i}_{i＝1,...,|T|}表示图中的节点，ε:＝{E_ij}_{i,j＝1,...,|T|}表示构成图的边，V_i表示节点特征，E_i,j表示边特征；其中|T|＝n×k+n×m+t为任务T的样本总量，n为样本的类别数，k为支持集中每一类的样本数，m为每一类的重构样本数，t为查询集的样本总量；

通过节点的真实标签来定义边的真实标签,得到：

其中，y_i是节点i的真实标签，y_j是节点j的真实标签，y_i,j是连接节点i和节点j之间的边的真实标签，

通过卷积映射网络得到初始化的节点特征：

其中，x_i是输入到的图神经网络的样本i，f_emb表示卷积映射网络，θ_emb是卷积映射网络f_emb的可学习参数，

是样本i经过卷积映射网络后得到的初始特征，

边特征通过边标签来初始化：

其中||表示连接操作符，n为样本的类别数，k为支持集中每一类的样本数，

表示连接节点i和节点j之间的边的初始特征。

7.根据权利要求6所述的基于自编码器的图神经网络机制解决小样本图像分类的方法，其特征在于，所述步骤2.3，具体步骤为：

利用

表示图神经网络中第l-1层的节点特征和边特征，

表示图神经网络中第l-1层相似性的边特征，

表示图神经网络第l-1层不相似性的边特征；第l层的节点特征

根据边特征的信息按比例来聚集其他节点的信息，第l-1层的边特征

表示相对应邻接节点的贡献度，为了聚集类内节点信息和类间节点信息，节点特征更新公式为：

其中，

表示节点特征转移网络，

表示节点特征转移网络

的可学习参数，

表示节点j在图神经网络中第l-1层的节点特征，

表示节点i在图神经网络中第l层的节点特征；

所述步骤2.4，具体步骤为：

基于更新后的节点特征，对边特征进行更新；先计算每个节点对之间的相似性：

其中，

表示用于计算相似度得分的度量网络，

表示度量网络

的可学习参数，

分别表示节点i、节点j和节点k在图神经网络第l层的节点特征，

表示节点i和节点j在图神经网络中第l-1层相似性的边特征，

表示节点i和节点k在图神经网络中第l-1层相似性的边特征，

然后，计算节点间的不相似性：

其中，

表示节点i和节点j在图神经网络中第l-1层不相似性的边特征，

表示节点i和节点k在图神经网络中第l-1层不相似性的边特征；

结合图神经网络上一层的边特征和更新后节点间的相似性与不相似性，对边特征进行更新，其更新公式为

经过多次迭代对节点特征和边特征进行更新后，最终得到训练好的图神经网络；

查询集节点v_i的预测概率为：

其中，S表示支持集，x_j表示支持集中的样本j，y_j表示样本j的标签，C_k表示第k个类别的类原型表征，

表示节点i和节点j之间边标签的预测结果，δ(y_j＝C_k)为Kronecker delta函数，

表示查询集节点i属于类别k的概率，通过比较概率的大小，最终得到查询集节点的分类结果。

8.一种电子设备，其特征在于：包括处理器和用于存储能够在处理器上运行的计算机程序的存储器，

其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

Images