CN112183620A - 基于图卷积神经网络的小样本分类模型的发育方法及系统 - Google Patents

基于图卷积神经网络的小样本分类模型的发育方法及系统 Download PDF

Info

Publication number
CN112183620A
CN112183620A CN202011032774.4A CN202011032774A CN112183620A CN 112183620 A CN112183620 A CN 112183620A CN 202011032774 A CN202011032774 A CN 202011032774A CN 112183620 A CN112183620 A CN 112183620A
Authority
CN
China
Prior art keywords
graph
classification model
neural network
knowledge
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011032774.4A
Other languages
English (en)
Other versions
CN112183620B (zh
Inventor
杨旭
张昕悦
刘智勇
张璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011032774.4A priority Critical patent/CN112183620B/zh
Publication of CN112183620A publication Critical patent/CN112183620A/zh
Application granted granted Critical
Publication of CN112183620B publication Critical patent/CN112183620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及了一种基于图卷积神经网络的小样本分类模型的发育方法及系统，旨在解决现有模型应用到新任务中性能不佳并且需要大量带标签训练样本的问题。本发明包括：提取一个由无向图构成的知识图谱，获取与任务相关的知识性信息；提取原始模型针对旧任务的训练过程中的经验信息；将知识性信息以及经验性信息相融合，构成新的融合图；通过建立新任务类别和旧任务类别之间的联系并进行模型的训练，得到面向新任务的认知发育后的分类模型。本发明方法在任务的迁移过程中，新任务无需提供大量的带标签样本，就可以实现快速而精准的视觉迁移，极大地提高了模型的利用率，降低了训练模型的成本和时间。

Description

基于图卷积神经网络的小样本分类模型的发育方法及系统
技术领域
本发明属于计算机视觉领域，具体涉及了一种基于图卷积神经网络的小样本分类模型的发育方法及系统。
背景技术
随着计算机视觉领域相关技术的不断发展，计算机视觉技术的应用范围越来越广泛。在视觉算法逐渐成熟的同时，模型对于大规模图像样本的依赖，已经成为模型训练中难以避免的问题。对于样本采集工作较为困难的领域，甚至是本身不具备大规模的样本的领域，带标签的样本的采集工作，更是成为了制约计算机视觉技术发展的难题。由于人类认知领域的不断扩展，新的任务类别逐渐被发现。然而，大多数目标识别模型的测试任务对象是固定的，为了能够对新任务实现正确的检测识别操作，需要对模型整体的参数进行更新和调整。这种训练模式需要花费大量的时间和精力投入。对相关模型参数的整体的更新训练，虽然可以实现新任务的目标分类任务，但是会造成对原有任务的遗忘。显然，这不符合计算机视觉领域追求的快速、精准的目标性能要求。
图神经网络是近年来新兴的研究领域，将传统神经网络延伸到非欧几里德空间。在图结构上进行图操作，具有一定的可解释性能。图神经网络将类别之间的结构信息当做信息传播的通道，可以很好地提取样本之间的关系，模仿人脑在认知中的相应关联和区分机制，获取关于新任务的更多辅助信息，从而弥补了样本数据不足的问题。图神经网络可以很好地将旧类别与新类别关联起来，建立了原有模型与新的视觉任务间的信息的传播通道，便于实现模型对于新任务的推理。
因此，本发明针对模型在旧任务到新任务的迁移过程中会遗忘旧任务以及模型进行新任务训练时需要大量的带标签训练样本的问题，将图网络应用到多任务问题中，利用图神经网络中信息在节点间传播和聚合的特点，在不提供大量带标签样本，只提供少量的样本图像的基础上，实现模型的快速精确的视觉迁移。
发明内容
为了解决现有技术中的上述问题，即现有模型应用到新任务中性能不佳并且需要大量带标签训练样本的问题，本发明提供了一种基于图卷积神经网络的小样本分类模型的发育方法，该方法包括：
步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；
步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；
步骤S500，通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；
步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。
在一些优选的实施例中，所述预先构建的知识图谱为基于设定数据集构建的无向图，其公式表示为：
G＝＜V,E＞
其中，V＝{v1,v2,…,vi,…,vn}为知识图谱中相关节点的集合，每个节点分别代表一个类别；E＝{ei,j＝(vi,vj)}为边的集合，代表图中节点间的连接关系，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系；
知识图谱中节点特征的集合为：
X＝{x1,x2,…,xi,…,xn}
知识图谱中类别的分类权重为：
Figure BDA0002704261530000031
其中，N代表知识图谱中所有类别的总个数。
在一些优选的实施例中，步骤S100包括：
步骤S10，根据所述知识图谱中的对应类别信息，获取N个类别的语义特征描述；
步骤S120，通过基于维基百科训练的Glove模型将所述N个类别的语义特征描述转换为对应的语义特征向量；
步骤S130，基于所述语义特征向量以及知识图谱中节点之间的连接关系，构建常识性知识图网络。
在一些优选的实施例中，所述常识性知识图网络的特征矩阵为XK∈RN×S，R代表实域空间，N×S为特征矩阵的维度，S为语义特征向量的长度；
所述常识性知识图网络的边表示为：
Figure BDA0002704261530000041
其中，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系。
在一些优选的实施例中，步骤S200包括：
步骤S210，通过所述待发育分类模型的特征提取模块F(·|θ)提取支撑集中提供的新任务的少量样本的特征值；
步骤S220，计算所述少量样本的特征值的均值作为初始节点信息；
所述初始节点信息表示为：
Figure BDA0002704261530000042
其中，K为新任务的类别在支撑集中的样本个数，xk,i代表支撑集中第i个类别的第k个样本，
Figure BDA0002704261530000043
代表旧任务的类别权重。
在一些优选的实施例中，所述旧任务与新任务类别间的关系，其计算方法为：
Figure BDA0002704261530000044
其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s为设定常数，代表判定连接的界限。
在一些优选的实施例中，所述融合图中节点的输入特征向量为：
Figure BDA0002704261530000051
其中，
Figure BDA0002704261530000052
和
Figure BDA0002704261530000053
分别代表常识性知识类别特征和经验性知识类别特征，||·||2代表数据的二范数，α和β分别代表常识性知识和经验性知识的融合权重。
在一些优选的实施例中，所述融合图的边为：
Figure BDA0002704261530000054
其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s代表为设定常数，代表判定连接的界限，∨代表或关系，hyponymy(i,j)代表节点i和节点j代表的类间间具有父子关系。
在一些优选的实施例中，所述图卷积神经网络为：
Figure BDA0002704261530000055
其中，H代表图卷积神经网络的输出，其中，网络第一层输出H0＝X；ReLu(·)为Leaky ReLu函数，代表图卷积神经网络的非线性激活函数；
Figure BDA0002704261530000056
E∈RN×N代表相应图的邻接矩阵，I为N阶单位矩阵；
Figure BDA0002704261530000061
以邻接矩阵的行向量正则化，Eij代表图的连接矩阵，i代表第i个节点，j代表第j个节点；K(l)是指图卷积神经网络第l层的参数。
在一些优选的实施例中，所述目标优化函数为：
Figure BDA0002704261530000062
其中，
Figure BDA0002704261530000063
代表图结构输出的对于旧类的分类权重的预测值，W代表通过训练好的新任务类别的分类器C(·|ω)得到的旧类别的分类权重的真实值，M是旧类别的数量，P为分类权重向量的维度，m代表第m类的类别节点，n代表第n个向量。
本发明的另一方面，提出了一种基于图卷积神经网络的小样本分类模型的发育系统，该系统包括常识性知识图网络构建模块、初始节点信息提取模块、类别关系计算模块、融合模块、迭代训练模块和迁移模块；
所述常识性知识图网络构建模块，配置为获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
所述初始节点信息提取模块，配置为通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
所述类别关系计算模块，配置为通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；
所述融合模块，配置为通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；
所述迭代训练模块，配置为通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；
所述迁移模块，配置为将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的发育后的分类模型。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图卷积神经网络的小样本分类模型的发育方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图卷积神经网络的小样本分类模型的发育方法。
本发明的有益效果：
(1)本发明基于图卷积神经网络的小样本分类模型的发育方法，通过模拟人脑的工作机制，解决图像分类领域的小样本、多任务问题。本发明基于知识图谱，获得关于任务的社会性知识的同时，回溯对于原始模型训练过程中的经验，通过两个信息的结合，在宏观认知和图像特征上共同实现视觉推理；基于图卷积神经网络间的信息传播机制，在非欧几里德空间关注到样本间的结构信息，建立新类别和旧类别之间的联系，模型从旧类别任务到新类别任务的视觉迁移快速精确，并且新任务的训练中仅需要少量的带标签训练样本，大大降低了模型训练成本和时间。
(2)本发明基于图卷积神经网络的小样本分类模型的发育方法，利用与任务相关的知识性信息和模型在旧类别中的经验信息，有效地减少了模型在训练过程中的时间复杂度以及相应的存储复杂度，同时，对于新类的检测识别准确率也实现了显著地提高，可以很好地解决小样本、多任务的目标分类问题，实现视觉发育。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于图卷积神经网络的小样本分类模型的发育方法的整体框架示意图；
图2是本发明基于图卷积神经网络的小样本分类模型的发育方法一种实施例的旧任务经验信息与常识性知识融合示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于图卷积神经网络的小样本分类模型的发育方法，本方法能够很好的解决图像分类领域的小样本分类样本采集效率不高、准确度不高、复杂度高的问题，在任务的迁移过程中，新任务不需要提供大量的带标签样本，只需要在具备几张样本图像的基础上，就可以实现快速而精准的视觉迁移，这一目标的实现，极大地提高了模型的利用率，降低了训练模型的成本和时间。。
本发明的一种基于图卷积神经网络的小样本分类模型的发育方法，该方法包括：
步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；
步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；
步骤S500，通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；
步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。
为了更清晰地对本发明基于图卷积神经网络的小样本分类模型的发育方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于图卷积神经网络的小样本分类模型的发育方法，包括步骤S100-步骤S600，各步骤详细描述如下：
本发明一种实施例的基于图卷积神经网络的小样本分类模型的发育方法，包括步骤S100-步骤S600，各步骤详细描述如下：
步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络。
预先构建的知识图谱为基于设定数据集构建的无向图，其公式表示如式(1)所示：
G＝＜V,E＞ (1)
其中，V＝{v1,v2,…,vi,…,vn}为知识图谱中相关节点的集合，每个节点分别代表一个类别；E＝{ei,j＝(vi,vj)}为边的集合，代表图中节点间的连接关系，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系。
知识图谱中节点特征的集合如式(2)所示：
X＝{x1,x2,…,xi,…,xn} (2)
知识图谱中类别的分类权重如式(3)所示：
Figure BDA0002704261530000101
其中，N代表知识图谱中所有类别的总个数。
步骤S10，根据所述知识图谱中的对应类别信息，获取N个类别的语义特征描述。
本发明一个实施例中，从WordNet数据集中提取任务相关的知识图谱子图，假设总类别集合C中共包含N个类别，构建一个包含N个节点的图网络，根据WordNet中的对应类别的信息，获取N个类别的语义特征描述。
步骤S120，通过基于维基百科训练的Glove模型将所述N个类别的语义特征描述转换为对应的语义特征向量。
本发明一个实施例中，使用一个基于维基百科训练的Glove模型，将语义描述转化为对应的特征向量表示，作为节点的特征值，以参与之后的计算。
步骤S130，基于所述语义特征向量以及知识图谱中节点之间的连接关系，构建常识性知识图网络。
常识性知识图网络的特征矩阵为XK∈RN×S，R代表实域空间，N×S为特征矩阵的维度，S为语义特征向量的长度。
常识性知识图网络的边如式(4)所示：
Figure BDA0002704261530000111
其中，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系。
步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息。
本发明一个实施例中，选取的待发育分类模型为一个原始的检测识别ResNet网络，可以表示为C(F(·|θ)|ω)，其中ω和θ为需要训练的参数。
步骤S210，通过所述待发育分类模型的特征提取模块F(·|θ)提取支撑集中提供的新任务的少量样本的特征值。
步骤S220，计算所述少量样本的特征值的均值作为初始节点信息。
初始节点信息即获取的图结构中基于经验的节点特征值，如式(5)所示：
Figure BDA0002704261530000112
其中，K为新任务的类别在支撑集中的样本个数，xk,i代表支撑集中第i个类别的第k个样本，
Figure BDA0002704261530000121
代表旧任务的类别权重。
步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边。
旧任务与新任务类别间的关系，其计算方法如式(6)所示：
Figure BDA0002704261530000122
其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s为设定常数，代表判定连接的界限。
步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图。
将步骤S100和步骤S200提取的经验性信息和常识性知识信息融合，构成新的融合图，融合图中节点的输入特征向量如式(7)所示：
Figure BDA0002704261530000123
其中，
Figure BDA0002704261530000124
和
Figure BDA0002704261530000125
分别代表常识性知识类别特征和经验性知识类别特征，||·||2代表数据的二范数，α和β分别代表常识性知识和经验性知识的融合权重。
融合图的边如式(8)所示：
Figure BDA0002704261530000131
其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s代表为设定常数，代表判定连接的界限，∨代表或关系，hyponymy(i,j)代表节点i和节点j代表的类间间具有父子关系。
如图2所示，为本发明基于图卷积神经网络的小样本分类模型的发育方法一种实施例的旧任务经验信息与常识性知识融合示例图，提取旧分类任务中针对猪的耳朵、鼻子和腿的经验信息，提取新分类任务中针对大象耳朵、鼻子和腿的常识性知识信息，耳朵：巨大，鼻子：长，腿：强壮，将旧分类任务的经验信息和新分类任务的常识性知识信息通过本发明知识-经验融合图神经网络融合，最终获得可针对大象进行识别分类的认知发育后的新分类模型。
步骤S500，通过图卷积神经网络，迭代在所述融合图上进行信息的传播和聚合以及通过目标优化函数最小化旧类别目标值与预测值之间的差值，获得新任务类别的分类器。
图卷积神经网络的表达式如式(9)所示：
Figure BDA0002704261530000132
其中，H代表图卷积神经网络的输出，其中，网络第一层输出H0＝X；ReLu(·)为Leaky ReLu函数，代表图卷积神经网络的非线性激活函数；
Figure BDA0002704261530000133
E∈RN×N代表相应图的邻接矩阵，I为N阶单位矩阵；
Figure BDA0002704261530000134
以邻接矩阵的行向量正则化，Eij代表图的连接矩阵，i代表第i个节点，j代表第j个节点；K(l)是指图卷积神经网络第l层的参数。
模型新任务类别的训练中，其目标优化函数如式(10)所示：
Figure BDA0002704261530000141
其中，
Figure BDA0002704261530000142
代表图结构输出的对于旧类的分类权重的预测值，W代表通过训练好的新任务类别的分类器C(·|ω)得到的旧类别的分类权重的真实值，M是旧类别的数量，P为分类权重向量的维度，m代表第m类的类别节点，n代表第n个向量。
步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。
为了验证本发明获取的模型的性能，本发明一个实施例中，在训练集ImageNet以及测试集AwA2上进行测试，如表1所示，展示了本发明方法在小样本问题数据集AwA2上的性能，每一个数值表示模型在新类别上的准确率。选取三种具有代表性的小样本模型用来与本发明方法做比较，分别是DGP、SGCN、原型网络。
表1
Figure BDA0002704261530000143
由表1可看出，本发明知识-经验融合的图神经网络取得了82.5％的准确率，远大于DGP的74.6％、SGCN的77.6％和原型网络的80.8％的准确率，并且表1还示出了采用本发明图神经网络仅融合知识和仅融合经验两个单独信息的网络，其准确率分别为70.4％和79.1％，由此可见，将两方面的知识融合到一起，可更为有效地提高模型的检测识别准确率。
如表2所示，展示了本发明方法和DGP、SGCN在训练时间与模型规模上的细节对比：
表2
DGP SGCN 知识-经验融合图神经网络
训练时间 20min 27min 7min
图规模 32345 32345 1010
如表2所示，本发明有效地减少了模型在训练过程中的时间复杂度以及相应的存储复杂度。
综上所述，本发明引进了一种高准确度、高效率、低复杂度、视觉发育任务中的小样本问题的解决算法。
本发明第二实施例的基于图卷积神经网络的小样本分类模型的发育系统，该系统包括常识性知识图网络构建模块、初始节点信息提取模块、类别关系计算模块、融合模块、迭代训练模块和迁移模块；
所述常识性知识图网络构建模块，配置为获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
所述初始节点信息提取模块，配置为通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
所述类别关系计算模块，配置为通过余弦相似度函数判别旧任务与新任务类别间的关系；
所述融合模块，配置为通过降噪自动编码器，基于所述常识性知识图网络以及初始节点信息构建融合图；
所述迭代训练模块，配置为通过图卷积神经网络，迭代在所述融合图上进行信息的传播和聚合以及通过目标优化函数最小化旧类别目标值与预测值之间的差值，获得新任务类别的分类器；
所述迁移模块，配置为将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的发育后的分类模型。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于图卷积神经网络的小样本分类模型的发育系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于图卷积神经网络的小样本分类模型的发育方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于图卷积神经网络的小样本分类模型的发育方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (13)

1.一种基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，该方法包括：
步骤S100，获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
步骤S200，通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
步骤S300，通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；
步骤S400，通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；
步骤S500，通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；
步骤S600，将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的认知发育后的分类模型。
2.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述预先构建的知识图谱为基于设定数据集构建的无向图，其公式表示为：
G＝＜V,E＞
其中，V＝{v1,v2,…,vi,…,vn}为知识图谱中相关节点的集合，每个节点分别代表一个类别；E＝{ei,j＝(vi,vj)}为边的集合，代表图中节点间的连接关系，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系；
知识图谱中节点特征的集合为：
X＝{x1,x2,…,xi,…,xn}
知识图谱中类别的分类权重为：
Figure FDA0002704261520000021
其中，N代表知识图谱中所有类别的总个数。
3.根据权利要求2所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，步骤S100包括：
步骤S10，根据所述知识图谱中的对应类别信息，获取N个类别的语义特征描述；
步骤S120，通过基于维基百科训练的Glove模型将所述N个类别的语义特征描述转换为对应的语义特征向量；
步骤S130，基于所述语义特征向量以及知识图谱中节点之间的连接关系，构建常识性知识图网络。
4.根据权利要求3所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述常识性知识图网络的特征矩阵为XK∈RN×S，R代表实域空间，N×S为特征矩阵的维度，S为语义特征向量的长度；
所述常识性知识图网络的边表示为：
Figure FDA0002704261520000022
其中，ei,j＝1代表节点i和节点j具有直接连接关系，ei,j＝0代表节点i和节点j不具有直接连接关系。
5.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，步骤S200包括：
步骤S210，通过所述待发育分类模型的特征提取模块F(·|θ)提取支撑集中提供的新任务的少量样本的特征值；
步骤S220，计算所述少量样本的特征值的均值作为初始节点信息；
所述初始节点信息表示为：
Figure FDA0002704261520000031
其中，K为新任务的类别在支撑集中的样本个数，xk,i代表支撑集中第i个类别的第k个样本，
Figure FDA0002704261520000032
代表旧任务的类别权重。
6.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述旧任务与新任务类别间的关系，其计算方法为：
Figure FDA0002704261520000033
其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s为设定常数，代表判定连接的界限。
7.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述融合图中节点的输入特征向量为：
Figure FDA0002704261520000041
其中，
Figure FDA0002704261520000042
和
Figure FDA0002704261520000043
分别代表常识性知识类别特征和经验性知识类别特征，||·||2代表数据的二范数，α和β分别代表常识性知识和经验性知识的融合权重。
8.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述融合图的边为：
Figure FDA0002704261520000044
其中，xi和xj分别代表旧任务和新任务类别的两个节点，||·||2代表二范数，s代表为设定常数，代表判定连接的界限，∨代表或关系，hyponymy(i,j)代表节点i和节点j代表的类间间具有父子关系。
9.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述图卷积神经网络为：
Figure FDA0002704261520000045
其中，H代表图卷积神经网络的输出，其中，网络第一层输出H0＝X；ReLu(·)为LeakyReLu函数，代表图卷积神经网络的非线性激活函数；
Figure FDA0002704261520000046
E∈RN×N代表相应图的邻接矩阵，I为N阶单位矩阵；
Figure FDA0002704261520000047
以邻接矩阵的行向量正则化，Eij代表图的连接矩阵，i代表第i个节点，j代表第j个节点；K(l)是指图卷积神经网络第l层的参数。
10.根据权利要求1所述的基于图卷积神经网络的小样本分类模型的发育方法，其特征在于，所述目标优化函数为：
Figure FDA0002704261520000051
其中，
Figure FDA0002704261520000052
代表图结构输出的对于旧类的分类权重的预测值，W代表通过训练好的新任务类别的分类器C(·|ω)得到的旧类别的分类权重的真实值，M是旧类别的数量，P为分类权重向量的维度，m代表第m类的类别节点，n代表第n个向量。
11.一种基于图卷积神经网络的小样本分类模型的发育系统，其特征在于，该系统包括常识性知识图网络构建模块、初始节点信息提取模块、类别关系计算模块、融合模块、迭代训练模块和迁移模块；
所述常识性知识图网络构建模块，配置为获取待发育分类模型，并提取所述待发育分类模型的分类器，分别提取预先构建的知识图谱中与待发育分类模型的旧任务和新任务相关的类别信息和连接信息，并构建常识性知识图网络；
所述初始节点信息提取模块，配置为通过所述待发育分类模型的特征提取模块提取新任务的少量样本的类别特征作为初始节点信息；
所述类别关系计算模块，配置为通过余弦相似度函数判别旧任务与新任务类别间的关系，若类别间的余弦相似度大于设定值，则基于初始节点信息构建经验性知识图网络；所述经验性知识图网络的边为两个类别的节点间连接边；
所述融合模块，配置为通过降噪自动编码器，基于所述常识性知识图网络以及经验性知识图网络构建融合图；
所述迭代训练模块，配置为通过图卷积神经网络，迭代在所述融合图上进行常识性知识和经验性知识信息的传播和聚合以及通过目标优化函数最小化旧类别真实值与预测值之间的差值，获得新任务类别的分类器；
所述迁移模块，配置为将所述新任务类别的分类器的分类权重赋值给所述待发育分类模型中的分类器，获得面向新任务的发育后的分类模型。
12.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-10任一项所述的基于图卷积神经网络的小样本分类模型的发育方法。
13.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-10任一项所述的基于图卷积神经网络的小样本分类模型的发育方法。
CN202011032774.4A 2020-09-27 2020-09-27 基于图卷积神经网络的小样本分类模型的发育方法及系统 Active CN112183620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011032774.4A CN112183620B (zh) 2020-09-27 2020-09-27 基于图卷积神经网络的小样本分类模型的发育方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011032774.4A CN112183620B (zh) 2020-09-27 2020-09-27 基于图卷积神经网络的小样本分类模型的发育方法及系统

Publications (2)

Publication Number Publication Date
CN112183620A true CN112183620A (zh) 2021-01-05
CN112183620B CN112183620B (zh) 2021-04-23

Family

ID=73944207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011032774.4A Active CN112183620B (zh) 2020-09-27 2020-09-27 基于图卷积神经网络的小样本分类模型的发育方法及系统

Country Status (1)

Country Link
CN (1) CN112183620B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766354A (zh) * 2021-01-13 2021-05-07 中国科学院计算技术研究所 一种基于知识图谱的小样本图片识别方法及系统
CN112784918A (zh) * 2021-02-01 2021-05-11 中国科学院自动化研究所 基于无监督图表示学习的节点识别方法、系统、装置
CN112860534A (zh) * 2021-03-17 2021-05-28 上海壁仞智能科技有限公司 硬件架构性能评估和性能优化方法及装置
CN112862065A (zh) * 2021-01-14 2021-05-28 国网浙江省电力有限公司湖州供电公司 一种基于多任务图神经网络的电网支路参数辨识方法
CN113420642A (zh) * 2021-06-21 2021-09-21 西安电子科技大学 一种基于类别语义特征重加权的小样本目标检测方法及系统
CN113744889A (zh) * 2021-09-08 2021-12-03 平安科技（深圳）有限公司 基于神经网络的传染病预测方法、系统、设备及存储介质
CN116776230A (zh) * 2023-08-22 2023-09-19 北京海格神舟通信科技有限公司 一种基于特征压印与特征迁移识别信号的方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359564A (zh) * 2018-09-29 2019-02-19 中山大学 一种图像场景图生成方法及装置
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
US20190188390A1 (en) * 2017-12-15 2019-06-20 Mastercard International Incorporated Security vulnerability analytics engine
US20200074301A1 (en) * 2018-09-04 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. End-to-end structure-aware convolutional networks for knowledge base completion
US20200104729A1 (en) * 2018-09-27 2020-04-02 Babylon Partners Limited Method and system for extracting information from graphs
CN111190900A (zh) * 2019-12-10 2020-05-22 浙江工业大学 一种云计算模式下json数据可视化优化方法
CN111310821A (zh) * 2020-02-11 2020-06-19 佛山科学技术学院 多视图特征融合方法、系统、计算机设备及存储介质
CN111541685A (zh) * 2020-04-20 2020-08-14 南京大学 一种基于网络结构学习的边缘云异常检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188390A1 (en) * 2017-12-15 2019-06-20 Mastercard International Incorporated Security vulnerability analytics engine
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
US20200074301A1 (en) * 2018-09-04 2020-03-05 Beijing Jingdong Shangke Information Technology Co., Ltd. End-to-end structure-aware convolutional networks for knowledge base completion
US20200104729A1 (en) * 2018-09-27 2020-04-02 Babylon Partners Limited Method and system for extracting information from graphs
CN109359564A (zh) * 2018-09-29 2019-02-19 中山大学 一种图像场景图生成方法及装置
CN111190900A (zh) * 2019-12-10 2020-05-22 浙江工业大学 一种云计算模式下json数据可视化优化方法
CN111310821A (zh) * 2020-02-11 2020-06-19 佛山科学技术学院 多视图特征融合方法、系统、计算机设备及存储介质
CN111541685A (zh) * 2020-04-20 2020-08-14 南京大学 一种基于网络结构学习的边缘云异常检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUZHE MA: "High Performance Graph ConvolutionaI Networks with Applications in Testability Analysis", 《2019 56TH ACM/IEEE DESIGN AUTOMATION CONFERENCE (DAC)》 *
ZHAO-MIN CHEN: "Multi-Label Image Recognition With Graph Convolutional Networks", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
陈晨: "面向小数据与弱监督的深度图像分类", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766354A (zh) * 2021-01-13 2021-05-07 中国科学院计算技术研究所 一种基于知识图谱的小样本图片识别方法及系统
CN112766354B (zh) * 2021-01-13 2023-11-24 中国科学院计算技术研究所 一种基于知识图谱的小样本图片识别方法及系统
CN112862065A (zh) * 2021-01-14 2021-05-28 国网浙江省电力有限公司湖州供电公司 一种基于多任务图神经网络的电网支路参数辨识方法
CN112784918A (zh) * 2021-02-01 2021-05-11 中国科学院自动化研究所 基于无监督图表示学习的节点识别方法、系统、装置
CN112860534A (zh) * 2021-03-17 2021-05-28 上海壁仞智能科技有限公司 硬件架构性能评估和性能优化方法及装置
CN113420642A (zh) * 2021-06-21 2021-09-21 西安电子科技大学 一种基于类别语义特征重加权的小样本目标检测方法及系统
CN113744889A (zh) * 2021-09-08 2021-12-03 平安科技（深圳）有限公司 基于神经网络的传染病预测方法、系统、设备及存储介质
CN116776230A (zh) * 2023-08-22 2023-09-19 北京海格神舟通信科技有限公司 一种基于特征压印与特征迁移识别信号的方法及系统
CN116776230B (zh) * 2023-08-22 2023-11-14 北京海格神舟通信科技有限公司 一种基于特征压印与特征迁移识别信号的方法及系统

Also Published As

Publication number Publication date
CN112183620B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112183620B (zh) 基于图卷积神经网络的小样本分类模型的发育方法及系统
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN111507768B (zh) 一种潜在用户的确定方法及相关装置
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN113486981B (zh) 基于多尺度特征注意力融合网络的rgb图像分类方法
CN111046671A (zh) 基于图网络融入词典的中文命名实体识别方法
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN112685504A (zh) 一种面向生产过程的分布式迁移图学习方法
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN107437111A (zh) 基于神经网络的数据处理方法、介质、装置和计算设备
CN106203103A (zh) 文件的病毒检测方法及装置
CN117726884B (zh) 对象类别识别模型的训练方法、对象类别识别方法及装置
CN111159241B (zh) 一种点击转化预估方法及装置
CN114492601A (zh) 资源分类模型的训练方法、装置、电子设备及存储介质
CN113010683A (zh) 基于改进图注意力网络的实体关系识别方法及系统
CN116129219A (zh) 一种基于知识稳健-重平衡网络的sar目标类增量识别方法
CN117036843A (zh) 目标检测模型训练方法、目标检测方法和装置
CN116629338B (zh) 一种模型数据的处理方法、相关装置、设备以及存储介质
CN108830302B (zh) 一种图像分类方法、训练方法、分类预测方法及相关装置
CN116977271A (zh) 缺陷检测方法、模型训练方法、装置及电子设备
CN116958729A (zh) 对象分类模型的训练、对象分类方法、装置及存储介质
CN109299291A (zh) 一种基于卷积神经网络的问答社区标签推荐方法
CN112149623B (zh) 一种自适应多传感器信息融合系统、方法及存储介质
CN115440384A (zh) 一种基于多任务学习的医疗知识图谱的处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant