CN113378934A - 一种基于语义感知图神经网络的小样本图像分类方法及系统 - Google Patents

一种基于语义感知图神经网络的小样本图像分类方法及系统 Download PDF

Info

Publication number
CN113378934A
CN113378934A CN202110656523.1A CN202110656523A CN113378934A CN 113378934 A CN113378934 A CN 113378934A CN 202110656523 A CN202110656523 A CN 202110656523A CN 113378934 A CN113378934 A CN 113378934A
Authority
CN
China
Prior art keywords
edge
network
neural network
node
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110656523.1A
Other languages
English (en)
Other versions
CN113378934B (zh
Inventor
刘芳
马文萍
张瀚
李玲玲
刘旭
陈璞花
郭雨薇
李鹏芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110656523.1A priority Critical patent/CN113378934B/zh
Publication of CN113378934A publication Critical patent/CN113378934A/zh
Application granted granted Critical
Publication of CN113378934B publication Critical patent/CN113378934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义感知图神经网络的小样本图像分类方法及系统，针对图片级标签导致类别语义模糊的问题，首先将边的表示进行细化，使边从一个表示相邻结点全局相似度的标量细化为一个表示相邻结点每一像素位置相似度的向量。然后在边细化的基础上进一步引入语义校准模块来更新边特征，其通过计算相邻结点间的关系矩阵，并将关系矩阵转换为每一像素位置的边值来让边显式地表示结点间的语义相似性，进而通过多层图神经网络的更新传播语义信息以改善最终的分类结果。本发明在miniImageNet数据集上的实验表明本发明可以提高小样本图像分类的精度。

Description

一种基于语义感知图神经网络的小样本图像分类方法及系统
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于语义感知图神经网络的小样本图像分类方法及系统。
背景技术
近年来，得益于计算机算力的飞速提升，深度学习成为了人工智能领域研究的热门。然而深度学习繁荣发展的背后是大规模人工标注的数据集的支撑，并且越加复杂的网络就越需要更加庞大的数据集来训练。但是在一些特殊的领域数据是非常匮乏的，如医学中罕见病例的判别，其现有的有限医学图像是远远不够用于训练一个良好的深度模型的。不仅如此，现有的深度神经网络模型往往泛化性很差，比如用大量的猫狗图片训练了一个良好的猫狗分类器，但是如果想将其用于鸟的识别就又需要大量的鸟的图片来训练。这时就希望模型可以减少对数据的依赖，像人类一样可以进行快速的学习，那么将会大大减少数据的人工标注成本，基于此小样本学习渐渐得到了许多研究者的关注。
小样本学习顾名思义就是在带标注数据不充足的情况下进行的学习任务，一个优秀的小样本学习模型通过一定量任务的训练后，不需要进行额外的训练就可以泛化到新的任务上。小样本学习的研究大多依托于分类任务，目的是希望分类器像人类一样具有快速学习的能力，即仅仅通过少量的样本就可以识别新的类。现有的小样本学习方法大致可以分为基于度量学习、基于元学习、基于数据增强以及基于图神经网络四种，其中基于图神经网络的小样本学习方法是近两年新兴起的研究方向，可以视为对基于度量的小样本学习方法的一种改进。
基于图神经网络的小样本学习方法通过将支持集和查询集图像的嵌入表示一起作为初始的结点特征来构建一个图，图的边特征表示相邻结点特征之间的相似程度。在构建好图之后送入到图神经网络中进行迭代更新，更新过程可以视为一个根据边特征来聚合相邻结点特征的过程，最终根据更新后的结点特征或者边特征来预测查询图像对应结点的类别。这类方法存在的问题是，图神经网络中的边特征通常是一个标量来表示相邻结点之间的整体相似度，并且由于只有图片级的标签，无法进行对关键的类别语义区域进行感知，导致得到的相似度与我们所希望的语义相似度之间是存在偏差的。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于语义感知图神经网络的小样本图像分类方法及系统，通过构建语义感知图神经网络来解决图像级标签引起的语义模糊问题。
本发明采用以下技术方案：
一种基于语义感知图神经网络的小样本图像分类方法，包括以下步骤：
S1、采样小样本学习任务T；
S2、构建嵌入网络Femb，将步骤S1得到的小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；
S3、构建一个全连接图GT，将步骤S2得到的每个样本xi的特征图fi作为初始的结点特征
Figure BDA0003113074010000021
并根据查询样本的标签初始化边特征
Figure BDA0003113074010000022
S4、构建由L层图神经网络构成的语义感知图神经网络SGNN，将步骤S3构建的全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，然后利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure BDA0003113074010000031
S5、构建边特征融合网络Ffus，对步骤S4中得到的L层的边特征
Figure BDA0003113074010000032
进行级联，然后输入到边特征融合网络Ffus中得到最终边
Figure BDA0003113074010000033
根据最终边
Figure BDA0003113074010000034
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure BDA0003113074010000035
S6、根据步骤S5中得到的查询结点vi的类别概率分布
Figure BDA0003113074010000036
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure BDA0003113074010000037
对查询样本进行类别预测以实现小样本分类。
具体的，步骤S2中，构建嵌入网络Femb中，嵌入网络Femb的输入为每次从步骤S1中采样的B个小样本学习任务T，B为每批次的大小，输出为任务T中每个样本xi的特征图
Figure BDA0003113074010000038
进一步的，嵌入网络Femb包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层以及输出层。
具体的，步骤S3中，全连接图GT＝(V,E)，V＝{v1,…,υN*K+r}表示图中的结点，E＝{eij；υi,υj∈V}表示图中的边，且
Figure BDA0003113074010000039
表示图中相邻结点vi和vj之间每一对应像素位置即vid∈R1*c与vjd∈R1*c之间的相似性，将步骤S2得到的特征图
Figure BDA00031130740100000310
作为全连接图GT的初始结点特征
Figure BDA00031130740100000311
进行边特征
Figure BDA00031130740100000312
的初始化。
进一步的，边特征
Figure BDA00031130740100000313
初始化具体为：
Figure BDA00031130740100000314
其中，yi和yj分别表示结点vi和vj的类别标签。
具体的，步骤S4具体为：
S401、输入步骤S3中得到的全连接图GT到语义感知图神经网络SGNN中进行更新，对于语义感知图神经网络SGNN中的每一层，根据边特征更新结点特征；
S402、将每一层更新后的结点特征输入到语义感知模块更新边特征，语义感知模块首先计算相邻结点特征
Figure BDA0003113074010000041
和
Figure BDA0003113074010000042
之间的关系矩阵Rij，然后将Rij送入一个边特征转换网络
Figure BDA0003113074010000043
中再经过sigmoid操作得到更新后的边特征
Figure BDA0003113074010000044
进一步的，更新后的边特征
Figure BDA0003113074010000045
为：
Figure BDA0003113074010000046
其中，
Figure BDA0003113074010000047
表示网络中可学习的参数。
具体的，步骤S5中，查询结点vi的类别概率分布
Figure BDA0003113074010000048
为：
Figure BDA0003113074010000049
其中，xi表示查询集中的样本，yj为支持样本xj的标签。
具体的，步骤S6中，小样本分类损失Lfl：
Figure BDA00031130740100000410
其中，Lce表示交叉熵损失，xi表示查询集中的样本，yj为查询样本xi的标签，
Figure BDA00031130740100000411
为查询结点vi的类别概率分布。
本发明的另一技术方案是，一种基于语义感知图神经网络的小样本图像分类系统，包括：
采样模块，采样小样本学习任务T；
网络模块，构建嵌入网络Femb，将采用模块得到的小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；
全连接模块，构建一个全连接图GT，将网络模块得到的每个样本xi的特征图fi作为初始的结点特征
Figure BDA0003113074010000051
并根据查询样本的标签初始化边特征
Figure BDA0003113074010000052
更新模块，构建由L层图神经网络构成的语义感知图神经网络SGNN，将全连接模块构建的全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure BDA0003113074010000053
级联模块，构建边特征融合网络Ffus，对更新模块中得到的L层的边特征
Figure BDA0003113074010000054
进行级联，然后输入到边特征融合网络Ffus中得到最终边
Figure BDA0003113074010000055
根据最终边
Figure BDA0003113074010000056
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure BDA0003113074010000057
分类模块，根据级联模块中得到的查询结点vi的类别概率分布
Figure BDA0003113074010000058
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure BDA0003113074010000059
对查询样本进行类别预测以实现小样本分类
与现有技术相比，本发明至少具有以下有益效果：
本发明提供了一种基于语义感知图神经网络的小样本图像分类方法，构建了语义感知图神经网络SGNN，将边特征进行细化，使相邻结点每一像素位置单独计算相似度，从而在结点特征更新的过程中不同像素位置独立进行聚合以避免全局相似性引起的歧义，并在边特征更新的过程中引入了语义感知模块，通过语义感知模块我们突出了语义相关的区域，抑制了背景对分类结果的影响，提高了模型的小样本学习能力。
进一步的，嵌入网络Femb通过多个卷积层提取支持和查询样本的特征表示，并作为图中初始的结点特征，并将初始边特征
Figure BDA00031130740100000510
构建为一个张量，表示相邻结点每一对应像素位置之间的相似程度而不是全局相似度，通过这种构建边特征的方式，使得后续结点特征每一像素位置独立聚合。
进一步的，嵌入网络Femb是一个由卷积模块构成的浅层网络，包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层以及输出层，浅层的网络有利于模型在面对新的小样本学习任务时快速泛化。
进一步的，步骤S3中，以从嵌入网络Femb中提取的特征作为图中的初始结点特征，并根据相邻结点类别的异同来初始化边特征，为后续利用图神经网络传播相邻结点信息以更新图表示做准备。
进一步的，初始边特征
Figure BDA0003113074010000061
构建为一个张量，表示相邻结点每一对应像素位置之间的相似程度而不是全局相似度，通过这种构建边特征的方式，使得后续结点特征每一像素位置独立聚合。
进一步的，步骤S4中，将构建的全连接图送入到语义感知图神经网络SGNN迭代进行结点特征更新及边特征更新，其中边特征的更新通过语义感知模块实现，语义感知模块通过计算相似性矩阵R来收集相邻结点每一像素位置的语义相似性信息，然后通过边特征转换网络
Figure BDA0003113074010000062
来得到每一层更新后的边特征
Figure BDA0003113074010000063
通过语义相似性模块来感知语义相关的区域，进而在结点特征更新的过程中给予语义相关区域更多的关注。
进一步的，由于矩阵Rij是一个较为庞大的矩阵，为了更有效地利用其中的语义相似性信息，将矩阵Rij送入到边特征转换网络
Figure BDA0003113074010000064
来实现边特征的更新，通过这样的方式使得相邻结点每一像素位置单独计算相似度，并根据语义相似性信息突出语义相关区域，进而实现对查询样本更精准的分类。
进一步的，根据最终的边表示
Figure BDA0003113074010000065
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure BDA0003113074010000066
此概率分布在训练时用于计算损失，在测试时则用于对查询样本进行类别预测。
进一步的，步骤S6中，使用分类任务中常见的交叉熵损失作为小样本分类损失Lfl，通过该损失来训练嵌入网络Femb以及语义感知图神经网络SGNN以使得模型对查询样本的类别进行有效预测。
综上所述，本发明通过计算关系矩阵并根据关系矩阵来更新边特征以实现对语义区域的感知，从而使得图神经网络传播语义相似性信息以改善小样本分类的结果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为语义感知模块示意图；
图3为可视化注意力热图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于语义感知图神经网络的小样本图像分类方法，针对图片级标签导致类别语义模糊的问题，本方法提出了一种语义感知图神经网络，该网络首先将边的表示进行细化，使边从一个表示相邻结点全局相似度的标量细化为一个表示相邻结点每一像素位置相似度的向量。在边细化的基础上进一步引入语义感知模块来更新边特征，其通过计算关系矩阵然后将其转换为每一像素位置的边值来让边显式地表示结点间的语义相似性，进而使得结点更新的过程中倾向于聚合关键的类别语义区域，通过多层图神经网络的更新传播语义信息以改善最终的分类结果。
请参阅图1，本发明一种基于语义感知图神经网络的小样本图像分类方法，包括以下步骤：
S1、从数据集中采样“N-way k-shot”小样本学习任务T＝S∪Q，其中，
Figure BDA0003113074010000081
表示带标签的支持集，xi表示样本，yi表示xi对应的类别标签，支持集共包含N个类，每类有K个样本，查询集Q则表示需要进行类别预测的无标签样本，若查询集中含有r个样本则
Figure BDA0003113074010000091
S2、构建嵌入网络Femb，将T中的所有样本送入到Femb中学习嵌入表示，得到每一个样本xi的特征图
Figure BDA0003113074010000092
构建嵌入网络Femb，嵌入网络Femb包括依次相连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层以及输出层；嵌入网络Femb的输入为每次从步骤S1中采样的B个小样本学习任务T，B为每批次的大小，输出为任务T中每个样本xi的特征图
Figure BDA0003113074010000093
S3、构建一个全连接图GT＝(V,E)，V＝{υ1,…,υN*K+r}表示图中的结点，E＝{eij；υi,υj∈V}表示图中的边，且
Figure BDA0003113074010000094
表示图中相邻结点vi和vj之间每一对应像素位置即vid∈R1*c与vjd∈R1*c之间的相似性；
将步骤S2得到的特征图
Figure BDA0003113074010000095
作为图GT＝(V,E)的初始结点特征
Figure BDA0003113074010000096
然后按照下述方式进行边特征的初始化：
Figure BDA0003113074010000097
其中，yi和yj分别表示结点vi和vj的类别标签。
S4、构建语义感知图神经网络SGNN，其共有L层，每一层包括结点特征更新和边特征更新两步，其中边特征的更新是由语义感知模块实现的；将步骤S3中得到的图GT输入到SGNN中得到每一层的边特征
Figure BDA0003113074010000098
请参阅图1，步骤S4具体为：
S401、输入步骤S3中得到的图GT到语义感知图神经网络SGNN进行3层图更新(图2仅画出两层)，对于SGNN中的每一层，根据边特征更新结点特征；
Figure BDA0003113074010000101
其中，||表示级联操作，
Figure BDA0003113074010000102
和
Figure BDA0003113074010000103
分别表示第l层的结点特征和边特征，
Figure BDA0003113074010000104
表示第l层的结点特征转换网络，包括依次相连接的输入层、第一卷积层、第二卷积层以及输出层，
Figure BDA0003113074010000105
表示网络中可学习的参数。
S402、将更新后的结点特征输入到语义感知模块更新边特征，其中语义感知模块首先计算相邻结点特征
Figure BDA0003113074010000106
和
Figure BDA0003113074010000107
之间的关系矩阵Rij；
Figure BDA0003113074010000108
其中，＜,＞表示向量内积。
请参阅图2，图中所有相邻结点之间的关系矩阵可以视为一个3维的矩阵，用R表示3维的关系矩阵。
然后将R送入一个边特征转换网络
Figure BDA0003113074010000109
中再经过sigmoid操作来得到更新后的边特征
Figure BDA00031130740100001010
Figure BDA00031130740100001011
其中，边特征转换网络
Figure BDA00031130740100001012
包括依次相连接的输入层、第一卷积层、第二卷积层以及输出层，且第一卷积层为组大小为16的分组卷积，
Figure BDA00031130740100001013
表示网络中可学习的参数。
S5、构建边特征融合网络Ffus，将步骤S4中得到的L层的边特征
Figure BDA00031130740100001014
进行级联，输入到Ffus中得到最终边表示
Figure BDA00031130740100001015
边特征融合网络Ffus包括依次连接的输入层、卷积层以及输出层，输出层的输出为最终的边表示
Figure BDA00031130740100001016
查询结点vi的类别概率分布计算如下：
Figure BDA0003113074010000111
其中，xi表示查询集中的样本，yj为支持样本xj的标签。
S6、根据S5中得到的查询结点的类别概率分布
Figure BDA0003113074010000112
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure BDA0003113074010000113
对查询样本进行类别预测以实现小样本分类。
小样本分类损失Lfl：
Figure BDA0003113074010000114
其中，Lce表示交叉熵损失。
本发明再一个实施例中，提供一种基于语义感知图神经网络的小样本图像分类系统，该系统能够用于实现上述基于语义感知图神经网络的小样本图像分类方法，具体的，该基于语义感知图神经网络的小样本图像分类系统包括采样模块、网络模块、全连接模块、更新模块、级联模块以及分类模块。
其中，采样模块，采样小样本学习任务T；
网络模块，构建嵌入网络Femb，将采用模块得到的小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；
全连接模块，构建一个全连接图GT，将网络模块得到的每个样本xi的特征图fi作为初始的结点特征
Figure BDA0003113074010000115
并根据查询样本的标签初始化边特征
Figure BDA0003113074010000116
更新模块，构建由L层图神经网络构成的语义感知图神经网络SGNN，将全连接模块构建的全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，然后利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure BDA0003113074010000117
级联模块，构建边特征融合网络Ffus，对更新模块中得到的L层的边特征
Figure BDA0003113074010000121
进行级联，然后输入到边特征融合网络Ffus中得到最终边
Figure BDA0003113074010000122
根据最终边
Figure BDA0003113074010000123
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure BDA0003113074010000124
分类模块，根据级联模块中得到的查询结点vi的类别概率分布
Figure BDA0003113074010000125
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure BDA0003113074010000126
对查询样本进行类别预测以实现小样本分类。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于语义感知图神经网络的小样本图像分类方法的操作，包括：
采样小样本学习任务T；构建嵌入网络Femb，将小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；构建一个全连接图GT，将每个样本xi的特征图fi作为初始的结点特征
Figure BDA0003113074010000127
并根据查询样本的标签初始化边特征
Figure BDA0003113074010000128
构建由L层图神经网络构成的语义感知图神经网络SGNN，将全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，然后利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure BDA0003113074010000131
构建边特征融合网络Ffus，对L层的边特征
Figure BDA0003113074010000132
进行级联，然后输入到边特征融合网络Ffus中得到最终边
Figure BDA0003113074010000133
根据最终边
Figure BDA0003113074010000134
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure BDA0003113074010000135
根据查询结点vi的类别概率分布
Figure BDA0003113074010000136
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure BDA0003113074010000137
对查询样本进行类别预测以实现小样本分类。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于语义感知图神经网络的小样本图像分类方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
采样小样本学习任务T；构建嵌入网络Femb，将小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；构建一个全连接图GT，将每个样本xi的特征图fi作为初始的结点特征
Figure BDA0003113074010000141
并根据查询样本的标签初始化边特征
Figure BDA0003113074010000142
构建由L层图神经网络构成的语义感知图神经网络SGNN，将全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，然后利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure BDA0003113074010000143
构建边特征融合网络Ffus，对L层的边特征
Figure BDA0003113074010000144
进行级联，然后输入到边特征融合网络Ffus中得到最终边
Figure BDA0003113074010000145
根据最终边
Figure BDA0003113074010000146
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure BDA0003113074010000147
根据查询结点vi的类别概率分布
Figure BDA0003113074010000148
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure BDA0003113074010000149
对查询样本进行类别预测以实现小样本分类。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可通过以下仿真结果进一步说明
1.仿真条件
本发明仿真的硬件条件为：智能感知与图像理解实验室图形工作站，打在一块显存为12G的GPU；本发明仿真所使用的数据集为miniImageNet数据集。数据集中所有的图片都是大小为84*84的3通道RGB图像，共包含了100类，每一类有大约600张图片。
本发明遵循了目前小样本学习方法的常用划分方式，将其中的64类用于训练，16类用于验证，20类用于测试。
2.仿真内容
利用miniImageNet数据集，在训练时，对于5way-1shot任务，我们将批大小设置为64，其支持集共有5个类别，每个类别有1个样本，并且每类有1个查询样本，所以一共10个样本来构建一个episode。对于5way-5shot任务，将批大小设置为20，其支持集同样有5个类别，但是每类有5个样本，每类同样有1个查询样本，所以一共30个样本来构建一个episode。
在验证阶段，随机从测试集中采样600个小样本分类任务，根据600个任务上的平均准确率来评价其性能。
表1本发明方法在miniImageNet数据集上的对比实验结果
模型名称 5way-1shot 5way-5shot
MN 46.60％ 55.30％
PN 46.14％ 65.77％
RN 50.44％ 65.32％
GNN 50.33％ 66.41％
本发明方法 52.20％ 66.51％
表1给出了本发明方法和其他一些小样本学习方法的对比实验结果，图3给出了5way-1shot设置下SGNN的可视化的注意力热图，将SGNN第三层输出的相关边特征经过线性插值后作为注意力映射到原图上来生成可视化的注意力热图。图3分为左右两部分，每部分的第一列为每一小样本学习任务中与查询样本同一类的支持图像的注意力热图，第二列为对应查询图像的注意力热图。
3.仿真结果分析
从表1可以看出，本发明方法在miniImageNet上5way-1shot设置下的分类准确率达到了52.20％，在5way-5shot设置下达到了66.51％，较对比方法有了显著的提升。并且从图3的可视化效果图可以看出，边特征的响应值很好的覆盖到二者的类别语义区域，这说明在SGNN在更新的过程中会着重聚合语义相关区域的信息，从而避免图像级标签引起的模糊聚合，进而对查询样本进行更精准的分类。
综上所述，本发明一种基于语义感知图神经网络的小样本图像分类方法及系统，解决图像级标签引起的语义模糊问题，将边特征进行细化，使相邻结点每一像素位置单独计算相似度，从而在结点特征更新的过程中不同像素位置独立进行聚合以避免全局相似性引起的歧义；在边特征更新的过程中引入了语义校准模块，通过语义校准模块我们突出了语义相关的区域，抑制了语义无关区域的对分类结果的影响，提高了模型的小样本学习能力。最后我们在miniImageNet和tieredImageNet上的对比实验证明了本发明的有效性，并通过可视化注意力热图进一步证明了本发明可以实现对类别语义区域的感知。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于语义感知图神经网络的小样本图像分类方法，其特征在于，包括以下步骤：
S1、采样小样本学习任务T；
S2、构建嵌入网络Femb，将步骤S1得到的小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；
S3、构建一个全连接图GT，将步骤S2得到的每个样本xi的特征图fi作为初始的结点特征
Figure FDA0003113074000000011
并根据查询样本的标签初始化边特征
Figure FDA0003113074000000012
S4、构建由L层图神经网络构成的语义感知图神经网络SGNN，将步骤S3构建的全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，然后利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure FDA0003113074000000013
S5、构建边特征融合网络Ffus，对步骤S4中得到的L层的边特征
Figure FDA0003113074000000014
进行级联，然后输入到边特征融合网络Ffus中得到最终边
Figure FDA0003113074000000015
根据最终边
Figure FDA0003113074000000016
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure FDA0003113074000000017
S6、根据步骤S5中得到的查询结点vi的类别概率分布
Figure FDA0003113074000000018
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure FDA0003113074000000019
对查询样本进行类别预测以实现小样本分类。
2.根据权利要求1所述的方法，其特征在于，步骤S2中，构建嵌入网络Femb中，嵌入网络Femb的输入为每次从步骤S1中采样的B个小样本学习任务T，B为每批次的大小，输出为任务T中每个样本xi的特征图
Figure FDA00031130740000000110
3.根据权利要求2所述的方法，其特征在于，嵌入网络Femb包括依次连接的输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层以及输出层。
4.根据权利要求1所述的方法，其特征在于，步骤S3中，全连接图GT＝(V，E)，V＝{v1，...，vN*K+r}表示图中的结点，E＝{eij；vi，vj∈V}表示图中的边，且
Figure FDA0003113074000000021
表示图中相邻结点vi和vj之间每一对应像素位置即vid∈R1*c与vjd∈R1*c之间的相似性，将步骤S2得到的特征图
Figure FDA0003113074000000022
作为全连接图GT的初始结点特征
Figure FDA0003113074000000023
进行边特征
Figure FDA0003113074000000024
的初始化。
5.根据权利要求4所述的方法，其特征在于，边特征
Figure FDA0003113074000000025
初始化具体为：
Figure FDA0003113074000000026
其中，yi和yj分别表示结点vi和vj的类别标签。
6.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
S401、输入步骤S3中得到的全连接图GT到语义感知图神经网络SGNN中进行更新，对于语义感知图神经网络SGNN中的每一层，根据边特征更新结点特征；
S402、将每一层更新后的结点特征输入到语义感知模块更新边特征，语义感知模块首先计算相邻结点特征
Figure FDA0003113074000000027
和
Figure FDA0003113074000000028
之间的关系矩阵Rij，然后将Rij送入一个边特征转换网络
Figure FDA0003113074000000029
中再经过sigmoid操作得到更新后的边特征
Figure FDA00031130740000000210
7.根据权利要求6所述的方法，其特征在于，更新后的边特征
Figure FDA00031130740000000211
为：
Figure FDA00031130740000000212
其中，
Figure FDA00031130740000000213
表示网络中可学习的参数。
8.根据权利要求1所述的方法，其特征在于，步骤S5中，查询结点vi的类别概率分布
Figure FDA00031130740000000214
为：
Figure FDA0003113074000000031
其中，xi表示查询集中的样本，yj为支持样本xj的标签。
9.根据权利要求1所述的方法，其特征在于，步骤S6中，小样本分类损失Lfl：
Figure FDA0003113074000000032
其中，Lce表示交叉熵损失，xi表示查询集中的样本，yj为查询样本xi的标签，
Figure FDA0003113074000000033
为查询结点vi的类别概率分布。
10.一种基于语义感知图神经网络的小样本图像分类系统，其特征在于，包括：
采样模块，采样小样本学习任务T；
网络模块，构建嵌入网络Femb，将采用模块得到的小样本学习任务T中的所有样本xi送入嵌入网络Femb中，得到每一个样本xi的特征图fi；
全连接模块，构建一个全连接图GT，将网络模块得到的每个样本xi的特征图fi作为初始的结点特征
Figure FDA0003113074000000034
并根据查询样本的标签初始化边特征
Figure FDA0003113074000000035
更新模块，构建由L层图神经网络构成的语义感知图神经网络SGNN，将全连接模块构建的全连接图GT输入到语义感知图神经网络SGNN中迭代进行结点特征更新，利用语义感知图神经网络SGNN中的语义感知模块进行边特征更新，得到每一层的边特征
Figure FDA0003113074000000036
级联模块，构建边特征融合网络Ffus，对更新模块中得到的L层的边特征
Figure FDA0003113074000000037
进行级联，然后输入到边特征融合网络Ftus中得到最终边
Figure FDA0003113074000000038
根据最终边
Figure FDA0003113074000000039
以及支持样本的类别yj得到查询结点vi的类别概率分布
Figure FDA00031130740000000310
分类模块，根据级联模块中得到的查询结点vi的类别概率分布
Figure FDA00031130740000000311
及查询结点类别标签yi计算小样本分类损失Lfl；端到端地训练嵌入网络Femb以及语义感知图神经网络SGNN，在测试时利用类别概率分布
Figure FDA00031130740000000312
对查询样本进行类别预测以实现小样本分类。
CN202110656523.1A 2021-06-11 2021-06-11 一种基于语义感知图神经网络的小样本图像分类方法及系统 Active CN113378934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656523.1A CN113378934B (zh) 2021-06-11 2021-06-11 一种基于语义感知图神经网络的小样本图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110656523.1A CN113378934B (zh) 2021-06-11 2021-06-11 一种基于语义感知图神经网络的小样本图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN113378934A true CN113378934A (zh) 2021-09-10
CN113378934B CN113378934B (zh) 2023-04-07

Family

ID=77574286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110656523.1A Active CN113378934B (zh) 2021-06-11 2021-06-11 一种基于语义感知图神经网络的小样本图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN113378934B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740360A (zh) * 2023-08-10 2023-09-12 荣耀终端有限公司 一种图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555399A (zh) * 2019-08-23 2019-12-10 北京智脉识别科技有限公司 手指静脉识别方法、装置、计算机设备及可读存储介质
US20200210812A1 (en) * 2017-09-28 2020-07-02 D5Ai Llc Joint optimization of ensembles in deep learning
CN111598167A (zh) * 2020-05-18 2020-08-28 中国科学院自动化研究所 基于图学习的小样本图像识别方法及系统
CN112017204A (zh) * 2020-07-08 2020-12-01 温州大学 一种基于边缘标记图神经网络的刀具状态图像分类方法
US20210065913A1 (en) * 2019-09-04 2021-03-04 University Of Central Florida Research Foundation, Inc. Artificial intelligence-based methods for early drug discovery and related training methods
CN112633403A (zh) * 2020-12-30 2021-04-09 复旦大学 一种基于小样本学习的图神经网络分类方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200210812A1 (en) * 2017-09-28 2020-07-02 D5Ai Llc Joint optimization of ensembles in deep learning
CN110555399A (zh) * 2019-08-23 2019-12-10 北京智脉识别科技有限公司 手指静脉识别方法、装置、计算机设备及可读存储介质
US20210065913A1 (en) * 2019-09-04 2021-03-04 University Of Central Florida Research Foundation, Inc. Artificial intelligence-based methods for early drug discovery and related training methods
CN111598167A (zh) * 2020-05-18 2020-08-28 中国科学院自动化研究所 基于图学习的小样本图像识别方法及系统
CN112017204A (zh) * 2020-07-08 2020-12-01 温州大学 一种基于边缘标记图神经网络的刀具状态图像分类方法
CN112633403A (zh) * 2020-12-30 2021-04-09 复旦大学 一种基于小样本学习的图神经网络分类方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUSHENG HAO ET AL.: "Collect and Select: Semantic Alignment Metric Learning for Few-Shot Learning", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
JONGMIN KIM ET AL.: "Edge-labeling graph neural network for few-shot learning", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
周安众等: "一种卷积神经网络的稀疏性Dropout正则化方法", 《小型微型计算机系统》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740360A (zh) * 2023-08-10 2023-09-12 荣耀终端有限公司 一种图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113378934B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Kim et al. Transparency and accountability in AI decision support: Explaining and visualizing convolutional neural networks for text information
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
US11328172B2 (en) Method for fine-grained sketch-based scene image retrieval
CN108875076B (zh) 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
WO2021057056A1 (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN112819023B (zh) 样本集的获取方法、装置、计算机设备和存储介质
CN112613602A (zh) 基于知识感知超图神经网络的推荐方法及系统
CN113378937B (zh) 一种基于自监督增强的小样本图像分类方法及系统
US20230089148A1 (en) Systems and methods for interactive image scene graph pattern search and analysis
CN112199532A (zh) 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置
CN112016601A (zh) 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN115293919B (zh) 面向社交网络分布外泛化的图神经网络预测方法及系统
CN116740538A (zh) 一种基于YOLOv8改进的轻量化目标检测方法及系统
CN113378934B (zh) 一种基于语义感知图神经网络的小样本图像分类方法及系统
Dai et al. Multi-granularity association learning for on-the-fly fine-grained sketch-based image retrieval
CN117556067B (zh) 数据检索方法、装置、计算机设备和存储介质
CN114943017A (zh) 一种基于相似性零样本哈希的跨模态检索方法
Jiang et al. Multi-level graph convolutional recurrent neural network for semantic image segmentation
Zhou et al. Semantic image segmentation using low-level features and contextual cues
CN111506832A (zh) 一种基于块矩阵补全的异构对象补全方法
CN111859936A (zh) 一种基于深度混合网络的面向跨域立案的法律文书专业管辖权识别方法
Tan et al. Active learning for deep object detection by fully exploiting unlabeled data
CN113807370B (zh) 数据处理方法、装置、设备、存储介质及计算机程序产品
Guo et al. 2D Semantic Segmentation: Recent Developments and Future Directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant