CN113392876B - 一种基于图神经网络的小样本图像分类方法 - Google Patents

一种基于图神经网络的小样本图像分类方法 Download PDF

Info

Publication number
CN113392876B
CN113392876B CN202110563578.8A CN202110563578A CN113392876B CN 113392876 B CN113392876 B CN 113392876B CN 202110563578 A CN202110563578 A CN 202110563578A CN 113392876 B CN113392876 B CN 113392876B
Authority
CN
China
Prior art keywords
feature
features
image
graph
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110563578.8A
Other languages
English (en)
Other versions
CN113392876A (zh
Inventor
贾海涛
鲜维富
田浩琨
黄超
贾宇明
任利
许文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110563578.8A priority Critical patent/CN113392876B/zh
Publication of CN113392876A publication Critical patent/CN113392876A/zh
Application granted granted Critical
Publication of CN113392876B publication Critical patent/CN113392876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于图神经网络的小样本图像分类方法。本发明对基于图神经网络的EGNN算法进行改进优化，提出一种小样本图像分类方法。本发明方法主要由任务适应特征提取模块TAB、原型图神经网络模块和特征融合度量模块组成。本发明首先提出一种任务适应特征提取模型进行查询图像的特征提取，通过利用支持图像特征学习预测一组参数作用于查询图像特征图，调整查询图像不同特征的贡献，使其更能适应小样本的分类任务。同时在原网络上引入原型节点表示、特征融合度量模块，分别用于降低图节点规模和提升分类准确率。

Description

一种基于图神经网络的小样本图像分类方法
技术领域
本发明涉及深度学习中的小样本图像识别领域，具体涉及小样本条件下的图像分类技术。
背景技术
众所周知，深度学习的成功高度依赖于大量标记的数据，以此来训练精度较高的网络模型。尽管在图像领域已经拥有许多大型公开数据集，例如CIFAR、ImageNet等数据集都包含了上千万张的图像。但是在一些特殊的领域，标记的数据很少且难以收集，因此深度学习对大数据的依赖阻碍了深度学习的发展。这使得人们不得不考虑采用其他方法去解决样本不足的问题。相比深度学习，人类在观察一个或多个实例就具有识别新物体的能力。基于人类能够快速学习的启发，小样本学习的概念被提出。但是，虽然近几年在小样本学习领域提出了许多经典且较为优秀的网络和方法，小样本学习的网络精度依然亟待提高，才能解决长期以来深度学习的数据依赖问题。
近年来，图神经网络被较多的研究学者关注，在小样本图像分类上也表现出一定潜力。因此本发明基于图神经网络的小样本分类算法，提出任务适应的特征提取网络，设计融合度量模块和加入阈值参数的损失函数。
发明内容
为了解决小样本条件下的图像分类问题，本发明提出了一种基于边标记图神经网络算法EGNN改进的小样本图像分类技术。本技术针对特征提取的问题，提出任务适应的特征提取网络，通过支持集图像预测一组参数作用于查询图像的最后一层特征图，使其分布与同类别支持图像更接近。同时针对EGNN图节点规模问题，引入类原型向量作为图的节点表示。此外针对节点之间的相似性度量，设计融合度量模块和加入阈值参数的损失函数。
本发明所采用的技术方案是：
步骤1：输入待分类图像作为查询集图像和少量几张包含目标的图像作为支持集图像；
步骤2：通过共享特征提取网络对支持集图像和查询集图像进行特征提取生成特征图；
步骤3：将支持集的特征图送入参数预测网络中对每个类别分别预测一组参数α和β，结合参数α和β对查询图像特征图进行加权和偏置计算；
步骤4：生成查询集的原型向量和支持集的原型向量作为图的初始化节点构建GNN网络；
步骤5：GNN的图节点和边节点迭代更新中，采用融合特征度量模块进行节点相似性的度量，最终输出查询节点的类别概率。
与现有技术相比，本发明的有益效果是：
(1)改进对相似样本的分类能力，增强模型的泛化能力；
(2)对于样本不足的小样本图像分类，能更好的进行分类。
附图表说明
图1为：ResNet12网络结构。
图2为：本发明设计的任务适应特征提取模块TAB结构图。
图3为：本发明设计的原型图神经网络结构。
图4为：本发明设计的特征融合方式。
图5为：本发明的特征融合模块网络结构。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本具体实施方式中，针对小样本图像分类的方法包括下述处理步骤：
步骤1：图像输入
首先输入查询图像和少量支持集图像，不同于传统图像分类算法，输入单张待分类图像，本方法同时输入待分类的图像作为查询图像，少数几张包含目标的图像作为支持集图像。因此，本发明同时对查询图像和支持图像进行处理。
步骤2：共享特征提取网络，设计TAB任务适应特征提取模块提取特征图
本发明采用ResNet12作为嵌入特征提取网络，ResNet12网络结构如图1所示。
在ResNet12的基础上，设计了任务适应特征提取模型TAB，其整体流程如图2所示，对于小样本学习输入N-way K-shot任务的图像样本。首先支持集图像和查询集图像通过共享特征提取网络进行特征图的提取，然后特征提取网络提取的支持集的特征图送入参数预测网络中预测与任务相关的参数，这里计算支持集每个类别的K个图像的特征图的平均值作为输入，分别预测一组参数，接着这组参数应用于提取得到查询图像的最后一层特征图，对查询图像的特征图进行加权和偏移计算。由于每个类别分别预测一组参数作用于查询图像特征图，那么N个类别就会得到N个处理后的特征图，为了后续将其表示为图神经网络的节点特征，将N个加权和偏移计算后的特征图进行求和平均，得到适应当前任务的新的特征图。
根据上述提出的TAB模块，节点的初始化表示如公式1所示。
Figure BDA0003079994980000031
其中Γ是从输入支持集特征图从而预测的一组参数，该参数用于影响查询集特征特征提取器的输出。具体地，使用不同的两个αc，βc向量作用于查询图像特征特征提取最后每一层的输出，如公式2所示。
femb(Fi,q|αi,c,βi,c)＝αi,cFi,c+βi,c (2)
其中Fi,q表示特征提取器提取的查询图像最后一层卷积层的输出的第i个通道，αi,c表示类别c在第i个通道的缩放系数，βi,c表示偏移值。
TAB模块使用支持集的特征图作为输入，对于K-shot任务，每个类别包含K个支持样本，而对于一个类别只需预测一组参数，因此使用支持集样本特征图的平均值作为输入，如公式3所示。
Figure BDA0003079994980000032
为了预测α，β向量的值，设计两个全连接网络，其包含三个全连接层。因此α，β的表示见公式4和5。
Figure BDA0003079994980000033
Figure BDA0003079994980000041
其中
Figure BDA0003079994980000042
和gθ分别表示α，β的预测网络。
步骤3：生成查询集的原型向量和支持集的原型向量作为图的初始化节点构建图神经网络
为了将图神经网络的节点规模固定到一定数量，如图3所示，本发明提出基于原型的节点表示。原型的基本思想是基于同类样本的嵌入特征围绕一个原型表示，因此可以将图神经网络中同类别的多个样本节点聚合为一个节点。具体的，每个类别的原型用同类样本的嵌入特征均值来进行表示，如公式6所示。
Figure BDA0003079994980000043
步骤4：GNN的图节点和边节点迭代更新中，采用融合特征度量模块进行节点相似性的度量，最终输出查询节点的类别概率。
基于边标记的图神经网络EGNN在迭代过程中利用节点之间的相似性和差异性来更新节点特征和边特征，边特征是代表节点之间相似性和差异性的二维向量。传统的度量方式是通过计算特征之间的距离，如欧几里得距离、余弦距离、马氏距离等。相比传统度量方式，神经网络可以直接学习衡量特征之间的距离。本发明在基于神经网络的度量方式上，提出基于特征融合的度量模块。通过神经网络度量节点特征的距离，相当于又进行了一次特征提取，在原有的特征基础上得到更高层语义的特征。为了同时利用原本节点的特征和度量网络进一步提取的特征，本发明设计了度量模块的多层特征融合机制，旨在融合不同层的特征，得到表达能力更强的特征。
本发明的特征融合方式如图4所示，输入是图神经网络的节点特征，经过两层1×1卷积、批量正则化、Relu激活函数组成的卷积块进一步提取更加非线性的特征，然后与输入节点特征进行通道合并，使得合并的特征包含更多的信息。合并的特征导致通道数的增加，此时再利用1×1的卷积进行有效的降维，降维后的特征经过批量正则化和Relu激活函数后与合并特征进行再一次合并，得到包含多级特征信息的二次合并特征，二次合并特征执行前述相同的降维后通过全连接层得到固定维数的融合特征。通过本发明设计的特征融合，最终的特征既具有原始节点的特征信息，也具有中间层更加抽象和高级的特征信息。最终通过Sigmoid激活函数输出节点的相似性概率。
具体的网络结构如图5所示。
本发明提出一种新的二进制交叉熵损失函数，用于改进对相似样本的分类能力，增强模型的泛化能力。上诉图卷积网络通过迭代地更新操作后，输出每个节点与其它节点的相似性概率，是一个二分类问题，即该节点与另外的节点要么是同一个类别，要么是不同的类别。对于二分类问题一般采用叉熵损失函数(binary cross-entropy loss)，损失函数公式如7所示。
Figure BDA0003079994980000051
其中，yi代表真实的标签，pi代表网络预测为正的概率。
交叉熵损失函数关心对于正确标签预测概率的准确性，对于相同类别的两个样本，其预测属于相同类别的准确率越高损失值越小，对于不同类别的两个样本预测属于同一类别的概率越低损失值越小。为了增强模型的泛化能力，避免过拟合，我们希望只关注于那些难以分辨的样本，而不是尽量去拟合那些容易分辨的样本。比如对于相同类别的两个样本，我们希望其预测为同一类别的概率为0.95就可以了，而不用拟合到预测概率为1。因此我们改进交叉熵损失函数，加入阈值参数α,当预测概率超过阈值时损失函数值忽略不计。改进的损失函数如公式8所示。
Figure BDA0003079994980000052
其中，
Figure BDA0003079994980000053
为阈值截断函数。

Claims (3)

1.一种基于图神经网络的小样本目标检测方法，其特征在于，包括以下步骤：
步骤1：输入待分类图像作为查询集图像和少量几张包含目标的图像作为支持集图像；
步骤2：通过共享特征提取网络对支持集图像和查询集图像进行特征提取生成特征图，分别生成查询集特征图和支持集特征图；
步骤:3：将支持集的特征图送入参数预测网络中对每个类别分别预测一组参数α和β，结合参数α和β对查询集的图像特征图进行加权和偏置计算；
步骤4：利用得到的不同类别的支持集特征图和查询集特征图，生成查询集特征图的原型向量和支持集特征图的原型向量，将这些向量作为图的初始化节点构建GNN网络；
步骤5：GNN的图节点和边节点迭代更新中，采用融合特征度量模块进行节点相似性的度量，最终输出查询节点的类别概率；步骤3在ResNet12的基础上，设计了的方法的任务适应特征提取模型TAB，TAB模块进行任务适应的关键在于通过预测网络预测一组作用于查询图像特征的参数，预测网络将特征提取网络提取的特征图作为输入，在此基础上设计了轻量级的CNN网络作为参数预测网络，输入是支持图像的特征图，然后分别输出预测的α和β向量参数，参数向量的维度与特征提取网络最后一层卷积层输出的特征图通道数目一致；步骤5中融合特征度量模块为经过两层1×1卷积、批量正则化、Relu激活函数组成的卷积块进一步提取更加非线性的特征，然后与输入节点特征进行通道合并；合并的特征导致通道数的增加，利用1×1的卷积进行有效的降维，降维后的特征经过批量正则化和Relu激活函数后与合并特征进行再一次合并，得到包含多级特征信息的二次合并特征；二次合并特征执行前述相同的降维后通过全连接层得到固定维数的融合特征。
2.如权利要求1所述方法，其特征在于，步骤4提出基于原型的图节点表示，原型的基本思想是基于同类样本的嵌入特征围绕一个原型表示，每个类别的原型用同类样本的嵌入特征均值来进行表示。
3.如权利要求1所述方法，其特征在于，步骤5提出基于特征融合的度量模块，在原有的特征基础上得到更高层语义的特征，设计了度量模块的多层特征融合机制，旨在融合不同层的特征，得到表达能力更强的特征，通过设计特征融合，最终的特征既具有原始节点的特征信息，也具有中间层更加抽象和高级的特征信息，最终通过Sigmoid激活函数输出节点的相似性概率。
CN202110563578.8A 2021-05-24 2021-05-24 一种基于图神经网络的小样本图像分类方法 Active CN113392876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563578.8A CN113392876B (zh) 2021-05-24 2021-05-24 一种基于图神经网络的小样本图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563578.8A CN113392876B (zh) 2021-05-24 2021-05-24 一种基于图神经网络的小样本图像分类方法

Publications (2)

Publication Number Publication Date
CN113392876A CN113392876A (zh) 2021-09-14
CN113392876B true CN113392876B (zh) 2022-07-05

Family

ID=77619006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563578.8A Active CN113392876B (zh) 2021-05-24 2021-05-24 一种基于图神经网络的小样本图像分类方法

Country Status (1)

Country Link
CN (1) CN113392876B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330516A (zh) * 2021-12-15 2022-04-12 安徽大学 基于多图引导神经网络模型的小样本徽景图像分类
CN114842236B (zh) * 2022-03-22 2024-09-10 西北工业大学 图像分类方法、装置、计算机可读存储介质及电子装置
US20240062043A1 (en) * 2022-08-21 2024-02-22 Nec Laboratories America, Inc. Zero-shot domain generalization with prior knowledge

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112633403A (zh) * 2020-12-30 2021-04-09 复旦大学 一种基于小样本学习的图神经网络分类方法及装置
CN112785479A (zh) * 2021-01-21 2021-05-11 南京信息工程大学 一种基于少样本学习的图像隐形水印通用检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434721A (zh) * 2020-10-23 2021-03-02 特斯联科技集团有限公司 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN112633403A (zh) * 2020-12-30 2021-04-09 复旦大学 一种基于小样本学习的图神经网络分类方法及装置
CN112785479A (zh) * 2021-01-21 2021-05-11 南京信息工程大学 一种基于少样本学习的图像隐形水印通用检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度度量学习的小样本商品图像分类研究;徐传运等;《重庆理工大学学报(自然科学)》;20200915(第09期);第2-3节 *
多级注意力特征网络的小样本学习;汪荣贵等;《电子与信息学报》;20200315(第03期);第2-3节 *
小样本高光谱遥感图像深度学习方法;石祥滨等;《系统仿真学报》;20180708(第07期);第1-3节 *

Also Published As

Publication number Publication date
CN113392876A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN113392876B (zh) 一种基于图神经网络的小样本图像分类方法
Gu et al. Stack-captioning: Coarse-to-fine learning for image captioning
Kang et al. Graph relation network: Modeling relations between scenes for multilabel remote-sensing image classification and retrieval
CN111639544B (zh) 基于多分支跨连接卷积神经网络的表情识别方法
Springenberg et al. Improving deep neural networks with probabilistic maxout units
CN113221641A (zh) 基于生成对抗网络和注意力机制的视频行人重识别方法
Yang et al. Cost-effective incremental deep model: Matching model capacity with the least sampling
CN113688878B (zh) 一种基于记忆力机制和图神经网络的小样本图像分类方法
Li et al. Robust deep neural networks for road extraction from remote sensing images
CN114926693A (zh) 基于加权距离的sar图像小样本识别方法及装置
CN113269647A (zh) 基于图的交易异常关联用户检测方法
Gao et al. Adversarial mobility learning for human trajectory classification
CN111737294B (zh) 一种基于动态增量集成模糊的数据流分类方法
CN114692732A (zh) 一种在线标签更新的方法、系统、装置及存储介质
CN114973226B (zh) 自监督对比学习自然场景中文本识别系统训练方法
CN114255371A (zh) 一种基于组件监督网络的小样本图像分类方法
Li et al. Transductive distribution calibration for few-shot learning
Cong et al. Gradient-semantic compensation for incremental semantic segmentation
Saha et al. Recal: Reuse of established cnn classifier apropos unsupervised learning paradigm
CN116630816B (zh) 基于原型对比学习的sar目标识别方法、装置、设备及介质
CN116522326A (zh) 一种适用于电网信息攻击检测的数据增强模型及方法
Shetty et al. Comparative analysis of different classification techniques
CN115131671A (zh) 一种跨域高分辨率遥感图像典型目标细粒度识别方法
CN113283520A (zh) 面向成员推理攻击的基于特征增强的深度模型隐私保护方法和装置
Leng et al. PPLM-net: Partial Patch Local Masking Net for Remote Sensing Image Unsupervised Domain Adaptation Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant