CN113052263A - 一种基于流形学习和高阶图神经网络的小样本图像分类方法 - Google Patents
一种基于流形学习和高阶图神经网络的小样本图像分类方法 Download PDFInfo
- Publication number
- CN113052263A CN113052263A CN202110441901.4A CN202110441901A CN113052263A CN 113052263 A CN113052263 A CN 113052263A CN 202110441901 A CN202110441901 A CN 202110441901A CN 113052263 A CN113052263 A CN 113052263A
- Authority
- CN
- China
- Prior art keywords
- features
- network
- layer
- feature
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于流形学习和高阶图神经网络的小样本图像分类方法,主要解决当前小样本学习方法在未知类别的图像分类任务上泛化性能差的问题。其主要分类过程是:首先利用卷积神经网络对输入图像进行特征提取,其次构建一个嵌入传播网络,将特征提取得到的图像特征映射到一组插值的特征嵌入,然后利用特征嵌入计算高阶结构信息,之后特征传播网络对图像特征进行处理,包括节点特征和边特征的更新,归一化,逐层计算流形损失,最后输出未标记样本的标签,并且通过反向传播对模型进行约束。本发明方法为小样本图像分类提供了一个新思路,通过构造嵌入传播网络和利用高阶信息,缓解了分布偏移问题,提高了模型的泛化性能和分类性能。
Description
技术领域
本发明涉及图神经网络与图像处理的交叉领域,尤其是一种基于流形学习和高阶图神经网络的小样本图像分类方法。
背景技术
为了从有限的样本中学习,机器学习发展出了一个新的子领域,即小样本学习(Few-Shot Learning,FSL)。实现了小样本学习,就意味着有了“举一反三”的学习能力。一旦某些类别已经被模型学习到,那么在这个学习过程中的有用信息就会被抽象出来,使得该模型对其他类别的学习更有效。FSL可以通过结合先验信息从少量样本中学习新的任务。小样本学习之所以备受关注,原因在于:首先,现实世界中事物的数量是符合长尾分布的,大部分事物的数量是很少的。另外,人类学习一个概念时,并不需要百万或千万级的数据。因此,小样本学习成为了神经网络和图像处理领域的研究热点。
图神经网络(Graph Neural Network,GNN)将每一个样本当做图中的一个节点,样本之间的关系作为图中的边。该模型不仅学习每个节点的嵌入向量,还学习每条边的嵌入向量。先利用卷积神经网络将所有样本嵌入到向量空间中,再将样本向量与标签连接后输入图神经网络,构建每个节点之间的边,之后通过图卷积更新节点向量,最后通过节点向量不断更新边的向量,这就构成了一个深度的图神经网络。GNN通过消息传递迭代地执行来自邻居的特性聚合,因此可以表示数据实例之间的复杂交互。由于小样本学习算法需要充分利用支持集和查询之间的关系,使用GNN很自然地有能力来解决小样本学习问题。
发明内容
技术问题:提出一种基于流形学习和高阶图神经网络的小样本图像分类方法,可提高图像分类的精确度,增强模型的泛化能力。
技术方案:本发明公开了一种基于流形学习和高阶图神经网络的小样本图像分类方法,包括以下步骤:
步骤1,获得图像数据集作为训练和验证图神经网络的数据,将图像数据集中每类样本都分为训练集和测试集;每类样本中训练集和测试集的比例为4:1,对训练集中的部分图像进行标记,将训练集分为带标记样本和未标记样本;
步骤2,将训练集中的数据输入特征提取网络,得到图像特征向量,特征提取网络采用卷积神经网络;
步骤3,将特征提取网络得到的图像特征向量输入嵌入传播网络,映射得到一组插值的特征,称之为嵌入特征;
步骤4,将嵌入特征作为基准特征,并计算边特征和高阶特征,将基准特征、边特征和高阶特征作为特征传播网络的初始特征;
步骤5,在特征传播网络的每一层,交替更新节点特征和边特征,所述节点特征是指基准特征和高阶特征,采用这种迭代的特征传播方法使得图神经网络可以根据自身结构特性更新部分参数,将带标记样本的信息传播到未标记样本;
步骤6,输出层是使用softmax函数的全连接层,将学习到的特征表示映射到样本的标记空间,输出模型对输入图片的预测标签;
有益效果:本发明提供一种新的小样本图像分类的图神经网络,主要分为嵌入传播和特征传播两个部分,嵌入传播可以获得一个正则化流形来进行训练和测试,通过扩展决策边界和减少类别表示的噪声来解决分布偏移问题,特征传播结合了高阶结构信息,提高了模型的分类精确度。本发明提出的流行平滑方法,可以通过逐层计算流形损失进行约束来优化模型,获得更加平滑的决策边界,同时模型复杂度低,具有很好的分类性能。本发明在常用的图神经网络算法和小样本基准数据集上取得了很好的效果,在不同设定下的分类精确度均有不同程度的提升。
附图说明
图1为本发明实现的流程图。
图2为特征提取网络的网络结构图。
图3为嵌入传播网络中使用的高斯径向基函数图像图。
图4为特征传播网络中特征向量示意图。
图5为在半监督场景下训练过程中的分类精确度曲线图。
具体实施方式
下面结合附图对本发明进一步说明
图1为本发明的实施流程。本发明主要包括特征提取、嵌入传播、节点特征更新、边特征更新以及损失计算五个模块。特征提取网络为常用的卷积神经网络,可以将输入图像转换为特征向量嵌入传播网络基于插值嵌入可以使决策边界更平滑并增强对噪声的鲁棒性,利用网络输出特征在图中的相似性来输出一组插值,其中图是由径向基函数利用特征的两两相似度构建的。嵌入传播是非参数的,可以应用于任何特征提取器。它可以作为网络的一部分,来获得一个正则化流形来进行训练和测试。与流形混合方法不同,嵌入传播是无监督的,并能捕获嵌入之间的高阶交互。
嵌入传播网络对于特征提取得到的每一对样本特征,计算特征之间的距离,表示为:
根据高斯径向基函数,将邻接矩阵表示为:
然后,计算邻接矩阵的拉普拉斯矩阵:
之后,利用标签传播公式,得到传播矩阵为:
P=(I-αL)-1# (4)
其中α为比例因子,I为单位矩阵。由此可以得到嵌入特征向量为:
因为是它的邻居的加权和,嵌入传播具有去除特征向量中噪声的效果。值得注意的是嵌入传播这一操作实现和兼容特征提取器和分类器很容易。另外,由于episode大小较小,公式(5)的计算复杂度可以忽略不计。将得到的嵌入特征向量作为基准特征向量,即分别根据公式(17)和公式(18)计算得到差值向量以及边特征向量将其作为特征传播网络的初始值。
基于高阶结构的边特征更新计算方式如下:
之后将边特征进行归一化:
根据流形学习和结构融合的原理,通过最小化投影空间的度量差,可以保存从原始空间到投影空间的结构信息(样本的相似关系)。同理,在图神经网络进行特征更新的同时,我们可以通过逐层计算流形损失来约束模型优化。因此,损失函数包括两部分:交叉熵损失和流形损失。交叉熵损失函数如下:
因此,最后的损失函数为:
Lloss=Lep+λLml# (15)
其中λ是平衡不同损失影响的参数。
其中δ(yi=c)当yi=c时等于1,否则等于0。
经过卷积神经网络的特征提取到特征传播网络的标签信息传播,最终输出模型的预测标签,在损失函数的约束下完成模型对输入数据的拟合。
图2展示了特征提取网络的网络结构。该网络包括四个3×3核的卷积块,一个线性单元,一个批归一化单元和一个leakyReLU单元。每个卷积块包括一个3×3的卷积层、一个批归一化单元、一个2×2的最大池化层和一个leakyReLU单元。
图3为嵌入传播网络中使用的高斯径向基函数图像。径向基函数是一个取值仅依赖于到原点距离的实值函数,它可以解决多变量插值问题。在嵌入传播中应用高斯径向基函数可以将特征映射到一组插值的特征,增加嵌入流形的光滑性并且去除特征向量中噪声,提高泛化和半监督学习方法的有效性。
图4为特征传播网络中特征向量示意图。其中为特征提取网络生成的基准特征向量,由相邻节点的基准特征向量生成,代表两节点间的差异,称为差值向量。由图中可以看出,差值向量具有一定的流形结构。在网络的初始层中,差值向量的计算方式为:
其中f(·)表示嵌入传播网络,表示节点的基准特征向量。在差值向量的基础上,继续探索相对度量图的高阶结构。差值向量只能表示两相邻节点之间的特征差异,需要利用更高阶的图信息,所以将和的差值作为高阶度量向量,即 高阶度量向量可以感知到当前节点的两跳邻域,获取比一跳邻域更加丰富的结构信息。直观上,高阶度量可以用来表示样本特征变化的快慢。
在定义节点的高阶关系度量之后,接下来继续探究边上的高阶结构。考虑成对样本之间的相似度、不相似度关系以及相对度量高阶结构信息的边特征表示,即将边特征表示为三维向量,eij1表示高阶结构信息,eij2表示节点间相似度,eij3表示节点间不相似度。因此,初始边特征可以用不同的度量方法表示为:
图5展示了使用本发明在5-way 5-shot设定的半监督场景下训练过程中的分类精确度曲线。在支持集中,我们对所有类上的部分样本进行标记,对模型进行鲁棒性测试,这种情况称为半监督小样本学习。本发明中采用miniImageNet数据集,miniImageNet数据集中所有图像都是RGB颜色的,大小为84×84像素,来自100个不同的类,每个类600个样本。用不同的比例(20%,40%,60%,80%,100%)将miniImageNet数据集分割为标记和未标记两部分。例如,在5-way 5-shot任务上,对于一个20%标记的半监督场景,即为在每一个训练的episode,每类只有1个标记样本,剩下4个样本未标记。图5为不同的半监督设定下,训练迭代过程中的分类精确度变化,图5中5条分类精确度曲线从下到上对应的标记率依次是20%,40%,60%,80%,100%,可以看出在30000次迭代时,几乎已经达到了最好的结果,并且随着标记比率的增加,模型的分类精确度逐渐提高,这和我们的直觉认识是一致的,标记率越高,训练过程中获得的样本信息越多,训练的模型性能越好。在100%标记的场景中,分类准确度达到了83.6%,相比于目前已发表的成果,在准确度上有了明显的提升。
本发明所建立模型的实验平台如下:Ubuntu 16系统,采用GeForce GTX 1080Ti显卡,采用Pytorch框架来进行网络的训练与测试。本发明使用学习速率为5×10-4,权重衰减为10-6的Adam优化器进行训练,权重衰减(weight decay)设置为0.001,使用L2正则化抑制过拟合。对于5-way 1-shot和5-way 5-shot任务,小批次(mini-batch)大小分别设置为40和20。
Claims (7)
1.一种基于流形学习和高阶图神经网络的小样本图像分类方法,其特征在于,包括如下步骤:
步骤1,获得图像数据集作为训练和验证图神经网络的数据,将图像数据集中每类样本都分为训练集和测试集,对训练集中的部分样本进行标记,将训练集分为带标记样本和未标记样本;
步骤2,将训练集中的数据输入特征提取网络,得到图像特征向量,特征提取网络采用卷积神经网络;
步骤3,将特征提取网络得到的图像特征向量输入嵌入传播网络,映射得到一组插值的特征,称之为嵌入特征;
步骤4,将嵌入特征作为基准特征,并计算边特征和高阶特征,将基准特征、边特征和高阶特征作为特征传播网络的初始特征;
步骤5,在特征传播网络的每一层,交替更新节点特征和边特征,所述节点特征是指基准特征和高阶特征,采用这种迭代的特征传播方法使得图神经网络可以根据自身结构特性更新部分参数,将带标记样本的信息传播到未标记样本;
步骤6,输出层是使用softmax函数的全连接层,将学习到的特征表示映射到样本的标记空间。
2.根据权利要求1所述一种基于流形学习和高阶图神经网络的小样本图像分类方法,其特征在于,步骤3中嵌入传播网络是指利用网络输出特征在图中的相似性来输出一组插值,其中图是由径向基函数利用特征的两两相似度构建的。
5.根据权利要求1所述一种基于流形学习和高阶图神经网络的小样本图像分类方法,其特征在于,特征提取网络的网络结构包括四个3×3核的卷积块,一个线性单元,一个批归一化单元和一个leakyReLU单元;每个卷积块包括一个3×3的卷积层、一个批归一化单元、一个2×2的最大池化层和一个leakyReLU单元。
6.根据权利要求1所述一种基于流形学习和高阶图神经网络的小样本图像分类方法,其特征在于,步骤1中图像数据集采用miniImageNet数据集。
7.根据权利要求1所述一种基于流形学习和高阶图神经网络的小样本图像分类方法,其特征在于,步骤5中交替更新节点特征和边特征是指利用特征传播网络上一层的节点特征和边特征计算下一层的边特征和节点特征,之后将边特征归一化,具体过程为:
基于高阶结构的边特征更新计算方式如下:
之后将边特征归一化:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110441901.4A CN113052263A (zh) | 2021-04-23 | 2021-04-23 | 一种基于流形学习和高阶图神经网络的小样本图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110441901.4A CN113052263A (zh) | 2021-04-23 | 2021-04-23 | 一种基于流形学习和高阶图神经网络的小样本图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113052263A true CN113052263A (zh) | 2021-06-29 |
Family
ID=76520077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110441901.4A Pending CN113052263A (zh) | 2021-04-23 | 2021-04-23 | 一种基于流形学习和高阶图神经网络的小样本图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052263A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469261A (zh) * | 2021-07-12 | 2021-10-01 | 上海交通大学 | 基于感染图卷积网络的源识别方法及系统 |
CN113688878A (zh) * | 2021-07-30 | 2021-11-23 | 华东师范大学 | 一种基于记忆力机制和图神经网络的小样本图像分类方法 |
CN113807176A (zh) * | 2021-08-13 | 2021-12-17 | 句容市紫薇草堂文化科技有限公司 | 一种基于多知识融合的小样本视频行为识别方法 |
CN114358068A (zh) * | 2021-12-24 | 2022-04-15 | 厦门大学 | 一种用于神经网络小样本学习的空间电势度量方法和系统 |
CN114863193A (zh) * | 2022-07-07 | 2022-08-05 | 之江实验室 | 基于混合批归一化的长尾学习图像分类、训练方法及装置 |
-
2021
- 2021-04-23 CN CN202110441901.4A patent/CN113052263A/zh active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469261A (zh) * | 2021-07-12 | 2021-10-01 | 上海交通大学 | 基于感染图卷积网络的源识别方法及系统 |
CN113688878A (zh) * | 2021-07-30 | 2021-11-23 | 华东师范大学 | 一种基于记忆力机制和图神经网络的小样本图像分类方法 |
CN113688878B (zh) * | 2021-07-30 | 2022-08-19 | 华东师范大学 | 一种基于记忆力机制和图神经网络的小样本图像分类方法 |
CN113807176A (zh) * | 2021-08-13 | 2021-12-17 | 句容市紫薇草堂文化科技有限公司 | 一种基于多知识融合的小样本视频行为识别方法 |
CN113807176B (zh) * | 2021-08-13 | 2024-02-20 | 句容市紫薇草堂文化科技有限公司 | 一种基于多知识融合的小样本视频行为识别方法 |
CN114358068A (zh) * | 2021-12-24 | 2022-04-15 | 厦门大学 | 一种用于神经网络小样本学习的空间电势度量方法和系统 |
CN114863193A (zh) * | 2022-07-07 | 2022-08-05 | 之江实验室 | 基于混合批归一化的长尾学习图像分类、训练方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052263A (zh) | 一种基于流形学习和高阶图神经网络的小样本图像分类方法 | |
CN110245665B (zh) | 基于注意力机制的图像语义分割方法 | |
CN110263280B (zh) | 一种基于多视图的动态链路预测深度模型及应用 | |
CN109741341B (zh) | 一种基于超像素和长短时记忆网络的图像分割方法 | |
CN111445020B (zh) | 一种基于图的卷积网络训练方法、装置及系统 | |
CN110796026A (zh) | 一种基于全局特征拼接的行人重识别方法 | |
CN108985298B (zh) | 一种基于语义一致性的人体衣物分割方法 | |
CN112329801B (zh) | 一种卷积神经网络非局部信息构建方法 | |
CN111695046B (zh) | 基于时空移动数据表征学习的用户画像推断方法及装置 | |
CN113297427A (zh) | 一种基于u型嵌套网络的图分类方法 | |
CN113254663A (zh) | 一种融合图卷积与翻译模型的知识图谱联合表示学习方法 | |
CN116612288B (zh) | 一种多尺度轻量级实时语义分割方法、系统 | |
CN112381179A (zh) | 一种基于双层注意力机制的异质图分类方法 | |
CN113903031A (zh) | 一种基于图卷积和对比学习的跨域语义分割方法 | |
CN116340646A (zh) | 一种基于超图基序优化多元用户表示的推荐方法 | |
CN113297429A (zh) | 一种基于神经网络架构搜索的社交网络链路预测方法 | |
CN111695011A (zh) | 一种基于张量表示的动态超图结构学习分类方法及系统 | |
CN112364747A (zh) | 一种有限样本下的目标检测方法 | |
Zheng et al. | Edge-labeling based modified gated graph network for few-shot learning | |
CN113515519A (zh) | 图结构估计模型的训练方法、装置、设备及存储介质 | |
CN116932923A (zh) | 一种结合行为特征与三角协作度量的项目推荐方法 | |
CN116226467A (zh) | 基于节点结构特征的图卷积神经网络的社区发现方法 | |
CN115661457A (zh) | 一种基于网络模体图表示学习的小样本语义分割方法 | |
CN116188428A (zh) | 一种桥接多源域自适应的跨域组织病理学图像识别方法 | |
CN115828988A (zh) | 一种基于自监督的异构图表示学习方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |