CN113408606A - 基于图协同训练的半监督小样本图像分类方法 - Google Patents
基于图协同训练的半监督小样本图像分类方法 Download PDFInfo
- Publication number
- CN113408606A CN113408606A CN202110668690.8A CN202110668690A CN113408606A CN 113408606 A CN113408606 A CN 113408606A CN 202110668690 A CN202110668690 A CN 202110668690A CN 113408606 A CN113408606 A CN 113408606A
- Authority
- CN
- China
- Prior art keywords
- graph
- learning
- representing
- matrix
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图协同训练的半监督小样本图像分类方法,属于模式识别技术领域,该方法提出一种新的标签预测方法——孤立的图学习,通过引入拉普拉斯算子将原始数据编码到图空间,减少分类时对特征的依赖,然后将图空间的样本投影到标签空间进行预测。其次,提出一种半监督的图协同训练方法,通过将孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,从多模态融合的角度来解决小样本学习中特征不匹配问题,较大幅度的提升小样本图像的分类性能。
Description
技术领域
本发明涉及模式识别技术领域,特别涉及一种基于图协同训练的半监督小样本图像分类方法。
背景技术
在过去的几年中,基于深度学习的视觉识别方法在某些情况下已经达到甚至超过人类的水平,成功的一个不可缺少的因素是大量的标记数据。但是在实际情况下,数据收集和维护的负担可能很重。因此,针对每个类别中缺乏标记样本的小样本学习吸引了越来越多的关注。
目前,主要的小样本图像分类方法有以下几种:
(1)基于优化的小样本图像分类方法:如果监督信息丰富,就可以通过梯度下降法进行学习并进行交叉验证,但是小样本学习的样本数量少,不足以支撑这种方法,因此提供一个良好的初始化参数θ可以大大降低训练的成本以及错误率。2019年Singh等人将域自适应与MAML结合起来,使得模型在有限的样本上进行快速拟合;2019年Rajeswaran和Finn等人解决了MAML在求解梯度过程中出现的需要计算Hessian矩阵的问题,提出了改进版本iMAML;2019年Lee等人提出的基于可微凸优化的元学习,利用优化的隐式可微性和分类器的低秩特性进行学习;2019年Luca等人使用降维的思想解决小样本学习中数据计算困难的问题,提升了运算速度。
(2)基于度量的小样本图像分类方法:基于度量的小样本学习是将度量学习与小样本学习结合,其基本原理是根据不同的任务来自主学习出针对某个特定任务的度量距离函数。2017年Snell等人提出的原型网络是一种简单高效的小样本学习方法,通过计算嵌入空间中各个原型的中心进行学习;2018年Oreshkin等人通过度量缩放的方式,是原型网络的一种改进,缩小了余弦相似度与欧拉距离在小样本学习上的差距,并提出了辅助任务协同训练,使得具有任务依赖性的特征提取更容易训练,并且具有很好的泛化能力;2018年Ren等人成功的将原型网络的方法应用在了领域;2018年Wang等人通过生成模型生成虚拟数据来扩充样本的多样性并利用原型网络进行训练。不同度量学习的小样本学习方法在小样本图像分类任务上取得了较好的性能,但是由于测试时支持集样本数量很少,原型网络中计算的每一类别的类原型不能很好的表示测试样本整体的分布情况,存在特征不匹配问题,会在一定程度上限制小样本图像分类的性能。
发明内容
为了解决现有技术的小样本图像分类方法在图像分类过程中存在的问题,本发明实施例提供一种基于图协同训练的半监督小样本图像分类方法,通过将孤立图学习扩展到图协同训练框架,从多模态融合的角度来解决小样本学习中特征不匹配问题,较大幅度的提升小样本图像的分类性能。所述技术方案如下:
本发明提供了一种基于图协同训练的半监督小样本图像分类方法包括:
采用卷积神经网络提取图像特征;
采用邻接矩阵对图学习中的边与点之间的关系进行编码,其中,所述邻接矩阵中的元素为:
其中,表示一个图学习,和分别表示点集合和边集合,点集合由图像样本组成;表示邻接矩阵;xi,(i=1,2,…,N)是vi嵌入特征,vi是的第i个顶点;e表示在一个边;dis(xi,xj)表示计算vi和vj之间嵌入特征距离的算子;
采用目标函数进行孤立图学习,将特征空间中的样本转化为图空间的样本,通过学习正则化的投影来对不同的测试样本进行分类,其中,所述目标函数为:
将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,通过使用无标签数据进行图协同训练得到最优基础学习器,并采用最优基础学习器预测查询标签的类别,所述查询标签的类别为:
其中,表示与旋转模态特征提取器ωr(·)对应的新数据嵌入特征,其中和分别表示支持集、无标签集和查询集数据在旋转模态上的嵌入特征;表示与镜像模态特征提取器ωm(·)对应的新数据嵌入特征,其中 分别表示支持集、无标签集和查询集数据在镜像模态上的嵌入特征;和表示两个最优基础学习器。
可选的,所述采用目标函数进行孤立图学习,将特征空间中的样本转化为图空间的样本,通过学习正则化的投影来对不同的测试样本进行分类,具体为:
其中,表示正规化的投影,C表示类别总数;X表示样本的嵌入特征;表示归一化图拉普拉斯算子;表示点矩阵,是一个对角矩阵,其第(i,i)个个元素等于A的第i行元素之和;B表示一个对角矩阵(B(ii)表示B的第i行、第j列的元素,P(i·)表示P的第i行元素);表示初始标签嵌入矩阵;
预测测试样本的类别的的方法如下所示:
可选的,将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,通过使用无标签数据进行图协同训练得到最优基础学习器,具体为:
第一步:利用两个模态支持集特征分别构造两个不同的基础学习器;
第二步:从两个模态特征预测无标签数据的软伪标签;
第三步:对软伪标签矩阵中的值进行排序,然后在每个模态的嵌入特征上选择置信度最高的未标记样本,交叉地将伪标记实例和相应的标签扩展到不同模式上的支持集;
第四步:重复上述三步直到待学习基础学习器的性能不上升,得到两个最优基础学习器。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的一种基于图协同训练的半监督小样本图像分类方法,该方法提出一种新的标签预测方法——孤立的图学习,通过引入拉普拉斯算子将原始数据编码到图空间,减少分类时对特征的依赖,然后将图空间的样本投影到标签空间进行预测。其次,提出一种半监督的图协同训练方法,通过将孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,从多模态融合的角度来解决小样本学习中特征不匹配问题,较大幅度的提升小样本图像的分类性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图协同训练的半监督小样本图像分类方法的流程示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
下面将结合附图1,对本发明实施例的一种基于图协同训练的半监督小样本图像分类方法进行详细说明。
参考附图1所示,本发明实施例的一种基于图协同训练的半监督小样本图像分类方法包括:
步骤110:采用卷积神经网络提取图像特征。
采用卷积神经网络模型Resnet-12模型提取图像特征。具体的,首先,将图像尺度大小变为84×84大小,然后调用Resnet-12模型,得到待处理图像的特征。其中,采用卷积神经网络提取图像特征的过程并不是本发明的保护内容,采用卷积神经网络提取图像特征属于已有技术,是一种常用的图像特征提取方法,本领域技术人员可以参考已有技术,本发明实施例在此不再累述。
步骤120:采用邻接矩阵对图学习中的边与点之间的关系进行编码。
其中,e表示在一个边,dis(xi,xj)表示计算vi和vj之间嵌入特征距离的算子;
步骤130:采用目标函数进行孤立图学习,将特征空间中的样本转化为图空间的样本,通过学习正则化的投影来对不同的测试样本进行分类。
孤立图学习是一种新的标签预测方法,它将特征空间中的样本转化为图空间的样本,与图学习不同的是,图学习既需要有标记的数据也需要无标签的数据来构造图,而孤立图学习通过学习正则化的投影(C表示类别总数)来对不同的测试样本进行分类,从而更灵活地独立完成训练和测试过程。
定义损失函数为:
其中,f1(P)表示图的拉普拉斯正则化器;λ和μ表示平衡函数的参数;f2(P)表示经验损失项;f3(P)表示约束项。
f1(P)的表示函数如下所示:
f2(P)的表示函数如下所示:
孤立图学习的目标函数为:
其中,B表示一个对角矩阵(B(ii)表示B的第i行、第j列的元素,P(i·)表示P的第i行元素);
其中,max表示最大值在向量中的索引的操作符。
步骤140:将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,通过使用无标签数据进行图协同训练得到最优基础学习器,并采用最优基础学习器预测查询标签的类别。
定义表示与旋转模态特征提取器ωr(·)对应的新数据嵌入特征,其中和分别表示支持集、无标签集和查询集数据在旋转模态上的嵌入特征;表示与镜像模态特征提取器ωm(·)对应的新数据嵌入特征,其中 分别表示支持集、无标签集和查询集数据在镜像模态上的嵌入特征。
预测查询标签的类别为:
本发明实施例提供的一种基于图协同训练的半监督小样本图像分类方法,该方法提出一种新的标签预测方法——孤立的图学习,通过引入拉普拉斯算子将原始数据编码到图空间,减少分类时对特征的依赖,然后将图空间的样本投影到标签空间进行预测。其次,提出一种半监督的图协同训练方法,通过将孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,从多模态融合的角度来解决小样本学习中特征不匹配问题,较大幅度的提升小样本图像的分类性能。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于图协同训练的半监督小样本图像分类方法,其特征在于,所述方法包括:
采用卷积神经网络提取图像特征。
采用邻接矩阵对图学习中的边与点之间的关系进行编码,其中,所述邻接矩阵中的元素为:
其中,表示一个图学习,和ε分别表示点集合和边集合,点集合由图像样本组成;表示邻接矩阵;xi,(i=1,2,…,N)是vi嵌入特征,vi是的第i个顶点;e表示在一个边;dis(xi,xj)表示计算vi和vj之间嵌入特征距离的算子。
采用目标函数进行孤立图学习,将特征空间中的样本转化为图空间的样本,通过学习正则化的投影来对不同的测试样本进行分类,其中,所述目标函数为:
将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,通过使用无标签数据进行图协同训练得到最优基础学习器,并采用最优基础学习器预测查询标签的类别,所述查询标签的类别为:
2.根据权利要求1所述的图像分类方法,其特征在于,所述采用目标函数进行孤立图学习,将特征空间中的样本转化为图空间的样本,通过学习正则化的投影来对不同的测试样本进行分类,具体为:
其中,表示正规化的投影,C表示类别总数;X表示样本的嵌入特征;表示归一化图拉普拉斯算子;表示点矩阵,是一个对角矩阵,其第(i,i)个个元素等于A的第i行元素之和;B表示一个对角矩阵(B(ii)表示B的第i行、第j列的元素,P(i·)表示P的第i行元素);表示初始标签嵌入矩阵;
预测测试样本的类别的的方法如下所示:
3.根据权利要求1或2所述的图像分类方法,其特征在于,可选的,将所述孤立图学习扩展到具有旋转模态和镜像模态两种模态特征的图协同训练框架,通过使用无标签数据进行图协同训练得到最优基础学习器,具体为:
第一步:利用两个模态支持集特征分别构造两个不同的基础学习器。
第二步:从两个模态特征预测无标签数据的软伪标签。
第三步:对软伪标签矩阵中的值进行排序,然后在每个模态的嵌入特征上选择置信度最高的未标记样本,交叉地将伪标记实例和相应的标签扩展到不同模式上的支持集。
第四步:重复上述三步直到待学习基础学习器的性能不上升,得到两个最优基础学习器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110668690.8A CN113408606B (zh) | 2021-06-16 | 2021-06-16 | 基于图协同训练的半监督小样本图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110668690.8A CN113408606B (zh) | 2021-06-16 | 2021-06-16 | 基于图协同训练的半监督小样本图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113408606A true CN113408606A (zh) | 2021-09-17 |
CN113408606B CN113408606B (zh) | 2022-07-22 |
Family
ID=77684418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110668690.8A Active CN113408606B (zh) | 2021-06-16 | 2021-06-16 | 基于图协同训练的半监督小样本图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113408606B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114491039A (zh) * | 2022-01-27 | 2022-05-13 | 四川大学 | 基于梯度改进的元学习少样本文本分类方法 |
CN114782752A (zh) * | 2022-05-06 | 2022-07-22 | 兰州理工大学 | 基于自训练的小样本图像集成分类方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354595A (zh) * | 2015-10-30 | 2016-02-24 | 苏州大学 | 一种鲁棒视觉图像分类方法及系统 |
CN108985161A (zh) * | 2018-06-08 | 2018-12-11 | 广东工业大学 | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 |
CN110070139A (zh) * | 2019-04-28 | 2019-07-30 | 吉林大学 | 面向自动驾驶环境感知的小样本在环学习系统和方法 |
CN110298392A (zh) * | 2019-06-13 | 2019-10-01 | 北京工业大学 | 一种标签约束自权重多超图学习的半监督分类方法 |
CN110490149A (zh) * | 2019-08-22 | 2019-11-22 | 广东工业大学 | 一种基于svm分类的人脸识别方法及装置 |
CN111753874A (zh) * | 2020-05-15 | 2020-10-09 | 江苏大学 | 一种结合半监督聚类的图像场景分类方法及系统 |
CN112633419A (zh) * | 2021-03-09 | 2021-04-09 | 浙江宇视科技有限公司 | 小样本学习方法、装置、电子设备和存储介质 |
CN112766400A (zh) * | 2021-01-28 | 2021-05-07 | 华南理工大学 | 高维数据基于多个数据变换空间的半监督分类集成方法 |
-
2021
- 2021-06-16 CN CN202110668690.8A patent/CN113408606B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354595A (zh) * | 2015-10-30 | 2016-02-24 | 苏州大学 | 一种鲁棒视觉图像分类方法及系统 |
CN108985161A (zh) * | 2018-06-08 | 2018-12-11 | 广东工业大学 | 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法 |
CN110070139A (zh) * | 2019-04-28 | 2019-07-30 | 吉林大学 | 面向自动驾驶环境感知的小样本在环学习系统和方法 |
CN110298392A (zh) * | 2019-06-13 | 2019-10-01 | 北京工业大学 | 一种标签约束自权重多超图学习的半监督分类方法 |
CN110490149A (zh) * | 2019-08-22 | 2019-11-22 | 广东工业大学 | 一种基于svm分类的人脸识别方法及装置 |
CN111753874A (zh) * | 2020-05-15 | 2020-10-09 | 江苏大学 | 一种结合半监督聚类的图像场景分类方法及系统 |
CN112766400A (zh) * | 2021-01-28 | 2021-05-07 | 华南理工大学 | 高维数据基于多个数据变换空间的半监督分类集成方法 |
CN112633419A (zh) * | 2021-03-09 | 2021-04-09 | 浙江宇视科技有限公司 | 小样本学习方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
CHAO XIONG ET AL.: "Multi-Dimensional Edge Features Graph Neural Network on Few-Shot Image Classification", 《 IEEE SIGNAL PROCESSING LETTERS》 * |
代磊超 等: "一种鲁棒性的少样本学习方法", 《小型微型计算机系统》 * |
刘颖 等: "基于图网络优化及标签传播的小样本图像分类算法", 《信号处理》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114491039A (zh) * | 2022-01-27 | 2022-05-13 | 四川大学 | 基于梯度改进的元学习少样本文本分类方法 |
CN114491039B (zh) * | 2022-01-27 | 2023-10-03 | 四川大学 | 基于梯度改进的元学习少样本文本分类方法 |
CN114782752A (zh) * | 2022-05-06 | 2022-07-22 | 兰州理工大学 | 基于自训练的小样本图像集成分类方法及装置 |
CN114782752B (zh) * | 2022-05-06 | 2023-09-05 | 兰州理工大学 | 基于自训练的小样本图像集成分类方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113408606B (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Schneider et al. | Past, present and future approaches using computer vision for animal re‐identification from camera trap data | |
Liao et al. | Learning deep parsimonious representations | |
CN111552807B (zh) | 一种短文本多标签分类方法 | |
CN110188827B (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
CN110929665B (zh) | 一种自然场景曲线文本检测方法 | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
CN111985581B (zh) | 一种基于样本级注意力网络的少样本学习方法 | |
CN109034186B (zh) | 基于da-rbm分类器模型的手写数据识别方法 | |
CN108629367A (zh) | 一种基于深度网络增强服装属性识别精度的方法 | |
CN113408606B (zh) | 基于图协同训练的半监督小样本图像分类方法 | |
CN107943856A (zh) | 一种基于扩充标记样本的文本分类方法及系统 | |
CN105279519A (zh) | 基于协同训练半监督学习的遥感影像水体提取方法及系统 | |
CN104268552B (zh) | 一种基于部件多边形的精细类别分类方法 | |
CN114299324A (zh) | 一种基于多尺度域对抗网络的病理图像分类方法及系统 | |
CN117893839B (zh) | 一种基于图注意力机制的多标记分类方法及系统 | |
CN115439715A (zh) | 基于反标签学习的半监督少样本图像分类学习方法及系统 | |
CN113591955A (zh) | 一种提取图数据的全局信息的方法、系统、设备及介质 | |
Dinov et al. | Black box machine-learning methods: Neural networks and support vector machines | |
CN109947938A (zh) | 多标记分类方法、系统、可读存储介质及计算机设备 | |
Boom et al. | Uncertainty-aware estimation of population abundance using machine learning | |
Shi et al. | Fuzzy support tensor product adaptive image classification for the internet of things | |
Sari et al. | Parking Lots Detection in Static Image Using Support Vector Machine Based on Genetic Algorithm. | |
CN115205877A (zh) | 一种不规则排版发票单据布局预测方法、装置及存储介质 | |
CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 | |
CN112507912A (zh) | 一种识别违规图片的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |