CN112200245A - 一种基于半监督的图像分类方法 - Google Patents

一种基于半监督的图像分类方法 Download PDF

Info

Publication number
CN112200245A
CN112200245A CN202011080376.XA CN202011080376A CN112200245A CN 112200245 A CN112200245 A CN 112200245A CN 202011080376 A CN202011080376 A CN 202011080376A CN 112200245 A CN112200245 A CN 112200245A
Authority
CN
China
Prior art keywords
image
training
unlabeled
image sample
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011080376.XA
Other languages
English (en)
Inventor
文戈
陈兴委
刘磊
周先得
黄军文
汤红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Information Technology Co ltd
Original Assignee
Shenzhen Huafu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co ltd filed Critical Shenzhen Huafu Information Technology Co ltd
Priority to CN202011080376.XA priority Critical patent/CN112200245A/zh
Publication of CN112200245A publication Critical patent/CN112200245A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本发明属于图像处理技术领域，尤其涉及一种基于半监督学习的图像分类方法，包括S1:获取无标签训练图像样本；S2:基于无监督学习对无标签训练图像样本进行训练出特征提取器；S3:特征提取器将无标签训练图像样本提取出图像样本特征；S4:将提取出图像样本特征进行最小限定标注；S5:用少量标注的图像样本特征训练SVM分类器，再用SVM分类器预测其他未标注的图像样本特征，用预测的结果作为这些样本的伪标签；S6：将伪标签经噪声鲁棒学习训练成图像分类模型；S7：基于经噪声鲁棒学习训练成图像分类模型进行图像识别分类。

Description

一种基于半监督的图像分类方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于半监督学习的图像分类方法。
背景技术
图像分类是计算机视觉领域的一个经典任务，由于目前互联网和其他渠道获取的图像资源越来越多，用于训练图像分类模型的数据也日渐增长。虽然更多的数据使得分类算法的训练素材增多，可以帮助其提升准确率；但是，海量的数据使得标注任务变的更加繁重，因此，现有技术中，通常采用半监督图像分类方法解决标注任务繁重的问题，其特点是：使用者不需要标注完所有图像数据，但是在训练时依然可以通过各种方法对未标注图像样本的信息进行利用，最终训练效果会远高于仅利用已标注样本的训练效果。
现有方法之一是先利用有标注的样本进行算法模型预训练，然后用预训练好的模型对未标注样本进行预测，把未标注样本的预测结果作为它的标签(伪标签)，然后再将未标注样本及其伪标签加入训练集训练，训练后得到最终的算法模型。该方法中比较依赖预训练模型的效果，如果已标注样本数量不够，预训练模型对未标注样本的伪标签生成不会准确，而增加已标注样本的数量，同样会使得工作会变的繁重。
现有方法之二是利用一致性正则(Consistency Regularization)原则来对未标注样本进行训练，即模型虽然不知道未标注样本的标签，但同一个未标注样本经过旋转等图像增广手段所生成的多个样本输入模型后理应有尽量一致的输出，以深度学习模型为例，通过对同一未标注样本的增广图片输入模型后产生的输出差异构建网络损失函数，与已标注样本的常规分类损失函数组合到一起对网络进行监督训练，最终得出的结果将优于仅利用标注样本的结果，但该方法并没有挖掘未标注样本的类别信息。
现有方法之三是对现有方法一、二的结合使用，一方面利用预训练模型来生成未标注样本的伪标签，另一方面依然利用一致性正则原则，对训练样本进行增广并监督网络对同一样本的不同增广是否有一致的输出。典型的方法有MixMatch[1]，FixMatch[2]。但此类方法依然需要标注一定数量的样本。
发明内容
为了克服以上的技术问题，本是发明提出一种基于半监督学习的图像分类方法，包括以下步骤：
S1:获取无标签训练图像样本；
S2:基于无监督学习对无标签训练图像样本进行训练出特征提取器；
S3:特征提取器将无标签训练图像样本提取出图像样本特征；
S4:将提取出图像样本特征进行最小限定标注；
S5:用少量标注的图像样本特征训练SVM分类器，再用SVM分类器预测其他未标注的图像样本特征，用预测的结果作为这些样本的伪标签；
S6：将伪标签经噪声鲁棒学习训练成图像分类模型；
S7：基于经噪声鲁棒学习训练成图像分类模型进行图像识别分类。
具体地，在S2中，基于无标签训练图像样本，通过网络输出与无标签训练图像样本之间的差异构建损失函数再反向传播训练出特征提取器。
具体地，在S3中，特征提取器将无标签训练图像样本进行特征提取，再对特征集合进行聚类，之后，进行执行S4。
有益效果：
本发明具有以下优点：
1、标注成本极低：得益于传统分类器对训练样本数量要求并不多的特性，本方法最少仅需每类标注一个样本即可完成整体训练，标注成本极低。
2、整体训练速度快：本发明中伪标签的生成是由传统分类器预测完成的，相对于用神经网络输出来预测伪标签，传统分类器的效率更高，可以在较短时间内生成所有样本的伪标签，整体训练速度快。
3、分类准确度高：本发明使用了业内比较先进的噪声鲁棒学习技术，可以在训练集有一定噪声的情况下仍能训练输出高质量的分类模型，最终模型分类准确度高。
附图说明
图1为本发明图像分类方法的步骤示意图。
具体实施方式
以下结合实施例对本发明作进一步的阐述，所述的实施例仅为本发明一部分的实施例，这些实施例仅用于解释本发明，对本发明的范围并不构成任何限制。
见图1,本发明提供一种基于半监督学习的图像分类方法，包括以下步骤：
S1:获取无标签训练图像样本；
S2:基于无监督学习对无标签训练图像样本进行训练出特征提取器；
具体地，在S2中，基于无标签训练图像样本，通过网络输出与无标签训练图像样本之间的差异构建损失函数再反向传播训练出特征提取器；
S3:特征提取器将无标签训练图像样本提取出图像样本特征；
具体地，在S3中，特征提取器将无标签训练图像样本进行特征提取，再对特征集合进行聚类，之后，进行执行S4；
本步骤中通过特征提取器提取的不同类别的特征具有区分度。
S4:将提取出图像样本特征进行最小限定标注；
由于在S3中，特征提取器对不同类别图像所提取的特征会有较大的区分度，在特征空间里体现为不同种类的特征之间的距离较远，因此在特征空间里不同种类的特征会明显簇集到一起，但此时仍不知道哪簇特征具体属于哪个物体，因此，在本步骤中需要对提取出图像样本特征进行最小限度的标注工作。
S5:用少量标注的图像样本特征训练SVM分类器，再用SVM分类器预测其他未标注的图像样本特征，用预测的结果作为这些样本的伪标签；
由于在S4中，将提取出图像样本特征进行最小限定标注，由于标注样本非常少，即使用图像增广手段对数据集进行扩充，要使用深度学习技术训练网络最后的分类层也十分困难，因此，本步骤中不使用人工神经网络作为分类器，而是训练传统分类器如SVM(支持向量机)。SVM具有在训练样本较少时也能取得较好效果的特性，以每类仅标注一个样本为例，先对标注的这一样本进行图像增广，然后输入特征提取器抽取特征，利用这些有标签的特征训练SVM分类器。
S6：将伪标签经噪声鲁棒学习训练成图像分类模型；
由于SVM分类器的性能有限，它只用于生成伪标签，不作为最终分类模型，得到无标签样本的伪标签后，再使用深度学习技术对所有样本再进行一次训练，得到最终的分类模型；由于得到在S5中得到伪标签并不一定完全准确，训练集中不可避免的会存在一定量的噪声，影响网络最终的训练结果，为此，本步骤中采用噪声鲁棒学习技术，该技术中，即使数据集含有一定噪声，模型依然可以训练出比较好的结果。
S7：基于经噪声鲁棒学习训练成图像分类模型进行图像识别分类。
本发明中组合使用了一些最新的深度学习技术和传统机器学习方法，能在仅有极小数量标注样本集的前提下完成图像分类模型的训练，具有以下有点：
1、标注成本极低：得益于传统分类器对训练样本数量要求并不多的特性，本方法最少仅需每类标注一个样本即可完成整体训练，标注成本极低。
2、整体训练速度快：本发明中伪标签的生成是由传统分类器预测完成的，相对于用神经网络输出来预测伪标签，传统分类器的效率更高，可以在较短时间内生成所有样本的伪标签，整体训练速度快。
3、分类准确度高：本发明使用了业内比较先进的噪声鲁棒学习技术，可以在训练集有一定噪声的情况下仍能训练输出高质量的分类模型，最终模型分类准确度高。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (3)

1.一种基于半监督的图像分类方法，其特征在于：包括以下步骤：
S1:获取无标签训练图像样本；
S2:基于无监督学习对无标签训练图像样本进行训练出特征提取器；
S3:特征提取器将无标签训练图像样本提取出图像样本特征；
S4:将提取出图像样本特征进行最小限定标注；
S5:用少量标注的图像样本特征训练SVM分类器，再用SVM分类器预测其他未标注的图像样本特征，用预测的结果作为这些样本的伪标签；
S6：将伪标签经噪声鲁棒学习训练成图像分类模型；
S7：基于经噪声鲁棒学习训练成图像分类模型进行图像识别分类。
2.根据权利要求1所述的图像分类方法，其特征在于：
具体地，在S2中，基于无标签训练图像样本，通过网络输出与无标签训练图像样本之间的差异构建损失函数再反向传播训练出特征提取器。
3.根据权利要求1所述的人脸活体检测方法，其特征在于：
具体地，在S3中，特征提取器将无标签训练图像样本进行特征提取，再对特征集合进行聚类，之后，进行执行S4。
CN202011080376.XA 2020-10-10 2020-10-10 一种基于半监督的图像分类方法 Pending CN112200245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011080376.XA CN112200245A (zh) 2020-10-10 2020-10-10 一种基于半监督的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011080376.XA CN112200245A (zh) 2020-10-10 2020-10-10 一种基于半监督的图像分类方法

Publications (1)

Publication Number Publication Date
CN112200245A true CN112200245A (zh) 2021-01-08

Family

ID=74014258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011080376.XA Pending CN112200245A (zh) 2020-10-10 2020-10-10 一种基于半监督的图像分类方法

Country Status (1)

Country Link
CN (1) CN112200245A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765354A (zh) * 2021-01-26 2021-05-07 深圳追一科技有限公司 模型训练方法、模型训练装置、计算机设备和存储介质
CN112800151A (zh) * 2021-04-06 2021-05-14 中译语通科技股份有限公司 一种交互式无监督标签分类系统、方法、介质、终端
CN112861935A (zh) * 2021-01-25 2021-05-28 北京有竹居网络技术有限公司 模型生成方法、对象分类方法、装置、电子设备及介质
CN113095162A (zh) * 2021-03-24 2021-07-09 杭州电子科技大学 一种基于半监督深度学习的频谱感知方法
CN113408652A (zh) * 2021-07-12 2021-09-17 匀熵科技(无锡)有限公司 基于群表示特征的半监督学习图像分类方法
CN113781404A (zh) * 2021-08-19 2021-12-10 浙江大学 基于自监督预训练的道路病害检测方法和系统
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304755A1 (en) * 2007-06-08 2008-12-11 Microsoft Corporation Face Annotation Framework With Partial Clustering And Interactive Labeling
CN101770584A (zh) * 2009-12-30 2010-07-07 重庆大学 高光谱遥感数据鉴别特征提取方法
CN104657744A (zh) * 2015-01-29 2015-05-27 中国科学院信息工程研究所 一种基于非确定主动学习的多分类器训练方法及分类方法
CN106096627A (zh) * 2016-05-31 2016-11-09 河海大学 顾及特征优化的极化sar图像半监督分类方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108288051A (zh) * 2018-02-14 2018-07-17 北京市商汤科技开发有限公司 行人再识别模型训练方法及装置、电子设备和存储介质
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN109961095A (zh) * 2019-03-15 2019-07-02 深圳大学 基于非监督深度学习的图像标注系统及标注方法
CN110363071A (zh) * 2019-05-31 2019-10-22 上海海洋大学 一种协同主动学习和直推式支持向量机的海冰检测方法
CN110647880A (zh) * 2019-08-12 2020-01-03 深圳市华付信息技术有限公司 一种移动端身份证图像遮挡判断方法
CN110909820A (zh) * 2019-12-02 2020-03-24 齐鲁工业大学 基于自监督学习的图像分类方法及系统
CN111177374A (zh) * 2019-12-13 2020-05-19 航天信息股份有限公司 一种基于主动学习的问答语料情感分类方法及系统
WO2020117693A1 (en) * 2018-12-07 2020-06-11 Atollogy, Inc. Continuous learning image stream processing system
CN111753874A (zh) * 2020-05-15 2020-10-09 江苏大学 一种结合半监督聚类的图像场景分类方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304755A1 (en) * 2007-06-08 2008-12-11 Microsoft Corporation Face Annotation Framework With Partial Clustering And Interactive Labeling
CN101770584A (zh) * 2009-12-30 2010-07-07 重庆大学 高光谱遥感数据鉴别特征提取方法
CN104657744A (zh) * 2015-01-29 2015-05-27 中国科学院信息工程研究所 一种基于非确定主动学习的多分类器训练方法及分类方法
CN106096627A (zh) * 2016-05-31 2016-11-09 河海大学 顾及特征优化的极化sar图像半监督分类方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108288051A (zh) * 2018-02-14 2018-07-17 北京市商汤科技开发有限公司 行人再识别模型训练方法及装置、电子设备和存储介质
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
WO2020117693A1 (en) * 2018-12-07 2020-06-11 Atollogy, Inc. Continuous learning image stream processing system
CN109961095A (zh) * 2019-03-15 2019-07-02 深圳大学 基于非监督深度学习的图像标注系统及标注方法
CN110363071A (zh) * 2019-05-31 2019-10-22 上海海洋大学 一种协同主动学习和直推式支持向量机的海冰检测方法
CN110647880A (zh) * 2019-08-12 2020-01-03 深圳市华付信息技术有限公司 一种移动端身份证图像遮挡判断方法
CN110909820A (zh) * 2019-12-02 2020-03-24 齐鲁工业大学 基于自监督学习的图像分类方法及系统
CN111177374A (zh) * 2019-12-13 2020-05-19 航天信息股份有限公司 一种基于主动学习的问答语料情感分类方法及系统
CN111753874A (zh) * 2020-05-15 2020-10-09 江苏大学 一种结合半监督聚类的图像场景分类方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RODRIGO G. F. SOARES等: "Semisupervised Classification With Cluster Regularization", 《 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》, vol. 23, no. 11, 1 October 2012 (2012-10-01), pages 1779 - 1792, XP011469415, DOI: 10.1109/TNNLS.2012.2214488 *
YUE QIN等: "Research Progress on Semi-Supervised Clustering", 《COGNITIVE COMPUTATION》, vol. 11, 17 July 2019 (2019-07-17), pages 599, XP037054651, DOI: 10.1007/s12559-019-09664-w *
尹玉等: "伪标签置信选择的半监督集成学习视频语义检测", 《计算机应用》, vol. 39, no. 8, 19 March 2019 (2019-03-19), pages 2204 - 2209 *
陈国炜等: "基于生成对抗网络的半监督遥感图像飞机检测", 《中国科学院大学学报》, vol. 37, no. 04, 8 July 2020 (2020-07-08), pages 539 - 546 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861935A (zh) * 2021-01-25 2021-05-28 北京有竹居网络技术有限公司 模型生成方法、对象分类方法、装置、电子设备及介质
CN112765354A (zh) * 2021-01-26 2021-05-07 深圳追一科技有限公司 模型训练方法、模型训练装置、计算机设备和存储介质
CN113095162A (zh) * 2021-03-24 2021-07-09 杭州电子科技大学 一种基于半监督深度学习的频谱感知方法
CN112800151A (zh) * 2021-04-06 2021-05-14 中译语通科技股份有限公司 一种交互式无监督标签分类系统、方法、介质、终端
CN112800151B (zh) * 2021-04-06 2021-08-13 中译语通科技股份有限公司 一种交互式无监督标签分类系统、方法、介质、终端
CN113408652A (zh) * 2021-07-12 2021-09-17 匀熵科技(无锡)有限公司 基于群表示特征的半监督学习图像分类方法
CN113408652B (zh) * 2021-07-12 2023-12-12 匀熵科技(无锡)有限公司 基于群表示特征的半监督学习图像分类方法
CN113781404A (zh) * 2021-08-19 2021-12-10 浙江大学 基于自监督预训练的道路病害检测方法和系统
CN113781404B (zh) * 2021-08-19 2023-12-01 浙江大学 基于自监督预训练的道路病害检测方法和系统
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115147426B (zh) * 2022-09-06 2022-11-29 北京大学 基于半监督学习的模型训练与图像分割方法和系统

Similar Documents

Publication Publication Date Title
CN112200245A (zh) 一种基于半监督的图像分类方法
Kukleva et al. Unsupervised learning of action classes with continuous temporal embedding
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN109614979B (zh) 一种基于选择与生成的数据增广方法及图像分类方法
US7570816B2 (en) Systems and methods for detecting text
Guo et al. Density-aware feature embedding for face clustering
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN108446334B (zh) 一种无监督对抗训练的基于内容的图像检索方法
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
Sahel et al. Logo detection using deep learning with pretrained CNN models
CN110008365B (zh) 一种图像处理方法、装置、设备及可读存储介质
WO2021034394A1 (en) Semi supervised animated character recognition in video
Abdul-Rashid et al. Shrec’18 track: 2d image-based 3d scene retrieval
Zhou et al. Comparing the interpretability of deep networks via network dissection
CN111476301A (zh) 一种基于机器学习的医学图像分类方法及系统
Chammas et al. Writer identification for historical handwritten documents using a single feature extraction method
CN112836755B (zh) 基于深度学习的样本图像生成方法及其系统
Vijayaraju Image retrieval using image captioning
Tabib et al. Deep features for categorization of heritage images towards 3D reconstruction
Tabib et al. Categorization and selection of crowdsourced images towards 3d reconstruction of heritage sites
CN114842301A (zh) 一种图像注释模型的半监督训练方法
CN115457620A (zh) 用户表情识别方法、装置、计算机设备及存储介质
Li et al. Research on unbalanced training samples based on SMOTE algorithm
CN106778775B (zh) 一种基于sift特征软匹配的图像分类方法
Perochon et al. Unsupervised Action Segmentation of Untrimmed Egocentric Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination