CN113283467A - 一种基于平均损失和逐类选择的弱监督图片分类方法 - Google Patents

一种基于平均损失和逐类选择的弱监督图片分类方法 Download PDF

Info

Publication number
CN113283467A
CN113283467A CN202110399477.1A CN202110399477A CN113283467A CN 113283467 A CN113283467 A CN 113283467A CN 202110399477 A CN202110399477 A CN 202110399477A CN 113283467 A CN113283467 A CN 113283467A
Authority
CN
China
Prior art keywords
picture
picture data
class
training
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110399477.1A
Other languages
English (en)
Other versions
CN113283467B (zh
Inventor
王魏
桂贤进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110399477.1A priority Critical patent/CN113283467B/zh
Publication of CN113283467A publication Critical patent/CN113283467A/zh
Application granted granted Critical
Publication of CN113283467B publication Critical patent/CN113283467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于平均损失和逐类选择的弱监督图片分类方法，基于图片样例的平均损失，从带噪标记图片数据中逐类选择出低风险的数据，并将剩下未被选中的高风险图片样例视为未标记数据，利用弱监督学习技术将选中的低风险数据和未标记数据进行混合生成更多的伪标记数据扩充训练集。在混合过程中，需要对选出的低风险图片样例根据损失值的大小设置权值，并基于加权重采样技术来进一步降低风险。利用生成的伪标记数据训练深度神经网络最终得到高性能的图片分类器。本方法可以应用于各种弱监督条件下基于带有噪声标记图片数据的学习，具有较好的效果。

Description

一种基于平均损失和逐类选择的弱监督图片分类方法
技术领域
本发明涉及一种基于平均损失和逐类选择的弱监督图片分类方法，该方法能够利用带有噪声标记的图片数据训练深度神经网络模型获得较好性能的图片分类器，属于计算机人工智能数据分析技术领域。
背景技术
近年来，深度学习在计算机视觉邻域(例如：图像分类，物体检测，实例分割等任务)取得了极大的成功。然而，深度神经网络的训练通常需要大规模具有精确标记的数据。雇佣领域专家来给未标记数据提供精确的标记需要耗费大量的时间，且标注成本高昂，因此近来出现了一些快速且廉价地获取数据标记的方法，例如：众包、网络爬虫和图片搜索引擎等。然而，这些方法提供的标记往往带有噪声，即标记信息很有可能出现错误。不加处理地直接利用带有噪声标记的数据学习会严重影响深度神经网络的性能。因此，发展有效的弱监督学习技术利用可快速且廉价获取的带有噪声标记数据至关重要。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提出了一种基于平均损失和逐类选择的弱监督图片分类方法，该方法基于样例的平均损失从带有噪声标记图片数据集中逐类选择出低风险图片数据，同时把剩下未被选中的样例视为未标记图片数据。接下来，基于MixMatch技术对低风险图片数据和未标记图片数据进行混合生成新的伪标记图片数据扩充训练集；在图片数据混合过程中，基于平均损失对标记图片数据设置权值并进行加权重采样，以进一步降低图片数据风险。本发明能充分地利用易获取的带有噪声标记图片数据进行学习，消除图片数据集中错误标记对深度神经网络模型的影响，获得具有较强性能的图片分类器，能够较为准确地对未见图片进行分类，具有很大的实用价值。
技术方案：一种基于平均损失和逐类选择的弱监督图片分类方法，包括如下内容：
首先，通过众包、网络爬虫或者图片搜索引擎等手段建立一个带有噪声标记图片数据库作为训练数据集。
接着，用户选定一种常用的深度神经网络模型(例如，深度残差网络等)作为图片分类器模型。使用该模型利用随机梯度下降算法在带有噪声标记训练数据集上训练预定的轮数，并记录每一轮结束时每个样例的损失值大小；然后计算出每个样例在训练过程中的平均损失值的大小，对每个类别的样例按照其平均损失值的大小进行排序；根据逐类选择技巧，从带噪标记图片数据集中为每个类挑选出预设数量的平均损失最小的样本，并把剩下未被选中的样本视为未标记图片数据，至此完成样本的筛选过程。
接下来，基于MixMatch技术对低风险带标记图片数据和未标记图片数据进行混合生成新的伪标记图片数据扩充训练集；在这一图片数据混合的过程中，基于样例的平均损失值对带标记图片数据设置权值并进行加权重采样，以进一步降低带标记图片数据的风险。
接下来，在新生成的伪标记图片数据集上，通过随机梯度下降算法重新进行深度神经网络模型的训练，直到网络收敛。最后在预测阶段，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为预测类别。
有益效果：与现有的技术相比，本发明提供的基于平均损失和逐类选择的弱监督图片分类方法，考虑到带噪标记图片数据对深度神经网络的影响，基于平均损失和逐类选择技术选择出低风险的标记图片数据，并把剩下未被选中的高风险图片数据视为未标记图片数据，同时在伪标记图片数据生成过程中对标记图片数据赋予权值以进一步降低风险。本发明能够很好地消除带有噪声标记图片数据集中错误的标记对深度神经网络的影响，最终取得良好的分类效果。本发明可以用于各种弱监督条件下基于带噪标记图片数据的学习，具有较好的效果。
附图说明
图1是本发明的原理图；
图2是本发明的总体流程图；
图3是本发明的各步骤流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，基于平均损失和逐类选择的弱监督图片分类方法：首先用户准备好一个带有噪声标记图片数据库作为训练数据集。然后，基于平均损失从带有噪声标记图片数据集中逐类选择出低风险图片数据，同时将剩下未被选中的高风险图片数据视为未标记图片数据。接下来，基于MixMatch技术对低风险图片数据和未标记图片数据进行混合生成新的伪标记图片数据来扩充训练集；在这一图片数据混合的过程中，基于平均损失对标记图片数据设置权值并进行加权重采样，以进一步降低图片数据风险。接下来，在新生成的伪标记图片数据集上，通过随机梯度下降算法训练深度神经网络模型直到网络收敛。最后在预测阶段，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为预测类别。
如图2-3所示，基于平均损失和逐类选择的弱监督图片分类方法流程为：
步骤100，通过众包、网络爬虫或者图片搜索引擎等手段采集带有噪声标记的图片数据集
Figure BDA0003019549970000031
步骤200，选定一个神经网络模型作为图片分类器，使用该模型利用随机梯度下降算法在训练集上训练一定的轮数T，并记录每一轮结束时每个样例的损失值的大小
Figure BDA0003019549970000032
Figure BDA0003019549970000033
步骤201，计算出每个样例在训练过程中的平均损失值大小
Figure BDA0003019549970000034
对每个类别的样本按照其平均损失值大小进行从小到大排序；
步骤202，根据逐类选择技术，从图片数据集
Figure BDA0003019549970000035
的第i个类别样本中挑选出num(i)个平均损失值最小的样本构成数据集Dsel,其中num(i)的计算方式如下，设ηi表示第i类样本的噪声率，ni表示图片数据集
Figure BDA0003019549970000036
中
Figure BDA0003019549970000037
的样本数量，[p1,…,pc]表示真实的类别分布，β和γ是两个可由用户自行调节的超参数：
prop(i)＝max{1-(1+β)ηi,(1-β)(1-ηi)}
Figure BDA0003019549970000038
num(i)＝min{γ·pi×m,prop(i)×ni}
步骤203，对于上一步骤中未被选中的图片数据，舍弃其标记
Figure BDA0003019549970000039
并将其视为未标记图片数据
Figure BDA00030195499700000310
步骤300，对选择出来的图片数据
Figure BDA00030195499700000311
按照其平均损失值的大小赋予不同的权值
Figure BDA00030195499700000312
权值计算公式如下：
Figure BDA00030195499700000313
Figure BDA00030195499700000314
其中
Figure BDA00030195499700000315
代表数据集Dsel中标记为i的样本构成的集合，κ是一个可由用户自行调节的超参数；
步骤301，基于MixMatch技术利用步骤202-203处理所得的低风险数据集Dsel和未标记图片数据集Du生成新的伪标记图片数据集(L,U)＝MixMatch(Dsel,Du)。在生成伪标记图片数据的过程中，首先按照每个样例的权重
Figure BDA00030195499700000316
对Dsel中的样例进行加权重采样，然后把采样后的数据集输入到MixMatch算法；
步骤400，利用生成的伪标记图片数据集(L,U)通过随机梯度下降算法训练深度神经网络模型直到网络收敛；
步骤500，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为最终的预测类别。

Claims (5)

1.一种基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，包括如下内容：
首先，建立一个带有噪声标记图片数据库作为训练数据集；
接着，选定一种深度神经网络模型作为图片分类器模型，使用该模型利用随机梯度下降算法在训练数据集上训练预定的轮数，并记录每一轮结束时每个样例的损失值大小；基于依据样例的平均损失从带噪图片数据中逐类选择出低风险图片数据，同时把未被选中的图片数据视为未标记图片数据；
接下来，基于MixMatch技术对低风险图片数据和未标记图片数据进行混合生成新的伪标记图片数据扩充训练集；在图片数据混合的过程中，基于样例的平均损失值对低风险图片数据设置权值并进行加权重采样；
接下来，在新生成的伪标记图片数据集上，通过随机梯度下降算法重新进行深度神经网络模型的训练，直到网络收敛；最后在预测阶段，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为预测类别。
2.根据权利要求1所述的基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，选定一种深度神经网络模型作为图片分类器模型，使用该模型利用随机梯度下降算法在训练数据集上训练预定的轮数，并记录每一轮结束时每个样例的损失值大小，计算出每个样例在训练过程中的平均损失值的大小，对每个类别的样例按照其平均损失值的大小进行排序；根据逐类选择从训练数据集中为每个类挑选出预设数量的平均损失最小的样本，作为低风险图片数据，并把剩下未被选中的样本视为未标记图片数据。
3.根据权利要求1所述的基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，通过众包、网络爬虫或者图片搜索引擎采集带有噪声标记的图片数据集
Figure FDA0003019549960000011
作为训练数据集。
4.根据权利要求1所述的基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，所述低风险图片数据和未标记图片数据选择的过程为：
步骤200，选定一个神经网络模型作为图片分类器，使用该模型利用随机梯度下降算法在训练集上训练一定的轮数T，并记录每一轮结束时每个样例的损失值的大小
Figure FDA0003019549960000012
Figure FDA0003019549960000013
步骤201，计算出每个样例在训练过程中的平均损失值大小
Figure FDA0003019549960000014
对每个类别的样本按照其平均损失值大小进行从小到大排序；
步骤202，根据逐类选择技术，从图片数据集
Figure FDA0003019549960000015
的第i个类别样本中挑选出num(i)个平均损失值最小的样本构成数据集Dsel,其中num(i)的计算方式如下，设ηi表示第i类样本的噪声率，ni表示图片数据集
Figure FDA0003019549960000021
中
Figure FDA0003019549960000022
的样本数量，[p1,…,pc]表示真实的类别分布，β和γ是两个可由用户自行调节的超参数：
prop(i)＝max{1-(1+β)ηi,(1-β)(1-ηi)}
Figure FDA0003019549960000023
num(i)＝min{γ·pi×m,prop(i)×ni}
步骤203，对于上一步骤中未被选中的图片数据，舍弃其标记
Figure FDA0003019549960000024
并将其视为未标记图片数据
Figure FDA0003019549960000025
5.根据权利要求1所述的基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，所述伪标记图片数据生成步骤具体为：
步骤300，对选择出来的图片数据
Figure FDA0003019549960000026
按照其平均损失值的大小赋予不同的权值
Figure FDA0003019549960000027
权值计算公式如下：
Figure FDA0003019549960000028
Figure FDA0003019549960000029
其中
Figure FDA00030195499600000210
代表数据集Dsel中标记为i的样本构成的集合，κ是一个可由用户自行调节的超参数；
步骤301，基于MixMatch技术利用步骤202-203处理所得的低风险数据集Dsel和未标记图片数据集Du生成新的伪标记图片数据集(L,U)＝MixMatch(Dsel,Du)；在生成伪标记图片数据的过程中，首先按照每个样例的权重
Figure FDA00030195499600000211
对Dsel中的样例进行加权重采样，然后把采样后的数据集输入到MixMatch算法。
CN202110399477.1A 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法 Active CN113283467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399477.1A CN113283467B (zh) 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399477.1A CN113283467B (zh) 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法

Publications (2)

Publication Number Publication Date
CN113283467A true CN113283467A (zh) 2021-08-20
CN113283467B CN113283467B (zh) 2022-10-18

Family

ID=77276642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399477.1A Active CN113283467B (zh) 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法

Country Status (1)

Country Link
CN (1) CN113283467B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806572A (zh) * 2021-09-18 2021-12-17 中国电信股份有限公司 一种用于图像标注的方法、介质及装置
CN115080748A (zh) * 2022-08-16 2022-09-20 之江实验室 一种基于带噪标签学习的弱监督文本分类方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293859A1 (en) * 2016-04-11 2017-10-12 Yandex Europe Ag Method for training a ranker module using a training set having noisy labels
CN108229526A (zh) * 2017-06-16 2018-06-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
CN110533067A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 基于深度学习的边框回归的端到端弱监督目标检测方法
US20200160177A1 (en) * 2018-11-16 2020-05-21 Royal Bank Of Canada System and method for a convolutional neural network for multi-label classification with partial annotations
CN111275206A (zh) * 2020-01-19 2020-06-12 同济大学 一种基于启发式采样的集成学习方法
CN111783788A (zh) * 2020-06-24 2020-10-16 东南大学 一种面向标记噪声的多标记分类方法
CN111988845A (zh) * 2020-09-03 2020-11-24 兰州交通大学 边缘计算架构下的差分私有多源无线信号指纹融合室内定位方法
CN112488209A (zh) * 2020-11-25 2021-03-12 南京大学 一种基于半监督学习的增量式图片分类方法
CN112561080A (zh) * 2020-12-18 2021-03-26 Oppo（重庆）智能科技有限公司 样本筛选方法、样本筛选装置及终端设备
CN112651467A (zh) * 2021-01-18 2021-04-13 第四范式（北京）技术有限公司 卷积神经网络的训练方法和系统以及预测方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293859A1 (en) * 2016-04-11 2017-10-12 Yandex Europe Ag Method for training a ranker module using a training set having noisy labels
CN108229526A (zh) * 2017-06-16 2018-06-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
US20200160177A1 (en) * 2018-11-16 2020-05-21 Royal Bank Of Canada System and method for a convolutional neural network for multi-label classification with partial annotations
CN110533067A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 基于深度学习的边框回归的端到端弱监督目标检测方法
CN111275206A (zh) * 2020-01-19 2020-06-12 同济大学 一种基于启发式采样的集成学习方法
CN111783788A (zh) * 2020-06-24 2020-10-16 东南大学 一种面向标记噪声的多标记分类方法
CN111988845A (zh) * 2020-09-03 2020-11-24 兰州交通大学 边缘计算架构下的差分私有多源无线信号指纹融合室内定位方法
CN112488209A (zh) * 2020-11-25 2021-03-12 南京大学 一种基于半监督学习的增量式图片分类方法
CN112561080A (zh) * 2020-12-18 2021-03-26 Oppo（重庆）智能科技有限公司 样本筛选方法、样本筛选装置及终端设备
CN112651467A (zh) * 2021-01-18 2021-04-13 第四范式（北京）技术有限公司 卷积神经网络的训练方法和系统以及预测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO HAN ETAL.: "Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels", 《HTTP:ARXIV:1804.06872V3》 *
郭翔宇，王魏: "一种改进的协同训练算法：Compatible Co-training", 《南京大学学报（自然科学）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806572A (zh) * 2021-09-18 2021-12-17 中国电信股份有限公司 一种用于图像标注的方法、介质及装置
CN115080748A (zh) * 2022-08-16 2022-09-20 之江实验室 一种基于带噪标签学习的弱监督文本分类方法和装置
CN115080748B (zh) * 2022-08-16 2022-11-11 之江实验室 一种基于带噪标签学习的弱监督文本分类方法和装置

Also Published As

Publication number Publication date
CN113283467B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
Amra et al. Students performance prediction using KNN and Naïve Bayesian
CN111882446B (zh) 一种基于图卷积网络的异常账户检测方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111008337B (zh) 一种基于三元特征的深度注意力谣言鉴别方法及装置
CN113283467B (zh) 一种基于平均损失和逐类选择的弱监督图片分类方法
CN110738247A (zh) 一种基于选择性稀疏采样的细粒度图像分类方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
KR102362872B1 (ko) 인공지능 학습을 위한 클린 라벨 데이터 정제 방법
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN114091349A (zh) 一种基于多源领域自适应的滚动轴承寿命预测方法
CN111144462B (zh) 一种雷达信号的未知个体识别方法及装置
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
JPWO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN109829887B (zh) 一种基于深度神经网络的图像质量评估方法
JP2021165909A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
CN117475191A (zh) 一种特征对齐域对抗神经网络的轴承故障诊断方法
CN116665039A (zh) 基于两阶段因果干预的小样本目标识别方法
CN113724233B (zh) 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法
CN112784774B (zh) 一种基于数据增强的小样本高光谱分类方法
CN111651433A (zh) 一种样本数据清洗方法及系统
Liu et al. Peaks fusion assisted early-stopping strategy for overhead imagery segmentation with noisy labels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant