CN113283467B - 一种基于平均损失和逐类选择的弱监督图片分类方法 - Google Patents

一种基于平均损失和逐类选择的弱监督图片分类方法 Download PDF

Info

Publication number
CN113283467B
CN113283467B CN202110399477.1A CN202110399477A CN113283467B CN 113283467 B CN113283467 B CN 113283467B CN 202110399477 A CN202110399477 A CN 202110399477A CN 113283467 B CN113283467 B CN 113283467B
Authority
CN
China
Prior art keywords
picture
picture data
class
training
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110399477.1A
Other languages
English (en)
Other versions
CN113283467A (zh
Inventor
王魏
桂贤进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110399477.1A priority Critical patent/CN113283467B/zh
Publication of CN113283467A publication Critical patent/CN113283467A/zh
Application granted granted Critical
Publication of CN113283467B publication Critical patent/CN113283467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开一种基于平均损失和逐类选择的弱监督图片分类方法，基于图片样例的平均损失，从带噪标记图片数据中逐类选择出低风险的数据，并将剩下未被选中的高风险图片样例视为未标记数据，利用弱监督学习技术将选中的低风险数据和未标记数据进行混合生成更多的伪标记数据扩充训练集。在混合过程中，需要对选出的低风险图片样例根据损失值的大小设置权值，并基于加权重采样技术来进一步降低风险。利用生成的伪标记数据训练深度神经网络最终得到高性能的图片分类器。本方法可以应用于各种弱监督条件下基于带有噪声标记图片数据的学习，具有较好的效果。

Description

一种基于平均损失和逐类选择的弱监督图片分类方法
技术领域
本发明涉及一种基于平均损失和逐类选择的弱监督图片分类方法，该方法能够利用带有噪声标记的图片数据训练深度神经网络模型获得较好性能的图片分类器，属于计算机人工智能数据分析技术领域。
背景技术
近年来，深度学习在计算机视觉邻域(例如：图像分类，物体检测，实例分割等任务)取得了极大的成功。然而，深度神经网络的训练通常需要大规模具有精确标记的数据。雇佣领域专家来给未标记数据提供精确的标记需要耗费大量的时间，且标注成本高昂，因此近来出现了一些快速且廉价地获取数据标记的方法，例如：众包、网络爬虫和图片搜索引擎等。然而，这些方法提供的标记往往带有噪声，即标记信息很有可能出现错误。不加处理地直接利用带有噪声标记的数据学习会严重影响深度神经网络的性能。因此，发展有效的弱监督学习技术利用可快速且廉价获取的带有噪声标记数据至关重要。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提出了一种基于平均损失和逐类选择的弱监督图片分类方法，该方法基于样例的平均损失从带有噪声标记图片数据集中逐类选择出低风险图片数据，同时把剩下未被选中的样例视为未标记图片数据。接下来，基于MixMatch技术对低风险图片数据和未标记图片数据进行混合生成新的伪标记图片数据扩充训练集；在图片数据混合过程中，基于平均损失对标记图片数据设置权值并进行加权重采样，以进一步降低图片数据风险。本发明能充分地利用易获取的带有噪声标记图片数据进行学习，消除图片数据集中错误标记对深度神经网络模型的影响，获得具有较强性能的图片分类器，能够较为准确地对未见图片进行分类，具有很大的实用价值。
技术方案：一种基于平均损失和逐类选择的弱监督图片分类方法，包括如下内容：
首先，通过众包、网络爬虫或者图片搜索引擎等手段建立一个带有噪声标记图片数据库作为训练数据集。
接着，用户选定一种常用的深度神经网络模型(例如，深度残差网络等)作为图片分类器模型。使用该模型利用随机梯度下降算法在带有噪声标记训练数据集上训练预定的轮数，并记录每一轮结束时每个样例的损失值大小；然后计算出每个样例在训练过程中的平均损失值的大小，对每个类别的样例按照其平均损失值的大小进行排序；根据逐类选择技巧，从带噪标记图片数据集中为每个类挑选出预设数量的平均损失最小的样本，并把剩下未被选中的样本视为未标记图片数据，至此完成样本的筛选过程。
接下来，基于MixMatch技术对低风险带标记图片数据和未标记图片数据进行混合生成新的伪标记图片数据扩充训练集；在这一图片数据混合的过程中，基于样例的平均损失值对带标记图片数据设置权值并进行加权重采样，以进一步降低带标记图片数据的风险。
接下来，在新生成的伪标记图片数据集上，通过随机梯度下降算法重新进行深度神经网络模型的训练，直到网络收敛。最后在预测阶段，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为预测类别。
有益效果：与现有的技术相比，本发明提供的基于平均损失和逐类选择的弱监督图片分类方法，考虑到带噪标记图片数据对深度神经网络的影响，基于平均损失和逐类选择技术选择出低风险的标记图片数据，并把剩下未被选中的高风险图片数据视为未标记图片数据，同时在伪标记图片数据生成过程中对标记图片数据赋予权值以进一步降低风险。本发明能够很好地消除带有噪声标记图片数据集中错误的标记对深度神经网络的影响，最终取得良好的分类效果。本发明可以用于各种弱监督条件下基于带噪标记图片数据的学习，具有较好的效果。
附图说明
图1是本发明的原理图；
图2是本发明的总体流程图；
图3是本发明的各步骤流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，基于平均损失和逐类选择的弱监督图片分类方法：首先用户准备好一个带有噪声标记图片数据库作为训练数据集。然后，基于平均损失从带有噪声标记图片数据集中逐类选择出低风险图片数据，同时将剩下未被选中的高风险图片数据视为未标记图片数据。接下来，基于MixMatch技术对低风险图片数据和未标记图片数据进行混合生成新的伪标记图片数据来扩充训练集；在这一图片数据混合的过程中，基于平均损失对标记图片数据设置权值并进行加权重采样，以进一步降低图片数据风险。接下来，在新生成的伪标记图片数据集上，通过随机梯度下降算法训练深度神经网络模型直到网络收敛。最后在预测阶段，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为预测类别。
如图2-3所示，基于平均损失和逐类选择的弱监督图片分类方法流程为：
步骤100，通过众包、网络爬虫或者图片搜索引擎等手段采集带有噪声标记的图片数据集
Figure BDA0003019549970000031
步骤200，选定一个神经网络模型作为图片分类器，使用该模型利用随机梯度下降算法在训练集上训练一定的轮数T，并记录每一轮结束时每个样例的损失值的大小
Figure BDA0003019549970000032
Figure BDA0003019549970000033
步骤201，计算出每个样例在训练过程中的平均损失值大小
Figure BDA0003019549970000034
对每个类别的样本按照其平均损失值大小进行从小到大排序；
步骤202，根据逐类选择技术，从图片数据集
Figure BDA0003019549970000035
的第i个类别样本中挑选出num(i)个平均损失值最小的样本构成数据集Dsel,其中num(i)的计算方式如下，设ηi表示第i类样本的噪声率，ni表示图片数据集
Figure BDA0003019549970000036
中
Figure BDA0003019549970000037
的样本数量，[p1,…,pc]表示真实的类别分布，β和γ是两个可由用户自行调节的超参数：
prop(i)＝max{1-(1+β)ηi,(1-β)(1-ηi)}
Figure BDA0003019549970000038
num(i)＝min{γ·pi×m,prop(i)×ni}
步骤203，对于上一步骤中未被选中的图片数据，舍弃其标记
Figure BDA0003019549970000039
并将其视为未标记图片数据
Figure BDA00030195499700000310
步骤300，对选择出来的图片数据
Figure BDA00030195499700000311
按照其平均损失值的大小赋予不同的权值
Figure BDA00030195499700000312
权值计算公式如下：
Figure BDA00030195499700000313
Figure BDA00030195499700000314
其中
Figure BDA00030195499700000315
代表数据集Dsel中标记为i的样本构成的集合，κ是一个可由用户自行调节的超参数；
步骤301，基于MixMatch技术利用步骤202-203处理所得的低风险数据集Dsel和未标记图片数据集Du生成新的伪标记图片数据集(L,U)＝MixMatch(Dsel,Du)。在生成伪标记图片数据的过程中，首先按照每个样例的权重
Figure BDA00030195499700000316
对Dsel中的样例进行加权重采样，然后把采样后的数据集输入到MixMatch算法；
步骤400，利用生成的伪标记图片数据集(L,U)通过随机梯度下降算法训练深度神经网络模型直到网络收敛；
步骤500，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为最终的预测类别。

Claims (3)

1.一种基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，包括如下内容：
首先，建立一个带有噪声标记图片数据库作为训练数据集；
接着，选定一种深度神经网络模型作为图片分类器模型，使用该模型利用随机梯度下降算法在训练数据集上训练预定的轮数，并记录每一轮结束时每个样例的损失值大小；基于依据样例的平均损失从带噪图片数据中逐类选择出低风险图片数据，同时把未被选中的图片数据视为未标记图片数据；
接下来，基于MixMatch技术对低风险图片数据和未标记图片数据进行混合生成新的伪标记图片数据扩充训练集；在图片数据混合的过程中，基于样例的平均损失值对低风险图片数据设置权值并进行加权重采样；
接下来，在新生成的伪标记图片数据集上，通过随机梯度下降算法重新进行深度神经网络模型的训练，直到网络收敛；最后在预测阶段，用户将待测图片输入给深度神经网络模型，模型返回该图片属于每个类别的概率并输出对应概率值最高的那个类别作为预测类别；
所述低风险图片数据和未标记图片数据选择的过程为：
步骤200，选定一个神经网络模型作为图片分类器，使用该模型利用随机梯度下降算法在训练集上训练预定的轮数T，并记录每一轮结束时每个样例的损失值的大小
Figure FDA0003726575130000011
Figure FDA0003726575130000012
步骤201，计算出每个样例在训练过程中的平均损失值大小
Figure FDA0003726575130000013
对每个类别的样本按照其平均损失值大小进行从小到大排序；
步骤202，根据逐类选择技术，从图片数据集
Figure FDA0003726575130000014
的第i个类别样本中挑选出num(i)个平均损失值最小的样本构成数据集Dsel,其中num(i)的计算方式如下，设ηi表示第i类样本的噪声率，ni表示图片数据集
Figure FDA0003726575130000015
中
Figure FDA0003726575130000016
的样本数量，[p1,…,pc]表示真实的类别分布，β和γ是两个由用户自行调节的超参数：
prop(i)＝max{1-(1+β)ηi，(1-β)(1-ηi)}
Figure FDA0003726575130000017
num(i)＝min{γ·pi×m，prop(i)×ni}
步骤203，对于上一步骤中未被选中的图片数据，舍弃其标记
Figure FDA0003726575130000018
并将其视为未标记图片数据
Figure FDA0003726575130000019
所述伪标记图片数据生成步骤具体为：
步骤300，对选择出来的图片数据
Figure FDA00037265751300000110
按照其平均损失值的大小赋予不同的权值
Figure FDA0003726575130000021
权值计算公式如下：
Figure FDA0003726575130000022
Figure FDA0003726575130000023
其中
Figure FDA0003726575130000024
代表数据集Dsel中标记为i的样本构成的集合，κ是一个由用户自行调节的超参数；
步骤301，基于MixMatch技术利用步骤202-203处理所得的低风险数据集Dsel和未标记图片数据集Du生成新的伪标记图片数据集(L，U)＝MixMatch(Dsel，Du)；在生成伪标记图片数据的过程中，首先按照每个样例的权重
Figure FDA0003726575130000025
对Dsel中的样例进行加权重采样，然后把采样后的数据集输入到MixMatch算法。
2.根据权利要求1所述的基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，选定一种深度神经网络模型作为图片分类器模型，使用该模型利用随机梯度下降算法在训练数据集上训练预定的轮数，并记录每一轮结束时每个样例的损失值大小，计算出每个样例在训练过程中的平均损失值的大小，对每个类别的样例按照其平均损失值的大小进行排序；根据逐类选择从训练数据集中为每个类挑选出预设数量的平均损失最小的样本，作为低风险图片数据，并把剩下未被选中的样本视为未标记图片数据。
3.根据权利要求1所述的基于平均损失和逐类选择的弱监督图片分类方法，其特征在于，通过众包、网络爬虫或者图片搜索引擎采集带有噪声标记的图片数据集
Figure FDA0003726575130000026
作为训练数据集。
CN202110399477.1A 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法 Active CN113283467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399477.1A CN113283467B (zh) 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399477.1A CN113283467B (zh) 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法

Publications (2)

Publication Number Publication Date
CN113283467A CN113283467A (zh) 2021-08-20
CN113283467B true CN113283467B (zh) 2022-10-18

Family

ID=77276642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399477.1A Active CN113283467B (zh) 2021-04-14 2021-04-14 一种基于平均损失和逐类选择的弱监督图片分类方法

Country Status (1)

Country Link
CN (1) CN113283467B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806572A (zh) * 2021-09-18 2021-12-17 中国电信股份有限公司 一种用于图像标注的方法、介质及装置
CN115080748B (zh) * 2022-08-16 2022-11-11 之江实验室 一种基于带噪标签学习的弱监督文本分类方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2632143C1 (ru) * 2016-04-11 2017-10-02 Общество С Ограниченной Ответственностью "Яндекс" Способ обучения модуля ранжирования с использованием обучающей выборки с зашумленными ярлыками
CN108229526B (zh) * 2017-06-16 2020-09-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
US20200160177A1 (en) * 2018-11-16 2020-05-21 Royal Bank Of Canada System and method for a convolutional neural network for multi-label classification with partial annotations
CN110533067A (zh) * 2019-07-22 2019-12-03 杭州电子科技大学 基于深度学习的边框回归的端到端弱监督目标检测方法
CN111275206A (zh) * 2020-01-19 2020-06-12 同济大学 一种基于启发式采样的集成学习方法
CN111783788B (zh) * 2020-06-24 2022-11-08 东南大学 一种面向标记噪声的多标记分类方法
CN111988845B (zh) * 2020-09-03 2022-02-22 兰州交通大学 边缘计算架构下的差分私有多源无线信号指纹融合室内定位方法
CN112488209B (zh) * 2020-11-25 2024-02-20 南京大学 一种基于半监督学习的增量式图片分类方法
CN112561080B (zh) * 2020-12-18 2023-03-03 Oppo（重庆）智能科技有限公司 样本筛选方法、样本筛选装置及终端设备
CN112651467B (zh) * 2021-01-18 2024-05-07 第四范式（北京）技术有限公司 卷积神经网络的训练方法和系统以及预测方法和系统

Also Published As

Publication number Publication date
CN113283467A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN113283467B (zh) 一种基于平均损失和逐类选择的弱监督图片分类方法
CN111008337B (zh) 一种基于三元特征的深度注意力谣言鉴别方法及装置
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN110263934B (zh) 一种人工智能数据标注方法和装置
CN110851176B (zh) 一种自动构造并利用伪克隆语料的克隆代码检测方法
CN111343147B (zh) 一种基于深度学习的网络攻击检测装置及方法
CN108764312B (zh) 基于ds优化多指标大坝缺陷图像检测方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
KR102362872B1 (ko) 인공지능 학습을 위한 클린 라벨 데이터 정제 방법
CN111861909A (zh) 一种网络细粒度图像去噪分类方法
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN114254146A (zh) 图像数据的分类方法、装置和系统
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN113076920B (zh) 一种基于非对称域对抗自适应模型的智能故障诊断方法
CN110796260A (zh) 一种基于类扩张学习的神经网络模型优化方法
CN109829887B (zh) 一种基于深度神经网络的图像质量评估方法
JP2021165909A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
Jeong et al. Constructing an Audio Dataset of Construction Equipment from Online Sources for Audio-Based Recognition
CN113724233B (zh) 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法
CN112784774B (zh) 一种基于数据增强的小样本高光谱分类方法
CN110427973B (zh) 一种面向歧义标注样本的分类方法
CN114254199A (zh) 基于二分图投影和node2vec的课程推荐方法
CN115393388A (zh) 一种基于位置不确定性估计的单目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant