CN115588124A - 一种基于软标签交叉熵追踪的细粒度分类去噪训练方法 - Google Patents

一种基于软标签交叉熵追踪的细粒度分类去噪训练方法 Download PDF

Info

Publication number
CN115588124A
CN115588124A CN202211592566.9A CN202211592566A CN115588124A CN 115588124 A CN115588124 A CN 115588124A CN 202211592566 A CN202211592566 A CN 202211592566A CN 115588124 A CN115588124 A CN 115588124A
Authority
CN
China
Prior art keywords
training
samples
noise
cross entropy
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211592566.9A
Other languages
English (en)
Other versions
CN115588124B (zh
Inventor
刘华峰
黄丹
孙泽人
姚亚洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211592566.9A priority Critical patent/CN115588124B/zh
Publication of CN115588124A publication Critical patent/CN115588124A/zh
Application granted granted Critical
Publication of CN115588124B publication Critical patent/CN115588124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一个简单且有效的样本选择策略，使用基于软标签交叉熵追踪的噪声去除方法，使细粒度图像分类神经网络训练过程可以使用含噪的互联网图像数据集提高细粒度分类性能同时减少噪声的影响。本发明的核心思想是设法排除互联网数据集中的无关噪声并利用困难样本促进模型精度的提高。具体来说，本发明首先利用软标签交叉熵来筛选出数据集中的无关噪声并在训练阶段从含噪互联网数据集排除，然后利用归一化和标签平滑策略挖掘困难样本同时避免出现过拟合。通过一系列的实验证明，本发明方法领先于当前的性能最优细粒度图像分类算法。同时，本发明还是一个互联网图像数据集监督学习方法，可以避免较大标注成本并扩充训练集的多样性。

Description

一种基于软标签交叉熵追踪的细粒度分类去噪训练方法
技术领域
本发明涉及细粒度图像分类识别的技术领域，具体涉及一种基于软标签交叉熵追踪的细粒度分类去噪训练方法。
背景技术
基于深度学习的细粒度图像分类任务需要用大规模的数据来训练和测试模型性能，而网络爬虫获取的网络图像数据集由于略过人工检查和复核，数据集无可避免地含有大量噪声。
为了抑制数据集中的各种噪声导致的负面影响，近年来不少研究都在探索如何识别和处理数据中的噪声样本。
去噪训练方法的核心观点就是将何时更新与如何更新这两个问题分开来处理。分别训练两个模型分支，每个分支独立给出某个样本的预测结果，而预测结果不一样的数据会被选中作为更新各个分支网络参数的样本。这一研究可以为基于互联网监督的细粒度图像分类方法提供合理的噪声样本处理策略，并被后续大量方法采用。虽然当前噪声识别和处理方法研究取得了一些成效但并不完善，模型的主要性能损失还是来自对抗噪声这一环节。
发明内容
本发明提出了一种基于软标签交叉熵追踪的细粒度分类去噪方法。该方法的主要是通过追踪神经网络输出的软标签分布变化区分噪声样本。主流噪声样本判定方法是在训练过程中动态地提高噪声丢弃率，而通过软标签交叉熵能够更好地识别噪声样本。软标签交叉熵追踪策略在训练的早期倾向于保留更多的实例并在噪声样本被“记住”之前不断地排除噪声样本，防止噪声样本最终被拟合进模型。
为解决上述技术问题，本发明提供了一种基于软标签交叉熵追踪的细粒度分类去噪方法，包括如下步骤：
步骤（A）:归一化，从互联网获取图像样本，并针对每个输入的图像样本x i ，获得其在第t−1和t−2轮训练输出的软标签，分别记为p(x i ) t-1 和p(x i ) t-2 ；
步骤（B）：软标签交叉熵去噪，通过步骤（A）中标记的p(x i ) t-1 和p(x i ) t-2 ，计算在第t轮训练时，p(x i ) t-2 与p(x i ) t-1 之间的交叉熵C(x i ) t ；
步骤（C）：困难样本利用，将步骤（B）中计算所得的交叉熵C(x i ) t 在第t轮训练将图像样本集分成有效样本子集和无关噪声样本子集；
步骤（D）：交叉熵C(x i ) t 一部分的样本在本轮训练中被识别成为无关噪声样本，并被丢弃；
步骤（E）：而交叉熵C(x i ) t 另一部分的样本在本轮训练中则被识别成为有效样本，并用于更新网络模型p；其中，被识别成为有效样本的标签将会经过标签平滑处理，其图像标签权重是ω。
优选，从互联网获取的图像样本为鸟类图像样本。
优选，在步骤（A）中，对特征和权重上使用了归一化，
随AMSoftmax的设定，特征f和权重W在无偏softmax损失中归一化
Figure 252087DEST_PATH_IMAGE001
，无偏归一化损失公式：
Figure 700386DEST_PATH_IMAGE002
其中，
Figure 745702DEST_PATH_IMAGE003
表示第i个样本，对应的标签表示为
Figure 672070DEST_PATH_IMAGE004
，
Figure 1289DEST_PATH_IMAGE005
是最后一个全连接层的输入特征图，W j 是最后一个全连接层的第j列，M表示分类的类别个数，从而获得未归一化的特征距离度量：
Figure 89331DEST_PATH_IMAGE006
其中，
Figure 887522DEST_PATH_IMAGE007
是
Figure 352002DEST_PATH_IMAGE008
与
Figure 286460DEST_PATH_IMAGE009
之间的夹角，用来度量两者之间的差异，在完成归一化操作之后，即
Figure 810982DEST_PATH_IMAGE010
且
Figure 581623DEST_PATH_IMAGE011
时，网络模型的输出就是
Figure 584214DEST_PATH_IMAGE012
与
Figure 638758DEST_PATH_IMAGE009
之间的余弦距离
Figure 334181DEST_PATH_IMAGE013
；
引入超参数s作为余弦距离的缩放参数，归一化后的损失函数表最后示为：
Figure 106965DEST_PATH_IMAGE014
。
优选，将图像样本x i 与对应标签yi组成一对训练数据(x i , yi)，定义D = {(x i ,yi)|1 ≤ i ≤ N} 是含有开集噪声的互联网图像数据集，并定义神经网络h = (h 1 , h 2 , .. . , h M ) 是被训练以区分M类别的分类模型；在第 t 轮训练中，利用神经网络输出的logits 向量h(x i )为数据集D的各个实例x i 生成 Softmax 概率向量，记为p(x i ) t = [ p 1 (x i ) t , p 2 (x i ) t , . . . , p M (x i ) t ]，xi∈D，生成公式如式：
Figure 647668DEST_PATH_IMAGE015
当训练循环计数t > 2 时，对于每个输入的样本x i ，计算其预测时的 Softmax 概率向量p(x i ) t-2 与p(x i ) t-1 之间的交叉熵C(x i ) t ，即软标签交叉熵，计算方法如公
式：
Figure 805986DEST_PATH_IMAGE016
。
优选，步骤（D）具体包括：定义本轮训练有效样本表示为x，且由其组成的有效样本子数据集为
Figure 672310DEST_PATH_IMAGE017
，本轮训练识别出的无关噪声样本为
Figure 666811DEST_PATH_IMAGE018
，且属于无关噪声子数据集
Figure 11205DEST_PATH_IMAGE019
，那么描述为公式：
Figure 40341DEST_PATH_IMAGE020
。
优选，当第t轮训练完成后，对样本的交叉熵进行排序，将一部分交叉熵C(x i ) t 的样本组成有效样本子数据集
Figure 77567DEST_PATH_IMAGE021
更新网络模型，而另一部分交叉熵C(x) t 的样本归为无关噪声样本子集
Figure 310096DEST_PATH_IMAGE022
。
优选，在处理无关噪声样本时，从整个训练集中选取一部分交叉熵C(x i ) t 组成有效的训练样本子集
Figure 458181DEST_PATH_IMAGE023
，同时另一部分交叉熵C(x) t 的样本被当作无关噪声样本滤除，有效的训练样本的数量由丢弃率控制，在训练过程中逐渐达到最大值，如公式所示：
Figure 76244DEST_PATH_IMAGE024
；
其中，r(t) 为第t轮训练时的噪声样本丢弃率，参数τ为噪声样本丢弃率的上限，t k 用来控制噪声样本丢弃率达到 τ 的过程；在训练过程中的t ≤ t k 时，通过以下公式约束，使得神经网络获得本轮训练集合
Figure 549951DEST_PATH_IMAGE025
：
Figure 253465DEST_PATH_IMAGE026
。
优选，在步骤（E）中，具体步骤为：为样本的真实标签赋一个权值ω，同时为样本标签外的其他类别赋予权值 (1 − ω)/(M − 1)，达到标签平滑的目的，其中ω是一个手工调节的超参数，平滑后的损失值：
Figure 939661DEST_PATH_IMAGE027
其中，M是数据集的类别数量，j表示除了
Figure 192656DEST_PATH_IMAGE028
以外的其他类别，参数ω的取值范围是ω∈ (0, 1)，其作用是控制预测值的置信度；
在经过标签平滑后，最终的损失函数：
Figure 571685DEST_PATH_IMAGE029
。
本发明的有益效果：
1.大多数现存的去噪方法直接利用了样本预测过程的损失值界定对应样本是否是噪声，而基于软标签交叉熵追踪的细粒度分类去噪方法利用相邻两轮训练计算出的Softmax概率分布向量的交叉熵来挖掘潜在噪声样本，即“软标签交叉熵”。软标签交叉熵能够有效地利用软标签中编码的分类信息，并度量网络输出预测的改变程度。噪声样本可以使用软标签交叉熵追踪机制识别和排除，使模型在训练过程能够自动地过滤无关样本的干扰从而优化训练结果。
2.按照固定噪声丢弃率处理噪声后，会出现含噪较少的批次中干净样本被意外丢弃，同时含噪较多的批次保留了噪声，最终导致训练结果达不到预想的结果。针对逐批次选择样本受困于互联网图像数据集中常见的噪声比例不平衡的问题，本发明提出了基于软标签交叉熵的全局样本选择方法，全局样本选择的主要工作原理就是避免在批次内过滤噪声样本，在训练过程中，决策哪些样本是噪声样本哪些样本是干净样本放在一个训练轮次结束后实现，这样可以更好地识别和滤除噪声数据。最后，本发明还利用归一化和标签平滑等技巧提升了细粒度图像分类效果。
3.本发明提出了一个简单且有效的样本选择策略，使用基于软标签交叉熵追踪的噪声去除方法，使细粒度图像分类神经网络训练过程可以使用含噪的互联网图像数据集提高细粒度分类性能同时减少噪声的影响。本发明的核心思想是设法排除互联网数据集中的无关噪声并利用困难样本促进模型精度的提高。具体来说，本发明首先利用软标签交叉熵来筛选出数据集中的无关噪声并在训练阶段从含噪互联网数据集排除，然后利用归一化和标签平滑策略挖掘困难样本同时避免出现过拟合。通过一系列的实验证明，本发明方法领先于当前的性能最优细粒度图像分类算法。同时，本发明还是一个互联网图像数据集监督学习方法，可以避免较大标注成本并扩充训练集的多样性。
4.该发明使细粒度图像分类神经网络训练过程可以使用含噪的互联网图像数据集提高细粒度分类性能的同时减少噪声影响。通过一系列的实验证明，本发明的方法领先于当前的性能最优细粒度图像分类算法，具体（技术效果）表现为以下几个方面：
（1）使用软标签交叉熵追踪分布外噪声样本，以提高去噪性能；
（2）用“全局采样”代替“逐批次采样”，以克服噪声样本分布不平衡问题；
（3）同时利用归一化和标签平滑等技巧使目标模型能够有效地利用困难样本提升学习效果，提升了细粒度图像分类效果。
附图说明
图1是本发明提供的基于软标签交叉熵追踪的细粒度分类去噪训练框架图；
图2是本发明提供的各类图像细粒度分类模型的性能对比图；
图3是本发明提供的软标签交叉熵和普通交叉熵无关噪声样本的对比图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明提供了一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，包括如下步骤：
步骤（A）：归一化，从互联网获取图像样本，并针对每个输入的图像样本x i ，获得其在第t−1和t−2轮训练输出的软标签，分别记为p(x i ) t-1 和p(x i ) t-2 ；
步骤（B）：软标签交叉熵去噪，通过步骤（A）中标记的p(x i ) t-1 和p(x i ) t-2 ，计算在第t轮训练时，p(x i ) t-2 与p(x i ) t-1 之间的交叉熵C(x i ) t ；
步骤（C）：困难样本利用，将步骤（B）中计算所得的交叉熵C(x i ) t 在第t轮训练将图像样本集分成有效样本子集和无关噪声样本子集；
步骤（D）：交叉熵C(x i ) t 一部分的样本（即较大的样本）在本轮训练中被识别成为无关噪声样本，并被丢弃；
步骤（E）：而交叉熵C(x i ) t 另一部分的样本（即较小的样本）在本轮训练中则被识别成为有效样本，并用于更新网络模型p；其中，被识别成为有效样本的标签将会经过标签平滑处理，其图像标签权重是ω。
在本发明中，特征向量归一化经常出现在需要计算特征距离的场景中，而在神经网络中最后一层一般是将输出的神经网络激活体投影成为一个向量并通过 Softmax 层进行归一化。 Softmax 层将特征向量的所有维度值都归纳到 (0, 1) 之间，同时通过指数函数扩大特定区段的分布差异性。名为 AM-Softmax 的方法通过引入 Additive AngularMargin 提高类间可分性同时加强类内紧度，进一步提高了归一化的效果。AMSoftmax继承但是不同于 Softmax，其属于度量学习领域。AMSoftmax可以使得类内的特征分布更加凝聚而类间分布更加分散。在步骤（A）中，本发明的算法在特征和权重上使用了归一化，
随上述AMSoftmax的设定，特征f和权重W在无偏softmax损失中归一化
Figure 762495DEST_PATH_IMAGE030
，无偏归一化损失公式：
Figure 517962DEST_PATH_IMAGE031
其中，
Figure 845038DEST_PATH_IMAGE032
表示第i个样本，对应的标签表示为
Figure 394968DEST_PATH_IMAGE033
，
Figure 823806DEST_PATH_IMAGE034
是最后一个全连接层的输入特征图，W j 是最后一个全连接层的第j列，M表示分类的类别个数，从而获得未归一化的特征距离度量：
Figure 382963DEST_PATH_IMAGE035
其中，
Figure 830125DEST_PATH_IMAGE036
是
Figure 550957DEST_PATH_IMAGE037
与
Figure 716359DEST_PATH_IMAGE038
之间的夹角，用来度量两者之间的差异，在完成归一化操作之后，即
Figure 548048DEST_PATH_IMAGE039
且
Figure 630143DEST_PATH_IMAGE040
时，网络模型的输出就是
Figure 256296DEST_PATH_IMAGE041
与
Figure 908994DEST_PATH_IMAGE042
之间的余弦距离
Figure 809954DEST_PATH_IMAGE043
；
引入超参数s作为余弦距离的缩放参数，归一化后的损失函数表最后示为：
Figure 966129DEST_PATH_IMAGE044
。
具体的，在步骤（C）中，将图像样本x i 与对应标签yi组成一对训练数据(x i , yi)，定义D = {(x i , yi)|1 ≤ i ≤ N} 是含有开集噪声的互联网图像数据集，并定义神经网络h = (h 1 , h 2 , . . . , h M ) 是被训练以区分M类别的分类模型；在第 t 轮训练中，利用神经网络输出的 logits 向量h(x i )为数据集D的各个实例x i 生成 Softmax 概率向量，记为p(x i ) t = [ p 1 (x i ) t , p 2 (x i ) t , . . . , p M (x i ) t ]，xi∈D，生成公式如式：
Figure 45075DEST_PATH_IMAGE045
当训练循环计数t> 2 时，对于每个输入的样本x i ，计算其预测时的 Softmax 概率向量p(x i ) t-2 与p(x i ) t-1 之间的交叉熵C(x i ) t ，即软标签交叉熵，计算方法如公式：
Figure 919490DEST_PATH_IMAGE046
。
基于上文对无关噪声的性质的分析，概率向量的交叉熵C(x i ) t 揭示在第t轮训练时预测结果的稳定性：无关噪声样本在预测时相比干净样本的变化更大，即C(x i ) t 的值会偏大。
步骤（D）具体包括：定义本轮训练有效样本表示为x，且由其组成的有效样本子数据集为
Figure 358562DEST_PATH_IMAGE047
，本轮训练识别出的无关噪声样本为
Figure 900401DEST_PATH_IMAGE048
，且属于无关噪声子数据集
Figure 133937DEST_PATH_IMAGE049
，那么描述为公式：
Figure 495648DEST_PATH_IMAGE050
。
当第t轮训练完成后，对样本的交叉熵进行排序，将一部分交叉熵C(x i ) t （即C(x i ) t 值较低的样本）的样本组成有效样本子数据集
Figure 11115DEST_PATH_IMAGE051
更新网络模型，而另一部分交叉熵C(x) t （即C(x i ) t 值较高的样本）的样本归为无关噪声样本子集
Figure 141882DEST_PATH_IMAGE052
。常见的方法往往通过交叉熵本身估计样本是否为噪声，但本发明提出的方法主要利用网络输出的 Softmax 概率向量（即软标签）的交叉熵识别噪声样本。这种方法用于区分噪声样本和有效样本且较常规方法更有效。
在本发明中，处理噪声样本的识别问题时需要假定噪声占比以确定滤除多少噪声，即确定在整个训练集中丢弃噪声样本的“丢弃率”（Drop Rate）。显然，在训练过程中采用固定丢弃率是不合适的，训练初期丢弃率设置偏大不利于鉴别噪声样本；在处理无关噪声样本时，需要确定在整个训练集中丢弃无关噪声样本的“丢弃率”（Drop Rate），本申请提出的噪声滤除方法是从整个训练集中选取一部分交叉熵C(x i ) t （即C(x i ) t 值较低的样本）的样本组成有效的训练样本子集
Figure 546319DEST_PATH_IMAGE053
，同时另一部分交叉熵C(x) t （即C(x i ) t 值较高的样本）的样本被当作无关噪声样本滤除，有效的训练样本的数量由丢弃率控制，在训练过程中逐渐达到最大值，如公式所示：
Figure 660905DEST_PATH_IMAGE054
；
其中，r(t) 为第t轮训练时的噪声样本丢弃率（即假定噪声样本的比率），参数τ为噪声样本丢弃率的上限，t k 用来控制噪声样本丢弃率达到 τ 的过程；通过公式能够获得随着训练轮数的增加噪声样本丢弃比率达到极大值的过程。在训练过程中的t ≤ t k 时，r(t)在到达极大噪声样本丢弃比率前平稳增地长。通过以下公式约束，使得神经网络获得本轮训练集合
Figure 176200DEST_PATH_IMAGE055
：
Figure 427053DEST_PATH_IMAGE056
。
由公式可知，本申请提出的方法在每个训练周期t通过从含有开集噪声的互联网图像数据集D中选择 (1 − r(t)) × 100%个C(x) t 较小的样本构成新的有效的训练样本子集
Figure 18703DEST_PATH_IMAGE057
，其中
Figure 355006DEST_PATH_IMAGE053
才是实际用来更新神经网络h参数的子数据集。
本发明提出的方法在早期训练过程 (t ≤t k ) 中使用了一个线性增长的丢弃率r(t)，以达到在训练早期尽可能地保留多的实例而在噪声被记忆效应“记住”之前增加噪声样本的排除力度。
在本发明步骤（E）中，被识别成为有效样本的标签利用标签平滑算法处理困难样本与噪声样本易被混淆的矛盾，其主要原理是通过在训练时降低模型的确定性来抑制模型过拟合。神经网络存在一些固有的缺点，即神经网络在训练过程中会对预测变得越来越自信，因为指导训练过程的是一个硬目标（hard target）。在现有技术的研究中发现标签平滑可以强制对分类进行更紧密的分组同时强制在类别中心之间保持更均匀的间隔，标签平滑为最终的激活产生了更紧密的聚类和更大的类别分离。这种能力可以帮助在训练细粒度分类神经网络的同时加强困难样本的训练。
具体步骤为：为样本的真实标签赋一个权值ω，同时为样本标签外的其他类别赋予权值 (1 − ω)/(M − 1)，达到标签平滑的目的，其中ω是一个手工调节的超参数，平滑后的损失值：
Figure 673992DEST_PATH_IMAGE058
其中，M是数据集的类别数量，j表示除了
Figure 44930DEST_PATH_IMAGE059
以外的其他类别，参数ω的取值范围是ω∈ (0, 1)，其作用是控制预测值的置信度；当ω的取值偏大的时候，神经网络模型的泛化能力能够得到一定的强化，而当ω的取值偏低的时候，可能会导致网络模型欠拟合。通过实验，我们可以观察到合理设置ω的取值可以明显地提高网络模型最终性能。
在经过标签平滑后，最终的损失函数：
Figure 791170DEST_PATH_IMAGE060
。
本发明提出了一个简单且有效的样本选择策略，使用基于软标签交叉熵追踪的噪声去除方法，使细粒度图像分类神经网络训练过程可以使用含噪的互联网图像数据集提高细粒度分类性能同时减少噪声的影响。本发明的核心思想是设法排除互联网数据集中的无关噪声并利用困难样本促进模型精度的提高。具体来说，本发明首先利用软标签交叉熵来筛选出数据集中的无关噪声并在训练阶段从含噪互联网数据集排除，然后利用归一化和标签平滑策略挖掘困难样本同时避免出现过拟合。通过一系列的实验证明，本发明方法领先于当前的性能最优细粒度图像分类算法。同时，本发明还是一个互联网图像数据集监督学习方法，可以避免较大标注成本并扩充训练集的多样性。
为了更好的阐述本发明的使用效果，下面介绍本发明的一具体实施例。本发明使用 CUB200-2011、FGVC-aircraft 和 Cars-196等三个经过精细标注的常用细粒度图像分类性能基线数据集作为对比实验的测试数据集。上述三个数据集中的每个样本都提供了一个矩形边界框标注的目标及其子类别标签。
实验采用的性能度量标准与本领域研究保持一致为平均分类精度（AverageClassification Accuracy，ACA），ACA 被广泛用于评价细粒度图像分类的性能。在实现细节方面，实验直接利用了公开数据集作为训练集，该数据集由互联网上爬取的图片组成。实验同时利用了 CUB200-2011、FGVC-aircraft和 Cars-196作为测试集的数据来源。需要说明的是，实验中主要使用 VGG-16 和 ResNet-18 两种网络模型作为骨干网络。在参数设置方面，选定的最大噪声样本丢弃率 τ 从集合 {0.15, 0.20, 0.25, 0.30} 里产生，训练轮数 tk从集合 {5, 10, 15, 20} 里产生，标签权重 ω 的取值范围是 [0.10, 0.90]。
为了分析本发明提出方法的实际性能特性，后续实验中对比了当前多个重要方法。实验中具体采用的对比方法按照设计思路的不同归纳列举如下：（1）基于强监督的细粒度图像分类方法；（2）基于弱监督的细粒度图像分类方法；（3）基于半监督的细粒度图像分类方法（4）基于互联网图像监督类的细粒度图像分类方法。本发明所有实验利用了一张NVIDIA Tesla V100 系列的计算加速卡作为加速设备，实验环境是 Pytorch 深度学习框架。
图2列举了各类图像细粒度分类模型的性能对比情况。图2所示的数据可以观察到本发明提出的方法 (软标签交叉熵)较其他网络监督的方法获得了明显的进步。
本发明还对比了采用软标签交叉熵（Probability Cross-Entropy）和普通交叉熵（Cross-Entropy）在含噪鸟类细粒度分类数据集上识别噪声样本的区别。首先，每轮训练产生的神经网络模型被保存，然后这些模型被用于识别干净样本、闭集噪声图像和开集无关噪声图像。为此，实验前需创建一个小型数据集，小数据集中包含 10 个干净样本、10 个闭集噪声样本和 10 个开集无关噪声样本，共计 30 个样本。实验记录了它们的软标签交叉熵和普通交叉熵，结果见图3。其中，虚线显示的是各类样本的具体样本交叉熵结果，实线为各类样本的交叉熵平均值。
观察图3(b) 可以发现无关噪声样本的软标签交叉熵值相比闭集噪声样本和干净样本的明显偏大。相比于干净样本，闭集噪声样本和无关噪声样本的软标签交叉熵都偏大。同时对比图3(a) 和图3(b) 可以发现，仅仅使用普通交叉熵是很难区分闭集噪声样本和无关噪声样本的，滤除无关噪声样本必须使用软标签交叉熵辅助才具有可行性。图2中对比了分别利用软标签交叉熵（Probability CE）和普通交叉熵（Cross-Entropy）识别噪声得到的ACA 性能指标，其中采用软标签交叉熵的噪声识别的方法在三个数据集中都微弱领先。原因在于一些困难样本在训练过程中反映出了与无关噪声相似的大交叉熵特性，这些困难样本被错误地识别为了噪声。
通过与其他网络图像监督的基线性能模型对比发现，本发明提出的算法能够比其他方法更快达到性能的峰值，由此可以验证本发明的样本选择算法的有效性和样本选择能力较基准模型要更强。通过在鸟类数据集上开展使用普通交叉熵和软标签交叉熵的实验，证明了本发明提出的软标签交叉熵在区分分布外噪声上较普通交叉熵有明显的优势。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例测试方法或流程所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特诊在于；包括如下步骤：
步骤（A）：归一化，从互联网获取图像样本，并针对每个输入的图像样本x i ，获得其在第t −1和t −2轮训练输出的软标签，分别记为p(x i ) t-1 和p(x i ) t-2 ；
步骤（B）：软标签交叉熵去噪，通过步骤（A）中标记的p(x i ) t-1 和p(x i ) t-2 ，计算在第t轮训练时，p(x i ) t-2 与p(x i ) t-1 之间的交叉熵C(x i ) t ；
步骤（C）：困难样本利用，将步骤（B）中计算所得的交叉熵C(x i ) t 在第t轮训练将图像样本集分成有效样本子集和无关噪声样本子集；
步骤（D）：交叉熵C(x i ) t 一部分的样本在本轮训练中被识别成为无关噪声样本，并被丢弃；
步骤（E）：而交叉熵C(x i ) t 另一部分的样本在本轮训练中则被识别成为有效样本，并用于更新网络模型p；其中，被识别成为有效样本的标签将会经过标签平滑处理，其图像标签权重是ω。
2.如权利要求1所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，从互联网获取的图像样本为鸟类图像样本。
3.如权利要求1所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，在步骤（A）中，对特征和权重上使用了归一化，
随AMSoftmax的设定，特征f和权重W在无偏softmax损失中归一化
Figure 586224DEST_PATH_IMAGE001
，无偏归一化损失公式：
Figure 768943DEST_PATH_IMAGE002
其中，
Figure 79839DEST_PATH_IMAGE003
表示第i个样本，对应的标签表示为
Figure 989895DEST_PATH_IMAGE004
，
Figure 335426DEST_PATH_IMAGE005
是最后一个全连接层的输入特征图，W j 是最后一个全连接层的第j列，M表示分类的类别个数，从而获得未归一化的特征距离度量：
Figure 689047DEST_PATH_IMAGE006
其中，
Figure 221659DEST_PATH_IMAGE007
是
Figure 951718DEST_PATH_IMAGE008
与
Figure 636908DEST_PATH_IMAGE009
之间的夹角，用来度量两者之间的差异，在完成归一化操作之后，即
Figure 161430DEST_PATH_IMAGE010
= 1 且
Figure 181339DEST_PATH_IMAGE011
= 1 时，网络模型的输出就是
Figure 449509DEST_PATH_IMAGE012
与
Figure 238474DEST_PATH_IMAGE013
之间的余弦距离
Figure 933897DEST_PATH_IMAGE014
；
引入超参数s作为余弦距离的缩放参数，归一化后的损失函数表最后表示为：
Figure 955949DEST_PATH_IMAGE015
。
4.如权利要求1所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，在步骤（C）中，将图像样本x i 与对应标签yi组成一对训练数据 (x i , yi)，定义D ={(x i , yi)|1 ≤ i ≤ N} 是含有开集噪声的互联网图像数据集，并定义神经网络h =(h 1 , h 2 , . . . , h M ) 是被训练以区分M类别的分类模型；在第 t 轮训练中，利用神经网络输出的 logits 向量h(x i )为数据集D的各个实例x i 生成 Softmax 概率向量，记为p(x i ) t = [ p 1 (x i ) t , p 2 (x i ) t , . . . , p M (x i ) t ]，xi∈D，生成公式如式：
Figure 496652DEST_PATH_IMAGE016
当训练循环计数t > 2 时，对于每个输入的样本x i ，计算其预测时的 Softmax 概率向量p(x i ) t-2 与p(x i ) t-1 之间的交叉熵C(x i ) t ，即软标签交叉熵，计算方法如公式：
Figure 671281DEST_PATH_IMAGE017
。
5.如权利要求4所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，步骤（D）具体包括：定义本轮训练有效样本表示为x，且由其组成的有效样本子数据集为
Figure 272027DEST_PATH_IMAGE018
，本轮训练识别出的无关噪声样本为
Figure 266527DEST_PATH_IMAGE019
，且属于无关噪声子数据集
Figure 627233DEST_PATH_IMAGE020
，那么描述为公式：
Figure 390789DEST_PATH_IMAGE021
。
6.如权利要求5所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，当第t轮训练完成后，对样本的交叉熵进行排序，将一部分交叉熵C(x) t 的样本组成有效样本子数据集
Figure 693595DEST_PATH_IMAGE022
更新网络模型，而另一部分交叉熵C(x) t 的样本归为无关噪声样本子集
Figure 909813DEST_PATH_IMAGE023
。
7.如权利要求6所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，在处理无关噪声样本时，从整个训练集中选取一部分交叉熵C(x) t 的样本组成有效训练样本子集
Figure 57897DEST_PATH_IMAGE024
，同时另一部分交叉熵C(x) t 的样本被当作无关噪声样本滤除，有效的训练样本的数量由丢弃率控制，在训练过程中逐渐达到最大值，如公式所示：
Figure 941539DEST_PATH_IMAGE025
；
其中，r(t) 为第t轮训练时的噪声样本丢弃率，参数τ为噪声样本丢弃率的上限，t k 用来控制噪声样本丢弃率达到 τ 的过程；在训练过程中的t ≤ t k 时，通过以下公式约束，使得神经网络获得本轮训练集合
Figure 398934DEST_PATH_IMAGE026
：
Figure 102448DEST_PATH_IMAGE027
。
8.如权利要求1所述的一种基于软标签交叉熵追踪的细粒度分类去噪训练方法，其特征在于，在步骤（E）中，具体步骤为：为样本的真实标签赋一个权值ω，同时为样本标签外的其他类别赋予权值 (1 − ω)/(M − 1)，达到标签平滑的目的，其中ω是一个手工调节的超参数，平滑后的损失值：
Figure 54224DEST_PATH_IMAGE028
其中，M是数据集的类别数量，j表示除了
Figure 792373DEST_PATH_IMAGE029
以外的其他类别，参数ω的取值范围是ω∈(0, 1)，其作用是控制预测值的置信度；
在经过标签平滑后，最终的损失函数：
Figure 436981DEST_PATH_IMAGE030
。
CN202211592566.9A 2022-12-13 2022-12-13 一种基于软标签交叉熵追踪的细粒度分类去噪训练方法 Active CN115588124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211592566.9A CN115588124B (zh) 2022-12-13 2022-12-13 一种基于软标签交叉熵追踪的细粒度分类去噪训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211592566.9A CN115588124B (zh) 2022-12-13 2022-12-13 一种基于软标签交叉熵追踪的细粒度分类去噪训练方法

Publications (2)

Publication Number Publication Date
CN115588124A true CN115588124A (zh) 2023-01-10
CN115588124B CN115588124B (zh) 2023-05-23

Family

ID=84783607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211592566.9A Active CN115588124B (zh) 2022-12-13 2022-12-13 一种基于软标签交叉熵追踪的细粒度分类去噪训练方法

Country Status (1)

Country Link
CN (1) CN115588124B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097319A (zh) * 2024-04-29 2024-05-28 南京航空航天大学 在线流数据中带有未见类和噪声标签的图像分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861909A (zh) * 2020-06-29 2020-10-30 南京理工大学 一种网络细粒度图像去噪分类方法
US20210056684A1 (en) * 2019-08-21 2021-02-25 Ping An Technology (Shenzhen) Co., Ltd. Medical image classification method and related device
CN113688949A (zh) * 2021-10-25 2021-11-23 南京码极客科技有限公司 一种基于双网络联合标签修正的网络图像数据集去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210056684A1 (en) * 2019-08-21 2021-02-25 Ping An Technology (Shenzhen) Co., Ltd. Medical image classification method and related device
CN111861909A (zh) * 2020-06-29 2020-10-30 南京理工大学 一种网络细粒度图像去噪分类方法
CN113688949A (zh) * 2021-10-25 2021-11-23 南京码极客科技有限公司 一种基于双网络联合标签修正的网络图像数据集去噪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097319A (zh) * 2024-04-29 2024-05-28 南京航空航天大学 在线流数据中带有未见类和噪声标签的图像分类方法

Also Published As

Publication number Publication date
CN115588124B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN109345508B (zh) 一种基于两阶段神经网络的骨龄评价方法
CN113221905B (zh) 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质
CN109215034B (zh) 一种基于空间金字塔掩盖池化的弱监督图像语义分割方法
CN111860236B (zh) 一种基于迁移学习的小样本遥感目标检测方法及系统
CN110555870B (zh) 基于神经网络的dcf跟踪置信度评价与分类器更新方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN105354791A (zh) 一种改进的自适应混合高斯前景检测方法
CN112085765B (zh) 结合粒子滤波及度量学习的视频目标跟踪方法
CN111783841A (zh) 基于迁移学习和模型融合的垃圾分类方法、系统及介质
CN110929848A (zh) 基于多挑战感知学习模型的训练、跟踪方法
CN100531405C (zh) 体育视频目标跟踪方法
CN103593672A (zh) Adaboost分类器在线学习方法及系统
CN115641613A (zh) 一种基于聚类和多尺度学习的无监督跨域行人重识别方法
CN114417913B (zh) 基于pc-tcn和迁移学习的轴承寿命预测方法
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
CN114882534B (zh) 基于反事实注意力学习的行人再识别方法、系统、介质
CN115588124A (zh) 一种基于软标签交叉熵追踪的细粒度分类去噪训练方法
CN111462173B (zh) 基于孪生网络判别特征学习的视觉跟踪方法
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN109448024B (zh) 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN110675382A (zh) 基于CNN-LapsELM的铝电解过热度识别方法
CN116977834A (zh) 一种开放条件下分布内外图像识别方法
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN115374931A (zh) 一种基于元对抗训练的深度神经网络鲁棒性增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant