CN114170461A - 基于特征空间重整化的师生架构含噪声标签图像分类方法 - Google Patents
基于特征空间重整化的师生架构含噪声标签图像分类方法 Download PDFInfo
- Publication number
- CN114170461A CN114170461A CN202111461105.3A CN202111461105A CN114170461A CN 114170461 A CN114170461 A CN 114170461A CN 202111461105 A CN202111461105 A CN 202111461105A CN 114170461 A CN114170461 A CN 114170461A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- loss
- noise
- student
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008521 reorganization Effects 0.000 title claims abstract description 9
- 238000002407 reforming Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 36
- 239000000203 mixture Substances 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 15
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 abstract 2
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 15
- 238000003909 pattern recognition Methods 0.000 description 13
- 230000003416 augmentation Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010367 cloning Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
基于特征空间重整化的师生架构含噪声标签图像分类方法，属于噪声标签学习及图像分类领域。深度学习的成功主要取决于大规模标记数据集。由于大多数数据集都是人工标注的，很难保证标注的准确性。因此，在现实世界的数据集中，噪声标签是不可避免的。由于深度神经网络强大的学习能力，很容易过度拟合噪声标签，导致模型性能下降。为了解决这个问题，我们提出了一种基于特征空间重整化的师生结构，用于噪声标签的学习。我们训练了一个教师模型来为学生模型修正噪声标签。应用特征空间重整化机制指导学生模型进行自学习，使其学习到更多有意义的信息。我们在三个基准数据集上评估了我们的方法。实验结果验证了我们提出架构的有效性。
Description
技术领域
本发明属于噪声标签学习及图像分类领域，具体涉及一种基于特征空间重整化的师生架构含噪声标签图像分类方法。
背景技术
深度学习在计算机视觉的许多领域都取得了显著的成就，但其成功在很大程度上归功于巨大的标记数据集，例如ImageNet。然而，收集如此大的标记数据集通常需要花费大量的时间和精力。如今，大多数数据集都是通过人工标记，这就导致了一个问题，即随着数据量的增加，带噪标签的比率会增加。因此，无法保证数据集中标签的准确性。研究表明，深度神经网络容易过度拟合噪声标签，从而导致模型性能的弱化。因此，如何训练噪声环境下的鲁棒模型引起了研究者的极大兴趣。
目前，一种有效的噪声标签学习方法是标签校正。这种方法通常可以分为两种体系。第一类只包含一个模型。例如，在文献Patrini,Giorgio,et al."Making deep neuralnetworks robust to label noise:A loss correction approach."Proceedings of theIEEE conference on computer vision and pattern recognition.2017.中，以及在文献Goldberger,Jacob,and Ehud Ben-Reuven."Training deep neural-networks using anoise adaptation layer."(2016).中，模型估计噪声传递矩阵来校正损失函数。在文献Tanaka,Daiki,et al."Joint optimization framework for learning with noisylabels."Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018.，以及在文献Yi,Kun,and Jianxin Wu."Probabilistic end-to-endnoise correction for learning with noisy labels."Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2019.中，深度神经网络的预测直接用来校正噪声标签。研究发现，深度神经网络在拟合噪声样本之前先拟合干净样本。因此，干净样本在训练初期往往具有较低的训练损失，所以样本的损失可以用来区分干净样本和噪声样本。然而，仅使用单一模型可能会导致确认偏差，即深度神经网络很容易拟合错误选择的样本并变得过度自信。因此，学者们提出了具有多个网络的体系架构。
在文献Han,Bo,et al."Co-teaching:Robust training of deep neuralnetworks with extremely noisy labels."arXiv preprint arXiv:1804.06872(2018).中，作者提出了一种协同教学体系结构，同时训练两个网络。其中一个模型利用另一个模型选择的干净样本进行训练。在这个基础上，一些研究人员引入了半监督学习方法，用于带噪声标签的学习，并取得了巨大成功。这些方法利用模型之间的差异来避免确认偏差，但忽略了相互学习的好处。研究表明，通过使用其他模型进行学习，可以提高模型的性能。因此，在本发明中，我们提出了一种用于噪声标签学习的师生学习体系结构，其中一个模型向另一个模型学习。
该师生结构结合了监督学习和半监督学习，包含教师模型和学生模型。得益于AugDesc的有效性，我们使用半监督方法训练教师模型，然后使用教师模型的预测修正的标签来训练学生模型。此外，我们对学生模型进行特征空间重整化，指导模型的自我学习。
为了更好地进行半监督学习，我们改进了数据集的划分方法。具体来说，我们首先利用教师模型和学生模型对样本进行损失计算，并利用高斯混合模型(GMM)对损失进行分类，从而获得两个分类后的数据集。然后，我们选择两个数据集中的干净样本的并集作为最终的干净样本。
为了进一步提高学生模型的性能，我们应用特征空间重整化机制使模型进行自我学习。该机制基于群表示的特征理论，旨在减少由相同数据样本的不同数据增强生成的特征样本的协方差矩阵之间的差异。
更好的教师模型可以提供更准确的预测，这有助于学生模型的学习。同时，更好的学生模型有利于数据集的划分。因此，在我们提出的架构中，这两个模型可以互相提高性能。在不同噪声率的数据集上的实验结果验证了该方法的有效性。
发明内容
本发明制造提供基于特征空间重整化的师生架构噪声标签学习及图像分类方法，来解决现有技术中的技术问题。
本发明的技术方案：
基于特征空间重整化的师生架构噪声标签学习及图像分类方法，步骤如下：
(1)对图像数据进行数据增强，数据增强包括随机裁剪、平移和归一化；
(2)创建两个ResNet网络，使用步骤(1)数据增强后的数据以及数据集原始标签进行一定迭代次数的预训练；
(3)使用两个ResNet网络对所有样本计算训练损失；
(4)使用两个高斯混合模型对步骤(3)计算所得的两组损失进行分类，分别获得两组样本划分后的干净样本数据集和噪声样本数据集
(5)取两组样本划分后的干净样本数据集的并集作为最终干净样本，其余的划分为最终噪声样本，最终干净样本和最终噪声样本组成最终的数据集；
(6)对步骤(5)得到最终的数据集中的数据进行两种数据增强，包括弱增强：随机裁剪、平移和归一化，以及强增强：随机裁剪、平移、归一化和AutoAugment；
(7)利用步骤(6)两种数据增强后的数据集对其中一个ResNet网络进行基于AugDesc方法的半监督训练，作为教师模型；
(8)利用教师模型对弱增强数据进行预测，并结合数据集原始标签进行标签修正；
(9)利用步骤(6)强增强数据和步骤(8)修正后的标签对另一个网络进行有监督学习，作为学生模型；
(10)利用学生模型对步骤(5)得到的弱增强数据和强增强数据进行特征提取，将提取的特征进行特征空间重整化损失训练；
(11)重复(3)-(10)步骤，直到达到所设置的最大迭代次数，得到最终的图像分类模型；
(12)将需要分类的图像数据输入到步骤(11)得到的图像分类模型中，实现图像分类。
本发明的有益效果：本发明提出了一种应用于噪声标签学习的师生学习结构，并证明了其对噪声的鲁棒性。我们构建了基于半监督学习方法训练的教师模型，并利用其为学生模型提供了伪标签。同时我们设计了一种改进的数据集划分方法，帮助教师模型学习更多有意义的信息。我们还提出了特征空间重整化机制，以促进学生模型的自学习，提高学生模型的性能。实验结果表明，我们提出的方法的鲁棒性和有效性优于其他比较方法。由于特征空间重整化机制在有监督学习中已显示出其有效性，未来我们将把它应用于深度学习的其他领域。
附图说明
图1为师生架构的训练过程。在每次迭代，数据集被高斯混合模型(GMM)划分，分别来自教师模型和学生模型的样本损失。接下来，使用“或”操作选择干净的样本。最后分割的数据集用于训练教师模型。最后，对学生模型进行自身训练，并对教师模型进行预测。T：教师模型。S：学生模型。|：或操作。D：数据集的划分。
图2为学生模型的训练过程可分为两部分：监督学习和特征空间重整化。T：教师模型。S：学生模型。
具体实施方式
1、相关工作
1.1噪声标签学习
深度神经网络由于其强大的学习能力，可以很容易地适应任何噪声。在噪声数据集上训练深度神经网络，使得网络拟合噪声样本，大大降低模型的泛化能力。为了克服这个问题，一些研究人员修改了损失函数，使模型对噪声更具鲁棒性。这种方法有很大的理论支持，但随着噪声复杂性的增加，方法的有效性逐渐下降。同时，损失函数的修改增加了训练收敛所需的计算量。由于直接学习噪声标签无法取得良好的效果，研究人员转而考虑纠正噪声标签。Reed等人[Reed,Scott,et al."Training deep neural networks on noisylabels with bootstrapping."arXiv preprint arXiv:1412.6596(2014).]将原始标签与模型预测相结合，生成用于训练的标签。Patrini等人[Patrini,Giorgio,et al."Makingdeep neural networks robust to label noise:A loss correction approach."Proceedings of the IEEE conference on computer vision and patternrecognition.2017.]提出了一种估计标签破坏概率矩阵的方法，用于损失修正。Tanaka等人[Tanaka,Daiki,et al."Joint optimization framework for learning with noisylabels."Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018.]构建了一个网络参数和标签的联合优化框架，利用网络的输出优化标签。Yi等人[Yi,Kun,and Jianxin Wu."Probabilistic end-to-end noise correctionfor learning with noisy labels."Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2019.]通过使用梯度下降和反向传播进行标签修改，进一步改进了标签修正方法。然而，这些方法仅使用单个网络进行标签校正，因此也带来了一个问题，即网络可能会过度拟合不正确修正的标签。因此，一些研究人员设计了具有多个网络的架构来解决这个问题。Decoupling[Malach,Eran,and Shai Shalev-Shwartz."Decoupling"when to update"from"how to update"."arXiv preprint arXiv:1706.02613(2017).]同时训练两个网络，仅当两个模型的预测存在差异时更新网络。Jiang等人[Jiang,Lu,et al."Mentornet:Learning data-driven curriculum for very deepneural networks on corrupted labels."International Conference on MachineLearning.PMLR,2018.]训练两个网络，分别称为Mentornet和Studentnet。Mentornet用于学习训练样本的权重，而Studentnet则通过加权样本进行训练。Co-teaching[Han,Bo,etal."Co-teaching:Robust training of deep neural networks with extremely noisylabels."arXiv preprint arXiv:1804.06872(2018).]是基于两个模型的合作教学架构。一个模型由另一个选择的干净样本进行训练，从而提高了模型的鲁棒性。Co-teaching+[Yu,Xingrui,et al."How does disagreement help generalization against labelcorruption？."International Conference on Machine Learning.PMLR,2019.]在Co-teaching的基础上引入了文献Malach,Eran,and Shai Shalev-Shwartz."Decoupling"when to update"from"how to update"."arXiv preprint arXiv:1706.02613(2017).中的参数更新方法。DivideMix[Li,Junnan,Richard Socher,and Steven CH Hoi."Dividemix:Learning with noisy labels as semi-supervised learning."arXivpreprint arXiv:2002.07394(2020).]将一种名为MixMatch[Berthelot,David,et al."Mixmatch:A holistic approach to semi-supervised learning."arXiv preprintarXiv:1905.02249(2019).]的有效半监督学习方法与Co-teaching体系结构相结合，并利用高斯混合模型区分干净样本和噪声样本。基于DivideMix，AugDesc[Nishi,Kento,etal."Augmentation strategies for learning with noisy labels."Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021.]对不同的数据增强应用了一致性正则化，并在噪声环境中大大改进了模型。
1.2一致性正则化
一致性正则化在深度学习领域发挥着重要作用，并且在半监督学习中已经取得了巨大的成功。在文献Laine,Samuli,and Timo Aila."Temporal ensembling for semi-supervised learning."arXiv preprint arXiv:1610.02242(2016).中，通过对模型进行训练，使其对不同正则化的相同数据产生相同预测。基于文献Laine,Samuli,and TimoAila."Temporal ensembling for semi-supervised learning."arXiv preprint arXiv:1610.02242(2016).，MeanTeacher[Tarvainen,Antti,and Harri Valpola."Meanteachers are better role models:Weight-averaged consistency targets improvesemi-supervised deep learning results."arXiv preprint arXiv:1703.01780(2017).]使用指数移动平均模型产生的更精确预测对模型进行训练。FixMatch[Sohn,Kihyuk,et al."Fixmatch:Simplifying semi-supervised learning with consistencyand confidence."arXiv preprint arXiv:2001.07685(2020).]利用不同的数据扩充来执行一致性正则化。随机翻转、旋转和其他操作被视为弱增强，RandAugment[Cubuk,Ekin D.,et al."Randaugment:Practical automated data augmentation with a reducedsearch space."Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition Workshops.2020.]和CTAugment[Berthelot,David,et al."Remixmatch:Semi-supervised learning with distribution alignment andaugmentation anchoring."arXiv preprint arXiv:1911.09785(2019).]被视为强增强。通过对模型进行训练，使模型对强和弱增强数据产生相同预测。现有的一致性正则化方法大多基于模型的预测，而忽略了特征空间之间的关系。在本发明中，我们提出了一种特征空间重整化机制。
2、方法
在本节中，我们将详细介绍我们提出的师生架构。架构如图1所示。在训练过程中，我们首先对模型进行一定迭代次数的训练，称为预热，来使模型学习到一些有用的信息。然后，我们对样本计算教师模型和学生模型的训练损失。然后，我们分别用两个高斯混合模型来拟合这些损失。通过对高斯混合模型预测的概率设置阈值，我们可以得到两个划分后的数据集，然后选择两个划分后的数据集中干净样本的并集作为最终的干净样本。接着，使用最终划分的数据集，通过半监督学习方法训练教师模型。最后，通过对教师模型的预测来训练学生模型。为了增加两个模型之间的差异并提高学生模型的性能，我们执行特征空间重整化来指导学生模型的自学习。图2展示了学生模型的训练过程。以往的工作已经证明了一致性正则化和半监督方法在噪声标签学习中的有效性，因此我们使用文献Nishi,Kento,etal."Augmentation strategies for learning with noisy labels."Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021.中的方法来训练教师模型。在本节的其余部分中，我们首先介绍数据集划分的方法，然后介绍标签修正的细节。最后，我们介绍了我们提出的特征空间重整化。
2.1划分数据集
深度神经网络在拟合噪声样本之前首先拟合干净样本，因此，干净样本通常具有较低的损失。基于这一发现，Arazo等人[Arazo,Eric,et al."Unsupervised label noisemodeling and loss correction.″International Conference on MachineLearning.PMLR，2019.]提出训练伯努利混合模型来区分干净样本和噪声样本。Li等人[Li，Junnan，Richard Socher，and Steven CH Hoi.″Dividemix：Learning with noisy labelsas semi-supervised learning.″arXiv preprint arXiv：2002.07394(2020).]发现，高斯混合模型比伯努利混合模型更适合处理尖锐分布。因此，本发明选择高斯混合模型对干净样本和噪声样本进行划分。
对于分类任务，通常使用交叉熵损失来训练模型：
其中yk是数据集的标签，pk是模型的输出。给定一个数据集，我们可以分别计算教师模型和学生模型的损失lt和ls。
然后，训练两个高斯混合模型拟合损失lt和ls后，我们可以得到干净样本的概率ωt和ωs。通过在ωt和ωs上设置阈值τ，可以将原始数据集划分为干净样本和噪声样本两部分。使用单一模型划分的数据集训练模型会使模型过度拟合错误划分的样本。为了解决这个问题，我们选择两组划分数据集中干净样本的并集，也就是说只要其中一个干净样本的概率大于阈值，就可以将样本视为干净样本：
2.2学生模型的标签修正
使用软标签样本进行模型训练可以提高模型的性能。因此，我们应用标签修正来平滑标签并提高模型的性能。我们通过教师模型产生的干净样本概率，将教师模型的预测与数据集的原始标签线性结合：
其中，yi是数据集的原始标签，
表示教师模型对弱增强数据产生的预测。ωti是高斯混合模型对教师模型预测计算出的干净样本概率。
由于熵最小化在半监督学习中显示了它的有用性，我们使用锐化函数来帮助模型产生低熵预测：
其中，超参数T用于控制锐化程度。为了充分利用现有的数据，我们使用所有的样本对学生模型进行训练，这些样本的标签已经经过修正。为了提高模型的泛化能力，在训练过程中还应用了Mixup[Zhang，Hongyi，et al.″mixup：Beyond empirical riskminimization.″arXiv preprint arXiv：1710.09412(2017).]。我们使用标准交叉熵损失进行分类任务：
2.3特征空间重整化
一致性正则化的有效性已经在计算机视觉的许多领域得到了证明，尤其是在半监督学习中。一致性正则化的主要思想是，模型应该能够在受干扰的情况下对相同的数据生成相同的预测。以前的大部分工作都集中在预测的不变性上，但是我们提出的特征空间重整化更关注特征级的相关性。
从本质上讲，定义了度量之后的数据空间可以看作是拓扑流形。数据空间的一般特征从统计学上可以看作是数据的分布特征。因此，协方差矩阵可以表示数据空间的一般特征。这里，我们将数据样本的矩阵表示为
其中N表示样本数量，D表示特征维度。协方差矩阵是
上的正定实对称矩阵。空间
中不同样本矩阵的协方差矩阵在加法运算中形成一个线性群∑。根据群表示的特征理论，我们可以得到带有矩阵迹的函数X∑，称为群的特征函数。因此，我们可以用协方差矩阵组∑的特征函数来刻画数据空间。
通常，我们可以将数据样本的特征生成表示为同构映射f：
其中f可以是线性或非线性的，因此，如果f是连续且可微的，则所有的f构成微分流形。我们将强增强和弱增强数据的特征提取视为两个不同的映射f和F，其中F也是同构映射F：
对于相同的样本，这两个特征空间由映射f和F生成。我们希望这两个特征空间应该尽可能相似。根据群表示的特征理论，如果两个特征空间是线性同构的，则两个特征空间的迹的特征函数是相同的，即tr(∑X)＝tr(∑Y)，其中X和Y分别是f和F为相同样本生成的特征空间。因此，两个特征空间的相似性可以用两个协方差矩阵的轨迹差来表示：
由于这两个特征空间是从不同数据增强的相同样本生成的，因此我们假设它们之间存在映射：
X＝AY (7)
因此，公式(6)中的R可以写成
可以看出，特征空间之间的差异由ATA决定，如果ATA＝I，则X和Y是线性同构的。
为了实现特征空间的重整化，损失函数可以表示为：
其中A是一个变换矩阵同时也是一个可学习的参数，I表示单位矩阵。超参数β用于控制两个损失之间的平衡。由于两个特征空间的线性同构约束过于严格，我们对约束的损失施加了偏差。因此，损失可记为：
如果我们将第一项表示为Lmse(x，AY)，将第二项表示为βLmse(ATA，γI)，则特征空间重整化的损失可以写成：
综上所述，学生模型的损失可分为分类损失和特征空间重整化损失。该模型容易将所有样本预测为同一类别，特别是在高噪声环境下，因此我们添加正则化损失来避免这种情况。最后，学生模型的总损失为：
其中，Lcls表示分类损失，Lfsr表示特征空间重整化损失，Lreg表示正则化损失。超参数λc用来平衡不同损失的权重。
3、实验
本节介绍了我们提出的方法和其他比较方法在三个数据集上的实验。
3.1数据集
我们在三个基准数据集上测试了我们的方法：Cifar10、Cifar100和Clothing1M。Cifar10和Cifar100都有50k训练图像和10k测试图像，分别包含10个类别和100个类别。由于它们是用于分类的基准数据集，因此其中的样本标签是准确的。因此，和前面文献Tanaka，Daiki，et al.″Joint optimization framework for learning with noisylabels.″Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018的工作一样，我们人为地给标签上添加噪声。根据噪声比，我们用所有可能的标签随机替换部分样本的标签。
Clothing1M是一个带有噪声标签的大规模真实数据集。它包含超过一百万张14个类别的图片。标签是由周围的文本生成的，因此噪声标签更可能出现在类似的类别中。其中的噪声比约为60％。因此，Clothing1M对于噪声标签学习来说是一个更具挑战性的数据集。
3.2参数设置
我们使用随机裁剪和翻转作为弱增强，并在弱增强的基础上添加AutoAugment[Cubuk,Ekin D.,et al."Autoaugment:Learning augmentation strategies fromdata."Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2019.]作为强增强。文献Nishi,Kento,et al."Augmentation strategiesfor learning with noisy labels."Proceedings of the IEEE/CVF Conference onComputer Vision and Pattern Recognition.2021.中的实验结果表明，弱增强预热能够使模型对噪声更具鲁棒性，因此我们使用弱增强数据进行预热。
对于Cifar10和Cifar100，我们使用18层PreAct Resnet[He,Kaiming,et al."Identity mappings in deep residual networks."European conference on computervision.Springer,Cham,2016.]进行训练。我们将批量大小设置为128，并使用带有动量的SGD算法来训练我们的模型。动量设置为0.9，动量衰减设置为0.0005。对于Cifar10，前150次迭代的学习率为0.02，之后150个时期的学习率下降10倍。特别是，对于Cifar10的高噪声率，例如80％和90％，我们对模型进行了350次迭代训练，学习率在200次迭代后下降。对于Cifar100，我们对模型进行了400次迭代训练，并在300个阶段后降低了学习率。超参数λc通过ramp-up函数从0增加到1。γ设置为0.5，β设置为1。其他超参数设置与文献Nishi,Kento,et al."Augmentation strategies for learning with noisy labels."Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021.相同。
由于Clothing1M是一个大型数据集，因此我们使用Resnet-50作为模型。模型的初始参数使用ImageNet预训练的模型参数。超参数λc、γ和β的设置与Cifar10和Cifar100相同。其他实现细节与文献Nishi,Kento,et al."Augmentation strategies for learningwith noisy labels."Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition.2021.中相同。为了减少训练时间，我们在每个迭代选择1000批量图像进行训练。
3.3实验结果
我们在Cifar10和Cifar100上将我们的方法与几种最先进的方法进行了比较：Cross-Entropy，Bootstrap【Reed,Scott,et al."Training deep neural networks onnoisy labels with bootstrapping."arXiv preprint arXiv:1412.6596(2014).】，F-correction【Patrini,Giorgio,et al."Making deep neural networks robust to labelnoise:A loss correction approach."Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017.】，Co-teaching+【Yu,Xingrui,etal."How does disagreement help generalization against label corruption？."International Conference on Machine Learning.PMLR,2019.】，Mixup【Zhang,Hongyi,et al."mixup:Beyond empirical risk minimization."arXiv preprint arXiv:1710.09412(2017).】，P-correction【Yi,Kun,and Jianxin Wu."Probabilistic end-to-end noise correction for learning with noisy labels."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019.】，Meta-learning【Li,Junnan,et al."Learning to learn from noisy labeled data."Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2019.】，M-correction【Arazo,Eric,et al."Unsupervised label noisemodeling and loss correction."International Conference on MachineLearning.PMLR,2019.】，DivideMix【Li,Junnan,Richard Socher,and Steven CH Hoi."Dividemix:Learning with noisy labels as semi-supervised learning."arXivpreprint arXiv:2002.07394(2020).】和AugDesc【Nishi,Kento,et al."Augmentationstrategies for learning with noisy labels."Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2021.】。
我们在表1中报告了在不同噪声率下对Cifar10和Cifar100进行的实验结果。结果表明，在所有噪声水平下，特别是在高噪声水平下，我们的方法优于其他最先进的方法。对于更具挑战性的数据集Cifar100，我们的方法的准确度达到51.3％，比AugDesc高出10％以上。
表1
表2表明了Clothing1M数据集上与几种最先进方法的比较。我们的方法的准确度为75.20％，高于其他方法。在真实噪声数据集上的实验结果验证了该方法的有效性。
Joint Optimization——Tanaka,Daiki,et al."Joint optimizationframework for learning with noisy labels."Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.2018
MetaCleaner——Zhang,Weihe,Yali Wang,and Yu Qiao."Metacleaner:Learning to hallucinate clean representations for noisy-labeled visualrecognition."Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition.2019.
ELR+——Liu,Sheng,et al."Early-learning regularization preventsmemorization of noisy labels."arXiv preprint arXiv:2007.00151(2020).
表2
| 方法 | 测试准确率 |
| Cross Entropy | 69.21 |
| M-correction | 71.00 |
| Joint Optimization | 72.16 |
| MetaCleaner | 72.50 |
| Meta-learning | 73.47 |
| P-correction | 73.49 |
| AugDesc-WS-WAW | 74.72 |
| DivideMix | 74.76 |
| ELR+ | 74.81 |
| AugDesc-WS-SAW | 75.11 |
| Ours | 75.20 |
3.4消融实验
由于仅使用一个模型来划分数据集可能会导致模型陷入确认偏差，因此本发明提出了一种将划分的数据集进行组合的方法。为了验证我们提出的数据集划分方法的有效性，我们比较了两种数据集合并方法：1)使用两个划分数据集的交集；2)使用两个划分数据集的并集。我们在90％的噪声率的Cifar100上进行了实验。此外，为了减少模型随机初始化的影响，我们首先在预热阶段训练两个模型作为预训练模型。然后，我们使用相同的预训练模型初始化模型，并对其进行训练。表3显示了性能比较的结果。
如表3所示，使用两个划分数据集的并集表现更好，使用两个划分数据集的交集会导致性能下降。这两种方法之间的主要区别在于被选为干净样本的样本数量。使用两个划分数据集的交集对于样本的选择更为严格，这减少了监督学习使用的样本数量，并导致模型性能下降。因此，我们可以得一个出结论，适当增加监督学习的样本数量有助于提高模型的性能。然而，使用所有样本进行监督学习会使模型过度拟合噪声标签。因此，使用两个划分数据集的并集是提高模型鲁棒性的更好选择。
表3不同数据集划分方法的比较
特征空间重整化机制被应用于学生模型并促进其学习更有效的信息。我们在噪声率为90％的Cifar100上实验并展示了特征空间重整化的有效性。表4显示了使用和不使用特征空间重整化机制的方法的结果。我们使用相同的预训练参数初始化了模型。
表4使用与不使用特征空间重整化的结果比较
如表4所示，通过特征空间重整化，每个模型的性能都得到了改善，尤其是学生模型。学生模型的最佳精度从50.5％提高到52.2％，表明特征空间重整化可以指导学生模型的自我学习，同时有利于提高模型的性能。
Claims (5)
1.基于特征空间重整化的师生架构含噪声标签图像分类方法，其特征在于，步骤如下：
(1)对图像数据进行数据增强，数据增强包括随机裁剪、平移和归一化；
(2)创建两个ResNet网络，使用步骤(1)数据增强后的数据以及数据集原始标签进行一定迭代次数的预训练；
(3)使用两个ResNet网络对所有样本计算训练损失；
(4)使用两个高斯混合模型对步骤(3)计算所得的两组损失进行分类，分别获得两组样本划分后的干净样本数据集和噪声样本数据集
(5)取两组样本划分后的干净样本数据集的并集作为最终干净样本，其余的划分为最终噪声样本，最终干净样本和最终噪声样本组成最终的数据集；
(6)对步骤(5)得到最终的数据集中的数据进行两种数据增强，包括弱增强：随机裁剪、平移和归一化，以及强增强：随机裁剪、平移、归一化和AutoAugment；
(7)利用步骤(6)两种数据增强后的数据集对其中一个ResNet网络进行基于AugDesc方法的半监督训练，作为教师模型；
(8)利用教师模型对弱增强数据进行预测，并结合数据集原始标签进行标签修正；
(9)利用步骤(6)强增强数据和步骤(8)修正后的标签对另一个网络进行有监督学习，作为学生模型；
(10)利用学生模型对步骤(5)得到的弱增强数据和强增强数据进行特征提取，将提取的特征进行特征空间重整化损失训练；
(11)重复(3)-(10)步骤，直到达到所设置的最大迭代次数，得到最终的图像分类模型；
(12)将需要分类的图像数据输入到步骤(11)得到的图像分类模型中，实现图像分类。
2.根据权利要求1所述的基于特征空间重整化的师生架构含噪声标签图像分类方法，其特征在于，所述的步骤(3)中的训练损失使用交叉熵损失来训练模型：
其中yk是数据集的标签，pk是模型的输出，k表示第k类，总共c个类别；给定一个数据集，便能分别计算教师模型和学生模型的损失lt和ls。
3.根据权利要求2所述的基于特征空间重整化的师生架构含噪声标签图像分类方法，其特征在于，训练两个高斯混合模型拟合损失lt和ls后，得到干净样本的概率ωt和ωs；通过在ωt和ωs上设置阈值τ，将原始数据集划分为干净样本和噪声样本两部分；选择两组划分数据集中干净样本的并集，作为最终干净样本：XL＝{(xi，yi，ωti，ωsi)|ωti＞τ或
其中，xi表示第i个样本，yi表示第i个样本标签；X表示总的样本，即整个数据集；Y表示总的标签，即整个数据集的标签。
4.根据权利要求3所述的基于特征空间重整化的师生架构含噪声标签图像分类方法，其特征在于，学生模型的标签修正：通过教师模型产生的干净样本概率，将教师模型的预测与数据集的原始标签线性结合：
其中，yi是数据集的原始标签，
表示教师模型对弱增强数据产生的预测；ωti是高斯混合模型对教师模型预测计算出的干净样本概率；
使用锐化函数来帮助模型产生低熵预测：
其中，超参数T用于控制锐化程度，j为第j个样本；
使用标准交叉熵损失进行分类任务：
5.根据权利要求4所述的基于特征空间重整化的师生架构含噪声标签图像分类方法，其特征在于，特征空间重整化损失训练中，弱增强数据和强增强数据进行特征提取，将提取的两个特征空间的相似性用两个协方差矩阵的轨迹差来表不：
R＝|tr(∑X)-tr(∑Y)|＝|tr(XXT)-tr(YYT)| (6)
由于这两个特征空间是从不同数据增强的相同样本生成的，因此设它们之间存在映射：
X＝AY (7)
公式(6)中的R写成：
R＝|tr(XXT)-tr(YYT)|＝|tr(AYYTAT)-tr(YYT)|＝|tr(YTATAY)-tr(YYT)| (8)
可以看出，特征空间之间的差异由ATA决定，如果ATA＝I，则X和Y是线性同构的；
为了实现特征空间的重整化，损失函数表示为：
其中，A是一个变换矩阵同时也是一个可学习的参数，I表示单位矩阵；超参数β用于控制两个损失之间的平衡；
对约束的损失施加偏差后，损失记为：
将第一项表示为Lmse(X，AY)，将第二项表示为βLmse(ATA，γI)，则特征空间重整化的损失写成：
Lfsr＝Lmse(X，AY)+βLmse(ATA，γI) (11)
所以，学生模型的损失可分为分类损失和特征空间重整化损失；添加正则化损失来避免在高噪声环境下将所有样本预测为同一类别这种情况；最后，学生模型的总损失为：
L＝Lcls+λcLfsr+Lreg (12)
其中，Lcls表示分类损失，Lfsr表示特征空间重整化损失，Lreg表示正则化损失；超参数λc用来平衡不同损失的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111461105.3A CN114170461B (zh) | 2021-12-02 | 2021-12-02 | 基于特征空间重整化的师生架构含噪声标签图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111461105.3A CN114170461B (zh) | 2021-12-02 | 2021-12-02 | 基于特征空间重整化的师生架构含噪声标签图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170461A true CN114170461A (zh) | 2022-03-11 |
| CN114170461B CN114170461B (zh) | 2024-02-27 |
Family
ID=80482412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111461105.3A Active CN114170461B (zh) | 2021-12-02 | 2021-12-02 | 基于特征空间重整化的师生架构含噪声标签图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170461B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131600A (zh) * | 2022-04-28 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 检测模型训练方法、检测方法、装置、设备及存储介质 |
| CN116204850A (zh) * | 2023-03-14 | 2023-06-02 | 匀熵智能科技(无锡)有限公司 | 基于动态梯度和多视图协同注意力的多模态情感分析方法 |
| CN117237984A (zh) * | 2023-08-31 | 2023-12-15 | 江南大学 | 基于标签一致性的mt腿部识别方法、系统、介质和设备 |
| CN117312859A (zh) * | 2023-10-23 | 2023-12-29 | 南京工业大学 | 基于自训练模型的远程监督关系抽取方法 |
| CN117197474B (zh) * | 2023-09-28 | 2024-08-02 | 江苏开放大学（江苏城市职业学院） | 一种基于类别均衡及交叉合并策略的噪声标签学习方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160078359A1 (en) * | 2014-09-12 | 2016-03-17 | Xerox Corporation | System for domain adaptation with a domain-specific class means classifier |
| CN110147456A (zh) * | 2019-04-12 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种图像分类方法、装置、可读存储介质及终端设备 |
| US20200234196A1 (en) * | 2019-01-18 | 2020-07-23 | Fujitsu Limited | Machine learning method, computer-readable recording medium, and machine learning apparatus |
| CN113159294A (zh) * | 2021-04-27 | 2021-07-23 | 南京理工大学 | 基于同伴学习的样本选择算法 |
| US11100373B1 (en) * | 2020-11-02 | 2021-08-24 | DOCBOT, Inc. | Autonomous and continuously self-improving learning system |
-
2021
- 2021-12-02 CN CN202111461105.3A patent/CN114170461B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160078359A1 (en) * | 2014-09-12 | 2016-03-17 | Xerox Corporation | System for domain adaptation with a domain-specific class means classifier |
| US20200234196A1 (en) * | 2019-01-18 | 2020-07-23 | Fujitsu Limited | Machine learning method, computer-readable recording medium, and machine learning apparatus |
| CN110147456A (zh) * | 2019-04-12 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种图像分类方法、装置、可读存储介质及终端设备 |
| US11100373B1 (en) * | 2020-11-02 | 2021-08-24 | DOCBOT, Inc. | Autonomous and continuously self-improving learning system |
| CN113159294A (zh) * | 2021-04-27 | 2021-07-23 | 南京理工大学 | 基于同伴学习的样本选择算法 |
Non-Patent Citations (2)
| Title |
|---|
| JUNNAN LI ET AL: ""DIVIDEMIX: LEARNING WITH NOISY LABELS AS SEMI-SUPERVISED LEARNING"", 《ARXIV:2002.07394V1》, pages 1 - 14 * |
| KENTO NISHI ET AL: ""Augmentation Strategies for Learning with Noisy Labels"", 《ARXIV:2103.02130V3》, pages 1 - 12 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131600A (zh) * | 2022-04-28 | 2022-09-30 | 腾讯科技（深圳）有限公司 | 检测模型训练方法、检测方法、装置、设备及存储介质 |
| CN116204850A (zh) * | 2023-03-14 | 2023-06-02 | 匀熵智能科技(无锡)有限公司 | 基于动态梯度和多视图协同注意力的多模态情感分析方法 |
| CN116204850B (zh) * | 2023-03-14 | 2023-11-03 | 匀熵智能科技(无锡)有限公司 | 基于动态梯度和多视图协同注意力的多模态情感分析方法 |
| CN117237984A (zh) * | 2023-08-31 | 2023-12-15 | 江南大学 | 基于标签一致性的mt腿部识别方法、系统、介质和设备 |
| CN117197474B (zh) * | 2023-09-28 | 2024-08-02 | 江苏开放大学（江苏城市职业学院） | 一种基于类别均衡及交叉合并策略的噪声标签学习方法 |
| CN117312859A (zh) * | 2023-10-23 | 2023-12-29 | 南京工业大学 | 基于自训练模型的远程监督关系抽取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170461B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170461A (zh) | 基于特征空间重整化的师生架构含噪声标签图像分类方法 | |
| CN108564129B (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
| Zhou et al. | Deep semantic dictionary learning for multi-label image classification | |
| Bilen et al. | Weakly supervised object detection with convex clustering | |
| CN110750665A (zh) | 基于熵最小化的开集域适应方法及系统 | |
| CN108765383B (zh) | 基于深度迁移学习的视频描述方法 | |
| CN110033008B (zh) | 一种基于模态变换与文本归纳的图像描述生成方法 | |
| CN111126488A (zh) | 一种基于双重注意力的图像识别方法 | |
| CN113326731A (zh) | 一种基于动量网络指导的跨域行人重识别算法 | |
| JP2020177647A (ja) | 画像処理装置及びその訓練装置と訓練方法 | |
| Achituve et al. | Gp-tree: A gaussian process classifier for few-shot incremental learning | |
| Kye et al. | Meta-learned confidence for few-shot learning | |
| CN112464004A (zh) | 一种多视角深度生成图像聚类方法 | |
| Mandal et al. | A novel self-supervised re-labeling approach for training with noisy labels | |
| CN114398976A (zh) | 基于bert与门控类注意力增强网络的机器阅读理解方法 | |
| Lu et al. | Prediction calibration for generalized few-shot semantic segmentation | |
| CN111259917A (zh) | 一种基于局部近邻成分分析的图像特征提取方法 | |
| Yan et al. | Noise is also useful: Negative correlation-steered latent contrastive learning | |
| CN117649552A (zh) | 一种基于对比学习和主动学习的图像增量学习方法 | |
| Wu et al. | Boundaryface: A mining framework with noise label self-correction for face recognition | |
| Zhou et al. | Online object tracking based on cnn with metropolis-hasting re-sampling | |
| CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
| CN116342938A (zh) | 基于多个潜在域混合的域泛化图像分类方法 | |
| CN115100694A (zh) | 一种基于自监督神经网络的指纹快速检索方法 | |
| CN115062123A (zh) | 一种对话生成系统的知识库问答对生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 1603-12, No. 8, Financial Second Street, Wuxi Economic Development Zone, Jiangsu Province, 214000 Applicant after: Uni-Entropy Intelligent Technology (Wuxi) Co.,Ltd. Address before: 214072 room 1603-12, No. 8, financial Second Street, economic development zone, Wuxi City, Jiangsu Province Applicant before: Yunentropy Education Technology (Wuxi) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |