CN114881098A - 一种基于流形正则化转移矩阵的标签噪声估计方法 - Google Patents

一种基于流形正则化转移矩阵的标签噪声估计方法 Download PDF

Info

Publication number
CN114881098A
CN114881098A CN202210192794.0A CN202210192794A CN114881098A CN 114881098 A CN114881098 A CN 114881098A CN 202210192794 A CN202210192794 A CN 202210192794A CN 114881098 A CN114881098 A CN 114881098A
Authority
CN
China
Prior art keywords
data
network
probability
matrix
instance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210192794.0A
Other languages
English (en)
Inventor
程德
宁艺雄
王楠楠
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210192794.0A priority Critical patent/CN114881098A/zh
Publication of CN114881098A publication Critical patent/CN114881098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于流形正则化转移矩阵的标签噪声估计方法，通过预训练第二网络中第一网络，并对数据集蒸馏后，将获得的子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵；进一步根据数据实例标签计算得到第二网络的交叉熵损失，并结合已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵，计算第二网络的损失函数；通过调整损失函数减小训练第二网络得到训练好的第二网络，从而完成数据实例所属类别的预估。本发明可以在不影响转移矩阵逼近误差的情况下，减小估计误差，实验证明本发明在标签噪声学习中可以取得优异的性能。

Description

一种基于流形正则化转移矩阵的标签噪声估计方法
技术领域
本发明属于人工智能技术领域，具体涉及一种基于流形正则化转移矩阵的标签噪声估计方法。
背景技术
噪声标签学习在深度学习领域越来越受关注，主要原因是对大规模数据集进行精确的标注是非常昂贵，在许多情况下不可实现的。一种有效的方法是从众多平台或者通过网络爬虫收集这种大规模的数据集，这不可避免地会产生低质量和带噪声的数据。因此，减轻噪声标签的副作用成为一个非常热门的话题。
处理噪声标签的方法可以分为两类：具有统计上不一致和一致的分类器算法。在第一类方法中并没有显式地对标签噪声分布进行建模，该方法通常采用一些启发式方法来减少标签噪声的副作用。虽然这些方法在通常效果很好，但从噪声数据中学习到的分类器在统计上并不一致，其可靠性无法得到保证。而统计上一致的分类器可以解决这个问题，然后在统计一致的分类器算法中，学习转移矩阵在为噪声标签学习构建统计上一致分类器方面发挥着重要作用，利用学习转移矩阵可以显式地建模噪声标签的生成过程。
然而，利用学习专转移矩阵显示地建模噪声标签的过程中，现有技术仅利用噪声数据学习的分类器获取实例相关的学习转移矩阵(IDTM)T(x)作为实例x的函数，在这个过程中学习转移矩阵在没有任何约束的情况下，在实例依赖噪声(IDN)下是无法识别的，因此对于有噪声的标签来说，得到学习转移矩阵IDTM，从而去完成识别分类是一个非常具有挑战性的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于流形正则化转移矩阵的标签噪声估计方法。本发明要解决的技术问题通过以下技术方案实现：
本发明提供的一种基于流形正则化转移矩阵的标签噪声估计方法包括：
获取携带标签的数据集；
其中，所述数据集中包括携带噪声标签的数据实例以及未携带噪声标签的数据实例；
将所述数据集中的数据实例输入至第一网络中，以使所述第一网络依次对所述数据实例进行特征提取以及数据实例分类，得到数据实例所属类别的概率；
根据数据实例所属类别的概率，计算所述第一网络的损失函数，并向损失函数减少的方向预训练所述第一网络，得到预训练好的第一网络；
将所述数据集中的数据实例使用蒸馏法进行蒸馏，以蒸馏出干净类的数据实例组成子数据集；
将所述子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵；
基于将子数据集中数据实例所属类别的概率、转移矩阵以及子数据集中的数据实例标签，得到第二网络的交叉熵损失；
基于所述转移矩阵、已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵以及所述交叉熵损失，计算第二网络的损失函数；
通过调整损失函数减小训练第二网络得到训练好的第二网络；
使用第二网络预估数据实例所属的类别。
其中，所述第一网络为所述第二网络的部分网络，所述第一网络包括主干神经网络以及分类器，所述第二网络包括：主干神经网络、转移神经网络以及分类器，所述主干神经网络的输出分别连接分类器以及转移神经网络的输入。
可选的，所述将所述数据集中的数据实例输入至第一网络中，以使所述第一网络依次对所述数据实例进行特征提取以及数据实例分类，得到数据实例所属类别的概率包括：
将所述数据集中的数据实例输入至所述主干神经网络中，以使所述主干神经网络对所述数据集中的数据实例进行特征提取，获得特征向量，并将特征向量输入至分类器中，得到数据实例所属类别的概率。
可选的，所述将所述子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵包括：
将所述子数据集输入至主干神经网络中，以使主干神经网络对所述子数据集中的数据实例进行特征提取，得到维度与数据实例所属类别数量相同的特征向量；
将所述特征向量分别输入分类器以及转移网络中，得到分类器输出的子数据集中每个数据实例所属的类别概率，以及所述转移网络输出的与数据实例相关的转移矩阵。
可选的，所述将所述数据集中的数据实例使用蒸馏法进行蒸馏，以蒸馏出干净类的数据实例组成子数据集包括：
将所述数据集中的每个数据实例依次输入预训练好的第一网络中，估计每个数据实例所属类别的概率；
判断每个数据实例所属类别的概率与概率阈值的大小，如果大于，则确定该数据实例为不含噪声标签的干净类数据实例；
将干净类的数据实例组成子数据集。
可选的，所述基于将子数据集中数据实例所属类别的概率、转移矩阵以及子数据集中的数据实例标签，得到第二网络的交叉熵损失包括：
将子数据集中数据实例所属类别的概率与转移矩阵相乘，将相乘结果与子数据集中的数据实例标签进行交叉熵，得到第二网络的交叉熵损失。
可选的，所述基于所述转移矩阵、已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵以及所述交叉熵损失，计算第二网络的损失函数包括：
基于所述转移矩阵以及已构建的表述数据实例属于相同流形的一致性的关联矩阵，构建第一流形损失；
基于所述转移矩阵以及已构建的表述数据实例属于不同流形的分散性的惩罚矩阵，构建第二流形损失；
将第一流形损失和第二流形损失作差，得到流形损失；
将流形损失与所述交叉熵损失求和，作为第二网络的损失函数。
其中，所述数据实例数据所属类别的概率表示为：
Figure BDA0003524952540000041
其中，f(ai,w)表示特征ai对应的数据实例xi所属j类的概率，C表示类别的数量。
其中，所述第一网络的损失函数表示为：
Figure BDA0003524952540000051
其中，N是携带噪声标签的数据实例数量，
Figure BDA0003524952540000052
表示数据实例的标签，ai表示数据实例xi经过特征提取的得到的特征。
其中，第一流形损失表示为：
Figure BDA0003524952540000053
第二流形损失表示为：
Figure BDA0003524952540000054
其中，
Figure BDA0003524952540000055
其中，
Figure BDA0003524952540000056
代表关联矩阵，
Figure BDA0003524952540000057
代表惩罚矩阵，T(ai)表示数据实例xi提取的特征ai对应的转移矩阵，T(aj)表示数据实例xj特征aj对应的转移矩阵；
流形损失表示为：
L(θ)＝L1-l2
第二网络的损失函数表示为：
Ltotal＝L(w)+L(θ)。
本发明提供的一种基于流形正则化转移矩阵的标签噪声估计方法，通过预训练第二网络中第一网络，并对数据集蒸馏后，将获得的子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵；进一步根据数据实例标签计算得到第二网络的交叉熵损失，并结合已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵，计算第二网络的损失函数；通过调整损失函数减小训练第二网络得到训练好的第二网络，从而完成数据实例所属类别的预估。本发明可以在不影响转移矩阵逼近误差的情况下，减小估计误差，实验证明本发明在标签噪声学习中可以取得优异的性能。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于流形正则化转移矩阵的标签噪声估计方法的流程示意图；
图2是本发明实施例提供的网络模型框架图示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本发明提供的一种基于流形正则化转移矩阵的标签噪声估计方法包括：
S1，获取携带标签的数据集；
其中，数据集中包括携带噪声标签的数据实例以及未携带噪声标签的数据实例；
S2，将数据集中的数据实例输入至第一网络中，以使第一网络依次对数据实例进行特征提取以及数据实例分类，得到数据实例所属类别的概率；
参见图2所示，第一网络为第二网络的部分网络，第一网络包括主干神经网络以及分类器，第二网络包括：主干神经网络、转移神经网络以及分类器，主干神经网络的输出分别连接分类器以及转移神经网络的输入。
作为本发明一种可选的实施方式，步骤S2包括：将数据集中的数据实例输入至主干神经网络中，以使主干神经网络对数据集中的数据实例进行特征提取，获得特征向量，并将特征向量输入至分类器中，得到数据实例所属类别的概率。
给定带噪声标签的数据
Figure BDA0003524952540000071
其中N是噪声标签数据的数量，xn是实例，
Figure BDA0003524952540000072
是噪声标签数据的类别。首先将xn输入到神经网络backbone中进行特征提取，得到1×C的向量。示例性的假设特征向量：[1 2 10]向量中包含样本的特征，向量的大小取决于类别的数量；其中C为类别的数量，然后通过softmax函数得到backbone的输出，数据实例数据所属类别的概率表示为：
Figure BDA0003524952540000073
其中，f(ai,w)表示特征ai对应的数据实例xi所属j类的概率，C表示类别的数量。
S3，根据数据实例所属类别的概率，计算第一网络的损失函数，并向损失函数减少的方向预训练第一网络，得到预训练好的第一网络；
通过最小化经验风险L，即损失函数来预训练第一网络，如下式所示：
Figure BDA0003524952540000074
其中w是主干神经网络的参数，f(xi,w)为分类器的输出，L(w)分类器加主干神经网络的损失函数；N是携带噪声标签的数据实例数量，
Figure BDA0003524952540000075
表示数据实例的标签，ai表示数据实例xi经过特征提取的得到的特征。
S4，将数据集中的数据实例使用蒸馏法进行蒸馏，以蒸馏出干净类的数据实例组成子数据集；
作为本发明一种可选的实施方式，本发明步骤S4包括：
S41：将数据集中的每个数据实例依次输入预训练好的第一网络中，估计每个数据实例所属类别的概率；
S42：判断每个数据实例所属类别的概率与概率阈值的大小，如果大于，则确定该数据实例为不含噪声标签的干净类数据实例；
S43：将干净类的数据实例组成子数据集。
本发明中可以采用Shuo Yang,Erkun Yang,Bo Han,Yang Liu,Min Xu,Gang Niu,and Tongliang Liu.Estimating instance-dependent label-noise transition matrixusing dnns.arXiv preprint arX-iv:2105.13001,2021.中实例蒸馏法来提取可靠的干净实例
Figure BDA0003524952540000081
其中Nclean为蒸馏出干净类的数量。该方法可以从噪声数据集中提取出具有理论上保证的贝叶斯最优标签的子数据集。本发明的方法不仅限于上述基于蒸馏的示例提取方法，还可以使用许多其他样品筛方法。
S5，将子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵；
作为本发明一种可选的实施方式，本发明步骤S5包括：
S51：将子数据集输入至主干神经网络中，以使主干神经网络对子数据集中的数据实例进行特征提取，得到维度与数据实例所属类别数量相同的特征向量；
S52：将特征向量分别输入分类器以及转移网络中，得到分类器输出的子数据集中每个数据实例所属的类别概率，以及转移网络输出的与数据实例相关的转移矩阵。
本发明的第二网络对给定输入实例x及其相应的估计潜在干净标签
Figure BDA0003524952540000091
特征向量，观察到噪声标签
Figure BDA0003524952540000092
的概率进行建模。表示为
Figure BDA0003524952540000093
Figure BDA0003524952540000094
其中Tij(x,θ)∈Rk×k，
Figure BDA0003524952540000095
是提取的干净数据的标签。
将主干神经网络得到的1xC向量输入得到转移神经网络中得到了CxC的转移矩阵T(a)，然后主干神经网络通过分类器得到的分类概率p和T(a)相乘，得到了p’用p’和真实噪声标签构建损失函数，通过最小化损失函数进行训练。p是网络得到的标签(本发明认为是正确的)，p’是p通过转移矩阵得到的概率标签(本发明认为是有噪声的)，有噪声的概率标签和真实噪声标签构造损失函数)
S6，基于将子数据集中数据实例所属类别的概率、转移矩阵以及子数据集中的数据实例标签，得到第二网络的交叉熵损失；
本步骤可以将子数据集中数据实例所属类别的概率与转移矩阵相乘，将相乘结果与子数据集中的数据实例标签进行交叉熵，得到第二网络的交叉熵损失。
S7，基于转移矩阵、已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵以及交叉熵损失，计算第二网络的损失函数；
值得说明的是：流形学习通常旨在在潜在的低维特征空间中保留内在的邻近结构。经典的流形学习技术，如Sam T Roweis and Lawrence K Saul.Nonlinear dimensionality reduction by locally linear embedding.science,290(5500):2323–2326,2000，通过合理的假设来估计局部流形。在本专利中，我们采用流形嵌入技术来实现我们提出的实际假设，“同类中的两个实例越近，它们对应的转移矩阵就越相似”，以使IDTM T(x)实际上可学习。通过引入流形正则化，虽然我们没有直接降低T(a)的复杂性，因为我们没有进一步建模，我们仍然有效地降低了线性系统
Figure BDA0003524952540000101
的自由度，使T(a)能稳定估计。同时，T(a)可以被认为是实际稳定的，因为添加这样一个平滑假设可以阻止Ta)在一个很小的邻域中上下跳跃。本发明构造了一个关联矩阵来描述相同流形的一致性和一个惩罚矩阵来描述不同流形之间的分散性。
作为本发明一种可选的实施方式，本发明步骤S7包括：
S71：基于转移矩阵以及已构建的表述数据实例属于相同流形的一致性的关联矩阵，构建第一流形损失；
S72：基于转移矩阵以及已构建的表述数据实例属于不同流形的分散性的惩罚矩阵，构建第二流形损失；
S73：将第一流形损失和第二流形损失作差，得到流形损失；
其中，第一流形损失表示为：
Figure BDA0003524952540000102
第二流形损失表示为：
Figure BDA0003524952540000103
其中，
Figure BDA0003524952540000104
其中，
Figure BDA0003524952540000105
代表关联矩阵，
Figure BDA0003524952540000106
代表惩罚矩阵，T(ai)表示数据实例xi提取的特征ai对应的转移矩阵，T(aj)表示数据实例xj特征aj对应的转移矩阵。
基于上述，IDTM T(ai,θ)上的流形正则化，即流形损失表示为：
L(θ)＝L1-L2
S74：将流形损失与交叉熵损失求和，作为第二网络的损失函数。
第二网络的损失函数表示为：
Ltotal＝L(w)+L(θ)。
S8，通过调整损失函数减小训练第二网络得到训练好的第二网络；
S9，使用第二网络预估数据实例所属的类别。
本发明的效果可以通过以下仿真实验做进一步的说明。
1.仿真条件
本发明是在中央处理器为Inter(R)Core(TM)i7-4790 3.60GHz CPU、NVIDIAGeforce RTX 3090 GPU、Ubuntu 18.04操作系统上，运用美国Facebook公司开源的pytorch1.6进行仿真。数据库使用了四个图像分类数据库F-MNIST，SVHN，CIFAR-10，CIFAR-100。
2.实验中所对比的方法如下：
一是基于高噪声标签对深度神经网络进行稳健训练，实验中记为co-teaching，参考文献：Bo Han,Quanming Yao,Xingrui Yu,Gang Niu,Miao Xu,Weihua Hu,Ivor Tsang,and Masashi Sugiyama.Co-teaching:Robust training of deep neural networks withextremely noisy labels.arXiv preprint arXiv:1804.06872,2018二是基于协议对抗噪声标签的联合训练方法，实验中记为Jocor，参考文献：Hongxin Wei,Lei Feng,XiangyuChen,and Bo An.Combating noisy labels by agreement:A joint training methodwith co-regularization.In Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition,pages 13726–13735,2020三是基于DNNS的实例相关标签噪声转移矩阵估计，实验中记为TMDNN，参考文献：Shuo Yang,Erkun Yang,Bo Han,YangLiu,Min Xu,Gang Niu,and Tongliang Liu.Estimating instance-dependent label-noise transition matrix using dnns.arXiv preprint arXiv:2105.13001,2021.
3.结果展示
本发明和上述三种方法对比结果，如下表所示：
表1 F-MNIST数据集上实验结果
Figure BDA0003524952540000121
表2 CIFAR10数据集上实验结果
Figure BDA0003524952540000122
表3 SVHN数据集上实验结果
Figure BDA0003524952540000123
Figure BDA0003524952540000131
表4 CIFAR100数据集上实验结果
Figure BDA0003524952540000132
本发明基于提出假设：两个实例越接近，它们对应的转移矩阵就越相似，构建了流形正则化从而有效降低T(x)的自由度并使其稳定可估计。大量的实验结果表明，本方法在处理IDN方面优于现有的方法，尤其是在高噪声率下。此外，本方法是一个即插即用模块，有助于改进其他的方法。以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，包括：
获取携带标签的数据集；
其中，所述数据集中包括携带噪声标签的数据实例以及未携带噪声标签的数据实例；
将所述数据集中的数据实例输入至第一网络中，以使所述第一网络依次对所述数据实例进行特征提取以及数据实例分类，得到数据实例所属类别的概率；
根据数据实例所属类别的概率，计算所述第一网络的损失函数，并向损失函数减少的方向预训练所述第一网络，得到预训练好的第一网络；
将所述数据集中的数据实例使用蒸馏法进行蒸馏，以蒸馏出干净类的数据实例组成子数据集；
将所述子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵；
基于将子数据集中数据实例所属类别的概率、转移矩阵以及子数据集中的数据实例标签，得到第二网络的交叉熵损失；
基于所述转移矩阵、已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵以及所述交叉熵损失，计算第二网络的损失函数；
通过调整损失函数减小训练第二网络得到训练好的第二网络；
使用第二网络预估数据实例所属的类别。
2.根据权利要求1所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述第一网络为所述第二网络的部分网络，所述第一网络包括主干神经网络以及分类器，所述第二网络包括：主干神经网络、转移神经网络以及分类器，所述主干神经网络的输出分别连接分类器以及转移神经网络的输入。
3.根据权利要求2所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述将所述数据集中的数据实例输入至第一网络中，以使所述第一网络依次对所述数据实例进行特征提取以及数据实例分类，得到数据实例所属类别的概率包括：
将所述数据集中的数据实例输入至所述主干神经网络中，以使所述主干神经网络对所述数据集中的数据实例进行特征提取，获得特征向量，并将特征向量输入至分类器中，得到数据实例所属类别的概率。
4.根据权利要求2所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述将所述子数据集输入至第二网络中，得到子数据集内的数据实例所属类别的概率以及获得与数据实例相关的转移矩阵包括：
将所述子数据集输入至主干神经网络中，以使主干神经网络对所述子数据集中的数据实例进行特征提取，得到维度与数据实例所属类别数量相同的特征向量；
将所述特征向量分别输入分类器以及转移网络中，得到分类器输出的子数据集中每个数据实例所属的类别概率，以及所述转移网络输出的与数据实例相关的转移矩阵。
5.根据权利要求1所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述将所述数据集中的数据实例使用蒸馏法进行蒸馏，以蒸馏出干净类的数据实例组成子数据集包括：
将所述数据集中的每个数据实例依次输入预训练好的第一网络中，估计每个数据实例所属类别的概率；
判断每个数据实例所属类别的概率与概率阈值的大小，如果大于，则确定该数据实例为不含噪声标签的干净类数据实例；
将干净类的数据实例组成子数据集。
6.根据权利要求1所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述基于将子数据集中数据实例所属类别的概率、转移矩阵以及子数据集中的数据实例标签，得到第二网络的交叉熵损失包括：
将子数据集中数据实例所属类别的概率与转移矩阵相乘，将相乘结果与子数据集中的数据实例标签进行交叉熵，得到第二网络的交叉熵损失。
7.根据权利要求1所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述基于所述转移矩阵、已构建的表述数据实例属于相同流形的一致性的关联矩阵、数据实例属于不同流形的惩罚矩阵以及所述交叉熵损失，计算第二网络的损失函数包括：
基于所述转移矩阵以及已构建的表述数据实例属于相同流形的一致性的关联矩阵，构建第一流形损失；
基于所述转移矩阵以及已构建的表述数据实例属于不同流形的分散性的惩罚矩阵，构建第二流形损失；
将第一流形损失和第二流形损失作差，得到流形损失；
将流形损失与所述交叉熵损失求和，作为第二网络的损失函数。
8.根据权利要求1所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述数据实例数据所属类别的概率表示为：
Figure FDA0003524952530000031
其中，f(ai，w)表示特征ai对应的数据实例xi所属j类的概率，C表示类别的数量。
9.根据权利要求8所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，所述第一网络的损失函数表示为：
Figure FDA0003524952530000041
其中，N是携带噪声标签的数据实例数量，
Figure FDA0003524952530000042
表示数据实例的标签，ai表示数据实例xi经过特征提取的得到的特征。
10.根据权利要求9所述的基于流形正则化转移矩阵的标签噪声估计方法，其特征在于，
第一流形损失表示为：
Figure FDA0003524952530000043
第二流形损失表示为：
Figure FDA0003524952530000044
其中，
Figure FDA0003524952530000045
其中，
Figure FDA0003524952530000046
代表关联矩阵，
Figure FDA0003524952530000047
代表惩罚矩阵，T(ai)表示数据实例xi提取的特征ai对应的转移矩阵，T(aj)表示数据实例xj特征aj对应的转移矩阵；
流形损失表示为：
L(θ)＝L1-L2
第二网络的损失函数表示为：
Ltotal＝L(w)+L(θ)。
CN202210192794.0A 2022-02-28 2022-02-28 一种基于流形正则化转移矩阵的标签噪声估计方法 Pending CN114881098A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210192794.0A CN114881098A (zh) 2022-02-28 2022-02-28 一种基于流形正则化转移矩阵的标签噪声估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210192794.0A CN114881098A (zh) 2022-02-28 2022-02-28 一种基于流形正则化转移矩阵的标签噪声估计方法

Publications (1)

Publication Number Publication Date
CN114881098A true CN114881098A (zh) 2022-08-09

Family

ID=82667389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210192794.0A Pending CN114881098A (zh) 2022-02-28 2022-02-28 一种基于流形正则化转移矩阵的标签噪声估计方法

Country Status (1)

Country Link
CN (1) CN114881098A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523212A (zh) * 2023-11-09 2024-02-06 广州航海学院 用于车辆款式图像数据的标签噪声识别方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523212A (zh) * 2023-11-09 2024-02-06 广州航海学院 用于车辆款式图像数据的标签噪声识别方法、系统及设备
CN117523212B (zh) * 2023-11-09 2024-04-26 广州航海学院 用于车辆款式图像数据的标签噪声识别方法、系统及设备

Similar Documents

Publication Publication Date Title
Lv et al. Pseudo-supervised deep subspace clustering
Zhang et al. Joint low-rank and sparse principal feature coding for enhanced robust representation and visual classification
CN107122809B (zh) 基于图像自编码的神经网络特征学习方法
Yan et al. Graph embedding and extensions: A general framework for dimensionality reduction
Jin et al. Low-rank matrix factorization with multiple hypergraph regularizer
Xiao et al. A new approach for face recognition by sketches in photos
Gou et al. Weighted discriminative collaborative competitive representation for robust image classification
CN111414461A (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN107392107A (zh) 一种基于异构张量分解的人脸特征提取方法
Jin et al. Robust ℓ2− Hypergraph and its applications
Liao et al. Face recognition based on dictionary learning and subspace learning
Dong et al. Attention-based polarimetric feature selection convolutional network for PolSAR image classification
Jia et al. Weakly supervised label distribution learning based on transductive matrix completion with sample correlations
CN113033276B (zh) 一种基于转换模块的行为识别方法
CN116108917B (zh) 一种无标记样本增强的半监督图神经网络方法
CN115147607A (zh) 一种基于凸优化理论的抗噪声零样本图像分类方法
Wang et al. Global gated mixture of second-order pooling for improving deep convolutional neural networks
Shu et al. Rank-constrained nonnegative matrix factorization for data representation
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN111126169A (zh) 基于正交化的图正则非负矩阵分解的人脸识别方法及系统
CN114881098A (zh) 一种基于流形正则化转移矩阵的标签噪声估计方法
Wang et al. U-SPDNet: An SPD manifold learning-based neural network for visual classification
Shi et al. Unsupervised domain adaptation based on adaptive local manifold learning
Zhu et al. LIGAA: Generative adversarial attack method based on low-frequency information
Zhang et al. Handwriting representation and recognition through a sparse projection and low-rank recovery framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination