CN116757261A - 基于带有闭集噪声和开集噪声标签的鲁棒学习方法 - Google Patents

Abstract

本发明公开了一种基于带有闭集噪声和开集噪声标签的鲁棒学习方法，该方法旨在利用有用的开集示例，同时最大限度地减少闭集错误标记示例的负面影响。本发明分为两个阶段，第一阶段中，利用干净样本选择策略做训练初始化，并记录下来样本修正标记以及标记修正记录供第二阶段优化；在第二阶段中，利用Class Expansion的思想，将部分开集样本融入已知类进行训练，将剩余的具有判别性的开集样本进一步帮助模型提升其判别性。本发明方法针对数据集中存在闭集噪声和开集噪声的问题，使用了类扩展的思想，接纳了一部分开集类别样本，并且充分利用了剩余的开集样本，进一步提升了深度学习模型的准确率。

Description

基于带有闭集噪声和开集噪声标签的鲁棒学习方法

技术领域

本发明涉及一种基于带有闭集噪声和开集噪声标签的鲁棒学习方法。

背景技术

深度神经网络（DNN）在各种任务中取得了显著的成功，例如图像分类、物体检测、语音识别和机器翻译。但需要注意的是，这样的成功主要归因于大量高质量注释的数据，而在实践中收集这些数据是昂贵甚至不可行的。事实上，现有的大部分基准数据集都是从搜索引擎或网络爬虫中收集的，这不可避免地涉及到噪声标记。

鉴于DNN的强大学习能力，模型最终将过度拟合噪声标记，导致泛化性能差。为了缓解这个问题，开发能够学习噪声标记的强大模型具有重要意义，而在存在闭集噪声的同时也存在开集噪声，因此，在这个问题中对开集噪声的处理至关重要。

曾有研究表明模型在训练过程中面对开集样本的行为，并观察到一些开集类别与多个闭集类别集成在一起，称之为Class Expansion。具体来说，对带标记的闭集样本进行训练，并对开集示例生成伪标记以促进学习，这种方法不会损害模型学习，甚至一些特定的开放集类别的示例得到了很好的分类。此外，其他开集示例均匀分布在多个封闭集类别中。另外，在训练过程中添加适当的开集示例甚至可以提高模型的性能。

发明内容

本发明的目的在于提出一种基于带有闭集噪声和开集噪声标签的鲁棒学习方法，该方法针对数据集中存在闭集噪声和开集噪声的问题，旨在最大限度地减少闭集错误标记示例的负面影响的同时，最大化有用的开集示例对模型学习过程中带来的收益。

本发明为了实现上述目的，采用如下技术方案：

基于带有闭集噪声和开集噪声标签的鲁棒学习方法，包括以下步骤：

步骤1. 获取带有闭集噪声和开集噪声的数据集；其中，D表示由图像x _i 以及对应的噪声标记y _i 组成的数据集，N为D中的样本总数，i=1,…,N；

步骤2. 开始预训练，并初始化当前预训练次数t ₀和预训练总次数T ₀；确定干净样本挑选方法，并初始化干净样本筛选率参数ρ和λ；

步骤3. 搭建深度学习模型M ₀以及损失函数L _ce ；

步骤4. 将数据集D中图像x _i 和对应的标记y _i 输入到模型M ₀进行预训练，训练T ₀轮，在预训练阶段样本输入模型后获得对应的输出，并结合标记计算出样本的交叉熵损失；

步骤5. 判断当前预训练次数t ₀是否达到预训练总次数T ₀；

若当前预训练次数t ₀未达到预训练总次数T ₀，返回步骤4继续训练；否则进行如下处理：

对得到的数据集D上所有样本的交叉熵损失从小到大进行升序排列，然后根据干净样本挑选方法选择干净样本参与训练，并为非干净样本打上伪标记；

将干净样本作为有监督数据集D _clean ，将非干净样本作为无监督数据集D _dirty ；

步骤6. 将干净样本标记与非干净样本的伪标记结合，获得数据集D上的更为精确的标记以及修正记录T，用于下述步骤8中的优化训练阶段；

步骤7. 重新搭建深度学习模型M ₁以及分类损失L _cls 、对比损失L _cont ；其中，分类损失L _cls 用于帮助模型分类，对比损失L _cont 用于帮助模型获得更优的表征学习能力；

步骤8. 开始优化训练，并初始化当前训练次数t ₁和训练总次数T ₁，利用干净样本生成类别原型；并根据原型做开集决策；并维持一个动量队列；

步骤9. 判断当前训练次数t ₁是否达到训练总次数T ₁；若当前训练次数t ₁未达到训练总次数T ₁，则返回步骤8继续训练；否则转到步骤10；

步骤10. 模型训练完成后，得到能够在数据集上执行分类预测任务的深度学习模型M ₁，利用该训练好的深度学习模型M ₁对输入图像进行类别预测。

本发明具有如下优点：

如上所述，本发明述及了一种基于带有闭集噪声和开集噪声标签的鲁棒学习方法，该方法提出了一个两步学习框架来解决开集噪声标记学习问题，旨在利用有用的开集示例，同时最大限度地减少闭集错误标记示例的负面影响。在第一步中，本发明采用成熟的方法来处理噪声标记，并保持闭合集类别的基本概念，为了进一步提高模型的预测准确性，本发明采用改良过的对比学习方案，在第二步训练过程中包括选择的开集示例，此外，本发明使用其余被忽略的开集示例作为分界点，以增强模型的表示学习能力。

附图说明

图1是本发明实施例中基于带有闭集噪声和开集噪声标签的鲁棒学习方法的流程图。

图2是本发明实施例中整体模型的结构示意图。

图3是本发明实施例中筛选干净样本的流程示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

本实施例述及了一种基于带有闭集噪声和开集噪声标签的鲁棒学习方法，该方法旨在利用有用的开集示例，同时最大限度地减少闭集错误标记示例的负面影响。本发明分为两个阶段，第一阶段中，利用干净样本选择策略做训练初始化，并记录下来样本修正标记以及标记修正记录供第二阶段优化，在第二阶段中，利用Class Expansion的思想，将部分开集样本融入已知类进行训练，将剩余的具有判别性的开集样本进一步帮助模型提升其判别性。

如图1所示，基于带有闭集噪声和开集噪声标签的鲁棒学习方法，包括以下步骤：

步骤1. 获取带有闭集噪声和开集噪声的数据集；其中N为数据集D中的样本总数；D代表由原始图像x _i 以及对应的噪声标记y _i 组成的数据集，i=1,…,N。

步骤2. 开始预训练，初始化各项参数，包括当前预训练次数t ₀和预训练总次数T ₀，确定干净样本挑选方法，并初始化干净样本筛选率参数ρ和λ。

其中，参数ρ控制每类挑选样本数量均衡，λ用于挑选样本的置信度阈值。本实施例中确定的干净样本挑选方法包括CSS以及MHCS样本选择方法。

下面对CSS以及MHCS两种样本选择方法作如下说明：

Class-wise Small-loss Selection (CSS)的具体策略为：根据模型预测将整个训练数据分成C个集合S _j ={(x _i ,y _i )|j=argmax _j∈Sj f _j (x _i )}。

其中，x _i 、y _i 表示第i个样本及其标记，f _j (x _i )表示对样本x _i 关于第j类的预测概率，argmax _j∈Sj f _j (x _i )表示对样本x _i 预测概率最高的类别。

对于第j个集合，计算每个示例的交叉熵损失值l _i ，并选择k=min(ρn/C,|S _j |)个具有最小l _i 的示例作为干净示例，其中n为数据集D中的样本总数。

与原始的小损失选择方法相比，本发明将k与平均每个类别n/C的示例数量相关联，这样可以产生大致平衡的小损失集合。

Matched High-Confidence Selection (MHCS) 的具体策略为：

为每个示例计算置信度分数。也就是说，选择那些具有高置信度e _i ≥λ的示例，同时它们的预测结果也应该与给定的标记匹配。

在实践中，本发明设置一个高阈值，以使所选样本的干净概率更高。

步骤3. 搭建深度学习模型M ₀以及损失函数L _ce 。

步骤4. 将数据集D中图像x _i 和对应的标记y _i 输入到模型M ₀进行预训练，训练T ₀轮，在预训练阶段样本输入模型后获得对应的输出，并结合标记计算出样本的交叉熵损失。

深度学习模型M ₀包括特征提取器F以及分类器G。

对深度学习模型M ₀进行预训练的过程如下：

步骤4.1. 将数据集D中的图像x _i 输入特征提取器F中得到高维特征f _i 。

其中，f _i =F(x _i )。

步骤4.2. 将高维特征f _i 输入分类器G中，得到类别预测结果p _i =G(f _i )，再利用交叉熵函数L _ce 计算类别预测结果p _i 和与图像x _i 对应的噪声标记y _i 之间的交叉熵损失l _i 。

。

其中，p _i 是深度学习模型M ₀对图像x _i 的类别预测结果；是步骤6中获得的标记/>中对应的标记，p _i ^c 是深度学习模型M ₀对图像x _i 在类别c上的预测概率值，/>是步骤6中获得的标记/>关于图像x _i 的独热编码在类别c上的值，C表示数据集D中的类别总数，c∈[1,C]。

步骤5. 判断当前预训练次数t ₀是否达到预训练总次数T ₀。

若当前预训练次数t ₀未达到预训练总次数T ₀，返回步骤4继续训练；否则进行如下处理：

如图3所示，对得到的数据集D上所有样本的交叉熵损失从小到大进行升序排列，然后根据干净样本挑选方法选择干净样本参与训练，并为非干净样本打上伪标记。

将干净样本作为有监督数据集D _clean ，将非干净样本作为无监督数据集D _dirty 。

步骤6. 将干净样本标记与非干净样本的伪标记结合，获得完整数据集D上的更为精确的标记（对于每一个样本，若被视为了干净，则它的标记不变；反之则将其标记更改为模型预测的标记），以及修正记录T，用于下述步骤8中的优化训练阶段。

修正记录T用于表示数据集中每个样本标记是否被修改，其表达式如下：

。

其中，表示数据集中样本x _i 的修正记录；/>的取值为0或1；当=0时，表明样本x _i 被视为了干净样本，其标记没被修改；当/>=1时，表明样本x _i 标记被模型修改过。

步骤7. 重新搭建深度学习模型M ₁以及分类损失L _cls 、对比损失L _cont ；其中，分类损失L _cls 用于帮助模型分类，对比损失L _cont 用于帮助模型获得更优的表征学习能力。

尽管在步骤6中获得了相对干净的标记，但没有对开集样本进行处理并挖掘有用的信息，因此，在步骤7中设计了监督对比损失项来最大化开集样本所带来的收益。

如图2所示，搭建深度学习模型M ₁，对于每个输入深度学习模型M ₁的样本标记对(x,)，通过随机数据增强函数分别生成两个视图，即query视图a1(x)和key视图a2(x)。

其中，x表示输入模型的样本，表示步骤6中获取的样本对应的标记。

再将query视图a1(x)和key视图a2(x)分别送入backbone网络g和backbone网络g＇中；其中，网络g后面分别接了一个多层感知机qn和一个分类头ch，网络g＇后面接了一个多层感知机kn，从而产生一对L ₂规范化的嵌入向量q=qn(g(a1(x)))和k=kn(g＇(a2(x)))。

其中，g＇是由g动量更新而来，kn是qn由动量更新而来。

将qn·g称为query分支，将kn·g＇称为key分支。

使用动量更新方法来更新key分支网络；维护一个动量队列queue，按时间顺序存储最近的键嵌入向量，并不断地在训练过程中以先入先出的方式更新该动量队列queue。

结合当前训练batch中的嵌入向量以及动量队列queue中维护的嵌入向量，得到对比嵌入向量池：A=B _q ∪B _k ∪queue。

其中，B _q 和B _k 分别表示对当前训练batch中query视图的嵌入向量和key视图的嵌入向量，A表示B _q 和B _k 以及维护的动量队列的并集。

将query视图的嵌入向量简称query嵌入向量，将key视图的嵌入向量简称key嵌入向量。

对于样本x，每个样本x输入深度学习模型M ₁所获得的对比损失由将其query嵌入向量与对比嵌入向量池A进行对比，以获得监督对比损失。

步骤8. 开始优化训练，初始化参数，包括当前训练次数t ₁和训练总次数T ₁，利用干净样本生成类别原型并根据原型做开集决策。

其中开集决策阈值为φ，并维持一个动量队列，动量队列长度ι。

在优化训练阶段，根据干净样本生成干净的类别原型，然后利用原型去引导开集决策，对于决策为开集的样本，由于其显著地不同于任何已知类，它通常处于类间，本发明便可利用它的这种“中间性”来增强模型学习在已知类之间的判别性。

步骤8.1. 将有监督数据集D _clean 中的图像x _i 的弱增强版本a1(x _i )和强增强版本a2(x _i )分别输入query网络和key网络，分别得到q _i =qn(g(a1(x _i )))和k _i =kn(g＇(a2(x _i )))。

获得q _i 和k _i 后，会再进行一次L ₂规范化，获得最终的嵌入向量，即q _i =L2(q _i )，k _i =L2(k _i )。

其中，图像x _i 为D _clean 中的图像，a1(x _i )是图像x _i 通过缩放、旋转操作后得到的新图像，a2(x _i )是图像x _i 通过不同程度变化以及扰动得到的严重失真的新图像。

步骤8.2. 首先进行warm up训练。

对于D _clean 中的图像即样本，根据步骤8.1为每一个样本提取到特征q _i 后，根据类别为q _i 分组，然后再对每一个样本进行标准化，并据此为每一个类生成一个原型Q _c 。

。

其中，n _c 表示第c类的样本个数，表示第c类的第j个样本的嵌入向量，j∈[1,n _c ]。在训练过程中不断地用对应类别样本的特征以动量更新的方式更新原型Q _c 。

Q _c =Normalize(γQ _c +(1-γ)q)。

其中，q表示输入样本的嵌入向量，其类别为c，Q _c 表示类别c的原型；Normalize(·)表示对向量的标准化操作，γ是一个动量移动参数。

定义g(a1(x _i ))表示a1(x _i )经过backbone网络g的输出特征，则将特征g(a1(x _i ))输入分类头ch中，得到类别预测结果p _i =ch(g(a1(x _i )))。

利用交叉熵函数L _ce 分别计算类别预测结果p _i 与图像x _i 对应的标记之间的交叉熵损失之和以优化query分支的g和多层感知机qn；/>是步骤6中获得的/>中对应的标记。

步骤8.3. 若样本x _i 对应的修正记录=1，则证明标记被修正过，修正之后的标记记为/>，按步骤8.1中提取到的x _i 对应的特征q _i 与对应的原型/>做距离度量。

经过计算若距离小于φ，则该样本x _i 以Class Expansion的形式引入已知类中；否则，将样本x _i 视为具有判别性的开集样本，并进一步帮助模型学习类别之间的判别性。

若样本x _i 对应的修正记录=0，则样本x _i 为干净样本，正常参与模型优化训练。

其中，φ为开集决策阈值，表示类别标记/>对应的原型。

对于一个样本标记对(x _i ,)，该样本标记对经过query分支得到的嵌入向量为：q _i =qn(g(a1(x _i )))，那么正常参与训练的样本定义为：

F _x =I((=0)或者 (/>=1且Distance(q _i ,/>)<φ) )。

其中，F _x 表示正常参与训练的样本；I(·)表示指示函数，是一个随机变量，当事件发生时指示函数取值为 1，当事件不发生时指示函数取值为 0。

表示样本x _i 在步骤6中获得的修正标记。

将所有样本以及其对应的类别标记存入动量队列中，以构造对比学习正例对以及利用具有判别性的开集样本帮助模型深度学习模型M ₁的学习。

下面将为D _clean 和D _dirty 两部分分别构造正例集合以进行监督对比学习。

D _clean 部分的正例集合P _clean (x)表示为：

P _clean (x)={k|k∈A(x),y=,T _x =0}。

其中，A(x)={A\(q)}；A=B _q ∪B _k ∪queue，q表示qn(g(a1(x)))，A\(q)表示A去掉q之后的集合；T _x 表示样本x的修正标记，T _x =0说明样本x为干净样本。

表示图像x在步骤6中获得的标记/>中对应的标记。

D _dirty 部分的正例集合P _dirty (x)表示为：

P _dirty (x)={k|k∈A(x),y=,T _x =1,Distance(k,Q _y )<φ}。

其中，T _x =1说明样本x标记在预训练阶段被模型M ₀修正过，Distance(k,Q _y )<φ表示嵌入向量k与类别y的原型的距离是否小于开集决策阈值φ。

正例集合P(x)表示为：P(x)=P _clean (x) ∪P _dirty (x)。

步骤8.4. 根据步骤8.1中得到的q _i 和k _i ，计算样本x _i 的正负样本对在低维特征空间中的距离，利用监督对比损失L _cont 优化模型，具体的形式为：

。

其中，k ₊表示正例集合P(x _i )中的所有样本。

τ是温度参数，k＇表示A(x _i )中的所有样本，即k＇∈A(x _i )。

另外，分类损失L _cls 的公式如下：

。

其中，是步骤8.3中用来区分开集样本是否融入已知类的决策记录；当/>=1时，I(/>=1)返回1，否则返回0；N是样本个数，C是类别总数，i∈[1,N]，j∈[1,C]。

步骤8.5. 结合步骤8.4，构造出深度学习模型M ₁优化的总体Loss：

Loss=L _cls +βL _cont 。

其中，β是调节对比Loss权重的参数。

步骤8.6. 根据步骤8.5的Loss更新query分支以及分类头ch后，再以动量更新的方式去更新key分支的backbone网络g＇和多层感知机kn。

本发明根据得到的标记以及修正记录，利用基于原型的开集决策方式区分出作为类扩充的开集样本和可辨别的具有明显区分度的开集样本，将类扩充的开集样本视为正常已知类样本参与训练，将可辨别的开集样本参与对比学习以帮助模型获取更加具有判别性的表征。

步骤9. 判断当前训练次数t ₁是否达到训练总次数T ₁；若当前训练次数t ₁未达到训练总次数T ₁，则返回步骤8继续训练；否则转到步骤10。

步骤10. 模型训练完成后，得到能够在数据集上执行分类预测任务的深度学习模型M ₁，利用该训练好的深度学习模型M ₁对输入图像进行类别预测。

本发明方法针对数据集中存在闭集噪声和开集噪声的问题，使用了类扩展的思想，接纳了一部分开集类别样本，并且充分利用了剩余的开集样本，提升了模型的预测准确率。

当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。

Claims (7)

1.基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，包括以下步骤：

步骤1. 获取带有闭集噪声和开集噪声的数据集 ；其中，D表示由图像x _i 以及对应的噪声标记y _i 组成的数据集，N为D中的样本总数，i=1,…,N；

步骤2. 开始预训练，并初始化当前预训练次数t ₀和预训练总次数T ₀；确定干净样本挑选方法，并初始化干净样本筛选率参数ρ和λ；

步骤3. 搭建深度学习模型M ₀以及损失函数L _ce ；

步骤4. 将数据集D中图像x _i 和对应的标记y _i 输入到模型M ₀进行预训练，训练T ₀轮，在预训练阶段样本输入模型后获得对应的输出，并结合标记计算出样本的交叉熵损失；

步骤5. 判断当前预训练次数t ₀是否达到预训练总次数T ₀；

若当前预训练次数t ₀未达到预训练总次数T ₀，返回步骤4继续训练；否则进行如下处理：

对得到的数据集D上所有样本的交叉熵损失从小到大进行升序排列，然后根据干净样本挑选方法选择干净样本参与训练，并为非干净样本打上伪标记；

将干净样本作为有监督数据集D _clean ，将非干净样本作为无监督数据集D _dirty ；

步骤6. 将干净样本标记与非干净样本的伪标记结合，获得数据集D上的更为精确的标记以及修正记录T，用于下述步骤8中的优化训练阶段；

步骤7. 重新搭建深度学习模型M ₁以及分类损失L _cls 、对比损失L _cont ；其中，分类损失L _cls 用于帮助模型分类，对比损失L _cont 用于帮助模型获得更优的表征学习能力；

步骤8. 开始优化训练，并初始化当前训练次数t ₁和训练总次数T ₁，利用干净样本生成类别原型；并根据原型做开集决策；并维持一个动量队列；

步骤9. 判断当前训练次数t ₁是否达到训练总次数T ₁；若当前训练次数t ₁未达到训练总次数T ₁，则返回步骤8继续训练；否则转到步骤10；

步骤10. 模型训练完成后，得到能够在数据集上执行分类预测任务的深度学习模型M ₁，利用该训练好的深度学习模型M ₁对输入图像进行类别预测。

2.根据权利要求1所述的基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，所述步骤2中，干净样本挑选方法包括CSS以及MHCS样本选择方法。

3.根据权利要求1所述的基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，所述步骤2中，ρ用于控制每类挑选样本数量均衡，λ为挑选样本的置信度阈值。

4.根据权利要求1所述的基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，所述步骤4中，深度学习模型M ₀包括特征提取器F以及分类器G；

对深度学习模型M ₀进行预训练的过程如下：

步骤4.1. 将数据集D中的图像x _i 输入特征提取器F中得到高维特征f _i ；

其中，f _i =F(x _i )；

步骤4.2. 将高维特征f _i 输入分类器G中，得到类别预测结果p _i =G(f _i )，再利用交叉熵函数L _ce 计算类别预测结果p _i 和与图像x _i 对应的噪声标记y _i 之间的交叉熵损失l _i ；

；

其中，p _i 是深度学习模型M ₀对图像x _i 的类别预测结果；是步骤6中获得的标记/>中对应的标记，p _i ^c 是深度学习模型M ₀对图像x _i 在类别c上的预测概率值，/>是步骤6中获得的标记关于图像x _i 的独热编码在类别c上的值，C表示数据集D中的类别总数，c∈[1,C]。

5.根据权利要求1所述的基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，所述步骤6具体为：

利用干净样本训练模型，再对非干净样本打上已知类伪标记，将干净样本的标记以及非干净样本的伪标记结合，记录为数据集D的标记；同时记录样本的标记是否被更改，得到修正记录T，用于表示数据集中每个样本标记是否被修改，其表达式如下：

；

其中，表示数据集中样本x _i 的修正记录；/>的取值为0或1；当/>=0时，表明样本x _i 被视为了干净样本，其标记没被修改；当/>=1时，表明样本x _i 标记被模型修改过。

6.根据权利要求1所述的基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，所述步骤7具体为：

搭建深度学习模型M ₁，对于每个输入深度学习模型M ₁的样本标记对(x, )，通过随机数据增强函数分别生成两个视图，即query视图a1(x)和key视图a2(x)；

其中，x表示输入模型的样本，表示步骤6中获取的样本对应的标记；

再将query视图a1(x)和key视图a2(x)分别送入backbone网络g和backbone网络g＇中；其中，网络g后面分别接了一个多层感知机qn和一个分类头ch，网络g＇后面接了一个多层感知机kn，从而产生一对L ₂规范化的嵌入向量q=qn(g(a1(x)))和k=kn(g＇(a2(x)))；

其中，g＇是由g动量更新而来，kn是qn由动量更新而来；

将qn·g称为query分支，将kn·g＇称为key分支；

使用动量更新方法来更新key分支网络；维护一个动量队列queue，按时间顺序存储最近的键嵌入向量，并不断地在训练过程中以先入先出的方式更新该动量队列queue；

结合深度学习模型M ₁当前训练batch中的嵌入向量以及动量队列queue中维护的嵌入向量，得到对比嵌入向量池：A=B _q ∪B _k ∪queue；

其中，B _q 和B _k 分别表示对当前训练batch中query视图的嵌入向量和key视图的嵌入向量，A表示B _q 和B _k 以及维护的动量队列的并集；

将query视图的嵌入向量简称query嵌入向量，将key视图的嵌入向量简称key嵌入向量；

对于样本x，每个样本x输入深度学习模型M ₁所获得的对比损失由将其query 嵌入向量与对比嵌入向量池A进行对比，以获得监督对比损失。

7.根据权利要求6所述的基于带有闭集噪声和开集噪声标签的鲁棒学习方法，其特征在于，所述步骤8具体为：

步骤8.1. 将有监督数据集D _clean 中的图像x _i 的弱增强版本a1(x _i )和强增强版本a2 (x _i )分别输入query网络和key网络，分别得到q _i =qn(g(a1 (x _i )))和k _i =kn(g＇(a2 (x _i )))；

获得q _i 和k _i 后，会再进行一次L ₂规范化，获得最终的嵌入向量，即q _i =L2(q _i )，k _i =L2(k _i )；

其中，图像x _i 为D _clean 中的图像，a1(x _i )是图像x _i 通过缩放、旋转操作后得到的新图像，a2(x _i ) 是图像x _i 通过不同程度变化以及扰动得到的严重失真的新图像；

步骤8.2. 首先进行warm up训练；

对于D _clean 中的图像即样本，根据步骤8.1为每一个样本提取到特征q _i 后，根据类别为q _i 分组，然后再对每一个样本进行标准化，并据此为每一个类生成一个原型Q _c ：

；

其中，n _c 表示第c类的样本个数，q _cj 表示第c类的第j个样本的嵌入向量，j∈[1, n _c ]；

在训练过程中不断地用对应类别样本的特征以动量更新的方式更新原型Q _c ；

Q _c =Normalize(γQ _c +(1-γ)q)；

其中，q表示输入样本的嵌入向量，其类别为c，Q _c 表示类别c的原型；Normalize(·)表示对向量的标准化操作，γ是一个动量移动参数；

定义g(a1(x _i ))表示a1(x _i )经过backbone网络g的输出特征，则将特征g(a1(x _i ))输入分类头ch中，得到类别预测结果p _i =ch(g(a1 (x _i )))；

利用交叉熵函数L _ce 分别计算类别预测结果p _i 与图像x _i 对应的标记之间的交叉熵损失之和以优化query分支的g和多层感知机qn，/>是步骤6中获得的/>中对应的标记；

步骤8.3. 若样本x _i 对应的修正记录=1，则证明标记被修正过，修正之后的标记记为，按步骤8.1中提取到的x _i 对应的特征q _i 与对应的原型/>做距离度量；

经过计算若距离小于φ，则该样本x _i 以Class Expansion的形式引入已知类中；否则，将样本x _i 视为具有判别性的开集样本，并进一步帮助模型学习类别之间的判别性；

若样本x _i 对应的修正记录=0，则样本x _i 为干净样本，正常参与模型优化训练；

其中，φ为开集决策阈值，表示类别标记/>对应的原型；

对于一个样本标记对(x _i , )，该样本标记对经过query分支得到的嵌入向量为：q _i =qn(g(a1(x _i )))，那么正常参与训练的样本定义为：

F _x =I((=0)或者 (/>=1且Distance(q _i , />)<φ) )；

其中，F _x 表示正常参与训练的样本；I(·)表示指示函数，I(·)是一个随机变量，当事件发生时指示函数取值为 1，当事件不发生时指示函数取值为 0；

表示样本x _i 在步骤6中获得的修正标记；

将所有样本以及其对应的类别标记存入动量队列中，以构造对比学习正例对以及利用具有判别性的开集样本帮助模型深度学习模型M ₁的学习；

下面将为D _clean 和 D _dirty 两部分分别构造正例集合以进行监督对比学习；

D _clean 部分的正例集合P _clean (x)表示为：

P _clean (x)={k| k∈A(x),y=,T _x =0}；

其中，A(x)={A(q)}；A=B _q ∪B _k ∪queue，q表示qn(g(a1 (x)))，A(q)表示A去掉q之后的集合；T _x 表示样本x的修正标记，T _x =0说明样本x为干净样本；

表示图像x在步骤6中获得的标记/>中对应的标记；

D _dirty 部分的正例集合P _dirty (x)表示为：

P _dirty (x)={k| k∈A(x),y=,T _x =1,Distance(k,Q _y )< φ}；

其中，T _x =1说明样本x标记在预训练阶段被模型M ₀修正过，Distance(k,Q _y )< φ表示嵌入向量k与类别y的原型的距离是否小于开集决策阈值φ；

正例集合P (x)表示为：P (x)=P _clean (x) ∪P _dirty (x)；

步骤8.4. 根据步骤8.1中得到的q _i 和k _i ，计算样本x _i 的正负样本对在低维特征空间中的距离，利用监督对比损失L _cont 优化模型，具体的形式为：

；

其中，k ₊表示正例集合P (x _i )中的所有样本；

τ是温度参数，k＇表示A(x _i )中的所有样本，即k＇∈A(x _i )；

另外，分类损失L _cls 的公式如下：

；

其中，是步骤8.3中用来区分开集样本是否融入已知类的决策记录；当/>=1时，I(=1)返回1，否则返回0；N是样本个数，C是类别总数，i∈[1,N]，j∈[1,C]；

步骤8.5. 结合步骤8.4，构造出深度学习模型M ₁优化的总体Loss：

Loss=L _cls +βL _cont ；

其中，β是调节对比Loss权重的参数；

步骤8.6. 根据步骤8.5的Loss更新query分支以及分类头ch后，再以动量更新的方式去更新key分支的backbone网络g＇和多层感知机kn。