CN116994343B - 基于标签平滑的扩散标签深度学习模型训练方法及介质 - Google Patents

Abstract

本发明公开了一种基于标签平滑的扩散标签深度学习模型训练方法，包括如：步骤1、获取原始训练数据和对应的原始标签；步骤2、将所述原始训练数据和对应的原始标签输入到深度学习模型中；步骤3、对原始训练数据进行混合扩充，得到处理后的混合训练数据；步骤4、根据所述混合训练数据中参与扩充的原始训练数据所对应的原始标签，计算出所述混合训练数据对应的混合标签；步骤5、所述深度学习模型按照扩散的标签平滑方式对原始训练数据、原始标签、混合训练数据和混合标签进行训练，输出预测结果。本发明还提供一种计算机可读存储介质，可以解决泛化性差、过拟合、抗噪能力弱、样本分布和类别不平衡问题。

Description

基于标签平滑的扩散标签深度学习模型训练方法及介质

技术领域

本发明涉及模型训练技术领域，尤其涉及一种基于标签平滑的扩散标签深度学习模型训练方法及介质。

背景技术

人脸识别技术在各种有安全性需求的身份识别鉴定场景有着广泛应用，随着技术的发展，人脸防伪（face anti-spoofing）/活体检测(liveness detection)技术得到了越来越多的关注。

人脸活体检测技术需要获取用于人脸活体检测的原始训练数据进行训练和分析，通常采用深度学习模型对用于人脸活体检测的原始训练数据进行训练。在深度学习模型的训练中，如果在用于人脸活体检测的训练集上拟合的太好可能导致泛化性不足，为了不让模型拟合的太快，也为了对数据中的噪声有一定抵抗作用，有一种标签平滑（labelsmoothing）的方案被提出。通常在深度学习领域将数据集中的错误样本当作噪声。以正样本中的错误样本举例，因为正样本的标签值为1，而错误样本本应该分类为0，却对应到1的标签，会影响模型的训练收敛过程。

在通常的深度学习模型训练中，一般如图1所示（横轴代表模型预测得分，1为正样本的标签值，0为负样本的标签值），大致是存在简单正样本、困难正样本、错误正样本、简单负样本、困难负样本和错误负样本六类数据。将样本标签限制在深度学习模型的标签阈值0.5处附近，如图1所示。如果不作任何处理的情况下，因为神经网络的拟合能力强，最终会快速形成图2这样的局面，可以看到，虽然在训练集上取得了较好的分类效果，但显而易见地，对训练集外的数据泛化能力明显差。简单样本存在过度自信的问题，困难样本区分度不够，而且几乎无法抗衡错误样本带来的噪声问题。而加入单一标签平衡后，可以在一定程度上缓解此类问题，如图3，但这样虽然增强了一部分的模型泛化能力，但仍然无法很好地解决错误数据噪声引发的优化失衡问题。因此，现有技术中没有使用标签平滑或者只使用单一标签平衡的深度学习模型会存在以下几个问题：

1、泛化性差：模型可能会过于自信，忽略一些不确定的情况，分类结果较为极端，依赖原始数据标注的复杂性和准确性。这会导致模型不能很好地泛化到新的数据集上。

2、过拟合：模型可能会在训练集上过拟合，导致在测试集上表现不佳。过拟合是指模型过度拟合训练集的噪声和细节，从而忽略了真正的模式和规律。解决不了原始数据中困难样本的难以拟合问题，以及对训练集中的错误样本作用有限，这可能使得模型优化方向产生偏差。

3、抗噪能力弱：因为原数据中可能存在噪声，不做处理会导致模型区分困难样本和噪声数据的能力变弱。也导致模型对简单样本的预测结果过于极端，影响模型的准确性。4、样本分布和类别不平衡：采用的是传统的机器学习算法，例如决策树、支持向量机等，这些算法对于样本分布和类别不平衡问题的处理能力较弱；对于类别不平衡的数据集，可能会给类别较少的样本过大的权重。这会导致模型对于类别较少的样本分类不准确。

为了进一步增强模型的泛化性以及提高对数据集中噪声的抗干扰能力，提出了一种扩散的标签平滑方式。

发明内容

有鉴于此，本发明的目的在于提出一种基于标签平滑的扩散标签深度学习模型训练方法，使得深度学习模型在训练中平滑系数逐渐变小，而不是只使用单一系数，从而解决泛化性差、过拟合、抗噪能力弱、样本分布和类别不平衡问题。

为了实现上述的技术目的，本发明所采用的技术方案为：

本发明提供了一种基于标签平滑的扩散标签深度学习模型训练方法，包括如下步骤：

步骤1、获取用于人脸活体检测的原始训练数据和对应的原始标签；具体为：

获取用于人脸活体检测的原始训练数据，包括多个原始样本，具体包括多个简单正样本标志T_S、多个困难正样本标志T_H、多个错误正样本标志T_W、多个简单负样本标志F_S、多个困难负样本标志F_H和多个错误负样本标志F_W，其中，T表示正样本，F表示负样本，S表示简单样本，H表示困难样本，W表示错误样本；

所述简单正样本标志T_S、困难正样本标志T_H和错误正样本标志T_W对应的原始标签为1，所述简单负样本标志F_S、困难负样本标志F_H和错误负样本标志F_W对应的原始标签为0；

步骤2、将所述用于人脸活体检测的原始训练数据和对应的原始标签输入到深度学习模型中；

步骤3、对所述用于人脸活体检测的原始训练数据进行混合扩充，得到处理后的用于人脸活体检测的混合训练数据；具体包括：

步骤31、设定混合操作的概率p的取值，p的范围为0＜p＜1；

步骤32、从输入的用于人脸活体检测的原始训练数据中任意选取至少两个原始样本，并生成一个随机数R；

步骤33、判断所述随机数R是否位于0＜R≤p范围内，若是，则对至少两个原始样本进行混合操作，得到混合后的样本；否则，不执行混合操作；

步骤34、重复步骤32-步骤33，得到多个混合后的样本构成用于人脸活体检测的混合训练数据，多个混合后的样本总数M与用于人脸活体检测的原始训练数据中的原始样本总数N一样；

步骤4、根据所述用于人脸活体检测的混合训练数据中参与扩充的用于人脸活体检测的原始训练数据所对应的原始标签，计算出所述用于人脸活体检测的混合训练数据对应的混合标签；

步骤5、将所述用于人脸活体检测的原始训练数据、原始标签、用于人脸活体检测的混合训练数据和混合标签作为人脸活体检测的防伪数据集，所述深度学习模型按照扩散的标签平滑方式对人脸活体检测的防伪数据集进行训练，输出预测结果。

进一步的，所述步骤33中对至少两个原始样本进行混合操作，得到混合后的样本，具体为：

假设从输入的用于人脸活体检测的原始训练数据中任意选取的原始样本个数为n;

若n=2时，从输入的用于人脸活体检测的原始训练数据中任意选取原始样本D₁和原始样本D₂，其中，D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W},则对原始样本D₁和原始样本D₂进行混合操作，得到混合后的样本：/>=，其中/>为混合操作的强度，/>的范围为0≤/>≤1，Mix表示混合操作；

若N＞n≥3且n为整数时，从输入的用于人脸活体检测的原始训练数据中任意选取原始样本D₁、原始样本D₂……原始样本D_n，先对前两个原始样本D₁和D₂进行混合操作，得到的当前混合操作结果再与下一个原始样本继续进行混合操作，以此类推，直至完成原始样本D_n的混合操作，得到最终混合后的样本。

进一步的，所述步骤33中对至少两个原始样本进行混合操作的方式是使用原始样本的像素按不同的权重进行叠加的方式进行混合。

进一步的，所述概率p的选取范围为：0＜p≤0.5，所述混合操作的强度的取值范围为：0.2≤/>≤0.5。

进一步的，所述步骤4具体为：根据所述混合后的样本中参与扩充的原始样本所对应的原始标签，计算出所述混合的样本所对应的混合标签；

假设所述混合后的样本中参与扩充的原始样本个数为n;

若n=2时，所述混合后的样本中参与扩充的原始样本分别为D₁和D₂，其中，D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W},则根据原始样本D₁和D₂对应的原始标签和/>以及混合操作的强度/>，计算出对原始样本D₁和D₂进行混合操作后所得到的混合后的样本/>对应的混合标签L_mix，具体为：L_mix=Mix（/>）；其中，/>表示原始样本D₁对应的原始标签，/>表示原始样本D₂对应的原始标签；

若N＞n≥3且n为整数时，所述混合后的样本中参与扩充的原始样本分别为D₁、D₂……D_n，根据前两个原始样本D₁和D₂对应的原始标签和/>以及混合操作的强度/>，计算出当前混合标签，再根据当前混合标签、下一个原始样本对应的原始标签以及混合操作的强度/>，继续进行混合标签计算，以此类推，直至完成原始样本D_n对应的原始标签/>、上一混合标签以及混合操作的强度/>的混合标签计算，得到由D₁、D₂……D_n进行混合得到的混合后的样本所对应的最终混合标签。

进一步的，所述步骤5具体包括：

步骤51、开始对用于人脸活体检测的原始训练数据和用于人脸活体检测的混合训练数据中的所有样本进行训练，先将所有样本对应的所有标签限制在深度学习模型的标签阈值0.5处附近；其中，标签值的范围在[0,1]；

步骤52、假设正样本对应的标签为，负样本对应的标签为/>；

则经过平滑操作后的正样本标签为：

经过平滑操作后的负样本标签为：

其中，为样本的分类数目，所述深度学习模型中仅存在正样本和负样本两类，因此m=2；/>为随时间变化而变化的标签平滑的平滑系数且/>[0.1, 0.6]；

步骤53、所述深度学习模型按照平滑系数从大到小的顺序依次进行不断平滑训练，达到分离出正样本和负样本的预测结果。

进一步的，所述步骤53之后还包括：

步骤54、对于采用两个原始样本进行混合操作中的原始样本D₁和D₂，则经过平滑操作后的样本标签为：

根据公式计算出参与混合操作的原始样本对应的标签在经过平衡操作后的样本标签，根据平衡操作后的样本标签的平滑作用和收敛速度将简单样本、困难样本和错误样本分离出来；由于简单样本的标签收敛速度＞困难样本的标签收敛速度＞错误样本的标签收敛速度，在平滑训练过程中，错误样本的标签趋向于标签阈值0.5，简单样本的标签和困难样本的标签远离于标签阈值0.5，从而将错误样本的标签分离出来。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的一种基于标签平滑的扩散标签深度学习模型训练方法。

采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：

1.提高了模型的泛化性和鲁棒性：渐进的标签平滑可以在对人脸活体检测的防伪数据集进行训练的过程中逐步增加标签平滑程度，使得模型逐渐适应数据分布，并降低对于噪声数据的敏感性。这样可以提高模型的鲁棒性和泛化能力，使得模型在面对未知数据时表现更好。2.减少了过拟合的风险：由于渐进的标签平滑可以在对人脸活体检测的防伪数据集进行训练的过程中逐步增加平滑程度，因此可以有效地减少过拟合的风险，提高模型的泛化能力。3.抗噪能力强，模型更加可控：由于简单样本的标签收敛速度＞困难样本的标签收敛速度＞错误样本的标签收敛速度，使用渐进的标签平滑方法可以在对人脸活体检测的防伪数据集进行训练的过程中更好地控制标签平滑的程度和增加速度等超参数，以适应不同的任务和数据集。这样可以避免过度平滑或过快增加平滑程度对模型性能的影响，使得模型区分困难样本和错误样本（噪声数据）的能力变强，模型更加可控。4.样本分布和类别不平衡，超参数调整更加灵活：由于简单样本的标签收敛速度＞困难样本的标签收敛速度＞错误样本的标签收敛速度，使用渐进的标签平滑方法可以在对人脸活体检测的防伪数据集进行训练的过程中更好区分出简单样本、困难样本和错误样本，以及区别正样本和负样本，更加灵活，可以根据任务的需要进行调整和优化，以获得更好的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是将样本标签限制在深度学习模型的标签阈值0.5处附近的示意图。

图2是现有技术中没有使用标签平滑的深度学习模型的训练结果示意图。

图3是现有技术中只使用单一标签平衡的深度学习模型的训练结果示意图。

图4是本发明实施例提供的一种基于标签平滑的扩散标签深度学习模型训练方法的流程图。

图5是本发明实施例提供的正样本趋向0.7，负样本趋向0.3的示意图。

图6是本发明实施例提供的正样本趋向0.95，负样本趋向0.05的示意图。

图7是本发明实施例提供的训练数据进行训练的整体示意图。

图8是本发明实施例提供的一种计算机可读存储介质的示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参见图4-图7，本发明的一种基于标签平滑的扩散标签深度学习模型训练方法，包括如下步骤：

步骤1、获取用于人脸活体检测的原始训练数据和对应的原始标签；

在本实施例中，所述步骤1具体为：

获取用于人脸活体检测的原始训练数据，包括多个原始样本，具体包括多个简单正样本标志T_S、多个困难正样本标志T_H、多个错误正样本标志T_W、多个简单负样本标志F_S、多个困难负样本标志F_H和多个错误负样本标志F_W，其中，T表示正样本，F表示负样本，S表示简单样本，H表示困难样本，W表示错误样本；

所述简单正样本标志T_S、困难正样本标志T_H和错误正样本标志T_W对应的原始标签为1，所述简单负样本标志F_S、困难负样本标志F_H和错误负样本标志F_W对应的原始标签为0。原始训练数据仅存在正负两类样本，标签分别为1和0。6类型数据仅仅是对原始训练数据中所有数据存在可能性的描述，为了削弱错误类型数据造成的负面影响，需要从所有样本中区分出错误样本。

步骤2、将所述用于人脸活体检测的原始训练数据和对应的原始标签输入到深度学习模型中；

步骤3、对所述用于人脸活体检测的原始训练数据进行混合扩充，得到处理后的用于人脸活体检测的混合训练数据；

在本实施例中，所述步骤3具体包括：

步骤31、设定混合操作的概率p的取值，p的范围为0＜p＜1；

步骤32、从输入的用于人脸活体检测的原始训练数据中任意选取至少两个原始样本，并生成一个随机数R，0＜R＜1；

步骤33、判断所述随机数R是否位于0＜R≤p范围内，若是，则对至少两个原始样本进行混合操作，得到混合后的样本；否则，不执行混合操作，对于不进行混合操作的原始样本仍然正常参与训练，并用对应的标签进行评估；

步骤34、重复步骤32-步骤33，得到多个混合后的样本构成用于人脸活体检测的混合训练数据，多个混合后的样本总数M与用于人脸活体检测的原始训练数据中的原始样本总数N一样。

在本实施例中，所述步骤33中对至少两个原始样本进行混合操作，得到混合后的样本，具体为：

假设从输入的用于人脸活体检测的原始训练数据中任意选取的原始样本个数为n;

若n=2时，从输入的用于人脸活体检测的原始训练数据中任意选取原始样本D₁和原始样本D₂，其中，D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W},则对原始样本D₁和原始样本D₂进行混合操作，得到混合后的样本：/>=，其中/>为混合操作的强度，也作为第一个样本的像素权重，/>的范围为0≤/>≤1，Mix表示混合操作；/>D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}表示D₁是从T_S、T_H、T_W、F_S、F_H和F_W中任意选择一个，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W}表示D₂是从T_S、T_H、T_W、F_S、F_H和F_W中任意选择一个。

若N＞n≥3且n为整数时，从输入的用于人脸活体检测的原始训练数据中任意选取原始样本D₁、原始样本D₂……原始样本D_n，先对前两个原始样本D₁和D₂进行混合操作，得到的当前混合操作结果再与下一个原始样本继续进行混合操作，以此类推，直至完成原始样本D_n的混合操作，得到最终混合后的样本。

下面给出n(n>2)个输入时的伪代码：

;

;

i=3;

While i ≤n;

;

;

i =i+ 1

在本实施例中，所述步骤33中对至少两个原始样本进行混合操作的方式是使用原始样本的像素按不同的权重进行叠加的方式进行混合。

在本实施例中，所述概率p的选取范围为：0＜p≤0.5，0.5是Mix up（混合操作）的一个常用经验值，即存在50%的概率对样本进行混合操作处理；如果混合的比例过低，造成混合样本的数量过少，不利于训练；如果混合的比例过高，反而会影响深度学习模型的训练效果。当p=0.5时，代表有50%的概率将输入的两个原始样本进行mix up操作得到一个新数据输入模型训练。概率p通常只需要设置一次不再更改，例如：假设p取值0.3，而当生成的随机数R为（0，0.3]时，如0.2，执行混合操作；当生成的随机数R为（0.3,1）时，如0.5，不执行混合操作。

下面给出如何执行判断概率的伪代码：

p=0.3;// 假设 p 取值0.3；flag_mix_up=random.rand();// random.rand将返回一个(0, 1)之间的随机值；ifflag_mix_up<=p:doMixUp;

在本实施例中，所述混合操作的强度的取值范围为：0.2≤/>≤0.5，这是根据实验经验获得的范围。

步骤4、根据所述用于人脸活体检测的混合训练数据中参与扩充的用于人脸活体检测的原始训练数据所对应的原始标签，计算出所述用于人脸活体检测的混合训练数据对应的混合标签；

在本实施例中，所述步骤4具体为：根据所述混合后的样本中参与扩充的原始样本所对应的原始标签，计算出所述混合的样本所对应的混合标签；

假设所述混合后的样本中参与扩充的原始样本个数为n;

若n=2时，所述混合后的样本中参与扩充的原始样本分别为D₁和D₂，其中，D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W},则根据原始样本D₁和D₂对应的原始标签和/>以及混合操作的强度/>，计算出对原始样本D₁和D₂进行混合操作后所得到的混合后的样本/>对应的混合标签L_mix，具体为：L_mix=Mix（/>）；其中，/>表示原始样本D₁对应的原始标签，/>表示原始样本D₂对应的原始标签；比如正样本的标签为1，负样本标签为0，正样本和正样本混合后仍为1，负样本和负样本混合后仍为0，而正负样本混合后，标签取决于混合操作的强度/>；

若N＞n≥3且n为整数时，所述混合后的样本中参与扩充的原始样本分别为D₁、D₂……D_n，根据前两个原始样本D₁和D₂对应的原始标签和/>以及混合操作的强度/>，计算出当前混合标签，再根据当前混合标签、下一个原始样本对应的原始标签以及混合操作的强度/>，继续进行混合标签计算，以此类推，直至完成原始样本D_n对应的原始标签/>、上一混合标签以及混合操作的强度/>的混合标签计算，得到由D₁、D₂……D_n进行混合得到的混合后的样本所对应的最终混合标签。

步骤5、将所述用于人脸活体检测的原始训练数据、原始标签、用于人脸活体检测的混合训练数据和混合标签作为人脸活体检测的防伪数据集，所述深度学习模型按照扩散的标签平滑方式对人脸活体检测的防伪数据集进行训练，输出预测结果。

在本实施例中，所述步骤5具体包括：

步骤51、开始对用于人脸活体检测的原始训练数据和用于人脸活体检测的混合训练数据中的所有样本进行训练，先将所有样本对应的所有标签限制在深度学习模型的标签阈值0.5处附近，如位于0.45-0.55位置上；如图1所示；其中，标签值的范围在[0,1]；

步骤52、假设正样本对应的标签为，负样本对应的标签为/>；

则经过平滑操作后的正样本标签为：

经过平滑操作后的负样本标签为：

其中，为样本的分类数目，所述深度学习模型中仅存在正样本和负样本两类，因此m=2；/>为随时间变化而变化的标签平滑的平滑系数且/>[0.1, 0.6]；

步骤53、所述深度学习模型按照平滑系数从大到小的顺序依次进行不断平滑训练，达到分离出正样本和负样本的预测结果。平滑系数/>采用从大到小的顺序进行平滑是因为在开始时，正负样本的预测值都是0.5左右，开始平滑系数高，让正负样本标签差异小，困难/简单/错误样本等区分度不大，削弱错误样本的负影响；而后随着平滑系数慢慢降低，正负样本的标签差距也逐渐变大，又因为简单样本/困难样本/错误样本的收敛速度不同，从而逐渐区分开来。这样可以避免不使用此方法时的一开始简单样本就过拟合，和错误样本的负反馈。

当=0.6时，由于/>=1，/>=0，m=2，计算出/>0.7，/>0.3；也就是说，采用平滑系数/>=0.6进行平滑操作后，正样本的标签开始从0.5趋向于0.7，负样本的标签开始从0.5趋向于0.3，如图5所示；

当=0.3时，由于/>=1，/>=0，m=2，计算出/>0.85，/>0.15；也就是说，采用平滑系数/>=0.3进行平滑操作后，正样本的标签开始趋向于0.85，负样本的标签开始趋向于0.15；

当=0.1时，由于/>=1，/>=0，m=2，计算出/>0.95，/>0.05；也就是说，采用平滑系数/>=0.1进行平滑操作后，正样本的标签开始趋向于0.95，负样本的标签开始趋向于0.05，如图6所示。

通过慢慢地从0.6到0.1进行平滑操作，即使用了扩散的标签平滑方式，在一开始将标签限制在阈值0.5处附近，并随着训练轮次的增大，逐渐让平滑的标签向两端扩散。这样做目的是限制噪声过早的错误样本对全局优化产生影响，在实际训练中，简单样本收敛速度最快，困难样本收敛较慢，而错误样本收敛最慢，但因为神经网络的性质，在不引入其他操作后，最终噪声的分类也可能收敛。通过扩散的标签平滑，可以逐渐将困难样本和错误样本产生区分度，并同时改善困难样本的收敛能力，而且对简单样本的收敛做抑制，使得深度学习模型更加稳定，泛化性能更好。在经过数轮训练后，可以对原本训练集进行测试，将大部分噪声（错误样本）从原始训练集中剔除或改正，从而进一步提升深度学习模型的总体性能。

在本实施例中，所述步骤53之后还包括：

步骤54、对于采用两个原始样本进行混合操作中的原始样本D₁和D₂，则经过平滑操作后的样本标签为：

根据公式计算出参与混合操作的原始样本对应的标签在经过平衡操作后的样本标签，根据平衡操作后的样本标签的平滑作用和收敛速度将简单样本、困难样本和错误样本分离出来；由于简单样本的标签收敛速度＞困难样本的标签收敛速度＞错误样本的标签收敛速度，在平滑训练过程中，错误样本的标签趋向于标签阈值0.5，简单样本的标签和困难样本的标签远离于标签阈值0.5，从而将错误样本的标签分离出来。随着训练轮次的增加，平滑系数可以随之逐渐变小，达到分离出简单样本，困难样本和错误样本的效果，并提高深度学习模型泛化性。而且使用渐进的标签平滑方式，在经过若干轮次训练后，对训练集进行测试，根据预测得分可以得到简单样本，困难样本和错误样本的大致分布，然后可以集训训练增加样本区分度。

下面补充说明为何每种分类里的困难样本和错误样本会影响模型的表现效果。

首先明确下简单样本、困难样本和错误样本的定义：

简单样本：

简单样本指的是那些在训练数据中相对容易被模型学习和分类的样本。这些样本在特征空间中与其他类别的样本区分明显，往往是模型犯错较少的样本。当模型接触到大量的简单样本时，它往往能够快速收敛并取得不错的训练效果。然而，过多地依赖简单样本可能导致模型过拟合，使其在未见过的数据上表现不佳。困难样本：

困难样本指的是那些在特征空间中与其他类别的样本相似度较高，难以区分的样本。这些样本可能在特定情况下容易被误分类。困难样本对模型的训练是有益的，因为它们迫使模型更深入地理解数据的细微差异，提升其泛化能力。在训练过程中引入困难样本可以帮助模型更好地捕捉边界情况，从而提高其在现实世界中的应用性能。错误样本：错误样本指的是训练数据中被错误标注或者噪声干扰较大的样本。这些样本可能与其真实类别不符，或者在特征空间中存在异常值。错误样本可能会导致模型训练过程中的混淆和误导，使模型学习到错误的模式。在处理错误样本时，通常需要进行数据清洗和校验，以确保训练数据的质量，避免不良影响。

渐进标签平滑举例：最早平滑后的标签：正样本0.7，负样本0.3接着平滑后的标签：正样本0.75，负样本0.25逐渐平滑到：正样本0.85，负样本0.15最终平滑到：正样本0.95，负样本0.05这样使得简单样本不会过早地收敛，困难样本和错误样本也不会对全局模型影响太大，增益了模型的泛化能力。

如图8所示，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于标签平滑的扩散标签深度学习模型训练方法。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于标签平滑的扩散标签深度学习模型训练方法，其特征在于，包括如下步骤：

步骤1、获取用于人脸活体检测的原始训练数据和对应的原始标签；具体为：

获取用于人脸活体检测的原始训练数据，包括多个原始样本，具体包括多个简单正样本标志T_S、多个困难正样本标志T_H、多个错误正样本标志T_W、多个简单负样本标志F_S、多个困难负样本标志F_H和多个错误负样本标志F_W，其中，T表示正样本，F表示负样本，S表示简单样本，H表示困难样本，W表示错误样本；

所述简单正样本标志T_S、困难正样本标志T_H和错误正样本标志T_W对应的原始标签为1，所述简单负样本标志F_S、困难负样本标志F_H和错误负样本标志F_W对应的原始标签为0；

步骤2、将所述用于人脸活体检测的原始训练数据和对应的原始标签输入到深度学习模型中；

步骤3、对所述用于人脸活体检测的原始训练数据进行混合扩充，得到处理后的用于人脸活体检测的混合训练数据；具体包括：

步骤31、设定混合操作的概率p的取值，p的范围为0＜p＜1；

步骤32、从输入的用于人脸活体检测的原始训练数据中任意选取至少两个原始样本，并生成一个随机数R；

步骤33、判断所述随机数R是否位于0＜R≤p范围内，若是，则对至少两个原始样本进行混合操作，得到混合后的样本；否则，不执行混合操作；所述对至少两个原始样本进行混合操作，得到混合后的样本，具体为：

假设从输入的用于人脸活体检测的原始训练数据中任意选取的原始样本个数为n;

若n=2时，从输入的用于人脸活体检测的原始训练数据中任意选取原始样本D₁和原始样本D₂，其中，D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W},则对原始样本D₁和原始样本D₂进行混合操作，得到混合后的样本：/>=，其中/>为混合操作的强度，/>的范围为0≤/>≤1，Mix表示混合操作；

若N＞n≥3且n为整数时，从输入的用于人脸活体检测的原始训练数据中任意选取原始样本D₁、原始样本D₂……原始样本D_n，先对前两个原始样本D₁和D₂进行混合操作，得到的当前混合操作结果再与下一个原始样本继续进行混合操作，以此类推，直至完成原始样本D_n的混合操作，得到最终混合后的样本；

步骤34、重复步骤32-步骤33，得到多个混合后的样本构成用于人脸活体检测的混合训练数据，多个混合后的样本总数M与用于人脸活体检测的原始训练数据中的原始样本总数N一样；

步骤4、根据所述用于人脸活体检测的混合训练数据中参与扩充的用于人脸活体检测的原始训练数据所对应的原始标签，计算出所述用于人脸活体检测的混合训练数据对应的混合标签；具体为：

假设所述混合后的样本中参与扩充的原始样本个数为n;

若n=2时，所述混合后的样本中参与扩充的原始样本分别为D₁和D₂，其中，D₁/>{T_S,T_H,T_W,F_S,F_H,F_W}，/>D₂/>T_S,T_H,T_W,F_S,F_H,F_W},则根据原始样本D₁和D₂对应的原始标签/>和/>以及混合操作的强度/>，计算出对原始样本D₁和D₂进行混合操作后所得到的混合后的样本对应的混合标签L_mix，具体为：L_mix=Mix（/>） />；其中，/>表示原始样本D₁对应的原始标签，/>表示原始样本D₂对应的原始标签；

若N＞n≥3且n为整数时，所述混合后的样本中参与扩充的原始样本分别为D₁、D₂……D_n，根据前两个原始样本D₁和D₂对应的原始标签和/>以及混合操作的强度/>，计算出当前混合标签，再根据当前混合标签、下一个原始样本对应的原始标签以及混合操作的强度/>，继续进行混合标签计算，以此类推，直至完成原始样本D_n对应的原始标签/>、上一混合标签以及混合操作的强度/>的混合标签计算，得到由D₁、D₂……D_n进行混合得到的混合后的样本所对应的最终混合标签；

步骤5、将所述用于人脸活体检测的原始训练数据、原始标签、用于人脸活体检测的混合训练数据和混合标签作为人脸活体检测的防伪数据集，所述深度学习模型按照扩散的标签平滑方式对人脸活体检测的防伪数据集进行训练，输出预测结果；具体包括：

步骤51、开始对用于人脸活体检测的原始训练数据和用于人脸活体检测的混合训练数据中的所有样本进行训练，先将所有样本对应的所有标签限制在深度学习模型的标签阈值0.5处附近；其中，标签值的范围在[0,1]；

步骤52、假设正样本对应的标签为，负样本对应的标签为/>；

则经过平滑操作后的正样本标签为：

经过平滑操作后的负样本标签为：

其中，为样本的分类数目，所述深度学习模型中仅存在正样本和负样本两类，因此m=2；/>为随时间变化而变化的标签平滑的平滑系数且/>[0.1, 0.6]；

步骤53、所述深度学习模型按照平滑系数从大到小的顺序依次进行不断平滑训练，达到分离出正样本和负样本的预测结果；

步骤54、对于采用两个原始样本进行混合操作中的原始样本D₁和D₂，则经过平滑操作后的样本标签为：

根据公式计算出参与混合操作的原始样本对应的标签在经过平衡操作后的样本标签，根据平衡操作后的样本标签的平滑作用和收敛速度将简单样本、困难样本和错误样本分离出来；由于简单样本的标签收敛速度＞困难样本的标签收敛速度＞错误样本的标签收敛速度，在平滑训练过程中，错误样本的标签趋向于标签阈值0.5，简单样本的标签和困难样本的标签远离于标签阈值0.5，从而将错误样本的标签分离出来。

2.如权利要求1所述的基于标签平滑的扩散标签深度学习模型训练方法，其特征在于，所述步骤33中对至少两个原始样本进行混合操作的方式是使用原始样本的像素按不同的权重进行叠加的方式进行混合。

3.如权利要求1所述的基于标签平滑的扩散标签深度学习模型训练方法，其特征在于，所述概率p的选取范围为：0＜p≤0.5，所述混合操作的强度的取值范围为：0.2≤/>≤0.5。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的一种基于标签平滑的扩散标签深度学习模型训练方法。