CN111597907A - 基于抗噪声元学习的人脸识别方法及系统 - Google Patents

Abstract

本发明公开了基于抗噪声元学习的人脸识别方法及系统，首先准备人脸识别数据集，并且数据集中存在大量噪声标签，然后对数据进行预处理，生成噪声标签，并按照特定方法初始化权重参数；随后构建人脸识别模型及其元学习模型学习策略并开始训练以及进行权重参数的更新。在该过程中，训练元学习模型并对其权重参数进行更新；最后采用元学习模型学习策略对人脸识别模型的参数进行优化，将待识别人脸数据输入优化后的人脸识别模型，得到人脸识别结果。本发明可广泛应用于基于各个大型人脸识别数据集，尤其是网络上便于采集的、廉价的、具有不规则标签噪声的数据集的人脸识别。

Description

基于抗噪声元学习的人脸识别方法及系统

技术领域

本发明涉及人脸识别技术领域，尤其涉及基于抗噪声元学习的人脸识别方法及系统。

背景技术

人脸识别的应用范围十分广阔，如视频监控、签到系统、人机交互等，由于其非强制性和非接触性，并且直观、简便，使得人脸识别具有良好的发展前景。传统的人脸识别的做法是采集人脸的图像，从图像中抽取人脸特征进行识别。随后的发展中，基于支持向量机、基于小波变换、基于神经网络的人脸识别都不断出现。随着深度学习的发展，使用大样本人脸图像数据集训练深层神经网络模型进行人脸识别逐渐成为主流方法。这些人脸识别需要庞大的数据集进行深度神经网络的训练，而网络中廉价的大数据样本中会存在相当一部分的错误标签，这会使得训练的深度学习模型不稳定，效果不佳。尽管可以过滤和除去错误的标签，但这样做代价很大。

发明内容

本发明为解决由于大型人脸识别数据集存在较多错误标签，使得训练后的人脸识别模型存在不稳定，识别效果不佳的问题，提供了基于抗噪声元学习的人脸识别方法及系统。

为实现以上发明目的，而采用的技术手段是：

基于抗噪声元学习的人脸识别方法，包括以下步骤：

S1.获取人脸数据集及其相应标签，所述标签中包括噪声标签及干净标签；

S2.对所述人脸数据集进行预处理，对于其中各人脸数据，生成合成噪声标签，且各人脸数据初始化为相同的权重参数；

S3.构建人脸识别模型及其元学习模型学习策略，所述人脸识别模型的输入为待识别的人脸数据，输出所述待识别的人脸数据的识别结果；所述元学习模型学习策略采用梯度下降算法更新人脸识别模型的权重参数；

S4.训练元学习模型，并对其权重参数进行更新；

S5.采用元学习模型学习策略对所述人脸识别模型的参数进行优化，将待识别人脸数据输入优化后的人脸识别模型，得到人脸识别结果。

优选的，所述步骤S2具体包括步骤：从所述人脸数据集中采样取得小批量人脸数据(X,Y)，其中X＝{x₁,…,x_k}是k个人脸数据，Y＝{y₁,…,y_k}是各人脸数据相应的噪声标签；对于每个噪声标签，生成多个噪声标签{Y′_1,…,Y′_M}，其分布与Y相似，从而一组生成的噪声标签Y′_m＝{y′_m1,…,y′_mk}；对于各人脸数据均初始化为相同的权重参数。

优选的，所述步骤S4具体包括步骤：

S41.从含k个人脸数据的小批量人脸数据中随机选择若干个样本，对于每个选定的样本X_i，根据其所在小批量人脸数据对其相邻的样本进行排序；

S42.从中随机选择一个相邻样本x_i,以及该x_i最接近的前s个邻居，并使用邻居的标签Y_i替换X_i的标签，即得到生成的噪声标签

S43.重复执行M次步骤S41和S42，生成M个小批量的噪声标签；θ表示当前模型的参数，对于每个合成的小批量人脸识别数据集样本，在其所在小批量人脸数据上使用梯度下降算法将θ更新为θ′_m，公式如下：

X表示人脸数据，

表示生成的噪声标签，步长α是固定的超参数。

优选的，所述步骤S5具体包括步骤：

将θ参数化的模型定义为学生模型，构造由θ′参数化的教师模型，其参数为学生参数的指数移动平均值；每次训练时采用以下公式更新教师模型的参数：

θ′＝γθ′+(1-γ)θ

其中γ是平滑系数超参数；

由于教师模型不受合成噪声标签的影响，因此强制计算一致性损失，该一致性损失确保每个更新的模型参数θ′_m与同一输入样本上的教师模型具有一致的预测；元损失定义为所有一致性损失的平均值，对元学习的损失函数进行梯度下降，在元学习权重参数更新之后，对原始的小批量人脸数据进行随机梯度下降优化分类损失函数；

多次迭代以上步骤，直至元训练模型与教师模型预测稳定相同且达到预设准确率，得到优化后的基于抗噪声元学习的人脸识别模型，将待识别人脸数据输入该模型后得到人脸识别结果。

本发明还提供了基于抗噪声元学习的人脸识别系统，包括：

数据获取模块，用于获取人脸数据集及其相应标签，所述标签中包括噪声标签及干净标签；

数据初始化模块，用于所述人脸数据集进行预处理，对于其中各人脸数据，生成合成噪声标签，且对各人脸数据初始化相同的权重参数；

人脸识别模型及其元学习模型学习策略构建模块，用于构建人脸识别模型及其元学习模型学习策略，所述人脸识别模型的输入为待识别的人脸数据，输出所述待识别的人脸数据的识别结果；所述元学习模型学习策略采用梯度下降算法更新人脸识别模型的权重参数；

元学习模型训练模块，用于训练元学习模型，并对其权重参数进行更新；

人脸识别模型优化及识别模块，用于采用元学习模型学习策略对所述人脸识别模型的参数进行优化，将待识别人脸数据输入优化后的人脸识别模型，得到人脸识别结果。

优选的，所述数据初始化模块进一步用于从所述人脸数据集中采样取得小批量人脸数据(X,Y)，其中X＝{x₁,…,x_k}是k个人脸数据，Y＝{y₁,…,y_k}是各人脸数据相应的噪声标签；对于每个噪声标签，生成多个噪声标签{Y′_1,…,Y′_M}，其分布与Y相似，从而一组生成的噪声标签Y′_m＝{y′_m1,…,y′_mk}；对于各人脸数据均初始化为相同的权重参数。

优选的，所述元学习模型训练模块进一步用于：

从含k个人脸数据的小批量人脸数据中随机选择若干个样本，对于每个选定的样本X_i，根据其所在小批量人脸数据对其相邻的样本进行排序；从中随机选择一个相邻样本x_i,以及该x_i最接近的前s个邻居，并使用邻居的标签Y_i替换X_i的标签，即得到生成的噪声标签

重复执行M次步骤S41和S42，生成M个小批量的噪声标签；θ表示当前模型的参数，对于每个合成的小批量人脸识别数据集样本，在其所在小批量人脸数据上使用梯度下降算法将θ更新为θ′_m，公式如下：

X表示人脸数据，

表示生成的噪声标签，步长α是固定的超参数。

优选的，所述人脸识别模型优化及识别模块进一步用于：

将θ参数化的模型定义为学生模型，构造由θ′参数化的教师模型，其参数为学生参数的指数移动平均值；每次训练时采用以下公式更新教师模型的参数：

θ′＝γθ′+(1-γ)θ

其中γ是平滑系数超参数。

由于教师模型不受合成噪声标签的影响，因此强制计算一致性损失，该一致性损失确保每个更新的模型参数θ′_m与同一输入样本上的教师模型具有一致的预测；元损失定义为所有一致性损失的平均值，对元学习的损失函数进行梯度下降，在元学习权重参数更新之后，对原始的小批量人脸数据进行随机梯度下降优化分类损失函数；

多次迭代以上步骤，直至元训练模型与教师模型预测稳定相同且达到预设准确率，得到优化后的基于抗噪声元学习的人脸识别模型，将待识别人脸数据输入该模型后得到人脸识别结果。

与现有技术相比，本发明技术方案的有益效果是：

本发明的基于抗噪声元学习的人脸识别方法及系统，通过元学习模型学习策略学习人脸识别模型的参数，从而准备噪声标签模型；本发明的元学习训练方法，其训练过程省时、高效，可有效防止模型对特定噪声过拟合。本发明可以在具有大量噪声标签的数据集中稳定训练人脸识别模型，无需对其中的错误标签进行人为过滤和去除，并使得训练得到的人脸识别模型具有较强的鲁棒性，可以高效、准确对人脸进行识别。本发明的基于抗噪声元学习的人脸识别方法及系统可广泛应用于基于各个大型人脸识别数据集，尤其是网络上便于采集的、廉价的、具有不规则标签噪声的数据集的人脸识别。此外，本发明也可以在干净的数据集上实现良好的人脸识别性能。

附图说明

图1为实施例1的方法流程图。

图2为实施例2的系统模块图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

基于抗噪声元学习的人脸识别方法，如图1所示，包括以下步骤：

S1.获取人脸数据集及其相应标签，所述标签中包括噪声标签及干净标签；

S2.对所述人脸数据集进行预处理：从所述人脸数据集中采样取得小批量人脸数据(X,Y)，其中X＝{x₁,…,x_k}是k个人脸数据，Y＝{y₁,…,y_k}是各人脸数据相应的噪声标签；对于每个噪声标签，生成多个噪声标签{Y′_1,…,Y′_M}，其分布与Y相似，从而一组生成的噪声标签Y′_m＝{y′_m1,…,y′_mk}；

在训练过程的开始，人脸识别模型不具备人脸识别能力。因此，所有人脸数据应初始化为相同的权重参数进行后续训练。

S3.构建人脸识别模型及其元学习模型学习策略，所述人脸识别模型的输入为待识别的人脸数据，输出所述待识别的人脸数据的识别结果；所述元学习模型学习策略采用梯度下降算法更新人脸识别模型的权重参数；

S4.训练元学习模型，并对其权重参数进行更新；

使用传统的梯度下降算法来更新网络的权重参数可以更好地学习原始的小批量人脸识别人脸数据集。这一阶段的目标是找到对噪声标签较不敏感的模型参数，尽管它们可以从人脸数据集中不断学习识别噪声标签。

S41.从含k个人脸数据的小批量人脸数据中随机选择若干个样本，对于每个选定的样本X_i，根据其所在小批量人脸数据对其相邻的样本进行排序；

S42.从中随机选择一个相邻样本x_i,以及该x_i最接近的前s个邻居，并使用邻居的标签Y_i替换X_i的标签，即

S43.重复执行M次步骤S41和S42，生成M个小批量的噪声标签；θ表示当前模型的参数，对于每个合成的小批量人脸识别数据集样本，在其所在小批量人脸数据上使用梯度下降算法将θ更新为θ′_m，公式如下：

X表示人脸数据，

表示生成的噪声标签，步长α是固定的超参数。

S5.采用元学习模型学习策略对所述人脸识别模型的参数进行优化：

将θ参数化的模型定义为学生模型，构造由θ′参数化的教师模型，教师模型通常比学生模型对人脸识别提供更精确的预测，其参数为学生参数的指数移动平均值；每次训练时采用以下公式更新教师模型的参数：

θ′＝γθ′+(1-γ)θ

其中γ是平滑系数超参数；

由于教师模型不受合成噪声标签的影响，因此强制计算一致性损失，该一致性损失确保每个更新的模型参数θ′_m与同一输入样本上的教师模型具有一致的预测；元损失定义为所有一致性损失的平均值，对元学习的损失函数进行梯度下降，在元学习权重参数更新之后，对原始的小批量人脸数据进行随机梯度下降优化分类损失函数；

多次迭代以上步骤，直至元训练模型与教师模型预测稳定相同且达到预设准确率，得到优化后的基于抗噪声元学习的人脸识别模型，将待识别人脸数据输入该模型后得到人脸识别结果。

实施例2

基于抗噪声元学习的人脸识别系统，如图2所示，包括：

数据获取模块1，用于获取人脸数据集及其相应标签，所述标签中包括噪声标签及干净标签；

数据初始化模块2，用于所述人脸数据集进行预处理，对于其中各人脸数据，生成合成噪声标签，且对各人脸数据初始化相同的权重参数；

人脸识别模型及其元学习模型学习策略构建模块3，用于构建人脸识别模型及其元学习模型学习策略，所述人脸识别模型的输入为待识别的人脸数据，输出所述待识别的人脸数据的识别结果；所述元学习模型学习策略采用梯度下降算法更新人脸识别模型的权重参数；

元学习模型训练模块4，用于训练元学习模型，并对其权重参数进行更新；

人脸识别模型优化及识别模块5，用于采用元学习模型学习策略对所述人脸识别模型的参数进行优化，将待识别人脸数据输入优化后的人脸识别模型，得到人脸识别结果。

其中数据初始化模块2进一步用于从所述人脸数据集中采样取得小批量人脸数据(X,Y)，其中X＝{x₁,…,x_k}是k个人脸数据，Y＝{y₁,…,y_k}是各人脸数据相应的噪声标签；对于每个噪声标签，生成多个噪声标签{Y′_1,…,Y′_M}，其分布与Y相似，从而一组生成的噪声标签Y′_m＝{y′_m1,…,y′_mk}；对于各人脸数据均初始化为相同的权重参数。

其中元学习模型训练模块4进一步用于：

从含k个人脸数据的小批量人脸数据中随机选择若干个样本，对于每个选定的样本X_i，根据其所在小批量人脸数据对其相邻的样本进行排序；从中随机选择一个相邻样本x_i,以及该x_i最接近的前s个邻居，并使用邻居的标签Y_i替换X_i的标签，即得到生成的噪声标签

重复执行M次步骤S41和S42，生成M个小批量的噪声标签；θ表示当前模型的参数，对于每个合成的小批量人脸识别数据集样本，在其所在小批量人脸数据上使用梯度下降算法将θ更新为θ′_m，公式如下：

X表示人脸数据，

表示生成的噪声标签，步长α是固定的超参数。

其中人脸识别模型优化及识别模块5进一步用于：

将θ参数化的模型定义为学生模型，构造由θ′参数化的教师模型，其参数为学生参数的指数移动平均值；每次训练时采用以下公式更新教师模型的参数：

θ′＝γθ′+(1-γ)θ

其中γ是平滑系数超参数。

由于教师模型不受合成噪声标签的影响，因此强制计算一致性损失，该一致性损失确保每个更新的模型参数θ′_m与同一输入样本上的教师模型具有一致的预测；元损失定义为所有一致性损失的平均值，对元学习的损失函数进行梯度下降，在元学习权重参数更新之后，对原始的小批量人脸数据进行随机梯度下降优化分类损失函数；

多次迭代以上步骤，直至元训练模型与教师模型预测稳定相同且达到预设准确率，得到优化后的基于抗噪声元学习的人脸识别模型，将待识别人脸数据输入该模型后得到人脸识别结果。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.基于抗噪声元学习的人脸识别方法，其特征在于，包括以下步骤：

S1.获取人脸数据集及其相应标签，所述标签中包括噪声标签及干净标签；

S2.对所述人脸数据集进行预处理，对于其中各人脸数据，生成合成噪声标签，且各人脸数据初始化为相同的权重参数；

S3.构建人脸识别模型及其元学习模型学习策略，所述人脸识别模型的输入为待识别的人脸数据，输出所述待识别的人脸数据的识别结果；所述元学习模型学习策略采用梯度下降算法更新人脸识别模型的权重参数；

S4.训练元学习模型，并对其权重参数进行更新；

S5.采用元学习模型学习策略对所述人脸识别模型的参数进行优化，将待识别人脸数据输入优化后的人脸识别模型，得到人脸识别结果。

2.根据权利要求1所述的基于抗噪声元学习的人脸识别方法，其特征在于，所述步骤S2具体包括步骤：从所述人脸数据集中采样取得小批量人脸数据(X，Y)，其中X＝{x₁，...，x_k}是k个人脸数据，Y＝{y₁，...，y_k}是各人脸数据相应的噪声标签；对于每个噪声标签，生成多个噪声标签{Y′₁，...，Y′_M}，其分布与Y相似，从而一组生成的噪声标签Y′_m＝{y′_m1，...，y′_mk}；对于各人脸数据均初始化为相同的权重参数。

3.根据权利要求2所述的基于抗噪声元学习的人脸识别方法，其特征在于，所述步骤S4具体包括步骤：

S41.从含k个人脸数据的小批量人脸数据中随机选择若干个样本，对于每个选定的样本X_i，根据其所在小批量人脸数据对其相邻的样本进行排序；

S42.从中随机选择一个相邻样本x_i，以及该x_i最接近的前s个邻居，并使用邻居的标签Y_i替换X_i的标签，即得到生成的噪声标签

S43.重复执行M次步骤S41和S42，生成M个小批量的噪声标签；θ表示当前模型的参数，对于每个合成的小批量人脸识别数据集样本，在其所在小批量人脸数据上使用梯度下降算法将θ更新为θ′_m，公式如下：

X表示人脸数据，

表示生成的噪声标签，步长α是固定的超参数。

4.根据权利要求3所述的基于抗噪声元学习的人脸识别方法，其特征在于，所述步骤S5具体包括步骤：

将θ参数化的模型定义为学生模型，构造由θ′参数化的教师模型，其参数为学生参数的指数移动平均值；每次训练时采用以下公式更新教师模型的参数：

θ′＝γθ′+(1-γ)θ

其中γ是平滑系数超参数；

由于教师模型不受合成噪声标签的影响，因此强制计算一致性损失，该一致性损失确保每个更新的模型参数θ′_m与同一输入样本上的教师模型具有一致的预测；元损失定义为所有一致性损失的平均值，对元学习的损失函数进行梯度下降，在元学习权重参数更新之后，对原始的小批量人脸数据进行随机梯度下降优化分类损失函数；

多次迭代以上步骤，直至元训练模型与教师模型预测稳定相同且达到预设准确率，得到优化后的基于抗噪声元学习的人脸识别模型，将待识别人脸数据输入该模型后得到人脸识别结果。

5.基于抗噪声元学习的人脸识别系统，其特征在于，包括：

数据获取模块，用于获取人脸数据集及其相应标签，所述标签中包括噪声标签及干净标签；

数据初始化模块，用于所述人脸数据集进行预处理，对于其中各人脸数据，生成合成噪声标签，且对各人脸数据初始化相同的权重参数；

人脸识别模型及其元学习模型学习策略构建模块，用于构建人脸识别模型及其元学习模型学习策略，所述人脸识别模型的输入为待识别的人脸数据，输出所述待识别的人脸数据的识别结果；所述元学习模型学习策略采用梯度下降算法更新人脸识别模型的权重参数；

元学习模型训练模块，用于训练元学习模型，并对其权重参数进行更新；

人脸识别模型优化及识别模块，用于采用元学习模型学习策略对所述人脸识别模型的参数进行优化，将待识别人脸数据输入优化后的人脸识别模型，得到人脸识别结果。

6.根据权利要求5所述的基于抗噪声元学习的人脸识别系统，其特征在于，所述数据初始化模块进一步用于从所述人脸数据集中采样取得小批量人脸数据(X，Y)，其中X＝{x₁，...，x_k}是k个人脸数据，Y＝{y₁，...，y_k}是各人脸数据相应的噪声标签；对于每个噪声标签，生成多个噪声标签{Y′₁，...，Y′_M}，其分布与Y相似，从而一组生成的噪声标签Y′_m＝{y′_m1，...，y′_mk}；对于各人脸数据均初始化为相同的权重参数。

7.根据权利要求5所述的基于抗噪声元学习的人脸识别系统，其特征在于，所述元学习模型训练模块进一步用于：

从含k个人脸数据的小批量人脸数据中随机选择若干个样本，对于每个选定的样本X_i，根据其所在小批量人脸数据对其相邻的样本进行排序；从中随机选择一个相邻样本x_i，以及该x_i最接近的前s个邻居，并使用邻居的标签Y_i替换X_i的标签，即得到生成的噪声标签

重复执行M次步骤S41和S42，生成M个小批量的噪声标签；θ表示当前模型的参数，对于每个合成的小批量人脸识别数据集样本，在其所在小批量人脸数据上使用梯度下降算法将θ更新为θ′_m，公式如下：

X表示人脸数据，

表示生成的噪声标签，步长α是固定的超参数。

8.根据权利要求5所述的基于抗噪声元学习的人脸识别系统，其特征在于，所述人脸识别模型优化及识别模块进一步用于：

将θ参数化的模型定义为学生模型，构造由θ′参数化的教师模型，其参数为学生参数的指数移动平均值；每次训练时采用以下公式更新教师模型的参数：

θ′＝γθ′+(1-γ)θ

其中γ是平滑系数超参数；

由于教师模型不受合成噪声标签的影响，因此强制计算一致性损失，该一致性损失确保每个更新的模型参数θ′_m与同一输入样本上的教师模型具有一致的预测；元损失定义为所有一致性损失的平均值，对元学习的损失函数进行梯度下降，在元学习权重参数更新之后，对原始的小批量人脸数据进行随机梯度下降优化分类损失函数；

多次迭代以上步骤，直至元训练模型与教师模型预测稳定相同且达到预设准确率，得到优化后的基于抗噪声元学习的人脸识别模型，将待识别人脸数据输入该模型后得到人脸识别结果。

Images