CN112686234A - 人脸图像质量评估方法、电子设备和存储介质 - Google Patents

Abstract

本申请涉及人脸图像质量评估方法、电子设备和存储介质，属于计算机领域，该方法包括：选取第一数量的人的人脸图片；从每个人的人脸图片里选取一张基准图片，并通过非清晰化操作构造非清晰人脸图片，将第一数量的人的人脸图片和非清晰人脸图片作为扩充样本集；针对扩充样本集中的人脸图片，通过人工打分得到第一标签，通过人脸识别模型计算得到第二标签，将第一标签和第二标签融合得到第三标签；对扩充样本集设置第三标签，得到带标签样本集；选取第二数量的人的人脸图片作为不带标签样本集；通过带标签样本集和不带标签样本集训练Teacher‑Student网络模型；利用训练好的Teacher‑Student网络模型评估人脸图像质量。通过本申请实施例，能够提高评估结果的准确性。

Description

人脸图像质量评估方法、电子设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及人脸图像质量评估方法、电子设备和存储介质。

背景技术

在进行人脸识别时，人脸图像质量评估是比较重要的，因为评估的结果会接影响人脸识别效果。通常情况下，通过人工打分得到训练样本的标签，但由于人工标定主观性非常大，导致标签的波动较大，影响模型的收敛效果，最终造成评估结果的准确性低，对此，目前相关技术中，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种人脸图像质量评估方法、电子设备和存储介质，以至少解决相关技术中如何提高人脸图像质量评估结果的准确性的问题。

第一方面，本申请实施例提供了一种人脸图像质量评估方法，包括：从指定的人脸数据集中选取第一数量的人的人脸图片，其中，每个人的人脸图片数量不少于规定数值；从每个人的人脸图片里选取一张基准图片，并通过非清晰化操作构造非清晰人脸图片，将所述第一数量的人的人脸图片和所述非清晰人脸图片作为扩充样本集；针对所述扩充样本集中的人脸图片，通过人工打分得到第一标签，通过人脸识别模型计算得到第二标签，将所述第一标签和所述第二标签融合得到第三标签；对所述扩充样本集设置所述第三标签，得到带标签样本集；从所述指定的人脸数据集中选取第二数量的人的人脸图片作为不带标签样本集；通过所述带标签样本集和所述不带标签样本集训练Teacher-Student网络模型；利用训练好的Teacher-Student网络模型评估人脸图像质量。

在其中一些实施例中，所述的从每个人的人脸图片里选取一张基准图片包括：从每个人的人脸图片里按照人脸为正脸、无遮挡、清晰、低噪声、光照均匀的标准选取一张基准图片；如果有多张人脸图片符合所述标准，则随机选取一张作为基准图片。

在其中一些实施例中，所述非清晰化操作包括高斯模糊、给人脸随机贴无关的像素块、添加椒盐噪声和调整亮度值中的至少一项。

在其中一些实施例中，所述的通过人脸识别模型计算得到第二标签包括：通过人脸识别模型从所述基准图片提取第一特征向量，从非基准图片提取第二特征向量；根据所述第一特征向量和所述第二特征向量，计算余弦距离，得到相似度以作为所述第二标签。

在其中一些实施例中，所述的将所述第一标签和所述第二标签融合得到第三标签包括：通过以下公式将将所述第一标签和所述第二标签融合得到第三标签：

，且

其中，c为所述第三标签，a为所述第一标签，b为所述第二标签。

在其中一些实施例中，所述的通过所述带标签样本集和所述不带标签样本集训练 Teacher-Student网络模型包括：将所述带标签样本集和所述不带标签样本集分别输入 Student网络，得到预测标签

和预测标签

；

针对所述带标签样本集，构造回归损失函数：

其中，c为所述第三标签；

通过Student网络参数，更新计算Teacher网络参数：

其中

为Student网络第t-1次迭代的参数，

为Student网络第t 次迭代的网络参数，

为Teacher网络第t次迭代的更新参数，

为前后两次迭代参 数的权重；

将所述带标签样本集和所述不带标签样本集分别输入Teacher网络，得到预测标 签

和预测标签

；

构造损失函数：

构造总损失函数为：

采用随机梯度下降法进行梯度计算，并反向传播以更新Student网络的参数，直到总损失函数L收敛，得到训练好的Teacher-Student网络模型。

在其中一些实施例中，所述Student网络包括CNN卷积神经网络和Transformer自注意力结构，其中，所述CNN包括3×3的卷积层、2×2的池化层、激活层以及残差结构。

在其中一些实施例中，所述的将所述带标签样本集和所述不带标签样本集分别输 入Student网络，得到预测标签

和预测标签

包括：所述带标签样本集和所述不带标签 样本集中的人脸图片经过所述CNN的池化层的作用，得到缩放到固定大小的特征图M；将所 述特征图M分成3×3个小的特征块，每个特征块经过线性变换映射成向量；将所述向量、特 征块的位置编码和回归分数的标志位输入所述Transformer，再经过两层全连接层得到预 测标签

和预测标签

。

第二方面，本申请实施例提供了一种电子设备，包括处理器和存储有计算机程序的存储介质，所述计算机程序被所述处理器执行时实现如上述任一项所述的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。

本申请实施例中，通过人工打标签和人脸识别算法打标签结合的方式，可以有效地克服因人工打标签的主观性导致标签不稳定的问题，有利于模型更好地收敛。通过半监督学习，可以利用有限的带标签数据来训练更多的无标签数据，同时，Student网络和Teacher网络联合训练，可以有效地平滑预测结果，提升模型的泛化能力。采用自注意力机制，可以更好地使网络关注感兴趣的部分，从而更好地为后面的人脸识别服务。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的人脸图像质量评估方法的流程图；

图2是根据本申请实施例的标签的制作方法流程图；

图3是根据本申请实施例的Teacher-Student网络模型训练方法的流程图；

图4是根据本申请实施例的通过Transformer编码的流程图；

图5是根据本申请实施例的电子设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

在通过人工对人脸图片样本标定标签时，可以考虑清晰度、光照、姿态、遮挡等因素，对每个因素单独打分，然后通过加权计算以得到人脸质量评估分数。也可以对人脸图像综合打分，将分数作为样本的标签，然后训练深度卷积神经网络模型，从而通过深度卷积神经网络模型预测人质量评估分数。然而，采用上述方式，会由于人为打分的主观因素造成标签的波动较大，从而导致最终评估结果的准确性低。另外，深度卷积神经网络模型提取的特征位置比较固定，一旦人脸位置有偏移，识别结果就会受影响，因为，通过深度卷积神经网络模型提取的特征里面包含很多无用的信息，这些信息对识别并没有帮助，比如在眼睛区域比较糊，其它区域都很清晰的情况下，通过深度卷积神经网络模型预测的质量得分可能会很高，但是，眼睛区域的信息在识别时是很重要的，也就是说在实际识别的时候相似度可能会较低，可见，通过深度卷积神经网络模型得到的评估结果并不一定准确，那么就会影响人脸识别的效果。

本申请实施例提供一种人脸图像质量评估方法，图1是根据本申请实施例的人脸图像质量评估方法的流程图，如图1所示，该方法包括以下步骤：

S100：从指定的人脸数据集中选取第一数量的人的人脸图片，其中，每个人的人脸图片数量不少于规定数值；

S200：从每个人的人脸图片里选取一张基准图片，并通过非清晰化操作构造非清晰人脸图片，将第一数量的人的人脸图片和非清晰人脸图片作为扩充样本集；

S300：针对扩充样本集中的人脸图片，通过人工打分得到第一标签，通过人脸识别模型计算得到第二标签，将第一标签和第二标签融合得到第三标签；

S400：对扩充样本集设置第三标签，得到带标签样本集；

S500：从指定的人脸数据集中选取第二数量的人的人脸图片作为不带标签样本集；

S600：通过带标签样本集和不带标签样本集训练Teacher-Student网络模型；

S700：利用训练好的Teacher-Student网络模型评估人脸图像质量。

为了清楚的对本申请实施例的思想进行说明，下文结合附图进行说明。

图2是根据本申请实施例的标签的制作方法流程图，如图2所示，标签的制作过程包括以下步骤：

（1）选取500人的人脸图片作为数据集，每个人的人脸图片数量不少于50张；

（2）从每个人的人脸图片里面选取一张基准图片，并进行模糊、噪声等操作扩充数据集；

（3）①通过人工标注打分，分数在0~1之间，0表示非人脸，1为基准图片；②通过人脸识别模型打分，分数为各人脸图片特征与基准图片特征的相似度；

（4）将人工的打分和人脸识别模型的打分加权以得到最终的标签。

图3是根据本申请实施例的Teacher-Student网络模型训练方法的流程图，如图3所示，该训练过程包括如下步骤：

（1）准备训练数据，该训练数据包括：500人含标签的样本集A（即上文扩充的数据集），和随机选取的1000人（每人不少于50张人脸图片）不含标签的样本集B；

（2）分别对样本集A和样本集B中的人脸图片进行人脸检测，并将人脸缩放到固定尺寸；

（3）通过CNN卷积神经网络从样本集A和样本集B中的人脸图片提取特征M；

（4）将特征M送到Transformer结构，得到最终的特征；

（5）通过步骤（4）的特征回归得到预测得分。

图4是根据本申请实施例的通过Transformer编码的流程图，如图4所示，该流程包括以下步骤：

（1）通过CNN卷积神经网络得到特征图M，分成9小块；

（2）每小块经过线性变换得到向量，将该向量结合位置、得分的编码，一起送入Transformer结构；

（3）经过两层全连接层，得到预测的特征；

（4）回归得到人脸分数。

为了对本申请实施例进行更详细的说明，下文对上述各个步骤举例说明。

步骤S100：从指定的人脸数据集中选取第一数量的人的人脸图片，其中，每个人的人脸图片数量不少于规定数值。例如，从CASIA和/或VGG-Face等人脸数据集中随机选取500人的人脸图片，每个人的人脸图片数量不少于50张。

步骤S200：从每个人的人脸图片里选取一张基准图片，并通过非清晰化操作构造非清晰人脸图片，将第一数量的人的人脸图片和非清晰人脸图片作为扩充样本集。例如，从每个人的个人文件夹里面选取一张基准图片，选取的标准是人脸为正脸、无遮挡、清晰、低噪声、光照均匀，如果有多张人脸图片符合上述标准，则随机选取一张作为基准图片。另外，利用基准图片构造一些模糊、遮挡、噪声大、过曝、过暗的非清晰人脸图片，比如可以采用高斯模糊，可以给人脸随机贴无关的像素块，可以添加一些椒盐噪声，还可以随机的调整图片的亮度值以使人脸图片过曝、过暗等等。而VGG-Face人脸数据集里面本身含有一些大姿态的人脸，所以针对含姿态的人脸图片可以不用构造非清晰人脸图片。最后，构造的非清晰人脸图片和步骤S100中选取的原始的人脸图片一起构成每个人的数据集，从而可以得到经过扩充的数据集，因此，本申请实施例将选取的500人的扩充后的数据集称为“扩充样本集”。

步骤S300：针对扩充样本集中的人脸图片，通过人工打分得到第一标签，通过人脸识别模型计算得到第二标签，将第一标签和第二标签融合得到第三标签。例如，第一步：人工给人脸图片打分，区间在0~1之间，0表示非人脸，1就是基准图片，从而通过依次给人脸图片打分，可以得到标签a（即第一标签）；第二步，通过人脸识别模型从基准图片提取第一特征向量，从非基准图片提取第二特征向量；根据第一特征向量和第二特征向量，计算余弦距离，得到相似度以作为第二标签，具体的，将每个人的非基准图片（即除基准图片以外的人脸图片）与自己的基准图片比较，计算相似度，该相似度可以通过人脸识别模型提取特征，再通过计算余弦距离得到，例如，用人脸识别模型从基准图片提取特征向量FeatureA，从非基准图片提取特征向量FeatureB，余弦距离等于FeatureA和FeatureB的向量內积再除以它们模的乘积，从而将计算结果即相似度作为标签b（即第二标签）。

接着，通过以下公式将标签a和标签b融合以得到标签c（即第三标签）：

，且

（公式1）

其中，c为标签c，a为标签a，b为标签b。

步骤S400：对扩充样本集设置第三标签，得到带标签样本集。例如，对扩充样本集设置标签c，得到带标签样本集（可称为“样本集A”）。

步骤S500：从指定的人脸数据集中选取第二数量的人的人脸图片作为不带标签样本集。例如，从CASIA和/或VGG-Face等人脸数据集中随机选取1000人，每个人的人脸图片数量不少于50张，可以得到不带标签样本集（可称为“样本集B”）。

步骤S600：通过带标签样本集和不带标签样本集训练Teacher-Student网络模型。例如，对样本集A和样本集B中的人脸图片进行人脸检测，将人脸图片外扩一定比例，然后抠出人脸区域，再缩放到固定尺寸。

接着，作为一个示例，设计Student网络和Teacher网络时，它们的网络结构是一样 的。将样本集A和样本集B分别输入Student网络，分别得到预测标签

和预测标签

；

针对样本集A，构造回归损失函数：

其中，c为第三标签；

通过Student网络参数，更新计算Teacher网络参数：

（公式2）

其中

为Student网络第t-1次迭代的参数，

为Student网络第t 次迭代的网络参数，

为Teacher网络第t次迭代的更新参数，

为前后两次迭代参 数的权重；

将样本集A和样本集B分别输入Teacher网络，得到预测标签

和预测标签

；

构造损失函数：

（公式3）

构造总损失函数为：

本申请实施例的目的是最小化L，例如，采用随机梯度下降法进行梯度计算

， 并反向传播以更新Student网络的参数，更新公式

，其中

是学习率，在0- 1之间，也叫做步长，沿着负梯度方向移动，总损失函数L会越来越小，直到总损失函数L收 敛，得到训练好的Teacher-Student网络模型。

步骤S700：利用训练好的Teacher-Student网络模型评估人脸图像质量。将待评估的人脸图片输入步骤S600中的训练好的Teacher-Student网络模型，可以得到模型的输出结果即质量评估得分。

需要说明的是，关于公式2中

的选择，在Teacher-Student网络模型最开始训练 阶段，由于参数是随机初始化的，其对于标签的回归大部分是不正确的，而Teacher网络和 Student网络输出的标签不同是比较正常的，所以一开始的时候

值不应该选择太大，应该 从0开始，直到Teacher网络的输出结果到达一定的准确率后，

值才开始增加，随着训练的 可以递增到0.99。

本申请实施例采用半监督学习的好处，相比于监督学习而言，首先，不需要所有的样本数据都带标签，因为现实中带标签的数据很少，不可能将所有的人脸图片都进行人工标注或算法标注，第一，时间成本和人力成本太大；第二，标签标的越多则波动就越大，因为每个人的标准不一样，而且算法标注也是有偏向性的，这样训练的模型往往收敛性不好，且泛化能力不足，换个场景可能效果会很差。本申请实施例的半监督学习只需要少量的带标签数据，通过Teacher网络和Student网络联合学习，可以学习大量无标签的数据特征，这样就可以覆盖更多的场景数据。不像监督学习，需要所有的训练数据来拟合标签，而标签本身就有波动，这样预测的得分也会不稳定。本申请实施的半监督学习只需要少量数据来拟合标签，大部分数据用来要求Teacher网络和Student网络预测结果接近，预测的得分也更加稳定。

作为一个示例，关于Student网络的设计，可以分两部分，第一部分是CNN卷积神经 网络，该CNN包括3×3的卷积层、2×2的池化层、激活层以及残差结构。样本集A和样本集B中 的人脸图片经过CNN的池化层的作用，得到缩放到固定大小的特征图M；第二部分是 Transformer自注意力结构，将特征图M分成3×3个小的特征块，每个特征块经过线性变换 映射成向量；将该向量、特征块的位置编码和回归分数的标志位输入Transformer，再经过 两层全连接层得到预测标签

和预测标签

即预测的人脸质量得分。

关于上述Transformer自注意力结构，使用的核心公式如下：

（公式4）

其中

是输入的特征，

、

、

均为训练的模型参数，i表示Transformer多 头机制中头的个数，该公式4的作用是得到查询向量（即Q）、键向量（即K）、值向量（即V）。

自注意力的计算公式如下：

（公式5）

其中

是缩放因子，通过

可以得到人脸图片的每个像素的权重即 像素的重要性，权重越大表示越重要，相反则不重要；然后，再乘以

，得到的特征更关注于 感兴趣的部分。

多次注意（Attention）的计算公式如下：

（公式6）

接着，通过以下公式（7）将多次Attention的结果拼接起来，再乘以训练好的参数，得到最终的特征，这就是Transformer的多头机制

（公式7）。

在上述CNN卷积神经网络中，假设特征具有局部性（Locality）的特点，即把相邻的一些特征融合到一起，会更容易得到“解”，这种局部特征可能不是我们特别关注的，并且对没见过的场景，这种局部特征可能会导致最后的结果较差。而Transformer可以避免CNN的局部性归纳偏好问题，自己去学习感兴趣地部分，这样即使对没见过的场景，也能根据全局特征的把握，得到较好的结果。

综上，本申请实施例具有以下优势：

（1）通过人工打标签和人脸识别算法打标签结合的方式，可以有效地克服因人工打标签的主观性导致标签不稳定的问题，有利于模型更好地收敛。

（2）通过半监督学习，可以利用有限的带标签数据来训练更多的无标签数据，同时，Student网络和Teacher网络联合训练，可以有效地平滑预测结果，提升模型的泛化能力。

（3）采用自注意力机制，可以更好地使网络关注感兴趣的部分，整体全面地分析整个人脸结构特征，得到的人脸分数，例如人脸的眼睛、鼻子、嘴巴等区域的特征对人脸识别的贡献比较大，这些区域的成像质量比其它区域明显更重要，而采用自注意力机制可以更好地使网络关注，从而更好地为后面的人脸识别服务。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供一种电子设备，图5是根据本申请实施例的电子设备的结构框图，如图5所示，可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性（Non-Volatile）存储器。在特定实施例中，存储器82包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（RandomAccess Memory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种人脸图像质量评估方法。

在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线（Data Bus）、地址总线（Address Bus）、控制总线（ControlBus）、扩展总线（Expansion Bus）、局部总线（Local Bus）。举例来说而非限制，总线80可包括图形加速接口（Accelerated Graphics Port，简称为AGP）或其他图形总线、增强工业标准架构（Extended Industry Standard Architecture，简称为EISA）总线、前端总线（FrontSide Bus，简称为FSB）、超传输（Hyper Transport，简称为HT）互连、工业标准架构（Industry Standard Architecture，简称为ISA）总线、无线带宽（InfiniBand）互连、低引脚数（Low Pin Count，简称为LPC）总线、存储器总线、微信道架构（Micro ChannelArchitecture，简称为MCA）总线、外围组件互连（Peripheral Component Interconnect，简称为PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（Serial AdvancedTechnology Attachment，简称为SATA）总线、视频电子标准协会局部（Video ElectronicsStandards Association Local Bus，简称为VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，结合上述实施例中的人脸图像质量评估方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种人脸图像质量评估方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸图像质量评估方法，其特征在于，包括：

从指定的人脸数据集中选取第一数量的人的人脸图片，其中，每个人的人脸图片数量不少于规定数值；

从每个人的人脸图片里选取一张基准图片，并通过非清晰化操作构造非清晰人脸图片，将所述第一数量的人的人脸图片和所述非清晰人脸图片作为扩充样本集；

针对所述扩充样本集中的人脸图片，通过人工打分得到第一标签，通过人脸识别模型计算得到第二标签，将所述第一标签和所述第二标签融合得到第三标签；

对所述扩充样本集设置所述第三标签，得到带标签样本集；

从所述指定的人脸数据集中选取第二数量的人的人脸图片作为不带标签样本集；

通过所述带标签样本集和所述不带标签样本集训练Teacher-Student网络模型；

利用训练好的Teacher-Student网络模型评估人脸图像质量。

2.根据权利要求1所述的方法，其特征在于，所述的从每个人的人脸图片里选取一张基准图片包括：

从每个人的人脸图片里按照人脸为正脸、无遮挡、清晰、低噪声、光照均匀的标准选取一张基准图片；

如果有多张人脸图片符合所述标准，则随机选取一张作为基准图片。

3.根据权利要求1所述的方法，其特征在于，所述非清晰化操作包括高斯模糊、给人脸随机贴无关的像素块、添加椒盐噪声和调整亮度值中的至少一项。

4.根据权利要求1所述的方法，其特征在于，所述的通过人脸识别模型计算得到第二标签包括：

通过人脸识别模型从所述基准图片提取第一特征向量，从非基准图片提取第二特征向量；

根据所述第一特征向量和所述第二特征向量，计算余弦距离，得到相似度以作为所述第二标签。

5.根据权利要求1所述的方法，其特征在于，所述的将所述第一标签和所述第二标签融合得到第三标签包括：

通过以下公式将将所述第一标签和所述第二标签融合得到第三标签：

，且

其中，c为所述第三标签，a为所述第一标签，b为所述第二标签。

6.根据权利要求1所述的方法，其特征在于，所述的通过所述带标签样本集和所述不带标签样本集训练Teacher-Student网络模型包括：

将所述带标签样本集和所述不带标签样本集分别输入Student网络，得到预测标签

和预测标签

；

针对所述带标签样本集，构造回归损失函数：

其中，c为所述第三标签；

通过Student网络参数，更新计算Teacher网络参数：

其中

为Student网络第t-1次迭代的参数，

为Student网络第t次迭 代的网络参数，

为Teacher网络第t次迭代的更新参数，

为前后两次迭代参数的 权重；

将所述带标签样本集和所述不带标签样本集分别输入Teacher网络，得到预测标签

和预测标签

；

构造损失函数：

构造总损失函数为：

采用随机梯度下降法进行梯度计算，并反向传播以更新Student网络的参数，直到总损失函数L收敛，得到训练好的Teacher-Student网络模型。

7.根据权利要求6所述的方法，其特征在于，所述Student网络包括CNN卷积神经网络和Transformer自注意力结构，其中，所述CNN包括3×3的卷积层、2×2的池化层、激活层以及残差结构。

8.根据权利要求7所述的方法，其特征在于，所述的将所述带标签样本集和所述不带标签样本集分别输入Student网络，得到预测标签和预测标签包括：

所述带标签样本集和所述不带标签样本集中的人脸图片经过所述CNN的池化层的作用，得到缩放到固定大小的特征图M；

将所述特征图M分成3×3个小的特征块，每个特征块经过线性变换映射成向量；

将所述向量、特征块的位置编码和回归分数的标志位输入所述Transformer，再经过两 层全连接层得到预测标签

和预测标签

。

9.一种电子设备，包括处理器和存储有计算机程序的存储介质，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。

Images