CN114333021A - 面部识别方法、装置、计算机设备、存储介质 - Google Patents

Abstract

本公开涉及深度学习机器视觉技术领域，具体涉及一种面部识别方法、装置、计算机设备、存储介质。所述方法包括识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像；将特征区域图像分别输入特征区域对应的分类模型，获取各个分类模型的分类预测结果，分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，并在训练过程中在计算损失时增加困难样本的权重；根据预先确定的各个分类模型的加权值对各个分类模型的分类预测结果进行加权计算，得到待处理图像的面部识别预测值。通过针对不同的特征区域采用不同的神经网络进行分类识别，可以让网络尽可能学习到更多的特征区域，提高识别的准确性。

Description

面部识别方法、装置、计算机设备、存储介质

技术领域

本发明涉及深度学习机器视觉技术领域，特别是涉及一种面部识别方法、装置、计算机设备、存储介质。

背景技术

随着人工智能技术的不断发展，深度学习机器视觉方向的技术得到较为快速的提升，基于CNN(Convolutional Neural Networks，卷积神经网络)的人脸检测、人脸分类模型具有较大的进步，具有较高的识别准确率。

在传统的疾病图像分类任务中，只对数据进行了初步去噪，然后单一地作为分类数据标准，再送入到网络中进行特征提取。然而，在遗传病的人脸特征表现中，部分疾病之间存在相同的特征表现，且人脸上不同区域特征的分布情况也不同。因此，只对数据进行简单的去噪处理会影响模型的训练效果，导致了现有深度学习网络对于疾病图像的特征提取效果差、对于疾病图像的识别准确度低的问题。

发明内容

基于此，有必要针对现有深度学习网络对于疾病图像的特征提取效果差、对于疾病的识别准确度低的问题，提供一种面部识别方法、装置、计算机设备、存储介质。

一种面部识别方法，包括识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像；将所述特征区域图像分别输入所述特征区域对应的分类模型，获取各个分类模型的分类预测结果，所述分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，其中，在所述机器学习网络的训练过程中，采用焦点损失函数计算损失，利用所述焦点损失函数中的调制系数来增加困难样本的权重；根据预先确定的所述各个分类模型的加权值对所述各个分类模型的分类预测结果进行加权计算，得到所述待处理图像的面部识别预测值。

在其中一个实施例中，构建所述特征区域对应的分类模型包括根据所述特征区域的特征分布情况选择机器学习网络，并设置所述机器学习网络的模型超参数；利用投影梯度下降算法生成所述特征区域的样本数据的对抗样本数据；将所述特征区域的样本数据和所述对抗样本数据输入所述机器学习网络中进行训练迭代，获取所述特征区域对应的分类模型。

在其中一个实施例中，所述将所述特征区域的样本数据和所述对抗样本数据输入所述机器学习网络中进行训练迭代包括对所述样本数据和所述对抗样本数据进行特征抽取，获取所述样本数据的第一特征向量和所述对抗样本数据的第二特征向量；采用第一批次归一化层对所述样本数据进行归一化处理，采用第二批次归一化层对所述对抗样本数据进行归一化处理；根据所述样本数据和所述第一特征向量采用所述焦点损失函数计算第一损失，根据所述对抗样本数据和所述第二特征向量采用所述焦点损失函数计算第二损失；对所述第一损失和所述第二损失进行联合损失计算获取第三损失；根据所述第三损失进行梯度计算，并对所述机器学习网络的梯度进行更新。

在其中一个实施例中，所述识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像包括采用人脸检测算法识别出所述待处理图像中的人脸图像；采用人脸姿态矫正算法对所述人脸图像进行矫正；采用人脸分割算法对所述人脸图像按照预先划分的若干特征区域提取出相应的特征区域图像。

在其中一个实施例中，所述预先划分的若干特征区域包括上部脸区域、下部脸区域和全部脸区域。

一种面部识别装置，包括数据处理模块，用于识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像；模型预测模块，用于将所述特征区域图像分别输入所述特征区域对应的分类模型，获取各个分类模型的分类预测结果，所述分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，其中，在所述机器学习网络的训练过程中，采用焦点损失函数计算损失，利用所述焦点损失函数中的调制系数来增加困难样本的权重；预测结果融合模块，用于根据预先确定的所述各个分类模型的加权值对所述各个分类模型的分类预测结果进行加权计算，得到所述待处理图像的面部识别预测值。

在其中一个实施例中，所述面部识别装置还包括模型选择模块，用于根据所述特征区域的特征分布情况选择机器学习网络，并设置所述机器学习网络的模型超参数；样本生成模块，用于利用投影梯度下降算法生成所述特征区域的样本数据的对抗样本数据；模型训练模块，用于将所述特征区域的样本数据和所述对抗样本数据输入所述机器学习网络中进行训练迭代，获取所述特征区域对应的分类模型。

在其中一个实施例中，所述模型训练模块包括特征抽取单元，用于对所述样本数据和所述对抗样本数据进行特征抽取，获取所述样本数据的第一特征向量和所述对抗样本数据的第二特征向量；归一化处理单元，用于采用第一批次归一化层对所述样本数据进行归一化处理，采用第二批次归一化层对所述对抗样本数据进行归一化处理；损失计算单元，用于根据所述样本数据和所述第一特征向量采用所述焦点损失函数计算第一损失，根据所述对抗样本数据和所述第二特征向量采用所述焦点损失函数计算第二损失，还用于对所述第一损失和所述第二损失进行联合损失计算获取第三损失；梯度计算单元，用于根据所述第三损失进行梯度计算，并对所述机器学习网络的梯度进行更新。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一项实施例中所述的面部识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项实施例中所述的面部识别方法的步骤。

一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任意一项实施例中所述的面部识别方法的步骤。

上述面部识别方法、装置、计算机设备、存储介质，通过对待处理图像按照预先划分的特征区域进行分割，可以获取不同特征区域的特征区域图像。将特征区域图像输入对应的分类模型中进行分类，以获取各个分类模型的分类预测结果。预先训练好的分类模型包括了预先使用相应特征区域的样本数据进行训练得到的机器学习网络，在所述机器学习网络的训练过程中，在计算损失时增加困难样本的权重，以使得网络在训练时更专注于困难样本，优化困难样本的分类效果。通过针对不同的特征区域采用不同的神经网络进行分类识别，可以让网络尽可能学习到更多的特征区域，提高网络的特征提取效果，从而提高面部识别结果的准确性。

附图说明

为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开其中一个实施例中面部识别方法的方法流程示意图；

图2为本公开其中一个实施例中构建特征区域对应的分类模型的方法流程示意图；

图3为本公开其中一个实施例中分类模型的训练步骤的方法流程示意图；

图4为现有疾病图像分类模型中网络的结构示意图；

图5为本公开其中一个实施例中机器学习网络的结构示意图；

图6为本公开其中一个实施例中对待处理图像进行处理的方法流程示意图；

图7为本公开其中一个实施例中遗传病面部原数据示意图；

图8为本公开其中一个实施例中上部脸区域图像示意图；

图9为本公开其中一个实施例中下部脸区域图像示意图；

图10为本公开其中一个实施例中全部脸区域图像示意图；

图11为本公开其中一实施例中面部识别装置的结构示意图；

图12为本公开其中一实施例中面部识别装置或系统的结构示意图；

图13为本公开其中一个实施例中计算机设备的内部结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的优选实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施方式。相反的，提供这些实施方式的目的是为了对本发明的公开内容理解得更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

在全世界，各种遗传疾病综合征影响着约8％的人口，其中许多遗传疾病综合征具有可识别的面部特征，这些特征有利于临床遗传学家对疾病的研究与诊断。据了解，在对遗传综合征患者的治疗中，早期诊断和干预是极其重要的部分；但是在传统治疗中，患者的诊断往往只能通过基因研究报告和医生的临床经验来实现，这样不仅费时费力，而且会因为临床医生的经验不同而导致很多漏检误检的情况发生。

随着人工智能技术的不断发展，深度学习机器视觉方向的技术得到较为快速的提升，基于CNN卷积结构的人脸检测、人脸分类模型具有较大的进步，具有较高的识别准确率。为了提高诊断效率以及减少患者的经济和时间负担，可以利用深度学习中的机器视觉算法和类脑神经网络，根据遗传综合征患者的面部照片来识别多种罕见遗传病并进行分类。

然而，在传统疾病图像分类任务中，对于数据的处理通常只是进行初步去噪，然后单一地作为分类数据标准，送入网络中进行特征提取。这样的处理方式忽略了数据的细分特征和医疗数据的特性，从而导致了特征提取效果差的问题。

为了解决上述技术问题，本公开提供了一种面部识别方法，图1为本公开其中一个实施例中面部识别方法的方法流程示意图。在其中一个实施例中，上述面部识别方法可以包括如下步骤S100至步骤S300。

步骤S100：识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像。

在数据处理阶段，可以通过对待处理图像进行人脸检测，来分析图片中是否存在人脸。如果待处理图像中存在人脸就可以将图像中的人脸部分识别出来。在本公开的一些实施例中，还可以提取人脸关键位置的坐标点，便于对特征区域进行划分。考虑到人脸不同区域上分布的特征也不同，因此，可以对人脸图像按照区域进行划分，从而能够提高特征提取效果。

根据不同的研究方向与分析需求，可以按照不同的区域划分方法对人脸图像进行分割。例如，可以将人脸图像划分为上部区域、中部区域、下部区域，采用三种不同的网络针对性地对眼睛、鼻子、嘴巴等面部特征进行特征提取；也可以将人脸图像划分为左脸区域、右脸区域等，采用两种不同的网络分别对左右脸上部分面部特征进行特征提取。

步骤S200：将特征区域图像分别输入特征区域对应的分类模型，获取各个分类模型的分类预测结果，分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，其中，在机器学习网络的训练过程中，采用焦点损失函数计算损失，利用所述焦点损失函数中的调制系数来增加困难样本的权重。

例如在遗传病面部识别的应用场景中，由于不同疾病的特征区域分布不同，若仅仅使用单一的网络对待处理图像进行特征提取，将会造成某些疾病的特征区域没有被网络学习到的问题。本公开提供的面部识别方法通过划分不同的特征区域，并针对不同的特征区域采用不同的神经网络进行分类识别训练，可以让网络尽可能学习到更多的特征区域，提高网络的特征提取效果，从而提高面部识别结果的准确性。

在面部特征提取阶段，各个特征区域均对应有一个预先构建好的分类模型，可以将特征区域图像按照特征区域类型输入对应的分类模型来进行分类预测。各个分类模型在预先构建时，采用了不同的深度学习网络对不同类别的特征区域的样本数据进行分析学习。通过大量样本数据的训练，可以让各个深度学习网络记住每个类别的特征区域对应的特征，从而深度学习网络可以根据从待处理图像的区域特征图像中提取到的特征，输出相应的分类预测结果。

用于对深度学习网络进行训练的样本数据，可以分为简单样本和困难样本。简单样本指的是预测时与真值标签误差较小的样本，困难样本则指的是预测时与真值标签误差较大的样本。例如，当真值标签为[1,0,0]时，在针对样本预测出的概率分布为[0.3,0.3,0.4]时，与真值标签相差较大，则该样本为困难样本；而在针对样本预测出的概率分布为[0.98,0.01,0.01]时，与真值标签相差较小，则该样本为简单样本。

通常来说在训练数据中简单样本的占比往往较大，因此在网络训练时，常常会忽略对于困难样本的训练，从而导致困难样本的分类效果不好。在本公开的一些实施例中，可以在机器学习网络的训练过程中计算损失的步骤时，增加困难样本的权重，减少易分类样本的权重，从而使得网络在训练时更专注于困难样本。例如，可以采用焦点损失函数(focalloss)来解决难易样本不均衡问题，焦点损失函数针对简单样本和困难样本，通过在函数中增加的一个调节系数γ，调节系数γ可以用于调节简单样本权重降低的速率，减少易分类样本的损失，使得网络更关注于困难的、错分的样本。

步骤S300：根据预先确定的各个分类模型的加权值对各个分类模型的分类预测结果进行加权计算，得到待处理图像的面部识别预测值。

考虑到不同的特征区域中的特征对于预测结果的影响不同，例如遗传病在眼睛、鼻子上的性状表现较多，则在获取最终的预测结果时，眼睛、鼻子所在特征区域的权重也相应地应该增加。在获取各个分类模型得到的分类预测结果后，可以根据预先确定的各个分类模型的加权值对各个分类模型的分类预测结果进行加权计算，得到所述待处理图像的面部识别预测值。

在实际应用时，可以根据的研究方向与分析需求灵活调整各个分类模型的加权值，以获得最优的面部识别预测效果。例如，可以针对各个分类模型的加权值建立一个搜参训练空间，将各个分类模型的加权值定义为模型超参数，设定好模型超参数的范围值，通过训练空间不断的自我迭代更新，来找到结果最优、最适合当前模型以及当前数据集的加权值。

在一些其他的实施例中，也可以综合考虑遗传病面部特征的分布比例以及操作经验来确定各个分类模型的最优加权值。

上述面部识别方法，通过对待处理图像按照预先划分的特征区域进行分割，可以获取不同特征区域的特征区域图像。将特征区域图像输入对应的分类模型中进行分类，以获取各个分类模型的分类预测结果。预先训练好的分类模型包括了预先使用相应特征区域的样本数据进行训练得到的机器学习网络，在所述机器学习网络的训练过程中计算损失时增加困难样本的权重，以使得网络在训练时更专注于困难样本，优化困难样本的分类效果。通过划分不同的特征区域，并采用不同的神经网络分别针对不同的特征区域进行分类识别，可以让网络尽可能学习到更多的特征区域，提高网络的特征提取效果，从而提高面部识别结果的准确性。

图2为本公开其中一个实施例中构建特征区域对应的分类模型的方法流程示意图，在其中一个实施例中，构建特征区域对应的分类模型可以包括如下步骤S10至步骤S30。

步骤S10：根据特征区域的特征分布情况选择机器学习网络，并设置机器学习网络的模型超参数。

由于人脸不同区域上特征分布情况不相同，因此可以利用不同机器学习网络的不同特性，对不同特征区域进行适应性地训练。例如，在遗传病面部识别任务中，根据遗传病表征在人脸上的主要分布情况，可以将人脸图像的特征区域划分为上部脸区域、下部脸区域和全部脸区域。

由于transfomer网络在应用于针对全局、上下文关系的信息抽取方面效果较好，更注重于整张图片上下文的关系，因此针对全部脸区域可以采用transfomer网络进行训练。由于卷积网络对于图片领域、细节方面的信息抽取效果更好，更注意细节上的特征，因此针对上部脸区域和下部分脸区域可以采用卷积网络进行训练。同时，由于上部脸区域中遗传病表征分布比较少且表征信息比较简单，因此，可以采用网络层数较浅的卷积网络对上部脸区域进行训练；而下脸部区域中遗传病表征分布比较多且表征信息比较复杂，因此，可以采用网络层数较多的卷积网络对下部脸区域进行训练。

在确定各个特征区域分别选用的机器学习网络后，可以定义好各个网络的模型超参数。超参数指的是人为设定的参数，它不是通过系统学习得到的。在深度学习中，超参数有学习速率、迭代次数、层数、每层神经元的个数等参数。例如，在确定各个特征区域分别选用的机器学习网络后，可以设置上部脸区域对应的卷积网络小于预设值，设置下部脸区域对应的卷积网络大于预设值。

步骤S20：利用投影梯度下降算法生成特征区域的样本数据的对抗样本数据。

现有的疾病图像分类任务中，遗传疾病数据经过基础数据处理后就送入到机器学习网络中进行训练了。然而，由于通过收集到的遗传病数据的样式单一且数据样本的数量比较少，因此将导致模型的鲁棒性比较差。利用投影梯度下降算法(Projected gradientdescent，Pgd)生成特征区域的样本数据的对抗样本数据，可以沿着原样本数据的梯度方向来生成对抗样本数据。通过生成对抗样本数据，将原样本数据和对抗样本数据一起送入模型中进行训练，可以增加模型的鲁棒性、泛化性。

步骤S30：将特征区域的样本数据和对抗样本数据输入机器学习网络中进行训练迭代，获取特征区域对应的分类模型。

在遗传病面部识别任务的应用场景中，可以将遗传疾病数据作为训练样本，对遗传疾病数据执行人脸图像识别，并按照预先划分的若干特征区域提取出相应的特征区域图像的操作，以获取各个特征区域的样本数据。通过投影梯度下降算法生成对抗样本数据，与样本数据一起送入模型中进行训练，以获取特征区域对应的分类模型。

在本公开的一些实施例中，考虑到在人脸遗传病中，多个疾病存在共同表征，这样会影响到模型的训练，造成模型预测结果准确率低的问题。通过训练获取一个基于遗传病人脸的抽取特征模型，用于抽取图像的特征向量，然后通过机器学习的kmeans聚类方法，计算向量与类别中心向量的欧氏距离，可以清洗掉那些存在于多个类别中的疾病图片，提高模型预测结果的准确率。

上述面部识别方法，通过根据特征区域的特征分布情况灵活选择合适的机器学习网络，利用不同机器学习网络的优点贴合不同特征区域的特征分布情况，来最大化地提高模型的特征提取效果。通过利用投影梯度下降算法沿着特征区域的样本数据的梯度方向来生成对抗样本数据。将原样本数据和对抗样本数据一起送入模型中进行训练、进行联合损失计算，可以增加模型的鲁棒性、泛化性。

图3为本公开其中一个实施例中分类模型的训练步骤的方法流程示意图，在其中一个实施例中，将特征区域的样本数据和对抗样本数据输入机器学习网络中进行训练迭代可以包括如下步骤S31至步骤S39。

步骤S31：对样本数据和对抗样本数据进行特征抽取，获取样本数据的第一特征向量和对抗样本数据的第二特征向量。

步骤S33：采用第一批次归一化层对样本数据进行归一化处理，采用第二批次归一化层对所述对抗样本数据进行归一化处理。

在现有的面部识别方法中，通常疾病图像经过初步去噪的基础数据处理后，单一地做成分类数据标准送入到网络中进行特征提取。现有的分类网络常用训练层如图4所示的结构，图4为现有疾病图像分类模型中网络的结构示意图，数据经过卷积后进行批次归一化(Batch Normalize，BN)处理。现有的分类网络包括如图4所示的卷积层conv，和批次归一化层BN，数据x被做成分类数据标准送入到网络中利用卷积层conv进行特征提取，然后输入批次归一化层BN进行处理。

在本公开的一些实施例中，采用如图5所示的网络结构，图5为本公开其中一个实施例中机器学习网络的结构示意图。将遗传疾病数据作为训练样本，对遗传疾病数据执行人脸图像识别，并按照预先划分的若干特征区域提取出相应的特征区域图像的操作后，获取各个特征区域的样本数据。通过投影梯度下降算法生成数据样本x_ori的对抗样本数据x_adv，对抗样本数据x_adv与样本数据x_ori一起送入网络中进行训练。通过卷积层对样本数据x_ori与对抗样本数据x_adv进行特征提取后，将获取样本数据x_ori的第一特征向量和对抗样本数据x_adv的第二特征向量。

在经过最后一层卷积后，采用不同的批次归一化层分别对样本数据和对抗样本数据进行处理。采用第一批次归一化层BN对样本数据x_ori进行归一化处理，采用第二批次归一化层auxiliary-BN对于对抗样本数据x_adv进行归一化处理。采用不同的批次归一化层分别对样本数据和对抗样本数据进行处理，可以解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。

步骤S35：根据样本数据和第一特征向量采用焦点损失函数计算第一损失，根据对抗样本数据和第二特征向量采用焦点损失函数计算第二损失。

步骤S37：对第一损失和第二损失进行联合损失计算获取第三损失。

步骤S39：根据第三损失进行梯度计算，并对机器学习网络的梯度进行更新。

采用不同的批次归一化层分别对样本数据和对抗样本数据进行处理后，分别对样本数据和对抗样本数据进行损失计算，再将对抗样本损失与原始样本损失进行联合损失计算，以获取最终的损失值。计算获取的最终损失值将会进行模型梯度的计算，用于后续训练的反向传播中。在本公开的一些实施例中，联合损失计算指的是将第一损失与第二损失相加以获取第三损失。根据第三损失进行梯度计算并更新。

目前常规的网络训练中在计算损失时，通常使用的是标签平滑交叉熵算法，它的主要作用是将多分类任务中预测的标签数值进行平滑，使其变得不那么绝对，但是使用它的前提是数据样本分布是均衡、稳定的。然而在遗传病面部识别等应用场景中，数据通常是不均衡的，且简单样本和困难样本差距过大。

在本公开的一些实施例中，是利用焦点损失函数来实现在机器学习网络的训练过程中，在计算损失时增加困难样本的权重的。采用焦点损失函数计算第一特征向量的第一损失和第二特征向量的第二损失，利用焦点损失函数中的调制系数来增加困难样本的权重。通过选用focal loss损失函数，可以有效解决因为简单样本占比较大，网络训练时常常会忽略困难样本，而导致困难样本的分类效果不好的问题。

Focal loss函数的计算公式为：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t)

其中，p_t指的是当前训练样本的预测分数，α_t和γ为两个不同的调制参数，通过控制α_t系数可以调配正负样本的权重比值，在遗传病面部识别任务中可以将正常人类别定义为负样本、其他99种遗传病定义为正样本。通过控制γ系数可以调配难易样本的权重比值。

在一些其他的实施例中，也可以采用其他方式来调整困难样本和简单样本的权重。例如，采用加权求和的方式对第一损失和第二损失进行联合损失计算，通过调整第一损失和第二损失的加权值，来增加困难样本的权重，减少易分类样本的权重，从而使得网络在训练时更专注于困难样本的特征提取。

上述面部识别方法，在机器学习网络计算损失时，通过调整加入的调制系数γ，可以实现对难易样本权重的调节。通过减少易分类样本的权重，增加困难样本的权重，从而使得网络在训练时更专注于困难样本的特征提取，增强网络对于数据中的困难样本的分类效果。

图6为本公开其中一个实施例中对待处理图像进行处理的方法流程示意图，在其中一个实施例中，识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像可以包括如下步骤S110至步骤S130。

步骤S110：采用人脸检测算法识别出待处理图像中的人脸图像。

不同于传统疾病图像分类任务对数据的初步去噪，本公开考虑了数据的细分特征和医疗数据的特性，对待处理图像进行了更细化的分析，来提高网络提取特征效果。在数据处理阶段，可以通过对待处理图像进行人脸检测，来分析图片中是否存在人脸。如果待处理图像中存在人脸就可以将图像中的人脸部分识别出来。人脸图像检测的目标是找出图像中所有的人脸对应的位置，算法的输出是人脸外接矩形在图像中的坐标，可能还包括姿态如倾斜角度等信息。

步骤S120：采用人脸姿态矫正算法对所人脸图像进行矫正。

由于在实际应用中，采集到的待处理图像往往不是正面的人脸图像，人脸姿态的偏差可能会影响对于特征的提取效果，进而影响模型的预测结果准确率。利用人脸姿态矫正算法可以把不同角度的人脸图像矫正到标准人脸图像，从而达到降低干扰提高预测结果准确率的目的。人脸姿态矫正算法可以通过改进对人脸特征点的有效定位，来计算人脸姿态旋转的角度，再通过角度和改进姿态矫正方法来矫正非标准姿态人脸到近似标准姿态。

步骤S130：采用人脸分割算法对人脸图像按照预先划分的若干特征区域提取出相应的特征区域图像。

考虑到在遗传病面部识别任务中，由于每种疾病的特征区域分布不同，因此若只使用单一的网络对整个图像进行特征提取时，会造成某些疾病的特征区域没有被网络学习到的问题。在本公开的一些实施例中，考虑到人脸不同区域上分布的特征也不同，因此，对人脸图像按照区域进行划分，从而能够提高特征提取效果。可以根据人脸图像检测中提取到的人脸关键位置的坐标点，来对特征区域进行划分。

在其中一个实施例中，在遗传病面部识别任务中，根据遗传病表征在人脸上的分布情况，主要针对上部脸、下部脸和全部脸进行分析。因此，预先划分的若干特征区域包括上部脸区域、下部脸区域和全部脸区域。利用人脸分割算法可以将如图7所示的原图像按检测出来的标准点将人脸图像切割分成如图8所示的上部人脸、如图9所示的下部人脸，和如图10所示的全部人脸三种图像。图7为本公开其中一个实施例中遗传病面部原数据示意图，图8为本公开其中一个实施例中上部脸区域图像示意图，图9为本公开其中一个实施例中下部脸区域图像示意图，图9为本公开其中一个实施例中全部脸区域图像示意图

上述面部识别方法，通过利用人脸检测算法、人脸姿态矫正算法对待处理图像的人脸图像进行识别，可以减少待处理图像中的噪声；通过人像分割算法将待处理图像的人脸图像按照区域进行分割，获取区域特征对应的区域特征图像，可以让网络尽可能学习到更多的特征区域，提高网络对于面部特征的提取效果。

在其中一个实施例中，在构建特征区域对应的分类模型前，也可以对用于对机器学习网络进行训练的数据执行步骤S110至步骤S130的图像去噪处理，获取特征区域对应的训练样本数据，从而提高对于机器学习网络的训练效果，保证机器学习网络可以更专注地对特征区域进行学习。

应该理解的是，虽然上述实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述面部识别方法实施例的描述，本公开还提供了一种面部识别装置。所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于系统解决问题的实现方案与方法相似，因此本说明书实施例具体的系统的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图11为本公开其中一实施例中面部识别装置的结构示意图。在其中一个实施例中，面部识别装置可以包括数据处理模块100、模型预测模块200和预测结果融合模块300。

数据处理模块100，可以用于识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像。

模型预测模块200，可以用于将特征区域图像分别输入特征区域对应的分类模型，获取各个分类模型的分类预测结果，分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，其中，在机器学习网络的训练过程中，在计算损失时增加困难样本的权重。

预测结果融合模块300，可以用于根据预先确定的各个分类模型的加权值对各个分类模型的分类预测结果进行加权计算，得到待处理图像的面部识别预测值。

上述面部识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在其中一个实施例中，面部识别装置还可以包括模型选择模块、样本生成模块和模型训练模块。

模型选择模块，可以用于根据特征区域的特征分布情况选择机器学习网络，并设置机器学习网络的模型超参数。

样本生成模块，可以用于利用投影梯度下降算法生成特征区域的样本数据的对抗样本数据。

模型训练模块，可以用于将特征区域的样本数据和对抗样本数据输入机器学习网络中进行训练迭代，获取特征区域对应的分类模型。

在其中一个实施例中，模型训练模块可以包括特征抽取单元、归一化处理单元、损失计算单元和梯度计算单元。

特征抽取单元，可以用于对样本数据和对抗样本数据进行特征抽取，获取样本数据的第一特征向量和对抗样本数据的第二特征向量。

归一化处理单元，可以用于采用第一批次归一化层对样本数据进行归一化处理，采用第二批次归一化层对所述对抗样本数据进行归一化处理。

损失计算单元，可以用于根据样本数据和第一特征向量采用焦点损失函数计算第一损失，根据对抗样本数据和第二特征向量采用焦点损失函数计算第二损失。损失计算单元，还可以用于对第一损失和第二损失进行联合损失计算获取第三损失。

梯度计算单元，可以用于根据第三损失进行梯度计算，并对机器学习网络的梯度进行更新。

在其中一个实施例中，数据处理模块可以包括人脸检测单元、人脸姿态矫正单元和人脸分割单元。

人脸检测单元，可以用于采用人脸检测算法识别出待处理图像中的人脸图像。

人脸姿态矫正单元，可以用于采用人脸姿态矫正算法对人脸图像进行矫正。

人脸分割单元，可以用于采用人脸分割算法对人脸图像按照预先划分的若干特征区域提取出相应的特征区域图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

可以理解的是，本说明书中上述方法、装置等的各个实施例均采用递进的方式描述，各个实施例之间相同/相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。

图12为本公开其中一实施例中面部识别装置或系统的结构示意图。参照图12，面部识别装置或系统S00包括处理组件S20，其进一步包括一个或多个处理器，以及由存储器S22所代表的存储器资源，用于存储可由处理组件S20的执行的指令，例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件S20被配置为执行指令，以执行上述方法。

面部识别装置或系统S00还可以包括：电源组件S24被配置为执行面部识别装置或系统S00的电源管理，有线或无线网络接口S26被配置为将面部识别装置或系统S00连接到网络，和输入输出(I/O)接口S28。面部识别装置或系统S00可以操作基于存储在存储器S22的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器S22，上述指令可由面部识别装置或系统S00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由面部识别装置或系统S00的处理器执行以完成上述方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示，图13为本公开其中一个实施例中计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种公积金系统的面部识别方法。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的，上述所述的装置、电子设备、服务器等根据方法实施例的描述还可以包括其它的实施方式，具体的实现方式可以参照相关方法实施例的描述。同时各个方法以及装置、设备、服务器实施例之间特征的相互组合组成的新的实施例仍然属于本公开所涵盖的实施范围之内，在此不作一一赘述。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种面部识别方法，其特征在于，包括：

识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像；

将所述特征区域图像分别输入所述特征区域对应的分类模型，获取各个分类模型的分类预测结果，所述分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，其中，在所述机器学习网络的训练过程中，采用焦点损失函数计算损失，利用所述焦点损失函数中的调制系数来增加困难样本的权重；

根据预先确定的所述各个分类模型的加权值对所述各个分类模型的分类预测结果进行加权计算，得到所述待处理图像的面部识别预测值。

2.根据权利要求1所述的面部识别方法，其特征在于，构建所述特征区域对应的分类模型包括：

根据所述特征区域的特征分布情况选择机器学习网络，并设置所述机器学习网络的模型超参数；

利用投影梯度下降算法生成所述特征区域的样本数据的对抗样本数据；

将所述特征区域的样本数据和所述对抗样本数据输入所述机器学习网络中进行训练迭代，获取所述特征区域对应的分类模型。

3.根据权利要求2所述的面部识别方法，其特征在于，所述将所述特征区域的样本数据和所述对抗样本数据输入所述机器学习网络中进行训练迭代包括：

对所述样本数据和所述对抗样本数据进行特征抽取，获取所述样本数据的第一特征向量和所述对抗样本数据的第二特征向量；

采用第一批次归一化层对所述样本数据进行归一化处理，采用第二批次归一化层对所述对抗样本数据进行归一化处理；

根据所述样本数据和所述第一特征向量采用所述焦点损失函数计算第一损失，根据所述对抗样本数据和所述第二特征向量采用所述焦点损失函数计算第二损失；

对所述第一损失和所述第二损失进行联合损失计算获取第三损失；

根据所述第三损失进行梯度计算，并对所述机器学习网络的梯度进行更新。

4.根据权利要求1所述的面部识别方法，其特征在于，所述识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像包括：

采用人脸检测算法识别出所述待处理图像中的人脸图像；

采用人脸姿态矫正算法对所述人脸图像进行矫正；

采用人脸分割算法对所述人脸图像按照预先划分的若干特征区域提取出相应的特征区域图像。

5.根据权利要求1所述的面部识别方法，其特征在于，所述预先划分的若干特征区域包括上部脸区域、下部脸区域和全部脸区域。

6.一种面部识别装置，其特征在于，包括：

数据处理模块，用于识别出待处理图像中的人脸图像，按照预先划分的若干特征区域提取出相应的特征区域图像；

模型预测模块，用于将所述特征区域图像分别输入所述特征区域对应的分类模型，获取各个分类模型的分类预测结果，所述分类模型包括预先使用相应特征区域的样本数据进行训练得到的机器学习网络，其中，在所述机器学习网络的训练过程中，采用焦点损失函数计算损失，利用所述焦点损失函数中的调制系数来增加困难样本的权重；

预测结果融合模块，用于根据预先确定的所述各个分类模型的加权值对所述各个分类模型的分类预测结果进行加权计算，得到所述待处理图像的面部识别预测值。

7.根据权利要求6所述的面部识别装置，其特征在于，所述面部识别装置还包括：

模型选择模块，用于根据所述特征区域的特征分布情况选择机器学习网络，并设置所述机器学习网络的模型超参数；

样本生成模块，用于利用投影梯度下降算法生成所述特征区域的样本数据的对抗样本数据；

模型训练模块，用于将所述特征区域的样本数据和所述对抗样本数据输入所述机器学习网络中进行训练迭代，获取所述特征区域对应的分类模型。

8.根据权利要求7所述的面部识别装置，其特征在于，所述模型训练模块包括：

特征抽取单元，用于对所述样本数据和所述对抗样本数据进行特征抽取，获取所述样本数据的第一特征向量和所述对抗样本数据的第二特征向量；

归一化处理单元，用于采用第一批次归一化层对所述样本数据进行归一化处理，采用第二批次归一化层对所述对抗样本数据进行归一化处理；

损失计算单元，用于根据所述样本数据和所述第一特征向量采用所述焦点损失函数计算第一损失，根据所述对抗样本数据和所述第二特征向量采用所述焦点损失函数计算第二损失，还用于对所述第一损失和所述第二损失进行联合损失计算获取第三损失；

梯度计算单元，用于根据所述第三损失进行梯度计算，并对所述机器学习网络的梯度进行更新。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任意一项所述的面部识别方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任意一项所述的面部识别方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任意一项所述的面部识别方法的步骤。

Images