CN110991412A - 人脸识别的方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种人脸识别的方法、装置、存储介质及电子设备，可以通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；所述人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；所述变换人脸图像为对所述原始人脸图像进行拉普拉斯变换后得到的图像；获取预先训练得到的特征提取模型；通过所述特征提取模型对所述四通道人脸图像进行特征提取，得到目标特征向量；根据所述目标特征向量对所述人脸图像对应的人脸进行识别。

Description

人脸识别的方法、装置、存储介质及电子设备

技术领域

本公开涉及人脸识别领域，具体地，涉及一种人脸识别的方法、装置、存储介质及电子设备。

背景技术

在日常生活中，人们经常会在社交平台上发布各种信息，其中包含了大量的照片和视频，如何从照片和视频中提取出有效信息，成为一大难点问题，相关技术中为提高对有效信息提取的效率及准确率，引入了人脸识别分析对社交媒体上用户发布的图片和视频进行处理和检索，可有效帮助构建用户之间的关联关系，分析出社交媒体网络上的关键用户。

现在主流的人脸识别技术多使用黄种人和白种人的面部特征进行模型开发和训练，并且样本中的光照条件良好，因此可以从图片中较好的识别和分析黄种人和白种人的人脸，但是，由于深肤色(如黑人)人脸图像的纹理特征较不明显，并且反光较强，因此现有的人脸识别方法对深肤色人脸的识别和分析存在缺陷，尤其无法应对中偏重黑人人脸光照不佳的情况，不能在视频和照片中很好的识别和分析深肤色人脸，也就是说，现有的人脸识别方法很难对深肤色人脸的特征进行有效分析和提取，从而导致对深肤色人脸的识别准确率较低。

发明内容

本公开的目的是提供一种人脸识别的方法、装置、存储介质及电子设备。

第一方面，提供一种人脸识别的方法，所述方法包括：通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；所述人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；所述变换人脸图像为对所述原始人脸图像进行拉普拉斯变换后得到的图像；获取预先训练得到的特征提取模型；通过所述特征提取模型对所述四通道人脸图像进行特征提取，得到目标特征向量；根据所述目标特征向量对所述人脸图像对应的人脸进行识别。

可选地，所述预设人脸检测模型包括多任务卷积神经网络MTCNN，所述MTCNN包括P-Net网络，与所述P-Net网络相连的R-Net网络，以及与所述R-Net网络相连的O-Net网络；所述通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像包括：将所述目标图像输入所述P-Net网络，生成人脸候选窗口；通过所述R-Net网络在所述人脸候选窗口中确定目标人脸候选窗口；根据所述目标人脸候选窗口通过所述O-Net网络在所述目标图像中标注人脸区域，得到标注所述人脸区域的所述原始人脸图像；对所述原始人脸图像进行拉普拉斯变换，得到所述变换人脸图像；将所述原始人脸图像和所述变换人脸图像进行拼接，得到所述四通道人脸图像。

可选地，所述特征提取模型的网络结构包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，所述ResNet网络包括输入层、多个残差层，以及输出层，所述Highway卷积层用于将通过所述输入层输入的所述四通道人脸图像数据传输至各个所述残差层，所述Shortcut网络用于在所述残差层之间，以及在所述残差层和所述输出层之间连通数据。

可选地，在所述通过所述特征提取模型对所述四通道人脸图像进行特征提取之前，所述方法还包括：通过所述O-Net网络对所述四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置；根据所述关键点位置对所述四通道人脸图像进行人脸对齐；所述通过所述特征提取模型对所述四通道人脸图像进行特征提取包括：通过所述特征提取模型对经过人脸对齐后的四通道人脸图像进行特征提取。

第二方面，提供一种人脸识别的装置，所述装置包括：人脸检测模块，用于通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；所述人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；所述变换人脸图像为对所述原始人脸图像进行拉普拉斯变换后得到的图像；获取模块，用于获取预先训练得到的特征提取模型；特征提取模块，用于通过所述特征提取模型对所述四通道人脸图像进行特征提取，得到目标特征向量；人脸识别模块，用于根据所述目标特征向量对所述人脸图像对应的人脸进行识别。

可选地，所述预设人脸检测模型包括多任务卷积神经网络MTCNN，所述MTCNN包括P-Net网络，与所述P-Net网络相连的R-Net网络，以及与所述R-Net网络相连的O-Net网络；所述人脸检测模块，用于将所述目标图像输入所述P-Net网络，生成人脸候选窗口；通过所述R-Net网络在所述人脸候选窗口中确定目标人脸候选窗口；根据所述目标人脸候选窗口通过所述O-Net网络在所述目标图像中标注人脸区域，得到标注所述人脸区域的所述原始人脸图像；对所述原始人脸图像进行拉普拉斯变换，得到所述变换人脸图像；将所述原始人脸图像和所述变换人脸图像进行拼接，得到所述四通道人脸图像。

可选地，所述特征提取模型的网络结构包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，所述ResNet网络包括输入层、多个残差层，以及输出层，所述Highway卷积层用于将通过所述输入层输入的所述四通道人脸图像数据传输至各个所述残差层，所述Shortcut网络用于在所述残差层之间，以及在所述残差层和所述输出层之间连通数据。

可选地，所述装置还包括：关键点检测模块，用于通过所述O-Net网络对所述四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置；人脸对齐模块，用于根据所述关键点位置对所述四通道人脸图像进行人脸对齐；所述特征提取模块，用于通过所述特征提取模型对经过人脸对齐后的四通道人脸图像进行特征提取。

第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。

第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。

通过上述技术方案，首先通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像，所述人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像，所述变换人脸图像为对所述原始人脸图像进行拉普拉斯变换后得到的图像；获取预先训练得到的特征提取模型；通过所述特征提取模型对所述四通道人脸图像进行特征提取，得到目标特征向量；根据所述目标特征向量对所述人脸图像对应的人脸进行识别，本公开可以通过对原始人脸图像进行拉普拉斯变换后得到的变换人脸图像描述人脸图像中的纹理强度，因此，由该原始人脸图像及该变换人脸图像进行拼接后得到的该四通道人脸图像，相比较于该原始人脸图像来说人脸纹理特征较明显，这样在基于深肤色人脸的该四通道人脸图像进行特征提取时，可以更高效地获取到人脸图像的纹理特征，进而可以提高对深肤色人脸识别的准确率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的第一种人脸识别的方法的流程图；

图2是根据一示例性实施例示出的第二种人脸识别的方法的流程图；

图3是根据一示例性实施例示出的一种人脸特征提取模型的结构示意图；

图4是根据一示例性实施例示出的第一种人脸识别的装置的框图；

图5是根据一示例性实施例示出的第二种人脸识别的装置的框图；

图6是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

本公开主要应用于对深肤色人脸(如黑人人脸)的识别场景中，现有的人脸识别技术多是使用黄种人和白种人的面部特征进行模型开发和训练，并且样本中的光照条件良好，因此可以很好的识别黄种人和白种人的人脸，但由于深肤色人脸图像的纹理特征较不明显，并且反光较强，因此现有的人脸识别方法对深肤色人脸的识别和分析存在缺陷，尤其无法应对中偏重黑人人脸光照不佳的情况，不能在视频和照片中很好的识别和分析深肤色人脸，也就是说，现有的人脸识别方法很难对深肤色人脸的特征进行有效分析和提取，从而导致对深肤色人脸的识别准确率较低。

为解决上述存在的问题，本公开可以通过对原始人脸图像进行拉普拉斯变换后得到的变换人脸图像描述人脸图像中的纹理强度，因此，由该原始人脸图像及该变换人脸图像进行拼接后得到的该四通道人脸图像，相比较于该原始人脸图像来说人脸纹理特征较明显，这样在基于深肤色人脸的该四通道人脸图像进行特征提取时，可以更高效地获取到人脸图像的纹理特征，进而可以提高对深肤色人脸识别的准确率。

下面结合附图对本公开的具体实施方式进行详细说明。

图1是根据一示例性实施例示出的一种人脸识别的方法的流程图，如图1所示，该方法包括以下步骤：

在步骤101中，通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；该人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；该变换人脸图像为对该原始人脸图像进行拉普拉斯变换后得到的图像。

其中，该人脸图像可以包括深肤色人脸图像，如黑人人脸图像，该预设人脸检测模型可以包括MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)模型，并且该MTCNN模型可以包括P-Net网络，与该P-Net网络相连的R-Net网络，以及与该R-Net网络相连的O-Net网络；这样，在本步骤中，可以将该目标图像输入该P-Net网络，生成人脸候选窗口；通过该R-Net网络在该人脸候选窗口中确定目标人脸候选窗口；根据该目标人脸候选窗口通过该O-Net网络在该目标图像中标注人脸区域，得到标注该人脸区域的该原始人脸图像；对该原始人脸图像进行拉普拉斯变换，得到该变换人脸图像；将该原始人脸图像和该变换人脸图像进行拼接，得到该四通道人脸图像。

需要说明的是，经过拉普拉斯变换的图像其本质上即为通过高通滤波器处理的图像，在进行拉普拉斯变换的过程中，可以保留图像的高频分量(即变化剧烈的部分)，抑制图像的低频分量(即变化缓慢的部分)，而图像变化剧烈的部分，往往反应的就是图像的边沿信息，在人脸上即反映脸部的纹理信息，因此，经过拉普拉斯变换后的图像可以明显增强人脸纹理。

在步骤102中，获取预先训练得到的特征提取模型。

其中，该特征提取模型可以为CNN卷积神经网络模型，具体地，可以采用Resnet分类网络(Resnet分类网络是当前应用较为广泛的CNN特征提取网络)作为该特征提取网络，为从多角度提升实际环境中提取到的人脸特征的质量，本公开可以在ResNet网络的基础上，增加更多的Shortcut网络连接与Highway卷积层连接，保证了特征生成网络中能够兼具挖掘出人脸样本图像中的浅层与深层纹理特征。

具体地，该特征提取模型的网络结构可以包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，该ResNet网络包括输入层、多个残差层，以及输出层，该Highway卷积层用于将通过该输入层输入的该四通道人脸图像数据传输至各个该残差层，该Shortcut网络用于在该残差层之间，以及在该残差层和该输出层之间连通数据。

在步骤103中，通过该特征提取模型对该四通道人脸图像进行特征提取，得到目标特征向量。

在步骤104中，根据该目标特征向量对该人脸图像对应的人脸进行识别。

采用上述方法，可以通过对原始人脸图像进行拉普拉斯变换后得到的变换人脸图像描述人脸图像中的纹理强度，因此，由该原始人脸图像及该变换人脸图像进行拼接后得到的该四通道人脸图像，相比较于该原始人脸图像来说人脸纹理特征较明显，这样在基于深肤色人脸的该四通道人脸图像进行特征提取时，可以更高效地获取到人脸图像的纹理特征，进而可以提高对深肤色人脸识别的准确率。

图2是根据图1所示实施例示出的一种人脸识别的方法的流程图，如图2所示，该方法包括以下步骤：

在步骤201中，通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；该人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；该变换人脸图像为对该原始人脸图像进行拉普拉斯变换后得到的图像。

人脸识别本质上是将图片中的人脸检测出来，与另一张人脸进行比较，判断两张人脸是否为同一人的过程，人脸识别主要包括人脸检测、关键点检测、人脸对齐、特征提取以及比对识别这几个步骤，其中，人脸检测即检测目标图像中是否存在人脸，若存在人脸，则输出人脸所在位置，例如可以输出人脸位置的坐标序列，可视化后用方框标示出人脸，或者直接标示出人脸的轮廓，因此，在本步骤中，可以先对待识别的该目标图像进行人脸检测，确定该目标图像中是否存在人脸，具体地，可以通过该预设人脸检测模型对该目标图像进行人脸检测，得到待识别的人脸图像。

其中，该人脸图像可以包括深肤色人脸图像，如黑人人脸图像，该预设人脸检测模型可以包括MTCNN模型，并且该MTCNN模型可以进一步包括P-Net网络，与该P-Net网络相连的R-Net网络，以及与该R-Net网络相连的O-Net网络，该原始人脸图像可以包括通过该预设人脸检测模型对目标图像进行人脸检测后，输出的在该目标图像中标示出人脸位置的图像，并且该原始人脸图像通常为包括R、G、B三通道的彩色图像，在对该原始人脸图像进行拉普拉斯变换后，可以得到该变换人脸图像，例如，可以通过公式(1)进行拉普拉斯变换得到该变换人脸图像：

I_lap＝L(I)

其中，I_lap表示该变换人脸图像，I表示该原始人脸图像，L()表示预设拉普拉斯变换函数。

需要说明的是，经过拉普拉斯变换的图像其本质上即为通过高通滤波器处理的图像，在进行拉普拉斯变换的过程中，可以保留图像的高频分量(即变化剧烈的部分)，抑制图像的低频分量(即变化缓慢的部分)，而图像变化剧烈的部分，往往反应的就是图像的边沿信息，在人脸上即反映脸部的纹理信息，因此，经过拉普拉斯变换后的图像可以明显增强人脸纹理。

在得到该变换人脸图像后，为进一步增强深肤色人脸上的纹理，还可以将该原始人脸图像和该变换人脸图像进行拼接，得到该四通道人脸图像，即在彩色图像三通道的后面拼接一个新通道，该新通道即为该变换人脸图像，这样，可以基于该增强人脸纹理的该四通道人脸图像进行深肤色人脸识别，以提高对深肤色人脸的识别准确率。

具体地，在本步骤的人脸检测过程中，可以将该目标图像输入该P-Net网络，生成人脸候选窗口；然后通过该R-Net网络在该人脸候选窗口中确定目标人脸候选窗口，其中，该目标人脸候选窗口可以理解为对该人脸候选窗口进行高精度过滤筛选后确定出的人脸区域，之后可以根据该目标人脸候选窗口通过该O-Net网络在该目标图像中标注人脸区域，得到标注该人脸区域的该原始人脸图像，然后按照公式(1)该的方法对该原始人脸图像进行拉普拉斯变换，得到该变换人脸图像；并将该原始人脸图像和该变换人脸图像进行拼接，得到该四通道人脸图像。

还需说明的是，在本步骤另一种可能的实现方式中，该预设人脸检测模型还可以包括Faster RCNN模型或者Mask RCNN模型，但考虑到MTCNN模型可以基于上述三层网络结构逐级进行分类回归，并且每一级的检测结果都更接近于真实人脸框，因此，采用MTCNN模型可以更快速高效的进行人脸检测。

另外，对于深肤色人脸图像来说除了人脸的纹理较不明显以外，还存在较强的反光问题，这也会增大对深肤色人脸的特征提取的困难程度，鉴于此，本公开可以通过对深肤色人脸图像进行归一化处理来矫正深肤色人脸的反光问题，又因为人脸图像的归一化过程需要基于可以定位出人脸五官的关键点位置进行，因此，在本公开一种可能的实现方式中，可以通过执行步骤202对该四通道人脸图像进行关键点检测，并且，本公开除了可以通过该O-Net网络识别人脸区域外，还可以通过该O-Net网络进行人脸特征点定位(即关键点检测)。

在步骤202中，通过O-Net网络对该四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置。

在本步骤一种可能的实现方式中，可以基于该O-Net网络的F函数(该F函数的各参数可以通过预先训练确定)对该四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置，通常情况下，O-Net网络的输入为该原始人脸图像I，输出结果为该关键点位置(可以表示为F(I))，在本公开中，用于关键点检测的该O-Net网络的输入除了该原始人脸图像以外，为了增强深肤色人脸上的纹理，还将该原始人脸图像的拉普拉斯变换结果(即该变换人脸图像)输入到该O-Net网络进行关键点检测，具体地，可以将由该原始人脸图像和该变换人脸图像进行拼接后得到的该四通道人脸图像输入各项参数已知的该F函数，得到该关键点位置。

其中，该关键点位置可以用每个关键点的坐标值表示。

在得到该人脸的关键点位置后，即可根据该关键点位置进行灰度归一化处理，从而通过灰度归一化处理增强图像的对比度，并进行光照补偿，使图像的细节更加清楚，以减弱光线和光照强度的影响，灰度归一化的具体实现方式可以参考现有技术中的相关描述，在此不作赘述。

在步骤203中，根据该关键点位置对该四通道人脸图像进行人脸对齐。

其中，人脸对齐的目的主要是将人脸图像变换为统一的尺寸和角度，有利于后续的特征提取。

在本步骤中，该人脸对齐的过程即为对人脸进行几何归一化的过程，具体地，可以包括人脸校正和人脸裁剪，人脸校正即利用关键点的坐标值旋转图像，以保证人脸方向的一致性，人脸裁剪即根据检测出的定位人脸五官的人脸关键点和在目标图像上标示出人脸区域的人脸检测结果确定人脸的特征区域。

通过执行步骤201至步骤203，完成了人脸识别过程中的人脸检测，在目标图像中确定出待识别的原始人脸图像，并对该原始人脸图像进行拉普拉斯变换得到可以增强人脸纹理的该变换人脸图像，之后将该原始人脸图像和该变换人脸图像拼接成该四通道的人脸图像，为解决深肤色人脸的反光问题，对该四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置，并基于该关键点位置进行了灰度归一化和人脸对齐(即几何归一化)，上述的操作均可以理解为是特征提取之前的图像预处理操作，在完成图像预处理操作后即可通过执行步骤204至步骤205对人脸图像进行特征提取，得到用于表征人脸纹理的目标特征向量，之后可以通过执行步骤206基于该目标特征向量进行人脸识别。

在步骤204中，获取预先训练得到的特征提取模型。

其中，该特征提取模型可以为CNN卷积神经网络模型，具体地，可以采用Resnet分类网络(Resnet分类网络是当前应用较为广泛的CNN特征提取网络)作为该特征提取网络。

考虑到基本的卷积神经网络包含卷积层、池化层以及全连接层三个部分，并且通过卷积层，可以使用不同的卷积核在图像上滑动，提取图像特征，形成特征图，当卷积层数较多形成深层网络时，随着层数的增加，效果反而可能越来越差，或者后续的网络并不能产生实际效果，而shortcut网络连接与highway网络连接可以解决深层网络梯度消失和梯度爆炸等问题，提高深层次网络的效果，因此，为从多角度提升实际环境中提取到的人脸特征的质量，本公开可以在ResNet网络的基础上，增加更多的Shortcut网络连接与Highway卷积层连接，保证了特征生成网络中能够兼具挖掘出人脸样本图像中的浅层与深层纹理特征。

这里，特征提取模型的网络结构包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，该ResNet网络包括输入层、多个残差层，以及输出层，该Highway卷积层用于将通过该输入层输入的该四通道人脸图像数据传输至各个该残差层，该Shortcut网络用于在该残差层之间，以及在该残差层和该输出层之间连通数据。

需要说明的是，对于该特征提取模型的预先训练的过程，可以利用现有的基于白种人和黄种人的人脸图像样本数据训练得到的人脸识别模型作为初始化模型，然后选用较少的黑人人脸图像样本继续对该初始化模型进行有监督的模型训练，并且，“缩小类内距，扩大类间距”是训练人脸识别模型的核心思想之一，因此，在设计损失函数时，可以加入一个边界控制量，扩大模型学习到的特征间的类间距，以减少不同身份人员图像混淆的可能性。

在步骤205中，通过该特征提取模型对经过人脸对齐后的四通道人脸图像进行特征提取，得到目标特征向量。

示例地，图3是根据一示例性实施例示出的一种特征提取模型的网络结构示意图，如图3所示，ResBlock1、ResBlock2(包括ResBlock2-1和ResBlock2-2)以及ResBlock3为预先设置的ResNet网络中的三个残差层(可以称之为残差单元)，其中，图像数据流从ResBlock1流转至ResBlock2之后，数据尺寸减小，图像数据流再从ResBlock2流转至ResBlock3之后，数据尺寸会进一步减小；在通过Input输入的人脸图像中，有一部分为原始人脸图像进行拉普拉斯变换后的该变换人脸图像，该部分图像增强了图像中的纹理信息，为了让该变换人脸图像中的纹理信息可以被更充分的利用，通过Highway Conv(即Highway卷积层，如图3中的Highway Conv1-2和Highway Conv1-3)将数据传输至各个ResBlock，并且在各个ResBlock内部，通过shortcut连通数据，如shortcut1和shortcut2，进一步地，为了利用各个尺度的特征，可以通过图3中所示的shortcut1-o和shortcut2-o将基于多个尺寸的图像获取到的特征输入至output层，进行特征融合，然后得到用于表征人脸纹理特征的该目标特征向量。

上述示例仅是举例说明，本公开对此不作限定，实际应用中，可以根据实际业务需求调整Highway卷积层、ResNet网络中残差层以及Shortcut网络连接的个数，本公开对此不作限定。

在步骤206中，根据该目标特征向量对该人脸图像对应的人脸进行识别。

考虑到特征向量之间的距离可以直接反映人脸的相似度，对于同一个人的人脸图像，对应的特征向量的距离比较小，对于不同人的人脸图像，对应的向量之间的距离比较大，因此，在本步骤一种可能的实现方式中，可以计算该目标特征向量与预设特征向量之间的距离，其中，该预设特征向量为预设人脸数据库中存储的已知人脸的特征向量，然后根据该距离进行人脸识别，其中，该距离可以包括余弦距离或者欧式距离，该预设人脸数据库中存储着多个人脸样本图像以及每个人脸样本图像分别对应的该预设特征向量。

例如，若确定该目标特征向量与目标预设特征向量之间的距离小于或者等于预设距离阈值，可以确定该待识别的人脸图像与该预设人脸数据库中存储的该目标预设特征向量对应的人脸样本图像为同一人的人脸图像，否则，为不同人的人脸图像，其中，该目标预设特征向量为该预设人脸数据库中存储的任一预设特征向量，此处仅是举例说明，本公开对此不作限定。

采用上述方法，可以通过对原始人脸图像进行拉普拉斯变换后得到的变换人脸图像描述人脸图像中的纹理强度，因此，由该原始人脸图像及该变换人脸图像进行拼接后得到的该四通道人脸图像，相比较于该原始人脸图像来说人脸纹理特征较明显，这样在基于深肤色人脸的该四通道人脸图像进行特征提取时，可以更高效地获取到人脸图像的纹理特征，另外，在进行特征提取之前可以通过图像归一化矫正深肤色人脸的反光问题，这更有利于对深肤色人脸的特征提取，进而可以提高对深肤色人脸识别的准确率。

图4是根据一示例性实施例示出的一种人脸识别的装置的框图，如图4所示，该装置包括：

人脸检测模块401，用于通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；该人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；该变换人脸图像为对该原始人脸图像进行拉普拉斯变换后得到的图像；

获取模块402，用于获取预先训练得到的特征提取模型；

特征提取模块403，用于通过该特征提取模型对该四通道人脸图像进行特征提取，得到目标特征向量；

人脸识别模块404，用于根据该目标特征向量对该人脸图像对应的人脸进行识别。

可选地，该预设人脸检测模型包括多任务卷积神经网络MTCNN，该MTCNN包括P-Net网络，与该P-Net网络相连的R-Net网络，以及与该R-Net网络相连的O-Net网络；该人脸检测模块401，用于将该目标图像输入该P-Net网络，生成人脸候选窗口；通过该R-Net网络在该人脸候选窗口中确定目标人脸候选窗口；根据该目标人脸候选窗口通过该O-Net网络在该目标图像中标注人脸区域，得到标注该人脸区域的该原始人脸图像；对该原始人脸图像进行拉普拉斯变换，得到该变换人脸图像；将该原始人脸图像和该变换人脸图像进行拼接，得到该四通道人脸图像。

可选地，该特征提取模型的网络结构包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，该ResNet网络包括输入层、多个残差层，以及输出层，该Highway卷积层用于将通过该输入层输入的该四通道人脸图像数据传输至各个该残差层，该Shortcut网络用于在该残差层之间，以及在该残差层和该输出层之间连通数据。

可选地，图5是根据图4所示实施例示出的一种人脸识别的装置的框图，如图5所示，该装置还包括：

关键点检测模块405，用于通过该O-Net网络对该四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置；

人脸对齐模块406，用于根据该关键点位置对该四通道人脸图像进行人脸对齐；

该特征提取模块403，用于通过该特征提取模型对经过人脸对齐后的四通道人脸图像进行特征提取。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

采用上述装置，可以通过对原始人脸图像进行拉普拉斯变换后得到的变换人脸图像描述人脸图像中的纹理强度，因此，由该原始人脸图像及该变换人脸图像进行拼接后得到的该四通道人脸图像，相比较于该原始人脸图像来说人脸纹理特征较明显，这样在基于深肤色人脸的该四通道人脸图像进行特征提取时，可以更高效地获取到人脸图像的纹理特征，进而可以提高对深肤色人脸识别的准确率。

图6是根据一示例性实施例示出的一种电子设备600的框图。如图6所示，该电子设备600可以包括：处理器601，存储器602。该电子设备600还可以包括多媒体组件603，输入/输出(I/O)接口604，以及通信组件605中的一者或多者。

其中，处理器601用于控制该电子设备600的整体操作，以完成上述的人脸识别方法中的全部或部分步骤。存储器602用于存储各种类型的数据以支持在该电子设备600的操作，这些数据例如可以包括用于在该电子设备600上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件603可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或通过通信组件605发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口604为处理器601和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件605用于该电子设备600与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件605可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的人脸识别方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的人脸识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器602，上述程序指令可由电子设备600的处理器601执行以完成上述的人脸识别方法。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的人脸识别方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种人脸识别方法，其特征在于，所述方法包括：

通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；所述人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；所述变换人脸图像为对所述原始人脸图像进行拉普拉斯变换后得到的图像；

获取预先训练得到的特征提取模型；

通过所述特征提取模型对所述四通道人脸图像进行特征提取，得到目标特征向量；

根据所述目标特征向量对所述人脸图像对应的人脸进行识别。

2.根据权利要求1所述的方法，其特征在于，所述预设人脸检测模型包括多任务卷积神经网络MTCNN，所述MTCNN包括P-Net网络，与所述P-Net网络相连的R-Net网络，以及与所述R-Net网络相连的O-Net网络；所述通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像包括：

将所述目标图像输入所述P-Net网络，生成人脸候选窗口；

通过所述R-Net网络在所述人脸候选窗口中确定目标人脸候选窗口；

根据所述目标人脸候选窗口通过所述O-Net网络在所述目标图像中标注人脸区域，得到标注所述人脸区域的所述原始人脸图像；

对所述原始人脸图像进行拉普拉斯变换，得到所述变换人脸图像；

将所述原始人脸图像和所述变换人脸图像进行拼接，得到所述四通道人脸图像。

3.根据权利要求1所述的方法，其特征在于，所述特征提取模型的网络结构包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，所述ResNet网络包括输入层、多个残差层，以及输出层，所述Highway卷积层用于将通过所述输入层输入的所述四通道人脸图像数据传输至各个所述残差层，所述Shortcut网络用于在所述残差层之间，以及在所述残差层和所述输出层之间连通数据。

4.根据权利要求2所述的方法，其特征在于，在所述通过所述特征提取模型对所述四通道人脸图像进行特征提取之前，所述方法还包括：

通过所述O-Net网络对所述四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置；

根据所述关键点位置对所述四通道人脸图像进行人脸对齐；

所述通过所述特征提取模型对所述四通道人脸图像进行特征提取包括：

通过所述特征提取模型对经过人脸对齐后的四通道人脸图像进行特征提取。

5.一种人脸识别装置，其特征在于，所述装置包括：

人脸检测模块，用于通过预设人脸检测模型对目标图像进行人脸检测，得到待识别的人脸图像；所述人脸图像包括由原始人脸图像及变换人脸图像进行拼接后得到的四通道人脸图像；所述变换人脸图像为对所述原始人脸图像进行拉普拉斯变换后得到的图像；

获取模块，用于获取预先训练得到的特征提取模型；

特征提取模块，用于通过所述特征提取模型对所述四通道人脸图像进行特征提取，得到目标特征向量；

人脸识别模块，用于根据所述目标特征向量对所述人脸图像对应的人脸进行识别。

6.根据权利要求5所述的装置，其特征在于，所述预设人脸检测模型包括多任务卷积神经网络MTCNN，所述MTCNN包括P-Net网络，与所述P-Net网络相连的R-Net网络，以及与所述R-Net网络相连的O-Net网络；所述人脸检测模块，用于将所述目标图像输入所述P-Net网络，生成人脸候选窗口；通过所述R-Net网络在所述人脸候选窗口中确定目标人脸候选窗口；根据所述目标人脸候选窗口通过所述O-Net网络在所述目标图像中标注人脸区域，得到标注所述人脸区域的所述原始人脸图像；对所述原始人脸图像进行拉普拉斯变换，得到所述变换人脸图像；将所述原始人脸图像和所述变换人脸图像进行拼接，得到所述四通道人脸图像。

7.根据权利要求5所述的装置，其特征在于，所述特征提取模型的网络结构包括ResNet网络连接、Shortcut网络连接以及Highway卷积层连接，所述ResNet网络包括输入层、多个残差层，以及输出层，所述Highway卷积层用于将通过所述输入层输入的所述四通道人脸图像数据传输至各个所述残差层，所述Shortcut网络用于在所述残差层之间，以及在所述残差层和所述输出层之间连通数据。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

关键点检测模块，用于通过所述O-Net网络对所述四通道人脸图像进行关键点检测，得到定位人脸五官的关键点位置；

人脸对齐模块，用于根据所述关键点位置对所述四通道人脸图像进行人脸对齐；

所述特征提取模块，用于通过所述特征提取模型对经过人脸对齐后的四通道人脸图像进行特征提取。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-4中任一项所述方法的步骤。

Images