CN107423690A - 一种人脸识别方法及装置 - Google Patents

Abstract

本发明实施例公开了一种人脸识别方法及装置，方法包括提取当前待识别人脸图像的Haar特征，并利用ADaBoost分类器检测该待识别人脸图像的人脸区域，从而获取人脸区域图像；利用卷积神经网络模型对人脸区域图像进行多尺度特征提取，得到人脸区域图像的特征向量；将特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。提取的特征具有好的鲁棒性及好的泛化能力，不仅提高了人脸识别的速率，还提高了人脸识别的准确度，从而提高身份鉴别的安全性。

Description

一种人脸识别方法及装置

技术领域

本发明实施例涉及图像处理技术领域，特别是涉及一种人脸识别方法及装置。

背景技术

随着计算机技术与图像处理技术的飞跃发展，由于人脸与人体的其它生物特征(例如指纹、虹膜等)一样与生俱来，它的唯一性和不易复制等良好特性为身份鉴别提供了必要的前提，故其在公共安全领域得到了广泛的应用。人脸识别技术为一种利用分析比较人脸视觉特征信息，以进行身份鉴别的计算机技术。

人脸识别是用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测并跟踪人脸，进而对检测到的人脸的相关特征信息进行提取，然后根据相关特征信息进行识别，以此实现身份的鉴别。各类人脸识别的关键在于提取人脸数据中与身份相关的本质特征，减弱甚至消除与身份不相关的信息，例如环境光照、姿势、表情以及饰物。

现有技术中，根据伪造人脸和真实人脸在物理特性上的不同，例如人脸面部运动和生理性运动，表面反射特性或颜色纹理差异等，通过一些图像处理及变换技术，使两者之间的差异显著化，最后进行一个简单的机器学习分类任务便可分辨真伪，即识别为照片还是真实人脸。然而上述方法多依靠人工进行提取特征，不仅费时费力，而且很大程度上依靠经验或先验知识，整体系统识别的效率较低，无法得到好的泛化效果，人工参与无法避免会提取错误的特征，从而导致整体人脸识别的准确度降低。

故，如何提高人脸识别的准确度，从而提高身份鉴别的安全性，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种人脸识别方法及装置，以提高人脸识别的准确率。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种人脸识别方法，包括：

获取图像采集设备采集的当前待识别人脸图像，并提取所述待识别人脸图像的Haar特征，根据所述Haar特征利用ADaBoost分类器检测所述待识别人脸图像的人脸区域，以获取人脸区域图像；

利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量；

将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

可选的，所述将根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户包括：

接收用户输入的权衡因子，根据所述权衡因子对所述多任务学习模型进行设置；

根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户。

可选的，所述根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户包括：

当所述权衡因子不为0或1时，根据所述特征向量判定所述待识别人脸图像为真人脸后；根据所述人脸区域图像在所述合法人脸数据库进行匹配，以获取相似人脸图像，当所述人脸区域图像与所述相似人脸图像满足预设相似条件时，则判定所述待识别人脸图像为合法用户。

可选的，所述根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户包括：

当所述权衡因子为0时，根据所述特征向量及Softmax函数判断所述待识别人脸图像为真人脸还是伪人脸；

当所述Softmax函数输出为1时，判定所述待识别人脸图像为真人脸，以用于表示当前待识别人脸为合法用户；

所述Softmax函数为经过所述Softmax损失函数训练所得。

可选的，所述根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户包括：

当所述权衡因子为1时，根据所述特征向量在所述合法人脸数据库中匹配与所述待识别人脸图像相似的目标人脸图像；

计算所述待识别人脸图像与所述目标人脸图像的余弦相似度；

当所述余弦相似度不小于预设用户相似度阈值时，则判定所述待识别人脸图像为合法用户；

所述预设用户相似度阈值与所述目标人脸图像相对应。

可选的，利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量包括：

利用卷积核为7*7的第一卷积层对所述人脸区域图像进行特征提取；

将上述卷积结果依次利用卷积核为1*1、3*3、5*5第二卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

将经过特征拼接的卷积结果再依次利用卷积核为1*1、3*3、5*5第三卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

利用Maxout激活函数，根据经过特征拼接的卷积结果得到所述人脸区域图像的特征向量。

可选的，在所述获取图像采集设备采集的当前待识别人脸图像之后，还包括：

对所述待识别人脸图像进行图像灰度变化；

对得到的灰度图进行低通滤波，以去除图像中的背景噪声。

可选的，在所述利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取之前，还包括：

对所述人脸区域图像进行归一化处理。

本发明实施例另一方面提供了一种人脸识别装置，包括：

获取图像模块，用于获取图像采集设备采集的当前待识别人脸图像，并提取所述待识别人脸图像的Haar特征，根据所述Haar特征利用ADaBoost分类器检测所述待识别人脸图像的人脸区域，以获取人脸区域图像；

特征向量提取模块，用于利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量；

人脸识别模块，用于将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

可选的，所述人脸识别模块包括：

参数设置单元，用于接收用户输入的权衡因子，根据所述权衡因子对所述多任务学习模型进行设置；

人脸识别单元，用于根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法。

本发明实施例提供了一种人脸识别方法，提取当前待识别人脸图像的Haar特征，并利用ADaBoost分类器检测该待识别人脸图像的人脸区域，从而获取人脸区域图像；利用卷积神经网络模型对人脸区域图像进行多尺度特征提取，得到人脸区域图像的特征向量；将特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

本申请提供的技术方案的优点在于，通过对人脸图像进行多尺度特征提取，充分结合全局与局部特征，提取的特征具有好的鲁棒性及好的泛化能力，有利于提高了人脸识别的准确度，还有利于提高卷积神经网络的计算速度，从而提高整体人脸识别的效率；此外，基于多任务学习模型同时执行人脸活体识别及活体检测，相比单任务执行，具有更高的识别效率，预设用户相似度阈值基于用户进行确定，进一步提高人脸识别的准确率，从而提高身份鉴别的安全性。

此外，本发明实施例还针对人脸识别方法提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人脸识别方法的流程示意图；

图2为本发明实施例提供的另一种人脸识别方法的流程示意图；

图3为本发明实施例提供的人脸识别装置的一种具体实施方式结构图；

图4为本发明实施例提供的人脸识别装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本申请发明人经过研究发现，目前已有的基于人脸识别的主流方案中，在基于人机交互的人脸识别方法中，基于人脸面部运动和生理性运动来判断是照片还是真实人脸。因为人脸照片相对于真实人脸是静态的，所以这种方法需要用户做出特别的动作配合(如眨眼睛、微笑等)。通过摄像头采集连续的视频流来判断人脸是否产生了这些预定变化，来判断目标是否为真实人脸。然而，电子欺骗方式多种多样，如今制作高清人脸视频完全不是难事。这种方法存在严重的安全隐患，而且使得用户体验不佳。

在基于表面反射特性的人脸识别方法中，根据真人图像是一次成像的原理，其比照片包含更多的中频细节信息，首先采用DoG滤波器获取图像信息中的中频带信息，然后通过傅里叶变换提取关键特征，最后通过logistic回归分类器对提取和处理后的特征信息辨析和分类，从而达到所识别的图像为真实人脸还是照片人脸的目的。尽管不添加额外的复制设备、不需要用户的主动配合、实现简单、计算量小且功能独立；但是采集的正反样本要全面，且只针对照片，适用性较低。

在基于颜色纹理差异的人脸识别方法中，将人脸图像从RGB颜色空间转换到HSV空间；然后进行预处理(肤色分割处理、去噪处理、数学形态学处理和标定连通区域边界处理)后获取人脸矩形区域的坐标；再对待检测的人脸图像分图像块，并获取待检测的人脸图像中的左右图像块的三个颜色分量的特征值；最后将归一化的特征值作为待检测样本送入训练好的支持向量中进行检测。该类方法只针对照片欺骗，且阈值的设置一般为经验值，不具有普适性。

基于以上方案的缺点，本申请提供一种仅依靠单一照片源便可判断真伪人脸的识别方法，可应付各种电子欺骗(照片、视频、面具等)，不受场景限制，适用性较高，准确率高。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种人脸识别方法的流程示意图，本发明实施例可包括以下内容：

S101：获取图像采集设备采集的当前待识别人脸图像，并提取所述待识别人脸图像的Haar特征，根据所述Haar特征利用ADaBoost分类器检测所述待识别人脸图像的人脸区域，以获取人脸区域图像。

Haar特征可包括边缘特征、线性特征、中心特征和对角线特征这四类特征，这四类特征组合成特征模板。特征模板包括白色和黑色两种矩形，并定义该模板的特征值为白色矩形的像素减去黑色矩形的像素和。这种特征值能够反映图像的灰度变化情况，例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两侧比鼻梁颜色要深，嘴巴比周围颜色要深等。通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的矩形特征。通过积分图的方法，可以快速计算矩形特征。

人脸识别只针对当前待识别人的人脸，由于当前获取的待识别图像包含较多的多余信息，例如头发、脖子等，多余的信息处理不仅造成整个系统的计算时间拉长，还不利于提升识别效果。故，可对图像采集设备采集的当前待识别人脸图像进行处理，获得所需求的ROI(region of interest，感兴趣区域)，即人脸区域。

AdaBoost分类器是一种基于积分图、级联检测器的算法。该算法可将大量分类能力较弱的弱分类器通过一定方法组合起来，构成一个分类能力很强的强分类器，再将多个强分类器串联成为级联分类器完成图像搜索检测。可将提取的特征图输入该分类器中，输出结果为人脸区域的坐标，然后可根据坐标把人脸区域从待识别人脸图像截取下来，以进行后续处理。

S102：利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量。

在一种具体的实施方式中，可采用下述对卷积神经网络模型进行设计：

第一层卷积层(Conv1)：卷积核大小7*7，共64个通道。

第一层池化层(Pool1)：核大小为3*3。

第二层卷积层1(Conv2_1)：卷积核大小1*1，通道数为40；

第二层卷积层2(Conv2_2)：卷积核大小3*3，通道数为40；

第二层卷积层3(Conv2_3)：卷积核大小5*5，通道数为40；

特征拼接层(Concat)：把第二层各个卷积结果拼接，通道数为120；

第二层池化层(Pool2)：核大小为2*2。

第三层卷积层1(Conv3_1)：卷积核大小1*1，通道数为64；

第三层卷积层2(Conv3_2)：卷积核大小3*3，通道数为64；

第三层卷积层3(Conv3_3)：卷积核大小5*5，通道数为64；

特征拼接层(Concat)：把第三层各个卷积结果拼接，通道数为192；

第三层池化层(Pool3)：核大小为2*2。

全连接层可使用Maxout激活函数，输出1024维向量。

可采用上述卷积神经网络模型对人脸区域图像进行特征提取，具体可为：

利用卷积核为7*7的第一卷积层对所述人脸区域图像进行特征提取；

将上述卷积结果依次利用卷积核为1*1、3*3、5*5第二卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

将经过特征拼接的卷积结果再依次利用卷积核为1*1、3*3、5*5第三卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

利用Maxout激活函数，根据经过特征拼接的卷积结果得到所述人脸区域图像的特征向量。

单一特征提取从局部对人脸进行描述，可以较好地解决光照和姿态的影响，有效增大类间差异，但是局部特征对细节信息过于敏感，易受噪声影响，鲁棒性不高，从而影响泛化能力；而全局信息则不易受噪声影响。多尺度特征融合能够更有效地结合局部信息和全局信息，提高识别效果。在本申请中，第二层和第三层卷积层使用多尺度特征提取，即使用1*1、3*3、5*5三种卷积核同时对输入图像进行特征提取，然后把多尺度特征进行拼接。充分的结合局部特征信息与全局特征信息的优势，且避免了网络设计得过深，不仅有利于提升计算速度，还可提高泛化能力。

S103：将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

合法人脸数据库包含多位合法用户的人脸图像，一位合法用户对应一张或多种人脸图像，合法人脸数据库中可包含人脸图像，也可包含人脸图像的特征向量，或者二者都包括，这均不影响本申请的实现。

预设用户相似度阈值为根据用户的不同，确定的相似度阈值也不同。阈值的选取直接影响人脸验证的正确率，验证错误率有两张情况：一种是错误地把非法用户当成合法用户接受，称为错误接受率(False Acceptance Rate，FAR)；另一种是错误地把合法用户当成非法用户拒绝，称为错误拒绝率(False Rejection Rate，FRR)。在人脸识别实际应用中，错把非法用户识别通过，相比错把合法用户识别不通过，代价要高得多，甚至会造成严重的生命财产损失。因此，选择阈值时应该使错误接受率FAR＝0，可采用用户相关阈值选取方法。阈值的确定可根据下述方法：

假设人脸识别系统中有C个，每个用户有若干张人脸图片。对于每个用户i∈(1，2，……，C)，定义合法用户集P＝{P₁，P₂，……，P_m}，(即同一用户的所有人脸特征向量)和非法用户集N＝{N₁，N₂，……，N_m}(即与给定用户不同身份的所有用户的人脸特征向量)，在P和N之间逐对计算余弦相似度：

对于第i个类别，可以得到一系列相似度其中最大相似度这个相似度就可以作为第i用户的相似度阈值，即：

式中，x_i为当前待识别人脸图像的特征向量，r为合法人脸数据库中第i个用户的图像的特征向量。

余弦相似度越大，表明二者越相似。利用上述公式，当输出为+1时，表示当前待识别人脸图像的特征向量为合法用户，当输出为-1时，表示当前待识别人脸图像的特征向量为非法用户。

Softmax损失函数用于衡量训练效果，输出值越小表示模型的预测能力越好，通过对Softmax损失函数进行模型训练，得到Softmax函数，Softmax函数用于检测待识别人脸图像是否为活体人脸，即是否为真人脸，当Softmax函数输出为0时，表示当前待识别人脸图像为伪人脸，当Softmax函数输出为1时，表示当前待识别人脸图像为真人脸。当然，输出还可为其他值，本申请对此不做任何限定。

Softmax函数可为：

由上式可知，Softmax函数输出的是预测各个类别的概率所组成的向量。在判别过程中，我们取概率最大的那个类别，即：

y⁽ⁱ⁾＝argmax_k(Softmax(x⁽ⁱ⁾))。

在学习任务中，需要不断更新其参数，以得到最佳泛化能力。Softmax损失函数具体可为：

式中，x表示经过卷积神经网络提取后的特征向量(即全连接层的输出)，t表示当前输入x的类别标签(即为真人脸还是伪人脸)，θ表示Softmax层的参数。第一项中的N表示样本数，k为总类别数(可为2)；第二项是L2正则化，以防止过拟合，λ表示权重衰减惩罚，λ越大，对权重的惩罚越重，越不容易发生过拟合，但过大会使训练结果产生偏差，训练时应该调整此值。

梯度计算如下：

其中，

称为示性函数，根据此式就可使用梯度下降算法迭代更新参数。

在人脸识别中，即为判断两张人脸图像是否属于同一个人。现有技术中的卷积神经网络模型使用Softmax损失函数只适用于分类任务，由于Softmax损失函数没有很好地缩小同类别样本的方差及增大跨类别样本的方差。对于人脸验证任务，适用度量学习，验证的准确率较低，鉴于此，可采用Triplet损失函数用于当判定当前待识别人脸图像为真人脸时，对该真人脸进行人脸认证，即检测是否为合法用户。当然，也可直接根据当前待识别人脸图像进行认证，具体的，本领域技术人员可根据实际情况进行确定，本申请对此不做任何限定。Triplet损失函数的获取过程可为：

用欧氏距离来衡量两张图像的相似度：

D(x_i,x_j)＝||x_i-x_j||；

定义一个三元组(x_i，p_i，n_i)，x_i表示给定一个身份的人脸图像，p_i表示同一个身份的人脸图像，n_i表示非同一个身份的人脸图像。度量学习的目标是，同类别的差别应该尽可能小，而不同类别的差别应该尽可能大。即D(x_i，p_i)尽可能小，D(x_i，n_i)尽可能大。可引入参数m，不同类别样本的欧氏距离与同类别样本的欧氏距离的间隔至少大于m，即：

D(x_i,p_i)+m＜D(x_i,n_i)；

将其引入卷积神经网络的训练中，定义损失函数为：

式中，N是样本数。

定义f()表示卷积神经网络的输入图像与输出特征向量的映射，上述损失函数的梯度可如下计算：

基于Softmax损失函数及Triplet损失函数构建的多任务学习模型即为：

E＝λ_sE_s+(1-λ_s)E_t；

式中，λs为权衡因子，用于权衡两个任务的权重。具体的，本领域技术人员可根据实际情况进行确定，本申请对此不做任何限定。当λs为0或1时，只执行其中一个任务，当λs为0时，仅仅进行人脸验证，而不做人脸活体检测(即判定为真人脸还是伪人脸)；当λs为1时，仅仅进行人脸活体检测，而不进行人脸验证(即判定为当前人脸是否为合法用户)。当只检测当前人脸的真伪时，待检测人脸可能并不允许进入的用户，而为入侵者；当只进行人脸验证时，待检测人脸可能允许进入用户的伪人脸，识别通过后会导致入侵者进入，造成用户损失；优选的，为了保证人脸识别系统的安全性，提高身份鉴别的准确性，两个任务都执行。

整个卷积神经网络学习算法(一次迭代)可如下所示：

输入样本可为T＝{x⁽ⁱ⁾，y⁽ⁱ⁾}，y⁽ⁱ⁾∈{1，0}，i＝1，2，……，N；输出为最优决策函数及特征向量。

随机初始化卷积神经网络模型的权重参数θ，设置合适的学习率α；

对i＝1到N：

对输出层n，计算其反向传播信号：

对非输出层l，计算其反向传播信号：

计算偏导数：

更新各层参数：

式中，其中δ⁽ⁱ⁾是第i层的反向传播信号，a⁽ⁱ⁾为各层的激活值(i＝1，2，……，N)。是矩阵的哈达马乘积，即逐元素乘积。f'是各中间层(非输出层)的激活函数对该层参数的一阶导数。▽E是上述损失函数对输出层参数的偏导数。

在一种具体的实施方式中，当待识别人脸图像为伪人脸时，例如照片、面具、视频、人脸模型等非活体人脸时，可进行报警，以提示用户。可提前预防非法者的入侵，提高整个人脸识别系统的安全性。

在本发明实施例提供的技术方案中，通过对人脸图像进行多尺度特征提取，充分结合全局与局部特征，提取的特征具有好的鲁棒性及好的泛化能力，有利于提高了人脸识别的准确度，还有利于提高卷积神经网络的计算速度，从而提高整体人脸识别的效率；此外，基于多任务学习模型同时执行人脸活体识别及活体检测，相比单任务执行，具有更高的识别效率，预设用户相似度阈值基于用户进行确定，进一步提高人脸识别的准确率，从而提高身份鉴别的安全性。

在一种具体的实施方式中，本申请还提供了另外一个实施例，请参阅图2所示，具体可包括：

S201-S202：具体的，与上述实施例中的S101-S102描述相一致，此处就不再赘述。

S203：接收用户输入的权衡因子，根据所述权衡因子对所述多任务学习模型进行设置。

S204：将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中。

S205：根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户。

不同的权衡因子对应不同的输出，具体的可为：首先判断权衡因子是否为0或1；

A11：当所述权衡因子不为0或1时，根据所述特征向量判定所述待识别人脸图像为真人脸后；

A12：根据所述人脸区域图像在所述合法人脸数据库进行匹配，以获取相似人脸图像，当所述人脸区域图像与所述相似人脸图像满足预设相似条件时，则判定所述待识别人脸图像为合法用户。

B11：当所述权衡因子为0时，根据所述特征向量及Softmax函数判断所述待识别人脸图像为真人脸还是伪人脸；

B12：当所述Softmax函数输出为1时，判定所述待识别人脸图像为真人脸，以用于表示当前待识别人脸为合法用户。

C11：当所述权衡因子为1时，根据所述特征向量在所述合法人脸数据库中匹配与所述待识别人脸图像相似的目标人脸图像；

C12：计算所述待识别人脸图像与所述目标人脸图像的余弦相似度；当所述余弦相似度不小于预设用户相似度阈值时，则判定所述待识别人脸图像为合法用户；所述预设用户相似度阈值与所述目标人脸图像相对应。

通过根据不同的权衡因子对人脸识别系统进行不同的设定，本领域技术人员可根据实际情况进行选择，有利于扩展人脸识别方法的应用范围，提升用户的使用体验。

为了进一步的提高人脸识别的准确率，基于上述实施例，还可包括：

对所述待识别人脸图像进行图像灰度变化；

对得到的灰度图进行低通滤波，以去除图像中的背景噪声。

在人脸识别中，图像颜色信息是冗余的，即可将图像进行灰度化，对原图像进行灰度变换；为了获取高质量的灰度图，可对灰度变化后的灰度图进行低通滤波，以去除噪声，还可进行直方图均衡化，以增强局部对比度。

进一步，还可包括：

对所述人脸区域图像进行归一化处理。

由于训练数据来自于不同像素的摄像机，清晰度不同，因此截取下来的人脸图片大小不一，且位置角度也不尽相同。为了消除这些因素对训练结果的影响，可对图像进行归一化预处理，同时又不能损失图像信息，即保持仿射不变性。图像归一化可包括缩放归一化，旋转归一化等。

此外，为了增强训练模型的鲁棒性，还可给训练样本制造不同的光照条件、不同的姿势表情、随机添加噪声等处理。

通过去除待识别图像中与人脸识别无关的因素，进一步的提升了人脸识别的准确度。

本发明实施例还针对人脸识别方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的人脸识别装置进行介绍，下文描述的人脸识别装置与上文描述的人脸识别方法可相互对应参照。

参见图3，图3为本发明实施例提供的人脸识别装置在一种具体实施方式下的结构图，该装置可包括：

获取图像模块301，用于获取图像采集设备采集的当前待识别人脸图像，并提取所述待识别人脸图像的Haar特征，根据所述Haar特征利用ADaBoost分类器检测所述待识别人脸图像的人脸区域，以获取人脸区域图像。

特征向量提取模块302，用于利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量。

人脸识别模块303，用于将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

可选的，在本实施例的一些实施方式中，所述人脸识别模块303可包括：

参数设置单元3031，用于接收用户输入的权衡因子，根据所述权衡因子对所述多任务学习模型进行设置；

人脸识别单元3032，用于根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法。

在一种具体的实施方式下，所述人脸识别单元3032可为当所述权衡因子不为0或1时，根据所述特征向量判定所述待识别人脸图像为真人脸后；根据所述人脸区域图像在所述合法人脸数据库进行匹配，以获取相似人脸图像，当所述人脸区域图像与所述相似人脸图像满足预设相似条件时，则判定所述待识别人脸图像为合法用户的单元。

所述人脸识别单元3032还可为当所述权衡因子为0时，根据所述特征向量及所述Softmax损失函数判断所述待识别人脸图像为真人脸还是伪人脸；当所述Softmax损失函数输出为1时，判定所述待识别人脸图像为真人脸，以用于表示当前待识别人脸为合法用户的单元。

在另一种具体的实施方式下，所述人脸识别单元3032仍可为当所述权衡因子为1时，根据所述特征向量在所述合法人脸数据库中匹配与所述待识别人脸图像相似的目标人脸图像；计算所述待识别人脸图像与所述目标人脸图像的余弦相似度；当所述余弦相似度不小于预设用户相似度阈值时，则判定所述待识别人脸图像为合法用户；所述预设用户相似度阈值与所述目标人脸图像相对应的单元。

在另外一些实施方式中，所述特征向量提取模块302可包括：

特征提取单元3021，用于利用卷积核为7*7的第一卷积层对所述人脸区域图像进行特征提取；将上述卷积结果依次利用卷积核为1*1、3*3、5*5第二卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；将经过特征拼接的卷积结果再依次利用卷积核为1*1、3*3、5*5第三卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

特征向量获取单元3022，用于利用Maxout激活函数，根据经过特征拼接的卷积结果得到所述人脸区域图像的特征向量。

可选的，在本申请的一些实施方式中，请参阅图4，所述装置例如还可以包括图像预处理模块304，所述图像预处理模块304可包括：

灰度化单元3041，用于对所述待识别人脸图像进行图像灰度变化；

去噪单元3042，用于对得到的灰度图进行低通滤波，以去除图像中的背景噪声。

在本发明实施例中一些具体的实施方式中，请参阅图4，所述装置例如还可以包括图像归一化模块305，用于对所述人脸区域图像进行归一化处理。

本发明实施例所述人脸识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例通过对人脸图像进行多尺度特征提取，充分结合全局与局部特征，提取的特征具有好的鲁棒性及好的泛化能力，有利于提高了人脸识别的准确度，还有利于提高卷积神经网络的计算速度，从而提高整体人脸识别的效率；此外，基于多任务学习模型同时执行人脸活体识别及活体检测，相比单任务执行，具有更高的识别效率，预设用户相似度阈值基于用户进行确定，进一步提高人脸识别的准确率，从而提高身份鉴别的安全性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种人脸识别方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取图像采集设备采集的当前待识别人脸图像，并提取所述待识别人脸图像的Haar特征，根据所述Haar特征利用ADaBoost分类器检测所述待识别人脸图像的人脸区域，以获取人脸区域图像；

利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量；

将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

2.根据权利要求1所述的人脸识别方法，其特征在于，所述将根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户包括：

接收用户输入的权衡因子，根据所述权衡因子对所述多任务学习模型进行设置；

根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户。

3.根据权利要求2所述的人脸识别方法，其特征在于，所述根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户包括：

当所述权衡因子不为0或1时，根据所述特征向量判定所述待识别人脸图像为真人脸后；根据所述人脸区域图像在所述合法人脸数据库进行匹配，以获取相似人脸图像，当所述人脸区域图像与所述相似人脸图像满足预设相似条件时，则判定所述待识别人脸图像为合法用户。

4.根据权利要求2所述的人脸识别方法，其特征在于，所述根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户包括：

当所述权衡因子为0时，根据所述特征向量及Softmax函数判断所述待识别人脸图像为真人脸还是伪人脸；

当所述Softmax函数输出为1时，判定所述待识别人脸图像为真人脸，以用于表示当前待识别人脸为合法用户；

所述Softmax函数为经过所述Softmax损失函数训练所得。

5.根据权利要求2所述的人脸识别方法，其特征在于，所述根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法用户包括：

当所述权衡因子为1时，根据所述特征向量在所述合法人脸数据库中匹配与所述待识别人脸图像相似的目标人脸图像；

计算所述待识别人脸图像与所述目标人脸图像的余弦相似度；

当所述余弦相似度不小于预设用户相似度阈值时，则判定所述待识别人脸图像为合法用户；

所述预设用户相似度阈值与所述目标人脸图像相对应。

6.根据权利要求1至5任意一项所述的人脸识别方法，其特征在于，利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量包括：

利用卷积核为7*7的第一卷积层对所述人脸区域图像进行特征提取；

将上述卷积结果依次利用卷积核为1*1、3*3、5*5第二卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

将经过特征拼接的卷积结果再依次利用卷积核为1*1、3*3、5*5第三卷积层的三层进行特征提取，并将每一层的卷积结果进行特征拼接；

利用Maxout激活函数，根据经过特征拼接的卷积结果得到所述人脸区域图像的特征向量。

7.根据权利要求6所述的人脸识别方法，其特征在于，在所述获取图像采集设备采集的当前待识别人脸图像之后，还包括：

对所述待识别人脸图像进行图像灰度变化；

对得到的灰度图进行低通滤波，以去除图像中的背景噪声。

8.根据权利要求7所述的人脸识别方法，其特征在于，在所述利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取之前，还包括：

对所述人脸区域图像进行归一化处理。

9.一种人脸识别装置，其特征在于，包括：

获取图像模块，用于获取图像采集设备采集的当前待识别人脸图像，并提取所述待识别人脸图像的Haar特征，根据所述Haar特征利用ADaBoost分类器检测所述待识别人脸图像的人脸区域，以获取人脸区域图像；

特征向量提取模块，用于利用卷积神经网络模型对所述人脸区域图像进行多尺度特征提取，以获取所述人脸区域图像的特征向量；

人脸识别模块，用于将所述特征向量、预先构建合法人脸数据库、预设用户相似度阈值输入预先基于Softmax损失函数及Triplet损失函数构建的多任务学习模型中，根据所述多任务学习模型的输出值以判定所述待识别人脸图像是否为合法用户。

10.根据权利要求9所述的人脸识别装置，其特征在于，所述人脸识别模块包括：

参数设置单元，用于接收用户输入的权衡因子，根据所述权衡因子对所述多任务学习模型进行设置；

人脸识别单元，用于根据所述权衡因子的执行多任务学习模型中的各个单任务，根据各个所述单任务的输出，以判定所述待识别人脸图像是否为合法。