CN113221771A - 活体人脸识别方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本公开提供了一种活体人脸识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品，涉及计算机视觉和深度学习技术等人工智能领域，可应用于人脸识别场景下。该方法的一具体实施方式包括：获取待识别人脸图像；通过全局检测模型对所述待识别人脸图像的面部全局进行活体检测，得到全局检测结果；通过局部检测模型对所述待识别人脸图像的面部局部进行活体检测，得到局部检测结果；基于加权后的全局检测结果和局部检测结果，生成综合检测结果；基于所述综合检测结果确定所述待识别人脸图像是否为活体人脸。通过该实施方式可提升对真人面部有遮挡的头模面具等攻击方式的检测能力。

Description

活体人脸识别方法、装置、设备、存储介质及程序产品

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于人脸识别场景下，尤其涉及一种活体人脸识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

人脸活体检测即区分一张图像是否为真人拍摄，是人脸识别系统的基础组成模块，保证人脸识别系统的安全性。

现有技术通常使用深度学习技术的人脸活体检测算法来实现活体人脸识别。

发明内容

本公开实施例提出了一种活体人脸识别方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种活体人脸识别方法，包括：获取待识别人脸图像；通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果；通过局部检测模型分别对待识别人脸图像的面部局部进行活体检测，得到局部检测结果；基于加权后的全局检测结果和局部检测结果，生成综合检测结果；基于综合检测结果确定待识别人脸图像是否为活体人脸。

第二方面，本公开实施例提出了一种活体人脸识别装置，包括：待识别人脸图像获取单元，被配置成获取待识别人脸图像；面部全局检测单元，被配置成通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果；面部局部检测单元，被配置成通过局部检测模型分别对待识别人脸图像的面部局部进行活体检测，得到局部检测结果；加权处理单元，被配置成基于加权后的全局检测结果和局部检测结果，生成综合检测结果；活体人脸识别单元，被配置成基于综合检测结果确定待识别人脸图像是否为活体人脸。

第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的活体人脸识别方法。

第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的活体人脸识别方法。

第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的活体人脸识别方法。

本公开实施例提供的活体人脸识别方法，首先，获取待识别人脸图像；然后，通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果；同时，通过局部检测模型分别对待识别人脸图像的面部局部进行活体检测，得到局部检测结果；接着，基于加权后的全局检测结果和局部检测结果，生成综合检测结果；最后，基于综合检测结果确定待识别人脸图像是否为活体人脸。

本公开在传统仅基于人脸的面部全局特征进行活体人脸识别的基础上，还同时结合了面部的至少一个局部特征，最后将面部全局特征的识别结果与至少一个局部特征的识别结果进行加权综合，以借助能够更加凸显面部局部特征的综合识别结果强化对真人面部有遮挡的头模面具等攻击方式的检测能力。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构；

图2为本公开实施例提供的一种活体人脸识别方法的流程图；

图3为本公开实施例提供的一种训练得到全局检测模型和局部检测模型的方法的流程图；

图4为本公开实施例提供的一种识别结果加权方法的流程示意图；

图5为本公开实施例提供的一种活体人脸识别装置的结构框图；

图6为本公开实施例提供的一种适用于执行活体人脸识别方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要的保密措施，且不违背公序良俗。

图1示出了可以应用本公开的活体人脸识别方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如图像处理类应用、活体人脸识别类应用、即时通讯类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有摄像头的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机、嵌入式终端等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供活体人脸识别服务的活体人脸识别类应用为例，服务器105在运行该活体人脸识别类应用时可实现如下效果：首先，通过网络104接收终端设备101、102、103拍摄得到的待识别人脸图像；然后，通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果；同时，通过局部检测模型分别对待识别人脸图像的面部局部进行活体检测，得到局部检测结果；接下来，基于加权后的全局检测结果和局部检测结果，生成综合检测结果；最后，基于综合检测结果确定待识别人脸图像是否为活体人脸。

需要指出的是，待识别人脸图像除可以从终端设备101、102、103通过网络104实时获取到之外，也可以通过各种方式预先存储在服务器105本地。因此，当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理活体人脸识别任务)，可选择直接从本地获取这些数据，在此种情况下，示例性系统架构100也可以不包括终端设备101、102、103和网络104。

由于用于识别待识别人脸图像是否来源于活体人脸的识别模型均部署在运算资源丰富和拥有较强运算能力的大型运算设备中，因此本公开后续各实施例所提供的活体人脸识别方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，活体人脸识别装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的活体人脸识别类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下，但活体人脸识别类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时，可以让终端设备来执行上述运算，从而适当减轻服务器105的运算压力，相应的，活体人脸识别装置也可以设置于终端设备101、102、103中。在此种情况下，示例性系统架构100也可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2为本公开实施例提供的一种活体人脸识别方法的流程图，其中流程200包括以下步骤：

步骤201：获取待识别人脸图像；

本步骤旨在由活体人脸识别方法的执行主体(例如图1所示的服务器105)获取待识别人脸图像。其中，待识别人脸图像可以是由其它执行主体拍摄得到发送给上述执行主体的，也可以在特定场景下直接由上述执行主体拍摄得到。待识别人脸图像的数量不限，即使是对应同一用户，也可以同时获取到多张，通常情况下，仅需要通过一张图片来进行活体人脸识别，但可以通过结合多张图片的判别结果来提升最终识别准确性。也可以从拍摄得到的视频中选取出一些最合适的图像作为待识别人脸图像。

进一步的，待识别人脸图像应当尽量避免经不必要的图像处理操作，例如美颜、提升亮度、磨皮等容易去除图像内容细节的操作，尽量保持拍摄得到的图像的原始状态。

步骤202：通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果；

在步骤201的基础上，本步骤旨在由上述执行主体通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果。其中，该全局检测模型用于根据人脸图像的面部全局特征来判别是否来源于活体人脸，为使该全局检测模型能够起到该效果，可以基于从完整人脸图像中扣取出面部部分的面部全局图像样本来训练得到该全局检测模型。

可通过多种方式来得到该训练样本，一种包括且不限于的实现方式可以为：

首先，获取原始人脸图像样本集；然后，分别从原始人脸图像样本集中的每张原始人脸图像中提取出面部全局图像，得到面部全局图像样本集。在得到接着面部全局图像样本集之后，还可以根据经归一化处理后的面部全局图像样本集，训练得到全局检测模型。其中，每张原始人脸图像都是除包含有人脸图像部分外还存在其它类型图像部分的完整图像，归一化操作的目的是为了尽可能的统一面部全局图像的显示方式，以便于模型的训练。应当理解的是，为使训练出的全局检测模型能够识别是否来源于活体人脸，作为训练样本的面部全局图像样本集均应为来源于非活体人脸的图像，或者通过标注指示哪些来源于非活体人脸，以便于模型进行针对性学习。

步骤203：通过局部检测模型对待识别人脸图像的面部局部进行活体检测，得到局部检测结果；

本步骤旨在由上述执行主体通过局部检测模型对待识别人脸图像的面部局部进行活体检测，得到局部检测结果。

类似于步骤202的全局检测模型，本步骤所使用的局部检测模型也是基于特征来判别所属的人脸图像是否来源于活体人脸，区别在于全局检测模型是基于面部全局特征，而局部检测模型则是基于面部的局部特征。获取得到面部局部图像样本的方式也可以类似于上述获取到面部全局图像样本的方式，也可以在沿用上述获取到面部全局图像的基础上，对面部全局图像进行分割，以分割出面部局部图像，进而形成作为训练样本的面部局部图像样本集。

具体的，由于人脸面部实际所包含的内容，还可以根据面部的不同部分形成不同类型的局部图像样本集，进而分别使用不同类型的局部样本集训练得到相应的局部检测模型，例如眼部检测模型、嘴部检测模型、鼻子检测模型等，不同的局部检测模型将各自独立的得到相应的局部检测结果。

应当理解的是，步骤202和步骤203之间不一定要存在明显的依赖关系的，完全可以调换顺序或者并列执行，流程图2只不过呈现为顺序执行的方式而已，也可以呈现为其它的执行顺序。

步骤204：基于加权后的全局检测结果和局部检测结果，生成综合检测结果；

在步骤202旨在由上述执行主体采用加权计算法来融合全局检测结果和局部检测结果，以生成兼具全局特征和局部特征的综合检测结果。

具体的，用于对全局检测结果进行加权的第一权值可以区别与对局部检测结果进行加权的第二权值，并合理设置两个权值之间的大小关系，以使得综合检测结果能够合理的呈现全局检测结果和局部检测结果。

步骤205：基于综合检测结果确定待识别人脸图像是否为活体人脸。

在步骤204的基础上，本步骤旨在由上述执行主体基于综合检测结果确定待识别人脸图像是否为活体人脸。具体的，若综合检测结果是一个数值、得分等量化指标，确定待识别人脸图像是否为活体人脸则可以通过预先设置的临界量化指标(阈值)来进行判别，例如综合检测得分小于预设分值，则判定待识别人脸图像不是活体人脸，即不是来源活体的人脸图像；若综合检测得分大于预设分值，则判别待识别人脸图像是活体人脸，即来源于活体的人脸图像；若综合检测结果是一个不容易量化的参数(例如矩阵、向量，多维特征图)，判别机制则可以进行适应性调整。

本公开实施例提供的活体人脸识别方法，在传统仅基于人脸的面部全局特征进行活体人脸识别的基础上，还同时结合了面部的至少一个局部特征，最后将面部全局特征的识别结果与至少一个局部特征的识别结果进行加权综合，以借助能够更加凸显面部局部特征的综合识别结果强化对真人面部有遮挡的头模面具等攻击方式的检测能力。

为加深对上述实现方案的理解，本实施例还通过图3提供了一种训练得到全局检测模型和局部检测模型的方法的流程图，其中流程300包括以下步骤：

步骤301：获取原始人脸图像样本集；

其中，原始人脸图像样本集由多张原始人脸图像构成，每张原始人脸图像都是除包含有人脸图像部分外还存在其它类型图像部分的完整图像。

步骤302：分别确定原始人脸图像样本集中的每张原始人脸图像中的人脸位置信息；

在步骤301的基础上，本步骤旨在由上述执行主体确定每张原始人脸图像中的人脸在图像中的大体位置信息，以便于基于大体的位置信息确定关键点提取区域。具体的，确定出大体位置信息的操作也可以由预训练模型或简单的定位模型来实现。

步骤303：在基于人脸位置信息确定出的人脸区域中提取人脸关键点，得到关键点坐标；

在步骤302的基础上，本步骤旨在由上述执行主体在基于人脸位置信息确定出的人脸区域中提取人脸关键点，得到关键点坐标。其中，人脸关键点为用于构建人脸整个面部的关键点，具体的关键点提取操作可通过预训练模型或已知的关键点提取算法来实现，此处不再赘述。

步骤304：根据关键点坐标对确定面部全局提取边框；

在步骤303的基础上，本步骤旨在由上述执行主体根据关键点坐标对确定面部全局提取边框。其中，确定出的面部全局提取边框的作用是尽可能从原始人脸图像中扣取出完整的人脸面部全局图像。因此，面部全局提取边框是在关键点坐标确定出的面部外轮廓的基础上再向外适当扩后的得到，外扩程度可根据实际情况确定。

步骤305：根据面部全局提取边框从相应的原始人脸图像中提取出面部全局图像，得到面部全局图像样本集；

步骤306：根据经归一化处理后的面部全局图像样本集，训练得到全局检测模型；

其中，归一化处理的目的是为了尽量统一从不同的待识别人脸图像中扣取出的面部全局图像的表现形式，例如尺度、分辨率等等，以便于训练得到更准确的全局检测模型。

步骤307：根据人脸关键点确定人脸面部的五官轮廓；

在步骤303的基础上，本步骤旨在由上述执行主体根据人脸关键点确定人脸面部的五官轮廓。

步骤308：根据五官轮廓从面部全局图像分割出至少一个五官局部图像，得到至少一个五官局部图像样本集；

具体的，由于人脸面部仅包括眼、口、鼻和眉，但其中的眉对于分辨活体人脸的作用十分有限，因此可通过分割眼部、嘴部、鼻子部分，来分别构建得到眼部图像样本集、嘴部图像样本集、鼻子图像样本集。

步骤309：基于经归一化处理后的至少一个五官局部图像样本集，训练得到相应数量的局部检测模型。

对应的，可分别训练出眼部检测模型、嘴部检测模型、鼻子检测模型，以眼部检测模型为例，训练出的眼部检测模型将根据待识别人脸图像中的人脸面部的眼部特征来独立识别该待识别人脸图像是否来源于活体人脸。

本实施例中，步骤302-步骤305提供了一种具体的基于原始人脸图像样本集得到面部全局图像样本集的方式，步骤307-步骤309则基于步骤303提供的人脸关键点识别结果，提供了一种具体的训练出至少一个与面部五官对应的局部检测模型的方式，但上述两部分并非要一定同时存在于一个实施例中，本实施例仅作为同时存在上述两部分的一个优选实施例存在。

请参考图4，图4为本公开实施例提供的一种识别结果加权方法的流程示意图，其中流程400包括以下步骤：

步骤401：通过第一预设权值对全局检测结果进行加权，得到加权后全局结果；

步骤402：通过第二预设权值对局部检测结果进行加权，得到加权后局部结果；

其中，第一预设权值与第二预设权值之和为单位1，例如7:3、5:5。

步骤403：基于加权后全局结果与加权后局部结果的和，生成综合检测结果。

一种具体的生成综合检测结果的方式可以为：

第一权值×全局检测得分+第二权值×局部检测得分＝综合检测得分。

另一种生成综合检测结果的方式可以为：

第一权值×全局检测得分+第二权值×局部检测得分-修正分＝综合检测得分。

此外，若同时存在多个不同的局部检测模型，生成综合检测结果的方式可以为：

第一权值×全局检测得分+第三权值×第一局部检测得分+第四权值×第二局部检测得分+第五权值×第三局部检测得分＝综合检测得分。其中，此时的第三权值、第四权值、第五权值分别对应第一、第二、第三局部检测模型。

进一步的，为了避免多个局部检测模型的局部检测结果过多的影响综合检测结果对结果的判别，还可以控制第一预设权值不小于各每个局部检测模型分别对应的第二预设权值的权值和，例如在存在一个全局检测模型、一个眼部检测模型、一个嘴部检测模型、一个鼻子检测模型的情况下，权值的分配为：7:1:1:1，即眼部检测模型、嘴部检测模型、鼻子检测模型的权值和仍小于全局检测模型的权值大小。

在上述任意实施例的基础上，还可以在根据综合检测结果确定待识别人脸图像为非活体人脸时，返回攻击通知信息；以及在连续返回预设数量的攻击通知信息时，上报告警信息。可以看出，告警信息给予的告警力度要明显高于攻击通知信息，也理应设置更明显的提醒方式。无论是攻击通知信息还是告警信息，均可以通过多种表现形式进行呈现，例如短信、邮件、桌面弹窗、声光报警器等等。

为加深理解，本公开还结合一个具体应用场景，给出了一种具体的实现方案：

首先，获取多个真实的活体人脸图像和攻击用人脸图像；

然后，对获取到的每张图像进行预处理，预处理机制为：通过定位检测模型检测得到图像中人脸所在的大致位置区域；根据检测到的大致位置区域，通过人脸关键点检测模型对提取人脸关键点及其坐标值，得到72个人脸关键点坐标，分别为(x1,y1)…(x72,y72)；根据72个人脸关键点坐标得到x和y的最大最小值xmin，xmax，ymin，ymax，根据最大最小值可以确定一个人脸框，然后将此人脸框扩大三倍(即面部全局提取边框)再截取人脸图像，调整到尺寸224x224；将得到的尺寸为224x224的面部全局图像进行图像归一化处理，具体是将图像中的每一个像素的像素值减128再除以256，使每个像素的像素值在[-0.5,0.5]之间；将归一化处理后的图像进行随机数据增强处理；

接着，基于增强处理后的面部全局图像样本集训练得到全局检测模型；

同时，根据上述72个关键点，将面部全局图像中的双眼区域截取下来，根据人脸关键点找出左眼的左眼角坐标(x13,y13)和右眼的眼角坐标(x34,y34)求出眼角的距离L1和眼睛的中心点C1，求得仿射变换矩阵M1，根据仿射变换将原图仿射变换到尺寸为120x40的包含双眼的图像将双眼图像送入5层卷积+3层最大池化+1层全连接层的卷积神经网络中进行二分类活体训练，得到第一局部检测模型-眼部检测模型；

根据上述72个关键点，将面部全局图像中的鼻子区域截取下来，将鼻尖关键点(x57,y57)作为中心C2，根据鼻翼左侧关键点(x50,y50)和右侧关键点(x53,y53)确定要截取的鼻子边长L2，求得仿射变换矩阵M2，根据仿射变换将原图仿射变换到尺寸为120x120的包含鼻子的图像将图像送入5层卷积+3层最大池化+1层全连接层的卷积神经网络中进行二分类活体训练，得到第二局部检测模型-鼻子检测模型；

根据上述72个关键点，将面部全局图像中的嘴巴区域截取下来，求出嘴角的距离L3和眼睛的中心点C3，求得仿射变换矩阵M3，根据仿射变换将原图仿射变换到尺寸为120x40的包含嘴巴的图像将图像送入5层卷积+3层最大池化+1层全连接层的卷积神经网络中进行二分类活体训练，得到第三局部检测模型-鼻子检测模型；

特征提取网络使用MobileNet(一种轻量的神经网络)作为卷积神经网络的主干网络，将预处理后的图像作为输入，在最后一层特征图上做全局平均池化操作后，最后经过全连接层和归一化层进行图像分类，完成最终的活体检测分类。

在预测时，将上述四个模型得到的结果分数进行融合，人脸活体模型得到结果为R1，眼睛活体模型得到结果为R2，鼻子活体模型得到结果为R3，嘴巴活体模型得到结果为R4，则融合结果为R＝0.7*R1+0.1*R2+0.1*R3+0.1*R4。

本实施例所提供的方案在基于单张图片的活体识别算法上，将人脸五官区域，包括眼睛区域、鼻子区域、嘴巴区域裁剪下来进行联合训练，最后将多个模型的预测结果进行融合得到最终的活体识别结果，由于区域图像有更多细节特征，对面部有遮挡的头模面具等具有更好的防御效果，针对复杂样本攻击的情况，大大提高了活体检测算法的准确率和泛化性。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种活体人脸识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的活体人脸识别装置500可以包括：待识别人脸图像获取单元501、面部全局检测单元502、面部局部检测单元503、加权处理单元504、活体人脸识别单元505。其中，待识别人脸图像获取单元501，被配置成获取待识别人脸图像；面部全局检测单元502，被配置成通过全局检测模型对待识别人脸图像的面部全局进行活体检测，得到全局检测结果；面部局部检测单元503，被配置成通过局部检测模型分别对待识别人脸图像的面部局部进行活体检测，得到局部检测结果；加权处理单元504，被配置成基于加权后的全局检测结果和局部检测结果，生成综合检测结果；活体人脸识别单元505，被配置成基于综合检测结果确定待识别人脸图像是否为活体人脸。

在本实施例中，活体人脸识别装置500中：待识别人脸图像获取单元501、面部全局检测单元502、面部局部检测单元503、加权处理单元504、活体人脸识别单元505的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，活体人脸识别装置500中还可以包括被配置成训练得到全局检测模型的全局检测模型训练单元，全局检测模型训练单元可以包括：

原始人脸图像样本集获取子单元，被配置成获取原始人脸图像样本集；

面部全局图像提取子单元，被配置成分别从原始人脸图像样本集中的每张原始人脸图像中提取出面部全局图像，得到面部全局图像样本集；

全局检测模型训练子单元，被配置成根据经归一化处理后的面部全局图像样本集，训练得到全局检测模型。

在本实施例的一些可选的实现方式中，面部全局图像提取子单元可以被进一步配置成：

分别确定原始人脸图像样本集中的每张原始人脸图像中的人脸位置信息；

在基于人脸位置信息确定出的人脸区域中提取人脸关键点，得到关键点坐标；

根据关键点坐标对确定面部全局提取边框，并根据面部全局提取边框从相应的原始人脸图像中提取出面部全局图像，得到面部全局图像样本集。

在本实施例的一些可选的实现方式中，活体人脸识别装置500中还可以包括被配置成训练得到局部检测模型的局部检测模型训练单元，局部检测模型训练单元被进一步配置成：

根据人脸关键点确定人脸面部的五官轮廓；

根据五官轮廓从面部全局图像分割出至少一个五官局部图像，得到至少一个五官局部图像样本集；

基于经归一化处理后的至少一个五官局部图像样本集，训练得到相应数量的局部检测模型。

在本实施例的一些可选的实现方式中，加权处理单元504可以被进一步配置成：

通过第一预设权值对全局检测结果进行加权，得到加权后全局结果；

通过第二预设权值对局部检测结果进行加权，得到加权后局部结果；

基于加权后全局结果与加权后局部结果的和，生成综合检测结果；其中，第一预设权值与第二预设权值之和为单位1。

在本实施例的一些可选的实现方式中，响应于存在至少两个不同的局部检测模型，第一预设权值不小于各每个局部检测模型分别对应的第二预设权值的权值和。

在本实施例的一些可选的实现方式中，活体人脸识别装置500中还可以包括：

攻击通知信息返回单元，被配置成响应于根据综合检测结果确定待识别人脸图像为非活体人脸，返回攻击通知信息；

告警信息上报单元，被配置成响应于连续返回预设数量的攻击通知信息，上报告警信息。

本实施例作为对应于上述方法实施例的装置实施例存在，本实施例提供的活体人脸识别装置，在传统仅基于人脸的面部全局特征进行活体人脸识别的基础上，还同时结合了面部的至少一个局部特征，最后将面部全局特征的识别结果与至少一个局部特征的识别结果进行加权综合，以借助能够更加凸显面部局部特征的综合识别结果强化对真人面部有遮挡的头模面具等攻击方式的检测能力。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任一内容分发网络的活体人脸识别方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任一内容分发网络的活体人脸识别方法。

本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任一内容分发网络的活体人脸识别方法。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如活体人脸识别方法。例如，在一些实施例中，活体人脸识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的活体人脸识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行活体人脸识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大，业务扩展性弱的缺陷。

本公开实施例在传统仅基于人脸的面部全局特征进行活体人脸识别的基础上，还同时结合了面部的至少一个局部特征，最后将面部全局特征的识别结果与至少一个局部特征的识别结果进行加权综合，以借助能够更加凸显面部局部特征的综合识别结果强化对真人面部有遮挡的头模面具等攻击方式的检测能力

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种活体人脸识别方法，包括：

获取待识别人脸图像；

通过全局检测模型对所述待识别人脸图像的面部全局进行活体检测，得到全局检测结果；

通过局部检测模型对所述待识别人脸图像的面部局部进行活体检测，得到局部检测结果；

基于加权后的全局检测结果和局部检测结果，生成综合检测结果；

基于所述综合检测结果确定所述待识别人脸图像是否为活体人脸。

2.根据权利要求1所述的方法，其中，训练得到所述全局检测模型的方法包括：

获取原始人脸图像样本集；

分别从所述原始人脸图像样本集中的每张原始人脸图像中提取出面部全局图像，得到面部全局图像样本集；

根据经归一化处理后的面部全局图像样本集，训练得到所述全局检测模型。

3.根据权利要求2所述的方法，其中，所述分别从所述原始人脸图像样本集中的每张原始人脸图像中提取出面部全局图像，得到面部全局图像样本集，包括：

分别确定所述原始人脸图像样本集中的每张原始人脸图像中的人脸位置信息；

在基于所述人脸位置信息确定出的人脸区域中提取人脸关键点，得到关键点坐标；

根据所述关键点坐标对确定面部全局提取边框，并根据所述面部全局提取边框从相应的原始人脸图像中提取出面部全局图像，得到所述面部全局图像样本集。

4.根据权利要求3所述的方法，其中，训练得到所述局部检测模型的方法包括：

根据所述人脸关键点确定人脸面部的五官轮廓；

根据所述五官轮廓从所述面部全局图像分割出至少一个五官局部图像，得到至少一个五官局部图像样本集；

基于经归一化处理后的至少一个五官局部图像样本集，训练得到相应数量的局部检测模型。

5.根据权利要求1所述的方法，其中，所述基于加权后的全局检测结果和局部检测结果，生成综合检测结果，包括：

通过第一预设权值对所述全局检测结果进行加权，得到加权后全局结果；

通过第二预设权值对所述局部检测结果进行加权，得到加权后局部结果；

基于所述加权后全局结果与所述加权后局部结果的和，生成所述综合检测结果；其中，所述第一预设权值与所述第二预设权值之和为单位1。

6.根据权利要求5所述的方法，其中，响应于存在至少两个不同的局部检测模型，所述第一预设权值不小于各每个所述局部检测模型分别对应的第二预设权值的权值和。

7.根据权利要求1-6任一项所述的方法，还包括：

响应于根据所述综合检测结果确定所述待识别人脸图像为非活体人脸，返回攻击通知信息；

响应于连续返回预设数量的攻击通知信息，上报告警信息。

8.一种活体人脸识别装置，包括：

待识别人脸图像获取单元，被配置成获取待识别人脸图像；

面部全局检测单元，被配置成通过全局检测模型对所述待识别人脸图像的面部全局进行活体检测，得到全局检测结果；

面部局部检测单元，被配置成通过局部检测模型对所述待识别人脸图像的面部局部进行活体检测，得到局部检测结果；

加权处理单元，被配置成基于加权后的全局检测结果和局部检测结果，生成综合检测结果；

活体人脸识别单元，被配置成基于所述综合检测结果确定所述待识别人脸图像是否为活体人脸。

9.根据权利要求8所述的装置，还包括被配置成训练得到所述全局检测模型的全局检测模型训练单元，所述全局检测模型训练单元包括：

原始人脸图像样本集获取子单元，被配置成获取原始人脸图像样本集；

面部全局图像提取子单元，被配置成分别从所述原始人脸图像样本集中的每张原始人脸图像中提取出面部全局图像，得到面部全局图像样本集；

全局检测模型训练子单元，被配置成根据经归一化处理后的面部全局图像样本集，训练得到所述全局检测模型。

10.根据权利要求9所述的装置，其中，所述面部全局图像提取子单元被进一步配置成：

分别确定所述原始人脸图像样本集中的每张原始人脸图像中的人脸位置信息；

在基于所述人脸位置信息确定出的人脸区域中提取人脸关键点，得到关键点坐标；

根据所述关键点坐标对确定面部全局提取边框，并根据所述面部全局提取边框从相应的原始人脸图像中提取出面部全局图像，得到所述面部全局图像样本集。

11.根据权利要求10所述的装置，其中，还包括被配置成训练得到所述局部检测模型的局部检测模型训练单元，所述局部检测模型训练单元被进一步配置成：

根据所述人脸关键点确定人脸面部的五官轮廓；

根据所述五官轮廓从所述面部全局图像分割出至少一个五官局部图像，得到至少一个五官局部图像样本集；

基于经归一化处理后的至少一个五官局部图像样本集，训练得到相应数量的局部检测模型。

12.根据权利要求8所述的装置，其中，所述加权处理单元被进一步配置成：

通过第一预设权值对所述全局检测结果进行加权，得到加权后全局结果；

通过第二预设权值对所述局部检测结果进行加权，得到加权后局部结果；

基于所述加权后全局结果与所述加权后局部结果的和，生成所述综合检测结果；其中，所述第一预设权值与所述第二预设权值之和为单位1。

13.根据权利要求12所述的装置，其中，响应于存在至少两个不同的局部检测模型，所述第一预设权值不小于各每个所述局部检测模型分别对应的第二预设权值的权值和。

14.根据权利要求8-13任一项所述的装置，还包括：

攻击通知信息返回单元，被配置成响应于根据所述综合检测结果确定所述待识别人脸图像为非活体人脸，返回攻击通知信息；

告警信息上报单元，被配置成响应于连续返回预设数量的攻击通知信息，上报告警信息。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的活体人脸识别方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的活体人脸识别方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的活体人脸识别方法。

Images