CN114882551A - 一种基于机具维度的人脸识别处理方法、装置以及设备 - Google Patents

Abstract

本说明书实施例公开了一种基于机具维度的人脸识别处理方法、装置以及设备。方案包括：获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

Description

一种基于机具维度的人脸识别处理方法、装置以及设备

技术领域

本说明书涉及人脸识别技术领域，尤其涉及一种基于机具维度的人脸识别处理方法、装置以及设备。

背景技术

人脸识别技术近年来得到了飞速发展，也在诸如支付、考勤以及认证等场景得到了广泛的应用。由于人脸图像容易被获取，因此，许多攻击者会利用盗取到的用户人脸图像对人脸识别系统进行活体攻击。比如，常见的用手机屏幕展示和打印照片以尝试欺骗人脸识别系统就是活体攻击。

为了防御活体攻击，人脸识别系统一般都集成了活体检测技术(在该场景下可以称为：活体防攻击技术)。目前，常见的活体防攻击技术是基于交互的活体检测，这类方案需要用户进行配合做一些指定动作，比如指示用户眨眼、张嘴、摇头等。

基于此，针对人脸识别，还需要用户体验更好更安全的活体防攻击方案。

发明内容

本说明书一个或多个实施例提供一种基于机具维度的人脸识别处理方法、装置、设备以及存储介质，用以解决如下技术问题：针对人脸识别，还需要用户体验更好更安全的活体防攻击方案。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理方法，包括：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理装置，包括：

场景留底模块，获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

人脸处理模块，获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

特征比对模块，根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

融合处理模块，根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

活体判断模块，根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

本说明书一个或多个实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

本说明书一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：利用了机具维度的场景信息，通过全局加局部的特征比对学习技术，察觉活体攻击引发的场景变化并对其敏感，据此对人脸识别进行风险判断，并将风险判断的结果融合在基于分类的活体检测过程中，得到最终的判断结果，从而，能够有效地提升活体检测的安全性，对于高难度活体攻击也能有很好的召回，且不容易被绕过，而且无需用户额外进行配合，有助于提高用户体验。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例提供的基于机具维度的人脸识别处理方案的构思简图；

图2为本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理方法的流程示意图；

图3为本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理装置的结构示意图；

图4为本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理设备的结构示意图。

具体实施方式

本说明书实施例提供一种基于机具维度的人脸识别处理方法、装置、设备以及存储介质。

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

背景技术中提到常见的活体防攻击技术是基于交互的活体检测。但是，由于这类方案需要用户配合做指定动作，则耗时更长，不仅如此，用户的动作若做得不规范，还会被要求重试或者直接判定为认证失败，因此，用户体验较差；另一方面，这类方案还可能被利用简单的动作生成技术绕过，因此，安全能力有限。

下面的一些实施例针对上述问题提供相应的解决方案，简称为本方案。为了更好地说明本方案的构思，下面进行分析。

从人脸识别机具(比如，自动刷脸售卖机、智能手机等，实施例中简称机具)的角度来看，被识别对象会面向机具的摄像头，以便机具采集人脸图像，机具采集到的人脸图像包括前景部分和背景部分，前景部分即被识别对象(通常是人脸区域，也有可能包括头部以下的其他身体区域)，背景部分就是机具和被识别对象当前所处的场景，比如，商场中、店铺内、银行大堂、用户家中、公司工位处、大门门禁周围，等等。

对于目前常见的针对人脸识别的活体攻击，比如，攻击者会用包含某正常用户(被冒充者)的脸部区域的手机屏幕(称为屏幕攻击)或者打印照片(称为照片攻击)，来冒充该正常用户的人脸活体，面向机具的摄像头进行展示，以尝试欺骗机具。

相比于该正常用户本人正常地面向机具的摄像头进行人脸识别，这类攻击往往会更明显更剧烈地改变或者影响机具的摄像头视野中的场景。比如，可能更多地或者完全地遮盖住场景，只剩下手机照片或者打印照片基本将该摄像头视野填充，不仅如此，由于照片相比于真人形状往往不一致，而且缺乏自然的动态感尤其是人脸边缘区域，从而前景和场景之间的过渡也会更不自然。基于注意到的这些情况，本方案想要充分利用机具维度的场景信息(目前大多是利用被识别对象本身维度的信息)，让机具有针对性地注意自身所在的场景，并将相应的场景信息留底，应用到后续识别过程中，进行更细致的全局特征和局部特征识别，以提高识别准确性和安全性。

图1为本说明书一个或多个实施例提供的基于机具维度的人脸识别处理方案的构思简图。该构思主要包括以下四部分，先示例性地简单介绍。

第一部分，机具维度场景信息采集留底。比如，对于每台人脸识别机具，进行定期的场景信息采集，比如，采集自身当前面对的场景图像，作为后续比对学习的参照图。当然，对于机具维度的场景信息而言，除了图像形式的场景信息以外，还可以有别的形式的信息作为辅助。比如，周围环境噪音、机具所处位置数据、机具使用分布数据(比如，使用频次、使用峰谷数据等)情况，等等。下面的一些实施例主要以场景图像为例描述方案。

第二部分，图像采集和预处理。待识别对象(正常用户或者活体冒充物或者活体冒充者等)在机具的摄像头前就位，开始进行人脸识别后，尝试进行人脸图像采集和预处理。预处理根据实际需求进行，比如包括选取更适用的图像、放大人脸区域、图像去噪、增强图像等。

第三部分，全局和局部特征比对。基于新提出的方案，将识别时采集的人脸图像和留底场景留底图像进行全局和局部特征比对，来度量活体攻击风险和线索。

第四部分，基于融合处理的活体判断。全局和局部特征以及比对结果与和基于分类的模型特征进行融合处理，以进行活体判断。

下面基于这样的构思，进一步地详细说明。

图2为本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理方法的流程示意图。该方法可以应用于不同的业务领域的人脸识别过程中，以防御人脸活体攻击，比如，金融业务领域、电商业务领域、即时通讯业务领域、游戏业务领域、公务业务领域等。该流程可以由相应领域的计算设备(比如，智能手机、公共人脸识别机具、支付业务对应的风控服务器等)执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

图2中的流程可以包括以下步骤：

S202：获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征。

机具上具有摄像头，用户进行人脸识别时需要面向该摄像头，以便机具采集人脸图像。机具除了正常工作采集人脸图像以外，还可以适时地主动采集自身所处场景的场景图像。尤其可以采集一些与用户刷脸时所处场景较为一致的场景。对于位置相对固定的机具(比如，自动刷脸售卖机)，周围环境景色一般变化不大，在这种情况，可以考虑时间、光线等方面的场景因素尽量一致，比如，一般晚间时段该自动刷脸售卖机用户们利用得较多，则可以重点采集该晚间时段的场景图像。对于位置容易变化的机具(比如，智能手机)，周围环境景色经常在动态变化，则可以采集用户的一些典型(可能用到人脸识别)所处区域的场景图像，比如，家中、单位食堂、多次去过的店铺等。

在本说明书一个或多个实施例中，机具预先在闲时采集场景图像，比如，在其未进行人脸识别时，多次采集场景图像(比如，每个小时采集1次，一次采集10张等)，每次采集，在本次采集的场景图像中随机选取作为留底图像，保留下来，后续还可以适时地更新或者增加留底图像。

进一步地，在采集场景图像时，也有可能无意拍到周围的人脸，这些人脸未必是要做人脸识别的，而只是路人，为了保护路人隐私，可以对采集的场景图像进行人脸检测，抛弃检测到人脸的场景图像，保留未检测到人脸的场景图像，以此避免隐私问题。另外，对于一些非公共区域的场景，还可以进行场景的隐私保护，比如，家里或者工作单位的场景图像，可以提取保留场景中的框架(比如，房间构型、家具轮廓线条等)，而将细节(比如，小物件，家具墙壁纹理等)用一些通用贴图替换。

在本说明书一个或多个实施例中，场景图像的全局特征反映了对应场景全局的特征，可以用于判断场景上的相似度。

S204：获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征。

在本说明书一个或多个实施例中，用户比如通过点击机具屏幕等操作确认开始人脸识别，机具开始尝试采集人脸图像，可以对采集到的图像进行人脸检测，如果检测到人脸则将有人脸的图像保存下来，并结束采集。机具还可以对采集到的图像进行人体检测(比如，检测人体部分或者人脸以外的人体部分是否存在，或者该人体部分是否与该人脸协调)，并保存人体检测的结果，这对于活体防攻击也是有帮助的，因为，在一些活体攻击中，攻击者可能只是单纯地假冒地模拟人脸，而未必对其他人体部分也进行了相应的模拟配合，比如，用人脸照片面对机具的摄像头。

在步骤S204中提到的人脸图像中，除了包含人脸区域，一般还包含一部分背景区域(在活体攻击时，或者正常用户距离基于机具的摄像头过近时，该背景区域可能不存在)，该背景区域即反映了场景。

在本说明书一个或多个实施例中，可以在人脸图像中确定人脸区域，然后从该人脸区域中提取特征，作为人脸图像的局部特征。需要说明的是，在正常用户进行识别时，该人脸区域为活体(即该正常用户的人脸)，而在活体攻击下，该人脸区域往往是看似正常用户的人脸的非活体冒充物。为了便于描述，统称为人脸区域。对于人脸图像的局部特征之外的特征，主要是背景特征，其能够更具体和准确地反映采集该人脸图像时，被识别对象所处的场景。

在本说明书一个或多个实施例中，人脸图像的局部特征除了包括人脸区域的特征以外，还可以包括其他的前景特征，由于非活体冒充物也属于前景，因此，这种局部特征有助于后续更准确地感知非活体冒充物，有助于更准确地判定人脸识别时所导致的场景变化是否属于正常情况。

S206：根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果。

在本说明书一个或多个实施例中，可以将场景图像的特征与人脸图像的特征进行比对，以确定场景的变化情况，根据前面的说明可知，人脸图像的局部特征可更准确地反映出前景的情况，而前景能够直接影响(至少包括遮挡)到场景的变化，基于此，以步骤S206中的三种特征作为根据，进行更精细更有层次性的特征比对。得到的比对结果可以更精准地反映出活体攻击风险。

通过特征比对，直接得到全局和局部相关的相似度，如果相似度低，则说明活体攻击风险较高，原因一般在于是照片攻击或者屏幕攻击等方式导致图像出现了大幅的改变。在实际应用中，攻击者还可以采用注入攻击的方式进行活体攻击，这种攻击方式，不是在摄像头前进行欺骗，而是直接通过向机具或者其后端注入非法数据(比如，假冒的图像)，其可以完全改变机具实际采集的图像，上面这种基于场景的相似度计算对于注入攻击也有较好的防护作用。

S208：根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理。

在本说明书一个或多个实施例中，基于分类器(比如，做活体或者非活体的二分类，认为非活体属于攻击)构建活体防攻击模型，预先利用大量的有标注的攻击和活体数据进行模型训练，当然仅此是不够的，对于诸如采用高清屏幕、高精度打印纸张等一些更高精度的攻击的安全能力可能达不到预期。因此，进一步地将全局特征和局部特征、比对结果融合到模型中，以辅助模型更准确地识别攻击。

S210：根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

在本说明书一个或多个实施例中，根据融合处理的结果，进行最终的预测，判断这次的人脸图像是否为活体攻击，在活体攻击下，可以认为人脸图像中的人脸为非活体，反之可以认为该人脸为活体。

通过图2的方法，利用了机具维度的场景信息，通过全局加局部的特征比对学习技术，察觉活体攻击引发的场景变化并对其敏感，据此对人脸识别进行风险判断，并将风险判断的结果融合在基于分类的活体检测过程中，得到最终的判断结果，从而，能够有效地提升活体检测的安全性，对于高难度活体攻击也能有很好的召回，且不容易被绕过，而且无需用户额外进行配合，有助于提高用户体验。

基于图2的方法，本说明书还提供了该方法的一些具体实施方案和扩展方案，下面继续进行说明。

全局特征和局部特征的比对，以及在分类过程中的融合，是本方案提高安全性的关键之处，下面进一步地详细说明。

在本说明书一个或多个实施例中，作为基础，在进行特征比对时，可以根据场景图像的全局特征与人脸图像的全局特征，进行相似度计算，根据相似度计算的结果，确定比对结果，这个过程中，在安全性要求相对不那么高的情况下，可以直接计算场景图像的全局特征与人脸图像的全局特征之间的相似度，作为比对结果。活体攻击可能导致场景变化较大，则该相似度相应地会变小，由此可以一定程度地度量活体攻击的风险大小，不过，在实际应用中，当人脸占据人脸图像中面积较大时，无论是否活体攻击，该相似度可能都会偏低，考虑到这一点，进一步地利用人脸图像的局部特征降低人脸本身给相似度计算带来的影响，以更专注地识别场景的变化情况。

具体比如，根据人脸图像的局部特征，对场景图像的全局特征和人脸图像的局部特征中的对应特征进行泛化处理，根据泛化处理后的场景图像的全局特征和人脸图像的局部特征，进行相似度计算。在该情况下，假定局部特征即为人脸区域的特征，则可以根据该局部特征，确定场景图像中与该人脸区域位置对应一致的区域的特征(即为上述的对应特征)，该特征在场景图像中属于场景特征，本来无论攻击与否，该场景特征与该局部特征都是有明显区别的，而通过对于该场景特征和该局部特征进行泛化处理，可以降低甚至消除该区别，进而，可以计算泛化处理后的场景图像的全局特征和人脸图像的全局特征的相似度，从而，有助于更合理地度量场景的变化。泛化处理的方式不做具体限定，比如，可以直接将对应特征剔除，或者进行模糊，或者用相似或者相同的其他特征进行置换等。

更进一步地，在目前的活体攻击中，前景的边缘(比如，为四方的屏幕或者照片边缘)往往会与正常情况(为活体人脸边缘)有很大区别，哪怕是轮廓更相似的，比如利用人脸面具进行活体攻击，虽然区别可能会降低，但是区别仍然存在，比如，头发区域、边缘的弹性动态感、面具与其他人体区域的接线处等。

为了更精确地识别这类区别，在特征比对的过程中，可以针对边缘的特征进行特殊处理并加以重点关注。

具体比如，将人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果，若比对中间结果反映的相似度(该全局特征与该局部特征之间的相似度)大于第一设定阈值(可以认为此时，人脸图像中的人脸区域所占比例足够大，对全局的影响足够大，则场景的影响相对小，需要更精确地关注场景区域)，则根据人脸图像的局部特征，在人脸图像的全局特征中提取实际人脸边缘场景特征(基于边缘场景特征来更精确地关注场景区域)，在场景图像的全局特征中提取假想人脸(场景图像中实际没有人脸，但若有人脸，正常应该处于该区域)边缘场景特征(即，上述的与该人脸区域位置对应一致的区域的边缘场景特征)，将实际人脸边缘场景特征与假想人脸边缘场景特征进行特征比对，得到比对结果，若两者边缘场景特征相似度越小，则反映出活体攻击风险越大。

进一步地，除了相似度以外，为了便于在模型中进行融合处理，比对结果比如包含实际人脸边缘场景特征与假想人脸边缘场景特征之间的特征差集(精细地体现了场景尤其是边缘场景的变化)。在这种情况下，上述的融合处理比如包括：将人脸图像的全局特征和局部特征，以及特征差集进行组合(比如，将相应的向量按照设定顺序连接起来)后，输入预先训练的活体防攻击模型进行融合处理，以便进行分类预测。

另外，若上述的比对中间结果反映的相似度小于第二设定阈值(可以认为此时，人脸图像中的人脸区域所占比例足够小，对全局的影响足够小，则场景的影响相对大，可以更宏观地关注场景区域)，则可以直接将场景图像的全局特征与人脸图像的全局特征进行特征比对，得到比对结果，第二设定阈值小于(甚至可能远小于)第一设定阈值，比如，将第一设定阈值设定为80％，第二设定阈值设定为20％，等等。

在本说明书一个或多个实施例中，提取特征以及进行特征比对可以由相应的特征处理模型执行，该特征处理模型作为独立模型或者集成于活体防攻击模型中都是可以的。

具体比如，该特征处理模型包括两个特征提取部分，第一部分是全局特征提取子模型，记作M1，第二部分是局部特征提取子模型，记作M2，将M1和M2提取的特征串联到一起经过全连接层等网络结构的处理，以实现特征比对，最后输出比对结果(比如，表示为风险分数，该分数反映了活体攻击的高风险，但其并非最终结果，只是作为参考数据之一)，M1和M2的可用结构是多样的，这里不做具体限定，比如采用ResNet18。

上面列举了特征比对的一些具体实施方式，以进行全局特征比对这种简单的情况为例，其他的情况可以类似地实施。可以对人脸图像进行人体检测，将检测到的的人体区域(至少包含人脸区域)剪裁出来作为M2的输入，原来的整张人脸图像则作为M1的输入，以便特征处理模型以及活体防攻击模型进行处理。其中，在计算风险分数时，可以将当前人脸识别时采集的人脸图像的全局特征(记作f1)以及留底的全局特征(记作f2，将留底的场景图像输入到M1中可以得到)，根据以下公式一计算风险分数(记作s)，其中<x,y>表示计算x和y的相似度，比如采用余弦相似度。

s＝1.0-<f1,f2>；(公式一)

在本说明书一个或多个实施例中，比对结果包括一些图像特征，比如，上述的特征差集，在这种情况下，可以将比对结果与人脸图像的全局特征和局部特征进行特征融合，然后再进行预测。比如，获取预先训练的活体分类模型对人脸图像的输出特征(可以是隐藏层输出的特征)，将人脸图像的全局特征和局部特征(还可以包括场景图像的全局特征)，以及该输出特征进行第一次融合处理，并输入预先训练的活体防攻击模型，再进行分类预测，得到参考分类数据，通过活体防攻击模型，对比对结果和参考分类数据进行第二次融合处理。

基于这样的思路，假定比对结果包括反映场景图像与人脸图像中人脸区域以外部分之间相似度的归一化风险分数，比如上述的s，参考分类数据包括将人脸图像中的人脸分类为活体或者非活体的分类概率。将上述的特征处理模型和活体分类模型集成于活体防攻击模型中，活体防攻击模型中还包含融合模型，融合模型包含多个全连接层，基于二分类损失函数预先训练完成。

可以对初始化模型(比如采用ResNet18)也进行二分类训练，得到活体分类模型，将人脸图像的特征输入活体分类模型中进行分类，得到上述的输出特征，将M1、M2的输出和该输出特征输入到特征融合模型中，输出分类概率(记作P)，作为参考分类数据。接下来，融合P和s，在P和s都是归一化形式的情况下，叠加P和s，得到判决分数，再根据判决分数和对应的设定阈值，判定人脸图像中的人脸是否为活体，判定是否遭到活体攻击。比如，假定s的取值大小与或活体攻击风险大小正相关，P具体表示分类为非活体的概率，则若判决分数大于对应的设定阈值(记作T)时，即P+s>T时，可以判定：人脸图像中的人脸为非活体，遭到了活体攻击。

基于同样的思路，本说明书一个或多个实施例还提供了上述方法对应的装置和设备，如图3、图4所示。

图3为本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理装置的结构示意图，所述装置包括：

场景留底模块302，获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

人脸处理模块304，获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征属于人脸区域的特征；

特征比对模块306，根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

融合处理模块308，根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

活体判断模块310，根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

可选地，所述场景留底模块302，通过所述机具，在其未进行人脸识别时，多次采集所述机具所处场景的场景图像；

对各所述场景图像进行人脸检测，保留未检测到人脸的所述场景图像。

可选地，所述特征比对模块306，根据所述场景图像的全局特征与所述人脸图像的全局特征，进行相似度计算；

根据所述相似度计算的结果，确定比对结果。

可选地，所述特征比对模块306，根据所述人脸图像的局部特征，对所述场景图像的全局特征和所述人脸图像的全局特征中的对应特征进行泛化处理；

根据所述泛化处理后的所述场景图像的全局特征和所述人脸图像的全局特征，进行相似度计算。

可选地，所述特征比对模块306，将所述人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果；

若所述比对中间结果反映的相似度大于第一设定阈值，则根据所述人脸图像的局部特征，在所述人脸图像的全局特征中提取实际人脸边缘场景特征，在所述场景图像的全局特征中提取假想人脸边缘场景特征；

将所述实际人脸边缘场景特征与所述假想人脸边缘场景特征进行特征比对，得到比对结果。

可选地，所述特征比对模块306，在将所述人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果之后，若所述比对中间结果反映的相似度小于第二设定阈值，则将所述场景图像的全局特征与所述人脸图像的全局特征进行特征比对，得到比对结果，所述第二设定阈值小于所述第一设定阈值。

可选地，所述比对结果包含所述实际人脸边缘场景特征与所述假想人脸边缘场景特征之间的特征差集；

所述融合处理模块308，将所述人脸图像的全局特征和局部特征，以及所述特征差集进行连接后，输入预先训练的活体防攻击模型进行融合处理，以便进行分类预测。

可选地，所述融合处理模块308，获取预先训练的活体分类模型对所述人脸图像的分类结果；

将所述人脸图像的全局特征和局部特征，以及所述分类结果进行融合处理，并输入预先训练的活体防攻击模型，进行分类预测，得到参考分类数据；

通过所述活体防攻击模型，对所述比对结果和所述参考分类数据进行融合处理。

可选地，所述比对结果包括反映所述场景图像与所述人脸图像中人脸区域以外部分之间相似度的归一化风险分数；所述参考分类数据包括将所述人脸图像中的人脸分类为活体或者非活体的分类概率；

所述融合处理模块308，叠加所述归一化风险分数和所述分类概率，得到判决分数，以便根据所述判决分数和对应的设定阈值，判定所述人脸图像中的人脸是否为活体。

图4为本说明书一个或多个实施例提供的一种基于机具维度的人脸识别处理设备的结构示意图，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征属于人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

处理器与存储器之间可以通过总线通信，设备还可以包括与其他设备通信的输入/输出接口。

基于同样的思路，本说明书一个或多个实施例还提供了对应于上述方法的一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征属于人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (19)

1.一种基于机具维度的人脸识别处理方法，包括：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

2.如权利要求1所述的方法，所述机具预先采集所述机具所处场景的场景图像，具体包括：

所述机具在未进行人脸识别时，多次采集所述机具所处场景的场景图像；

对各所述场景图像进行人脸检测，保留未检测到人脸的所述场景图像。

3.如权利要求1所述的方法，所述根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果，具体包括：

根据所述场景图像的全局特征与所述人脸图像的全局特征，进行相似度计算；

根据所述相似度计算的结果，确定比对结果。

4.如权利要求3所述的方法，所述根据所述场景图像的全局特征与所述人脸图像的全局特征，进行相似度计算，具体包括：

根据所述人脸图像的局部特征，对所述场景图像的全局特征和所述人脸图像的全局特征中的对应特征进行泛化处理；

根据所述泛化处理后的所述场景图像的全局特征和所述人脸图像的全局特征，进行相似度计算。

5.如权利要求1所述的方法，所述根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果，具体包括：

将所述人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果；

若所述比对中间结果反映的相似度大于第一设定阈值，则根据所述人脸图像的局部特征，在所述人脸图像的全局特征中提取实际人脸边缘场景特征，在所述场景图像的全局特征中提取假想人脸边缘场景特征；

将所述实际人脸边缘场景特征与所述假想人脸边缘场景特征进行特征比对，得到比对结果。

6.如权利要求5所述的方法，所述将所述人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果之后，所述方法还包括：

若所述比对中间结果反映的相似度小于第二设定阈值，则将所述场景图像的全局特征与所述人脸图像的全局特征进行特征比对，得到比对结果，所述第二设定阈值小于所述第一设定阈值。

7.如权利要求5所述的方法，所述比对结果包含所述实际人脸边缘场景特征与所述假想人脸边缘场景特征之间的特征差集；

所述根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理，具体包括：

将所述人脸图像的全局特征和局部特征，以及所述特征差集进行组合后，输入预先训练的活体防攻击模型进行融合处理，以便进行分类预测。

8.如权利要求1所述的方法，所述根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理，具体包括：

获取预先训练的活体分类模型对所述人脸图像的输出特征；

将所述人脸图像的全局特征和局部特征，以及所述输出特征进行融合处理，并输入预先训练的活体防攻击模型，进行分类预测，得到参考分类数据；

通过所述活体防攻击模型，对所述比对结果和所述参考分类数据进行融合处理。

9.如权利要求8所述的方法，所述比对结果包括反映所述场景图像与所述人脸图像中人脸区域以外部分之间相似度的归一化风险分数；所述参考分类数据包括将所述人脸图像中的人脸分类为活体或者非活体的分类概率；

所述对所述比对结果和所述参考分类数据进行融合处理，具体包括：

叠加所述归一化风险分数和所述分类概率，得到判决分数，以便根据所述判决分数和对应的设定阈值，判定所述人脸图像中的人脸是否为活体。

10.一种基于机具维度的人脸识别处理装置，包括：

场景留底模块，获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

人脸处理模块，获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

特征比对模块，根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

融合处理模块，根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

活体判断模块，根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

11.如权利要求10所述的装置，所述场景留底模块，通过所述机具，在其未进行人脸识别时，多次采集所述机具所处场景的场景图像；

对各所述场景图像进行人脸检测，保留未检测到人脸的所述场景图像。

12.如权利要求10所述的装置，所述特征比对模块，根据所述场景图像的全局特征与所述人脸图像的全局特征，进行相似度计算；

根据所述相似度计算的结果，确定比对结果。

13.如权利要求12所述的装置，所述特征比对模块，根据所述人脸图像的局部特征，对所述场景图像的全局特征和所述人脸图像的全局特征中的对应特征进行泛化处理；

根据所述泛化处理后的所述场景图像的全局特征和所述人脸图像的全局特征，进行相似度计算。

14.如权利要求10所述的装置，所述特征比对模块，将所述人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果；

若所述比对中间结果反映的相似度大于第一设定阈值，则根据所述人脸图像的局部特征，在所述人脸图像的全局特征中提取实际人脸边缘场景特征，在所述场景图像的全局特征中提取假想人脸边缘场景特征；

将所述实际人脸边缘场景特征与所述假想人脸边缘场景特征进行特征比对，得到比对结果。

15.如权利要求14所述的装置，所述特征比对模块，在将所述人脸图像的全局特征与局部特征进行特征比对，得到比对中间结果之后，若所述比对中间结果反映的相似度小于第二设定阈值，则将所述场景图像的全局特征与所述人脸图像的全局特征进行特征比对，得到比对结果，所述第二设定阈值小于所述第一设定阈值。

16.如权利要求14所述的装置，所述比对结果包含所述实际人脸边缘场景特征与所述假想人脸边缘场景特征之间的特征差集；

所述融合处理模块，将所述人脸图像的全局特征和局部特征，以及所述特征差集进行组合后，输入预先训练的活体防攻击模型进行融合处理，以便进行分类预测。

17.如权利要求10所述的装置，所述融合处理模块，获取预先训练的活体分类模型对所述人脸图像的输出特征；

将所述人脸图像的全局特征和局部特征，以及所述输出特征进行融合处理，并输入预先训练的活体防攻击模型，进行分类预测，得到参考分类数据；

通过所述活体防攻击模型，对所述比对结果和所述参考分类数据进行融合处理。

18.如权利要求17所述的装置，所述比对结果包括反映所述场景图像与所述人脸图像中人脸区域以外部分之间相似度的归一化风险分数；所述参考分类数据包括将所述人脸图像中的人脸分类为活体或者非活体的分类概率；

所述融合处理模块，叠加所述归一化风险分数和所述分类概率，得到判决分数，以便根据所述判决分数和对应的设定阈值，判定所述人脸图像中的人脸是否为活体。

19.一种基于机具维度的人脸识别处理设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取机具预先采集并保留的所述机具所处场景的场景图像，并提取所述场景图像的全局特征；

获取所述机具在用户进行人脸识别时采集的人脸图像，并提取所述人脸图像的全局特征和局部特征，所述局部特征包括人脸区域的特征；

根据所述场景图像的全局特征、所述人脸图像的全局特征和局部特征进行特征比对，得到比对结果；

根据所述人脸图像的全局特征和局部特征，以及所述比对结果，利用预先训练的活体防攻击模型进行融合处理；

根据所述融合处理的结果，判断所述人脸图像中的人脸是否为活体。

Images