CN109508706B - 一种基于微表情识别和无感人脸识别的静默活体检测方法 - Google Patents

Abstract

本发明公开了一种基于微表情识别和无感人脸识别的静默活体检测方法，该静默活体检测方法包括人脸识别检测和活体检测两个部分，所述活体检测部分依次包括人脸静态图片检测、人脸视频检测和3D面具检测三个过程，只有目标人脸同时通过上述检测步骤才被认定为真实有效的人脸。本发明的优点是可以在被测目标无感知、无配合的情况下，短时间内就可完成对静态图片、人脸视频和3D面具这三类主流伪装的活体检测，且准确率较高，适用范围广，场景要求低。

Description

一种基于微表情识别和无感人脸识别的静默活体检测方法

技术领域：

本发明涉及一种人脸静默活体检测方法，尤其是一种基于微表情识别和无感人脸识别的静默活体检测方法，属于人工智能的技术领域。

背景技术：

随着基于人脸识别技术的“刷脸”支付、“刷脸”进站、“刷脸”签到甚至“刷脸”执法正在从理论变为现实，在“刷脸”逐渐商用落地的今天，人脸识别技术虽然能够高效的识别出图像中人脸的身份，但是却无法准确的识别出输入人脸特征信息的真伪，这导致有不轨之徒利用照片、从视频流中提取人脸面部数据或者3D面具来伪装，进而实施犯罪，特别是“刷脸”支付，直接关系到用户的资产安全，一旦人脸识别技术无法辨别出真伪，那将导致资产的丢失，那么如何能自动、高效且准确的辨别人脸真伪，受到人们越来越多的关注。

人脸防伪亦称人脸活体检测，除了能够“识人”外，还能“识真”，也就是说不但要证明摄像头前的人脸是不是这个人的人脸，还需要证明这张脸是不是活体的人脸，而不是图片、视频或带面具的人脸。目前，现有的人脸防伪技术主要包含以下四种技术：

(1)指令动作配合，如随机要求被摄人脸部转动、张嘴、眨眼等，如果指令配合错误就认定是伪装欺骗。这种技术检测成功率较高，但是需要被摄人配合，无法做到人体静默检测，用户体验感差，同时一些3D建模技术能够驱动用户单张照片或视频来做出系统要求的摇头、转脸、张嘴等动作指令。

(2)近红外人脸活体检测，基于光流法，利用图像序列中像素强度数据的时域变化和相关性来确定像素的位移，同时光流场也能检测眼球移动和眨眼。这种技术无需被摄人配合，检测成功率较高，但是缺点主要是计算量大、耗时长，在对实时性要求高的场景不适合，而且光流法对光线很敏感，变化的光线会错误的识别为光流。

(3)3D人脸检活，利用3D摄像头拍摄人脸，得到拍摄区域的3D人脸数据，对这些数据进一步分析来判断是不是活体。这种技术能识别人脸的三维信息，有效的防止静态图片欺骗，但是一旦遇到伪装视频或佩戴3D面具则效果就不好。

(4)唇语+人脸与场景的分析技术，被摄人只需要阅读随机给出的一串数字或词语，然后根据语音识别结合图像唇语验证来检测声音源和图像源的同步性；人脸与场景分析能发现合成视频异常。缺点仍是需要人为配合。

上述方法普遍存在需要人为配合、耗时长、对场景要求高等缺点，因此，急需开发准确、快速、适用范围广的人脸防伪方法。

发明内容：

本发明要解决的技术问题是克服现有技术中存在的不足，提供一种可以在被测目标无感知、无配合的情况下，短时间内就可完成对静态图片、人脸视频和3D面具这三类主流伪装的活体检测，且准确率较高，适用范围广，场景要求低的基于微表情识别和无感人脸识别的静默活体检测方法。

本发明的技术解决方案是，提供一种基于微表情识别和无感人脸识别的静默活体检测方法，该静默活体检测方法包括人脸识别检测和活体检测两个部分，所述活体检测部分包括人脸静态图片检测、人脸视频检测和3D面具检测三个过程，具体步骤如下：

步骤1.对采集的目标人脸进行人脸识别检测，判断所采集的目标人脸是否存储于人脸数据库，如果目标人脸通过人脸识别检测，则进入步骤2的活体检测；

步骤2.对通过人脸识别检测的目标人脸进行人脸静态图片检测，判断该目标人脸是否有微表情变化，如果目标人脸有微表情变化，则通过人脸静态图片检测，进入步骤3；

步骤3.对通过人脸静态图片检测的目标人脸进行人脸视频检测，判断该目标人脸是否会在外界突然刺激下产生相对应的微表情变化，如果目标人脸出现相对应的微表情变化，则通过人脸视频检测，进入步骤4；

步骤4.对通过人脸视频检测的目标人脸进行3D面具检测，判断该目标人脸在1s内微表情分类值相同比例占比是否超过某一阀值，如果超过，则判定为目标人脸带有3D面具，否则，则认为所采集的目标人脸是真实有效的人脸；

只有目标人脸同时通过步骤1至步骤4才被认定为真实有效的人脸。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所述的步骤1进一步包括：

步骤101.用户将自己的图片上传至人脸和表情识别服务器进行注册，人脸和表情识别服务器会自动从整张图片中截取人脸图片，从截取的人脸图片中提取人脸特征值并存入人脸数据库中，该人脸图片为预存入人脸；

步骤102.将前端摄像头实时采集到的人脸图片送入人脸和表情识别服务器，并提取所采集目标人脸的特征值；

步骤103.人脸和表情识别服务器根据人脸特征值在人脸数据库中匹配出与该目标人脸置信度最高的预存入人脸，若置信度低于某一阀值，说明摄像头面前的人不是人脸数据库里预存入的用户，结束检测，否则，进入活体检测。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所述的步骤2进一步包括：

步骤201.人脸和表情识别服务器识别所采集目标人脸微表情分类值，其中微表情分类值是根据人脸特征值识别的；

步骤202.对所有采集的目标人脸的置信度进行求和及取平均值计算；

步骤203.对所有采集目标人脸的微表情分类值进行统计；

若置信度和的平均值大于某一阀值，且相同微表情分类值占比超过某一阀值，说明摄像头采集的人脸图片来自于静态图片，否则，通过人脸静态图片检测。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所采集的目标人脸是摄像头按照不低于4帧/s的速率来抓取的人脸图片。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所述的步骤3进一步包括：

步骤301，在通过人脸静态图片检测后的某个时间点随机触发声响装置；

步骤302，将此时采集的目标人脸送入人脸和表情识别服务器，并对目标人脸微表情分类值进行识别；

步骤303，人脸和表情识别服务器对目标人脸微表情分类值进行统计；

若惊讶表情维持的时间超过1s，则判定为伪装的表情；若维持惊讶表情的时间不少于1/4s，且不会超过1s，则通过人脸视频检测。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所采集的目标人脸是摄像头按照不低于20帧/s的速率来抓取的人脸图片。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所述步骤301的优选方案为在通过人脸静态图片检测后的瞬间触发声响装置。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所述的某一阀值都可以根据实际情况进行调整。

本发明所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其中，所述的人脸数据库位于人脸和表情识别服务器内。。

本发明的有益效果是：本发明用微表情作为活体检测的主要手段，然后结合人脸识别技术作为辅助手段，可以在被测目标无感知、无配合的情况下，快速完成活体检测，且活体检测必须先后经过人脸图片检测、人脸视频检测和3D图片检测三个过程，准确率较高，适用范围广，场景要求低。

附图说明：

图1为本发明中静默活体检测设备架构图；

图2为本发明中人脸图片注册流程图；

图3为本发明中静默活体检测流程图；

图4为本发明中反人脸静态图片欺诈检测流程图；

图5为本发明中反人脸视频欺诈检测流程图；

图6为本发明中反人脸3D面具欺诈检测流程图。

具体实施方式：

下面结合附图和具体实施方式对本发明一种基于微表情识别和无感人脸识别的静默活体检测方法作进一步详细说明：

首先需要说明的是，如图1所示，本发明一种基于微表情识别和无感人脸识别的静默活体检测方法的实施需要摄像头、声响装置、人脸和表情识别系统以及用于连接的网线。由于摄像头、声响装置、人脸和表情识别系统以及通过网线连接的技术已属于现有技术，故本发明不在此赘述。

如图2-6所示，发明一种基于微表情识别和无感人脸识别的静默活体检测方法的具体步骤依次如下：

1.人脸图片注册

如图2所示，首先用户将自己的人脸图片通过本地上传给人脸和表情识别服务器进行注册，即人脸图片入库，人脸和表情识别服务器会自动检测图片中人脸位置坐标，并按照坐标信息截取人脸图片，接着从人脸图片中提取人脸特征值并存入人脸数据库，人脸数据库位于人脸和表情识别系统中。

2.反人脸静态图片欺诈检测

如图3和图4所示，当有人把用户图片放置在摄像头前，摄像头按照初始帧率m为4帧/s的速率来抓取人脸图片(图4中所示的索引值i是指图片计数，从1开始到帧率值结束，比如帧率是4帧/s，说明摄像头每秒会送出4帧图片，算法需要对每帧图片做处理，所以i是从1依次增加到4)，并把人脸图片送入人脸和表情识别服务器，人脸和表情识别服务器会提取该人脸图片的特征值，分别进行人脸识别处理和微表情识别处理，第一个识别处理会得出该人脸与人脸数据库里置信度confidence最高的那个人脸，如果置信度在0.7以下，说明摄像头前的人不是库里面的人，就产生告警，并结束活体检测，否则，人脸识别通过，进入人脸静态图片欺诈检测；第二个识别处理会得出当前人脸图片的微表情分类值E_real。

人脸和表情识别服务器会对一秒内采集的4张目标人脸图片分别进行人脸识别处理和微表情识别处理，并对置信度的和求平均值计算，对识别的人脸微表情分类值E_real进行统计。如果当前输入是静态的人脸图片，那么置信度和的平均值会维持在0.85以上，微表情分类值E_real几乎不变，在一秒时间内，如果置信度和的平均值仍维持在0.85以上，且相同微表情分类值E_real的比例占80％以上，则可以认定输入的图片可能是静态的，否则，人脸静态图片防欺诈通过，进入人脸视频防欺诈检测流程。

一旦检测到输入图片可能是静态的，这时人脸识别服务器给摄像头发送提高传送人脸图片速率的消息message，摄像机一旦接收到message，就将速率提升到10帧/s，重复上述步骤，如果仍被认定输入图片可能是静态的，再次发message通知摄像头把图片速率提升到20帧/s，重复上述步骤。如果在3秒时间内仍认定图片可能是静态的，那么可以肯定输入的是静态图片，非活体。因为本发明申请采用的微表情识别技术能准确识别42种微弱表情，在3秒时间内，就算人脸保持静止，即使不刻意做动作，微表情仍是多变的，如果微表情匹配度达到80％以上，就可以认定非活体。这里值得一提的是，帧率最初设置为4帧/s，然后逐步提高到10帧/s、20帧/s，并非是达到20帧/s还要发message。另外提升帧率的原因是：帧率低，每一秒判断的图片数少，所以需要提高帧率来做进一步更准确的判断。此外，如果一开始就按照20帧/s的帧率来判断，这样会造成系统的运算负担，只有在出现疑似静态图片时才需要提升帧率来判断。

有些人为了制造微表情的变化和头部动作等假象，通过采用环境光线变化、晃动图片、遮挡图片等方式来实现，前后左右平移晃动图片，基本不会改变置信度confidence和微表情分类值；小幅度改变光线不会影响置信度confidence和微表情分类值，但是大幅度改变光线会干扰到人脸识别，使得置信度confidence无法维持在0.85以上；遮挡图片虽然能改变微表情分类值，但是无法使confidence保持在0.85以上。即使人为制造上述假象，也无法实现在1/4s-1/25s这么短时间内制造变化，频繁的动作也使得抓拍的人脸不清晰，置信度不能在0.85以上。

活体检测通过的标准：让被摄人保持正脸面对摄像头，人脸识别后置信度在0.85以上，微表情识别后情绪分类值相同的比例占80％以下。

3.反人脸视频欺诈检测

如图3和图5所示，当摄像头捕获的人脸图片成功通过静态图片检测后，就进入反人脸视频检测流程。图5中的“m”表示帧率，索引值i是指图片计数。系统在随后0-2秒内随机触发系统发出声响，人在遇到有效刺激(声响)后，第一反应是惊讶，之后迅速恢复常态(无表情状态)或转换为其他表情，所以系统在触发声响的同时，会以不低于20帧/s的速率分析发生声响后一秒内的被摄人表情，首先的表情肯定是惊讶，而且根据心理学的严格定义，真实的惊讶维持时间至少为1/4s(即至少前5个微表情是惊讶)，且不会超过1s(即最多前20个微表情是惊讶)，如果前5个微表情不是惊讶的话，即可判定为人脸视频，超过1s的惊讶是伪装的惊讶，系统不但判断是否发生惊讶，还判断是否是伪装的惊讶。由于惊讶的时间很短，所以人为制造惊讶表情是很难的，而且还是随机触发声响，这样很难伪装视频。若前25个微表情分类值中惊讶表情占比没有低于80％的话，则判定为伪装表情，反之则反人脸视频通过，进入反3D面具欺诈检测。

4.反3D面具欺诈检测

完成反人脸视频检测后，就进入反3D面具检测。

如图3和图6所示，3D面具虽然能够模拟出表情，但无法实现微表情，也就是说3D面具模拟的表情基本是固定的，所以仍采用不低于20帧/s的速率来分析微表情。系统在0-2秒内随机触发声响装置发出声响(即反人脸视频欺诈检测中所触发的声响)，之后开始统计1秒时间内截取的20张人脸图片，并对每张图片进行表情分析，然后对一秒内20张图片的表情结果进行统计，如果1s时间内微表情分类值相同比例占据80％以上，则可认定带有3D面具；另外，正常活体人在听见突然发生的声响会首先作出惊讶的表情，所以如果前5个表情值不是惊讶，那么可以判断为3D面具，如果1s时间内20张图片都是惊讶，那也是伪装的惊讶，同样判断为3D面具。

最后，本发明需指出，利用本发明提出的基于微表情识别和无感人脸识别的静默活体检测方法，用户使用可以根据自己的需要对置信度和相同微表情分类值的占比进行适当调整，如当进行“刷脸”支付、“刷脸”执法等关系到人身财产及人身安全的时候，可适当提高阀值，从而提高人脸防伪的准确率。

以上所述的实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于微表情识别和无感人脸识别的静默活体检测方法，其特征在于，该静默活体检测方法包括人脸识别检测和活体检测两个部分，所述活体检测部分包括人脸静态图片检测、人脸视频检测和3D面具检测三个过程，具体步骤如下：

步骤1.对采集的目标人脸进行人脸识别检测，判断所采集的目标人脸是否存储于人脸数据库，如果目标人脸通过人脸识别检测，则进入步骤2的活体检测；

步骤2.对通过人脸识别检测的目标人脸进行人脸静态图片检测，判断该目标人脸是否有微表情变化，如果目标人脸有微表情变化，则通过人脸静态图片检测，进入步骤3；

步骤3.对通过人脸静态图片检测的目标人脸进行人脸视频检测，判断该目标人脸是否会在外界突然刺激下产生相对应的微表情变化，如果目标人脸出现相对应的微表情变化，则通过人脸视频检测，进入步骤4；

步骤4.对通过人脸视频检测的目标人脸进行3D面具检测，判断该目标人脸在1s内微表情分类值相同比例占比是否超过某一阀值，如果超过，则判定为目标人脸带有3D面具，否则，则认为所采集的目标人脸是真实有效的人脸；

只有目标人脸同时通过步骤1至步骤4才被认定为真实有效的人脸；

所述的步骤1进一步包括：

步骤101.用户将自己的图片上传至人脸和表情识别服务器进行注册，人脸和表情识别服务器会自动从整张图片中截取人脸图片，从截取的人脸图片中提取人脸特征值并存入人脸数据库中，该人脸图片为预存入人脸；

步骤102.将前端摄像头实时采集到的人脸图片送入人脸和表情识别服务器，并提取所采集目标人脸的特征值；

步骤103.人脸和表情识别服务器根据人脸特征值在人脸数据库中匹配出与该目标人脸置信度最高的预存入人脸，若置信度低于某一阀值，说明摄像头面前的人不是人脸数据库里预存入的用户，结束检测，否则，进入活体检测；

所述的步骤2进一步包括：

步骤201.人脸和表情识别服务器识别所采集目标人脸微表情分类值，其中微表情分类值是根据人脸特征值识别的；

步骤202.对所有采集的目标人脸的置信度进行求和及取平均值计算；

步骤203.对所有采集目标人脸的微表情分类值进行统计；

若置信度和的平均值大于某一阀值，且相同微表情分类值占比超过某一阀值，说明摄像头采集的人脸图片来自于静态图片，否则，通过人脸静态图片检测；

所采集的目标人脸是摄像头按照不低于4帧/s的速率来抓取的人脸图片，

所述的步骤3进一步包括：

步骤301，在通过人脸静态图片检测后的某个时间点随机触发声响装置；

步骤302，将此时采集的目标人脸送入人脸和表情识别服务器，并对目标人脸微表情分类值进行识别；

步骤303，人脸和表情识别服务器对目标人脸微表情分类值进行统计；

若惊讶表情维持的时间超过1s，则判定为伪装的表情；若维持惊讶表情的时间不少于1/4s，且不会超过1s，则通过人脸视频检测。

2.根据权利要求1所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其特征在于，所采集的目标人脸是摄像头按照不低于20帧/s的速率来抓取的人脸图片。

3.根据权利要求1所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其特征在于，所述步骤301的优选方案为在通过人脸静态图片检测后的瞬间触发声响装置。

4.根据权利要求1所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其特征在于，所述的某一阀值都根据实际情况进行调整。

5.根据权利要求1所述的一种基于微表情识别和无感人脸识别的静默活体检测方法，其特征在于，所述的人脸数据库位于人脸和表情识别服务器内。

Images