CN109670413B - 人脸活体验证方法及装置 - Google Patents

Abstract

本公开提出一种人脸活体验证方法及装置、计算机可读存储介质及电子设备，其中该人脸活体验证方法包括：获取包括待验证人脸的图像视频；通过基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率；基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果。本公开的人脸活体验证方法通过基于深度学习的活体验证模型，可以预测图像视频中的待验证人脸是否活体。

Description

人脸活体验证方法及装置

背景技术

随着科技的发展和近几年生物识别技术领域内一些技术的逐渐成熟，生物识别(认证)技术逐渐被广泛应用。生物识别技术是指基于人体的一些生物特征，包括生理特征和行为特征来识别、判别个体身份的一种技术。目前该技术在应用方面主要依靠识别生理特征，通常包括人脸识别、指纹或掌纹识别、虹膜识别等。

目前，人脸识别被广泛应用于日常生活的各个领域。人脸识别具有有效性及便利性的优势，然而假冒攻击一直是人脸识别系统的一个重大威胁。例如，对于人脸识别系统，攻击者可以使用人脸照片、人脸视频等来进行身份仿冒。

随着人脸识别技术的应用愈加广泛，系统安全性问题日益凸显出来，越来越被研究人员广泛关注。尤其是在一些对安全要求高的场景中(例如政府、金融等相关领域)，不但需要识别出镜头前人脸的ID(identification，身份标识)，同时还需要判断镜头前的人脸是否为真人。判断镜头前的人脸是否为真人所涉及的技术称之为人脸活体验证。活体检测可以保证人脸信息的获取对象是生物活体，从而可以抵御各种复制人脸样本，例如人脸照片、人脸视频等对人脸识别系统的攻击。

目前的解决方案主要分为两种。

第一种方案是采用动态交互验证方式，即用户需要根据系统指示做出相应动作，譬如眨眼、张嘴、读文字/数字、转头、点头等。

第二种方案是采用结构光进行人脸活体验证。结构光人脸活体验证方案，通过结构光摄像头发出间隔一致的条纹状光线，通过检测反射的光线来判断镜头前的人脸是否为活体。具体地，由于人脸的3D结构使得反射回的条纹状光线必然发生间隔不一致的情况；而照片/屏幕等设备由于是平面，其反射回来的结构光间隔一致，这样即可区分出镜头前的人脸是否为活体。

在上述两种方案中，动态交互验证需要用户配合，在某些情况下会严重影响用户体验。譬如张嘴、大幅度转头以及发出声音等在一定程度上会使用户尴尬。更重要的是，在政府应用场景中，一些老年用户不能熟练操作手机，难以对动态交互验证中的提示完成相应的动作，使得屡次验证均不能通过。其次，这种验证方式容易受到视频攻击，即攻击者事先按照要求动作录制好一段视频即可顺利通过动态交互验证。

而结构光人脸活体验证方案需要专门配备具有结构光功能的专用摄像头，在移动端，目前市场上只有高端手机(如iPhone X等)配备这种专用摄像头，这个要求限制了使用这种人脸活体验证方案的用户的数量并增加了用户成本。

因此，相关技术中的人脸活体验证方案均存在一些缺陷，有些需要特殊设备支持，还有些方法用户体验不好，难以满足各种复杂场合的实际应用要求，易用性和可靠性方面有待提高。

同时，目前公开的人脸活体训练数据采集方案多见于实验室环境，其所包含的负样本(即攻击图像)体量较小并且多样性不足，无法满足训练用于实际场景中的深度学习网络的需求。

因此，存在对人脸活体验证方法进行改进的需求。

发明内容

本公开的一个目的在于克服现有的人脸活体验证方法需要用户配合或者需要特殊设备支持的技术问题。

根据本公开的一个方面，提供一种人脸活体验证方法，包括：获取包括待验证人脸的图像视频；通过基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率；基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果。

在本公开的一种示例性实施例中，基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果，包括：统计目标图像帧中活体概率超过第一阈值的目标图像帧数量；若所述目标图像帧数量超过第二阈值，则所述验证结果为所述待验证人脸为活体。

在本公开的一种示例性实施例中，还包括：对所述图像视频进行解帧操作，转换为第一数量的图像帧；对所述第一数量的图像帧进行抽取，获取第二数量的目标图像帧。

在本公开的一种示例性实施例中，对所述第一数量的图像帧进行抽取，获取第二数量的目标图像帧，包括：对所述第一数量的图像帧采用等时间间隔抽取，以获得所述第二数量的目标图像帧；或者采用图像识别方法从所述第一数量的图像帧中抽取所述第二数量的目标图像帧。

在本公开的一种示例性实施例中，还包括：采集正负样本训练数据；利用所述正负样本训练数据训练所述活体验证模型。

在本公开的一种示例性实施例中，采集所述负样本训练数据包括：通过不同配置参数的第一拍摄设备采集活体人脸视频；将所述活体人脸视频采用不同配置参数的翻拍设备进行至少一次翻拍，生成非活体人脸数据；利用第二拍摄设备拍摄所述非活体人脸数据，获取所述负样本训练数据。

在本公开的一种示例性实施例中，所述第一拍摄设备与所述翻拍设备、所述第二拍摄设备是物理上分离的硬件设备。

在本公开的一种示例性实施例中，各第一拍摄设备包括至少一个摄像头，所述不同配置参数的第一拍摄设备中的摄像头参数不同。

根据本公开的另一方面，提出一种人脸活体验证装置，所述装置包括：图像视频获取模块，配置为获取包括待验证人脸的图像视频；活体概率预测模块，配置为通过基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率；人脸活体验证模块，配置为基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果。

根据本公开的又一方面，提出一种计算机可读存储介质，其上存储有包括可执行指令的计算机程序，所述可执行指令被处理器执行时，实施根据如上所述的人脸活体验证方法。

根据本公开的再一方面，提出一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的人脸活体验证方法的步骤。

通过本公开一些实施例所提供人脸活体验证方法及装置、计算机可读存储介质及电子设备，通过训练一个基于深度学习的活体验证模型来识别待验证人脸是否为活体，一方面，本发明实施例提出的人脸活体验证方法不需要用户配合进行动作交互，大大提高了人脸活体验证方法的适用场景及用户体验；另一方面，本发明实施例提供的人脸活体验证方法可以使用常用移动终端摄像头即可满足人脸活体验证的要求，不需要用户购买额外部件，具有低成本的优点。

此外，通过本公开另一些实施例所提供的人脸活体验证方法及装置、计算机可读存储介质及电子设备，通过不同摄像配置参数的第一拍摄设备和不同硬件配置参数的翻拍设备采集，可以保证采集的负样本训练数据的多样性，从而使得利用该正负样本训练数据训练的活体验证模型可以用于静默人脸活体验证的应用场景。

附图说明

通过参照附图详细描述其示例性实施例，本公开的上述和其它特征及优点将变得更加明显。

图1为根据本公开实施例的人脸活体验证方法的应用场景示意图；

图2为根据本公开一实施例的人脸活体验证方法的示例性流程图；

图3为根据本公开另一实施例的人脸活体验证方法的示例性流程图；

图4为根据本公开又一实施例的人脸活体验证方法的示例性流程图；

图5为根据本公开一实施例的VGG-16深度学习网络的结构示意图；

图6为根据本公开再一实施例的人脸活体验证方法的示例性流程图；

图7示出了图6中所示的步骤S610在一实施例中的处理过程示意图；

图8为根据本公开一实施例的正负样本采集的示例性示意图；

图9为根据本公开一实施例的人脸活体验证装置的示例性结构图；

图10为根据本公开另一实施例的人脸活体验证装置的示例性结构图；

图11为根据本公开实施例的电子设备的示意性结构图。

具体实施方式

现在将参考附图更全面地描述示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本公开将全面和完整，并将示例性实施例的构思全面地传达给本领域的技术人员。在图中，为了清晰，可能会夸大部分元件的尺寸或加以变形。在图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、元件等。在其它情况下，不详细示出或描述公知结构、方法或者操作以避免模糊本公开的各方面。

根据本公开实施例的人脸活体验证方法及装置可以应用于日常生活的各个领域，例如政府、金融等相关领域，不但可以用于识别出镜头前人脸的ID，还可以判断镜头前的人脸是否为真人活体，或者是人脸照片、人脸视频等攻击手段。

图1示出本公开的人脸活体验证方案的应用场景示意图。用户101的移动设备102，或者用户103的终端设备104在安装应用程序(Application，简称APP)时，访问服务器105以获取安装文件。

在本公开中，移动设备102包括但不限于移动电话、个人数字助理PDA、平板设备PAD、上网本以及笔记本电脑等。移动设备102与服务器105可经由无线或有线网络进行通信。服务器105可以是本地或远程的单个服务器或服务器群。例如，移动设备102为智能手机，其上运行诸如安卓(Android)或苹果(iOS)的智能手机操作系统。当移动设备102为运行安卓系统的智能手机时，应用程序为手机应用，其一般以APK安装文件的形式在移动设备102和服务器105之间传输。当移动设备102为运行iOS系统的苹果iphone手机时，应用程序以苹果的App store上的APP安装文件形式在移动设备102和APP服务器之间传输。本公开的移动设备102还可以运行诸如Window Phone、Symbian、Blackberry等其它操作系统。

本公开实施例中，服务器105可以是云端服务器，用户101使用移动设备102拍摄获取人脸视频或者照片，并将该人脸视频或者照片上传到服务器105，在服务器105端进行人脸活体验证并进行下一步操作。或者，用户101也可以在移动设备102上安装可以用于人脸活体验证的应用程序APP，用户101使用移动设备102拍摄获取人脸视频或者照片，并在移动设备102上进行人脸活体验证，然后可以将验证结果提交至服务器105端进行下一步操作。即本公开实施例可以提供基于云端或者基于终端的人脸活体验证服务，可以被广泛地应用在政府、金融等各个领域。

图2为根据本公开一实施例的人脸活体验证方法的示例性流程图。本公开实施例提供的人脸活体验证方法的步骤可以由图1中的移动设备101和/或服务器105来执行。

如图2所示，本公开实施方式提供的人脸活体验证方法可以包括以下步骤。

在步骤S210中，获取包括待验证人脸的图像视频。

在步骤S220中，通过基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率。

在步骤S230中，基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果。

本公开实施方式提供的人脸活体验证方法，基于深度学习的活体验证模型，来识别待验证人脸是否为活体，一方面，提高了人脸检测的速度，计算量小，且使得本公开实施例提供的人脸活体验证方法不需要用户配合进行动作交互，大大提高了人脸活体验证方法的适用场景及用户体验；另一方面，不用借助特殊的硬件设备就能够自行进行人脸活体验证，即本公开实施例提供的人脸活体验证方法可以使用常用移动设备或者终端设备的普通摄像头即可满足人脸活体验证的要求，不需要用户购买额外部件，具有低成本的优点。

图3为根据本公开另一实施例的人脸活体验证方法的示例性流程图。本公开实施例提供的人脸活体验证方法的步骤可以由图1中的移动设备101和/或服务器105来执行。

本公开实施例中，通过采集的正负样本训练数据，训练一个基于深度学习的活体验证模型，并根据所述活体验证模型输出的结果来判断当前输入的图像视频是否为人脸活体。

如图3所示，本公开实施方式提供的人脸活体验证方法可以包括以下步骤。

在步骤S301中，获取包括待验证人脸的图像视频。

本公开实施例中，可以将用户的移动设备采集的图像视频上传至服务器，或者直接保存到移动设备本地。

在步骤S302中，对所述图像视频进行解帧操作，转换为第一数量的图像帧。

本公开实施例中，可以利用ffmpeg(Fast Forward Moving Picture ExpertsGroup，快速前向动态专家图像组)软件等对所述图像视频进行解帧操作，将所述图像视频转化为第一数量的图像帧。

在步骤S303中，对所述第一数量的图像帧进行抽取，获取第二数量的目标图像帧。

在示例性实施例中，对所述第一数量的图像帧进行抽取，获取第二数量的目标图像帧，可以包括：对所述第一数量的图像帧采用等时间间隔抽取，以获得所述第二数量的目标图像帧；或者采用图像识别方法从所述第一数量的图像帧中抽取所述第二数量的目标图像帧。

本公开实施例中，可以对解帧操作后的第一数量的图像帧进行抽帧，即在所述图像视频中抽取一定数量的目标图像帧。接着对每个视频均匀地抽取12帧以备后续处理。

在一些实施例中，可以对所述图像视频均匀地抽取第二数量的目标图像帧以备后续处理，即可以所述图像视频等间隔抽帧，例如等间隔地抽取12帧。

在另一些实施例中，还可以根据其他图像识别方法(例如，显著性检测等方法)抽取数张视频关键帧等作为所述目标图像帧。

需要说明的是，具体抽取的目标图像帧的数量本公开对其不作限定，可以根据具体的应用场景和实际需求而定，通常，抽帧的目标图像帧数量越多，后续人脸活体验证的结果越准确，但同时运算量越大。在其他实施例中，也可以对所述第一数量的图像帧不进行抽帧操作，即也可以将所有的图像帧作为目标图像帧。

在步骤S304中，依次将每一帧目标图像帧输入至训练好的基于深度学习的活体验证模型中，获取每一帧目标图像帧的活体概率。

本公开实施例中，将上述步骤抽取的目标图像帧送入训练好的基于深度学习的活体验证模型，来判断每一帧目标图像帧为人脸活体的置信度即活体概率，最终可以通过每一帧目标图像帧的活体概率来判断输入的图像视频整体是否为人脸活体。

本公开实施例中，所述基于深度学习的活体验证模型可以是一个二分类深度学习模型例如VGG-16深度学习网络，可以将其用于单帧目标图像帧的人脸活体验证，最终根据单帧目标图像帧的人脸活体验证结果来判断输入的图像视频为真实活体人脸或者翻拍攻击。

在步骤S305中，统计所述目标图像帧中活体概率超过第一阈值的目标图像帧数量。

例如，所述第一阈值可以为50％。但本公开并不限定于此。

在步骤S306中，判断所述目标图像帧中活体概率超过所述第一阈值的目标图像帧数量是否超过第二阈值；若超过所述第二阈值，则跳转到步骤S308；若未超过所述第二阈值，则进入步骤S307。

例如，所述第二阈值可以为50％。但本公开并不限定于此。

需要说明的是，所述第一阈值和所述第二阈值均可以根据具体应用场景的不同来调整和设计。例如，在金融、政府等对安全性要求很高的场景中，可以将所述第一阈值和所述第二阈值设置的较高，例如第一阈值和第二阈值均设置为90％。再例如，在门禁等对安全性要求中等的场景中，可以将所述第一阈值和所述第二阈值设置的中等，例如第一阈值为60％，第二阈值为70％。这样，通过调整第一阈值和/或第二阈值，可以满足不同应用场景中多样化的安全性需求。

在步骤S307中，判断所述待验证人脸为非活体。

在步骤S308中，判断所述待验证人脸为活体。

图4为根据本公开又一实施例的人脸活体验证方法的示例性流程图。本公开实施例提供的人脸活体验证方法的步骤可以由图1中的移动设备101和/或服务器105来执行。

如图4所示，本公开实施方式提供的人脸活体验证方法可以包括以下步骤。

在步骤S401中，获取M帧目标图像帧中的每一帧的活体概率。其中，M为大于等于1的正整数。

在步骤S402中，将i初始化为1。

在步骤S403中，判断第i目标图像帧的活体概率是否大于第一阈值；若第i目标图像帧的活体概率大于所述第一阈值，则进入步骤S404；若第i目标图像帧的活体概率小于等于所述第一阈值，则跳转到步骤S405。

在步骤S404中，将活体概率超过所述第一阈值的目标图像帧数量累加1。

在步骤S405中，使得i累加1。

在步骤S406中，判断i是否大于M；若i大于M，则进入步骤S407；若i小于等于M，则跳回到上述步骤S403，循环执行步骤S403-406，直至i大于M。

在步骤S407中，判断所述M帧目标图像帧中活体概率超过所述第一阈值的目标图像帧数量超过第二阈值；若超过所述第二阈值，则进入步骤S409；若未超过所述第二阈值，则进入步骤S408。

在步骤S408中，判断所述待验证人脸为非活体，拒绝通过。

在步骤S409中，判定所述待验证人脸为活体，允许通过。

本公开实施例中，训练好的基于深度学习的活体验证模型可以输出单帧目标图像帧是否为人脸活体的活体概率，例如，若当前目标图像帧的活体概率超过50％，即可以认为该当前目标图像帧为真人活体人脸，否则其为攻击图像帧。之后，可以将每一帧目标图像帧的判断结果进行统计，通过自定义的第二阈值(可根据应用场景对安全性的需求灵活设置)来判断整个输入的图像视频是否为真人活体人脸视频。

需要说明的是，根据每一帧目标图像帧的活体概率来判断所述图像视频是否为活体人脸的方法并不限于上述图3中所举的示例性方法，例如，在其他实施例中，还可以将每一帧目标图像帧的活体概率进行求算术平均值，例如假设有3帧目标图像帧，第一目标图像帧的活体概率为80％，第二目标图像帧的活体概率为30％，第三目标图像帧的活体概率为60％，则最后求得的算术平均值为(80％+70％+60％)/3＝70％，该算术平均值若超过设定的第二阈值，则可以判定所述图像视频为活体人脸；该算术平均值若未超过所述第二阈值，则可以判定所述图像视频为攻击视频。

图5为根据本公开一实施例的VGG-16深度学习网络的结构示意图。

如图5所示，为VGG-16深度学习网络结构，其中第一层用于输入图像；第二层为：3*3(表示卷积核大小)卷积，64(表示输出通道的个数)；第三层为：3*3卷积，64；第四层为：最大值池化；第五层为：3*3卷积，128；第六层为：3*3卷积，128；第七层为：最大值池化；第八层为：3*3卷积，256；第九层为：3*3卷积，256；第十层为：最大值池化；第十一层为：3*3卷积，512；第十二层为：3*3卷积，512；第十三层为：3*3卷积，512；第十四层为：最大值池化；第十五层为：3*3卷积，512；第十六层为：3*3卷积，512；第十七层为：3*3卷积，512；第十八层为：最大值池化；第十九层为：全连接4096(表示输出通道的个数)；第二十层为：全连接4096；第二十一层为：全连接2；第二十二层为：Softmax。

具体地，先将所有的目标图像帧缩放到224*224(像素)的大小，然后将缩放后的目标图像帧作为VGG-16深度学习网络的输入，经过一系列卷积Convolution)、线性整流激活(ReLU Activation)、全连接(Fully-Connected)、以及Softmax等操作，深度学习网络输出该输入的目标图像帧是活体真人还是攻击样本的概率。

需要说明的是，本公开实施例中的深度学习网络结构不限于图8所示的VGG-16深度学习网络结构。

本公开实施方式提供的人脸活体验证方法，通过训练一个神经网络分类器来识别镜头前的人脸是否为其他媒介(例如，屏幕，包括图片/视频；或者纸张，包括照片/打印纸/身份证等)所播放的画面来判断其是否为活体人脸，其训练的基于深度学习的活体验证模型通过学习其他媒介播放的画面与真实活体人脸的区别来进行活体人脸验证，即训练了一个高精度的基于深度学习的静默人脸活体验证模型，因此，一方面，本发明实施例提出的人脸活体验证方法不需要用户配合进行动作交互，大大提高了适用场景及用户体验。另一方面，本发明实施例提出的人脸活体验证方法还具有低成本的优点，使用常用例如手机摄像头即可满足本发明实施例提供的人脸活体验证的要求，不需要用户购买额外部件。

图6为根据本公开再一实施例的人脸活体验证方法的示例性流程图。本公开实施例的提供的人脸活体验证方法例如可以通过图1中的服务器105来执行，但本公开并不限定于此。

如图6所述，本公开实施方式提供的人脸活体验证方法可以包括以下步骤。

在步骤S610中，采集正负样本训练数据。

在步骤S620中，利用所述正负样本训练数据训练基于深度学习的活体验证模型。

图7示出了图6中所示的步骤S610在一实施例中的处理过程示意图。

如图7所示，所述步骤S610可以进一步包括以下步骤。

在步骤S611中，通过不同配置参数的第一拍摄设备采集活体人脸视频。

本公开实施例中，所述活体人脸视频是指通过所述第一拍摄设备直接拍摄获得包括真人活体的人脸的视频，这里的真人活体的人脸是相对于包括人脸的照片、视频、图像等非真人活体的人脸而言的。

在示例性实施例中，各第一拍摄设备可以包括至少一个摄像头，所述不同配置参数的第一拍摄设备主要是指各第一拍摄设备中的摄像头参数不同。但本公开并不限定于此，也可以是各第一拍摄设备的其他硬件或者软件或者固件的配置参数不同。

在示例性实施例中，所述不同配置参数的第一拍摄设备可以包括机器类型、操作系统、产品型号、配置规格等中的任意一种或者多种不同的硬件设备。

在步骤S612中，将所述活体人脸视频采用不同配置参数的翻拍设备进行至少一次翻拍，生成非活体人脸数据。

在示例性实施例中，所述翻拍设备可以包括机器类型、操作系统、产品型号、配置规格、显示屏幕等中的任意一种或者多种不同的硬件设备。

在示例性实施例中，所述机器类型可以包括手机、平板电脑、笔记本电脑、台式机、打印机等中的任意一种或者多种。

在示例性实施例中，所述显示屏幕可以包括retina屏、LCD(Liquid CrystalDisplay，液晶显示)屏、LED(Light Emitting Diode，发光二极管)屏等中的任意一种或者多种。

在示例性实施例中，所述不同硬件配置参数的翻拍设备的镜面反射、色彩失真、摩尔纹、形状畸变参数等中的任意一种或者多种不同。

需要说明的是，同一活体人脸视频可以通过多台翻拍设备进行多次翻拍，例如N次，这里N为大于等于1的正整数。

在步骤S613中，利用第二拍摄设备拍摄所述非活体人脸数据，获取所述负样本训练数据。

在示例性实施例中，所述第一拍摄设备与所述翻拍设备、所述第二拍摄设备是物理上分离的硬件设备。即本公开实施例中，所述第一拍摄设备不同于所述翻拍设备，所述第一拍摄设备也不同于所述第二拍摄设备。

在示例性实施例中，采集所述正样本训练数据，可以包括：将所述第一拍摄设备采集的所述活体人脸视频作为所述正样本训练数据。即本公开实施例中，可以将采集的正样本训练数据进一步通过所述翻拍设备进行翻拍，获得所述非活体人脸数据，之后再通过所述第二拍摄设备对翻拍后的所述非活体人脸数据进行采集，获得所述负样本训练数据。但本公开并不限定于此，在其他实施例中，也可以将所述负样本训练数据和所述正样本训练数据的采集独立开来，例如采用第三拍摄设备采集真人活体的活体人脸视频作为所述正样本训练数据。

本公开实施方式提供的人脸活体验证方法，通过不同摄像配置参数的第一拍摄设备和不同硬件配置参数的翻拍设备采集，可以增大采集的负样本训练数据的体量，并保证采集的负样本训练数据的多样性，从而使得利用该正负样本训练数据训练的活体验证模型可以用于静默人脸活体验证的应用场景，即用户可以不用根据系统提示作出相应的动作即可进行人脸活体验证，极大地扩大了人脸活体验证的应用场景，并提高了用户体验。

图8为根据本公开一实施例的正负样本采集的示例性示意图。

本公开实施例中，人脸活体验证模型的训练数据集可以包括正样本训练数据(即真人活体人脸)和负样本训练数据(即其他设备播放或者翻拍的攻击样本)。

正样本与负样本的关系可以如图8所示，其中，正样本训练数据可以是第一拍摄设备直接拍摄真人活体采集获得，即正样本训练数据是采集设备直接采集得到的。负样本训练数据可以是第一拍摄设备拍摄真人活体后，再经过N个翻拍设备进行N次翻拍，最后由第二拍摄设备拍摄N次翻拍后的人脸视频获得，即负样本训练数据是经过至少一次播放/翻拍后的人脸图像或者视频。

由图8可以看出，正样本为采集设备直接采集到的活体人脸，而如果活体人脸与最终采集设备之间间隔数个翻拍设备，则这些翻拍设备中各翻拍设备呈现的人脸均为负样本。

由图8可知，人脸活体验证模型的训练数据集中的正样本的采集相对较为简单，直接用采集设备采集真人图像即可。本公开实施例中，主要集中在负样本的采集上，即在多样的采集配置下翻拍正样本的视频/照片/图像。由于不同的翻拍/播放设备会有不同的镜面反射、色彩失真、摩尔纹、形状畸变等，并且不同的翻拍/播放设备的翻拍也会造成二次失真。故为了保证负样本的多样性，本公开实施例中对翻拍/播放设备和第一拍摄设备、第二拍摄设备做了分离。

例如，为了满足移动设备端人脸活体验证的要求，可以将翻拍/播放设备与第一拍摄设备分为：

翻拍/播放设备例如可以采用以下中的任意几种或者全部：

(1)iPhone(retina屏)；

(2)iPad；

(3)安卓高端手机(例如，三星galaxy或华为mate手机)；

(4)安卓中端手机(例如，oppo或vivo手机)；

(5)安卓低端手机(例如，红米手机)；

(6)苹果电脑iMac(例如，retina屏)；

(7)普通电脑LCD屏幕；

(8)彩色打印照片(例如，从正样本视频中抽取比较清晰的一帧打印)。

第一拍摄设备、第二拍摄设备例如可以采用以下中的任意几种或者全部：

(1)iPhone前后2个摄像头；

(2)安卓高端手机(例如，三星galaxy或华为mate手机)前后2个摄像头；

(3)安卓中端手机(例如，oppo或vivo手机)前后2个摄像头；

(4)安卓低端手机(例如，红米手机)前后2个摄像头。

需要说明的是，本公开实施例中将第一拍摄设备、第二拍摄设备与翻拍/播放设备(即攻击设备)分离的训练数据采集数据方式不限于上述例举的第一拍摄设备、第二拍摄设备与翻拍/播放设备。

本公开实施方式提供的人脸活体验证方法，采用了一种负样本训练数据的采集方案，通过将第一拍摄设备、第二拍摄设备(即采集设备)与翻拍设备(即攻击设备)分离的方式，并采用不同配置的采集设备与不同配置的翻拍设备，可以满足负样本训练数据采集的多样性，当将采集的正负样本训练数据用于的活体验证模型训练时，由于其训练数据集的多样性，使得训练好的活体验证模型可以准确的学习到其他媒介播放的人脸画面与真人活体人脸的区别，从而可以将该训练好的活体验证模型应用于人脸活体验证，使得实施例中提出的人脸活体验证方法可以不需要用户配合进行动作交互，大大提高了适用场景及用户体验。

本公开实施方式提供的人脸活体验证方法，基于上述实施例采集的多样性的正负样本训练数据来训练一个基于深度学习的活体验证模型，从而可以利用该活体验证模型来识别待验证人脸是否为活体，一方面，使得提供的人脸活体验证方法不需要用户配合进行动作交互，大大提高了人脸活体验证方法的适用场景及用户体验；另一方面，使得实施例提供的人脸活体验证方法可以使用常用移动终端摄像头即可满足人脸活体验证的要求，不需要用户购买额外部件，具有低成本的优点。

下面将详细描述根据本公开实施例的人脸活体验证装置。

图9为根据本公开一实施例的人脸活体验证装置的示例性结构图。

如图9所示，本公开实施方式提供的人脸活体验证装置900可以包括图像视频获取模块910、活体概率预测模型920以及人脸活体验证模块930。

其中，图像视频获取模块910可以配置为获取包括待验证人脸的图像视频。

活体概率预测模型920可以配置为通过基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率。

人脸活体验证模块930可以配置为基于所述目标图像帧的活体概率获取所述图像视频中的待验证人脸是否活体的验证结果。

在示例性实施例中，人脸活体验证装置900还可以包括训练数据获取模块以及模型训练模块。

其中，所述训练数据获取模块可以配置为采集正负样本训练数据。所述模型训练模块可以配置为利用所述正负样本训练数据训练所述活体验证模型。

在示例性实施例中，所述训练数据获取模块可以进一步包括活体人脸视频采集单元、非活体人脸数据采集单元以及负样本获取单元。

其中，所述活体人脸视频采集单元可以配置为通过不同配置参数的第一拍摄设备采集活体人脸视频。所述非活体人脸数据采集单元可以配置为将所述活体人脸视频采用不同配置参数的翻拍设备进行至少一次翻拍，生成非活体人脸数据。所述负样本获取单元可以配置为利用第二拍摄设备拍摄所述非活体人脸数据，获取所述负样本训练数据。

在示例性实施例中，所述第一拍摄设备与所述翻拍设备、所述第二拍摄设备是物理上分离的硬件设备。

在示例性实施例中，各第一拍摄设备包括至少一个摄像头，所述不同配置参数的第一拍摄设备中的摄像头参数不同。

图10为根据本公开另一实施例的人脸活体验证装置的示例性结构图。

如图10所示，本公开实施例提供的人脸活体验证装置1000与上述图9所示实施例提供的人脸活体验证装置900存在以下不同之处，人脸活体验证装置1000还可以包括视频解帧模块1010和图像抽帧模块1020。

其中，视频解帧模块1010可以配置为对所述图像视频进行解帧操作，转换为第一数量的图像帧。

图像抽帧模块1020可以配置为对所述第一数量的图像帧进行抽取，获取第二数量的目标图像帧。

图像抽帧模块1020可以进一步包括：均匀抽帧单元，可以配置为对所述第一数量的图像帧采用等时间间隔抽取，以获得所述第二数量的目标图像帧；或者关键抽帧单元，可以配置为采用图像识别方法从所述第一数量的图像帧中抽取所述第二数量的目标图像帧。

继续参考图10，人脸活体验证模块930还可以包括活体图像统计单元931以及人脸活体验证单元932。

其中，活体图像统计单元931可以配置为统计目标图像帧中活体概率超过第一阈值的目标图像帧数量。

人脸活体验证单元932可以配置为若所述目标图像帧数量超过第二阈值，则所述验证结果为所述待验证人脸为活体。

应当注意，尽管在上文详细描述中提及了人脸活体验证装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包括可执行指令，该可执行指令被例如处理器执行时可以实现上述任意一个实施例中所述人脸活体验证方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书人脸活体验证方法中描述的根据本公开各种示例性实施例的步骤。

根据本公开的实施例的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中的人脸活体验证方法的步骤。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图11来描述根据本公开的这种实施方式的电子设备700。图11显示的电子设备700仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：至少一个处理单元710、至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730、显示单元740等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书用于人脸活体验证方法中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元710可以执行如图2至图7中所示的步骤。

所述存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(ROM)7203。

所述存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的人脸活体验证方法。

本领域技术人员在考虑说明书及实践这里公开的方案后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (4)

1.一种人脸活体验证方法，其特征在于，包括：

通过不同配置参数的第一拍摄设备采集活体人脸视频，并将所述第一拍摄设备采集的所述活体人脸视频作为正样本训练数据，各第一拍摄设备包括至少一个摄像头，所述不同配置参数的第一拍摄设备中的摄像头参数不同，所述不同配置参数的第一拍摄设备包括机器类型、操作系统、产品型号、配置规格中的任意一种或者多种不同的硬件设备；

将所述活体人脸视频采用不同配置参数的翻拍设备进行至少一次翻拍，生成非活体人脸数据，所述不同配置参数的翻拍设备包括机器类型、操作系统、产品型号、配置规格、显示屏幕中的任意一种或者多种不同的硬件设备，所述不同配置参数的翻拍设备的镜面反射、色彩失真、摩尔纹、形状畸变参数中的任意一种或者多种不同；

利用第二拍摄设备拍摄所述非活体人脸数据，获取负样本训练数据，所述第一拍摄设备与所述翻拍设备、所述第二拍摄设备是物理上分离的硬件设备；

利用所述正样本训练数据和所述负样本训练数据训练基于深度学习的活体验证模型；

获取包括待验证人脸的图像视频；

对所述图像视频进行解帧操作，转换为第一数量的图像帧；

采用显著性检测方法从所述第一数量的图像帧中抽取第二数量的目标图像帧；

通过所述基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率；

基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果，包括：统计目标图像帧中活体概率超过第一阈值的目标图像帧数量；若所述目标图像帧数量超过第二阈值，则所述验证结果为所述待验证人脸为活体。

2.一种人脸活体验证装置，其特征在于，包括：

训练数据获取模块，配置为通过不同配置参数的第一拍摄设备采集活体人脸视频，并将所述第一拍摄设备采集的所述活体人脸视频作为正样本训练数据，各第一拍摄设备包括至少一个摄像头，所述不同配置参数的第一拍摄设备中的摄像头参数不同，所述不同配置参数的第一拍摄设备包括机器类型、操作系统、产品型号、配置规格中的任意一种或者多种不同的硬件设备；将所述活体人脸视频采用不同配置参数的翻拍设备进行至少一次翻拍，生成非活体人脸数据，所述不同配置参数的翻拍设备包括机器类型、操作系统、产品型号、配置规格、显示屏幕中的任意一种或者多种不同的硬件设备，所述不同配置参数的翻拍设备的镜面反射、色彩失真、摩尔纹、形状畸变参数中的任意一种或者多种不同；利用第二拍摄设备拍摄所述非活体人脸数据，获取负样本训练数据，所述第一拍摄设备与所述翻拍设备、所述第二拍摄设备是物理上分离的硬件设备；

模型训练模块，配置为利用所述正样本训练数据和所述负样本训练数据训练基于深度学习的活体验证模型；

图像视频获取模块，配置为获取包括待验证人脸的图像视频；

视频解帧模块，配置为对所述图像视频进行解帧操作，转换为第一数量的图像帧；

图像抽帧模块，配置为采用显著性检测方法从所述第一数量的图像帧中抽取第二数量的目标图像帧；

活体概率预测模块，配置为通过所述基于深度学习的活体验证模型，获取所述图像视频中的目标图像帧的活体概率；

人脸活体验证模块，配置为基于所述目标图像帧的活体概率获取所述待验证人脸是否活体的验证结果，所述人脸活体验证模块包括：活体图像统计单元，配置为统计目标图像帧中活体概率超过第一阈值的目标图像帧数量；人脸活体验证单元，配置为若所述目标图像帧数量超过第二阈值，则所述验证结果为所述待验证人脸为活体。

3.一种计算机可读存储介质，其上存储有包括可执行指令的计算机程序，所述可执行指令被处理器执行时，实施根据权利要求1所述的方法。

4.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行根据权利要求1所述的方法的步骤。

Images