CN113361349B - 人脸活体检测方法、装置、电子设备和存储介质 - Google Patents

人脸活体检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113361349B
CN113361349B CN202110573893.9A CN202110573893A CN113361349B CN 113361349 B CN113361349 B CN 113361349B CN 202110573893 A CN202110573893 A CN 202110573893A CN 113361349 B CN113361349 B CN 113361349B
Authority
CN
China
Prior art keywords
image
face
color
living body
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110573893.9A
Other languages
English (en)
Other versions
CN113361349A (zh
Inventor
王珂尧
陆杰
李云昊
岳海潇
冯浩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110573893.9A priority Critical patent/CN113361349B/zh
Publication of CN113361349A publication Critical patent/CN113361349A/zh
Priority to KR1020220033216A priority patent/KR20220042316A/ko
Priority to JP2022043293A priority patent/JP7334292B2/ja
Priority to EP22169131.4A priority patent/EP4024352B1/en
Priority to US17/664,268 priority patent/US20220343680A1/en
Application granted granted Critical
Publication of CN113361349B publication Critical patent/CN113361349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Abstract

本公开提供一种人脸活体检测方法、装置、电子设备和存储介质，涉及计算机视觉和深度学习技术领域等人工智能技术领域，可应用于智慧城市和智慧金融场景下。具体实现方案为：获取颜色序列验证码；控制电子设备屏幕依次产生相应颜色，并控制电子设备的摄像头采集在相应颜色下目标对象面部的图像，获得目标对象在不同颜色下的图像序列；根据目标对象在不同颜色下的图像序列对目标对象进行人脸活体验证，获得活体分数值；根据目标对象在不同颜色下的图像序列获取图像序列各自颜色所对应的差分图，并根据颜色序列验证码和图像序列各自颜色所对应的差分图进行颜色验证；根据活体分数值和颜色验证结果，确定目标对象的最终人脸活体检测结果。

Description

人脸活体检测方法、装置、电子设备和存储介质
技术领域
本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，尤其涉及一种人脸活体检测方法、装置、电子设备和存储介质，可应用于智慧城市和智慧金融场景下。
背景技术
人脸活体检测即区分一张图像是否为真人拍摄，是人脸识别系统的基础组成模块，保证人脸识别系统的安全性。使用深度学习技术的人脸活体检测算法是当前该领域的主流方法，相比传统算法在精度上有大幅提升。
然而，在一些应用场景中，基于深度学习的人脸活体算法存在泛化性差，对于未知的攻击样本及方式效果下降等的问题，影响实际应用性能。
发明内容
本公开提供了一种应用于智能城市和智能金融场景下的人脸活体检测方法、装置、电子设备以及存储介质。
根据本公开的第一方面，提供了一种人脸活体检测方法，包括：
获取颜色序列验证码；
基于所述颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制所述电子设备的摄像头采集在所述相应颜色下目标对象面部的图像，获得所述目标对象在不同颜色下的图像序列；
根据所述目标对象在不同颜色下的图像序列对所述目标对象进行人脸活体验证，获得活体分数值；
根据所述目标对象在不同颜色下的图像序列获取所述图像序列各自颜色所对应的差分图，并根据所述颜色序列验证码和所述图像序列各自颜色所对应的差分图进行颜色验证；
根据所述活体分数值和颜色验证结果，确定所述目标对象的最终人脸活体检测结果。
根据本公开的第二方面，提供了一种人脸活体检测装置，包括：
获取模块，用于获取颜色序列验证码；
控制模块，用于基于所述颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制所述电子设备的摄像头采集在所述相应颜色下目标对象面部的图像，获得所述目标对象在不同颜色下的图像序列；
人脸活体验证模块，用于根据所述目标对象在不同颜色下的图像序列对所述目标对象进行人脸活体验证，获得活体分数值；
颜色验证模块，用于根据所述目标对象在不同颜色下的图像序列获取所述图像序列各自颜色所对应的差分图，并根据所述颜色序列验证码和所述图像序列各自颜色所对应的差分图进行颜色验证；
确定模块，用于根据所述活体分数值和颜色验证结果，确定所述目标对象的最终人脸活体检测结果。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面实施例所述的人脸活体检测方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面实施例所述的人脸活体检测方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述第一方面实施例所述的人脸活体检测方法。
根据本公开的技术方案，通过设置颜色验证码判断输入的图像是否与采集图像一致，提高了整个活体检测流程的安全性，考虑到复杂样本攻击的情况，大大提高了活体检测算法的准确率和泛化性。本公开的技术方案可应用于任一人脸活体检测的深度学习神经网络模型，帮助其提高性能。该技术通过提升人脸活体判断的性能可以应用于人脸识别领域的考勤、门禁、安防、金融支付等诸多应用。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的一种人脸活体检测方法的流程图；
图2是根据本公开实施例的获得活体分数值的流程示意图；
图3是本公开实施例提出的另一种人脸活体检测方法的流程图；
图4是根据本公开实施例的人脸活体检测方法的流程示例图；
图5是根据本公开实施例的电子设备屏幕显示界面的示例图；
图6是本公开实施例提出的一种人脸活体检测装置的结构框图；
图7是本公开实施例提出的另一种人脸活体检测装置的结构框图；
图8是用来实现本公开实施例的人脸活体检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，人脸活体检测即区分一张图像是否为真人拍摄，是人脸识别系统的基础组成模块，保证人脸识别系统的安全性。使用深度学习技术的人脸活体检测算法是当前该领域的主流方法，相比传统算法在精度上有大幅提升。
使用深度学习的人脸活体检测主要方法有卷积神经网络的活体判别，基于LSTM(Long Short-Term Memory，长短期记忆网络)的活体判别等方法。此类方法使用神经网络进行人脸特征提取及分类。深度学习类方法能够提取到稳定性更强的人脸特征，相较于传统方法，在性能上有较大提升。
然而，在一些应用场景中，基于深度学习的人脸活体算法存在泛化性差，对于未知的攻击样本及方式效果下降的问题，影响实际应用性能。由于攻击样本复杂多样，如手机/打印照片的攻击，3D头模攻击等，由于不同材质的攻击道具的反射率与活人皮肤的反射率不同，本公开提出了一种基于炫彩颜色验证的人脸活体检测方法、装置、电子设备和存储介质，通过颜色序列作为验证码，利用设备屏幕打不同颜色的光到人脸，同时设备前置摄像头采集不同颜色下面部的图像，在质量算法筛选质量合格的帧后，利用面部颜色差分算法验证颜色顺序是否与颜色序列验证码一致，再将这些图像作为卷积神经网络的输入，得到最终的活体检测结果。本公开设置颜色验证码判断输入的图像是否与采集图像一致，提高了整个活体检测流程的安全性，考虑到复杂样本攻击的情况，大大提高了活体检测算法的准确率和泛化性。
下面参考附图描述本公开实施例的人脸活体检测方法、装置、电子设备和存储介质。
图1是本公开实施例提供的一种人脸活体检测方法的流程图。如图1所示，该人脸活体检测方法可以包括如下步骤。
在步骤101中，获取颜色序列验证码。
举例而言，在接收到身份认证活体检测请求时，可根据该请求获取颜色序列验证码。作为一种示例，该颜色序列验证码可以是根据该请求而随机生成的。
在步骤102中，基于颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制电子设备的摄像头采集在相应颜色下目标对象面部的图像，获得目标对象在不同颜色下的图像序列。
举例而言，在得到颜色序列验证码之后，可按照颜色序列验证码中所含颜色的顺序，利用电子设备屏幕给目标对象打相应颜色的光，并利用电子设备的前置摄像头采集不同颜色打在目标对象的图像，从而获得目标对象在不同颜色下的图像序列。
为了提高图像指令，在本公开实施例中，在利用前置摄像头采集图像时，可将前置摄像头的亮度调至最亮。或者，在本公开其他实施例中，在利用电子设备屏幕给目标对象打相应颜色的光时，可将屏幕的亮度调至目标亮度。
需要说明的是，为了防止注入型攻击，在本公开一些实施例中，可从服务器中获取颜色序列验证码。也就是说，获取服务器生成的所述颜色序列验证码。举例而言，当接收到身份认证活体检测请求时，可向服务器请求颜色序列验证码。服务器在接收到该请求时，可随机生成颜色序列验证码，并将随机生成的颜色序列验证码发送给电子设备。由此，通过从服务器中获取随机生成的颜色序列验证码，可以防止注入型攻击电子设备而影响人脸活体检测的结果，从而可以提升人脸活体检测算法对注入型攻击样本方式的防御效果。
在步骤103中，根据目标对象在不同颜色下的图像序列对目标对象进行人脸活体验证，获得活体分数值。
可选地，在获得目标对象在不同颜色下的图像序列之后，可利用该图像序列进行人脸活体验证，获得活体分数值，并根据该活体分数值确定该目标对象是否为真人拍摄。例如，该活体分数值大于或等于一定阈值，则确定该目标对象为真人拍摄，当该活体分数值小于该阈值，则确定该目标对象不是真人拍摄，即该目标对象不是活体。
在步骤104中，根据目标对象在不同颜色下的图像序列获取图像序列各自颜色所对应的差分图，并根据颜色序列验证码和图像序列各自颜色所对应的差分图进行颜色验证。
可选地，利用面部颜色差分算法获取图像序列各自颜色所对应的差分图。作为一种可能的实现方式，确定图像序列中每张图像的人脸关键点，并根据每张图像的人脸关键点，确定每张图像中的左眼外眼角坐标和右眼外眼角坐标；根据左眼外眼角坐标和右眼外眼角坐标对每张图像进行仿射变换处理，获得每张图像矫正后的人脸区域图像；按照屏幕产生的颜色顺序，将每张图像矫正后的人脸区域图像进行两两差分运算，获得图像序列各自颜色所对应的差分图。
举例而言，对图像序列中每张图像分别进行人脸检测，得到每张图像中的多个关键点，比如72个关键点。利用左、右眼外眼角坐标(x13,y13)(x34,y34)计算偏转角α、中心点Ce，并根据偏转角α、中心点Ce计算仿射变换矩阵M，通过仿射变换M获取每张图像校正后的人脸区域，并缩放到128x128的尺度，从而得到每张图像矫正后的人脸区域图像。按照屏幕产生的颜色顺序，将每张图像矫正后的人脸区域图像进行两两差分运算，获得图像序列各自颜色所对应的差分图。例如，假设屏幕产生的颜色顺序为红色(R)、绿色(G)、蓝色(B)，则可按照“蓝-红＝红、红-绿＝绿、绿-蓝＝蓝”的顺序，三张人脸区域图像进行两两差分运算，获得图像序列各自颜色所对应的差分图。
需要说明的是，由于人脸区域颜色受环境光及人脸肤色的影响较大，使得人脸区域颜色具有明显的颜色偏差，如果直接使用打光后的人脸区域进行颜色识别，识别效果比较差。因此，本公开使用相邻两张打光人脸区域的差分图则可以很好地消除人脸肤色导致的人脸区域颜色偏差，从而实现精准的打光颜色识别。
在本公开实施例中，在获得图像序列各自颜色所对应的差分图时，可对图像序列各自颜色所对应的差分图进行颜色分类，获得对应的颜色序列，并检验对应的颜色序列是否与颜色序列验证码一致。
在步骤105中，根据活体分数值和颜色验证结果，确定目标对象的最终人脸活体检测结果。
可选地，活体分数值和颜色验证结果均满足各自条件时，确定目标对象通过了人脸活体检测，即确定目标对象为真人拍摄；当活体分数值和/或颜色验证结果不满足各自条件时，确定目标对象未通过人脸活体检测，即确定目标对象不是真人拍摄。例如，当活体分数值大于或等于一定阈值，且颜色验证结果为验证通过时，确定目标对象最终通过人脸活体的验证，即确定目标对象为真人拍摄；当活体分数值大于或等于一定阈值，而颜色验证结果为验证未通过时，确定目标对象未通过人脸活体检测，即确定目标对象不是真人拍摄；当活体分数值小于一定阈值，颜色验证结果为验证通过时，确定目标对象未通过人脸活体检测，即确定目标对象不是真人拍摄；当活体分数值小于一定阈值，颜色验证结果为验证未通过时，确定目标对象未通过人脸活体检测，即确定目标对象不是真人拍摄。
根据本公开实施例的人脸活体检测方法，利用设备屏幕打不同颜色的光到人脸，同时设备前置摄像头采集不同颜色下面部图像，利用面部颜色差分算法验证颜色顺序是否与颜色序列验证码一致，并将这些图像进行人脸活体验证，根据颜色验证结果和人脸活体验证结果确定目标对象的最终人脸活体检测结果，提高了整个活体检测流程的安全性，考虑到复杂样本攻击的情况，大大提高了活体检测算法的准确率和泛化性。提升了人脸活体检测算法对于未知攻击样本方式的防御效果。人脸活体检测是人脸相关领域的基础技术之一，应用于安防、考勤、金融、门禁通行等诸多场景。在当前的很多业务上都有广泛的应用。采用本公开能够提升人脸活体检测技术性能、帮助以人脸活体检测技术为基础的诸多应用提升效果和用户体验。有利于业务项目的进一步推广。
需要说明的是，可从面色活体检测和瞳色活体检测两方面来实现人脸活体验证。也就是说，在本公开一些实施例中，可从面色活体检测和瞳色活体检测两方面来验证该目标对象是否为真人拍摄。作为一种可能的实现方式，如图2所示，上述根据目标对象在不同颜色下的图像序列对目标对象进行人脸活体验证，获得活体分数值的实现方式可包括如下步骤。
在步骤201中，对目标对象在不同颜色下的图像序列分别进行人脸对齐，获得图像序列中每张图像之中的人脸图像。
可选的，对图像序列中每张图像进行图像预处理，得到包含人脸的图像，通过检测模型对人脸进行检测，得到人脸的大致位置区域；其中，检测模型为已有人脸检测模型，可以检测到人脸位置。根据检测到的人脸区域，通过人脸关键点检测模型对人脸关键点进行检测得到人脸的关键点坐标值；其中，人脸关键点检测模型为已有模型，调用已有模型，输入已检测到人脸的图像，得到多个人脸关键点坐标，比如得到72个人脸关键点坐标，分别为(x1,y1)…(x72,y72)。根据人脸的关键点坐标值对目标人脸进行人脸对齐得到人脸图像。具体做法为，根据多个人脸关键点坐标得到x和y的最大最小值xmin，xmax，ymin，ymax，根据最大最小值可以确定一个人脸框，然后将此人脸框扩大三倍再截取人脸图像，调整到尺寸224x224px，从而获得图像序列中每张图像之中的人脸图像。
在步骤202中，将每张人脸图像进行面色活体检测，获得每张人脸图像对应的面色活体得分。
可选的，将得到人脸图像进行图像归一化处理。在本实施例中，图像归一化处理，是图像中的每一个像素依次进行归一化处理，归一化处理的方法是：每个像素的像素值减128再除以256，使每个像素的像素值在[-0.5,0.5]之间。将归一化处理后的图像进行随机数据增强处理。将经过增强处理后的图像输入至面色活体检测模型，得到每张人脸图像对应的面色活体得分。其中，该面色活体检测模型可以是已经经过训练的卷积神经网络。
在步骤203中，分别截取目标对象在不同颜色下的图像序列中的双眼区域，获得图像序列中每张图像之中的双眼图像。
可以理解，屏幕在显示不同颜色的光时，在人眼瞳孔会显示对应颜色的光斑，可以通过瞳孔显示的光斑来验证目标对象是否为活体。作为一种示例，可利用人脸关键点中的眼角坐标来对每张图像中的双眼区域进行处理，以得到每张图像之中的双眼图像。
在一些实施例中，确定图像序列中每张图像的人脸关键点，并截取图像序列中每张图像中的双眼区域图像，根据每张图像的人脸关键点确定每张双眼区域图像中的左眼眼角坐标和右眼眼角坐标；根据左眼眼角坐标对双眼区域图像进行处理，得到第一双眼图像，并根据右眼眼角坐标对双眼区域图像进行处理，得到第二双眼图像；将每张图像的第一双眼图像和第二双眼图像进行叠加处理，得到每张图像的双眼图像。
例如，以对图像序列的其中一张图像进行处理为例，在确定该图像中的人脸关键点之后，可将该图像中的双眼区域截取下来，根据人脸关键点找出左眼的眼角坐标(x13,y13)(x17,y17)，并求出眼角的距离L1和眼睛的中心点C1，求得仿射变换矩阵M1，根据仿射变换将截取到的双眼区域图像仿射变换到尺寸为56x36的只有眼睛的图像，得到该图像的第一双眼图像；根据人脸关键点找出右眼的眼角坐标(x30,y30)(x34,y34)，并求出眼角的距离L2和眼睛的中心点C2，求得仿射变换矩阵M2，根据仿射变换M2将截取到的双眼区域图像仿射变换到尺寸为56x36的只有眼睛的图像，即该图像的第二双眼图像。将第一双眼图像和第二双眼图像进行叠加处理，得到该图像的双眼图像。其中，叠加处理是指将第一双眼图像中的颜色通道与第二双眼图像的颜色通道进行相加，比如，第一双眼图像的颜色通道为3个，第二双眼图像的颜色通道也为3个，则将第一双眼图像和第二双眼图像进行叠加处理后得到的图像的颜色通道变为6个。由此，通过利用两张双眼图像进行瞳色活体检测，可以进一步提高检测结果的准确率。
在步骤204中，根据图像序列中每张图像之中的双眼图像进行瞳色活体检测，获得图像序列中每张图像的瞳色活体得分。
可选的，将图像序列中每张图像之中的双眼图像输入至瞳色活体检测模块，获得图像序列中每张图像的瞳色活体得分。其中，瞳色活体检测模块可以是已经经过训练的卷积神经网络，该卷积神经网络包括5层卷积层、3层最大池化层和1层全连接层。
在步骤205中，根据每张人脸图像对应的面色活体得分和图像序列中每张图像的瞳色活体得分，获得活体分数值。
在一些实施例中，将每张人脸图像对应的面色活体得分进行求平均计算，得到面色活体平均得分，并将每张图像的瞳色活体得分进行求平均计算，得到瞳色活体平均得分，将面色活体平均得分与瞳色活体平均得分的和值作为所述活体分数值。
在其他实施例中，上述面色与瞳色活体检测将根据实际运用中的权重分配得出最终的活体分数值。作为一种可能的实现方式，可将每张人脸图像对应的面色活体得分进行求平均计算，得到面色活体平均得分，并将每张图像的瞳色活体得分进行求平均计算，得到瞳色活体平均得分，将色活体平均得分与瞳色活体平均得分进行加权处理，将加权处理后得到的数值作为所述活体分数值。作为另一种可能的实现方式，可根据每张人脸图像对应的面色活体得分和图像序列中每张图像的瞳色活体得分进行加权处理，获得活体分数值。
由此可见，本公开可通过从面色活体检测和瞳色活体检测两方面来实现人脸活体验证，从而大大提高活体检测算法的准确率。
图3是本公开实施例提出的另一种人脸活体检测方法的流程图。如图3所示，该人脸活体检测方法可以包括以下步骤。
在步骤301中，对目标对象进行人脸检测。
可选的，该人脸检测包含人脸检测算法与人脸质量验证机制。举例而言，人脸检测算法的实现方式如下：将对摄像头捕捉的人脸结构进行分析判断，当满足为人体面部特征阈值时即通过验证。人脸质量验证机制的实现方式如下：在人脸检测过程中将对人脸图的质量进行判断，从面部大小，遮挡程度，模糊程度等维度进行过滤，人脸图的质量愈高，则后续过程的置信度愈高。质量的阈值可以预制，实际过程中根据预设的与之进行判断，若通过则进行下一步骤；若未通过则返回到“人脸检测”。
在步骤302中，响应于目标对象通过人脸检测，对目标对象进行动作活体验证。
可以理解，动作活体验证是指通过所述目标对象按照要执行指定随机动作来判断其是否为活体。在该技术交互中考虑到用户的体验感与舒适度，过程中可选用用户配合的较低的眨眼、张嘴两个动作来做加强验证。
需要说明的是，动作活体验证的步骤为辅助验证手段，可以帮助炫彩活体完成活体验证的初筛，一定程度上提高结果的准确度。同样，动作活体的判断也可对阈值进行独立的调控，例如，眨眼的次数，或者张嘴的幅度。当通过动作活体验证后则进入到下一步骤；否则，会重新进行动作活体验证。
在步骤303中，响应于目标对象通过动作活体验证，获取颜色序列验证码。
在本公开的实施例中，步骤303可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
在步骤304中，基于颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制电子设备的摄像头采集在相应颜色下目标对象面部的图像，获得目标对象在不同颜色下的图像序列。
在本公开的实施例中，步骤304可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
在步骤305中，根据目标对象在不同颜色下的图像序列对目标对象进行人脸活体验证，获得活体分数值。
在本公开的实施例中，步骤305可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
在步骤306中，根据目标对象在不同颜色下的图像序列获取图像序列各自颜色所对应的差分图，并根据颜色序列验证码和图像序列各自颜色所对应的差分图进行颜色验证。
在本公开的实施例中，步骤306可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
在步骤307中，根据活体分数值和颜色验证结果，确定目标对象的最终人脸活体检测结果。
在本公开的实施例中，步骤307可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
根据本公开实施例的人脸活体检测方法，通过对目标对象进行人脸检测和动作活体验证，可以帮助炫彩活体完成活体验证的初筛，可以进一步提高人脸活体检测算法结果的准确度。
为了方便本领域技术人员更加清楚的了解本公开，下面将结合图4和图5对本公开的人脸活体检测方法的实现方式进行详细描述。首先需要说明的是，在本公开实施例中，该人脸活体检测方法可以包括人脸检测步骤、动作活体验证步骤和炫彩活体验证步骤。
举例而言，如图4所示，人脸检测步骤包含人脸检测算法与人脸质量验证机制。其中，人脸检测的实现方式如下：将对摄像头捕捉的人脸结构进行分析判断，当满足为人体面部特征阈值时即通过验证。人脸质量验证机制的实现方式如下：在如上过程中将对人脸图的质量进行判断，从面部大小，遮挡程度，模糊程度等维度进行过滤，人脸图的质量愈高，则后续过程的置信度愈高。质量的阈值可以预制，实际过程中根据预设的与之进行判断，若通过则进行下一步骤；若未通过则返回到“人脸检测”。
动作活体验证步骤：通过用户按照要执行指定随机动作来判断其是否为活体。在该技术交互中考虑到用户的体验感与舒适度，本实施例选用了用户配合度较低的眨眼、张嘴两个动作来做加强验证。此步骤为辅助验证手段，可以帮助炫彩活体完成活体验证的初筛，一定程度上提高结果的准确度。同样，动作活体的判断也可对阈值进行独立的调控，例如，眨眼的次数，或者张嘴的幅度。当通过动作活体验证后则进入到下一步骤；否则，会重新进行动作活体验证。
炫彩活体验证步骤包括：获取颜色序列验证码，播放颜色序列验证码中所包含的颜色并采集人脸图像，面色与瞳色活体检测，颜色判断，结果输出，以及安全性与质量控制。以下将详述炫彩活体验证步骤，将以红(Red)、绿(Green)、蓝(Blue)三色为例介绍该方案，其中颜色可替换，原理一致。
1)获取颜色序列验证码
其中，颜色序列验证码可以是服务器随机生成的颜色序列以供后续在屏幕显示，随机的序列可以保证被检测用户是在实时进行验证。
2)播放颜色序列验证码中所包含的颜色并采集人脸图像
首先利用电子设备给人脸/攻击样本打三种不同颜色的光，然后利用电子设备的前置摄像头采集三种颜色打在人脸/攻击样本的图像，将三张图像作为一组，得到一系列包含人脸图像。例如，如图5所示，三种不同颜色的光具体做法为电子设备屏幕显示三张图片，颜色分别为红(R)、绿(G)、蓝(B)，当显示这三张图片时摄像头采集人脸图像。
可选的，每种颜色在光照过程约为1.5秒，采集将遵从最优帧的策略，即在连续视频流中选取质量最优的人脸图片作为后续步骤的输入，此处质量遵循前述的质量判断规则。
3)面色与瞳色活体检测
将步骤2)中得到的三色人脸图片将进行活体检测，此处包含面色与瞳色活体检测，两个检测算法都将输出活体得分。
3.1)面色活体检测算法
在取得上述步骤中三种颜色的人脸图片后，本公开将定义人脸包含72个关键点分别为(x1,y1)…(x72,y72)。
对每张图像进行图像预处理，首先得到一张包含人脸的图像，通过检测模型对人脸进行检测，得到人脸的大致位置区域；其中，检测模型为已有人脸检测模型，可以检测到人脸位置。其次，根据检测到的人脸区域，通过人脸关键点检测模型对人脸关键点进行检测得到人脸的关键点坐标值；其中，人脸关键点检测模型为已有模型，调用已有模型，输入已检测到人脸的图像，得到72个人脸关键点坐标，分别为(x1,y1)…(x72,y72)。然后根据人脸的关键点坐标值对目标人脸进行人脸对齐得到人脸图像。具体做法为，根据72个人脸关键点坐标得到x和y的最大最小值xmin，xmax，ymin，ymax，根据最大最小值可以确定一个人脸框，然后将此人脸框扩大三倍再截取人脸图像，调整到尺寸224x224px。
将得到的包含人脸图像区域进行图像归一化处理。本实施例中，图像归一化处理，是图像中的每一个像素依次进行归一化处理，归一化处理的方法是：每个像素的像素值减128再除以256，使每个像素的像素值在[-0.5,0.5]之间。将归一化处理后的图像进行随机数据增强处理。将经过增强处理后的图像输入至面色活体检测模型，得到每张人脸图像对应的面色活体得分。
3.2)瞳色活体检测算法
屏幕在显示R/G/B三种颜色的光时，在人眼瞳孔会显示对应颜色的光斑，可以通过瞳孔显示的光斑来识别打光的颜色，具体做法为根据上述得到72个关键点之后，将双眼区域图像截取下来，根据人脸关键点找出左眼的眼角坐标(x13,y13)(x17,y17)，并求出眼角的距离L1和眼睛的中心点C1，求得仿射变换矩阵M1，根据仿射变换M1将原图仿射变换到尺寸为56x36的只有眼睛的图像；根据人脸关键点找出右眼的眼角坐标(x30,y30)(x34,y34)，并求出眼角的距离L2和眼睛的中心点C2，求得仿射变换矩阵M2，根据仿射变换M2将原图仿射变换到尺寸为56x36的只有眼睛的图像。将双眼图像叠加送入瞳色活体检测模型，获得每张双眼图像的瞳色活体得分。
根据每张人脸图像对应的面色活体得分和每张双眼图像的瞳色活体得分，根据实际运用中的权重分配进行加权处理，得到最终的活体分数值。
4)颜色判断和结果输出
首先会进行人脸检测和距离判断，当存在人脸且人脸距离终端打光屏幕距离符合要求时，服务器发送颜色序列验证码给电子设备。电子设备根据颜色序列验证码的信息进行打光。从打光数据中筛选满足图像质量要求且打光颜色分别为红色(R)、绿色(G)、蓝色(B)的图片各1张作为一组数据，注意这里三张图片的颜色可以是红、绿、蓝三种颜色的任意排列，然后利用该组图片、以及三张图片的颜色顺序输入模型来验证该组图片的颜色顺序是否为输入模型的颜色顺序，如果验证颜色顺序一致，则通过颜色识别模块，否则颜色验证失败。具体实现步骤如下：
4.1)对获取到的三张图片分别进行人脸检测，得到相应的72个关键点；
4.2)利用左、右眼外眼角坐标(x13,y13)(x34,y34)计算偏转角α、中心点Ce；
4.3)根据偏转角α、中心点Ce计算放射变换矩阵M，通过放射变换获取到三张图片矫正后的人脸区域，并缩放到128x128的尺度；
4.4)按照“蓝-红＝红、红-绿＝绿、绿-蓝＝蓝”的顺序获取到三张图各自颜色所对应的差分图；
4.5)利用卷积神经网络提取差分图的特征进行颜色分类。其中，使用ResNet50作为卷积神经网络的backbone来提取人脸差分图的颜色特征，并在最后一层特征图上做全局平均池化操作后经过全连接层和Softmax层来进行人脸差分图的颜色分类。
将三张人脸差分图输入至差值计算模型进行颜色识别。此处颜色应为未知，设其为X/Y/Z，则颜色判断给则如下:
4.5.1)若其中三种颜色的置信度均大于或等于阈值N，则进行颜色比对，若两种颜色或三种颜色匹配，则判断为最终颜色匹配；否则为不匹配；
4.5.2)若其中两种颜色的置信度大于或等于N，则进行颜色比对。若两种颜色匹配则判断为最终颜色匹配；否则为不匹配；
4.5.3)若其中一种颜色的置信度大于或等于N，则直接判断为不匹配(其中N为置信度阈值，可根据实际情况调节)。
从以上步骤得出的颜色判断将输出为此次检测是否通过的标准。颜色一致即通过，并判断活体分数值是否大于或等于一定阈值，若活体分数值大于或等于一定阈值，则确定该目标对象的人脸活体检测验证通过。若颜色不一致，和/或活体分数值小于一定阈值，则确定该目标对象的人脸活体检测验证失败，目标对象可选择重新验证。
5)安全性与质量控制
在活体检测全程，可持续追踪人脸并进行质量判断。如果目标对象的头像中途移出(可能有换脸风险)则判断为重新进行全过程。若过程中质量低于预设阈值，则将上调至上一步走继续进程。
综上所述，本公开提出了一套完整的基于炫彩颜色验证的人脸活体检测实现方案，利用不同材质的攻击道具的反射率与活人皮肤的反射率不同的先验知识，提出一种基于炫彩颜色验证的人脸活体检测方法，利用设备屏幕打不同亮度的光到人脸，同时设备前置摄像头采集不同光强下面部的图像，再将这些图像作为卷积神经网络的输入，得到最终的活体检测结果，本公开考虑到复杂样本攻击的情况，大大提高了活体检测算法的准确率和泛化性。
图6是本公开实施例提出的一种人脸活体检测装置的结构框图。如图6所示，该人脸活体检测装置可以包括：获取模块601、控制模块602、人脸活体验证模块603、颜色验证模块604和确定模块605。
其中，获取模块601用于获取颜色序列验证码。在一种可能的实现方式中，获取模块601获取服务器生成的颜色序列验证码。
控制模块602用于基于颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制电子设备的摄像头采集在相应颜色下目标对象面部的图像，获得目标对象在不同颜色下的图像序列。
人脸活体验证模块603用于根据目标对象在不同颜色下的图像序列对目标对象进行人脸活体验证，获得活体分数值。
在一种可能的实现方式中，人脸活体验证模块603具体用于：将每张人脸图像进行面色活体检测，获得每张人脸图像对应的面色活体得分；分别截取目标对象在不同颜色下的图像序列中的双眼区域，获得图像序列中每张图像之中的双眼图像；根据图像序列中每张图像之中的双眼图像进行瞳色活体检测，获得图像序列中每张图像的瞳色活体得分；根据每张人脸图像对应的面色活体得分和图像序列中每张图像的瞳色活体得分，获得活体分数值。
可选的，人脸活体验证模块603分别截取目标对象在不同颜色下的图像序列中的双眼区域，获得图像序列中每张图像之中的双眼图像的实现方式如下：确定图像序列中每张图像的人脸关键点；截取图像序列中每张图像中的双眼区域图像；根据每张图像的人脸关键点确定每张双眼区域图像中的左眼眼角坐标和右眼眼角坐标；根据左眼眼角坐标对双眼区域图像进行处理，得到第一双眼图像；根据右眼眼角坐标对双眼区域图像进行处理，得到第二双眼图像；将每张图像的第一双眼图像和第二双眼图像进行叠加处理，得到每张图像的双眼图像。
可选的，人脸活体验证模块603根据每张人脸图像对应的面色活体得分和图像序列中每张图像的瞳色活体得分，获得活体分数值的实现方式如下：根据每张人脸图像对应的面色活体得分和图像序列中每张图像的瞳色活体得分进行加权处理，获得活体分数值。
颜色验证模块604用于根据目标对象在不同颜色下的图像序列获取图像序列各自颜色所对应的差分图，并根据颜色序列验证码和图像序列各自颜色所对应的差分图进行颜色验证。
在一种可能的实现方式中，颜色验证模块604确定图像序列中每张图像的人脸关键点；根据每张图像的人脸关键点，确定每张图像中的左眼外眼角坐标和右眼外眼角坐标；根据左眼外眼角坐标和右眼外眼角坐标对每张图像进行仿射变换处理，获得每张图像矫正后的人脸区域图像；按照屏幕产生的颜色顺序，将每张图像矫正后的人脸区域图像进行两两差分运算，获得图像序列各自颜色所对应的差分图。对图像序列各自颜色所对应的差分图进行颜色分类，获得对应的颜色序列，并检验对应的颜色序列是否与颜色序列验证码一致。
确定模块605用于根据活体分数值和颜色验证结果，确定目标对象的最终人脸活体检测结果。
在一些实施例中，如图7所示，该人脸活体检测装置还可包括：检测模块706。检测模块706用于在人脸活体检测过程中，持续追踪目标对象的人脸，并检测目标对象的头部中途是否移出镜头。其中获取模块701还用于响应于目标对象的头部中途移出镜头，执行所述获取颜色序列验证码的步骤。其中，图7中701-705和图6中601-605具有相同功能和结构。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本公开实施例的人脸活体检测装置，利用设备屏幕打不同颜色的光到人脸，同时设备前置摄像头采集不同颜色下面部图像，利用面部颜色差分算法验证颜色顺序是否与颜色序列验证码一致，并将这些图像进行人脸活体验证，根据颜色验证结果和人脸活体验证结果确定目标对象的最终人脸活体检测结果，提高了整个活体检测流程的安全性，考虑到复杂样本攻击的情况，大大提高了活体检测算法的准确率和泛化性。提升了人脸活体检测算法对于未知攻击样本方式的防御效果。人脸活体检测是人脸相关领域的基础技术之一，应用于安防、考勤、金融、门禁通行等诸多场景。在当前的很多业务上都有广泛的应用。采用本公开能够提升人脸活体检测技术性能、帮助以人脸活体检测技术为基础的诸多应用提升效果和用户体验。有利于业务项目的进一步推广。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图8所示，是根据本公开实施例的用于实现人脸活体检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的人脸活体检测方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的人脸活体检测方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的人脸活体检测方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸活体检测方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸活体检测的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至人脸活体检测的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用以实现人脸活体检测方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与人脸活体检测的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种人脸活体检测方法，包括：
获取颜色序列验证码；
基于所述颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制所述电子设备的摄像头采集在所述相应颜色下目标对象面部的图像，获得所述目标对象在不同颜色下的图像序列；
根据所述目标对象在不同颜色下的图像序列对所述目标对象进行人脸活体验证，获得活体分数值；
根据所述目标对象在不同颜色下的图像序列获取所述图像序列各自颜色所对应的差分图，并根据所述颜色序列验证码和所述图像序列各自颜色所对应的差分图进行颜色验证；
根据所述活体分数值和颜色验证结果，确定所述目标对象的最终人脸活体检测结果；
所述根据所述目标对象在不同颜色下的图像序列对所述目标对象进行人脸活体验证，获得活体分数值，包括：
对所述目标对象分别进行面色活体检测和瞳色活体检测，获得活体分数值；
所述根据所述目标对象在不同颜色下的图像序列获取所述图像序列各自颜色所对应的差分图，包括：
确定所述图像序列中每张图像的人脸关键点；
根据所述每张图像的人脸关键点，确定所述每张图像中的左眼外眼角坐标和右眼外眼角坐标；
根据所述左眼外眼角坐标和右眼外眼角坐标对所述每张图像进行仿射变换处理，获得所述每张图像矫正后的人脸区域图像；
按照所述屏幕产生的颜色顺序，将所述每张图像矫正后的人脸区域图像进行两两差分运算，获得所述图像序列各自颜色所对应的差分图。
2.根据权利要求1所述的人脸活体检测方法，其中，对所述目标对象分别进行面色活体检测和瞳色活体检测，获得活体分数值，包括：
对所述目标对象在不同颜色下的图像序列分别进行人脸对齐，获得所述图像序列中每张图像之中的人脸图像；
将每张所述人脸图像进行面色活体检测，获得每张所述人脸图像对应的面色活体得分；
分别截取所述目标对象在不同颜色下的图像序列中的双眼区域，获得所述图像序列中每张图像之中的双眼图像；
根据所述图像序列中每张图像之中的双眼图像进行瞳色活体检测，获得所述图像序列中每张图像的瞳色活体得分；
根据每张所述人脸图像对应的面色活体得分和所述图像序列中每张图像的瞳色活体得分，获得所述活体分数值。
3.根据权利要求2所述的人脸活体检测方法，其中，所述分别截取所述目标对象在不同颜色下的图像序列中的双眼区域，获得所述图像序列中每张图像之中的双眼图像，包括：
确定所述图像序列中每张图像的人脸关键点；
截取所述图像序列中每张图像中的双眼区域图像；
根据所述每张图像的人脸关键点确定每张所述双眼区域图像中的左眼眼角坐标和右眼眼角坐标；
根据所述左眼眼角坐标对所述双眼区域图像进行处理，得到第一双眼图像；
根据所述右眼眼角坐标对所述双眼区域图像进行处理，得到第二双眼图像；
将所述每张图像的第一双眼图像和第二双眼图像进行叠加处理，得到所述每张图像的双眼图像。
4.根据权利要求2所述的人脸活体检测方法，其中，所述根据每张所述人脸图像对应的面色活体得分和所述图像序列中每张图像的瞳色活体得分，获得所述活体分数值，包括：
根据每张所述人脸图像对应的面色活体得分和所述图像序列中每张图像的瞳色活体得分进行加权处理，获得所述活体分数值。
5.根据权利要求1所述的人脸活体检测方法，其中，所述根据所述颜色序列验证码和所述图像序列各自颜色所对应的差分图进行颜色验证，包括：
对所述图像序列各自颜色所对应的差分图进行颜色分类，获得对应的颜色序列，并检验所述对应的颜色序列是否与所述颜色序列验证码一致。
6.根据权利要求1至5中任一项所述的人脸活体检测方法，其中，所述获取颜色序列验证码，包括：
获取服务器生成的所述颜色序列验证码。
7.根据权利要求1至5中任一项所述的人脸活体检测方法，还包括：
在人脸活体检测过程中，持续追踪所述目标对象的人脸；
检测所述目标对象的头部中途是否移出镜头；
响应于所述目标对象的头部中途移出镜头，返回执行所述获取颜色序列验证码的步骤。
8.一种人脸活体检测装置，包括：
获取模块，用于获取颜色序列验证码；
控制模块，用于基于所述颜色序列验证码中所含颜色的顺序控制电子设备屏幕依次产生相应颜色，并控制所述电子设备的摄像头采集在所述相应颜色下目标对象面部的图像，获得所述目标对象在不同颜色下的图像序列；
人脸活体验证模块，用于根据所述目标对象在不同颜色下的图像序列对所述目标对象进行人脸活体验证，获得活体分数值；
颜色验证模块，用于根据所述目标对象在不同颜色下的图像序列获取所述图像序列各自颜色所对应的差分图，并根据所述颜色序列验证码和所述图像序列各自颜色所对应的差分图进行颜色验证；
确定模块，用于根据所述活体分数值和颜色验证结果，确定所述目标对象的最终人脸活体检测结果；
所述人脸活体验证模块，具体用于：
对所述目标对象分别进行面色活体检测和瞳色活体检测，获得活体分数值；
所述颜色验证模块具体用于：
确定所述图像序列中每张图像的人脸关键点；
根据所述每张图像的人脸关键点，确定所述每张图像中的左眼外眼角坐标和右眼外眼角坐标；
根据所述左眼外眼角坐标和右眼外眼角坐标对所述每张图像进行仿射变换处理，获得所述每张图像矫正后的人脸区域图像；
按照所述屏幕产生的颜色顺序，将所述每张图像矫正后的人脸区域图像进行两两差分运算，获得所述图像序列各自颜色所对应的差分图。
9.根据权利要求8所述的人脸活体检测装置，其中，所述人脸活体验证模块具体用于：
将每张人脸图像进行面色活体检测，获得每张所述人脸图像对应的面色活体得分；
分别截取所述目标对象在不同颜色下的图像序列中的双眼区域，获得所述图像序列中每张图像之中的双眼图像；
根据所述图像序列中每张图像之中的双眼图像进行瞳色活体检测，获得所述图像序列中每张图像的瞳色活体得分；
根据每张所述人脸图像对应的面色活体得分和所述图像序列中每张图像的瞳色活体得分，获得所述活体分数值。
10.根据权利要求9所述的人脸活体检测装置，其中，所述人脸活体验证模块具体用于：
确定所述图像序列中每张图像的人脸关键点；
截取所述图像序列中每张图像中的双眼区域图像；
根据所述每张图像的人脸关键点确定每张所述双眼区域图像中的左眼眼角坐标和右眼眼角坐标；
根据所述左眼眼角坐标对所述双眼区域图像进行处理，得到第一双眼图像；
根据所述右眼眼角坐标对所述双眼区域图像进行处理，得到第二双眼图像；
将所述每张图像的第一双眼图像和第二双眼图像进行叠加处理，得到所述每张图像的双眼图像。
11.根据权利要求9所述的人脸活体检测装置，其中，所述人脸活体验证模块具体用于：
根据每张所述人脸图像对应的面色活体得分和所述图像序列中每张图像的瞳色活体得分进行加权处理，获得所述活体分数值。
12.根据权利要求8所述的人脸活体检测装置，其中，所述颜色验证模块具体用于：
对所述图像序列各自颜色所对应的差分图进行颜色分类，获得对应的颜色序列，并检验所述对应的颜色序列是否与所述颜色序列验证码一致。
13.根据权利要求8至12中任一项所述的人脸活体检测装置，其中，所述获取模块具体用于：
获取服务器生成的所述颜色序列验证码。
14.根据权利要求8至12中任一项所述的人脸活体检测装置，还包括：
检测模块，用于在人脸活体检测过程中，持续追踪所述目标对象的人脸，并检测所述目标对象的头部中途是否移出镜头；
其中，所述获取模块还用于响应于所述目标对象的头部中途移出镜头，执行所述获取颜色序列验证码的步骤。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202110573893.9A 2021-05-25 2021-05-25 人脸活体检测方法、装置、电子设备和存储介质 Active CN113361349B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110573893.9A CN113361349B (zh) 2021-05-25 2021-05-25 人脸活体检测方法、装置、电子设备和存储介质
KR1020220033216A KR20220042316A (ko) 2021-05-25 2022-03-17 얼굴 생체 검출 방법, 장치, 전자 기기 및 저장 매체
JP2022043293A JP7334292B2 (ja) 2021-05-25 2022-03-18 顔生体検出方法、装置、電子機器及び記憶媒体
EP22169131.4A EP4024352B1 (en) 2021-05-25 2022-04-21 Method and apparatus for face liveness detection, and storage medium
US17/664,268 US20220343680A1 (en) 2021-05-25 2022-05-20 Method for face liveness detection, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573893.9A CN113361349B (zh) 2021-05-25 2021-05-25 人脸活体检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113361349A CN113361349A (zh) 2021-09-07
CN113361349B true CN113361349B (zh) 2023-08-04

Family

ID=77527555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573893.9A Active CN113361349B (zh) 2021-05-25 2021-05-25 人脸活体检测方法、装置、电子设备和存储介质

Country Status (5)

Country Link
US (1) US20220343680A1 (zh)
EP (1) EP4024352B1 (zh)
JP (1) JP7334292B2 (zh)
KR (1) KR20220042316A (zh)
CN (1) CN113361349B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222904A1 (zh) * 2021-04-20 2022-10-27 北京嘀嘀无限科技发展有限公司 图像验证方法、系统及存储介质
US20230091381A1 (en) * 2021-09-17 2023-03-23 Jumio Corporation Spoof detection using eye boundary analysis
CN113792701A (zh) * 2021-09-24 2021-12-14 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备和存储介质
CN115995102A (zh) * 2021-10-15 2023-04-21 北京眼神科技有限公司 人脸静默活体检测方法、装置、存储介质及设备
CN114445898B (zh) * 2022-01-29 2023-08-29 北京百度网讯科技有限公司 人脸活体检测方法、装置、设备、存储介质及程序产品
CN116311553B (zh) * 2023-05-17 2023-08-15 武汉利楚商务服务有限公司 应用于半遮挡图像下的人脸活体检测方法及装置
CN116343313B (zh) * 2023-05-30 2023-08-11 乐山师范学院 一种基于眼部特征的人脸识别方法
CN117011950B (zh) * 2023-08-29 2024-02-02 国政通科技有限公司 一种活体检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005238422A (ja) * 2004-02-27 2005-09-08 Sony Corp ロボット装置、並びにその状態遷移モデル構築方法及び行動制御方法
DE102016011992A1 (de) * 2016-09-30 2018-04-05 LÜTH & DÜMCHEN Automatisierungsprojekt GmbH Verfahren zur Lebenderkennung mittels Nachweis von planmäßig erzeugten Reflexionen im Auge einer Person für Vorrichtungen zur Erfassung personenspezifischer Daten
CN108764069A (zh) * 2018-05-10 2018-11-06 北京市商汤科技开发有限公司 活体检测方法及装置
WO2019052329A1 (zh) * 2017-09-12 2019-03-21 Oppo广东移动通信有限公司 人脸识别方法及相关产品
CN109643366A (zh) * 2016-07-21 2019-04-16 戈斯蒂冈有限责任公司 用于监控车辆驾驶员的状况的方法和系统
CN110765923A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种人脸活体检测方法、装置、设备及存储介质
CN110969077A (zh) * 2019-09-16 2020-04-07 成都恒道智融信息技术有限公司 一种基于颜色变化的活体检测方法
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005238422A (ja) * 2004-02-27 2005-09-08 Sony Corp ロボット装置、並びにその状態遷移モデル構築方法及び行動制御方法
CN109643366A (zh) * 2016-07-21 2019-04-16 戈斯蒂冈有限责任公司 用于监控车辆驾驶员的状况的方法和系统
JP2019527448A (ja) * 2016-07-21 2019-09-26 ゲシュティゴン、ゲゼルシャフト、ミット、ベシュレンクテル、ハフツングＧｅｓｔｉｇｏｎ Ｇｍｂｈ 車両の運転者の状態を監視するための方法及びシステム
DE102016011992A1 (de) * 2016-09-30 2018-04-05 LÜTH & DÜMCHEN Automatisierungsprojekt GmbH Verfahren zur Lebenderkennung mittels Nachweis von planmäßig erzeugten Reflexionen im Auge einer Person für Vorrichtungen zur Erfassung personenspezifischer Daten
WO2019052329A1 (zh) * 2017-09-12 2019-03-21 Oppo广东移动通信有限公司 人脸识别方法及相关产品
CN108764069A (zh) * 2018-05-10 2018-11-06 北京市商汤科技开发有限公司 活体检测方法及装置
CN110969077A (zh) * 2019-09-16 2020-04-07 成都恒道智融信息技术有限公司 一种基于颜色变化的活体检测方法
CN110765923A (zh) * 2019-10-18 2020-02-07 腾讯科技（深圳）有限公司 一种人脸活体检测方法、装置、设备及存储介质
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Face recognition on consumer devices: Reflections on replay attacks;Smith D F 等;IEEE Transactions on Information Forensics and Security;全文 *

Also Published As

Publication number Publication date
EP4024352A3 (en) 2022-09-21
JP2022078338A (ja) 2022-05-24
JP7334292B2 (ja) 2023-08-28
EP4024352B1 (en) 2024-01-24
US20220343680A1 (en) 2022-10-27
CN113361349A (zh) 2021-09-07
KR20220042316A (ko) 2022-04-05
EP4024352A2 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
CN113361349B (zh) 人脸活体检测方法、装置、电子设备和存储介质
CN107609383B (zh) 3d人脸身份认证方法与装置
CN112329612A (zh) 活体检测方法、装置及电子设备
CN103577801B (zh) 用于生物特征验证的质量度量的方法和系统
CN103383723B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
CN111291885A (zh) 近红外图像的生成方法、生成网络的训练方法和装置
US20180025206A1 (en) Iris recognition via plenoptic imaging
WO2021073364A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
EP4033458A2 (en) Method and apparatus of face anti-spoofing, device, storage medium, and computer program product
CN113469085B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112639871A (zh) 生物体认证系统、生物体认证方法及程序
CN113614731A (zh) 使用软生物特征的认证验证
CN109255282A (zh) 一种生物识别方法、装置和系统
Perra et al. Adaptive eye-camera calibration for head-worn devices
CN112949467B (zh) 人脸检测方法、装置、电子设备和存储介质
CN113221767B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN111310567A (zh) 一种多人场景下的人脸识别方法及装置
CN112101261A (zh) 人脸识别方法、装置、设备及存储介质
CN115273184B (zh) 人脸活体检测模型训练方法及装置
WO2022178210A1 (en) Clustered dynamic graph convolutional neural network (cnn) for biometric three-dimensional (3d) hand recognition
CN111862030B (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
KR102151851B1 (ko) 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
US11948402B2 (en) Spoof detection using intraocular reflection correspondences
CN111274879A (zh) 检测活体检验模型可靠性的方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant