CN113205057B - 人脸活体检测方法、装置、设备及存储介质 - Google Patents

人脸活体检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113205057B
CN113205057B CN202110524896.3A CN202110524896A CN113205057B CN 113205057 B CN113205057 B CN 113205057B CN 202110524896 A CN202110524896 A CN 202110524896A CN 113205057 B CN113205057 B CN 113205057B
Authority
CN
China
Prior art keywords
face
image
sequence
color
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110524896.3A
Other languages
English (en)
Other versions
CN113205057A (zh
Inventor
王珂尧
陆杰
李云昊
岳海潇
冯浩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110524896.3A priority Critical patent/CN113205057B/zh
Publication of CN113205057A publication Critical patent/CN113205057A/zh
Priority to KR1020220053255A priority patent/KR20220063127A/ko
Priority to EP22171407.4A priority patent/EP4033458A3/en
Priority to US17/737,778 priority patent/US20220262163A1/en
Priority to JP2022078696A priority patent/JP2022105583A/ja
Application granted granted Critical
Publication of CN113205057B publication Critical patent/CN113205057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本公开揭露了人脸活体检测方法，涉及人工智能领域，具体为计算机视觉和深度学习技术，可应用于人脸识别场景下。具体实现方案为：获取包含多个人脸图像的人脸图像序列；基于人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列；基于人眼图像序列，对多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及响应于瞳孔颜色识别结果表征人脸图像序列是电子设备现场采集的人脸图像的序列，利用人脸图像序列中的至少一个人脸图像得到人脸活体检测结果。

Description

人脸活体检测方法、装置、设备及存储介质
技术领域
本公开涉及人工智能领域，具体为计算机视觉和深度学习技术，可应用于人脸识别场景下。具体地涉及一种人脸活体检测方法、装置、设备及存储介质。
背景技术
人脸活体检测即区分一张人脸图像是否是对活体人脸拍摄的图像。人脸活体检测模块是人脸识别系统的基础组成模块，可以保证人脸识别系统的安全性。
发明内容
本公开提供了一种人脸活体检测方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的一方面，提供了一种人脸活体检测方法，包括：获取包含多个人脸图像的人脸图像序列；基于所述人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列；基于所述人眼图像序列，对所述多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及响应于所述瞳孔颜色识别结果表征所述人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列，利用所述人脸图像序列中的至少一个人脸图像得到人脸活体检测结果。
根据本公开的另一方面，提供了另一种人脸活体检测方法，包括：获取人脸图像；基于所述人脸图像，获取对应的人眼图像；基于所述人眼图像，对所述人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及响应于所述瞳孔颜色识别结果表征所述人脸图像是电子设备启动人脸识别进程后现场采集的人脸图像，利用所述人脸图像得到人脸活体检测结果。
根据本公开的另一方面，提供了一种人脸活体检测装置，包括：第一获取模块，用于获取包含多个人脸图像的人脸图像序列；第二获取模块，用于基于所述人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列；第一图像识别模块，用于基于所述人眼图像序列，对所述多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及第一检测模块，用于响应于所述瞳孔颜色识别结果表征所述人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列，利用所述人脸图像序列中的至少一个人脸图像得到人脸活体检测结果。
根据本公开的另一方面，提供了另一种人脸活体检测装置，包括：第三获取模块，用于获取人脸图像；第四获取模块，用于基于所述人脸图像，获取对应的人眼图像；第二图像识别模块，用于基于所述人眼图像，对所述人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及第二检测模块，用于响应于所述瞳孔颜色识别结果所述人脸图像是电子设备启动人脸识别进程后现场采集的人脸图像，利用所述人脸图像得到人脸活体检测结果。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示例性示出了适于本公开实施例的人脸活体检测方法及装置的系统架构；
图2示例性示出了根据本公开实施例的人脸活体检测方法的流程图；
图3示例性示出了根据本公开另一实施例的人脸活体检测方法的流程图；
图4示例性示出了根据本公开实施例的人脸活体检测的原理图；
图5示例性示出了根据本公开实施例的人脸活体检测装置的框图；
图6示例性示出了根据本公开另一实施例的人脸活体检测装置的框图；
图7示例性示出了用来实现本公开实施例的人脸活体检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
人脸活体检测算法实现方案众多，主要包括：传统的人脸手工特征提取及分类方法和使用神经网络的深度学习方法。
应该理解，使用传统的人脸手工特征提取及分类方法进行人脸活体检测，首先需要基于手工设计的特征提取器提取人脸特征，然后需要基于如支持向量机(SupportVector Machine，简称SVM)的传统分类器进行特征分类，最终得到人脸活体的判定结果。
在实现本公开发明构思的过程中，发明人发现：如果真实场景中人脸姿态过大或光照差异较大，则使用上述的传统方法进行人脸活体检测，鲁棒性较差，检测结果不够精确，导致识别效果不理想。
而使用基于神经网络的深度学习方法进行人脸活体检测，需要使用神经网络进行人脸特征提取及分类。相较于上述的传统方法，这种深度学习类方法能够提取到稳定性更强的人脸特征，因而在检测精度上有较大提升。
但是，在实现本公开发明构思的过程中，发明人发现：在一些应用场景中，基于深度学习的人脸活体检测算法，泛化性较差；并且对于复杂的攻击样本及攻击方式，这种算法存在安全性差的问题，影响实际应用性能。
对此，本公开实施例提供了一种基于主动光的人脸活体检测方法，可以随机生成一颜色序列作为验证码，利用设备屏幕输出不同颜色的光到人脸上，同时利用设备前置摄像头采集人脸在不同颜色光的照射下的图像，然后利用瞳孔颜色算法验证实际获取到的图像的颜色顺序是否与随机生成的验证码表征的颜色顺序一致。如果两者一致，则表示实际获取到的图像是设备前置摄像头现场采集到的人脸图像。在此基础上，将实际获取到的图像中的至少之一作为卷积神经网络的输入进行图像识别，可以得到最终的人脸活体检测结果。
通过本公开实施例，可以保证输入人脸活体检测模型(卷积神经网络)进行人脸活体检测的人脸图像是基于当前任务现场采集的图像，而不是攻击者通过恶意阻断设备前置摄像头采集图像而非法注入的人脸图像攻击样本，因而可以提高整个人脸活体检测流程的安全性。
以下将结合附图和具体实施例详细阐述本公开。
适于本公开实施例的人脸活体检测方法和装置的系统架构介绍如下。
图1示例性示出了适于本公开实施例的人脸活体检测方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。
如图1所示，人脸识别系统架构100可以包括：设备的前置摄像头101、设备的显示屏幕102和设备的人脸活体检测模块103。
在一个实施例中，人脸活体检测模块103可以随机生成一颜色序列(如红、绿、蓝)作为验证码。显示屏幕102可以按照人脸活体检测模块103随机生成的颜色序列中的颜色顺序，依次输出对应颜色的光到人脸上。与此同时，显示屏幕102每输出一种颜色的光，前置摄像头101可以采集人脸在对应颜色光下的图像。然后人脸活体检测模块103可以利用瞳孔颜色算法，验证实际获取到的图像的颜色顺序是否与其随机生成的验证码表征的颜色顺序一致。如果经验证确定两者一致，则表征实际获取到的图像是前置摄像头101基于当前任务现场采集到的人脸图像。否则，如果经验证确定两者不一致，则表征实际获取到的图像是攻击者非法注入的人脸图像攻击样本。
在确定实际获取到的图像是前置摄像头101基于当前任务现场采集到的人脸图像的基础上，人脸活体检测模块103可以将实际获取到的图像中的至少之一作为人脸活体检测模型(如卷积神经网络)的输入进行人脸活体检测，最终得到人脸活体检测结果。
应该理解，图1中利用显示屏幕输出不同颜色的光仅仅是示意性的。根据实现需要，还可以在系统架构中设置其他类型的主动光源来输出不同颜色的光。
适于本公开实施例的人脸活体检测方法和装置的应用场景介绍如下。
需要说明的是，本公开实施例提供的人脸活体检测方法，可以应用于人脸识别领域的考勤、门禁、安防、金融支付等诸多场景，帮助提升活体检测性能。
使用本公开实施例提供的人脸活体检测方案，能够有效地防住目前大多数常见的攻击方式，同时还可以加快网络训练收敛速度，提高人脸活体检测算法的泛化性和精度，提升人脸活体检测算法对于未知攻击样本或攻击方式的防御效果，进而可以帮助以人脸活体检测技术为基础的诸多应用提升效果和用户体验，有利于业务项目的进一步推广。
根据本公开的实施例，本公开提供了一种人脸活体检测方法。
图2示例性示出了根据本公开实施例的人脸活体检测方法的流程图。
如图2所示，人脸活体检测方法200可以包括：操作S210～S240。
在操作S210，获取包含多个人脸图像的人脸图像序列。
在操作S220，基于人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列。
在操作S230，基于人眼图像序列，对多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果。
在操作S240，响应于瞳孔颜色识别结果表征人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列，利用人脸图像序列中的至少一个人脸图像得到人脸活体检测结果。
需要说明的，瞳孔颜色识别结果可以用于确定人脸图像序列是否是电子设备启动人脸识别进程后现场采集的人脸图像的序列。其中，电子设备在启动人脸识别进程后的预设时间段内每隔预定时间发出一种颜色的光，且每发出一种颜色的光，采集一次人脸图像。
在一些实施例中，每次进行人脸活体检测时，都可以先验证当前获取的人脸图像是否是电子设备(如人脸识别设备)本次启动人脸识别进程后现场采集的图像。在确定当前获取的人脸图像是该电子设备本次启动人脸识别进程后现场采集的图像的情况下，再将当前获取的人脸图像中的至少一个作为人脸活体检测模型的输入，继续进行人脸活体检测。由此可以保证实际用于进行人脸活体检测的图像是当前的电子设备针对本次人脸活体检测任务现场采集的人脸图像，而不是攻击者通过阻断当前的电子设备现场采集图像而非法注入的人脸图像攻击样本(包括事先采集的人脸图像或者由其他电子设备现场采集的人脸图像)。
因而，通过本公开实施例，在人脸活体检测过程中，可以防止人脸图像攻击样本注入攻击，使得人脸识别的安全性得以提升。
在实现本公开发明构思的过程中，发明人发现，利用不同颜色的光照射人脸，人眼瞳孔会显示不同颜色的光斑。因而，在本公开实施例中，考虑利用这一原理来验证当前获取的人脸图像是否是电子设备本次启动人脸识别进程后现场采集的图像。
示例性的，每次进行人脸活体检测时，可以随机生成一个颜色序列(如红、绿、蓝)作为验证码。同时控制电子设备按照该颜色序列，每隔预定时间(如5秒)发出一种颜色的光来照射人脸，如先后输出红色光、绿色光和蓝色光。且电子设备每发出一种颜色的光，采集一次人脸图像，如输出红色光时采集一个人脸图像，输出绿色光时采集一个人脸图像，输出蓝色光时采集一个人脸图像，共依次采集到3个人脸图像。基于此，理论上本次人脸活体检测过程中，人脸活体检测模块获取到的人脸图像应该依次是上述的3个人脸图像。但是由于存在攻击者注入人脸图像攻击样本冒充上述的3个人脸图像的可能。因此，可以基于实际获取的3个人脸图像，获取对应的3个人眼图像，然后利用瞳孔颜色算法，依次验证这3个人眼图像中人眼瞳孔显示的光斑的颜色顺序是否与前述的验证码表征的颜色顺序一致，如是否依次是红、绿、蓝。如果两者一致，则认为人脸活体检测模块实际获取的图像正是电子设备在本次人脸活体检测任务中现场依次采集到的3个人脸图像。否则，如果两者不一致，则认为人脸活体检测模块实际获取的图像是被非法注入的人脸图像攻击样本。
进一步，在一些应用场景中，还存在其他攻击方式，比如利用攻击道具(如电子照片、纸质照片等，或3D头模、3D头套等)代替活体人脸进行攻击等。
由于不同材质的攻击道具对光的反射率与活人皮肤对光的反射率不同，而基于主动光的人脸活体检测方法，在操作S240，利用人脸图像序列中的至少一个人脸图像进行人脸活体检测，能够充分考虑到活体人脸和非活体人脸对光的反射率这一因素，即，能够判断输入模型的人脸图像是对活体人脸拍摄的图像还是对攻击道具拍摄的图像，因而本方案能够得到更精确的人脸活体检测结果。
应该理解，在本公开实施例中，可以基于人脸图像正样本和各种负样本(如各种人脸图像攻击样本)预先训练人脸活体检测模型。在操作S240，可以直接将人脸图像序列中的至少一个人脸图像输入该模型来进行人脸活体检测。
因而，通过本公开实施例，在人脸活体检测过程中，面对复杂样本攻击的情况，可以大大提高活体检测算法的准确率和泛化性。
需要说明的是，在本公开实施例中，特征提取网络可以使用MobileNet V2作为卷积神经网络的主干网络backbone。继续参考上述示例，可以将在不同颜色光下采集得到的3个人脸图像，在通道层进行连接形成一个9通道图像作为卷积神经网络的输入，该输入在网络的最后一层特征图上做全局平均池化操作后，最后经过全连接层和Softmax层进行图像分类，完成最终的人脸活体检测分类。
需要说明的是，在本公开实施例中，随机生成颜色序列作为验证码时，颜色序列中可以包括多个元素，由此可以增加颜色序列被破译的难度，进而可以提升人脸活体检测性能。应该理解，在本公开实施例中，随机生成颜色序列作为验证码时，颜色序列中也可以仅包括一个元素，该方案将在后续实施例中详细描述。
作为一种可选的实施例，基于人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列，包括如下操作。
针对人脸图像序列中的每个人脸图像，执行以下操作：进行人脸区域检测，得到已检测到目标人脸的第一图像；基于第一图像，确定目标人脸的关键点坐标；基于关键点坐标，对目标人脸进行人脸对齐，得到人脸已对齐的第二图像。
基于第二图像，得到人眼图像序列中对应的人眼图像。
在本公开实施例中，先获取人脸图像，再从人脸图像中截取人眼图像，然后再基于人眼图像进行人眼瞳孔颜色识别。可见，人眼图像的质量，对人眼瞳孔颜色识别结果的影响至关重要。
因此，在本公开实施例中，在从人脸图像中截取人眼图像之前，可以先进行图像预处理操作，以提升获取的人眼图像的质量。其中，在本公开实施例中，图像预处理操作可以包括但不限于人脸位置检测、人脸关键点检测、人脸对齐、图像归一化处理、随机数据增强等操作。
示例性的，在人脸活体检测过程中，首先，利用人脸识别设备给人脸(包括活体人脸、非活体人脸(攻击道具))随机打三种不同颜色的光，然后，利用人脸识别设备的前置摄像头采集人脸在这三种颜色光下的人脸图像，并将依次采集的三张图像作为一组，即作为一个人脸图像序列。
同时，可以定义人脸包含N个如72个关键点，分别为(x1，y1)，(x2，y2)……，(x71，y71)，(x72，y72)。
再然后，可以对该三张图像中的每张图像进行图像预处理。针对其中的每张图像，首先通过检测模型对人脸进行检测，得到目标人脸的大致位置区域，即得到一张包含目标人脸的图像。其中，检测模型为预先训练得到的人脸检测模型，可以检测到人脸在图像中的位置。其次根据检测到的人脸区域，通过人脸关键点检测模型对人脸关键点进行检测，得到目标人脸的关键点坐标值。其中，人脸关键点检测模型为预先训练得到的模型，可以直接调用，并输入已检测到目标人脸的图像，得到N个如72个人脸关键点坐标值，分别为(x1，y1)……(x72，y72)。然后根据目标人脸的关键点坐标值，对目标人脸进行人脸对齐，得到对应的人脸图像。示例性的，具体做法可以为，如根据72个人脸关键点坐标值，先得到x和y的最大值和最小值(如xmin，xmax，ymin，ymax)，再根据x和y的最大值和最小值确定一个人脸框，然后将此人脸框扩大三倍再截取人脸图像，并将截取的人脸图像调整到尺寸为224x224的图像。该图像可以作为人脸对齐处理后得到的图像。
再然后，还可以将人脸对齐处理后得到的每张图像进行归一化处理。在本公开实施例中，图像归一化处理是指，将图像中的每一个像素依次进行归一化处理。在一些实施例中，图像归一化处理的方法包括：将图像中每个像素的像素值先减128，再除以256，使每个像素的像素值在[-0.5，0.5]区间内。
进一步，还可以将归一化处理后得到的每张图像进行随机数据增强处理。
在本公开实施例中，针对图像预处理后得到的每张图像，可以继续截取相应的人眼图像，最终得到三张人眼图像，以便后续进行人眼瞳孔颜色识别。
通过本公开实施例，在截取人眼图像之前先对图像进行人脸对齐处理，可以避免因人脸较偏导致获取的人眼图像的质量不佳，进而导致无法进行瞳孔颜色识别或者瞳孔颜色识别效果较差。
进一步，作为一种可选的实施例，基于第二图像，得到人眼图像序列中对应的人眼图像，包括如下操作。
基于第二图像，获取左眼图像和右眼图像。
将左眼图像和右眼图像叠加，得到人眼图像序列中对应的双眼图像。
在一些实施例中，对于预处理后得到的每张人脸图像，可以从中截取对应的双眼图像，以用于后续进行人眼瞳孔颜色识别。
继续参考上述示例，可以通过以下操作截取双眼图像。根据上述示例，在得到72个人脸关键点坐标值之后，先将双眼区域图像截取下来，然后根据人脸关键点，找出左眼的眼角坐标(x13，y13)和(x17，y17)，并基于这两个眼角坐标求出左眼的眼角的距离L1和左眼的中心点C1，进而求得仿射变换矩阵M1，并根据仿射变换矩阵M1将原图(前面截取的双眼图像)仿射变换到尺寸为56x36的只有左眼的图像。
同理，根据人脸关键点，找出右眼的眼角坐标(x30，y30)和(x34，y34)，并基于这两个眼角坐标求出右眼的眼角的距离L2和右眼的中心点C2，进而求得仿射变换矩阵M2，并根据仿射变换矩阵M2将原图(前面截取的双眼图像)仿射变换到尺寸为56x36的只有右眼的图像。
将双眼的图像叠加，即，将前述的左眼的图像和前述的右眼的图像叠加，得到对应的双眼图像。示例性的，如果左眼图像为56x36x3(3表示R、G、B三个通道)，右眼图像也为56x36x3(3表示R、G、B三个通道)，则该左眼图像和右眼图像叠加后为56x36x6。
在本公开实施例中，可以直接调用预先训练得到的瞳孔颜色识别模型，将前述的双眼图像作为模型的输入，对瞳孔颜色进行识别。示例性的，瞳孔颜色识别模型可以是5层卷积层+3层最大池化层+1层全连接层的卷积神经网络。
通过本公开实施例，使用双眼图像进行瞳孔颜色识别，可以防止某只眼睛闭上或者被遮挡，导致无法进行瞳孔颜色识别或者瞳孔颜色识别效果不佳。
在其他实施例中，对于预处理后得到的每张人脸图像，还可以从中截取对应的单眼图像(如左眼图像或右眼图像)，以用于后续进行人眼瞳孔颜色识别。其中，截取左眼图像与截取右眼图像的方法，与截取双眼图像过程中涉及的截取左眼图像与截取右眼图像的方法相同，在此不再赘述。
应该理解，使用单眼图像进行瞳孔颜色识别，与使用双眼图像进行瞳孔颜色识别相比，前者因某只眼睛闭上或者被遮挡而导致无法进行瞳孔颜色识别或者瞳孔颜色识别效果不佳的可能性更大。
进一步，作为一种可选的实施例，基于人眼图像序列，对多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果，包括：将人眼图像序列中的每个双眼图像输入瞳孔颜色识别模型，以输出对应的瞳孔颜色识别结果。
需要说明的是，瞳孔颜色识别模型可以预先训练得到，进行瞳孔颜色识别时直接调用即可。
作为一种可选的实施例，该方法还可以包括：在获取包含多个人脸图像的人脸图像序列之前，控制电子设备在启动人脸识别进程后的预设时间段内每隔预定时间发出一种颜色的光，并控制电子设备每发出一种颜色的光后采集一次人脸图像。
通过本公开实施例，可以利用人脸在不同颜色的光线照射下，人眼瞳孔会显示不同颜色的光斑这一原理，来判断实际获取的人脸图像是否是电子设备基于当前任务现场采集活体人脸得到的图像。
进一步，作为一种可选的实施例，控制电子设备在预设时间段内每隔预定时间发出一种颜色的光，可以包括：控制电子设备在预设时间段内每隔预定时间随机发出一种颜色的光。
或者，在本公开的其他实施例中，也可以控制电子设备在预设时间段内每隔预定时间发出一种固定颜色的光。示例性的，每次进行人脸活体检测时，都可以控制电子设备依次发出红、绿、蓝三种颜色的光。
或者，在本公开的其他实施例中，还可以控制电子设备在预设时间段内每隔预定时间按照预设逻辑发出一种固定颜色的光。示例性的，还可以设置3种发光顺序，如“00表示按顺序依次发出红、绿、蓝三种颜色的光”，“01表示按顺序依次发出绿、红、蓝三种颜色的光”，“10表示按顺序依次发出蓝、绿、红三种颜色的光”，而第一次～第N次进行人脸活体检测时，可以按照00、01、10、00、01、10……的顺序，周而复始地依次发出对应颜色顺序的光。
应该理解，控制电子设备随机发出相应颜色的光与控制电子设备以其他方式发出相应颜色的光相比，前者可以增加颜色顺序被攻击者破译的难度，进而可以进一步提升人脸活体检测的安全性。
进一步，作为一种可选的实施例，控制电子设备在预设时间段内每隔预定时间随机发出一种颜色的光，可以包括：通过控制电子设备在预设时间段内每隔预定时间随机显示一种颜色的图片来发出对应颜色的光。
示例性的，在需要控制电子设备依次发出红、绿、蓝三种颜色的光的情况下，可以在电子设备的屏幕上依次显示红色图片、绿色图片和蓝色图片来实现。
通过本公开实施例，无需在人脸识别设备上额外增加主动光源，因而可以节约成本。
根据本公开的实施例，本公开还提供了另一种人脸活体检测方法。
图3示例性示出了根据本公开另一实施例的人脸活体检测方法的流程图。
如图3所示，人脸活体检测方法300可以包括：操作S310～S340。
在操作S310，获取人脸图像。
在操作S320，基于人脸图像，获取对应的人眼图像。
在操作S330，基于人眼图像，对人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果。
在操作S340，响应于瞳孔颜色识别结果表征人脸图像是电子设备现场采集的人脸图像，利用人脸图像进行人脸活体检测。
需要说明的是，瞳孔颜色识别结果可以用于确定人脸图像是否是电子设备启动人脸识别进程后现场采集的图像，其中，电子设备在启动人脸识别进程后随机发出一种颜色的光，并进行图像采集。
在一些实施例中，每次进行人脸活体检测时，都可以先验证当前获取的人脸图像是否是电子设备本次启动人脸识别进程后现场采集的图像。在确定当前获取的人脸图像是该电子设备本次启动人脸识别进程后现场采集的图像的情况下，再将当前获取的人脸图像中的至少一个作为人脸活体检测模型的输入，继续进行人脸活体检测。由此可以保证实际用于进行人脸活体检测的图像是当前的电子设备针对本次人脸活体检测任务现场采集的人脸图像，而不是攻击者通过阻断当前的电子设备现场采集图像而非法注入的人脸图像攻击样本。
因而，通过本公开实施例，在人脸活体检测过程中，可以防止人脸图像攻击样本注入攻击，使得人脸识别的安全性得以提升。
在实现本公开发明构思的过程中，发明人发现，利用不同颜色的光照射人脸，人眼瞳孔会显示不同颜色的光斑。因而，在本公开实施例中，考虑利用这一原理来验证当前获取的人脸图像是否是电子设备本次启动人脸识别进程后现场采集的图像。
示例性的，每次进行人脸活体检测时，可以随机生成一个颜色验证码。同时控制电子设备按照该颜色验证码，发出一种对应颜色的光来照射人脸，如颜色验证码表征红色，则发出红色光。且电子设备在发出对应颜色的光后，进行人脸图像采集，如输出红色光后，采集一张人脸图像。基于此，理论上本次人脸活体检测过程中，人脸活体检测模块获取到的人脸图像应该是上述的带有红色光信息的人脸图像。但是由于存在攻击者注入人脸图像攻击样本冒充上述的人脸图像的可能。因此，可以基于实际获取的人脸图像，获取对应的人眼图像，然后利用瞳孔颜色算法，验证这个人眼图像中人眼瞳孔显示的光斑的颜色顺序是否与前述的验证码表征的颜色一致，如是否是红色。如果两者一致，则认为人脸活体检测模块实际获取的图像正是电子设备在本次人脸活体检测任务中现场采集到的人脸图像。否则，如果两者不一致，则认为人脸活体检测模块实际获取的图像是被非法注入的人脸图像攻击样本。
进一步，在一些应用场景中，还存在其他攻击方式，比如利用攻击道具(如电子照片、纸质照片等，或3D头模、3D头套等)代替活体人脸进行攻击等。
由于不同材质的攻击道具对光的反射率与活人皮肤对光的反射率不同，而基于主动光的人脸活体检测方法，在操作S340，利用人脸图像序列中的至少一个人脸图像进行人脸活体检测，能够充分考虑到活体人脸和非活体人脸对光的反射率这一因素，即，能够判断输入模型的人脸图像是对活体人脸拍摄的图像还是对攻击道具拍摄的图像，因而本方案能够得到更精确的人脸活体检测结果。
应该理解，在本公开实施例中，可以基于人脸图像正样本和各种负样本(如各种人脸图像攻击样本)预先训练人脸活体检测模型。在操作S340，可以直接获取的人脸图像输入该模型来进行人脸活体检测。
因而，通过本公开实施例，在人脸活体检测过程中，面对复杂样本攻击的情况，可以大大提高活体检测算法的准确率和泛化性。
需要说明的是，在本公开实施例中，随机生成一种颜色作为验证码时，由于验证码中仅包括一种颜色信息，相比于验证码包含多种颜色信息而言，本方案虽然也可以增加颜色被破译的难度，并提升人脸活体检测性能，但是这种提升非常有限。
以下将结合图4和具体实施例详细阐述本公开。
如图4所示，在人脸活体检测过程中，获取到一组人脸图像(包含一个或者多个人脸图像的人脸图像序列)后，可以先利用人脸检测模型检测出每张人脸图像中目标人脸的位置区域，之后再进行人脸关键点检测，然后对每张图像进行预处理(包括人脸对齐等)，再然后根据人脸关键点截取对应的双眼图像，并对每张双眼图像进行瞳孔颜色识别。如果瞳孔颜色识别结果表征该组人脸图像的颜色顺序与随机产生的颜色验证码表征的颜色顺序一致，则将该组人脸图像中的至少之一作为人脸活体检测模型的输入，进行人脸活体检测，并输出对应的活体检测结果。
根据本公开的实施例，本公开还提供了一种人脸活体检测装置。
图5示例性示出了根据本公开实施例的人脸活体检测装置的框图。
如图5所示，人脸活体检测装置500可以包括：第一获取模块510、第二获取模块520、第一图像识别模块530和第一检测模块540。
第一获取模块510，用于获取包含多个人脸图像的人脸图像序列。
第二获取模块520，用于基于该人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列。
第一图像识别模块530，用于基于该人眼图像序列，对该多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果。
第一检测模块540，用于响应于瞳孔颜色识别结果表征该人脸图像序列是该电子设备启动人脸识别进程后现场采集的人脸图像的序列，利用该人脸图像序列中的至少一个人脸图像得到人脸活体检测结果。
作为一种可选的实施例，该第二获取模块还用于：针对该人脸图像序列中的每个人脸图像，执行以下操作：进行人脸区域检测，得到已检测到目标人脸的第一图像；基于该第一图像，确定该目标人脸的关键点坐标；基于该关键点坐标，对该目标人脸进行人脸对齐，得到第二图像；基于该第二图像，得到该人眼图像序列中对应的人眼图像。
作为一种可选的实施例，该第二获取模块还用于：基于该第二图像，获取左眼图像和右眼图像；以及将该左眼图像和该右眼图像叠加，得到对应的双眼图像。
作为一种可选的实施例，第一图像识别模块还用于：将人眼图像序列中的每个双眼图像输入瞳孔颜色识别模型，以输出对应的瞳孔颜色识别结果。
作为一种可选的实施例，该装置还包括：控制模块，用于在该获取包含多个人脸图像的人脸图像序列之前，控制该电子设备在启动人脸识别进程后的预设时间段内每隔预定时间发出一种颜色的光，并控制该电子设备每发出一种颜色的光后采集一次人脸图像。
作为一种可选的实施例，该控制模块还用于：控制该电子设备在该预设时间段内每隔该预定时间随机发出一种颜色的光。
作为一种可选的实施例，该控制模块还用于：通过控制该电子设备在该预设时间段内每隔该预定时间随机显示一种颜色的图片来发出对应颜色的光。
根据本公开的实施例，本公开还提供了另一种人脸活体检测装置。
图6示例性示出了根据本公开另一实施例的人脸活体检测装置的框图。
如图6所示，人脸活体检测装置600可以包括：第三获取模块610、第四获取模块620、第二图像识别模块630和第二检测模块640。
第三获取模块610，用于获取人脸图像。
第四获取模块620，用于基于该人脸图像，获取对应的人眼图像。
第二图像识别模块630，用于基于该人眼图像，对该人眼图像中人眼瞳孔显示的光斑颜色进行识别，瞳孔颜色识别结果。
第二检测模块640，用于响应于瞳孔颜色识别结果表征该人脸图像是电子设备启动人脸识别进程后现场采集的人脸图像，利用该人脸图像得到人脸活体检测结果。
应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题以及所实现的功能或达到的技术效果也对应相同或类似，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如人脸活体检测方法。例如，在一些实施例中，人脸活体检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的人脸活体检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人脸活体检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
本公开的技术方案中，所涉及的用户信息的记录，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种人脸活体检测方法，包括：
获取包含多个人脸图像的人脸图像序列；
基于所述人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列；
基于所述人眼图像序列，对所述多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及
响应于所述瞳孔颜色识别结果表征所述人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列，利用所述人脸图像序列中的至少一个人脸图像得到人脸活体检测结果；
所述方法还包括：
在所述获取包含多个人脸图像的人脸图像序列之前，控制所述电子设备在启动人脸识别进程后的预设时间段内每隔预定时间发出一种颜色的光，并控制所述电子设备每发出一种颜色的光后采集一次人脸图像；
所述方法还包括：
确定电子设备在启动人脸识别进程后的预设时间段内每次发出的光的颜色，得到输出光颜色序列；
确定人眼图像序列中每个人眼图像中的瞳孔颜色识别结果，得到反射光颜色序列；
响应于所述输出光颜色顺序和所述反射光颜色顺序一致，确定所述人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列。
2.根据权利要求1所述的方法，其中，基于所述人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列，包括：
针对所述人脸图像序列中的每个人脸图像，执行以下操作：
进行人脸区域检测，得到已检测到目标人脸的第一图像；
基于所述第一图像，确定所述目标人脸的关键点坐标；
基于所述关键点坐标，对所述目标人脸进行人脸对齐，得到第二图像；
基于所述第二图像，得到所述人眼图像序列中对应的人眼图像。
3.根据权利要求2所述的方法，其中，基于所述第二图像，得到所述人眼图像序列中对应的人眼图像，包括：
基于所述第二图像，获取左眼图像和右眼图像；以及
将所述左眼图像和所述右眼图像叠加，得到所述人眼图像序列中对应的双眼图像。
4.根据权利要求3所述的方法，其中，基于所述人眼图像序列，对所述多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果，包括：
将所述人眼图像序列中的每个双眼图像输入瞳孔颜色识别模型，以输出对应的瞳孔颜色识别结果。
5.根据权利要求1所述的方法，其中，控制所述电子设备在启动人脸识别进程后的预设时间段内每隔预定时间发出一种颜色的光，包括：
控制所述电子设备在所述预设时间段内每隔所述预定时间随机发出一种颜色的光。
6.根据权利要求5所述的方法，其中，控制所述电子设备在所述预设时间段内每隔所述预定时间随机发出一种颜色的光，包括：
通过控制所述电子设备在所述预设时间段内每隔所述预定时间随机显示一种颜色的图片来发出对应颜色的光。
7.一种人脸活体检测装置，包括：
第一获取模块，用于获取包含多个人脸图像的人脸图像序列；
第二获取模块，用于基于所述人脸图像序列，获取对应的包含多个人眼图像的人眼图像序列；
第一图像识别模块，用于基于所述人眼图像序列，对所述多个人眼图像中的每个人眼图像中人眼瞳孔显示的光斑颜色进行识别，得到瞳孔颜色识别结果；以及
第一检测模块，用于响应于所述瞳孔颜色识别结果表征所述人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列，利用所述人脸图像序列中的至少一个人脸图像得到人脸活体检测结果；
所述装置还包括：
控制模块，用于在所述获取包含多个人脸图像的人脸图像序列之前，控制所述电子设备在启动人脸识别进程后预设时间段内每隔预定时间发出一种颜色的光，并控制所述电子设备每发出一种颜色的光后采集一次人脸图像；
所述装置还包括：
现场采集判断模块，用于确定电子设备在启动人脸识别进程后的预设时间段内每次发出的光的颜色，得到输出光颜色序列；确定人眼图像序列中每个人眼图像中的瞳孔颜色识别结果，得到反射光颜色序列；响应于所述输出光颜色顺序和所述反射光颜色顺序一致，确定所述人脸图像序列是电子设备启动人脸识别进程后现场采集的人脸图像的序列。
8.根据权利要求7所述的装置，其中，所述第二获取模块还用于：
针对所述人脸图像序列中的每个人脸图像，执行以下操作：
进行人脸区域检测，得到已检测到目标人脸的第一图像；
基于所述第一图像，确定所述目标人脸的关键点坐标；
基于所述关键点坐标，对所述目标人脸进行人脸对齐，得到第二图像；
基于所述第二图像，得到所述人眼图像序列中对应的人眼图像。
9.根据权利要求8所述的装置，其中，所述第二获取模块还用于：
基于所述第二图像，获取左眼图像和右眼图像；以及
将所述左眼图像和所述右眼图像叠加，得到所述人眼图像序列中对应的双眼图像。
10.根据权利要求9所述的装置，其中，所述第一图像识别模块还用于：
将所述人眼图像序列中的每个双眼图像输入瞳孔颜色识别模型，以输出对应的瞳孔颜色识别结果。
11.根据权利要求7所述的装置，其中，所述控制模块还用于：
控制所述电子设备在所述预设时间段内每隔所述预定时间随机发出一种颜色的光。
12.根据权利要求11所述的装置，其中，所述控制模块还用于：
通过控制所述电子设备在所述预设时间段内每隔所述预定时间随机显示一种颜色的图片来发出对应颜色的光。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
CN202110524896.3A 2021-05-13 2021-05-13 人脸活体检测方法、装置、设备及存储介质 Active CN113205057B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110524896.3A CN113205057B (zh) 2021-05-13 2021-05-13 人脸活体检测方法、装置、设备及存储介质
KR1020220053255A KR20220063127A (ko) 2021-05-13 2022-04-29 얼굴 생체 검출 방법, 장치, 전자 기기, 저장 매체, 및 컴퓨터 프로그램
EP22171407.4A EP4033458A3 (en) 2021-05-13 2022-05-03 Method and apparatus of face anti-spoofing, device, storage medium, and computer program product
US17/737,778 US20220262163A1 (en) 2021-05-13 2022-05-05 Method of face anti-spoofing, device, and storage medium
JP2022078696A JP2022105583A (ja) 2021-05-13 2022-05-12 顔生体検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110524896.3A CN113205057B (zh) 2021-05-13 2021-05-13 人脸活体检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113205057A CN113205057A (zh) 2021-08-03
CN113205057B true CN113205057B (zh) 2023-08-08

Family

ID=77031152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110524896.3A Active CN113205057B (zh) 2021-05-13 2021-05-13 人脸活体检测方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20220262163A1 (zh)
EP (1) EP4033458A3 (zh)
JP (1) JP2022105583A (zh)
KR (1) KR20220063127A (zh)
CN (1) CN113205057B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230091381A1 (en) * 2021-09-17 2023-03-23 Jumio Corporation Spoof detection using eye boundary analysis
CN113792701A (zh) * 2021-09-24 2021-12-14 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备和存储介质
CN114333031A (zh) * 2021-12-31 2022-04-12 北京瑞莱智慧科技有限公司 活体检测模型的漏洞检测方法、装置及存储介质
CN114926891A (zh) * 2022-06-01 2022-08-19 同方威视科技江苏有限公司 瞳孔检测方法、装置、存储介质及电子设备
CN115359041A (zh) * 2022-10-13 2022-11-18 南通启锦智能科技有限公司 一种基于机器学习的电子元器件识别方法
CN117542127A (zh) * 2024-01-09 2024-02-09 南方科技大学 基于多光谱偏振光的皮肤检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537111A (zh) * 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
CN111783640A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 检测方法、装置、设备以及存储介质
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614204B2 (en) * 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
WO2019238251A1 (en) * 2018-06-13 2019-12-19 Veridas Digital Authentication Solutions, S.L. Authenticating an identity of a person

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537111A (zh) * 2018-02-26 2018-09-14 阿里巴巴集团控股有限公司 一种活体检测的方法、装置及设备
CN111783640A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 检测方法、装置、设备以及存储介质
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备

Also Published As

Publication number Publication date
US20220262163A1 (en) 2022-08-18
CN113205057A (zh) 2021-08-03
JP2022105583A (ja) 2022-07-14
KR20220063127A (ko) 2022-05-17
EP4033458A3 (en) 2022-10-12
EP4033458A2 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
CN113205057B (zh) 人脸活体检测方法、装置、设备及存储介质
US10699103B2 (en) Living body detecting method and apparatus, device and storage medium
WO2021073364A1 (zh) 一种人脸活体检测方法、装置、设备及存储介质
US20200184059A1 (en) Face unlocking method and apparatus, and storage medium
US11321575B2 (en) Method, apparatus and system for liveness detection, electronic device, and storage medium
CN113361349B (zh) 人脸活体检测方法、装置、电子设备和存储介质
CN112329612A (zh) 活体检测方法、装置及电子设备
CN110956114A (zh) 人脸活体检测方法、装置、检测系统及存储介质
CN112270745B (zh) 一种图像生成方法、装置、设备以及存储介质
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
US10853631B2 (en) Face verification method and apparatus, server and readable storage medium
CN111382592B (zh) 活体检测方法和设备
CN111104833A (zh) 用于活体检验的方法和装置，存储介质和电子设备
JP2022133378A (ja) 顔生体検出方法、装置、電子機器、及び記憶媒体
CN113221767B (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN113469085B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110688878B (zh) 活体识别检测方法、装置、介质及电子设备
CN115273184B (zh) 人脸活体检测模型训练方法及装置
CN114445898B (zh) 人脸活体检测方法、装置、设备、存储介质及程序产品
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质
CN113901423B (zh) 一种基于人脸识别的智能安防设备控制方法和系统
CN113792791B (zh) 针对视觉模型的处理方法及装置
CN113642428B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN114202806A (zh) 活体检测方法、装置、电子设备和存储介质
CN116229546A (zh) 基于多任务的人脸识别方法、网络模型、训练方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant