CN111652082A - 人脸活体检测方法和装置 - Google Patents

人脸活体检测方法和装置 Download PDF

Info

Publication number
CN111652082A
CN111652082A CN202010402851.4A CN202010402851A CN111652082A CN 111652082 A CN111652082 A CN 111652082A CN 202010402851 A CN202010402851 A CN 202010402851A CN 111652082 A CN111652082 A CN 111652082A
Authority
CN
China
Prior art keywords
image
preprocessed
detection
local
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010402851.4A
Other languages
English (en)
Other versions
CN111652082B (zh
Inventor
户磊
王军华
陈智超
康凯
朱海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202010402851.4A priority Critical patent/CN111652082B/zh
Publication of CN111652082A publication Critical patent/CN111652082A/zh
Application granted granted Critical
Publication of CN111652082B publication Critical patent/CN111652082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种人脸活体检测方法和装置，人脸活体检测方法包括获取预处理图像，预处理图像包括彩色图像和与彩色图像对应的红外图像；基于预处理图像，获取预处理图像人脸框和多个预处理图像关键点；基于与彩色图像对应的预处理图像人脸框，获取彩色图权重和红外图权重；基于预处理图像和预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，得到人脸活体检测模型输出的人脸活体检测结果。本发明实施例提供的人脸活体检测方法，多模态图像的信息量多于单模态图像的信息量，不仅检测成本低，而且检测效果好。

Description

人脸活体检测方法和装置
技术领域
本发明涉及计算机视觉技术领域，更具体地，涉及一种人脸活体检测方法和装置。
背景技术
由于基于图像的人脸识别技术具有可靠性和友好性，人脸识别技术已被广泛应用于个人身份判别系统中。然而，人脸识别技术在安全性上还存在较大的问题，这给应用人脸识别技术的系统，尤其是金融支付系统带来了巨大安全隐患。人脸识别技术关注的是图像中的对象是否为特定的对象，即对象的身份是否正确。如果用对象的人脸打印照片或者人脸视频去攻击应用人脸识别技术的系统，系统是无法防范的。所以需要在人脸识别之前进行人脸活体检测，用以判断对象是否为真实的对象，即是否为对象本人，而非对象的照片或视频。
人脸活体检测利用图像处理和分析技术，从人脸图像中得到某些特定的信息，然后通过阈值或者训练分类器的方法，把人脸图像分为真人脸或者假人脸。常见的人脸活体检测方法包括以下三种：
第一种是基于运动检测的方法，这种方法又分配合式运动和非配合式运动两种。配合式运动检测方法是对象按照给定指令完成张嘴、闭眼、抬头等动作，利用算法判断对象是否按照给定指令完成动作，如果是，则认为对象是活体；非配合式运动检测方法是基于人脸肌肉潜意识的运动，比如眨眼和张嘴来进行检测，这种方法需要使用多帧图像来实现运动的判断。
第二种是基于纹理检测的方法，这种方法是从图像中提取纹理特征作为关键信息，利用提取的大量真人脸和假人脸的纹理特征，训练分类器来判断真假人脸，这种方法一般只需要一帧图像，速度较快。
第三种是基于心跳rPPG信号检测的方法，真人脸皮肤中血液流动会对人的皮肤颜色造成微小的变化，这种变化跟心跳收缩和舒张的频率一致，假人脸无法模拟这种现象。通过对连续多帧图像的频域分析，可以计算出皮肤颜色变化的频率，如果计算出的频率与人类心跳频率一致，则认为是活体。
人脸活体检测常用的图像类型包括彩色图、红外图和深度图，人脸活体检测方法往往只采用某一类型的一张或者多张图像进行人脸活体检测，单一类型的一张图像包含的信息量少，容易受客观环境影响，人脸活体检测效果差，单一类型的多张图像会造成检测耗时长。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的人脸活体检测方法、装置、电子设备和可读存储介质。
第一方面，本发明实施例提供一种人脸活体检测方法包括：获取预处理图像，所述预处理图像包括彩色图像和与所述彩色图像对应的红外图像；基于所述预处理图像，获取预处理图像人脸框和多个预处理图像关键点；基于与所述彩色图像对应的所述预处理图像人脸框，获取彩色图权重和红外图权重；基于所述预处理图像和所述预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；将所述彩色图权重、所述红外图权重、所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征输入至人脸活体检测模型，得到所述人脸活体检测模型输出的人脸活体检测结果；其中，所述人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与所述预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与所述预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
在一些实施例中，所述人脸活体检测模型包括全局检测模型和局部检测模型，所述将所述彩色图权重、所述红外图权重、所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征输入至人脸活体检测模型，得到所述人脸活体检测模型输出的人脸活体检测结果包括：将所述预处理图像全局感兴趣特征输入至所述全局检测模型，得到所述全局检测模型输出的预处理图像全局检测结果；将所述预处理图像局部感兴趣特征输入至所述局部检测模型，得到所述局部检测模型输出的预处理图像局部检测结果；基于所述预处理图像全局检测结果和所述预处理图像局部检测结果，获取预处理图像检测结果；基于所述预处理图像检测结果、所述彩色图权重和所述红外图权重，获取所述人脸活体检测结果。
在一些实施例中，所述全局检测模型包括全局检测第一模型和全局检测第二模型，所述局部检测模型包括局部检测第一模型和局部检测第二模型，所述将所述预处理图像全局感兴趣特征输入至所述全局检测模型，得到所述全局检测模型输出的预处理图像全局检测结果包括：将与所述彩色图像对应的所述预处理图像全局感兴趣特征输入至所述全局检测第一模型，得到所述全局检测第一模型输出的预处理图像全局检测第一结果；将与所述红外图像对应的所述预处理图像全局感兴趣特征输入至所述全局检测第二模型，得到所述全局检测第二模型输出的预处理图像全局检测第二结果；所述将所述预处理图像局部感兴趣特征输入至所述局部检测模型，得到所述局部检测模型输出的预处理图像局部检测结果包括：将与所述彩色图像对应的所述预处理图像局部感兴趣特征输入至所述局部检测第一模型，得到所述局部检测第一模型输出的预处理图像局部检测第一结果；将与所述红外图像对应的所述预处理图像局部感兴趣特征输入至所述局部检测第二模型，得到所述局部检测第二模型输出的预处理图像局部检测第二结果；所述基于所述预处理图像全局检测结果和所述预处理图像局部检测结果，获取预处理图像检测结果包括：基于所述预处理图像全局检测第一结果和所述预处理图像局部检测第一结果，获取与所述彩色图像对应的预处理图像检测结果；基于所述预处理图像全局检测第二结果和所述预处理图像局部检测第二结果，获取与所述红外图像对应的预处理图像检测结果；所述基于所述预处理图像检测结果、所述彩色图权重和所述红外图权重，获取所述人脸活体检测结果包括：基于与所述彩色图像对应的预处理图像检测结果、与所述红外图像对应的预处理图像检测结果、所述彩色图权重和所述红外图权重，获取所述人脸活体检测结果。
在一些实施例中，所述全局检测模型和所述局部检测模型基于可以自动调整困难样本权重的损失函数确定。
在一些实施例中，所述基于所述预处理图像和所述预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征包括：获取人脸模型关键点；基于所述预处理图像关键点和所述人脸模型关键点，获取变换矩阵；基于所述预处理图像和所述变换矩阵，获取预处理对齐图像；基于所述预处理对齐图像，获取所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征。
在一些实施例中，所述局部样本结果包括局部样本第一结果和局部样本第二结果，其中，所述局部样本第一结果用于监督所述人脸活体检测模型，所述局部样本第二结果用于辅助监督所述人脸活体检测模型。
在一些实施例中，所述获取预处理图像，所述预处理图像包括彩色图像和与所述彩色图像对应的红外图像之前包括：获取相机参数；获取原始彩色图像和与所述原始彩色图像对应的原始红外图像；基于所述相机参数和所述原始红外图像，获取所述红外图像；基于所述原始彩色图像，获取所述彩色图像。
第二方面，本发明实施例提供一种人脸识别装置包括：获取单元，用于获取预处理图像，所述预处理图像包括彩色图像和与所述彩色图像对应的红外图像；第一检测单元，用于基于所述预处理图像，获取预处理图像人脸框和多个预处理图像关键点；计算单元，用于基于与所述彩色图像对应的所述预处理图像人脸框，获取彩色图权重和红外图权重；提取单元，用于基于所述预处理图像和所述预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；第二检测单元，用于将所述彩色图权重、所述红外图权重、所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征输入至人脸活体检测模型，得到所述人脸活体检测模型输出的人脸活体检测结果；其中，所述人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与所述预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与所述预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
第三方面，本发明实施例提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的人脸活体检测方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的人脸活体检测方法的步骤。
本发明实施例提供的人脸活体检测方法、装置、电子设备和可读存储介质，使用彩色和红外双目摄像头同步采集彩色图像和红外图像，计算彩色图权重和红外图权重，并将彩色图权重和红外图权重用于人脸活体检测模型的计算过程中，多模态图像包含的信息量远多于单模态图像包含的信息量，不仅检测成本低，而且检测效果好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸活体检测方法的流程图；
图2为本发明实施例提供的人脸活体检测方法的人脸框和关键点示意图；
图3为本发明实施例提供的人脸活体检测方法的全局感兴趣特征示意图；
图4为本发明实施例提供的人脸活体检测方法的局部感兴趣特征示意图；
图5为本发明实施例提供的另一人脸活体检测方法的模块示意图；
图6为本发明实施例提供的另一人脸活体检测方法的算法流程图；
图7为本发明实施例提供的人脸活体检测装置的结构示意图；
图8为本发明实施例提供的人脸活体检测电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明实施例提供的人脸活体检测方法。
如图1所示，本发明实施例提供的人脸活体检测方法包括步骤S100-S500。
步骤S100、获取预处理图像，预处理图像包括彩色图像和与彩色图像对应的红外图像。
可以理解的是，深度相机有两个摄像头，一个是彩色摄像头，另一个是红外摄像头，彩色摄像头拍摄彩色图像，红外摄像头同步拍摄红外图像，彩色图像和红外图像的大小相同。
步骤S200、基于预处理图像，获取预处理图像人脸框和多个预处理图像关键点。
可以理解的是，预处理图像包括彩色图像和与彩色图像对应的红外图像。
如图2所示，使用人脸检测算法在彩色图像中检测出彩色图像人脸框和五个彩色图像关键点，彩色图像人脸框用BoxRGB表示，五个彩色图像关键点为左眼、右眼、鼻头、左嘴角和右嘴角，分别用
Figure BDA0002490153780000071
表示。
如图2所示，使用人脸检测算法在红外图像中检测出红外图像人脸框和五个红外图像关键点，红外图像人脸框用BoxIR表示，五个红外图像关键点为左眼、右眼、鼻头、左嘴角和右嘴角，分别用
Figure BDA0002490153780000072
表示。
如果在彩色图像或者红外图像的一个图像中没有检测出人脸框，则用另一个图像中检测出的人脸框代替，如果彩色图像和红外图像中都没有检测出人脸框，则判定彩色图像和红外图像中没有人脸，需要重复步骤S100，用以重新获取彩色图像和红外图像。
如果在彩色图像或者红外图像的一个图像中没有检测出关键点，则用另一个图像中检测出的对应的关键点代替，如果彩色图像和红外图像中都没有检测出关键点，则判定彩色图像和红外图像中没有人脸，需要重复步骤S100，用以重新获取彩色图像和红外图像。
本发明实施例对人脸检测算法不作具体限定，对关键点的数量不作具体限定，本发明实施例以五个关键点举例。
在彩色图像中检测出彩色图像人脸框和五个彩色图像关键点，并且在红外图像中检测出红外图像人脸框和五个红外图像关键点，分别计算彩色图像人脸框左上角坐标和红外图像人脸框左上角坐标、彩色图像人脸框右下角坐标和红外图像人脸框右下角坐标、彩色图像左眼坐标和红外图像左眼坐标、彩色图像右眼坐标和红外图像右眼坐标、彩色图像鼻头坐标和红外图像鼻头坐标、彩色图像左嘴角坐标和红外图像左嘴角坐标、彩色图像右嘴角坐标和红外图像右嘴角坐标之间的一共七个欧式距离，欧式距离的公式为：
Figure BDA0002490153780000081
其中，D为彩色图像和红外图像对应点之间的欧氏距离，(xi,yi)为彩色图像中点的坐标值，(xj,yj)为彩色图像中点的坐标值。
计算彩色图像人脸框和红外图像人脸框的平均长度，计算公式为：
Figure BDA0002490153780000082
其中，HAvg为平均长度，
Figure BDA0002490153780000083
为彩色图像人脸框的长度，
Figure BDA0002490153780000084
为红外图像人脸框的长度。
计算彩色图像人脸框和红外图像人脸框的平均宽度，计算公式为：
Figure BDA0002490153780000091
其中，WAvg为平均宽度，
Figure BDA0002490153780000093
为彩色图像人脸框的宽度，
Figure BDA0002490153780000094
为红外图像人脸框的宽度。
如果七个欧式距离中的最大值超过阈值，则认为人脸检测错误，需要重复步骤S100，用以重新获取彩色图像和红外图像，最大阈值的计算公式为：
TD＝0.1×max(HAvg,WAvg)
其中，TD为阈值，HAvg为平均长度，WAvg为平均宽度。
步骤S300、基于与彩色图像对应的预处理图像人脸框，获取彩色图权重和红外图权重。
可以理解的是，根据彩色图像人脸框BoxRGB内像素点的平均亮度值来计算彩色图权重和红外图权重。
彩色图像人脸框BoxRGB内像素点的平均亮度值的计算公式为：
Figure BDA0002490153780000092
其中，VAvg为彩色图像人脸框BoxRGB内像素点的平均亮度值，
Figure BDA0002490153780000095
为彩色图像人脸框的宽度，
Figure BDA0002490153780000096
为彩色图像人脸框的长度，Vi为第i个像素点的亮度值，第i个像素点的亮度值的计算公式为：
Vi＝max(Ri,Gi,Bi)
其中，Ri为第i个像素点红色的亮度值，Gi为第i个像素点绿色的亮度值，Bi为第i个像素点蓝色的亮度值。
如果VAvg<30或者VAvg>255，表明彩色图像人脸框内过暗或者过亮，质量较差，后续步骤中将不再采用彩色图像。
如果30≤VAvg≤255，后续步骤中同时使用彩色图像和红外图像，彩色图权重的计算公式为：
Figure BDA0002490153780000101
其中，WRGB为彩色图权重，VAvg为彩色图像人脸框BoxRGB内彩色图的平均亮度值。
红外图权重的计算公式为：
WIR＝0.5-WRGB
其中，WIR为彩色图权重，WRGB为彩色图权重。
步骤S400、基于预处理图像和预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征。
可以理解的是，预处理图像包括彩色图像和与彩色图像对应的红外图像，预处理图像关键点包括彩色图像关键点和红外图像关键点。
如图3所示，对于预处理图像和预处理图像关键点，以预处理图像左眼关键点和预处理图像右眼关键点连线中心点(Pxc,Pyc)为中心，在预处理图像上选取128×128的矩形图像，作为预处理图像全局感兴趣特征。
如图4所示，对于预处理图像和预处理图像关键点，预处理图像任一眼睛关键点的坐标为(Px,Py)，在预处理图像上选取包围该眼睛的32×32的矩形图像，作为预处理图像局部感兴趣特征，预处理图像局部感兴趣特征中心的坐标为(Px-5,Py)。
步骤S500、将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，得到人脸活体检测模型输出的人脸活体检测结果。
可以理解的是，在人脸活体检测模型的应用阶段，人脸活体检测模型的输入为彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征，人脸活体检测模型的输出为人脸活体检测结果。
其中，预处理图像全局感兴趣特征包括彩色图像全局感兴趣特征和红外图像全局感兴趣特征。
将彩色图像全局感兴趣特征输入至人脸活体检测模型之前，随机从彩色图像全局感兴趣特征中截取112×112的特征，不进行数据增强。
将红外图像全局感兴趣特征输入至人脸活体检测模型之前，随机从红外图像全局感兴趣特征中截取112×112的特征，不进行数据增强。
预处理图像局部感兴趣特征包括彩色图像局部感兴趣特征和红外图像局部感兴趣特征。
将彩色图像局部感兴趣特征输入至人脸活体检测模型之前，随机从彩色图像局部感兴趣特征中截取28×28的特征，不进行数据增强。
将红外图像局部感兴趣特征输入至人脸活体检测模型之前，随机从红外图像局部感兴趣特征中截取28×28的特征，不进行数据增强。
预处理图像全局感兴趣特征和预处理图像局部感兴趣特征中像素点的像素值做归一化处理，计算公式为：
Figure BDA0002490153780000111
其中，
Figure BDA0002490153780000112
为归一化处理后的像素值，x为归一化处理前的像素值，x的范围为[0,255]。
其中，人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
可以理解的是，在人脸活体检测模型的训练阶段，人脸活体检测模型的输入为彩色图权重、红外图权重、预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征，样本标签为全局样本结果和局部样本结果，人脸活体检测模型的输出为人脸活体样本结果。
其中，人脸活体检测模型的样本标签为人工标注，全局样本结果和预处理样本图像全局感兴趣特征对应，局部样本结果和预处理样本图像局部感兴趣特征对应。
预处理样本图像全局感兴趣特征分为两类：活体和非活体，全局样本结果为0表示活体，全局样本结果为1表示非活体。预处理样本图像局部感兴趣特征分为两类：活体和非活体，局部样本结果为0表示活体，局部样本结果为1表示非活体。
其中，预处理样本图像全局感兴趣特征包括彩色样本图像全局感兴趣特征和红外样本图像全局感兴趣特征。
将彩色样本图像全局感兴趣特征输入至人脸活体检测模型之前，随机从彩色样本图像全局感兴趣特征中截取112×112的特征，采用随机左右翻转、随机改变亮度和对比度的方法做数据增强。
将红外样本图像全局感兴趣特征输入至人脸活体检测模型之前，随机从红外样本图像全局感兴趣特征中截取112×112的特征，采用随机左右翻转和随机小幅度改变灰度值的方法做数据增强。
预处理样本图像局部感兴趣特征包括彩色样本图像局部感兴趣特征和红外样本图像局部感兴趣特征。
将彩色样本图像局部感兴趣特征输入至人脸活体检测模型之前，随机从彩色样本图像局部感兴趣特征中截取28×28的特征，采用随机左右翻转、随机改变亮度和对比度的方法做数据增强。
将红外样本图像局部感兴趣特征输入至人脸活体检测模型之前，随机从红外样本图像局部感兴趣特征中截取28×28的特征，采用随机左右翻转和随机小幅度改变灰度值的方法做数据增强。
本发明实施例提供的人脸活体检测方法，使用彩色和红外双目摄像头同步采集彩色图像和红外图像，计算彩色图权重和红外图权重，并将彩色图权重和红外图权重用于人脸活体检测模型的计算过程中，多模态图像包含的信息量远多于单模态图像包含的信息量，不仅检测成本低，而且检测效果好。
在一些实施例中，人脸活体检测模型包括全局检测模型和局部检测模型。
可以理解的是，对于速度要求高同时类别少的分类任务，可以使用轻量化网络，本发明实施例针对两种分辨率图像，设计了两种不同卷积神经网络模型：全局检测模型Net112和局部检测模型Net56，如表1所示。
表1 Net112和Net56对比表
Figure BDA0002490153780000131
其中，BlockA和BlockB的具体结构如图5所示。
本发明实施例对分类器不作具体限定，本发明实施例以Softmax分类器举例。
局部检测模型Net56网络后接两个分支，分别针对活体状态和眼镜状态进行分类。
步骤S500包括步骤S510-S540。
步骤S510、将预处理图像全局感兴趣特征输入至全局检测模型，得到全局检测模型输出的预处理图像全局检测结果。
可以理解的是，在全局检测模型Net112的应用阶段，全局检测模型Net112的输入为预处理图像全局感兴趣特征，全局检测模型Net112的输出为预处理图像全局检测结果。
步骤S520、将预处理图像局部感兴趣特征输入至局部检测模型，得到局部检测模型输出的预处理图像局部检测结果。
可以理解的是，在局部检测模型Net56的应用阶段，局部检测模型Net56的输入为预处理图像局部感兴趣特征，局部检测模型Net56的输出为预处理图像局部检测结果。
步骤S530、基于预处理图像全局检测结果和预处理图像局部检测结果，获取预处理图像检测结果。
可以理解的是，将相同模态的预处理图像全局检测结果和预处理图像局部检测结果，进行融合计算，得到该模态的预处理图像检测结果。
步骤S540、基于预处理图像检测结果、彩色图权重和红外图权重，获取人脸活体检测结果。
可以理解的是，预处理图像检测结果包括彩色图像检测结果和红外图像检测结果，将彩色图像检测结果和红外图像检测结果，依据彩色图权重和红外图权重的比例，进行融合计算和比较处理后，得到人脸活体检测结果。
本发明实施例提供的人脸活体检测方法，针对不同模态的图像，采用不同的轻量型卷积神经网络同步进行特征提取，减少了检测的耗时，也提高了检测的准确性。
在一些实施例中，全局检测模型包括全局检测第一模型和全局检测第二模型，局部检测模型包括局部检测第一模型和局部检测第二模型。
本发明实施例提供的人脸活体检测方法的算法流程图如图6所示，步骤S510包括步骤S511和S512。
步骤S511、将与彩色图像对应的预处理图像全局感兴趣特征输入至全局检测第一模型，得到全局检测第一模型输出的预处理图像全局检测第一结果。
可以理解的是，在全局检测第一模型的应用阶段，全局检测第一模型的输入为彩色图像全局感兴趣特征，全局检测第一模型的输出为彩色图像全局检测结果。
步骤S512、将与红外图像对应的预处理图像全局感兴趣特征输入至全局检测第二模型，得到全局检测第二模型输出的预处理图像全局检测第二结果。
可以理解的是，在全局检测第二模型的应用阶段，全局检测第二模型的输入为红外图像全局感兴趣特征，全局检测第二模型的输出为彩色图像全局检测结果。
步骤S520包括步骤S521和S522。
步骤S521、将与彩色图像对应的预处理图像局部感兴趣特征输入至局部检测第一模型，得到局部检测第一模型输出的预处理图像局部检测第一结果。
可以理解的是，在局部检测第一模型的应用阶段，局部检测第一模型的输入为彩色图像局部感兴趣特征，局部检测第一模型的输出为彩色图像局部检测结果。
步骤S522、将与红外图像对应的预处理图像局部感兴趣特征输入至局部检测第二模型，得到局部检测第二模型输出的预处理图像局部检测第二结果。
可以理解的是，在局部检测第二模型的应用阶段，局部检测第二模型的输入为红外图像局部感兴趣特征，局部检测第二模型的输出为红外图像局部检测结果。
步骤S530包括步骤S531和S532。
步骤S531、基于预处理图像全局检测第一结果和预处理图像局部检测第一结果，获取与彩色图像对应的预处理图像检测结果。
可以理解的是，基于彩色图像全局检测结果和彩色图像局部检测结果，计算彩色图像检测结果，计算公式为：
ResultRGB＝0.7×s1+0.3×s2
其中，ResultRGB为彩色图像检测结果，s1为彩色图像全局检测结果，s2为彩色图像局部检测结果。
步骤S532、基于预处理图像全局检测第二结果和预处理图像局部检测第二结果，获取与红外图像对应的预处理图像检测结果。
可以理解的是，基于红外图像全局检测结果和红外图像局部检测结果，计算红外图像检测结果，计算公式为：
ResultIR＝0.7×s3+0.3×s4
其中，ResultIR为红外图像检测结果，s3为红外图像全局检测结果，s4为红外图像局部检测结果。
步骤S540包括基于与彩色图像对应的预处理图像检测结果、与红外图像对应的预处理图像检测结果、彩色图权重和红外图权重，获取人脸活体检测结果。
可以理解的是，基于彩色图像检测结果、红外图像检测结果、彩色图权重和红外图权重，计算人脸活体检测结果得分，计算公式为：
Result＝WRGB×ResultRGB+WIR×ResultIR
其中，Result为人脸活体检测结果得分，WRGB为彩色图权重，WIR为红外图权重，ResultRGB为彩色图像检测结果，ResultIR为红外图像检测结果。如果没有采用彩色图像，则ResultRGB为0。
如果Result>0.5，人脸活体检测结果为1，如果Result≤0.5，人脸活体检测结果为0。
本发明实施例提供的人脸活体检测方法，从多模态的全局区域和判别能力最强的眼部区域进行特征提取，并合理结合这些特征作为检测依据，提高了人脸活体检测的可靠性。
在一些实施例中，全局检测模型和局部检测模型基于可以自动调整困难样本权重的损失函数确定。
可以理解的是，人脸非活体的训练样本一般是仿真度较低的训练样本较多，而仿真度较高的训练样本较少，本发明实施例采用基于可以自动调整困难样本权重的损失函数来对全局检测模型和局部检测模型进行优化训练，本发明实施例以Focal Loss损失函数举例。
本发明实施例提供的人脸活体检测方法，针对人脸非活体训练样本的特征，采用对应的损失函数对全局检测模型和局部检测模型进行优化训练，更大程度地提高了人脸活体检测的准确性。
在一些实施例中，步骤S400包括步骤S410-S440。
步骤S410、获取人脸模型关键点。
可以理解的是，人脸在图像中可能不正，不利于根据人脸器官几何特征提取感兴趣区域，故需要先对人脸图像进行对齐操作。首先设定一个标准人脸模型M，在分辨率为112×112的图像中，人脸位于图像正中间并处于正向，人脸的五个关键点坐标分别为[(30.2946,51.6963),(65.5318,51.5014),(48.0252,71.7366),(33.5493,92.3655),(62.7299,92.2041)]。
然后根据标准人脸模型M生成另外两种分辨率也为112×112的非标准人脸模型M1和M2，M1只包含了人脸正中心部分区域，重点关注面部皮肤特征，M2不仅包含人脸，还包含了人脸周围区域，同时兼顾了人脸及周围的环境特征。非标准人脸模型M1的关键点坐标的方法如下所示：
P′x1＝56+(Px-56)×factor1
P′y1＝56+(Py-56)×factor1
其中，(Px,Py)为标准人脸模型的关键点坐标，(P′x1,P′y1)为非标准人脸模型M1的关键点坐标，factor1为人脸占比率，factor1＝0.8。
非标准人脸模型M2的关键点坐标的方法如下所示：
P′x2＝56+(Px-56)×factor2
P′y2＝56+(Py-56)×factor2
其中，(Px,Py)为标准人脸模型的关键点坐标，(P′x2,P′y2)为非标准人脸模型M2的关键点坐标，factor2为人脸占比率，factor2＝1.3。
人脸占比率，人脸占比越大。
步骤S420、基于预处理图像关键点和人脸模型关键点，获取变换矩阵。
可以理解的是，基于预处理图像关键点和标准人脸模型M的关键点，获取变换第一矩阵，基于预处理图像关键点和非标准人脸模型M1的关键点，获取变换第二矩阵，基于预处理图像关键点和非标准人脸模型M2的关键点，获取变换第三矩阵。
步骤S430、基于预处理图像和变换矩阵，获取预处理对齐图像。
可以理解的是，基于变换矩阵对预处理图像进行变换，可以得到预处理对齐图像。
基于预处理图像和变换第一矩阵，获取预处理第一对齐图像，基于预处理图像和变换第二矩阵，获取预处理第二对齐图像，基于预处理图像和变换第三矩阵，获取预处理第三对齐图像。预处理图像包括彩色图像和红外图像，那么可以获取彩色第一对齐图像、彩色第二对齐图像、彩色第三对齐图像、红外第一对齐图像、红外第二对齐图像和红外第三对齐图像，两种模态的人脸图像，三种人脸模型，一共可以得到六张对齐的人脸图像。
步骤S440、基于预处理对齐图像，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征。
可以理解的是，一张预处理对齐图像可以获取一个预处理图像全局感兴趣特征和两个预处理图像局部感兴趣特征，基于六张预处理对齐图像，可以获取六个预处理图像全局感兴趣特征和十二个预处理图像局部感兴趣特征。
那么，一个全局检测模型Net112的输入为三个全局感兴趣区域的三通道组合而成，共九个通道，一个局部检测模型Net56的输入为六个局部感兴趣区域灰度化(三通道转单通道)以后组合而成，共六个通道。
本发明实施例提供的人脸活体检测方法，从多模态图像的多尺度全局区域和判别能力最强的关键局部区域中充分挖掘有利于人脸活体检测的信息，极大地提高了人脸活体检测的准确性和可靠性。
在一些实施例中，局部样本结果包括局部样本第一结果和局部样本第二结果，其中，局部样本第一结果用于监督人脸活体检测模型，局部样本第二结果用于辅助监督人脸活体检测模型。
可以理解的是，局部样本结果包括局部样本第一结果和局部样本第二结果，局部样本第一结果直接用于监督人脸活体检测模型，并用0表示活体，1表示非活体。
局部样本第二结果并不直接用于监督人脸活体检测模型，而是用于辅助监督人脸活体检测模型，根据眼睛的状态，将人脸分为遮挡、闭眼和睁眼三种，并用0表示遮挡，1表示闭眼，2表示睁眼。局部样本第二结果用于帮助人脸活体检测分类过滤闭眼和戴眼镜的，即只有被判断为睁眼时，才使用局部感兴趣特征的人脸活体检测结果。
本发明实施例提供的人脸活体检测方法，采用两种局部样本结果作为样本标签，使人脸活体检测方法的适用范围更广，人脸活体检测的效果更好。
在一些实施例中，步骤S100之前包括：获取相机参数；获取原始彩色图像和与原始彩色图像对应的原始红外图像；基于相机参数和原始红外图像，获取红外图像；基于原始彩色图像，获取彩色图像。
可以理解的是，在正式使用深度相机之前，需要对彩色摄像头和红外摄像头进行低精度标定，以便后续步骤中对齐彩色图像和红外图像。
用旋转矩阵R和平移矩阵T来描述两个摄像头之间的相对位置关系。假设空间中的一点P，在世界坐标系下的坐标为Pw，其在左右摄像头坐标系下的坐标可表示为：
Pl＝RlPw+Tl
Pr＝RrPw+Tr
其中，Pw为P点在世界坐标系下的坐标，Pl为P点在左摄像头坐标系下的坐标，Pr为P点在右摄像头坐标系下的坐标，Rl为左摄像头对固定标定物的旋转向量，Tl为左摄像头对固定标定物的平移向量，Rr为右摄像头对固定标定物的旋转向量，Tr为右摄像头对固定标定物的平移向量。
综合两式可以得到如下公式：
Figure BDA0002490153780000211
继而可以得到如下公式：
Figure BDA0002490153780000212
Figure BDA0002490153780000213
由于双目摄像头的两个摄像头距离较近，位置固定，且后续步骤中对对齐精度要求不高，故只用平移操作来对齐。
双目摄像头同步采集原始彩色图像和原始红外图像(两种图像分辨率一样，为WxH)，并根据参数T将原始红外图像对齐到原始彩色图像，获取彩色图像和红外图像。
本发明实施例对原始彩色图像的内容和原始红外图像的内容不作具体限定，本发明实施例以原始彩色图像和原始红外图像中人脸瞳距大于60像素举例。
本发明实施例提供的人脸活体检测方法，通过标定双目摄像头，获取两个摄像头的坐标转换关系，将彩色图像和红外图像对齐后再做人脸活体检测，可以将多模态图像中的人脸检测信息进行互补，减少人脸检测算法漏检或误检带来的负面影响。
下面对本发明实施例提供的人脸识别装置进行描述，下文描述的人脸识别装置与上文描述的人脸活体检测方法可相互对应参照。
下面结合图7描述本发明实施例提供的人脸识别装置。
如图7所示，该装置包括获取单元610、第一检测单元620、计算单元630、提取单元640和第二检测单元650。
获取单元610，用于获取预处理图像，预处理图像包括彩色图像和与彩色图像对应的红外图像。
可以理解的是，深度相机有两个摄像头，一个是彩色摄像头，另一个是红外摄像头，彩色摄像头拍摄彩色图像，红外摄像头同步拍摄红外图像，获取单元610用于获取彩色图像和红外图像。
第一检测单元620，用于基于预处理图像，获取预处理图像人脸框和多个预处理图像关键点。
可以理解的是，第一检测单元620用于使用人脸检测算法分别在彩色图像和红外图像中检测出彩色图像人脸框、彩色图像关键点、红外图像人脸框和红外图像关键点。
计算单元630，用于基于与彩色图像对应的预处理图像人脸框，获取彩色图权重和红外图权重。
可以理解的是，计算单元630用于根据彩色图像人脸框内像素点的平均亮度值来计算彩色图权重，再用彩色图权重换算得出红外图权重。
提取单元640，用于基于预处理图像和预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征。
可以理解的是，提取单元640用于基于预处理图像和预处理图像关键点，以预处理图像关键点为基准，在预处理图像上选取特定的矩形图像，作为预处理图像全局感兴趣特征和预处理图像局部感兴趣特征。
第二检测单元650，用于将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，得到人脸活体检测模型输出的人脸活体检测结果；其中，人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
可以理解的是，第二检测单元650用于将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，输出人脸活体检测结果。
人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
本发明实施例提供的人脸识别装置，使用彩色和红外双目摄像头同步采集彩色图像和红外图像，计算彩色图权重和红外图权重，并将彩色图权重和红外图权重用于人脸活体检测模型的计算过程中，多模态图像包含的信息量远多于单模态图像包含的信息量，不仅检测成本低，而且检测效果好。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行人脸活体检测方法，该方法包括获取预处理图像，预处理图像包括彩色图像和与彩色图像对应的红外图像；基于预处理图像，获取预处理图像人脸框和多个预处理图像关键点；基于与彩色图像对应的预处理图像人脸框，获取彩色图权重和红外图权重；基于预处理图像和预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，得到人脸活体检测模型输出的人脸活体检测结果；其中，人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图8所示的处理器710、通信接口720、存储器730和通信总线740，其中处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信，且处理器710可以调用存储器730中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的人脸活体检测方法，该方法包括获取预处理图像，预处理图像包括彩色图像和与彩色图像对应的红外图像；基于预处理图像，获取预处理图像人脸框和多个预处理图像关键点；基于与彩色图像对应的预处理图像人脸框，获取彩色图权重和红外图权重；基于预处理图像和预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，得到人脸活体检测模型输出的人脸活体检测结果；其中，人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的人脸活体检测方法，该方法包括获取预处理图像，预处理图像包括彩色图像和与彩色图像对应的红外图像；基于预处理图像，获取预处理图像人脸框和多个预处理图像关键点；基于与彩色图像对应的预处理图像人脸框，获取彩色图权重和红外图权重；基于预处理图像和预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；将彩色图权重、红外图权重、预处理图像全局感兴趣特征和预处理图像局部感兴趣特征输入至人脸活体检测模型，得到人脸活体检测模型输出的人脸活体检测结果；其中，人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸活体检测方法，其特征在于，包括：
获取预处理图像，所述预处理图像包括彩色图像和与所述彩色图像对应的红外图像；
基于所述预处理图像，获取预处理图像人脸框和多个预处理图像关键点；
基于与所述彩色图像对应的所述预处理图像人脸框，获取彩色图权重和红外图权重；
基于所述预处理图像和所述预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；
将所述彩色图权重、所述红外图权重、所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征输入至人脸活体检测模型，得到所述人脸活体检测模型输出的人脸活体检测结果；
其中，所述人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与所述预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与所述预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
2.根据权利要求1所述的人脸活体检测方法，其特征在于，所述人脸活体检测模型包括全局检测模型和局部检测模型，所述将所述彩色图权重、所述红外图权重、所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征输入至人脸活体检测模型，得到所述人脸活体检测模型输出的人脸活体检测结果，包括：
将所述预处理图像全局感兴趣特征输入至所述全局检测模型，得到所述全局检测模型输出的预处理图像全局检测结果；
将所述预处理图像局部感兴趣特征输入至所述局部检测模型，得到所述局部检测模型输出的预处理图像局部检测结果；
基于所述预处理图像全局检测结果和所述预处理图像局部检测结果，获取预处理图像检测结果；
基于所述预处理图像检测结果、所述彩色图权重和所述红外图权重，获取所述人脸活体检测结果。
3.根据权利要求2所述的人脸活体检测方法，其特征在于，所述全局检测模型包括全局检测第一模型和全局检测第二模型，所述局部检测模型包括局部检测第一模型和局部检测第二模型；
所述将所述预处理图像全局感兴趣特征输入至所述全局检测模型，得到所述全局检测模型输出的预处理图像全局检测结果，包括：
将与所述彩色图像对应的所述预处理图像全局感兴趣特征输入至所述全局检测第一模型，得到所述全局检测第一模型输出的预处理图像全局检测第一结果；
将与所述红外图像对应的所述预处理图像全局感兴趣特征输入至所述全局检测第二模型，得到所述全局检测第二模型输出的预处理图像全局检测第二结果；
所述将所述预处理图像局部感兴趣特征输入至所述局部检测模型，得到所述局部检测模型输出的预处理图像局部检测结果，包括：
将与所述彩色图像对应的所述预处理图像局部感兴趣特征输入至所述局部检测第一模型，得到所述局部检测第一模型输出的预处理图像局部检测第一结果；
将与所述红外图像对应的所述预处理图像局部感兴趣特征输入至所述局部检测第二模型，得到所述局部检测第二模型输出的预处理图像局部检测第二结果；
所述基于所述预处理图像全局检测结果和所述预处理图像局部检测结果，获取预处理图像检测结果，包括：
基于所述预处理图像全局检测第一结果和所述预处理图像局部检测第一结果，获取与所述彩色图像对应的预处理图像检测结果；
基于所述预处理图像全局检测第二结果和所述预处理图像局部检测第二结果，获取与所述红外图像对应的预处理图像检测结果；
所述基于所述预处理图像检测结果、所述彩色图权重和所述红外图权重，获取所述人脸活体检测结果，包括：
基于与所述彩色图像对应的预处理图像检测结果、与所述红外图像对应的预处理图像检测结果、所述彩色图权重和所述红外图权重，获取所述人脸活体检测结果。
4.根据权利要求2所述的人脸活体检测方法，其特征在于，所述全局检测模型和所述局部检测模型基于可以自动调整困难样本权重的损失函数确定。
5.根据权利要求1所述的人脸活体检测方法，其特征在于，所述基于所述预处理图像和所述预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征，包括：
获取人脸模型关键点；
基于所述预处理图像关键点和所述人脸模型关键点，获取变换矩阵；
基于所述预处理图像和所述变换矩阵，获取预处理对齐图像；
基于所述预处理对齐图像，获取所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征。
6.根据权利要求1所述的人脸活体检测方法，其特征在于，所述局部样本结果包括局部样本第一结果和局部样本第二结果，其中，所述局部样本第一结果用于监督所述人脸活体检测模型，所述局部样本第二结果用于辅助监督所述人脸活体检测模型。
7.根据权利要求1-6所述的人脸活体检测方法，其特征在于，所述获取预处理图像，所述预处理图像包括彩色图像和与所述彩色图像对应的红外图像之前，包括：
获取相机参数；
获取原始彩色图像和与所述原始彩色图像对应的原始红外图像；
基于所述相机参数和所述原始红外图像，获取所述红外图像；
基于所述原始彩色图像，获取所述彩色图像。
8.一种人脸识别装置，其特征在于，包括：
获取单元，用于获取预处理图像，所述预处理图像包括彩色图像和与所述彩色图像对应的红外图像；
第一检测单元，用于基于所述预处理图像，获取预处理图像人脸框和多个预处理图像关键点；
计算单元，用于基于与所述彩色图像对应的所述预处理图像人脸框，获取彩色图权重和红外图权重；
提取单元，用于基于所述预处理图像和所述预处理图像关键点，获取预处理图像全局感兴趣特征和预处理图像局部感兴趣特征；
第二检测单元，用于将所述彩色图权重、所述红外图权重、所述预处理图像全局感兴趣特征和所述预处理图像局部感兴趣特征输入至人脸活体检测模型，得到所述人脸活体检测模型输出的人脸活体检测结果；
其中，所述人脸活体检测模型为，以预处理样本图像全局感兴趣特征和预处理样本图像局部感兴趣特征为样本，以预先确定的与所述预处理样本图像全局感兴趣特征对应的全局样本结果和预先确定的与所述预处理样本图像局部感兴趣特征对应的局部样本结果为样本标签训练得到。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述人脸活体检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述人脸活体检测方法的步骤。
CN202010402851.4A 2020-05-13 2020-05-13 人脸活体检测方法和装置 Active CN111652082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010402851.4A CN111652082B (zh) 2020-05-13 2020-05-13 人脸活体检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010402851.4A CN111652082B (zh) 2020-05-13 2020-05-13 人脸活体检测方法和装置

Publications (2)

Publication Number Publication Date
CN111652082A true CN111652082A (zh) 2020-09-11
CN111652082B CN111652082B (zh) 2021-12-28

Family

ID=72352119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010402851.4A Active CN111652082B (zh) 2020-05-13 2020-05-13 人脸活体检测方法和装置

Country Status (1)

Country Link
CN (1) CN111652082B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084992A (zh) * 2020-09-18 2020-12-15 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112364846A (zh) * 2021-01-12 2021-02-12 深圳市一心视觉科技有限公司 一种人脸活体识别方法、装置、终端设备及存储介质
CN112434647A (zh) * 2020-12-09 2021-03-02 浙江光珀智能科技有限公司 一种人脸活体检测方法
CN112818938A (zh) * 2021-03-03 2021-05-18 长春理工大学 一种自适应光照干扰环境的人脸识别算法及人脸识别装置
CN113221771A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 活体人脸识别方法、装置、设备、存储介质及程序产品
WO2022199395A1 (zh) * 2021-03-22 2022-09-29 深圳市百富智能新技术有限公司 人脸活体检测方法、终端设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109858439A (zh) * 2019-01-30 2019-06-07 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法及装置
CN110751069A (zh) * 2019-10-10 2020-02-04 武汉普利商用机器有限公司 一种人脸活体检测方法及装置
CN111079576A (zh) * 2019-11-30 2020-04-28 腾讯科技（深圳）有限公司 活体检测方法、装置、设备及存储介质
CN111104917A (zh) * 2019-12-24 2020-05-05 杭州魔点科技有限公司 基于人脸的活体检测方法、装置、电子设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109858439A (zh) * 2019-01-30 2019-06-07 北京华捷艾米科技有限公司 一种基于人脸的活体检测方法及装置
CN110751069A (zh) * 2019-10-10 2020-02-04 武汉普利商用机器有限公司 一种人脸活体检测方法及装置
CN111079576A (zh) * 2019-11-30 2020-04-28 腾讯科技（深圳）有限公司 活体检测方法、装置、设备及存储介质
CN111104917A (zh) * 2019-12-24 2020-05-05 杭州魔点科技有限公司 基于人脸的活体检测方法、装置、电子设备及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084992A (zh) * 2020-09-18 2020-12-15 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112084992B (zh) * 2020-09-18 2021-04-13 北京中电兴发科技有限公司 一种人脸关键点检测模块中人脸框选取方法
CN112434647A (zh) * 2020-12-09 2021-03-02 浙江光珀智能科技有限公司 一种人脸活体检测方法
CN112364846A (zh) * 2021-01-12 2021-02-12 深圳市一心视觉科技有限公司 一种人脸活体识别方法、装置、终端设备及存储介质
CN112818938A (zh) * 2021-03-03 2021-05-18 长春理工大学 一种自适应光照干扰环境的人脸识别算法及人脸识别装置
WO2022199395A1 (zh) * 2021-03-22 2022-09-29 深圳市百富智能新技术有限公司 人脸活体检测方法、终端设备及计算机可读存储介质
CN113221771A (zh) * 2021-05-18 2021-08-06 北京百度网讯科技有限公司 活体人脸识别方法、装置、设备、存储介质及程序产品
CN113221771B (zh) * 2021-05-18 2023-08-04 北京百度网讯科技有限公司 活体人脸识别方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN111652082B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN111652082B (zh) 人脸活体检测方法和装置
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
CN107862299B (zh) 一种基于近红外与可见光双目摄像头的活体人脸检测方法
CN110084135B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN110443192B (zh) 一种基于双目图像的非交互式人脸活体检测方法及系统
CN108921041A (zh) 一种基于rgb和ir双目摄像头的活体检测方法及装置
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN111967319B (zh) 基于红外和可见光的活体检测方法、装置、设备和存储介质
CN112069887B (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN112818722A (zh) 模块化动态可配置的活体人脸识别系统
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN111832464A (zh) 一种基于近红外摄像头的活体检测方法及装置
CN112329727A (zh) 一种活体检测方法和装置
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
CN113128428B (zh) 基于深度图预测的活体检测方法和相关设备
CN113033305A (zh) 活体检测方法、装置、终端设备和存储介质
CN112069954A (zh) 一种活体微表情检测方法及系统
CN115657859A (zh) 一种基于虚拟现实的智能交互系统
CN113128320B (zh) 基于tof相机的人脸活体检测方法、检测装置及电子设备
CN112149598A (zh) 一种侧脸评估方法、装置、电子设备及存储介质
CN110245590B (zh) 一种基于皮肤图像检测的产品推荐方法及系统
CN112800941A (zh) 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230613

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230001

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right