CN115082995A - 人脸活体检测方法、装置及电子设备 - Google Patents

人脸活体检测方法、装置及电子设备 Download PDF

Info

Publication number
CN115082995A
CN115082995A CN202210745322.3A CN202210745322A CN115082995A CN 115082995 A CN115082995 A CN 115082995A CN 202210745322 A CN202210745322 A CN 202210745322A CN 115082995 A CN115082995 A CN 115082995A
Authority
CN
China
Prior art keywords
face
image
video
glare
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210745322.3A
Other languages
English (en)
Other versions
CN115082995B (zh
Inventor
周军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202210745322.3A priority Critical patent/CN115082995B/zh
Priority claimed from CN202210745322.3A external-priority patent/CN115082995B/zh
Publication of CN115082995A publication Critical patent/CN115082995A/zh
Application granted granted Critical
Publication of CN115082995B publication Critical patent/CN115082995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种人脸活体检测方法、装置及电子设备，该方法包括：获取待检测人脸对应的面部炫光视频，即为在多种颜色光对待检测人脸依次照射下采集的面部视频；从面部炫光视频中抽取每种颜色光对应的帧图像；提取每种颜色光对应的帧图像在UV空间中的人脸特征；将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。本申请通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。

Description

人脸活体检测方法、装置及电子设备
技术领域
本申请涉及图像技术领域，尤其是涉及一种人脸活体检测方法、装置及电子设备。
背景技术
裁剪人脸攻击是指攻击者通过打印、裁剪被攻击者的局部人脸(额头，鼻子等)贴于面部，进行一系列活体认证，相似度比对等操作。
目前针对裁剪人脸攻击的一些防御手段，往往是通过构造裁剪人像贴纸负样本数据，与正样本数据形成对比，基于正负样本训练一个CNN分类器进行区分，这种方法通过单张图像进行判别，利用信息往往比较少，而且如果攻击人裁剪手段足够好，单张图片误判的可能性往往很大，识别精确率不高。
发明内容
本申请的目的在于提供一种人脸活体检测方法、装置及电子设备，通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
第一方面，本申请实施例提供一种人脸活体检测方法，方法包括：获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射下采集的面部视频；从面部炫光视频中抽取每种颜色光对应的帧图像；提取每种颜色光对应的帧图像在UV空间中的人脸特征；将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。
在本申请较佳的实施方式中，上述提取每种颜色光对应的帧图像在UV空间中的人脸特征的步骤，包括：针对每种颜色光对应的帧图像，均执行以下步骤：识别帧图像中的人脸区域图像；将人脸区域图像转换至UV空间，得到帧图像对应的UV人脸图像；根据帧图像对应的炫光颜色，将UV人脸图像转换为UV掩码图像；其中，UV掩码图像为对UV人脸图像在炫光颜色对应的通道下的像素值进行调整后得到的图像；对UV掩码图像进行特征提取，得到帧图像在UV空间中的人脸特征。
在本申请较佳的实施方式中，上述根据帧图像对应的炫光颜色，将UV人脸图像转换为UV掩码图像的步骤，包括：从UV人脸图像中确定出多个图像子区域；图像子区域包括：眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域；根据各图像子区域分别对应的像素值权重因子，调整各图像子区域在炫光颜色对应的颜色通道下的像素值，得到UV掩码图像。
在本申请较佳的实施方式中，上述根据各图像子区域分别对应的像素值权重因子，调整各图像子区域在炫光颜色对应的颜色通道下的像素值，得到UV掩码图像的步骤，包括：针对每个图像子区域，均执行以下步骤；获取图像子区域在炫光颜色对应的颜色通道下，每个像素点对应的原始像素值；应用每个像素点对应的原始像素值乘以图像子区域对应的像素值权重因子，得到每个像素点对应的目标像素值；将每个像素点对应的原始像素值调整至目标像素值，得到UV掩码图像。
在本申请较佳的实施方式中，上述眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子为：1.1、1.2、1.1、0.9。
在本申请较佳的实施方式中，上述从面部炫光视频中抽取每种颜色光对应的帧图像的步骤，包括：从面部炫光视频中确定每种颜色光对应的帧序列片段；从每种颜色光对应的帧序列片段中抽取一个帧图像，得到多个帧图像。
在本申请较佳的实施方式中，上述预设人脸检测模型的训练过程如下：获取面部炫光视频样本集；样本集中的样本包括：基于面部炫光视频提取的人脸特征，及面部炫光视频对应的标签；标签包括：活体、非活体；应用面部炫光视频样本集对预设神经网络进行训练，得到预设人脸检测模型。
在本申请较佳的实施方式中，上述预设神经网络包括：NN神经网络。
第二方面，本申请实施例还提供一种人脸活体检测装置，装置包括：视频获取模块，用于获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射下采集的面部视频；图像抽取模块，用于从面部炫光视频中抽取每种颜色光对应的帧图像；特征提取模块，用于提取每种颜色光对应的帧图像在UV空间中的人脸特征；模型检测模块，用于将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的人脸活体检测方法、装置及电子设备中，首先获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射指下采集的面部视频；然后从面部炫光视频中抽取每种颜色光对应的帧图像，并提取每种颜色光对应的帧图像在UV空间中的人脸特征；将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练NN神经网络得到的NN模型。本申请实施例通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种人脸活体检测方法的流程图；
图2为本申请实施例提供的一种人脸活体检测方法中特征提取流程图；
图3为本申请实施例提供的一种UV转换示意图；
图4为本申请实施例提供的一种UV掩码图像示意图；
图5为本申请实施例提供的一种人脸活体检测装置的结构框图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，在针对裁剪人脸攻击进行防御时，往往是通过构造裁剪人像贴纸负样本数据，与正样本数据形成对比，基于正负样本训练一个CNN分类器进行区分，这种方法通过单张图像进行判别，利用信息比较少，而且如果攻击人裁剪手段足够好，单张图片误判的可能性往往很大，精确率不高。
基于此，本申请实施例提供一种人脸活体检测方法、装置及电子设备，通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种人脸活体检测方法进行详细介绍。
在人脸活体检测的场景中，往往会出现一些通过贴纸人脸进行攻击的行为，而现有的识别方法仅仅是通过采集的一张人脸图像来识别，当攻击者通过打印、裁剪被攻击者的局部人脸贴纸置于面部时，很有可能造成人脸识别通过而进行一些盗用操作，导致被攻击者的财产遭受损失。为了有效防御贴纸人脸的攻击，本申请实施例提供一种人脸活体检测方法，参见图1所示，该方法具体包括以下步骤：
步骤S102，获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射下采集的面部视频。
具体实施时，通过可以发出炫光的摄像装置录制待检测人脸的面部炫光视频，上述面部炫光视频为在多种颜色光对待检测人脸依次照射下采集的面部视频，比如，手机屏幕上依次出现白、红、绿、蓝四种光分别对人脸面部进行照射时，录制的面部炫光视频中就包括白、红、绿、蓝四种光下分别对应的帧序列。再比如，手机屏幕上出现白光、红光、绿光、蓝光对人脸分别照射5秒，那么采集的四种颜色光对应的帧序列分别为5秒的帧序列。
步骤S104，从面部炫光视频中抽取每种颜色光对应的帧图像。
可以先从面部炫光视频中确定每种颜色光对应的帧序列片段；然后从每种颜色光对应的帧序列片段中抽取一个帧图像，得到多个帧图像。
比如针对上述每种颜色光对应的5秒帧序列，任意抽取一个图像，作为该颜色光对应的帧图像。
步骤S106，提取每种颜色光对应的帧图像在UV空间中的人脸特征。
为了扩大贴纸人脸的差异，将上述每种颜色对应的帧图像中的人脸区域图像转换为UV人脸图像后，再根据帧图像对应的炫光颜色，从UV人脸图像中提取相应的人脸特征进行后续检测，即可提高检测精准度。
步骤S108，将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。
由于不同颜色光的数量有限，因此，上述从面部炫光视频的每种颜色光对应的帧序列中提取出来的人脸特征，也仅有可数的几个图像对应的特征，在一种优选实施方式中，可以基于面部炫光视频样本集训练NN神经网络得到预设人脸检测模型，在将上述每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型中后即可得到活体检测结果。
本申请实施例提供的人脸活体检测方法中，首先获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射指下采集的面部视频；然后从面部炫光视频中提取每种颜色光对应的帧图像，并提取每种颜色光对应的帧图像在UV空间中的人脸特征；将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。本申请实施例通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
本申请实施例还提供一种人脸活体检测方法，该方法在上一实施例的基础上实现，本实施例重点描述特征提取过程和模型训练过程。
参见图2所示，上述提取每种颜色光对应的帧图像在UV空间中的人脸特征的过程包括以下步骤：
针对每种颜色光对应的帧图像，均执行以下步骤：
步骤S202，识别帧图像中的人脸区域图像；具体实施时，可以通过mediapipe人脸检测器进行识别。
步骤S204，将人脸区域图像转换至UV空间，得到帧图像对应的UV人脸图像。
基于现有UV转换算法，将提取的人脸区域图像转换到UV空间坐标中，变为UV纹理图，UV纹理图大小为256*256。参见图3所示，(a)表示通过mediapipe人脸检测器从上述帧图像中裁剪出的人脸区域图像；(b)UV位置图；(c)表示人脸区域图像通过UV转换得到的UV人脸图像，也即UV纹理图。
步骤S206，根据帧图像对应的炫光颜色，将UV人脸图像转换为UV掩码图像；其中，UV掩码图像为对UV人脸图像在炫光颜色对应的通道下的像素值进行调整后得到的图像。
本申请实施例中，由于炫光颜色主要区域位于五官，即主要集中在眼睛、嘴巴、鼻子等位置，所以对于这些区域会乘以一个权重因子，从而放大局部特征，而对于这些之外的区域，则会乘以一个权重因子，从而减弱特征。具体实施时通过以下步骤实现：
(1)从UV人脸图像中确定出多个图像子区域；图像子区域包括：眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域。参见图4所示，眼部区域为眼睛所在的深灰色区域；嘴部区域为嘴巴所在的浅灰色区域；鼻子区域为中间鼻子所在区域；非人脸区域指图中黑色区域；脸部区域指图中除了眼部区域、嘴部区域、鼻子区域和非人脸区域外的发白的区域。
(2)根据各图像子区域分别对应的像素值权重因子，调整各图像子区域在炫光颜色对应的颜色通道下的像素值，得到UV掩码图像。
在本申请较佳的实施方式中，上述眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子为：1.1、1.2、1.1、0.9。
具体的调整过程如下：
针对每个图像子区域，均执行以下步骤：
1)获取图像子区域在炫光颜色对应的颜色通道下，每个像素点对应的原始像素值；
2)应用每个像素点对应的原始像素值乘以图像子区域对应的像素值权重因子因子，得到每个像素点对应的目标像素值；
3)将每个像素点对应的原始像素值调整至目标像素值，得到UV掩码图像。
以白色炫光对应的帧图像中的眼部区域为例进行说明，眼部区域对应的像素值权重因子为：1.1；白色炫光对应的颜色通道包括：RGB三个通道，那么就在这三个通道下，分别将眼部区域对应的像素值均乘以1.1进行像素值调整。白色炫光对应的帧图像中的其它子区域同理，其它颜色光对应的帧图像的调整方式同理。
即针对不同颜色炫光的帧图像的具体调整规则如下：
对于白色炫光对应的帧图像，在RGB三个通道上，眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子分别为：1.1、1.2、1.1、0.9。
对于红色炫光对应的帧图像，仅仅在R通道上，眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子分别为：1.1、1.2、1.1、0.9。其余通道如G通道和B通道的像素值不变。
对于绿色炫光对应的帧图像，仅仅在G通道上，眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子分别为：1.1、1.2、1.1、0.9。其余通道如R通道和B通道的像素值不变。
对于蓝色炫光对应的帧图像，仅仅在B通道上，眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子分别为：1.1、1.2、1.1、0.9。其余通道如R通道和G通道的像素值不变。
步骤S208，对UV掩码图像进行特征提取，得到帧图像在UV空间中的人脸特征。
具体实施时，可以利用预设卷积神经网络对UV掩码图像进行特征提取，得到帧图像在UV空间中的人脸特征；上述预设卷积神经网络可以为Densenet169，在最后一层特征图之后添加一个256的全连接层，提取的特征为256维度特征。该网络利用了普通正负例UV空间人脸图像进行权重训练，使得特征提取能够更为精准，训练任务为2分类器，即活体/非活体分类器。
上述预设人脸检测模型的训练过程如下：
(1)获取面部炫光视频样本集；样本集中的样本包括：基于面部炫光视频提取的人脸特征，及面部炫光视频对应的标签；标签包括：活体、非活体；
(2)应用面部炫光视频样本集对NN神经网络进行训练，得到预设人脸检测模型。
本申请实施例中，NN神经网络参数如下：
输入特征长度为1024(256*4，颜色顺序为白、红、绿、蓝)，隐藏层一共4层，每一层的神经元的参数分别为，512、512、256、256，输出为2个类别(真(活体)、假(非活体))，激活函数使用softmax。
本申请实施例提供的人脸活体检测方法中，基于目前已有炫光活体检测，无需额外的投入，可以完美嵌入目前已有的炫光活体识别当中，而且每段视频只需提取4张，在保证计算速度的同时，提升了模型的检测精确率；此方案的错误接受率(FAR)，错误拒绝率(FRR)较现有普通CNN方案有极大的提升，在测试中，FAR<0.002,FRR<0.01。本申请实施例通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
基于上述方法实施例，本申请实施例还提供一种人脸活体检测装置，参见图5所示，该装置包括：
视频获取模块52，用于获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射指定时间下采集的面部视频；图像抽取模块54，用于从面部炫光视频中抽取每种颜色光对应的帧图像；特征提取模块56，用于提取每种颜色光对应的帧图像在UV空间中的人脸特征；模型检测模块58，用于将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。
本申请实施例提供的人脸活体检测装置中，首先获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射指下采集的面部视频；然后从面部炫光视频中提取每种颜色光对应的帧图像，并提取每种颜色光对应的帧图像在UV空间中的人脸特征；将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。本申请实施例通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
在本申请较佳的实施方式中，上述特征提取模块56，用于针对每种颜色光对应的帧图像，均执行以下步骤：识别帧图像中的人脸区域图像；将人脸区域图像转换至UV空间，得到帧图像对应的UV人脸图像；根据帧图像对应的炫光颜色，将UV人脸图像转换为UV掩码图像；其中，UV掩码图像为对UV人脸图像在炫光颜色对应的通道下的像素值进行调整后得到的图像；对UV掩码图像进行特征提取，得到帧图像在UV空间中的人脸特征。
在本申请较佳的实施方式中，上述特征提取模块56，用于从UV人脸图像中确定出多个图像子区域；图像子区域包括：眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域；根据各图像子区域分别对应的像素值权重因子，调整各图像子区域在炫光颜色对应的颜色通道下的像素值，得到UV掩码图像。
在本申请较佳的实施方式中，上述特征提取模块56，用于针对每个图像子区域，均执行以下步骤；获取图像子区域在炫光颜色对应的颜色通道下，每个像素点对应的原始像素值；应用每个像素点对应的原始像素值乘以图像子区域对应的像素值权重因子，得到每个像素点对应的目标像素值；将每个像素点对应的原始像素值调整至目标像素值，得到UV掩码图像。
在本申请较佳的实施方式中，上述眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域分别对应的像素值权重因子为：1.1、1.2、1.1、0.9。
在本申请较佳的实施方式中，上述图像抽取模块54，用于从面部炫光视频中确定每种颜色光对应的帧序列片段；从每种颜色光对应的帧序列片段中抽取一个帧图像，得到多个帧图像。
在本申请较佳的实施方式中，上述装置还包括：模型训练模块，用于执行以下训练过程：获取面部炫光视频样本集；样本集中的样本包括：基于面部炫光视频提取的人脸特征，及面部炫光视频对应的标签；标签包括：活体、非活体；应用面部炫光视频样本集对预设神经网络进行训练，得到预设人脸检测模型。
在本申请较佳的实施方式中，上述预设神经网络包括：NN神经网络。
本申请实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器61和存储器60，该存储器60存储有能够被该处理器61执行的计算机可执行指令，该处理器61执行该计算机可执行指令以实现上述方法。
本申请实施例提供的电子设备中，首先获取待检测人脸对应的面部炫光视频；面部炫光视频为在多种颜色光对待检测人脸依次照射指下采集的面部视频；然后从面部炫光视频中提取每种颜色光对应的帧图像，并提取每种颜色光对应的帧图像在UV空间中的人脸特征；将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到待检测人脸对应的活体检测结果；其中，预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。本申请实施例通过从待检测人脸的面部炫光视频中提取每种颜色光对应的帧图像在UV空间中的人脸特征进行识别，可以放大裁剪贴纸人脸的差异，提升检测精确率，有效防御贴纸人脸的攻击。
在图6示出的实施方式中，该电子设备还包括总线62和通信接口63，其中，处理器61、通信接口63和存储器60通过总线62连接。
其中，存储器60可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器61读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种人脸活体检测方法，其特征在于，所述方法包括：
获取待检测人脸对应的面部炫光视频；所述面部炫光视频为在多种颜色光对所述待检测人脸依次照射下采集的面部视频；
从所述面部炫光视频中抽取每种颜色光对应的帧图像；
提取所述每种颜色光对应的帧图像在UV空间中的人脸特征；
将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到所述待检测人脸对应的活体检测结果；其中，所述预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。
2.根据权利要求1所述的方法，其特征在于，提取所述每种颜色光对应的帧图像在UV空间中的人脸特征的步骤，包括：
针对每种颜色光对应的帧图像，均执行以下步骤：
识别所述帧图像中的人脸区域图像；
将所述人脸区域图像转换至UV空间，得到所述帧图像对应的UV人脸图像；
根据所述帧图像对应的炫光颜色，将所述UV人脸图像转换为UV掩码图像；其中，所述UV掩码图像为对UV人脸图像在所述炫光颜色对应的通道下的像素值进行调整后得到的图像；
对所述UV掩码图像进行特征提取，得到所述帧图像在UV空间中的人脸特征。
3.根据权利要求2所述的方法，其特征在于，根据所述帧图像对应的炫光颜色，将所述UV人脸图像转换为UV掩码图像的步骤，包括：
从所述UV人脸图像中确定出多个图像子区域；所述图像子区域包括：眼部区域、嘴部区域、脸部区域、鼻子区域和非人脸区域；
根据各图像子区域分别对应的像素值权重因子，调整各图像子区域在所述炫光颜色对应的颜色通道下的像素值，得到UV掩码图像。
4.根据权利要求3所述的方法，其特征在于，根据各图像子区域分别对应的像素值权重因子，调整各图像子区域在所述炫光颜色对应的颜色通道下的像素值，得到UV掩码图像的步骤，包括：
针对每个图像子区域，均执行以下步骤；
获取所述图像子区域在所述炫光颜色对应的颜色通道下，每个像素点对应的原始像素值；
应用每个像素点对应的原始像素值乘以所述图像子区域对应的像素值权重因子，得到每个像素点对应的目标像素值；
将每个像素点对应的原始像素值调整至所述目标像素值，得到UV掩码图像。
5.根据权利要求3所述的方法，其特征在于，所述眼部区域、所述嘴部区域、所述脸部区域、所述鼻子区域和所述非人脸区域分别对应的像素值权重因子为：1.1、1.2、1.1、0.9。
6.根据权利要求1所述的方法，其特征在于，从所述面部炫光视频中抽取每种颜色光对应的帧图像的步骤，包括：
从所述面部炫光视频中确定每种颜色光对应的帧序列片段；
从每种颜色光对应的帧序列片段中抽取一个帧图像，得到多个帧图像。
7.根据权利要求1所述的方法，其特征在于，所述预设人脸检测模型的训练过程如下：
获取面部炫光视频样本集；所述样本集中的样本包括：基于面部炫光视频提取的人脸特征，及所述面部炫光视频对应的标签；所述标签包括：活体、非活体；
应用所述面部炫光视频样本集对所述预设神经网络进行训练，得到预设人脸检测模型。
8.根据权利要求1所述的方法，其特征在于，所述预设神经网络包括：NN神经网络。
9.一种人脸活体检测装置，其特征在于，所述装置包括：
视频获取模块，用于获取待检测人脸对应的面部炫光视频；所述面部炫光视频为在多种颜色光对所述待检测人脸依次照射下采集的面部视频；
图像抽取模块，用于从所述面部炫光视频中抽取每种颜色光对应的帧图像；
特征提取模块，用于提取所述每种颜色光对应的帧图像在UV空间中的人脸特征；
模型检测模块，用于将每种颜色光对应的帧图像的人脸特征，按照颜色光照射顺序输入至预设人脸检测模型，得到所述待检测人脸对应的活体检测结果；其中，所述预设人脸检测模型为基于面部炫光视频样本集训练预设神经网络得到的模型。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至8任一项所述的方法。
CN202210745322.3A 2022-06-27 人脸活体检测方法、装置及电子设备 Active CN115082995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210745322.3A CN115082995B (zh) 2022-06-27 人脸活体检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210745322.3A CN115082995B (zh) 2022-06-27 人脸活体检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN115082995A true CN115082995A (zh) 2022-09-20
CN115082995B CN115082995B (zh) 2024-07-02

Family

ID=

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950448A (zh) * 2010-05-31 2011-01-19 北京智安邦科技有限公司 Atm的伪装与偷窥行为检测的方法和系统
US20130300850A1 (en) * 2012-04-12 2013-11-14 Thomas Nathan Millikan Viewing and Processing Multispectral Images
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN110222573A (zh) * 2019-05-07 2019-09-10 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111680544A (zh) * 2020-04-24 2020-09-18 北京迈格威科技有限公司 人脸识别方法、装置、系统、设备及介质
KR102194409B1 (ko) * 2020-06-05 2020-12-24 주식회사 컴트루테크놀로지 멀티포커싱 ai신경망을 이용한 안면검출 및 안면식별 시스템
CN113723280A (zh) * 2021-08-30 2021-11-30 平安银行股份有限公司 基于静态人脸的对抗样本检测方法、装置、设备、介质
CN113887408A (zh) * 2021-09-30 2022-01-04 平安银行股份有限公司 活化人脸视频的检测方法、装置、设备及存储介质
CN114005169A (zh) * 2021-12-31 2022-02-01 中科视语(北京)科技有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN114387548A (zh) * 2021-12-31 2022-04-22 北京旷视科技有限公司 视频及活体检测方法、系统、设备、存储介质及程序产品
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950448A (zh) * 2010-05-31 2011-01-19 北京智安邦科技有限公司 Atm的伪装与偷窥行为检测的方法和系统
US20130300850A1 (en) * 2012-04-12 2013-11-14 Thomas Nathan Millikan Viewing and Processing Multispectral Images
US20180271377A1 (en) * 2012-04-12 2018-09-27 Thomas Nathan Millikan Viewing and Processing Multispectral Images
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN110222573A (zh) * 2019-05-07 2019-09-10 平安科技（深圳）有限公司 人脸识别方法、装置、计算机设备及存储介质
CN111680544A (zh) * 2020-04-24 2020-09-18 北京迈格威科技有限公司 人脸识别方法、装置、系统、设备及介质
KR102194409B1 (ko) * 2020-06-05 2020-12-24 주식회사 컴트루테크놀로지 멀티포커싱 ai신경망을 이용한 안면검출 및 안면식별 시스템
WO2022089360A1 (zh) * 2020-10-28 2022-05-05 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN113723280A (zh) * 2021-08-30 2021-11-30 平安银行股份有限公司 基于静态人脸的对抗样本检测方法、装置、设备、介质
CN113887408A (zh) * 2021-09-30 2022-01-04 平安银行股份有限公司 活化人脸视频的检测方法、装置、设备及存储介质
CN114005169A (zh) * 2021-12-31 2022-02-01 中科视语(北京)科技有限公司 人脸关键点检测方法、装置、电子设备及存储介质
CN114387548A (zh) * 2021-12-31 2022-04-22 北京旷视科技有限公司 视频及活体检测方法、系统、设备、存储介质及程序产品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
冯冬青等: "视频中基于肤色模型的人脸检测", 计算机应用与软件, no. 02, 15 February 2010 (2010-02-15), pages 28 - 30 *
凌旭峰等: "彩色序列图像的人脸检测", 红外与激光工程, no. 05, 25 October 2001 (2001-10-25), pages 328 - 331 *
牛德姣等: "实时视频图像中的人脸检测与跟踪", 计算机应用, no. 06, 28 June 2004 (2004-06-28), pages 105 - 107 *

Similar Documents

Publication Publication Date Title
US7970180B2 (en) Method, apparatus, and program for processing red eyes
CN108875619B (zh) 视频处理方法和装置、电子设备、计算机可读存储介质
CN107862663A (zh) 图像处理方法、装置、可读存储介质和计算机设备
JP6330385B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110334635A (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107945135A (zh) 图像处理方法、装置、存储介质和电子设备
CN112487922B (zh) 一种多模态人脸活体检测方法及系统
CN111079816A (zh) 图像的审核方法、装置和服务器
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN111191521B (zh) 人脸活体检测方法、装置、计算机设备及存储介质
CN107743200A (zh) 拍照的方法、装置、计算机可读存储介质和电子设备
KR102038576B1 (ko) 홍채 인식 시스템의 부정행위 검출 방법
US8498496B2 (en) Method and apparatus for filtering red and/or golden eye artifacts
CN111582045B (zh) 一种活体的检测方法、装置以及电子设备
CN115082994A (zh) 人脸活体检测方法、活体检测网络模型的训练方法及装置
CN115082995B (zh) 人脸活体检测方法、装置及电子设备
CN115082995A (zh) 人脸活体检测方法、装置及电子设备
CN113012030A (zh) 图像拼接方法、装置及设备
CN108881740A (zh) 图像方法和装置、电子设备、计算机可读存储介质
JP2001167273A5 (zh)
CN111723651B (zh) 一种人脸识别方法、人脸识别装置及终端设备
JP2001167273A (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
CN113920556A (zh) 一种人脸防伪方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant