CN112001240A - 活体检测方法、装置、计算机设备和存储介质 - Google Patents

活体检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112001240A
CN112001240A CN202010680515.6A CN202010680515A CN112001240A CN 112001240 A CN112001240 A CN 112001240A CN 202010680515 A CN202010680515 A CN 202010680515A CN 112001240 A CN112001240 A CN 112001240A
Authority
CN
China
Prior art keywords
living body
body detection
image
network
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010680515.6A
Other languages
English (en)
Other versions
CN112001240B (zh
Inventor
杨赟
李永凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010680515.6A priority Critical patent/CN112001240B/zh
Publication of CN112001240A publication Critical patent/CN112001240A/zh
Application granted granted Critical
Publication of CN112001240B publication Critical patent/CN112001240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种活体检测方法、装置、计算机设备和存储介质。所述方法通过将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络;将待检测图像输入所述目标活体检测模型,输出活体检测结果,通过三个特征网络并行地对人脸图像进行分析,一方面无需用户进行指令交互,提高了活体检测的检测效率,另一方面提高了活体检测的鲁棒性。

Description

活体检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及人脸识别技术领域,特别是涉及一种活体检测方法、装置、计算机设备和存储介质。
背景技术
近年来人脸识别技术越来越多的出现在人们的生活之中,“刷脸”不再是陌生的词汇,例如刷脸支付、刷脸取件、刷脸解锁等,人脸由于其特殊性已经成为了新的身份认证信息。由于人脸信息的获得是非常容易的,因此出现了盗用他人人脸信息进行支付、解锁等的情况。通过人脸进行活体检测的技术应运而生,被用来识别出现在摄像头前面的是一个真实的人脸还是伪造的人脸,例如手机等显示设备上存储的人脸、打印出来的人脸、人脸面具等,如果是伪造的人脸则活体检测未通过,不进行后续的人脸识别,保障人脸识别系统的安全性。
然而,相关技术中基于人脸进行活体检测的方式,通常是通过人脸形状特征或者通过随机指令要求用户执行指令来判断活体与非活体,存在效率低、准确性差的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种活体检测方法、装置、计算机设备和存储介质。
根据本发明的一个方面,提供了一种活体检测方法,包括以下步骤:
将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络,其中,所述纹理网络、所述光流网络和所述亮度网络并联;
将待检测图像输入所述目标活体检测模型,输出活体检测结果。
在其中一个实施例中,所述将训练集图像输入活体检测模型,训练得到目标活体检测模型的过程包括:
根据多任务损失函数对所述活体检测模型进行端到端的反向传播梯度更新,其中,所述多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和所述活体检测模型的分类损失。
在其中一个实施例中,所述将训练集图像输入活体检测模型或者将待检测图像输入所述亮度网络的过程包括:
对图像中的人脸图像进行人脸对齐,其中,所述图像包括所述训练集图像或者所述待检测图像;
将所述人脸对齐后的图像进行最大池化;
将所述最大池化后图像的帧差图像作为所述亮度网络的输入图像。
在一个实施例中,所述亮度网络检测所述人脸图像的亮度特征和亮度变化周期特征。
在一个实施例中,所述纹理网络的输入图像为所述训练集图像或者所述待检测图像中的人脸图像进行人脸对齐后的图像,所述纹理网络检测所述人脸图像的纹理特征。
在一个实施例中,所述光流网络的输入图像为所述训练集图像或者所述待检测图像的帧差图像,所述光流网络检测所述输入图像的光流方向特征。
在一个实施例中,所述将待检测图像输入所述目标活体检测模型,输出活体检测结果包括:
对所述待检测图像进行人脸质量评估;
将所述人脸质量评估通过的所述待检测图像输入所述目标活体检测模型,输出活体检测结果。
根据本发明的另一个方面,还提供一种活体检测装置,所述装置包括训练模块和检测模块:
所述训练模块用于将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络;
所述检测模块用于将待检测图像输入所述目标活体检测模型,输出活体检测结果。
在一个实施例中,所述装置还包括优化模块,所述优化模块用于根据多任务损失函数对所述活体检测模型进行端到端的反向传播梯度更新,其中,所述多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和所述活体检测模型的分类损失。
根据本发明的另一个方面,还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络,其中,所述纹理网络、所述光流网络和所述亮度网络并联;
将待检测图像输入所述目标活体检测模型,输出活体检测结果。
在一个实施例中,所述处理器执行所述计算机程序时实现以下步骤:
根据多任务损失函数对所述活体检测模型进行端到端的反向传播梯度更新,其中,所述多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和所述活体检测模型的分类损失。
在一个实施例中,所述处理器执行所述计算机程序时实现以下步骤:
对图像中的人脸图像进行人脸对齐,其中,所述图像包括所述训练集图像或者所述待检测图像;
将所述人脸对齐后的图像进行最大池化;
将所述最大池化后图像的帧差图像作为所述亮度网络的输入图像。
在一个实施例中,所述处理器执行所述计算机程序时实现以下步骤:所述亮度网络检测所述人脸图像的亮度特征和亮度变化周期特征。
在一个实施例中,所述处理器执行所述计算机程序时实现以下步骤:所述纹理网络的输入图像为所述训练集图像或者所述待检测图像中的人脸图像进行人脸对齐后的图像,所述纹理网络检测所述人脸图像的纹理特征。
在一个实施例中,所述处理器执行所述计算机程序时实现以下步骤:所述光流网络的输入图像为所述训练集图像或者所述待检测图像的帧差图像,所述光流网络检测所述输入图像的光流方向特征。
在一个实施例中,所述处理器执行所述计算机程序时实现以下步骤:
对所述待检测图像进行人脸质量评估;
将所述人脸质量评估通过的所述待检测图像输入所述目标活体检测模型,输出活体检测结果。
根据本发明的另一个方面,还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络,其中,所述纹理网络、所述光流网络和所述亮度网络并联;
将待检测图像输入所述目标活体检测模型,输出活体检测结果。
在一个实施例中,所述计算机程序被处理器执行时实现以下步骤:
根据多任务损失函数对所述活体检测模型进行端到端的反向传播梯度更新,其中,所述多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和所述活体检测模型的分类损失。
在一个实施例中,所述计算机程序被处理器执行时实现以下步骤:
对图像中的人脸图像进行人脸对齐,其中,所述图像包括所述训练集图像或者所述待检测图像;
将所述人脸对齐后的图像进行最大池化;
将所述最大池化后图像的帧差图像作为所述亮度网络的输入图像。
在一个实施例中,所述计算机程序被处理器执行时实现以下步骤:所述亮度网络检测所述图像的亮度特征和亮度变化周期特征。
在一个实施例中,所述计算机程序被处理器执行时实现以下步骤:所述纹理网络的输入图像为所述训练集图像或者所述待检测图像中的人脸图像进行人脸对齐后的图像,所述纹理网络检测所述人脸图像的纹理特征。
在一个实施例中,所述计算机程序被处理器执行时实现以下步骤:所述光流网络的输入图像为所述训练集图像或者所述待检测图像的帧差图像,所述光流网络检测所述输入图像的光流方向特征。
在一个实施例中,所述计算机程序被处理器执行时实现以下步骤:
对所述待检测图像进行人脸质量评估;
将所述人脸质量评估通过的所述待检测图像输入所述目标活体检测模型,输出活体检测结果。
上述活体检测方法、装置、计算机设备和存储介质,通过将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络;将待检测图像输入所述目标活体检测模型,输出活体检测结果,通过三个特征网络并行地对人脸图像进行分析,一方面无需用户进行指令交互,提高了活体检测的检测效率,另一方面提高了活体检测的鲁棒性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本发明一个实施例中的活体检测方法应用场景图;
图2是根据本发明一个实施例中的活体检测方法的流程图;
图3是根据本发明一个实施例中的活体检测模型的示意图;
图4是根据本发明一个实施例中的亮度网络的预处理流程示意图;
图5是根据本发明一个实施例中的亮度网络的结构示意图;
图6是根据本发明一个实施例中的纹理网络的结构示意图;
图7是根据本发明一个实施例中的光流网络的结构示意图;
图8是根据本发明另一个实施例中活体目标检测方法的流程图;
图9是根据本发明一个实施例中活体检测装置的示意图;
图10是根据本发明另一个实施例中活体检测装置的示意图;
图11是根据本发明一个实施例中活体检测计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
图1是根据本发明一个实施例中的活体检测方法应用场景图,本申请提供的活体检测方法,可以应用于如图1所示的应用环境中。其中,采集设备102通过网络与计算机设备104通过网络进行通信。计算机设备104将训练集图像输入活体检测模型,上述活体检测模型包括纹理网络、光流网络和亮度网络,训练得到目标活体检测模型;处理器104将待检测图像输入目标活体检测模型,输出活体检测结果,上述训练集图像可以是通过采集设备102获取的,也可以是处理器104中存储的由其它视频或者图像设备采集到的人脸图像,待检测图像则是通过采集设备102获取到的。其中,采集设备102可以但不限于是各种视频或者图像采集设备,处理器104可以但不限于个人计算机、笔记本电脑等电子设备中的处理器,处理器104和采集设备102也可以集成于同一个门禁设备中,例如,处理器104和采集设备102可以集成安装于各种门禁、闸机和计算机设备等需要进行活体检测的场景中。
在一个实施例中,图2是根据本发明一个实施例中活体检测方法的流程图,如图2所示,提供了一种活体检测方法,以该方法应用于图1中的处理器104为例进行说明,包括以下步骤:
步骤S210,将训练集图像输入活体检测模型,训练得到目标活体检测模型,活体检测模型包括纹理网络、光流网络和亮度网络。步骤S210是针对活体检测模型进行训练的步骤。图3是根据本发明一个实施例中的活体检测模型的示意图,如图3所示,该活体检测模型会将输入图像分别送入三个子网络:纹理网络、光流网络和亮度网络,根据三个子网络的输出进行活体的判定。纹理网络以图像中的纹理特征为检测目标,包含了图像的表面信息与其周围环境的关系,兼顾了图像的宏观信息和微观结构。常用的纹理描述特征可以通过局部二值模式(Local Binary Pattern,简称LBP)以及在LBP基础上提出的一系列改进算法如扩展LBP(extended LBP)、完整LBP(Complete LBP)和局部频率描述子(Local FrequencyDescriptors,简称LFD)等特征提取模式进行特征提取,在本步骤中则可以利用深度卷积神经网络(Convolutional neural network,CNN)进行特征提取。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。可选地,光流的生效依赖于亮度恒定、小运动以及空间一致这三个假设条件,亮度恒定是指同一点随着时间的变化,其亮度不会发生改变,这是基本光流法的假定;小运动是指就是时间的变化不会引起位置的剧烈变化,这样灰度才能对位置求偏导;空间一致则是指一个场景上邻近的点投影到图像上也是邻近点,且邻近点速度一致。相关技术中基于不同的理论基础提供了各种光流计算方法,例如,按照理论基础与数学方法的区别,光流算法包括但不限于基于梯度的方法、基于匹配的方法、基于能量的方法和基于相位的方法等。亮度网络则通过对图像的亮度特征进行提取和比较,由于不同的材料对光有不同的反射率和吸收率,因此真实的人脸和伪造的人脸的材料通常是不一样的,由于材料对光的反射和吸收的差异会导致图像亮度的差异,因此可以通过训练和学习活体人脸的图像亮度特征,对图像进行活体和非活体的分类。可选地,获取到上述三个子网络的判断结果后,对三个网络的输出进行全连接以及通过S型函数(Sigmoid函数)作为活体检测模型的激活函数,将输出变量映射到(0,1)之间,得到活体概率值,从而实现二分类。通过训练集图像训练上述活体检测模型,得到用于实际检测的目标活体检测模型。
步骤S220,将待检测图像输入目标活体检测模型,输出活体检测结果。
在步骤S220中,将视频采集装置采集到的视频图像帧输入到目标活体检测模型中,目标活体检测模型将根据输入图形的纹理、光流和亮度判断该图像中的人脸是否属于活体。
上述活体检测方法,通过将训练集图像输入活体检测模型,训练得到目标活体检测模型,活体检测模型包括纹理网络、光流网络和亮度网络;将待检测图像输入目标活体检测模型,输出活体检测结果,通过三个特征网络并行地对人脸图像进行分析,无需用户进行指令交互,提高了活体检测的检测效率,同时通过三个子网络进行人脸的活体检测,纹理特征、亮度特征以及光流特征可以相辅相成,当人脸静止没有光流特征的情况下仍然可以根据纹理特征和亮度特征对人脸进行判断,或者,在环境光发生变化而导致亮度特征不准确的情况下可以根据纹理特征和光流特征进行判断,大大降低了因为其中一个特征的误判造成整体误判的概率,提高了活体检测的鲁棒性。
在其中一个实施例中,将训练集图像输入活体检测模型,训练得到目标活体检测模型包括:根据多任务损失函数对活体检测模型进行端到端的反向传播梯度更新,其中,多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和活体检测模型的分类损失。由于在深度学习的网络中,通常模型训练过程中会引入损失函数,训练模型的过程就是通过优化参数能够让损失函数的值最小。在本实施例中,整个活体检测模型的损失函数不仅包括了三个子网络不同的判别信息通过一个全连接层进行融合后的融合判别信息,还包括各个子网络的损失函数,即如公式1所示的多任务损失函数:
Loss=αLosstexture+βLossopticflow+γLossbrightness+Lossfusion 公式1
其中,Losstexture是纹理网络的损失函数,Lossopticflow是光流网络的损失函数,lossbrightness是亮度网络的损失函数,Lossfusion是整个融合网络的损失函数,可选地,上述损失函数中对各个网络施加的均为交叉熵分类损失。
通过上述损失函数,通过端到端的方式对活体检测模型进行优化,训练步骤可以包括:
步骤1:初始化最大迭代次数max_iteration以及当前迭代次数iteration=0;
步骤2:从训练集数据中采样一个人脸视频帧;
步骤3:将人脸视频帧送入纹理网络、光流网络以及亮度网络得到活体的概率值;
步骤4:根据上述的损失函数对卷积神经网络进行反向传播梯度更新;反向传播算法是利用了神经网络的结构进行的计算。不一次计算所有参数的梯度,而是从后往前,首先计算输出层的梯度,然后是第二个参数矩阵的梯度,接着是中间层的梯度,再然后是第一个参数矩阵的梯度,最后是输入层的梯度。计算结束以后,就获取到了所要的两个参数矩阵的梯度。
步骤5:迭代次数加一,iteration+=1;
步骤6:如果iteration等于max_iteration,结束训练,否则回到Step2。
本实施例中提供的训练过程中使用的损失函数,对各个子网络和融合后的网络均进行分类损失约束,使得各个子网络的输出信息均具有其原有意义的同时整个融合网络也具有最佳的性能。本实施方案可以利用多种不同的特征对输入人脸进行判断,当其中某些特征失效时仍有其他的特征可用,因此本人脸活体检测模型鲁棒性更好,应用场景更加广泛、准确性更高。
在一个实施例中,图4是根据本发明一个实施例中亮度网络的预处理流程示意图,如图4所示,将训练集图像输入活体检测模型或者将待检测图像输入亮度网络包括以下预处理步骤:
步骤S410,对图像中的人脸图像进行人脸对齐,其中,图像包括训练集图像或者待检测图像;
步骤S420,将人脸对齐后的图像进行最大池化;
步骤S430,将最大池化后图像的帧差图像作为亮度网络的输入图像。
步骤S410至步骤S430中,图5是根据本发明一个实施例中亮度网络的结构示意图,如图5所示,亮度网络首先将输入的不同帧的人脸进行人脸对齐,保证不同帧之间的人脸部位是对应的,消除运动信息,但是由于人脸姿态的变化,在对齐后仍会有一些小偏差,因此借助最大池化的位移不变性在对齐后通过在图像上进行一个最大池化得到最终的输入图像,可选地,上述做大池化是一个3x 3的最大池化,再对不同帧进行减法操作得到亮度网络的输入,池化后的图像进行连接(concat)后,送入卷积层(Conv layers),在经过全连接(FC)层得到亮度网络的判定结果。弱化了移动带来的亮度特征提取误差,进一步提高了亮度网络的判定准确性。
在一个实施例中,亮度网络检测人脸图像的亮度特征和亮度变化周期特征。在本实施例中,由于非活体的材质通常和真实的人脸差异较大,这会体现在对光的反射和吸收上,而对光的反射和吸收的多少又会导致图像亮度的差异,比如反射率大的材质有更高的亮度而吸收率大的材质有更低的亮度,因此亮度网络会检测人脸的亮度特征。此外,真实的人都有心跳,在每个心跳周期内人脸的血红蛋白数量会发生规律地变化,而血红蛋白的多少会影响人脸对光照的吸收和反射导致图像亮度发生变化,因此帧间的亮度信息包含了人体的心率信号,而伪造的人脸是没有这种心率信号的。包括上述两个方面特征的亮度网络将由更高的检测准确度。
在一个实施例中,图6是根据本发明一个实施例中的纹理网络结构的示意图,如图6所示,纹理网络的输入图像为训练集图像或者待检测图像中的人脸图像进行人脸对齐后的图像,纹理网络检测人脸图像的纹理特征。纹理网络首先将多帧视频帧进行人脸对齐预处理,然后将对齐后的图像送入卷积层,并将卷积层的输出进行连接(concat)后送入长短期记忆网络(Long Short-Term Memory)得到纹理网络的判定结果。通过本实施方式,纹理网络可以聚焦人脸,学习到人脸的细节纹理特征,根据纹理特征对活体和非活体进行判断,提高纹理网络的准确性。
在一个实施例中,图7是根据本发明一个实施例中的光流网络结构的示意图,如图7所示,光流网络的输入图像为训练集图像或者待检测图像的帧差图像,光流网络检测输入图像的光流方向特征。光流网络将相邻帧之间的图像进行减法操作得到帧差图像,这种帧差图像可以当做一种近似的光流信息,随后将帧差图像进行连接(concat)并输入卷积层(Conv Layers)最后经过全连接(FC)层后输出光流网络的判定结果。光流信息代表了视频帧中每个像素点的运动方向和大小,伪造的人脸由于其整个人脸结构是一体的,因此在光流信息上表现为同一方向的运动,而真实的人脸则有不同方向的像素运动,所以借助帧差图像对光流信息进行近似,可以帮助模型判别活体与非活体,使得光流网络的判定结果更加准确。
在一个实施例中,图8是根据本发明另一个实施例中活体目标检测方法的流程图,如图8所示,将待检测图像输入目标活体检测模型,输出活体检测结果包括:
步骤S810,输入视频帧。通过摄像头采集多个视频帧;
步骤S820,人脸检测。通过人脸检测技术对每个视频帧进行人脸检测;
步骤S830,人脸质量评估。对所有人脸进行质量评估;上述人脸质量评估是用于对视频帧中的人脸图像进行预处理,例如通过相关技术中,根据人脸形状进行的人脸质量评估,如果人脸质量明显较低,则无需通过本发明提供的活体检测方法进行活体检测;
步骤S840,若所视频帧中的人脸至少有一个质量评估不通过,则此视频帧的结果判定为非活体;
步骤S850,在视频帧中的人脸质量评估通过的情况下,将所有人脸送入由3个子网络纹理网络、光流网络以及亮度网络组成的卷积神经网络进行分类;
步骤S860,判断活体的概率是否大于阈值;
步骤S870,在活体概率小于或者等于阈值的情况下,判断视频中的人脸是非活体;
步骤S880,在活体概率大于阈值的情况下,判断视频中的人脸是活体。
上述步骤S810至S880,通过人脸质量的预评估,在实际应用中可以进一步提高活体检测的效率。人脸检测模型不仅能够根据纹理特征进行活体和非活体的判断还结合了时序上的光流信息和亮度变化信息来加强判断结果的鲁棒性,应用场景更加广泛,对非活体的判断更准确。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,图9是根据本发明一个实施例中活体检测装置的示意图,如图9所示,提供了一种活体检测装置90,包括训练模块92和检测模块94:
训练模块92用于将训练集图像输入活体检测模型,训练得到目标活体检测模型,活体检测模型包括纹理网络、光流网络和亮度网络;
检测模块94用于将待检测图像输入目标活体检测模型,输出活体检测结果。
在一个实施例中,图10是根据本发明另一个实施例中活体检测装置的示意图,如图10所示,活体检测装置90还包括优化模块1002,
优化模块1002用于根据多任务损失函数对活体检测模型进行端到端的反向传播梯度更新,其中,多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和活体检测模型的分类损失。
关于活体检测装置的具体限定可以参见上文中对于活体检测方法的限定,在此不再赘述。上述活体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
上述活体检测装置,通过训练模块92将训练集图像输入活体检测模型,训练得到目标活体检测模型,活体检测模型包括纹理网络、光流网络和亮度网络;检测模块94将待检测图像输入目标活体检测模型,输出活体检测结果,通过三个特征网络并行地对人脸图像进行分析,无需用户进行指令交互,提高了活体检测的检测效率,同时提高了活体检测的鲁棒性。
在一个实施例中,图11是根据本发明一个实施例中活体检测计算机设备的结构示意图,如图11所示,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储活体检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种活体检测方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
上述活体检测计算机设备,通过将训练集图像输入活体检测模型,训练得到目标活体检测模型,活体检测模型包括纹理网络、光流网络和亮度网络;将待检测图像输入目标活体检测模型,输出活体检测结果,通过三个特征网络并行地对人脸图像进行分析,一方面无需用户进行指令交互,提高了活体检测的检测效率,另一方面提高了活体检测的鲁棒性。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述活体检测方法。
上述活体检测存储介质,通过将训练集图像输入活体检测模型,训练得到目标活体检测模型,活体检测模型包括纹理网络、光流网络和亮度网络;将待检测图像输入目标活体检测模型,输出活体检测结果,通过三个特征网络并行地对人脸图像进行分析,一方面无需用户进行指令交互,提高了活体检测的检测效率,另一方面提高了活体检测的鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种活体检测方法,其特征在于,所述方法包括:
将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络,其中,所述纹理网络、所述光流网络和所述亮度网络并联;
将待检测图像输入所述目标活体检测模型,输出活体检测结果。
2.根据权利要求1所述的方法,其特征在于,所述将训练集图像输入活体检测模型,训练得到目标活体检测模型的过程包括:
根据多任务损失函数对所述活体检测模型进行端到端的反向传播梯度更新,其中,所述多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和所述活体检测模型的分类损失。
3.根据权利要求1所述的方法,其特征在于,所述将训练集图像输入活体检测模型或者将待检测图像输入所述亮度网络的过程包括:
对图像中的人脸图像进行人脸对齐,其中,所述图像包括所述训练集图像或者所述待检测图像;
将所述人脸对齐后的图像进行最大池化;
将所述最大池化后图像的帧差图像作为所述亮度网络的输入图像。
4.根据权利要求3所述的方法,其特征在于,所述亮度网络检测所述人脸图像的亮度特征和亮度变化周期特征。
5.根据权利要求1所述的方法,其特征在于,所述纹理网络的输入图像为所述训练集图像或者所述待检测图像中的人脸图像进行人脸对齐后的图像,所述纹理网络检测所述人脸图像的纹理特征。
6.根据权利要求1所述的方法,其特征在于,所述光流网络的输入图像为所述训练集图像或者所述待检测图像的帧差图像,所述光流网络检测所述输入图像的光流方向特征。
7.根据权利要求1所述的方法,其特征在于,所述将待检测图像输入所述目标活体检测模型,输出活体检测结果包括:
对所述待检测图像进行人脸质量评估;
将所述人脸质量评估通过的所述待检测图像输入所述目标活体检测模型,输出活体检测结果。
8.一种活体检测装置,其特征在于,所述装置包括训练模块和检测模块:
所述训练模块用于将训练集图像输入活体检测模型,训练得到目标活体检测模型,所述活体检测模型包括纹理网络、光流网络和亮度网络,其中,所述纹理网络、所述光流网络和所述亮度网络并联;
所述检测模块用于将待检测图像输入所述目标活体检测模型,输出活体检测结果。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括优化模块,
所述优化模块用于根据多任务损失函数对所述活体检测模型进行端到端的反向传播梯度更新,其中,所述多任务损失函数包括纹理网络的分类损失、光流网络的分类损失、亮度网络的分类损失和所述活体检测模型的分类损失。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010680515.6A 2020-07-15 2020-07-15 活体检测方法、装置、计算机设备和存储介质 Active CN112001240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010680515.6A CN112001240B (zh) 2020-07-15 2020-07-15 活体检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010680515.6A CN112001240B (zh) 2020-07-15 2020-07-15 活体检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112001240A true CN112001240A (zh) 2020-11-27
CN112001240B CN112001240B (zh) 2021-08-17

Family

ID=73466461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010680515.6A Active CN112001240B (zh) 2020-07-15 2020-07-15 活体检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112001240B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257685A (zh) * 2020-12-08 2021-01-22 成都新希望金融信息有限公司 人脸翻拍识别方法、装置、电子设备及存储介质
CN112597885A (zh) * 2020-12-22 2021-04-02 北京华捷艾米科技有限公司 人脸活体检测方法、装置、电子设备及计算机存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
WO2016023582A1 (en) * 2014-08-13 2016-02-18 Fondation De L'institut De Recherche Idiap A method of detecting a falsified presentation to a vascular recognition system
US20160057138A1 (en) * 2014-03-07 2016-02-25 Hoyos Labs Ip Ltd. System and method for determining liveness
CN106778559A (zh) * 2016-12-01 2017-05-31 北京旷视科技有限公司 活体检测的方法及装置
US20170180348A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Fair, secured, and efficient completely automated public turing test to tell computers and humans apart (captcha)
CN108986245A (zh) * 2018-06-14 2018-12-11 深圳市商汤科技有限公司 基于人脸识别的考勤方法及终端
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及存储介质
CN110516644A (zh) * 2019-08-30 2019-11-29 深圳前海微众银行股份有限公司 一种活体检测方法及装置
CN110674730A (zh) * 2019-09-20 2020-01-10 华南理工大学 一种基于单目的人脸静默活体检测方法
CN110738116A (zh) * 2019-09-16 2020-01-31 阿里巴巴集团控股有限公司 活体检测方法及装置和电子设备
CN110866454A (zh) * 2019-10-23 2020-03-06 智慧眼科技股份有限公司 人脸活体检测方法及系统、计算机可读取的存储介质
CN111178183A (zh) * 2019-12-16 2020-05-19 深圳市华尊科技股份有限公司 人脸检测方法及相关装置
CN111368666A (zh) * 2020-02-25 2020-07-03 上海蠡图信息科技有限公司 一种基于新型池化及注意力机制双流网络的活体检测方法
CN111368811A (zh) * 2020-05-26 2020-07-03 腾讯科技(深圳)有限公司 活体检测方法、装置、设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
US20160057138A1 (en) * 2014-03-07 2016-02-25 Hoyos Labs Ip Ltd. System and method for determining liveness
WO2016023582A1 (en) * 2014-08-13 2016-02-18 Fondation De L'institut De Recherche Idiap A method of detecting a falsified presentation to a vascular recognition system
US20170180348A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Fair, secured, and efficient completely automated public turing test to tell computers and humans apart (captcha)
CN106778559A (zh) * 2016-12-01 2017-05-31 北京旷视科技有限公司 活体检测的方法及装置
CN108986245A (zh) * 2018-06-14 2018-12-11 深圳市商汤科技有限公司 基于人脸识别的考勤方法及终端
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及存储介质
CN110516644A (zh) * 2019-08-30 2019-11-29 深圳前海微众银行股份有限公司 一种活体检测方法及装置
CN110738116A (zh) * 2019-09-16 2020-01-31 阿里巴巴集团控股有限公司 活体检测方法及装置和电子设备
CN110674730A (zh) * 2019-09-20 2020-01-10 华南理工大学 一种基于单目的人脸静默活体检测方法
CN110866454A (zh) * 2019-10-23 2020-03-06 智慧眼科技股份有限公司 人脸活体检测方法及系统、计算机可读取的存储介质
CN111178183A (zh) * 2019-12-16 2020-05-19 深圳市华尊科技股份有限公司 人脸检测方法及相关装置
CN111368666A (zh) * 2020-02-25 2020-07-03 上海蠡图信息科技有限公司 一种基于新型池化及注意力机制双流网络的活体检测方法
CN111368811A (zh) * 2020-05-26 2020-07-03 腾讯科技(深圳)有限公司 活体检测方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XIN CHENG 等: "DTFA-Net: Dynamic and Texture Features Fusion Attention Network for Face Antispoofing", 《COMPLEXITY》 *
吴继鹏: "基于纹理特征的2D-3D人脸活体检测关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨巨成 等: "人脸识别活体检测综述", 《天津科技大学学报》 *
王宇龙 等: "基于面部特征点运动的活体识别方法", 《网络与信息安全学报》 *
邓雄 等: "基于深度学习和特征融合的人脸活体检测算法", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257685A (zh) * 2020-12-08 2021-01-22 成都新希望金融信息有限公司 人脸翻拍识别方法、装置、电子设备及存储介质
CN112597885A (zh) * 2020-12-22 2021-04-02 北京华捷艾米科技有限公司 人脸活体检测方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN112001240B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN111444881B (zh) 伪造人脸视频检测方法和装置
CN107766786B (zh) 活性测试方法和活性测试计算设备
CN111274916B (zh) 人脸识别方法和人脸识别装置
CN110334587B (zh) 人脸关键点定位模型的训练方法、装置及关键点定位方法
CN112800903B (zh) 一种基于时空图卷积神经网络的动态表情识别方法及系统
Babaee et al. Person identification from partial gait cycle using fully convolutional neural networks
US7274819B2 (en) Pattern recognition apparatus using parallel operation
CN112001240B (zh) 活体检测方法、装置、计算机设备和存储介质
CN110807437B (zh) 视频粒度特征确定方法、装置和计算机可读存储介质
CN110598587B (zh) 结合弱监督的表情识别网络训练方法、系统、介质及终端
CN113255630B (zh) 一种运动目标识别训练方法、运动目标识别方法及装置
CN112036260B (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN112215180A (zh) 一种活体检测方法及装置
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
CN111401192A (zh) 基于人工智能的模型训练方法和相关装置
Luo et al. ClawGAN: Claw connection-based generative adversarial networks for facial image translation in thermal to RGB visible light
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN114360073A (zh) 一种图像识别方法及相关装置
JP2022039984A (ja) 顔画像から眼の領域を見つけるシステム及び方法
CN116246110A (zh) 基于改进胶囊网络的图像分类方法
Singhal et al. Comparing cnn and rnn for prediction of judgement in video interview based on facial gestures
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
CN114550247A (zh) 表情强度变化的人脸表情识别方法、系统及存储介质
CN115830720A (zh) 活体检测方法、装置、计算机设备和存储介质
CN113674383A (zh) 生成文本图像的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant