CN106897658B - 人脸活体的鉴别方法和装置 - Google Patents

人脸活体的鉴别方法和装置 Download PDF

Info

Publication number
CN106897658B
CN106897658B CN201510964347.2A CN201510964347A CN106897658B CN 106897658 B CN106897658 B CN 106897658B CN 201510964347 A CN201510964347 A CN 201510964347A CN 106897658 B CN106897658 B CN 106897658B
Authority
CN
China
Prior art keywords
face
action
state
key points
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510964347.2A
Other languages
English (en)
Other versions
CN106897658A (zh
Inventor
汪铖杰
李季檩
黄飞跃
吴永坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201510964347.2A priority Critical patent/CN106897658B/zh
Priority to PCT/CN2016/084677 priority patent/WO2017101267A1/zh
Publication of CN106897658A publication Critical patent/CN106897658A/zh
Priority to US15/728,178 priority patent/US10438077B2/en
Application granted granted Critical
Publication of CN106897658B publication Critical patent/CN106897658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种人脸活体的鉴别方法,包括:获取随机的动作序列集,提示用户在规定的时间内依次完成动作序列集中的指定动作;获取人脸视频序列,使用人脸检测方法检测人脸视频序列中的第一帧人脸图像;定位第一帧人脸图像中的人脸关键点;采用跟踪人脸关键点,输出每一帧的人脸关键点;根据人脸关键点采用连续分析法输出人脸视频序列对应的动作的状态参数;根据状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体,提高了人脸活体鉴别的准确率。此外,还提出了一种人脸活体的鉴别装置。

Description

人脸活体的鉴别方法和装置
技术领域
本发明涉及计算机技术领域,特别是涉及一种人脸活体的鉴别方法和装置。
背景技术
随着计算机技术的发展,各种应用都伴随着身份验证这一操作,如在支付时通过人脸识别验证操作者身份。假冒者往往采用拍摄的照片或提前录制的视频进行假冒身份的验证,使得在验证过程中验证是否是活体显得尤为重要。
现有的人脸活体的鉴别往往采用纹理分类器鉴别人脸活体,当人像照片或人像视频画质较高时,会将照片或视频误判为真人,当视频采集设备质量较差时,真人也不能通过活体鉴别,产生很高的误判率。
发明内容
基于此,有必要针对上述技术问题,提供一种人脸活体的鉴别方法和装置,提高人脸活体鉴别的准确率。
一种人脸活体的鉴别方法,所述方法包括:
获取随机的动作序列集,提示用户在规定的时间内依次完成所述动作序列集中的指定动作;
获取人脸视频序列,使用人脸检测方法检测所述人脸视频序列中的第一帧人脸图像;
定位所述第一帧人脸图像中的人脸关键点;
跟踪人脸关键点,输出每一帧的人脸关键点;
根据所述人脸关键点采用连续分析法输出所述人脸视频序列对应的动作的状态参数;
根据所述状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成所述动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体。
一种人脸活体的鉴别装置,所述装置包括:
提示模块,用于获取随机的动作序列集,提示用户在规定的时间内依次完成所述动作序列集中的指定动作;
检测模块,用于获取人脸视频序列,使用人脸检测方法检测所述人脸视频序列中的第一帧人脸图像;
定位跟踪人脸关键点模块,用于定位所述第一帧人脸图像中的人脸关键点,跟踪人脸关键点,输出每一帧的人脸关键点;
连续分析模块,用于根据所述人脸关键点采用连续分析法输出所述人脸视频序列对应的动作的状态参数;
鉴定模块,用于根据所述状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成所述动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体。
上述人脸活体的鉴别方法和装置,通过获取随机的动作序列集,提示用户在规定的时间内依次完成动作序列集中的指定动作,获取人脸视频序列,使用人脸检测方法检测人脸视频序列中的第一帧人脸图像,定位第一帧人脸图像中的人脸关键点,跟踪人脸关键点,输出每一帧的人脸关键点,根据人脸关键点采用连续分析法输出人脸视频序列对应的动作的状态参数,根据状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体,根据状态参数的连续性鉴定用户是否完成当前的指定动作,相当于不仅要完成指定动作的端点状态,还要保证从一个端点状态到另一个端点状态之间的动作的连续性,假冒的视频往往完成动作时不能具有很好的连续性,大大提高了人脸活体鉴别的准确性。
附图说明
图1为一个实施例中人脸活体的鉴别方法的应用环境图;
图2为一个实施例中图1中服务器的内部结构图;
图3为一个实施例中图1中终端的内部结构图;
图4为一个实施例中人脸活体的鉴别方法的流程图;
图5为一个实施例中人脸活体的鉴别装置的结构框图;
图6为另一个实施例中人脸活体的鉴别装置的结构框图。
具体实施方式
图1为一个实施例中人脸活体的鉴别方法运行的应用环境图。如图1所示,该应用环境包括终端110、服务器120,其中终端110和服务器120通过网络进行通信。
终端110包括视频序列采集装置,可为智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端110可通过网络从服务器120接收随机的动作序列集或向服务器120发送视频序列等,服务器120可以响应终端110发送的鉴定请求等。
在一个实施例中,图1中的服务器120的内部结构如图2所示,该服务器120包括通过系统总线连接的处理器、存储介质、内存和网络接口。其中,该服务器120的存储介质存储有操作系统、数据库和第一人脸活体的鉴别装置,数据库用于存储数据,如用户的人脸视频,第一人脸活体的鉴别装置用于实现一种适用于服务器120的人脸活体的鉴别方法。该服务器120的处理器用于提供计算和控制能力,支撑整个服务器120的运行。该服务器120的内存为存储介质中的第一人脸活体的鉴别装置的运行提供环境。该服务器120的网络接口用于与外部的终端110通过网络连接通信,比如向终端110发送随机的动作序列集等。
在一个实施例中,图1中的终端110的内部结构如图3所示,该终端110包括通过系统总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示屏幕和输入设备。其中,终端110的存储介质存储有操作系统,还包括第二人脸活体的鉴别装置,该装置用于实现一种适用于终端的人脸活体的鉴别方法。该处理器用于提供计算和控制能力,支撑整个终端110的运行。终端110中的图形处理单元用于至少提供显示界面的绘制能力,内存为存储介质中的第二人脸活体的鉴别装置的运行提供环境,网络接口用于与服务器120进行网络通信,如接收服务器120发送的随机的动作序列集等。显示屏幕用于显示应用界面等,如显示应用界面上的随机的动作序列对应的示范动作动画等,输入设备包括摄像头,用于采集用户的视频,接收用户输入的命令或数据等。对于带触摸屏的终端110,显示屏幕和输入设备可为触摸屏。
如图4所示,在一个实施例中,提供了一种人脸活体的鉴别方法,以应用于上述应用环境中的服务器或终端来举例说明,包括如下步骤:
步骤S210,获取随机的动作序列集,提示用户在规定的时间内依次完成所述动作序列集中的指定动作。
具体的,随机的动作序列集可由服务器或终端产生,如随机的动作序列集为“左右摇头,眨眼,张嘴,上下摇头”,并在终端显示随机的动作序列集,可通过文字、示范视频的形式显示提示信息,可逐个显示,提示用户在规定的时间内依次完成动作序列集中的指定动作,可提示用户面向摄像头等按要求完成指定动作,可以限定每个指定动作的完成时间。如果是由服务器产生,则将随机的动作序列集发送至终端。在一个实施例中,动作序列集中的指定动作需要完成预设数目个,可以不用全部完成。
步骤S220,获取人脸视频序列,使用人脸检测方法检测人脸视频序列中的第一帧人脸图像。
具体的,通过摄像头采集用户的人脸视频序列,获取人脸视频序列中的每帧人脸视频图像,按照时间的先后顺序使用人脸检测方法检测人脸视频图像的第一帧人脸图像。人脸检测方法可以根据需要自定义,如采用基于深度学习的人脸检测方法,深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示,在人脸检测率和误检率上明显优于基于肤色或者统计学习的方法,并且适用于更加多变的图像。
步骤S230,定位第一帧人脸图像中的人脸关键点,跟踪人脸关键点,输出每一帧的人脸关键点。
具体的,可以精确定位面部的关键区域位置,人脸关键点包括眉毛、眼睛、鼻子、嘴巴,脸部轮廓等,支持一定程度遮挡以及多角度人脸。定位出第一帧人脸关键点后,后续人脸图像帧进行人脸关键点跟踪,输出每一帧的人脸关键点,人脸关键点的跟踪可以采用不同的跟踪方法,如光流跟踪、TLD(Tracking-Learning-Detection)跟踪、利用配准前后帧关系的跟踪。
在一个实施例中,人脸检测方法为基于深度卷积神经网络的人脸检测方法,定位第一帧人脸图像中的人脸关键点采用基于深度卷积神经网络的定位方法。
具体的,卷积神经网络(Convolutional Neural Network,CNN)是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用来求局部平均与二次提取的下采样层(S-层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。基于深度卷积神经网络的人脸检测方法的输入是各个视频图像,检测出各个视频图像中的人脸图像,基于深度卷积神经网络的人脸关键点定位方法使用CNN网络进行训练,在检测出的人脸图像中定位人脸关键点,采用深度卷积神经网络来检测人脸和定位人脸关键点,能提高检测和定位的准确性。
步骤S240,根据人脸关键点采用连续分析法输出人脸视频序列对应的动作的状态参数。
具体的,状态参数根据动作的不同,表示不同人脸关键点的状态值,如指定动作是摇头,则状态参数是指人脸的三维角度值,如指定动作是眨眼,则状态参数是指睁眼幅度值,如指定动作是张嘴,则状态参数是张嘴幅度值。采用连续分析法是指得到的各个状态值不是离散数值,在动作连续的情况下得到的状态值应是连续的。根据指定动作的不同,可采用不同的连续分析法,如对于摇头,可使用姿态估计得到人脸的连续三维角度值,对于张嘴,可采用五官关键点的几何位置关系,或者回归器来计算出连续的睁眼幅度。采用连续分析法在判断各个动作时,如果是真人完成的,则各个动作的状态参数应是连续的数值,因为对于真人做各个动作时一定是一个以连续变化渐进完成的过程,如摇头时,人脸的角度一定是连续的角度变化过程。
步骤S250,根据状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成所述动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体。
具体的,可根据各个状态参数的突变性检测动作是否是由真人完成,如果存在突变值,则说明动作不是由真人完成的。如采用照片假冒真人完成动作,照片上的动作往往是跳跃性的,不具有连续的变化过程。对于传统的鉴别方法往往采用分类器进行鉴别,而分类器输出的分类结果是离散的,不具有连续性,比如对于张嘴动作,采用2张照片,一张完全张开,一张完全闭合就可能假冒成功通过鉴定,而根据状态参数的连续性鉴定用户是否完成当前的指定动作,可提高鉴定的准确性。根据状态参数的连续性鉴定用户是否完成当前的指定动作,可预设各个动作完成成功需要达到的预设状态参数值,如设定一系列连续变化的多个状态参数值,各个状态参数的精确度可自行设定,如精确到小数位数为2位,只要人脸视频序列对应的动作的状态参数中缺少其中任何一个状态参数就鉴定为非活体,大大提高了人脸活体鉴别的准确性。并且只有用户在规定的时间内依次完成动作序列集中的指定动作,才鉴定为人脸活体,因为动作序列集中的指定动作都是随机的,且可自设定每个动作完成的次数等,进一步保证了鉴别的准确性。
本实施例中,通过获取随机的动作序列集,提示用户在规定的时间内依次完成动作序列集中的指定动作,获取人脸视频序列,使用人脸检测方法检测人脸视频序列中的第一帧人脸图像,定位第一帧人脸图像中的人脸关键点,跟踪人脸关键点,输出每一帧的人脸关键点,根据人脸关键点采用连续分析法输出人脸视频序列对应的动作的状态参数,根据状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体,根据状态参数的连续性鉴定用户是否完成当前的指定动作,相当于不仅要完成指定动作的端点状态,还要保证从一个端点状态到另一个端点状态之间的动作的连续性,假冒的视频往往完成动作时不能具有很好的连续性,大大提高了人脸活体鉴别的准确性。
在一个实施例中,当前指定动作为摇头,步骤S240包括:根据每帧人脸图像的人脸关键点做姿态估计得到连续的人脸三维角度。
具体的,不同的人脸方向即为不同的人脸姿态,根据人脸关键点的位置和五官的比例可分析得到人脸的三维角度作为状态参数。并且由于采用的是可得到连续性的人脸三维角度的姿态估计,得到的人脸三维角度是连续性数值,可为小数,可自定义精确到的小数点位数,以左右摇头为例,若人脸三维角度从左侧20度逐渐变化至右侧20度,则判定为鉴定通过,如果中间出现跳变值,或某些指定的状态值没有达到,则鉴定为非活体。
在一个实施例中,当前指定动作为眨眼或张嘴,步骤S240包括:包括:通过回归器输出人脸视频序列对应的动作的连续状态值,连续状态值与当前指定动作的张开幅度对应。
具体的,采用回归器输出的状态值是0~1之间的连续数值,可自定义精确到的小数点位数,如可采用SVR回归器(support vector regressor,支持向量回归)。对于每一帧图像,使用回归器输出一个状态值,该状态值作为状态参数,该值的大小与睁眼或张嘴的幅度成正比,通过幅度变化的连续性来判断整个动作的完成过程是连续的还是跳跃的。以张嘴为例,若嘴巴张开幅度对应的状态值从0至1连续变化,则判定为鉴定通过,如果中间出现跳变值,或某些指定的状态值没有达到,则为鉴定不通过。
在一个实施例中,步骤S250包括:判断任意相邻的两个状态状态的差值是否大于预设阈值,如果是,则当前的指定动作鉴定不通过,否则当前的指定动作鉴定通过。
具体的,相邻的两个状态参数是指根据时间先后顺序获得到的相邻2个人脸图像分析得到的状态参数。如果相邻的两个状态参数的差值大于预设阈值,则说明存在跳变值,动作的完成可能是假冒的,当前的指定动作鉴定不通过。只要有任意的两个状态参数的差值大于预设阈值,就可得到鉴定结果,快速方便。
在一个实施例中,方法还包括:通过分类器判断人脸视频序列中的人脸图像的类别,如果人脸图像为异常人脸,则当前的指定动作鉴定不通过。
具体的,有一些假冒身份者通过真人在扣洞人脸照后面完成动作来通过身份鉴定,通过剪去人脸图片的眼部和嘴部来制作一个纸片面具,真人在纸片面具后眨眼、张嘴、摇头便可通过传统的人脸活体鉴别。本实施例中,设置了异常检测器,先通过训练生成的分类器判断人脸视频序列中的人脸图像的类别,是不是异常人脸,也就是上述情况下的假脸,如果是假脸,则当前的指定动作鉴定不通过。在使用分类器之前可收集正常人脸图片和纸片面具图片作为两个类进行训练,可以先提取特征再训练分类器,如SVM(Support VectorMachine,支持向量机)或者直接用图片训练CNN分类器,得到训练成功的分类器,用于后续对正常人脸和异常人脸分类,进行异常人脸的识别。通过异常人脸的识别,进一步提高了人脸活体鉴别的准确性。
在一个实施例中,如图5所示,提供了一种人脸活体的鉴别装置,包括:
提示模块310,用于获取随机的动作序列集,提示用户在规定的时间内依次完成动作序列集中的指定动作。
检测模块320,用于获取人脸视频序列,使用人脸检测方法检测人脸视频序列中的第一帧人脸图像。
定位跟踪人脸关键点模块330,用于定位第一帧人脸图像中的人脸关键点,跟踪人脸关键点,输出每一帧的人脸关键点。
连续分析模块340,用于根据人脸关键点采用连续分析法输出人脸视频序列对应的动作的状态参数。
鉴定模块350,用于根据状态参数的连续性鉴别用户是否完成当前的指定动作,如果用户在规定的时间内依次完成动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体。
在一个实施例中,人脸检测方法为基于深度卷积神经网络的人脸检测方法,定位第一帧人脸图像中的人脸关键点采用基于深度卷积神经网络的定位方法。
在一个实施例中,当前指定动作为摇头,连续分析模块340还用于根据每帧人脸图像的人脸关键点做姿态估计得到连续的人脸三维角度。
在一个实施例中,当前指定动作为眨眼或张嘴,连续分析模块340还用于通过回归器输出人脸视频序列对应的动作的连续状态值,连续状态值与当前指定动作的张开幅度对应。
在一个实施例中,鉴定模块350还用于判断任意相邻的两个状态参数的差值是否大于预设阈值,如果是,则当前的指定动作鉴定不通过,否则当前的指定动作鉴定通过。
在一个实施例中,如图6所示,装置还包括:
异常检测模块360,用于通过分类器判断人脸视频序列中的人脸图像的类别,如果人脸图像为异常人脸,则当前的指定动作鉴定不通过。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述程序可存储于一计算机可读取存储介质中,如本发明实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种人脸活体的鉴别方法,所述方法包括:
获取随机的动作序列集,提示用户在规定的时间内依次完成所述动作序列集中的指定动作;
获取人脸视频序列,使用人脸检测方法检测所述人脸视频序列中的第一帧人脸图像,通过分类器判断所述人脸视频序列中的人脸图像的类别,如果所述人脸图像为异常人脸,则当前的指定动作鉴定不通过,所述分类器是通过收集正常人脸图片和纸片面具图片作为两个类进行训练得到的,所述纸片面具图片是剪去人脸图片的眼部和嘴部,真人在扣洞人脸照后面完成动作形成的图片;
定位所述第一帧人脸图像中的人脸关键点;
跟踪人脸关键点,输出每一帧的人脸关键点;
根据所述人脸关键点采用连续分析法输出所述人脸视频序列对应的动作的状态参数,所述状态参数根据动作的不同,表示不同人脸关键点的状态值,采用连续分析法是指得到的各个状态值是连续的,当所述指定动作为摇头时,根据每帧人脸图像的人脸关键点和五官的比例做姿态估计得到连续的人脸三维角度,对应的状态参数为精确到小数点位数的连续三维角度值,若人脸三维角度从一侧三维角度逐渐变化至另一侧三维角度,则判定为鉴定通过,如果中间出现跳变值,或指定的状态值没有达到,则鉴定为非活体,当所述指定动作为张嘴时,对应的状态参数为采用回归器输出的精确到小数点位数的连续数值,采用回归器输出的状态值是0至1之间的连续数值,若嘴巴张开幅度对应的状态值从0至1连续变化,则判定为鉴定通过,如果中间出现跳变值,或指定的状态值没有达到,则为鉴定不通过;
根据所述状态参数的连续性鉴别用户是否完成当前的指定动作,预设各个动作完成成功需要达到的预设状态参数值,设定一系列连续变化的多个预设状态参数值,所述预设状态参数值的精确度精确到小数点位数,如果用户在规定的时间内依次完成所述动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体,其中人脸视频序列对应的动作的状态参数中缺少其中任何一个预设状态参数值就鉴定为非活体,完成指定动作的端点状态,且保证从一个端点状态到另一个端点状态之间的动作的连续性。
2.根据权利要求1所述的方法,其特征在于,所述人脸检测方法为基于深度卷积神经网络的人脸检测方法,所述定位所述第一帧人脸图像中的人脸关键点采用基于深度卷积神经网络的定位方法。
3.根据权利要求1所述的方法,其特征在于,当前指定动作为摇头,所述根据所述人脸关键点采用连续分析法输出所述人脸视频序列对应的动作的状态参数的步骤包括:
所述人脸三维角度的小数点位数自定义。
4.根据权利要求1所述的方法,其特征在于,当前指定动作为眨眼或张嘴,所述根据所述人脸关键点采用连续分析法输出所述人脸视频序列对应的动作的状态参数的步骤包括:
通过回归器输出所述人脸视频序列对应的动作的连续状态值,所述连续状态值与所述当前指定动作的张开幅度对应。
5.根据权利要求1所述的方法,其特征在于,所述根据所述状态参数的连续性鉴别用户是否完成当前的指定动作的步骤包括:
判断任意相邻的两个状态参数的差值是否大于预设阈值,如果是,则当前的指定动作鉴定不通过,否则当前的指定动作鉴定通过。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
先提取图片特征再训练所述分类器。
7.一种人脸活体的鉴别装置,其特征在于,所述装置包括:
提示模块,用于获取随机的动作序列集,提示用户在规定的时间内依次完成所述动作序列集中的指定动作;
检测模块,用于获取人脸视频序列,使用人脸检测方法检测所述人脸视频序列中的第一帧人脸图像;
异常检测模块,通过分类器判断所述人脸视频序列中的人脸图像的类别,如果所述人脸图像为异常人脸,则当前的指定动作鉴定不通过,所述分类器是通过收集正常人脸图片和纸片面具图片作为两个类进行训练得到的,所述纸片面具图片是剪去人脸图片的眼部和嘴部,真人在扣洞人脸照后面完成动作形成的图片;
定位跟踪人脸关键点模块,用于定位所述第一帧人脸图像中的人脸关键点,跟踪人脸关键点,输出每一帧的人脸关键点;
连续分析模块,用于根据所述人脸关键点采用连续分析法输出所述人脸视频序列对应的动作的状态参数,所述状态参数根据动作的不同,表示不同人脸关键点的状态值,采用连续分析法是指得到的各个状态值是连续的,当所述指定动作为摇头时,根据每帧人脸图像的人脸关键点和五官的比例做姿态估计得到连续的人脸三维角度,对应的状态参数为精确到小数点位数的连续三维角度值,若人脸三维角度从一侧三维角度逐渐变化至另一侧三维角度,则判定为鉴定通过,如果中间出现跳变值,或指定的状态值没有达到,则鉴定为非活体,当所述指定动作为张嘴时,对应的状态参数为采用回归器输出的精确到小数点位数的连续数值,采用回归器输出的状态值是0至1之间的连续数值,若嘴巴张开幅度对应的状态值从0至1连续变化,则判定为鉴定通过,如果中间出现跳变值,或指定的状态值没有达到,则为鉴定不通过;
鉴定模块,用于根据所述状态参数的连续性鉴别用户是否完成当前的指定动作,预设各个动作完成成功需要达到的预设状态参数值,设定一系列连续变化的多个预设状态参数值,所述预设状态参数值的精确度精确到小数点位数,如果用户在规定的时间内依次完成所述动作序列集中的指定动作,则鉴定为人脸活体,否则,鉴定为非活体,其中人脸视频序列对应的动作的状态参数中缺少其中任何一个预设状态参数值就鉴定为非活体,完成指定动作的端点状态,且保证从一个端点状态到另一个端点状态之间的动作的连续性。
8.根据权利要求7所述的装置,其特征在于,所述人脸检测方法为基于深度卷积神经网络的人脸检测方法,所述定位所述第一帧人脸图像中的人脸关键点采用基于深度卷积神经网络的定位方法。
9.根据权利要求7所述的装置,其特征在于,所述人脸三维角度的小数点位数自定义。
10.根据权利要求7所述的装置,其特征在于,当前指定动作为眨眼或张嘴,所述连续分析模块还用于通过回归器输出所述人脸视频序列对应的动作的连续状态值,所述连续状态值与所述当前指定动作的张开幅度对应。
11.根据权利要求7所述的装置,其特征在于,所述鉴定模块还用于判断任意相邻的两个状态参数的差值是否大于预设阈值,如果是,则当前的指定动作鉴定不通过,否则当前的指定动作鉴定通过。
12.根据权利要求7所述的装置,其特征在于,所述
异常检测模块还用于先提取图片特征再训练所述分类器。
13.一种计算机设备,其特征在于,包括存储介质和处理器,所述存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至6中任一项权利要求所述方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至6中任一项权利要求所述方法的步骤。
CN201510964347.2A 2015-12-18 2015-12-18 人脸活体的鉴别方法和装置 Active CN106897658B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510964347.2A CN106897658B (zh) 2015-12-18 2015-12-18 人脸活体的鉴别方法和装置
PCT/CN2016/084677 WO2017101267A1 (zh) 2015-12-18 2016-06-03 人脸活体的鉴别方法、终端、服务器和存储介质
US15/728,178 US10438077B2 (en) 2015-12-18 2017-10-09 Face liveness detection method, terminal, server and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510964347.2A CN106897658B (zh) 2015-12-18 2015-12-18 人脸活体的鉴别方法和装置

Publications (2)

Publication Number Publication Date
CN106897658A CN106897658A (zh) 2017-06-27
CN106897658B true CN106897658B (zh) 2021-12-14

Family

ID=59055652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510964347.2A Active CN106897658B (zh) 2015-12-18 2015-12-18 人脸活体的鉴别方法和装置

Country Status (3)

Country Link
US (1) US10438077B2 (zh)
CN (1) CN106897658B (zh)
WO (1) WO2017101267A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017015390A1 (en) * 2015-07-20 2017-01-26 University Of Maryland, College Park Deep multi-task learning framework for face detection, landmark localization, pose estimation, and gender recognition
US9965610B2 (en) * 2016-07-22 2018-05-08 Nec Corporation Physical system access control
CN108229326A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
CN107346422B (zh) * 2017-06-30 2020-09-08 成都大学 一种基于眨眼检测的活体人脸识别方法
CN107424266A (zh) * 2017-07-25 2017-12-01 上海青橙实业有限公司 人脸识别解锁的方法和装置
CN107491757A (zh) * 2017-08-18 2017-12-19 上海二三四五金融科技有限公司 一种基于活体特征的防欺诈系统及控制方法
CN108875497B (zh) * 2017-10-27 2021-04-27 北京旷视科技有限公司 活体检测的方法、装置及计算机存储介质
CN107992845A (zh) * 2017-12-14 2018-05-04 广东工业大学 一种面部识别辨伪方法及装置、计算机设备
CN109960986A (zh) * 2017-12-25 2019-07-02 北京市商汤科技开发有限公司 人脸姿态分析方法、装置、设备、存储介质以及程序
CN108229359A (zh) * 2017-12-26 2018-06-29 大唐软件技术股份有限公司 一种人脸图像处理方法及装置
WO2019127365A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 人脸活体检测方法、电子设备和计算机程序产品
CN110363787A (zh) * 2018-03-26 2019-10-22 北京市商汤科技开发有限公司 信息获取方法和系统、电子设备、程序和介质
CN108647576A (zh) * 2018-04-10 2018-10-12 阳光暖果(北京)科技发展有限公司 一种基于视频序列人脸识别的活体身份认证方法
CN108596089A (zh) * 2018-04-24 2018-09-28 北京达佳互联信息技术有限公司 人脸姿态检测方法、装置、计算机设备及存储介质
CN111033508B (zh) 2018-04-25 2020-11-20 北京嘀嘀无限科技发展有限公司 一种识别身体运动的系统和方法
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与系统
CN109271929B (zh) * 2018-09-14 2020-08-04 北京字节跳动网络技术有限公司 检测方法和装置
CN109492550B (zh) * 2018-10-25 2023-06-06 腾讯科技(深圳)有限公司 活体检测方法、装置及应用活体检测方法的相关系统
WO2020095350A1 (ja) * 2018-11-05 2020-05-14 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
CN109492585B (zh) * 2018-11-09 2023-07-25 联想(北京)有限公司 一种活体检测方法和电子设备
CN109697416B (zh) * 2018-12-14 2022-11-18 腾讯科技(深圳)有限公司 一种视频数据处理方法和相关装置
CN109635757B (zh) * 2018-12-18 2019-10-25 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
CN110084259B (zh) * 2019-01-10 2022-09-20 谢飞 一种结合面部纹理和光流特征的面瘫分级综合评估系统
CN109977839A (zh) * 2019-03-20 2019-07-05 北京字节跳动网络技术有限公司 信息处理方法和装置
CN110059607B (zh) * 2019-04-11 2023-07-11 深圳华付技术股份有限公司 活体多重检测方法、装置、计算机设备及存储介质
CN113678164A (zh) * 2019-04-19 2021-11-19 富士通株式会社 图像处理装置、图像处理方法以及图像处理程序
CN110287810B (zh) * 2019-06-04 2021-05-25 北京字节跳动网络技术有限公司 车门动作检测方法、装置和计算机可读存储介质
CN110245612A (zh) * 2019-06-14 2019-09-17 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110427806A (zh) * 2019-06-20 2019-11-08 北京奇艺世纪科技有限公司 视频识别方法、装置及计算机可读存储介质
CN110472487A (zh) * 2019-07-03 2019-11-19 平安科技(深圳)有限公司 活体用户检测方法、装置、计算机设备和存储介质
CN110443170B (zh) * 2019-07-24 2022-03-04 北京奇艺世纪科技有限公司 一种人体关键点确定方法、装置及电子设备
CN112395907A (zh) * 2019-08-12 2021-02-23 北京旷视科技有限公司 人脸活体检测方法和装置、人脸活体检测设备及介质
CN110705350B (zh) * 2019-08-27 2020-08-25 阿里巴巴集团控股有限公司 证件识别方法及装置
WO2021038298A2 (en) 2019-08-29 2021-03-04 PXL Vision AG Id verification with a mobile device
CN111353388A (zh) * 2020-02-11 2020-06-30 北京三快在线科技有限公司 活体检测方法、装置、电子设备及存储介质
US11361593B2 (en) * 2020-08-31 2022-06-14 Alipay Labs (singapore) Pte. Ltd. Methods and devices for face anti-spoofing
CN112435730A (zh) * 2020-11-20 2021-03-02 北京荟健科技有限公司 用户运动障碍的识别方法、装置、计算机设备及存储介质
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112488064B (zh) * 2020-12-18 2023-12-22 平安科技(深圳)有限公司 一种人脸追踪方法、系统、终端及存储介质
CN112287909B (zh) * 2020-12-24 2021-09-07 四川新网银行股份有限公司 一种随机生成检测点和交互要素的双随机活体检测方法
CN112633259A (zh) * 2021-03-08 2021-04-09 北京远鉴信息技术有限公司 人脸异常认证的识别方法、装置及电子设备
CN112699857A (zh) * 2021-03-24 2021-04-23 北京远鉴信息技术有限公司 基于人脸姿态的活体验证方法、装置及电子设备
CN112966650B (zh) * 2021-03-25 2022-10-14 北京中电兴发科技有限公司 一种实时视频流的人脸动作配合型活体验证方法
CN113239847A (zh) * 2021-05-26 2021-08-10 电子科技大学中山学院 一种人脸检测网络的训练方法、装置、设备以及存储介质
CN114140493B (zh) * 2021-12-03 2022-07-19 湖北微模式科技发展有限公司 目标多角度展示动作连续性检测方法
CN115174138A (zh) * 2022-05-25 2022-10-11 北京旷视科技有限公司 摄像头攻击检测方法、系统、设备、存储介质及程序产品
CN116110006B (zh) * 2023-04-13 2023-06-20 武汉商学院 一种用于智慧旅游系统的景区游客异常行为识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216887A (zh) * 2008-01-04 2008-07-09 浙江大学 照片人脸与活体人脸的计算机自动鉴别方法
CN101216882A (zh) * 2007-12-28 2008-07-09 北京中星微电子有限公司 一种人脸眼角与嘴角定位与跟踪的方法及装置
CN102289670A (zh) * 2011-08-31 2011-12-21 长安大学 一种具有光照鲁棒性的图像特征提取方法
CN102375970A (zh) * 2010-08-13 2012-03-14 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN103886301A (zh) * 2014-03-28 2014-06-25 中国科学院自动化研究所 一种人脸活体检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW413795B (en) * 1999-02-26 2000-12-01 Cyberlink Corp An image processing method of 3-D head motion with three face feature points
US7659920B2 (en) * 2005-03-22 2010-02-09 Microsoft Corp. System and method for very low frame rate teleconferencing employing image morphing and cropping
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition
CN104683302A (zh) * 2013-11-29 2015-06-03 国际商业机器公司 认证方法、认证装置、终端设备、认证服务器及系统
CN104751110B (zh) * 2013-12-31 2018-12-04 汉王科技股份有限公司 一种活体检测方法和装置
US9690998B2 (en) * 2014-11-13 2017-06-27 Intel Corporation Facial spoofing detection in image based biometrics
CN104361326A (zh) * 2014-11-18 2015-02-18 新开普电子股份有限公司 一种判别活体人脸的方法
CN104680375A (zh) * 2015-02-28 2015-06-03 优化科技(苏州)有限公司 电子支付真人活体身份验证系统
JP6009598B2 (ja) * 2015-03-13 2016-10-19 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置
US9922238B2 (en) * 2015-06-25 2018-03-20 West Virginia University Apparatuses, systems, and methods for confirming identity
CN104966070B (zh) * 2015-06-30 2018-04-10 北京汉王智远科技有限公司 基于人脸识别的活体检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216882A (zh) * 2007-12-28 2008-07-09 北京中星微电子有限公司 一种人脸眼角与嘴角定位与跟踪的方法及装置
CN101216887A (zh) * 2008-01-04 2008-07-09 浙江大学 照片人脸与活体人脸的计算机自动鉴别方法
CN102375970A (zh) * 2010-08-13 2012-03-14 北京中星微电子有限公司 一种基于人脸的身份认证方法和认证装置
CN102289670A (zh) * 2011-08-31 2011-12-21 长安大学 一种具有光照鲁棒性的图像特征提取方法
CN102622588A (zh) * 2012-03-08 2012-08-01 无锡数字奥森科技有限公司 双验证人脸防伪方法及装置
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN103886301A (zh) * 2014-03-28 2014-06-25 中国科学院自动化研究所 一种人脸活体检测方法

Also Published As

Publication number Publication date
US10438077B2 (en) 2019-10-08
CN106897658A (zh) 2017-06-27
US20180032828A1 (en) 2018-02-01
WO2017101267A1 (zh) 2017-06-22

Similar Documents

Publication Publication Date Title
CN106897658B (zh) 人脸活体的鉴别方法和装置
WO2020062523A1 (zh) 注视点判断方法和装置、电子设备和计算机存储介质
JP5010905B2 (ja) 顔認証装置
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN110223322B (zh) 图像识别方法、装置、计算机设备和存储介质
CN113366487A (zh) 基于表情组别的操作确定方法、装置及电子设备
CN109858371A (zh) 人脸识别的方法及装置
WO2016084072A1 (en) Anti-spoofing system and methods useful in conjunction therewith
US11126827B2 (en) Method and system for image identification
CN108369785A (zh) 活性检测
JP7071991B2 (ja) 証明書と持証者とを検査する方法及び装置
CN108229324A (zh) 手势追踪方法和装置、电子设备、计算机存储介质
CN106709404A (zh) 图像处理装置及图像处理方法
CN105654033A (zh) 人脸图像验证方法和装置
WO2022188697A1 (zh) 提取生物特征的方法、装置、设备、介质及程序产品
CN108805005A (zh) 身份验证方法和装置、电子设备、计算机程序和存储介质
CN106778574A (zh) 用于人脸图像的检测方法和装置
CN112001932A (zh) 人脸识别方法、装置、计算机设备和存储介质
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
Chang et al. Salgaze: Personalizing gaze estimation using visual saliency
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant