CN107358151A - 一种眼部运动检测方法和装置及活体识别方法和系统 - Google Patents

一种眼部运动检测方法和装置及活体识别方法和系统 Download PDF

Info

Publication number
CN107358151A
CN107358151A CN201710406487.7A CN201710406487A CN107358151A CN 107358151 A CN107358151 A CN 107358151A CN 201710406487 A CN201710406487 A CN 201710406487A CN 107358151 A CN107358151 A CN 107358151A
Authority
CN
China
Prior art keywords
eye
video
face
frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710406487.7A
Other languages
English (en)
Inventor
陈�全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201710406487.7A priority Critical patent/CN107358151A/zh
Publication of CN107358151A publication Critical patent/CN107358151A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种眼部运动检测方法,包括:从待测人脸视频中抽取若干视频帧;获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置;通过所述眼部的若干关键点位置获取每一抽取的所述视频帧的眼部的眼部长度和眼部宽度,并通过计算所述眼部长度和所述眼部宽度的比值获取对应的所述视频帧的眼部数值;基于每一抽取的所述视频帧的所述眼部数值判断所述待测人脸视频的眼部运动的情况。相应的,本发明还公开了一种眼部运动检测装置。本发明公开的眼部运动检测方法和装置计算简单效率高,对硬件设备要求低。

Description

一种眼部运动检测方法和装置及活体识别方法和系统
技术领域
本发明涉及人脸识别领域,尤其涉及一种眼部运动检测方法和装置,及活体识别方法和系统。
背景技术
随着人脸识别技术的发展,越来越多的场景需要用到人脸检测去快速的识别一个人的身份。但是有不法份子会利用图片或者视频代替真人去进行人脸识别,这样整个人脸识别系统的安全性就得不到保证。而人脸活体识别可以检测出当前待测人脸是活体人脸而非照片或者视频中的人脸,从而保证了人脸识别系统的安全性。在进行人脸识别时,通过对待测人脸的眼部运动情况的检测有助于识别人脸是否为活体。
现有技术通常通过摄像头采集人脸图像,利用睁闭眼时眼睛的图像特征对比实现睁闭眼状态判别,这类算法利用了边缘和灰度等图像特征,对比前后图像变化来实现技术效果,该方案中,人脸的移动会使误差变大,而且直接对比灰度特征容易受到光的影响,准确率较低。
发明内容
本发明实施例的目的是提供一种眼部运动检测方法和装置,计算简单,且准确率较高。
为实现上述目的,本发明实施例提供了一种眼部运动检测方法,包括步骤:
从待测人脸视频中抽取若干视频帧;
获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置;
通过所述眼部的若干关键点位置获取每一抽取的所述视频帧的眼部的眼部长度和眼部宽度,并通过计算所述眼部长度和眼部宽度的比值获取对应的所述视频帧的眼部数值;
基于每一抽取的所述视频帧的所述眼部数值判断所述待测人脸视频的眼部运动。
与现有技术相比,本发明实施例公开的一种眼部运动检测方法通过从所述待测人脸视频中获取若干视频帧,然后根据从抽取的每一视频帧中确定待测人脸的眼部的若干关键点位置,接着根据眼部的若干关键点位置获取眼部长度和眼部宽度,并通过眼部长度和眼部宽度的比值获取对应的视频帧的眼部数值,最后通过眼部数值判断对应的视频帧的眼部运动的技术方案;该方案通过获取抽取的视频帧的眼部关键点位置来获取待测人脸视频的眼部运动,计算简单高效,任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件,对设备硬件要求简单。
进一步地,所述基于每一抽取的所述视频帧的所述眼部数值判断所述待测人脸视频的眼部运动包括:
当所述眼部数值小于第一眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部睁开,当所述眼部数值大于第二眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部闭合;
若从所述待测人脸视频抽取的若干所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和所述眼部状态为眼部闭合的视频帧,则判定所述待测人脸视频的眼部有运动,且所述眼部运动为眨眼运动。
进一步地,所述获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置包括:
对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取眼部的若干关键点位置。
进一步地,所述眼部运动检测方法还包括:
若所述待测人脸视频抽取的若干所述视频帧中不同时包括所述眼部状态为所述眼部睁开的视频帧和所述眼部状态为眼部闭合的视频帧,则
获取所述眼部的若干关键点位置所确定的眼部区域的平均灰度值;
当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部睁开,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部闭合;
若所述待测人脸视频抽取的所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定所述待测人脸的眼部有运动,且所述眼部运动为眨眼运动。
相应地,本发明还提供一种眼部运动检测装置,包括:
视频帧抽取单元,用于从待测人脸视频中抽取若干视频帧;
眼部关键点位置获取单元,用于获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置;
眼部数值获取单元,用于通过所述眼部的若干关键点位置获取每一抽取的所述视频帧的眼部的眼部长度和眼部宽度,并通过计算所述眼部长度和眼部宽度的比值获取对应的所述视频帧的眼部数值;
眼部运动判断单元,用于基于每一抽取的所述视频帧的所述眼部数值判定所述待测人脸视频的眼部运动。
与现有技术相比,本发明实施例公开的一种眼部运动检测装置,首先通过视频帧抽取单元从待测人脸视频中抽取若干视频帧,然后通过眼部关键点位置获取单元获取抽取的每一视频帧的眼部的若干关键点位置,并通过眼部数值获取单元获取每一抽取的视频帧的眼部的眼部长度和眼部宽度,以及计算对应眼部数值;最后通过眼部运动判断单元基于眼部数值判断待测人脸视频的眼部运动的技术方案;实现通过检测眼部的关键点位置来实现对眼部运动的判断;该方案获取的眼部的关键点位置、获取眼部长度和眼部宽度,以及计算眼部数值的计算过程简单高效,任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件,设备硬件要求简单。
进一步地,所述眼部运动判断单元包括:
第一眼部状态判断模块,用于当所述眼部数值小于第一眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部睁开,当所述眼部数值大于第二眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部闭合;
第一眼部运动判断模块,用于若所述人脸视频抽取的所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定所述待测人脸的眼部有运动,且所述眼部运动为眨眼运动。
进一步地,所述眼部关键点位置获取单元包括:
人脸关键点检测模块,用于对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
眼部关键点位置获取模块,用于从每一抽取的所述视频帧的待测人脸的若干关键点位置中获取眼部的若干关键点位置。
进一步地,所述一种眼部运动检测装置还包括眼部运动补充判断单元,用于若所述人脸视频抽取的若干所述视频帧中不同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则重新判定所述待测人脸视频的眼部运动;
所述眼部运动补充判断单元包括:
平均灰度值获取模块,用于获取所述眼部的若干关键点位置所确定的眼部区域的平均灰度值;
第二眼部状态判断模块,用于当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部睁开,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部闭合;
第二眼部状态判断模块,用于若所述待测人脸视频抽取的所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定所述待测人脸的眼部有运动,且所述眼部运动为眨眼运动。
相应地,本发明实施例还提供一种活体识别方法,包括步骤:
检测待测人脸视频中的待测人脸的眼部运动的情况和其它至少一个部位运动的情况,其中,采用本发明提供的一种眼部运动检测方法检测待测人脸视频中的待测人脸的眼部运动的情况;
基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值;
计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,每一所述部位运动已预设相应的权值;
判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
与现有技术相比,本发明实施例公开的一种活体识别方法,采用本发明公开的眼部运动检测方法检测待测人脸视频的待测人脸的眼部的运动情况,以及通过检测待测人脸的其他部位的运动情况,获取对应的部位运动的运动分值,对每一部位运动分值进行加权后求和作为活体识别分值,利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案;其中,眼部运动检测方法计算过程简单高效,设备硬件要求简单;采用检测眼部和其他至少一个部位运动解决了现有技术中算法单一,安全性不高的问题,可扩展性强,且基于人脸部位运动的检测可以通过二维图像实现,对硬件要求不高;另外,采用对不同部位运动加权再进行分数融合,活体识别准确度高,本活体识别方法准确率高、硬件要求低和安全性高。
相应地,本发明实施例还提供一种活体识别系统,包括:
至少2个人脸部位运动检测装置,每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动,其中一人脸部位运动检测装置为本发明提供的一种眼部运动检测装置;
部位运动分值获取装置,用于基于每一所述部位运动的检测情况获取所述待测人脸的每一部位运动对应的运动分值;
活体识别分值计算装置,用于计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值;
活体判断装置,用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
与现有技术相比,本发明实施例公开的一种活体识别系统通过至少2个人脸部位运动检测装置获取待测人脸上的至少两个部位的运动分值,其中一人脸部位运动检测装置采用本发明实施例提供的眼部运动检测装置;通过活体识别分值计算装置对部位运动分值进行加权后求和作为活体识别分值,通过活体判断装置利用活体识别分值作为待测人脸是否为活体的判断标准的技术方案;眼部运功检测装置计算简单高效,设备硬件要求简单;采用检测至少两种部位运动装置检测至少两种部位的运动情况解决了现有技术中算法单一,安全性不高的问题,可扩展性强,且基于人脸部位运动的检测可以通过二维图像实现,对硬件要求不高,另外,通过活体识别分值计算装置对不同部位运动加权再进行分数融合,活体识别准确度高,获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
附图说明
图1是本发明一种眼部运动检测方法提供的实施例一的流程示意图;
图2是本发明一种眼部运动检测方法提供的实施例一的步骤S14的流程示意图;
图3是本发明一种眼部运动检测方法提供的实施例一的步骤S12的流程示意图;
图4是待测人脸的68个关键点的模型示意图;
图5是本发明一种眼部运动检测方法提供的实施例二的流程示意图;
图6是本发明一种眼部运动检测方法提供的实施例二的步骤S15的流程示意图;
图7是本发明一种眼部运动检测装置提供的实施例一的结构示意图;
图8是本发明一种眼部运动检测装置提供的实施例二的结构示意图;
图9是本发明一种活体识别方法提供的实施例的流程示意图;
图10是本发明一种活体识别方法提供的实施例的步骤S24流程示意图;
图11是本发明一种活体识别系统提供的实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明一种眼部运动检测方法提供实施例一,参见图1,图1是本实施例一的流程示意图,包括步骤:
S11、从待测人脸视频中抽取若干视频帧;
S12、获取从待测人脸视频中抽取的每一视频帧的眼部的若干关键点位置;
S13、通过眼部的若干关键点位置获取每一抽取的视频帧的眼部的眼部长度和眼部宽度,并通过计算眼部长度和眼部宽度的比值获取对应的视频帧的眼部数值;
S14、基于每一抽取的视频帧的眼部数值判断待测人脸视频的眼部运动。
参见图2,图2是本实施例步骤S14具体的流程示意图,进一步的,步骤S14具体包括步骤:
S141、当眼部数值小于第一眼部预设数值时,判定对应的视频帧的眼部状态为眼部睁开,当眼部数值大于第二眼部预设数值时,判定对应的视频帧的眼部状态为眼部闭合;
S142、若从待测人脸视频抽取的若干视频帧中同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定待测人脸视频的眼部有运动,且眼部运动为眨眼运动。
此处的眨眼运动指的是待测人脸视频中的待测人脸的眼部有部分视频帧的状态处于眼部睁开状态,有部分视频帧的状态处于眼部闭合状态;即待测人脸的眼部有睁闭的动作。
在步骤S11中的从待测人脸视频中抽取若干视频帧,优选采用从待测人脸视频中获取连续帧的视频帧,或者,优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。
参见图3,图3是本实施例步骤S12具体的流程示意图,步骤S12具体包括步骤:
S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
dlib库指的是一个使用C++技术编写的跨平台的通用库;
参见图4,图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图;步骤S121中获取的若干人脸关键点位置即为图4中关键点1~关键点68所示的关键点位置;
S122、从每一抽取的视频帧的若干人脸关键点中获取眼部的若干关键点位置。
参见图4,步骤S122获取的眼部的若干关键点位置即为关键点37~关键点48这12个关键点所示的关键点位置;其中,左眼的若干关键点位置为关键点37~关键点42这6个关键点所示的关键点位置,右眼的若干关键点位置为关键点43~关键点48这6个关键点所示的关键点位置;且关键点37~关键点48确定的位置为眼部的眼睑的睑缘。当待测人脸的眼部睁闭时,即对应为人的眼睑的睁闭,那么关键点37~关键点48的关键点位置之间的相对位置也会发生改变。所以,本实施例步骤S13通过关键点37~关键点48的关键点位置计算每一抽取的视频帧的眼部长度和眼部宽度,从而确定每一抽取视频帧的眼部状态进而确定待测人脸视频中待测人脸的眼部运动的情况,此处以左眼为例对计算过程进行如下说明:
计算关键点37~关键点42这6个关键点中的x坐标的最大值减去x坐标的最小值为左眼长度;计算关键点37~关键点42这6个关键点中的y坐标的最大值减去y坐标的最小值为左眼宽度;此处,默认在抽取的每一视频帧中建立水平方向为x轴,竖直方向为y轴的xy坐标轴体系,从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。同理可以获取右眼长度和右眼宽度。
优选的,本实施例对眼部运动的检测为双眼运动检测,则步骤S13中计算眼部数值的过程为:计算左眼长度与左眼宽度的比值为左眼数值,计算右眼长度和右眼宽度的比值为右眼数值,计算左眼数值和右眼数值的平均值作为用于步骤S14中判断眼部运动的眼部数值。除了上述优选的实施方式,为了适应实际运用的需求,当本实施例对眼部运动的检测为单眼运动检测,则步骤S13中计算的眼部数值包括左眼数值和/或右眼数值,对应的,在步骤S141中根据左眼数值判断左眼运动和/或根据右眼数值判断右眼运动。
具体实施时,本实施例从待测人脸视频中获取若干视频帧,然后根据从抽取的每一视频帧中确定待测人脸的眼部的若干关键点位置,并通过眼部长度和眼部宽度的比值获取对应的视频帧的眼部数值;最后,对于眼部数值小于第一眼部预设数值的视频帧的眼部状态判定为眼部睁开,对于眼部数值大于第二眼部预设数值的视频帧的眼部状态判定为眼部闭合;根据从待测人脸视频抽取的若干视频帧中既有眼部睁开的视频帧,又有眼部闭合的视频帧,则判定待测人脸视频的眼部有运动,且眼部运动为眨眼运动。
与现有技术相比,获取抽取的视频帧的眼部关键点位置来计算眼部数值,然后根据抽取的不同视频帧中所获取的眼部数值来确定待测人脸视频的眼部运动;本实施例计算简单高效,任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件,对设备硬件要求简单。
本发明一种眼部运动检测方法提供实施例二,参见图5,图5是本发明一种活体识别方法提供的实施例二的流程示意图,包括步骤:
S11、从待测人脸视频中抽取若干视频帧;
S12、获取从待测人脸视频中抽取的每一视频帧的眼部的若干关键点位置;
S13、通过眼部的若干关键点位置获取每一抽取的视频帧的眼部的眼部长度和眼部宽度,并通过计算眼部长度和眼部宽度的比值获取对应的视频帧的眼部数值;
S14、基于每一抽取的视频帧的眼部数值判断待测人脸视频的眼部运动。
本实施例步骤S14的具体步骤与实施例一中的步骤S14相同,可参见图2,步骤S14具体包括步骤:
S141、当眼部数值小于第一眼部预设数值时,判定对应的视频帧的眼部状态为眼部睁开,当眼部数值大于第二眼部预设数值时,判定对应的视频帧的眼部状态为眼部闭合;
S142、若从待测人脸视频抽取的若干视频帧中同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定待测人脸视频的眼部有运动,且眼部运动为眨眼运动。
此处的眨眼运动指的是待测人脸视频中的待测人脸的眼部有部分视频帧的状态处于眼部睁开状态,有部分视频帧的状态处于眼部闭合状态;即待测人脸的眼部有睁闭的动作。
在步骤S11中的从待测人脸视频中抽取若干视频帧,优选采用从待测人脸视频中获取连续帧的视频帧,或者,优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。
本实施例步骤S12的具体步骤与实施例一中的步骤S12相同,可参见图3,步骤S12具体包括步骤:
121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
参见图4,图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图;步骤S121中获取的若干人脸关键点位置即为图4中关键点1~关键点68所示的关键点位置;
S122、从每一抽取的视频帧的若干人脸关键点中获取眼部的若干关键点位置。
参见图4,步骤S122获取的眼部的若干关键点位置即为图4中关键点37~关键点48这12个关键点所示的关键点位置;其中,左眼的若干关键点位置为关键点37~关键点42这6个关键点所示的关键点位置,右眼的若干关键点位置为关键点43~关键点48这6个关键点所示的关键点位置;且关键点37~关键点48确定的位置为眼部的眼睑的睑缘。当待测人脸的眼部睁闭时,即对应为人的眼睑的睁闭,那么关键点37~关键点48的关键点位置之间的相对位置也会发生改变。所以,本实施例步骤S13通过关键点37~关键点48的关键点位置计算每一抽取的视频帧的眼部长度和眼部宽度,从而确定每一抽取视频帧的眼部状态进而确定待测人脸视频中待测人脸的眼部运动的情况,此处以左眼为例对计算过程进行如下说明:
计算关键点37~关键点42这6个关键点中的x坐标的最大值减去x坐标的最小值为左眼长度;计算关键点37~关键点42这6个关键点中的y坐标的最大值减去y坐标的最小值为左眼宽度;此处,默认在抽取的每一视频帧中建立水平方向为x轴,竖直方向为y轴的xy坐标轴体系,从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。同理可以获取右眼长度和右眼宽度。
优选的,本实施例对眼部运动的检测为双眼运动检测,则步骤S13中计算眼部数值的过程为:计算左眼长度与左眼宽度的比值为左眼数值,计算右眼长度和右眼宽度的比值为右眼数值,计算左眼数值和右眼数值的平均值作为用于步骤S14中判断眼部运动的眼部数值。除了上述优选的实施方式,为了适应实际运用的需求,当本实施例对眼部运动的检测为单眼运动检测,则步骤S13中计算的眼部数值包括左眼数值和/或右眼数值,对应的,在步骤S141中根据左眼数值判断左眼运动和/或根据右眼数值判断右眼运动。
参见图5,本实施例眼部运动检测方法还包括步骤S15:若待测人脸视频抽取的若干视频帧中不同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则对待测人脸视频的眼部运动进行补充判断;具体的,作为步骤S14的补充判断步骤的步骤S15能够提高本实施例对眼部运动判断的准确率,参见图6,图6为步骤S15的流程示意图,步骤S15具体包括:
S151、若待测人脸视频抽取的若干视频帧中不同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则获取眼部的若干关键点位置所确定的眼部区域的平均灰度值;
S152、当平均灰度值小于第一灰度预设值时,重新判定对应的视频帧的眼部状态为眼部睁开,当平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部闭合;
S153、若待测人脸视频抽取的视频帧中包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定待测人脸的眼部有运动,且眼部运动为眨眼运动。
本实施例的步骤S15适用于眼珠的灰度值与眼睑的灰度值之间的差值较大的检测活体对象,一般来说,适用于大多数亚洲人,亚洲人的眼珠颜色通常为黑色,眼睑颜色为黄色。当待测人脸的眼部睁开时,由于眼部区域包括了眼珠,此时眼部的灰度值较小;当待测人脸的眼部闭合时,由于眼珠被眼睑遮盖,此时眼部的灰度值较大;步骤S15基于这一原理,通过获取抽取的每一视频帧的眼部的平均灰度值,来判定每一视频帧的眼部状态,从而进一步确定待测人脸视频的待测人脸的眼部运动的情况。
相应的,在步骤S15中获取的眼部灰度值为左眼的灰度值和右眼的灰度值的平均值;或,获取的眼部灰度值为左眼的灰度值和/或右眼的灰度值;根据左眼的灰度值和/或右眼的灰度值对应判断左眼运动和/或右眼运动。
具体实施时,本实施例从待测人脸视频中获取若干视频帧,然后根据从抽取的每一视频帧中确定待测人脸的眼部的若干关键点位置,对应获取眼部长度和眼部宽度;并通过眼部长度和眼部宽度的比值获取对应的视频帧的眼部数值;最后,对于眼部数值小于第一眼部预设数值的视频帧的眼部状态判定为眼部睁开,对于眼部数值大于第二眼部预设数值的视频帧的眼部状态判定为眼部闭合,若从待测人脸视频抽取的若干视频帧中既有眼部睁开的视频帧,又有眼部闭合的视频帧,则判定待测人脸视频的眼部有运动,且眼部运动为眨眼运动;否则,获取眼部区域的平均灰度值,对于平均灰度值小于第一灰度预设值的视频帧的眼部状态判定为眼部睁开,对于平均灰度值大于第二灰度预设值的视频帧的眼部状态判定为眼部闭合,若从待测人脸视频抽取的若干视频帧中同时包括眼部睁开的视频帧和眼部闭合的视频帧,则判定待测人脸视频的眼部有运动,且眼部运动为眨眼运动。
与现有技术相比,获取抽取的视频帧的眼部关键点位置来获取眼部数值,然后根据抽取的不同视频帧中所获取的眼部数值来确定待测人脸视频的眼部运动;除此之外,本实施例还增加了根据眼部区域的灰度值对眼部运动的补充判断;本实施例计算简单高效,且能保证准确率;任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件;对设备硬件要求简单。
本发明一种眼部运动检测装置提供的实施例一,参见图7,图7本实施例一的结构示意图;本实施例具体包括:
视频帧抽取单元11,用于从待测人脸视频中抽取若干视频帧;
眼部关键点位置获取单元12,用于获取从待测人脸视频中抽取的每一视频帧的眼部的若干关键点位置;
眼部数值获取单元13,用于通过眼部的若干关键点位置获取每一抽取的视频帧的眼部的眼部长度和眼部宽度,并通过计算眼部长度和眼部宽度的比值获取对应的视频帧的眼部数值;
眼部运动判断单元14,用于基于每一抽取的视频帧的眼部数值判断待测人脸视频的眼部运动。
进一步的,眼部运动判断单元14具体包括以下模块:
第一眼部状态判断模块141,用于当眼部数值小于第一眼部预设数值时,判定对应的视频帧的眼部状态为眼部睁开,当眼部数值大于第二眼部预设数值时,判定对应的视频帧的眼部状态为眼部闭合;
第一眼部运动判断模块142,用于若待测人脸视频抽取的视频帧中包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定待测人脸的眼部有运动,且为眨眼运动。
通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧时,优选为从待测人脸视频中获取连续帧的视频帧,或者,优选为从待测人脸视频中按照一定的时间频率对应抽取视频帧。
眼部关键点位置获取单元12具体包括:
人脸关键点检测模块121,用于对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测,获取若干人脸关键点位置;
参见图4,图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68个关键点的模型示意图;通过人脸关键点检测模块121获取的若干人脸关键点位置即为图4中关键点1~关键点68所示的关键点位置;
眼部关键点位置获取模块122,用于从每一抽取的视频帧的若干人脸关键点中获取眼部的若干关键点位置。
参见图4,眼部关键点位置获取模块122获取的眼部的若干关键点位置即为图4中关键点37~关键点48这12个关键点所示的关键点位置;其中,左眼的若干关键点位置为关键点37~关键点42这6个关键点所示的关键点位置,右眼的若干关键点位置为关键点43~关键点48这6个关键点所示的关键点位置;且关键点37~关键点48确定的位置为眼部的眼睑的睑缘。当待测人脸的眼部睁闭时,即对应为人的眼睑的睁闭,那么关键点37~关键点48的关键点位置之间的相对位置也会发生改变。所以,本实施例的眼部数值获取单元13通过关键点37~关键点48的关键点位置计算每一抽取的视频帧的眼部长度和眼部宽度,从而确定每一抽取视频帧的眼部状态进而确定待测人脸视频中待测人脸的眼部运动的情况,此处以左眼为例对眼部数值获取单元13的计算过程进行如下说明:
计算关键点37~关键点42这6个关键点中的x坐标的最大值减去x坐标的最小值为左眼长度;计算关键点37~关键点42这6个关键点中的y坐标的最大值减去y坐标的最小值为左眼宽度;此处,默认在抽取的每一视频帧中建立水平方向为x轴,竖直方向为y轴的xy坐标轴体系,从抽取的每一视频帧中获取的待测人脸的关键点位置即为关键点坐标。同理可以获取右眼长度和右眼宽度。
优选的,本实施例对眼部运动的检测为双眼运动检测,则步骤S13中计算眼部数值的过程为:计算左眼长度与左眼宽度的比值为左眼数值,计算右眼长度和右眼宽度的比值为右眼数值,计算左眼数值和右眼数值的平均值作为用于步骤S14中判断眼部运动的眼部数值。除了上述优选的实施方式,为了适应实际运用的需求,当本实施例对眼部运动的检测为单眼运动检测,则步骤S13中计算的眼部数值包括左眼数值和/或右眼数值,对应的,在步骤S141中根据左眼数值判断左眼运动和/或根据右眼数值判断右眼运动。
具体实施时,本实施例首先通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧,然后通过眼部关键点位置获取单元12的人脸关键点检测模块121获取抽取的每一视频帧的待测人脸的关键点位置,以及通过眼部关键点位置获取模块122从待测人脸的若干关键点位置中获取眼部的若干关键点位置,接着通过眼部数值获取单元13计算每一抽取的视频帧的眼部的眼部长度和眼部宽度,以及计算对应的眼部数值;最后通过眼部运动判断单元14的第一眼部状态判断模块141对眼部数值小于第一眼部预设数值的视频帧的眼部状态判定为眼部睁开,对于眼部数值大于第二眼部预设数值的视频帧的眼部状态判定为眼部闭合,并通过第一眼部运动判断模块142对于若待测人脸视频同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合时,则判定待测人脸视频中的眼部有运动,且为眨眼运动。
与现有技术相比,本实施例计算过程简单高效;任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件;设备硬件要求简单。
本发明一种眼部运动检测装置提供的实施例二,参见图8,图8本实施例的结构示意图;本实施例与本发明一种眼部运动检测装置提供的实施例一同样包括视频帧抽取单元11、眼部关键点位置获取单元12、眼部数值获取单元13和眼部运动判断单元14,上述单元的具体结构功能描述可以参见本发明一种眼部运动检测装置提供的实施例一的内容,此处不做赘述。
不同的是,本实施例还包括眼部运动补充判断单元15,用于若待测人脸视频抽取的若干视频帧中不同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则对待测人脸视频的眼部运动进行补充判断;眼部运动补充判断单元15作为眼部运动检测装置的补充判断单元,能够提高本实施例对眼部运动判断的准确率。
具体,眼部运动补充判断单元15包括:
平均灰度值获取模块151,用于获取眼部的关键点位置所确定的眼部区域的平均灰度值;
第二眼部状态判断模块152,用于当平均灰度值小于第一灰度预设值时,重新判定对应的视频帧的眼部状态为眼部睁开,当平均灰度值大于第二灰度预设值时,重新判定对应的视频帧的眼部状态为眼部闭合;
第二眼部状态运动模块153,用于若待测人脸视频抽取的视频帧中包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定待测人脸的眼部有运动,且眼部运动为眨眼运动。
本实施例的眼部运动补充判断单元15适用于眼珠的灰度值与眼睑的灰度值之间的差值较大的检测活体对象,一般来说,适用于大多数亚洲人,亚洲人的眼珠颜色通常为黑色,眼睑颜色为黄色。当待测人脸的眼部睁开时,由于眼部区域包括了眼珠,此时眼部的灰度值较小;当待测人脸的眼部闭合时,由于眼珠被眼睑遮盖,此时眼部的灰度值较大;基于这一原理,眼部运动补充判断单元15用于通过获取抽取的每一视频帧的眼部的平均灰度值,来判定每一视频帧的眼部状态,从而实现进一步确定待测人脸视频的待测人脸的眼部运动的情况。
具体实施时,本实施例首先通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧,然后通过眼部关键点位置获取单元12的人脸关键点检测模块121获取抽取的每一视频帧的待测人脸的关键点位置,以及通过眼部关键点位置获取模块122从待测人脸的若干关键点位置中获取眼部的若干关键点位置,接着通过眼部数值获取单元13计算每一抽取的视频帧的眼部的眼部长度和眼部宽度,以及计算对应的眼部数值;最后通过眼部运动判断单元14的第一眼部状态判断模块141对眼部数值小于第一眼部预设数值的视频帧的眼部状态判定为眼部睁开,对于眼部数值大于第二眼部预设数值的视频帧的眼部状态判定为眼部闭合,并通过第一眼部运动判断模块142对于若待测人脸视频同时包括眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合时,则判定待测人脸视频中的眼部有运动,且为眨眼运动;否则,继续通过眼部运动补充判断单元15的平均灰度值获取模块151确定的眼部区域的平均灰度值,通过第二眼部状态判断模块152基于平均灰度值判断对应视频帧的眼部状态,通过第二眼部状态判断模块153对于同时包括眼部睁开的视频帧和眼部闭合的视频帧待测人脸视频,判定眼部有运动,且眼部运动为眨眼运动。
与现有技术相比,本实施例计算过程简单高效;任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件;设备硬件要求简单。
本发明一种活体识别方法提供的实施例,参见图9,图9是本实施例的流程示意图,其中,本实施例具体包括步骤:
S21、检测待测人脸视频中的待测人脸的眼部运动的情况和其它至少一个部位运动的情况,其中,采用本发明一种眼部运动检测方法提供的实施例一或实施例二检测待测人脸视频中的待测人脸的眼部运动的情况;检测眼部运动的具体过程可以参见本发明一种眼部运动检测方法提供的实施例一或实施例二,此处不做赘述;
S22、基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值;
S23、计算每一部位运动对应的运动分值加权后的总和,并将计算得到的总和作为活体识别分值;其中,每一部位运动已预设相应的权值;
S24、判定活体识别分值不小于预设阈值的待测人脸为活体。
本实施例步骤S21中的检测待测人脸的其它至少一个部位运动为嘴部运动、头部运动、面部运动、眉毛运动和额头运动中的至少一种;通常来说,人脸的嘴部运动和头部运动运动程度明显,有利于进行检测,可以优选选择检测嘴部运动和头部运动中的至少一种。
类似本发明一种眼部运动检测方法提供的实施例一和实施例二,步骤S21中检测待测人脸的其它至少一个部位运动具体包括:检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置,通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况;或者,检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征,通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况。上述实施方法仅为检测其它至少一个部位运动的示例;基于本实施例的活体识别方法的原理基础上,通过其它具体的实施方式实现对另外至少一部位运动的运动检测,也在本实施例的保护范围之内。
本实施例的步骤S23中设定每一部位运动相对应的权值的优选实施方式为根据每一部位运动的明显度设定。例如,当步骤S21检测待测人脸视频中的待测人脸的部位运动为嘴部运动、眼部运动和头部运动;通常,嘴部运动比较明显,故权重最大,头部运动模拟精度最低,故权重最小,对应设置部位运动的权重策略为:嘴部运动>眼部运动>头部运动;
或,步骤S23中设定每一部位运动相对应的权值的另一优选实施方式为根据不同应用场景自动进行部位运动的权值调整而设定的,具体做法:在某一种场景下,收集待测人脸的各种部位运动的正常输入视频作为正样本,攻击视频作为负样本,取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率,然后把每一部位运动的准确率按照从大到小的顺序进行排序,每一部位运动的权重也按照此顺序从大到小,重新调整每一部位运动的权重。重新调整后的权重用以计算活体识别分值,该识别结果可以自适应不同场景下的部位运动检测的准确率,增加本实施例的活体识别结果的准确率。
上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。
具体地,参见图10,图10是步骤S24的流程示意图,包括步骤:
S241、通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度;
S242、当活体识别置信度不小于预设值时,确定活体识别分值不小于预设阈值;
S243、判定活体识别分值不小于预设阈值的待测人脸为活体。
具体地,在步骤S241中,活体识别总分即为本实施例对待测人脸进行识别后能获得的最大值,待测人脸的活体识别置信度通过下述公式计算:
f=(s/s_max)*100%
其中,s_max表示活体识别总分,f表示活体识别置信度,且0<f<1;
用e表示预设值,当f≥e,即活体识别置信度不小于预设值时,则确定活体识别分值不小于预设阈值,判定活体识别分值不小于预设阈值的待测人脸为活体;当f<e,即活体识别置信度小于预设值时,则确定活体识别分值小于预设阈值,判定活体识别分值小于预设阈值的待测人脸为非活体。
利用活体识别分值所获得的活体识别置信度,还可以进一步扩展,用于本实施例建立分级制度进行活体判断和活体分级,以获得丰富的活体识别结果。
步骤S22基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值包括:
基于眼部运动的运动情况获取对应的运动分值:当步骤S21中的检测待测人脸的眼部运动的情况为待测人脸眼部有运动,则获取的眼部运动的运动分值为1分;否则获取的眼部运动的运动分值为0分。
类似的,基于其它至少一个部位运动的运动情况获取对应的运动分值:当步骤S21中的检测待测人脸的对应运动情况为待测人脸的对应部位有运动,则获取的对应部位运动的运动分值为1分;否则获取的运动分值为0分。
除了通过有无运动的判断获取对应的运动分值,若在步骤S21中所获取的部位运动的运动情况为部位运动的运动程度,还可以根据其运动程度在分值区间中获取对应的运动分值,如设定分数分为10级,取值在0到1之间。
具体实施时,先从待测人脸视频中抽取若干视频帧,并对所抽取的每一视频帧检测部位运动从而获得对应的部位的运动情况,其中,包括检测待测人脸的眼部运动的情况:先获取待测人脸的68点关键点,然后从中获取眼部的若干关键点位置,并根据眼部的若干关键点位置确定对应的视频帧的眼部数值,进而判定待测人脸视频中的眼部的运动情况;根据每一部位运动的情况获取对应的运动分值,具体为该部位有运动,则获取的运动分值为1分,否则获取的运动分值为0分;接着计算上述得到每一部位运动分值进行加权后的总和,该总和表示活体识别分值;最后用该活体识别分值占活体识别总分的比值计算活体识别置信度,其中,当活体识别置信度不小于预设值时,确定活体识别分值不小于预设阈值,从而判定待测人脸为活体;否则,判定待测人脸为非活体。
本实施例可运用于多种设备端,此处以运用于移动手机端的实施场景为例进行说明:在手机端活体识别时,随机出现一种活体动作要求顺序,例如为要求待测人脸分别进行头部左转、眨眼和张嘴的活体动作;此时若预设的部位运动的权重为张嘴对应的嘴部运动的权重w1=3,眨眼对应的眼部运动的权重w2=2,头部左转对应的头部运动的权重w3=1;计算活体识别总分,即活体识别最高分s_max为3*1+2*1+1*1=6分。假设检测出张嘴得分为1分,眨眼得分为1分,头部左转得分为0分,活体识别分值s为每一部位运动加权后的总和,代入上述部位运动的运动分值,计算活体识别分值s=3*1+2*1+1*0=5分;最后,计算活体识别置信度f=s/s_max=5/6=83.33%。若设定此时设定值e为80%,则判定该待测人脸为活体,且活体置信度为83.33%。
本实施例解决了现有技术中算法单一,安全性不高的问题,可扩展性强;对于待测人脸的眼部运动的方法计算简单高效,对设备的硬件要求不高;另外,在本实施例中采用对多个部位运动的检测来进行活体识别,并对不同部位运动加权再进行分数融合,活体识别准确度高,且有利于提高安全性。
本对硬件要求不高,另外,通过活体识别分值计算单元对不同部位运动加权再进行分数融合,活体识别准确度高,获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
本发明一种活体识别系统提供的实施例,参见图11,图11为本实施例的结构示意图,本实施例包括:
至少2个人脸部位运动检测装置1,每一人脸部位运动检测装置用于检测待测人脸对应的部位运动;图11中的人脸部位运动检测装置1a和人脸部位运动检测装置1b表示检测两不同部位运动的两人脸部位运动检测装置1;其中,一人脸部位运动检测装置1为本发明一种眼部运动检测装置提供的实施例一或实施例二,对应参见图7或图8,此处不做赘述。
部位运动分值获取装置2,用于基于每一部位运动的检测情况获取待测人脸的每一部位运动对应的运动分值;
活体识别分值计算装置3,用于计算所获取的每一部位运动对应的运动分值加权后的总和,并将计算得到的总和作为活体识别分值;其中,活体识别分值计算装置3已预设与每一部位运动相对应的权值;
活体判断装置4,用于判定活体识别分值不小于预设阈值的待测人脸为活体。
其中,除眼部运动检测装置1外的至少一部位运动检测单元1对应检测的至少一部位运动包括嘴部运动、头部运动、眉毛运动、额头运动和面部运动中的至少一部位运动。由于嘴部运动和头部运动的运动明显,可以优选采用检测嘴部运动和头部运动中的至少一种。
类似眼部运动检测装置1,另外至少一人脸部位运动检测装置1具体用于检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置,通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况;或者,人脸部位运动检测装置1还可以具体用于检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征,通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况。上述实施方法仅为另外至少一人脸部位运动检测装置1检测部位运动的示例,当人脸部位运动检测装置1通过其他实施方式实现对其它部位运动的运动检测,也在本实施例的保护范围之内。
部位运动分值获取装置2具体用于基于眼部运动的运动情况获取对应的运动分值:待测人脸的眼部运动的情况为待测人脸眼部有运动,则获取的眼部运动的运动分值为1分;否则获取的眼部运动的运动分值为0分。部位运动分值获取装置2具体还用于基于其它至少一个部位运动的运动情况获取对应的运动分值:当待测人脸的对应的部位运动情况为有运动,则获取的对应部位运动的运动分值为1分;否则获取的运动分值为0分。
除上述部位运动分值获取装置2用于基于每一部位运动的是否有运动的情况而直接获得一个是否有运动的运动分值的实施方式,当通过人脸部位运动检测装置1中获取的部位运动的运动情况包括部位运动的运动程度,还可以通过部位运动分值获取装置2基于运动程度而获取一个在0到1之间的运动分值,如设定运动分值分为10级,取值在0到1之间,该替代实施方式不仅能表示是否有运动,还能体现运动的程度。
活体识别分值计算装置3中与每一部位运动相对应的权值为根据每一部位运动的明显度设定;如检测的部位运动为嘴部运动、眼部运动和头部运动时,此时,嘴部运动比较明显,故权重最大,头部运动模拟精度最低,故权重最小,部位运动的权重策略对应为:嘴部运动>眼部运动>头部运动。
或,活体识别分值计算装置3中与每一部位运动相对应的权值为根据不同应用场景自动进行部位运动的权值调整而设定的,具体做法:在某一种场景下,收集待测人脸的各种部位运动的正常输入视频作为正样本,攻击视频作为负样本,取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率,然后把每一部位运动的准确率按照从大到小的顺序进行排序,每一部位运动的权重也按照此顺序从大到小,重新调整每一部位运动的权重。
上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。
活体判断装置4具体包括:
活体识别置信度计算单元41,用于通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度;
其中,活体识别总分即为通过活体识别分值计算装置3所能够获取的所有部位运动的运动分值加权后的总和的最大值,活体识别总分用s_max表示;f表示活体识别置信度,且0<f<1;活体识别置信度计算单元41通过下述公式计算待测人脸的活体识别置信度:
f=(s/s_max)*100%
活体判断单元42,用于当活体识别置信度不小于预设值时,确定活体识别分值不小于预设阈值,判定活体识别分值不小于预设阈值的待测人脸为活体。
其中,用e表示预设值,通过活体判断单元42判断:当f≥e,即活体识别置信度不小于预设值时,则确定活体识别分值不小于预设阈值,判定活体识别分值不小于预设阈值的待测人脸为活体;当f<e,即活体识别置信度小于预设值时,则确定活体识别分值小于预设阈值,判定活体识别分值小于预设阈值的待测人脸为非活体。
通过活体识别置信度计算单元41所获得的活体识别置信度,还可以进一步扩展,用于本实施例活体识别系统建立分级制度进行活体判断和活体分级,以获得丰富的活体识别结果。
具体实施时,首先,通过至少2个人脸部位运动检测装置1获取对应的部位运动的运动情况,其中一人脸部位运动检测装置1为本发明一种眼部运动检测装置的实施例一或实施例二;并通过部位运动分值获取装置2基于部位运动的运动情况获取对应的运动分值;然后,通过活体识别分值计算装置3对获取的每一部位运动的运动分值进行加权后求和作为活体识别分值,最后,通过活体判断装置4的活体识别置信度计算单元41利用活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度,并通过活体判断单元42判定当计算所得的活体识别置信度不小于预设阈值的待测人脸为活体。
本实施例采用检测至少2个人脸部位运动检测装置解决了现有技术中算法单一,安全性不高的问题,可扩展性强,且眼部运动检测装置对硬件要求不高;另外,通过活体识别分值计算装置对不同部位运动加权再进行分数融合,活体识别准确度高,获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种眼部运动检测方法,其特征在于,所述眼部运动检测方法包括步骤:
从待测人脸视频中抽取若干视频帧;
获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置;
通过所述眼部的若干关键点位置获取每一抽取的所述视频帧的眼部的眼部长度和眼部宽度,并通过计算所述眼部长度和眼部宽度的比值获取对应的所述视频帧的眼部数值;
基于每一抽取的所述视频帧的所述眼部数值判断所述待测人脸视频的眼部运动的情况。
2.如权利要求1所述的一种眼部运动检测方法,其特征在于,所述基于每一抽取的所述视频帧的所述眼部数值判断所述待测人脸视频的眼部运动包括:
当所述眼部数值小于第一眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部睁开,当所述眼部数值大于第二眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部闭合;
若从所述待测人脸视频抽取的若干所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和所述眼部状态为眼部闭合的视频帧,则判断所述待测人脸视频的眼部有运动,且所述眼部运动为眨眼运动。
3.如权利要求2所述的一种眼部运动检测方法,其特征在于,所述获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置包括:
对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取眼部的若干关键点位置。
4.如权利要求3所述的一种眼部运动检测方法,其特征在于,所述眼部运动检测方法还包括:
若所述待测人脸视频抽取的若干所述视频帧中不同时包括所述眼部状态为所述眼部睁开的视频帧和所述眼部状态为眼部闭合的视频帧,则
获取所述眼部的若干关键点位置所确定的眼部区域的平均灰度值;
当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部睁开,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部闭合;
若所述待测人脸视频抽取的所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定所述待测人脸的眼部有运动,且所述眼部运动为眨眼运动。
5.一种眼部运动检测装置,其特征在于,包括:
视频帧抽取单元,用于从待测人脸视频中抽取若干视频帧;
眼部关键点位置获取单元,用于获取从所述待测人脸视频中抽取的每一所述视频帧的眼部的若干关键点位置;
眼部数值获取单元,用于通过所述眼部的若干关键点位置获取每一抽取的所述视频帧的眼部的眼部长度和眼部宽度,并通过计算所述眼部长度和眼部宽度的比值获取对应的所述视频帧的眼部数值;
眼部运动判断单元,用于基于每一抽取的所述视频帧的所述眼部数值判断所述待测人脸视频的眼部运动的情况。
6.如权利要求5所述的一种眼部运动检测装置,其特征在于,所述眼部运动判断单元包括:
第一眼部状态判断模块,用于当所述眼部数值小于第一眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部睁开,当所述眼部数值大于第二眼部预设数值时,判定对应的所述视频帧的眼部状态为眼部闭合;
第一眼部运动判断模块,用于若所述人脸视频抽取的所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定所述待测人脸的眼部有运动,且所述眼部运动为眨眼运动。
7.如权利要求6所述的一种眼部运动检测装置,其特征在于,所述眼部关键点位置获取单元包括:
人脸关键点检测模块,用于对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点检测,获取待测人脸的若干关键点位置;
眼部关键点位置获取模块,用于从每一抽取的所述视频帧的待测人脸的若干关键点位置中获取眼部的若干关键点位置。
8.如权利要求7述的一种眼部运动检测装置,其特征在于,所述一种眼部运动检测装置还包括眼部运动补充判断单元,用于若所述人脸视频抽取的若干所述视频帧中不同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则重新判断所述待测人脸视频的眼部运动;
所述眼部运动补充判断单元包括:
平均灰度值获取模块,用于获取所述眼部的若干关键点位置所确定的眼部区域的平均灰度值;
第二眼部状态判断模块,用于当所述平均灰度值小于第一灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部睁开,当所述平均灰度值大于第二灰度预设值时,重新判定对应的所述视频帧的眼部状态为眼部闭合;
第二眼部状态判断模块,用于若所述待测人脸视频抽取的所述视频帧中同时包括所述眼部状态为眼部睁开的视频帧和眼部状态为眼部闭合的视频帧,则判定所述待测人脸的眼部有运动,且所述眼部运动为眨眼运动。
9.一种活体识别方法,其特征在于,所述活体识别方法包括步骤:
检测待测人脸视频中的待测人脸的眼部运动的情况和其它至少一个部位运动的情况,其中,采用如权利要求1~4任一项所述的眼部运动检测方法检测待测人脸视频中的待测人脸的眼部运动的情况;
基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值;
计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,每一所述部位运动已预设相应的权值;
判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
10.一种活体识别系统,其特征在于,所述活体识别系统包括:
至少2个人脸部位运动检测装置,每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动,其中一人脸部位运动检测装置为如权利要求5~8任一项所述的一种眼部运动检测装置;
部位运动分值获取装置,用于基于每一所述部位运动的检测情况获取所述待测人脸的每一部位运动对应的运动分值;
活体识别分值计算装置,用于计算每一所述部位运动对应的运动分值加权后的总和,并将计算得到的所述总和作为活体识别分值;其中,所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值;
活体判断装置,用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
CN201710406487.7A 2017-06-02 2017-06-02 一种眼部运动检测方法和装置及活体识别方法和系统 Pending CN107358151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406487.7A CN107358151A (zh) 2017-06-02 2017-06-02 一种眼部运动检测方法和装置及活体识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406487.7A CN107358151A (zh) 2017-06-02 2017-06-02 一种眼部运动检测方法和装置及活体识别方法和系统

Publications (1)

Publication Number Publication Date
CN107358151A true CN107358151A (zh) 2017-11-17

Family

ID=60272196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710406487.7A Pending CN107358151A (zh) 2017-06-02 2017-06-02 一种眼部运动检测方法和装置及活体识别方法和系统

Country Status (1)

Country Link
CN (1) CN107358151A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086719A (zh) * 2018-08-03 2018-12-25 北京字节跳动网络技术有限公司 用于输出数据的方法和装置
CN109284596A (zh) * 2018-11-07 2019-01-29 贵州火星探索科技有限公司 人脸解锁方法及装置
CN109522868A (zh) * 2018-11-30 2019-03-26 北京七鑫易维信息技术有限公司 一种检测眨眼的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN104078011A (zh) * 2014-06-25 2014-10-01 京东方科技集团股份有限公司 直下式背光的局部背光亮度调节方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法
CN105224285A (zh) * 2014-05-27 2016-01-06 北京三星通信技术研究有限公司 眼睛开闭状态检测装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN105224285A (zh) * 2014-05-27 2016-01-06 北京三星通信技术研究有限公司 眼睛开闭状态检测装置和方法
CN104078011A (zh) * 2014-06-25 2014-10-01 京东方科技集团股份有限公司 直下式背光的局部背光亮度调节方法
CN104809445A (zh) * 2015-05-07 2015-07-29 吉林大学 基于眼部和嘴部状态的疲劳驾驶检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086719A (zh) * 2018-08-03 2018-12-25 北京字节跳动网络技术有限公司 用于输出数据的方法和装置
WO2020024484A1 (zh) * 2018-08-03 2020-02-06 北京字节跳动网络技术有限公司 用于输出数据的方法和装置
US11436863B2 (en) 2018-08-03 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for outputting data
CN109284596A (zh) * 2018-11-07 2019-01-29 贵州火星探索科技有限公司 人脸解锁方法及装置
CN109522868A (zh) * 2018-11-30 2019-03-26 北京七鑫易维信息技术有限公司 一种检测眨眼的方法和装置

Similar Documents

Publication Publication Date Title
CN107330914A (zh) 人脸部位运动检测方法和装置及活体识别方法和系统
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN103679118B (zh) 一种人脸活体检测方法及系统
CN105095829B (zh) 一种人脸识别方法及系统
CN105426828B (zh) 人脸检测方法、装置及系统
CN101867699B (zh) 基于分块的非特定目标实时跟踪方法
CN107392089A (zh) 一种眉毛运动检测方法和装置及活体识别方法和系统
CN109492581A (zh) 一种基于tp-stg框架的人体动作识别方法
CN104036236B (zh) 一种基于多参数指数加权的人脸性别识别方法
CN109670396A (zh) 一种室内老人跌倒检测方法
CN107358155A (zh) 一种鬼脸动作检测方法和装置及活体识别方法和系统
CN107358154A (zh) 一种头部运动检测方法和装置及活体识别方法和系统
CN107330370A (zh) 一种额头皱纹动作检测方法和装置及活体识别方法和系统
CN106874894A (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN107909027A (zh) 一种具有遮挡处理的快速人体目标检测方法
CN104361332B (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
CN107358152A (zh) 一种活体识别方法和系统
CN107358153A (zh) 一种嘴部运动检测方法和装置及活体识别方法和系统
CN109460704A (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN103093212A (zh) 基于人脸检测和跟踪截取人脸图像的方法和装置
CN107368777A (zh) 一种微笑动作检测方法和装置及活体识别方法和系统
CN107358151A (zh) 一种眼部运动检测方法和装置及活体识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171117