CN107330914B - 人脸部位运动检测方法和装置及活体识别方法和系统 - Google Patents

人脸部位运动检测方法和装置及活体识别方法和系统 Download PDF

Info

Publication number
CN107330914B
CN107330914B CN201710406478.8A CN201710406478A CN107330914B CN 107330914 B CN107330914 B CN 107330914B CN 201710406478 A CN201710406478 A CN 201710406478A CN 107330914 B CN107330914 B CN 107330914B
Authority
CN
China
Prior art keywords
detected
face
motion
classification model
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710406478.8A
Other languages
English (en)
Other versions
CN107330914A (zh
Inventor
陈�全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201710406478.8A priority Critical patent/CN107330914B/zh
Publication of CN107330914A publication Critical patent/CN107330914A/zh
Application granted granted Critical
Publication of CN107330914B publication Critical patent/CN107330914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸部位运动检测方法，包括：从待测人脸视频中抽取若干视频帧；获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取待测人脸部位的状态值，其中，所述分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况。相应的，本发明还公开了一种人脸部位运动检测装置。本发明计算简单效率高，对硬件设备要求低。

Description

人脸部位运动检测方法和装置及活体识别方法和系统
技术领域
本发明涉及人脸识别领域，尤其涉及一种人脸部位运动检测方法和装置、活体识别方法和系统。
背景技术
随着人脸识别技术的发展，越来越多的场景需要用到人脸检测去快速的识别一个人的身份。但是有不法份子会利用图片或者视频代替真人去进行人脸识别，这样整个人脸识别系统的安全性就得不到保证。而人脸活体识别可以检测出当前待测人脸是活体人脸而非照片或者视频中的人脸，从而保证了人脸识别系统的安全性。在进行人脸识别时，可以通过对待测人脸的部位运动的检测有助于识别人脸是否为活体；因而，需要一种简单有效的人脸部位运动检测的技术方案。
发明内容
本发明实施例的目的是提供一种人脸部位运动检测方法，计算效率高，且准确率较高。
为实现上述目的，本发明提供了一种人脸部位运动检测方法，包括：
从待测人脸视频中抽取若干视频帧；
获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；
基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取抽取的每一所述视频帧的待测人脸部位的状态值；其中，所述分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况；
其中，所述待测人脸部位不同级别的运动程度对应不同的状态值；
所述基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况包括：
计算抽取的每一所述视频帧的待测人脸部位的状态值中的最大值和最小值的差值；
若所述差值大于预设阈值，则判定所述待测人脸视频的待测人脸部位有运动。
与现有技术相比，本发明从待测人脸视频中获取若干视频帧，然后根据从抽取的每一视频帧中确定待测人脸部位的若干关键点位置，并用预先训练好的分类模型对抽取的每一视频帧的待测人脸部位的状态进行预测，获取视频帧的部位状态值；最后，基于抽取的每一视频帧的待测人脸部位的状态值的变化程度判断待测人脸视频的待测人脸部位运动的情况；该方案采用分类模型基于视频帧的对应部位的关键点位置来预测视频帧的待测人脸部位的状态值，并通过状态值来判断待测人脸视频的部位运动的情况，简单高效，且准确率较高；任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。
进一步的，所述待测人脸部位为眼部，则，
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型。
进一步的，所述待测人脸部位为嘴部，则，
所述分类模型具体为通过soft-max回归分类器基于若干预先标注嘴部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注嘴部的状态值的人脸图片训练好的分类模型。
相应的，本发明还提供一种人脸部位运动检测装置，包括：
视频帧抽取单元，用于从待测人脸视频中抽取若干视频帧；
部位关键点位置检测单元，用于获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；
状态值获取单元，用于基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取抽取的每一所述视频帧的待测人脸部位的状态值；其中，所述分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
部位运动判断单元，用于基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况；
其中，所述待测人脸部位不同级别的运动程度对应不同的状态值；
所述部位运动判断单元包括：
差值计算模块，用于计算抽取的每一所述视频帧中待测人脸部位的状态值中的最大值和最小值的差值；
部位运动判断模块，用于若差值计算模块计算所得的所述差值大于预设阈值，则所述待测人脸视频的待测人脸部位有运动。
与现有技术相比，本发明通过视频帧抽取单元11从待测人脸视频中获取若干视频帧，然后通过部位关键点位置检测单元12根据从抽取的每一视频帧中确定待测人脸部位的若干关键点位置，并通过状态值获取单元13用预先训练好的分类模型对抽取的每一视频帧的待测人脸部位的状态进行预测，获取对应的视频帧的待测人脸部位的状态值；最后，通过部位运动判断单元14基于抽取的每一视频帧的待测人脸部位的状态值的变化程度判断待测人脸视频的待测人脸部位运动的情况；该装置的计算简单有效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。
进一步的，所述待测人脸部位为眼部，则
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型。
进一步的，所述待测人脸部位为嘴部，则
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述嘴部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述嘴部的状态值的人脸图片训练好的分类模型。
相应的，本发明还提供一种活体识别方法，包括步骤：
检测待测人脸视频中的待测人脸的至少两部位运动的情况，其中，一部位运动采用本发明提供的一种人脸部位运动检测方法检测部位运动的情况；
基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；
计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，每一所述部位运动已预设相应的权值；
判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
与现有技术相比，本发明公开的一种活体识别方法，通过检测待测人脸的至少两部位的运动情况，其中一部位运动的检测采用本发明提供的一种人脸部位运动检测方法；基于每一部位运动的情况获取运动分值，对部位运动分值进行加权后求和作为活体识别分值，利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案；其中，本发明提供的一种人脸部位运动检测方法计算过程简单高效，设备硬件要求简单；检测多部位运动解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且基于人脸部位运动的检测可以通过二维图像实现，对硬件要求不高；另外，采用对不同部位运动加权再进行分数融合，活体识别准确度高，本活体识别方法准确率高、硬件要求低和安全性高。
相应的，本发明还提供一种活体识别系统，包括：
至少2个人脸部位运动检测装置，每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况，其中一人脸部位运动检测装置为本发明提供的一种人脸部位运动检测装置；
部位运动分值获取装置，用于基于每一所述部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；
活体识别分值计算装置，用于计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值；
活体判断装置，用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
与现有技术相比，本发明公开的一种活体识别系统通过至少2个人脸部位运动检测装置获取所述待测人脸上的至少两个部位的运动分值，其中，一人脸部位运动检测装置采用本发明提供的一种人脸部位运动检测装置；通过活体识别分值计算装置对部位运动分值进行加权后求和作为活体识别分值，通过活体判断装置利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案；本发明提供的一种人脸部位运动检测装置计算简单高效，设备硬件要求简单；采用检测至少两种部位运动装置检测至少两种部位的运动情况解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且基于人脸部位运动的检测可以通过二维图像实现，对硬件要求不高，另外，通过活体识别分值计算装置对不同部位运动加权再进行分数融合，活体识别准确度高，获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
附图说明
图1是本发明一种人脸部位运动检测方法提供的实施例一的流程示意图；
图2是本发明一种人脸部位运动检测方法提供的实施例一的步骤S14的流程示意图；
图3是本发明一种人脸部位运动检测方法提供的实施例一的步骤S12的流程示意图；
图4是待测人脸的68个关键点的模型示意图；
图5是本发明一种人脸部位运动检测装置提供的实施例一的结构示意图；
图6是本发明一种活体识别方法提供的实施例的流程示意图；
图7是本发明一种活体识别方法提供的实施例的步骤S24流程示意图；
图8是本发明一种活体识别系统提供的实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明一种人脸部位运动检测方法提供的实施例一，参见图1，图1是本实施例一的流程示意图，包括步骤：
S11、从待测人脸视频中抽取若干视频帧；
S12、获取从待测人脸视频中抽取的每一视频帧的待测人脸部位的若干关键点位置；
S13、基于待测人脸部位的若干关键点位置，通过分类模型对抽取的每一视频帧的待测人脸部位进行预测，从而获取抽取的每一视频帧的待测人脸部位的状态值；其中，分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
S14、基于抽取的每一视频帧的待测人脸部位的状态值的变化程度判断待测人脸视频的待测人脸部位运动的情况。
在本实施例中，所检测的待测人脸部位为眼部；则对应的，在步骤S13中所采用的预先训练好的分类模型有两种：
第一种分类模型为通过soft-max回归分类器基于若干预先标注眼部的状态值的人脸图片训练好的分类模型；具体，若干预先标注眼部的状态值的人脸图片为根据眼部睁开的不同程度进行眼部的状态值标注的人脸图片。示例，按照眼部的睁开程度给眼部标注分数，以标注的分数来表示眼部的状态值，分数分为10级，取值在0到1之间，完全闭眼为0分，完全睁开为1分，半睁眼为0.5分；对若干已标注的眼部的状态值的人脸图片的眼部进行关键点检测，以获取每一人脸图片的眼部的关键点位置；然后以每一人脸图片的眼部关键点位置为特征，采用soft-max回归分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的眼部进行预测，从而获抽取的每一视频帧的眼部的分数，即眼部的状态值。
第二种分类模型为通过SVM分类器基于若干预先标注眼部的状态值的人脸图片训练好的分类模型，具体，若干预先标注眼部的状态值的人脸图片标注的眼部的状态值包括两类。示例，人工选择一定数量睁眼的人脸图片，标注人脸图片的眼部的状态值为1，然后人工选择一定数量的闭眼的人脸图片，标注人脸图片的眼部状态为0，对若干已标注的眼部的状态值的人脸图片的眼部进行关键点检测，以获取每一人脸图片的眼部的关键点位置；然后以每一人脸图片的眼部关键点位置为特征，采用SVM分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的眼部进行预测，从而获取抽取的每一视频帧的眼部的状态值。
上述两种实施方式均在本实施例的保护范围之内。
参见图2，图2为本实施例的步骤S14流程示意图，步骤S14包括：
S141、计算抽取的每一视频帧的待测人脸部位的状态值中的最大值和最小值的差值；
S142、若差值大于预设阈值，则判定待测人脸视频的待测人脸部位有运动。
由于本实施例检测的部位运动为眼部运动，则通过步骤S142判断的待测人脸视频的待测人脸的对应部位为眼部，此处，若当步骤S13中采用的分类模型为SVM分类器时，示例，当预先标注眼部的状态值的人脸图片的眼部状态值包括1和0两类状态值时，此时步骤S142对应设置的预设阈值为1；即可对应检测待测人脸视频帧中是否同时包括眼部为睁开状态的视频帧和眼部为闭眼状态的视频帧，从而判断待测人脸视频帧的是否有运动。
步骤S11优选从待测人脸视频中抽取每一视频帧；或，步骤S11按照一定的频率抽取视频帧。
参见图3，图3是步骤S12的流程示意图，步骤S12具体包括：
S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测，获取待测人脸的若干关键点位置；
参见图4，图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型示意图；步骤S121中获取的若干人脸关键点位置即为图4中关键点1～关键点68所示的关键点位置；
S122、从每一抽取的视频帧的若干人脸关键点中获取待测人脸部位的若干关键点位置。
由于本实施例的待测人脸部位为，则通过步骤S122获取待测人脸部位的若干关键点位置为眼部的若干关键点位置，图4中，步骤S122获取的眼部的若干关键点位置即为关键点37～关键点48这12个关键点所示的关键点位置；其中，左眼的若干关键点位置为关键点37～关键点42这6个关键点所示的关键点位置，右眼的若干关键点位置为关键点43～关键点48这6个关键点所示的关键点位置。
另外，在获取分类模型的预设步骤中，对若干已标注的眼部的状态值的人脸图片的眼部进行关键点检测，以获取每一人脸图片的眼部的关键点位置的步骤可以参照本实施例步骤S12的过程，采用dlib库获取人脸图片的眼部的关键点位置，此处不赘述。
具体实施时，本实施例从待测人脸视频中获取若干视频帧，然后根据从抽取的每一视频帧中确定待测人脸的眼部的若干关键点位置，并通过预先训练好的分类模型对抽取的每一视频帧的眼部的状态进行预测，获取对应的视频帧的眼部状态值；最后，通过计算抽取的每一视频帧的眼部的状态值中的最大值和最小值的差值，并判定差值大于预设阈值的待测人脸视频的待测人脸的眼部有运动。
与现有技术相比，本实施例采用分类模型基于视频帧的眼部的关键点位置来预测视频帧的状态值，并通过视频帧的状态值来判断待测人脸视频的眼部运动的情况，简单高效，且准确率较高；任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。
本发明一种人脸部位运动检测方法提供的实施例二，由于本实施例与本发明一种人脸部位运动检测方法提供的实施例一的主要流程相似，可参见图1的流程示意图，包括步骤：
S11、从待测人脸视频中抽取若干视频帧；
S12、获取从待测人脸视频中抽取的每一视频帧的待测人脸部位的若干关键点位置；
S13、基于待测人脸部位的若干关键点位置，通过分类模型对抽取的每一视频帧的待测人脸部位进行预测，从而获取抽取的每一视频帧的待测人脸部位的状态值；其中，分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
S14、基于抽取的每一视频帧的待测人脸部位的状态值的变化程度判断待测人脸视频的待测人脸部位运动的情况。
在本实施例中，所检测的待测人脸部位为嘴部；则对应的，在步骤S13中所采用的预先训练好的分类模型有两种：
第一种分类模型为通过soft-max回归分类器基于若干预先标注嘴部的状态值的人脸图片训练好的分类模型；具体，若干预先标注嘴部的状态值的人脸图片为根据嘴部张开的不同程度进行嘴部的状态值标注的人脸图片。示例，按照嘴部的张开程度给嘴部标注分数，以标注的分数来表示嘴部的状态值，分数分为10级，取值在0到1之间，完全闭合为0分，完全张开为1分，半张嘴为0.5分；对若干已标注的嘴部的状态值的人脸图片的嘴部进行关键点检测，以获取每一人脸图片的嘴部的关键点位置；然后以每一人脸图片的嘴部关键点位置为特征，采用soft-max回归分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的嘴部进行预测，从而获取抽取的每一视频帧的嘴部的分数，即嘴部的状态值。
第二种分类模型为通过SVM分类器基于若干预先标注嘴部的状态值的人脸图片训练好的分类模型，具体，若干预先标注嘴部的状态值的人脸图片标注的嘴部的状态值包括两类。示例，人工选择一定数量张嘴的人脸图片，标注人脸图片的嘴部的状态值为1，然后人工选择一定数量的闭合的人脸图片，标注人脸图片的嘴部状态为0，对若干已标注的嘴部的状态值的人脸图片的嘴部进行关键点检测，以获取每一人脸图片的嘴部的关键点位置；然后以每一人脸图片的嘴部关键点位置为特征，采用SVM分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的嘴部进行预测，从而获取抽取的每一视频帧的嘴部的状态值。
上述两种实施方式均在本实施例的保护范围之内。
本实施例的步骤S14与本发明一种人脸部位运动检测方法的步骤S14相似，可以参见图2的流程示意图，步骤S14包括：
S141、计算抽取的每一视频帧的待测人脸部位的状态值中的最大值和最小值的差值；
S142、若差值大于预设阈值，则判定待测人脸视频的待测人脸部位有运动。
由于本实施例检测的部位运动为嘴部运动，则通过步骤S142判断的待测人脸视频的待测人脸的对应部位为嘴部。此处，若当步骤S13中采用的分类模型为SVM分类器时，示例，当预先标注嘴部的状态值的人脸图片的嘴部状态值包括1和0两类状态值时，此时步骤S142对应设置的预设阈值为1；即可对应检测待测人脸视频帧中是否同时包括嘴部为张开状态的视频帧和嘴部为闭眼状态的视频帧，从而判断待测人脸视频帧的是否有运动。
步骤S11优选从待测人脸视频中抽取每一视频帧；或，步骤S11按照一定的频率抽取视频帧。
本实施例的步骤S12与本发明一种人脸部位运动检测方法的步骤S12相似，可以参见图3的流程示意图，参见图3，图3是步骤S12的流程示意图，步骤S12具体包括：
S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测，获取待测人脸的若干关键点位置；
dlib库指的是一个使用C++技术编写的跨平台的通用库。
参见图4，图4是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图；步骤S121中获取的若干人脸关键点位置即为图4中关键点1～关键点68所示的关键点位置；
S122、从每一抽取的视频帧的若干人脸关键点中获取待测人脸部位的若干关键点位置。
由于本实施例的待测人脸部位为嘴部，则通过步骤S122获取待测人脸部位的若干关键点位置为嘴部的若干关键点位置；获取的嘴部的若干关键点位置即为图4中关键点49～关键点68这20个关键点所示的关键点位置。
具体实施时，本实施例从待测人脸视频中获取若干视频帧，然后根据从抽取的每一视频帧中确定待测人脸的嘴部的若干关键点位置，并通过预先训练好的分类模型对抽取的每一视频帧的嘴部的状态进行预测，获取对应的视频帧的嘴部状态值；最后，通过计算抽取的每一视频帧的嘴部的状态值中的最大值和最小值的差值，并判定差值大于预设阈值的待测人脸视频的待测人脸的嘴部有运动。
与现有技术相比，本实施例采用分类模型基于视频帧的嘴部的关键点位置来预测视频帧的状态值，并通过视频帧的状态值来判断待测人脸视频的嘴部运动，简单高效，且准确率较高；任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。
本发明一种人脸部位运动检测装置提供的实施例一，参见图5，图5是本实施例一的结构示意图，包括：
视频帧抽取单元11，用于从待测人脸视频中抽取若干视频帧；
部位关键点位置检测单元12，用于获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；
状态值获取单元13，用于基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取抽取的每一所述视频帧的待测人脸部位的状态值；其中，所述分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
部位运动判断单元14，用于基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况。
本实施例，所检测的待测人脸部位为眼部；则对应的，在状态值获取单元13中所采用的预先训练好的分类模型有两种：
第一种分类模型为通过soft-max回归分类器基于若干预先标注眼部的状态值的人脸图片训练好的分类模型；具体，若干预先标注眼部的状态值的人脸图片为根据眼部睁开的不同程度进行眼部的状态值标注的人脸图片。示例，按照眼部的睁开程度给眼部标注分数，以标注的分数来表示眼部的状态值，分数分为10级，取值在0到1之间，完全闭眼为0分，完全睁开为1分，半睁眼眼为0.5分；对若干已标注的眼部的状态值的人脸图片的眼部进行关键点检测，以获取每一人脸图片的眼部的关键点位置；然后以每一人脸图片的眼部关键点位置为特征，采用soft-max回归分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的眼部进行预测，从而获取抽取的每一视频帧的眼部的分数，即眼部的状态值。
第二种分类模型为通过SVM分类器基于若干预先标注眼部的状态值的人脸图片训练好的分类模型，具体，若干预先标注眼部的状态值的人脸图片标注的眼部的状态值包括两类。示例，人工选择一定数量睁眼的人脸图片，标注人脸图片的眼部的状态值为1，然后人工选择一定数量的闭眼的人脸图片，标注人脸图片的眼部状态为0，对若干已标注的眼部的状态值的人脸图片的眼部进行关键点检测，以获取每一人脸图片的眼部的关键点位置；然后以每一人脸图片的眼部关键点位置为特征，采用SVM分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的眼部进行预测，从而获取抽取的每一视频帧的眼部的状态值。
上述两种实施方式可任选一种，均在本实施例的保护范围之内。
部位运动判断单元14具体包括：
差值计算模块141，用于计算抽取的每一视频帧的待测人脸部位的状态值中的最大值和最小值的差值；
部位运动判断模块142，用于若差值大于预设阈值，则判定待测人脸视频的待测人脸的眼部有运动。
此处，若当状态值获取单元13中采用的分类模型为SVM分类器时，示例，当预先标注眼部的状态值的人脸图片的眼部状态值包括1和0两类时，此时步骤部位运动判断模块142对应设置的预设阈值为1；即可对应检测待测人脸视频帧中是否同时包括眼部为睁开状态的视频帧和眼部为闭眼状态的视频帧，从而判断待测人脸视频帧的是否有运动。
优选，视频帧抽取单元11用于从待测人脸视频中抽取每一视频帧；或，视频帧抽取单元11用于按照一定的频率抽取视频帧。
具体，部位关键点位置检测单元12包括：
人脸关键点检测模块121，用于对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测，获取待测人脸的若干关键点位置；
参见图4，通过人脸关键点检测模块121获取的若干人脸关键点位置即为图4中关键点1～关键点68所示的关键点位置；
部位关键点位置检测模块122，用于从每一抽取的视频帧的若干人脸关键点中获取待测人脸部位的若干关键点位置。
由于本实施例的待测人脸部位为眼部，则通过部位关键点位置检测模块122获取的待测人脸部位的若干关键点位置为眼部的若干关键点位置。图4中，眼部的若干关键点位置即为关键点37～关键点48这12个关键点所示的关键点位置；其中，左眼的若干关键点位置为关键点37～关键点42这6个关键点所示的关键点位置，右眼的若干关键点位置为关键点43～关键点48这6个关键点所示的关键点位置。
类似的，状态值获取单元13采用的分类模型中若干已标注的眼部的状态值的人脸图片预先进行的眼部的关键点检测，以获取每一人脸图片的眼部的关键点位置的过程与部位关键点位置12获取部位关键点位置的过程相似，此处不赘述。
具体实施时，本实施例通过视频帧抽取单元11从待测人脸视频中获取若干视频帧，然后通过部位关键点位置检测单元12根据从抽取的每一视频帧中确定待测人脸的眼部的若干关键点位置，并通过状态值获取单元13用预先训练好的分类模型对抽取的每一视频帧的眼部的状态进行预测，获取对应的视频帧的眼部状态值；最后，通过部位运动判断单元14计算抽取的每一视频帧的眼部的状态值中的最大值和最小值的差值，并判定差值大于预设阈值的待测人脸视频的待测人脸的眼部有运动。
与现有技术相比，本实施例采用分类模型基于视频帧的眼部的关键点位置来预测视频帧的状态值，并通过视频帧的状态值来判断待测人脸视频的眼部运动的情况，简单高效，且准确率较高；任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。
本发明一种人脸部位运动检测装置提供的实施例二，由于本实施例与本发明一种人脸部位运动检测装置提供的实施例一的主要流程相似，可参见图5，包括：
视频帧抽取单元11，用于从待测人脸视频中抽取若干视频帧；
部位关键点位置检测单元12，用于获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；
状态值获取单元13，用于基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取抽取的每一所述视频帧的待测人脸部位的状态值；其中，所述分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
部位运动判断单元14，用于基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况。
本实施例，所检测的待测人脸部位为嘴部；则对应的，在状态值获取单元13中所采用的预先训练好的分类模型有两种：
第一种分类模型为通过soft-max回归分类器基于若干预先标注嘴部的状态值的人脸图片训练好的分类模型；具体，若干预先标注嘴部的状态值的人脸图片为根据嘴部张开的不同程度进行嘴部的状态值标注的人脸图片。示例，按照嘴部的张开程度给嘴部标注分数，以标注的分数来表示嘴部的状态值，分数分为10级，取值在0到1之间，完全闭合为0分，完全张开为1分，半张嘴为0.5分；对若干已标注的嘴部的状态值的人脸图片的嘴部进行关键点检测，以获取每一人脸图片的嘴部的关键点位置；然后以每一人脸图片的嘴部关键点位置为特征，采用soft-max回归分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的嘴部进行预测，从而获取抽取的每一视频帧的嘴部的分数，即嘴部的状态值。
第二种分类模型为通过SVM分类器基于若干预先标注嘴部的状态值的人脸图片训练好的分类模型，具体，若干预先标注嘴部的状态值的人脸图片标注的嘴部的状态值包括两类。示例，人工选择一定数量张嘴的人脸图片，标注人脸图片的嘴部的状态值为1，然后人工选择一定数量的闭合的人脸图片，标注人脸图片的嘴部状态为0，对若干已标注的嘴部的状态值的人脸图片的嘴部进行关键点检测，以获取每一人脸图片的嘴部的关键点位置；然后以每一人脸图片的嘴部关键点位置为特征，采用SVM分类器训练一个分类模型；该分类模型用于步骤S12中对抽取的每一视频帧的待测人脸的嘴部进行预测，从而获取抽取的每一视频帧的嘴部的状态值。
上述两种实施方式可任选一种，均在本实施例的保护范围之内。
部位运动判断单元14具体包括：
差值计算模块141，用于计算抽取的每一视频帧的待测人脸部位的状态值中的最大值和最小值的差值；
部位运动判断模块142，用于若差值大于预设阈值，则判定待测人脸视频的待测人脸的嘴部有运动。
此处，若当状态值获取单元13中采用的分类模型为SVM分类器时，示例，当预先标注嘴部的状态值的人脸图片的嘴部状态值包括1和0两类时，此时步骤部位运动判断模块142对应设置的预设阈值为1；即可对应检测待测人脸视频帧中是否同时包括嘴部为张开状态的视频帧和嘴部为闭合状态的视频帧，从而判断待测人脸视频帧的是否有运动。
优选视频帧抽取单元11用于从待测人脸视频中抽取每一视频帧；或，视频帧抽取单元11用于按照一定的频率抽取视频帧。
具体，部位关键点位置检测单元12包括：
人脸关键点检测模块121，用于对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测，获取待测人脸的若干关键点位置；
参见图4，通过人脸关键点检测模块121获取的若干人脸关键点位置即为图4中关键点1～关键点68所示的关键点位置；
部位关键点位置检测模块122，用于从每一抽取的视频帧的若干人脸关键点中获取对应部位的若干关键点位置。
由于本实施例的待测人脸部位为嘴部，则通过部位关键点位置检测模块122获取的待测人脸部位的若干关键点位置为嘴部的若干关键点位置；参见图4，获取的嘴部的若干关键点位置即为中关键点49～关键点68这20个关键点所示的关键点位置。
类似的，状态值获取单元13采用的分类模型中若干已标注的嘴部的状态值的人脸图片预先进行的嘴部的关键点检测，以获取每一人脸图片的嘴部的关键点位置的过程与部位关键点位置12获取部位关键点位置的过程相似，此处不赘述。
具体实施时，本实施例通过视频帧抽取单元11从待测人脸视频中获取若干视频帧，然后通过部位关键点位置检测单元12根据从抽取的每一视频帧中确定待测人脸的嘴部的若干关键点位置，并通过状态值获取单元13用预先训练好的分类模型对抽取的每一视频帧的嘴部的状态进行预测，获取对应的视频帧的嘴部状态值；最后，通过部位运动判断单元14计算抽取的每一视频帧的嘴部的状态值中的最大值和最小值的差值，并判定差值大于预设阈值的待测人脸视频的待测人脸的嘴部有运动。
与现有技术相比，本实施例采用分类模型基于视频帧的嘴部的关键点位置来预测视频帧的状态值，并通过视频帧的状态值来判断待测人脸视频的嘴部运动的情况，简单高效，且准确率较高；任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。
本发明一种活体识别方法提供的实施例，参见图6，图6是本实施例的流程示意图，其中，本实施例具体包括步骤：
S21、检测待测人脸视频中的待测人脸的至少两部位运动的情况，其中，一部位运动的检测采用本发明一种人脸部位运动检测方法提供的实施例一，对应检测的部位运动为眼部运动的情况，或，至少一部位运动的检测采用本发明一种人脸部位运动检测方法提供的实施例二，对应检测的部位运动为嘴部运动的情况，具体过程可以参见本发明一种人脸部位运动检测方法提供的实施例一或实施例二，此处不做赘述；
S22、基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值；
S23、计算每一部位运动对应的运动分值加权后的总和，并将计算得到的总和作为活体识别分值；其中，每一部位运动已预设相应的权值；
S24、判定活体识别分值不小于预设阈值的待测人脸为活体。
示例，本实施例步骤S21中除了采用本发明一种人脸部位运动检测方法提供的实施例一检测眼部运动和/或采用本发明一种人脸部位运动检测方法提供的实施例二检测嘴部运动的检测，步骤S21还可以检测其它的部位运动为头部运动、面部运动、额头运动和眉毛运动中的至少一种；通常来说，头部运动包括头部是否转动；面部运动包括人脸部位的整体变化，如鬼脸动作，人脸的眼部和嘴部的整体变化程度超过预设条件；眉毛运动包括眉毛是否抖动；额头运动包括额头区域的皱纹有无变化。
示例，步骤S21中检测待测人脸的其它至少一个部位运动具体包括：检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置，通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况；或者，检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征，通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况。上述实施方法仅为检测其它至少一个部位运动的示例；基于本实施例的活体识别方法的原理基础上，通过其它具体的实施方式实现对另外至少一部位运动的运动检测，也在本实施例的保护范围之内。
本实施例的步骤S23中设定每一部位运动相对应的权值的优选实施方式为根据每一部位运动的明显度设定。示例，当步骤S21检测待测人脸视频中的待测人脸的部位运动为眼部运动、嘴部运动和头部运动；嘴部运动比较明显，故权重最大，眼部次之，头部运动的模拟精度最小，那么，对应设置部位运动的权重策略为：嘴部运动>眼部运动>额头皱纹动作；
或，步骤S23中设定每一部位运动相对应的权值的另一优选实施方式为根据不同应用场景自动进行部位运动的权值调整而设定的，具体做法：在某一种场景下，收集待测人脸的各种部位运动的正常输入视频作为正样本，攻击视频作为负样本，取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率，然后把每一部位运动的准确率按照从大到小的顺序进行排序，每一部位运动的权重也按照此顺序从大到小，重新调整每一部位运动的权重。重新调整后的权重用以计算活体识别分值，该识别结果可以自适应不同场景下的部位运动检测的准确率，增加本实施例的活体识别结果的准确率。
上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。
具体地，参见图7，图7是步骤S24的流程示意图，包括步骤：
S241、通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度；
S242、当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值；
S243、判定活体识别分值不小于预设阈值的待测人脸为活体。
具体地，在步骤S241中，活体识别总分即为本实施例对待测人脸进行识别后能获得的最大值，待测人脸的活体识别置信度通过下述公式计算：
f＝(s/s_max)*100％
其中，s_max表示活体识别总分，f表示活体识别置信度，且0<f<1；
用e表示预设值，当f≥e,即活体识别置信度不小于预设值时，则确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体；当f<e,即活体识别置信度小于预设值时，则确定活体识别分值小于预设阈值，判定活体识别分值小于预设阈值的待测人脸为非活体。
利用活体识别分值所获得的活体识别置信度，还可以进一步扩展，用于本实施例建立分级制度进行活体判断和活体分级，以获得丰富的活体识别结果。
步骤S22基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值包括：
当步骤S21中的检测待测人脸的对应运动情况为待测人脸的对应部位有运动，则获取的对应部位运动的运动分值为1分；否则获取的运动分值为0分。
除了通过有无运动的判断获取对应的运动分值，若在步骤S21中所获取的部位运动的运动情况为部位运动的运动程度，还可以根据其运动程度在分值区间中获取对应的运动分值，如设定分数分为10级，取值在0到1之间。
具体实施时，检测待测人脸视频部位运动从而获得对应的部位的运动情况，其中，一部位运动的检测采用本发明提供的一种人脸部位运动检测方法的实施例一或实施例二；根据每一部位运动的情况获取对应的运动分值，具体为该部位运动有运动，则获取的运动分值为1分，否则获取的运动分值为0分；接着计算上述得到每一部位运动分值进行加权后的总和，该总和表示活体识别分值；最后用该活体识别分值占活体识别总分的比值计算活体识别置信度，其中，当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值，从而判定待测人脸为活体；否则，判定待测人脸为非活体。
本实施例可运用于多种设备端，此处以运用于移动手机端的实施场景为例进行说明：在手机端活体识别时，随机出现一种活体动作要求顺序，例如为要求待测人脸分别进行张嘴、眨眼和头部左转的活体动作；此时若预设的部位运动的权重为：张嘴对应的嘴部运动的权重w1＝3，眨眼对应的眼部运动的权重w2＝2，头部左转对应的运动的权重w3＝1；计算活体识别总分，即活体识别最高分s_max为3*1+2*1+1*1＝6分。假设检测出张嘴得分为1分，眨眼得分为1分，头部左转得分为0分，活体识别分值s为每一部位运动加权后的总和，代入上述部位运动的运动分值，计算活体识别分值s＝3*1+2*1+1*0＝5分；最后，计算活体识别置信度f＝s/s_max＝5/6＝83.33％。若设定此时设定值e为80％，则判定该待测人脸为活体，且活体置信度为83.33％。
本实施例解决了现有技术中算法单一，安全性不高的问题，可扩展性强；其中采用的本发明提供的一种人脸部位运动检测方法的实施例一或实施例二的计算简单高效，对设备的硬件要求不高；另外，在本实施例中采用对多个部位运动的检测来进行活体识别，并对不同部位运动加权再进行分数融合，活体识别准确度高，且有利于提高安全性。
本发明一种活体识别系统提供的实施例，参见图8，图8为本实施例的结构示意图，本实施例包括：
至少2个人脸部位运动检测装置1，每一个人脸部位运动检测装置1用于检测待测人脸一对应的部位运动的情况；图8中的人脸部位运动检测装置1a和人脸部位运动检测装置1b表示检测两不同人脸的部位运动的两人脸部位运动检测装置1；其中1个人脸部位运动检测装置1采用本发明一种人脸部位运动检测装置提供的实施例一或实施例二，可参见图5，此处不做赘述。
部位运动分值获取装置2，用于基于每一部位运动的情况获取待测人脸的每一部位运动对应的运动分值；
活体识别分值计算装置3，用于计算每一部位运动对应的运动分值加权后的总和，并将计算得到的总和作为活体识别分值；其中，活体识别分值计算装置3已预设与每一部位运动相对应的权值；
活体判断装置4，用于判定活体识别分值不小于预设阈值的待测人脸为活体。
除采用本发明一种人脸部位运动检测装置提供的实施例一对应检测眼部运动或采用本发明一种人脸部位运动检测装置提供的实施例二对应检测嘴部运动外，示例，另外一人脸部位运动检测装置1对应检测的待测人脸的部位运动包括头部运动、眉毛运动、额头运动和面部运动中的至少一部位运动；通常头部运动包括头部是否转动；眉毛运动包括眉毛是否有抖动动作；额头运动包括额头区域的皱纹有无变化；面部运动包括人脸部位的整体变化，如鬼脸动作，人脸的眼部和嘴部的整体变化程度超过预设条件。
示例，另外至少一人脸部位运动检测装置1具体用于检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置，通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况；或者，人脸部位运动检测装置1还可以具体用于检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征，通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况，该实施方式通常适用于人脸部位运动检测装置1检测的部位运动为眼部运动或额头运动。上述实施方法仅为另外至少一人脸部位运动检测装置1检测部位运动的示例，当人脸部位运动检测装置1通过其他实施方式实现对另外至少一部位运动的运动检测，也在本实施例的保护范围之内。
部位运动分值获取装置2具体用于基每一部位运动的运动情况获取对应的运动分值：当待测人脸的对应的部位运动情况为有运动，则获取的对应部位运动的运动分值为1分；否则获取的运动分值为0分。
除上述部位运动分值获取装置2用于基于每一部位运动的是否有运动的情况而直接获得一个是否有运动的运动分值的实施方式,当通过人脸部位运动检测装置1中获取的部位运动的运动情况包括部位运动的运动程度，还可以通过部位运动分值获取装置2基于运动程度而获取一个在0到1之间的运动分值，如设定运动分值分为10级，取值在0到1之间，该替代实施方式不仅能表示是否有运动，还能体现运动的程度。
活体识别分值计算装置3中与每一部位运动相对应的权值为根据每一部位运动的明显度设定；如检测的部位运动为头部运动、眼部运动和嘴部运动时，此时，嘴部运动比较明显，故权重最大，眼部运动次之，头部运动权重最小，部位运动的权重策略对应为：嘴部运动>眼部运动>头部运动。
或，活体识别分值计算装置3中与每一部位运动相对应的权值为根据不同应用场景自动进行部位运动的权值调整而设定的，具体做法：在某一种场景下，收集待测人脸的各种部位运动的正常输入视频作为正样本，攻击视频作为负样本，取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率，然后把每一部位运动的准确率按照从大到小的顺序进行排序，每一部位运动的权重也按照此顺序从大到小，重新调整每一部位运动的权重。
上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。
活体判断装置4包括：
活体识别置信度计算单元41，用于通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度；
其中，活体识别总分即为通过活体识别分值计算装置3获取的所有部位运动的运动分值加权后的总和的最大值，活体识别总分用s_max表示；f表示活体识别置信度，且0<f<1；活体识别置信度计算单元41通过下述公式计算待测人脸的活体识别置信度：
f＝(s/s_max)*100％
活体判断单元42，用于当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体。
其中，用e表示预设值，通过活体判断单元42判断：当f≥e,即活体识别置信度不小于预设值时，则确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体；当f<e,即活体识别置信度小于预设值时，则确定活体识别分值小于预设阈值，判定活体识别分值小于预设阈值的待测人脸为非活体。
通过活体识别置信度计算单元41所获得的活体识别置信度，还可以进一步扩展，用于本实施例活体识别系统建立分级制度进行活体判断和活体分级，以获得丰富的活体识别结果。
具体实施时，首先，通过每一人脸部位运动检测装置1获取对应的部位运动的运动的情况，其中，一人脸部位运动检测装置1为本发明一种人脸部位运动检测装置的实施例一或实施例二；并通过部位运动分值获取装置2基于部位运动的运动情况获取对应的运动分值；然后，通过活体识别分值计算装置3对获取的每一部位运动的运动分值进行加权后求和作为活体识别分值，最后，通过活体判断装置4的活体识别置信度计算单元41利用活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度，并通过活体判断单元42判定当计算所得的活体识别置信度不小于预设阈值的待测人脸为活体。
本实施例采用检测至少2个人脸部位运动检测装置解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且所采用的本发明提供的一种人脸部位运动检测装置的实施例一或实施例二对硬件要求不高；另外，通过活体识别分值计算装置对不同部位运动加权再进行分数融合，活体识别准确度高，获得了活体识别准确率高、硬件要求低和安全性高的有益效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种人脸部位运动检测方法，其特征在于，包括步骤：
从待测人脸视频中抽取若干视频帧；
获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；
基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取抽取的每一所述视频帧的待测人脸部位的状态值；其中，所述分类模型为通过分类器基于若干预先标注所述待测人脸部位的状态值的人脸图片训练好的分类模型；
基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况；
其中，所述待测人脸部位不同级别的运动程度对应不同的状态值；
所述基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况包括：
计算抽取的每一所述视频帧的待测人脸部位的状态值中的最大值和最小值的差值；
若所述差值大于预设阈值，则判定所述待测人脸视频的待测人脸部位有运动。
2.如权利要求1所述的一种人脸部位运动检测方法，其特征在于，所述待测人脸部位为眼部，则,
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型。
3.如权利要求1所述的一种人脸部位运动检测方法，其特征在于，所述待测人脸部位为嘴部，则,
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述嘴部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述嘴部的状态值的人脸图片训练好的分类模型。
4.一种人脸部位运动检测装置，其特征在于，包括：
视频帧抽取单元，用于从待测人脸视频中抽取若干视频帧；
部位关键点位置检测单元，用于获取从所述待测人脸视频中抽取的每一所述视频帧的待测人脸部位的若干关键点位置；
状态值获取单元，用于基于所述待测人脸部位的若干关键点位置，通过分类模型对抽取的每一所述视频帧的待测人脸部位进行预测，从而获取抽取的每一所述视频帧的待测人脸部位的状态值；其中，所述分类模型为通过分类器基于若干预先标注待测人脸部位的状态值的人脸图片训练好的分类模型；
部位运动判断单元，用于基于抽取的每一所述视频帧的待测人脸部位的状态值的变化程度判断所述待测人脸视频的待测人脸部位运动的情况；
其中，所述待测人脸部位不同级别的运动程度对应不同的状态值；
所述部位运动判断单元包括：
差值计算模块，用于计算抽取的每一所述视频帧中待测人脸部位的状态值中的最大值和最小值的差值；
部位运动判断模块，用于若差值计算模块计算所得的所述差值大于预设阈值，则所述待测人脸视频的待测人脸部位有运动。
5.如权利要求4所述的一种人脸部位运动检测装置，其特征在于，所述待测人脸部位为眼部，则
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述眼部的状态值的人脸图片训练好的分类模型。
6.如权利要求4所述的一种人脸部位运动检测装置，其特征在于，所述待测人脸部位为嘴部，则
所述分类模型具体为通过soft-max回归分类器基于若干预先标注所述嘴部的状态值的人脸图片训练好的分类模型；
或，所述分类模型具体为通过SVM分类器基于若干预先标注所述嘴部的状态值的人脸图片训练好的分类模型。
7.一种活体识别方法，其特征在于，所述活体识别方法包括步骤：
检测待测人脸视频中的待测人脸的至少两部位运动的情况，其中，一部位运动采用如权利要求1～3任一项所述的部位运动检测方法检测部位运动的情况；
基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；
计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，每一所述部位运动已预设相应的权值；
判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
8.一种活体识别系统，其特征在于，所述活体识别系统包括：
至少2个人脸部位运动检测装置，每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况，其中一人脸部位运动检测装置为如权利要求4～6任一项所述的一种人脸部位运动检测装置；
部位运动分值获取装置，用于基于每一所述部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；
活体识别分值计算装置，用于计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值；
活体判断装置，用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。
CN201710406478.8A 2017-06-02 2017-06-02 人脸部位运动检测方法和装置及活体识别方法和系统 Active CN107330914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406478.8A CN107330914B (zh) 2017-06-02 2017-06-02 人脸部位运动检测方法和装置及活体识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406478.8A CN107330914B (zh) 2017-06-02 2017-06-02 人脸部位运动检测方法和装置及活体识别方法和系统

Publications (2)

Publication Number Publication Date
CN107330914A CN107330914A (zh) 2017-11-07
CN107330914B true CN107330914B (zh) 2021-02-02

Family

ID=60193832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710406478.8A Active CN107330914B (zh) 2017-06-02 2017-06-02 人脸部位运动检测方法和装置及活体识别方法和系统

Country Status (1)

Country Link
CN (1) CN107330914B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165552B (zh) * 2018-07-14 2021-02-26 深圳神目信息技术有限公司 一种基于人体关键点的姿态识别方法、系统及存储器
CN109635757B (zh) 2018-12-18 2019-10-25 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
CN109684974A (zh) * 2018-12-18 2019-04-26 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
CN109815804A (zh) * 2018-12-19 2019-05-28 平安普惠企业管理有限公司 基于人工智能的交互方法、装置、计算机设备及存储介质
CN109766785B (zh) * 2018-12-21 2023-09-01 中国银联股份有限公司 一种人脸的活体检测方法及装置
CN110059624B (zh) * 2019-04-18 2021-10-08 北京字节跳动网络技术有限公司 用于检测活体的方法和装置
CN113297883A (zh) * 2020-07-03 2021-08-24 阿里巴巴集团控股有限公司 信息处理方法、分析模型的获得方法、装置及电子设备
CN112016437B (zh) * 2020-08-26 2023-02-10 中国科学院重庆绿色智能技术研究院 一种基于人脸视频关键帧的活体检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794464A (zh) * 2015-05-13 2015-07-22 上海依图网络科技有限公司 一种基于相对属性的活体检测方法
CN106557723A (zh) * 2015-09-25 2017-04-05 北京市商汤科技开发有限公司 一种带交互式活体检测的人脸身份认证系统及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243386B (zh) * 2014-07-10 2019-02-05 汉王科技股份有限公司 人脸活体判断方法以及系统
US20170046583A1 (en) * 2015-08-10 2017-02-16 Yoti Ltd Liveness detection
CN106778450B (zh) * 2015-11-25 2020-04-24 腾讯科技（深圳）有限公司 一种面部识别方法和装置
CN106203372A (zh) * 2016-07-19 2016-12-07 奇酷互联网络科技（深圳）有限公司 基于眼睛的活体检测方法、装置和终端设备
CN106650646A (zh) * 2016-12-09 2017-05-10 南京合荣欣业金融软件有限公司 一种基于动作识别的活体人脸识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794464A (zh) * 2015-05-13 2015-07-22 上海依图网络科技有限公司 一种基于相对属性的活体检测方法
CN106557723A (zh) * 2015-09-25 2017-04-05 北京市商汤科技开发有限公司 一种带交互式活体检测的人脸身份认证系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Face Recognition with Liveness Detection using Eye and Mouth Movement;Avinash Kumar Singh等;《IEEE》;20141231;第592-597页 *

Also Published As

Publication number Publication date
CN107330914A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107330914B (zh) 人脸部位运动检测方法和装置及活体识别方法和系统
CN107330370B (zh) 一种额头皱纹动作检测方法和装置及活体识别方法和系统
CN107358152B (zh) 一种活体识别方法和系统
CN109165552B (zh) 一种基于人体关键点的姿态识别方法、系统及存储器
CN108182409B (zh) 活体检测方法、装置、设备及存储介质
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
US9036018B2 (en) Facial expression recognition systems and methods and computer program products thereof
CN110223322B (zh) 图像识别方法、装置、计算机设备和存储介质
JP5010905B2 (ja) 顔認証装置
CN108647644B (zh) 基于gmm表征的煤矿放炮不安全动作识别与判定方法
JP6921694B2 (ja) 監視システム
CN105404884B (zh) 图像分析方法
CN102004905B (zh) 人脸认证方法及装置
CN107392089A (zh) 一种眉毛运动检测方法和装置及活体识别方法和系统
CN110705357A (zh) 人脸识别方法和人脸识别装置
JP2007213182A (ja) 対象物状態認識方法および装置並びにプログラム
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN113158850A (zh) 基于深度学习的船舶驾驶员疲劳检测方法和系统
CN107358155A (zh) 一种鬼脸动作检测方法和装置及活体识别方法和系统
KR20150089370A (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN107368777A (zh) 一种微笑动作检测方法和装置及活体识别方法和系统
CN103544478A (zh) 一种全方位人脸检测的方法及系统
CN107358151A (zh) 一种眼部运动检测方法和装置及活体识别方法和系统
CN107358153A (zh) 一种嘴部运动检测方法和装置及活体识别方法和系统
CN112926364B (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant