CN112069954B - 一种活体微表情检测方法及系统 - Google Patents

一种活体微表情检测方法及系统 Download PDF

Info

Publication number
CN112069954B
CN112069954B CN202010871567.1A CN202010871567A CN112069954B CN 112069954 B CN112069954 B CN 112069954B CN 202010871567 A CN202010871567 A CN 202010871567A CN 112069954 B CN112069954 B CN 112069954B
Authority
CN
China
Prior art keywords
face
head
key point
limit value
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010871567.1A
Other languages
English (en)
Other versions
CN112069954A (zh
Inventor
彭骏
吉纲
占涛
张艳红
方自成
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Routon Electronic Co ltd
Wuhan Precision Business Machine Co ltd
Original Assignee
Routon Electronic Co ltd
Wuhan Precision Business Machine Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Routon Electronic Co ltd, Wuhan Precision Business Machine Co ltd filed Critical Routon Electronic Co ltd
Priority to CN202010871567.1A priority Critical patent/CN112069954B/zh
Publication of CN112069954A publication Critical patent/CN112069954A/zh
Application granted granted Critical
Publication of CN112069954B publication Critical patent/CN112069954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种活体微表情检测方法及系统，该方法包括：获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。本发明实施例通过基于人脸关键点的提取和计算，与用户在规定时间内完成的随机微表情动作进行匹配，有效防止照片和视频进行非活体欺诈，提升了实用性。

Description

一种活体微表情检测方法及系统
技术领域
本发明涉及人脸检测技术领域，尤其涉及一种活体微表情检测方法及系统。
背景技术
在人脸检测应用中，现存在广泛的应用人脸活体检测技术来进行身份认证、真伪识别、支付确认等场景。
现有的人脸活体检测方法分为交互式和非交互式两种情形，其中非交互类型的静默活体算法实现复杂，并在识别准确率和场景通用性方面存在很大欠缺，而交互类型的基于随机微表情动作活体检测方法实现简单，场景适应性较强，可有效防止打印照片、视频回放等欺骗攻击，在真人实名认证环节有很大应用空间。
但目前常用的基于微表情的交互式检测方法普遍存在检测精度不高的问题，因此需要提出一种新的活体微表情检测方法。
发明内容
本发明实施例提供一种活体微表情检测方法及系统，用以解决现有技术中存在的缺陷。
第一方面，本发明实施例提供一种活体微表情检测方法，包括：
获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；
获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；
获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
优选地，所述获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理，具体包括：
获取左眼内眼角关键点和右眼内眼角关键点，连接所述左眼内眼角关键点和所述右眼内眼角关键点，得到所述眼角关键点连线；
获取所述眼角关键点连线和水平方向的夹角，基于所述夹角对人脸区域进行仿射变换，使双眼中心连线处于水平方向。
优选地，获取所述待检测活体的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果，具体包括：
获取所述待检测活体的眨眼动作、张嘴动作、抬头与低头动作以及左右摆头动作；
基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果；
基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果；
基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果；
基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果；
综合所述眨眼检测结果、所述张嘴检测结果、所述抬头与低头检测结果和所述左右摆头动作检测结果，得到所述微表情检测结果。
优选地，所述基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果，具体包括：
获取任一眼睛上下眼睑关键点之间的上下眼睑距离，以及所述任一眼睛内外眼角之间的内外眼角距离，基于所述上下眼睑距离和所述内外眼角距离得到第一比值；
获取第一上限值和第一下限值；
若所述第一比值大于等于所述第一上限值，则认定为睁眼状态，若所述第一比值小于等于所述第一下限值，则认定为闭眼状态。
优选地，所述基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果，具体包括：
获取上下嘴唇关键点之间的上下嘴唇距离，以及左右嘴角关键点之间的左右嘴角距离，基于所述上下嘴唇距离和所述左右嘴角距离得到第二比值；
获取第二上限值和第二下限值；
若所述第二比值大于等于所述第二上限值，则认定为张嘴状态，若所述第二比值小于等于所述第二下限值，则认定为闭嘴状态。
优选地，所述基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果，具体包括：
获取鼻梁上下关键点之间的上下鼻梁距离，以及左右眉尾关键点之间的左右眉尾距离，基于所述上下鼻梁距离和所述左右眉尾距离得到第三比值；
获取正脸区域距离的第三上限值和第三下限值，以及抬头与低头距离的第四上限值和第四下限值；
若所述第三比值位于所述第三下限值和所述第三上限值所组成的区间内，则认定为正脸状态，若所述第三比值大于等于所述第四上限值，则认定为低头状态，若所述第三比值小于等于第四下限值，则认定为抬头状态。
优选地，所述基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果，具体包括：
获取左眉尾关键点和左眉头关键点之间的左眉距离，以及右眉尾关键点和右眉头关键点之间的右眉距离，基于所述左眉距离和所述右眉距离得到第四比值；
获取正脸区域距离的第五上限值和第五下限值，以及左右摆头距离的第六上限值和第六下限值；
若所述第四比值位于所述第五下限值和所述第五上限值所组成的区间内，则认定为正脸状态，若所述第四比值大于等于所述第六上限值，则认定为左摆头状态，若所述第四比值小于等于所述第六下限值，则认定为右摆头状态。
第二方面，本发明实施例还提供一种活体微表情检测系统，包括：
获取模块，用于获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；
处理模块，用于获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；
检测模块，用于获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述活体微表情检测方法的步骤。
第四方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述活体微表情检测方法的步骤。
本发明实施例提供的活体微表情检测方法及系统，通过基于人脸关键点的提取和计算，与用户在规定时间内完成的随机微表情动作进行匹配，有效防止照片和视频进行非活体欺诈，提升了实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种活体微表情检测方法的流程示意图；
图2是本发明实施例提供的人脸关键点位置分布图；
图3是本发明实施例提供的一种活体微表情检测系统的结构示意图；
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术中存在的问题，本发明实施例提供了一种新的活体微表情检测方法。
图1是本发明实施例提供的一种活体微表情检测方法的流程示意图，如图1所示，包括：
S1，获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；
具体地，利用人脸检测算法对摄像头采集的一帧图像进行人脸检测，若未检测到人脸则结束或重新拍摄，若检测到人脸，则进入后续步骤。
S2，获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；
在步骤S1中检测到的人脸位置进行人脸关键点检测，获取25个人脸关键点坐标，利用25个人脸关键点之间的相对距离变化关系来判断眼睛、嘴巴和头部的姿态变化，为进行配合动作指令活体检测提供依据，其支持的微表情有眨眼、张嘴、抬头、低头、向左摆头及向右摆头等6种，人脸25个关键点位置分布如图2所示，其中人脸检测和25个关键点检测算法已经采用深度学习的方法训练得到，假设第n个关键点命名为Pn,其x和y坐标分别表示为Pn.x、Pn.y，此处1≤n≤25。
S3，获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
得到各人脸关键点坐标后，由待检测的人员在规定时间内完成一套随机的微表情动作，根据各动作和人脸关键点的各距离信息进行比对，判断得到对应人员是否完成对应的检测动作，从而得到微表情检测结果，即判断该人员是否是真实活体还是非活体欺诈。
本发明实施例通过基于人脸关键点的提取和计算，与用户在规定时间内完成的随机微表情动作进行匹配，有效防止照片和视频进行非活体欺诈，提升了实用性。
基于上述实施例，该方法中步骤S2具体包括：
获取左眼内眼角关键点和右眼内眼角关键点，连接所述左眼内眼角关键点和所述右眼内眼角关键点，得到所述眼角关键点连线；
获取所述眼角关键点连线和水平方向的夹角，基于所述夹角对人脸区域进行仿射变换，使双眼中心连线处于水平方向。
具体地，获取图2中17号和22眼角关键点连线与水平方向的夹角θ，由如下公式：
tanθ＝(P22.y-P17.y)/(P22.x-P17.x)
可知θ＝arctan((P22.y-P17.y)/(P22.x-P17.x))*180°/π。
然后利用此夹角θ对人脸区域进行仿射变换，以便使双眼中心连线处于水平方向。
基于上述任一实施例，该方法中步骤S3具体包括：
获取所述待检测活体的眨眼动作、张嘴动作、抬头与低头动作以及左右摆头动作；
基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果；
基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果；
基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果；
基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果；
综合所述眨眼检测结果、所述张嘴检测结果、所述抬头与低头检测结果和所述左右摆头动作检测结果，得到所述微表情检测结果。
具体地，本发明实施例是通过图2中获取的25个人脸关键点之间的相对距离变化关系来判断眼睛、嘴巴和头部的姿态变化，支持的微表情有眨眼、张嘴、抬头、低头、向左摆头及向右摆头等6种，最后综合这6种微表情的检测结果，得到整体的微表情检测结果。
基于上述任一实施例，所述基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果，具体包括：
获取任一眼睛上下眼睑关键点之间的上下眼睑距离，以及所述任一眼睛内外眼角之间的内外眼角距离，基于所述上下眼睑距离和所述内外眼角距离得到第一比值；
获取第一上限值和第一下限值；
若所述第一比值大于等于所述第一上限值，则认定为睁眼状态，若所述第一比值小于等于所述第一下限值，则认定为闭眼状态。
具体地，通过上下眼睑关键点之间距离相对于眼角两关键点之间距离的变化来判断眼睛的开闭状态，当眼睛的状态由睁开到闭合再到睁开时，完成眨眼检测过程。如图2所示，假设获取左眼上下眼睑关键点P1和P18之间的距离为上下眼睑距离L1，左眼眼角关键点P17和P19之间的距离为内外眼角距离L2，通过测试获取的距离上限为L1max、下限为L1min，则当L1/L2≥L1max时认为是睁眼，当L1/L2≤L1min时认为是闭眼。
基于上述任一实施例，所述基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果，具体包括：
获取上下嘴唇关键点之间的上下嘴唇距离，以及左右嘴角关键点之间的左右嘴角距离，基于所述上下嘴唇距离和所述左右嘴角距离得到第二比值；
获取第二上限值和第二下限值；
若所述第二比值大于等于所述第二上限值，则认定为张嘴状态，若所述第二比值小于等于所述第二下限值，则认定为闭嘴状态。
具体地，通过上下嘴唇关键点之间距离相对于左右嘴角两关键点之间距离的变化来判断嘴巴的开闭状态，当嘴巴的状态由闭合到张开再到闭合时，完成张嘴检测过程。如图2所示，假设上下嘴唇关键点P9和P10之间的距离为上下嘴唇距离L3，左右嘴角两关键点P11和P12之间的距离为左右嘴角距离L4，通过测试获取的距离上限为L2max、下限为L2min，则当L3/L4≥L2max时认为是张嘴，当L3/L4≤L2min时认为是闭嘴。
基于上述任一实施例，所述基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果，具体包括：
获取鼻梁上下关键点之间的上下鼻梁距离，以及左右眉尾关键点之间的左右眉尾距离，基于所述上下鼻梁距离和所述左右眉尾距离得到第三比值；
获取正脸区域距离的第三上限值和第三下限值，以及抬头与低头距离的第四上限值和第四下限值；
若所述第三比值位于所述第三下限值和所述第三上限值所组成的区间内，则认定为正脸状态，若所述第三比值大于等于所述第四上限值，则认定为低头状态，若所述第三比值小于等于第四下限值，则认定为抬头状态。
具体地，通过鼻梁上下关键点之间距离相对于左右眉尾两关键点之间距离的变化来判断头部的上下运动状态，当头部的状态由正脸到抬头再到正脸时，完成抬头检测过程；当头部的状态由正脸到低头再到正脸时，完成低头检测过程。如图2所示，假设鼻梁上下关键点P7和P8之间的距离为上下鼻梁距离L5，左右眉尾两关键点P3和P6之间的距离为左右眉尾距离L6，通过测试获取的正脸区间距离上限为L3max、下限为L3min，而抬头与低头的距离上限为L4max、下限为L4min，则当L3min≤L5/L6≤L3max时认为是正脸、当L5/L6≥L4max时认为低头、当L5/L6≤L4min时认为是抬头。
基于上述任一实施例，所述基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果，具体包括：
获取左眉尾关键点和左眉头关键点之间的左眉距离，以及右眉尾关键点和右眉头关键点之间的右眉距离，基于所述左眉距离和所述右眉距离得到第四比值；
获取正脸区域距离的第五上限值和第五下限值，以及左右摆头距离的第六上限值和第六下限值；
若所述第四比值位于所述第五下限值和所述第五上限值所组成的区间内，则认定为正脸状态，若所述第四比值大于等于所述第六上限值，则认定为左摆头状态，若所述第四比值小于等于所述第六下限值，则认定为右摆头状态。
具体地，通过两边眉尾与眉头关键点之间距离的相对变化来判断头部的左右运动状态，当头部的状态由正脸到左摆头再到正脸时，完成向左摆头检测过程；当头部的状态由正脸到右摆头再到正脸时，完成向右摆头检测过程。如图2所示，假设左边眉尾与眉头关键点P3和P4之间的距离为左眉距离L7，右边眉尾与眉头关键点P6和P5之间的距离为右眉距离L8，通过测试获取的正脸区间距离上限为L5max、下线为L5min，而左右摆头的距离上限为L6max、下限为L6min，则当L5min≤L7/L8≤L5max时认为是正脸、当L1/L2≥L6max时认为是左摆头、当L7/L8≤L6min时认为是右摆头。
综上所述，本发明实施例的活体微表情检测方法不依赖相应的活体检测模型，便于在人脸识别算法中集成，通过限定用户在规定的时间内完成一套随机的微表情动作，可以有效防止照片和视频等非活体欺骗方式。
下面对本发明实施例提供的活体微表情检测系统进行描述，下文描述的活体微表情检测系统与上文描述的活体微表情检测方法可相互对应参照。
图3是本发明实施例提供的一种活体微表情检测系统的结构示意图，如图3所示，包括：获取模块31、处理模块32和检测模块33；其中：
获取模块31用于获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；处理模块32用于获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；检测模块33用于获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
本发明实施例通过基于人脸关键点的提取和计算，与用户在规定时间内完成的随机微表情动作进行匹配，有效防止照片和视频进行非活体欺诈，提升了实用性。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communicationinterface)420、存储器(memory)430和通信总线(bus)440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器830中的逻辑指令，以执行活体微表情检测方法，该方法包括：获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的活体微表情检测方法，该方法包括：获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的活体微表情检测方法，该方法包括：获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种活体微表情检测方法，其特征在于，包括：
获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；
获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；
获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果；
所述获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理，具体包括：
获取左眼内眼角关键点和右眼内眼角关键点，连接所述左眼内眼角关键点和所述右眼内眼角关键点，得到所述眼角关键点连线；
获取所述眼角关键点连线和水平方向的夹角，基于所述夹角对人脸区域进行仿射变换，使双眼中心连线处于水平方向；
所述获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果，具体包括：
获取所述待检测活体在所述预设时间内的眨眼动作、张嘴动作、抬头与低头动作以及左右摆头动作；
基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果；
基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果；
基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果；
基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果；
综合所述眨眼检测结果、所述张嘴检测结果、所述抬头与低头检测结果和所述左右摆头动作检测结果，得到所述微表情检测结果；
所述基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果，具体包括：
获取鼻梁上下关键点之间的上下鼻梁距离，以及左右眉尾关键点之间的左右眉尾距离，基于所述上下鼻梁距离和所述左右眉尾距离得到第三比值；
获取正脸区域距离的第三上限值和第三下限值，以及抬头与低头距离的第四上限值和第四下限值；
若所述第三比值位于所述第三下限值和所述第三上限值所组成的区间内，则认定为正脸状态，若所述第三比值大于等于所述第四上限值，则认定为低头状态，若所述第三比值小于等于第四下限值，则认定为抬头状态；
所述基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果，具体包括：
获取左眉尾关键点和左眉头关键点之间的左眉距离，以及右眉尾关键点和右眉头关键点之间的右眉距离，基于所述左眉距离和所述右眉距离得到第四比值；
获取正脸区域距离的第五上限值和第五下限值，以及左右摆头距离的第六上限值和第六下限值；
若所述第四比值位于所述第五下限值和所述第五上限值所组成的区间内，则认定为正脸状态，若所述第四比值大于等于所述第六上限值，则认定为左摆头状态，若所述第四比值小于等于所述第六下限值，则认定为右摆头状态。
2.根据权利要求1所述的活体微表情检测方法，其特征在于，所述基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果，具体包括：
获取任一眼睛上下眼睑关键点之间的上下眼睑距离，以及所述任一眼睛内外眼角之间的内外眼角距离，基于所述上下眼睑距离和所述内外眼角距离得到第一比值；
获取第一上限值和第一下限值；
若所述第一比值大于等于所述第一上限值，则认定为睁眼状态，若所述第一比值小于等于所述第一下限值，则认定为闭眼状态。
3.根据权利要求1所述的活体微表情检测方法，其特征在于，所述基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果，具体包括：
获取上下嘴唇关键点之间的上下嘴唇距离，以及左右嘴角关键点之间的左右嘴角距离，基于所述上下嘴唇距离和所述左右嘴角距离得到第二比值；
获取第二上限值和第二下限值；
若所述第二比值大于等于所述第二上限值，则认定为张嘴状态，若所述第二比值小于等于所述第二下限值，则认定为闭嘴状态。
4.一种活体微表情检测系统，其特征在于，包括：
获取模块，用于获取待检测活体的人脸图像，基于所述人脸图像获得人脸关键点集合；
处理模块，用于获取所述人脸关键点集合中的眼角关键点连线，基于所述眼角关键点连线对所述人脸图像进行人脸对齐处理；
检测模块，用于获取所述待检测活体在预设时间内的预设动作集合，基于所述预设动作集合与所述人脸关键点集合，得到微表情检测结果；
所述处理模块具体用于：
获取左眼内眼角关键点和右眼内眼角关键点，连接所述左眼内眼角关键点和所述右眼内眼角关键点，得到所述眼角关键点连线；
获取所述眼角关键点连线和水平方向的夹角，基于所述夹角对人脸区域进行仿射变换，使双眼中心连线处于水平方向；
所述检测模块具体用于：
获取所述待检测活体在所述预设时间内的眨眼动作、张嘴动作、抬头与低头动作以及左右摆头动作；
基于所述眨眼动作和所述人脸关键点集合进行匹配，得到眨眼检测结果；
基于所述张嘴动作和所述人脸关键点集合进行匹配，得到张嘴检测结果；
基于所述抬头与低头动作和所述人脸关键点集合进行匹配，得到抬头与低头检测结果；
基于所述左右摆头动作和所述人脸关键点集合进行匹配，得到左右摆头动作检测结果；
综合所述眨眼检测结果、所述张嘴检测结果、所述抬头与低头检测结果和所述左右摆头动作检测结果，得到所述微表情检测结果；
所述检测模块还用于：
获取鼻梁上下关键点之间的上下鼻梁距离，以及左右眉尾关键点之间的左右眉尾距离，基于所述上下鼻梁距离和所述左右眉尾距离得到第三比值；
获取正脸区域距离的第三上限值和第三下限值，以及抬头与低头距离的第四上限值和第四下限值；
若所述第三比值位于所述第三下限值和所述第三上限值所组成的区间内，则认定为正脸状态，若所述第三比值大于等于所述第四上限值，则认定为低头状态，若所述第三比值小于等于第四下限值，则认定为抬头状态；
获取左眉尾关键点和左眉头关键点之间的左眉距离，以及右眉尾关键点和右眉头关键点之间的右眉距离，基于所述左眉距离和所述右眉距离得到第四比值；
获取正脸区域距离的第五上限值和第五下限值，以及左右摆头距离的第六上限值和第六下限值；
若所述第四比值位于所述第五下限值和所述第五上限值所组成的区间内，则认定为正脸状态，若所述第四比值大于等于所述第六上限值，则认定为左摆头状态，若所述第四比值小于等于所述第六下限值，则认定为右摆头状态。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述活体微表情检测方法的步骤。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述活体微表情检测方法的步骤。
CN202010871567.1A 2020-08-26 2020-08-26 一种活体微表情检测方法及系统 Active CN112069954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010871567.1A CN112069954B (zh) 2020-08-26 2020-08-26 一种活体微表情检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010871567.1A CN112069954B (zh) 2020-08-26 2020-08-26 一种活体微表情检测方法及系统

Publications (2)

Publication Number Publication Date
CN112069954A CN112069954A (zh) 2020-12-11
CN112069954B true CN112069954B (zh) 2023-12-19

Family

ID=73658947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010871567.1A Active CN112069954B (zh) 2020-08-26 2020-08-26 一种活体微表情检测方法及系统

Country Status (1)

Country Link
CN (1) CN112069954B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990113A (zh) * 2021-04-20 2021-06-18 北京远鉴信息技术有限公司 一种基于人脸面部表情的活体检测方法、装置及电子设备
CN113838189B (zh) * 2021-09-13 2024-02-02 厦门美图之家科技有限公司 一种睫毛渲染方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608448A (zh) * 2016-02-22 2016-05-25 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
WO2016197298A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN107506682A (zh) * 2016-06-14 2017-12-22 掌赢信息科技（上海）有限公司 一种人脸特征点定位方法及电子设备
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置
CN111382648A (zh) * 2018-12-30 2020-07-07 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
CN111582212A (zh) * 2020-05-15 2020-08-25 山东大学 一种基于运动单元的多域融合微表情检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016110902A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Erfassung thermischer Messwerte
CN105512632B (zh) * 2015-12-09 2019-04-05 北京旷视科技有限公司 活体检测方法及装置
CN106991367B (zh) * 2016-01-21 2019-03-19 腾讯科技（深圳）有限公司 确定人脸转动角度的方法和装置
US10127728B2 (en) * 2016-09-30 2018-11-13 Sony Interactive Entertainment Inc. Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes
CN108875688B (zh) * 2018-06-28 2022-06-10 北京旷视科技有限公司 一种活体检测方法、装置、系统及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016197298A1 (zh) * 2015-06-08 2016-12-15 北京旷视科技有限公司 活体检测方法、活体检测系统以及计算机程序产品
CN105608448A (zh) * 2016-02-22 2016-05-25 海信集团有限公司 一种基于脸部关键点的lbp特征提取方法和装置
CN107506682A (zh) * 2016-06-14 2017-12-22 掌赢信息科技（上海）有限公司 一种人脸特征点定位方法及电子设备
CN111382648A (zh) * 2018-12-30 2020-07-07 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
WO2020140723A1 (zh) * 2018-12-30 2020-07-09 广州市百果园信息技术有限公司 人脸动态表情的检测方法、装置、设备及存储介质
CN109886244A (zh) * 2019-03-01 2019-06-14 北京视甄智能科技有限公司 一种人脸识别活体检测方法及装置
CN111582212A (zh) * 2020-05-15 2020-08-25 山东大学 一种基于运动单元的多域融合微表情检测方法

Also Published As

Publication number Publication date
CN112069954A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
US10997445B2 (en) Facial recognition-based authentication
US10579865B2 (en) Facial verification method and apparatus
JP7040952B2 (ja) 顔認証方法及び装置
US11551481B2 (en) Living body detection method and apparatus, electronic device, storage medium, and related system to which living body detection method is applied
CN107346422B (zh) 一种基于眨眼检测的活体人脸识别方法
US10956719B2 (en) Depth image based face anti-spoofing
CN104794465B (zh) 一种基于姿态信息的活体检测方法
CN109766785B (zh) 一种人脸的活体检测方法及装置
CN110223322B (zh) 图像识别方法、装置、计算机设备和存储介质
CN113366487A (zh) 基于表情组别的操作确定方法、装置及电子设备
CN112069954B (zh) 一种活体微表情检测方法及系统
CN106599660A (zh) 终端安全验证方法及装置
CN105868677A (zh) 一种活体人脸检测方法及装置
CN111652082B (zh) 人脸活体检测方法和装置
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN108900700A (zh) 基于人脸识别和视线定位的双重验证的认证方法及系统
CN105138967A (zh) 基于人眼区域活动状态的活体检测方法和装置
CN111178233A (zh) 基于活体认证的身份认证方法及装置
US20230045699A1 (en) Machine learning assisted intent determination using access control information
CN111860394A (zh) 一种基于姿态估计和动作检测的动作活体识别方法
CN112329727A (zh) 一种活体检测方法和装置
US10929984B2 (en) Systems and methods for shaking action recognition based on facial feature points
US11048926B2 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
CN111582145A (zh) 生物识别方法、电子设备以及计算机可读存储介质
JP2022526468A (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant