CN109635757B - 活体检测方法、装置、电子设备及存储介质 - Google Patents

活体检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109635757B
CN109635757B CN201811548844.4A CN201811548844A CN109635757B CN 109635757 B CN109635757 B CN 109635757B CN 201811548844 A CN201811548844 A CN 201811548844A CN 109635757 B CN109635757 B CN 109635757B
Authority
CN
China
Prior art keywords
condition
characteristic value
value
collection
mutual exclusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811548844.4A
Other languages
English (en)
Other versions
CN109635757A (zh
Inventor
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811548844.4A priority Critical patent/CN109635757B/zh
Publication of CN109635757A publication Critical patent/CN109635757A/zh
Priority to SG11202011044SA priority patent/SG11202011044SA/en
Priority to PCT/CN2019/095080 priority patent/WO2020124993A1/zh
Application granted granted Critical
Publication of CN109635757B publication Critical patent/CN109635757B/zh
Priority to US17/021,134 priority patent/US11017253B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Abstract

本公开公开了一种活体检测方法、装置、电子设备及存储介质。该方法包括：在确定满足活体检测开始条件时，实时获取视频中的图像帧；在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测。本公开实施例可以准确识别活体，并提高身份认证的安全性。

Description

活体检测方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及数据技术，尤其涉及一种活体检测方法、装置、电子设备及存储介质。
背景技术
人们在从事各种活动中，经常需要进行身份认证，从而保证信息的安全性。随着计算机和网络的发展，联网电子设备的普及使身份认证工作变得高效，通常身份认证需要确定被拍摄对象为活体。
目前，在金融系统、人脸识别系统中经常需要进行活体判断。在这个过程中，一般需要用户完成面部基础动作。例如，点头动作和/或摇头动作。现有技术主要通过检测多个包括用户脸部图像的照片中，设定脸部部位(例如，眼睛或者嘴巴等)姿态参数的变化情况，确定该用户是否为活体用户，同时使用人脸关键点定位和人脸追踪等技术，验证用户是否为本人操作。
但随着网络技术的发展，用户的脸部极易用照片或者视频的方式进行复制,从而对检测系统形成随机攻击，例如，通过将合法用户照片的左右偏转或者上下偏转可以模拟用户头部的真实左右摆动动作和真实上下摆动动作，从而导致该用户照片误判为活体；或者是，通过播放包含合法用户人脸姿态的合成视频可以模拟用户真实的人脸姿态。上述两种方式均无法保证活体检测的准确率，降低身份认证的安全性。
发明内容
本公开实施例提供一种活体检测方法、装置、电子设备及存储介质，可以准确识别活体，并提高身份认证的安全性。
第一方面，本公开实施例提供了一种活体检测方法，该方法包括：
在确定满足活体检测开始条件时，实时获取视频中的图像帧；
在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；
根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测。
进一步的，所述根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测，包括：
根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测；
如果在动作条件的检测过程中，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，则直接确定活体检测失败；
如果在动作条件的检测过程中，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，则修正所述至少两个最值条件；
如果确定满足活体检测正常结束条件，则根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
进一步的，所述确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，包括：
根据所述互斥条件和所述动作条件，在所述组合集合中确定互斥组集合；
如果互斥组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
进一步的，所述确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，包括：
根据所述互补条件和所述动作条件，在所述组合集合中确定互补组集合；
如果互补组集合中各特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件。
进一步的，所述根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，包括：
如果确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，则分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。
进一步的，所述确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，包括：
将所述图像帧输入到预先训练的与所述器官区域匹配的遮挡判断网络模型中，并获取所述遮挡判断网络模型输出的，对所述图像帧中所述器官区域的遮挡判断结果；
当所述器官区域的遮挡判断结果为未遮挡时，确定所述器官区域满足所述未遮挡条件；
当所述图像帧识别到的每个所述器官区域均满足未遮挡条件时，确定所述图像帧为目标图像帧。
进一步的，所述根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测，包括：
如果与所述动作条件匹配的特征值集合确定的最大值和最小值满足与所述特征值集合对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，则确定所述动作条件的检测结果为成功。
第二方面，本公开实施例还提供了一种活体检测装置，该装置包括：
图像帧实时获取模块，用于在确定满足活体检测开始条件时，实时获取视频中的图像帧；
特征值集合更新模块，用于在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；
活体判断模块，用于根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测。
进一步的，所述活体判断模块，包括：
最值条件判断模块，用于根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测；
互斥条件判断模块，用于如果在动作条件的检测过程中，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，则直接确定活体检测失败；
互补条件判断模块，用于如果在动作条件的检测过程中，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，则修正所述至少两个最值条件；
活体检测模块，用于如果确定满足活体检测正常结束条件，则根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
进一步的，所述互斥条件判断模块，包括：
互斥组集合确定模块，用于根据所述互斥条件和所述动作条件，在所述组合集合中确定互斥组集合；
互斥组集合检测模块，用于如果互斥组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
进一步的，所述互补条件判断模块，包括：
互补组集合确定模块，用于根据所述互补条件和所述动作条件，在所述组合集合中确定互补组集合；
互补组集合检测模块，用于如果互补组集合中各特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件。
进一步的，所述特征值集合更新模块，包括：
遮挡判断模块，用于如果确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，则分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。
进一步的，所述未遮挡判断模块，包括：
遮挡判断网络模型检测模块，用于将所述图像帧输入到预先训练的与所述器官区域匹配的遮挡判断网络模型中，并获取所述遮挡判断网络模型输出的，对所述图像帧中所述器官区域的遮挡判断结果；
遮挡检测模块，用于当所述器官区域的遮挡判断结果为未遮挡时，确定所述器官区域满足所述未遮挡条件；
遮挡确定模块，用于当所述图像帧识别到的每个所述器官区域均满足未遮挡条件时，确定所述图像帧为目标图像帧。
进一步的，所述活体检测模块，包括：
动作条件检测模块，用于如果与所述动作条件匹配的特征值集合确定的最大值和最小值满足与所述特征值集合对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，则确定所述动作条件的检测结果为成功。
第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的活体检测方法。
第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例所述的活体检测方法。
本公开实施例通过实时获取录制用户人脸图像的视频中的图像帧，并计算每个图像帧中识别到的各器官区域的特征值，更新对应的特征值集合，根据多个由至少两个特征值集合构成的组合集合中的数据特征以及每个特征值集合分别对应的最值条件进行活体检测，可以针对多个关联特征值集合联合判断用户是否出现活体检测中规定的动作，可以避免仅仅根据一个特征值集合进行活体检测的局限性，解决了现有技术中采用照片或视频通过活体检测的问题，减少活体检测误判的情况，提高活体检测的准确率，从而提高身份认证的安全性。
附图说明
图1是本公开实施例一提供的一种活体检测方法的流程图；
图2是本公开实施例二提供的一种活体检测方法的流程图；
图3是本公开实施例三提供的一种活体检测方法的流程图；
图4是本公开实施例四提供的一种活体检测装置的结构示意图；
图5是本公开实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
实施例一
图1为本公开实施例一提供的一种活体检测方法的流程图，本实施例可适用于检测实时录制的视频中的用户是否是活体的情况，该方法可以由活体检测装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中，例如典型的是计算机等。如图1所示，该方法具体包括如下步骤：
S110，在确定满足活体检测开始条件时，实时获取视频中的图像帧。
活体检测开始条件可以是指确定开始执行活体检测操作的条件，示例性的，当接收到活体检测开始指令时，确定满足活体检测开始条件。
一般来说，视频是由一系列静态的图像帧以极快的速度连续放映形成。由此，可以将视频拆分成一系列图像帧，每个图像帧可以作为一张图像。在本公开实施例中图像帧是一张包括用户人脸图像的图像。在进行活体检测时，录制包括用户人脸的视频，从而根据视频中的各图像帧获取用户人脸的信息。
活体检测通常是实时进行的检测过程，因此，该视频是正在实时录制的视频，可以获取视频录制的每一个图像帧并实时处理，从而保证活体检测的时效性。
S120，在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件。
器官区域可以是指用户人脸中的器官所在的区域，例如，器官区域包括器官区域包括下述至少一项：眼睛区域、嘴巴区域和鼻子区域。
通常在活体检测中需要判断视频中拍摄到的人脸姿态是不是符合活体的姿态特征，具体的，可以通过人脸中各关键点实现人脸姿态动作检测，并基于人脸姿态动作检测判断用户是否为活体。其中，关键点可以是指人脸中具有标识作用的关键点，例如，关键点可以是左眼眼珠关键点、嘴角关键点、鼻孔关键点、眉尾关键点和脸部轮廓关键点等。关键点可以通过预先训练的机器学习模型识别，或者还可以通过其他方法，如基于活动形状模型(Active Shape Model，ASM)的方法，对此，本公开实施例不作具体限制。
根据各器官区域中识别到的关键点，可以计算各器官区域的特征值，可选的，若所述器官区域为眼睛区域，所述器官区域的特征值包括所述眼睛区域的闭合值；若所述器官区域为嘴巴区域，所述器官区域的特征值包括所述嘴巴区域的张合度；若所述器官区域为鼻子区域，所述器官区域的特征值包括所述鼻子区域的俯仰角度和/或旋转角度。此外，鼻子区域的特征值还可以包括偏航角度。其中，特征值可以根据各关键点之间的相对位置确定，例如，眼睛区域的闭合值可以是眼珠最高关键点和眼珠最低关键点的之间的距离。此外，还可以对应每个特征值分别训练对应的机器学习模型进行特征值计算，或者可以根据需要具体确定根据关键点计算特征值的方法，对此，本公开实施例不作具体限制。
将计算得到的图像帧中各器官区域的特征值分别对应添加到匹配的至少一个特征值集合中，实时更新特征值集合。其中，每个特征值集合仅能存储固定数量的特征值，但每个特征值集合匹配的固定数量可以相同，也可以不同。具体的，每个特征值集合可以视为一个队列，在队头删除冗余的特征值，在队尾插入新特征值，每个队列的存储空间可以相同也可以不同。
在一个具体的例子中，眼睛区域的特征值为闭合值，对应的特征值集合为闭合值集合；嘴巴区域的特征值为张合度，对应的特征值集合为张合度集合；鼻子区域的特征值为俯仰角度、旋转角度和偏航角度，分别对应的特征值集合为俯仰角度集合、旋转角度集合和偏航角度集合。示例性的，闭合值集合最多存储5个特征值，俯仰角度集合最多存储15个特征值，旋转角度集合最多存储15个特征值。
最值条件可以是指限定用于识别人脸姿态确定的特征值集合中特征值阈值的条件。最值条件与每个特征值集合中的特征值的数值和单位关联，从而，一个特征值集合对应一个最值条件，各特征值集合的最值条件可以相同，也可以不同。例如，每个特征值集合存储的特征值不同，表示的人脸姿态不同，相应的，最值条件不同。
可选的，所述根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，可以包括：如果确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，则分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。
具体的，未遮挡条件是指限定图像帧中识别到的器官区域未被覆盖遮挡其他物品的条件。实时对获取的图像帧进行遮挡判断，在实时获取的当前图像帧判断完成之后，未再次获取图像帧，结束判断，当再次获取图像帧时，继续对该图像帧进行遮挡判断。同时每获取一个通过遮挡判断的图像帧，所有特征值集合更新一次。随着视频实时录制，图像帧不断实时获取，从而特征值集合不断更新，使活体检测具有时效性。
通过实时获取录制用户人脸图像的视频中的图像帧，对每个图像帧先进行器官区域的遮挡判断，并在所有器官区域满足未遮挡条件时，根据实时更新至少一个器官区域对应的特征值集合，可以避免采用照片通过活体检测的情况，后续再根据更新的特征值集合进行活体检测，可以提高活体检测的准确率，从而提高身份认证的安全性。
可选的，所述确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，可以包括：将所述图像帧输入到预先训练的与所述器官区域匹配的遮挡判断网络模型中，并获取所述遮挡判断网络模型输出的，对所述图像帧中所述器官区域的遮挡判断结果；当所述器官区域的遮挡判断结果为未遮挡时，确定所述器官区域满足所述未遮挡条件；当所述图像帧识别到的每个所述器官区域均满足未遮挡条件时，确定所述图像帧为目标图像帧。
其中，遮挡判断网络模型可以是机器学习模型。具体的，针对每个器官区域，分别获取对应的遮挡图像作为训练样本，训练与该器官区域匹配的遮挡判断网络模型。将图像帧输入与该器官区域匹配的遮挡判断网络模型，可以得到模型输出的与该图像帧中该器官区域匹配的遮挡判断结果。当图像帧中识别到的所有器官区域匹配的遮挡判断结果均为未遮挡时，确定图像帧识别到的每个器官区域均满足未遮挡条件，同时，确定该图像帧为目标图像帧。
通过遮挡判断网络模型实现图像帧中各器官区域的遮挡判断，可以提高各器官区域的遮挡判断的准确率，从而在各器官区域未遮挡的情况下进行活体检测，从而提高活体检测的准确率。
S130，根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测。
其中，数据特征可以是指数据大小的变化特征信息。至少两个特征值集合构成的组合集合可以是指至少两个特征值集合形成的组合集合。可以根据活体检测的需要，从至少两个器官区域匹配的特征值集合中筛选出与活体检测条件匹配的至少两个特征值集合生成组合集合。
一般来说，活体检测包括下述至少一项：睁眼闭眼动作、张嘴闭嘴动作、点头动作和摇头动作。通常可以仅根据一个特征值集合检测一个动作。当不法人员利用合法用户的视频模拟展示活体检测中的动作时，无法确定活体检测中动作检测时序，只能不断循环播放合法用户的视频，直至视频中出现活体检测中的动作，从而，在活体检测提示检测目标动作时，上述随机视频会展示与目标动作无关的无关动作。
例如，在任何一个动作检测过程中，眨眼动作会不断出现，可以理解的是，眨眼动作是用户的自然连续动作。
又如，活体检测提示用户做出点头动作，但检测到用户做出张嘴闭嘴动作。实际上，用户在进行活体检测时，根据活体检测提示仅仅会做出与活体检测匹配的一个动作。
从而，在对活体检测规定的动作匹配的特征值集合之外，还需要对额外多个特征值集合进行检测，例如，当检测到规定的动作之外的合理动作时，确定该动作条件验证通过；又如，当检测到规定的动作之外的不合理动作时，确定用户不是活体。可以理解的是，目标动作条件中需要检测多个特征值集合，判断用户是否做出目标动作，以及判断用户是否同时做出不合理动作，并当用户做出不合理动作时，确定该目标动作条件的检测结果为验证失败结果。
因此，可以根据活体检测中设定的每个动作，对应确定至少两个特征值集合构成的组合集合，并根据每个组合集合中的各个特征值集合的数据特征和最值条件，判断用户是否做出该动作，从而实现活体检测的目的。
具体的，根据至少两个特征值集合构成的组合集合中的数据特征，可以确定至少两个特征值集合中特征值的大小变化情况，从而确定匹配的至少两个器官区域的姿态变化情况。并在符合对应的最值条件时，确定识别到的器官区域做出了活体检测中规定的姿态动作，从而，确定用户为活体。
本公开实施例通过实时获取录制用户人脸图像的视频中的图像帧，并计算每个图像帧中识别到的各器官区域的特征值，更新对应的特征值集合，根据多个由至少两个特征值集合构成的组合集合中的数据特征以及每个特征值集合分别对应的最值条件进行活体检测，可以针对多个关联特征值集合联合判断用户是否出现活体检测中规定的动作，可以避免仅仅根据一个特征值集合进行活体检测的局限性，解决了现有技术中采用照片或视频通过活体检测的问题，减少活体检测误判的情况，提高活体检测的准确率，从而提高身份认证的安全性。
实施例二
图2为本公开实施例二提供的一种活体检测方法的流程图。本实施例以上述实施例中各个可选方案为基础进行具体化。在本实施例中，将根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测，具体化为：根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测；如果在动作条件的检测过程中，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，则直接确定活体检测失败；如果在动作条件的检测过程中，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，则修正所述至少两个最值条件；如果确定满足活体检测正常结束条件，则根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
相应的，本实施例的方法可以包括：
S201，在确定满足活体检测开始条件时，实时获取视频中的图像帧。
本实施例中的活体检测、视频、图像帧、器官区域、特征值、特征值集合、组合集合、数据特征和最值条件等均可以参考上述实施例中的描述。
S202，在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件。
具体的，当确定目标图像帧中识别到的每个器官区域均满足未遮挡条件时，分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。当图像帧识别到至少一个器官区域不满足未遮挡条件时，获取下一个图像帧进行遮挡判断，此时，特征值集合不更新。
S203，根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测。
动作条件可以是指限定活体检测中需要检测的动作的条件。当活体检测中包括的所有动作条件的检测结果均为成功时，确定活体检测成功，即确定用户为活体。
其中，最值条件是指限定特征值集合的最大值阈值和最小值阈值的条件。其中，每个特征值集合的最值条件中限定的最大值阈值和最小值阈值可以不同，也可以相同。当特征值集合确定的最大值大于最大值阈值，且最小值小于最小值阈值，确定该特征值集合满足最值条件。
若动作条件匹配的特征值集合满足对应最值条件，确定动作条件的检测结果为成功。当特征值集合确定的最大值大于最大值阈值，且最小值小于最小值阈值，确定该特征值集合满足最值条件。
可选的，所述根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测，可以包括：如果与所述动作条件匹配的特征值集合确定的最大值和最小值满足与所述特征值集合对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，则确定所述动作条件的检测结果为成功。
其中，单调条件可以是指限定在设定范围内的连续特征值的大小变化是单调的条件。最大值、最小值和最大值与最小值之间的至少一个特征值满足单调条件，是指最大值到最小值范围内的特征值的大小变化是单调递减或者最小值到最大值范围内的特征值的大小变化是单调递增。
根据最值条件以及单调条件，确定特征值集合存在最大值和最小值且最大值与最小值之间是连续单调变化的，确定用户做出了连续且符合标准的目标动作。示例性的，睁眼闭眼动作中，最大值为眼睛睁开且上下眼皮距离最大时的特征值，最小值为眼睛闭上且上下眼皮距离最小时的特征值，同时最大值到最小值之间的大小变化情况为上下眼皮之间的距离逐渐缩小，确定闭合值集合满足睁眼闭眼动作。
通过在同时满足最值条件以及单调条件时，确定动作条件的检测结果为成功，保证用户做出了动作条件提示的动作，同时保证用户是连续做出的动作，从而实现准确检测动作条件。
此外，如果动作条件匹配的特征值集合不满足该动作条件，则根据实时更新的特征值集合继续判断是否满足该动作条件。若该动作条件的检测时间结束，动作条件匹配的特征值集合始终不满足该动作条件，确定动作条件的检测结果为失败。
S204，在动作条件的检测过程中，判断在所述组合集合中与互斥条件匹配的至少一个特征值集合是否满足所述互斥条件，如果是，则执行S205；否则执行S206。
S205，直接确定活体检测失败。
其中，互斥条件可以是指限定不能检测到与当前检测动作无关的动作的条件。确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，表明检测到与检测动作无关的动作，确定是照片或者随机视频模拟出来的情况，从而，确定活体检测失败。
可选的，所述确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，可以包括：根据所述互斥条件和所述动作条件，在所述组合集合中确定互斥组集合；如果互斥组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
其中，互斥组集合可以是指至少一个互斥动作分别对应的特征值集合构成的集合。其中，互斥动作是指与当前检测的动作无关且不属于用户的自然行为的动作。组合集合中可以包括当前正在检测的目标动作匹配的特征值集合，以及与当前检测的动作无关的至少一个互斥动作分别对应的特征值集合，也就是说，组合集合至少包括两个特征值集合。
具体的，根据动作条件，可以确定当前正在检测的目标动作，从而确定目标动作匹配的特征值集合，再根据互斥条件，可以确定至少一个互斥动作，从而确定互斥动作匹配的特征值集合。根据至少一个互斥动作匹配的特征值集合生成互斥组集合。当互斥组集合中的各特征值集合满足最值条件和单调条件时，确定在目标动作的检测过程中，识别到互斥动作，从而确定存在照片或视频模拟活体的情况，从而，直接确定活体检测失败，停止活体检测，并输出警告提示。
通过设置互斥条件，避免检测到与当前检测动作无关的动作的情况，可以准确检测到照片或视频攻击的情况，从而，在不存在照片或视频模拟活体的情况下检测动作条件，提高活体检测的准确率。
在一个具体的例子中，活体检测包括睁眼闭眼动作条件检测、张嘴闭嘴动作条件检测、点头动作条件检测和摇头动作条件检测。如表1所示，表1提供各动作条件与互斥组集合的对应关系。当对睁眼闭眼动作条件进行检测时，互斥组集合包括张合度集合、俯仰角度集合和旋转角度集合；当对张嘴闭嘴动作条件进行检测时，互斥组集合包括俯仰角度集合和旋转角度集合；当对点头动作条件进行检测时，互斥组集合包括张合度集合和旋转角度集合；当对摇头动作条件进行检测时，互斥组集合包括张合度集合和俯仰角度集合。其中，互斥组集合中的至少一个集合同时满足对应的最值条件和单调条件，即满足互斥条件。
表1动作条件与互斥组集合的对应关系
S206，在动作条件的检测过程中，判断在所述组合集合中与互补条件匹配的至少一个特征值集合是否满足所述互补条件，如果是，则执行S207；否则执行S208。
其中，互补条件可以是指限定检测到与当前检测动作无关同时可发生动作的条件。确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，表明检测到与检测动作无关的动作，同时该动作是用户的自然表现出来的动作，可以理解的是，在一定程度上表明用户为活体，即该用户为活体的概率增加，从而可以降低活体检测的最值条件，使活体检测的标准降低，使合法用户更容易更快通过活体检测，以加快活体检测的速度。
可选的，所述确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，可以包括：根据所述互补条件和所述动作条件，在所述组合集合中确定互补组集合；如果互补组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
其中，互补组集合可以是指互补动作分别对应的特征值集合构成的集合。其中，互补动作是指与当前检测的动作无关但属于用户的自然行为的动作。
具体的，根据动作条件，可以确定当前正在检测的目标动作，从而确定目标动作匹配的特征值集合，再根据互补条件，可以确定互补动作，从而确定互补动作匹配的特征值集合。根据至少一个互补动作匹配的特征值集合生成互补组集合。当互补组集合中的各特征值集合满足最值条件和单调条件时，确定在目标动作的检测过程中，识别到用户的自然姿态表现出来的动作，从而提高用户为活体的概率，可以修正活体检测的最值条件，使特征值更快达到最值条件中限定的阈值，从而，使合法用户更容易更快通过活体检测。
通过设置互补条件，在检测到用户的自然姿态表现出来的动作时，修正最值条件，加快合法用户检测的速度，提高活体检测的效率。
在一个具体的例子中，活体检测包括睁眼闭眼动作条件检测、张嘴闭嘴动作条件检测、点头动作条件检测和摇头动作条件检测。如表2所示，表2提供各动作条件与互补组集合的对应关系。当对睁眼闭眼动作条件进行检测时，互补组集合为空；当对张嘴闭嘴动作条件进行检测时，互补组集合包括闭合值集合；当对点头动作条件进行检测时，互补组集合包括闭合值集合；当对摇头动作条件进行检测时，互补组集合包括闭合值集合。其中，互补组集合中的至少一个集合同时满足对应的最值条件和单调条件，即满足互补条件。
表2动作条件与互补组集合的对应关系
S207，修正所述至少两个最值条件。
具体的，修正最值条件可以是指修改最值条件中限定的阈值，例如，将最大值阈值降低为原来的二分之一，将最小值阈值提高到原来的二倍。
可以修正所有的最值条件，也可以仅修正当前检测的动作条件匹配的特征值集合对应的最值条件。同时，若进行下一个动作条件进行检测时，所有的最值条件可以进行初始化，也可以继续采用修正后的最值条件对下一个动作条件进行检测。
S208，判断是否满足活体检测正常结束条件，如果是，则执行S209；否则执行S203。
其中，活体检测正常结束条件是指限定所有动作条件的检测过程均正常结束的条件，例如，已检测的各动作条件检测成功或者检测时间超过设定检测时长。可以理解的是，未出现满足互斥条件的情况，根据各动作条件的检测结果确定用户的活体检测结果。
通常，活体检测过程中，各动作均设定检测时长，在电子设备的显示屏幕中提示用户在设定检测时长内做出与目标动作条件匹配的动作。若检测到用户做出该动作，继续下一个目标动作条件检测；若在设定检测时长内未检测到用户做出该动作，确定该目标动作条件的检测结果为验证失败结果，并继续下一个目标动作条件检测。其中，每个动作检测时长可以相同，也可以不同。
在所有目标动作条件检测正常结束时，活体检测结束，当各目标动作条件的检测结果均为验证通过结果，也即检测到用户做出至少一个目标动作条件限定的所有目标动作，确定用户通过活体检测，即用户为活体。
具体的，若当前检测的动作条件对应的检测的持续时间内，用户始终没有做出动作条件限定的人脸动作姿态，确定当前检测的动作条件的检测结果为失败。若当前时刻实时获取的图像帧还处于当前检测的动作条件对应的检测的持续时间内，继续根据实时获取的下一个图像帧对应更新的多个特征值集合，对当前检测的动作条件进行检测。
S209，根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
本公开实施例通过设置互斥条件，可以防止随机视频攻击，同时设置互补条件，修正最值条件，加快合法用户活体检测的速度。
实施例三
图3为本公开实施例三提供的一种活体检测方法的流程图。本实施例以上述实施例中各个可选方案为基础进行具体化。
相应的，本实施例的方法可以包括：
S301，在确定满足活体检测开始条件时，实时获取视频中的图像帧。
本实施例中的活体检测开始条件、视频、图像帧、器官区域、未遮挡条件、最值条件、特征值、特征值集合、互斥条件、互补条件、动作条件和活体检测正常结束条件等均可以参考上述实施例中的描述。
S302，判断所述图像帧中识别到的每个器官区域是否均满足未遮挡条件，直至实时获取的所述视频中的图像帧全部判断完成，如果是，则执行S303；否则，执行S304。
S303，将所述图像帧作为目标图像帧，分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件，执行S305。
其中，各器官区域的特征值可以分别采用对应的预先训练的机器学习模型进行检测。可以对每个图像帧进行关键点识别，将附加关键点标注数据的图像帧输入到各个机器学习模型中，得到分别输出的各器官区域的特征值。
在机器学习模型训练过程中，可以采用容易被误判的至少一组姿态一致性样本集作为训练样本，对标准检测模型进行训练，提高标准检测模型的姿态识别准确率。具体的，姿态一致性样本集中包括：原始人脸图像，与原始人脸图像满足姿态差异条件的至少一个姿态变换人脸图像，姿态变换人脸图像通过原始人脸图像仿射变换生成。同时，每组姿态一致性样本集包括的各人脸图像的姿态参数设置为同一标准姿态参数值。其中，标准检测模型为原始机器学习模型；仿射变换具体是平移、缩放、翻转、旋转和错切中的至少一种；姿态参数是指用于表示人脸姿态的参数，具体可以包括俯仰角度、旋转角度和偏航角度中的至少一项。
姿态变换人脸图像和原始人脸图像分别输入到传统人脸姿态检测方法(例如最小二乘法判别法)或者历史训练完成的深度学习模型，得到的输出结果不同，但实际上二者的姿态参数是相同的。由此，将姿态变换人脸图像和原始人脸图像分别作为训练样本，提高样本的代表性，并对标准检测模型进行训练，可以提高训练完成的标准检测模型姿态识别准确率。
S304，实时获取下一个图像帧。
S305，根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测。
S306，在动作条件的检测过程中，判断在所述组合集合中与互斥条件匹配的至少一个特征值集合是否满足所述互斥条件，如果是，则执行S307；否则执行S308。
S307，直接确定活体检测失败。
S308，在动作条件的检测过程中，判断在所述组合集合中与互补条件匹配的至少一个特征值集合是否满足所述互补条件，如果是，则执行S309；否则执行S310。
S309，修正所述至少两个最值条件。
S310，判断是否满足活体检测正常结束条件，如果是，则执行S311；否则执行S305。
S311，根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
实施例四
图4为本公开实施例提供的一种活体检测装置的结构示意图，本实施例可适用于检测实时录制的视频中的用户是否是活体的情况。该装置可以采用软件和/或硬件的方式实现，该装置可以配置于电子设备中。如图4所示，该装置可以包括：图像帧实时获取模块410、特征值集合更新模块420和活体检测模块430。
图像帧实时获取模块410，用于在确定满足活体检测开始条件时，实时获取视频中的图像帧；
特征值集合更新模块420，用于在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；
活体判断模块430，用于根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测。
本公开实施例通过实时获取录制用户人脸图像的视频中的图像帧，并计算每个图像帧中识别到的各器官区域的特征值，更新对应的特征值集合，根据多个由至少两个特征值集合构成的组合集合中的数据特征以及每个特征值集合分别对应的最值条件进行活体检测，可以针对多个关联特征值集合联合判断用户是否出现活体检测中规定的动作，可以避免仅仅根据一个特征值集合进行活体检测的局限性，解决了现有技术中采用照片或视频通过活体检测的问题，减少活体检测误判的情况，提高活体检测的准确率，从而提高身份认证的安全性。
进一步的，所述活体判断模块430，包括：最值条件判断模块，用于根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测；互斥条件判断模块，用于如果在动作条件的检测过程中，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，则直接确定活体检测失败；互补条件判断模块，用于如果在动作条件的检测过程中，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，则修正所述至少两个最值条件；活体检测模块，用于如果确定满足活体检测正常结束条件，则根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
进一步的，所述互斥条件判断模块，包括：互斥组集合确定模块，用于根据所述互斥条件和所述动作条件，在所述组合集合中确定互斥组集合；互斥组集合检测模块，用于如果互斥组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
进一步的，所述互补条件判断模块，包括：互补组集合确定模块，用于根据所述互补条件和所述动作条件，在所述组合集合中确定互补组集合；互补组集合检测模块，用于如果互补组集合中各特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件。
进一步的，所述特征值集合更新模块420，包括：遮挡判断模块，用于如果确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，则分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。
进一步的，所述未遮挡判断模块，包括：遮挡判断网络模型检测模块，用于将所述图像帧输入到预先训练的与所述器官区域匹配的遮挡判断网络模型中，并获取所述遮挡判断网络模型输出的，对所述图像帧中所述器官区域的遮挡判断结果；遮挡检测模块，用于当所述器官区域的遮挡判断结果为未遮挡时，确定所述器官区域满足所述未遮挡条件；遮挡确定模块，用于当所述图像帧识别到的每个所述器官区域均满足未遮挡条件时，确定所述图像帧为目标图像帧。
进一步的，所述活体检测模块，包括：动作条件检测模块，用于如果与所述动作条件匹配的特征值集合确定的最大值和最小值满足与所述特征值集合对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，则确定所述动作条件的检测结果为成功。
本公开实施例提供的活体检测装置，与实施例一提供的活体检测方法属于同一发明构思，未在本公开实施例中详尽描述的技术细节可参见实施例一，并且本公开实施例与实施例一具有相同的有益效果。
实施例五
本公开实施例提供了一种电子设备，下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器)500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)、便携式多媒体播放器(PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的活体检测方法中限定的上述功能。
实施例六
本公开实施例还提供了一种计算机可读存储介质，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(RF)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：在确定满足活体检测开始条件时，实时获取视频中的图像帧；在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，图像帧实时获取模块还可以被描述为“在确定满足活体检测开始条件时，实时获取视频中的图像帧的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种活体检测方法，其特征在于，包括：
在确定满足活体检测开始条件时，实时获取视频中的图像帧；
在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；
根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测；
如果在动作条件的检测过程中，确定在至少两个特征值集合构成的组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，则直接确定活体检测失败；其中，所述互斥条件用于确定与当前正在检测的动作无关且不属于用户的自然行为的动作；
如果在动作条件的检测过程中，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，则修正所述至少两个最值条件；其中，所述互补条件用于确定与当前正在检测的动作无关且属于用户的自然行为的动作；
如果确定满足活体检测正常结束条件，则根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
2.根据权利要求1所述的方法，其特征在于，所述确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，包括：
根据所述互斥条件和所述动作条件，在所述组合集合中确定互斥组集合；
如果互斥组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
3.根据权利要求1所述的方法，其特征在于，所述确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，包括：
根据所述互补条件和所述动作条件，在所述组合集合中确定互补组集合；
如果互补组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件。
4.根据权利要求1所述的方法，其特征在于，所述根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，包括：
如果确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，则分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。
5.根据权利要求4所述的方法，其特征在于，所述确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，包括：
将所述图像帧输入到预先训练的与所述器官区域匹配的遮挡判断网络模型中，并获取所述遮挡判断网络模型输出的，对所述图像帧中所述器官区域的遮挡判断结果；
当所述器官区域的遮挡判断结果为未遮挡时，确定所述器官区域满足所述未遮挡条件；
当所述图像帧识别到的每个所述器官区域均满足未遮挡条件时，确定所述图像帧为目标图像帧。
6.根据权利要求1所述的方法，其特征在于，所述根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测，包括：
如果与所述动作条件匹配的特征值集合确定的最大值和最小值满足与所述特征值集合对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，则确定所述动作条件的检测结果为成功。
7.一种活体检测装置，其特征在于，包括：
图像帧实时获取模块，用于在确定满足活体检测开始条件时，实时获取视频中的图像帧；
特征值集合更新模块，用于在所述图像帧中识别用户的至少两个器官区域，并根据由每个识别出的器官区域计算得到特征值，更新对应的特征值集合，其中，一个器官区域对应至少一个特征值集合，一个特征值集合对应一个最值条件；
活体判断模块，用于根据至少两个特征值集合构成的组合集合中的数据特征，以及所述至少两个特征值集合分别对应的最值条件，对所述用户进行活体检测；
所述活体判断模块，包括：
最值条件判断模块，用于根据至少两个最值条件，实时对各所述器官区域对应的特征值集合进行至少一个动作条件的检测；
互斥条件判断模块，用于如果在动作条件的检测过程中，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件，则直接确定活体检测失败；其中，所述互斥条件用于确定与当前正在检测的动作无关且不属于用户的自然行为的动作；
互补条件判断模块，用于如果在动作条件的检测过程中，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件，则修正所述至少两个最值条件；其中，所述互补条件用于确定与当前正在检测的动作无关且属于用户的自然行为的动作；
活体检测模块，用于如果确定满足活体检测正常结束条件，则根据对所述至少一个动作条件的检测结果，确定所述用户是否为活体。
8.根据权利要求7所述的装置，其特征在于，所述互斥条件判断模块，包括：
互斥组集合确定模块，用于根据所述互斥条件和所述动作条件，在所述组合集合中确定互斥组集合；
互斥组集合检测模块，用于如果互斥组集合中至少一个特征值集合确定的最大值和最小值分别满足对应的最值条件且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互斥条件匹配的至少一个特征值集合满足所述互斥条件。
9.根据权利要求7所述的装置，其特征在于，所述互补条件判断模块，包括：
互补组集合确定模块，用于根据所述互补条件和所述动作条件，在所述组合集合中确定互补组集合；
互补组集合检测模块，用于如果互补组集合中各特征值集合确定的最大值和最小值分别满足对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，确定在所述组合集合中与互补条件匹配的至少一个特征值集合满足所述互补条件。
10.根据权利要求7所述的装置，其特征在于，所述特征值集合更新模块，包括：
遮挡判断模块，用于如果确定目标图像帧中识别到的每个器官区域均满足未遮挡条件，则分别计算所述目标图像帧中识别到的与每个器官区域匹配的特征值，并更新存储至对应的特征值集合中。
11.根据权利要求10所述的装置，其特征在于，所述未遮挡判断模块，包括：
遮挡判断网络模型检测模块，用于将所述图像帧输入到预先训练的与所述器官区域匹配的遮挡判断网络模型中，并获取所述遮挡判断网络模型输出的，对所述图像帧中所述器官区域的遮挡判断结果；
遮挡检测模块，用于当所述器官区域的遮挡判断结果为未遮挡时，确定所述器官区域满足所述未遮挡条件；
遮挡确定模块，用于当所述图像帧识别到的每个所述器官区域均满足未遮挡条件时，确定所述图像帧为目标图像帧。
12.根据权利要求7所述的装置，其特征在于，所述活体检测模块，包括：
动作条件检测模块，用于如果与所述动作条件匹配的特征值集合确定的最大值和最小值满足与所述特征值集合对应的最值条件，且所述最大值、所述最小值和所述最大值与所述最小值之间的至少一个特征值满足单调条件，则确定所述动作条件的检测结果为成功。
13.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的活体检测方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的活体检测方法。
CN201811548844.4A 2018-12-18 2018-12-18 活体检测方法、装置、电子设备及存储介质 Active CN109635757B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811548844.4A CN109635757B (zh) 2018-12-18 2018-12-18 活体检测方法、装置、电子设备及存储介质
SG11202011044SA SG11202011044SA (en) 2018-12-18 2019-07-08 Liveness detection method and apparatus, electronic device, and storage medium
PCT/CN2019/095080 WO2020124993A1 (zh) 2018-12-18 2019-07-08 活体检测方法、装置、电子设备及存储介质
US17/021,134 US11017253B2 (en) 2018-12-18 2020-09-15 Liveness detection method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811548844.4A CN109635757B (zh) 2018-12-18 2018-12-18 活体检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109635757A CN109635757A (zh) 2019-04-16
CN109635757B true CN109635757B (zh) 2019-10-25

Family

ID=66075033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811548844.4A Active CN109635757B (zh) 2018-12-18 2018-12-18 活体检测方法、装置、电子设备及存储介质

Country Status (4)

Country Link
US (1) US11017253B2 (zh)
CN (1) CN109635757B (zh)
SG (1) SG11202011044SA (zh)
WO (1) WO2020124993A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635757B (zh) * 2018-12-18 2019-10-25 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
CN110245645B (zh) * 2019-06-21 2021-06-08 北京字节跳动网络技术有限公司 人脸活体识别方法、装置、设备及存储介质
CN112183167B (zh) * 2019-07-04 2023-09-22 钉钉控股（开曼）有限公司 考勤方法、认证方法、活体检测方法、装置及设备
CN110363132B (zh) * 2019-07-09 2021-08-03 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
CN113158991B (zh) * 2021-05-21 2021-12-24 南通大学 一种嵌入式智能人脸检测与跟踪系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346422A (zh) * 2017-06-30 2017-11-14 成都大学 一种基于眨眼检测的活体人脸识别方法
CN107748876A (zh) * 2017-11-06 2018-03-02 杭州有盾网络科技有限公司 基于移动端的人脸活体识别方法、装置及移动终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006043029A (ja) * 2004-08-03 2006-02-16 Matsushita Electric Ind Co Ltd 生体判別装置およびそれを用いた認証装置ならびに生体判別方法
KR20100073191A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
CN103679118B (zh) * 2012-09-07 2017-06-16 汉王科技股份有限公司 一种人脸活体检测方法及系统
CN103440479B (zh) * 2013-08-29 2016-12-28 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
US10546183B2 (en) * 2015-08-10 2020-01-28 Yoti Holding Limited Liveness detection
US9794260B2 (en) * 2015-08-10 2017-10-17 Yoti Ltd Liveness detection
CN105184246B (zh) * 2015-08-28 2020-05-19 北京旷视科技有限公司 活体检测方法和活体检测系统
CN106897658B (zh) * 2015-12-18 2021-12-14 腾讯科技（深圳）有限公司 人脸活体的鉴别方法和装置
EP3414705A1 (en) * 2016-02-09 2018-12-19 Aware, Inc. Face liveness detection using background/foreground motion analysis
US10331942B2 (en) * 2017-05-31 2019-06-25 Facebook, Inc. Face liveness detection
CN107330914B (zh) * 2017-06-02 2021-02-02 广州视源电子科技股份有限公司 人脸部位运动检测方法和装置及活体识别方法和系统
WO2019089432A1 (en) * 2017-10-30 2019-05-09 The Research Foundation For The State University Of New York System and method associated with user authentication based on an acoustic-based echo-signature
WO2019133995A1 (en) * 2017-12-29 2019-07-04 Miu Stephen System and method for liveness detection
US11663307B2 (en) * 2018-09-24 2023-05-30 Georgia Tech Research Corporation RtCaptcha: a real-time captcha based liveness detection system
CN109635757B (zh) * 2018-12-18 2019-10-25 北京字节跳动网络技术有限公司 活体检测方法、装置、电子设备及存储介质
US10693872B1 (en) * 2019-05-17 2020-06-23 Q5ID, Inc. Identity verification system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346422A (zh) * 2017-06-30 2017-11-14 成都大学 一种基于眨眼检测的活体人脸识别方法
CN107748876A (zh) * 2017-11-06 2018-03-02 杭州有盾网络科技有限公司 基于移动端的人脸活体识别方法、装置及移动终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人脸识别系统中活体检测技术;盘海玲;《科技资讯》;20150403;第226页第1栏 *
基于多任务CNN的人脸活体多属性检测;曾成，魏京欢;《科学技术与工程》;20161130;第88页第1段-第91页最后1段 *

Also Published As

Publication number Publication date
WO2020124993A1 (zh) 2020-06-25
SG11202011044SA (en) 2020-12-30
US20200410269A1 (en) 2020-12-31
US11017253B2 (en) 2021-05-25
CN109635757A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109635757B (zh) 活体检测方法、装置、电子设备及存储介质
CN109584276A (zh) 关键点检测方法、装置、设备及可读介质
CN109684974A (zh) 活体检测方法、装置、电子设备及存储介质
CN111325726A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
CN108537702A (zh) 外语教学评价信息生成方法以及装置
Laraba et al. Dance performance evaluation using hidden Markov models
CN111783626B (zh) 图像识别方法、装置、电子设备及存储介质
CN105868677A (zh) 一种活体人脸检测方法及装置
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN110428399A (zh) 用于检测图像的方法、装置、设备和存储介质
CN109670444A (zh) 姿态检测模型的生成、姿态检测方法、装置、设备及介质
CN108171211A (zh) 活体检测方法和装置
CN112036331A (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN112749728A (zh) 学生模型训练方法、装置、计算机设备及存储介质
CN111598160A (zh) 图像分类模型的训练方法、装置、计算机设备及存储介质
CN108062544A (zh) 用于人脸活体检测的方法和装置
CN108509890A (zh) 用于提取信息的方法和装置
CN108491823A (zh) 用于生成人眼识别模型的方法和装置
CN109977839A (zh) 信息处理方法和装置
CN113762971A (zh) 数据加密方法、装置、计算机设备及存储介质
KR20190109654A (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
CN114333031A (zh) 活体检测模型的漏洞检测方法、装置及存储介质
CN112699832B (zh) 目标检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant