CN112966650B - 一种实时视频流的人脸动作配合型活体验证方法 - Google Patents

Abstract

本发明提供一种实时视频流的人脸动作配合型活体验证方法，包括以下步骤：选定目标引导动作，获得目标引导动作的引导动作预设过程状态和引导动作最终状态；启动人脸检测和跟踪流程；在人脸检测和跟踪流程中，进行导动作预设过程状态和引导动作最终状态的判定。本发明提供一种实时视频流的人脸动作配合型活体验证方法，一方面，进行人脸检测和跟踪；另一方面进行引导动作匹配，并且，人脸检测和跟踪，与引导动作匹配融合进行，如果跟踪过程中断，则重新开始判定；另外，在引导动作匹配时，加入引导动作初始状态到目标状态中间的过程判断，从而全面有效防止切换静态图片和静态模型的方式来达到活体验证欺骗的目的，提高活体验证的准确性。

Description

一种实时视频流的人脸动作配合型活体验证方法

技术领域

本发明属于智能视频图像处理技术领域，具体涉及一种实时视频流的人脸动作配合型活体验证方法。

背景技术

摄像机配合人脸识别系统，可以实现人员身份验证，如用于门禁、登记等场景。目前，为了防止静态照片和静态人物模具导致的欺骗行为，采用活体识别验证方式。活体识别验证方式是指：配合人脸识别算法，引导被验证者完成眨眼、张嘴等预设动作，在被验证者完成预设动作过程中，随机抓取多张图像帧，通过对抓取到的多张图像帧进行图像识别，判断被验证者完成的动作是否与预设动作匹配，从而判断被验证者是否为活体。

以上方式存在以下问题：如果被验证者采用多张静态图片或多个静态人物模具进行切换的方式进行操作，依然会导致系统误判。

发明内容

针对现有技术存在的缺陷，本发明提供一种实时视频流的人脸动作配合型活体验证方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种实时视频流的人脸动作配合型活体验证方法，包括以下步骤：

步骤1，预先设定多种类型的引导动作，每种类型的引导动作均对应以下属性：多个按序排列的引导动作预设过程状态和引导动作最终状态；

步骤2，配置初始参数，包括：

设置最大检测时长t(max)；

设置人脸消失最大间隔d；

选定目标引导动作action(A)，获得目标引导动作action(A)的引导动作预设过程状态和引导动作最终状态finalstate(A0)，具体方法为：从预先设定的多种类型的引导动作中，选择一种类型的引导动作作为目标引导动作action(A)，同时，获得目标引导动作action(A)的引导动作预设过程状态，假设目标引导动作action(A)共有n个按序排列的引导动作预设过程状态，分别表示为：引导动作预设过程状态state(A1)，引导动作预设过程状态state(A2),...,引导动作预设过程状态state(An)；再获得目标引导动作action(A)的引导动作最终状态，表示为引导动作最终状态finalstate(A0)；

步骤3，记录开始时间t(0)；开始人脸动作引导，同时，通过图片采集模块，按采集频率实时逐帧采集视频流中的各帧图像帧，并采用视频图像解码模块，从0开始，以1为间隔，持续累加记录各帧图像帧的帧号；

步骤4，令i＝0；

步骤5，启动人脸检测和跟踪流程，包括：

步骤5.1，使人脸消失间隔参数interval的初始值初始化为0；使人脸跟踪ID容器初始化为空；令j＝1；

步骤5.2，图片采集模块采集到的当前图像帧为第i图像帧；

步骤5.3，采用人脸检测模块对第i图像帧进行人脸检测，判断能否在第i图像帧中检测到人脸，如果能，则执行步骤5.4；如果不能，则令人脸消失间隔参数interval＝人脸消失间隔参数interval+1；然后执行步骤5.7；

步骤5.4，判断从开始时间t(0)到当前时间的时间长度，是否超过最大检测时长t(max)，如果没有超过，则执行步骤5.5；如果超过，则验证失败，结束流程；

步骤5.5，采用特征提取模块，从第i图像帧中提取人脸特征，然后，采用人脸识别模块，识别到人脸跟踪ID；

步骤5.6，判断人脸跟踪ID容器是否为空，如果为空，则将步骤5.5识别到的人脸跟踪ID赋值给人脸跟踪ID容器；然后执行步骤6；

如果不为空，则判断步骤5.5识别到的人脸跟踪ID，是否与人脸跟踪ID容器的赋值相同；如果不相同，则令人脸消失间隔参数interval＝人脸消失间隔参数interval+1，然后执行步骤5.7；如果相同，则代表本次人脸跟踪成功，执行步骤6；

步骤5.7，判断人脸消失间隔参数interval是否大于人脸消失最大间隔d，如果不大于，则代表本次人脸跟踪成功，执行步骤6；

如果大于，则进一步判断从开始时间t(0)到当前时间的时间长度，是否超过最大检测时长t(max)，如果超过，则验证失败，结束流程；如果没有超过，则令i＝i+1；继续采集下一帧图像，返回执行步骤5.1；

步骤6，使人脸消失间隔参数interval初始化为0；获取第i图像帧的引导动作参数；

步骤7，使当前状态机设置为引导动作预设过程状态state(Aj)；

步骤8，判断第i图像帧的引导动作参数是否符合当前状态机的状态，即：是否符合引导动作预设过程状态state(Aj)；如果不符合，则令i＝i+1；继续采集下一帧图像，返回步骤5.2；

如果符合，则进一步判断j与n的关系：

如果j＝n，表明n个引导动作预设过程状态均已经匹配成功，则执行步骤9；

如果j＜n，则令j＝j+1，返回执行步骤7，将当前状态机设置为下一个引导动作预设过程状态；然后，令i＝i+1；继续采集下一帧图像，返回步骤5.2；

如果j＞n，表明当前需要对引导动作最终状态finalstate(A0)进行匹配，因此，执行步骤10；

步骤9，令i＝i+1；继续采集下一帧图像，返回执行步骤5.2；

步骤10，判断第i图像帧的引导动作参数是否符合引导动作最终状态finalstate(A0)，如果符合，则验证成功，结束流程；

如果不符合，则判断从开始时间t(0)到当前时间，是否超过最大检测时长t(max)，如果没有，则执行步骤11；如果超过，则验证失败，结束流程；

步骤11，令i＝i+1；继续采集下一帧图像，返回执行步骤5.2。

优选的，步骤1中，引导动作的类型，包括：抬头引导动作、低头引导动作、向左偏头引导动作、向右偏头引导动作、摇头引导动作、闭眼引导动作、眨眼引导动作和张嘴引导动作。

优选的，步骤8，判断第i图像帧的引导动作参数是否符合当前状态机的状态，具体为：

检测第i图像帧的设定数量的关键点坐标，通过各个关键点坐标，得到第i图像帧对应的动作状态，然后，采用关键点匹配方式，判断第i图像帧的动作状态是否符合当前状态机的状态。

本发明提供的一种实时视频流的人脸动作配合型活体验证方法具有以下优点：

本发明提供一种实时视频流的人脸动作配合型活体验证方法，一方面，进行人脸检测和跟踪；另一方面进行引导动作匹配，并且，人脸检测和跟踪，与引导动作匹配融合进行，如果跟踪过程中断，则重新开始判定；另外，在引导动作匹配时，加入引导动作初始状态到目标状态中间的过程判断，从而全面有效防止切换静态图片和静态模型的方式来达到活体验证欺骗的目的，提高活体验证的准确性。

附图说明

图1为本发明提供的一种实时视频流的人脸动作配合型活体验证方法的流程示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的一种实时视频流的人脸动作配合型活体验证方法，可解决人脸识别系统中静态照片欺骗的问题。

参考图1，本发明提供一种实时视频流的人脸动作配合型活体验证方法，包括以下步骤：

步骤1，预先设定多种类型的引导动作，每种类型的引导动作均对应以下属性：多个按序排列的引导动作预设过程状态和引导动作最终状态；

本步骤中，引导动作的类型，包括但不限于：抬头引导动作、低头引导动作、向左偏头引导动作、向右偏头引导动作、摇头引导动作、闭眼引导动作、眨眼引导动作和张嘴引导动作。

步骤2，配置初始参数，包括：

设置最大检测时长t(max)；

设置人脸消失最大间隔d；

选定目标引导动作action(A)，获得目标引导动作action(A)的引导动作预设过程状态和引导动作最终状态finalstate(A0)，具体方法为：从预先设定的多种类型的引导动作中，选择一种类型的引导动作作为目标引导动作action(A)，同时，获得目标引导动作action(A)的引导动作预设过程状态，假设目标引导动作action(A)共有n个按序排列的引导动作预设过程状态，分别表示为：引导动作预设过程状态state(A1)，引导动作预设过程状态state(A2),...,引导动作预设过程状态state(An)；再获得目标引导动作action(A)的引导动作最终状态，表示为引导动作最终状态finalstate(A0)；例如，对于抬头引导动作，可设置4种引导动作预设过程状态，分别为：引导动作预设过程状态state(A1)为抬头5度；引导动作预设过程状态state(A2)为抬头10度；引导动作预设过程状态state(A3)为抬头15度；引导动作预设过程状态state(A4)为抬头20度；引导动作最终状态finalstate(A0)为抬头25度。

步骤3，记录开始时间t(0)；

开始人脸动作引导，同时，通过图片采集模块，按采集频率实时逐帧采集视频流中的各帧图像帧，并采用视频图像解码模块，从0开始，以1为间隔，持续累加记录各帧图像帧的帧号；也就是说，采用帧号f表示图像帧处于视频流的位置，f从0开始，后续每一帧图像帧号加1。帧号f可以通过图像编解码库如Ffmpeg、OpenCV等完成。

本发明中，图片采集模块的采集频率，换算为采集时间间隙后，采集时间间隙远小于人工手动切换静态图片的切换时间。

步骤4，令i＝0；

步骤5，启动人脸检测和跟踪流程，包括：

步骤5.1，使人脸消失间隔参数interval的初始值初始化为0；使人脸跟踪ID容器初始化为空；令j＝1；

步骤5.2，图片采集模块采集到的当前图像帧为第i图像帧；

步骤5.3，采用人脸检测模块对第i图像帧进行人脸检测，判断能否在第i图像帧中检测到人脸，如果能，则执行步骤5.4；如果不能，则令人脸消失间隔参数interval＝人脸消失间隔参数interval+1；然后执行步骤5.7；

步骤5.4，判断从开始时间t(0)到当前时间的时间长度，是否超过最大检测时长t(max)，如果没有超过，则执行步骤5.5；如果超过，则验证失败，结束流程；

步骤5.5，采用特征提取模块，从第i图像帧中提取人脸特征，然后，采用人脸识别模块，识别到人脸跟踪ID；

步骤5.6，判断人脸跟踪ID容器是否为空，如果为空，则将步骤5.5识别到的人脸跟踪ID赋值给人脸跟踪ID容器；然后执行步骤6；

如果不为空，则判断步骤5.5识别到的人脸跟踪ID，是否与人脸跟踪ID容器的赋值相同；如果不相同，则令人脸消失间隔参数interval＝人脸消失间隔参数interval+1，然后执行步骤5.7；如果相同，则代表本次人脸跟踪成功，执行步骤6；

步骤5.7，判断人脸消失间隔参数interval是否大于人脸消失最大间隔d，如果不大于，则代表本次人脸跟踪成功，执行步骤6；

如果大于，则进一步判断从开始时间t(0)到当前时间的时间长度，是否超过最大检测时长t(max)，如果超过，则验证失败，结束流程；如果没有超过，则令i＝i+1；继续采集下一帧图像，返回执行步骤5.1；

步骤6，使人脸消失间隔参数interval初始化为0；获取第i图像帧的引导动作参数；

步骤7，使当前状态机设置为引导动作预设过程状态state(Aj)；

步骤8，判断第i图像帧的引导动作参数是否符合当前状态机的状态，即：是否符合引导动作预设过程状态state(Aj)；如果不符合，则令i＝i+1；继续采集下一帧图像，返回步骤5.2；

本步骤中，判断第i图像帧的引导动作参数是否符合当前状态机的状态，具体为：检测第i图像帧的设定数量的关键点坐标，例如，68个关键点坐标，通过各个关键点坐标，得到第i图像帧对应的动作状态，然后，采用关键点匹配方式，判断第i图像帧的动作状态是否符合当前状态机的状态。

如果符合，则进一步判断j与n的关系：

如果j＝n，表明n个引导动作预设过程状态均已经匹配成功，则执行步骤9；

如果j＜n，则令j＝j+1，返回执行步骤7，将当前状态机设置为下一个引导动作预设过程状态；然后，令i＝i+1；继续采集下一帧图像，返回步骤5.2；

如果j＞n，表明当前需要对引导动作最终状态finalstate(A0)进行匹配，因此，执行步骤10；

步骤9，令i＝i+1；继续采集下一帧图像，返回执行步骤5.2；

步骤10，判断第i图像帧的引导动作参数是否符合引导动作最终状态finalstate(A0)，如果符合，则验证成功，结束流程；

如果不符合，则判断从开始时间t(0)到当前时间，是否超过最大检测时长t(max)，如果没有，则执行步骤11；如果超过，则验证失败，结束流程；

步骤11，令i＝i+1；继续采集下一帧图像，返回执行步骤5.2。

本发明提供一种实时视频流的人脸动作配合型活体验证方法，主要构思为：验证方法主要包括两方面的内容，第一方面：人脸检测和跟踪过程；第二方面，引导动作预设过程状态和引导动作最终状态匹配流程；在进行第一方面和第二方面流程时，从检测开始，只要超时，即间隔时间超过最大检测时长t(max)，则验证失败，需要重新开始验证的流程；在没有超时的情况下，在进行第一方面流程时，从初始图像帧开始，首先检测该图像帧是否存在人脸，如果不存在，则继续检测下一图像帧，直到检测出存在人脸，假设第r图像帧检测到存在人脸，然后，对第r图像帧进行特征提取，得到人脸跟踪ID(r)，人脸跟踪ID(r)是用于表明第r图像帧人脸特征的标识；然后，从第r图像帧开始，以人脸跟踪ID(r)为追踪目标，对下一图像帧(即第r+1图像帧)进行人脸识别，如果第r+1图像帧中不存在人脸，或者，第r+1图像帧中识别到的人脸特征不符合人脸跟踪ID(r)，则继续对下一图像帧(即第r+2图像帧)进行人脸识别，如果连续d个图像帧均不存在人脸或检测到的人脸特征不符合人脸跟踪ID(r)，则表明对人脸跟踪ID(r)进行的人脸追踪失败，如果没有超时，则重新开始验证的流程；

因此，人脸追踪成功的情况是指：对于人脸跟踪ID(r)，按人脸跟踪成功的顺序，跟踪成功的图像帧依次为：第r图像帧、第p图像帧、第q图像帧...,其中，每个图像帧均成功检测到人脸跟踪ID(r)，并且，相邻两个图像帧的帧号间隔，小于d，由此可避免手动切换多张静止图片导致的活体验证欺骗的目的。具体的，假如操作者手动切换多张静止图片，例如，当前完整显示第1静止图片，然后，撤掉第1静止图片，并将第2静止图片完整展示，在此切换过程中，从检测到第1静止图片的人脸跟踪ID到检测到第2静止图片的人脸跟踪ID的过程中，必然存在检测到多张不完整的第2静止图片的过程，此过程由于人脸不完整，无法检测到人脸跟踪ID，并且，按图像采集频率，无法检测到人脸跟踪ID的图像帧数，必然大于d，由此直接会显示活体验证失败。

假设跟踪成功的图像帧依次为：第r图像帧、第p图像帧、第q图像帧...在进行第二方面流程时，在跟踪成功的图像帧序列中，只要出现按序排列的多个引导动作预设过程状态和引导动作最终状态，即表明引导动作匹配成功，例如，第r图像帧与第1引导动作预设过程状态匹配，第p图像帧与第2引导动作预设过程状态不匹配，第q图像帧与第2引导动作预设过程状态匹配，同样符合要求。

本发明提供一种实时视频流的人脸动作配合型活体验证方法，一方面，进行人脸检测和跟踪；另一方面进行引导动作匹配，并且，人脸检测和跟踪，与引导动作匹配融合进行，如果跟踪过程中断，则重新开始判定；另外，在引导动作匹配时，加入引导动作初始状态到目标状态中间的过程判断，从而全面有效防止切换静态图片和静态模型的方式来达到活体验证欺骗的目的，提高活体验证的准确性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (3)

1.一种实时视频流的人脸动作配合型活体验证方法，其特征在于，包括以下步骤：

步骤1，预先设定多种类型的引导动作，每种类型的引导动作均对应以下属性：多个按序排列的引导动作预设过程状态和引导动作最终状态；

步骤2，配置初始参数，包括：

设置最大检测时长t(max)；

设置人脸消失最大间隔d；

选定目标引导动作action(A)，获得目标引导动作action(A)的引导动作预设过程状态和引导动作最终状态finalstate(A0)，具体方法为：从预先设定的多种类型的引导动作中，选择一种类型的引导动作作为目标引导动作action(A)，同时，获得目标引导动作action(A)的引导动作预设过程状态，假设目标引导动作action(A)共有n个按序排列的引导动作预设过程状态，分别表示为：引导动作预设过程状态state(A1)，引导动作预设过程状态state(A2),...,引导动作预设过程状态state(An)；再获得目标引导动作action(A)的引导动作最终状态，表示为引导动作最终状态finalstate(A0)；

步骤3，记录开始时间t(0)；开始人脸动作引导，同时，通过图片采集模块，按采集频率实时逐帧采集视频流中的各帧图像帧，并采用视频图像解码模块，从0开始，以1为间隔，持续累加记录各帧图像帧的帧号；

步骤4，令i＝0；

步骤5，启动人脸检测和跟踪流程，包括：

步骤5.1，使人脸消失间隔参数interval的初始值初始化为0；使人脸跟踪ID容器初始化为空；令j＝1；

步骤5.2，图片采集模块采集到的当前图像帧为第i图像帧；

步骤5.3，采用人脸检测模块对第i图像帧进行人脸检测，判断能否在第i图像帧中检测到人脸，如果能，则执行步骤5.4；如果不能，则令人脸消失间隔参数interval＝人脸消失间隔参数interval+1；然后执行步骤5.7；

步骤5.4，判断从开始时间t(0)到当前时间的时间长度，是否超过最大检测时长t(max)，如果没有超过，则执行步骤5.5；如果超过，则验证失败，结束流程；

步骤5.5，采用特征提取模块，从第i图像帧中提取人脸特征，然后，采用人脸识别模块，识别到人脸跟踪ID；

步骤5.6，判断人脸跟踪ID容器是否为空，如果为空，则将步骤5.5识别到的人脸跟踪ID赋值给人脸跟踪ID容器；然后执行步骤6；

如果不为空，则判断步骤5.5识别到的人脸跟踪ID，是否与人脸跟踪ID容器的赋值相同；如果不相同，则令人脸消失间隔参数interval＝人脸消失间隔参数interval+1，然后执行步骤5.7；如果相同，则代表本次人脸跟踪成功，执行步骤6；

步骤5.7，判断人脸消失间隔参数interval是否大于人脸消失最大间隔d，如果不大于，则代表本次人脸跟踪成功，执行步骤6；

如果大于，则进一步判断从开始时间t(0)到当前时间的时间长度，是否超过最大检测时长t(max)，如果超过，则验证失败，结束流程；如果没有超过，则令i＝i+1；继续采集下一帧图像，返回执行步骤5.1；

步骤6，使人脸消失间隔参数interval初始化为0；获取第i图像帧的引导动作参数；

步骤7，使当前状态机设置为引导动作预设过程状态state(Aj)；

步骤8，判断第i图像帧的引导动作参数是否符合当前状态机的状态，即：是否符合引导动作预设过程状态state(Aj)；如果不符合，则令i＝i+1；继续采集下一帧图像，返回步骤5.2；

如果符合，则进一步判断j与n的关系：

如果j＝n，表明n个引导动作预设过程状态均已经匹配成功，则执行步骤9；

如果j＜n，则令j＝j+1，返回执行步骤7，将当前状态机设置为下一个引导动作预设过程状态；然后，令i＝i+1；继续采集下一帧图像，返回步骤5.2；

如果j＞n，表明当前需要对引导动作最终状态finalstate(A0)进行匹配，因此，执行步骤10；

步骤9，令i＝i+1；继续采集下一帧图像，返回执行步骤5.2；

步骤10，判断第i图像帧的引导动作参数是否符合引导动作最终状态finalstate(A0)，如果符合，则验证成功，结束流程；

如果不符合，则判断从开始时间t(0)到当前时间，是否超过最大检测时长t(max)，如果没有，则执行步骤11；如果超过，则验证失败，结束流程；

步骤11，令i＝i+1；继续采集下一帧图像，返回执行步骤5.2。

2.根据权利要求1所述的实时视频流的人脸动作配合型活体验证方法，其特征在于，步骤1中，引导动作的类型，包括：抬头引导动作、低头引导动作、向左偏头引导动作、向右偏头引导动作、摇头引导动作、闭眼引导动作、眨眼引导动作和张嘴引导动作。

3.根据权利要求1所述的实时视频流的人脸动作配合型活体验证方法，其特征在于，步骤8，判断第i图像帧的引导动作参数是否符合当前状态机的状态，具体为：

检测第i图像帧的设定数量的关键点坐标，通过各个关键点坐标，得到第i图像帧对应的动作状态，然后，采用关键点匹配方式，判断第i图像帧的动作状态是否符合当前状态机的状态。

Images