CN105512632B - 活体检测方法及装置 - Google Patents

Abstract

提供了一种活体检测方法及装置。所述活体检测方法包括：生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令；依序发出所述随机动作指令序列中的随机动作指令；以及基于至少两个传感器的检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，其中，所述至少两个传感器包括图像传感器和至少一个非图像传感器；在所述随机动作指令序列中的随机动作指令依序被活体执行的情况下，确定活体检测成功。通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息，可以提高活体检测的精度。

Description

活体检测方法及装置

技术领域

本发明涉及人脸识别技术领域，更具体地涉及一种活体检测方法及装置。

背景技术

当前，人脸识别系统越来越多地应用于安防、金融领域需要身份验证的场景，如银行远程开户、门禁系统、远程交易操作验证等。在这些高安全级别的应用领域，除了确保被验证者的人脸相似度符合数据库中存储的底库，首先需要验证被验证者是一个合法的生物活体。也就是说，人脸识别系统需要能够防范攻击者使用照片、视频、3D人脸模型、或者面具等方式进行攻击。

目前市场上的技术产品中还没有公认成熟的活体验证方案，已有的技术要么依赖特殊的硬件设备(诸如，红外相机、深度相机)，或者只能防范简单的静态照片攻击。

因此，需要既不依赖于特殊的硬件设备又能够有效地防范照片、视频、3D人脸模型或者面具等多种方式的攻击的人脸识别方式。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种活体检测方法及装置，通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息，可以提高活体检测的精度。

根据本发明一方面，提供了一种活体检测方法，包括：生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令；依序发出所述随机动作指令序列中的随机动作指令；以及基于至少两个传感器的检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，其中，所述至少两个传感器包括图像传感器和至少一个非图像传感器；在所述随机动作指令序列中的随机动作指令依序被活体执行的情况下，确定活体检测成功。

根据本发明实施例，在确定当前发出的随机动作指令未被活体执行的情况下，确定活体检测失败；并且在当前发出的随机动作指令为非最后一个动作指令的情况下，仅在确定当前发出的随机动作指令被活体执行时，才发出下一个随机动作指令。

根据本发明实施例，所述至少一个随机动作指令包括第一类动作指令、第二类动作指令和第三类动作指令中的至少两项，或者所述至少一个随机动作指令仅包括第三类动作指令。对于每一个第一类动作指令，根据所述图像传感器采集的图像来确定当前发出的该第一类动作指令是否被活体执行；对于每一个第二类动作指令，根据所述非图像传感器检测的信息来确定当前发出的该第二类动作指令是否被活体执行；对于每一个第三类动作指令，根据所述图像传感器采集的图像以及根据所述非图像传感器检测的信息，来确定当前发出的该第三类动作指令是否被活体执行。

根据本发明实施例，所述至少一个非图像传感器包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项。

根据本发明实施例，从图像传感器所采集的图像中获得的第一检测信息包括所述人脸姿态、所述人脸关键点、所述图像纹理信息、所述图像亮度以及所述对象中的至少一项，并且从至少一个非图像传感器检测的信息中获得的第二检测信息包括光强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

根据本发明实施例，对于每一个第三类动作指令，基于所述第一检测信息确定第一决策参数，基于所述第二检测信息确定第二决策参数，并且在所述第一决策参数与所述第二决策参数不相符的情况下，确定活体检测失败。

根据本发明实施例，所述第一决策参数包括所采集的图像中的对象尺寸和/或尺寸变化、所采集的图像中的对象距离和/或距离变化、所采集的图像中的图像亮度变化、所定位的人脸区域中的图像亮度变化、所述人脸姿态、所采集的图像中的人脸关键点之间的距离和/或距离变化、所采集的图像中的图像纹理信息中的至少一项；以及所述第二决策参数包括光照强度和/或强度变化、所采集的图像中的对象与距离传感器的距离和/或距离变化、所采集的图像中的对象相对于加速度传感器和/或陀螺仪的空间位置和/或空间位置变化中的至少一项。

根据本发明另一方面，提供了一种活体检测装置，包括：指令序列生成模块，用于生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令；指令发出模块，用于依序发出所述随机动作指令序列中的随机动作指令；第一处理模块，用于对图像传感器采集的图像进行图像处理以产生第一检测信息；第二处理模块，用于对至少一个非图像传感器采集的信息进行处理以产生第二检测信息；异质信息决策模块，用于基于所述第一检测信息和第二检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，并且用于在所述指令发出模块依序发出的随机动作指令依序被活体执行的情况下，确定活体检测成功。

根据本发明实施例，所述异质信息决策模块在确定所述指令发出模块当前发出的随机动作指令未被活体执行的情况下，确定活体检测失败；在当前发出的随机动作指令为非最后一个动作指令的情况下，仅在所述异质信息决策模块确定所述指令发出模块当前发出的随机动作指令被活体执行时，所述指令发出模块才发出下一个随机动作指令。

根据本发明实施例，所述至少一个随机动作指令包括第一类动作指令、第二类动作指令和第三类动作指令中的至少两项，或者所述至少一个随机动作指令仅包括第三类动作指令。对于每一个第一类动作指令，所述异质信息决策模块根据所述第一处理模块产生的第一检测信息确定所述指令发出模块当前发出的该第一类动作指令是否被活体执行；对于每一个第二类动作指令，所述异质信息决策模块根据所述第二处理模块产生的第二检测信息确定所述指令发出模块当前发出的该第二类动作指令是否被活体执行；对于每一个第三类动作指令，所述异质信息决策模块根据所述第一处理模块产生的第一检测信息以及所述第二处理模块产生的第二检测信息两者，来确定所述指令发出模块当前发出的该第三类动作指令是否被活体执行。

根据本发明实施例，所述第一处理模块包括对象识别模块、人脸检测与追踪模块、关键点定位子模块、纹理提取子模块和姿态识别子模块中的至少一部分；并且所述第一检测信息包括所述人脸姿态、所述人脸关键点、所述图像纹理信息、以及所述对象中的至少一项。

根据本发明实施例，所述至少一个非图像传感器包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项；所述第二检测信息包括光照强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

根据本发明实施例，对于每一个第三类动作指令，异质信息决策模块基于所述第一检测信息确定第一决策参数，基于所述第二检测信息确定第二决策参数，并且在判断所述第一决策参数与所述第二决策参数不相符的情况下，确定活体检测失败。

根据本发明又一方面，提供了一种活体检测设备，包括：图像传感器，用于采集图像；至少一个非图像传感器，用于采集除图像之外的其它信息；存储程序代码的存储装置、以及处理器；在处理器运行存储装置中存储的程序代码时：生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令；依序发出所述随机动作指令序列中的随机动作指令；以及基于至少两个传感器的检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，其中，所述至少两个传感器包括图像传感器和至少一个非图像传感器；在所述随机动作指令序列中的随机动作指令依序被活体执行的情况下，确定活体检测成功。

根据本发明再一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的活体检测方法，并且用于实现根据本发明实施例的活体检测装置。

根据本发明实施例的活体检测方法，通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息，不仅可以有效地防止照片、3D模型和人脸面具的攻击，而且更为有效地能够防止提前录制的视频的攻击。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的活体检测方法和装置的示例电子设备的示意性框图；

图2是根据本发明实施例的活体检测方法的示意性流程图；

图3是根据本发明第一实施例的活体检测方法的更详细流程图；

图4是根据本发明第一实施例中根据图像传感器采集的图像来确定第一类动作指令是否被活体执行的方法的示意性流程图；

图5是根据本发明第二实施例的活体检测方法的更详细流程图；

图6是根据本发明第二实施例的活体检测方法中根据图像传感器采集的图像以及非图像传感器检测的信息来确定第三类动作指令是否被活体执行的方法的示意性流程图；

图7是根据本发明实施例的活体检测装置的示意性框图；

图8是根据本发明实施例的活体检测装置中的第一处理模块的示意性框图；以及

图9是根据本发明实施例的图像检测设备的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现本发明实施例的活体检测方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或多个非图像传感器114，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

优选地，用于实现根据本发明实施例的活体检测方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的图像采集端等。

下面，将参考图2描述根据本发明实施例的活体检测方法200。

首先，在步骤S210，生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令。

通过随机地生成动作指令序列，使得难以预测动作指令序列中的具体动作指令的内容以及顺序，进而使得难以预先根据动作指令进行攻击，例如通过预先录制人脸视频来进行攻击。

在步骤S220，依序发出所述随机动作指令序列中的随机动作指令。

在步骤S230，基于至少两个传感器的检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，其中，所述至少两个传感器包括图像传感器和至少一个非图像传感器。

最后，在步骤S240，在所述随机动作指令序列中的随机动作指令依序被活体执行的情况下，确定活体检测成功。

应了解，步骤S220和S230连续地循环执行的。具体地，在步骤S220，发出所述随机动作指令序列中的当前排序最高的随机动作指令，并且在步骤S230，确定当前发出的随机动作指令是否被活体执行。

更具体地，在步骤S220当前发出的随机动作指令为非最后一个随机动作指令的情况下，仅在步骤S230确定当前发出的随机动作指令被活体执行时，才返回步骤S220发出下一个随机动作指令。另一方面，在步骤S220当前发出的随机动作指令为最后一个随机动作指令的情况下，仅在步骤S230确定当前发出的随机动作指令被活体执行时，才在步骤S240确定活体检测成功。

无论在步骤S220当前发出的随机动作指令是否为最后一个随机动作指令，只要在步骤S230确定当前发出的随机动作指令未被活体执行，就直接确定活体检测失败。

根据本发明实施例的活体检测方法可以部署在人脸图像采集端处，例如，在安防应用领域，可以部署在门禁系统的图像采集端；在金融应用领域，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的活体检测方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，在金融应用领域，可以在服务器端(或云端)生成随机动作指令序列，服务器端(或云端)将所生成的随机动作指令序列传递给个人终端，个人终端根据所接收的随机动作指令序列进行活体检测。再例如，可以在服务器端(或云端)生成随机动作指令序列，个人终端将图像传感器采集的图像以及非图像传感器采集的信息传递给服务器端(或云端)，然后服务器端(或云端)进行活体验证。

根据本发明实施例的活体检测方法，通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息，不仅可以有效地防止照片、3D模型和人脸面具的攻击，而且更为有效地能够防止提前录制的视频的攻击。

根据本发明实施例，所述至少一个随机动作指令可以包括第一类动作指令、第二类动作指令和第三类动作指令中的至少两项，或者所述至少一个随机动作指令可以仅包括第三类动作指令。

根据本发明实施例，对于每一个第一类动作指令，根据所述图像传感器采集的图像来确定所述指令发出模块当前发出的该第一类动作指令是否被活体执行；对于每一个第二类动作指令，根据所述至少一个非图像传感器检测的信息来确定所述指令发出模块当前发出的该第二类动作指令是否被活体执行；对于每一个第三类动作指令，根据所述图像传感器采集的图像以及根据所述至少一个非图像传感器检测的信息，来确定所述指令发出模块当前发出的该第三类动作指令是否被活体执行。

图3示出了根据本发明第一实施例的活体检测方法的更详细流程图。根据本发明第一实施例，所述随机动作指令序列包括第一类动作指令和第二类动作指令。可以在预设的动作指令集合中选择动作指令来生成该随机动作指令序列。所述第一类动作指令可以包括但不限于以下至少一部分：低头、仰头、摇头、眨眼、闭眼、张嘴、微笑、耸眉、伸舌、微笑且眨眼、伸舌且眨眼、张嘴且仰头、低头且微笑等。所述第二类动作指令可以包括但不限于以下至少一部分：将头部靠近电子设备、将头部远离电子设备等。

在步骤S310，生成随机动作指令序列，所述随机动作指令序列包括至少一个第一类动作指令和至少一个第二类动作指令。

在步骤S320，发出所述随机动作指令序列中当前排序最高的随机动作指令。

在步骤S330，判断当前发出的随机动作指令为第一类动作指令还是第二类动作指令。在判断当前发出的随机动作指令为第一类动作指令的情况下，进行到步骤S340；而在判断当前发出的随机动作指令为第二类动作指令的情况下，进行到步骤S350。

在步骤S340，根据所述图像传感器采集的图像来确定当前发出的该第一类动作指令是否被活体执行。在确定当前发出的该第一类动作指令被活体执行的情况下，进行到步骤S360；反之在确定当前发出的该第一类动作指令未被活体执行的情况下，进行到步骤S370，从而确定活体检测失败。

图4示出了根据本发明第一实施例中根据所述图像传感器采集的图像来确定当前发出的该第一类动作指令是否被活体执行的方法的示意性流程图。

在步骤S410，在图像传感器所采集的图像中定位人脸区域。在该步骤中，可以确定出在图像传感器所采集的图像中是否包含人脸，并且在图像传感器所采集的图像中包含人脸的情况下在图像传感器所采集的图像中定位出人脸区域。可以利用预先训练好的人脸检测器来在图像传感器所采集的图像中定位人脸区域。例如，可以预先利用哈尔(Haar)算法、Adaboost算法等人脸检测与识别算法在大量图片的基础上训练出人脸检测器，对于输入的单帧图像，该预先训练好的人脸检测器能够快速地定位出人脸区域。此外，对于图像传感器连续采集的多帧图像，在首帧图像中定位出人脸区域之后，可以基于当前帧图像的前一帧图像中人脸区域的位置来实时地追踪在当前帧图像中人脸区域的位置。

在步骤S420，在所定位的人脸区域中定位人脸关键点。人脸关键点可以是脸部一些表征能力强的关键点，例如眼睛、眼角、眼睛中心、眉毛、鼻子、鼻尖、嘴巴、嘴角和脸部轮廓等。可以利用预先训练好的关键点定位器来在人脸区域中定位人脸关键点。例如，可以预先利用级联回归方法在大量人工标注的人脸图片的基础上训练出关键点定位器。替换地，也可以采用传统的人脸关键点定位方法，其基于参数形状模型，根据关键点附近的表观特征，学习出一个参数模型，在使用时迭代地优化关键点的位置，最后得到关键点坐标。

应了解本发明不受具体采用的人脸检测方法和人脸关键点定位方法的限制，无论是现有的人脸检测方法和人脸关键点定位方法还是将来开发的人脸检测方法和人脸关键点定位方法，都可以应用于根据本发明实施例的活体检测方法中，并且也应包括在本发明的保护范围内。

在步骤S430，基于所定位的人脸关键点获得人脸姿态。可以利用预先训练好的人脸姿态检测器来基于所定位的人脸关键点获得人脸姿态。例如，可以预先利用深度卷积神经网络在大量人工标注的人脸图片的基础上训练出人脸姿态检测器。优选地，人脸姿态检测器可以为人脸3D姿态检测器，对于输入的人脸图像以及/或者所定位的人脸关键点，可以确定出例如人脸的上下俯仰、左右旋转以及相机旋转这3个角度，从而可以进一步确定人脸的3D姿态。例如，可以预先获得多种预先规定的人脸姿态的人脸图片，人工标记出人脸关键点和具体人脸姿态，通过机器学习方法预先建立人脸姿态模型库。

与所述第一类动作指令相对应地，所述人脸姿态可以包括但不限于以下至少一部分：低头、仰头、摇头、眨眼、闭眼、张嘴、微笑、耸眉、伸舌、微笑且眨眼、伸舌且眨眼、张嘴且仰头、低头且微笑等。

然后，在步骤S440，确定所获得的人脸姿态与当前发出的第一类动作指令是否匹配，并且在确定所获得的人脸姿态与当前发出的第一类动作指令匹配的情况下，确定当前发出的该第一类动作指令被活体执行；反之，在确定所获得人脸姿态与当前发出的第一类动作指令不匹配的情况下，确定当前发出的该第一类动作指令未被活体执行。

返回图3，在步骤S350，根据所述非图像传感器检测的信息来确定当前发出的该第二类动作指令是否被活体执行。在确定当前发出的该第二类动作指令被活体执行的情况下，进行到步骤S360；反之在确定当前发出的该第二类动作指令未被活体执行的情况下，进行到步骤S370，从而确定活体检测失败。

然后，在步骤S360，确定当前发出的随机动作指令是否为所述随机动作指令序列中的最后一个随机动作指令。在确定当前发出的随机动作指令为所述随机动作指令序列中的最后一个随机动作指令的情况下，进行到步骤S380，从而确定活体检测成功。

作为示例，在本发明第一实施例中，电子设备包括图像传感器、光照传感器和距离传感器，并且所述随机动作指令序列包括三个随机动作指令：摇头、点头、将头部贴近电子设备。

对于摇头动作指令，在步骤S440，基于所获得的人脸姿态，可以判断在预定时间段内左(右)旋转角度是否大于预设的旋转角度阈值，并且在确定预定时间段内左(右)旋转角度大于预设的旋转角度阈值的情况下，确定所获得的人脸姿态与当前发出的摇头动作指令匹配，即确定当前发出的摇头动作指令被活体执行。

对于点头动作指令，类似地，在步骤S440，基于所获得的人脸姿态，可以判断在预定时间段内俯仰角度是否大于预设的俯仰角度阈值，并且在确定预定时间段内俯仰角度大于预设的俯仰角度阈值的情况下，确定所获得的人脸姿态与当前发出的点头动作指令匹配，即确定当前发出的点头动作指令被活体执行。

对于将头部贴近电子设备的动作指令，在步骤S350，可以通过距离传感器获取距离传感器与人脸的距离并且通过光照传感器获取光照强度，基于距离传感器获取的距离得到电子设备与人脸的距离变化，基于光照传感器获取的光照强度得到光照强度变化。由于光照传感器检测到的光强度与实际照射到人脸上的光强相近，当电子设备与人脸之间的距离发生变化时，光照传感器检测到的光强度也应发生变化，并且光强度变化与距离变化相关。在基于电子设备与人脸的距离变化确定人脸贴近电子设备的情况下，若光照强度变化大于第一变化阈值(即光照强度变化过于剧烈)或者光照强度变化(即光照强度基本没变化或变化过小)小于第二变化阈值(这里，第一变化阈值大于第二变化阈值)，则确定活体检测失败。在此情况下，图像传感器所采集的图像很有可能是液晶屏幕播放的视频而非自然反射光线的人脸。

根据本发明第一实施例的活体检测方法，在随机动作指令序列中包括两类动作指令，根据图像传感器所采集的图像来判定第一类动作指令是否被活体执行，并且根据非图像传感器所采集的信息来判定第二类动作指令是否被活体执行，可以将图像传感器所采集的图像和非图像传感器所采集的信息结合起来以进行活体检测，从而可以提高活体检测的灵活性和准确度。

图5示出了根据本发明第二实施例的活体检测方法的示意性流程图。根据本发明第二实施例，所述随机动作指令序列包括第三类动作指令。所述第三类动作指令可以包括但不限于将头部贴近电子设备、大幅度晃动电子设备等。

在步骤S510，生成随机动作指令序列，所述随机动作指令序列包括至少一个第三类动作指令。

在步骤S520，发出所述随机动作指令序列中当前排序最高的随机动作指令。

在步骤S530，判断当前发出的随机动作指令是否为第三类动作指令。在判断当前发出的随机动作指令为第三类动作指令的情况下，进行到步骤S540。而在判断当前发出的随机动作指令不是第三类动作指令的情况下，可以进行其它类动作指令的判断，例如可以进行到根据本发明第一实施例的步骤S330，以进一步判断当前发出的随机动作指令是否为第一类动作指令。

在步骤S540，根据所述图像传感器采集的图像以及根据所述非图像传感器检测的信息，来确定当前发出的该第三类动作指令是否被活体执行。在确定当前发出的该第三类动作指令被活体执行的情况下，进行到步骤S550；反之在确定当前发出的该第三类动作指令未被活体执行的情况下，进行到步骤S560，从而确定活体检测失败。

例如，可以通过预先采集许多有效信息序列，可以为每个信息序列确定相应的动作，并且还可以预先采集一些与各个动作均不匹配的无效信息序列，从而产生信息序列数据库。可以基于图像传感器所采集的图像产生第一检测信息，并且基于非图像传感器所采集的信息产生第二检测信息，将第一检测信息和第二检测信息组合构成当前采集信息序列。然后，可以基于当前采集信息序列与信息序列数据库中的有效信息序列和无效信息序列，确定当前采集信息序列是否为有效信息序列，并相应地确定当前采集信息序列所对应的动作。例如，可以利用长短期记忆模型LSTM(Long Short Term Memory)对当前采集信息序列进行分类，从而在当前采集信息序列为有效信息序列的情况下输出对应动作，并且在当前采集信息序列为无效信息序列的情况下输出序列无效。

替换地，可以基于图像传感器所采集的图像产生第一检测信息，并基于所述第一检测信息的第一部分产生第一决策信息；并且可以基于非图像传感器所采集的信息产生第二检测信息，并基于所述第二检测信息或者基于所述第一检测信息的第二部分和所述第二检测信息产生第二决策信息；然后基于第一决策信息和第二决策信息确定动作指令是否被活体执行。

然后，在步骤S550，确定当前发出的随机动作指令是否为所述随机动作指令序列中的最后一个随机动作指令。在确定当前发出的随机动作指令为所述随机动作指令序列中的最后一个随机动作指令的情况下，进行到步骤S570，从而确定活体检测成功。

图6示出了根据本发明第二实施例的活体检测方法中根据所述图像传感器采集的图像以及根据所述非图像传感器检测的信息来确定当前发出的该第三类动作指令是否被活体执行的方法的更具体的示意性流程图。

在步骤S610，对图像传感器所采集的图像进行处理以产生第一检测信息，所述第一检测信息可以包括以下至少一项：人脸姿态、人脸关键点、图像纹理信息、图像亮度以及图像中的对象。

具体地，可以在图像传感器所采集的图像中识别出对象，在图像传感器所采集的图像中定位人脸区域，在图像传感器所采集的图像中或者在所定位的人脸区域中检测图像亮度，在所定位的人脸区域中定位人脸关键点，基于所定位的人脸关键点获得人脸姿态，在所定位的人脸区域中提取图像纹理信息，所述图像纹理信息可以包括皮肤纹理和毛发特征中的至少一项。

接下来，在步骤S620，基于所述第一检测信息确定第一决策参数。

在步骤S630，对所述至少一个非图像传感器检测的信息进行处理以产生第二检测信息。

接下来，在步骤S640，基于所述第二检测信息确定第二决策参数。

根据本发明实施例，所述至少一个非图像传感器包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项，并且所述第二检测信息包括光强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

然后，在步骤S650，确定所述第一决策参数与所述第二决策参数是否相符，并且在确定所述第一决策参数与所述第二决策参数不相符的情况下，确定活体检测失败。

根据本发明实施例，所述第一决策参数包括所采集的图像中的对象尺寸和/或尺寸变化、所采集的图像中的对象距离和/或距离变化、所采集的图像中的图像亮度变化、所定位的人脸区域中的图像亮度变化、所述人脸姿态、所采集的图像中的人脸关键点之间的距离和/或距离变化、所采集的图像中的图像纹理信息中的至少一项。所述第二决策参数包括光照强度和/或强度变化、所采集的图像中的对象与距离传感器的距离和/或距离变化、所采集的图像中的对象相对于加速度传感器和/或陀螺仪的空间位置和/或空间位置变化中的至少一项。

作为示例，在本发明第二实施例中，电子设备包括图像传感器和距离传感器，并且所述随机动作指令序列包括将头部贴近电子设备。在此示例中，所述第一检测信息可以为图像纹理信息，所述第二检测信息可以为电子设备与人脸的距离信息。可以通过距离传感器获取距离传感器与人脸的距离，基于距离传感器获取的距离得到电子设备与人脸的距离变化，在通过距离传感器确定距离较近时，所述第二决策参数可以为距离减小。在所述图像纹理信息包括皮肤纹理或毛发特征时，所述第一决策参数可以为近距离，在此情况下，可以确定第一决策参数与第二决策参数相符，并且进而确定当前发出的第三类动作指令被活体执行。反之，在所述图像纹理信息没有包括皮肤纹理或毛发特征时，所述第一决策参数可以为非近距离，在此情况下，可以确定第一决策参数与第二决策参数不相符，并且进而确定当前发出的第三类动作指令未被活体执行。

作为另一示例，在本发明第二实施例中，电子设备包括图像传感器、距离传感器和光照传感器，并且所述随机动作指令序列包括将头部贴近电子设备。在此示例中，所述第一检测信息可以为图像纹理信息，所述第二检测信息可以包括电子设备与人脸的距离信息、以及光强度信息。可以通过距离传感器获取距离传感器与人脸的距离，基于距离传感器获取的距离得到电子设备与人脸的距离变化，在通过距离传感器确定距离较近时，所述第二决策参数可以为距离减小。可以通过光照传感器检测光强度信息，由于光照传感器检测到的光强度与实际照射在人脸上的光强度相近，并且由于人脸图像亮度与实际照射在人脸上的光强度线性相关，因此光照传感器检测到的光强度信息应当也与人脸图像亮度相关。所述第一检测信息包括人脸图像亮度，所述第一决策参数可以为人脸图像亮度与所述第二检测信息中的光强度信息相符或相关，可以为人脸图像亮度变化与光强度信息变化相符或相关，或者可以为距离减小。在此情况下，可以确定第一决策参数与第二决策参数相符，并且进而确定当前发出的第三类动作指令被活体执行。反之，在所述第一决策参数为人脸图像亮度与所述第二检测信息中的光强度信息不相关时，或者在所述第一决策参数为人脸图像亮变化与光强度信息变化不相符或不相关时，或者在所述第一决策参数为距离增大时，可以确定第一决策参数与第二决策参数不相符，并且进而确定当前发出的第三类动作指令未被活体执行。

作为再一示例，在本发明第二实施例中，电子设备为智能手机，并且该智能手机包括图像传感器、加速度传感器和陀螺仪，并且所述随机动作指令序列包括大幅度晃动智能手机。在此示例中，所述第一检测信息可以为人脸姿态，所述第二检测信息可以包括加速度信息和陀螺仪信息。所述第一决策参数可以为人脸姿态，所述第二决策参数可以为人脸相对于智能手机的角度信息(或方位信息)。在确定第一决策参数与第二决策参数相符时，即在确定人脸姿态与角度信息(或方位信息)相符时，确定当前发出的第三类动作指令被活体执行。反之，在确定第一决策参数与第二决策参数不相符时，确定当前发出的第三类动作指令未被活体执行。

根据本发明第二实施例的活体检测方法，同时根据图像传感器所采集的图像和非图像传感器所采集的信息来判定某一个动作指令是否被活体执行，可以将图像传感器所采集的图像和非图像传感器所采集的信息结合起来以进行活体检测，从而可以提高活体检测的灵活性和准确度。

图7示出了根据本发明实施例的活体检测装置700的示意性框图。

如图7所示，根据本发明实施例的活体检测装置700包括指令序列生成模块710、指令发出模块720、第一处理模块730、第二处理模块740、以及异质信息决策模块750。

指令序列生成模块710用于生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令。指令序列生成模块710可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的活体检测方法中的步骤S210、S310和S510。

指令发出模块720用于依序发出所述随机动作指令序列中的随机动作指令。指令发出模块720可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的活体检测方法中的步骤S220、S320和S520、以及步骤S360和S550。

第一处理模块730用于对图像传感器采集的图像进行图像处理以产生第一检测信息。第一处理模块730可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明第一实施例的活体检测方法中的步骤S340的一部分以及步骤S410、S420和S430，并且还可以执行根据本发明第二实施例的活体检测方法中的步骤S540的一部分以及步骤S610。

第二处理模块740用于对至少一个非图像传感器采集的信息进行处理以产生第二检测信息。第二处理模块740可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明第一实施例的活体检测方法中的步骤S350的一部分，并且还可以执行根据本发明第二实施例的活体检测方法中的步骤S630。

异质信息决策模块750用于基于所述第一检测信息和第二检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，并且用于在所述指令发出模块依序发出的随机动作指令依序被活体执行的情况下，确定活体检测成功。异质信息决策模块750可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明第一实施例的活体检测方法中的步骤S340和S350的一部分和步骤S370和S380、以及步骤S430，并且还可以执行根据本发明第二实施例的活体检测方法中的步骤S540的一部分和步骤S560和S570、以及步骤S620、S640和S650。

根据本发明实施例，所述异质信息决策模块750在确定所述指令发出模块720当前发出的随机动作指令未被活体执行的情况下，确定活体检测失败。在所述指令发出模块720当前发出的随机动作指令为非最后一个动作指令的情况下，仅在所述异质信息决策模块750确定所述指令发出模块720当前发出的随机动作指令被活体执行时，所述指令发出模块720才发出下一个随机动作指令。

根据本发明实施例，所述至少一个随机动作指令包括第一类动作指令、第二类动作指令和第三类动作指令中的至少两项，或者所述至少一个随机动作指令仅包括第三类动作指令。对于每一个第一类动作指令，所述异质信息决策模块750根据所述第一处理模块730产生的第一检测信息确定所述指令发出模块720当前发出的该第一类动作指令是否被活体执行；对于每一个第二类动作指令，所述异质信息决策模块750根据所述第二处理模块740产生的第二检测信息确定所述指令发出模块720当前发出的该第二类动作指令是否被活体执行；对于每一个第三类动作指令，所述异质信息决策模块750根据所述第一处理模块730产生的第一检测信息以及所述第二处理模块740产生的第二检测信息两者，来确定所述指令发出模块720当前发出的该第三类动作指令是否被活体执行。

图8示出了根据本发明实施例的活体检测装置700中的第一处理模块730的示意性框图。

如图8所示，所述第一处理模块730可以包括对象识别子模块7310、人脸检测与追踪子模块7320、图像亮度计算子模块7330、关键点定位子模块7340、纹理提取子模块7350和姿态识别子模块7360。

所述对象识别子模块7310用于在图像传感器所采集的图像中识别出对象。所述对象识别子模块7310可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

所述人脸检测与追踪子模块7320用于在图像传感器所采集的图像中定位人脸区域。所述人脸检测与追踪子模块7320可以为人脸检测器，可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的活体检测方法的步骤S410。

所述图像亮度计算子模块7330用于在图像传感器所采集的图像中计算图像亮度(例如平均图像亮度)，或者在所定位的人脸区域中计算图像亮度(例如平均图像亮度)。所述图像亮度计算子模块7330可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

所述关键点定位子模块7340用于在所定位的人脸区域中定位人脸关键点。所述关键点定位子模块7340可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现，并且可以执行根据本发明实施例的活体检测方法的步骤S420。

所述纹理提取子模块7350用于在所定位的人脸区域中提取图像纹理信息，所述图像纹理信息包括皮肤纹理和毛发特征中至少一项。所述纹理提取子模块7350可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

所述姿态识别子模块7360用于基于所定位的人脸关键点获得人脸姿态。所述姿态识别子模块7360可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

根据本发明实施例，所述第一检测信息包括所述人脸姿态、所述人脸关键点、所述图像纹理信息、所述图像亮度以及所述对象中的至少一项。所述至少一个非图像传感器包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项，所述第二检测信息包括光照强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

对于每一个第一类动作指令，在所述人脸姿态与该第一类动作指令不相符的情况下，所述异质信息决策模块750确定活体检测失败。

对于每一个第三类动作指令，所述异质信息决策模块750基于所述第一检测信息确定第一决策参数，基于所述第二检测信息确定第二决策参数，并且在判断所述第一决策参数与所述第二决策参数不相符的情况下，确定活体检测失败。

根据本发明实施例，所述第一决策参数包括所采集的图像中的对象尺寸和/或尺寸变化、所采集的图像中的对象距离和/或距离变化、所采集的图像中的图像亮度变化、所定位的人脸区域中的图像亮度变化、所述人脸姿态、所采集的图像中的人脸关键点之间的距离和/或距离变化、所采集的图像中的图像纹理信息中的至少一项。

根据本发明实施例，所述第二决策参数包括光照强度和/或强度变化、所采集的图像中的对象与距离传感器的距离和/或距离变化、所采集的图像中的对象相对于加速度传感器和/或陀螺仪的空间位置和/或空间位置变化中的至少一项。

图9示出了根据本发明实施例的图像检测设备900的示意性框图。图像检测设备900包括图像传感器910、至少一个非图像传感器920、存储装置930、以及处理器940。

图像传感器910用于采集图像，所述至少一个非图像传感器920用于采集除图像之外的其它信息，所述至少一个非图像传感器920包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项，并且所采集的信息包括光照强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

所述存储装置930存储用于实现根据本发明实施例的活体检测方法中的相应步骤的程序代码。

所述处理器940用于运行所述存储装置930中存储的程序代码，以执行根据本发明实施例的活体检测方法的相应步骤，并且用于实现根据本发明实施例的活体检测装置中的指令序列生成模块710、指令发出模块720、第一处理模块730、第二处理模块740、以及异质信息决策模块750。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的活体检测方法的相应步骤，并且用于实现根据本发明实施例的活体检测装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

根据本发明实施例的活体检测方法及装置、活体检测设备以及存储介质，通过采用随机动作序列并且通过组合图像传感器采集的图像和非图像传感器采集的信息，不仅可以有效地防止照片、3D模型和人脸面具的攻击，而且更为有效地能够防止提前录制的视频的攻击。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

Claims (14)

1.一种活体检测方法，包括：

生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令；

依序发出所述随机动作指令序列中的随机动作指令；以及

基于至少两个传感器的检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，其中，所述至少两个传感器包括图像传感器和至少一个非图像传感器；

在所述随机动作指令序列中的随机动作指令依序被活体执行的情况下，确定活体检测成功，

其中，所述至少一个随机动作指令至少包括第三类动作指令，对于每一个第三类动作指令，基于从所述图像传感器采集的图像中获得的第一检测信息确定第一决策参数，基于对所述至少一个非图像传感器检测的信息进行处理以产生的第二检测信息确定第二决策参数，并且在所述第一决策参数与所述第二决策参数不相符的情况下，确定活体检测失败。

2.如权利要求1所述的活体检测方法，其中，在确定当前发出的随机动作指令未被活体执行的情况下，确定活体检测失败；

其中，在当前发出的随机动作指令为非最后一个动作指令的情况下，仅在确定当前发出的随机动作指令被活体执行时，才发出下一个随机动作指令。

3.如权利要求1所述的活体检测方法，其中，所述至少一个随机动作指令还包括第一类动作指令、第二类动作指令和第三类动作指令中的至少两项；

其中，对于每一个第一类动作指令，根据所述图像传感器采集的图像来确定当前发出的该第一类动作指令是否被活体执行；

对于每一个第二类动作指令，根据所述非图像传感器检测的信息来确定当前发出的该第二类动作指令是否被活体执行；

对于每一个第三类动作指令，根据所述图像传感器采集的图像以及根据所述非图像传感器检测的信息，来确定当前发出的该第三类动作指令是否被活体执行。

4.如权利要求3所述的活体检测方法，还包括以下至少一部分：

在图像传感器所采集的图像中识别出对象；

在图像传感器所采集的图像中检测图像亮度；

在图像传感器所采集的图像中定位人脸区域；

在所定位的人脸区域中定位人脸关键点；

在所定位的人脸区域中提取图像纹理信息，所述图像纹理信息包括皮肤纹理和毛发特征中至少一项；

基于所定位的人脸关键点获得人脸姿态，

其中，所述第一检测信息包括所述人脸姿态、所述人脸关键点、所述图像纹理信息、所述图像亮度以及所述对象中的至少一项。

5.如权利要求4所述的活体检测方法，其中，所述人脸姿态作为所述第一检测信息，

对于每一个第一类动作指令，在所述人脸姿态与该第一类动作指令不相符的情况下，确定活体检测失败。

6.如权利要求1所述的活体检测方法，其中，所述至少一个非图像传感器包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项，

所述第二检测信息包括光强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

7.如权利要求6所述的活体检测方法，其中，

所述第一决策参数包括所采集的图像中的对象尺寸和/或尺寸变化、所采集的图像中的对象距离和/或距离变化、所采集的图像中的图像亮度变化、所定位的人脸区域中的图像亮度变化、人脸姿态、所采集的图像中的人脸关键点之间的距离和/或距离变化、所采集的图像中的图像纹理信息中的至少一项；以及

所述第二决策参数包括光照强度和/或强度变化、所采集的图像中的对象与距离传感器的距离和/或距离变化、所采集的图像中的对象相对于加速度传感器和/或陀螺仪的空间位置和/或空间位置变化中的至少一项。

8.一种活体检测装置，包括：

指令序列生成模块，用于生成随机动作指令序列，所述随机动作指令序列包括至少一个随机动作指令；

指令发出模块，用于依序发出所述随机动作指令序列中的随机动作指令；

第一处理模块，用于对图像传感器采集的图像进行图像处理以产生第一检测信息；

第二处理模块，用于对至少一个非图像传感器采集的信息进行处理以产生第二检测信息；

异质信息决策模块，用于基于所述第一检测信息和第二检测信息，确定所述随机动作指令序列中的随机动作指令是否依序被活体执行，并且用于在所述指令发出模块依序发出的随机动作指令依序被活体执行的情况下，确定活体检测成功，

其中，所述至少一个随机动作指令至少包括第三类动作指令，对于每一个第三类动作指令，所述异质信息决策模块基于所述第一检测信息确定第一决策参数，基于所述第二检测信息确定第二决策参数，并且在判断所述第一决策参数与所述第二决策参数不相符的情况下，确定活体检测失败。

9.如权利要求8所述的活体检测装置，其中，所述异质信息决策模块在确定所述指令发出模块当前发出的随机动作指令未被活体执行的情况下，确定活体检测失败；

其中，在当前发出的随机动作指令为非最后一个动作指令的情况下，仅在所述异质信息决策模块确定所述指令发出模块当前发出的随机动作指令被活体执行时，所述指令发出模块才发出下一个随机动作指令。

10.如权利要求8所述的活体检测装置，其中，所述至少一个随机动作指令还包括第一类动作指令、第二类动作指令和第三类动作指令中的至少两项；

其中，对于每一个第一类动作指令，所述异质信息决策模块根据所述第一处理模块产生的第一检测信息确定所述指令发出模块当前发出的该第一类动作指令是否被活体执行；

对于每一个第二类动作指令，所述异质信息决策模块根据所述第二处理模块产生的第二检测信息确定所述指令发出模块当前发出的该第二类动作指令是否被活体执行；

对于每一个第三类动作指令，所述异质信息决策模块根据所述第一处理模块产生的第一检测信息以及所述第二处理模块产生的第二检测信息两者，来确定所述指令发出模块当前发出的该第三类动作指令是否被活体执行。

11.如权利要求10所述的活体检测装置，其中，所述第一处理模块包括对象识别模块、人脸检测与追踪模块、关键点定位子模块、纹理提取子模块和姿态识别子模块中的至少一部分；

所述对象识别模块用于在图像传感器所采集的图像中识别出对象；

所述人脸检测与追踪模块用于在图像传感器所采集的图像中定位人脸区域；

所述关键点定位子模块用于在所定位的人脸区域中定位人脸关键点；

所述纹理提取子模块用于在所定位的人脸区域中提取图像纹理信息，所述图像纹理信息包括皮肤纹理和毛发特征中至少一项；以及

所述姿态识别子模块用于基于所定位的人脸关键点获得人脸姿态，

其中，所述第一检测信息包括所述人脸姿态、所述人脸关键点、所述图像纹理信息、以及所述对象中的至少一项。

12.如权利要求11所述的活体检测装置，其中，

所述人脸姿态作为所述第一检测信息，对于每一个第一类动作指令，在所述人脸姿态与该第一类动作指令不相符的情况下，所述异质信息决策模块确定活体检测失败。

13.如权利要求8所述的活体检测装置，其中，所述至少一个非图像传感器包括光照传感器、距离传感器、加速度传感器、陀螺仪中的至少一项，

所述第二检测信息包括光照强度、距离信息、加速度信息、陀螺仪信息中的至少一项。

14.如权利要求13所述的活体检测装置，其中，

所述第一决策参数包括所采集的图像中的对象尺寸和/或尺寸变化、所采集的图像中的对象距离和/或距离变化、所采集的图像中的图像亮度变化、所定位的人脸区域中的图像亮度变化、人脸姿态、所采集的图像中的人脸关键点之间的距离和/或距离变化、所采集的图像中的图像纹理信息中的至少一项；

所述第二决策参数包括光照强度和/或强度变化、所采集的图像中的对象与距离传感器的距离和/或距离变化、所采集的图像中的对象相对于加速度传感器和/或陀螺仪的空间位置和/或空间位置变化中的至少一项。