CN111723626B - 用于活体检测的方法、装置和电子设备 - Google Patents

Abstract

公开了一种用于活体检测的方法、装置和电子设备。该方法包括：利用双目相机采集包括目标物的第一图像和第二图像；根据第一图像和第二图像，确定关于目标物是否为活体的第一检测结果；根据第一图像与第二图像之间的视差，确定关于目标物是否为活体的第二检测结果；以及根据第一检测结果和第二检测结果，确定目标物是否为活体。通过根据本公开的实施例的方法、装置和电子设备，能够有效地提高活体检测的准确性。

Description

用于活体检测的方法、装置和电子设备

技术领域

本公开总体上涉及模式识别的技术领域，并且具体地涉及一种用于活体检测的方法、装置和电子设备。

背景技术

随着生物识别技术发展，人脸识别技术趋于稳定和成熟。目前，在良好的人脸姿态和光照环境下，人脸识别系统可以较为准确的人脸检测和识别。然而，用户可以通过照片，视频，人脸面具等非法手段欺骗人脸识别系统。

因此，人脸活体检测称为对于门禁，登录等安全性要求很高的应用场景非常重要。

发明内容

根据本公开的一个方面，提供了一种用于活体检测的方法，该方法可以包括：利用双目相机采集包括目标物的第一图像和第二图像；根据所述第一图像和所述第二图像，确定关于所述目标物是否为活体的第一检测结果；根据所述第一图像与所述第二图像之间的视差，确定关于所述目标物是否为活体的第二检测结果；以及根据所述第一检测结果和所述第二检测结果，确定所述目标物是否为活体。

根据本公开的另一个方面，还提供了一种用于活体检测的装置，该装置可以包括：双目相机，被配置为获得包括目标物的第一图像和第二图像；第一检测单元，被配置为根据所述第一图像和所述第二图像，确定关于所述目标物是否为活体的第一检测结果；第二检测单元，被配置为根据所述第一图像与所述第二图像之间的视差，确定关于所述目标物是否为活体的第二检测结果；以及确定单元，被配置为根据所述第一检测结果和所述第二检测结果，确定所述目标物是否为活体。

根据本公开的另一个方面，还提供了一种电子设备，该电子设备可以包括处理器和用于存储所述处理器可执行指令的存储器，其中，所述处理器可以用于执行上述方法。

根据本公开的另一个方面，还提供了一种计算机可读取的存储介质，在其上存储有程序指令，所述程序指令在被计算装置执行时执行上述方法。

通过根据本公开的实施例的方法、装置和电子设备，能够有效地提高活体检测的准确性。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出根据本公开的实施例的用于活体检测的方法的示例流程。

图2示出根据本公开的实施例的步骤S120的一个示例。

图3示出根据本公开的实施例的步骤S130的一个示例。

图4示出根据本公开的实施例的用于活体检测的装置的示例。

图5示出根据本公开的实施例的电子设备的示例。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

概述

通常的活体检测方法在面对基于高清屏幕或高清打印的攻击时可能失效，并且可能需要用户配合做出指定动作，因此用户体验不好。

根据本公开的实施例的方法、装置和电子设备旨在解决或缓解上述技术问题中的至少一个。

示例性方法

图1示出根据本公开的实施例的用于活体检测的示例方法，该方法可以应用于电子设备，并且可以包括步骤S110、S120、S130和S140。

如图1所示，在步骤S110中，可以利用双目相机采集包括目标物的第一图像和第二图像。例如，要检测的目标物可以是人脸，并且在一个实施例中，第一图像第二图像可以分别是由双目相机采集的左图像和右图像中的一个和另一个。

然后，可以在步骤S120中根据第一图像和第二图像确定关于目标物是否为活体的第一检测结果。例如，可以使用一个图像检测模型对第一图像执行图像检测，以便基于第一图像本身的至少一部分确定目标物是否为活体，然后可以使用与前述的图像检测模型相同或不同的另一个图像检测模型对第二图像执行图像检测，以便基于第二图像本身的至少一部分确定目标物是否为活体，然后可以根据两个检测结果确定关于目标物是否为活体的第一检测结果。

然后，在步骤S130中根据第一图像与第二图像之间的视差确定关于目标物是否为活体的第二检测结果。例如，可以确定第一图像的至少一部分和第二图像的至少一部分之间的视差图，然后可以基于所获得的视差图或者进一步基于视差图获得的深度图，确定目标物是否为活体，并相应地输出第二检测结果。

根据不同的实施例，步骤S120可以在步骤S130之前或之后执行，也可以与步骤S130并行地执行。

然后，可以在步骤S140中根据第一检测结果和第二检测结果确定目标物是否为活体。例如，可以在第一检测结果和第二检测结果两者均指示目标物是活体的情况下确定目标物为活体。

在根据本公开的实施例的方法中，根据包括目标物的两个图像确定关于目标物是否为活体的两个检测结果，然后根据两个检测结果确定最终的检测结果，由此能够有效地提高针对目标物的活体检测的准确性。

下面结合示例描述根据本公开的实施例的方法的更多细节。

如图2所示，在一个示例中，在步骤S120中，可以利用第一卷积神经网络CNN1对第一图像IMG1的整个图像区域执行第一图像检测，并且利用第二卷积神经网络CNN2对第二图像IMG2的整个图像区域执行第二图像检测。然后，可以在第一图像检测和第二图像检测两者的检测结果均指示目标物是活体的情况下，生成第一检测结果，并指示目标物是活体的检测结果。

在一个实施例中，第一卷积神经网络CNN1和第二卷积神经网络CNN2可以是能够基于图像进行活体检测的任何适当的卷积神经网络。例如，第一卷积神经网络CNN1和第二卷积神经网络CNN2可以是基于Resnet 18网络构建的相同或不同的卷积神经网络。

可以基于预先标注的大数据事先或者在线地训练第一卷积神经网络CNN1和第二卷积神经网络CNN2，以便使第一卷积神经网络CNN1和第二卷积神经网络CNN2能够有效地区分活体和非活体。例如，可以采用大量的真人样本以及诸如照片、图画、模型、面目、视频等假人样本，对第一卷积神经网络CNN1和第二卷积神经网络CNN2进行二分类训练，以便使第一卷积神经网络CNN1和第二卷积神经网络CNN2能够对诸如手机屏幕翻拍中出现的水波纹、真皮面具样本与真人人脸图像之间的色彩差异等敏感。

在该实施例中，对第一图像IMG1的整个图像区域和第二图像IMG2的整个图像区域进行图像检测，能够保留图像的上下文特征。在活体检测中考虑要检测的目标物的上下文信息，能够显著地提升活体检测的准确性。例如，通过考虑上下文特征，根据本公开的实施例的方法能够对于例如使用真皮面具或手机翻拍等手段的攻击方式具有明显的抵抗效果。

另外，第一卷积神经网络CNN1和第二卷积神经网络CNN2的权重参数可以是相同的。例如，第一卷积神经网络CNN1和第二卷积神经网络CNN2可以是孪生网络或伪孪生网络。由此，能够高效率地确定两个可比较对象的相似程度，从而获得更好的活体检测效果。

在另外的示例中，可以将图2的示例中的第一卷积神经网络CNN1和第二卷积神经网络CNN2中的一个或两个替换为其他类型的神经网络。例如，可以将第一卷积神经网络CNN1和第二卷积神经网络CNN2中的一个替换为长短期记忆网络，而另一个仍使用卷积神经网络，或者与可以将第一卷积神经网络CNN1和第二卷积神经网络CNN2两者替换为两个相同或不同的长短期记忆网络。

在一个实施例中，在步骤S130中，可以对第一图像IMG1的整个图像区域和第二图像IMG2的整个图像区域执行立体匹配，并将所获得的视差图PRX转换为深度图DPM，然后可以根据深度图DPM检测目标物是否为活体。

例如，如图3所示，可以训练一个立体匹配网络STN和一个卷积神经网络CNN3。然后，可以利用立体匹配网络STN对第一图像IMG1的整个图像区域和第二图像IMG2的整个图像区域执行立体匹配，以便获得视差图PRX。然后，可以将从视差图PRX转换得到的深度图DPM提供给卷积神经网络CNN3，从而获得关于目标物是否为活体的第二检测结果。在该示例中，通过针对图像的整个图像区域执行立体匹配，能够在随后的检测中充分地利用上下文的深度特征信息，从而提高活体检测的准确率。

在步骤S130的一个实施例中，还可以获得深度图DPM中与包括目标物的局部区域相对应的局部深度图，并且在根据深度图DPM检测目标物是否为活体时，可以根据局部深度图检测目标物是否为活体。

例如，在要检测的目标物为活体人脸的情况下，可以先对第一图像IMG1的整个图像区域和第二图像IMG2的整个图像区域中的一个或多个执行人脸检测，从而确定图像中的人脸区域。根据不同的实施例，这样的人脸检测可以由立体匹配网络STN在执行立体匹配的过程中完成，也可以由单独的检测模型(例如，基于卷积神经网络的人脸检测网络)来实现并将检测结果告知立体匹配网络STN。然后，可以通过立体匹配网络STN获得与至少包括人脸区域的局部区域相对应的局部深度图，并且可以基于该局部深度图并利用卷积神经网络CNN3，检测人脸区域中的人脸是否为活体。

相应地，在训练立体匹配网络STN的过程中，可以使用能够提升所关注的局部区域(例如，人脸区域)内的损失值并且抑制非关注的局部区域(例如，人脸区域之外的其他区域)内的损失值的损失函数。由此，立体匹配网络STN能够避免或减轻由于输入图像中的信息的不均衡性而带来的影响，并且能够确保所关注的局部区域内的视差值的正确性。

在该实施例中，通过确定和使用与至少包括目标物的局部区域相对应的局部深度图，既突出了所关注的局部区域(例如，人脸区域)的深度特征信息，又保留了上下文特征，并且还大大地减小了运算量，从而能够更准确地进行活体检测，并且对例如基于面具等攻击手段具有更高的抵抗力。

然后，可以在步骤S140中，通过对来自不同类型的检测模型或检测网络的检测结果进行决策融合，从而提升活体检测的准确性。

根据不同的实施例，在步骤S140中，可以采用不同的融合策略。例如，如前文所述，可以在第一检测结果和第二检测结果两者均指示目标物是活体的情况下确定目标物为活体。在另外的实施例中，例如在第一检测结果和第二检测结果包括指示目标物为活体的置信度的情况下，也可以针对第一检测结果和第二检测结果设置不同的权重，然后可以根据第一检测结果和第二检测结果的加权和是否超过预定阈值，来确定目标物是否为活体。

应当理解，根据本公开的实施例的方法不局限于上述示例。例如，在步骤S120和S130中，可以通过诸如支持向量机等其他任何适当的方式进行基于图像本身的活体检测、立体匹配以及基于视差/深度信息的活体检测。

示例性装置

图4示出根据本公开的实施例的能够用于实施上述方法的装置的示例。

如图4所示，根据本公开的实施例的装置可以包括双目相机CAM、第一检测单元DET1、第二检测单元DET2和确定单元DEC。

双目相机CAM可以被配置为获得包括目标物的第一图像IMG1和第二图像IMG2。如图4所示，双目相机CAM可以通过有线或无线的方式将所采集的第一图像IMG1和第二图像IMG2传送给第一检测单元DET1和第二检测单元DET2。

第一检测单元DET1可以被配置为执行根据本公开的实施例的方法的步骤S120，即，可以被配置为根据第一图像IMG1和第二图像IMG2，确定关于目标物是否为活体的第一检测结果RST1。

根据不同的实施例，第一检测单元DET1可以包括诸如中央处理器和图形处理器等通用的处理器，也可以是基于诸如现场可编程门阵列等开发出的专用处理器。例如，在基于卷积神经网络执行基于图像本身的活体检测的情况下，第一检测单元DET1还可以包括用于加速诸如卷积、池化、逐点加、激活等运算的乘加单元阵列、加法器阵列、扭变算子等元件以及用于数据的高速缓存的静态随机存取存储器等。

第二检测单元DET2可以被配置为执行根据本公开的实施例的方法的步骤S130，即，可以被配置为根据第一图像IMG1和第二图像IMG2之间的视差，确定关于目标物是否为活体的第二检测结果RST2。

类似于第一检测单元DET1，根据不同的实施例，第二检测单元DET2也可以包括诸如中央处理器和图形处理器等通用的处理器，或者可以是基于诸如现场可编程门阵列等开发出的专用处理器。例如，在基于卷积神经网络执行立体匹配和/或基于视差/深度信息的活体检测的情况下，第二检测单元DET2还可以包括用于加速诸如卷积、池化、逐点加、激活等运算的乘加单元阵列、加法器阵列、扭变算子等元件以及用于数据的高速缓存的静态随机存取存储器等。

在一个实施例中，第一检测单元DET1和第二检测单元DET2可以复用一个或多个运算加速部件。在另外的实施例中，可以通过诸如中央处理器、图形处理器、现场可编程门阵列等一个或多个通用或专用的处理器实现第一检测单元DET1和第二检测单元DET2两者。

确定单元DEC可以被配置为执行根据本公开的实施例的方法的步骤S140，即，可以被配置为根据第一检测结果RST1和第二检测结果RST2，确定关于目标物是否为活体的最终检测结果RST。

在一个实施例中，确定单元DEC可以包括诸如中央处理器等通用的处理器，或者可以是基于诸如现场可编程门阵列等开发出的专用处理器。在另外的实施例中，例如在第一检测结果RST1和第二检测结果RST2中的每一个为指示二分类结果的信号(例如，高电平指示“是活体”，低电平指示“不是活体”)的情况下，确定单元DEC可以包括例如与门这样的逻辑元件。在另外的实施例中，例如在第一检测结果RST1和第二检测结果RST2中的每一个包括关于目标物是否为活体的置信度信息的情况下，确定单元DEC可以包括乘法器、加法器和比较器等元件。

在一个实施例中，确定单元DEC可以与第一检测单元DET1和第二检测单元DET2复用诸如加法器、乘法器等一个或多个运算加速部件。在另外的实施例中，可以通过诸如中央处理器、图形处理器、现场可编程门阵列等一个或多个通用或专用的处理器实现第一检测单元DET1、第二检测单元DET2和确定单元DEC三者。

根据不同的实施例，第一检测单元DET1、第二检测单元DET2和确定单元DEC之间可以通过诸如总线、交叉开关(crossbar)、共享存储器等各种适当的方式互连。

应当理解，图4仅为根据本公开的实施例的装置的示例，并且本公开不局限于此。例如，在另外的示例中，根据本公开的实施例的装置还可以包括用于存储中间数据或结果数据的存储器和/或用于接收数据或向外部传送检测结果的一个或多个接口。

示例性电子设备

如图5所示，本公开的实施例还可以是一种电子设备，该电子设备可以包括处理器器PU和存储器MEM。

处理器PU可以包括诸如中央处理器、图形处理器等通用的处理器和/或基于诸如现场可编程门阵列等开发的专用处理器，并且可以被配置为在启动时至少执行根据本公开的实施例的方法。

存储器MEM可以被配置为存储第一图像、第二图像以及用于控制处理器PU进行操作的指令和数据中的一个或多个。根据不同的实施例，存储器可以包括诸如只读存储器、随机存取存储器、闪速存储器等一种或多种存储器。

另外，该电子设备还可以包括接口I/O。在一个实施例中，接口I/O可以被配置为接收第一图像和第二图像以及输出关于目标物是否为活体的检测结果。根据不同的实施例，接口I/O可以包括诸如通用串行接口、红外接口、网络接口、无线接口等各种适当的接口。

应当理解，图5仅为根据本公开的实施例的电子装置的示例，并且本公开不局限于此。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言可以包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，例如计算机可读取的非临时性存储介质，其上存储有程序指令，程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪速存储器)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

在本文中，诸如“第一”、“第二”等不带有量词的修饰词旨在用于区分不同的元件/部件/电路/模块/装置/步骤，而不用于强调次序、位置关系、重要程度、优先级别等。与此不同，诸如“第一个”、“第二个”等带有量词的修饰词可以用于强调不同的元件/部件/电路/模块/装置/步骤的次序、位置关系、重要程度、优先级别等。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种用于活体检测的方法，包括：

利用双目相机采集包括目标物的第一图像和第二图像，所述第一图像和所述第二图像分别为所述双目相机采集的左图像和右图像中的一个和另一个；

根据所述第一图像和所述第二图像，确定关于所述目标物是否为活体的第一检测结果，其中，对所述第一图像的整个图像区域和所述第二图像的整个图像区域进行图像检测，保留图像的上下文特征，包括：

利用第一卷积神经网络对所述第一图像的整个图像区域执行第一图像检测；

利用第二卷积神经网络对所述第二图像的整个图像区域执行第二图像检测；以及

在所述第一图像检测和所述第二图像检测两者的检测结果均指示所述目标物是活体的情况下，生成指示所述目标物是活体的检测结果；根据所述第一图像与所述第二图像之间的视差，确定关于所述目标物是否为活体的第二检测结果，包括：

对所述第一图像的整个图像区域和所述第二图像的整个图像区域执行立体匹配；

将通过所述立体匹配所获得的视差图转换为深度图；以及

根据所述深度图检测所述目标物是否为活体；以及

根据所述第一检测结果和所述第二检测结果，确定所述目标物是否为活体。

2.根据权利要求1所述的方法，其中，所述第一卷积神经网络和所述第二卷积神经网络的权重参数是相同的。

3.根据权利要求1所述的方法，还包括：

获得所述深度图中与包括所述目标物的局部区域相对应的局部深度图；并且

根据所述深度图检测所述目标物是否为活体包括：根据所述局部深度图，检测所述目标物是否为活体。

4.根据权利要求1所述的方法，其中，根据所述第一检测结果和所述第二检测结果确定所述目标物是否为活体包括：

在所述第一检测结果和所述第二检测结果两者均指示所述目标物是活体的情况下，确定所述目标物为活体。

5.根据权利要求1至4中的任一项所述的方法，其中，所述目标物是人脸。

6.一种用于活体检测的装置，包括：

双目相机，被配置为获得包括目标物的第一图像和第二图像，所述第一图像和所述第二图像分别为所述双目相机采集的左图像和右图像中的一个和另一个；

第一检测单元，被配置为根据所述第一图像和所述第二图像，确定关于所述目标物是否为活体的第一检测结果，其中，对所述第一图像的整个图像区域和所述第二图像的整个图像区域进行图像检测，保留图像的上下文特征，包括：

利用第一卷积神经网络对所述第一图像的整个图像区域执行第一图像检测；

利用第二卷积神经网络对所述第二图像的整个图像区域执行第二图像检测；以及

在所述第一图像检测和所述第二图像检测两者的检测结果均指示所述目标物是活体的情况下，生成指示所述目标物是活体的检测结果；第二检测单元，被配置为根据所述第一图像与所述第二图像之间的视差，确定关于所述目标物是否为活体的第二检测结果，包括：

对所述第一图像的整个图像区域和所述第二图像的整个图像区域执行立体匹配；

将通过所述立体匹配所获得的视差图转换为深度图；以及

根据所述深度图检测所述目标物是否为活体；以及

确定单元，被配置为根据所述第一检测结果和所述第二检测结果，确定所述目标物是否为活体。

7.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行根据权利要求1至5中的任一项所述的方法。

8.一种计算机可读取的存储介质，在其上存储有程序指令，所述程序指令在被计算装置执行时执行根据权利要求1至5中的任一项所述的方法。