CN107832677A - 基于活体检测的人脸识别方法及系统 - Google Patents

Abstract

本发明提供了一种人脸识别方法与系统，该方法包括：获取人脸的二维图像以及深度图像；利用所述二维图像和/或深度图像进行人脸检测与识别，并利用所述二维图像进行皮肤检测和/或利用所述深度图像进行立体检测。通过利用二维图像进行皮肤检测或利用深度图像进行立体检测来实现活体检测，同时结合二维图像或深度图像进行人脸检测与识别，实现人脸检测与识别、活体检测的双验证，能有效分辨真假人脸，排除照片、视频、模型或面具伪装对人脸识别系统的攻击，提高人脸识别的安全等级。

Description

基于活体检测的人脸识别方法及系统

技术领域

本发明涉及光学及电子技术领域，尤其涉及一种基于活体检测的人脸识别方法及系统。

背景技术

人体有诸多唯一的特征，比如人脸、指纹、虹膜、人耳等，这些特征被统称为生物特征。生物特征识别被广泛用于安防、家居、智能硬件等众多领域，目前较为成熟的生物特征识别比如指纹识别、虹膜识别等已被普遍应用于手机、电脑等终端。而对于人脸等特征，尽管相关的研究已经非常深入，而对于人脸等特征的识别则仍未普及，这主要是因为已有的识别方法存在局限导致识别率及识别的稳定性较低。这些局限主要包括受环境光光强以及光照方向影响、人脸表情影响识别率、以及容易被人造特征欺骗等。

已有的人脸等特征的识别，主要基于人脸二维彩色图像，当环境光强较弱时，会严重影响识别效果。另外，当光照的方向不同时，人脸图像上会存在阴影，同样也会影响识别效果。当被参照的人脸图像是在没有表情的情形下采集的，而当前是在微笑表情下采集的人脸图像，人脸识别的效果也会下降。另外，若被识别对象不是真实人脸，而是二维的人脸图片时，往往也能通过识别。

对于以上的问题，目前仍缺乏一种较为实用的人脸识别解决方案。

发明内容

为解决上述问题，本发明提出一种基于活体检测的人脸识别方法及系统，其能分辨真假人脸，排除照片、视频、模型或面具伪装对人脸识别系统的攻击，提高人脸识别的安全性。

本发明提供的人脸识别方法，包括：获取人脸的二维图像以及深度图像；利用所述二维图像和/或深度图像进行人脸检测与识别，并利用所述二维图像进行皮肤检测和/或利用所述深度图像进行立体检测。

其中，二维图像包括彩色图像或结构光图像。

在一种实施例中，利用彩色图像进行肤色检测，或利用结构光图像检测人脸的反射特性。

在一些实施例中，在利用二维图像进行人脸检测时结合深度图像中像素上的深度值来确定人脸检测窗口大小，或在利用二维图像进行人脸识别时结合深度图像获取人脸朝向，并将人脸朝向作为人脸特征进行人脸识别。

在一些实施例中，该方法还获取环境光强度，当环境光强度高于阈值时，利用彩色图像进行人脸检测与识别；当环境光强度低于阈值时，利用结构光图像进

本发明还提供一种人脸识别系统，包括：信息获取端，用于获取人脸的二维图像以及深度图像；处理电路，利用所述二维图像和/或深度图像进行人脸检测与识别；以及，利用所述二维图像进行皮肤检测和/或利用所述深度图像进行立体检测。

在一些实施例中，该系统还包括环境光传感器，用于获取环境光强度；当所述环境光强度高于阈值时，利用所述彩色图像进行人脸检测与识别；当所述环境光强度低于所述阈值时，利用所述结构光图像进行人脸检测与识别。

本发明的有益效果：利用二维图像进行皮肤检测或利用深度图像进行立体检测来实现活体检测，同时结合二维图像或深度图像进行人脸检测与识别，实现人脸检测与识别、活体检测的双验证，能有效分辨真假人脸，排除照片、视频、模型或面具伪装对人脸识别系统的攻击，提高人脸识别的安全等级。

附图说明

图1为本发明一个实施例的人脸识别系统。

图2为本发明一个实施例的人脸识别方法。

图3为本发明一个实施例的人脸识别方法。

图4为本发明一个实施例的结合环境光检测的人脸识别方法。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

人脸识别技术可以被用于安检、监控，目前随着智能终端比如手机、平板的普及，人脸识别技术也会被应用于解锁、支付，甚至娱乐游戏等多个方面。智能终端设备，比如手机、平板、电脑、电视等大都配备了彩色相机，利用彩色相机采集包含人脸的图像后，利用该图像进行人脸检测及识别，从而进一步利用识别的结果执行其他相关的应用。然而，对于像手机、平板等移动终端设备而言，其应用环境常常变化，环境变化会影响彩色相机的成像，比如光线较弱时则无法对人脸进行很好的成像。另一方面，彩色相机无法识别被识别对象是否为真实人脸。

本发明将提供一种既可以分辨真假人脸也不受环境光干扰的人脸识别方法及系统。

图1是根据本发明一种实施例的人脸识别系统示意图。系统包括信息获取端10、处理电路12、存储器14以及应用端15，信息获取端10用于获取人脸图像以及其他信息，在本发明中，信息获取端10包括一个用于向人脸投射结构光图像的红外投影仪101，在一个实施例中，结构光图像为红外斑点图像，可以理解的是，在其他实施例中，投影仪也可以为其他波长的投影仪，如紫外、可见光投影仪等，结构光种类也包含斑点、条纹、二维图案等等。在以下的说明中将以红外斑点图像为例进行说明。与红外投影仪101对应，信息获取端15还包括红外相机102，用于采集结构光图像。

信息获取端10还可以包括RGB相机103，用来采集彩色RGB图像，此外，还可以包括其他类型的传感器，比如环境光传感器104等等。

处理器电路12接收来自信息获取端10的原始数据，并基于原始数据进行数据处理，包括深度图像计算、人脸识别等。比如利用深度计算引擎121接收结构光图像并计算出深度图像；利用RGBD配准引擎122接收深度图像以及RGB图像，同时实现二者的配准(register)；利用人脸识别引擎123实现人脸检测以及人脸识别，利用活体检测引擎实现立体检测以及皮肤检测等等。

应用端15接收来自处理电路12的处理结果并执行相应的应用，比如根据人脸识别结果进行解锁、支付等，应用端15包括操作系统151、应用程序152等等，执行的应用可以是操作系统151中的应用也可以是运行在操作系统151上的其他应用程序。

存储器14用于保存应用程序数据141以及系统数据142等。存储器14还用于保存信息获取端的一些参数数据，比如红外相机102、RGB相机的内部参数以及反应二者相对位置的外部参数，还用于保存用于深度计算的参考结构光图像数据，以在深度计算引擎121在执行深度图像计算时调用。存储器14还用于保存用于人脸识别的特征数据，比如反应某些人的人脸特征信息，在进行人脸识别时被调用以判断当前人脸特征是否与保存的人脸特征匹配。

以上所述的人脸识别系统可以是单个计算设备，例如手机、电脑、平板、电视、机顶盒、游戏机等，也可以是多个设备组合而成，比如信息获取端10为独立的设备，其专门用于获取数据，并通过外部接口，例如USB、wifi等与含有处理电路12、存储器14以及应用端15的计算设备连接。此外，还可以有其他任何组合形式。

另外，处理电路12也可以包含多个处理器单元，每个处理器单元可以集成在单个设备中，也可以分设在不同的设备中。处理器单元可以是专门的硬件处理器，也可以是通用的处理器，亦或者是被保存在存储器中并可以被处理器执行的软件程序。应当理解的是，无论是硬件还是软件，随着技术的发展，硬件与软件的界限将越来越模糊，因此图1仅是示意性地给出了一种本发明的实施例，其他任何可以实现相同或类似功能的方式都属于本发明的范围。

系统还可以包括显示端，如显示屏幕，用于显示应用，并根据处理电路12输出的处理结果刷新显示内容，比如解锁等。

图2是根据本发明一个实施例的人脸识别方法，该方法将被图1中的人脸识别系统所执行。该方法包括以下步骤：

获取RGB图像以及深度图像，即利用RGB相机103获取RGB图像，并利用红外投影仪101和红外相机102获取结构光图像，深度计算引擎121根据结构光图像计算出深度图像；

利用RGB图像进行人脸检测与识别，由人脸识别引擎123接收RGB图像后进行人脸检测与识别，这一过程大致包含图像预处理、人脸检测、人脸分割、特征提取、特征匹配等步骤；

利用RGB图像/深度图像进行活体检测，由于单纯利用RGB图像进行人脸检测与识别安全性较低，进一步进行活体检测可以提高人脸识别的安全性。活体检测的方式有多种，这里可以利用活体检测引擎124对RGB图像进行肤色检测，或者利用深度图像进行立体检测，又或者可以同时进行肤色检测以及立体检测，综合二者的结果以判断当前人脸是否为真实人脸。

需要说明的是，以上各个步骤并非按时序进行排列的，可以按照具体的应用需求进行调整。另外，在一些应用中，对人脸检测以及识别的效率有着较高的要求，比如基于人脸识别进行解锁，速度越快给用户带来的体验将会越好，以下几个实施例中提供的方案可以提高人脸检测与识别的效率。

在一个实施例中，当获取了RGB图像与深度图像后，利用RGBD配准引擎122对RGB图像与深度图像进行配准，并输出RGBD图像。由此在人脸检测与识别阶段，RGB图像与深度图像中的信息可以进行交换，比如可以根据RGB图像检测出的人脸位置直接得到深度图像中的人脸位置，从而避免对两种图像重复进行人脸检测以浪费计算资源。

在对RGB图像进行人脸检测时，往往是以某一像素为中心，选择以该像素为中心的窗口内的图像进行人脸检测以判断该窗口内的人脸是否为人脸，窗口的大小一般为预设大小，可以预见的是，当人脸离RGB相机的距离不同时，人脸在RGB图像中的像素数是不同，即人脸所在的窗口大小不同，因此传统的固定窗口大小的检测方法效率较低。在本发明的一个实施例中，首先对RGB图像与深度图像进行配准，其次在对RGB图像进行人脸检测时，基于深度图像中相应像素上的深度值来确定人脸检测窗口大小，由于深度值代表该点与RGB相机之间的距离，由此可以直接给出更加准确的能覆盖人脸大小的窗口大小，并且基于此窗口大小可以更加快速地进行人脸判断以提高人脸检测效率。

在一个实施例中，可以对人脸检测后直接进行活体检测，在判断为真实人脸后进一步实施人脸识别步骤，若为虚假人脸则不进行人脸识别，由此可以提高计算效率。

在对RGB图像的人脸进行识别时，需要将当前人脸与目标人脸进行相似度判断，往往会有一些降低识别率的问题，其中之一是人脸的朝向问题。目标人脸往往是正面人脸(也可以为其它朝向的人脸)，而当前采集到的人脸则不一定是正面人脸，此时进行人脸识别会消耗更多的时间。在本发明的一个实施例中，经RGB图像以及深度图像进行人脸检测后，还通过深度图像对当前人脸的朝向进行检测，并将朝向信息作为当前的人脸特征之一输入到识别器中，由此可以加快识别速度及精度。这里的识别器可以为任意种类的识别器，比如基于深度学习的人脸识别算法创建的识别器等。

图3是根据本发明又一实施例的人脸识别方法。与图2所示方法不同的是，该方法中没有利用RGB图像，这是由于在一些应用场景中，比如光线太暗，或者光照方向影响等场景下，RGB图像的质量较差，无法进行人脸检测与识别。本方法将直接利用结构光图像进行人脸检测与识别，活体检测也将由结构光图像和/或深度图像来进行。结构光图像，比如红外斑点图像不受光照影响，可以输出较为稳定的图像质量，但与RGB图像相比，结构光图像中人脸的特征相对会较少一些，这是由于一方面结构光图像中往往不含有彩色信息，另一方面结构光的条纹、斑点等也会掩盖住部分人脸的特征，尽管如此，基于目前的深度学习技术，利用结构光图像进行人脸检测与识别也拥有较高的准确率。

在活体检测时，本发明除了利用深度图像进行立体检测外，还将利用结构光图像进行皮肤检测。考虑到人脸皮肤的独特属性，其对红外光的反射将会呈现出显著的特性，因此从结构光图像中提取出皮肤的反射特性可以有效地判断当前人脸是否为真实人脸。

可以理解的是，上述几种可以加快人脸检测与识别效率的方法也可以被应用于本实施例中。二者不同的是，由于深度图像是直接由结构光图像计算而来，因此结构光图像与深度图像之间无须配准。

图4是根据本发明一个实施例的结合环境光检测的人脸识别方法。由图2及图3所述的两种方法中，利用RGB图像的人脸识别会受到光照的影响，而利用结构光图像的人脸识别将受到特征缺失的影响，单独地采用其中任一种的方法都会不太理想。一种解决方案是，在光照理想时采用图2所示的人脸识别方法，或在光照不理想时采用图3所示的人脸识别方法。为了实现这一方案，在信息获取端10配置一个环境光传感器104，用于获取当前环境的光照强度，并根据环境光强度的情况选择具体的人脸识别方法，当环境光强度大于预设的阈值时执行基于RGB图像的人脸识别方法，当环境光强度小于预设阈值时执行基于结构光图像的人脸识别方法。通过结合环境光强度选择性地采用彩色图像或者结构光图像从而使得使用本方法与系统可用于全天候的人脸识别。

在本发明中，将RGB图像或结构光图像称为二维图像，将深度图像称为三维图像，考虑到利用二维图像例如结构光图像进行人脸检测与识别的精度往往不高，在一些实施例中，可以利用三维图像如深度图像用来进行人脸的检测与识别；又或者将二维图像和三维图像结合，将二者的识别结果进行综合以得到最终的结果，或者在人脸检测与识别算法过程中就将二维图像与三维图像进行考虑，算法输入的是二维图像以及三维图像，输出的是检测与识别结果。

人脸检测以及人脸识别算法种类较大，在一个实施例中，利用深度学习算法，即建立学习模型，并对大量的数据进行学习训练。可以理解的是，对于基于RGB图像的人脸检测与识别，其需要对大量的RGB图像进行学习，而基于结构光图像或深度图像的人脸检测与识别，其需要对大量的结构光图像或深度图像进行学习。

在人脸识别的应用中，比如人脸解锁，往往需要预先采集准入人脸的信息，并根据人脸检测与识别算法，提取准入人脸的特征信息，并保存在存储器中，当当前人脸的特征与准入人脸特征相匹配时，执行相应的应用。在图2所示的方法中，需要预先采集准入人脸的RGB图像；在图3所示的方法中，需要预先采集准入人脸的结构光图像；在图4所示的方法中，需要预先采集准入人脸的RGB图像以及结构光图像；另外，在一些实施例中，还需要预先采集准入人脸的深度图像。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取人脸的二维图像以及深度图像；

利用所述二维图像和/或深度图像进行人脸检测与识别，并利用所述二维图像进行皮肤检测和/或利用所述深度图像进行立体检测。

2.如权利要求1所述的方法，其特征在于，所述二维图像包括彩色图像或结构光图像。

3.如权利要求2所述的方法，其特征在于，所述皮肤检测指利用所述彩色图像进行肤色检测。

4.如权利要求2所述的方法，其特征在于，所述皮肤检测指利用所述结构光图像检测人脸的反射特性。

5.如权利要求2所述的方法，其特征在于，所述方法还包括获取环境光强度，当所述环境光强度高于阈值时，利用所述彩色图像进行人脸检测与识别；当所述环境光强度低于所述阈值时，利用所述结构光图像进行人脸检测与识别。

6.如权利要求1所述的方法，其特征在于，所述利用二维图像进行人脸检测包括利用深度图像中像素上的深度值来确定人脸检测窗口大小。

7.如权利要求1所述的方法，其特征在于，所述利用二维图像进行人脸识别包括利用深度图像获取人脸朝向，并将人脸朝向作为人脸特征进行人脸识别。

8.一种人脸识别系统，其特征在于，包括：

信息获取端，用于获取人脸的二维图像以及深度图像；

处理电路，利用所述二维图像和/或深度图像进行人脸检测与识别；以及，利用所述二维图像进行皮肤检测和/或利用所述深度图像进行立体检测。

9.如权利要求8所述的系统，其特征在于，所述信息获取端包括用于获取RGB图像的RGB相机以及用于获取结构光图像的结构光相机。

10.如权利要求8所述的系统，其特征在于，所述信息获取端还包括环境光传感器，用于获取环境光强度；当所述环境光强度高于阈值时，利用所述彩色图像进行人脸检测与识别；当所述环境光强度低于所述阈值时，利用所述结构光图像进行人脸检测与识别。