CN106372601A - 一种基于红外可见双目图像的活体检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于红外可见双目图像的活体检测方法及装置，其中方法包括：S1：通过红外线摄像头采集待识别对象的红外光成像，并通过可见光摄像头采集待识别对象的可见光成像；S2：若红外光成像不存在图像，判定待识别对象为非活体，反之，则执行步骤S3；S3：提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。与现有技术相比，本发明先通过红外摄像头能否采集图像进行预识别，这样可以防住全部的视频攻击、大部分的照片、孔洞攻击、3d面具攻击，再通过对可见光成像和红外光成像之间的特征对比，最终保证了极大的非活体攻击。

Description

一种基于红外可见双目图像的活体检测方法及装置

技术领域

本发明涉及一种视频安防领域，尤其是涉及一种基于红外可见双目图像的活体检测方法及装置。

背景技术

固定场所的基于视觉信息的活体检测，在很多场景有着广泛的应用，比如小区门禁、银行自助取款、政府部门自动办理手续。这些场景使用人脸识别核实办理人的身份，但是需要活体检测手段来防止攻击。常见的攻击方法有：照片、视频、孔洞面具、3d面具等，目前尚无主流的可靠的解决方案。常见的做法有：通过检测眨眼来防住照片攻击；通过不同位置的多个摄像头检测人脸三维信息来防住简单的照片视频攻击；通过屏幕的纹理信息防住简单的视频攻击；通过红外感温传感器防住简单的视频攻击等。

上面提到的诸多做法均存在如下问题：首先，没有一套系统能够防住所有攻击。这样会给攻击者留有可趁之机；其次，性能很难保证，很多场景对安全和用户体验均有较高要求，比如银行的自助取款。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于红外可见双目图像的活体检测方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种活体检测的方法，包括：

S1：通过红外线摄像头采集待识别对象的红外光成像，并通过可见光摄像头采集待识别对象的可见光成像；

S2：若红外光成像不存在图像，判定待识别对象为非活体，反之，则执行步骤S3；

S3：提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。

所述步骤S3具体包括步骤：

S31：判断可见光成像和红外光成像是否存在脸部，或为是，则执行步骤S32，若为否，则重复步骤S31；

S32：提取可见光成像和红外光成像中待识别对象脸部的特征。若红外光成像中鼻尖反光且脸颊偏暗，则进行S33。

S33：提取可见光成像和红外光成像中待识别对象眼部的特征。若红外光成像中瞳孔反光且眼白泛灰，则判定待识别对象为活体，反之为非活体。

当步骤S3中识别为活体后，还执行步骤：

S4：分别确定待识别对象与红外线摄像头和可见光摄像头之间的距离；

S5：确定待识别对象正前方分别与红外线摄像头和可见光摄像头之间所成的角度；

S6：根据步骤S4和S5中得到的数据，结合红外线摄像头和可见光摄像头之间的位置和角度关系确定红外线摄像头和可见光摄像头所捕捉到的待识别对象是否为同一物体，若为是，则维持待识别对象为活体的判定，若为否，则判定待识别对象为非活体。

所述待识别对象正前方与红外线摄像头之间所成的角度为待识别对象正前方与红外线摄像头正前方所成的角度，所述待识别对象正前方与红外线摄像头之间所成的角度为待识别对象正前方与可见光摄像头正前方所成的角度。

一种装置，包括：

可见光摄像头，用于采集待识别对象的可见光成像；

红外线摄像头，用于采集待识别对象的红外光成像；

计算机，分别与可见光摄像头和红外线摄像头连接，用于根据可见光成像和红外光成像判定待识别对象是否为活体。

所述计算机包括：

预识别模块，用于基于红外光成像中是否存在图像判定是否为非活体；

特征识别模块，与预识别模块连接，用于在预识别模块验证通过后提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。

所述特征识别模块包括：

第一识别单元，用于提取可见光成像和红外光成像中待识别对象脸部的特征，若红外光成像中鼻尖反光且脸颊偏暗，则判定待识别对象为活体，反之为非活体

第二识别单元，用于提取可见光成像和红外光成像中待识别对象眼部的特征，若红外光成像中瞳孔反光且眼白泛灰，则判定待识别对象为活体，反之为非活体。

所述计算机还包括：

距离识别模块，与特征识别模块连接，用于在特征识别模块验证通过后分别确定待识别对象与红外线摄像头和可见光摄像头之间的距离，以及待识别对象正前方分别与红外线摄像头和可见光摄像头之间所成的角度，并结合红外线摄像头和可见光摄像头之间的位置和角度关系确定红外线摄像头和可见光摄像头所捕捉到的待识别对象是否为同一物体，若为是，则维持待识别对象为活体的判定，若为否，则判定待识别对象为非活体。

与现有技术相比，本发明具有以下优点：

1)先通过红外摄像头能否采集图像进行预识别，这样可以防住全部的视频攻击、大部分的照片、孔洞攻击、3d面具攻击，再通过对可见光成像和红外光成像之间的特征对比，最终保证了极大的非活体攻击。

2)通过鼻尖反光、脸颊偏暗、瞳孔反光、眼白泛灰等特征进行活体识别，整个系统能够保证在光照优良的情况下99.9％的通过率，视频攻击0％的通过率，其他攻击方式小于0.1％的通过率。速度上能够做到半秒内完成判断。

3)使用红外摄像头和可见红外双目摄像头的分类：能够真正做到防住所有攻击，保证通用性。

4)使用学术界最新的分类技术：性能、速度更有保证，更好的用户体验。

附图说明

图1为本发明方法的主要步骤流程示意图；

图2为本发明装置的结构示意图；

其中：1、可见光摄像头，2、红外线摄像头，3、计算机。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

发明人经过自己的反复探索发现：大部分纸质材料、全部的视频材料在红外光摄像头下均是不可显示的，而真人在红外光摄像头会正常出现。

一种活体检测的方法，如图1所示，包括：

S1：通过红外线摄像头采集待识别对象的红外光成像，并通过可见光摄像头采集待识别对象的可见光成像；

S2：若红外光成像不存在图像，判定待识别对象为非活体，反之，则执行步骤S3；

S3：提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。

发明人还发现，对于照片攻击，照片的拍摄场景会是点光源或平行光源，只会有一种特征。而真人在红外补光灯的照射下，脸部会有明显的点光源的痕迹(比如鼻尖因更靠近屏幕而反光、脸颊偏暗等)，同时可见光的图片不会有这些特征。以此方法能够防住剩下的照片、孔洞攻击，同时几乎不会影响真人的通过率。这些分类的实现使用了国内外学术界领先的深度学习的技术。结合上我们在视觉行业的多年实战经验，最终得到了一个个性能好、速度快、尺寸小的分类器。另外，对于攻击时没有露出真实人眼的场景(比如照片攻击、3d面具攻击)，红外光下的真实人眼会有瞳孔反光、眼白泛灰等特征，而可见光下瞳孔不会有这些特征。利用可见光红外光下人眼特征的不同，能够进一步提升防攻击能力。

步骤S3具体包括步骤：

S31：判断可见光成像和红外光成像是否都存在脸部，若为是，则执行步骤S32，若为否，则执行步骤S32；

S32：提取可见光成像和红外光成像中待识别对象脸部的特征和眼部的特征。

S34：若红外光成像中脸部特征的鼻尖反光且脸颊偏暗，眼部特征的瞳孔反光且眼白泛灰，而可见光成像中没有上述特征，则判定待识别对象为活体，反之为非活体。

当步骤S3中识别为活体后，还执行步骤：

S4：分别确定待识别对象与红外线摄像头和可见光摄像头之间的距离；

S5：确定待识别对象正前方分别与红外线摄像头和可见光摄像头之间所成的角度；

S6：根据步骤S4和S5中得到的数据，结合红外线摄像头和可见光摄像头之间的位置和角度关系确定红外线摄像头和可见光摄像头所捕捉到的待识别对象是否为同一物体，若为是，则维持待识别对象为活体的判定，若为否，则判定待识别对象为非活体。

最终输出活体判断，挑选出的质量最好的人脸。

待识别对象正前方与红外线摄像头之间所成的角度为待识别对象正前方与红外线摄像头正前方所成的角度，待识别对象正前方与红外线摄像头之间所成的角度为待识别对象正前方与可见光摄像头正前方所成的角度。

一种装置，如图2所示，包括：

可见光摄像头1，用于采集待识别对象的可见光成像；

红外线摄像头2，用于采集待识别对象的红外光成像；

计算机3，分别与可见光摄像头1和红外线摄像头2连接，用于根据可见光成像和红外光成像判定待识别对象是否为活体。

计算机3包括：

预识别模块，用于基于红外光成像中是否存在图像判定是否为非活体；

特征识别模块，与预识别模块连接，用于在预识别模块验证通过后提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。

特征识别模块包括：

第一识别单元，用于提取可见光成像和红外光成像中待识别对象脸部的特征，若红外光成像中鼻尖反光且脸颊偏暗，则判定待识别对象为活体，反之为非活体

第二识别单元，用于提取可见光成像和红外光成像中待识别对象眼部的特征，若红外光成像中瞳孔反光且眼白泛灰，则判定待识别对象为活体，反之为非活体。

计算机还包括：

距离识别模块，与特征识别模块连接，用于在特征识别模块验证通过后分别确定待识别对象与红外线摄像头和可见光摄像头之间的距离，以及待识别对象正前方分别与红外线摄像头和可见光摄像头之间所成的角度，并结合红外线摄像头和可见光摄像头之间的位置和角度关系确定红外线摄像头和可见光摄像头所捕捉到的待识别对象是否为同一物体，若为是，则维持待识别对象为活体的判定，若为否，则判定待识别对象为非活体。

整个系统能够保证在光照优良的情况下99.9％的通过率，视频攻击0％的通过率，其他攻击方式小于0.1％的通过率。速度上能够做到半秒内完成判断。

Claims (8)

1.一种活体检测的方法，其特征在于，包括：

S1：通过红外线摄像头采集待识别对象的红外光成像，并通过可见光摄像头采集待识别对象的可见光成像；

S2：若红外光成像不存在图像，判定待识别对象为非活体，反之，则执行步骤S3；

S3：提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。

2.根据权利要求1所述的一种活体检测的方法，其特征在于，所述步骤S3具体包括步骤：

S31：判断可见光成像和红外光成像是否都存在脸部，或为是，则执行步骤S32，若为否，则重复步骤S31；

S32：提取可见光成像和红外光成像中待识别对象脸部的特征。若红外光成像中鼻尖反光且脸颊偏暗，则进行S33。

S33：提取可见光成像和红外光成像中待识别对象眼部的特征。若红外光成像中瞳孔反光且眼白泛灰，则判定待识别对象为活体，反之为非活体。

3.根据权利要求2所述的一种活体检测的方法，其特征在于，当步骤S3中识别为活体后，还执行步骤：

S4：分别确定待识别对象与红外线摄像头和可见光摄像头之间的距离；

S5：确定待识别对象正前方分别与红外线摄像头和可见光摄像头之间所成的角度；

S6：根据步骤S4和S5中得到的数据，结合红外线摄像头和可见光摄像头之间的位置和角度关系确定红外线摄像头和可见光摄像头所捕捉到的待识别对象是否为同一物体，若为是，则维持待识别对象为活体的判定，若为否，则判定待识别对象为非活体。

4.根据权利要求3所述的一种活体检测的方法，其特征在于，所述待识别对象正前方与红外线摄像头之间所成的角度为待识别对象正前方与红外线摄像头正前方所成的角度，所述待识别对象正前方与红外线摄像头之间所成的角度为待识别对象正前方与可见光摄像头正前方所成的角度。

5.一种实现权利要求1-4中任一所述方法的装置，其特征在于，包括：

可见光摄像头，用于采集待识别对象的可见光成像；

红外线摄像头，用于采集待识别对象的红外光成像；

计算机，分别与可见光摄像头和红外线摄像头连接，用于根据可见光成像和红外光成像判定待识别对象是否为活体。

6.根据权利要求5所述的装置，其特征在于，所述计算机包括：

预识别模块，用于基于红外光成像中是否存在图像判定是否为非活体；

特征识别模块，与预识别模块连接，用于在预识别模块验证通过后提取可见光成像和红外光成像中待识别对象眼部和脸部的特征，并基于提取的特征判断待识别对象是否为活体。

7.根据权利要求5所述的装置，其特征在于，所述特征识别模块包括：

第一识别单元，用于提取可见光成像和红外光成像中待识别对象脸部的特征，若红外光成像中鼻尖反光且脸颊偏暗，则判定待识别对象为活体，反之为非活体

第二识别单元，用于提取可见光成像和红外光成像中待识别对象眼部的特征，若红外光成像中瞳孔反光且眼白泛灰，则判定待识别对象为活体，反之为非活体。

8.根据权利要求5所述的装置，其特征在于，所述计算机还包括：

距离识别模块，与特征识别模块连接，用于在特征识别模块验证通过后分别确定待识别对象与红外线摄像头和可见光摄像头之间的距离，以及待识别对象正前方分别与红外线摄像头和可见光摄像头之间所成的角度，并结合红外线摄像头和可见光摄像头之间的位置和角度关系确定红外线摄像头和可见光摄像头所捕捉到的待识别对象是否为同一物体，若为是，则维持待识别对象为活体的判定，若为否，则判定待识别对象为非活体。