CN110929566B - 基于可见光和近红外双目摄像头的人脸活体检测方法 - Google Patents

Abstract

本发明公开了一种基于可见光和近红外双目摄像头的人脸活体检测方法，其中该方法包括：控制可见光摄像头进行人脸检测，并控制近红外摄像头处于休眠状态；通过可见光摄像头检测到可见光人脸时，唤醒近红外摄像头，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像；采用预设的校准模型对可见光人脸区域进行校准，获得近红外人脸区域；如果近红外人脸区域有人脸，则将可见光人脸区域的图像与近红外人脸区域的图像进行融合；分别对可见光人脸区域的图像、近红外人脸区域的图像和融合图像进行活体判别；由此，本发明自动校准两个摄像头的人脸区域，避免在双路视频流中的重复工作，并将图像融合以辅助活体检测，从而提高活体检测的效率和可靠性。

Description

基于可见光和近红外双目摄像头的人脸活体检测方法

技术领域

本发明涉及生物特征技术领域，特别涉及一种基于可见光和近红外双目摄像头的人脸活体检测方法、一种计算机可读存储介质和一种人脸活体检测设备。

背景技术

随着生物识别技术应用的逐渐成熟，人脸识别成为了目前较为通用的个体识别方法，且应用于各种不同场景；随着应用的逐渐广泛，人脸识别系统的安全性也受到了严峻的挑战，例如，通过目标人物的照片、视频、面具即可绕过人脸识别系统的识别，导致人脸识别系统容易受到恶意的欺骗攻击；而人脸活体检测则是为了判别验证的人脸是否为真实人脸从而确保人脸识别系统的安全性和可靠性。

目前，通过可见光摄像头和近红外摄像头的人脸活体检测方法由于两个摄像头的相对位置不同，所以需要在双路视频流上进行相同的人脸检测工作，导致产生大量的重复和冗余工作，不利于可见光与近红外双目摄像头的活体检测方法应用于计算资源有限且实时性要求高的移动端场景；同时，分别处理两个摄像头的方法不能充分发挥可见光和近红外双目摄像头的优势，大大降低了活体检测的效率和可靠性。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于可见光和近红外双目摄像头的人脸活体检测方法，通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种人脸活体检测设备。

为达到上述目的，本发明第一方面实施例提出了一种基于可见光和近红外双目摄像头的人脸活体检测方法，该方法包括以下步骤：控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态；通过所述可见光摄像头检测到可见光人脸时，唤醒所述近红外摄像头，并通过所述近红外摄像头对当前场景进行拍摄以获得近红外图像；采用预设的校准模型对所述可见光人脸区域进行校准，以将可见光人脸区域映射到所述近红外图像所对应的近红外人脸区域；通过轻量级卷积神经网络判别所述近红外人脸区域是否有人脸；如果所述近红外人脸区域有人脸，则将所述可见光人脸区域的图像与所述近红外人脸区域的图像进行融合以获得融合图像；分别对所述可见光人脸区域的图像、所述近红外人脸区域的图像和所述融合图像进行活体判别；根据所述可见光人脸区域所对应的活体判别结果、所述近红外人脸区域所对应的活体判别结果和所述融合图像所对应的活体判别结果进行人脸活体检测。

根据本发明实施例的基于可见光和近红外双目摄像头的人脸活体检测方法，首先控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态；当可见光摄像头检测到可见光人脸时，唤醒近红外摄像头，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像；接着采用预设的校准模型对可见光人脸区域进行校准，以将可见光人脸区域映射到近红外图像所对应的近红外人脸区域；然后通过轻量级卷积神经网络判别近红外人脸区域是否有人脸；如果近红外人脸区域有人脸，则将可见光人脸区域的图像与近红外人脸区域的图像进行融合以获得融合图像；再接着分别对可见光人脸区域的图像、近红外人脸区域的图像和融合图像进行活体判别；最后根据可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果进行人脸活体检测；由此，通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

另外，根据本发明上述实施例提出的基于可见光和近红外双目摄像头的人脸活体检测方法还可以具有如下附加的技术特征：

可选地，采用预设的校准模型对可见光人脸区域进行校准，以将所述可见光人脸区域映射到所述近红外图像所对应的近红外人脸区域，包括：根据所述可见光摄像头检测到人脸区域时，通过校准模型映射出近红外人脸区域，以避免在可见光摄像头与近红外摄像头中重复检测人脸。

可选地，通过轻量级卷积神经网络判别所述近红外人脸区域是否有人脸时，如果所述近红外人脸区域未检检测到人脸，则初步判别为攻击。

可选地，分别对所述可见光人脸区域的图像、所述近红外人脸区域的图像和所述融合图像进行活体判别，包括：根据所述可见光人脸区域的图像进行表情动作捕获以获得所述可见光人脸区域所对应的活体判别结果；根据所述近红外人脸区域的图像进行特征统计以获得所述近红外人脸区域所对应的活体判别结果；根据所述融合图像进行颜色特征提取以获得所述融合图像所对应的活体判别结果。

可选地，根据所述可见光人脸区域所对应的活体判别结果、所述近红外人脸区域所对应的活体判别结果和所述融合图像所对应的活体判别结果进行人脸活体检测，包括：判断所述可见光人脸区域所对应的活体判别结果、所述近红外人脸区域所对应的活体判别结果和所述融合图像所对应的活体判别结果中是否存在至少两个判别结果为活体人脸；如果存在至少两个判别结果为活体人脸，则判定检测到的人脸为活体人脸。

可选地，所述预设的校准模型的训练步骤，包括：采集多张可见光样本图像和多张近红外样本图像；根据每张可见光样本图像的人脸位置和大小获取人脸先验信息；对每张可见光样本图像进行差分处理以获取可见光差分图像，并对每张近红外样本图像进行差分处理以获取近红外差分图像；将所述可见光差分图像划分为多个图像区块V＝{v₁，v₂，v₃，......v_n}，并将所述近红外差分图像划分为多个图像区块R＝{r₁，r₂，r₃，......r_n}，以及将所述可见光差分图像与所述近红外差分图像对应的图像区块组成区块对S＝{s₁，s₂，s₃，......s_n}，其中s_i＝{v_i，r_i}，1≤i≤n；根据区块对S的重要性对每个区块对赋予权重W＝{w₁，w₂，w₃，......w_n}，其中，∑w＝1；根据ECC算法，对每个区块对s_i进行训练，以获得与所有区块对S所对应的区块校准模型M＝{m₁，m₂，m₃，......m_n}^T；将所述区块校准模型与权重进行融合得到初步校准模型O＝W·M，其中·表示内积；根据所述人脸先验信息构建人脸大小与对应的初步校准模型的映射关系，以获得最终的校准模型F＝(O；A)。

可选地，在采集多张可见光样本图像和多张近红外样本图像时，将双目摄像头安装于可移动的导轨上，并在所述双目摄像头前方设置不同采集距离，并在每个距离下固定人脸位置，以及通过移动所述双目摄像头对所述场景进行图像采集使人脸出现在图像中的不同位置，以获得不同位置的可见光样本图像和近红外样本图像，并记录每张可见光图像和每张近红外样本图像所对应的双目摄像头与人脸所在平面的距离。

可选地，对每个区块对s_i进行训练，以获得与所有区块对S所对应的区块校准模型M＝{m₁，m₂，m₃，......m_n}^T，包括以下步骤：

S1，对参数p_j进行初始化处理，并设置迭代终止条件为：j≥NMAX且参数增量≤EPS，其中，j为正整数，NMAX和EPS分别为设定的j和参数增量的固定阈值；

S2，将v_i拉成向量并归一化得到

S3，令j＝1，采用参数p_j-1对r_n进行变换得到Φ(p_j-1)，并将r_i拉成向量并去均值得到

S4，根据Φ(p_j-1)计算雅可比矩阵

其中，I(y)指r_i的像素强度，y指r_i的像素坐标；

S5，计算参数增量

其中，λ为常数；

为/>

的矩阵转置；

S6，更新参数

S7，判断是否满足迭代终止条件，若j≥NMAX且

则训练完毕，输出模型m_i＝Φ(p_j)；否则令j＝j+1，并重复执行步骤S3-S7。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有基于可见光和近红外双目摄像头的人脸活体检测程序，该人脸活体检测程序被处理器执行时实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法。

根据本发明实施例的计算机可读存储介质，通过存储基于可见光和近红外双目摄像头的人脸活体检测程序，以便处理器在执行该基于可见光和近红外双目摄像头的人脸活体检测程序时实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法，从而通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

为达到上述目的，本发明第三方面实施例提出了一种人脸活体检测设备，包括基于可见光和近红外双目摄像头，所述人脸活体检测设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法。

根据本发明实施例的人脸活体检测设备，通过存储器存储可在处理器上运行的计算机程序，以便处理器在执行该计算机程序时，实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法，从而通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

附图说明

图1为根据本发明实施例的基于可见光和近红外双目摄像头的人脸活体检测方法的流程示意图；

图2为根据本发明一个实施例的基于可见光和近红外双目摄像头的人脸活体检测方法的流程示意图；

图3为根据本发明实施例的预设的校准模型的训练流程示意图；

图4为根据本发明实施例的数据采集装置示意图；

图5为根据本发明实施例的融合图像的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

目前，通过可见光摄像头和近红外摄像头的人脸活体检测方法由于两个摄像头的相对位置不同，导致摄像头采集到的图像内容并不是一一对应的，即两幅图像存在像素偏移；加上镜头畸变的影响，无法通过简单的线性平移使两幅图像校准对齐；使得同一个体的人脸在可见光图中与近红外图中的位置不同，从而对后续的活体判断的准确度造成影响。因此现有的可见光与近红外双目摄像头活体检测方案需要在双路视频流上进行相同的人脸检测工作。这将产生大量的重复和冗余工作，不利于可见光与近红外双目摄像头的活体检测方法应用于计算资源有限且实时性要求高的移动端场景；同时，分别处理两个摄像头的方法不能充分发挥可见光和近红外双目摄像头的优势。

为此，本发明提出的基于可见光和近红外双目摄像头的人脸活体检测方法，首先控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态；当可见光摄像头检测到可见光人脸时，唤醒近红外摄像头，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像；接着采用预设的校准模型对可见光人脸区域进行校准，以将可见光人脸区域映射到近红外图像所对应的近红外人脸区域；然后通过轻量级卷积神经网络判别近红外人脸区域是否有人脸；如果近红外人脸区域有人脸，则将可见光人脸区域的图像与近红外人脸区域的图像进行融合以获得融合图像；再接着分别对可见光人脸区域的图像、近红外人脸区域的图像和融合图像进行活体判别；最后根据可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果进行人脸活体检测；由此，通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明实施例的基于可见光和近红外双目摄像头的人脸活体检测方法的流程示意图；如图1所示，本发明实施例的人脸活体检测方法包括以下步骤：

步骤101，控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态。

也就是说，在初始化可见光摄像头和近红外摄像头之后，控制可见光摄像头处于工作状态以进行实时数据采集，并通过人脸检测算法实时检测人脸，同时控制近红外摄像头处于休眠低功耗状态。

步骤102，通过可见光摄像头检测到可见光人脸时，唤醒近红外摄像头，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像。

也就是说，当可见光摄像头检测到当前场景内有人脸时，唤醒近红外摄像头进行实时数据采集，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像。

需要说明的是，如果可见光摄像头一直未检测到人脸，则近红外摄像头一直处于休眠状态，并且可见光摄像头一直进行检测工作，直到检测到当前场景内有人脸。

步骤103，采用预设的校准模型对可见光人脸区域进行校准，以将可见光人脸区域映射到近红外图像所对应的近红外人脸区域。

也就是说，可见光摄像头通过人脸检测算法检测到人脸的位置和大小，并通过该位置和大小利用预设的校准模型对可见光人脸区域进行校准，直接将可见光人脸区域映射到近红外图像所对应的近红外人脸区域。

需要说明的是，映射后的可见光人脸区域与近红外人脸区域大小相等。

步骤104，通过轻量级卷积神经网络判别近红外人脸区域是否有人脸。

也就是说，将近红外人脸区域输入到轻量级卷积神经网络，通过轻量级卷积神经网络进行判别，确认近红外人脸区域是否有人脸。

需要说明的是，若近红外人脸区域无人脸或者人脸大小与近红外人脸区域所对应的人脸大小的区别超过一定阈值的话，则判别为攻击，即该人脸为非活体；可初步排除电子设备攻击、不合理尺寸的照片打印攻击等。

步骤105，如果近红外人脸区域有人脸，则将可见光人脸区域的图像与近红外人脸区域的图像进行融合以获得融合图像。

作为一个实施例，如图5所示，融合过程包括以下步骤：

步骤401，将可见光人脸区域对应的图像缩放到K*K。

步骤402，将近红外人脸区域对应的图像缩放到K*K。

步骤403，融合处理。

步骤404，得到融合图。

也就是说，在自动校准可见光人脸图像和近红外人脸图像对应区域后，可将可见光人脸区域的图像与近红外人脸区域的图像进行融合以获得融合图像。

步骤106，分别对可见光人脸区域的图像、近红外人脸区域的图像和融合图像进行活体判别。

作为一个实施例，根据可见光人脸区域的图像进行表情动作捕获以获得可见光人脸区域所对应的活体判别结果。

需要说明的是，如果可见光人脸区域的人脸有表情动作则判别为活体，如果可见光人脸区域的人脸没有表情动作则判别为非活体。

作为一个实施例，根据近红外人脸区域的图像进行特征统计以获得近红外人脸区域所对应的活体判别结果；

需要说明的是，上述特征可为梯度、均值、方差等特征，并由分类器根据特征值是否超过阈值从而判别是否为活体。

作为一个实施例，根据融合图像进行颜色特征提取以获得融合图像所对应的活体判别结果。

步骤107，根据可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果进行人脸活体检测。

作为一个实施例，判断可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果中是否存在至少两个判别结果为活体人脸；如果存在至少两个判别结果为活体人脸，则判定检测到的人脸为活体人脸。

也就是说，只有可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果中有两项以上的活体判别结果为活体人脸时，才判定检测到的人脸为活体人脸。

根据本发明实施例的基于可见光和近红外双目摄像头的人脸活体检测方法，首先控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态；当可见光摄像头检测到可见光人脸时，唤醒近红外摄像头，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像；接着采用预设的校准模型对可见光人脸区域进行校准，以将可见光人脸区域映射到近红外图像所对应的近红外人脸区域；然后通过轻量级卷积神经网络判别近红外人脸区域是否有人脸；如果近红外人脸区域有人脸，则将可见光人脸区域的图像与近红外人脸区域的图像进行融合以获得融合图像；再接着分别对可见光人脸区域的图像、近红外人脸区域的图像和融合图像进行活体判别；最后根据可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果进行人脸活体检测；由此，通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

另外，作为一个具体实施例，如图2所示，基于可见光和近红外双目摄像头的人脸活体检测方法包括以下步骤：

步骤201，VIS摄像头检测人脸。

也就是说，可见光摄像头实时检测人脸。

步骤202，判断是否检测到人脸。如果是，则执行步骤203；如果否，则返回执行步骤201。

也就是说，可见光摄像头实时进行人脸检测，并通过人脸检测算法判断是否检测区域是否检测到人脸；如果是则执行下一步骤；如果否，则返回上一步骤，继续进行人脸检测。

步骤203，自动校准，由VIS人脸区域映射到NIR对应人脸区域。

也就是说，当可见光摄像头检测到人脸时，将可见光人脸区域映射到对应的近红外人脸区域。

步骤204，判断NIR对应人脸区域是否有人脸。如果是，则同步执行步骤205、206和207；如果否，则返回执行步骤201，并判别为攻击。

步骤205，进行VIS人脸活体检测。

作为一个实施例，根据可见光人脸区域的图像进行表情动作捕获以获得可见光人脸区域所对应的活体判别结果。

需要说明的是，如果可见光人脸区域的人脸有表情动作则判别为活体，如果可见光人脸区域的人脸没有表情动作则判别为非活体。

步骤206，进行NIR人脸活体检测。

作为一个实施例，根据近红外人脸区域的图像进行特征统计以获得近红外人脸区域所对应的活体判别结果；

需要说明的是，上述特征可为梯度、均值、方差等特征，并由分类器根据特征值是否超过阈值从而判别是否为活体。

步骤207，进行VIS-NIR融合活体检测。

作为一个实施例，根据融合图像进行颜色特征提取以获得融合图像所对应的活体判别结果。

步骤208，融合判别结果。

作为一个实施例，判断可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果中是否存在至少两个判别结果为活体人脸；如果存在至少两个判别结果为活体人脸，则判定检测到的人脸为活体人脸。

也就是说，只有可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果中有两项以上的活体判别结果为活体人脸时，才判定检测到的人脸为活体人脸。

综上所述，本发明的基于可见光和近红外双目摄像头的人脸活体检测方法通过自动校准的可见光与近红外人脸区域，所以只需在可见光摄像头图像中检测人脸，便可自动校准两路图像，直接得到近红外摄像头图像中的对应人脸，避免了在双路视频流的重复工作，并在物理特性上引入逻辑级联结构；同时，该方法使得可见光与近红外对应区域的人脸图像可直接融合，互补信息，充分利用该双目设备的优势；并且，由于可见光摄像头未检测到人脸时，近红外摄像头可处于休眠状态，所以具有低功耗、高效率、高鲁棒性的优点，有利于在移动端的应用。

另外，作为一个实施例，如图3所示，基于可见光和近红外双目摄像头的人脸活体检测方法中的预设的校准模型的训练步骤，包括一下步骤：

步骤301，采集多张可见光样本图像和多张近红外样本图像。

也就是说，线下采集训练校准模型用的可见光和近红外数据。

作为一个实施例，在采集多张可见光样本图像和多张近红外样本图像时，将双目摄像头安装于可移动的导轨上，并在双目摄像头前方设置固定的待获取人脸区域，以及通过移动双目摄像头对待获取人脸区域进行图像采集，以获得不同位置的可见光样本图像和近红外样本图像，并记录每张可见光图像和每张近红外样本图像所对应的双目摄像头与人脸区域的距离。

作为一个具体实施例，如图4所示，将双目摄像头固定可移动的Y滑轨上，并采用固定的人脸采集区域，也就是说人相对背景是固定的；然后采用在导轨上移动摄像头的方式进行数据采集；采集时，限定人与摄像头的极限距离，例如极限距离为1米，则在该距离上，以10厘米为间隔在Y滑轨上标定10个位置；在该10个标定距离上移动摄像头，并在每个对应位置上的X滑轨方向随意移动，使得人出现在摄像头的任意位置，记录此时人与摄像头的距离并采集该时刻的可见光图像与近红外图像，每个标定距离采集多张图，且保证样本尽量多样。

步骤302，根据每张可见光样本图像的人脸位置和大小获取人脸先验信息。

作为一个实施例，采用人脸检测器在采集的可见光图像上检测出人脸的位置、大小信息，作为该设备条件下的人脸先验信息。

步骤303，对每张可见光样本图像进行差分处理以获取可见光差分图像，并对每张近红外样本图像进行差分处理以获取近红外差分图像。

需要说明的是，为了消除模态差异，分别对每张可见光样本图像和每张近红外样本图像各自差分得到多张可见光差分图像和多张近红外差分图像。

步骤304，将可见光差分图像划分为多个图像区块V＝{v₁，v₂，v₃，......v_n}，并将近红外差分图像划分为多个图像区块R＝{r₁，r₂，r₃，......r_n}，以及将可见光差分图像与近红外差分图像对应的图像区块组成区块对S＝{s₁，s₂，s₃，......s_n}，其中s_i＝{v_i，r_i}，1≤i≤n。

也就是说，将每张可见光差分图像划分为n个图像区块V＝{v₁，v₂，v₃，......v_n}，其中，v₁代表第一个图像区块，v_n代表第n个图像区块；并将近红外差分图像划分为n个图像区块R＝{r₁，r₂，r₃，......r_n}，其中，r₁代表第一个图像区块，r_n代表第n个图像区块；其中可见光差分图像划分的图像区块个数n＝近红外差分图像划分的图像区块个数n；然后将可见光差分图像与近红外差分图像相同位置的区块组成区块对，即一张可见光差分图像的n个图像区块V和一张近红外差分图像的n个图像区块R可以组成n个区块对S，其中s_i＝{v_i，r_i}表示第i个区块对，且1≤i≤n。

步骤305，根据区块对S的重要性对每个区块对赋予权重W＝{w₁，w₂，w₃，......w_n}，其中，∑w＝1。

作为一个实施例，根据区块对S的重要性预设区块对S中每个区块对s₁，s₂，s₃，......s_n所对应的权重w₁，w₂，w₃，......w_n。

步骤306，根据ECC算法，对每个区块对s_i进行训练，以获得与所有区块对S所对应的区块校准模型M＝{m₁，m₂，m₃，......m_n}^T。

也就是说，一张可见光差分图像和近红外差分图像的每个图像区块对应位置组成区块对，从而组成n个区块对，并对每个区块对s_i进行训练，每个区块对s_i得到一个模型m_i，并对所有模型m₁，m₂，m₃，......m_n进行转置，从而得到所有区块对S所对应的区块校准模型M。

步骤307，将区块校准模型与权重进行融合得到初步校准模型O＝W·M，其中·表示内积，W为每个区块对对应的权重W，M为区块校准模型。

步骤308，根据人脸先验信息构建人脸大小与对应的初步校准模型的映射关系，以获得最终的校准模型F＝(O；A)；其中O为初步校准模型，A为人脸先验信息。

进一步地，作为一个具体实施例，对每个区块对s_i进行训练，以获得与所有区块对S所对应的区块校准模型M＝{m₁，m₂，m₃，......m_n}^T，包括以下步骤：

S1，对参数p_j进行初始化处理，并设置迭代终止条件为：j≥5000且参数增量≤10^-10，其中，j为正整数；

S2，将v_i拉成向量并归一化得到

其中，i指的是可见光差分图像的第i个图像区块；

S3，令j＝1，采用参数p_j-1对r_n进行变换得到Φ(p_j-1)，并将r_i拉成向量并去均值得到

其中，i指的是与可见光差分图像的第i个图像区块对应相同位置的近红外差分图像的第i个图像区块。

S4，根据Φ(p_j-1)计算雅可比矩阵

其中，I(y)指r_i的像素强度，y指r_i的像素坐标；

S5，计算参数增量

其中，λ为常数；

为/>

的矩阵转置；

S6，更新参数

S7，判断是否满足迭代终止条件，若j≥5000且

则训练完毕，输出模型m_i＝Φ(p_j)；否则令j＝j+1，并重复执行步骤S3-S7。

综上所述，根据本发明实施例的基于可见光和近红外双目摄像头的人脸活体检测方法，首先控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态；当可见光摄像头检测到可见光人脸时，唤醒近红外摄像头，并通过近红外摄像头对当前场景进行拍摄以获得近红外图像；接着采用预设的校准模型对可见光人脸区域进行校准，以将可见光人脸区域映射到近红外图像所对应的近红外人脸区域；然后通过轻量级卷积神经网络判别近红外人脸区域是否有人脸；如果近红外人脸区域有人脸，则将可见光人脸区域的图像与近红外人脸区域的图像进行融合以获得融合图像；再接着分别对可见光人脸区域的图像、近红外人脸区域的图像和融合图像进行活体判别；最后根据可见光人脸区域所对应的活体判别结果、近红外人脸区域所对应的活体判别结果和融合图像所对应的活体判别结果进行人脸活体检测；由此，通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

另外，为了实现上述实施例，本发明提出了一种计算机可读存储介质，其上存储有基于可见光和近红外双目摄像头的人脸活体检测程序，该人脸活体检测程序被处理器执行时实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法。

根据本发明实施例的计算机可读存储介质，通过存储基于可见光和近红外双目摄像头的人脸活体检测程序，以便处理器在执行该基于可见光和近红外双目摄像头的人脸活体检测程序时实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法，从而通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

另外，为了实现上述实施例，本发明提出了一种人脸活体检测设备，包括基于可见光和近红外双目摄像头，所述人脸活体检测设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法。

根据本发明实施例的人脸活体检测设备，通过存储器存储可在处理器上运行的计算机程序，以便处理器在执行该计算机程序时，实现如上述的基于可见光和近红外双目摄像头的人脸活体检测方法，从而通过自动对两个摄像头的人脸区域进行校准，避免在双路视频流中的重复工作，同时使自动校准后的可见光人脸区域的图像和近红外人脸区域的图像形成融合图像用以辅助活体检测，从而提高活体检测的效率和可靠性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，包括以下步骤：

控制可见光摄像头处于工作状态以进行人脸检测，并控制近红外摄像头处于休眠状态；

通过所述可见光摄像头检测到可见光人脸时，唤醒所述近红外摄像头，并通过所述近红外摄像头对当前场景进行拍摄以获得近红外图像；

采用预设的校准模型对可见光人脸区域进行校准，以将所述可见光人脸区域映射到所述近红外图像所对应的近红外人脸区域；

通过轻量级卷积神经网络判别所述近红外人脸区域是否有人脸；

如果所述近红外人脸区域有人脸，则将所述可见光人脸区域的图像与所述近红外人脸区域的图像进行融合以获得融合图像；

分别对所述可见光人脸区域的图像、所述近红外人脸区域的图像和所述融合图像进行活体判别；

根据所述可见光人脸区域所对应的活体判别结果、所述近红外人脸区域所对应的活体判别结果和所述融合图像所对应的活体判别结果进行人脸活体检测。

2.如权利要求1所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，采用预设的校准模型对可见光人脸区域进行校准，以将所述可见光人脸区域映射到所述近红外图像所对应的近红外人脸区域，还包括：

根据所述可见光摄像头检测到人脸区域时，通过校准模型映射出近红外人脸区域，以避免在可见光摄像头与近红外摄像头中重复检测人脸。

3.如权利要求1所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，

通过轻量级卷积神经网络判别所述近红外人脸区域是否有人脸时，如果所述近红外人脸区域未检测到人脸，则初步判别为攻击。

4.如权利要求1所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，分别对所述可见光人脸区域的图像、所述近红外人脸区域的图像和所述融合图像进行活体判别，包括：

根据所述可见光人脸区域的图像进行表情动作捕获以获得所述可见光人脸区域所对应的活体判别结果；

根据所述近红外人脸区域的图像进行特征统计以获得所述近红外人脸区域所对应的活体判别结果；

根据所述融合图像进行颜色特征提取以获得所述融合图像所对应的活体判别结果。

5.如权利要求1所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，根据所述可见光人脸区域所对应的活体判别结果、所述近红外人脸区域所对应的活体判别结果和所述融合图像所对应的活体判别结果进行人脸活体检测，包括：

判断所述可见光人脸区域所对应的活体判别结果、所述近红外人脸区域所对应的活体判别结果和所述融合图像所对应的活体判别结果中是否存在至少两个判别结果为活体人脸；

如果存在至少两个判别结果为活体人脸，则判定检测到的人脸为活体人脸。

6.如权利要求1-5中任一项所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，所述预设的校准模型的训练步骤，包括：

采集多张可见光样本图像和多张近红外样本图像；

根据每张可见光样本图像的人脸位置和大小获取人脸先验信息；

对每张可见光样本图像进行差分处理以获取可见光差分图像，并对每张近红外样本图像进行差分处理以获取近红外差分图像；

将所述可见光差分图像划分为多个图像区块V＝{v₁，v₂，v₃，......v_n}，并将所述近红外差分图像划分为多个图像区块R＝{r₁，r₂，r₃，......r_n}，以及将所述可见光差分图像与所述近红外差分图像对应的图像区块组成区块对S＝{s₁，s₂，s₃，......s_n}，其中s_i＝{v_i，r_i}，1≤i≤n；

根据区块对S的重要性对每个区块对赋予权重W＝{w₁，w₂，w₃，......w_n}，其中，∑w＝1；

根据ECC算法，对每个区块对s_i进行训练，以获得与所有区块对S所对应的区块校准模型M＝{m₁，m₂，m₃，......m_n}^T；

将所述区块校准模型与权重进行融合得到初步校准模型O＝W·M，其中·表示内积；

根据所述人脸先验信息构建人脸大小与对应的初步校准模型的映射关系，以获得最终的校准模型F＝(O；A)。

7.如权利要求6所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，在采集多张可见光样本图像和多张近红外样本图像时，将双目摄像头安装于可移动的导轨上，并在所述双目摄像头前方设置不同采集距离，并在每个距离下固定人脸位置，以及通过移动所述双目摄像头对场景进行图像采集使人脸出现在图像中的不同位置，以获得不同位置的可见光样本图像和近红外样本图像，并记录每张可见光图像和每张近红外样本图像所对应的双目摄像头与人脸所在平面的距离。

8.如权利要求6所述的基于可见光和近红外双目摄像头的人脸活体检测方法，其特征在于，对每个区块对s_i进行训练，以获得与所有区块对S所对应的区块校准模型M＝{m₁，m₂，m₃，......m_n}^T，包括以下步骤：

S1，对参数p_j进行初始化处理，并设置迭代终止条件为：j≥NMAX且参数增量≤EPS，其中，j为正整数，NMAX和EPS分别为设定的j和参数增量的固定阈值；

S2，将v_i拉成向量并归一化得到

S3，令j＝1，采用参数p_j-1对r_i进行变换得到Φ(p_j-1)，并将r_i拉成向量并去均值得到

S4，根据Φ(p_j-1)计算雅可比矩阵

其中，I(y)指r_i的像素强度，y指r_i的像素坐标；

S5，计算参数增量

其中，λ为常数；/>

为/>

的矩阵转置；

S6，更新参数

S7，判断是否满足迭代终止条件，若j≥NMAX且

则训练完毕，输出模型m_i＝Φ(p_j)；否则令j＝j+1，并重复执行步骤S3-S7。

9.一种计算机可读存储介质，其特征在于，其上存储有基于可见光和近红外双目摄像头的人脸活体检测程序，该人脸活体检测程序被处理器执行时实现如权利要求1-6中任一项所述的基于可见光和近红外双目摄像头的人脸活体检测方法。

10.一种人脸活体检测设备，包括基于可见光和近红外双目摄像头，其特征在于，所述人脸活体检测设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一所述的基于可见光和近红外双目摄像头的人脸活体检测方法。

Images