CN114419741B - 活体检测方法、活体检测装置、电子设备以及存储介质 - Google Patents

Abstract

本申请公开了一种活体检测方法、活体检测装置、电子设备以及计算机存储介质，该活体检测方法包括：获取每个光谱通道对应的裁剪图像，裁剪图像基于待检测对象的多光谱图像获得；将裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值；若第一概率值不大于第一概率阈值，则获取每个光谱通道的权重值；将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到待检测对象的活体检测结果，目标光谱通道为权重值最高的光谱通道，目标单通道神经网络为训练完成的单通道神经网络中与目标光谱通道对应的单通道神经网络。该方法能够提高活体检测方法的鲁棒性，得到准确度较高的活体检测结果。

Description

活体检测方法、活体检测装置、电子设备以及存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种活体检测方法、活体检测装置、电子设备以及计算机可读存储介质。

背景技术

随着科学技术的发展，人脸识别技术也越来越成熟，逐步深入生活的方方面面，常见的应用如门禁、门锁及刷脸支付等。当人脸识别技术作为生活中重要的组成部分时，该技术的稳定性也受到了越来越多的关注。

为了提高人脸识别技术的稳定性，活体检测技术陆续被提出，以期代替传统的面部识别方法。例如，在检测的过程中要求用户做动作，通过获取多个图像进行检测，以判断当前的用户是否为活体。但是随着3D打印技术的发展，新型的攻击方式不断涌现，使得目前的活体检测方法的鲁棒性降低。

发明内容

本申请提供了一种活体检测方法、活体检测装置、电子设备及计算机可读存储介质，能够提高活体检测方法的鲁棒性。

第一方面，本申请提供了一种活体检测方法，包括：

获取每个光谱通道对应的裁剪图像，上述裁剪图像基于待检测对象的多光谱图像获得；

将上述裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值；

若上述第一概率值不大于预设的第一概率阈值，则获取每个光谱通道的权重值；

将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到上述待检测对象的活体检测结果，上述目标光谱通道为权重值最高的光谱通道，上述目标单通道神经网络为训练完成的单通道神经网络中与目标光谱通道对应的单通道神经网络。

第二方面，本申请提供了一种活体检测装置，包括：

第一获取模块，用于获取每个光谱通道对应的裁剪图像，上述裁剪图像基于待检测对象的多光谱图像获得；

第一检测模块，用于将上述裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值；

第二获取模块，用于若上述第一概率值不大于预设的第一概率阈值，则获取每个光谱通道的权重值；

第二检测模块，用于将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到上述待检测对象的活体检测结果，上述目标光谱通道为权重值最高的光谱通道，上述目标单通道神经网络为训练完成的单通道神经网络与目标光谱通道对应的单通道神经网络。

第三方面，本申请提供了一种电子设备，该电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

本申请与现有技术相比存在的有益效果是：先通过主干神经网络对裁剪图像进行活体检测，得到第一概率值，即相当于得到一个粗分类结果；当第一概率值不大于第一概率阈值时，说明得到的粗分类结果可信度不高。由于不同材质在相同光源下对应的光谱分布各不相同，且经光谱数据分析得知，不同材质的攻击道具在整个光谱通道上具有活体区分性，即材质的不同，最具代表性的光谱通道会有差异。基于此，可以根据粗分类结果选取出最具代表性的光谱通道所对应的裁剪图像进行细分类，即再次进行活体检测，从而提升活体检测方法的鲁棒性。也就是说，可以通过各个光谱通道的权重值选取出目标光谱通道，并将目标光谱通道所对应的裁剪图像输入目标单通道神经网络中再次进行活体检测，以得到准确度较高的活体检测结果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种活体检测方法的流程示意图；

图2是本申请实施例提供的一种实际应用场景下活体检测方法的流程示意图；

图3是本申请实施例提供的一种实际应用场景下活体检测模型的结构示意图；

图4是本申请实施例提供的活体检测装置的结构示意图；

图5是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

本申请实施例提供的活体检测方法可以应用于手机、平板电脑、车载设备、增强现实（augmented reality，AR）/虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personaldigital assistant，PDA）等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。

图1示出了本申请提供的活体检测方法的示意性流程图，该活体检测方法包括：

步骤110、获取每个光谱通道对应的裁剪图像。

裁剪图像是基于预先获取的多光谱图像得到的，该多光谱图像中包含了待检测对象。其中，多光谱图像为单个多光谱图像，该多光谱图像可以通过多光谱相机采集得到。多光谱相机的光谱通道数量可以是几个甚至几十个，例如六光谱通道、八光谱通道以及十六光谱通道等。其中，一个光谱通道对应一个波段的光。假设多光谱相机的光谱通道为八光谱通道，包含(400nm~800nm]波段的光，那么相对应地，每个光谱通道对应50nm的光，例如第一光谱通道对应(400nm~450nm]波段的光，第二光谱通道对应(450nm~500nm]波段的光，以此类推，第八光谱通道对应(750nm~800nm]波段的光。为了便于理解本申请的各个实施例，后续以八光谱通道进行举例说明。

步骤120、将裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值。

在获得各个光谱通道对应的裁剪图像之后，可以将该裁剪图像输入主干神经网络进行活体检测，其中，主干神经网络是预先训练好的。通过主干神经网络的检测，即可得到活体检测结果，即第一概率值。该第一概率值指的是待检测对象为活体的概率，该第一概率值越大，待检测对象为活体的可能性就越大。可以认为，通过主干神经网络进行活体检测的过程，是根据所有通道的裁剪图像进行粗分类的过程，其目的在于过滤可信度较高的活体检测结果。对于可信度不足的活体检测结果，可以进行细分类，并将细分类得到的活体检测结果作为最终的结果，以提高活体检测方法的鲁棒性，并提高活体检测结果的准确性。换句话说，可信度较高的活体检测结果即为第一概率值大于第一概率阈值的检测结果。其中，该第一概率阈值可以根据经验值设置，是基于第一概率值检验待检测对象是否为活体的一个检验标准。

步骤130、若第一概率值不大于预设的第一概率阈值，则获取每个光谱通道的权重值。

由于不同材质在相同光源下对应的光谱分布各不相同，且经光谱数据分析得知，不同材质的攻击道具在某个光谱通道上具有活体区分性，即材质的不同，最具代表性的光谱通道会有差异。因此，针对可信度不足的活体检测结果，也即针对第一概率值不大于第一概率阈值的活体检测结果，可以获取每个光谱通道的权重值。鉴于权重值越高的光谱通道，其活体区分性越强，因此，可以基于该权重值确定出最具代表性的光谱通道，以便于后续进一步进行细分类，得到最终的活体检测结果。

步骤140、将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到待检测对象的活体检测结果。

在得到各个光谱通道的权重值之后，可以先基于该权重值从各个光谱通道中确定出目标光谱通道，该目标光谱通道为权重值最高的光谱通道。然后将目标光谱通道对应的裁剪图像输入目标单通道神经网络中进行细分类，即再次进行活体检测，以得到最终的活体检测结果。其中，目标单通道神经网络是训练完成的单通道神经网络，且该单通道神经网络与目标光谱通道对应。例如，a光谱通道的权重值最高，那么可以将a光谱通道确定为目标光谱通道，并将a光谱通道对应的裁剪图像输入a通道神经网络中再次进行活体检测，以提高活体检测结果的准确性。

本申请实施例先通过主干神经网络对裁剪图像进行活体检测，得到第一概率值，即相当于得到一个粗分类结果；当第一概率值不大于第一概率阈值时，说明得到的粗分类结果可信度不高。由于不同材质在相同光源下对应的光谱分布各不相同，且经光谱数据分析得知，不同材质的攻击道具在整个光谱通道上具有活体区分性，即材质的不同，最具代表性的光谱通道会有差异。基于此，可以根据粗分类结果选取出最具代表性的光谱通道所对应的裁剪图像进行细分类，即再次进行活体检测，从而提升活体检测方法的鲁棒性。也即，可以通过各个光谱通道的权重值选取出目标光谱通道，并将目标光谱通道所对应的裁剪图像输入目标单通道神经网络中再次进行活体检测，以得到准确度较高的活体检测结果。

在一些实施例中，步骤110具体包括：

步骤111、基于各个光谱通道将多光谱图像拆分为单通道光谱图像。

步骤112、基于单通道光谱图像生成灰度图。

步骤113、确定灰度图中人脸关键点的坐标信息。

步骤114、针对每个单通道光谱图像，基于坐标信息对单通道光谱图像进行裁剪，得到与光谱通道对应的至少一个裁剪图像。

根据光谱通道的数量，可以将光谱图像对应拆分出与每个光谱通道对应的单通道光谱图像。以八光谱通道的多光谱相机采集到的多光谱图像为例，在得到该多光谱图像之后，可以基于该多光谱图像拆分出8个单通道光谱图像。为便于说明，可将8个单通道光谱图像分别以S₁~S₈进行表示，其中S₁对应(400nm~450nm]波段的光，S₂对应(450nm~500nm]波段的光，S₃~S₈以此类推。

在得到单通道光谱图像之后，可以基于各个单通道光谱图像生成灰度图。通过人脸关键点的检测，可以从该灰度图中确定出人脸关键点的坐标信息，然后基于该坐标信息，分别从每个单通道光谱图像中裁剪出至少一个裁剪图像。

仅作为示例，假定预设的裁剪部位为眼部图像和唇部图像，可以先确定出眼部图像和唇部图像所对应的人脸关键点的目标坐标信息，然后基于该目标坐标信息从每个单通道光谱图像中裁剪得到眼部图像和唇部图像。如果有8个单通道光谱图像，那么经过裁剪，可以得到每个光谱通道对应的眼部图像和唇部图像，即共得到8个眼部图像和8个唇部图像。

在一些实施例中，为了提高坐标信息确定的准确性，上述步骤112具体包括：

步骤1121、将单通道光谱图像中三原色通道所对应的单通道光谱图像确定为目标单通道光谱图像。

步骤1122、基于预设的灰度转换公式和目标单通道光谱图像生成灰度图。

三原色通道分别为R（700nm）通道、G（546nm）通道以及B（435nm）通道，可以基于这三个通道所对应的波段从各个单通道光谱图像中确定与之对应的单通道光谱图像。仍以八通道光谱为例，三原色通道在S₁~S₈中所对应的单通道光谱图像分别为S₁、S₃、S₆，也就是说，S₁、S₃、S₆这3个单通道光谱图像即为目标单通道光谱图像。

在确定出目标单通道光谱图像后，可以通过预设的灰度转换公式将3个单通道光谱图像转换生成灰度图。仅作为示例，灰度转换公式为：

Gray = 0.3 * R + 0.59 * G + 0.11 * B

在一些实施例中，为了提高活体的检测效率，上述步骤120可具体包括：

步骤121、分别对每个裁剪图像进行特征转换，得到每个裁剪图像对应的特征向量。

步骤122、对各个特征向量执行合并操作以及维度转换操作，得到特征数组。

步骤123、将特征数组输入训练完成的主干神经网络进行活体检测，得到第一概率值。

图像属于高维度的数据，如果直接根据裁剪图像进行活体检测，会因计算量过大导致活体检测效率低下。因此，为了提高活体检测的效率，可以对裁剪图像进行处理，将图像所呈现的特征用低维度的数据来表征，例如通过数组来表征。具体地，在本申请实施例中，可以先对每个裁剪图像进行特征转换，得到每个裁剪图像所对应的特征向量，然后对各个特征向量执行合并操作以及维度转换操作，以得到适宜神经网络处理的特征数组。

在得到特征数组之后，可以将该特征数组输入训练完成的主干神经网络中进行活体检测，以得到活体检测结果。通过该主干神经网络进行活体检测，即可得到第一概率值。

在一些实施例中，为了进一步提高活体检测效率，上述活体检测方法还包括：若第一概率值大于第一概率阈值，则确定待检测对象为活体。

为了确保活体检测方法的鲁棒性以及活体检测结果的准确性，可以将第一概率阈值设置的大一些，以确保当第一概率值大于第一概率阈值时，相对应地，所得到的活体检测结果准确性相对较高。在本申请实施例中，当设置了较为苛刻的第一概率阈值时，若经判断第一概率值大于第一概率阈值，则可以确定当前得到的活体检测结果的准确性较高，为了进一步提高活体检测的效率，此时可以直接确定待检测对象为活体。

在一些实施例中，上述步骤140具体包括：

步骤141、将目标特征数组输入目标单通道神经网络中，得到第二概率值。

步骤142、若第二概率值大于预设的第二概率阈值，则确定待检测对象的活体检测结果为活体。

步骤143、若第二概率值不大于预设的第二概率阈值，则确定待检测对象的活体检测结果为非活体。

由步骤121~123可知，为了提高活体检测的效率，在进行活体检测时，并非直接对裁剪图像进行检测，而是将裁剪图像转换为特征数组后，再将该特征数组输入主干神经网络进行检测。同理，在对目标光谱通道所对应的裁剪图像进行活体检测时，也是将该裁剪图像转换得到目标特征数组后，将该目标特征输入目标单通道神经网络中进行活体检测，以得到最终的活体检测结果。

活体检测结果有两种可能的情况，第一种可能的情况是：第二概率值大于预设的第二概率阈值，这种情况下可以确定待检测对象为活体；第二种可能的情况是：第二概率值不大于预设的第二概率阈值，这种情况下可以确定待检测对象为非活体。当得出的结论为待检测对象为非活体时，说明当前多光谱相机所采集到的多光谱图像为一种攻击图像，该攻击图像中的攻击方式包括但不限与打印纸张、翻拍视频以及各种材质的面具和头部模型等。随着科技的发展，对于传统的活体检测方法而言，上述部分攻击方式可以达到以假乱真的程度，使得传统活体检测方法的鲁棒性降低。但是不论是上述的哪种攻击方式，其材质和真人的皮肤之间均存在差异，因此对应的多光谱图像也会有所区别。本申请正是利用这种区别来进行活体检测，以提高活体检测方法的鲁棒性，进而提高活体检测的准确性。

在一些实施例中，要确保活体检测结果的准确性，神经网络的训练至关重要。其中，上述主干神经网络包括基础网络、检测神经网络及权重神经网络，主干神经网络和单通道神经网络通过以下步骤训练得到：

步骤A1、获取样本集中每个样本图像的样本特征数组和每个样本图像的真实标签。

步骤A2、基于样本特征数组和真实标签优化基础网络和检测神经网络，得到训练完成的检测神经网络。

步骤A3、基于样本特征数组、真实标签、训练完成的基础网络以及训练完成的检测神经网络优化权重神经网络以及初始单通道神经网络，得到训练完成的主干神经网络以及训练完成的单通道神经网络。

在对两个神经网络训练的过程中，先对主干神经网络的基础网络和检测神经网络进行训练，当训练完该基础网络和检测神经网络之后，可以基于这两个网络训练权重神经网络以及单通道神经网络，以降低神经网络的训练复杂度，提高神经网络训练的效率。

具体地，可以先获取样本集，然后对该样本集中的每个样本图像进行特征转换，得到样本特征数组。由于本训练过程为监督学习，因此，每个样本图像会有一个真实标签，即每个样本图像对应有一个标识该样本图像中的待检测对象为活体还是非活体的标签。在得到样本特征数组和真实标签后，可以基于这两种数据对基础网络和检测神经网络进行优化，以完成基础网络和检测神经网络的训练。在得到训练完成的基础网络和训练完成的检测神经网络后，可以进一步对权重神经网络以及初始单通道神经网络进行训练，以得到训练完成的主干神经网络和训练完成的单通道神经网络。

在一些实施例中，上述步骤A1具体包括：

A11、将样本特征数组输入基础网络进行特征提取，得到样本待测数组。

A12、将样本待测数组输入检测神经网络进行活体检测，得到每个样本图像的第一预测标签。

A13、基于第一预测标签和真实标签优化所述基础网络和检测神经网络，得到训练完成的基础网络和训练完成的检测神经网络。

在得到样本特征数组后，可以将该样本特征数组依次输入基础网络进行特征提取，得到样本待测数组。可以理解的是，特征转换是将特征的形式从图片形式转换为数组形式，而此处特征提取的目的是在于提取更具活体区分性的特征以输入后主干神经的两个分支网络进行活体检测，从而提高活体检测方法的可靠性。

在得到样本待测数组后，即可将该样本待测数组输入检测神经网络中，得到每个样本图像的预测标签，为了与后续的预测标签进行区分，可以将该预测标签记作第一预测标签。并在完成预测之后，通过第一预测标签和真实标签训练检测神经网络。例如根据第一预测标签和真实标签计算损失值，并将该损失值记作第一损失值，之后基于第一损失值来优化检测神经网络的网络参数。

应当理解的是，当第一损失值小于预设的第一损失值阈值时，说明检测神经网络已收敛，可得到训练完成的检测神经网络。但是当第一损失值不小于预设的第一损失阈值时，说明检测神经网络还未收敛，可通过样本集对优化后的检测神经网络再次进行训练，直至检测神经网络收敛，得到训练完成的检测神经网络。

此外，为了提高训练的效率，在该过程中，虽然权重神经网络也会进行数据处理得到各个光谱通道的权重值，但是在此步骤中并不对权重神经网络的网络参数进行调整。即仅将基础网络和检测神经网络作为一个整体进行训练，将权重神经网络和单通道神经网络作为另一个整体进行训练。

在一些实施例中，上述步骤A3具体包括：

步骤A31、将样本特征数组输入训练完成的基础网络进行特征提取，得到新的样本待测数组；

步骤A32、将样本待测数组输入训练完成的检测神经网络和权重神经网络进行活体检测，得到各个光谱通道的预测权重。

步骤A33、将各个光谱通道对应的样本特征数组分别输入对应的初始单通道神经网络进行活体检测，得到每个样本图像的第二预测标签。

步骤A34、基于第二预测标签确定各个光谱通道的真实权重。

步骤A35、基于第二预测标签和真实标签优化初始单通道神经网络，基于预测权重和真实权重优化权重神经网络，得到训练完成的主干神经网络和训练完成的单通道神经网络。

在训练完成的基础网络和训练完成的检测神经网络的基础上，可以更高效地训练权重神经网络和单通道神经网络。具体地，可以将样本特征数组输入主干神经网络中进行活体检测，并在检测完成后，获取各个光谱通道的预测权重值，以便于后续对权重神经网络进行训练。

每个光谱通道对应构建一个单通道神经网络，预先对各个单通道神经网络进行初始化，可得到初始单通道神经网络，将每个光谱通道对应的样本特征数组输入对应的初始单通道神经网络进行活体检测，即可得到每个样本图像的第二预测标签。为了便于理解，举例说明：假定样本图像为N个八光谱通道的多光谱图像，那么初始单通道神经网络可以为8个，且与8个光谱通道一一对应。针对每个样本图像，可以将每个样本图像的第一个光谱通道对应的样本特征数组输入该光谱通道所对应的初始神经网络进行活体检测，以得到1个第二预测标签，当每个初始神经网络都完成检测后，即可得到8N个第二预测标签。

针对不同类型的样本图像，其最具代表性的光谱通道各不相同。针对同一类型的样本图像，对其每个光谱通道对应的样本特征数组进行活体检测后，若某个光谱通道对应的第二预测标签最接近真实标签，则说明该样本图像在该光谱通道上的活体区分性越强；也就是说，该光谱通道是这一类型样本图像的各个光谱通道中最具代表性的光谱通道。可以认为，该光谱通道的权重值是各个光谱通道中的权重值中最高的一个。基于这个规律，可根据各个第二预测标签确定每个光谱通道的真实权重值。

在确定出预测权重值和真实权重值之后，可以根据这两种权重值优化权重神经网络的网络参数；在得到第二预测标签后，可以结合真实标签优化初始单通道神经网络的网络参数。

可选地，在优化权重神经网络的网络参数的过程中，可以先根据预测权重值和真实权重值计算对应的损失值，记作第二损失值，基于该第二损失值来调整权重神经网络的网络参数，以使得优化后的权重神经网络再次处理样本图像所得到的预测权重值更贴近真实权重值。可以理解的是，要得到训练完成的权重神经网络，可以将当前的权重神经网络是否收敛作为是否结束训练的条件。若第二损失值小于第二损失阈值，则说明当前的权重神经网络已经收敛，可以结束训练，即当前得到的权重神经网络即为训练完成的权重神经网络。若第二损失值不小于第二损失阈值，则说明当前的权重神经网络还未收敛，可以通过样本集对优化后的权重神经网络再次进行训练，直至权重神经网络收敛，得到训练完成的权重神经网络。

可选地，与权重神经网络的优化方式类似，对于初始单通道神经网络，可以先根据第二预测标签与真实标签计算出损失值，记作第三损失值，之后基于第三损失值来优化初始单通道神经网络的网络参数。其具体的优化方法与主干神经网络的基础网络和两个分支网络的优化方法类似，在此不在赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为便于理解，下面以实际应用场景来说明本申请提出的活体检测方法，其具体流程参阅图2，该活体检测方法具体包括：

步骤201、获取包含待检测对象的多光谱图像。

多光谱图像可以通过多光谱相机采集得到，且该多光谱相机为八光谱通道的相机，对应400~800波段的光。为了便于后续描述，可以将多光谱图像记作Raw。

步骤202、基于光谱通道拆分该多光谱图像，得到单通道光谱图像。

当光谱通道数量为8时，每个光谱通道可以拆分出一个单通道光谱图像，也即可以从多光谱图像中拆分出8个单通道光谱图像。将单通道光谱图像用S_i表示，i

{1，…，8}，每个单通道光谱图像代表了光源在该波段范围内的特性成像。

步骤203、基于三原色通道从单通道光谱图像中确定目标单通道光谱图像，并基于预设的灰度转换公式将目标单通道光谱图像转换生成灰度图像。

三原色通道分别为R（700nm）通道、G（546nm）通道以及B（435nm）通道，基于这几个波值，可以确定出目标单通道光谱图像分别为S₁、S₃、S₆，将这三个单通道光谱图像通过下述灰度转换公式，得到对应的灰度图。

Gray = 0.3 * R + 0.59 * G + 0.11 * B

步骤204、确定灰度图中人脸关键点的坐标信息。

可以将灰度图输入预先训练完成的人脸关键点检测网络进行检测，得到人脸关键点的坐标信息。人脸关键点可以刻画出该灰度图中人脸的关键部位，例如面部、眼部、鼻子以及嘴唇。因此，基于坐标信息，可以准确定为到想要获取的人脸部位，例如眼部。

步骤205、针对每个单通道光谱图像，基于坐标信息从该单通道光谱图像中裁剪得到预设人脸部位所对应的裁剪图像。

在应用的过程中，可以固定裁剪1个以上具有代表性的人脸部位来进行活体检测，且该人脸部位的可变性较弱，例如：脸颊相对于眼部（可能会戴眼镜）和唇部（涂抹不同质地的口红）的可变性较弱，因此脸颊相对于眼部和唇部更适合作为预设人脸部位。通过对人脸部位进行裁剪，可以得到至少一个裁剪图像，为了便于后续描述，将裁剪图像记作P_i，其中i

{1,...,M}，M为人脸部位的数量。裁剪图像P_i即为后续活体检测的输入数据。当然，在训练的过程中，为了提高活体检测模型的鲁棒性，人脸部位可以是随机的。

可选地，为了提高图像裁剪的准确性，可以先基于位置信息从每个单通道光谱图像中裁剪出人脸图像，以减小图像中各种噪声对图像裁剪的准确性的影响，再从每个图像中准确裁剪得到各个裁剪图像P_i。其中，该人脸图像可被记作C_k,k

{1,...,8}。

鉴于每个单通道光谱图像中所裁剪的人脸部位是相同的，因此在完成对每个单通道光谱图像的裁剪后，可以得到一个裁剪图像的集合P_j，其中j

{1,...,8M}，8为光谱通道的数量。为了便于数据的处理，可以固定每个裁剪图像的宽和高，并将宽和高分别用W和H表示。

步骤206、对每个裁剪图像进行特征转换，得到对应的特征向量。

可以将每个裁剪图像输入特征转换网络进行特征转换，以得到对应的特征向量。在本申请实施例中，是利用Patch_Embeding这一简单卷积网络对每个裁剪图像进行特征转换，特征转换的过程也即将每个裁剪图像中H*W的光谱信息转换为Q维向量的过程。

步骤207、对各个特征向量执行合并操作以及维度转换操作，得到特征数组。

在得到各个特征向量后，可以将所有特征向量合并，并完成维度转换，以得到（M*N）*K*K的特征数组，其中Q=K*K。

步骤208、将特征数组输入训练完成的主干神经网络进行活体检测，得到粗分类结果和每个单通道光谱图像的权重值。

通过主干神经网络的检测，即可得出粗分类结果，记作RC，以及单通道光谱图像的权重值，记作WP_i，其中i

{1,...,N}，WP_i

[0,1]。

步骤209、判断RC是否大于预设第一阈值。

为了确定待检测对象的活体检测结果，可以预设一个概率阈值，以确定是否能够通道粗分类得到最终结果。

步骤210、若RC大于第一阈值，则确定待检测对象为活体。

第一阈值一般会设定的比较大，若RC大于第一阈值，则说明当前得到的活体检测结果的准确性较高，为了进一步提高活体检测的效率，可以直接确定待检测对象为活体。

步骤211、若RC不大于第一阈值，则获取单通道光谱图像的权重值，并基于该权重值确定从各个裁剪图像中确定目标裁剪图像。

若RC不大于第一阈值，则说明当前得到的活体检测结果的准确性偏低，也即无法通过粗分类获得较为准确的活体检测结果。为了提高活体检测结果的准确性，可以先将权重值最高的单通道光谱图像所对应的裁剪图像确定为目标裁剪图像，再基于该目标裁剪图像进行细分类，以得到准确性较高的活体检测结果。

步骤212、将目标裁剪图像输入目标单通道神经网络中进行细分类，以得到细分类结果。

目标裁剪图像是多光谱图像（步骤201所获得的）的多个光谱通道中最具活体区分性的光谱通道对应的裁剪图像。基于此，针对该目标裁剪图像进行细分类，可以分到更为精确的细分类结果，将该细分类结果记作RF。细分类结果有两种情形，即，一种情形是如果RF大于第二阈值，输出待检测对象为活体；另一种情形是如果RF不大于第二阈值，输出待检测对象为非活体。

在一些实施例中，参阅图3，图3示出了一种检测模型，该模型的各个网络可以实现上述检测方法的各个步骤。

对应于上文实施例的活体检测方法，图4示出了本申请实施例提供的活体检测装置4的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图4，该活体检测装置4包括：

第一获取模块41，用于获取每个光谱通道对应的裁剪图像，裁剪图像基于待检测对象的多光谱图像获得；

第一检测模块42，用于基于裁剪图像和训练完成的主干神经网络进行活体检测，得到第一概率值；

第二获取模块43，用于若第一概率值不大于预设的第一概率阈值，则获取每个光谱通道的权重值；

第二检测模块44，用于将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到待检测对象的活体检测结果，目标光谱通道为权重值最高的光谱通道，目标单通道神经网络为训练完成的单通道神经网络与目标光谱通道对应的单通道神经网络。

可选地，上述第一获取模块41可以包括：

拆分单元，用于基于各个光谱通道将多光谱图像拆分为单通道光谱图像；

生成单元，用于基于单通道光谱图像生成灰度图；

第一确定单元，用于确定灰度图中人脸关键点的坐标信息；

裁剪单元，用于针对每个单通道光谱图像，基于坐标信息对单通道光谱图像进行裁剪，得到与光谱通道对应的至少一个裁剪图像。

可选地，上述生成单元可以包括：

确定子单元，用于将单通道光谱图像中三原色通道所对应的单通道光谱图像确定为目标单通道光谱图像；

生成子单元，用于基于预设的灰度转换公式和目标单通道光谱图像生成灰度图。

可选地，上述第一检测模块42可以包括：

提取单元，用于分别对每个裁剪图像进行特征转换，得到每个裁剪图像对应的特征向量；

操作单元，用于对各个特征向量执行合并操作以及维度转换操作，得到特征数组；

第一检测单元，用于将特征数组输入训练完成的主干神经网络进行活体检测，得到第一概率值。

可选地，上述第二检测模块44可以包括：

第二检测单元，用于将目标特征数组输入目标单通道神经网络中，得到第二概率值，目标特征数组为基于目标光谱通道所对应的裁剪图像得到的特征数据；

第二确定单元，用于若第二概率值大于预设的第二概率阈值，则确定待检测对象的活体检测结果为活体；

第三确定单元，用于若第二概率值不大于预设的第二概率阈值，则确定待检测对象的活体检测结果为非活体。

可选地，上述主干神经网络包括基础网络、检测神经网络及权重神经网络，上述活体检测装置3还可以包括：

第三获取模块，用于获取样本集中每个样本图像的样本特征数组和每个样本图像的真实标签；

第一优化模块，用于基于样本特征数组和真实标签优化基础网络和检测神经网络，得到训练完成的基础网络和训练完成的检测神经网络；

第二优化模块，用于基于样本特征数组、真实标签、训练完成的基础网络以及训练完成的检测神经网络优化权重神经网络以及初始单通道神经网络，得到训练完成的主干神经网络以及训练完成的单通道神经网络。

可选地，上述第一优化模块包括：

第一提取单元用于将样本特征数组输入基础网络进行特征提取，得到样本待测数组；

第一预测单元，将样本待测数组输入检测神经网络进行活体检测，得到每个样本图像的第一预测标签；

第一优化单元，用于基于第一预测标签和真实标签优化基础网络和检测神经网络，得到训练完成的训练完成的基础网络和检测神经网络；

上述第二优化模块包括：

第二提取单元用于将样本特征数组输入训练完成的基础网络进行特征提取，得到新的样本待测数组；

第二预测单元，将新的样本待测数组输入训练完成的检测神经网络和权重神经网络进行活体检测，得到各个光谱通道的预测权重；

第三预测单元，用于将各个光谱通道对应的样本特征数组分别输入对应的初始单通道神经网络进行活体检测，得到每个样本图像的第二预测标签；

第四确定模块，用于基于第二预测标签确定各个光谱通道的真实权重；

第二优化单元，用于基于第二预测标签和真实标签优化初始单通道神经网络，基于预测权重和真实权重优化权重神经网络，得到训练完成的主干神经网络和训练完成的单通道神经网络。

需要说明的是，上述装置/单元之间的信息交互和执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图5为本申请一实施例提供的电子设备的物理层面的结构示意图。如图5所示，该实施例的电子设备5包括：至少一个处理器50（图5中仅示出一个）处理器、存储器51以及存储在存储器51中并可在至少一个处理器50上运行的计算机程序52，处理器50执行计算机程序52时实现上述任意活体检测方法实施例中的步骤，例如图1所示出的步骤110-140。

所称处理器50可以是中央处理单元（Central Processing Unit，CPU），该处理器50还可以是其他通用处理器、数字信号处理器（ Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器51在一些实施例中可以是电子设备5的内部存储单元，例如电子设备5的硬盘或内存。存储器51在另一些实施例中也可以是电子设备5的外部存储设备，例如电子设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。

进一步地，存储器51还可以既包括终端设备5的内部存储单元也包括外部存储设备。存储器51用于存储操作装置、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，例如计算机程序的程序代码等。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种活体检测方法，其特征在于，包括：

获取每个光谱通道对应的裁剪图像，所述裁剪图像基于待检测对象的多光谱图像获得；

将所述裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值；

若所述第一概率值不大于预设的第一概率阈值，则获取每个光谱通道的权重值，所述权重值用于表征不同光谱通道的活体区分性；

将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到所述待检测对象的活体检测结果，所述目标光谱通道为权重值最高的光谱通道，所述目标单通道神经网络为训练完成的单通道神经网络中与目标光谱通道对应的单通道神经网络。

2.如权利要求1所述的活体检测方法，其特征在于，所述获取每个光谱通道对应的裁剪图像，包括：

基于各个所述光谱通道将所述多光谱图像拆分为单通道光谱图像；

基于所述单通道光谱图像生成灰度图；

确定所述灰度图中人脸关键点的坐标信息；

针对每个所述单通道光谱图像，基于所述坐标信息对所述单通道光谱图像进行裁剪，得到与所述光谱通道对应的至少一个裁剪图像。

3.如权利要求2所述的活体检测方法，其特征在于，所述基于所述单通道光谱图像生成灰度图，包括：

将所述单通道光谱图像中三原色通道所对应的单通道光谱图像确定为目标单通道光谱图像；

基于预设的灰度转换公式和所述目标单通道光谱图像生成所述灰度图。

4.如权利要求1所述的活体检测方法，其特征在于，所述将所述裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值，包括：

分别对每个裁剪图像进行特征转换，得到每个所述裁剪图像对应的特征向量；

对各个所述特征向量执行合并操作以及维度转换操作，得到特征数组；

将所述特征数组输入训练完成的主干神经网络进行活体检测，得到所述第一概率值。

5.如权利要求4所述的活体检测方法，其特征在于，所述将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到所述待检测对象的活体检测结果，包括：

将目标特征数组输入所述目标单通道神经网络中，得到第二概率值，所述目标特征数组为基于目标光谱通道所对应的裁剪图像得到的特征数据；

若第二概率值大于预设的第二概率阈值，则确定所述待检测对象的活体检测结果为活体；

若第二概率值不大于预设的第二概率阈值，则确定所述待检测对象的活体检测结果为非活体。

6.如权利要求1-5任意一项所述的活体检测方法，其特征在于，所述主干神经网络包括基础网络、检测神经网络及权重神经网络，所述主干神经网络和所述单通道神经网络通过以下步骤训练得到：

获取样本集中每个样本图像的样本特征数组和每个样本图像的真实标签；

基于所述样本特征数组和所述真实标签优化所述基础网络和所述检测神经网络，得到训练完成的基础网络和训练完成的检测神经网络；

基于所述样本特征数组、所述真实标签、所述训练完成的基础网络以及所述训练完成的检测神经网络优化所述权重神经网络以及初始单通道神经网络，得到所述训练完成的主干神经网络以及所述训练完成的单通道神经网络。

7.如权利要求6所述的活体检测方法，其特征在于，所述基于所述样本特征数组和所述真实标签优化所述基础网络和所述检测神经网络，得到训练完成的基础网络和训练完成的检测神经网络，包括：

将所述样本特征数组输入所述基础网络进行特征提取，得到样本待测数组；

将所述样本待测数组输入所述检测神经网络进行活体检测，得到每个所述样本图像的第一预测标签；

基于所述第一预测标签和所述真实标签优化所述基础网络和所述检测神经网络，得到所述训练完成的基础网络和所述训练完成的检测神经网络；

所述基于所述样本特征数组、所述真实标签、所述训练完成的基础网络以及所述训练完成的检测神经网络优化所述权重神经网络以及初始单通道神经网络，得到所述训练完成的主干神经网络以及所述训练完成的单通道神经网络，包括：

将所述样本特征数组输入所述训练完成的基础网络进行特征提取，得到新的样本待测数组；

将所述新的样本待测数组输入所述训练完成的检测神经网络和所述权重神经网络进行活体检测，得到各个所述光谱通道的预测权重；

将各个所述光谱通道对应的样本特征数组分别输入对应的所述初始单通道神经网络进行活体检测，得到每个所述样本图像的第二预测标签；

基于所述第二预测标签确定各个所述光谱通道的真实权重；

基于所述第二预测标签和所述真实标签优化所述初始单通道神经网络，基于所述预测权重和所述真实权重优化所述权重神经网络，得到所述训练完成的主干神经网络和所述训练完成的单通道神经网络。

8.一种活体检测装置，其特征在于，包括：

第一获取模块，用于获取每个光谱通道对应的裁剪图像，所述裁剪图像基于待检测对象的多光谱图像获得；

第一检测模块，用于将所述裁剪图像输入训练完成的主干神经网络进行活体检测，得到第一概率值；

第二获取模块，用于若所述第一概率值不大于预设的第一概率阈值，则获取每个光谱通道的权重值，所述权重值用于表征不同光谱通道的活体区分性；

第二检测模块，用于将目标光谱通道所对应的裁剪图像输入目标单通道神经网络进行活体检测，以得到所述待检测对象的活体检测结果，所述目标光谱通道为权重值最高的光谱通道，所述目标单通道神经网络为训练完成的单通道神经网络与目标光谱通道对应的单通道神经网络。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的活体检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的活体检测方法。

Images