CN117115886A - 活体检测模型的跨场景适配方法及装置 - Google Patents

Abstract

本说明书涉及人脸识别技术领域，提供了一种活体检测模型的跨场景适配方法及装置，包括将目标场景下的人脸数据输入预先训练的基础模型得到活体检测特征，将活体检测特征输入预先训练的多个插件模块得到每个插件模块的插件特征，根据每个插件模块的插件特征选择目标插件模块，基于目标插件模块对基础模型进行融合处理得到活体检测模型。本说明书实施方式中，利用预先训练的不同场景的插件模块及基础模型，基于新场景自适应选择目标插件模块与基础模型融合处理，实现活体检测模型跨场景的快速适配与部署，无需构建和训练多个不同场景的活体检测模型，极大降低了对算力资源的消耗，可以实现在轻量级设备上的快速适配和部署。

Description

活体检测模型的跨场景适配方法及装置

技术领域

本说明书一个或多个实施方式涉及人脸识别技术领域，尤其涉及一种活体检测模型的跨场景适配方法及装置。

背景技术

现如今，人脸识别技术为人们生产和生活提供了很多便利，其广泛应用于支付系统、门禁系统、考勤系统等众多场景，活体检测是保障人脸识别安全的重要部分。随着机器学习(Machine Learning)技术的发展，如今大部分活体检测算法都是数据驱动的深度学习方法，通过训练活体检测模型对输入人脸图像进行活体检测。但是，现有的活体检测模型的跨场景适配能力不足，导致在跨场景应用时会出现显著的性能下降。

发明内容

为提高活体检测模型的跨场景适配能力，提高活体检测效果，本说明书一个或多个实施方式提供了一种活体检测模型的跨场景适配方法及装置、活体检测方法及装置、电子设备、存储介质。

第一方面，本说明书一个或多个实施方式提供了一种活体检测模型的跨场景适配方法，包括：

将目标场景下的人脸数据输入预先训练得到的基础模型，得到所述基础模型输出的活体检测特征；

将所述活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征；其中，每个插件模块是基于一个场景的样本数据训练得到；

根据每个插件模块输出的所述插件特征，从所述多个插件模块中选择至少一个目标插件模块；

基于所述目标插件模块对所述基础模型进行融合处理，得到所述目标场景对应的活体检测模型。

在本说明书一个或多个实施方式中，所述基于所述目标插件模块对所述基础模型进行融合处理，得到所述目标场景对应的活体检测模型，包括：

根据所述活体检测特征，从所述基础模型包括的多层中间层中确定目标融合层；

根据所述目标插件模块的网络参数对所述目标融合层的网络参数进行融合处理，得到所述活体检测模型。

在本说明书一个或多个实施方式中，所述根据所述活体检测特征，从所述基础模型包括的多层中间层中确定目标融合层，包括：

将所述活体检测特征输入预先训练的层次选择模块，得到所述层次选择模块输出的所述目标融合层。

在本说明书一个或多个实施方式中，所述根据每个插件模块输出的所述插件特征，从所述多个插件模块中选择至少一个目标插件模块，包括：

将每个插件模块输出的所述插件特征输入预先训练的自适应插件模块，得到所述自适应插件模块输出的所述目标插件模块。

在本说明书一个或多个实施方式中，预先训练得到所述基础模型的过程，包括：

获取第一训练数据集，所述第一训练数据集包括多个不同场景的样本数据；

将所述第一训练数据集输入初始模型及待剪枝模型，得到所述初始模型输出的第一活体检测特征和第一活体检测结果，以及所述待剪枝模型输出的第二活体检测特征和第二活体检测结果；

基于第一活体检测特征和第二活体检测特征，以及所述第一活体检测结果和第二活体检测结果之间的差异，对所述待剪枝模型进行剪枝训练，直至所述待剪枝模型满足收敛条件，得到所述基础模型。

在本说明书一个或多个实施方式中，预先训练得到所述插件模块的过程包括：

获取第二训练数据集，所述第二训练数据集包括一个场景的样本数据；

将所述第二训练数据集输入已训练的所述基础模型，得到所述基础模型输出的活体检测特征；

将所述基础模型输出的活体检测特征输入待训练的插件模块，得到所述插件模块输出的插件特征；

将所述插件特征输入已训练的所述基础模型，得到所述基础模型输出的活体检测结果；

基于所述活体检测结果对应的损失，对所述插件模块的参数进行调整，直至满足收敛条件，得到训练后的所述插件模块。

在本说明书一个或多个实施方式中，预先训练得到所述自适应插件模块的过程，包括：

获取第三训练数据集，所述第三训练数据集包括不同于所述多个插件模块对应场景的预设场景的样本数据；

将所述第三训练数据集输入已训练的所述基础模型，得到所述基础模型输出的活体检测特征；

将所述活体检测特征分别输入已训练的多个插件模块，得到每个插件模块输出的插件特征；

将每个插件模块的所述插件特征输入待训练的自适应插件模块，得到每个插件模块对应的第一概率值；

基于预设约束条件和每个插件模块的第一概率值确定损失值，并基于所述损失值对所述自适应插件模块的网络参数进行调整，直至满足收敛条件，得到训练后的自适应插件模块。

第二方面，本说明书一个或多个实施方式提供了一种活体检测方法，包括：

获取目标场景下采集到的待检测人脸图像；

将所述待检测人脸图像输入活体检测模型，得到所述活体检测模型输出的活体检测结果，所述活体检测模型根据第一方面任意实施方式所述的方法得到。

第三方面，本说明书一个或多个实施方式提供了一种活体检测模型的跨场景适配装置，包括：

基础模型，被配置为将目标场景下的人脸数据输入预先训练得到的基础模型，得到所述基础模型输出的活体检测特征；

多场景插件模块，被配置为将所述活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征；其中，每个插件模块是基于一个场景的样本数据训练得到；

自适应插件模块，被配置为根据每个插件模块输出的所述插件特征，从所述多个插件模块中选择至少一个目标插件模块；

融合处理模块，被配置为基于所述目标插件模块对所述基础模型进行融合处理，得到所述目标场景对应的活体检测模型。

第四方面，本说明书一个或多个实施方式提供了一种活体检测装置，包括：

图像采集模块，被配置为获取目标场景下采集到的待检测人脸图像；

活体检测模型，被配置为将所述待检测人脸图像输入活体检测模型，得到所述活体检测模型输出的活体检测结果，所述活体检测模型根据第一方面任意实施方式所述的方法得到。

第五方面，本说明书一个或多个实施方式提供了一种电子设备，包括：

处理器；和

存储器，存储有计算机指令，所述计算机指令用于使所述处理器执行第一方面或第二方面中任意实施方式所述的方法。

第六方面，本说明书一个或多个实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行第一方面或第二方面中任意实施方式所述的方法。

本说明书实施方式的活体检测模型的跨场景适配方法，包括将目标场景下的人脸数据输入预先训练的基础模型得到活体检测特征，将活体检测特征输入预先训练的多个插件模块得到每个插件模块的插件特征，根据每个插件模块的插件特征选择目标插件模块，基于目标插件模块对基础模型进行融合处理得到活体检测模型。本说明书实施方式中，利用预先训练的不同场景的插件模块及基础模型，基于新场景自适应选择目标插件模块与基础模型融合处理，在保证模型性能的基础上，实现活体检测模型跨场景的快速适配与部署，无需构建和训练多个不同场景的活体检测模型，极大降低了对算力资源的消耗，可以实现在轻量级设备上的快速适配和部署。并且无需重新采集大量新场景数据进行人工标注和网络训练，提高适配效率而且可以应对各种新场景，适于规模化推广。

附图说明

图1是本说明书一些实施方式提供的活体检测模型的跨场景适配装置的结构框图。

图2是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的流程图。

图3是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的流程图。

图4是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的流程图。

图5是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的原理图。

图6是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的流程图。

图7是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的原理图。

图8是本说明书一些实施方式提供的活体检测模型的跨场景适配方法的流程图。

图9是本说明书一些实施方式提供的活体检测方法的流程图。

图10是本说明书一些实施方式提供的活体检测装置的结构框图。

图11是本说明书一些实施方式提供的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施方式进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施方式中所描述的实施方式并不代表与本说明书一个或多个实施方式相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施方式的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施方式中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施方式中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施方式中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施方式中也可能被合并为单个步骤进行描述。

而且，本说明书所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

现如今，人脸识别技术为人们生产和生活提供了诸多便利，其广泛应用于支付系统、门禁系统、考勤系统等众多场景，但是与此同时，人脸识别技术也具有其独特的安全风险问题，导致发展受限，其中，活体攻击是最为常见，也即最具有威胁的安全风险之一。

活体攻击是指攻击者利用手机照片、打印照片、人脸面具等手段代替真实人脸，对人脸识别系统突破尝试的手段，为检测活体攻击，各类活体检测方法被提出。随着机器学习(Machine Learning)技术的发展，附近大部分活体检测算法都是数据驱动的深度学习方法，也即，通过构建和训练活体检测模型，将待识别人脸图像输出活体检测模型，确定待识别人脸图像是攻击图像还是真实活体图像，以此在保证人脸识别系统安全。

但是，人脸识别系统的应用场景众多，基于某场景的数据集训练得到的活体检测模型，在跨场景部署到新场景应用时，往往会出现较为显著的性能下降，导致活体检测模型的跨场景适配能力不足。

相关技术中，为解决活体检测模型的跨场景适配问题，所采用的跨场景适配方法主要分为以下两种类型：

1)基于云端多模型融合的跨场景适配方法

这种方法可以在云端训练大量针对不同场景的活体检测模型，例如可以针对N个场景训练得到N个活体检测模型，并将N个活体检测模型部署于云端服务器。在应用过程中，前端将采集的人脸图像上传到云端，然后分别输入到N个不同的活体检测模型中，得到不同的活体检测结果，最后通过融合N个活体检测结果得到最终的活体检测结果。

这种方法的优点是性能较好，但是缺点是需要训练和部署大量的活体检测模型，不易维护且共对计算资源消耗巨大，只能在云端服务器部署，无法在低算力的前端(例如移动终端)部署，应用十分受限。

2)基于新场景数据调参的跨场景适配方法

这种方法可以在活体检测模型跨场景部署时，采集大量新场景的数据，然后对原本的活体检测模型重新训练并部署。这种方式需要采集和标注大量的新场景数据，数据工程的工作量很大，适配周期较长，而且每当遇到一个新场景都需要重新适配，无法规模化。

根据上述可知，如何解决活体检测模型跨场景适配的性能和效率问题，是人脸识别领域的重点和难点问题。基于此，本说明书一个或多个实施方式提供了一种活体检测模型的跨场景适配方法及装置、活体检测方法及装置、电子设备、存储介质，旨在活体检测模型的跨场景应用时，实现模型快速适配和部署，同时保证模型性能。

在一些实施方式中，本说明书提供了一种活体检测模型的跨场景适配方法，该方法可应用于电子设备中。

而且，本说明书实施方式中无需训练和部署多个活体检测模型，只需要训练一个轻量化的基础模型和多个插件模块即可，因此对计算资源的消耗很小，完全可以满足移动终端、可穿戴设备等轻量化设备的部署需求。因此，本说明书实施方式所述的电子设备，可以是例如移动终端、可穿戴设备、服务器、云平台等任何适于实施的设备类型，本说明书对此不作限制。

图1示出了本说明书实施方式中活体检测模型的跨场景适配方法的架构图，参见图1所示，本说明书实施方式的活体检测模型的跨场景适配方法主要包括如下4个部分：

1)基础模型

本说明书实施方式中，首先需要训练得到一个基础模型，基础模型可以是具有高泛化能力和轻量化的活体检测模型，基础模型将作为活体检测模型进行跨场景适配的基础网络架构，其可以利用多种场景的样本数据训练得到。

2)多场景插件模块

本说明书实施方式中，还需要预先构建和训练得到多个场景的插件模块，每个场景可以对应一个插件模块，例如针对N个场景可以预先构建和训练得到N个插件模块。

每个插件模块可以是由一层或多层神经网络层组成的网络结构，插件模块可以融合在基础模型的中间层中，从而实现插件模块与基础模型的融合处理，使得基础模型具有新场景的适配能力。

3)自适应插件模块

本说明书实施方式中，自适应插件模块的作用是，根据少量新场景下的人脸图像，自动从预先训练的N个插件模块中选择出一个或多个目标插件模块，目标插件模块可以理解为与新场景适配的插件模块。

自适应插件模块可以是基于深度学习的神经网络模块，可以预先通过网络训练得到自适应插件模块。

4)融合处理模块

本说明书实施方式中，融合处理模块的作用是，将目标插件模块与基础模型进行融合处理，从而得到新的活体检测模型。可以理解，由于目标插件模块适于新场景所适配的插件模块，从而将目标插件模块与基础模型进行融合处理之后，得到的活体检测模型即可针对新场景具有很好的适配性，保证活体检测模型在新场景下的性能。

通过上述可知，本说明书实施方式中，当需要在某个新场景部署活体检测模型时，只需要采集少量新场景下的人脸数据，利用自适应插件模块从预先训练的N个插件模块中选择出一个或多个目标插件模块，并将目标插件模块与预先训练的基础模型进行融合处理，即可实现新场景下的活体检测模型的快速适配，无需重新采集大量新场景数据进行人工标注和网络训练，即可得到能够很好适配新场景的活体检测模型，完成活体检测模块跨场景的快速适配和部署。

图2示出了本说明书一些实施方式中活体检测模型的跨场景适配方法的流程图，下面结合图2对本说明书方法进行说明。

如图2所示，在一些实施方式中，本说明书示例的活体检测模型的跨场景适配方法，包括：

S210、将目标场景下的人脸数据输入预先训练得到的基础模型，得到基础模型输出的活体检测特征。

根据前述可知，本说明书实施方式中，需要预先训练得到一个基础模型，基础模型是指具有高泛化能力和轻量化的活体检测模型，基础模型将作为活体检测模型进行跨场景适配的基础网络架构。

在一些实施方式中，可以利用多中场景样本数据进行训练，得到高泛化能力的基础模型，同时为了满足基础模型的轻量化部署要求，可以采用基于蒸馏和模型剪枝的训练过程得到轻量化的基础模型。对于基础模型的训练过程，本说明书将在下文实施方式进行说明，在此暂不详述。

可以理解，对于训练得到的基础模型，其本质上是一个活体检测模型，输入为人脸图像，输出即为该人脸图像对应的活体检测结果。但是由于该基础模型是针对多种场景拥有高泛化能力的模型，因此当其部署于某个场景时，针对该场景进行活体检测的精度可能无法达到要求。

本说明书实施方式中，即需要利用基础模型的中间层特征，从预先训练的多个插件模块中选择与新场景适配的目标插件模块，然后利用目标插件模块对基础模型融合处理，得到最终的活体检测模型。

本说明书实施方式中，目标场景即为需要部署活体检测模型的新场景，目标场景可以是任意适于实施的场景，例如支付场景、门禁场景、考勤场景等，本说明书对此不作限制。

本说明书实施方式中，在对活体检测模型进行跨场景适配时，只需要采集少量的目标场景下的人脸数据即可，例如采集1张或多张目标场景下的人脸数据，将人脸数据输入到预先训练的基础模型中，基础模型通过内部的卷积层(Convolutional Layer)对人脸数据进行特征提取，可以得到人脸数据的中间层特征，该中间层特征也即本说明书所述的活体检测特征。

S220、将活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征。

根据前述可知，本说明书实施方式中，需要预先针对不同场景训练多个插件模块，例如，可以针对N个场景预先训练得到N个插件模块。每个插件模块可以是由一层或多层的卷积层组成，例如一个示例中，每个插件模块均为两层卷积层。

对插件模块进行训练以得到不同场景对应的多个插件模块的过程，本说明书将在下文实施方式进行说明，在此暂不详述。

插件模块的输入为基础模型输出的活体检测特征，输出为插件特征。可以理解，每个插件模块均为学习了对应场景特征的网络层，因此活体检测特征在经过某个插件模块之后，得到的插件特征即为融合了该插件模块对应场景特点的特征。

基于此，可以将基础模型输出的活体检测特征分别输入到每个插件模块中，从而得到每个插件模块输出的插件特征。某个插件模块输出的插件特征，即为融合了该插件模块对应场景特点的特征。

S230、根据每个插件模块输出的插件特征，从多个插件模块中选择至少一个目标插件模块。

通过前述可知，目标插件模块是指与目标场景相适配的插件模块，而插件模块的插件特征是指融合了对应场景特点的特征。从而本说明书实施方式中，即可依据每个插件模块的插件特征，从多个插件模块中选择与目标场景相适配的目标插件模块。

需要说明的是，目标场景并不一定是多个插件模块所对应的某个场景。可以理解，人脸识别系统部署的场景可能千变万化，即使对于同样的支付场景，可能受限于光照条件、摄像机角度、室内外位置等因素的影响，活体检测模型的精度也会产生差异。因此本说明书实施方式中，预先训练得到的N个插件模块不可能涵盖所有场景，可以仅选取一些具有代表性的场景。

而对于新的目标场景，其可能不同于N个插件模块中的任何一个场景，因此，本说明书实施方式适配方法的重点在于，从N个插件模块中选择出M个目标插件模块，N≥M≥1，从而利用这M个目标插件模块与基础模型的融合处理，得到适配于全新场景的活体检测模型。

换言之，本说明书实施方式中，并不是仅能针对预先训练得到插件模块的N个场景进行适配，而是可以利用预先训练得到的N个插件模块的选择与组合，实现对任意一个新场景的适配。

因此，在针对不同场景的插件模块进行训练时，只需要选择少量具有代表性的场景训练得到插件模块即可，插件模块的数量无需很多，例如一个示例中，预先训练得到的插件模块的数量可以为N＝8，也即，在对目标场景适配时，可以从这8个插件模块中选择一个或多个作为目标插件模块，利用一个或多个目标插件模块的组合完成对新场景的适配。

本说明书一些实施方式中，参见图1所示，可以预先训练得到自适应插件模块，利用自适应插件模块完成目标插件模块的自适应选取，本说明书下文实施方式对此进行说明。

S240、基于目标插件模块对基础模型进行融合处理，得到目标场景对应的活体检测模型。

根据前述可知，目标插件模块是指与目标场景相适配的插件模块，从而在确定目标插件模块之后，即可将目标插件模块与基础模型进行融合处理，融合处理之后即可得到与目标场景相适配的活体检测模型。

可以理解，每个目标插件模块本质上为一或多层的卷积层，在目标插件模块与基础模型进行融合处理时，只需要将目标插件模块的网络参数与基础模型的一层或多层的中间层的网络参数进行叠加，即可完成目标插件模块与基础模型的融合处理，相当于在基础模型中融合目标插件模块学习到场景特征，从而得到拥有目标场景适配能力的活体检测模型。本说明书下文实施方式中，对目标插件模块与基础模型的融合处理的具体过程进行说明，在此暂不详述。

本说明书实施方式中，在得到目标场景的活体检测模型之后，即可将该活体检测模型在目标场景中进行部署和应用，从而实现对目标场景的活体检测任务。

通过上述可知，本说明书实施方式中，利用预先训练的不同场景的插件模块及基础模型，基于新场景自适应选择目标插件模块与基础模型融合处理，在保证模型性能的基础上，实现活体检测模型跨场景的快速适配与部署，无需构建和训练多个不同场景的活体检测模型，极大降低了对算力资源的消耗，可以实现在轻量级设备上的快速适配和部署。并且无需重新采集大量新场景数据进行人工标注和网络训练，提高适配效率而且可以应对各种新场景，适于规模化推广。

本说明书下文实施方式中，将分别对基础模型训练、插件模块训练、自适应插件模块训练的过程进行分阶段说明。

1、基础模型的构建与训练。

在一些实施方式中，为实现基础模型的轻量化部署，可以采用基于蒸馏和模型剪枝的训练过程得到轻量化的基础模型。

可以理解，神经网络模型的训练过程是指学习权重矩阵的过程，模型训练的目的是使得模型输出尽可能接近期望值，因此可以通过比较模型的输出值和期望值，根据两者之间的差异来对模型中每一层神经网络的权重向量进行更新。具体地，可以通过损失函数(Loss Function)或目标函数(Objective Function)来衡量神经网络模型的输出值与期望值之间的差异。

神经网络模型的蒸馏是一种模型剪枝压缩的方法，类比人类学习的过程，在蒸馏算法中将需要进行剪枝的模型称为教师模型(Teacher Model)，剪枝后的模型称为学生模型(Student Model)，一般教师模型的体积要远远大于学生模型。在模型训练过程中，通过知识蒸馏的手段对教师模型进行参数裁切的过程即为剪枝过程，通过不断剪枝可以使得模型体积不断缩小，得到学生模型，虽然学生模型虽然相比教师模型体积小很多，但是同样可以学习到相同的知识，完成教师模型到学生模型的知识迁移，从而学生模型仍然具有较好的模型精度。

本说明书实施方式中，基础模型即为剪枝后的学生模型，剪枝前的教师模型定义为初始模型。也即，本说明书实施方式中，在训练得到基础模型之前，首先需要构建并训练初始模型，由于初始模型无需部署，因此初始模型可以采用体积较大的活体检测模型，本领域技术人员参照相关技术即可理解，对于初始模型的网络结构和原理本说明书不再赘述。

在得到初始模型之后，可以理解，基础模型是针对初始模型进行剪枝得到的轻量化模型，因此在训练刚开始，基础模型与初始模型保持一致。下面结合图3对训练得到基础模型的过程进行说明。

如图3所示，在一些实施方式中，本说明书示例的活体检测模型的跨场景适配方法中，预先训练得到基础模型的过程，包括：

S310、获取第一训练数据集。

本说明书实施方式中，考虑到基础模型的高泛化能力，针对基础模型进行训练的第一训练数据集最好可以包括多种场景的样本数据，以扩充训练样本的多样性，而且攻击样本与活体样本均要采集。对于第一训练数据集的数据采集，可以通过互联网开源数据获取得到。

S320、将第一训练数据集输入初始模型及待剪枝模型，得到初始模型输出的第一活体检测特征和第一活体检测结果，以及待剪枝模型输出的第二活体检测特征和第二活体检测结果。

本说明书实施方式中，待剪枝模型即为需要在训练过程中剪枝处理的模型，在训练刚开始，待剪枝模型与初始模型保持一致。

在训练过程中，分别将第一训练数据集的样本数据输入到初始模型和待剪枝模型中。初始模型可以根据输入的样本数据进行特征提取，得到对应的第一活体检测特征，并且基于第一活体检测特征预测输出第一活体检测结果。第一活体检测特征也即初始模型得到的中间层特征，第一活体检测结果也即初始模型预测的活体检测结果。

同样，待剪枝模型可以根据输入的样本数据进行特征提取，得到对应的第二活体检测特征，并且基于第二活体检测特征预测输出第二活体检测结果。第二活体检测特征也即待剪枝模型得到的中间层特征，第二活体检测结果也即待剪枝模型预测的活体检测结果。

S330、基于第一活体检测特征和第二活体检测特征，以及第一活体检测结果和第二活体检测结果之间的差异，对待剪枝模型进行剪枝训练，直至待剪枝模型满足收敛条件，得到基础模型。

可以理解，在对待剪枝模型不断剪枝迭代过程中，待剪枝模型中的参数越来越多被去除，因此待剪枝模型与初始模型的差异越来越大，而网络训练的目标，即为在缩减待剪枝模型体积的同时，使得待剪枝模型的性能与初始模型相接近。

因此，模型训练的损失函数至少需要包括待剪枝模型与初始模型之间的活体特征损失，也即第一活体检测特征与第二活体检测特征之间的差异，该部分损失保证待剪枝模型与初始模型之间的活体特征尽量保持一致。还需要包括待剪枝模型与初始模型之间的活体检测损失，也即第一活体检测结果与第二活体检测结果之间的差异，该部分损失保证待剪枝模型与初始模型之间的活体检测精度尽量保持一致。

在一些实施方式中，模型训练的损失函数还可以包括稀疏损失，也即待剪枝模型的权重L1范数，该部分损失保证待剪枝模型中的网络参数尽可能多被置零。还可以包括泛化损失，泛化损失可以保证待剪枝模型在不同场景下的精度尽量保持一致。

基于上述损失函数，利用反向传播的方式不断对待剪枝模型进行剪枝迭代，直至待剪枝模型满足收敛条件，得到的剪枝后的模型也即本说明书所述的基础模型。

通过上述可知，本说明书实施方式中，利用多场景样本数据构建训练数据集，并且利用蒸馏和剪枝的训练方法训练得到基础模型，可以得到具有高泛化能力且轻量化的基础模型，为跨场景适配提供性能更高的基础模型，且利于在轻量化设备完成部署。

2、多场景插件模块的训练。

本说明书实施方式中，需要真针对不同场景训练得到多个插件模块，根据前述可知，插件模块可以是简单的一层或多层的神经网络层，例如插件模块可以由2层卷积层构成。

在一些实施方式中，在针对每个插件模块进行训练时，还需要同时对层次选择模块进行训练。层次选择模块的作用是从基础模型中选择需要融合插件模块的中间层，需要融合插件模块的中间层也即本说明书所述的目标融合层。

可以理解，基础模型的网络结构中往往包括多层的中间层，因此，在对基础模型融合目标插件模块时，需要将目标插件模块与基础模型中的某一层中间层进行融合，层次选择模块的作用即为确定基础模型中与目标插件模块进行融合处理的目标融合层，因此层次选择模块可以与插件模块同时训练。下面结合图4和图5实施方式对插件模块的训练过程进行说明。

如图4所示，在一些实施方式中，本说明书示例的活体检测模型的跨场景适配方法，训练得到插件模块的过程，包括：

S410、获取第二训练数据集。

本说明书实施方式中，需要训练多个场景的插件模块，例如，N个场景对应N个插件模块，每个插件模块的训练过程完全相同，因此下面仅以其中一个插件模块的训练过程为例进行说明。

在对某个场景的插件模块进行训练时，首先需要获取该场景下的训练数据，也即第二训练数据集，第二训练数据集中包括该场景下的大量人脸样本数据。在一些实施方式中，第二训练数据集可以通过互联网开源数据获取。

S420、将第二训练数据集输入已训练的基础模型，得到基础模型输出的活体检测特征。

通过前述可知，插件模块的输入是基础模型提取的中间层特征，也即本说明书所述的活体检测特征，输出是插件特征。因此，对插件模块的训练需要在基础模型训练之后进行，也即首先训练得到基础模型之后，再训练插件模块。

如图5所示，在训练过程中，将第二训练数据集的样本数据输入已经训练完成的基础模型中，通过基础模型进行特征提取，得到样本数据对应的活体检测特征。然后，将活体检测特征输入待训练的插件模块，得到插件模块输出的插件特征，插件特征即为融合了新场景特征之后的活体特征。

在一些实施方式中，结合前述可知，在对插件模块训练的同时，需要对层次选择模块进行训练，层次选择模块的输入同样为基础模型输出的活体检测特征，其输出即为基础模型中每一层网络层被选择为目标融合层的概率，也即本说明书所述的层次选择概率。

S430、将插件特征输入已训练的基础模型，得到基础模型输出的活体检测结果。

结合图5所示，插件模块输出的插件特征，是指针对活体检测特征融合新场景特点之后的特征，该插件特征需要再次输入基础模型中，以得到基础模型最终输出的活体检测结果。

S440、基于活体检测结果对应的损失，对插件模块的参数进行调整，直至满足收敛条件，得到训练后的插件模块。

本说明书实施方式中，基础模型输出的活体检测结果可以理解为增加了插件模块扰动后的活体检测结果，从而根据该活体检测结果的差异，即可反向传播对插件模块自身的网络参数进行调优，如此循环迭代，直至满足收敛条件，对插件模块训练完成，得到一个场景所对应的插件模块。

参见图5所示，在一些实施方式中，在对插件模块进行训练的同时，还需要对层次选择模块进行训练，也即，损失函数包括两部分，分别是活体检测结果对应的损失以及层次选择概率对应的损失，针对层次选择概率的约束为基础模型选择的目标融合层数量应当尽可能少。从而基于上述损失进行反向传播，分别对插件模块和层次选择模块进行参数调整，直至满足收敛条件，完成对插件模块和层次选择模块的训练过程。

本说明书上述示例中仅针对一个场景的插件模块的训练过程进行了说明，对于其他场景的插件模块，只需要根据该场景的样本数据重复上述训练过程即可，从而得到多个场景所对应的插件模块，本说明书不再赘述。

3、自适应插件模块

根据前述可知，自适应插件模块的作用是从多个插件模块中选取一个或多个与新场景适配的目标插件模块，因此在对自适应插件模块训练时，仅需要采集少量的新场景的样本数据即可，下面结合图6和图7进行说明。

如图6所示，在一些实施方式中，本说明书示例的活体检测模型的跨场景适配方法，预先训练得到自适应插件模块的过程，包括：

S610、获取第三训练数据集。

本说明书实施方式中，第三训练数据集中包括新场景的样本数据，新场景是指不同与前述多个插件模块对应场景的预设场景，也即N个插件模块对应的N个场景之外的场景。在一些实施方式中，可以采集少量新场景的样本数据作为第三训练数据集，例如十几张样本图像即可。

S620、将第三训练数据集输入已训练的基础模型，得到基础模型输出的活体检测特征。

S630、将活体检测特征分别输入已训练的多个插件模块，得到每个插件模块输出的插件特征。

本说明书实施方式中，自适应插件模块的输入是每个插件模块输出的插件特征，而插件模块的输入是基础模型输出的活体检测特征。因此可以理解，对自适应插件模块训练应在基础模型和插件模块训练完成之后进行，也即首先训练得到基础模型，然后训练得到多个不同场景的插件模块，最后训练自适应插件模块。

如图7所示，在对自适应插件模块进行训练时，首先将第三训练数据集的样本数据输入已经训练完成的基础模型中，通过基础模型进行特征提取，得到样本数据对应的活体检测特征。然后，将活体检测特征分别输入到每个插件模块，得到每个插件模块输出的插件特征，每个插件模块输出的插件特征是指融合了对应场景特点的特征。

S640、将每个插件模块的插件特征输入待训练的自适应插件模块，得到每个插件模块对应的第一概率值。

本说明书实施方式中，自适应插件模块的输入是每个插件模块输出的插件特征，其输出是每个插件模块对应的第一概率值，该第一概率值表示每个插件模块被选择为目标插件模块的概率，第一概率值越高，说明其所对应的插件模块与目标场景的适配度越高，从而被选择为目标插件模块的概率越高。

S650、基于预设约束条件和每个插件模块的第一概率值确定损失值，并基于损失值对自适应插件模块的网络参数进行调整，直至满足收敛条件，得到训练后的自适应插件模块。

本说明书实施方式中，预设约束条件可以是指自适应插件模块所输出的每个插件模块的第一概率值之和尽量小，从而保证选择的目标插件模块的数量尽可能少，一般可以约束在不超过3个目标插件模块。

因此本说明书一些实施方式中，可以基于预设约束条件和每个插件模块的第一概率值得到损失值，然后利用反向传播对自适应插件模块的网络参数进行调整，不断重复上述过程对自适应插件模块进行迭代训练，直至满足收敛条件，完成对自适应插件模块的训练，得到训练后的自适应插件模块。

参见图7所示，在一些实施方式中，对自适应插件模块训练的损失函数除了包括上述损失值，还可以包括基础模型输出的活体检测结果的损失，从而结合两部分损失对自适应插件模块进行迭代训练，得到训练后的自适应插件模块，本说明书对此不再赘述。

4、活体检测模型跨场景适配

在完成上述各部分模块的网络训练过程之后，即可基于训练后的各部分模块实现本说明书的活体检测模型的跨场景适配，下面结合图8实施方式进行说明。

如图8所示，在一些实施方式中，本说明书示例的活体检测模型的跨场景适配方法，包括：

S801、将目标场景下的人脸数据输入预先训练得到的基础模型，得到基础模型输出的活体检测特征。

本说明书示例中，目标场景即为活体检测模型需要跨场景适配的新场景，通过采集目标场景的人脸数据，将其输入已经训练的基础模型中，基础模型通过内部的卷积层对人脸数据进行特征提取，可以得到人脸数据的中间层特征，该中间层特征也即本说明书所述的活体检测特征。

S802、将活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征。

本说明书示例中，将基础模型输出的活体检测特征分别输入到每个预先训练得到的插件模块中，得到每个插件模块输出的插件特征。例如一个示例中，预先训练8个插件模块，则可以将基础模型输出的活体检测特征分别输入到这8个插件模块中，从而得到8个插件模块各自输出的插件特征。每个插件模块输出的插件特征表示融合了其对应场景特点的特征。

S803、将每个插件模块输出的插件特征输入预先训练的自适应插件模块，得到自适应插件模块输出的目标插件模块。

结合图7所示，在得到每个插件模块输出的插件特征之后，可以将所有插件模块的插件特征输入到预先训练的自适应插件模块，自适应插件模块的作用是从多个插件模块中选择与目标场景相适配的一个或者多个目标插件模块。

从而自适应插件模块根据输入的各个插件特征得到每个插件模块对应的第一概率值，然后根据第一概率值从高到低排序，选择第一概率值最高的一个或多个插件模块作为目标插件模块。

S804、根据活体检测特征，从基础模型包括的多层中间层中确定目标融合层。

结合图5所示，本说明书示例中，通过基础模型得到的活体检测特征同时输入预先训练的层次选择模块中，层次选择模块的作用是从基础模型包括的多层中间层中选择目标融合层，目标融合层的作用是用来与目标插件模块进行融合处理。

在一个示例中，将基础模型输出的活体检测特征输入预先训练的层次选择模块，可以得到层次选择模块输出的层次选择概率，层次选择概率表示基础模型中各层中间层被选择为目标融合的概率，从而可以根据层次选择概率从高到低排序，从基础模型的网络结构中选择与目标插件模块相同数据的神经网络层作为目标融合层。

S805、根据目标插件模块的网络参数对目标融合层的网络参数进行融合处理，得到活体检测模型。

结合前述可知，插件模块本质上是简单的一层或多层的卷积层，从而对于选取的目标插件模块，将目标插件模块的卷积层参数与基础模型的目标融合从的卷积层参数进行叠加，即可实现目标插件模块与基础模型的融合处理，得到最终与目标场景适配的活体检测模型。

通过上述可知，本说明书实施方式中，利用预先训练的不同场景的插件模块及基础模型，基于新场景自适应选择目标插件模块与基础模型融合处理，在保证模型性能的基础上，实现活体检测模型跨场景的快速适配与部署，无需构建和训练多个不同场景的活体检测模型，极大降低了对算力资源的消耗，可以实现在轻量级设备上的快速适配和部署。并且无需重新采集大量新场景数据进行人工标注和网络训练，提高适配效率而且可以应对各种新场景，适于规模化推广。

在针对目标场景完成活体检测模型的适配之后，即可利用该活体检测模块完成部署和应用。在一些实施方式中，本说明书提供了一种活体检测方法，该方法即可基于前述的活体检测模型实现，下面结合图9实施方式进行说明。

如图9所示，在一些实施方式中，本说明书示例的活体检测方法，包括：

S910、获取目标场景下采集到的待检测人脸图像。

S920、将待检测人脸图像输入活体检测模型，得到活体检测模块输出的活体检测结果。

本说明书实施方式中，目标场景的活体检测模型，即为通过前述任意实施方式的适配方法，利用目标插件模块对基础模型进行融合处理得到的活体检测模型，本说明书对此不再赘述。

在得到活体检测模型之后，即可在目标场景下部署该活体检测模型并应用。在实际的活体检测场景中，人脸识别系统可以采集到该目标场景下的待检测人脸图像，然后将待检测人脸图像输入到活体检测模型中，即可得到活体检测模型输出的活体检测结果。

在一些实施方式中，活体检测模型输出活体攻击概率，可以预先针对活体攻击概率设置相应的阈值。如果活体检测模型输出的活体攻击概率小于该阈值，说明待检测人脸图像为真实的活体，从而确定活体检测结果为“活体”。反之，如果活体检测模型输出的活体攻击概率大于或等于该阈值，说明待检测人脸图像为攻击物，并非真实的活体，从而确定活体检测结果为“攻击物”。

通过上述可知，本说明书实施方式中，利用预先训练的不同场景的插件模块及基础模型，基于新场景自适应选择目标插件模块与基础模型融合处理，在保证模型性能的基础上，实现活体检测模型跨场景的快速适配与部署，无需构建和训练多个不同场景的活体检测模型，极大降低了对算力资源的消耗，可以实现在轻量级设备上的快速适配和部署。并且无需重新采集大量新场景数据进行人工标注和网络训练，提高适配效率而且可以应对各种新场景，适于规模化推广。

结合图1所示，本说明书一个或多个实施方式提供了一种活体检测模型的跨场景适配装置，包括：

基础模型，被配置为将目标场景下的人脸数据输入预先训练得到的基础模型，得到基础模型输出的活体检测特征；

多场景插件模块，被配置为将活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征；其中，每个插件模块是基于一个场景的样本数据训练得到；

自适应插件模块，被配置为根据每个插件模块输出的插件特征，从多个插件模块中选择至少一个目标插件模块；

融合处理模块，被配置为基于目标插件模块对基础模型进行融合处理，得到目标场景对应的活体检测模型。

通过上述可知，本说明书实施方式中，当需要在某个新场景部署活体检测模型时，只需要采集少量新场景下的人脸数据，利用自适应插件模块从预先训练的N个插件模块中选择出一个或多个目标插件模块，并将目标插件模块与预先训练的基础模型进行融合处理，即可实现新场景下的活体检测模型的快速适配，无需重新采集大量新场景数据进行人工标注和网络训练，即可得到能够很好适配新场景的活体检测模型，完成活体检测模块跨场景的快速适配和部署。

如图10所示，本说明书一个或多个实施方式提供了一种活体检测装置，包括：

图像采集模块，被配置为获取目标场景下采集到的待检测人脸图像；

活体检测模型，被配置为将待检测人脸图像输入活体检测模型，得到活体检测模型输出的活体检测结果，活体检测模型根据前述任意实施方式的方法得到。

本说明书一个或多个实施方式提供了一种电子设备，包括：

处理器；和

存储器，存储有计算机指令，计算机指令用于使处理器执行前述任意实施方式的方法。

本说明书一个或多个实施方式提供了一种存储介质，存储有计算机指令，计算机指令用于使计算机执行前述任意实施方式的方法。

图11是一示例性实施方式提供的一种电子设备的示意结构图。请参考图11，在硬件层面，该设备包括处理器702、内部总线704、网络接口706、内存708以及非易失性存储器710，当然还可能包括其他场景所需要的硬件。本说明书一个或多个实施方式可以基于软件方式来实现，比如由处理器702从非易失性存储器710中读取对应的计算机程序到内存708中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施方式并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施方式进行了描述。其它实施方式在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施方式中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施方式使用的术语是仅仅出于描述特定实施方式的目的，而非旨在限制本说明书一个或多个实施方式。在本说明书一个或多个实施方式和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施方式可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施方式范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施方式的较佳实施方式而已，并不用以限制本说明书一个或多个实施方式，凡在本说明书一个或多个实施方式的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施方式保护的范围之内。

Claims (12)

1.一种活体检测模型的跨场景适配方法，包括：

将目标场景下的人脸数据输入预先训练得到的基础模型，得到所述基础模型输出的活体检测特征；

将所述活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征；其中，每个插件模块是基于一个场景的样本数据训练得到；

根据每个插件模块输出的所述插件特征，从所述多个插件模块中选择至少一个目标插件模块；

基于所述目标插件模块对所述基础模型进行融合处理，得到所述目标场景对应的活体检测模型。

2.根据权利要求1所述的方法，所述基于所述目标插件模块对所述基础模型进行融合处理，得到所述目标场景对应的活体检测模型，包括：

根据所述活体检测特征，从所述基础模型包括的多层中间层中确定目标融合层；

根据所述目标插件模块的网络参数对所述目标融合层的网络参数进行融合处理，得到所述活体检测模型。

3.根据权利要求2所述的方法，所述根据所述活体检测特征，从所述基础模型包括的多层中间层中确定目标融合层，包括：

将所述活体检测特征输入预先训练的层次选择模块，得到所述层次选择模块输出的所述目标融合层。

4.根据权利要求1至3任一项所述的方法，所述根据每个插件模块输出的所述插件特征，从所述多个插件模块中选择至少一个目标插件模块，包括：

将每个插件模块输出的所述插件特征输入预先训练的自适应插件模块，得到所述自适应插件模块输出的所述目标插件模块。

5.根据权利要求1所述的方法，预先训练得到所述基础模型的过程，包括：

获取第一训练数据集，所述第一训练数据集包括多个不同场景的样本数据；

将所述第一训练数据集输入初始模型及待剪枝模型，得到所述初始模型输出的第一活体检测特征和第一活体检测结果，以及所述待剪枝模型输出的第二活体检测特征和第二活体检测结果；

基于第一活体检测特征和第二活体检测特征，以及所述第一活体检测结果和第二活体检测结果之间的差异，对所述待剪枝模型进行剪枝训练，直至所述待剪枝模型满足收敛条件，得到所述基础模型。

6.根据权利要求1所述的方法，预先训练得到所述插件模块的过程包括：

获取第二训练数据集，所述第二训练数据集包括一个场景的样本数据；

将所述第二训练数据集输入已训练的所述基础模型，得到所述基础模型输出的活体检测特征；

将所述基础模型输出的活体检测特征输入待训练的插件模块，得到所述插件模块输出的插件特征；

将所述插件特征输入已训练的所述基础模型，得到所述基础模型输出的活体检测结果；

基于所述活体检测结果对应的损失，对所述插件模块的参数进行调整，直至满足收敛条件，得到训练后的所述插件模块。

7.根据权利要求4所述的方法，预先训练得到所述自适应插件模块的过程，包括：

获取第三训练数据集，所述第三训练数据集包括不同于所述多个插件模块对应场景的预设场景的样本数据；

将所述第三训练数据集输入已训练的所述基础模型，得到所述基础模型输出的活体检测特征；

将所述活体检测特征分别输入已训练的多个插件模块，得到每个插件模块输出的插件特征；

将每个插件模块的所述插件特征输入待训练的自适应插件模块，得到每个插件模块对应的第一概率值；

基于预设约束条件和每个插件模块的第一概率值确定损失值，并基于所述损失值对所述自适应插件模块的网络参数进行调整，直至满足收敛条件，得到训练后的自适应插件模块。

8.一种活体检测方法，包括：

获取目标场景下采集到的待检测人脸图像；

将所述待检测人脸图像输入活体检测模型，得到所述活体检测模型输出的活体检测结果，所述活体检测模型根据权利要求1至7任一项所述的方法得到。

9.一种活体检测模型的跨场景适配装置，包括：

基础模型，被配置为将目标场景下的人脸数据输入预先训练得到的基础模型，得到所述基础模型输出的活体检测特征；

多场景插件模块，被配置为将所述活体检测特征输入预先训练的多个插件模块，得到每个插件模块输出的插件特征；其中，每个插件模块是基于一个场景的样本数据训练得到；

自适应插件模块，被配置为根据每个插件模块输出的所述插件特征，从所述多个插件模块中选择至少一个目标插件模块；

融合处理模块，被配置为基于所述目标插件模块对所述基础模型进行融合处理，得到所述目标场景对应的活体检测模型。

10.一种活体检测装置，包括：

图像采集模块，被配置为获取目标场景下采集到的待检测人脸图像；

活体检测模型，被配置为将所述待检测人脸图像输入活体检测模型，得到所述活体检测模型输出的活体检测结果，所述活体检测模型根据权利要求1至7任一项所述的方法得到。

11.一种电子设备，包括：

处理器；和

存储器，存储有计算机指令，所述计算机指令用于使所述处理器执行权利要求1至7任一项所述的方法，或者执行权利要求8所述的方法。

12.一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一项所述的方法，或者执行权利要求8所述的方法。