CN113553904A - 人脸防伪模型的训练方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种人脸防伪模型的训练方法及装置，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术等领域，可应用于智慧城市和智慧金融场景下，方法包括：由人脸防伪模型的逐层提取输入的样本图像的特征表示所对应的多层特征图，基于设定层间隔获取用于融合的至少两层的候选特征图，进行特征融合并生成相应的目标特征图，进而生成相应的预测深度图像；基于预测深度图像与样本图像的真实深度图像，获取模型的损失函数，基于损失函数调整模型，返回使用下一样本图像对调整后的模型继续训练，直至训练结束生成目标模型。通过多层的特征融合，使得模型具有良好的泛化性，强化了样本图像特征的可识别性，提高了模型训练的效率，优化了训练效果。

Description

人脸防伪模型的训练方法、装置及电子设备

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术等领域，可应用于智慧城市和智慧金融场景下。

背景技术

目前，活体检测技术已经实现广泛也应用，在实际的应用过程中，活体检测系统存在受到呈现攻击的可能性。

相关技术中，对于呈现攻击一般是采用将呈现攻击与活体检测的真实图像识别分离的方法，以达到防御的目的。其中，所提供的防御方法中存在一定的缺陷，比如基于手工设计特征的分离方法泛化性不佳、基于卷积神经网络的方法无法获取到可以获取有效的图像特征、基于局部裁剪的方法进行分离的结果不稳定、基于视频实现的方法无法很好的鉴别视频的重放攻击等等。

因此，目前的活体检测在实际应用中存在安全隐患。如何提高活体检测的准确度，加强攻击防御的能力，是目前需要解决的问题。

发明内容

本公开提供了一种用于人脸防伪模型的训练方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的第一方面，提供了一种人脸防伪模型的训练方法，包括：获取样本图像的特征表示并输入人脸防伪模型中；由所述人脸防伪模型的逐层提取所述样本图像对应的多层特征图；按照设定层间隔，从所述多层特征图中确定用于融合的至少两层特征图，作为候选特征图；对所述候选特征图进行特征融合处理，生成所述样本图像的目标特征图，基于所述目标特征图生成所述样本图像的预测深度图像；基于所述预测深度图像与所述样本图像的真实深度图像，获取所述人脸防伪模型的损失函数，基于所述损失函数对所述人脸防伪模型进行调整，并返回使用下一样本图像继续对调整后的人脸防伪模型进行训练，直至训练结束生成目标人脸防伪模型。

根据本公开的第二方面，提供了一种人脸防伪方法，包括：对目标用户进行人脸图像采集，获取所述目标用户的待验证的目标人脸图像；获取所述目标人脸图像的特征表示并输入目标人脸防伪模型中，输出所述目标人脸图像的目标深度图像；获取所述目标深度图像的平均深度值，并基于所述平均深度值，对所述目标人脸图像进行活体图像验证；其中，所述目标人脸防伪模型为基于上述第一方面提供的任一项所述的人脸防伪模型的训练方法训练出的模型。

根据本公开的第三方面，提供了一种人脸防伪模型的训练装置，包括：获取模块，用于获取样本图像的特征表示并输入人脸防伪模型中；提取模块，用于由所述人脸防伪模型的逐层提取所述样本图像对应的多层特征图；筛选模块，用于按照设定层间隔，从所述多层特征图中确定用于融合的至少两层特征图，作为候选特征图；融合模块，用于对所述候选特征图进行特征融合处理，生成所述样本图像的目标特征图，基于所述目标特征图生成所述样本图像的预测深度图像；调整模块，用于基于所述预测深度图像与所述样本图像的真实深度图像，获取所述人脸防伪模型的损失函数，基于所述损失函数对所述人脸防伪模型进行调整，并返回使用下一样本图像继续对调整后的人脸防伪模型进行训练，直至训练结束生成目标人脸防伪模型。

根据本公开的第四方面，提供了一种人脸防伪装置，包括：采集模块，用于对目标用户进行人脸图像采集，获取所述目标用户的待验证的目标人脸图像；生成模块，用于获取所述目标人脸图像的特征表示并输入目标人脸防伪模型中，输出所述目标人脸图像的目标深度图像；验证模块，用于获取所述目标深度图像的平均深度值，并基于所述平均深度值，对所述目标人脸图像进行活体图像验证；其中，所述目标人脸防伪模型为基于上述第三方面任一项所述的人脸防伪模型的训练装置训练出的模型。

根据本公开的第五方面，提供了一种电子设备，包括：包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述第一方面中任一项所述的人脸防伪模型的训练方法和第二方面中任一项所述的人脸防伪方法。

根据本公开的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面中任一项所述的人脸防伪模型的训练方法和第二方面中任一项所述的人脸防伪方法。。

根据本公开的第七方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时实现如上述第一方面中任一项所述的人脸防伪模型的训练方法和第二方面中任一项所述的人脸防伪方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开一实施例的人脸防伪模型的训练方法的流程示意图；

图2为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图3为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图4为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图5为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图6为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图7为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图8为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图9为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图10为本公开另一实施例的人脸防伪模型的训练方法的流程示意图；

图11为本公开一实施例的人脸防伪模型的结构示意图；

图12为本公开一实施例的人脸防伪的流程示意图；

图13为本公开另一实施例的人脸防伪的流程示意图；

图14为本公开一实施例的人脸防伪模型的训练装置的结构示意图；

图15为本公开另一实施例的人脸防伪模型的训练装置的结构示意图；

图16为本公开一实施例的人脸防伪装置的结构示意图；

图17为本公开另一实施例的人脸防伪装置的结构示意图；

图18为本公开一实施例的电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。

深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

计算机视觉(Computer Vision)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

图1为本公开一实施例的人脸防伪模型的训练方法的流程示意图，如图1所示，该方法包括：

S101，获取样本图像的特征表示并输入人脸防伪模型中。

目前，活体检测技术已经广泛应用，在实际应用过程中，活体检测系统存在受到攻击的可能性，其中，存在一种呈现攻击，可以提前获取到目标用户的人脸图像、视频等素材，在进行活体检测时，使用提前拍摄的素材代替目标用户，以达到绕过活体检测的目的。一般情况下，可以在识别真实的活体检测图像的过程中，通过设定的条件识别用于实施呈现攻击的虚假图像。

一般情况下，活体检测图像与其对应的用于呈现攻击的虚假图像之间，相似度较高，其中，呈现攻击所使用的虚假图像可以是目标用户在其他时间拍摄的图像。

可选地，可以通过图像采集设备获取用于人脸防伪模型训练的样本图像，其中，样本图像可以包括，活体检测对象的真实图像和/或预先制作完成的真实图像对应的虚假图像。进一步地，确定样本图像后，基于对样本图像进行图像处理，获取到可以用于人脸防伪模型的训练的样本图像对应的特征表示，并将特征表示输入至人脸防伪模型中，开始对人脸防伪模型进行训练。

S102，由人脸防伪模型逐层提取样本图像对应的多层特征图。

本公开实施例中，人脸防伪模型存在多个特征提取层，多个特征提取层级联，从而可以实现对于样本图像中的人脸特征的逐层提取。可选地，多个特征提取层中的部分层可以具有相同的提取尺度，也可以具有不同的提取尺度。

可选地，可以使用深度自注意力变换(Transformer)网络作为人脸防伪模型的主结构，该Transformer网络具有多层Transformer编码层，多层Transformer编码层，由多层Transformer层逐层对样本图像逐层提取特征，以获取样本图像对应的多层特征图。可选地，可以使用特征图金字塔网络(Feature Pyramid Networks，FPN)进行多尺度特提取，获取到样本图像的多层特征图，其中，多层特征图可以构成特征金字塔。

S103，按照设定层间隔，从多层特征图中确定用于融合的至少两层特征图，作为候选特征图。

为了充分捕捉并利用每一层提取的局部特征，可以将多层特征图中的部分特征图进行特征融合。

本公开实施例中，多个特征提取层提取到的局部特征中，存在低阶特征信息与高阶特征信息，其中，多个特征提取层中的前几层提取到样本图像的局部特征为低阶特征信息，多个特征提取层中的后几层提取到样本图像的局部特征为高阶特征信息。

一般情况下，样本图像的低阶特征信息可以理解为辨识度较低的局部特征，包含有较多的位置信息、细节信息等等，且分辨率较高，但是存在语义性较低、噪声较多等相关问题。相应地，样本图像的高阶特征信息可以理解为辨识度较高的局部特征，具有更强的语义信息，但是存在分辨率较低等相关问题。

为了使得样本图像的局部特征可以具有更强的可识别性，可以从全部的局部特征中筛选出可以融合的局部特征，并进行特征融合，使得样本图像中具有可识别性的局部特征可以获得更好的增强。

进一步地，可以从多层特征图中筛选出待融合的特征图，其中，为了更好的平衡高阶特征信息与低阶特征信息，可以根据设定的层间隔，从多层特征图中进行筛选，并获取至少两层的特征图，并确定为用于特征融合的候选特征图。其中，可以从多层特征图中的设定位置开始筛选。

比如，设定获取到的多层特征图像由12层的局部特征的特征图像组成，设定候选特征图所在的层之间的间隔为三层，则将多层特征图的每一层进行顺序编码，编码为“1、2、3、4、……、12”。进一步地，从编号为1的层的特征图开始进行筛选，获取到编号为“1、5、9”对应的层的特征图，该三层的特征图即为本次筛选获取到的候选特征图。

再比如，设定获取到的多层特征图像由12层的局部特征的特征图像组成，设定候选特征图所在的层之间的间隔为两层，则将多层特征图的每一层进行顺序编码，编码为为“1、2、3、4、……、12”。进一步地，从编号为1的层的特征图开始进行筛选，获取到编号为“1、4、7、10”对应的层的特征图，该四层的特征图即为本次筛选获取到的候选特征图。

需要说明的是，层间隔的数量是基于实际情况进行设定和调整的。

S104，对候选特征图进行特征融合处理，生成样本图像的目标特征图，基于目标特征图生成样本图像的预测深度图像。

进一步地，可以将至少两层的候选特征图分别进行图像处理，并将处理后输出的候选特征图进行整合，比如可以通过拼接的方式，实现至少两层的候选特征图的整合，进而生成基于候选特征图生成的目标特征图。其中，图像处理和整合可以通过一个图卷积网络模型实现。

比如，依然以上述示例为例，基于12层的特征提取层获取到的12个层的特征图，获取到编号为“1、5、9”对应的层的特征图作为候选特征图。可选地，可以将三个候选特征图直接顺序拼接，生成目标特征图。

进一步地，基于特征融合生成的目标特征图，可以生成样本图像的预测深度图像。可选地，可以采用激光雷达深度成像发、计算机立体视觉成像发、坐标测量机法、莫尔条纹法、结构光法等方法生成预测深度图像。

S105，基于预测深度图像与样本图像的真实深度图像，获取人脸防伪模型的损失函数，基于损失函数对人脸防伪模型进行调整，并返回使用下一样本图像继续对调整后的人脸防伪模型进行训练，直至训练结束生成目标人脸防伪模型。

本公开实施例中，可以将预测获取到的深度图像与实际场景下样本图像的真实深度图像进行对比，并基于对比的结果获取预测的深度图像基于真实的样本图像的深度图像的损失，并基于该损失生成人脸防伪模型的损失函数。

可选地，人脸防伪模型的损失函数可以是交叉熵损失函数。

一般情况下，预测的深度图像与真实的深度图像之间的差异可以用相对熵来表示，相对熵越小，则表示预测的深度图像与真实的深度图像之间的差异越小。因此，在人脸防伪模型的训练中，需要通过每一轮次对于模型参数的调整，使得相对熵可以最小化。交叉熵可以理解为相对熵与信息熵的结合，为了便于计算，可以通过交叉熵的计算实现对于相对熵的处理。因此，可以通过交叉熵损失函数实现模型损失的量化。

一般情况下，输入人脸防伪模型训练的样本图像可以是活体检测对象的真实图像，也可以是虚假图像。进一步地，可以通过额外的算法进行计算，比如分组无线网络(Packet Radio Network，PRNet)，获取样本图像的真实深度图像。

其中，针对活体检测对象的真实图像，使用额外的算法获取该样本图像的真实深度图像，与人脸防伪模型输出的预测深度图像进行对比，进而获取预测深度图像与真实深度图像之间的差异，从而确定预测深度图像基于真实深度图像的损失，并基于该损失获取人脸防伪模型的损失函数。

其中，针对虚假图像，可以通过使用全0的图像获取该样本图像的真实深度图像，虚假图像的真实深度图像可以作为伪标签与预测深度图像进行对比，并获取预测深度图像与真实深度图像的之间的差异，从而确定预测深度图像基于真实深度图像的损失，并基于该损失获取人脸防伪模型的损失函数。

需要说明的是，基于上述损失函数对人脸防伪模型进行的调整，可以有效提高人脸防伪模型对活体检测对象的真实图像和虚假图像的识别准确率。

进一步地，基于获取到的损失函数，对人脸防伪模型的各项参数进行调整，调整完毕后，将下一个样本图像输入至调整后的人脸防伪模型继续进行训练，并基于下一轮次的训练结果获取到对应的损失函数，对人脸防伪模型继续进行参数调整，并返回使用下一个样本图像继续对调整后的人脸防伪模型进行训练，直至训练输出的结果达到训练结束的标准，停止模型训练，并将当前轮次训练完毕的人脸防伪模型输出，确定为目标人脸防伪模型。

可选地，可以针对人脸防伪模型训练的轮次设定训练结束的标准，在人脸防伪模型训练的过程中，对训练轮次进行统计，当训练的轮次达到设定的训练结束所需的轮次时，可以结束人脸防伪模型的训练，并将最后一个轮次训练结束后的模型输出，确定为目标人脸防伪模型。

可选地，可以针对人脸防伪模型的训练输出结果设定训练结束的标准。在每一轮次的人脸防伪模型训练结束后，根据输出的预测深度图像与样本图像真实的深度图像，获取到相应的损失函数。进一步地，基于损失函数的设定一个阈值，当损失函数的结果小于或等于设定的阈值时，可以理解为，当前轮次输出的预测的深度图像与样本图像的真实深度图像之间的误差较小，所生成的预测深度图像可以满足实际应用所需，达到了设定的训练结束的标准，则结束模型的训练，并将完成最后一轮次训练的人脸防伪模型输出，确定为目标人脸防伪模型。

本公开提供的人脸防伪模型的训练方法，基于输入的样本图像获取样本图像对应的多层特征图，基于设定的层间隔获取至少两层的候选特征图，并对至少两层的候选特征区进行特征融合，进而生成目标特征图。进一步地，基于目标特征图生成预测的深度图像，将预测的深度图像与真实的样本的深度图像进行对比，获取二者之间的损失函数。基于损失函数实现人脸防伪模型的参数调整，当人脸防伪模型的输出结果达到设定的训练结束的标准时，则结束模型训练，并输出训练好的目标人脸防伪模型。本公开中，通过多个特征提取层获取到的样本图像的多层的局部特征，使得人脸防伪模型可以有效获取活体检测真实图像与虚假图像的关键特征，使得人脸识别模型可以具有良好的泛化性，通过对高阶特征与低阶特征之间的跨层的特征融合，对样本图像的图像特征的可识别性进行了增强，基于人脸防伪模型的损失函数对模型进行调整，有效提高了人脸防伪模型的训练效率，进而优化了人脸防伪模型的训练效果。

上述实施例中，为了充分学习和应用不同层所提取到的局部特征之间的关系，可以通过跨层的特征融合，逐层的对相邻层的局部特征进行融合操作，以获取样本图像的目标特征图，进而对样本图像的特征进行更好的增强，使得样本图像的特征具有更强的可识别性，有效提高模型输出结果的准确率。其中，为了可以更加充分捕捉到每层的特征图中的局部特征，并在特征融合的操作中更加充分的实现对于局部特征的应用，可以在每次的特征融合操作时，针对相邻两层的候选特征层进行特征融合。

作为一种可能的实现方式，关于跨层的特征融合，可以通过图3所示的方法实现，图2为本公开另一实施例的人脸防伪模型的训练方法的流程示意图，该方法包括：

S201，对候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取候选特征图对应的层数，并对层数按照正序或者倒序进行排序，并基于排序结果中前两位的候选特征图进行特征融合，生成第一级融合特征图。

获取到至少两层的候选特征图后，可以获取全部的候选特征图的层数，其中，每个特征图均存在对应的特征提取层。

比如，设定基于每个特征提取层逐层对样本图像进行特征提取，生成M层的特征图，进一步地，基于设定的层间隔对M层特征图进行选取，并将间隔选取到的特征图确定为待融合的候选特征图，进而获取到全部的候选特征图以及全部的候选特征图对应的特征提取层的层数。

进一步地，每个候选特征图对应的层数存在顺序，获取到全部的候选特征图后，可以基于每个候选特征图对应的层数的正序排列对全部的候选特征图进行排序，也可以基于每个候选特征图对应的层数的倒序排列对全部的候选特征图进行排序。并从排序后获取到的全部的候选特征图中，选择位于前两个位置的两层候选特征图，进行第一次的特征融合处理。

可选地，可以对全部的候选特征图进行编号，其中，每个候选特征图对应的编号可以是其在多层的特征图中所在层的编号，也可以是在获取到全部的候选特征图以后，针对全部的候选特征图进行的顺序编号。

进一步地，在确定全部的候选特征图的编号后，可以根据编号的顺序进行排列，并根据排列的顺序进行候选特征图的特征融合操作。

设定，待融合的候选特征图共四层，编号分别为“3，6，9，12”。

可选地，如图3(a)所示，将全部的候选特征图按编号从小到大的顺序进行正序的排列，为“3，6，9，12”，在排列后的全部的候选特征图中，选取位于首位和次一位的相邻的两层候选特征图，即编号为3以及编号为6的两层候选特征图，对其进行特征融合。其中，可以将该两层的候选特征图直接进行特征维度的拼接，也可以根据每个候选特征图所预先设置的权重占比，将该两层的候选特征图像处理后，再进行特征的整合。

可选地，如图3(b)所示，将全部的候选特征图按编号从大到小的顺序进行倒序的排列，为“12，9，6，3”，在排列后的全部的候选特征图中，选取位于首位和次一位的相邻的两层候选特征图，即编号为12以及编号为9的两层候选特征图，对其进行特征融合。其中，该两层候选特征图可以直接进行特征维度的拼接，也可以根据预设的每个候选特征图的权重占比，将该两层的候选特征图进行图像处理后，再进行特征的整合。

进一步地，可以生成该两层候选特征图的融合特征图，针对第一次的特征融合，该融合特征图即为第一级融合特征图。

需要说明的是，本公开实施例中，对于全部的候选特征图进行了至少一次的特征融合处理，因此，特征融合处理的次数大于1。

S202，针对第i次特征融合，将处于排序结果中的第i+1位的候选特征图与第i-1级融合特征图进行特征融合，生成第i级融合特征图，其中i为大于1且小于N的自然数。

一般情况下，跨层的特征融合中，待融合的候选特征图的数量为至少两层，则在完成第一次的特征融合后，需要继续对剩下的候选特征图进行特征融合的操作。

进一步地，全部的候选特征图中，在获取到第一级融合特征图后，需要进行第二次的特征融合。将第一级融合特征图与全部的候选特征图中位于第三位的候选特征图进行特征融合，生成第二级融合特征图。以此类推，在第i次特征融合操作中，将第i-1级的融合特征图与第i+1位的相邻的候选特征图进行特征融合，生成第i级的融合特征图。

其中，在全部的N次特征融合中，i为大于1且小于N的自然数。

可选地，在将全部的候选特征图按编号从小到大的正序排列时，如图3(a)所示，在上述示例的基础上可知，编号为3以及编号为6的相邻的两层特征图已经完成特征融合，并生成了对应第一级融合特征图。进一步地，在第二次的特征融合中，将第一级融合特征图与全部候选特征图中位于第三层的候选特征图进行特征融合，即将第一级融合特征图与编号为9的候选特征图进行特征融合，生成第二级融合特征图。再进一步，在第三次的特征融合中，将第二级融合特征图与全部候选特征图中位于第四层的候选特征图进行特征融合，即将第二级融合特征图与编号为12的候选特征图进行特征融合，生成第三级融合特征图。

可选地，在将全部的候选特征图按标号从大到小的倒序排列时，如图3(b)所示，在上述示例的基础上可知，编号为12以及编号为9的相邻的两层特征图已经完成特征融合，并生成了对应第一级融合特征图。进一步地，在第二次的特征融合中，可以将第一级融合特征图与全部候选特征图中位于第三层的候选特征图进行特征融合，即将第一级融合特征图与编号为6的候选特征图进行特征融合，生成第二级融合特征图。再进一步，在第三次的特征融合中，将第二级融合特征图与全部的候选特征图中位于第四层的候选特征图进行特征融合，即将第二级融合特征图与编号为3的候选特征图进行特征融合，生成第三级融合特征图。

以此类推，直至全部的候选特征图完成特征融合操作，并生成最后一次特征融合对应的融合特征图。

S203，响应于第N次特征融合，将第N次特征融合生成的融合特征图确定为目标特征图。

本公开实施例中的特征融合方式，从第二次特征融合开始，每一次的特征融合，会将上一次特征融合生成的融合特征图与当次的待融合候选特征图进行特征融合。

针对第i次的特征融合操作，所生成的第i级融合特征图中，包含有位于第i+1位的候选特征图以及位于第i+1位之前的候选特征图中的全部的局部特征，并进行了特征增强。

进一步地，当候选特征图进行了共计N次的特征融合时，其中的第N次特征融合所生成的融合特征图，可以有效的体现出全部的候选特征图中所包含的局部特征，并对全部的局部特征进行了特征增强。因此，可以将第N次特征融合生成的融合特征图，确定为目标特征图。

本公开提供的人脸防伪模型的训练方法，对全部的候选特征图按序排列，将排于首位与次一位的两层候选特征图进行特征融合，并生成第一级融合特征图。进一步地，在第i次特征融合操作中，将位于第i+1位的候选特征图与第i-1次特征融合操作生成的第i-1级融合特征图进行特征融合操作，并生成第i次特征融合对应的第i级融合特征图。再进一步，将全部的N次特征融合中的第N次特征融合操作所生成的融合特征图，确定为目标特征图。本公开中，通过每两层按序进行的特征融合操作，可以更加充分的应用到全部候选特征图中的局部特征，实现了全部候选特征图中的局部特征的特征增强，使得全部的局部特征具有了更好的可识别性，进而提高了模型训练的效率，优化了模型训练的效果。

作为另一种可能的实现方式，关于跨层的特征融合，可以通过图4所示的方法实现，图4为本公开另一实施例的人脸防伪模型的训练方法的流程示意图，该方法包括：

S401，对候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取候选特征图对应的层数，并对层数按照正序或者倒序进行排序，并基于排序结果，对候选特征图进行两两分组，对分组内的候选特征图进行特征融合，生成第一级融合特征图，其中，每组内的候选特征图不同。

获取到全部的候选特征图后，可以确定候选特征图的编号，其中，可以将候选特征图在多层特征图中的所在层的编号作为候选特征图的编号，也可以针对全部的候选特征图重新进行顺序编号。

进一步地，在确定全部的候选特征图的编号后，可以根据编号的顺序进行排列，并根据排列的顺序进行候选特征图的特征融合。

可以将全部的候选特征图按编号从小到大的顺序正序排列，或者按从大到小的顺序倒序排列。进一步地，将排序完毕的全部的候选特征图按序进行两两分组。

设定，待融合的候选特征图共四层，编号分别为“3，6，9，12”。

比如，如图5(a)所示，在正序排列的情况下，将编号为3以及编号为6的相邻的两层候选特征图分为第一组，将编号为9以及编号为12的相邻的两层候选特征图分为第二组。再比如，如图5(b)所示，在倒序排列的情况下，将编号为12以及编号为9的相邻的两层候选特征图分为第一组，将编号为6以及编号为3的相邻的两层候选特征图分为第二组。

分组完毕后，在每个分组内进行特征融合操作，并分别生成每个分组对应的第一级融合特征图。

比如，在上述示例的基础上，如图5(a)所示，正序排列的情况下，编号3以及编号6的相邻的两层候选特征图可以进行特征融合，并生成第一组对应的第一级融合特征图。编号9以及编号12的相邻的两层候选特征图可以进行特征融合，并生成第二组对应的第一级融合特征图。

再比如，在上述示例的基础上，如图5(b)所示，倒序排列的情况下，编号9以及编号12的相邻的两层候选特征图可以进行特征融合，并生成第一组对应的第一级融合特征图。编号6以及编号3的相邻的两层候选特征图可以进行特征融合，并生成第二组对应的第一级融合特征图。

需要说明的是，上述方法所生成的每个分组的第一级融合特征图中所包含的局部特征是不同的，以及本公开实施例中，对于全部的候选特征图进行了至少一次的特征融合处理，因此，特征融合的次数大于1。

S402，针对第i次特征融合，基于第i-1级融合特征图的来源层数，对第i-1级融合特征图进行排序并两两分组，对分组内的第i-1级融合特征图进行融合，生成第i级融合特征图，其中，每组内的第i-1级融合特征图不同，其中i为大于1且小于N的自然数。

一般情况下，获取到的候选特征图至少为两层。在候选特征图的数量大于且不包括两层时，通过第一次的特征融合可以多个第一级融合特征图，因此，可以对获取到的多个第一级融合特征图进行进一步地特征融合。

针对第i次的特征融合，获取到全部的第i-1级融合特征图，进而确定全部的第i-1级融合特征图的数量，基于该数量对全部的第i-1级的融合特征图进行排序，并两两分组。进一步地，在每个分组内进行第i次特征融合操作，每个分组生成对应的第i级融合特征图。

其中，在全部的N次特征融合中，i为大于1且小于N的自然数。

比如，在上述示例的基础上，如图5(a)所示，全部的候选特征图正序排列的情况下，编号3以及编号6的相邻的两层候选特征图生成第一组的第一级融合特征图。编号9以及编号12的相邻的两层候选特征图生成第二组的第一级融合特征图。进一步地，将两个第一级融合特征图分为一组，并在组内进行第二次特征融合操作，可以生成第二级融合特征图。

再比如，在上述示例的基础上，如图5(b)所示，全部的候选特征图倒序排列的情况下，编号12以及编号9的相邻的两层候选特征图生成第一组的第一级融合特征图。编号6以及编号3的相邻的两层候选特征图生成第二组的第一级融合特征图。进一步地，将两个第一级融合特征图分为一组，并在组内进行第二次特征融合操作，可以生成第二级融合特征图。

需要说明的是，上述方法中针对候选特征图和/或融合特征图的分组中，每个分组内的两层候选特征图和/或两层融合特征图是不同的。

S403，响应于第N次特征融合，将第N次特征融合生成的融合特征图确定为目标特征图。

本公开实施例中，特征融合是为了实现全部的待融合的候选特征图中的局部特征的融合，进而生成包含有全部待融合的候选特征图中的局部特征的融合特征图，一般情况下，最终输出的融合特征图的数量为1。

其中，针对第i次特征融合，会将第i-1次特征融合时所生成的全部的融合特征图进行分组，并在每个分组内进行特征融合操作，所生成的第i级融合特征图包含有第i次特征融合之前进行特征融合操作的，全部的候选特征图中的全部局部特征，并进行了特征增强。

进一步地，当候选特征图进行了共计N次的特征融合时，其中的第N次的特征融合处理时，对应的分组的第i级融合特征图的数量为2，可以判断，第N次的特征融合为最后一次的特征融合。其中，第N次特征融合生成的融合特征图，可以有效的体现出全部的候选特征图中所包含的局部特征，并对全部的局部特征实现了特征增强。因此，可以将第N次特征融合生成的融合特征图，确定为目标特征图。

本公开提供的人脸防伪模型的训练方法，对全部的候选特征图按序排列，并根据排序两两分组，在每个分组内部进行特征融合操作，生成第一级融合特征图。进一步地，在第i次特征融合操作中，将第i-1次特征融合操作所生成的第i-1级融合特征图按序两两分组，在每个分组内部进行特征融合操作，并生成第i次特征融合对应的第i级融合特征图。再进一步，将全部的N次特征融合中的第N次特征融合操作所生成的融合特征图，确定为目标特征图。本公开中，通过每两层按序进行的特征融合操作，可以更加充分的应用到全部候选特征图中的局部特征，实现了全部候选特征图中的局部特征的特征增强，使得全部的局部特征具有了更好的可识别性，进而提高了模型训练的效率，优化了模型训练的效果。

上述实施例中，关于样本图像的特征表示的获取，可结合图6进一步理解，如图6所示，该方法包括：

S601，对样本图像进行切分，获取切分出的每个样本图像片段的片段嵌入和位置嵌入，以及样本图像的分类嵌入。

一般情况下，每个样本图像所包含的多个局部特征中，每个局部特征均存在属性信息，比如针对人体面部眼睛的局部特征，其属性信息可以包括眼睛的大小、是否是单眼皮/双眼皮、眼睛的形状等等。

样本图像在进行逐层的局部特征提取前，会进行切分。为了使得切分后每个样本图像片段均具备良好的可识别性，可以从每个样本图像片段中所包含的局部特征的属性信息中，筛选可识别性较高的属性信息，进而生成样本图像片段的特征表示。

可选地，可以获取每个样本图像片段的片段嵌入、位置嵌入以及样本图像的分类嵌入。

其中，样本图像的片段嵌入，可以理解为，样本图像片段中所包含的局部特征信息。位置嵌入，可以理解为，该片段嵌入所代表的局部特征在样本图像中的所处位置。样本图像的分类嵌入，可以理解为，样本图像的的分类token。

S602，对片段嵌入、位置嵌入和分类嵌入进行拼接，生成样本图像的特征表示。

基于样本图像片段的片段嵌入，样本图像的特征表示可以更好的强化该片段嵌入所对应的局部特征。

基于样本图像片段的位置嵌入，样本图像的特征表示可以对特征表示中的片段嵌入所对应的局部特征在整体样本图像中实现更加精准的定位。

基于样本图像的分类嵌入，使得分类token基于样本图像的特征表示所获取到的分类嵌入可以为后续的样本图像的分类嵌入预测提供数据基础。

进一步地，获取样本图像片段的片段嵌入、位置嵌入和样本图像的分类嵌入后，通过拼接的方式，生成样本图像的特征表示。

本公开提供的人脸防伪模型的训练方法，通过对于样本图像的切分以及不同的嵌入的获取，生成具有良好可识别性的样本图像的表示，使得人脸防伪模型可以有效提取样本图像片段中的局部特征，并实现充分的应用。

上述实施例中，关于融合特征图的生成，可结合图7进一步理解，图7为本公开另一实施例的人脸防伪模型的训练方法的流程示意图，如图7所示，该方法包括：

S701，分别对待融合的两个特征图进行卷积处理，生成各自的第一特征矩阵，其中，两个特征图的一行特征对应样本图像的一个样本图像片段。

为了更好的实现候选特征图的特征融合，当进行第一次的特征融合时，可以对待融合的两层候选特征图进行图像处理。在进行非第一次的特征融合时，是基于前一次的特征融合生成的融合特征图与当前需要进行特征融合的一层特征图进行特征融合，因此，需要将前一次特征融合生成的融合特征图与当前需要进行融合的特征图进行图像处理。

可选地，可以通过基于图卷积网络注意力的机制(Cross-layer Relation-awareAttentions，CRA)实现对于特征图的特征融合，如图8所示，其中，可以通过卷积的方式实现对于特征图的图像处理。

进一步地，为了可以更加充分的实现对于局部特征的应用和增强，如图8所示，可以使用1×1卷积核对两个待融合的特征图进行卷积处理，以实现对特征图尺寸的变换。

其中，图8中的待融合的两个特征图，可以是进行第一次的特征融合时，需要融合的两层候选特征图，也可以是进行非第一次的特征融合时，前一次特征融合生成的融合特征图以及当前需要融合的特征图。

进一步地，可以获取两层候选特征图所对应的特征提取层，并分别对两层候选特征图进行卷积处理，生成两层候选特征图对应的两个第一特征矩阵。

需要说明的是，每一个候选特征图中的一行特征，与其所对应的局部特征所在的样本图像片段是对应的，全部的候选特征图与其所对应的多个的局部特征所在的多个样本图像片段一一对应。

S702，对各自的第一特征矩阵进行特征级联，生成第二特征矩阵。

获取到两个第一特征矩阵后，如图8所示，可以将两个第一特征矩阵进行特征级联，以实现两层候选特征图中的局部特征的关联。可选地，将两个第一特征矩阵进行串联，可以生成两个第一特征矩阵所对应的第二特征矩阵。

其中，可以将两个第一特征矩阵进行水平串联，也可以将两个第一特征矩阵进行垂直串联。

S703，基于第二特征矩阵，生成样本图像的邻接矩阵，并对邻接矩阵进行卷积处理，生成第三特征矩阵，其中，邻接矩阵用于表示样本图像片段之间的关系。

本公开实施例中，第二特征矩阵中包含有待融合的两层候选特征图的全部局部特征，其中，局部特征与其他局部特征之间存在连接关系。可以通过第二特征矩阵的邻接矩阵，更好的表达第二特征矩阵中的全部的局部特征之间的连接关系。

其中，该连接关系不仅可以每层的特征图中的局部特征之间的连接关系，还可以体现两层的候选特征图中全部的局部特征之间的跨层连接关系。

进一步地，可以获取第二特征矩阵的转置矩阵。并将第二特征矩阵和第二特征矩阵的转置矩阵作矩阵乘法，获取邻接矩阵。

其中，将第二特征矩阵中位于行中的元素与位于列中的元素进行互换，可以获取到第二特征矩阵的转置矩阵，进一步地，将第二特征矩阵与其转置矩阵相乘，可以获取第二特征矩阵的邻接矩阵。

获取到第二特征矩阵后，将其进行卷积处理，以增加局部特征之间的连接关系，将卷积处理输出的特征矩阵作为第三特征矩阵。

其中，第三特征矩阵是对该两层候选特征图之间的局部特征的关联关系的增强，以有效提高特征融合所输出的融合特征图的可识别程度。

S704，对第二特征矩阵进行卷积处理，生成第四特征矩阵。

一般情况下，网络模型的层数越多，则代表所提取到的特征的层次越丰富，同时，所提取到的特征也会随着网络模型层数的增加，越加抽象、越加具有语义信息。实现中，在进行网络模型层数的增加时，往往会导致模型的梯度弥散和/或梯度爆炸等等相关问题。可选地，针对网络模型层数增加导致的梯度弥散和/或梯度爆炸等问题，可以采用正则化初始和中间的正则化层进行解决。但是，采用正则化初始和中间的正则化层会导致模型的退化问题，使得基于训练样本的输出结果的准确率受到影响。

可选地，可以采用深度残差网络，在保证模型输出结果的准确率的同时，实现网络模型的层添加。

本公开实施例中，基于第二特征矩阵进行卷积获取到的第四特征矩阵，可以通过设置的残差支路输出至融合特征图的生成模块，使得最后的融合特征图的生成可以直接学习到第二特征矩阵中携带的特征信息。

其中，第二特征矩阵是通过两层候选特征图所生成的第一特征矩阵通过特征级联生成，因此，第二特征矩阵包含有两层候选特征图对应的局部特征进行特征级联后的融合特征。进一步地，通过卷积处理可以有效增加进行级联处理后的融合特征所对应的数据量。

因此，为了进一步增强对于局部特征的充分应用，获取到第二特征矩阵后，可以对第二特征矩阵进行卷积处理，比如1×1的卷积，进而生成第四特征矩阵。

S705，基于待融合的两个特征图、第三特征矩阵和第四特征矩阵，获取任一次特征融合对应的融合特征图。

可以通过上述的两层候选特征图，以及第三特征矩阵与第四特征矩阵，实现该两层候选特征图的融合特征图的生成。

其中，第三特征矩阵包含有全部的局部特征，第四特征矩阵体现了全部的局部特征之间的连接关系。进一步地，可以包括：

首先，可以对第三特征矩阵和第四特征矩阵进行特征级联，获取第五特征矩阵。

本公开实施例中，可以将第三特征矩阵与第四特征矩阵进行串联，进而生成第五特征矩阵。其中，第五特征矩阵对该两层候选特征图中所包含的局部特征之间的关联以及关联的关系进行了进一步的增强。

其次，可以对第五特征矩阵进行卷积处理，生成第六特征矩阵。

本公开实施例中，在获取到增强后的第五特征矩阵后，可以将第五特征矩阵进行卷积，比如1×1的卷积，以增加第五特征矩阵所携带的数据的数量，进而生成相应的第六特征矩阵。

再次，可以对第六特征矩阵进行归一化处理，生成待融合的两个特征图对应的权重矩阵。

本公开实施例中，将第六特征矩阵进行归一化处理，进而均衡两层候选特征图中所携带的局部特征的特征值的影响，以提高人脸防伪模型的收敛速度。

进一步地，基于第六特征矩阵的归一化处理生成待融合的两个候选特征图分别对应的权重矩阵。

从次，可以分别将待融合的两个特征图与各自对应的权重矩阵相乘，生成待融合的两个特征图的加权特征矩阵。

本公开实施例中，基于获取到的每个候选特征图所对应的权重矩阵，将每层候选特征图的与其对应的权重矩阵相乘，并生成两层候选特征图的加权特征矩阵。

最后，对两个加权特征矩阵相加，生成融合特征图。

进一步地，将加权后的两层候选特征图的加权特征矩阵相加，以生成该两层候选特征图对应的融合特征图。

需要说明的是，融合特征图在其生成过程中，充分的计算了不同的特征矩阵之间的连接关系，因此，使得不同的特征矩阵内的局部特征在融合特征图中得到了有效的交互。

本公开提供的人脸防伪模型的训练方法，对待融合的两个特征图进行卷积，生成各自的第一特征矩阵，将两个第一特征矩阵进行特征级联，生成对应的第二特征矩阵，基于第二特征矩阵以及第二特征矩阵的邻接矩阵，分别生成对应的第四特征矩阵以及第三特征矩阵，进一步地，基于两个待融合的特征图以及后续生成的第三特征矩阵与第四特征矩阵，实现特征的融合，并生成待融合的两个特征图的融合特征图。通过卷积获取到两层的特征图对应的两个第一特征矩阵，在其基础上通过特征级联实现特征矩阵的关联，通过卷积实现矩阵中特征的增强，使得特征融合所输出的融合特征图可以有效实现对局部特征的增强，进而更好的实现候选特征图的跨层特征融合，保证了人脸防伪模型的训练效果。

进一步地，人脸防伪模型的参数调整，可结合图9理解，图9为本公开另一实施例的人脸防伪模型的训练方法的流程示意图，如图9所示，该方法包括：

S901，获取人脸防伪模型输出的样本图像的预测分类。

一般情况下，人脸防伪模型输出的结果中包含有所输入的样本图像的预测分类，该预测分类是人脸防伪模型基于输入的样本图像的特征表示中所携带的每个局部特征对应的实际分类嵌入获取的。其中，实际分类嵌入可以标记样本图像片段的分类，比如将样本图像片段标记为活体检测对象的真实图像，还是标记为虚假图像。

本公开实施例中，在多个编码器层对多个样本图像片段转化的片段信息进行局部特征信息的提取时，编码器层同时对分类的记号(token)向量，基于输入的token向量，由多个编码层逐层捕捉分类信息，基于提取的分类信息预测出样本图像的预测分类。

可选地，由Transformer网络对输入的分类嵌入逐层学习后输入多层感知器MLP中，由MLP输出预测分类。

比如，在上述示例的基础上，将224×224的图像进行图像序列化后，获取到196个769维的向量，则在该场景下，分类token为1个769维的向量，可以将分类token与获取到的196个769维的向量串联，进而获取到197×769的输出。进一步地，该输出可以确定为Transformer网络对输入的分类嵌入逐层学习后的输出。

再进一步，将该输出作为多层感知器(Multilayer perceptron，MLP)的输入，进而生成预测的分类嵌入。一般情况下，多层感知器MLP中，包含有输入层、隐藏层以及输出层，其中，隐藏层可以包含有多个感知器层。

本公开实施例中，可以将逐层捕捉到的分类信息输入至MLP的输入层，输入层能够重新映射原输入，通过映射使得输入的全部的分类嵌入在新的空间内能够线性可分。进一步地，输入层将映射获取到的数据输出，并输入至隐蔽层，隐蔽层中存在多个感知器层，每一个感知器层均可以以上一层的输出数据为基础，实现对于数据的分类，最后将隐蔽层的输出结果输入至输出层，即可基于MLP输出样本图像的预测分类。

本公开实施例中，通过MLP的整合处理生成样本图像对应的预测分类，为后续分类损失函数的获取提供了数据基础。

S902，基于预测分类和样本图像的实际分类嵌入，获取人脸防伪模型的分类损失函数。

为了对当前训练的人脸防伪模型进行调整，使其所输出的预测分类嵌入可以最大限度的接近实际情况下样本图像的分类嵌入，可以将样本图像的预测分类嵌入与样本图像在实际分类嵌入进行对比，进而获取二者之间的差异，该差异可以被确定为预测分类嵌入基于实际分类嵌入的损失。进一步地，基于该损失获取人脸防伪模型的分类损失函数。

可选地，人脸防伪模型的分类损失函数可以是交叉熵损失函数。

一般情况下，可以在人脸防伪模型的输出层后连接一个归一化指数函数(softmax)，使得人脸防伪模型输出的预测分类嵌入中，包含的每个分类嵌入的预测值的和为1，进而通过交叉熵计算预测的分类嵌入与实际分类嵌入之间的损失，以获取人脸防伪模型的分类损失函数。

S903，基于损失函数和分类损失函数，对人脸防伪模型的模型参数进行调整。

上述实施例中，人脸防伪模型可以输出样本图像的预测深度图像，并将样本图像的预测深度图像与样本图像的真实深度图像进行对比，获取到二者之间的差异，进一步地，基于该差异获取样本图像的预测深度图像基于真实深度图像的损失，从而获取人脸防伪模型的损失函数。

本公开实施例中，人脸防伪模型可以输出样本图像的预测分类嵌入，将其与样本图像的实际分类嵌入进行对比，基于二者之间的差异，获取到样本图像的预测分类嵌入基于实际分类嵌入的损失，从而获取到人脸防伪模型的分类损失函数。

进一步地，基于损失函数以及分类损失函数，可以获取融合损失函数，基于该融合损失函数可以实现对于人脸防伪模型参数的调整。

设定，人脸防伪模型的损失函数为L_depth，分类损失函数为L_binary，则可以通过如下公式实现对于损失函数L_depth与分类损失函数L_binary的融合，获取到融合损失函数L_overall。

L_overall＝α×L_binary+(1-α)×L_depth

其中，α代表损失函数与分类损失函数之间的调节权重。

本公开提供的人脸防伪模型的训练方法，通过获取人脸防伪模型输出的样本图像的预测分类嵌入以及实际分类嵌入，获取人脸防伪模型的分类损失函数。进一步地，将获取到的分类损失函数以及基于预测深度图像与真实深度图像获取的损失函数进行整合，获取融合损失函数，并基于融合损失函数实现对于人脸防伪模型的调整。通过在每一轮次训练开始前，基于上一轮次的模型训练中的分类损失函数与损失函数调整人脸防伪模型的模型参数，使得训练中人脸防伪模型的输出结果可以实现持续的优化，使得后一轮次的人脸防伪模型的训练结果可以无限接近于实际场景，有效增强了人脸防伪模型的训练效果。

上述实施例中，关于预测的深度图像，可结合图10进一步理解，图10为本公开另一实施例的人脸防伪模型的训练方法的流程示意图，如图10所示，该方法包括：

S1001，由人脸防伪模型中的自注意力Transformer网络的多个编码器层逐层提取样本图像对应的多层特征图。

本公开实施例中，人脸防伪模型采用Transformer网络作为模型的主结构(backbone)，其中，Transformer网络存在自注意力机制。

进一步地，Transformer网络中存在多个编码器层，样本图像片段输入后，可以通过Transformer网络中的多个编码器层实现逐层的局部特征提取。

其中，为了使得Transformer网络的多个编码器层可以实现对于样本图像片段的逐层的特征提取，在样本图像片段在输入至多个编码器层之前，需要进行样本图像片段的图像处理。可选地，可以将样本图像片段进行图像序列化处理，通过一个设定的映射网络，将全部的样本图像片段转化成为对应的编码信息，该编码信息可以输入至Transformer网络的多个编码器层，实现该编码信息所对应的样本图像片段中的局部特征的提取。

比如，设定输入的样本图像为一张224×224的图像，将其分割获取到1106个16×16的样本图像片段，其中，每个样本图像的片段的尺寸为宽度，高度，通道数(16，16，3)。进一步地，将该1106个16×16的样本图像片段输入至设定的映射网络中，将每个宽度，高度，通道数(16，16，3)的片段均映射成一个768维的向量，进而获取到1106个768维的向量。进一步地，可以确定样本图像进行图像序列化的输出结果的尺寸为1106×768。

一般情况下，Transformer网络中的每个编码器层均包含有一个自注意力机制层。通过自注意力机制层可以提取样本图像片段中的局部特征，同时，自注意力机制可以通过持续的计算不同片段编码信息之间的相关度，获取不同的样本图像片段之间的相关度，进而根据不同的相关度对不同的样本图像片段所提取出的局部特征进行加权操作，进一步地，基于该操作可以生成每个编码器层对应的特征图。

需要说明的是，每个编码器层可以输出一个样本图像片段中的局部特征的特征图，则将全部的编码器层中每层编码器层所输出的特征图进行整合，可以获取样本图像的多层特征图。

S1002，由人脸防伪模型中的跨层关系感知注意力CRA网络，按照设定层间隔，从多个编码器层中确定用于需要进行特征融合的至少两个目标编码层，并将目标编码器层输出的特征图作为候选特征图，并对候选特征图进行融合，生成样本图像的目标特征图。

本公开实施例中，在获取到样本图像对应的多层特征图后，可以通过跨层的特征图融合实现目标特征图的获取。

可选地，跨层的特征融合可以通过基于图卷积网络注意力的机制(Cross-layerRelation-aware Attentions，CRA)实现。CRA可以有效获取不同编码器层所输出的特征图之间的关系，并基于不同层的待融合特征图进行特征融合。

一般情况下，Transformer网络中，每层的编码器层均会使用自注意力机制逐层计算不同层的特征图之间的相关性。其中的编码器层可以分为低层和高层。

其中，低层的编码器层可以提取到与周围环境区域具有较强的相关性的局部特征，比如轮廓信息、纹理信息，其分辨率较高，同时存在语义性较低、噪声较多等相关问题，该类型的特征可以理解为样本图像的低阶特征。高层的编码器层可以提取到在样本图像中具备较强可识别性的局部特征，比如样本图像中具有一定的注意力的局部特征，该类型特征具有更强的语义性，同时存在分辨率较低、细节感知能力较弱等相关问题，该类型特征可以理解为样本图像的高阶特征。

为了充分利用每个编码器层所提取出的局部特征，同时，做好样本图像的高阶特征与低阶特征之间的平衡，可以设定，从全部的编码器层中进行筛选，进而获取可以进行特征融合的编码器层。可选地，可以设定一个层间隔数。基于设定的层间隔数，从全部的编码器层中进行筛选，获取待融合的编码器层，并将其确定为目标编码器层，其中，目标编码器层的数量为两个及两个以上。

进一步地，将至少两个目标编码器层所输出的特征图确定为待融合的候选特征图。通过对于待融合的候选特征图进行特征融合，生成样本图像对应的目标特征图。

S1003，将目标特征图输入人脸防伪模型中的解码器中，生成样本图像的样本预测深度图像。

一般情况下，活体检测对象的真实图像的样本图像中，每个局部特征所处位置与真实图像拍摄时摄像机所处的位置之间的距离各不相同。比如，由人体的面部组织结构可知，在拍摄获取到真实图像时，人体面部的鼻子距离摄像机的距离小于耳朵距离摄像机的距离。

相应地，虚假图像通常是提前拍摄好的活体检测对象的图像，基于该虚假图像生成样本图像，其中的每个局部特征的位置与摄像机所处位置之间的距离趋于相同。

进一步地，样本图像中每个局部特征与摄像机之间的位置，可以理解为，每个局部特征的深度数据。基于样本图像中每个局部特征的深度数据，可以生成样本图像的深度图像，进而实现对于活体检测对象的真实图像与虚假图像之间的分类。

本公开实施例中，人脸防伪模型中存在与编码器相对应的解码器，可以将基于编码器层确定的样本图像的目标特征图输入至模型中的解码器中，通过解码器获取目标特征图中包含的每个局部特征与摄像机之间的距离的相对关系，进而生成样本图像的预测深度图像。

为更好的理解人脸防伪模型的运算过程，可结合图11，图11示出了本公开实施例中的人脸防伪模型的示意结构，如图11所示，可以获取活体检测对象的图像作为样本图像1110，通过样本图像切分模块1120对样本图像进行切分，获取到多个样本图像片段，将样本图像片段输入至图像序列化模块1130中，对样本图像片段进行映射进而获取设定尺寸的向量并输出。进一步地，将图像序列化模块1130的输出结果输入至多个编码器层1140，通过多个编码器层1140实现逐层的局部特征的提取并生成相应的特征图。将每个编码器层输出的特征图通过跨层局部特征交互1150，进行逐层的特征融合，基于融合后的特征生成融合特征图。

其中，关于跨层局部特征交互1150中的特征融合，获取待融合的两个候选特征图，并分别卷积生成两个相应的第一特征矩阵，将两个第一特征矩阵级联，生成级联后的第二特征矩阵。其中，通过第二矩阵的邻接矩阵的卷积获取到第三特征矩阵，通过第二矩阵进行卷积获取到残差支路的第四特征矩阵，基于两个候选特征图、第三特征矩阵以及第四特征矩阵实现特征融合，并生成融合特征图。

进一步地，基于融合特征图获取到样本图像的预测深度图，且可以基于预测深度图获取人脸防伪模型的损失函数，以实现模型参数的调整，有效优化模型的训练效果。

同步地，编码器层可以在进行局部特征提取的同时，实现逐层的分类嵌入的获取，并将逐层获取到的全部的分类嵌入输入至多层感知器1160中，通过多层感知器1160获取样本图像的预测分类嵌入，进而获取人脸防伪模型的分类损失函数。

本公开提供的人脸防伪模型的训练方法，通过Transformer网络的多个编码器实现逐层的特征提取，进而生成样本图像对应的多层特征图，通过对编码器的筛选获取待融合层编码器对应的特征图，进而确定至少两层的候选特征图，并融合生成样本图像的目标特征图。进一步地，将目标特征图输入至Transformer网络的解码器，进而获取样本图像的预测深度图像。通过Transformer网络实现多层的特征提取，使得样本图像的多个局部特征可以获得充分的应用，通过解码器生成样本图像的预测深度图，通过样本图像中的局部特征的相对深度更好的实现真实图像与虚假图像的识别，优化了人脸防伪模型的训练效果。

实现中，人脸防伪模型的训练结束后所生成的目标人脸防伪模型，可以应用于实际的基于人脸图像的活体检测中，其中，基于人脸图像的活体检测方法可结合图12进一步理解，图12为本公开一实施例的人脸防伪方法的流程示意图，如图12所示，该方法包括：

S1201，对目标用户进行人脸图像采集，获取目标用户的待验证的目标人脸图像。

一般情况下，可以通过设置的图像采集设备实现目标用户的人脸图像采集，比如摄像头。

用户可以将面部放置于图像采集设备前，使得图像采集设备可以获取目标用户的人脸图像，该人脸图像即可确定为待验证的目标人脸图像。

S1202，获取目标人脸图像的特征表示并输入目标人脸防伪模型中，输出目标人脸图像的目标深度图像。

获取待验证的目标人脸图像后，可以将其输入至训练好的目标人脸防伪模型中。通过目标人脸防伪模型中对于目标人脸图像的特征提取以及融合，可以生成目标人脸图像的目标深度图像并输出。

基于目标人脸防伪模型的输出结果，可以获取到目标人脸图像的目标深度图像。

S1203，获取目标深度图像的平均深度值，并基于平均深度值，对目标人脸图像进行活体图像验证。

获取目标深度图像后，可以获取到目标深度图像中每个点的深度值，基于获取到的全部深度值获取到目标深度图像的平均深度值，其中，当某一个点的深度值为0时，可以理解为，该点所对应的深度值不确定，对于该情况，可以进行过滤处理。

实现中，呈现攻击所使用的是目标用户在进行目标人脸图像采集前的图像，因此，基于虚假图像所生成的目标深度图像中，每个点的深度值趋于相同。且一般情况下，目标用户和用于攻击的虚假图像距离摄像机的距离需要处于正常社交距离范围内，因此，可以设置一个平均深度值阈值，通过目标深度图像的平均深度值与阈值之间的对比结果，可以对目标人脸图像进行活体图像验证。

其中，当目标深度图像的平均深度值小于或者等于设定的平均深度值阈值时，可以判断，该目标深度图像所对应的目标人脸图像符合真实场景下对于目标用户进行图像采集时获取到的图像标准。因此，可以判断当目标深度图像的平均深度值小于或者等于设定的平均深度值阈值时，目标人脸图像可以通过基于人脸图像的活体检测。

相应地，当目标深度图像的平均深度值大于设定的平均深度值阈值时，可以判断，当前的目标深度图像中各个点所对应的深度值与实际场景中采集到的图像所生成的深度图像的情况不符，因此，可以认定当前的目标人脸图像无法通过基于人脸图像的活体检测。

需要说明的是，本公开实施例中的目标人脸防伪模型，是通过上述图1至图11中任一个实施例提供的人脸防伪模型训练方法训练出的模型。

本公开提供的人脸防伪方法，通过将目标用户的目标人脸图像输入至训练好的目标人脸防伪模型，获取对应的目标深度图，并基于目标深度图的深度图均值，判断目标人脸图像是否通过活体检测。基于目标人脸防伪模型，简化了基于人脸图像的活体检测的操作，使得本公开实施例中的人脸防伪方法具有更好的实用性。

在上述实施例的基础上，可以通过目标深度图与目标人脸图像的分类得分实现更精准的人脸防伪方法，可结合图13，图13为本公开另一实施例的人脸防伪方法的流程示意图，如图13所示，该方法包括：

S1301，获取目标人脸防伪模型输出的目标人脸图像的分类得分。

本公开实施例中，可以通过将活体检测对象的真实图像与攻击图像进行分离，从而实现人脸防伪方法的执行。

将目标人脸图像输入至训练好的目标人脸防伪模型中，基于模型获取到目标人脸图像对应的分类得分。

其中，分类得分可以理解为，目标人脸图像属于活体检测对象或属于用于攻击的虚假图像的概率所对应的得分。

S1302，将分类得分和平均深度值进行加权，以获取目标人脸图像的总得分。

基于目标人脸防伪模型输出的分类得分以及平均深度值，分别为二者配置权重，进一步地，基于配置的权重对分类得分以及平均深度值进行加权，进而获取目标人脸图像属于活体检测对象或属于用于攻击的虚假图像的概率所对应的总得分。

进一步地，设定分类得分b_l的权重为α，平均深度值

的权重为(1-α)，则目标人脸图像的总得分为score：

S1303，基于目标人脸图像的总得分，识别目标人脸图像为活体图或攻击图。

进一步地，可以设置一个阈值，并基于总得分与阈值之间的比较结果，实现目标人脸图像的所属分类。

其中，响应于总得分大于设定阈值，识别目标人脸图像为活体图。

当总得分大于设定阈值时，可以理解为，当前的目标人脸图像属于活体检测对象的真实图像的概率较高，则当前的目标人脸图像可以被确定为活体检测对象真实的活体图。

其中，响应于总得分小于或者等于设定阈值，识别目标人脸图像为攻击图。

当总得分小于或者等于设定的阈值时，可以理解为，当前的目标人脸图像属于活体检测对象的真实图像的概率较小，则当前目标人脸图像可以被确定为用来进行呈现攻击的攻击图。

本公开提供的人脸防伪方法，通过目标人脸图像的深度图与分类得分的加权融合，使得人脸防伪模型可以更加准确的对活体检测对象的真实活体图与虚假攻击图实现分离。

与上述几种实施例提供的人脸防伪模型的训练方法相对应，本公开的一个实施例还提供了一种人脸防伪模型的训练装置，由于本公开实施例提供的人脸防伪模型的训练装置与上述几种实施例提供的人脸防伪模型的训练方法相对应，因此上述人脸防伪模型的训练方法的实施方式也适用于本公开实施例提供的人脸防伪模型的训练装置，在下述实施例中不再详细描述。

图14为本公开一实施例的人脸防伪模型的训练装置的结构示意图，如图14所示，人脸防伪模型的训练装置10，包括获取模块11、提取模块12、筛选模块13、融合模块14、调整模块15，其中：

获取模块11，用于获取样本图像的特征表示并输入人脸防伪模型中；

提取模块12，用于由人脸防伪模型的逐层提取样本图像对应的多层特征图；

筛选模块13，用于按照设定层间隔，从多层特征图中确定用于融合的至少两层特征图，作为候选特征图；

融合模块14，用于对候选特征图进行特征融合处理，生成样本图像的目标特征图，基于目标特征图生成样本图像的预测深度图像；

调整模块15，用于基于预测深度图像与样本图像的真实深度图像，获取人脸防伪模型的损失函数，基于损失函数对人脸防伪模型进行调整，并返回使用下一样本图像继续对调整后的人脸防伪模型进行训练，直至训练结束生成目标人脸防伪模型。

图15为本公开一实施例的人脸防伪模型的训练装置的结构示意图，如图15所示，人脸防伪模型的训练装置20，包括获取模块21、提取模块22、筛选模块23、融合模块24、调整模块25、函数模块26，其中：

需要说明的是，获取模块21、提取模块22、筛选模块23、融合模块24、调整模块25与获取模块11、提取模块12、筛选模块13、融合模块14、调整模块15，具有相同的结构和功能。

本公开实施例中，融合模块24，还用于：对候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取候选特征图对应的层数，并对层数按照正序或者倒序进行排序，并基于排序结果中前两位的候选特征图进行特征融合，生成第一级融合特征图；针对第i次特征融合，将处于排序结果中的第i+1位的候选特征图与第i-1级融合特征图进行特征融合，生成第i级融合特征图，其中i为大于1且小于N的自然数；响应于第N次特征融合，将第N次特征融合生成的融合特征图确定为目标特征图。

本公开实施例中，融合模块24，还用于：对候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取候选特征图对应的层数，并对层数按照正序或者倒序进行排序，并基于排序结果，对候选特征图进行两两分组，对分组内的候选特征图进行特征融合，生成第一级融合特征图，其中，每组内的候选特征图不同；针对第i次特征融合，基于第i-1级融合特征图的来源层数，对第i-1级融合特征图进行排序并两两分组，对分组内的第i-1级融合特征图进行融合，生成第i级融合特征图，其中，每组内的第i-1级融合特征图不同，其中，i为大于1且小于N的自然数；响应于第N次特征融合，将第N次特征融合生成的融合特征图确定为目标特征图。

本公开实施例中，融合模块24，还用于：分别对待融合的两个特征图进行卷积处理，生成各自的第一特征矩阵，其中，两个特征图的一行特征对应样本图像的一个样本图像片段；对各自的第一特征矩阵进行特征级联，生成第二特征矩阵；基于第二特征矩阵，生成样本图像的邻接矩阵，并对邻接矩阵进行卷积处理，生成第三特征矩阵，其中，邻接矩阵用于表示样本图像片段之间的关系；对第二特征矩阵进行卷积处理，生成第四特征矩阵；基于待融合的两个特征图、第三特征矩阵和第四特征矩阵，获取任一次特征融合对应的融合特征图。

本公开实施例中，融合模块24，还用于：获取第二特征矩阵的转置矩阵；将第二特征矩阵和第二特征矩阵的转置矩阵作矩阵乘法，获取邻接矩阵。

本公开实施例中，融合模块，还用于：对第三特征矩阵和第四特征矩阵进行特征级联，获取第五特征矩阵；对第五特征矩阵进行卷积处理，生成第六特征矩阵；对第六特征矩阵进行归一化处理，生成待融合的两个特征图对应的权重矩阵；分别将待融合的两个特征图与各自对应的权重矩阵相乘，生成待融合的两个特征图的加权特征矩阵；对两个加权特征矩阵相加，生成融合特征图。

本公开实施例中，人脸防伪模型的训练装置20，还包括：

获取模块21，还用于获取人脸防伪模型输出的样本图像的预测分类嵌入；

函数模块26，用于基于预测分类和样本图像的实际分类嵌入，获取人脸防伪模型的分类损失函数；

调整模块25，还用于基于损失函数和分类损失函数，对人脸防伪模型的模型参数进行调整。

本公开实施例中，人脸防伪模型的训练装置20，还包括：

提取模块22，还用于由人脸防伪模型中的自注意力Transformer网络的多个编码器层逐层提取样本图像对应的多层特征图；

筛选模块23，还用于由人脸防伪模型中的跨层关系感知注意力CRA网络，按照设定层间隔，从多个编码器层中确定用于需要进行特征融合的至少两个目标编码层，并将目标编码器层输出的特征图作为候选特征图，并对候选特征图进行融合，生成样本图像的目标特征图；

融合模块24，还用于将目标特征图输入人脸防伪模型中的解码器中，生成样本图像的样本预测深度图像。

本公开实施例中，获取模块21，还用于：由Transformer网络对输入的分类嵌入逐层学习后输入多层感知器MLP中，由MLP输出预测分类嵌入。

本公开实施例中，获取模块21，还用于：对样本图像进行切分，获取切分出的每个样本图像片段的片段嵌入和位置嵌入，以及样本图像的分类嵌入；对片段嵌入、位置嵌入和分类嵌入进行拼接，生成样本图像的特征表示。

本公开提供的人脸防伪模型的训练装置，通过多个特征提取层获取到的样本图像的多层的局部特征，使得人脸防伪模型可以有效获取活体检测真实图像与虚假图像的关键特征，使得人脸识别模型可以具有良好的泛化性，通过对高阶特征与低阶特征之间的跨层的特征融合，对样本图像的图像特征的可识别性进行了增强，基于人脸防伪模型的损失函数对模型进行调整，有效提高了人脸防伪模型的训练效率，进而优化了人脸防伪模型的训练效果。

与上述几种实施例提供的人脸防伪方法相对应，本公开的一个实施例还提供了一种人脸防伪装置，由于本公开实施例提供的人脸防伪装置与上述几种实施例提供的人脸防伪方法相对应，因此上述人脸防伪方法的实施方式也适用于本公开实施例提供的人脸防伪装置，在下述实施例中不再详细描述。

图16为本公开一实施例的人脸防伪模型的训练装置的结构示意图，如图16所示，人脸防伪装置30，包括采集模块31、生成模块32、验证模块33，其中：

采集模块31，用于对目标用户进行人脸图像采集，获取目标用户的待验证的目标人脸图像；

生成模块32，用于获取目标人脸图像的特征表示并输入目标人脸防伪模型中，输出目标人脸图像的目标深度图像；

验证模块33，用于获取目标深度图像的平均深度值，并基于平均深度值，对目标人脸图像进行活体图像验证；

其中，目标人脸防伪模型为基于图14以及图15的人脸防伪模型的训练装置训练出的模型。

图17为本公开一实施例的人脸防伪模型的训练装置的结构示意图，如图17所示，人脸防伪装置40，包括采集模块41、生成模块42、验证模块43，其中：

需要说明的是，采集模块41、生成模块42、验证模块43与采集模块31、生成模块32、验证模块33，具有相同的结构和功能。

本公开实施例中，验证模块43，还用于：获取目标人脸防伪模型输出的目标人脸图像的分类得分；将分类得分和平均深度值进行加权，以获取目标人脸图像的总得分；响应于总得分大于设定阈值，识别目标人脸图像为活体图；响应于总得分小于或者等于设定阈值，识别目标人脸图像为攻击图。

本公开提供的人脸防伪装置，通过将目标用户的目标人脸图像输入至训练好的目标人脸防伪模型，获取对应的目标深度图，并基于目标深度图的深度图均值，判断目标人脸图像是否通过活体检测。基于目标人脸防伪模型，简化了基于人脸图像的活体检测的操作，使得本公开实施例中的人脸防伪方法具有更好的实用性。

图18示出了可以用来实施本公开的实施例的示例电子设备1800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图18所示，设备1800包括计算单元1801，其可以根据存储在只读存储器(ROM)1802中的计算机程序或者从存储单元1808加载到随机访问存储器(RAM)1803中的计算机程序，来执行各种适当的动作和处理。在RAM 1803中，还可存储设备1800操作所需的各种程序和数据。计算单元1801、ROM1802以及RAM1803通过总线1804彼此相连。输入/输出(I/O)接口1805也连接至总线1804。

设备1800中的多个部件连接至I/O接口1805，包括：输入单元1806，比如键盘、鼠标等；输出单元1807，比如各种类型的显示器、扬声器等；存储单元1808，比如磁盘、光盘等；以及通信单元1809，比如网卡、调制解调器、无线通信收发机等。通信单元1809允许设备1800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1801执行上文所描述的各个方法和处理，比如人脸防伪模型的训练方法。比如，在一些实施例中，人脸防伪模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，比如存储单元1808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1802和/或通信单元1809而被载入和/或安装到设备1800上。当计算机程序加载到RAM 1803并由计算单元1801执行时，可以执行上文描述的人脸防伪模型的训练方法一个或多个步骤。备选地，在其他实施例中，计算单元1801可以通过其他任何适当的方式(比如，借助于固件)而被配置为执行人脸防伪模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与使用者的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向使用者显示信息的显示装置(比如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(比如，鼠标或者轨迹球)，使用者可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与使用者的交互；比如，提供给使用者的反馈可以是任何形式的传感反馈(比如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自使用者的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(比如，作为数据服务器)、或者包括中间件部件的计算系统(比如，应用服务器)、或者包括前端部件的计算系统(比如，具有图形使用者界面或者网络浏览器的使用者计算机，使用者可以通过该图形使用者界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(比如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。比如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种人脸防伪模型的训练方法，包括：

获取样本图像的特征表示并输入人脸防伪模型中；

由所述人脸防伪模型逐层提取所述样本图像对应的多层特征图；

按照设定层间隔，从所述多层特征图中确定用于融合的至少两层特征图，作为候选特征图；

对所述候选特征图进行特征融合处理，生成所述样本图像的目标特征图，基于所述目标特征图生成所述样本图像的预测深度图像；

基于所述预测深度图像与所述样本图像的真实深度图像，获取所述人脸防伪模型的损失函数，基于所述损失函数对所述人脸防伪模型进行调整，并返回使用下一样本图像继续对调整后的人脸防伪模型进行训练，直至训练结束生成目标人脸防伪模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述候选特征图进行特征融合处理，生成所述样本图像的目标特征图，包括：

对所述候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取所述候选特征图对应的层数，并对所述层数按照正序或者倒序进行排序，并基于排序结果中前两位的所述候选特征图进行特征融合，生成第一级融合特征图；

针对第i次特征融合，将处于排序结果中的第i+1位的所述候选特征图与第i-1级融合特征图进行特征融合，生成第i级融合特征图，其中i为大于1且小于N的自然数；

响应于第N次特征融合，将所述第N次特征融合生成的融合特征图确定为所述目标特征图。

3.根据权利要求1所述的方法，其特征在于，所述对所述候选特征图进行融合处理，生成所述样本图像的目标特征，包括：

对所述候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取所述候选特征图对应的层数，并对所述层数按照正序或者倒序进行排序，并基于排序结果，对所述候选特征图进行两两分组，对分组内的所述候选特征图进行特征融合，生成第一级融合特征图，其中，每组内的所述候选特征图不同；

针对第i次特征融合，基于第i-1级融合特征图的来源层数，对所述第i-1级融合特征图进行排序并两两分组，对分组内的所述第i-1级融合特征图进行融合，生成第i级融合特征图，其中，每组内的所述第i-1级融合特征图不同，其中，i为大于1且小于N的自然数；

响应于第N次特征融合，将所述第N次特征融合生成的融合特征图确定为所述目标特征图。

4.根据权利要求2或3所述的方法，其中，任一次特征融合过程，包括：

分别对待融合的两个特征图进行卷积处理，生成各自的第一特征矩阵，其中，所述两个特征图的一行特征对应所述样本图像的一个样本图像片段；

对所述各自的所述第一特征矩阵进行特征级联，生成第二特征矩阵；

基于所述第二特征矩阵，生成所述样本图像的邻接矩阵，并对所述邻接矩阵进行卷积处理，生成第三特征矩阵，其中，所述邻接矩阵用于表示所述样本图像片段之间的关系；

对所述第二特征矩阵进行卷积处理，生成第四特征矩阵；

基于所述待融合的两个特征图、所述第三特征矩阵和所述第四特征矩阵，获取所述任一次特征融合对应的融合特征图。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二特征矩阵，生成所述样本图像的邻接矩阵，包括：

获取所述第二特征矩阵的转置矩阵；

将所述第二特征矩阵和所述第二特征矩阵的转置矩阵作矩阵乘法，获取所述邻接矩阵。

6.根据权利要求4所述的方法，其特征在于，所述基于所述待融合的两个特征图、所述第三特征矩阵和所述第四特征矩阵，获取所述任一次特征融合对应的融合特征图，包括：

对所述第三特征矩阵和所述第四特征矩阵进行特征级联，获取第五特征矩阵；

对所述第五特征矩阵进行卷积处理，生成第六特征矩阵；

对所述第六特征矩阵进行归一化处理，生成所述待融合的两个特征图对应的权重矩阵；

分别将所述待融合的两个特征图与各自对应的权重矩阵相乘，生成所述待融合的两个特征图的加权特征矩阵；

对两个所述加权特征矩阵相加，生成所述融合特征图。

7.根据权利要求1-3任一项的方法，其中，还包括：

获取所述人脸防伪模型输出的所述样本图像的预测分类；

基于所述预测分类和所述样本图像的实际分类嵌入，获取所述人脸防伪模型的分类损失函数；

基于所述损失函数和所述分类损失函数，对所述人脸防伪模型的模型参数进行调整。

8.根据权利要求7的方法，其中，还包括：

由所述人脸防伪模型中的自注意力Transformer网络的多个编码器层逐层提取所述样本图像对应的多层特征图；

由所述人脸防伪模型中的跨层关系感知注意力CRA网络，按照设定层间隔，从所述多个编码器层中确定用于需要进行特征融合的至少两个目标编码层，并将所述目标编码器层输出的特征图作为所述候选特征图，并对所述候选特征图进行融合，生成所述样本图像的目标特征图；

将所述目标特征图输入所述人脸防伪模型中的解码器中，生成所述样本图像的样本预测深度图像。

9.根据权利要求7所述的方法，其中，还包括：

由所述Transformer网络对输入的分类嵌入逐层学习后输入多层感知器MLP中，由所述MLP输出所述预测分类嵌入。

10.根据权利要求7所述的方法，其中，所述获取样本图像的特征表示，包括：

对所述样本图像进行切分，获取切分出的每个样本图像片段的片段嵌入和位置嵌入，以及所述样本图像的分类嵌入；

对所述片段嵌入、所述位置嵌入和所述分类嵌入进行拼接，生成所述样本图像的特征表示。

11.一种人脸防伪方法，包括：

对目标用户进行人脸图像采集，获取所述目标用户的待验证的目标人脸图像；

获取所述目标人脸图像的特征表示并输入目标人脸防伪模型中，输出所述目标人脸图像的目标深度图像；

获取所述目标深度图像的平均深度值，并基于所述平均深度值，对所述目标人脸图像进行活体图像验证；

其中，所述目标人脸防伪模型为基于权利要求1-10任一项所述的人脸防伪模型的训练方法训练出的模型。

12.根据权利要求11所述的方法，其特征在于，还包括：

获取所述目标人脸防伪模型输出的所述目标人脸图像的分类得分；

将所述分类得分和所述平均深度值进行加权，以获取所述目标人脸图像的总得分；

响应于所述总得分大于设定阈值，识别所述目标人脸图像为活体图；

响应于所述总得分小于或者等于所述设定阈值，识别所述目标人脸图像为攻击图。

13.一种人脸防伪模型的训练装置，包括：

获取模块，用于获取样本图像的特征表示并输入人脸防伪模型中；

提取模块，用于由所述人脸防伪模型的逐层提取所述样本图像对应的多层特征图；

筛选模块，用于按照设定层间隔，从所述多层特征图中确定用于融合的至少两层特征图，作为候选特征图；

融合模块，用于对所述候选特征图进行特征融合处理，生成所述样本图像的目标特征图，基于所述目标特征图生成所述样本图像的预测深度图像；

调整模块，用于基于所述预测深度图像与所述样本图像的真实深度图像，获取所述人脸防伪模型的损失函数，基于所述损失函数对所述人脸防伪模型进行调整，并返回使用下一样本图像继续对调整后的人脸防伪模型进行训练，直至训练结束生成目标人脸防伪模型。

14.根据权利要求13所述的装置，其特征在于，所述融合模块，还用于：

对所述候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取所述候选特征图对应的层数，并对所述层数按照正序或者倒序进行排序，并基于排序结果中前两位的所述候选特征图进行特征融合，生成第一级融合特征图；

针对第i次特征融合，将处于排序结果中的第i+1位的所述候选特征图与第i-1级融合特征图进行特征融合，生成第i级融合特征图，其中i为大于1且小于N的自然数；

响应于第N次特征融合，将所述第N次特征融合生成的融合特征图确定为所述目标特征图。

15.根据权利要求13所述的装置，其特征在于，所述融合模块，还用于：

对所述候选特征图进行N次特征融合处理，其中N大于1；针对第一次特征融合，获取所述候选特征图对应的层数，并对所述层数按照正序或者倒序进行排序，并基于排序结果，对所述候选特征图进行两两分组，对分组内的所述候选特征图进行特征融合，生成第一级融合特征图，其中，每组内的所述候选特征图不同；

针对第i次特征融合，基于第i-1级融合特征图的来源层数，对所述第i-1级融合特征图进行排序并两两分组，对分组内的所述第i-1级融合特征图进行融合，生成第i级融合特征图，其中，每组内的所述第i-1级融合特征图不同，其中，i为大于1且小于N的自然数；

响应于第N次特征融合，将所述第N次特征融合生成的融合特征图确定为所述目标特征图。

16.根据权利要求14或15所述的装置，所述融合模块，还用于：

分别对待融合的两个特征图进行卷积处理，生成各自的第一特征矩阵，其中，所述两个特征图的一行特征对应所述样本图像的一个样本图像片段；

对所述各自的所述第一特征矩阵进行特征级联，生成第二特征矩阵；

基于所述第二特征矩阵，生成所述样本图像的邻接矩阵，并对所述邻接矩阵进行卷积处理，生成第三特征矩阵，其中，所述邻接矩阵用于表示所述样本图像片段之间的关系；

对所述第二特征矩阵进行卷积处理，生成第四特征矩阵；

基于所述待融合的两个特征图、所述第三特征矩阵和所述第四特征矩阵，获取所述任一次特征融合对应的融合特征图。

17.根据权利要求16所述的装置，其特征在于，所述融合模块，还用于：

获取所述第二特征矩阵的转置矩阵；

将所述第二特征矩阵和所述第二特征矩阵的转置矩阵作矩阵乘法，获取所述邻接矩阵。

18.根据权利要求16所述的装置，其特征在于，所述融合模块，还用于：

对所述第三特征矩阵和所述第四特征矩阵进行特征级联，获取第五特征矩阵；

对所述第五特征矩阵进行卷积处理，生成第六特征矩阵；

对所述第六特征矩阵进行归一化处理，生成所述待融合的两个特征图对应的权重矩阵；

分别将所述待融合的两个特征图与各自对应的权重矩阵相乘，生成所述待融合的两个特征图的加权特征矩阵；

对两个所述加权特征矩阵相加，生成所述融合特征图。

19.根据权利要求13-15任一项的装置，其中，还包括：

所述获取模块，还用于获取所述人脸防伪模型输出的所述样本图像的预测分类嵌入；

函数模块，用于基于所述预测分类和所述样本图像的实际分类嵌入，获取所述人脸防伪模型的分类损失函数；

所述调整模块，还用于所述基于所述损失函数和所述分类损失函数，对所述人脸防伪模型的模型参数进行调整。

20.根据权利要求19的装置，其中，还包括：

所述提取模块，还用于由所述人脸防伪模型中的自注意力Transformer网络的多个编码器层逐层提取所述样本图像对应的多层特征图；

所述筛选模块，还用于由所述人脸防伪模型中的跨层关系感知注意力CRA网络，按照设定层间隔，从所述多个编码器层中确定用于需要进行特征融合的至少两个目标编码层，并将所述目标编码器层输出的特征图作为所述候选特征图，并对所述候选特征图进行融合，生成所述样本图像的目标特征图；

所述融合模块，还用于将所述目标特征图输入所述人脸防伪模型中的解码器中，生成所述样本图像的样本预测深度图像。

21.根据权利要求18所述的装置，其中，所述获取模块，还用于：

由所述Transformer网络对输入的分类嵌入逐层学习后输入多层感知器MLP中，由所述MLP输出所述预测分类嵌入。

22.根据权利要求19所述的装置，其中，所述获取模块，还用于：

对所述样本图像进行切分，获取切分出的每个样本图像片段的片段嵌入和位置嵌入，以及所述样本图像的分类嵌入；

对所述片段嵌入、所述位置嵌入和所述分类嵌入进行拼接，生成所述样本图像的特征表示。

23.一种人脸防伪装置，包括：

采集模块，用于对目标用户进行人脸图像采集，获取所述目标用户的待验证的目标人脸图像；

生成模块，用于获取所述目标人脸图像的特征表示并输入目标人脸防伪模型中，输出所述目标人脸图像的目标深度图像；

验证模块，用于获取所述目标深度图像的平均深度值，并基于所述平均深度值，对所述目标人脸图像进行活体图像验证；

其中，所述目标人脸防伪模型为基于权利要求13-22任一项所述的人脸防伪模型的训练装置训练出的模型。

24.根据权利要求23所述的装置，其特征在于，所述验证模块，还用于：

获取所述目标人脸防伪模型输出的所述目标人脸图像的分类得分；

将所述分类得分和所述平均深度值进行加权，以获取所述目标人脸图像的总得分；

响应于所述总得分大于设定阈值，识别所述目标人脸图像为活体图；

响应于所述总得分小于或者等于所述设定阈值，识别所述目标人脸图像为攻击图。

25.一种电子设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-12中任一所述的方法。

26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的方法。

27.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令处理器执行时实现如权利要求1-12中任一所述的方法。

Images