CN115050066A - 人脸伪造检测方法、装置、终端及存储介质 - Google Patents

Abstract

本申请公开了一种人脸伪造检测方法、装置、终端及存储介质，方法包括：接收人脸图像；基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征；基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征；基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。本发明采用多层卷积神经网络模型学习面部动作单元特征，并对面部动作单元的共现依赖关系进行建模，得到全局面部动作单元特征，该特征可以帮助模型更全面地理解面部特征，此外，融合全局面部动作单元特征和全局纹理特征，共同进行人脸伪造检测，为人脸伪造检测模型提供良好的泛化性，提高人脸伪造检测的准确度。

Description

人脸伪造检测方法、装置、终端及存储介质

技术领域

本申请涉及机器学习和计算机视觉技术领域，具体而言，涉及一种人脸伪造检测方法、装置、终端及存储介质。

背景技术

人脸伪造检测，即判定给定图片中包含的人脸是否系伪造生成。

目前，人脸伪造检测技术主要有两种方式，一种是采用人工设计的高层语义特征进行伪造检测，例如头部姿态一致性、眨眼频率异常等。另一种是采用基于数据驱动的面部缺陷特征进行伪造检测，如区域纹理不一致、生成伪影异常、频谱域分布异常等。

但是，上述方法忽略了面部动作单元存在的互斥性和共现性，导致人脸伪造检测准确度低。

发明内容

本申请的主要目的在于提供一种人脸伪造检测方法、装置、终端及存储介质，以解决相关技术中存在的人脸伪造检测准确度低的问题。

为了实现上述目的，第一方面，本申请提供了一种人脸伪造检测方法，包括：

接收人脸图像；

基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征；

基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征；

基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。

在一种可能的实现方式中，基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征，包括：

对人脸图像进行运动放大，得到人脸图像对应的运动强化图；

将运动强化图输入多层卷积神经网络模型，得到多个特征图；

基于多个特征图，确定人脸图像对应的全局面部动作单元特征。

在一种可能的实现方式中，基于多个特征图，确定人脸图像对应的全局面部动作单元特征，包括：

基于人脸图像上设置的多个面部关键点和预设候选框，确定多个特征图中的每个特征图对应的多个面部动作单元区域；

基于变换系数和每个特征图对应的多个面部动作单元区域，确定每个特征图对应的面部动作单元特征；

基于每个特征图对应的面部动作单元特征和图卷积网络模型，确定全局面部动作单元特征。

在一种可能的实现方式中，基于人脸图像上设置的多个面部关键点和预设候选框，确定多个特征图中的每个特征图对应的多个面部动作单元区域，包括：

在多个面部关键点中选取与多个面部动作单元中的每个面部动作单元距离最小的点作为每个面部动作单元的中心；

为每个面部动作单元的中心匹配预设候选框，得到每个面部动作单元区域；

将每个面部动作单元区域进行汇总，得到每个特征图对应的多个面部动作单元区域。

在一种可能的实现方式中，基于变换系数和每个特征图对应的多个面部动作单元区域，确定每个特征图对应的面部动作单元特征，包括：

确定变换系数；

利用变换系数和每个特征图对应的多个面部动作单元区域，定位多个面部动作单元区域中的每个面部动作单元区域，并对每个面部动作单元区域进行特征提取，得到每个面部动作单元区域对应的特征；

将每个面部动作单元区域对应的特征进行汇总，得到多个面部动作单元区域对应的特征；

将多个面部动作单元区域对应的特征依次经卷积计算、池化，得到每个特征图对应的面部动作单元特征。

在一种可能的实现方式中，基于每个特征图对应的面部动作单元特征和图卷积网络模型，确定全局面部动作单元特征，包括：

将每个特征图对应的面部动作单元特征进行汇总，得到多个特征图对应的多个面部动作单元特征，其中，多个特征图与多个面部动作单元特征一一对应；

将多个特征图对应的多个面部动作单元特征输入图卷积网络模型后融合，得到全局面部动作单元特征。

在一种可能的实现方式中，基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征，包括：

将人脸图像输入深度可分离卷积模型，得到人脸图像对应的立体特征图；

采用块级别的损失函数对立体特征图中的子特征图的真伪进行监督学习，得到立体特征图对应的浅层纹理特征；

对浅层纹理特征进行池化，得到全局纹理特征。

在一种可能的实现方式中，基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪，包括：

将全局面部动作单元特征和全局纹理特征进行拼接，得到目标特征；

将目标特征输入分类器，得到目标特征对应的第一概率值和第二概率值；

对第一概率值和第二概率值进行比较，得到比较结果，并基于比较结果确定人脸图像的真伪。

第二方面，本发明实施例提供了一种人脸伪造检测装置，包括：

图像接收模块，用于接收人脸图像；

动作单元特征确定模块，用于基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征；

纹理特征确定模块，用于基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征；

真伪辨别模块，用于基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。

第三方面，本发明实施例提供了一种终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上任一种人脸伪造检测方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上任一种人脸伪造检测方法的步骤。

本发明实施例提供了一种人脸伪造检测方法、装置、终端及存储介质，包括：接收人脸图像，基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征，然后基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征，再基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。本发明采用多层卷积神经网络模型学习面部动作单元特征，并对面部动作单元的共现依赖关系进行建模，使得面部运动特征进一步融合全局依赖关系，得到全局面部动作单元特征，该特征可以帮助模型更全面地理解面部特征，以进行人脸伪造检测。此外，还融合全局面部动作单元特征和全局纹理特征，共同进行人脸伪造检测，为人脸伪造检测模型提供良好的泛化性，提高人脸伪造检测的准确度。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明一实施例提供的一种人脸伪造检测方法的实现流程图；

图2是本发明另一实施例提供的一种人脸伪造检测方法的实现流程图；

图3是本发明实施例提供的每个特征图的面部动作单元特征确定的实现流程图；

图4是本发明实施例提供的多尺度面部动作单元依赖关系图的示意图；

图5是本发明实施例提供的一种人脸伪造检测装置的结构示意图；

图6是本发明实施例提供的终端的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

在一个实施例中，如图1所示，提供了一种人脸伪造检测方法，包括以下步骤：

步骤S101：接收人脸图像；

步骤S102：基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征。

其中，全局面部动作单元特征指整个面部所有的动作单元的特征。

本发明当接收到人脸图像后，先对人脸图像进行运动放大，得到人脸图像对应的运动强化图，然后将运动强化图输入多层卷积神经网络模型，得到多个特征图，再基于多个特征图，确定人脸图像对应的全局面部动作单元特征。

具体的，结合图2，当接收到299x299的人脸区域RGB图片(以下简称人脸图像)及其对应的面部关键点，其中，面部关键点可以采用相应工具提前获取。然后将人脸图像送入Magnet进行运动放大，以强化面部肌肉的运动表现，输出人脸图像对应的运动强化图，其中，运动强化图的大小也为299x299。接下来采用多层卷积神经网络模型对运动强化图进行特征提取，得到三个特征图，分别为76x76、38x38、19x19的多层特征图，最后基于得到的三个特征图确定人脸图像对应的全局面部动作单元特征。

由于浅层特征图(76x76)包含的面部动作单元语义较弱但包含纹理细节，而高层特征图(19x19)包含的语义特征较强而缺少纹理细节，因此对3个不同层次的特征图分别进行面部动作单元自适应选择。自适应面部动作单元区域选择的目标是在缺少标注信息的情况下自动定位面部动作单元以提取区域鉴别性特征，该模块将以数据驱动的方式学习面部动作单元的位置。

因此，对于基于多个特征图，确定人脸图像对应的全局面部动作单元特征包括如下步骤，具体如下：

(1)基于人脸图像上设置的多个面部关键点和预设候选框，确定多个特征图中的每个特征图对应的多个面部动作单元区域。

确定多个特征图中的每个特征图对应的多个面部动作单元区域，需先在多个面部关键点中选取与多个面部动作单元中的每个面部动作单元距离最小的点作为每个面部动作单元的中心，然后为每个面部动作单元的中心匹配预设候选框，得到每个面部动作单元区域，再将每个面部动作单元区域进行汇总，得到每个特征图对应的多个面部动作单元区域。

具体的，如图2所示的人脸图像上设置有多个面部关键点，设人脸图像对应有17个面部动作单元，包括AU1，AU2，AU4，AU5，AU6，AU7，AU9，AU12，AU14，AU15，AU16，AU17，AU20，AU23，AU25，AU26，AU43，针对每个特征图，需先在多个面部关键点中选取与上述每个面部动作单元距离最近的点作为此面部动作单元的中心(即中心坐标)，然后为每个特征图的每个面部动作单元匹配预设候选框，其中，预设候选框是与每个面部动作单元的中心匹配确定，预设候选框大小可9x9、5x5、3x3。当为每个特征图的每个面部动作单元匹配预设候选框后，就可得到每个特征图的每个面部动作单元区域，然后将每个面部动作单元区域进行汇总，得到每个特征图对应的多个面部动作单元区域。

(2)基于变换系数和每个特征图对应的多个面部动作单元区域，确定每个特征图对应的面部动作单元特征。

确定每个特征图对应的面部动作单元特征，需先确定变换系数，然后利用变换系数和每个特征图对应的多个面部动作单元区域，定位多个面部动作单元区域中的每个面部动作单元区域，并对每个面部动作单元区域进行特征提取，得到每个面部动作单元区域对应的特征，再将每个面部动作单元区域对应的特征进行汇总，得到多个面部动作单元区域对应的特征，最后将多个面部动作单元区域对应的特征依次经卷积计算、池化，得到每个特征图对应的面部动作单元特征。

具体的，结合图3，在上述得到每个特征图对应的多个面部动作单元区域后，采用1x1卷积将每个特征图通道压缩为1，并经过全局平均池化(Global Average Pooling，GAP)得到长度为128纬的特征向量，后经过全连接层预测出4个变换系数，分别是长缩放系数、宽缩放系数、上下平移系数和左右平移系数。

之后，采用得到的4个变换系数和每个特征图对应的多个面部动作单元区域，可以自适应定位每个面部动作单元区域以提取区域中的特征，确定每个面部动作单元区域对应的特征。然后将每个面部动作单元区域对应的特征提取出来后经过3层卷积并池化得到每个面部动作单元运动特征(即面部动作单元特征)。针对每个特征图，提取3x17个面部动作单元运动特征，这些特征分别对应确定的面部动作单元，即每个特征图对应3x17个面部动作单元特征。

(3)基于每个特征图对应的面部动作单元特征和图卷积网络模型，确定全局面部动作单元特征。

确定全局面部动作单元特征，需先将每个特征图对应的面部动作单元特征进行汇总，得到多个特征图对应的多个面部动作单元特征，其中，多个特征图与多个面部动作单元特征一一对应，然后将多个特征图对应的多个面部动作单元特征输入图卷积网络模型后融合，得到全局面部动作单元特征。其中，图卷积网络(Graph Convolutional Network，GCN)中的图(graph)是一种非欧数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等。图卷积网络通过信息传播机制对图的节点特征以及结构特征进行建模，常被用于挖掘节点间的共现关系。此处采用该技术对面部动作的单元的共现关系进行建模。

具体的，结合图2和图4，多尺度面部动作单元依赖关系建模需要对面部动作单元依赖关系进行学习，包括层内单元建模和层间单元建模。其中，层间单元建模：针对同一个运动单元，不同层次的特征图对应包括3个节点，将这3个节点间两两相连，则构成本方案的层间单元模型。层内单元建模：每个特征图均包含17个节点，17个节点间两两共现频率，并依据共现频率确定两个节点间是否存在边，即共现频率大于某阈值则存在连接边，否则没有连接边，即构成层内单元模型。然后将层间单元模型和层内单元模型结合可得到3x17个节点以及对应的边。其中，节点为面部动作单元特征。

之后，采用GCN图卷积网络模型对得到的3x17个面部动作单元特征构成的网络图(即多尺度面部动作单元依赖关系图)进行图学习，也就是说，对面部动作单元间的共现依赖关系进行建模，得到对应数量的新特征，新的特征不仅包含动作单元运动特征，同时包含拓扑依赖特征。最后对新特征进行融合，得到全局面部动作单元特征。

需要注意的是，上述图学习时，对面部动作单元的激活状态进行有监督学习，即监督该面部动作单元是否被激活(真实运动)，以帮助模型更好地定位面部动作单元。

步骤S103：基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征。

确定人脸图像对应的全局纹理特征，需先将人脸图像输入深度可分离卷积模型，得到人脸图像对应的立体特征图，然后采用块级别的损失函数对立体特征图中的子特征图的真伪进行监督学习，得到立体特征图对应的浅层纹理特征，再对浅层纹理特征进行池化，得到全局纹理特征。

具体的，本实施例从网络设计和监督损失两个角度设计，以驱动模型寻找浅层纹理特征，以提升特征面对未知生成技术或者未知缺陷的泛化能力。因此，本方案将人脸图像输入深度可分离卷积模型，最终得到特征图的大小为38x38x256的立体特征图，其中，深度可分离卷积模型为3层完全基于深度可分离卷积的纹理特征提取模型。然后采用块级别的损失函数对38x38大小的子特征图的真伪进行监督学习。其中，块级别的监督标注由全局标注直接映射得到。经上述监督学习后，得到浅层纹理特征，然后对浅层纹理特征进行池化，最终得到全局纹理特征。

进一步地，对于块级别的监督标注主要包括真和伪，而针对伪图像可包括：1、在生成过程中留下的瑕疵、伪影的图像。这些瑕疵可能来自于换脸的贴合痕迹，五官部位的运动模糊，牙齿的不完整建模等，且此类瑕疵更多的存在于高频空间。2、生成区域与周围区域的纹理不一致的图像。每个人面部的纹理都是独一无二的，生成人脸贴回目标人脸势必会造成生成区域和原始区域的纹理冲突，可以作为鉴伪的依据。3、包含GAN(GenerationNetwork)生成工具、摄像头光感元件都有其固有的噪声“指纹”的图像。GAN生成工具的“指纹”来自于某种固定的卷积核、上采样方式等；摄像头光感原件自出厂就存在独一无二的噪声，该特征存在所有的生成与伪造图像中。

步骤S104：基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。

确定人脸图像的真伪，需先将全局面部动作单元特征和全局纹理特征进行拼接，得到目标特征，然后将目标特征输入分类器，得到目标特征对应的第一概率值和第二概率值，再对第一概率值和第二概率值进行比较，得到比较结果，并基于比较结果确定人脸图像的真伪。

具体的，将将目标特征输入分类器，得到目标特征对应的第一概率值和第二概率值，设第一概率值代表真，第二概率值代表假，当第一概率值大于第二概率值时，可以认定人脸图像为真；当第二概率值大于第一概率值时，则认定人脸图像为假。

本发明实施例提供了一种人脸伪造检测方法，包括：接收人脸图像，基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征，然后基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征，再基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。本发明采用多层卷积神经网络模型学习面部动作单元特征，并对面部动作单元的共现依赖关系进行建模，使得面部运动特征进一步融合全局依赖关系，得到全局面部动作单元特征，该特征可以帮助模型更全面地理解面部特征，以进行人脸伪造检测。此外，还融合全局面部动作单元特征和全局纹理特征，共同进行人脸伪造检测，为人脸伪造检测模型提供良好的泛化性，提高人脸伪造检测的准确度。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

图5示出了本发明实施例提供的一种人脸伪造检测装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，一种人脸伪造检测装置包括图像接收模块51、动作单元特征确定模块52、纹理特征确定模块53和真伪辨别模块54，具体如下：

图像接收模块51，用于接收人脸图像；

动作单元特征确定模块52，用于基于人脸图像和多层卷积神经网络模型，确定人脸图像对应的全局面部动作单元特征；

纹理特征确定模块53，用于基于人脸图像和深度可分离卷积模型，确定人脸图像对应的全局纹理特征；

真伪辨别模块54，用于基于全局面部动作单元特征和全局纹理特征，确定人脸图像的真伪。

在一种可能的实现方式中，动作单元特征确定模块52包括：

图像放大子模块，用于对人脸图像进行运动放大，得到人脸图像对应的运动强化图；

第一模型处理子模块，用于将运动强化图输入多层卷积神经网络模型，得到多个特征图；

全局特征确定子模块，用于基于多个特征图，确定人脸图像对应的全局面部动作单元特征。

在一种可能的实现方式中，全局特征确定子模块包括：

区域确定单元，用于基于人脸图像上设置的多个面部关键点和预设候选框，确定多个特征图中的每个特征图对应的多个面部动作单元区域；

特征确定单元，用于基于变换系数和每个特征图对应的多个面部动作单元区域，确定每个特征图对应的面部动作单元特征；

全局特征确定单元，用于基于每个特征图对应的面部动作单元特征和图卷积网络模型，确定全局面部动作单元特征。

在一种可能的实现方式中，区域确定单元包括：

中心选取子单元，用于在多个面部关键点中选取与多个面部动作单元中的每个面部动作单元距离最小的点作为每个面部动作单元的中心；

区域匹配子单元，用于为每个面部动作单元的中心匹配预设候选框，得到每个面部动作单元区域；

区域确定子单元，用于将每个面部动作单元区域进行汇总，得到每个特征图对应的多个面部动作单元区域。

在一种可能的实现方式中，特征确定单元包括：

系数确定子单元，用于确定变换系数；

特征提取子单元，用于利用变换系数和每个特征图对应的多个面部动作单元区域，定位多个面部动作单元区域中的每个面部动作单元区域，并对每个面部动作单元区域进行特征提取，得到每个面部动作单元区域对应的特征；

第一特征汇总子单元，用于将每个面部动作单元区域对应的特征进行汇总，得到多个面部动作单元区域对应的特征；

特征确定子单元，用于将多个面部动作单元区域对应的特征依次经卷积计算、池化，得到每个特征图对应的面部动作单元特征。

在一种可能的实现方式中，全局特征确定单元包括：

第二特征汇总子单元，用于将每个特征图对应的面部动作单元特征进行汇总，得到多个特征图对应的多个面部动作单元特征，其中，多个特征图与多个面部动作单元特征一一对应；

全局特征确定子单元，用于将多个特征图对应的多个面部动作单元特征输入图卷积网络模型后融合，得到全局面部动作单元特征。

在一种可能的实现方式中，纹理特征确定模块53包括：

第二模型处理子模块，用于将人脸图像输入深度可分离卷积模型，得到人脸图像对应的立体特征图；

监督学习子模块，用于采用块级别的损失函数对立体特征图中的子特征图的真伪进行监督学习，得到立体特征图对应的浅层纹理特征；

特征池化子模块，用于对浅层纹理特征进行池化，得到全局纹理特征。

在一种可能的实现方式中，真伪辨别模块54包括：

特征拼接子模块，用于将全局面部动作单元特征和全局纹理特征进行拼接，得到目标特征；

分类计算子模块，用于将目标特征输入分类器，得到目标特征对应的第一概率值和第二概率值；

真伪辨别子模块，用于对第一概率值和第二概率值进行比较，得到比较结果，并基于比较结果确定人脸图像的真伪。

图6是本发明实施例提供的终端的示意图。如图6所示，该实施例的终端6包括：处理器61、存储器62以及存储在存储器62中并可在处理器61上运行的计算机程序63。处理器61执行计算机程序63时实现上述各个人脸伪造检测方法实施例中的步骤，例如图1所示的步骤101至步骤104。或者，处理器61执行计算机程序63时实现上述各个人脸伪造检测装置实施例中各模块/单元的功能，例如图5所示模块/单元51至54的功能。

本发明还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的人脸伪造检测方法。

其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的人脸伪造检测方法。

在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (11)

1.一种人脸伪造检测方法，其特征在于，包括：

接收人脸图像；

基于所述人脸图像和多层卷积神经网络模型，确定所述人脸图像对应的全局面部动作单元特征；

基于所述人脸图像和深度可分离卷积模型，确定所述人脸图像对应的全局纹理特征；

基于所述全局面部动作单元特征和所述全局纹理特征，确定所述人脸图像的真伪。

2.如权利要求1所述人脸伪造检测方法，其特征在于，所述基于所述人脸图像和多层卷积神经网络模型，确定所述人脸图像对应的全局面部动作单元特征，包括：

对所述人脸图像进行运动放大，得到所述人脸图像对应的运动强化图；

将所述运动强化图输入所述多层卷积神经网络模型，得到多个特征图；

基于所述多个特征图，确定所述人脸图像对应的全局面部动作单元特征。

3.如权利要求2所述人脸伪造检测方法，其特征在于，所述基于所述多个特征图，确定所述人脸图像对应的全局面部动作单元特征，包括：

基于所述人脸图像上设置的多个面部关键点和预设候选框，确定所述多个特征图中的每个特征图对应的多个面部动作单元区域；

基于变换系数和所述每个特征图对应的多个面部动作单元区域，确定所述每个特征图对应的面部动作单元特征；

基于所述每个特征图对应的面部动作单元特征和图卷积网络模型，确定所述全局面部动作单元特征。

4.如权利要求3所述人脸伪造检测方法，其特征在于，所述基于所述人脸图像上设置的多个面部关键点和预设候选框，确定所述多个特征图中的每个特征图对应的多个面部动作单元区域，包括：

在所述多个面部关键点中选取与所述多个面部动作单元中的每个面部动作单元距离最小的点作为所述每个面部动作单元的中心；

为所述每个面部动作单元的中心匹配所述预设候选框，得到所述每个面部动作单元区域；

将所述每个面部动作单元区域进行汇总，得到所述每个特征图对应的多个面部动作单元区域。

5.如权利要求3所述人脸伪造检测方法，其特征在于，所述基于变换系数和所述每个特征图对应的多个面部动作单元区域，确定所述每个特征图对应的面部动作单元特征，包括：

确定所述变换系数；

利用所述变换系数和所述每个特征图对应的多个面部动作单元区域，定位所述多个面部动作单元区域中的每个面部动作单元区域，并对所述每个面部动作单元区域进行特征提取，得到所述每个面部动作单元区域对应的特征；

将所述每个面部动作单元区域对应的特征进行汇总，得到所述多个面部动作单元区域对应的特征；

将所述多个面部动作单元区域对应的特征依次经卷积计算、池化，得到所述每个特征图对应的面部动作单元特征。

6.如权利要求3所述人脸伪造检测方法，其特征在于，所述基于所述每个特征图对应的面部动作单元特征和图卷积网络模型，确定所述全局面部动作单元特征，包括：

将所述每个特征图对应的面部动作单元特征进行汇总，得到多个特征图对应的多个面部动作单元特征，其中，所述多个特征图与所述多个面部动作单元特征一一对应；

将所述多个特征图对应的多个面部动作单元特征输入所述图卷积网络模型后融合，得到所述全局面部动作单元特征。

7.如权利要求1-6中任一项所述人脸伪造检测方法，其特征在于，所述基于所述人脸图像和深度可分离卷积模型，确定所述人脸图像对应的全局纹理特征，包括：

将所述人脸图像输入深度可分离卷积模型，得到所述人脸图像对应的立体特征图；

采用块级别的损失函数对所述立体特征图中的子特征图的真伪进行监督学习，得到所述立体特征图对应的浅层纹理特征；

对所述浅层纹理特征进行池化，得到所述全局纹理特征。

8.如权利要求1-6中任一项所述人脸伪造检测方法，其特征在于，所述基于所述全局面部动作单元特征和所述全局纹理特征，确定所述人脸图像的真伪，包括：

将所述全局面部动作单元特征和所述全局纹理特征进行拼接，得到目标特征；

将所述目标特征输入分类器，得到目标特征对应的第一概率值和第二概率值；

对所述第一概率值和所述第二概率值进行比较，得到比较结果，并基于所述比较结果确定所述人脸图像的真伪。

9.一种人脸伪造检测装置，其特征在于，包括：

图像接收模块，用于接收人脸图像；

动作单元特征确定模块，用于基于所述人脸图像和多层卷积神经网络模型，确定所述人脸图像对应的全局面部动作单元特征；

纹理特征确定模块，用于基于所述人脸图像和深度可分离卷积模型，确定所述人脸图像对应的全局纹理特征；

真伪辨别模块，用于基于所述全局面部动作单元特征和所述全局纹理特征，确定所述人脸图像的真伪。

10.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述人脸伪造检测方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行所述计算机程序时实现如权利要求1至8中任一项所述人脸伪造检测方法的步骤。

Images