CN112069891B - 一种基于光照特征的深度伪造人脸鉴别方法 - Google Patents

Abstract

本发明公开了一种基于光照特征的深度伪造人脸鉴别方法。首先，利用人脸检测提取出视频关键帧中的人脸，裁剪出人脸部分图像和环境部分图像；然后，利用本征图像分解提取视频帧中人脸部分和环境部分的光照特征，使用SfSnet导出帧中人脸部分图像的照射图，使用U‑net导出帧中环境部分图像的照射图；其次，利用两部分照射图衡量一帧图像中人脸和环境光照信息的相似性；最后，将光照信息的相似性输入支持向量机，对伪造视频和真实视频进行分类，输出鉴别结果。本发明利用视频本身光照特征的一致性，而不需要与参考视频进行对比检测，因而具有较强的鲁棒性和对未知检测目标的泛化能力。

Description

一种基于光照特征的深度伪造人脸鉴别方法

技术领域

本发明属于计算机视觉技术领域，涉及一种视频中伪造人脸的鉴别方法，具体涉及一种基于光照特征的深度伪造人脸鉴别方法。

技术背景

深度伪造(Deepfake)技术也被业界称为人工智能换脸技术，这种技术能对声音、图像或视频进行数字处理以模仿某特定人物，产生众多虚假视音频内容，使辨别信息真伪变得困难。由于深度伪造内容存在潜在社会危害性，对伪造内容的检测和真伪鉴别非常必要。

传统的“数字取证”技术依然可被用于识别深度伪造音视频内容，如检查视频中是否存在因修改操作而产生的生理性结构不一致现象，包括视频中人物皮肤颜色和背景变化是否协调、所记录的声音与场景是否一致等。美国正在寻求自动评估视频图像真实性的人工智能技术，如正在推进的Medi For项目旨在通过识别三种指标来鉴定视频真实性：一是数字指标，如因粘贴或移除导致像素表现不一致等；二是物理指标，如违反物理运动规则等；三是语义指标，如视频与现实情况相悖等(比如对比视频内容与天气预报是否一致)。美国国防部高级研究计划局已着手研究如何检测虚假视频，提出使用递归神经网络和胶囊网络技术检测和鉴别伪造视频，并借助区块链技术，追溯视频来源。也有网络巨头和视频网站设置了检测虚假视频的算法，在视频上传时进行筛选和拦截，还通过设置视频水印和“数字指纹”等办法确定视频来源。

然而，目前的伪造鉴别方法还远未成熟，且深度伪造技术也正在迅速发展进化。深度伪造的对象十分多元，涵盖假视频、音频、文本、微表情等，而且这种假信息正在变得越来越“真实”。起初，深度伪造内容还可以通过五官、眨眼频率等特征分辨出来，随着伪造技术的不断演化，当前的检测算法会面临更大的挑战，需要发掘更多的识别线索可靠地鉴别伪造内容。

发明内容

为了解决上述技术问题，本发明基于真实图像光照特征的一致性特点，提供一种基于光照特征的深度伪造人脸鉴别方法。

本发明所采用的技术方案是：一种基于光照特征的深度伪造人脸鉴别方法，其特征在于，包括以下步骤：

步骤1：提取待检测视频中的关键帧图像，从关键帧图像中检测人脸图像，得到对齐的人脸图像和去除人脸的环境图像；

步骤2：提取对齐的人脸图像光照特征；

步骤3：提取去除人脸的环境图像光照特征；

步骤4：计算人脸图像光照特征与环境图像光照特征的余弦相似度，并利用支持向量机对伪造视频和真实视频进行分类，获得检测结果。

与现有的伪造人脸鉴别方法相比，本发明具有以下的优点与积极效果：

(1)本发明提出的是一种基于光照特征的伪造人脸鉴别方法，具体利用了人脸部分和环境部分的光照特征，丰富和发展了深度伪造视频检测方法的物理特征指标。

(2)本发明利用视频本身光照特征的一致性，而不需要与其他参考视频进行对比检测，因而具有较强的鲁棒性和对未知检测目标的泛化能力。

附图说明

图1：本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

真实的光照应当符合摄像角度的物理约束，但伪造视频中的人脸部分是计算机生成的图像，其光照特征未必满足物理约束；同时视频中除了人脸之外的图像部分并未经过计算机处理，这部分的环境光照特征应该满足物理约束。本发明采取本征图像分解方法提取光照特征，再对人脸光照特征和环境光照特征进行对比，利用光照特征的差异识别伪造人脸。首先，提取视频关键帧中人脸图像和环境图像；然后，基于本征图像分解方法，提取人脸图像和环境图像的光照特征；最后，通过对比人脸图像和环境图像光照特征的相似性，对伪造人脸和真实人脸进行分类，识别伪造人脸。

请见图1，本发明提供的一种基于光照特征的深度伪造人脸鉴别方法，包括以下步骤：

步骤1：将原始视频集通过关键帧提取产生单帧图像，从单帧图像中检测人脸图像，得到对齐的人脸图像和去除人脸的环境图像；

本实施例中，步骤1的具体实现包括以下子步骤：

步骤1.1：针对若干待检测视频，从每个视频中获取相同张数的关键帧图像；

步骤1.2：将步骤1.1中获得的关键帧通过Face_recognition人脸识别模块，定位图像中的人脸，裁剪出定位到的正方形区域中的人脸图像，并且调整人脸的角度和位置，得到对齐人脸图像；

步骤1.3：将步骤1.2中获得的正方形人脸区域在原始帧图像中填充为白色，得到去除人脸的环境图像。

步骤2：将对齐人脸图像输入本征分解网络提取光照特征；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：将步骤1得到的对齐人脸图像调整为128×128的尺寸，输入到SfSnet网络中，输入图像通过一个共享卷积层，然后分两路通过形状图残差块和反射图残差块，得到形状图特征和反射图特征，最后形状图特征和反射图特征分别通过各自的卷积层得到形状图以及反射图，之后将输入图像、形状图特征和反射图特征三者连接起来，通过光照估计模块得到照射图光照信息，形状图和光照信息一起通过重建函数处理得到照射图；

步骤2.2：从步骤2.1得到分解出的人脸反射图、照射图和形状图，只取人脸照射图作为人脸光照特征的代表保存，尺寸为128×128。

步骤3：将去除人脸的环境图像输入本征分解网络提取光照特征；

本实施例中，步骤3的具体实现包括以下子步骤：

步骤3.1：将步骤1得到的去除人脸的环境图像调整为256×256的尺寸，输入到变形的U-Net网络中，输入图像通过一个带跳过连接的编码器A，编码器A每层由4×4的卷积层组成，然后进行批量归一化处理和带泄露线性整流函数处理；之后通过两个并联的解码器B和C，解码器B和C每层由4×4反卷积层组成，然后进行批量归一化和线性整流函数处理，解码器B和C的最终层附加一个1×1的卷积；最终由解码器B和C分别输出分解出的反射图和照射图；

对于反射图，使用多尺度平滑项以使反射图的预测值接近分段常数；

其中，N_l是尺度l上的有效像素数，N＝N₁是原始图像尺度的有效像素数，表示尺度l和位置i处像素的8个相邻像素，反射图权重特征向量f_l,i定义为/>其中ρ_l,j和I_l,j分别是空间位置和图像强度,/>和/>分别是色度的前两个元素，∑(f_l,i-f_l,j)是两个特征向量之间距离的协方差矩阵,R_l,i和R_l,j分别表示图像金字塔的尺度l上像素i和j处的反射图预测。L是图像金字塔的所有尺度。

对于照射图，使用紧密连接的照射图平滑项来限制图像的分解，使其遵循经典的本征图像约束，此项可以在线性时间内以像素数N进行评估计算，公式如下：

其中，是由W_i,j派生的双随机矩阵，/>ρ_i和ρ_j均为空间位置，S_i和S_j分别是在位置i和j处的照射图预测，σ_p为权重参数。

对每个输入图像，还添加一个重建损失函数以表达从反射图和照射图重构原始图像的约束，公式如下：

其中，I_i，R_i，S_i分别是位置i处的原始图像、反射图预测和照射图预测。

步骤4：计算人脸图像光照特征与环境图像光照特征的余弦相似度，并利用支持向量机对伪造视频和真实视频进行分类，获得检测结果。

本实施例中，步骤4的具体实现包括以下子步骤：

步骤4.1：将步骤2和步骤3得到的人脸照射图S_a和环境照射图S_b计算相似度，相似度为：

s(S_a,S_b)＝cos(S_a,S_b)

其中，cos(S_a,S_b)表示图像之间的余弦相似度；S_a表示人脸照射图，即人脸图像光照特征；S_b表示环境照射图，即环境图像光照特征；

步骤4.2：将步骤4.1中得到的所有帧的人脸照射图和环境照射图之间的相似度输入支持向量机，将原始视频属于伪造视频或真实视频的类别作为标签对支持向量机进行训练，得到分类超平面。训练完成后的支持向量机模型对待检测视频处理后的相似度数据按照伪造视频和真实视频的分类超平面进行分类，得到分类结果。

本发明利用face_recognition提取出视频关键帧中的人脸，裁剪出人脸部分图像和环境部分图像，再利用本征图像分解提取视频帧中人脸部分和环境部分的光照特征，使用SfSnet导出帧中人脸部分图像的照射图，使用U-net导出帧中环境部分图像的照射图，之后利用两部分照射图评价一帧图像中人脸和环境光照信息的相似性，最后将光照信息的相似性输入支持向量机算法，对伪造视频和真实视频进行分类，输出鉴别结果。本发明方法有效弥补了现有深度伪造视频检测方法在物理特征方面检测的匮乏，为检测伪造人脸提供了物理特征方面的可行方法，为伪造人脸检测方法提供了新的思路。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于光照特征的深度伪造人脸鉴别方法，其特征在于，包括以下步骤：

步骤1：提取待检测视频中的关键帧图像，从关键帧图像中检测人脸图像，得到对齐的人脸图像和去除人脸的环境图像；

步骤2：提取对齐的人脸图像光照特征；

步骤2的具体实现包括以下子步骤：

步骤2.1：将对齐的人脸图像调整到预定尺寸大小，输入到SfSnet网络中，输入图像通过一个共享卷积层，然后分两路通过形状图残差块和反射图残差块，得到形状图特征和反射图特征，最后形状图特征和反射图特征分别通过各自的卷积层得到形状图以及反射图，之后将输入图像、形状图特征和反射图特征三者连接起来，通过光照估计模块得到照射图光照信息，形状图和照射图光照信息一起通过重建函数处理得到照射图；

步骤2.2：将照射图作为人脸光照特征的代表保存；

步骤3：提取去除人脸的环境图像光照特征；

将去除人脸的环境图像调整到预定尺寸大小，输入到变形的U-Net网络中；

输入图像通过一个带跳过连接的编码器A，编码器A每层由4×4的卷积层组成，然后进行批量归一化处理和带泄露线性整流函数处理；之后通过两个并联的解码器B和C，解码器B和C每层由4×4反卷积层组成，然后进行批量归一化和线性整流函数处理，解码器B和C的最终层附加一个1×1的卷积；最终由解码器B和C分别输出分解出的反射图和照射图；

对于反射图，使用多尺度平滑项以使反射图的预测值接近分段常数；

其中，N_l是尺度l上的有效像素数，N＝N₁是原始图像尺度的有效像素数，表示尺度l和位置i处像素的8个相邻像素；反射图权重/>特征向量f_l,i定义为/>其中ρ_l,j和I_l,j分别是空间位置和图像强度,/>和/>分别是色度的前两个元素，∑(f_l,i-f_l,j)是两个特征向量之间距离的协方差矩阵,R_l,i和R_l,j分别表示图像金字塔的尺度l上像素i和j处的反射图预测；L是图像金字塔的所有尺度；

对于照射图，使用紧密连接的照射图平滑项来限制图像的分解，使其遵循经典的本征图像约束，此项能在线性时间内以像素数N进行评估计算；

其中，是由W_i,j派生的双随机矩阵，/>ρ_i和ρ_j均为空间位置，S_i和σ_j分别是在位置i和j处的照射图预测，σ_p为权重参数；

对每个输入图像，添加一个重建损失函数以表达从反射图和照射图重构原始图像的约束；

其中，I_i，R_i，S_i分别是位置i处的原始图像、反射图预测和照射图预测；

步骤4：计算人脸图像光照特征与环境图像光照特征的余弦相似度，并利用支持向量机对伪造视频和真实视频进行分类，获得检测结果。

2.根据权利要求1所述的基于光照特征的深度伪造人脸鉴别方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：针对若干待检测视频，从每个视频中获取相同张数的关键帧图像；

步骤1.2：定位所述关键帧图像中的人脸，处理获得正方形人脸区域，调整人脸的角度和位置，得到对齐人脸图像；

步骤1.3：将所述正方形人脸区域在原始帧图像中填充为白色，得到去除人脸的环境图像。

3.根据权利要求1-2任意一项所述的基于光照特征的深度伪造人脸鉴别方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：计算人脸图像光照特征与环境图像光照特征的余弦相似度；

s(S_a,S_b)＝cos(S_a,S_b)

其中，cos(S_a，S_b)表示图像之间的余弦相似度；S_a表示人脸照射图，即人脸图像光照特征；S_b表示环境照射图，即环境图像光照特征；

步骤4.2：将步骤4.1中得到的所有帧的人脸照射图和环境照射图之间的相似度输入支持向量机，将原始视频属于伪造视频或真实视频的类别作为标签对支持向量机进行训练，得到分类超平面；训练完成后的支持向量机模型对待检测视频处理后的相似度数据按照伪造视频和真实视频的分类超平面进行分类，得到分类结果。