CN114842034A - 一种基于放大模糊操作痕迹的图片真假检测方法 - Google Patents

Abstract

一种基于放大模糊操作痕迹的图片真假检测方法，通过重建图片的边缘轮廓图，来放大图片篡改过程中模糊操作所造成的边缘痕迹的影响，对于真假图片通过对应的期望重建图来监督训练，从而生成预期的重建效果，以此来让分类器更简单的进行判定。该方法是在之前的只关注痕迹本身的检测方法的基础上做出的改进，通过放大痕迹从而更加清晰的找到真假图片之间的差异性。通过该发明可以有效的提高图片真假检测的精度和泛化性，从而降低篡改图片所造成的危害。

Description

一种基于放大模糊操作痕迹的图片真假检测方法

技术领域

本发明涉及深度伪造图片真假检测方法技术领域，具体涉及一种基于放大模糊操作痕迹的图片真假检测方法。

背景技术

常见的深度伪造图片的生成流程是：检测并裁剪面部图片，提取面部图片的中间特征表示，接着根据一些驱动信息(例如：另一张脸)生成新的面部内容，最后将生成的假脸替换目标图片中的真脸，最后通过模糊等修饰操作消除拼接痕迹。因为该模糊操作会平滑图像、羽化边缘，所以可以用来淡化或者消除图像篡改造成的拼接边缘。但是模糊操作是从人脸开始向内外发散的，所以也会弱化脸内部本身的边缘轮廓痕迹。

当前的基于模糊操作的图片真假检测方法都是直接对图片提取本身的面部轮廓信息，然后放进卷积神经网络等分类器里面进行判断，但是这种方法不仅忽略了脸内部五官等部分因模糊操作所造成的影响，而且对于质量较高的假脸很难进行判定真假，存在很大的局限性，难以应用普及。

发明内容

本发明为了克服以上技术的不足，提供了一种有效的提高图片真假检测的精度和泛化性的基于放大模糊操作痕迹的图片真假检测方法。

本发明克服其技术问题所采用的技术方案是：

一种基于放大模糊操作痕迹的图片真假检测方法，包括如下步骤：

a)定位图片中的人脸标志点，根据人脸标志点切出人脸部分图像I；

b)根据人脸部分图像I通过sobel算子提取出人脸的边缘轮廓图G；

c)将人脸的边缘轮廓图G通过Attention U-Net网络进行重建，得到重建图片I_recons，对重建图片I_recons进行消除噪声操作；

d)通过公式

计算得到重建图片I_recons的正则项所产生的损失L_recons，x_i,j为重建图片I_recons横坐标为i且纵坐标为j时的像素值，i∈{1,...,N}，j∈{1,...,M}，N为重建图片I_recons横向像素点个数，M为重建图片I_recons纵向像素点个数，x_i,j-1为重建图片I_recons横坐标为i且纵坐标为j-1时的像素值，x_i+1,j为重建图片I_recons横坐标为i+1且纵坐标为j时的像素值，β为权重系数；

e)将人脸部分图像I通过二维的高斯函数处理得到图像I′，计算得到图像I′通过sobel算子经梯度值和方向后的图片G′；

f)将图片G′中像素点像素值大于等于50小于等于150的像素点保留，其它像素点均设为0，得到监督图片I_supv，假脸的监督图片I_supv设置为纯黑图片；

g)建立改进的Siamese网络，将监督图片I_supv和重建图片I_recons输入到改进的Siamese网络中，分别得到特征表示out_supv和out_recons；

h)通过公式

计算得到重建监督模块的损失L_contra，P为样本的个数；

i)将重建图片I_recons通过transformer encoder的结构作为分类器，输出得到预测值p_i，将预测值p_i经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频，完成构建的Edge-ViT网络模型；

j)通过公式

计算得到交叉熵损失函数L_class，式中y_i为当前样本的标签；

k)通过公式L＝θ₁L_recons+θ₂L_contra+θ₃L_class计算得到总损失L；

l)采用SGD优化器利用总损失L对Edge-ViT网络模型进行训练更新；

m)将待检测的图片输入到训练后的Edge-ViT网络模型中，输出得到预测值p_i，将预测值p_i经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频。

进一步的，步骤a)中通过dlib库定位图片中的人脸标志点。

进一步的，步骤b)中通过sobel算子提取出人脸的边缘轮廓图G的方法为：通过公式

计算得到人脸部分图像I经横向边缘检测的图像G_x，通过公式

计算得到人脸部分图像I经纵向边缘检测的图像G_y，通过公式

计算得到人脸的边缘轮廓图G。

进一步的，步骤c)中通过Total Variation Loss来消除重建图片I_recons中的噪声。

优选的，步骤d)中β取值为1。

进一步的，步骤e)包括如下步骤：

e-1)通过公式

计算得到图像I′，式中σ为高斯函数的标准差，x为人脸部分图像I的长度值，y为人脸部分图像I的宽度值，e为自然常数；

e-2)通过公式

计算得到图像I′经横向边缘检测的图像G′_x，通过公式

计算得到图像I′经纵向边缘检测的图像G′_y，通过公式

计算得到图片G′。

进一步的，步骤g)包括如下步骤：

g-1)改进的Siamese网络依次由第一卷积块、第二卷积块、全局平均池化层、第一线性块、第二线性块、第三卷积块、第三线性块、第四线性块构成；

g-2)第一卷积块和第二卷积块均依次由卷积核大小为5×5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，将监督图片I_supv和重建图片I_recons依次输入到第一卷积块和第二卷积块后，分别输出得到特征F_supv和F_recons；

g-3)第一线性块和第二线性块均依次由线性层和ReLU激活函数层构成，将特征F_supv和F_recons依次输入到全局平均池化层、第一线性块、第二线性块中，分别输出得到精炼后的特征F′_supv和F′_recons；

g-4)第三卷积块依次由卷积核大小为5×5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，第三线性块和第四线性块均依次由线性层和ReLU激活函数层构成，将精炼后的特征F′_supv和F′_recons依次输入到第三卷积块、第三线性块和第四线性块后，分别输出得到特征表示out_supv和out_recons。进一步的，步骤l)中训练完成后，冻结网络权重，保存检查点。

本发明的有益效果是：通过重建图片的边缘轮廓图，来放大图片篡改过程中模糊操作所造成的边缘痕迹的影响，对于真假图片通过对应的期望重建图来监督训练，从而生成预期的重建效果，以此来让分类器更简单的进行判定。该方法是在之前的只关注痕迹本身的检测方法的基础上做出的改进，通过放大痕迹从而更加清晰的找到真假图片之间的差异性。通过该发明可以有效的提高图片真假检测的精度和泛化性，从而降低篡改图片所造成的危害。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图1对本发明做进一步说明。

一种基于放大模糊操作痕迹的图片真假检测方法，包括如下步骤：

a)定位图片中的人脸标志点，根据人脸标志点切出人脸部分图像I。

b)根据人脸部分图像I通过sobel算子提取出人脸的边缘轮廓图G。

c)将人脸的边缘轮廓图G通过Attention U-Net网络进行重建，得到重建图片I_recons，对重建图片I_recons进行消除噪声操作。

d)通过公式

计算得到重建图片I_recons的正则项所产生的损失L_recons，x_i,j为重建图片I_recons横坐标为i且纵坐标为j时的像素值，i∈{1,...,N}，j∈{1,...,M}，N为重建图片I_recons横向像素点个数，M为重建图片I_recons纵向像素点个数，x_i,j-1为重建图片I_recons横坐标为i且纵坐标为j-1时的像素值，x_i+1,j为重建图片I_recons横坐标为i+1且纵坐标为j时的像素值，β为权重系数。

e)为了保证能够重建出需要的边缘轮廓图，对真脸和假脸分别采用不同的监督图片进行监督训练。对于真脸的重建图，使用原始人脸I经过canny算子的边缘轮廓图像进行监督训练。具体的：将人脸部分图像I通过二维的高斯函数处理得到图像I′，得到的图像I′计算梯度值和方向，计算得到图像I′通过sobel算子经梯度值和方向后的图片G′，图片G′即为人脸部分图像I经过计算梯度值和方向后的图片。

f)将图片G′中像素点像素值大于等于50小于等于150的像素点保留，其它像素点均设为0，得到监督图片I_supv，假脸的监督图片I_supv设置为纯黑图片。

g)建立改进的Siamese网络，将监督图片I_supv和重建图片I_recons输入到改进的Siamese网络中，分别得到特征表示out_supv和out_recons。

h)通过公式

计算得到重建监督模块的损失L_contra，P为样本的个数。

i)将重建图片I_recons通过transformer encoder的结构作为分类器，输出得到预测值p_i，将预测值p_i经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频，完成构建的Edge-ViT网络模型。

j)通过公式

计算得到交叉熵损失函数L_class，式中y_i为当前样本的标签。

k)通过公式L＝θ₁L_recons+θ₂L_contra+θ₃L_class计算得到总损失L。

l)采用SGD优化器利用总损失L对Edge-ViT网络模型进行训练更新；

m)将待检测的图片输入到训练后的Edge-ViT网络模型中，输出得到预测值p_i，将预测值p_i经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频。

通过Attention U-Net重建图片的边缘轮廓图来放大真假脸因模糊操作而产生的边缘差异性。重建过程中对真假脸分别用不同的图片来进行监督训练从而得到我们想要的边缘图。最后选择transformer-encoder作为分类器来对重建出来的图片进行分类判定真假。通过重建图片的边缘轮廓图，来放大图片篡改过程中模糊操作所造成的边缘痕迹的影响，对于真假图片通过对应的期望重建图来监督训练，从而生成预期的重建效果，以此来让分类器更简单的进行判定。该方法是在之前的只关注痕迹本身的检测方法的基础上做出的改进，通过放大痕迹从而更加清晰的找到真假图片之间的差异性。通过该发明可以有效的提高图片真假检测的精度和泛化性，从而降低篡改图片所造成的危害。

实施例1：

步骤a)中通过dlib库定位图片中的人脸标志点。

实施例2：

步骤b)中，人脸部分图像I的每一个像素的横向及纵向梯度近似值，也就是经过sobel算子的输出图片G方法为：通过公式

计算得到人脸部分图像I经横向边缘检测的图像G_x，通过公式

计算得到人脸部分图像I经纵向边缘检测的图像G_y，通过公式

计算得到人脸的边缘轮廓图G。

实施例3：

进一步的，步骤c)中通过Total Variation Loss(TV Loss)来消除重建图片I_recons中的噪声。

实施例4：

优选的，步骤d)中β取值为1。

实施例5：

进一步的，步骤e)包括如下步骤：

e-1)通过公式

计算得到图像I′，式中σ为高斯函数的标准差，x为人脸部分图像I的长度值，y为人脸部分图像I的宽度值，e为自然常数；

e-2)通过公式

计算得到图像I′经横向边缘检测的图像G_x′，通过公式

计算得到图像I′经纵向边缘检测的图像G_y′，通过公式

计算得到图片G′。

实施例6：

进一步的，步骤g)包括如下步骤：

g-1)改进的Siamese网络依次由第一卷积块、第二卷积块、全局平均池化层、第一线性块、第二线性块、第三卷积块、第三线性块、第四线性块构成；

g-2)第一卷积块和第二卷积块均依次由卷积核大小为5×5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，将监督图片I_supv和重建图片I_recons依次输入到第一卷积块和第二卷积块后，分别输出得到特征F_supv和F_recons；

g-3)第一线性块和第二线性块均依次由线性层和ReLU激活函数层构成，将特征F_supv和F_recons依次输入到全局平均池化层、第一线性块、第二线性块中，分别输出得到精炼后的特征F′_supv和F′_recons；

g-4)第三卷积块依次由卷积核大小为5×5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，第三线性块和第四线性块均依次由线性层和ReLU激活函数层构成，将精炼后的特征F′_supv和F′_recons依次输入到第三卷积块、第三线性块和第四线性块后，分别输出得到特征表示out_supv和out_recons。

实施例7：

进一步的，步骤l)中训练完成后，冻结网络权重，保存检查点。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于放大模糊操作痕迹的图片真假检测方法，其特征在于，包括如下步骤：

a)定位图片中的人脸标志点，根据人脸标志点切出人脸部分图像I；

b)根据人脸部分图像I通过sobel算子提取出人脸的边缘轮廓图G；

c)将人脸的边缘轮廓图G通过Attention U-Net网络进行重建，得到重建图片I_recons，对重建图片I_recons进行消除噪声操作；

d)通过公式

计算得到重建图片I_recons的正则项所产生的损失L_recons，x_i,j为重建图片I_recons横坐标为i且纵坐标为j时的像素值，i∈{1,...,N}，j∈{1,...,M}，N为重建图片I_recons横向像素点个数，M为重建图片I_recons纵向像素点个数，x_i,j-1为重建图片I_recons横坐标为i且纵坐标为j-1时的像素值，x_i+1,j为重建图片I_recons横坐标为i+1且纵坐标为j时的像素值，β为权重系数；

e)将人脸部分图像I通过二维的高斯函数处理得到图像I′，计算得到图像I′通过sobel算子经梯度值和方向后的图片G′；

f)将图片G′中像素点像素值大于等于50小于等于150的像素点保留，其它像素点均设为0，得到监督图片I_supv，假脸的监督图片I_supv设置为纯黑图片；

g)建立改进的Siamese网络，将监督图片I_supv和重建图片I_recons输入到改进的Siamese网络中，分别得到特征表示out_supv和out_recons；

h)通过公式

计算得到重建监督模块的损失L_contra，P为样本的个数；

i)将重建图片I_recons通过transformer encoder的结构作为分类器，输出得到预测值p_i，将预测值p_i经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频，完成构建的Edge-ViT网络模型；

j)通过公式

计算得到交叉熵损失函数L_class，式中y_i为当前样本的标签；

k)通过公式L＝θ₁L_recons+θ₂L_contra+θ₃L_class计算得到总损失L；

l)采用SGD优化器利用总损失L对Edge-ViT网络模型进行训练更新；

m)将待检测的图片输入到训练后的Edge-ViT网络模型中，输出得到预测值p_i，将预测值p_i经过Sigmoid激活函数处理得到预测结果，如果预测结果是1，则该图片所在的视频为真的视频，如果预测结果是0，则该图片所在的视频为假的视频。

2.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于：步骤a)中通过dlib库定位图片中的人脸标志点。

3.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于，步骤b)中通过sobel算子提取出人脸的边缘轮廓图G的方法为：通过公式

计算得到人脸部分图像I经横向边缘检测的图像G_x，通过公式

计算得到人脸部分图像I经纵向边缘检测的图像G_y，通过公式

计算得到人脸的边缘轮廓图G。

4.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于，步骤c)中通过Total Variation Loss来消除重建图片I_recons中的噪声。

5.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于，步骤d)中β取值为1。

6.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于，步骤e)包括如下步骤：

e-1)通过公式

计算得到图像I′，式中σ为高斯函数的标准差，x为人脸部分图像I的长度值，y为人脸部分图像I的宽度值，e为自然常数；

e-2)通过公式

计算得到图像I′经横向边缘检测的图像G′_x，通过公式

计算得到图像I′经纵向边缘检测的图像G′_y，通过公式

计算得到图片G′。

7.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于，步骤g)包括如下步骤：

g-1)改进的Siamese网络依次由第一卷积块、第二卷积块、全局平均池化层、第一线性块、第二线性块、第三卷积块、第三线性块、第四线性块构成；

g-2)第一卷积块和第二卷积块均依次由卷积核大小为5×5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，将监督图片I_supv和重建图片I_recons依次输入到第一卷积块和第二卷积块后，分别输出得到特征F_supv和F_recons；

g-3)第一线性块和第二线性块均依次由线性层和ReLU激活函数层构成，将特征F_supv和F_recons依次输入到全局平均池化层、第一线性块、第二线性块中，分别输出得到精炼后的特征F′_supv和F′_recons；

g-4)第三卷积块依次由卷积核大小为5×5、stride为2、padding为2的卷积层；BatchNorm2d层；ReLU激活函数层构成，第三线性块和第四线性块均依次由线性层和ReLU激活函数层构成，将精炼后的特征F′_supv和F′_recons依次输入到第三卷积块、第三线性块和第四线性块后，分别输出得到特征表示out_supv和out_recons。

8.根据权利要求1所述的基于放大模糊操作痕迹的图片真假检测方法，其特征在于：步骤l)中训练完成后，冻结网络权重，保存检查点。

Images