CN116309031A - 人脸伪造主动干扰方法、系统、设备及存储介质 - Google Patents

人脸伪造主动干扰方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116309031A
CN116309031A CN202310547192.7A CN202310547192A CN116309031A CN 116309031 A CN116309031 A CN 116309031A CN 202310547192 A CN202310547192 A CN 202310547192A CN 116309031 A CN116309031 A CN 116309031A
Authority
CN
China
Prior art keywords
image
face image
original face
loss function
forging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310547192.7A
Other languages
English (en)
Other versions
CN116309031B (zh
Inventor
张勇东
孙雨豪
谢洪涛
于灵云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310547192.7A priority Critical patent/CN116309031B/zh
Publication of CN116309031A publication Critical patent/CN116309031A/zh
Application granted granted Critical
Publication of CN116309031B publication Critical patent/CN116309031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种人脸伪造主动干扰方法、系统、设备及存储介质，它们是一一对应的方案，方案中：在噪声生成器的训练过程中，通过约束保护性噪声的分布，使生成的噪声分布更匹配人脸结构特征，具有更好的泛化性和可解释性；通过对原人脸图像伪造结果与对抗样本图像伪造结果的图像差异，以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异进行控制能够对像素与身份层面进行干扰；同时，通过对原人脸图像与对抗样本图像的身份差异进行控制能够关注到原人脸图像身份信息的保持，生成不影响原人脸图像身份特征的噪声，将主动干扰对原人脸图像质量带来的负面影响减小；因此，本发明提供的方案可以保证图像质量，提升干扰效果，保障信息安全性。

Description

人脸伪造主动干扰方法、系统、设备及存储介质
技术领域
本发明涉及人脸伪造主动干扰技术领域，尤其涉及一种人脸伪造主动干扰方法、系统、设备及存储介质。
背景技术
近年来，以Deepfake（深度伪造技术）为代表的人脸深度伪造技术快速流行，受到了学术界和工业界的广泛关注。这种深度伪造技术通过篡改或替换原始视频的人脸信息，制作虚假人脸图像或视频。深度伪造技术隐藏着重大的信息安全风险。
为应对深度伪造技术带来的信息安全挑战，现有研究中大多采用深度伪造检测的思路，如Face X-ray、XceptionNet等。此类方法能根据从伪造人脸素材中提取到的伪造线索或伪造特征，以较高精度对伪造人脸图像或视频进行检测，但其属于被动检测手段，不能从源头上杜绝伪造人脸图像或视频的产生。因此，寻找一种有效的主动防御手段，预防伪造人脸的生成，是一个重要的研究方向。
人脸伪造主动干扰是一个逐渐兴起的研究课题，它的目的是给原人脸图像添加保护性干扰噪声，使得深度伪造模型对受保护人脸图像进行伪造时无法实现理想的伪造效果，达到从源头上保护人脸图像的目的。现有的人脸伪造主动干扰方法大多借鉴传统对抗样本领域方法，如梯度上升法、训练噪声生成器等。然而，这些简单的对抗样本生成策略并没有充分考虑人脸图像高度结构化的特点，生成的噪声密集且随机地分布在图像各个位置，导致图像质量的下降，甚至破坏原人脸图像的身份信息。
发明内容
本发明的目的是提供一种人脸伪造主动干扰方法、系统、设备及存储介质，可以生成生成对原图破坏性较低和干扰性较强的保护性噪声，从而保证了图像质量，提升了干扰效果，保障了信息安全性。
本发明的目的是通过以下技术方案实现的：
一种人脸伪造主动干扰方法，包括：
训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；
通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。
一种人脸伪造主动干扰系统，包括：
噪声生成器训练单元，用于训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；
受保护的人脸图像生成单元，用于通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，在噪声生成器的训练过程中，通过约束保护性噪声的分布，使生成的噪声分布更匹配人脸结构特征，具有更好的泛化性和可解释性；通过对原人脸图像伪造结果与对抗样本图像伪造结果的图像差异，以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异进行控制能够同时对像素层面与身份层面进行干扰；同时，通过对原人脸图像与对抗样本图像的身份差异进行控制能够关注到原人脸图像身份信息的保持，生成不影响原人脸图像身份特征的噪声，将主动干扰对原人脸图像质量带来的负面影响减小；因此，本发明提供的方案可以保证图像质量，提升干扰效果，保障信息安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种人脸伪造主动干扰方法的流程图；
图2为本发明实施例提供的训练噪声生成器的整体框架结构示意图；
图3为本发明实施例提供的人脸解析约束模块的工作原理图示意图；
图4为本发明实施例提供的身份特征约束模块的原理示意图；
图5为本发明实施例提供的一种人脸伪造主动干扰系统的示意图；
图6为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种人脸伪造主动干扰方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供一种人脸伪造主动干扰方法，如图1所示，该方法主要包括：
步骤1、训练噪声生成器。
本发明实施例中，噪声生成器的训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造技术对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果；结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数。
优选的，总体损失函数中还包含保护性噪声的约束项，用于限制保护性噪声的整体大小，具体约束项可以表示为
Figure SMS_1
，即使用L2范数控制保护性噪声/>
Figure SMS_2
在像素空间的整体大小，进而达到最小化噪声对原人脸图像像素层面影响的目标。
本发明实施例中，将噪声生成器记为
Figure SMS_3
，将噪声生成器生成的保护性噪声/>
Figure SMS_4
与原人脸图像/>
Figure SMS_5
相加得到对抗样本图像/>
Figure SMS_6
。总体来说，噪声生成器的训练目标为在最小化噪声对原人脸图像像素层面和身份层面影响的同时，最大化原人脸图像伪造结果
Figure SMS_7
与受保护人脸图像伪造结果/>
Figure SMS_8
在像素空间与身份空间上的距离，其中/>
Figure SMS_9
为深度伪造模型，所述的深度伪造模型主要是指基于Deepfake实现的网络模型；同时约束噪声尽可能分布在人脸区域。
本发明实施例中，利用所述总体损失函数对噪声生成器进行训练，直至达到设定的停止条件（例如，损失函数收敛，或者达到设定的训练轮次）。
步骤2、基于训练后的噪声生成器，获得受保护的人脸图像。
本发明实施例中，通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像，受保护的人脸图像无法被深度伪造模型成功篡改，从而实现主动防御的目的。
本发明实施例提供的上述方案，充分利用人脸的结构信息，通过约束保护性噪声的分布，并且使用身份信息监督噪声生成器训练，生成对原图破坏性较低和对伪造模型干扰性较强的保护性噪声，从而保证了图像质量，提升了干扰效果，保障了信息安全性。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法进行详细描述。
一、训练噪声生成器的整体网络结构。
本发明实施例中，训练过程中设置人脸解析约束模块与身份特征约束模块，引入人脸解析和身份信息的先验知识监督噪声生成器的训练，图2展示了训练噪声生成器的整体框架结构。其中，基于所述人脸解析约束模块解析原人脸图像得到人脸区域的遮罩，并对保护性噪声的分布进行约束；身份特征约束模块通过使用预训练的人脸识别网络，将人脸图像作为输入，分别得到原人脸图像的身份特征向量、对抗样本图像的身份特征向量、原人脸图像伪造结果的身份特征向量、以及对抗样本图像伪造结果的身份特征向量原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异是指相应身份特征向量的距离，通过最小化原人脸图像与对抗样本图像的身份特征向量的距离且最大化原人脸图像伪造结果和对抗样本图像伪造结果的身份特征向量的距离，监督生成对原人脸破坏性小且对伪造模型干扰效果好的噪声。
本领域技术人员可以理解，人脸特征主要包括属性特征和身份特征，属性特征属于一种变量（如人可以做不同表情，人脸有不同姿态等），身份特征则为除去属性特征外的不变量，主要是指人脸识别网络学习到的与面部表情、头部姿态等人脸属性信息无关的人脸几何表征，其主要包含人脸五官的局部特征和整体结构关系信息。
本发明实施例中，噪声生成器可以使用现有网络模型实现，例如，可使用现有的U-Net网络作为噪声生成器，U-Net网络为自编码器结构，其包含降采样和上采样两个部分，前一部分负责提取输入图像特征，后一部分将得到的特征作为输入进行噪声生成。噪声生成器输出的保护性噪声的尺寸与输入人脸图像尺寸相同。
二、构建总体损失函数。
图3展示了人脸解析约束模块的工作原理图，示例性的，人脸解析约束模块中设有预训练的BiSeNet网络（它是一种人脸解析网络）实现。将原人脸图像输入至人脸解析网络，获得解析图，根据解析图得到人脸区域的遮罩，根据保护性噪声的分布构建第一损失函数，约束保护性噪声的分布在人脸区域；所述第一损失函数表示为：
Figure SMS_10
；
其中，
Figure SMS_11
为保护性噪声，m为通过解析原人脸图像得到的人脸区域的遮罩，/>
Figure SMS_12
为哈达玛积，||.||为范数符号；/>
Figure SMS_13
为第一损失函数，它是总体损失函数中的一部分，通过最小化第一损失函数，使保护性噪声尽可能分布在人脸区域。
图4展示了身份特征约束模块的原理，示例性的，身份特征约束模块中设有ArcFace网络（它是一种身份特征提取网络），分别提取原人脸图像
Figure SMS_14
、对抗样本图像/>
Figure SMS_15
、原人脸图像伪造结果/>
Figure SMS_16
、对抗样本图像伪造结果/>
Figure SMS_17
的身份特征向量。
根据原人脸图像与对抗样本图像的身份差异构建第二损失函数，据原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建第三损失函数，身份差异是指相应身份特征向量的距离。
所述第二损失函数表示为：
Figure SMS_18
；
其中，
Figure SMS_19
表示从原人脸图像/>
Figure SMS_20
中提取的身份特征向量，/>
Figure SMS_21
表示从对抗样本图像
Figure SMS_22
中提取的身份特征向量；/>
Figure SMS_23
为第二损失函数，它是总体损失函数中的一部分，通过最小化第二损失函数来最小化原人脸图像与对抗样本图像的身份差异。
所述第三损失函数表示为：
Figure SMS_24
；
其中，
Figure SMS_25
表示从原人脸图像伪造结果/>
Figure SMS_26
中提取的身份特征向量，/>
Figure SMS_27
表示从对抗样本图像伪造结果/>
Figure SMS_28
中提取的身份特征向量；/>
Figure SMS_29
为第三损失函数，它是总体损失函数中的一部分，通过最小化第三损失函数来最大化原人脸图像伪造结果与对抗样本图像伪造结果的身份差异。
上述第二损失函数与第三损失函数可以使得对抗样本图像
Figure SMS_30
的身份特征尽可能不被破坏，同时增大原人脸图像伪造结果/>
Figure SMS_31
与对抗样本图像伪造结果/>
Figure SMS_32
的身份差异，在增强干扰效果的同时保证生成对抗样本图像的质量。
此外，还根据原人脸图像伪造结果与对抗样本图像伪造结果的图像差异构建第四损失函数，它是主动干扰任务最基本的损失函数，通过第四损失函数最大化图像差异，即最大化原人脸图像伪造结果
Figure SMS_33
与对抗样本图像伪造结果/>
Figure SMS_34
的距离，以达到最基本的像素级干扰效果。所述第四损失函数表示为：
Figure SMS_35
；
其中，
Figure SMS_36
为第四损失函数，它是总体损失函数中的一部分。
结合以上四项损失函数，构建总体损失函数：
Figure SMS_37
；
其中，L表示总体损失函数，
Figure SMS_38
用以限制保护性噪声/>
Figure SMS_39
的整体大小，/>
Figure SMS_40
、/>
Figure SMS_41
、/>
Figure SMS_42
与
Figure SMS_43
均为权重系数。
三、训练方案。
本发明实施例中，主要包含两个训练阶段。
第一阶段（预训练阶段），使用待保护的人脸数据集训练人脸解析约束模块和身份特征约束模块。
示例性的：人脸解析约束模块中设有BiSeNet网络，身份特征约束模块设有ArcFace网络。此阶段主要是训练以上两个网络，训练时使用四张GPU（图形处理器）卡，训练36个epochs（轮次）。使用SGD（随机梯度下降法）优化，动量设为0.9，权值衰减系数设为0.001。为了更充分的训练，学习率余弦变化并且为了在早期稳定训练过程，采用了学习率慢启动，初始学习率设置为0.0001。
第二阶段，训练噪声生成器。每轮训练将待保护的人脸数据集中原人脸图像
Figure SMS_45
作为噪声生成器的输入，得到输出噪声/>
Figure SMS_51
，将噪声与原人脸图像/>
Figure SMS_54
相加（图2中的符号/>
Figure SMS_47
）得到对抗样本图像/>
Figure SMS_56
。之后，分别使用现有深度伪造模型对/>
Figure SMS_48
和/>
Figure SMS_61
进行篡改，得到伪造结果/>
Figure SMS_46
和
Figure SMS_57
，带入第四损失函数公式进行计算。在此基础上，使用预训练的BiSeNet网络提取得到人脸区域的遮罩/>
Figure SMS_44
，/>
Figure SMS_52
表示预训练的BiSeNet网络，带入第一损失函数公式进行计算；使用预训练的ArcFace身份特征提取网络提取/>
Figure SMS_50
，/>
Figure SMS_55
，/>
Figure SMS_58
和/>
Figure SMS_62
对应的身份特征向量/>
Figure SMS_49
，/>
Figure SMS_59
，/>
Figure SMS_53
与/>
Figure SMS_60
，带入第二损失函数与第三损失函数公式进行计算。最后，计算总体损失函数，并进行反向传播，更新噪声生成器的参数。在这一阶段，训练30个epochs，其余训练设置和第一阶段类似。
经上述方案训练后的噪声生成器可以部署于计算机或服务器，自动对需要上传的人脸图像添加保护性噪声，以应对深度伪造手段。可以具体应用于各大传媒平台，例如短视频网站，社交网站、新闻网站等，保障网络信息安全。
本发明提供的上述方案主要有如下三个优点：
（1）相比于传统方案生成的密集且随机的干扰噪声，本发明的方案利用了人脸语义解析信息约束保护性噪声（保护性的干扰噪声）的整体分布，使噪声生成器更能关注和学习到深度伪造模型所关注到的人脸区域特征，生成的干扰噪声更匹配人脸结构特征，具有更好的泛化性和可解释性。
（2）本发明的方案生成的干扰噪声在保持对深度伪造模型较好干扰效果的同时，关注到原人脸图像身份信息的保持，生成不影响原人脸图像身份特征的干扰噪声，将主动干扰对原人脸图像质量带来的负面影响减小。
（3）本发明不仅使用第四损失函数在像素层面达成干扰，同时使用第三损失函数干扰身份特征，实现特征层面更强的干扰效果。
总体而言，本发明提供的方案可以保证图像质量，提升干扰效果，保障信息安全性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例二
本发明还提供一种人脸伪造主动干扰系统，其主要用于实现前述实施例提供的方法，如图5所示，该系统主要包括：
噪声生成器训练单元，用于训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；
受保护的人脸图像生成单元，用于通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种人脸伪造主动干扰方法，其特征在于，包括：
训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；
通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。
2.根据权利要求1所述的一种人脸伪造主动干扰方法，其特征在于，训练过程中设置人脸解析约束模块，基于所述人脸解析约束模块解析原人脸图像得到人脸区域的遮罩，并对保护性噪声的分布进行约束。
3.根据权利要求1或2所述的一种人脸伪造主动干扰方法，其特征在于，根据保护性噪声的分布构建第一损失函数，约束保护性噪声的分布在人脸区域；所述第一损失函数表示为：
Figure QLYQS_1
；
其中，
Figure QLYQS_2
为保护性噪声，m为通过解析原人脸图像得到的人脸区域的遮罩，/>
Figure QLYQS_3
为哈达玛积，||.||为范数符号；/>
Figure QLYQS_4
为第一损失函数，它是总体损失函数中的一部分。
4.根据权利要求1所述的一种人脸伪造主动干扰方法，其特征在于，训练过程中设置身份特征约束模块，通过身份特征约束模块提取原人脸图像的身份特征向量、对抗样本图像的身份特征向量、原人脸图像伪造结果的身份特征向量、以及对抗样本图像伪造结果的身份特征向量；原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异是指相应身份特征向量的距离。
5.根据权利要求1或4所述的一种人脸伪造主动干扰方法，其特征在于，根据原人脸图像与对抗样本图像的身份差异构建第二损失函数，通过第二损失函数最小化原人脸图像与对抗样本图像的身份差异；所述第二损失函数表示为：
Figure QLYQS_5
；
其中，
Figure QLYQS_6
表示从原人脸图像/>
Figure QLYQS_7
中提取的身份特征向量，/>
Figure QLYQS_8
表示从对抗样本图像/>
Figure QLYQS_9
中提取的身份特征向量，||.||为范数符号；/>
Figure QLYQS_10
为第二损失函数，它是总体损失函数中的一部分。
6.根据权利要求1或4所述的一种人脸伪造主动干扰方法，其特征在于，根据原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建第三损失函数，通过第三损失函数最大化原人脸图像伪造结果与对抗样本图像伪造结果的身份差异；所述第三损失函数表示为：
Figure QLYQS_11
；
其中，
Figure QLYQS_12
表示从原人脸图像伪造结果/>
Figure QLYQS_13
中提取的身份特征向量，/>
Figure QLYQS_14
表示从对抗样本图像伪造结果/>
Figure QLYQS_15
中提取的身份特征向量，||.||为范数符号；/>
Figure QLYQS_16
为第三损失函数，它是总体损失函数中的一部分。
7.根据权利要求1所述的一种人脸伪造主动干扰方法，其特征在于，根据原人脸图像伪造结果与对抗样本图像伪造结果的图像差异构建第四损失函数，通过第四损失函数最大化图像差异，所述第四损失函数表示为：
Figure QLYQS_17
；
其中，
Figure QLYQS_18
为原人脸图像伪造结果，/>
Figure QLYQS_19
为对抗样本图像伪造结果，||.||为范数符号；/>
Figure QLYQS_20
为第四损失函数，它是总体损失函数中的一部分。
8.一种人脸伪造主动干扰系统，其特征在于，用于实现权利要求1~7任一项所述的方法，该系统包括：
噪声生成器训练单元，用于训练噪声生成器，训练过程中，通过噪声生成器生成原人脸图像的保护性噪声，并叠加至原人脸图像获得对抗样本图像，利用深度伪造模型对原人脸图像与对抗样本图像分别进行处理，获得原人脸图像伪造结果与对抗样本图像伪造结果，结合原人脸图像伪造结果与对抗样本图像伪造结果的图像差异、保护性噪声的分布、原人脸图像与对抗样本图像的身份差异、以及原人脸图像伪造结果与对抗样本图像伪造结果的身份差异构建总体损失函数，利用所述总体损失函数对噪声生成器进行训练；
受保护的人脸图像生成单元，用于通过训练后的噪声生成器生成待保护的人脸图像的保护性噪声，并叠加至原人脸图像，获得受保护的人脸图像。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。
CN202310547192.7A 2023-05-16 2023-05-16 人脸伪造主动干扰方法、系统、设备及存储介质 Active CN116309031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310547192.7A CN116309031B (zh) 2023-05-16 2023-05-16 人脸伪造主动干扰方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310547192.7A CN116309031B (zh) 2023-05-16 2023-05-16 人脸伪造主动干扰方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116309031A true CN116309031A (zh) 2023-06-23
CN116309031B CN116309031B (zh) 2023-08-29

Family

ID=86836296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310547192.7A Active CN116309031B (zh) 2023-05-16 2023-05-16 人脸伪造主动干扰方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116309031B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117912120A (zh) * 2024-03-19 2024-04-19 中国科学技术大学 人脸隐私保护方法、系统、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710383A (zh) * 2009-10-26 2010-05-19 北京中星微电子有限公司 一种身份认证的方法及认证装置
CN112149608A (zh) * 2020-10-09 2020-12-29 腾讯科技（深圳）有限公司 图像识别方法、装置和存储介质
CN112883874A (zh) * 2021-02-22 2021-06-01 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN113240575A (zh) * 2021-05-12 2021-08-10 中国科学技术大学 人脸伪造视频效果增强方法
WO2022032549A1 (zh) * 2020-08-11 2022-02-17 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN114254276A (zh) * 2021-12-22 2022-03-29 支付宝(杭州)信息技术有限公司 用于图像保护的主动防御方法和装置
CN114881838A (zh) * 2022-07-07 2022-08-09 中国科学技术大学 针对深度伪造的双向人脸数据保护方法、系统及设备
CN115100128A (zh) * 2022-06-15 2022-09-23 人民网股份有限公司 一种基于伪影噪声的深度伪造检测方法
CN115588226A (zh) * 2022-11-01 2023-01-10 重庆邮电大学 一种高鲁棒性的深度伪造人脸检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710383A (zh) * 2009-10-26 2010-05-19 北京中星微电子有限公司 一种身份认证的方法及认证装置
WO2022032549A1 (zh) * 2020-08-11 2022-02-17 中国科学院自动化研究所 基于跨模态转化辅助的人脸防伪检测方法、系统及装置
CN112149608A (zh) * 2020-10-09 2020-12-29 腾讯科技（深圳）有限公司 图像识别方法、装置和存储介质
US20230041233A1 (en) * 2020-10-09 2023-02-09 Tencent Technology (Shenzhen) Company Limited Image recognition method and apparatus, computing device, and computer-readable storage medium
CN112883874A (zh) * 2021-02-22 2021-06-01 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN113240575A (zh) * 2021-05-12 2021-08-10 中国科学技术大学 人脸伪造视频效果增强方法
CN114254276A (zh) * 2021-12-22 2022-03-29 支付宝(杭州)信息技术有限公司 用于图像保护的主动防御方法和装置
CN115100128A (zh) * 2022-06-15 2022-09-23 人民网股份有限公司 一种基于伪影噪声的深度伪造检测方法
CN114881838A (zh) * 2022-07-07 2022-08-09 中国科学技术大学 针对深度伪造的双向人脸数据保护方法、系统及设备
CN115588226A (zh) * 2022-11-01 2023-01-10 重庆邮电大学 一种高鲁棒性的深度伪造人脸检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHI LIU, HUAJIE CHEN, TIANQING ZHU, JUN ZHANG, WANLEI ZHOU: "Making DeepFakes more spurious: evading deep face forgery detection via trace removal attack", COMPUTER VISION AND PATTERN RECOGNITION, pages 1 - 15 *
ZIHENG HU, HONGTAO XIE, LINGYUN YU, XINGYU GAO, ZHIHUA SHANG, YONGDONG ZHANG: "Dynamic-Aware Federated Learning for face forgery video detection", ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY, vol. 13, no. 4, pages 1 - 25, XP058769162, DOI: 10.1145/3501814 *
ZIHENG HU, HONGTAO XIE, YUXIN WANG, JIAHONG LI, ZHONGYUAN WANG, YONGDONG ZHANG: "Dynamic inconsistency-aware deepfake video detection", PROCEEDINGS OF THE THIRTIETH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE(IJCAI-21), pages 736 - 742 *
陈冬梅;: "基于隐私保护的人脸识别技术应用研究", 电脑知识与技术, no. 21, pages 177 - 178 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117912120A (zh) * 2024-03-19 2024-04-19 中国科学技术大学 人脸隐私保护方法、系统、设备及存储介质
CN117912120B (zh) * 2024-03-19 2024-06-07 中国科学技术大学 人脸隐私保护方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN116309031B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Miller et al. Adversarial learning targeting deep neural network classification: A comprehensive review of defenses against attacks
Pinto et al. Face spoofing detection through visual codebooks of spectral temporal cubes
CN113076557B (zh) 一种基于对抗攻击的多媒体隐私保护方法、装置及设备
CN116309031B (zh) 人脸伪造主动干扰方法、系统、设备及存储介质
Sun et al. Adversarial attacks against deep generative models on data: a survey
CN112883874B (zh) 针对深度人脸篡改的主动防御方法
Pu et al. Noisescope: Detecting deepfake images in a blind setting
Jin et al. Countering spoof: towards detecting deepfake with multidimensional biological signals
Gong et al. Deepfake forensics, an ai-synthesized detection with deep convolutional generative adversarial networks
CN115147682A (zh) 一种具有迁移性的隐蔽白盒对抗样本生成方法及装置
Kavita et al. A contemporary survey of unimodal liveness detection techniques: Challenges & opportunities
Tiwari et al. Leveraging deep learning approaches for deepfake detection: A review
Yang et al. ACGIS: Adversarial cover generator for image steganography with noise residuals features-preserving
CN113989713A (zh) 基于视频帧序预测的深度伪造检测方法
CN114220136A (zh) 用户行为识别模型的训练、面部识别的方法、系统及装置
Luo et al. A novel defensive strategy for facial manipulation detection combining bilateral filtering and joint adversarial training
Symeon et al. AFace PREPROCESSING APPROACH FOR IMPROVED DEEPFAKE DETECTION
CN112668401B (zh) 一种基于特征解耦合的人脸隐私保护方法和装置
Cinar Deepfakes in Cyber Warfare: Threats, Detection, Techniques and Countermeasures
Sudhakar et al. Deepfake: An Endanger to Cyber Security
Zhong et al. A deep convolutional generative adversarial network-based fake fingerprint generation method
Mao et al. Research on multimodality face antispoofing model based on adversarial attacks
Ashiba Proposed framework for cancelable face recognition system
Yang et al. Adversarial Secret-Identity Generation Model for Face Anonymization in the Internet of Vehicles
Bakshi et al. 3T‐FASDM: Linear discriminant analysis‐based three‐tier face anti‐spoofing detection model using support vector machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant