CN117912120B - 人脸隐私保护方法、系统、设备及存储介质 - Google Patents
人脸隐私保护方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN117912120B CN117912120B CN202410314213.5A CN202410314213A CN117912120B CN 117912120 B CN117912120 B CN 117912120B CN 202410314213 A CN202410314213 A CN 202410314213A CN 117912120 B CN117912120 B CN 117912120B
- Authority
- CN
- China
- Prior art keywords
- image
- makeup
- face
- dressing
- protected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000013508 migration Methods 0.000 claims abstract description 40
- 230000005012 migration Effects 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 9
- 239000002537 cosmetic Substances 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000002347 injection Methods 0.000 abstract description 2
- 239000007924 injection Substances 0.000 abstract description 2
- 238000009792 diffusion process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102100028743 CAP-Gly domain-containing linker protein 2 Human genes 0.000 description 1
- 101000767059 Homo sapiens CAP-Gly domain-containing linker protein 2 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- -1 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种人脸隐私保护方法、系统、设备及存储介质，它们是一一对应的方案，方案中：文本引导的妆容去除模块通过文本先验引导，得到参考妆容图像对应的去妆图像，图像引导的妆容迁移模块利用妆容去除模块得到的有妆无妆图像对中蕴含的妆容生成方向信息，细粒度地控制妆容的生成，从而保证图像视觉质量，此外，集成攻击模块通过攻击多种人脸识别模型，使生成的妆容具有良好的对抗迁移性，可以为妆容注入对抗信息提升人脸隐私的保护效果；在多个数据集上的实验结果表明，本发明所提出的方案可以生成兼具良好视觉质量和高对抗迁移性的受保护人脸图像，实现对人脸隐私的高效保护。
Description
技术领域
本发明涉及人脸隐私保护技术领域，尤其涉及一种人脸隐私保护方法、系统、设备及存储介质。
背景技术
人脸识别系统的快速发展在便利人们生产和生活时，也给人脸隐私保护带来了挑战。未授权的人脸识别系统可以轻易地从社交媒体上获取大量的人脸图像进行监控或分析。因此，需要找到一种有效的人脸隐私保护手段来防御未授权的人脸识别系统。
现有人脸隐私保护方法大多基于对抗攻击，它们通过给人脸图像添加保护性噪声来达到对抗人脸识别系统的目的。然而此类方法生成的噪声往往密集且随机地分布在人脸图像的各个位置，导致人脸图像的视觉质量显著下降。并且由于对噪声大小的范数约束，导致其防御效果有限。
发明内容
本发明的目的是提供一种人脸隐私保护方法、系统、设备及存储介质，可以生成兼具良好视觉质量和高对抗迁移性的受保护人脸图像，实现对人脸隐私的高效保护。
本发明的目的是通过以下技术方案实现的：
一种人脸隐私保护方法，包括：
构建包含文本引导的妆容去除模块、图像引导的对抗妆容迁移模块与集成攻击模块的人脸保护模型；
训练人脸保护模型，包括：通过文本引导的妆容去除模块去除给定的妆容图像的妆容风格，得到对应的无妆图像，利用妆容图像与无妆图像构建第一损失函数，对文本引导的妆容去除模块进行训练；通过图像引导的对抗妆容迁移模块，将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像，使得人脸识别模型将受保护的人脸图像的身份识别为目标人脸图像的身份；利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及妆容图像、待保护人脸图像与受保护的人脸图像构建第二损失函数，并且通过集成攻击模块利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数，结合第二损失函数与第三损失函数对图像引导的对抗妆容迁移模块进行训练；
将给定的妆容图像与待保护人脸图像输入至训练后的人脸保护模型，通过文本引导的妆容去除模块提取妆容图像的妆容风格，通过图像引导的对抗妆容迁移模块将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像。
一种人脸隐私保护系统，包括：
模型构建单元，用于构建包含文本引导的妆容去除模块、图像引导的对抗妆容迁移模块与集成攻击模块的人脸保护模型；
模型训练单元，用于训练人脸保护模型，包括：通过文本引导的妆容去除模块去除给定的妆容图像的妆容风格，得到对应的无妆图像，利用妆容图像与无妆图像构建第一损失函数，对文本引导的妆容去除模块进行训练；通过图像引导的对抗妆容迁移模块，将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像，使得人脸识别模型将受保护的人脸图像的身份识别为目标人脸图像的身份；利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及妆容图像、待保护人脸图像与受保护的人脸图像构建第二损失函数，并且通过集成攻击模块利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数，结合第二损失函数与第三损失函数对图像引导的对抗妆容迁移模块进行训练；
人脸隐私保护单元，用于将给定的妆容图像与待保护人脸图像输入至训练后的人脸保护模型，通过文本引导的妆容去除模块提取妆容图像的妆容风格，通过图像引导的对抗妆容迁移模块将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，文本引导的妆容去除模块通过文本先验引导，得到参考妆容图像对应的去妆图像，图像引导的妆容迁移模块利用妆容去除模块得到的有妆无妆图像对中蕴含的妆容生成方向信息，细粒度地控制妆容的生成，从而保证图像视觉质量，此外，集成攻击模块通过攻击多种人脸识别模型，使生成的妆容具有良好的对抗迁移性，可以为妆容注入对抗信息提升人脸隐私的保护效果；在多个数据集上的实验结果表明，本发明所提出的方案可以生成兼具良好视觉质量和高对抗迁移性的受保护人脸图像，实现对人脸隐私的高效保护。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种人脸隐私保护方法的流程图；
图2为本发明实施例提供的一种人脸隐私保护方法的框架图；
图3为本发明实施例提供的受保护人脸生成结果比较示意图；
图4为本发明实施例提供的一种人脸隐私保护系统的示意图；
图5为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种人脸隐私保护方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
实施例一
本发明实施例提供一种人脸隐私保护方法，如图1所示，其主要包括如下步骤：
步骤1、构建人脸保护模型。
本发明实施例中，构建包含文本引导的妆容去除模块、图像引导的对抗妆容迁移模块与集成攻击模块的人脸保护模型。
步骤2、训练人脸保护模型。
本发明实施例中，通过文本引导的妆容去除模块去除给定的妆容图像的妆容风格，得到对应的无妆图像，利用妆容图像与无妆图像构建第一损失函数，对文本引导的妆容去除模块进行训练；通过图像引导的对抗妆容迁移模块，将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像，使得人脸识别模型将受保护的人脸图像的身份识别为目标人脸图像的身份；利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及妆容图像、待保护人脸图像与受保护的人脸图像构建第二损失函数，并且通过集成攻击模块利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数，结合第二损失函数与第三损失函数对图像引导的对抗妆容迁移模块进行训练。
步骤3、利用训练后的人脸保护模型，生成受保护的人脸图像。
本发明实施例中，将给定的妆容图像与待保护人脸图像输入至训练后的人脸保护模型，通过文本引导的妆容去除模块提取妆容图像的妆容风格，通过图像引导的对抗妆容迁移模块将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像。
本发明实施例提供的上述方案，可以对社交平台上用户发布的人脸图像进行隐私保护。在实施上，可以以软件的方式安装于电脑、手机等设备，提供实时保护；也可以安装于服务器，提供大批量后台保护。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的一种人脸隐私保护方法进行详细描述。
一、方案原理概述。
现有对抗妆容生成方法使用文本对作为监督生成目标妆容，如“face”（即“脸”）和“face with red lipstick”（即“涂着红色口红的脸”）。但是由于文本的引导过于粗粒度，往往无法在人脸图像目标区域生成理想且准确的妆容，很难精确地控制妆容生成的方向和距离。不理想的妆容生成结果也降低了对抗妆容对人脸识别模型的对抗迁移性。
因此，本发明提出使用一个妆容去除模块来获取准确的有妆无妆图像之间的联系。妆容去除过程是一个确定性的过程，可以很容易地通过文本引导实现。并且作为逆过程，妆容去除过程也可以为妆容生成过程提供妆容生成位置、形状等全局引导。同时，本发明还利用妆容生成方向信息和像素级别的距离引导实现高质量妆容生成，并且通过一个集成攻击模块将对抗信息隐藏到妆容中，保证了所生成对抗妆容的高对抗迁移性。最终，可以根据给定的待保护图像，自动生成带对抗妆容的受保护人脸图像，受保护人脸图像可以误导人脸识别模型将其识别为其他身份，从而实现人脸隐私保护的目的。
二、方案细节介绍。
如图2所示，为本发明提供的一种人脸隐私保护方法的整体框架，该框架形成一个人脸隐私保护模型，主要包括三个部分：文本引导的妆容去除模块、图像引导的对抗妆容迁移模块、集成攻击模块；考虑到隐私问题，所有人脸面部区域均施加马赛克。
1、文本引导的妆容去除模块。
文本引导的妆容去除模块旨在去除给定妆容图像（参考妆容图像）的妆容风格，得到对应的无妆图像/>。
本发明实施例中，文本引导的妆容去除模块使用第一损失函数微调一个预训练的扩散模型，使其拥有妆容去除能力。
本发明实施例中， 利用妆容图像与无妆图像构建第一损失函数，具体来说：根据妆容图像与无妆图像确定对应的有妆文本与无妆文本（有妆与无妆文本对），利用妆容图像的表征与无妆图像的表征之间的差异，以及有妆文本表征与无妆文本表征之间的差异构建第一损失函数：
；
其中，为第一损失函数，/>为L1范数符号，/>为妆容图像的表征与无妆图像的表征之间的差异，/>为有妆文本表征与无妆文本表征之间的差异，，/>，/>和/>分别是预训练语言图像模型中的图像编码器和文本编码器，用于对应的提取图像的表征与文本表征，/>为妆容图像，/>为无妆图像，/>为无妆文本，/>为有妆文本。
本发明实施例中，预训练语言图像模型可以选择CLIP（Contrastive Language-Image Pre-Training，对比语言-图像预训练）模型，则以上第一损失函数为有向CLIP损失函数；通过指导在CLIP空间中有妆无妆文本对和有妆无妆图像对的对齐，实现了妆容去除的效果。
示例性的，无妆文本内容可以为“face without makeup”（即“无妆的脸”），有妆文本/>内容可以为“face with makeup” （即“化妆的脸”），当然，具体的文本内容以及所使用的语种可以由用户根据实际情况或者经验进行设定。
2、图像引导的对抗妆容迁移模块。
图像引导的对抗妆容迁移模块旨在微调另一个预训练的扩散模型，其可以将参考妆容图像的妆容风格迁移到待保护图像/>上，生成受保护的图像/>，/>可误导人脸识别模型将其识别为目标图像身份/>。在获得参考妆容图像对应的有妆无妆图像对后，向量表示在预训练语言图像模型空间中的去妆方向，作为妆容生成的逆过程，可以对/>取反向作为预训练语言图像模型空间中的加妆方向（妆容生成方向信息）/>：
。
由此可以得到预训练语言图像模型空间上细粒度的妆容生成方向的细粒度引导。
妆容生成方向信息包括加妆位置和形状信息等，其属于对妆容生成的全局监督，而对于不同化妆部位的妆容颜色和深浅等细粒度信息还需要妆容距离上的局部监督。
基于上述分析可知，高质量的妆容生成需要妆容生成方向信息和妆容距离上的共同监督，因此，本发明提供的第二损失函数（妆容损失函数）包括：妆容方向损失项与妆容距离损失项，第二损失函数为两个损失项的加权和，表示为：
；
其中，利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及待保护人脸图像与受保护的人脸图像的差异计算妆容方向损失项，/>为妆容方向损失项的权重系数；利用妆容图像与受保护的人脸图像并结合基于颜色的直方图匹配的方法计算妆容距离损失项/>；/>为妆容距离损失项的权重系数。
所述妆容方向损失项表示为：
；
其中，为妆容方向损失项，/>为L1范数符号，/>为待保护人脸图像的表征与受保护的人脸图像的表征之间的差异，/>为妆容生成方向信息；，/>，/>是预训练语言图像模型中的图像编码器，用于提取对应图像的表征，/>为待保护人脸图像，/>为受保护的人脸图像，/>为妆容图像，/>为无妆图像。
本发明实施例中，所述利用妆容图像与受保护的人脸图像并结合基于颜色的直方图匹配的方法计算妆容距离损失项包括：对于受保护的人脸图像以及妆容图像/>，均分别利用人脸解析方法得到眼影区域、唇部区域和其它面部皮肤区域的掩膜，将各区域掩膜分别与所属图像相乘，再进行基于颜色的直方图匹配/>，获得受保护的人脸图像/>以及妆容图像/>中相同区域内具有相同颜色的分布，并计算出妆容距离损失项，表示为：
；
其中，为区域索引，/>表示眼影区域，/>表示唇部区域，/>表示其它面部皮肤区域，/>为妆容距离损失项，/>为L1范数符号，/>为受保护的人脸图像/>中/>区域的掩膜，/>为妆容图像/>中/>区域的掩膜。本发明实施例中，通过在妆容方向和妆容距离上的共同引导，实现高质量的妆容生成。
3、集成攻击模块。
上述两个模块仅对妆容生成进行监督，为实现隐私保护效果，还需要使妆容具有对人脸识别系统的攻击性。因此，本发明引入集成攻击模块，为生成的妆容注入对抗信息。为实现更强的攻击效果，集成多种常见的人脸识别模型，寻找一个共同的对抗方向。为此，采用集成攻击损失函数（第三损失函数）：
；
其中，K为人脸识别模型数目，表示第k个人脸识别模型，/>为受保护的人脸图像，/>为目标人脸图像，/>为距离度量函数。
示例性的，可采用余弦相似度作为距离度量函数。
通过上述三个模块，实现了高质量且具有高对抗迁移性的对抗妆容迁移。
4、训练细节。
基于前文提供的损失函数可以采用方案训练文本引导的妆容去除模块与图像引导的对抗妆容迁移模块，故不做赘述。
下面提供可行的训练细节描述作为示例。在微调文本引导的妆容去除模块时，使用200张从MT-dataset数据集中随机选取的带妆人脸图像作为训练集，并结合使用第一损失函数进行微调；在微调图像引导的对抗妆容迁移模块时，使用200张从CelebA-HQ数据集中随机选取的人脸图像，并使用第二和第三损失函数进行微调；以上两个模块的微调相互独立。使用攻击成功率（ASR）作为攻击效果评价指标；使用弗雷歇距离（FID）作为图像质量评价指标，其值越小代表生成的图像越自然。去妆和妆容迁移阶段使用的扩散模型均为在CelebA-HQ数据集上预训练的ADM模型（受引导扩散模型）。输入图像分辨率均为256×256。两个扩散模型均进行6轮微调，使用Adam（自适应运动估计算法）优化器，初始学习率为4e-6。每50次迭代线性增长到1.2倍。
本领域技术人员可以理解，扩散模型的生成图像的过程中会先对图像进行加噪操作，因此，会存在因此加噪人脸这一必要的中间结果，相关原理可参照常规技术，本发明不做赘述。
三、实验说明。
为了说明本发明上述方案的性能，通过实验进行了验证。
实验中本发明提供的方案在针对CelebA-HQ和LADN数据集的黑盒场景下的保护效果均取得了领先。在CelebA-HQ和LADN数据集的平均攻击成功率上相比现有最佳方法分别提高了14.16%和13.14%。生成的受保护图像质量相比现有最佳方法在FID（FrechetInception Distance）值上下降了11.01，具有更自然的生成效果，FID是一种用于衡量两个图像数据分布之间相似性的指标。
同时还与现有方案TIP-IM（基于身份掩膜的人脸加密方法）、AMT-GAN（用于对抗妆容迁移的对抗生成网络）、CLIP2Protect（基于CLIP的人脸保护方法）进行了对比，图3可可视化对比结果，考虑到隐私问题，所有人脸面部区域均施加马赛克。图3中图像下方的两项数字为两种商用人脸识别API（Application Programming Interface，应用程序编程接口）上返回得到的可信度值，可信度值越高越好；从图3所示对比结果可看到，本发明的方案明显优于现有方案。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例二
本发明还提供一种人脸隐私保护系统，其主要用于实现前述实施例提供的方法，如图4所示，该系统主要包括：
模型构建单元，用于构建包含文本引导的妆容去除模块、图像引导的对抗妆容迁移模块与集成攻击模块的人脸保护模型；
模型训练单元，用于训练人脸保护模型，包括：通过文本引导的妆容去除模块去除给定的妆容图像的妆容风格，得到对应的无妆图像，利用妆容图像与无妆图像构建第一损失函数，对文本引导的妆容去除模块进行训练；通过图像引导的对抗妆容迁移模块，将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像，使得人脸识别模型将受保护的人脸图像的身份识别为目标人脸图像的身份；利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及妆容图像、待保护人脸图像与受保护的人脸图像构建第二损失函数，并且通过集成攻击模块利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数，结合第二损失函数与第三损失函数对图像引导的对抗妆容迁移模块进行训练；
人脸隐私保护单元，用于将给定的妆容图像与待保护人脸图像输入至训练后的人脸保护模型，通过文本引导的妆容去除模块提取妆容图像的妆容风格，通过图像引导的对抗妆容迁移模块将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像。
该系统所涉及的具体技术细节已经在之前的实施例一中做了详细的介绍，故不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种人脸隐私保护方法，其特征在于，包括：
构建包含文本引导的妆容去除模块、图像引导的对抗妆容迁移模块与集成攻击模块的人脸保护模型；
训练人脸保护模型，包括：通过文本引导的妆容去除模块去除给定的妆容图像的妆容风格，得到对应的无妆图像，利用妆容图像与无妆图像构建第一损失函数，对文本引导的妆容去除模块进行训练；通过图像引导的对抗妆容迁移模块，将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像，使得人脸识别模型将受保护的人脸图像的身份识别为目标人脸图像的身份；利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及妆容图像、待保护人脸图像与受保护的人脸图像构建第二损失函数，并且通过集成攻击模块利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数，结合第二损失函数与第三损失函数对图像引导的对抗妆容迁移模块进行训练；妆容生成方向信息，/>是预训练语言图像模型中的图像编码器，用于提取对应图像的表征，/>为妆容图像，/>为无妆图像；
将给定的妆容图像与待保护人脸图像输入至训练后的人脸保护模型，通过文本引导的妆容去除模块提取妆容图像的妆容风格，通过图像引导的对抗妆容迁移模块将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像。
2.根据权利要求1所述的一种人脸隐私保护方法，其特征在于，所述利用妆容图像与无妆图像构建第一损失函数包括：根据妆容图像与无妆图像确定对应的有妆文本与无妆文本，利用妆容图像的表征与无妆图像的表征之间的差异，以及有妆文本表征与无妆文本表征之间的差异构建第一损失函数。
3.根据权利要求1所述的一种人脸隐私保护方法，其特征在于，第一损失函数表示为：
；
其中，为第一损失函数，/>为L1范数符号，/>为妆容图像的表征与无妆图像的表征之间的差异，/>为有妆文本表征与无妆文本表征之间的差异，/>，，/>是预训练语言图像模型中的文本编码器，用于提取文本表征，/>为无妆文本，/>为有妆文本。
4.根据权利要求1所述的一种人脸隐私保护方法，其特征在于，所述第二损失函数包括：妆容方向损失项与妆容距离损失项，第二损失函数为两个损失项的加权和；
其中，利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及待保护人脸图像与受保护的人脸图像的差异计算妆容方向损失项；利用妆容图像与受保护的人脸图像并结合基于颜色的直方图匹配的方法计算妆容距离损失项。
5.根据权利要求4所述的一种人脸隐私保护方法，其特征在于，所述妆容方向损失项表示为：
；
其中，为妆容方向损失项，/>为L1范数符号，/>为待保护人脸图像的表征与受保护的人脸图像的表征之间的差异，/>，/>为待保护人脸图像，/>为受保护的人脸图像。
6.根据权利要求4所述的一种人脸隐私保护方法，其特征在于，所述利用妆容图像与受保护的人脸图像并结合基于颜色的直方图匹配的方法计算妆容距离损失项包括：
对于受保护的人脸图像以及妆容图像/>，均分别利用人脸解析方法得到眼影区域、唇部区域和其它面部皮肤区域的掩膜，将各区域掩膜分别与所属图像相乘，再进行基于颜色的直方图匹配/>，获得受保护的人脸图像/>以及妆容图像/>中相同区域内具有相同颜色的分布，并计算出妆容距离损失项，表示为：
；
其中，为区域索引，/>表示眼影区域，/>表示唇部区域，/>表示其它面部皮肤区域，/>为妆容距离损失项，/>为L1范数符号，/>为受保护的人脸图像/>中/>区域的掩膜，/>为妆容图像/>中/>区域的掩膜。
7.根据权利要求1所述的一种人脸隐私保护方法，其特征在于，所述利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数表示为：
；
其中，K为人脸识别模型数目，表示第k个人脸识别模型，/>为受保护的人脸图像，为目标人脸图像，/>为距离度量函数。
8.一种人脸隐私保护系统，其特征在于，包括：
模型构建单元，用于构建包含文本引导的妆容去除模块、图像引导的对抗妆容迁移模块与集成攻击模块的人脸保护模型；
模型训练单元，用于训练人脸保护模型，包括：通过文本引导的妆容去除模块去除给定的妆容图像的妆容风格，得到对应的无妆图像，利用妆容图像与无妆图像构建第一损失函数，对文本引导的妆容去除模块进行训练；通过图像引导的对抗妆容迁移模块，将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像，使得人脸识别模型将受保护的人脸图像的身份识别为目标人脸图像的身份；利用从妆容图像与无妆图像中获取的妆容生成方向信息，以及妆容图像、待保护人脸图像与受保护的人脸图像构建第二损失函数，并且通过集成攻击模块利用人脸识别模型对受保护的人脸图像与目标人脸图像分别进行识别，利用识别结果之间的差异构建第三损失函数，结合第二损失函数与第三损失函数对图像引导的对抗妆容迁移模块进行训练；妆容生成方向信息，/>是预训练语言图像模型中的图像编码器，用于提取对应图像的表征，/>为妆容图像，/>为无妆图像；
人脸隐私保护单元，用于将给定的妆容图像与待保护人脸图像输入至训练后的人脸保护模型，通过文本引导的妆容去除模块提取妆容图像的妆容风格，通过图像引导的对抗妆容迁移模块将妆容图像的妆容风格迁移到待保护人脸图像中，生成受保护的人脸图像。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410314213.5A CN117912120B (zh) | 2024-03-19 | 2024-03-19 | 人脸隐私保护方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410314213.5A CN117912120B (zh) | 2024-03-19 | 2024-03-19 | 人脸隐私保护方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117912120A CN117912120A (zh) | 2024-04-19 |
| CN117912120B true CN117912120B (zh) | 2024-06-07 |
Family
ID=90697168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410314213.5A Active CN117912120B (zh) | 2024-03-19 | 2024-03-19 | 人脸隐私保护方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117912120B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414856A (zh) * | 2020-03-19 | 2020-07-14 | 支付宝(杭州)信息技术有限公司 | 实现用户隐私保护的人脸图像生成方法及装置 |
| CN113822793A (zh) * | 2021-07-16 | 2021-12-21 | 华南理工大学 | 图像处理方法、装置和存储介质及电子设备 |
| CN114139198A (zh) * | 2021-11-29 | 2022-03-04 | 杭州电子科技大学 | 基于层次k匿名身份替换的人脸生成隐私保护方法 |
| CN114723974A (zh) * | 2022-03-09 | 2022-07-08 | 杨晨煜 | 一种基于神经网络的智能仿妆系统及仿妆生成方法 |
| CN115760552A (zh) * | 2022-11-04 | 2023-03-07 | 武汉理工大学 | 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统 |
| WO2023040813A1 (zh) * | 2021-09-16 | 2023-03-23 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、设备及介质 |
| CN116127422A (zh) * | 2022-11-04 | 2023-05-16 | 马上消费金融股份有限公司 | 图像处理方法、图像处理模型的训练方法及装置 |
| CN116309031A (zh) * | 2023-05-16 | 2023-06-23 | 中国科学技术大学 | 人脸伪造主动干扰方法、系统、设备及存储介质 |
| CN116311463A (zh) * | 2023-03-27 | 2023-06-23 | 桂林电子科技大学 | 基于生成对抗网络和化妆迁移的男性人脸隐私保护方法 |
| WO2023124391A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 妆容迁移及妆容迁移网络的训练方法和装置 |
| CN116469143A (zh) * | 2023-04-04 | 2023-07-21 | 桂林电子科技大学 | 一种基于凸优化和通用对抗扰动的人脸隐私保护方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220222539A1 (en) * | 2021-01-12 | 2022-07-14 | Sap Se | Adversarial learning of privacy preserving representations |
-
2024
- 2024-03-19 CN CN202410314213.5A patent/CN117912120B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414856A (zh) * | 2020-03-19 | 2020-07-14 | 支付宝(杭州)信息技术有限公司 | 实现用户隐私保护的人脸图像生成方法及装置 |
| CN113822793A (zh) * | 2021-07-16 | 2021-12-21 | 华南理工大学 | 图像处理方法、装置和存储介质及电子设备 |
| WO2023040813A1 (zh) * | 2021-09-16 | 2023-03-23 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、设备及介质 |
| CN114139198A (zh) * | 2021-11-29 | 2022-03-04 | 杭州电子科技大学 | 基于层次k匿名身份替换的人脸生成隐私保护方法 |
| WO2023124391A1 (zh) * | 2021-12-30 | 2023-07-06 | 上海商汤智能科技有限公司 | 妆容迁移及妆容迁移网络的训练方法和装置 |
| CN114723974A (zh) * | 2022-03-09 | 2022-07-08 | 杨晨煜 | 一种基于神经网络的智能仿妆系统及仿妆生成方法 |
| CN115760552A (zh) * | 2022-11-04 | 2023-03-07 | 武汉理工大学 | 基于图像妆容迁移网络的人脸图像妆容迁移方法及系统 |
| CN116127422A (zh) * | 2022-11-04 | 2023-05-16 | 马上消费金融股份有限公司 | 图像处理方法、图像处理模型的训练方法及装置 |
| CN116311463A (zh) * | 2023-03-27 | 2023-06-23 | 桂林电子科技大学 | 基于生成对抗网络和化妆迁移的男性人脸隐私保护方法 |
| CN116469143A (zh) * | 2023-04-04 | 2023-07-21 | 桂林电子科技大学 | 一种基于凸优化和通用对抗扰动的人脸隐私保护方法 |
| CN116309031A (zh) * | 2023-05-16 | 2023-06-23 | 中国科学技术大学 | 人脸伪造主动干扰方法、系统、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Clip2protect: Protecting facial privacy using text-guided makeup via adversarial latent search;Shamshad F等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20231231;第20595-20605页 * |
| 云环境下人脸安全识别系统设计与实现;朱星帆;金鑫;李晓东;韩青;;北京电子科技学院学报;20190930(第03期);第32-44页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117912120A (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Meden et al. | Privacy–enhancing face biometrics: A comprehensive survey | |
| CN112419170B (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| Yu et al. | Privacy protecting visual processing for secure video surveillance | |
| CN112364745B (zh) | 一种对抗样本的生成方法、装置及电子设备 | |
| CN106503655B (zh) | 一种基于人脸识别技术的电子签名方法和验签方法 | |
| CN111523668A (zh) | 基于差分隐私的数据生成系统的训练方法及装置 | |
| Rathgeb et al. | Attacking iris recognition: An efficient hill-climbing technique | |
| Liu et al. | Spoof trace disentanglement for generic face anti-spoofing | |
| CN113033511B (zh) | 一种基于操控解耦身份表示的人脸匿名方法 | |
| CN109934187B (zh) | 基于人脸活性检测-眼睛视线随机挑战响应方法 | |
| Graf et al. | Robust segmentation of relevant regions in low depth of field images | |
| CN112149732A (zh) | 图像保护方法、装置、电子设备及存储介质 | |
| Li et al. | DeepBlur: A simple and effective method for natural image obfuscation | |
| Guetta et al. | Dodging attack using carefully crafted natural makeup | |
| Barni et al. | Iris deidentification with high visual realism for privacy protection on websites and social networks | |
| Liu et al. | Physics-guided spoof trace disentanglement for generic face anti-spoofing | |
| CN114005170A (zh) | 基于视觉对抗重构的DeepFake防御方法和系统 | |
| Wang et al. | Spatial-temporal frequency forgery clue for video forgery detection in VIS and NIR scenario | |
| Liu et al. | Toward robust imperceptible perturbation against unauthorized text-to-image diffusion-based synthesis | |
| CN117912120B (zh) | 人脸隐私保护方法、系统、设备及存储介质 | |
| CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
| Khojasteh et al. | Gmfim: a generative mask-guided facial image manipulation model for privacy preservation | |
| Guo et al. | Integrating diversity into neural-network-based face deidentification | |
| CN114612991A (zh) | 攻击人脸图片的转换方法及装置、电子设备及存储介质 | |
| Li et al. | Hierarchical Perceptual Noise Injection for Social Media Fingerprint Privacy Protection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |