CN115984094A - 基于多损失约束视角一致性保持人脸安全生成方法及设备 - Google Patents
基于多损失约束视角一致性保持人脸安全生成方法及设备 Download PDFInfo
- Publication number
- CN115984094A CN115984094A CN202211545973.4A CN202211545973A CN115984094A CN 115984094 A CN115984094 A CN 115984094A CN 202211545973 A CN202211545973 A CN 202211545973A CN 115984094 A CN115984094 A CN 115984094A
- Authority
- CN
- China
- Prior art keywords
- face image
- result
- face
- image
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000006870 function Effects 0.000 claims abstract description 76
- 238000009877 rendering Methods 0.000 claims abstract description 60
- 210000005036 nerve Anatomy 0.000 claims abstract description 44
- 230000005855 radiation Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 8
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims 6
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000008485 antagonism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000257303 Hymenoptera Species 0.000 description 1
- 235000017309 Hypericum perforatum Nutrition 0.000 description 1
- 244000141009 Hypericum perforatum Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于多损失约束视角一致性保持人脸安全生成方法及设备。该方法包括：利用生成对抗网络进行人脸交换同时引入多个损失函数，对源人脸图像以及目标人脸图像进行处理，生成结果人脸图像；估计结果人脸图像的相机参数，并结合相机参数对结果人脸图像的前景和背景分别建立一个神经辐射场；基于根据前景神经辐射场以及所述背景神经辐射场，对结果人脸图像进行体积渲染生成渲染结果人脸图像；将渲染结果人脸图像通过鉴别器，使得最终人脸图像的前景和背景与结果人脸图像的前景和背景保持一致，生成视角一致性保持的人脸图像。本发明能够生成视角一致性保持的人脸图像，降低生成图像被伪造图像检测器检测出来的概率。
Description
技术领域
本发明涉及人脸交换技术领域，特别是涉及一种基于多损失约束视角一致性保持人脸安全生成方法及设备。
背景技术
近年来，人脸交换技术因其在娱乐、隐私保护和戏剧行业等方面的广泛应用前景而受到广泛关注。人脸交换技术，顾名思义，将源人脸图像叠加到目标人脸的视频上，以创建目标人脸与源人脸做相同事情的视频。它可以将源人脸的身份转换为目标人脸，同时保持目标人脸的属性(例如表情、姿势、光照等)不变。
考虑到人脸交换可能被恶意用作错误信息、操纵、骚扰和说服的来源，检测生成的交换人脸是一项技术要求高且发展迅速的挑战，需要整个科研行业及其他行业的合作。了解人脸交换的机理，以及它如何将源人脸变成目标人脸的逼真视频，能够更好的促进检测伪造人脸图像技术的进步。
除此之外，人脸交换技术同样也具有很大的正向应用潜力，人脸交换技术在教育、文创、娱乐等领域具有其积极价值，很多相关的工具和商业软件已经被开发，包括以DeepFaceLab为代表的支持人工干预的全流程人脸伪造开源项目和以风靡一时的ZAO为代表的换脸应用软件以及最近全网“蚂蚁呀嘿”的盛行。具体来说，在教育方面：虚拟教师让数字教学更具互动性和趣味性，合成的历史人物讲解视频让受众更有代入感；此外，借助人脸交换技术，可以以充满想象力和更具吸引力的方式向学生传播知识；例如，合成的历史人物演讲视频可以再现历史场景，让受众更具代入感；借助深度伪造技术修改电影素材，以更灵活生动的形式呈现教学内容。在文创方面：人脸交换技术可以让电影、纪录片等艺术创作突破时空限制，以更真实的方式呈现，实现替身演员演出，污点明星换脸等效果，个人甚至还可以根据个人喜好，选择要在电影中观看的演员。此外可以给基于人脸交换技术对视频批评、讽刺、戏仿等二次创作提供新的技术和表达形式。基于4k/8k超分辨率、智能帧率上采样、AI智能上色、三维视频合成等人脸交换技术，可以对经典电视电影进行文化内容增值。像中国电影资料博物馆有非常多老片资源尤其是红色电影资源，今后都可以通过技术还原手段重获新生，能达到2K、甚至4K的清晰度，进行上色，甚至完成二维电影到三维立体电影的华丽转身。在娱乐方面：人脸交换技术使得对一个人的自我进行逼真的模拟成为可能，从而可为个人创造虚拟化身，并能通过虚拟化身参与媒体中各类社交活动，创造出超越现实的个性化体验和化身体验。可以创造虚拟主播来播报新闻、天气预报等内容；也可以给游戏、娱乐等领域提供更具亲和力的人形虚拟客服、虚拟偶像等。
人脸交换方法主要有两种类型，一种是面向源的方法，在图像级别上作用于源人脸，另一种是面向目标的方法，在特征层次上作用于目标人脸。面向源的方法将属性(如表情和姿势)从目标人脸转移到源人脸，然后将源人脸融合到目标图像中，这些方法对源图像的姿态和光照敏感；面向目标的方法直接修改目标图像的特征，并且可以很好地适应源人脸的变化。但是现有的人脸交换算法仍然存在几个问题：1)生成的伪造图像无法保持多视角一致性，当视角发生变化的时候生成图像的身份也会一起发生变化；2)生成图像的深度图和真实图像的深度图结构不一致；3)生成图像的前景(人脸)和背景信息不一致(如光照、人脸边界等)，前-背景融合的不够自然，降低生成图像整体的质量；4)生成的图像不够安全，容易被不法分子用来制作行为不当的虚假视频。
发明内容
本发明的目的是提供一种基于多损失约束视角一致性保持人脸安全生成方法及设备，用以解决生成的人脸图像伪造痕迹重的问题。
为实现上述目的，本发明提供了如下方案：
一种基于多损失约束视角一致性保持人脸安全生成方法，包括：
获取源人脸图像以及目标人脸图像；
利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像；
估计所述结果人脸图像的相机参数，并结合所述相机参数对所述结果人脸图像的前景和背景分别建立一个神经辐射场；所述神经辐射场包括前景神经辐射场以及背景神经辐射场；
基于根据所述前景神经辐射场以及所述背景神经辐射场，对所述结果人脸图像进行体积渲染生成渲染结果人脸图像；
将所述渲染结果人脸图像通过鉴别器，使得最终人脸图像的前景和背景与所述结果人脸图像的前景和背景保持一致，生成视角一致性保持的人脸图像；所述视角一致性保持的人脸图像为最终人脸图像。
可选的，所述利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像，之后还包括：
将所述结果人脸图像通过所述鉴别器，利用身份提取器提取所述源人脸图像以及所述结果人脸图像的身份向量，并通过身份损失函数使得所述结果人脸图像的身份向量靠近所述源人脸图像的身份向量，生成带有身份向量的结果人脸图像；
在所述鉴别器中，根据弱特征匹配损失函数约束所述结果人脸图像的属性信息，使得所述结果人脸图像的属性信息与所述目标人脸图像的属性信息一致，生成带有属性信息的结果人脸图像；所述属性信息包括表情、姿势以及光照；
在所述鉴别器中，利用深度估计器提取所述目标人脸图像以及所述结果人脸图像的深度图，并通过深度损失函数使得所述结果人脸图像和所述目标人脸图像的深度一致，生成带有深度的结果人脸图像；
根据所述身份损失函数、所述弱特征匹配损失函数以及所述深度损失函数生成人脸交换阶段中人脸生成器的损失函数，并对结果人脸图像进行处理，生成最终的结果人脸图像；
将所述最终的结果人脸图像作为所述结果人脸图像，执行步骤“估计所述结果人脸图像的相机参数，并结合所述相机参数对所述结果人脸图像的前景和背景分别建立一个神经辐射场”。
可选的，所述人脸交换阶段中人脸生成器G1的损失函数为：
Ltotal1＝λ1Lid+λ2Lwfm+λ3Ldepth+λ4Lrecon+Ladv+λ5LGP；
其中，Ltotal1为人脸交换阶段中人脸生成器的损失函数；λ1、λ2、λ3、λ4、λ5为5个超参；Lid为所述身份损失函数；Lwfm为所述弱特征匹配损失函数；Ldepth为所述深度损失函数；Lrecon为重构损失函数；Ladv是对抗损失，LGP是梯度惩罚项。
可选的，所述基于根据所述前景神经辐射场以及所述背景神经辐射场，对所述结果人脸图像进行体积渲染生成渲染结果人脸图像，具体包括：
对所述前景神经辐射场直接进行渲染，生成前景渲染结果；
对所述背景神经辐射场应用反演球体参数，并对应用后的背景神经辐射场进行渲染，生成背景渲染结果；
根据所述前景渲染结果以及所述背景渲染结果生成渲染结果人脸图像。
可选的，在体积渲染过程中，对所述体积渲染过程中产生的权重的概率施加先验概率，并将所述先验概率转换为渲染损失函数。
可选的，视角一致性保持的人脸图像生成阶段中人脸生成器G2的损失函数为：
Ltotal2＝λ1Lfbi+λ2Lhard+λ3Ladv+LGP；
其中，Ltotal2为视角一致性保持的人脸图像生成阶段中人脸生成器G2的损失函数；Lfbi为前-背景信息损失函数；Lhard为渲染损失函数。
可选的，所述利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像，之后还包括：
对所述结果人脸图像嵌入不可见模型水印，生成嵌入水印后的结果人脸图像。
可选的，所述将所述渲染结果人脸图像通过鉴别器，使得最终人脸图像的前景和背景与所述结果人脸图像的前景和背景保持一致，生成视角一致性保持的人脸图像，之后还包括：
对所述最终人脸图像嵌入不可见模型水印，生成嵌入水印后的最终人脸图像。
一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的基于多损失约束视角一致性保持人脸安全生成方法。
一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于多损失约束视角一致性保持人脸安全生成方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于多损失约束视角一致性保持人脸安全生成方法及设备，在基于生成对抗网络GAN中引入了多个损失函数来进行约束，能够生成更加真实的人脸图像，同时利用神经辐射场多视图一致性的特点，对生成结果建立神经辐射场以获得视角一致性保持的人脸图像。本发明解决了传统人脸交换方法所存在的生成图像视角不一致的问题，同时还能生成新视角交换的人脸图像；此外，本发明还解决了生成图像前背景信息不一致以及生成图像和输入目标图像深度不一致的问题，降低了生成图像被伪造图像检测器检测出来的概率，提高了生成图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的人脸生成器G整体框架图；
图2为本发明所提供的基于多损失约束视角一致性保持人脸安全生成方法流程图；
图3为本发明所提供的人脸生成器G1框架图；
图4为本发明所提供的人脸生成器G2框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于多损失约束视角一致性保持人脸安全生成方法及设备，能够生成视角一致性保持的人脸图像，降低生成图像被伪造图像检测器检测出来的概率以及提高生成图像的质量。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
图1为本发明所提供的人脸生成器G整体框架图，如图1所示，在此架构上，本发明提供了一种基于多损失约束视角一致性保持人脸安全生成方法，图2为本发明所提供的基于多损失约束视角一致性保持人脸安全生成方法流程图，如图2所示，一种基于多损失约束视角一致性保持人脸安全生成方法，包括：
步骤201：获取源人脸图像以及目标人脸图像。
步骤202：利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像。
在实际应用中，所述步骤202之后还包括：将所述结果人脸图像通过所述鉴别器，利用身份提取器提取所述源人脸图像以及所述结果人脸图像的身份向量，并通过身份损失函数使得所述结果人脸图像的身份向量靠近所述源人脸图像的身份向量，生成带有身份向量的结果人脸图像。其中，“靠近”指的是通过身份损失函数使得所述结果人脸图像的身份向量与所述源人脸图像的身份向量之间余弦距离小于设定余弦距离阈值。
在所述鉴别器中，根据弱特征匹配损失函数约束所述结果人脸图像的属性信息，使得所述结果人脸图像的属性信息与所述目标人脸图像的属性信息一致，生成带有属性信息的结果人脸图像；所述属性信息包括表情、姿势以及光照；在所述鉴别器中，利用深度估计器提取所述目标人脸图像以及所述结果人脸图像的深度图，并通过深度损失函数使得所述结果人脸图像和所述目标人脸图像的深度一致，生成带有深度的结果人脸图像；根据所述身份损失函数、所述弱特征匹配损失函数以及所述深度损失函数生成人脸交换阶段中人脸生成器的损失函数，并对结果人脸图像进行处理，生成最终的结果人脸图像；将所述最终的结果人脸图像作为所述结果人脸图像，执行步骤“估计所述结果人脸图像的相机参数，并结合所述相机参数对所述结果人脸图像的前景和背景分别建立一个神经辐射场”。
所述人脸交换阶段中人脸生成器G1的损失函数为：
Ltotal1＝λ1Lid+λ2Lwfm+λ3Ldepth+λ4Lrecon+Ladv+λ5LGP；
其中，Ltotal1为人脸交换阶段中人脸生成器的损失函数；λ1、λ2、λ3、λ4、λ5为5个超参；Lid为所述身份损失函数；Lwfm为所述弱特征匹配损失函数；Ldepth为所述深度损失函数；Lrecon为重构损失函数；Ladv是对抗损失，LGP是梯度惩罚项。
在实际应用中，所述步骤202之后还包括：对所述结果人脸图像嵌入不可见模型水印，生成嵌入水印后的结果人脸图像。
步骤203：估计所述结果人脸图像的相机参数，并结合所述相机参数对所述结果人脸图像的前景和背景分别建立一个神经辐射场；所述神经辐射场包括前景神经辐射场以及背景神经辐射场。其中，相机参数包括相机外参矩阵和相机内参矩阵；相机外参矩阵(也可叫相机位姿)包括：拍摄距离(scale)，旋转矩阵(rotation)，平移矩阵(translation)；相机内参矩阵包括：焦距和主点坐标，在本发明中，主点坐标固定在图像的中点(Width/2，Height/2)。
步骤204：基于根据所述前景神经辐射场以及所述背景神经辐射场，对所述结果人脸图像进行体积渲染生成渲染结果人脸图像。
在实际应用中，所述步骤204具体包括：对所述前景神经辐射场直接进行渲染，生成前景渲染结果；对所述背景神经辐射场应用反演球体参数，并对应用后的背景神经辐射场进行渲染，生成背景渲染结果；根据所述前景渲染结果以及所述背景渲染结果生成渲染结果人脸图像。
在体积渲染过程中，对所述体积渲染过程中产生的权重的概率施加先验概率，并将所述先验概率转换为渲染损失函数。
步骤205：将所述渲染结果人脸图像通过鉴别器，使得最终人脸图像的前景和背景与所述结果人脸图像的前景和背景保持一致，生成视角一致性保持的人脸图像；所述视角一致性保持的人脸图像为最终人脸图像。
在实际应用中，视角一致性保持的人脸图像生成阶段中人脸生成器G2的损失函数为：
Ltotal2＝λ1Lfbi+λ2Lhard+λ3Ladv+LGP；
其中，Ltotal2为视角一致性保持的人脸图像生成阶段中人脸生成器G2的损失函数；Lfbi为前-背景信息损失函数；Lhard为渲染损失函数。
所述步骤205之后还包括：对所述最终人脸图像嵌入不可见模型水印，生成嵌入水印后的最终人脸图像。
其中，图1中的编码器用于提取输入目标图像的特征fT；ID注入模块用于提取输入源图像的身份信息同时将所提取的身份信息注入到目标图像的特征fT中；解码器仅用于将修改后的特征恢复到结果图像。
由此可见，本发明所提出的基于多损失约束视角一致性保持人脸安全生成方法。该方法可以分为两个部分：
第一个部分是人脸交换阶段，在此阶段的目的是获得人脸交换之后的图像。使用基于GAN的方法来进行人脸交换，以实现身份信息和属性信息的良好融合；人脸交换的核心目标是保持生成人脸图像的身份与源人脸身份相同，同时与目标人脸共享与身份无关的属性信息(例如动作、表情)，所以在该阶段除了对抗性损失之外还加入了身份对比损失和弱特征匹配损失，让生成图像的身份信息和源人脸的身份信息更加靠近，生成图像的属性信息和目标人脸的属性信息保持一致，从而生成所预期的图像；除此之外，还使用预训练好的深度估计器来预测生成图像和输入目标图像的深度图，同时加入了深度损失来约束二者的深度结构，让生成图像和输入目标图像的整体结构保持一致。
第二个部分是为第一阶段生成的图像建立神经辐射场的过程，该阶段的目的是为了生成视角一致性保持的人脸图像。这个阶段使用预训练的相机参数估计模型对输入的图像进行相机参数估计，结合估计的相机参数对输入图像的前景和背景分别建立一个神经辐射场来进行表示(目的在于让生成图像有更加清晰的细节)，最后经过渲染得到人脸图像的新视图。此外还引入了一个鉴别器进行对抗性的训练，在该鉴别器中除了对抗性损失之外，还加入前-背景一致性损失以约束生成图像的前-背景和输入图像的前-背景信息一致；该鉴别器还能解决前-背景融合边界不自然的问题，提高生成图像的整体质量。
除此之外，从事前保护角度出发，结合模型水印的思路，在生成的人脸图像中嵌入不可见模型水印从而实现安全的人脸生成。
实施例二
基于实施例一中方法，模拟输入源人脸图像和目标人脸图像，需要将源图像的人脸换到目标图像的人脸上，并且生成图像的表情和姿态等属性信息要与目标人脸保持一致，同时还需要生成图像能够保持视角一致性。
现有的人脸交换方法得到的图像可能会出现伪影，并且前-背景信息无法保持一致等，这都是很明显的伪造痕迹，并不是所想要的结果。除此之外，现有的人脸交换方法如果只给定源图像和目标图像进行换脸操作，生成图像并不具有视角一致性，而且无法获得生成图像的其他视点的图像。根据本发明提出的基于多损失约束视角一致性保持人脸安全生成方法，利用GAN方法生成图像的时候引入多个损失函数从而生成人脸交换之后的图像，在该图像中嵌入的模型水印，提升图像的安全性；然后估计生成图像的相机参数，结合相机参数为生成图像的前背景分别建立神经辐射场，通过体积渲染得到渲染图像；为了提高生成图像的质量，将渲染图像再通过基于生成对抗网络的融合网络Blending GAN，让前-背景融合更加自然，提高图像质量的同时让前-背景信息保持一致，得到视角一致性保持的人脸图像，再次给该图像嵌入模型水印，加强水印效果，达到安全人脸生成的目的，其中，Blending GAN中包括鉴别器。
具体步骤如下：
在带深度图的数据集上预训练一个深度图的估计器。
在源人脸图像(src)和目标人脸图像(tar)的数据集上对抗训练生成器G1，图3为本发明所提供的人脸生成器G1框架图，如图3所示，源人脸图像(src)和目标人脸图像(tar)在通过生成器G1之后，生成结果图像。
本发明的目标是让生成图像(rst)的身份信息和输入源人脸的身份信息一致，所以使用身份提取器提取源图像、生成图像和真实图像的身份信息作为身份向量，输入鉴别器，在鉴别器加入身份对比损失Lid让rst的身份向量和src的身份向量尽可能的靠近，而与其他图像的身份向量尽可能的远。
在的人脸交换任务中，从输入目标图像中引入过多的纹理信息会使生成结果与目标人脸相似，这并不是所需要的结果，本发明的目标是约束属性信息，因此删除了原始特征匹配项中的前几层。由于属性是高语义信息，主要存在于深层特征中，要求生成的结果图像与输入目标在深层特征对齐，所以弱特征匹配损失仅使用鉴别器的最后几层特征来计算特征匹配项。通过使用弱特征匹配损失函数Lwfm隐式地学习如何保留输入目标人脸的属性信息，从而约束生成图像的属性信息和输入目标人脸的属性信息一致。
图像深度反映了全局的面部结构信息，是视点与图像表面点之间的距离。对于真实图像，相机成像过程实际上是对场景的视觉采样，这个过程可以记录物体本身的结构信息和物体之间的相关信息。因此，真实人脸图像的深度图可以反映完整的结构信息。然而，对于生成的图像，传统的人脸交换技术仅利用神经网络通过对低维特征向量进行上采样来生成视觉上高质量的图像，而忽略了重建的深度信息。因此，使用预训练的深度估计器来估计生成图像和输入目标图像的深度图，在鉴别器中加入深度损失函数Ldepth来约束生成图像和输入目标图像的深度保持一致。
如果源人脸和目标人脸来自相同的身份，生成的结果应该看起来与目标人脸相同，如果源人脸和目标人脸来自不同的身份，那么将此项设置为0。使用重构损失Lrecon作为正则化项。
除此之外，在鉴别器中使用对抗损失的Hinge版本。此外还利用梯度惩罚项来防止鉴别器梯度爆炸。生成器G1整体损失Ltotal1：
Ltotal1＝λ1Lid+λ2Lwfm+λ3Ldepth+λ4Lrecon+Ladv+λ5LGp
其中，λ1、λ2、λ3、λ4、λ5是超参，Ladv是对抗损失，LGP是梯度惩罚项。
在一组人脸数据集上训练生成器G2，图4为本发明所提供的人脸生成器G2框架图，如图4所示。
为了渲染得到更加清晰的图像，给输入的图像的前景和背景分别建立神经辐射场。将场景空间划分为两个体积，一个内部单位球体和一个由覆盖内部体积补集的反向球体表示的外部体积。内部体积包含前景和所有相机，而外部体积包含环境的剩余部分；单位球内外的场景内容是建的两个场，为了渲染光线的颜色，它们分别被光线投射，渲染的时候表征前景的神经辐射场不需要重新参数化，因为前景有很好的界限，可以直接进行渲染；而对于表征背景的神经辐射场，应用了反演球体参数化然后再对其进行渲染。
渲染图像的方法是经典的体积渲染，由于神经辐射场的多视图一致性，通过渲染生成的新视图和原视图的人脸身份会保持一致。
在这部分同样也加入了一个鉴别器对抗性训练生成器G2；在鉴别器中除了对抗性损失和梯度惩罚损失之外，还加入了前-背景信息损失Lfbi使生成图像的前-背景信息一致的同时保持与输入图像的前-背景信息相同。
需要注意的是，由于输入的图像不是多视角的图像，进行监督视点可能不够多，这通常会导致沿视点方向的表面模糊。为了应对这一点，对渲染过程中产生的权重w的概率施加先验，使其分布为拉普拉斯分布的混合P(w)∝e-|w|+e-|1-w|，然后将此先验转化为渲染损失函数Lhard来解决渲染图像表面模糊的问题。
同样的在鉴别器中也引入对抗损失Ladv和梯度惩罚损失LGP。生成器G2的整体损失函数Ltotal2：
Ltotal2＝λ1Lfbi+λ2Lhard+λ3Ladv+LGP
其中，λ1、λ2、λ3是超参。
在训练生成器G2的时候，为了避免过多的内存需求并提高训练稳定性，使用渐进式增长来训练的模型。开始在低图像分辨率上进行训练，这允许生成器G2在早期迭代期间专注于粗略结构，并以更高的批量进行训练。随着训练的进行，会增加图像分辨率，直到达到最终分辨率(128*128)。由于GPU内存限制，在每个渐进式增长步骤中减少批量大小。
需要注意的是，图1，图3-图4中的源图像为源人脸图像，目标图像为目标人脸图像，结果图像为结果人脸图像；最终图像为最终人脸图像。
实施例三
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的基于多损失约束视角一致性保持人脸安全生成方法。
在实际应用中，上述电子设备可以是服务器。
在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(Communications Interface)。
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
通信接口，用于与其它设备进行通信。
处理器，用于执行程序，具体可以执行上述实施例所述的方法。
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
基于以上实施例的描述，本申请实施例提供一种存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法
本申请实施例提供的基于多损失约束视角一致性保持人脸安全生成方法以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子设备。
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备
或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本发明中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，包括：
获取源人脸图像以及目标人脸图像；
利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像；
估计所述结果人脸图像的相机参数，并结合所述相机参数对所述结果人脸图像的前景和背景分别建立一个神经辐射场；所述神经辐射场包括前景神经辐射场以及背景神经辐射场；
基于根据所述前景神经辐射场以及所述背景神经辐射场，对所述结果人脸图像进行体积渲染生成渲染结果人脸图像；
将所述渲染结果人脸图像通过鉴别器，使得最终人脸图像的前景和背景与所述结果人脸图像的前景和背景保持一致，生成视角一致性保持的人脸图像；所述视角一致性保持的人脸图像为最终人脸图像。
2.根据权利要求1所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，所述利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像，之后还包括：
将所述结果人脸图像通过所述鉴别器，利用身份提取器提取所述源人脸图像以及所述结果人脸图像的身份向量，并通过身份损失函数使得所述结果人脸图像的身份向量靠近所述源人脸图像的身份向量，生成带有身份向量的结果人脸图像；
在所述鉴别器中，根据弱特征匹配损失函数约束所述结果人脸图像的属性信息，使得所述结果人脸图像的属性信息与所述目标人脸图像的属性信息一致，生成带有属性信息的结果人脸图像；所述属性信息包括表情、姿势以及光照；
在所述鉴别器中，利用深度估计器提取所述目标人脸图像以及所述结果人脸图像的深度图，并通过深度损失函数使得所述结果人脸图像和所述目标人脸图像的深度一致，生成带有深度的结果人脸图像；
根据所述身份损失函数、所述弱特征匹配损失函数以及所述深度损失函数生成人脸交换阶段中人脸生成器的损失函数，并对结果人脸图像进行处理，生成最终的结果人脸图像；
将所述最终的结果人脸图像作为所述结果人脸图像，执行步骤“估计所述结果人脸图像的相机参数，并结合所述相机参数对所述结果人脸图像的前景和背景分别建立一个神经辐射场”。
3.根据权利要求2所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，所述人脸交换阶段中人脸生成器G1的损失函数为：
Ltotal1＝λ1Lid+λ2Lwfm+λ3Ldepth+λ4Lrecon+Ladv+λ5LGP；
其中，Ltotal1为人脸交换阶段中人脸生成器的损失函数；λ1、λ2、λ3、λ4、λ5为5个超参；Lid为所述身份损失函数；Lwfm为所述弱特征匹配损失函数；Ldepth为所述深度损失函数；Lrecon为重构损失函数；Ladv是对抗损失，LGP是梯度惩罚项。
4.根据权利要求3所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，所述基于根据所述前景神经辐射场以及所述背景神经辐射场，对所述结果人脸图像进行体积渲染生成渲染结果人脸图像，具体包括：
对所述前景神经辐射场直接进行渲染，生成前景渲染结果；
对所述背景神经辐射场应用反演球体参数，并对应用后的背景神经辐射场进行渲染，生成背景渲染结果；
根据所述前景渲染结果以及所述背景渲染结果生成渲染结果人脸图像。
5.根据权利要求4所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，在体积渲染过程中，对所述体积渲染过程中产生的权重的概率施加先验概率，并将所述先验概率转换为渲染损失函数。
6.根据权利要求5所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，视角一致性保持的人脸图像生成阶段中人脸生成器G2的损失函数为：
Ltotal2＝λ1Lfbi+λ2Lhard+λ3Ladv+LGP；
其中，Ltotal2为视角一致性保持的人脸图像生成阶段中人脸生成器G2的损失函数；Lfbi为前-背景信息损失函数；Lhard为渲染损失函数。
7.根据权利要求1-6任一项所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，所述利用生成对抗网络进行人脸交换，同时引入多个损失函数，对所述源人脸图像以及所述目标人脸图像进行处理，生成结果人脸图像，之后还包括：
对所述结果人脸图像嵌入不可见模型水印，生成嵌入水印后的结果人脸图像。
8.根据权利要求7所述的基于多损失约束视角一致性保持人脸安全生成方法，其特征在于，所述将所述渲染结果人脸图像通过鉴别器，使得最终人脸图像的前景和背景与所述结果人脸图像的前景和背景保持一致，生成视角一致性保持的人脸图像，之后还包括：
对所述最终人脸图像嵌入不可见模型水印，生成嵌入水印后的最终人脸图像。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-8中任一项所述的基于多损失约束视角一致性保持人脸安全生成方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的基于多损失约束视角一致性保持人脸安全生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211545973.4A CN115984094B (zh) | 2022-12-05 | 2022-12-05 | 基于多损失约束视角一致性保持人脸安全生成方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211545973.4A CN115984094B (zh) | 2022-12-05 | 2022-12-05 | 基于多损失约束视角一致性保持人脸安全生成方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984094A true CN115984094A (zh) | 2023-04-18 |
| CN115984094B CN115984094B (zh) | 2023-11-10 |
Family
ID=85971371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211545973.4A Active CN115984094B (zh) | 2022-12-05 | 2022-12-05 | 基于多损失约束视角一致性保持人脸安全生成方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984094B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102240885B1 (ko) * | 2019-11-12 | 2021-04-14 | 연세대학교 산학협력단 | 생성적 적대 신경망 학습 기반의 이미지 변환 방법 및 그를 위한 장치 |
| CN112734634A (zh) * | 2021-03-30 | 2021-04-30 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| CN113344777A (zh) * | 2021-08-02 | 2021-09-03 | 中国科学院自动化研究所 | 基于三维人脸分解的换脸与重演方法及装置 |
| WO2021258920A1 (zh) * | 2020-06-24 | 2021-12-30 | 百果园技术(新加坡)有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
| CN115409937A (zh) * | 2022-08-19 | 2022-11-29 | 中国人民解放军战略支援部队信息工程大学 | 基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统 |
-
2022
- 2022-12-05 CN CN202211545973.4A patent/CN115984094B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102240885B1 (ko) * | 2019-11-12 | 2021-04-14 | 연세대학교 산학협력단 | 생성적 적대 신경망 학습 기반의 이미지 변환 방법 및 그를 위한 장치 |
| WO2021258920A1 (zh) * | 2020-06-24 | 2021-12-30 | 百果园技术(新加坡)有限公司 | 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 |
| CN112734634A (zh) * | 2021-03-30 | 2021-04-30 | 中国科学院自动化研究所 | 换脸方法、装置、电子设备和存储介质 |
| CN113344777A (zh) * | 2021-08-02 | 2021-09-03 | 中国科学院自动化研究所 | 基于三维人脸分解的换脸与重演方法及装置 |
| CN115409937A (zh) * | 2022-08-19 | 2022-11-29 | 中国人民解放军战略支援部队信息工程大学 | 基于集成神经辐射场的人脸视频表情迁移模型构建方法及表情迁移方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984094B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tewari et al. | State of the art on neural rendering | |
| Dolhansky et al. | Eye in-painting with exemplar generative adversarial networks | |
| Nguyen-Phuoc et al. | Snerf: stylized neural implicit representations for 3d scenes | |
| Choi et al. | Interactive and immersive learning using 360 virtual reality contents on mobile platforms | |
| TWI739151B (zh) | 圖像生成網路的訓練及影像處理方法和裝置、電子設備 | |
| CN114930399A (zh) | 使用基于表面的神经合成的图像生成 | |
| Huang et al. | Semantic view synthesis | |
| Van Hoorick | Image outpainting and harmonization using generative adversarial networks | |
| CN113906478A (zh) | 新颖的姿态合成 | |
| Richardt et al. | Capture, reconstruction, and representation of the visual real world for virtual reality | |
| CN116250014A (zh) | 用于合成具有与真实图像结合的伪毛发的图像的跨域神经网络 | |
| Chen et al. | Face swapping: realistic image synthesis based on facial landmarks alignment | |
| CN112040311A (zh) | 视频图像补帧方法、装置、设备及可存储介质 | |
| Fujii et al. | RGB-D image inpainting using generative adversarial network with a late fusion approach | |
| CN115100707A (zh) | 模型的训练方法、视频信息生成方法、设备以及存储介质 | |
| Ouyang et al. | Real-time neural character rendering with pose-guided multiplane images | |
| Laishram et al. | Challenges and applications of face deepfake | |
| Tous | Pictonaut: movie cartoonization using 3D human pose estimation and GANs | |
| CN115984094B (zh) | 基于多损失约束视角一致性保持人脸安全生成方法及设备 | |
| Fei et al. | Split: Single portrait lighting estimation via a tetrad of face intrinsics | |
| Lei et al. | [Retracted] Design of 3D Modeling Face Image Library in Multimedia Film and Television | |
| Lin et al. | FAEC‐GAN: An unsupervised face‐to‐anime translation based on edge enhancement and coordinate attention | |
| Kumar et al. | Steganography-based facial re-enactment using generative adversarial networks | |
| Ren et al. | Research and application of key technologies of ocean virtual scene display based on digital image | |
| Dong et al. | Video style transfer based on convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |