CN115564638A - 网络训练方法、图像换脸方法、装置和电子设备 - Google Patents
网络训练方法、图像换脸方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115564638A CN115564638A CN202110750299.2A CN202110750299A CN115564638A CN 115564638 A CN115564638 A CN 115564638A CN 202110750299 A CN202110750299 A CN 202110750299A CN 115564638 A CN115564638 A CN 115564638A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- face image
- sample
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012549 training Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种网络训练方法、图像换脸方法、装置和电子设备，网络训练方法包括：获取样本集，样本集包括第一样本人脸图像和第二样本人脸图像，第一样本人脸图像的亮度值与第二样本人脸图像的亮度值的差值小于或等于第一阈值；确定第一样本人脸图像的样本人脸关键点热图；将样本人脸关键点热图和第二样本人脸图像输入待训练网络，进行迭代训练；在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络。采用本申请实施例可获得真实自然的换脸图像。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种网络训练方法、图像换脸方法、装置和电子设备。
背景技术
随着短视频、直播等视频应用的普及，换脸成为计算机视觉领域的一项重要技术，换脸被广泛用于内容生产、电影制作、娱乐视频制作等。
换脸是指给定一张源图像和目标图像，将目标图像中的身份特征迁移到源图像中得到换脸图像，使得该换脸图像既保持目标图像的身份特征，同时又具有源图像的脸部姿态、脸部表情等属性特征。
目前换脸方案有：1)基于脸部关键点的脸部融合换脸，该方式先获取源图像和目标图像的脸部关键点，然后通过源图像关键点提取源图像的脸部区域，再根据目标图像的关键点将源图像的脸部区域融合到目标图像中；2)基于3D脸部建模换脸，该方式分别对源图像和目标图像重建3D模型，然后从目标图像的3D模型中提取身份特征，并结合源图像的3D模型的属性特征来生成换脸图像。
可见，上述两种换脸方案均难以获得真实自然的换脸图像，因此如何获得真实自然的换脸图像是亟待解决的技术问题。
发明内容
本申请提供的一种网络训练方法、图像换脸方法、装置和电子设备，用于获得真实自然的换脸图像。
第一方面，本申请实施例提供了一种网络训练方法，所述方法包括：
获取样本集，所述样本集包括第一样本人脸图像和第二样本人脸图像，所述第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值的差值小于或等于第一阈值；
确定所述第一样本人脸图像的样本人脸关键点热图；
将所述样本人脸关键点热图和所述第二样本人脸图像输入待训练网络，进行迭代训练；
在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；所述第一人脸关键点为所述待训练网络输出的换脸图像的人脸关键点，所述第二人脸关键点为所述第一样本人脸图像的样本人脸关键点。
可以看出，在本申请实施例中，采用第一样本人脸图像的样本人脸关键点热图和第二样本人脸图像作为输入数据训练待训练网络，以使得训练得到的人脸重演网络在后续应用时，可保留源人脸图像的脸部形状又保留目标人脸图像的人脸关键点信息，以得到真实自然的换脸图像；此外，两个样本人脸图像的亮度差距是在训练模型之前处理的，可降低模型训练的复杂性；另外，缩小两个样本人脸图像的亮度差距，可有效规避因两个样本人脸图像的亮度和肤色差距较大时不能准确训练模型的问题，提升模型训练的准确性。
第二方面，本申请实施例提供了一种图像换脸方法，所述方法包括：
根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定；
确定所述第三人脸图像的人脸关键点热图；
将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像。
可以看出，本申请实施例中，人脸重演网络输出的第四人脸图像保留了第一人脸图像的人脸关键点信息，同时又保留了第二人脸图像的脸部形状，进而得到真实自然的换脸图像；此外，在将数据输入人脸重演网络之前，先缩小两个人脸图像的亮度差距，减轻了人脸重演网络的计算负担；另外，缩小两个人脸图像的亮度差距，可有效规避因两个人脸图像的亮度和肤色差距较大时不能生成有效保持源人脸脸型的换脸图像的问题，进一步提升换脸图像的质量。
第三方面，本申请实施例提供了一种网络训练装置，包括：
第二获取模块，用于获取样本集，所述样本集包括第一样本人脸图像和第二样本人脸图像，所述第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值的差值小于或等于第一阈值；
第二提取模块，用于确定所述第一样本人脸图像的样本人脸关键点热图；
训练模块，用于将所述样本人脸关键点热图和所述第二样本人脸图像输入待训练网络，进行迭代训练；
所述训练模块还用于在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；所述第一人脸关键点为所述待训练网络输出的换脸图像的人脸关键点，所述第二人脸关键点为所述第一样本人脸图像的人脸关键点。
第四方面，本申请实施例提供了一种图像换脸装置，包括：
亮度调整模块，用于根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定；
第一提取模块，用于确定所述第三人脸图像的人脸关键点热图；
人脸重演模块，用于将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像。
第五方面，本申请实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述第一方面所述的网络训练方法或如第二方面所述的图像换脸方法的步骤。
第六方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现上述第一方面所述的网络训练方法或如第二方面所述的图像换脸方法的步骤。
第七方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的网络训练方法或如第二方面所述的图像换脸方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的网络训练方法的流程图之一；
图2是本申请实施例提供的图像换脸方法的流程图之一；
图3是本申请实施例提供的图像换脸方法的流程图之二；
图4是本申请实施例提供的图像换脸方法的流程图之三；
图5是本申请实施例提供的网络训练装置的结构示意图之一；
图6是本申请实施例提供的图像换脸装置的结构示意图之一；
图7是本申请实施例提供的图像换脸装置进行图像换脸时的工作流程图之一；
图8是本申请实施例提供的电子设备的结构图之一。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载IOS系统、Android系统、Microsoft系统或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，上述电子设备也可以不是便携式电子设备，而是台式计算机。
请参见图1，图1是本申请实施例提供的一种网络训练方法，应用于电子设备，所述方法包括：
步骤11：获取样本集，所述样本集包括第一样本人脸图像和第二样本人脸图像，所述第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值的差值小于或等于第一阈值。
可选的，样本集中的第一样本人脸图像或第二样本人脸图像是通过人脸采集设备采集得到的，或是接收其他电子设备发送的，在此不做限定。
可选的，样本集的数据来源可以是FFHQ(Flickr-Faces-High-Quality)数据集。FFHQ是一个高质量的人脸数据集，包含1024×1024分辨率的70000张PNG格式高清人脸图像，在年龄、种族和图像背景上丰富多样且差异明显，在人脸属性上也拥有非常多的变化，拥有不同的年龄、性别、种族、肤色、表情、脸型、发型、人脸姿态等，囊盖普通眼镜、太阳镜、帽子、发饰及围巾等多种人脸周边配件，因此该数据集也是可以用于开发一些人脸属性分类或者人脸语义分割模型的。FFHQ的图像从Flickr上爬取，且均有许可才会下载，并使用了dlib进行人脸对齐和裁剪，之后使用算法移除了一些非真实人脸如雕像、画作及照片等图像。
可选的，样本集的数据来源可以是CelebA-HQ(CelebFaces Attribute HighQuality)数据集。CelebA是港科大汤晓鸥组收集的人脸数据集(总共200k图片),包括了人脸特征点(landmark),人脸属性(attribute)等信息,CelebA-HQ是对CelebA的升级,总共30k图片,每一张的分辨率都是1024*1024,图像效果好。
可选的，第一样本人脸图像和第二样本人脸图像是从随机在样本集中选取的。这两张人脸图像可以为同一人的2张人脸图像，也可以不是同一人的2张人脸图像。
可选的，第一阈值可以是事先设定的，第一阈值例如有0、0.05、0.1、0.15或是其他值。若第一阈值为0时，此时表明，第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值相等。
步骤12：确定所述第一样本人脸图像的样本人脸关键点热图。
可选的，可以使用Global Flow Local Attention算法计算出人脸关键点热图，即通过输入第一样本人脸图像即可直接得到对应的样本人脸关键点热图。
可选的，还可以先提取所述第一样本人脸图像的样本人脸关键点，再依据所述样本人脸关键点得到对应的样本人脸关键点热图。具体地，即通过先提取第一样本人脸图像中的68个关键点，再生成68张关键点热图，其中，每张关键点热图上代表图像上所有像素是某个关键点(landmark)的概率。
步骤13：将所述样本人脸关键点热图和所述第二样本人脸图像输入待训练网络，进行迭代训练。
可选的，将样本集中的每两张图像作为一组，将每一组中的第一样本人脸图像的样本人脸关键点热图和第二样本人脸图像同时输入待训练网络进行训练；将样本集中的多组图像数据均输入所述待训练网络即为进行迭代训练。
可选的，所述待训练网络为FSGAN网络中的人脸重演网络。
可选的，实际训练过程中，控制样本集中为同一人的图像的概率为80％，不同人的图像的概率为20％时，所述待训练网络的收敛速度和收敛效果较好。
步骤14：在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；所述第一人脸关键点为所述待训练网络输出的换脸图像的人脸关键点，所述第二人脸关键点为所述第一样本人脸图像的人脸关键点。
可选的，在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络。
可选的，所述待训练网络的输出图像记为第四样本人脸图像，每次迭代时，所述人脸重演网络的损失函数还可以表示为第四样本人脸图像和第一样本人脸图像间的重建损失、对抗损失中的一种或多种。常用的重建损失函数为MSE均方误差损失函数或L1范数损失函数。人脸重演网络的网络结构包括生成器和鉴别器时，基于该网络结构、模型的输入图像和输出图像即可计算每次迭代的对抗损失。
具体地，所述人脸重演网络的损失函数还可以表示为：
其中：
Lreen表示该人脸重演网络的损失函数，当Lreen取得最小值时，代表所述人脸重演网络训练完成；
第一样本人脸图像和第四样本人脸图像的图像像素均为m*n；
I4(i,j)表示一第四样本人脸图像中的人脸像素坐标；
I1(i,j)表示一第一样本人脸图像中的人脸像素坐标；
land4(ti,tj)表示一第四样本人脸图像中的第t个人脸关键点的坐标，一第四样本人脸图像共计68个人脸关键点；
land1(ti,tj)表示一第一样本人脸图像中的第t个人脸关键点的坐标，一第一样本人脸图像共计68个人脸关键点；
Ladv表示该人脸重演网络的对抗损失。
需要说明的是，在第一人脸关键点和第二人脸关键点的均方误差大于或等于预设均方误差的情况下，可以认为待训练模型未收敛，则可以换用其他的第一样本人脸图像和第二样本人脸图像重复执行步骤11至步骤14，直至第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差。
可以看出，在本申请实施例中，采用第一样本人脸图像的样本人脸关键点热图和第二样本人脸图像作为输入数据训练待训练网络，以使得训练得到的人脸重演网络在后续应用时，可保留源人脸图像的脸部形状又保留目标人脸图像的人脸关键点信息，以得到真实自然的换脸图像；此外，两个样本人脸图像的亮度差距是在训练模型之前处理的，可降低模型训练的复杂性；另外，缩小两个样本人脸图像的亮度差距，可有效规避因两个样本人脸图像的亮度和肤色差距较大时不能准确训练模型的问题，提升模型训练的准确性。
在本申请的一些实施例中，所述获取样本集之前，所述方法还包括：
根据亮度调整系数调整第三样本人脸图像的亮度值，得到所述第一样本人脸图像；所述亮度调整系数基于所述第三样本人脸图像的亮度值和所述第二样本人脸图像的亮度值确定。
可选的，所述亮度调整系数基于所述第一样本人脸图像的亮度值和所述第二人脸图像的亮度值的差值确定，所述亮度调整系数与所述差值成正比关系。
进一步地，所述亮度调整系数基于所述差值和目标映射关系确定，所述目标映射关系为亮度值差值与亮度调整系数的映射关系。
其中，该目标映射关系如表1所示。
表1
| 亮度值差值 | 亮度调整系数 |
| 小于-10 | 0.8 |
| -10～0 | 0.5 |
| 0～50 | 1.5 |
| 50～100 | 2 |
| 大于100 | 3 |
可以看出，本申请实施例中，由于亮度调整系数是基于两个样本人脸图像的亮度值的差值确定的，这样确定得到的亮度调整系数更合理，进而使得亮度调整得到的第一样本人脸图像的亮度值与第二样本人脸图像的亮度值更接近，最终使得使用这些数据训练得到的人脸重演网络效果更好。
请参见图2，图2是本申请实施例提供的图像换脸方法的流程图之一；本申请实施例提供了一种图像换脸方法，应用于电子设备，方法包括：
步骤21：根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定。
步骤22：确定所述第三人脸图像的人脸关键点热图。
步骤23：将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像。
可以看出，本申请实施例中，人脸重演网络输出的第四人脸图像保留了第一人脸图像的人脸关键点信息，同时又保留了第二人脸图像的脸部形状，进而得到真实自然的换脸图像；此外，在将数据输入人脸重演网络之前，先缩小两个人脸图像的亮度差距，减轻了人脸重演网络的计算负担；另外，缩小两个人脸图像的亮度差距，可有效规避因两个人脸图像的亮度和肤色差距较大时不能生成有效保持源人脸脸型的换脸图像的问题，进一步提升换脸图像的质量。有效实现源人脸身份信息的保存的换脸图像既满足了特定换脸场景的娱乐需求，又能为deepfake(由“deep machine learning深度机器学习”和“fake photo假照片”组合而成，本质是一种深度学习模型在图像合成、替换领域的技术框架，属于深度图像生成模型的一次成功应用)防御提供fake训练数据。
本申请实施例所描述的第一人脸图像为包含源人脸的人脸图像，第二人脸图像为包含目标人脸的人脸图像，第三人脸图像为亮度值与第二人脸图像的亮度差小于或等于第二阈值的包含源人脸的人脸图像，第四人脸图像为与源人脸的脸型一致、其余属性与包含目标人脸的人脸图像相同的人脸图像。
在本申请的一些实施例中，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值的差值确定，所述亮度调整系数与所述差值成正比关系。
所述亮度调整系数基于所述差值和目标映射关系确定，所述目标映射关系为亮度值差值与亮度调整系数的映射关系。其中，该目标映射关系如上述表1所示。
可以看出，本申请实施例中，由于亮度调整系数是基于两个人脸图像的亮度值的差值确定的，这样确定得到的亮度调整系数更合理，进而使得亮度调整得到的第三人脸图像的亮度值与第二样本人脸图像的亮度值更接近，最终使得得到的第四人脸图像的质量更好。
具体地，请参见图3，图3是本申请实施例提供的图像换脸方法的流程图之二，具体为一种图像亮度确定方法的流程图。
步骤31：依据人脸检测算法从所述第一人脸图像提取包含人脸关键点的第一区域。
步骤32：依据人脸检测算法从所述第二人脸图像提取包含人脸关键点的第二区域。
步骤33：计算所述第一区域和所述第二区域的三通道像素均值，得到所述第一人脸图像的第一亮度值和所述第二人脸图像的第二亮度值。
本申请实施例中，在预处理阶段通过获取包含图像人脸关键点区域的三通道像素值确定图像的亮度值，调整并缩小图像的亮度差距，大大减轻了换脸网络的负担，提供了一种有效生成高质量图像换脸的方法，依据本方法得到的换脸后的第四人脸图像可以有效规避在待换人脸图像和目标人脸图像的亮度和肤色差距较大时换脸效果不好的问题。
具体地，首先第一人脸图像和第二人脸图像分别由dlib算法检测出68个关键点landmarks，然后计算出包含第一人脸图像人脸关键点的第一区域和包含第二人脸图像人脸关键点的第二区域，再根据第一区域和第二区域计算其对应区域的3通道像素均值(R、G、B像素值)，最后通过下述公式计算出人眼感知亮度s,包括第一人眼感知亮度s1和第二人眼感知亮度s2，然后做差得到这2个图像的亮度差值x；
其中:s＝((R*299)+(G*587)+(B*114))/1000；
x＝s2-s1；
每一亮度差值依据其所处区间，可通过查询第一映射表确定其对应的预设亮度调整系数，依据对应的预设亮度调整系数调整第一人脸图像的亮度值，使得第一人脸图像与第二人脸图像的亮度值相同。
本申请的一些实施例中，所述人脸重演网络为FSGAN网络中的人脸重演网络。
本申请实施例中，通过预先对待换人脸图像进行亮度处理，再将亮度调整后的待换人脸图像和目标人脸图像输入FSGAN网络中的人脸重演网络，能够有效处理人脸图像中姿态，表情，人物身份等信息，并且不需要人物对的训练就取得了非常高的质量，规避了换脸后人脸图像质量下降的问题和因图像亮度造成的换脸效果问题。
在本申请的一些实施例中，所述输出第四人脸图像之后，所述方法还包括：
提取所述第一人脸图像或所述第三人脸图像中的人脸身份特征；
将所述人脸身份特征和所述第四人脸图像的图像属性特征输入融合网络，输出第五人脸图像。
本申请实施例中，通过将换脸后的第四人脸图像的图像属性特征和待换人脸的人脸身份特征输入融合网络得到融合后的第五人脸图像，第五人脸图像较好地保留了换脸前后待换人脸的人脸身份特征，实现了换脸前后待换人人脸身份特征的确切追踪，解决了换脸后因脸型等造成的差异较大的换脸结果存在的不能分辨源图像的人物身份的问题。
本申请的一些实施例中，使用预训练的densenet网络提取所述第一人脸图像或所述第三人脸图像中的人脸身份特征。
本申请的一些实施例中，所述人脸身份特征为人脸特征表示或人脸特征图；所述人脸特征表示可以为人脸五官特征表示。
本申请的一些实施例中，所述图像属性特征包括以下至少之一：所述目标人脸图像的姿势特征、表情特征、图像背景特征。
本申请实施例中，通过多维度提取目标人脸图像的各类图像属性信息，进一步实现了对目标人脸图像属性的学习，优化了换脸后的换脸效果。
本申请的一些实施例中，使用Unet网络提取第四人脸图像的图像属性特征，所述图像属性特征包括但不限于图像中的人脸的姿势、表情、背景、亮度等属性。
本申请的一些实施例中，所述融合网络为Faceshifter网络中的AEI-Net网络。
本申请实施例中，AEI-Net网络可以将所述人脸身份特征和所述第四人脸图像的图像属性特征更好的进行融合。由于前期的处理，目标人脸以及待换人脸的人脸形状、表情等已经进行对齐，所以融合后的效果在形状以及表情属性上均表现良好。
本申请的一些实施例中，所述融合网络可以为预先经过模型训练的AEI-Net网络，通过得到的第四人脸图像的图像属性特征和第一人脸图像(或第三人脸图像)的人脸身份特征直接生成融合后的第五人脸图像。
本申请的一些实施例中，所述融合网络还可以为未经过模型训练的AEI-Net网络。此时，将本申请网络训练方法实施例中的样本集作为该融合网络训练的样本集进行模型训练时，训练完成后可得到模型参数优化后的AEI-Net网络。
进一步地，在该融合网络的实际训练过程中，控制样本集中为同一人的图像的概率为80％，不同人的图像的概率为20％时，所述融合网络的收敛速度和收敛效果较好。
在本申请的一些实施例中，所述输出第五人脸图像之后，所述方法还包括：
将所述第五人脸图像输入SISR网络进行超分处理，输出第六人脸图像。
本申请实施例中，将融合的图像送进SISR网络(Single-Image Super-ResolutionNetwor，单图像超分辨率网络)进行超分，使得人脸的质量进一步提升，得到高清人脸。
本申请的一些实施例中，所述SISR网络采用DFDNet算法。
请参见图4，图4是本申请实施例提供的图像换脸方法的流程图之三；本申请实施例提供了一种图像换脸方法，包括：
步骤41：根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定；
步骤42：确定所述第三人脸图像的人脸关键点热图；
步骤43：将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像；
步骤44：提取所述第一人脸图像或所述第三人脸图像中的人脸身份特征；
步骤45：将所述人脸身份特征和所述第四人脸图像的图像属性特征输入融合网络，输出第五人脸图像；
步骤46：将所述第五人脸图像输入单图像超分辨率SISR网络进行超分处理，得到第六人脸图像。
本申请实施例中，通过在预处理阶段缩小图像的亮度差距，大大减轻了换脸网络的负担，提供了一整套实时生成高质量且保持源脸型的图像换脸的方法，依据本方法得到的高清的第六人脸图像既可以有效规避在待换人脸图像和目标人脸图像的亮度和肤色差距较大时换脸效果不好的问题，还能直观有效地体现构成第六人脸图像的源人脸脸型和人脸身份特征。
请参见图5，图5是本申请实施例提供的网络训练装置的结构示意图之一；本申请实施例还提供了一种网络训练装置50，包括：
第二获取模块51，用于获取样本集，所述样本集包括第一样本人脸图像和第二样本人脸图像，所述第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值的差值小于或等于第一阈值；
第二提取模块52，用于确定所述第一样本人脸图像的样本人脸关键点热图；
训练模块53，用于将所述样本人脸关键点热图和所述第二样本人脸图像输入待训练网络，进行迭代训练；
所述训练模块53还用于在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；所述第一人脸关键点为所述待训练网络输出的换脸图像的人脸关键点，所述第二人脸关键点为所述第一样本人脸图像的人脸关键点。
本申请实施例中，第一样本人脸图像的亮度值与第二样本人脸图像的亮度值的差值小于或等于第一阈值，人脸重演网络的网络训练装置通过将第一样本人脸图像中的样本人脸关键点热图和第二样本人脸图像输入待训练网络进行迭代训练，在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；第一人脸关键点为训练后的待训练网络输出的换脸图像的人脸关键点，第二人脸关键点为第一样本人脸图像的样本人脸关键点。
需要说明的是，上述网络训练方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
请参见图6，图6是本申请实施例提供的图像换脸装置的结构示意图之一；本申请实施例还提供了一种图像换脸装置60，包括：
亮度调整模块61，用于根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定；
第一提取模块62，用于确定所述第三人脸图像的人脸关键点热图；
人脸重演模块63，用于将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像。
可以看出，本申请实施例中，人脸重演网络输出的第四人脸图像保留了第一人脸图像的人脸关键点信息，同时又保留了第二人脸图像的脸部形状，进而得到真实自然的换脸图像；此外，在将数据输入人脸重演网络之前，先缩小两个人脸图像的亮度差距，减轻了人脸重演网络的计算负担；另外，缩小两个人脸图像的亮度差距，可有效规避因两个人脸图像的亮度和肤色差距较大时不能生成有效保持源人脸脸型的换脸图像的问题，进一步提升换脸图像的质量。有效实现源人脸身份信息的保存的换脸图像既满足了特定换脸场景的娱乐需求，又能为deepfake防御提供fake训练数据。
具体地，请参见图7，图7是本申请实施例提供的图像换脸装置进行图像换脸时的工作流程图之一；其中A为第一人脸图像，B为第二人脸图像，C为第三人脸图像，C’为提取到的第三人脸图像的人脸关键点，D为经人脸重演网络实现人脸重演得到的第四人脸图像。
第一人脸图像A和第二人脸图像B输入亮度调整模块61进行亮度调整得到第三人脸图像C，第三人脸图像C与第二人脸图像B的亮度差值在第二阈值范围内；
第三人脸图像C输入第一提取模块62中提取人脸关键点C’，依据人脸关键点C’得到第三人脸图像C的人脸关键点热图；
将第三人脸图像C的人脸关键点热图和第二人脸图像B输入人脸重演模块63进行人脸重演，得到换脸后的第四人脸图像D。
本申请实施例中，换脸后的第四人脸图像D的人脸脸型与第一人脸图像A(或第三人脸图像C)中的人脸脸型相同，其余与第二人脸图像B相同。
请参见图6，在本申请的一些实施例中，还包括：
融合模块64，用于提取所述第一人脸图像或所述第三人脸图像中的人脸身份特征；将所述人脸身份特征和所述第四人脸图像的图像属性特征输入融合网络，输出第五人脸图像。
在本申请的一些实施例中，可选的，还包括：
超分模块65，用于将所述第五人脸图像输入SISR网络进行超分处理，得到第六人脸图像。
需要说明的是，上述图像换脸方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
请参见图8，图8是本申请实施例提供的电子设备的结构图之一。本申请实施例还提供了一种电子设备80，包括：处理器81、存储器82及存储在所述存储器82上并可在所述处理器81上运行的程序，该程序被处理器81执行时实现上述网络训练方法实施例或上述图像换脸方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序，该程序被处理器执行时实现上述网络训练方法实施例或上述图像换脸方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种网络训练方法，其特征在于，所述方法包括：
获取样本集，所述样本集包括第一样本人脸图像和第二样本人脸图像，所述第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值的差值小于或等于第一阈值；
确定所述第一样本人脸图像的样本人脸关键点热图；
将所述样本人脸关键点热图和所述第二样本人脸图像输入待训练网络，进行迭代训练；
在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；所述第一人脸关键点为所述待训练网络输出的换脸图像的人脸关键点，所述第二人脸关键点为所述第一样本人脸图像的人脸关键点。
2.根据权利要求1所述的网络训练方法，其特征在于，所述获取样本集之前，所述方法还包括：
根据亮度调整系数调整第三样本人脸图像的亮度值，得到所述第一样本人脸图像；所述亮度调整系数基于所述第三样本人脸图像的亮度值和所述第二样本人脸图像的亮度值确定。
3.一种图像换脸方法，其特征在于，所述方法包括：
根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定；
确定所述第三人脸图像的人脸关键点热图；
将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像。
4.根据权利要求3所述的图像换脸方法，其特征在于，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值的差值确定，所述亮度调整系数与所述差值成正比关系。
5.根据权利要求3所述的图像换脸方法，其特征在于，所述输出第四人脸图像之后，所述方法还包括：
提取所述第一人脸图像或所述第三人脸图像中的人脸身份特征；
将所述人脸身份特征和所述第四人脸图像的图像属性特征输入融合网络，输出第五人脸图像。
6.根据权利要求5所述的图像换脸方法，其特征在于，所述输出第五人脸图像之后，所述方法还包括：
将所述第五人脸图像输入SISR网络进行超分处理，输出第六人脸图像。
7.一种网络训练装置，其特征在于，包括：
第二获取模块，用于获取样本集，所述样本集包括第一样本人脸图像和第二样本人脸图像，所述第一样本人脸图像的亮度值与所述第二样本人脸图像的亮度值的差值小于或等于第一阈值；
第二提取模块，用于确定所述第一样本人脸图像的样本人脸关键点热图；
训练模块，用于将所述样本人脸关键点热图和所述第二样本人脸图像输入待训练网络，进行迭代训练；
所述训练模块还用于在第一人脸关键点和第二人脸关键点的均方误差小于预设均方误差的情况下，得到人脸重演网络；所述第一人脸关键点为所述待训练网络输出的换脸图像的人脸关键点，所述第二人脸关键点为所述第一样本人脸图像的人脸关键点。
8.一种图像换脸装置，其特征在于，包括：
亮度调整模块，用于根据亮度调整系数调整第一人脸图像的亮度值，得到第三人脸图像，所述第三人脸图像的亮度值与第二人脸图像的亮度值的差值小于或等于第二阈值，所述亮度调整系数基于所述第一人脸图像的亮度值和所述第二人脸图像的亮度值确定；
第一提取模块，用于确定所述第三人脸图像的人脸关键点热图；
人脸重演模块，用于将所述人脸关键点热图和所述第二人脸图像输入人脸重演网络，输出第四人脸图像。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至2中任一项所述的网络训练方法或如权利要求3至6中任一项所述的图像换脸方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至2中任一项所述的网络训练方法或如权利要求3至6中任一项所述的图像换脸方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110750299.2A CN115564638A (zh) | 2021-07-02 | 2021-07-02 | 网络训练方法、图像换脸方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110750299.2A CN115564638A (zh) | 2021-07-02 | 2021-07-02 | 网络训练方法、图像换脸方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115564638A true CN115564638A (zh) | 2023-01-03 |
Family
ID=84736727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110750299.2A Pending CN115564638A (zh) | 2021-07-02 | 2021-07-02 | 网络训练方法、图像换脸方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564638A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612213A (zh) * | 2023-07-19 | 2023-08-18 | 南京硅基智能科技有限公司 | 基于人脸重演算法的数字名片生成方法及系统 |
-
2021
- 2021-07-02 CN CN202110750299.2A patent/CN115564638A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612213A (zh) * | 2023-07-19 | 2023-08-18 | 南京硅基智能科技有限公司 | 基于人脸重演算法的数字名片生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9811894B2 (en) | Image processing method and apparatus | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN111754415B (zh) | 人脸图像处理方法及装置、图像设备及存储介质 | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| JP2023545565A (ja) | 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム | |
| CN113128449A (zh) | 用于人脸图像处理的神经网络训练、人脸图像处理方法及装置 | |
| JP2023548921A (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN106896925A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| CN112528902B (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| CN113591562B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111429338B (zh) | 用于处理视频的方法、装置、设备和计算机可读存储介质 | |
| JP2016085579A (ja) | 対話装置のための画像処理装置及び方法、並びに対話装置 | |
| CN111815768B (zh) | 三维人脸重建方法和装置 | |
| CN115272570A (zh) | 虚拟表情生成方法、装置、电子设备和存储介质 | |
| CN110321849B (zh) | 图像数据处理方法、装置以及计算机可读存储介质 | |
| CN113343878A (zh) | 基于生成对抗网络的高保真人脸隐私保护方法和系统 | |
| WO2023184817A1 (zh) | 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
| CN112102157A (zh) | 视频换脸方法、电子设备和计算机可读存储介质 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN114283052A (zh) | 妆容迁移及妆容迁移网络的训练方法和装置 | |
| CN107016730A (zh) | 一种虚拟现实与真实场景融合的装置 | |
| WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN117557688B (zh) | 肖像生成模型训练方法、装置、计算机设备和存储介质 | |
| CN114494556A (zh) | 一种特效渲染方法、装置、设备及存储介质 | |
| CN111275778A (zh) | 人脸简笔画生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |