CN111275779B - 表情迁移方法、图像生成器的训练方法、装置及电子设备 - Google Patents
表情迁移方法、图像生成器的训练方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111275779B CN111275779B CN202010020193.2A CN202010020193A CN111275779B CN 111275779 B CN111275779 B CN 111275779B CN 202010020193 A CN202010020193 A CN 202010020193A CN 111275779 B CN111275779 B CN 111275779B
- Authority
- CN
- China
- Prior art keywords
- image
- expression
- face
- discriminator
- identity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000012549 training Methods 0.000 title claims abstract description 100
- 238000013508 migration Methods 0.000 title claims abstract description 73
- 230000005012 migration Effects 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 64
- 238000010586 diagram Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 230000008921 facial expression Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种表情迁移方法、图像生成器的训练方法、装置及电子设备，涉及图像处理的技术领域，该表情迁移方法包括：获取第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；将第一人脸图像、第一关键点信息和第二关键点信息输入图像生成器进行表情重构，得到第一人脸图像的表情迁移图像，表情迁移图像的表情与第二人脸图像的表情匹配。本发明提供的表情迁移方法、图像生成器的训练方法、装置及电子设备，在表情迁移过程中使用的图像生成器能够接受不同身份的图像作为输入并进行表情迁移，不仅缓解了现有技术中难以进行不同身份的表情迁移的问题，也有助于进行推广使用。
Description
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种表情迁移方法、图像生成器的训练方法、装置及电子设备。
背景技术
人脸表情迁移技术是指通过某种映射关系，将输入人脸的表情映射到目标人脸上。该技术不仅可以使得用户通过输入人脸来控制目标图片或视频中的人脸表情，还能为人脸识别任务提供数据增强服务。
目前，人脸表情迁移技术可以分为3D(3-Dimensions)模型技术和2D(2-Dimensions)图像技术。3D模型技术主要是通过检测人脸关键点拟合3DMM模型(3DMorphable Model，3D变形模型)参数的方法，根据输入图像的2D人脸关键点，把3DMM模型中对应的点经过弱透视映射到平面上，计算在该平面上的投影误差。而2D图像技术则是通过检测人脸输入图像的关键点，直接通过最小化生成图片和真值图片的距离来建立从图像和关键点到图像的映射。
但是，上述人脸表情迁移技术中，多要求目标人脸与输入人脸为同一身份的人脸图像，难以进行不同身份的表情迁移。
发明内容
有鉴于此，本发明的目的在于提供一种表情迁移方法、图像生成器的训练方法、装置及电子设备，以缓解上述难以进行不同身份的表情迁移的技术问题。
第一方面，本发明实施例提供了一种表情迁移方法，该方法应用于配置有图像生成器的设备，图像生成器通过身份判别器和表情判别器训练得到；其中，身份判别器通过判别原始图像样本和原始图像样本对应的重构图像为同一身份的似然度训练图像生成器，表情判别器通过判别重构图像和重构图像对应的目标人脸关键点匹配的似然度训练图像生成器；该方法包括：获取第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；将第一人脸图像、第一关键点信息和第二关键点信息输入图像生成器进行表情重构，得到第一人脸图像的表情迁移图像，表情迁移图像的表情与第二人脸图像的表情匹配。
在一种较佳的实施例中，上述获取第一人脸图像、第一人脸图像的关键点对应第一关键点信息和第二人脸图像的关键点对应的第二关键点信息之前，该方法还包括：获取预先存储的基准脸图像中的基准关键点信息；根据基准关键点信息对第一人脸图像和第二人脸图像进行图像对齐处理。
在一种较佳的实施例中，上述获取第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息的步骤包括：对第一人脸图像的关键点进行提取，生成包含第一人脸图像的关键点的第一关键点热力图，将第一关键点热力图确定为第一关键点信息；以及，对第二人脸图像的关键点进行提取，生成包含第二人脸图像的关键点的第二关键点热力图，将第二关键点热力图确定为第二关键点信息。
第二方面，本发明实施例还提供一种图像生成器的训练方法，该方法包括：将原始图像样本、原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到原始图像样本对应的重构图像；通过身份判别器判别原始图像样本和重构图像为同一身份的似然度训练图像生成器，通过表情判别器判别重构图像和目标人脸关键点匹配的似然度训练图像生成器；将训练完成的图像生成器保存为表情迁移操作的应用模型。
在一种较佳的实施例中，上述通过身份判别器判别原始图像样本和重构图像为同一身份的似然度训练图像生成器，通过表情判别器判别重构图像和目标人脸关键点匹配的似然度训练图像生成器的步骤包括：根据身份判别器输出的原始图像样本和重构图像为同一身份的似然度建立身份判别器对应的第一损失函数；以及，根据表情判别器输出的重构图像和目标人脸关键点匹配的似然度建立表情判别器对应的第二损失函数；根据第一损失函数和第二损失函数调整图像生成器的参数，继续训练调整参数后的图像生成器，直至第一损失函数和第二损失函数分别收敛至预设值，得到训练完成的图像生成器。
在一种较佳的实施例中，上述根据身份判别器输出的原始图像样本和重构图像为同一身份的似然度建立身份判别器对应的第一损失函数的步骤包括：将身份判别器输出的原始图像样本和重构图像为同一身份的似然度确定为第一似然度；以及，将包含目标人脸关键点的目标图像样本和原始图像样本输入至身份判别器，以使身份判别器输出目标图像样本和原始图像样本为同一身份的第二似然度；根据第一似然度和第二似然度建立身份判别器对应的第一损失函数。
在一种较佳的实施例中，上述根据表情判别器输出的重构图像和目标人脸关键点匹配的似然度建立表情判别器对应的第二损失函数的步骤包括：将表情判别器输出的重构图像和目标人脸关键点匹配的似然度确定为第三似然度；以及，将原始图像样本和目标人脸关键点输入至表情判别器，以使表情判别器输出原始图像样本和目标人脸关键点匹配的第四似然度；根据第三似然度和第四似然度建立表情判别器对应的第二损失函数。
在一种较佳的实施例中，上述方法还包括：获取与原始图像样本为同一身份的多个子图像样本；将原始图像样本和多个子图像样本输入至身份判别器的初始身份判别模型，对初始身份判别模型进行训练，以生成身份判别器。
在一种较佳的实施例中，上述方法还包括：获取原始图像样本和原始图像样本对应的人脸关键点；将原始图像样本和原始图像样本对应的人脸关键点输入至表情判别器的初始表情判别模型，对初始表情判别模型进行训练，以生成表情判别器。
在一种较佳的实施例中，上述图像生成器是包括多个系列的卷积层和残差连接构成的神经网络；上述根据第一损失函数和第二损失函数调整图像生成器的参数的步骤包括：根据第一损失函数和第二损失函数构建图像生成器的损失函数；根据损失函数调整图像生成器的参数。
在一种较佳的实施例中，上述方法还包括：根据图像生成器的损失函数更新身份判别器和表情判别器的参数。
在一种较佳的实施例中，上述图像生成器是包括多个系列的卷积层和残差连接构成的神经网络。
第三方面，本发明实施例还提供一种表情迁移装置，该装置设置于配置有图像生成器的设备，图像生成器通过身份判别器和表情判别器训练得到；其中，身份判别器通过判别原始图像样本和原始图像样本对应的重构图像为同一身份的似然度训练图像生成器，表情判别器通过判别重构图像和重构图像对应的目标人脸关键点匹配的似然度训练图像生成器；该装置包括：获取模块，用于获取第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；重构模块，用于将第一人脸图像、第一关键点信息和第二关键点信息输入图像生成器进行表情重构，得到第一人脸图像的表情迁移图像，表情迁移图像的表情与第二人脸图像的表情匹配。
第四方面，本发明实施例还提供一种图像生成器的训练装置，该装置包括：输入模块，用于将原始图像样本、原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到原始图像样本对应的重构图像；训练模块，用于通过身份判别器判别原始图像样本和重构图像为同一身份的似然度训练图像生成器，通过表情判别器判别重构图像和目标人脸关键点匹配的似然度训练图像生成器；保存模块，用于将训练完成的图像生成器保存为表情迁移操作的应用模型。
第五方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面和第二方面所述的方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面和第二方面所述的方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的表情迁移方法、图像生成器的训练方法、装置及电子设备，在获取到第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息之后，可以进一步将获取到的内容输入至训练好的图像生成器进行表情重构，以得到与第二人脸图像的表情匹配的表情迁移图像，由于本申请中的图像生成器是通过身份判别器和表情判别器训练得到的，且，身份判别器通过判别原始图像样本和原始图像样本对应的重构图像为同一身份的似然度训练图像生成器，表情判别器通过判别重构图像和重构图像对应的目标人脸关键点匹配的似然度训练图像生成器，而在训练生成器过程中对于身份判别器和表情判别器所使用的原始图像样本和目标人脸关键点的身份没有要求，使得表情迁移过程中使用的图像生成器能够接受不同身份的图像作为输入并进行表情迁移，不仅缓解了现有技术中难以进行不同身份的表情迁移的问题，也有助于进行推广使用。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种表情迁移方法的流程图；
图2为本发明实施例提供的一种表情迁移的过程示意图；
图3为本发明实施例提供的一种生成对抗网络示意图；
图4为本发明实施例提供的一种图像生成器的训练方法的流程图；
图5为本发明实施例提供的另一种图像生成器的训练方法的流程图；
图6为本发明实施例提供的一种表情迁移装置的结构示意图；
图7为本发明实施例提供的一种图像生成器的训练装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，常用的人脸表情迁移技术包括3D模型技术和2D图像技术，其中，3D模型技术可以概括为以下过程：通过人脸检测得到输入图像I的关键点L，通过得到的关键点对输入图像进行人脸对齐，然后拟合3DMM到一张人脸图像，根据弱透视映射把3DMM拟合得到的人脸图像映射到平面上，并最小化与2D关键点的距离，从而得到表情迁移的图像。
而2D图像技术的过程可以概括为：通过人脸检测得到第一人脸图像Is对应的第一人脸关键点Ls，第二人脸图像It对应的第二人脸关键点Ls；通过得到的关键点对两张图像进行人脸对齐；将Is，Ls，Lt输入模型，得到生成图像
最小化
和It之间的距离，以建立从输入图像关键点到生成图像的映射。
而无论是3D模型技术还是2D图像技术，其实现过程都是在输入图像和目标图像为同一身份下进行的，对于不同目标图像的，需要重新建立模型，具有一定的局限性，难以进行不同身份的表情迁移。
基于此，本发明实施例提供的一种表情迁移方法、图像生成器的训练方法、装置及电子设备，以缓解上述技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种表情迁移方法进行详细介绍。
在一种可能的实施方式中，本发明实施例提供了一种表情迁移方法，具体地，该方法应用于配置有图像生成器的设备，该图像生成器通过身份判别器和表情判别器训练得到；其中，身份判别器通过判别原始图像样本和原始图像样本对应的重构图像为同一身份的似然度训练图像生成器，表情判别器通过判别重构图像和重构图像对应的目标人脸关键点匹配的似然度训练图像生成器。
具体地，如图1所示的一种表情迁移方法的流程图，该方法包括以下步骤：
步骤S102，获取第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；
具体地，上述关键点指的是人脸面部的关键区域位置，如眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。具体实现时，关键点的检测过程通常是预先进行的，并将检测到的第一人脸图像和第二人脸图像的关键点存储至指定位置，供设备获取和使用，而关键点的具体检测算法可以参照相关技术实现，本发明实施例对此不进行限制。
步骤S104，将第一人脸图像、第一关键点信息和第二关键点信息输入图像生成器进行表情重构，得到第一人脸图像的表情迁移图像，表情迁移图像的表情与第二人脸图像的表情匹配。
具体地，本发明实施例中的图像生成器是一种预先训练好的具有图像生成功能的神经网络模型，该神经网络模型接收第一人脸图像、第一关键点信息和第二关键点信息作为输入，进而通过神经网络计算进行表情重构，得到重构图像，即，上述表情迁移图像。
具体实现是，上述第一人脸图像通常作为原始人脸图像，第二人脸图像通常作为目标人脸图像，由于关键点指的是诸如眉毛、眼睛、鼻子、嘴巴、脸部轮廓等人脸面部的关键区域位置，因此，可以用于表征人脸图像中的面部表情特征，当图像传感器通过第一关键点信息和第二关键点信息获知到原始人脸图像和目标人脸图像的面部表情特征之后，可以根据输入的信息进行表情重构，得到与目标人脸图像的表情匹配的表情迁移图像，该表情迁移图像则是一种实现了表情迁移的重构图像，由于该重构图像是以第一人脸图像为输入的表情迁移图像，因此，该重构图像中人脸图像通常与第一人脸图像为同一个身份的人脸图像，并且，由于该重构图像与第二人脸图像，即，目标人脸图像的表情匹配，因此，重构图像中的人脸图像的表情与第二人脸图像的表情一致。即，上述表情迁移图像中的人脸图像具有与第一人脸图像的身份，以及第二人脸图像的表情，实现了表情迁移，且，在表情迁移过程，第一人脸图像和第二人脸图像可以是相同身份的图像，也可以是不同身份的图像，因此，本发明实施例中提供的表情迁移方法，对目标人脸图像的身份并没有要求，只要获取到关键点信息即可以实现表情迁移。
因此，本发明实施例提供的表情迁移方法，在获取到第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息之后，可以进一步将获取到的内容输入至训练好的图像生成器进行表情重构，以得到与第二人脸图像的表情匹配的表情迁移图像，由于本申请中的图像生成器是通过身份判别器和表情判别器训练得到的，且，身份判别器通过判别原始图像样本和原始图像样本对应的重构图像为同一身份的似然度训练图像生成器，表情判别器通过判别重构图像和重构图像对应的目标人脸关键点匹配的似然度训练图像生成器，而在训练生成器过程中对于身份判别器和表情判别器所使用的原始图像样本和目标人脸关键点的身份没有要求，使得表情迁移过程中使用的图像生成器能够接受不同身份的图像作为输入并进行表情迁移，不仅缓解了现有技术中难以进行不同身份的表情迁移的问题，也有助于进行推广使用。
在实际使用时，上述第一关键点信息和第二关键点信息可以采用openface中的人脸检测和人脸关键点的提取算法实现，且，为了能够得到比例合适的人脸图像，在获取人脸图像和关键点信息之前，通常先进行人脸对齐的操作，因此，在上述步骤S102之前，还包括以下过程：获取预先存储的基准脸图像中的基准关键点信息；根据基准关键点信息对第一人脸图像和所述第二人脸图像进行图像对齐处理。
具体地，上述基准脸图像是预设的人脸图像，该基准脸图像中人脸在图像的中间位置，且人脸占图比例合适。在执行图像对齐操作时，先对第一人脸图像和第二人脸图像进行人脸检测，得到人在图像中的位置；然后对基准脸图像和第一人脸图像、第二人脸图像提取关键点，得到每个图像的关键点信息；最后根据其中的主要关键点，如左右眼睛中心、鼻尖、左右嘴角五个点等计算相似变换矩阵，相似矩阵可以通过opencv计算，利用该矩阵把输入的第一人脸图像、第二人脸图像变换成与基准脸图像大小相等、五官位置相对应的人脸图像。上述对齐处理可以将输入的第一人脸图像和第二人脸图像的人脸对齐到相似的位置和比例，减少了图像生成器中输入图像信息分布的复杂程度，因此能减少神经网络模型计算的压力。相似变换过程如下：
其中，θ是旋转角度，tx和ty是x和y方向的位移分量，s是缩放尺度，其具体值可用最小二乘法计算得到，本发明实施例对此不进行限制。
此外，为了便于图像生成器进行神经网络计算处理，上述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息通常也是一种图像的形式，具体地，通常是关键点的热力图形式，以便于输入至神经网络模型，因此，获取第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息的步骤包括：对第一人脸图像的关键点进行提取，生成包含第一人脸图像的关键点的第一关键点热力图，将第一关键点热力图确定为第一关键点信息；以及，对第二人脸图像的关键点进行提取，生成包含第二人脸图像的关键点的第二关键点热力图，将第二关键点热力图确定为第二关键点信息。
为了便于理解，图2示出了一种表情迁移的过程示意图，如图2所示，该图像生成器用G表示，其表情迁移的计算过程可以用公式表示为：
其中，
表示表情迁移图像，Is表示第一人脸图像，Ls表示第一人脸图像的关键点对应的第一关键点信息，Lt表示第二人脸图像的关键点对应的第二关键点信息。
由图2可知，该图像生成器网络接受的输入分别是第一人脸图像Is，第一人脸图像的关键点对应的第一关键点信息Ls和第二人脸图像的关键点对应的第二关键点信息Lt，且，生成的表情迁移图像
具有第一人脸图像的身份且和第二人脸图像的关键点匹配。
具体实现是，上述图像生成器是通过身份判别器和表情判别器训练得到的，且，在训练过程中，通常搭建一种生成对抗网络来对图像生成器进行训练，如图3所示的一种生成对抗网络示意图，包括图像生成器、身份判别器和表情判别器，其中，图像生成器相当于是生成网络，从潜在空间中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。而身份判别器和表情判别器则组成判别网络，其输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。因此，图3所示的生成对抗网络，可以看作是图像生成器和身份判别器以及表情判别器的互相博弈学习过程，以使图像生成器能够产生较好的输出效果。
具体地，如图4所示的一种图像生成器的训练方法的流程图，该图像生成器的训练过程包括以下步骤：
步骤S202，将原始图像样本、原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到原始图像样本对应的重构图像；
通常，本发明实施例中的图像生成器是由编码器和解码器组成的生成网络。
上述原始图像样本通常是训练集中的样本图像，该训练集中的样本图像还包括包含目标人脸关键点的目标图像样本。
应当理解，训练集中的原始图像样本和目标图像样本并不是固定的，在一种实施方式中，对某个图像生成器进行训练时，一部分样本图像可以作为原始图像样本，一部分作为目标图像样本，而在另一种实施方式中，原来作为原始图像样本的样本图像，还可以是目标图像样本，即，原始图像样本和目标图像样本均是训练集中的普通的一个样本图像，且该样本图像有对应的人脸关键点，如，对应的关键点热力图，以便用于生成对抗网络的训练。
步骤S204，通过身份判别器判别原始图像样本和重构图像为同一身份的似然度训练图像生成器，通过表情判别器判别重构图像和目标人脸关键点匹配的似然度训练图像生成器；
步骤S206，将训练完成的图像生成器保存为表情迁移操作的应用模型。
其中，上述步骤S204中的似然度，可以理解为两个输入图像的相似程度，如，身份判别器中原始图像样本和重构图像为同一身份的相似程度，当图像生成器输出的重构图像足够好时，身份判别器将无法分辨，即此时的生成对抗网络达到了纳什均衡点。同理，当图像生成器输出的重构图像和目标人脸关键点的匹配足够好时，表情判别器将无法分辨，此时的生成对抗网络也达到了纳什均衡点。
在实际使用时，上述借助于似然度训练图像生成器的过程，通常是基于损失函数实现的，因此，在图4的基础上，图5还示出了另一种图像生成器的训练方法的流程图，以对训练过程进行说明，具体地，包括以下步骤：
步骤S302，将原始图像样本、原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到原始图像样本对应的重构图像；
步骤S304，根据身份判别器输出的原始图像样本和重构图像为同一身份的似然度建立身份判别器对应的第一损失函数；以及，根据表情判别器输出的重构图像和目标人脸关键点匹配的似然度建立表情判别器对应的第二损失函数；
具体地，在训练生成器时，身份判别器的输入是原始图像样本和重构图像，而在建立该身份判别器的损失函数时，还需要借助于目标图像样本，因此，建立上述第一损失函数包括以下步骤：
(1)将身份判别器输出的原始图像样本和重构图像为同一身份的似然度确定为第一似然度；
(2)将包含目标人脸关键点的目标图像样本和原始图像样本输入至身份判别器，以使身份判别器输出目标图像样本和原始图像样本为同一身份的第二似然度；
(3)根据第一似然度和第二似然度建立身份判别器对应的第一损失函数。
具体地，身份判别器用Did表示，第一损失函数表示如下：
其中，在图像生成器的训练过程中，
表示重构图像，Is表示原始图像样本，It表示目标图像样本，
为第一似然度，即，原始图像样本和重构图像为同一身份的似然度；Did(It,Is)表示第二似然度，即，目标图像样本和原始图像样本为同一身份的似然度；
表示身份判别器Did将重构图像和原始图像样本判别为不同身份的似然度。
进一步，在训练生成器时，表情判别器的输入是重构图像和目标人脸关键点，而在建立该表情判别器的损失函数时，还需要借助于原始图像样本，因此，建立上述第二损失函数包括以下步骤：
(1)将表情判别器输出的重构图像和目标人脸关键点匹配的似然度确定为第三似然度；
(2)将原始图像样本和目标人脸关键点输入至表情判别器，以使表情判别器输出原始图像样本和目标人脸关键点匹配的第四似然度；
(3)根据第三似然度和第四似然度建立表情判别器对应的第二损失函数。
具体地，表情判别器用De表示，第二损失函数表示如下：
其中，在图像生成器的训练过程中，Ls表示原始图像样本对应的人脸关键点，Lt表示目标人脸关键点，
表示重构图像，Is表示原始图像样本，It表示目标图像样本，
表示第三似然度，即，重构图像和目标人脸关键点匹配的似然度；
表示身份判别器判别重构图像和目标人脸关键点不匹配的似然度；De(Is,Lt)表示第四似然度，即，原始图像样本和目标人脸关键点匹配的似然度；
表示第二期望值，在训练过程中，同样表示计算对应公式的平均值。
在实际使用时，上述似然度可以在身份判别器和表情判别器的最后一层全连接层通过sigmod函数输出的[0，1]范围内的某一值来表达，因此，上述在计算损失函数时，通常用对数的形式来表示。
步骤S306，根据第一损失函数和第二损失函数调整图像生成器的参数，继续训练调整参数后的图像生成器，直至第一损失函数和第二损失函数分别收敛至预设值，得到训练完成的图像生成器；
在实际使用时，图像判别器可调整的参数通常包括卷积矩阵和偏置项，在调整参数时，通常可以采用随机梯度下降法对生产网络的参数进行更新。
调整图像生成器的参数的过程，也是基于损失函数进行的，因此，该过程中需要建立图像生成器的损失函数，具体地，包括以下步骤：根据第一损失函数和第二损失函数构建图像生成器的损失函数；根据损失函数调整图像生成器的参数。
其中，该图像生成器的损失函数用L表示，损失函数的表达可以表示为：
其中λGAN和λc为损失系数，通常取：λGAN＝0.5，λc＝1，在上述的损失函数中，
表示身份判别器将重构图像和原始图像样本判别为同一身份的似然度，
表示表情判别器将重构图像和目标人脸关键点匹配的似然度。通过最小化这两项，图像生成器可以学习到两个判别器的分布，并通过生成更加真实的重构图像去欺骗判别器。
此外，由于图像生成器、身份判别器和表情判别器在训练时构成的是生成对抗网络，且，生成对抗网络中包括的网络模型是相互对抗、不断调整参数的过程，因此，在调整参数时，还包括：根据图像生成器的损失函数更新身份判别器和表情判别器的参数的过程，同样，也可以采用随机梯度下降法对身份判别器和表情判别器的卷积矩阵和偏置项参数进行更新。
步骤S308，将训练完成的图像生成器保存为表情迁移操作的应用模型。
进一步，上述身份判别器和表情判别器也是一种神经网络模型，因此，本发明实施例中还包括对身份判别器和表情判别器的训练过程，具体地，在训练身份判别器时，输入的是原始图像样本和与原始图像样本为同一身份的多个子图像样本；其中，该子图像样本也是训练集中的样本图像，且，至图像样本中包括的人脸图像与原始图像样本为同一身份的样本图像。具体地，身份判别器的训练过程如下：获取与原始图像样本为同一身份的多个子图像样本；将原始图像样本和多个子图像样本输入至身份判别器的初始身份判别模型，对初始身份判别模型进行训练，以生成身份判别器。
具体地，在训练身份判别器时，采用同一身份的样本图像主要是为了训练判别器能够判别输入的图像是否是同一身份的功能，以便于在训练图像生成器时能够输出原始图像样本和重构图像为同一身份的似然度，以及目标图像样本和原始图像样本为同一身份的似然度。
进一步，本发明实施例中，训练表情判别器时，输入的是原始图像样本和原始图像样本对应的人脸关键点，如输入原始图像样本和原始图像样本对应的关键点热力图，其训练过程如下：获取原始图像样本和原始图像样本对应的人脸关键点；将原始图像样本和原始图像样本对应的人脸关键点输入至表情判别器的初始表情判别模型，对初始表情判别模型进行训练，以生成表情判别器。
具体地，在训练表情判别器时，采用原始图像样本和原始图像样本对应的人脸关键点主要是为了训练表情判别器能够判别输入的图像和关键点热力图是否匹配的功能，以便于在训练图像生成器时能够输出重构图像和目标人脸关键点匹配的似然度，以及原始图像样本和目标人脸关键点匹配的似然度。
综上所述，本发明实施例提供的图像生成器的训练方法在训练图像生成器时构建的生成对抗网络主要包含图像生成器、身份判别器和表情判别器三个部分。第一部分的图像生成器通常是由编码器和解码器组成的生成网络，该图像生成器接受原始图像样本、原始图像样本对应的人脸关键点和目标人脸关键点作为输入，通过神经网络计算得到重构图像。人脸关键点可使用开源软件检测得到。
第二部分是身份判别器部分，该身份判别器的网络模型接受两张图片作为输入。身份判别器的输入包括两种情况，当训练身份判别器时，输入的是原始图像样本和与原始图像样本为同一身份的多个子图像样本；在训练图像生成器时，输入的是原始图像样本和重构图像。如果两种图片是同一个身份就判别为真，反之判别为假，身份判别器的约束能够使得生成图像不断优化，理想状态下会达到无法区分图像生成器生成的重构图像和原始图像样本是否身份匹配。
第三部分是表情判别器部分，该表情判别器网络模型接受两张图片作为输入，其中一张是人脸图像，另外一张是人脸关键点热力图。身份判别器的输入也包括两种情况，当训练身份判别器时，输入的原始图像样本和原始图像样本对应的人脸关键点热力图。在训练图像生成器时，输入的是重构图像和目标人脸关键点。如果人脸关键点和人脸图像是匹配的就判别为真，反之判别为假，表情判别器的约束能够使得图像生成器生成的重构图像不断优化，理想状态下会达到无法区分重构图像和目标人脸关键点是否匹配。
上述训练阶段，每个网络模型的输入的成对样本的数量都是充足的，并可以利用随机梯度下降法更新图像和两个判别器的卷积矩阵和偏置等参数，使得图像生成器能够重构出符合要求的图像，在训练完毕后，可以固定相应的参数。
进一步，在训练过程汇总，图像生成器和两个判别器的网络模型都不判别特定身份，两个判别器主要判断输入的两张图像是否匹配，这种方式消除了只能生成特定身份图像的限制，因此，训练出的图像生成器在进行表情迁移过程时，对于不同身份的人脸图像也能使用。
因此，利用本发明实施例提供的表情迁移方法和图像生成器的训练方法有效缓解了不能对任意身份的输入图像进行表情迁移的问题，以及解决了现有技术中对于特定身份的人脸需要重新训练网络的问题，同时，也避免可训练时需要多个身份的多张图片作为输入的问题，不仅减少了工作量，也便于进行推广使用。
对应图1所示的表情迁移方法，本发明实施例还提供了一种表情迁移装置，该装置设置于配置有图像生成器的设备，图像生成器通过身份判别器和表情判别器训练得到；其中，所述身份判别器通过判别原始图像样本和所述原始图像样本对应的重构图像为同一身份的似然度训练所述图像生成器，所述表情判别器通过判别所述重构图像和所述重构图像对应的目标人脸关键点匹配的似然度训练所述图像生成器。
具体地，如图6所示的一种表情迁移装置的结构示意图，该装置包括：
获取模块60，用于获取第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；
重构模块62，用于将第一人脸图像、第一关键点信息和第二关键点信息输入图像生成器进行表情重构，得到第一人脸图像的表情迁移图像，表情迁移图像的表情与第二人脸图像的表情匹配。
进一步，对应于图4所示的图像生成器的训练方法，本发明实施例还提供了一种图像生成器的训练装置，如图7所示的一种图像生成器的训练装置的结构示意图，该装置包括：
输入模块70，用于将原始图像样本、原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到原始图像样本对应的重构图像；
训练模块72，用于通过身份判别器判别原始图像样本和重构图像为同一身份的似然度训练图像生成器，通过表情判别器判别重构图像和目标人脸关键点匹配的似然度训练图像生成器；
保存模块74，用于将训练完成的图像生成器保存为表情迁移操作的应用模型。
本发明实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
本发明实施例还提供了一种电子设备的结构示意图，如图8所示，为该电子设备的结构示意图，其中，该电子设备包括处理器81和存储器80，该存储器80存储有能够被该处理器81执行的计算机可执行指令，该处理器81执行该计算机可执行指令以实现上述表情迁移方法和图像生成器的训练方法。
在图8示出的实施方式中，该电子设备还包括总线82和通信接口83，其中，处理器81、通信接口83和存储器80通过总线82连接。
其中，存储器80可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器81读取存储器中的信息，结合其硬件完成前述实施例的表情迁移方法和图像生成器的训练方法的步骤。
本发明实施例所提供的表情迁移方法、图像生成器的训练方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种表情迁移方法，其特征在于，所述方法应用于配置有图像生成器的设备，所述图像生成器通过身份判别器和表情判别器训练得到；其中，所述身份判别器通过判别原始图像样本和所述原始图像样本对应的重构图像为同一身份的似然度训练所述图像生成器，所述表情判别器通过判别所述重构图像和所述重构图像对应的目标人脸关键点匹配的似然度训练所述图像生成器；
其中，训练所述身份判别器的过程包括：获取与所述原始图像样本为同一身份的多个子图像样本；将所述原始图像样本和多个所述子图像样本输入至所述身份判别器的初始身份判别模型，对所述初始身份判别模型进行训练，以生成所述身份判别器；
训练所述表情判别器的过程包括：获取所述原始图像样本和所述原始图像样本对应的人脸关键点；将所述原始图像样本和所述原始图像样本对应的人脸关键点输入至所述表情判别器的初始表情判别模型，对所述初始表情判别模型进行训练，以生成所述表情判别器；
所述方法包括：
获取第一人脸图像、所述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；其中，所述关键点指的是人脸面部的关键区域位置，用于表征人脸图像中的面部表情特征；
将所述第一人脸图像、所述第一关键点信息和所述第二关键点信息输入所述图像生成器进行表情重构，得到所述第一人脸图像的表情迁移图像，所述表情迁移图像的表情与所述第二人脸图像的表情匹配，且，所述表情迁移图像中的人脸图像具有与所述第一人脸图像的身份，以及所述第二人脸图像的表情，实现表情迁移。
2.根据权利要求1所述的方法，其特征在于，获取第一人脸图像、所述第一人脸图像的关键点对应第一关键点信息和第二人脸图像的关键点对应的第二关键点信息之前，所述方法还包括：
获取预先存储的基准脸图像中的基准关键点信息；
根据所述基准关键点信息对所述第一人脸图像和所述第二人脸图像进行图像对齐处理。
3.根据权利要求1所述的方法，其特征在于，获取所述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息的步骤包括：
对所述第一人脸图像的关键点进行提取，生成包含所述第一人脸图像的关键点的第一关键点热力图，将所述第一关键点热力图确定为所述第一关键点信息；以及，
对所述第二人脸图像的关键点进行提取，生成包含所述第二人脸图像的关键点的第二关键点热力图，将所述第二关键点热力图确定为所述第二关键点信息。
4.一种图像生成器的训练方法，其特征在于，所述方法包括：
将原始图像样本、所述原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到所述原始图像样本对应的重构图像；其中，所述关键点指的是人脸面部的关键区域位置，用于表征人脸图像中的面部表情特征；
通过身份判别器判别所述原始图像样本和所述重构图像为同一身份的似然度训练所述图像生成器，通过表情判别器判别所述重构图像和所述目标人脸关键点匹配的似然度训练所述图像生成器；
将训练完成的图像生成器保存为表情迁移操作的应用模型；
其中，训练所述身份判别器的过程包括：获取与所述原始图像样本为同一身份的多个子图像样本；将所述原始图像样本和多个所述子图像样本输入至所述身份判别器的初始身份判别模型，对所述初始身份判别模型进行训练，以生成所述身份判别器；
训练所述表情判别器的过程包括：获取所述原始图像样本和所述原始图像样本对应的人脸关键点；将所述原始图像样本和所述原始图像样本对应的人脸关键点输入至所述表情判别器的初始表情判别模型，对所述初始表情判别模型进行训练，以生成所述表情判别器。
5.根据权利要求4所述的方法，其特征在于，通过身份判别器判别所述原始图像样本和所述重构图像为同一身份的似然度训练所述图像生成器，通过表情判别器判别所述重构图像和所述目标人脸关键点匹配的似然度训练所述图像生成器的步骤包括：
根据所述身份判别器输出的所述原始图像样本和所述重构图像为同一身份的似然度建立所述身份判别器对应的第一损失函数；以及，根据所述表情判别器输出的所述重构图像和所述目标人脸关键点匹配的似然度建立所述表情判别器对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数调整所述图像生成器的参数，继续训练调整参数后的所述图像生成器，直至所述第一损失函数和所述第二损失函数分别收敛至预设值，得到训练完成的图像生成器。
6.根据权利要求5所述的方法，其特征在于，根据所述身份判别器输出的所述原始图像样本和所述重构图像为同一身份的似然度建立所述身份判别器对应的第一损失函数的步骤包括：
将所述身份判别器输出的所述原始图像样本和所述重构图像为同一身份的似然度确定为第一似然度；
以及，将包含所述目标人脸关键点的目标图像样本和所述原始图像样本输入至所述身份判别器，以使所述身份判别器输出所述目标图像样本和所述原始图像样本为同一身份的第二似然度；
根据所述第一似然度和所述第二似然度建立所述身份判别器对应的第一损失函数。
7.根据权利要求5所述的方法，其特征在于，根据所述表情判别器输出的所述重构图像和所述目标人脸关键点匹配的似然度建立所述表情判别器对应的第二损失函数的步骤包括：
将表情判别器输出的所述重构图像和所述目标人脸关键点匹配的似然度确定为第三似然度；
以及，将所述原始图像样本和目标人脸关键点输入至所述表情判别器，以使所述表情判别器输出所述原始图像样本和目标人脸关键点匹配的第四似然度；
根据所述第三似然度和所述第四似然度建立所述表情判别器对应的第二损失函数。
8.根据权利要求5所述的方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数调整所述图像生成器的参数的步骤包括：
根据所述第一损失函数和所述第二损失函数构建所述图像生成器的损失函数；
根据所述损失函数调整所述图像生成器的参数。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述图像生成器的损失函数更新所述身份判别器和所述表情判别器的参数。
10.根据权利要求4～8任一项所述的方法，其特征在于，所述图像生成器是包括多个系列的卷积层和残差连接构成的神经网络。
11.一种表情迁移装置，其特征在于，所述装置设置于配置有图像生成器的设备，所述图像生成器通过身份判别器和表情判别器训练得到；其中，所述身份判别器通过判别原始图像样本和所述原始图像样本对应的重构图像为同一身份的似然度训练所述图像生成器，所述表情判别器通过判别所述重构图像和所述重构图像对应的目标人脸关键点匹配的似然度训练所述图像生成器；
其中，训练所述身份判别器的过程包括：获取与所述原始图像样本为同一身份的多个子图像样本；将所述原始图像样本和多个所述子图像样本输入至所述身份判别器的初始身份判别模型，对所述初始身份判别模型进行训练，以生成所述身份判别器；
训练所述表情判别器的过程包括：获取所述原始图像样本和所述原始图像样本对应的人脸关键点；将所述原始图像样本和所述原始图像样本对应的人脸关键点输入至所述表情判别器的初始表情判别模型，对所述初始表情判别模型进行训练，以生成所述表情判别器；
所述装置包括：
获取模块，用于获取第一人脸图像、所述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；其中，所述关键点指的是人脸面部的关键区域位置，用于表征人脸图像中的面部表情特征；
重构模块，用于将所述第一人脸图像、所述第一关键点信息和所述第二关键点信息输入所述图像生成器进行表情重构，得到所述第一人脸图像的表情迁移图像，所述表情迁移图像的表情与所述第二人脸图像的表情匹配，且，所述表情迁移图像中的人脸图像具有与所述第一人脸图像的身份，以及所述第二人脸图像的表情，实现表情迁移。
12.一种图像生成器的训练装置，其特征在于，所述装置包括：
输入模块，用于将原始图像样本、所述原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到所述原始图像样本对应的重构图像；其中，所述关键点指的是人脸面部的关键区域位置，用于表征人脸图像中的面部表情特征；
训练模块，用于通过身份判别器判别所述原始图像样本和所述重构图像为同一身份的似然度训练所述图像生成器，通过表情判别器判别所述重构图像和所述目标人脸关键点匹配的似然度训练所述图像生成器；
保存模块，用于将训练完成的图像生成器保存为表情迁移操作的应用模型；
其中，训练所述身份判别器的过程包括：获取与所述原始图像样本为同一身份的多个子图像样本；将所述原始图像样本和多个所述子图像样本输入至所述身份判别器的初始身份判别模型，对所述初始身份判别模型进行训练，以生成所述身份判别器；
训练所述表情判别器的过程包括：获取所述原始图像样本和所述原始图像样本对应的人脸关键点；将所述原始图像样本和所述原始图像样本对应的人脸关键点输入至所述表情判别器的初始表情判别模型，对所述初始表情判别模型进行训练，以生成所述表情判别器。
13.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-10任一项所述的方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-10任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020193.2A CN111275779B (zh) | 2020-01-08 | 2020-01-08 | 表情迁移方法、图像生成器的训练方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020193.2A CN111275779B (zh) | 2020-01-08 | 2020-01-08 | 表情迁移方法、图像生成器的训练方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275779A CN111275779A (zh) | 2020-06-12 |
| CN111275779B true CN111275779B (zh) | 2022-12-16 |
Family
ID=71001567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010020193.2A Active CN111275779B (zh) | 2020-01-08 | 2020-01-08 | 表情迁移方法、图像生成器的训练方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275779B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860380B (zh) * | 2020-07-27 | 2024-07-23 | 平安科技（深圳）有限公司 | 人脸图像生成方法、装置、服务器及存储介质 |
| CN111881926A (zh) * | 2020-08-24 | 2020-11-03 | Oppo广东移动通信有限公司 | 图像生成、图像生成模型的训练方法、装置、设备及介质 |
| CN112017212B (zh) * | 2020-08-26 | 2022-10-04 | 北京紫光展锐通信技术有限公司 | 人脸关键点跟踪模型的训练、跟踪方法及系统 |
| CN112258382A (zh) * | 2020-10-23 | 2021-01-22 | 北京中科深智科技有限公司 | 一种基于图像到图像的面部风格转移方法和系统 |
| CN112927328B (zh) * | 2020-12-28 | 2023-09-01 | 北京百度网讯科技有限公司 | 表情迁移方法、装置、电子设备及存储介质 |
| CN113222876A (zh) * | 2021-06-02 | 2021-08-06 | 广州虎牙科技有限公司 | 人脸图像生成方法、装置、电子设备和存储介质 |
| CN113537021A (zh) * | 2021-07-08 | 2021-10-22 | 壹茹(上海)传媒科技有限公司 | 一种基于普通视频流的3d人脸模型表情自动生成方法 |
| CN113837133A (zh) * | 2021-09-29 | 2021-12-24 | 维沃移动通信有限公司 | 摄像头数据迁移方法及其装置 |
| CN113627404B (zh) * | 2021-10-12 | 2022-01-14 | 中国科学院自动化研究所 | 基于因果推断的高泛化人脸替换方法、装置和电子设备 |
| CN114140319A (zh) * | 2021-12-09 | 2022-03-04 | 北京百度网讯科技有限公司 | 图像迁移方法和图像迁移模型的训练方法、装置 |
| CN117152622B (zh) * | 2023-10-30 | 2024-02-23 | 中国科学院空天信息创新研究院 | 边界优化模型训练、边界优化方法、装置、设备及介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171770B (zh) * | 2018-01-18 | 2021-04-06 | 中科视拓（北京）科技有限公司 | 一种基于生成式对抗网络的人脸表情编辑方法 |
| CN108257195A (zh) * | 2018-02-23 | 2018-07-06 | 深圳市唯特视科技有限公司 | 一种基于几何对比生成对抗网络的面部表情合成方法 |
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| CN109508669B (zh) * | 2018-11-09 | 2021-07-23 | 厦门大学 | 一种基于生成式对抗网络的人脸表情识别方法 |
| CN109934767A (zh) * | 2019-03-06 | 2019-06-25 | 中南大学 | 一种基于身份和表情特征转换的人脸表情转换方法 |
| CN110084121A (zh) * | 2019-03-27 | 2019-08-02 | 南京邮电大学 | 基于谱归一化的循环生成式对抗网络的人脸表情迁移的实现方法 |
| CN110349081B (zh) * | 2019-06-17 | 2023-04-07 | 达闼科技（北京）有限公司 | 图像的生成方法、装置、存储介质和电子设备 |
-
2020
- 2020-01-08 CN CN202010020193.2A patent/CN111275779B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275779A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275779B (zh) | 表情迁移方法、图像生成器的训练方法、装置及电子设备 | |
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| WO2018028546A1 (zh) | 一种关键点的定位方法及终端、计算机存储介质 | |
| US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US10262190B2 (en) | Method, system, and computer program product for recognizing face | |
| WO2019192121A1 (zh) | 双通道神经网络模型训练及人脸比对方法、终端及介质 | |
| US7873189B2 (en) | Face recognition by dividing an image and evaluating a similarity vector with a support vector machine | |
| CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| US20230095182A1 (en) | Method and apparatus for extracting biological features, device, medium, and program product | |
| CN111091075A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN111598051B (zh) | 一种脸部验证方法、装置、设备及可读存储介质 | |
| CN109886223B (zh) | 人脸识别方法、底库录入方法、装置及电子设备 | |
| CN112507889A (zh) | 一种校验证件与持证人的方法及系统 | |
| CN110852310A (zh) | 三维人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN112686191B (zh) | 基于人脸三维信息的活体防伪方法、系统、终端及介质 | |
| CN110909634A (zh) | 可见光与双红外线相结合的快速活体检测方法 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN109858433B (zh) | 一种基于三维人脸模型识别二维人脸图片的方法及装置 | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN112215076B (zh) | 一种基于双塔网络的深度笔迹鉴定方法及装置 | |
| CN109829857B (zh) | 一种基于生成对抗网络的倾斜图像的矫正方法及装置 | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN113343927B (zh) | 一种适用于面瘫患者的智能化人脸识别方法和系统 | |
| Panetta et al. | Unrolling post-mortem 3D fingerprints using mosaicking pressure simulation technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |