CN112330533A - 混血人脸图像生成方法、模型训练方法、装置和设备 - Google Patents
混血人脸图像生成方法、模型训练方法、装置和设备 Download PDFInfo
- Publication number
- CN112330533A CN112330533A CN202011269305.4A CN202011269305A CN112330533A CN 112330533 A CN112330533 A CN 112330533A CN 202011269305 A CN202011269305 A CN 202011269305A CN 112330533 A CN112330533 A CN 112330533A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- blood
- human face
- degree parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000008280 blood Substances 0.000 title claims abstract description 179
- 210000004369 blood Anatomy 0.000 title claims abstract description 179
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000012549 training Methods 0.000 title claims abstract description 97
- 238000002156 mixing Methods 0.000 claims description 214
- 230000006870 function Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 17
- 230000003993 interaction Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000000697 sensory organ Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本公开实施例涉及一种混血人脸图像生成方法、模型训练方法、装置和设备，其中，该图像生成方法可以包括：获取原始人脸图像；利用预先训练的混血人脸风格图像生成模型，得到与原始人脸图像对应的混血人脸图像；其中，混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。本公开实施例可以丰富终端中的图像编辑功能，提升视频交互类应用程序的趣味性，为用户提供比较新颖的特效玩法。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种混血人脸图像生成方法、模型训练方法、装置和设备。
背景技术
目前，随着视频交互应用的功能逐渐丰富化，图像风格转换成为了一种新的趣味性玩法。图像风格转换是指将一幅或者多幅图像进行风格转换，生成符合用户需求的风格图像。然而，现有的视频交互应用中支持的风格转换类型仍然有限，不能满足用户的个性化图像风格转换需求。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种混血人脸图像生成方法、模型训练方法、装置和设备。
第一方面，本公开实施例提供了一种混血人脸图像生成方法，包括：
获取原始人脸图像；
利用预先训练的混血人脸风格图像生成模型，得到与所述原始人脸图像对应的混血人脸图像；
其中，所述混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
第二方面，本公开实施例还提供了一种混血人脸风格图像生成模型训练方法，包括：
基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；
其中，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类属性，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
第三方面，本公开实施例还提供了一种混血人脸图像生成装置，包括：
原始人脸图像获取模块，用于获取原始人脸图像；
混血人脸图像生成模块，用于利用预先训练的混血人脸风格图像生成模型，得到与所述原始人脸图像对应的混血人脸图像；
其中，所述混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
第四方面，本公开实施例还提供了一种混血人脸风格图像生成模型训练装置，包括：
风格图像生成模型确定模块，用于基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；
其中，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类属性，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
第五方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中：所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行本公开实施例提供的任一混血人脸图像生成方法或者混血人脸风格图像生成模型训练方法。
第六方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行本公开实施例提供的任一混血人脸图像生成方法或者混血人脸风格图像生成模型训练方法。
本公开实施例提供的技术方案与现有技术相比至少具有如下优点：在本公开实施例中，可以在服务器中预先训练得到混血人脸风格图像生成模型，然后下发至终端中，以供终端调用并生成与原始人脸图像对应的混血人脸图像，可以丰富终端中的图像编辑功能，以视频交互类应用程序为例，混血人脸风格图像生成模型的调用，不仅可以丰富应用程序的图像编辑功能，还能提升应用程序的趣味性，为用户提供比较新颖的特效玩法，进而提高用户的使用体验。并且，混血人脸风格图像生成模型的采用，相比于采用贴纸类特效得到混血人脸图像的方式，可以实现针对不同用户的原始人脸图像，动态生成与用户原始人脸图像相适应的混血人脸图像，提高生成混血人脸图像的智能化，并呈现较高的图像效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种混血人脸图像生成方法的流程图；
图2为本公开实施例提供的另一种混血人脸图像生成方法的流程图；
图3为本公开实施例提供的一种混血人脸风格图像生成模型训练方法的流程图；
图4为本公开实施例提供的另一种混血人脸风格图像生成模型训练方法的流程图；
图5为本公开实施例提供的一种混血人脸图像生成装置的结构示意图；
图6为本公开实施例提供的一种混血人脸风格图像生成模型训练装置的结构示意图；
图7为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例提供的一种混血人脸图像生成方法的流程图，应用于如何得到混血人脸图像的情况。该混血人脸图像生成方法可以由混血人脸图像生成装置执行，该生成装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑、笔记本电脑等用户终端。
并且，混血人脸图像生成装置可以采用独立的应用程序或者公众平台上集成的小程序的形式实现，还可以作为具有风格图像生成功能的应用程序或者小程序中集成的功能模块实现，该应用程序或者小程序可以包括但不限于视频交互类应用程序或者视频交互类小程序等。
在本公开实施例中，混血人脸图像用于指代同时包括不同人群分类的人脸特征的人脸图像。从生物学角度而言，存在一定基因差异的人种的后代可以称为混血。人群分类可以从肤色、脸型、五官、头发颜色和头发形态等方面进行区分。例如，同时包括第一肤色的A国人脸特征和第二肤色的B国人脸特征的人脸图像属于一种混血人脸图像，或者，同时包括C国人脸五官特点和D国人脸五官特点的人脸图像属于一种混血人脸图像。
无论是针对原始人脸图像还是针对人脸样本图像，将原始人脸变换为混血人脸之后，原始人脸上的表情与混血人脸上的表情可以保持一致，原始人脸上的五官状态与混血人脸上的五官状态也可以保持一致，例如原始人脸上呈现微笑的表情，对应的混血人脸上也呈现微笑表情；原始人脸上的眼部处于睁眼状态，对应的混血人脸上的眼部也处于睁眼状态等。
如图1所示，本公开实施例提供的混血人脸图像生成方法可以包括：
S101、获取原始人脸图像。
示例性的，当用户存在生成混血人脸图像的需求时，可以上传存储在终端中的图像或者通过终端的图像拍摄装置实时拍摄图像或者视频，终端根据用户在终端中的图像选择操作、图像拍摄操作或图像上传操作，获取待处理的原始人脸图像。
以用户通过在视频交互类应用程序中调用终端摄像头进行人脸图像拍摄为例，应用程序跳转到图像采集界面后，可以在图像采集界面上展示拍照提示信息，该拍照提示信息可以用于提示用户将脸部置于终端屏幕上的预设位置(例如屏幕中间位置等)、调整脸部距离终端屏幕的距离(调整该距离可以得到合适大小的脸部区域，避免脸部区域过大或者过小等)以及调整脸部的旋转角度(不同的旋转角度对应不同的脸部朝向，例如正脸或者侧脸等)等信息中的至少一种；用户根据拍照提示信息，进行图像拍摄，从而使得应用程序可以便捷得到符合模型输入的原始人脸图像。进一步的，应用程序还可以根据模型输入要求的图像条件预先存储拍照模板，该拍照模板预先定义了用户脸部在图像上的位置、图像上脸部区域的大小、脸部角度、图像尺寸等信息，应用程序可以根据用户的拍照操作，利用该拍照模板获得所需的原始人脸图像。
当然，当用户拍摄的图像与模型输入要求的图像条件(例如图像上的人脸位置、图像尺寸等)存在差异时，可以对用户拍摄的图像进行裁剪、缩放、旋转等操作处理，以得到符合模型输入的原始人脸图像。
S102、利用预先训练的混血人脸风格图像生成模型，得到与原始人脸图像对应的混血人脸图像。
混血人脸风格图像生成模型具有生成混血风格的人脸图像的功能。生成的混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。具体的，混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到。关于模型训练的具体实现过程本公开实施例不作具体限定，在确保最终训练得到的模型具有生成混血风格的人脸图像功能的基础上，本领域技术人员可以采用任意可用的训练方式以及灵活选择可用的模型结构。其中，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类，第一人脸样本图像对应的混血程度参数为最小混血程度参数，最小混血程度参数可以取值为0，第二人脸样本图像对应的混血程度参数为最大混血程度参数，最大混血程度参数可以取值为1。在模型训练过程中，采用的混血程度参数可以是最小混血程度参数和最大混血程度参数之间的任意值。
利用混血人脸风格图像生成模型得到的混血人脸图像对应的混血程度参数，也可以是最小混血程度参数和最大混血程度参数之间的任意值，该混血程度参数越接近最小混血程度参数，意味着生成的混血人脸图像上的人脸特征与原始人脸图像上的人脸特征越接近，该混血程度参数越接近最大混血程度参数，意味着生成的混血人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征越接近。
并且，利用混血人脸风格图像生成模型得到的混血人脸图像对应的混血程度参数与混血人脸风格图像生成模型训练过程中预设的混血程度参数有关。即在本公开实施例中，可以预先设置不同的混血程度参数，对应训练得到多个混血人脸风格图像生成模型，然后下发至终端，以供用户根据混血人脸图像生成需求，确定所需的混血程度参数，进而使得终端根据用户选择的混血程度参数调用相应的混血人脸风格图像生成模型，为用户生成混血人脸图像，并进行展示。
在上述技术方案的基础上，可选的，混血人脸风格图像生成模型基于第三人脸样本图像和混血人脸样本图像训练得到，第三人脸样本图像对应的混血程度参数为最小混血程度参数；混血人脸样本图像由预先训练的人脸生成模型基于第三人脸样本图像和第一预设混血程度参数生成；
人脸生成模型基于第一人脸样本图像、第二人脸样本图像和第二预设混血程度参数训练得到；其中，第一人脸样本图像和第三人脸样本图像可以是相同的人脸样本图像，也可以是不同的人脸样本图像，本公开实施例不作具体限定；
最小混血程度参数为第一预设混血程度参数和第二预设混血程度参数的取值下限，最大混血程度参数为第一预设混血程度参数和第二预设混血程度参数的取值上限。第一预设混血程度参数和第二预设混血程度参数的具体取值，在模型训练过程中，均可以适应性设置。
示例性的，上述涉及的模型训练过程可以包括：首先，将第二预设混血程度参数(例如取值为0或者1)作为图像生成模型的约束参数，基于第一人脸样本图像和第二人脸样本图像对图像生成模型进行训练，得到人脸生成模型，其中，可以利用的图像生成模型可以包括但不限于生成对抗网络(GAN，Generative Adversarial Networks)模型、基于样式的生成对抗网络(Stylegan，Style-Based Generator Architecture for GenerativeAdversarial Networks)模型等，具体实现原理可以参考现有技术；然后，将第一预设混血程度参数(例如取值为0.5)作为人脸生成模型的约束参数，基于人脸生成模型得到与第三人脸样本图像对应的混血人脸样本图像，即第三人脸样本图像和对应的混血人脸样本图像可以作为成对的训练数据用于后续的模型训练过程中；最后，基于第三人脸样本图像和混血人脸样本图像，对风格图像生成模型进行训练，得到混血人脸风格图像生成模型，其中，可以利用的风格图像生成模型可以包括诸如条件生成对抗网络(CGAN，ConditionalGenerative Adversarial Networks)模型、循环一致性生成对抗网络(Cycle-GAN，CycleConsistent Adversarial Networks)模型等。
可选的，人脸生成模型的损失函数与人脸生成模型训练过程中的输入图像和输出图像之间的相似度有关，相似度用于控制人脸生成模型训练过程中的输入图像和输出图像之间的相关性。即为了优化人脸生成模型的模型效果，在训练得到人脸生成模型的过程中，可以计算模型的输入图像和输出图像之间的相似度，作为模型训练的一种约束参数。以基于图像生成模型训练得到人脸生成模型为例，图像生成模型的损失函数也即人脸生成模型的损失函数，在得到人脸生成模型的过程中，还包括：确定输入图像生成模型的第一人脸样本图像和图像生成模型输出的图像之间的相似度，该相似度计算可以采用任意可用的图像相似度计算方式实现，例如余弦相似度计算等；将相似度添加至图像生成模型的损失函数中，该损失函数的实现形式可以参考现有图像生成模型的损失函数形式，以根据添加相似度之后的损失函数，控制输入图像生成模型的第一人脸样本图像和图像生成模型输出的图像之间的相关性。
在本公开实施例中，可以在服务器中预先训练得到混血人脸风格图像生成模型，然后下发至终端中，以供终端调用并生成与原始人脸图像对应的混血人脸图像，可以丰富终端中的图像编辑功能，以视频交互类应用程序为例，混血人脸风格图像生成模型的调用，不仅可以丰富应用程序的图像编辑功能，还能提升应用程序的趣味性，为用户提供比较新颖的特效玩法，进而提高用户的使用体验。并且，混血人脸风格图像生成模型的采用，相比于采用贴纸类特效得到混血人脸图像的方式，可以实现针对不同用户的原始人脸图像，动态生成与用户原始人脸图像相适应的混血人脸图像，提高生成混血人脸图像的智能化，并呈现较高的图像效果。
图2为本公开实施例提供的另一种混血人脸图像生成方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。
如图2所示，本公开实施例提供的混血人脸图像生成方法可以包括：
S201、识别用户图像上的人脸关键点，并基于人脸关键点对用户图像上的人脸位置进行调整，以得到原始人脸图像。
其中，原始人脸图像符合混血人脸风格图像生成模型要求的输入图像尺寸。用户图像可以是终端根据用户在终端中的图像选择操作、图像拍摄操作或图像上传操作所得到的图像。然后，终端利用人脸关键点识别技术，识别用户图像上的人脸关键点，并基于该人脸关键点调整用户图像上的人脸位置，其中涉及的图像处理操作可以包括裁剪、缩放、旋转等，以得到符合模型输入的原始人脸图像。示例性的，可以利用人脸关键点，基于现有的仿射变换原理，得到用于调整用户图像上人脸位置的变换矩阵，该变换矩阵可以与用户图像的缩放参数、裁剪比例等参数有关，然后基于变换矩阵调整用户图像上的人脸位置，以得到所需的原始人脸图像。
S202、获取原始人脸图像。
S203、利用预先训练的混血人脸风格图像生成模型，得到与原始人脸图像对应的混血人脸图像。
S204、将混血人脸图像上的人脸区域与用户图像上的背景区域进行融合，得到与用户图像对应的目标混血图像。
用户图像上的背景区域指用户图像上除去人脸区域之外的剩余图像区域。示例性的，可以利用图像处理技术，从混血人脸图像上提取出人脸区域，从用户图像上提取出背景区域，然后按照用户图像上背景区域的位置和人脸区域的位置，将两者融合(或称为混合)。即最终展示给用户的目标混血图像上，除了用户脸部特征发生变化外，图像背景保留了用户图像上的原始背景，避免了在生成混血风格的图像过程中对用户图像上背景区域的改变。
可选的，将混血人脸图像上的人脸区域与用户图像上的背景区域进行融合，得到与用户图像对应的目标混血图像，包括：
基于混血人脸图像，得到与用户图像具有相同图像尺寸的中间结果图像；其中，中间结果图像上的人脸区域位置与用户图像上的人脸区域位置相同；例如，可以按照混血人脸图像上人脸关键点和用户图像上人脸关键点的对应关系，将混血人脸图像映射至用户图像对应的图像坐标，得到中间结果图像；
基于预设人脸蒙版图像，将用户图像与中间结果图像进行融合，得到与用户图像对应的目标混血图像；其中，预设人脸蒙版图像用于将中间结果图像上的人脸区域确定为目标混血图像上的人脸区域，或者，预设人脸蒙版图像用于将用户图像上的人脸区域确定为图像融合过程中的无效人脸区域，即需要使用中间结果图像上的人脸区域作为有效人脸区域。
预设人脸蒙版图像的具体尺寸可以根据需求进行设置。通过利用预设人脸蒙版图像实现用户图像与中间结果图像的融合，在确保成功得到目标混血图像的基础上，有助于提高图像融合处理的效率。
进一步的，基于预设人脸蒙版图像，将用户图像与中间结果图像进行融合，得到与用户图像对应的目标混血图像，可以包括：
对预设人脸蒙版图像中的人脸边界进行平滑处理，例如进行高斯模糊处理等；
基于平滑处理后的人脸蒙版图像，将用户图像与中间结果图像进行融合，得到与用户图像对应的目标混血图像。
通过对预设人脸蒙版图像中的人脸边界进行平滑处理后，再参与图像融合，可以实现用户图像上背景区域与中间结果图像上人脸区域之间的平滑过度，优化图像融合效果，确保目标混血图像的最终展示效果。
在本公开实施例中，得到用户图像后，首先通过对用户图像进行人脸位置调整，得到原始人脸图像，然后利用混血人脸风格图像生成模型得到与原始人脸图像对应的混血人脸图像，最后将混血人脸图像上的人脸区域与用户图像上的背景区域进行融合，得到展示给用户的目标混血图像，在将用户脸部特征混血化的同时，保留了用户图像上的原始背景，丰富了终端中的图像编辑功能。以视频交互类应用程序为例，混血人脸风格图像生成模型的调用，不仅丰富了应用程序的图像编辑功能，还提升了应用程序的趣味性，为用户提供了比较新颖的特效玩法，进而提高了用户的使用体验。
并且，在得到与用户图像对应的目标混血图像或者在得到与原始人脸图像对应的混血人脸图像之后，还可以根据用户在图像编辑界面上的特效选择操作，确定用户选择的特效标识，将与用户选择的特效标识对应特效添加至目标混血图像或混血人脸图像，以进一步提升图像编辑的趣味性。用户可选择的特效可以包括任意类型的道具或贴纸等，本公开实施例不作具体限定。
图3为本公开实施例提供的一种混血人脸风格图像生成模型训练方法的流程图，应用于如何训练得到具有混血人脸图像生成功能的混血人脸风格图像生成模型的情况。该模型训练方法可以由混血人脸风格图像生成模型训练装置执行，该装置可以采用软件和/或硬件实现，并可集成在服务器中。
本公开实施例提供的混血人脸风格图像生成模型训练方法，包括图3和图4所展示的模型训练方法，与上述混血人脸图像生成方法配合执行，以下实施例中未详细描述的内容，可以参考上述实施例中的解释。
如图3所示，本公开实施例提供的混血人脸风格图像生成模型训练方法可以包括：
S301、基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型。
其中，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类属性，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
关于模型训练的具体实现过程本公开实施例不作具体限定，在确保最终训练得到的模型具有生成混血风格的人脸图像功能的基础上，本领域技术人员可以采用任意可用的训练方式以及灵活选择可用的模型结构。
作为对上述模型训练方案的进一步优化与扩展，图4为本公开实施例提供的另一种混血人脸风格图像生成模型训练方法的流程图，但不应理解对本公开实施例的具体限定。如图4所示，本公开实施例提供的混血人脸风格图像生成模型训练方法可以包括：
S401、将第二预设混血程度参数作为图像生成模型的约束参数，基于第一人脸样本图像和第二人脸样本图像对图像生成模型进行训练，得到人脸生成模型。
可选的，在基于第一人脸样本图像和第二人脸样本图像对图像生成模型进行训练，得到人脸生成模型的过程中，还包括：
确定输入图像生成模型的第一人脸样本图像和图像生成模型输出的图像之间的相似度；
将相似度添加至图像生成模型的损失函数中，以根据添加相似度之后的损失函数，控制输入图像生成模型的第一人脸样本图像和图像生成模型输出的图像之间的相关性。
S402、将第一预设混血程度参数作为人脸生成模型的约束参数，基于人脸生成模型得到与第三人脸样本图像对应的混血人脸样本图像。
其中，第三人脸样本图像对应的混血程度参数为最小混血程度参数。
S403、基于第三人脸样本图像和混血人脸样本图像，对风格图像生成模型进行训练，得到混血人脸风格图像生成模型。
在本公开实施例中，可以在服务器中预先训练得到混血人脸风格图像生成模型，然后下发至终端中，以供终端调用并生成与原始人脸图像对应的混血人脸图像，可以丰富终端中的图像编辑功能，以视频交互类应用程序为例，混血人脸风格图像生成模型的调用，不仅可以丰富应用程序的图像编辑功能，还能提升应用程序的趣味性，为用户提供比较新颖的特效玩法，进而提高用户的使用体验。
图5为本公开实施例提供的一种混血人脸图像生成装置的结构示意图，应用于如何得到混血人脸图像的情况，该生成装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑、笔记本电脑等用户终端。
如图5所示，本公开实施例提供的混血人脸图像生成装置500可以包括原始人脸图像获取模块501和混血人脸图像生成模块502，其中：
原始人脸图像获取模块501，用于获取原始人脸图像；
混血人脸图像生成模块502，用于利用预先训练的混血人脸风格图像生成模型，得到与原始人脸图像对应的混血人脸图像；
其中，混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
可选的，混血人脸风格图像生成模型基于第三人脸样本图像和混血人脸样本图像训练得到，第三人脸样本图像对应的混血程度参数为最小混血程度参数；
混血人脸样本图像由预先训练的人脸生成模型基于第三人脸样本图像和第一预设混血程度参数生成；
人脸生成模型基于第一人脸样本图像、第二人脸样本图像和第二预设混血程度参数训练得到；
最小混血程度参数为第一预设混血程度参数和第二预设混血程度参数的取值下限，最大混血程度参数为第一预设混血程度参数和第二预设混血程度参数的取值上限。
可选的，人脸生成模型的损失函数与人脸生成模型训练过程中的输入图像和输出图像之间的相似度有关，相似度用于控制人脸生成模型训练过程中的输入图像和输出图像之间的相关性。
可选的，本公开实施例提供的混血人脸图像生成装置500还包括：
人脸位置调整模块，用于识别用户图像上的人脸关键点，并基于人脸关键点对用户图像上的人脸位置进行调整，以得到原始人脸图像；其中，原始人脸图像符合混血人脸风格图像生成模型要求的输入图像尺寸；
目标混血图像生成模块，用于将混血人脸图像上的人脸区域与用户图像上的背景区域进行融合，得到与用户图像对应的目标混血图像。
可选的，目标混血图像生成模块包括：
中间结果图像确定单元，用于基于混血人脸图像，得到与用户图像具有相同图像尺寸的中间结果图像；其中，中间结果图像上的人脸区域位置与用户图像上的人脸区域位置相同；
图像融合单元，用于基于预设人脸蒙版图像，将用户图像与中间结果图像进行融合，得到与用户图像对应的目标混血图像；其中，预设人脸蒙版图像用于将中间结果图像上的人脸区域确定为目标混血图像上的人脸区域。
本公开实施例所提供的混血人脸图像生成装置可执行本公开实施例所提供的任意混血人脸图像生成方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图6为本公开实施例提供的一种混血人脸风格图像生成模型训练装置的结构示意图，应用于如何训练得到具有混血人脸图像生成功能的混血人脸风格图像生成模型的情况。该训练装置可以采用软件和/或硬件实现，并可集成在服务器中。
如图6所示，本公开实施例提供的混血人脸风格图像生成模型训练装置600可以包括：
风格图像生成模型确定模块601，用于基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；
其中，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类属性，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
可选的，风格图像生成模型确定模块601包括：
人脸生成模型训练单元，用于将第二预设混血程度参数作为图像生成模型的约束参数，基于第一人脸样本图像和第二人脸样本图像对图像生成模型进行训练，得到人脸生成模型；
混血人脸样本图像生成单元，用于将第一预设混血程度参数作为人脸生成模型的约束参数，基于人脸生成模型得到与第三人脸样本图像对应的混血人脸样本图像；其中，第三人脸样本图像对应的混血程度参数为最小混血程度参数；
风格图像生成模型训练单元，用于基于第三人脸样本图像和混血人脸样本图像，对风格图像生成模型进行训练，得到混血人脸风格图像生成模型。
可选的，风格图像生成模型确定模块601还包括：
相似度确定单元，用于确定输入图像生成模型的第一人脸样本图像和图像生成模型输出的图像之间的相似度；
损失函数确定单元，用于将确定的相似度添加至图像生成模型的损失函数中，以根据添加相似度之后的损失函数，控制输入图像生成模型的第一人脸样本图像和图像生成模型输出的图像之间的相关性。
本公开实施例所提供的混血人脸风格图像生成模型训练装置可执行本公开实施例所提供的任意混血人脸风格图像生成模型训练方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
图7为本公开实施例提供的一种电子设备的结构示意图，用于对实现本公开实施例提供的混血人脸图像生成方法或者混血人脸风格图像生成模型训练方法的电子设备进行示例性说明。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、服务器等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和占用范围带来任何限制。
如图7所示，电子设备700包括一个或多个处理器701和存储器702。
处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备700中的其他组件以执行期望的功能。
存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现本公开实施例提供的混血人脸图像生成方法或者混血人脸风格图像生成模型训练方法，还可以实现其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
其中，混血人脸图像生成方法可以包括：获取原始人脸图像；利用预先训练的混血人脸风格图像生成模型，得到与原始人脸图像对应的混血人脸图像；其中，混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
其中，混血人脸风格图像生成模型训练方法可以包括：基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；其中，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类属性，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
应当理解，电子设备700还可以执行本公开方法实施例提供的其他可选实施方案。
在一个示例中，电子设备700还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置703还可以包括例如键盘、鼠标等等。
该输出装置704可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置704可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备700中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备700还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的混血人脸图像生成方法或者混血人脸风格图像生成模型训练方法。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上且部分在远程电子设备上执行、或者完全在远程电子设备上执行。
此外，本公开实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的混血人脸图像生成方法或者混血人脸风格图像生成模型训练方法。
其中，混血人脸图像生成方法可以包括：获取原始人脸图像；利用预先训练的混血人脸风格图像生成模型，得到与原始人脸图像对应的混血人脸图像；其中，混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
其中，混血人脸风格图像生成模型训练方法可以包括：基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；其中，第一人脸样本图像和第二人脸样本图像分别归属不同的人群分类属性，第一人脸样本图像对应的混血程度参数为最小混血程度参数，第二人脸样本图像对应的混血程度参数为最大混血程度参数，混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，混血人脸图像同时包括原始人脸图像上的人脸特征和与原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
应当理解，计算机程序指令在被处理器运行时，还可以使得处理器执行本公开方法实施例提供的其他可选实施方案。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种混血人脸图像生成方法，其特征在于，包括：
获取原始人脸图像；
利用预先训练的混血人脸风格图像生成模型，得到与所述原始人脸图像对应的混血人脸图像；
其中，所述混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
2.根据权利要求1所述的方法，其特征在于：
所述混血人脸风格图像生成模型基于第三人脸样本图像和混血人脸样本图像训练得到，所述第三人脸样本图像对应的混血程度参数为所述最小混血程度参数；
所述混血人脸样本图像由预先训练的人脸生成模型基于所述第三人脸样本图像和第一预设混血程度参数生成；
所述人脸生成模型基于所述第一人脸样本图像、所述第二人脸样本图像和第二预设混血程度参数训练得到；
所述最小混血程度参数为所述第一预设混血程度参数和所述第二预设混血程度参数的取值下限，所述最大混血程度参数为所述第一预设混血程度参数和所述第二预设混血程度参数的取值上限。
3.根据权利要求2所述的方法，其特征在于，所述人脸生成模型的损失函数与所述人脸生成模型训练过程中的输入图像和输出图像之间的相似度有关，所述相似度用于控制所述人脸生成模型训练过程中的输入图像和输出图像之间的相关性。
4.根据权利要求1所述的方法，其特征在于，在所述获取原始人脸图像之前，还包括：
识别用户图像上的人脸关键点，并基于所述人脸关键点对所述用户图像上的人脸位置进行调整，以得到所述原始人脸图像；其中，所述原始人脸图像符合所述混血人脸风格图像生成模型要求的输入图像尺寸；
相应的，在所述利用预先训练的混血人脸风格图像生成模型，得到与所述原始人脸图像对应的混血人脸图像之后，还包括：
将所述混血人脸图像上的人脸区域与所述用户图像上的背景区域进行融合，得到与所述用户图像对应的目标混血图像。
5.根据权利要求4所述的方法，其特征在于，将所述混血人脸图像上的人脸区域与所述用户图像上的背景区域进行融合，得到与所述用户图像对应的目标混血图像，包括：
基于所述混血人脸图像，得到与所述用户图像具有相同图像尺寸的中间结果图像；其中，所述中间结果图像上的人脸区域位置与所述用户图像上的人脸区域位置相同；
基于预设人脸蒙版图像，将所述用户图像与所述中间结果图像进行融合，得到与所述用户图像对应的目标混血图像；其中，所述预设人脸蒙版图像用于将所述中间结果图像上的人脸区域确定为所述目标混血图像上的人脸区域。
6.一种混血人脸风格图像生成模型训练方法，其特征在于，包括：
基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；
其中，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类属性，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
7.根据权利要求6所述的方法，其特征在于，所述基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型，包括：
将第二预设混血程度参数作为图像生成模型的约束参数，基于所述第一人脸样本图像和所述第二人脸样本图像对所述图像生成模型进行训练，得到人脸生成模型；
将第一预设混血程度参数作为所述人脸生成模型的约束参数，基于所述人脸生成模型得到与第三人脸样本图像对应的混血人脸样本图像；其中，所述第三人脸样本图像对应的混血程度参数为所述最小混血程度参数；
基于所述第三人脸样本图像和所述混血人脸样本图像，对风格图像生成模型进行训练，得到所述混血人脸风格图像生成模型。
8.根据权利要求7所述的方法，其特征在于，在所述基于所述第一人脸样本图像和所述第二人脸样本图像对所述图像生成模型进行训练，得到人脸生成模型的过程中，还包括：
确定输入所述图像生成模型的第一人脸样本图像和所述图像生成模型输出的图像之间的相似度；
将所述相似度添加至所述图像生成模型的损失函数中，以根据添加所述相似度之后的损失函数，控制输入所述图像生成模型的第一人脸样本图像和所述图像生成模型输出的图像之间的相关性。
9.一种混血人脸图像生成装置，其特征在于，包括：
原始人脸图像获取模块，用于获取原始人脸图像；
混血人脸图像生成模块，用于利用预先训练的混血人脸风格图像生成模型，得到与所述原始人脸图像对应的混血人脸图像；
其中，所述混血人脸风格图像生成模型基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
10.一种混血人脸风格图像生成模型训练装置，其特征在于，包括：
风格图像生成模型确定模块，用于基于第一人脸样本图像、第二人脸样本图像、最小混血程度参数和最大混血程度参数训练得到混血人脸风格图像生成模型；
其中，所述第一人脸样本图像和所述第二人脸样本图像分别归属不同的人群分类属性，所述第一人脸样本图像对应的混血程度参数为所述最小混血程度参数，所述第二人脸样本图像对应的混血程度参数为所述最大混血程度参数，所述混血人脸风格图像生成模型用于得到与原始人脸图像对应的混血人脸图像，所述混血人脸图像同时包括所述原始人脸图像上的人脸特征和与所述原始人脸图像归属不同人群分类的人脸图像上的人脸特征。
11.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行权利要求1-5中任一项所述的混血人脸图像生成方法，或者执行权利要求6-8中任一项所述的混血人脸风格图像生成模型训练方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行权利要求1-5中任一项所述的混血人脸图像生成方法，或者执行权利要求6-8中任一项所述的混血人脸风格图像生成模型训练方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011269305.4A CN112330533A (zh) | 2020-11-13 | 2020-11-13 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
| PCT/CN2021/130214 WO2022100680A1 (zh) | 2020-11-13 | 2021-11-12 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011269305.4A CN112330533A (zh) | 2020-11-13 | 2020-11-13 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330533A true CN112330533A (zh) | 2021-02-05 |
Family
ID=74317522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011269305.4A Pending CN112330533A (zh) | 2020-11-13 | 2020-11-13 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112330533A (zh) |
| WO (1) | WO2022100680A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112837213A (zh) * | 2021-02-07 | 2021-05-25 | 北京字跳网络技术有限公司 | 脸型调整图像生成方法、模型训练方法、装置和设备 |
| CN112991150A (zh) * | 2021-02-08 | 2021-06-18 | 北京字跳网络技术有限公司 | 风格图像生成方法、模型训练方法、装置和设备 |
| CN113449774A (zh) * | 2021-06-02 | 2021-09-28 | 北京鹰瞳科技发展股份有限公司 | 眼底图像质量控制方法、装置、电子设备及存储介质 |
| CN113613070A (zh) * | 2021-10-08 | 2021-11-05 | 北京奇艺世纪科技有限公司 | 一种人脸视频处理方法、装置、电子设备及存储介质 |
| WO2022100680A1 (zh) * | 2020-11-13 | 2022-05-19 | 北京字跳网络技术有限公司 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846793A (zh) * | 2018-05-25 | 2018-11-20 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| US20190050632A1 (en) * | 2017-08-14 | 2019-02-14 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method and apparatus for generating training data for human face recognition, device and computer storage medium |
| CN110135574A (zh) * | 2018-02-09 | 2019-08-16 | 北京世纪好未来教育科技有限公司 | 神经网络训练方法、图像生成方法及计算机存储介质 |
| US20190332850A1 (en) * | 2018-04-27 | 2019-10-31 | Apple Inc. | Face Synthesis Using Generative Adversarial Networks |
| CN110956079A (zh) * | 2019-10-12 | 2020-04-03 | 深圳壹账通智能科技有限公司 | 人脸识别模型构建方法、装置、计算机设备和存储介质 |
| CN111652828A (zh) * | 2020-05-27 | 2020-09-11 | 北京百度网讯科技有限公司 | 人脸图像生成方法、装置、设备和介质 |
| CN111833242A (zh) * | 2020-07-17 | 2020-10-27 | 北京字节跳动网络技术有限公司 | 人脸变换方法、装置、电子设备和计算机可读介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109993716B (zh) * | 2017-12-29 | 2023-04-14 | 微软技术许可有限责任公司 | 图像融合变换 |
| CN110705625A (zh) * | 2019-09-26 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111598818B (zh) * | 2020-04-17 | 2023-04-28 | 北京百度网讯科技有限公司 | 人脸融合模型训练方法、装置及电子设备 |
| CN112330533A (zh) * | 2020-11-13 | 2021-02-05 | 北京字跳网络技术有限公司 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
-
2020
- 2020-11-13 CN CN202011269305.4A patent/CN112330533A/zh active Pending
-
2021
- 2021-11-12 WO PCT/CN2021/130214 patent/WO2022100680A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190050632A1 (en) * | 2017-08-14 | 2019-02-14 | Baidu Online Network Technology (Beijing) Co., Ltd . | Method and apparatus for generating training data for human face recognition, device and computer storage medium |
| CN110135574A (zh) * | 2018-02-09 | 2019-08-16 | 北京世纪好未来教育科技有限公司 | 神经网络训练方法、图像生成方法及计算机存储介质 |
| US20190332850A1 (en) * | 2018-04-27 | 2019-10-31 | Apple Inc. | Face Synthesis Using Generative Adversarial Networks |
| CN108846793A (zh) * | 2018-05-25 | 2018-11-20 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN110956079A (zh) * | 2019-10-12 | 2020-04-03 | 深圳壹账通智能科技有限公司 | 人脸识别模型构建方法、装置、计算机设备和存储介质 |
| CN111652828A (zh) * | 2020-05-27 | 2020-09-11 | 北京百度网讯科技有限公司 | 人脸图像生成方法、装置、设备和介质 |
| CN111833242A (zh) * | 2020-07-17 | 2020-10-27 | 北京字节跳动网络技术有限公司 | 人脸变换方法、装置、电子设备和计算机可读介质 |
Non-Patent Citations (3)
| Title |
|---|
| SEYMA YUCER等: "Exploring Racial Bias within Face Recognition via per-subject Adversarially-Enabled Data Augmentation", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
| XUDONG LIU等: "Face Beautification：Beyond Makeup Transfer", 《ARXIV:1912.03630V2 [CS.CV]》 * |
| 王通平: "基于CycleGAN改进的异质人脸图像合成算法", 《现代计算机》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022100680A1 (zh) * | 2020-11-13 | 2022-05-19 | 北京字跳网络技术有限公司 | 混血人脸图像生成方法、模型训练方法、装置和设备 |
| CN112837213A (zh) * | 2021-02-07 | 2021-05-25 | 北京字跳网络技术有限公司 | 脸型调整图像生成方法、模型训练方法、装置和设备 |
| WO2022166897A1 (zh) * | 2021-02-07 | 2022-08-11 | 北京字跳网络技术有限公司 | 脸型调整图像生成方法、模型训练方法、装置和设备 |
| CN112991150A (zh) * | 2021-02-08 | 2021-06-18 | 北京字跳网络技术有限公司 | 风格图像生成方法、模型训练方法、装置和设备 |
| WO2022166908A1 (zh) * | 2021-02-08 | 2022-08-11 | 北京字跳网络技术有限公司 | 风格图像生成方法、模型训练方法、装置和设备 |
| CN113449774A (zh) * | 2021-06-02 | 2021-09-28 | 北京鹰瞳科技发展股份有限公司 | 眼底图像质量控制方法、装置、电子设备及存储介质 |
| CN113613070A (zh) * | 2021-10-08 | 2021-11-05 | 北京奇艺世纪科技有限公司 | 一种人脸视频处理方法、装置、电子设备及存储介质 |
| CN113613070B (zh) * | 2021-10-08 | 2022-01-18 | 北京奇艺世纪科技有限公司 | 一种人脸视频处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022100680A1 (zh) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330533A (zh) | 混血人脸图像生成方法、模型训练方法、装置和设备 | |
| CN110827378B (zh) | 虚拟形象的生成方法、装置、终端及存储介质 | |
| CN110475069B (zh) | 图像的拍摄方法及装置 | |
| CN110072047B (zh) | 图像形变的控制方法、装置和硬件装置 | |
| CN112837213A (zh) | 脸型调整图像生成方法、模型训练方法、装置和设备 | |
| CN110148191B (zh) | 视频虚拟表情生成方法、装置及计算机可读存储介质 | |
| JP2020507159A (ja) | ピクチャプッシュの方法、移動端末および記憶媒体 | |
| CN107220614B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN115937033B (zh) | 图像生成方法、装置及电子设备 | |
| WO2022100690A1 (zh) | 动物脸风格图像生成方法、模型训练方法、装置和设备 | |
| CN111488759A (zh) | 动物脸部的图像处理方法和装置 | |
| CN112991151A (zh) | 图像处理方法、图像生成方法、装置、设备和介质 | |
| CN112036307A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111507139A (zh) | 图像效果生成方法、装置和电子设备 | |
| CN112381709B (zh) | 图像处理方法、模型训练方法、装置、设备和介质 | |
| KR102557428B1 (ko) | 인공지능 기반 인테리어 커스터마이징 방법 | |
| CN113987142A (zh) | 与虚拟人偶的语音智能交互方法、装置、设备及存储介质 | |
| CN111507143B (zh) | 表情图像效果生成方法、装置和电子设备 | |
| CN111079472A (zh) | 图像对比方法和装置 | |
| CN113761281B (zh) | 虚拟资源处理方法、装置、介质及电子设备 | |
| CN107888830B (zh) | 相机启动方法及装置、计算机装置和计算机可读存储介质 | |
| CN110807408B (zh) | 人物属性识别方法及装置 | |
| CN112685588B (zh) | 资源推荐方法、装置、设备和存储介质 | |
| CN116456161A (zh) | 直播间推荐链接的弹窗控制方法、装置及网络直播系统 | |
| CN114870404A (zh) | 虚拟宠物生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |