CN110930297A - 人脸图像的风格迁移方法、装置、电子设备及存储介质 - Google Patents
人脸图像的风格迁移方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110930297A CN110930297A CN201911142690.3A CN201911142690A CN110930297A CN 110930297 A CN110930297 A CN 110930297A CN 201911142690 A CN201911142690 A CN 201911142690A CN 110930297 A CN110930297 A CN 110930297A
- Authority
- CN
- China
- Prior art keywords
- face image
- face
- cartoon
- neural network
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000013508 migration Methods 0.000 claims abstract description 68
- 230000005012 migration Effects 0.000 claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000013507 mapping Methods 0.000 claims description 71
- 230000004913 activation Effects 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 54
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 6
- 230000002457 bidirectional effect Effects 0.000 abstract description 5
- 210000001508 eye Anatomy 0.000 description 61
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 210000000697 sensory organ Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种人脸图像的风格迁移方法、装置、电子设备及存储介质。方法包括：将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；人脸特征包括人脸区域和人脸宽度；待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，目标人脸图像为真人人脸图像或动漫人脸图像通过人脸区域和人脸宽度对动漫人脸图像样本和真人人脸图像样本进行训练，得到第一卷积神经网络。通过第一卷积神经网络对待迁移人脸图像进行风格迁移处理，得到目标人脸图像，能够实现动漫人脸图像和真实人脸图像双向的风格迁移，同时保持脸部结构特征，减少脸部变形。
Description
技术领域
本发明涉及图像技术领域，尤其涉及一种人脸图像的风格迁移方法、装置、电子设备及存储介质。
背景技术
动漫一直深受人们的喜爱，动漫爱好者喜欢将动漫角色真人化，或是将自己的形象动漫化。通常情况下，动漫真人化通过为真人打造妆容、发型和服装等方面，来贴近动漫角色的形象；真人动漫化通过漫画作家直接进行真人人脸的动漫化创作，这个过程通常费时费力。
现有技术中基于卷积神经网络实现动漫人脸和真人人脸之间的单一迁移，即从动漫人脸自动转换为真人人脸，或从真人人脸自动转换为动漫人脸。但由于动漫人脸的夸张结构和真人人脸的结构存在较大差异，因此迁移效果往往不彻底，而且容易导致严重的面部变形；而基于生成对抗网络的风格迁移方法，虽然可以通过随机噪声生成令人惊叹的脸谱图，但网络中缺乏人脸高层语义特征的约束，同样容易导致严重的面部变形等问题。
因此，如何避免动漫人脸和真人人脸之间进行风格迁移后严重的面部变形，是目前业界亟待解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种人脸图像的风格迁移方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供一种人脸图像的风格迁移方法，包括：
将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
可选地，所述将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像，具体包括：
将待迁移人脸图像输入第一卷积神经网络，通过所述第一卷积神经网络确定所述待迁移人脸图像的图像标签，所述图像标签包括动漫人脸标签或真人人脸标签；
根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像。
可选地，所述根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像，具体包括：
通过所述第一卷积神经网络的卷积操作得到所述待迁移人脸图像的待迁移人脸特征；
根据所述图像标签、所述第一卷积神经网络的映射向量对所述待迁移人脸特征进行映射，得到目标人脸特征；
通过所述第一卷积神经网络对所述目标人脸特征进行反卷积操作，得到目标人脸图像。
可选地，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到，具体包括：
提取每一张动漫人脸图像样本/真人人脸图像样本的人脸区域和人脸宽度，所述人脸区域包括脸型轮廓、脸部上三角区和脸部下三角区，所述人脸宽度包括嘴角宽度、眼角平均宽度和脸颊宽度；
根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度、眼角平均宽度和脸颊宽度，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
可选地，所述根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图，具体包括：
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的眼角平均宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的眼角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例和眼角比例，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据脸型轮廓蒙版、脸部上三角区蒙版和脸部下三角区蒙版对每一张动漫人脸图像样本/真人人脸图像样本进行合成，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集，并将所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集输入第二卷积神经网络，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图。
可选地，所述根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量，具体包括：
分别将所有动漫人脸图像样本/真人人脸图像样本的三个激活映射图转换为三个一维向量，并根据所有动漫人脸图像样本/真人人脸图像样本的三个一维向量、嘴角平均比例和眼角平均比例，合并得到所有动漫人脸图像样本/真人人脸图像样本的人脸长向量；
根据所有动漫人脸图像样本的人脸长向量和所有真人人脸图像样本的人脸长向量的比值，得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
可选地，所述人脸图像的风格迁移方法还包括：
将所述目标人脸图像输入第三卷积神经网络进行判别，得到判别结果；
确定所述判别结果不符合人脸区域要求，根据所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例对所述目标人脸图像进行调整。
第二方面，本发明实施例提供一种人脸图像的风格迁移装置，包括：
风格迁移模块，用于将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
可选地，所述风格迁移模块具体用于：
将待迁移人脸图像输入第一卷积神经网络，通过所述第一卷积神经网络确定所述待迁移人脸图像的图像标签，所述图像标签包括动漫人脸标签或真人人脸标签；
根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像。
可选地，所述风格迁移模块具体用于：
通过所述第一卷积神经网络的卷积操作得到所述待迁移人脸图像的待迁移人脸特征；
根据所述图像标签、所述第一卷积神经网络的映射向量对所述待迁移人脸特征进行映射，得到目标人脸特征；
通过所述第一卷积神经网络对所述目标人脸特征进行反卷积操作，得到目标人脸图像。
可选地，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到，具体包括：
提取每一张动漫人脸图像样本/真人人脸图像样本的人脸区域和人脸宽度，所述人脸区域包括脸型轮廓、脸部上三角区和脸部下三角区，所述人脸宽度包括嘴角宽度、眼角平均宽度和脸颊宽度；
根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度、眼角平均宽度和脸颊宽度，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
可选地，所述根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图，具体包括：
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的眼角平均宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的眼角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例和眼角比例，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据脸型轮廓蒙版、脸部上三角区蒙版和脸部下三角区蒙版对每一张动漫人脸图像样本/真人人脸图像样本进行合成，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集，并将所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集输入第二卷积神经网络，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图。
可选地，所述根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量，具体包括：
分别将所有动漫人脸图像样本/真人人脸图像样本的三个激活映射图转换为三个一维向量，并根据所有动漫人脸图像样本/真人人脸图像样本的三个一维向量、嘴角平均比例和眼角平均比例，合并得到所有动漫人脸图像样本/真人人脸图像样本的人脸长向量；
根据所有动漫人脸图像样本的人脸长向量和所有真人人脸图像样本的人脸长向量的比值，得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
可选地，所述人脸图像的风格迁移装置还包括：
将所述目标人脸图像输入第三卷积神经网络进行判别，得到判别结果；
图像调整模块，用于确定所述判别结果不符合人脸区域要求，根据所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例对所述目标人脸图像进行调整。
第三方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
本发明实施例提供的人脸图像的风格迁移方法、装置、电子设备及存储介质，通过人脸区域和人脸宽度对动漫人脸图像样本和真人人脸图像样本进行训练，得到第一卷积神经网络，通过第一卷积神经网络对待迁移人脸图像进行风格迁移处理，得到目标人脸图像，能够实现动漫人脸图像和真实人脸图像双向的风格迁移，同时保持脸部结构特征，减少脸部变形。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1本发明实施例提供的人脸图像的风格迁移方法的流程示意图；
图2本发明实施例提供的第一卷积神经网络训练的流程示意图；
图3本发明实施例提供的第一卷积神经网络处理的流程示意图；
图4本发明实施例提供的人脸图像的风格迁移装置的结构示意图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本实施例提供的一种人脸图像的风格迁移方法的流程示意图，如图1所示，包括：
S101、将待迁移人脸图像输入第一卷积神经网络，如图1所示，得到风格迁移后的目标人脸图像。
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到。
所述人脸特征包括人脸区域和人脸宽度。
人脸区域为人脸图像中对人脸进行划分，得到的若干个不同的区域，例如脸型轮廓、脸部上三角区和脸部下三角区。
人脸宽带为人脸图像中人脸关键部位的宽度，例如嘴角宽度、眼角平均宽度和脸颊宽度。
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
举例来说，当待迁移人脸图像为动漫人脸图像时，将该动漫人脸图像输入第一卷积神经网络，第一卷积神经网络对该动漫人脸图像进行风格迁移后，输出真人人脸图像，此时该真人人脸图像即为目标人脸图像。
当待迁移人脸图像为真人人脸图像时，将该真人人脸图像输入第一卷积神经网络，第一卷积神经网络对该真人人脸图像进行风格迁移后，输出动漫人脸图像，此时该动漫人脸图像即为目标人脸图像。
本实施例通过人脸区域和人脸宽度对动漫人脸图像样本和真人人脸图像样本进行训练，得到第一卷积神经网络，通过第一卷积神经网络对待迁移人脸图像进行风格迁移处理，得到目标人脸图像，能够实现动漫人脸图像和真实人脸图像双向的风格迁移，同时保持脸部结构特征，减少脸部变形。
进一步地，在上述方法实施例的基础上，S101具体包括：
将待迁移人脸图像输入第一卷积神经网络，通过所述第一卷积神经网络确定所述待迁移人脸图像的图像标签，所述图像标签包括动漫人脸标签或真人人脸标签。
根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像。
其中，所述图像标签为标记人脸图像风格的标签，包括两种类型：动漫人脸标签或真人人脸标签。
通过第一卷积神经网络确定待迁移人脸图像的图像标签，方便第一卷积神经网络根据该图像标签对该待迁移人脸图像进行风格迁移。例如：当图像标签为动漫人脸标签时，第一卷积神经网络确定动漫人脸标签后，便将动漫人脸图像转换为真人人脸图像；当图像标签为真人人脸标签时，第一卷积神经网络确定真人人脸标签后，便将真人人脸图像转换为动漫人脸图像。
进一步地，在上述方法实施例的基础上，所述根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像具体包括：
通过所述第一卷积神经网络的卷积操作得到所述待迁移人脸图像的待迁移人脸特征。
根据所述图像标签、所述第一卷积神经网络的映射向量对所述待迁移人脸特征进行映射，得到目标人脸特征。
通过所述第一卷积神经网络对所述目标人脸特征进行反卷积操作，得到目标人脸图像。
其中，所述待迁移人脸特征为待迁移人脸图像的人脸特征，即待迁移人脸图像的人脸区域和人脸宽度。
所述映射向量为第一卷积神经网络对动漫人脸图像样本和动漫人脸图像样本训练过程中得到的向量，表示人脸五官在脸谱上距离的映射关系。
所述卷积操作为第一卷积神经网络中卷积层对人脸图像进行的操作。
所述反卷积操作为第一卷积神经网络中反卷积层对人脸图像进行的操作。
具体来说，在第一卷积神经网络的训练过程中，如图2所示，以动漫向真人的人脸融合风格迁移过程为例，首先采集动漫人脸图像，清洗数据后做成动漫人脸数据集；然后基于五官拓展语义建模，即基于五官语义分解来提取动漫人脸的稳定特征，制作成动漫人脸稳定特征数据集：“稳定”表示每一张人脸图像的表情正常、不过分夸张扭曲，极端情况的图像在数据清洗时已被筛选过滤；“稳定特征”表示在人脸“稳定”前提下从每一张人脸图像中所能提取到的人脸基本数据信息，包括脸型轮廓、脸部上三角区、脸部下三角区、嘴角宽度、眼角平均宽度以及脸颊宽度；所有的尺度信息通过计算和脸颊宽度所成比例后存储；对动漫人脸数据集中所有图像，分别提取人脸稳定特征，制作成动漫人脸稳定特征数据集。同上述步骤提取真人人脸稳定特征。
综上，在第一卷积神经网络的训练过程中，每一张训练用的动漫人脸图像样本/真人人脸图像样本均包括人脸稳定特征，所述人脸稳定特征为人脸表情不夸张、不扭曲的人脸特征，即动漫人脸图像样本/真人人脸图像样本的嘴角比例和眼角比例在预设范围内，动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区、脸部下三角区在预设区域内。
将人脸划分为“人脸区域”、“人脸宽度”两部分，后续将以两种不同的方案进行处理：按照人脸各部件的“位置、尺寸”关系，将人脸结构划分为两部分，一是“人脸区域”，包括脸型轮廓、脸部上三角区、脸部下三角区；二是“人脸宽度”，包括嘴角宽度、眼角平均宽度以及脸颊宽度；人脸区域部分保证对应位置关系的不变性(如眼鼻嘴的上中下关系)，人脸宽度部分保持人脸部件尺寸和人脸比例的协调性(如眼宽和脸宽的关系)。
将稳定特征分为人脸区域、人脸宽度两部分后分别进行处理，提取出动漫人脸、真人人脸的宏观语义；并建立五官在脸谱上距离的映射关系：将动漫人脸与真人人脸进行匹配对，具有匹配后动漫和真人的人脸宏观语义长向量，相除后的比值，作为映射向量；使用卷积神经网络判别输入图像标签及提取五官语义特征；建立神经风格迁移学习框架，使用生成式对抗网络，以待转换的图片和目标图片标签、特征映射关系为输入，训练得到双向融合模型，即所述第一卷积神经网络。所述第一卷积神经网络可对输入的动漫/真人人脸图像自动判断后，生成另一个对应风格的人脸图像。
具体地，所述第一卷积神经网络包括19个网络结构层，其中9个卷积层，对每个卷积层有k(k＝16,32,64,256,512,1024)个卷积核，无池化层；9个反卷积层，每层同样有k(k＝3,16,32,64,256,512,1024,2048)个卷积核，最后一层为全连接层，激活函数为Softmax，用于分类，如下表所示：
所述第一卷积神经网络的卷积核大小为3*3，步长为1，如下表所示：
| 网络层 | 卷积核 |
| Conv1_1 | {3＊3，16} |
| Conv1_2 | {3＊3，16} |
| Conv2_1 | {3＊3，32} |
| Conv2_2 | {3＊3，32} |
| Conv3_1 | {3＊3，64} |
| Conv4_1 | {3＊3，128} |
| Conv5_1 | {3＊3，256} |
| Conv6_1 | {3＊3，512} |
| Conv6_1 | {3＊3，1024} |
| FC | / |
| UConv_1 | {3＊3，2048} |
| UConv_2 | {3＊3，1024} |
| UConv_3 | {3＊3，512} |
| UConv_4 | {3＊3，256} |
| UConv_5 | {3＊3，128} |
| UConv_6 | {3＊3，64} |
| UConv_7 | {3＊3，32} |
| UConv_8 | {3＊3，16} |
| UConv_9 | {3＊3，3} |
所述第一卷积神经网络的激活函数为线性，使用Adam随机梯度下降优化算法，设置学习率和随机初始权重，训练过程为：首先输入一张人脸图像，通过卷积层对特征进行提取及标签进行判断；然后根据不同的标签结果对提取的底层特征信息叠加不同的对应风格转换映射向量；接着对新特征信息通过反卷积操作生成风格迁移后人脸图像；最后将生成图像通过卷积神经网络判别器计算损失，并更新优化。
通过使用映射向量，方便快速对已识别图像标签的待迁移人脸特征直接进行映射，快速得到目标人脸特征。
进一步地，在上述方法实施例的基础上，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到，具体包括：
提取每一张动漫人脸图像样本/真人人脸图像样本的人脸区域和人脸宽度，所述人脸区域包括脸型轮廓、脸部上三角区和脸部下三角区，所述人脸宽度包括嘴角宽度、眼角平均宽度和脸颊宽度；
根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度、眼角平均宽度和脸颊宽度，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
其中，激活映射图为对每个区域进行训练得到的映射图。具体地，对所有动漫人脸图像样本进行训练后，得到三个激活映射图，分别为动漫人脸图像样本脸型轮廓激活映射图、脸部上三角区激活映射图和脸部下三角区激活映射图；对所有真人人脸图像样本进行训练后，得到三个激活映射图，分别为真人人脸图像样本的脸型轮廓激活映射图、脸部上三角区激活映射图和脸部下三角区激活映射图。
具体地，在所述第一卷积神经网络的训练过程中，首先可以利用网络爬虫技术，爬取网站的动漫图像，通过动漫人脸关键点标注以及人工标注，依据关键点位置裁剪动漫人脸大小，例如256*256像素，采集动漫人脸图像，作为动漫人脸数据集；然后利用网络爬虫技术，采集真人人脸图像，裁剪后做成真人人脸数据集，得到脸部端正的256*256像素大小的真人人脸数据集；接着基于五官拓展语义的建模，构建卷积神经网络，对动漫人脸图像和真人人脸图像分别处理，得到人脸的稳定特征，进一步得到宏观语义；最后基于五官扩展的宏观语义能够有效的针对纹理特征进行抓取、消除和重建。
进一步地，在上述方法实施例的基础上，所述根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图，具体包括：
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的眼角平均宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的眼角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例和眼角比例，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据脸型轮廓蒙版、脸部上三角区蒙版和脸部下三角区蒙版对每一张动漫人脸图像样本/真人人脸图像样本进行合成，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集，并将所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集输入第二卷积神经网络，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图。
其中，所述第二卷积神经网络为所述第一卷积神经网络训练过程中使用的卷积神经网络，用于根据区域图像集生成激活映射图。
具体地，将人脸划分为“人脸区域”和“人脸宽度”两部分后，在得到人脸的稳定特征的过程中，包括以下步骤：
首先将筛选数据集中的每一张人脸图像依次进行人脸关键点检测和定位，包括人脸宽度和人脸区域两个部分：
宽度部分：
A1、记录嘴角宽度、眼角平均宽度，以及脸颊宽度；
A2、所有的尺度信息通过计算和脸颊宽度所成比例后存储，即记录w1＝“嘴角宽度/脸颊宽度”，w2＝“眼角平均宽度/脸颊宽度”两个比值；
A3、每检测一张人脸图像，累加w1和w2，计数加1，最后计算平均值，得到两个平均比值。
区域部分：
B1、根据人脸关键点检测后得到的五官位置信息，使用Matting算法为“区域”的3个部分分别制作黑白蒙版；
B2、将人脸图像与对应蒙版合成，生成3个区域图像(图像仅显示脸型轮廓或脸部上三角区或脸部下三角区)；
B3、筛选数据集以上述方法依次处理完成后，最终得到3个区域图像集；
B4、利用卷积神经网络训练一个分类器，用于分类3个区域部分：将脸部轮廓、脸部上三角区、脸部下三角区的标签分别设为0、1、2；
B5、将3个区域图像集和标签作为第一卷积神经网络的输入。
在第一卷积神经网络的训练过程中，首先将训练集数据打乱，每批训练集数据大小设置为p个，分批送入网络训练；然后使用Adam随机梯度下降优化算法，设置学习率，随机初始权重；训练完成后，得到一个人脸区域部分三分类的分类器；然后选择一张图像，结合3个区域的蒙版，依次输入卷积神经网络，得到“conv5-1”层经过激活函数后的3个激活映射图。
进一步地，在上述方法实施例的基础上，所述根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量，具体包括：
分别将所有动漫人脸图像样本/真人人脸图像样本的三个激活映射图转换为三个一维向量，并根据所有动漫人脸图像样本/真人人脸图像样本的三个一维向量、嘴角平均比例和眼角平均比例，合并得到所有动漫人脸图像样本/真人人脸图像样本的人脸长向量；
根据所有动漫人脸图像样本的人脸长向量和所有真人人脸图像样本的人脸长向量的比值，得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
具体地，第一卷积神经网络的层结构包括：19个卷积层，每个卷积层有k(k＝16,32,64,256,512)个卷积核，每个卷积层后接一个激活函数，每二至四个卷积层和激活函数后接一个池化层；卷积核大小为3*3，步长为1，激活函数为ReLU，池化方式为最大池化；最后一层为全连接层，采用Softmax激活函数，输出3分类的概率结果。
在第一卷积神经网络的训练过程中，首先将训练集数据打乱，每批训练集数据大小设置为p个，分批送入网络训练；然后使用Adam随机梯度下降优化算法，设置学习率，随机初始权重；训练完成后，得到一个人脸区域部分三分类的分类器，如图3所示；然后选择一张图像，结合3个区域的蒙版，依次输入卷积神经网络，提取“conv5-1”层经过激活函数后的3个激活映射图，得到人脸稳定特征的区域部分的结果。将人脸稳定特征分为区域、宽度两部分后分别进行处理，得到了3个激活映射图和2个平均比值，用一个长向量表示，即为映射向量。
进一步地，在上述方法实施例的基础上，所述人脸图像的风格迁移方法还包括：
将所述目标人脸图像输入第三卷积神经网络进行判别，得到判别结果；
确定所述判别结果不符合人脸区域要求，根据所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例对所述目标人脸图像进行调整。
其中，所述第三卷积神经网络用于对所述第一卷积神经网络生成的目标人脸图像进行判别，确定生成的目标人脸图像是否符合人脸区域要求。
具体地，生成式对抗网络主要由生成器和判别器构成，如图3所示，其中生成器即为第一卷积神经网络，判别器即为第三卷积神经网络。生成器采用U-Net结构，构建卷积神经网络通过提取待转换目标图片特征，对底层信息叠加映射向量，并通过反卷积对特征解码重绘图片；判别器使用卷积神经网络，对从生成器生成的图像识别是属于真人人脸还是动漫人脸。
在进行人脸关键点检测过程中，首先基于上一步得到的脸部上三角区和脸部下三角区的蒙版的操作，利用蒙版检查真人图像是否有完整的脸部上下三角区，两个三角区的尖是否正对，脸部上三角区是否高于脸部下三角区，不是则要进行调整；然后使用人脸宏观语义长向量中的两个平均比值，对比生成的图像，若数值差距较大，则用两个平均比值乘以脸颊宽度，得到调整后的值，对生成的图像的眼睛、嘴巴局部进行横向拉伸。
本实施例基于标签的风格迁移可双向生成迁移图像，实现自动判断、自动互换融合迁移，能够结合动漫人脸和真人人脸，生成动漫人脸的真人化人脸图像或真人人脸的动漫化人脸图像，保持面部结构特征，减少面部变形，有效生成真实而自然的人脸。
图4示出了本实施例提供的一种人脸图像的风格迁移装置的结构示意图，如图4所示，包括：风格迁移模块401，其中：
所述风格迁移模块401用于将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
本实施例通过人脸区域和人脸宽度对动漫人脸图像样本和真人人脸图像样本进行训练，得到第一卷积神经网络，通过第一卷积神经网络对待迁移人脸图像进行风格迁移处理，得到目标人脸图像，能够实现动漫人脸图像和真实人脸图像双向的风格迁移，同时保持脸部结构特征，减少脸部变形。
进一步地，在上述装置实施例的基础上，所述风格迁移模块401具体用于：
将待迁移人脸图像输入第一卷积神经网络，通过所述第一卷积神经网络确定所述待迁移人脸图像的图像标签，所述图像标签包括动漫人脸标签或真人人脸标签；
根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像。
进一步地，在上述装置实施例的基础上，所述风格迁移模块401具体用于：
通过所述第一卷积神经网络的卷积操作得到所述待迁移人脸图像的待迁移人脸特征；
根据所述图像标签、所述第一卷积神经网络的映射向量对所述待迁移人脸特征进行映射，得到目标人脸特征；
通过所述第一卷积神经网络对所述目标人脸特征进行反卷积操作，得到目标人脸图像。
进一步地，在上述装置实施例的基础上，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到，具体包括：
提取每一张动漫人脸图像样本/真人人脸图像样本的人脸区域和人脸宽度，所述人脸区域包括脸型轮廓、脸部上三角区和脸部下三角区，所述人脸宽度包括嘴角宽度、眼角平均宽度和脸颊宽度；
根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度、眼角平均宽度和脸颊宽度，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
进一步地，在上述装置实施例的基础上，所述根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图，具体包括：
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的眼角平均宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的眼角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例和眼角比例，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据脸型轮廓蒙版、脸部上三角区蒙版和脸部下三角区蒙版对每一张动漫人脸图像样本/真人人脸图像样本进行合成，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集，并将所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集输入第二卷积神经网络，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图。
进一步地，在上述装置实施例的基础上，所述根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量，具体包括：
分别将所有动漫人脸图像样本/真人人脸图像样本的三个激活映射图转换为三个一维向量，并根据所有动漫人脸图像样本/真人人脸图像样本的三个一维向量、嘴角平均比例和眼角平均比例，合并得到所有动漫人脸图像样本/真人人脸图像样本的人脸长向量；
根据所有动漫人脸图像样本的人脸长向量和所有真人人脸图像样本的人脸长向量的比值，得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
进一步地，在上述装置实施例的基础上，所述人脸图像的风格迁移装置还包括：
将所述目标人脸图像输入第三卷积神经网络进行判别，得到判别结果；
图像调整模块，用于确定所述判别结果不符合人脸区域要求，根据所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例对所述目标人脸图像进行调整。
本实施例所述的人脸图像的风格迁移装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
图5示出了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：
将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图5所示的处理器501、通信接口502、存储器503和通信总线504，其中处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，且处理器501可以调用存储器503中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：
将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种人脸图像的风格迁移方法，其特征在于，包括：
将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
2.根据权利要求1所述的人脸图像的风格迁移方法，其特征在于，所述将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像，具体包括：
将待迁移人脸图像输入第一卷积神经网络，通过所述第一卷积神经网络确定所述待迁移人脸图像的图像标签，所述图像标签包括动漫人脸标签或真人人脸标签；
根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像。
3.根据权利要求2所述的人脸图像的风格迁移方法，其特征在于，所述根据所述图像标签对所述待迁移人脸图像进行风格迁移，得到风格迁移后的目标人脸图像，具体包括：
通过所述第一卷积神经网络的卷积操作得到所述待迁移人脸图像的待迁移人脸特征；
根据所述图像标签、所述第一卷积神经网络的映射向量对所述待迁移人脸特征进行映射，得到目标人脸特征；
通过所述第一卷积神经网络对所述目标人脸特征进行反卷积操作，得到目标人脸图像。
4.根据权利要求1所述的人脸图像的风格迁移方法，其特征在于，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到，具体包括：
提取每一张动漫人脸图像样本/真人人脸图像样本的人脸区域和人脸宽度，所述人脸区域包括脸型轮廓、脸部上三角区和脸部下三角区，所述人脸宽度包括嘴角宽度、眼角平均宽度和脸颊宽度；
根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度、眼角平均宽度和脸颊宽度，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
5.根据权利要求4所述的人脸图像的风格迁移方法，其特征在于，所述根据每一张动漫人脸图像样本/真人人脸图像样本的脸型轮廓、脸部上三角区和脸部下三角区，训练得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图，具体包括：
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的眼角平均宽度和脸颊宽度，计算得到每一张动漫人脸图像样本/真人人脸图像样本的眼角比例；
根据每一张动漫人脸图像样本/真人人脸图像样本的嘴角比例和眼角比例，计算得到所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例；
根据脸型轮廓蒙版、脸部上三角区蒙版和脸部下三角区蒙版对每一张动漫人脸图像样本/真人人脸图像样本进行合成，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集，并将所有动漫人脸图像样本/真人人脸图像样本的三个对应的区域图像集输入第二卷积神经网络，得到所有动漫人脸图像样本/真人人脸图像样本的三个对应的激活映射图。
6.根据权利要求4所述的人脸图像的风格迁移方法，其特征在于，所述根据所有动漫人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，以及所有真人人脸图像样本的三个激活映射图、嘴角平均比例和眼角平均比例，计算得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量，具体包括：
分别将所有动漫人脸图像样本/真人人脸图像样本的三个激活映射图转换为三个一维向量，并根据所有动漫人脸图像样本/真人人脸图像样本的三个一维向量、嘴角平均比例和眼角平均比例，合并得到所有动漫人脸图像样本/真人人脸图像样本的人脸长向量；
根据所有动漫人脸图像样本的人脸长向量和所有真人人脸图像样本的人脸长向量的比值，得到第一卷积神经网络中动漫人脸和真人人脸之间的映射向量。
7.根据权利要求4所述的人脸图像的风格迁移方法，其特征在于，所述人脸图像的风格迁移方法还包括：
将所述目标人脸图像输入第三卷积神经网络进行判别，得到判别结果；
确定所述判别结果不符合人脸区域要求，根据所有动漫人脸图像样本/真人人脸图像样本的嘴角平均比例和眼角平均比例对所述目标人脸图像进行调整。
8.一种人脸图像的风格迁移装置，其特征在于，包括：
风格迁移模块，用于将待迁移人脸图像输入第一卷积神经网络，得到风格迁移后的目标人脸图像；
其中，所述第一卷积神经网络根据人脸特征对动漫人脸图像样本和真人人脸图像样本训练得到；
所述人脸特征包括人脸区域和人脸宽度；
所述待迁移人脸图像为动漫人脸图像或真人人脸图像，相应地，所述目标人脸图像为真人人脸图像或动漫人脸图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述人脸图像的风格迁移方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述人脸图像的风格迁移方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911142690.3A CN110930297B (zh) | 2019-11-20 | 2019-11-20 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911142690.3A CN110930297B (zh) | 2019-11-20 | 2019-11-20 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930297A true CN110930297A (zh) | 2020-03-27 |
| CN110930297B CN110930297B (zh) | 2023-08-18 |
Family
ID=69851328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911142690.3A Active CN110930297B (zh) | 2019-11-20 | 2019-11-20 | 人脸图像的风格迁移方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930297B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667400A (zh) * | 2020-05-30 | 2020-09-15 | 温州大学大数据与信息技术研究院 | 一种基于无监督学习的人脸轮廓特征风格化生成方法 |
| CN112258382A (zh) * | 2020-10-23 | 2021-01-22 | 北京中科深智科技有限公司 | 一种基于图像到图像的面部风格转移方法和系统 |
| CN112348739A (zh) * | 2020-11-27 | 2021-02-09 | 广州博冠信息科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112614047A (zh) * | 2020-12-18 | 2021-04-06 | 西北大学 | 一种基于TuiGAN改进的脸谱图像风格迁移的方法 |
| CN112991151A (zh) * | 2021-02-09 | 2021-06-18 | 北京字跳网络技术有限公司 | 图像处理方法、图像生成方法、装置、设备和介质 |
| CN112991358A (zh) * | 2020-09-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN113095233A (zh) * | 2021-04-15 | 2021-07-09 | 咪咕动漫有限公司 | 模型训练方法、动漫人脸的检测方法及电子设备 |
| WO2022100690A1 (zh) * | 2020-11-13 | 2022-05-19 | 北京字跳网络技术有限公司 | 动物脸风格图像生成方法、模型训练方法、装置和设备 |
| CN115018996A (zh) * | 2022-08-08 | 2022-09-06 | 海马云（天津）信息技术有限公司 | 根据真人人脸照片生成3d人脸模型的方法与装置 |
| CN115953515A (zh) * | 2023-03-14 | 2023-04-11 | 深圳崇德动漫股份有限公司 | 基于真人数据的动漫形象生成方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN109376692A (zh) * | 2018-11-22 | 2019-02-22 | 河海大学常州校区 | 面向人脸表情识别的迁移卷积神经网络方法 |
| CN109859295A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 一种特定动漫人脸生成方法、终端设备及存储介质 |
-
2019
- 2019-11-20 CN CN201911142690.3A patent/CN110930297B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN109376692A (zh) * | 2018-11-22 | 2019-02-22 | 河海大学常州校区 | 面向人脸表情识别的迁移卷积神经网络方法 |
| CN109859295A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 一种特定动漫人脸生成方法、终端设备及存储介质 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667400B (zh) * | 2020-05-30 | 2021-03-30 | 温州大学大数据与信息技术研究院 | 一种基于无监督学习的人脸轮廓特征风格化生成方法 |
| CN111667400A (zh) * | 2020-05-30 | 2020-09-15 | 温州大学大数据与信息技术研究院 | 一种基于无监督学习的人脸轮廓特征风格化生成方法 |
| CN112991358A (zh) * | 2020-09-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
| CN112258382A (zh) * | 2020-10-23 | 2021-01-22 | 北京中科深智科技有限公司 | 一种基于图像到图像的面部风格转移方法和系统 |
| WO2022100690A1 (zh) * | 2020-11-13 | 2022-05-19 | 北京字跳网络技术有限公司 | 动物脸风格图像生成方法、模型训练方法、装置和设备 |
| EP4246425A4 (en) * | 2020-11-13 | 2024-06-05 | Beijing Zitiao Network Technology Co., Ltd. | ANIMAL HEAD STYLE IMAGE GENERATION METHOD AND APPARATUS, MODEL LEARNING METHOD AND APPARATUS, AND DEVICE |
| CN112348739A (zh) * | 2020-11-27 | 2021-02-09 | 广州博冠信息科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112348739B (zh) * | 2020-11-27 | 2021-09-28 | 广州博冠信息科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN112614047A (zh) * | 2020-12-18 | 2021-04-06 | 西北大学 | 一种基于TuiGAN改进的脸谱图像风格迁移的方法 |
| CN112614047B (zh) * | 2020-12-18 | 2023-07-28 | 西北大学 | 一种基于TuiGAN改进的脸谱图像风格迁移的方法 |
| CN112991151A (zh) * | 2021-02-09 | 2021-06-18 | 北京字跳网络技术有限公司 | 图像处理方法、图像生成方法、装置、设备和介质 |
| CN113095233A (zh) * | 2021-04-15 | 2021-07-09 | 咪咕动漫有限公司 | 模型训练方法、动漫人脸的检测方法及电子设备 |
| CN113095233B (zh) * | 2021-04-15 | 2024-04-09 | 咪咕动漫有限公司 | 模型训练方法、动漫人脸的检测方法及电子设备 |
| CN115018996A (zh) * | 2022-08-08 | 2022-09-06 | 海马云（天津）信息技术有限公司 | 根据真人人脸照片生成3d人脸模型的方法与装置 |
| CN115953515A (zh) * | 2023-03-14 | 2023-04-11 | 深圳崇德动漫股份有限公司 | 基于真人数据的动漫形象生成方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930297B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930297B (zh) | 人脸图像的风格迁移方法、装置、电子设备及存储介质 | |
| CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN108470320B (zh) | 一种基于cnn的图像风格化方法及系统 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| WO2017193906A1 (zh) | 一种图像处理方法及处理系统 | |
| WO2021139557A1 (zh) | 肖像简笔画生成方法、系统及绘画机器人 | |
| WO2020078119A1 (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
| KR102400609B1 (ko) | 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치 | |
| CN110046574A (zh) | 基于深度学习的安全帽佩戴识别方法及设备 | |
| CN104123749A (zh) | 一种图像处理方法及系统 | |
| CN110909680A (zh) | 人脸图像的表情识别方法、装置、电子设备及存储介质 | |
| JP2018055470A (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN111723687A (zh) | 基于神经网路的人体动作识别方法和装置 | |
| CN113902913A (zh) | 图片语义分割方法及装置 | |
| CN111860369A (zh) | 一种欺诈识别方法、装置以及存储介质 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN117058271A (zh) | 用于生成商品主图背景的方法及计算设备 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN114758382B (zh) | 基于自适应补丁学习的面部au检测模型建立方法及应用 | |
| CN109460767A (zh) | 基于规则的凸印银行卡卡号分割与识别方法 | |
| CN112819510A (zh) | 基于服饰多属性识别的时尚趋势预测方法、系统以及设备 | |
| CN115291864A (zh) | 一种基于图神经网络的零碎图层检测方法及装置 | |
| CN108416304A (zh) | 一种利用上下文信息的三分类人脸检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |