CN114998970A - 一种基于多尺度密集特征融合的妆容迁移方法 - Google Patents

一种基于多尺度密集特征融合的妆容迁移方法 Download PDF

Info

Publication number
CN114998970A
CN114998970A CN202210739266.2A CN202210739266A CN114998970A CN 114998970 A CN114998970 A CN 114998970A CN 202210739266 A CN202210739266 A CN 202210739266A CN 114998970 A CN114998970 A CN 114998970A
Authority
CN
China
Prior art keywords
image
makeup
generator
scale
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210739266.2A
Other languages
English (en)
Other versions
CN114998970B (zh
Inventor
耿国华
赵燕婷
冯龙
李启航
武浩东
周蓬勃
刘阳洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202210739266.2A priority Critical patent/CN114998970B/zh
Publication of CN114998970A publication Critical patent/CN114998970A/zh
Application granted granted Critical
Publication of CN114998970B publication Critical patent/CN114998970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度密集特征融合的妆容迁移方法，首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像；然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现原图像的妆容迁移，生成所需要的目标图像妆容风格的图像；与现有最先进的方法相比，本发明的方法训练时长减少3/4，并且生成图像的细节特征较好，可以更好地捕获源域和目标域之间分布的差异，提高妆容迁移的质量。

Description

一种基于多尺度密集特征融合的妆容迁移方法
技术领域
本发明属于计算机图形学处理领域，具体涉及一种基于多尺度密集特征融合的妆容迁移方法。
背景技术
秦腔又称乱弹，源于古代陕西、甘肃一带的民间歌舞，是在中国古代政治、经济、文化中心长安生长壮大起来的，经历代代人民的创造而逐渐形成，因周代以来，关中地区就被称为“秦”，秦腔由此而得名，是相当古老的剧种。因其以枣木梆子为击节乐器，所以又叫“梆子腔”，俗称“桄桄子”(因以梆击节时发出“恍恍”声)。
秦腔艺术作为中华优秀传统文化之一，积淀着中华民族最深沉的精神追求，代表着中华民族独特的精神标识，为延续和发展中华文明发挥着重要的作用。将互联网技术应用于传统秦腔戏曲，为传统戏曲增添现代色彩，阐发秦腔艺术精髓，扩大秦腔的影响力，使其走出“小众化”的圈子，让更多的现代人看到它的魅力，看到中国传统文化的魅力，是当代年轻人应为秦腔戏曲艺术传承所做的事。同时，随着化妆的流行，试妆成为一个重要的应用。在试妆技巧中，妆容转移是最方便有效的方法。
妆容迁移是指将化妆风格从一个参考面迁移到另一个参考面中。它需要从合成的参考图像中提取化妆成分。它还需要分析人脸结构，以正确地传递未对齐的人脸之间的化妆成分，有很多因素需要考虑，包括头部姿势、光照、面部表情和遮挡。基于深度学习的生成模型是解决这一问题的领先方法。本发明致力于将这种妆容迁移的方法应用到秦腔妆容迁移上。
BeautyGAN和BeautyGlow可以为简单风格的正面脸提供逼真的妆后图像。PSGAN能够处理各种头部姿势和表情，而CA-GAN则专注于精细的化妆颜色匹配。但这些方法仅适用于基于化妆区域颜色分布的简单化妆风格，如粉底、口红、眼影等。在依赖形状、质地和位置的复杂化妆上，比如腮红、脸部彩绘和化妆珠宝，它们会惨败。只有LADN考虑了这些极端的构成，但其结果远远不能令人满意。
发明内容
现有的方法的结果不能令人满意，且需要大量的数据集，这在秦腔妆容迁移上是很难搜集的。本发明的目的在于提供一种基于多尺度密集特征融合的妆容迁移方法，其系统工作高效，不需要大量的数据集，单张图像即可实现，且适用的妆容范围广，对简单风格和极端风格的妆容都适用，对秦腔妆容迁移的效果较好。
为了实现上述目的，本发明采用以下技术方案予以实现：
一种基于多尺度密集特征融合的妆容迁移方法，包括以下步骤：
步骤1：对输入的未化妆图像I′A和具有参考妆容的图像I′B使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像IA和IB；
步骤2：将IA和IB下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段；
第n个阶段
Figure BDA0003717024640000021
和
Figure BDA0003717024640000022
的尺度计算如式(1)所示：
Figure BDA0003717024640000023
其中，n∈{1,2,…,N}，
Figure BDA0003717024640000024
和
Figure BDA0003717024640000025
是模型设置的图像最小尺度，
Figure BDA0003717024640000026
和
Figure BDA0003717024640000027
是模型设置的最大尺度图像，N是训练的总阶段数；
步骤3：整体网络结构由两个对称的金字塔结构
Figure BDA0003717024640000028
及一个金字塔结构判别器
Figure BDA0003717024640000029
组成；将步骤2中下采样得到的N个尺度图像
Figure BDA00037170246400000210
作为输入图像，采用金字塔结构进行训练，然后在生成器
Figure BDA00037170246400000211
中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器
Figure BDA00037170246400000212
与判别器
Figure BDA00037170246400000213
不断的博弈对抗，生成所需要的妆容迁移图像IAB；
步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像
Figure BDA00037170246400000214
提取风格特征；其次，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量；最后通过一个3×3卷积输出每个阶段妆容迁移后的图像
Figure BDA00037170246400000215
密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式(2)所示：
xL＝HL([x1,x2,…,xL-1]) (2)
其中，HL代表特征融合，表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起；
步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像
Figure BDA0003717024640000031
作为输入图像，通过生成器
Figure BDA0003717024640000032
生成重建图像
Figure BDA0003717024640000033
然后使用循环一致性损失来约束
Figure BDA0003717024640000034
与
Figure BDA0003717024640000035
具有相似的结构特征；循环一致性损失表达式如式(3)所示：
Figure BDA0003717024640000036
其中，
Figure BDA0003717024640000037
步骤6：以
Figure BDA0003717024640000038
作为判别器
Figure BDA0003717024640000039
的输入，输出结果为
Figure BDA00037170246400000310
是
Figure BDA00037170246400000311
对应域的自然图像的概率，通过与生成器
Figure BDA00037170246400000312
的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像
Figure BDA00037170246400000313
为真或假的概率都为50％；
步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的；在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始；在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的；一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小；重复这个过程N次，直到达到训练设置的图像最大尺度；
对于任意阶段n，网络结构由两个生成器
Figure BDA00037170246400000314
及一个判别器
Figure BDA00037170246400000315
Figure BDA00037170246400000316
保证妆容迁移图像属于正确的图像域，
Figure BDA00037170246400000317
使A图像域映射到B图像域得到妆容迁移图像
Figure BDA00037170246400000318
Figure BDA00037170246400000319
则使反向映射得到重建图像
Figure BDA00037170246400000320
即
Figure BDA00037170246400000321
Figure BDA00037170246400000322
Figure BDA00037170246400000323
进一步，密集特征模块仅由三个卷积块及一个转换层组成。
进一步，将每一层输出的特征数设置为16。
本发明具有以下有益效果：
本发明公开了一种基于多尺度密集特征融合的妆容迁移方法。首先借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；最后，通过渐进式增长生成器训练的方式，在训练的每个阶段中不断增加密集特征模块，实现生成图像的妆容迁移，生成所需要的具有参考妆容的图像。
本发明的数据集为单张图像，借用多尺度金字塔结构思想，对原图像和目标图像进行下采样，得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取，加强了图像特征的复用，能够保留更多的图像细节特征，进而不断优化妆容迁移图像的细节特征。同时为了避免拼接操作造成输出特征维度过大的问题，采用1×1卷积降低输出特征维度。将提取到的风格特征从原图像迁移到目标图像中，通过与判别器不断的博弈对抗，生成所需要的翻译图像；而现有的妆容迁移方法都需要大量的数据集，这在秦腔妆容迁移上是很难搜集的。在各种无监督图像到图像翻译任务上进行的实验结果表明，与现有的方法相比，本发明的方法训练时长缩短了3/4，且由于训练方法为整体的妆容风格迁移，因此对于极端风格和简单风格都适用，对秦腔妆容迁移的效果较好。
密集特征模块仅由三个卷积块及一个转换层组成，以防止网络的卷积层数过多导致训练过拟合。
附图说明
图1是未化妆图像；
图2是秦腔妆容的源图像；
图3是对图1进行人脸检测的结果图像IA；
图4是对图2进行人脸检测的结果图像IB；
图5是A图像域转换到B图像域的网络结构图；
图6是特征提取及融合示意图；
图7是将IB图像人脸的妆容迁移到图像IA人脸后的结果图像IAB；
图8是将IAB作为生成器GB生成的重建图像IABA；
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
本发明提供了一种基于多尺度密集特征融合的妆容迁移方法，具体包括以下步骤：
步骤1：对输入的未化妆图像
Figure BDA0003717024640000051
和具有秦腔妆容的图像
Figure BDA0003717024640000052
使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像IA和IB，如图1-图4所示；
步骤2：将IA和IB下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段。第n个阶段
Figure BDA0003717024640000053
和
Figure BDA0003717024640000054
的尺度计算如式(1)所示：
Figure BDA0003717024640000055
其中，n∈{1,2,…,N}，
Figure BDA0003717024640000056
和
Figure BDA0003717024640000057
是模型设置的图像最小尺度，
Figure BDA0003717024640000058
和
Figure BDA0003717024640000059
是模型设置的图像最大尺度，N是训练的总阶段数；
步骤3：如图5，整体网络结构由两个对称的金字塔结构
Figure BDA00037170246400000510
及一个金字塔结构判别器
Figure BDA00037170246400000511
组成。将步骤2中下采样得到的N个尺度图像
Figure BDA00037170246400000512
作为输入图像，采用金字塔结构进行训练，然后在生成器
Figure BDA00037170246400000513
中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器
Figure BDA00037170246400000514
与判别器
Figure BDA00037170246400000515
不断的博弈对抗，生成所需要的妆容迁移图像IAB，如图7所示；
判别器
Figure BDA00037170246400000516
使用马尔科夫判别器，其具有与生成器相同的感受野；生成器
Figure BDA00037170246400000517
的网络结构由一个输入层、n个密集特征模块、一个输出层组成。其中，n∈{1,2,…,N}；输入层由三个3×3卷积构成；密集特征模块由批量归一化层、ReLU激活函数以及一个3×3卷积构成；输出层由一个3×3卷积和Tanh激活函数构成。
步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像
Figure BDA00037170246400000518
提取风格特征。其次，如图6所示，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量，加强了图像特征的复用，能够保留更多的图像细节特征，进而不断优化妆容迁移图像的细节特征。同时为了避免拼接操作造成输出特征维度过大的问题，采用1×1卷积降低输出特征维度。最后通过一个3×3卷积输出每个阶段妆容迁移后的图像
Figure BDA0003717024640000061
密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式(2)所示：
xL＝HL([x1,x2,…,xL-1]) (2)
其中，HL代表特征融合，表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起。
步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像
Figure BDA0003717024640000062
作为输入图像，通过生成器
Figure BDA0003717024640000063
生成重建图像
Figure BDA0003717024640000064
如图8所示，然后使用循环一致性损失来约束
Figure BDA0003717024640000065
与
Figure BDA0003717024640000066
具有相似的结构特征。循环一致性损失表达式如式(3)所示：
Figure BDA0003717024640000067
其中，
Figure BDA0003717024640000068
步骤6：以
Figure BDA0003717024640000069
作为判别器
Figure BDA00037170246400000610
的输入，输出结果为
Figure BDA00037170246400000611
是
Figure BDA00037170246400000612
对应域的自然图像的概率，通过与生成器
Figure BDA00037170246400000613
的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像
Figure BDA00037170246400000614
为真或假的概率都为50％。
步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的。在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始。在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的。一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小。重复这个过程N次，直到达到训练设置的图像最大尺度。
对于任意阶段n，本发明的网络结构有两个生成器
Figure BDA00037170246400000615
及一个判别器
Figure BDA00037170246400000616
Figure BDA00037170246400000617
可以保证妆容迁移图像属于正确的图像域，
Figure BDA00037170246400000618
使A图像域映射到B图像域得到妆容迁移图像
Figure BDA00037170246400000619
则使反向映射得到重建图像
Figure BDA00037170246400000620
即
Figure BDA00037170246400000621
Figure BDA00037170246400000622
Figure BDA00037170246400000623

Claims (3)

1.一种基于多尺度密集特征融合的妆容迁移方法，其特征在于包括以下步骤：
步骤1：对输入的未化妆图像I′A和具有参考妆容的图像I′B使用MTCNN人脸检测算法进行人脸检测，定位并裁剪出需要进行妆容迁移的人脸图像IA和IB；
步骤2：将IA和IB下采样到N个不同的尺度，对每一个尺度的图像进行一次训练，即整个训练过程分为N个阶段；
第n个阶段
Figure FDA0003717024630000011
和
Figure FDA0003717024630000012
的尺度计算如式(1)所示：
Figure FDA0003717024630000013
其中，n∈{1，2，…，N}，
Figure FDA0003717024630000014
和
Figure FDA0003717024630000015
是模型设置的图像最小尺度，
Figure FDA0003717024630000016
和
Figure FDA00037170246300000117
是模型设置的最大尺度图像，N是训练的总阶段数；
步骤3：整体网络结构由两个对称的金字塔结构
Figure FDA0003717024630000018
及一个金字塔结构判别器
Figure FDA0003717024630000019
组成；将步骤2中下采样得到的N个尺度图像
Figure FDA00037170246300000110
作为输入图像，采用金字塔结构进行训练，然后在生成器
Figure FDA00037170246300000111
中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合，通过生成器
Figure FDA00037170246300000112
与判别器
Figure FDA00037170246300000113
不断的博弈对抗，生成所需要的妆容迁移图像IAB；
步骤4：生成器通过密集特征模块来进行图像特征的提取和融合，其过程为：首先，采用三个3×3卷积从每个阶段的输入图像
Figure FDA00037170246300000114
提取风格特征；其次，将各个阶段提取到的图像特征进行拼接融合，并利用这些特征将原图像的特征向量转换为目标图像的特征向量；最后通过一个3×3卷积输出每个阶段妆容迁移后的图像
Figure FDA00037170246300000115
密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射，其表达式如式(2)所示：
xL＝HL([x1，x2，...，xL-1]) (2)
其中，HL代表特征融合，表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起；
步骤5：为缓解网络的模式崩溃问题，将步骤4中得到的妆容迁移图像
Figure FDA00037170246300000116
作为输入图像，通过生成器
Figure FDA0003717024630000021
生成重建图像
Figure FDA0003717024630000022
然后使用循环一致性损失来约束
Figure FDA0003717024630000023
与
Figure FDA0003717024630000024
具有相似的结构特征；循环一致性损失表达式如式(3)所示：
Figure FDA0003717024630000025
其中，
Figure FDA0003717024630000026
步骤6：以
Figure FDA0003717024630000027
作为判别器
Figure FDA0003717024630000028
的输入，输出结果为
Figure FDA0003717024630000029
是
Figure FDA00037170246300000210
对应域的自然图像的概率，通过与生成器
Figure FDA00037170246300000211
的不断博弈对抗，最终判别器将达到纳什平衡状态，即判别器判别生成器生成的图像
Figure FDA00037170246300000212
为真或假的概率都为50％；
步骤7：完成第二个阶段到第N个阶段的训练，训练过程与第一个阶段的过程类似，不同之处在于生成器大小是逐步递增的；在进行妆容迁移时，每次都从图像最小的尺度和最小的生成器开始；在训练过程中，每个阶段都从前一阶段获取原始特征作为输入，且前一阶段参数值不是固定的；一旦任意阶段模型收敛，则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小；重复这个过程N次，直到达到训练设置的图像最大尺度；
对于任意阶段n，网络结构由两个生成器
Figure FDA00037170246300000213
及一个判别器
Figure FDA00037170246300000214
保证妆容迁移图像属于正确的图像域，
Figure FDA00037170246300000215
使A图像域映射到B图像域得到妆容迁移图像
Figure FDA00037170246300000216
Figure FDA00037170246300000217
则使反向映射得到重建图像
Figure FDA00037170246300000218
即
Figure FDA00037170246300000219
Figure FDA00037170246300000220
Figure FDA00037170246300000221
2.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法，其特征在于：密集特征模块仅由三个卷积块及一个转换层组成。
3.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法，其特征在于：将每一层输出的特征数设置为16。
CN202210739266.2A 2022-06-28 2022-06-28 一种基于多尺度密集特征融合的妆容迁移方法 Active CN114998970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210739266.2A CN114998970B (zh) 2022-06-28 2022-06-28 一种基于多尺度密集特征融合的妆容迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210739266.2A CN114998970B (zh) 2022-06-28 2022-06-28 一种基于多尺度密集特征融合的妆容迁移方法

Publications (2)

Publication Number Publication Date
CN114998970A true CN114998970A (zh) 2022-09-02
CN114998970B CN114998970B (zh) 2024-03-12

Family

ID=83036782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210739266.2A Active CN114998970B (zh) 2022-06-28 2022-06-28 一种基于多尺度密集特征融合的妆容迁移方法

Country Status (1)

Country Link
CN (1) CN114998970B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362422A (zh) * 2021-06-08 2021-09-07 武汉理工大学 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
US20210390339A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Depth estimation and color correction method for monocular underwater images based on deep neural network
CN113808008A (zh) * 2021-09-23 2021-12-17 华南农业大学 基于Transformer构建生成对抗网络实现妆容迁移的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210390339A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Depth estimation and color correction method for monocular underwater images based on deep neural network
CN113362422A (zh) * 2021-06-08 2021-09-07 武汉理工大学 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN113808008A (zh) * 2021-09-23 2021-12-17 华南农业大学 基于Transformer构建生成对抗网络实现妆容迁移的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓宇;朱一峰;郗金洋;王尧;段锦;: "基于密集连接生成对抗网络的图像颜色迁移", 液晶与显示, no. 03, 15 March 2020 (2020-03-15) *

Also Published As

Publication number Publication date
CN114998970B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US8437514B2 (en) Cartoon face generation
CN101551911B (zh) 人脸素描肖像画自动生成方法
CN109508669A (zh) 一种基于生成式对抗网络的人脸表情识别方法
CN111401211B (zh) 一种采用图像增广和小样本学习的虹膜识别方法
CN111667559B (zh) 一种基于深度迁移网络的多形态人脸情感生成方法
CN111950432A (zh) 一种基于区域风格一致性的妆容风格迁移方法及系统
Tian et al. Emo: Emote portrait alive-generating expressive portrait videos with audio2video diffusion model under weak conditions
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN112819692B (zh) 一种基于双重注意力模块的实时任意风格迁移方法
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN117496072B (zh) 一种三维数字人生成和交互方法及系统
TW201224992A (en) Method for extracting personal styles and its application to motion synthesis and recognition
Kandeel et al. Facial expression recognition using a simplified convolutional neural network model
CN113361125B (zh) 一种基于双色反射模型的唇妆仿真方法及系统
CN114998970A (zh) 一种基于多尺度密集特征融合的妆容迁移方法
Zanfir et al. Phomoh: Implicit photorealistic 3d models of human heads
CN114898021B (zh) 音乐舞台表演视频的智能卡通化方法
CN116152926A (zh) 基于视觉和骨架信息融合的手语识别方法、装置及系统
CN111611997B (zh) 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN114549288A (zh) 一种基于深度学习的素描风景图生成方法
Li et al. Large-pose facial makeup transfer based on generative adversarial network combined face alignment and face parsing
CN106097373B (zh) 一种基于分部式稀疏成分分析模型的笑脸合成方法
Kim et al. Diffusion-driven GAN Inversion for Multi-Modal Face Image Generation
WO2015042867A1 (zh) 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant