CN114998970A - 一种基于多尺度密集特征融合的妆容迁移方法 - Google Patents
一种基于多尺度密集特征融合的妆容迁移方法 Download PDFInfo
- Publication number
- CN114998970A CN114998970A CN202210739266.2A CN202210739266A CN114998970A CN 114998970 A CN114998970 A CN 114998970A CN 202210739266 A CN202210739266 A CN 202210739266A CN 114998970 A CN114998970 A CN 114998970A
- Authority
- CN
- China
- Prior art keywords
- image
- makeup
- generator
- scale
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013508 migration Methods 0.000 title claims abstract description 35
- 230000005012 migration Effects 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012546 transfer Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 238000013519 translation Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000000750 progressive effect Effects 0.000 abstract 1
- 239000002537 cosmetic Substances 0.000 description 6
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 240000008866 Ziziphus nummularia Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000008406 cosmetic ingredient Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度密集特征融合的妆容迁移方法,首先借用多尺度金字塔结构思想,对原图像和目标图像进行下采样,得到不同尺寸的输入图像;然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取,将提取到的风格特征从原图像迁移到目标图像中,通过与判别器不断的博弈对抗,生成所需要的翻译图像;最后,通过渐进式增长生成器训练的方式,在训练的每个阶段中不断增加密集特征模块,实现原图像的妆容迁移,生成所需要的目标图像妆容风格的图像;与现有最先进的方法相比,本发明的方法训练时长减少3/4,并且生成图像的细节特征较好,可以更好地捕获源域和目标域之间分布的差异,提高妆容迁移的质量。
Description
技术领域
本发明属于计算机图形学处理领域,具体涉及一种基于多尺度密集特征融合的妆容迁移方法。
背景技术
秦腔又称乱弹,源于古代陕西、甘肃一带的民间歌舞,是在中国古代政治、经济、文化中心长安生长壮大起来的,经历代代人民的创造而逐渐形成,因周代以来,关中地区就被称为“秦”,秦腔由此而得名,是相当古老的剧种。因其以枣木梆子为击节乐器,所以又叫“梆子腔”,俗称“桄桄子”(因以梆击节时发出“恍恍”声)。
秦腔艺术作为中华优秀传统文化之一,积淀着中华民族最深沉的精神追求,代表着中华民族独特的精神标识,为延续和发展中华文明发挥着重要的作用。将互联网技术应用于传统秦腔戏曲,为传统戏曲增添现代色彩,阐发秦腔艺术精髓,扩大秦腔的影响力,使其走出“小众化”的圈子,让更多的现代人看到它的魅力,看到中国传统文化的魅力,是当代年轻人应为秦腔戏曲艺术传承所做的事。同时,随着化妆的流行,试妆成为一个重要的应用。在试妆技巧中,妆容转移是最方便有效的方法。
妆容迁移是指将化妆风格从一个参考面迁移到另一个参考面中。它需要从合成的参考图像中提取化妆成分。它还需要分析人脸结构,以正确地传递未对齐的人脸之间的化妆成分,有很多因素需要考虑,包括头部姿势、光照、面部表情和遮挡。基于深度学习的生成模型是解决这一问题的领先方法。本发明致力于将这种妆容迁移的方法应用到秦腔妆容迁移上。
BeautyGAN和BeautyGlow可以为简单风格的正面脸提供逼真的妆后图像。PSGAN能够处理各种头部姿势和表情,而CA-GAN则专注于精细的化妆颜色匹配。但这些方法仅适用于基于化妆区域颜色分布的简单化妆风格,如粉底、口红、眼影等。在依赖形状、质地和位置的复杂化妆上,比如腮红、脸部彩绘和化妆珠宝,它们会惨败。只有LADN考虑了这些极端的构成,但其结果远远不能令人满意。
发明内容
现有的方法的结果不能令人满意,且需要大量的数据集,这在秦腔妆容迁移上是很难搜集的。本发明的目的在于提供一种基于多尺度密集特征融合的妆容迁移方法,其系统工作高效,不需要大量的数据集,单张图像即可实现,且适用的妆容范围广,对简单风格和极端风格的妆容都适用,对秦腔妆容迁移的效果较好。
为了实现上述目的,本发明采用以下技术方案予以实现:
一种基于多尺度密集特征融合的妆容迁移方法,包括以下步骤:
步骤1:对输入的未化妆图像I′A和具有参考妆容的图像I′B使用MTCNN人脸检测算法进行人脸检测,定位并裁剪出需要进行妆容迁移的人脸图像IA和IB;
步骤2:将IA和IB下采样到N个不同的尺度,对每一个尺度的图像进行一次训练,即整个训练过程分为N个阶段;
步骤3:整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器组成;将步骤2中下采样得到的N个尺度图像作为输入图像,采用金字塔结构进行训练,然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合,通过生成器与判别器不断的博弈对抗,生成所需要的妆容迁移图像IAB;
步骤4:生成器通过密集特征模块来进行图像特征的提取和融合,其过程为:首先,采用三个3×3卷积从每个阶段的输入图像提取风格特征;其次,将各个阶段提取到的图像特征进行拼接融合,并利用这些特征将原图像的特征向量转换为目标图像的特征向量;最后通过一个3×3卷积输出每个阶段妆容迁移后的图像
密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射,其表达式如式(2)所示:
xL=HL([x1,x2,…,xL-1]) (2)
其中,HL代表特征融合,表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起;
步骤7:完成第二个阶段到第N个阶段的训练,训练过程与第一个阶段的过程类似,不同之处在于生成器大小是逐步递增的;在进行妆容迁移时,每次都从图像最小的尺度和最小的生成器开始;在训练过程中,每个阶段都从前一阶段获取原始特征作为输入,且前一阶段参数值不是固定的;一旦任意阶段模型收敛,则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小;重复这个过程N次,直到达到训练设置的图像最大尺度;
进一步,密集特征模块仅由三个卷积块及一个转换层组成。
进一步,将每一层输出的特征数设置为16。
本发明具有以下有益效果:
本发明公开了一种基于多尺度密集特征融合的妆容迁移方法。首先借用多尺度金字塔结构思想,对原图像和目标图像进行下采样,得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取,将提取到的风格特征从原图像迁移到目标图像中,通过与判别器不断的博弈对抗,生成所需要的翻译图像;最后,通过渐进式增长生成器训练的方式,在训练的每个阶段中不断增加密集特征模块,实现生成图像的妆容迁移,生成所需要的具有参考妆容的图像。
本发明的数据集为单张图像,借用多尺度金字塔结构思想,对原图像和目标图像进行下采样,得到不同尺寸的输入图像。然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取,加强了图像特征的复用,能够保留更多的图像细节特征,进而不断优化妆容迁移图像的细节特征。同时为了避免拼接操作造成输出特征维度过大的问题,采用1×1卷积降低输出特征维度。将提取到的风格特征从原图像迁移到目标图像中,通过与判别器不断的博弈对抗,生成所需要的翻译图像;而现有的妆容迁移方法都需要大量的数据集,这在秦腔妆容迁移上是很难搜集的。在各种无监督图像到图像翻译任务上进行的实验结果表明,与现有的方法相比,本发明的方法训练时长缩短了3/4,且由于训练方法为整体的妆容风格迁移,因此对于极端风格和简单风格都适用,对秦腔妆容迁移的效果较好。
密集特征模块仅由三个卷积块及一个转换层组成,以防止网络的卷积层数过多导致训练过拟合。
附图说明
图1是未化妆图像;
图2是秦腔妆容的源图像;
图3是对图1进行人脸检测的结果图像IA;
图4是对图2进行人脸检测的结果图像IB;
图5是A图像域转换到B图像域的网络结构图;
图6是特征提取及融合示意图;
图7是将IB图像人脸的妆容迁移到图像IA人脸后的结果图像IAB;
图8是将IAB作为生成器GB生成的重建图像IABA;
具体实施方式
以下结合实施例对本发明的具体内容做进一步详细解释说明。
本发明提供了一种基于多尺度密集特征融合的妆容迁移方法,具体包括以下步骤:
步骤3:如图5,整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器组成。将步骤2中下采样得到的N个尺度图像作为输入图像,采用金字塔结构进行训练,然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合,通过生成器与判别器不断的博弈对抗,生成所需要的妆容迁移图像IAB,如图7所示;
判别器使用马尔科夫判别器,其具有与生成器相同的感受野;生成器的网络结构由一个输入层、n个密集特征模块、一个输出层组成。其中,n∈{1,2,…,N};输入层由三个3×3卷积构成;密集特征模块由批量归一化层、ReLU激活函数以及一个3×3卷积构成;输出层由一个3×3卷积和Tanh激活函数构成。
步骤4:生成器通过密集特征模块来进行图像特征的提取和融合,其过程为:首先,采用三个3×3卷积从每个阶段的输入图像提取风格特征。其次,如图6所示,将各个阶段提取到的图像特征进行拼接融合,并利用这些特征将原图像的特征向量转换为目标图像的特征向量,加强了图像特征的复用,能够保留更多的图像细节特征,进而不断优化妆容迁移图像的细节特征。同时为了避免拼接操作造成输出特征维度过大的问题,采用1×1卷积降低输出特征维度。最后通过一个3×3卷积输出每个阶段妆容迁移后的图像
密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射,其表达式如式(2)所示:
xL=HL([x1,x2,…,xL-1]) (2)
其中,HL代表特征融合,表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起。
步骤7:完成第二个阶段到第N个阶段的训练,训练过程与第一个阶段的过程类似,不同之处在于生成器大小是逐步递增的。在进行妆容迁移时,每次都从图像最小的尺度和最小的生成器开始。在训练过程中,每个阶段都从前一阶段获取原始特征作为输入,且前一阶段参数值不是固定的。一旦任意阶段模型收敛,则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小。重复这个过程N次,直到达到训练设置的图像最大尺度。
Claims (3)
1.一种基于多尺度密集特征融合的妆容迁移方法,其特征在于包括以下步骤:
步骤1:对输入的未化妆图像I′A和具有参考妆容的图像I′B使用MTCNN人脸检测算法进行人脸检测,定位并裁剪出需要进行妆容迁移的人脸图像IA和IB;
步骤2:将IA和IB下采样到N个不同的尺度,对每一个尺度的图像进行一次训练,即整个训练过程分为N个阶段;
步骤3:整体网络结构由两个对称的金字塔结构及一个金字塔结构判别器组成;将步骤2中下采样得到的N个尺度图像作为输入图像,采用金字塔结构进行训练,然后在生成器中将不同尺寸的图像输入到密集特征模块进行风格特征提取与融合,通过生成器与判别器不断的博弈对抗,生成所需要的妆容迁移图像IAB;
步骤4:生成器通过密集特征模块来进行图像特征的提取和融合,其过程为:首先,采用三个3×3卷积从每个阶段的输入图像提取风格特征;其次,将各个阶段提取到的图像特征进行拼接融合,并利用这些特征将原图像的特征向量转换为目标图像的特征向量;最后通过一个3×3卷积输出每个阶段妆容迁移后的图像
密集特征模块的第L个密集特征卷积的输入来自于前面所有密集卷积阶段的特征映射,其表达式如式(2)所示:
xL=HL([x1,x2,...,xL-1]) (2)
其中,HL代表特征融合,表示将第xL阶段到第xL-1阶段的所有输出特征按通道组合在一起;
步骤7:完成第二个阶段到第N个阶段的训练,训练过程与第一个阶段的过程类似,不同之处在于生成器大小是逐步递增的;在进行妆容迁移时,每次都从图像最小的尺度和最小的生成器开始;在训练过程中,每个阶段都从前一阶段获取原始特征作为输入,且前一阶段参数值不是固定的;一旦任意阶段模型收敛,则在生成器的最后一个密集特征模块后添加一个与其相同的密集特征模块来增加生成器的大小;重复这个过程N次,直到达到训练设置的图像最大尺度;
2.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法,其特征在于:密集特征模块仅由三个卷积块及一个转换层组成。
3.根据权利要求1所述的一种基于多尺度密集特征融合的妆容迁移方法,其特征在于:将每一层输出的特征数设置为16。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210739266.2A CN114998970B (zh) | 2022-06-28 | 2022-06-28 | 一种基于多尺度密集特征融合的妆容迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210739266.2A CN114998970B (zh) | 2022-06-28 | 2022-06-28 | 一种基于多尺度密集特征融合的妆容迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114998970A true CN114998970A (zh) | 2022-09-02 |
CN114998970B CN114998970B (zh) | 2024-03-12 |
Family
ID=83036782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210739266.2A Active CN114998970B (zh) | 2022-06-28 | 2022-06-28 | 一种基于多尺度密集特征融合的妆容迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114998970B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362422A (zh) * | 2021-06-08 | 2021-09-07 | 武汉理工大学 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
US20210390339A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Depth estimation and color correction method for monocular underwater images based on deep neural network |
CN113808008A (zh) * | 2021-09-23 | 2021-12-17 | 华南农业大学 | 基于Transformer构建生成对抗网络实现妆容迁移的方法 |
-
2022
- 2022-06-28 CN CN202210739266.2A patent/CN114998970B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210390339A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Depth estimation and color correction method for monocular underwater images based on deep neural network |
CN113362422A (zh) * | 2021-06-08 | 2021-09-07 | 武汉理工大学 | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 |
CN113808008A (zh) * | 2021-09-23 | 2021-12-17 | 华南农业大学 | 基于Transformer构建生成对抗网络实现妆容迁移的方法 |
Non-Patent Citations (1)
Title |
---|
王晓宇;朱一峰;郗金洋;王尧;段锦;: "基于密集连接生成对抗网络的图像颜色迁移", 液晶与显示, no. 03, 15 March 2020 (2020-03-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN114998970B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8437514B2 (en) | Cartoon face generation | |
CN101551911B (zh) | 人脸素描肖像画自动生成方法 | |
CN109508669A (zh) | 一种基于生成式对抗网络的人脸表情识别方法 | |
CN111401211B (zh) | 一种采用图像增广和小样本学习的虹膜识别方法 | |
CN111667559B (zh) | 一种基于深度迁移网络的多形态人脸情感生成方法 | |
CN111950432A (zh) | 一种基于区域风格一致性的妆容风格迁移方法及系统 | |
Tian et al. | Emo: Emote portrait alive-generating expressive portrait videos with audio2video diffusion model under weak conditions | |
CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
CN112819692B (zh) | 一种基于双重注意力模块的实时任意风格迁移方法 | |
CN111950430A (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
CN117496072B (zh) | 一种三维数字人生成和交互方法及系统 | |
TW201224992A (en) | Method for extracting personal styles and its application to motion synthesis and recognition | |
Kandeel et al. | Facial expression recognition using a simplified convolutional neural network model | |
CN113361125B (zh) | 一种基于双色反射模型的唇妆仿真方法及系统 | |
CN114998970A (zh) | 一种基于多尺度密集特征融合的妆容迁移方法 | |
Zanfir et al. | Phomoh: Implicit photorealistic 3d models of human heads | |
CN114898021B (zh) | 音乐舞台表演视频的智能卡通化方法 | |
CN116152926A (zh) | 基于视觉和骨架信息融合的手语识别方法、装置及系统 | |
CN111611997B (zh) | 一种基于人体动作迁移的卡通定制形象运动视频生成方法 | |
CN114549288A (zh) | 一种基于深度学习的素描风景图生成方法 | |
Li et al. | Large-pose facial makeup transfer based on generative adversarial network combined face alignment and face parsing | |
CN106097373B (zh) | 一种基于分部式稀疏成分分析模型的笑脸合成方法 | |
Kim et al. | Diffusion-driven GAN Inversion for Multi-Modal Face Image Generation | |
WO2015042867A1 (zh) | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |