CN111950430A - 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 - Google Patents

基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 Download PDF

Info

Publication number
CN111950430A
CN111950430A CN202010788537.4A CN202010788537A CN111950430A CN 111950430 A CN111950430 A CN 111950430A CN 202010788537 A CN202010788537 A CN 202010788537A CN 111950430 A CN111950430 A CN 111950430A
Authority
CN
China
Prior art keywords
makeup
face image
difference
texture
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010788537.4A
Other languages
English (en)
Inventor
熊盛武
连洁雅
王豪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010788537.4A priority Critical patent/CN111950430A/zh
Publication of CN111950430A publication Critical patent/CN111950430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明提供基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统，包括将参考妆容人脸图像变形到素颜人脸图像上，得到一张伪带妆人脸图像；并将素颜人脸图像和参考妆容人脸图像输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像；通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像和素颜人脸图像之间的妆容差异，度量目标带妆人脸图像与参考妆容图像之间的妆容差异。本发明克服带有的妆容结构信息少，完全不同的妆容生成结果得到相似妆容差异值的可能性大的问题，提供更为丰富的妆容结构信息，为妆容风格迁移任务提供了更精准的妆容风格差异度量方案，可实现更好的妆容风格迁移图像效果。

Description

基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
技术领域
本发明涉及图像生成技术领域，具体涉及一种基于颜色纹理的多尺度妆容风格差异度量及妆容迁移技术方案。
背景技术
化妆是一种常见的提升外貌的方式。通过运用化妆品和工具，可以对面部和五官进行渲染、描画、掩饰缺陷、调整形色、增强立体印象，从而增加美感和魅力。因此，图像处理技术领域中，妆容处理也是重要的应用场景，例如，授权专利CN108090465B提供了一种妆容效果处理模型训练方法及妆容效果处理方法，授权专利CN105956150B提供了生成用户发现及妆容搭配建议的方法及装置。
人脸妆容迁移是近年来在图像处理领域出现的新的应用技术。最近，一些虚拟化妆应用程序已投入市场，比如美图秀秀、Camera360、TAAZ等等。这些应用可以将用户选择的妆容迁移到输入的人脸图像上，这样，用户就可以实时看到某个妆容在自己脸上的效果。但是这些应用只提供特定的几种妆容，应用范围有限。
妆容风格迁移旨在只提供一张参考妆容图像和一张素颜人脸图像的情况下，将参考妆容迁移到素颜人脸上的同时维持素颜人脸的身份信息不变。妆容风格迁移是一种无监督的实例级别的风格迁移任务。通过妆容风格迁移，只需提供一张带妆人脸图像就可以看到该妆容在用户脸上的效果。
随着对抗生成网络在图像生成领域取得巨大成功，已有技术利用对抗生成网络的方法完成妆容风格迁移的任务。大部分实现妆容风格迁移的模型都需要妆容差异损失来辅助生成器的训练。然而大部分妆容差异度量方法只考虑了妆容颜色信息没有考虑妆容纹理信息。另外，通过计算像素级别差异的平均值来度量妆容差异，这种方式带有的结构信息少。完全不同的妆容生成结果得到相似妆容差异值的可能性大。
发明内容
为了解决上述背景技术中存在的不足，即现有的妆容差异度量方法带有信息偏少。本发明提出了一种基于颜色纹理的多尺度妆容风格差异度量及妆容迁移方案以精准的描述妆容差异，实现更好的妆容迁移效果。
为了实现上述目的，本发明提供一种基于颜色纹理的多尺度妆容风格差异度量方法，包括以下步骤，
步骤1，将参考妆容人脸图像
Figure BDA0002622942950000021
变形到素颜人脸图像
Figure BDA0002622942950000022
上，得到一张伪带妆人脸图像
Figure BDA0002622942950000023
并将素颜人脸图像
Figure BDA0002622942950000024
和参考妆容人脸图像
Figure BDA0002622942950000025
输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像
Figure BDA0002622942950000026
步骤2，通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像
Figure BDA0002622942950000027
和素颜人脸图像
Figure BDA0002622942950000028
之间的妆容差异，度量目标带妆人脸图像
Figure BDA0002622942950000029
与参考妆容图像
Figure BDA00026229429500000210
之间的妆容差异。
而且，步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像
Figure BDA00026229429500000211
和参考妆容人脸图像
Figure BDA00026229429500000212
将参考妆容人脸图像
Figure BDA00026229429500000213
变形到素颜人脸图像
Figure BDA00026229429500000214
上。
而且，所述分别提取伪带妆人脸图像
Figure BDA00026229429500000215
和素颜人脸图像
Figure BDA00026229429500000216
的纹理特征，通过Gabor滤波器实现。
而且，步骤2实现方式如下，
分别提取伪带妆人脸图像
Figure BDA00026229429500000217
和素颜人脸图像
Figure BDA00026229429500000218
的纹理特征，得到相应的纹理图片
Figure BDA00026229429500000219
和
Figure BDA00026229429500000220
将伪带妆源人脸图像
Figure BDA00026229429500000221
和目标带妆人脸图像
Figure BDA00026229429500000222
分别按多个不同尺度划分区域，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值
Figure BDA00026229429500000223
同理，将纹理图片
Figure BDA00026229429500000224
和
Figure BDA00026229429500000225
划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值
Figure BDA00026229429500000226
计算
Figure BDA00026229429500000227
和
Figure BDA00026229429500000228
的加权和得到最终的妆容差异值
Figure BDA00026229429500000229
其中，α为颜色空间差异权值，β为纹理空间差异权值。
本发明还提供一种基于颜色纹理的多尺度妆容风格差异度量系统，用于实现如上所述的一种基于颜色纹理的多尺度妆容风格差异度量方法。
本发明也提供一种基于颜色纹理的妆容迁移方法，包括以下步骤，
步骤1，将参考妆容人脸图像
Figure BDA00026229429500000230
变形到素颜人脸图像
Figure BDA00026229429500000231
上，得到一张伪带妆人脸图像
Figure BDA00026229429500000232
并将素颜人脸图像
Figure BDA00026229429500000233
和参考妆容人脸图像
Figure BDA00026229429500000234
输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像
Figure BDA00026229429500000235
步骤2，通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像
Figure BDA00026229429500000236
和素颜人脸图像
Figure BDA00026229429500000237
之间的妆容差异，度量目标带妆人脸图像
Figure BDA00026229429500000238
与参考妆容图像
Figure BDA00026229429500000239
之间的妆容差异；
步骤3，将步骤2所得妆容差异值作为对抗生成网络中的一个损失函数，辅助生成网络的学习，得到更好的妆容迁移效果。
而且，步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像
Figure BDA0002622942950000031
和参考妆容人脸图像
Figure BDA0002622942950000032
将参考妆容人脸图像
Figure BDA0002622942950000033
变形到素颜人脸图像
Figure BDA0002622942950000034
上。
而且，所述分别提取伪带妆人脸图像
Figure BDA0002622942950000035
和素颜人脸图像
Figure BDA0002622942950000036
的纹理特征，通过Gabor滤波器实现。
而且，步骤2实现方式如下，
分别提取伪带妆人脸图像
Figure BDA0002622942950000037
和素颜人脸图像
Figure BDA0002622942950000038
的纹理特征，得到相应的纹理图片
Figure BDA0002622942950000039
和
Figure BDA00026229429500000310
将伪带妆源人脸图像
Figure BDA00026229429500000311
和目标带妆人脸图像
Figure BDA00026229429500000312
分别按多个不同尺度划分区域，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值
Figure BDA00026229429500000313
同理，将纹理图片
Figure BDA00026229429500000314
和
Figure BDA00026229429500000315
划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值
Figure BDA00026229429500000316
计算
Figure BDA00026229429500000317
和
Figure BDA00026229429500000318
的加权和得到最终的妆容差异值
Figure BDA00026229429500000319
其中，α为颜色空间差异权值，β为纹理空间差异权值。
本发明还提供一种基于颜色纹理的妆容迁移系统，用于实现如上所述的一种基于颜色纹理的妆容迁移方法。
本发明提出以下改进：
(1)现有的妆容差异度量方法只考虑了妆容的色彩信息，本发明提出利用通过Gabor滤波器提取的妆容纹理信息以丰富对妆容的描述。
(2)现有的方法大多通过计算像素级别差异的平均值来度量妆容差异，这种方法带有的结构信息少。完全不同的妆容生成结果得到相似妆容差异值的可能性大。本发明提出将待比较的两张图像划分为多个不同尺度的区域，即将图像划分为多个不同大小的子区域，在对应的区域分别计算妆容差异值后取均值得到最终的妆容差异值以提供更为丰富的妆容结构信息。这种度量方式可以更精准的描述妆容差异。
本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。
附图说明
图1为本发明实施例的方法流程图。
图2为本发明实施例图像扭曲示意图。
图3为本发明实施例纹理特征提取及多尺度妆容差异度量示意图。
图4为本发明实施例妆容迁移效果示意图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
本发明提出一种基于颜色纹理的多尺度妆容风格差异度量及相应妆容迁移方案，妆容风格迁移任务旨在给定一张参考妆容图像
Figure BDA0002622942950000041
和一张素颜人脸图像
Figure BDA0002622942950000042
的情况下将参考妆容迁移到素颜人脸上同时维持素颜人脸的身份信息不变，得到目标带妆人脸图像
Figure BDA0002622942950000043
其中Y代表带妆图像域，X代表素颜图像域。在妆容风格迁移模型的训练中往往需要度量
Figure BDA0002622942950000044
与
Figure BDA0002622942950000045
之间的妆容差异以更好的训练模型。因此，本发明首先提出一种新的基于颜色纹理的多尺度妆容风格差异度量方法。
如图1，实施例提出一种基于颜色纹理的多尺度妆容风格差异度量方法，具体步骤如下：
1)如图2，实施例根据人脸关键点将参考妆容人脸图像
Figure BDA0002622942950000046
变形到素颜人脸图像
Figure BDA0002622942950000047
上，得到一张伪带妆人脸图像
Figure BDA0002622942950000048
并将素颜人脸图像
Figure BDA0002622942950000049
和参考妆容人脸图像
Figure BDA00026229429500000410
输入对抗生成网络中，由其中的生成网络模块输出初步的目标带妆人脸图像
Figure BDA00026229429500000411
对抗生成网络(GAN)可以用户完成初步的妆容风格迁移任务，实施例将素颜人脸图像
Figure BDA00026229429500000412
和参考妆容人脸图像
Figure BDA00026229429500000413
输入到该对抗生成网络中，由其中的生成网络模块输出初步的目标带妆人脸图像
Figure BDA00026229429500000414
实施例采用的对抗生成网络的具体结构参考“BeautyGAN:Instance-level Facial Makeup Transfer with DeepGenerative AdversarialNetwork”。在实施例的多尺度妆容差异度量方法中，实施例需要度量目标带妆人脸图像
Figure BDA00026229429500000415
和参考妆容图像
Figure BDA00026229429500000416
之间的妆容差异。但是，度量目标带妆人脸图像
Figure BDA00026229429500000417
和参考妆容图像
Figure BDA00026229429500000418
并不是同一个人的带妆效果，直接度量
Figure BDA00026229429500000419
和
Figure BDA00026229429500000420
之间的妆容差异比较困难。因此，实施例通过扭曲算法(Warping)，输入素颜人脸图像
Figure BDA00026229429500000421
和参考妆容人脸图像
Figure BDA00026229429500000422
得到伪带妆人脸图像
Figure BDA00026229429500000423
通过度量伪带妆人脸图像
Figure BDA00026229429500000424
和目标带妆人脸图像
Figure BDA00026229429500000425
之间的差异来近似
Figure BDA00026229429500000426
和
Figure BDA00026229429500000427
之间的妆容差异。
本发明通过关键点扭曲的方法可以保留妆容的色彩和位置信息，有利于妆容差异的度量。实施例提取的关键点包括面部轮廓和眉眼鼻唇上分布的若干点。
扭曲算法(Warping)的具体步骤可参考现有技术，实施例实现参考“Thin-platesplines and the decomposition of deformations”。
2)通过计算伪带妆人脸图像
Figure BDA00026229429500000428
和素颜人脸图像
Figure BDA00026229429500000429
之间的妆容差异，度量目标带妆人脸图像
Figure BDA00026229429500000430
与参考妆容图像
Figure BDA00026229429500000431
之间的妆容差异。
实施例分别提取
Figure BDA00026229429500000432
和
Figure BDA00026229429500000433
的颜色和纹理信息，将得到的颜色和纹理信息划分为多个区域，在对应区域分别度量妆容颜色差异和妆容纹理差异。将妆容颜色差异和妆容纹理差异结合即得到最终的妆容差异值。
步骤2.1，如图3，实施例通过Gabor滤波器分别提取
Figure BDA00026229429500000434
和
Figure BDA00026229429500000435
的纹理特征和，得到两张纹理图片
Figure BDA0002622942950000051
和
Figure BDA0002622942950000052
Gabor滤波器的具体设计可采用现有技术，实施例实现参考“Gabor featurebased classification using the enhanced fisher linear discriminant model forface recognition”。
步骤2.2，然后实施例将两张色彩图片——伪带妆源人脸图像
Figure BDA0002622942950000053
和目标带妆人脸图像
Figure BDA0002622942950000054
分别按多个不同尺度划分区域，如图3，具体实施时可以通过不同尺寸大小(实施例取1×1、4×4、16×16)的方形窗口对图像进行有部分重叠的滑动划分，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值
Figure BDA0002622942950000055
同理，实施例将纹理图片
Figure BDA0002622942950000056
和
Figure BDA0002622942950000057
划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值
Figure BDA0002622942950000058
步骤2.3，最后，实施例计算
Figure BDA0002622942950000059
和
Figure BDA00026229429500000510
的加权和得到最终的妆容差异值
Figure BDA00026229429500000511
其中，α为颜色空间差异权值，取值大于0，β为纹理空间差异权值，取值大于0。具体实施时，可设置为经验值。实施例中，优选设置α＝1，β＝5。
实施例计算得到的妆容差异值Dsr可以作为对抗生成网络中的一个约束，有利于学习到更好的生成网络，实现更好的妆容迁移效果。
在另一实施例中，提出一种基于颜色纹理的妆容迁移方法，利用上述实施例所得妆容差异值可以作为对抗生成网络中的一个损失函数，辅助生成网络的学习，得到更好的妆容迁移效果。具体实施时，可将妆容差异值加入到对抗生成网络的目标函数中，通过反向传播，梯度下降更新网络参数，完成训练。最终使得网络可以更准确的生成妆容迁移结果。如图4，添加了Dsr约束后，可以更好的迁移复杂妆容。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，运行方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于颜色纹理的多尺度妆容风格差异度量方法，其特征在于：包括以下步骤，
步骤1，将参考妆容人脸图像
Figure FDA0002622942940000011
变形到素颜人脸图像
Figure FDA0002622942940000012
上，得到一张伪带妆人脸图像
Figure FDA0002622942940000013
并将素颜人脸图像
Figure FDA0002622942940000014
和参考妆容人脸图像
Figure FDA0002622942940000015
输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像
Figure FDA0002622942940000016
步骤2，通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像
Figure FDA0002622942940000017
和素颜人脸图像
Figure FDA0002622942940000018
之间的妆容差异，度量目标带妆人脸图像
Figure FDA0002622942940000019
与参考妆容图像
Figure FDA00026229429400000110
之间的妆容差异。
2.根据权利要求1所述基于颜色纹理的多尺度妆容风格差异度量方法，其特征在于：步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像
Figure FDA00026229429400000111
和参考妆容人脸图像
Figure FDA00026229429400000112
将参考妆容人脸图像
Figure FDA00026229429400000113
变形到素颜人脸图像
Figure FDA00026229429400000114
上。
3.根据权利要求1所述基于颜色纹理的多尺度妆容风格差异度量方法，其特征在于：所述分别提取伪带妆人脸图像
Figure FDA00026229429400000115
和素颜人脸图像
Figure FDA00026229429400000116
的纹理特征，通过Gabor滤波器实现。
4.根据权利要求1或2或3所述基于颜色纹理的多尺度妆容风格差异度量方法，其特征在于：步骤2实现方式如下，
分别提取伪带妆人脸图像
Figure FDA00026229429400000117
和素颜人脸图像
Figure FDA00026229429400000118
的纹理特征，得到相应的纹理图片
Figure FDA00026229429400000119
和
Figure FDA00026229429400000120
将伪带妆源人脸图像
Figure FDA00026229429400000121
和目标带妆人脸图像
Figure FDA00026229429400000122
分别按多个不同尺度划分区域，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值
Figure FDA00026229429400000123
同理，将纹理图片
Figure FDA00026229429400000124
和
Figure FDA00026229429400000125
划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值
Figure FDA00026229429400000126
计算
Figure FDA00026229429400000127
和
Figure FDA00026229429400000128
的加权和得到最终的妆容差异值
Figure FDA00026229429400000129
其中，α为颜色空间差异权值，β为纹理空间差异权值。
5.一种基于颜色纹理的多尺度妆容风格差异度量系统，其特征在于：用于实现如权利要求1-4任一项所述的一种基于颜色纹理的多尺度妆容风格差异度量方法。
6.一种基于颜色纹理的妆容迁移方法，其特征在于：包括以下步骤，
步骤1，将参考妆容人脸图像
Figure FDA00026229429400000130
变形到素颜人脸图像
Figure FDA00026229429400000131
上，得到一张伪带妆人脸图像
Figure FDA00026229429400000132
并将素颜人脸图像
Figure FDA00026229429400000133
和参考妆容人脸图像
Figure FDA00026229429400000134
输入对抗生成网络中，由对抗生成网络中的生成网络模块输出初步的目标带妆人脸图像
Figure FDA00026229429400000135
步骤2，通过在妆容差异度量时引入纹理信息，并采用多尺度方式提取伪带妆人脸图像
Figure FDA00026229429400000136
和素颜人脸图像
Figure FDA0002622942940000021
之间的妆容差异，度量目标带妆人脸图像
Figure FDA0002622942940000022
与参考妆容图像
Figure FDA0002622942940000023
之间的妆容差异；
步骤3，将步骤2所得妆容差异值作为对抗生成网络中的一个损失函数，辅助生成网络的学习，得到更好的妆容迁移效果。
7.根据权利要求6所述基于颜色纹理的妆容迁移方法，其特征在于：步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像
Figure FDA0002622942940000024
和参考妆容人脸图像
Figure FDA0002622942940000025
将参考妆容人脸图像
Figure FDA0002622942940000026
变形到素颜人脸图像
Figure FDA0002622942940000027
上。
8.根据权利要求6所述基于颜色纹理的妆容迁移方法，其特征在于：所述分别提取伪带妆人脸图像
Figure FDA0002622942940000028
和素颜人脸图像
Figure FDA0002622942940000029
的纹理特征，通过Gabor滤波器实现。
9.根据权利要求6或7或8所述基于颜色纹理的妆容迁移方法，其特征在于：步骤2实现方式如下，
分别提取伪带妆人脸图像
Figure FDA00026229429400000210
和素颜人脸图像
Figure FDA00026229429400000211
的纹理特征，得到相应的纹理图片
Figure FDA00026229429400000212
和
Figure FDA00026229429400000213
将伪带妆源人脸图像
Figure FDA00026229429400000214
和目标带妆人脸图像
Figure FDA00026229429400000215
分别按多个不同尺度划分区域，并在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到颜色空间的妆容差异值
Figure FDA00026229429400000216
同理，将纹理图片
Figure FDA00026229429400000217
和
Figure FDA00026229429400000218
划分为多个不同尺度的区域，在对应区域分别通过平均绝对误差计算妆容差异后取均值，得到纹理空间的妆容差异值
Figure FDA00026229429400000219
计算
Figure FDA00026229429400000220
和
Figure FDA00026229429400000221
的加权和得到最终的妆容差异值
Figure FDA00026229429400000222
其中，α为颜色空间差异权值，β为纹理空间差异权值。
10.一种基于颜色纹理的妆容迁移系统，其特征在于：用于实现如权利要求6-9任一项所述的一种基于颜色纹理的妆容迁移方法。
CN202010788537.4A 2020-08-07 2020-08-07 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 Pending CN111950430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010788537.4A CN111950430A (zh) 2020-08-07 2020-08-07 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010788537.4A CN111950430A (zh) 2020-08-07 2020-08-07 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统

Publications (1)

Publication Number Publication Date
CN111950430A true CN111950430A (zh) 2020-11-17

Family

ID=73333315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010788537.4A Pending CN111950430A (zh) 2020-08-07 2020-08-07 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统

Country Status (1)

Country Link
CN (1) CN111950430A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362422A (zh) * 2021-06-08 2021-09-07 武汉理工大学 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN113781372A (zh) * 2021-08-25 2021-12-10 北方工业大学 一种基于深度学习的戏曲脸谱生成方法及系统
CN114820286A (zh) * 2022-02-08 2022-07-29 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法
WO2022237081A1 (zh) * 2021-05-14 2022-11-17 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质
WO2023124391A1 (zh) * 2021-12-30 2023-07-06 上海商汤智能科技有限公司 妆容迁移及妆容迁移网络的训练方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886881A (zh) * 2019-01-10 2019-06-14 中国科学院自动化研究所 人脸妆容去除方法
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886881A (zh) * 2019-01-10 2019-06-14 中国科学院自动化研究所 人脸妆容去除方法
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022237081A1 (zh) * 2021-05-14 2022-11-17 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质
CN113362422A (zh) * 2021-06-08 2021-09-07 武汉理工大学 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN113781372A (zh) * 2021-08-25 2021-12-10 北方工业大学 一种基于深度学习的戏曲脸谱生成方法及系统
CN113781372B (zh) * 2021-08-25 2023-06-30 北方工业大学 一种基于深度学习的戏曲脸谱生成方法及系统
WO2023124391A1 (zh) * 2021-12-30 2023-07-06 上海商汤智能科技有限公司 妆容迁移及妆容迁移网络的训练方法和装置
CN114820286A (zh) * 2022-02-08 2022-07-29 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法
CN114820286B (zh) * 2022-02-08 2024-04-12 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法

Similar Documents

Publication Publication Date Title
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
Shi et al. Automatic acquisition of high-fidelity facial performances using monocular videos
Blanz et al. Reanimating faces in images and video
CN109377557B (zh) 基于单帧人脸图像的实时三维人脸重建方法
US20200234482A1 (en) Systems and methods for photorealistic real-time portrait animation
WO2022143645A1 (zh) 三维人脸重建的方法、装置、设备和存储介质
Sharma et al. 3d face reconstruction in deep learning era: A survey
CN108460398B (zh) 图像处理方法、装置、云处理设备
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
Rhee et al. Cartoon-like avatar generation using facial component matching
US20210158593A1 (en) Pose selection and animation of characters using video data and training techniques
CN111950432A (zh) 一种基于区域风格一致性的妆容风格迁移方法及系统
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
Tsai et al. Human face aging with guided prediction and detail synthesis
Martin et al. Face aging simulation with a new wrinkle oriented active appearance model
CN111402403A (zh) 高精度三维人脸重建方法
Luo et al. Facial metamorphosis using geometrical methods for biometric applications
Danieau et al. Automatic generation and stylization of 3d facial rigs
Asthana et al. Facial performance transfer via deformable models and parametric correspondence
CN106940792A (zh) 基于特征点运动的人脸表情序列截取方法
Purps et al. Reconstructing facial expressions of HMD users for avatars in VR
Mena-Chalco et al. 3D human face reconstruction using principal components spaces
CN112308957B (zh) 一种基于深度学习的最佳胖瘦人脸肖像图像自动生成方法
Hu et al. Research on Current Situation of 3D face reconstruction based on 3D Morphable Models
CN115936796A (zh) 一种虚拟换妆方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination