CN111950432A - 一种基于区域风格一致性的妆容风格迁移方法及系统 - Google Patents

一种基于区域风格一致性的妆容风格迁移方法及系统 Download PDF

Info

Publication number
CN111950432A
CN111950432A CN202010789066.9A CN202010789066A CN111950432A CN 111950432 A CN111950432 A CN 111950432A CN 202010789066 A CN202010789066 A CN 202010789066A CN 111950432 A CN111950432 A CN 111950432A
Authority
CN
China
Prior art keywords
makeup
style
face image
generation network
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010789066.9A
Other languages
English (en)
Other versions
CN111950432B (zh
Inventor
熊盛武
连洁雅
王豪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202010789066.9A priority Critical patent/CN111950432B/zh
Publication of CN111950432A publication Critical patent/CN111950432A/zh
Application granted granted Critical
Publication of CN111950432B publication Critical patent/CN111950432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明提供一种基于区域风格一致性的妆容风格迁移方法及系统，包括输入素颜人脸图像和参考妆容人脸图像，变形得到一张伪带妆人脸图像；基于预设的子妆容风格的个数，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；将素颜人脸图像和参考妆容人脸图像输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像，可实现更好的妆容风格迁移图像效果。

Description

一种基于区域风格一致性的妆容风格迁移方法及系统
技术领域
本发明涉及图像生成技术领域，具体涉及一种基于区域风格一致性的妆容风格迁移技术方案。
背景技术
化妆是一种常见的提升外貌的方式。通过运用化妆品和工具，可以对面部和五官进行渲染、描画、掩饰缺陷、调整形色、增强立体印象，从而增加美感和魅力。因此，图像处理技术领域中，妆容处理也是重要的应用场景，例如，授权专利CN108090465B提供了一种妆容效果处理模型训练方法及妆容效果处理方法，授权专利CN105956150B提供了生成用户发现及妆容搭配建议的方法及装置。
人脸妆容迁移是近年来在图像处理领域出现的新的应用技术。最近，一些虚拟化妆应用程序已投入市场，比如美图秀秀、Camera360、TAAZ、抖音等等。这些应用可以将用户选择的妆容迁移到输入的人脸图像上，这样，用户就可以实时看到某个妆容在自己脸上的效果。但是这些应用只提供特定的几种妆容，应用范围有限。
妆容风格迁移旨在只提供一张参考妆容图像和一张素颜人脸图像的情况下，将参考妆容迁移到素颜人脸上的同时维持素颜人脸的身份信息不变。妆容风格迁移是一种无监督的实例级别的风格迁移任务。通过妆容风格迁移，只需提供一张带妆人脸图像就可以看到该妆容在用户脸上的效果。
随着对抗生成网络在图像生成领域取得巨大成功，已有技术利用对抗生成网络的方法完成妆容风格迁移的任务。然而现有的方法都将妆容分解为唇妆、眼妆和面部妆容三个部分，但是这三个子妆容的复杂程度并不类似，唇妆往往相对简单，眼妆相对复杂、面部妆容更具多样性。这样的划分方式不利于模型的训练。
发明内容
为了解决上述现有技术中存在的不足，本发明提出了一种基于区域风格一致性的妆容风格迁移方案对妆容风格进行更合理的分解，同时增强远距离相似妆容区域的一致性，实现更好的妆容风格迁移效果。
为了实现上述目的，本发明提出一种基于区域风格一致性的妆容风格迁移方法，包括以下步骤，
步骤1，输入素颜人脸图像
Figure BDA0002623112520000021
和参考妆容人脸图像
Figure BDA0002623112520000022
将参考妆容人脸图像
Figure BDA0002623112520000023
变形到素颜人脸图像
Figure BDA0002623112520000024
上，得到一张伪带妆人脸图像
Figure BDA0002623112520000025
步骤2，基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像
Figure BDA0002623112520000026
进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；
步骤3，将素颜人脸图像
Figure BDA0002623112520000027
和参考妆容人脸图像
Figure BDA0002623112520000028
输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像
Figure BDA0002623112520000029
而且，步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像
Figure BDA00026231125200000210
和参考妆容人脸图像
Figure BDA00026231125200000211
将参考妆容人脸图像
Figure BDA00026231125200000212
变形到素颜人脸图像
Figure BDA00026231125200000213
上。
而且，步骤2的实现方式包括以下子步骤，
步骤2.1，对伪带妆人脸图像
Figure BDA00026231125200000214
进行RGB直方图统计，选出k个两两之间距离最大的颜色用来初始化SOM网络中竞争层神经元的权值；
步骤2.2，在SOM网络中输入伪带妆人脸图像
Figure BDA00026231125200000215
中随机像素点的RGB值，记为当前输入v；
步骤2.3，查找与当前输入v最近的竞争层神经元作为获胜神经元，相应权值记为
Figure BDA00026231125200000216
步骤2.4，利用当前输入v调整获胜神经元权值
Figure BDA00026231125200000217
令
Figure BDA00026231125200000218
其中η为学习率取值范围(0,1)；
步骤2.5，重复进行步骤2.2-2.4，再次输入伪带妆人脸图像
Figure BDA00026231125200000219
中随机像素点的RGB值，根据新的当前输入v调整竞争层神经元权值，直到收敛或达到最大迭代次数，然后进入步骤2.6；
步骤2.6，利用k个竞争神经元的权值对伪带妆人脸图像
Figure BDA00026231125200000220
进行分割，得到妆容分割结果
Figure BDA00026231125200000221
而且，设对抗生成网络中的生成网络模块包括n+1个反卷积网络层，通过设置区域性实例自适应归一化模块实现对生成网络模块调整；区域性实例自适应归一化模块包括多层感知机和n个归一化层，生成网络模块中前n个反卷积层分别设置一个相应的归一化层，最后一个反卷积层输出最终目标带妆人脸图像
Figure BDA00026231125200000222
而且，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，实现方式包括以下子步骤，
步骤3.1，利用步骤2学习到的妆容分割结果和步骤1所得伪带妆人脸图像
Figure BDA00026231125200000223
提取k个子妆容风格的颜色分布特征，得到k个子妆容风格向量；
步骤3.2，将k个子妆容风格向量输入到多层感知机网络中产生k个子妆容风格自适应的平移、缩放变量(γi,βi),i∈(1,…,k)；
步骤3.3，通过对前n个反卷积层的输出做自适应归一化处理，最后一个反卷积层输出最终目标带妆人脸图像
Figure BDA0002623112520000031
其中对第n1个反卷积层的输出做自适应归一化处理实现方式如下，n1∈(1,…,n)，
步骤3.3.1，将步骤2所得妆容分割结果采样到与生成模型当前反卷积层输出的特征映射相同的大小，设大小为h*w，得到采样后的妆容分割结果；
步骤3.3.2，将步骤3.2得到的每个平移、缩放变量，按照步骤3.3.1所得采样后的妆容分割结果拓展为一个(h*w)维的平移、缩放变量，记为拓展变量(γn1,βn1)；
步骤3.3.3，利用拓展变量(γn1,βn1)，对生成模块当前层的特征映射进行区域一致性的归一化处理，在相同子风格区域应用相同的归一化方式。
而且，步骤3.3.2中拓展的实现方式为，
首先产生与分割结果相同尺寸(h*w)的两个变量，分别记为γn1和βn1，对于γn1中的每一个位置(a,b),a∈(1,…,h),b∈(1,…,w)，均查询对应位置的妆容分割结果，假设对应位置属于第i种子妆容风格，i∈(1,…,k)，对应平移变量的值为γi，则将γn1中(a,b)处赋值为γi，使得γn1中属于相同妆容区域位置的值均相同；对于变量βn1采用相同的方式进行拓展。
本发明还提供一种基于区域风格一致性的妆容风格迁移系统，用于实现如上所述的一种基于区域风格一致性的妆容风格迁移方法。
而且，包括以下模块，
第一模块，用于输入素颜人脸图像
Figure BDA0002623112520000032
和参考妆容人脸图像
Figure BDA0002623112520000033
将参考妆容人脸图像
Figure BDA0002623112520000034
变形到素颜人脸图像
Figure BDA0002623112520000035
上，得到一张伪带妆人脸图像
Figure BDA0002623112520000036
第二模块，用于基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像
Figure BDA0002623112520000037
进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；
第三模块，用于将素颜人脸图像
Figure BDA0002623112520000038
和参考妆容人脸图像
Figure BDA0002623112520000039
输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像
Figure BDA00026231125200000310
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如上所述的一种基于区域风格一致性的妆容风格迁移方法。
而且，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于区域风格一致性的妆容风格迁移方法。
本发明提出以下改进：
1)首次提出对妆容风格分解分析：现有的方法大都将妆容风格分解为：眼部、唇部、面部三部分，然后对这三部分分别进行风格迁移。但是，唇妆往往相对简单，眼妆相对复杂，面部妆容风格更具多样性。这种眼部、唇部和面部的划分方式不利于模型的训练，本发明提出通过SOM算法，利用妆容的颜色纹理信息将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域。利用SOM算法对妆容风格进行合理的分解，可使划分得到的每个区域内的妆容风格高度相似。
2)提出在妆容风格分解的条件下，通过区域自适应归一化在图像生成的过程中增强相似风格区域的一致性以实现更好的妆容风格迁移效果。本发明在生成模型中添加区域性实例自适应归一化模块，在相同子风格区域应用相同的归一化方法以增强远距离相似妆容区域的一致性。
本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例图像扭曲示意图；
图3为本发明实施例人脸关键点示意图；
图4为本发明实施例妆容分割流程图；
图5为本发明实施例生成网络结构示意图
图6为本发明实施例区域风格一致性流程图。
具体实施方式
以下结合附图和实施例具体说明本发明的技术方案。
本发明实施例中提出，妆容风格迁移任务旨在给定一张参考妆容图像
Figure BDA0002623112520000041
和一张素颜人脸图像
Figure BDA0002623112520000042
的情况下将参考妆容迁移到素颜人脸上同时维持素颜人脸的身份信息不变，得到目标带妆人脸图像
Figure BDA0002623112520000043
其中Y代表带妆图像域，X代表素颜图像域。
参见图1，实施例提出的一种基于区域风格一致性的妆容风格迁移方法，利用对抗生成网络(GAN)完成妆容风格迁移任务，实施例将素颜人脸图像
Figure BDA0002623112520000044
和参考妆容人脸图像
Figure BDA0002623112520000045
输入到该对抗生成网络中，同时通过区域自适应归一化调整对抗生成网络中的生成网络模块，由该生成网络模块输出目标带妆人脸图像
Figure BDA0002623112520000051
实施例采用的对抗生成网络的具体结构参考“BeautyGAN:Instance-level Facial Makeup Transfer with DeepGenerativeAdversarial Network”。实施例根据子妆容风格的不同划分出不同的区域，子妆容风格由SOM算法学习得到。SOM(Self Organizing Maps)即自组织映射神经网络，通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。为了得到目标带妆人脸图像
Figure BDA0002623112520000052
的妆容分割结果，实施例通过扭曲算法(Warping)，输入素颜人脸图像
Figure BDA0002623112520000053
和参考妆容人脸图像
Figure BDA0002623112520000054
得到伪带妆人脸图像
Figure BDA0002623112520000055
对这个伪带妆人脸图像进行妆容分割以得到目标带妆人脸图像的妆容分割结果。
实施例提出的一种基于区域风格一致性的妆容风格迁移方法，具体步骤如下：
1)如图2，实施例首先根据人脸关键点利用warping算法，输入素颜人脸图像
Figure BDA0002623112520000056
和参考妆容人脸图像
Figure BDA0002623112520000057
将参考妆容人脸图像
Figure BDA0002623112520000058
变形到素颜人脸图像
Figure BDA0002623112520000059
上，得到一张伪带妆人脸图像
Figure BDA00026231125200000510
实施例的关键点提取如图3所示，包括面部轮廓和眉眼鼻唇上分布的若干点。
warping算法的具体实现可参考现有技术，实施例实现参考“Thin-plate splinesand the decomposition of deformations”，本发明不予赘述。
2)然后再根据图4所示流程对伪带妆人脸图像
Figure BDA00026231125200000511
进行妆容分割，以得到目标带妆人脸图像的妆容分割结果的近似结果。
本步骤基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像
Figure BDA00026231125200000512
进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果。
实施例中步骤2)具体实现步骤如下：
步骤2.1，对伪带妆人脸图像
Figure BDA00026231125200000513
进行RGB直方图统计，选出k个两两之间距离最大的颜色用来初始化SOM算法中竞争层神经元的权值。k为设定值，意义为子妆容风格的个数，建议取值范围为(4,16)，妆容越复杂k值越大。
SOM网络由输入层和竞争层组成。输入层为3维，用来输入图像像素点RGB值。竞争层由k个神经元wi,i∈{1,..,k}组成，每个神经元都为3维。网络训练完成后，这k个神经元即为k个子妆容风格的表示。i为子妆容风格的标号。
步骤2.2，实施例在SOM网络中输入伪带妆人脸图像
Figure BDA00026231125200000514
中随机像素点的RGB值，记为当前输入v；
步骤2.3，查找与当前输入v最近的竞争层神经元作为获胜神经元，相应权值记为
Figure BDA00026231125200000515
步骤2.4，利用当前输入v调整获胜神经元权值
Figure BDA00026231125200000516
即令
Figure BDA00026231125200000517
其中η为学习率，取值范围为(0,1)；
步骤2.5，重复进行步骤2.2-2.4，再次输入伪带妆人脸图像
Figure BDA0002623112520000061
中随机像素点的RGB值，根据新的当前输入v调整竞争层神经元权值，直到收敛或达到最大迭代次数，然后进入步骤2.6；
步骤2.6，利用k个竞争神经元的权值(即学习到的k个子妆容风格表示)对伪带妆人脸图像
Figure BDA0002623112520000062
进行分割，得到妆容分割结果
Figure BDA0002623112520000063
具体来说，实施例计算每个像素点和子妆容风格之间的欧式距离，查找与其最近的子妆容风格，并将图像中的该像素点划分到该子妆容分割区域。
3)将素颜人脸图像
Figure BDA0002623112520000064
和参考妆容人脸图像
Figure BDA0002623112520000065
输入到对抗生成网络中，同时如图5通过区域自适应归一化调整对抗生成网络中的生成网络模块，由该生成网络模块输出目标带妆人脸图像
Figure BDA0002623112520000066
本步骤将素颜人脸图像
Figure BDA0002623112520000067
和参考妆容人脸图像
Figure BDA0002623112520000068
输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像
Figure BDA0002623112520000069
参见图5，实施例优选采用的对抗生成网络中设置有2个卷积块、1个残差块和生成网络模块，素颜人脸图像
Figure BDA00026231125200000610
和参考妆容人脸图像
Figure BDA00026231125200000611
分别输入一个卷积块，2个卷积块的输入送入残差块，残差块的输出送入生成网络模块。设生成网络模块包括n+1个反卷积网络层，本发明提出的区域性实例自适应归一化模块包括多层感知机和n个归一化层。本发明分别对前n个反卷积层的输出做自适应归一化处理，即前n个反卷积层分别设置一个相应的归一化层，最后一个反卷积层输出最终目标带妆人脸图像
Figure BDA00026231125200000612
妆容分割结果
Figure BDA00026231125200000613
输入多层感知机，多层感知机输出相应平移、缩放变量到各归一化层。具体实施时，n根据生成网络模块结构设置取值，实施例中n＝3。
本发明采用对抗生成网络作为生成模型。如图6，实施例利用妆容分割结果在生成模型中添加区域性实例自适应归一化模块，提取目标带妆人脸图像
Figure BDA00026231125200000614
的实现步骤如下：
步骤3.1，实施例利用步骤2学习到的妆容分割结果和步骤1所得伪带妆人脸图像
Figure BDA00026231125200000615
提取k个子妆容风格的颜色分布特征，得到k个子妆容风格向量。颜色分布特征实施例参考“Coloring With Limited Data:Few-Shot Colorization via Memory AugmentedNetworks”提取，本发明不予赘述。
步骤3.2，将k个子妆容风格向量输入到一个多层感知机网络中产生k个子妆容风格自适应的平移、缩放变量(γi,βi),i∈(1,…,k)。
具体来说，后续步骤可以通过x＝γix+βi的方式，利用平移、缩放变量(γi,βi)对x进行自适应归一化处理，其中x可表示当前反卷积层的输出。这样可以利用网络使得样例归一化方法中的平移、缩放变量与妆容相适应。关于样例归一化方法部分的实现，可以参考“Instance Normalization:The Missing Ingredient for Fast Stylization”，本发明不予赘述。
该多层感知机网络的输入为3维，输出为2维，中间为多个全连接层。
步骤3.3，通过对前n个反卷积层的输出做自适应归一化处理，最后一个反卷积层输出最终目标带妆人脸图像
Figure BDA0002623112520000071
本发明对前n个反卷积层的输出按照以下步骤分别做自适应归一化处理。这里以第n1个反卷积层为例，n1＝1,2,…n。
步骤3.3.1，将步骤2所得妆容分割结果采样到与生成模型当前反卷积层(第n1个反卷积层)输出的特征映射相同的大小(h*w)，得到采样后的妆容分割结果。其中，h为高，w为宽。
步骤3.3.2，将步骤3.2得到的每个平移、缩放变量，按照步骤3.3.1所得采样后的妆容分割结果拓展为一个(h*w)维的平移、缩放变量，记为拓展变量(γn1,βn1)。
具体方式为，实施例首先产生与分割结果相同尺寸(w)的两个变量，分别记为n1和n1。对于γn1中的每一个位置(a,b),a∈(1,…,h),b∈(1,…,w)，均查询其对应位置的妆容分割结果，这里假设它属于第i种子妆容风格i(1,…,k)，则其平移变量的值为i，那么实施例就将(a,b)位置赋值为γi。最终，γn1变量中属于相同妆容区域位置的值均相同。对于βn1变量采用相同的方式进行拓展。
按此方式可得相应层的拓展变量(γ1,β1)…(γn,βn)。
步骤3.3.3，利用拓展变量(γn1,βn1)，实施例对生成模块当前层的特征映射进行了区域一致性的归一化处理。在相同子风格区域应用相同的归一化方法，实施例增强了远距离相似妆容区域的一致性。
第1个反卷积层的输出经相应第1个归一化层后，输入第2个反卷积层；第2个反卷积层的输出经相应第2个归一化层后，输入第3个反卷积层；…对前n个反卷积层的输出分别做自适应归一化处理后，最后一个反卷积层输出最终目标带妆人脸图像
Figure BDA0002623112520000072
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于区域风格一致性的妆容风格迁移系统，包括以下模块，
第一模块，用于输入素颜人脸图像
Figure BDA0002623112520000081
和参考妆容人脸图像
Figure BDA0002623112520000082
将参考妆容人脸图像
Figure BDA0002623112520000083
变形到素颜人脸图像
Figure BDA0002623112520000084
上，得到一张伪带妆人脸图像
Figure BDA0002623112520000085
第二模块，用于基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像
Figure BDA0002623112520000086
进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；
第三模块，用于将素颜人脸图像
Figure BDA0002623112520000087
和参考妆容人脸图像
Figure BDA0002623112520000088
输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像
Figure BDA0002623112520000089
在一些可能的实施例中，提供一种基于区域风格一致性的妆容风格迁移系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如上所述的一种基于区域风格一致性的妆容风格迁移方法。
在一些可能的实施例中，提供一种基于区域风格一致性的妆容风格迁移系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于区域风格一致性的妆容风格迁移方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种基于区域风格一致性的妆容风格迁移方法，其特征在于：包括以下步骤，
步骤1，输入素颜人脸图像
Figure FDA0002623112510000011
和参考妆容人脸图像
Figure FDA0002623112510000012
将参考妆容人脸图像
Figure FDA0002623112510000013
变形到素颜人脸图像
Figure FDA0002623112510000014
上，得到一张伪带妆人脸图像
Figure FDA0002623112510000015
步骤2，基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像
Figure FDA0002623112510000016
进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；
步骤3，将素颜人脸图像
Figure FDA0002623112510000017
和参考妆容人脸图像
Figure FDA0002623112510000018
输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像
Figure FDA0002623112510000019
2.根据权利要求1所述基于区域风格一致性的妆容风格迁移方法，其特征在于：步骤1的实现方式为，根据人脸关键点利用warping算法，输入素颜人脸图像
Figure FDA00026231125100000110
和参考妆容人脸图像
Figure FDA00026231125100000111
将参考妆容人脸图像
Figure FDA00026231125100000112
变形到素颜人脸图像
Figure FDA00026231125100000113
上。
3.根据权利要求1所述基于区域风格一致性的妆容风格迁移方法，其特征在于：步骤2的实现方式包括以下子步骤，
步骤2.1，对伪带妆人脸图像
Figure FDA00026231125100000114
进行RGB直方图统计，选出k个两两之间距离最大的颜色用来初始化SOM网络中竞争层神经元的权值；
步骤2.2，在SOM网络中输入伪带妆人脸图像
Figure FDA00026231125100000115
中随机像素点的RGB值，记为当前输入v；
步骤2.3，查找与当前输入v最近的竞争层神经元作为获胜神经元，相应权值记为wi*；
步骤2.4，利用当前输入v调整获胜神经元权值wi*，令wi*＝wi*+η(v-wi*)，其中η为学习率取值范围(0,1)；
步骤2.5，重复进行步骤2.2-2.4，再次输入伪带妆人脸图像
Figure FDA00026231125100000116
中随机像素点的RGB值，根据新的当前输入v调整竞争层神经元权值，直到收敛或达到最大迭代次数，然后进入步骤2.6；
步骤2.6，利用k个竞争神经元的权值对伪带妆人脸图像
Figure FDA00026231125100000117
进行分割，得到妆容分割结果
Figure FDA00026231125100000118
4.根据权利要求1或2所述基于区域风格一致性的妆容风格迁移方法，其特征在于：设对抗生成网络中的生成网络模块包括n+1个反卷积网络层，通过设置区域性实例自适应归一化模块实现对生成网络模块调整；区域性实例自适应归一化模块包括多层感知机和n个归一化层，生成网络模块中前n个反卷积层分别设置一个相应的归一化层，最后一个反卷积层输出最终目标带妆人脸图像
Figure FDA0002623112510000021
5.根据权利要求4所述基于区域风格一致性的妆容风格迁移方法，其特征在于：在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，实现方式包括以下子步骤，
步骤3.1，利用步骤2学习到的妆容分割结果和步骤1所得伪带妆人脸图像
Figure FDA0002623112510000022
提取k个子妆容风格的颜色分布特征，得到k个子妆容风格向量；
步骤3.2，将k个子妆容风格向量输入到多层感知机网络中产生k个子妆容风格自适应的平移、缩放变量(γi,βi),i∈(1,…,k)；
步骤3.3，通过对前n个反卷积层的输出做自适应归一化处理，最后一个反卷积层输出最终目标带妆人脸图像
Figure FDA0002623112510000023
其中对第n1个反卷积层的输出做自适应归一化处理实现方式如下，n1∈(1,…,n)，
步骤3.3.1，将步骤2所得妆容分割结果采样到与生成模型当前反卷积层输出的特征映射相同的大小，设大小为h*w，得到采样后的妆容分割结果；
步骤3.3.2，将步骤3.2得到的每个平移、缩放变量，按照步骤3.3.1所得采样后的妆容分割结果拓展为一个(h*w)维的平移、缩放变量，记为拓展变量(γn1,βn1)；
步骤3.3.3，利用拓展变量(γn1,βn1)，对生成模块当前层的特征映射进行区域一致性的归一化处理，在相同子风格区域应用相同的归一化方式。
6.根据权利要求5所述基于区域风格一致性的妆容风格迁移方法，其特征在于：步骤3.3.2中拓展的实现方式为，
首先产生与分割结果相同尺寸(h*w)的两个变量，分别记为γn1和βn1，对于γn1中的每一个位置(a,b),a∈(1,…,h),b∈(1,…,w)，均查询对应位置的妆容分割结果，假设对应位置属于第i种子妆容风格，i∈(1,…,k)，对应平移变量的值为γi，则将γn1中(a,b)处赋值为γi，使得γn1中属于相同妆容区域位置的值均相同；对于变量βn1采用相同的方式进行拓展。
7.一种基于区域风格一致性的妆容风格迁移系统，其特征在于：用于实现如权利要求1-6任一项所述的一种基于区域风格一致性的妆容风格迁移方法。
8.根据权利要求7所述基于区域风格一致性的妆容风格迁移系统，其特征在于：包括以下模块，
第一模块，用于输入素颜人脸图像
Figure FDA0002623112510000024
和参考妆容人脸图像
Figure FDA0002623112510000025
将参考妆容人脸图像
Figure FDA0002623112510000026
变形到素颜人脸图像
Figure FDA0002623112510000031
上，得到一张伪带妆人脸图像
Figure FDA0002623112510000032
第二模块，用于基于预设的子妆容风格的个数k，利用妆容的颜色纹理信息，通过SOM网络对伪带妆人脸图像
Figure FDA0002623112510000033
进行妆容分割，将妆容风格分解为子妆容风格，同时将整体妆容划分为不同的子妆容风格区域，得到目标带妆人脸图像的妆容分割结果的近似结果；
第三模块，用于将素颜人脸图像
Figure FDA0002623112510000034
和参考妆容人脸图像
Figure FDA0002623112510000035
输入到对抗生成网络中，通过区域自适应归一化调整对抗生成网络中的生成网络模块，在相同子风格区域应用相同的归一化方式以增强远距离相似妆容区域的一致性，由生成网络模块输出目标带妆人脸图像
Figure FDA0002623112510000036
9.根据权利要求7所述基于区域风格一致性的妆容风格迁移系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如权利要求1-6任一项所述的一种基于区域风格一致性的妆容风格迁移方法。
10.根据权利要求7所述基于区域风格一致性的妆容风格迁移系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于区域风格一致性的妆容风格迁移方法。
CN202010789066.9A 2020-08-07 2020-08-07 一种基于区域风格一致性的妆容风格迁移方法及系统 Active CN111950432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789066.9A CN111950432B (zh) 2020-08-07 2020-08-07 一种基于区域风格一致性的妆容风格迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789066.9A CN111950432B (zh) 2020-08-07 2020-08-07 一种基于区域风格一致性的妆容风格迁移方法及系统

Publications (2)

Publication Number Publication Date
CN111950432A true CN111950432A (zh) 2020-11-17
CN111950432B CN111950432B (zh) 2024-03-08

Family

ID=73332578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789066.9A Active CN111950432B (zh) 2020-08-07 2020-08-07 一种基于区域风格一致性的妆容风格迁移方法及系统

Country Status (1)

Country Link
CN (1) CN111950432B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380872A (zh) * 2020-11-27 2021-02-19 深圳市慧择时代科技有限公司 一种目标实体的情感倾向确定方法及装置
CN113256513A (zh) * 2021-05-10 2021-08-13 杭州格像科技有限公司 一种基于对抗神经网络的人像美化方法和系统
CN113781372A (zh) * 2021-08-25 2021-12-10 北方工业大学 一种基于深度学习的戏曲脸谱生成方法及系统
CN113781330A (zh) * 2021-08-23 2021-12-10 北京旷视科技有限公司 图像处理方法、装置及电子系统
CN114820286A (zh) * 2022-02-08 2022-07-29 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法
CN115345773A (zh) * 2022-08-15 2022-11-15 哈尔滨工业大学（深圳） 基于生成对抗网络的妆容迁移方法
WO2023040813A1 (zh) * 2021-09-16 2023-03-23 北京字跳网络技术有限公司 人脸图像处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN110458752A (zh) * 2019-07-18 2019-11-15 西北工业大学 一种基于局部遮挡条件下的图像换脸方法
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN110458752A (zh) * 2019-07-18 2019-11-15 西北工业大学 一种基于局部遮挡条件下的图像换脸方法
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380872A (zh) * 2020-11-27 2021-02-19 深圳市慧择时代科技有限公司 一种目标实体的情感倾向确定方法及装置
CN112380872B (zh) * 2020-11-27 2023-11-24 深圳市慧择时代科技有限公司 一种目标实体的情感倾向确定方法及装置
CN113256513A (zh) * 2021-05-10 2021-08-13 杭州格像科技有限公司 一种基于对抗神经网络的人像美化方法和系统
CN113256513B (zh) * 2021-05-10 2022-07-01 杭州格像科技有限公司 一种基于对抗神经网络的人像美化方法和系统
CN113781330A (zh) * 2021-08-23 2021-12-10 北京旷视科技有限公司 图像处理方法、装置及电子系统
CN113781372A (zh) * 2021-08-25 2021-12-10 北方工业大学 一种基于深度学习的戏曲脸谱生成方法及系统
CN113781372B (zh) * 2021-08-25 2023-06-30 北方工业大学 一种基于深度学习的戏曲脸谱生成方法及系统
WO2023040813A1 (zh) * 2021-09-16 2023-03-23 北京字跳网络技术有限公司 人脸图像处理方法、装置、设备及介质
CN114820286A (zh) * 2022-02-08 2022-07-29 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法
CN114820286B (zh) * 2022-02-08 2024-04-12 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法
CN115345773A (zh) * 2022-08-15 2022-11-15 哈尔滨工业大学（深圳） 基于生成对抗网络的妆容迁移方法
CN115345773B (zh) * 2022-08-15 2023-02-17 哈尔滨工业大学（深圳） 基于生成对抗网络的妆容迁移方法

Also Published As

Publication number Publication date
CN111950432B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN111950432A (zh) 一种基于区域风格一致性的妆容风格迁移方法及系统
Chang et al. Pairedcyclegan: Asymmetric style transfer for applying and removing makeup
Li et al. Low-light image enhancement via progressive-recursive network
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN111445410B (zh) 基于纹理图像的纹理增强方法、装置、设备和存储介质
CN113269872A (zh) 基于三维人脸重构和视频关键帧优化的合成视频生成方法
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN108288072A (zh) 一种基于生成对抗网络的面部表情合成方法
US20090087035A1 (en) Cartoon Face Generation
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN111476241B (zh) 一种人物服饰转换方法及系统
Lin et al. Meingame: Create a game character face from a single portrait
CN106778785A (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN108932536A (zh) 基于深度神经网络的人脸姿态重建方法
CN112258387A (zh) 一种基于人脸照片生成漫画人像的图像转换系统及方法
CN113362422B (zh) 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN108460398A (zh) 图像处理方法、装置、云处理设备和计算机程序产品
JP2016085579A (ja) 対話装置のための画像処理装置及び方法、並びに対話装置
CN110853119A (zh) 一种鲁棒的基于参考图片的妆容迁移方法
CN111612687B (zh) 一种人脸图像自动上妆方法
CN111401211A (zh) 一种采用图像增广和小样本学习的虹膜识别方法
WO2021099003A1 (en) Methods and system for generating 3d virtual objects
Liu et al. Translate the facial regions you like using self-adaptive region translation
Danieau et al. Automatic generation and stylization of 3d facial rigs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant