CN111815534B - 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 - Google Patents

实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111815534B
CN111815534B CN202010677178.5A CN202010677178A CN111815534B CN 111815534 B CN111815534 B CN 111815534B CN 202010677178 A CN202010677178 A CN 202010677178A CN 111815534 B CN111815534 B CN 111815534B
Authority
CN
China
Prior art keywords
image
network
makeup
loss function
output value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010677178.5A
Other languages
English (en)
Other versions
CN111815534A (zh
Inventor
陈进山
周铭柯
李启东
邹嘉伟
李志阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202010677178.5A priority Critical patent/CN111815534B/zh
Publication of CN111815534A publication Critical patent/CN111815534A/zh
Application granted granted Critical
Publication of CN111815534B publication Critical patent/CN111815534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请的实施例提供了一种实时皮肤妆容迁移方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。该方法利用包括妆容的参考图像和不包括妆容的原始图像，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到皮肤妆容迁移模型，使用时将待处理图像及目标图像输入皮肤妆容迁移模型即可得到结果图像。如此，利用结构简单且小巧的皮肤妆容迁移模型进行皮肤妆容迁移，可在保证结果图像的妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移。

Description

实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种实时皮肤妆容迁移方法、装置、电子设备和可读存储介质。
背景技术
在美颜软件必不可少的今天，自动化妆已经深入了每一个拍照、直播甚至是购物软件中。貌美如花的背后是人工智能和视觉技术的不断发展，面部妆容迁移是其中一项重要的技术，可将目标图像的化妆信息迁移到没有化妆的照片上。
目前常采用的传统实时皮肤妆容迁移方法，主要将用户图和模特图分为多个层次，例如，脸部结构、颜色和亮度等，每个层次通过传统的颜色迁移、结构变换等方法变换到用户图，但是这种方式得到的结果，往往有很强的“假面感”，同时，还具有在手机等移动端上运行速度慢的问题。
目前还可采用深度学习实现妆容迁移，该方法主要将脸部皮肤区域分为多个区域，然后每个区域单独设计一个网络进行迁移，但是这样会导致整体效果差，各个区域过渡不好，妆容不够逼真，在手机等移动端上无法实时迁移，甚至还存在无法在手机等移动端上使用的问题。
如何在保证妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移是值得研究的问题。
发明内容
有鉴于此，本申请提供了一种实时皮肤妆容迁移方法、装置、电子设备和可读存储介质，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种实时皮肤妆容迁移方法，方法包括：
获取待处理图像及目标图像；
将待处理图像及目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，结果图像为包括目标图像中的妆容的待处理图像，皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的。
在可选的实施方式中，皮肤妆容迁移模型通过以下步骤训练得到：
获取包括妆容的参考图像和不包括妆容的原始图像；
将参考图像和原始图像共同作为训练样本，输入融合网络，利用融合网络对参考图像和原始图像进行特征融合，得到中间图像；
将中间图像输入特征提取网络，利用特征提取网络对中间图像进行特征提取，得到初步结果图像，其中，初步结果图像为包括参考图像中的妆容的原始图像；
依据初步结果图像、参考图像及原始图像，计算预设的损失函数的损失值；
依据损失值更新皮肤妆容迁移网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的皮肤妆容迁移模型。
在可选的实施方式中，融合网络包括第一特征提取子网络、第二特征提取子网络和融合子网络；
将参考图像和原始图像共同作为训练样本，输入融合网络，利用融合网络对参考图像和原始图像进行特征融合，得到中间图像的步骤包括：
将原始图像作为训练样本，输入第一特征提取子网络，利用第一特征提取子网络对原始图像进行特征提取，得到原始特征图；
将参考图像作为训练样本，输入第二特征提取子网络，利用第二特征提取子网络对参考图像进行特征提取，得到参考特征图；
将原始特征图及参考特征图输入融合子网络，利用融合子网络对原始特征图及参考特征图进行特征融合，得到中间图像。
在可选的实施方式中，特征提取网络包括深度可分离卷积子网络、跳接子网络及第三特征子网络；
将中间图像输入特征提取网络，利用特征提取网络对中间图像进行特征提取，得到初步结果图像的步骤包括：
将中间图像输入深度可分离卷积子网络，利用深度可分离卷积子网络对中间图像进行特征提取，得到第一图像；
将第一图像输入跳接子网络，利用跳接子网络对第一图像进行特征提取，并将原始特征图与特征提取后的第一图像进行特征融合，得到第二图像；
将第二图像输入第三特征子网络，利用第三特征子网络对第二图像进行特征提取，得到初步结果图像。
在可选的实施方式中，原始图像包括人脸图像及人脸掩膜图像，损失函数包括第一局部损失函数、第二局部损失函数及全局损失函数；
依据初步结果图像、参考图像及原始图像，计算预设的损失函数的损失值的步骤包括：
利用初步结果图像、人脸掩膜图像及参考图像，计算第一局部损失函数的第一输出值；
利用初步结果图像与参考图像，计算第二局部损失函数的第二输出值；
利用初步结果图像与原始图像，计算全局损失函数的第三输出值；
计算第一输出值、第二输出值及第三输出值的加权和，得到损失值。
在可选的实施方式中，初步结果图像、人脸掩膜图像及参考图像的大小均相同；
利用初步结果图像、人脸掩膜图像及参考图像，计算第一局部损失函数的第一输出值的步骤包括：
计算初步结果图像中包括的每个像素点的法向量，得到初步结果法向量矩阵；
计算参考图像中包括的每个像素点的法向量，得到参考法向量矩阵；
利用初步结果法向量矩阵、参考法向量矩阵及人脸掩膜图像，按照以下公式计算第一输出值：
其中，losshightlight为第一局部损失函数，该第一局部损失函数的输出值为第一输出值，为人脸掩膜图像，/>为初步结果法向量矩阵中第i个法向量，且，/>为参考法向量矩阵中第i个法向量，w为初步结果图像或人脸图像的宽度，h为初步结果图像或人脸图像的高度。
在可选的实施方式中，利用初步结果图像与参考图像，计算第二局部损失函数的第二输出值的步骤包括：
对参考图像进行人脸特征提取，得到人像妆容特征点；
对初步结果图像进行人脸特征提取，得到初步结果特征点；
依据人像妆容特征点构建多个网格，并计算每个网格内参考图像的色彩均值，得到多个第一色彩均值；
依据初步结果特征点构建多个网格，并计算每个网格内初步结果图像的色彩均值，得到多个第二色彩均值，其中，第一色彩均值的数量与第二色彩均值的数量相同；
利用多个第一色彩均值、多个第二色彩均值，按照以下公式计算第二输出值：
其中，losscellcolor为第二局部损失函数，该第二局部损失函数的输出值为第二输出值，为第i个第二色彩均值，/>为第i个第一色彩均值，N为第一色彩均值的个数或第二色彩均值的个数。
在可选的实施方式中，全局损失函数包括预先训练的VGG模型；
利用初步结果图像与原始图像，计算全局损失函数的第三输出值的步骤包括：
将初步结果图像输入VGG模型，得到第一特征图；
将原始图像输入VGG模型，得到第二特征图；
利用一特征图与第二特征图，按照以下公式计算第三输出值：
其中，lossvgg为全局损失函数，该全局损失函数的输出值为第三输出值，为第一特征图，Xfeat为第二特征图。
第二方面，本申请实施例提供一种实时皮肤迁移装置，装置包括：
获取模块，用于获取待处理图像及目标图像；
输入模块，用于将待处理图像及目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，结果图像为包括目标图像中的妆容的待处理图像，皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的。
第三方面，本申请实施例提供一种电子设备，电子设备包括处理器、存储器及总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器及存储器之间通过总线通信，处理器执行机器可读指令，以执行前述实施方式任意一项的实时皮肤妆容迁移方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现前述实施方式任意一项的实时皮肤妆容迁移方法。
本申请实施例提供了一种实时皮肤妆容迁移方法、装置、电子设备和可读存储介质，该方法利用包括妆容的参考图像和不包括妆容的原始图像，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到皮肤妆容迁移模型，使用时用户将待处理图像及目标图像输入皮肤妆容迁移模型即可得到结果图像，利用结构简单且小巧的皮肤妆容迁移模型进行妆容迁移，可在保证结果图像的妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举一些举例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的实时皮肤妆容迁移方法的流程图。
图3为本申请实施例提供的皮肤妆容迁移模型的训练流程图。
图4为本申请实施例提供的皮肤妆容迁移网络的结构示意图。
图5为本申请实施例提供的皮肤妆容迁移模型的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-实时皮肤迁移装置；131-获取模块；132-输入模块；140-通信单元；1-皮肤妆容迁移网络；10-融合网络；11-第一特征提取子网络；12-第二特征提取子网络；13-融合子网络；20-特征提取网络；21-深度可分离卷积子网络；22-跳接子网络；23-第三特征子网络。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
如背景技术所介绍，在美颜软件必不可少的今天，自动化妆已经深入了每一个拍照、直播甚至是购物软件中。貌美如花的背后是人工智能和视觉技术的不断发展，面部妆容迁移是其中一项重要的技术，可将目标图像的化妆信息迁移到没有化妆的照片上。
目前常采用的传统实时皮肤妆容迁移方法，主要将用户图和模特图分为多个层次，例如，脸部结构、颜色和亮度等，每个层次通过传统的颜色迁移、结构变换等方法变换到用户图，但是这种方式得到的结果，往往有很强的“假面感”，同时，还具有在手机等移动端上运行速度慢的问题。
目前还可采用深度学习实现妆容迁移，该方法主要将脸部皮肤区域分为多个区域，然后每个区域单独设计一个网络进行迁移，但是这样会导致整体效果差，各个区域过渡不好，妆容不够逼真，在手机等移动平台上无法实时迁移，甚至还存在无法在手机等移动端上使用的问题。
如何在保证妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移是值得研究的问题。
有鉴于此，本申请实施例提供了一种实时皮肤妆容迁移方法、装置、电子设备、和可读存储介质，该方法过对神经网络的结构进行改进，得到小巧精悍的皮肤妆容迁移网络，利用包括妆容的参考图像和不包括妆容的原始图像对皮肤妆容迁移网络进行训练得到皮肤妆容迁移模型。使用时将待处理图像及目标图像输入皮肤妆容迁移模型即可。下面对上述方案进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构框图。设备可以包括处理器120、存储器110、实时皮肤迁移装置130及通信单元140，存储器110存储有处理器120可执行的机器可读指令，当电子设备100运行时，处理器120及存储器110之间通过总线通信，处理器120执行机器可读指令，并执行实时皮肤妆容迁移方法的步骤。
存储器110、处理器120以及通信单元140各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。实时皮肤迁移装置130包括至少一个可以软件或固件(firmware)的形式存储于存储器110中的软件功能模块。处理器120用于执行存储器110中存储的可执行模块，例如实时皮肤迁移装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random ACCess memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由处理器120实现。
通信单元140用于通过网络建立电子设备100与其他电子设备之间的通信连接，并用于通过网络收发数据。
在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBEE网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。
在本申请实施例中，电子设备100可以是但不限于智能手机、个人电脑、平板电脑等具有处理功能的移动端设备。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
基于上述电子设备100的实现架构，本申请实施例提供了一种实时皮肤妆容迁移方法，请结合参阅2，图2为本申请实施例提供的实时皮肤妆容迁移方法的流程图。下面结合图2所示的具体流程进行详细描述。
步骤S1，获取待处理图像及目标图像。
步骤S2，将待处理图像及目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，结果图像为包括目标图像中的妆容的待处理图像，皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的。
其中，待处理图像及目标图像可以由当前电子设备100拍摄得到，也可以由当前电子设备100预先存储在存储器110中，当需要时，从存储器110中获取即可。
作为一种可能的实施场景，用户将不包括妆容的待处理图像及包括妆容的目标图像输入电子设备100中，电子设备100经过上述处理步骤，则可以得到包括妆容的结果图像。结果图像中的人像是包括了目标图像中的妆容的待处理图像。
可以理解的是，上述皮肤妆容迁移模型可以是其他电子设备100中预先训练得到，之后迁移至当前电子设备100的，也可以是在当前电子设备100中预先训练，并存储得到的。
需要说明的是，本申请实施例提供的皮肤妆容迁移方法主要用于将目标图像中的高光及腮红等妆容迁移至待处理图像。
本申请实施例利用包括妆容的参考图像和不包括妆容的原始图像对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到皮肤妆容迁移模型，使用时用户将待处理图像及目标图像输入皮肤妆容迁移模型即可得到结果图像，利用结构简单且小巧的皮肤妆容迁移模型进行妆容迁移，可在保证结果图像的妆容自然逼真的前提下，提高妆容迁移在移动端的实现速率。
请结合参阅图3与图4，作为一种可能的实施方式，皮肤妆容迁移模型可以通过以下步骤训练得到：
步骤100，获取包括妆容的参考图像和不包括妆容的原始图像。
步骤200，将参考图像和原始图像共同作为训练样本，输入融合网络10，利用融合网络10对参考图像和原始图像进行特征融合，得到中间图像。
步骤300，将中间图像输入特征提取网络20，利用特征提取网络20对中间图像进行特征提取，得到初步结果图像，其中，初步结果图像为包括参考图像中的妆容的原始图像。
步骤400，依据初步结果图像、参考图像及原始图像，计算预设的损失函数的损失值。
步骤500，依据损失值更新皮肤妆容迁移网络1的参数，直至重新计算得到的损失值满足预设条件，得到训练后的皮肤妆容迁移模型。
其中，参考图像和原始图像的大小一致，同时，为了提高训练得到的皮肤妆容迁移网络1的性能，参考图像和原始图像是经过预先处理得到图像。作为一种可能的实施方式，可通过以下方式进行预先处理，得到参考图像或原始图像：
首先，基于人脸点检测算法对第一初始图像及第二初始图像进行人脸特征点检测，得到第一人脸特征点及第二人脸特征点，并通过矩阵变换算法计算出第一初始图像对应的第一变换矩阵和第二初始图像对应的第二变换矩阵。
然后，利用第一人脸特征点、第二人脸特征点、第一变换矩阵及第二变换矩阵裁剪出对齐处理后第一中间图像和第二中间图像，并对利用人脸特征点分别对第一中间图像和第二中间图像构建第一三角网络和第二三角网络。
最后，基于纹理映射法，将第一三角网络映射至第二三角网络，得到参考图像和原始图像。
例如，参考图像和原始图像的大小相同，可以为256×256。
请再次参阅图4，作为一种可能的实施方式，融合网络10包括第一特征提取子网络11、第二特征提取子网络12和融合子网络13。可通过以下方式实现上述步骤200，得到中间图像：
首先，将原始图像作为训练样本，输入第一特征提取子网络11，利用第一特征提取子网络11对原始图像进行特征提取，得到原始特征图。
接着，将参考图像作为训练样本，输入第二特征提取子网络12，利用第二特征提取子网络12对参考图像进行特征提取，得到参考特征图。
最后，将原始特征图及参考特征图输入融合子网络13，利用融合子网络13对原始特征图及参考特征图进行特征融合，得到中间图像。
其中，第一特征提取子网络11及第二特征提取子网络12均包括一个输入层和多个卷积激活归一化层。该阶段为编码阶段，多个卷积激活层对原始图像及参考图像进行下采样，提取图像的特征。
上述每一个卷积激活归一化层包括依次连接的卷积层、激活层及归一化层。
融合子网络13可通过concat(cat)方式将原始特征图及参考特征图进行特征融合，得到中间图像。
作为一种可能的实施方式，特征提取网络20包括深度可分离卷积子网络21、跳接子网络22及第三特征子网络23。如此，可通过以下方式实现步骤S300，得到初步结果图像：
首先，将中间图像输入深度可分离卷积子网络21，利用深度可分离卷积子网络21对中间图像进行特征提取，得到第一图像。
接着，将第一图像输入跳接子网络22，利用跳接子网络22对第一图像进行特征提取，并将原始特征图与特征提取后的第一图像进行特征融合，得到第二图像。
最后，将第二图像输入第三特征子网络23，利用第三特征子网络23对第二图像进行特征提取，得到初步结果图像。
其中，深度可分离卷积子网络21包括多个深度可分离卷积激活归一化层，每一个深度可分离卷积激活归一化层包括依次连接的深度可分离卷积层、激活层及归一化层。
采用深度可分离卷积提取特征，可加快学习能力，在进行特征提取的同时减少训练后的皮肤妆容迁移模型在移动端的运行时间。
跳接子网络22包括多个反卷积激活归一化层，每个反卷积激活归一化层包括依次连接的反卷积层、激活层及归一化层。该阶段为解码阶段，通过反卷积层进行上采样，以还原图像的大小。
同时，该跳接子网络22通过将编码阶段输出的原始特征图与经过解码阶段处理后的图像进行特征融合，得到第二图像，例如，可使用add方式进行特征融合。如此，保持最终的输出图和原始图像的纹理信息及全局特征的一致性，进而使得妆容迁移后得到的结果图像中人像的妆容自然逼真。
第三特征子网络23包括至少一个卷积激活归一化层，每一个卷积激活归一化层包括依次连接的卷积层、激活层及归一化层。通过该第三特征子网络23对第二图像进行特征提取，得到初步结果图像。
进一步地，由于模型结构简单小巧，虽然其适合在手机等移动端运行，但是其学习能力有限，因此，为了进一步使得妆容迁移后得到的结果图像中人像的妆容自然逼真，本申请实施例还设计了特殊的损失函数在训练时进行监督，保证妆容迁移的效果。
作为一种可能的实施方式，原始图像包括人脸图像及人脸掩膜图像，损失函数包括第一局部损失函数、第二局部损失函数及全局损失函数。如此，可通过以下方式实现步骤400，得到预设的损失函数的损失值：
首先，利用初步结果图像、人脸掩膜图像及参考图像，计算第一局部损失函数的第一输出值。
接着，利用初步结果图像与参考图像，计算第二局部损失函数的第二输出值。
然后，利用初步结果图像与原始图像，计算全局损失函数的第三输出值。
最后，计算第一输出值、第二输出值及第三输出值的加权和，得到损失值。
应当理解，在其它实施例中，上述计算预设的损失函数的损失值中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。
其中，原始图像包括人脸图像及人脸掩膜图像，该人像掩膜图像可通过预先对原始图像进行语义分割得到。
其中，可通过以下公式计算上述损失值：
Allloss＝α*losshightlight+β*losscellcolor+γ*lossvgg
其中，Allloss为损失值，α为第一预设权重，β为第二预设权重，γ为第三预设权重，losshightlight为第一局部损失函数，其输出值为第一输出值。losscellcolor为第二局部损失函数，其输出值为第二输出值。lossvgg为全局损失函数，其输出值为第三输出值。
作为一种可能的实施场景，α可以为0.1，β可以为2，γ可以为10。
进一步地，初步结果图像、人脸掩膜图像及参考图像的大小均相同；
作为一种可选的实施方式，可通过以下步骤利用初步结果图像、人脸掩膜图像及参考图像，计算第一局部损失函数的第一输出值：
首先，计算初步结果图像中包括的每个像素点的法向量，得到初步结果法向量矩阵。
接着，计算参考图像中包括的每个像素点的法向量，得到参考法向量矩阵。
最后，利用初步结果法向量矩阵、参考法向量矩阵及人脸掩膜图像，按照以下公式计算第一输出值：
其中，losshightlight为第一局部损失函数，该第一局部损失函数的输出值为第一输出值，为人脸掩膜图像，/>为初步结果法向量矩阵中第i个法向量，且，/>为参考法向量矩阵中第i个法向量，w为初步结果图像或人脸图像的宽度，h为初步结果图像或人脸图像的高度。
同时，计算图像中包括的每个像素点的法向量的方法可参阅现有技术，在此不做赘述。
通过该第一局部损失函数可监督初步结果图像中皮肤的高光信息，实现参考图像包括的妆容中皮肤高光的迁移。
进一步地，作为一种可选的实施方式，可通过以下方式利用初步结果图像与参考图像，计算第二局部损失函数的第二输出值：
首先，对参考图像进行人脸特征提取，得到人像妆容特征点。
接着，对初步结果图像进行人脸特征提取，得到初步结果特征点。
然后，依据人像妆容特征点构建多个网格，并计算每个网格内参考图像的色彩均值，得到多个第一色彩均值。
接着，依据初步结果特征点构建多个网格，并计算每个网格内初步结果图像的色彩均值，得到多个第二色彩均值，其中，第一色彩均值的数量与第二色彩均值的数量相同。
最后，利用多个第一色彩均值、多个第二色彩均值，按照以下公式计算第二输出值：
其中，losscellcolor为第二局部损失函数，该第二局部损失函数的输出值为第二输出值，为第i个第二色彩均值，/>为第i个第一色彩均值，N为第一色彩均值的个数或第二色彩均值的个数。
作为一种可能的实施场景，N，即第一色彩均值的个数或第二色彩均值的个数(也就是构建得到的网络的个数)可以为112，同时上述利用人像妆容特征点构建得到的多个网格及利用初步结果特征点构建得到的多个网格可以为三角网络。
通过该第二局部损失函数可监督初步结果图像中皮肤的腮红信息，实现参考图像包括的妆容中皮肤腮红的迁移。
进一步地，全局损失函数包括预先训练的VGG模型。
作为一种可选的实施方式，可通过以下方式利用初步结果图像与原始图像，计算全局损失函数的第三输出值：
首先，将初步结果图像输入VGG模型，得到第一特征图。
接着，将原始图像输入VGG模型，得到第二特征图。
然后，利用一特征图与第二特征图，按照以下公式计算第三输出值：
其中，lossvgg为全局损失函数，该全局损失函数的输出值为第三输出值，为第一特征图，Xfeat为第二特征图。
通过该全局损失函数可监督初步结果图像中非脸部皮肤区域的信息，保证非脸部皮肤区域不发生变化以及人脸特征一致性。
如此，通过设计上述结构精简的皮肤妆容迁移网络1，结合设计好的损失函数，针对利用包括妆容的参考图像和不包括妆容的原始图像对皮肤妆容迁移网络1进行训练得到皮肤妆容迁移模型，使用时用户将待处理图像及目标图像输入皮肤妆容迁移模型即可。
基于同一发明构思，请结合参阅图5，本申请实施例中还提供了与上述实时皮肤妆容迁移方法对应的实时皮肤迁移装置130，装置包括：
获取模块131，用于获取待处理图像及目标图像。
输入模块132，用于将待处理图像及目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，结果图像为包括目标图像中的妆容的待处理图像，皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络10和特征提取网络20的皮肤妆容迁移网络1进行训练得到的。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述实时皮肤妆容迁移方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本实施例也提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现上述的实时皮肤妆容迁移方法。
综上所述，本申请实施例提供了一种实时皮肤妆容迁移方法、装置、电子设备100和可读存储介质，该方法首先，获取待处理图像及目标图像。接着将待处理图像及目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，结果图像为包括目标图像中的妆容的待处理图像，皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络10和特征提取网络20的皮肤妆容迁移网络1进行训练得到的。如此，利用结构简单且小巧的皮肤妆容迁移模型进行妆容迁移，可在保证结果图像的妆容自然逼真的前提下，在移动端实现实时皮肤妆容迁移。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种实时皮肤妆容迁移方法，其特征在于，所述方法包括：
获取待处理图像及目标图像；
将所述待处理图像及所述目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，所述结果图像为包括目标图像中的妆容的所述待处理图像，所述皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的；
所述皮肤妆容迁移模型通过以下步骤训练得到：
获取包括妆容的参考图像和不包括妆容的原始图像；
将所述参考图像和所述原始图像共同作为训练样本，输入所述融合网络，利用所述融合网络对所述参考图像和所述原始图像进行特征融合，得到中间图像；
将所述中间图像输入所述特征提取网络，利用所述特征提取网络对所述中间图像进行特征提取，得到初步结果图像，其中，所述初步结果图像为包括所述参考图像中的妆容的所述原始图像；
依据所述初步结果图像、所述参考图像及所述原始图像，计算预设的损失函数的损失值；
依据所述损失值更新所述皮肤妆容迁移网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的所述皮肤妆容迁移模型；
所述原始图像包括人脸图像及人脸掩膜图像，所述损失函数包括第一局部损失函数、第二局部损失函数及全局损失函数；所述依据所述初步结果图像、所述参考图像及所述原始图像，计算预设的损失函数的损失值的步骤包括：
利用所述初步结果图像、所述人脸掩膜图像及所述参考图像，计算所述第一局部损失函数的第一输出值；
利用所述初步结果图像与所述参考图像，计算所述第二局部损失函数的第二输出值；
利用所述初步结果图像与所述原始图像，计算所述全局损失函数的第三输出值；
计算所述第一输出值、所述第二输出值及所述第三输出值的加权和，得到所述损失值。
2.根据权利要求1所述的实时皮肤妆容迁移方法，其特征在于，所述融合网络包括第一特征提取子网络、第二特征提取子网络和融合子网络；
所述将所述参考图像和所述原始图像共同作为训练样本，输入所述融合网络，利用所述融合网络对所述参考图像和所述原始图像进行特征融合，得到中间图像的步骤包括：
将所述原始图像作为训练样本，输入所述第一特征提取子网络，利用所述第一特征提取子网络对所述原始图像进行特征提取，得到原始特征图；
将所述参考图像作为训练样本，输入所述第二特征提取子网络，利用所述第二特征提取子网络对所述参考图像进行特征提取，得到参考特征图；
将所述原始特征图及所述参考特征图输入所述融合子网络，利用所述融合子网络对所述原始特征图及所述参考特征图进行特征融合，得到所述中间图像。
3.根据权利要求2所述的实时皮肤妆容迁移方法，其特征在于，所述特征提取网络包括深度可分离卷积子网络、跳接子网络及第三特征子网络；
所述将所述中间图像输入所述特征提取网络，利用所述特征提取网络对所述中间图像进行特征提取，得到初步结果图像的步骤包括：
将所述中间图像输入所述深度可分离卷积子网络，利用所述深度可分离卷积子网络对所述中间图像进行特征提取，得到第一图像；
将所述第一图像输入所述跳接子网络，利用所述跳接子网络对所述第一图像进行特征提取，并将所述原始特征图与特征提取后的第一图像进行特征融合，得到第二图像；
将所述第二图像输入所述第三特征子网络，利用所述第三特征子网络对所述第二图像进行特征提取，得到所述初步结果图像。
4.根据权利要求1所述的实时皮肤妆容迁移方法，其特征在于，所述初步结果图像、所述人脸掩膜图像及所述参考图像的大小均相同；
所述利用所述初步结果图像、所述人脸掩膜图像及所述参考图像，计算所述第一局部损失函数的第一输出值的步骤包括：
计算所述初步结果图像中包括的每个像素点的法向量，得到初步结果法向量矩阵；
计算所述参考图像中包括的每个像素点的法向量，得到参考法向量矩阵；
利用所述初步结果法向量矩阵、所述参考法向量矩阵及所述人脸掩膜图像，按照以下公式计算所述第一输出值：
其中，losshightlight为所述第一局部损失函数，该第一局部损失函数的输出值为所述第一输出值，为所述人脸掩膜图像，/>为所述初步结果法向量矩阵中第i个法向量，且，/>为所述参考法向量矩阵中第i个法向量，w为所述初步结果图像或所述人脸图像的宽度，h为所述初步结果图像或所述人脸图像的高度。
5.根据权利要求1所述的实时皮肤妆容迁移方法，其特征在于，所述利用所述初步结果图像与所述参考图像，计算所述第二局部损失函数的第二输出值的步骤包括：
对所述参考图像进行人脸特征提取，得到人像妆容特征点；
对所述初步结果图像进行人脸特征提取，得到初步结果特征点；
依据所述人像妆容特征点构建多个网格，并计算每个网格内所述参考图像的色彩均值，得到多个第一色彩均值；
依据所述初步结果特征点构建多个网格，并计算每个网格内所述初步结果图像的色彩均值，得到多个第二色彩均值，其中，所述第一色彩均值的数量与所述第二色彩均值的数量相同；
利用所述多个第一色彩均值、所述多个第二色彩均值，按照以下公式计算所述第二输出值：
其中，losscellcolor为所述第二局部损失函数，该第二局部损失函数的输出值为所述第二输出值，为第i个所述第二色彩均值，/>为第i个所述第一色彩均值，N为所述第一色彩均值的个数或所述第二色彩均值的个数。
6.根据权利要求1所述的实时皮肤妆容迁移方法，其特征在于，所述全局损失函数包括预先训练的VGG模型；
所述利用所述初步结果图像与所述原始图像，计算所述全局损失函数的第三输出值的步骤包括：
将所述初步结果图像输入所述VGG模型，得到第一特征图；
将所述原始图像输入所述VGG模型，得到第二特征图；
利用所述一特征图与所述第二特征图，按照以下公式计算所述第三输出值：
其中，lossvgg为所述全局损失函数，该全局损失函数的输出值为所述第三输出值，为所述第一特征图，Xfeat为所述第二特征图。
7.一种实时皮肤迁移装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像及目标图像；
输入模块，用于将所述待处理图像及所述目标图像输入皮肤妆容迁移模型进行妆容迁移，得到妆容迁移后的结果图像，其中，所述结果图像为包括目标图像中的妆容的所述待处理图像，所述皮肤妆容迁移模型是将包括妆容的参考图像和不包括妆容的原始图像共同作为训练样本，对预先构建的包括融合网络和特征提取网络的皮肤妆容迁移网络进行训练得到的；获取包括妆容的参考图像和不包括妆容的原始图像；将所述参考图像和所述原始图像共同作为训练样本，输入所述融合网络，利用所述融合网络对所述参考图像和所述原始图像进行特征融合，得到中间图像；将所述中间图像输入所述特征提取网络，利用所述特征提取网络对所述中间图像进行特征提取，得到初步结果图像，其中，所述初步结果图像为包括所述参考图像中的妆容的所述原始图像；依据所述初步结果图像、所述参考图像及所述原始图像，计算预设的损失函数的损失值；依据所述损失值更新所述皮肤妆容迁移网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的所述皮肤妆容迁移模型；所述原始图像包括人脸图像及人脸掩膜图像，所述损失函数包括第一局部损失函数、第二局部损失函数及全局损失函数；所述依据所述初步结果图像、所述参考图像及所述原始图像，计算预设的损失函数的损失值的步骤包括：利用所述初步结果图像、所述人脸掩膜图像及所述参考图像，计算所述第一局部损失函数的第一输出值；利用所述初步结果图像与所述参考图像，计算所述第二局部损失函数的第二输出值；利用所述初步结果图像与所述原始图像，计算所述全局损失函数的第三输出值；计算所述第一输出值、所述第二输出值及所述第三输出值的加权和，得到所述损失值。
8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-6任意一项所述的实时皮肤妆容迁移方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6任意一项所述的实时皮肤妆容迁移方法。
CN202010677178.5A 2020-07-14 2020-07-14 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质 Active CN111815534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010677178.5A CN111815534B (zh) 2020-07-14 2020-07-14 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010677178.5A CN111815534B (zh) 2020-07-14 2020-07-14 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111815534A CN111815534A (zh) 2020-10-23
CN111815534B true CN111815534B (zh) 2023-12-19

Family

ID=72865102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010677178.5A Active CN111815534B (zh) 2020-07-14 2020-07-14 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111815534B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669441B (zh) * 2020-12-09 2023-10-17 北京达佳互联信息技术有限公司 一种对象重建方法、装置、电子设备和存储介质
CN112767287A (zh) * 2021-03-10 2021-05-07 百果园技术(新加坡)有限公司 一种模型训练、图像处理方法、装置、设备及介质
CN113191404B (zh) * 2021-04-16 2023-12-12 深圳数联天下智能科技有限公司 发型迁移模型训练方法、发型迁移方法及相关装置
CN115294618A (zh) * 2021-04-19 2022-11-04 北京字跳网络技术有限公司 一种图像处理方法及装置
CN113313660A (zh) * 2021-05-14 2021-08-27 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质
CN113362422B (zh) * 2021-06-08 2022-07-05 武汉理工大学 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法
CN113793248A (zh) * 2021-08-02 2021-12-14 北京旷视科技有限公司 妆容迁移方法及装置、人脸对齐方法及装置
CN114820286B (zh) * 2022-02-08 2024-04-12 陕西师范大学 自适应特征融合恢复及混合妆容迁移重组方法
CN114173021B (zh) * 2022-02-14 2022-06-24 中国传媒大学 基于高清多屏的虚拟演播方法、系统
CN116797864B (zh) * 2023-04-14 2024-03-19 东莞莱姆森科技建材有限公司 基于智能镜子的辅助化妆方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005073909A1 (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd. 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110838084A (zh) * 2019-09-24 2020-02-25 咪咕文化科技有限公司 一种图像的风格转移方法、装置、电子设备及存储介质
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082158A1 (en) * 2018-09-10 2020-03-12 Algomus, Inc. Facial image makeup transfer system
CN113728353A (zh) * 2018-11-15 2021-11-30 巴黎欧莱雅 使用条件循环一致性生成图像至图像转换模型的用于增强现实的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005073909A1 (ja) * 2004-01-30 2005-08-11 Digital Fashion Ltd. 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法
CN110838084A (zh) * 2019-09-24 2020-02-25 咪咕文化科技有限公司 一种图像的风格转移方法、装置、电子设备及存储介质
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Disentangled Makeup Transfer with Generative Adversarial Network;Honglun Zhang 等;《arXiv》;1-12 *
一种多通路的分区域快速妆容迁移深度网络;黄妍 等;《软件学报》;第30卷(第11期);3549-3566 *
重彩画的风格转移算法;陈怡真 等;《计算机辅助设计与图形学学报》(第05期);122-134 *

Also Published As

Publication number Publication date
CN111815534A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111815534B (zh) 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN109389562B (zh) 图像修复方法及装置
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN111787242B (zh) 用于虚拟试衣的方法和装置
CN110473141A (zh) 图像处理方法、装置、存储介质及电子设备
WO2023185785A1 (zh) 一种图像处理方法、模型训练方法及相关装置
CN111275057B (zh) 图像处理方法、装置及设备
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111028142A (zh) 图像处理方法、装置和存储介质
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN110599554A (zh) 人脸肤色的识别方法和装置、存储介质及电子装置
CN111401388B (zh) 数据挖掘方法、装置、服务器及可读存储介质
CN111861867A (zh) 图像背景虚化方法和装置
CN109961397B (zh) 图像重建方法及设备
CN116071619A (zh) 虚拟试衣模型的训练方法、虚拟试衣方法及电子设备
CN113112518A (zh) 基于拼接图像的特征提取器生成方法、装置和计算机设备
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
CN109815298A (zh) 一种人物关系网确定方法、装置及存储介质
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN112232292A (zh) 应用于移动端的人脸检测方法及装置
CN110414593B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置
CN116777732A (zh) 基于随机噪声的图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant