CN111815533B - 妆容处理方法、装置、电子设备和可读存储介质 - Google Patents

妆容处理方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111815533B
CN111815533B CN202010676358.1A CN202010676358A CN111815533B CN 111815533 B CN111815533 B CN 111815533B CN 202010676358 A CN202010676358 A CN 202010676358A CN 111815533 B CN111815533 B CN 111815533B
Authority
CN
China
Prior art keywords
image
makeup
sense organ
output value
organ region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010676358.1A
Other languages
English (en)
Other versions
CN111815533A (zh
Inventor
周铭柯
陈进山
李启东
邹嘉伟
李志阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202010676358.1A priority Critical patent/CN111815533B/zh
Publication of CN111815533A publication Critical patent/CN111815533A/zh
Application granted granted Critical
Publication of CN111815533B publication Critical patent/CN111815533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种妆容处理方法、装置、电子设备和可读存储介质，涉及图像处理技术领域。该方法首先获取待处理图像及参考妆容图像，接着将待处理图像及参考妆容图像输入预先训练的美妆模型，得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像。其中，美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的。如此，通过预先训练好的美妆模型，将参考妆容图像中的妆容处理到待处理照片上，从而完成美妆，使得美妆结果图像中人像的上妆效果更自然，同时用户可选的妆容类型可不受限制。

Description

妆容处理方法、装置、电子设备和可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种妆容处理方法、装置、电子设备和可读存储介质。
背景技术
目前的拍照软件通常提供了很多便捷的功能，例如美化图片、自然美妆，拼图及美颜等。
为了实现美妆，当前的妆容算法，是由设计师设计好妆容素材，然后根据用户图人脸点的位置，把妆容素材贴到对应的五官位置上。
但是，使用当前的妆容算法进行美妆得到的效果，往往不够自然，同时设计师设计的妆容只能代表设计师认可或喜欢的妆容，并不能代表用户真正喜欢的妆容。另外，当前算法所能提供的妆容素材极为有限，并且妆容素材同质化严重，使得用户既不能选到满意的妆容，也容易造成不同用户上的妆很可能是相同的。
如何使得上妆效果更加自然，同时使得妆容类型不受限制是值得研究的问题。
发明内容
有鉴于此，本申请提供了一种妆容处理方法、装置、电子设备和可读存储介质，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种妆容处理方法，方法包括：
获取待处理图像及参考妆容图像；
将待处理图像及参考妆容图像输入预先训练的美妆模型，得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像，其中，美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的。
在可选的实施方式中，预先构建的网络为神经网络，美妆模型通过以下步骤训练得到：
获取包括妆容的第一图像和不包括妆容的第二图像；
将第一图像和第二图像作为训练样本，输入神经网络，得到将第一图像中的妆容处理到第二图像上的初步结果图像；
利用初步结果图像与第一图像，计算五官区域损失函数的第一输出值；
利用初步结果图像与第二图像中的五官区域，计算纹理损失函数的第二输出值；
利用初步结果图像与第二图像中的非五官区域，计算非五官区域损失函数的第三输出值；
计算第一输出值、第二输出值及第三输出值的加权和；
判断加权和是否小于预设阈值；
若是，则将神经网络作为美妆模型；
若否，则采用反向传播算法更新神经网络的参数，将第一图像和第二图像作为训练样本，输入更新参数后的神经网络，直至重新计算得到的加权和小于预设阈值，得到美妆模型。
在可选的实施方式中，初步结果图像、第一图像和第二图像的大小均相同；
利用初步结果图像与第一图像，计算五官区域损失函数的第一输出值的步骤包括：
获取初步结果图像的第一五官区域图像；
获取第一图像的妆容五官区域图像；
基于预设参数，对第一五官区域图像进行高斯模糊处理，得到第一输出图像；
基于预设参数，对妆容五官区域图像进行高斯模糊处理，得到第一目标图像；
利用第一输出图像及第一目标图像，通过以下公式计算第一输出值：
其中，makeuploss为五官区域损失函数，该五官区域损失函数的输出值为第一输出值，为第一目标图像，k为高斯核，n为高斯核的宽的索引值，n∈[-2，2]，m为高斯核的宽的索引值，m∈[-2，2]，tar(X1i，Y1i)为妆容五官区域图像，(X1i，Y1i)为妆容五官区域图像的第i个像素的坐标值， 为第一输出图像，out(X2i，Y2i)为第一五官区域图像，(X2i，Y2i)为第一五官区域图像的第i个像素的坐标值，h为第一目标图像或第一输出图像的高度，w为第一目标图像或第一输出图像的宽度。
在可选的实施方式中，利用初步结果图像与第二图像中的五官区域，计算纹理损失函数的第二输出值的步骤包括：
获取初步结果图像的第一五官区域图像；
获取第二图像中的无妆五官区域图像；
对第一五官区域图像进行灰度处理，得到第二输出图像；
对无妆五官区域图像进行灰度处理，得到第二目标图像；
利用第二输出图像及第二目标图像，通过以下公式计算第二输出值：
其中，textureloss为纹理损失函数，该纹理损失函数的输出值为第二输出值，为第二目标图像，tar(X3i，Y3i)为第二图像，(X3i，Y3i)为第二图像的第i个像素的坐标值，/>为第二输出图像，out(X2i，Y2i)为第一五官区域图像，(X2i，Y2i)为第一五官区域图像的第i个像素的坐标值，θn为灰度处理的系数，n为通道索引，Cn为第n个通道，h为第二输出图像或第二目标图像的高度，w为第二输出图像或第二目标图像的宽度。
在可选的实施方式中，利用初步结果图像与第二图像中的非五官区域，计算非五官区域损失函数的第三输出值的步骤包括：
获取初步结果图像的第一非五官区域图像；
获取第二图像的第二非五官区域图像；
计算第一非五官区域图像与第二非五官区域图像的L2范数，得到非五官区域损失函数的第三输出值。
在可选的实施方式中，获取包括妆容的第一图像和不包括妆容的第二图像的步骤包括：
获取包括妆容的参考图像及不包括妆容的第二图像，其中，参考图像与第二图像的大小相同；
基于人脸检测算法对参考图像进行特征点检测，得到参考图像包括的五官区域的多个第一人脸特征点；
基于人脸检测算法对第二图像进行特征点检测，得到第二图像包括的五官区域的多个第二人脸特征点；
利用多个第一人脸特征点构建第一三角网络，并利用多个第二人脸特征点构建第二三角网络；
基于纹理映射法，将第一三角网络映射至第二三角网络，以，得到将参考图像的纹理渲染到第二图像对应的位置的第一图像。
在可选的实施方式中，计算第一输出值、第二输出值及第三输出值的加权和的步骤包括：
获取第一预设权重、第二预设权重及第三预设权重；按照以下公式计算加权和：
Allloss＝α*makeuploss+β*textureloss+γ*L2loss
其中，Allloss为加权和，α为第一预设权重，β为第二预设权重，γ为第三预设权重，makeuploss为五官区域损失函数，该五官区域损失函数的输出值为第一输出值，textureloss为纹理损失函数，该纹理损失函数的输出值为第二输出值，L2loss为非五官区域损失函数，该非五官区域损失函数的输出值为第三输出值。
第二方面，本申请实施例提供一种妆容处理装置，装置包括：
获取模块，用于获取待处理图像及参考妆容图像；
输入模块，用于将待处理图像及参考妆容图像输入预先训练的美妆模型，得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像，其中，美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的。
第三方面，本申请实施例提供一种电子设备，电子设备包括处理器、存储器及总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器及存储器之间通过总线通信，处理器执行机器可读指令，以执行前述实施方式任意一项的妆容处理方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现前述实施方式任意一项的妆容处理方法。
本申请实施例提供了一种妆容处理方法、装置、电子设备和可读存储介质，该方法可以通过获取用户输入没有上妆的待处理图像及带有妆容的参考妆容图像，通过预先训练好的美妆模型，将参考妆容图像中的妆容处理到待处理照片上，从而完成妆容处理，使得上妆效果更自然，同时用户可选的妆容类型不受限制。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的妆容处理方法的流程图。
图3为本申请实施例提供的美妆模型的训练流程图。
图4为本申请实施例提供的妆容处理模型的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-妆容处理装置；131-获取模块；132-输入模块；140-通信单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
目前的拍照软件通常提供了很多便捷的功能，例如美化图片、自然美妆，拼图及美颜等。
为了实现美妆，当前的妆容算法，是由设计师设计好妆容素材，然后算法根据用户图人脸点的位置，把妆容素材贴到对应的五官位置上。
但是，使用当前的妆容算法进行美妆得到的效果，往往不够自然，同时设计师设计的妆容只能代表设计师认可或喜欢的妆容，并不能代表用户真正喜欢的妆容。另外，当前算法所能提供的妆容素材极为有限，并且妆容素材同质化严重，用户既不能选到满意的妆容也容易造成不同用户上的妆很可能是一样的。
如何使得上妆效果更加自然，同时使得妆容类型不受限制是值得研究的问题。
有鉴于此，本申请实施例提供了一种妆容处理方法、装置、电子设备和可读存储介质，该方法可以通过获取用户输入没有上妆的待处理图像及带有妆容的参考妆容图像，通过预先训练好的美妆模型，将参考妆容图像中的妆容处理到待处理照片上，从而完成妆容处理，使得上妆效果更自然，同时用户可选的妆容类型不受限制。下面对上述方案进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构框图。设备可以包括处理器120、存储器110、妆容处理装置130及通信单元140，存储器110存储有处理器120可执行的机器可读指令，当电子设备100运行时，处理器120及存储器110之间通过总线通信，处理器120执行机器可读指令，并执行妆容处理方法的步骤。
存储器110、处理器120以及通信单元140各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。妆容处理装置130包括至少一个可以软件或固件(firmware)的形式存储于存储器110中的软件功能模块。处理器120用于执行存储器110中存储的可执行模块，例如妆容处理装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random ACCess memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由处理器120实现。
通信单元140用于通过网络建立电子设备100与其他电子设备之间的通信连接，并用于通过网络收发数据。
在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBEE网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。
在本申请实施例中，电子设备100可以是但不限于智能手机、个人电脑、平板电脑等具有处理功能的设备。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
基于上述电子设备100的实现架构，本申请实施例提供了一种妆容处理方法，请结合参阅2，图2为本申请实施例提供的妆容处理方法的流程图。下面结合图2所示的具体流程进行详细描述。
步骤S1，获取待处理图像及参考妆容图像。
步骤S2，将待处理图像及参考妆容图像输入预先训练的美妆模型，得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像，其中，美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的。
其中，待处理图像及参考妆容图像可以由当前电子设备100预先存储在存储器110中，当需要时从存储器110中获取即可，待处理图像及参考妆容图像也可以由当前电子设备100实时拍摄得到。
作为一种可能的实施场景，用户将不包括妆容的待处理图像和包括妆容的参考图像输入电子设备100中，例如，不包括妆容的待处理图像可以是用户自己的自拍照，包括妆容的参考图像可以是带有妆容的明星或者其他人的照片。电子设备100经过上述处理步骤，则可以得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像。
可以理解的是，上述美妆模型可以是其他电子设备中预先训练得到，之后迁移至当前电子设备100的，也可以是在当前电子设备100中预先训练，并存储得到的。
进一步地，作为一种可能的实施方式，预先构建的网络为神经网络，请结合参阅表1，预先构建的神经网络可如下表所示：
表1
其中，MkTfM表示该预先构建的神经网络(MakeupTransferModel)。MkTfM_ConX_ReLU则表示卷积层X进行卷积操作后，会进行ReLU激活操作。MkTfM_DecX_ReLU则表示反卷积层X进行反卷积操作后，会进行ReLU激活操作。MkTfM_Input_Src则表示输入用户图(即不包括妆容的第二图像)，MkTfM_Input_Ref则表示输入模特图(即包括妆容的第一图像)。
Kernel为卷积核，padding为填充参数，stride为卷积核步进的步长，imaps为输入通道数，omaps为输出通道数，MkTfM_Output为输出。
请结合参阅图3，结合上述神经网络的结构，可通过以下方法对神经网络进行训练，得到美妆模型：
步骤S100，获取包括妆容的第一图像和不包括妆容的第二图像。
步骤S200，将第一图像和第二图像作为训练样本，输入神经网络，得到将第一图像中的妆容处理到第二图像上的初步结果图像。
步骤S300，利用初步结果图像与第一图像，计算五官区域损失函数的第一输出值。
步骤S400，利用初步结果图像与第二图像中的五官区域，计算纹理损失函数的第二输出值。
步骤S500，利用初步结果图像与第二图像中的非五官区域，计算非五官区域损失函数的第三输出值。
步骤S600，计算第一输出值、第二输出值及第三输出值的加权和。
步骤S700，判断加权和是否小于预设阈值。
若是，则执行步骤S800，若否，则执行步骤S900。
步骤S800，将神经网络作为美妆模型。
步骤S900，采用反向传播算法更新神经网络的参数。
再次将第一图像和第二图像作为训练样本，输入更新参数后的神经网络，直至重新计算得到的加权和小于预设阈值，得到美妆模型。
其中，初步结果图像、第一图像和第二图像的大小均相同。
应当理解，在其它实施例中，上述神经网络进行训练，得到美妆模型中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。
作为一种可能的实施方式，可通过以下方式实现步骤S100，以获取包括妆容的第一图像和不包括妆容的第二图像：
首先，获取包括妆容的参考图像及不包括妆容的第二图像，其中，参考图像与第二图像的大小相同。
接着，基于人脸检测算法对参考图像进行特征点检测，得到参考图像包括的五官区域的多个第一人脸特征点。
然后，基于人脸检测算法对第二图像进行特征点检测，得到第二图像包括的五官区域的多个第二人脸特征点。
接着，利用多个第一人脸特征点构建第一三角网络，并利用多个第二人脸特征点构建第二三角网络。
最后，基于纹理映射法，将第一三角网络映射至第二三角网络，以，得到将参考图像的纹理渲染到第二图像对应的位置的第一图像。
其中，包括妆容的参考图像及不包括妆容的第二图像可通过图像采集设备进行拍摄得到，或者通过网络爬取，并经过人工筛选和图像预处理得到。
经过人工筛选可将人脸明显被遮挡、人脸侧面的图像筛除。经过图像预处理则可以统一图像的尺寸大小，得到大小一致的参考图像和第二图像。
同时，用人脸检测算法检测出参考图像和第二图像中的人脸特征点，并通过人脸特征点算出人脸倾斜角度、人脸裁剪框等，然后把人脸摆正，从原图中裁剪出来，并统一大小。例如，大小可以是320*320。通过纹理映射方法，将参考图像中的人脸与第二图像中的人脸进行渲染对齐，这样就得到图像尺寸一样、图像中人像的大小接近的训练数据，以便于预先构建的神经网络进行学习。
作为一种可能的实施方式，可通过以下方式，实现步骤S300，利用初步结果图像与第一图像，计算五官区域损失函数的第一输出值：
首先，获取初步结果图像的第一五官区域图像。
其次，获取第一图像的妆容五官区域图像。
接着，基于预设参数，对第一五官区域图像进行高斯模糊处理，得到第一输出图像。
然后，基于预设参数，对妆容五官区域图像进行高斯模糊处理，得到第一目标图像。
最后，利用第一输出图像及第一目标图像，通过以下公式计算第一输出值：
其中，makeuploss为五官区域损失函数，该五官区域损失函数的输出值为第一输出值，为第一目标图像，k为高斯核，n为高斯核的宽的索引值，n∈[-2，2]，m为高斯核的宽的索引值，m∈[-2，2]，tar(X1i，Y1i)为妆容五官区域图像，(X1i，Y1i)为妆容五官区域图像的第i个像素的坐标值， 为第一输出图像，out(X2i，Y2i)为第一五官区域图像，(X2i，Y2i)为第一五官区域图像的第i个像素的坐标值，h为第一目标图像或第一输出图像的高度，w为第一目标图像或第一输出图像的宽度。
作为一种可能的实施场景，进行高斯模糊处理时，其高斯模糊半径可以为5，标准差可以为2.5。
由于经过步骤S100获取得到的第一图像与第二图像虽然是经过人工筛选、图像预处理及纹理映射得到的图像的尺寸一样、图像中人像的大小接近，但是第一图像与第二图像中的人像的五官区域并不是严格的像素对齐的，如果直接采用损失函数进行训练，其结果会有较大偏差，影响最后美妆结果图像的妆容效果。
因此，在采用损失函数进行训练前，先对第一图像的妆容五官区域图像进行高斯模糊处理，并对初步结果图像的第一五官区域图像进行高斯模糊处理后，再利用上述五官区域损失函数进行训练，监督人像的五官位置的妆容信息，例如，眼影、画眉、口红等。既能保证美妆结果图像中五官妆容信息不丢失，又能避免因两个图像中五官的像素存在偏差而影响训练。
作为一种可选的实施方式，可通过一下方式实现步骤S400，利用初步结果图像与第二图像中的五官区域，计算纹理损失函数的第二输出值：
首先，获取初步结果图像的第一五官区域图像。
其次，获取第二图像中的无妆五官区域图像。
接着，对第一五官区域图像进行灰度处理，得到第二输出图像。
然后，对无妆五官区域图像进行灰度处理，得到第二目标图像。
最后，利用第二输出图像及第二目标图像，通过以下公式计算第二输出值。
其中，textureloss为纹理损失函数，该纹理损失函数的输出值为第二输出值，为第二目标图像，tar(X3i，Y3i)为第二图像，(X3i，Y3i)为第二图像的第i个像素的坐标值，/>为第二输出图像，out(X2i，Y2i)为第一五官区域图像，(X2i，Y2i)为第一五官区域图像的第i个像素的坐标值，θn为灰度处理的系数，n为通道索引，Cn为第n个通道，h为第二输出图像或第二目标图像的高度，w为第二输出图像或第二目标图像的宽度。
其中，当n为3时，θn包括θ1，θ2及θ3。θ1可以是0.114，θ2可以是0.587，θ3可以是0.299。
由于上述makeup_loss是用模糊之后的图进行颜色监督，难以保证纹理的学习，因此需要设计纹理损失函数，以监督五官区域的纹理，保证五官区域的清晰度。
通过对初步结果图像的第一五官区域图像进行灰度处理，并对第二图像中的无妆五官区域图像进行灰度处理，可以在保留图像的纹理信息的同时，避免颜色信息的干扰，从而更好地监督图像中五官区域的纹理。
基于上述五官区域损失函数和纹理损失函数进行训练，保证了五官区域信息的完整性，例如，五官区域的色彩信息及五官区域的纹理信息，但是非五官区域的信息并未得到监督。
因此，还需要设计一个用于监督除了五官区域以外区域的损失函数。作为一种可能的实施方式，可通过以下方式实现步骤S500，利用初步结果图像与第二图像中的非五官区域，计算非五官区域损失函数的第三输出值：
首先，获取初步结果图像的第一非五官区域图像。
其次，获取第二图像的第二非五官区域图像。
最后，计算第一非五官区域图像与第二非五官区域图像的L2范数，得到非五官区域损失函数的第三输出值。
通过计算获取初步结果图像中的非五官区域图像及第二图像中的非五官区域图像的L2范数，对非五官区域的信息进行监督，从而保证美妆结果图像的妆容处理效果。
作为一种可能的实施方式，可通过以下方式实现步骤S600，计算第一输出值、第二输出值及第三输出值的加权和：
首先，获取第一预设权重、第二预设权重及第三预设权重。
然后，按照以下公式计算加权和：
Allloss＝α*makeuploss+β*textureloss+γ*L2loss
其中，Allloss为加权和，α为第一预设权重，β为第二预设权重，γ为第三预设权重，makeuploss为五官区域损失函数，该五官区域损失函数的输出值为第一输出值，textureloss为纹理损失函数，该纹理损失函数的输出值为第二输出值，L2loss为非五官区域损失函数，该非五官区域损失函数的输出值为第三输出值。
其中，作为一种可能的实施场景，α可以为3，β可以为1，γ可以为2。通过不同的预设权重，结合五官区域损失函数、纹理损失函数及非五官区域损失函数共同进行训练，保证了迁移效果逼真细腻且有很好的稳定性，使得美妆结果图像的上妆效果更自然。
基于本申请实施例提供的妆容处理方法，可让用户自由选择任意一张自己喜欢的带妆的参考妆容图像，并且将该参考妆容图像的妆容信息迁移到用户自己身上成为可能，而且能给用户提供无限妆容风格的可能，极大满足用户的需求。在商业上，还能满足让用户快速试妆的需求。
同时，基于本申请实施例提供的妆容处理方法，只需将待处理图像和参考妆容图像输入预先训练好的美妆模型即可得到结果，可率先在手机等移动设备上实现妆容信息的迁移。突破当前该领域停留在论文层面的尴尬局面，是当前能落地到产品层面的首创方案。
基于同一发明构思，请结合参阅图4，本申请实施例中还提供了与上述妆容处理方法对应的妆容处理装置，装置包括：
获取模块131，用于获取待处理图像及参考妆容图像。
输入模块132，用于将待处理图像及参考妆容图像输入预先训练的美妆模型，得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像，其中，美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述妆容处理方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本申请实施例也提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现上述的妆容处理方法。
综上所述，本申请实施例提供了一种妆容处理方法、装置、电子设备100和可读存储介质，涉及图像处理技术领域。该方法首先获取待处理图像及参考妆容图像，接着将待处理图像及参考妆容图像输入预先训练的美妆模型，得到将参考妆容图像中的妆容处理到待处理图像上的美妆结果图像。其中，美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的。如此，通过预先训练好的美妆模型，将参考妆容图像中的妆容处理到待处理照片上，从而完成美妆，使得美妆结果图像的上妆效果更自然，同时用户可选的妆容类型可不受限制。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种妆容处理方法，其特征在于，所述方法包括：
获取待处理图像及参考妆容图像；
将所述待处理图像及所述参考妆容图像输入预先训练的美妆模型，得到将所述参考妆容图像中的妆容处理到所述待处理图像上的美妆结果图像，其中，所述美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的；
预先构建的所述网络为神经网络，所述美妆模型通过以下步骤训练得到：
获取包括妆容的所述第一图像和不包括妆容的所述第二图像；
将所述第一图像和所述第二图像作为训练样本，输入所述神经网络，得到将所述第一图像中的妆容处理到所述第二图像上的初步结果图像；
利用所述初步结果图像与所述第一图像，计算所述五官区域损失函数的第一输出值；
利用所述初步结果图像与所述第二图像中的五官区域，计算所述纹理损失函数的第二输出值；
利用所述初步结果图像与所述第二图像中的非五官区域，计算所述非五官区域损失函数的第三输出值；
计算所述第一输出值、所述第二输出值及所述第三输出值的加权和；
判断所述加权和是否小于预设阈值；
若是，则将所述神经网络作为所述美妆模型；
若否，则采用反向传播算法更新所述神经网络的参数，将所述第一图像和所述第二图像作为训练样本，输入更新参数后的神经网络，直至重新计算得到的加权和小于所述预设阈值，得到所述美妆模型。
2.根据权利要求1所述的妆容处理方法，其特征在于，所述初步结果图像、所述第一图像和所述第二图像的大小均相同；
所述利用所述初步结果图像与所述第一图像，计算所述五官区域损失函数的第一输出值的步骤包括：
获取所述初步结果图像的第一五官区域图像；
获取所述第一图像的妆容五官区域图像；
基于预设参数，对所述第一五官区域图像进行高斯模糊处理，得到第一输出图像；
基于所述预设参数，对所述妆容五官区域图像进行高斯模糊处理，得到第一目标图像；
利用所述第一输出图像及所述第一目标图像，通过以下公式计算所述第一输出值：
其中，makeuploss为所述五官区域损失函数，该五官区域损失函数的输出值为所述第一输出值， 为所述第一目标图像，k为高斯核，n为所述高斯核的宽的索引值，n∈[-2,2]，m为所述高斯核的宽的索引值，m∈[-2,2]，tar(X1i,Y1i)为所述妆容五官区域图像，(X1i,Y1i)为所述妆容五官区域图像的第i个像素的坐标值，/>为所述第一输出图像，out(X2i,Y2i)为所述第一五官区域图像，(X2i,Y2i)为所述第一五官区域图像的第i个像素的坐标值，h为所述第一目标图像或所述第一输出图像的高度，w为所述第一目标图像或所述第一输出图像的宽度。
3.根据权利要求1所述的妆容处理方法，其特征在于，所述利用所述初步结果图像与所述第二图像中的五官区域，计算所述纹理损失函数的第二输出值的步骤包括：
获取所述初步结果图像的第一五官区域图像；
获取所述第二图像中的无妆五官区域图像；
对所述第一五官区域图像进行灰度处理，得到第二输出图像；
对所述无妆五官区域图像进行所述灰度处理，得到第二目标图像；
利用所述第二输出图像及所述第二目标图像，通过以下公式计算所述第二输出值：
其中，textureloss为所述纹理损失函数，该纹理损失函数的输出值为所述第二输出值，为所述第二目标图像，tar(X3i,Y3i)为所述第二图像，(X3i,Y3i)为所述第二图像的第i个像素的坐标值，/>为所述第二输出图像，out(X2i,Y2i)为所述第一五官区域图像，(X2i,Y2i)为所述第一五官区域图像的第i个像素的坐标值，θn为灰度处理的系数，n为通道索引，Cn为第n个通道，h为所述第二输出图像或所述第二目标图像的高度，w为所述第二输出图像或所述第二目标图像的宽度。
4.根据权利要求1所述的妆容处理方法，其特征在于，所述利用所述初步结果图像与所述第二图像中的非五官区域，计算所述非五官区域损失函数的第三输出值的步骤包括：
获取所述初步结果图像的第一非五官区域图像；
获取所述第二图像的第二非五官区域图像；
计算所述第一非五官区域图像与所述第二非五官区域图像的L2范数，得到所述非五官区域损失函数的第三输出值。
5.根据权利要求1所述的妆容处理方法，其特征在于，所述获取包括妆容的所述第一图像和不包括妆容的所述第二图像的步骤包括：
获取包括妆容的参考图像及不包括妆容的所述第二图像，其中，所述参考图像与所述第二图像的大小相同；
基于人脸检测算法对所述参考图像进行特征点检测，得到所述参考图像包括的五官区域的多个第一人脸特征点；
基于所述人脸检测算法对所述第二图像进行特征点检测，得到所述第二图像包括的五官区域的多个第二人脸特征点；
利用所述多个第一人脸特征点构建第一三角网络，并利用所述多个第二人脸特征点构建第二三角网络；
基于纹理映射法，将所述第一三角网络映射至所述第二三角网络，以得到将所述参考图像的纹理渲染到所述第二图像对应的位置的所述第一图像。
6.根据权利要求1所述的妆容处理方法，其特征在于，所述计算所述第一输出值、所述第二输出值及所述第三输出值的加权和的步骤包括：
获取第一预设权重、第二预设权重及第三预设权重；按照以下公式计算所述加权和：
Allloss＝α*makeuploss+β*textureloss+γ*L2loss
其中，Allloss为所述加权和，α为所述第一预设权重，β为所述第二预设权重，γ为所述第三预设权重，makeuploss为所述五官区域损失函数，该五官区域损失函数的输出值为所述第一输出值，textureloss为所述纹理损失函数，该纹理损失函数的输出值为所述第二输出值，L2loss为所述非五官区域损失函数，该非五官区域损失函数的输出值为所述第三输出值。
7.一种妆容处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像及参考妆容图像；
输入模块，用于将所述待处理图像及所述参考妆容图像输入预先训练的美妆模型，得到将所述参考妆容图像中的妆容处理到所述待处理图像上的美妆结果图像，其中，所述美妆模型是通过将包括妆容的第一图像和不包括妆容的第二图像作为训练样本，并采用预设的五官区域损失函数、纹理损失函数及非五官区域损失函数对预先构建的网络进行训练得到的；
预先构建的所述网络为神经网络，所述美妆模型通过以下方式训练得到：获取包括妆容的所述第一图像和不包括妆容的所述第二图像；
将所述第一图像和所述第二图像作为训练样本，输入所述神经网络，得到将所述第一图像中的妆容处理到所述第二图像上的初步结果图像；
利用所述初步结果图像与所述第一图像，计算所述五官区域损失函数的第一输出值；
利用所述初步结果图像与所述第二图像中的五官区域，计算所述纹理损失函数的第二输出值；
利用所述初步结果图像与所述第二图像中的非五官区域，计算所述非五官区域损失函数的第三输出值；
计算所述第一输出值、所述第二输出值及所述第三输出值的加权和；
判断所述加权和是否小于预设阈值；
若是，则将所述神经网络作为所述美妆模型；
若否，则采用反向传播算法更新所述神经网络的参数，将所述第一图像和所述第二图像作为训练样本，输入更新参数后的神经网络，直至重新计算得到的加权和小于所述预设阈值，得到所述美妆模型。
8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-6任意一项所述的妆容处理方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6任意一项所述的妆容处理方法。
CN202010676358.1A 2020-07-14 2020-07-14 妆容处理方法、装置、电子设备和可读存储介质 Active CN111815533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010676358.1A CN111815533B (zh) 2020-07-14 2020-07-14 妆容处理方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010676358.1A CN111815533B (zh) 2020-07-14 2020-07-14 妆容处理方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111815533A CN111815533A (zh) 2020-10-23
CN111815533B true CN111815533B (zh) 2024-01-19

Family

ID=72864861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010676358.1A Active CN111815533B (zh) 2020-07-14 2020-07-14 妆容处理方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111815533B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330573B (zh) * 2020-12-01 2024-02-06 厦门美图之家科技有限公司 基于人像的修图方法、装置、电子设备及存储介质
CN114445301A (zh) * 2022-01-30 2022-05-06 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109784281A (zh) * 2019-01-18 2019-05-21 深圳壹账通智能科技有限公司 基于人脸特征的产品推荐方法、装置及计算机设备
CN110400254A (zh) * 2019-07-24 2019-11-01 深圳乐信软件技术有限公司 一种口红试妆方法及装置
CN110706179A (zh) * 2019-09-30 2020-01-17 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201931179A (zh) * 2017-07-13 2019-08-01 美商美國資生堂公司 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509846A (zh) * 2018-02-09 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN109784281A (zh) * 2019-01-18 2019-05-21 深圳壹账通智能科技有限公司 基于人脸特征的产品推荐方法、装置及计算机设备
CN110400254A (zh) * 2019-07-24 2019-11-01 深圳乐信软件技术有限公司 一种口红试妆方法及装置
CN110706179A (zh) * 2019-09-30 2020-01-17 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111028142A (zh) * 2019-11-25 2020-04-17 泰康保险集团股份有限公司 图像处理方法、装置和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BeautyGlow: On-Demand Makeup Transfer Framework with Reversible Generative Network;Hung-Jen Chen 等;《CBPR》;1-9 *
FM2u-Net: Face Morphological Multi-Branch Network for Makeup-Invariant Face Verification;Wenxuan Wang 等;《 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;1-11 *
一种多通路的分区域快速妆容迁移深度网络;黄妍 等;《软件学报》;3549-3567 *
基于区域敏感生成对抗网络的自动上妆算法;包仁达 等;《软件学报》;896-913 *

Also Published As

Publication number Publication date
CN111815533A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109670558B (zh) 使用深度学习的数字图像完成
CN111815534B (zh) 实时皮肤妆容迁移方法、装置、电子设备和可读存储介质
CN106778928B (zh) 图像处理方法及装置
CN111787242B (zh) 用于虚拟试衣的方法和装置
WO2019201042A1 (zh) 图像对象识别方法和装置、存储介质及电子装置
CN111815533B (zh) 妆容处理方法、装置、电子设备和可读存储介质
CN110796161A (zh) 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN112102477A (zh) 三维模型重建方法、装置、计算机设备和存储介质
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
CN107507153A (zh) 图像去噪方法和装置
US20200380639A1 (en) Enhanced Image Processing Techniques for Deep Neural Networks
CN111861867B (zh) 图像背景虚化方法和装置
CN113159143A (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
KR20200132340A (ko) 전자 장치 및 이의 제어 방법
CN111681165A (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN109886287B (zh) 杀虫剂确定方法、装置、计算机设备及存储介质
CN111784611B (zh) 人像美白方法、装置、电子设备和可读存储介质
CN109035380B (zh) 基于三维重建的人脸修饰方法、装置、设备及存储介质
CN110321452A (zh) 一种基于方向选择机制的图像检索方法
CN107644455B (zh) 人脸图像合成方法和装置
Spicker et al. Quantifying visual abstraction quality for stipple drawings
CN113240760B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN105279727B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant