CN115861042A - 一种图像处理方法、电子设备及介质 - Google Patents

Abstract

一种图像处理方法、电子设备及介质，涉及图像处理技术领域。该方法包括：获取人像图像和参考妆容；对人像图像进行小波分解，以获取人像图像对应的低频近似分量图和高频细节分量图；将低频近似分量图输入神经网络模型进行针对参考妆容的妆容迁移，以获取处理后的低频近似分量图；对处理后的低频近似分量图和高频细节分量图进行小波重构，以得到处理后的人像图像。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

Description

一种图像处理方法、电子设备及介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备及介质。

背景技术

随着电子设备的普及，通过电子设备进行人像拍摄的场景越来越多。在拍摄人像之后，很多用户希望能够对拍摄得到的图像进行处理，以达到美颜的效果。于是，妆容迁移技术应运而生。

妆容迁移技术是指将参考图上的妆容风格直接迁移到用户拍摄的未经过处理的原图上的技术。电子设备可以基于妆容迁移技术在自拍或图像编辑时，将适合的参考图的妆容风格自然地迁移到未化妆的人脸图像上，从而可以在保留自身面部特征同时，达到参考图上的妆容风格效果。

目前，基于生成式对抗网络（GAN, Generative Adversarial Networks）的妆容迁移技术被应用于人像美妆，该技术通过对人脸五官进行语义分割，对眼睛、面部、嘴巴等分割区域进行单独的妆容损失计算，以对分割区域分别进行上妆。然而，该技术的妆容迁移效果受制于人脸五官语义分割的精度，从而导致生成的图像的显示效果较差，存在妆容缺少整体性且不够自然的问题。

发明内容

本申请的目的在于：提供一种图像处理方法、电子设备及介质，能够提高妆容的整体性，并使妆容效果更加自然。

第一方面，本申请提供了一种图像处理方法，应用于手机、平板电脑等电子设备，该方法包括：电子设备首先获取人像图像和参考妆容；其次，对人像图像进行小波分解，以获取人像图像对应的低频近似分量图和高频细节分量图；然后，同时将低频近似分量图输入神经网络模型进行针对参考妆容的妆容迁移，以获取处理后的低频近似分量图，并基于卷积神经网络对高频细节分量图进行处理，随后，对处理后的低频近似分量图和高频细节分量图进行小波重构，以得到处理后的人像图像。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

在一些可能的实现方式中，神经网络模型的生成方法包括：获取训练人像图像和训练参考图像，训练人像图像和训练参考图像中包含同一人像；对训练人像图像和训练参考图像分别进行小波分解，以获取训练人像图像对应的低频近似分量图和高频细节分量图，以及训练参考图像对应的低频近似分量图和高频细节分量图；将训练人像图像对应的低频近似分量图和训练参考图像对应的低频近似分量图基于迁移模型框架进行妆容迁移，以获取处理后的低频近似分量图；将处理后的的低频近似分量图和高频细节分量图进行小波重构，生成妆容迁移图；基于损失函数，确定妆容迁移图和参考图像之间的损失；基于损失，调整迁移模型框架的参数，以生成神经网络模型。由此，基于生成的神经网络模型进行针对参考妆容的妆容迁移，以获取处理后的低频近似分量图，能保证妆容效果的整体性，迁移效果更加自然。

在一些可能的实现方式中，损失函数包括对抗损失函数；基于损失函数，确定妆容迁移图和参考图像之间的损失，包括：将妆容迁移图和参考图像输入至判别器，以获取对抗损失函数的计算结果；基于对抗损失函数的计算结果，确定妆容迁移图和参考图像之间的损失。由此，通过确定妆容迁移图和参考图像之间的损失判定是否需要继续训练神经网络模型。其中，神经网络模型进行图像处理的损失可反映妆容迁移图和参考图像之间的接近程度，通常神经网络模型进行图像处理的损失越小，则表明妆容迁移图越接近已上妆的参考图像的显示效果，即妆容迁移图越自然。

在一些可能的实现方式中，损失函数包括感知损失函数；基于损失函数，确定妆容迁移图和参考图像之间的损失，包括：将妆容迁移图和参考图像输入至感知损失计算网络，以获取感知损失函数的计算结果；基于感知损失函数的计算结果，确定妆容迁移图和参考图像之间的损失。由此，通过确定妆容迁移图和参考图像之间的损失判定是否需要继续训练神经网络模型。其中，神经网络模型进行图像处理的损失可反映妆容迁移图和参考图像之间的接近程度，通常神经网络模型进行图像处理的损失越小，则表明妆容迁移图越接近已上妆的参考图像的显示效果，即妆容迁移图越自然。

在一些可能的实现方式中，基于损失，调整迁移模型框架的参数，包括：在损失包括多种时，首先确定各种损失分别对应的权重；其次，对各种损失和各种损失分别对应的权重进行加权计算；最后，基于加权计算的结果，调整迁移模型框架的参数。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

在一些可能的实现方式中，对人像图像进行小波分解，以获取低频近似分量图和高频细节分量图，包括：对人像图像进行N次小波分解，以获取N张低频近似分量图和3N张高频细节分量图。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

在一些可能的实现方式中，神经网络模型包括：编码块、卷积神经网络和解码块，编码块、卷积神经网络和解码块依次连接。由此，基于生成的神经网络模型进行针对参考妆容的妆容迁移，以获取处理后的低频近似分量图，能保证妆容效果的整体性，迁移效果更加自然。

在一些可能的实现方式中，编码块包括：卷积、归一化、激活函数和多个残差块；卷积神经网络包括：卷积、自适应实例标准化和输出激活函数；解码块包括：反卷积、归一化、激活函数和多个残差块。由此，基于生成的神经网络模型进行针对参考妆容的妆容迁移，以获取处理后的低频近似分量图，能保证妆容效果的整体性，迁移效果更加自然。

第二方面，本申请提供了一种电子设备，包括处理器和存储器；存储器存储计算机执行指令；处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面的图像处理方法。

第三方面，本申请提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被运行时，实现如第一方面的图像处理方法。

第四方面，本申请提供了一种计算机程序产品，包括计算机程序或指令，计算机程序或指令被处理器执行时，实现如第一方面的图像处理方法。

相较于现有技术，本申请具有以下有益效果：

本申请提供了一种图像处理方法、电子设备及介质，在电子设备获取人像照片和参考妆容后引入小波分解，将人像图像小波分解成一张低频近似分量图和三张高频细节分量图，并将低频近似分量图用解码编码的GAN网络结构进行妆容迁移，高频细节分量图用轻量化的CNN网络学习掩膜进行细节修正，最后小波重构成最终的人像美妆照。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

附图说明

图1为本申请实施例提供的一种电子设备的硬件结构示意图；

图2为本申请实施例提供的一种电子设备的软件结构示意图；

图3为本申请实施例提供的一种图像处理方法的流程图；

图4A为本申请实施例提供的一种电子设备的界面示意图；

图4B为本申请实施例提供的一种电子设备的相机应用界面示意图；

图4C为本申请实施例提供的一种电子设备的图库应用界面示意图；

图5为本申请实施例提供的一种小波分解示意图；

图6为本申请实施例提供的一种妆容迁移与微调的示意图；

图7为本申请实施例提供的一种小波重构的示意图；

图8为本申请实施例提供的一种图像处理的示意图。

具体实施方式

本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

妆容迁移技术是指将参考图上的妆容风格直接迁移到用户拍摄的未经过处理的原图上的技术。示例性的，电子设备可以基于妆容迁移技术在自拍或图像编辑时，将适合的参考图的妆容风格自然地迁移到未化妆的人脸图像上，从而可以在保留自身面部特征同时，达到参考图上的妆容风格效果。

生成式对抗网络（Generative Adversarial Networks, GAN）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deeplearning）的代表算法之一。

随着电子设备的普及，通过电子设备进行人像拍摄的场景越来越多。在拍摄人像之后，很多用户希望能够对拍摄得到的图像进行处理，以达到美颜的效果。于是，妆容迁移技术应运而生。目前，基于生成式对抗网络（GAN, Generative Adversarial Networks）的妆容迁移技术被应用于人像美妆，该技术通过对人脸五官进行语义分割，对眼睛、面部、嘴巴等分割区域进行单独的妆容损失计算，以对分割区域分别进行上妆。然而，该技术的妆容迁移效果受制于人脸五官语义分割的精度，从而导致生成的图像的显示效果较差，存在妆容缺少整体性且不够自然的问题。

有鉴于此，本申请实施例提供的一种图像处理方法、电子设备及介质，在电子设备获取人像照片和参考妆容后引入小波分解，将人像图像小波分解成一张低频近似分量图和三张高频细节分量图，并将低频近似分量图用解码编码的GAN网络结构进行妆容迁移，高频细节分量图用轻量化的CNN网络学习掩膜进行细节修正，最后小波重构成最终的人像美妆照。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

首先，介绍本申请实施例中提供的示例性电子设备100。在一些实施例中，电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、以及蜂窝电话、个人数字助理（personal digital assistant，PDA）、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence，AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备100的具体类型不作特殊限制。参见图1，该图为本申请实施例提供的一种电子设备的硬件结构示意图。

如图1所示，电子设备可以包括处理器110，内部存储器120，移动通信模块130，无线通信模块140，传感器模块150，显示屏160，摄像头170等。其中传感器模块150可以包括触摸传感器151等。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件，软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，在本申请中，处理器110可以获取人像图像和参考妆容；对人像图像进行小波分解，以获取人像图像对应的低频近似分量图和高频细节分量图；将低频近似分量图输入神经网络模型进行针对参考妆容的妆容迁移，以获取处理后的低频近似分量图；对处理后的低频近似分量图和高频细节分量图进行小波重构，以得到处理后的人像图像。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

其中，控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器151等。例如：处理器110可以通过I2C接口耦合触摸传感器151，使处理器110与触摸传感器151通过I2C总线接口通信，实现电子设备100的触摸功能。基于电子设备100的触摸功能，在用户触摸电子设备所显示的应用图标后，电子设备可以启动该应用。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块140。

MIPI接口可以被用于连接处理器110与显示屏160等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serialinterface，DSI)等。在一些实施例中，处理器110和摄像头170通过CSI接口通信，实现电子设备的拍摄功能。处理器110和显示屏160通过DSI接口通信，实现电子设备的显示功能。例如，电子设备基于显示功能，能够显示相关界面。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头170，显示屏160，无线通信模块140，传感器模块150等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本申请另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

内部存储器120可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器120的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。

移动通信模块130可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块130的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过显示屏160显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块130或其他功能模块设置在同一个器件中。

无线通信模块140可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块140可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块140经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块140还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。

在一些实施例中，电子设备的天线和移动通信模块130耦合，天线和无线通信模块140耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备通过GPU，显示屏160，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏160和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏160用于显示图像，视频等。显示屏160包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oled，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏160，N为大于1的正整数。

电子设备的显示屏160上可以显示一系列图形用户界面（graphical userinterface，GUI），这些GUI都是该电子设备的主屏幕。一般来说，电子设备的显示屏160的尺寸是固定的，只能在该电子设备的显示屏160中显示有限的控件。控件是一种GUI元素，它是一种软件组件，包含在应用程序中，控制着该应用程序处理的所有数据以及关于这些数据的交互操作，用户可以通过直接操作（direct manipulation）来与控件交互，从而对应用程序的有关信息进行读取或者编辑。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头170，N为大于1的正整数。

另外，在上述部件之上，运行有操作系统。例如苹果公司所开发的iOS操作系统，谷歌公司所开发的Android开源操作系统，微软公司所开发的Windows操作系统等。在该操作系统上可以安装运行应用程序。

电子设备的操作系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备的软件结构。

参见图2，该图为本申请实施例提供的一种电子设备的软件结构示意图。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层（Applications , APP）、框架层（Framework , FWK）、硬件抽象层（Hardware AbstractionLayer , HAL）和内核层（Kernel）。

其中，应用程序层可以包括一系列应用程序包。在一些实施例中，应用程序层可以包括相机、图库、视频等应用程序。

框架层为应用层的应用程序提供应用编程接口（application programminginterface,API）和编程框架，在该框架层可以包括一些预先定义的函数。在一些实施例中，框架层可以包括窗口管理器，内容提供器，视图系统，资源管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

硬件抽象层定义硬件“驱动”的接口，降低安卓操作系统与硬件的耦合度。

内核层负责管理系统的进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳定性。

需要说明的是，本申请实施例虽然以Android系统为例进行说明，但是其基本原理同样适用于基于iOS、Windows等操作系统的电子设备100。

参见图3，该图为本申请实施例提供的一种图像处理方法的流程图。该方法包括：

S301：电子设备获取人像图像。

人像图像是需要接受后续妆容迁移的人像，该图像中的人像为任意人像，即可以是未上妆的、等待附加妆容的人像，也可以是已上妆的、等待去除妆容的人像，也可以是已上妆的、等待更换转容的人像。为便于理解，后文以该人像图像是未上妆的、等待附加妆容的人像为例展开说明。该人像图像可以是用户在打开电子设备100的相机APP后进行拍摄时的人像图像，也可以是电子设备的相册中的已保存的人像图像。

需要说明的是，该图像的格式可以是YUV格式的图像，其中，“Y”表示明亮度（即Luminance或Luma），“U”和“V”表示色度（即Chrominance或Chroma），也可以是其他格式的图像，对于具体的图像格式，本申请不做限定。

参见图4A，该图为本申请实施例提供的一种电子设备的界面示意图，该场景中包括电子设备100，以电子设备100为智能手机为例进行说明。图4A中，电子设备100可以呈现人机交互界面。用户为电子设备100解锁后，电子设备100可以向用户呈现桌面400，该桌面400包括多种应用程序的图标，例如，相机的图标401、图库的图标402、视频的图标403等。用户可以对桌面400呈现的应用的图标触发操作，例如点击、长按、滑动等。电子设备100接收到用户触发的操作后，即可启动相应的应用。

在一些可能的实现方式中，用户可以直接点击电子设备100的桌面400中的相机的图标401，从而启动相机应用，进入相机应用界面。参见图4B，该图为本申请实施例提供的一种电子设备的相机应用界面示意图。在一种示例中，用户可以对电子设备100的相机应用界面404中的图标405进行点击的操作，从而控制拍照或录像，以获取人像图像，进而电子设备100对该人像图像进行后续的妆容迁移操作。在另一种示例中，用户可以将电子设备100的相机应用界面404中的实时人像作为人像图像，进而电子设备100对该人像图像进行后续的妆容迁移操作。

在另一些可能的实现方式中，用户可以直接点击电子设备100的桌面400中的图库的图标402，从而启动图库应用，进入图库应用界面。参见图4C，该图为本申请实施例提供的一种电子设备的图库应用界面示意图。在一种示例中，用户可以对电子设备100的图库应用界面406中的人像图像407进行点击的操作，从而选择人像图像，进而电子设备100对该人像图像进行后续的妆容迁移操作。

或者，在另一些可能的实现方式中，可以通过其他成像装置拍摄人像图像，并将该人像图像传输至执行本申请实施例提供的图像处理方法的电子设备100，由电子设备100将该图像作为待处理的人像图像，进而电子设备100对该人像图像进行后续的妆容迁移操作。

可以理解的是，由于连续的图像变化每秒超过24帧（frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，因此，若电子设备100具有以每秒24帧及以上对1080P的照片进行妆容迁移的能力，则可以依据同样的原理对人像视频进行编辑。

S302：电子设备获取参考妆容。

参考妆容是电子设备中参考图像所绘制的、需要迁移至人像图像中的妆容，电子设备可以通过提取参考图像中的妆容的方式，获取参考妆容。

在一种可能的实施方式中，若人像图像中的人像是未上妆的、等待附加妆容的人像，或，已上妆的、等待更换转容的人像，那么该参考图像可以是预先处理过的、妆容具有自然显示效果的图像。示例性的，可以通过人工修图的方式，获取参考图像。在另一种可能的实施方式中，若人像图像中的人像是已上妆的、等待去除妆容的人像，那么该参考图像可以未上妆的素颜人像。

需要说明的是，该参考图像可以为数字图像或数字视频帧，对于参考图像的具体格式，本申请不做限定。

需要说明的是，参考图像中的人像可以与S301步骤中获取的人像图像中的人像相同，也可以与S301步骤中获取的人像图像中的人像不同。对于具体的人像图像和参考图像中的图像，本申请不做限定。

S303：电子设备对人像图像进行小波分解，以获取一张低频近似分量图和三张高频细节分量图。

小波分解是指提取不同层的小波分解系数对人像图像进行分析，从而将该人像图像分解成“低频近似”与“高频细节”部分。

在一些可能的实现方式中，电子设备可以通过Haar小波分解将人像图像分解为低频近似分量cA，以及三个方向的高频细节分量(cH, cV, cD)，以获取一张低频近似分量图和三张高频细节分量图。其中，低频近似分量图是指小波分解出来的低分辨率的与原图近似的图，主要针对整幅图像强度的综合度量，高频细节分量图是指小波分解中除去低频近似分量后，在三个方向上的分量图，该高频分量图主要表示图像的纹理、细节，主要针对图像边缘和轮廓的度量。

参见图5，该图为本申请实施例提供的一种小波分解的示意图。图5中500图为电子设备100获取到的等待进行后续妆容迁移的人像图像，图5中右图为该人像图像进行Haar小波分解后的示意图。在图5中右图所示的四方格内，501图为低频近似分量图，即Haar小波分解出来的低分辨率与原图近似、针对整幅图像强度综合度量的图。502图为cH水平向高频细节分量图、503图为cV垂直向高频细节分量图、504图为cD对角向高频细节分量图，502图、503图、504图均表征了图像的纹理和细节，主要针对图像边缘和轮廓的度量。

需要说明的是，上述步骤为对人像图像进行一次Haar小波分解的实施例，即只进行一级Haar小波分解，以获取一张低频近似分量图和三张高频细节分量图。可以理解的是，还可以对人像图像进行多次Haar小波分解，即进行N级Haar小波分解，以获取N张低频近似分量图和3N张高频细节分量图。对于具体的Haar小波分解次数，本申请不做限定。

需要说明的是，除了Haar小波分解，还可以通过其他类型的小波分解获取一张低频近似分量图和三张高频细节分量图，对于具体的小波分解类型，本申请不做限定。

S304：电子设备基于神经网络模型对低频近似分量图进行妆容迁移。

妆容迁移是指将参考妆容迁移至人像图像中，以生成一张风格变换后的图的过程。电子设备可以通过生成对抗网络（GAN）的神经网络模型，对上述低频近似分量图进行处理，从而将参考妆容迁移至人像图像中，以得到一张上妆后的低频近似分量图。其中，生成式对抗网络（Generative Adversarial Networks, GAN）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。

可以理解的是，神经网络模型可以是针对某一特定参考妆容的神经网络模型，从而无需执行S302的步骤，只需将低频近似分量图输入至该神经网络模型即可，即电子设备可以通过选择针对某一特定参考妆容的神经网络模型从而选定参考妆容。神经网络模型也可以是并不针对某一特定参考妆容的神经网络模型，在基于神经网络模型进行妆容迁移时，需要将低频近似分量图和参考妆容同时输入至该神经网络模型进行训练。需要说明的是，对于具体的神经网络模型，本申请不做限定。

在一些具体的实施方式中，该生成对抗网络的神经网络模型可以包括：相串联的编码块、轻量卷积神经网络(Convolutional Neural Network, CNN)和解码块。其中，编码块与解码块通常均包括多个层级，并且编码块与解码块相对称，分别用于编码和解码。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。在接收到低频近似分量图后，编码块的各层级用于提取低频近似分量图的多种特征，并将提取的特征经由轻量CNN网络传输至相串联的解码块，由解码块对其进行处理，并输出该低频近似分量图对应的上妆后的低频近似分量图。

在一些具体的实施方式中，该神经网络模型的网络结构可类似U-net网络，示例性的，神经网络的编码块可以由卷积、归一化（IN）和激活函数（ReLU）交替组成，以及连接若干残差块，相应的，解码块与编码块对称，由反卷积、归一化（IN）和激活函数（ReLU）交替组成，以及连接若干残差块。轻量卷积神经网络可以由卷积、自适应实例标准化(AdaIN)和输出激活函数(Tanh)组成。需要说明的是，本申请中的神经网络模型还可为其他形式，对于具体的神经网络模型的形式，本申请不作限定。

可以理解的是，上述神经网络模型可以是其他电子设备中预先训练得到，之后迁移至当前的电子设备100的，也可以是在当前电子设备100中预先训练并存储得到的。

在一些具体的实现方式中，该神经网络模型的训练过程可以为：

第一步，通过小波分解的方法，将未上妆的人像图像（即训练人像图像）和已上妆的参考图像（即训练参考图像）分别分解出一张低频近似分量图和三张高频细节分量图。可以理解的是，该小波分解可以是Haar小波分解，还可以是其他类型的小波分解。需要说明的是，该人像图像和参考图像中包含同一人像。

第二步，将未上妆的人像图像的低频近似分量图与已上妆的参考图像的低频近似分量图基于BeautyGAN迁移模型框架进行“上妆”与“卸妆”的模型迁移。该BeautyGAN迁移模型框架包括相串联的编码块和解码块，示例性的，神经网络模型的编码块可以由卷积、归一化（IN）和激活函数（ReLU）交替组成，以及连接若干残差块，相应的，神经网络模型的解码块与编码块对称，由反卷积、归一化（IN）和激活函数（ReLU）交替组成，以及连接若干残差块。

第三步，将未上妆的人像图像的高频细节分量图与已上妆的参考图像的高频细节分量图基于轻量卷积神经网络模型学习掩膜Mask的方式进行“上妆”与“卸妆”的模型迁移，以学习对高频细节进行调整处理，保证高频信息的稳定迁移。示例性的，轻量卷积神经网络可以由卷积、自适应实例标准化(AdaIN)和输出激活函数(Tanh)组成。

第四步，将经过“上妆”与“卸妆”的模型迁移的低频近似分量图和高频细节分量图进行小波重构，生成妆容迁移图，该妆容迁移图即为添加参考图像妆容的人像图像。

第五步，通过妆容迁移图和已上妆的参考图像，确定该神经网络模型进行图像处理的损失。其中，神经网络模型进行图像处理的损失可反映妆容迁移图和已上妆的参考图像之间的接近程度，通常神经网络模型进行图像处理的损失越小，则表明妆容迁移图越接近已上妆的参考图像的显示效果，即妆容迁移图越自然。

在一些具体的实现方式中，可以基于生成对抗损失、循环一致性损失、感知损失、妆容实例损失等的损失函数，确定该神经网络模型进行图像处理的损失。需要说明的是，还可以基于其他损失函数确定神经网络模型进行图像处理的损失，对于具体的损失函数，本申请不做限定。

第六步，通过损失函数计算出的损失，调整神经网络模型的参数，直至满足预设条件，满足预设条件的神经网络模型即为训练后的神经网络模型，训练后的神经网络模型用于进行图像处理。

在一些可能的实现方式中，上述预设条件可以是调整神经网络模型的参数的次数达到次数阈值。即，电子设备需要每次在基于待训练的神经网络进行图像处理的损失，调整待训练的神经网络的参数之后，记录一次调整次数，并判断记录的调整次数是否达到次数阈值。如果记录的调整次数未达到次数阈值，则继续调整神经网络模型的参数，如果记录的调整次数达到次数阈值，则训练神经网络模型完成，该训练后的神经网络模型用于进行图像处理。

在另一些可能的实现方式中，上述预设条件可以是通过损失函数计算出的损失大于损失阈值。即，电子设备需要每次在基于待训练的神经网络进行图像处理的损失，调整待训练的神经网络的参数之后，判断计算出的损失是否大于损失阈值。如果计算出的损失大于损失阈值，则继续调整神经网络模型的参数，如果计算出的损失小于或等于损失阈值，则训练神经网络模型完成，该训练后的神经网络模型用于进行图像处理。

需要说明的是，该预设条件还可以是其他条件，对于具体的预设条件，本申请不做限定。

在一些可能的实现方式中，损失函数可以包括生成对抗损失函数、循环一致性损失函数、感知损失函数、妆容实例损失函数中的一种或多种。其中，通过损失函数中的对抗损失函数计算损失的方法为：将妆容迁移图和参考图像输入至判别器，以计算对抗损失函数；基于该对抗损失函数确定妆容迁移图和参考图像之间的对抗损失。在一些可能的实现方式中，通过损失函数中的感知损失函数计算损失的方法为：将妆容迁移图和参考图像输入至感知损失计算网络，以计算感知损失函数；基于该感知损失函数确定妆容迁移图和参考图像之间的感知损失。

当待训练的神经网络模型进行图像处理的损失包括两种及以上时，需要确定各种损失分别对应的权重，随后对各种损失和损失分别对应的权重进行加权计算，该加权计算的结果即为待训练的神经网络模型进行图像处理的损失。

参见图6，该图为本申请实施例提供的一种妆容迁移与微调的示意图。图6中501图基于神经网络模型进行妆容迁移，即经由串联的编码块、轻量CNN网络和解码块进行妆容迁移，可以得到图6中的505图，即处理后的低频近似分量图，该处理后的低频近似分量图已经带有S302步骤中获取的参考妆容。

S305：电子设备基于卷积神经网络对高频细节分量图进行处理。

电子设备在对低频近似分量图完成妆容迁移后，再通过训练上述CNN网络，让该CNN网络学习到高频细节迁移后的区域像素，并通过轻量的CNN网络对高频近似分量(cH,cV, cD)进行微调，使高频细节分量图能很好地适配风格迁移后的低频近似分量图。

在一种可能的实施方式中，三张高频细节分量图可以通过一个轻量的CNN网络前向运算，分别学习各自掩膜Mask，通过和掩膜点积得到高频修正细节后的新掩膜。

参见图6，图6中的502图、503图、504图三张高频细节分量图经过轻量的CNN网络的微调，使三张高频细节分量图能很好地适配妆容迁移后的低频近似分量图，可以得到图6中的506图、507图、508图三张处理后的高频细节分量图。

需要说明的是，由于高频细节分量通常调整较小，所以可以根据实际情况选择是否执行S305所述的步骤。

S306：电子设备对妆容迁移后的一张低频近似分量图和处理后的三张高频细节分量图进行小波重构，以得到处理后的人像图像。

小波重构即为小波分解的逆过程，小波分解和小波重构过程是无损可逆的。在一些可能的实现方式中，电子设备可以通过Haar小波重构将一张处理后的低频近似分量图和三张处理后的高频细节分量图重构成一张处理后的人像图像，该处理后的人像图像带有S302步骤中获取的参考妆容。

参见图7，该图为本申请实施例提供的一种小波重构的示意图。图7中右图为已上妆的Haar小波分解的示意图。在图7中右图所示的四方格内，505图为处理后的低频近似分量图，506图为处理后的cH水平向高频细节分量图、507图为处理后的cV垂直向高频细节分量图、508图为处理后的cD对角向高频细节分量图。图7中509图为小波重构后，对505图、506图、507图、508图四张图进行合成重构后的示意图，即处理后的人像图像。

参见图8，该图为本申请实施例提供的一种图像处理的示意图。该图即体现了以下过程：电子设备对人像图像进行小波分解，以获取一张低频近似分量图和三张高频细节分量图；电子设备基于神经网络模型对低频近似分量图进行妆容迁移，基于卷积神经网络对高频细节分量图进行微调；电子设备对妆容迁移后的一张低频近似分量图和微调后的三张高频细节分量图进行小波重构，以得到处理后的人像图像。

本申请提供一种图像处理方法，在电子设备获取人像图像和参考妆容后引入小波分解，将人像图像小波分解成一张低频近似分量图和三张高频细节分量图，并将低频近似分量图用解码编码的GAN网络结构进行妆容迁移，高频细节分量图用轻量化的CNN网络学习掩膜进行细节修正，最后小波重构成最终的人像美妆照。由此，对于低频的迁移方式能保证妆容效果的整体性，同时，高频部分的迁移方式使人像细节在迁移过程中不会出现丢失或错误，保证了其效果的真实性。因此本申请提供的图像处理方法具有更好的整体性，迁移效果更加自然。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现上述方法实施例中电子设备100执行的各个功能或者步骤。

本申请另一实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取人像图像和参考妆容；

对所述人像图像进行小波分解，以获取所述人像图像对应的低频近似分量图和高频细节分量图；

将所述低频近似分量图输入神经网络模型进行针对所述参考妆容的妆容迁移，以获取处理后的低频近似分量图；

对所述处理后的低频近似分量图和所述高频细节分量图进行小波重构，以得到处理后的人像图像。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的生成方法包括：

获取训练人像图像和训练参考图像，所述训练人像图像和所述训练参考图像中包含同一人像；

对所述训练人像图像和所述训练参考图像分别进行小波分解，以获取所述训练人像图像对应的低频近似分量图和高频细节分量图，以及所述训练参考图像对应的低频近似分量图和高频细节分量图；

将所述训练人像图像对应的低频近似分量图和所述训练参考图像对应的低频近似分量图基于迁移模型框架进行妆容迁移，以获取处理后的低频近似分量图；

将所述处理后的低频近似分量图和所述高频细节分量图进行小波重构，生成妆容迁移图；

基于损失函数，确定所述妆容迁移图和所述参考图像之间的损失；

基于所述损失，调整所述迁移模型框架的参数，以生成神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述损失函数包括对抗损失函数；

基于损失函数，确定所述妆容迁移图和所述参考图像之间的损失，包括：

将所述妆容迁移图和所述参考图像输入至判别器，以获取所述对抗损失函数的计算结果；

基于所述对抗损失函数的计算结果，确定所述妆容迁移图和所述参考图像之间的损失。

4.根据权利要求2所述的方法，其特征在于，所述损失函数包括感知损失函数；

基于损失函数，确定所述妆容迁移图和所述参考图像之间的损失，包括：

将所述妆容迁移图和所述参考图像输入至感知损失计算网络，以获取所述感知损失函数的计算结果；

基于所述感知损失函数的计算结果，确定所述妆容迁移图和所述参考图像之间的损失。

5.根据权利要求2所述的方法，其特征在于，所述基于所述损失，调整所述迁移模型框架的参数，包括：

所述损失包括两种及以上时，确定各种所述损失分别对应的权重；

对各种所述损失和各种所述损失分别对应的权重进行加权计算；

基于所述加权计算的结果，调整所述迁移模型框架的参数。

6.根据权利要求1所述的方法，其特征在于，所述对所述人像图像进行小波分解，以获取低频近似分量图和高频细节分量图，包括：

对所述人像图像进行N次小波分解，以获取N张低频近似分量图和3N张高频细节分量图。

7.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：编码块、卷积神经网络和解码块，所述编码块、所述卷积神经网络和所述解码块依次连接。

8.根据权利要求7所述的方法，其特征在于，所述编码块包括：卷积、归一化、激活函数和多个残差块；

所述卷积神经网络包括：卷积、自适应实例标准化和输出激活函数；

所述解码块包括：反卷积、归一化、激活函数和多个残差块。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储计算机执行指令；

所述处理器，用于执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1-8中任一项所述的方法。

Images