CN111583154A - 图像处理方法、肤质美化模型训练方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、肤质美化模型训练方法及相关装置，包括：获取待处理图像；对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。本申请实施例可以避免非皮肤区域被处理而引起的模糊感等不自然视觉效果，提高设备进行图像美肤处理的准确度和效率。

Description

图像处理方法、肤质美化模型训练方法及相关装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、肤质美化模型训练方法及相关装置。

背景技术

现有在移动装置中应用的图像美颜算法大多采用基于空间滤波算法和图层融合处理的磨皮处理。其中空间滤波算法，包括双边滤波、引导滤波等，由于利用像素值域的信息，会带来模糊感等不自然视觉效果。不足够满足用户的美感需求。

发明内容

本申请实施例提供了一种图像处理方法、肤质美化模型训练方法及相关装置，以期提高终端进行图片美颜处理的效率和准确度。

第一方面，本申请实施例提供一种图像处理方法，包括：

获取待处理图像；

对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。

第二方面，本申请实施例提供一种肤质美化模型训练方法，包括：

获取用于训练预设的肤质美化模型的训练数据，所述训练数据包括至少一个身体部位的训练图像和目标图像，所述训练图像包括原始皮肤图像，所述目标图像通过人为修图的方式生成，所述人为修图的图像处理功能包括仅根据局部区域图像信息所能够完成的图像处理功能；

利用所述样本数据训练所述预设的肤质美化模型，得到训练后的肤质美化模型。

第三方面，本申请实施例提供一种图像处理装置，包括

所述获取单元，用于获取待处理图像；

所述美肤单元，用于对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。

第四方面，本申请实施例提供一种肤质美化模型训练装置，包括

获取单元，用于获取用于训练预设的肤质美化模型的训练数据，所述训练数据包括至少一个身体部位的训练图像和目标图像，所述训练图像包括原始皮肤图像，所述目标图像通过人为修图的方式生成，所述人为修图的图像处理功能包括仅根据局部区域图像信息所能够完成的图像处理功能；

训练单元，用于利用所述样本数据训练所述预设的肤质美化模型，得到训练后的肤质美化模型。

第五方面，本申请实施例提供一种终端，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面或第二方面任一方法中的步骤的指令。

第六方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。

第七方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面或第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，待处理图像的原始皮肤区域图像被美肤处理，非皮肤区域未被处理，且该美肤处理能够实现仅根据局部区域图像信息所能够完成的图像处理功能，一方面能够避免非皮肤区域被处理而引起的模糊感等不自然视觉效果，另一方面美肤功能仅聚焦在基于局部区域图像信息所能够完成的图像处理功能，降低了复杂度和计算量，无需借助外部设备，本端即可完成优化，有利于提高设备进行图像美肤处理的准确度和效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的用于模型训练和应用的系统架构100的示意图；

图1B是本申请实施例提供的终端200的结构方框图；

图1C是本申请实施例提供的一种芯片硬件结构的方框图；

图1D是本申请实施例提供的设置有Android系统的终端的架构示意图；

图2A是本申请实施例提供的一种图像处理方法的流程示意图；

图2B是本申请实施例提供的人脸区域存在雀斑的局部区域图像信息的示意图；

图2C是本申请实施例提供的人脸区域存在痘痘的局部区域图像信息的示意图；

图2D是本申请实施例提供的人脸区域存在过暗区域和过明区域的局部区域图像信息的示意图；

图2E是本申请实施例提供的人脸区域存在雀斑的待处理图像的美肤过程示意图；

图2F是本申请实施例提供的肤质美化模型的网络结构的示例图；

图3是本申请实施例提供的一种肤质美化模型训练方法的流程示意图；

图4是本申请实施例提供的一种图像处理装置的功能单元组成框图；

图5是本申请实施例提供的另一种图像处理装置的功能单元组成框图；

图6是本申请实施例提供的一种肤质美化模型训练装置的功能单元组成框图；

图7是本申请实施例提供的另一种肤质美化模型训练装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。

(1)神经网络

神经网络(Neural Networks,NN)是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。

(2)像素值

图像的像素值可以是一个红绿蓝(RGB)颜色值，像素值可以是表示颜色的长整数。

例如，像素值为256*Red+100*Green+76Blue，其中，Blue代表蓝色分量，Green代表绿色分量，Red代表红色分量。各个颜色分量中，数值越小，亮度越低，数值越大，亮度越高。

本申请所公开的技术方案的软硬件运行环境介绍如下。

如图1A所示，本申请实施例提供了一种用于模型训练和应用的系统架构100，包括执行设备110、训练设备120、数据库130、客户设备140、数据存储系统150、数据采集设备160。其中，数据采集设备160用于采集训练数据。针对本申请实施例的图像处理方法来说，训练数据可以包括训练图像以及目标图像，其中，目标图像可以是人工预先修图。

在采集到训练数据之后，数据采集设备160将这些训练数据存入数据库130，训练设备120基于数据库130中维护的训练数据训练得到目标模型/规则101，如本申请所描述的肤质美化模型。该目标模型/规则101能够用于实现本申请实施例的图像处理方法，即，将待处理图像通过相关预处理后输入该目标模型/规则101，即可得到美肤过后的预测图像，再融合处理原始图像和预测图像得到目标图像。本申请实施例中的目标模型/规则101具体可以为神经网络模型。需要说明的是，在实际的应用中，所述数据库130中维护的训练数据不一定都来自于数据采集设备160的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备120也不一定完全基于数据库130维护的训练数据进行目标模型/规则101的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。

根据训练设备120训练得到的目标模型/规则101可以应用于不同的系统或设备中，如应用于图1A所示的执行设备110，所述执行设备110可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端设备等。在图1A中，执行设备110配置输入/输出(input/output，I/O)接口112，用于与外部设备进行数据交互，用户可以通过客户设备140向I/O接口112输入数据，所述输入数据在本申请实施例中可以包括：客户设备输入的待处理图像。

预处理模块113和预处理模块114用于根据I/O接口112接收到的输入数据(如待处理图像)进行预处理，在本申请实施例中，也可以没有预处理模块113和预处理模块114(也可以只有其中的一个预处理模块)，而直接采用计算模块111对输入数据进行处理。

在执行设备110对输入数据进行预处理，或者在执行设备110的计算模块111执行计算等相关的处理过程中，执行设备110可以调用数据存储系统150中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统150中。

最后，I/O接口112将处理结果，如上述得到的待处理图像的分类结果返回给客户设备140，从而提供给用户。

值得说明的是，训练设备120可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则101，该相应的目标模型/规则101即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。

在图1A所示情况下，用户可以手动给定输入数据，该手动给定可以通过I/O接口112提供的界面进行操作。另一种情况下，客户设备140可以自动地向I/O接口112发送输入数据，如果要求客户设备140自动发送输入数据需要获得用户的授权，则用户可以在客户设备140中设置相应权限。用户可以在客户设备140查看执行设备110输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备140也可以作为数据采集端，采集如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果作为新的样本数据，并存入数据库130。当然，也可以不经过客户设备140进行采集，而是由I/O接口112直接将如图所示输入I/O接口112的输入数据及输出I/O接口112的输出结果，作为新的样本数据存入数据库130。

值得注意的是，图1A仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图1A中，数据存储系统150相对执行设备110是外部存储器，在其它情况下，也可以将数据存储系统150置于执行设备110中。客户设备140也可以与执行设备110集成为单个设备。

如图1A所示，根据训练设备120训练得到目标模型/规则101，该目标模型/规则101在本申请实施例中可以是本申请中的神经网络，具体的，本申请实施例提供的神经网络可以CNN，深度卷积神经网络(deep convolutional neural networks,DCNN)，循环神经网络(recurrent neural network，RNNS)等等。

如图1B所示，本申请实施例提供了一种终端200的结构方框图。该终端200可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(MobileStation，MS)，终端设备(terminal device)等等。本申请中的终端200可以包括一个或多个如下部件：处理器210、存储器220和输入输出设备230。

处理器210可以包括一个或者多个处理核心。处理器210利用各种接口和线路连接整个终端200内的各个部分，通过运行或执行存储在存储器220内的指令、程序、代码集或指令集，以及调用存储在存储器220内的数据，执行终端200的各种功能和处理数据。处理器210可以包括一个或多个处理单元，例如：处理器210可以包括中央处理器(CentralProcessing Unit，CPU)、应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，控制器可以是终端200的神经中枢和指挥中心。NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端200的智能认知等应用，例如：图像美颜，图像识别，人脸识别，语音识别，文本理解等。

可以理解的是，上述处理器210在实际产品中可以映射为系统级芯片(System ona Chip，SOC)，上述处理单元和/或接口也可以不集成到处理器210中，单独通过一块通信芯片或者电子元器件实现对应的功能。上述各模块间的接口连接关系，只是示意性说明，并不构成对终端200的结构的唯一限定。

存储器220可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选地，该存储器220包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器220可用于存储指令、程序、代码、代码集或指令集。存储器220可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统(包括基于Android系统深度开发的系统)、苹果公司开发的IOS系统(包括基于IOS系统深度开发的系统)或其它系统。存储数据区还可以存储终端200在使用中所创建的数据(比如待处理图像、电话本、音视频数据、聊天记录数据)等。

如图1C所示，本申请实施例提供了一种芯片硬件结构，该芯片包括神经网络处理器30。该芯片可以被设置在如图1A所示的执行设备110中，用以完成计算模块111的计算工作。该芯片也可以被设置在如图1A所示的训练设备120中，用以完成训练设备120的训练工作并输出目标模型/规则101。本申请所描述的肤质美化模型中各层的算法均可在如图1C所示的芯片中得以实现。

神经网络处理器NPU 30作为协处理器挂载到主CPU(host CPU)上，由主CPU分配任务。NPU的核心部分为运算电路303，控制器304控制运算电路303提取存储器(权重存储器或输入存储器)中的数据并进行运算。运算电路303内部包括多个处理单元(process engine,PE)。运算电路303是二维脉动阵列。运算电路303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现方式中，运算电路303是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路303从权重存储器302中取矩阵B相应的数据，并缓存在运算电路303中每一个PE上。运算电路303从输入存储器301中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)308中。

向量计算单元307可以对运算电路303的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。例如，向量计算单元307可以用于神经网络中非卷积/非FC层的网络计算，如池化(pooling)，批归一化(batch normalization)，局部响应归一化(local response normalization)等。

向量计算单元307将经处理的输出的向量存储到统一存储器306。例如，向量计算单元307可以将非线性函数应用到运算电路303的输出，例如累加值的向量，用以生成激活值。在一些实现方式中，向量计算单元307生成归一化的值、合并值，或二者均有。

统一存储器306用于存放输入数据以及输出数据。

权重数据直接通过存储单元访问控制器305(direct memory accesscontroller，DMAC)将外部存储器中的输入数据搬运到输入存储器301和/或统一存储器306、将外部存储器中的权重数据存入权重存储器302，以及将统一存储器306中的数据存入外部存储器。

总线接口单元(bus interface unit，BIU)310，用于通过总线实现主CPU、DMAC和取值存储器309之间进行交互。

与控制器304连接的取值存储器309，用于存储控制器304使用的指令。

控制器304，用于调用取值存储器309中缓存的指令，实现控制该运算加速器的工作过程。

一般地，统一存储器306，输入存储器301，权重存储器302以及取值存储器309均为片上(On-Chip)存储器，外部存储器为该NPU外部的存储器，该外部存储器可以为双倍数据率同步动态随机存储器(double data rate synchronous dynamic random accessmemory，简称DDR SDRAM)、高带宽存储器(high bandwidth memory，HBM)或其他可读可写的存储器。

其中，本申请所描述的肤质美化模型各层的运算可以由运算电路303或向量计算单元307执行。

上述终端200的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构中的任意一种。本申请实施例以分层架构的Android系统为例，示例性说明终端200的软件架构。

如图1D所示，本申请实施例提供的一种设置有Android系统的终端的架构示意图，存储器220中可存储有Linux内核层420、系统运行库层440、应用框架层460和应用层480，其中，层与层之间通过软件接口通信，Linux内核层420、系统运行库层440和应用框架层460属于操作系统空间。

应用层480属于用户空间，应用层480中运行有至少一个应用程序，这些应用程序可以是操作系统自带的原生应用程序，也可以是第三方开发者所开发的第三方应用程序，具体可以包括相机(该相机应用可以自带美颜功能，用于执行本申请所描述的图像处理方法)，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用框架层460提供了构建应用层的应用程序可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器、消息管理器、活动管理器、包管理器、定位管理。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端200的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

系统运行库层440通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行库层440中还提供有安卓运行时库(Android Runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。

Linux内核层420为终端200的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。

请参阅图2A，图2A是本申请实施例提供了一种图像处理方法的流程示意图，应用于上述执行设备110或者终端200，如图所示，本图像处理方法包括以下操作。

S201，获取待处理图像。

其中，所述待处理图像可以通过所述客户设备140获取，也可以是终端200本端通过摄像头等采集，或者是通过云端下载，或者是预先存储的，此处不做唯一限定。

S202，对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。

在一个可能的示例中，所述原始皮肤区域图像对应以下身体部位中的至少一个：脸部、颈部、肩膀、手臂、手部、胸部、腹部、背部、腰部、臀部、腿部、脚部。可以是单个独立身体部位(例如：脸部)，也可以是多个独立身体部位(例如：脸部+颈部)。

其中，所述待处理图像还可以包括原始皮肤区域图像关联的非皮肤区域图像，该非皮肤区域图像可以包括配饰、衣物、背景等，如，颈部原始皮肤区域对应的非皮肤区域图像可以包括用户佩戴的项链等目标的影像信息。通过将皮肤区域和非皮肤区域区分，可以精确的针对皮肤区域进行优化。

在一个可能的示例中，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：祛斑、祛痘、磨皮、局部区域(通常可理解为小于100*100像素的区域)的过明调整、局部区域的过暗调整。

其中，所述局部区域图像信息是指待处理图像的部分像素点所组成的图像区域，如300像素*300像素或500像素*500像素等，本例不作具体限制，该图像区域具体包含的影像信息可以是多种多样的，此处不做唯一限定。

举例来说，如图2B所示，用户的人脸区域存在雀斑，该雀斑区域图像对应的局部区域图像信息可以是虚线框内的区域，该区域包含雀斑区域图像和非雀斑区域(包含雀斑的边界区域)，该非雀斑区域可以包括皮肤区域和部分人眼区域。

又举例来说，如图2C所示，用户的人脸区域存在痘痘，该痘痘区域图像对应的局部区域图像信息可以是虚线框内的区域，该区域包含痘痘区域图像和非痘痘区域(包含痘痘的边界区域)，该非痘痘区域可以包括正常的皮肤区域。

又举例来说，如图2D所示，用户的人脸区域存在过暗区域和过明区域，过暗区域对应的局部区域图像信息可以是左侧虚线框内的区域，该区域包含过暗区域和周围的正常皮肤区域，过明区域对应的局部区域图像信息可以是右侧虚线框内的区域，该区域包含过明区域和周围的正常皮肤区域。

其中，针对磨皮处理，包括但不限于针对欧美人群保留浅浅雀斑、印度人群保留吉祥痣或各种各样代替吉祥痣的图案且保持清晰、针对油性或干性等特殊人群按统一标准进行美化处理等。

可以看出，本申请实施例中，待处理图像的原始皮肤区域图像被美肤处理，非皮肤区域未被处理，且该美肤处理能够实现仅根据局部区域图像信息所能够完成的图像处理功能，一方面能够避免非皮肤区域被处理而引起的模糊感等不自然视觉效果，另一方面美肤功能仅聚焦在基于局部区域图像信息所能够完成的图像处理功能，降低了复杂度和计算量，无需借助外部设备，本端即可完成优化，提高设备进行图像美肤处理的准确度和效率。

在一个可能的示例中，所述对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，包括：提取所述待处理图像中用户的原始皮肤区域图像；通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像；根据所述待处理图像和所述预测皮肤区域图像，生成目标图像。

其中，提取的区域的形状可以是矩形、圆形等，此处不做唯一限定。

具体实现中，提取待处理图像中需美颜处理的原始皮肤区域图像的方式可以是多种多样的，此处不做唯一限定。

例如，利用图像的皮肤区域分割信息、人脸区域信息、人脸关键点检测信息、或者以上一种或多种信息的融合等方式来实现。

在本可能的示例中，所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像，包括：将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述预测皮肤区域图像，得到目标图像。

可见，本示例中，直接通过预测皮肤区域图像替换待处理图像的对应区域，简洁高效，处理复杂度降低，实时性高。

在本可能的示例中，所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像，包括：根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像；根据所述待处理图像和所述目标皮肤区域图像，生成目标图像。通过融合处理可以实现生成目标图像。

在本可能的示例中，所述根据所述待处理图像和所述目标皮肤区域图像，生成目标图像，包括：将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述目标皮肤区域图像，得到目标图像。

其中，当所述所有身体部位为单个独立身体部位时，所述肤质美化模型可以是单个专用模型，该专用模型仅适用于该独立身体部位的美肤处理，也可以是单个通用模型，该通用模型适用于所有身体部位的美肤处理，此处不做唯一限定。

当所述所有身体部位为多个独立身体部位时，所述肤质美化模型可以是单个通用模型，且该单个通用模型适用于所有身体部位的美肤处理，所述肤质美化模型可以是多个专用模型，每个专用模型适用于一个独立身体部位的美肤处理。

其中，如图2E所示(以祛斑图像处理功能为例)，设备首先提取原始皮肤区域图像，然后通过预先训练的肤质美化模型能够生成祛斑效果的预测皮肤区域图像，然后根据祛斑后的预测皮肤区图像和原始皮肤区域图像确定目标皮肤区域图像，最后根据目标皮肤区域图像和待处理图像生成美肤处理后的目标图像。

具体实现中，所述肤质美化模型可以采用具有直连操作的轻量级的深度卷积网络模型，如图2F所示，本申请实施例提供的一种肤质美化模型的网络结构的示例图，该模型包括预处理层、多个卷积层、后处理层。

其中，所述预处理层和后处理层用于实现图像像素重排处理，本申请不对具体重排方式作限制，本例采用预处理层将输入图像的高宽尺寸下降为原来的0.5倍且通道数为原来的4倍的像素值重排处理，将相邻的4邻域像素重排至不同通道的相同位置，本例采用的后处理层处理过程与预处理层处理过程相反。

其中，通过卷积层和步长Stride或者聚合Pool操作使得特征层的高宽尺寸按2倍率下降，通过转置卷积使得特征层的高宽尺寸按2倍率上升，使得输入层与输出层的高宽尺寸和通道数均保持一致。

其中，高宽尺寸下降过程和上升过程中的对应相同高宽尺寸的若干个特征层间存在一次直连操作，该直连操作将高宽尺寸倍率下降过程的某特征层的所有通道和上升过程的具有相同高宽尺寸的某特征层的通道层按通道维度进行合并后，输入至后续的卷积层。

其中，该模型属于轻量级模型，所含卷积网络层数最多不超过20，各特征层的通道数最高不超过256。本申请对该模型的具体的卷积层数和每个卷积层的通道数不作限制。

可见，本示例中，相对于目前采用的涉及图像整图信息的美颜模型，本申请的肤质美化模型仅聚焦基于布局图像区域所能够实现的图像处理功能，模型复杂度低，算法聚焦且更容易轻量化，更适用于移动终端，且非皮肤区域图像信息会原样保留在目标图像中，避免了非皮肤区域被处理而引起的模糊感等不自然视觉效果，在皮肤区域与非皮肤区域的边缘地带具有真实且自然的过渡效果。

在一个可能的示例中，所述根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像，包括：针对所述原始皮肤区域图像的部分或全部像素中的每个像素，执行如下操作：根据当前处理的像素位置的预测像素值和原始像素值确定特征差值；若根据所述特征差值确定所述当前处理的像素位置为存在预设皮肤问题的皮肤区域，则根据预设策略确定所述当前处理的像素位置的最终像素值，所述预设皮肤问题包括以下至少一种：斑点、痘点、色块；若根据所述特征差值确定所述当前处理的像素位置为不存在所述预设皮肤问题的皮肤区域，则根据所述预测像素值、所述原始像素值和美颜力度调整参数a确定所述当前处理的像素位置的最终像素值。

其中，所述根据所述预测像素值、所述原始像素值和美颜力度调整参数a确定所述当前处理的像素位置的最终像素值，可以通过如下公式实现。

image2＝image0*(1-α)+(image1-image0)*α

其中，image0为当前处理的像素位置的原始像素值，image1为当前处理的像素位置的预测像素值，image2为当前处理的像素位置的最终像素值，a为美颜力度调整参数。其中|image1-image0|代表特征差值的绝对值，本申请对特征差值的计算不作限制，本例采用特征差值为RGB三通道的差值的绝对值的和。T为设定门限。

具体实现中，T可根据应用场景设置，如本例的T值设置为15。若某像素位置的T值大于15则判定为斑点、色块等区域的像素位置，则最终美肤处理后的对应像素位置的像素值赋值为预测像素值，达到去除皮肤上的斑点、色块等。若某像素位置的T值小于15则判定为除斑点、色块等以外的皮肤区域，则应用美颜力度调整参数a，将美颜处理后的区域图像和待处理图像中需美颜处理区域的原图像进行融合，达成美颜力度调整参数a对应的美颜磨皮效果。美颜力度调整参数a的设定可通过业界公知的相机应用中的磨皮程度选择功能，支持用户自定义。

可见，本示例中，通过分析每个像素的肤质，能够实现差异化的图像融合处理，提高目标图像的美肤效果。

在本可能的示例中，所述根据预设策略确定所述当前处理的像素位置的最终像素值，包括：确定所述当前处理的像素位置的最终像素值为所述预测像素值。

其中，通过如下公式表示本示例所限定的图像融合机制。

|image1-image0|＞T：image2＝image1

|image1-image0|≤T：image2＝image0*(1-α)+(image1-image0)*α

其中，image0为当前处理的像素位置的原始像素值，image1为当前处理的像素位置的预测像素值，image2为当前处理的像素位置的最终像素值，a为美颜力度调整参数。其中|image1-image0|代表特征差值的绝对值，本申请对特征差值的计算不作限制，本例采用特征差值为RGB三通道的差值的绝对值的和。T为设定门限，可根据应用场景设置，如本例的T值设置可为15。

可见，本示例中，针对存在预设皮肤问题的皮肤区域，直接用模型的预测结果作为目标图像的像素值，避免原始像素信息影响，提高美肤效率。

在本可能的示例中，所述根据预设策略确定所述当前处理的像素位置的最终像素值，包括：获取所述预设皮肤问题对应的预设像素值确定策略；按照所述预设像素值确定策略确定所述当前处理的像素位置的最终像素值。

其中，由于预设皮肤问题包括以下至少一种：斑点、痘点、色块，通过针对每种皮肤问题设置专属的像素值确定策略，能够更加适配各种皮肤问题的图像处理需求，提高图像美肤效果。

在本可能的示例中，所述预设皮肤问题包括斑点或者痘点；所述预设像素值确定策略为基于连通域的融合方法。

具体实现时，所述基于连通域的融合方法包括以下步骤：

1，标记斑点/痘点区域的像素位置，该像素位置的像素值置为255，其余像素位置的像素值置为0，得到标记祛斑祛痘位置的灰度图像；

2，对灰度图像进行连通域计算，得到各个斑点/痘点区域的独立连通域；

3，根据各个斑点/痘点区域的连通域的形状、面积、像素值，按设定的美颜力度参数，对各个斑点/痘点的连通域进行选择，仅对被选中的连通域的位置上的斑点/痘点区域的像素位置的像素值进行赋值，且赋值为美颜处理后的区域图像的对应像素位置的像素值，达到根据设定的美颜力度参数，有选择地进行祛斑祛痘。

在一个可能的示例中，所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像，包括：将所述原始皮肤区域图像进行预设处理，得到参考皮肤区域图像；通过所述肤质美化模型处理所述参考皮肤区域图像，得到所述预测皮肤区域图像。

其中，所述预设处理例如可以包括尺寸的扩充，减均值、尺寸统一变化等，此处不做唯一限定。

可见，本示例中，可以将皮肤区域图像整体预处理后，将预处理后的参考图像作为模型处理的输入数据进行预测处理。

在一个可能的示例中，所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像，包括：将所述原始皮肤区域图像划分为多个原始皮肤子区域图像；针对所述多个原始皮肤子区域图像中的每个原始皮肤子区域图像执行如下操作A和B：A、按照预设尺寸，对当前处理的原始皮肤子区域图像进行图像扩增和图像填充，得到原始皮肤子区域扩增图像，所述预设尺寸大于所述每个原始皮肤子区域图像的尺寸、且小于所述原始皮肤子区域图像的尺寸；B、通过所述肤质美化模型处理所述原始皮肤子区域扩增图像，得到美颜处理后的原始皮肤子区域扩增图像；将多个美颜处理后的原始皮肤子区域扩增图像去除扩增并合并，得到美颜处理后的预测皮肤区域图像。

其中，所述划分的具体策略可以是多种多样的，此处不做唯一限定。

举例来说，可以按照网格机制对所述原始皮肤区域图像进行划分，不完整的网格可以通过非皮肤区域图像来补充。

又举例来说，针对不同身体部位的皮肤区域，可以按照不同的划分策略划分子区域图像，如脸部按照第一尺寸的矩形窗口顺序划分，颈部按照第二尺寸的矩形窗口顺序划分，第一尺寸可以小于第二尺寸，脸部器官多，皮肤区域更加不规则，用更小尺寸可以提高优化精细化程度，颈部区域整体性更强，用更大尺寸可以在保证优化效果的同时提高算法效率。

其中，所述预设尺寸例如可以是200像素*200像素等经验值，此处不做唯一限定。

举例来说，假设预设尺寸是200像素*200像素，原始皮肤区域图像为300像素*300像素的区域图像，划分为4个150*150的原始皮肤子区域图像，每个原始皮肤子区域图像扩增为200像素*200像素，可以四个方向向外扩增25像素。

可见，本示例中，通过图像划分和扩增机制，可以进一步降低对设备的内存要求，提高适应能力，且通过扩增覆盖边界区域，使得皮肤区域和非皮肤区域图像的过渡更加自然和平缓。

此外，本申请实施例针对待处理图片仅包括用户的原始皮肤区域图像的情况，也可以使用，也就是说，直接将待处理图片本身作为用户的原始皮肤区域图像进行处理，设备无需再执行提取动作和替换动作，仅需要通过模型预测得到预测待处理图像，并根据所述待处理图像和所述预测待处理图像，生成目标图像。

具体实现中，与前述实施例逻辑一致的，根据所述待处理图像和所述预测待处理图像，生成目标图像的具体实现方式可以是：

若针对所述预测待处理图像的部分或全部像素中的每个像素，执行如下操作：

根据当前处理的像素位置的预测像素值和原始像素值确定特征差值；

若根据所述特征差值确定所述当前处理的像素位置为存在预设皮肤问题的皮肤区域，则根据预设策略确定所述当前处理的像素位置的最终像素值，所述预设皮肤问题包括以下至少一种：斑点、痘点、色块；

若根据所述特征差值确定所述当前处理的像素位置为不存在所述预设皮肤问题的皮肤区域，则根据所述预测像素值、所述原始像素值和美颜力度调整参数a确定所述当前处理的像素位置的最终像素值。

其中，所述根据预设策略确定所述当前处理的像素位置的最终像素值，包括：确定所述当前处理的像素位置的最终像素值为所述预测像素值。

其中，所述根据预设策略确定所述当前处理的像素位置的最终像素值，包括：获取所述预设皮肤问题对应的预设像素值确定策略；按照所述预设像素值确定策略确定所述当前处理的像素位置的最终像素值。

其中，所述预设皮肤问题包括斑点或者痘点；所述预设像素值确定策略为基于连通域的融合方法。与前述实施例一致，此处不再赘述。

请参阅图3，图3是本申请实施例提供了一种肤质美化模型训练方法的流程示意图，应用于上述训练设备120或者终端200，如图所示，本图像处理方法包括以下操作。

S301，获取用于训练预设的肤质美化模型的训练数据，所述训练数据包括至少一个身体部位的训练图像和目标图像，所述训练图像包括原始皮肤图像，所述目标图像通过人为修图的方式生成，所述人为修图的图像处理功能包括仅根据局部区域图像信息所能够完成的图像处理功能。

在一个可能的示例中，所述至少一个身体部位包括以下至少一种：脸部、颈部、肩膀、手臂、手部、胸部、腰部、背部、腹部、臀部、腿部、脚部。

其中，所述原始皮肤区域图像是待处理图像中所有身体部位的皮肤区域图像，该所有身体部位可以是单个独立身体部位(例如：脸部)，也可以是多个独立身体部位(例如：脸部+颈部)。

当所述所有身体部位为单个独立身体部位时，所述肤质美化模型可以是单个专用模型，该专用模型仅适用于该独立身体部位的美肤处理，也可以是单个通用模型，该通用模型适用于所有身体部位的美肤处理，此处不做唯一限定。

当所述所有身体部位为多个独立身体部位时，所述肤质美化模型可以是单个通用模型，且该单个通用模型适用于所有身体部位的美肤处理，所述肤质美化模型可以是多个专用模型，每个专用模型适用于一个独立身体部位的美肤处理。

在一个可能的示例中，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：祛斑、祛痘、磨皮、极小局部区域的过明调整、极小局部区域的过暗调整。

其中，所述目标图像为所述训练图像经过修图师用Photoshop(简称PS)软件处理后的、且满足测试用户美感的图像。

具体实现中，对PS软件处理操作需要进行限制，即仅允许可基于局部区域图像信息的处理操作，即以局部区域图像信息为依据的可充分达成效果的处理操作。所述满足属于可基于局部区域图像信息的处理操作要求的PS软件处理的操作包括但不限于PS软件中的仿制印章、画笔、业界公知的双曲线人脸磨皮涉及的操作等。PS软件处理可使用简单快速的方式使得非皮肤区域与原图一致，不需要做过渡处理，且允许少量像素误差，降低PS软件处理的工作量。同时，可用根据外部输入信息的处理操作代替所述PS软件处理操作，或者结合以上两种操作，本申请不作限制。所述根据外部输入信息的处理操作根据人脸框、人脸关键点、人像分割信息、外部皮肤检测模块的输出的皮肤检测信息等，生成皮肤检测区域，再将目标数据的皮肤检测区域图像替换为原图，允许一定误差。

所述PS软件处理操作的磨皮处理的特征在于使得目标图像达到效果要求，包括不限于针对欧美人群的需求保留浅浅的雀斑等。

所述PS软件处理操作仅可使用可基于局部图像区域信息的处理操作进行磨皮处理，即以局部区域图像信息为依据的可充分达成效果的处理操作。所述局部图像区域通常可理解为以处理像素为中心的300像素*300像素或500像素*500像素等，本例不作具体限制。

在一个可能的示例中，所述肤质美化模型包括以下任意一种：具有直连操作的轻量级的深度卷积神经网络结构的预测模型、采用局部直连和全局直连相结合的神经网络结构的预测模型、采用mobilenet系列的神经网络结构的预测模型。

S302，利用所述样本数据训练所述预设的肤质美化模型，得到训练后的肤质美化模型。

其中，所述训练数据可以包含不同性别、各个年龄段、各类肤质、各类光照条件下用户的各个常可见皮肤部位的皮肤，其中脸部皮肤占比最高。

其中，所述肤质美化模型的损失函数，本申请不作具体限制，例如采用业绩公知的L1损失和结构相似性指数SSIM损失函数。

可以看出，本申请实施例中，肤质美化模型训练数据中的目标图像是人为修图的方式生成，仅涉及根据局部区域图像信息所能够完成的图像处理功能，如此使得训练好的模型具备仅根据局部区域图像信息所能够完成的图像处理功能，避免非皮肤区域被处理而引起的模糊感等不自然视觉效果，提高模型优化效果。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

本申请实施例提供一种图像处理装置，该图像处理装置可以为终端200。具体的，图像处理装置用于执行以上图像处理方法中目标终端所执行的步骤。本申请实施例提供的图像处理装置可以包括相应步骤所对应的模块。

本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图4示出上述实施例中所涉及的图像处理装置的一种可能的结构示意图。如图4所示，图像处理装置4包括获取单元40和美肤单元41。

获取单元40，用于获取待处理图像；

美肤单元41，用于对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。

在一个可能的示例中，在所述对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像方面，所述美肤单元41具体用于：提取所述待处理图像中用户的原始皮肤区域图像；通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像；根据所述待处理图像和所述预测皮肤区域图像，生成目标图像。

在本可能的示例中，在所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像方面，所述美肤单元41具体用于：将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述预测皮肤区域图像，得到目标图像。

在本可能的示例中，在根据所述待处理图像和所述预测皮肤区域图像，生成目标图像方面，所述美肤单元41具体用于：根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像；根据所述待处理图像和所述目标皮肤区域图像，生成目标图像。

在本可能的示例中，在根据所述待处理图像和所述目标皮肤区域图像，生成目标图像方面，所述美肤单元41具体用于：将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述目标皮肤区域图像，得到目标图像。

在一个可能的示例中，在所述根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像方面，所述美肤单元41具体用于：针对所述原始皮肤区域图像的部分或全部像素中的每个像素，执行如下操作：根据当前处理的像素位置的预测像素值和原始像素值确定特征差值；若根据所述特征差值确定所述当前处理的像素位置为存在预设皮肤问题的皮肤区域，则根据预设策略确定所述当前处理的像素位置的最终像素值，所述预设皮肤问题包括以下至少一种：斑点、痘点、色块；若根据所述特征差值确定所述当前处理的像素位置为不存在所述预设皮肤问题的皮肤区域，则根据所述预测像素值、所述原始像素值和美颜力度调整参数a确定所述当前处理的像素位置的最终像素值。

在一个可能的示例中，在所述根据预设策略确定所述当前处理的像素位置的最终像素值方面，所述美肤单元41具体用于：确定所述当前处理的像素位置的最终像素值为所述预测像素值。

在一个可能的示例中，在所述根据预设策略确定所述当前处理的像素位置的最终像素值方面，所述美肤单元41具体用于：获取所述预设皮肤问题对应的预设像素值确定策略；按照所述预设像素值确定策略确定所述当前处理的像素位置的最终像素值。所述预设皮肤问题包括斑点或者痘点；

所述预设像素值确定策略为基于连通域的融合方法。

在一个可能的示例中，在所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像方面，所述美肤单元41具体用于：将所述原始皮肤区域图像进行预设处理，得到参考皮肤区域图像；通过所述肤质美化模型处理所述参考皮肤区域图像，得到所述预测皮肤区域图像。

在一个可能的示例中，在所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像方面，所述美肤单元41具体用于：将所述原始皮肤区域图像划分为多个原始皮肤子区域图像；

针对所述多个原始皮肤子区域图像中的每个原始皮肤子区域图像执行如下操作A和B：A、按照预设尺寸，对当前处理的原始皮肤子区域图像进行图像扩增和图像填充，得到原始皮肤子区域扩增图像，所述预设尺寸大于所述每个原始皮肤子区域图像的尺寸、且小于所述原始皮肤子区域图像的尺寸；B、通过所述肤质美化模型处理所述原始皮肤子区域扩增图像，得到美颜处理后的原始皮肤子区域扩增图像；将多个美颜处理后的原始皮肤子区域扩增图像去除扩增并合并，得到美颜处理后的预测皮肤区域图像。

在一个可能的示例中，所述原始皮肤区域图像对应以下身体部位中的至少一个：脸部、颈部、肩膀、手臂、手部、胸部、腹部、背部、腰部、臀部、腿部、脚部。

在一个可能的示例中，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：祛斑、祛痘、磨皮、局部区域的过明调整、局部区域的过暗调整。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的图像处理装置包括但不限于上述模块，例如：图像处理装置还可以包括存储单元42。存储单元42可以用于存储该图像处理装置的程序代码和数据。

在采用集成的单元的情况下，本申请实施例提供的图像处理装置的结构示意图如图5所示。在图5中，图像处理装置5包括：处理模块50和通信模块51。处理模块50用于对图像处理装置的动作进行控制管理，例如，获取单元40、美肤单元41执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块51用于支持图像处理装置与其他设备之间的交互。如图5所示，图像处理装置还可以包括存储模块52，存储模块52用于存储图像处理装置的程序代码和数据，例如存储上述存储单元52所保存的内容。

其中，处理模块50可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块51可以是收发器、RF电路或通信接口等。存储模块52可以是存储器。

其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述图像处理装置均可执行上述图2A所示的图像处理方法中目标终端所执行的步骤。

本申请实施例提供一种肤质美化模型训练装置，该肤质美化模型训练装置可以为终端200。具体的，肤质美化模型训练装置用于执行以上图像处理方法中目标终端所执行的步骤。本申请实施例提供的肤质美化模型训练装置可以包括相应步骤所对应的模块。

本申请实施例可以根据上述方法示例对肤质美化模型训练装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出上述实施例中所涉及的肤质美化模型训练装置的一种可能的结构示意图。如图6所示，肤质美化模型训练装置6包括获取单元60和训练单元61。

获取单元60，用于获取用于训练预设的肤质美化模型的训练数据，所述训练数据包括至少一个身体部位的训练图像和目标图像，所述训练图像包括原始皮肤图像，所述目标图像通过人为修图的方式生成，所述人为修图的图像处理功能包括仅根据局部区域图像信息所能够完成的图像处理功能；

训练单元61，用于利用所述样本数据训练所述预设的肤质美化模型，得到训练后的肤质美化模型。

在一个可能的示例中，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：祛斑、祛痘、磨皮、极小局部区域的过明调整、极小局部区域的过暗调整。

在一个可能的示例中，所述至少一个身体部位包括以下至少一种：脸部、颈部、肩膀、手臂、手部、胸部、腰部、背部、腹部、臀部、腿部、脚部。

在一个可能的示例中，所述肤质美化模型包括以下任意一种：具有直连操作的轻量级的深度卷积神经网络结构的预测模型、采用局部直连和全局直连相结合的神经网络结构的预测模型、采用mobilenet系列的神经网络结构的预测模型。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的肤质美化模型训练装置包括但不限于上述模块，例如：肤质美化模型训练装置还可以包括存储单元62。存储单元62可以用于存储该肤质美化模型训练装置的程序代码和数据。

在采用集成的单元的情况下，本申请实施例提供的肤质美化模型训练装置的结构示意图如图7所示。在图7中，肤质美化模型训练装置7包括：处理模块70和通信模块71。处理模块70用于对肤质美化模型训练装置的动作进行控制管理，例如，获取单元60、训练单元61执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块71用于支持肤质美化模型训练装置与其他设备之间的交互。如图7所示，肤质美化模型训练装置还可以包括存储模块72，存储模块72用于存储肤质美化模型训练装置的程序代码和数据，例如存储上述存储单元72所保存的内容。

其中，处理模块70可以是处理器或控制器，例如可以是中央处理器CPU，通用处理器，数字信号处理器DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块71可以是收发器、RF电路或通信接口等。存储模块72可以是存储器。

其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述肤质美化模型训练装置均可执行上述图3所示的图像处理方法中目标终端所执行的步骤。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (36)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；

对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，包括：

提取所述待处理图像中用户的原始皮肤区域图像；

通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像；

根据所述待处理图像和所述预测皮肤区域图像，生成目标图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像，包括：

将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述预测皮肤区域图像，得到目标图像。

4.根据权利要求2所述的方法，其特征在于，所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像，包括：

根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像；

根据所述待处理图像和所述目标皮肤区域图像，生成目标图像。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待处理图像和所述目标皮肤区域图像，生成目标图像，包括：

将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述目标皮肤区域图像，得到目标图像。

6.根据权利要求4或5所述的方法，其特征在于，所述根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像，包括：

针对所述原始皮肤区域图像的部分或全部像素中的每个像素，执行如下操作：

根据当前处理的像素位置的预测像素值和原始像素值确定特征差值；

若根据所述特征差值确定所述当前处理的像素位置为存在预设皮肤问题的皮肤区域，则根据预设策略确定所述当前处理的像素位置的最终像素值，所述预设皮肤问题包括以下至少一种：斑点、痘点、色块；

若根据所述特征差值确定所述当前处理的像素位置为不存在所述预设皮肤问题的皮肤区域，则根据所述预测像素值、所述原始像素值和美颜力度调整参数a确定所述当前处理的像素位置的最终像素值。

7.根据权利要求6所述的方法，其特征在于，所述根据预设策略确定所述当前处理的像素位置的最终像素值，包括：

确定所述当前处理的像素位置的最终像素值为所述预测像素值。

8.根据权利要求6所述的方法，其特征在于，所述根据预设策略确定所述当前处理的像素位置的最终像素值，包括：

获取所述预设皮肤问题对应的预设像素值确定策略；

按照所述预设像素值确定策略确定所述当前处理的像素位置的最终像素值。

9.根据权利要求8所述的方法，其特征在于，所述预设皮肤问题包括斑点或者痘点；

所述预设像素值确定策略为基于连通域的融合方法。

10.根据权利要求2-9任一项所述的方法，其特征在于，所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像，包括：

将所述原始皮肤区域图像进行预设处理，得到参考皮肤区域图像；

通过所述肤质美化模型处理所述参考皮肤区域图像，得到所述预测皮肤区域图像。

11.根据权利要求2-9任一项所述的方法，其特征在于，所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像，包括：

将所述原始皮肤区域图像划分为多个原始皮肤子区域图像；

针对所述多个原始皮肤子区域图像中的每个原始皮肤子区域图像执行如下操作A和B：

A、按照预设尺寸，对当前处理的原始皮肤子区域图像进行图像扩增和图像填充，得到原始皮肤子区域扩增图像，所述预设尺寸大于所述每个原始皮肤子区域图像的尺寸、且小于所述原始皮肤子区域图像的尺寸；

B、通过所述肤质美化模型处理所述原始皮肤子区域扩增图像，得到美颜处理后的原始皮肤子区域扩增图像；

将多个美颜处理后的原始皮肤子区域扩增图像去除扩增并合并，得到美颜处理后的预测皮肤区域图像。

12.根据权利要求1-11任一项所述的方法，其特征在于，所述原始皮肤区域图像对应以下身体部位中的至少一个：

脸部、颈部、肩膀、手臂、手部、胸部、腹部、背部、腰部、臀部、腿部、脚部。

13.根据权利要求1-12任一项所述的方法，其特征在于，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：

祛斑、祛痘、磨皮、局部区域的过明调整、局部区域的过暗调整。

14.一种肤质美化模型训练方法，其特征在于，包括：

获取用于训练预设的肤质美化模型的训练数据，所述训练数据包括至少一个身体部位的训练图像和目标图像，所述训练图像包括原始皮肤图像，所述目标图像通过人为修图的方式生成，所述人为修图的图像处理功能包括仅根据局部区域图像信息所能够完成的图像处理功能；

利用所述样本数据训练所述预设的肤质美化模型，得到训练后的肤质美化模型。

15.根据权利要求14所述的方法，其特征在于，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：

祛斑、祛痘、磨皮、极小局部区域的过明调整、极小局部区域的过暗调整。

16.根据权利要求14或15所述的方法，其特征在于，所述至少一个身体部位包括以下至少一种：

脸部、颈部、肩膀、手臂、手部、胸部、腰部、背部、腹部、臀部、腿部、脚部。

17.根据权利要求14-16任一项所述的方法，其特征在于，所述肤质美化模型包括以下任意一种：

具有直连操作的轻量级的深度卷积神经网络结构的预测模型、采用局部直连和全局直连相结合的神经网络结构的预测模型、采用mobilenet系列的神经网络结构的预测模型。

18.一种图像处理装置，其特征在于，包括

获取单元，用于获取待处理图像；

美肤单元，用于对所述待处理图像中的原始皮肤区域图像进行美肤处理，得到目标图像，所述美肤处理用于实现仅根据局部区域图像信息所能够完成的图像处理功能，所述原始皮肤区域图像是指包含用户的皮肤影像信息的身体部位的图像。

19.根据权利要求18所述的装置，其特征在于，所述美肤单元具体用于：提取所述待处理图像中用户的原始皮肤区域图像；通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像；以及根据所述待处理图像和所述预测皮肤区域图像，生成目标图像。

20.根据权利要求19所述的装置，其特征在于，在所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像方面，所述美肤单元具体用于：将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述预测皮肤区域图像，得到目标图像。

21.根据权利要求19所述的装置，其特征在于，在所述根据所述待处理图像和所述预测皮肤区域图像，生成目标图像方面，所述美肤单元具体用于：根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像；以及根据所述待处理图像和所述目标皮肤区域图像，生成目标图像。

22.根据权利要求21所述的装置，其特征在于，在所述根据所述待处理图像和所述目标皮肤区域图像，生成目标图像方面，所述美肤单元具体用于：将所述待处理图像中与所述原始皮肤区域图像对应的图像区域替换为所述目标皮肤区域图像，得到目标图像。

23.根据权利要求21或22所述的装置，其特征在于，在所述根据所述原始皮肤区域图像和所述预测皮肤区域图像，生成目标皮肤区域图像方面，所述美肤单元具体用于：针对所述原始皮肤区域图像的部分或全部像素中的每个像素，执行如下操作：

根据当前处理的像素位置的预测像素值和原始像素值确定特征差值；

若根据所述特征差值确定所述当前处理的像素位置为存在预设皮肤问题的皮肤区域，则根据预设策略确定所述当前处理的像素位置的最终像素值，所述预设皮肤问题包括以下至少一种：斑点、痘点、色块；

若根据所述特征差值确定所述当前处理的像素位置为不存在所述预设皮肤问题的皮肤区域，则根据所述预测像素值、所述原始像素值和美颜力度调整参数a确定所述当前处理的像素位置的最终像素值。

24.根据权利要求23所述的装置，其特征在于，在所述根据预设策略确定所述当前处理的像素位置的最终像素值方面，所述美肤单元具体用于：确定所述当前处理的像素位置的最终像素值为所述预测像素值。

25.根据权利要求23所述的装置，其特征在于，在所述根据预设策略确定所述当前处理的像素位置的最终像素值方面，所述美肤单元具体用于：获取所述预设皮肤问题对应的预设像素值确定策略；以及按照所述预设像素值确定策略确定所述当前处理的像素位置的最终像素值。

26.根据权利要求25所述的装置，其特征在于，所述预设皮肤问题包括斑点或者痘点；

所述预设像素值确定策略为基于连通域的融合方法。

27.根据权利要求19-26任一项所述的装置，其特征在于，在所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像方面，所述美肤单元具体用于：将所述原始皮肤区域图像进行预设处理，得到参考皮肤区域图像；以及通过所述肤质美化模型处理所述参考皮肤区域图像，得到所述预测皮肤区域图像。

28.根据权利要求19-26任一项所述的装置，其特征在于，在所述通过预先训练的肤质美化模型预测所述原始皮肤区域图像，得到预测皮肤区域图像方面，所述美肤单元具体用于：将所述原始皮肤区域图像划分为多个原始皮肤子区域图像；

针对所述多个原始皮肤子区域图像中的每个原始皮肤子区域图像执行如下操作A和B：

A、按照预设尺寸，对当前处理的原始皮肤子区域图像进行图像扩增和图像填充，得到原始皮肤子区域扩增图像，所述预设尺寸大于所述每个原始皮肤子区域图像的尺寸、且小于所述原始皮肤子区域图像的尺寸；

B、通过所述肤质美化模型处理所述原始皮肤子区域扩增图像，得到美颜处理后的原始皮肤子区域扩增图像；

将多个美颜处理后的原始皮肤子区域扩增图像去除扩增并合并，得到美颜处理后的预测皮肤区域图像。

29.根据权利要求18-28任一项所述的装置，其特征在于，所述原始皮肤区域图像对应以下身体部位中的至少一个：

脸部、颈部、肩膀、手臂、手部、胸部、腹部、背部、腰部、臀部、腿部、脚部。

30.根据权利要求18-29任一项所述的装置，其特征在于，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：

祛斑、祛痘、磨皮、局部区域的过明调整、局部区域的过暗调整。

31.一种肤质美化模型训练装置，其特征在于，包括

获取单元，用于获取用于训练预设的肤质美化模型的训练数据，所述训练数据包括至少一个身体部位的训练图像和目标图像，所述训练图像包括原始皮肤图像，所述目标图像通过人为修图的方式生成，所述人为修图的图像处理功能包括仅根据局部区域图像信息所能够完成的图像处理功能；

训练单元，用于利用所述样本数据训练所述预设的肤质美化模型，得到训练后的肤质美化模型。

32.根据权利要求31所述的装置，其特征在于，所述仅根据局部区域图像信息所能够完成的图像处理功能包括以下至少一种：

祛斑、祛痘、磨皮、极小局部区域的过明调整、极小局部区域的过暗调整。

33.根据权利要求31或32所述的装置，其特征在于，所述至少一个身体部位包括以下至少一种：

脸部、颈部、肩膀、手臂、手部、胸部、腰部、背部、腹部、臀部、腿部、脚部。

34.根据权利要求31-33任一项所述的装置，其特征在于，所述肤质美化模型包括以下任意一种：

具有直连操作的轻量级的深度卷积网络结构的预测模型、采用局部直连和全局直连相结合的网络结构的预测模型、采用mobilenet系列的网络结构的预测模型。

35.一种终端，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-17任一项所述的方法中的步骤的指令。

36.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-17任一项所述的方法。

Images