CN112565601A - 图像处理方法、装置、移动终端及存储介质 - Google Patents

Abstract

本申请适用于图像处理技术领域，提供了一种图像处理方法、装置、移动终端及存储介质，包括：获取预览人像图像中的痣区域，所述预览人像图像是指在预览界面显示的人像图像；若接收到拍照指令，则获取待处理人像图像，所述待处理人像图像是指接收到拍照指令时所拍摄的人像图像；在去除所述待处理人像图像中的瑕疵时，基于所述预览人像图像中的痣区域，保留所述待处理人像图像中的痣。通过本申请可在去除人像图像中的斑点、痘痘等瑕疵时，保留人像图像中的痣。

Description

图像处理方法、装置、移动终端及存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像处理方法、装置、移动终端及存储介质。

背景技术

随着移动终端的不断发展，越来越多的移动终端可用于拍照，如智能手机、数码相机、平板电脑等。为了满足人们对照片的要求，移动终端通常内置有美颜功能，使用美颜功能对所拍摄的照片进行美颜处理，例如去除人像图像中的斑点、痘痘等瑕疵。

发明内容

本申请提供了一种图像处理方法、装置、移动终端及存储介质，以在去除人像图像中的斑点、痘痘等瑕疵时，保留人像图像中的痣。

第一方面，本申请实施例提供了一种图像处理方法，所述图像处理方法包括：

获取预览人像图像中的痣区域，所述预览人像图像是指在预览界面显示的人像图像；

若接收到拍照指令，则获取待处理人像图像，所述待处理人像图像是指接收到拍照指令时所拍摄的人像图像；

在去除所述待处理人像图像中的瑕疵时，基于所述预览人像图像中的痣区域，保留所述待处理人像图像中的痣。

第二方面，本申请实施例提供了一种图像处理装置，所述图像处理装置包括：

痣区域获取模块，用于获取预览人像图像中的痣区域，所述预览人像图像是指在预览界面显示的人像图像；

图像获取模块，用于若接收到拍照指令，则获取待处理人像图像，所述待处理人像图像是指接收到拍照指令时所拍摄的人像图像；

图像处理模块，用于在去除所述待处理人像图像中的瑕疵区域时，基于所述预览人像图像中的痣区域，保留所述待处理人像图像中的痣区域。

第三方面，本申请实施例提供了一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述图像处理方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述图像处理方法的步骤。

第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在移动终端上运行时，使得所述移动终端执行如上述第一方面所述图像处理方法的步骤。

由上可见，本申请在对人像进行拍照时，可以基于该人像的预览图像(即预览人像图像)，获取预览人像图像中的痣区域，在接收到拍照指令时，获取该人像的待处理图像(即待处理人像图像)，在去除待处理人像图像中的瑕疵(例如色斑、痘痘等)时，基于上述痣区域，能够快速地确定待处理人像图像中的痣所在区域，并保留待处理人像图像中的痣，从而在去除待处理人像图像中的瑕疵时，避免将痣误去除。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的图像处理方法的实现流程示意图；

图2是拍照界面的示例图；

图3是本申请实施例二提供的图像处理方法的实现流程示意图；

图4是本申请实施例三提供的图像处理方法的实现流程示意图；

图5是人脸掩膜的示例图；

图6是本申请实施例四提供的图像处理装置的结构示意图；

图7是本申请实施例五提供的移动终端的结构示意图；

图8是本申请实施例六提供的移动终端的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

具体实现中，本申请实施例中描述的移动终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的移动终端。然而，应当理解的是，移动终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

移动终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在移动终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及移动终端上显示的相应信息。这样，移动终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

参见图1，是本申请实施例一提供的图像处理方法的实现流程示意图，该图像处理方法应用于移动终端，如图所示该图像处理方法可以包括以下步骤：

步骤101，获取预览人像图像中的痣区域。

其中，预览人像图像是指在预览界面显示的人像图像，该人像图像可以是指包括人脸区域的图像，预览人像图像中的痣区域是指预览人像图像中痣所在区域。

在移动终端中相机启动时，进入拍照界，该拍照界面通常包括预览界面、相机的各种功能选项等，如图2所示是拍照界面的示例图。

移动终端中内置有美颜功能，在检测到移动终端中相机启动时，可以先检测美颜功能中的祛斑祛痘功能(即去除瑕疵的功能)是否开启，若检测到祛斑祛痘功能开启，则获取预览人像图像中的痣区域，若检测到祛斑祛痘功能未开启或者未检测到祛斑祛痘功能开启，则可以不获取预览人像图像中的痣区域。其中，上述美颜功能可以是指对相机所拍摄的图像进行美颜处理的功能，例如磨皮美白、祛斑祛痘、调节肤色、淡化黑眼圈等。上述检测到移动终端中相机启动可以是指检测到移动终端中相机应用程序启动。

可选地，在获取到预览人像图像中的痣区域之后，以预设方式显示该痣区域，以提示用户该区域为痣区域，例如将该痣区域填充为预设颜色，即以预设颜色显示该痣区域。

可选地，在获取到预览人像图像中的痣区域之后，若检测到用户对该痣区域的涂抹操作，则确定在进行去瑕疵处理时不保留该痣区域。即通过在预览人像图像中确定痣区域，能够基于用户交互实现对痣区域的保留或去除。

步骤102，若接收到拍照指令，则获取待处理人像图像。

其中，待处理人像图像是指接收到拍照指令时所拍摄的人像图像。

上述拍照指令可以是指用于触发移动终端进行拍照的指令，例如在检测到对拍照界面中拍照按钮的点击操作时，触发生成拍照指令。

步骤103，在去除待处理人像图像中的瑕疵时，基于预览人像图像中的痣区域，保留待处理人像图像中的痣。

其中，去除待处理人像图像中的瑕疵可以是指将待处理人像图像中瑕疵的亮度和色彩恢复为正常肤色的亮度和色彩。

具体地，在去除待处理人像图像中的斑点、痘痘等瑕疵时，基于预览人像图像中的痣区域，可以确定待处理人像图像中痣所在区域，从而在去除斑点、痘痘等瑕疵时，对待处理人像图像中痣所在区域进行保护，保留待处理人像图像中的痣。其中，保留待处理人像图像中的痣也可以理解为保留待处理人像图像中的痣区域，或者不对待处理人像图像中的痣区域进行去瑕疵处理，去除待处理人像图像中的瑕疵也可以理解为去除待处理人像图像中的瑕疵区域。

另外，本实施例在通过基于预览人像图像中的痣区域，确定待处理人像图像中的痣所在区域时，由于此过程无需在待处理人像图像中进行痣区域检测，也无需在拍摄好待处理人像图像后再对其进行美颜处理，故简化了待处理人像图像的处理过程，提高了待处理人像图像中痣所在区域的确定效率。

预览人像图像和待处理人像图像是针对同一人像在不同时刻采集的图像，预览人像图像是在预览阶段采集的，待处理人像图像是在接收到拍照指令时采集的。由于预览人像图像是以预设时间(例如0.5秒)为间隔进行采集的，而采集时间最接近的预览人像图像(即采集时间与待处理人像图像的采集时间最接近的预览人像图像)与待处理人像图像最为相似，那么为了较为准确地获取待处理人像图像中的痣区域，可以基于采集时间最接近的预览人像图像的痣区域，获取待处理人像图像中的痣区域。

本申请实施例在对人像进行拍照时，可以基于该人像的预览图像(即预览人像图像)，获取预览人像图像中的痣区域，在接收到拍照指令时，获取该人像的待处理图像(即待处理人像图像)，在去除待处理人像图像中的瑕疵(例如色斑、痘痘等)时，基于上述痣区域，能够快速地确定待处理人像图像中的痣所在区域，并保留待处理人像图像中的痣，从而在去除待处理人像图像中的瑕疵时，避免将痣误去除。

参见图3，是本申请实施例二提供的图像处理方法的实现流程示意图，该图像处理方法应用于移动终端，如图所示该图像处理方法可以包括以下步骤：

步骤301，获取M个样本人像图像。

其中，M为大于零的整数。

具体地，可以从人像图像库中获取M个样本人像图像，例如从人像图像库中获取10个样本人像图像。其中，样本人像图像可以是指用于得到K个聚类中心的人像图像，人像图像库可以是指存储大量人像图像的数据库。

步骤302，获取每个样本人像图像中的痣区域和正常肤色区域。

其中，正常肤色区域是指不包括瑕疵的区域，即不包括色斑、痘痘等瑕疵的区域。

具体地，移动终端在获取到M个样本人像图像之后，可以在移动终端的显示屏上显示每个样本人像图像，用户可以对每个样本人像图像中的痣区域和正常肤色区域进行标注，移动终端在检测到每个样本人像图像中的标注时，可以得到每个样本人像图像中的痣区域和正常肤色区域。

步骤303，获取每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值。

在M个样本人像图像的任一样本人像图像中，由于正常肤色区域在图像中所占面积较大(即包含的像素数量较多)，那么为了减少计算正常肤色区域的Y通道均值时的计算量，可以从样本人像图像的正常肤色区域中抽取一定数量的像素，计算所抽取像素的Y通道均值(即将抽取的所有像素的Y通道值相加，相加后所得值除以抽取的像素数量)，将该Y通道均值作为正常肤色区域的Y通道均值。

步骤304，根据每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值，获取预览人像图像中的痣区域。

具体地，通过步骤303得到每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值之后，即可得到M个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和M个样本人像图像的正常肤色区域的Y通道均值，根据M个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和M个样本人像图像的正常肤色区域的Y通道均值，可以获取预览人像图像中的痣区域。

可选地，根据每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值，获取预览人像图像中的痣区域包括：

基于每个样本人像图像的痣区域中每个像素的Y通道值和该样本人像图像中正常肤色区域的Y通道均值，计算每个样本人像图像的痣区域中每个像素对应的Y通道差值；

确定每个样本人像图像的痣区域中每个像素的U通道值、V通道值及其对应的Y通道差值构成该像素的待聚类值；

对M个样本人像图像的痣区域中所有像素的待聚类值进行聚类，得到K个聚类中心，K为大于零的整数；

基于K个聚类中心，获取预览人像图像中的痣区域。

具体地，计算每个样本人像图像的痣区域中每个像素的Y通道值与该样本人像图像中正常肤色区域的Y通道均值的差值，该差值即为该像素对应的Y通道差值。示例性的，对于第i个样本人像图像中的第j个像素，第i个样本人像图像为M个样本人像图像中的任一样本人像图像，i为小于或等于M的正整数，第j个像素是第i个样本人像图像中的任一像素，j为小于或等于第i个样本人像图像的痣区域中像素总数量的正整数，第j个像素对应的Y通道差值为第j个像素的Y通道值与第i个样本人像图像中正常肤色区域的Y通道均值的差值，记第j个像素的U通道值为blemish_U，第j个像素的V通道值为blemish_V，第j个像素对应的Y通道差值为diff_Y，那么第j个像素的待聚类值为(diff_Y，blemish_U，blemish_V)，diff_Y表示第j个像素的待聚类值中的Y通道值，blemish_U表示第j个像素的待聚类值中的U通道值，blemish_V表示第j个像素的待聚类值中的V通道值。

具体地，可以基于K均值聚类算法，对M个样本人像图像的痣区域中所有像素的待聚类值进行聚类，得到K个聚类中心，一个聚类中心对应一种类型的痣。其中，第k个聚类中心(K个聚类中心的任一聚类中心)可以表示为(center_Y_k，center_U_k，center_V_k)，center_Y_k表示第k个聚类中心的Y通道值，center_U_k表示第k个聚类中心的U通道值，center_V_k表示第k个聚类中心的V通道值。可选地，本申请也可以使用其他聚类算法对M个样本人像图像的痣区域中所有像素的待聚类值进行聚类，在此不作限定。

其中，K个聚类中心表示K种类型的痣，可以基于K个聚类中心，检测预览人像图像中是否存在属于上述K种类型的痣，若存在，则确定上述预览人像图像中存在痣，并获取该痣在所述预览人像图像中的区域，若不存在，则确定上述预览人像图像中不存在痣。

可选地，在基于K个聚类中心，获取预览人像图像中的痣区域之前，还包括：

获取预览人像图像中的正常肤色区域；

获取预览人像图像中正常肤色区域的Y通道均值和预览人像图像中目标像素的Y通道值，目标像素是指预览人像图像中位于非正常肤色区域的像素，非正常肤色区域是指预览人像图像中除正常肤色区域之外的区域；

基于目标像素的Y通道值和预览人像图像中正常肤色区域的Y通道均值，计算目标像素对应的Y通道差值；

获取目标像素的U通道值和V通道值，并确定目标像素的U通道值、V通道值及其对应的Y通道差值构成目标像素的待聚类值。

基于K个聚类中心，获取预览人像图像中的痣区域包括：

计算目标像素的待聚类值与K个聚类中心的距离；

若目标像素与K个聚类中心的距离中至少存在一个距离小于预设距离，则确定目标像素为预览人像图像的痣区域中的像素。

其中，预览人像图像中的正常肤色区域可以是指预览人像图像中不存在瑕疵的区域，例如不包括色斑、痘痘等瑕疵的区域。

为了减少计算预览人像图像中正常肤色区域的Y通道均值时的计算量，可以从预览人像图像中抽取一定数量的像素，计算所抽取像素的Y通道均值(即将抽取的所有像素的Y通道值相加，相加后所得值除以抽取的像素数量)，将该Y通道均值作为预览人像图像中正常肤色区域的Y通道均值。

由于预览人像图像中除正常肤色区域不存在瑕疵，那么痣通常位于预览人像图像中的非正常肤色区域，为了查找到预览人像图像中所有的痣，可以将非正常肤色区域中所有像素作为目标像素，以判断非正常肤色区域中每个像素是否属于痣区域中像素。

针对一个目标像素，在计算该目标像素的待聚类值与K个聚类中心的距离时，可以得到K个距离，检测K个距离中是否存在小于预设距离的距离，若存在，则确定该目标像素为预览人像图像中痣区域中的像素，若不存在，则确定该目标像素不是预览人像图像的痣区域中的像素。

可选地，在计算目标像素的待聚类值与K个聚类中心的距离之后，还包括：

从目标像素的待聚类值与K个聚类中心的距离中，获取最短距离对应的聚类中心；

若目标像素与K个聚类中心的距离中至少存在一个距离小于预设距离，则确定目标像素为预览人像图像的痣区域中的像素包括：

若最短距离对应的聚类中心为目标聚类中心，且最短距离小于预设距离，则确定目标像素为预览人像图像的痣区域中的像素。

由于痣可以分为不同的类型，故可以从K个聚类中心中选择目标聚类中心，在去除瑕疵时，保留目标聚类中心对应的痣类型，不保留其他聚类中心(即K个聚类中心中除目标聚类中心之外的聚类中心)对应的痣类型。

在判断目标像素所属痣类型时，可以获取目标像素与K个聚类中心的距离中的最短距离，获取该最短距离对应的聚类中心，该聚类中心对应的痣类型即为目标像素所属痣类型。

步骤305，若接收到拍照指令，则获取待处理人像图像。

该步骤与步骤102相同，具体可参见步骤102的相关描述，在此不再赘述。

步骤306，在去除待处理人像图像中的瑕疵时，基于预览人像图像中的痣区域，保留待处理人像图像中的痣。

该步骤与步骤103相同，具体可参见步骤103的相关描述，在此不再赘述。

可选地，去除待处理人像图像中的瑕疵包括：

获取待处理人像图像中的瑕疵区域；

获取瑕疵区域的半径；

对于瑕疵区域中像素，从待处理人像图像中获取N个采样像素，N个采样像素是指待处理人像图像中与瑕疵区域中像素的距离为半径的像素，N为大于1的整数；

获取N个采样像素各自的Y通道值、U通道值和V通道值；

根据N个采样像素各自的Y通道值，更新瑕疵区域中像素的Y通道值；

根据N个采样像素各自的U通道值，更新瑕疵区域中像素的U通道值；

根据N个采样像素各自的V通道值，更新瑕疵区域中像素的V通道值。

在本实施例中，可以基于预设瑕疵检测算法，获取待处理人像图像中的瑕疵区域。上述预设瑕疵检测算法用于检测色斑、痘痘等瑕疵在图像中的区域，用户可以根据实际需要自行设定预设瑕疵检测算法，例如高斯函数的差分(Difference of Gaussian，DOG)算法。

在本实施例中，在获取到待处理人像图像中的瑕疵区域之后，可以将待处理人像图像进行二值化处理，得到二值化图像，从而得到待处理人像图像中的瑕疵区域在二值化图像中连通域，计算连通域的半径，该半径即为瑕疵区域的半径。其中，上述二值化图像可以是指将瑕疵区域中像素的灰度值设置为0，将待处理人像图像的非瑕疵区域中像素的灰度值设置为255，或者将瑕疵区域中像素的灰度值设置为255，将待处理人像图像的非瑕疵区域中像素的灰度值设置为0。

对于瑕疵区域中的第s个像素，第s个像素为瑕疵区域中的任一像素，第s像素对应的N个采样像素可以通过对待处理人像图像中与第s个像素的距离为半径的所有像素进行抽取得到，即从待处理人像图像中与第s个像素的距离为半径的所有像素中抽取N个像素，通过N个采样像素各自的Y通道值、U通道值和V通道值，可以更新第s个像素的Y通道值、U通道值和V通道值，通过上述方法可以完成对瑕疵区域中所有像素的Y通道值、U通道值和V通道值的更新，从而实现对瑕疵区域的填充，使得瑕疵区域恢复正常皮肤的亮度和色彩。

需要说明的是，在待处理人像图像中存在至少两个瑕疵区域时，需要对上述至少两个瑕疵区域中所有像素的Y通道值、U通道值和V通道值进行更新，以实现对待处理人像图像中所有瑕疵区域的填充。可选地，也可以从上述至少两个瑕疵区域中选择需要填充的瑕疵区域，对所选择的瑕疵区域进行填充。

可选地，根据N个采样像素各自的Y通道值，更新瑕疵区域中像素的Y通道值包括：

基于瑕疵区域中像素的Y通道值和N个采样像素各自的Y通道值，计算瑕疵区域中像素分别与N个采样像素的Y通道差值，得到N个Y通道差值；

计算N个Y通道差值的平均值；

确定N个Y通道差值的平均值为瑕疵区域中像素的Y通道值。

在本实施例中，对于瑕疵区域中每个像素的Y通道值，该像素分别与对应的N个采样像素的Y通道差值是指：该像素的Y通道值分别与对应的N个采样像素的Y通道值的差值。将该像素对应的N个Y通道差值的平均值作为该像素的Y通道值，能够实现对该像素的Y通道值的平滑处理，使得该像素的亮度更为接近正常肤色的亮度。

以瑕疵区域中的第s个像素进行举例说明，设定N为四，获取第s个像素对应的四个采样像素，将上述四个采样像素分别称之为第一采样像素、第二采样像素、第三采样像素和第四采样像素，分别计算第s个像素的Y通道值与第一采样像素的Y通道值的差值、第s个像素的Y通道值与第二采样像素的Y通道值的差值、第s个像素的Y通道值与第三采样像素的Y通道值的差值以及第s个像素的Y通道值与第四采样像素的Y通道值的差值，得到四个差值，这四个差值即为第s个像素对应的Y通道差值。

可选地，根据N个采样像素各自的U通道值，更新瑕疵区域中像素的U通道值包括：

从N个采样像素各自的U通道值中，获取N个采样像素的U通道中值；

确定N个采样像素的U通道中值为瑕疵区域中像素的U通道值；

根据N个采样像素各自的V通道值，更新瑕疵区域中像素的V通道值包括：

从N个采样像素各自的V通道值中，获取N个采样像素的V通道中值；

确定N个采样像素的V通道中值为瑕疵区域中像素的V通道值。

获取N个采样像素的U通道中值的过程，具体可以是按照U通道值由小至大或者由大至小的顺序，对N个采样像素的U通道值进行排序，排列在中间位置的U通道值即为N个采样像素的U通道中值。

获取N个采样像素的V通道中值的过程，具体可以是按照V通道值由小至大或者由大至小的顺序，对N个采样像素的V通道值进行排序，排列在中间位置的V通道值即为N个采样像素的V通道中值。

将瑕疵区域中像素对应的N个采样像素的U通道中值作为瑕疵区域中该像素的U通道值，N个采样像素的V通道中值作为瑕疵区域中该像素的V通道值，能够在有效地保留原皮肤纹理的情况下，将瑕疵区域恢复成正常肤色的色彩。

本申请实施例通过获取M个样本人像图像，并基于M个样本人像图像中的痣区域和正常肤色区域，获取K个聚类中心，能够基于K个聚类中心，实现对预览人像图像中痣区域的识别，较为精准地对预览人像图像中的痣和色斑、痘痘等瑕疵进行区分。

参见图4，是本申请实施例三提供的图像处理方法的实现流程示意图，该图像处理方法应用于移动终端，如图所示该图像处理方法可以包括以下步骤：

步骤401，获取预览人像图像中痣区域的位置信息。

步骤402，获取预览人像图像中人脸关键点的位置信息。

其中，人脸关键点可以是指人脸特征点，用户可以根据实际需要自行设定人脸关键点，例如眼睛、嘴巴、鼻子、眉毛等。

步骤403，根据预览人像图像中痣区域的位置信息和人脸关键点的位置信息，生成人脸掩膜。

其中，人脸掩膜用于对痣区域和人脸关键点所在区域进行保护，在对图像进行去瑕疵处理时，保留痣区域和人脸关键点所在区域。如图5所示是人脸掩膜的示例图，图5中人脸图像中的白色区域为痣区域和人脸关键点所在区域，在对图像进行去瑕疵处理时，可以保留人脸图像中的白色区域，去除人脸图像的灰色区域中的瑕疵。

可选地，在生成人脸掩膜之后，还包括：

将人脸掩膜存储至存储装置；

若检测到预览人像图像更新，则基于更新后的预览人像图像，更新存储装置中的人脸掩膜。

在本实施例中，可以基于预览人像图像的更新，实时更新存储装置中的人脸掩膜，以确保根据该人脸掩膜，能够较为准确地确定待处理人像图像中的痣区域。

步骤404，若接收到拍照指令，则获取待处理人像图像。

该步骤与步骤102相同，具体可参见步骤102的相关描述，在此不再赘述。

步骤405，在去除待处理人像图像中的瑕疵时，基于人脸掩膜，保留待处理人像图像中的痣。

由于待处理人像图像和预览人像图像是针对同一人像的图像，且人脸掩膜是基于人像的人脸生成的，故基于人脸掩膜可以对待处理人像图像中分别与人脸掩膜中的痣区域和人脸关键点对应区域进行保护。

在基于人脸掩膜，保留待处理人像图像中的痣区域之前，还包括：

从存储装置中获取人脸掩膜。

具体地，在去除待处理人像图像中的瑕疵时，可以从存储装置中获取人脸掩膜，基于从存储装置中获取的人脸掩膜，保留待处理人像图像中的痣。

本申请实施例通过基于预览人像图像中的痣区域的位置信息和人脸关键点的位置信息，可以生成人脸掩膜，以在对待处理人像图像进行去瑕疵处理时，基于人脸掩膜保留待处理人像图像中的痣区域和人脸关键点。

参见图6，是本申请实施例四提供的图像处理装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

图像处理装置包括：

痣区域获取模块61，用于获取预览人像图像中的痣区域，预览人像图像是指在预览界面显示的人像图像；

图像获取模块62，用于若接收到拍照指令，则获取待处理人像图像，待处理人像图像是指接收到拍照指令时所拍摄的人像图像；

图像处理模块63，用于在去除待处理人像图像中的瑕疵时，基于预览人像图像中的痣区域，保留待处理人像图像中的痣。

可选地，上述图像处理装置还包括：

样本获取模块，用于获取M个样本人像图像，M为大于零的整数；

肤色获取模块，用于获取每个样本人像图像中的痣区域和正常肤色区域，正常肤色区域是指不包括瑕疵的区域；

均值获取模块，用于获取每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值；

上述痣区域获取模块61具体用于：

根据每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值，获取预览人像图像中的痣区域。

可选地，上述痣区域获取模块61包括：

差值计算单元，用于基于每个样本人像图像的痣区域中每个像素的Y通道值和该样本人像图像中正常肤色区域的Y通道均值，计算每个样本人像图像的痣区域中每个像素对应的Y通道差值；

聚类确定单元，用于确定样本人像图像的痣区域中每个像素的U通道值、V通道值及其对应的Y通道差值构成该像素的待聚类值；

聚类分析单元，用于对M个样本人像图像的痣区域中所有像素的待聚类值进行聚类，得到K个聚类中心，K为大于零的整数；

区域获取单元，用于基于K个聚类中心，获取预览人像图像中的痣区域。

可选地，上述痣区域获取模块61还包括：

第一获取单元，用于获取预览人像图像中的正常肤色区域；

第二获取单元，用于获取预览人像图像中正常肤色区域的Y通道均值和预览人像图像中目标像素的Y通道值，目标像素是指预览人像图像中不位于正常肤色区域的像素；

差值计算单元，用于基于目标像素的Y通道值和预览人像图像中正常肤色区域的Y通道均值，计算目标像素对应的Y通道差值；

第三获取单元，用于获取目标像素的U通道值和V通道值，并确定目标像素的U通道值、V通道值及其对应的Y通道差值构成目标像素的待聚类值；

上述区域获取单元具体包括：

距离计算子单元，用于计算目标像素的待聚类值与K个聚类中心的距离；

像素确定子单元，用于若目标像素与K个聚类中心的距离中至少存在一个距离小于预设距离，则确定目标像素为预览人像图像的痣区域中的像素。

可选地，上述区域获取单元还包括：

中心获取子单元，用于从目标像素的待聚类值与K个聚类中心的距离中，获取最短距离对应的聚类中心；

上述像素确定子单元具体用于：

若最短距离对应的聚类中心为目标聚类中心，且最短距离小于预设距离，则确定目标像素为预览人像图像的痣区域中的像素。

可选地，上述图像处理装置还包括：

关键点获取模块，用于获取预览人像图像中人脸关键点的位置信息；

掩膜生成模块，用于根据预览人像图像中痣区域的位置信息和人脸关键点的位置信息，生成人脸掩膜；

上述图像处理模块63具体用于：

基于人脸掩膜，保留待处理人像图像中的痣。

可选地，上述图像处理装置还包括：

掩膜存储模块，用于将人脸掩膜存储至存储装置；

掩膜更新模块，用于若检测到预览人像图像更新，则基于更新后的预览人像图像，更新存储装置中的人脸掩膜；

上述图像处理模块63还用于：

从存储装置中获取人脸掩膜。

可选地，上述图像处理装置还包括：

瑕疵获取模块，用于获取待处理人像图像中的瑕疵区域；

半径获取模块，用于获取瑕疵区域的半径；

像素采样模块，用于对于瑕疵区域中像素，从待处理人像图像中获取N个采样像素，N个采样像素是指待处理人像图像中与瑕疵区域中像素的距离为半径的像素，N为大于1的整数；

通道值获取模块，用于获取N个采样像素各自的Y通道值、U通道值和V通道值；

第一更新模块，用于根据N个采样像素各自的Y通道值，更新瑕疵区域中像素的Y通道值；

第二更新模块，用于根据N个采样像素各自的U通道值，更新瑕疵区域中像素的U通道值；

第三更新模块，用于根据N个采样像素各自的V通道值，更新瑕疵区域中像素的V通道值。

可选地，第一更新模块具体用于：

基于瑕疵区域中像素的Y通道值和N个采样像素各自的Y通道值，计算瑕疵区域中像素分别与N个采样像素的Y通道差值，得到N个Y通道差值；

计算N个Y通道差值的平均值；

确定N个Y通道差值的平均值为瑕疵区域中像素的Y通道值。

可选地，第二更新模块具体用于：

从N个采样像素各自的U通道值中，获取N个采样像素的U通道中值；

确定N个采样像素的U通道中值为瑕疵区域中像素的U通道值。

可选地，第三更新模块具体用于：

从N个采样像素各自的V通道值中，获取N个采样像素的V通道中值；

确定N个采样像素的V通道中值为瑕疵区域中像素的V通道值。

本申请实施例提供的图像处理装置可以应用在前述方法实施例中，详情参见上述方法实施例的描述，在此不再赘述。

图7是本申请实施例五提供的移动终端的结构示意图。如图所示的该移动终端可以包括：一个或多个处理器701(图中仅示出一个)；一个或多个输入设备702(图中仅示出一个)，一个或多个输出设备703(图中仅示出一个)和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储指令，处理器701执行存储器704存储的指令时实现上述各个图像处理方法实施例中的步骤。

应当理解，在本申请实施例中，处理器701可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备702可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、数据接收接口等。输出设备703可以包括显示器(LCD等)、扬声器、数据发送接口等。

该存储器704可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器704的一部分还可以包括非易失性随机存取存储器。例如，存储器704还可以存储设备类型的信息。

具体实现中，本申请实施例中所描述的处理器701、输入设备702、输出设备703和存储器704可执行本申请实施例提供的图像处理方法的实施例中所描述的实现方式，也可执行实施例四图像处理装置中所描述的实现方式，在此不再赘述。

图8是本申请实施例六提供的移动终端的结构示意图。如图8所示，该实施例的移动终端8包括：一个或多个处理器80(图中仅示出一个)、存储器81以及存储在存储器81中并可在至少一个处理器80上运行的计算机程序82。处理器80执行计算机程序82时实现上述各个图像处理方法实施例中的步骤。

移动终端8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。移动终端可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是移动终端8的示例，并不构成对移动终端8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如移动终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器80可以是中央处理单元CPU，还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC、现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器81可以是移动终端8的内部存储单元，例如移动终端8的硬盘或内存。存储器81也可以是移动终端8的外部存储设备，例如移动终端8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器81还可以既包括移动终端8的内部存储单元也包括外部存储设备。存储器81用于存储计算机程序以及移动终端所需的其他程序和数据。存储器81还可以用于暂时地存储已经输出或者将要输出的数据。所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/移动终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/移动终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取预览人像图像中的痣区域，所述预览人像图像是指在预览界面显示的人像图像；

若接收到拍照指令，则获取待处理人像图像，所述待处理人像图像是指接收到拍照指令时所拍摄的人像图像；

在去除所述待处理人像图像中的瑕疵时，基于所述预览人像图像中的痣区域，保留所述待处理人像图像中的痣。

2.如权利要求1所述的图像处理方法，其特征在于，在获取预览人像图像中的痣区域之前，还包括：

获取M个样本人像图像，M为大于零的整数；

获取每个样本人像图像中的痣区域和正常肤色区域，所述正常肤色区域是指不包括瑕疵的区域；

获取所述每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值；

所述获取预览人像图像中的痣区域包括：

根据所述每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值，获取所述预览人像图像中的痣区域。

3.如权利要求2所述的图像处理方法，其特征在于，所述根据所述每个样本人像图像的痣区域中每个像素的Y通道值、U通道值、V通道值和该样本人像图像中正常肤色区域的Y通道均值，获取所述预览人像图像中的痣区域包括：

基于所述每个样本人像图像的痣区域中每个像素的Y通道值和该样本人像图像中正常肤色区域的Y通道均值，计算所述每个样本人像图像的痣区域中每个像素对应的Y通道差值；

确定所述每个样本人像图像的痣区域中每个像素的U通道值、V通道值及其对应的Y通道差值构成该像素的待聚类值；

对所述M个样本人像图像的痣区域中所有像素的待聚类值进行聚类，得到K个聚类中心，K为大于零的整数；

基于所述K个聚类中心，获取所述预览人像图像中的痣区域。

4.如权利要求3所述的图像处理方法，其特征在于，在基于所述K个聚类中心，获取所述预览人像图像中的痣区域之前，还包括：

获取所述预览人像图像中的正常肤色区域；

获取所述预览人像图像中正常肤色区域的Y通道均值和所述预览人像图像中目标像素的Y通道值，所述目标像素是指所述预览人像图像中位于非正常肤色区域的像素，非正常肤色区域是指预览人像图像中除正常肤色区域之外的区域；

基于所述目标像素的Y通道值和所述预览人像图像中正常肤色区域的Y通道均值，计算所述目标像素对应的Y通道差值；

获取所述目标像素的U通道值和V通道值，并确定所述目标像素的U通道值、V通道值及其对应的Y通道差值构成所述目标像素的待聚类值；

所述基于所述K个聚类中心，获取所述预览人像图像中的痣区域包括：

计算所述目标像素的待聚类值与所述K个聚类中心的距离；

若所述目标像素与所述K个聚类中心的距离中至少存在一个距离小于预设距离，则确定所述目标像素为所述预览人像图像的痣区域中的像素。

5.如权利要求4所述的图像处理方法，其特征在于，在计算所述目标像素的待聚类值与所述K个聚类中心的距离之后，还包括：

从所述目标像素的待聚类值与所述K个聚类中心的距离中，获取最短距离对应的聚类中心；

所述若所述目标像素与所述K个聚类中心的距离中至少存在一个距离小于预设距离，则确定所述目标像素为所述预览人像图像的痣区域中的像素包括：

若所述最短距离对应的聚类中心为目标聚类中心，且所述最短距离小于所述预设距离，则确定所述目标像素为所述预览人像图像的痣区域中的像素。

6.如权利要求1所述的图像处理方法，其特征在于，在获取预览人像图像的痣区域之后，还包括：

获取所述预览人像图像中人脸关键点的位置信息；

根据所述预览人像图像中痣区域的位置信息和所述人脸关键点的位置信息，生成人脸掩膜；

所述基于所述预览人像图像中的痣区域，保留所述待处理人像图像中的痣区域包括：

基于所述人脸掩膜，保留所述待处理人像图像中的痣。

7.如权利要求6所述的图像处理方法，其特征在于，在生成人脸掩膜之后，还包括：

将所述人脸掩膜存储至存储装置；

若检测到所述预览人像图像更新，则基于更新后的所述预览人像图像，更新所述存储装置中的人脸掩膜；

在基于所述人脸掩膜，保留所述待处理人像图像中的痣区域之前，还包括：

从所述存储装置中获取所述人脸掩膜。

8.如权利要求1至7任一项所述的图像处理方法，其特征在于，所述去除所述待处理人像图像中的瑕疵包括：

获取所述待处理人像图像中的瑕疵区域；

获取所述瑕疵区域的半径；

对于所述瑕疵区域中像素，从所述待处理人像图像中获取N个采样像素，所述N个采样像素是指所述待处理人像图像中与所述瑕疵区域中像素的距离为所述半径的像素，N为大于1的整数；

获取所述N个采样像素各自的Y通道值、U通道值和V通道值；

根据所述N个采样像素各自的Y通道值，更新所述瑕疵区域中像素的Y通道值；

根据所述N个采样像素各自的U通道值，更新所述瑕疵区域中像素的U通道值；

根据所述N个采样像素各自的V通道值，更新所述瑕疵区域中像素的V通道值。

9.如权利要求8所述的图像处理方法，其特征在于，所述根据所述N个采样像素各自的Y通道值，更新所述瑕疵区域中像素的Y通道值包括：

基于所述瑕疵区域中像素的Y通道值和所述N个采样像素各自的Y通道值，计算所述瑕疵区域中像素分别与所述N个采样像素的Y通道差值，得到N个Y通道差值；

计算所述N个Y通道差值的平均值；

确定所述N个Y通道差值的平均值为所述瑕疵区域中像素的Y通道值；

所述根据所述N个采样像素各自的U通道值，更新所述瑕疵区域中像素的U通道值包括：

从所述N个采样像素各自的U通道值中，获取所述N个采样像素的U通道中值；

确定所述N个采样像素的U通道中值为所述瑕疵区域中像素的U通道值；

所述根据所述N个采样像素各自的V通道值，更新所述瑕疵区域中像素的V通道值包括：

从所述N个采样像素各自的V通道值中，获取所述N个采样像素的V通道中值；

确定所述N个采样像素的V通道中值为所述瑕疵区域中像素的V通道值。

10.一种图像处理装置，其特征在于，所述图像处理装置包括：

痣区域获取模块，用于获取预览人像图像中的痣区域，所述预览人像图像是指在预览界面显示的人像图像；

图像获取模块，用于若接收到拍照指令，则获取待处理人像图像，所述待处理人像图像是指接收到拍照指令时所拍摄的人像图像；

图像处理模块，用于在去除所述待处理人像图像中的瑕疵时，基于所述预览人像图像中的痣区域，保留所述待处理人像图像中的痣。

11.一种移动终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述图像处理方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述图像处理方法的步骤。

Images