CN112135041B - 一种人脸特效的处理方法及装置、存储介质 - Google Patents

Abstract

本公开关于一种人脸特效的处理方法及装置、存储介质，涉及图像处理领域。本公开实施例能够提供一种人脸特效，来增加面部五官的可玩性。该方法包括：显示人脸图像；响应于接收到的人脸特效操作，进入特效拍摄模式；获取人脸图像，确定人脸图像中人脸的擦除颜色；识别人脸中的遮挡物，确定所述人脸中的被遮挡区域；在所述被遮挡区域发生变化的情况下，将所述人脸的擦除颜色填充至所述被遮挡区域中的当前未被遮挡区域。

Description

一种人脸特效的处理方法及装置、存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种人脸特效的处理方法及装置、存储介质。

背景技术

随着移动互联网技术的不断发展，电子设备所能提供使用的功能越来越多，从而，电子设备在用户的生产生活中所占据的重要性也越来越大。其中，在电子设备所提供的多种功能中，拍摄功能已经成为用户日常使用的一项基本功能。

当前，在拍摄过程中，为了提升用户体验，在面部五官中添加比如鬼脸或者卡通轮廓等特效，增加了用户对脸部五官体验的多样性，使面部拍摄有更多的可玩性。

发明内容

本公开提供一种人脸特效的处理方法及装置、存储介质，以提供一种用于五官擦除的人脸特效，来增加面部五官的可玩性。公开的技术方案如下：

根据本公开实施例的第一方面，提供一种人脸特效的处理方法。具体的，响应于接收到的人脸特效操作，进入特效拍摄模式；之后，获取人脸图像，确定人脸图像中人脸的擦除颜色；并识别人脸中的遮挡物，以确定人脸中的被遮挡区域；在被遮挡区域发生变化的情况下，将人脸的擦除颜色填充至被遮挡区域中的当前未被遮挡区域。

结合第一方面，在另一种可能的设计方式中，上述“确定人脸图像中人脸的擦除颜色”的方法包括：确定人脸图像的掩码图；根据掩码图，确定人脸的第一颜色；基于第一颜色与预设皮肤颜色确定人脸的擦除颜色。

结合第一方面，在另一种可能的设计方式中，上述“根据掩码图，确定人脸的第一颜色”包括：根据掩码图，确定人脸图像中的人脸；在人脸图像中除人脸外的其他区域中填充预设皮肤颜色；确定人脸图像中与预设皮肤颜色不同颜色的目标像素点；加权平均处理目标像素点的颜色，确定人脸的第一颜色。

结合第一方面，在另一种可能的设计方式中，上述“基于第一颜色与预设皮肤颜色确定人脸的擦除颜色”的方法包括：加权平均处理第一颜色与预设皮肤颜色，得到人脸的擦除颜色。

结合第一方面，在另一种可能的设计方式中，上述“基于第一颜色与预设皮肤颜色确定人脸的擦除颜色”的方法包括：基于第一颜色与预设皮肤颜色，确定第二颜色；获取人脸图像的上一帧人脸的擦除颜色；对第二颜色以及上一帧人脸的擦除颜色进行平滑处理，得到人脸的擦除颜色。

结合第一方面，在另一种可能的设计方式中，上述“将人脸的擦除颜色填充至被遮挡区域中的当前未被遮挡区域”的方法包括：实时监测遮挡物；确定遮挡物位置是否发生变化；基于遮挡物位置变化，确定第二遮挡区域；基于第二遮挡区域和被遮挡区域，确定当前未被遮挡区域；将人脸的擦除颜色填充至当前未被遮挡区域。

根据本公开实施例的第二方面，提供一种人脸特效的处理装置，包括：处理单元，被配置为响应于接收到的人脸特效操作，进入特效拍摄模式。获取单元，被配置为在处理单元进入特效拍摄模式时，获取人脸图像。处理单元，被配置为确定获取单元获取的人脸图像中人脸的擦除颜色。处理单元，还被配置为识别人脸中的遮挡物，确定人脸中的被遮挡区域。处理单元，还被配置为在被遮挡区域发生变化的情况下，将人脸的擦除颜色填充至被遮挡区域中的当前未被遮挡区域。

结合第二方面，在另一种可能的设计方式中，处理单元，具体被配置为确定人脸图像的掩码图。处理单元，还被配置为根据掩码图，确定人脸的第一颜色。处理单元，还被配置为基于第一颜色与预设皮肤颜色确定人脸的擦除颜色。

结合第二方面，在另一种可能的设计方式中，处理单元，具体被配置为根据掩码图，确定人脸图像中的人脸。处理单元，还被配置为在人脸图像中除人脸外的其他区域中填充预设皮肤颜色。处理单元，还被配置为确定人脸图像中与预设皮肤颜色不同颜色的目标像素点。处理单元，还被配置为加权平均处理目标像素点的颜色，确定人脸的第一颜色。

结合第二方面，在另一种可能的设计方式中，处理单元，具体被配置为加权平均处理第一颜色与预设皮肤颜色，得到人脸的擦除颜色。

结合第二方面，在另一种可能的设计方式中，处理单元，具体被配置为基于第一颜色与预设皮肤颜色，确定第二颜色。处理单元，还被配置为获取人脸图像的上一帧人脸的擦除颜色。处理单元，还被配置为对第二颜色以及上一帧人脸的擦除颜色进行平滑处理，得到人脸的擦除颜色。

结合第二方面，在另一种可能的设计方式中，处理单元，具体被配置为当检测到遮挡物的位置发生变化时，确定被遮挡区域发生变化。

根据本公开实施例的第三方面，提供一种人脸特效的处理装置，其特征在于，包括：处理单元，具体被配置为实时监测遮挡物。处理单元，还被配置为确定遮挡物位置是否发生变化。处理单元，还被配置为基于遮挡物位置变化，确定第二遮挡区域。处理单元，还被配置为基于第二遮挡区域和被遮挡区域，确定当前未被遮挡区域。处理单元，还被配置为将人脸的擦除颜色填充至当前未被遮挡区域。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，包括指令，当指令由处理器执行时，使得处理器执行如上述第一方面所提供的人脸特效的处理方法。

本公开所提供的上述技术方案中，当接收到用户的人脸特效操作时，进入该特效拍摄模式；根据画面中显示的人脸图像中人脸的遮挡物以及该遮挡物所遮挡的人脸中区域的变化情况，确定用户想要擦除的区域；之后，通过人脸的擦除颜色填充用户想要擦除的区域；以获取一种用于对五官进行擦除的人脸特效，使用户在视觉上产生直观可信的五官消除效果，增加了人脸特效的多样性，提高了用户在使用人脸特效的体验感。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1为本公开实施例提供的一种网络结构示意图；

图2为本公开实施例提供的一种人脸特效的处理方法的流程示意图之一；

图3为本公开实施例提供的一种显示设备的显示界面的示意图；

图4A为本公开实施例提供的一种擦除操作的动作示意图之一；

图4B为本公开实施例提供的一种擦除操作的动作示意图之二；

图4C为本公开实施例提供的一种擦除操作的动作示意图之三；

图5为本公开实施例提供的一种人脸特效的处理方法的流程示意图之二；

图6为本公开实施例提供的一种人脸特效的处理方法的流程示意图之三；

图7为本公开实施例提供的一种人脸特效的处理方法的流程示意图之四；

图8为本公开实施例提供的一种人脸特效的处理方法的流程示意图之五；

图9为本公开实施例提供的一种人脸特效的处理装置的结构示意图之一；

图10为本公开实施例提供的一种人脸特效的处理装置的结构示意图之二。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

另外，在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本公开实施例的描述中，“多个”是指两个或多于两个。

在对本公开实施例进行详细地解释说明之前，先对本公开实施例涉及到的一些名词进行解释。

1、遮挡掩码(mask)图

遮挡掩图码用于区分人脸图像中未被遮挡物遮挡的人脸和被遮挡物遮挡的不人脸。作为一个示例，遮挡掩码图中取值为第一数值的像素位置指示了人脸，取值为第二数值的像素位置指示了不人脸。

其中，对人脸进行遮挡的遮挡物既可以为其他人体部位，比如手部或手臂，也可以为物体，本公开实施例对此不进行具体限定。

示例性地，遮挡掩码图可以为二进制掩码，比如，当人脸图像中某一像素属于未被遮挡物遮挡的人脸时在遮挡掩码图中相应位置标识为1，否则标识为0。即第一数值的取值为1，第二数值的取值为0。换一种表达方式，遮挡掩码图中数值为1的区域指示了人脸图像的人脸，数值为0的区域指示了人脸图像的不人脸。

2、人脸检测(face detection)

人脸监测是指给定一个图像，找出该图像中的所有人脸位置。通常会用一个矩形框将人脸框起来，即输入是一个图像，输出是若干个包含人脸的矩形框和矩形框位置。

3、人脸关键点检测

人脸关键点检测也称为人脸关键定位或者人脸对齐，其是指给定一个人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；其中，通常将关键点的集合称作形状(shape)，形状包含了关键点的位置信息，而这个位置信息一般可以用两种形式表示，第一种是关键点相对于整张图像的位置，第二种是关键点相对于人脸矩形框的位置，本公开实施例对此不进行具体限定。

4、图像语义分割

在图像领域，语义指的是图像的内容，对图片意思的理解；分割的意思是从像素的角度分割出图像中的不同对象，即图像语义分割是输出图像中每个像素的类别决策。换一种表达方式，图像语义分割是将每个像素划分为几个可能的类别之一。

下面对本公开实施例提供的一种人脸特效的处理方法的应用场景进行介绍。

参考图1，其示出可能应用于本公开实施例所提供技术方案的实施环境示意图。如图1所示，该实施环境可以包括服务器101和多个人脸特效的处理装置；其中该人脸特效的处理装置可以是具备显示功能的显示设备(如图1所示的显示设备102a、显示设备102b、显示设备102c 和显示设备102d)，多个显示设备具体可以通过有线网络或者无线网络与服务器101连接，其中多个显示设备具备拍摄功能。

示例性的，本公开实施例中的显示设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality， AR)\虚拟现实(virtual reality，VR)设备等可以安装即时通讯应用，并使用即时通讯应用通信的设备，本公开实施例对该显示设备的具体形态不作特殊限制。

其中，服务器101可以是向显示设备发送数据或者接收显示设备发送的数据的服务器。例如，服务器101将任务数据通过有线或者无线的方式发送至多个显示设备，以及多个显示设备执行任务数据对应的任务。如，服务器将某软件的安装文件发送至显示设备102a，显示设备 102a接收该安装文件，并执行安装该软件的任务。再例如，显示设备将任务数据发送至服务器，服务器执行任务数据对应的任务。如，显示设备将某业务的更新文件发送至服务器，服务器接收更新文件后执行更新服务器中程序的任务。

另外，本公开实施例提供的技术方案可应用在交互场景下，比如视频通话过程中、视频直播过程中等；也可应用在非交互场景下，比如应用在用户个人进行图像或视频拍摄的过程中，或者还可以针对用户本地存储的人脸图像或视频进行图像处理，本公开实施例对此不进行具体限定。

下面，对本公开的技术原理进行介绍：

在拍摄过程中，为了提升用户体验，在面部五官中添加比如鬼脸或者卡通轮廓等特效，增加了用户对脸部五官体验的多样性，使面部拍摄有更多的可玩性。

因此，本公开为了提升用户体验，提供一种人脸特效的处理方法，增加用户对脸部五官体验的多样性，使面部拍摄五官有更多的可玩性，添加了让五官消失的虚拟特效，本公开的技术原理为：在用户使用五官擦除特效时，人脸特效的处理装置接收到用户的人脸特效操作时，进入该特效拍摄模式；根据画面中显示的人脸图像中人脸的遮挡物以及该遮挡物所遮挡的人脸中区域的变化情况，确定用户想要擦除的区域；之后，通过人脸的擦除颜色填充用户想要擦除的区域；以获取一种用于对五官进行擦除的人脸特效，使用户在视觉上产生直观可信的五官消除效果，增加了人脸特效的多样性，提高了用户在使用人脸特效的体验感。

以下结合具体实施例，对本公开实施例所提供的人脸特效的处理方法进行详细介绍：

如图2所示，当将本公开所提供的技术方案应用于显示设备时，该显示设备可以通过执行下述S201-S204，以达到本公开的技术目的。

S201、显示设备响应于接收到的人脸特效操作，进入特效拍摄模式。

在一种实现方式中，当显示设备进入特效拍摄模式后，显示设备除了显示人脸图像外，在其显示界面上还可以显示有多个功能控件，以便用户通过对多个功能控件进行相应的触控操作，实现相应的控制功能。

示例性的，图3为本公开提供的一种显示设备的显示界面的示意图。其中，在显示界面300包括有用于显示人脸图像的第一显示区域301、显示有多个功能控件的第二显示区域302。

另外，显示设备获取到的一张人脸图像可以为视频通话或视频直播过程中的一个或多个视频帧，也可以为用户当前拍摄或预先拍摄的一张人脸图像，还可以为预先拍摄的一段视频中的一个或多个视频帧，本公开实施例对此不进行具体限定。本实施例以一张图像或者视频中的两个视频帧为例说明了整个处理流程，可以扩展的是，该图像处理流程可以适用到多张图像或视频中的各个视频帧。

S202、显示设备获取人脸图像，确定人脸图像中人脸的擦除颜色。

可选的，确定人脸图像中人脸的擦除颜色，具体包括：确定人脸图像的掩码图；并根据掩码图，确定人脸的第一颜色；之后，基于第一颜色与预设皮肤颜色确定人脸的擦除颜色。

其中，根据掩码图，确定人脸的第一颜色，具体包括：根据掩码图，确定人脸图像中的人脸；在人脸图像中除人脸外的其他区域中填充预设皮肤颜色；确定人脸图像中与预设皮肤颜色不同颜色的目标像素点；加权平均处理目标像素点的颜色，确定人脸的第一颜色。

例如，亚洲人面部的肤色基本为藕色，则可以RGB的数值为(0.97,0.81,0.7)的颜色作为预设皮肤颜色。

示例性的，掩码图可以用于区分人脸图像中的人脸和其他区域。

可选的，可以通过语义分割的方式获取人脸图像的掩码图；例如，当获取的人脸图像是被遮挡物遮挡了部分人脸；这时，上述的掩码图即为遮挡掩码图，在对人脸图像进行图像语义分割后，给出的分割结果中区分了未被遮挡物遮挡的人脸和其他区域；其中，其他区域包括被遮挡物遮挡的人脸。而被遮挡的人脸上，即被覆盖了遮挡物。另外，当获取的人脸图像未被遮挡物遮挡，在对人脸图像进行图像语义分割后，给出的分割结果中人脸和其他区域。示例性的，人脸可以包括眉毛及眉毛以下脸部轮廓以内的区域。在该种实施方式中，语义分割通常对边缘较为敏感，因此利用语义分割能够得到更为准确的识别人脸图像分割边缘，确保了分割效果，提高分割的准确性。

可选的，基于人脸关键点监测技术来获取掩码图，通过对获取人脸关键点进行依次连线，以确定人脸图像的掩码图。

具体的，针对人脸关键点检测，人脸关键点包括但不限于：眉毛、眼睛、鼻子、嘴巴、人脸轮廓等。在一种可能的实现方式中，可根据多个人脸图像以及该多个人脸图像中检测出的人脸关键点坐标，进行模型训练，得到具有人脸关键点检测能力的网络模型。后续过程中，要检测某一个图像中的人脸关键点时，将该图像输入到该网络模型中，基于该网络模型对图像进行人脸关键点检测，从而确定该图像中的人脸关键点坐标。在该种实施方式中，基于人脸关键点检测技术对人脸图像进行分割，在用于检测人脸关键点的网络模型的训练过程中，添加对每个关键点是否被遮挡进行判断的步骤，使得基于人脸关键点检测技术不仅能够得出人脸关键点的位置信息，还能够得到每个人脸关键点是否被遮挡的信息。

在一种可能的实现方式中，掩码图中取值为第一数值的像素位置指示了上述人脸，取值为第二数值的像素位置指示了上述其他区域。

示例性地，掩码图可以为二进制掩码，比如，当人脸图像中某一像素属于未被遮挡的人脸时在遮挡掩码图中相应位置置为1，否则，当人脸图像中某一像素属于其他区域时在掩码图中相应位置置为0。即第一数值的取值可以为1，第二数值的取值可以为0。换一种表达方式，掩码图中数值为1的区域指示了人脸图像的人脸，数值为0的区域指示了其他区域。

在本公开实施例中，会基于预先训练好的图像语义分割模型对人脸图像进行语义分割处理，进而得到上述人脸和上述的其他区域。而图像语义分割模型通常对边缘较为敏感，因此利用图像语义分割模型能够得到更为准确的分割边缘，确保了分割效果。

在一种可能的实现方式中，图像语义分割模型的训练过程包括但不限于：

步骤a、获取训练样本图像和对训练样本图像的标注分割结果。

其中，训练样本图像中包括的大量人脸区域被比如手或物体等遮挡物遮挡的图像，以及不被任何物体遮挡的图像，以及对这些训练样本图像进行人工标注的标注分割结果。示例性地，标注分割结果中由人工给出了各个训练样本图像中未被遮挡的人脸和其他区域，当训练样本图像包括人脸区域被比如手或物体等遮挡物遮挡时，上述的其他区域包括部分人脸。

步骤b、将训练样本图像输入至深度学习模型中；基于目标损失函数，确定深度学习模型输出的对训练样本图像的预测分割结果与标注分割结果是否匹配。

作为一个示例，上述目标损失函数可为交叉熵损失函数，深度学习模型可为卷积神经网络，比如全卷积神经网络，本公开实施例对此不进行具体限定。

步骤c、当预测分割结果与标注分割结果不匹配时，反复循环地迭代更新深度学习模型的网络参数，直至模型收敛，得到图像语义分割模型。

可选的，显示设备根据掩码图和预设的降采样算法，确定人脸图像中与预设皮肤颜色不同颜色的目标像素点。

在一种实现方式中，人脸图像的分辨率可以是大于第一分辨率的任意值。对人脸图像进行降采样，即从人脸图像的信息中选择部分像素点对应的数据信息作为有用信息，同时将其余部分像素点对应的数据信息过滤掉，从而降低原始图像信息的分辨率。例如，原始图像信息的分辨率为3840*2160，经降采样后得到的人脸的分辨率，即第一分辨率，2560*1440。

在一种实现方式中，可以采用下述实现方式基于第一颜色与预设皮肤颜色确定人脸的擦除颜色。

方式一：通过加权平均处理第一颜色与预设皮肤颜色，得到人脸的擦除颜色。

方式二：基于第一颜色与预设皮肤颜色，确定第二颜色；之后，获取人脸图像的上一帧人脸的擦除颜色；最后，对第二颜色以及上一帧人脸的擦除颜色进行平滑处理，得到人脸的擦除颜色。

需要说明的是，考虑到，当用户处在动态时，由于光线或者角度等问题，导致可能获取的人脸的擦除颜色与人脸本身的皮肤颜色差距过大，因此可采用方式二来获取人脸的擦除颜色。这样获得的人脸的擦出颜色更加的贴近与人脸本身的皮肤颜色。

S203、显示设备识别人脸中的遮挡物，确定人脸中的被遮挡区域；

可选的，识别人脸中的遮挡物可以包括以下的具体实现方式。

方式一，显示设备通过检测到用户触摸显示屏的操作形成的遮挡区域对应生成的虚拟遮挡物。

方式二，显示设备通过摄像头等具备可视功能的装置隔空检测到的物品或者用户身体的某一部分。

例如，当为方式二中所提及的遮挡物时，遮挡物可以是身体的某一部分，如手，也可以是其他物体物品。如水杯、手机等；本公开对遮挡物的具体形式不作任何限制。遮挡物的位置可以是如图4A所示的手贴于脸部，也可以是如图4B所示的通过手进行隔空遮挡。另外，当显示设备中的屏幕具备触摸功能时，用户还可以通过如图4C所示的，在屏幕上进行触摸，以确定人脸中被遮挡的区域。

需要说明的是，识别人脸中的遮挡物还可能是其他实现方式，本公开实施例对此不作具体限定。

S204、显示设备在被遮挡区域发生变化的情况下，将人脸的擦除颜色填充至被遮挡区域中的当前未被遮挡区域。

需要说明的是，识别被遮挡区域中的当前未被遮挡区域的也可以采用上述的人脸关键点监测技术或者通过语义分割的方式来确定目标人脸图像，具体实现方式此处不再赘述。

可选的，将人脸的擦除颜色填充至被遮挡区域中的当前未被遮挡区域，包括：实时监测遮挡物，以确定遮挡物位置是否发生变化。之后，基于遮挡物位置变化，确定第二遮挡区域。随之，基于该第二遮挡区域和被遮挡区域，确定当前未被遮挡区域；并将人脸的擦除颜色填充至当前未被遮挡区域。

需要说明的是，根据检测到遮挡物的遮挡人脸的部分或全部区域，得到被遮挡区域；之后，又检测到该被遮挡区域中的部分或全部区域未被遮挡，以确定当前未被遮挡区域。

在步骤S204之后，该方法还可以包括：显示设备显示目标人脸图像。

需要说明的是，无论采用何种方式进行对人脸进行遮挡，本方法都可精准的识别出被遮挡的五官部位，对其进行擦除，并显示。

示例性的，用户首先可以通过显示设备中显示人脸区域没有任何遮挡物的人脸图像，显示设备采集该用户的人脸。而后，当用户选择用手部遮挡眼睛以下部分五官的人脸区域时，显示设备识别用户的手部所遮挡的人脸区域，以确定被遮挡区域。之后，当用户用手部划过该被遮挡区域后，显示设备识别手在人脸中划过的被遮挡区域中的部分或全部区域，确定当前未被遮挡区域，并将人脸的擦除颜色填充中该当前未被遮挡区域。

本公开所提供的上述技术方案中，当接收到用户的人脸特效操作时，进入该特效拍摄模式；根据画面中显示的人脸图像中人脸的遮挡物以及该遮挡物所遮挡的人脸中区域的变化情况，确定用户想要擦除的区域；之后，通过人脸的擦除颜色填充用户想要擦除的区域；以获取一种用于对五官进行擦除的人脸特效，使用户在视觉上产生直观可信的五官消除效果，增加了人脸特效的多样性，提高了用户在使用人脸特效的体验感。另外，对获取的人脸图像的掩码图和预设的降采样算法，确定人脸图像中的人脸的颜色，由于考虑到如果人脸的颜色作为人脸擦除颜色，可能会与用户本身的肤色存在明显差异，因此，通过该人脸的颜色和预设皮肤颜色，来确定人脸擦除颜色。有效的解决现有技术中将关键点位置的平均颜色作为最终五官擦除后的面部皮肤颜色，造成的肤色偏差较大的问题，使得人脸擦除颜色更加贴近用户本身的肤色，整体特效的添加效果更佳逼真自然。此外，通过掩码图和预设的降采样算法，确定人脸图像中的人脸的颜色，能够减少显示设备内部的计算强度，适用性更广，显著提升用户体验。

在一种可实施的方式中，结合图2，S203的具体实现方式如图5所示的S501-S503。

S501、显示设备确定人脸图像的掩码图。

S502、显示设备根据掩码图，确定人脸的第一颜色。

S503、显示设备基于第一颜色与预设皮肤颜色确定人脸的擦除颜色。

需要说明的是，针对步骤S501-S503其他具体描述参考上述的步骤S203的描述，此处不再赘述。

在一种可实施的方式中，结合图2，S502的具体实现方式如图6所示的S601a-S604a。

S601a、显示设备根据掩码图，确定人脸图像中的所述人脸。

S602a、显示设备在人脸图像中除人脸外的其他区域中填充预设皮肤颜色。

例如，亚洲人的皮肤颜色多为藕色，所以预设皮肤颜色选取与藕色差别较大的颜色作为区别，如黑色。

S603a、确定人脸图像中与预设皮肤颜色不同颜色的目标像素点。

在一种实现方式中，显示设备首先采用预设的降采样算法，确定第一图像中的至少一个像素；然后，从至少一个像素中，确定出目标像素点。其中，目标像素的颜色不是预设皮肤颜色；第一图像为在人脸图像中除人脸外的其他区域中填充预设皮肤颜色的图像。

需要说明的是，采用预设的降采样算法是对第一图像中提取预设数量的每个像素点的信息，包括颜色和位置。降采样即是采样点数减少。例如，对于一幅N*M的图像来说，如果降采样系数为k，则即是在原图中每行每列每隔k个点取一个点组成一幅图像。降采样很容易实现。对于一幅图像尺寸为M*N，对起进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率图像。

另外，降采样算法可以为最近邻插值、双线性插值等算法，具体不做限定。示例性的，降采样倍数为n(n大于1)，n越大则降采样倍数越大，得到的降采样图像就越小，n可根据实际需要设置。例如，对于第一图像，若其像素宽度为x，像素高度为y，则进行n倍降采样后得到的第一降采样图像宽度为x/n，高度为y/n。

S604a、显示设备加权平均处理目标像素点的颜色，确定人脸的第一颜色。

示例性的，预设皮肤颜色以黑色为例，假设通过预设的降采样方式总共获取的了4*7＝28 个像素对应的颜色，绘制上述28个像素对应的颜色的色块，形成区域图像。然后将区域图像中的黑色全部剔除后，剩下的色块的颜色即为目标像素点的颜色。

相比于现有技术中，本公开通过提取脸图像中与预设皮肤颜色不同颜色的目标像素点，加权平均处理该目标像素点的颜色，确定的人脸的第一颜色，能够提高图像数据处理速度，并降低了图像处理过程的能耗。

针对步骤S603，参照图6的步骤S601b，具体如下：

S601b、显示设备加权平均处理第一颜色与预设皮肤颜色，得到人脸的擦除颜色。

例如，预设皮肤颜色可以是红绿蓝RGB(red greenblue)颜色标准中取值为(0.97,0.81,0.7) 的颜色。

本方法通过预设皮肤颜色与人脸图像的第一颜色与共同确定的人脸的颜色，使得五官擦除颜色更加贴合用户本身的皮肤颜色。另外，采用加权平均算法在计算人脸的颜色时，能够在保证准确率的前提下，明显减小了显示设备的计算量，多数的显示设备都能够承受，进而提高了本方法的适用性。

在一种可实现的方式中，考虑到用户在拍摄视频的过程中，由于用户的状态一直处于动态中的，显示设备显示的人脸图像，会发生实时变化，皮肤颜色也可能因为角度或光线的问题导致不同，而如果变化过于迅速，则会给人一种擦除区域闪动的感觉，造成目标人脸图像上存在的噪声或者失真的问题，在这种情况下，本公开中的S503的另一种具体实现方式包括如图7 所示的S701-S703。

S701、显示设备基于第一颜色与预设皮肤颜色，确定第二颜色。

示例性的，在用户进行视频拍摄过程中的任意抓取其中一帧的人脸图像，根据人脸图像确定的第一颜色和预设皮肤颜色，确定第二颜色。需要说明的是，上述的第二颜色为在当前帧对应的人脸的擦除颜色。

S702、显示设备获取人脸图像的上一帧人脸的擦除颜色。

S703、显示设备对第二颜色以及上一帧人脸的擦除颜色进行平滑处理，得到人脸的擦除颜色。

当然，上述只是提供了其中一种实现方式，还可以随机抓取其中两帧或多帧的人脸图像，分别根据抓取的每帧图像确定每帧的人脸的擦除颜色，然后对抓取的所有帧的人脸的擦除颜色进行平滑处理，以确定人脸擦除颜色。示例性的，本公开采用的平滑处理的相关算法可以包括但不限于以下的任意一项：均值滤波(simple blurring)、中值滤波(median blurring)、高斯滤波(gaussian blurring)、双边滤波(bilateral blurring)；本公开不对平滑处理的算法作任何限定。

本公开采用抓取两帧或多帧的人脸图像，并对所有人脸图像求取的人脸的擦除颜色进行平滑处理获得的人脸擦除颜色更加贴近用户的真实肤色，并且在用户处于晃动的过程中，减少目标人脸图像上存在的噪声或者失真。

本公开所提供的上述技术方案中，考虑到用户在拍摄视频的过程中，由于用户的状态一直处于动态中的，显示设备显示的人脸图像，会发生实时变化，皮肤颜色也可能因为角度或光线的问题导致不同，而如果变化过于迅速，则会给人一种擦除区域闪动的感觉，造成目标人脸图像上存在的噪声或者失真的问题；本公开通过对获取的至少两帧人脸的擦除颜色进行平滑处理，以解决上述问题。

在一种可实现的方式中，S204中填充至被遮挡区域中的当前未被遮挡区域的另一种具体实现方式包括如图8所示的S801-S805。

S801、显示设备实时监测遮挡物。

S802、显示设备确定遮挡物位置是否发生变化。

S803、显示设备基于遮挡物位置变化，确定第二遮挡区域。

S804、显示设备基于第二遮挡区域和被遮挡区域，确定当前未被遮挡区域。

S805、显示设备将所述人脸的擦除颜色填充至当前未被遮挡区域。

通过上述步骤，本公开实施例能够通过先后两次被遮挡区域与第二遮挡区域的区别，来确定人脸的擦除颜色需要填充的区域。

参照图9，为本公开提供的一种人脸特效的处理装置的结构示意图。其中，该人脸特效的处理装置90包括：获取单元901以及处理单元902。其中：

处理单元902，被配置为响应于接收到的人脸特效操作，进入特效拍摄模式。例如，结合图2，该处理单元902可以用于执行S201。

获取单元901，被配置为在处理单元902进入特效拍摄模式时，获取人脸图像。例如，结合图2，该获取单元901可以用于执行S202。

处理单元902，被配置为确定获取单元901获取的人脸图像中人脸的擦除颜色。例如，结合图2，该处理单元902可以用于执行S202。

处理单元902，还被配置为识别人脸中的遮挡物，确定人脸中的被遮挡区域。例如，结合图2，该处理单元902可以用于执行S203。

处理单元902，还被配置为在被遮挡区域发生变化的情况下，将人脸的擦除颜色填充至被遮挡区域中的当前未被遮挡区域。例如，结合图2，该处理单元902可以用于执行S204。

在一种示例性的方案中，处理单元902，具体被配置为确定人脸图像的掩码图。例如，结合图5，该处理单元902可以用于执行S501。

处理单元902，还被配置为根据掩码图，确定人脸的第一颜色。例如，结合图5，该处理单元902可以用于执行S502。

处理单元902，还被配置为基于第一颜色与预设皮肤颜色确定人脸的擦除颜色。例如，结合图5，该处理单元902可以用于执行S503。

在一种示例性的方案中，处理单元902，具体被配置为根据掩码图，确定人脸图像中的人脸。例如，结合图6，该处理单元902可以用于执行S601a。

处理单元902，还被配置为在人脸图像中除人脸外的其他区域中填充预设皮肤颜色。例如，结合图6，该处理单元902可以用于执行S602a。

处理单元902，还被配置为确定人脸图像中与预设皮肤颜色不同颜色的目标像素点。例如，结合图6，该处理单元902可以用于执行S603a。

处理单元902，还被配置为加权平均处理目标像素点的颜色，确定人脸的第一颜色。例如，结合图6，该处理单元902可以用于执行S604a。

在一种示例性的方案中，处理单元902，具体被配置为加权平均处理第一颜色与预设皮肤颜色，得到人脸的擦除颜色。例如，结合图6，该处理单元902可以用于执行S601b。

在一种示例性的方案中，处理单元902，具体被配置为基于第一颜色与预设皮肤颜色，确定第二颜色。例如，结合图7，该处理单元902可以用于执行S701。

处理单元902，还被配置为获取人脸图像的上一帧人脸的擦除颜色。例如，结合图7，该处理单元902可以用于执行S702。

处理单元902，还被配置为对第二颜色以及上一帧人脸的擦除颜色进行平滑处理，得到人脸的擦除颜色。例如，结合图7，该处理单元902可以用于执行S703。

在一种示例性的方案中，处理单元902，具体被配置为实时监测遮挡物。例如，结合图8，该处理单元902可以用于执行S801。

处理单元902，还被配置为确定遮挡物位置是否发生变化。例如，结合图8，该处理单元 902可以用于执行S802。

处理单元902，还被配置为基于遮挡物位置变化，确定第二遮挡区域。例如，结合图8，该处理单元902可以用于执行S803。

处理单元902，还被配置为基于第二遮挡区域和被遮挡区域，确定当前未被遮挡区域。例如，结合图8，该处理单元902可以用于执行S804。

处理单元902，还被配置为将人脸的擦除颜色填充至当前未被遮挡区域。例如，结合图8，该处理单元902可以用于执行S805。

当然，本发明实施例提供的人脸特效的处理装置90包括但不限于上述单元，例如人脸特效的处理装置90还可以包括发送单元903和存储单元904。发送单元903可以用于将人脸特效的处理装置90中的相关数据发送至其他设备(如就将数据发送至服务器91)，实现与其他设备之间的数据交互。存储单元904可以用于存储该人脸特效的处理装置90的程序代码，还可以用于存储人脸特效的处理装置90在运行过程中生成的数据，如写请求中的数据等。

图10是本公开提供的另一种人脸特效的处理装置的结构示意图。如图10，该人脸特效的处理装置90可以包括至少一个处理器1001以及用于存储处理器可执行指令的存储器1003。其中，处理器1001被配置为执行存储器1003中的指令，以实现上述实施例中的人脸特效的处理方法。

示例性的，在图1所示的实施环境中，人脸特效的处理装置90可以图1所示多个人脸特效的处理装置中的一个。

另外，人脸特效的处理装置90还可以包括通信总线1002以及至少一个通信接口1004。

处理器1001可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。

通信总线1002可包括一通路，在上述组件之间传送信息。

通信接口1004，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN) 等。

存储器1003可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory， CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。

其中，存储器1003用于存储执行本公开方案的指令，并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的指令，从而实现本公开方法中的功能。

在具体实现中，作为一种实施例，处理器1001可以包括一个或多个CPU，例如图10中的CPU0和CPU1。

在具体实现中，作为一种实施例，人脸特效的处理装置90可以包括多个处理器，例如图 10中的处理器1001和处理器1007。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，人脸特效的处理装置90还可以包括输出设备1005和输入设备1006。输出设备1005和处理器1001通信，可以以多种方式来显示信息。例如，输出设备1005可以是液晶显示器(liquid crystal display，LCD),发光二极管(lightemitting diode， LED)人脸特效的处理装置，阴极射线管(cathode ray tube，CRT)人脸特效的处理装置，或投影仪(projector)等。输入设备1006和处理器1001通信，可以以多种方式接受用户的输入。例如，输入设备1006可以是鼠标、键盘、触摸屏设备或传感设备等。

本领域技术人员可以理解，图10中示出的结构并不构成对人脸特效的处理装置90的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

另外，本公开还提供一种计算机可读存储介质，包括指令，当指令由处理器执行时，使得处理器执行如上述实施例所提供的人脸特效的处理方法。

另外，本公开还提供一种计算机程序产品，包括指令，当指令由处理器执行时，使得处理器执行如上述实施例所提供的人脸特效的处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种人脸特效的处理方法，其特征在于，包括：

响应于接收到的人脸特效操作，进入特效拍摄模式；

获取人脸图像，并确定所述人脸图像中人脸的第一颜色；

基于所述第一颜色与预设皮肤颜色，确定所述人脸图像的当前帧人脸的擦除颜色；

获取所述人脸图像的上一帧人脸的擦除颜色，并对所述当前帧人脸的擦除颜色以及所述上一帧人脸的擦除颜色进行平滑处理，得到处理后的当前帧人脸的擦除颜色；

识别人脸中的遮挡物，确定所述人脸中的被遮挡区域；

在所述被遮挡区域发生变化的情况下，将所述处理后的当前帧人脸的擦除颜色填充至所述被遮挡区域中的当前未被遮挡区域。

2.根据权利要求1所述的处理方法，其特征在于，所述确定所述人脸图像中人脸的第一颜色，包括：

确定所述人脸图像的掩码图；

根据所述掩码图，确定所述人脸的第一颜色。

3.根据权利要求2所述的处理方法，其特征在于，所述根据所述掩码图，确定所述人脸的第一颜色，包括：

根据所述掩码图，确定所述人脸图像中的所述人脸；

在所述人脸图像中除所述人脸外的其他区域中填充预设皮肤颜色；

确定所述人脸图像中与所述预设皮肤颜色不同颜色的目标像素点；

加权平均处理所述目标像素点的颜色，确定所述人脸的第一颜色。

4.根据权利要求1所述的处理方法，其特征在于，所述将所述处理后的当前帧人脸的擦除颜色填充至所述被遮挡区域中的当前未被遮挡区域，包括：

实时监测所述遮挡物；

确定所述遮挡物位置是否发生变化；

基于所述遮挡物位置变化，确定第二遮挡区域；

基于第二遮挡区域和被遮挡区域，确定所述当前未被遮挡区域；

将所述处理后的当前帧人脸的擦除颜色填充至所述当前未被遮挡区域。

5.一种人脸特效的处理装置，其特征在于，包括：

处理单元，被配置为响应于接收到的人脸特效操作，进入特效拍摄模式；

获取单元，被配置为在所述处理单元进入特效拍摄模式时，获取人脸图像；

所述处理单元，被配置为确定所述获取单元获取的所述人脸图像中人脸的第一颜色；

所述处理单元，还被配置为基于所述第一颜色与预设皮肤颜色，确定所述人脸图像的当前帧人脸的擦除颜色；

所述获取单元，还被配置为获取所述人脸图像的上一帧人脸的擦除颜色；

所述处理单元，还被配置为对所述当前帧人脸的擦除颜色以及所述上一帧人脸的擦除颜色进行平滑处理，得到处理后的当前帧人脸的擦除颜色；

所述处理单元，还被配置为识别人脸中的遮挡物，确定所述人脸中的被遮挡区域；

所述处理单元，还被配置为在所述被遮挡区域发生变化的情况下，将所述处理后的当前帧人脸的擦除颜色填充至所述被遮挡区域中的当前未被遮挡区域。

6.根据权利要求5所述的处理装置，其特征在于，包括：

所述处理单元，具体被配置为确定所述人脸图像的掩码图；

所述处理单元，还被配置为根据所述掩码图，确定所述人脸的第一颜色。

7.根据权利要求6所述的处理装置，其特征在于，包括：

所述处理单元，具体被配置为根据所述掩码图，确定所述人脸图像中的所述人脸；

所述处理单元，还被配置为在所述人脸图像中除所述人脸外的其他区域中填充预设皮肤颜色；

所述处理单元，还被配置为确定所述人脸图像中与所述预设皮肤颜色不同颜色的目标像素点；

所述处理单元，还被配置为加权平均处理所述目标像素点的颜色，确定所述人脸的第一颜色。

8.根据权利要求5所述的处理装置，其特征在于，包括：

所述处理单元，具体被配置为实时监测所述遮挡物；

所述处理单元，还被配置为确定所述遮挡物位置是否发生变化；

所述处理单元，还被配置为基于所述遮挡物位置变化，确定第二遮挡区域；

所述处理单元，还被配置为基于第二遮挡区域和被遮挡区域，确定所述当前未被遮挡区域；

所述处理单元，还被配置为将所述处理后的当前帧人脸的擦除颜色填充至所述当前未被遮挡区域。

9.一种人脸特效的处理装置，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1-4中任一项所述的人脸特效的处理方法。

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令由处理器执行时，使得所述处理器执行如权利要求1-4中任一项所述的人脸特效的处理方法。

Images