CN108830892A - 人脸图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本公开实施例提供一种人脸图像处理方法、装置、电子设备和计算机可读存储介质。其中所述人脸图像处理方法包括：获取待处理图像；检测待处理图像中是否有人脸图像；响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。本公开实施例通过采取该技术方案，可以在对图像进行处理之后加入图像深度信息，使图像具有立体感，简化了用户的操作。

Description

人脸图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种人脸图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，智能终端的应用范围得到了广泛的提高，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。

目前在采用智能终端进行拍照时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(Application，简称为：APP)来实现具有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的APP。智能终端的美颜功能通常包括肤色调整、磨皮、大眼和瘦脸等美颜处理效果，能对图像中已识别出的所有人脸进行相同程度的美颜处理。

发明内容

然而目前的美颜功能，一般是使用终端设备的图像传感器采集用户的人脸信息进行处理，人脸处于三维空间中，很多终端中的图像传感器没有深度传感功能，即使有深度传感功能，当用户对图像进行美颜处理之后，图像中深度信息也将丢失，导致得到的图像没有立体感。

因此，如果能提供一种复合的人脸图像处理方法，使用户在美颜的同时还能得到较为立体的图像，可以大大提高用户的体验。

有鉴于此，本公开实施例提供一种人脸图像处理方法，用以对将不同的美颜效果与深度信息相结合，得到立体化的美颜效果。

第一方面，本公开实施例提供一种人脸图像处理方法，包括：

获取待处理图像；检测待处理图像中是否有人脸图像；响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。

可选的，在对所述人脸图像进行第一处理之前，还包括：确定需要进行第一处理的人脸图像区域。

可选的，所述确定需要进行第一处理的人脸图像区域，包括：选择需要删除的人脸区域；删除所选择的人脸区域；将删除之后的剩余人脸区域作为需要进行第一处理的人脸图像区域。

可选的，所述对所述人脸图像进行第一处理，得到第一图像包括：对人脸图像进行低通滤波，得到人脸图像的低频分量；将人脸图像减去所述低频分量得到人脸图像的高频分量；将所述高频分量进行放大，得到第一图像。

可选的，所述的低通滤波包括：根据图像当前像素点的值与其周围相邻像素的值计算平均值，将所述平均值作为当前像素点的值。

可选的，所述的计算平均值为：计算平滑矩阵，将图像当前像素点的值与其周围相邻像素的值与平滑矩阵做卷积计算，得到平均值。

可选的，所述平滑矩阵为二维矩阵，所述二维矩阵中元素的值，按照从中心到外围递减的规律排列。

可选的，所述获取深度信息，将所述深度信息加入第一图像，得到处理后的图像包括：获取人脸图像的特征点；从预先设置的标准模板中获取所述人脸特征点的深度信息；将所述深度信息映射到人脸图像上对应的特征点上，得到处理后的图像。

可选的，所述从预先设置的标准模板中获取所述人脸特征点的深度信息包括：从预先设置的标准模板中确定第一标准模板，所述第一标准模板的特征点坐标与所述人脸图像的特征点坐标满足预定关系；根据所述第一标准模板中的特征点的深度信息确定所述人脸特征点的深度信息。

第二方面，本公开实施例提供一种人脸图像处理装置，包括：

图像获取模块，用于获取待处理图像；

检测模块，用于检测待处理图像中是否有人脸图像；

第一处理模块，用于响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；

深度模块，用于获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。

可选的，所述人脸图像处理装置还包括：确定模块，用于在对所述人脸图像进行第一处理之前，确定需要进行第一处理的人脸图像区域。

可选的，所述确定模块包括：删除区域选择模块，用于选择需要删除的人脸区域；删除模块，用于删除所选择的区域；确定子模块，用于将删除之后的剩余人脸区域确定为需要进行第一处理的人脸图像区域。

可选的，所述第一处理模块包括：低频分量模块，用于对人脸图像进行低通滤波，得到人脸图像的低频分量；高频分量模块，用于将人脸图像减去所述低频分量得到人脸图像的高频分量；放大模块，用于将所述高频分量进行放大，得到第一图像。

可选的，所述低频分量模块包括：平均值计算模块，用于根据图像当前像素点的值与其周围相邻像素的值计算平均值，将所述平均值作为当前像素点的值。

可选的，所述平均值计算模块包括：平滑矩阵计算模块，用于将图像当前像素点的值与其周围相邻像素的值与平滑矩阵做卷积计算，得到平均值。

可选的，所述平滑矩阵为二维矩阵，所述二维矩阵中元素的值，按照从中心到外围递减的规律排列。

可选的，所述深度模块包括：特征点获取模块，用于获取人脸图像的特征点；深度信息获取模块，用于从预先设置的标准模板中获取所述人脸特征点的深度信息；映射模块，用于将所述深度信息映射到人脸图像上对应的特征点上，得到处理后的图像。

可选的，所述深度信息获取模块包括：标准模板确定模块，用于从预先设置的标准模板中确定第一标准模板，所述第一标准模板的特征点坐标与所述人脸图像的特征点坐标满足预定关系；深度信息获取子模块，用于获取所述第一标准模板中的特征点的深度信息。

第三方面，本公开实施例提供一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面中的任一所述人脸图像处理方法。

第四方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面中的任一所述人脸图像处理方法。

本公开实施例提供一种人脸图像处理方法、装置、电子设备和计算机可读存储介质。其中该人脸图像处理方法包括：获取待处理图像；检测待处理图像中是否有人脸图像；响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。本公开实施例通过采取该技术方案，解决了现有技术中对图像进行处理之后图像信息缺失，失真的技术问题，可以在对图像进行处理之后加入图像深度信息，使图像具有立体感，简化了用户的操作。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的人脸图像处理方法实施例一的流程图。

图2为本公开实施例提供的人脸图像处理方法实施例二的流程图。

图3为图1所示实施例中步骤S104的一种可选实现方式的流程图。

图4为图1所示实施例中步骤S103的另一种可选实现方式的流程图。

图5为本公开实施例提供的人脸图像处理装置实施例一的结构示意图。

图6a为本公开实施例提供的人脸图像处理装置实施例二的结构示意图。

图6b为本公开实施例提供的人脸图像处理装置实施例二中的确定模块的结构示意图。

图6c为本公开实施例提供的人脸图像处理装置实施例二中的第一处理模块的结构示意图。

图6d为本公开实施例提供的人脸图像处理装置实施例二中的低频分量模块的结构示意图。

图6e为本公开实施例提供的人脸图像处理装置实施例二中的深度模块的结构示意图。

图7为图5所示实施例中深度模块的一种可选实施方式的结构示意图。

图8为图5所示实施例中第一处理模块的一种可选实施方式的结构示意图。

图9为根据本公开实施例提供的电子设备的结构示意图。

图10为根据本公开实施例提供的计算机可读存储介质的结构示意图。

图11为根据本公开实施例提供的的人脸图像处理终端的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/ 或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/ 或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

图1为本公开实施例提供的人脸图像处理方法实施例一的流程图，本实施例提供的该人脸图像处理方法可以由一人脸图像处理装置来执行，该人脸图像处理装置可以实现为软件，或者实现为软件和硬件的组合，该人脸图像处理装置可以集成设置在图像处理系统中的某设备中，比如图像处理服务器或者图像处理终端设备中。如图1所示，该方法包括如下步骤：

S101，获取待处理图像；

为了实现对不同图像的处理，所述待处理图像可以是图片或者视频，其可以包括任何信息，比如深度信息和纹理等等，所述待处理图像的获取方式可以是从网络中获取或者从本地图像传感器中获取，从网络中获取的一种典型的应用场景为监控，接收图像的终端可以将网络监控中的图像做处理；从本地图像传感器中获取的一种典型应用场景为自拍，用户通过手机前置摄像头对自己拍摄照片或者视频，手机可以对拍摄的照片或视频进行处理。

S102，检测待处理图像中是否有人脸图像；

检测待处理图像中是否有人脸图像，人脸检测是任意给定一个图像或者一组图像序列，采用一定策略对其进行搜索，以确定所有人脸的位置和区域的一个过程，从各种不同图像或图像序列中确定人脸是否存在，并确定人脸数量和空间分布的过程。通常人脸检测的方法可以分为4类：(1)基于知识的方法，它将典型的人脸形成规则库对人脸进行编码，通过面部特征之间的关系进行人脸定位; (2) 特征不变方法，该方法的目的是在姿态、视角或光照条件改变的情况下找到稳定的特征，然后使用这些特征确定人脸; (3) 模板匹配方法，存储几种标准的人脸模式，用来分别描述整个人脸和面部特征，然后计算输入图像和存储的模式间的相互关系并用于检测; (4) 基于外观的方法，与模板匹配方法相反，从训练图像集中进行学习从而获得模型，并将这些模型用于检测。在此使用第(4)种方法中的一个实现方式来说明人脸检测的过程：首先需要提取特征完成建模，本实施例使用Haar特征作为判断人脸的关键特征，Haar特征是一种简单的矩形特征，提取速度快，一般Haar特征的计算所使用的特征模板采用简单的矩形组合由两个或多个全等的矩形组成，其中特征模板内有黑色和白色两种矩形；之后，使用AdaBoost算法从大量的Haar特征中找到起关键作用的一部分特征，并用这些特征产生有效的分类器，通过构建出的分类器可以对图像中的人脸进行检测。本实施例中图像中的人脸可以是一个或多个。

可以理解的是，当图像中识别出多个人脸图像时，用户可以选择需要进行处理的一个人脸图像，也可以选择多个人脸图像做相同或者不同的处理。

可以理解的是，由于每种人脸检测算法各有优点，适应范围也不同，因此可以设置多个不同的检测算法，针对不同的环境自动切换不同的算法，比如在背景环境比较简单的图像中，可以使用检出率较差但是速度较快的算法；在背景环境比较复杂的图像中，可以使用检出率较高但是速度较慢的算法；对于同一图像，也可以使用多种算法多次检测以提高检出率。

S103，响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；

当检测到图像中有人脸图像时，对人脸图像进行第一处理得到第一图像。该第一处理可以是对图像的预处理或者带有特殊效果的处理。举例来说，所述第一处理可以包括对人脸进行抠图、模糊处理和锐化处理，以突出人脸上的优点并淡化缺点，达到美颜的效果，无论获取的图像是什么样的图像，此时得到的第一图像是不包含深度信息的一个二维的图像。

S104，获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。

在本公开实施例中，深度信息的获取有多种方式：（1）预置深度信息模板，所述模板是一个带有深度信息的标准图像，具体来说，可以是一个标准的人脸图像，其特征点中包含了该特征点的深度信息；（2）实时计算，通过多个角度的拍摄，计算出图像深度的近似值；（3）根据模型或者先验知识来估算深度值，比如通过神经网络求得总特征点的近似深度信息等等。所述深度信息可以从本地获取或者从服务器获取，估算过程和计算过程可以在本地进行也可以在云端进行。当获取到深度信息之后，将所述深度信息带入第一图像中的对应特征点中，得到带有深度信息的第一图像，也就是处理后的图像。

本实施例的核心思想是：当检测到图像中包含人脸图像时，对人脸图像进行一次图像处理，之后在处理过的图像中加入深度信息。具体地，可以将第一处理和加入深度信息的操作组合成一个特殊的滤镜或者贴纸，使用户方便的使用。经过上述人脸图像的处理之后，得到的图像不仅带有第一处理的效果，还带有深度信息，使人脸图像看起来更加真实、立体。

图2为本公开实施例提供的人脸图像处理方法实施例二的流程图，如图2所示，可以包括如下步骤：

S201，获取待处理图像；

S202，检测待处理图像中是否有人脸图像；

S203，确定需要进行第一处理的人脸图像区域；

在该实施例中，用户可以选择需要进行处理的图像区域，当检测到图像时，会检测到多个特征点，这些特征点将人脸图像区分为五官和人脸轮廓，用户可以选择需要处理的区域，此处的选择可以直接选择需要进行第一处理的区域，也可以通过抠图等方式选择抠图剩余的图像部分做第一处理。在该实施例中，选择抠图的方式选择需要进行第一处理的图像区域，举例来说，用户可以选择抠去鼻子部分不做处理，剩余图像部分做第一处理。需要注意的是，该步骤也可以省略直接对整个人脸图像进行第一处理，也可以选择整个人脸图像进行第一处理。

S204，对人脸图像进行低通滤波，得到人脸图像的低频分量；将人脸图像减去所述低频分量得到人脸图像的高频分量；将所述高频分量进行放大，得到第一图像；

在该实施例中，所述第一处理首先对图像进行低通滤波，低通滤波可以是计算像素的平均值，具体的：对图像中的每一像素点，计算该像素点与其周围相邻像素点的值的平均值，将所述平均值作为当前像素点的值；计算平均值时，可以是使用平滑矩阵，将图像当前像素点的值与其周围相邻像素的值与平滑矩阵做卷积计算，得到平均值，所述的平滑矩阵为二维矩阵，所述二维矩阵中的元素的值，按照从中心到外围递减的规律排列。需要说明的是，上述低通滤波的说明仅仅是示例，实际上任何低通滤波的方式均可以使用在本公开中，在此不做限制。

使用人脸图像减去通过上述低通滤波之后的图像，得到人脸图像的高频分量，需要注意的时，此处的高频分量不包括鼻子部分，鼻子部分用于已经在选择步骤中删除，没有参与低通滤波，因此鼻子是原图像。对高频分量进行放大，得到第一图像。所述放大的程度可以由用户自定义，例如可以使用滑动控件或者选择控件确定放大系数，经过上述第一处理，给人脸图像带来了磨皮和锐化的处理，使用户脸上的缺点被掩盖而优点被放大。但是此时的图像是二维的，没有立体感。

S205，获取第一图像中的人脸特征点；从预先设置的标准模板中获取所述特征点的深度信息；将所述深度信息映射到第一图像中对应的特征点上，得到处理后的图像。

得到第一图像之后，获取第一图像上的人脸特征点，所述特征点是根据预先设置好的算法得到的，从预先设置的标准模板中获取特征点的深度信息；所述标准模板包括一个标准人脸图像和人脸图像上的标准的特征点，每个特征点都包括了该特征点的深度信息，其中每个特征点都包括一个编号；第一图像的剖分方式与标准模板中的图像剖分方式一样，每个特征点在标准模板中都能找到对应的特征点；将标准模板中的特征点的深度信息映射到第一图像中对应的特征点上，得到处理后的图像。其中，所述标准模板可以有多个，所述多个标准模板可以是不同角度的人脸图像，以适应图像中不同角度的人脸，使深度信息更加准确；所述多个标准模板也可以是不同肤色或不同人种的标准模板，比如黑人和白人的深度信息一定是不同的，混用会引起效果不佳；所述多个标准模板也可以是人种和角度的混合模板。当有多个角度模板时，需要记录特征点的坐标，当第一图像中的特征点坐标与标准模板中的特征点坐标满足预定关系时，则获取该标准模板中的特征点的深度信息，此处的预定关系可以是差值在阈值内。

图3为本公开实施例提供的人脸图像处理方法中深度信息获取的一个实施例的流程图，该实施例中，利用双目立体视觉的原理获取图像的深度信息。双目立体视觉的基本原理是从两个视点观察同一景物，以获取在不同视角下的感知图像，然后通过三角测量原理计算图像像素间的位置偏差来获取景物的三维信息。如图3所示，可以包括如下步骤：

S301，从第一角度获取第一人脸图像；

S302，从第二角度获取第二人脸图像；

S303，使用所述第一人脸图像和所述第二人脸图像提取特征点；

S304，使用所述第一人脸图像和所述第二人脸图像计算得到所述特征点的深度信息。

计算位置偏差，首先要将第一角度中的图像的特征点与第二角度中的图像的特征点做匹配对应，之后才能计算特征点的位置偏差。在该实施例中使用SIFT算法与Harris算法结合来做特征点的匹配，其结合方式是使用Harris算法提取特征点取代SIFT算法极值点，具体的步骤如下：获取第一角度的人脸图像，检测Harris特征点，计算特征点主方向，生成第一角度SIFT描述子；获取第二角度的人脸图像，检测Harris特征点，计算特征点主方向，生成第二角度SIFT描述子；将两个描述子做比较，以确定两特征点是否匹配，当匹配时，可以计算出同一特征点在两个图像上的偏差，之后利用该偏差可以计算出该点的深度信息。

得到特征点的深度信息之后，将该深度信息映射到第一图像中对应的特征点上，得到处理后的图像。

在一个实施例中，为了第一人脸图像和第二人脸图像获取更加准确，可以在显示装置上显示一个角度轮廓，用户需要将脸放入轮廓中以获取一个角度的人脸图像，之后会显示另外一个角度轮廓，用户需要将脸放入轮廓中以获取另一个角度的人脸图像，以此获得的两个角度的图像更加符合预期，可以提高计算的准确度。在一个实施例中，显示装置上可以显示拍摄位置，比如在手机上显示一个光圈或者红点，用户需要保持脸部不动，并将该光圈或者红点移动到手机的中心，之后拍摄两个角度的图像，这样拍摄的图像参数比较固定，比如镜头离人脸的距离，左右平移的距离等，可以提高计算效率。

图4为本公开实施例提供的人脸图像处理方法中第一处理的另一个实施例的流程图，如图4所示，可以包括如下步骤：

S401，对人脸图像进行低通滤波，得到人脸图像的低频分量；

S402，对人脸图像进行高通滤波，得到人脸图像的高频分量；

S403，将所述低频分量乘以第一系数，得到第一低频分量；

S404, 将所述高频分量乘以第二系数，得到第一高频分量;

S405，将所述第一低频分量和第一高频分量相加得到第一图像。

在该实施例中，所述低通滤波可以使用前述实施例中的方式或者本领域中任意低通滤波方式，高通滤波方式可以使用本领域中任意一种高通滤波方式。该第一处理的实施例的核心思想是对低通滤波的结果和高通滤波的结果设置权重系数，之后将乘过系数的结果相加，用户可以通过第一系数和第二系数控制第一处理的结果。

在该实施例中，可以选择需要进行低通滤波或者高通滤波的图像区域，比如可以选择脸部轮廓区域进行高通滤波，选择鼻子、嘴巴和脸颊进行低通滤波，之后对高通分量部分乘一个小于1的系数，对低通分量部分乘一个大于1的系数；在一个实施例中，可以针对不同的区域设置不同的系数，比如鼻子的系数为1，嘴巴的系数1.5，脸颊的系数为1.2，脸部轮廓的系数为0.5；在一个实施例中，提供设置系数的接口，具体实现上可以是可视化的界面，比如滑动控件，针对每个区域生成一个滑动控件，通过滑动控件设置不同区域的权重系数。

以下将详细描述本公开的一个或多个实施例的人脸图像处理装置。本领域技术人员可以理解，这些人脸图像处理装置均可使用现有的硬件组件通过本方案所教导的步骤进行配置来构成。

图5为本公开实施例提供的人脸图像处理装置实施例一的结构示意图，如图6所示，该装置包括：图像获取模块51、检测模块52、第一处理模块53、深度模块54。

图像获取模块51，用于获取待处理图像；

检测模块52，用于检测待处理图像中是否有人脸图像；

第一处理模块53，用于响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；

深度模块54，用于获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。

图5所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。

图6a-6e为本公开实施例提供的人脸图像处理装置实施例二及实施例二中各模块的结构示意图，如图6a所示，在图5所示实施例基础上，该装置还包括：确定模块61。

确定模块61，用于确定需要进行第一处理的人脸图像区域。

如图6b所示，所述确定模块61，包括：

删除区域选择模块611，用于选择需要删除的人脸区域；

删除模块612，用于删除所选择的区域；

确定子模块613，用于将删除之后的剩余人脸区域确定为需要进行第一处理的人脸图像区域。

在该实施例中：

如图6c所示，所述第一处理模块53，包括：

低频分量模块531，用于对人脸图像进行低通滤波，得到人脸图像的低频分量；

高频分量模块532，用于将人脸图像减去所述低频分量得到人脸图像的高频分量；

放大模块533，用于将所述高频分量进行放大，得到第一图像。

如图6d所示，所述低频分量模块531，包括：

平均值计算模块5311，用于根据图像当前像素点的值与其周围相邻像素的值计算平均值，将所述平均值作为当前像素点的值。

所述平均值计算模块5311包括：

平滑矩阵计算模块53111，用于将图像当前像素点的值与其周围相邻像素的值与平滑矩阵做卷积计算，得到平均值。

如图6e所示，所述深度模块54，包括：

特征点获取模块541，用于获取人脸图像的特征点；

深度信息获取模块542，用于从预先设置的标准模板中获取所述人脸特征点的深度信息；

映射模块543，用于将所述深度信息映射到人脸图像上对应的特征点上，得到处理后的图像。

所述深度信息获取模块542包括：

标准模板确定模块5421，用于从预先设置的标准模板中确定第一标准模板，所述第一标准模板的特征点坐标与所述人脸图像的特征点坐标满足预定关系；

深度信息获取子模块5422，用于获取所述第一标准模板中的特征点的深度信息。

图6a-6e所示装置可以执行图2所示实施例的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。

图7为本公开实施例提供的人脸图像处理装置中深度模块54的实施例结构示意图，如图7所示，在前述实施例基础上，所述深度模块54进一步包括：第一角度获取模块71，第二角度获取模块72，特征点提取模块73，深度信息计算模块74。

第一角度获取模块71，用于从第一角度获取第一人脸图像；

第二角度获取模块72，用于从第二角度获取第二人脸图像；

特征点提取模块73，用于使用所述第一人人脸图像和所述第二人脸图像提取特征点；

深度信息计算模块74，用于使用所述第一人脸图像和所述第二人脸图像计算得到所述特征点的深度信息。

图7所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。

图8为本公开实施例提供的人脸图像处理装置中第一处理模块53的一个实施例的结构示意图，如图8所示，在前述实施例基础上，第一处理模块53进一步包括：

低通模块81，用于对人脸图像进行低通滤波，得到人脸图像的低频分量；

高通模块82，用于对人脸图像进行高通滤波，得到人脸图像的高频分量；

系数模块83，用于将所述低频分量乘以第一系数，得到第一低频分量；将所述高频分量乘以第二系数，得到第一高频分量；

融合模块84，用于将所述第一低频分量和第一高频分量相加得到第一图像。

图8所示装置可以执行图4所示实施例的方法，本实施例未详细描述的部分，可参考对图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图4所示实施例中的描述，在此不再赘述。

图9是图示根据本公开的实施例的电子设备的硬件框图。如图9所示，根据本公开实施例的电子设备90包括存储器91和处理器92。

该存储器91用于存储非暂时性计算机可读指令。具体地，存储器91可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。该非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。

该处理器92可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备90中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器92用于运行该存储器91中存储的该计算机可读指令，使得该电子设备90执行前述的本公开各实施例的人脸图像处理方法的全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图10是图示根据本公开的实施例的计算机可读存储介质的示意图。如图10所示，根据本公开实施例的计算机可读存储介质100，其上存储有非暂时性计算机可读指令101。当该非暂时性计算机可读指令101由处理器运行时，执行前述的本公开各实施例的人脸图像处理方法的全部或部分步骤。

上述计算机可读存储介质100包括但不限于：光存储介质（例如：CD－ROM和DVD）、磁光存储介质（例如：MO）、磁存储介质（例如：磁带或移动硬盘）、具有内置的可重写非易失性存储器的媒体（例如：存储卡）和具有内置ROM的媒体（例如：ROM盒）。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

图11是图示根据本公开实施例的终端设备的硬件结构示意图。如图11所示，该人脸图像处理方法终端110包括上述人脸图像处理方法装置实施例。

该终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

作为等同替换的实施方式，该终端还可以包括其他组件。如图11所示，该人脸图像处理方法终端110可以包括电源单元111、无线通信单元112、A/V（音频/视频）输入单元113、用户输入单元114、感测单元115、接口单元116、控制器117、输出单元118和存储单元119等等。图11示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。

其中，无线通信单元112允许终端110与无线通信系统或网络之间的无线电通信。A/V输入单元113用于接收音频或视频信号。用户输入单元114可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元115检测终端110的当前状态、终端110的位置、用户对于终端110的触摸输入的有无、终端110的取向、终端110的加速或减速移动和方向等等，并且生成用于控制终端110的操作的命令或信号。接口单元116用作至少一个外部装置与终端110连接可以通过的接口。输出单元118被构造为以视觉、音频和/或触觉方式提供输出信号。存储单元119可以存储由控制器117执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储单元119可以包括至少一种类型的存储介质。而且，终端110可以与通过网络连接执行存储单元119的存储功能的网络存储装置协作。控制器117通常控制终端设备的总体操作。另外，控制器117可以包括用于再现或回放多媒体数据的多媒体模块。控制器117可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元111在控制器117的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

本公开提出的人脸图像处理方法的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的人脸图像处理方法的各种实施方式可以通过使用特定用途集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理装置（DSPD）、可编程逻辑装置（PLD）、现场可编程门阵列（FPGA）、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的人脸图像处理方法的各种实施方式可以在控制器117中实施。对于软件实施，本公开提出的人脸图像处理方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序（或程序）来实施，软件代码可以存储在存储单元119中并且由控制器117执行。

有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC（即A和B和C）。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种人脸图像处理方法，其特征在于，包括：

获取待处理图像；

检测待处理图像中是否有人脸图像；

响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；

获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。

2.如权利要求1所述的人脸图像处理方法，其特征在于，在对所述人脸图像进行第一处理之前，还包括：

确定需要进行第一处理的人脸图像区域。

3.如权利要求2所述的人脸图像处理方法，其特征在于，所述确定需要进行第一处理的人脸图像区域，包括：

选择需要删除的人脸区域；

删除所选择的人脸区域；

将删除之后的剩余人脸区域确定为需要进行第一处理的人脸图像区域。

4.如权利要求1或2所述的人脸图像处理方法，其特征在于，所述对所述人脸图像进行第一处理，得到第一图像包括：

对人脸图像进行低通滤波，得到人脸图像的低频分量；

将人脸图像减去所述低频分量得到人脸图像的高频分量；

将所述高频分量进行放大，得到第一图像。

5.如权利要求4所述的人脸图像处理方法，其特征在于，所述的低通滤波包括：

根据图像当前像素点的值与其周围相邻像素的值计算平均值，将所述平均值作为当前像素点的值。

6.如权利要求5所述的人脸图像处理方法，其特征在于，所述的计算平均值为：

计算平滑矩阵，将图像当前像素点的值与其周围相邻像素的值与平滑矩阵做卷积计算，得到平均值。

7.如权利要求6所述的人脸图像处理方法，其特征在于：

所述平滑矩阵为二维矩阵，所述二维矩阵中元素的值，按照从中心到外围递减的规律排列。

8.如权利要求1所述的人脸图像处理方法，其特征在于，所述获取深度信息，将所述深度信息加入第一图像，得到处理后的图像包括：

获取人脸图像的特征点；

从预先设置的标准模板中获取所述人脸特征点的深度信息；

将所述深度信息映射到人脸图像上对应的特征点上，得到处理后的图像。

9.如权利要求8所述的人脸图像处理方法，其特征在于，所述从预先设置的标准模板中获取所述人脸特征点的深度信息包括：

从预先设置的标准模板中确定第一标准模板，所述第一标准模板的特征点坐标与所述人脸图像的特征点坐标满足预定关系；根据所述第一标准模板中的特征点的深度信息确定所述人脸特征点的深度信息。

10.一种人脸图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像；

检测模块，用于检测待处理图像中是否有人脸图像；

第一处理模块，用于响应于检测到人脸图像，对所述人脸图像进行第一处理，得到第一图像；

深度模块，用于获取深度信息，将所述深度信息加入第一图像，得到处理后的图像。

11.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9任一所述的人脸图像处理方法。

12.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-9任一所述的人脸图像处理方法。