CN108470322B - 处理人脸图像的方法、装置及可读存储介质 - Google Patents

Abstract

本公开是关于一种处理人脸图像的方法、装置及可读存储介质。采用本公开的实施例提供的方法，首先，确定出人脸轮廓上的轮廓关键点的偏移量，接着，根据该轮廓偏移量、人脸图像上待调整像素点与该轮廓点的距离，基于比例插值的方式，确定待调整像素点的偏移量，最后，根据人脸图像中轮廓关键点的偏移量以及待调整像素点的偏移量，对人脸图像进行调整，因此，按照本公开实施例提供的处理人脸图像的方法，不仅对位于人脸的面部图像上的像素点进行调整，也对位于背景图像上的像素点进行调整，使得调整后的人脸图像更为准确、自然美观。此外，由于采用基于比例插值的方式，确定待调整像素点的偏移量，所以处理速度快，鲁棒性高。

Description

处理人脸图像的方法、装置及可读存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种处理人脸图像的方法、装置及可读存储介质。

背景技术

随着数码相机，微单等专业的摄像设备以及带有摄像头的手机、平板电脑等移动终端的广泛使用，越来越多的用户可以随意地进行人物拍摄。但由于光线、摄像器材、个人相貌、拍摄角度、拍摄姿势、镜头畸变等原因，一些拍摄后的图片效果，特别是人脸，往往不尽如人意，总会觉得脸胖，脸型没有拍摄好，会影响照片的整体效果。特别是对于现在人们的审美品味来说，较瘦的脸通常被认为具有较佳的美感。为了获得理想的照片，人们趋向于使用一些图像处理软件手动对图片进行处理，以调整脸型，达到瘦脸的效果。因此，为了满足人们的需求，越来越多的人像瘦脸技术出现在了人们的生活中。

发明内容

为克服相关技术中存在的问题，本公开提供一种处理人脸图像的方法、装置及可读存储介质。

根据本公开实施例的第一方面，提供一种处理人脸图像的方法，包括：

根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整。

可选地，根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量，包括：

根据所述人脸关键点的位置以及以下公式，确定所述轮廓关键点的偏移量：

d_i＝||p_lefteye-p_righteye||²

其中，Δp_i为第i个轮廓关键点的偏移量，

为所述第i个轮廓关键点的偏移比例，d_i为所述人脸图像中两个眼睛内角之间的距离，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置。

可选地，所述人脸关键点包括所述轮廓关键点；根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，包括：

根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点；

根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量；

根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量。

可选地，根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量，包括：

根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及以下比例插值公式，确定所述轮廓非关键点的偏移量：

其中，Δp'_i为第i个轮廓非关键点的偏移量，Δp₁和Δp₂为距离所述第i个轮廓非关键点最近的两个所述轮廓关键点的偏移量，m₁和m₂分别为所述第i个轮廓非关键点分别与最近的两个所述轮廓关键点的距离。

可选地，根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量，包括：

对所述人脸轮廓曲线上的每一像素点，执行以下步骤：

以该像素点为中心，从所述人脸图像中提取与该像素点在同一行上的多个像素点，并从所述人脸图像中提取与该像素点在同一列上的多个像素点；

将所提取的一行像素点中位于端点处的像素点的水平偏移量设置为0，并将所提取的一列像素点中位于端点处的像素点的竖直偏移量设置为0；

按照比例插值的方式，确定出所述所提取的一行像素点中的每个像素点的水平偏移量，并确定出所述所提取的一列像素点中的每个像素点的竖直偏移量。

根据本公开实施例的第二方面，提供一种处理人脸图像的装置，包括：

第一确定模块，被配置为根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

第二确定模块，被配置为根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

调整模块，被配置为按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整。

可选地，所述第一确定模块包括：

第一确定子模块，被配置为根据所述人脸关键点的位置以及以下公式，确定所述轮廓关键点的偏移量：

d_i＝||p_lefteye-p_righteye||²

其中，Δp_i为第i个轮廓关键点的偏移量，

为所述第i个轮廓关键点的偏移比例，d_i为所述人脸图像中两个眼睛内角之间的距离，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置。

可选地，所述人脸关键点包括所述轮廓关键点；所述第二确定模块包括：

拟合子模块，被配置为根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点；

第二确定子模块，被配置为根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量；

第三确定子模块，被配置为根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量。

可选地，所述第二确定子模块包括：

第一偏移量确定子模块，被配置为根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及以下比例插值公式，确定所述轮廓非关键点的偏移量：

其中，Δp'_i为第i个轮廓非关键点的偏移量，Δp₁和Δp₂为距离所述第i个轮廓非关键点最近的两个所述轮廓关键点的偏移量，m₁和m₂分别为所述第i个轮廓非关键点分别与最近的两个所述轮廓关键点的距离。

可选地，所述第三确定子模块包括：

提取子模块，被配置为针对所述人脸轮廓曲线上的每一像素点，以该像素点为中心，从所述人脸图像中提取与该像素点在同一行上的多个像素点，并从所述人脸图像中提取与该像素点在同一列上的多个像素点；

设置子模块，被配置为将所提取的一行像素点中位于端点处的像素点的水平偏移量设置为0，并将所提取的一列像素点中位于端点处的像素点的竖直偏移量设置为0；

第二偏移量确定子模块，被配置为按照比例插值的方式，确定出所述所提取的一行像素点中的每个像素点的水平偏移量，并确定出所述所提取的一列像素点中的每个像素点的竖直偏移量。

根据本公开实施例的第三方面，提供一种处理人脸图像的装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的一种处理人脸图像的方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

采用本公开的实施例提供的技术方案，首先，确定出人脸轮廓上的轮廓关键点的偏移量，接着，根据该轮廓偏移量、人脸图像上待调整像素点与该轮廓点的距离，确定待调整像素点的偏移量，最后，根据人脸图像中轮廓关键点的偏移量以及待调整像素点的偏移量，对人脸图像进行调整，因此，按照本公开实施例提供的处理人脸图像的方法，不仅对位于人脸的面部图像上的像素点进行调整，也对位于背景图像上的像素点进行调整，使得调整后的人脸图像更为准确、自然美观。此外，由于采用基于比例插值的方式，确定待调整像素点的偏移量，所以处理速度快，鲁棒性高。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种处理人脸图像的方法的流程图。

图2是根据一示例性实施例示出的一种处理人脸图像的方法的另一流程图。

图3是根据一示例性实施例示出的一种处理人脸图像的方法包括的步骤中S12的流程图。

图4是根据一示例性实施例示出的一种处理人脸图像的方法包括的步骤中S12的另一流程图。

图5是根据一示例性实施例示出的一种处理人脸图像的方法包括的步骤中S123的流程图。

图6是根据一示例性实施例示出的确定人脸图像中每一行像素点中的每个像素点的水平偏移量的示意图。

图7是根据一示例性实施例示出的一种处理人脸图像的装置的框图。

图8是根据一示例性实施例示出的一种处理人脸图像的装置的另一框图。

图9是根据一示例性实施例示出的一种处理人脸图像的装置的第二确定模块的框图。

图10是根据一示例性实施例示出的一种处理人脸图像的装置的第二确定模块的另一框图。

图11是根据一示例性实施例示出的一种处理人脸图像的装置的第三确定子模块的框图。

图12是根据一示例性实施例示出的一种用于处理人脸图像的装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

通常情况下，人们往往需要使用Photoshop来手动的对人脸图像进行调整，但是采用此种方法对技术要求比较高，因此，通常需要专业的技术人员对人脸图像进行处理，成本较高，大多数人难以掌握，从而无法获得较好的瘦脸效果。

相关技术中，大多是基于三角形变换的方法，采用此种方法需首先将人脸图像中的关键点位置坐标确定出来，然后，将关键点位置坐标中的每三个关键点位置坐标确定为一个三角形，最后，对每个三角形进行调整，以达到瘦脸的目的。但是，在处理人脸图像的过程中，三角形的形状不可控制，容易出现错误，使人脸图像处理的准确度不高，同时，也需要计算出人脸图像中较多的关键点位置坐标，在人脸图像处理的过程中速度较慢，因此，为了提高人脸图像处理的速度及人脸图像的准确度，本公开实施例提供一种处理人脸图像的方法。

请参考图1，图1是根据一示例性实施例示出的一种处理人脸图像的方法的流程图。如图1所示，本公开实施例提供的处理人脸图像的方法，包括以下步骤。

在步骤S11中，根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量。

在步骤S12中，根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点。

在步骤S13中，按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整。

通常情况下，对人脸图像进行处理主要是对该人脸图像中的每一个点的位置进行处理，进而达到对人脸图像的处理，而人脸图像中每一个点的位置随人脸图像的位置的变化而变化，因此，人们将人脸图像输入到处理人脸图像的系统之后，该系统首先需检测到人脸图像的位置，其中，检测人脸图像的位置可采用基于Adaboost的方法或基于Faster rcnn的方法。

在检测到人脸图像的位置之后，根据人脸图像的位置，对图片中的人脸进行人脸关键点定位，得到人脸关键点的位置坐标。其中，人脸的关键点是根据处理人脸图像中必不可少的点，人脸关键点的定位可以采用AAM(Active appearance models；主动外观模型)、SDM(Supervised descent method；有监督的梯度下降方法)或CNN(Convolutional neuralnetworks；卷积神经网络)的方法。在使用上述技术对人脸关键点进行定位之前，需要对上述技术进行训练学习，在训练上述技术时，人为地在人脸图像中输入一些关键点，根据上述技术定位的关键点位置与人为输入的关键点位置的误差，多次调整上述技术的系统，最终使上述技术定位的关键点的位置与人为输入的关键点位置的误差极小时，可停止对上述技术的训练。

在本公开实施例中，人脸关键点的位置与训练上述定位人脸关键点的技术时输入的关键点的位置有关，根据前期技术人员对上述定位人脸关键点的技术的训练，人脸关键点可以包括人脸轮廓上的关键点以及非人脸轮廓上的关键点。

首先，步骤S11中，根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量。本公开实施例中的位置、偏移量均是在人脸图像的平面空间中确定的，分别对应与人脸图像的坐标系中的位置坐标、偏移量坐标。人脸轮廓上的轮廓关键点的偏移量是调整该轮廓关键点的依据。

接着，步骤S12中，根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点。其中，人脸图像中不仅包含有人脸面部图像还包含有背景图像，轮廓关键点位于人脸的面部图像中，而人脸图像中待调整像素点既包括位于人脸的面部图像上的像素点，也包括位于背景图像上的像素点。

在本公开实施例中，根据轮廓关键点的偏移量、人脸图像中待调整像素点与该轮廓关键点的距离，确定所述待调整像素点的偏移量，而人脸图像中待调整像素点的位置在确定人脸图像的位置之后，即可确定，不需要在前期训练上述技术时人为输入位于人脸图像上的各个像素点的位置，减少了前期训练上述技术时人为输入的关键点的数量，提高了训练的准确度，因此，在使用该技术时，提高了确定待调整像素点的偏移量的准确度。

最后，步骤S13中，按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整。

在本公开实施例中，调整人脸图像时，首先确定出人脸轮廓上的轮廓关键点的偏移量，接着，根据该轮廓偏移量、人脸图像上待调整像素点与该轮廓点的距离，确定待调整像素点的偏移量，最后根据人脸图像中轮廓关键点的偏移量以及待调整像素点的偏移量，对人脸图像进行调整，因此采用上述技术方案，不仅对位于人脸的面部图像上的像素点进行调整，也对位于背景图像上的像素点进行调整，使得调整后的人脸图像更为准确、自然美观。此外，由于采用基于比例插值的方式，确定待调整像素点的偏移量，所以处理速度快，鲁棒性高。

可选地，图2是根据一示例性实施例示出的一种处理人脸图像的方法的另一流程图，如图2所示，图1中的步骤S11具体为步骤S111。

在步骤S111中，根据所述人脸关键点的位置以及以下公式，确定所述轮廓关键点的偏移量：

d_i＝‖p_lefteye-p_righteye||²

其中，Δp_i为第i个轮廓关键点的偏移量，

为所述第i个轮廓关键点的偏移比例，d_i为所述人脸图像中两个眼睛内角之间的距离，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置。

通常情况下，人脸轮廓上的轮廓关键点的偏移量是调整人脸图像的重要因素，也是确定人脸图像中待调整像素点的偏移量的基础，如果确定的轮廓关键点的偏移量不合适，则相应的根据该轮廓关键点的偏移量所确定的待调整像素点的偏移量也不合适，则最终所调整的人脸图像无法达到自然美观的效果，因此，在本公实施例中提出了一种新的方法确定轮廓关键点的偏移量。

在确定轮廓关键点的偏移量时，考虑到位于人脸轮廓上的不同位置上的轮廓关键点所调整的距离不同，对于每一个轮廓关键点均预先设置一个偏移比例

该偏移比例可以是出厂设置的，也可以用户自行设置的，通常情况下，为了使调整后的人脸图像看起来更自然美观，无论哪一种设置偏移比例的方法均需要参考美工技术人员专业的建议，具体的，

其中，

为第i个轮廓关键点的水平偏移比例，

为第i个轮廓关键点的竖直偏移比例。

同时，在本公开实施例所提供的确定轮廓关键点的偏移量的方法中，也考虑到，在实际应用中，基于不同的用户其脸型大小也不同，即使是同一用户，由于拍摄的角度和姿势不同，拍摄出的图像中脸型大小也是不同的，因此，在上述方法中，需要将图像脸型大小做坐标尺度归一化处理，具体的，坐标尺度归一化d_i＝||p_lefteye-p_righteye||²，其中，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置。

采用上述技术方案确定轮廓关键点的偏移量，考虑到位于人脸轮廓上的不同位置上的轮廓关键点所调整的距离不同，根据美工技术人员的建议对每一个轮廓关键点均设置一个设置偏移比例，同时也考虑到不同用户脸型大小不同，位于不同脸型大小的两张人脸图像上的同一位置的轮廓关键点的偏移量也是不同的，因此，将图像脸型大小做坐标尺度归一化处理，避免了因用户脸型大小不同而造成轮廓关键点位置偏移量的误差。

可选地，图3是根据一示例性实施例示出的一种处理人脸图像的方法包括的步骤中S12的流程图，如图3所示，所述人脸关键点包括所述轮廓关键点，步骤S12包括以下步骤。

在步骤S121中，根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点。

在步骤S122中，根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量。

在步骤S123中，根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量。

首先，人脸轮廓点包括人脸轮廓关键点和人脸轮廓非关键点，对于人脸轮廓关键点的位置可采用上述定位轮廓关键点的位置的技术进行确定，为了减少定位人脸图像中各个像素点的工作量，对于人脸轮廓非关键点的位置，可根据轮廓关键点的位置拟合的人脸轮廓曲线来确定，该人脸轮廓曲线上的像素点为轮廓关键点或轮廓非关键点。其中，拟合曲线的准确度与拟合曲线的次数有关，拟合曲线的次数越大，拟合的人脸轮廓曲线越接近于实际的人脸图像中的轮廓曲线，但相应的，拟合曲线的次数越大，拟合的速度越慢，拟合曲线的次数可以是系统出厂设置的，也可以是用户根据自身需求自行设置的。

接着，从人脸轮廓曲线中确定出轮廓非关键点的位置之后，可根据轮廓关键点的偏移量、轮廓非关键点的位置以及该轮廓非关键点到轮廓关键点之间的距离，确定出该轮廓非关键点的位置偏移量。此时，人脸轮廓曲线上的像素点的偏移量均确定。

最后，根据人脸轮廓曲线上的像素点的偏移量、人脸轮廓曲线上的像素点的周围像素点的位置、以及人脸轮廓曲线上的像素点与周围像素点之间的距离，确定所述周围像素点的偏移量。其中，周围像素点包括人脸图像中除人脸轮廓曲线上的像素点之外的其他像素点。

采用本公开实施例提供的处理人脸图像的方法，在调整人脸图像之前，不仅确定人脸轮廓关键点的偏移量，还在人脸轮廓关键点的偏移量的基础上确定出人脸图像中待调整的像素点的偏移量，使得调整后的人脸图像更为自然美观。

可选地，图4是根据一示例性实施例示出的一种处理人脸图像的方法包括的步骤中S12的另一流程图，如图4所示，图3中的步骤S122具体为步骤S1221。

在步骤S1221中，根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及以下比例插值公式，确定所述轮廓非关键点的偏移量：

其中，Δp'_i为第i个轮廓非关键点的偏移量，Δp₁和Δp₂为距离所述第i个轮廓非关键点最近的两个所述轮廓关键点的偏移量，m₁和m₂分别为所述第i个轮廓非关键点分别与最近的两个所述轮廓关键点的距离。

在本公开实施例中，采用比例差值的方式，确定轮廓非关键点的偏移量。具体地，首先，从拟合的人脸轮廓曲线上确定出第i个轮廓非关键点的位置，接着，根据第i个轮廓非关键点的位置确定出与其距离最近的两个轮廓关键点分别为p₁和p₂，并分别确定出第i个轮廓非关键点与轮廓关键点p₁和p₂的距离，分别即为m₁和m₂，其中，p₁和p₂两个轮廓关键点的偏移量Δp₁和Δp₂已知，最后，根据上述比例差值公式确定出第i个轮廓非关键点的偏移量。

在轮廓关键点之间，采用比例差值的方式确定轮廓非关键点的偏移量，不需要预先设置轮廓非关键点的偏移比例，减小了美工技术人员确定偏移比例的工作负荷，同时也减小了偏移比例在系统内部所暂用的存储空间，提高该工作效率。

可选地，图5是根据一示例性实施例示出的一种处理人脸图像的方法包括的步骤中S123的另一流程图，如图5所示，图3中的步骤S123包括以下步骤。

对所述人脸轮廓曲线上的每一像素点，执行以下步骤：

在步骤S1231中，以该像素点为中心，从所述人脸图像中提取与该像素点在同一行上的多个像素点，并从所述人脸图像中提取与该像素点在同一列上的多个像素点。

在步骤S1232中，将所提取的一行像素点中位于端点处的像素点的水平偏移量设置为0，并将所提取的一列像素点中位于端点处的像素点的竖直偏移量设置为0。

在步骤S1233中，按照比例插值的方式，确定出所述所提取的一行像素点中的每个像素点的水平偏移量，并确定出所述所提取的一列像素点中的每个像素点的竖直偏移量。

调整人脸图像，具体地，是对人脸图像上位于人脸轮廓上的像素点以及人脸轮廓周围的像素点进行调整，在已知像素点未调整之前的位置(以下简称初始位置)以及该像素点的偏移量之后，可确定出该像素点调整之后的位置(以下简称目标位置)，通常情况下，相关技术直接将该像素点从初始位置移动到其目标位置，因此，有可能会因为有些像素点移动不准确而导致调整之后的人脸图像不自然。

对人脸图像上待调整像素点进行调整，即是对该像素点进行水平方向和竖直方向上做调整，因此，在本公开实施例中，分别确定出待调整像素点在水平方向和竖直方向上的偏移量。

首先，以人脸轮廓曲线上的每一个像素点为中心，从人脸图像中提取出与该像素点在同一行的多个像素点，并从该人脸图像中提取出与该像素点在同一列的多个像素点，在每一行像素点和每一列像素点中，位于中心的像素点的偏移量最大，与中心像素点距离越远的像素点的偏移量越小，因此，可将每一行像素点中位于端点处的像素点的水平偏移量设置为0，同样的，将每一列像素点中位于端点处的像素点的竖直偏移量设置为0。

然后，采用上述比例插值的方式，确定出所提取的每一行像素点中的每个像素点的水平偏移量，以及每一列像素点中的每个像素点的竖直偏移量。

示例地，以图6为例，在人脸图像中，以位于人脸轮廓上的像素点p_i为中心，提取出一行像素点，该行像素点中位于端点处的两个像素点(记为像素点1和像素点2)的水平偏移量分别为Δx₁和Δx₂，且Δx₁和Δx₂均为0，首先，确定位于像素点p_i和像素点1之间的像素点3的水平偏移量，此时只有像素点1、像素点2以及像素点p_i的水平偏移量是确定的，为了提高利用比例插值公式确定的像素点3的水平偏移量的准确性，像素点3的水平偏移量可根据距离其最近的两个像素点的位置以及距离其最近的两个像素点的水平偏移量来确定，具体地，根据像素点3的位置确定出其与像素点p_i、像素点1之间的水平距离分别为m_i和m₁，根据公式

即可确定出像素点3的水平偏移量。

接着，确定位于像素点1和像素点3之间的像素点4的水平偏移量Δx₄，此时，在该行像素点中已知水平偏移量且与像素点4距离最近的两个像素点分别为像素点1和像素点3，因此，根据像素点4的位置确定出其与像素点1、像素点3之间的水平距离分别为m'₁和m₃，利用公式

确定出像素点4的水平偏移量，采用上述方法可确定出位于每一行中的每一个像素点的水平偏移量。

同样的，采用上述类似的方法，也可确定出每一列像素点中的每一个像素点的竖直偏移量。

最后，根据所确定出的位于人脸轮廓上的像素点偏移量，以及其周围像素点的水平偏移量和竖直方向上的偏移量，依次在水平方向和竖直方向进行调整。因此，提高了人脸图像调整的准确度。

图7是根据一示例性实施例示出的一种处理人脸图像的装置的框图。参照图7，该装置60包括第一确定模块61、第二确定模块62和调整模块63。

该第一确定模块61被配置为根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

该第二确定模块62被配置为根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

该调整模块63被配置为按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整。

可选地，如图8所述，该第一确定模块61包括：

第一确定子模块611，被配置为根据所述人脸关键点的位置以及以下公式，确定所述轮廓关键点的偏移量：

d_i＝||p_lefteye-p_righteye||²

其中，Δp_i为第i个轮廓关键点的偏移量，

为所述第i个轮廓关键点的偏移比例，d_i为所述人脸图像中两个眼睛内角之间的距离，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置。

可选地，如图9所示，该第二确定模块62包括：

拟合子模块621，被配置为根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点；

第二确定子模块622，被配置为根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量；

第三确定子模块623，被配置为根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量。

可选地，如图10所示，该第二确定子模块622包括：

第一偏移量确定子模块6221，被配置为根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及以下比例插值公式，确定所述轮廓非关键点的偏移量：

其中，Δp'_i为第i个轮廓非关键点的偏移量，Δp₁和Δp₂为距离所述第i个轮廓非关键点最近的两个所述轮廓关键点的偏移量，m₁和m₂分别为所述第i个轮廓非关键点分别与最近的两个所述轮廓关键点的距离。

可选地，如图11所示，第三确定子模块623包括：

提取子模块6231，被配置为针对所述人脸轮廓曲线上的每一像素点，以该像素点为中心，从所述人脸图像中提取与该像素点在同一行上的多个像素点，并从所述人脸图像中提取与该像素点在同一列上的多个像素点；

设置子模块6232，被配置为将所提取的一行像素点中位于端点处的像素点的水平偏移量设置为0，并将所提取的一列像素点中位于端点处的像素点的竖直偏移量设置为0；

第二偏移量确定子模块6233，被配置为按照比例插值的方式，确定出所述所提取的一行像素点中的每个像素点的水平偏移量，并确定出所述所提取的一列像素点中的每个像素点的竖直偏移量。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的处理人脸图像的方法的步骤。

图12是根据一示例性实施例示出的一种用于处理人脸图像的装置的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图12，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成处理人脸图像的方法全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行处理人脸图像的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成处理人脸图像的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种处理人脸图像的方法，其特征在于，包括：

根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整；

其中，所述人脸关键点包括所述轮廓关键点；根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，包括：

根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点；

根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量；

根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量。

2.根据权利要求1所述的方法，其特征在于，根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量，包括：

根据所述人脸关键点的位置以及以下公式，确定所述轮廓关键点的偏移量：

d_i＝||p_lefteye-p_righteye||²

其中，Δp_i为第i个轮廓关键点的偏移量，

为所述第i个轮廓关键点的偏移比例，d_i为所述人脸图像中两个眼睛内角之间的距离，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置，

为第i个轮廓关键点的水平偏移比例，

为第i个轮廓关键点的竖直偏移比例。

3.根据权利要求1所述的方法，其特征在于，根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量，包括：

根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及以下比例插值公式，确定所述轮廓非关键点的偏移量：

其中，Δp'_i为第i个轮廓非关键点的偏移量，Δp₁和Δp₂为距离所述第i个轮廓非关键点最近的两个所述轮廓关键点的偏移量，m₁和m₂分别为所述第i个轮廓非关键点分别与最近的两个所述轮廓关键点的距离。

4.一种处理人脸图像的装置，其特征在于，包括：

第一确定模块，被配置为根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

第二确定模块，被配置为根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

调整模块，被配置为按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整；

其中，所述人脸关键点包括所述轮廓关键点；所述第二确定模块包括：

拟合子模块，被配置为根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点；

第二确定子模块，被配置为根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量；

第三确定子模块，被配置为根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，确定所述周围像素点的偏移量。

5.根据权利要求4所述的装置，其特征在于，所述第一确定模块包括：

第一确定子模块，被配置为根据所述人脸关键点的位置以及以下公式，确定所述轮廓关键点的偏移量：

d_i＝||p_lefteye-p_righteye||²

其中，Δp_i为第i个轮廓关键点的偏移量，

为所述第i个轮廓关键点的偏移比例，d_i为所述人脸图像中两个眼睛内角之间的距离，p_lefteye为位于左眼睛内角处的人脸关键点的位置，p_righteye为位于右眼睛内角处的人脸关键点的位置，

为第i个轮廓关键点的水平偏移比例，

为第i个轮廓关键点的竖直偏移比例。

6.根据权利要求4所述的装置，其特征在于，所述第二确定子模块包括：

第一偏移量确定子模块，被配置为根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及以下比例插值公式，确定所述轮廓非关键点的偏移量：

其中，Δp'_i为第i个轮廓非关键点的偏移量，Δp₁和Δp₂为距离所述第i个轮廓非关键点最近的两个所述轮廓关键点的偏移量，m₁和m₂分别为所述第i个轮廓非关键点分别与最近的两个所述轮廓关键点的距离。

7.一种处理人脸图像的装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

根据人脸图像中人脸关键点的位置，确定所述人脸图像中人脸轮廓上的轮廓关键点的偏移量；

根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，所述待调整像素点包括所述轮廓关键点周围的像素点；

按照所述轮廓关键点的偏移量以及所述待调整像素点的偏移量，对所述人脸图像进行调整；

其中，所述人脸关键点包括所述轮廓关键点；根据所述轮廓关键点的偏移量、所述人脸图像中待调整像素点与所述轮廓关键点的距离，基于比例插值的方式，确定所述待调整像素点的偏移量，包括：

根据所述轮廓关键点的位置，拟合用于表征所述人脸图像中人脸轮廓的人脸轮廓曲线，所述人脸轮廓曲线上的像素点为所述轮廓关键点或轮廓非关键点；

根据所述轮廓关键点的偏移量、所述轮廓非关键点的位置以及所述轮廓非关键点与所述轮廓关键点之间的距离，基于比例插值的方式，确定所述轮廓非关键点的偏移量；

根据所述人脸轮廓曲线上的像素点的偏移量、所述人脸轮廓曲线上的像素点的周围像素点的位置、以及所述人脸轮廓曲线上的像素点与所述周围像素点之间的距离，基于比例插值的方式，确定所述周围像素点的偏移量。

8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-3中任一项所述方法的步骤。

Images