CN105654420A - 人脸图像处理方法及装置 - Google Patents

Abstract

本公开是关于人脸图像处理方法及装置。该方法包括：获得包括人脸的预处理图像；对预处理图像进行人脸检测，确定出待处理的目标区域；对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。该技术方案，可以根据形象模板将人脸图像中的某个区域进行整体替换，使人脸图像处理更加多样化，满足用户多方面的需求。

Description

人脸图像处理方法及装置

技术领域

本公开涉及图像识别技术领域，尤其涉及人脸图像处理方法及装置。

背景技术

随着终端设备以及图像处理技术的不断发展，一批自动人脸美化的应用为大家所熟悉，这些应用使用起来非常方便，用户只要选择相应的功能，就可以自动地对照片进行美化，因此得到了比较广泛的应用。人脸图像美化通过磨皮、美白等技术对人脸进行美化，且能够较完整地保留人脸的特征，例如眉毛、睫毛的细节部分，眼角和嘴巴的边缘，并在保留这些信息的前提下较好的去除人脸皮肤的斑点、皱纹等。

发明内容

本公开实施例提供了人脸图像处理方法及装置。所述技术方案如下：

根据本公开实施例的第一方面，提供一种人脸图像处理方法，包括：

获得包括人脸的预处理图像；

对所述预处理图像进行人脸检测，确定出待处理的目标区域；

对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；

基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。

在一个实施例中，所述对预处理图像进行人脸检测，确定出待处理的目标区域，可包括：

对所述预处理图像中的人脸区域进行检测，标注出所述人脸区域中的特征点；

根据所述人脸区域中的特征点，确定出所述待处理的目标区域。

在一个实施例中，所述待处理的目标区域的子区域可包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

在一个实施例中，在所述获得包括人脸的预处理图像之前，所述方法还可包括：

收集多个人脸样本；

将所述人脸样本输入卷积神经网络训练出模型；

根据所述模型预测所述预处理图像中人脸的属性，所述属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

在一个实施例中，所述形象模板包括人种模板；所述基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换，可包括：

基于所述模型预测出的所述预处理图像中人脸所属的人种，获取所述人种对应的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述人种模板对所述子区域进行变换。

在一个实施例中，所述根据所述人种模板对所述子区域进行变换，可包括：

基于所述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与所述人种模板中相应部位的颜色不一致的子区域；

根据所述人种模板对所述不一致的子区域进行变换。

在一个实施例中，所述形象模板包括人种模板；所述基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换，可包括：

获取选定的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述选定的人种模板对所述子区域进行变换。

在一个实施例中，当所述子区域为皮肤区域和/或头发区域时，所述对所述子区域进行形象变换，可包括：

对所述子区域进行抠图处理；

对抠图处理之后的所述子区域进行形象变换。

根据本公开实施例的第二方面，提供一种人脸图像处理装置，包括：

获取模块，用于获得包括人脸的预处理图像；

检测模块，用于对所述获取模块获得的预处理图像进行人脸检测，确定出待处理的目标区域；

区域划分模块，用于对所述检测模块确定出的待处理的目标区域进行区域划分，确定所述目标区域的子区域；

形象变换模块，用于基于预先建立的所述子区域对应的形象模板，对所述区域划分模块确定出的子区域进行形象变换。

在一个实施例中，所述检测模块，可包括：

标注子模块，用于对所述预处理图像中的人脸区域进行检测，标注出所述人脸区域中的特征点；

确定子模块，用于根据所述标注子模块标注出的人脸区域中的特征点，确定出所述待处理的目标区域。

在一个实施例中，所述待处理的目标区域的子区域可包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

在一个实施例中，所述装置还可包括：

收集模块，用于收集多个人脸样本；

输入模块，用于将所述收集模块收集的人脸样本输入卷积神经网络训练出模型；

预测模块，用于根据所述输入模块训练出的模型预测所述预处理图像中人脸的属性，所述属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

在一个实施例中，所述形象模板包括人种模板；所述形象变换模块，可包括：

第一获取子模块，用于基于所述模型预测出的所述预处理图像中人脸所属的人种，获取所述人种对应的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

第一变换子模块，用于根据所述第一获取子模块获取的人种模板对所述子区域进行变换。

在一个实施例中，所述第一变换子模块还可用于：

基于所述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与所述人种模板中相应部位的颜色不一致的子区域；

根据所述人种模板对所述不一致的子区域进行变换。

在一个实施例中，所述形象模板包括人种模板；所述形象变换模块，可包括：

第二获取子模块，用于获取选定的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

第二变换子模块，用于根据所述第二获取子模块选定的人种模板对所述子区域进行变换。

在一个实施例中，当所述子区域为皮肤区域和/或头发区域时，所述形象变换模块，可包括：

抠图子模块，用于对所述子区域进行抠图处理；

形象变换子模块，用于对所述抠图子模块进行抠图处理之后的所述子区域进行形象变换。

根据本公开实施例的第三方面，提供一种人脸图像处理装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获得包括人脸的预处理图像；

对所述预处理图像进行人脸检测，确定出待处理的目标区域；

对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；

基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的实施例提供的技术方案，通过对预处理图像进行人脸检测，并确定待处理的目标区域，对待处理的目标区域进行区域划分，确定目标区域的子区域，基于预先建立的子区域对应的形象模板，对子区域进行形象变换，从而可以根据形象模板将人脸图像中的某个区域进行整体替换，使人脸图像处理更加多样化，满足用户多方面的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种人脸图像处理方法的流程图。

图2是根据一示例性实施例示出的一种人脸图像处理方法中步骤S102的流程图。

图3为对预处理图像中的人脸区域进行标注的示意图。

图4是根据一示例性实施例示出的另一种人脸图像处理方法的流程图。

图5是根据一示例性实施例示出的一种人脸图像处理方法中步骤S104的另一个流程图。

图6是根据一示例性实施例示出的一种人脸图像处理方法中步骤S502的一个流程图。

图7是根据一示例性实施例示出的一种人脸图像处理方法中步骤S104的一个流程图。

图8是根据一示例性实施例示出的一种人脸图像处理方法中步骤S104的另一个流程图。

图9是根据一示例性实施例示出的一种人脸图像处理装置的框图。

图10是根据一示例性实施例示出的一种人脸图像处理装置中检测模块92的框图。

图11是根据一示例性实施例示出的又一种人脸图像处理装置的框图。

图12是根据一示例性实施例示出的一种人脸图像处理装置中形象变换模块94的框图。

图13是根据一示例性实施例示出的一种人脸图像处理装置中形象变换模块94的另一个框图。

图14是根据一示例性实施例示出的一种人脸图像处理装置中形象变换模块94的再一个框图。

图15是根据一示例性实施例示出的适用于指人脸图像处理装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种人脸图像处理方法，该方法可用于人脸图像处理程序、系统或装置中，且该方法对应的执行主体可以是终端(如手机、平板电脑、笔记本电脑、智能相机等)，如图1所示，该人脸图像处理方法包括以下步骤S101-S103：

在步骤S101中，获得包括人脸的预处理图像。

由于本公开实施例的技术方案是对图像中的人脸进行处理，因此预处理图像中应包括人脸。

在步骤S102中，对预处理图像进行人脸检测，确定出待处理的目标区域。

待处理的目标区域可以包括眼睛、眉毛、鼻子、嘴、皮肤、脸部轮廓、头发等区域。

在步骤S103中，对待处理的目标区域进行区域划分，确定目标区域的子区域。

在一个实施例中，待处理的目标区域的子区域包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

在步骤S104中，基于预先建立的子区域对应的形象模板，对子区域进行形象变换。

形象模板例如可以是头发模板，头发模板包括头发的各种颜色，当目标区域为头发时，基于头发模板，对头发进行各种颜色的变换；形象模板还可以是人种模板，人种模板中包括该人种的脸型、嘴巴形状和颜色、眼睛形状和颜色、鼻子形状、皮肤颜色、头发颜色等该人种特有的人种属性。

本公开实施例的上述方法，通过对预处理图像进行人脸检测，并确定待处理的目标区域，对待处理的目标区域进行区域划分，确定目标区域的子区域，基于预先建立的子区域对应的形象模板，对子区域进行形象变换，从而可以根据形象模板将人脸图像中的某个区域进行整体替换，使人脸图像处理更加多样化，满足用户多方面的需求。

在一个实施例中，如图2所示，步骤S102可以实施为如下步骤S201-S202：

在步骤S201中，对预处理图像中的人脸区域进行检测，标注出人脸区域中的特征点。

如图3所示，对眼睛、眉毛、鼻子、嘴、脸部轮廓、头发等区域分别标注特征点。例如可以使用基于机器学习的SDM(SupervisedDescentMethod)算法、基于主动形状模型(ActiveShapeModel，ASM)和基于主动表观模型(ActiveAppearanceMode，AAM)的关键部位的定位算法等对人脸区域进行特征点定位，标注出人脸区域的特征点。

在步骤S202中，根据人脸区域中的特征点，确定出待处理的目标区域。

通过标记的特征点，就可以确定待处理的目标区域，比如眼镜、鼻子、头发等。

本实施例，对人脸区域进行检测，标注出人脸区域中的特征点，根据标注的特征点确定待处理的目标区域，从而可以准确、快捷的确定出待处理的目标区域。

在一个实施例中，如图4所示，在步骤S101之前，上述方法还可以包括以下步骤S104-S105：

在步骤S105中，收集多个人脸样本。

在步骤S106中，将人脸样本输入卷积神经网络训练出模型。

在步骤S107中，根据模型预测预处理图像中人脸的属性，属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

本实施例中，收集多个人脸样本，将人脸样本输入卷积神经网络训练出模型，训练出的模型可以预测人脸的种族、性别、头发颜色、眼睛颜色、皮肤颜色等属性，从而可以确定出预处理图像中人脸在形象变换之前的状态，比如，通过模型预测出预处理图像中的人脸的种族是黄种人、女、黑色头发、黑色眼睛、黄皮肤。通过模型识别出头发为黑色，在确定头发区域时，只需寻找图像中的黑色区域即可，避免了背景干扰。通过确定人脸图像变换前的状态，可确定哪些区域需要变换，哪些区域不需要变换。比如目标是将皮肤变换为黑色，如果模型预测现有的皮肤颜色就是黑色的，则不需要进行变换。此外，训练出的模型还可以预测人脸形状和大小，比如，可以预测出是圆脸、大眼等，从而辅助目标区域和各子区域的确定，使确定出的目标区域和各子区域更加精确。

在一个实施例中，形象模板可包括人种模板。如图5所示，步骤S104可以实施为如下步骤S501-S502：

在步骤S501中，基于上述模型预测出的预处理图像中人脸所属的人种，获取人种对应的人种模板，人种模板包含该人种的人脸各关键部位的特征。

人种模板可包含多个人种的模板，比如黄种人、黑种人、白种人等人种模板。人种模板包含该人种的人脸各关键部位的特征，比如当人种是黑种人时，人种模板中皮肤的颜色是黑色的，头发的颜色是棕色或黑色，其眼睛、嘴巴都是黑种人特有的。

在步骤S502中，根据人种模板对子区域进行变换。

本实施例中，通过模型预测人种，并确定出对应的人种模板，从而可以快速对预处理图像中的人脸进行变换，并且由于人种模板中的脸型时由该人种的平均脸型表示的，因此变换更加精确，更符合大众的审美。

在一个实施例中，如图6所示，步骤S502可以实施为如下步骤：

在步骤S601中，基于上述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与人种模板中相应部位的颜色不一致的子区域。

在步骤S602中，根据人种模板对不一致的子区域进行变换。

本实施例中，当预处理图像中头发颜色、眼睛颜色和皮肤颜色中的某一项或多项与人种模板的相应部位一致时，则不需要进行变换。

本实施例中，仅对不一致的区域进行变换，对一致的区域不再进行重复变换，从而提升了图像处理速度。

在一个实施例中，形象模板可包括人种模板。如图7所示，步骤S104还可以实施为如下步骤S701-S702：

在步骤S701中，获取选定的人种模板。

在步骤S702中，根据选定的人种模板对子区域进行变换。

用户可以任意选择自己感兴趣的模板，比如黑种人模板，根据选定的模板对一个或多个子区域进行变换。可以对目标区域整体(五官、头发、脸部轮廓和皮肤)进行变换，也可以只对某个子区域进行变换，比如，把人脸图像中的嘴巴替换为黑种人的嘴巴；把人脸图像中的皮肤颜色替换为黑种人的皮肤颜色(黑色)。

本实施例，预先选定人种模板，并基于人种模板对目标区域进行变换，由于人种模板中各个区域的特征是相对固定的，从而用户可以简单、快捷的进行选择，满足用户需求。

在一个实施例中，除根据人种模板进行变换外，用户还可以进行自定义变换，比如指定新的头发颜色、皮肤颜色、鼻子形状等。具体变换过程如下：

当待变换的子区域为头发区域时，对该区域进行形象变换可以实施为如下步骤A1-A2：

步骤A1，从预先建立的模板中接收选定头发颜色的操作。

头发区域为人脸周围但不包含人脸的区域。预先建立的模板中包括头发的各种颜色，比如，黑色、白色、棕色、黄色、褐色、红色、紫色等。用户可以从中选择一种颜色对现有头发颜色进行替换，比如，现有头发颜色为黑色，可以替换为黄色。

步骤A2，根据选定的头发颜色，将头发区域的颜色变换为选定的头发颜色。

当待变换的子区域为皮肤区域时，对该区域进行形象变换可以实施为如下步骤B1-B2：

步骤B1，从预先建立的模板中接收选定皮肤颜色的操作。

皮肤区域为人脸区域中除去眼睛、鼻子、嘴、眉毛的部分。预先建立的模板中包含皮肤的各种颜色，比如，黑色、白色、黄色等，用户可以将现有人脸图像中的皮肤颜色变换为模板中的任一种颜色。

步骤B2，根据选定的皮肤颜色，将皮肤区域的颜色变换为选定的皮肤颜色。

用户可以从中选择一种颜色对现有皮肤颜色进行变换，比如，现有皮肤颜色为黄色，可以变换为黑色。

当待变换的子区域为脸部轮廓区域时，对该区域进行形象变换可以实施为如下步骤C1-C2：

步骤C1，从预先建立的模板中确定接收选定人脸轮廓的操作。

模板中可以包括多种脸部轮廓，比如，三角脸、鹅蛋脸、方形脸等；模板中还可以包括各个人种的脸型，当包括各人种的脸型时，在建立模板时，对脸部轮廓进行归一化，将所有人脸高度归一化到1，即下巴点到额头点的距离为1，此时，左右脸颊等位置的特征点反映出人脸的胖瘦。对不同人种的人脸轮廓分别求平均，确定出此人种的人脸平均形状，存储到模板中。

步骤C2，根据选定的人脸轮廓，将脸部轮廓区域的轮廓变换为选定的人脸轮廓。

用户可以从中选择一种脸部轮廓对现有脸部轮廓进行变换，比如，现有脸部轮廓为圆脸，可以变换为黑种人的脸型。

当待变换的子区域为五官区域时，对该区域进行形象变换可以实施为如下步骤D1-D3：

步骤D1，从预先建立的模板中确定接收选定五官中的至少一项的操作。

当待处理的目标区域包括五官区域时，需要先确定出五官的具体位置，同样可以利用前面提到的算法标记五官区域关键点的位置，进而确定五官区域。

步骤D2，将五官区域标记出关键点的位置。

步骤D3，根据选定五官的操作与标记出的关键点的位置，将五官区域的五官中的至少一项变换为选定的五官中的至少一项。

比如，用户想对人脸图像中的眼睛进行变换，变换为白种人的眼睛，则可以从预先建立的模板中选择出白种人，模板中白种人的眼睛也可能不止一种，从中选择一种，对现在图像中的眼睛进行替换。

在一个实施例中，当子区域为皮肤区域和头发区域中的至少一项时，如图8所示，步骤S104可以实施为以下步骤S801-S802：

在步骤S801中，对子区域进行抠图处理；

在步骤S802中，对抠图处理之后的子区域进行形象变换。

由于在确定皮肤区域和头发区域时，主要是通过颜色来确定，比如头发是黑色的，则将图像中的黑色部分作为头发区域。但这种方法处理精确度不高，因此需要对上述区域进行二次处理，进而可以提高区域的精度，使处理后上述区域的边缘部分更加清晰。本实施例中对上述区域使用alphamatting(抠图算法)进行处理，对处理后的子区域进行形象变换，从而使确定出的区域更加精确。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图9是根据一示例性实施例示出的一种人脸图像处理的框图，如图9所示，该人脸图像处理装置包括：

获取模块91，用于获得包括人脸的预处理图像；

检测模块92，用于对获取模块91获得的预处理图像进行人脸检测，确定出待处理的目标区域；

区域划分模块93，用于对检测模块92确定出的待处理的目标区域进行区域划分，确定目标区域的子区域；

形象变换模块94，用于基于预先建立的子区域对应的形象模板，对区域划分模块93确定出的子区域进行形象变换。

形象模板例如可以是头发模板，头发模板包括头发的各种颜色，当目标区域为头发时，基于头发模板，对头发进行各种颜色的变换；形象模板还可以是人种模板，人种模板中包括该人种的脸型、嘴巴形状和颜色、眼睛形状和颜色、鼻子形状、皮肤颜色、头发颜色等该人种特有的人种属性。

本公开实施例的上述装置，通过对预处理图像进行人脸检测，并确定待处理的目标区域，对待处理的目标区域进行区域划分，确定目标区域的子区域，基于预先建立的子区域对应的形象模板，对子区域进行形象变换，从而可以根据形象模板将人脸图像中的某个区域进行整体替换，使人脸图像处理更加多样化，满足用户多方面的需求。

在一个实施例中，如图10所示，检测模块92，可包括：

标注子模块101，用于对预处理图像中的人脸区域进行检测，标注出人脸区域中的特征点；

确定子模块102，用于根据标注子模块101标注出的人脸区域中的特征点，确定出待处理的目标区域。

通过标记的特征点，就可以确定待处理的目标区域，比如眼镜、鼻子、头发等。

本实施例，对人脸区域进行检测，标注出人脸区域中的特征点，根据标注的特征点确定待处理的目标区域，从而可以准确、快捷的确定出待处理的目标区域。

在一个实施例中，待处理的目标区域的子区域可包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

在一个实施例中，如图11所示，上述装置还可包括：

收集模块95，用于收集多个人脸样本；

输入模块96，用于将收集模块95收集的人脸样本输入卷积神经网络训练出模型；

预测模块97，用于根据输入模块96训练出的模型预测预处理图像中人脸的属性，属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

本实施例中，收集多个人脸样本，将人脸样本输入卷积神经网络训练出模型，训练出的模型可以预测人脸的种族、性别、头发颜色、眼睛颜色、皮肤颜色等属性，从而可以确定出预处理图像中人脸在形象变换之前的状态，比如，通过模型预测出预处理图像中的人脸的种族是黄种人、女、黑色头发、黑色眼睛、黄皮肤。通过模型识别出头发为黑色，在确定头发区域时，只需寻找图像中的黑色区域即可，避免了背景干扰。通过确定人脸图像变换前的状态，可确定哪些区域需要变换，哪些区域不需要变换。比如目标是将皮肤变换为黑色，如果模型预测现有的皮肤颜色就是黑色的，则不需要进行变换。此外，训练出的模型还可以预测人脸形状和大小，比如，可以预测出是圆脸、大眼等，从而辅助目标区域和各子区域的确定，使确定出的目标区域和各子区域更加精确。

在一个实施例中，形象模板包括人种模板；如图12所示，形象变换模块94，可包括：

第一获取子模块121，用于基于模型预测出的预处理图像中人脸所属的人种，获取人种对应的人种模板，人种模板包含人种的人脸各关键部位的特征；

人种模板可包含多个人种的模板，比如黄种人、黑种人、白种人等人种模板。人种模板包含该人种的人脸各关键部位的特征，比如当人种是黑种人时，人种模板中皮肤的颜色是黑色的，头发的颜色是棕色或黑色，其眼睛、嘴巴都是黑种人特有的。

第一变换子模块122，用于根据第一获取子模块121获取的人种模板对子区域进行变换。

本实施例中，通过模型预测人种，并确定出对应的人种模板，从而可以快速对预处理图像中的人脸进行变换，并且由于人种模板中的脸型时由该人种的平均脸型表示的，因此变换更加精确，更符合大众的审美。

在一个实施例中，第一变换子模块还可用于：

基于模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与人种模板中相应部位的颜色不一致的子区域；

根据人种模板对不一致的子区域进行变换。

本实施例中，当预处理图像中头发颜色、眼睛颜色和皮肤颜色中的某一项或多项与人种模板的相应部位一致时，则不需要进行变换。

本实施例中，仅对不一致的区域进行变换，对一致的区域不再进行重复变换，从而提升了图像处理速度。

在一个实施例中，形象模板包括人种模板；如图13所示，形象变换模块94，可包括：

第二获取子模块131，用于获取选定的人种模板，人种模板包含人种的人脸各关键部位的特征；

第二变换子模块132，用于根据第二获取子模块131选定的人种模板对子区域进行变换。

用户可以任意选择自己感兴趣的模板，比如黑种人模板，根据选定的模板对一个或多个子区域进行变换。可以对目标区域整体(五官、头发、脸部轮廓和皮肤)进行变换，也可以只对某个子区域进行变换，比如，把人脸图像中的嘴巴替换为黑种人的嘴巴；把人脸图像中的皮肤颜色替换为黑种人的皮肤颜色(黑色)。

本实施例，预先选定人种模板，并基于人种模板对目标区域进行变换，由于人种模板中各个区域的特征是相对固定的，从而用户可以简单、快捷的进行选择，满足用户需求。

在一个实施例中，当子区域为皮肤区域和/或头发区域时，如图14所示，形象变换模块94，可包括：

抠图子模块141，用于对子区域进行抠图处理；

形象变换子模块142，用于对抠图子模块141进行抠图处理之后的子区域进行形象变换。

由于在确定皮肤区域和头发区域时，主要是通过颜色来确定，比如头发是黑色的，则将图像中的黑色部分作为头发区域。但这种方法处理精确度不高，因此需要对上述区域进行二次处理，进而可以提高区域的精度，使处理后上述区域的边缘部分更加清晰。本实施例中对上述区域使用alphamatting(抠图算法)进行处理，对处理后的子区域进行形象变换，从而使确定出的区域更加精确。

本公开实施例还提供一种人脸图像处理装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获得包括人脸的预处理图像；

对所述预处理图像进行人脸检测，确定出待处理的目标区域；

对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；

基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。

上述处理器还被配置为：对所述预处理图像中的人脸区域进行检测，标注出所述人脸区域中的特征点；

根据所述人脸区域中的特征点，确定出所述待处理的目标区域。

上述处理器还被配置为：所述待处理的目标区域的子区域可包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

上述处理器还被配置为：收集多个人脸样本；

将所述人脸样本输入卷积神经网络训练出模型；

根据所述模型预测所述预处理图像中人脸的属性，所述属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

上述处理器还被配置为：基于所述模型预测出的所述预处理图像中人脸所属的人种，获取所述人种对应的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述人种模板对所述子区域进行变换。

上述处理器还被配置为：基于所述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与所述人种模板中相应部位的颜色不一致的子区域；

根据所述人种模板对所述不一致的子区域进行变换。

上述处理器还被配置为：获取选定的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述选定的人种模板对所述子区域进行变换。

上述处理器还被配置为：对所述子区域进行抠图处理；

对抠图处理之后的所述子区域进行形象变换。

图15是根据一示例性实施例示出的一种用于人脸图像处理装置的框图，该装置适用于终端设备。例如，装置1600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

装置1600可以包括以下一个或至少两个组件：处理组件1602，存储器1604，电源组件1606，多媒体组件1608，音频组件1610，输入/输出(I/O)的接口1612，传感器组件1614，以及通信组件1616。

处理组件1602通常控制装置1600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1602可以包括一个或至少两个处理器1620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1602可以包括一个或至少两个模块，便于处理组件1602和其他组件之间的交互。例如，处理组件1602可以包括多媒体模块，以方便多媒体组件1608和处理组件1602之间的交互。

存储器1604被配置为存储各种类型的数据以支持在设备1600的操作。这些数据的示例包括用于在装置1600上操作的任何存储对象或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1606为装置1600的各种组件提供电力。电源组件1606可以包括电源管理系统，一个或至少两个电源，及其他与为装置1600生成、管理和分配电源相关联的组件。

多媒体组件1608包括在所述装置1600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或至少两个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1608包括一个前置摄像头和/或后置摄像头。当设备1600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1610被配置为输出和/或输入音频信号。例如，音频组件1610包括一个麦克风(MIC)，当装置1600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中，音频组件1610还包括一个扬声器，用于输出音频信号。

I/O接口1612为处理组件1602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1614包括一个或至少两个传感器，用于为装置1600提供各个方面的状态评估。例如，传感器组件1614可以检测到设备1600的打开/关闭状态，组件的相对定位，例如所述组件为装置1600的显示器和小键盘，传感器组件1614还可以检测装置1600或装置1600一个组件的位置改变，用户与装置1600接触的存在或不存在，装置1600方位或加速/减速和装置1600的温度变化。传感器组件1614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1616被配置为便于装置1600和其他设备之间有线或无线方式的通信。装置1600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1600可以被一个或至少两个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1604，上述指令可由装置1600的处理器1620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由上述装置1600的处理器执行时，使得上述装置1600能够执行一种人脸图像处理方法，包括：

获得包括人脸的预处理图像；

对所述预处理图像进行人脸检测，确定出待处理的目标区域；

对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；

基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。

在一个实施例中，所述对预处理图像进行人脸检测，确定出待处理的目标区域，可包括：

对所述预处理图像中的人脸区域进行检测，标注出所述人脸区域中的特征点；

根据所述人脸区域中的特征点，确定出所述待处理的目标区域。

在一个实施例中，所述待处理的目标区域的子区域可包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

在一个实施例中，在所述获得包括人脸的预处理图像之前，所述方法还可包括：

收集多个人脸样本；

将所述人脸样本输入卷积神经网络训练出模型；

根据所述模型预测所述预处理图像中人脸的属性，所述属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

在一个实施例中，所述形象模板包括人种模板；所述基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换，可包括：

基于所述模型预测出的所述预处理图像中人脸所属的人种，获取所述人种对应的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述人种模板对所述子区域进行变换。

在一个实施例中，所述根据所述人种模板对所述子区域进行变换，可包括：

基于所述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与所述人种模板中相应部位的颜色不一致的子区域；

根据所述人种模板对所述不一致的子区域进行变换。

在一个实施例中，所述形象模板包括人种模板；所述基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换，可包括：

获取选定的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述选定的人种模板对所述子区域进行变换。

在一个实施例中，当所述子区域为皮肤区域和/或头发区域时，所述对所述子区域进行形象变换，可包括：

对所述子区域进行抠图处理；

对抠图处理之后的所述子区域进行形象变换。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

1.一种人脸图像处理方法，其特征在于，包括：

获得包括人脸的预处理图像；

对所述预处理图像进行人脸检测，确定出待处理的目标区域；

对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；

基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。

2.根据权利要求1所述的方法，其特征在于，所述对预处理图像进行人脸检测，确定出待处理的目标区域，包括：

对所述预处理图像中的人脸区域进行检测，标注出所述人脸区域中的特征点；

根据所述人脸区域中的特征点，确定出所述待处理的目标区域。

3.根据权利要求1所述的方法，其特征在于，所述待处理的目标区域的子区域包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

4.根据权利要求1所述的方法，其特征在于，在所述获得包括人脸的预处理图像之前，所述方法还包括：

收集多个人脸样本；

将所述人脸样本输入卷积神经网络训练出模型；

根据所述模型预测所述预处理图像中人脸的属性，所述属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

5.根据权利要求4所述的方法，其特征在于，所述形象模板包括人种模板；所述基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换，包括：

基于所述模型预测出的所述预处理图像中人脸所属的人种，获取所述人种对应的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述人种模板对所述子区域进行变换。

6.根据权利要求5所述的方法，其特征在于，所述根据所述人种模板对所述子区域进行变换，包括：

基于所述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与所述人种模板中相应部位的颜色不一致的子区域；

根据所述人种模板对所述不一致的子区域进行变换。

7.根据权利要求1所述的方法，其特征在于，所述形象模板包括人种模板；所述基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换，包括：

获取选定的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

根据所述选定的人种模板对所述子区域进行变换。

8.根据权利要求1-7中任一项所述的方法，其特征在于，当所述子区域为皮肤区域和/或头发区域时，所述对所述子区域进行形象变换，包括：

对所述子区域进行抠图处理；

对抠图处理之后的所述子区域进行形象变换。

9.一种人脸图像处理装置，其特征在于，包括：

获取模块，用于获得包括人脸的预处理图像；

检测模块，用于对所述获取模块获得的预处理图像进行人脸检测，确定出待处理的目标区域；

区域划分模块，用于对所述检测模块确定出的待处理的目标区域进行区域划分，确定所述目标区域的子区域；

形象变换模块，用于基于预先建立的所述子区域对应的形象模板，对所述区域划分模块确定出的子区域进行形象变换。

10.根据权利要求9所述的装置，其特征在于，所述检测模块，包括：

标注子模块，用于对所述预处理图像中的人脸区域进行检测，标注出所述人脸区域中的特征点；

确定子模块，用于根据所述标注子模块标注出的人脸区域中的特征点，确定出所述待处理的目标区域。

11.根据权利要求9所述的装置，其特征在于，所述待处理的目标区域的子区域包括以下区域中的至少一个：皮肤区域、五官区域、脸部轮廓区域和头发区域。

12.根据权利要求9所述的装置，其特征在于，所述装置还包括：

收集模块，用于收集多个人脸样本；

输入模块，用于将所述收集模块收集的人脸样本输入卷积神经网络训练出模型；

预测模块，用于根据所述输入模块训练出的模型预测所述预处理图像中人脸的属性，所述属性包括以下属性中的至少一项：人种、性别、头发颜色、皮肤颜色和眼睛颜色。

13.根据权利要求12所述的装置，其特征在于，所述形象模板包括人种模板；所述形象变换模块，包括：

第一获取子模块，用于基于所述模型预测出的所述预处理图像中人脸所属的人种，获取所述人种对应的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

第一变换子模块，用于根据所述第一获取子模块获取的人种模板对所述子区域进行变换。

14.根据权利要求13所述的装置，其特征在于，所述第一变换子模块还用于：

基于所述模型预测出的预处理图像中头发颜色、眼睛颜色和皮肤颜色中的至少一项，确定与所述人种模板中相应部位的颜色不一致的子区域；

根据所述人种模板对所述不一致的子区域进行变换。

15.根据权利要求9所述的装置，其特征在于，所述形象模板包括人种模板；所述形象变换模块，包括：

第二获取子模块，用于获取选定的人种模板，所述人种模板包含所述人种的人脸各关键部位的特征；

第二变换子模块，用于根据所述第二获取子模块选定的人种模板对所述子区域进行变换。

16.根据权利要求9-15中任一项所述的装置，其特征在于，当所述子区域为皮肤区域和/或头发区域时，所述形象变换模块，包括：

抠图子模块，用于对所述子区域进行抠图处理；

形象变换子模块，用于对所述抠图子模块进行抠图处理之后的所述子区域进行形象变换。

17.一种人脸图像处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获得包括人脸的预处理图像；

对所述预处理图像进行人脸检测，确定出待处理的目标区域；

对所述待处理的目标区域进行区域划分，确定所述目标区域的子区域；

基于预先建立的所述子区域对应的形象模板，对所述子区域进行形象变换。