CN103456010B - 一种基于特征点定位的人脸卡通画生成方法 - Google Patents

Abstract

本发明提供一种基于特征点定位的人脸卡通画生成方法，包括：获取输入图像的特征点，所述特征点包括具有标志性的面部轮廓点；对输入图像中的眼睛、眉毛、鼻子分别进行重叠分块；在人脸图像块库中为所有分块寻找最佳匹配块，各最佳匹配块对应在卡通图像块库的卡通块即为找到的卡通匹配块；将卡通匹配块合成为完整的器官块，按照特征点的位置将这些器官放到输入图像的相应位置；按照特征点的位置将面部轮廓与嘴巴放到输入图像的相应位置；将头发部分放到输入图像的相应位置；对卡通化后的图像进行上色，生成最终的人脸卡通画。本发明利用特征点对输入图像进行分块，从而寻找出最佳匹配块合成完整器官，能够较快、较好地接近真实人脸。

Description

一种基于特征点定位的人脸卡通画生成方法

技术领域

本发明属于图像处理和计算机视觉技术，具体涉及是一种基于单幅正面人脸图像的卡通画生成方法。

背景技术

目前人脸卡通化的方法主要有基于模板的方法、基于图像处理的方法、基于样本学习的方法等。

基于模板的方法主要是通过观察与统计的方法找到测试人脸与“平均人脸”的不同之处，并通过人为的指定夸张变形参数将不同之处进行夸张处理。由于基于模板的方法主要针对的是指定的特征进行夸张变形，虽具有较强的交互性，但是变化形式固定，缺乏艺术感和美感。

基于图像处理的方法是对图像本身的像素进行处理，处理后的图像能自动生成具有幽默效果的卡通图像。该方法虽然最后的生成结果具有一定的夸张幽默的效果，但是存在着与真实人脸图像相差甚远、计算时间较长、实时性较差等问题。

基于样本学习的方法是建立在由艺术家绘制的具有某种艺术风格的图像训练库的基础上，将从训练样本中学习到的某种夸张方式运用到输入的测试图像上，从而得到具有同样某种风格的卡通人脸图像。其中最具有代表性的有H.Chen等人的非均匀的马尔可夫随机场模型、L.Liang等人的PLS（partialleast-squares）算法和J.F.Liu等人的主成分分析对应映射的方法。这些方法可以有效的生成具有某种艺术风格的卡通人脸，但学习过程极为复杂，并且生成的卡通图像和输入的人脸图像在相似性上存在很大差异。

发明内容

本发明所要解决的技术问题是，提供一种与输入人脸的相似性较高，卡通效果较好且易于实现的人脸卡通化方法。

本发明为解决上述技术问题所采用的技术方案是，一种基于特征点定位的人脸卡通画生成方法，包括以下步骤：

将输入图像转换为灰度图像，获取输入图像的特征点，所述特征点包括具有标志性的面部轮廓点、眉毛轮廓点、眼睛轮廓点、鼻子轮廓点以及嘴巴轮廓点；

根据获取的眉毛轮廓点、眼睛轮廓点、鼻子轮廓点对输入图像中的眼睛、眉毛、鼻子分别进行重叠分块，针对一个面部器官使用3个或3个以上的分块；

在人脸图像块库中为所有分块寻找最佳匹配块，各最佳匹配块对应在卡通图像块库的卡通块即为找到的卡通匹配块；

将卡通匹配块合成为完整的器官块，按照特征点的位置将这些器官放到输入图像的相应位置；

面部轮廓直接通过勾勒面部轮廓点合成；嘴巴轮廓通过勾勒嘴巴轮廓点合成外唇线与中唇线，并按照特征点的位置将面部轮廓与嘴巴放到输入图像的相应位置；

取得输入图像中头发区域的掩膜，从而得到头发部分，并将头发部分放到输入图像的相应位置；

对卡通化后的图像进行上色，生成最终的人脸卡通画。

本发明利用特征点对输入图像进行分块，从而寻找出最佳匹配块合成完整器官，能够较快、较好地接近真实人脸。

具体的，通过主动表观模型AAM搜索特征点。

进一步的，为了保证合成之后左右眼睛能够对称且大小一致，仅对一只眼睛的分块寻找最佳匹配块，并在卡通图像库中将与这只眼睛对应的卡通匹配块对称的卡通图块作为另一只眼睛的卡通匹配块。

进一步的，头发部分的提取使用利用统计学习的方法，依据训练库中头发的颜色统计直方图和位置直方图，分别对输入图像进行颜色阈值处理和位置阈值处理，从而得到头发区域的掩膜，进而提取出头发部分。

具体的，卡通图像的上色利用交互式分割方法首先得到人脸肤色区域的掩膜，从而用一种接近肤色的颜色对脸部区域进行上色。对于嘴巴区域的上色首先勾勒出嘴巴的外部唇线，再对闭合区域内部进行颜色填充。

进一步的，上色后，还可以根据用户选择对合成后的整条眉毛进行修正：对当前卡通化生成的整条眉毛用HOG特征进行描述，在卡通图像库中选择HOG特征与当前眉毛HOG特征绝对误差最小的整条眉毛代替当前眉毛。

进一步的，上色后，还可以对面部轮廓线检测不准确的部分进行修正:得到输入图像的肤色区域的掩膜，从而得到肤色区域，对该肤色区域图像求梯度；

将面部轮廓的特征点分为三段，第一段为左边脸部轮廓，第二段为下巴轮廓，第三段为右边脸部轮廓；将第一、第三段的特征点在左右邻域内整体移动，对第二段的特征点在上下邻域内整体移动，找梯度最大的位置作为该特征点的新的位置；

最后利用曲线拟合的方法进行对新确定的特征点进行轮廓线的平滑。

本发明的有益效果是，生成的卡通效果好，与输入图像有较高的相似性。

附图说明

图1：本发明流程示意图。

图2：输入的原始测试图像。

图3：特征点定位后的图像。

图4(a)：人脸、卡通训练库分块具体示意图，其中蓝色点为选择的定位特征点，矩形框为待分块的图像区域范围。

图4(b)：为具体每个块的分块方法示意图。

图5：步骤二人脸卡通生成方法合成后的卡通人脸效果图。

图6：交互式分割提取肤色部分的示意图。

图7：提取肤色区域获得的掩膜图。

图8：人脸上色后合成完整的卡通画效果图。

图9：卡通化眉毛效果不好的原始测试图像。

图10：生成眉毛效果不好的卡通图像。

图11：修正眉毛后的效果图。

图12：轮廓特征点定位不准确的卡通效果图。

图13：修正轮廓后的效果图。

具体实施方式

从训练到检测来实现人脸卡通画生成，步骤如图1所示：

步骤一、人脸特征点的定位。首先对于人脸训练库（人脸图像库）和卡通训练库（卡通图像库）中的图像进行预处理，包括对齐、将所有图像归一化到250*300大小。基于AAM算法，即主动表观模型，将其应用到人脸卡通化方面，对于人脸图像库和卡通图像库进行特征点的手工标定，并利用AAM模型对其进行训练，得到人脸图像和卡通图像的平均脸，并从模型中得到人脸图像（照片）平均脸到真实脸的变化过程。同时通过该模型，对于输入的测试图像就可以得到对应的特征点的位置信息，保存这些特征点的坐标信息。本实施例中标记点数为110个点。

步骤二、卡通人脸的合成。具体包括以下分步骤：

第1步：人脸图像块库、卡通图像块库的建立。首先将预处理之后的训练库中的图像转化为灰度图像，通过AAM搜索得到所有人脸照片图像库和对应卡通图像库中面部主要器官的特征点，通过对主要特征点的定位进行五官的分块，其中分块的器官有眼睛、眉毛、鼻子，定位特征点选择具有标志性的点，比如眼睛眉毛的内角点、鼻子的鼻尖点。采用重叠分块的方法，对于分块及块的大小，眉毛进行横向分4块，块大小为20*30，横向重叠20个像素，眼睛横向分5块，块大小为20*20，横向重叠15个像素，鼻子横向分4块，块大小为30*30，横向重叠20个像素。由此可得到人脸图像块库与卡通图像块库。

第2步：测试图像的分块。对于输入的测试图像，如图2所示，首先利用AAM算法得到对应的特征点，如图3所示，通过第1步方法对测试图像的对应的主要器官（如图4（a）所示）进行分块，由此得到输入测试图像对应的分块，如图4（b）所示。

第3步：块匹配，寻找最优卡通匹配块。

在人脸图像块库中为所有分块寻找最佳匹配块，各最佳匹配块对应在卡通图像块库的卡通块即为找到的左眼。

其中对于眼睛找卡通匹配块时，为了保证合成之后左右眼睛能够对称且大小一致，因此只对左眼块用上述方法找最佳匹配块，此时在卡通图像块库中与左眼卡通匹配块对称的卡通块即为右眼的卡通匹配块。

第4步：主要器官的合成。包括眼睛、眉毛、鼻子的合成，其中嘴巴部分的合成在上色的过程中来生成。对于第3步找到的这些卡通匹配块按照顺序，采用加权平均的方法合成完整的器官块，对这些器官块为了去除其灰色背景部分，采用统计直方图，用最大类间差法otsu算法选择使类间方差最大的灰度值为阈值，对每个器官块进行阈值处理，具有自适应性，克服了采用固定阈值的弊端，这样可以得到只保留主要器官而背景为白色的器官块。最后按照定位的特征点的位置将这些器官放到原图像相应的位置。

第5步：脸部轮廓的合成。为了保留轮廓的完整性，并使卡通脸更具有线条感和娱乐性，面部轮廓直接用之前AAM搜索到的轮廓的特征点勾勒出来，如图5所示。

步骤三、头发的提取，主要采用统计学习的方法。具体包括以下分步骤：

第1步：利用LabelMe工具对人脸训练库中图像的头发区域进行分割，得到头发部分的掩膜，从而得到头发区域。

第2步：对于训练库中所有提取的头发部分的R、G、B三个通道进行颜色直方图的统计，同时对于非掩膜区域的人脸肤色区域也进行R、G、B三个通道颜色直方图的统计，通过三个通道的头发部分和肤色部分颜色统计直方图的比较可分别得到R、G、B三个的阈值。

第3步：对于训练库中所有得到的头发掩膜图像进行位置直方图的统计，这样可以得到头发区域大致的位置，可以根据统计的位置直方图选定某一合适的阈值。

第4步：对于输入的测试图像，先用R、G、B三个通道的阈值对图像进行处理，将三个通道得到的掩膜进行与运算得到一个掩膜，再对该掩膜图像计算位置直方图，用对应的阈值对掩膜进行进一步约束，从而得到最终的头发区域的掩膜，从而可提取出头发部分，将该头发部分放回到原图像上相应的位置。

步骤四、生成卡通图像的上色。主要分为以下分步骤：

第1步：利用Grabcut算法对输入测试图像进行交互式分割，如图6所示，从而得到人脸肤色区域的掩膜，如图7所示，利用该掩膜对人脸肤色区域进行上色。

第2步：对于眉毛、眼睛、鼻子部分，由于这些部分都接近黑色，所以直接用卡通化过程中生成的灰度图像代替。

第3步：嘴巴的上色。将AAM算法检测到的嘴巴部分特征点用一种选定的颜色连接成一条封闭的曲线，从而形成外唇线。在闭合区域的内部填充一种接近嘴唇的颜色，在中唇线部分用黑色线条进行上色，如图8所示。

步骤五、眉毛的交互式修正。由于输入的测试图像可能存在遮挡，从而造成合成的眉毛效果不理想，如图9所示，在该方法中提供了用户交互的修正眉毛的权利。主要分为以下几个分步骤：

第1步：对于卡通训练库中的眉毛进行提取，从而得到左右眉毛库，并对各眉毛用HOG特征进行描述。

第2步：对卡通化生成的眉毛用HOG特征进行描述，并计算得出与库中绝对误差最小的眉毛，从而作为卡通画中相应的眉毛，如图10所示。

步骤六：轮廓的修正。轮廓的修正可以是自动的，也可以是交互式的。由于AAM算法的局限性，使得搜索得到的特征点的位置不准确，尤其体现在脸部轮廓线部分，如图12所示。本方法对于轮廓部分进行修正，具体分为以下几个分步骤：

第1步：对于步骤四得到人脸肤色区域的掩膜，得到对应的输入测试图像的脸部肤色区域，对该部分图像求梯度，在AAM算法生成的特征点分为三段，标号为0～10的为第一段（左边脸部轮廓），11～29为第二段（下巴轮廓），30～40为第三段（右边脸部轮廓），对第一、第三段的特征点在左右邻域内整体移动，对第二段的特征点在上下邻域内整体移动，找梯度最大的位置作为该特征点的新的位置。

第2步：对这些新的特征点，利用曲线拟合的方法进行轮廓线的平滑，从而得到较为准确的特征点的位置，如图13所示。

上述步骤为一个优选实施例，本领域技术人员可以根据实际需求减少或调整某些步骤。

Claims (6)

1.一种基于特征点定位的人脸卡通画生成方法，其特征在于，包括以下步骤：

将输入图像转换为灰度图像，获取输入图像的特征点，所述特征点包括具有标志性的面部轮廓点、眉毛轮廓点、眼睛轮廓点、鼻子轮廓点以及嘴巴轮廓点；

根据获取的眉毛轮廓点、眼睛轮廓点、鼻子轮廓点对输入图像中的眼睛、眉毛、鼻子分别进行重叠分块，针对一个面部器官使用3个或3个以上的分块；

在人脸图像块库中为所有分块寻找最佳匹配块，各最佳匹配块对应在卡通图像块库的卡通块即为找到的卡通匹配块；

将卡通匹配块合成为完整的器官块，按照特征点的位置将这些器官放到输入图像的相应位置；

面部轮廓直接通过勾勒面部轮廓点合成；嘴巴轮廓通过勾勒嘴巴轮廓点合成外唇线与中唇线，并按照特征点的位置将面部轮廓与嘴巴放到输入图像的相应位置；

取得输入图像中头发区域的掩膜，从而得到头发部分，并将头发部分放到输入图像的相应位置；

对卡通化后的图像进行上色，生成最终的人脸卡通画；

其中，取得输入图像中头发区域的掩膜的具体方法是：

用R、G、B三个通道的颜色阈值对输入图像进行二值处理得到三个通道对应掩膜，再将三个通道的掩膜进行与运算得到一个掩膜图像，再对该掩膜图像计算位置直方图，用位置阈值对掩膜图像再次进行约束，从而得到最终的头发区域的掩膜；

所述R、G、B三个通道的阈值通过以下方式得到：

对训练库中图像的头发区域进行分割，得到头发部分的掩膜，从而得到头发区域；非掩膜区域为肤色区域；对于训练库中所有提取的头发部分的R、G、B三个通道进行颜色直方图的统计，同时对于肤色区域也进行R、G、B三个通道颜色直方图的统计，通过三个通道的头发部分和肤色部分颜色统计直方图的比较可分别得到R、G、B三通道的颜色阈值；

所述位置阈值通过以下方式得到：

对于训练库中所有的头发部分的掩膜进行位置直方图的统计，根据统计的位置直方图选定位置阈值。

2.如权利要求1所述一种基于特征点定位的人脸卡通画生成方法，其特征在于，通过主动表观模型AAM搜索特征点。

3.如权利要求1所述一种基于特征点定位的人脸卡通画生成方法，其特征在于，仅对一只眼睛的分块寻找最佳匹配块，并在卡通图像块库中将与这只眼睛对应的卡通匹配块对称的卡通图块作为另一只眼睛的卡通匹配块。

4.如权利要求1所述一种基于特征点定位的人脸卡通画生成方法，其特征在于，对图像进行上色的具体方法是：

肤色区域上色:利用预分割Grabcut算法对输入测试图像进行交互式分割，从而得到人脸肤色区域的掩膜，利用该掩膜对人脸肤色区域进行上色；

嘴巴上色：用选定的颜色对外唇线及中唇线进行上色，对在封闭的外唇线形成的闭合区域内填充唇色。

5.如权利要求1所述一种基于特征点定位的人脸卡通画生成方法，其特征在于，对图像进行上色之后，还包括眉毛的交互式修正步骤：

当用户确定对眉毛进行修正后，对当前卡通化生成的整条眉毛用HOG特征进行描述，在卡通图像库中选择HOG特征与当前眉毛HOG特征绝对误差最小的整条眉毛代替当前眉毛。

6.如权利要求1所述一种基于特征点定位的人脸卡通画生成方法，其特征在于，对图像进行上色之后，还包括面部轮廓的修正步骤：

得到输入图像的肤色区域的掩膜，从而得到肤色区域，对该肤色区域图像求梯度；

将面部轮廓的特征点分为三段，第一段为左边脸部轮廓，第二段为下巴轮廓，第三段为右边脸部轮廓；将第一、第三段的特征点在左右邻域内整体移动，对第二段的特征点在上下邻域内整体移动，找梯度最大的位置作为该特征点的新的位置；

最后利用曲线拟合的方法进行对新确定的特征点进行轮廓线的平滑。