CN102096934B - 一种基于机器学习的人脸卡通画生成方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的人脸卡通画生成方法。本发明针对现有的人脸卡通画生成方法中的缺陷，包括生成的人脸卡通画形象不够逼真和缺少纹理特征，通过对人脸图像库及其对应的卡通图像库的图像进行轮廓提取及对齐，保证了生成的人脸卡通画与真实人脸之间的相似性，通过图像的分块处理和机器学习，产生一个最优滤波器组，使得生成的人脸卡通画具有较强的纹理特征。本发明的方法包括如下步骤：图像的轮廓提取及对齐；图像的分块处理；计算滤波器组；人脸卡通画的绘制合成。

Description

一种基于机器学习的人脸卡通画生成方法

技术领域

本发明涉及计算机视觉和计算机图形图像处理技术，特别涉及一种面向人脸视觉感知信息的非真实感表现技术，具体涉及人脸卡通画的生成方法。

背景技术

随着数字媒体技术的快速发展，人们的生活和工作方式也发生了很大的改变，通过计算机生成人物的卡通画在很多领域都有着广泛的应用，例如在移动数字娱乐、视频会议、网络游戏中，采用虚拟的卡通头像代替真实的人脸，不仅可以提高网络的数据传输速度，还营造了轻松和谐的氛围。

在已有的技术中，由计算机生成人脸卡通画主要包括三种方法：基于模板的方法、基于样本学习的方法和直接基于图像处理方法，下面分别进行阐述。

1.基于模板的方法

基于模板的方法主要是通过人为指定夸张变形参数并将其应用到任何脸部待夸张区域。该方法生成卡通人脸笔调生硬，难以表现艺术家多样的夸张模式。较早的二维卡通人脸合成研究是Brennan在1982年提出了一套以互动方式产生夸张肖像的系统，从认知学的角度对人脸特征突出的部分进行夸张，以此产生幽默感。随后产生了对输入照片的人脸轮廓进行夸张变形的方法，主要是通过人脸特征提取和获得的平均人脸特性进行比对，发现其相对突出的特征，采用主动形状模型特征提取和特征线对相结合的方法，对突出的特征实现自动变形，生成人物的卡通肖像。这种方法能够给出简单的人脸线条画，并对突出特征进行夸张变形。变形时，该方法针对一种特征进行变形可以得到一定的夸张效果，但对多个突出特征进行变形时不能保证特征的整体协调性，使生成的卡通画与源图像不一致。

2.基于样本学习的方法

基于样本学习的方法是以画家画的具有某种风格的肖像画数据库为基础，从训练样本中学习到的夸张模式运用到输入的真实人脸上，从而得到具有这种画家风格的卡通人脸肖像画。如在文献“H.Chen，L.Liang，Y.Q.Xu，H.Y.Shum，andN.N.Zheng，Example-based Automatic Portraiture，in Proc.5th Asia Conference.onComputer Vision，2002，127-140”中采用非均匀的马尔科夫随机场模型来描述肖像画与人脸图像之间的统计关系，对不同特征进行非参数采样来获取复杂的统计特征，最终可以自动生成与本人照片相似的特定风格的线条卡通画。但这种方法生成的卡通画不够逼真形象。

3.基于图像自身的方法

在文献：“Gooch B.，Reinhard E.，Gooch A.，Human facial illustrations：Creation and psychophysical evaluation.ACM Transactions on Graphics 23(1)，2004，27-44”中提出对人脸照片进行卷积计算，在频域获得人脸特征并进行处理，最后经过简单变形也可以获得卡通画，但这种方法生成的是简单的线条画，缺少纹理特征。

发明内容

本发明的目的是为了解决上述现有的人脸卡通画生成方法中的缺陷，包括生成的人脸卡通画形象不够逼真和缺少纹理特征，提出了一种基于机器学习的人脸卡通画生成方法。

为了实现上述目的，本发明的技术方案是：一种基于机器学习的人脸卡通画生成方法，包括如下步骤：

S1.图像的轮廓提取及对齐，分别从人脸图像库及其对应的卡通图像库，提取真实的人脸轮廓和人脸卡通画轮廓，分别用S_photo和S_cartoon表示人脸轮廓点和对应的人脸卡通画轮廓点的坐标值，通过平移和尺度变换使真实的人脸轮廓和对应的人脸卡通画轮廓对齐，即使得E＝e(S_photo，S_cartoon)最小，其中e(S_photo，S_cartoon)表示的是通过马氏距离来衡量真实人脸和对应的人脸卡通轮廓对齐误差，最后统计所对齐的轮廓，即计算对齐后的轮廓坐标的平均值，形成归一化模板；

S2.图像的分块处理，分别将对齐的人脸图像库及其对应的卡通图像库分成相互重叠相同大小的块，每一个人脸图像由若干个块组成用

表示，其中

表示人脸图像库中第i幅人脸图像的第j个块图像，同理，每一个对应的卡通图像也由相同的若干个块组成，用

表示，其中

表示卡通图像库中第i幅人脸卡通画的第j个块图像，其中，j的取值为：j＝1，…，N，N表示一幅图像分得的块数，i的取值为：i＝1，…，M，M表示人脸图像库包含的图像的数目，

S3.计算滤波器组F，预设一个滤波器组F′，滤波器组包含N个滤波器，用F′＝{f′₁，f′₂，…，f′_N}表示，具体计算过程如下：

S30.初始化化图像块矩阵

和

其中

是由每一幅人脸图像中第j个块图像组成的矩阵，是由每一幅卡通图像中第j个块图像组成的矩阵，其中j＝1，…，N；

S31.计算 ${\tilde{I}}_{{\mathrm{cartoon}}_j}=I_{{\mathrm{photo}}_j}\⊗f_j^{\′}=\{I_{{\mathrm{photo}}_{j,1}}\⊗f_j^{\′},I_{{\mathrm{photo}}_{j,2}}\⊗f_j^{\′},\·\·\·,I_{{\mathrm{photo}}_{j,M}}\⊗f_j^{\′}\},$ 其中

作为初始人脸卡通画的结果，比较生成的初始人脸卡通画

和对应的

即得到 ${\mathrm{Error}}_j=|I_{{\mathrm{cartoon}}_j}-{\tilde{I}}_{{\mathrm{cartoon}}_j}|=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}|I_{{\mathrm{cartoon}}_{j,k}}-{\tilde{I}}_{{\mathrm{cartoon}}_{j,k}}|;$

S32.利用对比发散和随机梯度上升法，通过Error_j获得一个新的滤波器f_j，用f_j代替f′_j，重复步骤S31，获得一个新的 ${\mathrm{Error}}_j^{\′}=|I_{{\mathrm{cartoon}}_j}-{\tilde{I}}_{{\mathrm{cartoon}}_j}|=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}|I_{{\mathrm{cartoon}}_{j,k}}-{\tilde{I}}_{{\mathrm{cartoon}}_{j,k}}|;$

S33.比较Error_j和Error_j′，若Error_j和Error_j′的差值的绝对值大于预设的值，使Error_j＝Error_j′，重复步骤S32，否则，f_j即为所求的滤波器，

S34.分别使j＝1，2，…，N，重复步骤S31-S33，即可求出对应的N个滤波器，得到滤波器组F＝{f₁，f₂，…，f_N}；

S4.人脸卡通画的绘制合成，输入一幅真实人脸图像，提取其轮廓，使其与步骤S1中形成的归一化模板对齐，并分成与图像库中块大小相同的N个块，用

表示，利用步骤S3得到的滤波器组F＝{f₁，f₂，…，f_N}计算生成的每一个卡通块，即j＝1，…，N，将得到的每一个卡通块按分块的顺序组合成人脸卡通画，相邻块重叠部分的像素值取这相邻两块重叠部分的平均值。至此，完成了人脸卡通画的绘制。

本发明的有益效果：本发明通过对人脸图像库及其对应的卡通图像库的图像进行轮廓提取及对齐，保证了生成的人脸卡通画与真实人脸之间的相似性，通过图像的分块处理和机器学习，产生一个最优滤波器组，使得生成的人脸卡通画具有较强的纹理特征。

附图说明

图1是图像数据库中部分真实人脸图像和对应的人脸卡通画图像。

图2是本发明的基于机器学习的人脸卡通画生成方法的流程示意图。

图3是本发明的基于机器学习的人脸卡通画生成方法的仿真结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行进一步的说明。

本发明首先通过对人脸图像库及其对应的卡通图像库的图像进行轮廓提取及对齐，保证了生成的人脸卡通画与真实人脸之间的相似性，使得生成的人脸卡通画形象逼真；通过图像的分块处理和机器学习，产生一个最优滤波器组，使得生成的人脸卡通画具有较强的纹理特征。本实施例使用的图像数据库中部分真实人脸图像和对应的人脸卡通画图像如图1所示，由于篇幅限制，只给出了部分图像。本发明的基于机器学习的人脸卡通画生成方法的流程示意图如图2所示，具体展开如下：

S1.图像的轮廓提取及对齐，分别从包含如图1所示的90幅人脸图像库及其对应的90幅卡通图像库中提取人脸轮廓和人脸卡通画轮廓，分别用S_photo和S_cartoon表示人脸轮廓和人脸卡通画轮廓点的坐标值，这里的轮廓点为68个点，通过平移和尺度变换使真实的人脸轮廓和对应的人脸卡通画轮廓对齐，即使得E＝e(S_photo，S_cartoon)最小，其中e(S_photo，S_cartoon)表示的是通过马氏距离来衡量真实人脸和对应的人脸卡通轮廓对齐误差，最后统计所对齐的轮廓，即计算对齐后的轮廓坐标的平均值，形成归一化模板。这里的轮廓提取采用主动形状模型方法进行，具体可参考：“T.F Cootes，C.J Taylor，D.H Cooper，et al.Active ShapeModels-Their Training and Application.Computer Vision and Image Understanding V01.61，NO.1，January，1995，28-59”；

S2.图像的分块处理，分别将对齐的人脸图像库及其对应的卡通图像库分成相互重叠相同大小的块，每幅图像的大小128×96，每个块的大小为16×16，重叠12个像素，每幅图像分成609个块，用表示，其中表示人脸图像库中第i幅人脸图像的第j个块图像，同理，每一个对应的卡通图像也由相同的若干个块组成，用

表示，其中

表示卡通图像库中第i幅人脸卡通画的第j个块图像，其中，j的取值为：j＝1，…，N，N表示一幅图像分得的块数，这里N＝609，i的取值为：i＝1，…，M，M表示人脸图像库包含的图像的数目，人脸图像库和卡通人脸图像库的图像数目相同，这里M＝90；

这样，图像库中所有的人脸图像分成的图像块可以用下面一个矩阵表示：

$A=\left[\begin{array}{c}{I}_{{\mathrm{photo}}_{\mathrm{1,1}}},I_{{\mathrm{photo}}_{\mathrm{2,1}}},\·\·\·,I_{{\mathrm{photo}}_{\mathrm{609,1}}}\\ I_{{\mathrm{photo}}_{\mathrm{1,2}}},I_{{\mathrm{photo}}_{\mathrm{2,2}}},\·\·\·,I_{{\mathrm{photo}}_{\mathrm{609,2}}}\\ \begin{array}{cccc}\·\·\·& \·\·\·& & \·\·\·\end{array}\\ I_{{\mathrm{photo}}_{\mathrm{1,90}}},I_{{\mathrm{photo}}_{\mathrm{2,90}}},\·\·\·,I_{{\mathrm{photo}}_{\mathrm{609,90}}}\end{array}\right];$

同理，图像库中所有的卡通图像分成的图像块也可以用下面一个矩阵表示：

$B=\left[\begin{array}{c}{I}_{{\mathrm{cartoon}}_{\mathrm{1,1}}},I_{{\mathrm{cartoon}}_{\mathrm{2,1}}},\·\·\·,I_{{\mathrm{cartoon}}_{\mathrm{609,1}}}\\ I_{{\mathrm{cartoon}}_{\mathrm{1,2}}},I_{{\mathrm{cartoon}}_{\mathrm{2,2}}},\·\·\·,I_{{\mathrm{cartoon}}_{\mathrm{609,2}}}\\ \begin{array}{cccc}\·\·\·& \·\·\·& & \·\·\·\end{array}\\ I_{{\mathrm{cartoon}}_{\mathrm{1,90}}},I_{{\mathrm{cartoon}}_{\mathrm{2,90}}},\·\·\·,I_{{\mathrm{cartoon}}_{\mathrm{609,90}}}\end{array}\right];$

S3.计算滤波器组F，预设一个滤波器组F′，滤波器组包含N个滤波器，每个滤波器采用的是3*3的随机滤波器，用F′＝{f′₁，f′₂，…，f′_N}表示，具体计算过程如下：

S30.初始化化图像块矩阵

和

其中 $I_{{\mathrm{photo}}_j}=\{I_{{\mathrm{photo}}_{j,1}},I_{{\mathrm{photo}}_{j,2}},\·\·\·,I_{{\mathrm{photo}}_{j,90}}\}=\{I_{{\mathrm{photo}}_{j,1}}\⊗f_j^{\′},I_{{\mathrm{photo}}_{j,2}}\⊗f_j^{\′},\·\·\·,I_{{\mathrm{photo}}_{j,90}}\⊗f_j^{\′}\}$ 是由每一幅人脸图像中第j个块图像组成的矩阵，即上述矩阵A的第j列列向量，

是由每一幅卡通图像库中的卡通图像的第j个块图像组成的矩阵，即上述矩阵B的第j列列向量，其中j＝1，…，609；

S31.计算

作为初始人脸卡通画的结果，比较生成的初始人脸卡通画

和对应的

即得到 ${\mathrm{Error}}_j=|I_{{\mathrm{cartoon}}_j}-{\tilde{I}}_{{\mathrm{cartoon}}_j}|=\underset{k=1}{\overset{90}{\mathrm{\Σ}}}|I_{{\mathrm{cartoon}}_{j,k}}-{\tilde{I}}_{{\mathrm{cartoon}}_{j,k}}|;$

S32.利用对比发散和随机梯度上升法，通过Error_j获得一个新的滤波器f_j，用f_j代替f′_j，重复步骤S31，获得一个新的 ${\mathrm{Error}}_j^{\′}=|I_{{\mathrm{cartoon}}_j}-{\tilde{I}}_{{\mathrm{cartoon}}_j}|=\underset{k=1}{\overset{90}{\mathrm{\Σ}}}|I_{{\mathrm{cartoon}}_{j,k}}-{\tilde{I}}_{{\mathrm{cartoon}}_{j,k}}|.$ 对比发散法可参考文献：“Hinton，G.E.Training products of experts by minimizingcontrastive divergence.Neural Computation，14(8)，1771-1800”，随机梯度上升法可参考文献：“Bottou L.Stochastic learning.Advanced lectures on machinelearning.2004”，在此不再进行详细描述；

S33.比较Error_j和Error_j′，若Error_j和Error_j′的差值的绝对值大于预设的值，预设的阈值为0.8，使Error_j＝Error_j′，重复步骤S32，否则，f_j即为所求的滤波器；

S34.分别使j＝1，2，…，609，重复步骤S31-S33，即可求出对应的609个滤波器，得到滤波器组F＝{f₁，f₂，…，f₆₀₉}；

以上步骤S1-S3为训练过程，也是机器学习的过程，即利用人脸图像库，通过多次迭代，获得所需要的滤波器组的过程。

S4.人脸卡通画的绘制合成，输入一幅真实人脸图像，提取其轮廓，使其与步骤S1中形成的归一化模板对齐，即脸部器官的对齐，分成相同大小的609个块，用

表示，利用步骤S3得到的滤波器组计算每一个人脸块生成的卡通块，即

j＝1，…，609。将得到的每一个人脸卡通块按分块的顺序组合成人脸卡通画，相邻块重叠部分的像素值取这相邻两块重叠部分的平均值。步骤S4可以看作是测试过程，也即是最终的人脸卡通画的绘制合成过程。

在本实施例中，如图3上部分所示，采用了4幅人脸图像进行测试。图3下部分是仿真生成的人脸卡通画，从图上可以看出，生成的人脸卡通画形象与真实的人脸图像相比，形象逼真并且具有较强的纹理特征。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为发明的保护范围并不局限于这样的特别陈述和实施例。凡是根据上述描述做出各种可能的等同替换或改变，均被认为属于本发明的权利要求的保护范围。

Claims (2)

1.一种基于机器学习的人脸卡通画生成方法，包括如下步骤：

S1.图像的轮廓提取及对齐，分别从人脸图像库及其对应的卡通图像库，提取真实的人脸轮廓和人脸卡通画轮廓，分别用S_photo和S_cartoon表示人脸轮廓点和对应的人脸卡通画轮廓点的坐标值，通过平移和尺度变换使真实的人脸轮廓和对应的人脸卡通画轮廓对齐，即使得E＝e(S_photo，S_cartoon)最小，其中e(S_photo，S_cartoon)表示的是通过马氏距离来衡量真实人脸和对应的人脸卡通轮廓对齐误差，最后统计所对齐的轮廓，即计算对齐后的轮廓坐标的平均值，形成归一化模板；

S2.图像的分块处理，分别将对齐的人脸图像库及其对应的卡通图像库分成相互重叠相同大小的块，每一个人脸图像由若干个块组成，用表示，其中

表示人脸图像库中第i幅人脸图像的第j个块图像，同理，每一个对应的卡通图像也由相同的若干个块组成，用表示，其中

表示卡通图像库中第i幅人脸卡通画的第j个块图像，其中，j的取值为：j＝1，...，N，N表示一幅图像分得的块数，i的取值为：i＝1，…，M，M表示人脸图像库包含的图像的数目，

S3.计算滤波器组F，预设一个滤波器组F′，滤波器组包含N个滤波器，用F′＝{f′₁，f′₂，…，f′_N}表示，具体计算过程如下：

S30.初始化化图像块矩阵

和

其中

是由每一幅人脸图像中第j个块图像组成的矩阵，

是由每一幅卡通图像中第j个块图像组成的矩阵，其中j＝1，…，N；

S31.计算 ${\tilde{I}}_{{\mathrm{cartoon}}_j}=I_{{\mathrm{photo}}_j}\⊗f_j^{\′}=\{I_{{\mathrm{photo}}_{j,1}}\⊗f_j^{\′},I_{{\mathrm{photo}}_{j,2}}\⊗f_j^{\′},\·\·\·,I_{{\mathrm{photo}}_{j,M}}\⊗f_j^{\′}\},$ 其中

作为初始人脸卡通画的结果，比较生成的初始人脸卡通画

和对应的即得到 ${\mathrm{Error}}_j=|I_{{\mathrm{cartoon}}_j}-{\tilde{I}}_{{\mathrm{cartoon}}_j}|=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}|I_{{\mathrm{cartoon}}_{j,k}}-{\tilde{I}}_{{\mathrm{cartoon}}_{j,k}}|;$

S32.利用对比发散和随机梯度上升法，通过Error_j获得一个新的滤波器f_j，用f_j代替f′_j，重复步骤S31，获得一个新的 ${\mathrm{Error}}_j^{\′}=|I_{{\mathrm{cartoon}}_j}-{\tilde{I}}_{{\mathrm{cartoon}}_j}|=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}|I_{{\mathrm{cartoon}}_{j,k}}-{\tilde{I}}_{{\mathrm{cartoon}}_{j,k}}|;$

S33.比较Error_j和Error_j′，若Error_j和Error_j′的差值的绝对值大于预设的值，使Error_j＝Error_j′，重复步骤S32，否则，f_j即为所求的滤波器，

S34.分别使j＝1，2，…，N，重复步骤S31-S33，即可求出对应的N个滤波器，得到滤波器组F＝{f₁，f₂，…，f_N}；

S4.人脸卡通画的绘制合成，输入一幅真实人脸图像，提取其轮廓，使其与步骤S1中形成的归一化模板对齐，并分成与图像库中块大小相同的N个块，用

表示，利用步骤S3得到的滤波器组F＝{f₁，f₂，…，f_N}计算生成的每一个卡通块，即

j＝1，…，N，将得到的每一个卡通块按分块的顺序组合成人脸卡通画，相邻块重叠部分的像素值取这相邻两块重叠部分的平均值。

2.根据权利要求1所述的基于机器学习的人脸卡通画生成方法，其特征在于，步骤S1所述的轮廓提取采用的是主动形状模型方法。

Images