CN101655985B - 多种风格人脸卡通样本的统一参数化方法 - Google Patents

Abstract

本发明公开一种多种风格人脸卡通样本的统一参数化方法。该方法分层表示人脸卡通画样本的构图和绘制，通过绘制实体布局参数(PaintingStyle parameters)--PSP定义卡通画样本的构图，绘制实体参数(PaintingEntity Parameters)--PEP定义卡通画的绘制方法。这种统一的参数化数据组织架构，使绘制算法可以完全根据真实人脸几何特征，学习人脸卡通画样本的构图和绘制方法，通过绘制实体布局的序贯优化计算和绘制实体的变形转移，自动生成特定人脸对象的个性化人脸卡通画。并且使计算机可以自动学习不同艺术风格的卡通画绘制方法，具有很好的可扩展性和数据独立性。

Description

多种风格人脸卡通样本的统一参数化方法

技术领域

本发明属于计算机视觉和图形图像处理领域，特别涉及一种多种风格人脸卡通样本的统一参数化方法。

背景技术

将人类艺术家绘制的人脸卡通画样本参数化，构成人脸卡通样本空间，输入人脸通过学习卡通样本的绘制方法，可以自动合成指定风格的人脸卡通画。

但是，艺术家所绘制人脸卡通画风格是不完全相同的，不同风格的卡通画绘制方法是有差异的，作为人脸卡通画自动合成的基础，如何构建能满足不同风格卡通样本的统一参数化人脸卡通样本空间，将直接关系到人脸卡通画绘制算法的生成效果和适用范围。

发明内容

本发明的目的在于提供一种多种风格人脸卡通样本的统一参数化方法，对输入人脸图像，可以自动建立卡通人脸参数模型，人脸卡通画绘制引擎可以自动生成输入人脸的人脸卡通画。

为达到上述目的，本发明采用的技术方案是：

1)建立人脸卡通画样本的参数化模型

人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层，记为Sample＝{R，P}；

参考形状层将人脸对象分为整体结构和五官形状，记为R＝(M，S)，M表示人脸整体结构，记录五官、配饰物的位置信息；S表示组成人脸对象的部件集，由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义；

绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集，记为P＝(L，E)，L记录人脸卡通画的绘制实体布局，表示卡通画的构图和整体风格，E表示人脸卡通画的绘制实体集，与人脸对象的部件集元素一一对应，定义每个部件的绘制形状、绘制元素和绘制规则；

2)人脸卡通画样本的部件化

将一幅需要绘制的人脸卡通画样本分成七个局部部件：脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状，每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数，即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本；

3)特定人脸绘制实体布局的序贯优化计算

(1)利用输入人脸几何特征计算每个五官部件的位置(x，y，w，h，θ)，按照平均人脸绘制实体布局参数，估计一个初始值L^estimate，将选取的每一个局部部件样本放置在相应的位置；

(2)设输入的人脸对象参考形状的整体结构M^face是人脸卡通样本空间所有样本整体结构的线性组合 $M^{\mathrm{face}}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k{M}^k,$ 式中，N为样本库中样本个数，系数a_k是样本权重并且满足 $a_k\≥0,\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k=1,$ 求解出系数a_k，利用系数a_k和对应绘制式样的绘制实体布局{L^k，k＝1...N}求得输入人脸绘制实体布局的理想值 $L^{\mathrm{optimal}}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k{L}^k.$

(3)将L^estimate向L^optimal迭代优化直到收敛，得到输入人脸的绘制实体布局L^face；

4)特定人脸绘制实体的变形转移计算

给定特定人脸五官几何特征 $\left\{{(x_i^t,y_i^t)}^T\right|i=1,\·\·\·,N\}$ 和选择的五官部件样本的绘制实体形状特征 $\left\{{(x_i^s,y_i^s)}^T\right|i=1,\·\·\·,N\},$ 在特征点之间存在一一对应关系，采用薄板样条变换找到一个非刚性映射f(x，y)＝(f₁(x，y)，f₂(x，y))^T，代价函数为E_TPS(f)，

$E_{\mathrm{TPS}}\left(f\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{(x_i^t,y_i^t)}^T-f\left({(x_i^s,y_i^s)}^T\right)\left|\right|}^2+\mathrm{\λ}\∫\∫[{\left(\frac{{\∂}^{2}f}{\∂x^2}\right)}^2+2{\left(\frac{{\∂}^{2}f}{\∂x\∂y}\right)}^2+{\left(\frac{{\∂}^{2}f}{\∂y^2}\right)}^2]\mathrm{dxdy}---\left(1\right)$

给定一个λ，min(E_TPS(f))存在唯一解：

$f_1(x,y)=a_{11}+a_{12}x+a_{13}y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{1i}U\left(\right||{(x,y)}^T-{(x_i^s,y_i^s)}^T|\left|\right)$

(2)

$f_2(x,y)=a_{21}+a_{22}x+a_{23}y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{2i}U\left(\right||{(x,y)}^T-{(x_i^s,y_i^s)}^T|\left|\right)$

其中U(r)＝r² ln r，λ用于调整非刚性映射f的扭曲程度，通过最小化E_TPS(f)求解系数a₁₁，a₁₂，a₁₃，a₂₁，a₂₂，a₂₃，w_1i，w_2i，得到样本绘制实体形状与特定人脸五官几何特征之间的映射关系f，将f作为五官匹配得到的样本E_shape ^optimal的变形函数，即 $E_{\mathrm{shape}}^{\mathrm{cp}}=f\left(E_{\mathrm{shape}}^{\mathrm{optimal}}\right),$ 变形后得到的绘制实体形状E_shape ^cp按照整体布局L^face中确定的五官大小和位置参数，得到特定人脸I^face的绘制式样P^face＝(L^face，E^face)。

本发明的人脸卡通画的绘制实体布局是记录样本中各绘制实体的位置，将卡通画样本分为7个绘制实体：脸型、左眉、右眉、左眼、右眼、鼻子和嘴巴，每个绘制实体的位置由5个参数(x，y，w，h，θ)决定，它们分别是部件中心点坐标(x，y)，部件宽度w、高度h和倾斜角θ；

所说的人脸卡通画的绘制实体集中的每个绘制实体对应人脸对象部件集中的一个五官部件，绘制实体集定义部件样本的绘制实体形状、绘制元素和绘制属性，记为PEP＝(绘制实体形状，绘制元素，绘制属性)，绘制实体形状描述绘制实体的几何形状；绘制实体有两类基本的绘制元素：线条元素和区域元素，线条元素按照绘制风格用来勾画人脸轮廓，区域元素定义绘制实体所表现的有界区域；线条元素的绘制属性包括：线条模型、线条颜色，区域元素的绘制属性包括区域填充纹理模型、区域绘制颜色。

本发明针对多种风格人脸卡通画样本的参数化和卡通画，对不同绘制风格的人脸卡通样本进行统一参数化组织的方法。利用统一参数化人脸卡通样本空间，绘制算法可自动学习指定风格人脸卡通画样本的绘制方法，合成指定绘制风格的人脸卡通画。而不同风格人脸卡通画的生成只需要同一个绘制算法就可以完成，绘制算法对卡通样本绘制风格具有数据独立性。

附图说明

图1是本发明人脸卡通画样本参数的分层定义图；

图2是本发明人脸卡通画样本绘制实体的位置参数定义图；

图3是本发明自动合成的人脸卡通画；

图4是本发明自动合成不同配饰物(眼镜、发型)的人脸卡通画；

图5是本发明相同绘制引擎自动合成的不同绘制风格的人脸卡通画。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明包括以下步骤：

1)建立人脸卡通画样本的参数化模型

参见图1，人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层，记为Sample＝{R，P}；

参考形状层将人脸对象分为整体结构和五官形状，记为R＝(M，S)，M表示人脸整体结构，记录五官、配饰物的位置信息；S表示组成人脸对象的部件集，由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义；

绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集，记为P＝(L，E)，L记录人脸卡通画的绘制实体布局，表示卡通画的构图和整体风格，E表示人脸卡通画的绘制实体集，与人脸对象的部件集元素一一对应，定义每个部件的绘制形状、绘制元素和绘制规则；

人脸卡通画的绘制实体布局是记录样本中各绘制实体的位置，将卡通画样本分为7个绘制实体：脸型、左眉、右眉、左眼、右眼、鼻子和嘴巴，每个绘制实体的位置由5个参数(x，y，w，h，θ)决定，它们分别是部件中心点坐标(x，y)，部件宽度w、高度h和倾斜角θ(参见图2)。

人脸卡通画的绘制实体集中的每个绘制实体对应人脸对象部件集中的一个五官部件，绘制实体集定义部件样本的绘制实体形状、绘制元素和绘制属性，记为PEP＝(绘制实体形状，绘制元素，绘制属性)，绘制实体形状描述绘制实体的几何形状；绘制实体有两类基本的绘制元素：线条元素和区域元素，线条元素按照绘制风格用来勾画人脸轮廓，区域元素定义绘制实体所表现的有界区域；线条元素的绘制属性包括：线条模型、线条颜色，区域元素的绘制属性包括区域填充纹理模型、区域绘制颜色。这些绘制属性参数综合定义绘制元素的绘制方法。

卡通画绘制算法将绘制实体根据实体布局的位置参数自动合成人脸卡通画。

2)人脸卡通画样本的部件化

理论上讲，样本数量越多，计算机自动学习得到的结果将越精细，但实际上不可能收集到所有人脸的卡通画样本。根据人脸分类学研究结果，人脸卡通样本部件化可以达到用有限数量样本获得理想绘制的学习效果。

将一幅需要绘制的人脸卡通画样本分成七个局部部件：脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状，每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数，即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本，不同类型的部件样本可以任意组合构成一幅完整的人脸卡通画。

3)特定人脸绘制实体布局的序贯优化计算

对一个输入人脸I^face，卡通人脸参数建模就是利用从输入人脸获得的几何特征，自动计算该人脸对象的参考形状R^face＝(M^face，S^face)和它的绘制式样P^face＝(L^face，E^face)。

由卡通人脸参数模型定义可知，样本参考形状R与绘制式样P之间存在映射关系

通过样本学习得到这种映射，可以从输入人脸对象的参考形状R^face计算出它的绘制式样从而建立输入人脸的卡通人脸参数模型。

对输入人脸绘制实体布局的计算采用优化贯序方法，即先优化眼睛结构，然后根据眼睛确定眉毛、鼻子和嘴巴。按照人脸五官部件相对位置的约束关系，为输入人脸对象的对应绘制实体位置参数建立一组优化方程，得到一个全局最优的绘制实体布局。

已知输入人脸对象的几何特征，人脸卡通样本空间中N个典型样本的参考形状参数和绘制式样参数，为了求得对应卡通人脸参数模型的绘制实体布局L^face，采取以下的计算步骤：

(1)利用输入人脸几何特征计算每个五官部件的位置(x，y，w，h，θ)，按照平均人脸绘制实体布局参数，估计一个初始值L^estimate，将选取的每一个局部部件样本放置在相应的位置；

(2)设输入的人脸对象参考形状的整体结构M^face是人脸卡通样本空间所有样本整体结构的线性组合 $M^{\mathrm{face}}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k{M}^k,$ N为样本库中样本个数，系数a_k是样本权重并且满足 $a_k\≥0,\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k=1,$ 求解出系数a_k，利用系数a_k和对应绘制式样的绘制实体布局{L^k，k＝1...N}求得输入人脸绘制实体布局的理想值 $L^{\mathrm{optimal}}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k{L}^k.$

(3)将L^estimate向L^optimal迭代优化直到收敛，得到输入人脸的绘制实体布局L^face；

4)特定人脸绘制实体的变形转移计算

给定特定人脸五官几何特征 $\left\{{(x_i^t,y_i^t)}^T\right|i=1,\·\·\·,N\}$ 和选择的五官部件样本的绘制实体形状特征 $\left\{{(x_i^s,y_i^s)}^T\right|i=1,\·\·\·,N\},$ 在特征点之间存在一一对应关系，薄板样条变换可以找到一个非刚性映射f(x，y)＝(f₁(x，y)，f₂(x，y))^T，代价函数为E_TPS(f)。

$E_{\mathrm{TPS}}\left(f\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{(x_i^t,y_i^t)}^T-f\left({(x_i^s,y_i^s)}^T\right)\left|\right|}^2+\mathrm{\λ}\∫\∫[{\left(\frac{{\∂}^{2}f}{\∂x^2}\right)}^2+2{\left(\frac{{\∂}^{2}f}{\∂x\∂y}\right)}^2+{\left(\frac{{\∂}^{2}f}{\∂y^2}\right)}^2]\mathrm{dxdy}---\left(1\right)$

给定一个λ，min(E_TPS(f))存在唯一解：

$f_1(x,y)=a_{11}+a_{12}x+a_{13}y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{1i}U\left(\right||{(x,y)}^T-{(x_i^s,y_i^s)}^T|\left|\right)$

(2)

$f_2(x,y)=a_{21}+a_{22}x+a_{23}y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{2i}U\left(\right||{(x,y)}^T-{(x_i^s,y_i^s)}^T|\left|\right)$

其中U(r)＝r² ln r，λ用于调整非刚性映射f的扭曲程度，通过最小化E_TPS(f)求解系数a₁₁，a₁₂，a₁₃，a₂₁，a₂₂，a₂₃，w_1i，w_2i，得到样本绘制实体形状与特定人脸五官几何特征之间的映射关系f。将f作为各器官匹配得到的样本E_shape ^optimal的变形函数，即 $E_{\mathrm{shape}}^{\mathrm{cp}}=f\left(E_{\mathrm{shape}}^{\mathrm{optimal}}\right).$

变形后得到的绘制实体形状E_shape ^cp按照整体布局L^face中确定的五官大小和位置参数，得到特定人脸I^face的绘制式样P^face＝(L^face，E^face)。

对特定的人脸对象，在对样本空间中选择得到的各五官部件样本的绘制实体形状进行局部变形时，不考虑绘制实体布局，直接对各部件的绘制实体单独进行变形转移。这种单部件的局部变形转移可以避免器官变形产生的相互影响。

统一参数化人脸卡通画样本空间应具有如下特点：

1、Bottom-Up组织方式。将一张人脸卡通画拆分成局部部件样本，每个局部样本具有代表性，可以用于人脸卡通画重组。在实际使用中，这种bottom-up组织方式可以把不同部件自由组合，利用有限样本提高样本空间的适用范围；

2、可学习性。除了对卡通画样本构图和绘制方法的参数化，样本空间具有从人脸几何特征到卡通人脸的映射关系，使自动学习卡通绘制成为可能；

3、可替换性。在统一参数化框架下，更换不同风格的样本参数能实现特定风格卡通画的生成。换言之，样本参数对卡通画绘制算法具有数据独立性；

4、可扩展性。参照人脸生理结构和艺术家的绘制顺序，将人脸各部件分别在独立的层次上绘制，可以方便样本空间添加新的绘制元素和绘制风格。

使用多种风格人脸卡通画样本的统一参数化方法，对输入人脸图像，可以自动建立卡通人脸参数模型，人脸卡通画绘制引擎可以自动生成输入人脸的人脸卡通画。图3是根据输入人脸图像，自动合成绘制的两幅人脸卡通画，所生成的结果在细节上能够充分反映真实人脸的个性特征。比如脸型消瘦、嘴巴的张合状态表现细节，都使得所生成的人脸卡通画容易被接受。图4是更多的人脸卡通画生成结果，可以看出，生成的写实人脸卡通画保持了原有人脸五官的特征，并具有特定的艺术风格和较丰富的表现力。图5是两种艺术风格的人脸卡通画，它们由相同的绘制算法合成，选择不同绘制风格的样本。证明本发明方法的有效性。

Claims (3)

1.一种多种风格人脸卡通样本的统一参数化方法，其特征在于：

1)建立人脸卡通画样本的参数化模型

人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层，记为Sample＝{R，P}；

参考形状层将人脸对象分为整体结构和五官形状，记为R＝(M，S)，M表示人脸整体结构，记录五官、配饰物的位置信息；S表示组成人脸对象的部件集，由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义；

绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集，记为P＝(L，E)，L记录人脸卡通画的绘制实体布局，表示卡通画的构图和整体风格，E表示人脸卡通画的绘制实体集，与人脸对象的部件集元素一一对应，定义每个部件的绘制形状、绘制元素和绘制规则；

2)人脸卡通画样本的部件化

将一幅需要绘制的人脸卡通画样本分成七个局部部件：脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状，每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数，即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本；

3)特定人脸绘制实体布局的序贯优化计算

(1)利用输入人脸几何特征计算每个五官部件的位置(x，y，w，h，θ)，按照平均人脸绘制实体布局参数，估计一个初始值L^estimate，将选取的每一个局部部件样本放置在相应的位置；

(2)设输入的人脸对象参考形状的整体结构M^face是人脸卡通样本空间所有样本整体结构的线性组合

式中，N为样本库中样本个数，系数a_k是样本权重并且满足

求解出系数a_k，利用系数a_k和对应绘制式样的绘制实体布局{L^k，k＝1...N的自然数}求得输入人脸绘制实体布局的理想值 $L^{\mathrm{optimal}}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{a}_k{L}^k;$

(3)将L^estimate向L^optimal迭代优化直到收敛，得到输入人脸的绘制实体布局L^face；

4)特定人脸绘制实体的变形转移计算

给定特定人脸五官几何特征

和选择的五官部件样本的绘制实体形状特征在特征点之间存在一一对应关系，采用薄板样条变换找到一个非刚性映射f(x，y)＝(f₁(x，y)，f₂(x，y))^T，代价函数为E_TPS(f)，

$E_{\mathrm{TPS}}\left(f\right)=\underset{i=11}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{(x_i^t,y_i^t)}^T-f\left({(x_i^s,y_i^s)}^T\right)\left|\right|}^2+\mathrm{\λ}\∫\∫[{\left(\frac{{\∂}^{2}f}{{\∂x}^2}\right)}^2+2{\left(\frac{{\∂}^{2}f}{\∂x\∂y}\right)}^2+{\left(\frac{{\∂}^{2}f}{{\∂y}^2}\right)}^2]\mathrm{dxdy}---\left(1\right)$

给定一个λ，min(E_TPS(f))存在唯一解：

$f_1(x,y)=a_{11}+a_{12}x+a_{13}y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{1i}U\left(\right||{(x,y)}^T-{(x_i^s,y_i^s)}^T|\left|\right)$ (2)

$f_2(x,y)=a_{21}+a_{22}x+a_{23}y+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{w}_{2i}U\left(\right||{(x,y)}^T-{(x_i^s,y_i^s)}^T|\left|\right)$

其中U(r)＝r²lnr，λ用于调整非刚性映射f的扭曲程度，通过最小化E_TPS(f)求解系数a₁₁，a₁₂，a₁₃，a₂₁，a₂₂，a₂₃，w_1i，w_2i，得到样本绘制实体形状与特定人脸五官几何特征之间的映射关系f，将f作为五官匹配得到的样本

的变形函数，即

变形后得到的绘制实体形状

按照整体布局L^face中确定的五官大小和位置参数，得到特定人脸I^face的绘制式样P^face＝(L^face，E^face)。

2.根据权利要求1所述的多种风格人脸卡通样本的统一参数化方法，其特征在于：所说的人脸卡通画的绘制实体布局是记录样本中各绘制实体的位置，将卡通画样本分为7个绘制实体：脸型、左眉、右眉、左眼、右眼、鼻子和嘴巴，每个绘制实体的位置由5个参数(x，y，w，h，θ)决定，它们分别是部件中心点坐标(x，y)，部件宽度w、高度h和倾斜角θ。

3.根据权利要求1所述的多种风格人脸卡通样本的统一参数化方法，其特征在于：所说的人脸卡通画的绘制实体集中的每个绘制实体对应人脸对象部件集中的一个五官部件，绘制实体集定义部件样本的绘制实体形状、绘制元素和绘制属性，记为PEP＝(绘制实体形状，绘制元素，绘制属性)，绘制实体形状描述绘制实体的几何形状；绘制实体有两类基本的绘制元素：线条元素和区域元素，线条元素按照绘制风格用来勾画人脸轮廓，区域元素定义绘制实体所表现的有界区域；线条元素的绘制属性包括：线条模型、线条颜色，区域元素的绘制属性包括区域填充纹理模型、区域绘制颜色。

Images