CN102509333A - 基于动作捕获数据驱动的二维卡通表情动画制作方法 - Google Patents

Abstract

本发明公开了一种基于动作捕获数据驱动的二维卡通表情动画制作方法。首先同时使用动作捕获设备捕获演员的表情数据，同时由用户在目标卡通人脸上标记出与演员数据相同的拓扑结构的特征点；然后使用一种基于偏移比例的重定向方法将演员表情数据的第一帧与目标卡通人脸的特征点进行对齐，并以此对齐比例将演员表情数据映射到目标卡通人脸上；将目标卡通人脸矢量化，并最终使用重定向后的动作捕获数据驱动矢量图像形式的卡通人脸进行变形，以达到动画化的效果。本发明由于使用了矢量化和基于偏移比例的重定向技术，在不考虑纹理细节的非真实卡通人脸的动画化的领域可以得到表情丰富且还原度较高的卡通表情动画。

Description

基于动作捕获数据驱动的二维卡通表情动画制作方法

技术领域

本发明涉及计算机动画辅助设计领域，尤其涉及一种动作捕获数据驱动的二维卡通表情动画制作方法。

背景技术

在卡通动画制作领域，如何创作出形象生动的卡通表情动画是一个值得讨论的问题。完全依靠动画师手工完成的卡通表情动画不但难以确保其效果生动形象，而且对动画师的制作技术、经验和工作量也是一种挑战。如何自动或半自动的生成出较为生动形象的表情动画，这成为计算机辅助设计领域的一个热门话题，也是学术界和产业界共同关心的问题。事实上，在卡通人脸动画制作中，静态二维卡通人脸图像的绘制对于动画师而言并非难事，且随着光学运动捕获系统的使用，稀疏二维动态人脸表情数据的获取也越来越容易和普及。因此，基于静态二维卡通人脸图像及动态人脸表情数据融合高效生成二维卡通人脸表情动画是一个可行的思路。

当前人脸表情动画制作技术主要分为以下几类：

基于关键帧插值的动画制作技术：动画师制作若干关键帧表情，通过差值生成两帧之间的过渡帧，这种方法被称为关键帧差值方法。传统的二维卡通动画制作大多采用这种方法，它的优点是简单便捷，有经验的动画师通过制作高质量的关键帧可以做出较生动的卡通动画。但这种方法的效果依赖于关键帧的质量和数目，对动画师的经验要求较高，也无法生成较为复杂的人脸表情变化。

基于参数化的表情动画制作技术：此类方法将人脸表情抽象成若干不同的参数，用户只需要调整参数即可实现不同表情之间的变化。最常用的参数化方法有面部动作编码系统(Fical Action Coding System，FACS)和MPEG-4的人脸动画驱动方法。此类方法在组合的参数相互之间产生冲突时大多缺乏调度机制，导致表情不自然；同时为了得到某一个特定的表情需要调整很多参数，这需要繁琐的手工调试。

基于混合模型的表情动画制作技术：此类方法在三维动画领域中被广泛应用，其思路是不考虑人脸的物理属性，而是直接采用一组三维表情模型(即变形目标)来定义一个线性空间，新的人脸表情由这组模型的线性组合来构成。这种方法直观方便，但缺点是变形目标的创建过程复杂，需要大量艺术家的工作；且当变形目标的数量较大时，模型线性组合系数的人工调整会较繁琐，致使动画师难以实现制作意图。

基于表演驱动的表情动画制作技术：此类方法请演员来表演一段表情，然后使用这段表情数据来驱动卡通形象做出相同的表情。捕获表情的过程又分为使用动作捕获设备捕获表情和普通表情视频驱动两种类型，前者驱动的动画较为生动形象，而后者的优点在于数据捕获更加方便快捷。基于表情驱动的表情动画制作技术较为高效，且能够生成相对形象的表情动画，因此其在表情动画制作领域的应用日益广泛。但运动数据与人脸模型的融合仍然需要大量的人工干预。

发明内容

本发明的目的是提供一种基于动作捕获数据驱动的二维卡通表情动画制作方法。

基于动作捕获数据驱动的二维卡通表情动画制作方法的步骤如下：

1)使用动作捕获数据获取演员表情，并从中跟踪出演员表情特征序列{E_n}；由操作者在目标卡通人脸上手动标注出与演员表情特征序列{E_n}相同的目标卡通人脸控制点集合E′₀；

2)将目标卡通人脸控制点集合E′₀作为相对于目标卡通人脸表情特征序列{E′_n}的第零帧，对演员表情特征序列{E_n}第零帧中演员人脸控制点集合E₀与目标卡通人脸控制点集合E′₀进行数据的对齐，并依照对齐比例映射得出相对于目标卡通人脸表情特征序列{E′_n}；

3)将目标卡通人脸进行矢量化；

4)使用基于移动最小二乘法的图像变形方法，以矢量化的目标卡通人脸作为目标图像，目标卡通人脸表情特征序列{E′_n}作为目标卡通人脸表情控制点集合进行变形，得到每一帧的图像，完成基于动作捕获数据驱动的二维卡通表情动画的制作。

所述的步骤2)为：

(1)在演员表情特征序列{E_n}和目标卡通人脸表情特征序列{E′_n}中，均存在一个控制点，两控制点的位移都不随时间改变，将两控制点作为偏移比例的基准点：C(cx，cy)∈E₀、C’(cx’，cy’)∈E′₀；

(2)对于演员表情特征序列{E_n}第零帧中一个控制点P_i∈E₀且P_i≠C和目标卡通人脸表情特征序列{E′_n}第零帧中对应的一个控制点P_i′∈E′₀且P_i′≠C′，定义其偏移比例s(sx_i，sy_i)∈S：

${\mathrm{sx}}_i=\frac{x_i^{\′}-{\mathrm{cx}}^{\′}}{x_i-\mathrm{cx}}$

${\mathrm{sy}}_i=\frac{y_i^{\′}-{\mathrm{cy}}^{\′}}{y_i-\mathrm{cy}}$

(3)对表情特征序列的第j帧，j≠0：表情动画的基准点在整个动画过程中不会发生位移，即C′_i＝C_i；

(4)使用偏移比例S对第j帧的动作驱动数据进行映射：

x′_i＝cx′_i+sx_i·(x_i-cx_i)

y′_i＝cy′_i+sy_i·(y_i-cy_i)

其中P_i(x_i，y_i)∈E_i是表情特征序列中第j帧的第i个控制点；C_i(cx_i，cy_i)∈E_i是表情特征序列第i帧的基准点；C′_i(cx′_i，cy′_i)＝C′(cx′，cy′)是即将生成的第j帧的表情动画的基准点；生成控制点P′_i(x′_i，y′_i)∈E′_i是生成表情动画的第j帧的第i个控制点，完成表情特征序列从演员人脸到目标卡通人脸的重定向过程。

所述的步骤3)为：

(1)将目标图像转化为灰度图像I，对灰度图像I进行边缘原检测，得到边缘图像I’；对边缘图像I’进行数学形态学的膨胀，再进行骨骼抽取，得到单宽度边缘图像I”；

(2)对单宽度边缘图像I”，建立辅助矩阵M保存单宽度边缘图像I”中每个像素的访问情况，初始化为未访问；由用户在每一个面部器官的轮廓上选取一个点作为根节点v_s，当前节点v_c设为v_s；

(3)将当前节点v_c在辅助矩阵M中对应的位置标记为已访问，初始化搜索尺度s＝1，按照顺时针方向搜索以当前节点v_c为中心，边长为2s+1的正方形的边上的点。当搜索到一个边界节点时，检测辅助矩阵中这个边界节点的已访问性；若已访问，则继续进行搜索；若未访问，则将这个边界节点加入边界点列数组中，并将这个边界节点的八临域内各个点均设为已访问，并将此点作为根节点重复上述步骤；若未搜索到符合条件的节点，则认为遇到断边沟，将搜索尺度s+＝1同样重复上述步骤；当搜索尺度s大于一个特定值时，循环结束，此时得到的边界点列数组即为跟踪得到的面部器官轮廓C，其集合为面部器官轮廓线集合{C}；

(4)对每一个面部器官轮廓C∈{C}，将曲线的起点v_s与终点v_e加入轮廓特征点列；用v_s与v_e的连线L_se作为曲线的初始简化，并搜寻曲线上距离L_se最远的点v_d；检测v_d到L_se的距离d与L_se的长度l的比值d/l是否小于参数α；若成立，则轮廓抽取完成；否则将v_d插入轮廓特征点列中起点v_s之后，并分别对从v_s到v_d与从v_d到v_e的两条曲线分别重复上述步骤，最终得到面部器官轮廓C的特征点集合V；用特征点集合V作为锚点创建贝塞尔曲线，得到矢量化的面部器官轮廓。

所述的步骤4)为：

(1)设目标卡通人脸表情特征序列{E′_n}第零帧E′₀中的特征点为p_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|p_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(2)根据以上结果计算目标卡通人脸表情特征序列{E′_n}第零帧E′₀的加权重心p^*：

$p^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*p_i}{{\mathrm{\Σ}}_i{w}_i}$

(3)对目标卡通人脸表情特征序列{E′_n}第零帧E′₀的第j个控制点，计算仿射矩阵：

A_j＝(v-p^*)(∑_i(p_i-p^*)^Tw_i(p_i-p^*))^-1(p_j-p^*)^T

(4)设目标卡通人脸表情特征序列{E′_n}的后续某帧的特征点为q_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|q_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(5)根据以上结果计算目标卡通人脸表情特征序列{E′_n}后续第j帧的加权重心q^*：

$q^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*q^{*}}{{\mathrm{\Σ}}_i{w}_i}$

(6)计算对于目标卡通人脸表情特征序列{E′_n}后续第j帧的刚性形变函数f_r(x)：

${\stackrel{\→}{f}}_r\left(x\right)={\mathrm{\Σ}}_i(q_i-q^{*})A_i$

(7)跟据刚性形变函数f_r(x)，计算原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’：

$v^{\′}=|v-p^{*}|\frac{{\stackrel{\→}{f}}_r\left(v\right)}{\left|{\stackrel{\→}{f}}_r\left(v\right)\right|}+q^{*}$

(8)根据原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’，重构矢量图，既得到目标卡通人脸表情特征序列{E′_n}后续第j帧所驱动的卡通表情动画的第j帧。

本发明具有的有益效果是：方法简洁，可实施性强；在不要求面部表情纹理变化的非真实卡通表情动画的范畴内有快速、高效且拟真度高的特点，能够半自动的生成生动形象的卡通人脸表情动画。

附图说明

图1为本发明一种基于动作捕获数据驱动的二维卡通表情动画制作方法的流程图；

图2为本发明基于偏移比例的动作捕获表情数据重定向方法的流程图；

图3为本发明实施例控制点分布示意图；

图4为本发明实施例驱动结果示意图。

具体实施方式

基于动作捕获数据驱动的二维卡通表情动画制作方法的步骤如下：

1)使用动作捕获数据获取演员表情，并从中跟踪出演员表情特征序列{E_n}；由操作者在目标卡通人脸上手动标注出与演员表情特征序列{E_n}相同的目标卡通人脸控制点集合E′₀；

2)将目标卡通人脸控制点集合E′₀作为相对于目标卡通人脸表情特征序列{E′_n}的第零帧，对演员表情特征序列{E_n}第零帧中演员人脸控制点集合E₀与目标卡通人脸控制点集合E′₀进行数据的对齐，并依照对齐比例映射得出相对于目标卡通人脸表情特征序列{E′_n}；

3)将目标卡通人脸进行矢量化；

4)使用基于移动最小二乘法的图像变形方法，以矢量化的目标卡通人脸作为目标图像，目标卡通人脸表情特征序列{E′_n}作为目标卡通人脸表情控制点集合进行变形，得到每一帧的图像，完成基于动作捕获数据驱动的二维卡通表情动画的制作。

所述的步骤2)为：

(1)在演员表情特征序列{E_n}和目标卡通人脸表情特征序列{E′_n}中，均存在一个控制点，两控制点的位移都不随时间改变，将两控制点作为偏移比例的基准点：C(cx，cy)∈E₀、C’(cx’，cy’)∈E′₀；

(2)对于演员表情特征序列{E_n}第零帧中一个控制点P_i∈E₀且P_i≠C和目标卡通人脸表情特征序列{E′_n}第零帧中对应的一个控制点P_i′∈E′₀且P_i′≠C′，定义其偏移比例s(sx_i，sy_i)∈S：

${\mathrm{sx}}_i=\frac{x_i^{\′}-{\mathrm{cx}}^{\′}}{x_i-\mathrm{cx}}$

${\mathrm{sy}}_i=\frac{y_i^{\′}-{\mathrm{cy}}^{\′}}{y_i-\mathrm{cy}}$

(3)对表情特征序列的第j帧，j≠0：表情动画的基准点在整个动画过程中不会发生位移，即C′_i＝C_i；

(4)使用偏移比例S对第j帧的动作驱动数据进行映射：

x′_i＝cx′_i+sx_i·(x_i-cx_i)

y′_i＝cy′_i+sy_i·(y_i-cy_i)

其中P_i(x_i，y_i)∈E_i是表情特征序列中第j帧的第i个控制点；C_i(cx_i，cy_i)∈E_i是表情特征序列第i帧的基准点；C′_i(cx′_i，cy′_i)＝C′(cx′，cy′)是即将生成的第j帧的表情动画的基准点；生成控制点P′_i(x′_i，y′_i)∈E′_i是生成表情动画的第j帧的第i个控制点，完成表情特征序列从演员人脸到目标卡通人脸的重定向过程。

所述的步骤3)为：

(1)将目标图像转化为灰度图像I，对灰度图像I进行边缘原检测，得到边缘图像I’；对边缘图像I’进行数学形态学的膨胀，再进行骨骼抽取，得到单宽度边缘图像I”；

(2)对单宽度边缘图像I”，建立辅助矩阵M保存单宽度边缘图像I”中每个像素的访问情况，初始化为未访问；由用户在每一个面部器官的轮廓上选取一个点作为根节点v_s，当前节点v_c设为v_s；

(3)将当前节点v_c在辅助矩阵M中对应的位置标记为已访问，初始化搜索尺度s＝1，按照顺时针方向搜索以当前节点v_c为中心，边长为2s+1的正方形的边上的点。当搜索到一个边界节点时，检测辅助矩阵中这个边界节点的已访问性；若已访问，则继续进行搜索；若未访问，则将这个边界节点加入边界点列数组中，并将这个边界节点的八临域内各个点均设为已访问，并将此点作为根节点重复上述步骤；若未搜索到符合条件的节点，则认为遇到断边沟，将搜索尺度s+＝1同样重复上述步骤；当搜索尺度s大于一个特定值时，循环结束，此时得到的边界点列数组即为跟踪得到的面部器官轮廓C，其集合为面部器官轮廓线集合{C}；

(4)对每一个面部器官轮廓C∈{C}，将曲线的起点v_s与终点v_e加入轮廓特征点列；用v_s与v_e的连线L_se作为曲线的初始简化，并搜寻曲线上距离L_se最远的点v_d；检测v_d到L_se的距离d与L_se的长度l的比值d/l是否小于参数α；若成立，则轮廓抽取完成；否则将v_d插入轮廓特征点列中起点v_s之后，并分别对从v_s到v_d与从v_d到v_e的两条曲线分别重复上述步骤，最终得到面部器官轮廓C的特征点集合V；用特征点集合V作为锚点创建贝塞尔曲线，得到矢量化的面部器官轮廓。

所述的步骤4)为：

(1)设目标卡通人脸表情特征序列{E′_n}第零帧E′₀中的特征点为p_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|p_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(2)根据以上结果计算目标卡通人脸表情特征序列{E′_n}第零帧E′₀的加权重心p^*：

$p^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*p_i}{{\mathrm{\Σ}}_i{w}_i}$

(3)对目标卡通人脸表情特征序列{E′_n}第零帧E′₀的第j个控制点，计算仿射矩阵：

A_j＝(v-p^*)(∑_i(p_i-p^*)^Tw_i(p_i-p^*))^-1(p_j-p^*)^T

(4)设目标卡通人脸表情特征序列{E′_n}的后续某帧的特征点为q_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|q_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(5)根据以上结果计算目标卡通人脸表情特征序列{E′_n}后续第j帧的加权重心q^*：

$q^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*q^{*}}{{\mathrm{\Σ}}_i{w}_i}$

(6)计算对于目标卡通人脸表情特征序列{E′_n}后续第j帧的刚性形变函数f_r(x)：

${\stackrel{\→}{f}}_r\left(x\right)={\mathrm{\Σ}}_i(q_i-q^{*})A_i$

(7)跟据刚性形变函数f_r(x)，计算原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’：

$v^{\′}=|v-p^{*}|\frac{{\stackrel{\→}{f}}_r\left(v\right)}{\left|{\stackrel{\→}{f}}_r\left(v\right)\right|}+q^{*}$

(8)根据原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’，重构矢量图，既得到目标卡通人脸表情特征序列{E′_n}后续第j帧所驱动的卡通表情动画的第j帧。

实施例

图1为使用动作捕获数据制作二维卡通表情动画的流程图，其具体实施方式为：

(1)在人脸上共使用20个mark点标记，分别位于下颌，下嘴唇，左右嘴角，上嘴唇，左右颧骨，左右鼻翼，眉心，双眼的上下边缘，左右眉的两端，以及左右眉的上部，如图3。采用自行研制的近红外光学运动捕获系统以60帧/秒的帧速率、320X240的分辨率捕获一系列具有代表性的表情数据获取二维表情数据，包括惊讶、瞪眼、挑眉、沮丧等。从捕获得到的表情特征视频中跟踪出演员表情特征序列{E_n}；由操作者在目标卡通人脸上手动标注出与演员表情特征序列{E_n}相同拓扑结构的目标卡通人脸控制点集合E′₀；

(2)在演员表情特征序列{E_n}和目标卡通人脸表情特征序列{E′_n}中，均存在一个控制点，两控制点的位移都不随时间改变，将两控制点作为偏移比例的基准点：C(cx，cy)∈E₀、C’(cx’，cy’)∈E₀；

(3)对于演员表情特征序列{E_n}第零帧中一个控制点P_i∈E₀且P_i≠C和目标卡通人脸表情特征序列{E′_n}第零帧中对应的一个控制点P_i′∈E′0且P_i′≠C′，定义其偏移比例s(sx_i，sy_i)∈S：

${\mathrm{sx}}_i=\frac{x_i^{\′}-{\mathrm{cx}}^{\′}}{x_i-\mathrm{cx}}$

${\mathrm{sy}}_i=\frac{y_i^{\′}-{\mathrm{cy}}^{\′}}{y_i-\mathrm{cy}}$

(4)对表情特征序列的第j帧，j≠0：表情动画的基准点在整个动画过程中不会发生位移，即C′_i＝C_i；

(5)使用偏移比例S对第j帧的动作驱动数据进行映射：

x′_i＝cx′_i+sx_i·(x_i-cx_i)

y′_i＝cy′_i+sy_i·(y_i-cy_i)

其中P_i(x_i，y_i)∈E_i是表情特征序列中第j帧的第i个控制点；C_i(cx_i，cy_i)∈E_i是表情特征序列第i帧的基准点；C′_i(cx′_i，cy′_i)＝C′(cx′，cy′)是即将生成的第j帧的表情动画的基准点；生成控制点P′_i(x′_i，y′_i)∈E′_i是生成表情动画的第j帧的第i个控制点，完成表情特征序列从演员人脸到目标卡通人脸的重定向过程；

(6)将目标图像转化为灰度图像I，对灰度图像I进行边缘原检测，得到边缘图像I’；对边缘图像I’进行数学形态学的膨胀，再进行骨骼抽取，得到单宽度边缘图像I”；

(7)对单宽度边缘图像I”，建立辅助矩阵M保存单宽度边缘图像I”中每个像素的访问情况，初始化为未访问；由用户在每一个面部器官的轮廓上选取一个点作为根节点v_s，当前节点v_c设为v_s；

(8)将当前节点v_c在辅助矩阵M中对应的位置标记为已访问，初始化搜索尺度s＝1，按照顺时针方向搜索以当前节点v_c为中心，边长为2s+1的正方形的边上的点。当搜索到一个边界节点时，检测辅助矩阵中这个边界节点的已访问性；若已访问，则继续进行搜索；若未访问，则将这个边界节点加入边界点列数组中，并将这个边界节点的八临域内各个点均设为已访问，并将此点作为根节点重复上述步骤；若未搜索到符合条件的节点，则认为遇到断边沟，将搜索尺度s+＝1同样重复上述步骤；当搜索尺度s大于一个特定值时，循环结束，此时得到的边界点列数组即为跟踪得到的面部器官轮廓C，其集合为面部器官轮廓线集合{C}；

(9)对每一个面部器官轮廓C∈{C}，将曲线的起点v_s与终点v_e加入轮廓特征点列；用v_s与v_e的连线L_se作为曲线的初始简化，并搜寻曲线上距离L_se最远的点v_d；检测v_d到L_se的距离d与L_se的长度l的比值d/l是否小于参数α；若成立，则轮廓抽取完成；否则将v_d插入轮廓特征点列中起点v_s之后，并分别对从v_s到v_d与从v_d到v_e的两条曲线分别重复上述步骤，最终得到面部器官轮廓C的特征点集合V；用特征点集合V作为锚点创建贝塞尔曲线，得到矢量化的面部器官轮廓；

(10)设目标卡通人脸表情特征序列{E′_n}第零帧E′₀中的特征点为p_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|p_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；实验中使用1

(11)根据以上结果计算目标卡通人脸表情特征序列{E′_n}第零帧E′₀的加权重心p^*：

$p^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*p_i}{{\mathrm{\Σ}}_i{w}_i}$

(12)对目标卡通人脸表情特征序列{E′_n}第零帧E′₀的第j个控制点，计算仿射矩阵：

A_j＝(v-p^*)(∑_i(p_i-p^*)^Tw_i(p_i-p^*))^-1(p_j-p^*)^T

(13)设目标卡通人脸表情特征序列{E′_n}的后续某帧的特征点为q_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|q_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(14)根据以上结果计算目标卡通人脸表情特征序列{E′_n}后续第j帧的加权重心q^*：

$q^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*q^{*}}{{\mathrm{\Σ}}_i{w}_i}$

(15)计算对于目标卡通人脸表情特征序列{E′_n}后续第j帧的刚性形变函数f_r(x)：

${\stackrel{\→}{f}}_r\left(x\right)={\mathrm{\Σ}}_i(q_i-q^{*})A_i$

(16)跟据刚性形变函数f_r(x)，计算原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’：

$v^{\′}=|v-p^{*}|\frac{{\stackrel{\→}{f}}_r\left(v\right)}{\left|{\stackrel{\→}{f}}_r\left(v\right)\right|}+q^{*}$

(17)根据原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’，重构矢量图，既得到目标卡通人脸表情特征序列{E′_n}后续第j帧所驱动的卡通表情动画的第j帧。

按照本发明驱动的卡通人脸动画，效果与演员动画相比十分吻合，如图4。

Claims (4)

1.一种基于动作捕获数据驱动的二维卡通表情动画制作方法，其特征在于它的步骤如下：

1)使用动作捕获数据获取演员表情，并从中跟踪出演员表情特征序列{E_n}；由操作者在目标卡通人脸上手动标注出与演员表情特征序列{E_n}相同拓扑结构的目标卡通人脸控制点集合E′₀；

2)将目标卡通人脸控制点集合E′₀作为相对于目标卡通人脸表情特征序列{E′_n}的第零帧，对演员表情特征序列{E_n}第零帧中演员人脸控制点集合E₀与目标卡通人脸控制点集合E′₀进行数据的对齐，并依照对齐比例映射得出相对于目标卡通人脸表情特征序列{E′_n}；

3)将目标卡通人脸进行矢量化；

4)使用基于移动最小二乘法的图像变形方法，以矢量化的目标卡通人脸作为目标图像，目标卡通人脸表情特征序列{E′_n}作为目标卡通人脸表情控制点集合进行变形，得到每一帧的图像，完成基于动作捕获数据驱动的二维卡通表情动画的制作。

2.根据权利要求1所述的一种动作捕获数据驱动的二维卡通表情动画制作方法，其特征在于，所述的步骤2)为：

(1)在演员表情特征序列{E_n}和目标卡通人脸表情特征序列{E′_n}中，均存在一个控制点，两控制点的位移都不随时间改变，将两控制点作为偏移比例的基准点：C(cx，cy)∈E₀、C’(cx’，cy’)∈E₀；

(2)对于演员表情特征序列{E_n}第零帧中一个控制点P_i∈E₀且P_i≠C和目标卡通人脸表情特征序列{E′_n}第零帧中对应的一个控制点P_i′∈E′₀且P_i′≠C′，定义其偏移比例s(sx_i，sy_i)∈S：

${\mathrm{sx}}_i=\frac{x_i^{\′}-{\mathrm{cx}}^{\′}}{x_i-\mathrm{cx}}$

${\mathrm{sy}}_i=\frac{y_i^{\′}-{\mathrm{cy}}^{\′}}{y_i-\mathrm{cy}}$

(3)对表情特征序列的第j帧，j≠0：表情动画的基准点在整个动画过程中不会发生位移，即C′_i＝C_i；

(4)使用偏移比例S对第j帧的动作驱动数据进行映射：

x′_i＝cx′_i+sx_i·(x_i-cx_i)

y′_i＝cy′_i+sy_i·(y_i-cy_i)

其中P_i(x_i，y_i)∈E_i是表情特征序列中第j帧的第i个控制点；C_i(cx_i，cy_i)∈E_i是表情特征序列第i帧的基准点；C′_i(cx′_i，cy′_i)＝C′(cx′，cy′)是即将生成的第j帧的表情动画的基准点；生成控制点P′_i(x′_i，y′_i)∈E′_i是生成表情动画的第j帧的第i个控制点，完成表情特征序列从演员人脸到目标卡通人脸的重定向过程。

3.根据权利要求1所述的一种动作捕获数据驱动的二维卡通表情动画制作方法，其特征在于，所述的步骤3)为：

(1)将目标图像转化为灰度图像I，对灰度图像I进行边缘原检测，得到边缘图像I’；对边缘图像I’进行数学形态学的膨胀，再进行骨骼抽取，得到单宽度边缘图像I”；

(2)对单宽度边缘图像I”，建立辅助矩阵M保存单宽度边缘图像I”中每个像素的访问情况，初始化为未访问；由用户在每一个面部器官的轮廓上选取一个点作为根节点v_s，当前节点v_c设为v_s；

(3)将当前节点v_c在辅助矩阵M中对应的位置标记为已访问，初始化搜索尺度s＝1，按照顺时针方向搜索以当前节点v_c为中心，边长为2s+1的正方形的边上的点。当搜索到一个边界节点时，检测辅助矩阵中这个边界节点的已访问性；若已访问，则继续进行搜索；若未访问，则将这个边界节点加入边界点列数组中，并将这个边界节点的八临域内各个点均设为已访问，并将此点作为根节点重复上述步骤；若未搜索到符合条件的节点，则认为遇到断边沟，将搜索尺度s+＝1同样重复上述步骤；当搜索尺度s大于一个特定值时，循环结束，此时得到的边界点列数组即为跟踪得到的面部器官轮廓C，其集合为面部器官轮廓线集合{C}；

(4)对每一个面部器官轮廓C∈{C}，将曲线的起点v_s与终点v_e加入轮廓特征点列；用v_s与v_e的连线L_se作为曲线的初始简化，并搜寻曲线上距离L_se最远的点v_d；检测v_d到L_se的距离d与L_se的长度l的比值d/l是否小于参数α；若成立，则轮廓抽取完成；否则将v_d插入轮廓特征点列中起点v_s之后，并分别对从v_s到v_d与从v_d到v_e的两条曲线分别重复上述步骤，最终得到面部器官轮廓C的特征点集合V；用特征点集合V作为锚点创建贝塞尔曲线，得到矢量化的面部器官轮廓。

4.根据权利要求1所述的一种动作捕获数据驱动的二维卡通表情动画制作方法，其特征在于，所述的步骤4)为：

(1)设目标卡通人脸表情特征序列{E′_n}第零帧E′₀中的特征点为p_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|p_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(2)根据以上结果计算目标卡通人脸表情特征序列{E′_n}第零帧E′₀的加权重心p^*：

$p^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*p_i}{{\mathrm{\Σ}}_i{w}_i}$

(3)对目标卡通人脸表情特征序列{E′_n}第零帧E′₀的第j个控制点，计算仿射矩阵：

A_j＝(v-p^*)(∑_i(p_i-p^*)^Tw_i(p_i-p^*))^-1(p_j-p^*)^T

(4)设目标卡通人脸表情特征序列{E′_n}的后续某帧的特征点为q_i：对原始卡通矢量图每一个面部器官矢量轮廓的锚点v，计算相应的权重参数：

$w_i=\frac{1}{{|q_i-v|}^{2\mathrm{\α}}}$

其中α为常量参数；

(5)根据以上结果计算目标卡通人脸表情特征序列{E′_n}后续第j帧的加权重心q^*：

$q^{*}=\frac{{\mathrm{\Σ}}_i{w}_i*q^{*}}{{\mathrm{\Σ}}_i{w}_i}$

(6)计算对于目标卡通人脸表情特征序列{E′_n}后续第j帧的刚性形变函数f_r(x)：

${\stackrel{\→}{f}}_r\left(x\right)={\mathrm{\Σ}}_i(q_i-q^{*})A_i$

(7)跟据刚性形变函数f_r(x)，计算原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’：

$v^{\′}=|v-p^{*}|\frac{{\stackrel{\→}{f}}_r\left(v\right)}{\left|{\stackrel{\→}{f}}_r\left(v\right)\right|}+q^{*}$

(8)根据原始卡通矢量图每一个面部器官矢量轮廓的锚点v形变后的位置v’，重构矢量图，既得到目标卡通人脸表情特征序列{E′_n}后续第j帧所驱动的卡通表情动画的第j帧。

Images