CN102708583A - 二维动画角色的自动匹配方法 - Google Patents

Abstract

二维动画角色的自动匹配方法，涉及二维动画领域。提供一种在二维动画制作环境下的二维动画角色的自动匹配方法。基于两个关键帧中的角色信息，分别提取角色中的特征点；对每个角色中的特征点，采用特征描述算法，为每个特征点分配尺度和方向并生成高维特征向量；基于已获得的特征点，构造满足邻接关系的马尔可夫随机场；依据所得到的马尔可夫随机场，并结合所得到的高维特征向量，计算最大后验概率，寻找出能量函数的极小点，从而建立动画角色的匹配关系。使得关键帧中的角色在变形、缩放、平移以及旋转等条件下具有尺度不变性和旋转不变性。更能在几何变形因素的影响下保持角色原有的特性不变，为角色间的精确匹配提供了必要的保障。

Description

二维动画角色的自动匹配方法

技术领域

本发明涉及二维动画领域，尤其是涉及一种二维动画角色的自动匹配方法。

背景技术

当前，高质量的二维动画有着广泛的应用领域，包括影视、娱乐、教育、广告等多个领域。我国“十一五”规划纲要明确提出，鼓励数字内容产业发展，而当前“十二五”规划建议也提出，要把文化作为支柱产业来发展。动漫产业作为数字内容产业和文化产业一个重要方面，必将成为我们国家在“十二五”期间极具爆发力的一个产业。

目前，二维动画制作一般采用基于关键帧的方法，其主要步骤包括关键帧绘制，中间帧绘制以及着色等。这些步骤枯燥繁琐，且制作效率低，是制约动画发展的瓶颈。随着相关技术的发展，二维动画制作过程中的很多工作和任务已经可以由计算机辅助完成。但是，因二维动画制作流程的特殊性，目前的计算机辅助动画主要还是指动画的后期制作阶段。其主要的中间帧绘制及着色，由于无法实现关键帧中角色的自动匹配，需要由动画师手动建立匹配关系，使得新动画片的制作效率极低。另一方面，由于错误匹配的存在，动画师对已有的成品和半成品二维动画，无法进行有效的自动检索和复用。二维动画关键帧中蕴含的对象结构复杂，形状变化大，实现关键帧中角色的“语义理解”，从而支持关键帧中角色的自动匹配，发挥已有动画数据的资源优势，具有重大的实践应用价值。

在目前的二维动画角色的匹配研究中，早期的Fekete J-D，Bizouarn E([1]Fekete J-D，BizouarnE.et al.TicTacToon：A paperless system for professional 2D animation[J].Computer Graphics，1995，29(4)：79-80)提出了二维动画制作系统“TicTacToon”，即商业软件“Toon Boom Studio”的原型。该系统通过一整套数字化方法(digitalization)帮助动画师实现“无纸化”卡通动画制作。然而在中间帧绘制(Inbetweening)方面，“TicTacToon”及之后的“Toon Boom Studio”依然靠人力完成，即先由动画师手动建立关键帧角色之间的匹配关系，再采用插值(Interpolation)的办法生成中间帧。其后，Kort([2]Alexander Kort，Computer aided inbetweening，Proceedings of the 2ndinternational symposium on Non-photorealistic animation and rendering，June 03-05，2002，Annecy，France)提出一种针对矢量(vectorization)图形的中间帧自动绘制算法，即先将每帧包含的曲线分组，然后用户依据一定规则建立目标函数，并通过优化目标函数(objective functionoptimization)建立曲线之间的匹配关系。但该方法仅适用于相对简单的动画，比如剪影动画(cut-out animation)。之后，T.-Y.Li和J.R.Chen([3]T.-Y.Li，J.R.Chen，2006.12，“ProceduralRhythmic Character Animation：An Interactive Chinese Lion Dance，”Computer Animation andVirtual Worlds，17(5)：551-564)提出了类似的匹配算法，但由于采用了局部优化的方式，因此当出现旋转及形变等刚体及非刚体变换时，该算法无法有效建立匹配关系。除了矢量图形，Seah和Feng([4]H.S.Seah and J.Lu″Computer-assisted inbetweening of line drawings：Imagematching″，Proc.IEEE Int.Conf.Comput.Aided Des.Comput.Graph.，2001：193-200；[5]J.Lu，H.S.Seah and T.Feng  ″Computer-assisted cel animation：Post-processing afterinbetweening″，Proc.ACM Int.Conf.Comput.Graph.Interactive Techn.Australasia South EastAsia，2003：13-20)提出了一套针对光栅图像(Raster Image)的中间帧自动绘制算法。该方法通过计算光流(optical flow)实现匹配关系自动建立。针对水流，火焰等自然物体，该方法能得到很好的效果，然而针对人物等复杂二维角色，该算法并不能有效保证中间帧的平滑及完整。因此，依然需要由动画师手动建立匹配关系。

发明内容

本发明的目的在于提供一种在二维动画制作环境下的二维动画角色的自动匹配方法。

本发明包括以下步骤：

1)基于两个关键帧中的角色信息，分别提取角色中的特征点；

2)对每个角色中的特征点，采用特征描述算法，为每个特征点分配尺度和方向并生成高维特征向量；

3)基于步骤1)中已获得的特征点，构造满足邻接关系的马尔可夫随机场；

4)依据步骤3)中所得到的马尔可夫随机场，并结合步骤2)所得到的高维特征向量，计算最大后验概率，寻找出能量函数的极小点，从而建立动画角色的匹配关系。

在步骤1)中，所述提取角色中的特征点，可通过关键帧中角色的线长度和曲率信息获得特征点。

在步骤2)中，所述采用特征描述算法的具体方法可为：计算每个特征点的尺度不变性和旋转不变性，首先对其中一个关键帧中的角色P的特征点p_i和q，计算出相对其余n-1个特征点的直方图h_i：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)}

其中，直方图h_i就是特征点p_i的尺度空间，k表示特征点的维度，bin(k)是在k维度下的极坐标空间；然后，通过下面公式得到特征点的尺度空间：

$D(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

计算出的结果D(p_i，q_j)就是两个关键帧角色中的特征点p_i和q_j的距离尺度空间，从而保证了特征点之间的尺度不变性；然后对每个特征点通过公式所得到极坐标空间bin(k)为其分配一个或多个方向，其计算公式为：

${\mathrm{\θ}}_i(x,y)={\tan }^{-1}\left(\frac{P_i(x,y+1)-P_i(x,y-1)}{P_i(x+1,y)-P_i(x-1,y)}\right)$

计算出的结果θ_i(x，y)就是特征点p_i的方向角，从而保证了旋转不变性。最后以特征点为中心取16×16窗口，在每个邻近的4×4的小块上计算8个方向的梯度方向直方图，即可生成高维特征向量空间Φ＝{φ(i)}。

在步骤3)中，所述构造满足邻接关系的马尔可夫随机场的具体方法可为：首先以两个关键帧中提取的特征点做为顶点V，以两角色中特征点之间的邻接关系做为边E，然后通过K最邻近结点算法为每条边添加权重，最后就构造出具有邻接关系的马尔可夫随机场：

$G=\{V,E\}\→V=\{p,q\}\∪Z\→w(p,q)\∀(p,q)\∈E$

其中，p和q分别是两个关键帧角色中的特征点，Z是非终端结点V/{p，q}，w(p，q)是连接两个特征点(p，q)的权重。

在步骤4)中，所述计算最大后验概率的具体方法可为：寻找出能量函数的极小点，建立动画角色的匹配关系；首先设置一个关键帧角色中的特征点为P，另一个关键帧角色中的特征点为L，目的在于寻找一个最大后验概率的

其计算公式为：

$\hat{f}=\underset{f}{\arg \max }\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)$

给定特征点P和高维特征向量Φ，通过贝叶斯法获得Pr(f|Φ，P)，其公式为：

$\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)=\frac{\mathrm{Pr}(\mathrm{\Φ},P|f)\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(\mathrm{\Φ},P|f)}\⇒\mathrm{Pr}(\mathrm{\Φ},P|f)\mathrm{Pr}\left(f\right)$

再转化为马尔可夫场模型，假定特征点服从独立分布，Pr(f|Φ，P)可以被定义为：

$\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)=\left(\underset{p\∈P}{\mathrm{\Π}}\exp (-D(p,f_p,\mathrm{\Φ}))\right)\·\exp (-\underset{p,q}{\mathrm{\Σ}}{V}_{p,q}(A,f_p,f_q))$

其中D(p，f_p，Φ)是一个特征点p到f_p的惩罚函数，V_p，q(A，f_p，f_q)是惩罚平滑函数，A是系数矩阵。对两边取对数，我们就可以得到最终的能量函数：

$E(f,\mathrm{\Φ},A)=\underset{p\∈P}{\mathrm{\Σ}}D(p,f_p,\mathrm{\Φ})+\underset{p,q}{\mathrm{\Σ}}{V}_{p,q}(A,f_p,f_q)$

然后先随机选取一个f，对于每个α∈L，寻找

如果E(f′)＜E(f)，设置f：＝f′，下一步再固定f计算A，接着固定A更新f，最后再固定A和f来更新Φ，并返回f，这个过程不断的迭代，直到找到所有的f才终止。从而可以建立起角色的匹配关系。

本发明具有的有益的效果是：关键帧中的角色通过采样方式提取的特征点，采用适当的特征描述，并以高维向量的形式表达特征点，使得关键帧中的角色在变形、缩放、平移以及旋转等条件下具有尺度不变性和旋转不变性。这种特征描述方法与别的特征描述方法相比，更能在几何变形因素的影响下保持角色原有的特性不变，为角色间的精确匹配提供了必要的保障。通过把角色的自动匹配问题转化为基于图模型的一种优化组合问题，并依靠已提取的特征点构造满足邻接关系的马尔可夫随机场模型并把所获得的高维特征向量作为能量函数项，寻找出能量函数的极小值点，建立了精确的角色匹配关系。为计算机二维动画角色生成中的中间帧自动绘制，自动着色，动画数据检索及复用提供了重要的实践应用价值，不但大大降低了劳动力成本，而且有效的提高了动画角色的制作效率。

附图说明

图1是二维动画角色的自动匹配方法的流程图。

图2是本发明中二维动画角色的自动匹配方法框架示意图。

图3是本发明使用的动画角色提取特征点示意图。

图4是本发明中二维动画角色的自动匹配结果示意图。

图5是本发明中二维动画角色的自动匹配结果评价示意图。

具体实施方式

本发明提出的二维动画角色的自动匹配方法，根据图1介绍本发明的具体技术方案和实施步骤：

步骤一：基于两个关键帧中的角色信息，分别提取角色中的特征点；

步骤二：对每个角色中的特征点，采用特征描述算法，为每个特征点分配尺度和方向并生成高维特征向量；

步骤三：基于步骤一中已获得的特征点，构造满足邻接关系的马尔可夫随机场；

步骤四：依据步骤三中所得到的马尔可夫随机场，并结合步骤二所得到的高维特征向量，计算出最大后验概率，寻找出能量函数的极小点，从而建立动画角色的匹配关系。

角色中的特征点采用特征描述算法计算每个特征点的尺度不变性和旋转不变性。首先对其中一个关键帧中的角色P的特征点p_i计算出相对其余n-1个特征点的直方图h_i：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)}

其中，直方图h_i就是特征点p_i的尺度空间，k表示特征点的维度，bin(k)是在k维度下的极坐标空间。然后，我们就可以通过下面公式得到特征点的尺度空间：

$D(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

计算出的结果D(p_i，q_j)就是两个关键帧角色中的特征点p_i和q_j的距离尺度空间，从而保证了特征点之间的尺度不变性。然后对每个特征点通过公式所得到极坐标空间bin(k)为其分配一个或多个方向，其计算公式为：

${\mathrm{\θ}}_i(x,y)={\tan }^{-1}\left(\frac{P_i(x,y+1)-P_i(x,y-1)}{P_i(x+1,y)-P_i(x-1,y)}\right)$

其中，角色P_i(x，y)就是特征点p_i的坐标位置，计算出的结果θ_i(x，y)就是特征点p_i的方向角，从而保证了旋转不变性。最后以特征点为中心取16×16窗口，在每个邻近的4×4的小块上计算8个方向的梯度方向直方图，即可生成高维特征向量空间Φ＝{φ(i)}。

要构造满足邻接关系的马尔可夫随机场，首先以两个关键帧中提取的特征点做为顶点V，以两角色中特征点之间的邻接关系做为边E，然后通过K最邻近结点算法为每条边添加权重，最后就构造出具有邻接关系的马尔可夫随机场：

$G=\{V,E\}\→V=\{p,q\}\∪Z\→w(p,q)\∀(p,q)\∈E$

其中，p和q分别是两个关键帧角色中的特征点，Z是非终端结点V/{p，q}，w(p，q)是连接两个特征点(p，q)的权重。

要寻找能量函数极小值点，就要计算最大后验概率。首先设置一个关键帧角色中的特征点为P，另一个关键帧角色中的特征点为L，目的就是寻找一个最大后验概率的

其计算公式为：

$\hat{f}=\underset{f}{\arg \max }\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)$

给定特征点P和高维特征向量Φ，我们可以通过贝叶斯法获得Pr(f|Φ，P)，其公式为：

$\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)=\frac{\mathrm{Pr}(\mathrm{\Φ},P|f)\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(\mathrm{\Φ},P|f)}\⇒\mathrm{Pr}(\mathrm{\Φ},P|f)\mathrm{Pr}\left(f\right)$

这个问题可转化为马尔可夫场模型，假定特征点服从独立分布，Pr(f|Φ，P)可以被定义为：

$\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)=\left(\underset{p\∈P}{\mathrm{\Π}}\exp (-D(p,f_p,\mathrm{\Φ}))\right)\·\exp (-\underset{p,q}{\mathrm{\Σ}}{V}_{p,q}(A,f_p,f_q))$

其中D(p，f_p，Φ)是一个特征点p到f_p的惩罚函数，V_p，q(A，f_p，f_q)是惩罚平滑函数，A是系数矩阵。对两边取对数，我们就可以得到最终的能量函数：

$E(f,\mathrm{\Φ},A)=\underset{p\∈P}{\mathrm{\Σ}}D(p,f_p,\mathrm{\Φ})+\underset{p,q}{\mathrm{\Σ}}{V}_{p,q}(A,f_p,f_q)$

然后先随机选取一个f，对于每个α∈L，寻找

根据上一步骤所寻找到的

若E(f′)＜E(f)，则设置f：＝f′，下一步再固定f计算A，接着固定A更新f，最后再固定A和f来更新Φ，并返回f，这个过程不断的迭代，直到找到所有的f才终止。从而可以建立起角色的匹配关系。

至此，通过输入两个关键帧中的角色动画，角色的特征点提取，特征点的特征描述，构建马尔可夫随机场，寻找能量函数极小值点及建立动画角色的匹配关系这些指定的步骤，可以完成二维动画角色的自动匹配。

Claims (5)

1.二维动画角色的自动匹配方法，其特征在于包括以下步骤：

1)基于两个关键帧中的角色信息，分别提取角色中的特征点；

2)对每个角色中的特征点，采用特征描述算法，为每个特征点分配尺度和方向并生成高维特征向量；

3)基于步骤1)中已获得的特征点，构造满足邻接关系的马尔可夫随机场；

4)依据步骤3)中所得到的马尔可夫随机场，并结合步骤2)所得到的高维特征向量，计算最大后验概率，寻找出能量函数的极小点，从而建立动画角色的匹配关系。

2.如权利要求1所述的二维动画角色的自动匹配方法，其特征在于在步骤1)中，所述提取角色中的特征点，是通过关键帧中角色的线长度和曲率信息获得特征点。

3.如权利要求1所述的二维动画角色的自动匹配方法，其特征在于在步骤2)中，所述采用特征描述算法的具体方法为：计算每个特征点的尺度不变性和旋转不变性，首先对其中一个关键帧中的角色P的特征点p_i和q，计算出相对其余n-1个特征点的直方图h_i：

h_i(k)＝#{q≠p_i：(q-p_i)∈bin(k)}

其中，直方图h_i就是特征点p_i的尺度空间，k表示特征点的维度，bin(k)是在k维度下的极坐标空间；然后，通过下面公式得到特征点的尺度空间：

$D(p_i,q_j)=\frac{1}{2}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\frac{{[h_i\left(k\right)-h_j\left(k\right)]}^2}{h_i\left(k\right)+h_j\left(k\right)}$

计算出的结果D(p_i，q_j)就是两个关键帧角色中的特征点p_i和q_j的距离尺度空间，从而保证了特征点之间的尺度不变性；然后对每个特征点通过公式所得到极坐标空间bin(k)为其分配一个或多个方向，其计算公式为：

${\mathrm{\θ}}_i(x,y)={\tan }^{-1}\left(\frac{P_i(x,y+1)-P_i(x,y-1)}{P_i(x+1,y)-P_i(x-1,y)}\right)$

计算出的结果θ_i(x，y)就是特征点p_i的方向角，从而保证了旋转不变性。最后以特征点为中心取16×16窗口，在每个邻近的4×4的小块上计算8个方向的梯度方向直方图，即可生成高维特征向量空间Φ＝{φ(i)}。

4.如权利要求1所述的二维动画角色的自动匹配方法，其特征在于在步骤3)中，所述构造满足邻接关系的马尔可夫随机场的具体方法为：首先以两个关键帧中提取的特征点做为顶点V，以两角色中特征点之间的邻接关系做为边E，然后通过K最邻近结点算法为每条边添加权重，最后就构造出具有邻接关系的马尔可夫随机场：

$G=\{V,E\}\→V=\{p,q\}\∪Z\→w(p,q)\∀(p,q)\∈E$

其中，p和q分别是两个关键帧角色中的特征点，Z是非终端结点V/{p，q}，w(p，q)是连接两个特征点(p，q)的权重。

5.如权利要求1所述的二维动画角色的自动匹配方法，其特征在于在步骤4)中，所述计算最大后验概率的具体方法为：寻找出能量函数的极小点，建立动画角色的匹配关系；首先设置一个关键帧角色中的特征点为P，另一个关键帧角色中的特征点为L，目的在于寻找一个最大后验概率的

其计算公式为：

$\hat{f}=\underset{f}{\arg \max }\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)$

给定特征点P和高维特征向量Φ，通过贝叶斯法获得Pr(f|Φ，P)，其公式为：

$\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)=\frac{\mathrm{Pr}(\mathrm{\Φ},P|f)\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(\mathrm{\Φ},P|f)}\⇒\mathrm{Pr}(\mathrm{\Φ},P|f)\mathrm{Pr}\left(f\right)$

再转化为马尔可夫场模型，假定特征点服从独立分布，Pr(f|Φ，P)可以被定义为：

$\mathrm{Pr}\left(f\right|\mathrm{\Φ},P)=\left(\underset{p\∈P}{\mathrm{\Π}}\exp (-D(p,f_p,\mathrm{\Φ}))\right)\·\exp (-\underset{p,q}{\mathrm{\Σ}}{V}_{p,q}(A,f_p,f_q))$

其中D(p，f_p，Φ)是一个特征点p到f_p的惩罚函数，V_p，q(A，f_p，f_q)是惩罚平滑函数，A是系数矩阵。对两边取对数，我们就可以得到最终的能量函数：

$E(f,\mathrm{\Φ},A)=\underset{p\∈P}{\mathrm{\Σ}}D(p,f_p,\mathrm{\Φ})+\underset{p,q}{\mathrm{\Σ}}{V}_{p,q}(A,f_p,f_q)$

然后先随机选取一个f，对于每个α∈L，寻找

如果E(f′)＜E(f)，设置f：＝f′，下一步再固定f计算A，接着固定A更新f，最后再固定A和f来更新Φ，并返回f，这个过程不断的迭代，直到找到所有的f才终止。从而可以建立起角色的匹配关系。

Images