CN101515373A - 竞技性交互式动画生成方法 - Google Patents

Abstract

本发明公开了一种竞技性交互式动画生成方法。本方法利用了一种分层的框架来对交互式运动流程进行建模，即：状态层面和动作层面。在状态层面，通过构造有限状态机(Finite State Machine)来模拟交互式运动中状态之间的转换。在动作层面，通过混合式的方法来生成在对应状态下，最符合当前角色之间对峙形势的动作选择。为了解决单个角色运动捕获数据无法体现角色间交互行为的问题，本方法使用一种基于机器学习和经验性规则的混合方法来捕获和模拟角色间的交互行为，获得了很好的效果，生成的动画具有视觉上的自然性和真实性。

Description

竞技性交互式动画生成方法

技术领域

本发明涉及一种竞技性交互式动画生成方法，具体涉及基于单个角色运动捕获数据条件下，运用混合经验性规则和机器学习模型模拟竞技性交互式运动中的交互行为来生成动画的方法，属于机器学习和智能动画创作的领域。

背景技术

交互式角色动画在目前流行的游戏和电影中非常的普遍，对于这部分角色动画的研究和应用也成为学界与工业界关注的重点。我们所提到的交互式行为分为两类：同步的交互式行为和不同步的交互式行为。其中带有竞赛性质的不同步交互式行为在各种形式的竞技体育中都会出现，比如拳击运动、跆拳道运动和空手道运动中，因此也被称为竞技性的交互行为。这类交互式的运动所具有的共同特点就是它强调的是针锋相对，交互行为发生的时间和方式不存在彼此的顺序相关性。

和传统的同步式的交互行为如跳舞相比，竞技性的交互行为最大的差别体现在一方行为能否成为对方行为的控制信号。例如，跳舞时角色双方以一种两者一人引导另一人跟从的方式来进行交互，主导者的行为就成为被引导者行为的一个控制信号。而在竞技性的交互式行为中，角色双方都在试图通过假动作或者其他方式欺骗对方并寻找攻击对方的机会，一方的动作并不能作为引导另一方行为的信号，彼此的行为都具有针对性和时空上的不同步性，这也正是需要通过技术手段和算法来进行模拟所要突出特点的地方。

在对竞技性的交互动画模拟生成的方法中，同传统基于手工编辑和绘制的动画相比，基于运动捕获数据的动画生成方式可以大大提高工作的效率和减少手工负担，并且当对当前动作进行编辑的时候，不需要考虑到角色彼此之间的藕合关系。但是在实际的捕获过程中，由于存在遮挡和标记点错位导致标记点信息丢失的情况，所以很难进行多角色运动捕获数据的重建和恢复工作。而基于单角色的运动数据捕获因为它在技术上的成熟性，辅之以运动数据的编辑和合成技术，正逐渐成为目前研究和工程上生成交互式动画的一个主流实现思路。

合成和模拟多角色的交互式动画是一件困难的事情，原因在于如何使得角色间的交互行为显得真实和自然。2006年在期刊Computer Animation and VirtualWorlds上发表的《Interactive generation of falling motions：Research Articles》，公开了一种通过预测运动轨迹在运动捕获数据中融入物理生成动作的方法来模拟角色受到击打跌倒的过程。2005年在ACM Transaction on Graphics发表的《Dynamic response for motion capture animation》，该方法公开了一种基于特别的搜索规则来融合运动捕获数据和物理模拟，用于模拟对于非预料性影响的反应。2006年在SCA上发表的《Composition of complex optimal multi-charactermotions》公开了一种利用最优化过程约束外界影响和角色间交互的方法。以上方法的共同特点是，他们都是针对于角色间单一非持续性的交互式行为。实际上，在很多情况下，需要生成的是持续性的、非限定性的角色间交互式行为。一些研究人员也提出了专门针对某种场景的竞技性的交互式动画生成方法。例如，2008年发表在IEEE Transaction on Visualization and Computer Graphics上的《Two-Character Motion Analysis and Synthesis》，该方法构建包含相似动作的组之间的基于概率的迁移模型，在实际的模拟过程中，由迁移模型来指导合成的过程。但是这种方法过度依赖于样本的学习过程。2008年在Symposium onInteractive 3D Graphics and Games上发表的《Simulating interactions of avatars inhigh dimensional state space》，利用一个交互图来记录样本中所有具有意义的交互行为，在生成的过程中，利用动态规划算法来在交互图中搜索目标动作。但是这种方法只能保证交互行为的自然过渡，而不能保证所搜索到的目标行为最符合当前的形势参数。

发明内容

本发明的目的是克服现有技术的不足，提供一种竞技性交互式动画生成方法。

竞技性交互式动画生成方法包括如下步骤：

1)建立基于马尔科夫链的有限状态机模型，来模拟控制交互式运动角色的状态迁移，获得下一个时间戳角色所对应的状态；

2)在步骤1)所得到的下一个时间戳角色对应的状态的基础上，运用混合式的方法，结合基于经验性规则所定义的规则模型和基于机器学习所定义的交互式模型，来获得最符合当前角色间对峙形势的动作；

3)按照步骤2)所规划的动作索引序列对已经进行分段的运动数据单元进行参数调整和线性缝合，生成交互式动画。

所述的建立基于马尔科夫链的有限状态机模型，来模拟控制交互式运动角色的状态迁移，获得下一个时间戳角色所对应的状态步骤：

a)获取训练样本的特征集合{Ф_n}。这里的特征Φ_i＝{D_i， O_i，V_i}是用来作为评估当前对峙形势的一组向量，包括了角色之间的距离D_i，角色的朝向O_i，以及角色相对于世界坐标系的速度V_i，这些值可以通过视频中手工标定获得，也可以通过视觉算法自动跟踪获得；

从训练样本中，获取观察值M_i所对应的样本特征集合{Ф_Mi}，首先定义观察值为一组向量，包含了状态集合即平衡、防守和攻击中的不同状态所对应的视觉特征，对每个状态所对应的样本特征计算一个平均特征公式如下：

${\widetilde{\mathrm{\Φ}}}_{\mathrm{Mi}}=\frac{\underset{n=1}{\overset{k_{\mathrm{Mi}}}{\mathrm{\Σ}}}{\mathrm{\Φ}}_n}{k_{\mathrm{Mi}}}---1$

其中k_Mi是样本集合中属于观察值M_i的数量；然后在样本集合中，获得相邻样本间的迁移概率P(Φ_i|Φ_i-1)；

b)利用训练好的状态机模型，在生成新的状态时，计算当前的特征Φ_i，根据马尔科夫链算法，计算使得最优值E最小的观察值M_i所对应的状态作为下一个状态，公式如下：

$E=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ψ}({\mathrm{\Φ}}_i,M_i)+\mathrm{\ω}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}P\left({\mathrm{\Φ}}_i\right|{\mathrm{\Φ}}_{i-1})---2$

其中阈值ω用来调节概率部分所占最优值中的比重，ψ()是用来计算特征向量Φ_i和观察值M_i之间的匹配差值，公式如下：

其中向量＜Δdis_i，Δv_com，Δθ_i＞对应当前状态i的特征，＜Δdis_M，Δv_com-M，Δθ_M＞对应于观察值M_i的特征，

是欧拉距离。

所述的在步骤1)所得到的下一个时间戳角色对应的状态的基础上，运用混合式的方法，结合基于经验性规则所定义的规则模型和基于机器学习所定义的交互式模型，来获得最符合当前角色间对峙形势的动作步骤：

c)在混合式的方法的规则模型中，为状态集合即平衡、防守和攻击中的三种状态：平衡、攻击和防守构造模型，决定平衡和防守状态所对应的动作；其中平衡的规则模型为：

dis～N(μ，σ²)    4

其中dis是角色两者之间的距离，这个距离在模拟的过程中遵守高斯分布，其中高斯参数来自于样本的分析；防守的构造模型为：

δ＝e^t-φ          5

其中δ为决定角色防守动作的值，t为从对手发起攻击到完成攻击的持续时间，φ为模拟人的神经系统的反应盲区阈值；其中t通过如下公式计算：

$t=\sqrt{\frac{2S}{\stackrel{\‾}{a}}}---6$

其中S是攻击角色的拳头在时间t内运动轨迹的模，a为对应的平均加速度；攻击的模型通过角色间的距离dis阈值θ_{dis-far-middel}和θ_{dis-middle-near}来将攻击的行为划分成近、中和远三种攻击候选集合{G_near，G_middle，G_far}；

d)在混合式的方法的机器学习模型中，构造了针对组合攻击、出击选择和被击打反应这三种交互式行为的子模型，来模拟竞技性交互式运动中的这些交互行为；

在组合攻击模型的构造过程中，构造一个组合拳迁移图，图中的每个节点表示攻击动作a_i，节点之间的有向边表示两个动作之间的迁移；每一个样本在图中用e＝(A，G，E)来表示，A表示攻击行为的链表，G是所属的动作候选集合，E表示这些行为之间的边；图中节点之间的迁移概率P(T_i，j)的计算公式如下：

$P\left(T_{i,j}\right)=\frac{w(a_i,a_j)}{\underset{j=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}w(a_i,a_j)}---7$

其中w(a_i，a_j)是在样本集合中从攻击动作a_i到a_j的迁移次数，λ是样本中从攻击动作a_i为源动作迁移出来的不同动作数量；构造好组合拳的迁移图后，在实际模拟过程中，在完成一个攻击动作a_i后，计算图中所有从a_i为源动作的迁移指数S_i，j：

S_i，j＝Suc(a_i)·P(T_i，j)·e^τ+S_i-1，i    8

其中Suc()是一个二值函数，当且仅当当前的攻击动作a_i达到攻击的效果时才为1，否则为0；S_i-1，i是当前攻击前一个迁移指数；在所有的从a_i为源动作的迁移动作中，选取可以使当前的值S_i，j最大的a_j为下一个攻击所采取的动作；

在出击选择模型的构造过程中，用向量x∈R^d来表示当前对峙的形势，向量t∈R^m来表示输出的攻击选择，t可以用x以基函数的形式进行表示：

$t=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_i{\mathrm{\φ}}_i\left(x\right)+\mathrm{\ϵ}\≡\mathrm{W\Φ}\left(x\right)+\mathrm{\ϵ}---9$

其中{φ_i(x)|i＝1，...，r}是基函数，w_i是-R^m的权值，ε是模拟误差；将φ_i和w_i分别用向量和矩阵的形式进行表示，得到-R^m基函数向量和m×n的权值矩阵W，如式9所示；基于已获得的样本数据{(t_k，x_k)|k＝1，...，n}，其中n为样本数据的大小；对W进行约束求值：

$W:=\arg \stackrel{\min }{W}\{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|\mathrm{W\Φ}\left(x_k\right)-t_k\left|\right|}^2+R\left(W\right)\}---10$

其中R()是基于矩阵W的规范式；利用相关向量机算法对式10进行求解；

在被击打反应模型的构造过程中，利用物理生成的动作片段作为反应前动作和反应后动作中间的一个过渡；首先利用动态规划算法获得假设中角色关节点轨迹，然后以所获得的轨迹为比较基准，比较数据库中所存储的运动捕获数据片段，寻找最接近的运动数据作为反应后的动作，比较的算法如下：

$D(S_1,S_2)=\underset{i=1}{\overset{e}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}\left(\underset{u=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}{w}_{\mathrm{Ru}}\left(\underset{v=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{w}_{\mathrm{Pv}}\right||P_v\left(f_{1i}\right)-P_v\left(f_{2i}\right)||+w_{\mathrm{\θv}}||{\mathrm{\θ}}_v\left(f_{1i}\right)-{\mathrm{\θ}}_v\left(f_{2i}\right)|\left|\right)\right)---11$

其中S₁和S₂为长度为e的运动捕获数据片段帧序列，每帧f_i中角色信息以向量(P₀，θ₀，...，P_n-1，θ_n-1)^T进行表示，其中P_i和θ_i为角色关节点i的位置和朝向信息；w_fi，w_pv，w_θv为帧、位置和朝向的权值，λ和r为角色关节中对于速度较为敏感的区域数量已经区域中所包含的关节数量。

所述的按照步骤2)所规划的动作索引序列对已经进行分段的运动数据单元进行参数调整和线性缝合，生成交互式动画步骤：

e)对于通过步骤2)所获得的动作序列索引，从已获得的分段数据中挑选所对应的动作片段，并根据当前的参数对动作进行调整；

对每个运动数据动作片段S，用帧序列(f₀，f₁，...，f_n)进行表示，每帧f_i中的角色的运动用向量M＝(P₀，O₀，Q₁，Q₂，...，Q_n)^T表示，其中P₀和O₀为根节点的三维坐标和朝向，Q_i为对应节点相对于根节点的位置偏移量；按照场景中所需要，对动作片段中的每帧的运动向量进行朝向和位移的调整，公式如下：

$S^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{TOM}---12$

S’为调整后的动作片段，其中T和O分别是位移和朝向的调整矩阵；

f)将调整好的动作片段序列，彼此之间进行线性的差值，在临近的两个动作片段S₁，S₂之间，选取前一个片段S₁的最末一个窗口的帧序列 $W_1=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{1i}$ 和S₂的段首一个窗口的帧序列 $W_2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{2i},$ 窗口的大小为m；过渡的帧序列W’通过线性的插值方法获得：

$W^{\′}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(w_{1i}{f}_{1i}+w_{2i}{f}_{2i})---13$

其中w_1i和w_2i分别为窗口W₁和W₂中对应帧的权值，且满足w_1i和w_2i的加和始终等于1；用W’替换片段S₁和S₂中的W₁和W₂。

本发明利用机器学习和运动数据编辑的知识，通过构造层次化结构和应用混合方法来模拟生成角色的状态及其所对应的最适合动作选择，实现了竞技性交互式动画的智能生成，提高了交互式行为模拟的真实度和自然度，减少了人工干预的过程，提高了角色动画生成效率，整体系统的流程图如图1所示。

附图说明

下面结合附图和具体实施例对本发明作进一步的说明。

图1为本发明所述的总体流程图；

图2为本发明所述的状态迁移图；

图3为本发明所述的组合拳迁移图。

具体实施方式

竞技性交互式动画生成方法包括如下步骤：

1)建立基于马尔科夫链的有限状态机模型，来模拟控制交互式运动角色的状态迁移，获得下一个时间戳角色所对应的状态；

2)在步骤1)所得到的下一个时间戳角色对应的状态的基础上，运用混合式的方法，结合基于经验性规则所定义的规则模型和基于机器学习所定义的交互式模型，来获得最符合当前角色间对峙形势的动作；

3)按照步骤2)所规划的动作索引序列对已经进行分段的运动数据单元进行参数调整和线性缝合，生成交互式动画。

所述的建立基于马尔科夫链的有限状态机模型，来模拟控制交互式运动角色的状态迁移，获得下一个时间戳角色所对应的状态步骤：

a)获取训练样本的特征集合{Ф_n}。这里的特征Φ_i＝{D_i，O_i，V_i}是用来作为评估当前对峙形势的一组向量，包括了角色之间的距离D_i，角色的朝向O_i，以及角色相对于世界坐标系的速度V_i，这些值可以通过视频中手工标定获得，也可以通过视觉算法自动跟踪获得；

从训练样本中，获取观察值M_i所对应的样本特征集合{Φ_Mi}，首先定义观察值为一组向量，包含了状态集合即平衡、防守和攻击中的不同状态所对应的视觉特征，对每个状态所对应的样本特征计算一个平均特征

公式如下：

${\widetilde{\mathrm{\Φ}}}_{\mathrm{Mi}}=\frac{\underset{n=1}{\overset{k_{\mathrm{Mi}}}{\mathrm{\Σ}}}{\mathrm{\Φ}}_n}{k_{\mathrm{Mi}}}---1$

其中k_Mi是样本集合中属于观察值M_i的数量；然后在样本集合中，获得相邻样本间的迁移概率P(Φ_i|Ф_i-1)；

b)利用训练好的状态机模型，在生成新的状态时，计算当前的特征Φ_i，根据马尔科夫链算法，计算使得最优值E最小的观察值M_i所对应的状态作为下一个状态，公式如下：

$E=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ψ}({\mathrm{\Φ}}_i,M_i)+\mathrm{\ω}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}P\left({\mathrm{\Φ}}_i\right|{\mathrm{\Φ}}_{i-1})---2$

其中阈值ω用来调节概率部分所占最优值中的比重，ψ()是用来计算特征向量Φ_i和观察值M_i之间的匹配差值，公式如下：

其中向量＜Δdis_i，Δv_com，Δθ_i＞对应当前状态i的特征，＜Δdis_M，Δv_com-M，Δθ_M＞对应于观察值M_i的特征，

是欧拉距离。

所述的在步骤1)所得到的下一个时间戳角色对应的状态的基础上，运用混合式的方法，结合基于经验性规则所定义的规则模型和基于机器学习所定义的交互式模型，来获得最符合当前角色间对峙形势的动作步骤：

c)在混合式的方法的规则模型中，为状态集合平衡、防守和攻击中的三种状态：平衡、攻击和防守构造模型，决定平衡和防守状态所对应的动作；其中平衡的规则模型为：

dis～N(μ，σ²)        4

其中dis是角色两者之间的距离，这个距离在模拟的过程中遵守高斯分布，其中高斯参数来自于样本的分析；防守的构造模型为：

δ＝e^t-φ    5

其中δ为决定角色防守动作的值，t为从对手发起攻击到完成攻击的持续时间，φ为模拟人的神经系统的反应盲区阈值；其中t通过如下公式计算：

$t=\sqrt{\frac{2S}{\stackrel{\‾}{a}}}---6$

其中S是攻击角色的拳头在时间t内运动轨迹的模，a为对应的平均加速度；攻击的模型通过角色间的距离dis阈值θ_{dis-far-middel}和θ_{dis-middle-near}来将攻击的行为划分成近、中和远三种攻击候选集合{G_near，G_middle，G_far}；

d)在混合式的方法的机器学习模型中，构造了针对组合攻击、出击选择和被击打反应这三种交互式行为的子模型，来模拟竞技性交互式运动中的这些交互行为；

在组合攻击模型的构造过程中，构造一个组合拳迁移图，图中的每个节点表示攻击动作a_i，节点之间的有向边表示两个动作之间的迁移；每一个样本在图中用e＝(A，G，E)来表示，A表示攻击行为的链表，G是所属的动作候选集合，E表示这些行为之间的边；图中节点之间的迁移概率P(T_i，j)的计算公式如下：

$P\left(T_{i,j}\right)=\frac{w(a_i,a_j)}{\underset{j=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}w(a_i,a_j)}---7$

其中w(a_i，a_j)是在样本集合中从攻击动作a_i到a_j的迁移次数，λ是样本中从攻击动作a_i为源动作迁移出来的不同动作数量；构造好组合拳的迁移图后，在实际模拟过程中，在完成一个攻击动作a_i后，计算图中所有从a_i为源动作的迁移指数S_i，j：

S_i，j＝Suc(a_i)·P(T_i，j)·e^τ+S_i-1，i    8

其中Suc()是一个二值函数，当且仅当当前的攻击动作a_i达到攻击的效果时才为1，否则为0；S_i-1，i是当前攻击前一个迁移指数；在所有的从a_i为源动作的迁移动作中，选取可以使当前的值S_i，j最大的a_j为下一个攻击所采取的动作；

在出击选择模型的构造过程中，用向量x∈R^d来表示当前对峙的形势，向量t∈R^m来表示输出的攻击选择，t可以用x以基函数的形式进行表示：

$t=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_i{\mathrm{\φ}}_i\left(x\right)+\mathrm{\ϵ}\≡\mathrm{W\Φ}\left(x\right)+\mathrm{\ϵ}---9$

其中{φ_i(x)|i＝1，...，}是基函数，w_i是-R^m的权值，ε是模拟误差；将φ_i和w_i分别用向量和矩阵的形式进行表示，得到-R^m基函数向量和m×n的权值矩阵W，如式9所示；基于已获得的样本数据{(t_k，x_k|k＝1，...，n}，其中n为样本数据的大小；对W进行约束求值：

$W:=\arg \begin{array}{c}\min \\ W\end{array}\{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|\mathrm{W\Φ}\left(x_k\right)-t_k\left|\right|}^2+R\left(W\right)\}---10$

其中R()是基于矩阵W的规范式；利用相关向量机算法对式10进行求解；

在被击打反应模型的构造过程中，利用物理生成的动作片段作为反应前动作和反应后动作中间的一个过渡；首先利用动态规划算法获得假设中角色关节点轨迹，然后以所获得的轨迹为比较基准，比较数据库中所存储的运动捕获数据片段，寻找最接近的运动数据作为反应后的动作，比较的算法如下：

$D(S_1,S_2)=\underset{i=1}{\overset{e}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}\left(\underset{u=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}{w}_{\mathrm{Ru}}\left(\underset{v=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{w}_{\mathrm{Pv}}\right||P_v\left(f_{1i}\right)-P_v\left(f_{2i}\right)||+w_{\mathrm{\θv}}||{\mathrm{\θ}}_v\left(f_{1i}\right)-{\mathrm{\θ}}_v\left(f_{2i}\right)|\left|\right)\right)---11$

其中S₁和S₂为长度为e的运动捕获数据片段帧序列，每帧f_i中角色信息以向量(P₀，θ₀，...，P_n-1，θ_n-1)^T进行表示，其中P_i和θ_i为角色关节点i的位置和朝向信息；w_fi，w_pv，w_θv为帧、位置和朝向的权值，λ和r为角色关节中对于速度较为敏感的区域数量已经区域中所包含的关节数量。

所述的按照步骤2)所规划的动作索引序列对已经进行分段的运动数据单元进行参数调整和线性缝合，生成交互式动画步骤：

e)对于通过步骤2)所获得的动作序列索引，从已获得的分段数据中挑选所对应的动作片段，并根据当前的参数对动作进行调整；

对每个运动数据动作片段S，用帧序列(f₀，f₁，...，f_n)进行表示，每帧f_i中的角色的运动用向量M＝(P₀，O₀，Q₁，Q₂，...，Q_n)^T表示，其中P₀和O₀为根节点的三维坐标和朝向，Q_i为对应节点相对于根节点的位置偏移量；按照场景中所需要，对动作片段中的每帧的运动向量进行朝向和位移的调整，公式如下：

$S^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{TOM}---12$

S’为调整后的动作片段，其中T和O分别是位移和朝向的调整矩阵；

f)将调整好的动作片段序列，彼此之间进行线性的差值，在临近的两个动作片段S₁，S₂之间，选取前一个片段S₁的最末一个窗口的帧序列 $W_1=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{1i}$ 和S₂的段首一个窗口的帧序列 $W_2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{2i},$ 窗口的大小为m；过渡的帧序列W’通过线性的插值方法获得：

$W^{\′}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(w_{1i}{f}_{1i}+w_{2i}{f}_{2i})---13$

其中w_1i和w_2i分别为窗口W₁和W₂中对应帧的权值，且满足w_1i和w_2i的加和始终等于1；用W’替换片段S₁和S₂中的W₁和W₂。

实施例

(1)在本实施例中，获取拳击视频中训练样本的特征集合{Φ_n}。这里的特征Φ_i＝{D_i，O_i，V_i}是用来作为评估当前拳击对峙形势的一组向量，包括了角色之间的距离D_i，角色的朝向O_i，以及角色相对于世界坐标系的速度V_i，在本实施例中这些向量值通过视频中在首帧手工标定并进行自动跟踪获得。

在本实施例中，收集了50组的拳击样本数据，从训练样本中，获取观察值M_i所对应的样本特征集合{Φ_Mi}，首先定义观察值为一组向量，包含了状态集合平衡、防守和攻击中的不同状态所对应的视觉特征，状态以及状态之间的迁移图如图2所示；在本实施例中Φ_Mi包含了距离、朝向和速度三个特征向量，对每个状态所对应的样本特征计算一个平均特征

公式如下：

${\widetilde{\mathrm{\Φ}}}_{\mathrm{Mi}}=\frac{\underset{n=1}{\overset{k_{\mathrm{Mi}}}{\mathrm{\Σ}}}{\mathrm{\Φ}}_n}{k_{\mathrm{Mi}}}$

其中k_Mi是样本集合中属于观察值M_i的数量，然后在样本集合中，获得相邻样本间的迁移概率P(Φ_i|Φ_i-1)，至此获得了训练好的状态机模型。

利用上述的训练好的状态机模型，在生成新的状态时，计算当前的特征Φ_i，计算使得最优值E最小的观察值M_i所对应的状态作为下一个状态，公式如下：

$E=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ψ}({\mathrm{\Φ}}_i,M_i)+\mathrm{\ω}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}P\left({\mathrm{\Φ}}_i\right|{\mathrm{\Φ}}_{i-1})$

其中阈值ω用来调节概率部分所占最优值中的比重，ψ()是用来计算特征向量φ_i和观察值M_i之间的匹配差值，公式如下：

其中向量＜Δdis_j，Δv_com，Δθ_i＞对应当前状态i的距离、平均质心速度和平均朝向向量值，＜Δdis_M，Δv_com-M，Δθ_M＞对应于观察值M_i的对应的向量值，是欧拉距离公式。

(2)在本实施例中的混合式方法的规则模型中，为状态集合平衡、防守和攻击中的平衡、攻击和防守三种状态构造模型：其中平衡的规则模型为：

dis～N(μ，σ²)

其中dis是拳击角色两者之间的距离，这个距离在模拟的过程中遵守高斯分布，在本实施例中，高斯参数来自于在(1)所述50组样本数据的分析；防守的构造模型为：

δ＝e^t-φ

其中δ为决定角色防守动作的值，在本实施例中，δ越高意味着反应的时间越充裕，对于反应动作的选取余地越大，反之意味着反应的时间越急迫，对于反应动作的选取余地越小；t为从对手发起攻击到完成攻击的持续时间，φ为模拟人的神经系统的反应盲区阈值，在本实施例中为0.3秒；其中t通过如下公式计算：

$t=\sqrt{\frac{2S}{\stackrel{\‾}{a}}}$

其中S是攻击角色的拳头在时间t内运动轨迹的模，a为对应的平均加速度，在本实施例中，直拳的拳头轨迹近似用直线表示，摆拳和勾拳的攻击方式用圆弧表示，S的计算方法参考所依赖表示的数学计算方式。

攻击的模型通过角色间的距离dis阈值θ_dis来将攻击的行为划分成近、中和远三种攻击候选集合{G_near，G_middle，G_far}，在本实施例中，通过阈值θ_{dis-far-middel}和θ_{dis-middle-near}将拳击攻击行为分别分为勾拳、刺拳和速击拳所组成的近候选集合，直拳、勾拳组成的中候选集合，直拳、摆拳组成的远候选集合。

在本实施例中的混合式方法的机器学习模型中，构造了针对组合攻击、出击选择和被击打反应这三种交互式行为的子模型，来模拟竞技性交互式运动中的这些交互行为：

在组合攻击模型的构造过程中，构造一个组合拳迁移图，图中的每个节点表示攻击动作a_i，节点之间的有向边表示两个动作之间的迁移；每一个样本在图中用e＝(A，G，E)来表示，A表示攻击行为的链表，G是所属的动作候选集合，E表示这些行为之间的边；图中节点之间的迁移概率P(T_i，j)的计算公式如下：

$P\left(T_{i,j}\right)=\frac{w(a_i,a_j)}{\underset{j=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}w(a_i,a_j)}$

其中w(a_i，a_j)是在样本集合中从攻击动作a_i到a_j的迁移次数，λ是样本中从攻击动作a_i为源动作迁移出来的不同动作数量，在本实例中，选取了60组经典的组合拳打击方式来构造好组合拳的迁移图模型，构造完后的组合拳的迁移图如图3所示。完成构造后，在拳击角色已完成一个攻击动作a_i后，计算图中所有从a_i为源动作的迁移指数S_i，j：

S_i，j＝Suc(a_i)·P(T_i，j)·e^τ+S_i-1，i

其中Suc()是一个二值函数，当且仅当当前的攻击动作a_i达到攻击的效果时才为1，否则为0；S_i-1，i是当前攻击前一个迁移指数；在所有的从a_i为源动作的迁移动作中，选取可以使当前的值S_i，j最大的a_i为下一个攻击所采取的动作，进行组合攻击，以此形成递归。在本实施例中，为了避免形成循环造成持续不停止攻击，设置了阈值θ_combin来控制S_i，j的数值，当S_i，j超过阈值θ_combin时，停止组合攻击。

在出击选择模型的构造过程中，用向量x∈R^d来表示当前对峙的形势，向量t∈R^m来表示输出的攻击选择，在本实施例中，x包含了两者之间的距离D、朝向O、速度V和位移M四组向量x＝{D，O，V，M}，t包含了左右手的选择H，力度P和方式A三组向量t＝{H，P，A}，t可以用x以基函数的形式进行表示：

$t=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_i{\mathrm{\φ}}_i\left(x\right)+\mathrm{\ϵ}\≡\mathrm{W\Φ}\left(x\right)+\mathrm{\ϵ}$

其中{φ_i(x)|i＝1，...，}是基函数，w_i是-R^m的权值，ε是模拟误差；将φ_i和w_i分别用向量和矩阵的形式进行表示，得到-R^m基函数向量和m×n的权值矩阵W，如式9所示；基于已获得的样本数据{(t_k，x_k)|k＝1，...，n}，其中n为样本数据的大小；对W进行约束求值：

$W:=\arg \begin{array}{c}\min \\ W\end{array}\{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|\mathrm{W\Φ}\left(x_k\right)-t_k\left|\right|}^2+R\left(W\right)\}$

其中R()是基于矩阵W的规范式，W的求解方式用相关向量机(RelevanceVector Machine)来进行求解。

在被击打反应模型的构造过程中，利用物理生成的动作片段作为反应前动作和反应后动作中间的一个过渡；首先利用动态规划算法获得假设中角色关节点轨迹，然后以所获得的轨迹为比较基准，比较数据库中所存储的运动捕获数据片段，寻找最接近的运动数据作为反应后的动作，比较的算法如下：

$D(S_1,S_2)=\underset{i=1}{\overset{e}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}\left(\underset{u=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}{w}_{\mathrm{Ru}}\left(\underset{v=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{w}_{\mathrm{Pv}}\right||P_v\left(f_{1i}\right)-P_v\left(f_{2i}\right)||+w_{\mathrm{\θv}}||{\mathrm{\θ}}_v\left(f_{1i}\right)-{\mathrm{\θ}}_v\left(f_{2i}\right)|\left|\right)\right)$

其中S₁和S₂为长度为e的运动捕获数据片段帧序列，每帧f_i中角色信息以向量(P₀，θ₀，...，P_n-1，θ_n-1)^T进行表示，其中P_i和θ_i为角色关节点i的位置和朝向信息；w_fi，w_pv，w_θv为帧、位置和朝向的权值，λ和r为角色关节中对于速度较为敏感的区域数量已经区域中所包含的关节数量。

(3)对于通过步骤(2)获得的动作序列索引，在本实例中，从已获得的拳击基本动作分段数据中挑选所对应的动作片段，并根据当前的参数对动作进行调整。

对每个运动数据动作片段S，用帧序列(f₀，f₁，...，f_n)进行表示，每帧f_i中的角色的运动用向量M＝(P₀，O₀，Q₁，Q₂，...，Q_n)^T表示，其中P₀和O₀为根节点的三维坐标和朝向，Q_i为对应节点相对于根节点的位置偏移量；按照场景中所需要，对动作片段中的每帧的运动向量进行朝向和位移的调整，公式如下：

$S^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{TOM}$

S’为调整后的动作片段，其中T和O分别是位移和朝向的调整矩阵，本实施例中的T和O可以通过上一个动作片段在左后结束时候的对峙态势获得。

将调整好的动作片段序列，彼此之间进行线性的差值，在临近的两个动作片段S₁，S₂之间，选取前一个片段S₁的最末一个窗口的帧序列 $W_1=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{1i}$ 和S₂的段首一个窗口的帧序列 $W_2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{2i},$ 窗口的大小为m，在本实施例中的m默认取20帧并可以在生成过程中进行手工调整以获得最佳的效果，过渡的帧序列W’通过线性的插值方法获得：

$W^{\′}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(w_{1i}{f}_{1i}+w_{2i}{f}_{2i})$

其中w_1i和w_2i分别为窗口W₁和W₂中对应帧的权值，且满足w_1i和w_2i的加和始终等于1；用W’替换片段S₁和S₂中的W₁和W₂。

本实施例中，通过以上步骤，获得了基于单个角色运动捕获数据条件下生成三维竞技性交互式动画。

Claims (4)

1.一种竞技性交互式动画生成方法，其特征在于包括如下步骤：

1)建立基于马尔科夫链的有限状态机模型，来模拟控制交互式运动角色的状态迁移，获得下一个时间戳角色所对应的状态；

2)在步骤1)所得到的下一个时间戳角色对应的状态的基础上，运用混合式的方法，结合基于经验性规则所定义的规则模型和基于机器学习所定义的交互式模型，来获得最符合当前角色间对峙形势的动作；

3)按照步骤2)所规划的动作索引序列对已经进行分段的运动数据单元进行参数调整和线性缝合，生成交互式动画。

2.根据权利要求1所述的一种竞技性交互式动画生成方法，其特征在于：所述的建立基于马尔科夫链的有限状态机模型，来模拟控制交互式运动角色的状态迁移，获得下一个时间戳角色所对应的状态步骤：

a)获取训练样本的特征集合{Φ_n}。这里的特征Φ_i＝{D_i，O_i，V_i}是用来作为评估当前对峙形势的一组向量，包括了角色之间的距离D_i，角色的朝向O_i，以及角色相对于世界坐标系的速度V_i，这些值可以通过视频中手工标定获得，也可以通过视觉算法自动跟踪获得；

从训练样本中，获取观察值M_i所对应的样本特征集合{Φ_Mi}，首先定义观察值为一组向量，包含了状态集合即平衡、防守和攻击中的不同状态所对应的视觉特征，对每个状态所对应的样本特征计算一个平均特征公式如下：

${\widetilde{\mathrm{\Φ}}}_{\mathrm{Mi}}=\frac{\underset{n=1}{\overset{k_{\mathrm{Mi}}}{\mathrm{\Σ}}}{\mathrm{\Φ}}_n}{k_{\mathrm{Mi}}}---1$

其中k_Mi是样本集合中属于观察值M_i的数量；然后在样本集合中，获得相邻样本间的迁移概率P(Φ_i|Φ_i-1)；

b)利用训练好的状态机模型，在生成新的状态时，计算当前的特征Φ_i，根据马尔科夫链算法，计算使得最优值E最小的观察值M_i所对应的状态作为下一个状态，公式如下：

$E=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ψ}({\mathrm{\Φ}}_i,M_i)+\mathrm{\ω}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}P\left({\mathrm{\Φ}}_i\right|{\mathrm{\Φ}}_{i-1})---2$

其中阈值ω用来调节概率部分所占最优值中的比重，ψ()是用来计算特征向量Φ_i和观察值M_i之间的匹配差值，公式如下：

其中向量＜Δdis_i，Δv_com，Δθ_i＞对应当前状态i的特征，＜Δdis_M，Δv_com-M，Δθ_M＞对应于观察值M_i的特征，是欧拉距离。

3.根据权利要求1所述的一种竞技性交互式动画生成方法，其特征在于：所述的在步骤1)所得到的下一个时间戳角色对应的状态的基础上，运用混合式的方法，结合基于经验性规则所定义的规则模型和基于机器学习所定义的交互式模型，来获得最符合当前角色间对峙形势的动作步骤：

c)在混合式的方法的规则模型中，为状态集合即平衡、防守和攻击中的三种状态：平衡、攻击和防守构造模型，决定平衡和防守状态所对应的动作；其中平衡的规则模型为：

dis～N(μ，σ²)                           4

其中dis是角色两者之间的距离，这个距离在模拟的过程中遵守高斯分布，其中高斯参数来自于样本的分析；防守的构造模型为：

δ＝e^t-φ                                 5

其中δ为决定角色防守动作的值，t为从对手发起攻击到完成攻击的持续时间，φ为模拟人的神经系统的反应盲区阈值；其中t通过如下公式计算：

$t=\sqrt{\frac{2S}{\stackrel{\‾}{a}}}---6$

其中S是攻击角色的拳头在时间t内运动轨迹的模，a为对应的平均加速度；攻击的模型通过角色间的距离dis阈值θ_{dis-far-middel}和θ_{dis-middle-near}来将攻击的行为划分成近、中和远三种攻击候选集合{G_near，G_middle，G_far}；

d)在混合式的方法的机器学习模型中，构造了针对组合攻击、出击选择和被击打反应这三种交互式行为的子模型，来模拟竞技性交互式运动中的这些交互行为；

在组合攻击模型的构造过程中，构造一个组合拳迁移图，图中的每个节点表示攻击动作a_i，节点之间的有向边表示两个动作之间的迁移；每一个样本在图中用e＝(A，G，E)来表示，A表示攻击行为的链表，G是所属的动作候选集合，E表示这些行为之间的边；图中节点之间的迁移概率P(T_i，j)的计算公式如下：

$P\left(T_{i,j}\right)=\frac{w(a_i,a_j)}{\underset{j=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}w(a_i,a_j)}---7$

其中w(a_i，a_j)是在样本集合中从攻击动作a_i到a_j的迁移次数，λ是样本中从攻击动作a_i为源动作迁移出来的不同动作数量；构造好组合拳的迁移图后，在实际模拟过程中，在完成一个攻击动作a_i后，计算图中所有从a_i为源动作的迁移指数S_i，j：

S_i，j＝Suc(a_i)·P(T_i，j)·e^τ+S_i-1，i                     8

其中Suc()是一个二值函数，当且仅当当前的攻击动作a_i达到攻击的效果时才为1，否则为0；S_i-1，i是当前攻击前一个迁移指数；在所有的从a_i为源动作的迁移动作中，选取可以使当前的值S_i，j最大的a_j为下一个攻击所采取的动作；

在出击选择模型的构造过程中，用向量x∈R^d来表示当前对峙的形势，向量t∈R^m来表示输出的攻击选择，t可以用x以基函数的形式进行表示：

$t=\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{w}_i{\mathrm{\φ}}_i\left(x\right)+\mathrm{\ϵ}\≡\mathrm{W\Φ}\left(x\right)+\mathrm{\ϵ}---9$

其中{φ_i(x)|i＝1，...，r}是基函数，w_i是-R^m的权值，ε是模拟误差；将φ_i和w_i分别用向量和矩阵的形式进行表示，得到-R^m基函数向量和m×n的权值矩阵W，如式9所示；基于已获得的样本数据{(t_k，x_k)|k＝1，...，n}，其中n为样本数据的大小；对W进行约束求值：

$W:={\arg }_W^{\min }\{\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|\mathrm{W\Φ}\left(x_k\right)-t_k\left|\right|}^2+R\left(W\right)\}---10$

其中R()是基于矩阵W的规范式；利用相关向量机算法对式10进行求解；

在被击打反应模型的构造过程中，利用物理生成的动作片段作为反应前动作和反应后动作中间的一个过渡；首先利用动态规划算法获得假设中角色关节点轨迹，然后以所获得的轨迹为比较基准，比较数据库中所存储的运动捕获数据片段，寻找最接近的运动数据作为反应后的动作，比较的算法如下：

$D(S_1,S_2)=\underset{i=1}{\overset{e}{\mathrm{\Σ}}}{w}_{\mathrm{fi}}\left(\underset{u=1}{\overset{\mathrm{\λ}}{\mathrm{\Σ}}}{w}_{\mathrm{Ru}}\left(\underset{v=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{w}_{\mathrm{Pv}}\right||P_v\left(f_{1i}\right)-P_v\left(f_{2i}\right)||+w_{\mathrm{\θv}}||{\mathrm{\θ}}_v\left(f_{1i}\right)-{\mathrm{\θ}}_v\left(f_{2i}\right)|\left|\right)\right)---11$

其中S₁和S₂为长度为e的运动捕获数据片段帧序列，每帧f_i中角色信息以向量(P₀，θ₀，...，P_n-1，θ_n-1)^T进行表示，其中P_i和θ_i为角色关节点i的位置和朝向信息；w_fi，w_pv，w_θv为帧、位置和朝向的权值，λ和r为角色关节中对于速度较为敏感的区域数量已经区域中所包含的关节数量。

4.根据权利要求1所述的一种竞技性交互式动画生成方法，其特征在于：按照步骤2)所规划的动作索引序列对已经进行分段的运动数据单元进行参数调整和线性缝合，生成交互式动画步骤：

e)对于通过步骤2)所获得的动作序列索引，从已获得的分段数据中挑选所对应的动作片段，并根据当前的参数对动作进行调整；

对每个运动数据动作片段S，用帧序列(f₀，f₁，...，f_n)进行表示，每帧f_i中的角色的运动用向量M＝(P₀，O₀，Q₁，Q₂，...，Q_n)^T表示，其中P₀和O₀为根节点的三维坐标和朝向，Q_i为对应节点相对于根节点的位置偏移量；按照场景中所需要，对动作片段中的每帧的运动向量进行朝向和位移的调整，公式如下：

$S^{\′}=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}\mathrm{TOM}---12$

S’为调整后的动作片段，其中T和O分别是位移和朝向的调整矩阵；

f)将调整好的动作片段序列，彼此之间进行线性的差值，在临近的两个动作片段S₁，S₂之间，选取前一个片段S₁的最末一个窗口的帧序列 $W_1=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{1i}$ 和S₂的段首一个窗口的帧序列 $W_2=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{f}_{2i},$ 窗口的大小为m；过渡的帧序列W’通过线性的插值方法获得：

$W^{\′}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(w_{1i}{f}_{1i}+w_{2i}{f}_{2i})---13$

其中w_1i和w_2i分别为窗口W₁和W₂中对应帧的权值，且满足w_1i和w_2i的加和始终等于1；用W’替换片段S₁和S₂中的W₁和W₂。

Images