CN106504267B - 一种虚拟人运动数据关键帧抽取方法 - Google Patents

Abstract

本发明公开了一种虚拟人运动数据关键帧抽取的方法，本方法包含以下步骤：将虚拟人原始多维关节运动数据量化为一个一维数据序列；用获得的一维数据中包含的运动活性信息确定初始关键帧集合；优化初始关键帧集合中的关键帧为最优关键帧。本发明提出的虚拟人运动数据关键帧抽取方法采用运动数据分析与优化相结合的方法，能够由原始运动数据快速合理的抽取出尽量少的关键帧。在虚拟人动画中，用关键帧进行运动合成编辑或由关键帧处的数据插值获得的重构运动序列都有较好的表现。

Description

一种虚拟人运动数据关键帧抽取方法

技术领域

本发明涉及虚拟现实领域，尤其涉及虚拟人运动数据处理领域，用于在虚拟场景中虚拟人的运动表达。

背景技术

随着多媒体技术与互联网的发展，人们对以影视和游戏为代表的媒体内容提出了更高的要求。其中以计算机动画技术为基础的虚拟现实技术得到了较快的发展，现在被广泛应用于影视制作、游戏开发、医学和教育培训等相关领域，成为了计算机科学研究的热点方向之一。虚拟人骨骼动画是现代计算机动画领域十分流行的技术，随着现代运动捕获设备的使用，目前已经能够较为容易的获取反映人体运动真实状态的三维数据，这些数据有助于提高人体骨骼动画的真实感，但数量庞大的运动数据给后期的数据调整和编辑带来困难，因此，需要利用关键帧提取技术从大量的运动数据中提取反映人体运动特征的关键时间点的数据作为关键帧，在动画合成阶段，运用关键帧插值算法补充原有的运动数据，合成虚拟人动画。人体运动数据的关键帧序列是整个运动序列的概括表示，是存储、浏览、检索、合成与编辑等人体运动捕获数据操作的基础。

在基于关键帧动画的人体骨骼动画中，关键帧的质量直接影响动画的真实感，根据运动数据的内容特征快速自适应提取最优关键帧是关键帧提取的关键所在。

关键帧提取方法最初采用简单的等间隔采样方案，此方案忽略了人体的运动特征，造成激烈运动的数据丢失和平缓运动的数据冗余。为了改善关键帧提取的质量，研究人员提出了各种自适应的关键帧提取方法。例如Lim等人将人体关节运动简化为一连串的线性变换，提出了通过简化运动曲线获取关键帧的方法(Lim,I.S.,Thalmann,D.:Key-posture extraction out of human motion data by curve simplification.In:Proceedings of the 23rd Annual International Conference of the IEEE,Engineering in Medicine and Biology Society,vol.2(2),pp.1167–1169(2001))。Yang等提出了基于分层曲线简化的关键帧提取方案(Yang,T.,Xiao,J.,Wu,F.,Zhuang,Y.:Extraction of keyframe of motion capture data based on layered curvesimplification.J.Comput.-Aided Des.Comput.Graph.18(11),1691–1697(2006))，这类方法较容易实施，能够快速有效的获取关键帧，然而这类方法采用欧拉距离的度量方式，没能反应数据帧间的真实差别，因而难以保证较高的误差精度。Liu等人提出一种基于聚类的关键帧提取方法(Liu,F.,Zhuang,Y.T.,Wu,F.,et al.:3D motion retrieval withmotion index tree.Comput.Vis.Image Underst.92(2),265–284(2003))，基于聚类的算法的运算量会随着运动序列长度的增加变得非常大，且聚类很难保证所聚类和所选帧为最优。有研究人员通过矩阵分解的方法提取运动序列的关键帧，如(Huang,K.S.,Chang,C.F.,Hsu,Y.Y.,Yang,S.N.:Keyprobe:a technique for animation keyframeextraction.Vis.Comput.21(8–10),532–541(2005))，这类方法也具有较大的计算成本，速度较慢。目前最为流行的方法是采用基于优化的方法，如Liu等人利用基因算法来提取关键帧(Liu X,Hao A,Zhao D.Optimization-based key frame extraction for motioncapture animation[J].The visual computer,2013,29(1):85-95.)，这类基于优化的算法具有较强的搜索能力，然而其收敛速度容易受到维度间干扰的影响。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种虚拟人运动数据关键帧抽取的方法，用于解决原始采集数据难以直接用于虚拟人运动生成的情况。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种虚拟人运动数据关键帧抽取的方法，用于抽取真实人体运动数据中关键帧，可用于重构原虚拟人运动序列，减少虚拟人运动数据存储量，便于进行运动合成等相关编辑操作，包括如下步骤：

步骤一、将虚拟人多维运动数据量化为一维数据；

步骤二、用获得的一维数据中包含的信息确定初始关键帧集合；

步骤三、优化初始关键帧集合中关键帧为最优关键帧。

进一步地，所述步骤一将虚拟人多维运动数据量化为一维数据，具体包括步骤：

(1.1)确定并选取虚拟人主要运动关节；

(1.2)由主要运动关节的数据生成一个一维数据序列。

其中：

N为原始运动数据的维度；

I为原始运动数据的序列长度；

为位于第k帧的第n维数据；

ω为窗口参数；

∈为预设参数。

所述虚拟人主要运动关节包含通常情况下表达虚拟人运动的基本关节，为了能够更准确的表达某些特殊运动，主要关节也可依据运动表达需求进行调整。生成的一维数据序列包含运动过程整体运动幅度变化的信息。

进一步地，所述步骤二用获得的一维数据中包含的信息确定初始关键帧集合，具体包括步骤：

(2.1)选出一维数据中的所有顶点，将所有顶点分为两个集合，第一集合包含显著顶点，第二集合包含其它顶点；其中显著顶点与多个重要关节同时运动变化较大点对应，运动变化较大指骨骼关节角变化较快，当多个关节运动变化较大就会在MAI中形成较高的顶点；由于多个重要关节同时运动变化较大点选出作为关键帧为行业公知，因此本发明中的显著顶点取自一维数据中的明显高点，且与多个重要关节同时变化较大点对应；一般情况下，可通过设定百分位数的方式从所有顶点中选出，依据经验，通常采用大于等于较大四分位数部分的顶点作为显著顶点。

(2.2)第一集合显著顶点的对应帧加上原始运动数据的首尾帧直接选入初始关键帧集合；

(2.3)接着，利用现有的初始关键帧集合将原始运动数据分段，用已有初始关键帧将原始运动数据分段，针对每一分段计算用关键帧重构后的运动数据与原始运动数据间的差作为重构误差信息，根据重构误差信息为每个分段从第二集合中选出新的初始关键帧；

(2.4)所有选出的初始关键帧合并构成完整的初始关键帧集合。

上述过程中，重构误差是将原始运动数据和关键帧数据转换为四元数后计算获得的原始运动与重构运动间的差。

具体的，从第二集合中选出新的初始关键帧包含以下过程：

步骤1、判断利用现有的初始关键帧集合获得的原始运动数据分段的每一段的宽度是否大于δ×e_l×r_wm，其中e_l为给定误差阈值，r_wm为已有分段宽度与其最大局部误差比值的平均值，δ为给定调节参数；将大于上述标准的分段进行步骤2中的处理，其余分段进行步骤3中的处理；

步骤2、从第二集合中选出与待处理的分段对应的相对显著顶点，所述相对显著顶点为从待处理的分段内除显著顶点以外的顶点的一维数据中选出大于等于较大四分位数部分的顶点，利用相对显著顶点将待处理的分段进一步细分成宽度满足于小于等于δ×e_l×r_wm要求的分段，然后将细分后获得的分段进行步骤3中的处理；

步骤3、依据和三个参数的值在给定阈值区间内投票来决定每个分段中应选择的关键帧数量，按照如下方式进行投票：

对应每个参数设置各自的阈值区间，阈值区间的形式按照从小到大的a₁，a₂和a₃3个区间点对应形成(-∞，a₁]、(a₁,a₂]、(a₂,a₃]、(a₃，+∞)4段，a₁，a₂和a₃的值根据参数分别设置；以0、1、2、3作为4个投票选项，将参数值与各自的阈值区间进行比较，当参数值落在(-∞，a₁]则投票0，落在(a₁,a₂]内则投票1，落在(a₂,a₃]内则投票2，落在(a₃，+∞)则投票3；按照上述三个参数各自的投票结果采取少数服从多数的原则选出最终结果，当投票选项的票数相同时选取票数相同的投票选项中的较小值作为最终结果；按照最终结果决定每个分段中应选择的关键帧的数量；

其中：MLRE为每一分段的最大局部重构误差，ALRE为每一分段的累加重构误差，LSW为每一分段宽度，r_sm为各个分段的累加重构误差与对应分段的最大局部重构误差比值的平均值；然后针对每个分段，从第二集合中选出使得当前处理的该分段的重构误差最小的关键帧。

进一步地，所述步骤三优化初始关键帧集合中关键帧为最优关键帧，具体包括步骤：

(3.1)在完整的初始关键帧集合中，在当前关键帧的前一关键帧和后一关键帧所形成的当前区间内通过局部搜索的方法调整当前关键帧的位置，使得当前区间内的运动序列的重构误差为最小，依次处理所有初始关键帧后获得新的初始关键帧集合；

(3.2)重复优化过程直到优化过程收敛到所有关键帧位置不再变化。

优化某一帧的时候会影响其前一帧的优化结果，有可能使得前一帧的优化结果发生变化，但这一过程通过多次循环进行后最终将会收敛，所有关键帧都将稳定不变，即获得最优关键帧组合。

有益效果：

本发明公开了一种虚拟人运动数据关键帧抽取的方法，总体上可认为是两个步骤，首先利用运动数据本身的信息获取初始关键帧，然后对初始关键帧进行优化获得最优关键帧结合。本方法采用运动数据分析与优化相结合的方法，使得计算速度较快，同时又能以尽量少的关键帧满足误差要求。

该方法获取的关键帧数据可用于虚拟人运动中数据压缩存储、浏览、检索、合成与编辑等后续操作。

附图说明

图1为本发明虚拟人运动数据关键帧抽取方法流程图；

图2为本发明将虚拟人多维关节运动数据量化为一维数据的步骤流程图；

图3为本发明用获得的一维数据中包含的信息确定初始关键帧集合的步骤流程图；

图4为本发明优化初始关键帧集合中关键帧为最优关键帧的步骤流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明为了快速抽取虚拟人运动数据的关键帧，首先充分利用运动数据本身的信息，将多维数据量化为包含整体运动变化程度信息的一维数据，然后利用这一信息并根据误差要求生成一个初始关键帧集合，最后再通过优化方法使得所获得的关键帧为最优关键帧集合。具体实施方法如图1所示，包括以下步骤：

步骤101、将虚拟人多维运动数据量化为一维数据。

原始运动数据为多维数据，并不容易由这些数据直接确定关键帧，本方法由原始运动数据转换为一个一维数据，能够更加直接的表现出运动中包含的变化信息，更加便于提取所需关键帧集合。

步骤102、用获得的一维数据中包含的信息确定初始关键帧集合。

在给定误差条件下，通常很难一次性获得较好的初始关键帧，本方法中充分利用获得的一维数据信息，采用两次操作先选出一部分较容易确定的关键帧，在满足误差要求前提下，再利用已有关键帧尽量少的选出其余所需关键帧。

步骤103、优化初始关键帧集合中关键帧为最优关键帧。

通过初始关键帧重构后的运动数据与原始运动数据的差已经相对较小，但仍有进一步减少的空间，通过局部搜索的方法进一步对所有关键帧在小范围内调整能够获得更优的关键帧集合。

为了更好的体现并利用原始运动数据中包含的信息来选取关键帧，本发明将虚拟人多维运动数据量化为一维数据，如图2所示，包括如下步骤：

步骤201、确定并选取虚拟人主要运动关节。

真实人体运动数据包含很多关节的运动轨迹，然而表达运动变化并不需要所有关节的运动数据，如手指等关节变化的数据多数情况下对人体运动变化影响不大，因此只需选出能够决定运动变化的主要关节数据来生成一维数据。

步骤202、由主要运动关节的数据生成一个一维数据序列。

具体的，对于维度为N、序列长度为I的原始运动数据，一维运动数据可由如下公式获得：

其中：

为位于第k帧的第n维数据，

ω为窗口参数，

∈为预设参数，用来过滤过于小的值，可依据经验赋值，也可直接设为零。

在生成上述一维数据后，本发明根据预先给出的误差要求，利用获得的一维数据确定初始关键帧集合，如图3所示，包括如下步骤：

步骤301、平滑处理获得的一维数据后选出其所有顶点，将所有顶点分为两个集合，第一集合包含显著顶点，第二集合包含其它顶点；

一维数据顶点对应局部区域内相对较大的运动变化，显著顶点通常是某些重要关节的运动同时发生较大变化，这些点是运动中的特殊点，应该被作为关键帧被选出。

步骤302、第一集合中显著顶点对应帧加上原始运动数据的首尾帧直接选入初始关键帧集合。

步骤303、用已有初始关键帧将原始运动数据分段，针对每一分段计算用现有的初始关键帧重构后的运动数据与原始运动数据间的差作为重构误差信息，根据重构误差信息为每个分段从第二集合中选出新的初始关键帧；

利用已获取的初始关键帧将整体运动数据分为多个小段，在每一小段中再选出合适的关键帧要比整体上考虑关键帧选择容易。为每一小段计算重构误差将作为下一步选择关键帧的主要信息之一。根据重构误差信息选出新的初始关键帧分为两个阶段：

第一步，首先找出宽度过大的分段，并从第二集合中选择新的关键帧对宽度过大的分段进行拆分，判断分段是否过大的依据为其宽度是否大于δ×e_l×r_wm，其中e_l为给定误差阈值，用于判断每个分段的整体误差是否超过给定值，r_wm为已有分段宽度与其最大局部误差比值的平均值，δ为给定调节参数；拆分后的分段以及原先宽度符合要求的分段形成新的分段形式；

以该段最大单帧误差，宽度，累加误差三方面作为衡量标准，投票方式确定应选去多少帧；由于之前已经对与宽度过大的区段进行过拆分，此处选出的新帧数量不会大多，通常依据误差阈值基本确定在3帧内；确定需要多少帧后就再从第二集合中选出合适关键帧。

第二步，在获得新的分段形式的基础上，针对每个分段是否需要选取新的关键帧以及应该选出多少新的关键帧都需要根据重新计算每个分段的重构误差来确定：

具体是依据和三个参数的值在给定阈值区间内投票来决定每个分段中应选择的关键帧数量；具体按照如下方式进行投票：

对应每个参数设置各自的阈值区间，阈值区间的形式按照从小到大的a₁，a₂和a₃3个区间点对应形成(-∞，a₁]、(a₁,a₂]、(a₂,a₃]、(a₃，+∞)4段，a₁，a₂和a₃的值根据参数分别设置；以0、1、2、3作为4个投票选项，将参数值与各自的阈值区间进行比较，当参数值落在(-∞，a₁]则投票0，落在(a₁,a₂]内则投票1，落在(a₂,a₃]内则投票2，落在(a₃，+∞)则投票3；按照上述三个参数各自的投票结果采取少数服从多数的原则选出最终结果，当投票选项的票数相同时选取票数相同的投票选项中的较小值作为最终结果；按照最终结果决定每个分段中应选择的关键帧的数量；

由于之前已经对与宽度过大的区段进行过拆分，此处选出的新帧数量不会太多，通常依据误差阈值基本确定在3帧内；然后针对每个分段，从第二集合中选出使得当前处理的该分段的重构误差最小的关键帧。

其中：

MLRE为每一分段的最大局部重构误差，即在该分段内重构误差最大的帧的重构误差；

ALRE为每一分段的累加重构误差，即该分段内所有帧各自的重构误差之和；

LSW为每一分段宽度，即每一分段包含的总帧数；

r_sm为各个分段的累加重构误差与对应分段的最大局部重构误差比值的平均值。

上述过程中重构误差相关计算公式如下：

原始运动数据中第k帧数据可表达为S_k＝[p_k,0,q_k,0,...,q_k,j,...q_k,J]，

其中：

为跟关节的位置，表示三维位置空间；

为跟关节的转动数据，表示三维方向空间；

为关节j的转动数据；

J为总体关节数；

重构后的运动数据通过四元数插值的方式获得，具体通过下列2个公式，用K₁和K₂帧的原始运动数据插值获得第k帧的重构后的运动数据：

其中：

u_k为第k帧对应的插值参数，K₁＜k＜K₂；

slerp()为插值函数spherical linear interpolation的简称；

θ为两个四元数q_K1,j,q_K2,j间的夹角。

重构后的运动数据的每一帧与对应的原始运动数据的差为每一帧的重构误差可用原始运动数据与重构后的运动数据在第k帧处的距离进行表达：

其中：

o表示原始运动数据；

r表示重构后的运动数据；

表示原始运动数据在第k帧处的跟关节位置；

表示重构后的运动数据在第k帧处的跟关节位置；||·||表示取模；

ω_j表示对应关节的给定权值；

表示原始运动数据中关节j的转动数据；

表示重构后的运动数据中关节j的转动数据；

的上标-1表示求逆；

所有帧的重构误差的平均和为整个序列的重构误差D^o-r，可用原始运动数据与重构后的运动数据的整体误差进行表达：

其中：

I为运动数据的总体帧数。

步骤304、所有选出的初始关键帧合并构成完整的初始关键帧集合。

为了最终获得最优的关键帧集合，本发明优化初始关键帧集合中关键帧为最优关键帧，如图4所示，包括如下步骤：

步骤401、用每一帧的前一帧与后一帧间的运动数据依次优化除首尾帧外的所有关键帧；具体的，对除首尾帧外的任意一个关键帧作为当前关键帧，在其前一关键帧与后一关键帧包含的原始运动数据所形成的运动序列内的帧，采用局部搜索的方法判断选择当前帧是否使得该运动序列的重构误差为最小，若选择其它帧后获得的重构误差更小则该帧替换当前关键帧为新关键帧；接着按照上述方法再确定新关键帧的后一关键帧是否为最优，这样可以依次完成所有关键帧的判断与替换。

步骤402、重复优化过程直到优化过程收敛到所有关键帧位置不再变化。

当前关键帧的后一关键帧发生变化则又会反过来影响前一关键帧的结果，因此优化过程需要重复进行，最终所有帧都将固定不再变化，即获得所需的最优关键帧。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种虚拟人运动数据关键帧抽取方法，其特征在于：包含顺序执行的以下步骤：

步骤一、将虚拟人多维运动数据量化为一维数据；

步骤二、用获得的一维数据中包含的信息确定初始关键帧集合；包括以下过程：

首先，将一维数据中所有的顶点分为两个集合，第一集合为显著顶点的集合，第二集合为其它顶点的集合；其中显著顶点与多个主要运动关节同时运动变化较大点对应，选取时从所有顶点的一维数据中选出大于等于较大四分位数部分的顶点作为显著顶点；然后，将第一集合显著顶点的对应帧加上原始运动数据的首尾帧直接选入初始关键帧集合；接着，利用现有的初始关键帧集合将原始运动数据分段，根据每一分段的重构误差为每一分段从第二集合中选出新的初始关键帧；最后，将所有选出的初始关键帧合并构成完整的初始关键帧集合；

其中，从第二集合中选出新的初始关键帧包含以下过程：

步骤1、判断利用现有的初始关键帧集合获得的原始运动数据分段的每一段的宽度是否大于δ×e_l×r_wm，其中e_l为给定误差阈值，r_wm为已有分段宽度与其最大局部误差比值的平均值，δ为给定调节参数；将大于δ×e_l×r_wm的分段进行步骤2中的处理，其余分段进行步骤3中的处理；

步骤2、从第二集合中选出与待处理的分段对应的相对显著顶点，所述相对显著顶点为从待处理的分段内除显著顶点以外的顶点的一维数据中选出大于等于较大四分位数部分的顶点，利用相对显著顶点将待处理的分段进一步细分成宽度满足于小于等于δ×e_l×r_wm要求的分段，然后将细分后获得的分段进行步骤3中的处理；

步骤3、依据和三个参数的值在给定阈值区间内投票来决定每个分段中应选择的关键帧数量，按照如下方式进行投票：

对应每个参数设置各自的阈值区间，阈值区间的形式按照从小到大的a₁，a₂和a₃3个区间点对应形成(-∞，a₁]、(a₁,a₂]、(a₂,a₃]、(a₃，+∞)4段，a₁，a₂和a₃的值根据参数分别设置；以0、1、2、3作为4个投票选项，将参数值与各自的阈值区间进行比较，当参数值落在(-∞，a₁]则投票0，落在(a₁,a₂]内则投票1，落在(a₂,a₃]内则投票2，落在(a₃，+∞)则投票3；按照上述三个参数各自的投票结果采取少数服从多数的原则选出最终结果，当投票选项的票数相同时选取票数相同的投票选项中的较小值作为最终结果；按照最终结果决定每个分段中应选择的关键帧的数量；

其中：MLRE为每一分段的最大局部重构误差，ALRE为每一分段的累加重构误差，LSW为每一分段宽度，r_sm为各个分段的累加重构误差与对应分段的最大局部重构误差比值的平均值；然后针对每个分段，从第二集合中选出使得当前处理的该分段的重构误差最小的关键帧；

步骤三、优化初始关键帧集合中关键帧为最优关键帧。

2.根据权利要求1所述的一种虚拟人运动数据关键帧抽取方法，其特征在于：步骤一包括以下过程：

首先，确定并选出虚拟人主要运动关节，所述虚拟人主要运动关节包含表达虚拟人运动的基本关节，并依据运动表达需求进行调整；然后，按照如下公式将主要运动关节的多维数据量化为包含运动活性信息的一维数据：

其中：

N为原始运动数据的维度；

I为原始运动数据的序列长度；

为位于第k帧的第n维数据；

ω为窗口参数；

∈为预设参数。

3.根据权利要求1所述的一种虚拟人运动数据关键帧抽取方法，其特征在于：步骤三包括以下过程：

首先，在完整的初始关键帧集合中，除首尾帧外，对每一关键帧进行如下优化过程：在当前关键帧的前一关键帧和后一关键帧所形成的当前区间内通过局部搜索的方法调整当前关键帧的位置获得新关键帧，使得当前区间的重构误差为最小；依次处理初始关键帧集合中所有关键帧后将获得的所有新关键帧形成新初始关键帧集合；

然后，将获得的新初始关键帧集合代替原先的初始关键帧集合，按照上述方法不断重复整个优化过程，直到优化过程收敛到所有的新关键帧的位置不再变化。

4.根据权利要求1或3所述的一种虚拟人运动数据关键帧抽取方法，其特征在于：每个分段或区间的重构误差为将该分段或区间内的关键帧重构后的运动数据与对应的原始运动数据均转换为四元数后利用四元数差值的方式计算获得二者的差。