CN104268285A - 一种基于动态弯曲算法的运动捕捉数据库检索方法 - Google Patents

Abstract

本发明公开了一种基于动态弯曲算法的运动捕捉数据库检索方法，通过选取合适的运动特征预先建立运动捕捉数据库的一、二级索引，提高了每次实例检索的速度；一级索引中包含运动瞬间姿态信息；二级索引的计算基于骨骼运动动态特征的姿态变化量，即使用相邻帧间特征夹角向量的欧式距离作为索引值；最后，通过带有下界函数的动态时间弯曲算法计算检索实例和候选片段之间的相似度。本发明实现了精确、快速的运动捕捉数据检索，提高了检索的准确率，并且缩短了检索的时间。

Description

一种基于动态弯曲算法的运动捕捉数据库检索方法

技术领域

本发明属于运动捕捉技术领域，尤其涉及一种基于动态弯曲算法的运动捕捉数据库检索方法。

背景技术

近年来，以动画、漫画、网络游戏等为代表的动漫产业已经成为发达国家一个新的经济增长点，世界动漫产业主要集中在欧美及日、韩，美国是最早也是主要的发展国家之一，其动漫产业已占据全球动漫产业的龙头；日本作为动漫产品出口大国，以其严密的产业链结构，成熟的运营机制，在国际市场上占有重要的地位，在发达国家，动漫产业不仅重要，而且是支柱产业之一，年市场的总量都在数百亿乃至数千亿美元之上，日本动画业年产值在国民经济中列第六位，动画产品出口值远远高于钢铁出口值；韩国动漫业的产值仅次于美国、日本，已成为韩国国民经济的六大支柱产业之一，英国数字娱乐产业2008年产值占GDP的7.9％，成为该国第一大产业，美国网络游戏业已连续4年超过好莱坞电影业，成为全美最大娱乐产业，2007年仅迪斯尼公司一年总产值达365亿美元，2008年惊奇动画和梦工厂动画的年利率分别为30.4％和21.9％，2009年日本动漫市场为2000亿美元；

动漫产业在我国同样发展迅速，到2008年为止，在我国已有30多个动漫产业园区、5400多家动漫机构、450多所高校开设动漫专业、46万多动漫专业在校学生，而在中国84万个各类网站中，动漫网站约有1.5万个，占1.8％，面对广阔的动漫市场，各地动漫产业发展计划的制定更是如火如荼，纷纷打造自己的“动漫之都”，北京、上海、广州、福州已初步形成以网络游戏、动画、手机游戏、单机游戏和与游戏相关的产业链，到2008年底，中国年动漫节目需求量为180万分钟，意味着将有一个250亿美元的市场空间，而目前国内播出的动漫作品每年只有2万分钟，不足实际播出量28万分钟的1/10，且大量依赖进口，但是，目前中国绝大部分的影视动画作品，也包括漫画游戏作品，其收入的主要来源都来自于内地，还没达到远销海外，相对来说，目前的产业水平在技术、创意、设计以及对市场的判断和对市场的运作方面还没达到一个国际水平，为了振兴我国动漫产业，2009年国务院出台了《文化产业振兴规划》，将动漫产业列为八大重点文化产业门类之一；

运动捕捉数据驱动的计算机动画技术由于其自身所具有的优点，已经逐渐成为三维计算机动画的主流制作方法，例如，好莱坞电影《木乃伊》、《金刚》、《阿凡达》等几乎全部采用运动捕捉数据产生计算机动画，2006年美国电影学院奖三部获奖动画影片中就有怪兽屋(Monster House)和快乐大脚(Happy Feet)两部影片全部采用运动捕捉技术进行动画设计；

运动捕捉技术同样的被大量用于游戏娱乐市场上的许多作品，如《魔兽争霸》、《神迹》、《Fifa 2001》、《Tomb Raider》等，大连东锐软件有限公司利用自主研发的DVMC运动捕捉系统为著名网络游戏《航海世纪》完成了运动捕捉工作。

随着各种光学运动捕捉系统的普及，每年通过各种途径产生的人体运动捕捉数据量越来越大，导致大规模海量的三维人体运动库的不断建立，具有较大规模的商用、研究用人体运动捕捉数据库也已经出现，例如：http://mocapdata.com/网站上就有4千多个的免费运动捕捉文件，本发明实验采用的Carnegie-Mellon MoCap Database一共有2514个免费运动捕捉文件，然而，运动捕捉系统仍然存在着一些缺点，首先，动作捕捉系统的购买、使用费用相当昂贵；第二，动作捕捉是一个费时费力的过程，仅仅是捕捉前的系统调整和定标有时就需要花费大量的时间；第三，为了捕捉一个动作，即使专业的演员和导演，也需要重复很多遍，以保证最后的动画效果，最重要的是，如果对于某个己经捕获的片断，哪怕只有些许的改动要求，也只能对整个动作重新捕捉，因此，如何高效的从数据库中检索所需要的数据，并对运动捕捉数据进行有效的编辑、合成，最终生成具有真实感、符合各种需求的动画已经成为一个研究热点。

运动捕捉数据库的复用系统，主要包括数据管理、检索、编辑、合成四个模块，检索模块主要是针对用户的需求在数据库中检索符合条件的候选片段供用户选择，编辑模块与合成模块其本质都是通过对原始运动数据进行修改、连接、融合的操作以达到复用的目的，有时，编辑模块与合成模块的区分并不是特别明显，合成模块中可能包含了一些编辑模块的功能。

运动检索技术是实现运动捕捉数据复用的一项关键技术，主要原因有：第一，由于昂贵的硬件、软件成本以及演员、设备操作成本使得获得运动捕捉数据的费用较高，所以通过快速有效的检索技术在数据库中检索满足条件的运动捕捉数据，可以避免重复的运动捕捉数据采集过程，减少设备和人力资源的浪费，进而节约制作成本并提高制作效率；第二，由于运动捕捉数据的大量产生，使得大规模的运动捕捉数据库不断出现，导致管理和重用此类数据库的人工成本大大增加；第三，现有的各种商用、研究用运动捕捉数据以不同的数据格式存储，检索技术多数基于某种特征提取方法，理想的运动特征提取方法，可以为建立大规模统一的运动捕捉数据库研究提供基础。

现有的运动捕捉数据检索技术主要分为以下两种，一类是基于关键词的检索技术，检索时直接对关键词进行检索，以上方法的优点是检索处理速度快，但是随着数据库规模的增大人工输入关键词将是一项繁琐并且带有主观不确定性的工作，另一类是基于内容的检索技术，用户检索时提供一个实例，检索过程实质是在数据库中找到与实例的相似度满足一定要求的片段，此类方法的共同思想是选择合适的特征表示以及相似性度量方法实现对数据的快速检索，本发明着重研究基于内容的检索技术。

在人体运动捕捉数据的检索和特征提取方面，国内外研究人员开展了许多有意义的工作，Yi Lin通过选取骨架中心点和四肢关节的距离地面高度参数计算特征值函数，该方案可以比较准确有效的描述人体的运动特征，因为四肢关节的运动方式很大程度上反映了人体的运动特征，但是，由于人体运动的骨骼尺寸大小差别较大，如儿童的骨骼尺寸可能只有成年人骨骼尺寸的一半，因此，当数据库内运动主体骨骼尺寸不一的时候，需要进行繁琐的骨骼尺寸标准化处理；Demuth等人将人体结构用24个关节点相连的线段来表示，并在此节点模型基础上，定义了七类Boolean类型的特征，分别为处于平面前后位置关系、运动方向关系、两节点是否近邻以及夹角变化等，最终构造特征矩阵以实现索引和匹配等进一步的操作，该方法可以精确的刻画人体运动中的各种特征，已被广泛的采用；Muller等人提出了一种运动模板用于人体运动捕捉数据的自动分类识别和检索，方法的本质在于逻辑上相关的同一类运动可以提取出一个清晰表示的特征矩阵，基于模板的方法最关键的性质在于一个未知运动的不同方面可以在通过与模板运动的对比中自动地被提取出来，该方法引入了模板矩来描述运动特征，模板矩阵是一个布尔型(Boolean)特征构成的二维矩阵，其中矩阵的列数表示相关特征的个数，行数表示运动数据的帧数，给定一组类似的运动进行训练，得到一个合成的特征矩阵，进而用于未知运动的特征模板匹配，该方法适用于较大规模时空分布的运动捕捉数据库，能够保证有效和高效性；Hong Pan等人提取四肢部分的八段骨骼与骨架中心线之间的夹角作为运动特征，该方法首先采用骨骼夹角作为对原始运动数据的特征表示并提取运动片断关键帧集合，以此作为原始运动片断的特征表示；然后基于所提取关键帧数据在相似运动片断之间具有一致性的特点，在两两关键帧集合之间建立距离矩阵进行相似度匹配.实验结果表明，该方法能够取得更好的时间效率且不依赖于任何预先设定的参数；Yamasaki等人提出了一种基于内容的交叉搜索方案用于时间变化网格数据和运动捕捉数据的检索，它包括形状几何特征提取、相似性评价两个部分；高岩对基于内容的检索进行了系统的研究，提出了一种运动正规化算法，能够保证运动库中所有的运动数据具有相同的骨架长度，简化了运动重定向算法的复杂度，并对Muller等人提出的基于内容的检索框架进行了改进，在运动检索过程中集成了运动过渡能力，进而结合运动重组织和运动检索的优点，能够按照用户的高层控制，自动拼接和检索出运动库中并不存在的运动，并且在此基础上提出了一种人体运动描述语言；向坚提出了一种使用非线性PCA降维的隐马尔可夫(Hidden Markov Model，HMM)学习的运动检索算法，在提取了人体运动特征之后使用非线性PCA和径向基函数(racial basisfunction，RBF)神经网络进行特征的降维处理，最后所有处理后的特征使用HMM学习的方法进行分类识别；冯林等人提出基于运动能量的描述人体运动的模型，在此基础上引入熵的概念，提取能体现运动特征的关键关节作为衡量动作相似性的基准，然后利用动态时间变形算法计算运动例子和检索集之间的相似度，确定检索结果集；Keogh等人提出了一种大规模运动数据库的标定索引方法，该方法基于边界封装在全局统一尺度下实现相似性搜索；Vlachos等人提出一种基于LCSS(longest common subsequence)的多维轨迹比较测量方法。

人体动作序列是一种典型的高维时间序列，对于高维信息的处理，如果采用常规方法进行检索将耗费大量的运行时间和内存空间，如此大量的数据，一般采用降维的方法解决大量时间和空间损耗的问题，但是降维处理必然导致信息的丢失，导致检索结果错失率很高，因此，在大量的可能组合中选取合适的特征表示方法使得检索速度和检索质量都可以接受显得非常重要；

另一个问题是关于时间序列的相似度度量方法，常见的情况是视觉上相似的两个运动片段的特征值序列差异大，而视觉上不相似的两个运动片段特征值序列差异反而比较小，此种现象与由运动数据片断之间的相似性度量方法密切相关，传统的度量方法是采用欧式距离的度量方法，这种度量方法的主要问题是无法匹配时间轴的伸缩，同时对于噪音非常敏感，动态时间弯曲(DTW)方法是一种有效的用于不同长度的时间序列匹配方法，被广泛应用于时间序列处理和信号处理领域中，然而，传统DTW方法的时间复杂度为O(mn)(m,n分别为检索序列和候选序列的长度，m≤n)导致查询时间较长，使得传统DTW算法无法直接用于大规模运动数据库的检索，另外DTW算法对于数据的噪音比较敏感，需要对原始数据进行必要的预处理工作。

发明内容

本发明实施例的目的在于提供一种基于动态弯曲算法的运动捕捉数据库检索方法，旨在解决采用常规方法检索存在的信息丢失，检索结果错失率高的问题。

本发明实施例是这样实现的，一种基于动态弯曲算法的运动捕捉数据库检索方法，该基于动态弯曲算法的运动捕捉数据库检索方法包括以下步骤：

通过预先建立运动捕捉数据库的一、二级索引，提高每次实例检索的速度；一级索引中包含运动瞬间姿态信息，二级索引采用基于骨骼运动动态特征的相邻帧间夹角向量的欧式距离作为索引值；最后，利用Keogh下界减少DTW算法的时间耗费。

进一步，建立一、二级索引需要提取每一帧左、右上臂，左、右大腿与上一级骨骼之间的空间夹角数据，采用箱均值压缩的方法对原始的夹角数据进行压缩，因为原始数据采样率为30fps，设定箱均值的箱子的大小为3个采样点，压缩后采样率为10fps，采样值为箱内三个连续采样点的均值，实现原始数据的提取和预处理。

进一步，人体姿态信息的一级索引编码和匹配的方法为：

步骤一，假设人体的左、右上臂，左、右大腿与上一级骨骼之间的空间夹角分别为ω₁，ω₂，ω₃，ω₄，定义每一帧的一级索引编码函数G(ω₁，ω₂，ω₃，ω₄)为：

$G({\mathrm{\ω}}_1,{\mathrm{\ω}}_2,{\mathrm{\ω}}_3,{\mathrm{\ω}}_4)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}F\left({\mathrm{\ω}}_i\right)\×{10}^i$

$F\left(\mathrm{\ω}\right)=\left\{\begin{array}{c}1,\mathrm{\ω}\∈\left[\mathrm{0,60}\right)\\ 2,\mathrm{\ω}\∈\left[\mathrm{60,120}\right)\\ 3,\mathrm{\ω}\∈\left[\mathrm{120,180}\right)\\ 4,\mathrm{others}\end{array}\right.$

步骤二，然后，对候选片段C与实例片段Q中编码相同的，也就是函数G(ω₁，ω₂，ω₃，ω₄)的值相同的相邻帧进行聚合，分别得到查询序列Q和候选序列C的编码序列Hc和Hq：

Hc:G(C₁),G(C₂),...,G(C_i),...,G(C_x)

Hq:G(Q₁),G(Q₂),...,G(Q_i),...,G(Q_y)

检索时先对检索片段和候选片段进行一级索引匹配，若Hq与Hc一致，则进行二级索引的检索。

进一步，动态信息的二级索引值计算的方法为：

步骤一，假设当前帧人体的左右上臂、左右大腿、左右下臂、左右小腿与上一级骨骼之间的空间夹角为(ω₁，ω₂，ω₃，ω₄，ω₅，ω₆，ω₇，ω₈)，上一帧的相应值为则帧的二级索引函数定义如下：

$L={\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{({\mathrm{\ω}}_i-{\mathrm{\φ}}_i)}^2\right)}^{1/2}$

函数的值可以看作两个八维向量(ω₁，ω₂，ω₃，ω₄，ω₅，ω₆，ω₇，ω₈)和 的空间距离，由于每两帧之间的采样间隔是固定的，所以L实际上是前后两帧姿态变化大小的一种度量，L反映了运动片段中每一帧的动态特征。

进一步，基于DTW算法二级索引匹配DTW距离的计算采用动态规划法计算，假设需要检索前50个与实例片段DTW距离最小的候选片段的，则算法步骤如下：

步骤一，初始化；

步骤二，计算实例片段Q的一级索引编码、二级索引值；

步骤三，比较实例片段Q和数据库中候选片段C的一级索引编码是否匹配，如果匹配则执行步骤四，否则转到步骤六；

步骤四，计算LB_Keogh(Q，C)，如果LB_Keogh(Q，C)>Max(DTW1，DTW2，…，DTW50)则执行步骤六，否则步骤五；

步骤五，计算DTW(Q，C)将DTW(Q，C)插入到队列DTW1，DTW2，…，DTW50合适的位置，使得元素按照DTW值从小到大的顺序排列，删除序列中DTW值最大的元素，即DTW50；

步骤六，选择下一个与Q等长的候选片段C；

步骤七，如果数据库遍历结束则转到步骤八，否则转到步骤二；

步骤八，输出DTW1，DTW2，…，DTW50及其对应的片段文件名及起始帧号。

本发明提供的基于动态弯曲算法的运动捕捉数据库检索方法，通过选取合适的运动特征预先建立运动捕捉数据库的一、二级索引，提高了每次实例检索的速度；一级索引中包含运动瞬间姿态信息；二级索引的计算基于骨骼运动动态特征的姿态变化量，即使用相邻帧间特征夹角向量的欧式距离作为索引值；最后，通过带有下界函数的动态时间弯曲算法计算检索实例和候选片段之间的相似度，实现了精确、快速的运动捕捉数据检索。

本发明选取人体的四肢骨骼(左右上下臂\左右大小腿)与上一级骨骼之间的空间夹角作为一级索引的原始参数，夹角关系可以直接放映出人体运动瞬间的静态特征而不受整体骨架尺寸的影响，通过建立一级索引，把待检索运动库的每一帧按照主要骨骼的姿态组合特征进行了粗略的分类，更加精确的将瞬间姿态相似的候选片段筛选出来，提高检索的准确率，解决了其他选择位移物理度量的方案受人体骨骼尺寸大小影响的问题；在二级索引中引入运动的动态特征，使用相邻帧间特征夹角向量的欧式距离作为每一帧的二级索引值，每帧的索引值是一维的，同时又能最大程度的保留运动的动态信息，从而实现精确、快速的检索。

附图说明

图1是本发明实施例提供的基于动态弯曲算法的运动捕捉数据库检索方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的基于动态弯曲算法的运动捕捉数据库检索方法包括以下步骤：

S101：通过预先建立运动捕捉数据库的一、二级索引，提高每次实例检索的速度；

S102：一级索引中包含运动瞬间姿态信息，二级索引采用基于骨骼运动动态特征的相邻帧间夹角向量的欧式距离作为索引值；

S103：最后，利用Keogh下界减少DTW算法的时间耗费。

通过以下的具体实施例对本发明做进一步的说明：

第一步，原始数据提取和预处理：

为了建立一、二级索引需要提取每一帧左、右上臂，左、右大腿与上一级骨骼之间的空间夹角数据，采用箱均值压缩的方法对原始的夹角数据进行压缩，因为原始数据采样率为30fps，设定箱均值的箱子的大小为3个采样点，压缩后采样率为10fps，采样值为箱内三个连续采样点的均值，压缩数据后对于大多数的动作，数据精确度上的损失是可以忽略的但是却有两个好处，其一是降低噪声对DTW算法的干扰，另一个好处是可以降低查询的复杂度因为DTW算法的复杂度为O(mn)，如果Q和C都缩短为1/3倍，运行时间理论上可以缩短为1/9倍；

第二步，包含人体姿态信息的一级索引编码和匹配：

假设人体的左、右上臂，左、右大腿与上一级骨骼之间的空间夹角分别为ω₁，ω₂，ω₃，ω₄，定义每一帧的一级索引编码函数G(ω₁，ω₂，ω₃，ω₄)为：

$G({\mathrm{\ω}}_1,{\mathrm{\ω}}_2,{\mathrm{\ω}}_3,{\mathrm{\ω}}_4)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}F\left({\mathrm{\ω}}_i\right)\×{10}^i$

$F\left(\mathrm{\ω}\right)=\left\{\begin{array}{c}1,\mathrm{\ω}\∈\left[\mathrm{0,60}\right)\\ 2,\mathrm{\ω}\∈\left[\mathrm{60,120}\right)\\ 3,\mathrm{\ω}\∈\left[\mathrm{120,180}\right)\\ 4,\mathrm{others}\end{array}\right.$

然后，对候选片段C与实例片段Q中编码相同的，也就是函数G(ω₁，ω₂，ω₃，ω₄)的值相同的相邻帧进行聚合，这样就可以分别得到查询序列Q和候选序列C的编码序列Hc和Hq：

Hc:G(C₁),G(C₂),...,G(C_i),...,G(C_x)

Hq:G(Q₁),G(Q₂),...,G(Q_i),...,G(Q_y)

检索时先对检索片段和候选片段进行一级索引匹配，也就是说，若Hq与Hc一致，则进行二级索引的检索；

第三步，包含动态信息的二级索引值计算：

假设当前帧人体的左右上臂、左右大腿、左右下臂、左右小腿与上一级骨骼之间的空间夹角为(ω₁，ω₂，ω₃，ω₄，ω₅，ω₆，ω₇，ω₈)，上一帧的相应值为则该帧的二级索引函数定义如下：

$L={\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{({\mathrm{\ω}}_i-{\mathrm{\φ}}_i)}^2\right)}^{1/2}$

该函数的值可以看作两个八维向量(ω₁，ω₂，ω₃，ω₄，ω₅，ω₆，ω₇，ω₈)和的空间距离，由于每两帧之间的采样间隔是固定的，所以L实际上是前后两帧姿态变化大小的一种度量，L反映了运动片段中每一帧的动态特征，实验结果表明，比起其他特征选择方案该方案检索结果的准确率要高很多；

第四步，基于DTW算法的二级索引匹配：

建立一级索引和二级索引将花费较长的时间，一方面是由于数据库中帧的数量巨大，另一方面是运动数据都是以文件形式存放在外存储器中，但是由于一、二级索引不依赖于实例片段，所以只需要在数据库本身发生变化是对新增的运动片段计算一、二级索引即可，而对于给定的不同的实例片段进行检索时，由于内存中预先存储了体积较小的一、二级索引，检索实际上是在内存中进行的，可以达到很快的速度，详见实验分析：

DTW距离的计算采用动态规划法计算，除了常用的三个边界约束外，本发明采用Sakoe-Chiba提出的方法对弯曲路径进行约束，目的是为了防止在检索过程中漏检可能的候选片段同时尽量减少检索的次数，运动库的检索过程实际上是在运动数据库中搜索可能的满足要求的子序列，每次检索截取一级索引满足条件的并且长度与查询片段相等的候选片段，该片段的开始位置为上一次检索时候选片段的开始位置往后偏移2r个帧，如此，就可以覆盖数据库中所有可能的片段而同时使得检索次数最少，如果采用第二种约束方法，为了避免丢失可能的候选片段，每次查询时候选片段起始位置平移的窗口不能太大，否则将丢失可能的结果；

假设需要检索前50个与实例片段DTW距离最小的候选片段的，则算法步骤如下：

步骤一，初始化；

步骤二，计算实例片段Q的一级索引编码、二级索引值；

步骤三，比较实例片段Q和数据库中候选片段C的一级索引编码是否匹配，如果匹配则执行步骤四，否则转到步骤六；

步骤四，计算LB_Keogh(Q，C)，如果LB_Keogh(Q，C)>Max(DTW1，DTW2，…，DTW50)则执行步骤六，否则步骤五；

步骤五，计算DTW(Q，C)将DTW(Q，C)插入到队列DTW1，DTW2，…，DTW50合适的位置，使得元素按照DTW值从小到大的顺序排列，删除序列中DTW值最大的元素，即DTW50；

步骤六，选择下一个与Q等长的候选片段C；

步骤七，如果数据库遍历结束则转到步骤八，否则转到步骤二；

步骤八，输出DTW1，DTW2，…，DTW50及其对应的片段文件名及起始帧号。

通过以下实验对本发明的使用效果做补充说明：

1、实验分析：

实验的硬件配置Intel(R)Core(TM)CPU(2.00GHz)，2048MB RAM.，软件采用VisualC++.net2008自行编写的检索系统，用于测试的数据库为Carnegie-Mellon MoCap Database一共有2514个运动片段文件，体积2.9G，大约530万帧数据，每帧约100个数据；

试验一：均值箱的不同设定值比较：

本发明分别设定均值箱的大小为1，3，9在测试数据库的前500个文件中进行“跑”、“跳”两个动作的检索(跑和跳两个动作速度较快，所以本发明选择比较不利的情况来检验箱子的大小是否合适)，检索结果取前20个DTW值最小的候选片段，DTW算法采用传统带Sakoe-Chiba路径约束的算法，不采用LB_Keogh(Q，C)下界函数进行约束；

表1不同箱尺寸下动作“跳”的检索性能(不使用下界函数加速)

由表1和表2可以看出箱的大小若为3，在检索质量损失很小的情况下速度相对原序列有很大的提高(某些情况下甚至提高了检索质量，原因是平滑处理后某些噪声被抑制了)。

表2不同箱尺寸下动作“跑”的检索性能(不使用下界函数加速)

试验二：一级索引的筛选性能：

本发明分别针对使用和不使用一级索引两种情况，在测试数据库的前1000个文件中进行“跑”、“跳”两个动作的检索。检索结果取前20个DTW值最小的候选片段。DTW算法采用LB_Keogh(Q,C)下界函数进行检索加速。

表3动作“跳”的检索性能

表4动作“跑”的检索性能

由表3和表4可以看出，建立基于瞬间姿态信息的一级索引时显然耗费时间略有增加，但是却提高了检索结果的精度，原因是，由于一级索引将确定为不可能的运动片段直接排除而不需要计算DTW距离，而这些被排除的运动片段DTW距离很小，如果不利用一级索引匹配进行排除，将很大程度的影响真正视觉相似的候选片段的进入DTW值排名序列中。

实验三：不同的二级索引值函数：

本发明分别针对三种不同的二级索引值函数，在整个数据库的(2514个文件中进行“跑”、“跳”两个动作进行检索，检索结果取前50个DTW值最小的候选片段，DTW算法采用LB_Keogh(Q,C)下界函数进行检索加速，其中L1表示本发明提出的二级索引函数，L2表示取直接取八个骨骼的夹角角速度的平均值作为二级索引函数，L3表示取直接取八个骨骼的夹角的平均值作为二级索引函数；

$L1={\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{({\mathrm{\ω}}_i-{\mathrm{\φ}}_i)}^2\right)}^{1/2}$

$L2=1/8\×\underset{i=1}{\overset{8}{\mathrm{\Σ}}}({\mathrm{\ω}}_i-{\mathrm{\φ}}_i)$

$L3=1/8\×\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\ω}}_i$

表5动作“跳”的检索性能

表6动作“跑”的检索性能

表7动作“跳”的检索结果分布

表8动作“跑”的检索结果分布

表5、表6分别为“跳”和“跑”两个动作的性能；

表7、表8列出了检索到得前50个DTW值最小的检索结果。从两个表中相似结果的分布情况，在前二十个检索结果内“跳”和“跳”动作的误检率均为15％。随着DTW值的不断增大，相似结果的分布密度越来越低。

动作检索的“跳”和“跑”两个动作的结果，可以看出“跳”的四个检索结果都符合动作“跳”的特征，检索结果则全部都是“跑”的动作。

根据以上实验结果可以看出本发明提出的二级索引值函数L1有效的反映了运动的动态特征，使得检索的准确率高，并且检索时间耗费较小。

本发明提出的基于动态弯曲算法的运动捕捉数据库检索方法，通过预先建立运动捕捉数据库的一、二级索引，提高每次实例检索的速度，一级索引中包含运动瞬间姿态信息，目的是提高二级索引检索时的准确率，二级索引采用基于骨骼运动动态特征的相邻帧间夹角向量的欧式距离作为索引值，最后，利用Keogh下界减少DTW算法的时间耗费，实验结果表明，检索速度快，检索结果准确率高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于动态弯曲算法的运动捕捉数据库检索方法，其特征在于，该基于动态弯曲算法的运动捕捉数据库检索方法包括以下步骤：

通过预先建立运动捕捉数据库的一、二级索引，提高每次实例检索的速度；一级索引中包含运动瞬间姿态信息，二级索引采用基于骨骼运动动态特征的相邻帧间夹角向量的欧式距离作为索引值；最后，利用Keogh下界减少DTW算法的时间耗费。

2.如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在于，建立一、二级索引需要提取每一帧左、右上臂，左、右大腿与上一级骨骼之间的空间夹角数据，采用箱均值压缩的方法对原始的夹角数据进行压缩，因为原始数据采样率为30fps，设定箱均值的箱子的大小为3个采样点，压缩后采样率为10fps，采样值为箱内三个连续采样点的均值，实现原始数据的提取和预处理。

3.如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在于，动瞬间姿态信息的一级索引编码和匹配的方法为：

步骤一，人体的左、右上臂，左、右大腿与上一级骨骼之间的空间夹角分别为ω₁，ω₂，ω₃，ω₄，定义每一帧的一级索引编码函数G(ω₁，ω₂，ω₃，ω₄)为：

$G({\mathrm{\ω}}_1,{\mathrm{\ω}}_2,{\mathrm{\ω}}_3,{\mathrm{\ω}}_4)=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}F\left({\mathrm{\ω}}_i\right)\×{10}^i$

$F\left(\mathrm{\ω}\right)\left\{\begin{array}{c}1,\mathrm{\ω}\∈\left[\mathrm{0,60}\right)\\ 2,\mathrm{\ω}\∈\left[\mathrm{60,120}\right)\\ 3,\mathrm{\ω}\∈\left[\mathrm{120,180}\right)\\ 4,\mathrm{others}\end{array}\right.$

步骤二，然后，对候选片段C与实例片段Q中编码相同的，也就是函数G(ω₁，ω₂，ω₃，ω₄)的值相同的相邻帧进行聚合，分别得到查询序列Q和候选序列C的编码序列Hc和Hq：

Hc:G(C₁),G(C₂),...,G(C_i),...,G(C_x)

Hq:G(Q₁),G(Q₂),...,G(Q_i),...,G(Q_y)

检索时先对检索片段和候选片段进行一级索引匹配，若Hq与Hc一致，则进行二级索引的检索。

4.如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在于，骨骼运动动态特征的二级索引值计算的方法为：

步骤一，当前帧人体的左右上臂、左右大腿、左右下臂、左右小腿与上一级骨骼之间的空间夹角为(ω₁，ω₂，ω₃，ω₄，ω₅，ω₆，ω₇，ω₈)，上一帧的相应值为则帧的二级索引函数定义如下：

$L={\left(\underset{i=1}{\overset{8}{\mathrm{\Σ}}}{({\mathrm{\ω}}_i-{\mathrm{\φ}}_i)}^2\right)}^{1/2}$

函数的值看作两个八维向量(ω₁，ω₂，ω₃，ω₄，ω₅，ω₆，ω₇，ω₈)和 的空间距离，由于每两帧之间的采样间隔是固定的，所以L实际上是前后两帧姿态变化大小的一种度量，L反映了运动片段中每一帧的动态特征。

5.如权利要求书1所述的基于动态弯曲算法的运动捕捉数据库检索方法，其特征在于，利用Keogh下界减少DTW算法采用动态规划法计算，需要检索前50个与实例片段DTW距离最小的候选片段的，则算法步骤如下：

步骤一，初始化；

步骤二，计算实例片段Q的一级索引编码、二级索引值；

步骤三，比较实例片段Q和数据库中候选片段C的一级索引编码是否匹配，如果匹配则执行步骤四，否则转到步骤六；

步骤四，计算LB_Keogh(Q，C)，如果LB_Keogh(Q，C)>Max(DTW1，DTW2

，…，DTW50)则执行步骤六，否则步骤五；

步骤五，计算DTW(Q，C)将DTW(Q，C)插入到队列DTW1，DTW2，…，DTW50的位置，使得元素按照DTW值从小到大的顺序排列，删除序列中DTW值最大的元素，即DTW50；

步骤六，选择下一个与Q等长的候选片段C；

步骤七，如果数据库遍历结束则转到步骤八，否则转到步骤二；

步骤八，输出DTW1，DTW2，…，DTW50及对应的片段文件名及起始帧号。