CN102298649A - 一种人体动作数据的空间轨迹检索方法 - Google Patents

Abstract

本发明公开了人体动作数据的空间轨迹检索方法，包括以下步骤：人体动作结构模型定义：对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型；离线动作特征树生成：对于人体动作库中的每一个动作，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；根据人体动作结构模型中五个子结构的层次定义生成了包含五个动作特征子树的动作特征树；在线动作数据检索：用户提交检索示例，并指定检索关节；根据指定的检索关节以及人体动作结构模型得到检索树；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。

Description

一种人体动作数据的空间轨迹检索方法

技术领域

本发明涉及人体动作数据检索方法，属于计算机三维动画技术及多媒体数据处理领域，具体地说，是一种人体动作数据的空间轨迹检索方法。

背景技术

动作捕获技术能够精确地测量、跟踪、记录物体在三维空间中的运动轨迹，该技术起源于20世纪70年代末，经历了近几十年的发展，捕获技术日趋成熟。当前，动作捕获已经成为计算机动画、虚拟现实、计算机视觉、生物医疗等重要的数据获取手段。由于各种应用的迫切需要以及商业捕获设备的广泛推广，目前已经出现了越来越多的大型三维人体动作库，如美国卡内基梅隆大学的人体动作库(http://mocap.cs.cmu.edu)等。随着种类繁多、风格各异的各种动作数据的大量采集，必须要采取有效的管理方法和技术手段，才能充分发挥人体动作库的作用。

如何从人体动作库中获取用户所需要的人体动作数据已经成为动作数据有效利用的关键问题，传统的基于文本的检索方法存在着人工标注费时费力且易造成主观理解不统一等问题，难以被用来进行有效的人体动作数据检索。与此同时，基于示例的检索技术已成为多媒体和信息处理领域研究的热点，由于该检索技术能较好地弥补传统的基于文本的检索方法的不足，已经得到了相关领域研究者越来越多的重视。

已有的基于示例的人体动作数据检索方法主要有如下几类：第一类方法是如文献1Kovar L，Gleicher M，Pighin F.Automated Extraction and Parameterization of Motions inLarge Data Sets.ACM Transactions on Graphics(S0730-0301)，2004，23(3)：559-568所述的直接使用姿态的高维特征进行检索的方法，该方法首先使用姿态的原始高维特征计算两个姿态间点云的距离并以该距离作为姿态的相似性度量，然后通过动态时间弯曲方法(DTW)构建相似动作片段的匹配网络，在检索时通过多次迭代检索获取相似的动作。然而直接使用姿态的高维特征进行DTW计算的代价太高，且DTW算法仅是局部对齐的，相似匹配网络计算的复杂性以及对存储空间的要求限制了其在大规模人体动作库上的应用。第二类方法是如文献2Müller M，

T，Clausen M.Efficient contentbased retrieval of motion capture data.ACM Transactions on Graphics，2005，24(3)：677-685所述的基于姿态的几何空间特征的检索方法，该方法引入了定性的几何特征来描述身体各关节的位置关系，如左脚、左胯、以及身体中心构成了一个平面，右脚在这个平面的前面或者后面就构成了一个布尔几何特征，Muller等人在原型系统中共设计了31个特征，这些特征分为身体上部分特征、身体下部分特征以及两者相互作用的特征，由于姿态的几何空间特征值均通过阀值的限定进行了离散化并具有了相应的语义信息，这就使得动作中相邻的帧往往具有相同的特征值，即动作时序文件被分割为具有相同特征值的动作片段，动作检索就可以直接以动作片段为单位进行。然而，使用布尔几何特征来描述动作内容的问题在于对不同类型的动作，很难建立统一的特征体系，对于某一类动作来说，只有其中的部分特征是成立的，因此，该方法指出用户在检索时需要选择相关的特征，以逐步提高检索的精准率，显然，让用户直接去进行特征选择并不是一种友好的人机交互方式，是以增加用户操作的复杂性为代价的。第三类方法是如文献3 Forbes K，Fiume E.An efficient search algorithm for motion data usingweighted PCA.Proc of Euro graphics/ACM SIGGRAPH Symposium on ComputerAnimation，2005，67-76提出的基于姿态低维空间特征的检索方法，由于不同的关节在相似度匹配中的重要程度并不相同，且用户可能只关注部分关节，所以该方法使用加权主成分分析(weighted PCA)数据降维的方法来体现关节的不同重要程度。该方法首先对人体动作库中的所有动作进行降维，然后再对每个姿态进行投影，得到动作的低维特征表示。检索时，首先在低维空间提取检索示例的特征姿态，然后在低维空间中得到和特征姿态相近的姿态作为种子点，这些种子点是检索示例和人体动作库中的相似动作片段必然经过的点，以这些点为出发点，分别进行前向和后向的DTW操作，由于检索示例的起点和终点是已知的，且DTW对齐的路径是非退化的，实际上是对人体动作库中相似动作片段的长度进行了限制，从而实现了人体动作的检索。使用数据降维的方式获取低维空间特征进行动作检索的问题在于人体动作的每一帧姿态都是有着明确的物理意义的，在数据降维后得到的低维特征数据将可能失去这些物理意义，另一方面，每一种降维方法擅长处理的低维空间结构(流型)各不相同，如何为不同的动作类型选择合适的降维方法是该类方法的困难所在。第四类方法是如文献4 Liu F，Zhuang Y T，Wu F，et al.3D motion retrieval with motion index tree.Computer Vision andImage Understanding，2003，92(223)：265-284所述的基于动作关键帧的检索方法，该方法的有效性依赖于有效、统一的关键帧提取算法以及恰当的参数设置，对于舞蹈等复杂动作来说，既存在着整体的动作，也存在着局部细节的动作，选择有效的关键帧提取算法是很困难的。

在实际应用中，人体动作数据检索的一个显著特点就是存在着用户关注关节问题，如对于拳击动作检索来说，用户更多关注的是上肢的动作，对于踢踏舞蹈动作检索来说，用户的注意力更多集中在下肢和脚步的动作上，也就是说，对于不同类型的动作，用户检索的关注关节是不同的，如果在检索时，仍然使用人体全部关节的动作特征进行检索，则非关注关节的动作特征会对检索的精准率产生极大地影响，例如对于行走的动作，上肢有可能是摇摆的、静止的、或者挥舞的，在用户检索行走的动作时，如果使用包括手臂在内的所有关节的动作特征进行相似度计算，显然各种不同的上肢动作会影响到用户期望的结果。在上述方法中，Kovar L和Liu F的方法都是使用人体全部关节的动作特征进行检索的，用户无法指定关注关节进行人体动作数据检索，MüllerM已经注意到不同的动作类型对应的有效特征是不同的，然而让用户选择对应的特征进行动作检索的人机交互方式并不友好，是以增加用户的操作复杂性为代价的，合理的方式是用户在输入检索示例的时候，同时提交本次检索的关注关节(检索关节)。Forbes K同样认为不同的关节对于检索结果的重要程度是不一样的，但是其检索方法需要在低维特征提取前，就确定不同的关节对于检索结果的影响系数，并且以后不能改变，显然这也不是一种灵活、有效的方式。

概括来说，实现基于示例的人体动作数据检索的困难在于相似的人体动作既存在着时间上的变形也存在着空间上变形，从时间上来说，不同的执行者执行相同的动作在时间上不可能严格一致；从空间上来说，相似的动作由于执行者朝向、骨骼长度以及执行过程的差异也会造成动作的变形。此外，由于完整描述动作的每一帧都是数百维的高维向量，如何有效地对高维特征进行分析和处理以及如何灵活地实现可以支持用户指定检索关节进行检索同样也是人体动作数据检索亟需解决的问题，从根本上来说，上述问题的解决依赖于有效的特征表示、准确的特征相似性度量以及快速的索引。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提出了一种人体动作数据的空间轨迹检索方法。

技术方案：本发明公开的一种人体动作数据的空间轨迹检索方法，包括以下步骤：

步骤1，人体动作结构模型定义：对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型，包括以左髋为子结构根节点的一个子结构、以右髋为子结构根节点的一个子结构、以及以胸部关节为子结构根节点的三个子结构；

步骤2，离线动作特征树生成：对于人体动作库中的每一个动作，根据人体动作结构模型，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征，所述人体动作库是包含各种人体动作的数据库，每个人体动作由一组连续帧的动作数据构成；根据人体动作结构模型中五个子结构的层次定义，对提取的动作特征进行聚类，生成了包含五个动作特征子树的动作特征树；

步骤3，在线动作数据检索：用户提交检索示例，并指定检索关节，所述的检索示例为表示人体动作的数据；根据指定的检索关节以及人体动作结构模型得到检索树，所述检索树由一组检索子树构成，所述检索子树指人体动作结构模型中从子结构的根节点关节到检索关节之间的途径关节构成的子树；计算检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。

本发明所述步骤2具体包括以下步骤：

步骤21，空间轨迹曲线计算：对于人体动作库中每一个动作，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算每个关节相对于所属子结构根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；

步骤22，动作特征提取：对于人体动作库中每一个动作，由动作中每个关节相对于所属子结构根节点关节的空间轨迹曲线，分别对每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤23，动作特征聚类：以人体动作库中的所有动作为聚类对象，对人体动作结构模型中的五个子结构，分别按照子结构中关节的层次关系，使用本层关节的几何不变矩特征为聚类向量，使用自适应模糊C均值聚类方法，自顶向下构建动作特征子树，对应人体根关节的节点是动作特征树的根节点，将根节点指向生成的五个动作特征子树，则构成了动作特征树。

本发明所述步骤3具体包括以下步骤：

步骤31，示例提交：用户提交检索动作示例，并指定检索关节，否则默认指定人体的全部关节作为检索关节；

步骤32，检索树生成：检索关节决定人体动作结构模型中参与检索的子结构，以及参与检索的关节为从子结构的根节点到检索关节之间的关节，由此确定计算特征相似度的范围；参与检索的子结构中的关节形成了检索子树，对应人体根关节的节点是检索树的根节点，将根节点指向检索子树，则构成了检索树；

步骤33，空间轨迹曲线计算：对于检索示例，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算在检索子树中的关节相对于检索子树根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；

步骤34，动作特征提取：由检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线，分别对检索子树中的每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤35，特征相似度计算：采用以下公式计算特征相似度similarity(X，Y)：

其中，X和Y分别为待计算的两个动作中同一个关节对应的空间轨迹曲线，L₂为几何不变矩特征的欧氏距离，L₂采用如下公式计算：

其中x_i和y_i分别为X和Y对应的几何不变矩特征分量，σ_i为该特征分量的标准差，i为9个几何不变矩特征对应的序号；

步骤36，相似动作层次匹配：由检索树和动作特征树，分别在检索子树对应的每个动作特征子树上从第1层开始直到检索关节对应的层为止，依次计算检索示例和人体动作库中动作的特征相似度，最后对检索相关的每个动作特征子树上得到的最相似的s个候选动作求交集并计算其最终相似度，对最终相似度由高到低排序后将结果动作返回。

本发明中所述根据关节的空间轨迹曲线计算具有平移、缩放以及旋转不变性的9个几何不变矩特征，包括以下步骤：

步骤401，计算关节的空间轨迹曲线上相邻采样点之间的距离D(i)，其中i为采样点的序号；

步骤402，计算零阶矩M₀₀₀＝∑D(i)；

步骤403，计算一阶矩，M₁₀₀＝∑x_iD(i)，M₀₁₀＝∑y_iD(i)，M₀₀₁＝∑z_iD(i)，其中x_i、y_i、z_i分别为空间轨迹曲线上采样点i对应的X、Y、Z轴的坐标；

步骤404，对空间轨迹曲线进行重新采样，即：

以下使用重新采样的点来计算空间轨迹曲线的l+m+n阶几何矩u_lmn＝∑(x′)^l(y′)^m(z′)ⁿD(i)，得到具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤405，计算空间轨迹曲线上点到原点距离平方的几何不变矩特征MI(R²(1))：

$\mathrm{MI}\left(R^2\left(1\right)\right)=(u_{200}+u_{020}+u_{002})/u_{000}^3;$

步骤406，计算空间轨迹曲线上任意2点和原点构成的面积平方的几何不变矩特征MI(A²(o，1，2))：

$\mathrm{MI}\left(A^2(o,\mathrm{1,2})\right)=\frac{1}{2}(u_{200}{u}_{020}+u_{200}{u}_{002}+u_{002}{u}_{020}-{\left(u_{101}\right)}^2-{\left(u_{110}\right)}^2-{\left(u_{011}\right)}^2)/u_{000}^6;$

步骤407，计算空间轨迹曲线上任意3点和原点构成的有符号的四面体体积平方的几何不变矩特征MI(V²(o，1，2，3))：

$\mathrm{MI}\left(V^2(o,\mathrm{1,2,3})\right)=(u_{200}*u_{020}*u_{002}+2*u_{110}*u_{101}*u_{011}-u_{200}*u_{011}*u_{011}$

$-u_{020}*u_{101}*u_{101}-u_{002}*u_{110}*u_{110})/u_{000}^9;$

步骤408，计算空间轨迹曲线上点到原点距离4次方的几何不变矩特征MI(R⁴(1))：

$\mathrm{MI}\left(R^4\left(1\right)\right)=(u_{400}+u_{040}+u_{004}+2*u_{220}+2*u_{202}+2*u_{022})/u_{000}^5;$

步骤409，计算空间轨迹曲线上任意2点和原点构成的面积4次方的几何不变矩特征MI(A⁴(o，1，2))：

$\mathrm{MI}\left(A^4(o,\mathrm{1,2})\right)=(u_{400}*u_{040}+u_{400}*u_{004}+u_{004}*u_{040}+3*u_{220}*u_{220}+3*u_{202}*u_{202}$

$+3*u_{022}*u_{022}-4*u_{103}*u_{301}-4*u_{130}*u_{310}-4*u_{013}*u_{031}$

$+2*u_{022}*u_{202}+2*u_{022}*u_{220}+2*u_{220}*u_{202}+2*u_{022}*u_{400}$

$+2*u_{004}*u_{220}+2*u_{u040}*u_{202}-4*u_{103}*u_{121}-4*u_{130}*u_{112};$

$-4*u_{013}*u_{211}-4*u_{121}*u_{301}-4*u_{112}*u_{310}-4*u_{211}*u_{031}$

$+4*u_{211}*u_{211}+4*u_{112}*u_{112}+4*u_{121}*u_{121})/u_{000}^{10}$

步骤410，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积4次方的几何不变矩特征MI(An⁴(o，1，2))：

$\mathrm{MI}\left({\mathrm{An}}^4(o,\mathrm{1,2})\right)=(u_{400}*u_{400}+u_{040}*u_{040}+u_{004}*u_{004}+4*u_{130}*u_{130}+4*u_{103}*u_{103}$

$+4*u_{013}*u_{013}+4*u_{031}*u_{031}+4*u_{310}*u_{310}+4*u_{301}*u_{301}$

$+6*u_{220}*u_{220}+6*u_{202}*u_{202}+6*u_{022}*u_{022}+12*u_{112}*u_{112};$

$+12*u_{121}*u_{121}+12*u_{211}*u_{211})/u_{000}^{10}$

步骤411，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积3次方的几何不变矩特征MI(An³(o，1，2))：

$\mathrm{MI}\left({\mathrm{An}}^3(o,\mathrm{1,2})\right)=(u_{300}*u_{300}+u_{030}*u_{030}+u_{003}*u_{003}+3*u_{120}*u_{120}+3*u_{102}*u_{102}$

$+3*u_{012}*u_{012}+3*u_{021}*u_{021}+3*u_{210}*u_{210}+3*u_{201}*u_{201};$

$+6*u_{111}*u_{111})/u_{000}^8$

步骤412，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积An(o，1，2)和点1到原点距离的平方R²(1)以及点2到原点距离的平方R²(2)的乘积构成的几何不变矩特征MI(An(o，1，2)R²(1)R²(2))：

$\mathrm{MI}\left(\mathrm{An}(o,\mathrm{1,2})R^2\left(1\right)R^2\left(2\right)\right)=(u_{300}*u_{300}+u_{030}*u_{030}+u_{003}*u_{003}+u_{120}*u_{120}*u_{012}*u_{012}$

$+u_{102}*u_{102}+u_{210}*u_{210}+u_{021}*u_{021}+u_{201}*u_{201}+2*u_{300}*u_{120}$

$+2*u_{300}*u_{102}+{2*u}_{120}*u_{102}+2*u_{003}*u_{201}+2*u_{003}*u_{021};$

$+2*u_{021}*u_{201}+{2*u}_{030}*u_{012}+2*u_{030}*u_{210}$

$+2*u_{012}*u_{210})/u_{000}^8$

步骤413，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积的平方An²(o，1，2)和点到原点距离的平方R²(1)的乘积构成的几何不变矩特征MI(An²(o，1，2)R²(1))：

$\mathrm{MI}\left({\mathrm{An}}^2(o,\mathrm{1,2})R^2\left(1\right)\right)=(u_{200}*(u_{400}+u_{220}+u_{202})+u_{020}*(u_{220}+u_{040}+u_{022})$

$+u_{002}*(u_{202}+u_{022}+u_{004})+2*u_{110}*(u_{310}+u_{130}+u_{112}).$

$+2*u_{101}*(u_{301}+u_{121}+u_{103})+2*u_{011}*(u_{211}+u_{031}+u_{013}))/u_{000}^8$

有益效果：本发明公开了一种基于空间轨迹特征，支持用户指定检索关节进行示例检索的人体动作数据检索方法，该方法的关键技术包括人体动作结构模型定义、几何不变矩特征动作内容表示以及通过自适应模糊C均值特征聚类实现的动作特征树构建。

具体而言本发明与已有方法相比具有以下优点：1、本发明根据动作中关节的相关性定义了人体动作结构模型，进而使用自适应模糊C均值聚类对提取的几何不变矩特征进行聚类并组织成动作特征树，能够有效地支持用户指定检索关节对人体动作数据进行检索；2、本发明首次将几何不变矩特征引入到动作数据检索中，使用几何不变矩特征作为关节的动作内容表示，一方面能够有效地描述关节运动形成的空间轨迹曲线的形状特征，另一方面，由于几何不变矩特征具有平移、缩放以及旋转不变性，所以能够有效地解决动作执行者骨骼长度的不同以及观察视角的不同对动作特征提取造成的影响；3、由于检索是在动作特征树中进行的，一方面计算的范围限定在上一层最相似的q个父节点对应的本层子节点的范围内，另一方面只使用计算范围内每个节点包含动作的几何不变矩特征的算术平均值(聚类中心)和检索示例的几何不变矩特征进行相似度计算，有效地提高了检索效率，从而能够满足用户在线检索的实时性要求。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明的处理流程示意图。

图2为本发明中使用的人体关节模型示意图。

图3为本发明定义的人体动作结构模型示意图。

图4为本发明中使用特征聚类生成的左手末端到胸部关节的动作特征子树示意图。

图5a为实施例检索输入维族舞蹈胸前推绕腕动作。

图5b为实施例维族舞蹈胸前推绕腕动作的检索结果。

图5c为图5b中矩阵包围的动作的示意图。

具体实施方式：

本发明公开了一种基于空间轨迹特征，支持用户指定检索关节进行示例检索的人体动作数据检索方法，包括以下步骤：

步骤1，人体动作结构模型定义：对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型，包括以左髋为子结构根节点的一个子结构、以右髋为子结构根节点的一个子结构、以及以胸部关节为子结构根节点的三个子结构；

步骤2，离线动作特征树生成：对于人体动作库中的每一个动作，根据人体动作结构模型，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征，所述人体动作库是包含各种人体动作的数据库，每个人体动作由一组连续帧的动作数据构成；根据人体动作结构模型中五个子结构的层次定义，对提取的动作特征进行聚类，生成了包含五个动作特征子树的动作特征树，具体包括以下步骤：

步骤21，空间轨迹曲线计算：对于人体动作库中每一个动作，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算每个关节相对于所属子结构根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；

步骤22，动作特征提取：对于人体动作库中每一个动作，由动作中每个关节相对于所属子结构根节点关节的空间轨迹曲线，分别对每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤23，动作特征聚类：以人体动作库中的所有动作为聚类对象，对人体动作结构模型中的五个子结构，分别按照子结构中关节的层次关系，使用本层关节的几何不变矩特征为聚类向量，使用自适应模糊C均值聚类方法，自顶向下构建动作特征子树，对应人体根关节的节点是动作特征树的根节点，将根节点指向生成的五个动作特征子树，则构成了动作特征树；

步骤3，在线动作数据检索：用户提交检索示例，并指定检索关节，所述的检索示例为表示人体动作的数据；根据指定的检索关节以及人体动作结构模型得到检索树，所述检索树由一组检索子树构成，所述检索子树指人体动作结构模型中从子结构的根节点关节到检索关节之间的途径关节构成的子树；计算检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回，具体包括以下步骤：

步骤31，示例提交：用户提交检索动作示例，并指定检索关节，否则默认指定人体的全部关节作为检索关节；

步骤32，检索树生成：检索关节决定人体动作结构模型中参与检索的子结构，以及参与检索的关节为从子结构的根节点到检索关节之间的关节，由此确定计算特征相似度的范围；参与检索的子结构中的关节形成了检索子树，对应人体根关节的节点是检索树的根节点，将根节点指向检索子树，则构成了检索树；

步骤33，空间轨迹曲线计算：对于检索示例，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算在检索子树中的关节相对于检索子树根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点：

步骤34，动作特征提取：由检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线，分别对检索子树中的每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤35，特征相似度计算：采用以下公式计算特征相似度similarity(X，Y)：

其中，X和Y分别为待计算的两个动作中同一个关节对应的空间轨迹曲线，L₂为几何不变矩特征的欧氏距离，L₂采用如下公式计算：

其中x_i和y_i分别为X和Y对应的几何不变矩特征分量，σ_i为该特征分量的标准差，i为9个几何不变矩特征对应的序号；

步骤36，相似动作层次匹配：由检索树和动作特征树，分别在检索子树对应的每个动作特征子树上从第1层开始直到检索关节对应的层为止，依次计算检索示例和人体动作库中动作的特征相似度，最后对检索相关的每个动作特征子树上得到的最相似的s个候选动作求交集并计算其最终相似度，对最终相似度由高到低排序后将结果动作返回。

实施例

本实施例处理流程图如图1所示，整个方法分为人体动作结构模型定义、离线动作特征树生成和在线动作数据检索三个主要的步骤，下面分别介绍各实施例部分的主要流程。

1、人体动作结构模型定义

人体关节模型的层次结构使得关节在三维空间中的轨迹曲线取决于自身关节和各个先辈关节的运动，如左手末端相对于胸部关节的空间轨迹曲线取决于左胸锁关节、左肩、左肘、左腕以及自身关节的运动，如果两个动作的左手末端的空间轨迹曲线是相似的，由于左手末端的空间轨迹曲线是其自身和先辈关节运动的累计效果，则在一般情况下其先辈关节的空间轨迹曲线也是相似的。为了实现支持用户指定检索关节进行动作数据检索，本发明对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型，包括以左髋为子结构根节点的一个子结构、右髋为子结构根节点的一个子结构、以及胸部关节为子结构根节点的三个子结构，如图3所示。其中，左髋子结构中的关节包括左膝、左踝、左跖趾关节、左趾末端四个关节；右髋子结构中的关节包括右膝、右踝、右跖趾关节、右趾末端四个关节；胸部的第一个子结构中包含右胸锁关节、右肩、右肘、右腕、右手末端五个关节；胸部的第二个子结构中包含颈部关节和头部末端两个关节；胸部的第三个子结构中包含了左胸锁关节、左肩、左肘、左腕、左手末端五个关节。人体动作结构模型使得用户指定了检索关节后，动作检索可以在五个子结构对应的动作特征子树中独立的进行，如用户指定了左手末端、右手末端两个检索关节，则检索就在以胸部关节为根节点的第一和第三个子结构对应的动作特征子树中进行，在每个动作特征子树中的检索过程是自顶向下从子树的第一层开始到用户指定的检索关节对应的层次结束，最后对检索相关的每个动作特征子树上得到的最相似的动作求交集并计算其最终相似度，在本例中，对于检索关节左手末端，则在胸部关节为根节点的第三个子结构对应的动作特征子树中，按照左胸锁关节、左肩、左肘、左腕、左手末端对应的关节层次依次进行特征相似度计算。

2、离线动作特征树生成

对于人体动作库中的每一个动作，根据人体动作结构模型，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征，所述人体动作库是包含各种人体动作的数据库，每个人体动作由一组连续帧的动作数据构成；根据人体动作结构模型中五个子结构的层次定义，对提取的动作特征进行聚类，生成了包含五个动作特征子树的动作特征树。

2.1、空间轨迹曲线计算

人体动作库是包含通过三维动作捕获设备(如英国Vicon公司的光学动作捕获设备)采集的各种人体动作的数据库。人体动作库中的动作使用通用的运动数据格式BVH(美国Biovision公司的层次运动数据格式)进行存储，在BVH文件的头部存储了动作执行者的人体关节模型，本实施例使用的人体关节模型如图2所示，包括每个关节的父关节、每个关节相对于父关节的偏移位置(OFFSET)、每个关节的自由度，其中，根关节的自由度为六个，即在全局坐标系下的平移(tx、ty、tz)以及在局部坐标系下绕X、Y、Z轴顺序旋转的角度(rx、ry、rz)。除了根关节之外，其余的关节只存在三个自由度，即在局部坐标系下绕X、Y、Z轴顺序旋转的角度(rx、ry、rz)。BVH的每一帧数据则记录了每个自由度在采样时刻的具体数值。几何不变矩特征的提取需要获取每个关节相对于所属子结构根节点关节的空间轨迹曲线，由于BVH文件存储的是每个关节的旋转欧拉角，所以需要根据BVH文件中记录的人体关节模型以及各个自由度在采样时刻的瞬时值计算出各个关节的三维坐标，按照帧号顺序排列的三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，关节的三维坐标通过平移和旋转对应的变换矩阵来进行计算。关节J_i平移对应的变换矩阵为：

$T\left(J_i\right)=\left|\begin{array}{cccc}1& 0& 0& \mathrm{tx}\\ 0& 1& 0& \mathrm{ty}\\ 0& 0& 1& \mathrm{tz}\\ 0& 0& 0& 1\end{array}\right|,$ 其中tx、ty、tz为关节J_i平移的自由度，关节J_i旋转对应的变换矩阵为：

$R\left(J_i\right)=\left|\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos \left(\mathrm{rx}\right)& -\sin \left(\mathrm{rx}\right)& 0\\ 0& \sin \left(\mathrm{rx}\right)& \cos \left(\mathrm{rx}\right)& 0\\ 0& 0& 0& 1\end{array}\right|*\left|\begin{array}{cccc}\cos \left(\mathrm{ry}\right)& 0& \sin \left(\mathrm{ry}\right)& 0\\ 0& 1& 0& 0\\ -\sin \left(\mathrm{ry}\right)& 0& \cos \left(\mathrm{ry}\right)& 0\\ 0& 0& 0& 1\end{array}\right|*\left|\begin{array}{cccc}\cos \left(\mathrm{rz}\right)& -\sin \left(\mathrm{rz}\right)& 0& 0\\ \sin \left(\mathrm{rz}\right)& \cos \left(\mathrm{rz}\right)& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right|,$

其中rx、ry、rz为关节J_i旋转的自由度。

关节J_i在一个动作中的空间轨迹曲线的三维坐标(x，y，z)的计算公式为：

$P_{J_i}(x,y,z)=T\left(\mathrm{root}\right)*R\left(\mathrm{root}\right)*T\left(J_1\right)*R\left(J_1\right)*......*T\left(J_n\right)*R\left(J_n\right)*T\left(J_i\right)*P_o,$ 其中T(root)和R(root)是根关节的平移矩阵和旋转矩阵，T(J₁)、R(J₁)、......、T(J_n)、R(J_n)是关节J_i的先辈关节(不含根关节)对应的平移矩阵和旋转矩阵，公式中的P_o＝(0，0，0，1)^T。例如，对于图2中的人体关节模型，右肘关节对应的三维坐标计算公式为：

P_右肘(x，y，z)＝T(root)*R(root)*T(胸部关节)*R(胸部关节)*......*

T(右肩)*R(右肩)*T(右肘)*P_o

在上面的公式中，root根关节的平移矩阵和旋转矩阵是使用每一帧中的六个自由度进行计算的，而对于其他的关节，旋转矩阵是使用每一帧中的三个自由度进行计算的，而平移矩阵则使用人体关节模型中关节的偏移位置(OFFSET)进行计算。本方案在进行各个关节的三维坐标计算时，将T(root)和R(root)都设置为单位矩阵，以消除根关节的平移和旋转对相似动作的影响，各个关节相对于所属子结构根节点关节的空间轨迹曲线的计算步骤具体如下：

步骤211，对BVH文件进行解析，载入人体关节模型数据以及每一帧的数据；

步骤212，计算每一帧中各个关节的三维坐标：

步骤2121，用当前变换矩阵表示当前关节的先辈关节对应的平移矩阵和旋转矩阵的乘积，初始化当前变换矩阵为单位矩阵；创建当前变换矩阵对应的堆栈；设置当前的关节为根关节，步骤2122到步骤2128是一个递归调用的过程，调用全部完成后，得到了当前帧中每一个关节的三维坐标；

步骤2122，获取当前关节的平移向量，并计算其对应的平移矩阵T(J_i)；

步骤2123，当前关节的三维坐标＝当前变换矩阵*T(J_i)*P_o；

步骤2124，获取当前关节的旋转分量，计算其对应的旋转矩阵R(J_i)；

步骤2125，当前变换矩阵＝当前变换矩阵*T(J_i)*R(J_i)，得到的新的矩阵作为当前变换矩阵；

步骤2126，将当前变换矩阵压入堆栈；

步骤2127，对当前关节的每一个子关节，依次将其设置为当前关节，进行步骤2122到步骤2128的递归调用；

步骤2128，当前关节完成了所有子关节的调用，对当前变换矩阵堆栈执行出栈操作，出栈得到的矩阵作为当前变换矩阵；

步骤213，根据人体动作结构模型，对于子结构中的每一个关节，用关节的三维坐标减去所属子结构根节点关节的三维坐标，得到相对三维坐标，将其按照帧号顺序排列，则相对三维坐标的集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线。

2.2、动作特征提取

由于距不变量具有平移、缩放以及旋转不变性的特点，各种形式的矩函数作为形状特征描述子，已经广泛应用在图像检索系统和三维模型检索系统中，本发明首次将几何矩特征引入到人体动作数据检索中，由于这些几何矩具有平移、缩放以及旋转不变性，所有称之为几何不变矩，使用几何不变矩特征作为关节的动作内容表示，一方面能够有效地描述关节运动形成的空间轨迹曲线的形状特征，另一方面，由于几何不变矩特征具有平移、缩放以及旋转不变性，所以能够有效地解决动作执行者骨骼长度的不同以及观察视角的不同对动作特征提取造成的影响，三维曲线的几何不变矩特征的计算如文献5 Dong Xu，Hua Li.Geometric moment invariants.Pattern Recognition，2008，41(1)：240-249所述。

三维空间R³中的一条参数曲线L定义为P(t)＝(x(t)，y(t)，z(t))，其中参数t的定义域为T，ρ(x，y，z)是曲线的质量分布密度函数，则参数曲线的l+m+n阶几何距定义如下：

$M_{\mathrm{lmn}}=\underset{L}{\∫}{x}^l{y}^m{z}^n\mathrm{\ρ}(x,y,z)\mathrm{dl}$

$=\underset{L}{\∫}x{\left(t\right)}^{l}y{\left(t\right)}^{m}z{\left(t\right)}^n\sqrt{{\left(\frac{\mathrm{dx}\left(t\right)}{\mathrm{dt}}\right)}^2+{\left(\frac{\mathrm{dy}\left(t\right)}{\mathrm{dt}}\right)}^2+{\left(\frac{\mathrm{dz}\left(t\right)}{\mathrm{dt}}\right)}^2}\mathrm{\ρ}(x\left(t\right),y\left(t\right),z\left(t\right))\mathrm{dt},$ 其中，l、m、n分别为积分变量x、y、z的指数，dl为积分弧长。

通过上式计算零阶距和一阶矩，就可以获取空间轨迹曲线的质心，计算的公式如下：

其中分别为空间轨迹曲线质心的坐标，则具有平移不变性的几何距的定义为：

$u_{\mathrm{lmn}}=\underset{L}{\∫}{(x-x)}^l{(y-y)}^m{(z-z)}^n\mathrm{\ρ}(x,y,z)\mathrm{dl}.$

曲线使用尺度因子λ进行缩放，则新的参数曲线表达式为

P′(t)＝(x′(t)，y′(t)，z′(t))＝(λx(t)，λy(t)，λz(t))，则新的参数曲线的几何矩表示为：

${M^{\′}}_{\mathrm{lmn}}=\underset{L}{\∫}{x}^{\′}{\left(t\right)}^l{y}^{\′}{\left(t\right)}^m{z}^{\′}{\left(t\right)}^n\sqrt{{\left(\frac{d{x}^{\′}\left(t\right)}{\mathrm{dt}}\right)}^2+{\left(\frac{d{y}^{\′}\left(t\right)}{\mathrm{dt}}\right)}^2+{\left(\frac{d{z}^{\′}\left(t\right)}{\mathrm{dt}}\right)}^2}{\mathrm{\ρ}}^{\′}(x^{\′}\left(t\right),y^{\′}\left(t\right),z^{\′}\left(t\right))\mathrm{dt}$

$={\mathrm{\λ}}^{l+m+n+1}{M}_{\mathrm{lmn}}$

于是，具有缩放不变性的几何矩定义为：

$s_{\mathrm{lmn}}=\frac{M_{\mathrm{lmn}}}{M_{000}^{1+l+m+n}}.$

为了得到具有旋转不变性的几何距，需要先定义四个几何基元：

(1)空间轨迹曲线上任意2点(x_i，y_i，z_i)，(x_j，y_j，z_j)之间的距离：

$D(i,j)={[{(x_i-x_j)}^2+{(y_i-y_j)}^2+{(z_i-z_j)}^2]}^{\frac{1}{2}};$

(2)空间轨迹曲线上不共线的3点(x_i，y_i，z_i)，(x_j，y_j，z_j)，(x_k，y_k，z_k)构成的三角形的面积：

$A(i,j,k)=\frac{1}{2}{\left|\right|(x_i-x_j,y_i-y_j,z_i-z_j)\×(x_k-x_j,y_k-y_j,z_k-z_j)\left|\right|}_2;$

(3)空间轨迹曲线上3点，从某个公共点(x_j，y_j，z_j)到其他2个点(x_i，y_i，z_i)，(x_k，y_k，z_k)的向量构成的内积：

An(i，j，k)＝(x_i-x_j，y_i-y_j，z_i-z_j)·(x_k-x_j，y_k-y_j，z_k-z_j)；

(4)空间轨迹曲线上4个不共面的点(x_i，y_i，z_i)，(x_j，y_j，z_j)，(x_k，y_k，z_k)，(x_l，y_l，z_l)构成的有符号的四面体体积：

$V(i,j,k,l)=\frac{1}{6}\left\{\right[(x_i-x_j,y_i-y_j,z_i-z_j)\×(x_k-x_j,y_k-y_j,z_k-z_j)].$

$\·(x_l-x_j,y_l-y_j,z_l-z_j)\}$

将上面这四个几何基元的任意次幂相乘得到积分核core(p₁，p₂，…，p_n)，其中p₁，p₂，…，p_n为空间轨迹曲线上的n个点，经过旋转变换后得到的积分核为core′(p₁，p₂，…，p_n)，可以证明对于积分核core(p₁，p₂，…，p_n)进行多重积分和对空间轨迹曲线进行旋转变换后的积分核core′(p₁，p₂，…，p_n)进行多重积分是相等的，即：

$\mathrm{MI}\left(\mathrm{core}(p_1,p_2,...,p_n)\right)=\underset{-\∞}{\overset{+\∞}{\∫}}\∫...\underset{-\∞}{\overset{+\∞}{\∫}}\mathrm{core}(p_1,p_2,...,p_n)\mathrm{\ρ}(x_1,y_1,z_1)\mathrm{\ρ}(x_2,y_2,z_2),$ 此式说明

…ρ(x_n，y_n，z_n)dl₁dl₂…dl_n＝MI(core(p₁，p₂，…，p_n))了对积分核的多重积分具有旋转不变性，将core(p₁，p₂，…，p_n)写成多项式的形式： $\mathrm{core}(p_1,p_2,...,p_n)=\underset{i}{\mathrm{\Σ}}{a}_i\underset{j=1}{\overset{n}{\mathrm{\Π}}}{x}_j^{\mathrm{ij}1}{y}_j^{\mathrm{ij}2}{z}_j^{\mathrm{ij}3},$ 其中i为积分核展开后的和式中的第i项，j表示n个点中的第j个点，a_i为第i项的系数，ij1、ij2、ij3分别为和式中第i项的第j个点的三个坐标分量的指数，则： $\mathrm{MI}\left(\mathrm{core}(p_1,p_2,...,p_n)\right)=\underset{i}{\mathrm{\Σ}}{a}_i\underset{j=1}{\overset{n}{\mathrm{\Π}}}{u}_{\left(\mathrm{ij}1\right)\left(\mathrm{ij}2\right)\left(\mathrm{ij}3\right)},$ 也就是积分核的多重积分不变量可以用几何距的乘积的和来表示，从而就得到了具有旋转不变性的几何矩。

由于高阶矩不够稳定，所以本发明选择9个低阶几何不变距作为空间轨迹曲线的特征表示。经过步骤2.1获取的每个关节的空间轨迹曲线为离散的采样点，离散采样点的几何不变矩特征近似计算步骤如下：

步骤401，计算关节的空间轨迹曲线上相邻采样点之间的距离D(i)，其中i为采样点的序号；

步骤402，计算零阶矩M₀₀₀＝∑D(i)；

步骤403，计算一阶矩，M₁₀₀＝∑x_iD(i)，M₀₁₀＝∑y_iD(i)，M₀₀₁＝∑z_iD(i)，其中x_i、y_i、z_i分别为空间轨迹曲线上采样点i对应的X、Y、Z轴的坐标；

步骤404，对空间轨迹曲线进行重新采样，即：

以下使用重新采样的点来计算空间轨迹曲线的l+m+n阶几何矩u_lmn＝∑(x′)^l(y′)^m(z′)ⁿD(i)，得到具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤405，计算空间轨迹曲线上点到原点距离平方的几何不变矩特征MI(R²(1))：

$\mathrm{MI}\left(R^2\left(1\right)\right)=(u_{200}+u_{020}+u_{002})/u_{000}^3;$

步骤406，计算空间轨迹曲线上任意2点和原点构成的面积平方的几何不变矩特征MI(A²(o，1，2))：

$\mathrm{MI}\left(A^2(o,\mathrm{1,2})\right)=\frac{1}{2}(u_{200}{u}_{020}+u_{200}{u}_{002}+u_{002}{u}_{020}-{\left(u_{101}\right)}^2-{\left(u_{110}\right)}^2-{\left(u_{011}\right)}^2)/u_{000}^6;$

步骤407，计算空间轨迹曲线上任意3点和原点构成的有符号的四面体体积平方的几何不变矩特征MI(V²(o，1，2，3))：

$\mathrm{MI}\left(V^2(o,\mathrm{1,2,3})\right)=(u_{200}*u_{020}*u_{002}+2*u_{110}*u_{101}*u_{011}-u_{200}*u_{011}*u_{011}$

$-u_{020}*u_{101}*u_{101}-u_{002}*u_{110}*u_{110})/u_{000}^9;$

步骤408，计算空间轨迹曲线上点到原点距离4次方的几何不变矩特征MI(R⁴(1))：

$\mathrm{MI}\left(R^4\left(1\right)\right)=(u_{400}+u_{040}+u_{004}+2*u_{220}+2*u_{202}+2*u_{022})/u_{000}^5;$

步骤409，计算空间轨迹曲线上任意2点和原点构成的面积4次方的几何不变矩特征MI(A⁴(o，1，2))：

$\mathrm{MI}\left(A^4(o,\mathrm{1,2})\right)=(u_{400}*u_{040}+u_{400}*u_{004}+u_{004}*u_{040}+3*u_{220}*u_{220}+3*u_{202}*u_{202}$

$+3*u_{022}*u_{022}-4*u_{103}*u_{301}-4*u_{130}*u_{310}-4*u_{013}*u_{031}$

$+2*u_{022}*u_{202}+2*u_{022}*u_{220}+2*u_{220}*u_{202}+2*u_{022}*u_{400}$

$+2*u_{004}*u_{220}+2*u_{u040}*u_{202}-4*u_{103}*u_{121}-4*u_{130}*u_{112};$

$-4*u_{013}*u_{211}-4*u_{121}*u_{301}-4*u_{112}*u_{310}-4*u_{211}*u_{031}$

$+4*u_{211}*u_{211}+4*u_{112}*u_{112}+4*u_{121}*u_{121})/u_{000}^{10}$

步骤410，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积4次方的几何不变矩特征MI(An⁴(o，1，2))：

$\mathrm{MI}\left({\mathrm{An}}^4(o,\mathrm{1,2})\right)=(u_{400}*u_{400}+u_{040}*u_{040}+u_{004}*u_{004}+4*u_{130}*u_{130}+4*u_{103}*u_{103}$

$+4*u_{013}*u_{013}+4*u_{031}*u_{031}+4*u_{310}*u_{310}+4*u_{301}*u_{301}$

$+6*u_{220}*u_{220}+6*u_{202}*u_{202}+6*u_{022}*u_{022}+12*u_{112}*u_{112};$

$+12*u_{121}*u_{121}+12*u_{211}*u_{211})/u_{000}^{10}$

步骤411，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积3次方的几何不变矩特征MI(An³(o，1，2))：

$\mathrm{MI}\left({\mathrm{An}}^3(o,\mathrm{1,2})\right)=(u_{300}*u_{300}+u_{030}*u_{030}+u_{003}*u_{003}+3*u_{120}*u_{120}+3*u_{102}*u_{102}$

$+3*u_{012}*u_{012}+3*u_{021}*u_{021}+3*u_{210}*u_{210}+3*u_{201}*u_{201};$

$+6*u_{111}*u_{111})/u_{000}^8$

步骤412，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积An(o，1，2)和点1到原点距离的平方R²(1)以及点2到原点距离的平方R²(2)的乘积构成的几何不变矩特征MI(An(o，1，2)R²(1)R²(2))：

$\mathrm{MI}\left(\mathrm{An}(o,\mathrm{1,2})R^2\left(1\right)R^2\left(2\right)\right)=(u_{300}*u_{300}+u_{030}*u_{030}+u_{003}*u_{003}+u_{120}*u_{120}*u_{012}*u_{012}$

$+u_{102}*u_{102}+u_{210}*u_{210}+u_{021}*u_{021}+u_{201}*u_{201}+2*u_{300}*u_{120}$

$+2*u_{300}*u_{102}+{2*u}_{120}*u_{102}+2*u_{003}*u_{201}+2*u_{003}*u_{021};$

$+2*u_{021}*u_{201}+{2*u}_{030}*u_{012}+2*u_{030}*u_{210}$

$+2*u_{012}*u_{210})/u_{000}^8$

步骤413，计算空间轨迹曲线上任意2点和原点构成的2个向量的内积的平方An²(o，1，2)和点到原点距离的平方R²(1)的乘积构成的几何不变矩特征MI(An²(o，1，2)R²(1))：

$\mathrm{MI}\left({\mathrm{An}}^2(o,\mathrm{1,2})R^2\left(1\right)\right)=(u_{200}*(u_{400}+u_{220}+u_{202})+u_{020}*(u_{220}+u_{040}+u_{022})$

$+u_{002}*(u_{202}+u_{022}+u_{004})+2*u_{110}*(u_{310}+u_{130}+u_{112}).$

$+2*u_{101}*(u_{301}+u_{121}+u_{103})+2*u_{011}*(u_{211}+u_{031}+u_{013}))/u_{000}^8$

2.3、动作特征聚类

为了提高检索的效率，以人体动作库中的所有动作为聚类对象，对人体动作结构模型中的五个子结构，分别按照子结构中关节的层次关系，使用本层关节的几何不变矩特征为聚类向量，自顶向下使用自适应模糊C均值聚类方法构建动作特征子树，对胸部关节为根节点的第三个子结构构建的动作特征子树如图4所示。由于检索是在动作特征树中进行的，一方面计算的范围限定在上一层最相似的q个父节点对应的本层子节点的范围内，另一方面只使用计算范围内每个节点包含动作的几何不变矩特征的算术平均值(聚类中心)和检索示例的几何不变矩特征进行相似度计算，有效地提高了检索的效率，从而能够满足用户在线检索的实时性要求。

自适应模糊C均值聚类中的“自适应”的含义是指根据聚类数据自身的分布情况来决定最佳的聚类中心数，自适应模糊C均值聚类算法如文献6 Yang Li，Fusheng Yu.ANew Validity Function for Fuzzy Clustering.2009 International Conference onComputational Intelligence and Natural Computing，2009，1：462-465所述。

本发明使用的模糊C均值聚类算法(FCM)是在模糊理论基础上建立的，FCM算法是一种基于划分的聚类算法，它的思想就是使得被划分到同一聚类的对象之间相似度最大，而不同聚类之间的相似度最小。

FCM把n个对象x_i(i＝1，2，...，n)划分到c个模糊聚类，并求每个聚类的聚类中心，使得非相似性指标的目标函数达到最小。FCM与传统的k均值聚类算法的主要区别在于FCM用模糊划分，每个给定的对象用值在0，1间的隶属度来确定其属于各个聚类的程度。与引入模糊划分相适应，隶属度矩阵U允许有取值在0，1间的元素，一个对象的隶属度的和总等于1，即：

FCM的目标函数的一般化形式为：

$J(U,c_1,...,c_c)=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{J}_i=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{d}_{\mathrm{ij}}^2,$

上式中隶属度u_ij介于0，1之间，c_i为模糊聚类i的聚类中心，d_ij＝‖c_i-x_j‖为第i个聚类中心与第j个对象的欧几里德距离，m∈[1，∞)是一个加权指数。

构造如下新的目标函数，可求得使上式达到最小值的必要条件：

$\stackrel{\‾}{J}(U,c_1,...,c_c,{\mathrm{\λ}}_1,...,{\mathrm{\λ}}_n)=J(U,c_1,...,c_c)+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_j(\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}-1),$

$=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{d}_{\mathrm{ij}}^2+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_j(\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}-1)$

上式中λ_j是

的n个约束式的拉格朗日乘子。对所有输入参量求导，使上式达到最小的必要条件为：

$c_i=\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{x}_j}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m},$ $u_{\mathrm{ij}}=\frac{1}{\underset{k=1}{\overset{c}{\mathrm{\Σ}}}{\left(\frac{d_{\mathrm{ij}}}{d_{\mathrm{kj}}}\right)}^{2/(m-1)}}.$

模糊C均值聚类算法是一个迭代过程，即首先随机初始化隶属度矩阵U，然后迭代计算c_i和u_ij，直到收敛。

在上面的算法中，需要预先给定聚类数c，然而对关节的动作特征进行聚类时，很难确定预先的聚类数，在几何意义下，聚类的目的就是将数据分类并尽量使类间的距离尽可能的大而类内的数据点距离尽可能的小，下面给出的聚类数c的自适应函数就是基于上面的基本思想。聚类的每一个对象作为一个样本，则总体样本的中心向量为：

$\stackrel{\‾}{x}=\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{x}_j}{n},$

聚类数c的自适应函数为：

$L\left(c\right)=\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left(\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m\right){\left|\right|c_i-\stackrel{\‾}{x}\left|\right|}^2\right)/(c-1)}{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{\left|\right|x_j-c_i\left|\right|}^2\right)/(n-c)},$

上式中的分子表征类与类之间的距离，分母表征类内数据点与该类中心之间的距离，因此L(c)的值越大，说明分类越合理，L(c)的最大值对应的c为最佳值。

动作特征子树的生成过程是由树结构特点决定的递归、遍历的过程，人体动作结构模型中子结构的根节点对应的关节为第0层关节，子结构的根节点的后代节点对应的关节依次为第1层关节，第2层关节，......，第h层关节(h≤5)，每个子结构对应的动作特征子树构建包含以下的步骤：

步骤231，初始化：创建一个只有根节点的动作特征子树，树的根节点包含人体动作库中的所有动作；

步骤232，从子结构的第1层关节到第h层关节，循环进行以下步骤：

步骤2321，获取动作特征子树中当前关节的上一层关节对应的所有节点；

步骤2322，对于获取的每一个节点，循环进行如下步骤：

步骤23221，获取当前节点包含的所有动作；

步骤23222，以当前节点包含的所有动作为聚类对象，使用当前关节的几何不变矩特征为聚类特征向量，采用自适应模糊C均值聚类算法进行聚类，得到c个聚类以及每个聚类中的动作：

步骤23222a，设置聚类数c＝2；

步骤23222b，用值在0，1间的随机数初始化隶属度矩阵U，满足

u_ij介于0，1之间，是给定对象j属于聚类i的隶属度，表明了对象属于该聚类的程度；

步骤23222c，使用公式

计算c个聚类中心，其中m∈[1，∞)是一个加权指数，n为聚类对象数；

步骤23222d，使用公式计算新的隶属度矩阵，其中d_ij＝‖c_i-x_j‖为第i个聚类中心与第j个对象的欧几里德距离；

步骤23222e，计算‖u′_ij‖和‖u_ij‖的差值，若大于预先设置的阀值，则返回步骤23222c，否则进行下面的步骤；

步骤23222f，计算 $L\left(c\right)=\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left(\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m\right){\left|\right|c_i-\stackrel{\‾}{x}\left|\right|}^2\right)/(c-1)}{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{\left|\right|x_j-c_i\left|\right|}^2\right)/(n-c)},$ 其中 $\stackrel{\‾}{x}=\frac{\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{ij}}^m{x}_j}{n}$ 是总体样本的中心向量，在c＞2并且c＜n(n为聚类对象数)的情况下，若L(c-2)＜L(c-1)且L(c-1)＞L(c)，则聚类过程结束，否则c＝c+1，转向步骤23222b；

步骤23223，检查c个聚类中的动作数量，如果动作数量小于一定的阀值τ，则合并到与其聚类中心最近的聚类，最终得到c′个聚类；

步骤23224，在动作特征子树中插入c′个新节点，每一个新节点包含的动作是对应的聚类中包含的动作，设置新节点的父节点指向当前节点；

步骤233，对应人体根关节的节点是动作特征树的根节点，将上述步骤形成的动作特征子树的根节点的父节点置为动作特征树的根节点，并持久化到数据库中。

3、在线动作数据检索

用户提交检索示例，并指定检索关节，所述的检索示例为表示人体动作的数据；根据指定的检索关节以及人体动作结构模型得到检索树，所述检索树由一组检索子树构成，所述检索子树指人体动作结构模型中从子结构的根节点关节到检索关节之间的途径关节构成的子树；计算检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。

3.1、示例提交

用户提交检索动作示例，并指定检索关节，否则选择人体的全部关节作为检索关节。

3.2、检索树生成

根据用户指定的检索关节以及人体动作结构模型得到检索树，检索关节决定人体动作结构模型中参与检索的子结构，以及参与检索的关节为从子结构的根节点到检索关节之间的关节，由此确定计算特征相似度的范围；参与检索的子结构中的关节形成了检索子树，对应人体根关节的节点是检索树的根节点，将根节点指向检索子树，则构成了检索树。如用户指定了左腕、右腕2个检索关节，则检索就在以胸部关节为根节点的第一和第三个子结构对应的动作特征子树中进行，在动作特征子树中检索过程是自顶向下从子树的第一层开始到用户指定的检索关节对应的层次结束，所以在本例中由检索树决定的动作特征子树为左手末端到胸部关节的动作特征子树和右手末端到胸部关节的动作特征子树，左手末端到胸部关节的动作特征子树中的检索相关层次为左胸锁关节、左肩、左肘、左腕对应的层次。右手末端到胸部关节的动作特征子树中的检索相关层次为右胸锁关节、右肩、右肘、右腕对应的层次。

3.3、空间轨迹曲线计算

对于检索示例，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算在检索子树中的关节相对于检索子树根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点。

3.4、动作特征提取

由检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线，分别对检索子树中的每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征。

3.5、特征相似度计算

采用以下公式计算特征相似度similarity(X，Y)：

其中，X和Y分别为待计算的两个动作中同一个关节对应的空间轨迹曲线，L₂为几何不变矩特征的欧氏距离，L₂采用如下公式计算：

其中x_i和y_i分别为X和Y对应的几何不变矩特征分量，σ_i为该特征分量的标准差，i为9个几何不变矩特征对应的序号。

3.6、相似动作层次匹配

由检索树和动作特征树，分别在检索子树对应的每个动作特征子树上从第1层开始直到检索关节对应的层为止，依次计算检索示例和人体动作库中动作的特征相似度，最后对检索相关的每个动作特征子树上得到的最相似的s个候选动作求交集并计算其最终相似度，对最终相似度由高到低排序后将结果动作返回，具体包括下面的步骤：

步骤361，由检索树获取本次检索相关的动作特征子树；

步骤362，在每个检索相关的动作特征子树上进行特征相似度计算，获取和检索示例最相似的s个候选动作，包括如下步骤：

步骤3621，由检索子树获取当前动作特征子树上进行特征相似度计算的范围为子树上第1层到第h′层之间的节点，其中h′为检索关节对应的层数；

步骤3622，对于当前动作特征子树上第1层的每一个节点，计算该节点包含动作的几何不变矩特征的算术平均值和检索示例在该层对应的关节的几何不变矩特征的欧氏距离；对计算的结果进行排序后，选择距离最小的q个节点作为本层和检索示例最相关的节点；

步骤3623，对当前动作特征子树上第2层到第h′层中的每一层，依次进行如下步骤：

步骤3623a，获取当前层的上一层和检索示例最相关的q个节点，并获取这q个节点的子节点，所述q个节点的子节点限定了在当前层上进行特征相似度计算的范围；

步骤3623b，对于q个节点的子节点中的每一个节点，计算该节点包含动作的几何不变矩特征的算术平均值和检索示例在当前层对应的关节的几何不变矩特征的欧氏距离；对计算的结果进行排序后，选择距离最小的q个节点作为当前层和检索示例最相关的节点；

步骤3624，通过上述步骤计算得到当前动作特征子树第h′层中和检索示例最相关的q个节点，对每一个节点，根据特征相似度计算公式，计算节点中包含的每个动作和检索示例从第1层到第h′层对应关节的几何不变矩特征的欧氏距离之和，欧氏距离之和的倒数作为该动作和检索示例在该动作特征子树中的相似度，排序后得到最相似的s个候选动作；

步骤363，对从检索相关的每个动作特征子树中获取的最相似的s个候选动作求交集得到s′个最相似的动作；

步骤364，对于s′中的每一个动作，对其和检索示例在检索相关的每个动作特征子树中的相似度进行求和，求和的结果作为该动作和检索示例的最终相似度；

步骤365，对最终相似度由高到低排序后将s′个结果动作返回。

使用本方案实现的动作检索系统对维族舞蹈胸前推绕腕动作进行检索的效果如图5a、图5b以及图5c所示，由于该动作只涉及到上肢动作，所以用户指定的检索关节为左手末端和右手末端，检索返回的结果动作如图5b所示，已经按相似度进行排序，显示的顺序为从左到右，从上到下，动作上面是勾号的表示命中(和检索示例属于同一类动作)，动作上方是叉号的表示没有命中(和检索示例属于不同类的动作)，从检索的结果可以看出，检索出的相似动作中的腿部动作有的是静止的，有的是同时进行弯曲变化的，如图5c所示，由于本方案支持根据用户指定的检索关节进行动作检索，所以很好地消除了其它非关注关节对检索结果的影响，有效地提高了检索的精准率。

本发明提供了一种人体动作数据的空间轨迹检索方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.一种人体动作数据的空间轨迹检索方法，其特征在于，包括以下步骤：

步骤1，人体动作结构模型定义：对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型，包括以左髋为子结构根节点的一个子结构、以右髋为子结构根节点的一个子结构、以及以胸部关节为子结构根节点的三个子结构；

步骤2，离线动作特征树生成：对于人体动作库中的每一个动作，根据人体动作结构模型，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征，所述人体动作库是包含各种人体动作的数据库，每个人体动作由一组连续帧的动作数据构成；根据人体动作结构模型中五个子结构的层次定义，对提取的动作特征进行聚类，生成了包含五个动作特征子树的动作特征树；

步骤3，在线动作数据检索：用户提交检索示例，并指定检索关节，所述的检索示例为表示人体动作的数据；根据指定的检索关节以及人体动作结构模型得到检索树，所述检索树由一组检索子树构成，所述检索子树指人体动作结构模型中从子结构的根节点关节到检索关节之间的途径关节构成的子树；计算检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。

2.根据权利要求1所述的一种人体动作数据的空间轨迹检索方法，其特征在于，所述步骤2具体包括以下步骤：

步骤21，空间轨迹曲线计算：对于人体动作库中每一个动作，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算每个关节相对于所属子结构根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；

步骤22，动作特征提取：对于人体动作库中每一个动作，由动作中每个关节相对于所属子结构根节点关节的空间轨迹曲线，分别对每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤23，动作特征聚类：以人体动作库中的所有动作为聚类对象，对人体动作结构模型中的五个子结构，分别按照子结构中关节的层次关系，使用本层关节的几何不变矩特征为聚类向量，使用自适应模糊C均值聚类方法，自顶向下构建动作特征子树，对应人体根关节的节点是动作特征树的根节点，将根节点指向生成的五个动作特征子树，则构成了动作特征树。

3.根据权利要求2所述的一种人体动作数据的空间轨迹检索方法，其特征在于，所述步骤3包括以下步骤：

步骤31，示例提交：用户提交检索动作示例，并指定检索关节，否则默认指定人体的全部关节作为检索关节；

步骤32，检索树生成：检索关节决定人体动作结构模型中参与检索的子结构，以及参与检索的关节为从子结构的根节点到检索关节之间的关节，由此确定计算特征相似度的范围；参与检索的子结构中的关节形成了检索子树，对应人体根关节的节点是检索树的根节点，将根节点指向检索子树，则构成了检索树；

步骤33，空间轨迹曲线计算：对于检索示例，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算在检索子树中的关节相对于检索子树根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；

步骤34，动作特征提取：由检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线，分别对检索子树中的每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；

步骤35，特征相似度计算：采用以下公式计算特征相似度similarity(X，Y)：

其中，X和Y分别为待计算的两个动作中同一个关节对应的空间轨迹曲线，L₂为几何不变矩特征的欧氏距离，L₂采用如下公式计算：

其中x_i和y_i分别为X和Y对应的几何不变矩特征分量，σ_i为该特征分量的标准差，i为9个几何不变矩特征对应的序号；

步骤36，相似动作层次匹配：由检索树和动作特征树，分别在检索子树对应的每个动作特征子树上从第1层开始直到检索关节对应的层为止，依次计算检索示例和人体动作库中动作的特征相似度，最后对检索相关的每个动作特征子树上得到的最相似的s个候选动作求交集并计算其最终相似度，对最终相似度由高到低排序后将结果动作返回。

4.根据权利要求3所述的一种人体动作数据的空间轨迹检索方法，其特征在于，所述步骤36中相似动作层次匹配包括如下步骤：

步骤361，由检索树获取本次检索相关的动作特征子树；

步骤362，在每个检索相关的动作特征子树上进行特征相似度计算，获取和检索示例最相似的s个候选动作，包括如下步骤：

步骤3621，由检索子树获取当前动作特征子树上进行特征相似度计算的范围为子树上第1层到第h′层之间的节点，其中h′为检索关节对应的层数；

步骤3622，对于当前动作特征子树上第1层的每一个节点，计算该节点包含动作的几何不变矩特征的算术平均值和检索示例在该层对应的关节的几何不变矩特征的欧氏距离；对计算的结果进行排序后，选择距离最小的q个节点作为本层和检索示例最相关的节点；

步骤3623，对当前动作特征子树上第2层到第h′层中的每一层，依次进行如下步骤：

步骤3623a，获取当前层的上一层和检索示例最相关的q个节点，并获取这q个节点的子节点，所述q个节点的子节点限定了在当前层上进行特征相似度计算的范围；

步骤3623b，对于q个节点的子节点中的每一个节点，计算该节点包含动作的几何不变矩特征的算术平均值和检索示例在当前层对应的关节的几何不变矩特征的欧氏距离；对计算的结果进行排序后，选择距离最小的q个节点作为当前层和检索示例最相关的节点；

步骤3624，通过上述步骤计算得到当前动作特征子树第h′层中和检索示例最相关的q个节点，对每一个节点，根据特征相似度计算公式，计算节点中包含的每个动作和检索示例从第1层到第h′层对应关节的几何不变矩特征的欧氏距离之和，欧氏距离之和的倒数作为该动作和检索示例在该动作特征子树中的相似度，排序后得到最相似的s个候选动作；

步骤363，对从检索相关的每个动作特征子树中获取的最相似的s个候选动作求交集得到s′个最相似的动作；

步骤364，对于s′中的每一个动作，对其和检索示例在检索相关的每个动作特征子树中的相似度进行求和，求和的结果作为该动作和检索示例的最终相似度；

步骤365，对最终相似度由高到低排序后将s′个结果动作返回。

Images