CN101276370B

CN101276370B - 基于关键帧的三维人体运动数据检索方法

Info

Publication number: CN101276370B
Application number: CN200810059128XA
Authority: CN
Inventors: 肖俊; 庄越挺; 吴飞
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2008-01-14
Filing date: 2008-01-14
Publication date: 2010-10-13
Anticipated expiration: 2028-01-14
Also published as: CN101276370A

Abstract

本发明公开了一种基于关键帧的三维人体运动数据检索方法。包括以下步骤：(1)基于检索样例与待检索三维人体运动数据关键帧序列建立距离矩阵；(2)在距离矩阵中检测局部极小值并标记为待搜索区域；(3)在距离矩阵待检索区域中采用优化方法搜索一条对应路径计算两段运动数据之间的相似度。本发明不需要依赖于对数据库中的已有运动数据预先计算索引结构，同时也不需要用户手工指定任何参数，这对于大型三维人体运动数据库或者是增量式运动数据库非常适用。

Description

基于关键帧的三维人体运动数据检索方法

技术领域

本发明涉及计算机三维动画技术及多媒体数据处理领域，尤其涉及一种基于关键帧的三维人体运动数据检索方法。

背景技术

近年来随着运动捕获设备的广泛使用，生成大量具有真实感的三维人体运动数据，这些数据被广泛应用于计算机游戏、动画生成及医学仿真等多个领域并已经出现了大型三维人体运动数据库，因此为了便于动画师能够快速获取所需的三维人体运动数据片断，对运动数据库进行基于样例的检索是非常有用的。

在ACM图形学汇刊2005年第三期中(2005，24(3)：677-685)公布的方法采用一组量化特征用于描述人体关节点之间的几何关系，并以此特征为基础对三维人体运动数据流进行时间轴上的切分。通过引入时空无关的特征表示方法及自适应的运动序列切分技术，实现了大规模运动数据库中灵活高效的基于内容的运动片断索引与检索技术。该方法定义的特征能够对人体姿态的几何特点进行明确的描述，但是所需要的特征数量太大，并且根据这些特征所生成的索引结构需要随着数据库的变化而更新。

在期刊《Visual Communication and Image Representation》2004年第三期中(2004，15(3)：446-466)公布了一种方法，采用仿射变量姿态特征(affine variantposture feature)并且基于自组织图(Self-Organizing Map，SOM)聚类算法为运动数据片断建立索引。在进行相似度匹配时，提交样例的首尾帧用于从索引图中选择候选运动片断，进而采用动态时间变形算法对相似度进行计算。该方法基于聚类算法构建索引，在检索时提高了效率，但是对于增量式的运动数据库，索引更新比较频繁且耗时。

在ACM计算机动画论坛2004年论文集中(Proceedings of ACMSIGGRAPH/Eurographics Symposium on Computer Animation 2004，pp.259-266)公布了一种采用基于图像的用户界面进行运动数据检索，把具有代表性的运动帧生成缩略图映射到自组织图上并以此为线索进行相似姿态的运动数据检索。通过这种方式，用户可以通过在自组织图上选择运动片断的首尾帧从而获得想要的运动数据片断。该方法的主要贡献在于提供了一种友好的基于图像的用户操作界面用户运动数据检索，但是对于用户而言需要花一定的时间来选择合适的姿态缩略图作为检索样例，因此在操作上需要较多的时间。

从目前公布的用于运动数据检索的方法来看，可以分为以下几类：

1)直接计算两个运动数据片断之间的欧拉距离：在这类方法中，DTW算法用于将不同运动数据片断的时间轴进行对齐。但是DTW算法较为耗时，而且根据一些学者的观点，DTW仅能解决数据的局部缩放对齐问题；

2)基于聚类的方法：这类方法将数据库中的所有运动数据帧聚类成若干子集，然后用这些子集对其中的运动序列进行索引，但是在这类方法中，聚类子集或者是索引需要随着数据库中数据的变化而得到更新，这是一个耗时的过程；

3)基于特征的方法：这类方法定义几何特征用于对人体关节点的相对位置关系进行描述，特征能够对人体姿态的几何特点进行明确的描述，但是所需要的特征数量太大，并且根据这些特征所生成的索引结构需要随着数据库的变化而更新。

发明内容

本发明为克服上述现有方法的不足，提供了一种高效、准确的三维人体运动数据检索方法。

基于关键帧的三维人体运动数据检索方法包括以下步骤：

(1)基于检索样例与待检索三维人体运动数据关键帧序列建立距离矩阵；

(2)在距离矩阵中检测局部极小值并标记为待搜索区域；

(3)在距离矩阵待检索区域中采用优化方法搜索一条对应路径计算两段运动数据之间的相似度。

所述的基于检索样例与待检索三维人体运动数据关键帧序列建立距离矩阵：给定两个关键帧集合，采用如下计算帧间距离并构建帧间距离矩阵M：

M = [\begin{matrix} d_{11} & d_{12} & \cdot \cdot \cdot & d_{1 j} & \cdot \cdot \cdot & d_{1 n} \\ d_{21} & d_{22} & \cdot \cdot \cdot & d_{2 j} & \cdot \cdot \cdot & d_{2 n} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{i 1} & d_{j 2} & \cdot \cdot \cdot & d_{ij} & \cdot \cdot \cdot & d_{in} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{m 1} & d_{m 2} & \cdot \cdot \cdot & d_{mj} & \cdot \cdot \cdot & d_{mn} \end{matrix}]

其中d_ij表示第一个关键帧集合中的第i帧与第二个关键帧集合中的第j帧的帧间距离，帧间距离采用如下公式计算：

D (F, Q) &equiv; \sqrt{Σ_{i}^{m} m_{i} w_{i} {(f_{i} - q_{i})}^{2}}

其中F，Q是两段待匹配的运动片断，f_i和q_i分别是帧F和Q中第i个关节点的位置向量，m是人体骨架模型上的关节数，m_i是对应于关节点i的蒙板值，这是一个布尔变量，如果m_i的值为0，则相应的关节点i就不参与姿态的相似度计算。

所述的检测关键帧距离矩阵中的局部极小值构成待搜索区域：在构建好的距离矩阵中，当一个元素在垂直或者水平方向上是局部最小值且小于某个阈值ε时，就被标注为局部相似关键帧对，局部相似帧对构成了距离矩阵中的待搜索区域，其中ε定义如下：

ϵ = \frac{MAX (d_{ij}) - MIN (d_{ij})}{2}

其中MAX(d_ij)和MIN(d_ij)分别是该距离矩阵所有元素中的最大、最小值。

所述的在距离矩阵待检索区域中采用优化方法搜索一条对应路径计算两段运动数据之间的相似度：基于距离矩阵及检测到的局部相似帧对，就可以确定关键帧集合之间的时间对应关系，直观上来看就是在矩阵的待搜索区域内寻找一条从左上角到右下角的路径，使得路径上的每个点都是事先检测到的局部相似帧对，且要使这条路径上所有点的和最小。

本发明不需要依赖于对数据库中的已有运动数据预先计算索引结构，同时也不需要用户手工指定任何参数，这对于大型三维人体运动数据库或者是增量式运动数据库非常适用。

附图说明

图1是基于关键帧距离矩阵的运动序列相似度匹配示意图；

图2是对“走路”运动序列进行检索的结果图；

图3是对“跳跃”运动序列进行检索的结果图。

具体实施方式

基于关键帧的三维人体运动数据检索方法包括以下步骤：

(2)在距离矩阵中检测局部极小值并标记为待搜索区域；

M = [\begin{matrix} d_{11} & d_{12} & \cdot \cdot \cdot & d_{1 j} & \cdot \cdot \cdot & d_{1 n} \\ d_{21} & d_{22} & \cdot \cdot \cdot & d_{2 j} & \cdot \cdot \cdot & d_{2 n} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{i 1} & d_{j 2} & \cdot \cdot \cdot & d_{ij} & \cdot \cdot \cdot & d_{in} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{m 1} & d_{m 2} & \cdot \cdot \cdot & d_{mj} & \cdot \cdot \cdot & d_{mn} \end{matrix}]

D (F, Q) &equiv; \sqrt{Σ_{i}^{m} m_{i} w_{i} {(f_{i} - q_{i})}^{2}}

ϵ = \frac{MAX (d_{ij}) - MIN (d_{ij})}{2}

详细讲解实施方法如下：

第一步：构建距离矩阵

采用关键帧提取算法为用户提交的“走路”运动样例提取关键帧序列，得到9个关键帧，对应于图1中横轴所示的Motion 1。

对于数据库中待检索的某段运动数据，提取关键帧序列，得到8个关键帧，对应于图1中纵轴所示的Motion 2。

分别计算两段运动数据两两关键帧之间的距离并构建距离矩阵M，见图1中颜色深浅不一的小方格所构成的矩阵，颜色越深表示对应两帧之间的相似度越高。距离矩阵M的计算方法如下：

M = [\begin{matrix} d_{11} & d_{12} & \cdot \cdot \cdot & d_{1 j} & \cdot \cdot \cdot & d_{1 n} \\ d_{21} & d_{22} & \cdot \cdot \cdot & d_{2 j} & \cdot \cdot \cdot & d_{2 n} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{i 1} & d_{j 2} & \cdot \cdot \cdot & d_{ij} & \cdot \cdot \cdot & d_{in} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{m 1} & d_{m 2} & \cdot \cdot \cdot & d_{mj} & \cdot \cdot \cdot & d_{mn} \end{matrix}]

\begin{matrix} 3 \\ D (F, Q) &equiv; \sqrt{Σ_{i}^{m} m_{i} w_{i} {(f_{i} - q_{i})}^{2}} \end{matrix}

第二步：确定相似帧匹配路径搜索区域

当一个元素在垂直或者水平方向上是局部最小值且小于某个阈值ε时，就被标注为局部相似关键帧对，局部相似帧对构成了距离矩阵中的待搜索区域，其中ε定义如下：

ϵ = \frac{MAX (d_{ij}) - MIN (d_{ij})}{2}

其中MAX(d_ij)和MIN(d_ij)分别是该距离矩阵所有元素中的最大、最小值。对于图1中所示的距离矩阵，得到的搜索区域标记为浅黄色。

第三步：相似帧匹配对应路径搜索

基于距离矩阵及检测到的局部相似帧对实际上就是确定关键帧集合之间的时间对应关系，直观上来看就是在矩阵的待搜索区域内寻找一条从左上角到右下角的路径，使得路径上的每个点都是事先检测到的局部相似帧对，且要使这条路径上所有点的和最小。对于图1中检测得到的搜索区域，可以搜索得到一条从左上角到右下角贯穿整个矩阵的对应路径，如图1中的实现所示。

如果存在这样一条对应路径，说明两段运动数据具有一定相似性，则以对应路径上的所有元素的平均值作为其相似度并返回给用户。如果对应路径不存在，则说明两段运动序列不相似。

对于一个完整的人体运动数据库，如下伪代码可以清楚的描述整个运动检索过程：

Input：Q：query example //Q是用户数据的检索样例

S：keyframe sets extractedfrom motion database //S是对数据库中所有已有运动数据分别提取关键

//帧之后的数据集合

M：motion database //M表示整个运动数据库

KF＝ExtractKF(Q)； //为用户输入的检索样例提取关键帧序列KF

k＝1；

for each keyframe set KSet(i)in S //对数据库中每一段运动数据的关键帧集合，进行如下

//操作

DM＝DistMat(KF，KSet(i)) //在检索样例关键帧序列与当前待检索运动数据的关键

//帧序列之间构建距离矩阵

LMC＝LocalMinCell(DM)； //检测局部相似帧对

4

ValidRegion＝ExtendVR(LMC) //以局部相似帧对为种子适当扩展待搜索区域

Path＝PathFind(DM，ValidRegion)； //搜索对应路径

if(Path is not NULL) //如果路径存在，进行如下操作

Candidate(k).motion＝M(i)； //将当前运动数据加入到命中列表中

Candidate(k).similarity＝CalSimilarity(Path)；//计算相似度

k++； //转到下一个运动数据片断

end；

Sort(Candidate)；//对检索结果进行排序并返回给用户

Claims

1.一种基于关键帧的三维人体运动数据检索方法，其特征在于包括以下步骤：

(1)基于检索样例与待检索三维人体运动数据关键帧集合建立距离矩阵；

(2)在距离矩阵中检测局部最小值并标记为待搜索区域；

(3)在距离矩阵待搜索区域中采用优化方法搜索一条对应路径计算两段运动数据之间的相似度；

所述的在距离矩阵中检测局部最小值并标记为待搜索区域的步骤，包括在构建好的距离矩阵中，当一个元素在垂直或者水平方向上是局部最小值且小于某个阈值ε时，就被标注为局部相似帧对，局部相似帧对构成了待搜索区域，其中ε定义如下：

ϵ = \frac{MAX (d_{ij}) - MIN (d_{ij})}{2}

其中MAX(d_ij)和MIN(d_ij)分别是该距离矩阵所有元素中的最大、最小值，d_ij表示第一个关键帧集合中的第i帧与第二个关键帧集合中的第j帧的帧间距离。

2.根据权利要求1所述的一种基于关键帧的三维人体运动数据检索方法，其特征在于所述的基于检索样例与待检索三维人体运动数据关键帧集合建立距离矩阵的步骤，包括给定两个关键帧集合，采用如下计算帧间距离并构建帧间距离矩阵M：

M = [\begin{matrix} d_{11} & d_{12} & \cdot \cdot \cdot & d_{1 j} & \cdot \cdot \cdot & d_{1 n} \\ d_{21} & d_{22} & \cdot \cdot \cdot & d_{2 j} & \cdot \cdot \cdot & d_{2 n} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{i 1} & d_{j 2} & \cdot \cdot \cdot & d_{ij} & \cdot \cdot \cdot & d_{in} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ d_{m 1} & d_{m 2} & \cdot \cdot \cdot & d_{mj} & \cdot \cdot \cdot & d_{mn} \end{matrix}]

D (F, Q) &equiv; \sqrt{Σ_{i}^{m} m_{i} w_{i} {(f_{i} - q_{i})}^{2}}

其中F，Q是两段待匹配的运动片断，f_i和q_i分别是帧F和Q中第i个关节点的位置向量，m是人体骨架模型上的关节数，m_i是对应于关节点i的蒙板值，m_i是一个布尔变量，如果m_i的值为0，则相应的关节点i就不参与姿态的相似度计算。

3.根据权利要求1所述的一种基于关键帧的三维人体运动数据检索方法，其特征在于所述的在距离矩阵待搜索区域中采用优化方法搜索一条对应路径计算两段运动数据之间的相似度的步骤，包括基于距离矩阵及检测到的局部相似帧对，就可以确定关键帧集合之间的时间对应关系，就是在矩阵的待搜索区域内寻找一条从左上角到右下角的路径，使得路径上的每个点都是事先检测到的局部相似帧对，且要使这条路径上所有距离矩阵元素的和最小。