CN105653638A - 一种运动检索方法和装置 - Google Patents

一种运动检索方法和装置 Download PDF

Info

Publication number
CN105653638A
CN105653638A CN201510998395.3A CN201510998395A CN105653638A CN 105653638 A CN105653638 A CN 105653638A CN 201510998395 A CN201510998395 A CN 201510998395A CN 105653638 A CN105653638 A CN 105653638A
Authority
CN
China
Prior art keywords
frame
vector group
proper vector
crucial
euler
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510998395.3A
Other languages
English (en)
Inventor
王彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pixel Software Technology Co Ltd
Original Assignee
Beijing Pixel Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pixel Software Technology Co Ltd filed Critical Beijing Pixel Software Technology Co Ltd
Priority to CN201510998395.3A priority Critical patent/CN105653638A/zh
Publication of CN105653638A publication Critical patent/CN105653638A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种运动检索方法和装置,其中方法包括:根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值;从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组;对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。采用本发明,可以提高运动检索效率。

Description

一种运动检索方法和装置
技术领域
本发明涉及计算机应用技术,特别是涉及一种运动检索方法和装置。
背景技术
在目前的游戏系统开发过程中,如何表现人物角色的运动是一个重要的研究课题。尤其是动作类游戏,丰富的人物技能动作会给游戏带来强烈的打击感。人体具有数十个以上的运动关节和非常复杂的肢体运动,随着运动捕获数据的日益增长,动画师如何从海量的运动数据中找出需要的信息成为一个重要的问题。针对该问题,目前引入了运动检索技术,该技术是以给定的一段运动序列作为输入信息,然后从已有的运动库中查找与之相似的运动片段,以便动画师在所匹配的片段基础上选择需要编辑的动画进行编辑修改。
近年来,研究运动检索的方法主要分为运动数值相似和运动逻辑相似两个方向。其中,运动数值相似是通过判断两帧运动对应关节点的几何数据值(位置、夹角等)是否相似,来确定两帧运动是否相似;运动逻辑相似是通过判断运动所表达的语义(肢体朝向、运动风格等)是否相似,来确定两帧运动是否相似。
运动检索过程中,主要包含对运动数据的特征提取和特征匹配。例如在现有的一种基于运动数值相似的运动数据检索方法中,采用骨骼夹角数值作为对原始运动数据的特征表示;然后基于所提取关键帧数据在相似运动片段之间具有一致性的特点,在两两关键帧集合之间建立相似度欧拉距离矩阵进行相似度匹配。其中,每两帧的相似度欧拉距离,按照下述公式得到:
D ( F , Q ) = Σ i m ( θ f i - θ q i ) 2
其中,F,Q分别是两帧的运动序列,分别是帧F和帧Q的骨骼夹角八元组的第i个分量,m是人体骨架模型上的骨骼段数量。
在现有的运动检索方法中,是由CPU处理器来计算出每两帧的相似度欧拉距离的,在计算该相似度欧拉距离时,上述公式中的m个的平方需要由CPU处理器采用串行的方式依次计算出来,这种依次遍历两帧骨骼夹角值的方式将会导致上述运动检索方案存在时间开销大、效率低的问题。同样的,以其它任何几何特征作为运动特征的匹配方法中,也都无法避免这种依次遍历大量运动关节而存在的上述问题。
发明内容
有鉴于此,本发明的主要目的在于提供一种运动检索方法和装置,具有较高的检索效率。
为了达到上述目的,本发明提出的技术方案为:
一种运动检索方法,包括:
根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值;
从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组;
对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。
一种运动检索装置,包括:
特征提取单元,用于根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值;从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组;
匹配单元,用于对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。
综上所述,本发明提出的运动检索方法和装置,利用图形处理器GPU,采用并行处理的方式,计算出每一关键帧与运动数据库中每一帧的相似度欧拉距离,可以有效提高的检索效率。
附图说明
图1为本发明实施例的方法流程示意图;
图2为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的核心思想是:利用图形处理器(GPU)的大规模并行计算能力来对两帧的运动特征向量组求距离,如此可以大幅度提高运动检索效率。
图1为本发明实施例一的流程示意图,如图1所示,该实施例主要包括:
步骤101、根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值。
本步骤,用于将待匹配的运动数据序列转化成每一帧的各关节点的三维空间参数值,以便在后续步骤中基于此构造出关键帧的特征向量组用于检索匹配。该三维空间参数值是每个关节点在世界坐标系中的绝对位置参数,需要通过空间复合变换的方式得到。本步骤具体可以采用现有方法实现,在此不再赘述。
步骤102、从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组。
本步骤中,需要先从步骤101中得的数据结果中提取出关键帧,然后再利用关键帧的三维空间参数值,构造出相应的特征向量组,以便在后续步骤中基于该特征向量组进行检索匹配。
较佳地,这里可以采用现有的极限姿态方法,从所述帧中选择出所述关键帧。该方法将分析一段运动的整体姿态变化规律,考虑相邻两帧之间变化速度差别最大的时刻,作为关键帧提取条件,其具体实现方法为本领域技术人员所掌握,在此不再赘述。
在实际应用中,所述特征运动关节点可由本领域技术人员根据实际需要进行预先设置。较佳地,特征运动关节点可以包括位于躯干、右胳膊、左胳膊、右腿和左腿五个肢体上的关节点,假设每个肢体上有3个关节点,则每个关键帧的特征运动关节点数量为15个,每个关键帧的特征向量组可以表示为:Pkeyframe={e0,e1,...,e14},其中ei表示第i个关节点的三维空间参数值。
步骤103、对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。
本步骤与现有方案所不同的是,将利用GPU,采用并行处理的方式,进行相似度欧拉距离的计算,这样,就可以避免传统方法中依次遍历骨骼夹角值所产生的时间开销,从而可以大幅度提高运动检索时的匹配效率,进而提高运动检索效率。
较佳地,可以采用下述方法计算两帧的相似度欧拉距离:
步骤x1、对于关键帧f和运动数据库中的帧q,GPU通过OpenCL平台的Kernel核心函数,采用并行计算的方式,按照计算出帧f的特征向量组和帧q的特征向量组关于每个分量i的差值平方
其中,为帧f的特征向量组中的第i个分量,为帧q的特征向量组中的第i个分量,i=1,…,m,m为特征向量组中的分量总数。
本步骤中具体如何利用Kernel核心函数采用并行计算的方式进行所述计算,为本领域技术人员所掌握,在此不再赘述。
步骤x2、所述GPU利用所述按照计算出帧f和帧q的相似度欧拉距离D(f,q)。
步骤102中根据两帧的相似度欧拉距离,确定是否匹配的具体方法为本领域技术人员所掌握,在此不再赘述。
图2为与上述方法相对应的一种运动检索装置结构示意图,如图2所示,该装置包括:
特征提取单元,用于根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值;从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组;
匹配单元,用于对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。
较佳地,所述特征提取单元,用于采用极限姿态方法,从所述帧中选择出所述关键帧。
较佳地,所述匹配单元,用于对于关键帧f和运动数据库中的帧q,利用所述GPU通过OpenCL平台的Kernel核心函数,采用并行计算的方式,按照计算出帧f的特征向量组和帧q的特征向量组关于每个分量i的差值平方其中,为帧f的特征向量组中的第i个分量,为帧q的特征向量组中的第i个分量,i=1,…,m,m为特征向量组中的分量总数;通过所述GPU利用所述按照计算出帧f和帧q的相似度欧拉距离D(f,q)。
较佳地,所述预设的特征运动关节点包括位于躯干、右胳膊、左胳膊、右腿和左腿五个肢体上的关节点。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种运动检索方法,其特征在于,包括:
根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值;
从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组;
对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。
2.根据权利要求1所述的方法,其特征在于,采用极限姿态方法,从所述帧中选择出所述关键帧。
3.根据权利要求1所述的方法,其特征在于,所述相似度欧拉距离的计算包括:
对于关键帧f和运动数据库中的帧q,所述GPU通过OpenCL平台的Kernel核心函数,采用并行计算的方式,按照计算出帧f的特征向量组和帧q的特征向量组关于每个分量i的差值平方其中,为帧f的特征向量组中的第i个分量,为帧q的特征向量组中的第i个分量,i=1,…,m,m为特征向量组中的分量总数;
所述GPU利用所述按照计算出帧f和帧q的相似度欧拉距离D(f,q)。
4.根据权利要求1所述的方法,其特征在于,所述预设的特征运动关节点包括位于躯干、右胳膊、左胳膊、右腿和左腿五个肢体上的关节点。
5.一种运动检索装置,其特征在于,包括:
特征提取单元,用于根据当前待匹配的运动数据序列,得到其中每一帧中各运动关节点的三维空间参数值;从所述帧中选择出关键帧,对于每个关键帧,利用该帧中预设的特征运动关节点的三维空间参数值,构造出该帧的特征向量组;
匹配单元,用于对于每个所述关键帧,根据该帧的特征向量组,利用图形处理器GPU,采用并行处理的方式,计算出该帧与运动数据库中每一帧的相似度欧拉距离,并根据所述相似度欧拉距离,确定出与该关键帧相匹配的帧。
6.根据权利要求5所述的装置,其特征在于,所述特征提取单元,用于采用极限姿态方法,从所述帧中选择出所述关键帧。
7.根据权利要求5所述的装置,其特征在于,所述匹配单元,用于对于关键帧f和运动数据库中的帧q,利用所述GPU通过OpenCL平台的Kernel核心函数,采用并行计算的方式,按照计算出帧f的特征向量组和帧q的特征向量组关于每个分量i的差值平方其中,为帧f的特征向量组中的第i个分量,为帧q的特征向量组中的第i个分量,i=1,…,m,m为特征向量组中的分量总数;通过所述GPU利用所述按照计算出帧f和帧q的相似度欧拉距离D(f,q)。
8.根据权利要求5所述的装置,其特征在于,所述预设的特征运动关节点包括位于躯干、右胳膊、左胳膊、右腿和左腿五个肢体上的关节点。
CN201510998395.3A 2015-12-28 2015-12-28 一种运动检索方法和装置 Pending CN105653638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510998395.3A CN105653638A (zh) 2015-12-28 2015-12-28 一种运动检索方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510998395.3A CN105653638A (zh) 2015-12-28 2015-12-28 一种运动检索方法和装置

Publications (1)

Publication Number Publication Date
CN105653638A true CN105653638A (zh) 2016-06-08

Family

ID=56477937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510998395.3A Pending CN105653638A (zh) 2015-12-28 2015-12-28 一种运动检索方法和装置

Country Status (1)

Country Link
CN (1) CN105653638A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540822A (zh) * 2018-04-04 2018-09-14 南京信安融慧网络技术有限公司 一种基于OpenCL的视频关键帧提取加速系统及其提取方法
CN112989121A (zh) * 2021-03-08 2021-06-18 武汉大学 一种基于关键帧偏好的时序动作评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276370A (zh) * 2008-01-14 2008-10-01 浙江大学 基于关键帧的三维人体运动数据检索方法
CN102508867A (zh) * 2011-10-09 2012-06-20 南京大学 一种人体运动的运动图检索方法
CN105022889A (zh) * 2015-08-04 2015-11-04 深圳市哈工大交通电子技术有限公司 一种基于视频的快速模板匹配gpu实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276370A (zh) * 2008-01-14 2008-10-01 浙江大学 基于关键帧的三维人体运动数据检索方法
CN102508867A (zh) * 2011-10-09 2012-06-20 南京大学 一种人体运动的运动图检索方法
CN105022889A (zh) * 2015-08-04 2015-11-04 深圳市哈工大交通电子技术有限公司 一种基于视频的快速模板匹配gpu实现方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540822A (zh) * 2018-04-04 2018-09-14 南京信安融慧网络技术有限公司 一种基于OpenCL的视频关键帧提取加速系统及其提取方法
CN112989121A (zh) * 2021-03-08 2021-06-18 武汉大学 一种基于关键帧偏好的时序动作评估方法
CN112989121B (zh) * 2021-03-08 2023-07-28 武汉大学 一种基于关键帧偏好的时序动作评估方法

Similar Documents

Publication Publication Date Title
CN104899561A (zh) 一种并行化的人体行为识别方法
CN109446927A (zh) 基于先验知识的双人交互行为识别方法
CN102508867B (zh) 一种人体运动的运动图检索方法
CN105512621A (zh) 一种基于Kinect的羽毛球动作指导系统
CN109783887A (zh) 一种面向三维加工特征的智能识别与检索方法
CN102999923A (zh) 基于自适应阈值的运动捕捉数据的关键帧提取方法
CN101276370B (zh) 基于关键帧的三维人体运动数据检索方法
CN104331911A (zh) 基于改进二阶振荡粒子群优化算法的关键帧提取方法
CN102855639B (zh) 一种运动捕捉数据的关键帧提取方法
CN114677572B (zh) 对象描述参数的生成方法、深度学习模型的训练方法
CN105653638A (zh) 一种运动检索方法和装置
Liu et al. Trampoline motion decomposition method based on deep learning image recognition
CN105224669B (zh) 一种基于gmm语义特征的运动检索方法
CN103116901B (zh) 基于运动特征的人体运动插值计算方法
CN101661492B (zh) 用于人体运动捕捉数据检索的高维空间超球覆盖方法
CN109857886A (zh) 一种基于极小极大值博弈理论视图逼近的三维模型检索方法
Kobayashi et al. Motion Capture Dataset for Practical Use of AI-based Motion Editing and Stylization
CN112949419A (zh) 一种基于肢体层次结构的动作识别方法
Liu et al. Manifold warp segmentation of human action
Sun et al. Keyframe extraction for human motion capture data based on affinity propagation
Chang et al. Key frames extraction from human motion capture data based on hybrid particle swarm optimization algorithm
Häfliger et al. Dynamic motion matching: design and implementation of a context-aware animation system for games
Zan et al. A framework for human motion segmentation based on multiple information of motion data
CN113592986A (zh) 基于神经网络的动作生成方法、装置及计算设备
Xiang Lightweight Open Pose Based Body Posture Estimation for Badminton Players

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160608

RJ01 Rejection of invention patent application after publication