CN103970883A - 基于对齐聚类分析的运动序列检索方法 - Google Patents

基于对齐聚类分析的运动序列检索方法 Download PDF

Info

Publication number
CN103970883A
CN103970883A CN201410212696.4A CN201410212696A CN103970883A CN 103970883 A CN103970883 A CN 103970883A CN 201410212696 A CN201410212696 A CN 201410212696A CN 103970883 A CN103970883 A CN 103970883A
Authority
CN
China
Prior art keywords
motion
motion sequence
feature
sequence
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410212696.4A
Other languages
English (en)
Other versions
CN103970883B (zh
Inventor
肖秦琨
郑中华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN201410212696.4A priority Critical patent/CN103970883B/zh
Publication of CN103970883A publication Critical patent/CN103970883A/zh
Application granted granted Critical
Publication of CN103970883B publication Critical patent/CN103970883B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于对齐聚类分析的运动序列检索方法。目前已有的运动序列检索方法在考虑分割时，没有考虑每一帧运动的时间顺序，不能准确定位分割点。本发明记录保存人体运动序列；服务器端处理运动序列，获取运动序列的特征，合并所有运动序列的特征，生成特征数据库；服务器端计算客户端提供运动序列的特征；服务器端将客户端提供运动序列所提取的特征与特征数据库中的特征进行匹配，分别计算特征之间的距离，将数据库中的运动序列按照距离进行排序并输出，作为检索结果并返回客户端。本发明基于对齐聚类分析的运动序列分割算法，并在此基础上提取运动特征，并将此特征用于运动检索中，该分割方法与真实的分割结果对比，显示了该方法的高效性。

Description

基于对齐聚类分析的运动序列检索方法
技术领域
本发明属于多媒体信息检索技术领域，具体涉及一种基于对齐聚类分析的运动序列检索方法。
背景技术
人体运动广泛的应用于动画、游戏软件、人机交互等方面。人体运动序列无论在时间上还是在空间上都是复杂的。因此，能够有效地表述人体的运动、高效地描述运动的特征，并且能够有效的从数据库中检索出相关的运动序列变的十分重要。
目前已有了运用概率上的主成分分析（PCA）算法，将人体运动序列分解成明显动作，利用指定关节点的几何特征来分割运动，并在此基础上实现运动的检索，但该解决方案存在技术缺陷，其在考虑运动序列分割方面时，虽然考虑到了将运动序列进行分割，但这些方法的主要的限制是没有考虑每一帧运动在时间上的顺序，不能准确定位分割点，将不同类型的动作准确的分割出来；在三维运动检索过程中，要考虑特征融合的方法来进一步提高检索精度，加入反馈环节是十分必要的，上述方法中没有加入相关反馈。
发明内容
本发明的目的是提供一种基于对齐聚类分析的运动序列检索方法，克服现有方法对运动序列分割时没有考虑运动序列在时间轴顺序的缺点。
本发明所采用的技术方案是：
基于对齐聚类分析的运动序列检索方法，其特征在于：
由以下步骤实现：
步骤一：人体运动序列的采集：
在人体运动序列的采集中，运用微软的Kinect设备与相应的软件Blender对人体运动序列进行记录保存；
步骤二：服务器端将采集的每个人体运动序列进行处理，获取运动序列的特征，合并所有运动序列的特征，生成特征数据库；
步骤三：服务器端计算客户端提供运动序列的特征；
步骤四：服务器端将客户端提供运动序列所提取的特征与特征数据库中的特征进行匹配，分别计算特征之间的距离，将数据库中的运动序列按照距离进行排序并输出，作为第一次检索结果并返回客户端。
所述步骤一中，人体运动序列采集具体包括以下步骤：
（1）运动采集设备Kinect与运动采集软件Blender的安装和调试，Kinect设备可以获取人体的深度数据，Blender可以根据获取的深度数据将人体的运动映射到虚拟的人体骨架上，记录并保存关节点的位置信息；
（2）人在设备前做动作，实时记录相应的运动序列，假设总共记录了N个运动序列，并保存在服务器端的运动数据库中以便后续处理。
所述步骤二中，人体运动序列特征提取具体包括以下步骤：
（1）人体运动序列数据库中保存了N个运动序列，假设每个运动序列包括了m帧运动，在不同的运动序列中，m是不相同的；每一帧运动中包含了人体21个主要关节点的位置信息和旋转信息；通过服务器读取每个运动序列获取每一帧关节点的信息；
（2）用单位四元数来表示每一个关节点的旋转信息，即对于每个关节点q都有：
q=[w x y z]，w为标量，x、y、z为矢量，且||q||2=w2+x2+y2+z2=1；这样一个运动序列特征可以用矩阵X=[x i,1:84]m×84表示，其中x i,1:84为矩阵中第i行向量，表示第i帧运动的四元数表示；
（3）采用基于对齐聚类分析的方法将运动序列进行分割，在每个分割后的子片段中选取关键帧，作为该片段的特征，综合分割的每个子片段的特征作为整个运动序列的特征；按上述方法提取每个运动序列的特征生成运动特征数据库。
所述步骤三具体包括以下步骤：
（1）对于一个运动序列X=[x1,x2,...,xm]，运用对齐聚类分析的方法将X将分割成e个片段，并将运动序列人工设定为k个类别，使得每个片段属于k类中的一类；首先对于一个m帧运动序列初始化分割参数G、s，其中s为初始化分割点，G为初始化每个分割片段所属类别；
（2）运用一种在Kernel K-means（KKM）基础之上扩展的对齐聚类分析的方法，其能量函数为：
对于第i个片段，si是第i个片段的开始位置，si+1-1是第i个片段的结束位置，当该片段属于类c时，gci=1，否则gci=0；zc为类的均值；通过计算J(G,s)，当其取得最小值时，G、s是最优的：
结合贝尔曼方程，运用向前-向后动态规划算法计算分割点s和每个片段属于类c；
（3）通过分割后的运动序列，得到分割的子片段，在每个子片段上提取该片段的关键帧作为该片段的特征，将各个子片段的特征综合起来形成整个运动序列的特征，记为F；
（4）将运动数据库中的每个运动序列进行特征提取，获得特征数据库，在特征数据库中每个运动序列的特征帧数基本是不同的。
所述步骤四中，人体运动序列特征匹配具体包括以下步骤：
（1）对于客户端提供的运动序列经过特征提取后有特征Fx特征，特征数据库中的特征Fy，x、y分别代表特征的帧数；由于两者帧数不相等，在此运用典型时间规整算法来计算两者之间的距离。典型时间规整算法是在典型相关分析算法和动态时间规整算法的基础之上扩展的算法，对于两个运动序列，该算法在保证时间对齐的基础上，最大化特征在空间上的相关性。两个运动序列之间的距离用D表示：
Vx T,Vy T可以运用主成分分析算法求取，运用动态规划算法计算对齐路径Wx,Wy，直到Jctw收敛为止；
（2）将服务器端用快速排序法，将得到的距离值按由低到高排序，输出前L个动作到客户端作为第一次检索结果，L为正整数。
步骤四中，若客户端对第一次检索结果不满意，则由客户端对检索结果进行“相关”及“不相关”标注，“相关”则是检索结果与希望的结果相关，否则为“不相关”；将标注后的信息返回服务器，服务器对返回的信息进行学习，运用分类器将特征数据库中的运动序列分类，根据分类结果按照距离长短对运动序列排序输出，作为新的检索结果；重复该步骤，直到输出用户满意的检索结果。
所述客户端对检索结果进行相关标注，具体包括以下步骤：
（1）客户端对每次检索结果进行标注，标注Z个“相关”运动序列，Z为正整数，返回服务器中“相关”的运动序列标签为1，剩余的L-Z个运动序列视为“不相关”，该服务器标注为-1；
（2）将在上述步骤中对标注的“相关”，“不相关”数据进行学习，并用K最近邻算法(K-Nearest Neighbor algorithm，KNN)对特征数据库中的数据学习分类，得到分类结果；
（3）将分类结果排序输出，作为新的检索结果。
本发明具有以下优点：
本发明基于对齐聚类分析的运动序列分割算法，并在此基础上提取运动特征，并将此特征用于运动检索中，该分割方法与真实的分割结果对比，显示了该方法的高效性，且克服了现有方法对运动序列分割时没有考虑运动序列在时间轴上的顺序的缺点。对于检索过程，将客户端提供运动序列与特征数据库中的数据进行匹配，加入了反馈学习的环节，提高了检索精度。
附图说明
图1为本发明的整体框图。
图2为运动序列特征提取框图。
图3为运动序列反馈框图。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
首先对下述内容中出现的现有技术内容做简单解释：
四元数：对于一个有固定点的刚体通过绕该点的某个轴转过特定角度θ，达到任何姿态，转轴的方向可以用一个单位矢量n表示：n=cos α??i+cos β??j+cos γ??k，描述该转动的四元数可以表示成：q=cos θ/2+sin θ/2cos α??i+sin θ/2cos β??j+sin θ/2cos γ??k =w+x??i+y??j+z??k。
K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。
邻近算法，或者说K最近邻算法(KNN，K-Nearest Neighbor)可以说是整个数据挖掘分类技术中最简单的方法了。KNN算法的核心思想是如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
本发明所涉及的基于对齐聚类分析的运动序列检索方法，由以下步骤实现：
步骤一：人体运动序列的采集：
在人体运动序列的采集中，运用微软的Kinect设备与相应的软件Blender对人体运动序列进行记录保存。
人体运动序列采集具体包括以下步骤：
（1）运动采集设备Kinect与运动采集软件Blender的安装和调试，Kinect设备可以获取人体的深度数据，Blender可以根据获取的深度数据将人体的运动映射到虚拟的人体骨架上，记录并保存关节点的位置信息；
（2）人在设备前做动作，实时记录相应的运动序列，假设总共记录了N个运动序列，并保存在服务器端的运动数据库中以便后续处理。
步骤二：服务器端将采集的每个人体运动序列进行处理，获取运动序列的特征，合并所有运动序列的特征，生成特征数据库。
人体运动序列特征提取具体包括以下步骤：
（1）人体运动序列数据库中保存了N个运动序列，假设每个运动序列包括了m帧运动，在不同的运动序列中，m是不相同的；每一帧运动中包含了人体21个主要关节点的位置信息和旋转信息；通过服务器读取每个运动序列获取每一帧关节点的信息；
（2）用单位四元数来表示每一个关节点的旋转信息，即对于每个关节点q都有：
q=[w x y z]，w为标量，x、y、z为矢量，且||q||2=w2+x2+y2+z2=1；这样一个运动序列特征可以用矩阵X=[x i,1:84]m×84表示，其中x i,1:84为矩阵中第i行向量，表示第i帧运动的四元数表示；
（3）采用基于对齐聚类分析的方法将运动序列进行分割，在每个分割后的子片段中选取关键帧，作为该片段的特征，综合分割的每个子片段的特征作为整个运动序列的特征；按上述方法提取每个运动序列的特征生成运动特征数据库。
步骤三：服务器端计算客户端提供运动序列的特征。
具体包括以下步骤：
（1）对于一个运动序列X=[x 1,x 2,...,x m]，运用对齐聚类分析的方法将X将分割成e个片段，并将运动序列人工设定为k个类别，使得每个片段属于k类中的一类；首先对于一个m帧运动序列初始化分割参数G、s，其中s为初始化分割点，G为初始化每个分割片段所属类别；
（2）运用一种在Kernel K-means（KKM）基础之上扩展的对齐聚类分析的方法，其能量函数为：
对于第i个片段，si是第i个片段的开始位置，si+1-1是第i个片段的结束位置，当该片段属于类c时，gci=1，否则gci=0；zc为类的均值；通过计算J(G,s)，当其取得最小值时，G、s是最优的：
结合贝尔曼方程，运用向前-向后动态规划算法计算分割点s和每个片段属于类c；
通过分割后的运动序列，得到分割的子片段，在每个子片段上提取该片段的关键帧作为该片段的特征，将各个子片段的特征综合起来形成整个运动序列的特征，记为F；
将运动数据库中的每个运动序列进行特征提取，获得特征数据库，在特征数据库中每个运动序列的特征帧数基本是不同的。
步骤四：服务器端将客户端提供运动序列所提取的特征与特征数据库中的特征进行匹配，分别计算特征之间的距离，将数据库中的运动序列按照距离进行排序并输出，作为第一次检索结果并返回客户端。人体运动序列特征匹配具体包括以下步骤：
（1）对于客户端提供的运动序列经过特征提取后有特征Fx特征，特征数据库中的特征Fy，x、y分别代表特征的帧数；由于两者帧数不相等，在此运用典型时间规整(Canonical Time Warping,CTW)算法来计算两者之间的距离。典型时间规整算法是在典型相关分析算法和动态时间规整算法的基础之上扩展的算法，对于两个运动序列，该算法在保证时间对齐的基础上，最大化特征在空间上的相关性。两个运动序列之间的距离用D表示：
Vx T,Vy T可以运用主成分分析算法求取，运用动态规划算法计算对齐路径Wx,Wy，直到Jctw收敛为止。
（2）将服务器端用快速排序法，将得到的距离值按由低到高排序，输出前L个动作到客户端作为第一次检索结果，L为正整数。
若客户端对第一次检索结果不满意，则由客户端对检索结果进行“相关”及“不相关”标注，“相关”则是检索结果与希望的结果相关，否则为“不相关”；将标注后的信息返回服务器，服务器对返回的信息进行学习，运用分类器将特征数据库中的运动序列分类，根据分类结果按照距离长短对运动序列排序输出，作为新的检索结果；重复该步骤，直到输出用户满意的检索结果。
客户端对检索结果进行相关标注，具体包括以下步骤：
（1）客户端对每次检索结果进行标注，标注Z个“相关”运动序列，Z为正整数，返回服务器中“相关”的运动序列标签为1，剩余的L-Z个运动序列视为“不相关”，该服务器标注为-1；
（2）将在上述步骤中对标注的“相关”，“不相关”数据进行学习，并用K最近邻算法(K-Nearest Neighbor algorithm，KNN)对特征数据库中的数据学习分类，得到分类结果；
（3）将分类结果排序输出，作为新的检索结果。
上述方法具有以下特点：
1. 人体运动序列的采集：在人体运动序列的采集中，运用微软的Kinect设备与相应的软件Blender对人体运动序列进行记录保存，该方法可以使人体在自由的状态下运动，记录保存人体三维运动数据，并且设备价格相对便宜，放弃使用以往昂贵的穿戴型设备。
2. 运用单位四元数来表示人体每一帧的运动，与欧拉角表示人体姿态相比，克服了欧拉角万向节死锁这个致命缺点。
3. 采用对齐聚类分析的方法将运动序列进行分割，该方法能够精确到某一帧来分割运动序列，为下文关键帧的提取以及后续的检索工作奠定了良好的基础。与PCA主元分析方法相比，PCA对人体动作进行降维从而提取出主要成分，两个不同的行为会具有不同的主元成分，利用该特点将行为区分开来，PCA并不能将人体运动序列的分割精确到某一帧。
4、采用动态时间规整算法来度量两个运动特征之间的距离，动态时间规整不要求两个特征的帧数相同，与以往的运用欧式距离来度量两个特征之间的距离，欧式距离要求两个特征的帧数也必须相同。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (7)

1.基于对齐聚类分析的运动序列检索方法，其特征在于：
由以下步骤实现：
步骤一：人体运动序列的采集：
在人体运动序列的采集中，运用微软的Kinect设备与相应的软件Blender对人体运动序列进行记录保存；
步骤二：服务器端将采集的每个人体运动序列进行处理，获取运动序列的特征，合并所有运动序列的特征，生成特征数据库；
步骤三：服务器端计算客户端提供运动序列的特征；
步骤四：服务器端将客户端提供运动序列所提取的特征与特征数据库中的特征进行匹配，分别计算特征之间的距离，将数据库中的运动序列按照距离进行排序并输出，作为第一次检索结果并返回客户端。
2.根据权利要求1所述的基于对齐聚类分析的运动序列检索方法，其特征在于：
所述步骤一中，人体运动序列采集具体包括以下步骤：
（1）运动采集设备Kinect与运动采集软件Blender的安装和调试，Kinect设备可以获取人体的深度数据，Blender可以根据获取的深度数据将人体的运动映射到虚拟的人体骨架上，记录并保存关节点的位置信息；
（2）人在设备前做动作，实时记录相应的运动序列，假设总共记录了N个运动序列，并保存在服务器端的运动数据库中以便后续处理。
3.根据权利要求2所述的基于对齐聚类分析的运动序列检索方法，其特征在于：
所述步骤二中，人体运动序列特征提取具体包括以下步骤：
（1）人体运动序列数据库中保存了N个运动序列，假设每个运动序列包括了m帧运动，在不同的运动序列中，m是不相同的；每一帧运动中包含了人体21个主要关节点的位置信息和旋转信息；通过服务器读取每个运动序列获取每一帧关节点的信息；
（2）用单位四元数来表示每一个关节点的旋转信息，即对于每个关节点q都有：
q=[w x y z]，w为标量，x、y、z为矢量，且||q||2=w2+x2+y2+z2=1；这样一个运动序列特征可以用矩阵X=[x i,1:84]m×84表示，其中x i,1:84为矩阵中第i行向量，表示第i帧运动的四元数表示；
（3）采用基于对齐聚类分析的方法将运动序列进行分割，在每个分割后的子片段中选取关键帧，作为该片段的特征，综合分割的每个子片段的特征作为整个运动序列的特征；按上述方法提取每个运动序列的特征生成运动特征数据库。
4.根据权利要求3所述的基于对齐聚类分析的运动序列检索方法，其特征在于：
所述步骤三具体包括以下步骤：
对于一个运动序列X=[x 1,x 2,...,x m]，运用对齐聚类分析的方法将X将分割成e个片段，并将运动序列人工设定为k个类别，使得每个片段属于k类中的一类；首先对于一个m帧运动序列初始化分割参数G、s，其中s为初始化分割点，G为初始化每个分割片段所属类别；
运用一种在Kernel K-means（KKM）基础之上扩展的对齐聚类分析的方法，其能量函数为：
对于第i个片段，si是第i个片段的开始位置，si+1-1是第i个片段的结束位置，当该片段属于类c时，gci=1，否则gci=0；zc为类的均值；通过计算J(G,s)，当其取得最小值时，G、s是最优的：
结合贝尔曼方程，运用向前-向后动态规划算法计算分割点s和每个片段属于类c；
（3）通过分割后的运动序列，得到分割的子片段，在每个子片段上提取该片段的关键帧作为该片段的特征，将各个子片段的特征综合起来形成整个运动序列的特征，记为F；
（4）将运动数据库中的每个运动序列进行特征提取，获得特征数据库，在特征数据库中每个运动序列的特征帧数基本是不同的。
5.根据权利要求4所述的基于对齐聚类分析的运动序列检索方法，其特征在于：
所述步骤四中，人体运动序列特征匹配具体包括以下步骤：
（1）对于客户端提供的运动序列经过特征提取后有特征Fx特征，特征数据库中的特征Fy，x、y分别代表特征的帧数；由于两者帧数不相等，在此运用典型时间规整算法来计算两者之间的距离；
典型时间规整算法是在典型相关分析算法和动态时间规整算法的基础之上扩展的算法，对于两个运动序列，该算法在保证时间对齐的基础上，最大化特征在空间上的相关性；
两个运动序列之间的距离用D表示：
Vx T,Vy T可以运用主成分分析算法求取，运用动态规划算法计算对齐路径Wx,Wy，直到Jctw收敛为止；
（2）将服务器端用快速排序法，将得到的距离值按由低到高排序，输出前L个动作到客户端作为第一次检索结果，L为正整数。
6.根据权利要求5所述的基于对齐聚类分析的运动序列检索方法，其特征在于：
步骤四中，若客户端对第一次检索结果不满意，则由客户端对检索结果进行“相关”及“不相关”标注，“相关”则是检索结果与希望的结果相关，否则为“不相关”；将标注后的信息返回服务器，服务器对返回的信息进行学习，运用分类器将特征数据库中的运动序列分类，根据分类结果按照距离长短对运动序列排序输出，作为新的检索结果；重复该步骤，直到输出用户满意的检索结果。
7.根据权利要求6所述的基于对齐聚类分析的运动序列检索方法，其特征在于：
所述客户端对检索结果进行相关标注，具体包括以下步骤：
客户端对每次检索结果进行标注，标注Z个“相关”运动序列，Z为正整数，返回服务器中“相关”的运动序列标签为1，剩余的L-Z个运动序列视为“不相关”，该服务器标注为-1；
将在上述步骤中对标注的“相关”，“不相关”数据进行学习，并用K最近邻算法(K-Nearest Neighbor algorithm，KNN)对特征数据库中的数据学习分类，得到分类结果；
（3）将分类结果排序输出，作为新的检索结果。
CN201410212696.4A 2014-05-20 2014-05-20 基于对齐聚类分析的运动序列检索方法 Expired - Fee Related CN103970883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410212696.4A CN103970883B (zh) 2014-05-20 2014-05-20 基于对齐聚类分析的运动序列检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410212696.4A CN103970883B (zh) 2014-05-20 2014-05-20 基于对齐聚类分析的运动序列检索方法

Publications (2)

Publication Number Publication Date
CN103970883A true CN103970883A (zh) 2014-08-06
CN103970883B CN103970883B (zh) 2017-10-27

Family

ID=51240381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410212696.4A Expired - Fee Related CN103970883B (zh) 2014-05-20 2014-05-20 基于对齐聚类分析的运动序列检索方法

Country Status (1)

Country Link
CN (1) CN103970883B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899248A (zh) * 2015-04-24 2015-09-09 济南大学 一种通用的运动捕获数据检索方法
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN107679560A (zh) * 2017-09-15 2018-02-09 广东欧珀移动通信有限公司 数据传输方法、装置、移动终端及计算机可读存储介质
CN108664904A (zh) * 2018-04-24 2018-10-16 长沙学院 一种基于Kinect的人体坐姿行为识别方法和系统
CN109720353A (zh) * 2018-12-27 2019-05-07 南京航空航天大学 一种基于智能手机的驾驶行为检测方法
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN110163130A (zh) * 2019-05-08 2019-08-23 清华大学 一种用于手势识别的特征预对齐的随机森林分类器及分类方法
CN110874419A (zh) * 2019-11-19 2020-03-10 山东浪潮人工智能研究院有限公司 一种人脸数据库快速检索技术
CN112057079A (zh) * 2020-08-07 2020-12-11 中国科学院深圳先进技术研究院 一种基于状态与图谱的行为量化方法和终端
CN117171708A (zh) * 2023-11-01 2023-12-05 小舟科技有限公司 一种混合bci系统中的多模式融合方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477619A (zh) * 2008-12-26 2009-07-08 北京航空航天大学 基于dtw曲线的运动数据动作分类方法
US20130163879A1 (en) * 2010-08-30 2013-06-27 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
CN103294832A (zh) * 2013-06-27 2013-09-11 西安工业大学 一种基于反馈学习的运动捕获数据检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477619A (zh) * 2008-12-26 2009-07-08 北京航空航天大学 基于dtw曲线的运动数据动作分类方法
US20130163879A1 (en) * 2010-08-30 2013-06-27 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
CN103294832A (zh) * 2013-06-27 2013-09-11 西安工业大学 一种基于反馈学习的运动捕获数据检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG ZHOU ET AL: ""Aligned Cluster Analysis for Temporal Segmentation of Human Motion"", 《IEEE》 *
FENG ZHOU ET AL: ""Canonical Time Warping for Alignment of Human Behavior"", 《CARNEGIE MELLON UNIVERSITY》 *
罗艺闯: ""基于SOM和SAX的人体动作检索"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899248A (zh) * 2015-04-24 2015-09-09 济南大学 一种通用的运动捕获数据检索方法
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN107679560A (zh) * 2017-09-15 2018-02-09 广东欧珀移动通信有限公司 数据传输方法、装置、移动终端及计算机可读存储介质
CN108664904A (zh) * 2018-04-24 2018-10-16 长沙学院 一种基于Kinect的人体坐姿行为识别方法和系统
CN109720353B (zh) * 2018-12-27 2020-11-17 南京航空航天大学 一种基于智能手机的驾驶行为检测方法
CN109720353A (zh) * 2018-12-27 2019-05-07 南京航空航天大学 一种基于智能手机的驾驶行为检测方法
CN109858406A (zh) * 2019-01-17 2019-06-07 西北大学 一种基于关节点信息的关键帧提取方法
CN109858406B (zh) * 2019-01-17 2023-04-07 西北大学 一种基于关节点信息的关键帧提取方法
CN110163130A (zh) * 2019-05-08 2019-08-23 清华大学 一种用于手势识别的特征预对齐的随机森林分类器及分类方法
CN110874419A (zh) * 2019-11-19 2020-03-10 山东浪潮人工智能研究院有限公司 一种人脸数据库快速检索技术
CN112057079A (zh) * 2020-08-07 2020-12-11 中国科学院深圳先进技术研究院 一种基于状态与图谱的行为量化方法和终端
CN117171708A (zh) * 2023-11-01 2023-12-05 小舟科技有限公司 一种混合bci系统中的多模式融合方法、系统、设备及介质
CN117171708B (zh) * 2023-11-01 2024-02-23 小舟科技有限公司 一种混合bci系统中的多模式融合方法、系统、设备及介质

Also Published As

Publication number Publication date
CN103970883B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN103970883A (zh) 基于对齐聚类分析的运动序列检索方法
Melekhov et al. Siamese network features for image matching
US8798357B2 (en) Image-based localization
Galvez-Lopez et al. Real-time loop detection with bags of binary words
Lin et al. Spec hashing: Similarity preserving algorithm for entropy-based coding
Turcot et al. Better matching with fewer features: The selection of useful features in large database recognition problems
Gao et al. View-based 3D object retrieval: challenges and approaches
Savva et al. Shrec’17 track large-scale 3d shape retrieval from shapenet core55
Parui et al. Similarity-invariant sketch-based image retrieval in large databases
Tipaldi et al. Geometrical flirt phrases for large scale place recognition in 2d range data
Zaganidis et al. Semantically assisted loop closure in slam using ndt histograms
Liu et al. Towards optimal binary code learning via ordinal embedding
Sun et al. Motion retrieval using low‐rank subspace decomposition of motion volume
Waheed et al. Improving visual place recognition performance by maximising complementarity
Wu et al. An efficient visual loop closure detection method in a map of 20 million key locations
Dai et al. Large scale image retrieval with visual groups
Korrapati et al. Vision-based sparse topological mapping
Deray et al. Word ordering and document adjacency for large loop closure detection in 2-D laser maps
Qin et al. Structure-aware feature disentanglement with knowledge transfer for appearance-changing place recognition
Kapsouras et al. Action recognition by fusing depth video and skeletal data information
Johns et al. Pairwise probabilistic voting: Fast place recognition without RANSAC
dos Santos et al. Interactive classification of remote sensing images by using optimum-path forest and genetic programming
Huo et al. Person re-identification based on multi-directional saliency metric learning
Sedmidubsky et al. Fast subsequence matching in motion capture data
Wu et al. Visual loop closure detection by matching binary visual features using locality sensitive hashing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171027

Termination date: 20190520