CN105184767B - 一种运动人体姿态相似性度量方法 - Google Patents
一种运动人体姿态相似性度量方法 Download PDFInfo
- Publication number
- CN105184767B CN105184767B CN201510434511.9A CN201510434511A CN105184767B CN 105184767 B CN105184767 B CN 105184767B CN 201510434511 A CN201510434511 A CN 201510434511A CN 105184767 B CN105184767 B CN 105184767B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- posture
- human body
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种人体姿态相似性度量方法，该方法采用分层的人体姿态度量方式，姿态的主相似性优先于细节相似性，更符合人类的主观判别结果，使得计算效率更高、准确度更高。这种人体姿态相似性度量方法，包括步骤：(1)根据公式(2)马氏距离的距离度量模型；(2)构建人体特征向量，对于每一个人体姿态取相邻关节点的方向向量作为组成特征向量的数据；(3)构建融合主姿态特征和细节特征的稀疏表示的姿态距离度量模型；(4)得到最终表达式(9)，再采用序列二次规划算法进行优化求解。
Description
技术领域
本发明属于计算机视觉和模式识别的技术领域，具体地涉及一种运动人体姿态相似性度量方法。
背景技术
近年来人体姿态相似性度量已成为多个领域的研究热点,它在智能视频监控、人机交互、虚拟现实等方面有着广泛的应用前景，特别是在动作捕获技术中的广泛使用。人体姿态是运动数据中重要的组成部分，对于人体姿态度量学习也因此开始得到广泛的研究。尽管现今对于人体行为相似性度量的方式不同,但都具有大致相同的研究步骤,并且在行为相似性度量方法的设计上相互之间也具有可借鉴性。一般行为相似性度量研究的关键步骤包括行为表示方法和行为分析算法。现从这两方面对与本发明最接近的现有算法进行描述：
人体姿态特征的表示是一个对原始数据进行加工处理以获得行为描述特征量的过程。对于人体姿态的理解也可以分为两个方面:一方面在人体姿态研究中通常采用佩戴式传感器,该方法可以获取头部、四肢或者躯干等身体部位的运动信息如旋转角、空间运动轨迹等,可见基于佩戴式传感器的研究方式重在恢复人体的三维运动信息。例如CMU运动捕获数据库(CMU Graphics Lab Motion Capture Database)，可以利用其采集的3D数据作为人体姿态表示的原始数据。另一方面将基于视觉的人体姿态表示方法研究归纳起来主要包括采用人体形状特征的姿态表示方法、采用三维信息的姿态表示方法和依据运动特征的姿态表示方法等。利用人体形状特征的姿态表示方法构造简单且品于实现,常用的模型主要包括棍棒模型、椭圆模型等。Park等人在进行驾驶员行为分析研究中采用椭圆结构模型表示人体头部、躯干和四肢，Alexei用13个特征点来表示人体结构,通过分析特征点的运动轨迹进行人体姿态的相似性度量。人体轮廓等外观特征也可以用于人体动作描述,Liu等人使用人体头部、上肢和下肢等身体主要部位的比例关系来表示人体姿态,Chung等人通过计算目标像素距离投影的高斯分布来描述坐、站和躺下等基本动作,Wang等人对人体区域进行R变换以研究办公室环境下的人体异常行为。利用三维视觉技术表示人体行为虽然具有视角不变性,但是其计算量较大且对系统性能要求较高,故并不常用。基于运动特征的人体姿态表示是目前较为常用的方法,如Zhu等人采用光流法研究网球运动中的击球动作,此外利用时空特征点表示行为也是一种常用的方法。
人体姿态相似性度量算法研究属于模式识别和人工智能的范畴。根据算法特点可以分为模板匹配法和状态空间法。模板匹配法是指将提取的行为表示特征序列与参考模板进行逐一匹配,依据匹配的相似度判别行为。
Bobick与David使用计算运动能量图像(Motion EnergyImages,MEX)和运动历史图(Motion HistoryImages,MHI)分析人体姿态,Veeraraghavan等人使用动态时间规整算法(Dynamic Time Warping,DTW)匹配动作序列。模板匹配方法无需大量的样本,计算量小,但是对行为持续时间和噪声比较敏感。与模板匹配法不同,状态空间法将每种静态姿势都视为状态空间中的一个节点,节点之间依据概率关联起来,运动序列则可以看作是不同节点间的一次遍历过程,目前状态空间法己经广泛应用于运动序列的检测和分析中,常用的方法有隐马尔科夫模型(Hidden Markov Model,HMM),动态贝叶斯网络(Dynamic BayesianNetwork,DBN)、神经网络等。如Zhang等人使用两层HMM模型研究会议过程中个体间的交互行为,Luo采用动态贝叶斯网络进行人体行为相似性度量研究并与HMM方法进行了比较,Buccolieri通过祌经网络分析人体轮廓特征来相似性度量姿态。状态空间法虽然克服了模板匹配的不足,但是往往需要大量的的迭代运算,因此应根据实际情况选择合适的研究方法。
上述两个步骤的不足之处包括以下两个方面。首先人体的姿态表示,即构造的人体姿态特征多是直接使用关节点的坐标或关节点之间方向向量作为姿态数据，但是这种简单的数据集合不能够充分的体现人体的姿态，姿态相似度的度量人体姿态非常依赖人体不同部位之间的关系；其次，一般欧氏距离是最简单的度量学习方法，但是其不能充分的体现人体姿态的语义。
为解决以上人体姿态度量学习方法的不足，一方面我们提出利用关节点之间的几何属性和不同部位之间的关系构成构造人体姿态特征集合。另一方面，为了更加体现人体相邻部位之间的约束关系以及不同部位组合的重要性(更能表达人体的姿态部位组合)，我们提出了一种基于稀疏表示的行为相似性度量算法。
发明内容
本发明的技术解决问题是：克服现有技术的不足，提供一种运动人体姿态相似性度量方法，其计算效率更高、准确度更高。
1、本发明的技术解决方案是：这种运动人体姿态相似性度量方法，
2、包括以下步骤：
(1)根据公式(2)马氏距离的距离度量模型：
其中，x＝{x1,...,xN}为给定训练的姿态数据集,N是姿态数目，xi和xj分别表示一个人体姿态的特征向量，W为最优度量矩阵，d(xi,xj)M为姿态xi和姿态xj之间的距离；
(2)构建人体特征向量，对于每一个人体姿态取相邻关节点的方向向量作为组成特征向量的数据；
(3)构建融合主姿态特征和细节特征的稀疏表示的姿态距离度量模型；
(4)得到最终表达式(9)，再采用序列二次规划算法进行优化求解
其中，W*为新最优度量矩阵，k1,k2,k3为不同部分对应的权值，E1为主姿态特征约束项，E2为细节特征约束项，Er为正则约束项；
所述步骤(2)中根据表达人体姿态重要性构造特征向量分为两个部分：
将人体骨架点和特征点分为两类，一类为人体的主姿态特征点，包括:臀部,左脚,右脚,脖子,头部,左手腕,右手腕，另一类为人体的细节特征点,包括左臀,左膝,右臀,右膝,胸,左肩,左肘,右肩,右肘；将每一类特征点中，相邻特征点构成的方向向量的各个分量作为特征向量的分类，其中，由主姿态特征点构成的方向向量作为特征向量的前m1行，由细节特征点构成的方向向量作为特征向量的后m-m1行；
所述步骤(3)中姿态距离度量模型包括三项：第一项保持姿态数据所有特征向量的稀疏表示，第二项保持姿态数据的主姿态分量的稀疏表示，第三项保持正则化约束：
第一项中根据公式(3)将每个样本的特征向量由除自己以外的所有样本进行稀疏表示：
其中，xi是第i个样本对应的姿态特征向量，{aij}j＝1，...，N表示将xi由余下N-1个样本进行稀疏表示的系数，r表示稀疏项权值；
根据公式(4)计算第i个样本由N-1个样本进行稀疏表示后的残差：
其中由公式(3)给出，ei为稀疏表示后的残差，xi和xj分别表示一个人体姿态的特征向量；
第一项的目标函数E1由公式(5)得出：
E1＝[e1 e2 … eN]TWWT[e1 e2 … eN] (5)
其中e1，...，eN由公式(4)给出；
第二项中根据公式(5)将每个样本的主姿态特征分量由除自己以外的所有样本的主姿态特征分量进行稀疏表示：
第二项中根据公式(5)将上一步得到的每个样本稀疏表示的残差的主姿态特征分量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行第二次稀疏表示：
ei(1：m1)是第i个样本的稀疏表示的残差向量ei对应的主姿态特征分量，xk(1:m1)是第k个样本特征向量xk对应的主姿态特征分量，表示将xi由上一步稀疏表示系数为零对应样本的主姿态特征分量进行二次稀疏表示后的展开系数,r'表示二次稀疏项权值；
根据公式(7)计算第i个样本的主姿态特征向量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行稀疏表示后的残差：
其中由公式(6)给出；第二项的目标函数E2由公式(8)得出：
E2＝[e′1 e′2 … e′N]TW(1：m1，：)W(1：m1，：)T[e′1 e′2 … e′N] (8)
其中e′1，...，e′N由公式(7)给出，W(1：m1，：)表示由度量矩阵W前m1行构成的子矩阵；
为了防止过度拟合，使学习的度量不过度远离传统的欧式距离度量，因此，根据公式(9)进行对于正则化：
Er＝∑i，j(xi-xj)T(xi-xj)-(xi-xj)TWWT(xi-xj) (9)
其中，W为最优度量矩阵，Er为正则约束项，xi和xj分别表示一个人体姿态的特征向量。
本发明由于采用小维数的特征向量，所以计算效率更高；由于对不同尺度进行稀疏表示，在保证人体整体姿态相似的情况下，再保证人体中主要姿态更加相似，所以提高了人体姿态相似性度量的准确度。
附图说明
图1为本发明原理；
图2为本发明具体流程图；
图3为定义的人体姿态，圆圈代表关节点，加粗的圆圈代表主姿态特征，未加粗的圆圈细节特征。
具体实施方式
3、这种运动人体姿态相似性度量方法，
4、包括以下步骤：
(1)根据公式(2)马氏距离的距离度量模型：
其中，x＝{x1,...,xN}为给定训练的姿态数据集,N是姿态数目，xi和xj分别表示一个人体姿态的特征向量，W为最优度量矩阵，d(xi,xj)M为姿态xi和姿态xj之间的距离；
(2)构建人体特征向量，对于每一个人体姿态取相邻关节点的方向向量作为组成特征向量的数据；
(3)构建融合主姿态特征和细节特征的稀疏表示的姿态距离度量模型；
(4)得到最终表达式(9)，再采用序列二次规划算法进行优化求解
其中，W*为新最优度量矩阵，k1,k2,k3为不同部分对应的权值，E1为主姿态特征约束项，E2为细节特征约束项，Er为正则约束项；
所述步骤(2)中根据表达人体姿态重要性构造特征向量分为两个部分：
将人体骨架点和特征点分为两类，一类为人体的主姿态特征点，包括:臀部,左脚,右脚,脖子,头部,左手腕,右手腕，另一类为人体的细节特征点,包括左臀,左膝,右臀,右膝,胸,左肩,左肘,右肩,右肘；将每一类特征点中，相邻特征点构成的方向向量的各个分量作为特征向量的分类，其中，由主姿态特征点构成的方向向量作为特征向量的前m1行，由细节特征点构成的方向向量作为特征向量的后m-m1行；
所述步骤(3)中姿态距离度量模型包括三项：第一项保持姿态数据所有特征向量的稀疏表示，第二项保持姿态数据的主姿态分量的稀疏表示，第三项保持正则化约束：
第一项中根据公式(3)将每个样本的特征向量由除自己以外的所有样本进行稀疏表示：
其中，xi是第i个样本对应的姿态特征向量，{aij}j＝1，...，N表示将xi由余下N-1个样本进行稀疏表示的系数，r表示稀疏项权值；
根据公式(4)计算第i个样本由N-1个样本进行稀疏表示后的残差：
其中由公式(3)给出，ei为稀疏表示后的残差，xi和xj分别表示一个人体姿态的特征向量；
第一项的目标函数E1由公式(5)得出：
E1＝[e1 e2 … eN]TWWT[e1 e2 … eN] (5)
其中e1，...，eN由公式(4)给出；
第二项中根据公式(5)将每个样本的主姿态特征分量由除自己以外的所有样本的主姿态特征分量进行稀疏表示：
第二项中根据公式(5)将上一步得到的每个样本稀疏表示的残差的主姿态特征分量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行第二次稀疏表示：
ei(1：m1)是第i个样本的稀疏表示的残差向量ei对应的主姿态特征分量，xk(1:m1)是第k个样本特征向量xk对应的主姿态特征分量，表示将xi由上一步稀疏表示系数为零对应样本的主姿态特征分量进行二次稀疏表示后的展开系数,r'表示二次稀疏项权值；
根据公式(7)计算第i个样本的主姿态特征向量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行稀疏表示后的残差：
其中由公式(6)给出；第二项的目标函数E2由公式(8)得出：
E2＝[e′1 e′2 … e′N]TW(1：m1，：)W(1：m1，：)T[e′1 e′2 …e′N] (8)
其中e′1，...，e′N由公式(7)给出，W(1：m1，：)表示由度量矩阵W前m1行构成的子矩阵；
为了防止过度拟合，使学习的度量不过度远离传统的欧式距离度量，因此，根据公式(9)进行对于正则化：
Er＝∑i，j(xi-xj)T(xi-xj)-(xi-xj)TWWT(xi-xj) (9)
其中，W为最优度量矩阵，Er为正则约束项，xi和xj分别表示一个人体姿态的特征向量。
本发明由于采用小维数的特征向量，所以计算效率更高；由于对不同尺度进行稀疏表示，在保证人体整体姿态相似的情况下，再保证人体中主要姿态更加相似，所以提高了人体姿态相似性度量的准确度。
以下对本发明进行更详细的说明。
本发明针对传统姿态度量不能充分人体姿态相似性的问题，提出了一种基于的人体姿态度量学习方法。本发明以CMU运动捕获数据库提供的人体3D骨架点坐标点(38点)作为原始数据，选取其中的16个坐标点做本发明的输入数据，计算出能够估测3D人体姿态相似性的度量。本发明进行实验共有如下六个步骤：
(1)问题定义
本发明给定训练的姿态数据集为x＝{x1,...,xN},N是姿态数目，x1表示一个姿态的特征向量。学习一个马氏距离的距离度量公式：
其中，M就是要学习的矩阵，x＝{x1,...,xN}为给定训练的姿态数据集,N是姿态数目，xi和xj分别表示一个人体姿态的特征向量，d(xi,xj)M为姿态xi和姿态xj之间的距离。
如果M是一个有效的距离度量，M应该是对称的正定矩阵。可以利用M＝WWT，有：
其中，x＝{x1,...,xN}为给定训练的姿态数据集,N是姿态数目，xi和xj分别表示一个人体姿态的特征向量，W为最优度量矩阵分量，d(xi,xj)M为姿态xi和姿态xj之间的距离。
(2)构建人体特征向量
构成一个人体姿态的数据构造特征向量。其中利用这些数据保证两点：
●保证人体姿态特征向量维数在可以接受的范围内
●人体姿态特征向量能够准确的描述人体的姿态
根据以上两点，对于每一个人体姿态取相邻关节点的方向向量作为组成特征向量的数据，以臀部作为根，连接相邻的关节点，构成一个有向连通图，而这些三维向量就是构成姿态人体特征向量的初始数据。取人体的16个骨架点，臀部,左脚,右脚,脖子,头部,左手腕,右手腕；代表人体的主要骨架(7点)，保证人体的主姿态特征，对人体姿态产生非常重要的影响，左臀,左膝,右臀,右膝,胸,左肩,左肘,右肩,右肘；代表影响人体主要姿态的细节骨架点(9点)，在保证主要姿态的情况下调整细节姿态的变化。
根据定义的关节点，以及在取合理多维数基础上，根据表达人体姿态重要性的不同，构造特征向量可以分为两个部分。仅取最重要的关节点(臀部,左脚,右脚,脖子,头部,左手腕,右手腕)构造出的方向向量作为构成特征向量的一部分数据(18维)。取剩余的关节点作为细节特征点(左臀,左膝,右臀,右膝,胸,左肩,左肘,右肩,右肘)，根据将所有相邻的关节点相连接，以构造出的方向向量作为构成特征向量的另一部分数据(45维)。
利用以上两部分数据构造人体姿态特征向量(63维)，每一个特征向量就代表一个人体姿态。
(3)构建无监督的姿态距离度量模型
使用稀疏表示去探求不同姿态特征数据之间的关系，以往稀疏表示经常用在计算机视觉中的脸部识别、图像分析等。现本发明提出一种基于稀疏表示的人体姿态度量方法。本发明所述的姿态距离度量模型包括三项：第一项保持姿态数据所有特征向量的稀疏表示，第二项保持姿态数据的主姿态分量的稀疏表示，第三项保持正则化约束：
第一项中根据公式(3)将每个样本的特征向量由除自己以外的所有样本进行稀疏表示：
其中，xi是第i个样本对应的姿态特征向量，{aij}j＝1，...，N表示将xi由余下N-1个样本进行稀疏表示的系数，r表示稀疏项权值；
根据公式(4)计算第i个样本由N-1个样本进行稀疏表示后的残差：
其中由公式(3)给出，ei为稀疏表示后的残差，xi和xj分别表示一个人体姿态的特征向量；
第一项的目标函数E1由公式(5)得出：
E1＝[e1 e2 … eN]TWWT[e1 e2 … eN] (5)
其中e1，...，eN由公式(4)给出。
第二项中根据公式(5)将每个样本的主姿态特征分量由除自己以外的所有样本的主姿态特征分量进行稀疏表示：
第二项中根据公式(5)将上一步得到的每个样本稀疏表示的残差的主姿态特征分量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行第二次稀疏表示：
ei(1：m1)是第i个样本的稀疏表示的残差向量ei对应的主姿态特征分量，xi(1：m1)是第i个样本特征向量xi对应的主姿态特征分量，表示将xi由上一步稀疏表示系数为零对应样本的主姿态特征分量进行二次稀疏表示后的展开系数,r'表示二次稀疏项权值。
根据公式(7)计算第i个样本的主姿态特征向量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行稀疏表示后的残差：
其中由公式(6)给出；第二项的目标函数E2由公式(8)得出：
E2＝[e′1 e′2 … e′N]TW(1：m1，：)W(1：m1，：)T[e′1 e′2 … e′N] (8)
其中e′1，...，e′N由公式(7)给出，W(1：m1，：)表示由度量矩阵W前m1行构成的子矩阵。
第三项为了防止过度拟合，使学习的度量不过度的远离原始的距离度量，因此，本发明提出了一个正则化表达式：
Er＝Σi，j(xi-xj)T(xi-xj)-(xi-xj)TWWT(xi-xj)
Er为正则约束项，xi和xj分别表示一个人体姿态的特征向量，W为最优度量矩阵分量；
(4)最终表达式以及优化求解
其中，W*为最优度量矩阵分量，k1,k2,k3为不同部分对应的权值，E1为主特征约束项，E2为细节特征约束项，Er为正则约束项。
对于本发明需要求解多个变量的问题，使用了大规模算法(subspace trustregion)，具体是采用序列二次规划(Sequential Quadratic Programming,SQP)算法求解不等式约束的非线性规划问题。
(5)实验结果的对比
将本发明的算法与另外两种距离度量算法(传统的欧氏距离L2和LMS算法)进行了对比。
本发明使用CMU运动捕获数据库(CMU Graphics Lab Motion Capture Database)提供的运动视频有2605段运动视频，分为6个大类，23个子类。分别从人的交互(HumanInteraction)、人与环境的交互(Interaction with Environment)、人的移动(Locomotion)、体育运动(Physical Activities&Sports)、各种场景(Situations&Scenarios)这五类选取有代表性的运动视频帧，其中3000帧作为训练数据，2000帧作为测试数据。每次试验取一帧测试图像作为目标，分别利用以上三种算法在视频帧数据库中检索出与目标图像相似度最高的十张图片，最终得到了三组图像排序结果。经过多次试验，综合所有对比结果，本发明提出的算法比另外两种算法检索出来结果与目标图像更加相似，L2的得出的结果是最糟糕的。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (1)
1.一种运动人体姿态相似性度量方法，其特征在于：包括以下步骤：
(1)根据公式(2)马氏距离的距离度量模型：
<mrow>
<mi>d</mi>
<msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>M</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<msup>
<mi>WW</mi>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，x＝{x1,...,xN}为给定训练的姿态数据集,N是姿态数目，xi和xj分别表示一个人体姿态的特征向量，W为最优度量矩阵，d(xi,xj)M为姿态xi和姿态xj之间的距离；
(2)构建人体特征向量，对于每一个人体姿态取相邻关节点的方向向量作为组成特征向量的数据；
(3)构建融合主姿态特征和细节特征的稀疏表示的姿态距离度量模型；
(4)得到最终表达式(10)，再采用序列二次规划算法进行优化求解
<mrow>
<msup>
<mi>W</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi> </mi>
<mi>min</mi>
</mrow>
<mrow>
<msup>
<mi>W</mi>
<mi>T</mi>
</msup>
<mi>W</mi>
<mo>=</mo>
<mi>I</mi>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<msub>
<mi>E</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<mo>*</mo>
<msub>
<mi>E</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<mo>*</mo>
<msub>
<mi>E</mi>
<mi>r</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，W*为新最优度量矩阵，k1,k2,k3为不同部分对应的权值，E1为主姿态特征约束项，E2为细节特征约束项，Er为正则约束项；
所述步骤(2)中根据表达人体姿态重要性构造特征向量分为两个部分：
将人体骨架点和特征点分为两类，一类为人体的主姿态特征点，包括:臀部,左脚,右脚,脖子,头部,左手腕,右手腕，另一类为人体的细节特征点,包括左臀,左膝,右臀,右膝,胸,左肩,左肘,右肩,右肘；将每一类特征点中，相邻特征点构成的方向向量的各个分量作为特征向量的分类，其中，由主姿态特征点构成的方向向量作为特征向量的前m1行，由细节特征点构成的方向向量作为特征向量的后m-m1行；
所述步骤(3)中姿态距离度量模型包括三项：第一项保持姿态数据所有特征向量的稀疏表示，第二项保持姿态数据的主姿态分量的稀疏表示，第三项保持正则化约束：
第一项中根据公式(3)将每个样本的特征向量由除自己以外的所有样本进行稀疏表示：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mrow>
<mo>{</mo>
<msubsup>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mo>*</mo>
</msubsup>
<mo>}</mo>
</mrow>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>N</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<msub>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msub>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>r</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<msub>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mi>u</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
<mi> </mi>
<mi>t</mi>
<mi>o</mi>
<mi> </mi>
<msub>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，xi是第i个样本对应的姿态特征向量，{aij}j＝1，...，N表示将xi由余下N-1个样本进行稀疏表示的系数，r表示稀疏项权值；
根据公式(4)计算第i个样本由N-1个样本进行稀疏表示后的残差：
其中由公式(3)给出，ei为稀疏表示后的残差，xi和xj分别表示一个人体姿态的特征向量；
第一项的目标函数El由公式(5)得出：
其中el，...，eN由公式(4)给出；
第二项中根据公式(5)将每个样本的主姿态特征分量由除自己以外的所有样本的主姿态特征分量进行稀疏表示：
第二项中根据公式(5)将上一步得到的每个样本稀疏表示的残差的主姿态特征分量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行第二次稀疏表示：
ei(1:m1)是第i个样本的稀疏表示的残差向量ei对应的主姿态特征分量，xk(1:m1)是第k个样本特征向量xk对应的主姿态特征分量，表示将xi由上一步稀疏表示系数为零对应样本的主姿态特征分量进行二次稀疏表示后的展开系数，r′表示二次稀疏项权值；
根据公式(7)计算第i个样本的主姿态特征向量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行稀疏表示后的残差：
其中由公式(6)给出；第二项的目标函数E2由公式(8)得出：
其中e′1，...，e′N由公式(7)给出，W(1：m1，：)表示由度量矩阵W前m1行构成的子矩阵；
为了防止过度拟合，使学习的度量不过度远离传统的欧式距离度量，因此，根据公式(9)进行正则化：
其中，W为最优度量矩阵，Er为正则约束项，xi和xj分别表示一个人体姿态的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510434511.9A CN105184767B (zh) | 2015-07-22 | 2015-07-22 | 一种运动人体姿态相似性度量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510434511.9A CN105184767B (zh) | 2015-07-22 | 2015-07-22 | 一种运动人体姿态相似性度量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105184767A CN105184767A (zh) | 2015-12-23 |
| CN105184767B true CN105184767B (zh) | 2018-04-06 |
Family
ID=54906820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510434511.9A Active CN105184767B (zh) | 2015-07-22 | 2015-07-22 | 一种运动人体姿态相似性度量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105184767B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107877512A (zh) * | 2017-09-29 | 2018-04-06 | 北京理工大学 | 一种机器鼠与实验鼠运动相似性评价方法 |
| CN108022278B (zh) * | 2017-12-29 | 2020-12-22 | 清华大学 | 基于视频中运动跟踪的人物动画绘制方法及系统 |
| CN109740659B (zh) * | 2018-12-28 | 2021-07-27 | 浙江商汤科技开发有限公司 | 一种图像匹配方法及装置、电子设备、存储介质 |
| CN109977805A (zh) * | 2019-03-11 | 2019-07-05 | 厦门理工学院 | 基于局部稀疏编码的姿态检索方法、装置、设备和存储介质 |
| CN110210284A (zh) * | 2019-04-12 | 2019-09-06 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能评价方法 |
| CN111046733B (zh) * | 2019-11-12 | 2023-04-18 | 宁波大学 | 一种基于稀疏和深度的3d人体姿态估计方法 |
| CN113987285B (zh) * | 2021-12-27 | 2022-04-26 | 北京理工大学 | 基于隐藏状态的运动特征数据库生成方法、检索方法 |
| CN114550289B (zh) * | 2022-02-16 | 2023-05-26 | 中山职业技术学院 | 一种行为识别方法、系统及电子设备 |
| CN114904247A (zh) * | 2022-05-31 | 2022-08-16 | 江苏经贸职业技术学院 | 一种基于马尔可夫链的网球机器人拍击方法及网球机器人 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682302A (zh) * | 2012-03-12 | 2012-09-19 | 浙江工业大学 | 一种基于关键帧的多特征融合的人体姿态识别方法 |
| CN103310233A (zh) * | 2013-06-28 | 2013-09-18 | 青岛科技大学 | 同类行为多视图间相似度挖掘方法及行为识别方法 |
| CN103942568A (zh) * | 2014-04-22 | 2014-07-23 | 浙江大学 | 一种基于无监督特征选择的分类方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101907077B1 (ko) * | 2012-03-06 | 2018-10-11 | 삼성전자주식회사 | 자세 인식 방법 및 장치 |
| WO2015038144A1 (en) * | 2013-09-13 | 2015-03-19 | Intel Corporation | Processing of images of a subject individual |
-
2015
- 2015-07-22 CN CN201510434511.9A patent/CN105184767B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682302A (zh) * | 2012-03-12 | 2012-09-19 | 浙江工业大学 | 一种基于关键帧的多特征融合的人体姿态识别方法 |
| CN103310233A (zh) * | 2013-06-28 | 2013-09-18 | 青岛科技大学 | 同类行为多视图间相似度挖掘方法及行为识别方法 |
| CN103942568A (zh) * | 2014-04-22 | 2014-07-23 | 浙江大学 | 一种基于无监督特征选择的分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105184767A (zh) | 2015-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105184767B (zh) | 一种运动人体姿态相似性度量方法 | |
| CN109376720B (zh) | 基于关节点时空简单循环网络和注意力机制的动作分类方法 | |
| CN105512621A (zh) | 一种基于Kinect的羽毛球动作指导系统 | |
| CN105160400A (zh) | 基于l21范数的提升卷积神经网络泛化能力的方法 | |
| CN110244689A (zh) | 一种基于判别性特征学习方法的auv自适应故障诊断方法 | |
| CN106548194B (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
| CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
| CN110490109A (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN111062340A (zh) | 一种基于虚拟姿态样本合成的异常步态行为识别方法 | |
| CN107229920A (zh) | 基于整合深度典型时间规整及相关修正的行为识别方法 | |
| WO2023226186A1 (zh) | 神经网络训练方法、人体运动识别方法及设备、存储介质 | |
| CN111709284B (zh) | 基于cnn-lstm的舞蹈情感识别方法 | |
| CN104766051B (zh) | 基于结构化的特征图的人体行为识别方法 | |
| Wu et al. | An unsupervised real-time framework of human pose tracking from range image sequences | |
| CN108009512A (zh) | 一种基于卷积神经网络特征学习的人物再识别方法 | |
| Reining et al. | Towards a framework for semi-automated annotation of human order picking activities using motion capturing | |
| Chu et al. | Image recognition of badminton swing motion based on single inertial sensor | |
| Scherer | Boosting ensemble of relational neuro-fuzzy systems | |
| Chen et al. | An effective swimming stroke recognition system utilizing deep learning based on inertial measurement units | |
| Ni et al. | High-order generalized orderless pooling networks for synthetic-aperture radar scene classification | |
| CN115147768A (zh) | 一种跌倒风险评估方法及系统 | |
| Li et al. | Human sports action and ideological and PoliticalEvaluation by lightweight deep learning model | |
| Schnell et al. | RoBiGAN: A bidirectional Wasserstein GAN approach for online robot fault diagnosis via internal anomaly detection | |
| Zhao et al. | Recognition of Volleyball Player's Arm Motion Trajectory and Muscle Injury Mechanism Analysis Based upon Neural Network Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |