CN113591726A - 一种太极拳训练动作的交叉模态评估方法 - Google Patents

一种太极拳训练动作的交叉模态评估方法 Download PDF

Info

Publication number
CN113591726A
CN113591726A CN202110884652.6A CN202110884652A CN113591726A CN 113591726 A CN113591726 A CN 113591726A CN 202110884652 A CN202110884652 A CN 202110884652A CN 113591726 A CN113591726 A CN 113591726A
Authority
CN
China
Prior art keywords
data
matrix
mocap
motion
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110884652.6A
Other languages
English (en)
Other versions
CN113591726B (zh
Inventor
李巧勤
戴志豪
刘勇国
朱嘉静
张云
杨尚明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110884652.6A priority Critical patent/CN113591726B/zh
Publication of CN113591726A publication Critical patent/CN113591726A/zh
Priority to LU501883A priority patent/LU501883B1/de
Application granted granted Critical
Publication of CN113591726B publication Critical patent/CN113591726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2337—Non-hierarchical techniques using fuzzy logic, i.e. fuzzy clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种太极拳训练动作的交叉模态评估方法，对存在非线性关系的原始太极拳训练动作跨模态序列配准问题，本发明提出将视频序列与动作捕捉序列对齐的方法。对于不同长度和维度的太极拳运动序列进行去噪和重构恢复，然后进行分阶段时空配准，解决不同主体之间的运动差异，实现跨模态太极拳长序列的时空对齐，提高太极拳运动招式完成度评价准确度。

Description

一种太极拳训练动作的交叉模态评估方法
技术领域
本发明属于运动训练技术领域，具体涉及一种太极拳训练动作的交叉模态评估方法。
背景技术
太极拳是中国武术的一种形式，其中最具代表性的是简化24式，长期训练可以强身健体。交互式训练场景中需要对训练效果进行评价，而太极拳的一个显著特征是姿势之间缓慢而无缝的过渡，且不同的人和学习阶段可能会带来时间和动作上的差异性，这给基于分割的招式识别和配准方法带来了困难。每个对象的表现都有时间上的变化，从而导致捕获数据出现非线性的时间差异。由于不同的技能水平、身高、体重及步态等差异，对象和对象间配对都需要非线性转换才能进行时间对齐。线性映射可以提供合理的初始时间对齐方式，并可以在后续阶段进行完善，所以对不同长度和维度的数据进行时空对齐显得格外重要。
常用时间映射方法主要包括动态时间规整(Dynamic Time Warping,DTW)、典型时间规整(Canonical Time Warping,CTW)和广义典型时间规整(Generalized CanonicalTime Warping,GCTW)等。有研究以人体关节角度消除太极拳视频背景的干扰和不同太极拳视频中人体大小的不同影响，利用DTW算法对不同时间点的视频帧进行配准，但要求配准序列维度一致。CTW算法则将DTW和典型相关性分析(CCA)相结合，在对齐不同尺寸信号时执行特征选择和降维。GCTW算法扩展了CTW，用于处理两个以上视角的场景数据序列，使用高斯牛顿法求解配准矩阵。常用的空间对齐方法PnP(perspective-n-point)用于求解相机位姿、旋转和位置，常用于AR、相机位置跟踪等领域。
DTW要求数据有相同维度，不能用于多模态数据。此外，DTW采用动态规划来求解配准矩阵，时间复杂度是序列长度的二次方。GCTW与CTW都利用了浅层表达学习方法，基于原始图片的线性投影选取特征表达，但其非线性表达能力有限，尤其是原始数据存在非线性关系和局部几何结构时性能欠佳，且对多模态数据特征考虑不足。而常用的相机位姿估计方法PnP对于同时刻同一对象的视频记录处理能力好，但是对于不同对象和不同时间的相机位姿估计效果较差。
发明内容
针对现有技术中的上述不足，本发明提供的一种太极拳训练动作的交叉模态评估方法提高太极拳运动招式完成度评价准确度。
为了达到上述发明目的，本发明采用的技术方案为：一种太极拳训练动作的交叉模态评估方法，包括以下步骤：
S1、太极运动过程中，采集Mocap数据和视频数据；
S2、对采集的Mocap数据进行预处理，生成新的Mocap数据；
S3、对采集的视频数据进行聚类处理，生成视频数据的代表性帧；
S4、基于新的Mocap数据和视频数据的代表性帧，进行时空交错对齐，得到对齐好的太极拳Mocap标准数据序列A和运动视频序列B；
S5、基于对齐好的太极拳Mocap标准数据序列A和运动视频序列B，进行太极拳训练动作评估。
进一步地：所述步骤S2分为以下分步骤：
S21、对采集的Mocap数据进行降噪处理，生成降噪后的运动捕捉序列帧矩阵G＝[g1，g2，...，gN]T；
其中，N为运动捕捉序列帧矩阵的矩阵分量总数；
S22、通过模糊均值聚类算法将降噪后的运动捕捉序列帧矩阵G＝[g1，g2，...，gN]T分为多个不同语义的运动片段序列；
S23、通过低秩矩阵补全算法将多个不同语义的运动片段序列进行数据恢复，获得新的Mocap数据。
上述进一步方案的有益效果为：本发明首先对数据进行去噪和缺失数据重构，可以充分挖掘人体运动数据内在信息。
进一步地：所述步骤S21包括以下分步骤：
S21-1、利用有序子空间聚类算法对Mocap数据进行分割，并构造矩阵M；
其中，矩阵
Figure BDA0003193569550000031
表示N行N-1列的矩阵，其表达式为：
Figure BDA0003193569550000032
S21-2、根据矩阵M和Mocap数据的系数矩阵Z，确定矩阵ZM；
其中，系数矩阵
Figure BDA0003193569550000033
S21-3、对矩阵ZM构建惩罚项最小化的l1，2范数，获得降噪后的运动捕捉序列帧矩阵G＝[g1，g2，...，gN]T；
其中，对矩阵ZM构建惩罚项最小化的l1，2范数的目标函数为：
Figure BDA0003193569550000034
式中，E为噪声信号，λ1，λ2是惩罚系数，F为约束范数，K为采集的Mocap数据构成的矩阵。
上述进一步方案的有益效果为：本发明对太极拳运动序列去噪，提高了重构恢复后的运动数据序列的还原度，有助于太极拳运动招式的评估。
进一步地：所述步骤S22中的模糊均值聚类算法具体为：
S22-1、通过第一公式计算运动捕捉序列帧矩阵G当前的第一聚类中心ci；
其中，第一公式具体为：
Figure BDA0003193569550000041
式中，uij∈(0，1)是第j个运动捕捉序列帧矩阵分量的隶属度函数，且其为隶属矩阵U中的元素，i＝1，2，...，V，V为聚类中心的总数；gj为第j个运动捕捉序列帧矩阵分量，j＝1，2，...，N，N为运动捕捉序列帧矩阵分量的总数；t为加权指数，其中t＞＝1；
S22-2、基于计算的第一聚类中心ci，计算当前价值函数，其具体为：
Figure BDA0003193569550000042
式中，U是隶属矩阵，dij＝||ci-gj||是第i个第一聚类中心与第j个运动捕捉序列帧矩阵分量之间的欧氏距离；
S22-3、判断当前价值函数的值是否小于设定阈值或其与上一次价值函数的值之差是否小于设定阈值；
若是，则进入步骤S22-5；
若否，则进入步骤S22-4；
S22-4、通过第二公式计算新的隶属矩阵U，并返回步骤S22-1；
其中，第二公式具体为：
Figure BDA0003193569550000043
S22-5、停止模糊均值聚类算法，将通过价值函数生成的多个模糊组，作为分段处理后的运动片段序列。
上述进一步方案的有益效果为：通过模糊均值聚类分段处理后的片段运动数据低秩性更好，可以通过该特性来重构恢复缺失元素。
进一步地：所述步骤S23具体为：
S23-1、对多个不同语义的运动片段序列使用低秩矩阵补全算法进行数据恢复，获得恢复后的数据；
其中，低秩矩阵补全算法的表达式具体为：
Figure BDA0003193569550000051
式中，H为不同语义的运动片段序列，β为调整参数，
Figure BDA0003193569550000052
为平滑约束项，
Figure BDA0003193569550000053
表示运动片段序列H在Hilbert空间中的隐式映射，rank(*)为求秩函数，O是N×N矩阵，定义如下：
Figure BDA0003193569550000054
S23-2、将降噪后的运动捕捉序列帧矩阵与恢复后的数据进行置换，生成新的Mocap数据；
其中，新的Mocap数据为X＝[x1，x2，...，xN]T。
上述进一步方案的有益效果为：本发明基于核学习的低秩矩阵补全模型，进行缺失运动数据重构恢复，使得重构数据接近真实运动轨迹。
进一步地：所述步骤S3具体为：对采集的视频数据进行聚类处理，生成第二聚类中心，选取距离第二聚类中心距离最短的帧作为代表性帧；其距离计算公式d(Y1，Y2)具体为：
d(Y1，Y2)＝(Y1-Y2)(Y1-Y2)T
式中，Y1和Y2均为视频数据的运动描述符。
上述进一步方案的有益效果为：本发明通过对视频数据使用模糊均值聚类算法进行处理，有助于三维运动捕捉关节被投影并与视频数据的二维关节空间对齐，提高了太极拳运动招式完成度评价准确度。
进一步地：所述步骤S4包括以下分步骤：
S41、基于Mocap数据的采样时间指数和视频数据的采样时间指数，通过线性映射公式进行全局时间对齐，获得时间规整数据；
其中，线性映射公式具体为：
tvideo＝a*tmocap+b
式中，tmocap为Mocap数据的采样时间指数，tvideo为视频数据的采样时间指数；b为时间偏移，a为时间尺度；
S42、基于时间规整数据，更新当前的帧映射关系，对三维运动捕捉关节点和二维关节点使用相机投影模型进行全局空间对齐，并通过吉布斯似然函数计算相机姿态；
其中，吉布斯似然函数表达式具体为：
Figure BDA0003193569550000061
式中，Pq为3D点，pq为2D点，q＝1，2，...，Q，Q为三维运动捕捉关节点或二维关节点的总数，3D点属于三维运动捕捉关节点，2D点属于二维关节点；θ为已知的内部摄像机参数，(R，c)是相机姿态，D为衡量2D点之间的距离，相机投影模型Φ(Pq|R，c，θ)将3D点Pq投影到2D点；
S43、基于新的Mocap数据和代表性帧，通过边缘栈式深度时间规整算法进行局部时间对齐，获得新的时间规整数据；
其中，边缘栈式深度时间规整算法的表达式J(θx，θy，Tx，Ty)具体为：
Figure BDA0003193569550000071
式中，Tx和Ty均为指定时间规整的分量矩阵，γ为正则项的惩罚因子，ω为指定时间配准矩阵正则项，v是惩罚常数，ψ(X)和ψ(Y)分别为新的Mocap数据X和代表性帧Y的投影矩阵的重构表达，f(X；θx)为用于训练新的Mocap数据X的神经网络最后一层的激活函数，g(Y；θy)为为用于训练代表性帧Y的神经网络最后一层的激活函数，θx和θy，为网络参数；
S44、基于获得新的时间规整数据，判断相机姿态(R，c)是否收敛；
若相机姿态(R，c)收敛，则进入步骤S45；
若相机姿态(R，c)不收敛，则返回步骤S42；
S45、基于收敛的相机姿态(R，c)下的对齐后的2D点与真实点的平移偏移，通过局部空间对齐计算每个2D点对真实点的额外平移偏移，计算后取误差中值，并通过该误差中值调整2D点位置，得到对齐好的太极拳Mocap标准数据序列A和运动视频序列B。
上述进一步方案的有益效果为：采用全局时间对齐和全局空间对齐的方法，充分考虑了数据形式的嵌入复杂性，有效提高了跨模态数据配准的准确率，有效提高太极拳运动序列评估结果。
进一步地：所述步骤S5包括以下分步骤：
S51、基于太极拳Mocap标准数据序列A和运动视频序列B，通过人体关节角度差异公式计算角度特征距离；
其中，人体关节角度差异公式具体为：
Figure BDA0003193569550000081
式中，DAngle(A，B)为角度特征距离，Bm为运动视频序列B中的第m帧，B′m为在太极拳Mocap标准数据序列A中与Bm帧对应的帧，
Figure BDA0003193569550000082
为第m帧的关节角度函数；k为Mocap标准数据序列A或运动视频序列B中帧的总数；
S52、基于太极拳Mocap标准数据序列A和运动视频序列B，通过人体关节运动速度差异公式计算速度特征距离；
其中，人体关节运动速度差异公式具体为：
Figure BDA0003193569550000083
式中，DSpeed(A，B)为速度特征距离；
Figure BDA0003193569550000084
为关节速度函数；
S53、基于角度特征距离和速度特征距离，通过距离值映射公式，分别计算对应的距离值映射得分；
其中，距离值映射得分的计算公式具体为：
S＝α(D-τ)
式中，D为速度特征距离或者角度特征距离，α和τ为给定的映射参数，S为距离值映射得分；
S54、将角度特征距离的映射值得分和速度特征距离的映射值得分之和的平均值，作为运动视频序列B的评估得分，完成太极拳训练动作的评估。
上述进一步方案的有益效果为：本发明对配准后的太极拳运动序列通过计算角度和速度距离差异进行评估，提高了评估的准确度。
本发明的有益效果为：
(1)针对运动数据缺失问题，本发明结合模糊聚类和基于核学习的低秩矩阵补全模型，进行缺失运动数据重构恢复，使得重构数据接近真实运动轨迹。
(2)本发明采用显性非线性函数来挖掘数据集中的非线性结构，提出了边缘栈式深度时间规整(Margin Stacked Deep Canonical Time Warping，MSDCTW)算法，在DCTW基础上加入了边缘自编码正则化项，以自编码约束项来增强每个序列数据低维表达的重构能力，减少信息的损失，对多模态序列进行时间对齐。
(3)对配准后的太极拳运动序列通过计算角度和速度距离差异进行评估。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，在本发明的一个实施例中，一种太极拳训练动作的交叉模态评估方法，包括以下步骤：
S1、太极运动过程中，采集Mocap数据和视频数据；
S2、对采集的Mocap数据进行预处理，生成新的Mocap数据；
S3、对采集的视频数据进行聚类处理，生成视频数据的代表性帧；
S4、基于新的Mocap数据和视频数据的代表性帧，进行时空交错对齐，得到太极拳Mocap标准数据序列A和运动视频序列B；
S5、基于太极拳Mocap标准数据序列A和运动视频序列B，进行太极拳训练动作评估。
所述步骤S1中，Mocap数据由Vicon Nexus动作捕捉系统采集，Vicon Nexus动作捕捉系统由Nexus软件和12个红外相机组成，采样率为100HZ，Vicon Nexus运动捕获系统提取太极运动过程中精确的关节位置信息，提取的Mocap数据包含12个标记的人体三维关节位置，关节位置精度小于0.5mm；视频数据由独立Sony XV2100 720x480 DV相机采集，其记录速度为30FPS，记录的视频数据可以来自未知相机，如网络上下载的太极拳视频。
所述步骤S2分为以下分步骤：
S21、对采集的Mocap数据进行降噪处理，生成降噪后的运动捕捉序列帧矩阵G＝[g1，g2，...，gN]T；
其中，N为运动捕捉序列帧矩阵的矩阵分量总数；
S22、通过模糊均值聚类算法将降噪后的运动捕捉序列帧矩阵G＝[g1，g2，...，gN]T分为多个不同语义的运动片段序列；
S23、通过低秩矩阵补全算法将多个不同语义的运动片段序列进行数据恢复，获得新的Mocap数据。
在步骤S21中，将采集的Mocap数据表示为数据矩阵
Figure BDA0003193569550000101
Figure BDA0003193569550000102
其中P是每个样本点的维数，N表示样本点个数。利用样本自表达性质，即用样本本身重构数据，使得K＝KZ，其中
Figure BDA0003193569550000103
为系数矩阵，考虑Mocap数据的连续性，利用有序子空间聚类(Ordered Subspace Clustering，OSC)算法对Mocap数据进行分割，进而对其进行降噪处理，因此，上述步骤S21具体为：
S21-1、利用有序子空间聚类算法对Mocap数据进行分割，并构造矩阵M；
其中，矩阵
Figure BDA0003193569550000104
表示N行N-1列的矩阵，其表达式为：
Figure BDA0003193569550000111
S21-2、根据矩阵M和Mocap数据的系数矩阵Z，确定矩阵ZM；
其中，系数矩阵
Figure BDA0003193569550000112
S21-3、对矩阵ZM构建惩罚项最小化的11，2范数，获得降噪后的运动捕捉序列帧矩阵G＝[g1，g2，...，gN]T；
其中，对矩阵ZM构建惩罚项最小化的l1，2范数的目标函数为：
Figure BDA0003193569550000113
式中，E为噪声信号，λ1，λ2是惩罚系数，F为约束范数，K为采集的Mocap数据构成的矩阵。
在构造l1，2范数时，将含有噪声的数据矩阵K用字典里的原子进行线性逼近，并用F范数进行约束，去除数据矩阵K中的噪声信号。
所述步骤S22中的模糊均值聚类算法具体为：
S22-1、通过第一公式计算运动捕捉序列帧矩阵G当前的第一聚类中心ci；
其中，第一公式具体为：
Figure BDA0003193569550000114
式中，uij∈(0，1)是第j个运动捕捉序列帧矩阵分量的隶属度函数，且其为隶属矩阵U中的元素，i＝1，2，...，V，V为聚类中心的总数；gj为第j个运动捕捉序列帧矩阵分量，j＝1，2，...，N，N为运动捕捉序列帧矩阵分量的总数；t为加权指数，其中t＞＝1；
S22-2、基于计算的第一聚类中心ci，计算当前价值函数，其具体为：
Figure BDA0003193569550000121
式中，U是隶属矩阵，dij＝||ci-gj||是第i个第一聚类中心与第j个运动捕捉序列帧矩阵分量之间的欧氏距离；
S22-3、判断当前价值函数的值是否小于设定阈值或其与上一次价值函数的值之差是否小于设定阈值；
若是，则进入步骤S22-5；
若否，则进入步骤S22-4；
S22-4、通过第二公式计算新的隶属矩阵U，并返回步骤S22-1；
其中，第二公式具体为：
Figure BDA0003193569550000122
S22-5、停止模糊均值聚类算法，将通过价值函数生成的多个模糊组，作为分段处理后的运动片段序列。
通过模糊均值聚类分段处理后的片段运动数据低秩性更好，可以通过该特性来重构恢复缺失元素
所述步骤S23具体为：
S23-1、对多个不同语义的运动片段序列使用低秩矩阵补全算法进行数据恢复，获得恢复后的数据；
其中，低秩矩阵补全算法的表达式具体为：
Figure BDA0003193569550000123
式中，H为不同语义的运动片段序列，β为调整参数，
Figure BDA0003193569550000124
为平滑约束项，
Figure BDA0003193569550000125
表示运动片段序列H在Hilbert空间中的隐式映射，rank(*)为求秩函数，O是N×N矩阵，定义如下：
Figure BDA0003193569550000131
S23-2、将降噪后的运动捕捉序列帧矩阵与恢复后的数据进行置换，生成新的Mocap数据；
其中，新的Mocap数据为X＝[x1，x2，...，xN]T。
本发明基于核学习的低秩矩阵补全模型，进行缺失运动数据重构恢复，使得重构数据接近真实运动轨迹。
所述步骤S3具体为：对采集的视频数据进行聚类处理，生成第二聚类中心，选取距离第二聚类中心距离最短的帧作为代表性帧；其距离计算公式d(Y1，Y2)具体为：
d(Y1，Y2)＝(Y1-Y2)(Y1-Y2)T
式中，Y1和Y2均为视频数据的运动描述符。
所述步骤S4包括以下分步骤：
S41、基于Mocap数据的采样时间指数和视频数据的采样时间指数，通过线性映射公式进行全局时间对齐，获得时间规整数据；
其中，线性映射公式具体为：
tvideo＝a*tmocap+b
式中，tmocap为Mocap数据的采样时间指数，tvideo为视频数据的采样时间指数；b为时间偏移，a为时间尺度；
S42、基于时间规整数据，更新当前的帧映射关系，对三维运动捕捉关节点和二维关节点使用相机投影模型进行全局空间对齐，并通过吉布斯似然函数计算相机姿态；
其中，吉布斯似然函数表达式具体为：
Figure BDA0003193569550000141
式中，Pq为3D点，pq为2D点，q＝1，2，...，Q，Q为三维运动捕捉关节点或二维关节点的总数，3D点属于三维运动捕捉关节点，2D点属于二维关节点；θ为已知的内部摄像机参数，(R，c)是相机姿态，D为衡量2D点之间的距离，相机投影模型Φ(Pq|R，c，θ)将3D点Pq投影到2D点；
S43、基于新的Mocap数据和代表性帧，通过边缘栈式深度时间规整算法进行局部时间对齐，获得新的时间规整数据；
其中，边缘栈式深度时间规整算法的表达式J(θx，θy，Tx，Ty)具体为：
Figure BDA0003193569550000142
式中，Tx和Ty均为指定时间规整的分量矩阵，γ为正则项的惩罚因子，ω为指定时间配准矩阵正则项，v是惩罚常数，ψ(X)和ψ(Y)分别为新的Mocap数据X和代表性帧Y的投影矩阵的重构表达，f(X；θx)为用于训练新的Mocap数据X的神经网络最后一层的激活函数，g(Y；θy)为为用于训练代表性帧Y的神经网络最后一层的激活函数，θx和θy，为网络参数；
S44、基于获得新的时间规整数据，判断相机姿态(R，c)是否收敛；
若相机姿态(R，c)收敛，则进入步骤S45；
若相机姿态(R，c)不收敛，则返回步骤S42；
S45、基于收敛的相机姿态(R，c)下的对齐后的2D点与真实点的平移偏移，通过局部空间对齐计算每个2D点对真实点的额外平移偏移，计算后取误差中值，并通过该误差中值调整2D点位置，得到对齐好的太极拳Mocap标准数据序列A和运动视频序列B。
所述真实点属于三维运动捕捉关节点。
所述步骤S5包括以下分步骤：
S51、基于太极拳Mocap标准数据序列A和运动视频序列B，通过人体关节角度差异公式计算角度特征距离；
其中，人体关节角度差异公式具体为：
Figure BDA0003193569550000151
式中，DAngle(A，B)为角度特征距离，Bm为运动视频序列B中的第m帧，B′m为在太极拳Mocap标准数据序列A中与Bm帧对应的帧，
Figure BDA0003193569550000152
为第m帧的关节角度函数；k为Mocap标准数据序列A或运动视频序列B中帧的总数；
S52、基于太极拳Mocap标准数据序列A和运动视频序列B，通过人体关节运动速度差异公式计算速度特征距离；
其中，人体关节运动速度差异公式具体为：
Figure BDA0003193569550000153
式中，DSpeed(A，B)为速度特征距离；
Figure BDA0003193569550000154
为关节速度函数；
S53、基于角度特征距离和速度特征距离，通过距离值映射公式，分别计算对应的距离值映射得分；
其中，距离值映射得分的计算公式具体为：
S＝α(D-τ)
式中，D为速度特征距离或者角度特征距离，α和τ为给定的映射参数，S为距离值映射得分；
S54、将角度特征距离的映射值得分和速度特征距离的映射值得分之和的平均值，作为运动视频序列B的评估得分，完成太极拳训练动作的评估。
本发明通过Vicon Nexus动作捕捉系统采集太极运动过程的Mocap数据，通过独立Sony XV2100 720x480 DV相机采集视频数据；采用有序子空间聚类算法对Mocap数据进行分割，生成降噪后的运动捕捉序列帧矩阵，并利用模糊均值聚类算法生成运动片段序列，将所述去噪后的运动捕捉序列帧矩阵与所述恢复后的数据进行置换，实现整体运动捕捉数据重构，生成新的Mocap数据；根据采集的视频数据，通过模糊均值聚类算法进行处理，并选取距离聚类中心距离最短的帧作为代表性帧；采用Vicon Nexus运动捕获系统提取太极运动过程中精确的三维关节数据，并使用OpenPose实现实时的2D人体姿态估计和二维关节数据检测并提取；
基于视频数据和Mocap数据的采样频率，进行全局时间对齐；将三维关节数据投影到二维关节数据进行空间对齐；基于运动数据序列和代表性帧，通过边缘栈式深度时间规整算法进行局部时间对齐，再执行全局空间对齐以重新估计摄像机姿态，通过马尔可夫链蒙特卡罗(MCMC)的摄像机姿态估计算法进行多次迭代，得到对齐的太极拳Mocap标准数据序列A和运动视频序列B；根据太极拳Mocap标准数据序列A和运动视频序列B，通过计算人体关节角度差异和人体关节运动速度差，将结果带入映射表达式，计算出结果取平均值，将最后得到的值作为评分结果，完成太极拳运动招式的评估。
本发明的有益效果为：
针对运动数据缺失问题,本发明结合模糊聚类和基于核学习的低秩矩阵补全模型，进行缺失运动数据重构恢复，使得重构数据接近真实运动轨迹。
本发明采用显性非线性函数来挖掘数据集中的非线性结构，提出了边缘栈式深度时间规整(Margin Stacked Deep Canonical Time Warping，MSDCTW)算法，在DCTW基础上加入了边缘自编码正则化项，以自编码约束项来增强每个序列数据低维表达的重构能力，减少信息的损失，对多模态序列进行时间对齐，对配准后的太极拳运动序列通过计算角度和速度距离差异进行评估。
在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (8)

1.一种太极拳训练动作的交叉模态评估方法，其特征在于，包括以下步骤：
S1、太极运动过程中，采集Mocap数据和视频数据；
S2、对采集的Mocap数据进行预处理，生成新的Mocap数据；
S3、对采集的视频数据进行聚类处理，生成视频数据的代表性帧；
S4、基于新的Mocap数据和视频数据的代表性帧，进行时空交错对齐，得到对齐好的太极拳Mocap标准数据序列A和运动视频序列B；
S5、基于对齐好的太极拳Mocap标准数据序列A和运动视频序列B，进行太极拳训练动作评估。
2.根据权利要求1所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S2分为以下分步骤：
S21、对采集的Mocap数据进行降噪处理，生成降噪后的运动捕捉序列帧矩阵G＝[g1,g2,…,gN]T；
其中，N为运动捕捉序列帧矩阵的矩阵分量总数；
S22、通过模糊均值聚类算法将降噪后的运动捕捉序列帧矩阵G＝[g1,g2,…,gN]T分为多个不同语义的运动片段序列；
S23、通过低秩矩阵补全算法将多个不同语义的运动片段序列进行数据恢复，获得新的Mocap数据。
3.根据权利要求2所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S21包括以下分步骤：
S21-1、利用有序子空间聚类算法对Mocap数据进行分割，并构造矩阵M；
其中，矩阵
Figure FDA0003193569540000011
Figure FDA0003193569540000012
表示N行N－1列的矩阵，其表达式为：
Figure FDA0003193569540000021
S21-2、根据矩阵M和Mocap数据的系数矩阵Z，确定矩阵ZM；
其中，系数矩阵
Figure FDA0003193569540000022
S21-3、对矩阵ZM构建惩罚项最小化的l1,2范数，获得降噪后的运动捕捉序列帧矩阵G＝[g1,g2,…,gN]T；
其中，对矩阵ZM构建惩罚项最小化的l1,2范数的目标函数为：
Figure FDA0003193569540000023
式中，E为噪声信号，λ1,λ2是惩罚系数，F为约束范数，K为采集的Mocap数据构成的矩阵。
4.根据权利要求2所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S22中的模糊均值聚类算法具体为：
S22-1、通过第一公式计算运动捕捉序列帧矩阵G当前的第一聚类中心ci；
其中，第一公式具体为：
Figure FDA0003193569540000024
式中，uij∈(0,1)是第j个运动捕捉序列帧矩阵分量的隶属度函数，且其为隶属矩阵U中的元素，i＝1,2,…,V，V为聚类中心的总数；gj为第j个运动捕捉序列帧矩阵分量，j＝1,2,…,N，N为运动捕捉序列帧矩阵分量的总数；t为加权指数，其中t>＝1；
S22-2、基于计算的第一聚类中心ci，计算当前价值函数，其具体为：
Figure FDA0003193569540000031
式中，U是隶属矩阵，dij＝||ci-gj||是第i个第一聚类中心与第j个运动捕捉序列帧矩阵分量之间的欧氏距离；
S22-3、判断当前价值函数的值是否小于设定阈值或其与上一次价值函数的值之差是否小于设定阈值；
若是，则进入步骤S22-5；
若否，则进入步骤S22-4；
S22-4、通过第二公式计算新的隶属矩阵U，并返回步骤S22-1；
其中，第二公式具体为：
Figure FDA0003193569540000032
S22-5、停止模糊均值聚类算法，将通过价值函数生成的多个模糊组，作为分段处理后的运动片段序列。
5.根据权利要求2所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S23具体为：
S23-1、对多个不同语义的运动片段序列使用低秩矩阵补全算法进行数据恢复，获得恢复后的数据；
其中，低秩矩阵补全算法的表达式具体为：
Figure FDA0003193569540000033
式中，H为不同语义的运动片段序列，β为调整参数，
Figure FDA0003193569540000034
为平滑约束项，
Figure FDA0003193569540000035
表示运动片段序列H在Hilbert空间中的隐式映射，rank(*)为求秩函数，O是N×N矩阵，定义如下：
Figure FDA0003193569540000041
S23-2、将降噪后的运动捕捉序列帧矩阵与恢复后的数据进行置换，生成新的Mocap数据；
其中，新的Mocap数据为X＝[x1,x2,…,xN]T。
6.根据权利要求1所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S3具体为：对采集的视频数据进行聚类处理，生成第二聚类中心，选取距离第二聚类中心距离最短的帧作为代表性帧；其距离计算公式d(Y1,Y2)具体为：
d(Y1,Y2)＝(Y1-Y2)(Y1-Y2)T
式中，Y1和Y2均为视频数据的运动描述符。
7.根据权利要求1所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S4包括以下分步骤：
S41、基于Mocap数据的采样时间指数和视频数据的采样时间指数，通过线性映射公式进行全局时间对齐，获得时间规整数据；
其中，线性映射公式具体为：
tvideo＝a*tmocap+b
式中，tmocap为Mocap数据的采样时间指数，tvideo为视频数据的采样时间指数；b为时间偏移，a为时间尺度；
S42、基于时间规整数据，更新当前的帧映射关系，对三维运动捕捉关节点和二维关节点使用相机投影模型进行全局空间对齐，并通过吉布斯似然函数计算相机姿态；
其中，吉布斯似然函数表达式具体为：
Figure FDA0003193569540000051
式中，Pq为3D点，pq为2D点，q＝1,2,…,Q，Q为三维运动捕捉关节点或二维关节点的总数，3D点属于三维运动捕捉关节点，2D点属于二维关节点；θ为已知的内部摄像机参数，(R,c)是相机姿态，D为衡量2D点之间的距离，相机投影模型Φ(Pq|R,c,θ)将3D点Pq投影到2D点；
S43、基于新的Mocap数据和代表性帧，通过边缘栈式深度时间规整算法进行局部时间对齐，获得新的时间规整数据；
其中，边缘栈式深度时间规整算法的表达式J(θx,θy,Tx,Ty)具体为：
Figure FDA0003193569540000052
式中，Tx和Ty均为指定时间规整的分量矩阵，γ为正则项的惩罚因子，ω为指定时间配准矩阵正则项，v是惩罚常数，ψ(X)和ψ(Y)分别为新的Mocap数据X和代表性帧Y的投影矩阵的重构表达，f(X；θx)为用于训练新的Mocap数据X的神经网络最后一层的激活函数，g(Y；θy)为为用于训练代表性帧Y的神经网络最后一层的激活函数，θx和θy,为网络参数；
S44、基于获得新的时间规整数据，判断相机姿态(R,c)是否收敛；
若相机姿态(R,c)收敛，则进入步骤S45；
若相机姿态(R,c)不收敛，则返回步骤S42；
S45、基于收敛的相机姿态(R,c)下的对齐后的2D点与真实点的平移偏移，通过局部空间对齐计算每个2D点对真实点的额外平移偏移，计算后取误差中值，并通过该误差中值调整2D点位置，得到对齐好的太极拳Mocap标准数据序列A和运动视频序列B。
8.根据权利要求1所述的太极拳训练动作的交叉模态评估方法，其特征在于，所述步骤S5包括以下分步骤：
S51、基于太极拳Mocap标准数据序列A和运动视频序列B，通过人体关节角度差异公式计算角度特征距离；
其中，人体关节角度差异公式具体为：
Figure FDA0003193569540000061
式中，DAngle(A,B)为角度特征距离，Bm为运动视频序列B中的第m帧，B′m为在太极拳Mocap标准数据序列A中与Bm帧对应的帧，
Figure FDA0003193569540000062
为第m帧的关节角度函数；k为Mocap标准数据序列A或运动视频序列B中帧的总数；
S52、基于太极拳Mocap标准数据序列A和运动视频序列B，通过人体关节运动速度差异公式计算速度特征距离；
其中，人体关节运动速度差异公式具体为：
Figure FDA0003193569540000063
式中，DSpeed(A,B)为速度特征距离；
Figure FDA0003193569540000064
为关节速度函数；
S53、基于角度特征距离和速度特征距离，通过距离值映射公式，分别计算对应的距离值映射得分；
其中，距离值映射得分的计算公式具体为：
S＝α(D-τ)
式中，D为速度特征距离或者角度特征距离，α和τ为给定的映射参数，S为距离值映射得分；
S54、将角度特征距离的映射值得分和速度特征距离的映射值得分之和的平均值，作为运动视频序列B的评估得分，完成太极拳训练动作的评估。
CN202110884652.6A 2021-08-03 2021-08-03 一种太极拳训练动作的交叉模态评估方法 Active CN113591726B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110884652.6A CN113591726B (zh) 2021-08-03 2021-08-03 一种太极拳训练动作的交叉模态评估方法
LU501883A LU501883B1 (de) 2021-08-03 2022-04-20 Eine modalübergreifende bewertungsmethode für tai-chi- trainingsbewegungen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110884652.6A CN113591726B (zh) 2021-08-03 2021-08-03 一种太极拳训练动作的交叉模态评估方法

Publications (2)

Publication Number Publication Date
CN113591726A true CN113591726A (zh) 2021-11-02
CN113591726B CN113591726B (zh) 2023-07-14

Family

ID=78254492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110884652.6A Active CN113591726B (zh) 2021-08-03 2021-08-03 一种太极拳训练动作的交叉模态评估方法

Country Status (2)

Country Link
CN (1) CN113591726B (zh)
LU (1) LU501883B1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114618147A (zh) * 2022-03-08 2022-06-14 电子科技大学 一种太极拳康复训练动作识别方法
WO2023077659A1 (zh) * 2021-11-04 2023-05-11 中国科学院深圳先进技术研究院 基于融合信息的太极拳识别方法、终端设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
US20160216770A1 (en) * 2015-01-28 2016-07-28 Electronics And Telecommunications Research Institute Method and system for motion based interactive service
US20170084070A1 (en) * 2015-09-21 2017-03-23 TuringSense Inc. System and method for capturing and analyzing motions
US20180096259A1 (en) * 2016-09-30 2018-04-05 Disney Enterprises, Inc. Deep-learning motion priors for full-body performance capture in real-time
CN109255293A (zh) * 2018-07-31 2019-01-22 浙江理工大学 基于计算机视觉的模特走秀台步评价方法
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
CN112183184A (zh) * 2020-08-13 2021-01-05 浙江大学 基于非同步视频的运动捕捉方法
CN112288766A (zh) * 2020-10-28 2021-01-29 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
CN113196283A (zh) * 2018-03-30 2021-07-30 麻省理工学院 使用射频信号的姿态估计

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
US20160216770A1 (en) * 2015-01-28 2016-07-28 Electronics And Telecommunications Research Institute Method and system for motion based interactive service
US20170084070A1 (en) * 2015-09-21 2017-03-23 TuringSense Inc. System and method for capturing and analyzing motions
US20180096259A1 (en) * 2016-09-30 2018-04-05 Disney Enterprises, Inc. Deep-learning motion priors for full-body performance capture in real-time
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
CN113196283A (zh) * 2018-03-30 2021-07-30 麻省理工学院 使用射频信号的姿态估计
CN109255293A (zh) * 2018-07-31 2019-01-22 浙江理工大学 基于计算机视觉的模特走秀台步评价方法
CN110728220A (zh) * 2019-09-30 2020-01-24 上海大学 基于人体动作骨骼信息的体操辅助训练方法
CN112183184A (zh) * 2020-08-13 2021-01-05 浙江大学 基于非同步视频的运动捕捉方法
CN112288766A (zh) * 2020-10-28 2021-01-29 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FOTINI PATRONA等: "Motion analysis: Action detection, recognition and evaluation based on motion capture data", vol. 76, pages 612 - 622, XP085329793, DOI: 10.1016/j.patcog.2017.12.007 *
MICKAËL TITS等: "UMONS-TAICHI: A multimodal motion capture dataset of expertise in Taijiquan gestures", vol. 19, pages 1214 - 1221 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023077659A1 (zh) * 2021-11-04 2023-05-11 中国科学院深圳先进技术研究院 基于融合信息的太极拳识别方法、终端设备及存储介质
CN114618147A (zh) * 2022-03-08 2022-06-14 电子科技大学 一种太极拳康复训练动作识别方法
CN114618147B (zh) * 2022-03-08 2022-11-15 电子科技大学 一种太极拳康复训练动作识别方法

Also Published As

Publication number Publication date
LU501883B1 (de) 2022-11-17
CN113591726B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN108875588B (zh) 基于深度学习的跨摄像头行人检测跟踪方法
Jiang et al. Action recognition scheme based on skeleton representation with DS-LSTM network
Efros et al. Recognizing action at a distance
Elgammal et al. Tracking people on a torus
US8755569B2 (en) Methods for recognizing pose and action of articulated objects with collection of planes in motion
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
US20160042227A1 (en) System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
US20080187174A1 (en) System and Method for Detecting and Tracking Features in Images
CN113591726B (zh) 一种太极拳训练动作的交叉模态评估方法
Kaâniche et al. Gesture recognition by learning local motion signatures
Li et al. Automatic detection and analysis of player action in moving background sports video sequences
CN111310659A (zh) 基于增进式图卷积神经网络的人体动作识别方法
CN101770568A (zh) 基于仿射不变点及光流计算的目标自动识别和跟踪方法
Lu et al. A robust technique for motion-based video sequences temporal alignment
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Loy et al. Monocular 3d reconstruction of human motion in long action sequences
Zhu et al. Action recognition in broadcast tennis video using optical flow and support vector machine
Ren et al. An investigation of skeleton-based optical flow-guided features for 3D action recognition using a multi-stream CNN model
Bertasius et al. Learning discriminative motion features through detection
Giannarou et al. Content-based surgical workflow representation using probabilistic motion modeling
Cuiping Badminton video analysis based on player tracking and pose trajectory estimation
CN116958872A (zh) 一种羽毛球运动的智能化辅助训练方法及系统
Elaoud et al. Weighted linear combination of distances within two manifolds for 3D human action recognition
CN113673327A (zh) 一种基于人体姿态估计的罚球命中预测方法
Li et al. An automatic framework for generating Labanotation scores from continuous motion capture data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant