CN112149472A - 一种基于人工智能的肢体动作识别比对方法 - Google Patents

一种基于人工智能的肢体动作识别比对方法 Download PDF

Info

Publication number
CN112149472A
CN112149472A CN201910576146.3A CN201910576146A CN112149472A CN 112149472 A CN112149472 A CN 112149472A CN 201910576146 A CN201910576146 A CN 201910576146A CN 112149472 A CN112149472 A CN 112149472A
Authority
CN
China
Prior art keywords
limb
standard
motion
data
compared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910576146.3A
Other languages
English (en)
Inventor
孙晓晖
肖红
刘英双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Qianhong Sports Technology Co ltd
Original Assignee
Guangzhou Qianhong Sports Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Qianhong Sports Technology Co ltd filed Critical Guangzhou Qianhong Sports Technology Co ltd
Priority to CN201910576146.3A priority Critical patent/CN112149472A/zh
Publication of CN112149472A publication Critical patent/CN112149472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于人工智能的肢体动作识别比对方法，包括以下步骤：S1，采集标准肢体动作数据，训练出标准动作模型；S2，采集待比对肢体动作数据；S3，将待比对肢体动作数据输入标准动作模型，分别提取标准肢体动作数据和待比对肢体动作数据中的肢体关键点数据；S4，根据标准肢体动作数据和待比对肢体动作数据中的肢体关键点数据计算待比对肢体动作与标准肢体动作之间的偏差，并对待比对肢体动作进行打分。本发明进行肢体动作识别比对的成本较低、方便性较高、效率较高，可应用于AI健身等场景。

Description

一种基于人工智能的肢体动作识别比对方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的肢体动作识别比对方法。
背景技术
目前应用于运动健身肢体动作姿态识别和教学指导的技术，主要有以下几大类：
1、使用加速度计、陀螺仪以及磁力计识别肢体姿态、动作和速度。此种方式固然有能快速和准确测量人体部位速度的能力，但是无论是教练和老师，还是学员，都需要穿戴相应设备，缺点是不方便、成本很高，难以普及；
2、使用专用贴身衣服和上面的传感器感知、识别肢体姿态、动作。使用特殊的衣服可以检测穿戴者的运动、呼吸、压力、体温，并且其中传感器的数量，类型和位置都是可以完全定制。这种方式同样需要无论是教练和老师，还是学员，都需要穿戴相应设备，缺点是不方便、成本很高，难以普及；
3、基于3D摄像头或者双目摄像头获取人体三维图像，并提取骨架点，具体采用可见光+红外光结合，或者根据两个摄像头的角度偏差，获取目标的平面和立体图像，提取关键点立体坐标的方法。这种方式同样无论是在教练和老师端，还是学员端，都需要配备相应设备，课程制作过程需要，学员习练过程同样需要；缺点一是成本较高；缺点二是所有教学内容需要重新拍摄制作；缺点三是便利性不好，场景受到限制；缺点四是目前主流技术智能识别15-20个骨骼点，且非常受当时光线和背景影响，在运动健身的实用性不高，体验不佳，在体感游戏中体验不佳，使用不广泛；
4、采用在人体关键点贴标注标签点的方式拍摄和识别。这种方式较为传统，缺点是需要投入大量人力和物力进行拍摄、制作和识别，成本非常高，效能很低。
综上所述，目前还难以低成本、高效率地完整了解健身动作整个过程中学员的动作规范程度，也无法基于此技术开发应用模式以提高线上运动健身的趣味性和参与感，导致线上运动健身难以达到好的效果，也难以坚持。
发明内容
本发明为至少在一定程度上解决上述技术问题，提供了一种吹风机。
本发明采用的技术方案如下：
一种基于人工智能的肢体动作识别比对方法，包括以下步骤：S1，采集标准肢体动作数据，训练出标准动作模型；S2，采集待比对肢体动作数据；S3，将所述待比对肢体动作数据输入所述标准动作模型，分别提取所述标准肢体动作数据和所述待比对肢体动作数据中的肢体关键点数据；S4，根据所述标准肢体动作数据和所述待比对肢体动作数据中的肢体关键点数据计算待比对肢体动作与标准肢体动作之间的偏差，并对待比对肢体动作进行打分。
所述方法应用于动作教学，所述标准肢体动作数据采集自老师的标准动作影像，所述待比对肢体动作数据采集自学员的实时学习影像。
肢体关键点包括头顶、鼻子、双肩、双肘、双手、双髋、双膝、双脚、下巴、背部两个点、脚尖、大腿中部、小腿中部。
所述的基于人工智能的肢体动作识别比对方法还包括：针对每个动作课程单独采集该动作课程对应的标准肢体动作数据，并根据该动作课程对应的标准肢体动作数据对所述标准动作模型进行进一步训练。
采用DeepLabCut深度神经网络训练出所述标准动作模型。
步骤S4包括同帧影像的动作比对和时间序列的动作比对。
所述同帧影像的动作比对包括：分别获取标准肢体动作和待比对肢体动作中关键点点与点之间的特征向量；计算标准肢体动作与待比对肢体动作中同一部位特征向量形成的角度；计算各个角度的权重；计算归一化角度值参数；计算惩罚因子；根据所述归一化角度值参数和所述惩罚因子得到打分值。
所述时间序列的动作比对包括：使用时间序列分割聚类算法TICC确定待比对肢体动作与标准肢体动作间的相似度，并根据所述相似度得到打分值。
所述方法应用于体感游戏，所述标准肢体动作数据采集自游戏规则，所述待比对肢体动作数据采集自游戏者的实时游戏影像。
本发明的有益效果：
1、本发明对人体全身、局部，可以自定义从20～60至更多个关键点，这对于运动健身的教学、武术指导和虚拟竞赛和体感游戏等场景来说，具备了可行性和更佳体验；
2、本发明采取的算法，允许对单一普通相机拍摄的视频进行三维姿态估计，现有普通手机相机即可满足，学员无需额外硬件成本，且非常便利；
3、本发明的比对不仅能进行同帧情况下的比对，还能进行整个流程的动作时间序列的比对，能更好的评估学员与专业老师之间的动作差异程度；
4、有些视频已经成为孤本，无法再拍摄，或者重新拍摄需要投入大量人力物力，本发明用于初次训练的标准动作影像，可以在现有视频基础上提取图片，无需重新拍摄，效率很高而成本很低；
5、本发明针对运动健身需求，做了特别训练，有了标准训练模型，而针对一个特定AI课程，通常采用标准训练模型即可，如果有特别要求，也只需要少量的训练数据(通常不超过200个)，相比一般深度学习的庞大数据集学习需求，效率大大提高；
6、本发明对于视频动作的分析，速度大为提高；
7、本发明对标准视频压缩具有很强的鲁棒性；
8、本发明对提高运动健身指导效果提升明显，同时可提升氛围和趣味性；
9、本发明对体感游戏等场景，可以提供人体局部(例如多个手指)的复杂组合动作来进行操控，比触屏和键鼠方式增加了新的玩法和体验。
附图说明
图1为本发明实施例的基于人工智能的肢体动作识别比对方法的流程图；
图2为本发明一个实施例的BP算法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的基于人工智能的肢体动作识别比对方法包括以下步骤：
S1，采集标准肢体动作数据，训练出标准动作模型。
S2，采集待比对肢体动作数据。
S3，将待比对肢体动作数据输入标准动作模型，分别提取标准肢体动作数据和待比对肢体动作数据中的肢体关键点数据。
S4，根据标准肢体动作数据和待比对肢体动作数据中的肢体关键点数据计算待比对肢体动作与标准肢体动作之间的偏差，并对待比对肢体动作进行打分。
在本发明的实施例中，基于人工智能的肢体动作识别比对方法可应用于动作教学，例如应用于AI运动健身私教、陪练、学员竞赛等，也可应用于体感游戏。
下面以将本发明的方法应用于动作教学为例进行详细说明。
在本发明的一个实施例中，标准肢体动作数据可采集自老师的标准动作影像，待比对肢体动作数据可采集自学员的实时学习影像，可采用DeepLabCut深度神经网络训练出标准动作模型。
具体地，本发明实施例的DeepLabCut深度神经网络使用50层ResNet(残差网络)和读出机制，首先从一批老师的标准动作视频中抓取图片进行标注(只需较少的数据集，一般少于200)，输入到DeepLabCut深度神经网络中进行训练，训练出标准动作模型。对于人体肢体的关键点，除了基本的头顶、鼻子、双肩、双肘、双手、双髋、双膝、双脚这些基本点外，针对运动健身特点，还增加下巴、背部两个点、脚尖、大腿中部、小腿中部的训练识别。
针对每个动作课程，还可单独采集该动作课程对应的标准肢体动作数据，并根据该动作课程对应的标准肢体动作数据对标准动作模型进行进一步训练。具体地，针对每个AI动作课程，针对对应老师的标准动作视频，根据动作速率和变化设定每秒帧数，提取需要的图片，输入上述标准动作模型进行识别。在有些情况下，需要监测更多部位，因此可再定义更多关键点，进行针对性训练，训练出该动作课程的特别模型。
其中，从老师的标准动作视频中截取的帧图片经过标注后，可由网络输入端输入标注好的数据集，然后中间经过50层残差网络和卷积操作，加上最后一层全连接网络最终得到标注好的关键点的帧图片。老师的关键点，即标准肢体动作数据中的关键点可作为动作比对的基准。
传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度爆炸，导致很深的网络无法训练。本发明实施例采用的残差网络在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出，可保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度，提升骨架关节抓取的效果。并且，本发明可以使用小批量数据集(人体14个关键点时少于200数据集；26个关键点少于400个数据集)也能达到很好的骨架关节抓取效果，减少了处理数据集的工作量。
对于学员的实时学习影像，可打开手机摄像头或电视机顶摄像头，采集学员的跟练动作推流上传到视频服务云端。
进一步地，云端可提取学员的视频画面，输入上述训练好的标准动作模型中，识别学员的关键点，即待比对肢体动作数据中的关键点。
通过上述方式所得到的老师和学员的标注好关键点的帧图片，可用于后续步骤S4的动作比对操作。
在本发明的一个实施例中，步骤S4包括同帧影像的动作比对和时间序列的动作比对，具体如下：
(1)同帧影像的动作比对
首先可分别获取标准肢体动作和待比对肢体动作中关键点点与点之间的特征向量。对于头顶、鼻子、双肩、双肘、双手、双髋、双膝、双脚14个骨骼点和下巴、背部两个点、脚尖、大腿中部、小腿中部这些特别跟踪点，在进行提取后，点与点之间可形成特征向量。
然后计算标准肢体动作与待比对肢体动作中同一部位特征向量形成的角度α，逐一计算可得角度值集合θ＝{α1，α2，α3……αn}，
其中，
Figure BDA0002112098930000051
求和后可得α(si)。
再计算各个角度的权重ωi：
Figure BDA0002112098930000052
之后计算归一化角度值参数D：
Figure BDA0002112098930000053
D表示的是某一帧待比对肢体动作与标准肢体动作之间的差异度。
在本发明的一个实施例中，可基于动作间的差异度，得出待比对肢体动作的准确率，准确率为100％与差异度的差值。其中，准确率高于第一百分比为优秀、准确率高于第二百分比为良好、准确率高于第三百分比为及格，第一至第三百分比默认值分别为90％、80％、70％，并可以由课程老师或课程制作者修改。
进一步地，还可计算惩罚因子f(αmax)：
Figure BDA0002112098930000054
当动作偏离一定程度分数将归零。
最后根据归一化角度值参数和惩罚因子得到打分值S：
Figure BDA0002112098930000055
(2)时间序列的动作比对
本发明可使用时间序列分割聚类算法TICC确定待比对肢体动作与标准肢体动作间的相似度，并根据相似度得到打分值。
应当理解的是，待比对肢体动作与标准肢体动作有大量随时间变化的高维信号。动作数据中还可包括老师和学员性别、老师和学员的身高、老师和学员的年龄、起始动作等。在没有标定的情况下，想发掘动作数据中隐藏的信息，即将信号划分为若干可能的状态，并标记每条信号的各段，就需要同时对数据进行两种操作：将各条数据进行分割、将分割结果各个聚类。
传统聚类方法考察信号各维度的绝对值，以确定信号间的相似度，本发明的时间序列分割聚类算法考察信号各维度之间的相关性，以确定信号间的相似度。时间序列分割聚类算法如下：
设有时间长度为T的原始信号：
x＝[x1，x2，…，xT]
其中每一时刻的信号xi为n维向量。
为了便于考察信号相关性，以每一时刻为基准，向前截取宽度为ww的一段：
Xi＝[xi-w+1，…，xi-1，xi]，i＝1，2，…，T
信号段Xi为nw维向量。
将所有信号段划分为K类，属于第j类的信号段序号集合记为Pj，j＝1，2，...，K。认为每一类信号段服从0均值高斯分布，其协方差逆矩阵为Θj，j＝1，2，...，K。这是一个nω×nω的矩阵。
Θj由ω×ω个子矩阵组成，每个子矩阵的尺寸为n×n。位置pq的子矩阵描述时刻p和时刻q之间，n个维度之间的协方差逆矩阵。
[0-ω+1，...p，...9，...0]
这里假设信号是非时变的，不同时刻信号之间的关系只和相对时间差有关；交换pq，其协方差逆阵互为转置。换句话说，Θj是个分块Toeplitz矩阵：
Figure BDA0002112098930000061
每条斜线上的子矩阵相同，对角对称斜线的子矩阵互为转置。
需要轮流求解两个问题：给定协方差逆矩阵Θj，求解信号段分类序号集合Pj；给定信号段分类序号集合Pj，求解协方差逆矩阵Θj。
Figure BDA0002112098930000071
对于信号段序号集合Pj的求解，可给定Θj，把信号段Xi归入j类的代价可以负对数似然表示：
Figure BDA0002112098930000072
另外考虑信号的连续性：相连信号段不同类时施加惩罚β。
Figure BDA0002112098930000073
两个代价构成经典的流水线调度问题，可以使用BP算法求解，参照图2，其核心思路是：在给第i个信号段分类时，只需考虑第i-1信号段分为各类时的代价即可。
对于逆协方差阵Θj的求解，可给定一类中所有信号段集合Pj，通过最小化其负对数似然总和，可以求解Θj。各类可以并行计算，故书写时省去下标j。
Figure BDA0002112098930000074
求和号内第一项和j无关，||表示集合内元素计数：
E1＝-|Pi|·logdet(θ)
求和号内第二项可以写成迹的形式：
Figure BDA0002112098930000075
其中，S是由Pj中所有信号段计算得到的当前协方差阵。
另外添加一个正则项：
E3＝||λ⊙Θ||1
其中λ为权重矩阵，⊙表示矩阵对位相乘。
根据前述，要求Θ是分块Toeplitz矩阵。
把问题稍作变换为如下形式，可以用ADMM算法快速求解：
minimize-logdetΘ+tr(S·Θ)+||λ⊙Z||1
subject toΘ＝Z，Z为分块Toeplitz矩阵
同时TICC算法聚类所需的样本数也较少。
进行分析整个学员与教练动作比对流程的时间序列一致性时，通过TICC算法计算各维度之间的相关性，以确定信号间的相似度，这个相似度值越大评分也高，值越小评分越低，小于一定值评分为0。
通过时间序列的动作比，能完整比对整个健身动作流程，对整个健身流程进行总体的跟踪评分，更有利于准确评估学员的动作规范程度，主要通过比对整个时间序列波形图，找到对应时间序列，计算教练的关节点和学员关节点之间的欧氏距离，从而评估结果。
此外，当本发明的基于人工智能的肢体动作识别比对方法应用于体感游戏时，标准肢体动作数据可采集自游戏规则，待比对肢体动作数据可采集自游戏者的实时游戏影像，具体的动作比对操作方式与上述将本发明的方法应用于动作教学类似，在此不再赘述。
基于本发明实施例的上述肢体动作识别比对方法，可搭建AI运动健身私教和陪练服务云服务/体感游戏识别与反馈平台的SaaS平台架构。平台可面向运动健身App，线下机构和内容提供者及体感游戏开发商和运营商可提供：包括了基本训练模型的训练环境；老师标准课程的AI训练视频上传接口；关键点标注个性化定义接口，标注点干涉调整接口；学员训练视频上传接口、分析结果反馈接口；玩家动作识别及操控接口。前端App/小程序/H5网页等可依据上述平台架构提供服务，包括AI私教助理：即时精准反馈；AI陪练：共同成长的虚拟人物或者配对伙伴；视频动作打卡、激励和奖励；学员挑战和竞赛、排位赛；精细的体感游戏操控；例如手指动作操控；运动和健身游戏操控。
本发明实施例的基于人工智能的肢体动作识别比对方法，具有以下有益效果：
1、本发明对人体全身、局部，可以自定义从20～60至更多个关键点，这对于运动健身的教学、武术指导和虚拟竞赛和体感游戏等场景来说，具备了可行性和更佳体验；
2、本发明采取的算法，允许对单一普通相机拍摄的视频进行三维姿态估计，现有普通手机相机即可满足，学员无需额外硬件成本，且非常便利；
3、本发明的比对不仅能进行同帧情况下的比对，还能进行整个流程的动作时间序列的比对，能更好的评估学员与专业老师之间的动作差异程度；
4、有些视频已经成为孤本，无法再拍摄，或者重新拍摄需要投入大量人力物力，本发明用于初次训练的标准动作影像，可以在现有视频基础上提取图片，无需重新拍摄，效率很高而成本很低；
5、本发明针对运动健身需求，做了特别训练，有了标准训练模型，而针对一个特定AI课程，通常采用标准训练模型即可，如果有特别要求，也只需要少量的训练数据(通常不超过200个)，相比一般深度学习的庞大数据集学习需求，效率大大提高；
6、本发明对于视频动作的分析，速度大为提高；
7、本发明对标准视频压缩具有很强的鲁棒性；
8、本发明对提高运动健身指导效果提升明显，同时可提升氛围和趣味性；
9、本发明对体感游戏等场景，可以提供人体局部(例如多个手指)的复杂组合动作来进行操控，比触屏和键鼠方式增加了新的玩法和体验。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于人工智能的肢体动作识别比对方法，其特征在于，包括以下步骤：
S1，采集标准肢体动作数据，训练出标准动作模型；
S2，采集待比对肢体动作数据；
S3，将所述待比对肢体动作数据输入所述标准动作模型，分别提取所述标准肢体动作数据和所述待比对肢体动作数据中的肢体关键点数据；
S4，根据所述标准肢体动作数据和所述待比对肢体动作数据中的肢体关键点数据计算待比对肢体动作与标准肢体动作之间的偏差，并对待比对肢体动作进行打分。
2.根据权利要求1所述的基于人工智能的肢体动作识别比对方法，其特征在于，所述方法应用于动作教学，所述标准肢体动作数据采集自老师的标准动作影像，所述待比对肢体动作数据采集自学员的实时学习影像。
3.根据权利要求2所述的基于人工智能的肢体动作识别比对方法，其特征在于，肢体关键点包括头顶、鼻子、双肩、双肘、双手、双髋、双膝、双脚、下巴、背部两个点、脚尖、大腿中部、小腿中部。
4.根据权利要求3所述的基于人工智能的肢体动作识别比对方法，其特征在于，还包括：针对每个动作课程单独采集该动作课程对应的标准肢体动作数据，并根据该动作课程对应的标准肢体动作数据对所述标准动作模型进行进一步训练。
5.根据权利要求4所述的基于人工智能的肢体动作识别比对方法，其特征在于，采用DeepLabCut深度神经网络训练出所述标准动作模型。
6.根据权利要求5所述的基于人工智能的肢体动作识别比对方法，其特征在于，步骤S4包括同帧影像的动作比对和时间序列的动作比对。
7.根据权利要求6所述的基于人工智能的肢体动作识别比对方法，其特征在于，所述同帧影像的动作比对包括：
分别获取标准肢体动作和待比对肢体动作中关键点点与点之间的特征向量；
计算标准肢体动作与待比对肢体动作中同一部位特征向量形成的角度；
计算各个角度的权重；
计算归一化角度值参数；
计算惩罚因子；
根据所述归一化角度值参数和所述惩罚因子得到打分值。
8.根据权利要求7所述的基于人工智能的肢体动作识别比对方法，其特征在于，所述时间序列的动作比对包括：
使用时间序列分割聚类算法TICC确定待比对肢体动作与标准肢体动作间的相似度，并根据所述相似度得到打分值。
9.根据权利要求1所述的基于人工智能的肢体动作识别比对方法，其特征在于，所述方法应用于体感游戏，所述标准肢体动作数据采集自游戏规则，所述待比对肢体动作数据采集自游戏者的实时游戏影像。
CN201910576146.3A 2019-06-28 2019-06-28 一种基于人工智能的肢体动作识别比对方法 Pending CN112149472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910576146.3A CN112149472A (zh) 2019-06-28 2019-06-28 一种基于人工智能的肢体动作识别比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910576146.3A CN112149472A (zh) 2019-06-28 2019-06-28 一种基于人工智能的肢体动作识别比对方法

Publications (1)

Publication Number Publication Date
CN112149472A true CN112149472A (zh) 2020-12-29

Family

ID=73870129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910576146.3A Pending CN112149472A (zh) 2019-06-28 2019-06-28 一种基于人工智能的肢体动作识别比对方法

Country Status (1)

Country Link
CN (1) CN112149472A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113117306A (zh) * 2021-03-19 2021-07-16 江门职业技术学院 一种瑜伽辅助学习方法、系统和存储介质
CN113283384A (zh) * 2021-06-17 2021-08-20 贝塔智能科技(北京)有限公司 一种基于肢体识别技术的太极互动系统
CN113538873A (zh) * 2021-07-28 2021-10-22 东莞全芯物联科技有限公司 一种基于图像识别技术的ai坐姿矫正摄像头
CN115049967A (zh) * 2022-08-12 2022-09-13 成都信息工程大学 体操学习动作检测方法、装置以及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113117306A (zh) * 2021-03-19 2021-07-16 江门职业技术学院 一种瑜伽辅助学习方法、系统和存储介质
CN113283384A (zh) * 2021-06-17 2021-08-20 贝塔智能科技(北京)有限公司 一种基于肢体识别技术的太极互动系统
CN113538873A (zh) * 2021-07-28 2021-10-22 东莞全芯物联科技有限公司 一种基于图像识别技术的ai坐姿矫正摄像头
CN115049967A (zh) * 2022-08-12 2022-09-13 成都信息工程大学 体操学习动作检测方法、装置以及电子设备
CN115049967B (zh) * 2022-08-12 2022-11-11 成都信息工程大学 体操学习动作检测方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
CN112149472A (zh) 一种基于人工智能的肢体动作识别比对方法
Jalal et al. Students’ behavior mining in e-learning environment using cognitive processes with information technologies
Jiang et al. Seeing invisible poses: Estimating 3d body pose from egocentric video
US20210000404A1 (en) Systems and methods for automated recognition of bodily expression of emotion
Ji Research on basketball shooting action based on image feature extraction and machine learning
Garg et al. Yoga pose classification: a CNN and MediaPipe inspired deep learning approach for real-world application
Nakai et al. Prediction of basketball free throw shooting by openpose
Tao et al. Moving poselets: A discriminative and interpretable skeletal motion representation for action recognition
CN106650687A (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
Avola et al. Deep temporal analysis for non-acted body affect recognition
CN113255522B (zh) 基于时间一致性的个性化运动姿态估计与分析方法及系统
Meng et al. A video information driven football recommendation system
CN110633004A (zh) 基于人体姿态估计的交互方法、装置和系统
Shah et al. Yoga pose detection using posenet and k-nn
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
Hachaj et al. Human actions recognition on multimedia hardware using angle-based and coordinate-based features and multivariate continuous hidden Markov model classifier
CN116844084A (zh) 一种融合区块链的体育运动动作分析与纠正方法及系统
Freire-Obregón et al. Decontextualized I3D ConvNet for ultra-distance runners performance analysis at a glance
Neher et al. Hyperstacknet: A hyper stacked hourglass deep convolutional neural network architecture for joint player and stick pose estimation in hockey
CN115188051A (zh) 基于对象行为的在线课程推荐方法及系统
Almasi Human movement analysis from the egocentric camera view
Zhao et al. Recognition of Volleyball Player's Arm Motion Trajectory and Muscle Injury Mechanism Analysis Based upon Neural Network Model
Acı et al. Accuracy Detection in Some Sports Training Using Computer Vision and Deep Learning Techniques
CN106056093A (zh) 基于二分类进化特征学习的人体行为识别方法
Lessa et al. SoccerKicks: a Dataset of 3D dead ball kicks reference movements for humanoid robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201229