CN112381035A - 一种基于骨骼关键点运动轨迹的动作相似度评价方法 - Google Patents

一种基于骨骼关键点运动轨迹的动作相似度评价方法 Download PDF

Info

Publication number
CN112381035A
CN112381035A CN202011339338.1A CN202011339338A CN112381035A CN 112381035 A CN112381035 A CN 112381035A CN 202011339338 A CN202011339338 A CN 202011339338A CN 112381035 A CN112381035 A CN 112381035A
Authority
CN
China
Prior art keywords
motion
key points
curve
acquiring
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011339338.1A
Other languages
English (en)
Inventor
徐杰
刘永辉
房兰涛
谢恩鹏
韩继泽
李帅
杨唤晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yunman Intelligent Technology Co ltd
Original Assignee
Shandong Yunman Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yunman Intelligent Technology Co ltd filed Critical Shandong Yunman Intelligent Technology Co ltd
Priority to CN202011339338.1A priority Critical patent/CN112381035A/zh
Publication of CN112381035A publication Critical patent/CN112381035A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于骨骼关键点运动轨迹的动作相似度评价方法。方法包括：采集参照标准动作的视频画面,基于卷积神经网络模型获取人体骨骼关键点坐标，选取骨骼关键点中动作影响关键点，绘制每个关键点的运动曲线。固定拍摄角度，获取被对比动作的视频画面，基于卷积神经网络模型模型获取人体骨骼关键点坐标。选取骨骼关键点中动作影响关键点，绘制每个关键点的运动曲线。将两个对比动作的各个骨骼点的运动曲线进行归一化等预处理处理。然后通过曲线相似度评价算法获取每条曲线的相似度评分。最后通过加权汇总每个点的相似度评分获取整体动作的相似度评分。本发明基于图像的AI处理，不需要外在其他传感器等设备进行有效数据采集，简单方便。

Description

一种基于骨骼关键点运动轨迹的动作相似度评价方法
技术领域
本发明申请涉及信息技术领域，尤其是涉及视频图像处理中的一种基于骨骼关键点运动轨迹的动作相似度评价方法。
背景技术
随着人们生活水平的提高，人们对运动健身的需求越来越多，目前线下体育场馆及健身房锻炼及学习各种运动已经不能满足人们的需求，尤其在疫情期间，人们不能去体育场馆和健身房，线上进行健身及学习体育运动已经深入人们的观念，线上自主学习健身、足球、篮球、瑜伽的需求日趋旺盛，在线对各种体育动作进行评价的变得尤其重要。
传统以外的方式是人工对用户上传的各种视频进行打分，这种评价方式工作强度大，效率低下，且存在评价结果比较滞后的问题。
发明内容
本发明提出了一种基于骨骼关键点运动轨迹的动作相似度评价方法，通过深度学习算法获取人体关键点，采样动作影响关键点的运动轨迹点评价整体动作与标准动作的相似度，该方式可以客观且高效的进行动作相似度评价，助力用户通过在线体育运动软件自主学习，该方法包括以下步骤：
一种基于骨骼关键点运动轨迹的动作相似度评价方法，其特征在于，该方法包括以下步骤：
1)获取参考动作的视频画面，通过卷积神经网络模型获取人体关键点坐标。
2)选取动作影响关键的骨骼关键点坐标作为计算关键点，将每一个关键点的运动曲线进行保存，用作动作对比使用。
3)固定拍摄角度，获取被对比人待对比动作的视频画面，通过卷积神经网络模型获取人体关键点坐标。
4)选取动作影响关键的骨骼关键点坐标作为计算关键点，获取每一个关键点的运动曲线。
5)将参考动作和对比动作的每一个骨骼关键点曲线进行归一化处理，固定在同一坐标体系内。
6)将每一个计算关键点归一化后的运动曲线通过曲线相似度评价算法进行相似度计算。
7)将运动影响关键计算点的运动曲线相似度进行加权平均处理，但不限于加权平均处理获取整个动作的相似度评分。
优选的，对归一化处理后的曲线通过弗雷歇距离算法进行相似度评价。
优选的，将各个关键点的运动曲线的相似度评价分数，通过对所有点的运动评分进行统一加权平均和方差计算方式获得可以反映整体动作相似性的评分。
本发明的优点在于：通过动作视频画面进行图像处理获取运动人体骨骼关键点，通过对对应运动项目的分析选取影响动作的骨骼关键点作为计算关键点，可以保留运动动作关键信息的前提下减少相似度计算量。将两个对比动作的关键点运动曲线通过归一化等处理固定在同一坐标体系内，这样做可以去除两个对比动作实施人在身高、体重方面对运动动作实施的影响。该方式可以客观且高效的进行动作相似度评价，助力用户通过在线体育运动软件自主学习。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为动作相似度评价服务实施示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在动作相似度评价后台服务中有两个模块，分别是视频计算服务器，该服务负责对收到的标准动作视频和待对比视频进行视频解帧，对图像进行处理获取运动关键点，并计算运动曲线的相似度返回结果；
标准动作维护模块负责对标准动作视频的录入及管理。
前端应用可以安装包括手机、平板或电脑等终端上，将用户的自拍动作视频上传到动作相似度评价后台服务的视频处理服务器上，后台自动对用户自拍动作视频和标准动作视频进行比对，并返回计算评分。
结合上图对相似度的计算进行举例说明，上图中，左侧作为标准动作视频，右侧作为用户自上传视频，后台服务对两个视频进行相似度计算。根据篮球运动特点，选取手部、手臂、躯干、脚部等12个关键点作为计算关键点(本申请选定12个关键点，但不限于此12个关键点)。对12个关键点的运动曲线获取相似度评分，结果如下表：
关键点 1 2 3 4 5 6
评分 0.6412 0.3757 0.7118 0.6156 0.3927 0.6430
关键点 7 8 9 10 11 12
评分 0.5189 0.54923 0.4290 0.5190 0.4137 0.5547
基于运动曲线，通过加权平均和方差的计算方式获取结果。
平均值：E＝0.5303775方差：S2＝0.011093
最终得分通过计算公式
score＝1-E/3-3*S2＝1-0.5303775/3-3*0.011093＝0.7899285
最终判定两个投篮动作的相似度为78.99％。

Claims (3)

1.一种基于骨骼关键点运动轨迹的动作相似度评价方法，其特征在于，该方法包括以下步骤：
1）获取参考动作的视频画面，通过卷积神经网络模型获取人体关键点坐标；
2）选取动作影响关键的骨骼关键点坐标作为计算关键点，将每一个关键点的运动曲线进行保存，用作动作对比；
3）固定拍摄角度，获取被对比人待对比动作的视频画面，通过卷积神经网络模型获取人体关键点坐标；
4）选取动作影响关键的骨骼关键点坐标作为计算关键点，获取每一个关键点的运动曲线；
5）将参考动作和对比动作的每一个骨骼关键点曲线进行归一化处理，固定在同一坐标体系内；
6）将每一个计算关键点归一化后的运动曲线通过曲线相似度评价算法进行相似度计算；
7）将运动影响关键计算点的运动曲线相似度进行加权平均处理，但不限于加权平均处理获取整个动作的相似度评分。
2.根据权利要求1所述的基于骨骼关键点运动轨迹的动作相似度评价方法，其特征在于，对归一化处理后的曲线通过弗雷歇距离算法进行相似度评价。
3.根据权利要求1所述的基于骨骼关键点运动轨迹的动作相似度评价方法，其特征在于，将各个关键点的运动曲线的相似度评价分数，通过对所有点的运动评分进行统一加权平均和方差计算方式获得可以反映整体动作相似性的评分。
CN202011339338.1A 2020-11-25 2020-11-25 一种基于骨骼关键点运动轨迹的动作相似度评价方法 Pending CN112381035A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011339338.1A CN112381035A (zh) 2020-11-25 2020-11-25 一种基于骨骼关键点运动轨迹的动作相似度评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011339338.1A CN112381035A (zh) 2020-11-25 2020-11-25 一种基于骨骼关键点运动轨迹的动作相似度评价方法

Publications (1)

Publication Number Publication Date
CN112381035A true CN112381035A (zh) 2021-02-19

Family

ID=74588396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011339338.1A Pending CN112381035A (zh) 2020-11-25 2020-11-25 一种基于骨骼关键点运动轨迹的动作相似度评价方法

Country Status (1)

Country Link
CN (1) CN112381035A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966597A (zh) * 2021-03-04 2021-06-15 山东云缦智能科技有限公司 一种基于骨骼关键点的人体运动动作计数方法
CN113239797A (zh) * 2021-05-12 2021-08-10 中科视语(北京)科技有限公司 人体动作识别方法、装置及系统
CN113743319A (zh) * 2021-09-07 2021-12-03 三星电子（中国）研发中心 一种自监督型智能健身方案生成方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952289A (zh) * 2017-03-03 2017-07-14 中国民航大学 结合深度视频分析的WiFi目标定位方法
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110633608A (zh) * 2019-03-21 2019-12-31 广州中科凯泽科技有限公司 一种姿态图像的人体肢体相似度评估方法
CN110711374A (zh) * 2019-10-15 2020-01-21 石家庄铁道大学 多模态舞蹈动作评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952289A (zh) * 2017-03-03 2017-07-14 中国民航大学 结合深度视频分析的WiFi目标定位方法
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110633608A (zh) * 2019-03-21 2019-12-31 广州中科凯泽科技有限公司 一种姿态图像的人体肢体相似度评估方法
CN110711374A (zh) * 2019-10-15 2020-01-21 石家庄铁道大学 多模态舞蹈动作评价方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966597A (zh) * 2021-03-04 2021-06-15 山东云缦智能科技有限公司 一种基于骨骼关键点的人体运动动作计数方法
CN113239797A (zh) * 2021-05-12 2021-08-10 中科视语(北京)科技有限公司 人体动作识别方法、装置及系统
CN113239797B (zh) * 2021-05-12 2022-02-25 中科视语(北京)科技有限公司 人体动作识别方法、装置及系统
CN113743319A (zh) * 2021-09-07 2021-12-03 三星电子（中国）研发中心 一种自监督型智能健身方案生成方法和装置
CN113743319B (zh) * 2021-09-07 2023-12-26 三星电子（中国）研发中心 一种自监督型智能健身方案生成方法和装置

Similar Documents

Publication Publication Date Title
CN112381035A (zh) 一种基于骨骼关键点运动轨迹的动作相似度评价方法
CN108256433B (zh) 一种运动姿态评估方法及系统
CN108734104B (zh) 基于深度学习图像识别的健身动作纠错方法及系统
CN110711374B (zh) 多模态舞蹈动作评价方法
Li et al. [Retracted] Intelligent Sports Training System Based on Artificial Intelligence and Big Data
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN110428486B (zh) 虚拟互动的健身方法、电子设备及存储介质
CN113762133A (zh) 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN113663312B (zh) 一种基于微惯性的无器械健身动作质量评估方法
CN110490109A (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
CN113516005A (zh) 一种基于深度学习和姿态估计的舞蹈动作评价系统
CN111507301B (zh) 视频处理方法、装置、计算机设备以及存储介质
Choi et al. Motion recognition technology based remote Taekwondo Poomsae evaluation system
Huang et al. Intelligent yoga coaching system based on posture recognition
He et al. A new Kinect-based posture recognition method in physical sports training based on urban data
Sharma et al. Real-time recognition of yoga poses using computer vision for smart health care
CN112990089A (zh) 一种判断人体运动姿态的方法
CN116246347A (zh) 一种人体基本运动技能的标准判断方法及评分装置
CN111493881B (zh) 卡路里估计系统以及估计方法
CN115731608A (zh) 基于人体姿态估计的体育运动训练方法与系统
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及系统
CN113641856A (zh) 用于输出信息的方法和装置
CN114580471A (zh) 人体动作识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210219

RJ01 Rejection of invention patent application after publication