CN113345552A - 一种智能辅助指导舞蹈锻炼的方法及系统、移动端 - Google Patents

一种智能辅助指导舞蹈锻炼的方法及系统、移动端 Download PDF

Info

Publication number
CN113345552A
CN113345552A CN202110591140.0A CN202110591140A CN113345552A CN 113345552 A CN113345552 A CN 113345552A CN 202110591140 A CN202110591140 A CN 202110591140A CN 113345552 A CN113345552 A CN 113345552A
Authority
CN
China
Prior art keywords
dance
standard
user
mobile terminal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110591140.0A
Other languages
English (en)
Inventor
戴振华
肖磊
蔡鹏�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Hi Bao Technology Co ltd
Original Assignee
Hainan Hi Bao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Hi Bao Technology Co ltd filed Critical Hainan Hi Bao Technology Co ltd
Priority to CN202110591140.0A priority Critical patent/CN113345552A/zh
Publication of CN113345552A publication Critical patent/CN113345552A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明涉及一种智能辅助指导舞蹈锻炼的方法及系统、移动端，包括以下步骤：基于移动端摄像头获取用户当前的舞蹈动作影像；基于移动端处理器，将舞蹈动作影像拆分成逐帧视频图像，获得图形中人体关节点的三维空间坐标，并对三维空间坐标进行标准化处理；基于移动端处理器对标准的舞蹈动作影像进行逐帧标定，获取标准动作的三维空间坐标；基于移动端处理器调用图像叠加算法逐帧将虚拟形象的舞蹈动作和标准动作的三维空间坐标对应后进行重叠，得到叠加的视频影像；基于移动端或者投影至大屏显示端，向用户反馈计算的结果。系统克服了现有技术的捕捉、指导和反馈方面的不足，利用移动端拍摄的舞蹈视频进行处理，对比标准视频可以直接的反馈舞蹈的准确度，具有很好的参考价值。

Description

一种智能辅助指导舞蹈锻炼的方法及系统、移动端
技术领域
本发明属于舞蹈锻炼技术领域，具体涉及一种智能辅助指导舞蹈锻炼的方法及系统、移动端。
背景技术
目前的舞蹈锻炼方式需要在练功房，使用镜子进行动作的自我观察，自我调整，受限于环境，而且在舞蹈锻炼时与舞蹈演示视频脱节，要先看视频，再对着镜子跳舞，不能同时观察自己和标准舞蹈视频。
对于舞蹈的效果只能进行自我观察，自我对照，或者由教练进行动作辅导。在动作矫正上必须要通过交了的指导，无法自我矫正，也不能实时理解舞蹈的标准程度和消耗的卡路里量，锻炼的进度受限。
发明内容
本发明的目的在于提供一种智能辅助指导舞蹈锻炼的方法，克服了现有技术的不足，利用移动端拍摄的舞蹈视频进行处理，对比标准视频可以直接的反馈舞蹈的准确度，具有很好的参考价值。
为解决上述问题，本发明所采取的技术方案如下：
一种智能辅助指导舞蹈锻炼的方法，包括以下步骤：
(1)基于移动端摄像头获取用户当前的舞蹈动作影像；
(2)基于移动端处理器，将舞蹈动作影像拆分成逐帧视频图像，调用人体姿态追踪算法获得图形中人体关节点的三维空间坐标，并对三维空间坐标进行标准化处理，将三维空间坐标按时间顺序输入图形渲染器，得到虚拟形象的舞蹈动作；
(3)基于移动端处理器，对标准的舞蹈动作影像进行逐帧标定，获取标准动作的三维空间坐标；
(4)基于移动端处理器，调用图像叠加算法逐帧将虚拟形象的舞蹈动作和标准动作的三维空间坐标对应后进行重叠，得到叠加的视频影像；
(5)将标准动作的关节位置与用户的舞蹈动作的关节位置进行比较，并计算动作和动作之间的马氏距离，对马氏距离进行标定，映射到我们的动作打分空间，获得动作打分结果；
(6)对标准动作所消耗的卡路里进行线下测定，对比标准动作卡路里，计算用户的舞蹈动作所消耗的卡路里；
(7)基于移动端或者投影至大屏显示端，向用户反馈步骤(4)、(5)和(6)计算的结果。
进一步，所述人体关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚。
进一步，所述人体关节点的三维空间坐标以(x、y、z)表示关节的位置信息；(Qx、Qy、Qz、Qw)是以四元数的形式表示该关节的旋转信息，其中(Qx、Qy、Qz)是该关节旋转围绕的向量，Qw则为旋转的角度，并对每个关节的三维空间坐标进行编号。
进一步，所述动作打分通过计算所述用户的各个关节点与标准的关节点在三维空间上的马氏距离并将所得马氏距离求平均值进行比较，其中所述平均值越大表示姿态差距越大，反之平均值越小表示姿态差距越小，则评分更高。
进一步，所述根据计算的马氏距离测定用户的舞蹈动作所消耗的卡路里，通过逐个计算所述用户的各个关节点与标准的关节点在三维空间上的马氏距离，并设定用户的关节点高于标准的关节点时的马氏距离为正数，反之用户的关节点低于标准的关节点时的马氏距离为负数，将所得马氏距离求和进行比较，当和值为正数时用户的舞蹈动作所消耗的卡路里大于标准动作所消耗的卡路里，反之用户的舞蹈动作所消耗的卡路里小于标准动作所消耗的卡路里。
本发明还保护了一种智能辅助指导舞蹈锻炼的系统，包括
用户管理模块，用于对用户帐户及显示信息进行管理；
标准舞蹈模块，用于上传及管理标准舞蹈视频；
摄像头，用于拍摄获取用户的舞蹈动作视频；
图像分析模块，用于对用户的舞蹈动作视频和标准舞蹈视频进行逐帧分析，并获取各个关节点的三维空间坐标数据；
图像处理模块，用于建立虚拟形象的舞蹈图像，并将图像进行叠加；
打分模块，用于基于用户的舞蹈动作与标准舞蹈动作各个关节的马氏距离平均值得到用户的舞蹈评分；
卡路里计算模型，用于基于用户的舞蹈动作与标准舞蹈动作各个关节的马氏距离之和得到用户的卡路里消耗值；
投影模块，用于将图像和数据信息投影至大屏显示端。
本发明最后保护了一种移动端，移动终端包括：存储器、处理器及存储在存储器上并可在处理器上运行的舞蹈练习程序，舞蹈联系程序包括上述舞蹈锻炼系统中的模块，舞蹈练习程序被处理器执行时实现上述舞蹈锻炼方法的步骤。
本发明与现有技术相比较，具有以下有益效果：
1、本发明使用手机进行舞蹈人员的摄制，并在大屏投影装置进行投屏，达成练功房大幅镜子的效果，方便舞蹈人员在家庭镜子尺寸不足的情况下，达成练功房大幅镜子的自我观察的效果；手机和电视机相比练功房普及性高，大幅降低了通过舞蹈进行锻炼的环境要求，同时对手机计算能力进行优化，利用手机端优势，减少网络传输内容与时滞，实现实时反馈与指导。
2、本发明使用手机，在大屏投射舞蹈人员自身动作的同时，投射舞蹈锻炼的标准动作视频，舞蹈演示的标准视频与舞蹈人员的自身动作视频进行同步对比，提升锻炼效果。
3、本发明使用人体姿势识别技术，运用深度学习模型，对人体动作进行捕捉，之后再次使用深度学习模型，与标准动作进行比较，达成智能舞蹈教练的效果，最后输出动作标准程度打分，对舞蹈人员动作进行辅导。
4、本发明使用人体姿势识别技术进行动作标准程度反馈、动作卡路里消耗效果反馈、动作虚拟动画人物反馈，强化动作反馈效果，提升舞蹈人员的动作反馈兴趣。
附图说明
图1为一种智能辅助指导舞蹈锻炼的方法的流程示意图。
图2为一种智能辅助指导舞蹈锻炼的系统组成原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明所述一种智能辅助指导舞蹈锻炼的方法，包括以下步骤：
(1)基于移动端摄像头获取用户当前的舞蹈动作影像；
(2)基于移动端处理器，将舞蹈动作影像拆分成逐帧视频图像，调用人体姿态追踪算法获得图形中人体关节点的三维空间坐标，并对三维空间坐标进行标准化处理，将三维空间坐标按时间顺序输入图形渲染器，得到虚拟形象的舞蹈动作；
(3)基于移动端处理器，对标准的舞蹈动作影像进行逐帧标定，获取标准动作的三维空间坐标；
(4)基于移动端处理器，调用图像叠加算法逐帧将虚拟形象的舞蹈动作和标准动作的三维空间坐标对应后进行重叠，得到叠加的视频影像；
(5)将标准动作的关节位置与用户的舞蹈动作的关节位置进行比较，并计算动作和动作之间的马氏距离，对马氏距离进行标定，映射到我们的动作打分空间，获得动作打分结果；
(6)对标准动作所消耗的卡路里进行线下测定，对比标准动作卡路里，计算用户的舞蹈动作所消耗的卡路里；
(7)基于移动端或者投影至大屏显示端，向用户反馈步骤(4)、(5)和(6)计算的结果。
为了明确关节点，人体关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚。
为了方便对三维空间坐标进行记录，人体关节点的三维空间坐标以以(x、y、z)表示关节的位置信息；(Qx、Qy、Qz、Qw)是以四元数的形式表示该关节的旋转信息，其中(Qx、Qy、Qz)是该关节旋转围绕的向量，Qw则为旋转的角度，并对每个关节的三维空间坐标进行编号。
为了方便打分，通过计算用户的各个关节点与标准的关节点在三维空间上的马氏距离并将所得马氏距离求平均值进行比较，其中平均值越大表示姿态差距越大，反之平均值越小表示姿态差距越小，则评分更高。
为了方便计算舞蹈动作所消耗的卡路里值，通过逐个计算用户的各个关节点与标准的关节点在三维空间上的马氏距离，并设定用户的关节点高于标准的关节点时的马氏距离为正数，反之用户的关节点低于标准的关节点时的马氏距离为负数，将所得马氏距离求和进行比较，当和值为正数时用户的舞蹈动作所消耗的卡路里大于标准动作所消耗的卡路里，反之用户的舞蹈动作所消耗的卡路里小于标准动作所消耗的卡路里。
本发明还保护了一种智能辅助指导舞蹈锻炼的系统，包括
用户管理模块，用于对用户帐户及显示信息进行管理；
标准舞蹈模块，用于上传及管理标准舞蹈视频；
摄像头，用于拍摄获取用户的舞蹈动作视频；
图像分析模块，用于对用户的舞蹈动作视频和标准舞蹈视频进行逐帧分析，并获取各个关节点的三维空间坐标数据；
图像处理模块，用于建立虚拟形象的舞蹈图像，并将图像进行叠加；
打分模块，用于基于用户的舞蹈动作与标准舞蹈动作各个关节的马氏距离平均值得到用户的舞蹈评分；
卡路里计算模型，用于基于用户的舞蹈动作与标准舞蹈动作各个关节的马氏距离之和得到用户的卡路里消耗值；
投影模块，用于将图像和数据信息投影至大屏显示端。
本发明最后保护了一种移动端，移动终端包括：存储器、处理器及存储在存储器上并可在处理器上运行的舞蹈练习程序，舞蹈联系程序包括上述舞蹈锻炼系统中的模块，舞蹈练习程序被处理器执行时实现上述舞蹈锻炼方法的步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种智能辅助指导舞蹈锻炼的方法，其特征在于：包括以下步骤：
(1)基于移动端摄像头获取用户当前的舞蹈动作影像；
(2)基于移动端处理器，将舞蹈动作影像拆分成逐帧视频图像，调用人体姿态追踪算法获得图形中人体关节点的三维空间坐标，并对三维空间坐标进行标准化处理，将三维空间坐标按时间顺序输入图形渲染器，得到虚拟形象的舞蹈动作；
(3)基于移动端处理器，对标准的舞蹈动作影像进行逐帧标定，获取标准动作的三维空间坐标；
(4)基于移动端处理器，调用图像叠加算法逐帧将虚拟形象的舞蹈动作和标准动作的三维空间坐标对应后进行重叠，得到叠加的视频影像；
(5)将标准动作的关节位置与用户的舞蹈动作的关节位置进行比较，并计算动作和动作之间的马氏距离，对马氏距离进行标定，映射到我们的动作打分空间，获得动作打分结果；
(6)对标准动作所消耗的卡路里进行线下测定，根据计算的马氏距离测定用户的舞蹈动作，对比标准动作卡路里，计算用户的舞蹈动作所消耗的卡路里；
(7)基于移动端或者投影至大屏显示端，向用户反馈步骤(4)、(5)和(6)计算的结果。
2.根据权利要求1所述的一种智能辅助指导舞蹈锻炼的方法，其特征在于：所述人体关节点包括头、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩关节中心、脊、髋关节中心、右髋、右膝盖、右踝、右脚、左髋、左膝盖、左踝、左脚。
3.根据权利要求2所述的一种智能辅助指导舞蹈锻炼的方法，其特征在于：所述人体关节点的三维空间坐标以(x、y、z)表示关节的位置信息；(Qx、Qy、Qz、Qw)是以四元数的形式表示该关节的旋转信息，其中(Qx、Qy、Qz)是该关节旋转围绕的向量，Qw则为旋转的角度，并对每个关节的三维空间坐标进行编号。
4.根据权利要求1所述的一种智能辅助指导舞蹈锻炼的方法，其特征在于：所述动作打分通过计算所述用户的各个关节点与标准的关节点在三维空间上的马氏距离并将所得马氏距离求平均值进行比较，其中所述平均值越大表示姿态差距越大，反之平均值越小表示姿态差距越小，则评分更高。
5.根据权利要求1所述的一种智能辅助指导舞蹈锻炼的方法，其特征在于：所述根据计算的马氏距离测定用户的舞蹈动作所消耗的卡路里，通过逐个计算所述用户的各个关节点与标准的关节点在三维空间上的马氏距离，并设定用户的关节点高于标准的关节点时的马氏距离为正数，反之用户的关节点低于标准的关节点时的马氏距离为负数，将所得马氏距离求和进行比较，当和值为正数时用户的舞蹈动作所消耗的卡路里大于标准动作所消耗的卡路里，反之用户的舞蹈动作所消耗的卡路里小于标准动作所消耗的卡路里。
6.一种采用权利要求1-5任一所述方法的基于人体姿态识别技术指导舞蹈锻炼的系统，其特征在于：包括
用户管理模块，用于对用户帐户及显示信息进行管理；
标准舞蹈模块，用于上传及管理标准舞蹈视频；
摄像头，用于拍摄获取用户的舞蹈动作视频；
图像分析模块，用于对用户的舞蹈动作视频和标准舞蹈视频进行逐帧分析，并获取各个关节点的三维空间坐标数据；
图像处理模块，用于建立虚拟形象的舞蹈图像，并将图像进行叠加；
打分模块，用于基于用户的舞蹈动作与标准舞蹈动作各个关节的马氏距离平均值得到用户的舞蹈评分；
卡路里计算模型，用于基于用户的舞蹈动作与标准舞蹈动作各个关节的马氏距离之和得到用户的卡路里消耗值；
投影模块，用于将图像和数据信息投影至大屏显示端。
7.一种移动端，其特征在于，所述移动终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的舞蹈练习程序，所述舞蹈联系程序包括权利要求6中的模块，所述舞蹈练习程序被所述处理器执行时实现如权利要求1-5中任一项所述的舞蹈锻炼的方法的步骤。
CN202110591140.0A 2021-05-28 2021-05-28 一种智能辅助指导舞蹈锻炼的方法及系统、移动端 Withdrawn CN113345552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110591140.0A CN113345552A (zh) 2021-05-28 2021-05-28 一种智能辅助指导舞蹈锻炼的方法及系统、移动端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110591140.0A CN113345552A (zh) 2021-05-28 2021-05-28 一种智能辅助指导舞蹈锻炼的方法及系统、移动端

Publications (1)

Publication Number Publication Date
CN113345552A true CN113345552A (zh) 2021-09-03

Family

ID=77472010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110591140.0A Withdrawn CN113345552A (zh) 2021-05-28 2021-05-28 一种智能辅助指导舞蹈锻炼的方法及系统、移动端

Country Status (1)

Country Link
CN (1) CN113345552A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273222A (zh) * 2022-06-23 2022-11-01 武汉元淳传媒有限公司 一种基于人工智能的多媒体互动分析控制管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273222A (zh) * 2022-06-23 2022-11-01 武汉元淳传媒有限公司 一种基于人工智能的多媒体互动分析控制管理系统
CN115273222B (zh) * 2022-06-23 2024-01-26 广东园众教育信息化服务有限公司 一种基于人工智能的多媒体互动分析控制管理系统

Similar Documents

Publication Publication Date Title
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
US5184295A (en) System and method for teaching physical skills
US4891748A (en) System and method for teaching physical skills
US9195304B2 (en) Image processing device, image processing method, and program
CN112464918B (zh) 健身动作纠正方法、装置、计算机设备和存储介质
Anilkumar et al. Pose estimated yoga monitoring system
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
US9418470B2 (en) Method and system for selecting the viewing configuration of a rendered figure
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
CN103678859A (zh) 动作比对方法与动作比对系统
CN110298218B (zh) 交互式健身装置和交互式健身系统
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
Liu et al. A real-time interactive tai chi learning system based on vr and motion capture technology
KR20100033205A (ko) 골프연습 보조 시스템 및 그 방법
CN113345552A (zh) 一种智能辅助指导舞蹈锻炼的方法及系统、移动端
JP2001236505A (ja) 座標推定方法、座標推定装置および座標推定システム
Jan et al. Augmented Tai-Chi chuan practice tool with pose evaluation
CN112818800A (zh) 一种基于人体骨骼点深度图像的体育动作评估方法及系统
US20140073383A1 (en) Method and system for motion comparison
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
JP2021191356A (ja) 矯正内容学習装置、動作矯正装置およびプログラム
CN114067953A (zh) 康复训练方法、系统及计算机可读存储介质
CN107592483B (zh) 一种智能辅助学习系统及方法
Zhang et al. Behavior Recognition On Multiple View Dimension
CN114356100B (zh) 健身动作指导方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210903