CN112487965B - 一种基于3d重构的智能健身动作指导方法 - Google Patents

一种基于3d重构的智能健身动作指导方法 Download PDF

Info

Publication number
CN112487965B
CN112487965B CN202011369682.5A CN202011369682A CN112487965B CN 112487965 B CN112487965 B CN 112487965B CN 202011369682 A CN202011369682 A CN 202011369682A CN 112487965 B CN112487965 B CN 112487965B
Authority
CN
China
Prior art keywords
user
motion
video
standard
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011369682.5A
Other languages
English (en)
Other versions
CN112487965A (zh
Inventor
李海天
黄颖
杨振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011369682.5A priority Critical patent/CN112487965B/zh
Publication of CN112487965A publication Critical patent/CN112487965A/zh
Application granted granted Critical
Publication of CN112487965B publication Critical patent/CN112487965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及智能设备技术领域，特别涉及一种基于3D重构的智能健身动作指导方法；所述方法包括采集用户运动视频，并标记出人体的关节点信息；对用户运动视频重建出用户3D运动模型；读取标准3D运动模型；将用户3D运动模型分别与不同标准3D运动模型进行尺度缩放匹配；选择出相似度最高的标准3D运动模型，并得出指导信息产生纠正引导视频；用户发出手势并产生与播放速率和播放进度相对应的控制指令；将接收到的用户运动视频、读取出的标准动作视频、指导信息和纠正引导视频合并成为一个视频，并通过屏幕反馈给用户；本发明对采集到的运动视频进行建立3D模型，将比对分析结果提供给用户，通过手势对播放进度进行控制，便于用户学习使用。

Description

一种基于3D重构的智能健身动作指导方法
技术领域
本发明涉及智能设备技术领域，特别涉及一种基于3D重构的智能健身动作指导方法。
背景技术
随着时代的迅猛发展，人们的生活质量不断提高，在物质生活得到满足下，越来越多的人开始关心身心健康。在生活节奏不断加速的当今，家庭室内的健身锻炼成为人们。
在进行健身锻炼的传统学习途径中，主要有通过收集相关锻炼动作资料自学、健身房教练指导两种途径；这两种途径对于运动准确性的评判主要是依据人的经验进行判断，这种方法对人的依赖性很高，效率却不高。并且对于自学这种途径也无法得到用户训练过程中的反馈信息并作出进一步指导。
目前，针对于上述技术问题，有相关研究人员提出了以深度学习等方法对运动学习者进行指导，例如中国专利CN2019111430877提出了一种深度学习的运动评判指导方法及系统；该专利通过采集用户动作的图像信息，并通过构建的检测模型进行人体目标检测以及进行目标个体的关键点信息检测，进一步的根据所述关键点信息获取用户动作信息且将用户动作信息与标准动作信息进行比对分析，以获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作的学习，以提高对动作的掌握程度。
还比如，中国专利CN2018112090223提出了一种基于动作识别技术的智能运动指导系统及方法；该专利将动作捕捉技术、机器视觉技术和图像识别技术和独创的运动学习模式相结合，采集用户端数据和标准数据进行多层级对比分析，对用户在学习过程中的动作进行规范化纠正，借助云端数据对用户训练信息进行整合分析，得出结论对用户提出运动指导意见。
这些指导系统将采集到的动作视频与标准动作视频进行比对，形成比对分析结果后显示出来，用户将根据显示结果自行改进动作。但是这些指导系统缺少对动作的3D刻画，并且现有的3D刻画技术缺乏比对；导致在对标准动作与实际动作进行比对时出现较大的误差，使得不能对用户动作进行准确且规范化的纠正。
发明内容
综合考虑上述指导系统的优缺点，本发明需要解决深度学习所需的大量数据量和运算量，同时要避免用户使用可穿戴设备进行数据的采集；基于此，本发明提供了能随时随地且准确而规范化地指导用户进行健身运动的标准化的系统，具体提出了一种基于3D重构的智能健身动作指导方法，用于指导用户(健身练习者)进行动作上的训练，以提高对动作的掌握程度。
本发明了提供一种基于3D重构的健身运动指导方法，包括以下步骤：
采集用户运动视频，并标记出人体的关节点信息；
对所述用户运动视频进行重建，按照人体关节点构建出用户3D运动模型；
从标准3D运动模型库中读取其中的标准3D运动模型；
将用户3D运动模型分别与不同标准3D运动模型进行尺度缩放匹配；
分别计算用户3D运动模型与不同标准3D运动模型中对应关节点在同一坐标系中的欧式距离，并计算出同一标准3D运动模型所对应的欧式距离和；
选择出相似度最高的即欧氏距离和最小的标准3D运动模型，并得出指导信息产生纠正引导视频；
用户发出手势并产生与播放速率和播放进度相对应的控制指令；
接收并响应于所述控制指令，从标准动作视频库中读取出对应的标准运动视频；
将接收到的用户运动视频、读取出的标准动作视频、指导信息和纠正引导视频合并成为一个视频，并通过屏幕反馈给用户。
进一步的，所述用户3D模型的形成过程包括：
计算出用户运动视频中用户目标的深度，并根据该深度重构出三维空间；
将建模完成的人体3D模型放置到三维空间中，并标识出所述人体3D模型的各个关节点；
调节各个关节点位置，使所述人体3D模型与拍摄出用户运动视频中姿势吻合；最终得到的人体3D模型即为重建后的用户3D运动模型。
进一步的，所述缩放匹配的过程包括右手坐标系缩放匹配或左手坐标系缩放匹配；
可选的，所述右手坐标系缩放匹配包括：
以标准3D运动模型的外轮廓的左脚位置作为三维坐标系原点；
以标准3D运动模型的头与左脚位置所在平面作为x-o-y平面建立右手坐标系；
把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合；
旋转标准3D运动模型使用户3D运动模型的头和左脚位置与标准3D运动模型的头和左脚位置同处于x-o-y平面；
通过缩放用户3D运动模型，使用户3D运动模型中左侧关节路径的长度与标准3D运动模型的对应路径的长度相等，从而使两个模型保持同一尺度；
可选的，所述左手坐标系缩放匹配包括：
以标准3D运动模型的外轮廓的右脚位置作为三维坐标系原点；
以标准3D运动模型的头与右脚位置所在平面作为x-o-y平面建立左手坐标系；
把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合；
旋转标准3D运动模型使用户3D运动模型的头和右脚位置与标准3D运动模型的头和右脚位置同处于x-o-y平面；
通过缩放用户3D运动模型，使用户3D运动模型中右侧关节路径的长度与标准3D运动模型的对应路径的长度相等，从而使两个模型保持同一尺度。
进一步的，得出指导信息包括按照用户3D运动模型与标准3D运动模型的相似度计算出动作评分；设定用户3D运动模型与标准3D运动模型的对应关节点之间的标准误差值，当两个3D运动模型的关节点的欧式距离超过其标准误差值时，给出修正动作的指导信息。
进一步的，产生纠正视频包括设定用户3D运动模型与标准3D运动模型的对应关节点之间的标准误差值，当两个3D运动模型的关节点的欧式距离超过其标准误差值时，则将位于用户3D运动模型的该关节点为起点，以标准3D运动模型中的该关节点为终点，采用引导箭头，将用户3D运动模型和标准3D运动模型构成纠正引导视频。
进一步的，所述控制指令包括暂停信号、下一节信号、上一节信号、快进信号、快退信号以及倍速播放信号，用于控制标准动作视频的播放进度和播放速度。
优选的，在通过屏幕反馈给用户视频后，将本次运动过程中模型匹配系统产生的用户运动信息包括指导信息和纠正引导视频储存进用户运动档案数据库中。
本发明的有益效果：
综上所述，本申请通过采集用户运动视频，采用知识图谱的方式对用户运动视频进行3D建模，能够更为准确地识别出真实的人体关节点，采用对抗网络学习的方式提取出人体的关节点并捕捉用户的运动动作，最后再按照单目深度的方式重建出用户运动视频的3D模型；由于人体体型和骨骼结构的个体性差异，标准动作数据和用户动作数据需要进行适应性匹配以提高指导水平；所以需要同时将标准动作视频也进行3D建模，将两者的3D模型进行比对，能够获取比对分析结果，将比对分析结果提供给用户，有利于用户据此进行动作的学习，以提高对动作的掌握程度；本申请不仅将纠正引导视频提供给用户，还将接收到的用户运动视频、标准动作视频以及指导信息共同合并成为一个视频，并通过屏幕反馈给用户，给用户提供更深入清晰的指导意见，另外本申请还可以通过手势对视频的播放进度进行控制，更加有利于初学者的学习。
附图说明
图1是本发明一种基于3D重构的智能健身指导方法的运行思路框图；
图2是本发明的一种基于3D重构的智能健身动作指导方法流程图；
图3是本发明的构造3D模型的流程图；
图4是本发明的右手坐标系的构建流程图；
图5是本发明的左手坐标系的构建流程图；
图6是本发明的用户通过控制指令控制视频播放的流程图；
图7是本发明的用户主动发出手势控制播放状态的流程图；
图8是本发明的自行触发控制播放的流程图；图9是本发明中将视频进行合并反馈给用户的流程图；
图10是本发明的指导系统需要通过屏幕反馈给用户的视频信息界面；
图11是图10视频信息所对应的文字信息界面。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提供的实现一种基于3D重构系统的健身指导方法，主要针对健身练习者自身运动不规范，且不便得到有效指导的问题，其核心思路如图1所示，包括：
用户进行健身运动时，视频采集系统将会拍摄用户的运动视频；
将用户的运动视频重建成3D运动模型；
对比分析用户3D运动模型和标准3D动作模型，并给出指导建议；
对于这个指导建议，一方面将用户运动视频、标准动作视频、纠正引导视频、指导信息合并成为一个视频，并通过屏幕反馈给用户，指导用户继续运动；另一方面将本次运动过程中模型匹配系统产生的用户运动信息包括指导信息和纠正引导视频储存进用户运动档案数据库中，指导用户改进动作。
用户将一个或多个摄像头组成视频采集系统，摄像头拍摄用户的运动视频，摄像头连接指导系统中的3D重构模块；3D重构模块将运动视频构造成用户3D运动模型，模型匹配系统将构造的用户3D运动模型与标准3D运动模型进行匹配，通过匹配程度给用户的动作打分，并分析出用户哪些动作不到位，需要如何改进，生成一个纠正视频，然后把用户的运动原视频、标准运动视频、纠正引导视频、指导信息(系统提示)四块视频信息一起投影到屏幕上，提示用户自己的运动状态、需要如何改进；用户可以通过对摄像头比手势控制，系统识别手势来控制运动视频和运动的进度。每次用户运动完成，为用户保存一份运动数据并存储到用户运动档案数据库中，让用户了解自己的缺点，并提示用户该如何改进，最终达到更有效地锻炼身体的目的。
在一个实施例中，一种基于3D重构系统的健身指导方法的具体解决方案如图2所示：
S1、采集用户运动视频，并标记出人体的关节点信息；
具体的，利用视频采集系统采集用户运动视频，当用户跟随播放的标准视频进行运动时，可以通过摄像头自动采集用户运动的视频信息。
S2、对所述用户运动视频进行重建，按照人体关节点构建出用户3D运动模型；
在一个实施例中，如图3所示，用户3D模型的形成过程包括：
S201、从用户运动视频中提取出人体的关节点；
S202、按照所述关节点捕捉到用户运动动作；
S203、检测出所述用户运动视频的深度，基于所述用户运动动作和人体的关节点建立出用户3D模型。
其中，所述步骤S201的一种实现方式中：
通过构建残差网络模块提取出用户运动视频中视频帧的空间特征；
采用基于注意力机制的门控循环单元网络模块处理所述视频帧的空间特征，学习出所述视频帧空间特征随时间变化的情况，简称时间特征；
将所述空间特征和所述时间特征利用图像生成器重建出视频帧，采用图像鉴别器鉴别出生成的视频帧，并针对视频样本利用图像生成器和所述图像鉴别器进行对抗训练；
训练完成以后，从图像生成器的回归层中得到所述视频帧的人体关节点参数。
其中，所述步骤S202的一种实现方式中：
对所述用户运动视频中的人体关节点进行2D标注，设计时序编码器并使用时序编码器对所述人体关节点的时序信息进行编码；
将标注后的用户运动视频输入到训练好的卷积神经网络、时序编码器以及动作回归器中预测出关节点的运动参数，并产生运动动作序列；
通过动作鉴别器分辨出真实或者回归生成的运动动作序列；
通过最小化动作回归器与动作鉴别器的对抗训练误差，捕捉到所述人体关节点对应的真实动作。
其中，时间编码器的输入为视频帧序列，输出为SMPL(Skinned Multi-PersonLinear Model)的82个参数序列。中间，包括CNN层提取视频帧特征，门控循环单元层(GRU)输出隐藏元后送进动作回归器中经过迭代后输出SMPL参数序列。
其中，动作回归器是由Mean Pose初始化，并使用Fitting in The Loop方法来约束目标函数。
其中，动作鉴别器的输入为82个SMPL参数序列和真实的数据集。中间包括了GRU层和自注意力层。最后输出0或者1，表示假或真。
其中，所述步骤S203的一种实现方式中：
计算出用户运动视频中用户目标的深度，并根据该深度重构出三维空间；
将人体3D模型放置到三维空间中，并标识出人体关节点；
调节所述人体关节点，使人体3D模型与拍摄出的用户姿势吻合，从而构建出用户3D运动模型。本发明的3D刻画过程是通过两个角度不同的摄像头获取人体影像来实现的，人体部位所处的深度在进行多角度检测后，能更准确地生成其关键关节点的三维坐标，该3D坐标的刻画过程不仅实现了在二维层面准确获取人体相对于摄像头的深度，同时也能准确反馈人体躯干关节间的相对位置深度，进而能生成更合理准确的3D模型，方便后续流程中的三维空间中的模型比对，所以在运动指导方面会更加准确并且具有泛化意义。
具体的，对各个关节变化，使人3D模型与摄像机拍摄出的人的姿势吻合，用人体3D模型去匹配，以头、左肩、右肩、左肘关节、右肘关节、左手、右手、左臀部、右臀部、左膝盖、右膝盖、左脚、右脚作为关节标志点，最后得到的变化后的人的模型称为用户3D运动模型。
S3、从标准3D运动模型库中读取其中的标准3D运动模型；
同理，对于标准3D运动模型，本发明可以采用与用户3D运动模型相似的技术进行构建，也可以直接从现有的标准3D运动模型库中进行选择。
S4、将用户3D运动模型分别与不同标准3D运动模型进行尺度缩放匹配；
在一些可以实现的实施例中，由于标准3D运动模型库中有多章(节)的健身动作，所以在与用户3D运动模型进行匹配时需要进行尺度缩放匹配，其中进行尺度缩放匹配主要可以基于右手坐标系缩放匹配或左手坐标系缩放匹配；
如图4所示，所述右手坐标系缩放匹配包括：
S401、以标准3D运动模型的外轮廓左下角角点(相对应左脚位置)作为三维坐标系原点，以头、左肩、右肩、左肘关节、右肘关节、左手、右手、左臀部、右臀部、左膝盖、右膝盖、左脚、右脚作为关节点；
S402、以标准3D运动模型的头与左脚位置所在平面作为x-o-y平面建立右手坐标系；
S403、把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合；
S404、旋转标准3D运动模型使用户3D运动模型的头和左脚位置与标准3D运动模型的头和左脚位置同处于x-o-y平面；
S405、通过缩放用户3D运动模型，使用户3D运动模型中左侧关节即左脚-左臀部-左肩这一条路径的长度与标准3D运动模型的对应路径的长度相等，从而使两个模型保持同一尺度。
如图5所示，所述左手坐标系缩放匹配包括：
S411、以标准3D运动模型的外轮廓右下角角点(相对应右脚位置)作为三维坐标系原点；
S412、以标准3D运动模型的头与右脚位置所在平面作为x-o-y平面建立左手坐标系；
S413、把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合；
S414、旋转标准3D运动模型使用户3D运动模型的头和右脚位置与标准3D运动模型的头和右脚位置同处于x-o-y平面；
S415、通过缩放用户3D运动模型，使用户3D运动模型中右侧关节即右脚-右臀部-右肩这一条路径的长度与标准3D运动模型的对应路径的长度相等，从而使两个模型保持同一尺度。
在一个优选实施例中，把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合，再通过缩放用户3D运动模型，使两个模型保持同一尺度。
在另一个实施例中，计算用户3D运动模型与标准3D运动模型的匹配度，计算过程中以头、左肩、右肩、左肘关节、右肘关节、左手、右手、左臀部、右臀部、左膝盖、右膝盖、左脚、右脚作为关节标志点，以3D空间的中间点作为三维坐标系的原点，原点的上下轴作为Z轴，原点的左右轴作为X轴，原点的前后轴作为Y轴，以此建立三维坐标系。
S5、分别计算用户3D运动模型与不同标准3D运动模型中对应关节点在同一坐标系中的欧式距离，并计算出同一标准3D运动模型所对应的欧式距离和；
对于每一个标准3D运动模型和用户3D运动模型，需要计算出这两个模型中各个关节点之间的距离，并对这些距离求和，那么就得出了该标准3D运动模型与用户3D运动模型之间的欧式距离和，对比其他标准3D运动模型与用户3D运动模型之间的欧式距离和，选择出欧氏距离和最小的标准3D运动模型作为与用户健身运动最接近即相似度最高的模型。
S6、选择出相似度最高的即欧氏距离和最小的标准3D运动模型，并得出指导信息产生纠正引导视频；
计算用户3D运动模型与标准3D运动模型的匹配度的过程中，分别计算两个模型的各个关节点在同一坐标系中的欧氏距离，所有距离之和越小，匹配度越高。同时，也计算每个关节点的运动矢量和模，与标准模型中的运动矢量和模计算相应的偏离量，偏离量越小，匹配度越高，因此，当两个3D运动模型的关节点的欧氏距离和或者偏移量和最小，说明两个3D运动模型的匹配度越高。
根据该欧式距离和偏移量，计算出评分得出评价，把两个模型的匹配程度作为对用户运动姿势评分的依据，并将此评分与运动时间、运动指导进度、系统提示等用于指导用户继续运动信息统称为指导信息。
给出用户动作纠正指导的过程中，对于需要纠正的动作的关节点，坐标系中画一条引导箭头，以用户3D运动模型中的需要纠正的关节标志点作为箭头起点，以标准3D运动模型中对应的关节标志点作为箭头终点。
所有需要纠正的标志关节点都画上引导箭头后，通过改变三维坐标系中的摄像机的位置，录下一段由用户3D运动模型、标准3D运动模型、引导箭头的视频，作为纠正指导视频传往视频合并模块，用户每次运动结束后，都会将本次运动过程中模型匹配系统产生的用户运动信息(评分信息，纠正引导信息)储存进用户运动档案数据库中。
把模型的匹配程度作为对用户运动姿势评分的依据，并将此评分与运动时间、运动指导进度、系统提示等用于指导用户继续运动信息统称为指导信息，将指导信息合并成为一张图片，将此图片传往视频合并模块。
S7、产生与播放速率和播放进度相对应的控制指令；
所述产生与播放速率和播放进度相对应的控制指令包括由手势产生或者由判断播放时延产生暂停信号、下一节信号、上一节信号、快进信号、快退信号或者倍速播放信号。
用户发出手势，视频采集系统中拍摄到该手势后，产生对应的控制指令；这些控制指令至少包括暂停信号、下一节信号、上一节信号、快进信号、快退信号以及倍速播放信号。
举个例子，当用户发出食指朝上的指令，则视为该指令为暂停控制指令，则控制对应的标准运动视频的播放状态处于暂停播放状态，也便于用户进行学习。
S8、接收并响应于所述控制指令，从标准动作视频库中读取出对应的标准运动视频；如果用户动作比较规范，则可以直接进行同步；如果检测到标准视频和用户视频之间存在大的差别，即用户动作不规范或者初学者可以通过手势来进行同步；可以通过减缓播放标准视频以便进行同步。
在一个实施例中，如图6所示，用户通过控制指令控制视频播放的过程包括：
S801、接收到暂停、倒退、快进等信号，相应地对指导视频的播放进度进行控制。
S802、传送应当播放的标准运动视频，并控制该视频的播放状态。
在一个实施例中，如图7所示，以用户主动发出手势控制播放状态为例：
S811、从用户3D运动模型中分离出手部模型，对手部模型进行持续监测；
S812、当即时手势的检测结果与手部3D模型的置信度达到要求时，进行步骤S813；
其中，手部轮廓识别是依赖傅里叶描述子对手势轮廓进行验证提取。
S813、将检测出的手势模型与预设手势特征库中对应模型的控制信号匹配；
其中预设手势模型可以使用系统自带的知识图谱模型，也可以由用户生成自定义模型；其中预设的控制功能及其对应手势包含有：视频的播放与暂停、音量的大小、视频进度的前进与后退、视频的重播等，本领域常规技术人员可以根据实际需要另行设置。
S814、对应手势模型的控制信号匹配成功后，向视频播放控制模块发送控制指令。在另一个实施例中，控制指令不仅是可以通过用户手势进行触发，还可以自行触发，如图8所示，具体可以包括：
S821、检测当前的用户3D运动模型是否与实际进度上的标准3D运动模型出现大幅度不匹配，判断的方法为：在两个模型处在同一个坐标系，且已经缩放到同一尺度的前提下，计算两个模型每对关节点的欧式距离。
S822、如果只有少量关节点对的欧式距离过大，判定为动作不规范，模型匹配模块进行动作纠正指导的分析；
S823、如果大量关节点对的欧式距离过大，判定为用户运动进度已落后；
S824、当用户进度落后与当前进度时，向指导视频播放控制模块发送减慢播放速度的指令，以等待用户赶上运动进度。
不管采用上述哪种触发方式，本实施例都需要接收并响应于所述控制指令，从标准动作视频库中读取出对应的标准运动视频，接收到空暂停、倒退、快进等信号，相应地对指导视频的播放进度进行控制；调整标准动作视频的播放进度，并向视频合并模块发送应当播放的视频。
S9、将接收到的用户运动视频、读取出的标准动作视频、指导信息和纠正引导视频合并成为一个视频，并通过屏幕反馈给用户。
如图9所示，
S901、接收用户运动视频、从标准运动视频、纠正引导视频和指导信息。
S902、将四个视频(或图片)按左、右上、右中、右下的位置顺序合并成为一个视频。
S903、将合并后的视频传往屏幕显示，并供用户参考。
用户运动时，经过这一系列对用户运动视频的分析、处理，把结果合成为一个视频传送往屏幕，用户通过屏幕上反馈的信息改进自己的动作，最终达到改进运动姿势的目的。
如图10和图11所示，图中展示了智能健身动作指导系统需要通过屏幕反馈给用户的主要信息，分别是标准运动视频、用户实时运动视频、纠正引导视频以及评价信息。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于3D重构的智能健身动作指导方法，其特征在于，所述方法包括：
S1、采集用户运动视频，并标记出人体的关节点信息；
S2、对所述用户运动视频进行重建，按照人体关节点构建出用户3D运动模型；
S201、从用户运动视频中提取出人体的关节点；
通过残差网络模块提取出用户运动视频中视频帧的空间特征；
采用基于注意力机制的门控循环单元网络模块处理所述视频帧的空间特征，学习出所述视频帧的空间特征随时间变化的情况，也即时间特征；
将所述空间特征和所述时间特征利用图像生成器重建出视频帧，采用图像鉴别器鉴别出生成的视频帧，并针对视频样本利用所述图像生成器和所述图像鉴别器进行对抗训练；
训练完成以后，从图像生成器的回归层中得到所述视频帧的人体关节点参数；
S202、按照所述关节点捕捉到用户运动动作；
S203、检测出所述用户运动视频的深度，基于所述用户运动动作和人体的关节点建立出用户3D模型；
S3、从标准3D运动模型库中读取其中的标准3D运动模型；
S4、将用户3D运动模型分别与不同标准3D运动模型进行尺度缩放匹配；
S5、分别计算用户3D运动模型与不同标准3D运动模型中对应关节点运动矢量和模的偏移量以及在同一坐标系中的欧式距离，并计算出同一标准3D运动模型所对应的偏移量和与欧式距离和；
S6、选择出相似度最高的即欧氏距离和或者偏移量和最小的标准3D运动模型，并得出指导信息产生纠正引导视频；
S7、产生与播放速率和播放进度相对应的控制指令；
S8、接收并响应于所述控制指令，从标准动作视频库中读取出对应的标准运动视频；
S9、将接收到的用户运动视频、读取出的标准动作视频、指导信息和纠正引导视频合并成为一个视频，并通过屏幕反馈给用户。
2.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，所述按照所述关节点捕捉到用户运动动作包括：
对所述用户运动视频中的人体关节点进行2D标注，设计时序编码器并使用时序编码器对所述人体关节点的时序信息进行编码；
将标注后的用户运动视频输入到训练好的卷积神经网络、时序编码器以及动作回归器中预测出关节点的运动参数，并产生运动动作序列；
通过动作鉴别器分辨出真实或者回归生成的运动动作序列；
通过最小化动作回归器与动作鉴别器的对抗训练误差，捕捉到所述人体关节点对应的真实动作。
3.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，所述检测出所述用户运动视频的深度，基于所述用户运动动作和人体的关节点建立出用户3D模型包括：
计算出用户运动视频中用户目标的深度，并根据该深度重构出三维空间；
将人体3D模型放置到三维空间中，并标识出人体关节点；
调节所述人体关节点，使人体3D模型与拍摄出的用户姿势吻合，从而构建出用户3D运动模型。
4.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，所述缩放匹配的过程包括右手坐标系缩放匹配或左手坐标系缩放匹配；
所述右手坐标系缩放匹配包括：
以标准3D运动模型的外轮廓的左脚位置作为三维坐标系原点；
以标准3D运动模型的头与左脚位置所在平面作为x-o-y平面建立右手坐标系；
把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合；
旋转标准3D运动模型使用户3D运动模型的头和左脚位置与标准3D运动模型的头和左脚位置同处于x-o-y平面；
通过缩放用户3D运动模型，使用户3D运动模型中左侧关节路径的长度与标准3D运动模型的对应路径的长度相等，从而使两个模型保持同一尺度；
所述左手坐标系缩放匹配包括：
以标准3D运动模型的外轮廓的右脚位置作为三维坐标系原点；
以标准3D运动模型的头与右脚位置所在平面作为x-o-y平面建立左手坐标系；
把用户3D运动模型的原点与标准3D运动模型所建立的坐标系原点重合；
旋转标准3D运动模型使用户3D运动模型的头和右脚位置与标准3D运动模型的头和右脚位置同处于x-o-y平面；
通过缩放用户3D运动模型，使用户3D运动模型中右侧关节路径的长度与标准3D运动模型的对应路径的长度相等，从而使两个模型保持同一尺度。
5.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，得出指导信息包括按照用户3D运动模型与标准3D运动模型的相似度计算出动作评分；设定用户3D运动模型与标准3D运动模型的对应关节点之间的标准误差值，当两个3D运动模型的关节点的欧式距离或者偏移量超过其标准误差值时，给出修正动作的指导信息。
6.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，产生纠正视频包括设定用户3D运动模型与标准3D运动模型的对应关节点之间的标准误差值，当两个3D运动模型的关节点的欧式距离或者偏移量超过其标准误差值时，则将位于用户3D运动模型的该关节点为起点，以标准3D运动模型中的该关节点为终点，采用引导箭头，将用户3D运动模型和标准3D运动模型构成纠正引导视频。
7.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，所述产生与播放速率和播放进度相对应的控制指令包括由手势产生或者由判断播放时延产生暂停信号、下一节信号、上一节信号、快进信号、快退信号或者倍速播放信号；
其中，用户发出手势并产生与播放速率和播放进度相对应的控制指令包括：
从所述用户3D运动模型中分离出手部3D模型，对手部3D模型进行持续检测；
当即时手势的检测结果与手部3D模型的置信度达到要求时，进入下一步；
将检测出的手势模型与预设手势特征库中对应模型的控制信号匹配；
对应手势模型的控制信号匹配成功后，向视频播放控制模块发送控制指令；
其中，由判断播放时延产生与播放速率和播放进度相对应的控制指令包括：
检测当前的用户3D运动模型是否与实际进度上的标准3D运动模型出现超过阈值幅度的不匹配；
如果出现少于阈值幅度的不匹配即只有少量关节点对的欧式距离过大，判定为动作不规范，模型匹配模块进行动作纠正指导的分析；
如果出现大于或等于阈值幅度的不匹配即大量关节点对的欧式距离过大，判定为用户运动进度已落后；
当用户进度落后与当前进度时，向指导视频播放控制模块发送减慢播放速度的指令，以等待用户赶上运动进度。
8.根据权利要求1所述的一种基于3D重构的智能健身动作指导方法，其特征在于，在通过屏幕反馈给用户视频后，将本次运动过程中模型匹配系统产生的用户运动信息包括指导信息和纠正引导视频储存进用户运动档案数据库中。
CN202011369682.5A 2020-11-30 2020-11-30 一种基于3d重构的智能健身动作指导方法 Active CN112487965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011369682.5A CN112487965B (zh) 2020-11-30 2020-11-30 一种基于3d重构的智能健身动作指导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011369682.5A CN112487965B (zh) 2020-11-30 2020-11-30 一种基于3d重构的智能健身动作指导方法

Publications (2)

Publication Number Publication Date
CN112487965A CN112487965A (zh) 2021-03-12
CN112487965B true CN112487965B (zh) 2023-01-31

Family

ID=74937093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011369682.5A Active CN112487965B (zh) 2020-11-30 2020-11-30 一种基于3d重构的智能健身动作指导方法

Country Status (1)

Country Link
CN (1) CN112487965B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990137B (zh) * 2021-04-29 2021-09-21 长沙鹏阳信息技术有限公司 一种基于模板匹配的教室学生坐姿分析方法
CN113313017A (zh) * 2021-05-27 2021-08-27 中科院合肥技术创新工程院 一种无器械体能训练方法及系统
CN114089647A (zh) * 2021-11-22 2022-02-25 上海健指树智能系统有限公司 一种智能律动系统及其控制方法
CN114356100B (zh) * 2022-01-13 2024-05-07 上海健指树智能系统有限公司 健身动作指导方法、装置、电子设备及存储介质
CN114452622A (zh) * 2022-01-24 2022-05-10 宁波大学 一种基于视觉ai的智能运动指导系统及其方法
CN114943987A (zh) * 2022-06-07 2022-08-26 首都体育学院 一种采用pams运动编码的运动行为知识图谱构建方法
CN114998816B (zh) * 2022-08-08 2022-11-01 深圳市指南针医疗科技有限公司 基于骨骼ai视频的病例改进方法、装置及存储介质
CN118079332A (zh) * 2024-01-29 2024-05-28 北京奥康达体育科技有限公司 一种基于人类功效学技术的健身训练系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404691A (zh) * 2000-10-11 2003-03-19 皇家菲利浦电子有限公司 快速重放具有所选音频的视频的系统和方法
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN104200491A (zh) * 2014-08-15 2014-12-10 浙江省新华医院 一种人体运动姿态校正系统
CN105187733A (zh) * 2014-06-06 2015-12-23 腾讯科技（北京）有限公司 视频处理方法、装置及终端
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导系统
KR20190023628A (ko) * 2017-08-29 2019-03-08 안영샘 관절가동범위를 측정하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN110321754A (zh) * 2018-03-28 2019-10-11 西安铭宇信息科技有限公司 一种基于计算机视觉的人体运动姿态纠正方法及系统
CN110969114A (zh) * 2019-11-28 2020-04-07 四川省骨科医院 一种人体动作功能检测系统、检测方法及检测仪
CN111144217A (zh) * 2019-11-28 2020-05-12 重庆邮电大学 一种基于人体三维关节点检测的动作评价方法
CN111652078A (zh) * 2020-05-11 2020-09-11 浙江大学 一种基于计算机视觉的瑜伽动作指导系统和方法
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404691A (zh) * 2000-10-11 2003-03-19 皇家菲利浦电子有限公司 快速重放具有所选音频的视频的系统和方法
CN103914126A (zh) * 2012-12-31 2014-07-09 腾讯科技（深圳）有限公司 一种多媒体播放器控制方法和装置
CN105187733A (zh) * 2014-06-06 2015-12-23 腾讯科技（北京）有限公司 视频处理方法、装置及终端
CN104200491A (zh) * 2014-08-15 2014-12-10 浙江省新华医院 一种人体运动姿态校正系统
CN105512621A (zh) * 2015-11-30 2016-04-20 华南理工大学 一种基于Kinect的羽毛球动作指导系统
KR20190023628A (ko) * 2017-08-29 2019-03-08 안영샘 관절가동범위를 측정하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN110321754A (zh) * 2018-03-28 2019-10-11 西安铭宇信息科技有限公司 一种基于计算机视觉的人体运动姿态纠正方法及系统
CN110969114A (zh) * 2019-11-28 2020-04-07 四川省骨科医院 一种人体动作功能检测系统、检测方法及检测仪
CN111144217A (zh) * 2019-11-28 2020-05-12 重庆邮电大学 一种基于人体三维关节点检测的动作评价方法
CN111652078A (zh) * 2020-05-11 2020-09-11 浙江大学 一种基于计算机视觉的瑜伽动作指导系统和方法
CN111881887A (zh) * 2020-08-21 2020-11-03 董秀园 基于多摄像头的运动姿态监测和指导方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Machine vision based physical fitness measurement with human posture recognition and skeletal data smoothing;Xuelian Cheng;《 2017 International Conference on Orange Technologies (ICOT)》;20180412;全文 *
基于Kinect运动捕捉的乒乓球基本技术动作测评系统的设计研究;相梦;《中国优秀硕士学位论文全文数据库》;20190715;全文 *

Also Published As

Publication number Publication date
CN112487965A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112487965B (zh) 一种基于3d重构的智能健身动作指导方法
CN112422946B (zh) 一种基于3d重构的智能瑜伽动作指导系统
CN108564596B (zh) 一种高尔夫挥杆视频的智能比对分析系统及方法
US11823495B2 (en) Kinect-based auxiliary training system for basic badminton movements
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
KR101078975B1 (ko) 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
JP5858261B2 (ja) 仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法
CN108764120B (zh) 一种人体规范动作评价方法
US20140004967A1 (en) Virtual golf simulation apparatus and sensing device and method used for the same
Emad et al. Ikarate: Improving karate kata
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及系统
Calandre et al. Extraction and analysis of 3D kinematic parameters of Table Tennis ball from a single camera
Emad et al. ikarate: Karate kata guidance system
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법
Calandre et al. Table Tennis ball kinematic parameters estimation from non-intrusive single-view videos
CN110929595A (zh) 一种基于人工智能的有球无球训练或娱乐系统及方法
CN114092863A (zh) 一种用于多视角视频图像的人体动作评估方法
Grontman et al. Analysis of sword fencing training evaluation possibilities using Motion Capture techniques
Morel et al. Automatic and generic evaluation of spatial and temporal errors in sport motions
CN116721468A (zh) 一种基于多人姿态估计动作幅度检测的智能导播切换方法
CN116611969A (zh) 传统武术智能学习与评分系统
Zhang et al. Automatic moving pose grading for golf swing in sports
CN114093030B (zh) 一种基于人体姿态学习的射击训练分析方法
Karunaratne et al. Objectively measure player performance on Olympic weightlifting
KR101078954B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant