CN109191588A - 运动教学方法、装置、存储介质及电子设备 - Google Patents
运动教学方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN109191588A CN109191588A CN201810981820.1A CN201810981820A CN109191588A CN 109191588 A CN109191588 A CN 109191588A CN 201810981820 A CN201810981820 A CN 201810981820A CN 109191588 A CN109191588 A CN 109191588A
- Authority
- CN
- China
- Prior art keywords
- movement
- video
- action
- limb
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种运动教学方法、装置、存储介质及电子设备。本发明提供的运动教学方法，包括：先获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征，再根据动作特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作，并根据第一标准肢体动作生成第一虚拟视频，最后将第一虚拟视频叠加显示在现实视频中。本发明提供的运动教学方法，通过增强现实的方式同时直观地展示用户自身的肢体动作以及对应的标准肢体动作，以使得用户能够自行根据二者的区别进行动作调整，此外，还可以满足用户随时进行动作练习的需求，无需受到教练时间以及水平差异的约束。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种运动教学方法、装置、 存储介质及电子设备。
背景技术
随着人们对自身身体健康状况的重视，越来越多的人开始在业余时间学 习不同的体育运动，例如篮球、足球、瑜伽以及太极等运动。
目前，在体育运动教学过程中，通常都是通过教练言传身教的方式来对 训练者进行动作示范和纠正。例如，对于篮球教学，训练者需要学习运球、 传球以及投篮等基本动作，在学习过程中则需要教练通过观察来判断训练者 的动作是否规范，然后根据训练者的动作进行针对性的动作分解、示范以及 纠正，以使训练者的动作能够逐渐规范化。
可见，现有的运动教学完全依靠于人为的主观判断和示范，但是不同的 教练所掌握和评判的标准程度不尽相同，若教练本身动作不规范或者教学方 法欠妥则直接将导致训练者的动作不规范，尤其是对于体育运动的初学者， 在进行基础动作学习时，一旦动作不规范，则在后期就很难再调整正确。此 外，教练的教学时间通常都是固定时段，这也导致了训练者无法随时进行训 练动作的纠正。
发明内容
本发明提供一种运动教学方法、装置、存储介质及电子设备，以实现用 户能能够直观地判断自身的肢体动作与对应的标准肢体动作之间的差别，从 而进行针对性的动作调整。
第一方面，本发明提供一种运动教学方法，包括：
获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述 现实视频进行动作特征提取，以获取所述第一肢体动作对应的动作特征；
根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹 配的第一标准肢体动作，并根据所述第一标准肢体动作生成第一虚拟视频；
将所述第一虚拟视频叠加显示在所述现实视频中。
在一种可能的设计中，在所述获取用户第一肢体动作的现实视频，并通 过预设的神经网络模型对所述现实视频进行动作特征提取之后，还包括：
提取所述现实视频中的场景特征，并根据所述场景特征确定所述第一肢 体动作对应的第一运动类型；
根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设 标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。
在一种可能的设计中，在所述获取用户第一肢体动作的现实视频，并通 过预设的神经网络模型对所述现实视频进行动作特征提取之后，还包括：
提取所述现实视频中的器材特征，并根据所述器材特征确定所述第一肢 体动作对应的第一运动类型；
根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设 标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。
在一种可能的设计中，在所述根据所述动作特征以及预设标准动作模型 库确定与所述第一肢体动作匹配的第一标准肢体动作之后，还包括：
根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述 第一肢体动作的动作得分。
在一种可能的设计中，在所述根据所述第一肢体动作以及所述第一标准 肢体动作之间的差异确定所述第一肢体动作的动作得分之后，还包括：
根据所述动作得分生成第二虚拟视频；
将所述第二虚拟视频叠加显示在所述现实视频中。
在一种可能的设计中，所述根据所述第一肢体动作以及所述第一标准肢 体动作之间的差异确定所述第一肢体动作的动作得分，包括：
提取所述现实视频中所述用户的第一身体姿态数据，所述第一身体姿态 数据用于表征所述第一肢体动作；
根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分。
在一种可能的设计中，所述提取所述现实视频中所述用户的第一身体姿 态数据，包括：
提取所述现实视频中所述用户的身体关节集合中各个关节在预设空间坐 标系下的空间坐标数据；
根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨 骼的第一矢量，其中，所述第一关节与所述第二关节为所述身体关节集合中 任意相邻的两关节，所述第一骨骼为所述第一关节与所述第二关节之间的骨 骼；
根据所述第一矢量生成所述第一身体姿态数据。
在一种可能的设计中，所述根据所述第一身体姿态数据与第一标准身体 姿态数据计算所述动作得分，包括：
计算所述第一矢量与第一标准矢量之间的矢量夹角，所述第一标准矢量 为所述第一标准肢体动作中所述第一骨骼对应的矢量方向；
根据所述矢量夹角确定第一动作得分；
根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所 述第一肢体动作对应的所述动作得分。
在一种可能的设计中，在所述根据所述矢量夹角确定第一动作得分之后， 还包括：
判断所述第一动作得分是否小于预设的动作得分；
若判断结果为是，则在所述第二虚拟视频中对所述第一骨骼高亮显示。
在一种可能的设计中，在所述获取用户第一肢体动作的现实视频，并通 过预设的神经网络模型对所述现实视频进行动作特征提取之前，还包括：
采集至少一个运动类型对应的标准动作视频；
根据所述标准动作视频以及深度学习算法进行模型训练。
在一种可能的设计中，所述采集至少一个运动类型对应的标准动作视频， 包括：
将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的 所述短视频作为训练样本构建动作视频训练集。
在一种可能的设计中，在所述将分割得到的所述短视频作为训练样本构 建动作视频训练集之后，还包括：
对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括： 对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处 理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背 景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。
在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模 型。
在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷 积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、 第三卷积层、张量递归层和输出层；
其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化 层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积 层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接 到所述张量递归层。
第二方面，本发明还提供一种运动教学装置，包括：
获取模块，用于获取用户第一肢体动作的现实视频；
提取模块，用于通过预设的神经网络模型对所述现实视频进行动作特征 提取，以获取所述第一肢体动作对应的动作特征；
确定模块，用于根据所述动作特征以及预设标准动作模型库确定与所述 第一肢体动作匹配的第一标准肢体动作；
生成模块，用于根据所述第一标准肢体动作生成第一虚拟视频；
显示模块，用于将所述第一虚拟视频叠加显示在所述现实视频中。
在一种可能的设计中，所述提取模块，还用于提取所述现实视频中的场 景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类型；
所述确定模块，还用于根据所述第一运动类型确定所述预设标准动作模 型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对 应的标准动作。
在一种可能的设计中，所述提取模块，还用于提取所述现实视频中的器 材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类型；
所述确定模块，还用于根据所述第一运动类型确定所述预设标准动作模 型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对 应的标准动作。
在一种可能的设计中，所述确定模块，还用于根据所述第一肢体动作以 及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。
在一种可能的设计中，所述生成模块，还用于根据所述动作得分生成第 二虚拟视频；
所述显示模块，还用于将所述第二虚拟视频叠加显示在所述现实视频中。
在一种可能的设计中，所述提取模块，还用于提取所述现实视频中所述 用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢体动 作；
所述确定模块，还用于根据所述第一身体姿态数据与第一标准身体姿态 数据计算所述动作得分。
在一种可能的设计中，所述提取模块，还用于提取所述现实视频中所述 用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；
所述确定模块，还用于根据第一关节的第一空间坐标以及第二关节的第 二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二关节 为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关节与 所述第二关节之间的骨骼；
所述生成模块，用于根据所述第一矢量生成所述第一身体姿态数据。
在一种可能的设计中，所述确定模块，还用于计算所述第一矢量与第一 标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作中所 述第一骨骼对应的矢量方向，并根据所述矢量夹角确定第一动作得分，以及 根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所述第 一肢体动作对应的所述动作得分。
在一种可能的设计中，所述运动教学装置，还包括：
判断模块，用于判断所述第一动作得分是否小于预设的动作得分；
所述显示模块，还用于在所述第二虚拟视频中对所述第一骨骼高亮显示。
在一种可能的设计中，所述运动教学装置，还包括：
采集模块，用于采集至少一个运动类型对应的标准动作视频；
学习模块，用于根据所述标准动作视频以及深度学习算法进行模型训练 构建所述预设的神经网络模型。
在一种可能的设计中，所述采集模块，具体用于：
将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的 所述短视频作为训练样本构建动作视频训练集。
在一种可能的设计中，所述采集模块，还具体用于：
对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括： 对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处 理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背 景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。
在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模 型。
在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷 积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、 第三卷积层、张量递归层和输出层；
其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化 层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积 层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接 到所述张量递归层。
第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机 程序，该程序被处理器执行时实现第一方面中任意一种可能的运动教学方法。
第四方面，本发明还提供一种电子设备，包括：
摄像头、处理器、存储器以及显示器；
所述摄像头以及所述显示器分别与所述处理器相连接；
所述摄像头，用于获取用户第一肢体动作的现实视频；
所述存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任 意一种可能的运动教学方法；
所述显示器，用于显示所述现实视频以及虚拟视频。
本发明提供的一种运动教学方法、装置、存储介质及电子设备，通过预 设的神经网络模型对用户第一肢体动作的现实视频进行动作特征提取，以获 取第一肢体动作对应的动作特征，然后根据动作特征以及预设标准动作模型 库确定与第一肢体动作匹配的第一标准肢体动作，并根据第一标准肢体动作 生成第一虚拟视频，最后将第一虚拟视频叠加显示在现实视频中，从而通过 增强现实的方式同时直观地展示用户自身的肢体动作以及对应的标准肢体动 作，以使得用户能够自行根据二者的区别进行动作调整，此外，还可以满足 用户随时进行动作练习的需求，无需受到教练时间以及水平差异的约束。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的运动教学方法的流程示意图；
图2是图1所述实施例中的场景显示示意图；
图3是根据另一示例性实施例示出的运动教学方法的流程示意图；
图4是图3所述实施例中的场景显示示意图；
图5是图3所示实施例中动作得分计算方法的流程示意图；
图6是图5所示动作得分计算方法的计算原理示意图；
图7是根据一示例性实施例示出的运动教学装置的流程示意图；
图8是根据另一示例性实施例示出的运动教学装置的流程示意图；
图9为本发明根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。
本实施例提供的运动教学方法在应用时，通过终端设备上的摄像头获取 用于正在运动的现实视频，其中，该终端设备可以为智能手机、平板电脑、 个人计算机等具有现实视频图像采集、数据处理和显示功能的电子设备。其 中，在本实施例中可以以智能手机作为终端设备，而应用场景可以为篮球教 学进行举例。例如，用户在进行篮球动作练习时，例如在进行运球动作练习 时，可以先将智能手机置于合适的位置，然后打开智能手机的前置摄像头， 以使前置摄像头能够获取用户的身体画面，智能手机根据获取到的用户的运 球动作视频匹配出标准的运球动作视频，并将标准的运球动作视频以增强现 实的方式显示在智能手机屏幕上，此时，智能手机同步显示用户的运球动作 和标准的运球动作，以使用户能够在训练时有效地调整运球动作。
图1是根据一示例性实施例示出的运动教学方法的流程示意图。如图1 所示，本实施例提供的运动教学方法，包括：
步骤101、获取用户第一肢体动作的现实视频，并通过预设的神经网络 模型对现实视频进行动作特征提取。
具体地，可以通过终端设备上的摄像头获取用户第一肢体动作的现实视 频，其中，用户第一肢体动作可以是篮球运动中的运球动作、足球运动中的 射门动作、排球中的垫球动作、太极拳中的招式动作以及瑜伽运动中的招式 动作等。
在获取到用户第一肢体动作的现实视频之后，通过预设的神经网络模型 对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征。
其中，对于上述用于进行动作特征提取的神经网络模型可以是任意适当 的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、 增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构 的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷 积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现 方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。
其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经 网络，自动学习篮球运球视频训练集中每个短视频的时空特征；然后，使用 从张量卷积神经网络中学习到的篮球运球动作时空特征训练张量递归神经 网络模型，通过张量递归神经网络模型根据多个篮球运球动作标签对标准篮 球运球动作视频进行分类。
在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是 通过先采集至少一个运动类型对应的标准动作视频，然后再采用深度学习算 法并根据标准动作视频构建来生成。其中，可以将采集到的标准动作视频分 割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动 作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处 理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处 理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网 络深度可以将转化后的灰度图作为学习素材进行深度学习。
在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。 具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正 层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张 量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、 第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归 层全连接到第三卷积层，输出层全连接到张量递归层。
步骤102、根据动作特征以及预设标准动作模型库确定与第一肢体动作 匹配的第一标准肢体动作。
具体地，在通过预设的神经网络模型对现实视频进行动作特征提取，并 获取第一肢体动作对应的动作特征，然后再根据动作特征以及预设标准动作 模型库确定与第一肢体动作匹配的第一标准肢体动作。下面以第一肢体动作 为用户运球动作进行举例：
终端设备上的摄像头获取到用户运动动作的现实视频之后，通过预设的 神经网络模型对运球动作视频进行动作特征提取，然后根据提取出来的行动 作特征从预设标准动作模型库中匹配出了标准的运球动作视频。其中，上述 的预设标准动作模型库中可以只包含一种运动类型对应的标准动作视频，例 如用户只是需要进行篮球训练，则可以选择的预设标准动作模型库中只是包 含篮球运动中相关的标准动作视频，也可以是包含多种运动类型所对应的标 准动作视频，例如用户除了需要进行篮球训练，还需要进行足球训练以及瑜 伽训练，则可以选择的同时包含篮球训练，足球训练以及瑜伽训练相关的标 准动作视频的预设标准动作模型库。
此外，由于不同运动种类中经常存在一些比较类似的动作，为了进一步 地提高第一标准肢体动作的匹配准确度，除了利用动作特征进行识别以外， 还可以利用进一步结合现实视频中的场景特征以及器材特征进行更加准确的 判断。
其中，对于结合现实视频中的场景特征的方式，在具体地实现过程中， 在进行第一标准肢体动作匹配前，可以先提取现实视频中的场景特征。例如， 当前所获取到的现实视频的场景为篮球场，则所提取出的场景特征可以为篮 球架、篮筐以及篮球场地线等。而如果当前所获取到的现实视频的场景为足 球场，则所提取出的场景特征可以为球门、草坪以及足球场场地线等。而如 果当前所获取到的现实视频的场景为瑜伽馆，则所提取出的场景特征可以为 瑜伽垫、镜子以及瑜伽球等。
在确定当前现实视频所处的场景之后，可以根据场景特征确定第一肢体 动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模型 库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准动 作。例如，在确定当前现实视频所处的场景为篮球场之后，可以根据场景特 征确定第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准 动作模型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的 标准动作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。
其中，对于场景特征的提取，同样可以采用神经网络模型进行提取的方 式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别 的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网 络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根 据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发 明实施例对此不作限制。
其中，对于结合现实视频中的器材特征的方式，在具体地实现过程中， 在进行第一标准肢体动作匹配前，可以先提取现实视频中的器材特征。例如， 当前所获取到的现实视频中的器材为篮球，则所提取出的器材特征即为篮球， 而如果当前所获取到的现实视频的器材为足球，则所提取出的场景特征即为 足球。
在确定当前现实视频所涉及的器材之后，可以根据器材特征确定第一肢 体动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模 型库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准 动作。例如，在确定当前现实视频包含了篮球之后，可以根据器材特征确定 第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准动作模 型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的标准动 作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。
其中，对于器材特征的提取，同样可以采用神经网络模型进行提取的方 式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别 的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网 络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根 据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发 明实施例对此不作限制。
步骤103、根据第一标准肢体动作生成第一虚拟视频。
具体地，在根据动作特征以及预设标准动作模型库确定与第一肢体动作 匹配的第一标准肢体动作之后，根据第一标准肢体动作生成第一虚拟视频， 其中，在预设标准动作模型库中，第一虚拟视频可以为运动员示范的标准动 作视频，也可以是通过计算机技术模拟出来的标准动作视频。
例如，第一标准肢体动作对应的是篮球运球动作，则根据第一标准肢体 动作生成第一虚拟视频中所示范的动作即为标准篮球运球动作。
此外，为了能够使得在所生成的第一虚拟视频中示范的标准肢体动作与 用户的肢体动作更加匹配，以便用户能够更直观地发现自己的动作不规范之 处，还可以在生成第一虚拟视频，将第一虚拟视频中的示范人物的身体尺寸 放大或者缩小至与用户的身体尺寸相近。
步骤104、将第一虚拟视频叠加显示在现实视频中。
在根据第一标准肢体动作生成第一虚拟视频之后，将第一虚拟视频叠加 显示在现实视频中，以通过增强现实的方式对第一标准肢体动作进行展示， 以使用户能够直观地对比自身的肢体动作与标准肢体动作之间的区别，从而 针对性地对自己的肢体动作进行，直至自身的肢体动作与标准肢体动作高度 一致，说明用户已经掌握了该标准肢体动作。
图2是图1所述实施例中的场景显示示意图。如图2所示，当用户进行 的是篮球运球动作训练时，终端设备所获取到的现实视频1即为用户进行篮 球运球的视频。然后，通过预设的神经网络模型对运球动作视频进行动作特 征提取，再根据提取出来的行动作特征从预设标准动作模型库中匹配出了标 准的运球动作视频，即为第一虚拟视频2，最后将第一虚拟视频2叠加显示 在现实视频1中，从而直观地展示用户所进行的运球动作以及标准的运球动 作。
在本实施例中，通过预设的神经网络模型对用户第一肢体动作的现实视 频进行动作特征提取，以获取第一肢体动作对应的动作特征，然后根据动作 特征以及预设标准动作模型库确定与第一肢体动作匹配的第一标准肢体动作， 并根据第一标准肢体动作生成第一虚拟视频，最后将第一虚拟视频叠加显示 在现实视频中，从而通过增强现实的方式同时直观地展示用户自身的肢体动 作以及对应的标准肢体动作，以使得用户能够自行根据二者的区别进行动作 调整，此外，还可以满足用户随时进行动作练习的需求，无需受到教练时间 以及水平差异的约束。
图3是根据另一示例性实施例示出的运动教学方法的流程示意图。如图 3所示，本实施例提供的运动教学方法，包括：
步骤201、获取用户第一肢体动作的现实视频，并通过预设的神经网络 模型对现实视频进行动作特征提取。
具体地，可以通过终端设备上的摄像头获取用户第一肢体动作的现实视 频，其中，用户第一肢体动作可以是篮球运动中的运球动作、足球运动中的 射门动作、排球中的垫球动作、太极拳中的招式动作以及瑜伽运动中的招式 动作等。
在获取到用户第一肢体动作的现实视频之后，通过预设的神经网络模型 对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征。
其中，对于上述用于进行动作特征提取的神经网络模型可以是任意适当 的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、 增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构 的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷 积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现 方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。
其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经 网络，自动学习篮球运球视频训练集中每个短视频的时空特征；然后，使用 从张量卷积神经网络中学习到的篮球运球动作时空特征训练张量递归神经 网络模型，通过张量递归神经网络模型根据多个篮球运球动作标签对标准篮 球运球动作视频进行分类。
在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是 通过先采集至少一个运动类型对应的标准动作视频，然后再采用深度学习算 法并根据标准动作视频构建来生成。其中，可以将采集到的标准动作视频分 割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动 作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处 理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处 理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网 络深度可以将转化后的灰度图作为学习素材进行深度学习。
在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。 具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正 层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张 量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、 第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归 层全连接到第三卷积层，输出层全连接到张量递归层。
步骤202、根据动作特征以及预设标准动作模型库确定与第一肢体动作 匹配的第一标准肢体动作。
具体地，在通过预设的神经网络模型对现实视频进行动作特征提取，并 获取第一肢体动作对应的动作特征，然后再根据动作特征以及预设标准动作 模型库确定与第一肢体动作匹配的第一标准肢体动作。下面以第一肢体动作 为用户运球动作进行举例：
终端设备上的摄像头获取到用户运动动作的现实视频之后，通过预设的 神经网络模型对运球动作视频进行动作特征提取，然后根据提取出来的行动 作特征从预设标准动作模型库中匹配出了标准的运球动作视频。其中，上述 的预设标准动作模型库中可以只包含一种运动类型对应的标准动作视频，例 如用户只是需要进行篮球训练，则可以选择的预设标准动作模型库中只是包 含篮球运动中相关的标准动作视频，也可以是包含多种运动类型所对应的标 准动作视频，例如用户除了需要进行篮球训练，还需要进行足球训练以及瑜 伽训练，则可以选择的同时包含篮球训练，足球训练以及瑜伽训练相关的标 准动作视频的预设标准动作模型库。
此外，由于不同运动种类中经常存在一些比较类似的动作，为了进一步 地提高第一标准肢体动作的匹配准确度，除了利用动作特征进行识别以外， 还可以利用进一步结合现实视频中的场景特征以及器材特征进行更加准确的 判断。
其中，对于结合现实视频中的场景特征的方式，在具体地实现过程中， 在进行第一标准肢体动作匹配前，可以先提取现实视频中的场景特征。例如， 当前所获取到的现实视频的场景为篮球场，则所提取出的场景特征可以为篮 球架、篮筐以及篮球场地线等。而如果当前所获取到的现实视频的场景为足 球场，则所提取出的场景特征可以为球门、草坪以及足球场场地线等。而如 果当前所获取到的现实视频的场景为瑜伽馆，则所提取出的场景特征可以为 瑜伽垫、镜子以及瑜伽球等。
在确定当前现实视频所处的场景之后，可以根据场景特征确定第一肢体 动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模型 库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准动 作。例如，在确定当前现实视频所处的场景为篮球场之后，可以根据场景特 征确定第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准 动作模型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的 标准动作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。
其中，对于场景特征的提取，同样可以采用神经网络模型进行提取的方 式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别 的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网 络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根 据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发 明实施例对此不作限制。
其中，对于结合现实视频中的器材特征的方式，在具体地实现过程中， 在进行第一标准肢体动作匹配前，可以先提取现实视频中的器材特征。例如， 当前所获取到的现实视频中的器材为篮球，则所提取出的器材特征即为篮球， 而如果当前所获取到的现实视频的器材为足球，则所提取出的场景特征即为 足球。
在确定当前现实视频所涉及的器材之后，可以根据器材特征确定第一肢 体动作对应的第一运动类型，然后，根据第一运动类型确定预设标准动作模 型库，其中，预设标准动作模型库中的标准动作为第一运动类型对应的标准 动作。例如，在确定当前现实视频包含了篮球之后，可以根据器材特征确定 第一肢体动作对应的是篮球运动，然后，根据篮球运动确定预设标准动作模 型库，其中，预设标准动作模型库中的标准动作为篮球运动所对应的标准动 作，从而有效地避免了在识别过程中，由于存在其他运动类型中类似的动作，而导致的误匹配。
其中，对于器材特征的提取，同样可以采用神经网络模型进行提取的方 式，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象识别 的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网 络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根 据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发 明实施例对此不作限制。
步骤203、根据第一标准肢体动作生成第一虚拟视频。
具体地，在根据动作特征以及预设标准动作模型库确定与第一肢体动作 匹配的第一标准肢体动作之后，根据第一标准肢体动作生成第一虚拟视频， 其中，在预设标准动作模型库中，第一虚拟视频可以为运动员示范的标准动 作视频，也可以是通过计算机技术模拟出来的标准动作视频。
例如，第一标准肢体动作对应的是篮球运球动作，则根据第一标准肢体 动作生成第一虚拟视频中所示范的动作即为标准篮球运球动作。
此外，为了能够使得在所生成的第一虚拟视频中示范的标准肢体动作与 用户的肢体动作更加匹配，以便用户能够更直观地发现自己的动作不规范之 处，还可以在生成第一虚拟视频，将第一虚拟视频中的示范人物的身体尺寸 放大或者缩小至与用户的身体尺寸相近。
步骤204、将第一虚拟视频叠加显示在现实视频中。
在根据第一标准肢体动作生成第一虚拟视频之后，将第一虚拟视频叠加 显示在现实视频中，以通过增强现实的方式对第一标准肢体动作进行展示， 以使用户能够直观地对比自身的肢体动作与标准肢体动作之间的区别，从而 针对性地对自己的肢体动作进行，直至自身的肢体动作与标准肢体动作高度 一致，说明用户已经掌握了该标准肢体动作。
步骤205、根据第一肢体动作以及第一标准肢体动作之间的差异确定第 一肢体动作的动作得分。
具体地，可以是提取现实视频中用户的第一身体姿态数据，其中，第一 身体姿态数据用于表征第一肢体动作，然后再根据第一身体姿态数据与第一 标准身体姿态数据计算动作得分。
在一种可能的实现方式中，图5是图3所示实施例中动作得分计算方法 的流程示意图。如图5所示，上述根据第一肢体动作以及第一标准肢体动作 之间的差异确定第一肢体动作的动作得分的具体计算方法，包括：
2051、提取现实视频中用户的身体关节集合中各个关节在预设空间坐标 系下的空间坐标数据。
具体地，在获取到用户第一肢体动作的现实视频之后，可以对现实视频 中用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据进行 提取。
其中，对于现实视频中各个关节的识别，同样可以采用神经网络模型进 行识别，对于该神经网络模型可以是任意适当的可实现特征提取或目标对象 识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神 经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人 员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等， 本发明实施例对此不作限制。在识别出各个关节之后，通过获取各个关节的 节点位置，来确定身体关节集合中各个关节在预设空间坐标系下的空间坐标数据。
下面以用户所进行的是篮球运球训练为例，第一标准肢体动作为用户的 运球动作，则第一标准肢体动作即为标准篮球运球动作。图6是图5所示动 作得分计算方法的计算原理示意图。如图6所示，可以识别出真实视频1中 用户身体的肘关节A以及腕关节B，并分别获取肘关节A以及腕关节B在预 设坐标系中的空间坐标数据。
2052、根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定 第一骨骼的第一矢量。
具体地，根据第一关节的第一空间坐标以及第二关节的第二空间坐标确 定第一骨骼的第一矢量，其中，第一关节与第二关节为身体关节集合中任意 相邻的两关节，第一骨骼为第一关节与第二关节之间的骨骼。
继续参照图6，对于篮球运球训练，上述的第一矢量即为肘关节A至腕 关节B的矢量。但是，在实际的篮球运球训练中，所涉及的关节不仅是肘关 节和腕关节，此处，只是为了对其评分的计算原理进行说明，因此，采用肘 关节与腕关节进行示例，对于用户的身体关节集合中其他任意相邻的两关节 的矢量确定的原理与肘关节与腕关节之间矢量确定的原理相同，此处不再进 行赘述。
2053、计算第一矢量与第一标准矢量之间的矢量夹角。
在确定第一关节与第二关节所形成的第一矢量之后，计算第一矢量与第 一标准矢量之间的矢量夹角。其中，第一标准矢量为第一标准矢量为第一标 准肢体动作中第一骨骼对应的矢量方向。
继续参照图6，对于篮球运球训练，第一标准肢体动作中第一标准矢量 可以是肘关节a至腕关节b的矢量。
2054、根据矢量夹角确定第一动作得分。
在确定第一矢量与第一标准矢量之间的矢量夹角之后，根据矢量夹角确 定第一动作得分。其中，第一矢量与第一标准矢量之间的矢量夹角越大，则 第一动作得分越低，而第一矢量与第一标准矢量之间的矢量夹角越小，则第 一动作得分越高，即说明用户的肢体动作与标准肢体动作越接近。
2055、根据第一动作得分以及每个第一骨骼对应的预设权重值计算第一 肢体动作对应的动作得分。
由于每个运动动作，都会涉及多个关节的联动，因此，可以对每个第一 动作进行预设权重值，然后再根据第一动作得分以及每个第一骨骼对应的预 设权重值计算第一肢体动作对应的动作得分，该动作得分可以用于表征用户 实际所做的第一肢体动作与第一标准肢体动作之间的相似程度。
步骤206、根据动作得分生成第二虚拟视频，并将第二虚拟视频叠加显 示在现实视频中。
在根据第一动作得分以及每个第一骨骼对应的预设权重值计算第一肢体 动作对应的动作得分之后，可以根据动作得分生成第二虚拟视频，并将第二 虚拟视频叠加显示在现实视频中。
为了能够使得用户能够更加直观地获知具体为哪个关节或者骨骼的位置 不准确，还可以判断第一动作得分是否小于预设的动作得分，若判断结果为 是，则在第二虚拟视频中对第一骨骼高亮显示。
图4是图3所述实施例中的场景显示示意图，如图3所示，以篮球运球 动作为例，当用户进行的是篮球运球动作训练时，终端设备所获取到的现实 视频1即为用户进行篮球运球的视频。然后，通过预设的神经网络模型对运 球动作视频进行动作特征提取，再根据提取出来的行动作特征从预设标准动 作模型库中匹配出了标准的运球动作视频，即为第一虚拟视频2，最后将第 一虚拟视频2叠加显示在现实视频1中，从而直观地展示用户所进行的运球 动作以及标准的运球动作，然后，在根据第一动作得分以及每个第一骨骼对 应的预设权重值计算第一肢体动作对应的动作得分，并根据动作得分生成第 二虚拟视频，并将第二虚拟视频3叠加显示在现实视频1中。
图7是根据一示例性实施例示出的运动教学装置的流程示意图。如图7 所示，本实施例提供的运动教学装置，包括：
获取模块301，用于获取用户第一肢体动作的现实视频；
提取模块302，用于通过预设的神经网络模型对所述现实视频进行动作 特征提取，以获取所述第一肢体动作对应的动作特征；
确定模块303，用于根据所述动作特征以及预设标准动作模型库确定与 所述第一肢体动作匹配的第一标准肢体动作；
生成模块304，用于根据所述第一标准肢体动作生成第一虚拟视频；
显示模块305，用于将所述第一虚拟视频叠加显示在所述现实视频中。
在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中 的场景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类 型；
所述确定模块303，还用于根据所述第一运动类型确定所述预设标准动 作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类 型对应的标准动作。
在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中 的器材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类 型；
所述确定模块303，还用于根据所述第一运动类型确定所述预设标准动 作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类 型对应的标准动作。
在一种可能的设计中，所述确定模块303，还用于根据所述第一肢体动 作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。
在一种可能的设计中，所述生成模块304，还用于根据所述动作得分生 成第二虚拟视频；
所述显示模块305，还用于将所述第二虚拟视频叠加显示在所述现实视 频中。
在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中 所述用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢 体动作；
所述确定模块303，还用于根据所述第一身体姿态数据与第一标准身体 姿态数据计算所述动作得分。
在一种可能的设计中，所述提取模块302，还用于提取所述现实视频中 所述用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；
所述确定模块303，还用于根据第一关节的第一空间坐标以及第二关节 的第二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二 关节为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关 节与所述第二关节之间的骨骼；
所述生成模块303，用于根据所述第一矢量生成所述第一身体姿态数据。
在一种可能的设计中，所述确定模块303，还用于计算所述第一矢量与 第一标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作 中所述第一骨骼对应的矢量方向，并根据所述矢量夹角确定第一动作得分， 以及根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所 述第一肢体动作对应的所述动作得分。
在图7所示实施例的基础上，图8是根据另一示例性实施例示出的运动 教学装置的流程示意图，如图8所示，本实施例提供的运动教学装置，还包 括：
判断模块306，用于判断所述第一动作得分是否小于预设的动作得分；
所述显示模块305，还用于在所述第二虚拟视频中对所述第一骨骼高亮 显示。
在一种可能的设计中，所述的运动教学装置，还包括：
采集模块307，用于采集至少一个运动类型对应的标准动作视频；
学习模块308，用于根据所述标准动作视频以及深度学习算法进行模型 训练构建所述预设的神经网络模型。
在一种可能的设计中，所述采集模块307，具体用于：
将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的 所述短视频作为训练样本构建动作视频训练集。
在一种可能的设计中，所述采集模块307，还具体用于：
对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括： 对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处 理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背 景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。
在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模 型。
在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷 积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、 第三卷积层、张量递归层和输出层；
其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化 层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积 层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接 到所述张量递归层。
值得说明地，图7和图8所示实施例中的终端设备，可用于执行上述图 1-图6所示实施例中的方法，具体实现方式和技术效果类似，这里不再赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程 序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技
图9为本发明根据一示例性实施例示出的电子设备的结构示意图。如图9所示，本实施例提供的电子设备，包括：
摄像头401、处理器402、存储器403以及显示器404；
所述摄像头401以及所述显示器404分别与所述处理器402相连接；
所述摄像头401，用于获取用户第一肢体动作的现实视频；
所述存储器403，用于存储所述处理器的可执行指令；
所述显示器404，用于显示所述现实视频以及虚拟视频；
其中，处理器404配置为经由执行可执行指令来执行前述任一项方法实 施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
并且，上述设备中的各模块的功能可以通过处理器401实现。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (30)
1.一种运动教学方法，其特征在于，包括：
获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的动作特征；
根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作，并根据所述第一标准肢体动作生成第一虚拟视频；
将所述第一虚拟视频叠加显示在所述现实视频中。
2.根据权利要求1所述的运动教学方法，其特征在于，在所述获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取之后，还包括：
提取所述现实视频中的场景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类型；
根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。
3.根据权利要求1所述的运动教学方法，其特征在于，在所述获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取之后，还包括：
提取所述现实视频中的器材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类型；
根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。
4.根据权利要求1所述的运动教学方法，其特征在于，在所述根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作之后，还包括：
根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。
5.根据权利要求4所述的运动教学方法，其特征在于，在所述根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分之后，还包括：
根据所述动作得分生成第二虚拟视频；
将所述第二虚拟视频叠加显示在所述现实视频中。
6.根据权利要求5所述的运动教学方法，其特征在于，所述根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分，包括：
提取所述现实视频中所述用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢体动作；
根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分。
7.根据权利要求6所述的运动教学方法，其特征在于，所述提取所述现实视频中所述用户的第一身体姿态数据，包括：
提取所述现实视频中所述用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；
根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二关节为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；
根据所述第一矢量生成所述第一身体姿态数据。
8.根据权利要求7所述的运动教学方法，其特征在于，所述根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分，包括：
计算所述第一矢量与第一标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作中所述第一骨骼对应的矢量方向；
根据所述矢量夹角确定第一动作得分；
根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所述第一肢体动作对应的所述动作得分。
9.根据权利要求8所述的运动教学方法，其特征在于，在所述根据所述矢量夹角确定第一动作得分之后，还包括：
判断所述第一动作得分是否小于预设的动作得分；
若判断结果为是，则在所述第二虚拟视频中对所述第一骨骼高亮显示。
10.根据权利要求1-9中任意一项所述的运动教学方法，其特征在于，在所述获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取之前，还包括：
采集至少一个运动类型对应的标准动作视频；
所述预设的神经网络模型是通过以下方法得到的：根据所述标准动作视频以及深度学习算法进行模型训练。
11.根据权利要求10所述的运动教学方法，其特征在于，所述采集至少一个运动类型对应的标准动作视频，包括：
将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。
12.根据权利要求11所述的运动教学方法，其特征在于，在所述将分割得到的所述短视频作为训练样本构建动作视频训练集之后，还包括：
对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。
13.根据权利要求12所述的运动教学方法，其特征在于，所述预设的神经网络模型为张量递归神经网络模型。
14.根据权利要求13所述的运动教学方法，其特征在于，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；
其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。
15.一种运动教学装置，其特征在于，包括：
获取模块，用于获取用户第一肢体动作的现实视频；
提取模块，用于通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的动作特征；
确定模块，用于根据所述动作特征以及预设标准动作模型库确定与所述第一肢体动作匹配的第一标准肢体动作；
生成模块，用于根据所述第一标准肢体动作生成第一虚拟视频；
显示模块，用于将所述第一虚拟视频叠加显示在所述现实视频中。
16.根据权利要求15所述的运动教学装置，其特征在于，所述提取模块，还用于提取所述现实视频中的场景特征，并根据所述场景特征确定所述第一肢体动作对应的第一运动类型；
所述确定模块，还用于根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。
17.根据权利要求15所述的运动教学装置，其特征在于，所述提取模块，还用于提取所述现实视频中的器材特征，并根据所述器材特征确定所述第一肢体动作对应的第一运动类型；
所述确定模块，还用于根据所述第一运动类型确定所述预设标准动作模型库，其中，所述预设标准动作模型库中的标准动作为所述第一运动类型对应的标准动作。
18.根据权利要求15所述的运动教学装置，其特征在于，所述确定模块，还用于根据所述第一肢体动作以及所述第一标准肢体动作之间的差异确定所述第一肢体动作的动作得分。
19.根据权利要求18所述的运动教学装置，其特征在于，所述生成模块，还用于根据所述动作得分生成第二虚拟视频；
所述显示模块，还用于将所述第二虚拟视频叠加显示在所述现实视频中。
20.根据权利要求19所述的运动教学装置，其特征在于，所述提取模块，还用于提取所述现实视频中所述用户的第一身体姿态数据，所述第一身体姿态数据用于表征所述第一肢体动作；
所述确定模块，还用于根据所述第一身体姿态数据与第一标准身体姿态数据计算所述动作得分。
21.根据权利要求20所述的运动教学装置，其特征在于，所述提取模块，还用于提取所述现实视频中所述用户的身体关节集合中各个关节在预设空间坐标系下的空间坐标数据；
所述确定模块，还用于根据第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，其中，所述第一关节与所述第二关节为所述身体关节集合中任意相邻的两关节，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；
所述生成模块，用于根据所述第一矢量生成所述第一身体姿态数据。
22.根据权利要求21所述的运动教学装置，其特征在于，所述确定模块，还用于计算所述第一矢量与第一标准矢量之间的矢量夹角，所述第一标准矢量为所述第一标准肢体动作中所述第一骨骼对应的矢量方向，并根据所述矢量夹角确定第一动作得分，以及根据所述第一动作得分以及每个所述第一骨骼对应的预设权重值计算所述第一肢体动作对应的所述动作得分。
23.根据权利要求22所述的运动教学装置，其特征在于，还包括：
判断模块，用于判断所述第一动作得分是否小于预设的动作得分；
所述显示模块，还用于在所述第二虚拟视频中对所述第一骨骼高亮显示。
24.根据权利要求15-23中任意一项所述的运动教学装置，其特征在于，还包括：
采集模块，用于采集至少一个运动类型对应的标准动作视频；
学习模块，用于根据所述标准动作视频以及深度学习算法进行模型训练构建所述预设的神经网络模型。
25.根据权利要求24所述的运动教学装置，其特征在于，所述采集模块，具体用于：
将所述标准动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。
26.根据权利要求25所述的运动教学装置，其特征在于，所述采集模块，还具体用于：
对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。
27.根据权利要求26所述的运动教学装置，其特征在于，所述预设的神经网络模型为张量递归神经网络模型。
28.根据权利要求27所述的运动教学装置，其特征在于，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；
其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。
29.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-14任一项所述的运动教学方法。
30.一种电子设备，其特征在于，包括：
摄像头、处理器、存储器以及显示器；
所述摄像头以及所述显示器分别与所述处理器相连接；
所述摄像头，用于获取用户第一肢体动作的现实视频；
所述存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-14任一项所述的运动教学方法；
所述显示器，用于显示所述现实视频以及虚拟视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810981820.1A CN109191588B (zh) | 2018-08-27 | 2018-08-27 | 运动教学方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810981820.1A CN109191588B (zh) | 2018-08-27 | 2018-08-27 | 运动教学方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109191588A true CN109191588A (zh) | 2019-01-11 |
| CN109191588B CN109191588B (zh) | 2020-04-07 |
Family
ID=64916272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810981820.1A Active CN109191588B (zh) | 2018-08-27 | 2018-08-27 | 运动教学方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109191588B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829442A (zh) * | 2019-02-22 | 2019-05-31 | 焦点科技股份有限公司 | 一种基于摄像头的人体动作评分的方法及系统 |
| CN109885725A (zh) * | 2019-02-21 | 2019-06-14 | 联想(北京)有限公司 | 一种实时教学方法、装置、存储介质及电子设备 |
| CN110008814A (zh) * | 2019-01-25 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 视频处理方法、视频处理装置和电子设备 |
| CN110110647A (zh) * | 2019-04-30 | 2019-08-09 | 北京小米移动软件有限公司 | 基于ar设备进行信息显示的方法、装置及存储介质 |
| CN110135284A (zh) * | 2019-04-25 | 2019-08-16 | 中国地质大学（武汉） | 一种基于工业相机的篮球运动员动作捕捉分析装置及方法 |
| CN110414434A (zh) * | 2019-07-29 | 2019-11-05 | 努比亚技术有限公司 | 舞蹈练习方法、移动终端及计算机可读存储介质 |
| CN110418205A (zh) * | 2019-07-04 | 2019-11-05 | 安徽华米信息科技有限公司 | 健身教学方法、装置、设备、系统及存储介质 |
| CN110782482A (zh) * | 2019-10-21 | 2020-02-11 | 深圳市网心科技有限公司 | 运动评估方法、装置、计算机设备及存储介质 |
| CN110841266A (zh) * | 2019-10-24 | 2020-02-28 | 中国人民解放军军事科学院国防科技创新研究院 | 一种辅助训练系统及方法 |
| CN110929595A (zh) * | 2019-11-07 | 2020-03-27 | 河海大学 | 一种基于人工智能的有球无球训练或娱乐系统及方法 |
| CN111767768A (zh) * | 2019-07-31 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置及设备 |
| CN112016439A (zh) * | 2020-08-26 | 2020-12-01 | 上海松鼠课堂人工智能科技有限公司 | 基于对抗神经网络的游戏化学习环境创建方法和系统 |
| CN112348942A (zh) * | 2020-09-18 | 2021-02-09 | 当趣网络科技(杭州)有限公司 | 一种健身交互方法和系统 |
| CN112422946A (zh) * | 2020-11-30 | 2021-02-26 | 重庆邮电大学 | 一种基于3d重构的智能瑜伽动作指导系统 |
| CN112484229A (zh) * | 2020-11-30 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种空调控制方法、装置、电子设备及可读存储介质 |
| CN112712450A (zh) * | 2021-01-04 | 2021-04-27 | 中南民族大学 | 基于云课堂的实时交互方法、装置、设备及存储介质 |
| CN113033242A (zh) * | 2019-12-09 | 2021-06-25 | 上海幻电信息科技有限公司 | 动作识别方法及系统 |
| CN113457105A (zh) * | 2020-03-30 | 2021-10-01 | 乔山健身器材（上海）有限公司 | 具健身选单的智能镜子 |
| CN114373549A (zh) * | 2022-03-22 | 2022-04-19 | 北京大学 | 一种面向老年人的自适应运动处方健康干预方法及系统 |
| CN114549706A (zh) * | 2022-02-21 | 2022-05-27 | 成都工业学院 | 一种动画生成方法及动画生成装置 |
| CN114584682A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 一种增强现实场景下的数据展示方法、装置以及电子设备 |
| WO2022193425A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市韶音科技有限公司 | 运动数据展示方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120033856A1 (en) * | 2006-12-19 | 2012-02-09 | Matthew Flagg | System and method for enabling meaningful interaction with video based characters and objects |
| CN105844100A (zh) * | 2016-03-24 | 2016-08-10 | 乐视控股（北京）有限公司 | 通过电视和体感配件进行康复训练及系统 |
| CN107485844A (zh) * | 2017-09-27 | 2017-12-19 | 广东工业大学 | 一种肢体康复训练方法、系统及嵌入式设备 |
| CN107832736A (zh) * | 2017-11-24 | 2018-03-23 | 南京华捷艾米软件科技有限公司 | 实时人体动作的识别方法和实时人体动作的识别装置 |
| CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技（深圳）有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
| US20190257886A1 (en) * | 2018-02-21 | 2019-08-22 | Nec Laboratories America, Inc. | Deep learning approach for battery aging model |
-
2018
- 2018-08-27 CN CN201810981820.1A patent/CN109191588B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120033856A1 (en) * | 2006-12-19 | 2012-02-09 | Matthew Flagg | System and method for enabling meaningful interaction with video based characters and objects |
| CN105844100A (zh) * | 2016-03-24 | 2016-08-10 | 乐视控股（北京）有限公司 | 通过电视和体感配件进行康复训练及系统 |
| CN107485844A (zh) * | 2017-09-27 | 2017-12-19 | 广东工业大学 | 一种肢体康复训练方法、系统及嵌入式设备 |
| CN107832736A (zh) * | 2017-11-24 | 2018-03-23 | 南京华捷艾米软件科技有限公司 | 实时人体动作的识别方法和实时人体动作的识别装置 |
| CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技（深圳）有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
| US20190257886A1 (en) * | 2018-02-21 | 2019-08-22 | Nec Laboratories America, Inc. | Deep learning approach for battery aging model |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008814A (zh) * | 2019-01-25 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 视频处理方法、视频处理装置和电子设备 |
| CN109885725A (zh) * | 2019-02-21 | 2019-06-14 | 联想(北京)有限公司 | 一种实时教学方法、装置、存储介质及电子设备 |
| CN109829442A (zh) * | 2019-02-22 | 2019-05-31 | 焦点科技股份有限公司 | 一种基于摄像头的人体动作评分的方法及系统 |
| CN110135284A (zh) * | 2019-04-25 | 2019-08-16 | 中国地质大学（武汉） | 一种基于工业相机的篮球运动员动作捕捉分析装置及方法 |
| CN110110647A (zh) * | 2019-04-30 | 2019-08-09 | 北京小米移动软件有限公司 | 基于ar设备进行信息显示的方法、装置及存储介质 |
| CN110418205A (zh) * | 2019-07-04 | 2019-11-05 | 安徽华米信息科技有限公司 | 健身教学方法、装置、设备、系统及存储介质 |
| CN110414434A (zh) * | 2019-07-29 | 2019-11-05 | 努比亚技术有限公司 | 舞蹈练习方法、移动终端及计算机可读存储介质 |
| CN111767768A (zh) * | 2019-07-31 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 图像处理方法、装置及设备 |
| CN110782482A (zh) * | 2019-10-21 | 2020-02-11 | 深圳市网心科技有限公司 | 运动评估方法、装置、计算机设备及存储介质 |
| CN110841266A (zh) * | 2019-10-24 | 2020-02-28 | 中国人民解放军军事科学院国防科技创新研究院 | 一种辅助训练系统及方法 |
| CN110929595A (zh) * | 2019-11-07 | 2020-03-27 | 河海大学 | 一种基于人工智能的有球无球训练或娱乐系统及方法 |
| CN113033242A (zh) * | 2019-12-09 | 2021-06-25 | 上海幻电信息科技有限公司 | 动作识别方法及系统 |
| CN113457105A (zh) * | 2020-03-30 | 2021-10-01 | 乔山健身器材（上海）有限公司 | 具健身选单的智能镜子 |
| CN113457105B (zh) * | 2020-03-30 | 2022-09-13 | 乔山健身器材（上海）有限公司 | 具健身选单的智能镜子 |
| CN112016439B (zh) * | 2020-08-26 | 2021-06-29 | 上海松鼠课堂人工智能科技有限公司 | 基于对抗神经网络的游戏化学习环境创建方法和系统 |
| CN112016439A (zh) * | 2020-08-26 | 2020-12-01 | 上海松鼠课堂人工智能科技有限公司 | 基于对抗神经网络的游戏化学习环境创建方法和系统 |
| CN112348942A (zh) * | 2020-09-18 | 2021-02-09 | 当趣网络科技(杭州)有限公司 | 一种健身交互方法和系统 |
| CN112348942B (zh) * | 2020-09-18 | 2024-03-19 | 当趣网络科技(杭州)有限公司 | 一种健身交互方法和系统 |
| CN112422946B (zh) * | 2020-11-30 | 2023-01-31 | 重庆邮电大学 | 一种基于3d重构的智能瑜伽动作指导系统 |
| CN112484229A (zh) * | 2020-11-30 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种空调控制方法、装置、电子设备及可读存储介质 |
| CN112422946A (zh) * | 2020-11-30 | 2021-02-26 | 重庆邮电大学 | 一种基于3d重构的智能瑜伽动作指导系统 |
| CN114584682A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 一种增强现实场景下的数据展示方法、装置以及电子设备 |
| CN112712450A (zh) * | 2021-01-04 | 2021-04-27 | 中南民族大学 | 基于云课堂的实时交互方法、装置、设备及存储介质 |
| WO2022193425A1 (zh) * | 2021-03-19 | 2022-09-22 | 深圳市韶音科技有限公司 | 运动数据展示方法和系统 |
| CN114549706A (zh) * | 2022-02-21 | 2022-05-27 | 成都工业学院 | 一种动画生成方法及动画生成装置 |
| CN114373549A (zh) * | 2022-03-22 | 2022-04-19 | 北京大学 | 一种面向老年人的自适应运动处方健康干预方法及系统 |
| CN114373549B (zh) * | 2022-03-22 | 2022-06-10 | 北京大学 | 一种面向老年人的自适应运动处方健康干预方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109191588B (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191588A (zh) | 运动教学方法、装置、存储介质及电子设备 | |
| CN108734104B (zh) | 基于深度学习图像识别的健身动作纠错方法及系统 | |
| US11006856B2 (en) | Method and program product for multi-joint tracking combining embedded sensors and an external sensor | |
| US8175326B2 (en) | Automated scoring system for athletics | |
| US11113988B2 (en) | Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same | |
| CN109409348A (zh) | 一种用户体征的确定方法、装置、设备和存储介质 | |
| JP6757010B1 (ja) | 動作評価装置、動作評価方法、動作評価システム | |
| US11935330B2 (en) | Object fitting using quantitative biomechanical-based analysis | |
| CN112288766B (zh) | 运动评估方法、装置、系统及存储介质 | |
| KR100907704B1 (ko) | 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 | |
| US20230245366A1 (en) | 3d avatar generation using biomechanical analysis | |
| CN114022512A (zh) | 运动辅助方法、装置及介质 | |
| CN109409199A (zh) | 微表情训练方法、装置、存储介质及电子设备 | |
| CN114092863A (zh) | 一种用于多视角视频图像的人体动作评估方法 | |
| CN109407826A (zh) | 球类运动模拟方法、装置、存储介质及电子设备 | |
| CN114093032A (zh) | 一种基于动作状态信息的人体动作评估方法 | |
| EP3786971A1 (en) | Advancement manager in a handheld user device | |
| CN113842622B (zh) | 一种运动教学方法、装置、系统、电子设备及存储介质 | |
| JP6939939B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP7482471B2 (ja) | 学習モデルの生成方法 | |
| US20140073383A1 (en) | Method and system for motion comparison | |
| US20230285802A1 (en) | Method, device, and non-transitory computer-readable recording medium for estimating information on golf swing | |
| CN113947811A (zh) | 一种基于生成对抗网络的太极拳动作校正方法及系统 | |
| CN114092862A (zh) | 一种基于最优帧选取的动作评估方法 | |
| KR102670939B1 (ko) | 센서 데이터를 활용한 운동 자세 평가 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |