CN113947811A - 一种基于生成对抗网络的太极拳动作校正方法及系统 - Google Patents

一种基于生成对抗网络的太极拳动作校正方法及系统 Download PDF

Info

Publication number
CN113947811A
CN113947811A CN202111201371.2A CN202111201371A CN113947811A CN 113947811 A CN113947811 A CN 113947811A CN 202111201371 A CN202111201371 A CN 202111201371A CN 113947811 A CN113947811 A CN 113947811A
Authority
CN
China
Prior art keywords
user
human body
action
stage
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111201371.2A
Other languages
English (en)
Inventor
叶松涛
梁一鸣
谢艺艺
郎超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202111201371.2A priority Critical patent/CN113947811A/zh
Publication of CN113947811A publication Critical patent/CN113947811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的太极拳动作校正方法及系统，涉及人工智能及图像识别技术领域，该方法包括：基于获取的当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；计算下一阶段用户的标准动作序列和获取的下一阶段用户的人体动作图像之间的相似度；根据相似度，校正用户练习太极拳的动作。本发明使用计算机视觉与深度学习技术对人体关节点进行检测和对动作进行识别与评价，相比传统的使用传感器和可穿戴设备，降低了成本、提高了太极拳练习的便捷性、提高了动作评价的准确度。

Description

一种基于生成对抗网络的太极拳动作校正方法及系统
技术领域
本发明涉及人工智能及图像识别技术领域，特别是涉及一种基于生成对抗网络的太极拳动作校正方法及系统。
背景技术
目前，现有的室内太极拳训练装置主要使用可穿戴设备固定在用户身上，对用户的动作数据进行采集，这种方式虽然能够校正用户的太极拳动作，但是限制了用户的运动幅度，而且此穿戴设备价格昂贵，不利于用户使用和太极拳推广。
发明内容
本发明的目的是提供一种基于生成对抗网络的太极拳动作校正方法及系统，能够低成本校正用户的太极拳动作，实现太极拳教学。
为实现上述目的，本发明提供了如下方案：
一种基于生成对抗网络的太极拳动作校正方法，包括：
获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
获取下一阶段用户的人体动作图像；
计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
根据所述相似度，校正用户练习太极拳的动作。
可选的，在获取当前阶段用户的人体动作图像之前，所述太极拳动作校正方法还包括预处理部分；所述预处理部分为：
获取初期阶段用户的人体动作图像；所述初期阶段为用户练习太极拳之前的阶段；
判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点；
若是，则获取当前阶段用户的人体动作图像；
若否，则输出调整用户位置信息，并当用户调整位置后，重新拍摄初期阶段用户的人体动作图像，返回判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点步骤。
可选的，所述判断所述初期阶段用户的人体动作图像是否包括人体全部关节点，具体包括
采用openpose模型对所述初期阶段用户的人体动作图像进行处理，以得到初期阶段人体关节数据；
计算所述初期阶段人体关节数据每个关节点的置信度；
判断每个所述关节点的置信度是否均大于0；
其中，当每个所述关节点的置信度均大于0时，获取当前阶段用户的人体动作图像；当所述关节点的置信度小于或者等于0时，输出调整用户位置信息，并当用户调整位置后，重新拍摄初期阶段用户的人体动作图像，返回判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点步骤。
可选的，所述基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列，具体包括：
采用openpose模型对所述当前阶段用户的人体动作图像进行处理，以得到当前阶段人体关节数据；
将所述当前阶段人体关节数据输入到训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列。
可选的，计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度，具体包括：
采用openpose模型对所述下一阶段用户的人体动作图像进行处理，以得到下一阶段人体关节数据；
基于所述下一阶段用户的标准动作序列和下一阶段人体关节数据，计算每组标准关节点以及与所述标准关节点匹配的用户人体关节点之间的相似度；所述下一阶段用户的标准动作序列包括多个标准关节点的动作数据，所述下一阶段人体关节数据包括多个用户人体关节点的动作数据。
可选的，根据所述相似度，校正用户练习太极拳的动作，具体包括：
依次判断每个所述相似度是否大于设定阈值；
若是，则将所述相似度对应的用户人体关节点的区域确定为合格区域；
若否，则将所述相似度对应的用户人体关节点的区域确定为不合格区域，并校正所述不合格区域的太极拳动作。
可选的，所述生成对抗网络模型包括基于骨骼序列的辨别器、基于帧的辨别器和动作生成器；其中，所述动作生成器包括GRU层、时间注意力模块和GCN网络。
一种基于生成对抗网络的太极拳动作校正系统，包括：
当前阶段数据获取模块，用于获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
下一阶段用户的标准动作序列确定模块，用于基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
下一阶段数据获取模块，用于获取下一阶段用户的人体动作图像；
相似度计算模块，用于计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
校正模块，用于根据所述相似度，校正用户练习太极拳的动作。
一种基于生成对抗网络的太极拳动作校正系统，包括：后台服务器和镜面一体机；其中，所述镜面一体机上设置有摄像头和显示器；
所述摄像头用于实时捕捉用户的人体动作图像；
所述显示器用于播放用户练习的太极拳示范动作；
所述后台服务器，用于：
获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
获取下一阶段用户的人体动作图像；
计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
根据所述相似度，输出校正动作指令；所述校正动作指令为不合格区域的太极拳动作校正指令；
所述显示器，还用于显示所述不合格区域以及显示所述不合格区域的太极拳校正动作。
可选的，还包括用户端；
所述用户端用于输入用户的体质数据和选择所练习的太极拳动作，并将所述用户的体质数据和练习的太极拳动作上传至所述后台服务器。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明使用计算机视觉与深度学习技术对人体关节点进行检测和对动作进行识别与评价，相比传统的使用传感器和可穿戴设备，降低了成本、提高了太极拳练习的便捷性、提高了动作评价的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于生成对抗网络的太极拳动作校正方法的流程示意图；
图2为本发明一种基于生成对抗网络的太极拳动作校正方法具体流程示意图；
图3为本发明生成对抗网络模型的模型架构图；
图4为本发明动作生成器的网络结构图；
图5为本发明基于骨骼序列的辨别器的网络结构图；
图6为本发明基于帧的辨别器的网络结构图；
图7为本发明的动作评分算法流程图；
图8为本发明人体关节点示意图；
图9为本发明一种基于生成对抗网络的太极拳动作校正系统的结构示意图；
图10为本发明一种基于生成对抗网络的太极拳动作校正系统的信息交互图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，本实施例提供了一种基于生成对抗网络的太极拳动作校正方法，包括：
步骤101：获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像。
步骤102：基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据。
步骤103：获取下一阶段用户的人体动作图像。
步骤104：计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度。
步骤105：根据所述相似度，校正用户练习太极拳的动作。
进一步地，在执行步骤101之前，所述太极拳动作校正方法还包括预处理部分；所述预处理部分为：
获取初期阶段用户的人体动作图像；所述初期阶段为用户练习太极拳之前的阶段；判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点；若是，则获取当前阶段用户的人体动作图像；若否，则输出调整用户位置信息，并当用户调整位置后，重新拍摄初期阶段用户的人体动作图像，返回判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点步骤。
其中，步骤：判断所述初期阶段用户的人体动作图像是否包括人体全部关节点，具体包括
采用openpose模型对所述初期阶段用户的人体动作图像进行处理，以得到初期阶段人体关节数据；计算所述初期阶段人体关节数据每个关节点的置信度；判断每个所述关节点的置信度是否均大于0。
当每个所述关节点的置信度均大于0时，获取当前阶段用户的人体动作图像；当所述关节点的置信度小于或者等于0时，输出调整用户位置信息，并当用户调整位置后，重新拍摄初期阶段用户的人体动作图像，返回判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点步骤。
所述步骤102，具体包括：
采用openpose模型对所述当前阶段用户的人体动作图像进行处理，以得到当前阶段人体关节数据；将所述当前阶段人体关节数据输入到训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列。
所述步骤104，具体包括：
采用openpose模型对所述下一阶段用户的人体动作图像进行处理，以得到下一阶段人体关节数据；基于所述下一阶段用户的标准动作序列和下一阶段人体关节数据，计算每组标准关节点以及与所述标准关节点匹配的用户人体关节点之间的相似度；所述下一阶段用户的标准动作序列包括多个标准关节点的动作数据，所述下一阶段人体关节数据包括多个用户人体关节点的动作数据。
所述步骤105，具体包括：
依次判断每个所述相似度是否大于设定阈值；若是，则将所述相似度对应的用户人体关节点的区域确定为合格区域；若否，则将所述相似度对应的用户人体关节点的区域确定为不合格区域，并校正所述不合格区域的太极拳动作。
所述生成对抗网络模型包括基于骨骼序列的辨别器、基于帧的辨别器和动作生成器；其中，所述动作生成器包括GRU层、时间注意力模块和GCN网络。
实施例二
请参见图2，本实施例提供的一种基于生成对抗网络的太极拳动作校正方法，主要流程如下：
步骤1：登录微信小程序，输入用户的体质数据。
步骤2：通过微信小程序选择需要练习的太极拳招式，微信小程序将用户选择的太极拳招式传输给后台服务器。
步骤3：用户站在镜面一体机前且合适的位置上，以便镜面一体机能完整的捕获用户的人体动作图像；其中，镜面一体机由显示器、平面镜和摄像头组成，显示器用来播放示范动作，平面镜用来让用户查看自己的动作。
摄像头会每隔一秒钟拍摄一次人体动作图像(此处的人体动作图像为未进行太极拳训练时的人体图像)，并将人体动作图像发送到后台服务器进行检测，后台服务器根据相应算法判断人体动作图像中是否包含用户的全部人体关节点，其判断主要流程：将拍摄的人体动作图像，使用openpose模型识别出人体关节数据，遍历人体的25个关节点(包括0-鼻子、1-脖子、2-右肩、3-右肘、4-右手腕、5-左肩、6-左肘、7-左手腕、8-中臀、9-右臀、10-右膝、11-右踝、12-左臀、13-左膝、14-左踝、15-右眼、16-左眼、17-右耳、18-左耳、19-左大脚趾、20-左小脚趾、21-左脚后跟、22-右大脚趾、23-右小脚趾、24-右脚后跟)，判断识别结果中每个关节点的置信度是否大于0，若是则确定为成功检测到完整人体，则后台服务器根据微信小程序传输的太极拳招式控制显示器播放相应的招式进行训练，否则将语音提示用户站到合适的位置并继续拍摄人体动作图像。
步骤4：到教学页面后，显示器上会播放教练示范的太极拳动作，用户可以跟着练习。
摄像头仍然每隔一秒钟拍摄一张人体动作图像(此时的人体动作图像为做太极拳动作时的人体图像)，并将其发送到后台服务器进行动作检测与评分。后台服务器使用openpose模型识别出人体动作图像中的人体关节点数据，将其输入经过训练的生成对抗网络模型，并输出后续几秒的标准太极拳骨骼关节点数据，此标准太极拳骨骼关节点数据为根据用户当前人体关节点数据预测的后续，并作为动作评价的标准数据，等到用户运动到下一秒时，将下一秒用户的人体关节点数据与之前生成的标准太极拳骨骼关节点数据做相似度比较，以计算每个关节的动作得分，当得分低于阈值时，即判定为错误动作，此时通过语音提示用户纠正动作，同时也将下一秒用户的人体关节点数据输入训练的生成对抗网络模型以生成用于后续动作评价的标准数据，一直重复以上过程。
用于生成标准太极拳骨骼关节点数据的生成对抗网络模型，主要由两个辨别器和一个动作生成器G组成，模型架构图如图3所示。其中，两个辨别器分别为：基于骨骼序列的辨别器DV和基于帧的辨别器DF。
动作生成器G的作用为根据当前人体动作图像生成一系列后续标准动作。设骨骼数据由N个关节的2D坐标构成，数据集分为n类动作，预测后续T帧人体动作。动作生成器G的输入由三部分组成：1.初始帧人体骨骼I∈2×N，一个2×N的向量表示关节的二维坐标，数据范围[-1,1]；2.随机高斯噪声
Figure BDA0003305064740000081
通过高斯噪声使每帧生成Cz维的潜向量；3.表示动作类别的标签l∈n，一个n维的One-hot向量。动作生成器G的网络结构主要由GRU层、时间注意力模块、GCN网络构成；GRU层使动作生成器G能学习骨骼序列的时间特征分布，时间注意力模块能挑选相似骨骼聚合特征，GCN网络将高维特征转化为结构化人体骨骼。
动作生成器G的网络结构如图4所示。首先使用卷积核为1的1D卷积对标签向量l进行特征变换，特征维度从n放大至Cl维。卷积后标签向量l′与噪声z串联，并使用1D卷积融合两种特征；卷积后的特征作为RNN层的输入，RNN层具有循环结构，能记忆前后输入，提取时间序列的全局特征，所以使用单层GRU层就使动作生成器G具有将高斯噪声序列映射为骨骼序列的能力。假设序列长度为T，GRU层输入为Ch×T大小的特征张量，输出为CG×T大小的特征张量，表示为[o0,o1,o2, ,oT-1]。为了增强网络对动作类别的记忆，GRU层的输出与标签向量l′在特征通道上串联。时间序列具有连续性，当前帧的动作会受其之前所有帧的影响，在时刻t之前发生的变化都会对时刻t造成影响。为了充分利用时序信息，对GRU层的输出进行残差累加，残差连接后的输出为[c0,c1,c2, ,cT-1]，其中c0＝o0,c1＝o1+c0,,cT-1＝oT-1+cT-2。GRU层之后是两个时间注意力模块，使用时间注意力模块增强对时间信息的利用。经过时间注意力模块后将得到2V×T大小的特征张量，将张量变形为2×1×T×V并输入5层的GCN网络中，其中，2代表了关节2维坐标X和Y两个通道。GCN网络会学习人体拓扑结构，为不同的关节连接分配权重，融合相邻关节的特征，输出2×128×T×V大小的张量，最后使用卷积核1×1的2D卷积将特征通道从128压缩为1，再经过Tanh函数将数值范围归一化至-1～1，得到骨骼序列的关节坐标。
图5为基于骨骼序列的辨别器DV。辨别器DV将完整的骨骼序列和标签作为输入，首先使用两个“卷积核1的1D卷积+LeakyReLU”将骨骼序列的特征维度扩展至1000，然后将标签与特征进行串联，使用两个“卷积核1的1D卷积+LeakyReLU”将特征维度压缩至128，再使用卷积核为3的1D卷积将128维压缩至1维，最后使用两个全连接进行池化，一个全连接层池化至n维，再使用Softmax得到骨骼序列分别属于每类动作的概率；另一个全连接层池化至1维，使用Sigmoid函数得到骨骼序列是真实数据的概率。
图6为基于帧的辨别器DF，其网络结构与辨别器DV类似。辨别器DV不仅判断输出序列是真实数据还是动作生成器G生成，还输出对序列的动作类别判断，而辨别器DF只判断输入帧的真假。从完整的骨骼序列中随机选择kframe帧输入辨别器DF，首先使用两个“卷积核1的1D卷积+LeakyReLU”膨胀输入特征维度扩展至512，为了不丢失信息，输入经过一个全连接层后作为残差，与1D卷积输出进行残差连接；然后将标签与特征进行串联，再使用两个“卷积核1的1D卷积+LeakyReLU”将特征维度压缩至128；最后使用两个全连接层将特征通道和帧数均池化为1，经过Sigmoid得到输入是否为真的概率。
动作生成器G根据当前帧用户的太极拳关节点数据生成尽可能真实的动作，辨别器DV和帧辨别器DF尽可能区分生成数据和真实数据，动作预测网络的目标函数为：
Figure BDA0003305064740000101
其中，辨别器DV和辨别器DF的损失LF和损失LV分别为：
LF＝Ex～p(x)[log(DF(x|y))]+Ez～p(z)[log(1-DF(G(z|y)))]；
损失LF为辨别器DF对真实数据和生成数据区分真假的交叉熵，损失LV由区分真假的交叉熵和区分动作类别的交叉熵两部分组成。采取交替更新策略训练网络，针对动作生成器G、辨别器DV、辨别器DF三部分网络，每次固定其中两个网络的参数只更新剩下的一个网络，训练算法如下。
算法1 GAN训练算法
输入：数据x，初始帧I，类别标签l，真伪标签y
Figure BDA0003305064740000103
Figure BDA0003305064740000113
本实施例所用数据集来自真实的太极拳视频数据集，该数据集采集自132位太极拳教练视频，包含2956个视频片段，主要内容为陈氏太极老架一路一式到六式及收势，细分为25类动作，采集的太极拳视频均为正面拍摄，且拍摄对象始终保持在画面内；拍摄对象太极拳动作标准，生成对抗网络模型能很好地提取特征。
数据集处理步骤：首先使用OpenPose提取视频中人体骨骼关节坐标，并通过数据清洗对缺失数据、非法值进行处理。为了增强泛化能力，对关节坐标采取归一化、模拟相机移动、数据填充等操作进行数据增强处理。
图7为本发明的动作评分算法流程图。根据太极拳的运动特性，以及各关节点对动作状态描述的贡献程度不同，将关节点数据信息划分为六大部分，即：左手区域、右手区域、左腿区域、右腿区域、双腿间距、整体协调性。对于每个部位中不同组关节点数据分别求得关节点的相对距离差距和关节角度差距的得分。
计算关节点距离差距得分的方法如下：
首先计算每对关节点的欧氏距离；由于不同图片比例可能不同，直接用绝对距离计算可能会产生误差，而不同图片中人体的脊柱长度占比基本是固定的，即图8中1、8两关节点间的距离，因此改进公式将绝对距离除以脊柱的长度得到相对距离，设两关节点分别为A(xi,yi)、B(xj,yj)，i、j分别为两节点的索引，脊柱长度为d0，则相对距离为：
Figure BDA0003305064740000121
其次计算相对距离得分；设标准数据的相对距离为dstd(i,j)，用户数据的相对距离为dusr(i,j)，标准数据与用户数据的相对距离的最大差距为MaxError，则最终得分score为：
Figure BDA0003305064740000122
接下来计算角度；假设三个点分别为[A,C,B]，根据上述公式分别求得三个点两两之间的距离，AC为b、AB为c、BC为a，根据余弦定理有如下公式求得角C的余弦值：
Figure BDA0003305064740000123
由于角度相对于弧度范围更大更加便于计算，因此利用如下公式计算其角度值angle。
Figure BDA0003305064740000124
然后计算角度得分；关节角度变化范围为0-180°，即标准动作与用户动作差异最大值为180，设标准数据为anglestd，用户数据为angleusr，因此可以利用如下公式求得角度得分score。
Figure BDA0003305064740000125
最后求距离和角度得分的均值即为此部位的总得分，遍历六大部位求得每个部位的得分，同时将所有组数据的得分求均值得出此次动作最终得分。
每一秒记录的用户动作以及其对应的标准动作会实时的显示在镜面一体机的显示器上，对于错误的动作会用显眼的红框将其标记出，方便查看，训练完成后系统会根据评分及动作错误情况生成一份训练分析报告。
实施例三
请参见图9，本实施例提供的一种基于生成对抗网络的太极拳动作校正系统，包括：
当前阶段数据获取模块901，用于获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像。.
下一阶段用户的标准动作序列确定模块902，用于基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据。
下一阶段数据获取模块903，用于获取下一阶段用户的人体动作图像。
相似度计算模块904，用于计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度。
校正模块905，用于根据所述相似度，校正用户练习太极拳的动作。
实施例四
如图10所示，本实施例提供的一种基于生成对抗网络的太极拳动作校正系统，包括：后台服务器、镜面一体机和用户端；其中，所述镜面一体机上设置有摄像头和显示器；
所述用户端用于输入用户的体质数据和选择所练习的太极拳动作，并将所述用户的体质数据和练习的太极拳动作上传至所述后台服务器。
所述摄像头用于实时捕捉用户的人体动作图像。
所述显示器用于播放用户练习的太极拳示范动作。
所述后台服务器，用于：
获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
获取下一阶段用户的人体动作图像；
计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
根据所述相似度，输出校正动作指令；所述校正动作指令为不合格区域的太极拳动作校正指令；
所述显示器，还用于显示所述不合格区域以及显示所述不合格区域的太极拳校正动作。
与现有技术相比，本发明具有以下有益效果：
(1)使用生成对抗网络模型生成标准太极拳动作序列，作为动作准确度判断标准，实现太极拳教学，当检测到偏离标准动作较大的关节，采用语音提示纠正其动作；(2)本发明使用生成对抗网络模型，基于用户当前动作预测出标准的后续太极拳动作，能够解决在只有二维人体关节数据时，因人体朝向不同而产生的动作评价误差，用户在使用时对设备获取图象的拍摄角度和拍摄位置没有限制；(3)使用安卓显示器结合穿衣镜设计出智能太极训练镜面一体机，基于此设备结合算法模型开发出的系统能够让用户在练习太极拳时实时观测到自己的动作，实时反馈训练效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于生成对抗网络的太极拳动作校正方法，其特征在于，包括：
获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
获取下一阶段用户的人体动作图像；
计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
根据所述相似度，校正用户练习太极拳的动作。
2.根据权利要求1所述的一种基于生成对抗网络的太极拳动作校正方法，其特征在于，在获取当前阶段用户的人体动作图像之前，所述太极拳动作校正方法还包括预处理部分；所述预处理部分为：
获取初期阶段用户的人体动作图像；所述初期阶段为用户练习太极拳之前的阶段；
判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点；
若是，则获取当前阶段用户的人体动作图像；
若否，则输出调整用户位置信息，并当用户调整位置后，重新拍摄初期阶段用户的人体动作图像，返回判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点步骤。
3.根据权利要求2所述的一种基于生成对抗网络的太极拳动作校正方法，其特征在于，所述判断所述初期阶段用户的人体动作图像是否包括人体全部关节点，具体包括
采用openpose模型对所述初期阶段用户的人体动作图像进行处理，以得到初期阶段人体关节数据；
计算所述初期阶段人体关节数据每个关节点的置信度；
判断每个所述关节点的置信度是否均大于0；
其中，当每个所述关节点的置信度均大于0时，获取当前阶段用户的人体动作图像；当所述关节点的置信度小于或者等于0时，输出调整用户位置信息，并当用户调整位置后，重新拍摄初期阶段用户的人体动作图像，返回判断所述初期阶段用户的人体动作图像是否包括设定的人体关节点步骤。
4.根据权利要求1所述的一种基于生成对抗网络的太极拳动作校正方法，其特征在于，所述基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列，具体包括：
采用openpose模型对所述当前阶段用户的人体动作图像进行处理，以得到当前阶段人体关节数据；
将所述当前阶段人体关节数据输入到训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列。
5.根据权利要求1所述的一种基于生成对抗网络的太极拳动作校正方法，其特征在于，计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度，具体包括：
采用openpose模型对所述下一阶段用户的人体动作图像进行处理，以得到下一阶段人体关节数据；
基于所述下一阶段用户的标准动作序列和下一阶段人体关节数据，计算每组标准关节点以及与所述标准关节点匹配的用户人体关节点之间的相似度；所述下一阶段用户的标准动作序列包括多个标准关节点的动作数据，所述下一阶段人体关节数据包括多个用户人体关节点的动作数据。
6.根据权利要求5所述的一种基于生成对抗网络的太极拳动作校正方法，其特征在于，根据所述相似度，校正用户练习太极拳的动作，具体包括：
依次判断每个所述相似度是否大于设定阈值；
若是，则将所述相似度对应的用户人体关节点的区域确定为合格区域；
若否，则将所述相似度对应的用户人体关节点的区域确定为不合格区域，并校正所述不合格区域的太极拳动作。
7.根据权利要求1所述的一种基于生成对抗网络的太极拳动作校正方法，其特征在于，所述生成对抗网络模型包括基于骨骼序列的辨别器、基于帧的辨别器和动作生成器；其中，所述动作生成器包括GRU层、时间注意力模块和GCN网络。
8.一种基于生成对抗网络的太极拳动作校正系统，其特征在于，包括：
当前阶段数据获取模块，用于获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
下一阶段用户的标准动作序列确定模块，用于基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
下一阶段数据获取模块，用于获取下一阶段用户的人体动作图像；
相似度计算模块，用于计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
校正模块，用于根据所述相似度，校正用户练习太极拳的动作。
9.一种基于生成对抗网络的太极拳动作校正系统，其特征在于，包括：后台服务器和镜面一体机；其中，所述镜面一体机上设置有摄像头和显示器；
所述摄像头用于实时捕捉用户的人体动作图像；
所述显示器用于播放用户练习的太极拳示范动作；
所述后台服务器，用于：
获取当前阶段用户的人体动作图像；所述人体动作图像为练习太极拳时捕捉的动作图像；
基于所述当前阶段用户的人体动作图像和训练好的生成对抗网络模型，确定下一阶段用户的标准动作序列；所述标准动作序列内的数据为标准太极拳骨骼关节点数据；
获取下一阶段用户的人体动作图像；
计算所述下一阶段用户的标准动作序列和所述下一阶段用户的人体动作图像之间的相似度；
根据所述相似度，输出校正动作指令；所述校正动作指令为不合格区域的太极拳动作校正指令；
所述显示器，还用于显示所述不合格区域以及显示所述不合格区域的太极拳校正动作。
10.根据权利要求9所述的一种基于生成对抗网络的太极拳动作校正系统，其特征在于，还包括用户端；
所述用户端用于输入用户的体质数据和选择所练习的太极拳动作，并将所述用户的体质数据和练习的太极拳动作上传至所述后台服务器。
CN202111201371.2A 2021-10-15 2021-10-15 一种基于生成对抗网络的太极拳动作校正方法及系统 Pending CN113947811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111201371.2A CN113947811A (zh) 2021-10-15 2021-10-15 一种基于生成对抗网络的太极拳动作校正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111201371.2A CN113947811A (zh) 2021-10-15 2021-10-15 一种基于生成对抗网络的太极拳动作校正方法及系统

Publications (1)

Publication Number Publication Date
CN113947811A true CN113947811A (zh) 2022-01-18

Family

ID=79330026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111201371.2A Pending CN113947811A (zh) 2021-10-15 2021-10-15 一种基于生成对抗网络的太极拳动作校正方法及系统

Country Status (1)

Country Link
CN (1) CN113947811A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373531A (zh) * 2022-02-28 2022-04-19 深圳市旗扬特种装备技术工程有限公司 一种行为动作监测矫正方法、系统、电子设备及介质
CN114882580A (zh) * 2022-02-15 2022-08-09 谢弘毅 一种基于深度学习的运动动作一致性的度量方法
CN118015712A (zh) * 2024-04-10 2024-05-10 华南农业大学 基于时间窗口的太极拳评分方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108905136A (zh) * 2018-07-25 2018-11-30 山东体育学院 一种太极拳学习智能动作诊断反馈系统
WO2021184619A1 (zh) * 2020-03-19 2021-09-23 南京未艾信息科技有限公司 一种人体运动姿态识别评价方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108905136A (zh) * 2018-07-25 2018-11-30 山东体育学院 一种太极拳学习智能动作诊断反馈系统
WO2021184619A1 (zh) * 2020-03-19 2021-09-23 南京未艾信息科技有限公司 一种人体运动姿态识别评价方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
叶松涛;文雪琴;: "基于关节角度和DTW的太极拳视频配准方法", 计算技术与自动化, no. 01, 28 March 2020 (2020-03-28) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882580A (zh) * 2022-02-15 2022-08-09 谢弘毅 一种基于深度学习的运动动作一致性的度量方法
CN114373531A (zh) * 2022-02-28 2022-04-19 深圳市旗扬特种装备技术工程有限公司 一种行为动作监测矫正方法、系统、电子设备及介质
CN114373531B (zh) * 2022-02-28 2022-10-25 深圳市旗扬特种装备技术工程有限公司 一种行为动作监测矫正方法、系统、电子设备及介质
CN118015712A (zh) * 2024-04-10 2024-05-10 华南农业大学 基于时间窗口的太极拳评分方法、系统、设备及介质
CN118015712B (zh) * 2024-04-10 2024-07-12 华南农业大学 基于时间窗口的太极拳评分方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
CN111144217B (zh) 一种基于人体三维关节点检测的动作评价方法
CN113947811A (zh) 一种基于生成对抗网络的太极拳动作校正方法及系统
Thar et al. A proposal of yoga pose assessment method using pose detection for self-learning
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN110448870B (zh) 一种人体姿态训练方法
CN110751100A (zh) 一种体育场馆辅助训练方法与系统
Anilkumar et al. Pose estimated yoga monitoring system
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법
CN109248428A (zh) 一种网球运动轨迹处理系统的动态分析方法
CN111383735A (zh) 一种基于人工智能的无人化健身分析方法
CN116844084A (zh) 一种融合区块链的体育运动动作分析与纠正方法及系统
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
CN116957868A (zh) 一种基于多人运动态势的军事体能考核系统及方法
CN114093030B (zh) 一种基于人体姿态学习的射击训练分析方法
CN115761901A (zh) 一种骑马姿势检测评估方法
Almasi Human movement analysis from the egocentric camera view
CN112686208B (zh) 基于机器视觉的运动识别特征参数算法
Palanimeera et al. Yoga posture recognition by learning spatial-temporal feature with deep learning techniques
CN115393963A (zh) 运动动作纠正方法、系统、存储介质、计算机设备及终端
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
CN112257568B (zh) 一种单兵队列动作智能实时监督纠错系统及方法
Yu et al. A Machine Learning Based Method to Establish Normative Action Model for Table Tennis
US20240157217A1 (en) Golf teaching method and golf teaching system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination