CN114333063A - 一种基于人体姿态估计的武术动作纠正方法及装置 - Google Patents

Abstract

本申请实施例公开了一种基于人体姿态估计的武术动作纠正方法及装置；所述方法包括：获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；进行所述图像的人体关键点检测，得到人体关键点信息；根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案；本申请实施例实现动作纠正，从而帮助老师改变传统的教学模式，提高教学质量，同时过程简单，模型参数，减少计算时间。

Description

一种基于人体姿态估计的武术动作纠正方法及装置

技术领域

本申请实施例涉及人体姿态估计技术领域，尤其涉及一种基于人体姿态估计的武术动作纠正方法及装置。

背景技术

随着计算机相关技术的不断进步，计算机视觉涉及领域越来越广，其中人体姿态估计被广泛应用在动作识别、人机交互、姿势跟踪等领域。计算机视觉与体育运动的结合，能够更加科学、准确地对动作学习和训练进行指导，推动智能化动作教学的发展。

强化体育锻炼是“五育”并举，全面发展素质教育的重要一环。武术作为中国传统文化的一部分也是上海中考体育考试的科目之一，其中包含多种动作，在教学与练习过程中如果能够及时对学生的动作进行纠正，对提高有着重要意义。现有的教学方式大多是一名教师教授多名同学，课上老师示范动作，学生进行模仿，这种方式受限与教师精力，可同时教授的学生数目得到限制，并且难以及时纠正学生的错误。视频教学的模式多为讲解式，由于视角、光照等因素的影响，教学效果有限。而采用基于人体关键点检测的方法，能够辅助教学，为学习者提供实时动作纠正，以及得到动作对比分析评价结果。

人体姿态估计技术是动作识别技术的基础，通过从输入的图像或视频帧中检测出人体关节点的位置描绘出人体的骨架。现有的人体姿态估计方法通常比较复杂，涉及十分复杂的网络结构，计算量庞大，计算时间长。

发明内容

本申请实施例提供一种基于人体姿态估计的武术动作纠正方法及装置，以解决现有的人体姿态估计方法通常比较复杂，计算量庞大，计算时间长的问题。

在第一方面，本申请实施例提供了一种基于人体姿态估计的武术动作纠正方法，所述方法包括以下步骤：

获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；

进行所述图像的人体关键点检测，得到人体关键点信息；

根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；

基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

进一步的，所述进行所述图像的人体关键点检测，得到人体关键点信息，包括：

对所述图像进行人体关键点特征提取、表征融合和关键点预测，得到人体关键点信息。

进一步的，所述对所述图像进行人体关键点特征提取，包括：

通过基于注意力机制的多分辨率表征学习网络对所述图像进行人体关键点特征提取。

进一步的，所述对所述图像进行人体关键点表征融合，包括：

控制经过特征提取后的人体关键点进入解码器中进行上采样，恢复高分辨率表示，将各个高分辨率特征图进行特征融合。

进一步的，所述对所述图像进行人体关键点关键点预测，包括：

控制经过表征融合后的人体关键点进行关键点坐标检测，获取关键点的位置坐标。

进一步的，所述基于所述武术动作类别和预设的动作纠正规则，得到动作纠正方案，包括：

基于武术动作类别，根据关节连线夹角及关键点位置信息，将所述学生动作与标准动作进行对比，得到分析结果和动作纠正方案。

进一步的，所述进行所述图像的人体关键点检测，得到人体关键点信息之前，还包括：

采用目标检测算法检测所述图像中的人体，并提取关键图像进行裁剪处理。

在第二方面，本申请实施例还提供一种基于人体姿态估计的武术动作纠正装置，包括：

图像获取模块，用于获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；

图像检测模块，用于进行所述图像的人体关键点检测，得到人体关键点信息；

动作判别模块，用于根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；

动作纠正模块，用于基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

在第三方面，本申请实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种基于人体姿态估计的武术动作纠正方法。

在第四方面，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述的一种基于人体姿态估计的武术动作纠正方法。

本申请实施例通过获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；进行所述图像的人体关键点检测，得到人体关键点信息；根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案；实现动作纠正，从而帮助老师改变传统的教学模式，提高教学质量，同时过程简单，模型参数，减少计算时间。

附图说明

图1是本申请实施例提供的一种基于人体姿态估计的武术动作纠正方法的流程图；

图2是本申请实施例提供的一种基于人体姿态估计的武术动作纠正装置的结构示意图；

图3是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

现有的教学方式大多是一名教师教授多名同学，课上老师示范动作，学生进行模仿，这种方式受限与教师精力，可同时教授的学生数目得到限制，并且难以及时纠正学生的错误。视频教学的模式多为讲解式，由于视角、光照等因素的影响，教学效果有限。而采用基于人体关键点检测的方法，能够辅助教学，为学习者提供实时动作纠正，以及得到动作对比分析评价结果。人体姿态估计技术是动作识别技术的基础，通过从输入的图像或视频帧中检测出人体关节点的位置描绘出人体的骨架。对此，本申请实施例提供一种基于人体姿态估计的武术动作纠正方法，来避免现有的人体姿态估计方法通常比较复杂，计算量庞大，计算时间长的问题。

实施例中提供的基于人体姿态估计的武术动作纠正方法可以由基于人体姿态估计的武术动作纠正装置执行，该基于人体姿态估计的武术动作纠正装置可以通过软件和/或硬件的方式实现，并集成在基于人体姿态估计的武术动作纠正设备中。其中，基于人体姿态估计的武术动作纠正设备可以是计算机等设备。

图1为本申请实施例提供的一种基于人体姿态估计的武术动作纠正方法的流程图。参考图1，所述方法包括以下步骤：

步骤110、获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像。

具体的，获取学生动作模仿视频，可以实时录制学生进行武术动作的视频或预算录制学生练习武术动作的视频，将视频发送到本申请实施例的装置进行存储和处理；其中，对视频进行预处理，包括对视频进行滤波和去噪处理；对视频进行预处理后，对该视频进行分帧处理，可以通过视频处理软件自动将视频划分为多帧图像，可以理解的是，也可以手动通过软件对视频进行分帧处理，实现将学生动作模仿视频切分成多帧图像。

可选的，得到多帧图像后，采用目标检测算法检测所述图像中的人体，并提取关键图像进行裁剪处理。其中，目标检测算法检测图像中的人体特征的方法有多种，例如采用Fast R-CNN目标检测算法，先提取整个图像的特征，然后，将创建候选区域的方法直接应用到提取到的特征图上，并用于目标检测任务中，将特征图块转换为固定的大小，并送到全连接层进行分类和定位。

其中，采用目标检测算法检测所述图像中的人体后，提取出包含有人体特征的图像，同时对连续帧图像中，相似度超过预设阈值的图像进行筛选，只留一帧图像，可以理解的是，预设阈值可以根据具体情况进行设置，例如对相似度超过80％的多帧图像筛选，只留一帧图像。其中，对多帧图像进行筛选后，得到关键图像，对筛选后的关键图像进行裁剪处理，可选的，按照256×256分辨率的输入大小对关键图像进行裁剪。

步骤120、进行所述图像的人体关键点检测，得到人体关键点信息。

其中，对所述图像进行人体关键点特征提取、表征融合和关键点预测，得到人体关键点信息。

具体的，通过基于注意力机制的多分辨率表征学习网络对所述图像进行人体关键点特征提取。本申请实施例中使用的姿态估计网络是在SimpleBaseline的基础上进行改进，在特征提取过程中引入通道注意力模块，通过轻量级的通道注意力模块实现局部跨通道信息交互功能，使模型更加关注有用信息，从而提高网络的整体性能，并用深度可分离卷积替代bottleneck模块中的3×3卷积，以减少模型参数。

具体的，控制经过特征提取后的人体关键点进入解码器中进行上采样，恢复高分辨率表示，将各个高分辨率特征图进行特征融合。特征提取中除了最低分辨率的每个分辨率对应的特征图通过各自的网络分支上采样得到最高分辨率，最低分辨率特征图进入解码器中进行上采样，恢复高分辨率表示，之后将各个高分辨率特征图进行特征融合，得到更多的空间信息和局部特征。

具体的，控制经过表征融合后的人体关键点进行关键点坐标检测，获取关键点的位置坐标。示例性的，关键点坐标包括人体的左眼、右眼、鼻子、左耳、右耳、锁骨、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左脚腕和右脚腕共18个关节点的位置坐标。

上述，在姿态估计任务中，经常存在关键点被遮挡的问题，因此不同分辨率的图像对此任务都至关重要。在实际中，在特征提取过程中，图层越深，模型学习到的特征就越具体。因此采用多分辨率表征学习的方式，高分辨率学习更多的整体信息，低分辨率用来提取特定信息，并且引入通道注意力模块实现局部跨通道信息交互功能，增强特定语义的表达。

步骤130、根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别。

可选的，预设的动作分类规则，即将武术动作分为分并步抱拳、冲拳弹踢、马步冲拳、弓步冲拳、正马步冲拳、弓步双冲拳、马步架打和回身弓步冲拳等8个类别。将人体关键点信息输入训练好的图卷积网络中，训练好的图卷积网络存储有多种武术动作及对应的关键点信息，将人体关键点信息与存储的关键点信息进行对比，判断得出对应的学生的武术动作，与预设的武术动作进行对比，判断得出所属武术动作类别。

步骤140、基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

具体的，基于武术动作类别，根据关节连线夹角及关键点位置信息，将所述学生动作与标准动作进行对比，具体对比学生动作与标准动作的关键点位置信息重合率为多少，以及学生动作与标准动作的关节连线夹角的重合率有多高；可以理解的，在一定的误差范围内，可以理解为学生动作与标准动作的关键点位置信息、学生动作与标准动作的关节连线夹角为重合，可选的，误差范围为2x2分辨率的面积范围；

其中，重合率越高，则判定学生动作更为标准，重合率越低，则判定学生动作更为欠缺，同时列出不重合的区域，将不重合区域进行整合，可选的，当重合率为0％-60％时，判定学生动作分析结果为不及格，当重合率为60％-80％时，判定学生动作分析结果为良好，当重合率为80％-100％时，判定学生动作分析结果为优秀；从而得到分析结果和动作纠正方案。

上述，本申请实施例基于深度学习和计算机视觉相关技术，通过人体姿态估计网络模型和图卷积网络进行人体关键点检测和动作识别，并对学生的武术动作进行纠正，使得学生可以在不佩戴传感器等其他硬件设备等情况下，仅需摄像头即可实现武术动作的学习和日常练习。在保证精度和速度的情况下，帮助老师改变传统的教学模式并且帮助学生改善练习效果，提高教学质量。

在上述实施例的基础上，图2为本申请实施例提供的一种基于人体姿态估计的武术动作纠正装置的结构示意图。参考图2，本实施例提供的基于人体姿态估计的武术动作纠正装置，所述基于人体姿态估计的武术动作纠正装置具体包括：图像获取模块101、图像检测模块102、动作判别模块103和动作纠正模块104。

其中，图像获取模块101用于获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；图像检测模块102用于进行所述图像的人体关键点检测，得到人体关键点信息；动作判别模块103用于根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；动作纠正模块104用于基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

上述，通过获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；进行所述图像的人体关键点检测，得到人体关键点信息；根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案；实现动作纠正，从而帮助老师改变传统的教学模式，提高教学质量，同时过程简单，模型参数，减少计算时间。

本申请实施例提供的基于人体姿态估计的武术动作纠正装置可以用于执行上述实施例提供的基于人体姿态估计的武术动作纠正方法，具备相应的功能和有益效果。

本申请实施例还提供了一种计算机设备，该计算机设备可集成本申请实施例提供的基于人体姿态估计的武术动作纠正装置。图3是本申请实施例提供的一种计算机设备的结构示意图。参考图3，该计算机设备包括：输入装置43、输出装置44、存储器42以及一个或多个处理器41；所述存储器42，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如上述实施例提供的基于人体姿态估计的武术动作纠正方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器41通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于人体姿态估计的武术动作纠正方法。

上述提供的计算机设备可用于执行上述实施例提供的基于人体姿态估计的武术动作纠正方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于人体姿态估计的武术动作纠正方法，该基于人体姿态估计的动作纠正方法包括：获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；进行所述图像的人体关键点检测，得到人体关键点信息；根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机装置存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机装置中，或者可以位于不同的第二计算机装置中，第二计算机装置通过网络(诸如因特网)连接到第一计算机装置。第二计算机装置可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机装置中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于人体姿态估计的武术动作纠正方法，还可以执行本申请任意实施例所提供的基于人体姿态估计的武术动作纠正方法中的相关操作。

上述实施例中提供的基于人体姿态估计的武术动作纠正装置、存储介质及计算机设备可执行本申请任意实施例所提供的基于人体姿态估计的武术动作纠正方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于人体姿态估计的武术动作纠正方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于人体姿态估计的武术动作纠正方法，其特征在于，所述方法包括以下步骤：

获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；

进行所述图像的人体关键点检测，得到人体关键点信息；

根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；

基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

2.根据权利要求1所述的基于人体姿态估计的武术动作纠正方法，其特征在于，所述进行所述图像的人体关键点检测，得到人体关键点信息，包括：

对所述图像进行人体关键点特征提取、表征融合和关键点预测，得到人体关键点信息。

3.根据权利要求2所述的基于人体姿态估计的武术动作纠正方法，其特征在于，所述对所述图像进行人体关键点特征提取，包括：

通过基于注意力机制的多分辨率表征学习网络对所述图像进行人体关键点特征提取。

4.根据权利要求2所述的基于人体姿态估计的武术动作纠正方法，其特征在于，所述对所述图像进行人体关键点表征融合，包括：

控制经过特征提取后的人体关键点进入解码器中进行上采样，恢复高分辨率表示，将各个高分辨率特征图进行特征融合。

5.根据权利要求2所述的基于人体姿态估计的武术动作纠正方法，其特征在于，所述对所述图像进行人体关键点关键点预测，包括：

控制经过表征融合后的人体关键点进行关键点坐标检测，获取关键点的位置坐标。

6.根据权利要求1所述的基于人体姿态估计的武术动作纠正方法，其特征在于，所述基于所述武术动作类别和预设的动作纠正规则，得到动作纠正方案，包括：

基于武术动作类别，根据关节连线夹角及关键点位置信息，将所述学生动作与标准动作进行对比，得到分析结果和动作纠正方案。

7.根据权利要求1所述的基于人体姿态估计的武术动作纠正方法，其特征在于，所述进行所述图像的人体关键点检测，得到人体关键点信息之前，还包括：

采用目标检测算法检测所述图像中的人体，并提取关键图像进行裁剪处理。

8.一种基于人体姿态估计的武术动作纠正装置，其特征在于，包括：

图像获取模块，用于获取学生动作模仿视频，对视频预处理后，进行分帧处理，得到多帧图像；

图像检测模块，用于进行所述图像的人体关键点检测，得到人体关键点信息；

动作判别模块，用于根据预设的动作分类规则，将所述人体关键点信息输入训练好的图卷积网络中，得到学生动作，并判断得出所属武术动作类别；

动作纠正模块，用于基于所述武术动作类别，根据预设的动作纠正规则对所述学生动作进行分析，得到动作纠正方案。

9.一种计算机设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的一种基于人体姿态估计的武术动作纠正方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的一种基于人体姿态估计的武术动作纠正方法。

Images