CN114913594A - 一种基于人体关节点的fms动作分类方法及系统 - Google Patents

Abstract

本发明涉及一种基于人体关节点的FMS动作分类方法及系统。将当前时刻的正面图像和侧面图像输入人体关节点识别模型得到当前时刻的关节点数据序列；根据关节点数据序列中各关节点数据的置信度确定目标关节点数据；将目标关节点数据输入动作分类模型得到图像对应的分类结果；将图像对应的分类结果输入缓冲队列，并判断缓冲队列是否已满；若为是，则将缓冲队列中的众数确定为目标图像最终的分类结果，并对缓冲队列执行出队操作，然后更新当前时刻并返回获取测试者当前时刻的图像；若为否，则根据缓冲队列中元素个数确定当前时刻的图像最终的分类结果，并更新当前时刻返回获取测试者当前时刻的图像。本发明可以提高FMS动作分类结果的准确度。

Description

一种基于人体关节点的FMS动作分类方法及系统

技术领域

本发明涉及计算机视觉的视频理解技术领域，特别是涉及一种基于人体关节点的FMS动作分类方法及系统。

背景技术

FMS全称为Functional Movement Screen，即功能性运动检测，是测试运动员身体协调性和柔韧性的一种简单有效的方法。它包括七个动作：深蹲、跨栏架步、直线弓箭步、肩部灵活性、主动直膝抬腿、躯干稳定性俯卧撑和旋转稳定性。其中一些动作有对称的姿势和不同的难度。在测试期间，测试人员需要以最大的幅度完成每个动作，测试结束后，裁判根据测试者完成动作的质量和难度，对每个得分项目给予1到3分的评分，但如果测试者感到了任何的疼痛，则该动作记为0分，总分达到14分一般认为合格。在这项测试中，分数越高意味着测试人员在运动中会表现越好，而在运动中受伤的可能性越小。

尽管现有的运动识别任务有着丰富的数据集和一系列解决方案，但专门用于FMS动作分类和评估的数据集很少，其解决方案也相对较少。此外，大多数方法都是在单一视角的数据上进行的，许多动作没有出现在常见的动作识别数据集中，如直线弓箭步、主动直膝抬腿等使得分类结果不准确，因此，需要一种专门用于FMS动作分类的方法，来提高FMS动作分类的准确度。

发明内容

本发明的目的是提供一种基于人体关节点的FMS动作分类方法及系统，专门用于FMS动作分类，可以提高FMS动作分类结果的准确度。

为实现上述目的，本发明提供了如下方案：

一种基于人体关节点的FMS动作分类方法，包括：

获取测试者当前时刻的图像，所述图像包括正面图像和侧面图像；

将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列；

根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据；所述目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据；

将所述当前时刻的目标关节点数据输入动作分类模型得到所述当前时刻的图像对应的分类结果；

将所述当前时刻的图像对应的分类结果输入当前时刻的缓冲队列，并判断所述当前时刻的缓冲队列是否已满，得到第一判断结果；

若所述第一判断结果为是，则将所述当前时刻的缓冲队列中的众数确定为目标图像最终的分类结果，并对所述当前时刻的缓冲队列执行出队操作，然后更新当前时刻并返回步骤“获取测试者当前时刻的图像”；所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像；

若所述第一判断结果为否，则根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

可选地，所述将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列，具体包括：

将当前时刻的所述正面图像和所述侧面图像拼接成一幅图像得到拼接图像；

将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

可选地，所述根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据，具体包括：

计算当前时刻的关节点数据序列中各关节点数据的置信度得到当前时刻的置信度序列；

遍历所述当前时刻的置信度序列，确定所述当前时刻的置信度序列中各置信度对应的关节点在所述拼接图像中的位置，所述位置包括左边和右边；

根据各置信度对应的关节点在所述拼接图像中的位置，确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度；

确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度对应的关节点数据为当前时刻的目标关节点数据。

可选地，所述人体关节点识别模型的训练过程，具体包括：

使用人体姿态估计数据集对人体关节点识别模型进行训练得到第一人体关节点识别模型；

使用人体关节点FMS数据集对所述第一人体关节点识别模型进行训练得到训练好的人体关节点识别模型；所述人体关节点FMS数据集包括训练者的图像和所述训练者的图像对应的关节点数据。

可选地，所述根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”，具体包括：

当所述当前时刻的缓冲队列中元素个数小于或等于缓冲队列预设长度的二分之一时，则确定当前时刻的图像对应的分类结果为当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”；

当所述当前时刻的缓冲队列中元素个数大于缓冲队列预设长度的二分之一时，则更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

一种基于人体关节点的FMS动作分类系统，包括：

获取模块，用于获取测试者当前时刻的图像，所述图像包括正面图像和侧面图像；

关节点数据序列确定模块，用于将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列；

目标关节点数据确定模块，用于根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据；所述目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据；

分类结果确定模块，用于将所述当前时刻的目标关节点数据输入动作分类模型得到所述当前时刻的图像对应的分类结果；

判断模块，用于将所述当前时刻的图像对应的分类结果输入当前时刻的缓冲队列，并判断所述当前时刻的缓冲队列是否已满，得到第一判断结果；

最终分类结果确定模块，用于若所述第一判断结果为是，则将所述当前时刻的缓冲队列中的众数确定为目标图像最终的分类结果，并对所述当前时刻的缓冲队列执行出队操作，然后更新当前时刻并返回步骤“获取测试者当前时刻的图像”；所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像；

返回模块，用于若所述第一判断结果为否，则根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

可选地，所述关节点数据序列确定模块，具体包括：

拼接单元，用于将当前时刻的所述正面图像和所述侧面图像拼接成一幅图像得到拼接图像；

关节点数据序列确定单元，用于将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

可选地，所述目标关节点数据确定模块，具体包括：

置信度序列确定单元，用于计算当前时刻的关节点数据序列中各关节点数据的置信度得到当前时刻的置信度序列；

位置确定单元，用于遍历所述当前时刻的置信度序列，确定所述当前时刻的置信度序列中各置信度对应的关节点在所述拼接图像中的位置，所述位置包括左边和右边；

最大置信度确定单元，用于根据各置信度对应的关节点在所述拼接图像中的位置，确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度；

目标关节点数据确定单元，用于确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度对应的关节点数据为当前时刻的目标关节点数据。

可选地，所述人体关节点识别模型的训练过程，具体包括：

预训练模块，用于使用人体姿态估计数据集对人体关节点识别模型进行训练得到第一人体关节点识别模型；

人体关节点识别模型训练模块，用于使用人体关节点FMS数据集对所述第一人体关节点识别模型进行训练得到训练好的人体关节点识别模型；所述人体关节点FMS数据集包括训练者的图像和所述训练者的图像对应的关节点数据。

可选地，所述返回模块，具体包括：

结果确定单元，用于当所述当前时刻的缓冲队列中元素个数小于或等于缓冲队列预设长度的二分之一时，则确定所述当前时刻的图像对应的分类结果为所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”；

返回单元，用于当所述当前时刻的缓冲队列中元素个数大于缓冲队列预设长度的二分之一时，则更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明将当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列；图像包括正面图像和侧面图像；根据当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据；目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据；将当前时刻的目标关节点数据输入动作分类模型得到当前时刻的图像对应的分类结果；将当前时刻的图像对应的分类结果输入缓冲队列，并判断缓冲队列是否已满，得到第一判断结果；若第一判断结果为是，则将缓冲队列中的众数确定为目标图像最终的分类结果，并对缓冲队列执行出队操作，然后更新当前时刻并返回获取测试者当前时刻的图像；目标图像为缓冲队列中间位置的分类结果对应的图像；若第一判断结果为否，则根据当前时刻的缓冲队列中元素个数确定当前时刻的图像最终的分类结果，并更新当前时刻然后返回获取测试者当前时刻的图像，从正面和侧面两个角度进行观察，完整地模拟了真实情况下FMS动作评分的观察过程，以便综合判断测试者的动作质量和难度提高分类结果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于人体关节点的FMS动作分类方法的流程图；

图2为本发明实施例提供的基于人体关节点的FMS动作分类方法更具体的流程图；

图3为人体关节点编号示意图；

图4为FMS测试视频采集场景设计图；

图5为人体关节点数据归一化算法流程图；

图6为FMS动作分类结果纠正算法流程图；

图7为14类FMS动作对应关节点示例图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种基于人体关节点的FMS动作分类方法，如图1所示，包括：

步骤101：获取测试者当前时刻的图像，所述图像包括正面图像和侧面图像。其中用于拍摄测试者测试过程的正面图像和侧面图像的两个摄像机的光轴互相垂直，并与测试者距离相等，测试者的整个身体均在两个摄像头的视野范围内。

步骤102：将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

步骤103：根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据。所述目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据。

步骤104：将所述当前时刻的目标关节点数据输入动作分类模型得到所述当前时刻的图像对应的分类结果。

步骤105：将所述当前时刻的图像对应的分类结果输入当前时刻的缓冲队列，并判断所述当前时刻的缓冲队列是否已满，得到第一判断结果。

步骤106：若所述第一判断结果为是，则将所述当前时刻的缓冲队列中的众数确定为目标图像最终的分类结果，并对所述当前时刻的缓冲队列执行出队操作，然后更新当前时刻并返回步骤“获取测试者当前时刻的图像”。所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像，队列中元素值保持不变，只对分类结果进行修改。这样做的目的是为了防止修改前后，队列中结果分布不对称，引发多米诺效应，致使后续结果被错误地“纠正”。

步骤107：若所述第一判断结果为否，则根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

在实际应用中，所述将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列，具体包括：

将当前时刻的所述正面图像和所述侧面图像拼接成一幅图像得到拼接图像。

将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

在实际应用中，将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列，包括两个阶段分别为：人体识别阶段和单人关节点识别阶段。人体识别阶段为：模型对图像中的人体进行识别，给出人体在图像中的位置和大小。单人关节点识别阶段为：根据人体识别阶段的识别结果，模型对每个人体目标进行单人关节点识别。

在实际应用中，所述根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据，具体包括：

计算当前时刻的关节点数据序列中各关节点数据的置信度得到当前时刻的置信度序列。

遍历所述当前时刻的置信度序列，确定所述当前时刻的置信度序列中各置信度对应的关节点在所述拼接图像中的位置，所述位置包括左边和右边。

根据各置信度对应的关节点在所述拼接图像中的位置，确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度。

确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度对应的关节点数据为当前时刻的目标关节点数据。

在实际应用中，所述人体关节点识别模型的训练过程，具体包括：

使用人体姿态估计数据集对人体关节点识别模型进行训练得到第一人体关节点识别模型。

使用人体关节点FMS数据集对所述第一人体关节点识别模型进行训练得到训练好的人体关节点识别模型；所述人体关节点FMS数据集包括训练者的图像和所述训练者的图像对应的关节点数据。

在实际应用中，对动作分类模型进行训练时采用的数据标注标准如下：深蹲：测试者面对正面视角摄像头。正面视角下双手手腕过头顶；右腿跨栏架步：测试者面对正面视角摄像头。右脚离开横板；左腿跨栏架步：测试者面对正面视角摄像头。左脚离开横板；右腿前直线弓箭步：测试者背对侧面视角摄像头。双脚前后站立且左右无空隙，下手手腕进入躯干边界线，上手手腕在肩部以上且手肘呈锐角；左腿前直线弓箭步：测试者背对侧面视角摄像头。双脚前后站立且左右无空隙，下手手腕进入躯干边界线，上手手腕在肩部以上且手肘呈锐角；右手上肩部灵活性：测试者背对正面视角摄像头。上手在脑后接触头部或下手腕过躯干边界线；左手上肩部灵活性：测试者背对正面视角摄像头。上手在脑后接触头部或下手腕过躯干边界线；左腿主动直膝抬腿：测试者脚冲侧面视角摄像头。仰头贴地面躺平，左腿抬起使脚跟高过腿；右腿主动直膝抬腿：测试者脚冲侧面视角摄像头。仰头贴地面躺平，右腿抬起使脚跟高过腿；躯干稳定俯卧撑：测试者脚冲侧面视角摄像头。双手、双脚着地，双膝、腹部同时离地，双腿平行；单侧左手躯干旋转稳定性：测试者脚冲侧面视角摄像头。右侧手、足、膝落地并接触横板，左侧手、足、膝抬离地面；单侧右手躯干旋转稳定性：测试者脚冲侧面视角摄像头。左侧手、足、膝落地并接触横板，右侧手、足、膝抬离地面；对侧左手躯干旋转稳定性：测试者脚冲侧面视角摄像头。右手、左侧足、膝落地并接触横板，左手、右侧足、膝抬离地面；对侧右手躯干旋转稳定性：测试者脚冲侧面视角摄像头。左手、右侧足、膝落地并接触横板，右手、左侧足、膝抬离地面。无效动作：除上述标准动作外的所有动作。

在实际应用中，所述根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”，具体包括：

当所述当前时刻的缓冲队列中元素个数小于或等于缓冲队列预设长度的二分之一时，则确定当前时刻的图像对应的分类结果为当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”；

当所述当前时刻的缓冲队列中元素个数大于缓冲队列预设长度的二分之一时，则更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

针对上述方法本发明还提供了一种基于人体关节点的FMS动作分类系统，包括：

获取模块，用于获取测试者当前时刻的图像，所述图像包括正面图像和侧面图像。

关节点数据序列确定模块，用于将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

目标关节点数据确定模块，用于根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据；所述目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据。

分类结果确定模块，用于将所述当前时刻的目标关节点数据输入动作分类模型得到所述当前时刻的图像对应的分类结果。

判断模块，用于将所述当前时刻的图像对应的分类结果输入当前时刻的缓冲队列，并判断所述当前时刻的缓冲队列是否已满，得到第一判断结果。

最终分类结果确定模块，用于若所述第一判断结果为是，则将所述当前时刻的缓冲队列中的众数确定为目标图像最终的分类结果，并对所述当前时刻的缓冲队列执行出队操作，然后更新当前时刻并返回步骤“获取测试者当前时刻的图像”；所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像。

返回模块，用于若所述第一判断结果为否，则根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

作为一种可选的实施方式，所述关节点数据序列确定模块，具体包括：

拼接单元，用于将当前时刻的所述正面图像和所述侧面图像拼接成一幅图像得到拼接图像。

关节点数据序列确定单元，用于将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

作为一种可选的实施方式，所述目标关节点数据确定模块，具体包括：

置信度序列确定单元，用于计算当前时刻的关节点数据序列中各关节点数据的置信度得到当前时刻的置信度序列。

位置确定单元，用于遍历所述当前时刻的置信度序列，确定所述当前时刻的置信度序列中各置信度对应的关节点在所述拼接图像中的位置，所述位置包括左边和右边。

最大置信度确定单元，用于根据各置信度对应的关节点在所述拼接图像中的位置，确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度。

目标关节点数据确定单元，用于确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度对应的关节点数据为当前时刻的目标关节点数据。

作为一种可选的实施方式，所述人体关节点识别模型的训练过程，具体包括：

预训练模块，用于使用人体姿态估计数据集对人体关节点识别模型进行训练得到第一人体关节点识别模型。

人体关节点识别模型训练模块，用于使用人体关节点FMS数据集对所述第一人体关节点识别模型进行训练得到训练好的人体关节点识别模型；所述人体关节点FMS数据集包括训练者的图像和所述训练者的图像对应的关节点数据。

作为一种可选的实施方式，所述返回模块，具体包括：

结果确定单元，用于当所述当前时刻的缓冲队列中元素个数小于或等于缓冲队列预设长度的二分之一时，则确定所述当前时刻的图像对应的分类结果为所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”；

返回单元，用于当所述当前时刻的缓冲队列中元素个数大于缓冲队列预设长度的二分之一时，则更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

本发明实施例提供了一种更加具体的基于人体关节点检测的对于FMS测试动作进行实时分类的方法，如图2所示，首先需要训练针对性的模型，其次用两个摄像设备实时录制并调用关节点识别模型，接着根据关节点识别模型的检测结果进行数据归一化，根据归一化结果和动作分类模型进行动作分类，最后利用缓冲队列对分类结果进行结果修正，详细叙述如下。

步骤一：使用通用姿态估计数据集训练一个多人的人体关节点识别模型，并在此模型的基础之上使用标注好人体关节点的FMS数据集对其继续训练，获得针对FMS动作专用的人体关节点识别模型；该模型可以同时输出FMS测试图像中测试者正面和侧面两个角度的关节点数据。此外，如图3所示，针对FMS动作专用的人体关节点识别模型需要对测试者身体的鼻子0、左眼1、右眼2、左耳3、右耳4、左肩5、右肩6、左肘7、右肘8、左手腕9、右手腕10、左臀11、右臀12、左膝13、右膝14、左脚踝15、右脚踝16、头17、颈18、臀19、左脚大拇趾20、右脚大拇趾21、左脚小脚趾22、右脚小脚趾23、左脚跟23、右脚跟25等26个关键点进行识别，并按照统一的格式输出。

步骤二：如图4所示，通过两个参数相同、光轴正交(光轴1与光轴2垂直)且与测试者距离相等(d1＝d2)的摄像头对测试过程中测试者的正面和侧面同步进行数据采集，并将同一时刻采集到的两个视频画面拼接成一幅图像，然后依次输入人体关节点识别模型中得到测试者在正面和侧面两个角度下的关节点数据。

步骤三：如图5所示，对获得的关节点数据进行归一化处理。首先比较每幅图像(拼接后的)中所有人体两两之间的关节点的置信度，为每幅图像保留两组关节点检测置信度最高的人体关节点数据并舍弃其余结果，具体为：对关节点识别模型输出的关节点数据，按人体遍历得到每帧(每张图)，判断当前遍历的关节点数据对应的像素位置，当位置在图像左部时，与左部的检测结果进行置信度对比，当置信度小于或等于现在左部的检测结果时，则舍弃当前遍历的关节点数据，当大于时则替换左部的检测结果，右边同样按照上述方法此处不再赘述，遍历结束后返回该图片归一化结果，使用上述归一化后的关节点数据以及按照统一标准标注的训练数据训练FMS动作分类模型。在测试时，将实时的归一化关节点数据输入分类模型，得到对测试者动作识别的原始结果。关节点识别结果的归一化处理是根据关节点置信度对关节点识别结果进行遍历，以人体为单位进行筛选，保留最佳的两组人体关节点作为分类依据。

步骤四：设置一个定长且长度为奇数的队列作为分类结果的缓冲队列，将队列正中位置对应的分类结果改为队列分类结果的众数。如图6所示，得到经过纠正的FMS动作分类结果。分类结果的纠正是对每帧的动作分类结果进行纠正，取与其相邻的前后两个等长的分类结果序列以及自身的分类结果的众数作为纠正后的值。即在一个长度为奇数的分类结果缓冲队列中，将其正中位置所对应的分类结果改为整个队列的众数，但不改变队列元素值，具体为：将分类结果输入缓冲队列，然后判断队列长度(队列中当前的元素个数)是否等于L(L为缓冲队列预设长度)。若等于L，则输出队列众数，将队列中的众数确定为目标图像对应的分类结果，并将队头元素出队列得到目标图像的分类结果；所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像。若不等于L，则判断队列长度是否大于L/2，若大于L/2则返回获取图像，若小于L/2则输出队尾元素，并确定队尾元素为当前时刻的图像最终的分类结果。

在实际应用中，多人人体关节点识别模型先利用COCO、Halpe等大型数据集进行通用的训练，作为预训练模型。之后在FMS数据集上进行迁移训练。

在实际应用中，两个摄像头的同步画面是按照等比例缩放并水平拼接在一起的，随后的步骤都以此拼接画面为单位进行。

在实际应用中，动作分类模型采用了经典的机器模型，如随机森林、XGBoost、支持向量机等。

在实际应用中，FMS动作分类的标注标准是针对动作分类任务制定的，并非对FMS测试中标准动作的定义。

在实际应用中，动作类别如图7所示。从左到右，从上到下依次为：深蹲、右腿跨栏架步、左腿跨栏架步、右腿前直线弓箭步、左腿前直线弓箭步、右手上肩部灵活性、左手上肩部灵活性、左腿主动直膝抬腿、右腿主动直膝抬腿、躯干稳定俯卧撑、单侧左手躯干旋转稳定性、单侧右手躯干旋转稳定性、对侧左手躯干旋转稳定性、对侧右手躯干旋转稳定性。

在实际应用中，缓冲队列长度一般采用31-45之间的奇数。

本发明实施例填补了现有技术的空白，提供了一种基于人体关节点的FMS动作实时分类方法，该方法利用两个光轴正交的摄像头，使用深度模型检测出每帧的人体关节点，通过关节点的角度和相对位置等细节对动作进行标注，以此来训练FMS动作分类模型。并实时地对原始数据，关节点数据和分类结果进行处理，为用户反馈当前的FMS动作类别。

本发明有以下技术效果：

1.本发明公开了基于人体关节点的FMS动作实时分类的标准方法，包括人体关节点识别模型的训练；FMS动作分类模型的训练；采用两个光轴正交且与测试者距离相等的摄像头分别采集测试者正面和侧面视角的测试数据；对关节点识别结果进行归一化处理；通过缓冲队列对分类结果进行纠正等，符合实际的FMS测试场景以及评分过程，可以将FMS测试过程的动作实时准确的识别出来，填补了FMS动作自动识别技术的空白。方法简单易行，准确度高，适于推广。

2.通过创新的人工智能手段、数据采集方式和数据处理算法实现了FMS动作的实时精准识别。

3.本发明的结果纠正算法不但可以使结果序列准确度更高，而且维护了单个测试动作在分类序列上的完整度，极大地保证了FMS动作评价的完整性和准确性。

4.本发明采用了创新的数据采集方式，完整地模拟了真实情况下FMS动作评分的观察过程，即从正面和侧面两个角度进行观察，以便综合判断测试者的动作质量和难度。

5.本发明利用公开通用的数据集对模型进行训练，同时结合FMS动作对模型进行进一步调整。使得模型在使用少量专用数据的条件下，达到了很好的准确度。

6.本发明制定了FMS动作的分类标准，指明了FMS各个测试动作的标注规范，为之后的工作提供了一个统一的规范和样板，有助于FMS自动评价工作的发展。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于人体关节点的FMS动作分类方法，其特征在于，包括：

获取测试者当前时刻的图像，所述图像包括正面图像和侧面图像；

将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列；

根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据；所述目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据；

将所述当前时刻的目标关节点数据输入动作分类模型得到所述当前时刻的图像对应的分类结果；

将所述当前时刻的图像对应的分类结果输入当前时刻的缓冲队列，并判断所述当前时刻的缓冲队列是否已满，得到第一判断结果；

若所述第一判断结果为是，则将所述当前时刻的缓冲队列中的众数确定为目标图像最终的分类结果，并对所述当前时刻的缓冲队列执行出队操作，然后更新当前时刻并返回步骤“获取测试者当前时刻的图像”；所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像；

若所述第一判断结果为否，则根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

2.根据权利要求1所述的一种基于人体关节点的FMS动作分类方法，其特征在于，所述将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列，具体包括：

将当前时刻的所述正面图像和所述侧面图像拼接成一幅图像得到拼接图像；

将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

3.根据权利要求2所述的一种基于人体关节点的FMS动作分类方法，其特征在于，所述根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据，具体包括：

计算当前时刻的关节点数据序列中各关节点数据的置信度得到当前时刻的置信度序列；

遍历所述当前时刻的置信度序列，确定所述当前时刻的置信度序列中各置信度对应的关节点在所述拼接图像中的位置，所述位置包括左边和右边；

根据各置信度对应的关节点在所述拼接图像中的位置，确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度；

确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度对应的关节点数据为当前时刻的目标关节点数据。

4.根据权利要求1所述的一种基于人体关节点的FMS动作分类方法，其特征在于，所述人体关节点识别模型的训练过程，具体包括：

使用人体姿态估计数据集对人体关节点识别模型进行训练得到第一人体关节点识别模型；

使用人体关节点FMS数据集对所述第一人体关节点识别模型进行训练得到训练好的人体关节点识别模型；所述人体关节点FMS数据集包括训练者的图像和所述训练者的图像对应的关节点数据。

5.根据权利要求1所述的一种基于人体关节点的FMS动作分类方法，其特征在于，所述根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”，具体包括：

当所述当前时刻的缓冲队列中元素个数小于或等于缓冲队列预设长度的二分之一时，则确定当前时刻的图像对应的分类结果为当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”；

当所述当前时刻的缓冲队列中元素个数大于缓冲队列预设长度的二分之一时，则更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

6.一种基于人体关节点的FMS动作分类系统，其特征在于，包括：

获取模块，用于获取测试者当前时刻的图像，所述图像包括正面图像和侧面图像；

关节点数据序列确定模块，用于将所述当前时刻的图像输入人体关节点识别模型得到当前时刻的关节点数据序列；

目标关节点数据确定模块，用于根据所述当前时刻的关节点数据序列中各关节点数据的置信度确定当前时刻的目标关节点数据；所述目标关节点数据为数值由大到小排名前两名的置信度对应的关节点数据；

分类结果确定模块，用于将所述当前时刻的目标关节点数据输入动作分类模型得到所述当前时刻的图像对应的分类结果；

判断模块，用于将所述当前时刻的图像对应的分类结果输入当前时刻的缓冲队列，并判断所述当前时刻的缓冲队列是否已满，得到第一判断结果；

最终分类结果确定模块，用于若所述第一判断结果为是，则将所述当前时刻的缓冲队列中的众数确定为目标图像最终的分类结果，并对所述当前时刻的缓冲队列执行出队操作，然后更新当前时刻并返回步骤“获取测试者当前时刻的图像”；所述目标图像为所述当前时刻的缓冲队列中间位置的分类结果对应的图像；

返回模块，用于若所述第一判断结果为否，则根据所述当前时刻的缓冲队列中元素个数确定所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

7.根据权利要求6所述的一种基于人体关节点的FMS动作分类系统，其特征在于，所述关节点数据序列确定模块，具体包括：

拼接单元，用于将当前时刻的所述正面图像和所述侧面图像拼接成一幅图像得到拼接图像；

关节点数据序列确定单元，用于将所述拼接图像输入人体关节点识别模型得到当前时刻的关节点数据序列。

8.根据权利要求7所述的一种基于人体关节点的FMS动作分类系统，其特征在于，所述目标关节点数据确定模块，具体包括：

置信度序列确定单元，用于计算当前时刻的关节点数据序列中各关节点数据的置信度得到当前时刻的置信度序列；

位置确定单元，用于遍历所述当前时刻的置信度序列，确定所述当前时刻的置信度序列中各置信度对应的关节点在所述拼接图像中的位置，所述位置包括左边和右边；

最大置信度确定单元，用于根据各置信度对应的关节点在所述拼接图像中的位置，确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度；

目标关节点数据确定单元，用于确定所述拼接图像左边的最大置信度和所述拼接图像右边的最大置信度对应的关节点数据为当前时刻的目标关节点数据。

9.根据权利要求6所述的一种基于人体关节点的FMS动作分类系统，其特征在于，所述人体关节点识别模型的训练过程，具体包括：

预训练模块，用于使用人体姿态估计数据集对人体关节点识别模型进行训练得到第一人体关节点识别模型；

人体关节点识别模型训练模块，用于使用人体关节点FMS数据集对所述第一人体关节点识别模型进行训练得到训练好的人体关节点识别模型；所述人体关节点FMS数据集包括训练者的图像和所述训练者的图像对应的关节点数据。

10.根据权利要求6所述的一种基于人体关节点的FMS动作分类系统，其特征在于，所述返回模块，具体包括：

结果确定单元，用于当所述当前时刻的缓冲队列中元素个数小于或等于缓冲队列预设长度的二分之一时，则确定所述当前时刻的图像对应的分类结果为所述当前时刻的图像最终的分类结果，并更新当前时刻然后返回步骤“获取测试者当前时刻的图像”；

返回单元，用于当所述当前时刻的缓冲队列中元素个数大于缓冲队列预设长度的二分之一时，则更新当前时刻然后返回步骤“获取测试者当前时刻的图像”。

Images