CN113627409B - 一种健身动作识别监控方法及系统 - Google Patents

Abstract

本发明公开了一种健身动作识别监控方法及系统，包括步骤：S1、标准动作图像库构建，通过教练员的健身动作，构建所有健身动作的标准图像库；S2、学员体型评估，通过实时学员的正视图像和侧视图像分析部分动作影响度；S3、标准动作图像库修正，通过学员体型参数得到动作影响度，对标准动作判断范围修正，并增加时间优化因子。本发明基于本申请所述学员体型评估模块，能够得到学员的体型差异和动作影响度之间的关系，相较于现有技术有益效果在于考虑了学员健身初期，由于体型的不同造成健身动作的动作差异大小。

Description

一种健身动作识别监控方法及系统

技术领域

本发明涉及健身技术领域，尤其涉及一种健身动作识别监控方法及系统。

背景技术

目前，对健身动作识别主要通过深度学习、机器学习和传感器来完成，相对与深度学习和机器学习两种技术来说，传感器识别速度快，但是识别精度较差，另外两种识别精度较好，但是需要一定的算法计算和图像处理完成。现有技术中，如：CN108734104B基于深度学习图像识别的健身动作纠错方法及系统，CN106422206B一种基于智能手环的运动规划性识别方法。

现有技术中，大多数仅考虑了实时采集的动作图像与标准动作进行对比，实现健身动作识别和监控纠正，未考虑实际健身人员的自身特征差异，例如，不同体型，且不同部位存在的差异，实现对健身动作的精准识别。专利事例二虽然提到了身材参数，但是未通过图像特征和数据参数相结合的方式，得到准确的不同的体型和部位与不同动作的影响关系。

针对上述问题，本发明提出了一种健身动作识别监控方法及系统。通过不同体型，不同部位的差异，完成对标准动作的差异度修正，获取学员不同体型，不同部位的差异，得到对动作的影响度和变形幅度，并结合重心点的位置变化实现对标准动作的修正，提高监控系统的韧性和准确率。

发明内容

本发明的目的是为了解决现有技术中的问题，而提出的一种健身动作识别监控方法及系统。

为了实现上述目的，本发明采用了如下技术方案：一种健身动作识别监控方法，包括以下步骤：

S1、标准动作图像库构建，通过教练员的健身动作，构建所有健身动作的标准图像库；

S2、学员体型评估，通过实时学员的正视图像和侧视图像分析部分动作影响度；

S3、标准动作图像库修正，通过学员体型参数得到动作影响度，对标准动作判断范围修正，并增加时间优化因子。

一种健身动作识别监控系统，包括：第一模块、第二模块和第三模块，其中，

第一模块，用于标准动作图像库构建，通过教练员的健身动作，构建所有健身动作的标准图像库；

第二模块，用于学员体型评估，通过实时学员的正视图像和侧视图像分析部分动作影响度；

第三模块，用于标准动作图像库修正，通过学员体型参数得到动作影响度，对标准动作判断范围修正，并增加时间优化因子。

与现有的技术相比，本发明的优点在于：

1、基于本申请所述学员体型评估模块，能够得到学员的体型差异和动作影响度之间的关系，相较于现有技术有益效果在于考虑了学员健身初期，由于体型的不同造成健身动作的动作差异大小。

2、基于本申请所述标准动作图像库修正模块，能够通过学员体型对动作造成的动作影响程度，对不同体型学员的标准动作库进行动态修正。相较于现有技术有益效果在于提高了识别监控系统的识别精度和判断柔软度，使识别监控系统能够更加动态化、合理化。

附图说明

图1为本发明提出的一种健身动作识别监控方法及系统的结构示意图。

具体实施方式

以下实施例仅处于说明性目的，而不是想要限制本发明的范围。

实施例一：

本发明的主要目的是实现：健身动作识别监控，对健身房内学员动作进行识别，并对动作标准程度进行监控。

为了实现本发明所述内容，本发明设计了一种健身动作识别监控方法及系统。

本发明所针对的具体场景为：通过在健身房墙壁设置多个摄像头，摄像头采用斜俯视视角拍摄，采集各学员进行健身锻炼过程中所有健身动作视频，将健身动作视频逐帧分解，得到每个健身动作步骤对应下的所有学员健身动作，多个摄像头应该能够获取健身学员的正面、侧面图像。图像采集场景内，灯光稳定，摄像头设置固定不变。

图1为本发明的一种健身动作识别监控系统结构示意图，包括以下模块：

第一模块：标准动作图像库构建模块

该步骤的目的：通过教练员的健身动作，构建所有健身动作的标准图像库。能够带来的好处:通过标准图像库能够为健身动作识别提供参考和判断标准，实现快速识别。

输入为：健身动作视频，进行视频帧分解处理，输出为：健身动作图像。

通过健身房多个摄像头，采集教练员的一套健身动作视频，默认教练员都为标准身材，将健身动作视频进行健身动作分解，每个健身动作都保留正视和侧视两组连续帧图像。视频帧分解为常用视频图像处理技术，不再详述具体的分解参数和过程。

通过关键点检测网络获取教练员的身体关键点，身体关键点应包括头部、颈部、腹部双肩、双手、双肘，双髋，双膝，双脚15个关键点。关键点检测网络采用OpenPose网络模型，识别到连续帧图像中教练员的所有身体关键点，然后，将每个动作对应的身体关键点进行标记，识别在动作完成周期内(连续帧的总数代表一个周期)，每个动作对应的身体关键点的三个自由度(自由度包括左右方向x,前后方向y,上下方向z)的变化，本申请不研究旋转的三个自由度，只针对二维平面的平移自由度变化。通过自由度统计，得到每个动作对应的身体关键点的自由度数量，例如：俯身摸脚尖动作，参与运动的关键点为部分关键点，其中，双脚、双膝、双髋、腹部7个关键点为 0个自由度(静止)，双手、双肘4个关键点为三个自由度x,y,z运动，头部、颈部、双肩4个关键点为两个自由度y,z运动。

然后获取开合跳动作中不同的关键点对应自由度的运动范围，获取方法为：

以关键点为端点，以各自由度上最大运动距离(欧式距离)为轴长作椭圆，得到表征关键点的运动轨迹和运动幅度的椭圆运动模型。

获取标准动作下，两个自由度关键点的椭圆运动模型，以关键点为标签，记录各个椭圆数据。根据椭圆运动模型获取椭圆参数：a,b，其中，a表示椭圆的长轴长，b表示椭圆的短轴长。为了方便分析，当某些动作为三个自由度运动时，只研究运动幅度较大的两个自由度的运动距离，构成椭圆运动模型。

以俯身摸脚尖动作中双手为例说明关键点椭圆运动模型：动作初始左手位置位于头部上方，动作结束左手位置位于右脚脚尖，以初始和结束时，手部关键点位置在自由度z上的运动距离作为椭圆运动模型的长轴长a，以初始和结束时，手部关键点位置在自由度x上的运动距离作为椭圆运动模型的短轴长b。最终，通过动作初始和结束时，手部关键点位置作为椭圆的长轴端点，长轴长为a，短轴长为b，得到标准的手部关键点椭圆运动模型。通过此方法，得到俯身摸脚尖动作的所有运动自由度大于2的关键点的椭圆运动模型。

通过各个动作中关键点对应的标准椭圆运动模型，来识别学员健身运动中的不标准动作(识别方法可采用模块二中的交并比来进行判断)，并根据标准椭圆运动模型的标签，来定位具体动作不标准的身体部位，有利于教练快速获取学员的健身状态和健身规范习惯。

第二模块：学员体型评估模块

该步骤的目的：通过实时学员的正视图像和侧视图像分析部分动作影响度。能够带来的好处:有利于获取学员的不同体型下的动作影响度与标准动作之间的关系。

输入为：健身动作图像，进行身体各部位图像分析，输出为：动作影响度。

通过相机获取实时学员的正视图像和侧视图像。在相机固定物距和焦距的情况下，是不存在视差的(相当于学员与教练员处于同一位置)，所以教练员和学员的图像对比即为实际的体型对比。利用目标检测算法和图像分割法，将相机采集的学员正视图像中，各个学员的图像分割出来，目标检测算法采用YOLO V5、Faster RCNN等模型，获取所有学员的目标包围框，在以包围框为分割边缘，将学员的图像分割出来，为了避免视差对学员实际体型图像产生的影响，利用透视变换对视差进行校正，得到正视且固定物距、焦距情况下，采集到的学员的正面图像A和侧面图像B。忽略学员身高不一致的影响。获取动作影响度的具体步骤如下：

通过学员正面图像A的分割图像大小与教练员正面图像A′(获取方式与学员图像相同)做交并比U，得到初始正面交并比U₁。同样的，将通过学员与教练员的侧面分割图像得到初始侧面交并比U₂。设置交并比阈值M₁＝0.8(经验阈值，可进行调整)，当正面交并比U₁＞M₁且侧面交并比U₂＞M₁时，此时的动作影响度

否则，继续步骤2 计算动作影响度

交并比获取方法为公知技术，不再详细赘述。

获取人体边缘图像，所述人体边缘只包括人体的最外部轮廓。具体方法：将学员正面图像A和侧面图像B进行两次图像腐蚀(目的是：为了得到像素点的局部最小值，也即将图像明亮区域缩小)，得到腐蚀正面图像A″和腐蚀侧面图像B″。再利用正面图像A与腐蚀正面图像 B″作差，得到正面差异图D₁。同样的，经过上述正面图像操作，得到侧面差异图D₂。然后，将正面差异图D₁和侧面差异图D₂进行二值化处理(目的是，排除除人体外部边缘外的其他图像像素点的干扰)，得到二值正面图像D′₁和侧面图像D′₂，也即为人体最外部轮廓图。其中，图像腐蚀，图像二值化均为常用图像处理手段，不再对其细节赘述。 (不采用惯用的Canny算子，Sobel算子获取边缘的原因是，很难保证不保留人体内部的纹理边缘，且计算步骤复杂)

以身体关键点为边界点，对正面轮廓图进一步分割，将身体关键点之间的边缘线作为包围框边缘(对于关键点之间局部肥胖的情况，选取最大边缘线水平距离作为包围框的宽)，得到人体的局部包围框，进一步的，计算学员的各个局部包围框与教练对应的局部包围框之间的交并比Uⁱ(上标i表示局部包围框的个数)。

进一步的，通过连续帧边缘轮廓图像，获取教练员每个分解动作中相邻局部包围框的动作弯曲方向S，具体的获取方法为：以局部包围框的两端点之间得到图像边缘向量的变化方向(通过连续帧图像拟合获取)作为动作弯曲方向S，动作弯曲方向S所经过的局部包围框区域都作为动作相关的局部包围框。通过动作弯曲方向来选择动作相关的局部包围框，作为后续动作修正的动作影响度参数

其中，n的取值由动作相关的局部包围框的数量决定。

需要说明的是，为了图像之间对比精度，教练员图像需要与学员图像进行相同步骤的处理，才能进行图像对比得到对应的动作影响度

默认学员皆为体型大于教练员的学员，对于体型偏瘦的学员，不再进行动作影响度计算，直接通过标准图像库进行动作识别。

第三模块：标准动作图像库修正模块

该步骤的目的：通过学员体型参数得到动作影响度，对标准动作判断范围修正，并增加时间优化因子。能够带来的好处:提高动作识别效率和动作识别精度。

输入为：动作影响度，进行标准动作库校正，输出为：修正后的标准动作库。

通过模块二获取的动作影响度

对模块一中得到的各个动作中关键点的标准椭圆运动模型参数：长轴a和短轴b进行修正，得到每个学员修正后的椭圆运动模型。

为了系统识别判断速度，标准动作修正可在每个学员开始进行健身训练之前，直接对初始标准图像库进行修正，得到修正后的图像库数据。然后采用每半月(经验值，可根据学员之间的差异进行调整) 更新一次的方法，不断对学员的图像库数据进行迭代更新。

至此，本发明完成。

Claims (5)

1.一种健身动作识别监控方法，其特征在于，包括以下步骤：

S1、标准动作图像库构建，通过教练员的健身动作，构建所有健身动作的标准图像库；

S2、学员体型评估，通过实时学员的正视图像和侧视图像分析部分动作影响度；

S3、标准动作图像库修正，通过学员体型参数得到动作影响度，对标准动作判断范围修正，并增加时间优化因子；

步骤S1具体如下：

输入为：健身动作视频，进行视频帧分解处理，输出为：健身动作图像；通过健身房多个摄像头，采集教练员的一套健身动作视频，默认教练员都为标准身材，将健身动作视频进行健身动作分解，每个健身动作都保留正视和侧视两组连续帧图像；步骤S1还包括：

通过关键点检测网络获取教练员的身体关键点，身体关键点应包括头部、颈部、腹部双肩、双手、双肘，双髋，双膝，双脚15个关键点，关键点检测网络采用OpenPose网络模型，识别到连续帧图像中教练员的所有身体关键点，然后，将每个动作对应的身体关键点进行标记，识别在动作完成周期内，每个动作对应的身体关键点的三个自由度的变化，本申请不研究旋转的三个自由度，只针对二维平面的平移自由度变化，通过自由度统计，得到每个动作对应的身体关键点的自由度数量，俯身摸脚尖动作，参与运动的关键点为部分关键点，其中，双脚、双膝、双髋、腹部7个关键点为0个自由度，双手、双肘4个关键点为三个自由度x,y,z运动，头部、颈部、双肩4个关键点为两个自由度y,z运动，然后获取开合跳动作中不同的关键点对应自由度的运动范围；

所述获取开合跳动作中不同的关键点对应自由度的运动范围的方法如下：

以关键点为端点，以各自由度上最大运动距离为轴长作椭圆，得到表征关键点的运动轨迹和运动幅度的椭圆运动模型；

获取标准动作下，两个自由度关键点的椭圆运动模型，以关键点为标签，记录各个椭圆数据，根据椭圆运动模型获取椭圆参数：a,b，其中，a表示椭圆的长轴长，b表示椭圆的短轴长，当某些动作为三个自由度运动时，只研究运动幅度较大的两个自由度的运动距离，构成椭圆运动模型；

关键点椭圆运动模型具体为：动作初始左手位置位于头部上方，动作结束左手位置位于右脚脚尖，以初始和结束时，手部关键点位置在自由度z上的运动距离作为椭圆运动模型的长轴长a，以初始和结束时，手部关键点位置在自由度x上的运动距离作为椭圆运动模型的短轴长b，最终，通过动作初始和结束时，手部关键点位置作为椭圆的长轴端点，长轴长为a，短轴长为b，得到标准的手部关键点椭圆运动模型，通过此方法，得到俯身摸脚尖动作的所有运动自由度大于2的关键点的椭圆运动模型；

通过各个动作中关键点对应的标准椭圆运动模型，来识别学员健身运动中的不标准动作，并根据标准椭圆运动模型的标签，来定位具体动作不标准的身体部位，有利于教练快速获取学员的健身状态和健身规范习惯。

2.根据权利要求1所述的一种健身动作识别监控方法，其特征在于，步骤S2具体如下：

输入为：健身动作图像，进行身体各部位图像分析，输出为：动作影响度，通过相机获取实时学员的正视图像和侧视图像，在相机固定物距和焦距的情况下，教练员和学员的图像对比即为实际的体型对比，利用目标检测算法和图像分割法，将相机采集的学员正视图像中，各个学员的图像分割出来，目标检测算法采用YOLO V5、Faster RCNN模型，获取所有学员的目标包围框，在以包围框为分割边缘，将学员的图像分割出来，利用透视变换对视差进行校正，得到正视且固定物距、焦距情况下，采集到的学员的正面图像A和侧面图像B。

3.根据权利要求2所述的一种健身动作识别监控方法，其特征在于，获取动作影响度的具体步骤如下：

通过学员正面图像A的分割图像大小与教练员正面图像A′做交并比U，得到初始正面交并比U₁，同样的，将通过学员与教练员的侧面分割图像得到初始侧面交并比U₂，设置交并比阈值M₁＝0.8，当正面交并比U₁＞M₁且侧面交并比U₂＞M₁时，此时的动作影响度

否则，继续计算动作影响度

获取人体边缘图像，所述人体边缘只包括人体的最外部轮廓，具体方法：将学员正面图像A和侧面图像B进行两次图像腐蚀，得到腐蚀正面图像A″和腐蚀侧面图像B″，再利用正面图像A与腐蚀正面图像A″作差，得到正面差异图D₁，经过上述正面图像操作，得到侧面差异图D₂，然后，将正面差异图D₁和侧面差异图D₂进行二值化处理，得到二值正面图像D′₁和侧面图像D′₂，也即为人体最外部轮廓图；

以身体关键点为边界点，对正面轮廓图进一步分割，将身体关键点之间的边缘线作为包围框边缘，得到人体的局部包围框，进一步的，计算学员的各个局部包围框与教练对应的局部包围框之间的交并比Uⁱ，上标i表示局部包围框的个数；

通过连续帧边缘轮廓图像，获取教练员每个分解动作中相邻局部包围框的动作弯曲方向S，具体的获取方法为：以局部包围框的两端点之间得到图像边缘向量的变化方向作为动作弯曲方向S，动作弯曲方向S所经过的局部包围框区域都作为动作相关的局部包围框，通过动作弯曲方向来选择动作相关的局部包围框，作为后续动作修正的动作影响度参数

其中，n的取值由动作相关的局部包围框的数量决定。

4.根据权利要求1所述的一种健身动作识别监控方法，其特征在于，步骤S3具体如下：

输入为：动作影响度，进行标准动作库校正，输出为：修正后的标准动作库，通过模块二获取的动作影响度

对模块一中得到的各个动作中关键点的标准椭圆运动模型参数：长轴a和短轴b进行修正，得到每个学员修正后的椭圆运动模型，

为了系统识别判断速度，标准动作修正可在每个学员开始进行健身训练之前，直接对初始标准图像库进行修正，得到修正后的图像库数据，然后采用每半月更新一次的方法，不断对学员的图像库数据进行迭代更新。

5.一种健身动作识别监控系统，其特征在于，包括：第一模块、第二模块和第三模块，其中，

第一模块，用于标准动作图像库构建，通过教练员的健身动作，构建所有健身动作的标准图像库；

第二模块，用于学员体型评估，通过实时学员的正视图像和侧视图像分析部分动作影响度；

第三模块，用于标准动作图像库修正，通过学员体型参数得到动作影响度，对标准动作判断范围修正，并增加时间优化因子；

其中，第一模块的输入为：健身动作视频，进行视频帧分解处理，输出为：健身动作图像；通过健身房多个摄像头，采集教练员的一套健身动作视频，默认教练员都为标准身材，将健身动作视频进行健身动作分解，每个健身动作都保留正视和侧视两组连续帧图像；

第一模块还包括：

通过关键点检测网络获取教练员的身体关键点，身体关键点应包括头部、颈部、腹部双肩、双手、双肘，双髋，双膝，双脚15个关键点，关键点检测网络采用OpenPose网络模型，识别到连续帧图像中教练员的所有身体关键点，然后，将每个动作对应的身体关键点进行标记，识别在动作完成周期内，每个动作对应的身体关键点的三个自由度的变化，本申请不研究旋转的三个自由度，只针对二维平面的平移自由度变化，通过自由度统计，得到每个动作对应的身体关键点的自由度数量，俯身摸脚尖动作，参与运动的关键点为部分关键点，其中，双脚、双膝、双髋、腹部7个关键点为0个自由度，双手、双肘4个关键点为三个自由度x,y,z运动，头部、颈部、双肩4个关键点为两个自由度y,z运动，然后获取开合跳动作中不同的关键点对应自由度的运动范围；

所述获取开合跳动作中不同的关键点对应自由度的运动范围的方法如下：

以关键点为端点，以各自由度上最大运动距离为轴长作椭圆，得到表征关键点的运动轨迹和运动幅度的椭圆运动模型；

获取标准动作下，两个自由度关键点的椭圆运动模型，以关键点为标签，记录各个椭圆数据，根据椭圆运动模型获取椭圆参数：a,b，其中，a表示椭圆的长轴长，b表示椭圆的短轴长，当某些动作为三个自由度运动时，只研究运动幅度较大的两个自由度的运动距离，构成椭圆运动模型；

关键点椭圆运动模型具体为：动作初始左手位置位于头部上方，动作结束左手位置位于右脚脚尖，以初始和结束时，手部关键点位置在自由度z上的运动距离作为椭圆运动模型的长轴长a，以初始和结束时，手部关键点位置在自由度x上的运动距离作为椭圆运动模型的短轴长b，最终，通过动作初始和结束时，手部关键点位置作为椭圆的长轴端点，长轴长为a，短轴长为b，得到标准的手部关键点椭圆运动模型，通过此方法，得到俯身摸脚尖动作的所有运动自由度大于2的关键点的椭圆运动模型；

通过各个动作中关键点对应的标准椭圆运动模型，来识别学员健身运动中的不标准动作，并根据标准椭圆运动模型的标签，来定位具体动作不标准的身体部位，有利于教练快速获取学员的健身状态和健身规范习惯。

Images