CN114100103A - 一种基于关键点识别的跳绳计数检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于关键点识别的跳绳计数检测系统及方法。通过图像采集模块采集跳绳运动的视频图像；通过图像识别模块识别图像帧；设定判定阈值并初始化；通过动作检测模块进行状态判定；通过数据处理模块，处理数据，生成可视化数据；通过数据显示模块，在手机app中显示当前跳绳信息；本发明可实时检测，也可输入保存的视频进行检测。可用于单人检测，也可用于多人检测。测试误差小，且检测过程中无需专用的可穿戴设备或者专用的可计数跳绳，仅需普通的智能手机即可完成检测，成本低。对跳绳运动的推广和发展起到了一定的贡献。

Description

一种基于关键点识别的跳绳计数检测系统及方法

技术领域

本方法涉及智能运动检测技术领域，尤其涉及基于人体及骨骼关键点识别的跳绳计数检测系统及方法。

背景技术

跳绳作为一种体育锻炼方式，不但可以有效提锻炼人们的协调能力，而且可以促进青少年身体发育、强身健体。对于成年人来说，跳绳近年来也成为除跑步外，最为经济方便的健身方式之一。而跳绳无论是在日常锻炼还是体育考试、比赛中，都需要进行计数，以此来合理规划运动量和获得成绩。

目前，跳绳计数的方法主要分为人工计数、电子计数器和穿戴式运动设备，比如运动手环等。人工计数精度差，且费时费力。因此，市面上有很多能够自动计数的跳绳。但是这种跳绳的成本高、不方便。机械式的自动计数跳绳往往手感较差，不支持快速跳绳，不适用于专业运动员。电子式的自动计数跳绳也有需要定期充电等缺点。另外，虽然可穿戴设备逐渐普及，尤其是运动手环和运动手表出现在很多运动人士的手腕上，但是通常没有跳绳计数功能，或者有此功能，但是计数不够准确，误差较大。

近年来，随着中国经济和技术的进一步发展，尤其人工智能和计算机视觉计数的不断成熟，智慧体育这种人工智能+传统体育运动深度融合的模式开始出现。人体骨骼关键点检测也已经大量运用于智慧工地违规动作、老年人摔倒检测等场景中。但是目前将人体骨骼关键点检测用于跳绳计数的应用较少。

当前，常用的人体骨骼关键点检测算法有OpenPose、Detectron和AlphaPose等。其中，Alphapose相比OpenPose和Detectron相比，如图1所示，具有更高的准确度和帧率，实现了实时检测。因此本方法采用Alphapose框架，作为人体关键点检测的人工智能算法。

发明内容

本发明所要解决的计数问题是，跳绳计数人工判断需要耗费人力且精度较低、自动计数跳绳和可穿戴式设备成本高、精度低、且应用场景不够普及的问题。通过本发明,可以使得运动者不再需要另购设备，仅使用普通的智能手机即可完成跳绳实时计数检测。

本发明所采用的技术方案为：一种基于关键点识别的跳绳计数检测系统及方法。使用智能手机，在正面对跳绳者进行拍摄，检测视频中人体骨骼关键点的变化，通过胯部(图4中点8和点11)和脚踝关键点(图4中点10和点13)之间的相对距离变化和离地高度，判断是否完成一次跳跃。

一种基于关键点识别的跳绳计数检测系统，包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块。

图像采集模块：采用外置摄像头或者智能手机摄像头，用于采集跳绳运动的视频图像。以20HZ的速率，即每50毫秒提取一帧图像，作为图像识别模块的输入；

图像识别模块：使用Alphapose框架，将图像采集模块中获得的图像作为输入，提取图像中跳绳者的人体框和人体骨骼的关键点；

动作检测模块：用于检测图像识别模块中提取的跳绳者人体骨骼关键点中，胯部关键点和脚踝关键点之间的相对距离和离地高度，判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态。判断是否完成一次跳绳动作。结束一帧图像的检测后，如图2所示，回到图像采集模块，循环上述流程。若完成一次跳绳动作，或者发生断绳，则转入数据处理模块；

数据处理模块：用于记录当前跳绳次数、断绳次数和断绳时刻，并计算实时跳绳速率。当结束跳绳时，计算平均跳绳速率；

数据显示模块：通过手机app在智能手机屏幕上显示当前跳绳次数和图表。其中图表包括实时跳绳速率信息，平均速率信息和跳绳中断信息；

一种基于关键点识别的跳绳计数检测方法，步骤如下：

步骤1，通过图像采集模块采集跳绳运动的视频图像；

步骤2，通过图像识别模块识别图像帧；

通过图像识别模块的Alphapose框架识别跳绳者骨骼关键点，读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H；

步骤3，设定判定阈值并初始化；

步骤4，通过动作检测模块进行状态判定；

步骤5，通过数据处理模块，处理数据，生成可视化数据；

步骤6，通过数据显示模块，在手机app中显示当前跳绳信息；

步骤7，记录状态为“站立”，并回到步骤2进行下一帧图像的检测；

步骤1具体方法如下：

通过图像采集模块采集跳绳运动的视频图像，拍摄跳绳者正面，要求跳绳者整个人体完全入镜，并保证跳绳时，也不会跳出相机视野。每50毫秒截取视频中的一帧，作为图像帧，输入Aplhapose框架；

步骤3具体方法如下：

判断阈值包括lmax、lmin、h、t；

所述阈值lmax为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最大值，即正常站立时的距离；所述阈值lmin为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最小值；

所述阈值h为跳绳者被判定为跃起状态时，脚踝关键点距离地面H的最小值；

所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值，大于阈值t，则视为断绳；

当未初始化时，则进行初始化操作。跳绳者正常站立，检测到胯部关键点到脚踝关键点距离，设为lmax，lmin设置为lmax的90％。阈值h设定为站立时脚踝关键点到地面距离的1.5倍。t根据跳绳者自身或者训练要求进行调节，此处设置为0.5秒。

将状态设置为“站立”。

初始化仅进行一次。

步骤4具体方法如下；

当判定状态为“站立”情况下，当检测到L<lmin，且H<h时，记录状态为“屈膝”。

当判定状态为“屈膝”情况下，当检测到lmin<L<lmax，且H>h，且T<t时，记录状态为“跃起”。

若不满足lmin<L<lmax，且H>h，则返回到识别图像帧。

若不满足T<t，则认定为断绳，记录断绳次数和时间，回到信息处理和显示模块，将断绳情况显示在手机上。

当判定状态为“跃起”情况下，当检测到lmin<L<lmax，且H<h时，记录状态为“落地”。开始计时，用于判定是否断绳。

步骤5具体方法如下；

当判定状态为“落地”情况下，跳绳个数增加1，通过数据处理模块记录跳绳次数和当前时间，并实时计算跳绳速率、中断次数并记录中断时间。

步骤6具体方法如下：

由数据处理模块中获得当前跳绳次数、实时跳绳速率，中断次数及中断时间，生成实时曲线图，通过app显示于手机上，使得跳绳者可以实时获得可视化信息，调整自身运动状态。

本发明与现有技术相比，具有以下的优点和有益效果：

1.本发明基于关键点识别的跳绳计数检测系统及方法，将智能手机安放于人体正面拍摄视频，检测连续帧中人体骨骼关键点的位置变化，来判断是否完成一次跳绳动作从而进行计数。

2.本发明基于关键点识别的跳绳计数检测系统及方法，即可实时检测，也可输入保存的视频进行检测。可用于单人检测，也可用于多人检测。测试误差小，且检测过程中无需专用的可穿戴设备或者专用的可计数跳绳，仅需普通的智能手机即可完成检测，成本低。对跳绳运动的推广和发展起到了一定的贡献。

附图说明

图1为Alphapose性能图；

图2为本发明实施例系统及方法的模块关系图；

图3为本发明实施例系统及方法的检测判定流程图；

图4为本发明实施例人体骨骼关键点示意图；

图5为本发明实施例跳绳信息曲线图。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图2所示，一种基于关键点识别的跳绳计数检测系统，包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块。

图像采集模块：采用外置摄像头或者智能手机摄像头，用于采集跳绳运动的视频图像。以20HZ的速率，即每50毫秒提取一帧图像，作为图像识别模块的输入；

图像识别模块：使用Alphapose框架，将图像采集模块中获得的图像作为输入，提取图像中跳绳者的人体框和人体骨骼的关键点；图1为Alphapose性能图；

动作检测模块：用于检测图像识别模块中提取的跳绳者人体骨骼关键点中，胯部关键点和脚踝关键点之间的相对距离和离地高度，判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态。判断是否完成一次跳绳动作。结束一帧图像的检测后，如图2所示，回到图像采集模块，循环上述流程。若完成一次跳绳动作，或者发生断绳，则转入数据处理模块；

数据处理模块：用于记录当前跳绳次数、断绳次数和断绳时刻，并计算实时跳绳速率。当结束跳绳时，计算平均跳绳速率；

数据显示模块：通过手机app在智能手机屏幕上显示当前跳绳次数和图表。其中图表包括实时跳绳速率信息，平均速率信息和跳绳中断信息(如图5所示)；水平虚线为结束跳绳后再显示，表示整个跳绳过程中的平均速率。实曲线为实时跳绳速率，在跳绳过程中实时显示；竖直虚线表示此时刻发生断绳。

图3为本发明实施例系统及方法的检测判定流程图；

图4为本发明实施例人体骨骼关键点示意图；

一种基于关键点识别的跳绳计数检测方法，步骤如下：

步骤1，通过图像采集模块采集跳绳运动的视频图像，拍摄跳绳者正面，要求跳绳者整个人体完全入镜，并保证跳绳时，也不会跳出相机视野。每50毫秒截取视频中的一帧，作为图像帧，输入Aplhapose框架；

步骤2，通过Alphapose框架识别图像帧；

识别跳绳者骨骼关键点，读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H；

步骤3，设定判定阈值并初始化；

判断阈值包括lmax、lmin、h、t；

所述阈值lmax为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最大值，即正常站立时的距离；所述阈值lmin为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最小值；

所述阈值h为跳绳者被判定为跃起状态时，脚踝关键点距离地面H的最小值；

所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值，大于阈值t，则视为断绳；

当未初始化时，则进行初始化操作。跳绳者正常站立，检测到胯部关键点到脚踝关键点距离，设为lmax，lmin设置为lmax的90％。阈值h设定为站立时脚踝关键点到地面距离的1.5倍。t根据跳绳者自身或者训练要求进行调节，此处设置为0.5秒。

将状态设置为“站立”。

初始化仅进行一次。

步骤4，通过动作检测模块进行状态判定；

当判定状态为“站立”情况下，当检测到L<lmin，且H<h时，记录状态为“屈膝”。

当判定状态为“屈膝”情况下，当检测到lmin<L<lmax，且H>h，且T<t时，记录状态为“跃起”。

若不满足lmin<L<lmax，且H>h，则返回到识别图像帧。

若不满足T<t，则认定为断绳，记录断绳次数和时间，回到信息处理和显示模块，将断绳情况显示在手机上。

当判定状态为“跃起”情况下，当检测到lmin<L<lmax，且H<h时，记录状态为“落地”。开始计时，用于判定是否断绳。

步骤5，通过数据处理模块，处理数据，生成可视化数据；

当判定状态为“落地”情况下，跳绳个数增加1，通过数据处理模块记录跳绳次数和当前时间，并实时计算跳绳速率、中断次数并记录中断时间。

步骤6，通过数据显示模块，在手机app中显示当前跳绳信息；

由数据处理模块中获得当前跳绳次数、实时跳绳速率，中断次数及中断时间，生成实时曲线图(如图5所示)，通过app显示于手机上，使得跳绳者可以实时获得可视化信息，调整自身运动状态。

步骤7，记录状态为“站立”，并回到步骤2进行下一帧图像的检测。

Claims (7)

1.一种基于关键点识别的跳绳计数检测系统，其特征在于，包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块；

图像采集模块：采用外置摄像头或者智能手机摄像头，用于采集跳绳运动的视频图像；以20HZ的速率，即每50毫秒提取一帧图像，作为图像识别模块的输入；

图像识别模块：使用Alphapose框架，将图像采集模块中获得的图像作为输入，提取图像中跳绳者的人体框和人体骨骼的关键点；

动作检测模块：用于检测图像识别模块中提取的跳绳者人体骨骼关键点中，胯部关键点和脚踝关键点之间的相对距离和离地高度，判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态；判断是否完成一次跳绳动作；结束一帧图像的检测后，如图2所示，回到图像采集模块，循环上述流程；若完成一次跳绳动作，或者发生断绳，则转入数据处理模块；

数据处理模块：用于记录当前跳绳次数、断绳次数和断绳时刻，并计算实时跳绳速率；当结束跳绳时，计算平均跳绳速率；

数据显示模块：通过手机app在智能手机屏幕上显示当前跳绳次数和图表；其中图表包括实时跳绳速率信息，平均速率信息和跳绳中断信息。

2.一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤如下：

步骤1，通过图像采集模块采集跳绳运动的视频图像；

步骤2，通过图像识别模块识别图像帧；

通过图像识别模块的Alphapose框架识别跳绳者骨骼关键点，读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H；

步骤3，设定判定阈值并初始化；

步骤4，通过动作检测模块进行状态判定；

步骤5，通过数据处理模块，处理数据，生成可视化数据；

步骤6，通过数据显示模块，在手机app中显示当前跳绳信息；

步骤7，记录状态为“站立”，并回到步骤2进行下一帧图像的检测。

3.根据权利要求2所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤1具体方法如下：

通过图像采集模块采集跳绳运动的视频图像，拍摄跳绳者正面，要求跳绳者整个人体完全入镜，并保证跳绳时，也不会跳出相机视野；每50毫秒截取视频中的一帧，作为图像帧，输入Aplhapose框架。

4.根据权利要求3所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤3具体方法如下：

判断阈值包括lmax、lmin、h、t；

所述阈值lmax为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最大值，即正常站立时的距离；所述阈值lmin为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最小值；

所述阈值h为跳绳者被判定为跃起状态时，脚踝关键点距离地面H的最小值；

所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值，大于阈值t，则视为断绳；

当未初始化时，则进行初始化操作；跳绳者正常站立，检测到胯部关键点到脚踝关键点距离，设为lmax，lmin设置为lmax的90％；阈值h设定为站立时脚踝关键点到地面距离的1.5倍；t根据跳绳者自身或者训练要求进行调节，此处设置为0.5秒；

将状态设置为“站立”；

初始化仅进行一次。

5.根据权利要求4所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤4具体方法如下；

当判定状态为“站立”情况下，当检测到L<lmin，且H<h时，记录状态为“屈膝”；

当判定状态为“屈膝”情况下，当检测到lmin<L<lmax，且H>h，且T<t时，记录状态为“跃起”；

若不满足lmin<L<lmax，且H>h，则返回到识别图像帧；

若不满足T<t，则认定为断绳，记录断绳次数和时间，回到信息处理和显示模块，将断绳情况显示在手机上；

当判定状态为“跃起”情况下，当检测到lmin<L<lmax，且H<h时，记录状态为“落地”；开始计时，用于判定是否断绳。

6.根据权利要求5所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤5具体方法如下；

当判定状态为“落地”情况下，跳绳个数增加1，通过数据处理模块记录跳绳次数和当前时间，并实时计算跳绳速率、中断次数并记录中断时间。

7.根据权利要求6所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤6具体方法如下：

由数据处理模块中获得当前跳绳次数、实时跳绳速率，中断次数及中断时间，生成实时曲线图，通过app显示于手机上，使得跳绳者可以实时获得可视化信息，调整自身运动状态。

Images