CN113076936A - 一种基于绳子目标提取的跳绳计数方法 - Google Patents

Abstract

本发明公开了一种基于绳子目标提取的跳绳计数方法，采用俯视的角度拍摄跳绳视频，既降低了后续从背景中提取人和绳子的难度，又方便了坐标系的建立，使得后期通过坐标系中的绳子方向向量进行跳绳计数分析。另外，本发明先进行视频图像的预处理，控制其分辨率，再设定颜色阈值，当绳子的颜色达到阈值范围内时将其提取出来，从而进行分析，通过该种方式控制了其分辨率，有着较高的计算速度。最后，本发明对于绳子方向向量的分析过程十分严格，设置身前触发器和身后触发器，结合跳绳过程中正常跳绳，反向跳绳，跳绳卡断，卡断后反向摇动，卡断后跨过跳绳，身前触发器和身后触发器的值均会按照不同的逻辑进行变化，从而对跳绳的次数进行影响，有较高的准确率。

Description

一种基于绳子目标提取的跳绳计数方法

技术领域

本发明涉及体育测试的技术领域，尤其涉及到一种基于绳子目标提取的跳绳计数方法。

背景技术

对于跳绳运动而言，跳绳次数的计数通常是通过人工的方式进行，当需要进行大量的计数时，人工的方式不仅效率低下，而且需要付出大量的人力。例如在体育考试时，为了提高计数的效率，需要多人同时对不同考生进行跳绳计数，浪费了人力。而对于自动计数有两种方式，一种是通过智能跳绳检测装置，通过跳绳本身及其配套产品的结构设计来实现计数，这种方式的应用比较局限，必须使用指定的绳子才能完成自动计数，不能对任意跳绳完成计数。另外一种方式视频及音频的提取，通过图像处理的相关算法，以及声音信号处理的相关算法实现。该类方法处理视频的方式都是基于跳绳者的关键点提取，如专利CN112163516A通过关键肢体部位的获取实现，专利CN110152273B通过人脸中心点的获取结合跳绳的音频实现。基于跳绳者的跳绳次数检测最大的问题在于缺乏绳子的处理，因此对于空跳的行为并不能进行合理的区分，与此同时，音频信号受环境影响较大。专利CN112044046A通过深度学习的方式，将图像分为三类进行计数分析，对训练集及测试集角度要求较高，比较依赖模型，流程复杂度较高，计算速度较大。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于绳子目标提取的跳绳计数方法，从绳子的角度出发，摄像头以俯视视角采集跳绳者跳绳的视频，获取绳子的有效信息，从而根据跳绳的摆动来分析，判断跳绳的次数。

为实现上述目的，本发明所提供的技术方案为：

一种基于绳子目标提取的跳绳计数方法，将高速摄像头竖直向下悬挂在跳绳者的正上方，俯视拍摄跳绳者跳绳视频，跳绳者在视频中面向左侧或者面向右侧，然后将视频传输到计算机，由计算机对视频进行处理，获取跳绳者跳绳过程中绳子的信息，从而分析出跳绳者跳绳的次数。

进一步地，对视频进行处理，分析跳绳者跳绳次数的步骤如下：

S1、对视频图像进行预处理；

S2、提取已进行预处理的视频图像中的目标绳子；

S3、基于提取到的目标绳子分析跳绳者跳绳次数。

进一步地，所述步骤S1对视频图像进行预处理的具体步骤如下：

S1-1、进行背景差分处理，找出跳绳者以及跳绳的位置；

S1-2、进行图像剪裁；锁定图像中跳绳者手的位置，将手附近正方形区域作为目标区域，剪裁之后只保留单侧手臂的附近区域，在保证根据保留下的区域内的绳子像素值能确定绳子方向的情况下，提高视频图像的处理速度；

S1-3、进行抽取操作，保证绳子轮廓的情况下降低视频图像的分辨率。

进一步地，所述步骤S1-1的具体步骤如下：

在视频的开始阶段采集至少一帧的背景帧，背景帧要求高速摄像头拍摄画面固定，且画面中未出现跳绳者；随后用该背景帧的rgb向量的值与其余出现有跳绳者的帧进行比较，当距离低于设定阈值时，将其余出现有跳绳者的帧中同一位置的坐标赋予0灰度值；其余不变的位置，即为跳绳者以及跳绳的位置。

进一步地，所述步骤S2提取目标绳子的具体步骤如下：

S2-1、设定hsv三通道的颜色阈值，在单侧手臂附近区域，通过opencv算法提取目标绳子颜色，当图像内部的hsv值落在该单侧手臂附近区域内时，将目标绳子所在位置的像素赋值255，其余位置赋值0，从而完成二值化操作；

S2-2、采用形态学开操作把噪声去掉二值图像场景内部的噪声。

进一步地，所述步骤S3基于提取到的目标绳子分析跳绳者跳绳次数的具体步骤如下：

S3-1、建立一个以左上角为原点、人的朝向为x轴正向、上方为y轴正向的坐标系；

S3-2、基于步骤S3-1建立的坐标系构建绳子方向向量；

S3-3、计算视频每一帧图像中绳子方向向量的余弦来确定对应时刻绳子所处的位置；

S3-4、在跳绳者的身后和身前区域分别设置身后触发器和身前触发器，结合该两个触发器为跳绳者跳绳进行计数。

进一步地，所述构建绳子方向向量的具体步骤如下：

首先从图像的原点开始，一行一行遍历像素，先找到图像中绳子的最高点，即手持绳子的点，作为第一关键点；随后，再一次遍历像素，在最高点下方设定的行数内，找到与最高点距离最远的绳子上的点，作为第二个关键点；构建第一个关键点指向第二个关键点的向量，即为绳子方向向量。

进一步地，结合身后触发器和身前触发器为跳绳者跳绳进行计数的具体步骤如下：

将身后触发器和身前触发器的初始值均设置为0，然后对视频每一帧图像均进行计算；当绳子第一次经过跳绳者身后区域时，身后触发器变为1，随后当绳子进入身前区域后，进行判断，如果此时身后触发器的值仍为1，则身前触发器的值也变为1，当绳子再次进入身后区域时，会继续进行判断，如果此时身前触发器的值为1，则接下来执行跳绳计数加1，身后触发器和身前触发器的值全部变为0；接着，下一帧图像中的身后触发器变为1，随后当绳子从身后区域进入身前区域后，继续进行判断，周而复始，不断累加跳绳加1的次数，直到计时结束。

进一步地，结合身后触发器和身前触发器为跳绳者跳绳进行计数的过程中，还包括有卡断情况检测及对应的处理，具体步骤如下：

若身后触发器的值转为1的时间达到预先设置的时间阈值，则判断为卡断，身后触发器的值自动变0；

若卡断之后，跳绳者将绳子反向摇动，身前触发器的值变为0，当绳子反向摇动回身后区域后，身后触发器的值变为1，随后即可继续跳绳计数；

若卡断之后，跳绳者跨过绳子，继续跳绳，执行跳绳计数加1，身后触发器和身前触发器的值全部变为0，下一帧图像中的身后触发器变为1，随后当绳子从身后区域进入身前区域后，继续进行判断，周而复始。

进一步地，所述高速摄像头为大于等于30帧的高速摄像头。

与现有技术相比，本方案原理及优点如下：

1.现有技术多采用跳绳检测装置完成计数，即需要使用特定的设备进行计数，对设备要求较高。还有通过视频及音频提取的方式进行分析，均是通过人体的关键点完成。因此准确率较低，以及通过深度学习对视频图像进行分析，依赖模型，对角度的要求比较高。这些方式均没有对跳绳的单独分析。本方案通过提取视频图像中的目标跳绳，以及构建绳子方向向量，来完成计数分析，准确率更高，速度更快。

2.现有的跳绳计数方法中，采集的均为跳绳者侧视视角或者正视视角的视频，没有对跳绳者的俯视视角进行分析。本方案中高速摄像头的拍摄角度为俯视，既降低了后续从背景中提取人和绳子的难度，又能方便建立坐标系，使得后期通过坐标系中的绳子方向向量进行跳绳计数分析。

3.本方案的检测方式基于绳子的目标提取，先进行视频图像的预处理，控制其分辨率，再设定颜色阈值，当绳子的颜色达到阈值范围内时将其提取出来，从而进行分析，通过该种方式控制了其分辨率，有着较高的计算速度。

4、本方案对于绳子方向向量的分析过程十分严格，设置身前触发器和身后触发器，结合跳绳过程中正常跳绳，反向跳绳，跳绳卡断，卡断后反向摇动，卡断后跨过跳绳，身前触发器和身后触发器的值均会按照不同的逻辑进行变化，从而对跳绳的次数进行影响，有较高的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为对视频进行处理并分析跳绳者跳绳次数的原理流程图；

图2为对于拍摄图像所构建的单侧手臂附近坐标系示意图；

图3为跳绳者手持绳子且绳子位于身后区域时的示意图；

图4为结合设置的触发器为跳绳者跳绳进行计数的流程图；

图5为卡断检测的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

一种基于绳子目标提取的跳绳计数方法，将高速摄像头(大于等于30帧)竖直向下悬挂在跳绳者的正上方，俯视拍摄跳绳者跳绳视频，跳绳者在视频中面向左侧或者面向右侧，然后将视频传输到计算机，由计算机对视频进行处理，获取跳绳者跳绳过程中绳子的信息，从而分析出跳绳者跳绳的次数。

如图1所示，对视频进行处理，分析跳绳者跳绳次数的步骤如下：

首先，对视频图像进行预处理，具体如下：

S1-1、进行背景差分处理，找出跳绳者以及跳绳的位置：

在视频的开始阶段采集至少一帧的背景帧，背景帧要求高速摄像头拍摄画面固定，且画面中未出现跳绳者；随后用该背景帧的rgb向量的值与其余出现有跳绳者的帧进行比较，当距离低于设定阈值时，将其余出现有跳绳者的帧中同一位置的坐标赋予0灰度值；其余不变的位置，即为跳绳者以及跳绳的位置。

S1-2、进行图像剪裁；锁定图像中跳绳者手的位置，将手附近正方形区域作为目标区域，剪裁之后只保留单侧手臂的附近区域，在保证根据保留下的区域内的绳子像素值能确定绳子方向的情况下，提高视频图像的处理速度；

S1-3、进行抽取操作，保证绳子轮廓的情况下降低视频图像的分辨率。

接着，提取已进行预处理的视频图像中的目标绳子，具体步骤如下：

S2-1、设定hsv三通道的颜色阈值，在单侧手臂附近区域，通过opencv算法提取目标绳子颜色，当图像内部的hsv值落在该单侧手臂附近区域内时，将目标绳子所在位置的像素赋值255，其余位置赋值0，从而完成二值化操作；

S2-2、采用形态学开操作把噪声去掉二值图像场景内部的噪声。

最后，基于提取到的目标绳子分析跳绳者跳绳次数，具体包括以下四步：

S3-1、由于图像的坐标系，opencv坐标系以及常规的笛卡尔坐标不同，因此，建立一个以左上角为原点、人的朝向为x轴正向、上方为y轴正向的坐标系；具体如图2所示，图中的标记1表示绳子方向向量所在直线与水平线的夹角，标记2表示右侧-45°阈值与水平线的夹角，标记5为所构建的绳子方向向量。

S3-2、基于步骤S3-1建立的坐标系构建绳子方向向量：

首先从图像的原点开始，一行一行遍历像素，先找到图像中绳子的最高点(最高的255点)，即手持绳子的点，作为第一关键点；随后，再一次遍历像素，在最高点下方一百行内，找到与最高点距离最远的绳子上的点(最远的255点)，作为第二个关键点；构建第一个关键点指向第二个关键点的向量，即为绳子方向向量。(图3为跳绳者手持绳子且绳子位于身后区域时的示意图，图中，标记1表示绳子方向向量所在直线与水平线的夹角，标记5为所构建的绳子方向向量，黑色圆圈分别表示跳绳者的两只手)

S3-3、计算视频每一帧图像中绳子方向向量的余弦来确定对应时刻绳子所处的位置；当对应的绳子方向向量的余弦值处于余弦范围(-1，-0.70711)时，绳子处在跳绳者的身后区域，当对应的绳子方向向量的余弦值处于余弦范围(0.70711，1)时，绳子处在跳绳者的身前区域。

S3-4、在跳绳者的身后和身前区域分别设置身后触发器和身前触发器，结合该两个触发器为跳绳者跳绳进行计数，如图4所示，具体步骤如下：

将身后触发器和身前触发器的初始值均设置为0，然后对视频每一帧图像均进行计算；当绳子第一次经过跳绳者身后区域时，身后触发器变为1，随后当绳子进入身前区域后，进行判断，如果此时身后触发器的值仍为1，则身前触发器的值也变为1，当绳子再次进入身后区域时，会继续进行判断，如果此时身前触发器的值为1，则接下来执行跳绳计数加1，身后触发器和身前触发器的值全部变为0；接着，下一帧图像中的身后触发器变为1，随后当绳子从身后区域进入身前区域后，继续进行判断，周而复始，不断累加跳绳加1的次数，直到计时结束。

如图5所示，在跳绳过程中，还包括有卡断情况检测及对应的处理，具体步骤如下：

若身后触发器的值转为1的时间达到预先设置的时间阈值，则判断为卡断，身后触发器的值自动变0；

若卡断之后，跳绳者将绳子反向摇动，身前触发器的值变为0，当绳子反向摇动回身后区域后，身后触发器的值变为1，随后即可继续跳绳计数；

若卡断之后，跳绳者跨过绳子，继续跳绳，执行跳绳计数加1，身后触发器和身前触发器的值全部变为0，下一帧图像中的身后触发器变为1，随后当绳子从身后区域进入身前区域后，继续进行判断，周而复始。

本实施例中，身前触发器和身后触发器的取值方式具体如下：

当绳子进入身后区域时，如果身前触发器的值是0，身后触发器的值转为1，如果身前触发器的值是1或者身后触发器的值转为1的时间达到设定的时间阈值后，身后触发器的值均转为0。

当绳子进入身前区域时，如果身后触发器的值是1，身前触发器的值转为1，如果身后触发器的值是0，则身前触发器的值转为0；当绳子进入身后区域时，如果身前触发器的值为1，则身前触发器的值转为0。

本实施例采用俯视的角度拍摄跳绳视频，既降低了后续从背景中提取人和绳子的难度，又方便了坐标系的建立，使得后期通过坐标系中的绳子方向向量进行跳绳计数分析。另外，本实施例先进行视频图像的预处理，控制其分辨率，再设定颜色阈值，当绳子的颜色达到阈值范围内时将其提取出来，从而进行分析，通过该种方式控制了其分辨率，有着较高的计算速度。最后，本实施例对于绳子方向向量的分析过程十分严格，设置身前触发器和身后触发器，结合跳绳过程中正常跳绳，反向跳绳，跳绳卡断，卡断后反向摇动，卡断后跨过跳绳，身前触发器和身后触发器的值均会按照不同的逻辑进行变化，从而对跳绳的次数进行影响，有较高的准确率。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于绳子目标提取的跳绳计数方法，其特征在于，将高速摄像头竖直向下悬挂在跳绳者的正上方，俯视拍摄跳绳者跳绳视频，跳绳者在视频中面向左侧或者面向右侧，然后将视频传输到计算机，由计算机对视频进行处理，获取跳绳者跳绳过程中绳子的信息，从而分析出跳绳者跳绳的次数。

2.根据权利要求1所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，对视频进行处理，分析跳绳者跳绳次数的步骤如下：

S1、对视频图像进行预处理；

S2、提取已进行预处理的视频图像中的目标绳子；

S3、基于提取到的目标绳子分析跳绳者跳绳次数。

3.根据权利要求2所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，所述步骤S1对视频图像进行预处理的具体步骤如下：

S1-1、进行背景差分处理，找出跳绳者以及跳绳的位置；

S1-2、进行图像剪裁；锁定图像中跳绳者手的位置，将手附近正方形区域作为目标区域，剪裁之后只保留单侧手臂的附近区域，在保证根据保留下的区域内的绳子像素值能确定绳子方向的情况下，提高视频图像的处理速度；

S1-3、进行抽取操作，保证绳子轮廓的情况下降低视频图像的分辨率。

4.根据权利要求3所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，所述步骤S1-1的具体步骤如下：

在视频的开始阶段采集至少一帧的背景帧，背景帧要求高速摄像头拍摄画面固定，且画面中未出现跳绳者；随后用该背景帧的rgb向量的值与其余出现有跳绳者的帧进行比较，当距离低于设定阈值时，将其余出现有跳绳者的帧中同一位置的坐标赋予0灰度值；其余不变的位置，即为跳绳者以及跳绳的位置。

5.根据权利要求3所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，所述步骤S2提取目标绳子的具体步骤如下：

S2-1、设定hsv三通道的颜色阈值，在单侧手臂附近区域，通过opencv算法提取目标绳子颜色，当图像内部的hsv值落在该单侧手臂附近区域内时，将目标绳子所在位置的像素赋值255，其余位置赋值0，从而完成二值化操作；

S2-2、采用形态学开操作把噪声去掉二值图像场景内部的噪声。

6.根据权利要求2所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，所述步骤S3基于提取到的目标绳子分析跳绳者跳绳次数的具体步骤如下：

S3-1、建立一个以左上角为原点、人的朝向为x轴正向、上方为y轴正向的坐标系；

S3-2、基于步骤S3-1建立的坐标系构建绳子方向向量；

S3-3、计算视频每一帧图像中绳子方向向量的余弦来确定对应时刻绳子所处的位置；

S3-4、在跳绳者的身后和身前区域分别设置身后触发器和身前触发器，结合该两个触发器为跳绳者跳绳进行计数。

7.根据权利要求6所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，所述构建绳子方向向量的具体步骤如下：

首先从图像的原点开始，一行一行遍历像素，先找到图像中绳子的最高点，即手持绳子的点，作为第一关键点；随后，再一次遍历像素，在最高点下方设定的行数内，找到与最高点距离最远的绳子上的点，作为第二个关键点；构建第一个关键点指向第二个关键点的向量，即为绳子方向向量。

8.根据权利要求6所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，结合身后触发器和身前触发器为跳绳者跳绳进行计数的具体步骤如下：

将身后触发器和身前触发器的初始值均设置为0，然后对视频每一帧图像均进行计算；当绳子第一次经过跳绳者身后区域时，身后触发器变为1，随后当绳子进入身前区域后，进行判断，如果此时身后触发器的值仍为1，则身前触发器的值也变为1，当绳子再次进入身后区域时，会继续进行判断，如果此时身前触发器的值为1，则执行跳绳计数加1，身后触发器和身前触发器的值全部变为0；接着，下一帧图像中的身后触发器变为1，随后当绳子从身后区域进入身前区域后，继续进行判断，周而复始，不断累加跳绳加1的次数，直到计时结束。

9.根据权利要求6-8任一所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，结合身后触发器和身前触发器为跳绳者跳绳进行计数的过程中，还包括有卡断情况检测及对应的处理，具体步骤如下：

若身后触发器的值转为1的时间达到预先设置的时间阈值，则判断为卡断，身后触发器的值自动变0；

若卡断之后，跳绳者将绳子反向摇动，身前触发器的值变为0，当绳子反向摇动回身后区域后，身后触发器的值变为1，随后即可继续跳绳计数；

若卡断之后，跳绳者跨过绳子，继续跳绳，执行跳绳计数加1，身后触发器和身前触发器的值全部变为0，下一帧图像中的身后触发器变为1，随后当绳子从身后区域进入身前区域后，继续进行判断，周而复始。

10.根据权利要求1所述的一种基于绳子目标提取的跳绳计数方法，其特征在于，所述高速摄像头为大于等于30帧的高速摄像头。

Images