CN110152273B

CN110152273B - 一种基于智能目标识别的跳绳计数方法

Info

Publication number: CN110152273B
Application number: CN201910439917.4A
Authority: CN
Inventors: 林峰; 厉位阳
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-05-24
Filing date: 2019-05-24
Publication date: 2020-08-25
Anticipated expiration: 2039-05-24
Also published as: CN110152273A

Abstract

本发明公开了一种基于智能目标识别的跳绳计数方法，属于智能健身运动技术领域，包括：1)获取跳绳动作的原始视频数据，从原始视频数据中提取出图像数据和音频数据；2)对图像数据进行单帧处理，得到一组顺序排列的单帧图像；3)确定每帧图像中跳绳的人的人脸区域，并取出人脸区域的中心点高度坐标；4)获取中心点高度坐标随时间变化的曲线，采用过零计数法得到跳绳的人的跳跃次数；5)提取音频的采样频率，绘制以时间为横坐标的音频波形图，并采用互相关系数法计算跳绳次数；6)融合视频和音频信息来判断是否为有效的跳绳次数，如果是有效的跳绳次数，则计数加1，不是有效跳绳则不计数；7)输出并显示计数结果。

Description

一种基于智能目标识别的跳绳计数方法

技术领域

本发明涉及智能健身运动设备技术领域，具体地说，涉及一种基于智能目标识别的跳绳计数方法。

背景技术

跳绳是一项老少皆宜的全身性有氧健身运动、极佳的健体运动。它除了拥有运动的一般益处外，更有很多独特的优点。跳绳每半小时消耗热量约四百卡，能有效训练个人的反应和耐力，有助保持个人体态健美和协调性，对心肺系统等各种脏器、协调性、姿态、减肥等都有相当大的帮助。

随着科技的不断发展，手环或者手表上的运动算法种类越来越多。运动算法，起源于21世纪初，是通过传感器获取手环或者手表上的实时数据，然后将数据进行处理和计算，然后显示在当前的手环或者手表上，使佩戴人员能够清楚地获取运动信息，如用户的运动轨迹及步数。

公布号为CN108744471A的中国专利文献公开了一种基于手环的跳绳计数方法，根据安装于手环上的传感器获取用户跳绳数据；对跳绳数据在X轴和Y轴方向上分别进行分周期处理；将X轴上的当前周期与上一个周期进行比较，及将Y轴上的当前周期与上一个周期进行比较；根据X轴上的比较结果计算跳绳次数或根据Y轴上的比较结果计算跳绳次数。因而，在X轴上的比较结果出来后，可只根据X轴上的比较结果计算跳绳次数，同理，在Y轴上的比较结果出来后，可只根据Y轴上的比较结果计算跳绳次数。即通过将X轴及Y轴的数据进行分周期处理后，能够根据比较结果计算出跳绳次数。但是，该方法存在计数不准的问题。

发明内容

本发明的目的为提供一种基于智能目标识别的跳绳计数方法，通过对人在跳绳过程中人脸位置中心高度位置的高低变化，并结合跳绳声音信息来计算跳绳的次数，从而实现对跳绳进行自动精确计数。

为了实现上述目的，本发明提供的基于智能目标识别的跳绳计数方法包括以下步骤：

1)获取跳绳动作的原始视频数据，从原始视频数据中提取出图像数据和音频数据；

2)对图像数据进行单帧处理，得到一组顺序排列的单帧图像；

3)确定每帧图像中跳绳的人的人脸区域，并取出人脸区域的中心点高度坐标；

4)获取中心点高度坐标随时间变化的曲线，采用过零计数法得到跳绳的人的跳跃次数；

5)提取音频的采样频率，绘制以时间为横坐标的音频波形图，并采用互相关系数法计算跳绳次数；

6)融合视频和音频信息来判断是否为有效的跳绳次数，如果是有效的跳绳次数，则计数加1，不是有效跳绳则不计数；

7)输出并显示计数结果。

上述技术方案中，可利用高清摄录设备(如：智能手机等)，从一定的角度、合适的距离，对包括跳绳人在内的整个跳绳过程进行录制，录制过程中要求跳绳的人进行原地跳绳(在跳绳时不做大范围的前后左右的水平移动)。获得相对稳定的视频图像后，对视频信息进行处理，再对获得的图像数据进行分析后对跳绳次数进行判断，同时利用视频中的音频信息进行跳绳计数，最后结合视频及音频信息综合计算后确定跳绳次数。该方法通过识别人脸所在的位置以及绳子接触地面的声音来达到判断跳绳的次数，不仅准确还可以判断连跳等比较特殊的跳绳次数，而且视频可以回塑，具有很好的应用价值。

作为优选，步骤3)中，确定每帧图像中跳绳的人的人脸区域。具体包括如下步骤：

步骤3-1)对每帧图像进行肤色识别，并过滤掉干扰数据，得到二值化图像；

针对脸部形状和中心位置的检测，只需要在图像中定位脸部位置并得到脸部的最小外接矩形，即大致框出脸部区域即可。因此采用高斯肤色概率模型。肤色的检测一般采用YCbCr颜色空间，RBG转化为YCbCr的公式为：

Y＝0.257×R+0.564×G+0.098×B+16

Cb＝-0.148×R-0.291×G+0.439×B+128

Cr＝0.439×R-0.368×G-0.071×B+128

肤色在色度空间，即(Cb，Cr)空间，满足高斯分布，根据二维高斯型函数，每个像素的肤色概率密度计算公式如下：

p(CbCr)＝exp[-0.5(x-m)^TC^-1(x-m)]

其中x＝(CbCr)^T，m＝E(x)，即均值；C＝E{(x-m)(x-m)^T}，即协方差矩阵。

根据上述公式计算得到图像中每个像素与肤色的相似度，将每个像素与肤色的相似度与每个像素的灰度对应起来，将彩色图像转换为灰度图像，即肤色似然图，在此基础上将灰度图转换为二值化的图像。

步骤3-2)排除非脸部肤色区域；

二值图中还包含了非脸部的裸露肤色区域如胳膊、手、腿、脚等，需要区分开来，本例从脸部本身的几何特征出发，采用三种限制条件——限制像素个数(即限制所占面积大小)、限制长宽比、限制矩形度(即与矩形的相似程度)将脸部从其他非脸部的肤色区域中提取出来，具体说明如下：

由于跳绳者衣服的遮挡，不同的肤色区域之间是非联通的，因此可以对每个肤色区域进行遍历，分别得到每个肤色区域的像素点个数、最大长度和最大宽度、矩形度等信息，通过上述的三个限制条件判断是否属于脸部区域。对于非脸部的肤色区域，将该区域的所有像素赋值为0，即变为黑色，作为背景。

步骤3-3)在原RGB图中框出脸部区域；

得到脸部区域后，根据该区域的长度和宽度的最大值坐标和最小值坐标信息确定脸部的最小外接矩形的大小和位置，再在原始的RGB图像的相同位置描绘出该最小外接矩形，即可框处脸部区域，完成人脸区域的确定工作。

作为优选，步骤3)中，取出人脸区域的中心点高度坐标的步骤说明如下：

根据步骤3-3)中得到的人脸区域四个顶点的坐标取几何中心的坐标，作为中心点的坐标。原地跳绳过程中，跳绳的人水平移动的区域一般不会很大，因此该坐标高度的变化可以近似为跳绳过程中人重心的高低变化，找出坐标高度随时间变化的规律就可以得到跳绳的次数了。

作为优选，步骤4)中，获取中心点高度坐标随时间变化的曲线，采用过零计数法得到跳绳的人的跳跃次数的步骤为：

步骤4-1)绘制中心点高度坐标随时间变化的曲线，并进行移动平均滤波处理；

从步骤3)知道人脸区域的中心点高度坐标后，可以得到中心点高度坐标随时间变化的曲线，该曲线存在一些抖动和毛刺等，需要进行移动平均滤波处理。

移动平均滤波是以统计规律为基础的一种对信号滤波降噪的方法，其原理是:将连续的要被处理的数据看作一个数量为N的窗口，每处理一个新数据时，窗口中的N个数据整体向前平移1位，即窗口中的第一个数据被去掉，新数据成为窗口中的最后一个数据，然后对窗口中的N个数取平均值，将得到的平均值作为被处理数据的值。其计算公式如下：

其中，n代表帧数；x(n)代表第n帧图像的实际中心点高度；N为移动平均滤波的窗口长度；y(n)表示经移动平均滤波后的第n帧图像的中心点高度。移动平均滤波能较好地滤除运动轨迹曲线中的抖动和毛刺，使曲线变的连续而平滑。窗口长度N值的选取要与具体的计数方法结合，并不是越大或者越小就是最好，取N＝5。

步骤4-2)采用过零计数法得到跳绳的人的跳跃次数的步骤为：

找出曲线y坐标的最大值y_max和最小值y_min，对最大值y_max和最小值y_min求平均值得到y_mid；

以直线y＝y_mid作为新的坐标轴的x轴，重新绘制滤波后的轨迹曲线；

找出滤波后的轨迹曲线与新坐标轴x轴的交点个数，将交点个数除以2即为跳绳次数。

作为优选，步骤5)中，提取音频的采样频率，绘制以时间为横坐标的音频波形图的步骤为：提取跳绳视频的音频信息作为被测音频，得到其时域波形图。

作为优选，步骤5)中，采用互相关系数法计算跳绳次数的步骤为：

以跳绳与地面某单次碰击的音频片段作为样本音频x，以跳绳视频中的音频序列作为被测音频y，计算样本音频x与被测音频y的互相关系数。互相关函数的计算方法说明如下：

其中N为x，y中较长的信号序列的长度，星号表示复共轭；m表示平移的采样点个数；

表示序列x保持不动，将序列y左移m个抽样点后，两个序列逐点对应相乘的结果；

表示序列y保持不动，将序列x左移m个抽样点后，两个序列逐点对应相乘的结果。互相关函数是用于表征两个信号x，y在任意两个不同时刻的取值之间的相关程度，它是两个信号x，y在频域内是否相关的一个重要判断标准。互相关系数是对两个信号x，y作互相关运算后的结果进行归一化得到的。互相关系数越大，表明两个信号的相关程度越高。

绘制出“互相关系数”图，设置合适的互相关系数阈值(阈值设为0.1)，统计互相关系数超过设置阈值的次数m，则m即为跳绳个数。

设置两次跳绳计数间的最小数据个数间隔。百度上单人1分钟跳绳的记录为300个，即每个跳绳周期大于0.2s，而音频的采样频率为Fs＝44100，即两次跳绳计数之间应至少间隔0.2*44100＝8820个数据。

作为优选，步骤6)中，融合视频和音频信息来判断是否为有效的跳绳次数，如果是有效的跳绳次数，则计数加1，不是有效跳绳则不计数的步骤为：

6-1)排除跳跃无效：计算平均每次的跳跃时间T1，当某次跳跃时间大于3T1时，作为无效跳跃，该次跳跃不计数。

6-2)排除跳绳无效：找出与有效跳跃一次对应的时间周期内的音频跳绳的次数，当结果是一次有效跳跃对应一次音频跳绳，或者一次有效跳跃对应多次音频跳绳(在连跳情况下)时为有效跳绳，跳绳的次数以音频跳绳的次数计数；当结果是一次有效跳跃内没有音频跳绳时，则该次跳绳为失败的跳绳，不计入次数。

结合视频和声音来确定跳绳的次数需要说明的是，尤其当跳绳连跳时(即人跳起一次绳环摆两次或更多次)，视频和声音信息相结合来判定跳绳次数具有单独用视频或声音信息来确定次数所不具备的优势。

与现有技术相比，本发明的有益效果为：

本发明基于智能目标识别的跳绳计数方法不需要采用人工即可实现自动精确计数，不仅可以即时计数，也可以进行录像回放，而且与同类方法相比具有可以判定连跳次数等独特优势，尤其随着移动摄录设备的广泛采用，该方法将具有更强的实用性。

附图说明

图1为本发明实施例中基于智能目标识别的跳绳计数方法的流程图；

图2为本发明实施例中参考图像(a)及滤波后的二值图(b)；

图3为本发明实施例中参考图像进行排除非脸部的肤色区域后的二值图像(a)及在原RGB图像中框出脸部区域的图像(b)；

图4为本发明实施例中N＝5时移动平均滤波后中心点高度坐标随时间变化的曲线图；

图5为本发明实施例中以时间为横坐标的音频波形图；

图6为本发明实施例中样本音频的时域波形图；

图7为本发明实施例的样本音频与被测音频的互相关系数图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1至图6，本实施例的基于智能目标识别的跳绳计数方法包括以下步骤：

步骤S1，通过录像设备获取跳绳动作的原始视频数据，并将原始视频数据输入，开始计时。

步骤S2，从原始视频数据中提取出图像数据，对图像数据进行单帧处理，得到一组顺序排列的单帧图像，并提取出计数时间。

步骤S3，确定每帧图像中跳绳的人的人脸区域。首先对每帧图像进行肤色识别，并过滤掉干扰数据，得到二值化图像，如图2所示；接着排除非脸部肤色区域；最后在原RGB图中框出脸部区域备用，如图3所示。

步骤S4，取出人脸区域的中心点高度坐标。

步骤S5，获取中心点高度坐标随时间变化的曲线。

步骤S6，采用过零计数法得到跳绳的人的跳跃次数。本例首先绘制中心点高度坐标随时间变化的曲线，并进行移动平均滤波处理，得到如图4所示曲线，然后采用过零计数法得到跳绳的人的跳跃次数。需要说明的是当在连跳等特殊情况下跳跃次数并不等于跳绳次数。

步骤S7，从视频数据中提取出声音数据，提取音频的采样频率，绘制以时间为横坐标的音频波形图。得到其时域波形图如图5所示。

步骤S8，采用互相关系数法计算跳绳次数。首先以跳绳与地面某单次碰击的音频片段作为样本音频x，其时域波形如图6所示，以跳绳视频中的音频序列作为被测音频y，计算样本音频x与被测音频y的互相关系数。然后绘制出“互相关系数”图，如图7所示，设置合适的互相关系数阈值(本例阈值设为0.1)，统计互相关系数超过设置阈值的次数n，则n即为跳绳个数。

步骤S9，结合视频和声音来确定跳绳的次数。当跳绳连跳时(即人跳起一次绳环摆两次或更多次)，视频和声音信息相结合来判定跳绳次数具有单独用视频或声音信息来确定次数所不具备的优势。

步骤S10，融合视频和音频信息来判断是否为有效的跳绳次数。

首先排除跳跃无效：计算平均每次的跳跃时间T1，当某次跳跃时间大于3T1时，作为无效跳跃，该次跳跃不计数；

然后排除跳绳无效：找出与有效跳跃一次对应的时间周期内的音频跳绳的次数，当结果是一次有效跳跃对应一次音频跳绳，或者一次有效跳跃对应多次音频跳绳时为有效跳绳，跳绳的次数以音频跳绳的次数计数；当结果是一次有效跳跃内没有音频跳绳时，则该次跳绳为失败的跳绳，不计入次数。

步骤S11，如果是有效的跳绳次数，则计数加1，不是有效跳绳则不计数。

步骤S12，判断是否超过计数时间，若是，则结束计数，否则将下一个参考图像重复步骤S2至步骤S12。

步骤S13，将计数结果输出并显示。

Claims

1.一种基于智能目标识别的跳绳计数方法，其特征在于，包括以下步骤：

5)提取音频数据中的采样频率，绘制以时间为横坐标的音频波形图，并采用互相关系数法计算跳绳次数；采用互相关系数法计算跳绳次数的方法为：

5-1)以跳绳与地面某单次碰击的音频片段作为样本音频x，以跳绳视频中的音频序列作为被测音频y，计算样本音频x与被测音频y的互相关系数；

5-2)绘制出“互相关系数”图，设置互相关系数阈值，统计互相关系数超过设置阈值的次数m，则m即为跳绳个数；

7)输出并显示计数结果。

2.根据权利要求1所述的跳绳计数方法，其特征在于，步骤3)中，确定每帧图像中跳绳的人的人脸区域的方法为：

3-1)对每帧图像进行肤色识别，并过滤掉干扰数据，得到二值化图像；

3-2)排除非脸部肤色区域；

3-3)在原RGB图中框出脸部区域。

3.根据权利要求1所述的跳绳计数方法，其特征在于，步骤4)中，获取中心点高度坐标随时间变化的曲线，采用过零计数法得到跳绳的人的跳跃次数的方法为：

4-1)绘制中心点高度坐标随时间变化的曲线，并进行移动平均滤波处理，将连续的被处理的数据看作一个数量为N的窗口，每处理一个新数据时，窗口中的N个数据整体向前平移1位，即窗口中的第一个数据被去掉，新数据成为窗口中的最后一个数据，然后对窗口中的N个数取平均值，将得到的平均值作为被处理数据的值，其计算公式如下：

其中，n代表帧数；x(n)代表第n帧图像的实际中心点高度；N为移动平均滤波的窗口长度；y(n)表示经移动平均滤波后的第n帧图像的中心点高度；

4-2)找出曲线y坐标的最大值y_max和最小值y_min，对最大值y_max和最小值y_min求平均值得到y_mid；

4-3)以直线y＝y_mid作为新的坐标轴的x轴，重新绘制滤波后的轨迹曲线；

4-4)找出滤波后的轨迹曲线与新坐标轴x轴的交点个数，将交点个数除以2即为跳绳次数。

4.根据权利要1所述的跳绳计数方法，其特征在于，步骤5-2)中，设置互相关系数阈值为0.1。

5.根据权利要求1所述的跳绳计数方法，其特征在于，步骤6)中，融合视频和音频信息来判断是否为有效的跳绳次数的步骤为：

6-1)排除跳跃无效：计算平均每次的跳跃时间T1，当某次跳跃时间大于3T1时，作为无效跳跃，该次跳跃不计数；

6-2)排除跳绳无效：找出与有效跳跃一次对应的时间周期内的音频跳绳的次数，当结果是一次有效跳跃对应一次音频跳绳，或者一次有效跳跃对应多次音频跳绳时为有效跳绳，跳绳的次数以音频跳绳的次数计数；当结果是一次有效跳跃内没有音频跳绳时，则该次跳绳为失败的跳绳，不计入次数。