CN113706507A - 基于人体姿态检测的实时跳绳计数方法、装置和设备 - Google Patents
基于人体姿态检测的实时跳绳计数方法、装置和设备 Download PDFInfo
- Publication number
- CN113706507A CN113706507A CN202110998562.XA CN202110998562A CN113706507A CN 113706507 A CN113706507 A CN 113706507A CN 202110998562 A CN202110998562 A CN 202110998562A CN 113706507 A CN113706507 A CN 113706507A
- Authority
- CN
- China
- Prior art keywords
- counting
- rope skipping
- real
- time
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 49
- 230000009471 action Effects 0.000 description 24
- 238000012360 testing method Methods 0.000 description 20
- 230000006399 behavior Effects 0.000 description 16
- 230000000737 periodic effect Effects 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于人体姿态检测的实时跳绳计数方法、装置和设备，包括视频采集模块、人体姿态检测模块、特征处理模块、跳绳计数模块和实时计数结果显示模块。视频采集模块用于实时采集跳绳视频帧图像，用于后续跳绳计数特征提取；人体姿态检测模块，用于特征提取器提取跳绳视频帧图像中的人体姿态信息，并计算输出跳绳计数特征序列；特征处理模块，用于进行跳绳计数；跳绳计数模块，基于处理后的特征序列的时序变化规律，设计跳绳计数机制实现实时跳绳计数；实时计数结果显示模块，实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。
Description
技术领域
本发明属于视频图像人体姿态估计技术领域，具体涉及一种基于人体姿态检测的实时跳绳计数方法、装置和设备。
背景技术
随着科技的发展，人工智能已经遍布生活中的各方各面，智能化设备代替人工已经成为当今时代的大势所趋，而随着体育越来越被重视，并且体育考试已经被列入到中考考试项目中，传统的体育考试需要大量的人力进行各项目的计时计数，且存在着在体育考试项目结束后不能检验测试结果准确性的缺点，智能化体育考场、智能化体育考试设备的应用和普及可以大量的减少人力的投入，同时可以对考试数据进行保存记录，随时查验考试过程中是否存在违规现象、测试结果是否准确，跳绳作为大部分省份体育中考中的测试项目，因此，针对于跳绳计数的智能化计数设备的研究至关重要。
现存的自动化跳绳计数方法大部分都是采用可以自动计数的跳绳进行计数，但是这种跳绳计数方法具备计数结果不能查验的缺点。因此，随着视频图像采集处理在生活中各方面被广泛应用，并且视频图像可以进行保存和记录，基于视频图像的智能化跳绳计数方法可以对智能体育考场进行监督，对测试结果进行留存查验。
跳绳运动是根据人体是否跳过了跳绳来进行计数，相比于其他的体育考试运动(例如：仰卧起坐、引体向上等)在图像中没有确切的人体姿态计数标准，而是表现在时序上人体姿态呈现的周期性变化规律进行计数，当这种周期性变化规律消失时，即跳绳中断。因此人体姿态在跳绳过程中随跳绳行为的发生呈现出其特有的规律性，因跳绳中人体姿态变化本身存在着个体差异性，且现存的基于视频图像的跳绳计数方法都不可避免的容易收到跳绳过程中一些区别于连续跳绳动作的其他行为动作的影响。因此，基于视频图像的鲁棒性好的高性能的实时跳绳计数方法更具备开发的实用价值。
人体姿态估计是计算机视觉中的一个重要分支，应用范围宽广，较多的被应用在人体的姿态估计中，结合基于视频图像的跳绳计数任务的特点，即人体姿态在跳绳行为动作中呈现周期性变化，所以可将人体姿态估计应用于跳绳计数任务中，以实现准确率高的实时性的跳绳计数。
发明内容
针对智能体育考场的需求而应用自动计数跳绳的跳绳进行计数计数结果不能查验，且现存的基于视频图像的跳绳计数方法准确率不足，不能实现实时计数，本发明提供基于人体姿态检测的实时跳绳计数方法、装置和设备。
本发明采用如下技术方案来实现：
基于人体姿态检测的实时跳绳计数方法，包括以下步骤：
S1、实时采集跳绳视频图像，用于后续跳绳计数特征提取；
S2、提取跳绳视频图像中的人体姿态信息，并提取输出跳绳计数特征序列；
S3、先对跳绳计数特征序列进行滤波处理，然后计算其二阶差值信息，以提取跳绳计数特征序列的变化速度，用于进行跳绳计数；
S4、基于S3处理后的特征序列的时序变化规律，进行实时跳绳计数。
进一步的，S2中，基于跳绳视频帧图像，使用Mediapipe中的人体姿态检测器BlazePose实时检测跳绳视频帧图像中人体姿态信息，并根据检测到的人体姿态信息计算出与跳绳运动过程规律一致的特征序列。
进一步的，S2中，所述特征序列由特征组成，所述特征为关于人体左肩关键点、右肩部关键点、左跨部关键点和右跨部关键点的坐标的函数。
进一步的，S3中，使用均值滤波器对跳绳计数特征序列进行滤波处理。
进一步的，S4中，根据跳绳计数特征序列与跳绳变化规律的相关性，设计符合跳绳计数规则的跳绳计数机制，当处理过的特征序列满足计数要求时，对其进行跳绳计数。
进一步的，S4中，计数机制为：当检测到跳绳计数特征序列的一个波谷时，则根据在等待时间内是否成功检测到一个有效波峰和一个有效波谷，判定是否进行跳绳计数。
进一步的，当相邻两个有效波谷或相邻两个有效波峰之间的差值绝对值小于前一个波峰或波谷的4倍且大于前一个波峰或波谷的0.25倍时，对相邻两个有效波谷及其中间含有一个有效波峰所代表的跳绳行为进行有效的跳绳计数。
基于人体姿态检测的实时跳绳计数装置，包括：
视频采集模块，用于实时采集跳绳视频图像，用于后续跳绳计数特征提取；
人体姿态检测模块，用于提取跳绳视频帧图像中的人体姿态信息，并计算输出跳绳计数特征序列；
特征处理模块，用于对跳绳计数特征序列进行滤波处理，后计算其二阶差值信息，以提取其变化速度，用于进行跳绳计数；
跳绳计数模块，用于根据处理后的特征序列的时序变化规律，设计跳绳计数机制实现实时跳绳计数。
进一步的，还包括实时计数结果显示模块，所述实时计数结果显示模块，用于实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。
一种计算机设备，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述的计数方法的步骤。
本发明至少具有以下有益的技术效果：
本发明提供的一种基于人体姿态检测的实时跳绳计数装置，有效地实现了基于视频图像的实时跳绳计数，并实时性的显示和保存跳绳视频帧图像和由跳绳开始至视频当前帧的跳绳计数结果，经过实际的跳绳考试视频测试，针对于考试场景下的跳绳视频展现出很好的计数效果，并在实际的跳绳计数中，有针对于跳绳动作快慢、跳绳角度、跳绳姿势(单脚、双脚)等不同跳绳动作类型进行了测试验证，实时性跳绳计数效果良好，表现出很好的鲁棒性，满足于当前智能体育考场对智能跳绳计数的要求。
进一步，进行人体姿态检测时，基于实时读取的跳绳视频帧图像，使用Mediapipe中的人体姿态检测器BlazePose较为准确地实时检测跳绳视频帧图像中人体姿态信息，并结合跳绳计数任务特点，从检测到的33个人体关键点信息(即为所提取的人体姿态信息)中提炼出与跳绳规律性较为一致的特征作为跳绳计数特征序列，根据该特征序列设置计数规则符合跳绳计数任务的需求，同时使用该检测器在速度上也可满足跳绳视频实时计数的要求。
进一步，进行特征处理时，先使用均值滤波对计数特征序列进行平滑处理，在一定程度上减弱特征序列上异常值的影响，后计算特征序列的二阶差值，以获得特征序列在时序上的变化规律，完成以上操作后得到的特征序列特性与跳绳呈现出的规律性基本符合，可以应用其实现跳绳计数任务。
进一步，进行跳绳计数时，基于滤波处理后的特征序列，结合跳绳动作的规律性，找出处理后的特征序列的波谷，即对应跳绳动作中跳完一个的落地位置，同时找到特征序列中的波峰，即对应跳绳动作中跳绳过程的最高点位置，当连续检测到两个波谷且中间存在一个波峰进行跳绳计数，同时特征序列中的波峰或波谷的绝对值大于阈值时，才记为以有效波峰或波谷，否则将其滤除，且当检测到一个波谷时，则根据在等待时间内是否成功检测到一个有效波峰和一个有效波谷，判定是否成功跳过去一个，进行跳绳计数，以区分连续的跳绳动作和跳绳中断的位置，此跳绳计数模块确保了跳绳计数的准确性和鲁棒性。
进一步，本发明中的实时计数结果显示模块，针对于跳绳视频帧图像以及对视频帧图像处理得到的跳绳计数结果进行实时的显示，以达到基于跳绳视频帧图像实时计数的效果，可以实时检测计数结果的准确性，同时确保了跳绳视频帧图像实现跳绳计数结果的直观性。
从整体上说，本发明基于人体姿态检测的实时跳绳计数方法和装置对于不同跳绳频率(快、慢)不同跳绳动作(双脚跳、单脚跳)不同跳绳角度(正面、侧面)都可以实现较为准确的实时跳绳计数结果，且有针对于考试场景中的视频进行测试，其算法性能变现良好，在智能体育考场中有良好的应用价值。
附图说明
图1为本发明基于人体姿态检测的实时跳绳计数装置结构图；
图2为本发明基于人体姿态检测的实时跳绳计数方法流程图；
图3为本发明算法应用到的BlazePose人体姿态检测器检测到的33点人体关键点信息；
图4为本发明提供的计算机设备的结构示意图。
具体实施方式
下面结合附图对本发明进行详细阐述：
实施例1
如图1所示，本发明提供的基于人体姿态检测的实时跳绳计数装置，包括以下几个功能或模块：视频采集模块、人体姿态检测模块、特征处理模块、跳绳计数模块和实时计数结果显示模块。
视频采集模块的输出端与人体姿态检测模块的输入端以及实时计数结果显示模块的输入端连接，人体姿态检测模块的输出端与特征处理模块的输入端连接，特征处理模块的输出端与跳绳计数模块的输入端连接，跳绳计数模块的输出端与实时计数结果显示模块的输入端连接。
视频采集模块，应用摄像头实时采集跳绳视频图像，用于后续跳绳计数特征提取；
人体姿态检测模块，应用人体姿态估计特征提取器提取跳绳视频帧图像中的人体姿态信息，并计算输出跳绳计数特征序列；
特征处理模块，先使用均值滤波器对跳绳计数特征序列进行滤波处理，后计算其二阶差值信息，以提取其变化速度，用于进行跳绳计数；
跳绳计数模块，基于处理后的特征序列的时序变化规律，设计跳绳计数机制实现实时跳绳计数；
实时计数结果显示模块，实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。
实施例2
如图2所示，本发明提供的基于人体姿态检测的实时跳绳计数方法，包括顺序进行的以下几个步骤：视频采集、人体姿态检测、特征处理、跳绳计数和实时计数结果显示。
在所述的视频采集时，为保证跳绳计数效果及摄像头的内置参数，选择合适的摄像头采集视频，并根据选定的摄像头型号参数经过实验获得针对选定摄像头最佳的拍摄高度、距离跳绳人员的拍摄距离等外置参数，可以实时高效的采集跳绳人员的跳绳视频帧图像，为算法的性能提供数据采集上的基础保证。按照参数安装摄像头当开始按钮启动后，进入计数倒计时同时开始启动视频采集模块，开始实时采集跳绳视频帧图像，并将视频帧图像实时传输给后续的人体姿态检测模块和实时计数结果显示模块。
在所述的人体姿态检测时，选择检测速度较快且准确率较高的Mediapipe中的人体姿态检测器BlazePose检测视频帧图像中的跳绳人体姿态，获得跳绳行为中33点人体关键点位置信息，如图3所示，图3中展示了33点人体关键点位置，并且33点人体关键点位置的高度变化随着跳绳行为的发生呈现与跳绳行为一致的明显的周期特性。针对于实际跳绳计数中，个体的跳绳动作差异，且在跳绳过程中存在的异常行为(区别于人体各部位同时随跳绳过程上下跳动的某个部位的异常变化行为，例如，抬头、低头、抬脚、抬腿等)影响关键点位置的周期性变化，在33点人体姿态关键点位置信息中提炼出来不容易受跳绳行为过程中较为容易发生的异常行为影响且与跳绳行为规律性一致的特征，即选定33点人体关键点中第11、12、23、24点关键点(即人体左、右肩部关键点和左、右跨部关键点)的高度坐标整合成跳绳计数特征t，其中整合过程如公式所示：t＝h11+h12+h23+h24，其中h11、h12、h23、h24分别为33点人体关键点中第11、12、23、24点关键点的纵坐标归一化后的值，从而实现跳绳视频帧图像的二维图像到特征值的降维处理，并输出给后续特征处理模块。在所述的特征处理时，针对于实时获取的人体姿态检测模块针对于各视频帧图像的跳绳计数特征所组成的特征序列在跳绳行为过程中的可能出现的有别于规律性变化的序列的异常值，使用均值滤波器对特征序列进行滤波处理，结合摄像头的帧率和跳绳的频率，均值滤波器的窗口选择3，在实时性处理视频帧图像时，即针对当前视频帧图像及前2帧图像计算当前图像的滤波后的跳绳计数特征值为t′。为得到尽可能的与跳绳动作具备高度一致的规律性且不易受异常行为影响的可以直接用于跳绳计数的特征序列，计算平滑处理(即均值滤波)过的特征序列的二阶差值，当前视频帧图像输出的特征值记为A1，当前视频帧图像前第一帧图像输出的特征值记为A2，当前视频帧图像前第二帧图像输出的特征值记为A3，当前计算所得二阶差值记为X，X＝A1+A3-2*A2，，其中一阶差值大小代表了特征序列的变化速度，而二阶差值大小则反应了特征序列的凹凸性，并且二阶差值可以很好的再次滤除掉异常特征值的影响，二阶差值的时序变化序列也很好的模拟了跳绳的动作变化，即二阶差值序列的最低点即为跳绳动作中的人体下降到最低处的点，二阶差值序列的最高点即为跳绳动作中人体上升到最高处的点。该特征处理过程可以模拟跳绳行为中人体的上下变化，同时可以在一定程度上消除异常行为的影响，并可以分辨出连续的跳绳行为和跳绳中断位置。
在所述的跳绳计数时，基于实时处理后的特征值所组成的特征序列，结合跳绳动作的规律性，标记特征序列的波峰波谷位置，其中根据特征处理的含义，波峰位置对应跳绳动作中人体跳到最高点的位置，波谷位置对应跳绳动作中跳完一个后的落地点位置。在实时性跳绳计数任务中，当根据前一帧图像所得到的特征值大于其前一帧图像所得到的特征值及其后一帧图像(即为当前处理帧图像)所得到的特征值时，标记为波峰；当前一帧图像所得到的特征值小于其前一帧图像所得到的特征值及其后一帧图像(即为当前处理帧图像)所得到的特征值时，标记为波谷；同时为了克服局部波峰波谷的出现，即选择特征值大于或小于前后连续2帧特征值时，才进行标记。为了区别于连续的跳绳动作中的特征序列对应的波峰波谷和跳绳动作准备调整阶段等其他行为特征序列对应的波峰波谷，需要对特征序列中的波峰波谷进行筛选，根据多类型多个体的跳绳视频实验结果显示，特征序列中的波峰或波谷的绝对值大于阈值thr＝0.011时，记为以有效波峰或波谷，否则将其滤除，即在跳绳计数过程中不做考虑。
在实时性跳绳计数过程中，考虑到人体姿态随跳绳行为的开始先下降到最低点然后起跳到最高点，再下降到最低点，所以基于视频图像的跳绳计数方法也应先检测到人体姿态下降的最低点，再检测到人体姿态上升到最高点，再至最低点则表示检测到一个完成的跳绳计数过程。因此，在实时性跳绳计数任务中，根据实时性获得的特征处理模块输出的跳绳计数特征值所组成的时序跳绳计数特征序列，当检测到一个波谷时(即为检测到人体姿态下降到最低点)，则根据在等待时间内(等待时间根据体育考试中跳绳动作的特点设置为1s)是否成功检测到一个有效波峰和一个有效波谷(根据体育考试中跳绳动作的特点有效波峰与有效波谷之间的序列差值不得超过21)，判定是否成功跳过去一个，进行跳绳计数。
为了准确的定位到跳绳中断位置，并不对其类似于跳绳的动作进行计数，当相邻两个有效波谷或相邻两个有效波峰之间的差值绝对值小于前一个波峰或波谷的4倍且大于前一个波峰或波谷的0.25倍时，才可对相邻两个有效波谷及其中间含有一个有效波峰所代表的跳绳行为进行有效的跳绳计数。针对于实时获得的特征处理模块处理后的跳绳计数特征值所组成的跳绳计数特征序列，经过设置多个计数抑制处理，即可得到准确的计数结果。计数抑制处理即前述的波峰波谷有效性判定和跳绳行为是否为成果跳过的判断。
本发明在实际的中考跳绳考试视频中进行了测试，测试结果如下表1所示，结果显示在25段不同个体的长度在50秒左右跳绳的视频中，有21段视频的跳绳计数结果与实际跳绳计数结果相差不超过1个，其余4段视频的跳绳计数结果与实际跳绳计数结果相差也不超过4个，测试结果显示，基于视频帧图像实时性的跳绳计数算法性能显著。
表1跳绳考试视频测试结果
| 测试跳绳视频 | 实际跳绳个数/个 | 测试跳绳个数/个 | 误差个数/个 |
| Test1_1 | 159 | 159 | 0 |
| Test1_2 | 158 | 158 | 0 |
| Test1_3 | 141 | 141 | 0 |
| Test1_4 | 139 | 139 | 0 |
| Test2_1 | 160 | 161 | +1 |
| Test2_2 | 123 | 126 | +3 |
| Test2_3 | 171 | 171 | 0 |
| Test3_1 | 151 | 151 | 0 |
| Test3_2 | 168 | 165 | -3 |
| Test3_3 | 166 | 167 | +1 |
| Test3_4 | 154 | 154 | 0 |
| Test3_5 | 184 | 184 | 0 |
| Test3_6 | 175 | 175 | 0 |
| Test4_1 | 188 | 189 | +1 |
| Test4_2 | 174 | 174 | 0 |
| Test4_3 | 158 | 158 | 0 |
| Test4_4 | 180 | 180 | 0 |
| Test4_5 | 145 | 145 | 0 |
| Test4_6 | 158 | 158 | 0 |
| Test5_1 | 182 | 182 | 0 |
| Test5_2 | 202 | 202 | 0 |
| Test5_3 | 172 | 172 | 0 |
| Test5_4 | 175 | 175 | 0 |
| Test5_5 | 147 | 150 | +3 |
| Test5_6 | 187 | 187 | 0 |
在所述的实时计数结果显示时，在后台程序开始运行后，实时采集到的跳绳视频帧图像和跳绳计数结果实时显示于设备终端显示器上，以供实时检验计数结果的准确性，并将视频保存到指定路径下。
实施例3
本发明提供的一种计算机设备，如图4所示，包括电连接的存储器和处理器，其中，存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述的计数方法的步骤。例如图2所示的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述计数装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计数装置可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述XXDD装置/终端设备的各种功能。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
实施例4
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.基于人体姿态检测的实时跳绳计数方法，其特征在于，包括以下步骤：
S1、实时采集跳绳视频图像，用于后续跳绳计数特征提取；
S2、提取跳绳视频图像中的人体姿态信息，并提取输出跳绳计数特征序列；
S3、先对跳绳计数特征序列进行滤波处理，然后计算其二阶差值信息，以提取跳绳计数特征序列的变化速度，用于进行跳绳计数；
S4、基于S3处理后的特征序列的时序变化规律，进行实时跳绳计数。
2.根据权利要求1所述的基于人体姿态检测的实时跳绳计数方法，其特征在于，所述S2中，基于跳绳视频帧图像，使用Mediapipe中的人体姿态检测器BlazePose实时检测跳绳视频帧图像中人体姿态信息，并根据检测到的人体姿态信息计算出与跳绳运动过程规律一致的特征序列。
3.根据权利要求1所述的基于人体姿态检测的实时跳绳计数方法，其特征在于，所述S2中，所述特征序列由特征组成，所述特征为关于人体左肩关键点、右肩部关键点、左跨部关键点和右跨部关键点的坐标的函数。
4.根据权利要求1所述的基于人体姿态检测的实时跳绳计数方法，其特征在于，所述S3中，使用均值滤波器对跳绳计数特征序列进行滤波处理。
5.根据权利要求1所述的基于人体姿态检测的实时跳绳计数方法，其特征在于，所述S4中，根据跳绳计数特征序列与跳绳变化规律的相关性，设计符合跳绳计数规则的跳绳计数机制，当处理过的特征序列满足计数要求时，对其进行跳绳计数。
6.根据权利要求1所述的基于人体姿态检测的实时跳绳计数方法，其特征在于，所述S4中，计数机制为：当检测到跳绳计数特征序列的一个波谷时，则根据在等待时间内是否成功检测到一个有效波峰和一个有效波谷，判定是否进行跳绳计数。
7.根据权利要求6所述的基于人体姿态检测的实时跳绳计数方法，其特征在于，当相邻两个有效波谷或相邻两个有效波峰之间的差值绝对值小于前一个波峰或波谷的4倍且大于前一个波峰或波谷的0.25倍时，对相邻两个有效波谷及其中间含有一个有效波峰所代表的跳绳行为进行有效的跳绳计数。
8.基于人体姿态检测的实时跳绳计数装置，其特征在于，包括：
视频采集模块，用于实时采集跳绳视频图像，用于后续跳绳计数特征提取；
人体姿态检测模块，用于提取跳绳视频帧图像中的人体姿态信息，并计算输出跳绳计数特征序列；
特征处理模块，用于对跳绳计数特征序列进行滤波处理，后计算其二阶差值信息，以提取其变化速度，用于进行跳绳计数；
跳绳计数模块，用于根据处理后的特征序列的时序变化规律，设计跳绳计数机制实现实时跳绳计数。
9.基于人体姿态检测的实时跳绳计数装置，其特征在于，还包括实时计数结果显示模块，所述实时计数结果显示模块，用于实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。
10.一种计算机设备，其特征在于，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现权利要求1-7中任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110998562.XA CN113706507B (zh) | 2021-08-27 | 2021-08-27 | 基于人体姿态检测的实时跳绳计数方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110998562.XA CN113706507B (zh) | 2021-08-27 | 2021-08-27 | 基于人体姿态检测的实时跳绳计数方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706507A true CN113706507A (zh) | 2021-11-26 |
| CN113706507B CN113706507B (zh) | 2024-04-02 |
Family
ID=78656269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110998562.XA Active CN113706507B (zh) | 2021-08-27 | 2021-08-27 | 基于人体姿态检测的实时跳绳计数方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706507B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842712A (zh) * | 2022-04-12 | 2022-08-02 | 汕头大学 | 一种基于手势识别的手语教学系统 |
| CN115601505A (zh) * | 2022-11-07 | 2023-01-13 | 广州趣丸网络科技有限公司（Cn） | 一种人体三维姿态还原方法、装置、电子设备及存储介质 |
| CN115620392A (zh) * | 2022-09-26 | 2023-01-17 | 珠海视熙科技有限公司 | 一种动作计数方法、装置、介质及健身设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180186452A1 (en) * | 2017-01-04 | 2018-07-05 | Beijing Deephi Technology Co., Ltd. | Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation |
| CN112163516A (zh) * | 2020-09-27 | 2021-01-01 | 深圳市悦动天下科技有限公司 | 跳绳计数的方法、装置及计算机存储介质 |
| CN112634400A (zh) * | 2020-12-21 | 2021-04-09 | 浙江大华技术股份有限公司 | 一种跳绳计数方法、终端及其计算机可读存储介质 |
| WO2021096669A1 (en) * | 2019-11-15 | 2021-05-20 | Microsoft Technology Licensing, Llc | Assessing a pose-based sport |
-
2021
- 2021-08-27 CN CN202110998562.XA patent/CN113706507B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180186452A1 (en) * | 2017-01-04 | 2018-07-05 | Beijing Deephi Technology Co., Ltd. | Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation |
| WO2021096669A1 (en) * | 2019-11-15 | 2021-05-20 | Microsoft Technology Licensing, Llc | Assessing a pose-based sport |
| CN112163516A (zh) * | 2020-09-27 | 2021-01-01 | 深圳市悦动天下科技有限公司 | 跳绳计数的方法、装置及计算机存储介质 |
| CN112634400A (zh) * | 2020-12-21 | 2021-04-09 | 浙江大华技术股份有限公司 | 一种跳绳计数方法、终端及其计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 陈昱昆;汪正祥;于莲芝;: "轻量级双路卷积神经网络与帧间信息推理的人体姿态估计", 小型微型计算机系统, no. 10 * |
| 魏燕欣;范秀娟;: "基于GMM的人体运动姿态的追踪与识别", 北京服装学院学报(自然科学版), no. 02 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842712A (zh) * | 2022-04-12 | 2022-08-02 | 汕头大学 | 一种基于手势识别的手语教学系统 |
| CN114842712B (zh) * | 2022-04-12 | 2023-10-17 | 汕头大学 | 一种基于手势识别的手语教学系统 |
| CN115620392A (zh) * | 2022-09-26 | 2023-01-17 | 珠海视熙科技有限公司 | 一种动作计数方法、装置、介质及健身设备 |
| CN115601505A (zh) * | 2022-11-07 | 2023-01-13 | 广州趣丸网络科技有限公司（Cn） | 一种人体三维姿态还原方法、装置、电子设备及存储介质 |
| CN115601505B (zh) * | 2022-11-07 | 2023-03-14 | 广州趣丸网络科技有限公司 | 一种人体三维姿态还原方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706507B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706507A (zh) | 基于人体姿态检测的实时跳绳计数方法、装置和设备 | |
| US6141434A (en) | Technique for processing images | |
| US6556708B1 (en) | Technique for classifying objects within an image | |
| US11875558B2 (en) | Methods and apparatus to generate temporal representations for action recognition systems | |
| US9984154B2 (en) | Systems and methods for analyzing time series data based on event transitions | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| CN107220596B (zh) | 基于级联纠错机制的人体姿态估计方法 | |
| Afshar et al. | Investigation of event-based surfaces for high-speed detection, unsupervised feature extraction, and object recognition | |
| US6421462B1 (en) | Technique for differencing an image | |
| CN113743273B (zh) | 基于视频图像目标检测的实时跳绳计数方法、装置和设备 | |
| CN110781733B (zh) | 图像去重方法、存储介质、网络设备和智能监控系统 | |
| CN109544592A (zh) | 针对相机移动的运动目标检测算法 | |
| Heinrich et al. | Robust and sensitive video motion detection for sleep analysis | |
| Zhu et al. | Action recognition in broadcast tennis video | |
| CN109784230A (zh) | 一种人脸视频图像质量寻优方法、系统及设备 | |
| CN113902084A (zh) | 运动计数方法、装置、电子设备及计算机存储介质 | |
| Nawaz et al. | PFT: A protocol for evaluating video trackers | |
| Teng et al. | Detection of service activity in a badminton game | |
| Yoshinaga et al. | Real-time people counting using blob descriptor | |
| CN103096117A (zh) | 视频噪声检测方法及装置 | |
| Zecha et al. | Swimmer detection and pose estimation for continuous stroke-rate determination | |
| CN112800908B (zh) | 一种基于视频中个体步态分析的焦虑感知模型的建立方法 | |
| Reno et al. | Tennis player segmentation for semantic behavior analysis | |
| WO2020116129A1 (ja) | 前処理装置、前処理方法及び前処理プログラム | |
| CN113297883A (zh) | 信息处理方法、分析模型的获得方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |