CN112634400B - 一种跳绳计数方法、终端及其计算机可读存储介质 - Google Patents

一种跳绳计数方法、终端及其计算机可读存储介质 Download PDF

Info

Publication number
CN112634400B
CN112634400B CN202011520078.8A CN202011520078A CN112634400B CN 112634400 B CN112634400 B CN 112634400B CN 202011520078 A CN202011520078 A CN 202011520078A CN 112634400 B CN112634400 B CN 112634400B
Authority
CN
China
Prior art keywords
human body
rope skipping
counting method
rope
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011520078.8A
Other languages
English (en)
Other versions
CN112634400A (zh
Inventor
潘华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011520078.8A priority Critical patent/CN112634400B/zh
Publication of CN112634400A publication Critical patent/CN112634400A/zh
Application granted granted Critical
Publication of CN112634400B publication Critical patent/CN112634400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跳绳计数方法、终端及其计算机可读存储介质，该跳绳计数方法包括：获取当前视频帧；对当前视频帧进行人体目标检测跟踪得到至少一个人体目标，至少部分人体目标具有关联的历史数据；对至少部分人体目标进行关键点检测得到多个人体关键点；利用人体关键点及对应的人体目标关联的历史数据绘制指定参数的波形图；基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。本发明提供的跳绳计数方法通过检测人体目标的多个人体关键点并绘制相应波形图，基于波形图有效滤除假跳、踩绳等不规范的跳绳动作，进而提升跳绳计数的准确性。

Description

一种跳绳计数方法、终端及其计算机可读存储介质
技术领域
本发明涉及视频检测技术领域，特别是涉及一种跳绳计数方法、终端及其计算机可读存储介质。
背景技术
跳绳是一种深受人们喜爱的体育运动，经常出现在娱乐、比赛以及学校体育考核等场合。但在跳绳过程中，通常需要参与者或者裁判人为的计数，容易出现计数错误的现象，并且无法回溯。
目前采取的智能计数方法主要包括使用带有机械结构或电子传感器的跳绳计数手柄或者具有触压开关式的地毯，这种计数方式是在跳绳器材上实现的，需要购买大量具有此类功能的跳绳器材；另一种方法是使用可穿戴腕式的智能设备，包括智能手环、智能手表等，利用这些智能设备中的运动传感器进行判断，上述两种方法在跳绳动作规范的情况下效果较好，但是无法准确判断晃动胳膊、踮脚等假动作；目前还有基于计算机视觉进行跳绳计数的方法，主要利用人在跳绳过程中身体位置或人脸位置的高低变化来实现的，这种方法要求人员必须在原地跳绳，不能做前后左右水平移动，并且无法有效判断踩绳、没跳过去等无效动作。
发明内容
本发明主要解决的技术问题是提供一种跳绳计数方法、终端及其计算机可读存储介质，解决现有技术中计数方式不准确的问题。
为解决上述技术问题，本发明采用的第一个技术方案是：一种跳绳计数方法，该跳绳计数方法包括：获取当前视频帧；对当前视频帧进行人体目标检测跟踪得到至少一个人体目标，至少部分人体目标具有关联的历史数据；对至少部分人体目标进行关键点检测得到多个人体关键点；利用人体关键点及对应的人体目标关联的历史数据绘制指定参数的波形图；基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。
其中，指定参数包括手腕高度，手臂与躯干的夹角和脚踝位置中的至少两种。
其中，基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数的步骤具体包括：判断指定参数的波形图是否满足时域条件和频域条件；若指定参数的波形图满足时域条件和频域条件，则判断当前视频帧中的人体关键点是否满足计数条件；若满足，则将关联人员的跳绳次数加1，否则不修改关联人员的跳绳次数。
其中，时域条件包括手腕高度与夹角的波峰和波谷一致、手腕高度/夹角达到波峰之后的指定数量帧内脚踝位置处于波谷、手腕高度/夹角达到波谷之后的指定数量帧内脚踝位置达到波峰中的至少一种；频域条件包括在预设频率范围内存在峰值且峰值大于预设阈值；计数条件包括在波形图中当前视频帧与上次计数成功的帧之间已有一个完整的跳绳周期。
其中，对至少部分人体目标进行关键点检测得到多个人体关键点的步骤具体包括：从人体目标中筛选出满足第一预设条件的人体目标进行关键点检测。
其中，满足第一预设条件的人体目标的尺寸和位置在预定范围内。
其中，历史数据的最大长度由视频帧率和跳绳的预估速度确定。
其中，利用当前视频帧的人体关键点对关联的历史数据进行更新。
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种跳绳计数方法，该跳绳计数方法包括：获取待处理视频，待处理视频包括第一数量个视频帧；对待处理视频进行人体目标检测跟踪得到至少一条人体轨迹，人体轨迹包括第二数量个视频帧中的人体目标；对于每个人体轨迹，对其中的至少部分人体目标进行关键点检测得到多个人体关键点；利用人体关键点绘制指定参数的波形图；基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。
其中，指定参数包括手腕高度，手臂与躯干的夹角和脚踝位置中的至少两种。
其中，基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数的步骤具体包括：判断指定参数的波形图是否存在满足时域条件和频域条件的部分；若存在，则统计满足时域条件和频域条件的部分中的跳绳周期数量作为跳绳的计数结果。
其中，时域条件包括手腕高度与夹角的波峰和波谷一致、手腕高度/夹角达到波峰之后的指定数量帧内脚踝位置处于波谷、手腕高度/夹角达到波谷之后的指定数量帧内脚踝位置达到波峰中的至少一种；频域条件包括在预设频率范围内存在峰值且峰值大于预设阈值。
其中，对其中的至少部分人体目标进行关键点检测得到多个人体关键点的步骤具体包括：从人体轨迹中筛选出满足第一预设条件的人体目标进行关键点检测。
其中，满足第一预设条件的人体目标的尺寸和位置在预定范围内。
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于实现如上述跳绳计数方法中的步骤。
为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述跳绳计数方法中的步骤。
本发明的有益效果是：区别于现有技术的情况，提供的一种跳绳计数方法、终端及其计算机可读存储介质，该跳绳计数方法包括：获取当前视频帧；对当前视频帧进行人体目标检测跟踪得到至少一个人体目标，至少部分人体目标具有关联的历史数据；对至少部分人体目标进行关键点检测得到多个人体关键点；利用人体关键点及对应的人体目标关联的历史数据绘制指定参数的波形图；基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。本发明提供的跳绳计数方法通过检测人体目标的多个人体关键点并绘制相应波形图，基于波形图有效滤除假跳、踩绳等不规范的跳绳动作，进而提升跳绳计数的准确性。
附图说明
图1是本发明提供的适用于在线处理的跳绳计数方法一实施例的流程示意图；
图2是图1提供的跳绳计数方法中步骤S15一具体实施例的流程示意图；
图3是根据人体关键点手腕高度，手臂与躯干的夹角和脚踝位置绘制的一实施例的波形图；
图4是根据人体关键点手腕高度，手臂与躯干的夹角和脚踝位置绘制的另一实施例的波形图；
图5是图4提供的人体关键点手腕高度，手臂与躯干的夹角和脚踝位置的频谱图；
图6是本发明提供的适用于离线处理的跳绳计数方法一实施例的流程示意图；
图7是图6提供的跳绳计数方法中步骤S25一具体实施例的流程示意图；
图8是本申请终端一实施方式的示意框图；
图9是本申请计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种目标跟踪方法做进一步详细描述。
请参阅图1，图1是本发明提供的适用于在线处理的跳绳计数方法一实施例的流程示意图。为了便于描述，本申请实施例以终端作为执行主体进行描述，应理解，该跳绳计数方法的执行主体并不仅限于终端，还可以应用于终端设备等具备图像处理功能的设备。本实施例中的跳绳计数方法针对于实时采集的视频进行处理，即该方法适用于在线处理。该方法的具体步骤描述如下。
S11：获取当前视频帧。
具体地，该当前视频帧为实时采集的跳绳视频流中当前处理的一帧。为保证计数的实时性，当前视频帧可以为跳绳视频流中的最后一帧，或者与最后一帧之间的时间差在一定范围内。可以对视频流中的每一帧或者每n帧抽取一帧执行本实施例的跳绳计数方法，具体可以根据实时性的要求以及系统处理能力而定。其中，当前视频帧包括至少一个人体目标。在一具体实施例中，在获取当前视频帧之前，对需要进行跳绳计数的人体目标的信息进行录入。人体目标的信息包括人体目标的面部图像、人体目标的尺寸和位置等。
S12：对当前视频帧进行人体目标检测跟踪得到至少一个人体目标，至少部分人体目标具有关联的历史数据。
具体地，利用人体检测模型对上述获取的当前视频帧进行检测得到目标框，每个目标框包含一个人体目标。利用人体目标检测模型可以获取当前视频帧中至少一个人体目标的位置和置信度。对于每个人体目标，采用人体跟踪算法确定在当前视频帧之前的历史视频帧中是否存在该人体目标的踪迹。若存在，则将当前视频帧中的人体目标与轨迹关联起来。为节省存储空间，轨迹可以以历史数据的方式存储，历史数据可以包括该人体目标在至少一个历史视频帧中的人体关键点。历史数据的最大长度由视频帧率和跳绳的预估速度确定。具体地，历史数据的最大长度转换成时长后包括多个跳绳的预估周期。
S13：对至少部分人体目标进行关键点检测得到多个人体关键点。
具体地，利用关键点检测模型对至少部分人体目标进行检测得到多个人体关键点。其中，关键点可以包括肩膀、手肘、手腕、脚踝、膝盖等身体部位的信息。具体检测并采集人体目标的人体关键点的参数以及相应的置信度。为便于描述，以下将当前视频帧中进行关键点检测的人体目标称为检测人体目标。
在一可选实施例中，从S12检测得到的人体目标中筛选出满足第一预设条件的人体目标进行关键点检测。在一具体实施例中，满足第一预设条件的人体目标的尺寸和位置在预定范围内，从而剔除过小或者边缘的人体目标。此外，第一预设条件可以包括人脸信息匹配成功，具体可以将检测的人体目标的人脸信息与预存的人脸信息进行比对，如果检测的人脸信息与预存的人脸信息相匹配，则对该人体目标进行关键点检测，从而实现对人体目标的筛选，剔除不需要跳绳计数的人体目标。当然，在其他实施例中，可以对当前视频帧中的所有人体目标进行关键点检测。
S14：利用人体关键点及对应的人体目标关联的历史数据绘制指定参数的波形图。
为每个检测人体目标执行S14和S15。具体地，根据当前视频帧中各检测人体目标的人体关键点以及关联的历史数据绘制指定参数的波形图。其中，指定参数包括手腕高度，手臂与躯干的夹角和脚踝位置中的至少两种。指定参数可以根据人体关键点的参数计算得到。例如，手腕高度可以为手腕关键点与手肘关键点/人体目标框下边缘之间的高度差，手臂与躯干的夹角可以为手肘-手腕连线与躯干(可以由肩-胯连线定义)之间的夹角，脚踝位置可以为脚踝关键点的坐标。
在一可选实施例中，在绘制波形图之前，可以对历史数据进行滤波，检测和删除异常点，对于被删除的异常点，可以利用历史数据中前一帧的对应关键点进行补充，例如将异常点直接替换为前一帧的对应关键点，或者结合后一帧的对应关键点进行插值计算并将异常点替换为插值计算结果。
S15：基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。
为便于对比，可以将所有指定参数的波形绘制到一张图中进行判断；或者分别为每种指定参数独立绘制波形图。
在一可选实施例中，可以通过傅里叶变换将上述的波形图转换成频谱图。结合波形图以及转换的频谱图检测是否完成一次跳绳动作，可以提高跳绳计数的准确性。
具体地，请参阅图2，图2是图1提供的跳绳计数方法中步骤S15一具体实施例的流程示意图。步骤S15可以包括如下子步骤：
S151：判断指定参数的波形图是否满足时域条件和频域条件。
若人员在做规范的跳绳运动时，手臂会做往复的摇摆运动，反映在理想的波形图中，手腕高度和手臂夹角会呈现周期性先变大、再变小的情况；脚踝高度也满足上述的循环变化的过程。如图3所示，图3是根据人体关键点手腕高度，手臂与躯干的夹角和脚踝位置绘制的一实施例的波形图。当手臂摆动到最大角度时，对应手腕高度会达到最高，此时绳子摇到人头上方，人员处于上一次跳绳双脚落地过程，脚踝位置有由大到小的趋势；当手臂摆动到最小角度时，对应手腕高度会位于最低点，此时绳子落在地面，随后1-2帧人员双脚离地，对应脚踝高度达到最高。参考上述分析，时域条件包括手腕高度与夹角的波峰和波谷一致、手腕高度/夹角达到波峰之后的指定数量帧内脚踝位置处于波谷、手腕高度/夹角达到波谷之后的指定数量帧内脚踝位置达到波峰中的至少一种。
请参阅图4和图5，图4是根据人体关键点手腕高度，手臂与躯干的夹角和脚踝位置的绘制的另一实施例的波形图；图5是图4提供的人体关键点手腕高度，手臂与躯干的夹角和脚踝位置的频谱图。为防止时域上满足上述时域条件的杂乱无章的运动带来的误检，可以使用傅里叶变换将波形图转换到频域，得到频谱图。频谱图的横坐标表示频率分量，纵坐标表示频率分量对应的幅值。跳绳运动发生时，指定参数的时域信号会呈现周期性变化，表现为较接近某个频率ω0的正弦曲线；对应频谱图上就会在某个频率ω0附近出现一个较大的峰值。具体地频域条件可以包括在预设频率范围内存在峰值且峰值大于预设阈值，预设频率范围可以根据跳绳运动的预估频率确定，预设阈值可以根据实验确定。
为减少计算量，可以在得到频谱图后，先判断波形图是否满足时域条件/频谱图是否满足频域条件，若满足，则继续判断另一个，不满足，则放弃后续判断直接确认当前视频帧中对应检测人体目标的关联人员的跳绳次数保持不变。
此外，为进一步减少计算量，可以先判断波形图是否满足时域条件，若满足，则进行傅里叶变换得到频谱图，并判断频谱图是否满足频域条件，不满足则不进行傅里叶变换直接确认当前视频帧中对应检测人体目标的关联人员的跳绳次数保持不变。
当指定参数的波形图满足时域条件和频域条件，则跳转至步骤S152；当指定参数的波形图不满足时域条件或频域条件，则跳转至步骤S154。
S152：判断当前视频帧中的人体关键点是否满足计数条件。
由于本实施例是实时对跳绳进行计数，在确定当前帧中某个人体目标的关联人员是在做跳绳运动的情况下，并不能直接把该关联人员的跳绳次数加1，而是要进一步判断是否满足计数条件，正常情况下一个跳绳周期中只有一帧满足计数条件。计数条件可以包括在波形图中当前视频帧与上一次计数成功(即跳绳次数加1)的视频帧之间已有一个完整的跳绳周期。例如，计数条件可以为与上一次计数成功的视频帧之间存在一个波峰和一个波谷，并且二者均处于刚过中线的上升沿。
如果当前视频帧中的关键点的指定参数与上一次计数成功的视频帧中的相应指定参数之间形成了一个完整的跳绳循环周期，则直接跳转至S153；如果当前视频帧中的关键点的指定参数与上一次计数成功的视频帧中的相应指定参数之间还没有形成一个完整的跳绳循环周期，则直接跳转至S154。
S153：将关联人员的跳绳次数加1。
具体地，当前视频帧中的人体关键点满足计数条件，即当前视频帧中的关键点的指定参数与上一次计数成功的视频帧中的相应指定参数之间形成了一个完整的跳绳循环周期，则对该人体目标的跳绳次数加1。在另一可选实施例中，利用当前视频帧的人体关键点对关联的历史数据进行更新。
S154：不修改关联人员的跳绳次数。
具体地，当前视频帧中的人体关键点没有满足计数条件，即当前视频帧中的关键点的指定参数与上一次计数成功的视频帧中的相应指定参数之间还没有形成一个完整的跳绳循环周期，则不修改该人体目标的跳绳次数。
可选地，波形图绘制完成后，可以利用当前视频帧的人体关键点对关联的历史数据进行更新，即更新人体轨迹。更新的方式是将当前视频帧的人体关键点填入关联的历史数据，若历史数据已达到最大长度，则删除其中最靠前一帧的关键点，也就是说，历史数据可以以先入先出的方式存储在固定大小(由最大长度确定)的缓存中。
本实施例中的跳绳计数方法可以针对单人的跳绳进行计数，也可以针对多人的跳绳进行计数。针对多人的跳绳计数完成后还可以生成相应的榜单，使跳绳人员可以快速知晓其名次。同时通过该方法中的视频帧率和至少一个跳绳周期可以计算跳绳速度和频率进而形成相应的统计报告。
本实施例中一种跳绳计数方法包括：获取当前视频帧；对当前视频帧进行人体目标检测跟踪得到至少一个人体目标，至少部分人体目标具有关联的历史数据；对至少部分人体目标进行关键点检测得到多个人体关键点；利用人体关键点及对应的人体目标关联的历史数据绘制指定参数的波形图；基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。本发明提供的跳绳计数方法通过检测人体目标的多个人体关键点并绘制相应波形图，基于波形图有效滤除假跳、踩绳等不规范的跳绳动作，进而提升跳绳计数的准确性。且本实施例中提出的基于视频实现跳绳计数，不依赖外部设备，可实现多人同时测量，测量结果可回溯。
请参阅图6，图6是本发明提供的适用于离线处理的跳绳计数方法一实施例的流程示意图。为了便于描述，本申请实施例以终端作为执行主体进行描述，应理解，该跳绳计数方法的执行主体并不仅限于终端，还可以应用于终端设备等具备图像处理功能的设备。本实施例中的跳绳计数方法针对于录制完成的一段视频进行处理，即该方法适用于离线处理。该方法的具体步骤描述如下。
S21：获取待处理视频，待处理视频包括第一数量个视频帧。
具体地，待处理视频为提前录制完成的一段视频。在一具体实施例中，第一数量个视频帧为完成至少一个完整跳绳动作的所有视频帧或者从完成至少一个完整跳绳动作的视频中抽取的视频帧。其中，视频帧中包括至少一个人体目标。在一具体实施例中，在获取待处理视频之前，对需要进行跳绳计数的人体目标的信息进行录入。人体目标的信息包括人体目标的面部图像、人体目标的尺寸和位置等。
S22：对待处理视频进行人体目标检测跟踪得到至少一条人体轨迹，人体轨迹包括第二数量个视频帧中的人体目标。
具体地，利用人体检测模型对上述获取的待处理视频中第一数量个视频帧进行检测得到目标框，每个目标框包含一个人体目标。利用人体目标检测模型可以获取视频帧中至少一个人体目标的位置和置信度。对于每个人体目标，采用人体跟踪算法确定在待处理视频中的其他视频帧是否存在该人体目标的踪迹。若存在，则将该视频帧中的人体目标与其他视频帧中同一人体目标的位置关联起来，根据视频帧的时间次序建立不同视频帧中相同人体目标的人体轨迹。人体轨迹包括第二数量个视频帧中的人体目标。第二数量个视频帧中均包含该人体目标。可以将该人体目标与包含该人体目标的第二数量个视频帧对应存储，方便后续操作。其中，第一数量大于第二数量。
S23：对于每个人体轨迹，对其中的至少部分人体目标进行关键点检测得到多个人体关键点。
具体地，利用关键点检测模型对至少部分人体目标进行检测得到多个人体关键点。其中，关键点可以包括肩膀、手肘、手腕、脚踝、膝盖等身体部位的信息。具体检测并采集人体目标的人体关键点的参数以及相应的置信度。为便于描述，以下将待处理视频中进行关键点检测的人体目标称为检测人体目标。
在一可选实施例中，从S22检测得到的人体目标中筛选出满足第一预设条件的人体目标进行关键点检测。在一具体实施例中，满足第一预设条件的人体目标的尺寸和位置在预定范围内，从而剔除过小或者边缘的人体目标。此外，第一预设条件可以为包括人脸信息匹配成功，具体可以将检测的人体目标的人脸信息与预存的人脸信息进行比对，如果检测的人脸信息与预存的人脸信息相匹配，则可以对该人体目标在对应的人体轨迹中的关键点进行检测，获取关键点、相应置信度以及关键点数据，从而实现对人体目标的筛选，剔除不需要跳绳计数的人体目标。当然，在其他实施例中，可以对所有人体目标各自对应的人体轨迹进行关键点检测。
S24：利用人体关键点绘制指定参数的波形图。
为每个检测人体目标执行S24和S25。具体地，根据待处理视频中各检测人体目标的人体关键点绘制指定参数的波形图。其中，指定参数包括手腕高度，手臂与躯干的夹角和脚踝位置中的至少两种。指定参数可以根据人体关键点的参数计算得到。例如，手腕高度可以为手腕关键点与手肘关键点/人体目标框下边缘之间的高度差，手臂与躯干的夹角可以为手肘-手腕连线与躯干(可以由肩-胯连线定义)之间的夹角，脚踝位置可以为脚踝关键点的坐标。
在一可选实施例中，在绘制波形图之前，可以对人体目标对应的人体轨迹的数据进行滤波，检测和删除异常点，对于被删除的异常点，可以利用前一帧的对应关键点进行补充，例如将异常点直接替换为前一帧的对应关键点，或者结合后一帧的对应关键点进行插值计算并将异常点替换为插值计算结果。
S25：基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。
为便于对比，可以将所有指定参数的波形绘制到一张图中进行判断；或者分别为每种指定参数独立绘制波形图。
在一可选实施例中，可以通过傅里叶变换将上述的波形图转换成频谱图。结合波形图以及转换的频谱图检测是否完成一次跳绳动作，可以提高跳绳计数的准确性。
具体地，请参阅图7，图7是图6提供的跳绳计数方法中步骤S25一具体实施例的流程示意图。步骤S25可以包括如下子步骤：
S251：判断指定参数的波形图是否存在满足时域条件和频域条件的部分。
若人员在做规范的跳绳运动时，手臂会做往复的摇摆运动，反映在理想的波形图中，手腕高度和手臂夹角会呈现周期性先变大、再变小的情况；脚踝高度也满足上述的循环变化的过程。如图3所示，当手臂摆动到最大角度时，对应手腕高度会达到最高，此时绳子摇到人头上方，人员处于上一次跳绳双脚落地过程，脚踝位置有由大到小的趋势；当手臂摆动到最小角度时，对应手腕高度会位于最低点，此时绳子落在地面，随后1-2帧人员双脚离地，对应脚踝高度达到最高。参考上述分析，时域条件包括手腕高度与夹角的波峰和波谷一致、手腕高度/夹角达到波峰之后的指定数量帧内脚踝位置处于波谷、手腕高度/夹角达到波谷之后的指定数量帧内脚踝位置达到波峰中的至少一种。
请参阅图4和图5，为防止时域上满足上述时域条件的杂乱无章的运动带来的误检，可以使用傅里叶变换将波形图转换到频域，得到频谱图。频谱图的横坐标表示频率分量，纵坐标表示频率分量对应的幅值。跳绳运动发生时，指定参数的时域信号会呈现周期性变化，表现为较接近某个频率ω0的正弦曲线；对应频谱图上就会在某个频率ω0附近出现一个较大的峰值。具体地，频域条件可以包括在预设频率范围内存在峰值且峰值大于预设阈值，预设频率范围可以根据跳绳运动的预估频率确定，预设阈值可以根据实验确定。
为减少计算量，可以在得到频谱图后，先判断波形图是否满足时域条件/频谱图是否满足频域条件，若满足，则继续判断另一个，不满足，则放弃后续判断直接确认待处理视频中对应检测人体目标的关联人员的跳绳次数保持不变。
此外，为进一步减少计算量，可以先判断波形图是否满足时域条件，若满足，则进行傅里叶变换得到频谱图，并判断频谱图是否满足频域条件，不满足则不进行傅里叶变换直接确认待处理视频中对应检测人体目标的跳绳动作不记次数。
当指定参数的波形图满足时域条件和频域条件，则跳转至步骤S252；当指定参数的波形图不满足时域条件或频域条件，则跳转至步骤S253。
S252：统计满足时域条件和频域条件的部分中的跳绳周期数量作为跳绳的计数结果。
由于本实施例是离线对跳绳进行计数，可以统计满足时域条件和频域条件的完整的跳绳周期数量，将该跳绳周期作为跳绳的计数结果。例如，完整的跳绳周期包括一个波峰和一个波谷。
S253：不计入跳绳次数。
具体地，指定参数的波形图不满足时域条件或频域条件，则将不满足时域条件或不满足频域条件的跳绳周期不作为人体目标的跳绳计数结果。
本实施例中的跳绳计数方法可以针对单人的跳绳进行计数，也可以针对多人的跳绳进行计数。针对多人的跳绳计数还可以生成相应的榜单，使跳绳人员可以快速知晓其名次。同时通过该方法中的视频帧率和至少一个跳绳周期可以计算跳绳速度和频率进而形成相应的统计报告。
本实施例中一种跳绳计数方法包括：获取待处理视频，待处理视频包括第一数量个视频帧；对待处理视频进行人体目标检测跟踪得到至少一条人体轨迹，人体轨迹包括第二数量个视频帧中的人体目标；对于每个人体轨迹，对其中的至少部分人体目标进行关键点检测得到多个人体关键点；利用人体关键点绘制指定参数的波形图；基于指定参数的波形图对对应的人体目标的关联人员的跳绳动作进行计数。本发明提供的跳绳计数方法通过检测人体目标的多个人体关键点并绘制相应波形图，基于波形图有效滤除假跳、踩绳等不规范的跳绳动作，进而提升跳绳计数的准确性。且本实施例中提出的基于视频实现跳绳计数，不依赖外部设备，可实现多人同时测量，测量结果可回溯。
参阅图8，图8是本申请终端一实施方式的示意框图。如图8所示，该实施方式的终端80包括：处理器81、存储器82以及存储在存储器82中并可在处理器81上运行的计算机程序该计算机程序被处理器81执行时实现上述目标跟踪方法，为避免重复，此处不一一赘述。
参阅图9，图9是本申请计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本申请实施方式提供的任一项目标跟踪方法。
其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种跳绳计数方法，其特征在于，所述跳绳计数方法包括：
获取当前视频帧；
对所述当前视频帧进行人体目标检测跟踪得到至少一个人体目标，至少部分所述人体目标具有关联的历史数据；
对至少部分所述人体目标进行关键点检测得到多个人体关键点；
利用所述人体关键点及对应的所述人体目标关联的所述历史数据绘制指定参数的波形图；其中，所述指定参数包括手腕高度，手臂与躯干的夹角和脚踝位置中的至少两种；所述手腕高度为手腕关键点与手肘关键点/人体目标框下边缘之间的高度差；所述手臂与躯干的夹角为手肘-手腕连线与躯干之间的夹角；
基于所述指定参数的波形图对对应的所述人体目标的关联人员的跳绳动作进行计数。
2.根据权利要求1所述的跳绳计数方法，其特征在于，
所述基于所述指定参数的波形图对对应的所述人体目标的关联人员的跳绳动作进行计数的步骤具体包括：
判断所述指定参数的波形图是否满足时域条件和频域条件；
若所述指定参数的波形图满足所述时域条件和所述频域条件，则判断所述当前视频帧中的所述人体关键点是否满足计数条件；
若满足，则将所述关联人员的跳绳次数加1，否则不修改所述关联人员的跳绳次数。
3.根据权利要求2所述的跳绳计数方法，其特征在于，
所述时域条件包括所述手腕高度与所述夹角的波峰和波谷一致、所述手腕高度/所述夹角达到波峰之后的指定数量帧内所述脚踝位置处于波谷、所述手腕高度/所述夹角达到波谷之后的指定数量帧内所述脚踝位置达到波峰中的至少一种；
所述频域条件包括在预设频率范围内存在峰值且所述峰值大于预设阈值；
所述计数条件包括在所述波形图中所述当前视频帧与上次计数成功的帧之间已有一个完整的跳绳周期。
4.根据权利要求1所述的跳绳计数方法，其特征在于，
所述对至少部分所述人体目标进行关键点检测得到多个人体关键点的步骤具体包括：
从所述人体目标中筛选出满足第一预设条件的人体目标进行关键点检测。
5.根据权利要求4所述的跳绳计数方法，其特征在于，
所述满足第一预设条件的所述人体目标的尺寸和位置在预定范围内。
6.根据权利要求1所述的跳绳计数方法，其特征在于，
所述历史数据的最大长度由视频帧率和跳绳的预估速度确定。
7.根据权利要求1所述的跳绳计数方法，其特征在于，所述跳绳计数方法进一步包括：
利用所述当前视频帧的人体关键点对所述关联的历史数据进行更新。
8.一种跳绳计数方法，其特征在于，所述跳绳计数方法包括：
获取待处理视频，所述待处理视频包括第一数量个视频帧；
对所述待处理视频进行人体目标检测跟踪得到至少一条人体轨迹，所述人体轨迹包括第二数量个所述视频帧中的人体目标；
对于每个所述人体轨迹，对其中的至少部分所述人体目标进行关键点检测得到多个人体关键点；
利用所述人体关键点绘制指定参数的波形图；其中，所述指定参数包括手腕高度，手臂与躯干的夹角和脚踝位置中的至少两种；所述手腕高度为手腕关键点与手肘关键点/人体目标框下边缘之间的高度差；所述手臂与躯干的夹角为手肘-手腕连线与躯干之间的夹角；
基于所述指定参数的波形图对对应的所述人体目标的关联人员的跳绳动作进行计数。
9.根据权利要求8所述的跳绳计数方法，其特征在于，
所述基于所述指定参数的波形图对对应的所述人体目标的关联人员的跳绳动作进行计数的步骤具体包括：
判断所述指定参数的波形图是否存在满足时域条件和频域条件的部分；
若存在，则统计所述满足时域条件和频域条件的部分中的跳绳周期数量作为跳绳的计数结果。
10.根据权利要求9所述的跳绳计数方法，其特征在于，
所述时域条件包括所述手腕高度与所述夹角的波峰和波谷一致、所述手腕高度/所述夹角达到波峰之后的指定数量帧内所述脚踝位置处于波谷、所述手腕高度/所述夹角达到波谷之后的指定数量帧内所述脚踝位置达到波峰中的至少一种；
所述频域条件包括在预设频率范围内存在峰值且所述峰值大于预设阈值。
11.根据权利要求8所述的跳绳计数方法，其特征在于，
所述对其中的至少部分所述人体目标进行关键点检测得到多个人体关键点的步骤具体包括：
从所述人体轨迹中筛选出满足第一预设条件的人体目标进行关键点检测。
12.根据权利要求11所述的跳绳计数方法，其特征在于，
所述满足第一预设条件的人体目标的尺寸和位置在预定范围内。
13.一种终端，其特征在于，所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序，所述处理器用于实现如权利要求1～7任一项所述跳绳计数方法中的步骤；或实现如权利要求8～12任一项所述跳绳计数方法中的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～7任一项所述跳绳计数方法中的步骤；或实现如权利要求8～12任一项所述跳绳计数方法中的步骤。
CN202011520078.8A 2020-12-21 2020-12-21 一种跳绳计数方法、终端及其计算机可读存储介质 Active CN112634400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011520078.8A CN112634400B (zh) 2020-12-21 2020-12-21 一种跳绳计数方法、终端及其计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011520078.8A CN112634400B (zh) 2020-12-21 2020-12-21 一种跳绳计数方法、终端及其计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112634400A CN112634400A (zh) 2021-04-09
CN112634400B true CN112634400B (zh) 2024-06-25

Family

ID=75321937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011520078.8A Active CN112634400B (zh) 2020-12-21 2020-12-21 一种跳绳计数方法、终端及其计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112634400B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378713B (zh) * 2021-06-10 2023-08-29 平安科技（深圳）有限公司 跳跃计数方法、装置、终端设备及存储介质
CN113440789B (zh) * 2021-06-29 2022-01-18 北京科技大学 一种多人跳绳测试智能计数方法及系统
CN113469113A (zh) * 2021-07-19 2021-10-01 浙江大华技术股份有限公司 动作计数方法、装置、电子设备和存储介质
CN113706507B (zh) * 2021-08-27 2024-04-02 西安交通大学 基于人体姿态检测的实时跳绳计数方法、装置和设备
CN113689457A (zh) * 2021-10-26 2021-11-23 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、计算机设备及计算机可读存储介质
CN114139669A (zh) * 2021-11-19 2022-03-04 歌尔科技有限公司 一种跳绳计数方法、装置及其介质
CN114463784A (zh) * 2022-01-26 2022-05-10 开望(杭州)科技有限公司 一种基于视频-音频多模态深度学习的多人跳绳分析方法
CN114821717B (zh) * 2022-04-20 2024-03-12 北京百度网讯科技有限公司 目标对象融合方法、装置、电子设备及存储介质
CN117079192B (zh) * 2023-10-12 2024-01-02 东莞先知大数据有限公司 一种人员被遮挡时跳绳个数估算方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210360A (zh) * 2019-05-24 2019-09-06 浙江大学 一种基于视频图像目标识别的跳绳计数方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160015808A (ko) * 2014-07-31 2016-02-15 (주)팜스포 무선 줄넘기 장치를 이용한 생체정보 획득 및 이를 통한 운동관리 방법
TWI636403B (zh) * 2016-03-24 2018-09-21 晶睿通訊股份有限公司 人流計數之驗證方法、系統及電腦可讀取儲存媒體
US11484752B2 (en) * 2019-03-26 2022-11-01 Zhejiang University Jump counting method for jump rope
CN109939432B (zh) * 2019-03-26 2020-08-25 浙江大学 一种智能跳绳计数方法
CN110152273B (zh) * 2019-05-24 2020-08-25 浙江大学 一种基于智能目标识别的跳绳计数方法
CN111881705B (zh) * 2019-09-29 2023-12-12 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN110674785A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于人体关键点跟踪的多人姿态分析方法
CN111401188B (zh) * 2020-03-10 2023-10-31 清华大学 一种基于人体关键点特征的交警手势识别方法
CN111523408B (zh) * 2020-04-09 2023-09-15 北京百度网讯科技有限公司 动作捕捉方法和装置
CN111701216B (zh) * 2020-06-29 2021-07-23 广东小天才科技有限公司 跳绳计数实现方法、系统、腕式可穿戴设备和存储介质
CN112044046B (zh) * 2020-08-28 2021-06-25 浙江大学 基于深度学习的跳绳计数方法
CN112044047B (zh) * 2020-08-28 2021-06-22 浙江大学 基于多目标跟踪的跳绳计数方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210360A (zh) * 2019-05-24 2019-09-06 浙江大学 一种基于视频图像目标识别的跳绳计数方法

Also Published As

Publication number Publication date
CN112634400A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112634400B (zh) 一种跳绳计数方法、终端及其计算机可读存储介质
Connaghan et al. Multi-sensor classification of tennis strokes
US11638854B2 (en) Methods and systems for generating sports analytics with a mobile device
Cioppa et al. Soccernet-tracking: Multiple object tracking dataset and benchmark in soccer videos
Datta et al. Person-on-person violence detection in video data
US9754400B2 (en) Device, method and computer program for reconstructing a motion of an object
US11478681B2 (en) Method of real time monitoring of a person during an event and event dynamics system thereof
CN103426025B (zh) 一种基于智能手机平台的非接触式俯卧撑计数方法
KR20180020123A (ko) 비동기 신호 처리 방법
JP6677319B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
Chen et al. A trajectory-based ball tracking framework with visual enrichment for broadcast baseball videos
CN116311497A (zh) 一种基于机器视觉的隧道工人异常行为检测方法及系统
Sangüesa et al. Identifying basketball plays from sensor data; towards a low-cost automatic extraction of advanced statistics
CN114513694A (zh) 评分确定方法、装置、电子设备和存储介质
CN109829415A (zh) 基于深度残差网络的性别识别方法、装置、介质和设备
Malawski et al. Real-time action detection and analysis in fencing footwork
Behendi et al. Non-invasive performance measurement in combat sports
CN110909687B (zh) 动作特征有效性判定方法、计算机存储介质和电子装置
Lienhart et al. Mining automatically estimated poses from video recordings of top athletes
US20210322852A1 (en) Determining trajectory of a ball from two-dimensional media-content using computer vision
CN109166138A (zh) 基于高阶累积量的目标跟踪方法、装置及存储介质
CN111898471B (zh) 一种行人跟踪方法和装置
CN109985369B (zh) 一种基于智能腕戴式设备的自适应泳姿识别方法
Bhuyan et al. Key Video Object Plane Selection by MPEG-7 Visual Shape Descriptor for Summarization and Recognition of Hand Gestures.
CN112800816A (zh) 一种基于多模型的视频动作识别检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant