CN113743273B - 基于视频图像目标检测的实时跳绳计数方法、装置和设备 - Google Patents

Abstract

本发明公开了一种基于视频图像目标检测的实时跳绳计数方法、装置和设备，通过符合算法要求的跳绳视频，将视频分解成视频帧差图像，在图像上标注检测目标和人体姿态类别，制作用于网络训练和预测的跳绳计数数据集；选择FCOS目标检测模型，并应用制作好的跳绳数据集训练网络；实时采集跳绳视频帧图像，用于后续跳绳计数；使用训练和好FCOS网络实时检测跳绳视频帧差图像的人体目标和人体姿态类别，将人体姿态类别输出给跳绳计数模块；根据实时检测到人体姿态类别得到的人体姿态序列设置一定的跳绳计数机制，进行实时计数；实时计数结果显示模块中，实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。

Description

基于视频图像目标检测的实时跳绳计数方法、装置和设备

技术领域

本发明属于视频图像目标检测技术领域，具体涉及一种基于视频图像目标检测的实时跳绳计数方法、装置和设备。

背景技术

随着科技的发展，人工智能已经遍布生活中的各方各面，智能化设备代替人工已经成为当今时代的大势所趋，而随着体育越来越被重视，并且体育考试已经被列入到中考考试项目中，传统的体育考试需要大量的人力进行各项目的计时计数，且存在着在体育考试项目结束后不能检验测试结果准确性的缺点，智能化体育考场、智能化体育考试设备的应用和普及可以大量的减少人力的投入，同时可以对考试数据进行保存记录，随时查验考试过程中是否存在违规现象、测试结果是否准确，跳绳作为大部分省份体育中考中的测试项目，因此，针对于跳绳计数的智能化计数设备的研究至关重要。

现存的自动化跳绳计数方法大部分都是采用可以自动计数的跳绳进行计数，但是这种跳绳计数方法具备计数结果不能查验的缺点。因此，随着视频图像采集处理在生活中各方面被广泛应用，并且视频图像可以进行保存和记录，基于视频图像的智能化跳绳计数方法可以对智能体育考场进行监督，对测试结果进行留存查验。

跳绳运动是根据人体是否跳过了跳绳来进行计数，相比于其他的体育考试运动(例如：仰卧起坐、引体向上等)在图像中没有确切的人体姿态计数标准，而是表现在时序上人体姿态呈现的周期性变化规律进行计数，当这种周期性变化规律消失时，即跳绳中断。在完整的跳绳过程中，双脚离地、落地呈现周期性的规律，并且当跳绳中断时，双脚多半处于落地状态，并且较少的出现双脚同时离地的现象。因此，可基于这种规律研究基于视频图像的鲁棒性好的高性能的实时跳绳计数方法。

目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分，由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。目标检测任务不但可以实现对目标的检测也可以实现对检测目标的类别识别，因此基于目标检测的跳绳计数算法有其研究的价值。

发明内容

针对智能体育考场的需求而应用自动计数跳绳的跳绳计数结果准确性不能保证，计数结果不能查验，且现存的基于视频图像的跳绳计数方法准确率不足不能实现实时计数，本发明提供基于视频图像目标检测的实时跳绳计数方法、装置和设备。

本发明采用如下技术方案来实现：

基于视频图像目标检测的实时跳绳计数方法，包括以下步骤：

S1、跳绳数据集制作：拍摄和搜集的符合要求的跳绳视频，将跳绳视频分解成视频帧差图像，在视频帧差图像上标注检测目标和人体姿态类别，不同视频中有效的帧差图像组成用于训练目标检测网络的跳绳数据集；

S2、模型选取与训练：选择目标检测网络，并应用制作好的跳绳数据集训练目标检测网络，得到目标检测模型；

S3、视频采集：实时采集跳绳视频帧图像；

S4、目标检测：根据视频采集模块实时采集到的视频帧图像，计算当前视频帧图像与前一视频帧图像的帧差图像，使用训练好的目标检测模型实时检测跳绳视频帧差图像的人体目标和人体姿态类别；

S5、跳绳计数：根据实时检测到的人体姿态类别设置跳绳计数机制，进行实时计数。

进一步的，S1中，使用LabelImg软件对数据集中的帧差图像进行数据标注，根据双脚是否处于离地状态，将人体姿态分为落地状态和离地状态。

进一步的，S2中，利用FCOS目标检测网络对已经标注好的数据集对网络进行训练得到目标检测模型。

进一步的，S3中，根据实验数据选择摄像头，并设置摄像机的内置参数及摄像机到跳绳人员的距离，实时拍摄视频帧图像。

进一步的，S4中，当双脚由落地状态转变为离地状态再次转变为落地状态时，且中间的离地状态连续帧数达到设定值，即对跳绳计数加一。

进一步的，当出现两帧离地状态帧中间为落地状态帧且两帧离地状态帧前后均为连续的落地状态帧时，将其中间的落地状态帧标记为误检的离地状态帧，当再检测到连续的3帧落地状态帧时，绳数计数加1。

一种基于视频图像目标检测的实时跳绳计数装置，包括

跳绳数据集制作模块，用于拍摄和搜集的符合要求的跳绳视频，将跳绳视频分解成视频帧差图像，在视频帧差图像上标注检测目标和人体姿态类别，不同视频中有效的帧差图像组成用于训练目标检测网络的数据集；

模型选取与训练模块，用于选择目标检测模型，并应用制作好的跳绳数据集训练目标检测模型；

视频采集模块，用于实时采集跳绳视频帧图像；

目标检测模块，根据视频采集模块实时采集到的视频帧图像，计算当前视频帧图像与前一视频帧图像的帧差图像，用于使用训练好的目标检测模型实时检测跳绳视频帧差图像的人体目标和人体姿态类别；

跳绳计数模块，用于根据实时检测到的人体姿态类别设置跳绳计数机制，进行实时计数。

进一步的，还包括实时计数结果显示模块，所述实时计数结果显示模块用于实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。

一种计算机设备，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述的计数方法的步骤。

本发明至少具有以下有益的技术效果：

本发明提供的一种基于视频图像目标检测的实时跳绳计数方法，有效地实现了基于视频图像的实时跳绳计数，并实时性的显示和保存跳绳视频帧图像和由跳绳开始至视频当前帧的跳绳计数结果，在实验测试过程中，该方法可以实现对连续的跳绳视频进行准确的计数，满足于当前智能体育考场对智能跳绳计数的要求。

进一步，本发明通过实验室拍摄和网络上搜索以及在一些行为识别等领域已有数据集查找来获取大量的与跳绳考试中接近的跳绳视频尽可能保证数据集的丰富性，同时根据跳绳任务本身的时序特性，将视频处理成帧差图像，保存视频时序上的变化信息，使用目标检测数据标注软件对帧差图像进行数据标注，以供模型训练使用。因为数据集的丰富性，模型可以对体育考试中可能出现的跳绳动作类型进行检测和姿态识别，因此数据集满足体育考试应用场景的要求，与跳绳计数任务相符，为后续跳绳计数的准确性提供保证。

进一步，本发明中为了满足实时性跳绳计数的需要，对图像进行目标检测速度需大于30fps，因此，选择目标检测速度较快的目标检测网络FCOS模型，并在制作的跳绳数据集上进行训练，网络模型可以对跳绳视频帧差图像进行检测和识别，满足了跳绳计数任务的检测需求。

进一步，本发明根据算法要求及摄像头的内置参数，选择合适的摄像头采集视频，并实验获得摄像头最佳的拍摄高度、距离跳绳人员的拍摄距离等外置参数，按照参数安装视频采集设备，可以实时高效的采集跳绳人员的跳绳视频帧图像，为算法的性能提供数据采集上的基础保证。

进一步，本发明使用训练好的FCOS网络对实时采集的视频帧差图像进行人体检测和姿态识别，实验证明网络的检测精度足够高，为跳绳计数任务提供了检测精度保证，同时网络的检测速度较快，满足实时性跳绳计数任务的需求。

进一步，本发明基于目标检测后的姿态类别序列，结合跳绳动作的规律性，统计出落地状态和离地状态的交替变化规律，结合跳绳动作中双脚落地离地的变化规律，当双脚由落地状态转变为离地状态，且又转变为落地状态时，离地状态连续帧数达到一定要求(实验表明离地连续帧数大于2帧)，即可认为完成了一个跳绳动作，可进行计数加一，该计数机制符合跳绳动作本身的特性，可应用其完成跳绳计数任务。

进一步，本发明中针对于跳绳视频帧图像以及对视频帧图像处理得到的跳绳计数结果进行实时的显示，以达到基于跳绳视频帧图像实时计数的效果，可以实时检测计数结果的准确性，同时确保了跳绳视频帧图像实现跳绳计数结果的直观性。

从整体上说，本发明基于视频图像目标检测的实时跳绳计数方法对于不同跳绳频率(快、慢)不同跳绳动作(双脚跳、单脚跳)不同跳绳角度(正面、侧面)都可以实现较为准确的实时跳绳计数结果，且有针对于考试场景中的视频进行测试，其算法性能变现良好，在智能体育考场中有良好的应用价值。

附图说明

图1为本发明基于视频图像目标检测的实时跳绳计数方法的流程图；

图2为本发明基于视频图像目标检测的实时跳绳计数装置示意图；

图3为本发明针对跳绳视频测试结果中一个跳绳动作检测示意图；

图4为本发明提供的计算机设备的结构示意图。

具体实施方式

下面结合附图对本发明进行详细阐述：

实施例1

参照图1，基于视频图像目标检测的实时跳绳计数方法，包括以下步骤：

S1、跳绳数据集制作：首先在已有的用于行为识别领域的数据集中查找到若干跳绳视频，其次根据实际考场需求，模拟实际跳绳考试场景拍摄多个跳绳视频，再通过网上搜索与跳绳考试场景相近的跳绳视频，即为图像主体为单人连续的无镜头切换和场景变化的视频，组成跳绳视频数据集，数据集中包含4500幅帧差图像。由于跳绳动作是否完成体现在视频图像时序变化上，因此获取数据集中每个视频选取双脚落地离地状态明显的300幅帧差图像(即为视频帧图像与视频中其前一帧图像的帧差图像)，并应用目标识别领域数据标注软件中的LableImg软件对帧差图像进行人员检测和姿态识别，其中人体姿态主要根据双脚与地面的接触程度分为落地状态和离地状态，因为数据集是供目标检测任务中网络训练使用，因此需要将数据集按照目标检测任务的数据集输入要求制作成VOC数据集格式的跳绳数据集，以供目标检测网络模型训练直接使用。

S2、模型选取和训练：根据跳绳计数任务需求和目标识别相关网络特点，最终选定可以实现实时检测效果的FCOS目标检测网络，并将已经制作好的符合VOC数据集格式的跳绳数据集按比例分为训练集、验证集和测试集，应用其进行多次训练FCOS网络，最终选择测试效果最好的FCOS目标检测模型作为跳绳计数方法最终使用的模型。

S3、视频采集：根据算法要求及摄像头的内置参数，选择合适的摄像头采集视频，并根据选定的摄像头型号参数经过实验获得针对选定摄像头最佳的拍摄高度、距离跳绳人员的拍摄距离等外置参数，按照参数安装视频采集设备，当考试开始按钮启动后，进入计数倒计时同时开始启动视频采集模块，开始实时采集跳绳视频帧图像，并将视频帧图像实时传输给目标检测模块和最后的实时计数结果显示模块。

S4、目标检测：首先根据视频采集模块实时采集到的视频帧图像，计算当前视频帧图像与前一视频帧图像的帧差图像，并使用已经训练好的FCOS目标检测网络实时对帧差图像进行目标检测，得到当前视频帧图像中人体姿态类别，并将人体姿态类别实时传输给后续的跳绳计数模块。

S5、跳绳计数：基于目标检测网络实时输出的人体姿态类别，得到人体姿态序列，统计出现的双脚落地和双脚离地的连续状态帧数，结合跳绳动作中双脚落地离地的变化规律，当双脚由落地状态转变为离地状态再次转变为落地状态时，且中间的离地状态连续帧数达到一定要求(实验表明离地连续帧数大于2帧)，即可认为完成了一个跳绳动作，进行计数加一。在实际的实验测试中，为了克服目标检测中可能出现的误检现象，当连续的多帧落地状态(离地状态)中出现一帧离地状态(落地状态)，则可认为其出现的这一帧为误检，对其不计入有效状态帧中；由于在一个跳绳周期中(即从起跳到跳到最高点到落地一个完整的跳绳周期)，双脚离地状态帧数少于双脚落地状态帧数，尤其是在较为快速的跳绳视频中，因此，当出现两帧离地状态帧中间为落地状态帧且前后均为连续的落地状态帧时，将其中间的落地状态帧标记为误检的离地状态帧，则认为连续出现三帧离地状态帧，当检测到连续的3帧落地状态帧时，则对其进行跳绳计数。实验表明，该计数机制对于连续的跳绳视频来说，计数结果是可靠的，误差不超过一个。

S6、实时计数结果显示：在后台跳绳计数算法开始运行后，实时采集到的跳绳视频帧图像和跳绳计数结果实时显示于设备终端显示器上，以供实时检验计数结果的准确性，并将视频保存到指定路径下。

实施例2

如图2所示，本发明提供的基于视频图像目标检测的实时跳绳计数装置，包括以下几个功能或模块：数据集制作模块、模型选取与训练模块、视频采集模块、目标检测模块、跳绳计数模块和实时计数结果显示模块。

数据集制作模块的输出端和模型选取与训练模块的输入端连接，视频采集模块和模型选取与训练模块的输出端均和目标检测模块的输入端连接，目标检测模块的输出端和跳绳计数模块的输入端连接，跳绳计数模块和视频采集模块的输出端均和实时计数结果显示模块的输入端连接连接。

在所述的数据集制作模块中，首先在已有的用于行为识别领域的数据集中查找到一些跳绳视频，其次根据实际考场需求，模拟实际跳绳考试场景拍摄跳绳视频，再通过网上搜索与跳绳考试场景相近的跳绳视频，即为图像主体为单人连续的无镜头切换和场景变化的视频，组成跳绳视频数据集，数据集中包含4500幅帧差图像。由于跳绳动作是否完成体现在视频图像时序变化上，因此获取数据集中每个视频选取双脚落地离地状态明显的300幅帧差图像(即为视频帧图像与视频中其前一帧图像的帧差图像)，并应用目标识别领域数据标注软件LableImg软件对帧差图像进行人员检测和姿态识别，其中人体姿态主要根据双脚与地面的接触程度分为落地状态和离地状态，因为数据集是供目标检测任务中网络训练使用，因此需要将数据集按照目标检测任务的数据集输入要求制作成VOC数据集格式的跳绳数据集，以供目标检测网络模型训练直接使用。

所述的模型选取与训练模块中，根据跳绳计数任务需求和目标识别相关网络特点，最终选定可以实现实时检测效果的FCOS目标检测网络，并将已经制作好的符合VOC数据集格式的跳绳数据集按比例分为训练集、验证集和测试集，应用其多次训练FCOS网络，最终选择测试效果最好的FCOS目标检测模型作为跳绳计数方法最终使用的模型。

所述的视频采集模块中，根据算法要求及摄像头的内置参数，选择合适的摄像头采集视频，并根据选定的摄像头型号参数经过实验获得针对选定摄像头最佳的拍摄高度、距离跳绳人员的拍摄距离等外置参数，按照参数安装视频采集设备，当考试开始按钮启动后，进入计数倒计时同时开始启动视频采集模块，开始实时采集跳绳视频，并将每一帧图像实时传输给后续的目标检测模块和最后的实时计数结果显示模块。

所述的目标检测模块中，首先根据视频采集模块实时采集到的视频帧图像，计算当前视频帧图像与前一视频帧图像的帧差图像，并使用已经训练好的FCOS目标检测网络实时对帧差图像进行目标检测，得到当前视频帧图像中人体姿态类别，并将人体姿态类别实时传输给后续的跳绳计数模块。

参照图3，在所述的跳绳计数模块中，基于目标检测网络实时输出的人体姿态类别得到人体姿态序列，统计出现的双脚落地和双脚离地的连续状态帧数，结合跳绳动作中双脚落地离地的变化规律，当双脚由落地状态转变为离地状态再次转变为落地状态时，且中间的离地状态连续帧数达到一定要求(实验表明离地连续帧数大于等于3帧)，即可认为完成了一个跳绳动作，进行计数加一。在实际的实验测试中，为了克服目标检测中可能出现的误检现象，当连续的多帧落地状态(离地状态)中出现一帧离地状态(落地状态)，则可认为其出现的这一帧为误检，对其不计入有效状态帧中；由于在一个跳绳周期中(即从起跳到跳到最高点到落地一个完整的跳绳周期)，双脚离地状态帧数少于双脚落地状态帧数，尤其是在较为快速的跳绳视频中，因此，当出现两帧离地状态帧中间为落地状态帧且两帧离地状态帧前后均为连续的落地状态帧时，将其中间的落地状态帧标记为误检的离地状态帧，则认为连续出现三帧离地状态帧，当再检测到连续的3帧落地状态帧时，则对其进行计数。实验表明，该计数机制对于连续的跳绳视频来说，计数结果是可靠的，误差不超过一个。

在所述的实时计数结果显示模块中，在跳绳计数算法开始运行后，实时采集到的跳绳视频帧图像和跳绳计数结果实时显示于设备终端显示器上，以供实时检验计数结果的准确性，并将视频保存到指定路径下。

实施例3

本发明提供的一种计算机设备，如图4所示，包括电连接的存储器和处理器，其中，存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现上述的计数方法的步骤。例如图2所示的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。

所述计数装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计数装置可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述XXDD装置/终端设备的各种功能。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

实施例4

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (6)

1.基于视频图像目标检测的实时跳绳计数方法，其特征在于，包括以下步骤：

S1、跳绳数据集制作：拍摄和搜集的符合要求的跳绳视频，将跳绳视频分解成视频帧差图像，在视频帧差图像上标注检测目标和人体姿态类别，不同视频中有效的帧差图像组成用于训练目标检测网络的跳绳数据集；

S2、模型选取与训练：选择目标检测网络，并应用制作好的跳绳数据集训练目标检测网络，得到目标检测模型；

S3、视频采集：实时采集跳绳视频帧图像；

S4、目标检测：根据视频采集模块实时采集到的视频帧图像，计算当前视频帧图像与前一视频帧图像的帧差图像，使用训练好的目标检测模型实时检测跳绳视频帧差图像的人体目标和人体姿态类别；

S5、跳绳计数：根据实时检测到的人体姿态类别设置跳绳计数机制，进行实时计数

所述S2中，利用FCOS目标检测网络对已经标注好的数据集对网络进行训练得到目标检测模型；

所述S5中，当双脚由落地状态转变为离地状态再次转变为落地状态时，且中间的离地状态连续帧数达到设定值，即对跳绳计数加一；

所述S5中，当出现两帧离地状态帧中间为落地状态帧且两帧离地状态帧前后均为连续的落地状态帧时，将其中间的落地状态帧标记为误检的离地状态帧，当再检测到连续的3帧落地状态帧时，绳数计数加1。

2.根据权利要求1所述的基于视频图像目标检测的实时跳绳计数方法，其特征在于，所述S1中，使用LabelImg软件对数据集中的帧差图像进行数据标注，根据双脚是否处于离地状态，将人体姿态分为落地状态和离地状态。

3.根据权利要求1所述的基于视频图像目标检测的实时跳绳计数方法，其特征在于，所述S3中，根据实验数据选择摄像头，并设置摄像机的内置参数及摄像机到跳绳人员的距离，实时拍摄视频帧图像。

4.一种基于视频图像目标检测的实时跳绳计数装置，其特征在于，包括

跳绳数据集制作模块，用于拍摄和搜集的符合要求的跳绳视频，将跳绳视频分解成视频帧差图像，在视频帧差图像上标注检测目标和人体姿态类别，不同视频中有效的帧差图像组成用于训练目标检测网络的数据集；

模型选取与训练模块，用于选择目标检测模型，并应用制作好的跳绳数据集训练目标检测模型；具体的，利用FCOS目标检测网络对已经标注好的数据集对网络进行训练得到目标检测模型；

视频采集模块，用于实时采集跳绳视频帧图像；

目标检测模块，根据视频采集模块实时采集到的视频帧图像，计算当前视频帧图像与前一视频帧图像的帧差图像，用于使用训练好的目标检测模型实时检测跳绳视频帧差图像的人体目标和人体姿态类别；

跳绳计数模块，用于根据实时检测到的人体姿态类别设置跳绳计数机制，进行实时计数；

当双脚由落地状态转变为离地状态再次转变为落地状态时，且中间的离地状态连续帧数达到设定值，即对跳绳计数加一；

当出现两帧离地状态帧中间为落地状态帧且两帧离地状态帧前后均为连续的落地状态帧时，将其中间的落地状态帧标记为误检的离地状态帧，当再检测到连续的3帧落地状态帧时，绳数计数加1。

5.根据权利要求4所述的一种基于视频图像目标检测的实时跳绳计数装置，其特征在于，还包括实时计数结果显示模块，所述实时计数结果显示模块用于实时性显示当前视频帧图像及从计数开始至当前计数个数，以实时检验跳绳计数效果。

6.一种计算机设备，其特征在于，包括电连接的存储器和处理器，所述存储器上存储有可在处理器上运行的计算程序，所述处理器执行所述计算程序时，实现权利要求1-4中任意一项所述的方法的步骤。