CN113457110A - 一种智慧操场中的计数方法、系统及装置 - Google Patents

Abstract

本发明公开了一种智慧操场中的计数方法、系统及装置，通过采用光流法分析从采集模块处实时获得的连续帧静态图像，获取待测者的运动趋势，能够有效提高测试过程中图像分析的准确性，且具有通用性强、易用性高的优点。

Description

一种智慧操场中的计数方法、系统及装置

技术领域

本发明属于图像处理技术领域，具体涉及一种智慧操场中的计数方法、系统及装置。

背景技术

学生体质健康促进一直是学校密切关注和致力发展的方向，近些年来，学生体质健康测试工作各学校严格按《国家学生体质健康标准》执行。然而，现有学校在体质健康测试过程中往往采用人工计数的方式进行相关测试，很少有学校采用仪器进行测试。人工计数的测试过程主观性强，且工作量巨大，这给体测工作造成了很大的麻烦。此外，人工计数测得的数据一般为纸质数据，将纸质数据转换为电子数据更是费时费力。绝大部分高校的体质健康测试的海量数据通常以数据库的方式“储存”，而后续基本不会对“储存”的数据库进行挖掘和利用，因此，很难针对成绩不理想的学生提出有效的提升措施。

近些年，随着科技的进步，一些科技公司和研究单位提出了一些测试方法和仪器以实现自动化的计数，例如：2020年殷家炜等公开的“基于Quick-OpenPose模型的引体向上测试计数方法及系统(公开号CN111368791A)”，采用计数控制器、语音模块、图像采集模块、数据存储与传输模块等实现自动测试；2015年罗亮等公开的“自动防作弊引体向上测试仪(CN204891143)”利用两个传感器支架、计数控制器、防作弊检测传感器、PC机、主机和防作弊垫、外部存储USB模块、无线WIFI模块、语音模块、RFID模块、扬声器等实现了测试，并通过WIFI模块将数据发送给PC机；2016年胡振禹公开的“超声波引体向上测试仪及其控制方法(CN105944363A)”使用了单片机、超声波探头、红外探头、语音播报器来进行自动测试。

综上所述，现有的引体向上测试仪基本都采用高精度传感器，然而传感器存在距离标定不能适用于所有人、对测试环境要求较高(如不能强光照、雨雪天等)、测试者无法自行测试等问题；采用图像处理技术的测试设备，则存在算法复杂、对处理器要求高、实时性难保证等缺陷；此外，由于同种测试设备只能测试单一种类的项目，因此无法满足测试多种项目的需求。

发明内容

有鉴于此，本发明提供了一种智慧操场中的计数方法、系统及装置，能够实现对待测者在智慧操场中所完成的标准动作数量的准确测量。

本发明提供的一种智慧操场中的计数方法，包括以下步骤：

步骤1、设定标准动作的参考坐标，设定被测者的动作区域，设定计数器的初始值为零；开始测试后，获取实时测试视频；

步骤2、采用光流法分析所述步骤1中得到的所述实时测试视频，判断所述被测者的运动趋势，计算所述被测者的标识坐标，若所述标识坐标小于所述参考坐标则说明当前动作合格，计数器自加1；若所述标识坐标不小于所述参考坐标则说明当前动作不合格，计数器保持不变；测试结束后，停止计数，同时将所述计数器的值作为测试成绩输出。

进一步地，所述步骤2中的所述采用光流法分析所述步骤1中得到的所述实时测试视频，判断所述被测者的运动趋势，包括以下步骤：

采用光流法处理所述实时测试视频得到测试视频帧的两通道的像素点光流向量位移值，从中提取竖直方向的竖直向量位移d；对所述测试区域内的所有像素点的竖直向量位移求和，得到测试视频帧的总位移D，若D>0则说明当前测试视频帧对应向上运动，若D<0则说明当前测试视频帧对应向下运动；同时，若测试视频帧满足|D|≥θ，θ为设定的总位移阈值，则当前测试视频帧为可计数视频帧。

进一步地，所述步骤2中的所述计算所述被测者的标识坐标，包括以下步骤：

对所述测试视频帧依次进行灰度化、腐蚀、膨胀、滤波及二值化处理，然后对相邻的两个所述测试视频帧做差得到测试区域图像差，在所述测试区域图像差中白色像素对应所述被测者的运动；若h_i行中白色像素点的数量大于设置的阈值ξ，那么h_i行中的最小值坐标值即为被测者的所述标识坐标。

进一步地，所述步骤2中的所述若所述标识坐标大于所述参考坐标则说明当前动作合格，计数器自加1；若所述标识坐标不大于所述参考坐标则说明当前动作不合格，计数器保持不变，其中，计数器包括计数器A和计数器B，具体步骤如下：

从第一个所述测试视频帧开始，以n个相邻的帧为一个单元，计算所述单元所包含的测试视频帧的总位移的平均值，得到所述测试视频帧的平均总位移数列；在所述平均总位移数列中，若第i-1帧D_i-1>0、第i+1帧D_i+1<0，且第i-1帧和第i帧的标识坐标均大于参考坐标，则计数器A加1；若第i-1帧D_i-1<0、第i+1帧D_i+1>0，且第i-1帧和第i帧的标识坐标均不大于参考坐标，则计数器B加1；当计数完成后，取计数器A和计数器B中的较小值作为计数器的输出。

进一步地，所述以n个相邻的帧为一个单元中，n的取值为3。

本发明提供的一种智慧操场中的计数系统，包括：采集模块、身份识别模块、语音模块、计数模块、显示模块及存储模块；

所述采集模块，用于获取实时测试视频，并对将所述实时测试视频进行下采样后发送至所述计数模块和存储模块，所述采集模块与所述计数模块及存储模块相连；

所述身份识别模块，用于采用人脸识别摄像头对被测者进行身份识别，所述身份识别模块与所述语音模块、显示模块及存储模块相连；

所述语音模块，用于为被测者提供语音引导功能，语音模块与身份识别模块相连；

所述计数模块，用于采用稠密光流法及帧差法对所述采集模块输出的测试视频进行图像处理，计算待测者完成的动作的数量，所述计数模块与所述采集模块、显示模块相连；

所述显示模块，用于显示待测者的信息及测试成绩，所述显示模块与所述身份验证模块、计数模块及存储模块相连。

所述存储模块，用于存储测试过程中的所有信息，所述存储模块与所述采集模块、计数模块及显示模块相连。

本发明提供的一种智慧操场中的计数装置，包括显示屏、人脸识别摄像头、计数摄像头、支架及后台处理器；

所述显示屏，用于显示从所述后台处理器中获取的待测者的信息及测试成绩；同时所述显示屏搭载蓝牙音箱，用于语音提示待测者；

所述人脸识别摄像头，用于采集待测者的个人信息，并将所述个人信息发送至所述后台处理器；所述计数摄像头，用于采集待测者的实时测试视频，并将实时测试视频发送至后所述台处理器；

所述支架，用于固定所述计数摄像头、人脸识别摄像头和显示屏；

所述后台处理器，用于处理所述计数摄像头输出的实时测试视频得到待测者的动作计数结果，保存计数结果；根据所述人脸识别摄像头输出的个人信息对待测者进行身份识别；将保存的计数结果及对应的待测者个人信息发送至所述显示屏。

有益效果：

1、本发明通过采用光流法分析从采集模块处实时获得的连续帧静态图像，获取待测者的运动趋势，能够有效提高测试过程中图像分析的准确性，且具有通用性强、易用性高的优点；

2、本发明根据待测者的运动特征，仅对竖直方向的光流进行处理，这样很大程度上减少了图像分析过程中的运算量，提高了分析过程的效率，保证了图像分析的实时性，更也有利于精确判断测试者的运动趋势；

3、本发明采用差频分析法，获取待测者静态图像间的测试区域的差异，从而得到待测者的标识坐标，进一步提高了测试结果的准确性。

附图说明

图1为本发明提供的一种智慧操场中的计数方法的流程示意图。

图2为本发明提供的一种智慧操场中的计数系统的总体结构示意图。

图3为本发明提供的一种智慧操场中的计数系统的部署示意图。

图4为本发明提供的一种智慧操场中的计数装置的结构图。

具体实施方式

下面结合附图，对本发明进行详细描述。

本发明提供了一种智慧操场中的计数方法，方法流程如图1所示，具体包括以下步骤：

步骤1、初始化标准动作的判断阈值ξ、标准动作参考坐标H，预设被测者的动作区域，将动作区域作为测试区域以减少图像处理的时间，降低延迟。对于非第一次测试来说，则可以导入前一次测试的系统参数，不必再次初始化。

步骤2、当接收到开始测试指令后，获取实时测试视频。

步骤3、采用光流法分析实时测试视频，判断被测者的运动趋势(包括水平运动和竖直运动)，并通过计算被测者的标识坐标与标准动作参考坐标的差值来判断动作是否标准，从而得到被测者所做动作的数量。例如，若被测者所做动作为引体向上，那么被测者的标识坐标即为被测者的头顶坐标，通过计算被测者的头顶坐标与动作标准参考坐标的差值来判断动作是否标准，从而得到引体向上动作的数量。具体方式如下：

步骤3.1、采用光流法判断被测者的运动趋势。

光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。采用光流法对实时测试视频进行处理，即可得到每个测试视频帧的两通道(包含竖直和水平两个方向)的像素点光流向量位移值，从中提取竖直方向的竖直向量位移d，对测试区域内所有像素点的竖直向量位移求和，得到当前帧的总位移值D，D>0代表向上运动，D<0则代表向下运动。考虑到测试过程中，被测者所在的最高或最低位置可能会有波动，因此根据测试区域的大小，设置总位移值的阈值θ，若视频帧的|D|＜θ，则在测量计数时不再计入该视频帧。

由于光流在图像中的含义为动作向量(u,v)，分别表示位移在水平方向x轴和竖直方向y轴上的变化率。考虑到引体向上、俯卧撑等项目的动作特点，在图像处理过程中，只处理竖直方向的光流，既可以提高运算效率保证实时性，同时也有利于精确判断测试者的运动趋势。

步骤3.2、采用帧差法判断被测者的动作是否标准。

获取连续的测试视频帧，将测试视频图像依次进行灰度化、腐蚀、膨胀、滤波、及二值化等处理，然后对相邻两帧的测试视频图像做差得到的测试区域图像，在该测试区域图像中测试者运动部分图像是白色像素其余部分为黑色像素；若h_i行中白色像素点的个数大于设置的阈值ξ，那么h_i行中的最小值h_i-min为被测者的头顶坐标。当被测者到达最高或最低点时，将头顶坐标与动作标准参考坐标H进行对比，若计数指令加一时的头顶坐标大于动作标准参考坐标H,则该计数保留，否则取消此次计数。本发明中，所涉及的坐标与计算机图像处理软件中通常采用的坐标相一致，计算机图像处理软件中通常默认Y轴向下是正方向，因此，待测者测试时若为向上运动，则Y轴方向坐标是减小的。

步骤3.3、根据确定的计数策略，对测试视频帧的总位移值进行滤波，确定最终测试结果。

为防止测试过程中出现单帧波动的情况，即被测者实际在做向上运动，而计算得到的当前帧的总位移值D<0，因此需要对所有帧的总位移值D进行滤波处理，即从第一帧开始，对每相邻3帧的总位移值D取平均值，得到平均总位移数列。在平均总位移数列中，若第i-1帧的D_i-1>0、第i+1帧的D_i+1<0，且第i-1帧和第i帧中的头顶坐标均大于动作标准参考坐标H，则累加器Count1加1；若第i-1帧的D_i-1<0、第i+1帧的D_i+1>0，且第i-1帧和第i帧中的头顶坐标均不大于动作标准参考坐标H，则累加器Count2加1；当计数完成后，取累加器Count1、Count2中的较小值作为最终被测者所做的引体向上的个数。

实际测试中，被测者的躯干、头部可能与摄像头之间存在倾斜角度，因此，动作标准判断阈值ζ的设置应略小于平均距离，以保证计数的准确性。

步骤4、测试结束后，停止计数，同时发布测试成绩。

基于上述测试方法，本发明提供了一种智慧操场中的计数系统，系统结构如图2所示，包括：采集模块、身份识别模块、语音模块、计数模块、显示模块及存储模块。

其中，采集模块，用于获取计数摄像头的实时测试视频并将下采样等处理后的实时测试视频发送至计数模块和存储模块，采集模块与计数摄像头、计数模块及存储模块相连。为了降低计数过程的延迟，采集模块分为2个线程，线程1用于获取计数摄像头的实时视频帧，线程2用于将实时视频帧处理后发送至计数模块、存储模块。

尽管光流法可以较好的进行动作计数，但会存在一定的延迟，无法保证实时性等问题。因此，在系统设计中可通过限制测试区域、下采样等措施来提高实时性。由此，本发明中采用多线程技术以解决上述问题，即采集模块包括2个线程，线程1用来采集测试视频，线程2用来下采样、灰度化等视频帧处理和视频转发，以便弥补光流计算趋势过程中的延迟掉帧等缺陷。

身份识别模块，用于被测者的身份识别，身份识别模块与人脸识别摄像头、语音模块、显示模块及存储模块相连。身份识别模块从人脸识别摄像头获取视频帧，采用人脸识别算法对视频帧进行人脸识别，得到人脸特征，将人脸特征与存储模块中的人脸特征作对比；当人脸特征对比成功后，向显示模块和语音模块发送“你好，XX”，若多次对比失败，则退出当前测试过程。

语音模块，用于为被测者提供语音引导功能，语音模块与身份识别模块相连。语音模块收到身份识别模块发送的“你好，XX”语音后，语音提示“是否选择进行测试？按确认键测试，按其他键退出测试”，若被测者选择继续测试，则语音提示发出测试倒计时、开始测试和结束测试的指令；否则，则退出测试。

计数模块，用于计算待测者完成的动作的数量，计数模块与采集模块、显示模块相连。计数模块从采集模块获取被测者实时测试视频，采用光流法、帧差法等进行图像处理，得到引体向上动作的数量，再将测试成绩发送至显示模块与存储模块。

显示模块，用于显示待测者的相关信息以及测试成绩，显示模块与身份验证模块、计数模块、存储模块相连。显示模块从身份对比模块接收识别到的测试者姓名、编号等信息，并将这些信息显示在显示屏上，供待测者确认；显示模块将从计数模块接收到的待测者的引体向上动作的数量显示在显示屏上，供测试者测试结束后查看；显示模块从存储模块调取测试视频，供测试者对成绩有异议时查看，以及辅助训练计划的制订。

存储模块，用于存储测试过程中的所有信息，存储模块与采集模块、计数模块、显示模块相连。存储模块分为本地存储和数据库存储，本地存储待测者实时测试视频，数据库存储待测者的姓名、测试时间、测试成绩等信息。

本发明提供的一种智慧操场中的计数系统连接外设后，如图3所示，适用于引体向上、俯卧撑、深蹲起立项目的测试，但不限于以上项目，有着较强的通用性。

本发明提供了一种智慧操场中的计数装置，如图包括显示屏、人脸识别摄像头、计数摄像头、支架及后台处理器。

其中，显示屏内置中央处理器，用于显示待测者人脸识别后的个人信息和测试成绩，同时搭载蓝牙音箱，提示测试者进行各项操作。显示屏与后台处理器相连。

人脸识别摄像头，用于采集待测者个人信息。人脸识别摄像头与后台处理器相连。

计数摄像头，用于采集待测者的实时测试视频，并将实时测试视频发送至后台处理器。计数摄像头与后台处理器相连。

支架，用于固定计数摄像头、人脸识别摄像头和显示屏。

后台处理器，用于采集待测者的实时测试视频帧，对实时测试视频帧进行计数分析，并将结果进行保存，同时将测试结果及待测者相关信息发送至显示屏；此外，还根据人脸识别摄像头采集到的待测者个人信息，对待测者进行身份识别。进一步地，为了提高处理效率，后台处理器中可采用多线程机制进行处理，例如：线程1用于采集测试者实时测试视频帧，线程2将测试视频帧传回到中央处理器中进行计数工作，同时将测试视频保存到本地存储。后台处理器与人脸识别摄像头、显示屏和计数摄像头相连。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种智慧操场中的计数方法，其特征在于，包括以下步骤：

步骤1、设定标准动作的参考坐标，设定被测者的动作区域，设定计数器的初始值为零；开始测试后，获取实时测试视频；

步骤2、采用光流法分析所述步骤1中得到的所述实时测试视频，判断所述被测者的运动趋势，计算所述被测者的标识坐标，若所述标识坐标小于所述参考坐标则说明当前动作合格，计数器自加1；若所述标识坐标不小于所述参考坐标则说明当前动作不合格，计数器保持不变；测试结束后，停止计数，同时将所述计数器的值作为测试成绩输出。

2.根据权利要求1所述的计数方法，其特征在于，所述步骤2中的所述采用光流法分析所述步骤1中得到的所述实时测试视频，判断所述被测者的运动趋势，包括以下步骤：

采用光流法处理所述实时测试视频得到测试视频帧的两通道的像素点光流向量位移值，从中提取竖直方向的竖直向量位移d；对所述测试区域内的所有像素点的竖直向量位移求和，得到测试视频帧的总位移D，若D>0则说明当前测试视频帧对应向上运动，若D<0则说明当前测试视频帧对应向下运动；同时，若测试视频帧满足|D|≥θ，θ为设定的总位移阈值，则当前测试视频帧为可计数视频帧。

3.根据权利要求2所述的计数方法，其特征在于，所述步骤2中的所述计算所述被测者的标识坐标，包括以下步骤：

对所述测试视频帧依次进行灰度化、腐蚀、膨胀、滤波及二值化处理，然后对相邻的两个所述测试视频帧做差得到测试区域图像差，在所述测试区域图像差中白色像素对应所述被测者的运动；若h_i行中白色像素点的数量大于设置的阈值ξ，那么h_i行中的最小值坐标值即为被测者的所述标识坐标。

4.根据权利要求2所述的计数方法，其特征在于，所述步骤2中的所述若所述标识坐标大于所述参考坐标则说明当前动作合格，计数器自加1；若所述标识坐标不大于所述参考坐标则说明当前动作不合格，计数器保持不变，其中，计数器包括计数器A和计数器B，具体步骤如下：

从第一个所述测试视频帧开始，以n个相邻的帧为一个单元，计算所述单元所包含的测试视频帧的总位移的平均值，得到所述测试视频帧的平均总位移数列；在所述平均总位移数列中，若第i-1帧D_i-1>0、第i+1帧D _i+1<0，且第i-1帧和第i帧的标识坐标均大于参考坐标，则计数器A加1；若第i-1帧D_i-1<0、第i+1帧D_i+1>0，且第i-1帧和第i帧的标识坐标均不大于参考坐标，则计数器B加1；当计数完成后，取计数器A和计数器B中的较小值作为计数器的输出。

5.根据权利要求4所述的计数方法，其特征在于，所述以n个相邻的帧为一个单元中，n的取值为3。

6.一种智慧操场中的计数系统，其特征在于，包括：采集模块、身份识别模块、语音模块、计数模块、显示模块及存储模块；

所述采集模块，用于获取实时测试视频，并对将所述实时测试视频进行下采样后发送至所述计数模块和存储模块，所述采集模块与所述计数模块及存储模块相连；

所述身份识别模块，用于采用人脸识别摄像头对被测者进行身份识别，所述身份识别模块与所述语音模块、显示模块及存储模块相连；

所述语音模块，用于为被测者提供语音引导功能，语音模块与身份识别模块相连；

所述计数模块，用于采用稠密光流法及帧差法对所述采集模块输出的测试视频进行图像处理，计算待测者完成的动作的数量，所述计数模块与所述采集模块、显示模块相连；

所述显示模块，用于显示待测者的信息及测试成绩，所述显示模块与所述身份验证模块、计数模块及存储模块相连。

所述存储模块，用于存储测试过程中的所有信息，所述存储模块与所述采集模块、计数模块及显示模块相连。

7.一种智慧操场中的计数装置，其特征在于，包括显示屏、人脸识别摄像头、计数摄像头、支架及后台处理器；

所述显示屏，用于显示从所述后台处理器中获取的待测者的信息及测试成绩；同时所述显示屏搭载蓝牙音箱，用于语音提示待测者；

所述人脸识别摄像头，用于采集待测者的个人信息，并将所述个人信息发送至所述后台处理器；所述计数摄像头，用于采集待测者的实时测试视频，并将实时测试视频发送至后所述台处理器；

所述支架，用于固定所述计数摄像头、人脸识别摄像头和显示屏；

所述后台处理器，用于处理所述计数摄像头输出的实时测试视频得到待测者的动作计数结果，保存计数结果；根据所述人脸识别摄像头输出的个人信息对待测者进行身份识别；将保存的计数结果及对应的待测者个人信息发送至所述显示屏。

Images