CN113856186B - 一种引体向上动作判定与计数的方法、系统及装置 - Google Patents

一种引体向上动作判定与计数的方法、系统及装置 Download PDF

Info

Publication number
CN113856186B
CN113856186B CN202111026072.XA CN202111026072A CN113856186B CN 113856186 B CN113856186 B CN 113856186B CN 202111026072 A CN202111026072 A CN 202111026072A CN 113856186 B CN113856186 B CN 113856186B
Authority
CN
China
Prior art keywords
state
action
person
tested
pull
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111026072.XA
Other languages
English (en)
Other versions
CN113856186A (zh
Inventor
王家宝
姜慧荣
李航
李永基
王闯
李阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Army Engineering University of PLA
Original Assignee
Army Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Army Engineering University of PLA filed Critical Army Engineering University of PLA
Priority to CN202111026072.XA priority Critical patent/CN113856186B/zh
Publication of CN113856186A publication Critical patent/CN113856186A/zh
Application granted granted Critical
Publication of CN113856186B publication Critical patent/CN113856186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/06—User-manipulated weights
    • A63B21/068—User-manipulated weights using user's body weight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0065—Evaluating the fitness, e.g. fitness level or fitness index
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647—Visualisation of executed movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065—Visualisation of specific exercise parameters

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种引体向上动作判定与计数的方法、系统及装置，所述方法包括：获取执行引体向上动作的待测人员的视频帧图像序列；根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点；基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。本发明基于连续的视频帧图像序列中人员动作序列状态进行计数，能够实现高效、实时、准确的计数。

Description

一种引体向上动作判定与计数的方法、系统及装置
技术领域
本发明涉及一种引体向上动作判定与计数的方法、系统和装置，属于计算机视觉技术领域。
背景技术
根据《国家学生体质健康标准》的要求，引体向上是衡量初中以上学生体质健康的必考项目之一。同时，《军事体育训练大纲》也规定了引体向上是部队官兵必考的体育训练科目之一。由于人工计数引体向上难以确保客观公正，且不够高效便捷，所以现有考核中多以基于传感器的方法进行计数，即通过在单杠水平杆侧壁两端上部、单杠水平杆侧壁上部、单杠水平杆侧壁下部分别安装红外线传感器、压力传感器、超声波传感器，对感应信息进行分析，完成引体向上动作的判定和计数。这类方法设备成本较低，判定计数准确度较高，但设备搭载复杂，操作便捷性较差。
近年来，基于深度学习的视觉计数方法被提出，如梁佐鑫等人提出的基于深度卷积网络的引体向上计数检测方法及装置(CN107122798A)，通过构建多层深度卷积神经网络并基于预先收集的规范动作视频对神经网络进行训练，生成标准动作序列模型，然后对新的待判定视频进行分析，检测人体动作形成动作序列，再与标准动作序列进行比对，实现判定和计数。该方法和装置操作简单方便，但判定计数精度有限、实时性不足。为了进一步提高计数效果和效率，多个基于新兴的人体骨骼关键点检测识别技术的引体向上动作判定和计数方法被提出，如张堃等人提出的基于Quick-OpenPose模型的引体向上测试计数方法及系统(CN111368791A)；罗磊等人提出的基于人脸识别和人体姿态估计的引体向上测试系统(CN111167107A)；韦洪雷等人提出的一种基于骨骼和人脸关键点的引体向上检测系统及方法(CN111282248A)；王诚等人提出的一种基于人体骨骼关键点检测的引体向上智能计数方法(CN112801005A)，这些方法都是基于人体全身骨骼关键点或辅以人脸关键点进行的计数。在实际应用中，上述基于全身的骨骼关键点的计数方法，当全身人体在画面中占比较小时，检测的骨骼关键点会出现位置不准确或漂移，导致计数错误；基于单个视频帧图像的动作进行判定，计数速度慢、实时性差。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种引体向上动作判定与计数的方法、系统和装置，基于连续的视频帧图像序列中人员动作序列状态进行计数，能够实现高效、实时、准确的计数。为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种引体向上动作判定与计数的方法，包括：
获取执行引体向上动作的待测人员的视频帧图像序列；
根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点，基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；其中，所述动作状态是预先定义的；
基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
结合第一方面，进一步地，所述视频帧图像序列由摄像设备对执行引体向上动作的待测人员进行摄录得到。
结合第一方面，进一步地，摄像设备进行摄录满足以下条件：
采用无畸变或仅有极小畸变的镜头，或具有畸形校正技术能够对摄录的视频帧图像进行畸形校正，确保视频帧图像无畸变；
正对待测人员进行摄录，并确保待测人员上半身完整出现在视频帧图像中，并占据画面主体；
拍摄到清晰的视频帧图像，当拍摄环境光照过度或不足，采用人工干预保证光照适度。
结合第一方面，优选地，采用OpenPose模型或轻量化OpenPose模型检测得到人体局部骨骼关键点。
结合第一方面，进一步地，预先定义的动作状态包括悬垂态、中间态和过杠态，其中，
悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态，动作状态序列记为S1；
中间态表示待测人员手臂弯曲、下颌未过杠，肩部未达腕部高度，肩部高度高于或低于肘部，动作状态序列记为S2；
过杠态表示待测人员下颌过杠，手臂折叠，肩部距肘部略大于腕部距肘部的距离，动作状态序列记为S3。
结合第一方面，进一步地，对待测人员的动作状态进行判定，包括：
选取人体局部骨骼关键点中左肩、右肩，左肘、右肘，左腕、右腕六个左右成对出现的关键点，计算肩部、肘部、腕部的关键点垂直坐标的平均值，分别记为P1、P2、P3；
基于P1、P2、P3对动作状态进行判定：
当(P1>P2)&&(P2>P3)&&((P1-P2)>(P2-P3)*λ1)时，判定为悬垂态S1；
当(P2>P3)&&(abs(P1-P2)<(P2-P3)*λ2)时，判定为中间态S2；
当(P1<P2)&&(P2>P3)&&((P2-P1)>(P2-P3)*λ3)时，判定为过杠态S3；
其中，λ1、λ2、λ3为预设的经验参数，&&表示两个条件要同时成立，abs() 表示取绝对值。
结合第一方面，进一步地，所述预先定义的动作类型包括规范动作和非规范动作，所述非规范动作包括未过杠动作和未直臂动作，判定依据为：
若一个引体向上动作由状态S1开始，经过状态S2达到状态S3，再经过状态S2回到状态S1，则判定为一个规范动作；其中，在两个相邻的状态S1之间，能够出现多个状态S2和多个状态S3；
若一个引体向上动作由状态S1开始，经过状态S2后直接回到状态S1，未经过状态S3，则判定为未过杠动作；
若一个引体向上动作由状态S1开始，经过状态S2达到状态S3，再次经过状态S2达到状态S3，而未回到状态S1，则判定为未直臂动作。
结合第一方面，进一步地，判定待测人员的动作类型，包括：
步骤1：初始化序列编号t＝0，动作状态S(t)＝S0，计数器N为0，辅助标识状态C1＝0、C2＝0、C3＝0；
步骤2：执行t＝t+1；读取视频帧图像I(t)，对待测人员的动作状态进行判定得到动作状态S(t)；
步骤3：根据S(t)执行计数过程，返回步骤2；
步骤4：当待测人员结束测试时输出待测人员的计数结果，返回步骤1对下一为待测人员进行判定。
结合第一方面，进一步地，所述计数过程包括：
若S(t)＝S1&&S(t-1)≠S1，根据辅助标识状态C1、C2、C3执行判定：
若C1＝0，则C1＝C1+1；
若C1>0&&C2>0&&C3＝0，则判定为未过杠动作，输出提示告警；
若C1>0&&C2>0&&C3>0，则判定为规范动作，执行N＝N+1并输出计数，然后设置C1＝0、C2＝0、C3＝0；
若S(t)＝S2&&S(t-1)≠S2，则执行C2＝C2+1；
若S(t)＝S3&&S(t-1)≠S3，根据辅助标识状态C3执行判定：
若C3＝0，则执行C3＝C3+1；
若C3>0，则判定为未直臂动作，输出提示告警，并执行C3＝C3+1。
第二方面，本发明提供了一种引体向上动作判定与计数的系统，包括：
获取模块：用于获取执行引体向上动作的待测人员的视频帧图像序列；
人体局部骨骼关键点检测模块：用于根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点；
第一判定模块：用于基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；其中，所述动作状态是预先定义的；
第二判定模块：用于基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
第三方面，本发明提供了一种引体向上动作判定与计数的装置，包括摄像设备、输出设备、电源设备、处理器和存储介质，
所述处理器接收摄像设备摄录的视频帧图像序列，执行第一方面所述一种引体向上动作判定与计数的方法的步骤，得到待测人员的动作类型以及计数结果；
所述存储介质用于存储摄像设备摄录的视频帧图像序列和处理器执行的指令；
所述输出设备用于输出所述视频帧图像序列、待测人员的动作类型、非规范动作时的提示告警、以及待测人员的计数结果；
所示电源设备用于为所述摄像设备、输出设备、处理器和存储介质供电。
结合第三方面，优选地，所述摄像设备采用CSI摄像头或USB摄像头。
结合第三方面，优选地，所述处理器和存储介质采用英伟达Jetson系列嵌入式开发板。
结合第三方面，优选地，所述输出设备包括显示输出子设备和语音输出子设备。
结合第三方面，优选地，所述显示输出子设备采用5～10寸的显示屏或触控屏。
结合第三方面，优选地，所述电源设备采用锂电池或轻便式移动电源。
与现有技术相比，本发明实施例所提供的一种引体向上动作判定与计数的方法、系统和装置所达到的有益效果包括：
本发明对执行引体向上动作的待测人员进行动作判定和计数，包括：获取执行引体向上动作的待测人员的视频帧图像序列；根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点，基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；本发明对连续的视频帧图像序列中人员动作序列状态进行决策，与现有技术中基于单个视频帧图像中的动作状态进行判定相比，能够获得更加鲁棒、可靠的判定结果；
本发明基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；本发明的判定过程和计数过程具有非常低的计算代价和存储代价，本发明具有高效实时的判定计数速度；当待测人员引体向上动作不规范时，能够提示待测人员执行规范动作，辅助提升训练或考核的效果；
本发明提供了一种引体向上动作判定与计数的装置，是由摄像设备、输出设备、电源设备、处理器和存储介质组成的嵌入式移动设备，与现有引体向上测试设备相比，具有体积小、价格低、可实时运行、可便携移动的优势。
附图说明
图1是本发明实施例1提供的一种引体向上动作判定与计数的方法的流程图；
图2是本发明实施例1提供的一种引体向上动作判定与计数的方法中视频帧图像中部分人体骨骼关键点的示意图；
图3是本发明实施例1提供的一种引体向上动作判定与计数的方法中不同动作类型的动作状态变化图；
图4是本发明实施例1提供的一种引体向上动作判定与计数的方法中动作类型判定的流程图；
图5是本发明实施例3提供的一种引体向上动作判定与计数的装置的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1：
如图1所示，一种引体向上动作判定与计数的方法，包括：
获取执行引体向上动作的待测人员的视频帧图像序列；
根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点，基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；其中，所述动作状态是预先定义的；
基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
如图1所示，具体步骤如下：
步骤1：获取执行引体向上动作的待测人员的视频帧图像序列。
视频帧图像序列由摄像设备对执行引体向上动作的待测人员进行摄录得到，摄像设备采用CSI摄像头或USB摄像头。
摄像设备采用无畸变或仅有极小畸变的镜头，或具有畸形校正技术(如张正友相机标定法)能够对摄录的视频帧图像进行畸形校正，确保视频帧图像无畸变。
摄像设备在拍摄时，正对待测人员进行摄录，并确保待测人员上半身完整出现在视频帧图像中，并占据画面主体。通常情况下，拍摄距离再3-5米时为最佳。在条件受限时，应部署在待测人员正前方左右45度角以内，不建议部署在超过45度角的位置。
摄像设备在拍摄时应确保拍能够拍摄到清晰的人员成像，若拍摄环境光照过度或不足，应人工干预保证光照适度。在室外条件下，应尽可能背光拍摄，防止视频帧图像曝光过度。在室内条件下，应调节光照保证摄像设备能拍摄到清晰的视频帧图像。
步骤2：根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点。
采用OpenPose模型或轻量化OpenPose模型从视频帧图像序列中检测得到人体局部骨骼关键点，包括18个人体骨骼关键点(如表1所示)。其中，除鼻子和脖子两个关键点外，其他关键点都是左右成对存在。
表1关键点集合
编号 关键点 编号 关键点
0 鼻子(nose) 9 左腕(left_wrist)
1 左眼(left_eye) 10 右腕(right_wrist)
2 右眼(right_eye) 11 左臀(left_hip)
3 左耳(left_ear) 12 右臀(right_hip)
4 右耳(right_ear) 13 左膝盖(left_knee)
5 左肩(left_shoulder) 14 右膝盖(right_knee)
6 右肩(right_shoulder) 15 左脚踝(left_ankle)
7 左肘(left_elbow) 16 右脚踝(right_ankle)
8 右肘(right_elbow) 17 脖子(neck)
具体地，OpenPose模型技术的相关方法见OpenPose:Realtime Multi-Person 2DPose Estimation Using Part Affinity Fields，TPAMI 2021。
具体地，轻量化OpenPose模型技术的相关方法见Real-time 2D Multi-PersonPose Estimation on CPU:Lightweight OpenPose，ICPRAM 2019。
步骤3：基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列。动作状态是预先定义的，包括悬垂态、中间态和过杠态。
所述悬垂态、中间态和过杠态三种动作状态的定义，是依据引体向上动作主要为手臂拉杆的垂直运动，且一个完整的拉杠过程可表示为：悬垂态—>拉升态—>过杠态—>下降态—>悬垂态。其中，拉升态、下降态处于悬垂态和过杠态的中间，故统一称它们为中间态。由此，可将引体向上动作过程划分为悬垂态、中间态、过杠态三种状态。
具体的，悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态，动作状态序列记为S1；中间态表示待测人员手臂弯曲、下颌未过杠，肩部未达腕部高度，肩部高度高于或低于肘部，动作状态序列记为S2；过杠态表示待测人员下颌过杠，手臂折叠，肩部距肘部略大于腕部距肘部的距离，动作状态序列记为S3。
如图2所示，对待测人员的动作状态进行判定，包括：
选取人体局部骨骼关键点中左肩、右肩，左肘、右肘，左腕、右腕六个左右成对出现的关键点，计算肩部、肘部、腕部的关键点垂直坐标的平均值，分别记为P1、P2、P3；
基于P1、P2、P3对动作状态进行判定：
当(P1>P2)&&(P2>P3)&&((P1-P2)>(P2-P3)*λ1)时，判定为悬垂态S1；
当(P2>P3)&&(abs(P1-P2)<(P2-P3)*λ2)时，判定为中间态S2；
当(P1<P2)&&(P2>P3)&&((P2-P1)>(P2-P3)*λ3)时，判定为过杠态S3；
其中，λ1、λ2、λ3为预设的经验参数，&&表示两个条件要同时成立，abs() 表示取绝对值。
为了可靠地判定动作状态，在本实施例中提供参数λ1、λ2、λ3的一种优选的设置：λ1＝0.9、λ2＝0.35、λ3＝0.9。
一个引体向上动作过程经所述动作状态判定能够得到一个动作状态序列。该序列从状态S1开始，长度不限；当动作状态再次出现态S1，则结束该动作状态序列，重新开始一个新的动作状态序列。
步骤4：基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
如图3所示，预先定义的动作类型包括规范动作和非规范动作，所述非规范动作包括未过杠动作和未直臂动作，判定依据为：
(1)规范动作：
如图3(a)所示，一个引体向上动作从状态S1开始，经过状态S2达到状态S3，再经过状态S2回到状态S1。在两个相邻的状态S1之间，可以出现多个状态S2和多个状态S3，但是必须经过至少一个状态S3。该过程计数只算一次
(2)未过杠动作：
如图3(b)所示，一个引体向上动作从状态S1开始，经过状态S2后直接回到状态S1，未经过状态S3。该情况是因为待测人员手臂力量不足，无法将身体充分拉升使下颌过杠。判定为未过杠动作，应输出动作未过杠告警。
(3)未直臂动作：
如图3(c)所示，一个引体向上动作从状态S1开始，经过状态S2达到状态S3，再次经过状态S2达到状态S3，而未回到状态S1。该情况是因为待测人员一个引体向上动作未完成就开始了下一个引体向上动作，为遵守标准规范。判定为未直臂动作，应输出动作未直臂告警。
如图4所示为动作类型判定的流程图，包括：
步骤4.1：初始化序列编号t＝0，动作状态S(t)＝S0，计数器N为0，辅助标识状态C1＝0、C2＝0、C3＝0；
步骤4.2：执行t＝t+1；读取视频帧图像I(t)，对待测人员的动作状态进行判定得到动作状态S(t)；
步骤4.3：根据S(t)执行计数过程，返回步骤4.2；
其中，计数过程包括：
若S(t)＝S1&&S(t-1)≠S1，根据辅助标识状态C1、C2、C3执行判定：
若C1＝0，则C1＝C1+1；
若C1>0&&C2>0&&C3＝0，则判定为未过杠动作，输出提示告警；
若C1>0&&C2>0&&C3>0，则判定为规范动作，执行N＝N+1并输出计数，然后设置C1＝0、C2＝0、C3＝0；
若S(t)＝S2&&S(t-1)≠S2，则执行C2＝C2+1；
若S(t)＝S3&&S(t-1)≠S3，根据辅助标识状态C3执行判定：
若C3＝0，则执行C3＝C3+1；
若C3>0，则判定为未直臂动作，输出提示告警，并执行C3＝C3+1；
步骤4.4：当待测人员结束测试时输出待测人员的计数结果，返回步骤1对下一为待测人员进行判定。
实施例2：
本实施例提供了一种引体向上动作判定与计数的系统，包括：
获取模块：用于获取执行引体向上动作的待测人员的视频帧图像序列；
人体局部骨骼关键点检测模块：用于根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点；
第一判定模块：用于基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；其中，所述动作状态是预先定义的；
第二判定模块：用于基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
实施例3：
如图5所示，本发明实施例提供一种引体向上动作判定与计数的装置，是由摄像设备、输出设备、处理器和存储介质、以及电源设备组成嵌入式移动设备。
摄像设备的优选配置为CSI摄像头或USB摄像头。
处理器接收摄像设备摄录的视频帧图像序列，执行第一方面所述一种引体向上动作判定与计数的方法的步骤，得到待测人员的动作类型以及计数结果。
存储介质用于存储摄像设备摄录的视频帧图像序列和处理器执行的指令。
处理器和存储子装置的优选配置为英伟达Jetson NX嵌入式开发板或英伟达Jetson TX2嵌入式开发板。
输出设备包括显示输出子设备和语音输出子设备。显示输出子设备采用 5～10寸的显示屏或触控屏，用于输出视频帧图像序列、判定的待测人员的动作类型、待测人员的计数结果。语音输出子设备播报提示告警的语音。
电源设备与摄像设备、输出设备、处理器和存储介质连接，为引体向上动作判定与计数的装置供电。电源设备的优选配置为锂电池或轻便式移动电源。
与现有引体向上测试设备相比，本装置具有体积小、价格低、可实时运行、可便携移动的优势。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种引体向上动作判定与计数的方法，其特征在于，包括：
获取执行引体向上动作的待测人员的视频帧图像序列；
根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点；
基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；其中，所述动作状态是预先定义的，包括悬垂态、中间态和过杠态，选取人体局部骨骼关键点中左肩、右肩，左肘、右肘，左腕、右腕六个左右成对出现的关键点，对动作状态进行判定，悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态，动作状态序列记为S1；中间态表示待测人员手臂弯曲、下颌未过杠，肩部未达腕部高度，肩部高度高于或低于肘部，动作状态序列记为S2；过杠态表示待测人员下颌过杠，手臂折叠，肩部距肘部略大于腕部距肘部的距离，动作状态序列记为S3；
基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，非规范动作包括未过杠动作和未直臂动作，判定依据为：若一个引体向上动作由状态S1开始，经过状态S2达到状态S3，再经过状态S2回到状态S1，则判定为一个规范动作；其中，在两个相邻的状态S1之间，能够出现多个状态S2和多个状态S3；若一个引体向上动作由状态S1开始，经过状态S2后直接回到状态S1，未经过状态S3，则判定为未过杠动作；若一个引体向上动作由状态S1开始，经过状态S2达到状态S3，再次经过状态S2达到状态S3，而未回到状态S1，则判定为未直臂动作；
响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
2.根据权利要求1所述的引体向上动作判定与计数的方法，其特征在于，所述视频帧图像序列由摄像设备对执行引体向上动作的待测人员进行摄录得到。
3.根据权利要求2所述的引体向上动作判定与计数的方法，其特征在于，摄像设备进行摄录满足以下条件：
采用无畸变或仅有极小畸变的镜头，或具有畸形校正技术能够对摄录的视频帧图像进行畸形校正，确保视频帧图像无畸变；
正对待测人员进行摄录，并确保待测人员上半身完整出现在视频帧图像中，并占据画面主体；
拍摄到清晰的视频帧图像，当拍摄环境光照过度或不足，采用人工干预保证光照适度。
4.根据权利要求1所述的引体向上动作判定与计数的方法，其特征在于，对待测人员的动作状态进行判定，包括：
计算肩部、肘部、腕部的关键点垂直坐标的平均值，分别记为P1、P2、P3；
基于P1、P2、P3对动作状态进行判定：
当(P1>P2)&&(P2>P3)&&((P1-P2)>(P2-P3)*λ1)时，判定为悬垂态S1；
当(P2>P3)&&(abs(P1-P2)<(P2-P3)*λ2)时，判定为中间态S2；
当(P1<P2)&&(P2>P3)&&((P2-P1)>(P2-P3)*λ3)时，判定为过杠态S3；其中，λ1、λ2、λ3为预设的经验参数，&&表示两个条件要同时成立，abs()表示取绝对值。
5.根据权利要求1所述的引体向上动作判定与计数的方法，其特征在于，判定待测人员的动作类型，包括：
步骤1：初始化序列编号t＝0，动作状态S(t)＝S0，计数器N为0，辅助标识状态C1＝0、C2＝0、C3＝0；
步骤2：执行t＝t+1；读取视频帧图像I(t)，对待测人员的动作状态进行判定得到动作状态S(t)；
步骤3：根据S(t)执行计数过程，返回步骤2；
步骤4：当待测人员结束测试时输出待测人员的计数结果，返回步骤1对下一为待测人员进行判定。
6.根据权利要求5所述的引体向上动作判定与计数的方法，其特征在于，所述计数过程包括：
若S(t)＝S1&&S(t-1)≠S1，根据辅助标识状态C1、C2、C3执行判定：
若C1＝0，则C1＝C1+1；
若C1>0&&C2>0&&C3＝0，则判定为未过杠动作，输出提示告警；
若C1>0&&C2>0&&C3>0，则判定为规范动作，执行N＝N+1并输出计数，然后设置C1＝0、C2＝0、C3＝0；
若S(t)＝S2&&S(t-1)≠S2，则执行C2＝C2+1；
若S(t)＝S3&&S(t-1)≠S3，根据辅助标识状态C3执行判定：
若C3＝0，则执行C3＝C3+1；
若C3>0，则判定为未直臂动作，输出提示告警，并执行C3＝C3+1。
7.一种引体向上动作判定与计数的系统，其特征在于，包括：
获取模块：用于获取执行引体向上动作的待测人员的视频帧图像序列；
人体局部骨骼关键点检测模块：用于根据获取到的视频帧图像序列，检测得到人体局部骨骼关键点；
第一判定模块：用于基于人体局部骨骼关键点对待测人员的动作状态进行判定，得到待测人员的动作状态序列；其中，所述动作状态是预先定义的，包括悬垂态、中间态和过杠态，选取人体局部骨骼关键点中左肩、右肩，左肘、右肘，左腕、右腕六个左右成对出现的关键点，对动作状态进行判定，悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态，动作状态序列记为S1；中间态表示待测人员手臂弯曲、下颌未过杠，肩部未达腕部高度，肩部高度高于或低于肘部，动作状态序列记为S2；过杠态表示待测人员下颌过杠，手臂折叠，肩部距肘部略大于腕部距肘部的距离，动作状态序列记为S3；
第二判定模块：用于基于预先定义的动作类型和得到的动作状态序列，判定待测人员的动作类型为规范动作/非规范动作，非规范动作包括未过杠动作和未直臂动作，判定依据为：若一个引体向上动作由状态S1开始，经过状态S2达到状态S3，再经过状态S2回到状态S1，则判定为一个规范动作；其中，在两个相邻的状态S1之间，能够出现多个状态S2和多个状态S3；若一个引体向上动作由状态S1开始，经过状态S2后直接回到状态S1，未经过状态S3，则判定为未过杠动作；若一个引体向上动作由状态S1开始，经过状态S2达到状态S3，再次经过状态S2达到状态S3，而未回到状态S1，则判定为未直臂动作；响应于待测人员的动作类型进行计数，当判定引体向上动作为非规范动作时输出提示告警，当判定引体向上动作为规范动作时计数加一；结束测试时输出待测人员的计数结果。
8.一种引体向上动作判定与计数的装置，其特征在于，包括：摄像设备、输出设备、电源设备、处理器和存储介质，
所述处理器接收摄像设备摄录的视频帧图像序列，执行权利要求1～6任一项所述一种引体向上动作判定与计数的方法的步骤，得到待测人员的动作类型以及计数结果；
所述存储介质用于存储摄像设备摄录的视频帧图像序列和处理器执行的指令；
所述输出设备用于输出所述视频帧图像序列、待测人员的动作类型、非规范动作时的提示告警、以及待测人员的计数结果；
所示电源设备用于为所述摄像设备、输出设备、处理器和存储介质供电。
CN202111026072.XA 2021-09-02 2021-09-02 一种引体向上动作判定与计数的方法、系统及装置 Active CN113856186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111026072.XA CN113856186B (zh) 2021-09-02 2021-09-02 一种引体向上动作判定与计数的方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111026072.XA CN113856186B (zh) 2021-09-02 2021-09-02 一种引体向上动作判定与计数的方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113856186A CN113856186A (zh) 2021-12-31
CN113856186B true CN113856186B (zh) 2022-08-09

Family

ID=78989182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026072.XA Active CN113856186B (zh) 2021-09-02 2021-09-02 一种引体向上动作判定与计数的方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113856186B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115138059B (zh) * 2022-09-06 2022-12-02 南京市觉醒智能装备有限公司 一种引体向上的规范计数方法、系统及其存储介质
CN116306766B (zh) * 2023-03-23 2023-09-22 北京奥康达体育产业股份有限公司 一种基于骨骼识别技术的智慧单杠引体向上考核训练系统
CN116563951B (zh) * 2023-07-07 2023-09-26 东莞先知大数据有限公司 一种单杠悬挂动作规范确定方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208319925U (zh) * 2018-06-12 2019-01-04 东北师范大学 一种基于骨骼图像自动识别引体向上个数的体测器材
CN111282248A (zh) * 2020-05-12 2020-06-16 西南交通大学 一种基于骨骼和人脸关键点的引体向上检测系统及方法
CN111368791A (zh) * 2020-03-18 2020-07-03 南通大学 基于Quick-OpenPose模型的引体向上测试计数方法及系统
CN112800905A (zh) * 2021-01-19 2021-05-14 浙江光珀智能科技有限公司 一种基于rgbd相机姿态估计的引体向上计数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905593B (zh) * 2018-11-06 2021-10-15 华为技术有限公司 一种图像处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208319925U (zh) * 2018-06-12 2019-01-04 东北师范大学 一种基于骨骼图像自动识别引体向上个数的体测器材
CN111368791A (zh) * 2020-03-18 2020-07-03 南通大学 基于Quick-OpenPose模型的引体向上测试计数方法及系统
CN111282248A (zh) * 2020-05-12 2020-06-16 西南交通大学 一种基于骨骼和人脸关键点的引体向上检测系统及方法
CN112800905A (zh) * 2021-01-19 2021-05-14 浙江光珀智能科技有限公司 一种基于rgbd相机姿态估计的引体向上计数方法

Also Published As

Publication number Publication date
CN113856186A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113856186B (zh) 一种引体向上动作判定与计数的方法、系统及装置
CN111368810B (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
WO2021051579A1 (zh) 形体姿态识别方法、系统、装置及存储介质
Islam et al. Yoga posture recognition by detecting human joint points in real time using microsoft kinect
CN105809144B (zh) 一种采用动作切分的手势识别系统和方法
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
JP6124308B2 (ja) 動作評価装置及びそのプログラム
CN110448870B (zh) 一种人体姿态训练方法
CN111282248A (zh) 一种基于骨骼和人脸关键点的引体向上检测系统及方法
Anilkumar et al. Pose estimated yoga monitoring system
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN110298218B (zh) 交互式健身装置和交互式健身系统
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
KR102202490B1 (ko) 3차원 신체 모델 측정 장치 및 방법
CN110472473A (zh) 基于姿态估计检测扶梯上人跌倒的方法
JPWO2019116495A1 (ja) 技認識プログラム、技認識方法および技認識システム
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN112990137A (zh) 一种基于模板匹配的教室学生坐姿分析方法
Almasi et al. Human action recognition through the first-person point of view, case study two basic task
CN114973048A (zh) 康复动作的纠正方法、装置、电子设备及可读介质
KR20160075884A (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
CN113191200A (zh) 一种俯卧撑测试计数方法、装置、设备和介质
CN117292288A (zh) 体育测试方法、系统、电子设备、芯片及存储介质
CN116884088A (zh) 一种监控场景睡岗识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant