CN113856186A - 一种引体向上动作判定与计数的方法、系统及装置 - Google Patents
一种引体向上动作判定与计数的方法、系统及装置 Download PDFInfo
- Publication number
- CN113856186A CN113856186A CN202111026072.XA CN202111026072A CN113856186A CN 113856186 A CN113856186 A CN 113856186A CN 202111026072 A CN202111026072 A CN 202111026072A CN 113856186 A CN113856186 A CN 113856186A
- Authority
- CN
- China
- Prior art keywords
- action
- state
- person
- pull
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 228
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 9
- 210000000707 wrist Anatomy 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 13
- 210000000988 bone and bone Anatomy 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000725 suspension Substances 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 210000004373 mandible Anatomy 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 210000003423 ankle Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 230000036244 malformation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910001374 Invar Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0605—Decision makers and devices using detection means facilitating arbitration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
- A63B21/06—User-manipulated weights
- A63B21/068—User-manipulated weights using user's body weight
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0669—Score-keepers or score display devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
- A63B2024/0065—Evaluating the fitness, e.g. fitness level or fitness index
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0647—Visualisation of executed movements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/065—Visualisation of specific exercise parameters
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种引体向上动作判定与计数的方法,包括:获取执行引体向上动作的待测人员的视频帧图像序列;根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点;基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。本发明基于连续的视频帧图像序列中人员动作序列状态进行计数,能够实现高效、实时、准确的计数。
Description
技术领域
本发明涉及一种引体向上动作判定与计数的方法、系统和装置,属于计算机视觉技术领域。
背景技术
根据《国家学生体质健康标准》的要求,引体向上是衡量初中以上学生体质健康的必考项目之一。同时,《军事体育训练大纲》也规定了引体向上是部队官兵必考的体育训练科目之一。由于人工计数引体向上难以确保客观公正,且不够高效便捷,所以现有考核中多以基于传感器的方法进行计数,即通过在单杠水平杆侧壁两端上部、单杠水平杆侧壁上部、单杠水平杆侧壁下部分别安装红外线传感器、压力传感器、超声波传感器,对感应信息进行分析,完成引体向上动作的判定和计数。这类方法设备成本较低,判定计数准确度较高,但设备搭载复杂,操作便捷性较差。
近年来,基于深度学习的视觉计数方法被提出,如梁佐鑫等人提出的基于深度卷积网络的引体向上计数检测方法及装置(CN107122798A),通过构建多层深度卷积神经网络并基于预先收集的规范动作视频对神经网络进行训练,生成标准动作序列模型,然后对新的待判定视频进行分析,检测人体动作形成动作序列,再与标准动作序列进行比对,实现判定和计数。该方法和装置操作简单方便,但判定计数精度有限、实时性不足。为了进一步提高计数效果和效率,多个基于新兴的人体骨骼关键点检测识别技术的引体向上动作判定和计数方法被提出,如张堃等人提出的基于Quick-OpenPose模型的引体向上测试计数方法及系统(CN111368791A);罗磊等人提出的基于人脸识别和人体姿态估计的引体向上测试系统(CN111167107A);韦洪雷等人提出的一种基于骨骼和人脸关键点的引体向上检测系统及方法(CN111282248A);王诚等人提出的一种基于人体骨骼关键点检测的引体向上智能计数方法(CN112801005A),这些方法都是基于人体全身骨骼关键点或辅以人脸关键点进行的计数。在实际应用中,上述基于全身的骨骼关键点的计数方法,当全身人体在画面中占比较小时,检测的骨骼关键点会出现位置不准确或漂移,导致计数错误;基于单个视频帧图像的动作进行判定,计数速度慢、实时性差。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种引体向上动作判定与计数的方法、系统和装置,基于连续的视频帧图像序列中人员动作序列状态进行计数,能够实现高效、实时、准确的计数。为达到上述目的,本发明是采用下述技术方案实现的:
第一方面,本发明提供了一种引体向上动作判定与计数的方法,包括:
获取执行引体向上动作的待测人员的视频帧图像序列;
根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点,基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;其中,所述动作状态是预先定义的;
基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
结合第一方面,进一步地,所述视频帧图像序列由摄像设备对执行引体向上动作的待测人员进行摄录得到。
结合第一方面,进一步地,摄像设备进行摄录满足以下条件:
采用无畸变或仅有极小畸变的镜头,或具有畸形校正技术能够对摄录的视频帧图像进行畸形校正,确保视频帧图像无畸变;
正对待测人员进行摄录,并确保待测人员上半身完整出现在视频帧图像中,并占据画面主体;
拍摄到清晰的视频帧图像,当拍摄环境光照过度或不足,采用人工干预保证光照适度。
结合第一方面,优选地,采用OpenPose模型或轻量化OpenPose模型检测得到人体局部骨骼关键点。
结合第一方面,进一步地,预先定义的动作状态包括悬垂态、中间态和过杠态,其中,
悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态,动作状态序列记为S1;
中间态表示待测人员手臂弯曲、下颌未过杠,肩部未达腕部高度,肩部高度高于或低于肘部,动作状态序列记为S2;
过杠态表示待测人员下颌过杠,手臂折叠,肩部距肘部略大于腕部距肘部的距离,动作状态序列记为S3。
结合第一方面,进一步地,对待测人员的动作状态进行判定,包括:
选取人体局部骨骼关键点中左肩、右肩,左肘、右肘,左腕、右腕六个左右成对出现的关键点,计算肩部、肘部、腕部的关键点垂直坐标的平均值,分别记为P1、P2、P3;
基于P1、P2、P3对动作状态进行判定:
当(P1>P2)&&(P2>P3)&&((P1-P2)>(P2-P3)*λ1)时,判定为悬垂态S1;
当(P2>P3)&&(abs(P1-P2)<(P2-P3)*λ2)时,判定为中间态S2;
当(P1<P2)&&(P2>P3)&&((P2-P1)>(P2-P3)*λ3)时,判定为过杠态S3;
其中,λ1、λ2、λ3为预设的经验参数,&&表示两个条件要同时成立,abs() 表示取绝对值。
结合第一方面,进一步地,所述预先定义的动作类型包括规范动作和非规范动作,所述非规范动作包括未过杠动作和未直臂动作,判定依据为:
若一个引体向上动作由状态S1开始,经过状态S2达到状态S3,再经过状态S2回到状态S1,则判定为一个规范动作;其中,在两个相邻的状态S1之间,能够出现多个状态S2和多个状态S3;
若一个引体向上动作由状态S1开始,经过状态S2后直接回到状态S1,未经过状态S3,则判定为未过杠动作;
若一个引体向上动作由状态S1开始,经过状态S2达到状态S3,再次经过状态S2达到状态S3,而未回到状态S1,则判定为未直臂动作。
结合第一方面,进一步地,判定待测人员的动作类型,包括:
步骤1:初始化序列编号t=0,动作状态S(t)=S0,计数器N为0,辅助标识状态C1=0、C2=0、C3=0;
步骤2:执行t=t+1;读取视频帧图像I(t),对待测人员的动作状态进行判定得到动作状态S(t);
步骤3:根据S(t)执行计数过程,返回步骤2;
步骤4:当待测人员结束测试时输出待测人员的计数结果,返回步骤1对下一为待测人员进行判定。
结合第一方面,进一步地,所述计数过程包括:
若S(t)=S1&&S(t-1)≠S1,根据辅助标识状态C1、C2、C3执行判定:
若C1=0,则C1=C1+1;
若C1>0&&C2>0&&C3=0,则判定为未过杠动作,输出提示告警;
若C1>0&&C2>0&&C3>0,则判定为规范动作,执行N=N+1并输出计数,然后设置C1=0、C2=0、C3=0;
若S(t)=S2&&S(t-1)≠S2,则执行C2=C2+1;
若S(t)=S3&&S(t-1)≠S3,根据辅助标识状态C3执行判定:
若C3=0,则执行C3=C3+1;
若C3>0,则判定为未直臂动作,输出提示告警,并执行C3=C3+1。
第二方面,本发明提供了一种引体向上动作判定与计数的系统,包括:
获取模块:用于获取执行引体向上动作的待测人员的视频帧图像序列;
人体局部骨骼关键点检测模块:用于根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点;
第一判定模块:用于基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;其中,所述动作状态是预先定义的;
第二判定模块:用于基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
第三方面,本发明提供了一种引体向上动作判定与计数的装置,包括摄像设备、输出设备、电源设备、处理器和存储介质,
所述处理器接收摄像设备摄录的视频帧图像序列,执行第一方面所述一种引体向上动作判定与计数的方法的步骤,得到待测人员的动作类型以及计数结果;
所述存储介质用于存储摄像设备摄录的视频帧图像序列和处理器执行的指令;
所述输出设备用于输出所述视频帧图像序列、待测人员的动作类型、非规范动作时的提示告警、以及待测人员的计数结果;
所示电源设备用于为所述摄像设备、输出设备、处理器和存储介质供电。
结合第三方面,优选地,所述摄像设备采用CSI摄像头或USB摄像头。
结合第三方面,优选地,所述处理器和存储介质采用英伟达Jetson系列嵌入式开发板。
结合第三方面,优选地,所述输出设备包括显示输出子设备和语音输出子设备。
结合第三方面,优选地,所述显示输出子设备采用5~10寸的显示屏或触控屏。
结合第三方面,优选地,所述电源设备采用锂电池或轻便式移动电源。
与现有技术相比,本发明实施例所提供的一种引体向上动作判定与计数的方法、系统和装置所达到的有益效果包括:
本发明对执行引体向上动作的待测人员进行动作判定和计数,包括:获取执行引体向上动作的待测人员的视频帧图像序列;根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点,基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;本发明对连续的视频帧图像序列中人员动作序列状态进行决策,与现有技术中基于单个视频帧图像中的动作状态进行判定相比,能够获得更加鲁棒、可靠的判定结果;
本发明基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;本发明的判定过程和计数过程具有非常低的计算代价和存储代价,本发明具有高效实时的判定计数速度;当待测人员引体向上动作不规范时,能够提示待测人员执行规范动作,辅助提升训练或考核的效果;
本发明提供了一种引体向上动作判定与计数的装置,是由摄像设备、输出设备、电源设备、处理器和存储介质组成的嵌入式移动设备,与现有引体向上测试设备相比,具有体积小、价格低、可实时运行、可便携移动的优势。
附图说明
图1是本发明实施例1提供的一种引体向上动作判定与计数的方法的流程图;
图2是本发明实施例1提供的一种引体向上动作判定与计数的方法中视频帧图像中部分人体骨骼关键点的示意图;
图3是本发明实施例1提供的一种引体向上动作判定与计数的方法中不同动作类型的动作状态变化图;
图4是本发明实施例1提供的一种引体向上动作判定与计数的方法中动作类型判定的流程图;
图5是本发明实施例3提供的一种引体向上动作判定与计数的装置的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1:
如图1所示,一种引体向上动作判定与计数的方法,包括:
获取执行引体向上动作的待测人员的视频帧图像序列;
根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点,基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;其中,所述动作状态是预先定义的;
基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
如图1所示,具体步骤如下:
步骤1:获取执行引体向上动作的待测人员的视频帧图像序列。
视频帧图像序列由摄像设备对执行引体向上动作的待测人员进行摄录得到,摄像设备采用CSI摄像头或USB摄像头。
摄像设备采用无畸变或仅有极小畸变的镜头,或具有畸形校正技术(如张正友相机标定法)能够对摄录的视频帧图像进行畸形校正,确保视频帧图像无畸变。
摄像设备在拍摄时,正对待测人员进行摄录,并确保待测人员上半身完整出现在视频帧图像中,并占据画面主体。通常情况下,拍摄距离再3-5米时为最佳。在条件受限时,应部署在待测人员正前方左右45度角以内,不建议部署在超过45度角的位置。
摄像设备在拍摄时应确保拍能够拍摄到清晰的人员成像,若拍摄环境光照过度或不足,应人工干预保证光照适度。在室外条件下,应尽可能背光拍摄,防止视频帧图像曝光过度。在室内条件下,应调节光照保证摄像设备能拍摄到清晰的视频帧图像。
步骤2:根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点。
采用OpenPose模型或轻量化OpenPose模型从视频帧图像序列中检测得到人体局部骨骼关键点,包括18个人体骨骼关键点(如表1所示)。其中,除鼻子和脖子两个关键点外,其他关键点都是左右成对存在。
表1关键点集合
编号 | 关键点 | 编号 | 关键点 |
0 | 鼻子(nose) | 9 | 左腕(left_wrist) |
1 | 左眼(left_eye) | 10 | 右腕(right_wrist) |
2 | 右眼(right_eye) | 11 | 左臀(left_hip) |
3 | 左耳(left_ear) | 12 | 右臀(right_hip) |
4 | 右耳(right_ear) | 13 | 左膝盖(left_knee) |
5 | 左肩(left_shoulder) | 14 | 右膝盖(right_knee) |
6 | 右肩(right_shoulder) | 15 | 左脚踝(left_ankle) |
7 | 左肘(left_elbow) | 16 | 右脚踝(right_ankle) |
8 | 右肘(right_elbow) | 17 | 脖子(neck) |
具体地,OpenPose模型技术的相关方法见OpenPose:Realtime Multi-Person 2DPose Estimation Using Part Affinity Fields,TPAMI 2021。
具体地,轻量化OpenPose模型技术的相关方法见Real-time 2D Multi-PersonPose Estimation on CPU:Lightweight OpenPose,ICPRAM 2019。
步骤3:基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列。动作状态是预先定义的,包括悬垂态、中间态和过杠态。
所述悬垂态、中间态和过杠态三种动作状态的定义,是依据引体向上动作主要为手臂拉杆的垂直运动,且一个完整的拉杠过程可表示为:悬垂态—>拉升态—>过杠态—>下降态—>悬垂态。其中,拉升态、下降态处于悬垂态和过杠态的中间,故统一称它们为中间态。由此,可将引体向上动作过程划分为悬垂态、中间态、过杠态三种状态。
具体的,悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态,动作状态序列记为S1;中间态表示待测人员手臂弯曲、下颌未过杠,肩部未达腕部高度,肩部高度高于或低于肘部,动作状态序列记为S2;过杠态表示待测人员下颌过杠,手臂折叠,肩部距肘部略大于腕部距肘部的距离,动作状态序列记为S3。
如图2所示,对待测人员的动作状态进行判定,包括:
选取人体局部骨骼关键点中左肩、右肩,左肘、右肘,左腕、右腕六个左右成对出现的关键点,计算肩部、肘部、腕部的关键点垂直坐标的平均值,分别记为P1、P2、P3;
基于P1、P2、P3对动作状态进行判定:
当(P1>P2)&&(P2>P3)&&((P1-P2)>(P2-P3)*λ1)时,判定为悬垂态S1;
当(P2>P3)&&(abs(P1-P2)<(P2-P3)*λ2)时,判定为中间态S2;
当(P1<P2)&&(P2>P3)&&((P2-P1)>(P2-P3)*λ3)时,判定为过杠态S3;
其中,λ1、λ2、λ3为预设的经验参数,&&表示两个条件要同时成立,abs() 表示取绝对值。
为了可靠地判定动作状态,在本实施例中提供参数λ1、λ2、λ3的一种优选的设置:λ1=0.9、λ2=0.35、λ3=0.9。
一个引体向上动作过程经所述动作状态判定能够得到一个动作状态序列。该序列从状态S1开始,长度不限;当动作状态再次出现态S1,则结束该动作状态序列,重新开始一个新的动作状态序列。
步骤4:基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
如图3所示,预先定义的动作类型包括规范动作和非规范动作,所述非规范动作包括未过杠动作和未直臂动作,判定依据为:
(1)规范动作:
如图3(a)所示,一个引体向上动作从状态S1开始,经过状态S2达到状态S3,再经过状态S2回到状态S1。在两个相邻的状态S1之间,可以出现多个状态S2和多个状态S3,但是必须经过至少一个状态S3。该过程计数只算一次
(2)未过杠动作:
如图3(b)所示,一个引体向上动作从状态S1开始,经过状态S2后直接回到状态S1,未经过状态S3。该情况是因为待测人员手臂力量不足,无法将身体充分拉升使下颌过杠。判定为未过杠动作,应输出动作未过杠告警。
(3)未直臂动作:
如图3(c)所示,一个引体向上动作从状态S1开始,经过状态S2达到状态S3,再次经过状态S2达到状态S3,而未回到状态S1。该情况是因为待测人员一个引体向上动作未完成就开始了下一个引体向上动作,为遵守标准规范。判定为未直臂动作,应输出动作未直臂告警。
如图4所示为动作类型判定的流程图,包括:
步骤4.1:初始化序列编号t=0,动作状态S(t)=S0,计数器N为0,辅助标识状态C1=0、C2=0、C3=0;
步骤4.2:执行t=t+1;读取视频帧图像I(t),对待测人员的动作状态进行判定得到动作状态S(t);
步骤4.3:根据S(t)执行计数过程,返回步骤4.2;
其中,计数过程包括:
若S(t)=S1&&S(t-1)≠S1,根据辅助标识状态C1、C2、C3执行判定:
若C1=0,则C1=C1+1;
若C1>0&&C2>0&&C3=0,则判定为未过杠动作,输出提示告警;
若C1>0&&C2>0&&C3>0,则判定为规范动作,执行N=N+1并输出计数,然后设置C1=0、C2=0、C3=0;
若S(t)=S2&&S(t-1)≠S2,则执行C2=C2+1;
若S(t)=S3&&S(t-1)≠S3,根据辅助标识状态C3执行判定:
若C3=0,则执行C3=C3+1;
若C3>0,则判定为未直臂动作,输出提示告警,并执行C3=C3+1;
步骤4.4:当待测人员结束测试时输出待测人员的计数结果,返回步骤1对下一为待测人员进行判定。
实施例2:
本实施例提供了一种引体向上动作判定与计数的系统,包括:
获取模块:用于获取执行引体向上动作的待测人员的视频帧图像序列;
人体局部骨骼关键点检测模块:用于根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点;
第一判定模块:用于基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;其中,所述动作状态是预先定义的;
第二判定模块:用于基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
实施例3:
如图5所示,本发明实施例提供一种引体向上动作判定与计数的装置,是由摄像设备、输出设备、处理器和存储介质、以及电源设备组成嵌入式移动设备。
摄像设备的优选配置为CSI摄像头或USB摄像头。
处理器接收摄像设备摄录的视频帧图像序列,执行第一方面所述一种引体向上动作判定与计数的方法的步骤,得到待测人员的动作类型以及计数结果。
存储介质用于存储摄像设备摄录的视频帧图像序列和处理器执行的指令。
处理器和存储子装置的优选配置为英伟达Jetson NX嵌入式开发板或英伟达Jetson TX2嵌入式开发板。
输出设备包括显示输出子设备和语音输出子设备。显示输出子设备采用 5~10寸的显示屏或触控屏,用于输出视频帧图像序列、判定的待测人员的动作类型、待测人员的计数结果。语音输出子设备播报提示告警的语音。
电源设备与摄像设备、输出设备、处理器和存储介质连接,为引体向上动作判定与计数的装置供电。电源设备的优选配置为锂电池或轻便式移动电源。
与现有引体向上测试设备相比,本装置具有体积小、价格低、可实时运行、可便携移动的优势。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种引体向上动作判定与计数的方法,其特征在于,包括:
获取执行引体向上动作的待测人员的视频帧图像序列;
根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点;
基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;其中,所述动作状态是预先定义的;
基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
2.根据权利要求1所述的引体向上动作判定与计数的方法,其特征在于,所述视频帧图像序列由摄像设备对执行引体向上动作的待测人员进行摄录得到。
3.根据权利要求2所述的引体向上动作判定与计数的方法,其特征在于,摄像设备进行摄录满足以下条件:
采用无畸变或仅有极小畸变的镜头,或具有畸形校正技术能够对摄录的视频帧图像进行畸形校正,确保视频帧图像无畸变;
正对待测人员进行摄录,并确保待测人员上半身完整出现在视频帧图像中,并占据画面主体;
拍摄到清晰的视频帧图像,当拍摄环境光照过度或不足,采用人工干预保证光照适度。
4.根据权利要求1所述的引体向上动作判定与计数的方法,其特征在于,预先定义的动作状态包括悬垂态、中间态和过杠态,其中,
悬垂态表示待测人员身体悬垂、手臂处于垂直或近似垂直状态,动作状态序列记为S1;
中间态表示待测人员手臂弯曲、下颌未过杠,肩部未达腕部高度,肩部高度高于或低于肘部,动作状态序列记为S2;
过杠态表示待测人员下颌过杠,手臂折叠,肩部距肘部略大于腕部距肘部的距离,动作状态序列记为S3。
5.根据权利要求4所述的引体向上动作判定与计数的方法,其特征在于,对待测人员的动作状态进行判定,包括:
选取人体局部骨骼关键点中左肩、右肩,左肘、右肘,左腕、右腕六个左右成对出现的关键点,计算肩部、肘部、腕部的关键点垂直坐标的平均值,分别记为P1、P2、P3;
基于P1、P2、P3对动作状态进行判定:
当(P1>P2)&&(P2>P3)&&((P1-P2)>(P2-P3)*λ1)时,判定为悬垂态S1;
当(P2>P3)&&(abs(P1-P2)<(P2-P3)*λ2)时,判定为中间态S2;
当(P1<P2)&&(P2>P3)&&((P2-P1)>(P2-P3)*λ3)时,判定为过杠态S3;其中,λ1、λ2、λ3为预设的经验参数,&&表示两个条件要同时成立,abs()表示取绝对值。
6.根据权利要求4所述的引体向上动作判定与计数的方法,其特征在于,所述预先定义的动作类型包括规范动作和非规范动作,所述非规范动作包括未过杠动作和未直臂动作,判定依据为:
若一个引体向上动作由状态S1开始,经过状态S2达到状态S3,再经过状态S2回到状态S1,则判定为一个规范动作;其中,在两个相邻的状态S1之间,能够出现多个状态S2和多个状态S3;
若一个引体向上动作由状态S1开始,经过状态S2后直接回到状态S1,未经过状态S3,则判定为未过杠动作;
若一个引体向上动作由状态S1开始,经过状态S2达到状态S3,再次经过状态S2达到状态S3,而未回到状态S1,则判定为未直臂动作。
7.根据权利要求4所述的引体向上动作判定与计数的方法,其特征在于,判定待测人员的动作类型,包括:
步骤1:初始化序列编号t=0,动作状态S(t)=S0,计数器N为0,辅助标识状态C1=0、C2=0、C3=0;
步骤2:执行t=t+1;读取视频帧图像I(t),对待测人员的动作状态进行判定得到动作状态S(t);
步骤3:根据S(t)执行计数过程,返回步骤2;
步骤4:当待测人员结束测试时输出待测人员的计数结果,返回步骤1对下一为待测人员进行判定。
8.根据权利要求7所述的引体向上动作判定与计数的方法,其特征在于,所述计数过程包括:
若S(t)=S1&&S(t-1)≠S1,根据辅助标识状态C1、C2、C3执行判定:
若C1=0,则C1=C1+1;
若C1>0&&C2>0&&C3=0,则判定为未过杠动作,输出提示告警;
若C1>0&&C2>0&&C3>0,则判定为规范动作,执行N=N+1并输出计数,然后设置C1=0、C2=0、C3=0;
若S(t)=S2&&S(t-1)≠S2,则执行C2=C2+1;
若S(t)=S3&&S(t-1)≠S3,根据辅助标识状态C3执行判定:
若C3=0,则执行C3=C3+1;
若C3>0,则判定为未直臂动作,输出提示告警,并执行C3=C3+1。
9.一种引体向上动作判定与计数的系统,其特征在于,包括:
获取模块:用于获取执行引体向上动作的待测人员的视频帧图像序列;
人体局部骨骼关键点检测模块:用于根据获取到的视频帧图像序列,检测得到人体局部骨骼关键点;
第一判定模块:用于基于人体局部骨骼关键点对待测人员的动作状态进行判定,得到待测人员的动作状态序列;其中,所述动作状态是预先定义的;
第二判定模块:用于基于预先定义的动作类型和得到的动作状态序列,判定待测人员的动作类型为规范动作/非规范动作,响应于待测人员的动作类型进行计数,当判定引体向上动作为非规范动作时输出提示告警,当判定引体向上动作为规范动作时计数加一;结束测试时输出待测人员的计数结果。
10.一种引体向上动作判定与计数的装置,其特征在于,包括:摄像设备、输出设备、电源设备、处理器和存储介质,
所述处理器接收摄像设备摄录的视频帧图像序列,执行权利要求1~8任一项所述一种引体向上动作判定与计数的方法的步骤,得到待测人员的动作类型以及计数结果;
所述存储介质用于存储摄像设备摄录的视频帧图像序列和处理器执行的指令;
所述输出设备用于输出所述视频帧图像序列、待测人员的动作类型、非规范动作时的提示告警、以及待测人员的计数结果;
所示电源设备用于为所述摄像设备、输出设备、处理器和存储介质供电。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111026072.XA CN113856186B (zh) | 2021-09-02 | 2021-09-02 | 一种引体向上动作判定与计数的方法、系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111026072.XA CN113856186B (zh) | 2021-09-02 | 2021-09-02 | 一种引体向上动作判定与计数的方法、系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113856186A true CN113856186A (zh) | 2021-12-31 |
CN113856186B CN113856186B (zh) | 2022-08-09 |
Family
ID=78989182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111026072.XA Active CN113856186B (zh) | 2021-09-02 | 2021-09-02 | 一种引体向上动作判定与计数的方法、系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113856186B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、系统及其存储介质 |
CN115813374A (zh) * | 2022-11-02 | 2023-03-21 | 科大讯飞股份有限公司 | 周期性运动测评方法、装置、电子设备及存储介质 |
CN116306766A (zh) * | 2023-03-23 | 2023-06-23 | 北京奥康达体育产业股份有限公司 | 一种基于骨骼识别技术的智慧单杠引体向上考核训练系统 |
CN116563951A (zh) * | 2023-07-07 | 2023-08-08 | 东莞先知大数据有限公司 | 一种单杠悬挂动作规范确定方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN208319925U (zh) * | 2018-06-12 | 2019-01-04 | 东北师范大学 | 一种基于骨骼图像自动识别引体向上个数的体测器材 |
CN111282248A (zh) * | 2020-05-12 | 2020-06-16 | 西南交通大学 | 一种基于骨骼和人脸关键点的引体向上检测系统及方法 |
CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
CN112800905A (zh) * | 2021-01-19 | 2021-05-14 | 浙江光珀智能科技有限公司 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
US20210258506A1 (en) * | 2018-11-06 | 2021-08-19 | Huawei Technologies Co., Ltd. | Image Processing Method and Apparatus |
-
2021
- 2021-09-02 CN CN202111026072.XA patent/CN113856186B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN208319925U (zh) * | 2018-06-12 | 2019-01-04 | 东北师范大学 | 一种基于骨骼图像自动识别引体向上个数的体测器材 |
US20210258506A1 (en) * | 2018-11-06 | 2021-08-19 | Huawei Technologies Co., Ltd. | Image Processing Method and Apparatus |
CN111368791A (zh) * | 2020-03-18 | 2020-07-03 | 南通大学 | 基于Quick-OpenPose模型的引体向上测试计数方法及系统 |
CN111282248A (zh) * | 2020-05-12 | 2020-06-16 | 西南交通大学 | 一种基于骨骼和人脸关键点的引体向上检测系统及方法 |
CN112800905A (zh) * | 2021-01-19 | 2021-05-14 | 浙江光珀智能科技有限公司 | 一种基于rgbd相机姿态估计的引体向上计数方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115138059A (zh) * | 2022-09-06 | 2022-10-04 | 南京市觉醒智能装备有限公司 | 一种引体向上的规范计数方法、系统及其存储介质 |
CN115813374A (zh) * | 2022-11-02 | 2023-03-21 | 科大讯飞股份有限公司 | 周期性运动测评方法、装置、电子设备及存储介质 |
CN116306766A (zh) * | 2023-03-23 | 2023-06-23 | 北京奥康达体育产业股份有限公司 | 一种基于骨骼识别技术的智慧单杠引体向上考核训练系统 |
CN116306766B (zh) * | 2023-03-23 | 2023-09-22 | 北京奥康达体育产业股份有限公司 | 一种基于骨骼识别技术的智慧单杠引体向上考核训练系统 |
CN116563951A (zh) * | 2023-07-07 | 2023-08-08 | 东莞先知大数据有限公司 | 一种单杠悬挂动作规范确定方法、装置、设备和存储介质 |
CN116563951B (zh) * | 2023-07-07 | 2023-09-26 | 东莞先知大数据有限公司 | 一种单杠悬挂动作规范确定方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113856186B (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113856186B (zh) | 一种引体向上动作判定与计数的方法、系统及装置 | |
CN111368810B (zh) | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 | |
WO2021051579A1 (zh) | 形体姿态识别方法、系统、装置及存储介质 | |
CN110711374B (zh) | 多模态舞蹈动作评价方法 | |
Islam et al. | Yoga posture recognition by detecting human joint points in real time using microsoft kinect | |
CN110321754B (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及系统 | |
CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
CN113762133B (zh) | 基于人体姿态识别的自重健身辅助教练系统、方法、终端 | |
CN111144217A (zh) | 一种基于人体三维关节点检测的动作评价方法 | |
CN110448870B (zh) | 一种人体姿态训练方法 | |
CN111282248A (zh) | 一种基于骨骼和人脸关键点的引体向上检测系统及方法 | |
Anilkumar et al. | Pose estimated yoga monitoring system | |
JPWO2014042121A1 (ja) | 動作評価装置及びそのプログラム | |
WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及系统 | |
CN105740780A (zh) | 人脸活体检测的方法和装置 | |
CN110298218B (zh) | 交互式健身装置和交互式健身系统 | |
CN109308437B (zh) | 动作识别纠错方法、电子设备、存储介质 | |
CN112749684A (zh) | 心肺复苏术训练和评估的方法及装置、设备、存储介质 | |
JPWO2019116495A1 (ja) | 技認識プログラム、技認識方法および技認識システム | |
CN112990137A (zh) | 一种基于模板匹配的教室学生坐姿分析方法 | |
CN114973401A (zh) | 基于动作检测与多模态学习的标准化引体向上评估方法 | |
CN113191200A (zh) | 一种俯卧撑测试计数方法、装置、设备和介质 | |
Almasi et al. | Human action recognition through the first-person point of view, case study two basic task | |
CN114973048A (zh) | 康复动作的纠正方法、装置、电子设备及可读介质 | |
KR20160075884A (ko) | 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |