CN117037279A - 动作检测、计数方法、装置、异构芯片、设备及存储介质 - Google Patents

动作检测、计数方法、装置、异构芯片、设备及存储介质 Download PDF

Info

Publication number
CN117037279A
CN117037279A CN202311085455.3A CN202311085455A CN117037279A CN 117037279 A CN117037279 A CN 117037279A CN 202311085455 A CN202311085455 A CN 202311085455A CN 117037279 A CN117037279 A CN 117037279A
Authority
CN
China
Prior art keywords
finger
data
tested object
hand
positive direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311085455.3A
Other languages
English (en)
Other versions
CN117037279B (zh
Inventor
耿晓琪
王连忠
刘瑞
崔文朋
田志仲
李长柏
李海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smartchip Microelectronics Technology Co Ltd
Original Assignee
Beijing Smartchip Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smartchip Microelectronics Technology Co Ltd filed Critical Beijing Smartchip Microelectronics Technology Co Ltd
Priority to CN202311085455.3A priority Critical patent/CN117037279B/zh
Publication of CN117037279A publication Critical patent/CN117037279A/zh
Application granted granted Critical
Publication of CN117037279B publication Critical patent/CN117037279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种动作检测、计数方法、装置、异构芯片、设备及存储介质。获取受试对象包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据的指定数量骨骼点对应的骨骼位置数据;在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断;若双手均处于正手姿态,检测受试对象的下颌是否过杆;若检测到受试对象的下颌过杆,判断受试对象是否处于悬臂直垂姿态;若再次判定受试对象处于悬臂直垂姿态,确定受试对象完成下降过程;若受试对象在停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。通过上述方式可以完善对引体向上动作的检测。

Description

动作检测、计数方法、装置、异构芯片、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种动作检测、计数方法、装置、异构芯片、设备及存储介质。
背景技术
引体向上是一项能综合锻炼背部、手臂和核心肌肉的全身运动,它能够提高身体素质和肌肉力量,增强体能和健康水平。而相关技术中的引体向上测试方法,其测试结果的可信度有待提升。
发明内容
本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本说明书实施方式提出一种动作检测、计数方法、装置、异构芯片、设备及存储介质。
本说明书实施方式提供一种动作检测方法,所述方法包括:
获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;其中,所述受试对象在所述悬臂直垂姿态下对应有停留检测区域;
若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
若检测到所述受试对象的下颌过杆,判断所述受试对象是否处于悬臂直垂姿态;
若再次判定所述受试对象处于所述悬臂直垂姿态,确定所述受试对象完成下降过程;
若所述受试对象在所述停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
在其中一个实施方式,所述获取受试对象的指定数量骨骼点对应的骨骼位置数据,包括:
对所述受试对象的引体向上测试的过程进行拍摄,得到视频图像序列;
将所述视频图像序列输入至跟踪网络,得到所述受试对象对应的检测框;
基于所述检测框从所述视频图像序列中的每个视频图像帧中截取所述受试对象的人形图像;
基于所述受试对象的人形图像进行骨骼点检测,得到所述骨骼位置数据。
在其中一个实施方式,所述方法还包括:
基于针对所述受试对象采集的人脸图像进行人脸识别,得到所述受试对象的身份信息,以对所述受试对象进行人员跟踪。
在其中一个实施方式,所述方法还包括以下之一:
若检测到所述受试对象的下颌过杆,对所述引体向上动作的计数加1;
若确定所述受试对象完成下降过程,对所述引体向上动作的计数加1。
在其中一个实施方式,在以下任一情形中对所述引体向上动作不计数:
在检测到所述受试对象准备开始引体向上测试且双手握杆的情况下,检测到所述受试对象没有处于悬臂直垂姿态;
若基于所述第一手指骨骼数据和所述第二手指骨骼数据判定所述双手处于反手姿态;
若检测到所述受试对象的下颌未过杆;
在检测到所述受试对象的下颌过杆后,检测到所述受试对象没有处于所述悬臂直垂姿态。
在其中一个实施方式,所述停留检测区域的确定过程,包括:
确定所述受试对象在所述悬臂直垂姿态下的眼睛参考位置数据;
基于所述眼睛参考位置数据以及预设区域阈值确定所述停留检测区域。
在其中一个实施方式,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断,包括:
若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;
若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
本说明书实施方式提供一种动作计数方法,所述方法包括:
获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;
若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
若检测到所述受试对象的下颌过杆,对引体向上动作进行计数。
在其中一个实施方式,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断,包括:
若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;
若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
本说明书实施方式提供一种动作检测装置,所述装置包括:
骨骼数据获取模块,用于获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
正反手判断模块,用于在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;其中,所述受试对象在所述悬臂直垂姿态下对应有停留检测区域;
下颌过杆检测模块,用于若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
悬臂直垂判断模块,用于若检测到所述受试对象的下颌过杆,判断所述受试对象是否处于悬臂直垂姿态;
下降完成确定模块,用于若再次判定所述受试对象处于所述悬臂直垂姿态,确定所述受试对象完成下降过程;
测试过程结束模块,用于若所述受试对象在所述停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
在其中一个实施方式,所述骨骼数据获取模块,还用于对所述受试对象的引体向上测试的过程进行拍摄,得到视频图像序列;将所述视频图像序列输入至跟踪网络,得到所述受试对象对应的检测框;基于所述检测框从所述视频图像序列中的每个视频图像帧中截取所述受试对象的人形图像;基于所述受试对象的人形图像进行骨骼点检测,得到所述骨骼位置数据。
在其中一个实施方式,若检测到所述受试对象的下颌过杆,对所述引体向上动作的计数加1;若确定所述受试对象完成下降过程,对所述引体向上动作的计数加1。
在其中一个实施方式,所述测试过程结束模块,用于确定所述受试对象在所述悬臂直垂姿态下的眼睛参考位置数据;基于所述眼睛参考位置数据以及预设区域阈值确定所述停留检测区域。
在其中一个实施方式,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述正反手判断模块,还用于若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
本说明书实施方式提供一种动作计数装置,所述装置包括:
骨骼数据获取模块,用于获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
正反手判断模块,用于在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;
下颌过杆检测模块,用于若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
引体向上计数模块,用于若检测到所述受试对象的下颌过杆,对引体向上动作进行计数。
在其中一个实施方式,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述正反手判断模块,还用于若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
本说明书实施方式提供一种计算机设备,所述计算机设备包括:存储器,以及与所述存储器通信连接的一个或多个处理器;所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被计算机设备的处理器执行时,使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种异构芯片,包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在所述存储器中且被配置为由所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行的计算机程序,所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行所述计算机程序时实现如上述任一项实施方式所述的方法。
上述说明书实施方式中,获取受试对象包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据的指定数量骨骼点对应的骨骼位置数据;在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断;若双手均处于正手姿态,检测受试对象的下颌是否过杆;若检测到受试对象的下颌过杆,判断受试对象是否处于悬臂直垂姿态;若再次判定受试对象处于悬臂直垂姿态,确定受试对象完成下降过程;若受试对象在停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。通过上述方式可以完善对引体向上动作的检测,提高计数结果的可靠性和准确度,以提升测试结果的可信度。
附图说明
图1a为本说明书实施方式提供的引体向上动作检测及计数的示意图;
图1b为本说明书实施方式提供的动作检测方法的流程示意图;
图1c为本说明书实施方式提供的近指尖关节的示意图;
图1d为本说明书实施方式提供的手部骨骼点的示意图;
图1e为本说明书实施方式提供的停留检测区域的示意图;
图1f为本说明书实施方式提供的下颌过杆的示意图;
图1g为本说明书实施方式提供的骨骼位置数据的示意图;
图2为本说明书实施方式提供的确定骨骼位置数据的流程示意图;
图3a为本说明书实施方式提供的确定停留检测区域的流程示意图;
图3b为本说明书实施方式提供的受试对象处于正手姿态及确定停留检测区域的示意图;
图3c为本说明书实施方式提供的受试对象处于反手姿态的示意图;
图4为本说明书实施方式提供的动作计数方法的流程示意图;
图5为本说明书实施方式提供的引体向上动作检测方法的流程示意图;
图6为本说明书实施方式提供的动作检测装置的示意图;
图7为本说明书实施方式提供的动作计数装置的示意图;
图8为本说明书实施方式提供的计算机设备的内部结构图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
引体向上是一项能综合锻炼背部、手臂和核心肌肉的全身运动,它能够提高身体素质和肌肉力量,增强体能和健康水平。
《国家学生体质健康标准》测试把引体向上作为初高中和大学各年级男生必测项目之一,并对引体向上规定了具体的动作标准和测试方法。引体向上的测试方法为:“受试者跳起双手正握杠,两手与肩同宽成直臂悬垂,静止后两臂同时用力引体,上拉到下颌超过横杠上缘为完成一次,时间为一分钟记录引体总次数”。
《国家学生体质健康标准》对引体向上的测试标准提出了具体的要求:
(1)受试者应双手正握单杠,待身体静止后开始测试。
(2)引体向上时,下颌需超过横杠上缘,身体不得做大的摆动,也不得借助其他附加动作撑起。
(3)两次引体向上的间隔时间超过10秒停止测试。
在测试或锻炼时,引体向上容易出现以下几个犯规点:
(1)下降时,手臂未达到近垂直就开始做下个引体向上动作。
(2)下巴未超过横杆上缘。
(3)上一个引体向上动作完成到下一个动作引体向上开始间隔超过10s。
(4)反手握杆。
相关技术中,利用引体向上各个关键节点的图像训练分类模型,然后采集视频图像,根据分类值按照时间顺序进行串联形成动作序列,并与标准引体向上动作序列进行比对,判断人员的此次引体向上是否标准,若序列匹配,则引体向上计数总和加1。然而,上述实施方式不能实时检测引体向上动作是否标准,不适用于现场对引体向上动作进行计数。
相关技术中,基于人脸识别确认身份,根据人体骨骼点判断动作是否准确。然而,上述实施方式没有针对引体向上规则进行判断,比如下颌是否过杆,正反手的判定等。
相关技术中,提取人脸关键点、人体骨骼关键点与横杆位置的图像;以手腕骨骼关键点与横杆的相对位置,判断引体向上行为是否开始与结束;以大臂与小臂的夹角判断人体上升或下降;计算横杆位置与下巴的相对位置,根据上升和下降状态判断是否完成了一次引体向上动作。然而,上述实施方式没有对正反手、两个引体向上动作间隔超过10s的判断,同时也未解决下巴遮挡问题。
相关技术中,引体向上的测试过程中配备有安全员,安全员与受试者二者身体有重叠部分,容易将安全员的身体部位误判为受试者的身体,造成误判。
现有的引体向上测试方法,在学校下发的身体素质测试中,测试作弊、动作不标准导致采集的数据不真实,不利于学生身体素质的真实体现。因此锻炼或测试的时候需要对引体向上动作进行计数并检测引体向上动作是否符合标准。
基于此,本说明书实施方式提供一种动作检测方法。获取受试对象包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据的指定数量骨骼点对应的骨骼位置数据;在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断;若双手均处于正手姿态,检测受试对象的下颌是否过杆;若检测到受试对象的下颌过杆,判断受试对象是否处于悬臂直垂姿态;若再次判定受试对象处于悬臂直垂姿态,确定受试对象完成下降过程;若受试对象在停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。通过上述方式可以完善对引体向上动作的检测,提高计数结果的可靠性和准确度,以提升测试结果的可信度。
本说明书实施方式提供的方法可以应用于引体向上的应用场景中。摄像机内(比如摄像机包括的异构AI芯片中)部署有人脸识别网络、跟踪网络、骨骼点检测网络。受试对象A进入引体向上动作的测试区域,在摄像机前停留一段时间,摄像机根据人脸识别网络对受试对象A进行人脸识别,确认受试对象A的身份信息。当确定受试对象A的身份信息后,摄像机根据跟踪网络对受试对象A进行人体跟踪,得到检测框。当受试对象A准备开始引体向上测试且双手握杆的情况时,可以从每秒内选取5帧图像帧,根据检测框从5帧图像帧中截取受试对象A的人形图像,通过骨骼点检测网络对受试对象A的人形图像进行骨骼点检测,得到所述骨骼位置数据。根据骨骼位置数据可以确定受试对象A是否处于悬臂直垂姿态。当受试对象A未处于悬臂直垂姿态,则不进行引体向上的计数操作。请参阅图1a,当受试对象A处于悬臂直垂姿态时,可以根据受试对象A的双眼骨骼数据确定受试对象在悬臂直垂姿态下的眼睛参考位置数据,基于眼睛参考位置数据以及预设区域阈值确定停留检测区域。且可以根据骨骼位置数据中的双手食指近指尖关节的第一手指骨骼数据和双手小指近指尖关节的第二手指骨骼数据进行正反手姿态的判定。当受试对象A处于反手姿态时,则不进行引体向上的计数操作。当受试对象A处于正手姿态时,可以开始引体向上动作的测试。仍以每秒5帧的频率将图像帧中截取受试对象A的人形图像输入至骨骼点检测网络,进行骨骼点检测。在受试对象A在上升的过程中,检测受试对象A的腿部夹角是否处于预设阈值内,当受试对象A的腿部夹角处于预设阈值内,可以认为受试对象A未处于大的摆动状态。然后,可以根据下颌骨骼数据进行是否过杆的判定。当受试对象A的下颌未过杆时,则不进行引体向上的计数操作。当受试对象A的下颌过杆时,可以对受试对象A的引体向上动作的计数加1。然后,受试对象A进行下降过程,根据骨骼位置数据可以确定受试对象A是否处于悬臂直垂姿态。当受试对象A未处于悬臂直垂姿态,则不进行引体向上的计数操作。当受试对象A处于悬臂直垂姿态时,可以认为受试对象A完成下降过程。当受试对象A在停留检测区域的停留时长超过10s时,可以结束引体向上动作的测试。当受试对象A在停留检测区域的停留时长未超过10s时,可以继续重复上述操作完成下一个引体向上动作的判定。
本说明书实施方式提供一种动作检测方法,请参阅图1b,该方法可以包括以下步骤:
S110、获取受试对象的指定数量骨骼点对应的骨骼位置数据。
其中,受试对象可以是进行引体向上动作的个体。骨骼位置数据可以是指描述人体骨骼结构的相关信息,通常以关节和骨骼点的坐标值进行表示。这些数据可以用于姿势估计、动作捕捉、运动分析等领域。骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据。第一手指与第二手指为不同的手指。第一手指骨骼数据可以是第一手指近指尖关节的骨骼点坐标值。第二手指骨骼数据可以是第二手指近指尖关节的骨骼点坐标值。比如:第一手指可以是中指,第二手指可以是无名指。请参阅图1c,手指近指尖关节可以是图1c中小指近指尖关节102、无名指近指尖关节104、中指近指尖关节106、食指近指尖关节108、拇指近指尖关节110。
在一些情况下,获取受试对象的指定数量骨骼点对应的骨骼位置数据可以提供详细的动作信息和姿势评估,以及有针对性的训练反馈。这有助于更好地理解引体向上动作的执行方式和质量,并为受试对象提供有效地指导和训练优化。
具体地,可以采用计算机视觉算法(比如骨骼点检测算法、姿态估计算法),对包含受试对象的图像或视频进行骨骼点的提取,得到受试对象的指定数量骨骼点对应的骨骼位置数据。
需要说明的是,可以结合实际情况对骨骼点的个数及需要进行检测的骨骼点进行确定。比如:在手势识别的领域,需要检测的骨骼点为手部的骨骼点。因手势识别的复杂性和多样性,所以手部骨骼点的检测较为细致。因此,手部骨骼点的检测个数可以是21个。示例性地,请参阅图1d,图1d中展示有手部骨骼点对应的位置。然后根据确定的骨骼点构建训练样本集,以完成骨骼点检测模型的训练,得到所需的目标骨骼点检测模型。
S120、在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断。
其中,受试对象在悬臂直垂姿态下对应有停留检测区域。悬臂直垂姿态可以是在进行引体向上动作时的起始姿势。悬臂直垂姿态可以是指身体悬挂在高度较低的横杆或支撑物上,上肢放松下垂,肩部略微伸展,腿部垂直下垂。正反手姿态可以是指在进行引体向上动作时,手掌握持的方式和握持的位置的不同,反手姿态的双手掌心朝向自己,正手姿态的双手掌心向外。停留检测区域可以是受试对象在没有足够的力气完成动作时,受试对象尝试进行向上过程的区域。示例性地,请参阅图1e,矩形框的区域112可以是停留检测区域。
在一些情况下,因《国家学生体质健康标准》规定引体向上的标准为使用正手姿态进行引体向上动作的检测。因此,需要对正反手姿态进行检测,以判断受试对象是否符合引体向上的标准要求。
具体地,在受试对象处于悬臂直垂姿态的情况下,可以根据左手第一手指骨骼数据和第二手指骨骼数据之间的数据比较结果以及右手第一手指骨骼数据和第二手指骨骼数据之间的数据比较结果进行正反手姿态的判定。
S130、若双手均处于正手姿态,检测受试对象的下颌是否过杆。
在一些情况下,下颌通过杆时,可以说明受试对象的身体在垂直方向上已经完全超越了水平横杆,这是引体向上动作的一个标准要求。下颌通过杆的要求确保受试对象进行的是完整的引体向上动作。
具体地,在双手均处于正手姿态时,受试对象在上升过程中,可以通过下颌检测模型检测受试对象的下颌是否高于水平横杆位置。
需要说明的是,在引体向上过程中,下颌容易被水平横杆遮挡,下颌被水平横杆遮挡可以认为受试对象的下颌未过杆,说明受试对象的引体向上动作未达到标准要求。在训练检测模型时,构建的数据集包括下颌被水平横杆遮挡的图像以及下颌高于水平横杆的图像,以增强该模型的数据集。将下颌被水平横杆遮挡的图像作为负样本,可以增强下颌检测模型的泛化性和准确度。
示例性地,请参阅图1f,将图1f左上角的位置作为坐标系的原点,原点向右的方向作为X轴的正半轴,原点向下的方向作为Y轴的正半轴。通过下颌检测模型对受试对象的下颌是否过杆进行检测,当受试对象的下颌骨骼点距离X轴的垂直距离(下颌骨骼数据中的横坐标)小于水平横杆距离X轴的垂直距离,可以认为受试对象的下颌过杆。当受试对象的下颌骨骼点距离X轴的垂直距离(下颌骨骼数据中的横坐标)大于水平横杆距离X轴的垂直距离,可以认为受试对象的下颌未过杆。
S140、若检测到受试对象的下颌过杆,判断受试对象是否处于悬臂直垂姿态。
S150、若再次判定受试对象处于悬臂直垂姿态,确定受试对象完成下降过程。
在一些情况下,在受试对象下颌过杆后,需完成下降过程,下降过程的完成标志可以是受试对象处于悬臂直垂姿态。只有在受试对象处于悬臂直垂姿态后,才可以继续进行下一个引体向上动作的完成。
具体地,可以设置受试对象处于双手握杆且双臂处于悬臂直垂姿态下其大臂与小臂的夹角为α。在检测到受试对象的下颌高于水平横杆后,受试对象可以开始下降过程。在受试对象的下降过程中,可以读取受试对象大臂与小臂间的夹角V。当检测到受试对象大臂与小臂间的夹角V大于等于受试对象处于悬臂直垂姿态下其大臂与小臂的夹角α时,可以确定受试对象完成下降过程。当检测到受试对象大臂与小臂间的夹角V小于受试对象处于悬臂直垂姿态下其大臂与小臂的夹角α时,可以确定受试对象未完成下降过程,受试对象需继续进行引体向上动作下降过程的完成。
示例性地,请参阅图1g,图1g可以是受试对象的指定数量的骨骼点。其中,5为左肩骨骼点、7为左肘骨骼点、9为左腕骨骼点、6为右肩骨骼点、8为右肘骨骼点、10为右腕骨骼点。可以设置受试对象处于双手握杆且双臂处于悬臂直垂姿态下5_7和7_9之间的夹角约为130度且6_8和8_10之间的夹角约为130度。在受试对象的下降过程中,可以读取受试对象5_7和7_9之间的夹角与6_8和8_10之间的夹角。当两者均大于等于130度时,可以认为受试对象完成下降过程。
S160、若受试对象在停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
其中,预设停留时长可以结合实际情况进行设置。比如预设停留时长可以是10s,可以是15s。
具体地,当受试对象在停留检测区域中的停留时间超过预设停留时长时,可以认为受试对象不具备再次完成一个完整引体向上动作的能力,因此,可以检测受试对象在停留检测区域中的停留时间,当受试对象在停留检测区域中的停留时间超过预设停留时长时,可以结束受试对象本次引体向上测试过程。
示例性地,可以根据眼睛骨骼点在停留检测区域中的停留时间确定受试对象在停留检测区域中的停留时间。
上述实施方式中,获取受试对象包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据的指定数量骨骼点对应的骨骼位置数据;在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断;若双手均处于正手姿态,检测受试对象的下颌是否过杆;若检测到受试对象的下颌过杆,判断受试对象是否处于悬臂直垂姿态;若再次判定受试对象处于悬臂直垂姿态,确定受试对象完成下降过程;若受试对象在停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。通过上述方式可以完善对引体向上动作的检测,提高计数结果的可靠性和准确度,以提升测试结果的可信度。
在一些实施方式中,请参阅图2,获取受试对象的指定数量骨骼点对应的骨骼位置数据,可以包括以下步骤:
S210、对受试对象的引体向上测试的过程进行拍摄,得到视频图像序列。
S220、将视频图像序列输入至跟踪网络,得到受试对象对应的检测框。
S230、基于检测框从视频图像序列中的每个视频图像帧中截取受试对象的人形图像。
S240、基于受试对象的人形图像进行骨骼点检测,得到骨骼位置数据。
其中,视频图像序列是由一系列连续的图像帧组成的。跟踪网络可以是一种专门用于在视频序列中跟踪人体目标的网络模型。它通过使用计算机视觉和深度学习技术,实时准确地追踪人体的位置、姿态和运动。跟踪网络的目标是检测和跟踪视频帧中人体的位置和运动,并提供关于人体的丰富信息,如身体部位的识别、姿态分析、行为识别等。这些信息用于实现人体行为分析、智能监控、虚拟现实和增强现实等应用。检测框可以是一种用于标识和包围视频或图像中人体目标的矩形框。它用于表示人体在图像中的位置和边界,可以通过检测算法或模型自动识别和定位。受试对象的人形图像可以是视频图像序列中每帧图像上边界框所框选区域对应的图像区域。
具体地,可以通过视频采集装置对受试对象的引体向上测试的过程进行拍摄,得到视频图像序列。然后,将得到的视频图像序列输入至跟踪网络(比如人体框跟踪算法),实现对视频图像序列中的每个视频图像帧中的受试对象的跟踪,得到受试对象在视频图像序列中的每个视频图像帧上对应的检测框。接着,可以将视频图像序列中的每个视频图像帧上的检测框对应的图像区域从视频图像序列中的每个视频图像帧中进行截取,得到视频图像序列中的每个视频图像帧中受试对象的人形图像。也可以从每1s的视频图像序列中选取指定数量帧的视频图像,将指定数量帧的视频图像上的检测框对应的图像区域从指定数量帧的视频图像中进行截取,得到指定数量帧的视频图像中受试对象的人形图像。最后,将人形图像输入至采用至上而下的骨骼点检测网络,对受试对象的人形图像进行骨骼点检测,得到骨骼位置数据。其中,跟踪网络可以是FairMOT(Fully-Associative Embedding withTracklet)网络、可以是DeepSORT(Deep Learning to Track)网络、可以是Mask-RCNN(MaskRegion-based Convolutional Neural Network)、可以是SiamFC(Siamese FullyConvolutional)。骨骼点识别网络可以是HRNet网络(High-Resolution Network,高分辨率网络)。
示例性地,可以将视频图像序列输入至FairMOT网络进行受试对象的人体跟踪,视频图像序列经过编码-解码模块(encode-decode)进行特征提取,得到高分辨率特征图。将高分辨率特征图作为人形检测分支的输入得到检测对象。将高分辨率特征图作为提取ReID特征分支的输入,得到ReID特征。预测对象中心处的特征用于跟踪。经过跟踪网络后,可以从1s的视频图像序列中选取5帧视频图像,将5帧视频图像上的检测框对应的图像区域进行截取,得到5帧视频图像中受试对象的人形图像。请参阅图1g,然后将该5帧视频图像中受试对象的人形图像输入至骨骼点检测网络进行骨骼点的检测,得到骨骼位置数据以及图1g中的骨骼点。其中,0为鼻子骨骼点、1为左眼骨骼点、2为右眼骨骼点、3为左耳骨骼点、4为右耳骨骼点、5为左肩点、6为右肩骨骼点、7为左肘骨骼点、8为右肘骨骼点、9为左腕骨骼点、10为右腕骨骼点、11为左臀骨骼点、12为右臀骨骼点、13为左膝骨骼点、14为右膝骨骼点、15为左踝骨骼点、16为右踝骨骼点、17为下颌骨骼点、18为左手食指近指节关节骨骼点、19为左手小指近指节关节骨骼点、20右手食指近指节关节骨骼点、21右手小指近指节关节骨骼点。
需要说明的是,骨骼点检测模型中的骨骼点数量以及骨骼点位置可以根据实际需求进行设置。将所需的骨骼点位置进行标注作为骨骼点检测模型的标签。根据标签以及骨骼点检测模型的输出进行损失函数确定,并根据损失函数实现对骨骼点检测模型进行更新,得到目标骨骼点检测模型。
示例性地,视频采集装置可以是摄像头、监控摄像机、工业摄像机、鱼眼相机中的至少一种。视频采集装置可以设置在进行引体向上动作的设备前方,视频采集装置的视野应至少包括进行引体向上动作的整个区域。
上述实施方式中,对受试对象的引体向上测试的过程进行拍摄,得到视频图像序列,将视频图像序列输入至跟踪网络,得到受试对象对应的检测框,基于检测框从视频图像序列中的每个视频图像帧中截取受试对象的人形图像,基于受试对象的人形图像进行骨骼点检测,得到骨骼位置数据。通过对受试对象进行跟踪,可以及时发现替考作弊的事件,提升测试的公平性,也可以降低将安全员当成受试对象所造成的误检率。通过确定骨骼位置数据,可以对引体向上动作的姿势准确性进行评估,从而提高计数结果的可靠性和准确度。
在一些实施方式中,基于针对受试对象采集的人脸图像进行人脸识别,得到受试对象的身份信息,以对受试对象进行人员跟踪。
其中,身份信息可以包括受试对象的姓名。当受试对象为考生时,身份信息可以包括受试对象的姓名、受试对象的学籍号、考场分布。
具体地,在受试对象进入引体向上动作区域后,受试对象可以到摄像采集装置前进行人脸识别。摄像采集装置可以采集受试对象的图像或视频序列。利用人脸识别网络,在图像中定位和识别出受试对象的人脸位置和边界框。从检测到的人脸图像中提取出具有判别能力的特征向量。将提取到的特征向量与已知的人脸特征库进行比对和匹配。根据特征匹配的结果,进行最终的决策和人脸识别。如果匹配的结果超过了设定的阈值或达到一定的相似度要求,就认为匹配成功,并得到受试对象的身份信息。如果匹配的结果未超过了设定的阈值或未达到一定的相似度要求,可以认为在人脸特征库中未有受试对象信息。其中,人脸识别网络可以是Fisherfaces网络。在完成受试对象的身份识别后,可以对受试对象进行人员跟踪。
需要说明的是,人脸特征库可以是预先存储已知受试对象人脸信息的数据库,用于与待识别受试对象人脸进行比对和匹配。每个人脸在特征库中都有相应的特征向量或特征描述子表示其独特的面部特征。
上述实施方式中,基于针对受试对象采集的人脸图像进行人脸识别,得到受试对象的身份信息,以对受试对象进行人员跟踪。可以对受试对象身份进行验证,可以及时发现替考作弊的事件,提升测试的公平性。
在一些实施方式中,该方法还可以包括以下之一:
若检测到受试对象的下颌过杆,对引体向上动作的计数加1。
若确定受试对象完成下降过程,对引体向上动作的计数加1。
具体地,当检测到受试对象的下颌过杆时,可以认为受试对象完成了一个标准的引体向上动作,将引体向上动作的计数进行加1操作。或者当检测到受试对象的下颌过杆后,受试对象开始下降过程,当检测到受试对象完成下降过程时,可以认为受试对象完成了一个标准的引体向上动作,将引体向上动作的计数进行加1操作。
需要说明的是,在进行受试对象的下颌过杆检测前,即在受试对象上升的过程中,可以设置受试对象大腿与小腿间的预设夹角为β。在受试对象可以开始下降过程。在受试对象的上升过程中,可以读取受试对象大腿与小腿间的夹角W。当检测到受试对象大腿与小腿间的夹角W大于等于受试对象大腿与小腿的夹角β时,可以确定受试对象未处于大的摆动状态即符合引体向上动作的标准要求,可以继续完成引体向上动作。当检测到受试对象大腿与小腿间的夹角W小于受试对象大腿与小腿的夹角β时,可以确定受试对象处于大的摆动状态即不符合引体向上动作的标准要求,可以不对本次引体向上动作进行计数。
示例性地,请参阅图1g,图1g可以是受试对象的指定数量的骨骼点。其中,11为左臀骨骼点、13为左膝骨骼点、15为左踝骨骼点、12为右臀骨骼点、14为右膝骨骼点、16为右踝骨骼点。可以设置受试对象在上升过程中,11_13和13_15之间的预设夹角约为100度且12_14和14_16之间的预设夹角约为100度。在受试对象的上升过程中,可以读取受试对象11_13和13_15之间的夹角与12_14和14_16之间的夹角。当两者均大于等于100度时,可以认为受试对象未处于大的摆动状态。当两者均小于100度时,可以认为受试对象处于大的摆动状态。上述实施方式中,通过两种计数方法,可以灵活地实现对引体向上动作的计数。
在一些实施方式中,在以下任一情形中对引体向上动作不计数:
在检测到受试对象准备开始引体向上测试且双手握杆的情况下,检测到受试对象没有处于悬臂直垂姿态。
若基于第一手指骨骼数据和第二手指骨骼数据判定双手处于反手姿态。
若检测到受试对象的下颌未过杆。
在检测到受试对象的下颌过杆后,检测到受试对象没有处于悬臂直垂姿态。
具体地,在检测到受试对象准备开始引体向上测试且双手握杆的情况下,可以读取受试对象大臂与小臂间的夹角V。当检测到受试对象大臂与小臂间的夹角V小于受试对象处于悬臂直垂姿态下其大臂与小臂的夹角为α时,可以认为受试对象没有处于悬臂直垂姿态,即受试对象的引体向上动作未达到标准。或者根据可以根据左手第一手指骨骼数据和第二手指骨骼数据之间的数据比较结果以及右手第一手指骨骼数据和第二手指骨骼数据之间的数据比较结果进行反手姿态的判定。当受试对象处于反手姿态时,可以认为受试对象的引体向上动作未达到标准。或者当检测到受试对象的下颌未过杆时,可以认为受试对象未完成一个标准的引体向上动作。或者当检测到受试对象的下颌过杆后,受试对象开始下降过程,当检测到受试对象没有处于悬臂直垂姿态时,可以认为受试对象未完成下降过程,即受试对象的引体向上动作未达到标准。
上述实施方式中,当受试对象处于上述任一情形时,可以认为受试对象的引体向上动作未达到标准要求,因此不对受试对象本次引体向上动作进行计数操作,提高引体向上动作计数的准确度。
在一些实施方式中,请参阅图3a,停留检测区域的确定过程,可以包括以下步骤:
S310、确定受试对象在悬臂直垂姿态下的眼睛参考位置数据。
S320、基于眼睛参考位置数据以及预设区域阈值确定停留检测区域。
其中,眼睛参考位置数据可以是关于眼睛位置的信息,通常以一对坐标值的形式表示,即左眼和右眼的位置坐标。预设区域阈值可以根据具体的应用需求和任务要求进行设置。比如,预设区域阈值可以是10cm,即停留检测区域可以是在眼睛参考位置数据的上方10cm处以及眼睛参考位置数据的下方10cm处所框选出的区域。
具体地,在检测到受试对象准备开始引体向上测试且双手握杆的情况下,确定受试对象在悬臂直垂姿态下的眼睛参考位置数据。然后可以根据眼睛参考位置数据以及预设区域阈值确定停留检测区域。
示例性地,请参阅图3b,将图3b左上角的位置作为坐标系的原点,原点向右的方向作为X轴的正半轴,原点向下的方向作为Y轴的正半轴。当受试对象处于悬臂直垂姿态的情况时,将受试对象的左眼骨骼点距离X轴的垂直距离(左眼骨骼数据中的纵坐标)与右眼骨骼点距离X轴的垂直距离(右眼骨骼数据中的纵坐标)进行均值处理,可以得到受试对象在悬臂直垂姿态下的眼睛参考位置数据y0。为了避免在计算眼睛参考位置数据时的误差,可以将预设区域阈值设置为10cm。根据预设区域阈值设置10cm以及眼睛参考位置数据y0,可以确定停留检测区域。即图3b中的矩形区域302为停留检测区域。
上述实施方式中,确定受试对象在悬臂直垂姿态下的眼睛参考位置数据,基于眼睛参考位置数据以及预设区域阈值确定停留检测区域。可以完善引体向上动作的测试流程,提高引体向上动作计数的准确性。
在一些实施方式中,第一手指为食指,第二手指为小指。受试对象左手指向受试对象右手的方向为正方向。基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断,包括:
若左手在正方向的小指骨骼数据大于左手在正方向的食指骨骼数据,且右手在正方向的小指骨骼数据小于右手在正方向的食指骨骼数据,判定双手均处于正手姿态。
若左手在正方向的小指骨骼数据小于左手在正方向的食指骨骼数据,且右手在正方向的小指骨骼数据大于右手在正方向的食指骨骼数据,判定双手均处于反手姿态。
具体地,请继续参阅图3b,将图3b左上角的位置作为坐标系的原点,原点向右的方向作为X轴的正半轴,原点向下的方向作为Y轴的正半轴。可以判断受试对象在手握横杆时双手处于正手姿态还是反手姿态,以进行引体向上动作标准与否的判定。在X轴方向上,当受试对象的左手小指骨骼点距离Y轴的垂直距离(左手小指骨骼数据中的横坐标)大于左手食指骨骼点距离Y轴的垂直距离(左手食指骨骼数据中的横坐标)且受试对象的右手小指骨骼点距离Y轴的垂直距离(右手小指骨骼数据中的横坐标)小于左手食指骨骼点距离Y轴的垂直距离(右手食指骨骼数据中的横坐标)时,可以判定受试对象双手均处于正手姿态。
请参阅图3c,将图3c左上角的位置作为坐标系的原点,原点向右的方向作为X轴的正半轴,原点向下的方向作为Y轴的正半轴。在X轴方向上,当受试对象的左手小指骨骼点距离Y轴的垂直距离(左手小指骨骼数据中的横坐标)小于左手食指骨骼点距离Y轴的垂直距离(左手食指骨骼数据中的横坐标)且受试对象的右手小指骨骼点距离Y轴的垂直距离(右手小指骨骼数据中的横坐标)大于左手食指骨骼点距离Y轴的垂直距离(右手食指骨骼数据中的横坐标)时,可以判定受试对象双手均处于反手姿态。
在一些实施方式中,当受试对象的左手小指骨骼点距离Y轴的垂直距离(左手小指骨骼数据中的横坐标)大于左手食指骨骼点距离Y轴的垂直距离(左手食指骨骼数据中的横坐标)且受试对象的右手小指骨骼点距离Y轴的垂直距离(右手小指骨骼数据中的横坐标)大于左手食指骨骼点距离Y轴的垂直距离(右手食指骨骼数据中的横坐标)时,可以判定受试对象的左手处于正手姿态,右手处于反手姿态。
在另一些实施方式中,当受试对象的左手小指骨骼点距离Y轴的垂直距离(左手小指骨骼数据中的横坐标)小于左手食指骨骼点距离Y轴的垂直距离(左手食指骨骼数据中的横坐标)且受试对象的右手小指骨骼点距离Y轴的垂直距离(右手小指骨骼数据中的横坐标)小于左手食指骨骼点距离Y轴的垂直距离(右手食指骨骼数据中的横坐标)时,可以判定受试对象的左手处于反手姿态,右手处于正手姿态。
上述实施方式中,通过对正反手姿态进行检测,以判断受试对象是否符合引体向上动作的标准要求,当受试对象未达到引体向上动作的标准要求时,不对其进行计数操作。
本说明书实施方式提供一种动作计数方法,请参阅图4,该方法可以包括以下步骤:
S410、获取受试对象的指定数量骨骼点对应的骨骼位置数据。
S420、在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断。
S430、若双手均处于正手姿态,检测受试对象的下颌是否过杆。
S440、若检测到受试对象的下颌过杆,对引体向上动作进行计数。
其中,骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据。第一手指与第二手指为不同的手指。
具体地,获取受试对象的指定数量骨骼点对应的骨骼位置数据。然后,在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断。当双手均处于正手姿态时,检测受试对象的下颌是否过杆。当检测到受试对象的下颌过杆时,对引体向上动作进行计数。
上述实施方式中,获取受试对象的指定数量骨骼点对应的骨骼位置数据,在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断,若双手均处于正手姿态,检测受试对象的下颌是否过杆,若检测到受试对象的下颌过杆,对引体向上动作进行计数。可以完善对引体向动作的流程,提高引体向上动作计数的准确度。
在一些实施方式中,第一手指为食指,第二手指为小指。受试对象左手指向受试对象右手的方向为正方向。基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断,包括:若左手在正方向的小指骨骼数据大于左手在正方向的食指骨骼数据,且右手在正方向的小指骨骼数据小于右手在正方向的食指骨骼数据,判定双手均处于正手姿态。若左手在正方向的小指骨骼数据小于左手在正方向的食指骨骼数据,且右手在正方向的小指骨骼数据大于右手在正方向的食指骨骼数据,判定双手均处于反手姿态。
本说明书实施方式提供一种异构芯片,包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在存储器中且被配置为由中央处理器CPU和嵌入式神经网络处理器NPU执行的计算机程序,中央处理器CPU和嵌入式神经网络处理器NPU执行计算机程序时实现如上述任一项实施方式的方法。
其中,中央处理器CPU上部署有跟踪网络、骨骼点检测网络。嵌入式神经网络处理器NPU可以对引体向上动作进行逻辑上的判定。
本说明书实施方式还提供一种引体向上动作检测方法,示例性地,请参阅图5,该引体向上动作检测方法可以包括以下步骤:
S502、基于针对受试对象采集的人脸图像进行人脸识别,得到受试对象的身份信息,以对受试对象进行人员跟踪。
S504、对受试对象的引体向上测试的过程进行拍摄,得到视频图像序列。
S506、将视频图像序列输入至跟踪网络,得到受试对象对应的检测框。
S508、基于检测框从视频图像序列中的每个视频图像帧中截取受试对象的人形图像。
S510、基于受试对象的人形图像进行骨骼点检测,得到骨骼位置数据。
其中,骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据。
其中,第一手指与第二手指为不同的手指。
S512、在判定受试对象处于悬臂直垂姿态的情况下,基于第一手指骨骼数据和第二手指骨骼数据进行正反手姿态的判断。
其中,受试对象在悬臂直垂姿态下对应有停留检测区域。
S514、若双手均处于正手姿态,检测受试对象的下颌是否过杆。
S516、若检测到受试对象的下颌过杆,对引体向上动作的计数加1。
S518、若检测到受试对象的下颌过杆,判断受试对象是否处于悬臂直垂姿态。
S520、若再次判定受试对象处于悬臂直垂姿态,确定受试对象完成下降过程。
S522、若受试对象在停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
本说明书实施方式提供一种动作检测装置600,请参阅图6,动作检测装置600包括:骨骼数据获取模块610、正反手判断模块620、下颌过杆检测模块630、悬臂直垂判断模块640、下降完成确定模块650、测试过程结束模块660。
骨骼数据获取模块610,用于获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
正反手判断模块620,用于在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;其中,所述受试对象在所述悬臂直垂姿态下对应有停留检测区域;
下颌过杆检测模块630,用于若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
悬臂直垂判断模块640,用于若检测到所述受试对象的下颌过杆,判断所述受试对象是否处于悬臂直垂姿态;
下降完成确定模块650,用于若再次判定所述受试对象处于所述悬臂直垂姿态,确定所述受试对象完成下降过程;
测试过程结束模块660,用于若所述受试对象在所述停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
在一些实施方式中,所述骨骼数据获取模块,还用于对所述受试对象的引体向上测试的过程进行拍摄,得到视频图像序列;将所述视频图像序列输入至跟踪网络,得到所述受试对象对应的检测框;基于所述检测框从所述视频图像序列中的每个视频图像帧中截取所述受试对象的人形图像;基于所述受试对象的人形图像进行骨骼点检测,得到所述骨骼位置数据。
在一些实施方式中,若检测到所述受试对象的下颌过杆,对所述引体向上动作的计数加1;若确定所述受试对象完成下降过程,对所述引体向上动作的计数加1。
在一些实施方式中,所述测试过程结束模块,用于确定所述受试对象在所述悬臂直垂姿态下的眼睛参考位置数据;基于所述眼睛参考位置数据以及预设区域阈值确定所述停留检测区域。
在一些实施方式中,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述正反手判断模块,还用于若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
本说明书实施方式提供一种动作计数装置700,请参阅图7,动作计数装置700包括:骨骼数据获取模块710、正反手判断模块720、下颌过杆检测模块730、引体向上计数模块740。
骨骼数据获取模块710,用于获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
正反手判断模块720,用于在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;
下颌过杆检测模块730,用于若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
引体向上计数模块740,用于若检测到所述受试对象的下颌过杆,对引体向上动作进行计数。
在一些实施方式中,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述正反手判断模块,还用于若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
关于动作检测装置、动作计数装置的具体描述,可以参见上文中对动作检测方法、动作计数方法的描述,在此不再赘述。
本说明书实施方式提供一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。
本说明书的一个实施方式提供一种计算机程序产品,计算机程序产品中包括指令,指令被计算机设备的处理器执行时,使得计算机设备能够执行上述任一项实施方式的方法的步骤。
在一些实施方式中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种动作检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本说明书所公开方案相关的部分结构的框图,并不构成对本说明书所公开方案所应用于其上的计算机设备的限定,具体地,计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。

Claims (19)

1.一种动作检测方法,其特征在于,所述方法包括:
获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;其中,所述受试对象在所述悬臂直垂姿态下对应有停留检测区域;
若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
若检测到所述受试对象的下颌过杆,判断所述受试对象是否处于悬臂直垂姿态;
若再次判定所述受试对象处于所述悬臂直垂姿态,确定所述受试对象完成下降过程;
若所述受试对象在所述停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
2.根据权利要求1所述的方法,其特征在于,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断,包括:
若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;
若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
3.根据权利要求1所述的方法,其特征在于,所述获取受试对象的指定数量骨骼点对应的骨骼位置数据,包括:
对所述受试对象的引体向上测试的过程进行拍摄,得到视频图像序列;
将所述视频图像序列输入至跟踪网络,得到所述受试对象对应的检测框;
基于所述检测框从所述视频图像序列中的每个视频图像帧中截取所述受试对象的人形图像;
基于所述受试对象的人形图像进行骨骼点检测,得到所述骨骼位置数据。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于针对所述受试对象采集的人脸图像进行人脸识别,得到所述受试对象的身份信息,以对所述受试对象进行人员跟踪。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括以下之一:
若检测到所述受试对象的下颌过杆,对所述引体向上动作的计数加1;
若确定所述受试对象完成下降过程,对所述引体向上动作的计数加1。
6.根据权利要求1或5所述的方法,其特征在于,在以下任一情形中对所述引体向上动作不计数:
在检测到所述受试对象准备开始引体向上测试且双手握杆的情况下,检测到所述受试对象没有处于悬臂直垂姿态;
若基于所述第一手指骨骼数据和所述第二手指骨骼数据判定所述双手处于反手姿态;
若检测到所述受试对象的下颌未过杆;
在检测到所述受试对象的下颌过杆后,检测到所述受试对象没有处于所述悬臂直垂姿态。
7.根据权利要求1所述的方法,其特征在于,所述停留检测区域的确定过程,包括:
确定所述受试对象在所述悬臂直垂姿态下的眼睛参考位置数据;
基于所述眼睛参考位置数据以及预设区域阈值确定所述停留检测区域。
8.一种动作计数方法,其特征在于,所述方法包括:
获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;
若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
若检测到所述受试对象的下颌过杆,对引体向上动作进行计数。
9.根据权利要求8所述的方法,其特征在于,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断,包括:
若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;
若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
10.一种动作检测装置,其特征在于,所述装置包括:
骨骼数据获取模块,用于获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
正反手判断模块,用于在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;其中,所述受试对象在所述悬臂直垂姿态下对应有停留检测区域;
下颌过杆检测模块,用于若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
悬臂直垂判断模块,用于若检测到所述受试对象的下颌过杆,判断所述受试对象是否处于悬臂直垂姿态;
下降完成确定模块,用于若再次判定所述受试对象处于所述悬臂直垂姿态,确定所述受试对象完成下降过程;
测试过程结束模块,用于若所述受试对象在所述停留检测区域中的停留时间超过预设停留时长,则结束引体向上测试过程。
11.根据权利要求10所述的装置,其特征在于,所述骨骼数据获取模块,还用于对所述受试对象的引体向上测试的过程进行拍摄,得到视频图像序列;将所述视频图像序列输入至跟踪网络,得到所述受试对象对应的检测框;基于所述检测框从所述视频图像序列中的每个视频图像帧中截取所述受试对象的人形图像;基于所述受试对象的人形图像进行骨骼点检测,得到所述骨骼位置数据。
12.根据权利要求10所述的装置,其特征在于,若检测到所述受试对象的下颌过杆,对所述引体向上动作的计数加1;若确定所述受试对象完成下降过程,对所述引体向上动作的计数加1。
13.根据权利要求10所述的装置,其特征在于,所述测试过程结束模块,用于确定所述受试对象在所述悬臂直垂姿态下的眼睛参考位置数据;基于所述眼睛参考位置数据以及预设区域阈值确定所述停留检测区域。
14.根据权利要求10所述的装置,其特征在于,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述正反手判断模块,还用于若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
15.一种动作计数装置,其特征在于,所述装置包括:
骨骼数据获取模块,用于获取受试对象的指定数量骨骼点对应的骨骼位置数据;其中,所述骨骼位置数据包括双手第一手指近指尖关节的第一手指骨骼数据和双手第二手指近指尖关节的第二手指骨骼数据;其中,所述第一手指与所述第二手指为不同的手指;
正反手判断模块,用于在判定所述受试对象处于悬臂直垂姿态的情况下,基于所述第一手指骨骼数据和所述第二手指骨骼数据进行正反手姿态的判断;
下颌过杆检测模块,用于若所述双手均处于正手姿态,检测所述受试对象的下颌是否过杆;
引体向上计数模块,用于若检测到所述受试对象的下颌过杆,对引体向上动作进行计数。
16.根据权利要求15所述的装置,其特征在于,所述第一手指为食指,所述第二手指为小指;所述受试对象左手指向所述受试对象右手的方向为正方向;所述正反手判断模块,还用于若所述左手在正方向的小指骨骼数据大于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据小于所述右手在正方向的食指骨骼数据,判定所述双手均处于正手姿态;若所述左手在正方向的小指骨骼数据小于所述左手在正方向的食指骨骼数据,且所述右手在正方向的小指骨骼数据大于所述右手在正方向的食指骨骼数据,判定所述双手均处于反手姿态。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。
19.一种异构芯片,其特征在于,包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在所述存储器中且被配置为由所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行的计算机程序,所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行所述计算机程序时实现如权利要求1至9中任意一项所述的方法。
CN202311085455.3A 2023-08-25 2023-08-25 动作检测方法、装置、设备、存储介质及异构芯片 Active CN117037279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311085455.3A CN117037279B (zh) 2023-08-25 2023-08-25 动作检测方法、装置、设备、存储介质及异构芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311085455.3A CN117037279B (zh) 2023-08-25 2023-08-25 动作检测方法、装置、设备、存储介质及异构芯片

Publications (2)

Publication Number Publication Date
CN117037279A true CN117037279A (zh) 2023-11-10
CN117037279B CN117037279B (zh) 2024-06-18

Family

ID=88633628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311085455.3A Active CN117037279B (zh) 2023-08-25 2023-08-25 动作检测方法、装置、设备、存储介质及异构芯片

Country Status (1)

Country Link
CN (1) CN117037279B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851114A (zh) * 2017-03-31 2017-06-13 努比亚技术有限公司 一种照片显示、照片生成装置和方法、终端
CN113378040A (zh) * 2021-05-24 2021-09-10 山东浪潮爱购云链信息科技有限公司 一种用于推广的用户行为分析方法及设备
CN114140722A (zh) * 2021-12-01 2022-03-04 中科海微(北京)科技有限公司 引体向上运动的评估方法、装置、服务器及存储介质
CN114821016A (zh) * 2022-03-24 2022-07-29 河北中晟易通科技有限公司 无人自动化智能体测设备及其智能体测方法
CN115738219A (zh) * 2022-11-02 2023-03-07 科大讯飞股份有限公司 引体向上测评方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851114A (zh) * 2017-03-31 2017-06-13 努比亚技术有限公司 一种照片显示、照片生成装置和方法、终端
CN113378040A (zh) * 2021-05-24 2021-09-10 山东浪潮爱购云链信息科技有限公司 一种用于推广的用户行为分析方法及设备
CN114140722A (zh) * 2021-12-01 2022-03-04 中科海微(北京)科技有限公司 引体向上运动的评估方法、装置、服务器及存储介质
CN114821016A (zh) * 2022-03-24 2022-07-29 河北中晟易通科技有限公司 无人自动化智能体测设备及其智能体测方法
CN115738219A (zh) * 2022-11-02 2023-03-07 科大讯飞股份有限公司 引体向上测评方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN117037279B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
Zhao et al. Single image action recognition using semantic body part actions
Bian et al. Fall detection based on body part tracking using a depth camera
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
Ahmed et al. Kinect-based gait recognition using sequences of the most relevant joint relative angles
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
Anilkumar et al. Pose estimated yoga monitoring system
US20150092981A1 (en) Apparatus and method for providing activity recognition based application service
CN106384093A (zh) 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
Monir et al. Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
WO2023108842A1 (zh) 基于健身教学训练的动作评价方法及系统
CN114343618A (zh) 训练动作检测方法及装置
Omelina et al. Interaction detection with depth sensing and body tracking cameras in physical rehabilitation
CN114092863A (zh) 一种用于多视角视频图像的人体动作评估方法
Sabir et al. Human gait identification using Kinect sensor
CN117037279B (zh) 动作检测方法、装置、设备、存储介质及异构芯片
CN111274854B (zh) 一种人体动作识别方法和视觉增强处理系统
CN117292288A (zh) 体育测试方法、系统、电子设备、芯片及存储介质
Miyamoto et al. Gender prediction by gait analysis based on time series variation on joint position
Abd Shattar et al. Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement
Aiman et al. Video based exercise recognition using gcn
Karunaratne et al. Objectively measure player performance on Olympic weightlifting
KR20210062375A (ko) 심리상태 기반 이상행동 검출 장치 및 방법
Razali et al. Gait recognition using motion capture data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant