CN115019399A - 一种人体姿态检测方法 - Google Patents

一种人体姿态检测方法 Download PDF

Info

Publication number
CN115019399A
CN115019399A CN202210738697.7A CN202210738697A CN115019399A CN 115019399 A CN115019399 A CN 115019399A CN 202210738697 A CN202210738697 A CN 202210738697A CN 115019399 A CN115019399 A CN 115019399A
Authority
CN
China
Prior art keywords
leg
knee
hip
action
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210738697.7A
Other languages
English (en)
Inventor
马楠
郭聪
梁晔
姬厚国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210738697.7A priority Critical patent/CN115019399A/zh
Publication of CN115019399A publication Critical patent/CN115019399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种人体姿态检测方法，包括通过摄像头获取用户动作视频并检测人体的骨骼关键点，还包括以下步骤：提取所述用户动作视频中的每一图像帧；根据抬腿动作记录规则判断在所述用户动作视频中抬腿动作完成次数；对所述关键点之间的检测角度进行计算，分析人体的姿势；判断每一个抬腿动作是否为高抬腿动作；计算高抬腿动作的标准度；整个运动结束后，计算动作的整体完成度b和平均标准度c。本发明提供的一种人体姿态检测方法，针对居家锻炼缺乏教练、没有正确的姿势指导、运动结果无法评测等问题，通过人体的姿态估计技术对健身中的高抬腿运动姿态进行检测、判断和性能评测。

Description

一种人体姿态检测方法
技术领域
本发明涉及图像处理的技术领域，特别是一种人体姿态检测方法。
背景技术
人体姿态估计是计算机视觉领域中的一个重要研究方向，被广泛应用于人体活动分析、人机交互以及视频监视等方面。人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点(如肩、肘、腕、髋膝、膝、踝等)。人体姿态估计的任务是对图像或视频中的人体关键点进行定位和检测，它一直是计算机视觉领域广泛研究的方向之一，也是计算机理解人类行为动作的关键一步。近年来，随着深度学习技术的不断发展，基于深度学习的人体姿态估计方法不断被提出，表现效果远超传统方法。PoseNet是剑桥大学开发的利用深度学习进行视觉定位的人体姿态检测模型，能够花费5ms来获取位姿信息。研究人员可以通过获得的位姿信息对各关节的相对位置、关节连线之间的角度进行分析，最后判断人体的姿势，并进行行为分类。
申请公开号为CN114022952A的发明专利申请公开了一种基于视觉技术的高抬腿测试计数方法、装置和介质，其中方法包括：根据获取的准备图片，判断测试人员是否符合准备动作标准，若符合，则开始测试计数，并进入下一步；若不符合，则进行提示；按照时间先后顺序获取所有图片，并判断每张图片中的动作状态类型，以及在该动作状态的保持时长，若该动作状态的保持时长小于设定阈值，则将该图片删除，否，则进入下一步；判断前后图片是否符合完成一次高抬腿，若均符合，则进行计数加1；否，则不计数。该方法的缺点是该专利使用状态判别法，需要捕获4-6帧图像才能判断状态，再根据状态的排列顺序检测异常或计数，计数方法复杂，效率低，并且没有判断动作的标准性。
发明内容
为了解决上述的技术问题，本发明提出了一种人体姿态检测方法，针对居家锻炼没有正确的姿势教导、无法对锻炼结果进行评测等问题，通过人体的姿态估计技术对健身中的高抬腿运动姿态进行检测、判断和性能评测。
本发明提供一种人体姿态检测方法，包括通过摄像头获取用户动作视频并检测人体的骨骼关键点，还包括以下步骤：
步骤1：提取所述用户动作视频中的每一图像帧；
步骤2：根据抬腿动作记录规则记录在所述用户动作视频中抬腿动作完成次数；
步骤3：对所述关键点之间的检测角度进行计算，分析人体的姿势；
步骤4：判断每一个抬腿动作是否为高抬腿动作，如果判定为高抬腿动作，则n＝n+1，其中，n为高抬腿的个数，初始值为0；
步骤5：计算高抬腿动作的标准度；
步骤6：整个运动结束后，计算动作的整体完成度b和平均标准度c。
优选的是，所述骨骼关键点包括左肩、左臀、左踝关节、左膝盖、右肩、右臀、右踝关节和右膝盖中至少一种。
在上述任一方案中优选的是，每个所述骨骼关键点在所述图像帧中用二维坐标系方式表示。
在上述任一方案中优选的是，所述抬腿动作记录规则包括：
1)对每一图像帧与前一帧进行比对，当左膝盖的高度逐帧上升，则判定为左腿在抬腿，左膝盖高度达到最高，表示本次左抬腿动作结束；
2)对每一图像帧与前一帧进行比对，当右膝盖的高度逐帧上升，则判定为右腿在抬腿，右膝盖高度达到最高，表示本次右抬腿动作结束。
在上述任一方案中优选的是，所述检测角度包括第一检测角度θ1和第二检测角度θ2。
在上述任一方案中优选的是，当左腿抬腿动作结束时，左肩与左臀连线、左臀与左膝盖这两条直线形成的夹角为所述第一检测夹角θ1，计算公式为
bayl＝left_shoulder.y-left_hip.y
baxl＝left_shoulder.x-left_hip.x
Figure BDA0003711769300000031
Figure BDA0003711769300000032
bcyl＝left_knee.y-left_hip.y
bcxl＝left_knee.x-left_hip.x
Figure BDA0003711769300000033
Figure BDA0003711769300000034
ba_mul_bcl＝baxl*bcxl+bayl*bcyl
Figure BDA0003711769300000035
θ1＝ba_rad_bcl/π*180
其中，bayl为左臀到左肩的连线y坐标方向的差值，left_shoulder.y为左肩膀的y坐标，left_hip.y为左臀的y坐标；baxl为左臀到左肩的连线x坐标方向的差值，left_shoulder.x为左肩膀的x坐标，left_hip.x为左臀的x坐标，
Figure BDA0003711769300000036
为左臀到左肩的连线向量，
Figure BDA0003711769300000037
为向量
Figure BDA0003711769300000038
的长度，bcyl为左臀到左膝盖的连线y坐标方向的差值，left_knee.y为左膝盖的y坐标，bcxl为左臀到左膝盖的连线x坐标方向的差值，left_knee.x为左膝盖的x坐标，
Figure BDA0003711769300000039
为左臀到左膝盖的连线向量，
Figure BDA00037117693000000310
为向量
Figure BDA00037117693000000311
的长度，ba_mul_bcl为
Figure BDA00037117693000000312
与
Figure BDA00037117693000000313
的数量积，ba_rad_bcl为
Figure BDA00037117693000000314
与
Figure BDA00037117693000000315
的夹角弧度，θ1为
Figure BDA00037117693000000316
与
Figure BDA00037117693000000317
的夹角角度。
在上述任一方案中优选的是，当左抬腿动作结束时，左臀与左膝盖、左膝盖与左踝这两条直线形成的夹角为所述第二检测夹角θ2，计算公式为
bcyl＝left_knee.y-left_hip.y
bcxl＝left_knee.x-left_hip.x
Figure BDA0003711769300000041
Figure BDA0003711769300000042
dcyl＝left_knee.y-left_ankle.y
dcxl＝left_knee.x-left_ankle.x
Figure BDA0003711769300000043
Figure BDA0003711769300000044
bc_mul_dcl＝bcxl*dcxl+bcyl*dcyl
Figure BDA0003711769300000045
θ2＝bc_rad_dcl/π*180
其中，dcyl为左膝盖与左踝的连线向量y坐标方向的差值，left_ankle.y为左踝关节的y坐标，dcxl为左膝盖与左踝的连线向量x坐标方向的差值，left_ankle.x为左踝关节的x坐标，
Figure BDA0003711769300000046
为左膝盖与左踝的连线向量，bc_mul_dcl为
Figure BDA0003711769300000047
与
Figure BDA0003711769300000048
的数量积，bc_rad_dcl为
Figure BDA0003711769300000049
与
Figure BDA00037117693000000410
的夹角弧度，θ2为
Figure BDA00037117693000000411
与
Figure BDA00037117693000000412
的夹角角度。
在上述任一方案中优选的是，所述检测角度还包括第三检测角度θ3和第四检测角度θ4。
在上述任一方案中优选的是，当右腿抬腿动作结束时，右肩与右臀连线、右臀与右膝盖这两条直线形成的夹角为所述第三检测夹角θ3，计算方法与所述第一检测夹角θ1相同。
在上述任一方案中优选的是，当右抬腿动作结束时，右臀与右膝盖、右膝盖与右踝这两条直线形成的夹角为所述第四检测夹角θ4，计算方法与所述第二检测夹角θ2相同。
在上述任一方案中优选的是，判断每一个抬腿动作是否为高抬腿动作的方法包括以下方法：
1)当左抬腿动作结束时，计算所述第一检测夹角θ1和90度差的绝对值|θ1-90|，计算所述第二检测夹角θ2和90度差的绝对值|θ2-90|，若|θ1-90|<α1且|θ2-90|<α2，则认定为是左腿的高抬腿动作；
2)当右抬腿动作结束时，计算所述第三检测夹角θ3和90度差的绝对值|θ3-90|，计算所述第四检测夹角θ4和90度差的绝对值|θ4-90|，若|θ3-90|<α1且|θ4-90|<α2，则认定为是右腿的高抬腿动作；
其中，α1和α2为允许的角度误差。
在上述任一方案中优选的是，左腿的高抬腿动作的标准度βL的计算公式为βL＝1-(|θ1-90|+|θ2-90|)/180。
在上述任一方案中优选的是，右腿的高抬腿动作的所述标准度βR的计算公式为βR＝1-(|θ3-90|+|θ4-90|)/180。
在上述任一方案中优选的是，设定需要完成的高抬腿的次数为N，则所述整体完成度b的计算公式为b＝n/N。
在上述任一方案中优选的是，所述平均完成度c的计算公式为
Figure BDA0003711769300000051
其中，
Figure BDA0003711769300000052
为左腿第i次高抬腿动作的标准度，
Figure BDA0003711769300000053
为左腿第j次高抬腿动作的标准度，I为左高抬腿的次数，J为有高抬腿的次数，I+J＝n。
本发明提出了一种人体姿态检测方法，通过人体姿态估计技术获得人体关键点的位姿信息，对各关键点的相对位置、关键点连线之间的角度进行分析，对健身中的高抬腿运动姿态进行检测、判断和性能评测。
附图说明
图1为按照本发明的人体姿态检测方法的一优选实施例的流程图。
图2为按照本发明的人体姿态检测方法的另一优选实施例的流程图。
图3为按照本发明的人体姿态检测方法的人体骨骼关键点提取的一实施例的示意图。
图4为按照本发明的人体姿态检测方法的高抬腿动作判断的一实施例的示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所示，执行步骤100，通过摄像头获取用户动作视频并检测人体的骨骼关键点，所述骨骼关键点包括左肩、左臀、左踝关节、左膝盖、右肩、右臀、右踝关节和右膝盖中至少一种。
执行步骤110，提取所述用户动作视频中的每一图像帧，每个所述骨骼关键点在所述图像帧中用二维坐标系方式表示。
执行步骤120，根据抬腿动作记录规则记录在所述用户动作视频中抬腿动作完成次数。所述抬腿动作记录规则包括：
1)对每一图像帧与前一帧进行比对，当左膝盖的高度逐帧上升，则判定为左腿在抬腿，左膝盖高度达到最高，表示本次左抬腿动作结束；
2)对每一图像帧与前一帧进行比对，当右膝盖的高度逐帧上升，则判定为右腿在抬腿，右膝盖高度达到最高，表示本次右抬腿动作结束。
执行步骤130，对所述关键点之间的检测角度进行计算，分析人体的姿势。所述检测角度包括第一检测角度θ1和第二检测角度θ2。
当左腿抬腿动作结束时，左肩与左臀连线、左臀与左膝盖这两条直线形成的夹角为所述第一检测夹角θ1，计算公式为
bayl＝left_shoulder.y-left_hip.y
baxl＝left_shoulder.x-left_hip.x
Figure BDA0003711769300000061
Figure BDA0003711769300000071
bcyl＝left_knee.y-left_hip.y
bcxl＝left_knee.x-left_hip.x
Figure BDA0003711769300000072
Figure BDA0003711769300000073
ba_mul_bcl＝baxl*bcxl+bayl*bcyl
Figure BDA0003711769300000074
θ1＝ba_rad_bcl/π*180
其中，bayl为左臀到左肩的连线y坐标方向的差值，left_shoulder.y为左肩膀的y坐标，left_hip.y为左臀的y坐标；baxl为左臀到左肩的连线x坐标方向的差值，left_shoulder.x为左肩膀的x坐标，left_hip.x为左臀的x坐标，
Figure BDA0003711769300000075
为左臀到左肩的连线向量，
Figure BDA0003711769300000076
为向量
Figure BDA0003711769300000077
的长度，bcyl为左臀到左膝盖的连线y坐标方向的差值，left_knee.y为左膝盖的y坐标，bcxl为左臀到左膝盖的连线x坐标方向的差值，left_knee.x为左膝盖的x坐标，
Figure BDA0003711769300000078
为左臀到左膝盖的连线向量，
Figure BDA0003711769300000079
为向量
Figure BDA00037117693000000710
的长度，ba_mul_bcl为
Figure BDA00037117693000000711
与
Figure BDA00037117693000000712
的数量积，ba_rad_bcl为
Figure BDA00037117693000000713
与
Figure BDA00037117693000000714
的夹角弧度，θ1为
Figure BDA00037117693000000715
与
Figure BDA00037117693000000716
的夹角角度。
当左抬腿动作结束时，左臀与左膝盖、左膝盖与左踝这两条直线形成的夹角为所述第二检测夹角θ2，计算公式为
bcyl＝left_knee.y-left_hip.y
bcxl＝left_knee.x-left_hip.x
Figure BDA00037117693000000717
Figure BDA00037117693000000718
dcyl＝left_knee.y-left_ankle.y
dcxl＝left_knee.x-left_ankle.x
Figure BDA0003711769300000081
Figure BDA0003711769300000082
bc_mul_dcl＝bcxl*dcxl+bcyl*dcyl
Figure BDA0003711769300000083
θ2＝bc_rad_dcl/π*180
其中，dcyl为左膝盖与左踝的连线向量y坐标方向的差值，left_ankle.y为左踝关节的y坐标，dcxl为左膝盖与左踝的连线向量x坐标方向的差值，left_ankle.x为左踝关节的x坐标，
Figure BDA0003711769300000084
为左膝盖与左踝的连线向量，bc_mul_dcl为
Figure BDA0003711769300000085
与
Figure BDA0003711769300000086
的数量积，bc_rad_dcl为
Figure BDA0003711769300000087
与
Figure BDA0003711769300000088
的夹角弧度，θ2为
Figure BDA0003711769300000089
与
Figure BDA00037117693000000810
的夹角角度。
所述检测角度还包括第三检测角度θ3和第四检测角度θ4。
当右腿抬腿动作结束时，右肩与右臀连线、右臀与右膝盖这两条直线形成的夹角为所述第三检测夹角θ3，
计算公式为
bayr＝right_shoulder.y-right_hip.y
baxr＝right_shoulder.x-right_hip.x
Figure BDA00037117693000000811
Figure BDA00037117693000000812
bcyr＝right_knee.y-right_hip.y
bcxr＝right_knee.x-right_hip.x
Figure BDA00037117693000000813
Figure BDA00037117693000000814
ba_mul_bcr＝baxr*bcxr+bayr*bcyr
Figure BDA00037117693000000815
θ3＝ba_rad_bcr/π*180
其中，bayr为右臀到右肩的连线y坐标方向的差值，right_shoulder.y为右肩膀的y坐标，right_hip.y为右臀的y坐标；baxr为右臀到右肩的连线x坐标方向的差值，right_shoulder.x为右肩膀的x坐标，right_hip.x为右臀的x坐标，
Figure BDA0003711769300000091
为右臀到右肩的连线向量，
Figure BDA0003711769300000092
为向量
Figure BDA0003711769300000093
的长度，bcyr为右臀到右膝盖的连线y坐标方向的差值，right_knee.y为右膝盖的y坐标，bcxr为右臀到右膝盖的连线x坐标方向的差值，right_knee.x为右膝盖的x坐标，
Figure BDA0003711769300000094
为右臀到右膝盖的连线向量，
Figure BDA0003711769300000095
为向量
Figure BDA0003711769300000096
的长度，ba_mul_bcr为
Figure BDA0003711769300000097
与
Figure BDA0003711769300000098
的数量积，ba_rad_bcr为
Figure BDA0003711769300000099
与
Figure BDA00037117693000000910
的夹角弧度，θ3为
Figure BDA00037117693000000911
与
Figure BDA00037117693000000912
的夹角角度。
当右抬腿动作结束时，右臀与右膝盖、右膝盖与右踝这两条直线形成的夹角为所述第四检测夹角θ4，计算公式为
bcyr＝right_knee.y-right_hip.y
bcxr＝right_knee.x-right_hip.x
Figure BDA00037117693000000913
Figure BDA00037117693000000914
dcyr＝right_knee.y-right_ankle.y
dcxr＝right_knee.x-right_ankle.x
Figure BDA00037117693000000915
Figure BDA00037117693000000916
bc_mul_dcr＝bcxr*dcxr+bcyr*dcyr
Figure BDA00037117693000000917
θ4＝bc_rad_dcr/π*180
其中，dcyr为右膝盖与右踝的连线向量y坐标方向的差值，right_ankle.y为右踝关节的y坐标，dcxr为右膝盖与右踝的连线向量x坐标方向的差值，right_ankle.x为右踝关节的x坐标，
Figure BDA00037117693000000918
为右膝盖与右踝的连线向量，bc_mul_dcr为
Figure BDA0003711769300000101
与
Figure BDA0003711769300000102
的数量积，bc_rad_dcr为
Figure BDA0003711769300000103
与
Figure BDA0003711769300000104
的夹角弧度，θ3为
Figure BDA0003711769300000105
与
Figure BDA0003711769300000106
的夹角角度。
执行步骤140，判断每一个抬腿动作是否为高抬腿动作，如果判定为高抬腿动作，则n＝n+1，其中，n为高抬腿的个数，初始值为0。判断每一个抬腿动作是否为高抬腿动作的方法包括：
1)当左抬腿动作结束时，计算所述第一检测夹角θ1和90度差的绝对值|θ1-90|，计算所述第二检测夹角θ2和90度差的绝对值|θ2-90|，若|θ1-90|<α1且|θ2-90|<α2，则认定为是左腿的高抬腿动作；
2)当右抬腿动作结束时，计算所述第三检测夹角θ3和90度差的绝对值|θ3-90|，计算所述第四检测夹角θ4和90度差的绝对值|θ4-90|，若|θ3-90|<α1且|θ4-90|<α2，则认定为是右腿的高抬腿动作；
其中，α1和α2为允许的角度误差。
执行步骤150，计算高抬腿动作的标准度。左腿的高抬腿动作的标准度βL的计算公式为βL＝1-(|θ1-90|+|θ2-90|)/180，右腿的高抬腿动作的所述标准度βR的计算公式为βR＝1-(|θ3-90|+|θ4-90|)/180。
执行步骤160，整个运动结束后，计算动作的整体完成度b和平均标准度c。设定需要完成的高抬腿的次数为N，则所述整体完成度b的计算公式为b＝n/N。所述平均标准度c的计算公式为
Figure BDA0003711769300000107
其中，
Figure BDA0003711769300000108
为左腿第i次高抬腿动作的标准度，
Figure BDA0003711769300000109
为左腿第j次高抬腿动作的标准度，I为左高抬腿的次数，J为有高抬腿的次数，I+J＝n。
实施例二
本发明提出了一种智能识别原地高抬腿动作姿态完成状况的方法及系统，该方法包括：检测17个人体骨骼关键点；高抬腿过程分解为左腿高抬腿和右侧高抬腿的交叉抬腿循环；设定腰线与大腿形成的夹角为第一检测夹角，大腿和小腿形成的夹角为第二检测夹角，当第一检测夹角与第二检测夹角满足一定的阈值关系，则判定为一次高抬腿动作；在判定为高抬腿动作的前提下对动作进行评测，计算动作的标准度，标准度通过计算第一检测夹角与标准角度差的绝对值的标准化值进行衡量；重复进行高抬腿的判定和标准度的计算，最后计算整个过程的动作完成度和平均标准度。
如图2所示，主要步骤如下：
(1)检测人体的17个骨骼关键点变量，这些关键包括：鼻子、左眼、左耳、左肩、左手肘、左手腕、左臀、左踝关节、左膝盖、右眼、右耳、右肩、右手肘、右手腕、右臀、右踝关节、右膝盖。和本发明相关的变量为left_shoulder(左肩)、left_hip(左臀)、left_knee(左膝盖)、left_ankle(左踝关节)、right_shoulder(右肩)、right_hip(右臀)、right_ankle(右踝关节)和right_knee(右膝盖)。每个关键点在图像中用二维坐标系方式表示，例如left_shoulder.x表示左肩膀的x坐标，例如left_shoulder.y表示左肩膀的y坐标。
(2)检测开始，由摄像头实时获取用户动作视频，并提取图像帧。
(3)判断一次抬腿动作结束的方法。对每一图像帧与前一帧进行比对，当左膝盖的高度逐帧上升，则判定为左腿在抬腿，左膝盖高度达到最高，表示本次左抬腿动作结束。同理可判断右腿一次抬腿动作的结束。
(4)对关键点连线之间的角度进行计算，并分析人体的姿势。
第一检测交角θ1的计算：当左腿抬腿动作结束时，左肩与左臀连线、左臀与左膝盖这两条直线形成的夹角为第一检测夹角：
bay＝left_shoulder.y-left_hip.y
bax＝left_shoulder.x-left_hip.x
Figure BDA0003711769300000121
Figure BDA0003711769300000122
bcy＝left_knee.y-left_hip.y
bcx＝left_knee.x-left_hip.x
Figure BDA0003711769300000123
Figure BDA0003711769300000124
ba_mul_bc＝bax*bcx+bay*bcy
Figure BDA0003711769300000125
θ1＝ba_rad_bc/π*180
同理计算右腿抬腿结束时的第一检测夹角。
第二检测夹角θ2的计算：当左抬腿动作结束时，左臀与左膝盖、左膝盖与左踝这两条直线形成的夹角为第二检测夹角，
bcy＝left_knee.y-left_hip.y
bcx＝left_knee.x-left_hip.x
Figure BDA0003711769300000126
Figure BDA0003711769300000127
dcy＝left_knee.y-left_ankle.y
dcx＝left_knee.x-left_ankle.x
Figure BDA0003711769300000128
Figure BDA0003711769300000129
bc_mul_dc＝bcx*dcx+bcy*dcy
Figure BDA00037117693000001210
θ2＝bc_rad_dc/π*180
(5)是否为高抬腿动作的判定方法。当左抬腿动作结束时，计算第一检测夹角和90度差的绝对值|θ1-90|，若|θ1-90|<α1，α1为允许的角度误差；计算第二检测夹角和90度差的绝对值|θ2-90|，若|θ2-90|<α2，α2为允许的角度误差，则认定为是高抬腿动作。同理判定右腿的高抬腿动作。
(6)计算高抬腿动作的标准度。当左抬腿动作结束时，经过步骤(5)已经判定为高抬腿，则标准度β＝1-((|θ1-90|)+|θ2-90|)/180。
(7)用户所做动作的计数。如果判定为高抬腿动作，则n＝n+1，n为高抬腿的个数，初始值为0。
(8)假设需要完成的抬腿次数为N，当整个运动结束后，计算动作的整体完成度b和平均标准度c。在N次抬腿中，判定为高抬腿动作的最终完成次数为M，则b＝M/N。平均标准度为：
Figure BDA0003711769300000131
其中，βi为第i次的标准度，标准度的计算方法如步骤(6)所示。
实施例三
在人体检测模型上采用posenet检测模型，应用本发明方法编写手机APP，检测到17个人体关键点，并对高抬腿动作计数和标准度计算，如图3所示。
实施例四
如图4所示的为高抬腿动作的例子，对例子中的抬腿结束状态进行判断和计算高抬腿动作分解状态如图所示，∠ABC为第一检测夹角，∠BCD为第二检测夹角。初始化α1＝10，α2＝20，以左腿高抬腿结束状态为例计算检测夹角并判断动作是否合格：
left_shoulder.y＝100.52 left_shoulder.x＝11.20
left_hip.y＝64.32 left_hip.x＝13.44
left_knee.y＝61.38 left_knee.x＝45.63
left_ankle.y＝30.75 left_ankle.x＝33.94
bay＝left_shoulder.y-left_hip.y＝100.52-64.32＝36.2；
bax＝left_shoulder.x-left_hip.x＝11.20-13.44＝-2.24；
|ab|＝sqr(bax*bax+bay*bay)＝36.27；
bcy＝left_knee.y-left_hip.y＝61.38-64.32＝-2.94；
bcx＝left_knee.x-left_hip.x＝45.63-13.44＝32.19；
|bc|＝sqr(bcx*bcx+bcy*bcy)＝32.32；
ba_mul_bc＝bax*bcx+bay*bcy＝-178.53；
ba_rad_bc＝arccos(ba_mu_bc/(|ba|*|bc|))
＝arccos(-178.53/(36.27*32.32))＝1.724；
θ1＝ba_rad_bc/π*180＝98.76；
|θ1-90|＝1.24<α1//第一检测夹角满足条件
dcy＝left_knee.y-left_ankle.y＝61.38-30.75＝30.63；
dcx＝left_knee.x-left_ankle.x＝45.63-33.94＝11.69；
|cd|＝sqr(dcx*dcx+dcy*dcy)＝32.78；
bc_mul_dc＝bcx*dcx+bcy*dcy＝286.25；
bc_rad_dc＝arccos(bc_mu_dc/(|bc|*|dc|))＝arccos(286.25/32.32*32.78)＝1.297；
θ2＝bc_rad_dc/π*180＝74.34；
|θ2-90|＝15.66<a2//第二检测夹角满足条件
β＝1-(|θ1-90|+|θ2-90|)/180＝0.90
综上，该动作可以认定为左腿高抬腿动作，标准度为0.90。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种人体姿态检测方法，包括通过摄像头获取用户动作视频并检测人体的骨骼关键点，其特征在于，还包括以下步骤：
步骤1：提取所述用户动作视频中的每一图像帧；
步骤2：根据抬腿动作记录规则记录在所述用户动作视频中抬腿动作完成次数；
步骤3：对所述关键点之间的检测角度进行计算，分析人体的姿势；
步骤4：判断每一个抬腿动作是否为高抬腿动作，如果判定为高抬腿动作，则n＝n+1，其中，n为高抬腿的个数，初始值为0；
步骤5：计算高抬腿动作的标准度；
步骤6：整个运动结束后，计算动作的整体完成度b和平均标准度c。
2.如权利要求1所述的人体姿态检测方法，其特征在于，所述抬腿动作记录规则包括：
1)对每一图像帧与前一帧进行比对，当左膝盖的高度逐帧上升，则判定为左腿在抬腿，左膝盖高度达到最高，表示本次左抬腿动作结束；
2)对每一图像帧与前一帧进行比对，当右膝盖的高度逐帧上升，则判定为右腿在抬腿，右膝盖高度达到最高，表示本次右抬腿动作结束。
3.如权利要求2所述的人体姿态检测方法，其特征在于，所述检测角度包括第一检测角度θ1和第二检测角度θ2。
4.如权利要求3所述的人体姿态检测方法，其特征在于，当左腿抬腿动作结束时，左肩与左臀连线、左臀与左膝盖这两条直线形成的夹角为所述第一检测夹角θ1，计算公式为
bayl＝left_shoulder.y-left_hip.y
baxl＝left_shoulder.x-left_hip.x
Figure FDA0003711769290000021
Figure FDA0003711769290000022
bcyl＝left_knee.y-left_hip.y
bcxl＝left_knee.x-left_hip.x
Figure FDA0003711769290000023
Figure FDA0003711769290000024
ba_mul_bcl＝baxl*bcxl+bayl*bcyl
Figure FDA0003711769290000025
θ1＝ba_rad_bcl/π*180
其中，bayl为左臀到左肩的连线y坐标方向的差值，left_shoulder.y为左肩膀的y坐标，left_hip.y为左臀的y坐标；baxl为左臀到左肩的连线x坐标方向的差值，left_shoulder.x为左肩膀的x坐标，left_hip.x为左臀的x坐标，
Figure FDA0003711769290000026
为左臀到左肩的连线向量，
Figure FDA0003711769290000027
为向量
Figure FDA0003711769290000028
的长度，bcyl为左臀到左膝盖的连线y坐标方向的差值，left_knee.y为左膝盖的y坐标，bcxl为左臀到左膝盖的连线x坐标方向的差值，left_knee.x为左膝盖的x坐标，
Figure FDA0003711769290000029
为左臀到左膝盖的连线向量，
Figure FDA00037117692900000210
为向量
Figure FDA00037117692900000211
的长度，ba_mul_bcl为
Figure FDA00037117692900000212
与
Figure FDA00037117692900000213
的数量积，ba_rad_bcl为
Figure FDA00037117692900000214
与
Figure FDA00037117692900000215
的夹角弧度，θ1为
Figure FDA00037117692900000216
与
Figure FDA00037117692900000217
的夹角角度。
5.如权利要求4所述的人体姿态检测方法，其特征在于，当左抬腿动作结束时，左臀与左膝盖、左膝盖与左踝这两条直线形成的夹角为所述第二检测夹角θ2，计算公式为
bcyl＝left_knee.y-left_hip.y
bcxl＝left_knee.x-left_hip.x
Figure FDA00037117692900000218
Figure FDA00037117692900000219
dcyl＝left_knee.y-left_ankle.y
dcxl＝left_knee.x-left_ankle.x
Figure FDA0003711769290000031
Figure FDA0003711769290000032
bc_mul_dcl＝bcxl*dcxl+bcyl*dcyl
Figure FDA0003711769290000033
θ2＝bc_rad_dcl/π*180
其中，dcyl为左膝盖与左踝的连线向量y坐标方向的差值，left_ankle.y为左踝关节的y坐标，dcxl为左膝盖与左踝的连线向量x坐标方向的差值，left_ankle.x为左踝关节的x坐标，
Figure FDA0003711769290000034
为左膝盖与左踝的连线向量，bc_mul_dcl为
Figure FDA0003711769290000035
与
Figure FDA0003711769290000036
的数量积，bc_rad_dcl为
Figure FDA0003711769290000037
与
Figure FDA0003711769290000038
的夹角弧度，θ2为
Figure FDA0003711769290000039
与
Figure FDA00037117692900000310
的夹角角度。
6.如权利要求5所述的人体姿态检测方法，其特征在于，所述检测角度还包括第三检测角度θ3和第四检测角度θ4；
当右腿抬腿动作结束时，右肩与右臀连线、右臀与右膝盖这两条直线形成的夹角为所述第三检测夹角θ3，计算方法与所述第一检测夹角θ1相同；
当右抬腿动作结束时，右臀与右膝盖、右膝盖与右踝这两条直线形成的夹角为所述第四检测夹角θ4，计算方法与所述第二检测夹角θ2相同。
7.如权利要求6所述的人体姿态检测方法，其特征在于，判断每一个抬腿动作是否为高抬腿动作的方法包括：
1)当左抬腿动作结束时，计算所述第一检测夹角θ1和90度差的绝对值|θ1-90|，计算所述第二检测夹角θ2和90度差的绝对值|θ2-90|，若|θ1-90|<α1且|θ2-90|<α2，则认定为是左腿的高抬腿动作；
2)当右抬腿动作结束时，计算所述第三检测夹角θ3和90度差的绝对值|θ3-90|，计算所述第四检测夹角θ4和90度差的绝对值|θ4-90|，若|θ3-90|<α1且|θ4-90|<α2，则认定为是右腿的高抬腿动作；
其中，α1和α2为允许的角度误差。
8.如权利要求7所述的人体姿态检测方法，其特征在于，左腿的高抬腿动作的标准度βL的计算公式为βL＝1-(|θ1-90|+|θ2-90|)/180。
9.如权利要求8所述的人体姿态检测方法，其特征在于，右腿的高抬腿动作的所述标准度βR的计算公式为βR＝1-(|θ3-90|+|θ4-90|)/180。
10.如权利要求9所述的人体姿态检测方法，其特征在于，设定需要完成的高抬腿的次数为N，则所述整体完成度b的计算公式为b＝n/N；所述平均完成度c的计算公式为
Figure FDA0003711769290000041
其中，
Figure FDA0003711769290000042
为左腿第i次高抬腿动作的标准度，
Figure FDA0003711769290000043
为左腿第j次高抬腿动作的标准度，I为左高抬腿的次数，J为有高抬腿的次数，I+J＝n。
CN202210738697.7A 2022-06-24 2022-06-24 一种人体姿态检测方法 Pending CN115019399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210738697.7A CN115019399A (zh) 2022-06-24 2022-06-24 一种人体姿态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738697.7A CN115019399A (zh) 2022-06-24 2022-06-24 一种人体姿态检测方法

Publications (1)

Publication Number Publication Date
CN115019399A true CN115019399A (zh) 2022-09-06

Family

ID=83076975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738697.7A Pending CN115019399A (zh) 2022-06-24 2022-06-24 一种人体姿态检测方法

Country Status (1)

Country Link
CN (1) CN115019399A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052273A (zh) * 2023-01-06 2023-05-02 北京体提科技有限公司 一种基于体态鱼骨线的动作比对方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163038A (zh) * 2018-03-15 2019-08-23 南京硅基智能科技有限公司 一种基于深度卷积神经网络的人体运动计数方法
KR20210118496A (ko) * 2020-03-23 2021-10-01 권세기 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템
CN114022952A (zh) * 2021-10-13 2022-02-08 恒鸿达科技有限公司 一种基于视觉技术的高抬腿测试计数方法、装置和介质
CN114191804A (zh) * 2021-12-08 2022-03-18 上海影谱科技有限公司 一种基于深度学习的深蹲姿势标准与否的判别方法和装置
CN114343618A (zh) * 2021-12-20 2022-04-15 中科视语(北京)科技有限公司 训练动作检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163038A (zh) * 2018-03-15 2019-08-23 南京硅基智能科技有限公司 一种基于深度卷积神经网络的人体运动计数方法
KR20210118496A (ko) * 2020-03-23 2021-10-01 권세기 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템
CN114022952A (zh) * 2021-10-13 2022-02-08 恒鸿达科技有限公司 一种基于视觉技术的高抬腿测试计数方法、装置和介质
CN114191804A (zh) * 2021-12-08 2022-03-18 上海影谱科技有限公司 一种基于深度学习的深蹲姿势标准与否的判别方法和装置
CN114343618A (zh) * 2021-12-20 2022-04-15 中科视语(北京)科技有限公司 训练动作检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052273A (zh) * 2023-01-06 2023-05-02 北京体提科技有限公司 一种基于体态鱼骨线的动作比对方法及装置
CN116052273B (zh) * 2023-01-06 2024-03-08 北京体提科技有限公司 一种基于体态鱼骨线的动作比对方法及装置

Similar Documents

Publication Publication Date Title
Yan et al. A factorization-based approach for articulated nonrigid shape, motion and kinematic chain recovery from video
Rui et al. Segmenting visual actions based on spatio-temporal motion patterns
US8755569B2 (en) Methods for recognizing pose and action of articulated objects with collection of planes in motion
Chua et al. Model-based 3D hand posture estimation from a single 2D image
Wang et al. Human posture recognition based on images captured by the kinect sensor
Chan et al. Fuzzy qualitative human motion analysis
Fieraru et al. Learning complex 3D human self-contact
CN112990089B (zh) 一种判断人体运动姿态的方法
CN106548194B (zh) 二维图像人体关节点定位模型的构建方法及定位方法
CN110163112B (zh) 一种考生姿态分割与平滑方法
WO2021217906A1 (zh) 基于步态特征的体态检测方法、装置、设备及存储介质
Kanase et al. Pose estimation and correcting exercise posture
Thang et al. Estimation of 3-D human body posture via co-registration of 3-D human model and sequential stereo information
US20230237694A1 (en) Method and system for detecting children&#39;s sitting posture based on face recognition of children
CN115019399A (zh) 一种人体姿态检测方法
CN115909487A (zh) 一种基于人体姿态检测的儿童步态异常评估辅助系统
Solongontuya et al. Novel side pose classification model of stretching gestures using three-layer LSTM
Razzaq et al. Unskem: unobtrusive skeletal-based emotion recognition for user experience
Parashar et al. Improved Yoga Pose Detection Using MediaPipe and MoveNet in a Deep Learning Model.
Mahapatra et al. An active snake model for classification of extreme emotions
CN116580454A (zh) 一种基于目标检测和人体姿态估计的运动评估方法及装置
Brooks et al. A computational method for physical rehabilitation assessment
Wei et al. Center of mass estimation for balance evaluation using convolutional neural networks
Lv et al. Cheating behavior detection based-on pictorial structure model
Kanungo et al. Recognizing physiotherapy exercises using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination