CN117373109A - 一种基于人体骨骼点和动作识别的体态评估方法 - Google Patents

一种基于人体骨骼点和动作识别的体态评估方法 Download PDF

Info

Publication number
CN117373109A
CN117373109A CN202310785060.8A CN202310785060A CN117373109A CN 117373109 A CN117373109 A CN 117373109A CN 202310785060 A CN202310785060 A CN 202310785060A CN 117373109 A CN117373109 A CN 117373109A
Authority
CN
China
Prior art keywords
user
posture
motion
assessment
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310785060.8A
Other languages
English (en)
Inventor
刘林娜
宋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhiqiankun Technology Co ltd
Original Assignee
Shenzhen Zhiqiankun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhiqiankun Technology Co ltd filed Critical Shenzhen Zhiqiankun Technology Co ltd
Priority to CN202310785060.8A priority Critical patent/CN117373109A/zh
Publication of CN117373109A publication Critical patent/CN117373109A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体骨骼点和动作识别的体态评估方法,涉及体态评估技术领域。包括以下评估步骤:S1、数据采集:通过智能力量健身设备得到用户基本信息,通过大屏摄像头,采集用户全身正面、侧面和背面的照片,用户根据标准体测视频提示,做相应的动作;S2、数据预处理:对采集到的图像或者视频数据进行去噪、缩放、旋转等操作,以提高后续处理的准确性和效率。通过计算机视觉和深度学习技术实现动作识别和体态评估,摒弃了传统的现场教练观察和指导方式,提高了评估效率也可以实时采集用户运动过程中的图像或视频数据,实时进行动作识别和体态评估,还可以根据用户的具体情况,进行体态评估,有助于更精准的评估用户体态。

Description

一种基于人体骨骼点和动作识别的体态评估方法
技术领域
本发明涉及体态评估技术领域,具体为一种基于人体骨骼点和动作识别的体态评估方法。
背景技术
现代人在生活中多少都会有一些不良体态的行为,驼背、高低肩、脊柱侧弯、O型腿、X型腿等都属于不良体态。而不良体态不仅会影响人的体型与气质,长期的不良体态还会导致伤痛与骨骼变形,影响人的身体健康,例如,身体僵硬、慢性疼痛、肌肉劳损、骨刺、椎间盘突出等。
目前的体态评估,通常是用户根据资料的描述进行自测并评估,但是,该方法难以得出全面且准确的结果,而寻找专业人士进行评估的方式通常费时费力。通常有些骨骼点的数量很少有能够覆盖全身关键点,一般脚部和腰部骨骼点是缺失的,如果体侧测试者是扁平足的情况下,很难简单通过脚踝骨骼点做评估。
现有技术中对体测者进行体型、体态方面的评估训练时,需要现场有专业的医师人员进行一对一全程陪同,有些部位甚至需要更多的医师从不同方面、角度进行观察并记录。最后才能得出相对正确的评估结果。这也导致每个体测者的评估过程需要一名或者更多的专业医师全程观察记录,一名专业医师不能同时服务多个体测者导致评估效率低。并且还需要每个医师都有相应的专业知识和经验,才能够得到相对正确的评估结果。由于体态维持是动态的,即便是在静止站立的状态下,仍然有微小的动作。拍照过程中会存在肌肉紧绷,有不自然动作,通过拍照的方法,记录瞬间的体态表现,并不能够更好的评估和分析。有些基于人体骨骼点的体态评估方法,通常只是用户简单的拍摄全身正面、侧面和背面三张照片,提取人体骨骼点,然后将人体骨骼点和标准骨骼点进行对比,从而,得出简单的评估结果。这种评估方式很受限于骨骼点的精确度,当用户穿衣服相对比较肥大的情况下,不能准确评估。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于人体骨骼点和动作识别的体态评估方法,具备更加精准、便捷和高效地进行体态评估等优点,解决了不能准确评估体态的问题。
(二)技术方案
为实现上述更加精准、便捷和高效地进行体态评估的目的,本发明提供如下技术方案:一种基于人体骨骼点和动作识别的体态评估方法,包括以下评估步骤:
S1、数据采集:通过智能力量健身设备得到用户基本信息,通过大屏摄像头,采集用户全身正面、侧面和背面的照片,用户根据标准体测视频提示,做相应的动作;
S2、数据预处理:对采集到的图像或者视频数据进行去噪、缩放、旋转等操作,用户基本信息编码,以提高后续处理的准确性和效率;
S3、骨骼点提取和处理:从待测的图像和视频中提取骨骼关键点,将关节点位置信息进行归一化、根据关节点关联规则进行距离计算、最终转换为姿态特征向量;
S4、相似度计算:将待测的姿态特征向量和标准姿态特征向量进行角度相似度计算,得到静态体态评估相似度评分;
S5、动作完成度评估:将得到的视频姿态特征向量传入训练好的动作识别模型,预测出动作识别置信度,该置信度作为动作完成度;
S6、综合体态评估:用户基本信息、静态体态相似度评分、动作完成度评分传入决策树算法模型,预测出用户体态评估结果。
作为本发明的一种优选技术方案,所述S1中用户基本信息包括身高、体重、以及运动偏好、是否受伤等问卷信息等,在用户登录智能力量健身设备时候,可以通过手机APP进行注册,用户在大屏端通过手机APP扫码即可登录,点击体态评估体测会启动大屏端的摄像头,然后用户可以根据视频演示示范,通过语音交互方式进行拍照和动作录像。
作为本发明的一种优选技术方案,所述S2中用户基本信息编码的具体形式为年龄、性别、身高、体重、是否长短腿、是否O型腿、是否X型腿、是否脊柱弯曲和是否高低肩。
作为本发明的一种优选技术方案,所述S3中,基于BlazePose轻量级卷积神经网络对图像进行人体姿态估计,得到图像中用户在进行健身时的33个关节点位置坐标信息,加入OneEuro滤波器和EMA两种关键点稳定方式,将当前关键点坐标结果和历史关键点坐标结果结合计算,使得输出的坐标更加稳定平滑。
作为本发明的一种优选技术方案,所述骨骼关键点包括:头部、颈部、躯干中心、左肩、左肘、左腕、左臀、左膝、左踝、右肩、右肘、右腕、右臀、右膝和右踝。
作为本发明的一种优选技术方案,所述S4中学习者动作阶梯型相似度计算,即计算出用户动作和标准动作各个关节点之间的偏移角度之后,设计动作相似度定量指标,计算用户动作和标准动作各个关节点的相似度。
作为本发明的一种优选技术方案,所述S5中动作识别模型是KNN和LSTM神经网络模型为基础的分类模型,训练该模型的数据集为评测特定部位姿态的标准动作视频数据,视频数据集按部位和动作名称进行分类。
作为本发明的一种优选技术方案,所述S56中决策树算法可以用于体态评估,具体的实现方式是通过构建一个决策树模型,将不同的体态状态作为叶节点,将不同的身体特征作为分支节点,从而实现对体态的评估。
(三)有益效果
与现有技术相比,本发明提供了一种基于人体骨骼点和动作识别的体态评估方法,具备以下有益效果:
1、该基于人体骨骼点和动作识别的体态评估方法,通过计算机视觉和深度学习技术实现动作识别和体态评估,摒弃了传统的现场教练观察和指导方式,提高了评估效率也可以实时采集用户运动过程中的图像或视频数据,实时进行动作识别和体态评估,为用户提供及时的反馈与指导。还可以根据用户的具体情况,进行体态评估,有助于更精准的评估用户体态。
2、该基于人体骨骼点和动作识别的体态评估方法,可以应用于多种运动场景,如瑜伽、健身、舞蹈等,只需替换相应的动作识别模型和标准体态数据即可,并且通过摄像头或其他传感器设备采集数据,不需要用户佩戴任何附加设备,操作简便,易于推广,也适用于各类运动场景,可以帮助用户实现自动化、智能化的体态评估和运动指导,提高运动效果,降低运动受伤风险。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明的实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
一种基于人体骨骼点和动作识别的体态评估方法,包括以下评估步骤:
S1、数据采集:通过智能力量健身设备得到用户基本信息,通过大屏摄像头,采集用户全身正面、侧面和背面的照片,用户根据标准体测视频提示,做相应的动作;用户基本信息包括身高、体重、以及运动偏好、是否受伤等问卷信息等,在用户登录智能力量健身设备时候,可以通过手机APP进行注册,用户在大屏端通过手机APP扫码即可登录,点击体态评估体测会启动大屏端的摄像头,然后用户可以根据视频演示示范,通过语音交互方式进行拍照和动作录像。
S2、数据预处理:对采集到的图像或者视频数据进行去噪、缩放、旋转等操作,用户基本信息编码,以提高后续处理的准确性和效率;用户基本信息编码的具体形式为年龄、性别、身高、体重、是否长短腿、是否O型腿、是否X型腿、是否脊柱弯曲和是否高低肩。
S3、骨骼点提取和处理:从待测的图像和视频中提取骨骼关键点,将关节点位置信息进行归一化、根据关节点关联规则进行距离计算、最终转换为姿态特征向量;基于BlazePose轻量级卷积神经网络对图像进行人体姿态估计,得到图像中用户在进行健身时的33个关节点位置坐标信息,加入OneEuro滤波器和EMA两种关键点稳定方式,将当前关键点坐标结果和历史关键点坐标结果结合计算,使得输出的坐标更加稳定平滑;骨骼关键点包括:头部、颈部、躯干中心、左肩、左肘、左腕、左臀、左膝、左踝、右肩、右肘、右腕、右臀、右膝和右踝;基于颈部与左肩的坐标计算左肩部向量,基于颈部与右肩的坐标计算右肩部向量;基于颈部与躯干中心的坐标计算腰部向量;基于颈部与头部的坐标计算颈部向量;基于左臀与左膝的坐标计算左大腿部向量,基于右臀与右膝的坐标计算右大腿部向量;及基于左膝与左踝的坐标计算左小腿部向量,基于右膝与右踝的坐标计算右小腿部向量。
S4、相似度计算:将待测的姿态特征向量和标准姿态特征向量进行角度相似度计算,得到静态体态评估相似度评分;所述S4中学习者动作阶梯型相似度计算,即计算出用户动作和标准动作各个关节点之间的偏移角度之后,设计动作相似度定量指标,计算用户动作和标准动作各个关节点的相似度;在专业医师的指导下,定义阶梯型动作相似度计算方法,当偏移角度<5时,相似度分数为1;偏移角在5-30度时,相似度得分从1至0.6线性下降;当偏移角>30度时,相似度得分从0.6至0线性下降。
上列公式为动作阶梯型相似度计算所定义的公式;计算如下列公式所示的8个肢体关节点角度的相似度得分,根据各个关键点的相似度计算结果,获得总体学习者动作阶梯型相似度得分。
S5、动作完成度评估:将得到的视频姿态特征向量传入训练好的动作识别模型,预测出动作识别置信度,该置信度作为动作完成度;所述S5中动作识别模型是KNN和LSTM神经网络模型为基础的分类模型,训练该模型的数据集为评测特定部位姿态的标准动作视频数据,视频数据集按部位和动作名称进行分类。
S6、综合体态评估:用户基本信息、静态体态相似度评分、动作完成度评分传入决策树算法模型,预测出用户体态评估结果;所述S6中决策树算法可以用于体态评估,具体的实现方式是通过构建一个决策树模型,将不同的体态状态作为叶节点,将不同的身体特征作为分支节点,从而实现对体态的评估。
人体姿态数据,包括身高、体重、肢体长度、关节角度、静态体态相似度评分、动作完成度评分等等,然后将这些数据作为输入,构建一个决策树模型。在模型训练过程中,可以使用一些已知的体态数据作为训练集,从而让模型学习到不同的体态状态之间的关系。
在模型训练完成后,可以使用新的姿态数据作为输入,通过决策树模型来预测该姿态属于哪种体态状态。例如,可以将模型应用于体态评估领域,对于不同的体态状态,可以给出相应的评估结果和建议,比如是否需要进行体态调整、如何进行体态调整等等。
本发明的原理及效果是:基于mediapipe的BlazePose轻量级卷积神经网络对图像进行人体姿态估计,得到图像中用户在进行健身时的关节点位置信息;将关节点位置信息进行归一化、根据关节点关联规则进行距离计算、最终转换为特征向量;通过用户动作阶梯型相似度分析与余弦相似度阈值进行静态体态评估;将得到的视频姿态特征向量传入训练好的模型,预测出动作识别置信度,该置信度作为动作完成度;综合用户基本信息、静态骨骼点的体态评估和动作完成度进行最终体态评估;
本发明专能够根据用户骨骼点进行静态体测,用户基本信息和用户动作的完成程度进行最终体态评估,从而更加精准、便捷和高效地进行体态评估。早发现不良体态,早预防纠正,降低用户因体态不标准所导致身体疼痛的风险性,通过实时监测和评估人体的体态,可以帮助用户更好地掌握正确的姿势和动作,减少受伤风险,提高运动效果。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,包括以下评估步骤:
S1、数据采集:通过智能力量健身设备得到用户基本信息,通过大屏摄像头,采集用户全身正面、侧面和背面的照片,用户根据标准体测视频提示,做相应的动作;
S2、数据预处理:对采集到的图像或者视频数据进行去噪、缩放、旋转等操作,用户基本信息编码,以提高后续处理的准确性和效率;
S3、骨骼点提取和处理:从待测的图像和视频中提取骨骼关键点,将关节点位置信息进行归一化、根据关节点关联规则进行距离计算、最终转换为姿态特征向量;
S4、相似度计算:将待测的姿态特征向量和标准姿态特征向量进行角度相似度计算,得到静态体态评估相似度评分;
S5、动作完成度评估:将得到的视频姿态特征向量传入训练好的动作识别模型,预测出动作识别置信度,该置信度作为动作完成度;
S6、综合体态评估:用户基本信息、静态体态相似度评分、动作完成度评分传入决策树算法模型,预测出用户体态评估结果。
2.根据权利要求1所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述S1中用户基本信息包括身高、体重、以及运动偏好、是否受伤等问卷信息等,在用户登录智能力量健身设备时候,可以通过手机APP进行注册,用户在大屏端通过手机APP扫码即可登录,点击体态评估体测会启动大屏端的摄像头,然后用户可以根据视频演示示范,通过语音交互方式进行拍照和动作录像。
3.根据权利要求1所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述S2中用户基本信息编码的具体形式为年龄、性别、身高、体重、是否长短腿、是否O型腿、是否X型腿、是否脊柱弯曲和是否高低肩。
4.根据权利要求1所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述S3中,基于BlazePose轻量级卷积神经网络对图像进行人体姿态估计,得到图像中用户在进行健身时的33个关节点位置坐标信息,加入OneEuro滤波器和EMA两种关键点稳定方式,将当前关键点坐标结果和历史关键点坐标结果结合计算,使得输出的坐标更加稳定平滑。
5.根据权利要求4所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述骨骼关键点包括:头部、颈部、躯干中心、左肩、左肘、左腕、左臀、左膝、左踝、右肩、右肘、右腕、右臀、右膝和右踝。
6.根据权利要求1所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述S4中学习者动作阶梯型相似度计算,即计算出用户动作和标准动作各个关节点之间的偏移角度之后,设计动作相似度定量指标,计算用户动作和标准动作各个关节点的相似度。
7.根据权利要求1所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述S5中动作识别模型是KNN和LSTM神经网络模型为基础的分类模型,训练该模型的数据集为评测特定部位姿态的标准动作视频数据,视频数据集按部位和动作名称进行分类。
8.根据权利要求1所述的一种基于人体骨骼点和动作识别的体态评估方法,其特征在于,所述S6中决策树算法可以用于体态评估,具体的实现方式是通过构建一个决策树模型,将不同的体态状态作为叶节点,将不同的身体特征作为分支节点,从而实现对体态的评估。
CN202310785060.8A 2023-06-29 2023-06-29 一种基于人体骨骼点和动作识别的体态评估方法 Pending CN117373109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310785060.8A CN117373109A (zh) 2023-06-29 2023-06-29 一种基于人体骨骼点和动作识别的体态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310785060.8A CN117373109A (zh) 2023-06-29 2023-06-29 一种基于人体骨骼点和动作识别的体态评估方法

Publications (1)

Publication Number Publication Date
CN117373109A true CN117373109A (zh) 2024-01-09

Family

ID=89397177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310785060.8A Pending CN117373109A (zh) 2023-06-29 2023-06-29 一种基于人体骨骼点和动作识别的体态评估方法

Country Status (1)

Country Link
CN (1) CN117373109A (zh)

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
CN109934111B (zh) 一种基于关键点的健身姿态估计方法及系统
US11776421B2 (en) Systems and methods for monitoring and evaluating body movement
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN113255522B (zh) 基于时间一致性的个性化运动姿态估计与分析方法及系统
CN112370045B (zh) 基于人工智能的功能性动作检测方法及系统
CN112668531A (zh) 一种基于动作识别的运动姿态矫正方法
CN113705540A (zh) 一种无器械训练动作识别与计数方法及系统
CN111883229A (zh) 一种基于视觉ai的智能运动指导方法及系统
CN112568898A (zh) 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备
CN114782497B (zh) 运动功能分析方法和电子设备
CN112381035A (zh) 一种基于骨骼关键点运动轨迹的动作相似度评价方法
CN115346670A (zh) 基于姿态识别的帕金森病评级方法、电子设备及介质
CN115131879A (zh) 一种动作评价方法及装置
CN114973048A (zh) 康复动作的纠正方法、装置、电子设备及可读介质
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN114092971A (zh) 一种基于视觉图像的人体动作评估方法
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
CN116386136A (zh) 基于人体骨骼关键点的动作评分方法、设备及介质
CN117333932A (zh) 基于机器视觉识别肌少症的方法、装备、设备以及介质
CN115953834A (zh) 面向仰卧起坐的多头注意力姿态估计方法及检测系统
CN117373109A (zh) 一种基于人体骨骼点和动作识别的体态评估方法
CN113842622B (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination