CN112568898A - 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备 - Google Patents

一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备 Download PDF

Info

Publication number
CN112568898A
CN112568898A CN201910929550.4A CN201910929550A CN112568898A CN 112568898 A CN112568898 A CN 112568898A CN 201910929550 A CN201910929550 A CN 201910929550A CN 112568898 A CN112568898 A CN 112568898A
Authority
CN
China
Prior art keywords
risk
dimensional
human body
joint points
visual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910929550.4A
Other languages
English (en)
Inventor
冯雪
李吉光
徐一舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Fuzhou Photoelectric Co ltd
Original Assignee
Hangzhou Fuzhou Photoelectric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Fuzhou Photoelectric Co ltd filed Critical Hangzhou Fuzhou Photoelectric Co ltd
Priority to CN201910929550.4A priority Critical patent/CN112568898A/zh
Publication of CN112568898A publication Critical patent/CN112568898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528—Joints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Rheumatology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备，根据摄像头采集的人体跳跃及落地的视频，利用深度学习及滤波算法，自动得到重要关节节点的三维坐标的轨迹，根据坐标轨迹计算相关风险因素变量，根据计算结果对运动风险进行评估，以及给出矫正方法。该方法所计算的相关风险因素均为经过大量运动伤病研究总结出的结果。该评估方法完全不需要人为干预，可以准确的计算出关节节点的坐标以及相关的风险因素，并根据每个人不同的风险给出针对性的矫正，因而在减少运动伤病方面有重要的意义。

Description

一种基于视觉图像对人体运动动作自动进行伤病风险评估及 动作矫正的方法、装置及设备
技术领域
本申请涉及计算机图像处理领域，尤其涉及一种基于视觉图像对人体运动动作进行伤病风险评估及动作矫正的方法、装置及设备。
背景技术
随着人群对运动的广泛认识，各项运动的参与率越来越高，然而，运动伤病，尤其对青少年来说，不仅对个人的健康产生负面的影响，对社会也带来了巨大的负担。多项研究表明，运动过程中的姿势对于运动伤病的发生有很大的相关性，比如跳跃时的很多伤病来源于落地姿势不正确。传统意义上姿势的矫正需要专业的教练进行指导，但受限于专业教练数量稀少、指导成本高，而且无法以客观的方式对姿势进行评价，在运动姿势的评估上很难达到很好的效果。近年来人工智能在计算机视觉的迅速发展使得基于视觉图像的自动评估成为了可能。
本发明利用视觉图像，通过对关节点的检测和风险因素的计算，可以提供自动运动伤病风险评估及矫正，有助于减少运动伤病。
发明内容
本说明书实施例提供一种基于视觉图像对人体运动动作进行伤病风险评估及动作矫正的方法、装置及设备，用以解决现有技术中无法对伤病风险进行客观、准确的评估以及给出矫正方法的问题。
本申请提供一种基于视觉图像对人体运动动作进行伤病风险评估及动作矫正的方法，包括：
根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹；
根据关节点的三维轨迹计算相关风险因素变量；
根据风险因素对动作进行风险评估及矫正。
本申请还提供一种基于视觉图像对人体运动动作进行伤病风险评估及动作矫正的装置，包括：
成像及关节点检测模块，根据视觉摄像头对人体运动过程进行成像，并根据视觉图像利用深度学习方法得到三维关节点的坐标；
风险因素计算模块，根据三维关节点的坐标计算出风险因素；
风险评估及矫正模块，根据计算得到的风险因素评估运动伤病风险并给出矫正方法。
本申请提供一种电子设备，包括至少一个处理器及存储器，存储器存储有程序，并且被配置成至少由一个处理器执行以下步骤：
根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹；
根据关节点的三维轨迹计算相关风险因素变量；
根据风险因素对动作进行风险评估及矫正。
本申请提供一种计算机可读存储介质，包括与电子设备结合使用的程序，程序可被处理器执行完成以下步骤：
根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹；
根据关节点的三维轨迹计算相关风险因素变量；
根据风险因素对动作进行风险评估及矫正。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例用内置于个人电脑或手机上的视觉摄像头，拍摄得到人体进行跳跃及落地动作的视频，在视频上先通过逐帧图像的分析，用深度学习方法，得到左右髋关节、膝关节和踝关节的二维像素坐标，再通过另外一个神经网络，综合每帧的二维坐标为网络输入，得到更为准确的各个关节的三维坐标。得到关节的三维坐标后，计算风险因素变量，如落地夹角、膝关节夹角等与运动伤病相关的变量。计算出该变量后，对个体的动作进行风险评估，同时给出矫正方案。个体可以根据风险和矫正方案，对动作进行矫正，从而降低运动伤病风险。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提出的一种基于视觉图像对人体运动动作进行伤病风险评估及动作矫正的流程示意图；
图2为本说明书实施例提出的一种基于视觉图像得到关节点的像素位置的效果图；
图3为本说明书实施例提出的一种基于视觉图像对人体运动动作进行伤病风险评估及动作矫正的流程示意图。
具体实施方式
对现有技术进行分析发现，现有技术主要依靠专业人士的判断来确定运动动作是否存在风险隐患，存在成本高、主观性强的问题，无法对每个个体的运动姿势给予准确、客观的评估。近年来，以深度学习为主的人工智能算法在计算机视觉领域有了突飞猛进的发展，然而，目前的实现主要集中在对单帧图像的分类以及人脸识别上，在运动姿势的判断上无法得到准确的三维信息，而且无法从图像中得到运动风险的评估。
本说明书实施例提供一种基于视觉图像对人体运动进行风险评估及矫正的方法，包括根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹，根据关节点的三维轨迹计算相关风险因素变量，根据风险因素对动作进行风险评估及矫正。本说明书实施例根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹，根据关节点的三维轨迹计算相关风险因素变量，根据风险因素对动作进行风险评估及矫正。本说明书实施里记载的技术方案通过对视觉图像的分析，自动得到人体运动的风险评估并给出矫正方法，有助于运动过程中的姿势矫正以及降低伤病风险。例如，通过对落地角度中小腿与地面在平行于人体冠状面的夹角进行计算，以90度为中心，得到夹角的最大偏离值，对偏离值进行分析，偏离值超过10度时，给出风险提示，并给出正确的角度值。
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本说明书实施里提出的一种基于视觉图像对人体运动进行风险评估及矫正的流程示意图，所述方法如下所示。
S101:根据视觉图像得到人体运动过程中关节点的三维位置。
在本说明书实施例中，视觉图像可以采集自个人电脑或手机设备自带的摄像头，首先在视频上先通过逐帧图像的分析，用深度学习方法，得到左右髋关节、膝关节和踝关节以及上身数个关节的二维像素坐标，如图2所示，再通过另外一个神经网络，综合每帧的二维坐标为网络输入，得到更为准确的各个关节的三维坐标。
S102:基于关节的三维坐标后，计算风险因素变量。
在本说明书实施例中，基于关节的三维坐标，可以计算落地夹角、膝关节夹角等与运动伤病相关的变量。
S103:基于风险因素变量，对个体的动作进行风险评估，同时给出矫正方案。
在本说明书实施例中，个体可以根据计算风险和矫正方案，对动作进行矫正，从而降低运动伤病风险。
图3为本说明书实施例提出的一种基于视觉图像对人体运动进行风险评估及矫正的装置结构图。
S101:视觉图像处理模块。
在本说明书实施例中，视觉图像可以采集自个人电脑或手机设备自带的摄像头，首先在视频上先通过逐帧图像的分析，用深度学习方法，得到左右髋关节、膝关节和踝关节以及上身数个关节的二维像素坐标，如图2所示，再通过另外一个神经网络，综合每帧的二维坐标为网络输入，得到更为准确的各个关节的三维坐标。
S102:风险因素计算模块。
在本说明书实施例中，基于关节的三维坐标，可以计算落地夹角、膝关节夹角等与运动伤病相关的变量。
S103:伤病风险评估及矫正模块。
在本说明书实施例中，个体可以根据计算风险和矫正方案，对动作进行矫正，从而降低运动伤病风险。

Claims (10)

1.一种根据视觉图像对人体运动进行风险评估及矫正的方法，其特征在于，包括：
根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹；
根据关节点的三维轨迹计算相关风险因素变量；
根据风险因素对动作进行风险评估及矫正。
2.如权利要求1所述的方法，其特征在于，根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹，包括：
利用深度学习在视觉图像中识别出重要关节点所对应的像素，得到每一帧上关节点的二维坐标；
通过每一帧的关节点二维坐标，利用神经网络和滤波方法得到关节点的三维坐标，并进行平滑，得到更准确的三维轨迹。
3.如权利要求1所述的方法，其特征在于，根据关节点的三维空间坐标轨迹，计算相关风险因素变量，包括：
根据髋关节、膝关节、踝关节等关节的三维运动轨迹，计算落地过程中小腿与地面的夹角、大腿与小腿的最大夹角等变量；
对角度值进行滤波，提升信噪比和测量精度。
4.如权利要求1所述的方法，其特征在于，对相关风险因素变量进行分析，得到运动风险评估，并根据评估结果给出矫正方法。
5.如权利要求4所述的方法，其特征在于，对小腿与地面在平行于人体冠状面的夹角进行计算，以90度为中心，得到夹角的最大偏离值，对偏离值进行分析，包括：
偏离值超过10度时，给出风险提示；
给出正确的角度值。
6.如权利要求4所述的方法，其特征在于，对大腿与小腿在平行于人体冠状面的夹角进行计算，以0度为中心，得到夹角的最大偏离值，对偏离值进行分析，包括：
偏离值超过10度时，给出风险提示；
给出正确的角度值。
7.一种根据视觉图像对人体运动进行风险评估与矫正的装置，其特征在于，包括：
成像及关节点检测模块，根据视觉摄像头对人体运动过程进行成像，并根据视觉图像利用深度学习方法得到三维关节点的坐标；
风险因素计算模块，根据三维关节点的坐标计算出风险因素；
风险评估及矫正模块，根据计算得到的风险因素评估运动伤病风险并给出矫正方法；
该装置根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹，包括：
利用深度学习在视觉图像中识别出重要关节点所对应的像素，得到每一帧上关节点的二维坐标；
通过每一帧的关节点二维坐标，利用神经网络和滤波方法得到关节点的三维坐标，并进行平滑，得到更准确的三维轨迹；
该装置根据关节点的三维空间坐标轨迹，计算相关风险因素变量，包括：
根据髋关节、膝关节、踝关节等关节的三维运动轨迹，计算落地过程中小腿与地面的夹角、大腿与小腿的最大夹角等变量；
对角度值进行滤波，提升信噪比和测量精度；
该装置对相关风险因素变量进行分析，得到运动风险评估，并根据评估结果给出矫正方法。
8.如权利7所述的装置，其特征在于，对小腿与地面在平行于人体冠状面的夹角进行计算，以90度为中心，得到夹角的最大偏离值，对偏离值进行分析，包括：
偏离值超过10度时，给出风险提示；
给出正确的角度值；
并对大腿与小腿在平行于人体冠状面的夹角进行计算，以0度为中心，得到夹角的最大偏离值，对偏离值进行分析，包括：
偏离值超过10度时，给出风险提示；
给出正确的角度值。
9.一种电子设备，其特征在于，包括至少一个处理器及存储器，存储器存储有程序，并且被配置成至少有一个处理器执行以下步骤：
根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹；
根据关节点的三维轨迹计算相关风险因素变量；
根据风险因素对动作进行风险评估及矫正。
10.一种计算机可读存储介质，其特征在于，包括与电子设备结合使用的程序，程序可被处理器执行完成以下步骤：
根据人体进行特定动作（如跳跃及落地）的视觉图像自动得到重要关节点的三维空间坐标轨迹；
根据关节点的三维轨迹计算相关风险因素变量；
根据风险因素对动作进行风险评估及矫正。
CN201910929550.4A 2019-09-29 2019-09-29 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备 Pending CN112568898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910929550.4A CN112568898A (zh) 2019-09-29 2019-09-29 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910929550.4A CN112568898A (zh) 2019-09-29 2019-09-29 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备

Publications (1)

Publication Number Publication Date
CN112568898A true CN112568898A (zh) 2021-03-30

Family

ID=75110441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910929550.4A Pending CN112568898A (zh) 2019-09-29 2019-09-29 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112568898A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113197572A (zh) * 2021-05-08 2021-08-03 解辉 一种基于视觉的人体工作矫正系统
CN113397530A (zh) * 2021-06-16 2021-09-17 国家体育总局体育科学研究所 一种可进行膝关节功能评估的智能矫正系统和方法
CN113633281A (zh) * 2021-08-25 2021-11-12 北京航空航天大学 一种在装配维修过程中对人体姿态的评估方法与系统
CN116453693A (zh) * 2023-04-20 2023-07-18 深圳前海运动保网络科技有限公司 基于人工智能的运动风险防护方法、装置及计算设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN110245623A (zh) * 2019-06-18 2019-09-17 重庆大学 一种实时人体运动姿势矫正方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN110245623A (zh) * 2019-06-18 2019-09-17 重庆大学 一种实时人体运动姿势矫正方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113197572A (zh) * 2021-05-08 2021-08-03 解辉 一种基于视觉的人体工作矫正系统
CN113397530A (zh) * 2021-06-16 2021-09-17 国家体育总局体育科学研究所 一种可进行膝关节功能评估的智能矫正系统和方法
CN113633281A (zh) * 2021-08-25 2021-11-12 北京航空航天大学 一种在装配维修过程中对人体姿态的评估方法与系统
CN116453693A (zh) * 2023-04-20 2023-07-18 深圳前海运动保网络科技有限公司 基于人工智能的运动风险防护方法、装置及计算设备
CN116453693B (zh) * 2023-04-20 2023-11-14 深圳前海运动保网络科技有限公司 基于人工智能的运动风险防护方法、装置及计算设备

Similar Documents

Publication Publication Date Title
US11633659B2 (en) Systems and methods for assessing balance and form during body movement
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
CN112568898A (zh) 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备
US9996739B2 (en) System and method for automatic gait cycle segmentation
US20210315486A1 (en) System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
Hanley et al. Differences between motion capture and video analysis systems in calculating knee angles in elite-standard race walking
CN112970074A (zh) 身体活动量化和监测
CN111883229B (zh) 一种基于视觉ai的智能运动指导方法及系统
CN113728394A (zh) 身体活动执行和训练的评分度量
EP3477656B1 (en) Systems and methods for quantification of postural balance of users in an augmented reality environment
TWI848685B (zh) 智能步態分析儀
CN112438723A (zh) 认知功能评估方法、认知功能评估装置以及存储介质
CN114973048A (zh) 康复动作的纠正方法、装置、电子设备及可读介质
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
CN117653084A (zh) 利用步态评估脊柱侧弯康复状态的方法
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Lin et al. Human pose recovery for rehabilitation using ambulatory sensors
Ferlinghetti et al. Validation of Contact Measurement System for Wheelchair Tennis Propulsion Using Marker-Less Vision System
CN112434639A (zh) 动作匹配方法、装置、设备及存储介质
RU2819503C1 (ru) Способ оценки выполнения движений человека посредством машинного зрения
Barzyk et al. AI‐smartphone markerless motion capturing of hip, knee, and ankle joint kinematics during countermovement jumps
Kunishima et al. Gait Condition Assessment Methods for Visualizing Interventional Expertise by Means of Posture Detection
Hassan Vision based gait by using smart phone technology incidence of first time stroke post analysis
Ramesh Automated Implementation of the Edinburgh Visual Gait Score (EVGS)
CN116741376B (zh) 心肺耐力测试方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210330