CN113633281A - 一种在装配维修过程中对人体姿态的评估方法与系统 - Google Patents

一种在装配维修过程中对人体姿态的评估方法与系统 Download PDF

Info

Publication number
CN113633281A
CN113633281A CN202110993155.XA CN202110993155A CN113633281A CN 113633281 A CN113633281 A CN 113633281A CN 202110993155 A CN202110993155 A CN 202110993155A CN 113633281 A CN113633281 A CN 113633281A
Authority
CN
China
Prior art keywords
determining
joint
human body
skeleton
joint node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110993155.XA
Other languages
English (en)
Inventor
周栋
陈承璋
郭子玥
周启迪
仵宏铎
梁宇宁
王妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110993155.XA priority Critical patent/CN113633281A/zh
Publication of CN113633281A publication Critical patent/CN113633281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种在装配维修过程中对人体姿态的评估方法与系统。该方法包括在装配维修过程中，实时获取实施者的彩色图像和深度图像；根据所述深度图像实时确定所述实施者的关节节点和骨架；将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；对叠加后的彩色图像采用RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。本发明提高在装配维修过程中对人体姿态评估的准确性。

Description

一种在装配维修过程中对人体姿态的评估方法与系统
技术领域
本发明涉及人体姿态评估领域，特别是涉及一种在装配维修过程中对人体姿态的评估方法与系统。
背景技术
在装配维修过程中，有些实施者由于姿势不正确，存在受伤的风险。其中，快速上肢评估(rapid upper limb assessment，RULA)分析方法作为人素工程中一项重要的人体姿态评价工具，以其快速易行的优点以及较为准确的评价结果得到人们的普遍认可并应用于许多的工业工程中。
传统的RULA分析方法，效率低，人力成本高，分析过程与装配维修过程割裂严重，且可复现性和后期纠错能力极差；虚拟维修目前没有快速构建仿真流程的方法，只能通过维修手册或者视频展示，让操作者主观地利用创建关键点的方式，将现实中的仿真流程转移到电脑上，最短时间也需要几天。
因此，亟需提出一种方法和系统，以快速且准确地分析装配维修工作中实施者的人体工学状况，进而提高在装配维修过程中对人体姿态评估的准确性。
发明内容
本发明的目的是提供一种在装配维修过程中对人体姿态的评估方法与系统，提高在装配维修过程中对人体姿态评估的准确性。
为实现上述目的，本发明提供了如下方案：
一种在装配维修过程中对人体姿态的评估方法，包括：
在装配维修过程中，实时获取实施者的彩色图像和深度图像；
根据所述深度图像实时确定所述实施者的关节节点和骨架；
将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；
对叠加后的彩色图像采用快速上肢评估RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；
当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。
可选地，所述根据所述深度图像实时确定所述实施者的关节节点和骨架，具体包括：
根据所述深度图像，利用Kinect V2.0体感传感器确定所述实施者的25个人体关节节点的三维坐标；所述25个人体关节节点包括：头部、颈部、左肩、左肘、左手腕、左手心、左大拇指、左手中指尖、右肩、右肘、右手腕、右手心、右大拇指、右手中指尖、脊椎上部、脊椎中部、脊椎下部、左胯、左膝盖、左脚踝、左脚、右胯、右膝盖、右脚踝以及右脚；
根据25个人体关节节点的三维坐标确定人体关节节点三维图；
将人体关节节点三维图转换为二维图；并根据二维图中相邻的关节节点确定人体骨骼，进而确定人体骨架二维投影图。
可选地，所述根据所述深度图像实时确定所述实施者的关节节点和骨架，还包括：
对每个关节节点和骨骼的位置进行校正。
可选地，所述对叠加后的彩色图像采用RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示，具体包括：
根据叠加后的彩色图像实时确定相邻骨骼间的夹角；
根据实时确定相邻骨骼间的夹角，采用RULA分析方法，确定每个关节节点的受伤风险评分；
将评分结果在人体骨架二维投影图进行显示。
一种在装配维修过程中对人体姿态的评估系统，包括：
数据获取模块，用于在装配维修过程中，实时获取实施者的彩色图像和深度图像；
深度图像处理模块，用于根据所述深度图像实时确定所述实施者的关节节点和骨架；
彩色图像处理模块，用于将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；
RULA评估模块，用于对叠加后的彩色图像采用RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；
RULA结果显示模块，用于当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。
可选地，所述深度图像处理模块具体包括：
关节节点的三维坐标确定单元，用于根据所述深度图像，利用Kinect V2.0体感传感器确定所述实施者的25个人体关节节点的三维坐标；所述25个人体关节节点包括：头部、颈部、左肩、左肘、左手腕、左手心、左大拇指、左手中指尖、右肩、右肘、右手腕、右手心、右大拇指、右手中指尖、脊椎上部、脊椎中部、脊椎下部、左胯、左膝盖、左脚踝、左脚、右胯、右膝盖、右脚踝以及右脚；
人体关节节点三维图确定单元，用于根据25个人体关节节点的三维坐标确定人体关节节点三维图；
人体骨架二维投影图确定单元，用于将人体关节节点三维图转换为二维图；并根据二维图中相邻的关节节点确定人体骨骼，进而确定人体骨架二维投影图。
可选地，所述深度图像处理模块还包括：
校正单元，用于对每个关节节点和骨骼的位置进行校正。
可选地，所述RULA评估模块具体包括：
相邻骨骼间的夹角确定单元，用于根据叠加后的彩色图像实时确定相邻骨骼间的夹角；
受伤风险评分确定单元，用于根据实时确定相邻骨骼间的夹角，采用快速上肢评估RULA分析方法，确定每个关节节点的受伤风险评分；
评分结果显示单元，用于将评分结果在人体骨架二维投影图进行显示。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种在装配维修过程中对人体姿态的评估方法与系统，将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加，利用叠加后的彩色图像，确定实施者实时的位姿，并采用RULA分析方法，确定每个关节节点的受伤风险评分，并将评分结果进行显示；指明明确的判断标准，快速且准确地分析现实中的装配维修工作实施者的人体工学状况，且其结果具有较高的可复现性和复查性；直观地展示实施者近期受伤风险的变化趋势；提高在装配维修过程中对人体姿态评估的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种在装配维修过程中对人体姿态的评估方法流程示意图；
图2为人体骨架二维投影图；
图3为关节节点拓扑图；
图4为本发明所提供的一种在装配维修过程中对人体姿态的评估系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种在装配维修过程中对人体姿态的评估方法与系统，提高在装配维修过程中对人体姿态评估的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种在装配维修过程中对人体姿态的评估方法流程示意图，如图1所示，本发明所提供的一种在装配维修过程中对人体姿态的评估方法，包括：
S101，在装配维修过程中，实时获取实施者的彩色图像和深度图像；
上述数据具体要求如表1所示：
表1
Figure BDA0003229958250000051
S102，根据所述深度图像实时确定所述实施者的关节节点和骨架；
S102具体包括：
根据所述深度图像，利用Kinect V2.0体感传感器确定所述实施者的25个人体关节节点的三维坐标；所述25个人体关节节点包括：头部、颈部、左肩、左肘、左手腕、左手心、左大拇指、左手中指尖、右肩、右肘、右手腕、右手心、右大拇指、右手中指尖、脊椎上部、脊椎中部、脊椎下部、左胯、左膝盖、左脚踝、左脚、右胯、右膝盖、右脚踝以及右脚；
根据25个人体关节节点的三维坐标确定人体关节节点三维图；
将人体关节节点三维图转换为二维图，关节节点拓扑图如图3所示；并根据二维图中相邻的关节节点确定人体骨骼，进而确定人体骨架二维投影图，如图2所示。
Kinect规定当人正向面对Kinect时，人的后方为X正方向，上方为Y正方向，左侧为Z正方向。将节点按照三维坐标放置在Kinect SDK规定好的三维空间中，随后将其投影到二维平面，并将人体结构上相邻的节点间用直线相连接形成人体骨架二维投影图，节点间相连接的线段被称为骨骼。
S102还包括：
对每个关节节点和骨骼的位置进行校正。
计算每个时刻中，每个关节节点和骨骼的位置当前值与上一时刻的值的差值，若差值超过设定值，则进行校正。
S103，将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；
S104，对叠加后的彩色图像采用快速上肢评估RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；
S104具体包括：
根据叠加后的彩色图像实时确定相邻骨骼间的夹角；
具体的，利用公式
Figure BDA0003229958250000061
确定相邻骨骼间的夹角；
其中，α＝(x1-x2，y1-y2，z1-z2)，其中θ为两骨骼间的夹角，α为其中一个骨骼的向量，(x1，y1，z1)，(x2，y2，z2)分别为骨骼两端节点的三维坐标，此过程固定每0.1秒进行一次。
根据实时确定相邻骨骼间的夹角，采用RULA分析方法，确定每个关节节点的受伤风险评分；
将评分结果在人体骨架二维投影图进行显示。
具体的分析过成为：
(1)判断大臂位置，大臂自然垂于身体两侧时+1分，大臂向后伸展、与躯干夹角超过20度时+2分，大臂向前伸展角度为20度～45度时+2分，大臂向前伸展角度为45度～90度时+3分，向前伸展超过90度时+4分，这一步在本方法中的计算方式为计算大臂与躯干的夹角。
然后判断肩部位置，肩部抬起时+1分，手臂整个抬起时再+1分，手臂有支撑物时-1分。
以上得分相加为大臂得分。
(2)判断小臂得分，当小臂与大臂夹角为60度～100度时+1分，其他时候+2分，当小臂穿过身体中轴线或者远离身体时再+1分，最终得分为小臂分数。本方法中，小臂与大臂夹角采用向量角度进行计算；小臂是否穿过身体中轴线采用向量α1(手腕与脊椎中部构成向量在水平面的投影)与α2(脊椎上部与肩部在水平方面的投影)的夹角确定，当夹角大于90度时认为手腕穿过身体中轴线；小臂是否远离身体采用采用向量α3(手手肘脊椎中部构成向量在水平面的投影)与α4(脊椎上部与肩部在水平方面的投影)的夹角确定，当夹角小于45度时认为小臂远离身体。
(3)判断手腕得分。当手腕为水平状态时+1分，手腕与水平夹角为±15度以内时+2分，其他状态+3分。当手腕向左或向右弯曲时再+1分。两项得分之和为手腕位置得分。前者在本方法中采用向量α5(手腕与手心部构成向量)与α6(手肘与手腕构成向量)的夹角确定，手肘是否左右弯曲因为精度问题由控制面板进行控制。
(4)判断手腕是否有扭转，若不扭转则+1分，扭转则+2分，此得分为手腕扭转得分。
(5)如果手臂在一分钟内连续重复同样动作四次以上，则上述得分+1分；若手臂负载小于1kg，不加分；手臂负载为1～5kg，且负载为动态且不重复，+1分；手臂负载为1～5kg，且负载为静态或重复，+2分；负载超过5kg，+3分。将得分加上以上调整值，记为SCORE A，记录备用。
(6)然后计算颈部和头部得分，当头部低头角度小于10度时，+1分；低头角度为10～20度时，+2分；头部低头角度超过20度，+3分；头部向后仰，+4分。头部左右旋转，+1分；头部左右倾斜，+1分。最终得分记为头部得分。本方法中，头部低头角度采用向量α7(头部与颈部的Y坐标构成向量)与α8(脊椎上部与脊椎下部Y坐标构成向量)的夹角确定，转头与歪头由于精度问题由控制面板进行控制。
(7)计算躯干得分，当躯干竖直时即与竖直夹角小于10度，+1分；躯干与竖直夹角为10～20度时，+2分；躯干与竖直夹角为20～60度时，+2分；躯干与竖直夹角超过60度时，+4分。躯干左右扭转，+1分；躯干左右倾斜，+1分。最终得分记为躯干得分。本方法中，躯干弯腰角度采用向量α9(脊椎上部与脊椎下部的Y坐标构成向量)与竖直向量(0，1，0)的夹角确定，躯干扭转与倾斜由于精度问题由控制面板进行控制。最终得分记为躯干得分
(8)如果躯干或脚部在一分钟内连续重复同样动作四次以上，则上述得分+1分；若躯干或脚部负载小于1kg，不加分；躯干或脚部负载为1～5kg，且负载为动态且不重复，+1分；躯干或脚部负载为1～5kg，且负载为静态或重复，+2分；负载超过5kg，+3分。将得分加上以上调整值，记为SCORE B，记录备用。
(9)利用SCORE A和SCORE B计算得分，即为最终的RULA得分。
当最终得分为1～2分时，代表使用者人体工学状态良好，无受伤风险；
3～4分时，代表使用者由潜在的受伤风险，需要进一步观察、调查和研究；
5～6分时，代表使用者有受伤风险，应尽快更换姿势；
7分以上时，代表使用者受伤风险高，应立即停止作业并更换姿势。
对于无法精确判断或者无法仅通过Kinect传感器测量的判断条目，通过控制面板，操控者可以通过勾选或下拉列表中选中对应选项进行指定，确定每个关节节点的得分。对应选项为：左、右手是否有支撑或倚靠、是否一分钟内重复动作四次以上、对应手臂是否扭转、负重重量；脚部是否有支撑；是否低头或转头；身体是否弯腰或扭腰；
S105，当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。
作为一个具体的实施例，建立了一个实时展示人体各部位受伤风险的窗口，当对应部位的RULA分析结果表明受伤风险较高时，对应关节会显示不同颜色圆形图案加以提醒或警告，圆形图案有黄色、橙色、红色三种颜色，对应的该部位受伤风险。当受伤风险较低时，关节没有颜色标识；当面临中等受伤风险时，关节处会有黄色标识；当面临较高受伤风险，需要尽快更改动作或取消维修操作时，关节处会有橙色标识；当受伤风险极高，需要立即中断操作时，对应关节处会有红色标识。具体内容为：
肩部：大臂得分3～4分为黄色，5分为橙色，6分为红色
肘部：小臂得分2分为黄色，3分为橙色。
手腕：手腕位置得分+手腕扭转得分，4分为黄色，5分为橙色，6分为红色。
头部和颈部：颈部和头部得分3分为黄色，4分为橙色，5分为红色。
躯干：躯干得分3分为黄色，4分为橙色，5分为红色。
脚部：脚部得分2分为黄色。
将装配实施者身体各部分及总体的RULA分析结果记录下来，并可以根据使用者需要实时展示在图表中，饼图展示的是从开始装配一直到当前时刻的RULA评估分数，而折线图展示的是过去十秒内的RULA评估分数。
当人体任意部位的得分为橙色，或总体的受伤风险大于等于5分时，自动进行截屏、记录当前时间并保存，用以后续分析。
将人体节点坐标和RULA评估分数输出至指定文件夹的.CSV格式的文件中，用于记录和后续分析处理。
本发明利用Kinect对进行装配维修工作的实施者直接进行分析，省去了分析者的参与。本发明每秒三十次分析依次，相当于每次分析只需要花费0.033秒。连续性强，即不需要实施者停止维修工作即可完成分析。分析结果更加直观，即将实施者的受伤风险实时展示在屏幕上，同时利用图表可以直观地展示实施者近期受伤风险的变化趋势。排错处理更方便，除了记录照片，还会记录下实施者当前的骨骼模型、各关节点的坐标以及各部位的受伤风险以及分析时的时刻，方便后期进行检查和纠错。利于后续创建虚拟维修流程，本方法可以将操作者的身体各节点坐标直接保存至电脑上，后续创建虚拟维修流程时可以直接按照时刻导入人体节点坐标，便可以简单快速地构建虚拟维修流程。
图4为本发明所提供的一种在装配维修过程中对人体姿态的评估系统结构示意图，如图4所示，本发明所提供的一种在装配维修过程中对人体姿态的评估系统，包括：
数据获取模块401，用于在装配维修过程中，实时获取实施者的彩色图像和深度图像；
深度图像处理模块402，用于根据所述深度图像实时确定所述实施者的关节节点和骨架；
彩色图像处理模块403，用于将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；
RULA评估模块404，用于对叠加后的彩色图像采用RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；
RULA结果显示模块405，用于当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。
所述深度图像处理模块402具体包括：
关节节点的三维坐标确定单元，用于根据所述深度图像，利用Kinect V2.0体感传感器确定所述实施者的25个人体关节节点的三维坐标；所述25个人体关节节点包括：头部、颈部、左肩、左肘、左手腕、左手心、左大拇指、左手中指尖、右肩、右肘、右手腕、右手心、右大拇指、右手中指尖、脊椎上部、脊椎中部、脊椎下部、左胯、左膝盖、左脚踝、左脚、右胯、右膝盖、右脚踝以及右脚；
人体关节节点三维图确定单元，用于根据25个人体关节节点的三维坐标确定人体关节节点三维图；
人体骨架二维投影图确定单元，用于将人体关节节点三维图转换为二维图；并根据二维图中相邻的关节节点确定人体骨骼，进而确定人体骨架二维投影图。
所述深度图像处理模块402还包括：
校正单元，用于对每个关节节点和骨骼的位置进行校正。
所述RULA评估模块404具体包括：
相邻骨骼间的夹角确定单元，用于根据叠加后的彩色图像实时确定相邻骨骼间的夹角；
受伤风险评分确定单元，用于根据实时确定相邻骨骼间的夹角，采用快速上肢评估RULA分析方法，确定每个关节节点的受伤风险评分；
评分结果显示单元，用于将评分结果在人体骨架二维投影图进行显示。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种在装配维修过程中对人体姿态的评估方法，其特征在于，包括：
在装配维修过程中，实时获取实施者的彩色图像和深度图像；
根据所述深度图像实时确定所述实施者的关节节点和骨架；
将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；
对叠加后的彩色图像采用快速上肢评估RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；
当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。
2.根据权利要求1所述的一种在装配维修过程中对人体姿态的评估方法，其特征在于，所述根据所述深度图像实时确定所述实施者的关节节点和骨架，具体包括：
根据所述深度图像，利用KinectV2.0体感传感器确定所述实施者的25个人体关节节点的三维坐标；所述25个人体关节节点包括：头部、颈部、左肩、左肘、左手腕、左手心、左大拇指、左手中指尖、右肩、右肘、右手腕、右手心、右大拇指、右手中指尖、脊椎上部、脊椎中部、脊椎下部、左胯、左膝盖、左脚踝、左脚、右胯、右膝盖、右脚踝以及右脚；
根据25个人体关节节点的三维坐标确定人体关节节点三维图；
将人体关节节点三维图转换为二维图；并根据二维图中相邻的关节节点确定人体骨骼，进而确定人体骨架二维投影图。
3.根据权利要求2所述的一种在装配维修过程中对人体姿态的评估方法，其特征在于，所述根据所述深度图像实时确定所述实施者的关节节点和骨架，还包括：
对每个关节节点和骨骼的位置进行校正。
4.根据权利要求2所述的一种在装配维修过程中对人体姿态的评估方法，其特征在于，所述对叠加后的彩色图像采用RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示，具体包括：
根据叠加后的彩色图像实时确定相邻骨骼间的夹角；
根据实时确定相邻骨骼间的夹角，采用RULA分析方法，确定每个关节节点的受伤风险评分；
将评分结果在人体骨架二维投影图进行显示。
5.一种在装配维修过程中对人体姿态的评估系统，其特征在于，包括：
数据获取模块，用于在装配维修过程中，实时获取实施者的彩色图像和深度图像；
深度图像处理模块，用于根据所述深度图像实时确定所述实施者的关节节点和骨架；
彩色图像处理模块，用于将同一时刻的实施者的关节节点和骨架与相应时刻的彩色图像进行匹配叠加；
RULA评估模块，用于对叠加后的彩色图像采用RULA分析方法，确定每个关节节点的受伤风险评分；并将评分结果进行显示；
RULA结果显示模块，用于当关节节点的受伤风险评分超过设定阈值时，记录实施者当前的位姿以及受伤风险评分超过设定阈值的关节节点的位置；并发出风险警示。
6.根据权利要求1所述的一种在装配维修过程中对人体姿态的评估系统，其特征在于，所述深度图像处理模块具体包括：
关节节点的三维坐标确定单元，用于根据所述深度图像，利用KinectV2.0体感传感器确定所述实施者的25个人体关节节点的三维坐标；所述25个人体关节节点包括：头部、颈部、左肩、左肘、左手腕、左手心、左大拇指、左手中指尖、右肩、右肘、右手腕、右手心、右大拇指、右手中指尖、脊椎上部、脊椎中部、脊椎下部、左胯、左膝盖、左脚踝、左脚、右胯、右膝盖、右脚踝以及右脚；
人体关节节点三维图确定单元，用于根据25个人体关节节点的三维坐标确定人体关节节点三维图；
人体骨架二维投影图确定单元，用于将人体关节节点三维图转换为二维图；并根据二维图中相邻的关节节点确定人体骨骼，进而确定人体骨架二维投影图。
7.根据权利要求6所述的一种在装配维修过程中对人体姿态的评估系统，其特征在于，所述深度图像处理模块还包括：
校正单元，用于对每个关节节点和骨骼的位置进行校正。
8.根据权利要求6所述的一种在装配维修过程中对人体姿态的评估系统，其特征在于，所述RULA评估模块具体包括：
相邻骨骼间的夹角确定单元，用于根据叠加后的彩色图像实时确定相邻骨骼间的夹角；
受伤风险评分确定单元，用于根据实时确定相邻骨骼间的夹角，采用快速上肢评估RULA分析方法，确定每个关节节点的受伤风险评分；
评分结果显示单元，用于将评分结果在人体骨架二维投影图进行显示。
CN202110993155.XA 2021-08-25 2021-08-25 一种在装配维修过程中对人体姿态的评估方法与系统 Pending CN113633281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110993155.XA CN113633281A (zh) 2021-08-25 2021-08-25 一种在装配维修过程中对人体姿态的评估方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110993155.XA CN113633281A (zh) 2021-08-25 2021-08-25 一种在装配维修过程中对人体姿态的评估方法与系统

Publications (1)

Publication Number Publication Date
CN113633281A true CN113633281A (zh) 2021-11-12

Family

ID=78424125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110993155.XA Pending CN113633281A (zh) 2021-08-25 2021-08-25 一种在装配维修过程中对人体姿态的评估方法与系统

Country Status (1)

Country Link
CN (1) CN113633281A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237880A (zh) * 2023-11-13 2023-12-15 东莞先知大数据有限公司 一种柴油卸车规范检测方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114208A1 (ko) * 2009-03-31 2010-10-07 전북대학교산학협력단 버스 운전자의 운전자세 불편도 평가방법
CN104239605A (zh) * 2014-07-25 2014-12-24 北京航空航天大学 一种飞行器装配过程风险评估的方法
CN105930795A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN107831897A (zh) * 2017-11-17 2018-03-23 吉林大学 一种虚拟装配操作中rula评测方法
CN110480634A (zh) * 2019-08-08 2019-11-22 北京科技大学 一种针对机械臂运动控制的手臂引导运动控制方法
CN111652047A (zh) * 2020-04-17 2020-09-11 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN112131928A (zh) * 2020-08-04 2020-12-25 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法
CN112568898A (zh) * 2019-09-29 2021-03-30 杭州福照光电有限公司 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备
CN113158910A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 一种人体骨架识别方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114208A1 (ko) * 2009-03-31 2010-10-07 전북대학교산학협력단 버스 운전자의 운전자세 불편도 평가방법
CN104239605A (zh) * 2014-07-25 2014-12-24 北京航空航天大学 一种飞行器装配过程风险评估的方法
CN105930795A (zh) * 2016-04-20 2016-09-07 东北大学 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN107831897A (zh) * 2017-11-17 2018-03-23 吉林大学 一种虚拟装配操作中rula评测方法
CN110480634A (zh) * 2019-08-08 2019-11-22 北京科技大学 一种针对机械臂运动控制的手臂引导运动控制方法
CN112568898A (zh) * 2019-09-29 2021-03-30 杭州福照光电有限公司 一种基于视觉图像对人体运动动作自动进行伤病风险评估及动作矫正的方法、装置及设备
CN111652047A (zh) * 2020-04-17 2020-09-11 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN112131928A (zh) * 2020-08-04 2020-12-25 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法
CN113158910A (zh) * 2021-04-25 2021-07-23 北京华捷艾米科技有限公司 一种人体骨架识别方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜盛乾: "基于虚拟现实技术的装配及人因评价研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑工程科技Ⅰ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237880A (zh) * 2023-11-13 2023-12-15 东莞先知大数据有限公司 一种柴油卸车规范检测方法、装置、电子设备和存储介质
CN117237880B (zh) * 2023-11-13 2024-02-09 东莞先知大数据有限公司 一种柴油卸车规范检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111091732B (zh) 一种基于ar技术的心肺复苏指导器及指导方法
JP4451817B2 (ja) 歯科技術評価システム
CN111443619B (zh) 一种虚实融合的人机协作仿真方法和系统
US20150079565A1 (en) Automated intelligent mentoring system (aims)
JP6124308B2 (ja) 動作評価装置及びそのプログラム
KR101416282B1 (ko) 네추럴 인터렉션 기반 건강 및 재활운동 기능성 측정 평가 시스템
US11426099B2 (en) Mobile device avatar generation for biofeedback to customize movement control
JP2015186531A (ja) 動作情報処理装置、及びプログラム
CN111047947A (zh) 一种基于ar技术的书写指导器及书写指导方法
CN109219426B (zh) 康复训练辅助控制装置以及计算机能够读取的记录介质
CN111539245A (zh) 一种基于虚拟环境的cpr技术训练评价方法
CN113633281A (zh) 一种在装配维修过程中对人体姿态的评估方法与系统
KR20160076488A (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
Yun et al. Animation fidelity in self-avatars: impact on user performance and sense of agency
JP2021122736A (ja) 関節の回転中心を見つける方法
Panchaphongsaphak et al. Three-dimensional touch interface for medical education
CN113345069A (zh) 三维人体模型的建模方法、装置、系统及存储介质
Hermens et al. The structure of frontoparallel haptic space is task dependent
CN113100717B (zh) 适于眩晕患者的裸眼3d眩晕训练系统及评测方法
WO2019003429A1 (ja) 人体モデル表示システム、人体モデル表示方法、通信端末装置、及びコンピュータプログラム
Ma et al. A framework for interactive work design based on digital work analysis and simulation
KR20220042666A (ko) 반복 운동의 동작 훈련을 위한 정량적 자세 분석 및 평가 장치 및 방법
CN108363984A (zh) 一种虚拟装配中疲劳度监测方法
Kloiber et al. Immersive Analytics for Ergonomics Evaluation in Virtual Reality
JP6744139B2 (ja) リハビリテーション支援制御装置及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination