CN107783654B - 一种虚拟装配操作中身体弯曲类动作检测方法 - Google Patents

一种虚拟装配操作中身体弯曲类动作检测方法 Download PDF

Info

Publication number
CN107783654B
CN107783654B CN201711091356.0A CN201711091356A CN107783654B CN 107783654 B CN107783654 B CN 107783654B CN 201711091356 A CN201711091356 A CN 201711091356A CN 107783654 B CN107783654 B CN 107783654B
Authority
CN
China
Prior art keywords
plane
point
knee
time
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711091356.0A
Other languages
English (en)
Other versions
CN107783654A (zh
Inventor
高大伟
刘鹏
黄卓
徐杨
张开淦
张昕莹
陈雪纯
曹明钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201711091356.0A priority Critical patent/CN107783654B/zh
Publication of CN107783654A publication Critical patent/CN107783654A/zh
Application granted granted Critical
Publication of CN107783654B publication Critical patent/CN107783654B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于体感交互领域，具体的说是一种对模特法中的弯曲类动作进行检测的虚拟装配操作中身体弯曲类动作检测方法。该检测方法包括以下步骤：步骤一、根据人体骨骼点，构建三个平面；步骤二、判断工人是否是弯腰；步骤三、判断工人是否蹲下或单膝触地或双膝触地；步骤四、判断工人左右手动作抓取情况；步骤五、记录工人的动作操作时间，给予操作动作做评价。本发明是一种可以不要求Kinect V2放置位置，只要对着操作人员，即可通过平面构建，角度和距离计算检测人体的运动状态，有效降低工程师的工作时间的虚拟装配操作中身体弯曲类动作检测方法。

Description

一种虚拟装配操作中身体弯曲类动作检测方法
技术领域
本发明属于体感交互领域，具体的说是一种对模特法中的弯曲类动作进行检测的虚拟装配操作中身体弯曲类动作检测方法。
背景技术
模特法是预定时间标准法中运用最广的方法之一，该方法在车间环境中测试后与MTM-1、MTM-2比较后，效果俱佳，1966年公布后，得到广泛应用，现今依旧被各类制造业企业所采用。早期工业工程师直接用秒表对工人动作进行计时，这类方法需要工业工程师在现场直接测时，工作强度大，测时精确度低，随着预定时间标准法的推广逐渐减少使用，但预定时间标准法依旧需要工程师观看现场录像，根据模特法或是其他方法对动作进行定义，工作量依旧庞大。
发明内容
本发明提供了一种从模特法出发，旨在利用体感交互技术和计算机技术自动计算出参与虚拟装配的人员的身体弯曲类动作，并能够通过Kinect V2采集的人体骨骼点来检测具体的弯曲动作类别的虚拟装配操作中身体弯曲类动作检测方法，解决了模特法的上述不足。
本发明技术方案结合附图说明如下：
一种虚拟装配操作中身体弯曲类动作检测方法，该检测方法包括以下步骤：
步骤一、根据人体骨骼点，构建三个平面；
步骤二、判断工人是否是弯腰；
步骤三、判断工人是否蹲下或单膝触地或双膝触地；
步骤四、判断工人左右手动作抓取情况；
步骤五、记录工人的动作操作时间，给予操作动作做评价。
所述的步骤一的具体步骤为：
11)通过Kinect V2人机交互设备中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；
12)采集人体直立时的左脚坐标点A1(x1,y1,z1)、右脚踝坐标点A2(x2,y2,z2)、右脚坐标点A3(x3,y3,z3)，可得到构建平面C，首先确认法向量可得
设B1为(y2-y1)×(z3-z2)-(z2-z1)×(y3-y2)，B2为(z2-z1)×(x3-x2)-(x2-x1)×(z3-z2)，B3为(x2-x1)×(y3-y2)-(y2-y1)×(x3-x2)；
法向量即为n＝(B1,B2,B3)，平面方程即为B1(x-x1)+B2(y-y1)+B3(z-z1)＝0，化简可得B1x+B2y+B3z＝B1x1+B2y1+B3z1；
设B1x1+B2y1+B3z1为C，方程即可表示为B1x+B2y+B3z＝C；
此时，采集得到右膝盖坐标点A4(x4,y4,z4)，右臀坐标点A5(x5,y5,z5)，髋关节中心坐标点A6(x6,y6,z6)，肩中心坐标点A7(x7,y7,z7)，首先计算右膝盖坐标点到右脚踝坐标点的距离再计算右膝盖坐标点到右臀坐标点的距离最后计算出右臀坐标点到髋关节中心坐标点加上髋关节中心坐标点到肩中心坐标点距离
此时构建平面1：B1x+B2y+B3z＝C+0.7l1；
此时构建平面2：B1x+B2y+B3z＝C+0.7l1+l2；
此时构建平面3：B1x+B2y+B3z＝C+0.7l1+l2+l3；
此时低于平面1为1号区域，在平面1与平面2之间为2号区域，在平面2与平面3之间为3号区域，高于在平面3为4号区域。
所述的步骤二的具体步骤为：
21)采集左脚坐标点A1(x1,y1,z1)，髋关节中心坐标点A6(x6,y6,z6)，左臀坐标点A7(x7,y7,z7)，颈坐标点A8(x8,y8,z8)；此时需要记录颈部点的速度作为以下所有判断时间的启动条件，即已知Kinect V2最高频率可以实现30帧/秒，即每秒得到30组骨骼点数据；每采集5帧计算一次速度，可得颈部的移动速度V1，当速度大于0.3m/s之后，时间计为T1，认为开始弯曲身体，当速度小于0.3m/s之后，时间计为T2，开始采集骨骼数据点进行识别；
22)此时左臀到左脚的向量髋关节中心到颈的向量向量与向量的夹角即为如果角度θ1的夹角小于150°，即进行下一步判定；
23)计算颈部离平面2、3的距离，其中颈部距离平面2的距离为其中颈部距离平面3的距离为
24)当d1和d2都小于长度l3时，此时颈部在3号区域，即认为完成弯腰动作。
所述的步骤三的具体步骤为：
31)采集左脚坐标点A1(x1,y1,z1)，左膝盖点A9(x9,y9,z9)，左臀点A7(x7,y7,z7)，右脚坐标点A3(x3,y3,z3)，右膝盖点A4(x4,y4,z4)，右臀点A10(x10,y10,z10)；此时左膝盖到左脚的向量左膝盖到左臀的向量向量与向量的夹角即为如果角度θ2的夹角小于90°，即可知左腿弯曲；此时右膝盖到右脚的向量右膝盖到右臀的向量向量与向量的夹角即为如果角度θ3的夹角小于90°，即可知右腿弯曲；
32)此时计算左膝盖点离平面1和平面2的距离，其中左膝盖点距离平面1的距离为左膝盖点距离平面2的距离为计算右膝盖点离平面1和平面2的距离，其中右膝盖点距离平面1的距离为右膝盖点距离平面2的距离为
33)当d3和d4都小于长度l2时，且d5和d6都小于长度l2时，即左膝盖和右膝盖都在2号区域，则认为完成下蹲动作；
当d3小于长度0.7l1，d4大于长度l2时，且d5和d6都小于长度l2时，即左膝盖在1号区域，右膝盖都在2号区域，则认为完成单膝触地动作；
当d3小于长度0.7l1，d4大于长度l2时，且d5小于长度0.7l1，d6大于长度l2时，即左膝盖和右膝盖都在1号区域，则认为完成双膝触地动作。
所述的步骤四的具体步骤为：
需要采集左手坐标点A11(x11,y11,z11)，右手坐标点A12(x12,y12,z12)，记录时间T1到时间T2间颈部、左手、右手的移动速度，并算得平均速度其中计算相对移动速度比率当比率大于7％时，认为手部有抓取动作。
所述的步骤五的具体步骤为：
51)识别结束，检查移动速度V1，当速度大于0.3m/s之后，认为开始复原动作，当速度小于0.3m/s之后，时间计为T3，此时需要采集髋关节中心点A6(x6,y6,z6)，颈点A8(x8,y8,z8)，左膝盖点A9(x9,y9,z9)；
52)计算髋关节中心点离平面2和平面3的距离，其中髋关节中心点距离平面2的距离为髋关节中心点距离平面3的距离为计算颈点离平面2和平面3的距离，其中颈点距离平面2的距离为颈点距离平面3的距离为计算左膝盖点离平面1和平面2的距离，其中左膝盖点距离平面1的距离为左膝盖点距离平面2的距离为
53)当d7和d8都小于长度l3时，d9大于长度l3，d10小于长度l3时，且d11和d12都小于长度l2时，髋关节中心点在3号区域，颈点在4号区域，左膝盖点在2号区域，身体回复；
54)记录动作时间T＝T3-T1，比较时间和标准时间T标准，如果没有手部动作，标准时间T标准为2.193s，如果有手部动作，标准时间T标准为2.58s，求比率
55)-5％≤γ≤5％，则认为操作在正常水平；
γ＜-5％，则认为操作为高效操作状态；
5％＜γ≤10％，则认为操作在恢复疲劳时间的动作时间；10％＜γ，则认为操作在疲劳状态操作。
本发明的有益效果为：
本发明能将模特法中弯曲动作的评判设计成计算机能接受的数学方法，减少工程师的工作量。
附图说明
图1为本发明的工作流程图；
图2为本发明的平面构件图；
图3为本发明的弯腰示意图；
图4为本发明的蹲下示意图；
图5为本发明的逻辑图。
具体实施方式
参阅图1，一种虚拟装配操作中身体弯曲类动作检测方法，该检测方法包括以下步骤：
步骤一、根据人体骨骼点，构建三个平面；
所述的步骤一的具体步骤为：
11)通过Kinect V2人机交互设备中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；
12)采集人体直立时的左脚坐标点A1(x1,y1,z1)、右脚踝坐标点A2(x2,y2,z2)、右脚坐标点A3(x3,y3,z3)，可得到构建平面C，首先确认法向量可得
设B1为(y2-y1)×(z3-z2)-(z2-z1)×(y3-y2)，B2为(z2-z1)×(x3-x2)-(x2-x1)×(z3-z2)，B3为(x2-x1)×(y3-y2)-(y2-y1)×(x3-x2)；
法向量即为n＝(B1,B2,B3)，平面方程即为B1(x-x1)+B2(y-y1)+B3(z-z1)＝0，化简可得B1x+B2y+B3z＝B1x1+B2y1+B3z1；
设B1x1+B2y1+B3z1为C，方程即可表示为B1x+B2y+B3z＝C；
上文建立的方程是基础平面，即当前场景中的水平面，接下来需要建立三个对比平面用于区分弯曲类动作。其中平面1Ⅰ用于判定是否完成单膝或双膝触地，长度选取右膝盖点到右脚踝点的0.7倍作为偏移距离l1，在基础平面上加上偏移长度0.7l1即为平面1Ⅰ；平面2Ⅱ选取右膝盖点到右臀点距离作为偏移距离l2，在平面1Ⅰ的基础上加上l2即为平面2Ⅱ；平面3Ⅲ选取右臀点到髋关节中心点加上髋关节中心点到肩中心点距离l3，在平面2Ⅱ的就的基础上加上l3即为平面3Ⅲ。
此时，采集得到右膝盖坐标点A4(x4,y4,z4)，右臀坐标点A5(x5,y5,z5)，髋关节中心坐标点A6(x6,y6,z6)，肩中心坐标点A7(x7,y7,z7)，首先计算右膝盖坐标点到右脚踝坐标点的距离再计算右膝盖坐标点到右臀坐标点的距离最后计算出右臀坐标点到髋关节中心坐标点加上髋关节中心坐标点到肩中心坐标点距离
参阅图2，此时，构建平面1Ⅰ：B1x+B2y+B3z＝C+0.7l1；
此时，构建平面2Ⅱ：B1x+B2y+B3z＝C+0.7l1+l2；
此时，构建平面3Ⅲ：B1x+B2y+B3z＝C+0.7l1+l2+l3；
此时，低于平面1Ⅰ为1号区域Ⅳ，在平面1Ⅰ与平面2Ⅱ之间为2号区域Ⅴ，在平面2Ⅱ与平面3Ⅲ之间为3号区域Ⅵ，高于在平面3Ⅲ为4号区域Ⅶ。
步骤二、判断工人是否是弯腰；
所述的步骤二的具体步骤为：
21)采集左脚坐标点A1(x1,y1,z1)，髋关节中心坐标点A6(x6,y6,z6)，左臀坐标点A7(x7,y7,z7)，颈坐标点A8(x8,y8,z8)；此时需要记录颈部点的速度作为以下所有判断时间的启动条件，即已知Kinect V2最高频率可以实现30帧/秒，即每秒得到30组骨骼点数据；每采集5帧计算一次速度，可得颈部的移动速度V1，当速度大于0.3m/s之后，时间计为T1，认为开始弯曲身体，当速度小于0.3m/s之后，时间计为T2，开始采集骨骼数据点进行识别；
22)参阅图3，此时左臀到左脚的向量髋关节中心到颈的向量向量与向量的夹角即为如果角度θ1的夹角小于150°，即进行下一步判定；
23)计算颈部离平面2、3Ⅱ、Ⅲ的距离，其中颈部距离平面2Ⅱ的距离为其中颈部距离平面3Ⅲ的距离为
24)当d1和d2都小于长度l3时，此时颈部在3号区域Ⅵ，即认为完成弯腰动作。
步骤三、判断工人是否蹲下或单膝触地或双膝触地；
所述的步骤三的具体步骤为：
31)参阅图4，采集左脚坐标点A1(x1,y1,z1)，左膝盖点A9(x9,y9,z9)，左臀点A7(x7,y7,z7)，右脚坐标点A3(x3,y3,z3)，右膝盖点A4(x4,y4,z4)，右臀点A10(x10,y10,z10)；此时左膝盖到左脚的向量左膝盖到左臀的向量向量与向量的夹角即为如果角度θ2的夹角小于90°，即可知左腿弯曲；此时右膝盖到右脚的向量右膝盖到右臀的向量向量与向量的夹角即为如果角度θ3的夹角小于90°，即可知右腿弯曲；
32)此时计算左膝盖点离平面1Ⅰ和平面2Ⅱ的距离，其中左膝盖点距离平面1Ⅰ的距离为左膝盖点距离平面2Ⅱ的距离为计算右膝盖点离平面1Ⅰ和平面2Ⅱ的距离，其中右膝盖点距离平面1Ⅰ的距离为右膝盖点距离平面2Ⅱ的距离为
33)当d3和d4都小于长度l2时，且d5和d6都小于长度l2时，即左膝盖和右膝盖都在2号区域Ⅴ，则认为完成下蹲动作；
当d3小于长度0.7l1，d4大于长度l2时，且d5和d6都小于长度l2时，即左膝盖在1号区域Ⅳ，右膝盖都在2号区域Ⅴ，则认为完成单膝触地动作；
当d3小于长度0.7l1，d4大于长度l2时，且d5小于长度0.7l1，d6大于长度l2时，即左膝盖和右膝盖都在1号区域Ⅳ，则认为完成双膝触地动作。
步骤四、判断工人左右手动作抓取情况；
需要采集左手坐标点A11(x11,y11,z11)，右手坐标点A12(x12,y12,z12)，记录时间T1到时间T2间颈部、左手、右手的移动速度，并算得平均速度其中计算相对移动速度比率当比率大于7％时，认为手部有抓取动作。
步骤五、记录工人的动作操作时间，给予操作动作做评价。
所述的步骤五的具体步骤为：
51)识别结束，检查移动速度V1，当速度大于0.3m/s之后，认为开始复原动作，当速度小于0.3m/s之后，时间计为T3，此时需要采集髋关节中心点A6(x6,y6,z6)，颈点A8(x8,y8,z8)，左膝盖点A9(x9,y9,z9)；
52)计算髋关节中心点离平面2Ⅱ和平面3Ⅲ的距离，其中髋关节中心点距离平面2Ⅱ的距离为髋关节中心点距离平面3Ⅲ的距离为计算颈点离平面2Ⅱ和平面3Ⅲ的距离，其中颈点距离平面2Ⅱ的距离为颈点距离平面3Ⅲ的距离为计算左膝盖点离平面1Ⅰ和平面2Ⅱ的距离，其中左膝盖点距离平面1Ⅰ的距离为左膝盖点距离平面2Ⅱ的距离为
53)当d7和d8都小于长度l3时，d9大于长度l3，d10小于长度l3时，且d11和d12都小于长度l2时，髋关节中心点在3号区域Ⅵ，颈点在4号区域Ⅶ，左膝盖点在2号区域Ⅴ，身体回复；
54)记录动作时间T＝T3-T1，比较时间和标准时间T标准，如果没有手部动作，标准时间T标准为2.193s，如果有手部动作，标准时间T标准为2.58s，求比率
55)-5％≤γ≤5％，则认为操作在正常水平；
γ＜-5％，则认为操作为高效操作状态；
5％＜γ≤10％，则认为操作在恢复疲劳时间的动作时间；10％＜γ，则认为操作在疲劳状态操作。
参阅图5，构建平面之后的具体框架逻辑如下：
(1)首先启动系统，并获取人体骨骼数据，设定i＝0，Hi＝0，iJi＝0，Ki＝0，Li＝0，再设定Pi＝0,O＝0,ρ，转(2)；(Hi记录第i次动作是否弯腰动作；Ji记录第i次动作是否蹲下动作；Ki记录第i次动作手是否动了；Li记录第i次弯腰类动作耗时；Pi记录第i次弯腰类动作标准时间；ρ可等于任意整数(10、20...)，用于计算多少组弯腰动作进行动作评价)
(2)获取颈部的移动速度V1，时间计为T1，转(3)；
(3)判断是否V1＞0.3，是转(4)，否转(2)；
(4)获取颈部的移动速度V1，时间计为T2，转(5)；
(5)判断是否V1＜0.3，是转(6)，否转(4)；
(6)获取左臀到左脚的向量髋关节中心到颈的向量计算θ1，转(7)；
(7)判断是否θ1＜150°，是计算d1、d2转(8)，否转(10)；
(8)判断是否d1和d2都小于长度l3，是转(9)，否转(10)；
(9)i＝i+1,Hi＝1，转(16)；(Hi等于0，表示第i次动作未弯腰，Hi等于1，表示第i次动作弯腰，)
(10)获取左膝到左脚的向量左膝到左臀的向量右膝到右脚的向量右膝到右臀的向量计算θ2、θ3，转(11)；
(12)判断是否θ2＜90°，θ3＜90°，是转(12)，否i＝i-1转(2)；
(13)计算距离d3、d4、d5、d6，判断是否d3和d4都小于长度l2，d5和d6都小于长度l2，是i＝i+1,Ji＝1转(16)，否转(14)；(Ji等于0，表示第i次动作未下蹲，Ji等于1，表示第i次动作下蹲，Ji等于2，表示第i次动作单膝触地，Ji等于3，表示第i次动作双膝触地)
(14)判断是否d3小于长度0.7l1，d4大于长度l2且d5和d6都小于长度l2，是i＝i+1,Ji＝2转(16)，否转(15)；
(15)判断是否d3小于长度0.7l1，d4大于长度l2且d5小于长度0.7l1，d6大于长度l2，是i＝i+1,Ji＝2转(16)，否转(2)；
(16)计算时间T1到时间T2间颈部、左手、右手的移动速度，并算得平均速度 判断是否是转(17)，否转(18)；
(17)判断是否是i＝i+1，Ki＝1转(19)，否i＝i+1，Ki＝2转(19)；(Ki等于1，表示第i次两只手都没抓取，Ki等于2，表示第i次右手完成抓取，Ki等于3，表示第i次左手完成抓取，Ki等于4，表示第i次两只手都完成抓取)
(18)判断是否是i＝i+1，Ki＝3转(19)，否i＝i+1，Ki＝4转(19)；
(19)获取颈部的移动速度V1，转(20)；
(20)判断是否V1＞0.3，是转(21)，否转(19)；
(21)获取颈部的移动速度V1，时间计为T3，转(5)；
(22)判断是否V1＜0.3，是转(23)，否转(21)；
(23)计算距离d7、d8、d9、d10、d11、d12，判断d7、d8、d10小于l3，d11、d12小于l2，d9大于l3，d5和d6都小于长度l2，是转(24)，否转(19)；
(24)判断是否Ki＞1，是O＝1转(25)，否O＝0转(25)；
(25)Li＝T3-T1，Pi＝2.193+O×0.387，判断是否i＞ρ，是计算比率γ，否转(2)。

Claims (1)

1.一种虚拟装配操作中身体弯曲类动作检测方法，其特征在于，该检测方法包括以下步骤：
步骤一、根据人体骨骼点，构建三个平面；
步骤二、判断工人是否是弯腰；
步骤三、判断工人是否蹲下或单膝触地或双膝触地；
步骤四、判断工人左右手动作抓取情况；
步骤五、记录工人的动作操作时间，给予操作动作做评价；
所述的步骤一的具体步骤为：
11)通过Kinect V2人机交互设备中的深度相机获取人体25个部位骨骼点数据，其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；
12)采集人体直立时的左脚坐标点A1(x1,y1,z1)、右脚踝坐标点A2(x2,y2,z2)、右脚坐标点A3(x3,y3,z3)，可得到构建平面C，首先确认法向量可得
设B1为(y2-y1)×(z3-z2)-(z2-z1)×(y3-y2)，B2为(z2-z1)×(x3-x2)-(x2-x1)×(z3-z2)，B3为(x2-x1)×(y3-y2)-(y2-y1)×(x3-x2)；
法向量即为n＝(B1,B2,B3)，平面方程即为B1(x-x1)+B2(y-y1)+B3(z-z1)＝0，化简可得B1x+B2y+B3z＝B1x1+B2y1+B3z1；
设B1x1+B2y1+B3z1为平面C，方程即可表示为B1x+B2y+B3z＝C；
此时，采集得到右膝盖坐标点A4(x4,y4,z4)，右臀坐标点A5(x5,y5,z5)，髋关节中心坐标点A6(x6,y6,z6)，肩中心坐标点A7(x7,y7,z7)，首先计算右膝盖坐标点到右脚踝坐标点的距离再计算右膝盖坐标点到右臀坐标点的距离最后计算出右臀坐标点到髋关节中心坐标点加上髋关节中心坐标点到肩中心坐标点距离
此时构建平面1：B1x+B2y+B3z＝C+0.7l1；
此时构建平面2：B1x+B2y+B3z＝C+0.7l1+l2；
此时构建平面3：B1x+B2y+B3z＝C+0.7l1+l2+l3；
此时低于平面1为1号区域，在平面1与平面2之间为2号区域，在平面2与平面3之间为3号区域，高于在平面3为4号区域；
所述的步骤二的具体步骤为：
21)采集左脚坐标点A1(x1,y1,z1)，髋关节中心坐标点A6(x6,y6,z6)，左臀坐标点A7(x7,y7,z7)，颈坐标点A8(x8,y8,z8)；此时需要记录颈部点的速度作为以下所有判断时间的启动条件，即已知Kinect V2最高频率可以实现30帧/秒，即每秒得到30组骨骼点数据；每采集5帧计算一次速度，可得颈部的移动速度V1，当速度大于0.3m/s之后，时间计为T1，认为开始弯曲身体，当速度小于0.3m/s之后，时间计为T2，开始采集骨骼数据点进行识别；
22)此时左臀到左脚的向量髋关节中心到颈的向量向量与向量的夹角即为如果角度θ1的夹角小于150°，即进行下一步判定；
23)计算颈部离平面2、3的距离，其中颈部距离平面2的距离为其中颈部距离平面3的距离为
24)当d1和d2都小于长度l3时，此时颈部在3号区域，即认为完成弯腰动作；
所述的步骤三的具体步骤为：
31)采集左脚坐标点A1(x1,y1,z1)，左膝盖点A9(x9,y9,z9)，左臀点A7(x7,y7,z7)，右脚坐标点A3(x3,y3,z3)，右膝盖点A4(x4,y4,z4)，右臀点A10(x10,y10,z10)；此时左膝盖到左脚的向量左膝盖到左臀的向量向量与向量的夹角即为如果角度θ2的夹角小于90°，即可知左腿弯曲；此时右膝盖到右脚的向量右膝盖到右臀的向量向量与向量的夹角即为如果角度θ3的夹角小于90°，即可知右腿弯曲；
32)此时计算左膝盖点离平面1和平面2的距离，其中左膝盖点距离平面1的距离为左膝盖点距离平面2的距离为计算右膝盖点离平面1和平面2的距离，其中右膝盖点距离平面1的距离为右膝盖点距离平面2的距离为
33)当d3和d4都小于长度l2时，且d5和d6都小于长度l2时，即左膝盖和右膝盖都在2号区域，则认为完成下蹲动作；
当d3小于长度0.7l1，d4大于长度l2时，且d5和d6都小于长度l2时，即左膝盖在1号区域，右膝盖都在2号区域，则认为完成单膝触地动作；
当d3小于长度0.7l1，d4大于长度l2时，且d5小于长度0.7l1，d6大于长度l2时，即左膝盖和右膝盖都在1号区域，则认为完成双膝触地动作；
所述的步骤四的具体步骤为：
需要采集左手坐标点A11(x11,y11,z11)，右手坐标点A12(x12,y12,z12)，记录时间T1到时间T2间颈部、左手、右手的移动速度，并算得平均速度其中计算相对移动速度比率当比率大于7％时，认为手部有抓取动作；
所述的步骤五的具体步骤为：
51)识别结束，检查移动速度V1，当速度大于0.3m/s之后，认为开始复原动作，当速度小于0.3m/s之后，时间计为T3，此时需要采集髋关节中心点A6(x6,y6,z6)，颈点A8(x8,y8,z8)，左膝盖点A9(x9,y9,z9)；
52)计算髋关节中心点离平面2和平面3的距离，其中髋关节中心点距离平面2的距离为髋关节中心点距离平面3的距离为计算颈点离平面2和平面3的距离，其中颈点距离平面2的距离为颈点距离平面3的距离为计算左膝盖点离平面1和平面2的距离，其中左膝盖点距离平面1的距离为左膝盖点距离平面2的距离为
53)当d7和d8都小于长度l3时，d9大于长度l3，d10小于长度l3时，且d11和d12都小于长度l2时，髋关节中心点在3号区域，颈点在4号区域，左膝盖点在2号区域，身体回复；
54)记录动作时间T＝T3-T1，比较时间和标准时间T标准，如果没有手部动作，标准时间T标准为2.193s，如果有手部动作，标准时间T标准为2.58s，求比率
55)-5％≤γ≤5％，则认为操作在正常水平；
γ＜-5％，则认为操作为高效操作状态；
5％＜γ≤10％，则认为操作在恢复疲劳时间的动作时间；10％＜γ，则认为操作在疲劳状态操作。
CN201711091356.0A 2017-11-08 2017-11-08 一种虚拟装配操作中身体弯曲类动作检测方法 Expired - Fee Related CN107783654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711091356.0A CN107783654B (zh) 2017-11-08 2017-11-08 一种虚拟装配操作中身体弯曲类动作检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711091356.0A CN107783654B (zh) 2017-11-08 2017-11-08 一种虚拟装配操作中身体弯曲类动作检测方法

Publications (2)

Publication Number Publication Date
CN107783654A CN107783654A (zh) 2018-03-09
CN107783654B true CN107783654B (zh) 2018-07-31

Family

ID=61432950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711091356.0A Expired - Fee Related CN107783654B (zh) 2017-11-08 2017-11-08 一种虚拟装配操作中身体弯曲类动作检测方法

Country Status (1)

Country Link
CN (1) CN107783654B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416322B (zh) * 2018-03-27 2019-05-17 吉林大学 一种虚拟装配坐式操作中目视动作识别方法
CN108656113B (zh) * 2018-05-16 2019-04-12 吉林大学 一种虚拟装配操作中对准动作识别方法
CN108898119B (zh) * 2018-07-04 2019-06-25 吉林大学 一种弯曲动作识别方法
CN110852135B (zh) * 2018-08-20 2022-04-12 吉林大学 一种拆卸动作识别方法
CN111539245B (zh) * 2020-02-17 2023-04-07 吉林大学 一种基于虚拟环境的cpr技术训练评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1205295A1 (fr) * 2000-11-14 2002-05-15 Centre Hospitalier Regional Et Universitaire De Lille Simulateur d'arthroscopie d'une cavité articulaire
CN105975919A (zh) * 2016-04-28 2016-09-28 三齐正康(北京)医疗科技有限公司 一种人体姿势捕捉方法及系统
CN104274179B (zh) * 2014-09-05 2017-04-19 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
CN106980385A (zh) * 2017-04-07 2017-07-25 吉林大学 一种虚拟装配装置、系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1205295A1 (fr) * 2000-11-14 2002-05-15 Centre Hospitalier Regional Et Universitaire De Lille Simulateur d'arthroscopie d'une cavité articulaire
CN104274179B (zh) * 2014-09-05 2017-04-19 深圳市职业病防治院 一种下肢功能测试指标的测试方法、装置及系统
CN105975919A (zh) * 2016-04-28 2016-09-28 三齐正康(北京)医疗科技有限公司 一种人体姿势捕捉方法及系统
CN106980385A (zh) * 2017-04-07 2017-07-25 吉林大学 一种虚拟装配装置、系统及方法

Also Published As

Publication number Publication date
CN107783654A (zh) 2018-03-09

Similar Documents

Publication Publication Date Title
CN107783654B (zh) 一种虚拟装配操作中身体弯曲类动作检测方法
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN105688396B (zh) 运动信息显示系统和运动信息显示方法
CN104780217B (zh) 检测用户工作效率的方法、系统及客户端
CN105868715B (zh) 一种手势识别方法、装置及手势学习系统
CN104933734B (zh) 一种基于多kinect的人体姿态数据融合方法
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
CN103699795A (zh) 一种运动行为识别方法、装置及运动强度监测系统
KR101930652B1 (ko) 보행 해석 시스템 및 기록 매체에 기록된 컴퓨터 프로그램
CN103006178B (zh) 基于三维运动跟踪计算能量消耗的设备和方法
CN104035557B (zh) 一种基于关节活跃度的Kinect动作识别方法
CN104598867A (zh) 一种人体动作自动评估方法及舞蹈评分系统
CN104159644A (zh) 分析高尔夫挥杆的装置和方法
CN110490080A (zh) 一种基于图像的人体跌倒判别方法
CN108170281A (zh) 一种工作姿势分析系统测算方法
CN107092882A (zh) 一种基于子动作感知的行为识别系统及其工作方法
CN113663312A (zh) 一种基于微惯性的无器械健身动作质量评估方法
CN110163113A (zh) 一种人体行为相似度计算方法及装置
Gonjo et al. Do swimmers conform to criterion speed during pace-controlled swimming in a 25-m pool using a visual light pacer?
CN102475966B (zh) 一种基于计算机的扭腰运动实现方法及系统
Yu et al. Three-dimensional working pose estimation in industrial scenarios with monocular camera
CN110013642B (zh) 智能石锁的运动状态确定方法、确定系统及相应装置
CN108256403B (zh) 将肢体运动特性数据化的装置及方法
CN115761873A (zh) 手势和姿态综合视觉识别的肩部康复运动时长评估方法
Koul et al. Sign language recognition using leap motion sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180731

Termination date: 20191108