CN108090448A - 一种虚拟装配中模特值评价方法 - Google Patents

一种虚拟装配中模特值评价方法 Download PDF

Info

Publication number
CN108090448A
CN108090448A CN201711380035.2A CN201711380035A CN108090448A CN 108090448 A CN108090448 A CN 108090448A CN 201711380035 A CN201711380035 A CN 201711380035A CN 108090448 A CN108090448 A CN 108090448A
Authority
CN
China
Prior art keywords
action
hand
regions
met
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711380035.2A
Other languages
English (en)
Other versions
CN108090448B (zh
Inventor
姜盛乾
于新
徐杨
陈雪纯
张昕莹
张开淦
黄卓
高大伟
曹明钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201711380035.2A priority Critical patent/CN108090448B/zh
Publication of CN108090448A publication Critical patent/CN108090448A/zh
Application granted granted Critical
Publication of CN108090448B publication Critical patent/CN108090448B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于体感交互领域,具体地说是一种对模特法中的移动动作和终结动作进行测算的虚拟装配中模特值评价方法。该方法包括以下步骤:步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;步骤二、测算双手移动范围;步骤三、测算移动动作的加速度;步骤四、终结动作的判定;步骤五、移动动作的判定。本发明从模特法出发,以Kinect V2采集的骨骼点为基础,将原有的平面区域,变成空间区域,并分好区域号,通过判定手部所在区域及手部动作是否在视野区域内认定移动动作和终结动作,旨在利用体感交互技术和计算机技术自动计算出参与虚拟装配的人员移动动作和终结动作的模特值。

Description

一种虚拟装配中模特值评价方法
技术领域
本发明属于体感交互领域,具体地说是一种对模特法中的移动动作和终结动作进行测算的虚拟装配中模特值评价方法。
背景技术
模特法是通过大量的试验研究,将生产实际中操作的动作归纳为21种。认为不同的人做同一动作(在条件相同时)所需的时间值基本相等。使用身体不同部位动作时,其动作所用的时间值互成比例(如模特法中,手的动作是手指动作的2倍,小臂的动作是手指动作的3倍),因此可以根据手指一次动作时间单位的量值,直接计算其他不同身体部位动作的时间值。公布号为CN 106774896的专利讨论了坐式手工装配线中如何先计算出操作范围从而通过角度计算判断移动动作、终结动作。但是很多操作都不会在一个固定区域移动,并且上述专利讨论的是平面范围,移动动作实际上是空间移动。
发明内容
本发明以Kinect V2采集的骨骼点为基础,将原有的平面区域,变成空间区域,并分好区域号,通过判定手部所在区域及手部动作是否在视野区域内认定移动动作和终结动作,解决了现有判断移动动作、终结动作存在的上述不足。
本发明技术方案结合附图说明如下:
一种虚拟装配中模特值评价方法,该方法包括以下步骤:
步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;
步骤二、测算双手移动范围;
步骤三、测算移动动作的加速度;
步骤四、终结动作的判定;
步骤五、移动动作的判定。
所述的步骤一中深度相机获取人体25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。
通过Kinect V2采集人体骨骼点,针对左右手分别测出M2、M3、M4和M5的活动范围,活动范围是以左右肩膀为基点,其中M2表示手腕动作、M3表示小臂动作、M4表示大臂动作、M5表示伸直手臂;其中M2、M3、M4的活动范围是根据对应的长度l绕肩膀点旋转形成的半球体构成,而球体外的范围即为M5的活动范围;另外设置四个平面,其中左肩的两个限制平面包括从左肩点向左射出的45度平面Ⅰ和向右平移左肩到右肩的长度l1的平面Ⅱ,将左手活动区域分为AⅠ、AⅡ、AⅢ、AⅣ、AⅤ、AⅥ、AⅦ、AⅧ;右肩的两个限制平面包括从右肩点向右射出的45度平面Ⅲ和向左平移左肩到右肩的长度l1的平面Ⅳ,将右手活动区域分为BⅠ、BⅡ、BⅢ、BⅣ、BⅤ、BⅥ、BⅦ、BⅧ;
所述的四个平面中的平面Ⅰ为C1x+C2y+C3z=D;所述的平面Ⅱ: C1x+C2y+C3z=D+l1;所述的平面Ⅲ为C4x+C5y+C6z=D1;所述的平面Ⅳ: C4x+C5y+C6z=D1+l1
5、根据权利要求3所述的一种虚拟装配中模特值评价方法,其特征在于,所述的区域AⅠ、 AⅡ、AⅢ、AⅣ、AⅤ、AⅥ、AⅦ、AⅧ应该满足以下条件:
AⅠ区域,该区域模特值为M2,满足:
AⅡ区域,该区域模特值为M3,满足:
AⅢ区域,该区域模特值为M3,满足:
AⅣ区域,该区域模特值为M3,满足:
AⅤ区域,该区域模特值为M4,满足:
AⅥ区域,该区域模特值为M4,满足:
AⅦ区域,该区域模特值为M4,满足:
AⅧ区域,该区域模特值为M5,满足:
所述的区域BⅠ、BⅡ、BⅢ、BⅣ、BⅤ、BⅥ、BⅦ、BⅧ应该满足以下条件:
BⅠ区域,该区域模特值为M2,满足:
BⅡ区域,该区域模特值为M3,满足:
BⅢ区域,该区域模特值为M3,满足:
BⅣ区域,该区域模特值为M3,满足:
BⅤ区域,该区域模特值为M4,满足:
BⅥ区域,该区域模特值为M4,满足:
BⅦ区域,该区域模特值为M4,满足:
BⅧ区域,该区域模特值为M5,满足:
所述的步骤三的具体方法如下:
为获得左手、右手、左手指尖和右手指尖的加速度;需要连续采集坐标点的移动距离,规定0.1s存储一次坐标点的位置,通过距离和时间得到每个时刻的移动速度再根据当前时刻和前一时刻的移动速度求得加速度其中加速度超过阈值即视为移动动作启动,定义阈值为a=0.2m/s2
所述的步骤四的具体方法如下:
终结动作包括抓捏和放置动作,其中抓捏动作包括接触G0、简单的抓G1和复杂的抓 G3;放置动作包括无意识放置P0、简单放置P2和复杂地放置P5,抓捏动作和放置动作具备先后关系;
抓捏动作:
当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2小于30°时,认为开始抓捏动作识别,如果手在抓取时在头部视野的±30°范围之外,即认为是接触;反之则认为是简单地抓;如果双手抓取且同时在±30°范围之内,就是复杂的抓,如果抓捏动作开始是复杂的抓,终结动作一定是复杂地放置;抓捏动作完成之后随后伴随着移动动作;
放置动作:
完成移动动作之后,当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2大于30°时,则认为完成放置动作,如果手在抓取时在头部视野的±45°范围之外,即认为是无意识的放置;反之则认为是简单放置;如果双手同时放手且都在±45°范围之内,就是复杂的放置。
所述的步骤五的具体方法如下:
手指移动的判定方法需要先满足当前;
条件1:没有终结动作;
条件2:左手的加速度a1满足a1<0.2m/s2或右手的加速度右手a2满足a2<0.2m/s2
手指动作通过判断相对加速度a5和a6是否大于0.2m/s2,当大于之后即认为完成手指动作,记为M1,M1即为1mod;其中a1为左手加速度,a2为右手加速度,a3为左指尖加速度,a4为右指尖加速度,并计算相对加速度a5=a3-a1,a6=a4-a2
手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即a1和a2大于0.2m/s2即认为开始移动,当a1和a2小于-0.2m/s2时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
移动动作中还有反复动作需要识别,需要记录左手/右手连续两次的移动和停止位置,当两次的移动区域和对方的停止移动区域相同时,即认为第二次动作为重复动作,时间为正常模特值的
本发明的有益效果为:
本发明能在立体空间中移动动作和终结动作进行判定,并且会对移动动作中的反射动作进行识别,有效减少IE工程师的工作量。
附图说明
图1为本发明的B1平面求算过程图;
图2为本发明的B2平面求算过程图;
图3为本发明的左手移动范围图;
图4为本发明的右手移动范围图;
图5为本发明的实施逻辑框图;
具体实施方式
本发明从模特法出发,旨在利用体感交互技术和计算机技术自动计算出参与虚拟装配的人员移动动作和终结动作的模特值。
步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;
保证Kinect V2水平放置,并启动Kinect V2设备,通过Kinect V2中的深度相机获取人体25个部位骨骼点数据,其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚.
步骤二、测算双手移动范围;
通过Kinect V2采集人体骨骼点,针对左右手分别测出M2、M3、M4和M5的活动范围,活动范围是以左右肩膀为基点,其中M2表示手腕动作、M3表示小臂动作、M4表示大臂动作、M5表示伸直手臂。其中M2、M3、M4的活动范围是根据对应的长度l绕肩膀点旋转形成的半球体构成,而球体外的范围即为M5的活动范围;另外设置四个平面,其中左肩的两个限制平面包括从左肩点向左射出的45度平面Ⅰ和向右平移左肩到右肩的长度l1的平面Ⅱ,将左手活动区域分为AⅠ、AⅡ、AⅢ、AⅣ、AⅤ、AⅥ、AⅦ、AⅧ;右肩的两个限制平面包括从右肩点向右射出的45度平面Ⅲ和向左平移左肩到右肩的长度l1的平面Ⅳ,将右手活动区域分为BⅠ、BⅡ、BⅢ、BⅣ、BⅤ、BⅥ、BⅦ、BⅧ。
具体为采集左肩膀坐标点A1(x1,y1,z1)、右肩膀坐标点A2(x2,y2,z2)、颈坐标点 A3(x3,y3,z3),髋关节中心坐标点A4(x4,y4,z4),左肘坐标点A5(x5,y5,z5),右肘坐标点 A6(x6,y6,z6),左手坐标点A7(x7,y7,z7),右手坐标点A8(x8,y8,z8),左指尖坐标点 A9(x9,y9,z9),右指尖坐标点A10(x10,y10,z10),左拇指坐标点A11(x11,y11,z11),右拇指坐标点 A12(x12,y12,z12),脊柱坐标点A13(x13,y13,z13)。
左手区域::
如图1所示,先计算斜率得到左肩膀坐标点到右肩膀坐标点在水平面上直线的垂直直线斜率已知垂直直线长度偏移为长度l1时,三角形为等边直角三角形,另一点正好在左肩膀向左射出的45度平面Ⅰ上,设X轴偏移长度为υ,Z轴偏移为-k1υ,(-k1υ)22=(l1)2,可求得如果k1>0,可得到点B1(x2+υ,y2,z2-k1υ),反之可得到点B1(x2-υ,y2,z2+k1υ),化简为B1(X1,Y1,Z1)。如图2所示,在竖直平面上,颈坐标点到脊柱坐标点偏移即可作为左肩膀坐标点空间偏移距离,作点 B2(x1+(x4-x3),y1+(y4-y3),z1+(z4-z3)),化简为B2(X2,Y2,Z2)。
可得向量向量首先确认法向量 可得
其中设C1为(Y1-y1)×(Z2-Z1)-(Z1-z1)×(Y2-Y),C2为 (Z1-z1)×(X2-X1)-(X1-x1)×(Z2-Z1),C3为(X1-x1)×(Y2-Y1)-(Y1-y1)×(X2-X1);
法向量即为n=(C1,C2,C3),平面方程即为C1(x-x1)+C2(y-y1)+C3(z-z1)=0,化简可得C1x+C2y+C3z=C1x1+C2y1+C3z1
设C1x1+C2y1+C3z1为D,方程即可得到平面Ⅰ为C1x+C2y+C3z=D。在平面Ⅰ基础上向右平移左肩到右肩的长度l1得到平面Ⅱ:C1x+C2y+C3z=D+l1
计算左手点离平面Ⅰ和平面Ⅱ的距离,其中距离平面Ⅰ的距离为距离平面Ⅱ的距离为
左手活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离 M4的活动最大距离
如图3所示,AⅠ区域(该区域模特值为M2)满足:
AⅡ区域(该区域模特值为M3)满足:
AⅢ区域(该区域模特值为M3)满足:
AⅣ区域(该区域模特值为M3)满足:
AⅤ区域(该区域模特值为M4)满足:
AⅥ区域(该区域模特值为M4)满足:
AⅦ区域(该区域模特值为M4)满足:
AⅧ区域(该区域模特值为M5)满足:
右手区域:
先计算斜率得到右肩膀坐标点到左肩膀坐标点在水平面上直线的垂直直线斜率已知垂直直线长度偏移为长度l1时,三角形为等边直角三角形,另一点正好在右肩膀向右射出的45度平面Ⅰ上,设X轴偏移长度为υ,Z轴偏移为-k3υ, (-k3υ)22=(l1)2,可求得如果k1<0,可得到点B3(x1+υ,y1,z1-k1υ),反之可得到点B3(x1-υ,y1,z1+k1υ),化简为B3(X3,Y3,Z3)。在竖直平面上,颈坐标点到脊柱坐标点偏移即可作为右肩膀坐标点空间偏移距离,作点 B4(x2+(x4-x3),y2+(y4-y3),z2+(z4-z3)),化简为B4(X4,Y4,Z4)。
可得向量向量首先确认法向量 可得
其中设C4为(Y3-y2)×(Z4-Z3)-(Z3-z2)×(Y4-Y3),C5为 (Z3-z2)×(X4-X3)-(X3-x2)×(Z4-Z3),C6为(X3-x2)×(Y4-Y31)-(Y3-y2)×(X4-X3);
法向量即为n=(C4,C5,C6),平面方程即为C4(x-x2)+C5(y-y2)+C6(z-z2)=0,化简可得C4x+C5y+C6z=C4x2+C5y2+C6z2
设C4x2+C5y2+C6z2为D1,方程即可得到平面Ⅲ为C4x+C5y+C6z=D1。在平面Ⅲ基础上向左平移左肩到右肩的长度l1得到平面Ⅳ:C4x+C5y+C6z=D1+l1。计算右手点离平面Ⅲ和平面Ⅳ的距离,其中距离平面Ⅲ的距离为距离平面Ⅳ的距离为
右手活动距离分为M2、M3、M4和M5,其中M2的活动最大距离
M3的活动最大距离
M4的活动最大距离
如图4所示,BⅠ区域(该区域模特值为M2)满足:
BⅡ区域(该区域模特值为M3)满足:
BⅢ区域(该区域模特值为M3)满足:
BⅣ区域(该区域模特值为M3)满足:
BⅤ区域(该区域模特值为M4)满足:
BⅥ区域(该区域模特值为M4)满足:
BⅦ区域(该区域模特值为M4)满足:
BⅧ区域(该区域模特值为M5)满足:
步骤三、测算移动动作的加速度;
为获得左手、右手、左手指尖和右手指尖的加速度。需要连续采集坐标点的移动距离,规定0.1s存储一次坐标点的位置,通过距离和时间得到每个时刻的移动速度再根据当前时刻和前一时刻的移动速度求得加速度其中加速度超过阈值即视为移动动作启动,定义阈值为a=0.2m/s2
具体计算过程以左手计算为例,框图逻辑为下:
(1)首先设定i=0,j=1,a0=0,转(2);
(2)获取动态数值A1(x1,y1,z1),时间为t,转(3);
(3)判断是否满足i>1,不满足Xi=x1,Yi=y1,Zi=z1,Ti=t,i=i+1,转(2),满足转(4);
(4)Xi=x1,Yi=y1,Zi=z1,Ti=t,计算距离再计算速度转(5);
(5)判断是否满足j>1,不满足vj=vi,j=j+1转(2);满足转(6);
(6)vj=vi,计算加速度转(7);
(7)判断Kinect v2是否关闭,关闭结束,未关闭i=i+1,j=j+1,转(2)。
同理可求出右手加速度a2,左指尖加速度a3,右指尖加速度a4。计算相对加速度 a5=a3-a1,a6=a4-a2
步骤四、终结动作的判定;
终结动作包括抓捏和放置动作,其中抓捏动作包括接触G0、简单地抓G1和复杂的抓G3;放置动作包括无意识放置P0、简单放置P2和复杂地放置P5,抓捏动作和放置动作具备先后关系。
抓捏动作:
当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2小于30°时,认为开始抓捏动作识别,如果手在抓取时在头部视野的±30°范围之外,即认为是接触;反之则认为是简单地抓;如果双手抓取且同时在±30°范围之内,就是复杂的抓,如果抓捏动作开始是复杂的抓,终结动作一定是复杂地放置。抓捏动作完成之后随后伴随着移动动作。
放置动作:
完成移动动作之后,当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2大于30°时,则认为完成放置动作,如果手在抓取时在头部视野的±30°范围之外,即认为是无意识的放置;反之则认为是简单放置;如果双手同时放手且都在±30°范围之内,就是复杂的放置。
具体为先得到左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为脊柱到左手向量为脊柱到右手向量为 头部四元数 q1=[Wq1 Xq1 Yq1Zq1]T、髋关节中心四元数q2=[Wq2 Xq2 Yq2 Zq2]T;计算头部绕Y 轴欧拉角φ1=arcsin(2(Wq1Yq1-Zq1Xq1)),髋关节中心绕Y轴欧拉角φ2=arcsin(2(Wq2Yq2-Zq2Xq2))。
首先计算头部的相对旋转角度φ3=φ12,以左肩为0°,顺时针旋转至右肩为180°,视野中线的角度为φ4=φ3+90°,视野范围即为[φ3+60°,φ3+120°]。
计算向量与n1的夹角γ1,90°-γ1即为向量与平面Ⅰ的夹角,当左手部在AⅡ区域和AⅤ区域,则左手角度为γ2=45°-(90°-γ1)=γ1-45°;反之左手角度为γ2=45°+(90°-γ1)=γ1+135°。
计算向量与n2的夹角γ3,90°-γ3即为向量与平面Ⅲ的夹角,当右手部在BⅡ区域和BⅤ区域,则右手角度为γ4=135°+(90°-γ3)=γ3-225°;反之右手角度为γ4=135°-(90°-γ3)=γ3+45°。
抓捏动作判定条件,当θ1<30°即认为左手开始抓取,如果则为接触,反之为简单地抓。当θ2<30°即认为右手开始抓取,如果则为接触,反之为简单地抓。当则认为是复杂的抓,直接认定移动结束后为复杂放置。
放置动作判定条件,移动动作之后,当θ1>30°即认为左手开始放置,如果则为无意识放置,反之为简单放置。当θ2>30°即认为右手开始放置,如果则为无意识放置,反之为简单放置。当则认为是复杂的放置。
步骤五、移动动作的判定。
手指移动的判定方法需要先满足当前
条件1:没有终结动作;
条件2:左手/右手的加速度左手a1<0.2m/s2/右手a2<0.2m/s2
手指动作通过判断a5和a6是否大于0.2m/s2,当大于之后即认为完成手指动作,记为M1(M1即为1mod);
手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即a1和a2大于后0.2m/s2即认为开始移动,当a1和a2小于-0.2m/s2时即认为停止移动,此时左右手位置在模特值M2、 M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
移动动作中还有反复动作需要识别,需要记录左手/右手连续两次的移动和停止位置,当两次的移动区域和对方的停止移动区域相同时,即认为第二次动作为重复动作,时间为正常模特值的
实施框图如图5所示,逻辑为下:
(1)首先启动kinect V2,进行移动范围测算,设定i=0,j=0,k=0,l=0,p=0。
(2)计算当前加速度a1,a5,时间t,转(3);
(3)判断是否a1>0.2m/s2,是转(4),否转(10);
(4)i=i+1,Ti=t获取左手点A1,记录当前左手点开始移动区域Ui1转(5); (5)计算当前加速度a1.获取左手点A1,转(6);
(6)判断是否a1<0.2m/s2,是转(7),否转(5);
(7)记录当前左手点移动区域Ui2,并记录模特值Ii,转(8);
(8)判断是否i>1,是转(9),否转(2);
(9)判断是否Ui2=U(i-1)1且Ui1=U(i-1)2,是模特值转(2),否转(2);
(10)判断是否a5>0.2m/s2,是转(11),否转(15);
(11)j=j+1,Tj=t,转(12);
(12)计算加速度a5,转(13);
(13)判断是否a5<0.2m/s2,是转(14),否转(12);
(14)记录模特值Oj,转(2);
(15)判断是否k=0,是获取左手夹角θ1转(16),否转(23);
(16)判断是否θ1>30°,是转(17),否转(2);
(17)计算左手角度γ2,视野范围[φ3+60°,φ3+120°],l=l+l,T_l=t转(18);
(18)判断是否γ2∈[φ3+60°,φ3+120°],是转(19),否转(20);
(19)判断右手是否弯曲且在视野范围内,是转(22),否转(21);
(20)记录左手抓取模特值Ll为接触,k=1,转(2);
(21)记录左手抓取模特值Ll为简单抓,k=1,转(2);
(22)记录左手抓取模特值Ll为复杂抓,k=2,转(2);
(23)判断是否k=1,是转(24),否转(32);
(24)获取左手夹角θ1,转(25);
(25)判断是否θ1<30°,是转(26),否转(24);
(26)计算左手角度γ2,视野范围[φ3+60°,φ3+120°],p=p+1,Tp=t转(27);
(27)判断是否γ2∈[φ3+60°,φ3+120°],是转(28),否转(29);
(28)判断右手是否展开且在视野范围内,是转(31),否转(30);
(29)记录左手抓取模特值Lp为无意识放置,k=0,转(2);
(30)记录左手抓取模特值Lp为简单放置,k=0,转(2);
(31)记录左手抓取模特值Lp为复杂放置,k=0,转(2);
(32)判断是否k=2,是记录左手模特值Lp为复杂放置,k=0转(2),否转(33);
(33)判断kinect V2是否关闭,是转(34),否转(2);
(34)结束。
其中模特值总值为

Claims (9)

1.一种虚拟装配中模特值评价方法,其特征在于,该方法包括以下步骤:
步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;
步骤二、测算双手移动范围;
步骤三、测算移动动作的加速度;
步骤四、终结动作的判定;
步骤五、移动动作的判定。
2.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤一中深度相机获取人体25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。
3.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤二的具体方法如下:
通过Kinect V2采集人体骨骼点,针对左右手分别测出M2、M3、M4和M5的活动范围,活动范围是以左右肩膀为基点,其中M2表示手腕动作、M3表示小臂动作、M4表示大臂动作、M5表示伸直手臂。其中M2、M3、M4的活动范围是根据对应的长度l绕肩膀点旋转形成的半球体构成,而球体外的范围即为M5的活动范围;另外设置四个平面,其中左肩的两个限制平面包括从左肩点向左射出的45度平面Ⅰ和向右平移左肩到右肩的长度l1的平面Ⅱ,将左手活动区域分为AⅠ、AⅡ、AⅢ、AⅣ、AⅤ、AⅥ、AⅦ、AⅧ;右肩的两个限制平面包括从右肩点向右射出的45度平面Ⅲ和向左平移左肩到右肩的长度l1的平面Ⅳ,将右手活动区域分为BⅠ、BⅡ、BⅢ、BⅣ、BⅤ、BⅥ、BⅦ、BⅧ。
4.根据权利要求3所述的一种虚拟装配中模特值评价方法,其特征在于,所述的四个平面中的平面Ⅰ为C1x+C2y+C3z=D;所述的平面Ⅱ:C1x+C2y+C3z=D+l1;所述的平面Ⅲ为C4x+C5y+C6z=D1;所述的平面Ⅳ:C4x+C5y+C6z=D1+l1
5.根据权利要求3所述的一种虚拟装配中模特值评价方法,其特征在于,所述的区域AⅠ、AⅡ、AⅢ、AⅣ、AⅤ、AⅥ、AⅦ、AⅧ应该满足以下条件:
AⅠ区域,该区域模特值为M2,满足:
AⅡ区域,该区域模特值为M3,满足:
AⅢ区域,该区域模特值为M3,满足:
AⅣ区域,该区域模特值为M3,满足:
AⅤ区域,该区域模特值为M4,满足:
AⅥ区域,该区域模特值为M4,满足:
AⅦ区域,该区域模特值为M4,满足:
AⅧ区域,该区域模特值为M5,满足:
6.根据权利要求3所述的一种虚拟装配中模特值评价方法,其特征在于,所述的区域BⅠ、BⅡ、BⅢ、BⅣ、BⅤ、BⅥ、BⅦ、BⅧ应该满足以下条件:
BⅠ区域,该区域模特值为M2,满足:
BⅡ区域,该区域模特值为M3,满足:
BⅢ区域,该区域模特值为M3,满足:
BⅣ区域,该区域模特值为M3,满足:
BⅤ区域,该区域模特值为M4,满足:
BⅥ区域,该区域模特值为M4,满足:
BⅦ区域,该区域模特值为M4,满足:
BⅧ区域,该区域模特值为M5,满足:
7.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤三的具体方法如下:
为获得左手、右手、左手指尖和右手指尖的加速度;需要连续采集坐标点的移动距离,规定0.1s存储一次坐标点的位置,通过距离和时间得到每个时刻的移动速度再根据当前时刻和前一时刻的移动速度求得加速度其中加速度超过阈值即视为移动动作启动,定义阈值为a=0.2m/s2
8.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤四的具体方法如下:
终结动作包括抓捏和放置动作,其中抓捏动作包括接触G0、简单的抓G1和复杂的抓G3;放置动作包括无意识放置P0、简单放置P2和复杂地放置P5,抓捏动作和放置动作具备先后关系;
抓捏动作:
当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2小于30°时,认为开始抓捏动作识别,如果手在抓取时在头部视野的±30°范围之外,即认为是接触;反之则认为是简单地抓;如果双手抓取且同时在±30°范围之内,就是复杂的抓,如果抓捏动作开始是复杂的抓,终结动作一定是复杂地放置;抓捏动作完成之后随后伴随着移动动作;
放置动作:
完成移动动作之后,当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2大于30°时,则认为完成放置动作,如果手在抓取时在头部视野的±45°范围之外,即认为是无意识的放置;反之则认为是简单放置;如果双手同时放手且都在±45°范围之内,就是复杂的放置。
9.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤五的具体方法如下:
手指移动的判定方法需要先满足当前;
条件1:没有终结动作;
条件2:左手的加速度a1满足a1<0.2m/s2或右手的加速度右手a2满足a2<0.2m/s2
手指动作通过判断加速度a5和a6是否大于0.2m/s2,当大于之后即认为完成手指动作,记为M1,M1即为1mod;其中a1为左手加速度,a2为右手加速度,a3为左指尖加速度,a4为右指尖加速度,并计算相对加速度a5=a3-a1,a6=a4-a2
手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即a1和a2大于0.2m/s2即认为开始移动,当a1和a2小于-0.2m/s2时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
移动动作中还有反复动作需要识别,需要记录左手/右手连续两次的移动和停止位置,当两次的移动区域和对方的停止移动区域相同时,即认为第二次动作为重复动作,时间为正常模特值的
CN201711380035.2A 2017-12-20 2017-12-20 一种虚拟装配中模特值评价方法 Expired - Fee Related CN108090448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711380035.2A CN108090448B (zh) 2017-12-20 2017-12-20 一种虚拟装配中模特值评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711380035.2A CN108090448B (zh) 2017-12-20 2017-12-20 一种虚拟装配中模特值评价方法

Publications (2)

Publication Number Publication Date
CN108090448A true CN108090448A (zh) 2018-05-29
CN108090448B CN108090448B (zh) 2018-09-28

Family

ID=62176124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711380035.2A Expired - Fee Related CN108090448B (zh) 2017-12-20 2017-12-20 一种虚拟装配中模特值评价方法

Country Status (1)

Country Link
CN (1) CN108090448B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958478A (zh) * 2018-06-14 2018-12-07 吉林大学 一种虚拟装配操作中脚踏动作识别和评估方法
CN110135332A (zh) * 2019-05-14 2019-08-16 吉林大学 一种轴承装配产线效率监控方法
CN110852135A (zh) * 2018-08-20 2020-02-28 吉林大学 一种拆卸动作识别方法
CN110852137A (zh) * 2018-08-20 2020-02-28 吉林大学 一种个体紧张评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN102214309B (zh) * 2011-06-15 2012-12-26 北京工业大学 一种基于头肩模型的特定人体识别方法
CN106774896A (zh) * 2016-12-19 2017-05-31 吉林大学 一种坐式手工装配线模特值评测系统
CN106980385A (zh) * 2017-04-07 2017-07-25 吉林大学 一种虚拟装配装置、系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN102214309B (zh) * 2011-06-15 2012-12-26 北京工业大学 一种基于头肩模型的特定人体识别方法
CN106774896A (zh) * 2016-12-19 2017-05-31 吉林大学 一种坐式手工装配线模特值评测系统
CN106980385A (zh) * 2017-04-07 2017-07-25 吉林大学 一种虚拟装配装置、系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958478A (zh) * 2018-06-14 2018-12-07 吉林大学 一种虚拟装配操作中脚踏动作识别和评估方法
CN108958478B (zh) * 2018-06-14 2023-09-22 吉林大学 一种虚拟装配操作中脚踏动作识别和评估方法
CN110852135A (zh) * 2018-08-20 2020-02-28 吉林大学 一种拆卸动作识别方法
CN110852137A (zh) * 2018-08-20 2020-02-28 吉林大学 一种个体紧张评估方法
CN110852135B (zh) * 2018-08-20 2022-04-12 吉林大学 一种拆卸动作识别方法
CN110852137B (zh) * 2018-08-20 2022-08-30 吉林大学 一种个体紧张评估方法
CN110135332A (zh) * 2019-05-14 2019-08-16 吉林大学 一种轴承装配产线效率监控方法
CN110135332B (zh) * 2019-05-14 2022-05-31 吉林大学 一种轴承装配产线效率监控方法

Also Published As

Publication number Publication date
CN108090448B (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108090448B (zh) 一种虚拟装配中模特值评价方法
CN107374727B (zh) 一种微创外科手术机器人简化运动学模型的建模方法
Nisky et al. Uncontrolled manifold analysis of arm joint angle variability during robotic teleoperation and freehand movement of surgeons and novices
WO2011065034A1 (ja) ロボットの動作を制御する方法およびロボットシステム
Chen et al. Application of wearable device HTC VIVE in upper limb rehabilitation training
Nisky et al. A framework for analysis of surgeon arm posture variability in robot-assisted surgery
JP2004298430A (ja) 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法
Zhang et al. An effective head-based HRI for 6D robotic grasping using mixed reality
Khurshid et al. Data-driven motion mappings improve transparency in teleoperation
Gloumakov et al. Trajectory control–an effective strategy for controlling multi-DOF upper limb prosthetic devices
Oh et al. 3D Head Pointer: A manipulation method that enables the spatial localization for a wearable robot arm by head bobbing
Li et al. A dexterous hand-arm teleoperation system based on hand pose estimation and active vision
Millar Processing spatial information from touch and movement: Implications from and for neuroscience
CN116370259A (zh) 一种基于多传感器信息融合的人机交互上肢康复系统
Guo et al. Force feedback-based robotic catheter training system for the vascular interventional surgery
Kolsanov et al. Augmented Reality application for hand motor skills rehabilitation
Bedford Of computer mice and men
Molet et al. An architecture for immersive evaluation of complex human tasks
Seáñez-González et al. Static versus dynamic decoding algorithms in a non-invasive body–machine interface
Guo et al. A VR-based Upper Limb Rehabilitation Hand Robotic Training System
Gentili et al. Human-robotic collaborative intelligent control for reaching performance
Komori et al. Method of position command generation by index finger motion to mitigate influence of unintentional finger movements during operation
CN110877335A (zh) 一种基于混合滤波器自适应无标记机械臂轨迹跟踪方法
Gardner et al. Motion-based grasp selection: Improving traditional control strategies of myoelectric hand prosthesis
Kun et al. Shoulder joint rehabilitation training system based on virtual reality technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180928

Termination date: 20191220