CN108090448B - 一种虚拟装配中模特值评价方法 - Google Patents
一种虚拟装配中模特值评价方法 Download PDFInfo
- Publication number
- CN108090448B CN108090448B CN201711380035.2A CN201711380035A CN108090448B CN 108090448 B CN108090448 B CN 108090448B CN 201711380035 A CN201711380035 A CN 201711380035A CN 108090448 B CN108090448 B CN 108090448B
- Authority
- CN
- China
- Prior art keywords
- hand
- action
- shoulder
- value
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于体感交互领域,具体地说是一种对模特法中的移动动作和终结动作进行测算的虚拟装配中模特值评价方法。该方法包括以下步骤:步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;步骤二、测算双手移动范围;步骤三、测算移动动作的加速度;步骤四、终结动作的判定;步骤五、移动动作的判定。本发明从模特法出发,以Kinect V2采集的骨骼点为基础,将原有的平面区域,变成空间区域,并分好区域号,通过判定手部所在区域及手部动作是否在视野区域内认定移动动作和终结动作,旨在利用体感交互技术和计算机技术自动计算出参与虚拟装配的人员移动动作和终结动作的模特值。
Description
技术领域
本发明属于体感交互领域,具体地说是一种对模特法中的移动动作和终结动作进行测算的虚拟装配中模特值评价方法。
背景技术
模特法是通过大量的试验研究,将生产实际中操作的动作归纳为21种。认为不同的人做同一动作(在条件相同时)所需的时间值基本相等。使用身体不同部位动作时,其动作所用的时间值互成比例(如模特法中,手的动作是手指动作的2倍,小臂的动作是手指动作的3倍),因此可以根据手指一次动作时间单位的量值,直接计算其他不同身体部位动作的时间值。公布号为CN 106774896的专利讨论了坐式手工装配线中如何先计算出操作范围从而通过角度计算判断移动动作、终结动作。但是很多操作都不会在一个固定区域移动,并且上述专利讨论的是平面范围,移动动作实际上是空间移动。
发明内容
本发明以Kinect V2采集的骨骼点为基础,将原有的平面区域,变成空间区域,并分好区域号,通过判定手部所在区域及手部动作是否在视野区域内认定移动动作和终结动作,解决了现有判断移动动作、终结动作存在的上述不足。
本发明技术方案结合附图说明如下:
一种虚拟装配中模特值评价方法,该方法包括以下步骤:
步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;
步骤二、测算双手移动范围;
步骤三、测算移动动作的加速度;
步骤四、终结动作的判定;
步骤五、移动动作的判定。
所述的步骤一中深度相机获取人体25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。
通过Kinect V2采集人体骨骼点,针对左右手分别测出M2、M3、M4和M5的活动范围,活动范围是以左右肩膀为基点,其中M2表示手腕动作、M3表示小臂动作、M4表示大臂动作、M5表示伸直手臂;其中M2、M3、M4的活动范围是根据对应的长度l绕肩膀点旋转形成的半球体构成,而球体外的范围即为M5的活动范围;另外设置四个平面,其中左肩的两个限制平面包括从左肩点向左射出的45度平面Ⅰ和向右平移左肩到右肩的长度l1的平面Ⅱ,将左手活动区域分为AⅠ、AⅡ、AⅢ、AIV、AⅤ、AVI、AⅦ、AⅧ;右肩的两个限制平面包括从右肩点向右射出的45度平面Ⅲ和向左平移左肩到右肩的长度l1的平面IV,将右手活动区域分为BⅠ、BⅡ、BⅢ、BIV、BⅤ、BVI、BⅦ、BⅧ;
所述的四个平面中的平面Ⅰ为C1x+C2y+C3z=D;所述的平面Ⅱ:C1x+C2y+C3z=D+l1;所述的平面Ⅲ为C4x+C5y+C6z=D1;所述的平面IV:C4x+C5y+C6z=D1+l1。
所述的区域AⅠ、AⅡ、AⅢ、AIV、AⅤ、AVI、AⅦ、AⅧ应该满足以下条件:
AⅠ区域,该区域模特值为M2,满足:
AⅡ区域,该区域模特值为M3,满足:
AⅢ区域,该区域模特值为M3,满足:
AIV区域,该区域模特值为M3,满足:
AⅤ区域,该区域模特值为M4,满足:
AVI区域,该区域模特值为M4,满足:
AⅦ区域,该区域模特值为M4,满足:
AⅧ区域,该区域模特值为M5,满足:
所述的区域BⅠ、BⅡ、BⅢ、BIV、BⅤ、BVI、BⅦ、BⅧ应该满足以下条件:
BⅠ区域,该区域模特值为M2,满足:
BⅡ区域,该区域模特值为M3,满足:
BⅢ区域,该区域模特值为M3,满足:
BIV区域,该区域模特值为M3,满足:
BⅤ区域,该区域模特值为M4,满足:
BVI区域,该区域模特值为M4,满足:
BⅦ区域,该区域模特值为M4,满足:
BⅧ区域,该区域模特值为M5,满足:
所述的步骤三的具体方法如下:
为获得左手、右手、左手指尖和右手指尖的加速度;需要连续采集坐标点的移动距离,规定0.1s存储一次坐标点的位置,通过距离和时间得到每个时刻的移动速度再根据当前时刻和前一时刻的移动速度求得加速度其中加速度超过阈值即视为移动动作启动,定义阈值为a移=0.2m/s2。
所述的步骤四的具体方法如下:
终结动作包括抓捏和放置动作,其中抓捏动作包括接触G0、简单的抓G1和复杂的抓G3;放置动作包括无意识放置P0、简单放置P2和复杂地放置P5,抓捏动作和放置动作具备先后关系;
抓捏动作:
当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2小于30°时,认为开始抓捏动作识别,如果手在抓取时在头部视野的±30°范围之外,即认为是接触;反之则认为是简单地抓;如果双手抓取且同时在±30°范围之内,就是复杂的抓,如果抓捏动作开始是复杂的抓,终结动作一定是复杂地放置;抓捏动作完成之后随后伴随着移动动作;
放置动作:
完成移动动作之后,当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2大于30°时,则认为完成放置动作,如果手在抓取时在头部视野的±45°范围之外,即认为是无意识的放置;反之则认为是简单放置;如果双手同时放手且都在±45°范围之内,就是复杂的放置。
所述的步骤五的具体方法如下:
手指移动的判定方法需要先满足当前;
条件1:没有终结动作;
条件2:左手的加速度a1满足a1<0.2m/s2或右手的加速度右手a2满足a2<0.2m/s2;
手指动作通过判断相对加速度a5和a6是否大于0.2m/s2,当大于之后即认为完成手指动作,记为M1,M1即为1mod;其中a1为左手加速度,a2为右手加速度,a3为左指尖加速度,a4为右指尖加速度,并计算相对加速度a5=a3-a1,a6=a4-a2。
手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即a1和a2大于0.2m/s2即认为开始移动,当a1和a2小于-0.2m/s2时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
移动动作中还有反复动作需要识别,需要记录左手/右手连续两次的移动和停止位置,当两次的移动区域和对方的停止移动区域相同时,即认为第二次动作为重复动作,时间为正常模特值的
本发明的有益效果为:
本发明能在立体空间中移动动作和终结动作进行判定,并且会对移动动作中的反射动作进行识别,有效减少IE工程师的工作量。
附图说明
图1为本发明的B1平面求算过程图;
图2为本发明的B2平面求算过程图;
图3为本发明的左手移动范围图;
图4为本发明的右手移动范围图;
图5为本发明的实施逻辑框图;
具体实施方式
本发明从模特法出发,旨在利用体感交互技术和计算机技术自动计算出参与虚拟装配的人员移动动作和终结动作的模特值。
步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;
保证Kinect V2水平放置,并启动Kinect V2设备,通过Kinect V2中的深度相机获取人体25个部位骨骼点数据,其中25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚.
步骤二、测算双手移动范围;
通过Kinect V2采集人体骨骼点,针对左右手分别测出M2、M3、M4和M5的活动范围,活动范围是以左右肩膀为基点,其中M2表示手腕动作、M3表示小臂动作、M4表示大臂动作、M5表示伸直手臂。其中M2、M3、M4的活动范围是根据对应的长度l绕肩膀点旋转形成的半球体构成,而球体外的范围即为M5的活动范围;另外设置四个平面,其中左肩的两个限制平面包括从左肩点向左射出的45度平面Ⅰ和向右平移左肩到右肩的长度l1的平面Ⅱ,将左手活动区域分为AⅠ、AⅡ、AⅢ、AIV、AⅤ、AVI、AⅦ、AⅧ;右肩的两个限制平面包括从右肩点向右射出的45度平面Ⅲ和向左平移左肩到右肩的长度l1的平面IV,将右手活动区域分为BⅠ、BⅡ、BⅢ、BIV、BⅤ、BVI、BⅦ、BⅧ。
具体为采集左肩膀坐标点A1(x1,y1,z1)、右肩膀坐标点A2(x2,y2,z2)、颈坐标点A3(x3,y3,z3),髋关节中心坐标点A4(x4,y4,z4),左肘坐标点A5(x5,y5,z5),右肘坐标点A6(x6,y6,z6),左手坐标点A7(x7,y7,z7),右手坐标点A8(x8,y8,z8),左指尖坐标点A9(x9,y9,z9),右指尖坐标点A10(x10,y10,z10),左拇指坐标点A11(x11,y11,z11),右拇指坐标点A12(x12,y12,z12),脊柱坐标点A13(x13,y13,z13)。
左手区域:
如图1所示,先计算斜率得到左肩膀坐标点到右肩膀坐标点在水平面上直线的垂直直线斜率已知垂直直线长度偏移为长度l1时,三角形为等边直角三角形,另一点正好在左肩膀向左射出的45度平面Ⅰ上,设X轴偏移长度为υ,Z轴偏移为-k1υ,(-k1υ)2+υ2=(l1)2,可求得如果k1>0,可得到点B1(x2+υ,y2,z2-k1υ),反之可得到点B1(x2-υ,y2,z2+k1υ),化简为B1(X1,Y1,Z1)。如图2所示,在竖直平面上,颈坐标点到脊柱坐标点偏移即可作为左肩膀坐标点空间偏移距离,作点B2(x1+(x4-x3),y1+(y4-y3),z1+(z4-z3)),化简为B2(X2,Y2,Z2)。
可得向量向量首先确认法向量可得
其中设C1为(Y1-y1)×(Z2-Z1)-(Z1-z1)×(Y2-Y1),C2为(Z1-z1)×(X2-X1)-(X1-x1)×(Z2-Z1),C3为(X1-x1)×(Y2-Y1)-(Y1-y1)×(X2-X1);
法向量即为n1=(C1,C2,C3),平面方程即为C1(x-x1)+C2(y-y1)+C3(z-z1)=0,化简可得C1x+C2y+C3z=C1x1+C2y1+C3z1。
设C1x1+C2y1+C3z1为D,方程即可得到平面Ⅰ为C1x+C2y+C3z=D。在平面Ⅰ基础上向右平移左肩到右肩的长度l1得到平面Ⅱ:C1x+C2y+C3z=D+l1。
计算左手点离平面Ⅰ和平面Ⅱ的距离,其中距离平面Ⅰ的距离为距离平面Ⅱ的距离为
左手活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离M4的活动最大距离
如图3所示,AⅠ区域(该区域模特值为M2)满足:
AⅡ区域(该区域模特值为M3)满足:
AⅢ区域(该区域模特值为M3)满足:
AIV区域(该区域模特值为M3)满足:
AⅤ区域(该区域模特值为M4)满足:
AVI区域(该区域模特值为M4)满足:
AⅦ区域(该区域模特值为M4)满足:
AⅧ区域(该区域模特值为M5)满足:
右手区域:
先计算斜率得到右肩膀坐标点到左肩膀坐标点在水平面上直线的垂直直线斜率已知垂直直线长度偏移为长度l1时,三角形为等边直角三角形,另一点正好在右肩膀向右射出的45度平面Ⅰ上,设X轴偏移长度为υ,Z轴偏移为-k3υ,(-k3υ)2+υ2=(l1)2,可求得如果k3<0,可得到点B3(x1+v,y1,z1-k3v),反之可得到点B3(x1-v,y1,z1+k3v),化简为B3(X3,Y3,Z3)。在竖直平面上,颈坐标点到脊柱坐标点偏移即可作为右肩膀坐标点空间偏移距离,作点B4(x2+(x4-x3),y2+(y4-y3),z2+(z4-z3)),化简为B4(X4,Y4,Z4)。
可得向量向量首先确认法向量可得
其中设C4为(Y3-y2)×(Z4-Z3)-(Z3-z2)×(Y4-Y3),C5为(Z3-z2)×(X4-X3)-(X3-x2)×(Z4-Z3),C6为(X3-x2)×(Y4-Y3)-(Y3-y2)×(X4-X3);
法向量即为n2=(C4,C5,C6),,平面方程即为C4(x-x2)+C5(y-y2)+C6(z-z2)=0,化简可得C4x+C5y+C6z=C4x2+C5y2+C6z2。
设C4x2+C5y2+C6z2为D1,方程即可得到平面Ⅲ为C4x+C5y+C6z=D1。在平面Ⅲ基础上向左平移左肩到右肩的长度l1得到平面IV:C4x+C5y+C6z=D1+l1。计算右手点离平面Ⅲ和平面IV的距离,其中距离平面Ⅲ的距离为距离平面IV的距离为
右手活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离M4的活动最大距离
如图4所示,BⅠ区域(该区域模特值为M2)满足:
BⅡ区域(该区域模特值为M3)满足:
BⅢ区域(该区域模特值为M3)满足:
BIV区域(该区域模特值为M3)满足:
BⅤ区域(该区域模特值为M4)满足:
BVI区域(该区域模特值为M4)满足:
BⅦ区域(该区域模特值为M4)满足:
BⅧ区域(该区域模特值为M5)满足:
步骤三、测算移动动作的加速度;
为获得左手、右手、左手指尖和右手指尖的加速度。需要连续采集坐标点的移动距离,规定0.1s存储一次坐标点的位置,通过距离和时间得到每个时刻的移动速度再根据当前时刻和前一时刻的移动速度求得加速度其中加速度超过阈值即视为移动动作启动,定义阈值为a移=0.2m/s2;
具体计算过程以左手计算为例,框图逻辑为下:
(1)首先设定i=0,j=1,a0=0,转(2);
(2)获取动态数值A1(x1,y1,z1),时间为t,转(3);
(3)判断是否满足i>1,不满足Xi=x1,Yi=y1,Zi=z1,Ti=t,i=i+1,转(2),满足转(4);
(4)Xi=x1,Yi=y1,Zi=z1,Ti=t,计算距离再计算速度转(5);
(5)判断是否满足j>1,不满足vj=vi,j=j+1转(2);满足转(6);
(6)vj=vi,计算加速度转(7);
(7)判断Kinect v2是否关闭,关闭结束,未关闭i=i+1,j=j+1,转(2)。
同理可求出右手加速度a2,左指尖加速度a3,右指尖加速度a4。计算相对加速度a5=a3-a1,a6=a4-a2。
步骤四、终结动作的判定;
终结动作包括抓捏和放置动作,其中抓捏动作包括接触G0、简单地抓G1和复杂的抓G3;放置动作包括无意识放置P0、简单放置P2和复杂地放置P5,抓捏动作和放置动作具备先后关系。
抓捏动作:
当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2小于30°时,认为开始抓捏动作识别,如果手在抓取时在头部视野的±30°范围之外,即认为是接触;反之则认为是简单地抓;如果双手抓取且同时在±30°范围之内,就是复杂的抓,如果抓捏动作开始是复杂的抓,终结动作一定是复杂地放置。抓捏动作完成之后随后伴随着移动动作。
放置动作:
完成移动动作之后,当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2大于30°时,则认为完成放置动作,如果手在抓取时在头部视野的±30°范围之外,即认为是无意识的放置;反之则认为是简单放置;如果双手同时放手且都在±30°范围之内,就是复杂的放置。
具体为先得到左手到左指尖向量为右手到右指尖向量为左手到左拇指向量为右手到右拇指向量为脊柱到左手向量为脊柱到右手向量为 头部四元数q1=[Wq1Xq1 Yq1 Zq1]T、髋关节中心四元数q2=[Wq2 Xq2 Yq2 Zq2]T;计算头部绕Y轴欧拉角φ1=arcsin(2(Wq1Yq1-Zq1Xq1)),髋关节中心绕Y轴欧拉角φ2=arcsin(2(Wq2Yq2-Zq2Xq2))。
首先计算头部的相对旋转角度φ3=φ1-φ2,以左肩为0°,顺时针旋转至右肩为180°,视野中线的角度为φ4=φ3+90°,视野范围即为[φ3+60°,φ3+120°]。
计算向量与n1的夹角γ1,90°-γ1即为向量与平面Ⅰ的夹角,当左手部在AⅡ区域和AⅤ区域,则左手角度为γ2=45°-(90°-γ1)=γ1-45°;反之左手角度为γ2=45°+(90°-γ1)=γ1+135°。
计算向量与n2的夹角γ3,90°-γ3即为向量与平面Ⅲ的夹角,当右手部在BⅡ区域和BⅤ区域,则右手角度为γ4=135°+(90°-γ3)=γ3-225°;反之右手角度为γ4=135°-(90°-γ3)=γ3+45°。
抓捏动作判定条件,当θ1<30°即认为左手开始抓取,如果则为接触,反之为简单地抓。当θ2<30°即认为右手开始抓取,如果则为接触,反之为简单地抓。当且则认为是复杂的抓,直接认定移动结束后为复杂放置。
放置动作判定条件,移动动作之后,当θ1>30°即认为左手开始放置,如果则为无意识放置,反之为简单放置。当θ2>30°即认为右手开始放置,如果则为无意识放置,反之为简单放置。当且则认为是复杂的放置。
步骤五、移动动作的判定。
手指移动的判定方法需要先满足当前
条件1:没有终结动作;
条件2:左手/右手的加速度左手a1<0.2m/s2/右手a2<0.2m/s2。
手指动作通过判断a5和a6是否大于0.2m/s2,当大于之后即认为完成手指动作,记为M1(M1即为1mod);
手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即a1和a2大于后0.2m/s2即认为开始移动,当a1和a2小于-0.2m/s2时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
移动动作中还有反复动作需要识别,需要记录左手/右手连续两次的移动和停止位置,当两次的移动区域和对方的停止移动区域相同时,即认为第二次动作为重复动作,时间为正常模特值的
实施框图如图5所示,逻辑为下:
(1)首先启动kinect V2,进行移动范围测算,设定i=0,j=0,k=0,l=0,p=0。
(2)计算当前加速度a1,a5,时间t,转(3);
(3)判断是否a1>0.2m/s2,是转(4),否转(10);
(4)i=i+1,Ti=t获取左手点A1,记录当前左手点开始移动区域Ui1转(5);
(5)计算当前加速度a1、获取左手点A1,转(6);
(6)判断是否a1<0.2m/s2,是转(7),否转(5);
(7)记录当前左手点移动区域Ui2,并记录模特值Ii,转(8);
(8)判断是否i>1,是转(9),否转(2);
(9)判断是否Ui2=U(i-1)1且Ui1=U(i-1)2,是模特值转(2),否转(2);
(10)判断是否a5>0.2m/s2,是转(11),否转(15);
(11)j=j+1,Tj=t,转(12);
(12)计算加速度a5,转(13);
(13)判断是否a5<0.2m/s2,是转(14),否转(12);
(14)记录模特值Oj,转(2);
(15)判断是否k=0,是获取左手夹角θ1转(16),否转(23);
(16)判断是否θ1>30°,是转(17),否转(2);
(17)计算左手角度γ2,视野范围[φ3+60°,φ3+120°],l=l+1,T_l=t转(18);
(18)判断是否γ2∈[φ3+60°,φ3+120°],是转(19),否转(20);
(19)判断右手是否弯曲且在视野范围内,是转(22),否转(21);
(20)记录左手抓取模特值Ll为接触,k=1,转(2);
(21)记录左手抓取模特值Ll为简单抓,k=1,转(2);
(22)记录左手抓取模特值Ll为复杂抓,k=2,转(2);
(23)判断是否k=1,是转(24),否转(32);
(24)获取左手夹角θ1,转(25);
(25)判断是否θ1<30°,是转(26),否转(24);
(26)计算左手角度γ2,视野范围[φ3+60°,φ3+120°],p=p+1,Tp=t转(27);
(27)判断是否γ2∈[φ3+60°,φ3+120°],是转(28),否转(29);
(28)判断右手是否展开且在视野范围内,是转(31),否转(30);
(29)记录左手抓取模特值Lp为无意识放置,k=0,转(2);
(30)记录左手抓取模特值Lp为简单放置,k=0,转(2);
(31)记录左手抓取模特值Lp为复杂放置,k=0,转(2);
(32)判断是否k=2,是记录左手模特值Ip为复杂放置,k=0转(2),否转(33);
(33)判断kinect V2是否关闭,是转(34),否转(2);
(34)结束。
其中模特值总值为
Claims (5)
1.一种虚拟装配中模特值评价方法,其特征在于,该方法包括以下步骤:
步骤一、通过KinectV2中的深度相机获取人体25个部位骨骼点数据;
步骤二、测算双手移动范围;
步骤三、测算移动动作的加速度;
步骤四、终结动作的判定;
步骤五、移动动作的判定;
所述的步骤一中深度相机获取人体25个部位骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚;
所述的步骤二的具体方法如下:
通过Kinect V2采集人体骨骼点,针对左右手分别测出M2、M3、M4和M5的活动范围,活动范围是以左右肩膀为基点,其中M2表示手腕动作、M3表示小臂动作、M4表示大臂动作、M5表示伸直手臂;其中M2的活动范围是,对于左手是根据左手的活动最大距离l左1绕肩膀点旋转形成的半球体构成,对于右手是根据右手的活动最大距离l右1绕肩膀点旋转形成的半球体构成,M3的活动范围是,对于左手是根据左手的活动最大距离l左2绕肩膀点旋转形成的半球体构成,对于右手是根据右手的活动最大距离l右2绕肩膀点旋转形成的半球体构成,M4的活动范围是,对于左手是根据左手的活动最大距离l左3绕肩膀点旋转形成的半球体构成,对于右手是根据右手的活动最大距离l右3绕肩膀点旋转形成的半球体构成,而球体外的范围即为M5的活动范围;另外设置四个平面,其中左肩的两个限制平面包括从左肩点向左射出的45度平面Ⅰ和向右平移左肩到右肩的长度l1的平面Ⅱ,将左手活动区域分为AⅠ、AⅡ、AⅢ、AIV、AⅤ、AVI、AⅦ、AⅧ;右肩的两个限制平面包括从右肩点向右射出的45度平面Ⅲ和向左平移左肩到右肩的长度l1的平面IV,将右手活动区域分为BⅠ、BⅡ、BⅢ、BIV、BⅤ、BVI、BⅦ、BⅧ;
采集左肩膀坐标点A1(x1,y1,z1)、右肩膀坐标点A2(x2,y2,z2)、颈坐标点A3(x3,y3,z3),髋关节中心坐标点A4(x4,y4,z4),左肘坐标点A5(x5,y5,z5),右肘坐标点A6(x6,y6,z6),左手坐标点A7(x7,y7,z7),右手坐标点A8(x8,y8,z8),左指尖坐标点A9(x9,y9,z9),右指尖坐标点A10(x10,y10,z10),左拇指坐标点A11(x11,y11,z11),右拇指坐标点A12(x12,y12,z12),脊柱坐标点A13(x13,y13,z13);
左手区域:
先计算斜率得到左肩膀坐标点到右肩膀坐标点在水平面上直线的垂直直线斜率已知垂直直线长度偏移为长度l1时,三角形为等边直角三角形,另一点正好在左肩膀向左射出的45度平面Ⅰ上,设X轴偏移长度为υ,Z轴偏移为-k1υ,(-k1υ)2+υ2=(l1)2,可求得如果k1>0,可得到点B1(x2+υ,y2,z2-k1υ),反之可得到点B1(x2-υ,y2,z2+k1υ),化简为B1(X1,Y1,Z1);在竖直平面上,颈坐标点到脊柱坐标点偏移即可作为左肩膀坐标点空间偏移距离,作点B2(x1+(x4-x3),y1+(y4-y3),z1+(z4-z3)),化简为B2(X2,Y2,Z2);
可得向量向量首先确认法向量可得
其中设C1为(Y1-y1)×(Z2-Z1)-(Z1-z1)×(Y2-Y1),C2为(Z1-z1)×(X2-X1)-(X1-x1)×(Z2-Z1),C3为(X1-x1)×(Y2-Y1)-(Y1-y1)×(X2-X1);
法向量即为n1=(C1,C2,C3),平面方程即为C1(x-x1)+C2(y-y1)+C3(z-z1)=0,化简可得C1x+C2y+C3z=C1x1+C2y1+C3z1;
设C1x1+C2y1+C3z1为D,方程即可得到平面Ⅰ为C1x+C2y+C3z=D;在平面Ⅰ基础上向右平移左肩到右肩的长度l1得到平面Ⅱ:C1x+C2y+C3z=D+l1;
右手区域:
先计算斜率得到右肩膀坐标点到左肩膀坐标点在水平面上直线的垂直直线斜率已知垂直直线长度偏移为长度l1时,三角形为等边直角三角形,另一点正好在右肩膀向右射出的45度平面Ⅰ上,设X轴偏移长度为υ,Z轴偏移为-k3υ,(-k3υ)2+υ2=(l1)2,可求得如果k3<0,可得到点B3(x1+v,y1,z1-k3v),反之可得到点B3(x1-v,y1,z1+k3v),化简为B3(X3,Y3,Z3),在竖直平面上,颈坐标点到脊柱坐标点偏移即可作为右肩膀坐标点空间偏移距离,作点B4(x2+(x4-x3),y2+(y4-y3),z2+(z4-z3)),化简为B4(X4,Y4,Z4);
可得向量向量首先确认法向量可得
其中设C4为(Y3-y2)×(Z4-Z3)-(Z3-z2)×(Y4-Y3),C5为(Z3-z2)×(X4-X3)-(X3-x2)×(Z4-Z3),C6为(X3-x2)×(Y4-Y3)-(Y3-y2)×(X4-X3);
法向量即为n2=(C4,C5,C6),平面方程即为C4(x-x2)+C5(y-y2)+C6(z-z2)=0,化简可得C4x+C5y+C6z=C4x2+C5y2+C6z2;
设C4x2+C5y2+C6z2为D1,方程即可得到平面Ⅲ为C4x+C5y+C6z=D1;在平面Ⅲ基础上向左平移左肩到右肩的长度l1得到平面IV:C4x+C5y+C6z=D1+l1;
左手点离平面Ⅰ和平面Ⅱ的距离,其中距离平面Ⅰ的距离为距离平面Ⅱ的距离为
左手活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离M4的活动最大距离
所述的区域AⅠ、AⅡ、AⅢ、AIV、AⅤ、AVI、AⅦ、AⅧ应该满足以下条件:
AⅠ区域,该区域模特值为M2,满足:
AⅡ区域,该区域模特值为M3,满足:
AⅢ区域,该区域模特值为M3,满足:
AIV区域,该区域模特值为M3,满足:
AⅤ区域,该区域模特值为M4,满足:
AVI区域,该区域模特值为M4,满足:
AⅦ区域,该区域模特值为M4,满足:
AⅧ区域,该区域模特值为M5,满足:
2.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的区域BⅠ、BⅡ、BⅢ、BIV、BⅤ、BVI、BⅦ、BⅧ应该满足以下条件:
计算右手点离平面Ⅲ和平面IV的距离,其中距离平面Ⅲ的距离为距离平面IV的距离为
右手活动距离分为M2、M3、M4和M5,其中M2的活动最大距离M3的活动最大距离M4的活动最大距离
BⅠ区域,该区域模特值为M2,满足:
BⅡ区域,该区域模特值为M3,满足:
BⅢ区域,该区域模特值为M3,满足:
BIV区域,该区域模特值为M3,满足:
BⅤ区域,该区域模特值为M4,满足:
BVI区域,该区域模特值为M4,满足:
BⅦ区域,该区域模特值为M4,满足:
BⅧ区域,该区域模特值为M5,满足:
3.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤三的具体方法如下:
为获得左手、右手、左手指尖和右手指尖的加速度;需要连续采集坐标点的移动距离,规定0.1s存储一次坐标点的位置,通过距离和时间得到每个时刻的移动速度再根据当前时刻和前一时刻的移动速度求得加速度其中,l移动距离表示坐标点的移动距离;T表示坐标点的移动时间;v2表示当前时刻的移动速度;v1表示前一时刻的移动速度;其中加速度超过阈值即视为移动动作启动,定义阈值为a移=0.2m/s2。
4.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤四的具体方法如下:
终结动作包括抓捏和放置动作,其中抓捏动作包括接触G0、简单的抓G1和复杂的抓G3;放置动作包括无意识放置P0、简单放置P2和复杂地放置P5,抓捏动作和放置动作具备先后关系;
抓捏动作:
当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2小于30°时,认为开始抓捏动作识别,如果手在抓取时在头部视野的±30°范围之外,即认为是接触;反之则认为是简单地抓;如果双手抓取且同时在±30°范围之内,就是复杂的抓,如果抓捏动作开始是复杂的抓,终结动作一定是复杂地放置;抓捏动作完成之后随后伴随着移动动作;
放置动作:
完成移动动作之后,当左手到左指尖向量与左手到左拇指向量夹角θ1和右手到右指尖向量与右手到右拇指向量夹角θ2大于30°时,则认为完成放置动作,如果手在抓取时在头部视野的±45°范围之外,即认为是无意识的放置;反之则认为是简单放置;如果双手同时放手且都在±45°范围之内,就是复杂的放置。
5.根据权利要求1所述的一种虚拟装配中模特值评价方法,其特征在于,所述的步骤五的具体方法如下:
手指移动的判定方法需要先满足当前:
条件1:没有终结动作;
条件2:左手的加速度a1满足a1<0.2m/s2或右手的加速度右手a2满足a2<0.2m/s2;
手指动作通过判断相对加速度a5和a6是否大于0.2m/s2,当大于之后即认为完成手指动作,记为M1,M1即为1mod;其中a1为左手加速度,a2为右手加速度,a3为左指尖加速度,a4为右指尖加速度,并计算相对加速度a5=a3-a1,a6=a4-a2;
手腕动作、小臂动作、大臂动作和伸直手臂需要考虑两个因素,即a1和a2大于0.2m/s2即认为开始移动,当a1和a2小于-0.2m/s2时即认为停止移动,此时左右手位置在模特值M2、M3、M4和M5的相关范围内,即认为完成相关的模特值动作;
移动动作中还有反复动作需要识别,需要记录左手/右手连续两次的移动和停止位置,当两次的移动区域和对方的停止移动区域相同时,即认为第二次动作为重复动作,时间为正常模特值的
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711380035.2A CN108090448B (zh) | 2017-12-20 | 2017-12-20 | 一种虚拟装配中模特值评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711380035.2A CN108090448B (zh) | 2017-12-20 | 2017-12-20 | 一种虚拟装配中模特值评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108090448A CN108090448A (zh) | 2018-05-29 |
CN108090448B true CN108090448B (zh) | 2018-09-28 |
Family
ID=62176124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711380035.2A Expired - Fee Related CN108090448B (zh) | 2017-12-20 | 2017-12-20 | 一种虚拟装配中模特值评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108090448B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108958478B (zh) * | 2018-06-14 | 2023-09-22 | 吉林大学 | 一种虚拟装配操作中脚踏动作识别和评估方法 |
CN110852137B (zh) * | 2018-08-20 | 2022-08-30 | 吉林大学 | 一种个体紧张评估方法 |
CN110852135B (zh) * | 2018-08-20 | 2022-04-12 | 吉林大学 | 一种拆卸动作识别方法 |
CN110135332B (zh) * | 2019-05-14 | 2022-05-31 | 吉林大学 | 一种轴承装配产线效率监控方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853319A (zh) * | 2010-05-14 | 2010-10-06 | 中国人民解放军军械工程学院 | 一种支持虚拟维修仿真的维修动素集的建立方法 |
CN106774896A (zh) * | 2016-12-19 | 2017-05-31 | 吉林大学 | 一种坐式手工装配线模特值评测系统 |
CN106980385A (zh) * | 2017-04-07 | 2017-07-25 | 吉林大学 | 一种虚拟装配装置、系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102214309B (zh) * | 2011-06-15 | 2012-12-26 | 北京工业大学 | 一种基于头肩模型的特定人体识别方法 |
-
2017
- 2017-12-20 CN CN201711380035.2A patent/CN108090448B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853319A (zh) * | 2010-05-14 | 2010-10-06 | 中国人民解放军军械工程学院 | 一种支持虚拟维修仿真的维修动素集的建立方法 |
CN106774896A (zh) * | 2016-12-19 | 2017-05-31 | 吉林大学 | 一种坐式手工装配线模特值评测系统 |
CN106980385A (zh) * | 2017-04-07 | 2017-07-25 | 吉林大学 | 一种虚拟装配装置、系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108090448A (zh) | 2018-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090448B (zh) | 一种虚拟装配中模特值评价方法 | |
Thorp et al. | Upper body-based power wheelchair control interface for individuals with tetraplegia | |
CN106984041B (zh) | 一种人机互动控制系统 | |
Nixon et al. | Quantitative evaluation of the Microsoft Kinect TM for use in an upper extremity virtual rehabilitation environment | |
CN107374727A (zh) | 一种微创外科手术机器人简化运动学模型的建模方法 | |
Kim et al. | Resolving the redundancy of a seven dof wearable robotic system based on kinematic and dynamic constraint | |
Oshita et al. | Character motion control interface with hand manipulation inspired by puppet mechanism | |
Chen et al. | Application of wearable device HTC VIVE in upper limb rehabilitation training | |
JP2004298430A (ja) | 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法 | |
CN107247466B (zh) | 一种机器人头部手势控制方法及系统 | |
Rose et al. | Characterization of a hand-wrist exoskeleton, READAPT, via kinematic analysis of redundant pointing tasks | |
Li et al. | A dexterous hand-arm teleoperation system based on hand pose estimation and active vision | |
Oh et al. | 3D Head Pointer: A manipulation method that enables the spatial localization for a wearable robot arm by head bobbing | |
Zhang et al. | Using the motion of the head-neck as a joystick for orientation control | |
Lo et al. | Optimization and analysis of a redundant 4R spherical wrist mechanism for a shoulder exoskeleton | |
KR101567859B1 (ko) | 사용자 동작을 이용한 재활운동 시스템 | |
CN107204005B (zh) | 一种手部标志物跟踪方法及系统 | |
Ma et al. | A sign language interaction system based on pneumatic soft hand | |
Bedford | Of computer mice and men | |
Chang et al. | Bio-inspired gaze-driven robotic neck brace | |
Boehm et al. | Inherent kinematic features of dynamic bimanual path following tasks | |
Gentili et al. | Human-robotic collaborative intelligent control for reaching performance | |
Gardner et al. | Motion-based grasp selection: Improving traditional control strategies of myoelectric hand prosthesis | |
Guo et al. | A VR-based Upper Limb Rehabilitation Hand Robotic Training System | |
Molet et al. | An architecture for immersive evaluation of complex human tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180928 Termination date: 20191220 |