CN108416322B - 一种虚拟装配坐式操作中目视动作识别方法 - Google Patents

一种虚拟装配坐式操作中目视动作识别方法 Download PDF

Info

Publication number
CN108416322B
CN108416322B CN201810256008.2A CN201810256008A CN108416322B CN 108416322 B CN108416322 B CN 108416322B CN 201810256008 A CN201810256008 A CN 201810256008A CN 108416322 B CN108416322 B CN 108416322B
Authority
CN
China
Prior art keywords
plane
coordinate
visual field
translation
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810256008.2A
Other languages
English (en)
Other versions
CN108416322A (zh
Inventor
姜盛乾
于新
李雨洋
张昕莹
王炳辉
陈雪纯
黄卓
徐杨
张开淦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201810256008.2A priority Critical patent/CN108416322B/zh
Publication of CN108416322A publication Critical patent/CN108416322A/zh
Application granted granted Critical
Publication of CN108416322B publication Critical patent/CN108416322B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于体感交互领域，具体的说是一种虚拟装配中目视动作进行自动识别方法。步骤一、采集骨骼和眼睛坐标，并构建眼部中心坐标系；步骤二、设立眼部活动范围，并标记目视物体；步骤三、确认双手无操作动作；步骤四、确定各目标物体在垂直和水平面上标记物体的视野角度，再通过头部旋转状况，修正视野角度；步骤五、根据垂直平面视野夹角α和水平平面视野夹角β的数值，对目视动作进行识别。本发明利用Kinect V2设备采集人体躯体坐标，建立眼部中心坐标系，设立眼部活动范围，通过无操作认定之后，即可根据颈部移动位置、头部旋转求得垂直和水平面上标记物体的视野角度，最后根据度活动范围即可判定目视动作。

Description

一种虚拟装配坐式操作中目视动作识别方法
技术领域
本发明属于体感交互领域，具体的说是一种虚拟装配中目视动作进行自动识别的虚拟装配坐式操作中目视动作识别方法。
背景技术
模特值测算方法是根据身体不同部位的表现动作进行时间测定，目视动作是其中的一部分。它规定为看清事物而眼睛移动，每做其中一个动作，都会用E2进行表示。
眼睛是重要的感觉器官，对人们的动作起着导向作用。手在移动时，一般要瞬时看一下物体的位置，以控制手的速度和方向。这种眼睛的动作，一般是在动作之前或动作中进行才给时间值，如读文件、找图的记号，看仪表指针的位置、认真检查或为了进行下一个动作，向其他位置移动视线或调整焦距等。一般作业中，独立地使用眼睛的频率不多。在生产线装配工序和包装工序中，进行包含某种检查因素的作业，一般都是同其他的动作同时进行的，所以需要独立动作，即完成目视动作的同时其他动作停止。现今未有相关技术能自动识别目视动作，以上内容仅为人为识别动作时需要遵守的部分准则。
发明内容
本发明提供了一种用Kinect V2设备采集人体躯体坐标，建立眼部中心坐标系，设立眼部活动范围，通过无操作认定之后，即可根据颈部移动位置、头部旋转求得垂直和水平面上标记物体的视野角度，最后根据度活动范围即可判定目视动作的虚拟装配坐式操作中目视动作识别方法。
本发明技术方案结合附图说明如下：
一种虚拟装配坐式操作中目视动作识别方法，该方法包括以下步骤：
步骤一、采集骨骼和眼睛坐标，并构建眼部中心坐标系；
步骤二、设立眼部活动范围，并标记目视物体；
步骤三、确认双手无操作动作；
步骤四、确定各目标物体在垂直和水平面上标记物体的视野角度，再通过头部旋转状况，修正视野角度；
步骤五、根据垂直平面视野夹角α和水平平面视野夹角β的数值，对目视动作进行识别。
所述的步骤一的具体方法如下：
使用者正对Kincet V2左立，并伸直左臂，通过Kinect V2人机交互设备中的深度相机获取采集左眼坐标点A1(x1,y1,z1)，右眼坐标点A2(x2,y2,z2)，计算双眼中心坐标采集人体16个骨骼点，包括头、颈A4(x4,y4,z4)、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘A5(x5,y5,z5)、右肘、左肩膀A6(x6,y6,z6)、右肩膀、髋关节中心A7(x7,y7,z7)；先做左肘到髋关节中心的相对偏移坐标点A8(x8＝x5-(x6-x7),y8＝y5-(y6-y7),z8＝z5-(z6-z7))，再做A8点到双眼中心坐标A3的相对偏移坐标点A9(x9＝x8+(x3-x7),y9＝y8+(y3-y7),z9＝z8+(z3-z7))；
选取点A3(x3,y3,z3)、A4(x4,y4,z4)、A9(x9,y9,z9)，求得向量向量首先构建YOZ平面，此时法向量可得
其中设B1为(y4-y3)×(z9-z4)-(z4-z3)×(y9-y4)，B2为(z4-z3)×(x9-x4)-(x4-x3)×(z9-z4)，B3为(x4-x3)×(y9-y4)-(y4-y3)×(x9-x4)；
YOZ平面法向量即为n1＝(B1,B2,B3)，平面为B1·(x-x3)+B2·(y-y3)+B3·(z-z3)＝0，化简可得YOZ平面B1x+B2y+B3z＝B1x3+B2y3+B3z3＝C1；
同理，选取点A1(x1,y1,z1)、A2(x2,y2,z2)、A9(x9,y9,z9)，可求得XOZ平面法向量为n2＝(B4,B5,B6)，求得XOZ平面B4x+B5y+B6z＝B4x3+B5y3+B6z3＝C2；
同理，选取点A1(x1,y1,z1)、A2(x2,y2,z2)、A4(x4,y4,z4)，可求得XOY平面法向量为n3＝(B7,B8,B9)，求得XOY平面B7x+B8y+B9z＝B7x3+B8y3+B9z3＝C3。
所述的步骤二的具体方法如下：
在垂直平面中，视野的范围在视水平线上方60°，下方70°的范围，其中视水平线上下10°为最优视野，定为1级，视水平线下方10°～30°为次优视野，定为2级，视水平线上方10°～60°、30°～70°为一般视野区域，定为3级；在水平面中，视野范围为中心平面左右各的60°范围，其中中心平面左右7.5°为最优视野，定为1级，中心平面左右7.5°～15°为次优视野，定为2级，中心平面左右15°～30°为一般视野区域，定为3级；将所有的目视物体的体心坐标都标记出来，记为bi(Ui,Oi,Pi)。
所述的步骤三的具体方法如下：
采集各骨骼点的实时数据左拇指a1(X1,Y1,Z1)、右拇指a2(X2,Y2,Z2)、左指尖a3(X3,Y3,Z3)、右指尖a4(X4,Y4,Z4)、左手a5(X5,Y5,Z5)、右手a6(X6,Y6,Z6)、左手腕a7(X7,Y7,Z7)、右手腕a8(X8,Y8,Z8)，无操作动作需同时满足以下三个要求；
要求一、无抓取动作；
获取左手至左拇指向量左手至左指尖向量右手至右拇指向量右手至右指尖向量夹角
无抓取动作要求θ1和θ2均大于30°；
要求二、双手不产生移动；
左手腕速度V1计算如下：
设定Kincet V2每秒采集20次数据，读取任一时刻采集的坐标点a7(X7,Y7,Z7)，计算4次之前的数据点与当前数据点的距离l1，用距离除以0.2秒即可得到左手腕速度V1；同理可得右手腕速度V2；
当均V1和V2均小于3cm/s时，认为双手均不产生移动；
要求三、物体体心远离双手；
计算各物体体心坐标bi(Ui,Oi,Pi)与左手a5(X5,Y5,Z5)、右手a6(X6,Y6,Z6)的距离和
当li,2和li,3均大于25cm，即认为任意物体体心远离双手。
三项要求同时满足，即认为开始目视动作；
所述的步骤四的具体方法如下：
采集实时颈部坐标a9(X9,Y9,Z9)，计算平移坐标A10(x10＝X9-x4,y10＝Y9-y4,z10＝Z9-z4)，将双眼坐标、中心坐标及平面平移，得到左眼A11(x11＝x1+x10,y11＝y1+y10,z11＝z1+z10)、右眼A12(x12＝x2+x10,y12＝y2+y10,z12＝z2+z10)、双眼中心A13(x13＝x3+x10,y13＝y3+y10,z13＝z3+z10)、平移后YOZ平面B1x+B2y+B3z＝C1+x10、平移后XOZ平面B4x+B5y+B6z＝C2+y10、平移后XOY平面B7x+B8y+B9z＝C3+z10；
任一体心坐标bi(Ui,Oi,Pi)，对平移后的YOZ平面再次平移距离Ui-x13，得到B1x+B2y+B3z＝C1+x10+Ui-x13，取平移左眼A11(x11,y11,z11)、平移右眼A12(x12,y12,z12)，作直线L1为联立直线L1和B1x+B2y+B3z＝C1+x10+Ui-x13即可求得交点A14(x14,y14,z14)，连接点A14(x14,y14,z14)和体心坐标bi(Ui,Oi,Pi)，可得直线L2的方向向量为平移后XOZ平面的法向量为n2＝(B4,B5,B6)，按照两向量夹角余弦的坐标表达式，可求得垂直平面视野夹角如果Oi大于y13，记上偏，反之记下偏，角度为记为负，α＝-α；
对平移后的XOZ平面再次平移距离Oi-y13，得到B4x+B5y+B6z＝C2+y10+Oi-y13，平移颈部坐标A15(x15＝x4+x10,y15＝y4+y10,z15＝z4+z10)，取平移颈部A15(x15,y15,z15)、双眼中心A13(x13,y13,z13)，作直线L3为联立直线L3和B4x+B5y+B6z＝C2+y10+Oi-y13即可求得交点A16(x16,y16,z16)，连接点A16(x16,y16,z16)和体心坐标bi(Ui,Oi,Pi)，可得直线L4的方向向量为平移后YOZ平面的法向量为n1＝(B1,B2,B3)，按照两向量夹角余弦的坐标表达式，可求得水平面视野夹角如果Ui大于x13，记左偏，反之记右偏，角度为记为负，β＝-β；
采集此时头部四元素q1＝[Wq1 Xq1 Yq1 Zq1]T，计算头部欧拉角为此时需要调整垂直平面视野夹角α＝α+φ1，水平平面视野夹角
所述的步骤五的具体方法如下：
根据眼部活动范围，垂直平面的中线设为0度，当α∈(-10°,10°)，定为1级；α∈(-30°,-10°]，定为2级；α∈[10°,60°]或α∈[-70°,-30°]，定为3级；其他角度不定级，但是会标记为4；水平面中，中线设为0度，当β∈(-7.5°,7.5°)，定为1级；当β∈(-15°,-7.5°」∪[7.5°,15°)，定为2级；当β∈(-30°,-15°」∪[15°,30°)，定为3级；其他角度不定级，但是会标记为4；
当双手开始操作时，同时判定垂直平面及水平面的评分等级，取两者的最高级为最终级别，如果为4，即未有标记物体进入视野范围；等级最终是3，认为模特值为2MOD；等级最终是2，认为模特值为4MOD；等级最终是1，认为模特值为6MOD。
本发明的有益效果为：本发明能将目视动作设计成计算机能够接受的数学方法，并能准确的评价当前动作的级别，从而减少专业人员的工作量，减少人力成本。当前领域暂未有相关技术研究，本方法提供一种技术方案填补当前空白。
附图说明
图1为本发明的眼部中心坐标系图；
图2为本发明的垂直平面视野图；
图3为本发明的水平面视野图；
图4为本发明的向量计算过程图；
图5为本发明的向量计算过程图。
具体实施方式
一种虚拟装配坐式操作中目视动作识别方法，该检测方法包括以下步骤：
步骤一、采集骨骼和眼睛坐标，并构建眼部中心坐标系。
参阅图1，使用者正对Kincet V2左立，并伸直左臂，通过Kinect V2人机交互设备中的深度相机获取采集左眼坐标点A1(x1,y1,z1)，右眼坐标点A2(x2,y2,z2)，计算双眼中心坐标采集人体16个骨骼点，包括头、颈A4(x4,y4,z4)、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘A5(x5,y5,z5)、右肘、左肩膀A6(x6,y6,z6)、右肩膀、髋关节中心A7(x7,y7,z7)。先做左肘到髋关节中心的相对偏移坐标点A8(x8＝x5-(x6-x7),y8＝y5-(y6-y7),z8＝z5-(z6-z7))，再做A8点到双眼中心坐标A3的相对偏移坐标点A9(x9＝x8+(x3-x7),y9＝y8+(y3-y7),z9＝z8+(z3-z7))；
选取点A3(x3,y3,z3)、A4(x4,y4,z4)、A9(x9,y9,z9)，求得向量向量首先构建YOZ平面，此时法向量可得
其中设B1为(y4-y3)×(z9-z4)-(z4-z3)×(y9-y4)，B2为(z4-z3)×(x9-x4)-(x4-x3)×(z9-z4)，B3为(x4-x3)×(y9-y4)-(y4-y3)×(x9-x4)；
YOZ平面法向量即为n1＝(B1,B2,B3)，平面为B1·(x-x3)+B2·(y-y3)+B3·(z-z3)＝0，化简可得YOZ平面B1x+B2y+B3z＝B1x3+B2y3+B3z3＝C1。
同理，选取点A1(x1,y1,z1)、A2(x2,y2,z2)、A9(x9,y9,z9)，可求得XOZ平面法向量为n2＝(B4,B5,B6)，求得XOZ平面B4x+B5y+B6z＝B4x3+B5y3+B6z3＝C2。
同理，选取点A1(x1,y1,z1)、A2(x2,y2,z2)、A4(x4,y4,z4)，可求得XOY平面法向量为n3＝(B7,B8,B9)，求得XOY平面B7x+B8y+B9z＝B7x3+B8y3+B9z3＝C3。
步骤二、设立眼部活动范围，并标记目视物体；
参阅图2，在垂直平面中，视野的范围在视水平线上方60°，下方70°的范围，其中视水平线上下10°为最优视野，定为1级，视水平线下方10°～30°为次优视野，定为2级，视水平线上方10°～60°、30°～70°为一般视野区域，定为3级。如图3所示，在水平面中，视野范围为中心平面左右各的60°范围，其中中心平面左右7.5°为最优视野，定为1级，中心平面左右7.5°～15°为次优视野，定为2级，中心平面左右15°～30°为一般视野区域，定为3级。
将所有的目视物体的体心坐标都标记出来，记为bi(Ui,Oi,Pi)。
步骤三，确认双手无操作动作；
采集各骨骼点的实时数据左拇指a1(X1,Y1,Z1)、右拇指a2(X2,Y2,Z2)、左指尖a3(X3,Y3,Z3)、右指尖a4(X4,Y4,Z4)、左手a5(X5,Y5,Z5)、右手a6(X6,Y6,Z6)、左手腕a7(X7,Y7,Z7)、右手腕a8(X8,Y8,Z8)，无操作动作需同时满足以下三个要求。
要求一、无抓取动作；
获取左手至左拇指向量左手至左指尖向量右手至右拇指向量右手至右指尖向量夹角无抓取动作要求θ1和θ2均大于30°。
要求二、双手不产生移动；
以左手腕为例，设定Kincet V2每秒采集20次数据，读取任一时刻采集的坐标点a7(X7,Y7,Z7)，计算4次之前的数据点与当前数据点的距离l1，用距离除以0.2秒即可得到左手腕速度V1。同理可得右手腕速度V2。
当均V1和V2均小于3cm/s时，认为双手均不产生移动。
要求三、物体体心远离双手；
计算各物体体心坐标bi(Ui,Oi,Pi)与左手a5(X5,Y5,Z5)、右手a6(X6,Y6,Z6)的距离和
当li,2和li,3均大于25cm，即认为任意物体体心远离双手。
三项要求同时满足，即认为开始目视动作。
步骤四，确定各目标物体在垂直和水平面上标记物体的视野角度，再通过头部旋转状况，修正视野角度；
采集实时颈部坐标a9(X9,Y9,Z9)，计算平移坐标A10(x10＝X9-x4,y10＝Y9-y4,z10＝Z9-z4)，将双眼坐标、中心坐标及平面平移，得到左眼A11(x11＝x1+x10,y11＝y1+y10,z11＝z1+z10)、右眼A12(x12＝x2+x10,y12＝y2+y10,z12＝z2+z10)、双眼中心A13(x13＝x3+x10,y13＝y3+y10,z13＝z3+z10)、平移后YOZ平面B1x+B2y+B3z＝C1+x10、平移后XOZ平面B4x+B5y+B6z＝C2+y10、平移后XOY平面B7x+B8y+B9z＝C3+z10。
参阅图4，任一体心坐标bi(Ui,Oi,Pi)，对平移后的YOZ平面再次平移距离Ui-x13，得到B1x+B2y+B3z＝C1+x10+Ui-x13，取平移左眼A11(x11,y11,z11)、平移右眼A12(x12,y12,z12)，作直线L1为联立直线L1和B1x+B2y+B3z＝C1+x10+Ui-x13即可求得交点A14(x14,y14,z14)，连接点A14(x14,y14,z14)和体心坐标bi(Ui,Oi,Pi)，可得直线L2的方向向量为平移后XOZ平面的法向量为n2＝(B4,B5,B6)，按照两向量夹角余弦的坐标表达式，可求得垂直平面视野夹角如果Oi大于y13，记上偏，反之记下偏，角度为记为负，α＝-α。
参阅图5，对平移后的XOZ平面再次平移距离Oi-y13，得到B4x+B5y+B6z＝C2+y10+Oi-y13，平移颈部坐标A15(x15＝x4+x10,y15＝y4+y10,z15＝z4+z10)，取平移颈部A15(x15,y15,z15)、双眼中心A13(x13,y13,z13)，作直线L3为联立直线L3和B4x+B5y+B6z＝C2+y10+Oi-y13即可求得交点A16(x16,y16,z16)，连接点A16(x16,y16,z16)和体心坐标bi(Ui,Oi,Pi)，可得直线L4的方向向量为平移后YOZ平面的法向量为n1＝(B1,B2,B3)，按照两向量夹角余弦的坐标表达式，可求得水平面视野夹角如果Ui大于x13，记左偏，反之记右偏，角度为记为负，β＝-β。
采集此时头部四元素q1＝[Wq1 Xq1 Yq1 Zq1]T，计算头部欧拉角为此时需要调整垂直平面视野夹角α＝α+φ1，水平平面视野夹角
步骤五，根据α和β数值，对目视动作进行识别；
根据眼部活动范围，垂直平面的中线设为0度，当α∈(-10°,10°)，定为1级；α∈(-30°,-10°]，定为2级；α∈[10°,60°]或α∈[-70°,-30°]，定为3级；其他角度不定级，但是会标记为4。水平面中，中线设为0度，当β∈(-7.5°,7.5°)，定为1级；当β∈(-15°,-7.5°]∪[7.5°,15°)，定为2级；当β∈(-30°,-15°]∪[15°,30°)，定为3级；其他角度不定级，但是会标记为4。
当双手开始操作时，同时判定垂直平面及水平面的评分等级，取两者的最高级为最终级别，如果为4，即未有标记物体进入视野范围；等级最终是3，认为模特值为2MOD；等级最终是2，认为模特值为4MOD；等级最终是1，认为模特值为6MOD。

Claims (1)

1.一种虚拟装配坐式操作中目视动作识别方法，其特征在于，该方法包括以下步骤：
步骤一、采集骨骼和眼睛坐标，并构建眼部中心坐标系；
步骤二、设立眼部活动范围，并标记目视物体；
步骤三、确认双手无操作动作；
步骤四、确定各目标物体在垂直和水平面上标记物体的视野角度，再通过头部旋转状况，修正视野角度；
步骤五、根据垂直平面视野夹角α和水平平面视野夹角β的数值，对目视动作进行识别；
所述的步骤一的具体方法如下：
使用者正对Kincet V2左立，并伸直左臂，通过Kinect V2人机交互设备中的深度相机获取采集左眼坐标点A1(x1,y1,z1)，右眼坐标点A2(x2,y2,z2)，计算双眼中心坐标采集人体16个骨骼点，包括头、颈A4(x4,y4,z4)、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘A5(x5,y5,z5)、右肘、左肩膀A6(x6,y6,z6)、右肩膀、髋关节中心A7(x7,y7,z7)；先做左肘到髋关节中心的相对偏移坐标点A8(x8＝x5-(x6-x7),y8＝y5-(y6-y7),z8＝z5-(z6-z7))，再做A8点到双眼中心坐标A3的相对偏移坐标点A9(x9＝x8+(x3-x7),y9＝y8+(y3-y7),z9＝z8+(z3-z7))；
选取点A3(x3,y3,z3)、A4(x4,y4,z4)、A9(x9,y9,z9)，求得向量向量首先构建YOZ平面，此时法向量可得
其中设B1为(y4-y3)×(z9-z4)-(z4-z3)×(y9-y4)，B2为(z4-z3)×(x9-x4)-(x4-x3)×(z9-z4)，B3为(x4-x3)×(y9-y4)-(y4-y3)×(x9-x4)；
YOZ平面法向量即为n1＝(B1,B2,B3)，平面为B1·(x-x3)+B2·(y-y3)+B3·(z-z3)＝0，化简可得YOZ平面B1x+B2y+B3z＝B1x3+B2y3+B3z3＝C1；
同理，选取点A1(x1,y1,z1)、A2(x2,y2,z2)、A9(x9,y9,z9)，可求得XOZ平面法向量为n2＝(B4,B5,B6)，求得XOZ平面B4x+B5y+B6z＝B4x3+B5y3+B6z3＝C2；
同理，选取点A1(x1,y1,z1)、A2(x2,y2,z2)、A4(x4,y4,z4)，可求得XOY平面法向量为n3＝(B7,B8,B9)，求得XOY平面B7x+B8y+B9z＝B7x3+B8y3+B9z3＝C3；
所述的步骤二的具体方法如下：
在垂直平面中，视野的范围在视水平线上方60°，下方70°的范围，其中视水平线上下10°为最优视野，定为1级，视水平线下方10°～30°为次优视野，定为2级，视水平线上方10°～60°、30°～70°为一般视野区域，定为3级；在水平面中，视野范围为中心平面左右各的60°范围，其中中心平面左右7.5°为最优视野，定为1级，中心平面左右7.5°～15°为次优视野，定为2级，中心平面左右15°～30°为一般视野区域，定为3级；将所有的目视物体的体心坐标都标记出来，记为bi(Ui,Oi,Pi)；
所述的步骤三的具体方法如下：
采集各骨骼点的实时数据左拇指a1(X1,Y1,Z1)、右拇指a2(X2,Y2,Z2)、左指尖a3(X3,Y3,Z3)、右指尖a4(X4,Y4,Z4)、左手a5(X5,Y5,Z5)、右手a6(X6,Y6,Z6)、左手腕a7(X7,Y7,Z7)、右手腕a8(X8,Y8,Z8)，无操作动作需同时满足以下三个要求；
要求一、无抓取动作；
获取左手至左拇指向量左手至左指尖向量右手至右拇指向量右手至右指尖向量夹角
无抓取动作要求θ1和θ2均大于30°；
要求二、双手不产生移动；
左手腕速度V1计算如下：
设定Kincet V2每秒采集20次数据，读取任一时刻采集的坐标点a7(X7,Y7,Z7)，计算4次之前的数据点与当前数据点的距离l1，用距离除以0.2秒即可得到左手腕速度V1；同理可得右手腕速度V2；
当均V1和V2均小于3cm/s时，认为双手均不产生移动；
要求三、物体体心远离双手；
计算各物体体心坐标bi(Ui,Oi,Pi)与左手a5(X5,Y5,Z5)、右手a6(X6,Y6,Z6)的距离和
当li,2和li,3均大于25cm，即认为任意物体体心远离双手；
三项要求同时满足，即认为开始目视动作；
所述的步骤四的具体方法如下：
采集实时颈部坐标a9(X9,Y9,Z9)，计算平移坐标A10(x10＝X9-x4,y10＝Y9-y4,z10＝Z9-z4)，将双眼坐标、中心坐标及平面平移，得到左眼A11(x11＝x1+x10,y11＝y1+y10,z11＝z1+z10)、右眼A12(x12＝x2+x10,y12＝y2+y10,z12＝z2+z10)、双眼中心A13(x13＝x3+x10,y13＝y3+y10,z13＝z3+z10)、平移后YOZ平面B1x+B2y+B3z＝C1+x10、平移后XOZ平面B4x+B5y+B6z＝C2+y10、平移后XOY平面B7x+B8y+B9z＝C3+z10；
任一体心坐标bi(Ui,Oi,Pi)，对平移后的YOZ平面再次平移距离Ui-x13，得到B1x+B2y+B3z＝C1+x10+Ui-x13，取平移左眼A11(x11,y11,z11)、平移右眼A12(x12,y12,z12)，作直线L1为联立直线L1和B1x+B2y+B3z＝C1+x10+Ui-x13即可求得交点A14(x14,y14,z14)，连接点A14(x14,y14,z14)和体心坐标bi(Ui,Oi,Pi)，可得直线L2的方向向量为平移后XOZ平面的法向量为n2＝(B4,B5,B6)，按照两向量夹角余弦的坐标表达式，可求得垂直平面视野夹角如果Oi大于y13，记上偏，反之记下偏，角度为记为负，α＝-α；
对平移后的XOZ平面再次平移距离Oi-y13，得到B4x+B5y+B6z＝C2+y10+Oi-y13，平移颈部坐标A15(x15＝x4+x10,y15＝y4+y10,z15＝z4+z10)，取平移颈部A15(x15,y15,z15)、双眼中心A13(x13,y13,z13)，作直线L3为联立直线L3和B4x+B5y+B6z＝C2+y10+Oi-y13即可求得交点A16(x16,y16,z16)，连接点A16(x16,y16,z16)和体心坐标bi(Ui,Oi,Pi)，可得直线L4的方向向量为平移后YOZ平面的法向量为n1＝(B1,B2,B3)，按照两向量夹角余弦的坐标表达式，可求得水平面视野夹角如果Ui大于x13，记左偏，反之记右偏，角度为记为负，β＝-β；
采集此时头部四元素q1＝[Wq1 Xq1 Yq1 Zq1]T，计算头部欧拉角为此时需要调整垂直平面视野夹角α＝α+φ1，水平平面视野夹角
所述的步骤五的具体方法如下：
根据眼部活动范围，垂直平面的中线设为0度，当α∈(-10°,10°)，定为1级；α∈(-30°,-10°]，定为2级；α∈[10°,60°]或α∈[-70°,-30°]，定为3级；其他角度不定级，但是会标记为4；水平面中，中线设为0度，当β∈(-7.5°,7.5°)，定为1级；当β∈(-15°,-7.5°]∪[7.5°,15°)，定为2级；当β∈(-30°,-15°]∪[15°,30°)，定为3级；其他角度不定级，但是会标记为4；
当双手开始操作时，同时判定垂直平面及水平面的评分等级，取两者的最高级为最终级别，如果为4，即未有标记物体进入视野范围；等级最终是3，认为模特值为2MOD；等级最终是2，认为模特值为4MOD；等级最终是1，认为模特值为6MOD。
CN201810256008.2A 2018-03-27 2018-03-27 一种虚拟装配坐式操作中目视动作识别方法 Expired - Fee Related CN108416322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810256008.2A CN108416322B (zh) 2018-03-27 2018-03-27 一种虚拟装配坐式操作中目视动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810256008.2A CN108416322B (zh) 2018-03-27 2018-03-27 一种虚拟装配坐式操作中目视动作识别方法

Publications (2)

Publication Number Publication Date
CN108416322A CN108416322A (zh) 2018-08-17
CN108416322B true CN108416322B (zh) 2019-05-17

Family

ID=63133501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810256008.2A Expired - Fee Related CN108416322B (zh) 2018-03-27 2018-03-27 一种虚拟装配坐式操作中目视动作识别方法

Country Status (1)

Country Link
CN (1) CN108416322B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852137B (zh) * 2018-08-20 2022-08-30 吉林大学 一种个体紧张评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043942A (zh) * 2009-10-12 2011-05-04 纬创资通股份有限公司 目视方向判断方法、影像处理方法及其装置、和显示装置
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN104318228A (zh) * 2014-11-24 2015-01-28 段然 一种实现头戴式摄录设备获取最佳视野的方法
CN107783654A (zh) * 2017-11-08 2018-03-09 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
CN102073377B (zh) * 2010-12-31 2013-01-02 西安交通大学 基于人眼扫视信号的人机交互式二维定位方法
CN102662476B (zh) * 2012-04-20 2015-01-21 天津大学 一种视线估计方法
WO2016018488A2 (en) * 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043942A (zh) * 2009-10-12 2011-05-04 纬创资通股份有限公司 目视方向判断方法、影像处理方法及其装置、和显示装置
CN104200192A (zh) * 2013-01-18 2014-12-10 通用汽车环球科技运作有限责任公司 驾驶员注视检测系统
CN104318228A (zh) * 2014-11-24 2015-01-28 段然 一种实现头戴式摄录设备获取最佳视野的方法
CN107783654A (zh) * 2017-11-08 2018-03-09 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法

Also Published As

Publication number Publication date
CN108416322A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN110859630B (zh) 一种基于ar技术的姿态矫正器及其矫正方法
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
Ehrig et al. A survey of formal methods for determining the centre of rotation of ball joints
KR101711736B1 (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
Lien et al. Model-based articulated hand motion tracking for gesture recognition
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN106055091A (zh) 一种基于深度信息和校正方式的手部姿态估计方法
CN105534694A (zh) 一种人体特征可视化装置及方法
US10433725B2 (en) System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
CN113940664B (zh) 一种可进行假体姿态测量的全髋关节置换术测量系统
CN107730449A (zh) 一种人脸五官美化处理的方法及系统
De Souza et al. Recognizing the grasp intention from human demonstration
CN109766782A (zh) 基于svm的实时肢体动作识别方法
CN110609621A (zh) 姿态标定方法及基于微传感器的人体运动捕获系统
Chen et al. Application of wearable device HTC VIVE in upper limb rehabilitation training
CN108090448B (zh) 一种虚拟装配中模特值评价方法
CN108416322B (zh) 一种虚拟装配坐式操作中目视动作识别方法
Kuang et al. Active vision during coordinated head/eye movements in a humanoid robot
EP3862850A1 (en) Method for locating a center of rotation of an articulated joint
Lin et al. Using hybrid sensoring method for motion capture in volleyball techniques training
Ángel-López et al. Kinematic hand analysis using motion capture technology
KR20170099715A (ko) 관절 가동성 자동측정장치 및 이를 이용한 관절 가동성 자동측정방법
Vicente et al. Calibration of kinematic body sensor networks: Kinect-based gauging of data gloves “in the wild”
JP2014117409A (ja) 身体関節位置の計測方法および装置
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190517

Termination date: 20200327