CN108656113A - 一种虚拟装配操作中对准动作识别方法 - Google Patents

一种虚拟装配操作中对准动作识别方法 Download PDF

Info

Publication number
CN108656113A
CN108656113A CN201810467080.XA CN201810467080A CN108656113A CN 108656113 A CN108656113 A CN 108656113A CN 201810467080 A CN201810467080 A CN 201810467080A CN 108656113 A CN108656113 A CN 108656113A
Authority
CN
China
Prior art keywords
assembly
point
cooperation
alignment actions
mating parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810467080.XA
Other languages
English (en)
Other versions
CN108656113B (zh
Inventor
刘鹏
王磊
李晓雯
邝伟杜
魏超虎
吴可歆
刘思阅
任宇欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201810467080.XA priority Critical patent/CN108656113B/zh
Publication of CN108656113A publication Critical patent/CN108656113A/zh
Application granted granted Critical
Publication of CN108656113B publication Critical patent/CN108656113B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Robotics (AREA)
  • Mathematical Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于体感交互领域,具体的说是一种虚拟装配操作中对准动作识别方法。该方法包括以下步骤:步骤一、利用Kinect V2采集25个人体骨骼点;步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定;步骤三、对零件和装配进行向量和装配点预设;步骤四、对准动作零件结合程度的判定;步骤五、对准动作对称性的判定;步骤六、对准动作复杂度判定。本发明利用Kinect V2设备采集人体骨骼数据,在Unity 3D中的对手部模型和零件进行配装器设定等操作,从而将零件的抓取到配合过程进行的预设定,再根据对准动作中结合程度、对称性和操作复杂进行识别判定,最终给出对准动作的标准时间,填补了现有市场上虚拟装配操作中对准动作识别的空白。

Description

一种虚拟装配操作中对准动作识别方法
技术领域
本发明属于体感交互领域,具体的说是一种虚拟装配操作中对准动作识别方法。
背景技术
MTM是今日世界上应用最为广泛的预定时间方法,由此成为跨国公司所属各个单位的一种统一的生产过程计划与效率规范。英文全称为Method-Time-Measurement,中文翻译为时间测量方法,它是一种描述操作过程的方法,以编码的组合反映工作方法,并可以得出唯一的时间值,以此作为某项工作的手工操作标准,并树立改善的方向。它可以用来设计工作系统,如工作台,生产线,操作过程(方法),也可以用来改善工作系统。
对准动作属于MTM中的一项动作,具体是使目的物与另一目的物对准整齐的动作,尽管叫做对准,还含有装配的内容。比如对准钢笔与笔套的动作等。
发明内容
本发明利用Kinect V2设备采集人体骨骼数据,在Unity 3D中的对手部模型和零件进行配装器设定等操作,从而将零件的抓取到配合过程进行的预设定,再根据对准动作中结合程度、对称性和操作复杂进行识别判定,最终给出对准动作的标准时间,填补了现有市场上虚拟装配操作中对准动作识别的空白。
本发明技术方案结合附图说明如下:
一种虚拟装配操作中对准动作识别方法,该方法包括以下步骤:
步骤一、利用Kinect V2采集25个人体骨骼点;25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚;
步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定;
步骤三、对零件和装配进行向量和装配点预设;
步骤四、对准动作零件结合程度的判定;
步骤五、对准动作对称性的判定;
步骤六、对准动作复杂度判定。
所述的步骤二的具体方法如下:
在Unity3D中对人体手部模型和各机械零件进行碰撞器设定,即手部模型接触零件会给予响应,同时需要对零件进行刚体和重力设定;在可抓取零件中设置1-2个零件抓取点,定义抓取点坐标为Bi,1(Xi,1,Yi,1,Zi,1),抓取点间隔大于5cm,单一零件的抓取需要满足零件点均被识别为已完成抓取动作;抓取动作判定要求如下:
判定标准1、手部模型与零件发生接触,并触发碰撞器的响应,记录当前时间点i和发生碰撞的手部模型,如果左手模型与零件发生接触,记a=1,反之记a=0;如果右手模型与零件发生接触,记b=1,反之记b=0,并转判定标准2;
判定标准2、计算发生碰撞的手部模型的坐标点与任一抓取点的距离,当距离小于3cm时,即认为手部已经进入抓取点,转判定标准3;计算过程以左手为例,假设零件存在2个抓取点,左手模型与零件模型发生碰撞,计算当l1,1和l1,2任一数值小于3cm,即认为左手进入零件抓取点;
判定标准3、根据a、b的数值,如果任意a或b为1,计算手骨骼的弯曲程度,当手部夹角小于12°时,认为完成抓取,零件跟随手部移动,以左手为例,当a=1,此时左手至左拇指向量左手至左指尖向量夹角当θ1小于12°即认为完成抓取,零件随手移动。
所述的步骤三的具体方法如下:
零件装配的配合需要先对零件和装配件进行向量和装配点预设,轴类装配零件将在两头设置向量坐标点Cj,1(Xj,1,Yj,1,Zj,1)和Cj,2(Xj,2,Yj,2,Zj,2),同时在轴孔的装配中心点设置节点Cj,3(Xj,3,Yj,3,Zj,3),作向量如果是齿轮或是轴承作为装配零件,就需要在圆孔中心两侧设置向量坐标点,而在零件体心设置装配节点;在配合零件中,如果为孔类配合件,在圆孔中心线的两侧设置向量坐标点Dk,1(Xk,1,Yk,1,Zk,1)和Dk,2(Xk,2,Yk,2,Zk,2),同时在孔类配合件的配合中心点设置节点Dk,3(Xk,3,Yk,3,Zk,3),作向量如果是轴类配合零件,设置方式如装配零件;其中,Cj,1(Xj,1,Yj,1,Zj,1)表示第j个装配零件的第1向量坐标点,Cj,2(Xj,2,Yj,2,Zj,2)表示第j个装配零件的第2向量坐标点,Cj,3(Xj,3,Yj,3,Zj,3)表示第j个装配零件的装配节点;Dk,1(Xk,1,Yk,1,Zk,1)表示第k个配合零件的第1向量坐标点,Dk,2(Xk,2,Yk,2,Zk,2)表示第k个配合零件的第2向量坐标点,Dk,3(Xk,3,Yk,3,Zk,3)表示第k个装配零件的配合节点;
当手抓取零件时,系统会自动将抓取零件定义为装配零件,并自动搜索附近配合中心离装配中心最近的零件为配合零件,而装配结合需要满足两项要求:
要求1:装配零件的向量与配合零件的向量夹角小于5°,即而θ2<5°或|θ2-180°|<5°,即认为装配零件与配合零件重合;
要求2:装配节点与配合节点的距离小于3cm,即当l2<3cm,条件满足。
所述的步骤四的具体方法如下:
结合程度需要考虑两项因素,分别为装配路径和零件的配合程度;
装配路径分为三级,一级为自上而下的装入、二级为水平装入、三级为自下而上的装入;具体为当装配零件和配合零件的向量夹角满足θ2<5°或|θ2-180°|<5°,开始记录装配中心Cj,3(Xj,3,Yj,3,Zj,3)(上文已标记这个符号为装配中心节点)的坐标点为E1(xc,yc,zc),当完成装配之后,记录装配中心Cj,3(Xj,3,Yj,3,Zj,3)的坐标点为E2(xd,yd,zd),作向量设空间竖直向量计算当θ3<60°,认为是一级;当60°≤θ3≤120°,认为是二级;当120°<θ3,认为是三级;
配合程度又分为间隙配合、过渡配合和过盈配合;在装配之前将会对轴孔进行尺寸标定,装配零件孔轴标为配合零件孔轴标为当抓取的装配零件与配合零件的向量夹角满足θ2<5°或|θ2-180°|<5°时,需要计算装配零件和配合零件的尺寸是否对应,即l3=ΦF-Φf,当l3>0,即装配零件和配合零件不匹配,将会阻止零件继续装配;当l3=0,分别计算装配零件和配合零件的上下公差差值l4=Dmax-dmin、l5=Dmin-dmax,当装配件是孔,配合件是轴时,间隙配合要求为l4>0且l5>0,过盈配合要求为l4<0且l5<0,过渡配合要求为l4≥0且l5<0;反之当装配件是轴,配合件是孔时,间隙配合要求为l4<0且l5<0,过盈配合要求为l4>0且l5>0,过渡配合要求为l4≥0且l5<0;
结合程度分为程度1:松弛;程度2:稍微精密;程度3;非常紧密。根据装配路径和零件的配合程度,根据结合程度分类表对结合程度进行定义。
所述的步骤五的具体方法如下:
对称性主要分为对称、半对称和非对称,装配或是配合零件在操作之前将会被赋予形状定义,分别为圆形物体、正方形物体、长方形物体、圆锥形物体和梯形物体;当完成装配时,将会对装配零件和配合零件进行形体对应,具体参照对称性分类表。
所述的步骤六的具体方法如下:
对准动作复杂度分为操作容易和操作困难,首先需要根据步骤四和步骤五中结合程度和对称性的水平,根据对准动作预定时间表提供的操作容易和操作困难标准时间,通过10次测试操作动作,记录对准时间T,通过计算实际操作对准时间与标准时间的二阶矩判定动作复杂度并给出对准动作的标准时间;具体参照对准时间数据表;
根据步骤四中结合程度和步骤五中的对称性可以得到两项时间数据,分别为操作容易时间t1和操作困难时间t2;接下来测试十次装配操作时间,即当装配零件的向量与配合零件的向量夹角小于5°(θ2<5°或|θ2-180°|<5°),记录时间TA,当装配节点与配合节点的距离小于3cm时即l2<3cm,记录时间TB,计算时间T=TB-TA,十项数据记为T1、T2、T3…T10
接下来计算二阶矩,γ1=(T1-t1)2+(T2-t1)2+(T3-t1)2…(T10-t1)2,γ2=(T1-t2)2+(T2-t2)2+(T3-t2)2…(T10-t2)2,当γ1>γ2,认为操作复杂情况为操作困难,最终标准时间定为t2;当γ1<γ2,认为操作复杂情况为操作容易,最终标准时间定为t1
本发明的有益效果为:
本发明能将对准动作设计成计算机能够接受的数学方法,从而减少专业人员的工作量,减少人力成本。当前领域暂未有相关技术研究,本方法提供一种技术方案填补当前空白。
附图说明
图1为本发明的骨骼关节点分布示意图;
图2为本发明的抓取点图;
图3为本发明的装配零件向量坐标点及装配中心点图;
图4为本发明的配合零件向量坐标点及配合中心点图;
图5为本发明的装配路径夹角示意图。
具体实施方式
一种虚拟装配操作中对准动作识别方法,该方法包括以下步骤:
参阅图1,步骤一、首先利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚。其中,A1(x1,i,y1,i,z1,i)表示第i帧的左拇指点的坐标点。
参阅图2,步骤二、在Unity 3D中对人体手部模型和各机械零件进行碰撞器设定,即手部模型接触零件会给予响应,同时需要对零件进行刚体和重力设定。在可抓取零件中设置1-2个零件抓取点,定义抓取点坐标为Bi,1(Xi,1,Yi,1,Zi,1),抓取点间隔大于5cm,单一零件的抓取需要满足零件点均被识别为已完成抓取动作。其中,Bi,1(Xi,1,Yi,1,Zi,1)表示第i个零件的第1抓取点,同理Bi,2(Xi,2,Yi,2,Zi,2)表示第i个零件的第2抓取点。
抓取动作判定要求如下:
判定标准1、手部模型与零件发生接触,并触发碰撞器的响应,记录当前时间点i和发生碰撞的手部模型,如果是左手记a=1,如果右手记b=1,并转判定标准2;
判定标准2、计算发生碰撞的手部模型的坐标点与任一抓取点的距离,当距离小于3cm时,即认为手部已经进入抓取点,转判定标准3;计算过程以左手为例,假设零件存在2个抓取点,左手模型与零件模型发生碰撞,计算当l1,1和l1,2任一数值小于3cm,即认为左手进入零件抓取点;
判定标准3、根据a、b的数值,如果为1,计算手骨骼的弯曲程度,当手部夹角小于12°时,认为完成抓取,零件跟随手部移动,以左手为例,当a=1,此时左手至左拇指向量左手至左指尖向量夹角当θ1小于12°即认为完成抓取,零件随手移动。
参阅图3、图4,步骤三、零件装配的配合需要先对零件和装配件进行向量和装配点预设,轴类装配零件将在两头设置向量坐标点Cj,1(Xj,1,Yj,1,Zj,1)Cj,2(Xj,2,Yj,2,Zj,2)和,同时在轴孔的装配中心点设置节点Cj,3(Xj,3,Yj,3,Zj,3),作向量如果是齿轮或是轴承作为装配零件,就需要在圆孔中心两侧设置向量坐标点,而在零件体心设置装配节点。在配合零件中,如果为孔类配合件,在圆孔中心线的两侧设置向量坐标点Dk,1(Xk,1,Yk,1,Zk,1)和Dk,2(Xk,2,Yk,2,Zk,2),同时在孔类配合件的配合中心点设置节点Dk,3(Xk,3,Yk,3,Zk,3),作向量如果是轴类配合零件,设置方式如装配零件。(Cj,1(Xj,1,Yj,1,Zj,1)表示第j个装配零件的第1向量坐标点,Cj,2(Xj,2,Yj,2,Zj,2)表示第j个装配零件的第2向量坐标点,Cj,3(Xj,3,Yj,3,Zj,3)表示第j个装配零件的装配节点;Dk,1(Xk,1,Yk,1,Zk,1)表示第k个配合零件的第1向量坐标点,Dk,2(Xk,2,Yk,2,Zk,2)表示第k个配合零件的第2向量坐标点,Dk,3(Xk,3,Yk,3,Zk,3)表示第k个装配零件的配合节点)
当手抓取零件时,系统会自动将抓取零件定义为装配零件,并自动搜索附近配合中心离装配中心最近的零件为配合零件,而装配结合需要满足两项要求:
要求1:装配零件的向量与配合零件的向量夹角小于5°,即而θ2<5°或|θ2-180°|<5°,即认为装配零件与配合零件重合。
要求2:装配节点与配合节点的距离小于3cm,即当l2<3cm,条件满足。
装配过程的设定将零件的抓取到配合过程进行的预设定,接下来需要对配合过程中的对准动作进行识别,对准动作需要考虑结合程度、对称性和操作复杂情况,下文将分别对三种考虑因素在虚拟装配操作过程中进行方法定义。
参阅图5,步骤四、对准动作零件结合程度的判定;
结合程度需要考虑两项因素,分别为装配路径和零件的配合程度。
装配路径分为三级,一级为自上而下的装入、二级为水平装入、三级为自下而上的装入。具体为当装配零件和配合零件的向量夹角满足θ2<5°或|θ2-180°|<5°,开始记录装配中心Cj,3(Xj,3,Yj,3,Zj,3)的坐标点为E1(xc,yc,zc),当完成装配之后,记录装配中心Cj,3(Xj,3,Yj,3,Zj,3)的坐标点为E2(xd,yd,zd),作向量设空间竖直向量计算当θ3<60°,认为是一级;当60°≤θ3≤120°,认为是二级;当120°<θ3,认为是三级。
配合程度又分为间隙配合、过渡配合和过盈配合。本文在装配之前将会对轴孔进行尺寸标定,装配零件孔轴标为配合零件孔轴标为当抓取的装配零件与配合零件的向量夹角满足θ2<5°或|θ2-180°|<5°时,需要计算装配零件和配合零件的尺寸是否对应,即l3=ΦF-Φf,当l3>0,即装配零件和配合零件不匹配,将会阻止零件继续装配,;当l3=0,分别计算装配零件和配合零件的上下公差差值l4=Dmax-dmin、l5=Dmin-dmax,当装配件是孔,配合件是轴时,间隙配合要求为l4>0且l5>0,过盈配合要求为l4<0且l5<0,过渡配合要求为l4≥0且l5<0;反之当装配件是轴,配合件是孔时,间隙配合要求为l4<0且l5<0,过盈配合要求为l4>0且l5>0,过渡配合要求为l4≥0且l5<0;
结合程度分为程度1:松弛;程度2:稍微精密;程度3;非常紧密。根据装配路径和零件的配合程度,表1对结合程度进行定义。
表1结合程度分类
步骤五、对准动作对称性的判定;
对称性主要分为对称、半对称和非对称,装配或是配合零件在操作之前将会被赋予形状定义,分别为圆形物体、正方形物体、长方形物体、圆锥形物体和梯形物体。当完成装配时,将会对装配零件和配合零件进行形体对应,具体如表所示。
表2对称性分类
步骤六、对准动作复杂度判定;
对准动作复杂度分为操作容易和操作困难,本发明首先需要根据步骤一和二中结合程度和对称性的水平,根据对准动作预定时间表提供的操作容易和操作困难标准时间,通过10次测试操作动作,记录对准时间T,通过计算实际操作对准时间与标准时间的二阶矩判定动作复杂度并给出对准动作的标准时间。具体过程如下。
对准动作的标准时间如表3所示。
表3对准时间数据
根据步骤一中结合程度和步骤二中的对称性可以得到两项时间数据,分别为操作容易时间t1和操作困难时间t2。接下来测试十次装配操作时间,即当装配零件的向量与配合零件的向量夹角小于5°(θ2<5°或|θ2-180°|<5°),记录时间TA,当装配节点与配合节点的距离小于3cm时(l2<3cm),记录时间TB,计算时间T=TB-TA,十项数据记为T1、T2、T3…T10
接下来计算二阶矩,γ1=(T1-t1)2+(T2-t1)2+(T3-t1)2…(T10-t1)2,γ2=(T1-t2)2+(T2-t2)2+(T3-t2)2…(T10-t2)2,当γ1>γ2,认为操作复杂情况为操作困难,最终标准时间定为t2;当γ1<γ2,认为操作复杂情况为操作容易,最终标准时间定为t1

Claims (6)

1.一种虚拟装配操作中对准动作识别方法,其特征在于,该方法包括以下步骤:
步骤一、利用Kinect V2采集25个人体骨骼点;25个人体骨骼点包括头、颈、肩中心、左拇指A1(x1,i,y1,i,z1,i)、右拇指A2(x2,i,y2,i,z2,i)、左指尖A3(x3,i,y3,i,z3,i)、右指尖A4(x4,i,y4,i,z4,i)、左手A5(x5,i,y5,i,z5,i)、右手A6(x6,i,y6,i,z6,i)、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚;
步骤二、在Unity3D中对人体手部模型和各机械零件进行碰撞器设定;
步骤三、对零件和装配进行向量和装配点预设;
步骤四、对准动作零件结合程度的判定;
步骤五、对准动作对称性的判定;
步骤六、对准动作复杂度判定。
2.根据权利要求1所述的一种虚拟装配操作中对准动作识别方法,其特征在于,所述的步骤二的具体方法如下:
在Unity3D中对人体手部模型和各机械零件进行碰撞器设定,即手部模型接触零件会给予响应,同时需要对零件进行刚体和重力设定;在可抓取零件中设置1-2个零件抓取点,定义抓取点坐标为Bi,1(Xi,1,Yi,1,Zi,1),抓取点间隔大于5cm,单一零件的抓取需要满足零件点均被识别为已完成抓取动作;抓取动作判定要求如下:
判定标准1、手部模型与零件发生接触,并触发碰撞器的响应,记录当前时间点i和发生碰撞的手部模型,如果左手模型与零件发生接触,记a=1,反之记a=0;如果右手模型与零件发生接触,记b=1,反之记b=0,并转判定标准2;
判定标准2、计算发生碰撞的手部模型的坐标点与任一抓取点的距离,当距离小于3cm时,即认为手部已经进入抓取点,转判定标准3;计算过程以左手为例,假设零件存在2个抓取点,左手模型与零件模型发生碰撞,计算当l1,1和l1,2任一数值小于3cm,即认为左手进入零件抓取点;
判定标准3、根据a、b的数值,如果任意a或b为1,计算手骨骼的弯曲程度,当手部夹角小于12°时,认为完成抓取,零件跟随手部移动,以左手为例,当a=1,此时左手至左拇指向量左手至左指尖向量夹角当θ1小于12°即认为完成抓取,零件随手移动。
3.根据权利要求1所述的一种虚拟装配操作中对准动作识别方法,其特征在于,所述的步骤三的具体方法如下:
零件装配的配合需要先对零件和装配件进行向量和装配点预设,轴类装配零件将在两头设置向量坐标点Cj,1(Xj,1,Yj,1,Zj,1)和Cj,2(Xj,2,Yj,2,Zj,2),同时在轴孔的装配中心点设置节点Cj,3(Xj,3,Yj,3,Zj,3),作向量如果是齿轮或是轴承作为装配零件,就需要在圆孔中心两侧设置向量坐标点,而在零件体心设置装配节点;在配合零件中,如果为孔类配合件,在圆孔中心线的两侧设置向量坐标点Dk,1(Xk,1,Yk,1,Zk,1)和Dk,2(Xk,2,Yk,2,Zk,2),同时在孔类配合件的配合中心点设置节点Dk,3(Xk,3,Yk,3,Zk,3),作向量如果是轴类配合零件,设置方式如装配零件;其中,Cj,1(Xj,1,Yj,1,Zj,1)表示第j个装配零件的第1向量坐标点,Cj,2(Xj,2,Yj,2,Zj,2)表示第j个装配零件的第2向量坐标点,Cj,3(Xj,3,Yj,3,Zj,3)表示第j个装配零件的装配节点;Dk,1(Xk,1,Yk,1,Zk,1)表示第k个配合零件的第1向量坐标点,Dk,2(Xk,2,Yk,2,Zk,2)表示第k个配合零件的第2向量坐标点,Dk,3(Xk,3,Yk,3,Zk,3)表示第k个装配零件的配合节点;
当手抓取零件时,系统会自动将抓取零件定义为装配零件,并自动搜索附近配合中心离装配中心最近的零件为配合零件,而装配结合需要满足两项要求:
要求1:装配零件的向量与配合零件的向量夹角小于5°,即而θ2<5°或|θ2-180°|<5°,即认为装配零件与配合零件重合;
要求2:装配节点与配合节点的距离小于3cm,即当l2<3cm,条件满足。
4.根据权利要求3所述的一种虚拟装配操作中对准动作识别方法,其特征在于,所述的步骤四的具体方法如下:
结合程度需要考虑两项因素,分别为装配路径和零件的配合程度;
装配路径分为三级,一级为自上而下的装入、二级为水平装入、三级为自下而上的装入;具体为当装配零件和配合零件的向量夹角满足θ2<5°或|θ2-180°|<5°,开始记录装配中心Cj,3(Xj,3,Yj,3,Zj,3)的坐标点为E1(xc,yc,zc),当完成装配之后,记录装配中心Cj,3(Xj,3,Yj,3,Zj,3)的坐标点为E2(xd,yd,zd),作向量设空间竖直向量计算当θ3<60°,认为是一级;当60°≤θ3≤120°,认为是二级;当120°<θ3,认为是三级;
配合程度又分为间隙配合、过渡配合和过盈配合;在装配之前将会对轴孔进行尺寸标定,装配零件孔轴标为配合零件孔轴标为当抓取的装配零件与配合零件的向量夹角满足θ2<5°或|θ2-180°|<5°时,需要计算装配零件和配合零件的尺寸是否对应,即l3=ΦF-Φf,当l3>0,即装配零件和配合零件不匹配,将会阻止零件继续装配;当l3=0,分别计算装配零件和配合零件的上下公差差值l4=Dmax-dmin、l5=Dmin-dmax,当装配件是孔,配合件是轴时,间隙配合要求为l4>0且l5>0,过盈配合要求为l4<0且l5<0,过渡配合要求为l4≥0且l5<0;反之当装配件是轴,配合件是孔时,间隙配合要求为l4<0且l5<0,过盈配合要求为l4>0且l5>0,过渡配合要求为l4≥0且l5<0;
结合程度分为程度1:松弛;程度2:稍微精密;程度3;非常紧密。根据装配路径和零件的配合程度,根据结合程度分类表对结合程度进行定义。
5.根据权利要求4所述的一种虚拟装配操作中对准动作识别方法,其特征在于,所述的步骤五的具体方法如下:
对称性主要分为对称、半对称和非对称,装配或是配合零件在操作之前将会被赋予形状定义,分别为圆形物体、正方形物体、长方形物体、圆锥形物体和梯形物体;当完成装配时,将会对装配零件和配合零件进行形体对应,具体参照对称性分类表。
6.根据权利要求5所述的一种虚拟装配操作中对准动作识别方法,其特征在于,所述的步骤六的具体方法如下:
对准动作复杂度分为操作容易和操作困难,首先需要根据步骤四和步骤五中结合程度和对称性的水平,根据对准动作预定时间表提供的操作容易和操作困难标准时间,通过10次测试操作动作,记录对准时间T,通过计算实际操作对准时间与标准时间的二阶矩判定动作复杂度并给出对准动作的标准时间;具体参照对准时间数据表;
根据步骤四中结合程度和步骤五中的对称性可以得到两项时间数据,分别为操作容易时间t1和操作困难时间t2;接下来测试十次装配操作时间,即当装配零件的向量与配合零件的向量夹角小于5°(θ2<5°或|θ2-180°|<5°),记录时间TA,当装配节点与配合节点的距离小于3cm时即l2<3cm,记录时间TB,计算时间T=TB-TA,十项数据记为T1、T2、T3…T10
接下来计算二阶矩,γ1=(T1-t1)2+(T2-t1)2+(T3-t1)2…(T10-t1)2,γ2=(T1-t2)2+(T2-t2)2+(T3-t2)2…(T10-t2)2,当γ1>γ2,认为操作复杂情况为操作困难,最终标准时间定为t2;当γ1<γ2,认为操作复杂情况为操作容易,最终标准时间定为t1
CN201810467080.XA 2018-05-16 2018-05-16 一种虚拟装配操作中对准动作识别方法 Expired - Fee Related CN108656113B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810467080.XA CN108656113B (zh) 2018-05-16 2018-05-16 一种虚拟装配操作中对准动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810467080.XA CN108656113B (zh) 2018-05-16 2018-05-16 一种虚拟装配操作中对准动作识别方法

Publications (2)

Publication Number Publication Date
CN108656113A true CN108656113A (zh) 2018-10-16
CN108656113B CN108656113B (zh) 2019-04-12

Family

ID=63779627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810467080.XA Expired - Fee Related CN108656113B (zh) 2018-05-16 2018-05-16 一种虚拟装配操作中对准动作识别方法

Country Status (1)

Country Link
CN (1) CN108656113B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN106774896A (zh) * 2016-12-19 2017-05-31 吉林大学 一种坐式手工装配线模特值评测系统
CN106980385A (zh) * 2017-04-07 2017-07-25 吉林大学 一种虚拟装配装置、系统及方法
CN107783654A (zh) * 2017-11-08 2018-03-09 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法
CN107831897A (zh) * 2017-11-17 2018-03-23 吉林大学 一种虚拟装配操作中rula评测方法
CN107885320A (zh) * 2017-08-24 2018-04-06 吉林大学 一种装配线工人活动区域的布置方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853319A (zh) * 2010-05-14 2010-10-06 中国人民解放军军械工程学院 一种支持虚拟维修仿真的维修动素集的建立方法
CN106774896A (zh) * 2016-12-19 2017-05-31 吉林大学 一种坐式手工装配线模特值评测系统
CN106980385A (zh) * 2017-04-07 2017-07-25 吉林大学 一种虚拟装配装置、系统及方法
CN107885320A (zh) * 2017-08-24 2018-04-06 吉林大学 一种装配线工人活动区域的布置方法
CN107783654A (zh) * 2017-11-08 2018-03-09 吉林大学 一种虚拟装配操作中身体弯曲类动作检测方法
CN107831897A (zh) * 2017-11-17 2018-03-23 吉林大学 一种虚拟装配操作中rula评测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范美常: "基于骨骼跟踪的虚拟装配技术", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Also Published As

Publication number Publication date
CN108656113B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN109702741B (zh) 基于自监督学习神经网络的机械臂视觉抓取系统及方法
CN106737692A (zh) 一种基于深度投影的机械手爪抓取规划方法及控制装置
CN104933734B (zh) 一种基于多kinect的人体姿态数据融合方法
CN109325398A (zh) 一种基于迁移学习的人脸属性分析方法
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
CN109664300A (zh) 一种基于力觉学习的机器人多风格书法临摹方法
CN104932804B (zh) 一种智能虚拟装配动作识别方法
CN105608432A (zh) 一种基于瞬时肌电图像的手势识别方法
CN107451609A (zh) 基于深度卷积神经网络的肺结节图像识别系统
CN107016721A (zh) 人体三维模型的建模方法
CN109446927A (zh) 基于先验知识的双人交互行为识别方法
CN101271589A (zh) 一种三维人体模型关节中心提取方法
CN110298220A (zh) 动作视频直播方法、系统、电子设备、存储介质
Kwon et al. Language models as zero-shot trajectory generators
CN113211447A (zh) 一种基于双向rrt*算法的机械臂实时感知规划方法及系统
CN113191243A (zh) 基于相机距离的人手三维姿态估计模型建立方法及其应用
CN108656113B (zh) 一种虚拟装配操作中对准动作识别方法
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
CN113989936A (zh) 一种可识别儿童坐姿并自动语音纠正的台灯
CN115890671B (zh) 一种基于smpl参数的多几何体人体碰撞模型生成方法及系统
Chan et al. A combined deep learning and anatomical inch measurement approach to robotic acupuncture points positioning
CN116129467A (zh) 一种变电运维人员姿态与行为以及工器具姿态的识别方法
Fang et al. Integrating word acquisition and referential grounding towards physical world interaction
CN114220162A (zh) 一种猪只姿态识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190412

CF01 Termination of patent right due to non-payment of annual fee