CN106313049B - 一种仿人机械臂体感控制系统及控制方法 - Google Patents

一种仿人机械臂体感控制系统及控制方法 Download PDF

Info

Publication number
CN106313049B
CN106313049B CN201610876399.9A CN201610876399A CN106313049B CN 106313049 B CN106313049 B CN 106313049B CN 201610876399 A CN201610876399 A CN 201610876399A CN 106313049 B CN106313049 B CN 106313049B
Authority
CN
China
Prior art keywords
msub
arm
mrow
mtd
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610876399.9A
Other languages
English (en)
Other versions
CN106313049A (zh
Inventor
刘世平
赫向阳
李世其
付艳
甘凯
汤贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610876399.9A priority Critical patent/CN106313049B/zh
Publication of CN106313049A publication Critical patent/CN106313049A/zh
Application granted granted Critical
Publication of CN106313049B publication Critical patent/CN106313049B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种仿人机械臂体感控制系统及控制方法,引入臂型角来定义手臂肩关节、肘关节和腕关节形成的平面与参考平面的夹角大小。通过手掌和肩关节的位置差来确定手臂末端的位置,手臂末端的姿态通过手掌、拇指和手掌末端形成的平面与肩关节坐标系的相对姿态来确定。得到人体手臂的臂型角以及手臂末端的位置和姿态,就可以由控制系统计算出机械臂的七个自由度的角度,从而实现机械臂的精确控制。本发明与现有技术相比,具有以下优点:基于手臂臂型角的仿人机械臂体感的控制方法,将人体手臂的位置和姿态进行了完整的定义,避免了由于体感设备获取的骨骼数据不足,仿人机械臂自由度过多,反而导致机械臂控制不精确的缺陷。

Description

一种仿人机械臂体感控制系统及控制方法
技术领域
本发明属于机器人控制领域,更具体地,涉及一种仿人机械臂体感控制系统及控制方法。
背景技术
多数交互设备需要操作者掌握专业知识才能进行相应的交互操作。而体感技术降低了操作者对外设专业知识的掌握,简化了学习和训练的过程,依靠实时肢体(手势)识别、面部识别及语音识别就可以实现对机器的直接控制。用这种最自然的方式与机器进行交互,可以减轻操作者的负荷。自然的人机交互方式,越来越受到重视。
通常,基于体感设备的控制方法采用可穿戴设备来采集骨骼信息,这种设备穿戴繁琐,降低了体感控制的可操作性。目前获取的人体骨骼信息后,大多通过空间向量法计算人体关节角,直接映射到机器人关节角用于控制机器人。但是这种控制方法,由于获取关节数量较少,计算自由度多,操作复杂,控制不精确,缺乏对机器人的完整描述。
发明内容
针对现有技术的上述问题,本发明旨在克服传统机械臂控制方法操作复杂的缺陷,减少控制机器人所需计算和输出的自由度,使机器人控制更加智能、准确和快速。
为了实现上述目的,本发明提供了一种仿人机械臂体感控制系统,包括:体感检测设备、机械臂控制器、机械臂和数据交互平台;体感检测设备的输出端连接数据交互平台的输入端,数据交互平台与机械臂控制器双向连接,机械臂控制器的输出端连接机械臂;
体感检测设备,用于提取人体的肩关节中点B、肩关节位置S、肘关节位置E、腕关节位置W、手掌位置H、手末端位置HT和拇指位置T;
机械臂,具有对应模拟人体的肩关节中点B'、肩关节位置S'、肘关节位置E'、腕关节位置W'、手掌位置H';1号关节位于B'和S'之间,1号连杆连接1号关节和S',2号连杆连接S'和3号关节,3号连杆连接3号关节和E',4号连杆连接E'和5号关节,5号连杆连接5号关节和W',6号连杆连接W'和7号关节,7号连杆连接7号关节和H';S'、E'、W'分别是2号、4号、6号关节;
数据交互平台,用于接收和处理体感检测设备上传的人体各位置数据,并据此计算出人体臂型角ψ、手掌位置BPH、手掌姿态BRH,从而根据ψ、BPHBRH结合机械臂的运动参数计算出机械臂的角度θi,θi表示i号连杆绕i号关节轴线的转角,i=1,2,…,7;数据交互平台还用于将θi发送给机械臂控制器;
机械臂控制器用于将θi转换成运动指令以控制机械臂的运动并将机械臂的运动信息反馈给数据交互平台。
进一步地,还包括虚拟场景显示控制台,虚拟场景显示控制台连接在数据交互平台和体感检测设备之间,用于模拟机械臂所处环境以及机械臂的运行结果并根据模拟结果决定机械臂是否执行数据交互平台的运动指令。
进一步地,数据交互平台用于按照如下方式确定臂型角ψ:
将B、S、W三点确定的平面作为参考平面,将S、W、E三点确定的平面作为臂平面,计算参考平面和臂平面的夹角,记为臂型角ψ。
进一步地,数据交互平台用于按照如下方式确定手掌位置BPH
根据B点和H点的坐标,得出手掌相对肩关节中点的位置BPH
BPH=[(xH-xB),(yH-yB),(zH-zB)]
其中,xH、yH、zH是H点的坐标,xB、yB、zB是B点的坐标。
进一步地,数据交互平台用于按照如下方式确定手掌位置BPH
根据腕关节W和手掌位置H的坐标,求得向量该方向记为ZH;手掌点H、拇指点T和手掌末端HT三点构成一个平面,XH垂直于该平面;YH是根据ZH和XH由笛卡尔坐标系确定;
手臂末端的姿态描述为BRH=[XH,YH,ZH]。
为了实现上述目的,本发明还提供了一种用于上述仿人机械臂体感控制系统的控制方法,包括如下步骤:
(1)人体臂型角ψ、手掌位置BPH、手掌姿态BRH的读取及确认
体感检测设备提取人体上B、S、E、W、H、HT和T七个位置并上传给数据交互平台,在数据交互平台中进行如下定义和计算:
将B、S、W三点确定的平面作为参考平面,将S、W、E三点确定的平面作为臂平面,计算参考平面和臂平面的夹角,记为臂型角ψ;
根据B点和H点的坐标,得出手掌相对肩关节中点的位置BPH
BPH=[(xH-xB),(yH-yB),(zH-zB)]
其中,xH、yH、zH是H点的坐标,xB、yB、zB是B点的坐标;
根据腕关节W和手掌位置H的坐标,求得向量该方向记为ZH;手掌点H、拇指点T和手掌末端HT三点构成一个平面,XH垂直于该平面;YH是根据ZH和XH由笛卡尔坐标系确定;
手臂末端的姿态描述为BRH=[XH,YH,ZH]。
(2)数据交互平台根据人体臂型角ψ、手掌位置BPH、手掌姿态BRH结合机械臂的运动学参数计算机械臂的角度θi,θi表示i号连杆绕i号关节轴线的转角,i=1,2,…,7;
(3)数据交互平台将θi输入到机械臂控制器,并由机械臂控制器控制机械臂运动,i=1,2,…,7。
进一步地,还包括虚拟场景显示控制台,在步骤(2)和步骤(3)之间增加如下判定步骤:
在虚拟场景显示控制台中模拟机械臂所处环境,以及根据步骤(2)中得到的θi模拟机械臂的运行结果,i=1,2,…,7,
如果模拟结果为机械臂运行有障碍,则虚拟场景显示控制台反馈障碍信息,提示捕捉对象变更动作,返回步骤(1)重新从步骤(1)开始执行;
如果模拟结果为机械臂正常运行,则执行步骤(3)。
进一步地,步骤(2)中,θi的获得方法如下:
(a)坐标系的建立
以i号关节+1的轴线为Zi轴,平行于i号关节的轴线的方向为Yi轴建立关于i号连杆的i号坐标系,i=1,2,…,6;
以B'为原点,1号关节的轴线为Z0轴,平行于1号关节的轴线的方向为Y0轴建立0号坐标系作为基坐标系;
以H'为原点,7号关节的轴线为Z0轴,平行于6号关节的轴线的方向为Y7轴建立7号坐标系作为机械臂末端坐标系;Xi是根据Zi和Yi由右手定则确定,i=0,1,…,7;
(b)根据捕捉得到的人体手掌位置BPH、人体手掌姿态BRH得到基坐标系中机械臂末端位置0P7和机械臂末端姿态0R7;由人体臂型角ψ得到机械臂的臂型角ψ′,ψ′=ψ;
(c)θ4求解
S'、E'、W'在初始状态下的位置用S0'、E0'和W0'表示,的夹角即为肘部关节角θ4
由于θ4在机械臂的臂平面上,θ4与ψ的大小无关:
其中,
表示初始状态下的夹角,
表示在t时刻时的夹角;
(d)θ1、θ2和θ3求解
3号坐标系相对于基坐标系的姿态0R3的第一个表达式如下:
其中,
0Rψ-机械臂的臂平面相对于机械臂的参考平面的空间向量关系的旋转矩阵;
-当3号坐标系的X3O3Y3平面与参考平面重合时,3号坐标系相对于基座标系的旋转矩阵;
而根据正运动学方程可得0R3用θ1、θ2和θ3来表达的第二个表达式如下:
式中,si=sinθi,ci=cosθi,i=1、2、3;
方程(13)(14)右侧的对应项相等,求出θ1、θ2和θ3
(e)θ5、θ6和θ7求解;
4号坐标系相对于7号坐标系的姿态7R4有如下两种表达式:
式中,si=sinθi,ci=cosθi,i=5、6、7;
-机械臂的末端位置0P7的转置矩阵;
3R4-4号坐标系相对于3号坐标系的旋转矩阵;
方程(15)(16)右侧的对应项相等,求出θ5、θ6和θ7
本发明提出的体感控制仿人机械臂的控制系统和控制方法与现有技术相比,具有以下优点:基于手臂臂型角的仿人机械臂体感的控制方法,将人体手臂的位置和姿态进行了完整的定义,避免了由于体感设备获取的骨骼数据不足,仿人机械臂自由度较多,机械臂控制不精确的缺陷。
附图说明
图1是体感设备获取的人体骨骼位置点;
图2是人体骨骼信息基坐标系示意图;
图3是人体手臂臂型角的定义示意图;
图4是人体手掌坐标系的定义示意图;
图5是S-R-S仿人机械臂构型及7个自由度示意图;
图6是机械臂臂型角定义示意图;
图7是机械臂DH坐标系示意图;
图8是机械臂的臂型角计算示意图;
图9是仿人机械臂体感控制系统示意图;
图10是仿人机械臂控制流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
1、人体骨骼信息的获取
人体骨骼信息的获取方式通常为基于视觉识别测量或者通过佩戴测量节点来实现。Kinect V2是微软开发的新一代3D体感摄像机,用于体感游戏和科研人员开发。KinectSDK包含两个重要的API,分别是NUI API(自然用户界面)和Audio API。UNI API是KinectAPI的核心,实现从图像传感器中提取数据并控制Kinect设备。Kinect通过红外线发生装置发射红外线,并探测红外光反射,从而可以计算出视场范围内每一个像素的深度值,即获得深度数据,从深度数据中最先提取出来的是物体主体和形状。然后用这些形状信息来匹配人体的各个部分,最后计算匹配出来的各个关节在人体中的位置,Kinect获取的人体骨骼信息如图1所示。
这些关节点的三维坐标可以通过Skeleton的Joints属性得到。通过Joints属性获得的关节三维坐标,坐标系方向如图2所示,Z向表示Kinect传感器的方向。在控制机械臂运动过程中,只提取主要的7个关节信息,分别是肩关节中点B,肩关节位置S,肘关节位置E,腕关节位置W,手掌位置H,手末端位置HT和拇指位置T。
2、臂型角参数化的人体骨骼信息
人体在自然状态下的一种姿态如图3所示。图中点B,S,E,W和H分别表示颈部,肩关节,肘关节,腕关节和手掌的位置。从当前的姿态可以发现,肩关节S、肘关节E和腕关节W可以构成一个平面。人体手臂在运动过程中,该平面会随着手臂姿态变化。通过描述该平面的位置,结合手掌的位置,可以准确的表达手臂的运动状态。
为描述肩关节、肘关节和腕关节构成的平面的运动,引入人体手臂的臂型角定义。肩关节、肘关节和腕关节可以构成一个平面,定义这个平面为臂平面。颈部和肩关节形成的向量记为肩关节和腕关节形成的向量记为定义向量形成的平面为参考平面。臂平面与参考平面生成的夹角,定义为臂型角,记作ψ。通过臂型角ψ可以描述肘关节绕方向的旋转运动。
如图3,已知S点、E点和W点的坐标,即可求得E点到直线SW的垂足O点的坐标,这样向量就可以确定。已知B点和S点的坐标,可得向量将向量平移并通过O点,可得向量向量和向量的夹角即为手臂臂型角ψ,则
已知B点和H点的坐标,可以求得手相对肩关节中点的位置,记为BPH
BPH=[(xH-xB),(yH-yB),(zH-zB)]
式中,xH,yH和zH为手的坐标,xB,yB和zB为肩关节中心的坐标。
BPH描述了手臂末端相对于肩部中心的位置,缺少对手臂末端姿态的描述。根据手掌,手末端和拇指的位置关系,定义手掌的坐标系如图所示。其中,根据已知腕关节W和手掌位置H的坐标,可以求得向量该方向记为ZH。手掌点H,拇指点T和手掌末端HT可以构成一个平面,XH垂直于该平面,YH是根据ZH和XH由笛卡尔坐标系确定。
手臂末端的姿态可以描述为BRH=[XH,YH,ZH]。
这样,基于臂型角的人体手臂骨骼,通过臂型角和手臂末端坐标系完整的描述出来了。运用手臂臂型角ψ和手掌位置BPH和姿态BRH,即可计算本发明所针对的仿人机械臂控制所需的七个自由度,将这七个自由度输入到仿人机械臂运动学模型中可以控制机械臂的运动。
3、臂型角参数化的仿人机械臂
仿人机械臂采用串联球形关节-旋转关节-球形关节的形式(简称S-R-S),上述三个关节互相垂直相交于一点,形成球铰,机械臂的肩关节、肘关节、腕关节(如图5所示),即采用这种S-R-S形式的球铰构型。这种构型能够最大程度的模拟人体的手臂,根据这种构型设计了人形机械臂。在本实施例中,为了增加机械臂的运动范围,肘关节设计有一定的位置偏置。
机械臂在工作过程中的一种姿态可以用图6表示,其中等效的肩关节中点、肩关节、肘关节、腕关节和末端分别记为B'、S'、E'、W'和H'。1号关节位于B'和S'之间,1号连杆连接1号关节和S',2号连杆连接S'和3号关节,3号连杆连接3号关节和E',4号连杆连接E'和5号关节,5号连杆连接5号关节和W',6号连杆连接W'和7号关节,7号连杆连接7号关节和H';S'、E'、W'分别是2号、4号、6号关节。
由此,已可以定义出能够准确、完整地描述该仿人机械臂运动形态的自由度角度θi(i=1,2,…,7),θi表示i号连杆绕i号关节轴线的转角。
根据上述S-R-S构型的仿人机械臂,可以构建与人体手臂等效的机械臂运动学求解算法。定义机械臂的臂型角如下,机械臂等效的肩关节S'、肘关节E'和腕关节W'构成的平面称为臂平面,机械臂等效的肩关节中点B'、肩关节S'和腕关节W'构成的平面称为参考平面,臂平面与参考平面形成的角度称为机械臂的臂型角ψ′,ψ′=ψ且ψ′取值范围与ψ一样为[-π,π]。在后文的计算中,将直接用ψ来替代ψ′进行计算。
如图8已知仿人机械臂末端的位置和姿态(前面已由体感设备读取人体动作经映射得到),可以得到肩关节S'到腕关节W'的向量初始状态用S0'、E0'和W0'表示,t时刻的状态用S'、E'和W'表示。则的夹角即为肘部关节角θ4,由于θ4在机械臂的臂平面上,θ4不会引起ψ的变化,ψ也不会引起θ4的变化,所以θ4与ψ无关,根据余弦定理可以求得初始状态下的夹角以及t时刻时的夹角则肘关节的角度值为
已知臂型角ψ,可以得到臂平面相对于参考平面的空间向量关系的旋转矩阵,记为0Rψ。同样,当3号坐标系的X3O3Y3平面与参考平面重合时,可以得到3号坐标系相对于基座标系的旋转矩阵,记为当3号坐标系的X3O3Y3平面与参考平面不重合时,根据所求的臂平面相对于参考平面的旋转矩阵和3号坐标系相对于基座标系的旋转矩阵,由此3号坐标系相对于基坐标系的姿态0R3可以表示为0Rψ的点乘乘积。而根据机械臂正向运动学,同样可以获得3号坐标系相对于基坐标系的旋转矩阵0R3的以θ1、θ2和θ3来表达的另一种表达式。两种不同表达式的对应项相等,可以求得关节角θ1、θ2和θ3
同理,可以构建4号坐标系相对于7号坐标系的旋转矩阵7R4。而根据机械臂正向运动学,也可以获得4号坐标系相对于7号坐标系的旋转矩阵7R4的以θ5、θ6和θ7来表达的另一种表达式,7R4的两个不同的旋转矩阵表达式对应项相等,可以计算得到θ5、θ6和θ7的值。至此,已经获得仿人机械臂的全部七个运动学解。图9、图10分别是仿人机械臂体感控制系统示意图和仿人机械臂控制流程示意图。
更具体的计算过程如下所示。
1、建立机械臂的数学模型
根据机械臂本体的结构构型,建立相对应的DH(Denavit-Hartenberg)坐标系。机械臂的数学模型及DH坐标系如图6所示。
如图7,以i号关节+1的轴线为Zi轴,平行于i号关节的轴线的方向为Yi轴建立关于i号连杆的i号坐标系(i=1~6);以B'为原点,1号关节的轴线为Z0轴,平行于1号关节的轴线的方向为Y0轴建立0号坐标系作为基坐标系(又称世界坐标系);以H'为原点,7号关节的轴线为Z0轴,平行于6号关节的轴线的方向为Y7轴建立7号坐标系作为机械臂末端坐标系。Xi是根据Zi和Yi由右手定则确定,i=0,1,…,7。
通过建立以上坐标系,定义如下参数:
ai等于Zi-1和Zi之间沿Xi方向的距离,i=1~7;
di等于Xi-1和Xi之间沿Zi方向的距离,i=1~7。
DH坐标系建立以后,ai和di即为已知。
在本实施例中,由于机械臂上1号连杆、2号连杆、2号关节没有偏置,所以反应在DH坐标系中,Z1、Y2均与2号关节的轴线重合,1号坐标系与2号坐标系的原点重合,即a1、a2=0,d2=0。同理,a5、a6、a7=0,d2、d4、d6=0。
2、求解θ4
在已知基坐标系中机械臂的末端位置0P7时(由人体的BPH直接映射得到),S'点、W'点以及向量的值是唯一的。根据前面的定义,实际上1号关节轴线的方向与肩关节S'和腕关节W'方向形成的平面即为机械臂的参考平面。
已知基坐标系中机械臂末端位姿0P70R7(分别由人体的BPHBRH映射得到),向量可以表示为:
请参考图7、8,任意状态下,肩部、肘部和腕部的几何关系可以用图8表示。其中虚线部分为机械臂的初始状态,初始状态用S0'、E0'和W0'表示。实线部分为机械臂在t时刻的状态,用S'、E'和W'表示。图中的夹角即为肘部关节角θ4
由于θ4在机械臂的臂平面上,θ4不会引起ψ的变化,ψ也不会引起θ4的变化,所以θ4与ψ无关:
其中,
表示初始状态下的夹角;
表示在t时刻时的夹角。
由图8中的几何关系可知,
S0W0=d3+d5
在本实施例中,由图8可以看出,初始状态下,θ4=0,机械臂伸直。
3、求解θ1、θ2、θ3、θ5、θ6、θ7
请参考图7,在基坐标系中,臂平面相对于参考平面的旋转矩阵为:
式中,I3为3×3的单位阵,为向量的叉乘因子。
当3号坐标系的X3O3Y3平面与参考平面重合时,ψ=0,3号坐标系与基座标系之间的空间向量关系用来表示,0x30y30z3分别表示3号坐标系的三个方向向量:
向量l是垂直于参考平面的向量:
由于肘关节偏置a3的存在,0y3相对于基坐标系的角度γ实际上由两部分组成,分别是转动形成的角度α和偏置产生的角度β:
γ=α+β (8)
0y3相对于基坐标系的旋转矩阵为:
R(l,γ)=I3+[l×]sin(γ)+[l×]2(1-cos(γ)) (9)
式中,I3为3×3的单位阵,l×为向量l的叉乘因子
0x30y3×0z3 (11)
根据公式(5)(10)(11)可得:
则当3号坐标系与参考平面不重合时,3号坐标系相对于基坐标系的姿态可以表示为:
而根据正运动学方程可得0R3的另一种表达式如下:
式中,si=sinθi,ci=cosθi,i=1、2、3。
由于方程(13)(14)右侧的对应项相等,即可据此求出θ1、θ2和θ3
同理,4号坐标系相对于7号坐标系的姿态有如下两种表达方式:
式中,si=sinθi,ci=cosθi,i=5、6、7;
-机械臂的末端位置0P7的转置矩阵;
3R4-4号坐标系相对于3号坐标系的旋转矩阵。
由于方程(15)(16)右侧的对应项相等,即可据此求出θ5、θ6和θ7
按照以上计算过程,根据体感控制方法获取的人体手臂臂型角ψ和手掌位置BPH、姿态BRH,输入到仿人机械臂的运动学参数中按照相应公式进行计算,可以获得机械臂对应姿态下的运动学解,即获得此状态下的7个关节角度θ1~θ7,如图5。这种仿人机械臂体感控制方法和对应的仿人机械臂的算法结合,能够最大程度的模拟人体手臂的姿态从而实现运动控制。
4具有虚拟场景显示的控制平台
本实施例的机械臂体感控制平台,基于MFC开发。Kinect V2 SDK提供了基于VC++的开发接口,通过调用SDK的函数实现获取人体骨骼数据。遥操作开始和停止功能通过体感来控制,当系统处于待机状态时,通过体感捕捉人体手臂动作,当手臂动作符合预定动作后,遥操作端会发出系统开始体感控制指令。在人体手臂动作后,向仿人机械臂系统发送相应的动作指令。机械臂控制都是通过左臂来完成,当右臂向上举起时,系统判断为停止。
机械臂体感控制平台的虚拟模型显示,通过OpenInvertor开发包来实现。OpenInvertor通过建立节点信息来更新虚拟场景,各节点的位置信息通过机械臂的连杆的相对位置矩阵来获得。
机械臂体感控制平台的虚拟模型,还具有碰撞检测的功能。安全预警模型旨在预测机器人的运动情况,通过预测,可以预先知道机器人哪些动作是安全的,哪些动作是不安全的,从而指导用户快速实时地做出合理的决策,提高交互效率。安全预警算法是建立在虚拟现实技术上的一套安全保障算法,在位置信息可以预测的情况下,运用碰撞检测算法等手段进行安全预测。在虚拟场景中,计算机可以根据虚拟场景提供的机器人以及环境物体的位置信息,预测将要发生的碰撞,从而及早提醒操作者进行相应策略的调整。
5基于EntherCAT总线通信方式
所述机械臂体感控制平台通过EntherCAT总线方式与仿人机械臂的控制系统进行通信。使用倍福公司开发的TwinCAT软件作为开发包,在遥操作端进行总线通信。经过TwinCAT封装的EntherCAT通信方式,通过调用ADSnet来实现。经过ADS通信的方式,通信周期可以缩小到1ms,提高了体感控制系统的跟随速度。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种仿人机械臂体感控制系统,其特征在于,包括:体感检测设备、机械臂控制器、机械臂和数据交互平台;体感检测设备的输出端连接数据交互平台的输入端,数据交互平台与机械臂控制器双向连接,机械臂控制器的输出端连接机械臂;
体感检测设备,用于提取人体的肩关节中点B、肩关节位置S、肘关节位置E、腕关节位置W、手掌位置H、手末端位置HT和拇指位置T;
机械臂,具有对应模拟人体的肩关节中点B'、肩关节位置S'、肘关节位置E'、腕关节位置W'、手掌位置H';1号关节位于B'和S'之间,1号连杆连接1号关节和S',2号连杆连接S'和3号关节,3号连杆连接3号关节和E',4号连杆连接E'和5号关节,5号连杆连接5号关节和W',6号连杆连接W'和7号关节,7号连杆连接7号关节和H';S'、E'、W'分别是2号、4号、6号关节;
数据交互平台,用于接收和处理体感检测设备上传的人体各位置数据,并据此计算出人体臂型角ψ、手掌位置BPH、手掌姿态BRH,从而根据ψ、BPHBRH结合机械臂的运动参数计算出机械臂的角度θi,θi表示i号连杆绕i号关节轴线的转角,i=1,2,…,7;数据交互平台还用于将θi发送给机械臂控制器;
机械臂控制器用于将θi转换成运动指令以控制机械臂的运动并将机械臂的运动信息反馈给数据交互平台。
2.如权利要求1所述的一种仿人机械臂体感控制系统,其特征在于,还包括虚拟场景显示控制台,虚拟场景显示控制台连接在数据交互平台和体感检测设备之间,用于模拟机械臂所处环境以及机械臂的运行结果并根据模拟结果决定机械臂是否执行数据交互平台的运动指令。
3.如权利要求1所述的一种仿人机械臂体感控制系统,其特征在于,数据交互平台用于按照如下方式确定臂型角ψ:
将B、S、W三点确定的平面作为参考平面,将S、W、E三点确定的平面作为臂平面,计算参考平面和臂平面的夹角,记为臂型角ψ。
4.如权利要求1所述的一种仿人机械臂体感控制系统,其特征在于,数据交互平台用于按照如下方式确定手掌位置BPH
根据B点和H点的坐标,得出手掌相对肩关节中点的位置BPH
BPH=[(xH-xB),(yH-yB),(zH-zB)]
其中,xH、yH、zH是H点的坐标,xB、yB、zB是B点的坐标。
5.如权利要求1所述的一种仿人机械臂体感控制系统,其特征在于,数据交互平台用于按照如下方式确定手掌位置BPH
根据腕关节W和手掌位置H的坐标,求得向量该方向记为ZH;手掌点H、拇指点T和手掌末端HT三点构成一个平面,XH垂直于该平面;YH是根据ZH和XH由笛卡尔坐标系确定;
手臂末端的姿态描述为BRH=[XH,YH,ZH]。
6.一种用于权利要求1所述仿人机械臂体感控制系统的控制方法,其特征在于,包括如下步骤:
(1)人体臂型角ψ、手掌位置BPH、手掌姿态BRH的读取及确认
体感检测设备提取人体上B、S、E、W、H、HT和T七个位置并上传给数据交互平台,在数据交互平台中进行如下定义和计算:
将B、S、W三点确定的平面作为参考平面,将S、W、E三点确定的平面作为臂平面,计算参考平面和臂平面的夹角,记为臂型角ψ;
根据B点和H点的坐标,得出手掌相对肩关节中点的位置BPH
BPH=[(xH-xB),(yH-yB),(zH-zB)]
其中,xH、yH、zH是H点的坐标,xB、yB、zB是B点的坐标;
根据腕关节W和手掌位置H的坐标,求得向量该方向记为ZH;手掌点H、拇指点T和手掌末端HT三点构成一个平面,XH垂直于该平面;YH是根据ZH和XH由笛卡尔坐标系确定;
手臂末端的姿态描述为BRH=[XH,YH,ZH];
(2)数据交互平台根据人体臂型角ψ、手掌位置BPH、手掌姿态BRH结合机械臂的运动学参数计算机械臂的角度θi,θi表示i号连杆绕i号关节轴线的转角,i=1,2,…,7;
(3)数据交互平台将θi输入到机械臂控制器,并由机械臂控制器控制机械臂运动,i=1,2,…,7。
7.如权利要求6所述的用于仿人机械臂体感控制系统的控制方法,其特征在于,还包括虚拟场景显示控制台,在步骤(2)和步骤(3)之间增加如下判定步骤:
在虚拟场景显示控制台中模拟机械臂所处环境,以及根据步骤(2)中得到的θi模拟机械臂的运行结果,i=1,2,…,7,
如果模拟结果为机械臂运行有障碍,则虚拟场景显示控制台反馈障碍信息,提示捕捉对象变更动作,返回步骤(1)重新从步骤(1)开始执行;
如果模拟结果为机械臂正常运行,则执行步骤(3)。
8.如权利要求6或7所述的用于仿人机械臂体感控制系统的控制方法,其特征在于,步骤(2)中,θi的获得方法如下:
(a)坐标系的建立
以i+1号关节的轴线为Zi轴,平行于i号关节的轴线的方向为Yi轴建立关于i号连杆的i号坐标系,i=1,2,…,6;
以B'为原点,1号关节的轴线为Z0轴,平行于1号关节的轴线的方向为Y0轴建立0号坐标系作为基坐标系;
以H'为原点,7号关节的轴线为Z0轴,平行于6号关节的轴线的方向为Y7轴建立7号坐标系作为机械臂末端坐标系;
Xi是根据Zi和Yi由右手定则确定,i=0,1,…,7;
(b)根据捕捉得到的人体手掌位置BPH、人体手掌姿态BRH得到基坐标系中机械臂末端位置0P7和机械臂末端姿态0R7;由人体臂型角ψ得到机械臂的臂型角ψ′,ψ′=ψ;
(c)θ4求解
S'、E'、W'在初始状态下的位置用S0'、E0'和W0'表示,的夹角即为肘部关节角θ4
由于θ4在机械臂的臂平面上,θ4与ψ的大小无关:
<mrow> <msub> <mi>&amp;theta;</mi> <mn>4</mn> </msub> <mo>=</mo> <msubsup> <mi>&amp;theta;</mi> <mn>4</mn> <mn>0</mn> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;theta;</mi> <mn>4</mn> <mi>t</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中,
表示初始状态下的夹角,
表示在t时刻时的夹角;
(d)θ1、θ2和θ3求解
3号坐标系相对于基坐标系的姿态0R3的第一个表达式如下:
<mrow> <msub> <mmultiscripts> <mi>R</mi> <mn>0</mn> </mmultiscripts> <mn>3</mn> </msub> <mo>=</mo> <msub> <mmultiscripts> <mi>R</mi> <mn>0</mn> </mmultiscripts> <mi>&amp;psi;</mi> </msub> <mo>&amp;CenterDot;</mo> <mmultiscripts> <mi>R</mi> <mn>3</mn> <mrow> <mi>&amp;psi;</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>0</mn> </mmultiscripts> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
其中,
0Rψ-机械臂的臂平面相对于机械臂的参考平面的空间向量关系的旋转矩阵;
-当3号坐标系的X3O3Y3平面与参考平面重合时,3号坐标系相对于基座标系的旋转矩阵;
而根据正运动学方程可得0R3用θ1、θ2和θ3来表达的第二个表达式如下:
<mrow> <msub> <mmultiscripts> <mi>R</mi> <mn>0</mn> </mmultiscripts> <mn>3</mn> </msub> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>s</mi> <mn>1</mn> </msub> <msub> <mi>s</mi> <mn>3</mn> </msub> <mo>+</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <msub> <mi>c</mi> <mn>2</mn> </msub> <msub> <mi>c</mi> <mn>3</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <msub> <mi>s</mi> <mn>2</mn> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>s</mi> <mn>1</mn> </msub> <msub> <mi>c</mi> <mn>3</mn> </msub> <mo>-</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <msub> <mi>c</mi> <mn>2</mn> </msub> <msub> <mi>s</mi> <mn>3</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <msub> <mi>s</mi> <mn>3</mn> </msub> <mo>+</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <msub> <mi>c</mi> <mn>2</mn> </msub> <msub> <mi>c</mi> <mn>3</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <msub> <mi>s</mi> <mn>2</mn> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>c</mi> <mn>1</mn> </msub> <msub> <mi>c</mi> <mn>3</mn> </msub> <mo>-</mo> <msub> <mi>s</mi> <mn>1</mn> </msub> <msub> <mi>c</mi> <mn>2</mn> </msub> <msub> <mi>s</mi> <mn>3</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>c</mi> <mn>3</mn> </msub> <msub> <mi>s</mi> <mn>2</mn> </msub> </mrow> </mtd> <mtd> <msub> <mi>c</mi> <mn>2</mn> </msub> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>s</mi> <mn>2</mn> </msub> <msub> <mi>s</mi> <mn>3</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
式中,si=sinθi,ci=cosθi,i=1、2、3;
方程(13)(14)右侧的对应项相等,求出θ1、θ2和θ3
(e)θ5、θ6和θ7求解;
4号坐标系相对于7号坐标系的姿态7R4有如下两种表达式:
<mrow> <msub> <mmultiscripts> <mi>R</mi> <mn>7</mn> </mmultiscripts> <mn>4</mn> </msub> <mo>=</mo> <mmultiscripts> <mi>R</mi> <mn>7</mn> <mi>T</mi> <mn>0</mn> </mmultiscripts> <mo>&amp;CenterDot;</mo> <msub> <mmultiscripts> <mi>R</mi> <mn>0</mn> </mmultiscripts> <mi>&amp;psi;</mi> </msub> <mo>&amp;CenterDot;</mo> <mmultiscripts> <mi>R</mi> <mn>3</mn> <mrow> <mi>&amp;psi;</mi> <mo>=</mo> <mn>0</mn> </mrow> <mn>0</mn> </mmultiscripts> <mo>&amp;CenterDot;</mo> <msub> <mmultiscripts> <mi>R</mi> <mn>3</mn> </mmultiscripts> <mn>4</mn> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mmultiscripts> <mi>R</mi> <mn>7</mn> </mmultiscripts> <mn>4</mn> </msub> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>c</mi> <mn>5</mn> </msub> <msub> <mi>c</mi> <mn>6</mn> </msub> <msub> <mi>c</mi> <mn>7</mn> </msub> <mo>-</mo> <msub> <mi>s</mi> <mn>5</mn> </msub> <msub> <mi>s</mi> <mn>7</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>c</mi> <mn>5</mn> </msub> <msub> <mi>c</mi> <mn>6</mn> </msub> <msub> <mi>s</mi> <mn>7</mn> </msub> <mo>-</mo> <msub> <mi>s</mi> <mn>5</mn> </msub> <msub> <mi>c</mi> <mn>7</mn> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>c</mi> <mn>5</mn> </msub> <msub> <mi>s</mi> <mn>6</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>s</mi> <mn>5</mn> </msub> <msub> <mi>c</mi> <mn>6</mn> </msub> <msub> <mi>c</mi> <mn>7</mn> </msub> <mo>+</mo> <msub> <mi>c</mi> <mn>5</mn> </msub> <msub> <mi>s</mi> <mn>7</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>s</mi> <mn>5</mn> </msub> <msub> <mi>c</mi> <mn>6</mn> </msub> <msub> <mi>s</mi> <mn>7</mn> </msub> <mo>-</mo> <msub> <mi>c</mi> <mn>5</mn> </msub> <msub> <mi>c</mi> <mn>7</mn> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>s</mi> <mn>5</mn> </msub> <msub> <mi>s</mi> <mn>6</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>s</mi> <mn>6</mn> </msub> <msub> <mi>c</mi> <mn>7</mn> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>s</mi> <mn>6</mn> </msub> <msub> <mi>s</mi> <mn>7</mn> </msub> </mrow> </mtd> <mtd> <msub> <mi>c</mi> <mn>6</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
式中,si=sinθi,ci=cosθi,i=5、6、7;
-机械臂的末端位置0P7的转置矩阵;
3R4-4号坐标系相对于3号坐标系的旋转矩阵;
方程(15)(16)右侧的对应项相等,求出θ5、θ6和θ7
CN201610876399.9A 2016-10-08 2016-10-08 一种仿人机械臂体感控制系统及控制方法 Expired - Fee Related CN106313049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610876399.9A CN106313049B (zh) 2016-10-08 2016-10-08 一种仿人机械臂体感控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610876399.9A CN106313049B (zh) 2016-10-08 2016-10-08 一种仿人机械臂体感控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN106313049A CN106313049A (zh) 2017-01-11
CN106313049B true CN106313049B (zh) 2017-09-26

Family

ID=57821160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610876399.9A Expired - Fee Related CN106313049B (zh) 2016-10-08 2016-10-08 一种仿人机械臂体感控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN106313049B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106584465A (zh) * 2017-01-22 2017-04-26 北京工业大学 平面4r欠驱动机械臂位姿控制方法
CN109291046A (zh) * 2017-07-25 2019-02-01 中国科学院沈阳自动化研究所 一种七自由度拟人构型机械臂逆运动学规划方法
CN107942748B (zh) * 2017-11-28 2020-08-07 上海师范大学 一种机械臂空间动态避障感应手环及控制系统
CN108241339B (zh) * 2017-12-27 2020-09-04 北京航空航天大学 仿人机械臂的运动求解和构型控制方法
CN108356820B (zh) * 2018-01-17 2020-05-12 浙江大学 一种多关节机械臂手动操控的逆运动学求解方法
CN108762495B (zh) * 2018-05-18 2021-06-29 深圳大学 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统
CN109531578B (zh) * 2018-12-29 2020-08-07 深圳市工匠社科技有限公司 仿人机械手臂体感控制方法及装置
CN109623823B (zh) * 2018-12-29 2022-02-08 达闼机器人有限公司 逆解计算偏置机械臂关节角度值的方法、装置及计算设备
CN110216676B (zh) * 2019-06-21 2022-04-26 深圳盈天下视觉科技有限公司 一种机械臂控制方法、机械臂控制装置及终端设备
CN112894794B (zh) * 2019-11-19 2022-08-05 深圳市优必选科技股份有限公司 人体手臂动作模仿方法、装置、终端设备及存储介质
CN113043267A (zh) * 2019-12-26 2021-06-29 深圳市优必选科技股份有限公司 机器人控制方法、装置、机器人及计算机可读存储介质
CN111152218B (zh) * 2019-12-31 2021-10-08 浙江大学 一种异构仿人机械臂的动作映射方法及系统
CN113119104B (zh) * 2019-12-31 2022-08-05 深圳市优必选科技股份有限公司 机械臂控制方法、机械臂控制装置、计算设备及系统
CN112828916B (zh) * 2021-01-20 2022-07-08 清华大学深圳国际研究生院 冗余机械臂遥操作组合交互装置及冗余机械臂遥操作系统
CN113119120B (zh) * 2021-03-30 2022-06-07 深圳市优必选科技股份有限公司 一种机器人的控制方法、装置及机器人
CN113386128B (zh) * 2021-05-11 2022-06-10 华南理工大学 一种面向多自由度机器人的体势交互方法
CN117340914B (zh) * 2023-10-24 2024-05-14 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005278706A (ja) * 2004-03-26 2005-10-13 Yasuo Kawamura 携帯型筋電図・体動計測器
US20120182431A1 (en) * 2011-01-18 2012-07-19 Asanov Pavel Method and apparatus for sharing a physical activity between several people
CN102727362B (zh) * 2012-07-20 2014-09-24 上海海事大学 基于体感外设手臂运动追踪的康复训练系统及其训练方法
CN104440926A (zh) * 2014-12-09 2015-03-25 重庆邮电大学 一种基于Kinect的机械臂体感远程控制方法及系统
CN104678766B (zh) * 2015-01-29 2017-07-18 苏州大学 仿人机械臂飞行球体作业最优击球构型一种求取方法

Also Published As

Publication number Publication date
CN106313049A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106313049B (zh) 一种仿人机械臂体感控制系统及控制方法
CN106826838B (zh) 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法
Riley et al. Enabling real-time full-body imitation: a natural way of transferring human movement to humanoids
JP2020055075A (ja) 拡張現実と複合現実を用いたロボット制御装置及び表示装置
WO2011080882A1 (ja) 動作空間提示装置、動作空間提示方法およびプログラム
CN107943283A (zh) 基于手势识别的机械臂位姿控制系统
CN115469576B (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN107632699A (zh) 基于多感知数据融合的人机自然交互系统
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
US11422625B2 (en) Proxy controller suit with optional dual range kinematics
Zhang et al. A real-time upper-body robot imitation system
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
CN112276914B (zh) 一种基于ar技术的工业机器人及其人机交互方法
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
CN115576426A (zh) 一种针对混合现实飞行模拟器的手部交互方法
CN115686193A (zh) 一种增强现实环境下虚拟模型三维手势操纵方法及系统
JP4997419B2 (ja) ロボット用動作変換システム
Xiong et al. Predictive display and interaction of telerobots based on augmented reality
CN116175582A (zh) 一种基于机器视觉的智能机械臂操控系统及控制方法
Du et al. A novel natural mobile human-machine interaction method with augmented reality
CN114954723B (zh) 仿人机器人
CN115481489A (zh) 基于增强现实的白车身与生产线适配性验证系统及方法
Du et al. An offline-merge-online robot teaching method based on natural human-robot interaction and visual-aid algorithm
CN107738256A (zh) 一种手把手仿人示教机器人编程系统
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170926

Termination date: 20181008

CF01 Termination of patent right due to non-payment of annual fee