CN107943283B - 基于手势识别的机械臂位姿控制系统 - Google Patents

基于手势识别的机械臂位姿控制系统 Download PDF

Info

Publication number
CN107943283B
CN107943283B CN201711088712.3A CN201711088712A CN107943283B CN 107943283 B CN107943283 B CN 107943283B CN 201711088712 A CN201711088712 A CN 201711088712A CN 107943283 B CN107943283 B CN 107943283B
Authority
CN
China
Prior art keywords
module
mechanical arm
joint
simulation
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711088712.3A
Other languages
English (en)
Other versions
CN107943283A (zh
Inventor
禹鑫燚
林美新
欧林林
朱峰
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201711088712.3A priority Critical patent/CN107943283B/zh
Publication of CN107943283A publication Critical patent/CN107943283A/zh
Application granted granted Critical
Publication of CN107943283B publication Critical patent/CN107943283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/02Network-specific arrangements or communication protocols supporting networked applications involving the use of web-based technology, e.g. hyper text transfer protocol [HTTP]
    • H04L67/025Network-specific arrangements or communication protocols supporting networked applications involving the use of web-based technology, e.g. hyper text transfer protocol [HTTP] for remote control or remote monitoring of the application

Abstract

基于手势识别的机械臂位姿控制系统,包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块、机械臂执行模块;智能腕带通过蓝牙无线连接PC端,将智能腕带模块采集的肌电信号传输给远程客户端;远程客户端接收到信号后,将信号转到数据处理模块,在数据处理模块中,对信号进行滤波降噪处理,处理后将手势分类;在数据处理模块中去除噪声之后再利用正逆运动学来求解关节角度;通过两个智能腕带获取操作人员的手臂的关节角度;之后就可以通过远程客户端将关节角度的信号以及操作指令信号传递给智能腕带模块;然后将手势动作的信号发送给仿真模块中的仿真机械臂;仿真臂将信号发送给工作机械臂,机械臂根据信号执行命令。

Description

基于手势识别的机械臂位姿控制系统
技术领域
本发明涉及一种基于手势识别的机械臂位姿控制系统,使实际机械臂通过人体手臂及手势的变化而做出与人体手臂以及手势相同的动作。
背景技术
随着《中国制造2025》的出台,我国制造业正式踏上了以智能制造为重要发展方向的转型升级之路。机器人替代人工生产已经成为未来制造业重要的发展趋势,工业机器人作为“制造业皇冠顶端的明珠”,将大力推动工业自动化、数字化、智能化的早日实现,为智能制造奠定基础。
工业机器人示教就是编程者采用各种示教方法事先“告知”机器人所要进行的动作信息和作业信息等。这些信息大致分为三类:机器人位置和姿态信息,轨迹和路径点等的信息;机器人任务动作顺序等的信息;机器人动作、作业时的附加条件等的信息,机器人动作的速度和加速度等信息和作业内容信息等。
随着机器人技术的日益成熟以及应用的不断普及,机器人正逐渐融入社会生产、生活的各个方面,并发挥越来越不可替代的作用。在“工业4.0”和“中国制造2025”的背景下,为了适应现代工业快速多变的特点以及满足日益增长的复杂性要求,机器人不仅要能长期稳定地完成重复工作,还要具备智能化、网络化、开放性、人机友好性的特点。作为工业机器人继续发展与创新的一个重要方面,示教技术正在向利于快速示教编程和增强人机协作能力的方向发展。
对于在线示教指通常所说的手把手示教,由人直接扳动机器人的手臂对机器人进行示教,如示教盒示教和操作杆示教。在这种示教中,为了示教方便以获取信息的快捷而准确,操作者可以选择在不同的示教系下示教。例如,可以选择关节坐标系,直角坐标系以及工具坐标系或用户坐标系下进行示教。在线示教具有示教过程简单,不需要环境模型;对实际的机器人进行示教时,可以修正机械结构带来的误差等优越性,但也存在技术问题,如机器人的在线示教过程繁琐、效率低;示教的精度完全靠示教者的经验目测决定,对于复杂路径难以取得令人满意的示教效果,对于一些根据外部信息进行实时决策的应用无能为力。为了解决这种问题,工业界提出了一种利用手势并结合传感器技术的手势控制方法。
目前关于手势识别的研究很多,但国内的研究和国外的相比,进展较慢。肖立峰、彭金豹提出基于手势识别的机械臂控制方法及系统(肖立峰、彭金豹.基于手势识别的机械臂控制方法及系统[P].北京:CN106272409A,2017-01-04),基于手势识别的机械臂控制方法及系统提出一种通过采集操作者手部运动数据然后映射为机械臂的运动,转化输出机械臂的控制命令,但是识别的手势相比较而言比较少;朱茂娟、王林冰、曾奇等提出一种机器人及其示教通信系统(朱茂娟,王林冰,曾奇等.机器人及其示教通信系统:中国,205620710[P].2016-01-04),实现了示教采集器与控制器之间的数据通信,但是通信方式是有线的,具有空间局限性且缺少保密性。
发明内容
本发明要克服现有技术的上述缺点,提出一种基于手势识别的机械臂位姿控制系统。
首先该系统使用蓝牙无线通信技术,实现了无线控制,连接方便,数据传输高效稳定,而且无线控制可以扩展工作空间;其次该系统采用两个智能腕带,通过它们所采集到的数据得出人臂的姿态和手势从而将其转换成机械臂控制的指令,使用智能腕带使采集到的数据更加稳定,计算结果更加准确,控制机械臂也更加准确;最后该系统利用肌电信号和陀螺仪信号来识别手势,识别的精度更高,效果更好。
本发明为解决现有技术问题所采用的技术方案是:
一种基于手势识别的机械臂位姿控制系统,其特征在于:包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块和机械臂执行模块;智能腕带通过蓝牙无线连接远程客户端,将智能腕带模块采集的肌电信号传递给远程客户端;远程客户端接收到信号后,将信号传输到数据处理模块,在数据处理模块中,对信号进行滤波降噪处理,处理后将手势分类;然后将手势动作的信号发送给仿真模块中的仿真机械臂模型;将仿真机械臂的末端位置传递给仿真模块中的仿真机械臂模型;仿真模块中的仿真机械臂模型将角度信号作为指令发送给机械臂执行模块;
使用智能腕带进行信号采集,将采集到的信息进行处理,并且智能腕带通过蓝牙适配器与远程客户端进行无线连接,远程客户端与工作机械臂通过TCP/IP协议连接;
各模块的具体构成是:
智能腕带模块:该模块通过蓝牙模块连接远程客户端,并且该模块是可穿戴的,智能腕带模块为无线智能腕带,其包含九轴惯性测量单元,三轴陀螺仪,三轴加速度计和三轴磁力计,进行陀螺仪信号的采集;智能腕带还有8块大小厚薄不一的生物电传感器单元,每个传感器又分为3个电极,通过这24个电极就可以捕捉操作者手臂肌肉运动时产生的生物电变化即肌电信号;
蓝牙通信模块:蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接;蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信;蓝牙模块通过接收远程客户端传输过来的数据和指令信号,并将其发送给智能腕带模块;
远程客户端模块:远程客户端模块一端通过蓝牙通信模块连接智能腕带模块,另一端连接数据处理模块;远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据,再将肌电信号和陀螺仪信号传输给数据处理模块;
数据处理模块:该模块一端连接远程客户端,另一端连接仿真模块;该模块接收来自远程客户端模块中的肌电信号和陀螺仪信号,将接收到的信号与数据通过卡尔曼滤波、低通滤波和正逆运动学求解计算出操作者手臂的关节角度,同时对于可疑的数据进行剔除,将范围内的关节角度数据传递给仿真模块下的仿真机械臂使其做出与人体相同的动作;
仿真模块:该模块一端与数据处理模块相连接,另一端通过TCP/IP协议与执行机械臂相连接;模拟工作机械臂的工作执行情况;该模块通过网络通信接收数据处理模块的数据,再将接收到的数据传输到仿真模块中的仿真机械臂中,使仿真模块中的仿真机械臂模拟出操作者手臂的动作;再通过TCP/IP协议,向机械臂执行模块发送仿真的数据包;
机械臂执行模块:该模块通过TCP/IP协议与仿真模块相连接,通过接收仿真模块的数据包使工作机械臂完成与仿真机械臂相同的动作;
所述的基于手势识别的机械臂位姿控制系统的电脑客户端是基于Linux进行开发的,当系统中的数据处理模块接收到来自远程客户端发送过来的陀螺仪信号和肌电信号后,数据处理模块将接收到的信号与数据先通过滤波算法去除信号中的噪声;然后结合正逆运动学求解,将接收到的陀螺仪信号,采用四元数和坐标变换理论计算出操作者手臂的关节角度,同时对于可疑的数据进行剔除,将范围内的关节角度数据优化后传递给仿真模块下的机械臂,使其做出与人体相同的动作;
所述的数据处理模块中去除噪声后的位姿控制信号,再利用正逆运动学对其进行求解,所述的正逆运动学求解如下:
数据处理模块接收到信号与数据后:
1.1)首先对仿真机械臂构建其D-H参数,即关节1≤i≤6的连杆长度ai、连杆转角αi、连杆偏距di和关节角度θi作为输入量,选择工作机械臂各个关节的关节角度θi作为输出量;
1.2)由于各杆件相对参考坐标系有转动和平移两个动作,因此对每个杆件沿关节轴建立一个关节坐标系,用以下四个参数来描述杆件:
(1)连杆长度ai:关节轴i和关节轴i+1之间公垂线的长度;
(2)连杆转角αi:作一个与两关节轴之间的公垂线垂直的平面,将关节轴i和关节轴i+1投影到该平面,在平面内轴i按右手法则绕ai转向轴i+1,其转角即为连杆转角;
(3)连杆偏距di:公垂线ai-1与关节轴i的交点到公垂线ai与关节轴i+1的交点的有向距离长度;
(4)关节角度θi:ai-1的延长线与ai之间绕关节轴i旋转所形成的夹角角度,即采集得到的仿真机械臂关节角度;
1.3)以基座坐标系作为T0坐标系,设表示i关节坐标系相对i-1关节坐标系的位置和姿态,则:
其中,sθi=sinθi,cθi=cosθi,sαi=sinαi,cαi=cosαi
1.4)对于六自由度机械臂,获得机械臂末端执行器位姿相对固定参考坐标系的变换矩阵(即机械臂末端位置点坐标的变换矩阵):
其中,表示六自由度机械臂末端执行器位姿相对于基轴参考坐标系的变换矩阵,r11表示变换矩阵中第一行第一列的参数,px表示x轴的参数。
1.5)通过两个腕带获取关节角的方法:
建立世界坐标系(xG,yG,zG)以及建立操作者手臂的上臂坐标系(xH,yH,zH),前臂坐标系(xF,yF,zF);R代表旋转矩阵;上标i代表初始位置;下标G、H、F分别代表世界坐标系框架,上臂框架以及前臂框架;相对于第一个智能腕带的坐标系和相对于第二个智能腕带对应的下标的坐标系可以表示为:
其中下标“U”表示佩戴在上臂上的第一个MYO臂章框架,下标“L”表示穿在下臂上的第二个MYO臂章框架;当操作者的手臂做出一个新动作之后,前臂和上臂在世界坐标系的框架下可以用下面的旋转矩阵来描述:
上标f代表操作者手臂的一个新动作;通过第一个腕带的陀螺仪,可以得到一个四元数q=[x,y,z,w]T,可由以下方程求得。
q=xi+yj+zk+w (3)
其中(x,y,z)是标量,表示各轴方向,w是矢量,i,j,k分别为各自参数值。
通过上面等式(3)中的四元数,上臂在全局框架中可以表示为
其中代表上臂相对于全局的坐标系,通过(5)计算出欧拉角α,β,γ,分别代表肩部的三个角度,α代表偏航角,β代表俯仰角,γ代表滚动角:
根据两个智能腕带测到的数据,可以计算出两个肘部关节的角度,Afe代表肘部弯曲的角度,Aps代表肘部滚动的角度,计算公式如下:
Afe=arccos(a12r13+a22r23+a32r33) (6)
Aps=arccos(r11a11+r21a21+r31a33) (7)
经过滤波处理以及角度判断之后将角度值α,β,γ,Afe,Aps发送给仿真模块中的仿真机械臂,通过计算得出手腕的末端位置p(x,y,z);得到末端位置之后通过逆运动学求解出六自由度机械臂的六个关节角,则可按顺序求解得到:
θ1表示第一个关节角度参数,求解方法为
由第一个关节角,通过中间运算公式可得第二个和第三个关节角为
其中,a2为连杆1的长度,d4为连杆4的偏距,c3是cosθ3的缩写,s3是sinθ3的缩写,K为逆运动学求解时的固定常量。
以此类推可以求出第四关节角θ4,并通过c5和s5求出θ5
θ4=Atan2(-r13s1+r23c1,-r13c1c23-r23s1c23+r33s23) (10)
其中,c23=c2c3-s2s3,s23=c2s3+s2c3。r13表示变换矩阵中第一行第三列的参数值。
同理可以通过求解c6和s6,求出第六关节角θ6
其中,Atan2为反正切函数,si=sinθi,ci=cosθi;在每个关节角度求出后,接着判断每个关节角度是不是在限定范围内,将各关节角度发送到仿真模块中的仿真机械臂进行仿真;仿真效果调试好之后,将关节角度和手势指令发送给工作机械臂,实现通过人体手势的动作来控制工作机械臂动作。
本发明的优点和积极效果是:
本发明设计了PC端软件,使用蓝牙无线通信技术,相较于传统的示教器,蓝牙无线通信可以避免有线的拘束,还可以应用于危险环境中;该系统采用肌电信号和陀螺仪信号实现手势的识别,识别精度更高,识别的手势更多,控制机械臂更准确;并对信号进行滤波处理,能够对信号进一步优化;数据处理模块对数据进行正逆运动学求解使再次提高了手势识别的精度和效率。
附图说明
图1a-图1c为本发明的平台组成示意图,其中图1a是机械臂位姿控制系统的上位机操作界面,图1b是MYO智能腕带,图1c是UR5机器人。
图2为本发明的系统示意图。
图3为本发明的控制原理框图。
具体实施方式
以下结合附图对本发明做进一步详述。
一种基于手势识别的机械臂位姿控制系统,如图1所示,平台组成主要包括PC端软件1、智能腕带MYO2和六自由度机械臂3。PC端软件安装在用户的电脑上,便于读取智能腕带MYO的信号以及处理数据,智能腕带与PC端软件,通过蓝牙连接,将无线蓝牙适配器插在电脑上;PC端软件与六自由度机械臂通过局域网无线连接。
结合图2和图3,本发明专利的具体实施方式如下:
本系统依次包括智能腕带模块、蓝牙通信模块、远程客户端模块、数据处理模块、仿真模块、机械臂执行模块,各模块构成如下:
智能腕带模块:该模块通过蓝牙模块连接远程客户端,并且该模块是可穿戴的,智能腕带模块为无线智能腕带,其包含九轴惯性测量单元,三轴陀螺仪,三轴加速度计和三轴磁力计,进行陀螺仪信号的采集;智能腕带还有8块大小厚薄不一的生物电传感器单元,每个传感器又分为3个电极,通过这24个电极就可以捕捉操作者手臂肌肉运动时产生的生物电变化即肌电信号。智能腕带捕捉手势的速度非常快,它捕捉的是人体手臂的肌电信号,并且智能腕带不受场地的限制,交互时会更加自然,同时这是可穿戴的,在移动领域智能腕带具有比较大的优势。
蓝牙通信模块:蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接;蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信;蓝牙模块通过接收远程客户端传输过来的数据和指令信号,并将其发送给智能腕带模块;智能腕带和远程客户端软件通过蓝牙模块无线连接,远程客户端软件通过蓝牙适配器接收信号;通过蓝牙通信模块,智能腕带可以向远程客户端软件发送传感器信号和肌电信号。
远程客户端模块:远程客户端模块一端通过蓝牙通信模块连接智能腕带模块,另一端连接数据处理模块;远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据,再将肌电信号和陀螺仪信号传输给数据处理模块;
数据处理模块:该模块一端连接远程客户端,另一端连接仿真模块;该模块接收来自远程客户端模块中的肌电信号和陀螺仪信号,将接收到的信号与数据通过滤波和正逆运动学求解计算出操作者手臂的关节角度,同时对于可疑的数据进行剔除,将范围内的关节角度数据传递给仿真模块下的机械臂使其做出与人体相同的动作;
仿真模块:该模块一端与数据处理模块相连接,另一端通过TCP/IP协议与执行机械臂相连接;模拟工作机械臂的工作执行情况;该模块通过网络通信接收数据处理模块的数据,再将接收到的数据传输到仿真模块中的仿真机械臂,使仿真模块中的仿真机械臂模拟出操作者手臂的动作;再通过TCP/IP协议,向机械臂执行模块发送仿真的数据包;
机械臂执行模块:该模块通过TCP/IP协议与仿真模块相连接,通过接收仿真模块的数据包使工作机械臂完成与仿真机械臂相同的动作;
用户将智能腕带MYO通过蓝牙与PC端软件相连,PC端软件与机械臂通过局域网连接之后,用户即可运行机器人系统。
PC端软件接收到来自用户的开启指令之后,进入工作状态;用户佩戴好腕带之后做握拳手势,即复位命令;信号稳定之后,用户便可以做出相应的手势来控制机械臂。
智能腕带中的体感传感器(陀螺仪)模块主要由MYO智能腕带和usb蓝牙适配器组成,体感传感器模块连接PC端软件之后,执行采集功能,将陀螺仪信号和肌电信号实时传递给PC端软件,PC端软件将收到的数据发送到数据处理模块,经过数据处理之后得到仿真模块中仿真机械臂的关节角度,通过将关节角度转换为机械臂的末端位置,将末端位置发送给机械臂并保存;
在采集过程中,采集到的角度数据会通过蓝牙无线通信同步发送给ROS仿真软件,ROS软件中的虚拟工作机械臂会跟随操作人员的手势同步运动;虚拟工作臂再通过局域网将信号传递给真实的机械臂,机械臂接收到信号之后也随着操作人员的动作一起运动,同时操作人员手掌可以做出特定的手势向机械臂发送指令,这样就能让机械臂跟随操作人员的手势运动,执行操作指令,可以完成很多人无法进入实际空间的操作。
数据处理模块收到末端位置数据包后,结合当前所使用的机械臂型号的结构参数,用逆运动学公式结合当前所使用的机械臂型号的结构参数得到每个采集时刻优化后的运动角度数据包,具体步骤如下:
1)首先对示教机械臂构建其D-H参数模型,以UR5机器人为例,由于各杆件相对参考坐标系有转动和平移两个动作,因此对每个杆件沿关节轴建立一个关节坐标系,取第n个采集时刻示教机械臂六个关节的D-H连杆参数,如表2所示:
关节i 连杆长度a<sub>i</sub> 连杆转角α<sub>i</sub> 连杆偏距d<sub>i</sub> 关节角θ<sub>i</sub>
1 0 0 0 30°
2 -90° 0 0 -30°
3 0 3 6 -60°
4 -90° 4 8 -90°
5 90° 0 0 60°
6 -90° 0 0 90°
由i关节坐标系相对i-1关节坐标系的位置和姿态的表达式为公式(1)所示。其中,且sθi=sinθi,cθi=cosθi,sαi=sinαi,cαi=cosαi
可以求得示教机械臂末端执行器在第n个采集时刻的位姿相对固定参考坐标系的变换矩阵为:
2)通过两个腕带获取关节角的方法:
建立世界坐标系(xG,yG,zG)以及建立操作者手臂的上臂坐标系(xH,yH,zH),前臂坐标系(xF,yF,zF);R代表旋转矩阵;上标i代表初始位置;下标G、H、F分别代表世界坐标系框架,上臂框架以及前臂框架;相对于第一个智能腕带的坐标系和相对于第二个智能腕带对应的下标的坐标系可以表示为:
其中下标“U”表示佩戴在上臂上的第一个MYO臂章框架,下标“L”表示穿在下臂上的第二个MYO臂章框架;当操作者的手臂做出一个新动作之后,前臂和上臂在世界坐标系的框架下可以用下面的旋转矩阵来描述:
上标f代表操作者手臂的一个新动作;通过第一个腕带的陀螺仪,可以得到一个四元数q=[x,y,z,w]T,其中(x,y,z)是标量,w是矢量,可得q的求解如公式(2)所示
通过上面等式中的四元数,上臂在全局框架中可以由公式(4)和公式(5)求得。
通过这些,计算出欧拉角α,β,γ,分别代表肩部的三个角度,α代表偏航角,β代表俯仰角,γ代表滚动角:
根据两个智能腕带测到的数据,可以计算出两个肘部关节的角度,Afe代表肘部弯曲的角度,Aps代表肘部滚动的角度,计算方法如公式(6)和公式(7)所示。
经过滤波处理以及角度判断之后将角度值α,β,γ,Afe,Aps发送给仿真模块中的仿真机械臂,通过计算得出手腕的末端位置p(x,y,z);得到末端位置之后通过逆运动学求解出六自由度机械臂的六个关节角,则可按顺序求解得到,其求解方法依次为公式(8),公式(9),公式(10),公式(11)和公式(12),最终得到θ1等六个关节角度数值。
要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的类似的其它实施方式,同样属于本发明的保护范围。

Claims (1)

1.一种基于手势识别的机械臂位姿控制系统,其特征在于:包括依次连接的智能腕带模块、远程客户端模块、蓝牙通信模块、数据处理模块、仿真模块和机械臂执行模块;智能腕带通过蓝牙无线连接远程客户端,将智能腕带模块采集的肌电信号传递给远程客户端;远程客户端接收到信号后,将信号传输到数据处理模块,在数据处理模块中,对信号进行滤波降噪处理,处理后将手势分类;然后将手势动作的信号发送给仿真模块中的仿真机械臂模型;将仿真机械臂的末端位置传递给仿真模块中的仿真机械臂模型;仿真模块中的仿真机械臂模型将角度信号作为指令发送给机械臂执行模块;
使用智能腕带进行信号采集,将采集到的信息进行处理,并且智能腕带通过蓝牙适配器与远程客户端进行无线连接,远程客户端与工作机械臂通过TCP/IP协议连接;
各模块的具体构成是:
智能腕带模块:该模块通过蓝牙模块连接远程客户端,并且该模块是可穿戴的,智能腕带模块为无线智能腕带,其包含九轴惯性测量单元,三轴陀螺仪,三轴加速度计和三轴磁力计,进行陀螺仪信号的采集;智能腕带还有数块大小厚薄不一的生物电传感器单元,每个传感器又分为若干个电极,通过这电极就捕捉操作者手臂肌肉运动时产生的肌电信号;
蓝牙通信模块:蓝牙模块一端连接智能腕带模块另一端通过蓝牙的无线传输功能实现与远程客户端的无线连接;蓝牙通信模块通过无线连接实现蓝牙模块与智能腕带的双向通信;蓝牙模块通过接收远程客户端传输过来的数据和指令信号,并将其发送给智能腕带模块;
远程客户端模块:远程客户端模块是基于Linux进行开发的,一端通过蓝牙通信模块连接智能腕带模块,另一端连接数据处理模块;远程客户端模块通过蓝牙通信模块接收智能腕带模块采集到的肌电信号和陀螺仪信号数据,再将肌电信号和陀螺仪信号传输给数据处理模块;
数据处理模块:一端连接远程客户端,另一端连接仿真模块;数据处理模块接收来自远程客户端模块中的肌电信号和陀螺仪信号,将接收到的信号与数据通过卡尔曼滤波、低通滤波和正逆运动学求解计算出操作者手臂的关节角度,同时对于可疑的数据进行剔除,将范围内的关节角度数据传递给仿真模块下的仿真机械臂使其做出与人体相同的动作;数据处理模块利用正逆运动学求解计算出操作者手臂的关节角度的具体方式如下:
数据处理模块接收到信号与数据后:
3.1)首先对仿真机械臂构建其D-H参数,即关节1≤i≤6的连杆长度ai、连杆转角αi、连杆偏距di和关节角度θi作为输入量,选择工作机械臂各个关节的关节角度θi作为输出量;
3.2)由于各杆件相对参考坐标系有转动和平移两个动作,因此对每个杆件沿关节轴建立一个关节坐标系,用以下四个参数来描述杆件:
(1)连杆长度ai:关节轴i和关节轴i+1之间公垂线的长度;
(2)连杆转角αi:作一个与两关节轴之间的公垂线垂直的平面,将关节轴i和关节轴i+1投影到该平面,在平面内轴i按右手法则绕ai转向轴i+1,其转角即为连杆转角;
(3)连杆偏距di:公垂线ai-1与关节轴i的交点到公垂线ai与关节轴i+1的交点的有向距离长度;
(4)关节角度θi:ai-1的延长线与ai之间绕关节轴i旋转所形成的夹角角度,即采集得到的仿真机械臂关节角度;
3.3)以基座坐标系作为T0坐标系,表示i关节坐标系相对i-1关节坐标系的位置和姿态,则:
其中,sθi=sinθi,cθi=cosθi,sαi=sinαi,cαi=cosαi
3.4)对于六自由度机械臂,获得工作机械臂末端执行器位姿相对固定参考坐标系的变换矩阵,即工作机械臂末端位置点坐标的变换矩阵:
其中,表示工作机械臂末端执行器位姿相对于基轴参考坐标系的变换矩阵,rmn表示变换矩阵中第m行第n列的参数,px表示x轴的参数;py表示y轴的参数;pz表示z轴的参数;
3.5)通过两个腕带获取关节角度的方法:
建立世界坐标系(xG,yG,zG)以及建立操作者手臂的上臂坐标系(xH,yH,zH),前臂坐标系(xF,yF,zF);R代表旋转矩阵;上标i代表初始位置;下标G、H、F分别代表世界坐标系框架,上臂框架以及前臂框架;相对于第一个智能腕带的坐标系和相对于第二个智能腕带对应的下标的坐标系可以表示为:
其中下标“U”表示佩戴在上臂上的第一个MYO臂章框架,下标“L”表示穿在下臂上的第二个MYO臂章框架;当操作者手臂做出一个新动作之后,上臂和前臂在世界坐标系的框架下可以用下面的旋转矩阵来描述:
上标f代表操作者手臂的一个新动作;通过第一个腕带的陀螺仪,可以得到一个四元数q=[x,y,z,w]T,可由以下方程求得:
q=xi+yj+zk+w (3)
其中(x,y,z)是标量,表示各轴方向,w是矢量,i,j,k分别为各自参数值;
通过上面等式(3)中的四元数,上臂在全局框架中可以表示为:
其中代表上臂相对于全局的坐标系,通过(5)计算出欧拉角α,β,γ,分别代表肩部的三个角度,α代表偏航角,β代表俯仰角,γ代表滚动角;Atan2为反正切函数;s为sin的缩写,sβ即sinβ;
根据两个智能腕带测到的数据,可以计算出两个肘部关节的角度,Afe代表肘部弯曲的角度,Aps代表肘部滚动的角度,计算公式如下:
Afe=arccos(a12r13+a22r23+a32r33) (6)
Aps=arccos(r11a11+r21a21+r31a33) (7)
经过滤波处理以及角度判断之后将角度值α,β,γ,Afe,Aps发送给仿真模块中的仿真机械臂,通过计算得出手腕的末端位置p(x,y,z);得到末端位置之后通过逆运动学求解出工作机械臂的六个关节角度,则可按顺序求解得到:
θ1表示第一个关节角度参数,求解方法为:
由第一个关节角度,通过中间运算公式可得第二个和第三个关节角度为:
其中,a2为连杆1的长度,d4为连杆4的偏距,c3是cosθ3的缩写,s3是sinθ3的缩写,K为逆运动学求解时的固定常量;
以此类推可以求出第四关节角度θ4,并通过c5和s5求出θ5
θ4=Atan2(-r13s1+r23c1,-r13c1c23-r23s1c23+r33s23) (10)
其中,c23=c2c3-s2s3,s23=c2s3+s2c3;r13表示变换矩阵中第一行第三列的参数值;
同理可以通过求解c6和s6,求出θ6
其中,si=sinθi,ci=cosθi
在每个关节角度求出后,接着判断每个关节角度是不是在限定范围内,将各关节角度发送到仿真模块中的仿真机械臂进行仿真;
仿真模块:一端与数据处理模块相连接,另一端通过TCP/IP协议与执行机械臂相连接;模拟工作机械臂的工作执行情况;仿真模块通过网络通信接收数据处理模块的数据,再将接收到的数据传输到仿真模块中的仿真机械臂中,使仿真模块中的仿真机械臂模拟出操作者手臂的动作;再通过TCP/IP协议,向机械臂执行模块发送仿真的数据包;
机械臂执行模块:通过TCP/IP协议与仿真模块相连接,通过接收仿真模块的数据包使工作机械臂完成与仿真机械臂相同的动作。
CN201711088712.3A 2017-11-08 2017-11-08 基于手势识别的机械臂位姿控制系统 Active CN107943283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711088712.3A CN107943283B (zh) 2017-11-08 2017-11-08 基于手势识别的机械臂位姿控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711088712.3A CN107943283B (zh) 2017-11-08 2017-11-08 基于手势识别的机械臂位姿控制系统

Publications (2)

Publication Number Publication Date
CN107943283A CN107943283A (zh) 2018-04-20
CN107943283B true CN107943283B (zh) 2021-02-02

Family

ID=61933537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711088712.3A Active CN107943283B (zh) 2017-11-08 2017-11-08 基于手势识别的机械臂位姿控制系统

Country Status (1)

Country Link
CN (1) CN107943283B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109001986A (zh) * 2018-09-20 2018-12-14 南京邮电大学 一种网络化柔性机械臂控制仿真平台及其工作方法
CN109164829B (zh) * 2018-10-23 2021-08-27 哈尔滨工业大学(深圳) 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法
CN109558826B (zh) * 2018-11-23 2021-04-20 武汉灏存科技有限公司 基于模糊聚类的手势识别方法、系统、设备及存储介质
CN109984514A (zh) * 2019-03-22 2019-07-09 杨松 电动床遥控器及遥控电动床的方法
WO2021127839A1 (zh) * 2019-12-23 2021-07-01 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种"Eye-in-Hand"机器人-3D相机标定方法
CN111730601B (zh) * 2020-07-20 2021-01-01 季华实验室 一种穿戴式示教器示教控制方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005383A (zh) * 2015-07-10 2015-10-28 昆山美莱来工业设备有限公司 一种利用手势操控移动机器人的可穿戴臂环
CN105014676A (zh) * 2015-07-03 2015-11-04 浙江大学 一种机器人运动控制方法
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN106530926A (zh) * 2016-11-29 2017-03-22 东南大学 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
WO2017131318A1 (ko) * 2016-01-27 2017-08-03 연세대학교 원주산학협력단 수화 인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
CN105014676A (zh) * 2015-07-03 2015-11-04 浙江大学 一种机器人运动控制方法
CN105005383A (zh) * 2015-07-10 2015-10-28 昆山美莱来工业设备有限公司 一种利用手势操控移动机器人的可穿戴臂环
WO2017131318A1 (ko) * 2016-01-27 2017-08-03 연세대학교 원주산학협력단 수화 인식 시스템 및 방법
CN106530926A (zh) * 2016-11-29 2017-03-22 东南大学 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法

Also Published As

Publication number Publication date
CN107943283A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107943283B (zh) 基于手势识别的机械臂位姿控制系统
WO2018137445A1 (zh) 一种基于ros系统的机械臂抓取方法及系统
Kang et al. Toward automatic robot instruction from perception-temporal segmentation of tasks from human hand motion
CN204997657U (zh) 一种具有模仿功能的仿生机械手
CN103895022A (zh) 穿戴式体感控制机械手
CN108638069B (zh) 一种机械臂末端精确运动控制方法
WO2018219194A1 (zh) 基于数据手臂的面向空间站机器人的遥操作系统
CN107953331B (zh) 一种应用于人形机器人动作模仿的人体姿态映射方法
CN107363813B (zh) 一种基于可穿戴设备的桌面工业机器人示教系统和方法
CN107450376B (zh) 一种基于智能移动平台的服务机械臂抓取姿态角计算方法
CN106514667A (zh) 基于Kinect骨骼追踪和无标定视觉伺服的人机协作系统
CN108098780A (zh) 一种新型的机器人仿人运动系统
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN107804474A (zh) 携带冗余度机械臂的多旋翼飞行机器人整机系统设计方法
CN107856014B (zh) 基于手势识别的机械臂位姿控制方法
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
CN104760044A (zh) 一种无动力关节臂式示教器及其在工业机器人中的应用
Çoban et al. Wireless teleoperation of an industrial robot by using myo arm band
Grasshoff et al. 7dof hand and arm tracking for teleoperation of anthropomorphic robots
CN109483517A (zh) 一种基于手姿追踪的协作机器人示教方法
CN110757471A (zh) 一种基于计算机视觉的舞蹈机器人的系统及其操作方法
CN109895104A (zh) 一种仿人机器人系统
CN107914273A (zh) 基于手势控制的机械臂示教系统
Hong et al. Interactive humanoid robot arm imitation system using human upper limb motion tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant