CN110142769A - 基于人体姿态识别的ros平台在线机械臂示教系统 - Google Patents

基于人体姿态识别的ros平台在线机械臂示教系统 Download PDF

Info

Publication number
CN110142769A
CN110142769A CN201910287288.8A CN201910287288A CN110142769A CN 110142769 A CN110142769 A CN 110142769A CN 201910287288 A CN201910287288 A CN 201910287288A CN 110142769 A CN110142769 A CN 110142769A
Authority
CN
China
Prior art keywords
module
human
robot
attitude
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910287288.8A
Other languages
English (en)
Inventor
禹鑫燚
胡晨佳
董云帆
欧林林
王正安
周晨
章焕锭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910287288.8A priority Critical patent/CN110142769A/zh
Publication of CN110142769A publication Critical patent/CN110142769A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Abstract

基于人体姿态识别的ROS平台在线机械臂示教系统,搭建在开源机器人操作平台ROS之上,包括:用于采集人体姿态数据的IMU模块、图像预处理模块以及关节识别模块,用于求解人体实时姿态与位置的人体姿态求解模块,用于控制机械臂动作的机器人行为决策模块与机器人IO模块。其中,机器人决策模块根据求得的人体姿态数据发出控制指令,该指令通过机器人IO模块发送至机械臂以实现实时示教。还包括信息显示模块。本发明提供一种对操作人员技术水平要求低、精度高、操作环境限制小的在线机械臂示教系统。

Description

基于人体姿态识别的ROS平台在线机械臂示教系统
技术领域
本发明设计一种在线机械臂示教系统,尤其是一种基于人体姿态识别的ROS平台在线机械臂示教系统。
背景技术
近年,我国机器人行业飞速发展,以长三角、珠三角地区城市为首,全国已有36个城市将机器人作为当地产业发展重点,财政补助额度大幅增长。浙江省省级财政已累计安排近6亿资金支持“机器换人”技术改造,出台工业机器人购置奖励补贴政策,省与地方1:2配套,购置工业机器人按价格10%补贴。根据预测,2020年我国工业机器人本体的市场规模将达到380亿元。《机器人产业发展规划(2016-2020年)》指出,到2020年,我国工业机器人使用密度将超过150台/万人。
目前我国机器人行业主要集中在机器人本体和继承端。工业机器人的编程软件主要由国外企业开发,价格昂贵且对中文的支持也不好等劣势极大地阻碍了我国“机器换人”技术改造。目前机器人的示教方式主要有离线示教、虚拟示教及直接示教三种。其中离线示教对操作人员的技术水平要求较高;虚拟示教需要先构建复杂的作业环境,操作繁琐且成本较高;直接示教虽然操作简单、成本低,但无法用于高精度作业。因此一款灵活精确且具有普遍推广性的机器人示教系统是目前工业机器人市场所缺乏的,极具实用意义。
相较与传统的机器人示教系统,如申请号201710396562.6设计的对机械臂的主从模式示教系统,该示教系统要求操作人员拖动主控机械臂使从动机械臂按照主控机械臂示教轨迹运行,虽然能很好的适用于非重复性和实时控制要求较高的工作,但由于操作人员与机械臂直接接触而存在一定安全隐患。本发明通过人体进行示教,操作人员只需穿戴相应的传感器,上位机通过传感器获取人体运动的实时轨迹信息向机械臂发出控制指令使之进行相同的动作,不存在安全隐患,可远程在线示教,且示教过程更加简单。申请号201711088599.9设计的基于手势控制的机械臂示教系统也采用了对工作端安装传感器来获取运动信息的方式,但控制精度不高。
发明内容
本发明要克服现有技术的上述缺点,提出一种基于ROS开发的新型机器人示教系统。
本发明通过基于视觉和IMU的人体动作捕捉技术来进行示教,让机器人的使用变得更加方便灵活,提高示教效率,降低系统成本的同时也保证了机器人动作再现的精度,让机器人能够运用于更多场景,以达到可以使用一个特定的示教系统用极低的价格解决机器人示教问题。
本发明为解决现有技术问题所采用的技术方案是:
一种基于人体姿态识别的ROS平台在线机械臂示教系统,搭建在开源机器人操作平台ROS之上,包括:用于采集人体姿态数据的IMU模块、图像预处理模块以及关节识别模块,用于求解人体实时姿态与位置的人体姿态求解模块,用于控制机械臂动作的机器人行为决策模块与机器人IO模块;其中,机器人决策模块根据求得的人体姿态数据发出控制指令,该控制指令通过机器人IO模块发送至机械臂以实现实时示教;
IMU模块,用于对IMU传输给上位机的信息进行解析,解析完成后把测量数据转换至参考坐标系下,并将加速度信息和旋转信息提供给人体姿态的优化求解器中。
图像预处理模块,用于确定参考坐标系的位置,并将参考坐标系发布至tf空间中。tf(Transform Frame)是软件库,它可以处理机器人不同位置坐标系,机器人不同部位和世界的坐标系以tree structure的形式存储起来,tf可以使任何两个坐标系之间的点和向量相互转化。此外,该模块还用于为关节识别模块提供各个相机的彩色图像在降采样并拼接后的图像,并将图像发布给关节位置识别模块。
关节位置识别模块,用于对所有画面中的人物的关节位置进行位置识别,通过对从预处理模块中获得的多个相机的拼接图像进行识别,使得同一画面即使出现多人的情况下也不会明显的降低算法的性能。通过对输出的结果进行置信度过滤,并去除与上一帧识别结果相差过大的对象,最后将唯一剩余的对象的关节数据发布给人体姿态求解模块。
信息显示模块,用于实时显示3D的人体姿态和机器人姿态,同时能够将人体姿态模块求解的三维姿态结果重新投影至相机拍摄的图像中,以便操作人员观察自身姿态识别是否正常。同时,该模块也会显示机器人的行动目标,以此操作人员可监控示教状态。
人体姿态求解模块,用于接收IMU模块和关节位置识别模块提供的信息并解算重构出人体的姿态,在每一帧信息求解结束后会将人体的姿态和位置信息以参考坐标系为准发布至tf空间中。
机器人行为决策模块,用于根据tf空间中机器人自身与周边操作人员的情况来进行行为决策,给出机器人的运动目标,并向机器人IO模块发出控制指令。此外该模块也会对操作人员不合理的指示进行过滤或重新定向,并向操作人员发出提示或警告。
机器人IO模块,用于求解机械臂基座位姿态,并通过正运动学求解,向tf空间实时发送机器人的空间运动状态。此外,该模块也提供了控制机器人的接口,对机器人的控制指令可以通过该模块进行实际的执行。
优选地,所述的IMU模块提供的旋转信息、加速度信息和关节识别模块提供的2D关节位置信息共同用于该系统中人体姿态的解算。
优选地,所述的信息显示模块通过接收人体姿态求解模块和机械臂IO模块提供的信息可反馈给操作者自身的动作姿态和机械臂再现的姿态,为操作者实时监控示教系统搭建了平台,增强了系统的可靠性,安全性。
选有的,所述的机器人行为决策模块内置控制算法以实现平滑运动。同时可对不合理操作指示进行过滤或重新定向,并向操作人员发出提示或警告。
本发明的优点和积极效果是:
本发明使用的示教者动作捕捉为视觉数据采集和IMU信息采集相结合的技术,视觉和IMU的结合既削减了只使用IMU人体捕捉的线性加速度易造成的误差,提高了示教系统的精确度,又保留了IMU人体捕捉技术低成本、高效率、高灵活度的优点。较之于离线示教和虚拟示教,示教者只需要在相机下佩戴IMU惯性测量单元执行示教动作即可完成整个示教过程,降低了操作人员的技术水平要求和系统成本,具有简单、高效、低成本的特点。相比于直接示教,该技术使用了2D关节位置信息、旋转信息和加速度信息共同计算人体姿态,因此具备高精度、操作环境限制小的优势,使得该系统在绝大部分场合都能成功进行示教。
本发明的技术、算法具有横向领先型,涵盖了机器人标定算法、数据采集技术、人体姿态识别和动作捕捉技术,并将研究成果集成于机器人中,搭建成一个完成的机器人示教系统。多种算法融合了经典的传统算法和新颖的深度学习算法,不仅拥有较高的检测率,还具备较强的实时性和智能交互性。
本发明能够让机器人通过视觉学习作业人员的行为来完成轨迹规划,避免了繁琐的离线编程以及对作业人员的编程能力,仅需要一名富有经验的操作人员完成一遍动作即可,缓解了急缺人才资源的社会问题。
附图说明
图1是本发明的系统框图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于人体姿态识别的ROS平台在线机械臂示教系统,如图1所示,包括彩色摄像机Microsoft KinectV2两台,基于JY901和蓝牙模块制作的IMU五个,安装Ubuntu系统的计算机一台,Universal Robot公司生产的UR5机械臂一台。相机与计算机通过USB连接传输数据,IMU与电脑通过蓝牙进行数据传输,机械臂通过局域网与计算机相连接。本系统中计算机的CPU使用Intel Core i7-7800K 3.50Ghz,GPU使用的是Nvidia TITAN Xp。
结合图1,本发明专利的原理及使用过程如下:
图像预处理模块首先将被彩色相机识别的AR标识ArUco Marker#0作为整个系统的参考坐标系和IMU的参考坐标系。然后操作者可根据自己需要跟踪的骨骼需求对肢体进行IMU的粘贴,在本实例中,操作者在背部,上臂和手背分别粘贴了IMU,用于估计上肢的姿态。在开始采集操作者的姿态信息前,操作者需要按照预先设定的姿势站立来进行一次对IMU和跟踪骨骼之间固定的旋转变换的标定;在标定过程中,操作者的站立方向需与参考坐标系的方向一致以保证加速度信息能被正确的利用。IMU通过蓝牙以16进制数据包的形式向上位机发送测量数据,上位机将数据解析后将数据传输到人体姿态求解模块中。关节位置识别模块使用了CPM(Convolutional Pose Machine)对预处理模块输出的图像中的人体关节位置进行识别,并将关节位置信息输出至人体姿态求解模块。人体姿态求解模块结合IMU模块和关节位置识别模块输出的信息,对人体姿态进行求解。这之后人体姿态求解模块的结果将通过tf空间传递到机器人行为决策模块当中,通过已知的人体姿态,用逆运动学解出需要向机械臂发送的示教指令,通过IO模块的输出后实现示教。其中该流程中的信息显示模块可以接收人体姿态求解模块和机器人IO模块的信息,以此向操作者显示自身姿态在ROS平台上求解后的变化和机器人最终执行的真实示教动作,如图1所示。
要强调的是,本发明所述的实例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式所述的实例,凡是由本领域技术人员根据本发明的技术方案得出的其他等同实施方式,同样属于本发明的保护范围。

Claims (4)

1.一种基于人体姿态识别的ROS平台在线机械臂示教系统,搭建在开源机器人操作平台ROS之上,包括:用于采集人体姿态数据的IMU模块、图像预处理模块以及关节识别模块,用于求解人体实时姿态与位置的人体姿态求解模块,用于控制机械臂动作的机器人行为决策模块与机器人IO模块;其中,机器人决策模块根据求得的人体姿态数据发出控制指令,该控制指令通过机器人IO模块发送至机械臂以实现实时示教,其特征在于:包括:
IMU模块,包括惯性测量单元IMU,为人体姿态求解模块提供IMU的测量数据;求解硬件系统内部信息,以数据包形式向上位机发送测量数据,上位机拥有解包模块将数据就行解析;解包完成后把测量数据转换至参考坐标系下,并将加速度信息和旋转信息提供给人体姿态的优化求解器中;
图像预处理模块,用于确定参考坐标系的位置,并将参考坐标系发布至tf空间中;tf(Transform Frame)是软件库,它可以处理机器人不同位置坐标系,机器人不同部位和世界的坐标系以tree structure的形式存储起来,tf可以使任何两个坐标系之间的点和向量相互转化;图像预处理模块还用于为关节识别模块提供各个相机的彩色图像在降采样并拼接后的图像,并将图像发布给关节位置识别模块;
关节位置识别模块,用于对所有画面中的人物的关节位置进行位置识别,通过对从预处理模块中获得的多个相机的拼接图像进行识别,使得同一画面即使出现多人的情况下也不会明显的降低算法的性能;通过对输出的结果进行置信度过滤,并去除与上一帧识别结果相差过大的对象,最后将唯一剩余的对象的关节数据发布给人体姿态求解模块;
信息显示模块,用于将人体姿态模块求解的三维姿态结果重新投影至相机拍摄的图像中,以便操作人员和监控人员可以观察自身姿态识别是否正常;信息显示模块也会显示机器人目前姿态和行动目标,辅助操作人员监控示教状态;
人体姿态求解模块,用于接收IMU模块和关节位置识别模块提供的信息并解算重构出人体的姿态,在每一帧信息求解结束后会将人体的姿态和位置信息以参考坐标系为准发布至tf空间中;
机器人行为决策模块,用于根据tf空间中机器人自身与周边操作人员的情况来进行行为决策,给出机器人的运动目标,并向机器人IO模块发出控制指令;机器人行为决策模块也会对操作人员不合理的指示进行过滤或重新定向,并向操作人员发出提示或警告;
机器人IO模块,用于求解机械臂基座姿态,并通过正运动学求解,向tf空间实时发送机器人的空间运动状态;此外,机器人IO模块也提供了控制机器人的接口,对机器人的控制指令可以通过该模块进行实际的执行。
2.根据权利要求1所述的基于人体姿态识别的ROS平台在线机械臂示教系统,其特征在于:所述的IMU模块提供的旋转信息、加速度信息和关节识别模块提供的2D关节位置信息共同用于人体姿态的解算。
3.根据权利要求1所述的基于人体姿态识别的ROS平台在线机械臂示教系统,其特征在于:所述的信息显示模块通过接收人体姿态求解模块和机械臂IO模块提供的信息可反馈给操作者自身的动作姿态和机械臂再现的姿态,为操作者实时监控示教系统搭建了平台。
4.根据权利要求1所述的基于人体姿态识别的ROS平台在线机械臂示教系统,其特征在于:所述的机器人行为决策模块内置控制算法以实现平滑运动;同时对不合理操作指示进行过滤或重新定向,并向操作人员发出提示或警告。
CN201910287288.8A 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教系统 Pending CN110142769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910287288.8A CN110142769A (zh) 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910287288.8A CN110142769A (zh) 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教系统

Publications (1)

Publication Number Publication Date
CN110142769A true CN110142769A (zh) 2019-08-20

Family

ID=67589637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910287288.8A Pending CN110142769A (zh) 2019-04-11 2019-04-11 基于人体姿态识别的ros平台在线机械臂示教系统

Country Status (1)

Country Link
CN (1) CN110142769A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111231892A (zh) * 2019-12-29 2020-06-05 的卢技术有限公司 一种基于人脸和手势识别的汽车自动解锁控制方法及系统
CN111823215A (zh) * 2020-06-08 2020-10-27 深圳市越疆科技有限公司 一种工业机器人的同步控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104552299A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种机器人离线示教装置及补偿示教方法
CN108127673A (zh) * 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互系统
EP3368954A1 (de) * 2015-10-30 2018-09-05 Kaba Ag Verfahren, steuerungssystem und bewegungsvorgabemittel zum steuern der bewegungen von gelenkarmen eines industrieroboters
CN109465832A (zh) * 2018-12-18 2019-03-15 哈尔滨工业大学(深圳) 高精度视觉和imu紧融合定位方法与系统
KR20190027490A (ko) * 2017-09-07 2019-03-15 전자부품연구원 옥내 소화전 사용 훈련을 위한 키넥트 센서 및 imu 기반 모션 트래킹 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104552299A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种机器人离线示教装置及补偿示教方法
EP3368954A1 (de) * 2015-10-30 2018-09-05 Kaba Ag Verfahren, steuerungssystem und bewegungsvorgabemittel zum steuern der bewegungen von gelenkarmen eines industrieroboters
KR20190027490A (ko) * 2017-09-07 2019-03-15 전자부품연구원 옥내 소화전 사용 훈련을 위한 키넥트 센서 및 imu 기반 모션 트래킹 방법
CN108127673A (zh) * 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互系统
CN109465832A (zh) * 2018-12-18 2019-03-15 哈尔滨工业大学(深圳) 高精度视觉和imu紧融合定位方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111231892A (zh) * 2019-12-29 2020-06-05 的卢技术有限公司 一种基于人脸和手势识别的汽车自动解锁控制方法及系统
CN111823215A (zh) * 2020-06-08 2020-10-27 深圳市越疆科技有限公司 一种工业机器人的同步控制方法及装置

Similar Documents

Publication Publication Date Title
Ramey et al. Integration of a low-cost RGB-D sensor in a social robot for gesture recognition
CN110142769A (zh) 基于人体姿态识别的ros平台在线机械臂示教系统
CN104942808A (zh) 机器人运动路径离线编程方法及系统
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制系统及方法
CN106313049A (zh) 一种仿人机械臂体感控制系统及控制方法
CN109822579A (zh) 基于视觉的协作机器人安全控制方法
CN102848389A (zh) 基于视觉运动捕捉的机械臂标定及跟踪系统实现方法
CN102221884B (zh) 一种基于摄像机实时定标的可视遥在装置及其工作方法
CN107199566B (zh) 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107257946B (zh) 用于虚拟调试的系统
Ma et al. A framework for interactive work design based on motion tracking, simulation, and analysis
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
CN105500370A (zh) 一种基于体感技术的机器人离线示教编程系统及方法
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法,设备及存储介质
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
Zhang et al. A real-time upper-body robot imitation system
Collett et al. Augmented reality visualisation for player
CN108364034A (zh) 一种多模式耦合的动作捕捉方法及装置
Kohn et al. Towards a real-time environment reconstruction for VR-based teleoperation through model segmentation
Cichon et al. Robotic teleoperation: Mediated and supported by virtual testbeds
Lathuiliere et al. Visual hand posture tracking in a gripper guiding application
Tominaga et al. Symbolic representation of trajectories for skill generation
CN107856014B (zh) 基于手势识别的机械臂位姿控制方法
CN110385694A (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination