CN111251277B - 一种基于示教学习的人机协作工具递交系统及方法 - Google Patents
一种基于示教学习的人机协作工具递交系统及方法 Download PDFInfo
- Publication number
- CN111251277B CN111251277B CN202010077686.XA CN202010077686A CN111251277B CN 111251277 B CN111251277 B CN 111251277B CN 202010077686 A CN202010077686 A CN 202010077686A CN 111251277 B CN111251277 B CN 111251277B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- tool
- teaching
- track
- upper computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
本发明属于人工智能和机器人控制领域,具体地说涉及一种基于示教学习的人机协作工具递交系统及方法。人机协作工具递交系统包括机械臂、动作捕捉系统定位点、PC上位机。机械臂为具有运动控制功能的多轴机械臂,动作捕捉系统定位点贴在工具上和用户手上,使用动作捕捉系统获取定位点位置,从而获取工具和人手的位置,PC上位机与机械臂可进行实时通信。本发明搭建了人机协作工具递交系统,PC上位机基于示教过程中采集的机械臂末端位置数据,建立示教数据集,生成轨迹概率模型,并针对用户手腕位置变化生成新的轨迹概率模型,机械臂在PC上位机的控制指令下和人一起完成工具递交任务,达到动态轨迹规划的要求。
Description
技术领域
本发明属于人工智能和机器人控制领域,具体地说涉及一种基于示教学习的人机协作工具递交系统及方法
背景技术
加工制造技术是经济竞争的核心,随着加工方法的不断丰富,加工过程中所用到的工具也越来越多,不停地去工具库中拿取工具到加工地是一个费时费力的事情,极大地降低了工作效率。人和机器人协作可以提高生产效率,改善产品质量,是机器人领域的研究热点之一。同时人机协作在工具递交中也能发挥出巨大的优势,例如在工作环境中,可以通过预测人的行为,然后控制机械臂给人递交相应的工具,以此加快生产效率。
而协作机器人的控制方法中“示教学习”相对于传统机器人编程,具有工作量少、对不同任务适应性好、对新手友好的优势。但是现有的示教学习方法“基于DMP的模仿学习方法”对时间具有依赖性,对时间扰动较为敏感,稳定性较差;“基于行为复制(BC)的方法”的模仿动作局限于示教动作范围内,适应性较差。因此,针对人机协作工具递交作业,为实现高的稳定性,必须要求生成的概率模型针对不同的运动起点和终点都要有好的收敛性,而且面对用户手位置的变化,应能实时生成新的运动轨迹,达到动态轨迹规划的要求。
发明内容
鉴于上述现有方法的不足,本发明的目的在于提供一种基于示教学习的人机协作工具递交系统,该系统中PC上位机能基于示教过程中采集的机械臂末端位置数据,建立示教数据集,生成概率模型,并针对用户手腕位置变化生成新的轨迹概率模型,机械臂在PC上位机的控制指令下和人一起完成工具递交任务,达到动态轨迹规划的要求。
为了解决上述问题,本发明采用的技术方案是:
一种基于示教学习的人机协作工具递交系统,其特征在于:包括
机械臂:具有运动控制功能的多轴机械臂,机械臂在PC上位机的指令下,抓取工具递交给用户;
动作捕捉系统定位点:定位点贴在工具上和用户手上,用于获取其位置,
PC上位机:与机械臂、动作捕捉系统可进行实时通信,PC上位机搭建的控制系统基于ROS(Robot Operating System)平台。
在上述的一种基于示教学习的人机协作工具递交系统,PC上位机能针对用户手腕位置变化生成新的轨迹概率模型,控制机械臂和人一起完成工具递交任务,达到动态轨迹规划的要求。
一种基于示教学习的人机协作工具递交方法,该方法采用的设备包括机械臂、动捕定位点和PC上位机,其特征在于,包括以下步骤:
步骤1、用手握住机械臂末端执行器进行抓取物体和递交物体示教数据采集;
步骤2、针对示教数据进行模型训练,生成轨迹概率模型,PC上位机通过逆运动学将轨迹转化为机械臂的关节角度;
步骤3、动作捕捉系统获取工具和用户手的位置;
步骤4、机械臂运动到工具处抓取工具;
步骤5、PC上位机根据用户手的位置变化生成新的轨迹概率模型,控制机械臂将工具交到人手上,完成递交任务,达到动态轨迹规划的要求。
在上述的一种基于示教学习的人机协作工具递交方法,步骤2中示教过程包括:
步骤2.1、用手握住机械臂末端执行器,从起始位置拖动至工具摆放处完成一次抓取示教;
步骤2.2、改变工具的摆放位置重复5次①中的操作;
步骤2.3、从工具摆放处拖动机械臂到用户手上完成一次递交示教;
步骤2.4、改变人手的位置重复6次③中的操作,完成所有示教。
在上述的一种基于示教学习的人机协作工具递交方法,步骤3中每次示教过程中采集机械臂末端的位置数据,建立示教数据集其中P为示教轨迹数,维度D=4,包括t,x,y,z,T为时间序列(一条轨迹上点的个数),示教数据还包括每条轨迹起点和终点的坐标系;
针对示教数据进行模型训练,首先将示教轨迹分别变换到起点和终点坐标系进行GMM(高斯混合模型)编码,求取轨迹点的概率分布模型;GMM参数主要包括其中πi为第i个高斯分布混合系数,μi,∑i分别是第i个高斯分布的均值和协方差矩阵,参数K根据贝叶斯准则(Bayesian Information Criterion,BIC)确定;
将所得GMM模型分别进行GMR(高斯混合回归)回归,以时间序列作为输入,轨迹三维坐标作为输出,对应条件概率的概率分布为
该训练好的模型,针对工具递交中不同的起点和终点能生成对应的轨迹概率分布模型;先把训练得到的起点和终点坐标系GMR模型分别变换到新的起点坐标系和终点坐标系,然后把对应序列的高斯分布进行乘积:
针对不同的起点和终点,训练好的模型可以生成对应的轨迹概率模型;由于生成的轨迹在起点和终点位置有细微偏差,通过沿坐标轴缩放得到最终的轨迹概率模型。
本发明由于采用以上技术方案,具有以下优点:1、将示教学习应用到机械臂控制中,提高了工作效率,而无需人工编程所需要的相关专业技能和知识,对于初学者来说上手容易。2、能针对用户手腕位置变化生成新的轨迹概率模型,机械臂在PC上位机的控制指令下和人一起完成工具递交任务,达到动态轨迹规划的要求。3、算法通用性好,基于ROS系统,便于算法的移植,对于不同机器人的人机协作场景,都具有一定的参考性。
附图说明
图1是本发明人机协作工具递交系统示意图。
图2是本发明系统各部分通信图。
图3示教学习步骤框图。
图4是根据新起点和终点生成的轨迹。
图5是本发明系统流程图。
具体实施方式
下面结合附图来对本发明提供的人机协作工具递交系统进行详细说明,所述是对本发明的解释而不是限定。
本发明为一种基于示教学习的人机协作工具递交系统,用到的设备如图1所示,包含机械臂1,PC上位机2,动捕定位点3、4,所述机械臂1为具有控制功能的多轴机械臂,PC上位机2与机械臂1以及动作捕捉系统通信相连,运行过程中,机械臂1在PC上位机2的指令下运动到动捕点3工具所在处抓取工具再运动到动捕点4人手所在处完成工具递交,所述PC上位机2搭建的控制系统基于ROS平台。所述控制系统基于ROS平台,包括控制算法节点,利用动作捕捉系统获取动捕定位点3、4位置和控制机械臂1运动的节点。机械臂1、动作捕捉系统和PC上位机连接至同一局域网,各部分通信图如图2所示。机械臂1与PC之间采用Modbus通信协议,采用ROS中统一的通信接口实现机械臂1状态读取和运动控制。动作捕捉系统VICON采用Ethernet协议将数据发送至PC端,在控制算法节点中接收VICON定位点数据和机械臂状态数据,并计算下周期控制指令。
所述机械臂1为UR5e机械臂,有基于ROS的驱动程序和功能包,安装完成即可实现对机械臂的运动控制。本实施例中,选择UR5e作为机器人平台,动作捕捉系统选用了ViconMotion Systems光学运动捕捉系统,有基于ROS的驱动程序,可以在ROS中获取定位点的三维位置信息。
所述示教学习可以分为三个部分,如图3所示,包含人工示教,模型学习,自主执行。
所述人工示教过程分为以下几步:
①用手握住机械臂末端执行器,从起始位置拖动至工具摆放处完成一次抓取示教;
②改变工具的摆放位置重复5次①中的操作;
③从工具摆放处拖动机械臂到用户手上完成一次递交示教;
④改变人手的位置重复6次③中的操作,完成所有示教。
针对示教数据进行模型训练。首先将示教轨迹分别变换到起点和终点坐标系进行GMM编码,求取轨迹点的概率分布模型。GMM参数主要包括其中πi为第i个高斯分布混合系数,μi,∑i分别是第i个高斯分布的均值和协方差矩阵,参数K根据贝叶斯准则确定。
将所得GMM模型分别进行GMR回归,以时间序列作为输入,轨迹三维坐标作为输出,对应条件概率的概率分布为
针对工具递交中不同的起点和终点,训练好的模型能生成对应的轨迹概率分布模型。先把训练得到的起点和终点坐标系GMR模型分别变换到新的起点坐标系和终点坐标系,然后把对应序列的高斯分布进行乘积:
针对不同的起点和终点,训练好的模型可以生成对应的轨迹概率模型,如图4所示,这里只显示了轨迹的概率分布中均值位置。由于生成的轨迹在起点和终点位置有细微偏差,通过沿坐标轴缩放得到最终的轨迹概率模型。
如图5所示是一个人机协作工具递交系统整体流程图:
①用手握住机械臂末端执行器进行抓取物体和递交物体示教数据采集;
②针对示教数据进行模型训练,生成轨迹概率模型,PC上位机通过逆运动学将轨迹转化为机械臂的关节角度;
③动作捕捉系统获取工具和用户手的位置;
④机械臂运动到工具处抓取工具;
⑤PC上位机根据用户手的位置变化生成新的轨迹概率模型,控制机械臂将工具交到人手上,完成递交任务,达到动态轨迹规划的要求。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (4)
1.一种基于示教学习的人机协作工具递交方法,该方法采用的设备包括机械臂、动捕定位点和PC上位机,其特征在于,包括以下步骤:
步骤1、用手握住机械臂末端执行器进行抓取物体和递交物体示教数据采集;
步骤2、针对示教数据进行模型训练,生成轨迹概率模型,PC上位机通过逆运动学将轨迹转化为机械臂的关节角度;
步骤3、动作捕捉系统获取工具和用户手的位置;
步骤4、机械臂运动到工具处抓取工具;
步骤5、PC上位机根据用户手的位置变化生成新的轨迹概率模型,控制机械臂将工具交到人手上,完成递交任务,达到动态轨迹规划的要求;
针对示教数据进行模型训练,首先将示教轨迹分别变换到起点和终点坐标系进行GMM高斯混合模型编码,求取轨迹点的概率分布模型;GMM参数主要包括其中πi为第i个高斯分布混合系数,μi,∑i分别是第i个高斯分布的均值和协方差矩阵,参数K根据贝叶斯准则Bayesian Information Criterion,BIC确定;
将所得GMM模型分别进行GMR回归,以时间序列作为输入,轨迹三维坐标作为输出,对应条件概率的概率分布为
该训练好的模型,针对工具递交中不同的起点和终点能生成对应的轨迹概率分布模型;先把训练得到的起点和终点坐标系GMR模型分别变换到新的起点坐标系和终点坐标系,然后把对应序列的高斯分布进行乘积:
针对不同的起点和终点,训练好的模型可以生成对应的轨迹概率模型;由于生成的轨迹在起点和终点位置有细微偏差,通过沿坐标轴缩放得到最终的轨迹概率模型。
2.根据权利要求1所述的一种基于示教学习的人机协作工具递交方法,其特征在于,步骤2中示教过程包括:
步骤2.1、用手握住机械臂末端执行器,从起始位置拖动至工具摆放处完成一次抓取示教;
步骤2.2、改变工具的摆放位置重复5次①中的操作;
步骤2.3、从工具摆放处拖动机械臂到用户手上完成一次递交示教;
步骤2.4、改变人手的位置重复6次③中的操作,完成所有示教。
3.一种采用权利要求1所述的基于示教学习的人机协作工具递交方法的系统,其特征在于:包括
机械臂:具有运动控制功能的多轴机械臂,机械臂在PC上位机的指令下,抓取工具递交给用户;
动作捕捉系统定位点:定位点贴在工具上和用户手上,用于获取其位置,
PC上位机:与机械臂、动作捕捉系统可进行实时通信,PC上位机搭建的控制系统基于Robot Operating System平台。
4.根据权利要求3所述的系统,其特征在于:PC上位机能针对用户手腕位置变化生成新的轨迹概率模型,控制机械臂和人一起完成工具递交任务,达到动态轨迹规划的要求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010077686.XA CN111251277B (zh) | 2020-01-31 | 2020-01-31 | 一种基于示教学习的人机协作工具递交系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010077686.XA CN111251277B (zh) | 2020-01-31 | 2020-01-31 | 一种基于示教学习的人机协作工具递交系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111251277A CN111251277A (zh) | 2020-06-09 |
CN111251277B true CN111251277B (zh) | 2021-09-03 |
Family
ID=70949130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010077686.XA Active CN111251277B (zh) | 2020-01-31 | 2020-01-31 | 一种基于示教学习的人机协作工具递交系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111251277B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112370157B (zh) * | 2020-11-13 | 2022-06-03 | 毕建平 | 一种双骨折复位轨迹规划方法及复位系统 |
CN113103227B (zh) * | 2021-03-26 | 2022-12-02 | 北京航空航天大学 | 抓握姿态采集方法及抓握姿态采集系统 |
CN114800535B (zh) * | 2022-06-29 | 2022-10-25 | 深圳鹏行智能研究有限公司 | 机器人的控制方法、机械臂控制方法、机器人及控制终端 |
CN115635482B (zh) * | 2022-10-18 | 2024-01-30 | 深圳市人工智能与机器人研究院 | 基于视觉的机器人到人物体传递方法、装置、介质及终端 |
CN116476081B (zh) * | 2023-06-21 | 2023-09-15 | 广东省科学院智能制造研究所 | 一种机器人节律性技能学习方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
CN106228563A (zh) * | 2016-07-29 | 2016-12-14 | 杭州鹰睿科技有限公司 | 基于三维视觉的自动装配系统 |
CN108161940A (zh) * | 2018-02-26 | 2018-06-15 | 哈尔滨工业大学 | 利用空间机械手操作系统实现人机协同拧松螺钉操作方法 |
CN108789026A (zh) * | 2018-05-07 | 2018-11-13 | 武汉纺织大学 | 一种基于人机协作的大型铸件清理打磨方法 |
CN109382828A (zh) * | 2018-10-30 | 2019-02-26 | 武汉大学 | 一种基于示教学习的机器人轴孔装配系统及方法 |
CN109483556A (zh) * | 2018-10-30 | 2019-03-19 | 武汉大学 | 一种基于示教学习的机器人打磨系统及方法 |
CN109732610A (zh) * | 2019-03-01 | 2019-05-10 | 北京航空航天大学 | 人机协作机器人抓取系统及其工作方法 |
CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
CN110405730A (zh) * | 2019-06-06 | 2019-11-05 | 大连理工大学 | 一种基于rgb-d图像的人机物交互机械臂示教系统 |
CN110653824A (zh) * | 2019-07-26 | 2020-01-07 | 同济人工智能研究院(苏州)有限公司 | 基于概率模型的机器人离散型轨迹的表征与泛化方法 |
-
2020
- 2020-01-31 CN CN202010077686.XA patent/CN111251277B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103170973A (zh) * | 2013-03-28 | 2013-06-26 | 上海理工大学 | 基于Kinect摄像机的人机协作装置及方法 |
CN106228563A (zh) * | 2016-07-29 | 2016-12-14 | 杭州鹰睿科技有限公司 | 基于三维视觉的自动装配系统 |
CN108161940A (zh) * | 2018-02-26 | 2018-06-15 | 哈尔滨工业大学 | 利用空间机械手操作系统实现人机协同拧松螺钉操作方法 |
CN108789026A (zh) * | 2018-05-07 | 2018-11-13 | 武汉纺织大学 | 一种基于人机协作的大型铸件清理打磨方法 |
CN109382828A (zh) * | 2018-10-30 | 2019-02-26 | 武汉大学 | 一种基于示教学习的机器人轴孔装配系统及方法 |
CN109483556A (zh) * | 2018-10-30 | 2019-03-19 | 武汉大学 | 一种基于示教学习的机器人打磨系统及方法 |
CN109732610A (zh) * | 2019-03-01 | 2019-05-10 | 北京航空航天大学 | 人机协作机器人抓取系统及其工作方法 |
CN110405730A (zh) * | 2019-06-06 | 2019-11-05 | 大连理工大学 | 一种基于rgb-d图像的人机物交互机械臂示教系统 |
CN110238831A (zh) * | 2019-07-23 | 2019-09-17 | 青岛理工大学 | 基于rgb-d图像及示教器的机器人示教系统及方法 |
CN110653824A (zh) * | 2019-07-26 | 2020-01-07 | 同济人工智能研究院(苏州)有限公司 | 基于概率模型的机器人离散型轨迹的表征与泛化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111251277A (zh) | 2020-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111251277B (zh) | 一种基于示教学习的人机协作工具递交系统及方法 | |
CN109483556B (zh) | 一种基于示教学习的机器人打磨系统及方法 | |
CN109382828B (zh) | 一种基于示教学习的机器人轴孔装配系统及方法 | |
CN109483534B (zh) | 一种物体抓取方法、装置和系统 | |
CN108829113B (zh) | 一种多机器人编队自适应零空间行为融合方法 | |
CN110238839B (zh) | 一种利用环境预测优化非模型机器人多轴孔装配控制方法 | |
CN110450156B (zh) | 多自由度机械臂系统自适应模糊控制器的优化设计方法 | |
CN112207835B (zh) | 一种基于示教学习实现双臂协同作业任务的方法 | |
CN105867630A (zh) | 机器人的手势识别方法及装置及机器人系统 | |
Miner et al. | An interactive virtual reality simulation system for robot control and operator training | |
CN111152227A (zh) | 一种基于引导式dqn控制的机械臂控制方法 | |
Zeng et al. | Encoding multiple sensor data for robotic learning skills from multimodal demonstration | |
Navarro-Alarcon et al. | Visually servoed deformation control by robot manipulators | |
Raessa et al. | Teaching a robot to use electric tools with regrasp planning | |
CN114290323A (zh) | 用于控制机器人装置的装置和方法 | |
Brecher et al. | Towards anthropomorphic movements for industrial robots | |
CN116197899A (zh) | 一种基于vr的主动式机器人遥操作系统 | |
Chen et al. | A population randomization-based multi-objective genetic algorithm for gesture adaptation in human-robot interaction | |
CN111002302A (zh) | 结合高斯混合模型和动态系统的机械臂抓取轨迹规划方法 | |
CN111452039B (zh) | 动态系统下机器人姿态调整方法、装置、电子设备及介质 | |
Li et al. | Learning complex assembly skills from kinect based human robot interaction | |
CN116442219B (zh) | 一种智能机器人控制系统及方法 | |
Bai et al. | Parallel Calligraphy Robot: Framework and System Implementation | |
CN113909032A (zh) | 一种无数模零件快速自动化喷涂系统及方法 | |
CN110450160B (zh) | 一种开放式免编程机器人的控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |