CN110561430B - 用于离线示例学习的机器人装配轨迹优化方法及装置 - Google Patents

用于离线示例学习的机器人装配轨迹优化方法及装置 Download PDF

Info

Publication number
CN110561430B
CN110561430B CN201910816232.7A CN201910816232A CN110561430B CN 110561430 B CN110561430 B CN 110561430B CN 201910816232 A CN201910816232 A CN 201910816232A CN 110561430 B CN110561430 B CN 110561430B
Authority
CN
China
Prior art keywords
assembly
robot
motion
track
demonstration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910816232.7A
Other languages
English (en)
Other versions
CN110561430A (zh
Inventor
楼云江
赵智龙
胡浩鹏
曹芷琪
杨先声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201910816232.7A priority Critical patent/CN110561430B/zh
Publication of CN110561430A publication Critical patent/CN110561430A/zh
Application granted granted Critical
Publication of CN110561430B publication Critical patent/CN110561430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种用于离线示例学习的机器人装配轨迹优化方法,所述方法包括以下步骤:A、通过光学动作捕捉装置采集装配演示人员手臂及手部的演示运动轨迹;B、对采集的手臂及手部运动轨迹进行离线预处理,排除噪声数据和无关数据,融合多次演示装配轨迹,获得由高斯混合模型建模的装配运动模型;C、根据获得的装配运动模型,以及机器人装配实际的零部件初始位姿及目标位姿,生成机器人装配运动轨迹。本发明还涉及一种装置,其包括存储器和处理器,当所述处理器执行存储器中储存的程序时实现上述方法步骤。本发明解决传统演示轨迹不利于机器人直接执行的缺点,提高了利用离线示例学习技术使机器人进行精密装配的效率。

Description

用于离线示例学习的机器人装配轨迹优化方法及装置
技术领域
本发明一般涉及一种用于机器人装配轨迹优化方法和装置,尤其涉及一种用于离线示例学习的机器人装配轨迹优化方法,将人类的装配演示运动轨迹处理为适合机器人运动的时间最短装配运动轨迹。
背景技术
工业机器人现已经广泛用于工业生产领域的各种生产线,但面向以3C装配为代表的精密装配生产线,还不能被广泛应用。目前3C制造领域的装配任务仍主要由人工完成,装配过程耗时费力。其主要原因在于3C产品(如手机、平板电脑、笔记本电脑)更新迭代快,产品生命周期短,这直接导致3C装配生产线需要频繁换线;同时3C装配过程复杂,对精度要求较高。针对此类问题,传统的机器人编程控制方法时间成本太高而且不够灵活,不仅限制了机器人适应新任务的速度,并且还限制了机器人在装配领域中的应用。
示例学习提供了一种高效的简化机器人编程过程的方法,是目前提高机器人易用性的重要途径。与传统的依赖人工编程的机器人运动规划和控制方法相比,示例学习有两个主要优点:首先,它为用户提供了一种简单直观的方式将任务信息传递给机器人,可以大大降低机器人用户的专业编程知识要求,有助于非专家用户参与机器人装配生产线;其次,借助示例学习方法,用户可以很容易地将复杂的运动轨迹传递给机器人,使得机器人能够灵活地完成复杂装配工作。
但是由于人类手臂和机器人的结构差异,人类手部的装配轨迹并不非常适合机器人去执行,为了提高机器人的装配效率,我们需要对演示轨迹进行优化,优化指标为时间最短。
综上,将离线示例学习方法应用到以3C装配为代表的机器人精密装配环节上可以有效改善传统编程方法时间成本过高且不够灵活的缺点,实现装配生产线上机器人的快速编程,推进装配生产线的自动化转型,同时经过轨迹优化后的装配轨迹更能提高机器人的装配效率。
发明内容
为了克服现有技术的缺点和不足,本发明提供一种用于离线示例学习的机器人装配轨迹优化方法和装置,解决传统演示轨迹不利于机器人直接执行的缺点,提高了利用离线示例学习技术使机器人进行精密装配的效率。
本发明的技术方案第一方面为一种用于离线示例学习的机器人装配轨迹优化方法,包括以下步骤:
A、通过光学动作捕捉装置采集装配演示人员手臂及手部的演示运动轨迹;
B、对采集的手臂及手部运动轨迹进行离线预处理,排除噪声数据和无关数据,融合多次演示装配轨迹,获得由高斯混合模型建模的装配运动模型;
C、根据获得的装配运动模型,以及机器人装配实际的零部件初始位姿及目标位姿,生成机器人装配运动轨迹,其中,分析手部标记点的运动信息,得到机器人装配所需的装配夹具位姿与状态信息,还通过后处理算法将生成的机器人装配轨迹调整得到适合机器人装配的时间最短的运动轨迹。
在根据本发明的一些实施例中,所述步骤A还包括以下步骤:
A1、建立光学动作捕捉装置中的多个红外运动捕捉摄像机与计算设备的数据连接通道;
A2、配置每个红外运动捕捉摄像机的视场集中到同一个的立体区域,并且标定每个红外运动捕捉摄像机;
A3、采集该立体区域中的装配演示人员的手臂及手部关键位置上的反光标记点的图像;
A4、触发所有红外运动捕捉摄像机实时读取每个反光标记点的位置数据。
在根据本发明的一些实施例中,所述步骤B还包括以下步骤:
B1、通过基于局部异常因子的异常检测算法处理所述数据采集模块获取每一次装配演示中各个反光标记点在每个采样时刻的位置信息,计算每个反光标记点每个采样时刻的异常因子,将异常因子大于预设阈值的点视作采样噪点并从演示数据集中排除;
B2、通过密度聚类算法,以每一次装配演示中每个反光标记点在每个采样时刻的速度作为该采样时刻的特征进行密度聚类;
B3、采用高斯混合模型对数据预处理模块得到的多次装配演示的装配轨迹进行建模,根据最大化贝叶斯信息准则的方法指定高斯核的数量,采用期望最大化方法学习多段装配轨迹,得到每个高斯核的参数,从而得到由高斯混合模型建模的、能够反映装配动作关键信息的装配运动模型。
在根据本发明的一些实施例中,所述步骤C还包括以下步骤:
C1、将获得的人工装配轨迹通过运动学逆解得到机器人在运动过程中的所有关节角序列
Figure GDA0003055343640000031
其中每一个时间点的关节角度qi定义为一帧,令k=1;
C2、通过代价函数C(ξ)=ωTΔq,ωj>0,
Figure GDA0003055343640000032
计算当前轨迹ξ(0)的代价值Ck
C3、通过帧选择策略Pi=π(νi),
Figure GDA0003055343640000033
计算该轨迹下每一帧的被选择概率Pi,根据帧选择策略选取关节角序列中的部分帧组成新的序列并再次计算代价值;
C4、计算奖赏值Rk=Ck-1-Ck
C5、根据奖赏值更新关节角序列中每一帧被选择的概率Pi
C6、更新整个关节角轨迹序列,删除概率低于某一阈值的帧,将剩余的帧组成新的关节角序列,并令k=k+1;
C7、如果奖赏值的绝对值低于第一阈值或迭代次数大于第二阈值则输出当前剩余的帧序列,否则返回执行步骤C2。
在根据本发明的一些实施例中,所述步骤C5还包括:
使每一轮被选取的帧更新为
Figure GDA0003055343640000034
未被选取的帧更新为
Figure GDA0003055343640000035
其中,0<α<1为更新率,S(ξ)根据每次迭代结果决定,若导致后续装配任务能够顺利完成则为1,否则为0。
在根据本发明的一些实施例中,所述步骤C还包括以下步骤:
C8、以输出的帧序列为路径,在关节空间以时间最短进行速度规划插值,输出运动耗时最少的运动轨迹作为目标轨迹。
在根据本发明的一些实施例中,所述的方法还包括以下步骤:
D、根据所获得的装配轨迹及装配夹具信息,提供到机器人进行仿真装配验证。
在根据本发明的一些实施例中,所述步骤D还包括以下步骤:
D1、将所述轨迹生成模块离线优化的轨迹导入一个机器人仿真平台V-REP的仿真环境;
D2、匹配机器人系统模型,导入装配零件的三维模型,然后在仿真环境控制机器人沿离线装配轨迹模拟装配,并且验证装配后的零件是否达到期望的位置和姿态。
本发明的技术方案第二方面为一种计算装置,包括存储器和处理器。所述处理器执行存储器中储存的程序时实现上述方法。
本发明的有益效果为:解决传统演示轨迹不利于机器人直接执行的缺点,提高了利用离线示例学习技术使机器人进行精密装配的效率。
附图说明
图1为实施例中的用于机器人装配离线示例学习系统的动捕平台的示意图。
图2为实施例中的机器人装配离线示例学习系统的软件模块框图。
图3为实施例中的机器人装配离线示例学习系统的总体流程框图。
图4为实施例中的用于离线示例学习的机器人装配轨迹优化方法流程图。
图5为轨迹优化前的机器人末端运动轨迹曲线。
图6为轨迹优化后的机器人末端运动轨迹曲线。
图7描述本发明的一个示意性应用实例。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。
图1所示为一实施例中的光学动作捕捉平台的示意图。该光学动作捕捉平台10包括:一组光学动作捕捉摄像机11(比如,高精度红外摄像机)、网络设备12(比如,路由器、以太网交换机等)和计算设备13(比如,工业控制器、工控机、PC等)。如图所示,多个(例如六个)光学动作捕捉摄像机11通过支撑架布置在装配演示的工作空间上方,并且从多个角度斜拍一个工作空间(例如,长、宽、高分别为0.4m×0.6m×1m)。装配人员(例如,熟练的装配工人)的双臂关节、双手指尖等关键位置粘贴多个反光标记点14。优选地,这些摄像机以图1所示的对称方式摆放在工作台四周,经过优化的相机在空间的位置布局可保证双手精细动作的捕捉精度,且多角度相机的数据融合可避免手部动作的相互遮挡问题,保证捕捉动作的连贯性。由此在该工作空间内,所有摄像机都配置成同时捕捉由装配人员在装配过程中手臂和手部的反光标记点所反映的实时位置和姿态的视觉信息。此外,每个摄像机11可以附装有光源。
参照图2,在一实施例中,机器人装配离线示例学习系统包括数据采集模块、数据预处理模块、离线机器人运动轨迹生成模块和仿真验证模块。这些模块可以整合运行在光学动作捕捉平台的计算机设备13中,也可以整合运行在机器人装配离线示例学习系统的其它计算设备中。
数据采集模块被配置为:通过视觉标定算法的应用程序对于光学动作捕捉摄像机11进行标定;标定完成后,通过计算设备向光学动作捕捉摄像机发送采集命令,采集粘贴在熟练装配工人手臂及手部的反光标记点14的位置、姿态数据;通过交换机12与光学动作捕捉摄像机11进行数据传输,接收来自光学动作捕捉摄像机采集的用户手臂及手部的动作的位置姿态数据,并对接收到的数据进行离线分析,生成机器人可执行的运动轨迹信息。此外,还通过将所述摄像机捕捉到的反光标志点的位置变化数据发送至上位机中,是该上位机中存储有双手装配动作数据。
数据预处理模块用于对于采集到的运动数据进行离线处理,去除噪声,以减少冗余数据。在一个实施例中,数据预处理模块被配置成进行异常检测、轨迹分段和轨迹融合。
所述异常检测是通过基于局部异常因子的异常检测算法处理所述数据采集模块获取每一次装配演示中各个反光标记点在每个采样时刻的位置信息。计算每个反光标记点每个采样时刻的异常因子。将异常因子大于某一给定阈值的点视作采样噪点并从演示数据集中排除,以提升后期处理效率。
所述轨迹分段是通过密度聚类算法,以每一次装配演示中每个反光标记点在每个采样时刻的速度作为该采样时刻的特征进行聚类。通过这种方式可以将轨迹进行分段,并仅保留与装配相关的轨迹数据,排除无关的轨迹数据(如用户手臂及手部从任意位置到待装配零部件所在位置的运动轨迹,以及装配完成后用户手臂及手部离开零部件的运动轨迹等)。以简化后期学习过程。
所述轨迹融合方法如下:首先采用高斯混合模型(Gaussian Mixture Model,GMM)对数据预处理模块得到的多次装配演示的装配轨迹进行建模,根据最大化贝叶斯信息准则(Bayesian Information Criterion,BIC)的方法指定高斯核的数量;采用期望最大化方法(Expectation-Maximization,EM)学习多段装配轨迹,得到每个高斯核的参数(均值、协方差、先验概率);最后得到由高斯混合模型建模的、能够反映装配动作关键信息的装配运动模型。
离线机器人运动轨迹生成模块用于生成平滑的装配轨迹。离线机器人运动轨迹生成模块被配置成:根据数据预处理模块得到的以高斯混合模型建模的装配动作,通过高斯混合回归(Gaussian Mixture Regression,GMR)的方法输出光滑高效的任务空间(笛卡尔空间)机器人装配运动轨迹。可以根据机器人装配时的具体起始与目标位置进行轨迹生成,使得机器人装配不拘泥于人工演示时的零部件起始与目标位置。所述装配轨迹具有高可迁移性,不受装配场地与设备限制,可快速部署于不同型号、不同配置的机器人装配系统。
仿真验证模块将离线示例学习的轨迹迁移至仿真环境下,控制仿真平台中的机器人完成同样的装配动作。所述的离线示例学习轨迹可以迁移至任意满足装配自由度以及工作空间要求的机器人系统,使示例学习结果不依赖于特定的机器人系统。此外,仿真验证模块还提供虚拟环境,以仿真运行装配实例,其中的步骤包括:
1)将所述轨迹生成模块离线优化的轨迹导入一个机器人仿真平台(例如,V-REP的仿真环境);
2)选择机器人系统模型,任意满足装配自由度以及工作空间要求的机器人系统均可,该机器人系统包括但不限于串联机器人、并联机器人、单臂机器人系统或双臂机器人系统;
3)通过示例学习,机器人系统能够高效完成与熟练工人相同的装配场景下工作空间的高精度的装配任务。
当机器人的虚拟装配仿真通过验证后,仿真验证模块将调试通过后的机器人运动指令和数据传输到机器人控制器中,用于控制机器人在实际装配中的运动。
图3为实施例中的机器人装配离线示例学习系统的方法流程框图。该方法包括以下步骤:
S1:通过光学动作捕捉装置采集装配演示人员手臂及手部的演示运动轨迹。
S2:对采集的手臂及手部运动轨迹进行离线预处理,排除噪声数据和无关数据,融合多次演示装配轨迹,获得采用高斯混合模型建模的装配运动模型。
S3:根据获得的装配运动模型,以及机器人装配实际的零部件初始位姿及目标位姿,生成机器人装配运动轨迹。其中,分析手部标记点的运动信息,得到机器人装配所需的装配夹具位姿与状态信息。还应用后处理算法将生成的机器人装配轨迹再处理,得到适合机器人装配的时间最短的运动轨迹。
S4:根据所获得的装配轨迹及装配夹具信息,控制机器人进行现场装配,完成整个装配演示学习过程。
可以理解到,上述步骤S1和S2主要涉及机器人装配演示轨迹提取,而步骤S3主要涉及机器人装配轨迹优化。下面进一步描述各个步骤中的细节。
在一些实施例中,步骤S1还包括:
S1.1:搭建动捕平台。
首先摄像机固定在实验平台四周,将以太网线一端连接摄像机,另一端连接交换机;交换机为摄像机提供电源和数据通信,输出采集模块与数据处理模块、离线机器人运动轨迹生成模块、仿真验证模块组成局域网,计算设备发送控制命令。
S1.2:采集用户装配演示数据。
用户的手臂及手部关键位置(指尖、指关节处)贴有反光标记点,在指定装配工作区内进行反复进行同一装配动作的演示。摄像机是高精度红外运动捕捉相机,捕捉用户双臂及双手上贴有的反光标记点的位置、姿态信息,发射标记点反射出相机闪光灯单元的光线,摄像机镜头收集场景中的反射光,形成聚焦相机传感器平面上的图像,并分析出各个反光标记点的位置信息。这些信息通过交换机传递给上位机存储。
在一些实施例中,步骤S2还包括:
S2.1:异常检测方法。
所述异常检测方法通过基于局部异常因子的异常检测算法处理所述数据采集模块获取每一次装配演示中各个反光标记点在每个采样时刻的位置信息。计算每个反光标记点每个采样时刻的异常因子。将异常因子大于某一给定阈值的点视作采样噪点并从演示数据集中排除,以提升后期处理效率。具体实现方式如下:
给出一组样本集合{xi},i=1,2,3...,定义:
RDk(x,x′)=max(||x-x(k)||,||x-x′||) (1)
作为可达距离,其中x(k)是集合{xi}中最接近x的第k个样本,k是手动选择的整数参数。
Figure GDA0003055343640000071
这被称作局部可达性密度。通过两个定义(1)和(2),将局部异常因子定义为
Figure GDA0003055343640000072
当LOF上升时,样本x成为异常值的可能性上升并从演示数据中消除。
S2.2:轨迹分段方法。
所述轨迹分段方法通过密度聚类算法,以每一次装配演示中每个反光标记点在每个采样时刻的速度作为该采样时刻的特征进行密度聚类。
S2.3:轨迹融合方法。
首先采用高斯混合模型对数据预处理模块得到的多次装配演示的装配轨迹进行建模,根据最大化贝叶斯信息准则的方法指定高斯核的数量;采用期望最大化方法学习多段装配轨迹,得到每个高斯核的参数(均值、协方差、先验概率);最后得到由高斯混合模型建模的、能够反映装配动作关键信息的装配运动模型。
在一些实施例中,步骤S2还包括:
S2.4:离线轨迹生成。
离线机器人运动轨迹生成模块根据数据预处理模块得到的以高斯混合模型建模的装配动作,通过高斯混合回归的方法输出光滑高效的任务空间(笛卡尔空间)机器人装配运动轨迹。该方法可以根据机器人装配时的具体起始与目标位置进行轨迹生成,使得机器人装配不拘泥于人工演示时的零部件起始与目标位置。
S2.5:装配夹具分析。
对手部关节和指尖处的反光标记点轨迹进行分析,得到手部的装配动作,对手部动作进行数据匹配,得到最适合此装配动作的夹具类型。
关于步骤S3
由于人类手臂和机器人的结构差异,人类手部的装配轨迹并不非常适合机器人执行,为了提高机器人的装配效率,本发明加入轨迹后处理模块。引入的后处理流程如图4所示,针对人类手部的装配轨迹进行优化,去除手部运动过程中的噪点及无关动作,完成手部装配运动轨迹向适合机器人装配的运动轨迹的转变。
因此,在一些实施例中,步骤S3还包括:
S3.1:首先通过离线处理模块获得的人工装配轨迹通过运动学逆解得到机器人在运动过程中的所有关节角序列
Figure GDA0003055343640000081
每一个时间点的关节角度qi定义为一帧。令k=1。
S3.2:定义代价函数为(这里以6自由度机器人为例):C(ξ)=ωTΔq,ωj>0,
Figure GDA0003055343640000082
计算当前轨迹ξ(0)的代价Ck
S3.3:定义帧选择策略Pi=π(νi),
Figure GDA0003055343640000083
计算得到该轨迹下每一帧的被选择概率Pi。根据帧选择策略选取关节角序列中的部分帧组成新的序列并再次计算其代价函数。
S3.4:计算奖赏值Rk=Ck-1-Ck,Ck即为人工装配轨迹的代价函数。
S3.5:根据奖赏值更新关节角序列中每一帧被选择的概率Pi。更新策略为:每一轮被选取的帧更新为
Figure GDA0003055343640000084
未被选取的帧更新为
Figure GDA0003055343640000085
其中0<α<1为更新率。S(ξ)根据每次迭代结果决定,若装配任务完成较好则为1,否则为0。
S3.6:更新整个关节角轨迹序列。方法为删除概率低于某一阈值的帧,将剩余的帧组成新的关节角序列,并令k=k+1。
S3.7:判断奖赏值的绝对值是否低于一个很小的常数或迭代次数大于某一阈值,若否则返回步骤S3.2继续执行,若是则输出当前剩余的帧序列。
S3.8:以步骤S3.7输出的帧序列为路径,在关节空间以时间最短进行速度规划插值,输出时间最短运动轨迹。
由图5和图6可见,经过后处理模块获得的装配轨迹相比较人工演示装配轨迹更加简洁高效,适合机器人执行。
在一些实施例中,步骤S4还包括:
S4.1:机器人装配验证。首先根据装配任务使用经过离线数据处理模块得到的夹具状态数据来选择合适的装配夹具,并通过机器人末端快换装置进行夹具的自动更换,然后利用经过后处理模块得到的时间最短装配轨迹进行现场装配,对装配效果进行评估。
结合图7和图1描述本发明的一个示意性的导轨装配应用。在一个实例中,在图1所示的光学动作捕捉平台10,由熟手装配工从装配件存放区26拾取导轨,接着安装到装配夹台25的待装件24上并拧螺丝。此过程可以重复多次,使得所述系统的数据采集模块可以采集足够多的手臂、手掌、手指的运动位置和姿态值,然后生成人工装配轨迹。
对于提取的人工装配轨迹数据,通过计算设备13运行上述步骤S2进行异常数据排除、轨迹分段、轨迹融合、离线轨迹生成和装配夹具分析。对于人工导轨装配本例,使动作路径末端(比如手指的位置和姿态)限定在装配夹台25和装配件存放区26的范围,一些超出该运动范围的路径数据或者引起装配干涉的路径数据可以作为异常数据来排除。此外,对于不同的装配步骤,可以将人工装配轨迹进行分段,比如拾放导轨步骤、导轨与待装件的定位步骤、螺丝安装步骤等,都是可以通过捕捉反光标记点的速度和运动类型来划分。例如,用手拾放导轨时,手指的运动以空间平移为主并且肘部和肩部有明显运动,因此可以将这一组运动轨迹划分为拾放轨迹。此外,当手指和手臂都夹住导轨并维持给定时间不动,可以将这一组运动轨迹划分为定位轨迹;当采集的轨迹数据表明只有手掌和手指操作扳手工具进行局部扭动时,则将这一组运动轨迹划分为紧固件安装轨迹。然后,在轨迹融合方法中,生成的装配运动模型反映装配动作关键信息,比如导轨的合理搬运路径关键点、导轨安装的精确方位、紧固件种类及其安装位置等。
接着在计算设备13运行上述步骤S3,将上述预处理的数据与适合的机器人(例如,可以采用图7所示的串联机器人21)匹配,并且通过末端的位置逆解出机器人每一运动帧所对应的关节角度,同时还在关节空间以时间最短进行速度规划插值,输出时间最短运动轨迹。此外,还根据不同的装配步骤配置机器人末端的夹具23,比如对于拾放步骤和定位步骤可以配置气爪,螺丝安装步骤可以配置电动螺丝刀。此外,对于计算设备13执行上述步骤S4时,通过与机器人控制器及其夹具库的数据同步,可以利用经过后处理模块得到的时间最短装配轨迹,然后在每一个装配步骤之间配置夹具节点,用于匹配或更换夹具。例如,如图7所示,在实施从装配件存放区26搬运导轨到装配夹台25上的待装件24上,对于机器人从上一步骤转换到捡取导轨的步骤之前,则需要配置一个气爪夹具,用于夹取待安装的导轨。由于在该节点配置了夹具,可以通过机器人控制器和工具存放区22的夹具管理装置,引入机器人末端的运动到工具存放区22以安装或更换夹具的路径。由此,可以由人工演示的装配轨迹过渡到机器人离线装配轨迹(含夹具),以实现离线装配平台20实际应用场景操作。
应当认识到,本文描述的方法可以由计算装置硬件、硬件和软件的组合、或者通过存储在非暂时性计算装置可读存储器中的计算装置指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算装置系统通信。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算装置系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算装置程序或一个或多个应用)、由硬件或其组合来实现。所述计算装置程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算装置、主框架、工作站、网络或分布式计算环境、单独的或集成的计算装置平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算装置读取,当存储介质或设备由计算装置读取时可用于配置和操作计算装置以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算装置可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算装置本身。
计算装置程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (5)

1.一种用于离线示例学习的机器人装配轨迹优化方法,其特征在于,所述方法包括以下步骤:
A、通过光学动作捕捉装置采集装配演示人员手臂及手部的演示装配轨迹;
B、对采集的手臂及手部运动轨迹进行离线预处理,排除噪声数据和无关数据,融合多次演示装配轨迹,获得由高斯混合模型建模的装配运动模型;
C、根据获得的装配运动模型,以及机器人装配实际的零部件初始位姿及目标位姿,生成机器人装配运动轨迹,其中,分析手部的反光标记点的运动信息,得到机器人装配所需的装配夹具位姿与状态信息,还通过后处理算法将生成的机器人装配运动轨迹调整得到适合机器人装配的时间最短的运动轨迹;
其中,所述步骤B包括以下步骤:
B1、通过基于局部异常因子的异常检测算法处理一数据采集模块获取每一次装配演示中各个反光标记点在每个采样时刻的位置信息,计算每个反光标记点每个采样时刻的局部异常因子,将局部异常因子大于预设阈值的点视作采样噪点并从演示数据集中排除,
其中给出样本集合{xi},使
RDk(x,x′)=max(||x-x(k)||,||x-x′||)
作为可达距离,其中x(k)是集合{xi}中最接近x的第k个样本,k是所选择的整数参数,使
Figure FDA0003090480420000011
作为局部可达性密度,并通过
Figure FDA0003090480420000012
计算局部异常因子,当其中的样本x的LOF上升时,判断该样本x成为异常值的可能性上升;
B2、通过密度聚类算法,以每一次装配演示中每个反光标记点在每个采样时刻的速度作为该采样时刻的特征进行密度聚类;
B3、采用高斯混合模型对数据预处理模块得到的多次装配演示的装配轨迹进行建模,根据最大化贝叶斯信息准则的方法指定高斯核的数量,采用期望最大化方法学习多段装配轨迹,得到每个高斯核的参数,从而得到由高斯混合模型建模的、能够反映装配动作关键信息的装配运动模型。
2.根据权利要求1所述的方法,其特征在于,所述步骤A还包括以下步骤:
A1、建立光学动作捕捉装置中的多个红外运动捕捉摄像机与计算设备的数据连接通道;
A2、配置每个红外运动捕捉摄像机的视场集中到同一个的立体区域,并且标定每个红外运动捕捉摄像机;
A3、采集该立体区域中的装配演示人员的手臂及手部关键位置上的反光标记点的图像;
A4、触发所有红外运动捕捉摄像机实时读取每个反光标记点的位置数据。
3.根据权利要求1所述的方法,其特征在于,还包括以下步骤:
D、根据所获得的装配运动轨迹及装配夹具信息,提供到机器人进行仿真装配验证。
4.根据权利要求3所述的方法,其特征在于,所述步骤D还包括以下步骤:
D1、将轨迹生成模块离线优化的装配运动轨迹导入一个机器人仿真平台V-REP的仿真环境;
D2、匹配机器人系统模型,导入装配零件的三维模型,然后在仿真环境控制机器人沿离线优化的装配运动轨迹模拟装配,并且验证装配后的零件是否达到期望的位置和姿态,然后当机器人的虚拟装配仿真通过验证后,将验证通过后的机器人运动指令和数据传输到机器人控制器中,用于控制机器人在实际装配中的运动。
5.一种计算装置,包括存储器和处理器,其特征在于,所述处理器执行存储器中储存的程序时实现如权利要求1至4中任一项权利要求所述的方法。
CN201910816232.7A 2019-08-30 2019-08-30 用于离线示例学习的机器人装配轨迹优化方法及装置 Active CN110561430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910816232.7A CN110561430B (zh) 2019-08-30 2019-08-30 用于离线示例学习的机器人装配轨迹优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910816232.7A CN110561430B (zh) 2019-08-30 2019-08-30 用于离线示例学习的机器人装配轨迹优化方法及装置

Publications (2)

Publication Number Publication Date
CN110561430A CN110561430A (zh) 2019-12-13
CN110561430B true CN110561430B (zh) 2021-08-10

Family

ID=68777093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910816232.7A Active CN110561430B (zh) 2019-08-30 2019-08-30 用于离线示例学习的机器人装配轨迹优化方法及装置

Country Status (1)

Country Link
CN (1) CN110561430B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111452039B (zh) * 2020-03-16 2022-05-17 华中科技大学 动态系统下机器人姿态调整方法、装置、电子设备及介质
EP3988255A1 (en) * 2020-10-26 2022-04-27 Siemens Aktiengesellschaft Method and assembly unit for assembling non-electric components onto a component-carrier
CN112291390B (zh) * 2020-10-28 2022-05-06 Oppo广东移动通信有限公司 显示装置的装配方法、装配装置以及存储介质
CN112917516B (zh) * 2021-02-01 2022-04-01 北京航空航天大学 用于自主装配机器人的知识学习与推理执行系统
CN113408993B (zh) * 2021-07-02 2022-05-06 汕头市优必选高德乐科技有限公司 一种用于机械自动化的智能装配系统
CN113358325A (zh) * 2021-07-02 2021-09-07 中国空气动力研究与发展中心低速空气动力研究所 一种风洞投放物位姿测量方法、装置、设备及存储介质
CN114131591B (zh) * 2021-12-03 2024-06-21 山东大学 外肢体机器人作业策略半物理仿真方法及系统
CN114549269A (zh) * 2022-01-27 2022-05-27 苏州大学 基于动态运动基元的微纳操作机器人自动拾取纳米线方法
CN116985142B (zh) * 2023-09-25 2023-12-08 北京航空航天大学 一种机器人运动规划方法、装置和机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533528A (zh) * 2009-04-18 2009-09-16 大连大学 基于模块分段线性模型的光学运动捕捉数据处理方法
CN101840586A (zh) * 2010-04-02 2010-09-22 中国科学院计算技术研究所 虚拟人运动规划的方法及其系统
CN107274777A (zh) * 2017-06-19 2017-10-20 天津大学 一种基于V‑Rep的机器人虚拟示教系统
CN109291052A (zh) * 2018-10-26 2019-02-01 山东师范大学 一种基于深度强化学习的按摩机械手训练方法
CN109382828A (zh) * 2018-10-30 2019-02-26 武汉大学 一种基于示教学习的机器人轴孔装配系统及方法
CN109571487A (zh) * 2018-09-12 2019-04-05 河南工程学院 一种基于视觉的机器人演示学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533528A (zh) * 2009-04-18 2009-09-16 大连大学 基于模块分段线性模型的光学运动捕捉数据处理方法
CN101840586A (zh) * 2010-04-02 2010-09-22 中国科学院计算技术研究所 虚拟人运动规划的方法及其系统
CN107274777A (zh) * 2017-06-19 2017-10-20 天津大学 一种基于V‑Rep的机器人虚拟示教系统
CN109571487A (zh) * 2018-09-12 2019-04-05 河南工程学院 一种基于视觉的机器人演示学习方法
CN109291052A (zh) * 2018-10-26 2019-02-01 山东师范大学 一种基于深度强化学习的按摩机械手训练方法
CN109382828A (zh) * 2018-10-30 2019-02-26 武汉大学 一种基于示教学习的机器人轴孔装配系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于示教学习的机器人轴孔装配技术研究";刘兴杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;第2-3章 *
"机械臂运动的示教学习方法与应用研究";胡晋;《中国优秀博士学位论文全文数据库 信息科技辑》;20180815;第2-3章 *

Also Published As

Publication number Publication date
CN110561430A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110561430B (zh) 用于离线示例学习的机器人装配轨迹优化方法及装置
CN110561450B (zh) 一种基于动捕的机器人装配离线示例学习系统和方法
US20220009100A1 (en) Software Interface for Authoring Robotic Manufacturing Process
CN110573308B (zh) 用于机器人设备的空间编程的基于计算机的方法及系统
Bagnell et al. An integrated system for autonomous robotics manipulation
CN109483534B (zh) 一种物体抓取方法、装置和系统
Wang et al. Collision-free trajectory planning in human-robot interaction through hand movement prediction from vision
CN109397285B (zh) 一种装配方法、装配装置及装配设备
CN112207835B (zh) 一种基于示教学习实现双臂协同作业任务的方法
CN104457566A (zh) 一种无须示教机器人系统的空间定位方法
CN109531577B (zh) 机械臂标定方法、装置、系统、介质、控制器及机械臂
CN112638596B (zh) 自主学习型机器人装置以及自主学习型机器人装置的动作生成方法
JP2023529143A (ja) ロボットを制御するための方法及びロボットコントローラ
Zhang et al. Industrial robot programming by demonstration
CN114474106A (zh) 用于控制机器人装置的方法和机器人控制装置
CN110561431B (zh) 用于离线示例学习的机器人装配演示轨迹提取方法及装置
Das et al. GeroSim: A simulation framework for gesture driven robotic arm control using Intel RealSense
Yu et al. Precise robotic needle-threading with tactile perception and reinforcement learning
TW202021754A (zh) 自動定位方法以及自動控制裝置
JP7376318B2 (ja) アノテーション装置
Winiarski et al. Automated generation of component system for the calibration of the service robot kinematic parameters
CN109531579B (zh) 机械臂示教方法、装置、系统、介质、控制器及机械臂
JP7531733B2 (ja) 異なるドメイン内のタスク間の転送
CN116197918B (zh) 基于动作记录分析的机械手控制系统
RU2813444C1 (ru) Система взаимодействия человек-робот на основе смешанной реальности

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant