CN107309882B - 一种机器人示教编程系统及方法 - Google Patents

一种机器人示教编程系统及方法 Download PDF

Info

Publication number
CN107309882B
CN107309882B CN201710691832.6A CN201710691832A CN107309882B CN 107309882 B CN107309882 B CN 107309882B CN 201710691832 A CN201710691832 A CN 201710691832A CN 107309882 B CN107309882 B CN 107309882B
Authority
CN
China
Prior art keywords
teaching
physical machine
machine people
display
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710691832.6A
Other languages
English (en)
Other versions
CN107309882A (zh
Inventor
陈成军
张石磊
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201710691832.6A priority Critical patent/CN107309882B/zh
Publication of CN107309882A publication Critical patent/CN107309882A/zh
Application granted granted Critical
Publication of CN107309882B publication Critical patent/CN107309882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明涉及一种机器人示教编程系统,包括示教系统、位姿跟踪系统、物理机器人系统以及计算机;示教系统中,手持式示教工具连接示教控制器,示教数据采集器分别连接示教控制器和计算机;位姿跟踪系统中,摄像机组、位姿计算单元以及计算机顺次连接,跟踪标识物固定于手持式示教工具上;物理机器人系统中,物理机器人、物理机器人控制器和计算机顺次连接。本发明还提供一种机器人示教编程方法,通过建立坐标系、交互教示、数据后处理以及物理机器人控制实现示教编程。本发明的优点在于:通过一线工人使用手持式示教工具交互完成示教编程,编程方便且将示教人员的经验和技能体现在程序中,还能够进行增强现实仿真,及时发现机器人与工作场景的干涉。

Description

一种机器人示教编程系统及方法
技术领域
本发明涉及一种机器人示教编程系统及方法,属于计算机控制与机器人领域,可用于机器人焊接、涂胶、喷漆、打磨、抛光、装配等作业用的示教编程。
背景技术
当前机器人在焊接、涂胶、去毛刺、装配、喷漆等领域中广泛应用,机器人编程是机器人应用中的关键问题之一,当前主要有离线编程和在线示教的方式。离线示教需要在计算机中建立机械手及其工作环境的模型,通过人机交互操作和控制,离线计算和规划出作业轨迹,在确认无误后将作业轨迹发送到机械手,实现机械手编程。离线示教方式需要在计算机中建立工作环境的三维模型,需要操作人员具备一定的技术知识,普通工人需要经过长时间的培训后才能熟练使用。另外离线示教的方式难以将一线工人积累的工艺经验和知识(如焊接、涂胶、喷漆、打磨等)融入到轨迹规划中。传统的示教盒示教和牵引末端示教操作不便,例如,采用体感传感器追踪人体骨骼点运动轨迹的方式进行示教编程,示教过程中记录的是各关节的旋转角度而不是末端执行器(即手持式示教工具)的方位,而且该类方法也无法将复杂的操作工艺融入到路径规划中,有些机器人还不具备牵引示教功能。
同时,现有的编程方法使用难度大、操作不便、对操作人员的专业知识要求高。由于一线工人不能熟练地操作离线编程软件或示教器进行编程,他们长期积累的一线操作经验和技能难以融入到机器人操作程序中,机器人的编程效率低。因此当前有些复杂小批量的焊接、涂胶、喷漆、打磨、装配等操作,仍然依赖经验丰富的工人手工完成。
发明内容
为了解决上述技术问题,本发明提供一种机器人示教编程系统和方法,由一线工人在线示教,通过位姿跟踪系统和示教系统,将一线工人的操作经验和技能融入到机器人编程中,且大大提高了机器人编程的效率和方便性,同时,在示教过程中物理机器人不参与,属于半实物示教。
本发明所采用的技术方案如下:
技术方案一:
一种机器人示教编程系统,包括示教系统、位姿跟踪系统、物理机器人系统以及计算机;
所述示教系统包括手持式示教工具、示教控制器以及示教数据采集器,所述示教数据采集器用于采集手持式示教工具在被操作部件上操作时的工艺参数,所述手持式示教工具连接示教控制器,所述示教数据采集器分别连接所述示教控制器和计算机;
所述位姿跟踪系统包括摄像机组、跟踪标识物以及位姿计算单元,所述摄像机组至少包含两个摄像机,所述摄像机组固定于所述被操作部件的上方,所述摄像机组连接所述位姿计算单元,所述位姿计算单元连接所述计算机,所述跟踪标识物固定于所述手持式示教工具上;
物理机器人系统包括物理机器人和物理机器人控制器,所述物理机器人连接所述物理机器人控制器,所述物理机器人控制器连接所述计算机。
更优地,还包括头戴式增强现实显示器,所述位姿跟踪系统还包括注册标识物,所述头戴式增强现实显示器连接所述计算机,所述注册标识物固定于所述头戴式增强现实显示器上。
更优地,所述手持式示教工具的数量为至少一个。
更优地,所述跟踪标识物为至少个4跟踪标志点。
更优地,所述跟注册标识物为至少4个注册标志点。
技术方案二
一种机器人示教编程方法,该方法是基于权利要求所述机器人示教编程系统实现的,具体步骤如下:
步骤10、建立坐标系:包括
建立位姿跟踪系统坐标系:在所述位姿计算单元上建立所述位姿跟踪系统坐标系,并且使其与物理机器人坐标系重合;所述物理机器人坐标系为所述物理机器人自带固有的;
建立手持式示教工具坐标系:将手持式示教工具安装在所述物理机器人上,将跟踪标识物固定在手持式示教工具上,把手持式示教工具的刀位点定义为所述手持式示教工具坐标系的原点,并使所述手持式示教工具在所述物理机器人坐标系下的姿态为(0,0,0)时,使所述手持式示教工具坐标系的坐标轴方向与所述位姿跟踪系统坐标系的坐标轴及坐标轴方向一致;
步骤20、交互示教:示教人员手握所述手持式示教工具对被操作部件进行实际操作,所述摄像机组将拍摄到图像传递至位姿计算单元,由位姿计算单元计算跟踪所述跟踪标识物的位姿,得到所述手持式示教工具的实时位置和姿态;所述位姿计算单元将所述手持式示教工具的实时位置和姿态发送至计算机;同时,通过示教数据采集器采集示教控制器上的实时工艺参数,然后发送至计算机;计算机记录所述手持式示教工具的实时位置和姿态以及各时刻对应的实时工艺参数;
步骤30、数据后处理:示教完成后,计算机根据实时位置和姿态生成手持式示教工具的路径轨迹点、操作姿态、操作速度,对所述操作路径轨迹点进行筛选编辑,形成路径轨迹;
步骤40、物理机器人控制:计算机将所述路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码,用于控制物理机器人,实现批量生产
更优地,所述方法还包括增强现实仿真过程,通过头戴式增强现实显示器和注册标识物实现,具体实现方法如下:
执行所述步骤10的同时还执行如下内容:
建立机器人仿真模型:在计算机中根据物理机器人的结构和参数建立物理机器人正运动学方程和逆运动学方程,建立与物理机器人对等的虚拟机器人三维模型,并使所述虚拟机器人模型的坐标系与虚拟场景的世界坐标系重合;
建立头戴式增强现实显示器坐标系:将所述注册标识物固定在所述头戴式增强现实显示器上,将两眼中间的位置定义为所述头戴式增强现实显示器坐标系的原点,所述头戴式增强现实显示器姿态为(0,0,0)时,该头戴式增强现实显示器坐标系的坐标轴方向与所述物理机器人坐标系的坐标轴方向相同;
执行所述步骤20;
执行所述步骤30;
执行步骤31、路径轨迹及工艺过程的增强现实仿真:计算机依次根据所述路径轨迹上各轨迹点的位置和姿态,利用所述逆运动学方程计算物理机器人各关节的旋转角度,使用所述各关节旋转角度驱动所述虚拟机器人模型的各关节运动,在虚拟场景中模拟物理机器人的工作过程;在此过程中,示教人员戴上头戴式增强现实显示器,所述摄像机组将拍摄到包含所述头戴式增强现实显示器的图片发送至所述位姿计算单元,所述位姿计算单元跟踪所述头戴式增强现实显示器上的注册标识物,计算头部位姿;计算机将该头部位姿作为虚拟视点生成虚拟机器人模拟工作的显示场景,并发送到头戴式增强现实显示器上显示,从而使示教人员看到一个虚实融合的场景,示教人员可以在不同的方位观察虚拟机器人是否与真实场景存在干涉,检查物理机器人操作过程是否满足要求;
执行步骤32、工艺路径编辑:若所述路径轨迹或工艺参数不满足要求,在计算机中交互调整所述路径轨迹上的轨迹点和该轨迹点对应的操作工艺参数,直至满足要求为止,生成仿真编辑后的路径轨迹和工艺参数;
执行步骤33、仿真后的物理机器人控制:计算机将所述仿真编辑后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码,用于控制物理机器人,实现批量生产;
结束。
更优地,所述步骤中,计算机按照时间标签记录所述手持式示教工具的实时位置和姿态以及各时刻对应的实时工艺参数。
更优地,所述跟踪标识物为至少个4跟踪标志点。
更优地,所述注册标识物为至少个4注册标志点。
本发明具有如下有益效果:
1、示教编程过程中,示教人员使用手持式示教工具对被操作部件进行实际操作,因此,能够将一线工人的操作经验和技能体现在程序中;
2、通过位姿跟踪系统获取手持式示教工具的位姿、通过示教数据采集器获取工艺参数,最后通过计算机处理得到手持式示教工具的路径轨迹和实时工艺参数,整个示教编程过程不需要操作物理机器人本体,编程方便且编程效率高;
3、通过头戴式增强现实显示器和计算机对路径轨迹和工艺过程进行增强现实仿真,使示教人员可以观察虚拟机器人是否与真实场景存在干涉,检查虚拟机器人操作过程是否满足要求,及时发现并修正示教编程中的不足,大大提高机器人示教编程的品质;
4、计算机根据一线工人的实际操作自动生成机器人程序,可以用以控制机器人完成焊接、涂胶、喷漆、打磨、抛光、装配等操作。
附图说明
图1为本发明一种机器人示教编程系统的示意图;
图2是图1的局部放大图;
图3为本发明一种机器人示教编程方法的流程示意图。
图中附图标记表示为:
11-手持式示教工具、 12-示教控制器、 13-示教数据采集器、 21-摄像机组、 22-跟踪标识物 23-位姿计算单元、 24-注册标识物、 31-物理机器人、 32-物理机器人控制器、40-计算机、 50-被操作部件、 60-示教人员、 70-头戴式增强现实显示器。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1和图2,一种机器人示教编程系统,包括示教系统、位姿跟踪系统、物理机器人系统以及计算机40。
所述示教系统包括手持式示教工具11、示教控制器12以及示教数据采集器13,所述示教数据采集器13用于采集手持式示教工具11在被操作部件50上操作时的工艺参数,所述手持式示教工具11连接示教控制器12,所述示教数据采集器13分别连接所述示教控制器12和计算机40。所述手持式示教工具11的数量为至少一个,例如焊枪、胶枪、喷头、打磨工具、被装配零件等,选用一个或多个;所述被操作部件50是指将要用物理机器人31焊接、喷漆或涂胶的零部件;所述示教数据采集器13将采集到的实时工艺参数等工作状态传输给所述计算机40,例如,进行焊接示教编程时,采集到的焊接工艺参数包括:焊接电压、焊接电流、焊接开关信号、焊丝喂料速度、保护器开关信号等。
所述位姿跟踪系统包括摄像机组21、跟踪标识物22以及位姿计算单元23,所述摄像机组21至少包含两个摄像机,图1中显示五个摄像机,所述摄像机组21固定于所述被操作部件50的上方,所述摄像机组21连接所述位姿计算单元23,所述位姿计算单元23连接所述计算机40,所述跟踪标识物22固定于所述手持式示教工具11上;所述跟踪标识物22为至少4个跟踪标志点,所述跟踪标识物22还可以是图案等,跟踪标识物22的类型由所采用的位姿跟踪系统决定;现有位姿跟踪系统,如Optitrack位置跟踪系统,该系统包含摄像机和位置跟踪软件(一般地,位置跟踪软件加载于所述位姿计算单元23中)等,位置跟踪精度可达0.1mm,方向跟踪精度0.1度。所述位姿计算单元23接收来自所述摄像机组21发来的图片并进行图像处理,识别图像中的跟踪标识物22,计算并跟踪所述跟踪标识物22的位姿,得到手持式示教工具11的位置和姿态,然后将实时位置和姿态传输给计算机40。在本实施例中,采用跟踪标志点作为跟踪标识物22,则可以根据跟踪标志点之间的已知位置关系,计算跟踪标识物22的位姿。在本发明中,至少需要两台摄像机才可以需要得到六自由度的位置和姿态(简称位姿)。
物理机器人系统包括物理机器人31和物理机器人控制器32,所述物理机器人31连接所述物理机器人控制器32,所述物理机器人控制器32连接所述计算机40。在本发明中,所述物理机器人31在示教过程中不参与,在确定手持式示教工具坐标系时,所述手持式示教工具11安装于所述物理机器人31上。在进行交互示教时,所述手持式示教工具11由示教人员60握持操作。所述示教人员60一般为经验丰富的一线操作工人。
在示教完成后,还可以通过计算机40对路径轨迹点进行筛选编辑,如去掉手持式示教工具11关闭的路径节点、路径节点平滑处理等,形成路径轨迹。计算机根据编辑后的路径轨迹和工艺参数,按照物理机器人编程系统的指令格式生成程序代码,用于控制机器人实现批量生产。
本实施例一的工作原理是:
首先,在位姿计算单元23上建立位姿跟踪系统坐标系,使其与物理机器人坐标系重合,其次建立手持式示教工具坐标系,该手持式示教工具坐标系与所述位姿跟踪系统坐标系的坐标轴方向一直,其目的是:使位姿计算单元23在跟踪手持式示教工具11时,能够在相同的坐标系下进行跟踪并生成数据,保持位姿的一致性。一线工人握持手持式示教工具11对被操作部件50进行操作时,通过摄像机组21进行拍摄。摄像机组21将拍摄到的图像传输至所述位姿计算单元23,位姿计算单元23对图像处理后识别图像中的跟踪标识物22,计算并跟踪该跟踪标识物22的位姿,即可得到手持式示教工具11的位置和姿态,并将其实时发送给计算机40,在计算机40端形成操作的路径轨迹点、操作姿态、操作速度等信息。与此同时,所述示教数据采集器13采集示教控制器上12的工艺参数,然后将工艺参数传送给计算机40。计算机40同时记录实时的位置和姿态以及对应的工艺参数,处理并生成40得到手持式示教工具11的路径轨迹点、操作姿态、操作速度,对所述操作路径轨迹点进行筛选编辑,形成路径轨迹,最后计算机根据编辑后的路径轨迹和工艺参数,按照物理机器人编程系统的指令格式生成程序代码,用于控制机器人实现批量生产。
实施例二
本实施例较实施例一的区别技术特征在于:所述机器人示教编程系统还包括头戴式增强现实显示器70,所述位姿跟踪系统还包括注册标识物24,所述注册标识物24为至少4个注册标志点;所述头戴式增强现实显示器70连接所述计算机40,所述注册标识物24固定于所述头戴式增强现实显示器70上。所述头戴式增强现实显示器70与所述计算机40通信,接收并显示计算机40发送的场景。一般地,所述头戴式增强现实显示器70可以选用光学穿透式增强现实显示器。
本实施例二的工作原理是:在计算机上40建立物理机器人31的仿真模型——虚拟机器人,计算机40读取所述路径轨迹上控制点的位姿,利用物理机器人31的逆运动学方程计算虚拟机器人各关节的旋转角度,然后驱动虚拟机器人模型各关节运动。示教人员60戴上所述头戴式增强现实显示器70,所述位姿跟踪系统跟踪所述头戴式增强现实显示器70上的注册标识物24,计算示教人员60头部位姿;计算机40将该头部位姿作为虚拟视点生成机器人模拟工作的显示场景,并发送到头戴式增强现实显示器70显示,从而使示教人员60看到一个虚实融合的场景(虚拟的焊接机器人和真实的被操作部件),实现增强现实注册。示教人员60可以在不同的方位观察虚拟机器人是否与真实场景存在干涉,检查虚拟机器人操作过程是否满足要求等。
本发明一种机器人示教编程系统,通过示教人员60使用手持式示教工具11完成示教编程,位姿跟踪系统获取一线工人实际操作时的位置和姿态,再由示教系统提供实际操作时的工艺参数,最后由计算机40处理得到手持式示教工具11的路径轨迹,按照物理机器人编程系统的指令格式将路径轨迹和工艺参数生成程序代码,即可用于控制机器人实现批量生产。因此,本发明的优点在于:示教过程不需要操作物理机器人本体,编程方便,且编程效率高;同时,由于本发明是一种根据一线工人的实际操作自动生成机器人程序的机器人示教编程系统,因此,本发明还能够将操作工人的经验和技能体现在程序中。除此之外,本发明通过计算机40、位姿跟踪系统以及头戴式增强现实显示器70,还能够实现增强现实仿真,及时发现机器人与工作场景的干涉,检查机器人操作过程是否满足要求,大大提升示教编程的品质和生产应用时合格率。
实施例三
请参阅图1至图3,一种机器人示教编程方法,该方法是基于所述机器人示教编程系统实现的,具体步骤如下:
步骤10、建立坐标系:包括
建立位姿跟踪系统坐标系:在所述位姿计算单元23上建立所述位姿跟踪系统坐标系,并且使其与物理机器人坐标系重合,这样保证位姿跟踪系统跟踪的位姿均是在物理机器人坐标系下的坐姿;所述物理机器人坐标系为所述物理机器人31自带固有的;现有的位姿跟踪系统,如Optitrack位置跟踪系统,该系统包含摄像机和位置跟踪软件等,位置跟踪精度可达0.1mm,方向跟踪精度0.1度。
建立手持式示教工具坐标系:将手持式示教工具11安装在所述物理机器人31上,将跟踪标识物22固定在手持式示教工具11上,把手持式示教工具11的刀位点(如焊枪头端、喷漆或涂胶的喷嘴等)定义为所述手持式示教工具坐标系的原点,通过控制物理机器人运动,使所述手持式示教工具11在所述物理机器人坐标系下的姿态为(0,0,0)时,并使所述手持式示教工具坐标系的坐标轴方向与所述位姿跟踪系统坐标系的坐标轴及坐标轴方向一致;
步骤20、交互示教:示教人员60手握所述手持式示教工具11对被操作部件50进行实际操作,所述摄像机组21将拍摄到图像传递至位姿计算单元23,由位姿计算单元23计算跟踪所述跟踪标识物22的位姿,得到所述手持式示教工具11的实时位置和姿态;所述位姿计算单元23将所述手持式示教工具11的实时位置和姿态发送至计算机40;同时,通过示教数据采集器13采集示教控制器12上的实时工艺参数(例如,进行焊接示教编程时,采集到的焊接工艺参数包括:焊接电压、焊接电流、焊接开关信号、焊丝喂料速度、保护器开关信号等),然后发送至计算机40;计算机40记录所述手持式示教工具11的实时位置和姿态以及各时刻对应的实时工艺参数;一般地,计算机(40)可以按照时间标签记录所述手持式示教工具(11)的实时位置和姿态以及各时刻对应的实时工艺参数;
具体地,所述跟踪标识物(24)为至少4个跟踪标志点,由4个跟踪标志点确定六自由度位姿;所述跟踪标识物22还可以是图案等,跟踪标识物22的类型由所采用的位姿跟踪系统决定;但选用4个跟踪标志点作为跟踪标识物22时,所述位姿计算单元对来自摄像机组的图像处理后识别图像中的所述跟踪标志点和所述跟踪标志点的坐标,并根据跟踪标志点之间的已知位置关系,计算跟踪所述跟踪标识物的位姿,即可得到所述手持式示教工具11的位置和姿态;
步骤30、数据后处理:示教完成后,计算机40根据实时位置和姿态生成手持式示教工具11的路径轨迹点、操作姿态、操作速度,对所述操作路径轨迹点进行筛选编辑,形成路径轨迹;所述筛选编辑,如去除掉手持式示教工具关闭的路径节点、路径节点平滑处理等;
步骤40、物理机器人控制:计算机40将所述路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码,用于控制物理机器人31,实现批量生产。
在本实施例三中,所述手持式示教工具11的数量为至少一个,所述手持式示教工具11包括焊枪、胶枪、喷头、打磨工具、被装配零件等,选用一个或多个。
本发明一种机器人示教编程方法,计算机40根据示教人员60的实际操作自动生成机器人程序,用以控制机器人完成焊接、涂胶、喷漆、打磨、抛光、装配等操作,该编程方法效率高,且能够模拟示教人员的操作经验和技巧等优点,既能够用于实验室编程也可用于车间编程。
实施例四
本实施例四一种机器人示教编程方法与实施例三的区别技术特征在于,所述机器人示教编程方法还包括增强现实仿真过程,该过程还需要用到头戴式增强现实显示器70和注册标识物24,所述注册标识物24为至少4个注册标志点,图2中显示4个,具体实现方法如下:
执行所述步骤10中建立位姿跟踪系统坐标系和建立手持式示教工具坐标系的步骤,同时还执行如下内容:
建立机器人仿真模型:在计算机40中根据物理机器人31的结构和参数建立物理机器人31正运动学方程和逆运动学方程,建立与物理机器人31对等的虚拟机器人三维模型,并使所述虚拟机器人模型的坐标系与虚拟场景的世界坐标系重合;需要说明的是:建立机器人仿真模型时,必须建立与所述物理机器人31以及安装在上面的手持式示教工具11对等的虚拟机器人三维模型,因此,在建立正运动学方程和逆运动学方式时,必须包括物理机器人31以及手持式示教工具11的结构和参数,例如物理机器人使用的焊枪、胶枪、喷嘴、打磨器或待打磨的零部件等;
建立头戴式增强现实显示器坐标系:将所述注册标识物24固定在所述头戴式增强现实显示器70上,将两眼中间的位置定义为所述头戴式增强现实显示器坐标系的原点,所述头戴式增强现实显示器姿态为(0,0,0)时,该头戴式增强现实显示器坐标系的坐标轴方向与所述物理机器人坐标系的坐标轴方向相同;
执行所述步骤20、交互示教;
执行所述步骤30、数据后处理;
执行步骤31、路径轨迹及工艺过程的增强现实仿真:计算机40依次根据所述路径轨迹上各轨迹点的位置和姿态,利用所述逆运动学方程计算物理机器人31各关节的旋转角度,使用所述各关节旋转角度驱动所述虚拟机器人模型的各关节运动,在虚拟场景中模拟物理机器人31的工作过程;在此过程中,示教人员60戴上头戴式增强现实显示器70,所述摄像机组21将拍摄到包含所述头戴式增强现实显示器70的图片发送至所述位姿计算单元23,所述位姿计算单元23跟踪所述头戴式增强现实显示器70上的注册标识物24,计算头部位姿;计算机40将该头部位姿作为虚拟视点生成虚拟机器人模拟工作的显示场景,并发送到头戴式增强现实显示器70上显示,从而使示教人员60看到一个虚实融合的场景,示教人员60可以在不同的方位观察虚拟机器人是否与真实场景存在干涉,检查物理机器人31操作过程是否满足要求;
执行步骤32、工艺路径编辑:若所述路径轨迹或工艺参数不满足要求,在计算机40中交互调整所述路径轨迹上的轨迹点和该轨迹点对应的操作工艺参数,直至满足要求为止,生成仿真编辑后的路径轨迹和工艺参数;
执行步骤33、仿真后的物理机器人控制:计算机40将所述仿真编辑后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码,用于控制物理机器人31,实现批量生产;
结束。
在本实施例四中,通过增强现实仿真进一步发现示教编程中的不足,及时修正,大大提高机器人示教编程的品质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种机器人示教编程方法,该方法是基于一机器人示教编程系统实现的,其包括示教系统、位姿跟踪系统、物理机器人系统以及计算机(40);所述示教系统包括手持式示教工具(11)、示教控制器(12)以及示教数据采集器(13),所述示教数据采集器(13)用于采集手持式示教工具(11)在被操作部件(50)上操作时的工艺参数,所述手持式示教工具(11)连接示教控制器(12),所述示教数据采集器(13)分别连接所述示教控制器(12)和计算机(40);所述位姿跟踪系统包括摄像机组(21)、跟踪标识物(22)以及位姿计算单元(23),所述摄像机组(21)至少包含两个摄像机,所述摄像机组(21)固定于所述被操作部件(50)的上方,所述摄像机组(21)连接所述位姿计算单元(23),所述位姿计算单元(23)连接所述计算机(40),所述跟踪标识物(22)固定于所述手持式示教工具(11)上;物理机器人系统包括用以提供物理机器人坐标系的物理机器人(31)和物理机器人控制器(32),所述物理机器人(31)连接所述物理机器人控制器(32),所述物理机器人控制器(32)连接所述计算机(40),其特征在于:
该编程方法具体步骤如下:
步骤10、建立坐标系:包括
建立位姿跟踪系统坐标系:在所述位姿计算单元(23)上建立所述位姿跟踪系统坐标系,并且使其与物理机器人坐标系重合;所述物理机器人坐标系为所述物理机器人(31)自带固有的;
建立手持式示教工具坐标系:将手持式示教工具(11)安装在所述物理机器人(31)上,将跟踪标识物(22)固定在手持式示教工具(11)上,把手持式示教工具(11)的刀位点定义为所述手持式示教工具坐标系的原点,并使所述手持式示教工具(11)在所述物理机器人坐标系下的姿态为(0,0,0)时,使所述手持式示教工具坐标系的坐标轴方向与所述位姿跟踪系统坐标系的坐标轴及坐标轴方向一致;
步骤20、交互示教:示教人员(60)手握所述手持式示教工具(11)对被操作部件(50)进行实际操作,所述摄像机组(21)将拍摄到图像传递至位姿计算单元(23),由位姿计算单元(23)计算跟踪所述跟踪标识物(22)的位姿,得到所述手持式示教工具(11)的实时位置和姿态;所述位姿计算单元(23)将所述手持式示教工具(11)的实时位置和姿态发送至计算机(40);同时,通过示教数据采集器(13)采集示教控制器(12)上的实时工艺参数,然后发送至计算机(40);计算机(40)记录所述手持式示教工具(11)的实时位置和姿态以及各时刻对应的实时工艺参数;
步骤30、数据后处理:示教完成后,计算机(40)根据实时位置和姿态生成手持式示教工具(11)的路径轨迹点、操作姿态、操作速度,对所述操作路径轨迹点进行筛选编辑,形成路径轨迹;
步骤40、物理机器人控制:计算机(40)将所述路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码,用于控制物理机器人(31),实现批量生产;
所述方法还包括增强现实仿真过程,通过头戴式增强现实显示器(70)和注册标识物(24)实现,具体实现方法如下:
执行所述步骤10的同时还执行如下内容:
建立机器人仿真模型:在计算机(40)中根据物理机器人(31)的结构和参数建立物理机器人正运动学方程和逆运动学方程,建立与物理机器人(31)对等的虚拟机器人三维模型,并使所述虚拟机器人模型的坐标系与虚拟场景的世界坐标系重合;
建立头戴式增强现实显示器坐标系:将所述注册标识物(24)固定在所述头戴式增强现实显示器(70)上,将两眼中间的位置定义为所述头戴式增强现实显示器坐标系的原点,所述头戴式增强现实显示器姿态为(0,0,0)时,该头戴式增强现实显示器坐标系的坐标轴方向与所述物理机器人坐标系的坐标轴方向相同;
执行所述步骤20;
执行所述步骤30;
执行步骤31、路径轨迹及工艺过程的增强现实仿真:计算机(40)依次根据所述路径轨迹上各轨迹点的位置和姿态,利用所述逆运动学方程计算物理机器人(31)各关节的旋转角度,使用所述各关节旋转角度驱动所述虚拟机器人模型的各关节运动,在虚拟场景中模拟物理机器人(31)的工作过程;在此过程中,示教人员(60)戴上头戴式增强现实显示器(70),所述摄像机组(21)将拍摄到包含所述头戴式增强现实显示器(70)的图片发送至所述位姿计算单元(23),所述位姿计算单元(23)跟踪所述头戴式增强现实显示器(70)上的注册标识物(24),计算头部位姿;计算机(40)将该头部位姿作为虚拟视点生成虚拟机器人模拟工作的显示场景,并发送到头戴式增强现实显示器(70)上显示,从而使示教人员(60)看到一个虚实融合的场景,示教人员(60)可以在不同的方位观察虚拟机器人是否与真实场景存在干涉,检查物理机器人(31)操作过程是否满足要求;
执行步骤32、工艺路径编辑:若所述路径轨迹或工艺参数不满足要求,在计算机(40)中交互调整所述路径轨迹上的轨迹点和该轨迹点对应的操作工艺参数,直至满足要求为止,生成仿真编辑后的路径轨迹和工艺参数;
执行步骤33、仿真后的物理机器人控制:计算机(40)将所述仿真编辑后的路径轨迹和工艺参数按照物理机器人编程系统的指令格式生成程序代码,用于控制物理机器人(31),实现批量生产;
结束。
2.根据权利要求1所述一种机器人示教编程方法,其特征在于:所述步骤20中,计算机(40)按照时间标签记录所述手持式示教工具(11)的实时位置和姿态以及各时刻对应的实时工艺参数。
3.根据权利要求1所述一种机器人示教编程方法,其特征在于:所述跟踪标识物(24)为至少4个跟踪标志点。
4.根据权利要求1所述一种机器人示教编程方法,其特征在于:所述注册标识物(24)为至少4个注册标志点。
CN201710691832.6A 2017-08-14 2017-08-14 一种机器人示教编程系统及方法 Active CN107309882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710691832.6A CN107309882B (zh) 2017-08-14 2017-08-14 一种机器人示教编程系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710691832.6A CN107309882B (zh) 2017-08-14 2017-08-14 一种机器人示教编程系统及方法

Publications (2)

Publication Number Publication Date
CN107309882A CN107309882A (zh) 2017-11-03
CN107309882B true CN107309882B (zh) 2019-08-06

Family

ID=60175735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710691832.6A Active CN107309882B (zh) 2017-08-14 2017-08-14 一种机器人示教编程系统及方法

Country Status (1)

Country Link
CN (1) CN107309882B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108161904B (zh) * 2018-01-09 2019-12-03 青岛理工大学 基于增强现实的机器人在线示教装置、系统、方法、设备
CN108262586A (zh) * 2018-03-02 2018-07-10 广州市盘古机器人科技有限公司 视觉6关节机械手焊接应用技术
CN108480880A (zh) * 2018-03-02 2018-09-04 广州市盘古机器人科技有限公司 多红外三维坐标定位坐标机器人焊接应用技术
CN108481323B (zh) * 2018-03-14 2021-04-27 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法
CN108422435B (zh) * 2018-03-21 2020-05-12 烟台朗文汽车零部件有限公司 一种基于增强现实的远程监测及控制系统
CN108537808B (zh) * 2018-04-08 2019-02-22 易思维(天津)科技有限公司 一种基于机器人示教点信息的涂胶在线检测方法
CN108656120B (zh) * 2018-04-11 2020-10-30 陈小龙 一种基于图像对比的示教、加工方法
CN110039520B (zh) * 2018-04-11 2020-11-10 陈小龙 一种基于图像对比的示教、加工系统
CN108748137B (zh) * 2018-04-11 2021-02-02 陈小龙 一种实物扫描建模方法及其应用
CN108655026B (zh) * 2018-05-07 2020-08-14 上海交通大学 一种机器人快速示教分拣系统和方法
CN108687198A (zh) * 2018-05-16 2018-10-23 安徽同步自动化科技有限公司 一种汽车覆盖件五轴滚压包边仿形编程方法及其装置
CN108858280A (zh) * 2018-06-05 2018-11-23 厦门攸信信息技术有限公司 一种录制人类行为的多机械臂组合工作系统
CN108748152B (zh) * 2018-06-07 2021-06-29 上海大学 一种机器人示教方法及系统
CN108908298B (zh) * 2018-07-23 2021-08-10 合肥工业大学 一种融合虚拟现实技术的主从式喷涂机器人示教系统
CN109064829A (zh) * 2018-08-14 2018-12-21 山东省科学院自动化研究所 一种无人驾驶车辆视觉感知能力测试方法及系统
CN110966986B (zh) * 2018-09-29 2021-06-04 深圳市掌网科技股份有限公司 室内三维自动扫描系统
JP6895128B2 (ja) * 2018-11-09 2021-06-30 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム
CN109605367B (zh) * 2018-11-13 2021-01-26 上海鲸鱼机器人科技有限公司 一种机器人编程方法、装置及设备、存储介质
CN109676583B (zh) * 2018-12-03 2021-08-24 深圳市越疆科技有限公司 基于目标姿态深度学习视觉采集方法、学习系统及存储介质
CN109848964B (zh) * 2019-01-24 2020-10-09 浙江工业大学 基于光学动作捕捉的示教机器人数据采集器系统
CN110053054B (zh) * 2019-04-09 2020-07-28 浙江工业大学 基于Android手机IMU的机械臂示教方法
CN110000787B (zh) * 2019-04-12 2021-01-19 清华大学深圳研究生院 一种超冗余机械臂的控制方法
CN110142770B (zh) * 2019-05-07 2020-11-27 中国地质大学(武汉) 一种基于头戴显示装置的机器人示教系统及方法
CN110170996B (zh) * 2019-05-09 2022-08-19 广西安博特智能科技有限公司 一种基于立体视觉的机器人快速示教系统
CN110125944B (zh) * 2019-05-14 2023-07-04 中国地质大学(武汉) 一种机械臂示教系统和方法
CN110116116A (zh) * 2019-05-14 2019-08-13 中国地质大学(武汉) 基于计算机视觉的机器人激光清洗路径规划系统及方法
CN110076781A (zh) * 2019-06-04 2019-08-02 卢相超 一种数控笔及数控路径导航系统
CN112207857A (zh) * 2019-07-12 2021-01-12 上海智殷自动化科技有限公司 一种基于双目视觉系统的离线示教系统
CN110238831B (zh) * 2019-07-23 2020-09-18 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
CN110900609A (zh) * 2019-12-11 2020-03-24 浙江钱江机器人有限公司 一种机器人示教装置及其方法
US20220324117A1 (en) * 2020-03-24 2022-10-13 Qingdao Technological University Registration System and Method for robot-oriented augmented reality teaching system
CN111300384B (zh) * 2020-03-24 2022-11-15 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN111267073B (zh) * 2020-03-24 2022-11-15 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法
WO2021189223A1 (zh) * 2020-03-24 2021-09-30 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN111283664B (zh) * 2020-03-24 2023-03-28 青岛理工大学 一种面向机器人增强现实示教的注册系统和方法
CN112454370B (zh) * 2020-10-21 2022-06-28 浙江工业大学 一种io可自由映射的点钻机器人编程示教方法
CN112454363A (zh) * 2020-11-25 2021-03-09 马鞍山学院 一种用于焊接操作的ar辅助机器人的控制方法
JP2022122728A (ja) * 2021-02-10 2022-08-23 セイコーエプソン株式会社 教示装置、教示方法および教示プログラム
CN113126568B (zh) * 2021-03-10 2022-08-09 上海乾庾智能科技有限公司 一种基于增强现实技术的工业机器人操作和演示系统
CN113100934A (zh) * 2021-04-06 2021-07-13 德智鸿(上海)机器人有限责任公司 手术辅助方法、装置、计算机设备和存储介质
CN113578699B (zh) * 2021-09-28 2022-11-18 常州铭赛机器人科技股份有限公司 空间点胶的轨迹路径示教方法、点胶系统
CN113997293A (zh) * 2021-12-07 2022-02-01 广东电网有限责任公司 一种动态视觉的感知观测跟踪控制方法、装置及设备
JP2023117123A (ja) * 2022-02-10 2023-08-23 スズキ株式会社 塗装ロボットの動作プログラム生成システム、動作プログラム生成方法、および教示点生成装置
CN114670212B (zh) * 2022-04-26 2023-04-21 南通新蓝机器人科技有限公司 基于imu与视觉的机器人引导手柄及其使用方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19626459C2 (de) * 1996-07-02 1999-09-02 Kuka Schweissanlagen Gmbh Verfahren und Vorrichtung zum Teachen eines programmgesteuerten Roboters
NO317898B1 (no) * 2002-05-24 2004-12-27 Abb Research Ltd Fremgangsmate og system for a programmere en industrirobot
JP4221014B2 (ja) * 2006-06-20 2009-02-12 ファナック株式会社 ロボット制御装置
JP5549749B1 (ja) * 2013-01-16 2014-07-16 株式会社安川電機 ロボット教示システム、ロボット教示プログラムの生成方法および教示ツール
CN106142092A (zh) * 2016-07-26 2016-11-23 张扬 一种基于立体视觉技术对机器人进行示教的方法

Also Published As

Publication number Publication date
CN107309882A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107309882B (zh) 一种机器人示教编程系统及方法
AU2020201554B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
CN108161904B (zh) 基于增强现实的机器人在线示教装置、系统、方法、设备
CN108481323A (zh) 基于增强现实的机器人运动轨迹自动编程系统及方法
CN102135776B (zh) 基于视觉定位的工业机器人控制方法
CN104759379B (zh) 基于喷涂目标三维成像技术的全流程闭环智能喷涂机器人
US7298385B2 (en) Method and device for visualizing computer-generated informations
Pettersen et al. Augmented reality for programming industrial robots
US8406923B2 (en) Apparatus for determining pickup pose of robot arm with camera
CN104552300B (zh) 一种基于示教机器人的离线编程示教装置及方法
CN107220099A (zh) 一种基于三维模型的机器人可视化虚拟示教系统及方法
CN109352658A (zh) 工业机器人定位操控方法、系统及计算机可读存储介质
CN108908298B (zh) 一种融合虚拟现实技术的主从式喷涂机器人示教系统
CN104827474B (zh) 学习人的虚拟示教机器人智能编程方法及辅助装置
CN209350243U (zh) 一种基于Kinect的喷涂人工示教系统
CN105537824B (zh) 一种基于机械臂手眼协调自主焊接控制方法
CN108008729B (zh) 机器人红外激光定位运动轨迹规划方法及装置
CN107457781A (zh) 一种控制机器人运动的方法和系统
CN109848964A (zh) 基于光学动作捕捉的示教机器人数据采集系统
CN107671838B (zh) 机器人示教记录系统、示教的工艺步骤及其算法流程
CN204322082U (zh) 一种基于示教机器人的离线编程示教装置
CN110193816A (zh) 工业机器人示教方法、手柄及系统
CN104760044B (zh) 一种无动力关节臂式示教器及其在工业机器人中的应用
CN110053045A (zh) 工件表面轮廓线获取方法、干涉检测方法和相关装置
CN204525481U (zh) 一种无动力关节臂式示教器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266555 Fushun Road, Shibei District, Qingdao, Shandong 11

Applicant after: Qingdao Technological University

Address before: 266555 No. 777 Jialingjiang Road, Qingdao Economic and Technological Development Zone, Qingdao City, Shandong Province

Applicant before: Qingdao Technological University

GR01 Patent grant
GR01 Patent grant