CN110948467A - 一种基于立体视觉的手持示教装置及方法 - Google Patents

一种基于立体视觉的手持示教装置及方法 Download PDF

Info

Publication number
CN110948467A
CN110948467A CN201910408933.7A CN201910408933A CN110948467A CN 110948467 A CN110948467 A CN 110948467A CN 201910408933 A CN201910408933 A CN 201910408933A CN 110948467 A CN110948467 A CN 110948467A
Authority
CN
China
Prior art keywords
coordinate system
pose
handheld
robot
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910408933.7A
Other languages
English (en)
Inventor
潘海鸿
王耀玮
田硕
刘吉刚
陈琳
梁旭斌
蒲明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN201910408933.7A priority Critical patent/CN110948467A/zh
Publication of CN110948467A publication Critical patent/CN110948467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于立体视觉的手持示教装置及方法,涉及机器人示教和立体视觉领域。手持示教装置包括信号发送单元、模式选择单元、信号触发装置、电源模块、光斑点、示教装置本体、姿态传感器和位姿测量杆件。操作手持示教装置的位姿测量杆件末端以设定的姿态移动到规划路径上的设定点的位置,获取光斑点的图像信息,通过数据处理获取立体视觉坐标系到光斑点坐标系的位姿矩阵,结合姿态传感器的测量结果进一步构建位姿测量杆件末端坐标系到机器人基座标系的位姿矩阵,求算示教点在机器人基坐标系下的位姿信息,根据模式选择单元选择的拟合方式,机器人复现示教点轨迹。本装置简单灵活、工作效率高,能够实现快速示教,提升机器人使用易用性。

Description

一种基于立体视觉的手持示教装置及方法
技术领域
本发明涉及机器人示教设备,具体涉及一种基于立体视觉和三个光源的手持示教装置及 方法。
背景技术
工业机器人在各个行业中的应用越来越广泛,而机器人示教过程则是机器人工作过程中 重要的一步。
目前在机器人示教主要有两种方法——人工示教方法和离线示教方法。人工示教是指由 人工导引机器人末端执行器,或由人工操作导引机械模拟装置,或用示教盒来使机器人完成预 期的动作,由于此类机器人的编程通过实时在线示教程序来实现,而机器人本身凭记忆操作, 故能不断重复再现。离线示教法指先对喷件信息进行采集,在计算机上模拟仿真编程,通过 轨迹规划形成轨迹路径。但是传统示教过程耗费了操作人员大量时间,因此需要一种快速简 单的示教办法。
近年来,机器人视觉技术为解决机器人示教问题带来新的可能。目前比较成熟的视觉技 术有基于飞行时间(TOF)、结构化光、双目视觉和光场的技术。这些技术都能通过一定的算 法得到被测对象的深度信息,将深度信息反馈给机器人系统,便可解决机器人示教中的深度 问题。
发明内容
本发明提出使用一种基于立体视觉的手持示教装置及方法,目的是为了解决机器人示教 过程繁琐,示教时间长的问题。本发明采用立体相机安装在机器人末端夹持工具或机器人末 端的方法,通过立体相机拍照识别光斑点完成测量和示教。
本发明提出了一种基于立体视觉的机器人快速示教装置,其特征在于包括:信息发送单 元1、信号触发装置2、至少三个光源3、手持握柄4、位姿测量杆件5;所述信息发送单元1 安装在手持握柄4内;所述信号触发开关2安装在手持握柄4上;所述三个光源3不共线并 固定在手持握柄4上;所述位姿测量杆件5装并固定在手持握柄4前端。
信息发送单元1采用有线传输或无线传输或有线和无线传输方式与立体视觉系统进行信 息交互。
所述至少三个光源3位置应该满足如下条件:三个光源不共线并且当手持示教装置在某 一角度被立体相机拍照时,光斑点能够被立体相机完整清晰的拍摄。
三个光源3所在坐标系与位姿测量杆件5所在坐标系的位姿变换矩阵由其对应的平移向 量和旋转矩阵组成,三个光源坐标系5-1到位姿测量杆件5末端坐标系的平移向量由一次标 定得出,旋转矩阵由三个光源3与位姿测量杆件5的形位关系得出。
在示教过程中,通过操作手持示教装置,使位姿测量杆件5的末端点移动到规划路径上 的设定点,在保持位姿测量杆件5末端点的位置不变的情况下,调整位姿测量杆件5至设定 的姿态。按下信号触发装置2,点亮至少三个光源3,同时信息发送单元1发送信号给立体视 觉系统,控制立体视觉系统完整清晰地采集全部光斑的图像信息后将该图像信息发送给计算 机,计算机通过数据处理获得相机坐标系与三个光源3所在坐标系之间的位姿变换矩阵T3。 经过机器人手眼标定一次性获取器人末端夹持工具坐标系与相机坐标系机之间的位姿变换矩 阵T2,结合三个光源3所在坐标系与位姿测量杆件5末端坐标系的位姿变换矩阵T4以及从机 器人控制模块获取的机器人基坐标系与机器人末端夹持工具坐标系之间的位姿变换矩阵T1, 进一步计算获取机器人基坐标系与位姿测量杆件5末端坐标系之间的位姿变换矩阵 T5=T1·T2·T3·T4,最终转换为位姿测量杆件5末端点在机器人基坐标系下的位姿信息,即所 示教的规划路径上设定点在机器人基坐标系下的位姿信息PP,根据位姿信息PP,机器人可 以复现示教点的位姿状态。
本发明的有益效果是:
1、本发明所述的一种基于立体视觉的机器人手持示教装置,充分利用人手部的灵活性, 操作人员能够迅速、直观地将手持示教装置移动到达规划路径上设定点的位置和姿态,相比 传统的示教器示教,工作效率大幅度提升。
2、本发明所述的一种基于立体视觉的机器人手持示教装置,使用主动发光的三个光源构 建坐标系,受环境光的影响小,提升了易用性,更利于进行图像处理,也提升了示教装置在 复杂工况下的稳定性。
3、立体相机置于机器人上,可随机器人移动,能够无死角的拍摄到示教器光斑点,实现 在任意位置和角度的示教。面对需要进行多次不同规划路径的示教工况,无需进行多次手眼 关系标定,简化了示教流程提高机器人工作的灵活性、适应性和易用性。
附图说明
图1为一种基于立体视觉的机器人手持示教装置示意图。
图2为一种基于立体视觉的机器人手持示教装置三个光源坐标系示意图。
图3为一种基于立体视觉的机器人手持示教装置的各坐标系转换示意图。
附图中:1-信息发送单元;2-信号触发装置;3-三个光源;4-手持握柄;5-位姿测量杆 件。
具体实施方式
以下结合附图进一步说明本发明。
实施例:如附图1所示,一种基于立体视觉的机器人手持示教装置,包括信息发送单元 1、信号触发装置2、三个光源3、手持握柄4、位姿测量杆件5;如附图1所示的实施例中,所述信息发送单元1安装在手持握柄4内部,所述信号触发装置2通过固定孔固定在手持握柄4下表面;所述三个光源3固定在手持握柄4上表面;所述位姿测量杆件5通过固定孔固 定在手持握柄4的前端。
如图2所示,选择三个光源的一个作为原点O1,分别与另外两个光源构建X轴、Y轴,根据右手定则确定Z轴方向,构建三个光源坐标系5-1。设三个光斑点在相机坐标系下的位置信息依次为(x1、y1、z1)、(x2、y2、z3)、(x3、y3、z3),根据三个光斑点的位置信息, 构建相机坐标系下的空间向量
Figure BSA0000183250320000031
如式(1)所示:
Figure BSA0000183250320000032
Figure BSA0000183250320000033
Figure BSA0000183250320000034
取向量
Figure BSA0000183250320000035
的单位向量,如式(2)所示:
Figure BSA0000183250320000036
同时,相机坐标系上单位向量,如式(3)所示:
Figure BSA0000183250320000037
由旋转矩阵的定义,可建立三个光源坐标系5-1相对于相机坐标系的旋转矩阵R3,如式 (4)所示:
Figure BSA0000183250320000038
选择点1的坐标值(x1、y1、z1)作为三个光源坐标系5-1的原点,也是该坐标系的平移向量,构建出相机坐标系与三个光源坐标系5-1的位姿变换矩阵T3,如式(5)所示:
Figure BSA0000183250320000039
在进行示教前,需要通过一次标定构建手持示教装置上三个光源坐标系5-1到位姿测量 杆件末端坐标系6-1的位姿变换矩阵T4。将至少带有三个特征点的标定物(图中未标出)放 在立体视觉系统有效视场范围内,立体视觉系统获取特征点在相机坐标系下的位置信息,记 作(xn1,yn1,zn1),(xn2,yn2,zn2),...,(xni,yni,zni),i为特征点个数,i≥3。然后操作手持示教装置分 别示教这些特征点,立体视觉系统完整清晰地采集每次示教时三个光斑的图像信息,计算机 通过数据处理计算每次示教时相机坐标系到三个光源坐标系5-1的位姿变换矩阵T3
为方便说明,设Tg为相机坐标系到位姿测量杆件末端坐标系6-1的平移向量,即位姿测 量杆件5的末端点在相机坐标系下的位置信息,则存在如式(6)所示的变换关系:
Figure BSA0000183250320000041
其中,[x y z]T为三个光源坐标系5-1到位姿测量杆件末端坐标系6-1的平移向量, 为待求量,记作Tt
进一步进行矩阵运算,可以得到如式(7)所示的变换关系:
Figure BSA0000183250320000042
其中,i代表用于标定的特征点数量,且i≥3,[xni yni zni]T为相机坐标系下的对应特 征点的位置信息。
将i个特征点的位置信息(xn1,yn1,zn1),(xn2,yn2,zn2),...,(xni,yni,zni)带入式(7),则存在如式 (8)所示的变换关系:
Figure BSA0000183250320000043
对形如A·X=B的矩阵格式且矩阵A不为方阵,可通过最小二乘法求得矩阵
Figure BSA0000183250320000044
即可通过式(9)进行计算:
Figure BSA0000183250320000051
从而求得三个光源坐标系5-1原点到位姿测量杆件末端坐标系6-1原点的平移向量Tt, 再由三个光源3与位姿测量杆件5的形位关系确定旋转矩阵Rt,最终由
Figure BSA0000183250320000052
构建出三个 光源坐标系5-1与位姿测量杆件坐标系6-1之间的位姿变换矩阵,记作T4
将待加工物件放置在立体视觉系统的有效视场范围内,操作手持示教装置到达规划路径 上的设定点的位姿,立体视觉系统完整清晰地采集三个光源3的图像信息,计算机通过数据 处理计算获取相机坐标系与三个光源坐标系5-1的位姿变换矩阵T3。根据图3所示的坐标系 转换关系,此时,根据位姿变换矩阵的封闭运动链,机器人基坐标系到位姿测量杆件末端坐 标系6-1的位姿变换关系(记作T5)与机器人基坐标系到机器人末端夹持工具坐标系的位姿 变化矩阵(记作T1,由机器人控制模块获取)、机器人末端夹持工具坐标系与相机坐标系的位 姿变换矩阵(记作T2,由机器人手眼标定获取)、相机坐标系与三个光源坐标系5-1的位姿变 换矩阵T3、手持示教装置上三个光源坐标系5-1与位姿测量杆件末端坐标系6-1的位姿变换 矩阵T4之间的关系式如式(10)所示:
T5=T1·T2·T3·T4 (10)
根据机器人基坐标系与位姿测量杆件末端坐标系6-1的位姿变换关系T5,可转换为所示 教的一个设定点在机器人基坐标系下的位姿信息PP,计算机将其保存,等待所有设定点示教 完成后,将所有设定在基坐标系下的位姿信息PP传输给机器人控制模块,控制机器人复现所 有设定点的位姿状态,形成规划轨迹。
以上仅是本发明的具体应用范例,对本发明的保护范围不构成任何限制。除上述实施例 外,本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本 发明所要求保护的范围之内。

Claims (5)

1.一种基于立体视觉的手持示教装置及方法,其特征在于,至少包括信息发送单元(1)、信号触发装置(2)、至少三个光源(3)、手持握柄(4)、位姿测量杆件(5);所述信息发送单元(1)安装在手持握柄(4)内;所述信号触发开关(2)安装在手持握柄(4)上;所述三个光源(3)不共线并固定在手持握柄(4)上;所述位姿测量杆件(5)安装并固定在手持握柄(4)前端。
2.根据权利要求1所述的一种基于立体视觉的手持示教装置及方法,其特征在于,所述信号触发装置(2)被按下后,点亮光源(3),同时所述信息发送单元(1)发送信号控制相机完成拍照,其传输方式采用有线传输或无线传输或有线和无线传输方式。
3.根据权利要求1所述的一种基于立体视觉的手持示教装置及方法,其特征在于,进行基于立体视觉的示教时,所述至少三个光源(3)在相机有效视场范围内,所述至少三个光源(3)能够在相机成像图清晰完整的显示全部光斑。
4.根据权利要求1所述的一种基于立体视觉的手持示教装置及方法,其特征在于:所述至少三个光源(3)不共线,并且其相互位置关系固定且已知,用于确定所述特征识别单元(5)的坐标系与立体视觉坐标系之间的位姿变换矩阵。
5.根据权利要求1所述的一种基于立体视觉的手持示教装置及方法,其特征在于,示教过程如下步骤:
步骤一、操作手持示教装置,使所述至少三个光源(3)置于立体视觉系统的有效视场范围内;
步骤二、将手持示教装置的所述位姿测量杆件(5)的末端放置到规划路径上的设定点上;然后,在保持所述位姿测量杆件(5)末端点的位置不变的情况下,调整所述位姿测量杆件(5)至设定的姿态;
步骤三、按下所述信号触发装置(2),点亮至少三个光源(3)的同时控制所述信息发送单元(1)发送信号给立体视觉系统,控制立体视觉系统拍摄完整清晰的所述至少三个光源(3)的图像;将所述至少三个光源(3)的图像信息传输给计算机进行数据处理,获取所述至少三个光源(3)的坐标系在立体视觉坐标系下的位姿矩阵;
步骤四、通过机器人控制模块获取的机器人基坐标系与机器人末端夹持工具坐标系之间的位姿变换矩阵、机器人手眼标定获取的机器人末端夹持工具坐标系与立体视觉坐标系之间的位姿变换矩阵、手持示教装置上所述至少三个光源(3)的坐标系与位姿测量杆件(5)的末端坐标系之间的位姿变换矩阵,构建出所述位姿测量杆件(5)的末端坐标系与机器人基坐标系之间的位姿变换矩阵进一步转换为所述位姿测量杆件(5)的末端点在机器人基坐标系下的位姿信息;
步骤五、根据所述的位姿信息,机器人控制模块可控制机器人末端夹持工具复现示教点的位姿状态。
CN201910408933.7A 2019-05-16 2019-05-16 一种基于立体视觉的手持示教装置及方法 Pending CN110948467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910408933.7A CN110948467A (zh) 2019-05-16 2019-05-16 一种基于立体视觉的手持示教装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910408933.7A CN110948467A (zh) 2019-05-16 2019-05-16 一种基于立体视觉的手持示教装置及方法

Publications (1)

Publication Number Publication Date
CN110948467A true CN110948467A (zh) 2020-04-03

Family

ID=69975471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910408933.7A Pending CN110948467A (zh) 2019-05-16 2019-05-16 一种基于立体视觉的手持示教装置及方法

Country Status (1)

Country Link
CN (1) CN110948467A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111152230A (zh) * 2020-04-08 2020-05-15 季华实验室 机器人的示教方法、系统、示教机器人及存储介质
CN111347431A (zh) * 2020-04-16 2020-06-30 广东工业大学 一种手持工具示教的机器人示教喷涂方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748854A (en) * 1994-06-23 1998-05-05 Fanuc Ltd Robot position teaching system and method
CN106142092A (zh) * 2016-07-26 2016-11-23 张扬 一种基于立体视觉技术对机器人进行示教的方法
CN106217349A (zh) * 2015-06-02 2016-12-14 精工爱普生株式会社 示教装置以及机器人系统
CN107756408A (zh) * 2017-11-22 2018-03-06 浙江优迈德智能装备有限公司 一种基于主动红外双目视觉的机器人轨迹示教装置及方法
CN108214495A (zh) * 2018-03-21 2018-06-29 北京无远弗届科技有限公司 一种工业机器人示教系统和方法
CN110171009A (zh) * 2019-05-09 2019-08-27 广西安博特智能科技有限公司 一种基于立体视觉的机器人手持示教装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748854A (en) * 1994-06-23 1998-05-05 Fanuc Ltd Robot position teaching system and method
CN106217349A (zh) * 2015-06-02 2016-12-14 精工爱普生株式会社 示教装置以及机器人系统
CN106142092A (zh) * 2016-07-26 2016-11-23 张扬 一种基于立体视觉技术对机器人进行示教的方法
CN107756408A (zh) * 2017-11-22 2018-03-06 浙江优迈德智能装备有限公司 一种基于主动红外双目视觉的机器人轨迹示教装置及方法
CN108214495A (zh) * 2018-03-21 2018-06-29 北京无远弗届科技有限公司 一种工业机器人示教系统和方法
CN110171009A (zh) * 2019-05-09 2019-08-27 广西安博特智能科技有限公司 一种基于立体视觉的机器人手持示教装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111152230A (zh) * 2020-04-08 2020-05-15 季华实验室 机器人的示教方法、系统、示教机器人及存储介质
CN111152230B (zh) * 2020-04-08 2020-09-04 季华实验室 机器人的示教方法、系统、示教机器人及存储介质
CN111347431A (zh) * 2020-04-16 2020-06-30 广东工业大学 一种手持工具示教的机器人示教喷涂方法和装置

Similar Documents

Publication Publication Date Title
CN110919626B (zh) 一种基于立体视觉的机器人手持示教装置及方法
CN110170995B (zh) 一种基于立体视觉的机器人快速示教方法
CN110238831B (zh) 基于rgb-d图像及示教器的机器人示教系统及方法
CN110171009B (zh) 一种基于立体视觉的机器人手持示教装置
US10052765B2 (en) Robot system having augmented reality-compatible display
US8155787B2 (en) Intelligent interface device for grasping of an object by a manipulating robot and method of implementing this device
US20200368904A1 (en) Remote robotic welding with a handheld controller
JP6723738B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN111823223B (zh) 一种基于智能立体视觉的机器人手臂抓取控制系统及方法
JP2021167060A (ja) 人間の実演によるロボット教示
CN110170996B (zh) 一种基于立体视觉的机器人快速示教系统
KR102001214B1 (ko) 가상 현실 기반 양팔로봇 교시 장치 및 방법
CN114043087A (zh) 一种三维轨迹激光焊接焊缝跟踪姿态规划方法
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
WO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN110948467A (zh) 一种基于立体视觉的手持示教装置及方法
CN104827474A (zh) 学习人的虚拟示教机器人智能编程方法及辅助装置
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
CN111843997A (zh) 一种机械臂手持通用示教系统及其操作方法
JP2013158847A (ja) ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム
CN114800574B (zh) 一种基于双三维相机的机器人自动化焊接系统及方法
CN112384335A (zh) 用于一个或多个机器人的自然任务分配的系统和方法
JPH09323280A (ja) マニピュレータの制御方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403

RJ01 Rejection of invention patent application after publication