CN107756408B - 一种基于主动红外双目视觉的机器人轨迹示教装置及方法 - Google Patents

一种基于主动红外双目视觉的机器人轨迹示教装置及方法 Download PDF

Info

Publication number
CN107756408B
CN107756408B CN201711174004.1A CN201711174004A CN107756408B CN 107756408 B CN107756408 B CN 107756408B CN 201711174004 A CN201711174004 A CN 201711174004A CN 107756408 B CN107756408 B CN 107756408B
Authority
CN
China
Prior art keywords
coordinate system
demonstrator
camera
robot
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711174004.1A
Other languages
English (en)
Other versions
CN107756408A (zh
Inventor
于兴虎
夏晗
李湛
佟明斯
卫作龙
林伟阳
Original Assignee
Zhejiang Youmaide Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Youmaide Intelligent Equipment Co ltd filed Critical Zhejiang Youmaide Intelligent Equipment Co ltd
Priority to CN201711174004.1A priority Critical patent/CN107756408B/zh
Publication of CN107756408A publication Critical patent/CN107756408A/zh
Application granted granted Critical
Publication of CN107756408B publication Critical patent/CN107756408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Abstract

本发明涉及一种基于主动红外双目视觉的机器人轨迹示教装置、系统及方法,是为了解决现有的机器人示教方法中可能造成特征信息被遮挡或混淆,而需要人工处理,以及成本高、占用空间大,计算量大、对坐标系的精度要求过高的问题而提出的,主动红外双目视觉的机器人轨迹示教装置包括激光笔座、激光笔、夹具、荧光板连接板、第一荧光板、第二荧光板,所述第一荧光板以及第二荧光板上均设置有预定数量的涂有荧光物质的球体;夹具通过螺钉固定在激光笔座上;荧光板连接板通过螺栓固定在激光笔座上;激光笔上设置有用于保存示教点和用于删除示教点的按键。本发明适用于制作喷漆机器人示教器。

Description

一种基于主动红外双目视觉的机器人轨迹示教装置及方法
技术领域
本发明涉及喷漆机器人控制设备,具体涉及一种基于主动红外双目视觉的机器人轨迹示教装置及方法。
背景技术
工业机器人在各个行业中的应用越来越广泛,其中喷漆机器人是工业机器人中的典型应用之一,有提升喷涂质量和材料使用率,工作空间大,改善工人工作环境等方面有诸多优势。而机器人示教过程作为机器人工作过程中非常重要的组成部分,耗费了操作人员大量时间,提出一种新的示教方法对整个机器人工作过程有十分重要的意义。
目前在机器人示教方法上,主要有两种方法——人工示教方法和离线示教方法。人工示教是指由人工导引机器人末端执行器,或由人工操作导引机械模拟装置,或用示教盒来使机器人完成预期的动作,由于此类机器人的编程通过实时在线示教程序来实现,而机器人本身凭记忆操作,故能不断重复再现。离线示教法指先对喷件信息进行采集,在计算机上模拟仿真编程,利用对喷枪进行轨迹规划自动生成喷枪轨迹。
现在机器人领域多应用计算机视觉,对人工示教时示教器的轨迹做采集[1],但利用这种机器视觉进行运动测量存在特征信息可能会被遮挡或混淆等不足,需要人工处理这种问题。而且工业现场环境复杂,可能存在光照不均等不利情况,对特征的检测增加了难度。高精度的基于视觉的运动捕捉系统要求有高性能的摄像机因此价格昂贵,如果通过增加摄像头的个数来增加检测喷枪的视野范围会增加示教器的成本,而且占用了更大的空间,在摄像机标定时增加了计算量和复杂程度。而离线示教方法的计算量大,算法复杂,非规则边缘不便计算,而且对机器人模型的精度,以及机器人工具坐标系的确定都有很高的精度要求。
由于欧拉角存在万向锁问题,现有技术是利用双欧法来表示姿态。但喷漆机器人需要的示教指令为pan-tilt-roll欧拉角,是唯一表示形式,双欧法无法解决万向锁问题。
发明内容
本发明的目的是为了解决现有的机器人示教方法中可能造成特征信息被遮挡或混淆,而需要人工处理,以及成本高、占用空间大,计算量大、对坐标系的精度要求过高的问题,而提出一种基于主动红外双目视觉的机器人轨迹示教装置、系统及方法。
根据本发明的第一方面,提供了一种基于主动红外双目视觉的机器人轨迹示教装置,包括激光笔座、激光笔、夹具、荧光板连接板、第一荧光板、第二荧光板,所述第一荧光板以及第二荧光板上均设置有预定数量的涂有荧光物质的球体,所述球体均通过连杆与所述第一荧光板或第二荧光板连接;所述夹具通过螺钉固定在激光笔座上;激光笔座具有用于放置激光笔的凹槽;荧光板连接板用于将第一荧光板和第二荧光板连接,以使第一荧光板和第二荧光板的平面垂直;荧光板连接板通过螺栓固定在激光笔座上;激光笔上设置有用于保存示教点和用于删除示教点的按键。
优选地,所述涂有荧光物质的球体的数量和位置满足:当第一荧光板或第二荧光板在任意角度被观测时,能够在该角度同时看到至少3个球体。
根据本发明的第二方面,提供了一种基于主动红外双目视觉的机器人轨迹示教方法,包括:
步骤一、将待喷涂器件放置于基础平台上,并用固定卡具固定在平台上;所述基于主动红外双目视觉的机器人轨迹示教装置设置在双目相机的视野范围内,利用立体视觉的原理视差测距法计算8个标记点小球相对于相机坐标系的空间位置;
步骤二、对所述标记点小球分别进行编号;
步骤三、建立示教器坐标系;
步骤四、计算相机坐标系到示教器坐标系的坐标变换关系;
步骤五、将所述基于主动红外双目视觉的机器人轨迹示教装置通过卡具固定在喷漆机器人的末端,并将喷漆机器人复位;
步骤六、使用喷漆示教器对喷件进行模拟喷漆,在指定的位置处按下用于保存示教点的按键,以将当前位置相对相机坐标系的齐次变换矩阵进行保存;
步骤七、将所述齐次变换矩阵转换为欧拉角;
步骤八、将所述欧拉角保存为文件格式,作为喷漆机器人喷漆的轨迹。
优选地,步骤一中,利用立体视觉的原理视差测距法计算8个标记点小球相对于相机坐标系的空间位置的具体计算公式为:
Figure BDA0001477807080000021
Figure BDA0001477807080000022
Figure BDA0001477807080000023
其中X,Y,Z为标记球在空间中的位置,u1为标记球在左相机图像坐标系中的x坐标,u0为左相机图像坐标系的x原点,u2为标记球在右相机图像坐标系中的x坐标,d为两相机之间的平移距离,v1为标记球在左相机图像坐标系中的y坐标,v0为左相机图像坐标系的y原点,f为相机焦距。
优选地,步骤二具体为:假设8个小球在空间的位置为星型拓扑结构;首先将距离8个小球中心点最近的标记球球标为1号;之后以1号球为中心,计算其他7个标记球距离1号球的空间距离,按空间距离由近至远编为2至8号。
优选地,步骤四具体为:
设(pi,qi),(pj,qj),(pk,qk),(i<j<k)为3个标记球分别在两个坐标系下的坐标;其中pi为i号标记球在相机坐标系中的坐标,qi为i号球在示教器坐标系中的坐标;
将示教器坐标系平移使得其原点与i号标记球重合,记录1号标记球在当前示教器坐标系下的坐标q′1=q1-qi;i,j,k号标记球在当前示教器坐标系下坐标为q′i=0,q′j=qj-qi,q′k=qk-qi;根据下式求出此齐次变换矩阵:
Figure BDA0001477807080000031
其中px、py,pz为相机坐标系下的小球坐标,中qx、qy,qz为示教器坐标系下的小球坐标,其中qy=0,tx=p1x,ty=p1y,tz=p1z,p1x,p1y,p1z为1号球的空间三维坐标,将j号和k号标记球带入齐次变换矩阵中得到三组方程式:
pjx=c11q′jx+c13q′jz+tx
pkx=c11q′jx+c13q′jz+tx
pjy=c21q′jx+c23q′jz+ty
pky=c21q′kx+c23q′kz+ty
pjz=c31q′jx+c33q′jz+ty
pkz=c31q′kx+c33q′kz+ty
解以上三组方程得到[c11,c13,c21,c23,c31,c33];
计算相机坐标系中两向量pij=pj-pi,pik=pk-pi叉乘得到pv=pij×pik,示教器坐标系中x-z平面两向量qij=qj-qi,qik=qk-qi叉乘得到qv=qij×qik,其qvx=qvz=0根据上两个向量得到方程:
pvx=c12qvy
pvy=c22qvy
pvz=c23qvy
通过解方程得到[c12,c22,c32],最后计算q′1左乘当前齐次矩阵得到1号标记球的空间位置,1号标记球的坐标即为最终的[tx,ty,tz],通过3个标记球的空间位置解算得到相机坐标系到示教器坐标系的关系。
本发明的有益效果如下:本发明所述的基于主动红外和双目视觉相结合的示教器轨迹示教方法测量装置结构简单,安装,拆卸和操作上十分方便;而且采用设备价格低廉,精度高;解决了基于计算机视觉示教方法中标记特征点被遮挡或者混淆的问题;利用标记球标记喷枪示教器位置,可以降低计算量,跟踪稳定性高;可以通过移动相机来获得更大的视野范围,又避免了使用额外的摄像机,降低了成本和安装难度;相较于离线示教方法,不需要对工件的模型精度提出特别高的要求,计算量小;示教过程中只需要手持示教器移动而不需要控制移动机器人,工作效率能够至少提高10%,并提高了安全性。
附图说明
图1为使用双目相机拍摄本发明的基于主动红外和双目视觉相结合的喷枪轨迹示教装置的示意图,其中A为基于主动红外和双目视觉相结合的喷枪轨迹示教装置,B为双目摄像机,虚线表示双目相机与示教装置的拍摄关系;
图2为本发明的基于主动红外和双目视觉相结合的喷枪轨迹示教装置的结构图;
图3为本发明的基于主动红外和双目视觉相结合的喷枪轨迹示教方法的流程图。
具体实施方式
本发明提出了一种基于主动红外和双目视觉相结合的喷枪轨迹示教方法,通过双目相机定位标记球三维位置,并解算示教器的位姿,只使用一组双目相机,通过手动移动双目相机的位置来获得满足喷漆机器人工作范围的视野范围,成本低廉,对喷枪运动状态更容易监控,而且设备便于安置和拆卸。
如图2所示,示教器由示教器夹具3、激光笔座1、激光笔2、荧光板连接板4、第一荧光板5和第二荧光板6组成,所述荧光板上有几个涂有荧光物质的小球,其可以在红外光源的照射下被红外摄像机捕获。安装时将示教器夹具3通过螺钉固定在基座上,将激光笔2卡入激光笔座1的凹槽内,用荧光板连接板4将第一荧光板5和第二荧光板6通过螺栓连接起来,使两者平面垂直。之后再用螺栓固定在激光笔座上。使用时将激光笔座1的大头部分卡入示教器夹具3的配合面内。使用激光可以再远距离对准喷件,按钮用于保存示教点和删除示教点。
本设备结构如下:如图1所示,由一组双目纯红外相机和一个固定波段的红外光发射器组成示教装置的检测部分,双目相机的视野范围要覆盖机器人的一部分工作范围,固定波段的红外光发射器的强度要合理,保证光线被标记点球反射后再被摄像机拍摄时不至于亮度过低,或者其他反射过强,影响检测。
由至少3个可以反射红外光发射器发射的固定波段红外光的标记点小球和一个可以进行按钮操作的手柄组成示教装置的示教部分,要求示教部分的至少3个标记点小球要摆放在相同平面,带按钮操作的示教器和小球平面固连在一起,为了提高测量精度的稳定性和扩大测量角度本示教器结构中使用8个标记点小球,即8个小球和操作手柄组成一个刚体,各三个小球组成两个垂直的平面,如图2所示,在喷漆机器人喷枪云台上有通过卡具将图2的装置和喷枪固定在一起。设置8个小球的目的是,使得在任意观测角度都能保证至少能够观测到3个相互不重合的小球。
解算示教器姿态,为了得到机器人需要的pan-tilt-roll控制指令,解决万向锁问题,采用增量式计算方法,将相邻两帧之间的旋转矩阵转换为欧拉角然后进行积分,避免在万向锁位置的运算。从而得到全姿态描述的控制指令。
操作时工作人员手持示教器进行示教,在移动至工作理想位置时可以通过操作示教器上的按钮对当前示教器的位置和姿态进行保存或删除,在上位机上可以实时显示当前喷枪的位置和姿态。当示教器上的标记球球超出双目相机的视野范围,可以通过先将示教器固定,并保存当前示教器的位置和姿态,再手动移动双目相机后重新计算示教器位置姿态,通过该方法可以解算出在新视野范围内示教器相对于未移动前的相机坐标系的位置和姿态。该方法实现实时获取示教器的轨迹和姿态并进行保存,以实现对机器人的示教。
本发明的具体操作步骤如下:
(1)在机器人的工作空间设置双目相机和红外光发射装置,保证红外光的光强适中,并且双目相机的视野范围在机器人的工作空间范围内。
(2)设定相机坐标系。
(3)将图2装置装在机器人末端喷枪的卡具上,让机器人复位,保证喷枪示教器在初始点,应用立体视觉的原理计算示教器的初始位置和姿态,标定当前坐标系作为机器人坐标系。
(4)用户将示教器从机器人末端取下。
(5)示教器位置和姿态的获取:通过立体视觉的原理,利用视差测距法计算出8个标记点小球的相机坐标系下的位置。利用星型拓扑结构对标记球进行编号,防止标记球的混淆。根据用户设定喷枪示教器坐标系计算得到示教器的位置和姿态,通过等效平移示教器坐标系法可以快速求解坐标转换矩阵,简化计算。通过最小二乘中值算法可以提高结果精度。由于(3)步中已知相机坐标系和机器人坐标系的旋转矩阵,所以可以通过计算得到示教器在机器人坐标系下的位置和姿态。
(6)在双目摄像机视野范围内手持喷枪示教器对喷件进行模拟喷漆,并在需要记录位置的关键点,通过图2装置的按钮操作,将关键点位置和姿态保存到计算机。
(7)当超出双目相机的视野范围时,先将示教器固定到当前双目相机的视野范围中的某位置,点击上位机开始移动相机按钮,将当前摄像机坐标系下的示教器坐标系记录下来,手动移动摄像机,扩大视野范围,固定好摄像机后,点击上位机的结束移动相机按钮,此时可以获得新摄像机坐标系下的示教器位姿,通过解算可得到新旧摄像机坐标系的关系。
(8)在新视野范围内进行喷漆示教,得到新摄像机坐标系下的喷枪位置和姿态可以通过解算得到它在原摄像机坐标系下的位置和姿态,因此在新视野范围下按(5),(6)方法仍可以得到示教器在原机器人坐标系下的位置和姿态。
设备由一组双目纯红外相机和一个固定波段的红外光发射器组成示教装置的检测部分,由标记球和按钮座组成的示教器在双目相机的视野中,标记球反射红外光由红外相机识别,从而计算示教器的位姿。
<实施例>
图1至图2为例1所述的基于主动红外和双目视觉相结合的喷枪示教器轨迹示教方法,所述的基于主动红外和双目视觉相结合的喷枪示教器位置识别与跟踪装置如图1,该装置包括至少两个红外相机和固定波段的红外光发射器组成的多目相机系统,其中要求红外光的光强适中,既不太弱以至于经过标记点小球反射后检测效果不好,也不太强以至于被其他物体反射后光强过强,影响检测;要求两个相机的焦距视角和安装角度要配合,即两个相机要有合适的公共视野部分。装置包括图2所示的被检测装置,该装置包括在由两个垂直平面上的8个可以反射红外光线的标记点小球和操作按钮组成。在使用过程中,双目相机可以手动移动到另一位置,通过解算位置关系可以获得更大的视野范围。
图3为利用上述装置实现喷漆机器人的示教方法流程:
(1)设置卡具和初始工作空间
将待喷涂器件放置于基础平台上,并用固定卡具固定在平台上。将图2的装置利用卡具固定在喷漆机器人的末端。将双目相机系统设置在恰当位置,两个相机相距20cm,尽量摆放平行,保证图2装置在双目相机的视野范围内。利用立体视觉的原理视差测距法计算8个标记点小球相对于相机坐标系的空间位置。式7-1如下:
Figure BDA0001477807080000071
Figure BDA0001477807080000072
Figure BDA0001477807080000073
式中X,Y,Z为标记球在空间中的位置,u1为标记球在左相机图像坐标系中的x坐标,u0为左相机图像坐标系的x原点,u2为标记球在右相机图像坐标系中的x坐标,d为两相机之间的平移距离,v1为标记球在左相机图像坐标系中的y坐标,v0为左相机图像坐标系的y原点,f为相机焦距。
(2)为标记球编号
初始状态保证8个标记球都出现在相机视野中,点击上位机number按钮给8个标记球球进行标号。8个小球在空间的位置为星型拓扑结构,首先将距离8个小球中心点最近的标记球球标为1号。之后以1号球为中心,连接其他7个标记球,按空间距离远近一次编为2至8号。在示教过程中为了解决标记球遮挡问题,首先保存8个球之间
Figure BDA0001477807080000074
个相对距离以及中心位置距8个标记球的8个位置,如果确定i号球时但距离不在误差范围内则认为i号球没有被识别和跟踪,判断是否为i+1号球,直至8号球判断完成,这样可以确定因为遮挡或其他原因没有被识别的标记球。
(3)建立示教器坐标系
设置示教器坐标系,以1号标记点小球为原点,为了与喷漆机器人喷枪姿态一致,设卡具安装平面为x-z平面,提前测量可以8个标记球在示教器坐标系下的坐标。
(4)解算示教器齐次变换矩阵
最多可以定位8个标记球的空间位置,设定位到N个标记球(N<=8),通过其中任意三个标记球在相机坐标系下的空间位置以及在示教器坐标系中的位置可以解算示教器坐标系在相机坐标系下的其次变换矩阵,通过等效平移矩阵方法如下:
设(pi,qi),(pj,qj),(pk,qk),(i<j<k)为3个标记球分别在两个坐标系下的坐标。其中pi为i号标记球在相机坐标系中的坐标,qi为i号球在示教器坐标系中的坐标。首先将示教器坐标系平移至以i号标记球为原点,记录1号标记球在当前示教器坐标系下的坐标为q′1=q1-qi。i,j,k号标记球在当前示教器坐标系下坐标为q′i=0,q′j=qj-qi,q′k=qk-qi。根据式7-2可以求出此齐次变换矩阵。
Figure BDA0001477807080000081
其中p为相机坐标系下的小球坐标,q为示教器坐标系下的小球坐标,所以qy=0,由于设定其中i号标记球为等效示教器坐标系原点,所以tx=p1x,ty=p1y,tz=p1z,将j号和k号标记球带入式7-2得到三组方程式:
pjx=c11q′jx+c13q′jz+tx
pkx=c11q′jx+c13q′jz+tx
pjy=c21q′jx+c23q′jz+ty
pky=c21q′kx+c23q′kz+ty
pjz=c31q′jx+c33q′jz+ty
pkz=c31q′kx+c33q′kz+ty
解方程得到[c11,c13,c21,c23,c31,c33]。
计算相机坐标系中两向量pij=pj-pi,pik=pk-pi叉乘得到pv=pij×pik,示教器坐标系中x-z平面两向量qij=qj-qi,qik=qk-qi叉乘得到qv=qij×qik,其qvx=qvz=0根据上两个向量得到方程:
pvx=c12qvy
pvy=c22qvy
pvz=c32qvy
通过解方程可以得到[c12,c22,c32],最后计算q′1左乘当前齐次矩阵得到1号标记球的空间位置,1号标记球的坐标即为最终的[tx,ty,tz],通过3个标记球的空间位置解算得到相机坐标系到示教器坐标系的关系。
因为在测量标记球空间位置时存在噪声和误差,因此使用最小二乘中值法来提高计算精度。将所有识别的标记球作为集合{Xi|Xi=(pi,qi),i=1,2,...,N},pi为标记球在相机坐标系中的坐标,qi为标记球在示教器坐标系中的坐标。
第一步:在集合中生成三个不重复点的集合{J|J=(i1,i2,i3),ik=1,2,...,N}。
第二步:使用第一步得到的三点集合带入齐次变换式7-2中。利用上述等效平移矩阵算法求解齐次变换矩阵TJ
第三步:计算模型参数平方差EJ
EJ=med(||pi-TJqi||2)
其中i=1,2,...,N
第四步:重复第一至三步
Figure BDA0001477807080000091
次,计算得到EJ1,EJ2,...,EJm
第五步:计算EJLMedS=min(EJi),i=1,2,...,m。模型参数即为EJLMedS对应的模型参数。
得到该旋转矩阵后也可以将其转换为四元数形式。
(5)将示教器固定在机器人末端并将机器人复位:
在对标记球标号后,将机器人复位到喷漆的初始位置,点击上位机的标定按钮,利用(4)步骤中的方法得到示教坐标系并保存下来,根据式
Figure BDA0001477807080000092
计算机器人坐标系。其中Ts为示教器相对相机坐标器的齐次矩阵,Trts为通过机械安装测量的机器人末端到示教器卡具的齐次坐标系。Tr为机器人坐标系。
(6)喷漆示教:
工作人员将喷枪示教器从机器人末端取下,手持喷枪示教器对喷件进行模拟喷漆,在合理位置处利用图2装置上的按钮操作,将当前位置相对于相机坐标系的齐次变换矩阵进行保存。按如上方法对喷件进行模拟喷涂并保存关键点的齐次变换矩阵,相当于保存了喷漆的轨迹,由于已知相机到机器人坐标系的齐次变换矩阵T1,通过第(4)步得到相机到各个保存点的齐次变换矩阵T2,可以得到从机器人坐标系到保存点的齐次变换矩阵为T=T1 -1T2
为了解决将旋转矩阵转换为欧拉角时存在的万向锁问题,在t0时刻得到机器人坐标系到保存点的齐次变换矩阵Tt0,解算出此时的欧拉角Pant0,Tiltt0,Rollt0,在t1时刻得到机器人坐标系到保存点的齐次变换矩阵Tt1,计算得到这两个时刻之间的相对变换
Figure BDA0001477807080000101
解算相对变化的欧拉角ΔPan,ΔTilt,ΔRoll,避免了Tilt在接近90度时的奇异性。通过累加得到当前时刻的欧拉角。
Pant1=Pant0+ΔPan
Tiltt1=Tiltt0+ΔTilt
Rollt1=Rollt0+ΔRoll
(7)改变相机位置
在喷涂过程中如果出现标记点被遮挡或者超出双目相机系统的视野范围的情况,可以通过移动相机来扩大视野范围。先将喷枪示教器固定在一个位置,该位置要满足处于相机前后移动的公共视野范围,在上位机中点击移动相机,将相机当前位置到喷枪示教器的齐次变换矩阵Tc1记录下来,移动相机到新的位置,保证在该位置也可以检测到标记球,在上位机中点击结束移动,记录下相机新位置到喷枪示教器的齐次变换矩阵Tc2。通过计算可以得到相机位置1到位置2的旋转矩阵Tc12
Figure BDA0001477807080000102
移动相机后再保存的点的齐次变换矩阵T2都可以通过Tc12转换为相机位置1下的旋转矩阵T1
T1=Tc12T2
重复(4)(5)(6)步在新的相机位置进行示教工作。
(8)完成喷漆示教
按如上方法将工件全部喷漆后,点击保存文件,即可将保存的点的位置和姿态(已转换为相对于机器人坐标系)保存成文件格式,这即是生成的喷漆机器人喷漆的轨迹。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于主动红外双目视觉的机器人轨迹示教装置,其特征在于,包括激光笔座(1)、激光笔(2)、夹具(3)、荧光板连接板(4)、第一荧光板(5)、第二荧光板(6),所述第一荧光板(5)以及第二荧光板(6)上均设置有预定数量的涂有荧光物质的球体,所述球体均通过连杆与所述第一荧光板(5)或第二荧光板(6)连接;所述夹具(3)通过螺钉固定在激光笔座(1)上;激光笔座(1)具有用于放置激光笔(2)的凹槽;荧光板连接板(4)用于将第一荧光板(5)和第二荧光板(6)连接,以使第一荧光板(5)和第二荧光板(6)的平面垂直;荧光板连接板(4)通过螺栓固定在激光笔座(1)上;激光笔(2)上设置有用于保存示教点和用于删除示教点的按键。
2.根据权利要求1所述的基于主动红外双目视觉的机器人轨迹示教装置,其特征在于,所述涂有荧光物质的球体的数量和位置满足:当第一荧光板(5)或第二荧光板(6)在任意角度被观测时,能够在该角度同时看到至少3个球体。
3.一种基于主动红外双目视觉的机器人轨迹示教方法,所述方法是基于如权利要求1或2所述的基于主动红外双目视觉的机器人轨迹示教装置实现的,其特征在于,包括:
步骤一、将待喷涂器件放置于基础平台上,并用固定卡具固定在平台上;所述基于主动红外双目视觉的机器人轨迹示教装置设置在双目相机的视野范围内,利用立体视觉的原理视差测距法计算8个标记点小球相对于相机坐标系的空间位置;
步骤二、对所述标记点小球分别进行编号;
步骤三、建立示教器坐标系;
步骤四、计算相机坐标系到示教器坐标系的坐标变换关系;
步骤五、将所述基于主动红外双目视觉的机器人轨迹示教装置通过卡具固定在喷漆机器人的末端,并将喷漆机器人复位;
步骤六、使用喷漆示教器对喷件进行模拟喷漆,在指定的位置处按下用于保存示教点的按键,以将当前位置相对相机坐标系的齐次变换矩阵进行保存;
步骤七、将所述齐次变换矩阵转换为欧拉角;
步骤八、将所述欧拉角保存为文件格式,作为喷漆机器人喷漆的轨迹。
4.根据权利要求3所述的方法,其特征在于,步骤一中,利用立体视觉的原理视差测距法计算8个标记点小球相对于相机坐标系的空间位置的具体计算公式为:
Figure FDA0002572701100000021
Figure FDA0002572701100000022
Figure FDA0002572701100000023
其中X,Y,Z为标记球在空间中的位置,u1为标记球在左相机图像坐标系中的x坐标,u0为左相机图像坐标系的x原点,u2为标记球在右相机图像坐标系中的x坐标,d为两相机之间的平移距离,v1为标记球在左相机图像坐标系中的y坐标,v0为左相机图像坐标系的y原点,f为相机焦距。
5.根据权利要求3所述的方法,其特征在于,步骤二具体为:
假设8个小球在空间的位置为星型拓扑结构;首先将距离8个小球中心点最近的标记球球标为1号;之后以1号球为中心,计算其他7个标记球距离1号球的空间距离,按空间距离由近至远编为2至8号。
6.根据权利要求3所述的方法,其特征在于,步骤四具体为:
设(pi,qi),(pj,qj),(pk,qk),(i<j<k)为3个标记球分别在两个坐标系下的坐标;其中pi为i号标记球在相机坐标系中的坐标,qi为i号球在示教器坐标系中的坐标;
将示教器坐标系平移使得其原点与i号标记球重合,记录1号标记球在当前示教器坐标系下的坐标q′1=q1-qi;i,j,k号标记球在当前示教器坐标系下坐标为q′i=0,q′j=qj-qi,q′k=qk-qi;根据下式求出此齐次变换矩阵:
Figure FDA0002572701100000024
其中,c11,c12,c13,c21,c22,c23,c31,c32,c33均代表齐次变换矩阵中的元素,px、py,pz为相机坐标系下的小球坐标,qx、qy,qz为示教器坐标系下的小球坐标,其中qy=0,tx=p1x,ty=p1y,tz=p1z,p1x,p1y,p1z为1号球的空间三维坐标,将j号和k号标记球带入齐次变换矩阵中得到三组方程式:
pjx=c11q′jx+c13q′jz+tx
pkx=c11q′kx+c13q′kz+tx
pjy=c21q′jx+c23q′jz+ty
pky=c21q′kx+c23q′kz+ty
pjz=c31q′jx+c33q′jz+tz
pkz=c31q′kx+c33q′kz+tz
解以上三组方程得到[c11,c13,c21,c23,c31,c33];
计算相机坐标系中两向量pij=pj-pi,pik=pk-pi叉乘得到pv=pij×pik,示教器坐标系中x-z平面两向量qij=qj-qi,qik=qk-qi叉乘得到qv=qij×qik,其qvx=qvz=0根据上两个向量得到方程:
pvx=c12qvy
pvy=c22qvy
pvz=c32qvy
通过解方程得到[c12,c22,c32],最后计算q′1左乘当前齐次矩阵得到1号标记球的空间位置,1号标记球的坐标即为最终的[tx,ty,tz],通过3个标记球的空间位置解算得到相机坐标系到示教器坐标系的关系。
CN201711174004.1A 2017-11-22 2017-11-22 一种基于主动红外双目视觉的机器人轨迹示教装置及方法 Active CN107756408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711174004.1A CN107756408B (zh) 2017-11-22 2017-11-22 一种基于主动红外双目视觉的机器人轨迹示教装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711174004.1A CN107756408B (zh) 2017-11-22 2017-11-22 一种基于主动红外双目视觉的机器人轨迹示教装置及方法

Publications (2)

Publication Number Publication Date
CN107756408A CN107756408A (zh) 2018-03-06
CN107756408B true CN107756408B (zh) 2020-10-23

Family

ID=61280323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711174004.1A Active CN107756408B (zh) 2017-11-22 2017-11-22 一种基于主动红外双目视觉的机器人轨迹示教装置及方法

Country Status (1)

Country Link
CN (1) CN107756408B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443207B (zh) * 2018-11-19 2019-10-08 华中科技大学 一种光笔式机器人原位测量系统与方法
CN109521774B (zh) * 2018-12-27 2023-04-07 南京芊玥机器人科技有限公司 一种基于强化学习的喷涂机器人轨迹优化方法
JP2020157467A (ja) * 2019-03-22 2020-10-01 川崎重工業株式会社 ロボットシステム
CN110948467A (zh) * 2019-05-16 2020-04-03 广西大学 一种基于立体视觉的手持示教装置及方法
CN110919626B (zh) * 2019-05-16 2023-03-14 广西大学 一种基于立体视觉的机器人手持示教装置及方法
CN110076781A (zh) * 2019-06-04 2019-08-02 卢相超 一种数控笔及数控路径导航系统
CN110141498A (zh) * 2019-06-04 2019-08-20 辰耀智能装备(厦门)有限公司 一种艾灸智能协作机器人及其操作方法
CN112207857A (zh) * 2019-07-12 2021-01-12 上海智殷自动化科技有限公司 一种基于双目视觉系统的离线示教系统
CN110900609A (zh) * 2019-12-11 2020-03-24 浙江钱江机器人有限公司 一种机器人示教装置及其方法
CN111421521B (zh) * 2020-01-07 2021-02-12 成都卡诺普自动化控制技术有限公司 一种基于视觉的机器人示教方法
CN111451019A (zh) * 2020-04-22 2020-07-28 杭州国辰机器人科技有限公司 一种基于智能示教技术的喷粉示教枪
CN112091971B (zh) * 2020-08-21 2021-10-12 季华实验室 机器人手眼标定方法、装置、电子设备和系统
JP2022122729A (ja) * 2021-02-10 2022-08-23 セイコーエプソン株式会社 教示装置、教示方法および教示プログラム
CN113119077A (zh) * 2021-04-30 2021-07-16 哈尔滨工业大学 一种工业机器人手持示教装置和示教方法
CN113524157A (zh) * 2021-06-30 2021-10-22 深圳市越疆科技有限公司 配置临摹功能的机器人系统、方法、机械臂和存储介质
CN113867574B (zh) * 2021-10-13 2022-06-24 北京东科佳华科技有限公司 基于触控显示屏的智能交互显示方法及装置
CN113696190B (zh) * 2021-10-28 2022-03-18 深圳市越疆科技有限公司 一种示教轨迹点采集方法、装置、机械臂、系统及介质
CN114918937A (zh) * 2022-05-20 2022-08-19 埃夫特智能装备股份有限公司 一种基于位置传感技术的喷涂枪及其机器人便捷编程装置
CN116619391B (zh) * 2023-07-21 2023-10-24 北京凌禾科技有限公司 基于人机协作工作站的编程方法及自动化拆解方法
CN117086903A (zh) * 2023-10-20 2023-11-21 北京炎凌嘉业机电设备有限公司 一种机器人智能化喷涂示教系统及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023850A (en) * 1996-10-28 2000-02-15 Trapet; Eugen Herbert Ball cube
JP2002310641A (ja) * 2001-04-19 2002-10-23 Kanto Auto Works Ltd 三次元形状計測機の座標系のキャリブレーション方法
CN102840827A (zh) * 2012-09-28 2012-12-26 西北农林科技大学 一种基于单目机器视觉的非接触三维扫描方法
CN103162622A (zh) * 2013-02-28 2013-06-19 西安交通大学 单目视觉系统及其使用的便携式球靶标及其测量方法
CN103424124A (zh) * 2012-05-23 2013-12-04 国家体育总局体育科学研究所 基于图像测量技术的无磁惯导单元标定方法
DE102013011980A1 (de) * 2013-07-18 2014-03-27 Daimler Ag Verfahren zum Kalibrieren einer Vorrichtung
CN206451240U (zh) * 2017-01-24 2017-08-29 太原理工大学 三维树型直角坐标系构建和图像空间标定的装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023850A (en) * 1996-10-28 2000-02-15 Trapet; Eugen Herbert Ball cube
JP2002310641A (ja) * 2001-04-19 2002-10-23 Kanto Auto Works Ltd 三次元形状計測機の座標系のキャリブレーション方法
CN103424124A (zh) * 2012-05-23 2013-12-04 国家体育总局体育科学研究所 基于图像测量技术的无磁惯导单元标定方法
CN102840827A (zh) * 2012-09-28 2012-12-26 西北农林科技大学 一种基于单目机器视觉的非接触三维扫描方法
CN103162622A (zh) * 2013-02-28 2013-06-19 西安交通大学 单目视觉系统及其使用的便携式球靶标及其测量方法
DE102013011980A1 (de) * 2013-07-18 2014-03-27 Daimler Ag Verfahren zum Kalibrieren einer Vorrichtung
CN206451240U (zh) * 2017-01-24 2017-08-29 太原理工大学 三维树型直角坐标系构建和图像空间标定的装置

Also Published As

Publication number Publication date
CN107756408A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN107756408B (zh) 一种基于主动红外双目视觉的机器人轨迹示教装置及方法
CN108274092B (zh) 基于三维视觉与模型匹配的坡口自动切割系统及切割方法
CN110377015B (zh) 机器人定位方法和机器人定位装置
US20150268033A1 (en) Relative Object Localization Process for Local Positioning System
CN108481323A (zh) 基于增强现实的机器人运动轨迹自动编程系统及方法
CN109848964B (zh) 基于光学动作捕捉的示教机器人数据采集器系统
CN110171009B (zh) 一种基于立体视觉的机器人手持示教装置
CN110142770B (zh) 一种基于头戴显示装置的机器人示教系统及方法
CN110919626A (zh) 一种基于立体视觉的机器人手持示教装置及方法
CN209350243U (zh) 一种基于Kinect的喷涂人工示教系统
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN113246142B (zh) 一种基于激光引导的测量路径规划方法
CN110170996A (zh) 一种基于立体视觉的机器人快速示教系统
Ng et al. Intuitive robot tool path teaching using laser and camera in augmented reality environment
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
CN114224489B (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN112907682B (zh) 一种五轴运动平台的手眼标定方法、装置及相关设备
JPH05318361A (ja) 物体操作方式
CN110370272A (zh) 一种基于垂直反射的机器人tcp标定系统
CN113858214B (zh) 一种用于机器人作业的定位方法与控制系统
Secil et al. A robotic system for autonomous 3-D surface reconstruction of objects
CN110948467A (zh) 一种基于立体视觉的手持示教装置及方法
CN114463495A (zh) 一种基于机器视觉技术的智能喷涂方法及系统
JPH09323280A (ja) マニピュレータの制御方法及びシステム
CN107063087B (zh) 一种基于手持示教器的着漆中心点信息的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211210

Address after: 315200 No. 2, Dongyuan, Hengda Shanshui City, Jiulonghu Town, Zhenhai District, Ningbo City, Zhejiang Province

Patentee after: Yu Xinghu

Address before: 325035 k604, scientific research and entrepreneurship building, Huazhong academy, No. 225, Chaoyang new street, Chashan street, Ouhai District, Wenzhou City, Zhejiang Province

Patentee before: ZHEJIANG YOUMAIDE INTELLIGENT EQUIPMENT Co.,Ltd.

TR01 Transfer of patent right