CN102581445B - 机器人的视觉实时纠偏系统和纠偏方法 - Google Patents
机器人的视觉实时纠偏系统和纠偏方法 Download PDFInfo
- Publication number
- CN102581445B CN102581445B CN201210027078.3A CN201210027078A CN102581445B CN 102581445 B CN102581445 B CN 102581445B CN 201210027078 A CN201210027078 A CN 201210027078A CN 102581445 B CN102581445 B CN 102581445B
- Authority
- CN
- China
- Prior art keywords
- robot
- joint
- track
- real
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title abstract description 7
- 238000000034 method Methods 0.000 title description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000003466 welding Methods 0.000 claims description 50
- 230000033001 locomotion Effects 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000003500 flue dust Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Landscapes
- Numerical Control (AREA)
Abstract
本发明公开了一种机器人视觉实时纠偏系统,所述机器人包括机器人本体(4)和连接于该本体末端的一末端工具(5),所述系统包括视觉模块(3)和机器人控制器(2),所述视觉模块(3)电性连接于机器人控制器(2),用于实时获取目标图像信息,对获取的目标图像信息进行处理,以得到所述末端工具(5)与目标之间的位置偏差信息,并将该位置偏差信息发送给机器人控制器(2);所述机器人控制器(2)电性连接于机器人本体(4),用于根据来自视觉模块(3)的位置偏差信息,产生控制所述末端工具(5)的实时伺服命令,并将该实时伺服命令发送给机器人本体(4),以对末端工具(5)进行实时纠偏。
Description
技术领域
本发明涉及一种利用视觉系统对机器人进行实时纠偏的系统和方法,尤其是一种用于焊接机器人的在焊接过程中对焊缝进行识别、跟踪与纠偏的焊缝视觉实时纠偏系统和纠偏方法。
背景技术
工业机器人已经广泛应用于汽车、工程机械等行业,主要完成焊接、装配及搬运等作业。在这其中,焊接机器人占主导地位,应用最为广泛。
目前的焊接机器人大多为可编程的示教再现机器人,这种机器人在其工作空间内可以精确地完成示教的轨迹和动作。在机器人焊接过程中,由于各种因素的影响,实际的焊接条件经常发生变化。例如,由于强烈的弧光辐射、高温、烟尘、飞溅、坡口状况、加工误差、夹具精度、表面状态和工件热变形等影响会使焊枪偏离焊缝,从而造成焊接质量下降甚至失败。焊接条件的这种变化要求焊接机器人能够实时检测出焊枪与焊缝间的偏差,并调整焊接路径和焊接参数,保证焊接质量的可靠性。因此,焊接机器人的焊缝纠偏方法得到了广泛的研究。
在焊缝纠偏系统中,传感器是一个至关重要的设备,用于焊缝位置信息的获取。焊缝传感器可分为直接电弧式、接触式和非接触式三大类。直接电弧式传感器结构简单,响应速度快,但只能针对特定的焊缝形状,应用范围有限。接触式传感器由于与工件接触,难适用于高速焊接场合。非接触传感器主要有电磁传感器、光电传感器、超声波传感器、红外传感器及视觉传感器等,其中,视觉传感器应用最为广泛。视觉传感器有着灵敏度高、精度高,抗电磁干扰,与工件无接触,获得焊缝信息丰富等优点,得到广泛的关注与应用。
根据机器人末端传感器的位置与焊缝位置的偏差信息来控制机器人末端执行器(末端工具)位姿的方法有两类。一类是宏-微控制方式,即在原有机器人末端增加一个微动装置。由于这种方式中机器人运动控制与微动控制是解耦的,所以控制较为简单,但缺点是增加了成本,而且由于微动装置是安装在机器人末端的,所以现场应用布线复杂,同时也为机器人增加了额外的载荷。另外一类是自调节方式,即不增加额外装置,直接利用机器人的关节位移补偿来实现机器人末端位姿的微动调节。这样做的好处是不需要为机器人增加额外的装置。有些国外工业机器人,如日本安川的MOTOMAN-UP6系列机器人和德国CLOOS公司的ROMAT76AW型弧焊工业机器人,提供了电压模拟量输入接口,以实时控制机器人末端执行器沿直角坐标方向的偏移量,达到焊缝跟踪的目的,就是属于这一类,但内部实现方法未见报道。国内的一些学者正是利用机器人这一功能,实现了焊接机器人的焊缝跟踪和纠偏。但是这种方法尚存在有许多不明因素,在提供给焊接机器人模拟量输入后,纠偏功能是如何实现的,实时性如何,如何才能保证其控制精度,这些都是未公开的。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是克服现有机器人纠偏系统在实时性、控制精度等方面不可靠的缺点,提供一种实时性好、控制精度高的机器人实时纠偏系统。
(二)技术方案
为了解决上述技术问题,本发明提出一种机器人视觉实时纠偏系统,所述机器人包括机器人本体和连接于该本体末端的一末端工具,该末端工具用于完成机器人的作业任务,其中,
所述系统包括视觉模块和机器人控制器,所述视觉模块电性连接于机器人控制器,用于实时获取目标图像信息,对获取的目标图像信息进行处理,以得到所述末端工具与目标之间的位置偏差信息,并将该位置偏差信息发送给机器人控制器;
所述机器人控制器电性连接于机器人本体,用于根据来自视觉模块的位置偏差信息,产生控制所述末端工具的实时伺服命令,并将该实时伺服命令发送给机器人本体,以对末端工具进行实时纠偏。
本发明还提出一种机器人视觉实时纠偏方法,所述机器人包括机器人本体和连接于该本体末端的一末端工具,该末端工具用于完成机器人的作业任务,其特征在于,所述方法包括如下步骤:
第一步:获取目标图像,并将所获取的目标图像进行处理以得到目标位置信息,从而得到基于图像坐标系的目标位置偏差信息;
第二步:将所述基于图像坐标系的目标位置偏差信息转换为笛卡尔空间的目标位置偏差信息;
第三步:根据用户运动命令和示教轨迹,产生示教关节空间信息;
第四步:根据示教关节空间信息及所述笛卡尔空间的目标位置偏差信息产生实时伺服命令,以对目标进行实时跟踪,并对所述末端工具进行实时纠偏。
(三)有益效果
本发明具有以下有益效果:(1)所发明的系统连接简单,视觉模块通过串行总线与机器人控制器连接,传送末端工具与目标间的偏差信息,简化了系统结构,实际应用中方便快捷;(2)无需添加任何额外的设备,通过关节位移补偿就可达到实时控制机器人的末端作小尺度位姿调整,实现了目标跟踪,相比于宏—微方式的机器人纠偏系统,降低了制造成本和控制复杂度;(3)机器人位姿微调方法中的偏差信息可由传感器通过串行总线直接传给机器人控制器,而无需像现有的MOTOMAN机器人一样,要先把位置偏差信息通过D/A器件转化成电压,然后传给机器人控制器进行处理。因此本发明不仅节省了所述转化环节和转化时间,更重要的是减少了数据失真,提高了控制精度。(4)本发明的系统能够快速地对位置偏差信息进行处理,完成对机器人末端工具的位置调整,实时性好。
附图说明
图1是本发明的视觉实时纠偏机器人的模块示意图;
图2是本发明的机器人视觉实时纠偏系统一个具体实施例的模块示意图;
图3是本发明的一个实施例的用于焊接机器人的焊缝视觉实时纠偏系统的功能示意图;
图4是本发明的一个实施例的工业用的六关节焊缝视觉实时纠偏焊接机器人的结构示意图;
图5是本发明的一个实施例的焊缝视觉实时纠偏焊接机器人的主控制器22的模块组成示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
根据本发明,由视觉模块和机器人控制器构成机器人视觉实时纠偏系统。机器人包括机器人本体和安装在本体末端的末端工具,视觉模块安装于末端工具的前端,并与末端工具刚性连接,以保证视觉模块与末端工具之间有固定的位置关系。机器人控制器由主控制器、运动控制卡、电源板及输入输出接口板组成。主控制器主要完成笛卡尔空间轨迹生成、关节空间轨迹转化、位置偏差信息转换及纠偏所需数据的运算。运动控制卡主要完成关节空间轨迹的插补、关节空间位置偏差的运算,并发送实时伺服命令给驱动器。
根据本发明的机器人视觉实时纠偏系统的工作流程是:视觉模块包括图像采集单元和图像处理单元,用于完成目标信息的获取和处理。图像采集单元例如可为一摄像头,当摄像头在采集到图像信息后,传输给图像处理单元,由图像处理单元进行数字化图像处理,得到目标的特征点。利用特征点的位置,可以形成末端工具与目标间的位置偏差数据,传送给机器人控制器。
视觉模块与机器人控制器通过串行总线相连,用以传输位置偏差数据。这种方式连接方便,节省了数据的转化环节和转化时间,传输速度快,减少了数据失真。
主控制器接收所述位置偏差信息,此位置偏差信息为图像坐标系下的位置偏差信息,经主控制器的计算对其进行坐标变换,转换为机器人笛卡尔空间坐标系下的位置偏差信息。所述主控制器可以为一微处理器芯片,例如ARM公司出品的处理器。
主控制器将计算得到的机器人笛卡尔空间坐标系下的位置偏差信息及相应的雅可比矩阵发送至运动控制卡中,运动控制卡实时计算出机器人本体的关节空间中各个关节相应的位置偏差值。将各个关节相应的位置偏差值与示教轨迹计算得到的关节轨迹叠加,得到实时的伺服命令,完成目标实时纠偏。所述运动控制卡可以由处理器芯片构成,例如是一个数字信号处理器(DSP)。
图1是根据本发明的视觉实时纠偏机器人的模块示意图。如图1所示,视觉实时纠偏机器人包括示教盒1、机器人控制器2、视觉模块3、机器人本体4及末端工具5。
机器人本体4是机器人进行作业的主体部件,也属于被控制的对象。机器人本体4具有一个末端,其通过机器人控制器2的控制,能够以期望的轨迹进行运动。
机器人本体4由若干运动副和杆件连接而成,这些杆件称为连杆,连接相邻两个连杆的运动副称为关节。每个关节包括一个固定件和一个活动件,活动件包括驱动器(图中未标出),在驱动器的作用下,做相对固定件的一维运动,多个关节同步运动,使机器人本体的末端以一定轨迹进行运动。
本发明的视觉实时纠偏机器人还包括末端工具5,其连接于机器人本体4的末端,用于完成机器人的各种作业任务。例如,当机器人是焊接机器人时,该末端工具5可以是该焊接机器人完成焊接作业所需的必备构件,包括焊枪、送丝机、焊接电源等。
示教盒1是机器人进行人机交互的重要设备,其能够与机器人控制器2建立通讯连接,用于机器人的示教操作,例如在线编程、示教程序的回放、显示机器人的工作状态信息等。
视觉模块3与机器人控制器2建立电性连接,主要功能是实时获取目标图像信息,对获取的目标图像信息进行处理,以得到末端工具5与目标之间的位置偏差信息,并将该位置偏差信息发送给机器人控制器2。视觉模块3安装在焊接机器人本体4的末端,与末端工具5形成刚性连接,保证视觉模块3与末端工具5之间有固定的位置关系。
机器人控制器2是焊接机器人的核心部件,其电性连接于机器人本体4。机器人控制器2根据来自视觉模块3的位置偏差信息,产生用于控制所述末端工具5的实时伺服命令,并将该实时伺服命令发送给机器人本体4,以对末端工具5进行实时纠偏。所述实时伺服命令产生包括轨迹规划、逆运动学求解、运动轨迹插补、机器人状态信息的获取与反馈等,这将在下文中详细描述。此外,根据具体的机器人应用环境,该机器人控制器2也可以用于完成其他功能。
图2是本发明的机器人视觉实时纠偏系统的模块示意图。如图2所示,本发明的机器人视觉实时纠偏系统包括以上所述的视觉模块3和机器人控制器2两部分。
视觉模块3包括图像获取单元31和图像处理单元32。图像获取单元31固定连接于机器人本体的末端,用于获取目标图像,并将所获取的目标图像传送至图像处理单元32。图像处理单元32对包含目标图像信息的目标图像进行处理,得到目标位置信息,从而得到基于图像坐标系的目标位置偏差信息。由于目标图像在计算机内被存储为M*N数组,M行N列的图像中的每一个元素(称为像素,pixel)的数值即是图像点的亮度(或称灰度),因此可以定义图像坐标系,每个像素的坐标分别为该像素位于数组中的列数和行数。通过处理得到图像中焊枪与焊缝的图像坐标值,计算得到焊枪与焊缝在图像中的偏差。
机器人控制器2包括总线板21、主控制器22、若干运动控制卡(在图2显示的实施例中为第一运动控制卡23、第二运动控制卡24、第三运动控制卡25)、电源板26及输入输出接口板27。
总线板21是机器人控制器2进行内部信息和电源传送的通道,各板卡均插接在总线板21上,通过总线板21相互通信,获取所需信息及电源。总线板21例如是一个包括数据总线、控制总线、电源线,并且带有多个标准插槽接口的总线背板,但也可以是其他任何能够实现总线式数据通信的总线背板构成,例如PCI总线背板。
主控制器22与示教盒1及视觉模块3连接,并且通过总线板21与第一、第二、第三运动控制卡23、24、25以及电源板26、输入输出接口板27连接。主控制器22例如通过串行总线与示教盒1建立通讯连接,以获取示教盒1的示教程序,并依据示教程序给出的示教点进行轨迹的规划、插补、逆运动学求解等运算,并将运算得到的关节空间轨迹插补信息通过总线板21传送至运动控制卡23、24、25。同时,主控制器22也可通过串行总线与视觉模块3连接,以获取视觉模块3的输出的位置偏差信息,该位置偏差信息是数字量的位置偏差信息。视觉模块检测到的偏差信息为数字量,直接传送至机器人控制器2,而无需像现有的MOTOMAN机器人方法一样,先把偏差信息通过D/A器件转化成电压,然后传给机器人控制器进行处理。本发明不仅节省了转化环节和转化时间,更重要的是减少了数据失真,提高了控制精度。
主控制器22对该数字量的位置偏差信息进行处理,得到机器人本体4的各关节的位置偏差信息,根据各关节的位置偏差信息形成一控制信号,并将该控制信号传送至第一、第二、第三运动控制卡23、24、25。有关主控制器22的具体信息处理步骤将在下文中详细描述。
主控制器22可以是一个微处理器芯片,例如ARM系列的微处理器芯片。
三块运动控制卡23、24、25与总线板21相连,通过总线板21获取主控制器22传来的控制信号,产生实时的伺服命令。三块运动控制卡23、24、25还与机器人本体4的各关节的驱动器相连,将所述实时伺服命令传送至各驱动器,实现对机器人本体的各关节的运动控制。
第一、第二、第三运动控制卡23、24、25可以由微处理器芯片构成,例如是一个数字信号处理器(DSP)。并且,本发明的运动控制卡的数目并不限于三个,而是可以根据机器人的关节数目设定为所需的其它数目。
电源板26用于提供总线板21上插接的各块板卡所需的电源。
输入输出接口板27插接在总线板21上,提供机器人进行作业所需的各种DI、DO(数字输入输出)信号,提供抱闸电源开关信号等。
为便于介绍本发明的机器人视觉实时纠偏系统的工作原理,现以工业用的六关节焊接机器人及其中的机器人视觉实时纠偏系统为例进行说明。但本发明并不限于此,本发明也可以应用于其他的需要进行实时纠偏的机器人中,本发明所应用的机器人的关节数也不仅限于六个,具有其它数目的关节的机器人也同样适用。
图3是根据本发明的一种用于焊接机器人的焊缝视觉实时纠偏系统的功能示意图。如图3所示,所述焊接机器人具有如前所述的结构,包括示教盒1、机器人控制器2、视觉模块3。上述各个部件的功能与组成亦与前述相同。
根据本发明,当焊接机器人接受一项作业任务后,首先由示教盒1将示教程序发送至主控制器22,所述示教程序包括了焊接机器人在焊接作业时所需的位置、速度、轨迹等信息。
视觉模块3通过其图像获取单元获取焊缝的图像信息,并通过图像处理单元对所获取的焊缝的图像信息进行处理后,得到焊缝图像中焊缝与焊枪之间的位置偏差,并将此位置偏差信息将被发送至机器人控制器2的主控制器22中。在该实施例中,图像获取单元为一摄像机,图像处理单元为一微型计算机。
图4是根据本发明的一种包括上述焊缝视觉实时纠偏系统的工业用的六关节焊缝视觉实时纠偏焊接机器人的结构示意图。如图所示,焊接机器人的机器人本体包括六个关节。如前所述,机器人本体4由若干运动副和杆件连接而成,这些杆件称为连杆,连接相邻两个连杆的运动副称为关节。每个关节是一个运动副,即包括一个固定件和一个活动件,该活动件包括驱动器(图中未标出),并在驱动器的作用下可做相对固定件的一维运动。
关节的位置用q表示,速度用表示,加速度用表示。第一关节41的固定件固定在机器人基座上,而基座固定在大地上,大地坐标系为O-xyz 40。第一关节41的活动件通过连杆与第二关节42固定件连接,所述连杆例如是传动轴,本发明并不限于此,也可以由齿轮实现连杆的功能。第二关节42的活动件通过连杆和第三关节43的固定件连接;第三关节43的活动件通过连杆和第四关节44的固定件连接;第四关节44的活动件通过连杆和第五关节45的固定件连接;第五关节45的活动件通过连杆和第六关节46的固定件连接;第六关节46的活动件通过连杆和机器人的末端工具5连接,所述末端工具5例如为一焊枪。
末端工具5上附有一个坐标系Ot-xyz 48,称为工具坐标系,其原点和称作TCP(Tool Center Point)的末端工具中心点相重合。工具坐标系48随末端工具5一同运动,可用来表示末端工具5的在笛卡尔空间坐标系,即大地坐标系O-xyz 40下的位姿、速度和加速度。
一种常用的机器人末端工具位姿表示方式是齐次位姿矩阵:
上式中,向量(lx,ly,lz)T表示工具坐标系48的原点,即末端工具的TCP,在大地坐标系O-xyz 40中的位置坐标;(ux,uy,uz)T、(vx,vy,vz)T和(wx,wy,wz)T表示工具坐标系48的x、y和z轴的单位向量分别在大地坐标系O-xyz 40x、y、z轴上的投影。
一种常用的机器人末端工具速度表示方式是6维向量:
[vx,vy,vz,ωx,ωy,ωz]T
其中,[vx,vy,vz]T表示末端工具5相对于工具坐标系48的伴随坐标系的x、y、z轴的线速度。[ωx,ωy,ωz]T表示末端工具5相对于工具坐标系48的伴随坐标系的x、y、z轴的角速度。
根据本发明的实施例的焊接机器人控制器2的主控制器22接收示教程序之后,对示教程序进行解释,获取用户运动命令和示教轨迹。对示教轨迹进行笛卡尔空间示教轨迹的插补,笛卡尔空间至关节空间的逆运动学求解,雅可比矩阵的求解。同时接收视觉模块3传送来的焊缝图像的图像坐标系下的位置偏差信息,并将其转换为笛卡尔空间的焊缝图像位置偏差信息。
图5是根据本发明实施例的焊缝视觉实时纠偏系统的主控制器22的模块组成示意图。如图5所示,主控制器22包括运动伺服接口58和轨迹协调器51,以及与轨迹协调器51连接的运动命令接口50、笛卡尔空间轨迹生成器52、机器人参数数据库53、关节空间轨迹转化器54、关节空间偏差转换器55、笛卡尔空间偏差转换器56、关节空间轨迹插补器57、。
运动命令接口50用于接收来自用户的用户运动命令,并将其发送给轨迹协调器11。最常见的用户运动命令例如为:机器人末端工具保持一定位姿和速度下,沿直线或者圆弧运动,同时在运动的起始阶段和结束阶段需要有加速和减速。
轨迹协调器51将从运动命令接口接收的用户运动命令发送到笛卡尔空间轨迹生成器52。
笛卡尔空间轨迹生成器52根据所述用户运动命令生成笛卡尔空间下的轨迹节点数据:
位姿
速度
式中,i=1,2,3,……,n,表示轨迹节点索引,n表示轨迹节点的数目。
笛卡尔空间轨迹生成器52接着将所生成的轨迹节点数据返回到轨迹协调器51。
轨迹协调器51将返回的笛卡尔空间下的轨迹节点数据发送到关节空间轨迹转化器54。
机器人参数数据库53用于存储当前机器人本体的物理参数信息,例如,机器人的几何尺寸信息,伺服电机的速度限制信息等相关参数。使用机器人参数数据库53可以配置不同类型的机器人本体,使视觉实时纠偏系统的通用性更强。
关节空间轨迹转化器54根据轨迹节点数据生成机器人各关节空间下的轨迹节点数据
位置Qi
速度
加速度
式中,qj、和表示机器人第j个关节的位置、速度和加速度;j=1,2,3,…,N,为关节编号;机器人基座处关节编号为1,顺序递增。N为机器人关节数目。i的定义同上。
机器人关节的位置可以用其逆运动学来计算。
在机器人非奇异位姿处,机器人关节的速度可以用下式计算
式中,Ji -1表示机器人轨迹上第i个节点对应的逆雅可比矩阵,其它符号的定义同前。
以上是根据示教好的焊缝轨迹进行的轨迹规划。视觉模块3获取焊接机器人在焊接过程中的焊缝图像位置偏差信息,笛卡尔空间偏差转换器56把该图像坐标系下的焊缝图像位置偏差信息转换为笛卡尔空间中的位置偏差信息并发送给轨迹协调器51,此位姿偏差用ΔTi表示,Ti示教时规划的位姿,则Ti+ΔTi为机器人在焊接工作时所需的位姿。
用另一种形式表示此位姿偏差:
其中,Δxi,Δyi,Δzi分别为笛卡尔空间中x、y、z方向上的位置偏差,Δαi,Δβi,Δγi分别为三个旋转轴的角度偏差,i的定义同上。
ΔXi与ΔTi的转换关系为ΔXi=RΔTi,R是变换矩阵。
关节空间偏差转换器55接收轨迹协调器51发送来的笛卡尔空间位置偏差ΔXi,将其转换为关节空间位置偏差ΔQi。
由机器人学可知,基坐标系下的微分运动:
dXi=JidQi
ΔQi=Ji -1ΔXi
其中,Ji是相应的雅可比矩阵,ΔXi是笛卡尔空间中的位置偏差,ΔQi为笛卡尔空间中位置偏差在关节空间中的映射,为关节空间位置偏差量。
ΔXi为笛卡尔空间中的位置偏差信息,通过上式的运算,可得出此位置偏差时,各关节的关节偏差量。
轨迹协调器51接收关节空间轨迹转化器54发来的示教轨迹关节值Qi,同时接收关节空间偏差转换器55发送来的关节位置偏差ΔQi。
关节空间轨迹插补器57利用Qi+ΔQi进行关节空间的插补运算,产生实时的关节空间轨迹插补命令,并将该命令发送至运动伺服接口58。
运动伺服接口58将接收到的关节空间轨迹插补命令发送给运动控制卡。
根据本发明的实施例的焊接机器人控制器2的运动控制卡在接收主控制器22传送来的逆运动学求解后的示教关节空间数据,雅可比矩阵及笛卡尔空间的位置偏差信息,利用雅可比矩阵和笛卡尔空间的位置偏差信息计算关节空间的位置偏差信息。在获得示教关节空间数据及关节空间的关节位置偏差信息后,进行插补运算,发送实时伺服命令至机器人本体的各关节的驱动器,实现对焊接机器人进行作业的焊缝的实时跟踪和纠偏。
由于本发明的视觉实时纠偏系统将得到的位置偏差信息进行两步坐标转化,就可以在关节空间进行位置补偿,所以不需要在原有的机器人系统上增加额外的设备,而只需要在原有的机器人控制系统上增加很小的计算量就可以实现视觉实时纠偏,降低了制造成本和控制复杂度,处理速度快,实时性好。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种机器人视觉实时纠偏系统,所述机器人包括机器人本体(4)和连接于该本体末端的一末端工具(5),该末端工具用于完成机器人的作业任务,其中,所述系统包括视觉模块(3)和机器人控制器(2),其特征在于:
所述视觉模块(3)电性连接于机器人控制器(2),用于实时获取目标图像信息,对获取的目标图像信息进行处理,以得到所述末端工具(5)与目标之间的位置偏差信息,并将该位置偏差信息发送给机器人控制器(2);
所述机器人控制器(2)电性连接于机器人本体(4),用于根据来自视觉模块(3)的位置偏差信息,产生控制所述末端工具(5)的实时伺服命令,并将该实时伺服命令发送给机器人本体(4),以对末端工具(5)进行实时纠偏;
所述视觉模块(3)包括图像获取单元(31)和图像处理单元(32),
所述图像获取单元(31)用于获取目标图像,并将所获取的目标图像传送至图像处理单元(32);
所述图像处理单元(32)用于对目标图像进行处理以得到目标位置信息,从而得到基于图像坐标系的目标位置偏差信息;
所述机器人本体(4)包括多个关节,关节之间由连杆连接,每个关节包括一个固定件与一个活动件,该活动件由一驱动器驱动;
所述机器人控制器(2)包括主控制器(22)和运动控制卡(23、24、25),所述主控制器(22)与所述运动控制卡(23、24、25)以及视觉模块(3)电性连接,并且用于:从用户接收一示教程序,并对该示教程序进行解释,获取用户运动命令和示教轨迹,接收视觉模块(3)传送的基于图像坐标系的目标位置偏差信息,并将其转换为笛卡尔空间的目标位置偏差信息,根据所述用户运动命令和示教轨迹,产生示教关节空间信息,并且该示教关节空间信息及所述笛卡尔空间的目标位置偏差信息发送给所述运动控制卡;
所述主控制器(22)包括轨迹协调器(51)和与该轨迹协调器(51)相连接的笛卡尔空间轨迹生成器(52)、关节空间轨迹转化器(54)、关节空间偏差转换器(55)、笛卡尔空间偏差转换器(56)和关节空间轨迹插补器(57),其中
所述笛卡尔空间轨迹生成器(52)用于根据所述用户运动命令生成笛卡尔空间下的轨迹节点数据:
位姿
速度
式中,向量(lx,ly,lz)T表示工具坐标系的原点,即末端工具中心点,在大地坐标系中的位置坐标;(ux,uy,uz)T、(vx,vy,vz)T和(wx,wy,wz)T表示工具坐标系的x、y和z轴的单位向量分别在大地坐标系x、y、z轴上的投影,[vx,vy,vz]T表示末端工具相对于工具坐标系的伴随坐标系的x、y、z轴的线速度,[ωx,ωy,ωz]T表示末端工具相对于工具坐标系的伴随坐标系的x、y、z轴的角速度,i=1,2,3,……,n,表示轨迹节点索引,n表示轨迹节点的数目,并将所生成的轨迹节点数据发送给所述轨迹协调器(51);
所述轨迹协调器(51)用于将返回的笛卡尔空间的轨迹节点数据发送到关节空间轨迹转化器(54);
所述关节空间轨迹转化器(54)根据所述笛卡尔空间的轨迹节点数据生成机器人各关节空间的轨迹节点数据:
位置Qi
速度
加速度
式中,qj、和表示机器人第j个关节的位置、速度和加速度,j=1,2,3,…,N,为关节编号,机器人基座处关节编号为1,顺序递增,N为机器人关节数目;
所述笛卡尔空间偏差转换器(56)用于将图像坐标系下的目标位置偏差信息转换为笛卡尔空间的位置偏差信息并发送给所述轨迹协调器(51),笛卡尔空间的位置偏差信息为:此位姿偏差用ΔTi表示,Ti示教时规划的位姿,则Ti+ΔTi为机器人在焊接工作时所需的位姿,用另一种形式表示此位姿偏差:
其中,Δxi,Δyi,Δzi分别为笛卡尔空间中x、y、z方向上的位置偏差,Δαi,Δβi,Δγi分别为三个旋转轴的角度偏差,ΔXi与ΔTi的转换关系为ΔXi=RΔTi,R是变换矩阵;
所述轨迹协调器(51)还用于将返回的笛卡尔空间的位置偏差信息发送到关节空间偏差转换器(55);
所述关节空间偏差转换器(55)用于接收轨迹协调器(51)发送来的笛卡尔空间的位置偏差信息ΔXi,将其转换为关节空间的位置偏差ΔQi:
ΔQi=Ji -1ΔXi
其中,Ji是相应的雅可比矩阵,ΔXi是笛卡尔空间中的位置偏差;
关节空间轨迹插补器(57)利用Qi+ΔQi进行关节空间的插补运算,产生关节空间轨迹插补命令;
所述运动控制卡(23、24、25)用于根据示教关节空间信息及所述笛卡尔空间的目标位置偏差信息产生关节空间实时伺服命令,并发送给机器人本体(4)的关节的驱动器,以对目标进行实时跟踪,并对所述末端工具(5)进行实时纠偏。
2.如权利要求1所述的视觉实时纠偏系统,其特征在于,所述目标位置偏差信息为数字量。
3.如权利要求1所述的视觉实时纠偏系统,其特征在于,所述机器人控制器(2)通过串行总线与视觉模块(3)进行通信。
4.如权利要求1所述的视觉实时纠偏系统,其特征在于,所述视觉模块(3)安装在焊接机器人本体(4)的末端,与末端工具(5)形成刚性连接,使得该视觉模块(3)与末端工具(5)之间有固定的位置关系。
5.如权利要求1所述的视觉实时纠偏系统,其特征在于,所述轨迹协调器(51)还连接有机器人参数数据库(53),所述机器人参数数据库(53)用于存储当前机器人本体的物理参数信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210027078.3A CN102581445B (zh) | 2012-02-08 | 2012-02-08 | 机器人的视觉实时纠偏系统和纠偏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210027078.3A CN102581445B (zh) | 2012-02-08 | 2012-02-08 | 机器人的视觉实时纠偏系统和纠偏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102581445A CN102581445A (zh) | 2012-07-18 |
CN102581445B true CN102581445B (zh) | 2014-08-13 |
Family
ID=46470981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210027078.3A Active CN102581445B (zh) | 2012-02-08 | 2012-02-08 | 机器人的视觉实时纠偏系统和纠偏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102581445B (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102785246B (zh) * | 2012-08-24 | 2015-01-21 | 电子科技大学 | 一种可实现自动轨迹修正的机器人标定方法 |
CN102806560B (zh) * | 2012-08-24 | 2014-08-06 | 电子科技大学 | 一种可自动消除机器人运动累积误差的方法 |
EP2749974A2 (en) * | 2012-12-28 | 2014-07-02 | Kabushiki Kaisha Yaskawa Denki | Robot teaching system, robot teaching assistant device, and robot teaching method |
CN103231375A (zh) * | 2013-04-28 | 2013-08-07 | 苏州大学 | 基于距离误差模型的工业机器人标定方法 |
TWI547355B (zh) | 2013-11-11 | 2016-09-01 | 財團法人工業技術研究院 | 人機共生安全監控系統及其方法 |
CN103737592B (zh) * | 2013-12-27 | 2016-06-08 | 柳州职业技术学院 | 一种机械手精确控制系统及其方法 |
CN104175330B (zh) * | 2014-08-14 | 2016-04-20 | 四川大学 | 一种基于瞄准机制的六关节工业机器人实时伺服跟踪装置 |
CN104950799B (zh) * | 2015-06-10 | 2018-04-06 | 浙江大学 | 焊接机器人动态闭环控制系统及其实时动态修正算法 |
CN105094129B (zh) * | 2015-07-10 | 2018-11-23 | 青岛星华智能装备有限公司 | 一种机器人工具尖端定位系统及其定位方法 |
CN105759720B (zh) * | 2016-04-29 | 2018-06-29 | 中南大学 | 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法 |
CN108122257B (zh) * | 2016-11-28 | 2021-11-30 | 沈阳新松机器人自动化股份有限公司 | 一种机器人手眼标定方法及装置 |
CN108115680B (zh) * | 2016-11-29 | 2021-06-15 | 沈阳新松机器人自动化股份有限公司 | 机器人控制方法、机器人控制系统及控制逻辑配置方法 |
CN108117024B (zh) * | 2016-11-30 | 2020-11-13 | 楚天科技股份有限公司 | 高速灌装机械手跟踪定位偏差在线识别与纠偏方法 |
JP6490112B2 (ja) * | 2017-01-17 | 2019-03-27 | ファナック株式会社 | ロボット制御装置 |
CN107138881B (zh) * | 2017-05-21 | 2019-02-26 | 北京工业大学 | 一种法兰盘自动套准系统 |
CN109129457A (zh) * | 2017-06-15 | 2019-01-04 | 天津玛斯特车身装备技术有限公司 | 机器人自动化视觉识别及焊接系统 |
CN107369908B (zh) * | 2017-07-03 | 2019-08-23 | 中国科学院自动化研究所 | 一种提高射电望远镜接收机一次定位精度的方法 |
CN107378335B (zh) * | 2017-08-30 | 2019-04-19 | 新昌县管富机械有限公司 | 一种焊接机器人及其姿态控制方法 |
CN107335955B (zh) * | 2017-08-30 | 2019-05-21 | 东莞市佳雅汽车座椅有限公司 | 一种焊接机器人 |
CN109967929B (zh) * | 2017-12-28 | 2021-02-26 | 沈阳新松机器人自动化股份有限公司 | 一种用于校准焊接机器人路径的方法及其装置 |
CN109986255B (zh) * | 2017-12-29 | 2021-11-30 | 深圳中集智能科技有限公司 | 混合视觉伺服并联机器人及作业方法 |
CN110065063A (zh) * | 2018-01-24 | 2019-07-30 | 南京机器人研究院有限公司 | 一种机器人伺服电机控制方法 |
CN108340352A (zh) * | 2018-02-09 | 2018-07-31 | 巨轮中德机器人智能制造有限公司 | 基于示教关节臂的工业机器人远程实时操控方法 |
CN108296687B (zh) * | 2018-03-05 | 2019-08-27 | 北京华航唯实机器人科技股份有限公司 | 轨迹调整方法及装置 |
CN110456729B (zh) * | 2018-05-07 | 2021-09-28 | 苏州睿牛机器人技术有限公司 | 一种轨迹跟踪控制方法及轨迹跟踪系统 |
CN109032129B (zh) * | 2018-06-21 | 2021-07-27 | 昆山华恒工程技术中心有限公司 | 路径纠偏方法及装置、路径导引方法、可读介质 |
CN109571487B (zh) * | 2018-09-12 | 2020-08-28 | 河南工程学院 | 一种基于视觉的机器人演示学习方法 |
CN109530984A (zh) * | 2018-11-19 | 2019-03-29 | 施努卡(苏州)智能装备有限公司 | 视觉定位焊装方法 |
JP2021003794A (ja) | 2019-06-27 | 2021-01-14 | ファナック株式会社 | ツールの作業位置のずれ量を取得する装置、及び方法 |
CN110977962B (zh) * | 2019-11-12 | 2021-05-25 | 长沙长泰机器人有限公司 | 一种基于3d视觉的机器人打磨路径自动纠偏方法 |
CN111189393B (zh) * | 2020-01-21 | 2021-10-01 | 北京卫星制造厂有限公司 | 一种三维薄壁结构焊缝的高精度全局视觉测量方法 |
CN111360835B (zh) * | 2020-04-02 | 2021-04-16 | 邵阳学院 | 一种焊接机械臂的焊接自动控制方法 |
CN111452047B (zh) * | 2020-04-03 | 2023-07-21 | 精诚工科汽车系统有限公司 | 机器人工具偏差的修正方法、机器人控制装置及系统 |
CN111975200A (zh) * | 2020-06-08 | 2020-11-24 | 杭州国辰机器人科技有限公司 | 一种基于视觉示教技术的智能焊接方法及智能焊接系统 |
CN112191993B (zh) * | 2020-09-14 | 2022-05-10 | 湖北文理学院 | 一种氩弧焊焊缝跟踪系统及方法 |
CN113400300B (zh) * | 2021-05-24 | 2024-05-03 | 陶建明 | 用于机器人末端的伺服系统及其控制方法 |
CN113927132A (zh) * | 2021-11-03 | 2022-01-14 | 上海城建隧道装备科技发展有限公司 | 一种基于旋转系统的地铁隧道施工缝焊接自动补偿方法 |
CN114310056A (zh) * | 2022-01-17 | 2022-04-12 | 浙江汇丰汽车零部件股份有限公司 | 具有自动调节功能的智能焊接方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101623867A (zh) * | 2008-07-11 | 2010-01-13 | 中国科学院沈阳自动化研究所 | 一种使机器人高精度跟踪指定路径的设备和方法 |
CN101973032A (zh) * | 2010-08-30 | 2011-02-16 | 东南大学 | 一种焊接机器人线结构光视觉传感器离线编程系统和方法 |
CN102317044A (zh) * | 2009-02-12 | 2012-01-11 | 三菱电机株式会社 | 产业用机器人系统 |
-
2012
- 2012-02-08 CN CN201210027078.3A patent/CN102581445B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101623867A (zh) * | 2008-07-11 | 2010-01-13 | 中国科学院沈阳自动化研究所 | 一种使机器人高精度跟踪指定路径的设备和方法 |
CN102317044A (zh) * | 2009-02-12 | 2012-01-11 | 三菱电机株式会社 | 产业用机器人系统 |
CN101973032A (zh) * | 2010-08-30 | 2011-02-16 | 东南大学 | 一种焊接机器人线结构光视觉传感器离线编程系统和方法 |
Non-Patent Citations (4)
Title |
---|
基于示教与视觉纠偏的机器人自动焊接方法研究;鄢治国等;《机器人》;20070531;第29卷(第3期);第256-260页 * |
弧焊机器人视觉测量控制系统;涂志国等;《计算机测量与控制》;20040331;第12卷(第3期);第201-204页 * |
涂志国等.弧焊机器人视觉测量控制系统.《计算机测量与控制》.2004,第12卷(第3期), |
鄢治国等.基于示教与视觉纠偏的机器人自动焊接方法研究.《机器人》.2007,第29卷(第3期), |
Also Published As
Publication number | Publication date |
---|---|
CN102581445A (zh) | 2012-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102581445B (zh) | 机器人的视觉实时纠偏系统和纠偏方法 | |
Tavares et al. | Collaborative welding system using BIM for robotic reprogramming and spatial augmented reality | |
CN108481323B (zh) | 基于增强现实的机器人运动轨迹自动编程系统及方法 | |
CN201979219U (zh) | 一种激光焊接机床 | |
CN103406905A (zh) | 一种具有视觉伺服及检测功能的机器人系统 | |
Bolmsjö et al. | Robotic arc welding–trends and developments for higher autonomy | |
Shen et al. | Asymptotic trajectory tracking of manipulators using uncalibrated visual feedback | |
CN101890715A (zh) | 调节机械手的方法及装置 | |
CN111267073A (zh) | 一种基于增强现实技术的工业机器人示教系统及方法 | |
CN103692433A (zh) | 可模型解耦的三臂杆五自由度平移焊接机器人及其解耦方法 | |
CN111775145B (zh) | 一种串并联机器人的控制系统 | |
Fang et al. | Robot path and end-effector orientation planning using augmented reality | |
CN109048916A (zh) | 基于多维传感器实时数据反馈融合的便捷式工业机器人 | |
Wavering | Parallel kinematic machine research at NIST: past, present, and future | |
CN114055467B (zh) | 基于五自由度机器人的空间位姿在线仿真系统 | |
Xu et al. | Advances in multi-robotic welding techniques: A review | |
JPS5815801B2 (ja) | 工業用ロボツトの軌跡制御方式 | |
CN114102636B (zh) | 遥操作机器人的焊缝打磨控制系统及其设计方法和应用 | |
CN109664271A (zh) | 一种基于虚拟现实的远程机器人示教系统 | |
Haihua et al. | Cooperative motion planning of dual industrial robots via offline programming | |
CN207205613U (zh) | 一种基于视觉提取的异型工件的焊接系统 | |
JP2021186929A (ja) | 多軸ロボットの制御方法 | |
Schütz et al. | Virtual commissioning of the trajectory tracking control of a sensor-guided, kinematically redundant robotic welding system on a PLC | |
Tipary et al. | A novel, low-cost technique for modelless calibration of a 3-axis parallel kinematic machine | |
CN110712192A (zh) | 基于3d视觉的体感交互系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |