CN108122257A - 一种机器人手眼标定方法及装置 - Google Patents
一种机器人手眼标定方法及装置 Download PDFInfo
- Publication number
- CN108122257A CN108122257A CN201611062850.XA CN201611062850A CN108122257A CN 108122257 A CN108122257 A CN 108122257A CN 201611062850 A CN201611062850 A CN 201611062850A CN 108122257 A CN108122257 A CN 108122257A
- Authority
- CN
- China
- Prior art keywords
- robot
- image
- coordinates system
- angle
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人手眼标定方法及装置。本发明的机器人手眼标定方法包括:获取图像像素坐标系与机器人工具坐标系的对应关系;通过图像像素坐标系与机器人工具坐标系的对应关系来获取图像相对偏移值与工具坐标系相对偏移值的对应关系;获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;重新获得机器人的TCP点。本发明还公开了一种机器人手眼标定装置。
Description
技术领域
本发明涉及机器人技术领域,特别涉及一种机器人手眼标定方法和装置。
背景技术
机器人视觉是指使机器人具有视觉感知功能的系统,是机器人系统组成的重要部分之一。机器人视觉可以通过视觉传感器获取环境的二维图像,并通过视觉处理器进行分析和解释,进而转换为符合,让机器人能够辨识物体,并确定其位置。机器人视觉可分为视觉检测和视觉引导两种,广泛应用于电子、汽车、机械等工业部门和医学、军事领域。
机器人和机器视觉相结合的桥梁是“机器人手眼标定”。目前,对于手眼系统为eye-in-hand机器人系统多应用智能相机(Dalser、康奈视等品牌)作为机器人的眼睛,目的是很好的完成视觉抓取任务或视觉引导任务。现有一种手眼标定法为通过相机标定板标定出相机世界坐标系与像素坐标系之间的关系,再使机器人的用户坐标系与相机世界坐标系相重合。此标定方法需要标定出机器人标定针的工具坐标系,并用标定针碰触相机标定板的相关坐标点,此标定方法步骤繁琐且会带来很大的人为误差。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。
为此,本发明的第一个目的在于提出一种机器人手眼标定方法。所述机器人手眼标定方法包括以下步骤:
获取图像像素坐标系与机器人工具坐标系的对应关系;
通过图像像素坐标系与机器人工具坐标系的对应关系来获取图像相对偏移值与工具坐标系相对偏移值的对应关系;
获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;
重新获得机器人的TCP点。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的对应关系通过相机两步法计算得到。
在一些实施例中,所述相机两步法为:控制机器人在平面内移动六个精确位置点,同时在每个精确位置点可获得固定位置的待识别物体的图象特征像素点,把这些精确位置点的相对位置坐标信息和图像物体特征像素点信息通过最小二乘法求取线形方程、单纯型法求取非线性方程获得相机两步法的参数。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角通过三角函数求得。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角通过三角函数求得具体为:控制机器人精确移动相对三点,其中包括一个公共交点和两个不在一条直线上的一点,机器人移动的位置夹角和图像移动的位置夹角通过三角函数求取。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角中的机器人沿着工具坐标系旋转的补偿角为图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角的差值。
在一些实施例中,所述重新获得机器人的TCP点为求取新的工具坐标系到机器人六轴末端法兰的变换矩阵。
为达到上述目的,本发明的另一目的在于提出一种机器人手眼标定装置。
所述机器人手眼标定装置包括:两步法标定模块,用于获取图像像素坐标系与机器人工具坐标系的对应关系;相对偏移值计算模块,通过对所述两步法标定模块获得的图像像素坐标系与机器人工具坐标系的对应关系来求取图像相对偏移值与工具坐标系相对偏移值的对应关系;补偿角计算模块,所述补偿角计算模块与所述相对偏移值计算模块连接,所述补偿角计算模块用于获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;变换矩阵模块,所述变换矩阵模块与所述补偿角计算模块连接,所述变换矩阵模块用于求取新的工具坐标系到机器人六轴末端法兰的变换矩阵来重新获得机器人的TCP点。
在一些实施例中,所述两步法标定模块获取的图像像素坐标系与机器人工具坐标系的对应关系通过相机两步法计算得到。
在一些实施例中,所述相机两步法为:控制机器人在平面内移动六个精确位置点,同时在每个精确位置点可获得固定位置的待识别物体的图象特征像素点,把这些精确位置点的相对位置坐标信息和图像物体特征像素点信息通过最小二乘法求取线形方程、单纯型法求取非线性方程获得相机两步法的参数。
本发明提供的机器人手眼定标方法和装置省略了繁琐的机器人工具坐标系的标定和用户坐标系的标定,舍弃了操作视觉机器人的现场人员操作机器人触及棋盘格的繁琐操作,为机器人相关产业提供了一种新的机器人手眼标定方法的参考。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的机器人手眼标定方法的流程图;
图2为根据本发明一个实施例的机器人手眼标定装置的结构框图;
图3为根据本发明一个实施例的相机两步法模型;
图4为根据本发明一个实施例的机器人沿着移动坐标系Oxy面移动位置夹角和相机像素平面移动位置夹角;
图5为根据本发明一个实施例的控制机器人运动到视觉补偿后的运动点矩阵运算推理图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施例和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外,以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例,也可以包括另外的特征形成在第一和第二特征之间的实施例,这样第一和第二特征可能不是直接接触。
在本发明的描述中,需要说明的是,除非另有规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
下面参照图1-图5对本发明实施例提出的机器人手眼标定方法和装置进行详细描述。
如图1所示,为本发明一个实施例的机器人手眼标定方法,所述方法包括以下步骤:
S1,获取图像像素坐标系与机器人工具坐标系的对应关系;
S2,通过图像像素坐标系与机器人工具坐标系的对应关系来获取图像相对偏移值与工具坐标系相对偏移值的对应关系;
S3,获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;
S4,重新获得机器人的TCP点。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的对应关系通过相机两步法计算得到。
在一些实施例中,所述相机两步法为:控制机器人在平面内移动六个精确位置点,同时在每个精确位置点可获得固定位置的待识别物体的图象特征像素点,把这些精确位置点的相对位置坐标信息和图像物体特征像素点信息通过最小二乘法求取线形方程、单纯型法求取非线性方程获得相机两步法的参数。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角通过三角函数求得。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角通过三角函数求得具体为:控制机器人精确移动相对三点,其中包括一个公共交点和两个不在一条直线上的一点,机器人移动的位置夹角和图像移动的位置夹角通过三角函数求取。
在一些实施例中,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角中的机器人沿着工具坐标系旋转的补偿角为图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角的差值。
在一些实施例中,所述重新获得机器人的TCP点为求取新的工具坐标系到机器人六轴末端法兰的变换矩阵。
如图2所示,是本发明实施例的一种机器人手眼标定装置100。所述机器人手眼标定装置100包括:两步法标定模块10,用于获取图像像素坐标系与机器人工具坐标系的对应关系;相对偏移值计算模块20,通过对所述两步法标定模块10获得的图像像素坐标系与机器人工具坐标系的对应关系来求取图像相对偏移值与工具坐标系相对偏移值的对应关系;补偿角计算模块30,所述补偿角计算模块30与所述相对偏移值计算模块20连接,所述补偿角计算模块30用于获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;变换矩阵模块40,所述变换矩阵模块40与所述补偿角计算模块30连接,所述变换矩阵模块40用于求取新的工具坐标系到机器人六轴末端法兰的变换矩阵来重新获得机器人的TCP点。
在一些实施例中,所述两步法标定模块10获取的图像像素坐标系与机器人工具坐标系的对应关系通过相机两步法计算得到。
在一些实施例中,所述相机两步法为:控制机器人在平面内移动六个精确位置点,同时在每个精确位置点可获得固定位置的待识别物体的图象特征像素点,把这些精确位置点的相对位置坐标信息和图像物体特征像素点信息通过最小二乘法求取线形方程、单纯型法求取非线性方程获得相机两步法的参数。
本发明实施例提供的机器人手眼定标方法和装置通过获取图像像素坐标系与机器人工具坐标系的对应关系,并通过图像像素坐标系与机器人工具坐标系的对应关系来获取图像相对偏移值与工具坐标系相对偏移值的对应关系,省略了繁琐的机器人工具坐标系的标定和用户坐标系的标定,舍弃了操作视觉机器人的现场人员操作机器人触及棋盘格的繁琐操作,为机器人相关产业提供了一种新的机器人手眼标定方法的参考。
下面将通过具体实施例来对本发明提供的机器人手眼定标方法和装置的具体原理和实现过程进行说明。
本发明实施例提供的机器人手眼定标方法和装置通过机器人离线编程软件精确控制机器人在工具坐标系下移动的位置,通过在视场内带识别的物体相对机器人基坐标系位置不变,相机识别的图像点可以看成图像点在相机世界坐标系下移动的精确点。根据在图像上的六点和机器人在机器人工具坐标系下移动的相对点,采用相机两步法,可以计算出图像像素坐标系与相机世界坐标系的对应关系,此相机世界坐标系也与机器人的工具坐标系是具有对应关系的。有了此像素坐标系与机器人工具坐标系的对应关系后,由此可以确定图像像素偏移精确抓取点的相机世界坐标系的偏差值Δ(x,y)与工业机器人抓取物体精确位置点的工具坐标系偏差值是同一组数据,再根据机器人其中机器人移动的三点组成三角形来计算图像像素平面坐标系与机器人工具坐标坐标系的旋转夹角。由此旋转夹角θ1在加上视觉识别偏移物体的图像得出偏移角度θ2两者之间的差值即为工业机器人沿着工具坐标系旋转的补偿角度Δθ。最后经过重新计算工业机器人的TCP点,即求取新的工具坐标系到机器人六轴末端法兰的变换矩阵T。通过开发基于机器人工具坐标系视觉补偿的视觉指令来使工业机器人完成视觉抓取任务或视觉引导任务。
应用相机两步法完成图像相对偏差值与工具坐标系相对偏移值的对应,其中用最小二乘法求取线形方程、单纯型法求取非线性方程获得两步法相关参数,应用工业机器人精确移动的三点组成闭合的三角形应用三角函数求取相机像素坐标系与工具坐标系之间的夹角角度,最后根据机器人运动学重新计算视觉补偿后的TCP点,此机器人手眼标定方法采用机器人离线编程软件精确控制机器人移动六个精确点,视觉补偿机器人抓取方式采用机器人在精确示教点位置应用工具坐标系补偿值补偿。
机器人离线编程是利用计算机图形学的成果建立起机器人及其工作环境模型,通过对图形的控制和操作,在离线编程的情况下进行机器人轨迹规划,完成编程任务。
机器人示教编程是手把手示教,由人直接搬动机器人的手臂对机器人进行编程,如示教盒示教或操作杆示教。在这种示教中,为了示教方便以及获取信息的快捷而准确,操作者可以选择在不同的坐标系下示教学。
在机器人手眼标定过程中,要求机器人在工具坐标系下的Oxy平面精确移动顾采用机器人离线编程技术控制机器人运动。
基于“相机两步法”的模型列出线性方程
相机两步法是由ROGER Y.TSAI提出的,此标定方法共性:(1)已知特征点二维图像坐标与三维空间坐标(2)需要标定参照物。优点是适用任何相机模型、标定精度高。
两步法的单面相机模型是带有如图3所示的一阶径向畸变真空模型。设(xw,yw,zw)是点P在世界坐标系owxwywzw中的三维坐标;(x,y,z)是同一点P在相机坐标系oxyz中的坐标、相机坐标系定义为:原点在o点(光学中心),z轴与光轴重合;oxy是原点在o点(光轴z与成像平面的交点)平行于x,y轴CCD成像平面坐标系,焦距f是成像平面和光心的距离,(Xu,Yu)是理想针孔模型下点P的成像坐标,(Xd,Yd)是由镜头径向畸变引起的偏离(Xu,Yu)的实际成像点。o’ij是原点在o’(计算机图像的左上角)、i轴向右、j轴向下的计算机图像平面坐标系,(Xf,Yf)和(CX,CY)分别是(Xd,Yd)和CCD成像平面坐标系的原点o在该坐标系中的坐标。
如等式6-1所示,应用线性方程求解相机坐标系到世界坐标系的旋转矩阵中r1′=Ty-1r1、r2′=Ty-1r2、r4′=Ty-1r4、r5′=Ty-1r5和r3′=Ty-1Tx,其中本专利未知数采用最少六个图像识别点通过最小二乘法线性方程求解。
最小二乘方法解超定方程组
线性方程组
当m>n时,称为超定方程组。由线性代数知识知道,这样的方程组一般没有精确解,现在利用最小二乘原理,求它们的近似解。
设方程组有一组近似解(x1,x2,…,xn),代入方程组中每一个方程的左端,显然它不会等于常数项bi,令它们之差为δi,假设
于是问题的提法为:求一组数使
取最小值。
利用多元函数求极值,得
用矩阵形式给出,即得
ATAx=ATb (等式6-6)
其中A为m×n阶矩阵。
方程组(等式6-6)即为法方程组,求得x*即为超定方程组(等式6-2)在均方误差度量下的最佳近似解。
计算Ty和确定Ty的符号
式中,求得|Ty|后,首先假设Ty为正号,计算下面的式子:
若x和X有同样的符号以及y和Y有同样的符号,Ty为正号,否则为负号。
通过向量正交化求取相机旋转矩阵中剩下的r3、r6、r7、r8、r9
现在对于R,已知r1、r2、r4、r5利用正交性可计算出R,得到
式中s=-sgn(r1r4+r2r5),另外r7、r8、r9可由头两行的叉乘得到
r9=r1r5-r2r4 (等式6-17)
应用单纯形法对非线性方程进行求取待优化的fu、fv、Tz和K1
单纯形法是一种多变量函数的寻优方法,其主要思想是先找一个基本可行解,判断是否为最优解,如果不是则找另外一个解,再进行判定,如此叠代运算,直至找到最优解或者判定其无界。
单纯形法不是沿某一个方向前进行搜索,而是对n维空间的n+1个点(它们构成一个单纯形的顶点或极点)上的函数值进行比较,丢掉其中最“坏”的点代入以新点,构成一个新的单纯形,这样来逼近函数的最小点。为简明起见,我们来考虑问题:
minf(x),x=(x1,x2)T
对问题minf(x),x∈Rn,在n维空间Rn中适当选取n+1个点x(0),x(1),…,x(n),构成一个单纯形。通常选取为正规单纯形(即等边长相等的单纯形),一般地可以要求这n+1个点使向量组x(1)-x(0),x(2)-x(0),…,x(n)-x(0)线性无关。
1、计算函数值f(x(i)),i=0,1,…,n,决定坏点x(h)和好点x(l),于是
2、算出除点x(h)外的n个点x(0),…,x(h+1),…x(n)的中心x(c),即
并求出反射点
x(r)=2x(c)-x(h) (等式6-21)
3、若fr=f(x(r))≥fh则进行压缩,即令x(s)=x(h)+λ(x(r)-x(h))=(1-λ)x(h)+λx(r),并求出fs=f(x(s)),然后转5。这里λ∈(0,1)为给定的压缩系数,可取λ=1/4或是λ=3/4,一般要求λ≠0.5,若fr<fh,转4。
4、进行扩张,即令x(e)=x(h)+u(x(r)-x(h))=ux(r)+(1-u)x(h)其中u>1为扩张系数,可取u∈[1.2,2](扩张条件fr<fh也可换为fr≤fl)。
计算fe=f(x(e)),若fe≤fr,则令x(s)=x(e),fs=fe;否则,令x(s)=x(r),fs=fr。
5、若fs<fh,用x(s)替换x(h),fs替换fh,把这样得到新点x(s)和其他n个点一起构成一个新的单纯形,重新确定x(l)和x(h),然后返回2;若fs≥fh,转6。
6、若或成立,计算结束,取x*≈x(l),f*≈fl;否则缩短边长,令x(i)=(x(i)+x(l))/2,i=0,1,…,n返回1,继续进行计算。
根据图像像素关系和相机世界坐标系等式6-21和等式6-22的关系应用单纯形法可以求取初始待优化的fu、fv、Tz和K1。
其中
计算相机像素平面与机器人移动坐标系之间的旋转夹角
如图4所示,应用离线编程软件控制机器人精确移动的相对三点即可,其中包括一个公共交点和两个不在一条直线上的一点,机器人移动的位置夹角θ1和图像移动的位置夹角θ2的求取方法满足三角函数求取,计算公式如下。
|P2P3|2=|P1P2|2+|P1P3|2-2*|P1P2|*|P1P3|*cosθ1 (等式6-23)
本步骤根据机器人其中机器人移动的三点组成三角形来计算图像像素平面坐标系与机器人工具坐标坐标系的旋转夹角。由此旋转夹角θ1在加上视觉识别偏移物体的图像得出偏移角度θ2两者之间的差值即为工业机器人沿着工具坐标系旋转的补偿角度Δθ。
计算变换矩阵T控制机器人运动到视觉补偿后的运动点
图5控制机器人运动到视觉补偿后的运动点矩阵运算推理图中A代表视觉抓取标准位置点,B代表工件移动后视觉抓取位置点,T6′代表示教机器人到视觉抓取标准位置点A时的姿态矩阵,T6″为计算机器人运动到视觉抓取位置点B时的姿态矩阵,T′代表机器人T6′矩阵到T6″矩阵的变换矩阵。
根据机器人位置运动学可得下面两个等式:
T=Trans(x,y,0)*Rot(z,θ) (等式6-24)
T6″=T6′*Trans(x,y,0)*Rot(z,θ) (等式6-25)
其中视觉补偿的旋转轴为机器人沿着工具坐标的Z轴旋转θ角度此旋转矩阵为Rot(z,θ),视觉补偿偏移的工具坐标系Oxy面的偏移值为(Δx,Δy)即可得到平移矩阵Trans(Δx,Δy,0)。最后应用机器人运动学在机器人工具坐标系末端的T6矩阵右乘视觉的补偿矩阵Trans(x,y,0)*Rot(z,θ)重新获得机器人的TCP点,完成机器人相应的视觉抓取任务或视觉引导任务。
此方法省略了繁琐的机器人工具坐标系的标定和用户坐标系的标定,舍弃了操作视觉机器人的现场人员操作机器人触及棋盘格的繁琐操作。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
Claims (10)
1.一种机器人手眼标定方法,其特征在于,包括以下步骤:
获取图像像素坐标系与机器人工具坐标系的对应关系;
通过图像像素坐标系与机器人工具坐标系的对应关系来获取图像相对偏移值与工具坐标系相对偏移值的对应关系;
获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;
重新获得机器人的TCP点。
2.如权利要求1所述的机器人手眼标定方法,其特征在于,所述获取图像像素坐标系与机器人工具坐标系的对应关系通过相机两步法计算得到。
3.如权利要求2所述的机器人手眼标定方法,其特征在于,所述相机两步法为:控制机器人在平面内移动六个精确位置点,同时在每个精确位置点可获得固定位置的待识别物体的图象特征像素点,把这些精确位置点的相对位置坐标信息和图像物体特征像素点信息通过最小二乘法求取线形方程、单纯型法求取非线性方程获得相机两步法的参数。
4.如权利要求1所述的机器人手眼标定方法,其特征在于,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角通过三角函数求得。
5.如权利要求4所述的机器人手眼标定方法,其特征在于,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角通过三角函数求得具体为:控制机器人精确移动相对三点,其中包括一个公共交点和两个不在一条直线上的一点,机器人移动的位置夹角和图像移动的位置夹角通过三角函数求取。
6.如权利要求1所述的机器人手眼标定方法,其特征在于,所述获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角中的机器人沿着工具坐标系旋转的补偿角为图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角的差值。
7.如权利要求1所述的机器人手眼标定方法,其特征在于,所述重新获得机器人的TCP点为求取新的工具坐标系到机器人六轴末端法兰的变换矩阵。
8.一种机器人手眼标定装置,其特征在于,包括
两步法标定模块,用于获取图像像素坐标系与机器人工具坐标系的对应关系;
相对偏移值计算模块,通过对所述两步法标定模块获得的图像像素坐标系与机器人工具坐标系的对应关系来求取图像相对偏移值与工具坐标系相对偏移值的对应关系;
补偿角计算模块,所述补偿角计算模块与所述相对偏移值计算模块连接,所述补偿角计算模块用于获取图像像素坐标系与机器人工具坐标系的相对夹角以及图像识别出的真实的旋转偏移角,得到机器人沿着工具坐标系旋转的补偿角;
变换矩阵模块,所述变换矩阵模块与所述补偿角计算模块连接,所述变换矩阵模块用于求取新的工具坐标系到机器人六轴末端法兰的变换矩阵来重新获得机器人的TCP点。
9.如权利要求8所述的机器人手眼标定装置,其特征在于,所述两步法标定模块获取的图像像素坐标系与机器人工具坐标系的对应关系通过相机两步法计算得到。
10.如权利要求9所述的机器人手眼标定装置,其特征在于,所述相机两步法为:控制机器人在平面内移动六个精确位置点,同时在每个精确位置点可获得固定位置的待识别物体的图象特征像素点,把这些精确位置点的相对位置坐标信息和图像物体特征像素点信息通过最小二乘法求取线形方程、单纯型法求取非线性方程获得相机两步法的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611062850.XA CN108122257B (zh) | 2016-11-28 | 2016-11-28 | 一种机器人手眼标定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611062850.XA CN108122257B (zh) | 2016-11-28 | 2016-11-28 | 一种机器人手眼标定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108122257A true CN108122257A (zh) | 2018-06-05 |
CN108122257B CN108122257B (zh) | 2021-11-30 |
Family
ID=62224736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611062850.XA Active CN108122257B (zh) | 2016-11-28 | 2016-11-28 | 一种机器人手眼标定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108122257B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108627178A (zh) * | 2018-05-10 | 2018-10-09 | 广东拓斯达科技股份有限公司 | 机器人手眼标定方法和系统 |
CN108818536A (zh) * | 2018-07-12 | 2018-11-16 | 武汉库柏特科技有限公司 | 一种机器人手眼标定的在线偏移修正方法及装置 |
CN108908399A (zh) * | 2018-06-11 | 2018-11-30 | 杭州灵西机器人智能科技有限公司 | 一种基于同心圆环模板的机器人手眼标定方法 |
CN109079787A (zh) * | 2018-08-20 | 2018-12-25 | 上海嘉奥信息科技发展有限公司 | 基于神经网络的非刚性机器人自动手眼标定方法 |
CN109454634A (zh) * | 2018-09-20 | 2019-03-12 | 广东工业大学 | 一种基于平面图像识别的机器人手眼标定方法 |
CN110370272A (zh) * | 2019-06-20 | 2019-10-25 | 重庆大学 | 一种基于垂直反射的机器人tcp标定系统 |
EP3620270A1 (en) * | 2018-09-04 | 2020-03-11 | Bayerische Motoren Werke Aktiengesellschaft | Method and control unit for controlling an assembly robot |
CN110936378A (zh) * | 2019-12-04 | 2020-03-31 | 中科新松有限公司 | 一种基于增量补偿的机器人手眼关系自动标定方法 |
CN111006706A (zh) * | 2019-11-12 | 2020-04-14 | 长沙长泰机器人有限公司 | 一种基于线激光视觉传感器的旋转轴标定方法 |
CN111015664A (zh) * | 2019-12-26 | 2020-04-17 | 重庆盟讯电子科技有限公司 | 一种基于ccd相机的智能化识别方法 |
WO2020089839A1 (en) * | 2018-11-01 | 2020-05-07 | Te Connectivity Corporation | Automatic calibration for camera-robot system with tool offsets |
CN111376239A (zh) * | 2018-12-29 | 2020-07-07 | 希姆通信息技术(上海)有限公司 | 机器人的抓取方法及系统 |
CN111383283A (zh) * | 2018-12-29 | 2020-07-07 | 上海铼钠克数控科技股份有限公司 | 机器人的工具坐标系的标定方法及系统 |
CN111390901A (zh) * | 2019-01-02 | 2020-07-10 | 中达电子零组件(吴江)有限公司 | 机械臂自动标定方法以及标定装置 |
CN111421528A (zh) * | 2020-03-24 | 2020-07-17 | 广州市轻工职业学校 | 一种工业机器人的自动化控制系统 |
CN111791226A (zh) * | 2019-12-31 | 2020-10-20 | 深圳市豪恩声学股份有限公司 | 通过机器人实现组装的方法、装置及机器人 |
CN112238453A (zh) * | 2019-07-19 | 2021-01-19 | 上银科技股份有限公司 | 视觉导引机器手臂校正方法 |
CN112264992A (zh) * | 2020-09-15 | 2021-01-26 | 深圳市皓宇诚汽车电子有限公司 | 一种工业机器人坐标系校准方法、系统、装置和存储介质 |
CN112907673A (zh) * | 2021-03-19 | 2021-06-04 | 深圳创维-Rgb电子有限公司 | 定位方法、装置、终端设备以及存储介质 |
CN113033441A (zh) * | 2021-03-31 | 2021-06-25 | 广州敏视数码科技有限公司 | 一种基于广角成像的行人碰撞预警方法 |
CN113237434A (zh) * | 2021-04-25 | 2021-08-10 | 湖南大学 | 一种基于阶梯形标定物的激光轮廓传感器eye-in-hand标定方法 |
CN113296395A (zh) * | 2021-05-14 | 2021-08-24 | 珞石(山东)智能科技有限公司 | 一种特定平面内的机器人手眼标定方法 |
CN113400298A (zh) * | 2021-05-10 | 2021-09-17 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
CN113634635A (zh) * | 2021-07-26 | 2021-11-12 | 上海发那科机器人有限公司 | 一种机器人弯管坐标系标定方法、计算机设备及存储介质 |
CN114310869A (zh) * | 2020-09-29 | 2022-04-12 | 上海科技大学 | 机器人手眼标定方法、系统以及终端 |
CN114347013A (zh) * | 2021-11-05 | 2022-04-15 | 深港产学研基地(北京大学香港科技大学深圳研修院) | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 |
CN114505860A (zh) * | 2022-03-03 | 2022-05-17 | 深圳市启灵图像科技有限公司 | 3d手眼标定方法及系统 |
CN117182931A (zh) * | 2023-11-07 | 2023-12-08 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及系统,存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000263273A (ja) * | 1999-03-19 | 2000-09-26 | Amada Co Ltd | Yagレーザ加工機のティーチング方法及びその装置 |
CN101630409A (zh) * | 2009-08-17 | 2010-01-20 | 北京航空航天大学 | 一种用于机器人制孔系统的手眼视觉标定方法 |
US20100274390A1 (en) * | 2007-12-27 | 2010-10-28 | Leica Geosystems Ag | Method and system for the high-precision positioning of at least one object in a final location in space |
CN102581445A (zh) * | 2012-02-08 | 2012-07-18 | 中国科学院自动化研究所 | 机器人的视觉实时纠偏系统和纠偏方法 |
-
2016
- 2016-11-28 CN CN201611062850.XA patent/CN108122257B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000263273A (ja) * | 1999-03-19 | 2000-09-26 | Amada Co Ltd | Yagレーザ加工機のティーチング方法及びその装置 |
US20100274390A1 (en) * | 2007-12-27 | 2010-10-28 | Leica Geosystems Ag | Method and system for the high-precision positioning of at least one object in a final location in space |
CN101630409A (zh) * | 2009-08-17 | 2010-01-20 | 北京航空航天大学 | 一种用于机器人制孔系统的手眼视觉标定方法 |
CN102581445A (zh) * | 2012-02-08 | 2012-07-18 | 中国科学院自动化研究所 | 机器人的视觉实时纠偏系统和纠偏方法 |
Non-Patent Citations (3)
Title |
---|
ZIJIAN ZHAO ET AL: "Camera Calibration With Three Noncollinear Points Under Special Motions", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李剑峰等: "一种获取物体3维信息的多轴机器人激光扫描系统", 《中国图象图形学报》 * |
陈立松: "工业机器人视觉引导关键技术的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108627178A (zh) * | 2018-05-10 | 2018-10-09 | 广东拓斯达科技股份有限公司 | 机器人手眼标定方法和系统 |
CN108908399A (zh) * | 2018-06-11 | 2018-11-30 | 杭州灵西机器人智能科技有限公司 | 一种基于同心圆环模板的机器人手眼标定方法 |
CN108908399B (zh) * | 2018-06-11 | 2020-07-21 | 杭州灵西机器人智能科技有限公司 | 一种基于同心圆环模板的机器人手眼标定方法 |
CN108818536A (zh) * | 2018-07-12 | 2018-11-16 | 武汉库柏特科技有限公司 | 一种机器人手眼标定的在线偏移修正方法及装置 |
CN108818536B (zh) * | 2018-07-12 | 2021-05-14 | 武汉库柏特科技有限公司 | 一种机器人手眼标定的在线偏移修正方法及装置 |
CN109079787A (zh) * | 2018-08-20 | 2018-12-25 | 上海嘉奥信息科技发展有限公司 | 基于神经网络的非刚性机器人自动手眼标定方法 |
CN109079787B (zh) * | 2018-08-20 | 2020-10-16 | 上海嘉奥信息科技发展有限公司 | 基于神经网络的非刚性机器人自动手眼标定方法 |
EP3620270A1 (en) * | 2018-09-04 | 2020-03-11 | Bayerische Motoren Werke Aktiengesellschaft | Method and control unit for controlling an assembly robot |
CN109454634A (zh) * | 2018-09-20 | 2019-03-12 | 广东工业大学 | 一种基于平面图像识别的机器人手眼标定方法 |
CN109454634B (zh) * | 2018-09-20 | 2022-02-22 | 广东工业大学 | 一种基于平面图像识别的机器人手眼标定方法 |
JP2022506099A (ja) * | 2018-11-01 | 2022-01-17 | ティーイー コネクティビティ サービシーズ ゲーエムベーハー | ツールオフセットを有するカメラ-ロボットシステムの自動較正 |
WO2020089839A1 (en) * | 2018-11-01 | 2020-05-07 | Te Connectivity Corporation | Automatic calibration for camera-robot system with tool offsets |
CN113195171A (zh) * | 2018-11-01 | 2021-07-30 | 泰连服务有限公司 | 用于带有工具偏移量的相机-机器人系统的自动校准 |
US11065768B2 (en) | 2018-11-01 | 2021-07-20 | TE Connectivity Services Gmbh | Automatic calibration for camera-robot system with tool offsets |
JP7214861B2 (ja) | 2018-11-01 | 2023-01-30 | ティーイー コネクティビティ サービシーズ ゲーエムベーハー | ツールオフセットを有するカメラ-ロボットシステムの自動較正 |
CN113195171B (zh) * | 2018-11-01 | 2024-03-08 | 泰连服务有限公司 | 用于带有工具偏移量的相机-机器人系统的自动校准 |
CN111383283A (zh) * | 2018-12-29 | 2020-07-07 | 上海铼钠克数控科技股份有限公司 | 机器人的工具坐标系的标定方法及系统 |
CN111376239A (zh) * | 2018-12-29 | 2020-07-07 | 希姆通信息技术(上海)有限公司 | 机器人的抓取方法及系统 |
CN111376239B (zh) * | 2018-12-29 | 2023-06-27 | 希姆通信息技术(上海)有限公司 | 机器人的抓取方法及系统 |
CN111390901A (zh) * | 2019-01-02 | 2020-07-10 | 中达电子零组件(吴江)有限公司 | 机械臂自动标定方法以及标定装置 |
CN110370272A (zh) * | 2019-06-20 | 2019-10-25 | 重庆大学 | 一种基于垂直反射的机器人tcp标定系统 |
CN110370272B (zh) * | 2019-06-20 | 2021-08-31 | 重庆大学 | 一种基于垂直反射的机器人tcp标定系统 |
CN112238453A (zh) * | 2019-07-19 | 2021-01-19 | 上银科技股份有限公司 | 视觉导引机器手臂校正方法 |
CN112238453B (zh) * | 2019-07-19 | 2021-08-31 | 上银科技股份有限公司 | 视觉导引机器手臂校正方法 |
CN111006706B (zh) * | 2019-11-12 | 2022-01-07 | 长沙长泰机器人有限公司 | 一种基于线激光视觉传感器的旋转轴标定方法 |
CN111006706A (zh) * | 2019-11-12 | 2020-04-14 | 长沙长泰机器人有限公司 | 一种基于线激光视觉传感器的旋转轴标定方法 |
CN110936378A (zh) * | 2019-12-04 | 2020-03-31 | 中科新松有限公司 | 一种基于增量补偿的机器人手眼关系自动标定方法 |
CN111015664A (zh) * | 2019-12-26 | 2020-04-17 | 重庆盟讯电子科技有限公司 | 一种基于ccd相机的智能化识别方法 |
CN111791226A (zh) * | 2019-12-31 | 2020-10-20 | 深圳市豪恩声学股份有限公司 | 通过机器人实现组装的方法、装置及机器人 |
CN111421528A (zh) * | 2020-03-24 | 2020-07-17 | 广州市轻工职业学校 | 一种工业机器人的自动化控制系统 |
CN112264992B (zh) * | 2020-09-15 | 2024-05-31 | 贝里精英智能装备(深圳)有限公司 | 一种工业机器人坐标系校准方法、系统、装置和存储介质 |
CN112264992A (zh) * | 2020-09-15 | 2021-01-26 | 深圳市皓宇诚汽车电子有限公司 | 一种工业机器人坐标系校准方法、系统、装置和存储介质 |
CN114310869B (zh) * | 2020-09-29 | 2023-04-25 | 上海科技大学 | 机器人手眼标定方法、系统以及终端 |
CN114310869A (zh) * | 2020-09-29 | 2022-04-12 | 上海科技大学 | 机器人手眼标定方法、系统以及终端 |
CN112907673B (zh) * | 2021-03-19 | 2021-10-22 | 深圳创维-Rgb电子有限公司 | 定位方法、装置、终端设备以及存储介质 |
CN112907673A (zh) * | 2021-03-19 | 2021-06-04 | 深圳创维-Rgb电子有限公司 | 定位方法、装置、终端设备以及存储介质 |
CN113033441A (zh) * | 2021-03-31 | 2021-06-25 | 广州敏视数码科技有限公司 | 一种基于广角成像的行人碰撞预警方法 |
CN113033441B (zh) * | 2021-03-31 | 2024-05-10 | 广州敏视数码科技有限公司 | 一种基于广角成像的行人碰撞预警方法 |
CN113237434B (zh) * | 2021-04-25 | 2022-04-01 | 湖南大学 | 一种基于阶梯形标定物的激光轮廓传感器eye-in-hand标定方法 |
CN113237434A (zh) * | 2021-04-25 | 2021-08-10 | 湖南大学 | 一种基于阶梯形标定物的激光轮廓传感器eye-in-hand标定方法 |
CN113400298B (zh) * | 2021-05-10 | 2022-04-08 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
CN113400298A (zh) * | 2021-05-10 | 2021-09-17 | 埃夫特智能装备股份有限公司 | 一种无公共视野的多相机定位大工件及工业机器人位置补偿方法 |
CN113296395A (zh) * | 2021-05-14 | 2021-08-24 | 珞石(山东)智能科技有限公司 | 一种特定平面内的机器人手眼标定方法 |
CN113634635A (zh) * | 2021-07-26 | 2021-11-12 | 上海发那科机器人有限公司 | 一种机器人弯管坐标系标定方法、计算机设备及存储介质 |
CN114347013A (zh) * | 2021-11-05 | 2022-04-15 | 深港产学研基地(北京大学香港科技大学深圳研修院) | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 |
CN114505860A (zh) * | 2022-03-03 | 2022-05-17 | 深圳市启灵图像科技有限公司 | 3d手眼标定方法及系统 |
CN117182931B (zh) * | 2023-11-07 | 2024-01-23 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及系统,存储介质 |
CN117182931A (zh) * | 2023-11-07 | 2023-12-08 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及系统,存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108122257B (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108122257A (zh) | 一种机器人手眼标定方法及装置 | |
CN108717715B (zh) | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 | |
CN109153125B (zh) | 用于定向工业机器人的方法和工业机器人 | |
CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
Lenz et al. | Calibrating a cartesian robot with eye-on-hand configuration independent of eye-to-hand relationship | |
US11403780B2 (en) | Camera calibration device and camera calibration method | |
JP5371927B2 (ja) | 座標系校正方法及びロボットシステム | |
US9199379B2 (en) | Robot system display device | |
CN109658460A (zh) | 一种机械臂末端相机手眼标定方法和系统 | |
CN109079787B (zh) | 基于神经网络的非刚性机器人自动手眼标定方法 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
Anwar et al. | Quality inspection of remote radio units using depth-free image-based visual servo with acceleration command | |
CN114310901B (zh) | 用于机器人的坐标系标定方法、装置、系统以及介质 | |
Shen et al. | Automatic camera calibration for a multiple-sensor integrated coordinate measurement system | |
Li | Kinematic calibration of an active head-eye system | |
Zhao et al. | Image-based visual servoing using improved image moments in 6-DOF robot systems | |
Hu et al. | Performance evaluation of optical motion capture sensors for assembly motion capturing | |
CN112958960A (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
Lu et al. | Calibration of five-axis motion platform based on monocular vision | |
CN111768383A (zh) | 立体靶标及利用其恢复视觉传感器工作功能的方法 | |
Gao et al. | A high precision and fast alignment method based on binocular vision | |
Graefe et al. | The sensor-control Jacobian as a basis for controlling calibration-free robots | |
Fontana et al. | Flexible vision based control for micro-factories | |
Ye et al. | Robotic microassembly for meso-scale application | |
Hart et al. | Epipolar geometry for humanoid robotic heads |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |