CN110842914A - 基于差分进化算法的手眼标定参数辨识方法、系统及介质 - Google Patents

基于差分进化算法的手眼标定参数辨识方法、系统及介质 Download PDF

Info

Publication number
CN110842914A
CN110842914A CN201910979354.8A CN201910979354A CN110842914A CN 110842914 A CN110842914 A CN 110842914A CN 201910979354 A CN201910979354 A CN 201910979354A CN 110842914 A CN110842914 A CN 110842914A
Authority
CN
China
Prior art keywords
calibration
robot
hand
matrix
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910979354.8A
Other languages
English (en)
Other versions
CN110842914B (zh
Inventor
金轲
丁烨
俞桂英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910979354.8A priority Critical patent/CN110842914B/zh
Publication of CN110842914A publication Critical patent/CN110842914A/zh
Application granted granted Critical
Publication of CN110842914B publication Critical patent/CN110842914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明提供了一种基于差分进化算法的手眼标定参数辨识方法、系统及介质,包括:将机器人视觉系统的机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据;分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵;定义旋转分量标定误差函数和平移分量标定误差函数,确定手眼标定问题多目标优化函数并求解;分别计算机器人视觉系统的旋转部分和平移部分的标定误差,验证最优手眼标定参数的准确性并标定。能够保证获得的标定结果的全局最优性,保证获得的标定结果落在特殊欧氏群SE(3)上,避免对标定所得旋转矩阵正交化所额外引入的计算。

Description

基于差分进化算法的手眼标定参数辨识方法、系统及介质
技术领域
本发明涉及机器人视觉领域,具体地,涉及一种基于差分进化算法的手眼标定参数辨识方法、系统及介质。
背景技术
机器人视觉系统是机器人控制领域中常见的控制系统之一。视觉系统能够为机器人提供丰富地环境信息,指导机器人进行正确的决策,完成预定的动作。为了在统一的坐标框架下对视觉系统捕捉的图像数据和机器人工作空间中的三维运动数据进行分析,需要对机器人视觉系统进行手眼标定,以获得视觉传感器坐标系和机器人末端坐标系之间的变换关系。
机器人视觉系统的手眼标定有许多方法,较常用的有凸优化方法,其将手眼标定求解问题转化为L范数上的凸优化问题进行求解,有效地避免了局部最优问题。如专利文献CN 104842371A公开的一种基于非最小化最优化算法的机器人手眼标定方法。但是这种方法在使用时所得的标定矩阵可能不落在特殊欧氏群SE(3)上,标定结果在使用前需要经过正交化进行处理,且无法严格证明处理后的标定矩阵仍是全局最优的。基于上述考虑,本研究提出基于差分进化算法的手眼标定参数辨识方法,在考虑特殊欧氏群SE(3)约束的前提下,能够保证所得标定结果的全局最优性,改善了手眼标定的精度,具有重要的理论和现实意义。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于差分进化算法的手眼标定参数辨识方法、系统及介质。
根据本发明提供的一种基于差分进化算法的手眼标定参数辨识方法,包括:
数据采集步骤:将机器人视觉系统的机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据;
矩阵计算步骤:根据采集到的机器人关节数据和相机图像数据,分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵;
优化确定步骤:根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵,定义旋转分量标定误差函数和平移分量标定误差函数,确定手眼标定问题多目标优化函数;
求解步骤:利用差分进化算法求解手眼标定问题,获取最优手眼标定参数;
验证步骤:分别计算机器人视觉系统的旋转部分和平移部分的标定误差,验证最优手眼标定参数的准确性;
标定步骤:采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
优选地,所述数据采集步骤中,是在保证相机能够观察到标定板的前提下,将机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据。
优选地,所述矩阵计算步骤中,机器人末端相对于机器人基座坐标系的位姿矩阵
Figure BDA0002234667100000021
由正运动学进行求取,标定板相对于相机坐标系的位姿矩阵
Figure BDA0002234667100000022
由立体视觉或张正友标定法进行求取。
优选地,所述优化确定步骤中,
移动机器人末端到两个不同位置采集数据,推导得到的手眼标定系统模型为AX=XB (13)
其中,对于眼在手机器人视觉系统,
Figure BDA0002234667100000023
式中
Figure BDA0002234667100000024
Figure BDA0002234667100000025
分别表示第i个位置处i=1,2,机器人末端相对于基座坐标系的位姿矩阵和标定板相对于相机坐标系C的位姿矩阵,
Figure BDA0002234667100000026
表示第1个位置处相机相对于机器人末端坐标系E的位姿矩阵;
对于眼到手机器人视觉系统,
Figure BDA0002234667100000027
式中
Figure BDA0002234667100000028
Figure BDA0002234667100000029
分别表示第i个位置处i=1,2,基座相对于机器人末端坐标系E的位姿矩阵和相机C相对于标定板坐标系O的位姿矩阵,
Figure BDA00022346671000000210
表示相机相对于基座坐标系B的位姿矩阵;
在手眼标定时,若标定过程共采集了n组标定数据Ai和Bi,其中i=1,2...,n,则旋转分量上的误差函数Er定义为:
式中
Figure BDA00022346671000000212
分别为Ai和Bi的旋转矩阵所对应的李代数,RX∈SO(3)为齐次变换矩阵X对应的旋转矩阵,||·||2表示二范数算子,对于平移分量的误差函数Et定义为:
式中,
Figure BDA0002234667100000032
表示齐次变换矩阵Ai对应的旋转矩阵,分别表示齐次变换矩阵Ai,Bi和X对应的平移向量,记三维向量γ为旋转矩阵RX对应的李代数,定义决策向量
Figure BDA0002234667100000034
为:
Figure BDA0002234667100000035
定义手眼标定问题对应的标定误差函数为:
f(x)=Er(x)+λEt(x) (17)
式中,λ为权重系数,则手眼标定问题的数学模型表示为:
优选地,所述求解步骤包括:
生成初代种群:在6维空间中,设定各个维度的上界和下界,随机产生M个符合约束条件的6维向量xi(i=1,2...,M);
变异操作:设当前种群处于第t代,对于下一代的变异个体hi(t+1),其产生的方式为:
hi(t+1)=xp(t)+F(xq(t)-xk(t)) (19)
式中,xp(t),xq(t)和xk(t)均为第t代个体,且p≠q≠k≠i,F为变异因子;若hi(t+1)的第j个分量hij(t+1),j=1,2...,6,不满足约束条件,则需要对其进行圆整;
交叉操作:对变异个体hi(t+1)进行交叉,生成新的待选个体vi(t+1),具体的操作为:
式中,vij(t+1)和xij(t)分别为vi(t+1)和xi(t)的第j个分量,j=1,2...,6,r为区间[0,1]内的随机数,CR∈[0,1]为交叉因子;
选择操作:通过评价函数确定种群进化方向,生成第t+1代个体:
Figure BDA0002234667100000038
定义第t代种群中对应评价函数值最小的个体为第t代的最优个体,在产生新一代种群后,若算法迭代次数达到最大迭代次数,则停止迭代,否则重新执行变异操作到选择操作,迭代结束后,得到手眼标定问题的最优解。
优选地,所述验证步骤包括:
针对求解步骤获得的矩阵X,采集m组矩阵As和Bs,s=1,2...,m,进行标定误差校验,定义变换矩阵As的估计值为:
Figure BDA0002234667100000041
相应地,定义估计As时的平移误差et和旋转误差eR为:
Figure BDA0002234667100000042
Figure BDA0002234667100000043
式中,
Figure BDA0002234667100000044
和ts分别为
Figure BDA0002234667100000045
和As对应的平移向量,
Figure BDA0002234667100000046
和Rs分别为和As对应的旋转矩阵,计算估计过程中的平均平移估计误差和平均旋转估计误差,并与预先设定的误差限进行比较,若平均平移估计误差或平均旋转估计误差大于误差限,则调整权重系数λ的值重新计算,直至平均平移估计误差和平均旋转估计误差都小于误差限为止。
根据本发明提供的一种基于差分进化算法的手眼标定参数辨识系统,包括:
数据采集模块:将机器人视觉系统的机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据;
矩阵计算模块:根据采集到的机器人关节数据和相机图像数据,分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵;
优化确定模块:根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵,定义旋转分量标定误差函数和平移分量标定误差函数,确定手眼标定问题多目标优化函数;
求解模块:利用差分进化算法求解手眼标定问题,获取最优手眼标定参数;
验证模块:分别计算机器人视觉系统的旋转部分和平移部分的标定误差,验证最优手眼标定参数的准确性;
标定模块:采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
优选地,所述数据采集模块中,是在保证相机能够观察到标定板的前提下,将机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据。
优选地,所述矩阵计算模块中,机器人末端相对于机器人基座坐标系的位姿矩阵
Figure BDA0002234667100000051
由正运动学进行求取,标定板相对于相机坐标系的位姿矩阵由立体视觉或张正友标定法进行求取。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的基于差分进化算法的手眼标定参数辨识方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
与传统的手眼标定方法相比,能够保证获得的标定结果的全局最优性,与现有的凸优化手眼标定法相比,本方法能够保证获得的标定结果落在特殊欧氏群SE(3)上,避免了对标定所得旋转矩阵正交化所额外引入的计算。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为眼在手机器人视觉系统示意图。
图2为眼到手机器人视觉系统示意图。
图3为测试样本的平移估计误差示意图。
图4为测试样本的旋转估计误差示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的基于差分进化算法的手眼标定参数辨识方法,包括如下步骤:
步骤1:以一个机器人视觉系统为试验对象,将机器人末端移动到不同位姿处,采集机器人关节数据和对应的相机图像数据;
步骤2:通过正运动学计算机器人末端位姿矩阵,通过立体视觉或张正友标定法计算目标相对于相机坐标系的位姿矩阵;
步骤3:基于李群李代数理论,定义旋转分量标定误差函数和平移分量标定误差函数,确定标定问题的目标函数;
步骤4:利用差分进化算法求解优化问题,获取最优手眼标定参数;
步骤5:分别计算旋转部分和平移部分的标定误差,验证标定误差是否满足预先设定的误差限。
步骤6:采用符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
所述步骤1,具体为:
按照图1和图2所示机器人视觉系统示意图,对于图1所示的眼在手系统,其相机固定于机器人末端,采集数据时将标定板固定于世界坐标系,在确保相机可观察到标定板的条件下,移动机器人末端至若干个位置,分别记录各个位置处机器人的各个关节角度和各个相机的图像数据;对于图2所示的眼到手系统,其相机固定于世界坐标系,采集数据时将标定板固定于机器人末端,移动机器人末端至若干个位置,分别记录各个位置处机器人的各个关节角度和各个相机的图像数据。其中,B为机器人基座坐标系,E为机器人末端坐标系,O为标定板坐标系,C为相机坐标系。
所述步骤2,具体为:
假设标定过程共采集了n个机器人末端位置的数据,记机器人基座坐标系为{B},目标物体坐标系为{O},第i个位置处机器人末端坐标系为{Ei},第i个位置处相机坐标系为{Ci},其中i=1,2...,n。机器人末端相对于机器人基座的位姿矩阵
Figure BDA0002234667100000061
为第i个位置处机器人关节向量qi的函数,可通过机器人正运动学求取。记目标相对于相机坐标系的位姿矩阵为当系统为多相机系统时,位姿矩阵
Figure BDA0002234667100000063
可通过立体视觉与多目图像特征匹配方法求得;当系统为单相机系统时,可以使用张正友标定法对单目相机进行标定,再利用标定得到的结果计算位姿矩阵
Figure BDA0002234667100000064
所述步骤3,具体为:
对于图1所示的眼在手机器人视觉系统,依次移动机器人末端到两个不同位置采集数据,由坐标变换关系可以推导得:
其中,
Figure BDA0002234667100000066
表示第i个位置处(i=1,2)相机相对于机器人末端坐标系的位姿矩阵。对公式(25)进行变换,得到如下等式:
Figure BDA0002234667100000067
由于机器人末端移动时,相机始终固连在机器人末端,相机相对于机器人末端坐标系的位姿始终不变,可得到如下等式:
Figure BDA0002234667100000071
Figure BDA0002234667100000072
则公式(26)可变换为:
AX=XB (28)
对于图2所示的眼到手机器人视觉系统,依次移动机器人末端到两个不同位置采集数据,由于在机器人末端运动过程中,目标物体始终固连在机器人末端,可以得到如下等式:
其中,
Figure BDA0002234667100000074
表示第i个位置处(i=1,2)目标物体相对于机器人末端坐标系的位姿矩阵,通过坐标变换关系可以推导得
Figure BDA0002234667100000075
其中,
Figure BDA0002234667100000076
Figure BDA0002234667100000077
分别表示第i个位置处(i=1,2)机器人基座相对于末端坐标系的位姿矩阵和目标物体相对于相机坐标系的位姿矩阵,
Figure BDA0002234667100000078
表示相机相对于机器人基座坐标系的位姿矩阵。对公式(30)进行变换,得到如下等式:
Figure BDA0002234667100000079
Figure BDA00022346671000000710
则公式(31)可变换为公式(28)。即两类机器人视觉系统的手眼标定求解都可以转换为公式(28)所示的方程求解问题。将公式(28)中的矩阵展开,可得如下等式:
Figure BDA00022346671000000711
其中,RA,RB,RX∈SO(3)表示旋转矩阵,
Figure BDA00022346671000000712
表示平移向量。分析公式(32)可知,求解公式(32)等价于求解RX和bX,使其满足以下方程:
RARX=RXRB (33)
RAbX+bA=RXbB+bX (34)
根据李群李代数理论,公式(33)可改写为
α=RXβ (35)
式中
Figure BDA00022346671000000713
分别为旋转矩阵RA和RB对应的李代数。若手眼标定过程共采集了n组标定数据Ai和Bi,其中i=1,2...,n。则旋转分量上的误差函数Er可以定义为
Figure BDA00022346671000000714
式中αi和βi分别为Ai和Bi的旋转矩阵所对应的李代数,||·||2表示二范数算子。对于公式(34)所示的平移分量,其误差函数可以定义为
Figure BDA0002234667100000081
式中,
Figure BDA0002234667100000082
表示齐次变换矩阵Ai对应的旋转矩阵,分别表示齐次变换矩阵Ai和Bi对应的平移向量。记三维向量γ为旋转矩阵RX对应的李代数,定义决策向量
Figure BDA0002234667100000084
Figure BDA0002234667100000085
对于每一个x,在SE(3)上都有唯一的齐次变换矩阵X与之对应。为了使手眼标定的平移误差和旋转误差都达到最小,定义手眼标定问题对应的目标函数为
f(x)=Er(x)+λEt(x) (39)
式中,λ为权重系数。则手眼标定问题的数学模型可以表示为
所述步骤4,具体为:
为了求解式(40)所示的优化问题,采用差分进化算法进行计算,算法实现包含如下步骤:
(1)生成初代种群。在6维空间中,设定各个维度的上界和下界,随机产生M个符合约束条件的6维向量xi(i=1,2...,M)。
(2)变异操作。设当前种群处于第t代,对于下一代的变异个体hi(t+1),其产生的方式为
hi(t+1)=xp(t)+F(xq(t)-xk(t)) (41)
式中,xp(t),xq(t)和xk(t)均为第t代个体,且p≠q≠k≠i,F为变异因子。若hi(t+1)的第j个分量hij(t+1)(j=1,2...,6)不满足约束条件,则需要对其进行圆整。
(3)交叉操作。对变异个体hi(t+1)进行交叉,生成新的待选个体vi(t+1),具体的操作为
Figure BDA0002234667100000087
式中,vij(t+1)和xij(t)分别为vi(t+1)和xi(t)的第j个分量(j=1,2...,6),r为区间[0,1]内的随机数,CR∈[0,1]为交叉因子。
(4)选择操作。通过评价函数确定差分进化方向,生成第t+1代个体:
定义第t代种群中对应评价函数值最小的个体为第t代的最优个体。在产生新一代种群后,若算法迭代次数达到最大迭代次数,则停止迭代,否则重新执行(2)到(4)。迭代结束后,末代最优个体即为优化问题的最优解。
步骤5:针对步骤4获得的齐次变换矩阵X,采集m组齐次变换矩阵As和Bs(s=1,2...,m)进行标定误差校验。定义变换矩阵As的估计值为
Figure BDA0002234667100000092
相应地,定义估计As时的平移误差et和旋转误差eR
Figure BDA0002234667100000093
Figure BDA0002234667100000094
式中,
Figure BDA0002234667100000095
和ts分别为
Figure BDA0002234667100000096
和As对应的平移向量,
Figure BDA0002234667100000097
和Rs分别为
Figure BDA0002234667100000098
和As对应的旋转矩阵。计算估计过程中的平均平移估计误差和平均旋转估计误差,并与预先设定的误差限进行比较。若平均平移估计误差或平均旋转估计误差大于误差限,则调整权重系数λ的值重新计算,直至平均平移估计误差和平均旋转估计误差都小于误差限为止。
更为具体地,下面结合具体手眼标定任务实例说明本发明的具体实施方案,实验采用眼在手机器人视觉系统,相机通过连接件固定于机器人末端执行器,标定板固定于桌面上,标定过程中保持标定板不动,机器人移动相机到各个位姿处对标定板进行拍摄。其中使用的机器人为UR10六自由度工业机器人,使用的相机为大恒MER-131-75GM/C单目工业相机。机器人基座与世界坐标系固连,相机通过连接件固定于机器人末端,标定板固定于桌面,与世界坐标系固连。在手眼标定过程中,移动机器人末端至17处不同的位姿,并通过工业相机捕捉不同位置处观察到的标定板图片,记录相机图像数据和对应的机器人关节数据。根据所得数据,可以获得16组齐次变换矩阵Ai和Bi,使用其中的前9组进行手眼标定,后7组用于手眼标定结果的准确性验证。在构造手眼标定优化问题的目标函数时,设定权重系数λ=0.2。在使用差分进化算法获取优化问题最优解时,设定种群个体数量M=30,变异因子F=1.2,交叉因子CR=0.9,最大迭代次数为1000。根据先验知识,设定种群的上界向量下界向量
将已知参数代入发明内容中的步骤1-步骤5,针对各个测试样本,得到的平移分量和旋转分量上的估计误差如图3和图4所示。
图3中,各式所表示的含义如下:s表示测试样本的编号,et表示获得的手眼标定结果在平移分量上对测试样本的估计误差。图中“CO”表示文献1中正交矩阵形式的凸优化方法的标定结果对应的平移分量估计误差,由虚线和圆形标记描述;“DE”表示本方法的标定结果对应的平移分量估计误差,由实线和正方形标记描述。
图4中,各式所表示的含义如下:s表示测试样本的编号,eR表示获得的手眼标定结果在旋转分量上对测试样本的估计误差。图中“CO”表示文献1中正交矩阵形式的凸优化方法的标定结果对应的旋转分量估计误差,由虚线和圆形标记描述;“DE”表示本方法的标定结果对应的旋转分量估计误差,由实线和正方形标记描述。
在实验过程中,采用正交矩阵形式的凸优化方法与本方法进行对比,该方法引自文献1ZHAO Zijian.,2011,Hand-Eye Calibration Using Convex Optimization.IEEEInternational Conference on Robotics and Automation.从图3和图4分析可知,本方法在考虑了特殊欧氏群SE(3)约束的前提下,获得的标定结果在验证过程中拥有较小的平移估计误差和旋转估计误差。进一步分析可知,本方法的平均平移估计误差为0.0033m,平均旋转估计误差为0.0034,而凸优化方法的平均平移估计误差为0.0053m,平均旋转估计误差为0.0049。该数据进一步说明了本方法的可行性和有效性。
在上述一种基于差分进化算法的手眼标定参数辨识方法的基础上,本发明还提供一种基于差分进化算法的手眼标定参数辨识系统,包括:
数据采集模块:将机器人视觉系统的机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据;
矩阵计算模块:根据采集到的机器人关节数据和相机图像数据,分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵;
优化确定模块:根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵,定义旋转分量标定误差函数和平移分量标定误差函数,确定手眼标定问题多目标优化函数;
求解模块:利用差分进化算法求解手眼标定问题,获取最优手眼标定参数;
验证模块:分别计算机器人视觉系统的旋转部分和平移部分的标定误差,验证最优手眼标定参数的准确性;
标定模块:采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
本发明可应用于计算机可读存储介质中,在计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于差分进化算法的手眼标定参数辨识方法的步骤。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于差分进化算法的手眼标定参数辨识方法,其特征在于,包括:
数据采集步骤:将机器人视觉系统的机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据;
矩阵计算步骤:根据采集到的机器人关节数据和相机图像数据,分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵;
优化确定步骤:根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵,定义旋转分量标定误差函数和平移分量标定误差函数,确定手眼标定问题多目标优化函数;
求解步骤:利用差分进化算法求解手眼标定问题,获取最优手眼标定参数;
验证步骤:分别计算机器人视觉系统的旋转部分和平移部分的标定误差,验证最优手眼标定参数的准确性;
标定步骤:采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
2.根据权利要求1所述的基于差分进化算法的手眼标定参数辨识方法,其特征在于,所述数据采集步骤中,是在保证相机能够观察到标定板的前提下,将机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据。
3.根据权利要求1所述的基于差分进化算法的手眼标定参数辨识方法,其特征在于,所述矩阵计算步骤中,机器人末端相对于机器人基座坐标系的位姿矩阵
Figure FDA0002234667090000011
由正运动学进行求取,标定板相对于相机坐标系的位姿矩阵
Figure FDA0002234667090000012
由立体视觉或张正友标定法进行求取。
4.根据权利要求3所述的基于差分进化算法的手眼标定参数辨识方法,其特征在于,所述优化确定步骤中,
移动机器人末端到两个不同位置采集数据,推导得到的手眼标定系统模型为AX=XB(1)
其中,对于眼在手机器人视觉系统,
Figure FDA0002234667090000013
式中
Figure FDA0002234667090000014
Figure FDA0002234667090000015
分别表示第i个位置处i=1,2,机器人末端相对于基座坐标系的位姿矩阵和标定板相对于相机坐标系C的位姿矩阵,
Figure FDA0002234667090000016
表示第1个位置处相机相对于机器人末端坐标系E的位姿矩阵;
对于眼到手机器人视觉系统,
Figure FDA0002234667090000021
式中
Figure FDA0002234667090000022
分别表示第i个位置处i=1,2,基座相对于机器人末端坐标系E的位姿矩阵和相机C相对于标定板坐标系O的位姿矩阵,
Figure FDA0002234667090000024
表示相机相对于基座坐标系B的位姿矩阵;
在手眼标定时,若标定过程共采集了n组标定数据Ai和Bi,其中i=1,2...,n,则旋转分量上的误差函数Er定义为:
Figure FDA0002234667090000025
式中
Figure FDA0002234667090000026
分别为Ai和Bi的旋转矩阵所对应的李代数,RX∈SO(3)为齐次变换矩阵X对应的旋转矩阵,||·||2表示二范数算子,对于平移分量的误差函数Et定义为:
Figure FDA0002234667090000027
式中,
Figure FDA0002234667090000028
表示齐次变换矩阵Ai对应的旋转矩阵,
Figure FDA0002234667090000029
分别表示齐次变换矩阵Ai,Bi和X对应的平移向量,记三维向量γ为旋转矩阵RX对应的李代数,定义决策向量
Figure FDA00022346670900000210
为:
Figure FDA00022346670900000211
定义手眼标定问题对应的标定误差函数为:
f(x)=Er(x)+λEt(x) (5)
式中,λ为权重系数,则手眼标定问题的数学模型表示为:
5.根据权利要求4所述的基于差分进化算法的手眼标定参数辨识方法,其特征在于,所述求解步骤包括:
生成初代种群:在6维空间中,设定各个维度的上界和下界,随机产生M个符合约束条件的6维向量xi(i=1,2...,M);
变异操作:设当前种群处于第t代,对于下一代的变异个体hi(t+1),其产生的方式为:
hi(t+1)=xp(t)+F(xq(t)-xk(t)) (7)
式中,xp(t),xq(t)和xk(t)均为第t代个体,且p≠q≠k≠i,F为变异因子;若hi(t+1)的第j个分量hij(t+1),j=1,2...,6,不满足约束条件,则需要对其进行圆整;
交叉操作:对变异个体hi(t+1)进行交叉,生成新的待选个体vi(t+1),具体的操作为:
Figure FDA0002234667090000031
式中,vij(t+1)和xij(t)分别为vi(t+1)和xi(t)的第j个分量,j=1,2...,6,r为区间[0,1]内的随机数,CR∈[0,1]为交叉因子;
选择操作:通过评价函数确定种群进化方向,生成第t+1代个体:
Figure FDA0002234667090000032
定义第t代种群中对应评价函数值最小的个体为第t代的最优个体,在产生新一代种群后,若算法迭代次数达到最大迭代次数,则停止迭代,否则重新执行变异操作到选择操作,迭代结束后,得到手眼标定问题的最优解。
6.根据权利要求5所述的基于差分进化算法的手眼标定参数辨识方法,其特征在于,所述验证步骤包括:
针对求解步骤获得的矩阵X,采集m组矩阵As和Bs,s=1,2...,m,进行标定误差校验,定义变换矩阵As的估计值为:
Figure FDA0002234667090000033
相应地,定义估计As时的平移误差et和旋转误差eR为:
Figure FDA0002234667090000035
式中,
Figure FDA0002234667090000036
和ts分别为
Figure FDA0002234667090000037
和As对应的平移向量,
Figure FDA0002234667090000038
和Rs分别为
Figure FDA0002234667090000039
和As对应的旋转矩阵,计算估计过程中的平均平移估计误差和平均旋转估计误差,并与预先设定的误差限进行比较,若平均平移估计误差或平均旋转估计误差大于误差限,则调整权重系数λ的值重新计算,直至平均平移估计误差和平均旋转估计误差都小于误差限为止。
7.一种基于差分进化算法的手眼标定参数辨识系统,其特征在于,包括:
数据采集模块:将机器人视觉系统的机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据;
矩阵计算模块:根据采集到的机器人关节数据和相机图像数据,分别计算机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵;
优化确定模块:根据机器人末端相对于机器人基座坐标系的位姿矩阵和标定板相对于相机坐标系的位姿矩阵,定义旋转分量标定误差函数和平移分量标定误差函数,确定手眼标定问题多目标优化函数;
求解模块:利用差分进化算法求解手眼标定问题,获取最优手眼标定参数;
验证模块:分别计算机器人视觉系统的旋转部分和平移部分的标定误差,验证最优手眼标定参数的准确性;
标定模块:采用准确性符合要求的最优手眼标定参数对机器人视觉系统进行手眼标定。
8.根据权利要求7所述的基于差分进化算法的手眼标定参数辨识系统,其特征在于,所述数据采集模块中,是在保证相机能够观察到标定板的前提下,将机器人末端移动到不同位姿处,采集机器人关节数据和相机图像数据。
9.根据权利要求7所述的基于差分进化算法的手眼标定参数辨识系统,其特征在于,所述矩阵计算模块中,机器人末端相对于机器人基座坐标系的位姿矩阵由正运动学进行求取,标定板相对于相机坐标系的位姿矩阵由立体视觉或张正友标定法进行求取。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于差分进化算法的手眼标定参数辨识方法的步骤。
CN201910979354.8A 2019-10-15 2019-10-15 基于差分进化算法的手眼标定参数辨识方法、系统及介质 Active CN110842914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910979354.8A CN110842914B (zh) 2019-10-15 2019-10-15 基于差分进化算法的手眼标定参数辨识方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979354.8A CN110842914B (zh) 2019-10-15 2019-10-15 基于差分进化算法的手眼标定参数辨识方法、系统及介质

Publications (2)

Publication Number Publication Date
CN110842914A true CN110842914A (zh) 2020-02-28
CN110842914B CN110842914B (zh) 2022-09-23

Family

ID=69597568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979354.8A Active CN110842914B (zh) 2019-10-15 2019-10-15 基于差分进化算法的手眼标定参数辨识方法、系统及介质

Country Status (1)

Country Link
CN (1) CN110842914B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111515950A (zh) * 2020-04-28 2020-08-11 腾讯科技(深圳)有限公司 机器人坐标系变换关系确定方法、装置、设备和存储介质
CN111890356A (zh) * 2020-06-30 2020-11-06 深圳瀚维智能医疗科技有限公司 机械臂坐标系和相机坐标系标定方法、装置、设备及介质
CN112525074A (zh) * 2020-11-24 2021-03-19 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
CN112907682A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种五轴运动平台的手眼标定方法、装置及相关设备
CN112975973A (zh) * 2021-03-02 2021-06-18 中山大学 一种应用于柔性机器人的混合标定方法及装置
CN113160334A (zh) * 2021-04-28 2021-07-23 北京邮电大学 一种基于手眼相机的双机器人系统标定方法
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统
CN113405511A (zh) * 2021-05-24 2021-09-17 杭州电子科技大学 一种基于ipde算法的关节式坐标测量机标定方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN114161411A (zh) * 2021-11-18 2022-03-11 浙江大学 一种基于视觉的多足机器人运动学参数标定方法
CN114310901A (zh) * 2022-01-14 2022-04-12 北京京东乾石科技有限公司 用于机器人的坐标系标定方法、装置、系统以及介质
CN114407018A (zh) * 2022-02-11 2022-04-29 天津科技大学 机器人手眼标定方法、装置、电子设备、存储介质及产品
CN114589698A (zh) * 2022-04-07 2022-06-07 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN114700953A (zh) * 2022-04-29 2022-07-05 华中科技大学 一种基于关节零位误差的粒子群手眼标定方法及系统
WO2022160787A1 (zh) * 2021-01-26 2022-08-04 深圳市优必选科技股份有限公司 一种机器人手眼标定方法, 装置, 可读存储介质及机器人
CN116010753A (zh) * 2023-03-28 2023-04-25 伸瑞科技(北京)有限公司 一种运动模拟器位姿误差的评估方法、系统、设备及介质
CN116061196A (zh) * 2023-04-06 2023-05-05 广东工业大学 一种多轴运动平台运动学参数标定方法和系统
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
CN106910223A (zh) * 2016-11-02 2017-06-30 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
US20180089831A1 (en) * 2016-09-28 2018-03-29 Cognex Corporation Simultaneous Kinematic and Hand-Eye Calibration
CN108492282A (zh) * 2018-03-09 2018-09-04 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN108871216A (zh) * 2018-07-12 2018-11-23 湘潭大学 一种基于视觉引导的机器人多孔接触式自动测量方法
CN108908335A (zh) * 2018-07-20 2018-11-30 合肥工业大学 基于改进差分进化算法的机器人标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102922521A (zh) * 2012-08-07 2013-02-13 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
US20180089831A1 (en) * 2016-09-28 2018-03-29 Cognex Corporation Simultaneous Kinematic and Hand-Eye Calibration
CN106910223A (zh) * 2016-11-02 2017-06-30 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
CN108492282A (zh) * 2018-03-09 2018-09-04 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN108871216A (zh) * 2018-07-12 2018-11-23 湘潭大学 一种基于视觉引导的机器人多孔接触式自动测量方法
CN108908335A (zh) * 2018-07-20 2018-11-30 合肥工业大学 基于改进差分进化算法的机器人标定方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范昭君: ""基于极线几何的机器人模糊滑模视觉伺服"", 《机床与液压》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111515950A (zh) * 2020-04-28 2020-08-11 腾讯科技(深圳)有限公司 机器人坐标系变换关系确定方法、装置、设备和存储介质
CN111890356A (zh) * 2020-06-30 2020-11-06 深圳瀚维智能医疗科技有限公司 机械臂坐标系和相机坐标系标定方法、装置、设备及介质
CN112525074A (zh) * 2020-11-24 2021-03-19 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
WO2022160787A1 (zh) * 2021-01-26 2022-08-04 深圳市优必选科技股份有限公司 一种机器人手眼标定方法, 装置, 可读存储介质及机器人
CN112975973A (zh) * 2021-03-02 2021-06-18 中山大学 一种应用于柔性机器人的混合标定方法及装置
CN113276106B (zh) * 2021-04-06 2022-06-03 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统
CN112907682A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种五轴运动平台的手眼标定方法、装置及相关设备
CN112907682B (zh) * 2021-04-07 2022-11-25 歌尔光学科技有限公司 一种五轴运动平台的手眼标定方法、装置及相关设备
CN113160334A (zh) * 2021-04-28 2021-07-23 北京邮电大学 一种基于手眼相机的双机器人系统标定方法
CN113160334B (zh) * 2021-04-28 2023-04-25 北京邮电大学 一种基于手眼相机的双机器人系统标定方法
CN113405511B (zh) * 2021-05-24 2022-07-05 杭州电子科技大学 一种基于ipde算法的关节式坐标测量机标定方法
CN113405511A (zh) * 2021-05-24 2021-09-17 杭州电子科技大学 一种基于ipde算法的关节式坐标测量机标定方法
CN113442169A (zh) * 2021-06-16 2021-09-28 武汉联影智融医疗科技有限公司 机器人的手眼标定方法、装置、计算机设备和可读存储介质
CN114161411B (zh) * 2021-11-18 2023-09-01 浙江大学 一种基于视觉的多足机器人运动学参数标定方法
CN114161411A (zh) * 2021-11-18 2022-03-11 浙江大学 一种基于视觉的多足机器人运动学参数标定方法
CN114310901A (zh) * 2022-01-14 2022-04-12 北京京东乾石科技有限公司 用于机器人的坐标系标定方法、装置、系统以及介质
CN114310901B (zh) * 2022-01-14 2023-09-26 北京京东乾石科技有限公司 用于机器人的坐标系标定方法、装置、系统以及介质
CN114407018A (zh) * 2022-02-11 2022-04-29 天津科技大学 机器人手眼标定方法、装置、电子设备、存储介质及产品
CN114407018B (zh) * 2022-02-11 2023-09-22 天津科技大学 机器人手眼标定方法、装置、电子设备、存储介质及产品
CN114589698A (zh) * 2022-04-07 2022-06-07 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN114589698B (zh) * 2022-04-07 2023-06-06 北京信息科技大学 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置
CN114700953A (zh) * 2022-04-29 2022-07-05 华中科技大学 一种基于关节零位误差的粒子群手眼标定方法及系统
CN114700953B (zh) * 2022-04-29 2023-09-08 华中科技大学 一种基于关节零位误差的粒子群手眼标定方法及系统
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质
CN116010753B (zh) * 2023-03-28 2023-08-04 伸瑞科技(北京)有限公司 一种运动模拟器位姿误差的评估方法、系统、设备及介质
CN116010753A (zh) * 2023-03-28 2023-04-25 伸瑞科技(北京)有限公司 一种运动模拟器位姿误差的评估方法、系统、设备及介质
CN116061196A (zh) * 2023-04-06 2023-05-05 广东工业大学 一种多轴运动平台运动学参数标定方法和系统

Also Published As

Publication number Publication date
CN110842914B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110842914B (zh) 基于差分进化算法的手眼标定参数辨识方法、系统及介质
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
Lee et al. Camera-to-robot pose estimation from a single image
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
US11338435B2 (en) Gripping system with machine learning
CN107813310B (zh) 一种基于双目视觉多手势机器人控制方法
CN109101966B (zh) 基于深度学习的工件识别定位和姿态估计系统和方法
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN113284179B (zh) 一种基于深度学习的机器人多物体分拣方法
CN115179294A (zh) 机器人控制方法、系统、计算机设备、存储介质
CN114851201A (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
CN115222905A (zh) 基于视觉特征的空地多机器人地图融合方法
CN113021355B (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
Grundmann et al. A gaussian measurement model for local interest point based 6 dof pose estimation
CN115625709A (zh) 一种手眼标定方法、装置和计算机设备
Yang et al. Next-best-view selection for robot eye-in-hand calibration
Rebello et al. Autonomous active calibration of a dynamic camera cluster using next-best-view
DE102021202570A1 (de) Vorrichtung und verfahren zum lokalisieren von stellen von objekten aus kamerabildern der objekte
Kumar et al. Visual motor control of a 7 DOF robot manipulator using function decomposition and sub-clustering in configuration space
Das Informed data selection for dynamic multi-camera clusters
DeSouza et al. An world-independent approach for the calibration of mobile robotics active stereo heads
Li et al. Relative posture-based kinematic calibration of a 6-RSS parallel robot by using a monocular vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant