CN117124334B - 机器人漂移校正方法、机器人、存储介质和终端设备 - Google Patents
机器人漂移校正方法、机器人、存储介质和终端设备 Download PDFInfo
- Publication number
- CN117124334B CN117124334B CN202311369487.6A CN202311369487A CN117124334B CN 117124334 B CN117124334 B CN 117124334B CN 202311369487 A CN202311369487 A CN 202311369487A CN 117124334 B CN117124334 B CN 117124334B
- Authority
- CN
- China
- Prior art keywords
- point set
- mark point
- robot
- mark
- pairing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012937 correction Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 14
- 239000003550 marker Substances 0.000 claims description 83
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 21
- 230000008569 process Effects 0.000 description 8
- 229910000831 Steel Inorganic materials 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明涉及机器人漂移校正方法、机器人、存储介质和终端设备,包括:设置与检测相机固定连接的标志图像;在初始时刻和校正时刻,分别获取机器人本体在同一姿态下关于标志图像的第一标志点集合和第二标志点集合;对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合;分别计算第一序列标志点集合的第一质心和第二序列标志点集合的第二质心,以及二者的协方差矩阵;对协方差矩阵进行奇异值分解;根据第一质心、第二质心和奇异值分解结果,确定补偿变换矩阵;根据补偿变换矩阵,补偿检测相机的相机外参,以校正机器人的漂移。其校正精度更高,使得检测相机的测量数据更精确。
Description
技术领域
本发明涉及机器人的控制领域,特别是涉及一种机器人漂移校正方法、机器人、存储介质和终端设备。
背景技术
当前对机器人长时间运动后产生定位漂移问题进行补偿的技术方案,往往通过操控机器人运行预定轨迹来多次测量特定标定参考物的方法来进行,其中所产生的测量结果与理论预计结果的偏差可视为由机器人长时间运动后产生的形变或偏移造成的,因此可通过联立测量偏差和机器人运动参数的方式求解补偿参数实现运动漂移的校正,或者完整记录一次以机器人从运行开始为初始状态到热稳定状态下的外参偏移变化历史作为参考,并在后续运行中通过特定标志参考物或特征参数推算当前机器人状态以获取偏移变化历史中对应的与初始状态的外参偏差参数进行校正。
但是,现有技术的机器人运动漂移校正方法,依靠标定参考物进行机器人自身运动参数校正的方法需要通过机器人位姿定位参数和相机与机器人间的手眼标定参数联合进行推算,过程中包含多种复合影响因素导致的误差,因此获取的校正结果并不能准确代表机器人实际运动参数,通过历史变化记录的方法需提供查询索引,多为特征参数或特殊参考物提供的特定结果,但索引本身无法准确复现,且无法准确还原历史记录中的机器人运动状态,仅提供相近效果。且两者校正过程和机器人测量过程需分开进行,时间上存在不一致性,同时校正的机器人运动参数或校正的测量位姿只适用于运行校正过程的机器人姿态或限定的机器人测量范围。
因此,如何提供一种更精确的校正方法,是该领域亟待解决的技术问题。
发明内容
为解决上述技术问题,本发明提供一种基于视觉的机器人漂移校正方法,机器人包括:机器人本体和设置在机器人本体上的检测相机,方法包括:
设置与检测相机固定连接的标志图像;在初始时刻和校正时刻,分别获取机器人本体在同一姿态下关于标志图像的第一标志点集合和第二标志点集合;
对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合;
分别计算第一序列标志点集合的第一质心和第二序列标志点集合的第二质心,以及二者的协方差矩阵;
对协方差矩阵进行奇异值分解;根据第一质心、第二质心和奇异值分解结果,确定补偿变换矩阵;
根据补偿变换矩阵,补偿检测相机的相机外参,以校正机器人的漂移。
进一步地,点对点配对,包括:
对第一标志点集合和第二标志点集合中的每个点,确定同一集合中与其欧式距离最近的两个点,将该三个点构成一组空间结构,得到第一标志点集合和第二标志点集合的空间结构集合;
对于空间结构集合中的每组空间结构,计算三个点中,两两点间的欧式距离值,得到三个欧式距离值,作为每组空间结构的特征参数;
根据每组空间的特征参数,对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合。
进一步地,根据每组空间的特征参数,对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合,具体为:
在第一标志点集合和第二标志点集合中搜索配对包含与空间结构特征参数相近特征参数值的三点空间结构组成,并通过连接单个点的两条边的距离值来判定配对正确结构中点对点的对应匹配,获得点对点配对集合,得到配对后的第一序号标志点集合和第二序号标志点集合。
进一步地,得到配对后的第一序号标志点集合和第二序号标志点集合后,还包括:
计算第一序列标志点集合中各点与第二序列标志点集合中对应点的空间欧式距离,若小于设定阈值,则保留第一序列标志点集合中的该点与第二序列标志点集合中的对应点,否则舍弃,得到过滤后的第一序列标志点集合和第二序列标志点集合,作为第一序列标志点集合和第二序列标志点集合。
进一步地,确定补偿矩阵,包括:
采用公式(4),对协方差矩阵H进行SVD奇异值分解,其中U、 VT为左右特征向量,Δ为特征值矩阵;
(4)
计算V⋅UT符号,若为负则把V任意一列改变符号,再计算V⋅UT作为旋转变换R,并根据公式(5)计算平移向量T;其中,Cp为第一质心,Dp为第二质心;
(5)
将R和T合称为补偿变换矩阵。
进一步地,补偿检测相机的相机外参,具体为:将补偿变换矩阵与相机外参统一至相同坐标系下,相乘得到补偿后的相机外参。
进一步地,若相机外参为机器人本体基座标下变换参数,则将补偿变换矩阵通过预先标定的采集模块与机器人本体的变换参数转换至机器人本体坐标系下再与相机外参相乘,得到补偿后的相机外参;
若相机外参为采集模块坐标系下参数,则直接相乘,得到补偿后的相机外参。
另一方面,本发明还提供一种机器人,包括机器人本体、设置在机器人本体上的检测相机和处理器;
处理器,用于控制机器人本体运动至对应位置,启动检测相机检测待测量部件;
检测相机的相机外参,采用上述机器人漂移校正方法来补偿,以校正机器人的漂移。
另一方面,本发明还提供一种计算机存储介质,存储有可执行程序代码;所述可执行程序代码,用于执行上述任意的机器人漂移校正方法。
另一方面,本发明还提供一种终端设备,包括存储器和处理器;所述存储器存储有可被处理器执行的程序代码;所述程序代码用于执行上述任意的机器人漂移校正方法。
本发明提供机器人偏移校正方法、机器人、存储介质和终端设备,首先设置与检测相机固定连接的标志图像,再通过采集模块前后两次时刻——初始时刻和校正时刻,分别采集标志图像的第一标志点集合和第二标志点集合再进行配对,根据二者的变化,计算各自质心、协方差矩阵、对协方差矩阵的奇异值分解结果,而确定补偿变换矩阵,以补偿检测相机的相机外参,其不仅结构简单、流程方便,而且不仅能够校正因机器人本体在工作一段时间后发生漂移的误差,还能够校正因检测相机相对于机器人本体发生相对位置偏移所造成的误差,其校正精度更高,使得检测相机的测量数据更精确。示例的,对于后续钢板中工件的尺寸测量、切割位置抓取位置等位置定位,都更精确。
附图说明
图1为本发明机器人的一个实施例的结构示意图;
图2为本发明机器人漂移校正方法的一个实施例的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,若本发明实施例中有涉及方向性指示,诸如上、下、左、右、前、后……,则该方向性指示仅用于解释在某一特定姿态下,各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。另外,若本发明实施例中有涉及“第一、第二”、“S1、S2”、“步骤一、步骤二”等的描述,则该类描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量或者表明方法的执行顺序等,本领域技术人员可以理解的凡是在发明技术构思下,不违背其发明要点的,都应该列入本发明的保护范围。
如图1 所示,给出一种示例的机器人,包括机器人本体100、设置在机器人本体100上的检测相机200、处理器300;处理器300,控制机器人本体100运动至对应位置,启动检测相机200检测待测量部件,如其表面,得到其各项参数,如钢板切割时某个工件的尺寸、切割位置等,但是不管检测相机200检测何种参数,其根本是定位某点或某几个点的坐标。以检测相机200定位一个点(Xa,Ya,Za)为例,可能由于机器人在运动一段时间后本身发生漂移或检测相机200与机器人本体100的相对位置发生偏移,而导致定位的该点(Xa,Ya,Za)与空间坐标中实际的该点并不一致,需要进行漂移校正。
所以,本发明为解决上述技术问题,提供一种基于视觉的机器人漂移校正方法,该机器人包括:机器人本体100和设置在机器人本体100上的检测相机200;可选但不仅限于应用于上述应用实例中,如图2所示,包括:
F1:设置与检测相机200固定连接的标志图像10;在初始时刻和校正时刻,分别获取机器人本体100在同一姿态下关于标志图像10的第一标志点集合C和第二标志点集合D;
具体的:
该标志图像10的数量、形状、类型可由本领域技术人员任意设定。示例的,该标志图像中,可选但不仅限于包括任意一个或多个圆形、三角形、正方形的一种或多种组合。
初始时刻,可选但不仅限于为该机器人刚投入使用或已经经过前次校正而未发生漂移的任意时刻;校正时刻,可选但不仅限于为该机器人按照预设轨迹运行工作一段时刻后的当前时刻。由于其经过一段时间的使用,发生了漂移,所以需要采用本发明的漂移校正方法进行校正。
获取机器人本体100在同一姿态下关于标志图像的第一标志点集合C和第二标志点集合D,可选但不仅限于在机器人运动范围的上方设置采集模块20,采集捕获视野范围内的标志图像,得到初始时刻的标志图像数据和校正时刻的标志图像数据,再进一步的采用现有技术中图像识别定位的任意方式,从初始时刻的标志图像数据中识别得到第一标志点集合C,从校正时刻的标志图像数据中识别得到第二标志点集合D。具体该标志点的识别可采用现有技术的任意方式,本发明的关键在于后续漂移校正。
值得注意的,该标志图像10中可能包括一个或多个标志图,识别得到一个或多个标志点。也就是说,初始时刻识别得到的第一标志点集合C中可能包括多个标志点C1...Cn,n表示标志点的数量;那么第一标志点集合C中每个标志点,可选但不仅限于以三维空间坐标C1(Xc1,Yc1,Zc1)......Cn(Xcn,Ycn,Zcn)表示;同样的,校正时刻识别得到的第二标志点集合D中可能包括多个标志点D1...Dn,n表示标志点的数量;那么第一标志点集合D中每个标志点,可选但不仅限于以三维空间坐标(Xd1,Yd1,Zc1)......(Xdn,Ydn,Zdn)表示。
更值得注意的,该采集模块,可选但不仅限于为单目相机或多目相机等,根据相机数量不同,则初始时刻得到的第一标志点集合中每个元素,可选但不仅限于包括m个元素,m表示相机的数量,以第一标志点集合C中的第一个元素C1为例,可选但不仅限于表示为:C1=(c11,...c1m),那么第n个元素Cn,可选但不仅限于表示为:C1=(cn1,...cnm),cnm表示第m个相机采集的第n个标志点,可选但不仅限于以三维空间坐标(Xcnm,Ycnm,Zcnm)表示;那么同样的,根据每个元素的若干个相机采集的三维空间坐标,如m个相机采集第n个标志点的空间坐标,表示为(Xc1m,Yc1m,Zc1m)......(Xcnm,Ycnm,Zcnm),通过现有技术中多目相机的标志点识别定位方法,识别得到该标志点的空间坐标(Xc1,Yc1,Zc1)。同样的,对于校正时刻,在此不再赘述。
更为具体的,该同一姿态,可为机器人本体100的任意姿态,可以为机器人本体100的初始姿态,即未发生动作的姿态;也可为其按照一定指令发生一段位移、转动一定角度的任意姿态,只要保证在初始时刻和校正时刻,其是位于相同的同一姿态即可。
值得注意的,由于该第一标志点集合C和第二标志点集合D,是机器人本体100在其同一姿态下的两个时刻获得的,从理论角度讲,如果机器人本体在初始时刻和校正时间,这段时间内并未发生偏移,而且检测相机200相对于机器人本体100也没有发生任何位置上的偏移,那么初始时刻采集的第一标志点集合C和校正时刻采集的第二标志点集合D,即各标志点的空间坐标应该是相同的,但是由于机器人本身的漂移、检测相机相对于机器人的位置偏移,导致该第一标志点集合和第二标志点集合,并不一致,需要对此进行偏移校正,也就是本发明机器人偏移校正方法需要解决的技术问题。
F2:对第一标志点集合C和第二标志点集合D进行点对点配对,得到配对后的第一序号标志点集合C’和第二序号标志点集合D’;
值得注意的,若步骤F1中设置的标志图像中,仅包括1个标志图,如一个圆形,则后续仅能识别得到一个标志点,也就是说第一标志点集合C和第二标志点集合D中都只有一个标志点,分别为C1和D1,可选但不仅限于分别以三维空间坐标(Xc1,Yc1,Zc1)和(Xd1,Yd1,Zd1)表示,那么在该步骤F2中,即可对第一标志点集合中的(Xc1,Yc1,Zc1)和第二标志点集合中的(Xd1,Yd1,Zd1)进行简单的一对一配对;若标志图像中,包括多个标志图,如几个圆形或者1个圆形+几个其他形状,则后续可识别得到多个标志点,也就是说第一标志点集合C和第二标志点集合D中都有若干个标志点,可选但不仅限于分别以三维空间坐标(Xc1,Yc1,Zc1)...(Xci ,Yci ,Zci )...(Xcn,Ycn,Zcn)和(Xd1,Yd1,Zd1)...(Xdi ,Ydi ,Zdi )...(Xdn,Ydn,Zdn)表示(其中i≤n;n≥2,表示标志点的数量),那么在该步骤F2中,即需要对第一标志点集合中的(Xc1,Yc1,Zc1)...(Xci ,Yci ,Zci )...(Xcn,Ycn,Zcn)和第二标志点集合中的(Xd1,Yd1,Zd1)...(Xdi ,Ydi ,Zdi )...(Xdn,Ydn,Zdn)进行多对多的配对,找到对应相同的标志点;即看:第一标志点集合中的每个点(Xc1,Yc1,Zc1)...(Xci ,Yci ,Zci )...(Xcn,Ycn,Zcn),对应于第二标志点集合D中的哪个点。经过配对排序后,第一标志点集合C和第二标志点集合D,可选但不仅限于表示为:第一序列标志点集合C’和第二序列标志点集合D’。值得注意的,该第一序列标志点集合C’和第二序列标志点集合D’与第一标志点集合C和第二标志点集合D内的内容是一样的,只是顺序有所调整,使得第一序列标志点集合C’中的任意一个标志点与第二序列标志点集合D’中对应位置的标志点是点对点一一配对的。
具体的,若标志图像中包括多个标志图,需要进行多对多的配对时,可选但不仅限于采用下述方式:
F21:对第一标志点集合C和第二标志点集合D中的每个点,即C1(Xc1,Yc1,Zc1)...Ci(Xci ,Yci ,Zci )...Cn(Xcn,Ycn,Zcn);D1(Xd1,Yd1,Zd1)...Di(Xdi ,Ydi ,Zdi )...Dn(Xdn,Ydn,Zdn)中的任意一个点,确定同一集合中与其欧式距离最近的两个点,将该三个点构成一组空间结构,得到第一标志点集合和第二标志点集合的空间结构集合。示例的,假设第一标志点集合C中包括5个标志点:C1(X11,Y11,Z11)、C2(X12,Y12,Z12)、C3(X13,Y13,Z13)、C4(X14,Y14,Z14)、C5(X15,Y15,Z15);以第一个标志点C1(X11,Y11,Z11)为例,确定与其欧式距离最近的两个点,假设为第三个标志点C3(X13,Y13,Z13)和第五个标志点C5(X15,Y15,Z15);则将该三个点C1C3C5,这三个标志点构成一组空间结构;同样的,以第二标志点C2(X12,Y12,Z12)为例,确定与其欧式距离最近的两个点,构成第二组空间结构;依次确定第三、第四、第五个标志点及其对应的该组空间结构;那么对于第一标志点集合C中的五个标志点,则构成五组空间结构;对于第二标志点集合D中的五个标志点,则构成五组空间结构;得到二者的空间结构集合。
F22:对于空间结构集合中的每组空间结构,计算三个点中,两两点间的欧式距离值,得到三个欧式距离值,作为每组空间结构的特征参数;
具体的,三点构成一组空间结构,并进一步计算两两点间空间欧式距离值,并将获取的三个距离值作为一组特征参数,其中空间结构中各点的判定特征由连接点的两条边的距离值组成,由此构成一组空间结构的特征参数Ki。
F23:根据每组空间的特征参数,对第一标志点集合C和第二标志点集合D进行点对点配对,得到配对后的第一序号标志点集合C’和第二序号标志点集合D’。
具体的,在第一标志点集合C和第二标志点集合D中搜索配对包含与空间结构特征参数Ki相近特征参数值的三点空间结构组成,并通过连接单个点的两条边的距离值来判定配对正确结构中点对点的对应匹配,获得点对点配对集合,得到配对后的第一序号标志点集合和第二序号标志点集合。
优选的,步骤F2,还可选但不仅限于包括:
F24:计算第一序列标志点集合C’中各点与第二序列标志点集合D’中对应点的空间欧式距离,若小于设定阈值,则保留第一序列标志点集合C’中的该点与第二序列标志点集合D’中的对应点,否则舍弃,得到过滤后的第一序列标志点集合C’’与第二序列标志点集合D’’;也就是说将两个集合中距离小于设定阈值的点保留,而不小于设定阈值的点删除过滤,已得到更精细化配对的、过滤后的第一序列标志点集合C’’与第二序列标志点集合D’’,以此作为更新的第一序列标志点集合和第二序列标志点集合,后续再使用步骤F3、F4。
F3:分别计算第一序列标志点集合C’(或过滤后的第一序列标志点集合C’’)的第一质心Cp和第二序列标志点集合D’(或过滤后的第二序列标志点集合D’’)的第二质心D p,以及二者的协方差矩阵H;
具体的,可选但不仅限于采用公式(1)、(2)计算第一质心Cp和第二质心D p,采用公式(3)计算二者的协方差矩阵。
(1)
(2)
(3)
F4:对协方差矩阵H进行奇异值分解;根据第一质心、第二质心和奇异值分解结果,确定补偿变换矩阵。
具体的,可选但不仅限于包括:
F41:采用公式(4),对协方差矩阵H进行SVD奇异值分解,其中U、 VT为左右特征向量,Δ为特征值矩阵;
(4)
F42:计算V⋅UT符号,若为负则把V任意一列改变符号,再计算V⋅UT作为旋转变换R,并根据公式(5)计算平移向量T;将R和T合称为补偿变换矩阵E。
(5)
(6)
在该实施例中,步骤F3、F4,给出了如何确定补偿变换矩阵的几个具体实施。在第一实施例中,步骤F3、F4,首先在第一序列标志点集合C’和第二序列标志点集合D’基础上,对协方差矩阵H进行奇异值分解,再计算旋转变换R和平移向量T,得到补偿变换矩阵E,据此可以用于校正机器人的漂移,但是其基于第一标志点集合C和第二标志点集合D进行粗配对后的第一序列标志点集合C’和第二序列标志点集合D’,耗时可能过长。优选的,步骤F3、F4,在粗配对后,进一步的对第一序列标志点集合C’和第二序列标志点集合D’进行联合过滤(F2,优选包括F24),保留空间欧式距离小于设定阈值的点,得到过滤后的第一序列标志点集合C’’与第二序列标志点集合D’’,这是精配对后的标志点集合,在此基础上,进一步执行步骤F3、F4,可得到精配对集合下的补偿变换矩阵E,即过滤后的补偿变换矩阵E,能够进一步提高校正机器人漂移的精度和准确性。
F5:根据补偿变换矩阵,补偿检测相机200的相机外参,以校正机器人的漂移。
具体的,可选但不仅限于由处理器300发出校正指令后,触发完成上述步骤F1-F4,然后机器人本体100在接收到工作开始触发信号后,回传当前与动作姿态和工作状态有关的信息至处理器300,处理器300根据回传信息获取此位姿下检测相机200预先标定的对应的空间位姿相机外参参数,并将上一步F4获取的补偿变换矩阵补偿至此外参参数上,以校正机器人的漂移。
更为具体的,具体方法可选但不仅限于为:将补偿变换矩阵与相机外参统一至相同坐标系下,相乘得到补偿后的相机外参,以校正机器人的偏移。
更为具体的,若相机外参为机器人本体100基座标下变换参数,则需将补偿变换矩阵通过预先标定的采集模块20与机器人本体100的变换参数转换至机器人本体100坐标系下再与相机外参相乘;若相机外参为采集模块20坐标系下参数,则可直接相乘,得到补偿后的相机外参。
此时,若处理器300发出指令,控制检测相机200获取测量数据,如定位某一个点(Xa,Ya,Za),即可通过该补偿后的相机外参,转换检测相机200获取的测量数据至统一坐标系下得到最终测量结果,实现对机器人漂移的校正,避免因机器人本身偏移、检测相机200与机器人本体发生相对位置的偏移,而造成检测结果不精准的问题。
在该实施例中,给出了本发明基于视觉的机器人偏移校正方法,首先设置与检测相机200固定连接的标志图像10,再通过采集模块前后两次时刻——初始时刻和校正时刻,分别采集标志图像10的第一标志点集合C和第二标志点集合D,根据二者的变化,计算各自质心、协方差矩阵、对协方差矩阵的奇异值分解结果,而确定补偿变换矩阵,以补偿检测相机200的相机外参,其不仅结构简单、流程方便,而且不仅能够校正因机器人本体在工作一段时间后发生漂移的误差,还能够校正因检测相机200相对于机器人本体100发生相对位置偏移所造成的误差,其校正精度更高,使得检测相机200的测量数据更精确。示例的,对于后续钢板中工件的尺寸测量、切割位置抓取位置等位置定位,都更精确。
另一方面,本发明还提供一种计算机存储介质,存储有可执行程序代码;所述可执行程序代码,用于执行上述任意的机器人漂移校正方法。
另一方面,本发明还提供一种终端设备,包括存储器和处理器;所述存储器存储有可被处理器执行的程序代码;所述程序代码用于执行上述任意的机器人漂移校正方法。
示例性的,所述程序代码可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述程序代码在终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是终端设备的内部存储单元,例如硬盘或内存。所述存储器也可以是终端设备的外部存储设备,例如终端设备上配备的插接式硬盘,智能存储卡(SmartMedia Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述程序代码以及终端设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
上述机器人、计算机存储介质和终端设备基于上述机器人漂移校正方法而创造,其技术作用和有益效果在此不再赘述,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本发明的有益效果:
1、与现有技术方案中需要通过移动机器人测量标定参考物来推算机器人本身运动误差参数进行末端位姿校正相比,本发明中直接通过视觉识别检测与机器人末端呈刚性固定关系的标志图像,以抓取其空间结构特征,进一步估计运动漂移变换的方法,避免了现有技术中通过末端传感器测量的方法引入的其它环境误差和手眼标定误差的影响,同时也避免了运动误差参数无法完全反映复合漂移运动误差的缺点,更精确地反映了实际的机器人末端漂移变动,使得测量补偿更为直接和贴合实际。
2、与现有技术方案中需要通过与实际测量过程不同的特定测量校正流程来解算机器人运动漂移误差,然后才能将解算结果应用至测量结果上相比,本发明提出的方法可实现在实际测量的同一时间内进行运动漂移变动的解算并将之补偿至同一时间下进行的测量流程中,时间上可视为同时进行,达到了测量时的运动漂移误差与解算的运动漂移误差完全一致的效果,准确反映漂移误差的同时也缩短了整个运行流程的时间,提高了测量效率。
3、与现有技术方案中通过单点多姿态测量来推算机器人运动参数误差实现末端运动漂移误差补偿,再通过手眼标定关系转换测量结果的方法相比,本发明提出的方法涵盖了多点构成的空间结构特征检测识别,对于与机器人末端呈刚性固定关系的扫描相机实现了针对其本身位姿的平移误差和旋转偏转两种误差形式的独立计算与应用,并避免了机器人运动模型和手眼标定误差耦合后带来的在两种误差上的影响。
4、与现有技术方案中针对一个位置固定不动的标定参考物进行机器人运动参数推算的方法相比,本发明提出的方法支持机器人末端可触及不同测量区域的运动漂移误差校正,现有的技术方案受限于机器人本身的运动误差为非线性误差,也即不同测量范围内机器人的实际运动并不能完全由一种运动参数准确反映,本发明提出的方法避免了使用机器人运动参数来推算末端位姿的形式,因此实现了在机器人末端可触及的不同测量范围内都可准确地反映机器人末端运动漂移误差,实现准确的测量补偿。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于视觉的机器人漂移校正方法,机器人包括:机器人本体和设置在机器人本体上的检测相机,其特征在于,包括:
设置与检测相机固定连接的标志图像;在初始时刻和校正时刻,分别获取机器人本体在同一姿态下关于标志图像的第一标志点集合和第二标志点集合;
对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合;
分别计算第一序列标志点集合的第一质心和第二序列标志点集合的第二质心,以及二者的协方差矩阵;
对协方差矩阵进行奇异值分解;根据第一质心、第二质心和奇异值分解结果,确定补偿变换矩阵;
根据补偿变换矩阵,补偿检测相机的相机外参,以校正机器人的漂移;
其中,点对点配对,包括:
对第一标志点集合和第二标志点集合中的每个点,确定同一集合中与其欧式距离最近的两个点,将该三个点构成一组空间结构,得到第一标志点集合和第二标志点集合的空间结构集合;
对于空间结构集合中的每组空间结构,计算三个点中,两两点间的欧式距离值,得到三个欧式距离值,作为每组空间结构的特征参数;
根据每组空间的特征参数,对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合。
2.根据权利要求1所述的机器人漂移校正方法,其特征在于,根据每组空间的特征参数,对第一标志点集合和第二标志点集合进行点对点配对,得到配对后的第一序号标志点集合和第二序号标志点集合,具体为:
在第一标志点集合和第二标志点集合中搜索配对包含与空间结构特征参数相近特征参数值的三点空间结构组成,并通过连接单个点的两条边的距离值来判定配对正确结构中点对点的对应匹配,获得点对点配对集合,得到配对后的第一序号标志点集合和第二序号标志点集合。
3.根据权利要求2所述的机器人漂移校正方法,其特征在于,得到配对后的第一序号标志点集合和第二序号标志点集合后,还包括:
计算第一序列标志点集合中各点与第二序列标志点集合中对应点的空间欧式距离,若小于设定阈值,则保留第一序列标志点集合中的该点与第二序列标志点集合中的对应点,否则舍弃,得到过滤后的第一序列标志点集合和第二序列标志点集合,作为第一序列标志点集合和第二序列标志点集合。
4.根据权利要求1所述的机器人漂移校正方法,其特征在于,确定补偿矩阵,包括:
采用公式(4),对协方差矩阵H进行SVD奇异值分解,其中U、 VT为左右特征向量,Δ为特征值矩阵;
(4)
计算V⋅UT符号,若为负则把V任意一列改变符号,再计算V⋅UT作为旋转变换R,并根据公式(5)计算平移向量T;其中,Cp为第一质心,Dp为第二质心;
(5)
将R和T合称为补偿变换矩阵。
5.根据权利要求1-4任意一项所述的机器人漂移校正方法,其特征在于,补偿检测相机的相机外参,具体为:将补偿变换矩阵与相机外参统一至相同坐标系下,相乘得到补偿后的相机外参。
6.根据权利要求5所述的机器人漂移校正方法,其特征在于,若相机外参为机器人本体基座标下变换参数,则将补偿变换矩阵通过预先标定的采集模块与机器人本体的变换参数转换至机器人本体坐标系下再与相机外参相乘,得到补偿后的相机外参;
若相机外参为采集模块坐标系下参数,则直接相乘,得到补偿后的相机外参。
7.一种机器人,其特征在于,包括机器人本体、设置在机器人本体上的检测相机和处理器;
处理器,用于控制机器人本体运动至对应位置,启动检测相机检测待测量部件;
检测相机的相机外参,采用权利要求1-6任意一项所述的机器人漂移校正方法来补偿,以校正机器人的漂移。
8.一种计算机存储介质,其特征在于,存储有可执行程序代码;所述可执行程序代码,用于执行权利要求1-6任意一项所述的机器人漂移校正方法。
9.一种终端设备,其特征在于,包括存储器和处理器;所述存储器存储有可被处理器执行的程序代码;所述程序代码用于执行权利要求1-6任意一项所述的机器人漂移校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311369487.6A CN117124334B (zh) | 2023-10-23 | 2023-10-23 | 机器人漂移校正方法、机器人、存储介质和终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311369487.6A CN117124334B (zh) | 2023-10-23 | 2023-10-23 | 机器人漂移校正方法、机器人、存储介质和终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117124334A CN117124334A (zh) | 2023-11-28 |
CN117124334B true CN117124334B (zh) | 2024-01-23 |
Family
ID=88861301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311369487.6A Active CN117124334B (zh) | 2023-10-23 | 2023-10-23 | 机器人漂移校正方法、机器人、存储介质和终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117124334B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105066884A (zh) * | 2015-09-09 | 2015-11-18 | 大族激光科技产业集团股份有限公司 | 一种机器人末端定位偏差校正方法及系统 |
CN109416841A (zh) * | 2016-07-11 | 2019-03-01 | 台湾骨王生技股份有限公司 | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 |
KR20210022195A (ko) * | 2019-08-19 | 2021-03-03 | 하이윈 테크놀로지스 코포레이션 | 비전 가이드 로봇 암 교정 방법 |
CN112465877A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 |
CN112792814A (zh) * | 2021-01-21 | 2021-05-14 | 珞石(北京)科技有限公司 | 基于视觉标志的机械臂零点标定方法 |
CN114155302A (zh) * | 2021-12-13 | 2022-03-08 | 中国计量大学 | 一种激光视觉扫描系统的标定方法及装置 |
CN114406985A (zh) * | 2021-10-18 | 2022-04-29 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、系统、设备及存储介质 |
CN114559417A (zh) * | 2022-01-28 | 2022-05-31 | 湖南航智科技有限公司 | 一种基于3d视觉的捏合机桨叶自动清理机器人系统 |
CN115139283A (zh) * | 2022-07-18 | 2022-10-04 | 中船重工鹏力(南京)智能装备系统有限公司 | 基于随机标记点阵的机器人手眼标定方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6415190B2 (ja) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
US20220392012A1 (en) * | 2021-06-07 | 2022-12-08 | Alcon Inc. | Optical axis calibration of robotic camera system |
-
2023
- 2023-10-23 CN CN202311369487.6A patent/CN117124334B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105066884A (zh) * | 2015-09-09 | 2015-11-18 | 大族激光科技产业集团股份有限公司 | 一种机器人末端定位偏差校正方法及系统 |
CN109416841A (zh) * | 2016-07-11 | 2019-03-01 | 台湾骨王生技股份有限公司 | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 |
KR20210022195A (ko) * | 2019-08-19 | 2021-03-03 | 하이윈 테크놀로지스 코포레이션 | 비전 가이드 로봇 암 교정 방법 |
CN112465877A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 |
CN112792814A (zh) * | 2021-01-21 | 2021-05-14 | 珞石(北京)科技有限公司 | 基于视觉标志的机械臂零点标定方法 |
CN114406985A (zh) * | 2021-10-18 | 2022-04-29 | 苏州迪凯尔医疗科技有限公司 | 一种目标追踪的机械臂方法、系统、设备及存储介质 |
CN114155302A (zh) * | 2021-12-13 | 2022-03-08 | 中国计量大学 | 一种激光视觉扫描系统的标定方法及装置 |
CN114559417A (zh) * | 2022-01-28 | 2022-05-31 | 湖南航智科技有限公司 | 一种基于3d视觉的捏合机桨叶自动清理机器人系统 |
CN115139283A (zh) * | 2022-07-18 | 2022-10-04 | 中船重工鹏力(南京)智能装备系统有限公司 | 基于随机标记点阵的机器人手眼标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117124334A (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
US6915008B2 (en) | Method and apparatus for multi-nodal, three-dimensional imaging | |
US9858684B2 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
US9928595B2 (en) | Devices, systems, and methods for high-resolution multi-view camera calibration | |
CN108012325A (zh) | 一种基于uwb和双目视觉的导航定位方法 | |
CN113256729B (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
CN103759670A (zh) | 一种基于数字近景摄影的物体三维信息获取方法 | |
US10499038B2 (en) | Method and system for recalibrating sensing devices without familiar targets | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
CN110488838B (zh) | 一种室内自主导航机器人精确重复定位方法 | |
CN111210478A (zh) | 一种无共同视野多相机系统外参标定方法、介质及系统 | |
Chen et al. | A self-recalibration method based on scale-invariant registration for structured light measurement systems | |
CN114972532B (zh) | 激光雷达之间的外参标定方法、装置、设备及存储介质 | |
CN111179351B (zh) | 一种参数标定方法及其装置、处理设备 | |
CN111538029A (zh) | 一种视觉与雷达融合的测量方法及终端 | |
CN113409396A (zh) | 一种adas单目相机的标定方法 | |
CN113643380A (zh) | 一种基于单目相机视觉标靶定位的机械臂引导方法 | |
CN116188591A (zh) | 多相机全局标定方法及装置、电子设备 | |
CN114332247A (zh) | 多目视觉测量的标定方法及装置、存储介质和摄像设备 | |
CN114777768A (zh) | 一种卫星拒止环境高精度定位方法、系统及电子设备 | |
CN113822920A (zh) | 结构光相机获取深度信息的方法、电子设备及存储介质 | |
CN117124334B (zh) | 机器人漂移校正方法、机器人、存储介质和终端设备 | |
WO2020215296A1 (zh) | 可移动平台的巡线控制方法、设备、可移动平台及系统 | |
CN114092564B (zh) | 无重叠视域多相机系统的外参数标定方法、系统、终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |