CN110076780B - 基于视觉和力反馈位姿调节的机器人装配方法及系统 - Google Patents
基于视觉和力反馈位姿调节的机器人装配方法及系统 Download PDFInfo
- Publication number
- CN110076780B CN110076780B CN201910464449.6A CN201910464449A CN110076780B CN 110076780 B CN110076780 B CN 110076780B CN 201910464449 A CN201910464449 A CN 201910464449A CN 110076780 B CN110076780 B CN 110076780B
- Authority
- CN
- China
- Prior art keywords
- shaft hole
- assembled
- hole workpiece
- workpiece
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003068 static effect Effects 0.000 claims abstract description 14
- 238000013519 translation Methods 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1638—Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Automatic Assembly (AREA)
Abstract
本发明涉及一种基于视觉和力反馈位姿调节的机器人装配方法及系统,所述装配方法包括:基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;通过机械手爪对待装配轴孔工件进行在线抓取,并确定待装配轴孔工件的当前位姿和状态;基于环境约束空间以及待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜部分的当前移动距离;比较当前移动距离与设定阈值的大小,如果大于设定阈值,则根据当前移动距离,对待装配轴孔工件进行轴孔装配,否则重新抓取,直至当前移动距离大于设定阈值。本发明根据环境约束空间以及待装配轴孔工件的当前位姿,可准确确定轴孔装配状态,从而可提高智能协调性,实现装配的实时性和可靠性。
Description
技术领域
本发明涉及机器人智能控制技术领域,特别涉及一种基于视觉和力反馈位姿调节的机器人装配方法及系统。
背景技术
机器人飞速发展的今天,工业机器人在制造业中的应用也越来越广泛。如汽车及汽车零部件制造、机械加工、电子电气生产、橡胶及塑料制造、食品加工、木材与家具制造等领域的自动化生产过程中,机器人作业发挥着重要作用。
机器人对工业零件的抓取是制造业的自动化生产中一项常见的任务。目前,视觉引导与定位技术已经成为工业机器人获得作业周围环境信息的主要手段,但是在工业中,基于视觉引导的机器人抓取已经相对成熟,但抓取物体后进行一系列装配存在着困难,并且实时性和可靠性不能保证,智能协调性比较差。
发明内容
为了解决现有技术中的上述问题,即为了提高智能协调性,本发明提供一种基于视觉和力反馈位姿调节的机器人装配方法及系统。
为实现上述目的,本发明提供了如下方案:
一种基于视觉和力反馈位姿调节的机器人装配方法,所述装配方法包括:
步骤S1:基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;
步骤S2:通过机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;
步骤S3:基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;
步骤S4:比较所述当前移动距离与设定阈值的大小,如果大于设定阈值,则执行步骤S5;否则重复步骤S2-S4,直至所述当前移动距离大于设定阈值;
步骤S5:根据所述当前移动距离,对待装配轴孔工件进行轴孔装配。
可选的,所述环境约束空间满足以下条件:
(a)当g(X)=g(X0)时,X=X0,当g(X)>g(X0)时X∈{U-X0};
(b)关于g(X)函数中X的所有分量具有连续偏导数;
(c)存在dg(X)/dt其中X∈{U-X0};
其中X代表约束域状态向量,X0表示初始状态向量,U表示状态向量集合;g(X)为吸引函数。
可选的,通过机械手爪对所述待装配轴孔工件进行在线抓取,具体包括:
采集放置在平面上的待装配轴孔工件的单幅图像;
从所述单幅图像中分割并识别出图像边缘特征值;
根据所述图像边缘特征值制作待装配轴孔工件模板;
提取所述单幅图像的状态信息;
将所述状态信息与模板进行匹配,以实现对所述待装配轴孔工件的抓取。
可选的,所述基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的移动距离,具体包括:
根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、x轴旋转自由度θy,确定吸引函数z=g(Sp)=g(xp,yp,θx,θy);其中z是Op与坐标原点O之间的距离,Op为对象端面的中心,(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间;
根据以下公式,计算待装配轴孔工件与沿倾斜的待装配轴孔工件的Z轴方向的移动距离:
其中(OOh)X是沿X轴的平移,(OOh)Y是沿Y轴的平移,(OOh)Z是沿Z轴的平移,Rh是待装配轴孔工件的孔半径,Rp是待装配轴孔工件的轴半径,α表示沿X轴平移和沿Y轴平移后,对象端面中心相对孔中心的角度变化量。
可选的,所述支撑坐标系为XYZ坐标系建立在支架的孔中心上,P坐标系固定在待装配轴孔工件上,Op为对象端面的中心,OpZp是沿待装配轴孔工件的轴线向上,OpYp是平行于OY待装配轴孔工件端面上的投影,并且OpXp垂直于OpZp与OpYp。
可选的,所述装配方法还包括:
在对待装配轴孔工件进行轴孔装配的过程中,在所述待装配轴孔工件与支撑件平面接触后,通过力传感器测量Y方向力FY和Z方向力FZ;
根据所述Y方向力FY和Z方向力FZ确定当前待装配轴孔工件在支撑件平面内所处于的位姿;
根据所述位姿调整所述待装配轴孔工件的状态,使所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内。
可选的,所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内分为三种状态:一点接触状态、二点接触状态及三点接触状态。
为实现上述目的,本发明还提供了如下方案:
一种基于视觉和力反馈位姿调节的机器人装配系统,所述装配系统包括:
建立单元,用于基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;
抓取单元,用于通过机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;
确定单元,用于基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;
比较单元,用于比较所述当前移动距离与设定阈值的大小;
装配单元,与所述比较单元连接,用于在所述比较单元的比较结果为所述当前移动距离大于设定阈值时,根据所述当前移动距离,对待装配轴孔工件进行轴孔装配;
所述抓取单元与比较单元连接,所述抓取单元还用于在所述比较单元的比较结果为所述当前移动距离小于设定阈值时,重新进行在线抓取。
可选的,所述抓取单元包括:
采集模块,用于采集放置在平面上的待装配轴孔工件的单幅图像;
分割模块,用于从所述单幅图像中分割并识别出图像边缘特征值;
制作模块,用于根据所述图像边缘特征值制作待装配轴孔工件模板;
提取模块,用于提取所述单幅图像的状态信息;
匹配模块,用于将所述状态信息与模板进行匹配,以实现对所述待装配轴孔工件的抓取;
确定模块,用于在抓取的过程中,确定所述待装配轴孔工件的当前位姿和状态。
为实现上述目的,本发明还提供了如下方案:
一种基于视觉和力反馈位姿调节的机器人装配系统,其特征在于,所述装配系统包括:
机械手爪以及与所述机械手爪连接的远程计算机;
所述远程计算机用于基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;控制机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;比较所述当前移动距离与设定阈值的大小,如果大于设定阈值,则根据所述当前移动距离,控制机械手爪对待装配轴孔工件进行轴孔装配;否则控制机械手爪重新进行抓取。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明基于视觉和力反馈位姿调节的机器人装配方法基于待装配轴孔工件和机械手爪的形状建立环境约束空间;并通过视觉信息确定待装配轴孔工件的当前位姿,进而可根据环境约束空间以及待装配轴孔工件的当前位姿,可准确确定轴孔装配状态,从而可提高智能协调性,实现装配的实时性和可靠性。
附图说明
图1是本发明基于视觉和力反馈位姿调节的机器人装配方法的流程图;
图2(a)是机械手爪的细节图;
图2(b)是机械手爪的整体图;
图3(a)是支撑坐标系;
图3(b)是P坐标系;
图4(a)是轴接触支撑面力反馈分析图一;
图4(b)是轴接触支撑面力反馈分析图二;
图5是环境约束空间的曲面图;
图6是轴孔装配过程中运动状态图一;
图7是轴孔装配过程中运动状态图二;
图8是轴孔装配过程中运动状态图三;
图9是轴孔装配过程中运动状态图四;
图10是轴孔装配完成图;
图11是本发明基于视觉和力反馈位姿调节的机器人装配系统的模块结构示意图。
符号说明:
建立单元—1,抓取单元—2,确定单元—3,比较单元—4,装配单元—5。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明提供一种基于视觉和力反馈位姿调节的机器人装配方法,基于待装配轴孔工件和机械手爪的形状建立环境约束空间;并通过视觉信息确定待装配轴孔工件的当前位姿,进而可根据环境约束空间以及待装配轴孔工件的当前位姿,可准确确定轴孔装配状态,从而可提高智能协调性,实现装配的实时性和可靠性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,本发明基于视觉和力反馈位姿调节的机器人装配方法包括:
步骤100:基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;
步骤200:通过机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;
步骤300:基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;
步骤400:比较所述当前移动距离与设定阈值的大小,如果大于设定阈值,则执行步骤500;否则重复步骤200-步骤400,直至所述当前移动距离大于设定阈值;
步骤500:根据所述当前移动距离,对待装配轴孔工件进行轴孔装配。
机器人开始以小角度倾斜零件,并保持零件的上圆在孔内的投影。在这种情况下,零件应该至少接触一个孔。然后,机器人沿着X和Y方向移动零件。同时使零件向下移动直到其运动被孔阻止。在这种情况下,物体应该至少接触两点。此外,机器人绕X轴和Y轴旋转,同时使其向下运动,直到其运动被孔阻止。旋转会使零件在三点接触孔。重复旋转和向下运动将消除部分的俯仰、横摇和偏航角的不确定性。重复沿X、Y轴和Z轴的移动将消除零件位置的不确定性。需要注意的是,该零件并不完全受夹持器的销约束,因此,该零件的姿态不确定性将被吸引区域的被动力消除,使零件可以由吸引域外部转移到吸引域内部,再通过传统的一点、两点、三点接触完成轴孔装配任务。
具体地,在步骤100中,所述环境约束空间(如图5所示)满足以下条件:
(a)当g(X)=g(X0)时,X=X0,当g(X)>g(X0)时X∈{U-X0};
(b)关于g(X)函数中X的所有分量具有连续偏导数;
(c)存在dg(X)/dt其中X∈{U-X0};
其中X代表约束域状态向量,X0表示初始状态向量,U表示状态向量集合;g(X)为吸引函数。
在步骤200中,通过机械手爪对所述待装配轴孔工件进行在线抓取,具体包括:
步骤201:采集放置在平面上的待装配轴孔工件的单幅图像;
步骤202:从所述单幅图像中分割并识别出图像边缘特征值;
步骤203:根据所述图像边缘特征值制作待装配轴孔工件模板;
步骤204:提取所述单幅图像的状态信息;
步骤205:将所述状态信息与模板进行匹配,以实现对所述待装配轴孔工件的抓取。
在步骤300中,所述基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的移动距离,具体包括:
步骤301:根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、x轴旋转自由度θy,确定吸引函数z=g(Sp)=g(xp,yp,θx,θy);其中z是Op与坐标原点O之间的距离,Op为对象端面的中心,(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间;
步骤302:根据公式(1),计算待装配轴孔工件与沿倾斜的待装配轴孔工件的Z轴方向的移动距离:
其中(OOh)X是沿X轴的平移,(OOh)Y是沿Y轴的平移,(OOh)Z是沿Z轴的平移,Rh是待装配轴孔工件的孔半径,Rp是待装配轴孔工件的轴半径,α表示沿X轴平移和沿Y轴平移后,对象端面中心相对孔中心的角度变化量。
其中,所述支撑坐标系为XYZ坐标系建立在支架的孔中心上(如图3(a)所示),P坐标系固定在待装配轴孔工件上,Op为对象端面的中心,OpZp是沿待装配轴孔工件的轴线向上,OpYp是平行于OY待装配轴孔工件端面上的投影,并且OpXp垂直于OpZp与OpYp(如图3(b)所示)。
优选地,本发明基于视觉和力反馈位姿调节的机器人装配方法还包括:
步骤500:在对待装配轴孔工件进行轴孔装配的过程中,在所述待装配轴孔工件与支撑件平面接触后,通过力传感器测量Y方向力FY和Z方向力FZ;
步骤600:根据所述Y方向力FY和Z方向力FZ确定当前待装配轴孔工件在支撑件平面内所处于的位姿;
步骤700:根据所述位姿调整所述待装配轴孔工件的状态,使所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内。
具体地,待装配轴孔工件沿X、Y、Z轴方向固定移动(θx,θy,θz)与平面上的点完成一点接触(如图4(a)所示),此时待装配轴孔工件部分接触支架的平面,但不接触孔。在这种情况下,机器人在零件上施加两个力,其中一个力保持物体与平面接触,另一个力推动物体朝Y方向运动。也就是说,力传感器在Y和Z方向上测量的力数据分别是FY和FZ。力与物体的方向之间的关系可以写成:
其中FN是支撑力,μ1是零件与支撑件平面之间的摩擦系数,θ是Fz与平面b之间的角度。
在待装配轴孔工件与平面接触后,需要通过力传感器在Y和Z方向上测量的力数据FY和FZ来反馈待装配轴孔工件在平面所处于的位姿,从而进一步通过迭代反馈直至待装配轴孔工件到达轴孔的环境吸引区域。如图4(b)所示,所述待装配轴孔工件处于环境吸引区域与支撑件的孔一点接触的状态。其中部分根据接触力的方向移动。力传感器在Y方向和Z方向上测得的力数据分别为FY和FZ。如果施加向下的力,FY应明显增加,但FZ的变化不明显。力与零件的方向之间的关系可以写成:
FY=FN,FZ=-μ2FN 公式(3);
其中FY是支撑力,是零件与孔之间的摩擦系数,θ是Fz与平面之间的角度。注意,由于孔内壁光滑,系数很小。
通过力反馈将所述待装配轴孔工件的状态从环境吸引区域外部转移到环境吸引区域。图6-图10所示为待装配轴孔工件通过力反馈沿X方向和Y方向固定移动(θx,θy)到吸引区域的3种状态,分别为:一点接触状态(如图6中(a)和(b)部分所示)、两点接触状态(如图7中(a)和(b)部分所示)、三点接触状态(如图8中(a)和(b)部分所示)。
当待装配轴孔工件沿X方向和Y方向固定移动(θx,θy),零件与孔之间的接触状态应从一点过渡到两点,直到孔阻止零件沿-Z轴的运动为止。换言之,对象的状态接近吸引区域的最小值。接下来,围绕X和Y轴旋转部分,并重复图4(a)和图4(b)中的步骤。旋转会使零件从一个三点接触状态变成另一个三点接触状态,进行运动状态的调整(如图9中(a)和(b)部分所示);最后使待装配轴孔工件插入孔中(如图10中(a)和(b)部分所示)。
本发明的原理:本发明的机器人稳定抓取工件方法是单幅图像的视觉信息与力/位混合控制的融合,由视觉确定工件的位姿,吸引域提供了稳定抓取状态和初始抓取方位,力信息反馈将两者结合起来从而完成快速的三维抓取任务。
相对于现有技术,本发明具有如下的优点及效果:
1、在构建环境约束空间阶段,针对平面上三维轴孔零件的各种稳定初始状态建立手爪与轴孔静态接触的环境约束空间,并建立了环境约束空间稳定的条件区间和轴孔坐标系,确定了轴孔零件在初始状态下对应的稳定抓取点。而在抓取阶段,通过单幅图像定位物体,然后利用抓取阶段找到该初始状态下对应的稳定抓取目标点,实现快速稳定抓取,执行效率高。最后利用力反馈位姿调节阶段引导零件从吸引域外转移到吸引域内部,在环境吸引域内进行一点、两点、三点接触和状态调节完成轴孔装配。
2、本发明基于视觉和力反馈位姿调节的机器人装配方法有效指导机器人精密装配操作,满足了精密装配的实时性和可靠性要求,为工业精密装配提供了很好的操作基础。
此外,本发明还提供一种基于视觉和力反馈位姿调节的机器人装配系统。如图11所示,本发明基于视觉和力反馈位姿调节的机器人装配系统包括建立单元1、抓取单元2、确定单元3、比较单元4及装配单元5。
所述建立单元1用于基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间。
所述抓取单元2用于通过机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态。
所述确定单元3用于基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;
所述比较单元4用于比较所述当前移动距离与设定阈值的大小。
所述装配单元5与所述比较单元4连接,所述装配单元5用于在所述比较单元4的比较结果为所述当前移动距离大于设定阈值时,根据所述当前移动距离,对待装配轴孔工件进行轴孔装配。
所述抓取单元2还与比较单元4连接,所述抓取单元2还用于在所述比较单元4的比较结果为所述当前移动距离小于设定阈值时,重新进行在线抓取。
优选地,所述抓取单元2包括采集模块、分割模块、制作模块、提取模块、匹配模块及确定模块。
所述采集模块用于采集放置在平面上的待装配轴孔工件的单幅图像;
所述分割模块用于从所述单幅图像中分割并识别出图像边缘特征值;
所述制作模块用于根据所述图像边缘特征值制作待装配轴孔工件模板;
所述提取模块用于提取所述单幅图像的状态信息;
所述匹配模块用于将所述状态信息与模板进行匹配,以实现对所述待装配轴孔工件的抓取;
所述确定模块用于在抓取的过程中,确定所述待装配轴孔工件的当前位姿和状态。
本发明还提供另一种基于视觉和力反馈位姿调节的机器人装配系统结构。具体地,本发明基于视觉和力反馈位姿调节的机器人装配系统包括:机械手爪以及与所述机械手爪连接的远程计算机。
所述远程计算机用于基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;控制机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;基于所述环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;比较所述当前移动距离与设定阈值的大小,如果大于设定阈值,则根据所述当前移动距离,控制机械手爪对待装配轴孔工件进行轴孔装配;否则控制机械手爪重新进行抓取。
优选地,本发明基于视觉和力反馈位姿调节的机器人装配系统还包括图像采集装置,所述图像采集装置与所述远程计算机连接。在本实施例中,所述图像采集装置为摄像头。
进一步地,本发明基于视觉和力反馈位姿调节的机器人装配系统还包括机器人本体,所述机械手爪及所述图像采集装置固定在所述机器人本体第六轴末端。
相对于现有技术,本发明基于视觉和力反馈位姿调节的机器人装配系统与上述基于视觉和力反馈位姿调节的机器人装配方法的有益效果相同,在此不再赘述。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于视觉和力反馈位姿调节的机器人装配方法,其特征在于,所述装配方法包括:
步骤S1:基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;
步骤S2:通过机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;
步骤S3:基于所述手爪与轴孔静态接触的环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;
所述步骤S3,具体包括:
根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、y 轴旋转自由度θy,确定吸引函数z=g(Sp)=g(xp,yp,θx,θy);其中z是Op与坐标原点O之间的距离,Op为待装配轴孔工件下端面的中心,(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间;
根据以下公式,计算待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的移动距离:
其中(OOh)X是沿X轴的平移,(OOh)Y是沿Y轴的平移,(OOh)Z是沿Z轴的平移,Rh是待装配轴孔工件的孔半径,Rp是待装配轴孔工件的轴半径,α表示沿X轴平移和沿Y轴平移后待装配轴孔工件下端面中心相对孔中心的角度变化量;
所述支撑坐标系为XYZ坐标系建立在支撑件的孔中心上,P坐标系固定在待装配轴孔工件上,Op为待装配轴孔工件下端面的中心,XPYPZP为待装配轴孔工件坐标系,OpZp方向为沿待装配轴孔工件的轴线向上,OpYp方向为平行于OY在待装配轴孔工件端面上的投影,并且OpXp垂直于OpZp与OpYp;
步骤S4:比较所述当前移动距离与设定阈值的大小,如果大于设定阈值,则执行步骤S5;否则重复步骤S2-S4,直至所述当前移动距离大于设定阈值;
步骤S5:根据所述当前移动距离,对待装配轴孔工件进行轴孔装配。
2.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法,其特征在于,所述待装配轴孔工件与支撑系统的环境约束空间满足以下条件:
(a)当g(X)=g(X0)时,X=X0,当g(X)>g(X0)时X∈{U-X0};
(b)关于g(X)函数中X的所有分量具有连续偏导数;
(c)存在dg(X)/dt其中X∈{U-X0};
其中X代表约束域状态向量,X0表示初始状态向量,U表示状态向量集合;g(X)为吸引函数。
3.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法,其特征在于,通过机械手爪对所述待装配轴孔工件进行在线抓取,具体包括:
采集放置在平面上的待装配轴孔工件的单幅图像;
从所述单幅图像中分割并识别出图像边缘特征值;
根据所述图像边缘特征值制作待装配轴孔工件模板;
提取所述单幅图像的状态信息;
将所述状态信息与模板进行匹配,以实现对所述待装配轴孔工件的抓取。
4.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法,其特征在于,所述装配方法还包括:
在对待装配轴孔工件进行轴孔装配的过程中,在所述待装配轴孔工件与支撑件平面接触后,通过力传感器测量Y方向力FY和Z方向力FZ;
根据所述Y方向力FY和Z方向力FZ确定当前待装配轴孔工件在支撑件平面内所处于的位姿;
根据所述位姿调整所述待装配轴孔工件的状态,使所述待装配轴孔工件从待装配轴孔工件与支撑系统的环境约束空间外部转移到待装配轴孔工件与支撑系统的环境约束空间内。
5.根据权利要求4所述的基于视觉和力反馈位姿调节的机器人装配方法,其特征在于,所述待装配轴孔工件从待装配轴孔工件与支撑系统的环境约束空间外部转移到待装配轴孔工件与支撑系统的环境约束空间内分为三种状态:一点接触状态、二点接触状态及三点接触状态。
6.一种基于视觉和力反馈位姿调节的机器人装配系统,其特征在于,所述装配系统包括:
建立单元,用于基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;
抓取单元,用于通过机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;
确定单元,用于基于所述手爪与轴孔静态接触的环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离;
所述确定单元具体包括:
根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、y 轴旋转自由度θy,确定吸引函数z=g(Sp)=g(xp,yp,θx,θy);其中z是Op与坐标原点O之间的距离,Op为待装配轴孔工件下端面的中心,(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间;
根据以下公式,计算待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的移动距离:
其中(OOh)X是沿X轴的平移,(OOh)Y是沿Y轴的平移,(OOh)Z是沿Z轴的平移,Rh是待装配轴孔工件的孔半径,Rp是待装配轴孔工件的轴半径,α表示沿X轴平移和沿Y轴平移后待装配轴孔工件下端面中心相对孔中心的角度变化量;
所述支撑坐标系为XYZ坐标系建立在支撑件的孔中心上,P坐标系固定在待装配轴孔工件上,Op为待装配轴孔工件下端面的中心,XPYPZP为待装配轴孔工件坐标系,OpZp方向沿待装配轴孔工件的轴线向上,OpYp方向为平行于OY在待装配轴孔工件端面上的投影,并且OpXp垂直于OpZp与OpYp;
比较单元,用于比较所述当前移动距离与设定阈值的大小;
装配单元,与所述比较单元连接,用于在所述比较单元的比较结果为所述当前移动距离大于设定阈值时,根据所述当前移动距离,对待装配轴孔工件进行轴孔装配;
所述抓取单元与比较单元连接,所述抓取单元还用于在所述比较单元的比较结果为所述当前移动距离小于设定阈值时,重新进行在线抓取。
7.根据权利要求6所述的基于视觉和力反馈位姿调节的机器人装配系统,其特征在于,所述抓取单元包括:
采集模块,用于采集放置在平面上的待装配轴孔工件的单幅图像;
分割模块,用于从所述单幅图像中分割并识别出图像边缘特征值;
制作模块,用于根据所述图像边缘特征值制作待装配轴孔工件模板;
提取模块,用于提取所述单幅图像的状态信息;
匹配模块,用于将所述状态信息与模板进行匹配,以实现对所述待装配轴孔工件的抓取;
确定模块,用于在抓取的过程中,确定所述待装配轴孔工件的当前位姿和状态。
8.一种基于视觉和力反馈位姿调节的机器人装配系统,其特征在于,所述装配系统包括:
机械手爪以及与所述机械手爪连接的远程计算机;
所述远程计算机用于基于待装配轴孔工件和机械手爪的形状,建立手爪与轴孔静态接触的环境约束空间;
控制机械手爪对所述待装配轴孔工件进行在线抓取,并确定所述待装配轴孔工件的当前位姿和状态;
基于所述手爪与轴孔静态接触的环境约束空间,以及所述待装配轴孔工件的当前位姿和状态,确定待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的当前移动距离,具体包括根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、y 轴旋转自由度θy,确定吸引函数z=g(Sp)=g(xp,yp,θx,θy);其中z是Op与坐标原点O之间的距离,Op为待装配轴孔工件下端面的中心,(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间;
根据以下公式,计算待装配轴孔工件沿倾斜的待装配轴孔工件的Z轴方向的移动距离:
其中(OOh)X是沿X轴的平移,(OOh)Y是沿Y轴的平移,(OOh)Z是沿Z轴的平移,Rh是待装配轴孔工件的孔半径,Rp是待装配轴孔工件的轴半径,α表示沿X轴平移和沿Y轴平移后待装配轴孔工件下端面中心相对孔中心的角度变化量;
所述支撑坐标系为XYZ坐标系建立在支撑件的孔中心上,P坐标系固定在待装配轴孔工件上,Op为待装配轴孔工件下端面的中心,XPYPZP为待装配轴孔工件坐标系,OpZp方向为沿待装配轴孔工件的轴线向上,OpYp方向为平行于OY在待装配轴孔工件端面上的投影,并且OpXp垂直于OpZp与OpYp;
比较所述当前移动距离与设定阈值的大小,如果大于设定阈值,则根据所述当前移动距离,控制机械手爪对待装配轴孔工件进行轴孔装配;否则控制机械手爪重新进行抓取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910464449.6A CN110076780B (zh) | 2019-05-30 | 2019-05-30 | 基于视觉和力反馈位姿调节的机器人装配方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910464449.6A CN110076780B (zh) | 2019-05-30 | 2019-05-30 | 基于视觉和力反馈位姿调节的机器人装配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110076780A CN110076780A (zh) | 2019-08-02 |
CN110076780B true CN110076780B (zh) | 2021-04-30 |
Family
ID=67422732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910464449.6A Active CN110076780B (zh) | 2019-05-30 | 2019-05-30 | 基于视觉和力反馈位姿调节的机器人装配方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110076780B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112388264A (zh) * | 2019-08-15 | 2021-02-23 | 华南理工大学 | 寻孔方法及寻孔装置 |
JP2022054725A (ja) * | 2020-09-28 | 2022-04-07 | 株式会社日立製作所 | 把持物挿入装置及び方法 |
WO2022087859A1 (en) * | 2020-10-28 | 2022-05-05 | Shanghai Flexiv Robotics Technology Co., Ltd. | Method for assembling an opreating member and an adapting member by a robot, robot, and controller |
CN114178832B (zh) * | 2021-11-27 | 2023-03-24 | 南京埃斯顿机器人工程有限公司 | 一种基于视觉的机器人引导装配机器人方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3137104B2 (ja) * | 1999-02-17 | 2001-02-19 | アスモ株式会社 | ウォームの自動組付装置 |
CN101041220B (zh) * | 2006-03-22 | 2012-03-28 | 中国科学院自动化研究所 | 利用低精度机器人实现高精度轴孔装配的方法 |
CN102218652B (zh) * | 2011-05-09 | 2012-11-21 | 无锡引域智能机器人有限公司 | 一种利用机器人的柔顺性实现轴孔装配的装置和方法 |
CN104057290B (zh) * | 2014-06-24 | 2016-09-14 | 中国科学院自动化研究所 | 一种基于视觉和力反馈控制的机器人装配方法与系统 |
CN108161991A (zh) * | 2018-01-26 | 2018-06-15 | 北京邮电大学 | 一种基于力反馈的机器人装配自动寻孔方法 |
-
2019
- 2019-05-30 CN CN201910464449.6A patent/CN110076780B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110076780A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110076780B (zh) | 基于视觉和力反馈位姿调节的机器人装配方法及系统 | |
CN108692688B (zh) | 一种机器人测量-加工系统扫描仪坐标系自动标定方法 | |
CN110238849B (zh) | 机器人手眼标定方法及装置 | |
CN108839027B (zh) | 基于激光测距传感器的机器人自动对准控制方法 | |
CN108818535B (zh) | 机器人3d视觉手眼标定方法 | |
CN113146620B (zh) | 基于双目视觉的双臂协作机器人系统和控制方法 | |
CN107796276B (zh) | 一种估算工业机器人绝对定位精度的装置及方法 | |
JP2002018754A (ja) | ロボット装置及びその制御方法 | |
CN113715016B (zh) | 一种基于3d视觉的机器人抓取方法、系统、装置及介质 | |
CN112060085B (zh) | 一种基于视触多尺度定位的机器人操作位姿控制方法 | |
CN114571153A (zh) | 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法 | |
CN111515928B (zh) | 机械臂运动控制系统 | |
CN205121556U (zh) | 机器人抓取系统 | |
CN111993422A (zh) | 基于无标定视觉的机器人轴孔对准控制方法 | |
CN114770461A (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
CN114012724A (zh) | 一种基于探针的工业机器人坐标系自动标定方法 | |
Zhou et al. | Experimental eye-in-hand calibration for industrial mobile manipulators | |
Kim et al. | Vision-force guided precise robotic assembly for 2.5 D components in a semistructured environment | |
CN112123329A (zh) | 一种机器人3d视觉手眼标定方法 | |
Ren et al. | Robotic micromanipulation for active pin alignment in electronic soldering industry | |
Sultan et al. | Hand-eye 3D pose estimation for a drawing robot | |
WO2022155882A1 (en) | Assembling apparatus, assembling method and computer readable storage medium | |
CN116100562B (zh) | 多机器人协同上下料的视觉引导方法及系统 | |
CN117325173A (zh) | 一种基于视觉伺服的机器人动态抓取方法 | |
Xu et al. | Intelligent Operation of Robot for Handling and Assembly Based on Vision Guidance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |