CN110076780A - 基于视觉和力反馈位姿调节的机器人装配方法及系统 - Google Patents

基于视觉和力反馈位姿调节的机器人装配方法及系统 Download PDF

Info

Publication number
CN110076780A
CN110076780A CN201910464449.6A CN201910464449A CN110076780A CN 110076780 A CN110076780 A CN 110076780A CN 201910464449 A CN201910464449 A CN 201910464449A CN 110076780 A CN110076780 A CN 110076780A
Authority
CN
China
Prior art keywords
shaft hole
assembled
hole workpiece
workpiece
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910464449.6A
Other languages
English (en)
Other versions
CN110076780B (zh
Inventor
苏建华
尹雷
陈斌
乔红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910464449.6A priority Critical patent/CN110076780B/zh
Publication of CN110076780A publication Critical patent/CN110076780A/zh
Application granted granted Critical
Publication of CN110076780B publication Critical patent/CN110076780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1638—Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)

Abstract

本发明涉及一种基于视觉和力反馈位姿调节的机器人装配方法及系统，所述装配方法包括：基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；通过机械手爪对待装配轴孔工件进行在线抓取，并确定待装配轴孔工件的当前位姿和状态；基于环境约束空间以及待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；比较当前移动距离与设定阈值的大小，如果大于设定阈值，则根据当前移动距离，对待装配轴孔工件进行轴孔装配，否则重新抓取，直至当前移动距离大于设定阈值。本发明根据环境约束空间以及待装配轴孔工件的当前位姿，可准确确定轴孔装配状态，从而可提高智能协调性，实现装配的实时性和可靠性。

Description

基于视觉和力反馈位姿调节的机器人装配方法及系统
技术领域
本发明涉及机器人智能控制技术领域，特别涉及一种基于视觉和力反馈位姿调节的机器人装配方法及系统。
背景技术
机器人飞速发展的今天，工业机器人在制造业中的应用也越来越广泛。如汽车及汽车零部件制造、机械加工、电子电气生产、橡胶及塑料制造、食品加工、木材与家具制造等领域的自动化生产过程中，机器人作业发挥着重要作用。
机器人对工业零件的抓取是制造业的自动化生产中一项常见的任务。目前，视觉引导与定位技术已经成为工业机器人获得作业周围环境信息的主要手段，但是在工业中，基于视觉引导的机器人抓取已经相对成熟，但抓取物体后进行一系列装配存在着困难，并且实时性和可靠性不能保证，智能协调性比较差。
发明内容
为了解决现有技术中的上述问题，即为了提高智能协调性，本发明提供一种基于视觉和力反馈位姿调节的机器人装配方法及系统。
为实现上述目的，本发明提供了如下方案：
一种基于视觉和力反馈位姿调节的机器人装配方法，所述装配方法包括：
步骤S1：基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；
步骤S2：通过机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；
步骤S3：基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；
步骤S4：比较所述当前移动距离与设定阈值的大小，如果大于设定阈值，则执行步骤S5；否则重复步骤S2-S4，直至所述当前移动距离大于设定阈值；
步骤S5：根据所述当前移动距离，对待装配轴孔工件进行轴孔装配。
可选的，所述环境约束空间满足以下条件：
(a)当g(X)＝g(X0)时，X＝X0,当g(X)＞g(X0)时X∈{U-X0}；
(b)关于g(X)函数中X的所有分量具有连续偏导数；
(c)存在dg(X)/dt其中X∈{U-X0}；
其中X代表约束域状态向量，X0表示初始状态向量，U表示状态向量集合；g(X)为吸引函数。
可选的，通过机械手爪对所述待装配轴孔工件进行在线抓取，具体包括：
采集放置在平面上的待装配轴孔工件的单幅图像；
从所述单幅图像中分割并识别出图像边缘特征值；
根据所述图像边缘特征值制作待装配轴孔工件模板；
提取所述单幅图像的状态信息；
将所述状态信息与模板进行匹配，以实现对所述待装配轴孔工件的抓取。
可选的，所述基于所述环境约束空间，确定待装配轴孔工件沿倾斜部分的移动距离，具体包括：
根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、x轴旋转自由度θy，确定吸引函数z＝g(Sp)＝g(xp,yp,θx,θy)；其中z是Op与坐标原点O之间的距离，(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间；
根据以下公式，计算待装配轴孔工件与沿倾斜部分的移动距离：
其中(OOh)x是沿X轴的平移，(OOh)y是沿y轴的平移，(OOh)z是沿z轴的平移，Rh是待装配轴孔工件的半径，Rp是待装配轴孔工件的半径，α表示沿X轴平移和沿Y轴平移后，零件中心相对孔中心的角度变化量。
可选的，所述支撑坐标系为XYZ坐标系建立在支架的孔中心上，P坐标系固定在待装配轴孔工件上，Op为对象端面的中心，OpZp是沿待装配轴孔工件的轴线向上，OpYp是平行于OY待装配轴孔工件端面上的投影，并且OpXp垂直于OpZp与OpYp。
可选的，所述装配方法还包括：
在对待装配轴孔工件进行轴孔装配的过程中，在所述待装配轴孔工件与支撑件平面接触后，通过力传感器测量Y方向力FY和Z方向力FZ；
根据所述Y方向力FY和Z方向力FZ确定当前待装配轴孔工件在支撑件平面内所处于的位姿；
根据所述位姿调整所述待装配轴孔工件的状态，使所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内。
可选的，所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内分为三种状态：一点接触状态、二点接触状态及三点接触状态。
为实现上述目的，本发明还提供了如下方案：
一种基于视觉和力反馈位姿调节的机器人装配系统，所述装配系统包括：
建立单元，用于基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；
抓取单元，用于通过机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；
确定单元，用于基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；
比较单元，用于比较所述当前移动距离与设定阈值的大小；
装配单元，与所述比较单元连接，用于在所述比较单元的比较结果为所述当前移动距离大于设定阈值时，根据所述当前移动距离，对待装配轴孔工件进行轴孔装配；
所述抓取单元与比较单元连接，所述抓取单元还用于在所述比较单元的比较结果为所述当前移动距离小于设定阈值时，重新进行在线抓取。
可选的，所述抓取单元包括：
采集模块，用于采集放置在平面上的待装配轴孔工件的单幅图像；
分割模块，用于从所述单幅图像中分割并识别出图像边缘特征值；
制作模块，用于根据所述图像边缘特征值制作待装配轴孔工件模板；
提取模块，用于提取所述单幅图像的状态信息；
匹配模块，用于将所述状态信息与模板进行匹配，以实现对所述待装配轴孔工件的抓取；
确定模块，用于在抓取的过程中，确定所述待装配轴孔工件的当前位姿和状态。
为实现上述目的，本发明还提供了如下方案：
一种基于视觉和力反馈位姿调节的机器人装配系统，其特征在于，所述装配系统包括：
机械手爪以及与所述机械手爪连接的远程计算机；
所述远程计算机用于基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；控制机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；比较所述当前移动距离与设定阈值的大小，如果大于设定阈值，则根据所述当前移动距离，控制机械手爪对待装配轴孔工件进行轴孔装配；否则控制机械手爪重新进行抓取。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明基于视觉和力反馈位姿调节的机器人装配方法基于待装配轴孔工件和机械手爪的形状建立环境约束空间；并通过视觉信息确定待装配轴孔工件的当前位姿，进而可根据环境约束空间以及待装配轴孔工件的当前位姿，可准确确定轴孔装配状态，从而可提高智能协调性，实现装配的实时性和可靠性。
附图说明
图1是本发明基于视觉和力反馈位姿调节的机器人装配方法的流程图；
图2(a)是机械手爪的细节图；
图2(b)是机械手爪的整体图；
图3(a)是支撑坐标系；
图3(b)是P坐标系；
图4(a)是轴接触支撑面力反馈分析图一；
图4(b)是轴接触支撑面力反馈分析图二；
图5是环境约束空间的曲面图；
图6是轴孔装配过程中运动状态图一；
图7是轴孔装配过程中运动状态图二；
图8是轴孔装配过程中运动状态图三；
图9是轴孔装配过程中运动状态图四；
图10是轴孔装配完成图；
图11是本发明基于视觉和力反馈位姿调节的机器人装配系统的模块结构示意图。
符号说明：
建立单元—1，抓取单元—2，确定单元—3，比较单元—4，装配单元—5。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提供一种基于视觉和力反馈位姿调节的机器人装配方法，基于待装配轴孔工件和机械手爪的形状建立环境约束空间；并通过视觉信息确定待装配轴孔工件的当前位姿，进而可根据环境约束空间以及待装配轴孔工件的当前位姿，可准确确定轴孔装配状态，从而可提高智能协调性，实现装配的实时性和可靠性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明基于视觉和力反馈位姿调节的机器人装配方法包括：
步骤100：基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；
步骤200：通过机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；
步骤300：基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；
步骤400：比较所述当前移动距离与设定阈值的大小，如果大于设定阈值，则执行步骤500；否则重复步骤200-步骤400，直至所述当前移动距离大于设定阈值；
步骤500：根据所述当前移动距离，对待装配轴孔工件进行轴孔装配。
机器人开始以小角度倾斜零件，并保持零件的上圆在孔内的投影。在这种情况下，零件应该至少接触一个孔。然后，机器人沿着X和Y方向移动零件。同时使零件向下移动直到其运动被孔阻止。在这种情况下，物体应该至少接触两点。此外，机器人绕X轴和Y轴旋转，同时使其向下运动，直到其运动被孔阻止。旋转会使零件在三点接触孔。重复旋转和向下运动将消除部分的俯仰、横摇和偏航角的不确定性。重复沿X、Y轴和Z轴的移动将消除零件位置的不确定性。需要注意的是，该零件并不完全受夹持器的销约束，因此，该零件的姿态不确定性将被吸引区域的被动力消除，使零件可以由吸引域外部转移到吸引域内部，再通过传统的一点、两点、三点接触完成轴孔装配任务。
具体地，在步骤100中，所述环境约束空间(如图5所示)满足以下条件：
(a)当g(X)＞g(X0)时，X＝X0,当g(X)＞g(X0)时X∈{U-X0}；
(b)关于g(X)函数中X的所有分量具有连续偏导数；
(c)存在dg(X)/dt其中X∈{U-X0}；
其中X代表约束域状态向量，X0表示初始状态向量，U表示状态向量集合；g(X)为吸引函数。
在步骤200中，通过机械手爪对所述待装配轴孔工件进行在线抓取，具体包括：
步骤201：采集放置在平面上的待装配轴孔工件的单幅图像；
步骤202：从所述单幅图像中分割并识别出图像边缘特征值；
步骤203：根据所述图像边缘特征值制作待装配轴孔工件模板；
步骤204：提取所述单幅图像的状态信息；
步骤205：将所述状态信息与模板进行匹配，以实现对所述待装配轴孔工件的抓取。
在步骤300中，所述基于所述环境约束空间，确定待装配轴孔工件沿倾斜部分的移动距离，具体包括：
步骤301：根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、x轴旋转自由度θy，确定吸引函数z＝g(Sp)＝g(xp,yp,θx,θy)；其中z是Op与坐标原点O之间的距离，(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间；
步骤302：根据公式(1)，计算待装配轴孔工件与沿倾斜部分的移动距离：
其中(OOh)x是沿X轴的平移，(OOh)y是沿y轴的平移，(OOh)z是沿z轴的平移，Rh是待装配轴孔工件的半径，Rp是待装配轴孔工件的半径，α表示沿X轴平移和沿Y轴平移后，零件中心相对孔中心的角度变化量。
其中，所述支撑坐标系为XYZ坐标系建立在支架的孔中心上(如图3(a)所示)，P坐标系固定在待装配轴孔工件上，Op为对象端面的中心，OpZp是沿待装配轴孔工件的轴线向上，OpYp是平行于OY待装配轴孔工件端面上的投影，并且OpXp垂直于OpZp与OpYp(如图3(b)所示)。
优选地，本发明基于视觉和力反馈位姿调节的机器人装配方法还包括：
步骤500：在对待装配轴孔工件进行轴孔装配的过程中，在所述待装配轴孔工件与支撑件平面接触后，通过力传感器测量Y方向力FY和Z方向力FZ；
步骤600：根据所述Y方向力FY和Z方向力FZ确定当前待装配轴孔工件在支撑件平面内所处于的位姿；
步骤700：根据所述位姿调整所述待装配轴孔工件的状态，使所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内。
具体地，待装配轴孔工件沿X、Y、Z轴方向固定移动(θx，θy，θz)与平面上的点完成一点接触(如图4(a)所示)，此时待装配轴孔工件部分接触支架的平面，但不接触孔。在这种情况下，机器人在零件上施加两个力，其中一个力保持物体与平面接触，另一个力推动物体朝Y方向运动。也就是说，力传感器在Y和Z方向上测量的力数据分别是FY和FZ。力与物体的方向之间的关系可以写成：
其中FN是支撑力，μ1是零件与支撑件平面之间的摩擦系数，θ是Fz与平面b之间的角度。
在待装配轴孔工件与平面接触后，需要通过力传感器在Y和Z方向上测量的力数据FY和FZ来反馈待装配轴孔工件在平面所处于的位姿，从而进一步通过迭代反馈直至待装配轴孔工件到达轴孔的环境吸引区域。如图4(b)所示，所述待装配轴孔工件处于环境吸引区域与支撑件的孔一点接触的状态。其中部分根据接触力的方向移动。力传感器在Y方向和Z方向上测得的力数据分别为FY和FZ。如果施加向下的力，FY应明显增加，但FZ的变化不明显。力与零件的方向之间的关系可以写成：
FY＝FN,FZ＝-μ2FN 公式(3)；
其中FY是支撑力，是零件与孔之间的摩擦系数，θ是Fz与平面之间的角度。注意，由于孔内壁光滑，系数很小。
通过力反馈将所述待装配轴孔工件的状态从环境吸引区域外部转移到环境吸引区域。图6-图10所示为待装配轴孔工件通过力反馈沿X方向和Y方向固定移动(θx，θy)到吸引区域的3种状态，分别为：一点接触状态(如图6中(a)和(b)部分所示)、两点接触状态(如图7中(a)和(b)部分所示)、三点接触状态(如图8中(a)和(b)部分所示)。
当待装配轴孔工件沿X方向和Y方向固定移动(θx，θy)，零件与孔之间的接触状态应从一点过渡到两点，直到孔阻止零件沿-Z轴的运动为止。换言之，对象的状态接近吸引区域的最小值。接下来，围绕X和Y轴旋转部分，并重复图4(a)和图4(b)中的步骤。旋转会使零件从一个三点接触状态变成另一个三点接触状态，进行运动状态的调整(如图9中(a)和(b)部分所示)；最后使待装配轴孔工件插入孔中(如图10中(a)和(b)部分所示)。
本发明的原理：本发明的机器人稳定抓取工件方法是单幅图像的视觉信息与力/位混合控制的融合，由视觉确定工件的位姿，吸引域提供了稳定抓取状态和初始抓取方位，力信息反馈将两者结合起来从而完成快速的三维抓取任务。
相对于现有技术，本发明具有如下的优点及效果：
1、在构建环境约束空间阶段，针对平面上三维轴孔零件的各种稳定初始状态建立手爪与轴孔静态接触的环境约束空间，并建立了环境约束空间稳定的条件区间和轴孔坐标系，确定了轴孔零件在初始状态下对应的稳定抓取点。而在抓取阶段，通过单幅图像定位物体，然后利用抓取阶段找到该初始状态下对应的稳定抓取目标点，实现快速稳定抓取，执行效率高。最后利用力反馈位姿调节阶段引导零件从吸引域外转移到吸引域内部，在环境吸引域内进行一点、两点、三点接触和状态调节完成轴孔装配。
2、本发明基于视觉和力反馈位姿调节的机器人装配方法有效指导机器人精密装配操作，满足了精密装配的实时性和可靠性要求，为工业精密装配提供了很好的操作基础。
此外，本发明还提供一种基于视觉和力反馈位姿调节的机器人装配系统。如图11所示，本发明基于视觉和力反馈位姿调节的机器人装配系统包括建立单元1、抓取单元2、确定单元3、比较单元4及装配单元5。
所述建立单元1用于基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间。
所述抓取单元2用于通过机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态。
所述确定单元3用于基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；
所述比较单元4用于比较所述当前移动距离与设定阈值的大小。
所述装配单元5与所述比较单元4连接，所述装配单元5用于在所述比较单元4的比较结果为所述当前移动距离大于设定阈值时，根据所述当前移动距离，对待装配轴孔工件进行轴孔装配。
所述抓取单元2还与比较单元4连接，所述抓取单元2还用于在所述比较单元4的比较结果为所述当前移动距离小于设定阈值时，重新进行在线抓取。
优选地，所述抓取单元2包括采集模块、分割模块、制作模块、提取模块、匹配模块及确定模块。
所述采集模块用于采集放置在平面上的待装配轴孔工件的单幅图像；
所述分割模块用于从所述单幅图像中分割并识别出图像边缘特征值；
所述制作模块用于根据所述图像边缘特征值制作待装配轴孔工件模板；
所述提取模块用于提取所述单幅图像的状态信息；
所述匹配模块用于将所述状态信息与模板进行匹配，以实现对所述待装配轴孔工件的抓取；
所述确定模块用于在抓取的过程中，确定所述待装配轴孔工件的当前位姿和状态。
本发明还提供另一种基于视觉和力反馈位姿调节的机器人装配系统结构。具体地，本发明基于视觉和力反馈位姿调节的机器人装配系统包括：机械手爪以及与所述机械手爪连接的远程计算机。
所述远程计算机用于基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；控制机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；比较所述当前移动距离与设定阈值的大小，如果大于设定阈值，则根据所述当前移动距离，控制机械手爪对待装配轴孔工件进行轴孔装配；否则控制机械手爪重新进行抓取。
优选地，本发明基于视觉和力反馈位姿调节的机器人装配系统还包括图像采集装置，所述图像采集装置与所述远程计算机连接。在本实施例中，所述图像采集装置为摄像头。
进一步地，本发明基于视觉和力反馈位姿调节的机器人装配系统还包括机器人本体，所述机械手爪及所述图像采集装置固定在所述机器人本体第六轴末端。
相对于现有技术，本发明基于视觉和力反馈位姿调节的机器人装配系统与上述基于视觉和力反馈位姿调节的机器人装配方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，所述装配方法包括：
步骤S1：基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；
步骤S2：通过机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；
步骤S3：基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；
步骤S4：比较所述当前移动距离与设定阈值的大小，如果大于设定阈值，则执行步骤S5；否则重复步骤S2-S4，直至所述当前移动距离大于设定阈值；
步骤S5：根据所述当前移动距离，对待装配轴孔工件进行轴孔装配。
2.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，所述环境约束空间满足以下条件：
(a)当g(X)＝g(X0)时，X＝X0,当g(X)＞g(X0)时X∈{U-X0}；
(b)关于g(X)函数中X的所有分量具有连续偏导数；
(c)存在dg(X)/dt其中X∈{U-X0}；
其中X代表约束域状态向量，X0表示初始状态向量，U表示状态向量集合；g(X)为吸引函数。
3.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，通过机械手爪对所述待装配轴孔工件进行在线抓取，具体包括：
采集放置在平面上的待装配轴孔工件的单幅图像；
从所述单幅图像中分割并识别出图像边缘特征值；
根据所述图像边缘特征值制作待装配轴孔工件模板；
提取所述单幅图像的状态信息；
将所述状态信息与模板进行匹配，以实现对所述待装配轴孔工件的抓取。
4.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，所述基于所述环境约束空间，确定待装配轴孔工件沿倾斜部分的移动距离，具体包括：
根据装配过程中的待装配轴孔工件坐标系和支撑坐标系确定待装配轴孔工件支撑系统Sp的x轴方向自由度xp、y轴方向自由度yp、z轴方向自由度zp、x轴旋转自由度θx、x轴旋转自由度θy，确定吸引函数z＝g(Sp)＝g(xp,yp,θx,θy)；其中z是Op与坐标原点O之间的距离，(Sp,z)为待装配轴孔工件与支撑系统的环境约束空间；
根据以下公式，计算待装配轴孔工件与沿倾斜部分的移动距离：
[0001]其中(OOh)x是沿X轴的平移，(OOh)y是沿y轴的平移，(OOh)z是沿z轴的平移，Rh是待装配轴孔工件的半径，Rp是待装配轴孔工件的半径，沿X轴的平移距离，α表示沿X轴平移和沿Y轴平移后，零件中心相对孔中心的角度变化量。
5.根据权利要求4所述的基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，所述支撑坐标系为XYZ坐标系建立在支架的孔中心上，P坐标系固定在待装配轴孔工件上，Op为对象端面的中心，OpZp是沿待装配轴孔工件的轴线向上，OpYp是平行于OY待装配轴孔工件端面上的投影，并且OpXp垂直于OpZp与OpYp。
6.根据权利要求1所述的基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，所述装配方法还包括：
在对待装配轴孔工件进行轴孔装配的过程中，在所述待装配轴孔工件与支撑件平面接触后，通过力传感器测量Y方向力FY和Z方向力FZ；
根据所述Y方向力FY和Z方向力FZ确定当前待装配轴孔工件在支撑件平面内所处于的位姿；
根据所述位姿调整所述待装配轴孔工件的状态，使所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内。
7.根据权利要求6所述的基于视觉和力反馈位姿调节的机器人装配方法，其特征在于，所述待装配轴孔工件从环境约束空间外部转移到环境约束空间内分为三种状态：一点接触状态、二点接触状态及三点接触状态。
8.一种基于视觉和力反馈位姿调节的机器人装配系统，其特征在于，所述装配系统包括：
建立单元，用于基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；
抓取单元，用于通过机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；
确定单元，用于基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；
比较单元，用于比较所述当前移动距离与设定阈值的大小；
装配单元，与所述比较单元连接，用于在所述比较单元的比较结果为所述当前移动距离大于设定阈值时，根据所述当前移动距离，对待装配轴孔工件进行轴孔装配；
所述抓取单元与比较单元连接，所述抓取单元还用于在所述比较单元的比较结果为所述当前移动距离小于设定阈值时，重新进行在线抓取。
9.根据权利要求8所述的基于视觉和力反馈位姿调节的机器人装配系统，其特征在于，所述抓取单元包括：
采集模块，用于采集放置在平面上的待装配轴孔工件的单幅图像；
分割模块，用于从所述单幅图像中分割并识别出图像边缘特征值；
制作模块，用于根据所述图像边缘特征值制作待装配轴孔工件模板；
提取模块，用于提取所述单幅图像的状态信息；
匹配模块，用于将所述状态信息与模板进行匹配，以实现对所述待装配轴孔工件的抓取；
确定模块，用于在抓取的过程中，确定所述待装配轴孔工件的当前位姿和状态。
10.一种基于视觉和力反馈位姿调节的机器人装配系统，其特征在于，所述装配系统包括：
机械手爪以及与所述机械手爪连接的远程计算机；
所述远程计算机用于基于待装配轴孔工件和机械手爪的形状，建立手爪与轴孔静态接触的环境约束空间；控制机械手爪对所述待装配轴孔工件进行在线抓取，并确定所述待装配轴孔工件的当前位姿和状态；基于所述环境约束空间，以及所述待装配轴孔工件的当前位姿和状态，确定待装配轴孔工件沿倾斜部分的当前移动距离；比较所述当前移动距离与设定阈值的大小，如果大于设定阈值，则根据所述当前移动距离，控制机械手爪对待装配轴孔工件进行轴孔装配；否则控制机械手爪重新进行抓取。
CN201910464449.6A 2019-05-30 2019-05-30 基于视觉和力反馈位姿调节的机器人装配方法及系统 Active CN110076780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910464449.6A CN110076780B (zh) 2019-05-30 2019-05-30 基于视觉和力反馈位姿调节的机器人装配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464449.6A CN110076780B (zh) 2019-05-30 2019-05-30 基于视觉和力反馈位姿调节的机器人装配方法及系统

Publications (2)

Publication Number Publication Date
CN110076780A true CN110076780A (zh) 2019-08-02
CN110076780B CN110076780B (zh) 2021-04-30

Family

ID=67422732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464449.6A Active CN110076780B (zh) 2019-05-30 2019-05-30 基于视觉和力反馈位姿调节的机器人装配方法及系统

Country Status (1)

Country Link
CN (1) CN110076780B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021030435A (ja) * 2019-08-15 2021-03-01 株式会社日立製作所 孔探索方法及び孔探索装置
CN114178832A (zh) * 2021-11-27 2022-03-15 南京埃斯顿机器人工程有限公司 一种基于视觉的机器人引导装配机器人方法
CN114310978A (zh) * 2020-09-28 2022-04-12 株式会社日立制作所 夹持物插入装置和方法
WO2022087859A1 (en) * 2020-10-28 2022-05-05 Shanghai Flexiv Robotics Technology Co., Ltd. Method for assembling an opreating member and an adapting member by a robot, robot, and controller

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11267932A (ja) * 1999-02-17 1999-10-05 Asmo Co Ltd ウォ―ムの自動組付装置
CN101041220A (zh) * 2006-03-22 2007-09-26 中国科学院自动化研究所 利用低精度机器人实现高精度轴孔装配的方法
CN102218652A (zh) * 2011-05-09 2011-10-19 无锡引域智能机器人有限公司 一种利用机器人的柔顺性实现轴孔装配的装置和方法
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN108161991A (zh) * 2018-01-26 2018-06-15 北京邮电大学 一种基于力反馈的机器人装配自动寻孔方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11267932A (ja) * 1999-02-17 1999-10-05 Asmo Co Ltd ウォ―ムの自動組付装置
CN101041220A (zh) * 2006-03-22 2007-09-26 中国科学院自动化研究所 利用低精度机器人实现高精度轴孔装配的方法
CN102218652A (zh) * 2011-05-09 2011-10-19 无锡引域智能机器人有限公司 一种利用机器人的柔顺性实现轴孔装配的装置和方法
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN108161991A (zh) * 2018-01-26 2018-06-15 北京邮电大学 一种基于力反馈的机器人装配自动寻孔方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021030435A (ja) * 2019-08-15 2021-03-01 株式会社日立製作所 孔探索方法及び孔探索装置
JP7026176B2 (ja) 2019-08-15 2022-02-25 株式会社日立製作所 孔探索方法及び孔探索装置
CN114310978A (zh) * 2020-09-28 2022-04-12 株式会社日立制作所 夹持物插入装置和方法
CN114310978B (zh) * 2020-09-28 2024-02-02 株式会社日立制作所 夹持物插入装置和方法
WO2022087859A1 (en) * 2020-10-28 2022-05-05 Shanghai Flexiv Robotics Technology Co., Ltd. Method for assembling an opreating member and an adapting member by a robot, robot, and controller
US11833666B2 (en) 2020-10-28 2023-12-05 Shanghai Flexiv Robotics Technology Co., Ltd. Method for assembling an operating member and an adapting member by a robot, robot, and controller
CN114178832A (zh) * 2021-11-27 2022-03-15 南京埃斯顿机器人工程有限公司 一种基于视觉的机器人引导装配机器人方法

Also Published As

Publication number Publication date
CN110076780B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN110076780A (zh) 基于视觉和力反馈位姿调节的机器人装配方法及系统
Park et al. Compliance-based robotic peg-in-hole assembly strategy without force feedback
Xie et al. Switching control of image-based visual servoing with laser pointer in robotic manufacturing systems
Nitzan Development of intelligent robots: achievements and issues
US11524410B2 (en) Robotic alignment method for workpiece measuring systems
Ferreira et al. Stereo-based real-time 6-DoF work tool tracking for robot programing by demonstration
CN108422421B (zh) 骨骼肌肉式机器人的肌肉控制和装配方法
US6075924A (en) Intelligent motion surface
Takahashi et al. Passive alignment principle for robotic assembly between a ring and a shaft with extremely narrow clearance
CN107009358A (zh) 一种基于单相机的机器人无序抓取装置及方法
Von Drigalski et al. Team O2AS at the world robot summit 2018: an approach to robotic kitting and assembly tasks using general purpose grippers and tools
Roveda et al. A control framework definition to overcome position/interaction dynamics uncertainties in force-controlled tasks
Zhu et al. Robot performing peg-in-hole operations by learning from human demonstration
Bulej et al. Vision guided parallel robot and its application for automated assembly task
Zhang et al. Vision-guided robotic assembly using uncalibrated vision
Deng et al. Operation planning and closed-loop control of a soft robotic table for simultaneous multiple-object manipulation
JP2015136769A (ja) エンドエフェクタの制御方法
Feddema et al. Feature-based visual servoing of robotic systems
Jain et al. Development of multi micro manipulation system using IPMC micro grippers
Ma et al. Flexible robotic grasping strategy with constrained region in environment
Chu et al. Image-based visual servoing through micropart reflection for the microassembly process
Walck et al. Automatic observation for 3d reconstruction of unknown objects using visual servoing
Lin et al. An odd-form electronic component insertion system based on dual SCARA
Chang et al. An intelligent space for mobile robot navigation with on-line calibrated vision sensors
JP5384122B2 (ja) データ作成方法、部品実装方法、データ作成装置及び部品実装機

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant