CN106272416A - 基于力觉和视觉的机器人细长轴精密装配系统及方法 - Google Patents

基于力觉和视觉的机器人细长轴精密装配系统及方法 Download PDF

Info

Publication number
CN106272416A
CN106272416A CN201610757364.3A CN201610757364A CN106272416A CN 106272416 A CN106272416 A CN 106272416A CN 201610757364 A CN201610757364 A CN 201610757364A CN 106272416 A CN106272416 A CN 106272416A
Authority
CN
China
Prior art keywords
robot
power
instrument
hole
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610757364.3A
Other languages
English (en)
Other versions
CN106272416B (zh
Inventor
王贺升
曹瑾
陈卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610757364.3A priority Critical patent/CN106272416B/zh
Publication of CN106272416A publication Critical patent/CN106272416A/zh
Application granted granted Critical
Publication of CN106272416B publication Critical patent/CN106272416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明提供了一种基于力觉和视觉的机器人细长轴精密装配系统及方法,包括工业机器人、上位机系统以及传感器系统;其中,传感器系统,用于获得工业机器人的当前状态、末端受力情况以及装配对象的当前状态、位姿数据;上位机系统,用于获取并根据工业机器人的当前状态、末端受力情况以及装配对象的当前状态、位姿数据生成运动指令,将运动指令发送给执行系统;执行系统包括工业机器人的关节驱动器和关节驱动器的控制柜,用于执行上位机系统发出的运动指令,使工业机器人按照指定的轨迹运动。本发明中在位置控制方向保证机器人末端精确跟踪已知轨迹,在力控制方向实现主动柔顺性,在一段较长的行程中保持较小的接触力和力矩,实现细长轴精密装配。

Description

基于力觉和视觉的机器人细长轴精密装配系统及方法
技术领域
[0001] 本发明涉及工业机器人应用,具体地,涉及一种基于力觉和视觉的机器人细长轴 精密装配系统及方法。
背景技术
[0002] 工业机器人具有通用性好、重复定位精度高等优点,在一些工业自动化领域,如电 子、汽车等行业应用广泛,其中大部分应用都采用机器人示教再现的方法。对于在复杂任务 中,尤其是涉及到机器人与环境或作业对象产生接触的情况下,传统的机器人示教方法无 法满足控制要求,尤其是装配任务。传统的位置控制下,工业机器人与环境或作业对象的微 小偏差可能使装配作业失败,甚至产生较大的接触力造成对设备的损伤。
[0003] 公开号为CN104690551A的专利公开了一种机器人自动化装配的系统,通过多个视 觉传感器和激光测距仪获得装配对象的位姿测量数据,进而进行运动规划,该方法采用非 接触式测量,需要的传感器数目较多,并且视觉传感器对于孔系工件的测量能力有限,不适 用于对接触力要求较为严格的装配作业。公开号为CN104625676A的专利公开了一种轴孔装 配工业机器人系统,仅通过腕力传感器对接触力进行控制,该方法要求机器人和装配平台 的位置精确已知且固定,具有一定的局限性。公开号为CN104057290A的专利公开了一种基 于视觉和力反馈控制的机器人装配系统,该系统利用视觉和力觉进行装配前期的寻孔工 作,没有涉及装配插入过程,在细长轴的精密装配过程中,由于行程较长插入过程不能忽 略。
发明内容
[0004] 针对现有技术中的缺陷,本发明的目的是提供一种基于力觉和视觉的机器人细长 轴精密装配系统及方法。
[0005] 根据本发明提供的基于力觉和视觉的机器人细长轴精密装配系统,包括工业机器 人、上位机系统以及传感器系统;
[0006] 其中,所述传感器系统,用于获得工业机器人的当前状态、末端受力情况以及装配 对象的当前状态、位姿数据;
[0007] 上位机系统,用于获取并根据工业机器人的当前状态、末端受力情况以及装配对 象的当前状态、位姿数据生成运动指令,将所述运动指令发送给执行系统;
[0008] 执行系统包括工业机器人的关节驱动器和关节驱动器的控制柜,用于执行上位机 系统发出的运动指令,使工业机器人按照指定的轨迹运动。
[0009] 优选地,还包括轴系工具和孔系工件;
[0010] 所述传感器系统包括位置传感器、力觉传感器和视觉传感器;
[0011]所述工业机器人采用标准六轴工业机器人,其末端能够运动到工作范围内笛卡尔 空间中的任意位置和姿态;
[0012 ]所述上位机采用带有采集和驱动外围接口的工控机;
[0013] 所述轴系工具和孔系工件为待装配的对象,轴系工具固定安装在机器人末端,装 配目标是引导机器人运动将细长的轴系工具柔顺地插入孔系工件当中。
[0014] 优选地,所述力觉传感器为六轴力传感器,安装于工业机器人末端法兰与轴系工 具之间,用于检测笛卡尔坐标系下三个方向的力和绕三个方向的力矩。
[0015] 优选地,所述视觉传感器为工业数字面阵相机,用于获取视野范围和景深范围内 的清晰图像;
[0016] 所述视觉传感器包括安装在工业机器人末端并随工业机器人末端运动的一视觉 传感器构成的手眼相机系统及安装在孔系工件上方不随机器人运动的另一视觉传感器构 成的固定相机系统,
[0017]所述固定相机系统用于观察孔系工件的位置、姿态及轴系工具的插入深度。
[0018] 优选地,所述位置传感器为安装在机器人各个关节处的编码器,能够读取工业机 器人运动过程中任意时刻的关节角,进而得到机器人末端的位置和姿态;
[0019] 所述力觉传感器为六轴力传感器,用于检测在笛卡尔坐标系下工业机器人末端的 三个轴向的力和绕三个方向的力矩。
[0020] 本发明提供的基于力觉和视觉的机器人细长轴精密装配方法,采用所述的基于力 觉和视觉的机器人细长轴精密装配系统,包括以下步骤:
[0021 ] 步骤Sl:工业机器人通过示教再现方式到达指定的准备位;
[0022] 步骤S2:工业机器人通过视觉传感器,采用视觉伺服方法,定位孔系工件的位置; [0023] 步骤S3:工业机器人通过视觉传感器、力觉传感器,采用力位混合控制方法,控制 轴系工具与孔系工件接触力与力矩,将轴系工具柔顺插入孔系工件中;
[0024] 步骤S4:工业机器人复位。
[0025] 优选地,所述步骤S2包含以下步骤:
[0026]步骤S201:手眼相机系统采集到所述孔系工件图像,提取图像特征,与存储在上位 机系统中的目标孔系工件对应的位置和姿态进行比较;
[0027]步骤S202:计算当前轴系工具与孔系工件之间的位置和姿态误差;
[0028]步骤S203:根据位置和姿态误差计算出对应的调整量,使工业机器人末端向减小 误差的方向运动;
[0029]步骤是204:当轴系工具与孔系工件之间的位置和姿态误差小于设定的阈值,则确 认工业机器人完成寻孔。
[0030] 优选地,所述步骤S3包含以下步骤:
[0031]步骤S301:将笛卡尔坐标系中的孔系约束进行正交分解,具体为在轴系工具的前 进方向即Z方向、绕前进方向旋转的方向即θζ方向进行位置控制;
[0032]步骤S302:在插入过程中轴系工具与孔系工件可能发生碰撞和卡阻的方向即Χ、Υ、 9x、9y方向进行力控制;
[0033]-位置控制方向上,固定相机系统采集到孔系工具端面俯视图像,并能观察到轴系 工具上的插入标记;
[0034]计算出当前轴系工具相对于孔系工件端面的插入深度;
[0035] 与存储在上位机中的期望插入深度进行比较;
[0036] 计算出当前轴系工具相对于孔系工件端面插入深度的误差;
[0037] 根据插入深度误差计算出对应的调整量,使工业机器人末端向减小误差的方向运 动;
[0038] 直至轴系工具相对孔系工件端面插入深度误差小于设定阈值,认为工业机器人完 成插入;
[0039]-力控制方向上,力觉传感器测量到机器人末端收到的力和力矩,期望力和力矩为 零,因此测量即力和力矩的误差;
[0040] 根据力和力矩的误差计算出对应的调整量,使机器人末端向减小误差的方向运 动。
[0041] 本发明提供的基于力觉和视觉的机器人细长轴精密装配控制方法,包括力控制环 和位置控制环相互独立;
[0042] 所述力控制环包括如下步骤:
[0043] 步骤Al:力觉传感器测量工业机器人末端受到的力和力矩生成力测量值;
[0044]步骤A2:对力测量值进行低通滤波处理,以消除噪音;对力测量值与指定的期望力 做差,得到力误差;力误差经过选择矩阵,选择力控制方向;
[0045]步骤A3:在力控制方向上的力误差经过坐标变换后输入上位机系统,得到力控制 环对工业机器人的输入;
[0046] 所述位置控制环包括如下步骤:
[0047] 步骤BI:工业机器人在空间中运动,由位置传感器或视觉传感器测量工业机器的 末端位置和姿态;位置传感器得到的位置数据进行坐标变换;
[0048]步骤B2:视觉传感器得到图像信息,经过对图像特征的提取将图像的像素信息简 化成若干图像特征,并将图像特征作为位置表示;
[0049] 步骤B3:测量出的机器人末端位置和姿态与指定的期望位置做差,得到位置误差;
[0050] 步骤M:位置误差经过选择矩阵,选择位置控制方向;
[0051] 步骤B5:在位置控制方向上的位置误差经过坐标变换后输入上位机系统,得到位 置控制环对机器人的输入。
[0052]与现有技术相比,本发明具有如下的有益效果:
[0053]本发明中工业机器人采用力位混合控制,在位置控制方向保证机器人末端精确跟 踪已知轨迹的同时,在力控制方向实现主动柔顺性,可以在一段较长的行程中保持较小的 接触力和力矩,实现细长轴精密装配。
附图说明
[0054]通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、 目的和优点将会变得更明显:
[0055] 图1为本发明中机器人细长轴精密装配系统的结构框图。
[0056] 图2为根据本发明一实施例的机器人细长轴精密装配系统的示意图。
[0057] 图3为图2中装配平面的局部放大图。
[0058]图4为轴系工具5末端的坐标系。
[0059] 图5为本发明提供的机器人细长轴精密装配系统的工作流程。
[0060] 图6为根据本发明一实施例的机器人细长轴精密装配方法的关键步骤示意图。
[0061 ]图7为本发明提供的机器人细长轴精密装配系统的控制结构图。
[0062] 图8为本发明提供的机器人细长轴精密装配寻孔采用的人工标记。
[0063] 图中:
[0064] 1-工业机器人;2-力觉传感器;3-手眼相机;4-固定相机;5-轴系工具;6-孔系工 件;7-工件仓架;8-寻孔标记;9-插入标记。
具体实施方式
[0065]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术 人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0066] 在本实施例中,本发明提供的基于力觉和视觉的机器人细长轴精密装配系统,包 括工业机器人、上位机系统以及传感器系统;
[0067] 其中,所述传感器系统,用于获得工业机器人的当前状态、末端受力情况以及装配 对象的当前状态、位姿数据;
[0068] 上位机系统,用于获取并根据工业机器人的当前状态、末端受力情况以及装配对 象的当前状态、位姿数据生成运动指令,将所述运动指令发送给执行系统;
[0069] 执行系统包括工业机器人的关节驱动器和关节驱动器的控制柜,用于执行上位机 系统发出的运动指令,使工业机器人按照指定的轨迹运动。
[0070] 本发明提供的基于力觉和视觉的机器人细长轴精密装配系统,还包括轴系工具和 孔系工件;
[0071 ] 所述传感器系统包括位置传感器、力觉传感器和视觉传感器;
[0072] 所述工业机器人采用标准六轴工业机器人,其末端可以运动到工作范围内笛卡尔 空间中的任意位置和姿态。
[0073] 所述上位机采用带有采集和驱动外围接口的工控机,能够获取传感器系统的测量 值并进行快速计算,实时给出驱动机器人电机的运动指令。
[0074] 所述轴系工具和孔系工件为待装配的对象,轴系工具固定安装在机器人末端,装 配目标是引导机器人运动将细长的轴系工具柔顺地插入孔系工件当中。
[0075]所述力觉传感器为六轴力传感器,安装于工业机器人末端法兰与轴系工具之间, 用于检测笛卡尔坐标系下三个方向的力和绕三个方向的力矩。
[0076] 所述视觉传感器为工业数字面阵相机,用于获取视野范围和景深范围内的清晰图 像;
[0077] 所述视觉传感器包括安装在工业机器人末端并随工业机器人末端运动的视觉传 感器构成的手眼相机系统及安装在孔系工件上方不随机器人运动的视觉传感器构成的固 定相机系统,眼相机系统具有较少的运动模糊。
[0078] 所述固定相机系统用于观察孔系工件的位置、姿态及轴系工具的插入深度。
[0079] 所述位置传感器为安装在机器人各个关节处的编码器,能够读取工业机器人运动 过程中任意时刻的关节角,进而得到机器人末端的位置和姿态。
[0080] 所述力觉传感器为六轴力传感器,能够检测笛卡尔坐标系下作用与机器人末端的 三个轴向的力和绕三个方向的力矩。
[0081] 其中,工业机器人1底座固定在基准面上,其配套的控制柜通过线缆连接到工业机 器人1上;轴系工具5安装于机器人手臂末端法兰,轴向与机器人末端关节旋转轴平行或重 合;六轴腕力传感器2安装于工业机器人1的手臂末端法兰与轴系工具5之间,用于实时测量 装配轴与装配孔之间的接触力和力矩;若干孔系工件6放置在工件仓架7上;工件仓架7的具 体位置不固定,在一个大致的工位区域中;
[0082] 手眼相机3及其配套镜头安装在六轴腕力传感器2与轴系工具5之间安装的L型支 架上,能够观察到前方环境及轴系工具5末端;固定相机4及其配套镜头固定在支架上,视野 向下能够观察到下方环境及孔系工件端面;
[0083]寻孔标记8布置在工件仓架7的前面板71上,工件仓架71的前面板71含有V型槽,用 于对孔系工件6进行位置约束;插入标记9为布置在轴系工具上的色环。
[0084] 如图4,图4轴系工具5末端的坐标系说明示意图,定义沿轴系工具5的轴及其前进 方向为Z轴正方向,定义重力及其反方向为Y轴正方向,与该两轴均正交的方向为X轴正方 向;沿每个轴的右手螺旋方向定义为绕该轴旋转的坐标θχ、θγ、θζ ;作用于轴系工具5末端的 力和力矩也采用相同的坐标描述,力坐标与位置坐标对应,表示为Fx、Fy、Fz,力矩坐标与旋 转坐标对应,表示为Tx、Ty、Tz。
[0085] 参考图5,图5为本发明提供的机器人细长轴精密装配系统的工作流程图,包括下 述步骤:
[0086] 步骤A:机器人通过示教再现方式到达指定的准备位并给出信号,装配开始。
[0087] 步骤B:机器人利用安装于手臂末端的手眼相机,结合安装于工件仓架前面板上的 寻孔标记,采用基于图像的视觉伺服方法,引导机器人末端及轴系工具运动到孔系工件开 口位置处。
[0088] 具体地,根据手眼相机中采集到的寻孔标记图像,及存储在工控机中寻孔标记与 目标孔系工件的对应位置,计算出当前轴系工具与目标孔系工件之间位置和姿态的误差, 并计算出该误差对应的位置和姿态调整量,输入机器人控制器,使机器人末端向减小误差 的方向运动,直至轴系工具与目标孔系工件之间位置和姿态的误差小于一定的阈值,认为 装配引导阶段B结束,机器人完成寻孔。特别地,该步骤中由手眼相机控制机器人的在笛卡 尔空间中的全部六个方向Χ、Υ、Ζ、θχ、θγ、θ ζ。
[0089] 步骤C:机器人利用安装于手臂末端和轴系工具之间的六轴腕力传感器,结合安装 于工件仓架上方的固定相机,采用力位混合控制的方法,引导机器人末端及轴系工具柔顺 地插入孔系工件中,并控制一定的插入深度。
[0090] 具体地,将笛卡尔坐标系中的孔系约束进行正交分解,由轴孔装配任务的特点,可 以理解在轴系工具的前进方向即Z方向、绕前进方向旋转的方向即θ ζ方向进行位置控制;插 入过程中轴系工具与孔系工件可能发生碰撞和卡阻的方向即X、Y、9x、9y方向进行力控制。 [0091 ]位置控制的目标是使得轴系工具在前进方向跟踪一定的轨迹,即按规划好的速度 和深度控制轴系工具的插入过程;力控制的目标是保持与轴系工具前进方向垂直的平面内 受到的力和力矩始终为一个较小的值,即轴系工具在与前进方向垂直的平面内减少与孔系 工件内壁的碰撞和摩擦。
[0092]位置控制中在Z方向上,通过安装在工件仓架上方的固定相机,测量轴系工具上的 插入标记(色环),计算出轴系工具当前运动速度和插入深度,并与期望的运动速度和插入 深度进行比较,误差作为机器人在该方向的运动调整量来实现的;在θζ方向上通过安装在 机器人关节中的位置传感器计算出Z方向旋转值,并保持其不变,以减少摩擦力对装配过程 的影响。
[0093]力控制中通过安装在机器人末端与轴系工具之间的六轴腕力传感器,测量轴系工 具末端Χ、γ方向上的受力及θχ、θγ方向上的力矩,并与期望的力和力矩比较,往往设定期望 的力和力矩为零,误差作为机器人在该方向的运动调整量。
[0094] 该步骤直至前进方向插入深度达到要求,认为装配执行阶段C结束。同时需要监测 沿前进方向Z方向上的力,若大于指定阈值则立即停止装配,并给出错误信号,以免损坏工 件。
[0095] 步骤D:机器人每次完成装配过程后达到的位置不同,根据当前位姿及指定的完成 位通过轨迹规划方法生成一系列运动轨迹点,无碰撞地运动到完成位,装配过程结束。
[0096] 参阅图6,图6为根据本发明一实施例的机器人细长轴精密装配方法的关键步骤示 意图,步骤B中固连于工业机器人1的末端法兰11上的手眼相机3引导工业机器人将轴系工 具5运动至靠近孔系工件6的位置,精确找到孔系工件6的孔;步骤C中安装于工业机器人1的 末端法兰11与轴系工具5之间的六轴腕力传感器2,测量孔系工件所约束的方向上的力和力 矩,并引导工业机器人将轴系工具5往减小接触力和力矩的方向运动,达到柔顺装配的目 的。
[0097] 参阅图7,图7为本发明提供的机器人细长轴精密装配系统的控制结构图,根据混 合控制的框架,机器人运动控制被分解为相互独立的位置控制环P和力控制环f。
[0098] 所述力控制环和位置控制环均含有各自的选择矩阵,选择矩阵为6阶对角方阵,其 值为:
[0099]
Figure CN106272416AD00101
[0100] 由笛卡尔空间中的6个方向均被分解为力控制方向和位置控制方向中的一种,因 此力控制环的选择矩阵和位置控制环的选择矩阵之和应为单位阵,即Sf+S P = I,此处定义力 控制选择矩阵为S,则位置控制选择矩阵为I-S。
[0101] 所述力控制环f包含力选择矩阵f〇、坐标变换及力控制器Π 、机器人、力觉传感器 fs、信号处理环节f2。
[0102] 从机器人出发,机器人与环境发生交互,由力传感器fS测量末端受到的力和力矩; 由于力觉传感器测量结果含有较大的噪声,力测量值需要经过一定的信号处理f2,主要指 低通滤波处理;经过处理的力测量值与指定的期望力做差,得到力误差;力误差经过选择矩 阵f〇,选择力控制方向;在力控制方向上的力误差经过坐标变换后输入力控制器Π ,得到力 控制环对机器人的输入。
[0103] 其中,Π 中的坐标变换指将力的测量值从传感器坐标系到约束坐标系的变换,传 感器坐标系为力传感器自身出厂标定时设定的坐标系,力的坐标变换有如下关系:
[0104]
Figure CN106272416AD00102
[0105] sF指传感器坐标系下的力和力矩,卬指约束坐标系下的力和力矩,[|Γ]可以表示 为:
Figure CN106272416AD00111
[0106]
[0107] [fi?]指从传感器坐标系到约束坐标系的旋转矩阵,[VX]可以表示为:
[0108]
Figure CN106272416AD00112
[0109] (Vx,Vy,Vz)为在约束坐标系下从约束坐标系原点到传感器坐标系原点的向量。 [0110]力控制器采用PI控制的形式,在保持系统稳定的情况下消除静差。
[0111] 所述位置控制环P包括位选择矩阵P0、坐标变换及位控制器pl、机器人、视觉传感 器vs、图像特征提取环节v3、位置传感器ps及坐标变换环节p2。
[0112] 从机器人出发,机器人在空间中运动,由位置传感器模块ps或视觉传感器模块vs 测量末端位置和姿态;位置传感器得到的数据需要经过一定的坐标变换P2,特别地,若采用 安装在机器人关节处的编码器作为位置传感器,该坐标变换即机器人关节角至笛卡尔空间 位姿的映射,也即机器人的正运动学;视觉传感器得到图像信息,经过对图像特征的提取v3 将图像的像素信息简化成若干图像特征,并将图像特征作为位置的一种表示;测量出的机 器人末端位置和姿态与指定的期望位置做差,得到位置误差;位置误差经过选择矩阵PO,选 择位置控制方向;在位置控制方向上的位置误差经过坐标变换后输入位置控制器Pl,得到 位置控制环对机器人的输入。
[0113]其中,p 1中的坐标变换指将位置的测量值从机器人基坐标系到约束坐标系的变 换,因为末端的位姿都是以基坐标系为参考的,位置的坐标变换有如下关系:
[0114] -
Figure CN106272416AD00113
[0115] bP指机器人基坐标系下的位置和姿态,eP指约束坐标系下的位置和姿态,丨以]即从 约束坐标系到机器人基坐标系的齐次变换矩阵。
[0116] 位置控制器采用ro控制的形式,在保持系统稳定的情况下改善动态特性。
[0117] 具体地,在装配寻孔过程中,采用视觉传感器控制自由空间的六个自由度,力选择 矩阵Sf = diag(0,0,0,0,0,0),位置选择矩阵SP = diag(l,I,I,I,I,1),采集到的人工标记的 图像特征作为反馈;在装配执行过程中,用视觉传感器控制轴系工具前进方向,位置传感器 控制绕前进方向旋转的方向,其余四个自由度均是由力觉控制,力选择矩阵Sf = diag(l,l, 〇,1,1,〇),位置选择矩阵 SP = diag(0,0,l,0,0,l)。
[0118] 参阅图7,图7为本发明提供的机器人细长轴精密装配寻孔采用的人工标记装置, 包括五个圆形及若干扇形,中心圆11主要用于确定人工标记的大致位置,第一定位圆12、第 二定位圆13、第三定位圆14、第四定位圆15主要用于确定人工标记平面在空间中的姿态,第 一定位圆12略大于其他三个定位圆指定了一个起始点,实际上也是指定了读取编码的方 向,第一编码位16、第二编码位17、第三编码位18以及第四编码位19按照是否填充可进行4 位编码,从较大的定位圆开始逆时针读取,至多可以产生16种不同的标记。
[0119] 采用该种人工标记方法能够快速寻找视野中的人工标记,精确地获取位置和姿态 信息,并引入编码,对多个装配对象分别进行标记,解决了在环境干扰较严重、孔系工件形 状不规整、多个孔系工件同时出现在视野中等情况下,对孔系工件的自然特征难以辨识的 问题。
[0120] 本发明提供的结合力觉和视觉的机器人细长轴精密装配系统及其工作方法中,机 器人控制采用混合控制的框架,视觉与力觉独立控制且能够同时对机器人运动产生影响, 装配工作方法包括在寻孔过程中对孔系工件精确视觉定位,结合视觉和力觉在插入过程中 对深度和接触力分别进行控制。本发明机器人装配系统不要求孔系工件位置精确已知,根 据检测到的力觉和视觉数据实时对轴系工具的位姿进行调整,能够实现细长轴的精密装 配。
[0121] 以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述 特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影 响本发明的实质内容。

Claims (9)

1. 一种基于力觉和视觉的机器人细长轴精密装配系统,其特征在于,包括工业机器人、 上位机系统以及传感器系统; 其中,所述传感器系统,用于获得工业机器人的当前状态、末端受力情况以及装配对象 的当前状态、位姿数据; 上位机系统,用于获取并根据工业机器人的当前状态、末端受力情况以及装配对象的 当前状态、位姿数据生成运动指令,将所述运动指令发送给执行系统; 执行系统包括工业机器人的关节驱动器和关节驱动器的控制柜,用于执行上位机系统 发出的运动指令,使工业机器人按照指定的轨迹运动。
2. 根据权利要求1所述的基于力觉和视觉的机器人细长轴精密装配系统,其特征在于, 还包括轴系工具和孔系工件; 所述传感器系统包括位置传感器、力觉传感器和视觉传感器; 所述工业机器人采用标准六轴工业机器人,其末端能够运动到工作范围内笛卡尔空间 中的任意位置和姿态; 所述上位机采用带有采集和驱动外围接口的工控机; 所述轴系工具和孔系工件为待装配的对象,轴系工具固定安装在机器人末端,装配目 标是引导机器人运动将细长的轴系工具柔顺地插入孔系工件当中。
3. 根据权利要求2所述的基于力觉和视觉的机器人细长轴精密装配系统,其特征在于, 所述力觉传感器为六轴力传感器,安装于工业机器人末端法兰与轴系工具之间,用于检测 笛卡尔坐标系下三个方向的力和绕三个方向的力矩。
4. 根据权利要求1所述的基于力觉和视觉的机器人细长轴精密装配系统,其特征在于, 所述视觉传感器为工业数字面阵相机,用于获取视野范围和景深范围内的清晰图像; 所述视觉传感器包括安装在工业机器人末端并随工业机器人末端运动的一视觉传感 器构成的手眼相机系统及安装在孔系工件上方不随机器人运动的另一视觉传感器构成的 固定相机系统, 所述固定相机系统用于观察孔系工件的位置、姿态及轴系工具的插入深度。
5. 根据权利要求2所述的基于力觉和视觉的机器人细长轴精密装配系统,其特征在于, 所述位置传感器为安装在机器人各个关节处的编码器,能够读取工业机器人运动过程中任 意时刻的关节角,进而得到机器人末端的位置和姿态; 所述力觉传感器为六轴力传感器,用于检测在笛卡尔坐标系下工业机器人末端的三个 轴向的力和绕三个方向的力矩。
6. -种基于力觉和视觉的机器人细长轴精密装配方法,其特征在于,采用权利要求1至 5任一项所述的基于力觉和视觉的机器人细长轴精密装配系统,包括以下步骤: 步骤S1:工业机器人通过示教再现方式到达指定的准备位; 步骤S2:工业机器人通过视觉传感器,采用视觉伺服方法,定位孔系工件的位置; 步骤S3:工业机器人通过视觉传感器、力觉传感器,采用力位混合控制方法,控制轴系 工具与孔系工件接触力与力矩,将轴系工具柔顺插入孔系工件中; 步骤S4:工业机器人复位。
7. 根据权利要求6所述的基于力觉和视觉的机器人细长轴精密装配方法,其特征在于, 所述步骤S2包含以下步骤: 步骤S201:手眼相机系统采集到所述孔系工件图像,提取图像特征,与存储在上位机系 统中的目标孔系工件对应的位置和姿态进行比较; 步骤S202:计算当前轴系工具与孔系工件之间的位置和姿态误差; 步骤S203:根据位置和姿态误差计算出对应的调整量,使工业机器人末端向减小误差 的方向运动; 步骤是204:当轴系工具与孔系工件之间的位置和姿态误差小于设定的阈值,则确认工 业机器人完成寻孔。
8. 根据权利要求6所述的基于力觉和视觉的机器人细长轴精密装配方法,其特征在于, 所述步骤S3包含以下步骤: 步骤S301:将笛卡尔坐标系中的孔系约束进行正交分解,具体为在轴系工具的前进方 向即Z方向、绕前进方向旋转的方向即θζ方向进行位置控制; 步骤S302:在插入过程中轴系工具与孔系工件可能发生碰撞和卡阻的方向即Χ、Υ、θχ、θ y方向进行力控制; -位置控制方向上,固定相机系统采集到孔系工具端面俯视图像,并能观察到轴系工具 上的插入标记; 计算出当前轴系工具相对于孔系工件端面的插入深度; 与存储在上位机中的期望插入深度进行比较; 计算出当前轴系工具相对于孔系工件端面插入深度的误差; 根据插入深度误差计算出对应的调整量,使工业机器人末端向减小误差的方向运动; 直至轴系工具相对孔系工件端面插入深度误差小于设定阈值,认为工业机器人完成插 入; -力控制方向上,力觉传感器测量到机器人末端收到的力和力矩,期望力和力矩为零, 因此测量即力和力矩的误差; 根据力和力矩的误差计算出对应的调整量,使机器人末端向减小误差的方向运动。
9. 一种基于力觉和视觉的机器人细长轴精密装配控制方法,其特征在于,包括力控制 环和位置控制环相互独立; 所述力控制环包括如下步骤: 步骤A1:力觉传感器测量工业机器人末端受到的力和力矩生成力测量值; 步骤A2:对力测量值进行低通滤波处理,以消除噪音;对力测量值与指定的期望力做 差,得到力误差;力误差经过选择矩阵,选择力控制方向; 步骤A3:在力控制方向上的力误差经过坐标变换后输入上位机系统,得到力控制环对 工业机器人的输入; 所述位置控制环包括如下步骤: 步骤B1:工业机器人在空间中运动,由位置传感器或视觉传感器测量工业机器的末端 位置和姿态;位置传感器得到的位置数据进行坐标变换; 步骤B2:视觉传感器得到图像信息,经过对图像特征的提取将图像的像素信息简化成 若干图像特征,并将图像特征作为位置表示; 步骤B3:测量出的机器人末端位置和姿态与指定的期望位置做差,得到位置误差; 步骤B4:位置误差经过选择矩阵,选择位置控制方向; 步骤B5:在位置控制方向上的位置误差经过坐标变换后输入上位机系统,得到位置控 制环对机器人的输入。
CN201610757364.3A 2016-08-29 2016-08-29 基于力觉和视觉的机器人细长轴精密装配系统及方法 Active CN106272416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610757364.3A CN106272416B (zh) 2016-08-29 2016-08-29 基于力觉和视觉的机器人细长轴精密装配系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610757364.3A CN106272416B (zh) 2016-08-29 2016-08-29 基于力觉和视觉的机器人细长轴精密装配系统及方法

Publications (2)

Publication Number Publication Date
CN106272416A true CN106272416A (zh) 2017-01-04
CN106272416B CN106272416B (zh) 2020-12-29

Family

ID=57675768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610757364.3A Active CN106272416B (zh) 2016-08-29 2016-08-29 基于力觉和视觉的机器人细长轴精密装配系统及方法

Country Status (1)

Country Link
CN (1) CN106272416B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107263541A (zh) * 2017-06-19 2017-10-20 中山长峰智能自动化装备研究院有限公司 一种机器人及其力跟踪误差的控制方法及系统
CN107590837A (zh) * 2017-09-06 2018-01-16 西安华航唯实机器人科技有限公司 一种视觉定位智能精密装配机器人及其摄像机视觉标定方法
CN107650149A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于串联机械臂的接触与非接触融合测量系统及方法
CN108297083A (zh) * 2018-02-09 2018-07-20 中国科学院电子学研究所 机械臂系统
CN108326877A (zh) * 2017-01-20 2018-07-27 佳能株式会社 机器人控制设备、系统和控制方法及制品装配制造方法
CN108453701A (zh) * 2017-02-09 2018-08-28 佳能株式会社 控制机器人的方法、示教机器人的方法和机器人系统
CN108489361A (zh) * 2018-03-02 2018-09-04 昆山艾尔发计量科技有限公司 一种带孔工件的通止检测系统
CN108994835A (zh) * 2018-08-15 2018-12-14 深圳蓝胖子机器人有限公司 基于力矩传感器的物品放置方法及系统
CN109015633A (zh) * 2018-07-12 2018-12-18 深圳市寒武纪智能科技有限公司 一种视觉伺服跟踪方法、装置及系统
CN109202881A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种工业机器人大臂装配工作站
CN109531560A (zh) * 2019-01-09 2019-03-29 中国工程物理研究院激光聚变研究中心 大长径比轴孔装配分析系统及方法
CN109794935A (zh) * 2019-01-09 2019-05-24 中国工程物理研究院激光聚变研究中心 基于神经网络分析的装配过程力与力矩预测系统及方法
CN109814514A (zh) * 2019-03-25 2019-05-28 苏州小男孩智能科技有限公司 具有视触融合功能的装配自动化流水线系统
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
CN109993763A (zh) * 2019-03-28 2019-07-09 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN110253250A (zh) * 2019-06-25 2019-09-20 武汉库柏特科技有限公司 一种机器人自动分步装配插销方法、系统和双臂机器人
CN110340630A (zh) * 2019-07-17 2019-10-18 中国科学院自动化研究所 基于多传感器融合的机器人自动化装配方法及装置
CN110376924A (zh) * 2018-04-13 2019-10-25 沈阳中科博微科技股份有限公司 一种基于机器人的实时响应控制方法
CN110516618A (zh) * 2019-08-29 2019-11-29 苏州大学 装配机器人及基于视觉和力位混合控制的装配方法和系统
CN110549188A (zh) * 2019-08-28 2019-12-10 上海交通大学 基于叠合量检测的阀芯同步磨削去毛刺一体化方法及系统
WO2020052624A1 (zh) * 2018-09-13 2020-03-19 宝山钢铁股份有限公司 基于视觉测量的冶金技术探针接插标定方法及其接插系统
CN110977373A (zh) * 2019-11-22 2020-04-10 中国航空工业集团公司北京长城航空测控技术研究所 一种机器人用手眼力协调控制末端执行机构
CN111344086A (zh) * 2017-11-08 2020-06-26 新东工业株式会社 主模和芯子的嵌合装置、及主模和芯子的嵌合方法
CN111637873A (zh) * 2020-06-08 2020-09-08 西北工业大学 一种飞机装配质量自动检测机器人系统
CN111702759A (zh) * 2020-06-09 2020-09-25 珠海格力智能装备有限公司 示教系统及机器人的示教方法
CN112025242A (zh) * 2020-08-27 2020-12-04 浙江大学 一种基于多层感知器的机械臂搜孔方法
CN112198837A (zh) * 2020-08-31 2021-01-08 南京航空航天大学 一种基于混合控制的飞机结构件定位单位入位方法
CN112264998A (zh) * 2020-10-28 2021-01-26 上海非夕机器人科技有限公司 用于机器人组装操作件和适配件的方法、机器人及控制器
CN112706161A (zh) * 2020-11-17 2021-04-27 中国航空工业集团公司北京长城航空测控技术研究所 一种具备智能感知能力的涂胶控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0884141A1 (en) * 1996-10-24 1998-12-16 Fanuc Ltd. Force control robot system with visual sensor for inserting work
JP2011121770A (ja) * 2009-12-14 2011-06-23 Yaskawa Electric Corp ロボットシステム及び物品加工方法並びに工業製品の製造方法
CN103085060A (zh) * 2012-12-31 2013-05-08 中国科学院自动化研究所 基于力视混合检测的对接/分离装置及其方法
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0884141A1 (en) * 1996-10-24 1998-12-16 Fanuc Ltd. Force control robot system with visual sensor for inserting work
JP2011121770A (ja) * 2009-12-14 2011-06-23 Yaskawa Electric Corp ロボットシステム及び物品加工方法並びに工業製品の製造方法
CN103085060A (zh) * 2012-12-31 2013-05-08 中国科学院自动化研究所 基于力视混合检测的对接/分离装置及其方法
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
席文明,颜景平,罗翔: "《位置、力反馈和视觉融合控制的机器人轴孔装配》", 《制造业自动化》 *

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108326877A (zh) * 2017-01-20 2018-07-27 佳能株式会社 机器人控制设备、系统和控制方法及制品装配制造方法
CN108453701A (zh) * 2017-02-09 2018-08-28 佳能株式会社 控制机器人的方法、示教机器人的方法和机器人系统
US11059169B2 (en) 2017-02-09 2021-07-13 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system
CN107263541B (zh) * 2017-06-19 2019-08-20 中山长峰智能自动化装备研究院有限公司 一种机器人及其力跟踪误差的控制方法及系统
CN107263541A (zh) * 2017-06-19 2017-10-20 中山长峰智能自动化装备研究院有限公司 一种机器人及其力跟踪误差的控制方法及系统
CN109202881A (zh) * 2017-06-29 2019-01-15 沈阳新松机器人自动化股份有限公司 一种工业机器人大臂装配工作站
CN107650149A (zh) * 2017-08-21 2018-02-02 北京精密机电控制设备研究所 一种基于串联机械臂的接触与非接触融合测量系统及方法
CN107650149B (zh) * 2017-08-21 2020-09-18 北京精密机电控制设备研究所 一种基于串联机械臂的接触与非接触融合测量系统及方法
CN107590837A (zh) * 2017-09-06 2018-01-16 西安华航唯实机器人科技有限公司 一种视觉定位智能精密装配机器人及其摄像机视觉标定方法
CN111344086A (zh) * 2017-11-08 2020-06-26 新东工业株式会社 主模和芯子的嵌合装置、及主模和芯子的嵌合方法
CN108297083A (zh) * 2018-02-09 2018-07-20 中国科学院电子学研究所 机械臂系统
CN108489361A (zh) * 2018-03-02 2018-09-04 昆山艾尔发计量科技有限公司 一种带孔工件的通止检测系统
CN110376924A (zh) * 2018-04-13 2019-10-25 沈阳中科博微科技股份有限公司 一种基于机器人的实时响应控制方法
CN109015633A (zh) * 2018-07-12 2018-12-18 深圳市寒武纪智能科技有限公司 一种视觉伺服跟踪方法、装置及系统
CN108994835A (zh) * 2018-08-15 2018-12-14 深圳蓝胖子机器人有限公司 基于力矩传感器的物品放置方法及系统
CN110893534A (zh) * 2018-09-13 2020-03-20 宝山钢铁股份有限公司 基于视觉测量的冶金技术探针接插标定方法及其接插系统
WO2020052624A1 (zh) * 2018-09-13 2020-03-19 宝山钢铁股份有限公司 基于视觉测量的冶金技术探针接插标定方法及其接插系统
EP3851242A4 (en) * 2018-09-13 2021-11-10 Baoshan Iron & Steel Co., Ltd. PROBE INSERTION PROCEDURE IN METALLURGICAL TECHNOLOGY USING VISUAL MEASUREMENT AND INTRODUCTION SYSTEM THEREFORE
CN109531560B (zh) * 2019-01-09 2021-04-09 中国工程物理研究院激光聚变研究中心 大长径比轴孔装配分析系统及方法
CN109794935A (zh) * 2019-01-09 2019-05-24 中国工程物理研究院激光聚变研究中心 基于神经网络分析的装配过程力与力矩预测系统及方法
CN109531560A (zh) * 2019-01-09 2019-03-29 中国工程物理研究院激光聚变研究中心 大长径比轴孔装配分析系统及方法
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
CN109814514A (zh) * 2019-03-25 2019-05-28 苏州小男孩智能科技有限公司 具有视触融合功能的装配自动化流水线系统
CN109993763A (zh) * 2019-03-28 2019-07-09 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN109993763B (zh) * 2019-03-28 2021-10-08 北京理工大学 基于图像识别与力反馈融合的探测器定位方法及系统
CN110253250A (zh) * 2019-06-25 2019-09-20 武汉库柏特科技有限公司 一种机器人自动分步装配插销方法、系统和双臂机器人
CN110340630B (zh) * 2019-07-17 2020-09-01 中国科学院自动化研究所 基于多传感器融合的机器人自动化装配方法及装置
CN110340630A (zh) * 2019-07-17 2019-10-18 中国科学院自动化研究所 基于多传感器融合的机器人自动化装配方法及装置
CN110549188A (zh) * 2019-08-28 2019-12-10 上海交通大学 基于叠合量检测的阀芯同步磨削去毛刺一体化方法及系统
CN110549188B (zh) * 2019-08-28 2021-07-30 上海交通大学 基于叠合量检测的阀芯同步磨削去毛刺一体化方法及系统
CN110516618A (zh) * 2019-08-29 2019-11-29 苏州大学 装配机器人及基于视觉和力位混合控制的装配方法和系统
CN110977373A (zh) * 2019-11-22 2020-04-10 中国航空工业集团公司北京长城航空测控技术研究所 一种机器人用手眼力协调控制末端执行机构
CN111637873A (zh) * 2020-06-08 2020-09-08 西北工业大学 一种飞机装配质量自动检测机器人系统
CN111702759A (zh) * 2020-06-09 2020-09-25 珠海格力智能装备有限公司 示教系统及机器人的示教方法
CN112025242A (zh) * 2020-08-27 2020-12-04 浙江大学 一种基于多层感知器的机械臂搜孔方法
CN112198837A (zh) * 2020-08-31 2021-01-08 南京航空航天大学 一种基于混合控制的飞机结构件定位单位入位方法
CN112264998A (zh) * 2020-10-28 2021-01-26 上海非夕机器人科技有限公司 用于机器人组装操作件和适配件的方法、机器人及控制器
CN112706161A (zh) * 2020-11-17 2021-04-27 中国航空工业集团公司北京长城航空测控技术研究所 一种具备智能感知能力的涂胶控制系统

Also Published As

Publication number Publication date
CN106272416B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN106272416A (zh) 基于力觉和视觉的机器人细长轴精密装配系统及方法
US8498745B2 (en) Robot apparatus and gripping method for use in robot apparatus
JP5311294B2 (ja) ロボットの接触位置検出装置
CN106041926A (zh) 一种基于卡尔曼滤波器的工业机械臂力/位置混合控制方法
US20130297072A1 (en) Control apparatus and method for master-slave robot, master-slave robot, control program, and integrated electronic circuit
Schraft et al. The need for an intuitive teaching method for small and medium enterprises
Abu-Dakka et al. Solving peg-in-hole tasks by human demonstration and exception strategies
CN107717981B (zh) 机械手臂的控制装置及其教导系统与方法
CN104339352A (zh) 机器人系统、机器人控制装置以及机器人控制方法
WO2015149360A1 (en) Portable apparatus for controlling robot and method thereof
Shen et al. Asymptotic trajectory tracking of manipulators using uncalibrated visual feedback
Miądlicki et al. Real-time gesture control of a CNC machine tool with the use Microsoft Kinect sensor
Grinshpun et al. From Virtual Testbeds to Real Lightweight Robots: Development and deployment of control algorithms for soft robots, with particular reference to
US20210260759A1 (en) Estimation of payload attached to a robot arm
CN106493711A (zh) 控制装置、机器人以及机器人系统
JP2018167334A (ja) 教示装置および教示方法
Zhang et al. Vision-guided robotic assembly using uncalibrated vision
Park et al. Quantitative evaluation of an intuitive teaching method for industrial robot using a force/moment direction sensor
CN109849025B (zh) 振动抑制装置
JP6834655B2 (ja) ロボットの負荷重心位置推定装置及びロボットの負荷重心位置推定方法
Sato et al. Human skill analysis based on multisensory data
JP2018043320A (ja) 制御装置、ロボットおよびロボットシステム
Kramberger A comparison of learning-by-demonstration methods for force-based robot skills
JP2000055664A (ja) 姿勢を計測する機能を持つ多関節型ロボット・システム、ターン・テーブルを校正基準に用いてジャイロの計測精度を検証する方法及びシステム、及び、n軸で構成されるターン・テーブルのキャリブレーションを行う装置及び方法
JP2021104551A (ja) ロボット駆動領域シミュレーション装置、およびロボット駆動領域シミュレーション方法並びにロボット駆動領域シミュレーションプログラム

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant