CN110919654B - 一种基于视觉伺服与机械臂的飞机自动对接方法 - Google Patents

一种基于视觉伺服与机械臂的飞机自动对接方法 Download PDF

Info

Publication number
CN110919654B
CN110919654B CN201911211829.5A CN201911211829A CN110919654B CN 110919654 B CN110919654 B CN 110919654B CN 201911211829 A CN201911211829 A CN 201911211829A CN 110919654 B CN110919654 B CN 110919654B
Authority
CN
China
Prior art keywords
mechanical arm
joint
airplane
butt joint
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911211829.5A
Other languages
English (en)
Other versions
CN110919654A (zh
Inventor
姜广文
侯腾
宋磊
朱永丽
胡靖�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSSC Systems Engineering Research Institute
Original Assignee
CSSC Systems Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSSC Systems Engineering Research Institute filed Critical CSSC Systems Engineering Research Institute
Priority to CN201911211829.5A priority Critical patent/CN110919654B/zh
Publication of CN110919654A publication Critical patent/CN110919654A/zh
Application granted granted Critical
Publication of CN110919654B publication Critical patent/CN110919654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/28—Liquid-handling installations specially adapted for fuelling stationary aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

一种基于视觉伺服与机械臂的飞机自动对接系统，其特征在于，包括，机械臂本体、机械臂控制箱、视觉测量相机及图像处理工控机，其中，机械臂本体与飞机保障设备接头固连，能够通过调整自身各关节状态改变接头位姿；视觉测量相机及图像处理工控机通过拍摄飞机机身图像，对飞机机身接口进行捕捉，并应用视觉伺服方法计算机械臂本体的目标位姿，通过以太网发送至机械臂控制箱；机械臂控制箱根据对接流程与目标位姿指令，进行机械臂末端接头控制，最终实现自动对接；该自动对接系统大幅提高了对接控制精度、效率与信息化水平，可实现减员增效。

Description

一种基于视觉伺服与机械臂的飞机自动对接方法
技术领域
本发明涉及飞机保障领域，具体涉及一种基于视觉伺服的机械臂自动对接系统。
背景技术
目前，涉及保障设备接头与飞机机身接口(如飞机受油口)对接类的保障作业全部由人力完成，以飞机加油为例，需要机务勤务人员完成信息交互、加油接头传递等工作，同时加油软管的拖拽以及加油接头的对接工作完全依赖人力，保障效率较低，占用人员多，人员劳动强度大，不利于加油作业人员长期连续作战。目前，基于视觉与机械臂联动的技术方案已在焊接、分拣等工业领域得以应用，但由于应用场合多有小负载、低精度、高重复等特点，无法满足飞机对接过程负载大、精度高的应用需求，国内现无飞机保障自动对接系统。
发明内容
本发明的主要针对飞机保障领域自动对接的应用需求，提出了一种基于视觉伺服与机械臂的飞机自动对接系统和方法，该系统包括，
机械臂本体、机械臂控制箱、视觉测量相机及图像处理工控机，其中，
所述机械臂本体与飞机保障设备接头固连，能够通过调整自身各关节状态改变接头位姿；视觉测量相机及图像处理工控机通过拍摄飞机机身图像，对飞机机身接口进行捕捉，并应用视觉伺服方法计算机械臂本体的目标位姿，通过以太网发送至机械臂控制箱；机械臂控制箱根据对接流程与目标位姿指令，进行机械臂末端接头控制，最终实现自动对接；
进一步地，飞机停在保障位后，飞机自动对接系统通过视觉相机自动识别、定位机身接口位置，视觉测量系统根据图像信息解算出机身接口端面的位姿信息，并将解算出的位姿信息反馈至控制系统，控制系统驱动机械臂运动并使对接头准确到达目标位置，提高整个接口定位精度；
进一步地，所述系统基于逆运动学分析方法，进行多约束路径规划，即针对飞机接头位姿信息、前起落架舱空间布局、接头周围设备的防碰壁需求等约束条件，开展路径规划优化计算，以关节角度、角速度、角加速度为条件变量，建立运动学方程，求解得出最优路径，并在对接前设置校准点，机械臂在校准点通过视觉测量系统进行位置校准，实现对接前的定位误差补偿，从而得出机械臂接头至飞机机身接口的最优路径，多约束路径规划技术是实现安全、高效完成飞机全自动保障的关键；
进一步地，所述系统通过高精度定位以及控制系统的高精度控制后，机械臂末端接头与飞机机身接口仍可能存在一定位置偏差，偏差主要体现在中心重合度、深度和角度几个方面，当偏差较小时，根据机械臂关节力矩反馈信息调节各关节的力矩输出，实现接头柔性对接；当偏差较大时，机械臂自动退回，控制系统重新规划路径，再次进行对接。
基于视觉伺服与机械臂的飞机自动对接方法，采用上述基于视觉伺服与机械臂的飞机自动对接系统，其特征在于，包括如下步骤，
步骤一、机械臂上电到达初始位置P0；
步骤二、机械臂接收开始指令展开至固定位置P1，并将相机位姿信息发送至视觉测量系统；
步骤三、接收自动对接开始；
步骤四、启动视觉相机拍照，并接收来自相机的目标绝对位置脱靶量Δ1；
步骤五、根据目标绝对位置脱靶量Δ1，规划并控制机械臂至二次精确定位位置P2；
步骤六、再次启动相机拍照并将P2处相机位姿发送至视觉测量系统；
步骤七、再次接收视觉测量系统目标的位姿信息，得到目标绝对位置脱靶量Δ2；
步骤八、判断是否具备直线对接条件，如果具备，则执行步骤九，如果不具备跳转到步骤四；
步骤九、启动机械臂直线对接过程，控制对接头直线运动L0距离；
步骤十、机械臂第六关节旋转θ。
步骤十、通过以太网发送对接完成信号
步骤十一、机械臂原路返回至P0
进一步地，所述步骤二中，在P1位置，接头距目标1000mm左右。
有益效果：
与现有技术相比本发明的技术方案具有如下优点：
研制的自动对接系统，大幅提高对接控制精度、效率与信息化水平，实现减员增效：
(1)以加油保障为例，当飞机进入停机位后，加油装置自动升起，并完成接头对接和保障工作。可缩短再次出动准备时间缩短1～2min，结合我国辽宁舰使用经验，可减少作业人员约51名。
(2)对接控制与过程信息均可进行采集，减少保障过程的人工信息传递环节，实现全流程的数字化、信息化保障。
附图说明
图1为自动对接系统组成图；
图2为自动对接系统示意图；
图3为自动对接装置保障接头位置；
图4为自动对接动作步骤流程示意图；
图5为自动对接系统原理框图；
图6为自动对接系统控制流程图；
图7为基于图像的视觉伺服定位方法原理图。
具体实施方式
下面根据附图和具体实施方式对本发明的技术方案做进一步详细的解释和说明。
基于视觉伺服的机械臂自动对接系统主要由机械臂本体、机械臂控制箱及示教器、视觉测量相机及图像处理工控机组成，基动对接系统组成图如图1，自动对接系统示意图如图2，自动对接系统原理框图如图5所示。
机械臂本体与飞机保障设备接头固连，能够通过调整自身各关节状态改变接头位姿。视觉测量相机及图像处理工控机通过拍摄飞机机身图像，对飞机机身接口进行捕捉，并应用视觉伺服方法计算机械臂本体的目标位姿，通过以太网发送至机械臂控制箱。机械臂控制箱根据对接流程与目标位姿指令，进行机械臂末端接头控制，最终实现自动对接。
若机械臂故障，无法自动完成自动对接时，可将保障接头取下，手动完成与飞机插座的对接，保障接头位置如图3所示。
将对接过程分为五步骤，各动作步骤如图4所示：
1)机械臂上电到达初始位置P0；
2)初始位置P0启动视觉相机拍照得到对接工件的图像特征，与初定位位置P1处的对接工件的图像特征对比，控制机械臂到达初定位位置P1；
3)到达P1后再次启动相机拍照得到对接工件的图像特征，与精确定位位置P2处的对接工件的图像特征对比，控制机械臂到达精确定位位置P2；
4)满足直线对接条件，启动直线对接过程，控制对接头直线运动L0距离；
5)机械臂第六关节旋转θ。
综合飞机保障需求，自动对接装置可达到指标如下：
1)测量精度：位置测量精度不低于0.5mm，角度测量精度不低于0.5°；
2)测量距离：400mm～1500mm；
3)对接时间：不超过3min。
飞机停在保障位后，飞机自动对接系统通过视觉相机自动识别、定位机身接口位置，视觉测量系统根据图像信息解算出机身接口端面的位姿信息，并将解算出的位姿信息反馈至控制系统，控制系统驱动机械臂运动并使对接头准确到达目标位置，提高整个接口定位精度，基于图像的视觉伺服定位方法原理图如图7所示；
所述系统基于逆运动学分析方法，进行多约束路径规划，即针对飞机接头位姿信息、前起落架舱空间布局、接头周围设备的防碰壁需求等约束条件，开展路径规划优化计算，以关节角度、角速度、角加速度为条件变量，建立运动学方程，求解得出最优路径，并在对接前设置校准点，机械臂在校准点通过视觉测量系统进行位置校准，实现对接前的定位误差补偿，从而得出机械臂接头至飞机机身接口的最优路径，多约束路径规划技术是实现安全、高效完成飞机全自动保障的关键；
所述系统通过高精度定位以及控制系统的高精度控制后，机械臂末端接头与飞机机身接口仍可能存在一定位置偏差，偏差主要体现在中心重合度、深度和角度几个方面，当偏差较小时，根据机械臂关节力矩反馈信息调节各关节的力矩输出，实现接头柔性对接；当偏差较大时，机械臂自动退回，控制系统重新规划路径，再次进行对接。
基于视觉伺服与机械臂的飞机自动对接方法，采用上述基于视觉伺服与机械臂的飞机自动对接系统，如图6所示，包括如下步骤，
步骤一、机械臂上电到达初始位置P0；
步骤二、机械臂接收开始指令展开至固定位置P1(接头距目标1000mm左右)，并将相机位姿信息发送至视觉测量系统；
步骤三、接收自动对接开始；
步骤四、启动视觉相机拍照，并接收来自相机的目标绝对位置脱靶量Δ1；
步骤五、根据目标绝对位置脱靶量Δ1，规划并控制机械臂至二次精确定位位置P2；
步骤六、再次启动相机拍照并将P2处相机位姿发送至视觉测量系统；
步骤七、再次接收视觉测量系统目标的位姿信息，得到目标绝对位置脱靶量Δ2；
步骤八、判断是否具备直线对接条件，如果具备，则执行步骤九，如果不具备跳转到步骤四；
步骤九、启动机械臂直线对接过程，控制对接头直线运动L0距离；
步骤十、机械臂第六关节旋转θ。
步骤十、通过以太网发送对接完成信号
步骤十一、机械臂原路返回至P0
上述实例仅用以说明本发明的技术方案而非对其进行限制，尽管参照最佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (2)

1.一种基于视觉伺服与机械臂的飞机自动对接方法，采用基于视觉伺服与机械臂的飞机自动对接系统，所述基于视觉伺服与机械臂的飞机自动对接系统包括：机械臂本体、机械臂控制箱、视觉测量相机及图像处理工控机，其中，
所述机械臂本体与飞机保障设备接头固连，能够通过调整自身各关节状态改变接头位姿；视觉测量相机及图像处理工控机通过拍摄飞机机身图像，对飞机机身接口进行捕捉，并应用视觉伺服方法计算机械臂本体的目标位姿，通过以太网发送至机械臂控制箱；机械臂控制箱根据对接流程与目标位姿指令，进行机械臂末端接头控制，最终实现自动对接；飞机停在保障位后，飞机自动对接系统通过视觉相机自动识别、定位机身接口位置，视觉测量系统根据图像信息解算出机身接口端面的位姿信息，并将解算出的位姿信息反馈至控制系统，控制系统驱动机械臂运动并使对接头准确到达目标位置，提高整个接口定位精度；基于逆运动学分析方法，进行多约束路径规划，即针对飞机接头位姿信息、前起落架舱空间布局、接头周围设备的防碰壁需求等约束条件，开展路径规划优化计算，以关节角度、角速度、角加速度为条件变量，建立运动学方程，求解得出最优路径，并在对接前设置校准点，机械臂在校准点通过视觉测量系统进行位置校准，实现对接前的定位误差补偿，从而得出机械臂接头至飞机机身接口的最优路径，其特征在于，包括如下步骤，
步骤一、机械臂上电到达初始位置P0；
步骤二、机械臂接收开始指令展开至固定位置P1，并将相机位姿信息发送至视觉测量系统；
步骤三、接收自动对接开始；
步骤四、启动视觉相机拍照，并接收来自相机的目标绝对位置脱靶量Δ1；
步骤五、根据目标绝对位置脱靶量Δ1，规划并控制机械臂至二次精确定位位置P2；
步骤六、再次启动相机拍照并将P2处相机位姿发送至视觉测量系统；
步骤七、再次接收视觉测量系统目标的位姿信息，得到目标绝对位置脱靶量Δ2；
步骤八、判断是否具备直线对接条件，如果具备，则执行步骤九，如果不具备跳转到步骤四；
步骤九、启动机械臂直线对接过程，控制对接头直线运动L0距离；
步骤十、机械臂第六关节旋转θ；
步骤十、通过以太网发送对接完成信号；
步骤十一、机械臂原路返回至P0。
2.根据权利要求1所述的方法，其特征在于，所述步骤二中，在P1位置，接头距目标1000mm。
CN201911211829.5A 2019-12-02 2019-12-02 一种基于视觉伺服与机械臂的飞机自动对接方法 Active CN110919654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211829.5A CN110919654B (zh) 2019-12-02 2019-12-02 一种基于视觉伺服与机械臂的飞机自动对接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211829.5A CN110919654B (zh) 2019-12-02 2019-12-02 一种基于视觉伺服与机械臂的飞机自动对接方法

Publications (2)

Publication Number Publication Date
CN110919654A CN110919654A (zh) 2020-03-27
CN110919654B true CN110919654B (zh) 2021-04-30

Family

ID=69848164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211829.5A Active CN110919654B (zh) 2019-12-02 2019-12-02 一种基于视觉伺服与机械臂的飞机自动对接方法

Country Status (1)

Country Link
CN (1) CN110919654B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112964171B (zh) * 2020-07-21 2022-05-03 南京航空航天大学 一种基于机器视觉的燃气采暖炉的接头自动对接方法及系统
JP2022065646A (ja) * 2020-10-15 2022-04-27 株式会社ミツトヨ 補足計測位置決定システムを用いたロボットシステム
CN113044235B (zh) * 2021-04-14 2022-06-24 中国航空规划设计研究总院有限公司 一种飞机自动化表面处理系统及其使用方法
CN114441807B (zh) * 2021-07-22 2023-07-07 荣耀终端有限公司 一种接线方法及系统
CN113352345B (zh) * 2021-08-09 2021-11-09 季华实验室 快换装置的更换系统、方法、装置、电子设备及存储介质
CN113734458A (zh) * 2021-09-09 2021-12-03 香港中文大学（深圳） 一种机械臂系统辅助的航油加注方法
CN114355953B (zh) * 2022-03-18 2022-07-12 深圳市朗宇芯科技有限公司 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统
FR3137859A1 (fr) 2022-07-16 2024-01-19 Institut De Recherche Technologique Jules Verne Procédé d’aSSEMBLAGE automatisé de deux pièces comprenant un asservissement avec des caméras
FR3137860A1 (fr) 2022-07-16 2024-01-19 Institut De Recherche Technologique Jules Verne Procédé d’accostage automatisé de deux pièces comprenant un asservissement avec des profilomètres
CN117621067B (zh) * 2023-12-11 2024-07-30 北京航天飞行控制中心 空间机械臂视觉伺服运动规划方法、系统、介质和设备
CN118068766A (zh) * 2024-04-18 2024-05-24 中国空气动力研究与发展中心计算空气动力研究所 飞行器空中对接控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002018748A (ja) * 2000-07-10 2002-01-22 Ishikawajima Harima Heavy Ind Co Ltd 宇宙機用船外活動支援ロボット
EP2500870A1 (en) * 2011-03-14 2012-09-19 EADS Construcciones Aeronauticas, S.A. Maintenance systems and methods of an installation of a vehicle
CN103600354A (zh) * 2013-11-08 2014-02-26 北京卫星环境工程研究所 航天器机械臂柔性随动控制重力补偿方法
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN107538508A (zh) * 2017-02-16 2018-01-05 北京卫星环境工程研究所 基于视觉定位的机器人自动装配方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002018748A (ja) * 2000-07-10 2002-01-22 Ishikawajima Harima Heavy Ind Co Ltd 宇宙機用船外活動支援ロボット
EP2500870A1 (en) * 2011-03-14 2012-09-19 EADS Construcciones Aeronauticas, S.A. Maintenance systems and methods of an installation of a vehicle
CN103600354A (zh) * 2013-11-08 2014-02-26 北京卫星环境工程研究所 航天器机械臂柔性随动控制重力补偿方法
CN104476549A (zh) * 2014-11-20 2015-04-01 北京卫星环境工程研究所 基于视觉测量的机械臂运动路径补偿方法
CN107538508A (zh) * 2017-02-16 2018-01-05 北京卫星环境工程研究所 基于视觉定位的机器人自动装配方法与系统

Also Published As

Publication number Publication date
CN110919654A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110919654B (zh) 一种基于视觉伺服与机械臂的飞机自动对接方法
CN108274231B (zh) 舱段类零件自动对接装置及控制方法
CN106238969B (zh) 基于结构光视觉的非标件自动化焊接加工系统
RU2706448C2 (ru) Автоматизированные динамические производственные системы и соответствующие способы
KR102052038B1 (ko) 로봇시스템
CN114434059B (zh) 复合机器人和三维视觉的大型结构件自动焊接系统及方法
CN110524582B (zh) 一种柔性组对焊接机器人工作站
US8942850B2 (en) Method and system for assisting in the handling of robotized machines in a congested environment
EP3407088A1 (en) Systems and methods for tracking location of movable target object
CN214558930U (zh) 一种基于高精度测量技术用于圆筒对接的调姿设备
CN112958959A (zh) 一种基于三维视觉的自动化焊接和检测方法
CN103115629A (zh) 机器人柔性视觉测量系统中工具坐标系快速修复方法
CN111421528A (zh) 一种工业机器人的自动化控制系统
CN108985184B (zh) 一种多用途飞机外挂物自动挂载系统及挂载方法
CN113246142B (zh) 一种基于激光引导的测量路径规划方法
CN112828552B (zh) 一种法兰零件智能对接方法及系统
CN112710233A (zh) 一种基于激光点云的大规模飞机蒙皮点云获取装备及方法
CN113348056A (zh) 具有改善的工具路径生成的工业机器人设备以及根据改善的工具路径操作工业机器人设备的方法
CN111300405A (zh) 一种移动平台的视觉识别定位装置及方法
CN116372305A (zh) 一种可扩展的自动化涂钎料系统及方法
CN113001142B (zh) 一种用于大型分块光学组件的双机械臂自动装配系统
CN108620840B (zh) 一种基于agv智能并联机器人的飞机舱门智能安装方法
CN111360789B (zh) 工件加工的示教方法、控制方法及机器人示教系统
CN115847428B (zh) 一种基于ar技术的机械装配辅助引导系统及方法
CN116571839A (zh) 基于5g通讯的爬壁焊接/切割一体化机器人系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant