CN112936258A - 一种面向空中作业机器人的人机协作系统及方法 - Google Patents

一种面向空中作业机器人的人机协作系统及方法 Download PDF

Info

Publication number
CN112936258A
CN112936258A CN202110097919.7A CN202110097919A CN112936258A CN 112936258 A CN112936258 A CN 112936258A CN 202110097919 A CN202110097919 A CN 202110097919A CN 112936258 A CN112936258 A CN 112936258A
Authority
CN
China
Prior art keywords
robot
information
freedom
degree
aerial work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110097919.7A
Other languages
English (en)
Inventor
徐政通
赵世钰
曹华姿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westlake University
Original Assignee
Westlake University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westlake University filed Critical Westlake University
Priority to CN202110097919.7A priority Critical patent/CN112936258A/zh
Publication of CN112936258A publication Critical patent/CN112936258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种面向空中作业机器人的人机协作系统，系统包括：多自由度遥操作设备，感知传感器单元，自动驾驶模块与处理及可视化平台。其中多自由度遥操作设备在操作员的操控下提供空中作业机器人的控制指令，感知传感器实时感知环境信息，包括环境点云、图像。环境信息通过处理及可视化平台传递给操作员。处理及可视化平台负责操作员控制指令与机器人传感器信息的整合，并最终发送指令给自动驾驶模块，实现对机器人的控制。基于本发明提出的系统，操作员可以友好的实现对空中作业机器人的人机交互控制，使其能够顺利完成作业。

Description

一种面向空中作业机器人的人机协作系统及方法
技术领域
本发明涉及空中作业机器人的控制与规划领域，具体涉及一种面向空中作业机器人的人机协作系统及方法。
背景技术
对于很多复杂、危险且人无法到达或不易到达的环境下的作业任务，如海洋环境、高空环境、火灾环境等环境下的作业，人们可以借助空中作业机器人的帮助来解决问题。在这些复杂环境作业时，全自动作业往往困难且效率低下，半自主的人机协同作业往往更加友好。人可以通过图像信息、环境可视化信息、力交互信息的反馈，结合人主观能动性，可实时远距离操作空中作业机器人人机协同作业。
现有的人机协同平台，由于缺乏对人的意图的充分提取，往往只能做到遥控空中机器人，或指定空中机器人的运动路径点使其能够进行大范围的运动。此类系统往往用于空中拍摄、检测或大范围的作业任务例如农药喷洒。但对于复杂环境的运动和需要精细操作的空中作业任务，此类系统难以实现。
综上所述，凭借空中作业机器人的人机协同作业系统进行复杂危险环境的作业任务，可大大节省成本，提高作业效率，保障人身安全。
发明内容
针对现有技术的不足，本发明提出一种面向空中作业机器人的人机协作系统及方法，具体技术方案如下：
一种面向空中作业机器人的人机协作系统，该系统包括：
感知传感器单元，安装在空中作业机器人上，用于感知空中作业机器人的所处环境，并将感知到的图像信息与环境点云信息实时反馈给处理单元；
自动驾驶模块，安装在空中作业机器人上，通过无人机通讯协议与其他模块进行通信，从而控制空中作业机器人的飞行和作业运动；
多自由度遥操作设备，被操作员操作，并将其运动信息映射到空中作业机器人；
处理及可视化平台，安装在上位主机上，接收所述感知传感器单元感知到的图像信息与环境点云信息实时反馈给用户，使用户感知到作业机器人周围的信息；接收所述多自由度遥操作设备子系统反馈的操作员的运动信息，运行半自主避障人机协同作业算法，计算期望轨迹，并将其发送给所述自动驾驶模块，由其控制空中作业机器人控制执行修正后的期望轨迹。
进一步地，所述感知传感器单元为RGBD深度相机或者RGB相机与激光雷达相结合。
进一步地，所述空中作业机器人包括无人机本体以及并联安装在所述无人机本体下方的三自由度delta构型并联机械臂，所述机器臂的末端用于安装作业机构、传感装置或其他额外机构，用于适应不同的工况。
进一步地，所述多自由度遥操作设备具备两种操作模式，当空中作业机器人处于移动状态时，所述多自由度遥操作设备末端的XYZ轴的位置信息线性对应机器人本体XYZ轴的速度信息；当空中作业机器人处于作业状态时，所述多自由度遥操作设备末端的位置和姿态线性对应作业机器人机械臂末端的位置和姿态。
进一步地，所述感知传感器单元还包括位于作业机构上的力-力矩传感器，用于实时将作业过程中产生的力反馈给多自由度遥操作设备，被操作员感知。
一种面向空中作业机器人的人机协作方法，该方法基于人机协作系统来实现；
安装在空中作业机器人上的感知传感器单元获取环境图像信息与环境点云信息，并将其发送给处理及可视化平台，展示给操作员；
多自由度遥操作设备接收操作员根据上述信息作出的运动信息，并将其映射为作业机器人的初步期望轨迹，并将初步期望轨迹发送给所述处理及可视化平台；
所述处理及可视化平台根据环境图像信息与环境点云信息以及所述的初步期望轨迹，对初步期望轨迹进行修正，防止与环境碰撞；并将修正后的期望轨迹发送给安装在空中作业机器人上的自动驾驶模块，由其控制空中作业机器人控制执行修正后的期望轨迹；执行过程中，若空中作业机器人与环境产生力交互，则自动驾驶模块将力交互信息发送给所述多自由度遥操作设备。
本发明的有益效果如下：
(1)基于本发明提出的面向空中作业机器人的人机协作系统，可充分反应操作员的意图，实现灵活的空中作业任务。
(2)本发明提出的系统充分对环境信息进行整合，一方面可使操作员能够完全掌握机器人所处的工况，另一方面本系统还具有半自主避障的功能，所以基于本发明可以完成在复杂环境条件下的作业任务，使操作员可简单应对各种情况。
(3)本发明所提出的系统适用于不同种类的空中作业机器人和不同的作业任务，可扩展性十分高。
附图说明
图1为本发明实施例的面向空中作业机器人的人机协作系统及人机协作方法流程图；
图2为本发明实施例涉及到的空中作业机器人本体。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的面向空中作业机器人的人机协作系统，包括感知传感器单元、自动驾驶模块、多自由度遥操作设备、处理及可视化平台；
感知传感器单元，安装在空中作业机器人上，具有相机与环境感知两部分功能，用于感知空中作业机器人的所处环境，并将感知到的图像信息与环境点云信息实时反馈给处理单元。作为其中一种实施例，感知传感器单元采用RGBD深度相机(例如Intel RealSenseL515RGBD相机)或者RGB相机与激光雷达相结合。为了实现力反馈功能，感知传感器单元还包括位于作业机构上的力-力矩传感器，用于实时将作业过程中产生的力反馈给多自由度遥操作设备，被操作员感知。
自动驾驶模块，安装在空中作业机器人上，通过无人机通讯协议与其他模块进行通信，从而控制空中作业机器人的飞行和作业运动。
空中作业机器人包括多旋翼无人机本体与作业机械臂。机械臂具有三个自由度，为三自由度delta构型并联机械臂，且并联机械臂安装在无人机本体的下方。并联机械臂的末端可以额外安装工作机构、力传感器、腕关节等额外机构，以适应不同的工况。
多自由度遥操作设备(Geomagic touch)，被操作员操作，具有多个自由度，采用串联结构，并且具有力反馈特性。其将操作员的运动信息映射到空中作业机器人。当作业机器人从事与环境接触的相关作业且其作业机构上装有力-力矩传感器时，可实时将作业过程中产生的力通过Geomagic touch的操作末端反馈给操作员。多自由度遥操作设备有两种操作模式，位置-速度映射与位置-位置映射模式：当空中作业机器人处于移动状态时，处于位置-速度映射模式，所述多自由度遥操作设备末端的XYZ轴的位置信息线性对应机器人本体XYZ轴的速度信息；当空中作业机器人处于作业状态时，处于位置-位置映射模式。所述多自由度遥操作设备末端的位置和姿态线性对应作业机器人机械臂末端的位置和姿态。
处理及可视化平台，安装在上位主机上，基于机器人操作系统ROS与开源飞控PX4，各子系统通过mavlink与PX4通信进而控制作业机器人的运动。在ROS环境下，可视化软件可通过ROS系统中的Rviz得以实现。处理及可视化平台接收所述感知传感器单元感知到的图像信息与环境点云信息实时反馈给用户，使用户感知到作业机器人周围的信息；接收所述多自由度遥操作设备子系统反馈的操作员的运动信息，运行半自主避障人机协同作业算法，计算期望轨迹，并将其发送给所述自动驾驶模块，控制空中作业机器人的运动。
如图2所示，一种面向空中作业机器人的人机协作方法，该方法基于权利要求1的人机协作系统来实现，安装在空中作业机器人上的感知传感器单元获取环境图像信息与环境点云信息，并将其发送给处理及可视化平台，展示给操作员。
多自由度遥操作设备接收操作员根据上述信息作出的运动信息，并将其映射为作业机器人的初步期望轨迹，并将初步期望轨迹发送给所述处理及可视化平台；
所述处理及可视化平台根据环境图像信息与环境点云信息以及所述的初步期望轨迹，对初步期望轨迹进行修正，防止与环境碰撞；具体避障方式可以通过先通过图搜索算法(例如A*算法，RRT算法等)计算出无碰撞的路径点，再进行修正轨迹的生成。并将修正后的期望轨迹发送给安装在空中作业机器人上的自动驾驶模块，由其控制空中作业机器人控制执行修正后的期望轨迹；执行过程中，若空中作业机器人与环境产生力交互，则自动驾驶模块将力交互信息发送给所述多自由度遥操作设备。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (6)

1.一种面向空中作业机器人的人机协作系统，其特征在于，该系统包括：
感知传感器单元，安装在空中作业机器人上，用于感知空中作业机器人的所处环境，并将感知到的图像信息与环境点云信息实时反馈给处理单元；
自动驾驶模块，安装在空中作业机器人上，通过无人机通讯协议与其他模块进行通信，从而控制空中作业机器人的飞行和作业运动。
多自由度遥操作设备，被操作员操作，并将其运动信息映射到空中作业机器人；
处理及可视化平台，安装在上位主机上，接收所述感知传感器单元感知到的图像信息与环境点云信息实时反馈给用户，使用户感知到作业机器人周围的信息；接收所述多自由度遥操作设备子系统反馈的操作员的运动信息，运行半自主避障人机协同作业算法，计算期望轨迹，并将其发送给所述自动驾驶模块，由其控制空中作业机器人控制执行修正后的期望轨迹。
2.根据权利要求1所述的面向空中作业机器人的人机协作系统，其特征在于，所述感知传感器单元为RGBD深度相机或者RGB相机与激光雷达相结合。
3.根据权利要求1所述的面向空中作业机器人的人机协作系统，其特征在于，所述空中作业机器人包括无人机本体以及并联安装在所述无人机本体下方的三自由度delta构型并联机械臂，所述机器臂的末端用于安装作业机构、传感装置或其他额外机构，用于适应不同的工况。
4.根据权利要求1所述的面向空中作业机器人的人机协作系统，其特征在于，所述多自由度遥操作设备具备两种操作模式，当空中作业机器人处于移动状态时，所述多自由度遥操作设备末端的XYZ轴的位置信息线性对应机器人本体XYZ轴的速度信息；当空中作业机器人处于作业状态时，所述多自由度遥操作设备末端的位置和姿态线性对应作业机器人机械臂末端的位置和姿态。
5.根据权利要求1所述的面向空中作业机器人的人机协作系统，其特征在于，所述感知传感器单元还包括位于作业机构上的力-力矩传感器，用于实时将作业过程中产生的力反馈给多自由度遥操作设备，被操作员感知。
6.一种面向空中作业机器人的人机协作方法，其特征在于，该方法基于权利要求1的人机协作系统来实现；
安装在空中作业机器人上的感知传感器单元获取环境图像信息与环境点云信息，并将其发送给处理及可视化平台，展示给操作员；
多自由度遥操作设备接收操作员根据上述信息作出的运动信息，并将其映射为作业机器人的初步期望轨迹，并将初步期望轨迹发送给所述处理及可视化平台；
所述处理及可视化平台根据环境图像信息与环境点云信息以及所述的初步期望轨迹，对初步期望轨迹进行修正，防止与环境碰撞；并将修正后的期望轨迹发送给安装在空中作业机器人上的自动驾驶模块，由其控制空中作业机器人控制执行修正后的期望轨迹；执行过程中，若空中作业机器人与环境产生力交互，则自动驾驶模块将力交互信息发送给所述多自由度遥操作设备。
CN202110097919.7A 2021-01-25 2021-01-25 一种面向空中作业机器人的人机协作系统及方法 Pending CN112936258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110097919.7A CN112936258A (zh) 2021-01-25 2021-01-25 一种面向空中作业机器人的人机协作系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110097919.7A CN112936258A (zh) 2021-01-25 2021-01-25 一种面向空中作业机器人的人机协作系统及方法

Publications (1)

Publication Number Publication Date
CN112936258A true CN112936258A (zh) 2021-06-11

Family

ID=76236498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110097919.7A Pending CN112936258A (zh) 2021-01-25 2021-01-25 一种面向空中作业机器人的人机协作系统及方法

Country Status (1)

Country Link
CN (1) CN112936258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116476080A (zh) * 2023-06-20 2023-07-25 西湖大学 一种基于几何可行性的空中自动抓取作业规划方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092271A (zh) * 2017-04-11 2017-08-25 南京工程学院 基于共享控制的多旋翼飞行器环境监测系统及方法
CN110039561A (zh) * 2019-05-14 2019-07-23 南京理工大学 基于点云的带电作业机器人遥操作人员培训系统及方法
CN110667845A (zh) * 2019-09-27 2020-01-10 东南大学 一种面向阀门旋拧的双臂作业型飞行机器人系统及方法
CN110703751A (zh) * 2019-10-14 2020-01-17 东南大学 一种多移动机器人系统半自主编队及避障控制方法
CN111015673A (zh) * 2020-01-02 2020-04-17 福州大学 作业型飞行机器人的四自由度机械臂遥操作系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092271A (zh) * 2017-04-11 2017-08-25 南京工程学院 基于共享控制的多旋翼飞行器环境监测系统及方法
CN110039561A (zh) * 2019-05-14 2019-07-23 南京理工大学 基于点云的带电作业机器人遥操作人员培训系统及方法
CN110667845A (zh) * 2019-09-27 2020-01-10 东南大学 一种面向阀门旋拧的双臂作业型飞行机器人系统及方法
CN110703751A (zh) * 2019-10-14 2020-01-17 东南大学 一种多移动机器人系统半自主编队及避障控制方法
CN111015673A (zh) * 2020-01-02 2020-04-17 福州大学 作业型飞行机器人的四自由度机械臂遥操作系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116476080A (zh) * 2023-06-20 2023-07-25 西湖大学 一种基于几何可行性的空中自动抓取作业规划方法
CN116476080B (zh) * 2023-06-20 2023-08-29 西湖大学 一种基于几何可行性的空中自动抓取作业规划方法

Similar Documents

Publication Publication Date Title
US9849595B2 (en) Contact force limiting with haptic feedback for a tele-operated robot
US10932874B2 (en) Remote control robot system
US10112297B2 (en) Robot control apparatus, robot, and robot system
US9862090B2 (en) Surrogate: a body-dexterous mobile manipulation robot with a tracked base
US11045954B2 (en) Robot system and method of controlling the same
Yashin et al. Aerovr: Virtual reality-based teleoperation with tactile feedback for aerial manipulation
JP7068059B2 (ja) 遠隔操作方法及び遠隔操作システム
CN110825076A (zh) 基于视线和力反馈的移动机器人编队导航半自主控制方法
CN112936258A (zh) 一种面向空中作业机器人的人机协作系统及方法
Jorgensen et al. cockpit interface for locomotion and manipulation control of the NASA valkyrie humanoid in virtual reality (VR)
Ryu et al. Multi-modal user interface for teleoperation of ROBHAZ-DT2 field robot system
CN112894827B (zh) 一种机械臂运动控制方法、系统、装置及可读存储介质
Zhou et al. A bilateral dual-arm teleoperation robot system with a unified control architecture
US20230239439A1 (en) Imaging system and robot system
CN113021344A (zh) 一种主从异构型遥操作机器人工作空间映射方法
Anderson et al. Coordinated control and range imaging for mobile manipulation
WO2021117871A1 (ja) ロボットシステム
JP6668629B2 (ja) ロボット制御装置およびロボットシステム
KR102497044B1 (ko) 컴플라이언트 스페이스 자동 할당을 위한 원격 제어 장치 및 방법
Hambuchen et al. Supervising remote humanoids across intermediate time delay
US20230384788A1 (en) Information processing device, information processing system, information processing method, and recording medium storing program
Manschitz et al. Shared Autonomy for Intuitive Teleoperation
US20230234246A1 (en) End effector adaptor device for a robotic arm
Patil et al. A review paper on introduction of parallel manipulator and control system
CN115884851A (zh) 一种示教器、机器人、控制机器人的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210611