CN110039561B - 基于点云的带电作业机器人遥操作人员培训系统及方法 - Google Patents

基于点云的带电作业机器人遥操作人员培训系统及方法 Download PDF

Info

Publication number
CN110039561B
CN110039561B CN201910398125.7A CN201910398125A CN110039561B CN 110039561 B CN110039561 B CN 110039561B CN 201910398125 A CN201910398125 A CN 201910398125A CN 110039561 B CN110039561 B CN 110039561B
Authority
CN
China
Prior art keywords
mechanical arm
virtual
point cloud
personal computer
industrial personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910398125.7A
Other languages
English (en)
Other versions
CN110039561A (zh
Inventor
肖潇
郭毓
郭飞
张冕
吴钧浩
蔡梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910398125.7A priority Critical patent/CN110039561B/zh
Publication of CN110039561A publication Critical patent/CN110039561A/zh
Application granted granted Critical
Publication of CN110039561B publication Critical patent/CN110039561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于点云的带电作业机器人遥操作人员培训系统及方法，该系统包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆。该方法包括：工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；深度相机采集实际作业环境点云信息，并结合模型库实现实际作业场景的快速三维重构；遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应的反馈操作结果至遥操作人员。本发明使被培训人员具备力觉临场感，提高了培训的有效性，避免直接操作损坏实际机械臂。

Description

基于点云的带电作业机器人遥操作人员培训系统及方法
技术领域
本发明属于带电作业机器人遥操作人员培训领域，特别是一种基于点云的带电作业机器人遥操作人员培训系统及方法。
背景技术
随着机器人技术的蓬勃发展，机器人在现代生产生活中的应用也愈发广泛。目前，我国高压带电作业，仍然采用绝缘手套作业法，要求操作人员攀爬高压铁塔或借助绝缘斗臂车进行带电作业。为了避免带电作业时人员伤亡事故的发生，使用带电作业机器人代替人工进行电力维护检修工作具有十分重要的现实意义。然而带电作业环境的非结构化使得带电作业机器人实现完全自主作业有较大的难度，仍旧需要操作人员配合机器人合作完成带电作业任务。
由于机器人需要在高空进行带电作业，操作人员只能通过平面相机拍摄到的图像进行遥操作，控制机械臂运动，平面图像造成的视觉差对操作人员提出了极高的要求。若操作失误导致机械臂与周围环境障碍物发生碰撞，会对机械臂造成不可逆的损伤。
发明内容
本发明的目的在于提供一种具有力觉临场感、更有效的带电作业机器人遥操作人员培训系统及方法。
实现本发明目的的技术解决方案为：基于点云的带电作业机器人遥操作人员培训系统，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆；
所述深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变所述虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆。
基于点云的带电作业机器人遥操作人员培训方法，包括以下步骤：
步骤1、工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；
步骤2、深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构；
步骤3、遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应的反馈操作结果至遥操作人员。
本发明与现有技术相比，其显著优点为：1)本发明提出的基于点云的带电作业遥操作人员培训系统及方法，可帮助操作人员对机械臂的运动学有更深入的了解，同时适应在远端通过遥操作杆控制机器人进行作业，避免了操作人员在不熟练的情况下直接对实际机器人系统进行操作带来的损害；2)利用点云信息构建虚拟作业环境时，结合对配电线路环境中常见物体建立的模型库，减少了需要重构的点云的数量，进而提高基于点云的环境重构的速度；3)通过具有力反馈功能的遥操作杆控制虚拟机械臂运动，并在虚拟机械臂与虚拟环境中的物体发生碰撞时根据遥操作杆末端的速度，在遥操作杆上即操作人员的手上反馈相应大小的力，为操作人员提供力觉临场感，提高训练的有效性。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于点云的带电作业机器人遥操作人员培训系统中具有力反馈功能的遥操作杆示意图。
图2为本发明基于点云的带电作业机器人遥操作人员培训方法流程图。
具体实施方式
本发明基于点云的带电作业机器人遥操作人员培训系统，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆如图1所示，为Geomagic Touch六维触觉输入输出设备，其可以为操作者提供力觉临场感。
深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆。
结合图2，基于点云的带电作业机器人遥操作人员培训方法，包括以下步骤：
步骤1、工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；
步骤2、深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构；
步骤3、遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应地反馈操作结果至遥操作人员。
进一步优选地，步骤1中工控机对实际作业环境进行建模，具体为：
针对静态物体，采用基于图像的建模方法进行建模；静态物体如作业环境。
针对动态物体，采用基于模型的建模方法进行建模；动态物体如机械臂，其状态会随关节角度的改变发生改变。
进一步地，步骤2所述深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构，具体为：
步骤2-1、深度相机采集实际作业环境中每个物体的点云信息；
步骤2-2、工控机对点云数据进行预处理，其中预处理包括降噪、去除离群点；
步骤2-3、将每个物体的点云与步骤1中模型库中的模型进行匹配，若该物体为模型库中的已有物体，则直接采用该模型，反之对点云进行重构，从而实现实际作业场景的快速三维重构。
进一步地，步骤3所述工控机根据带有力反馈功能的遥操作杆末端的速度及方向，控制虚拟机械臂完成相应运动，具体为：
步骤3-1、工控机获取带有力反馈功能的遥操作杆末端的速度及方向；
步骤3-2、操作人员在遥操作过程中由于人体不可避免的原因会在手部产生抖动，会导致获取的遥操作设备的位置和速度信息具有噪声，因此需对速度进行滤波处理，获得平滑的速度；
步骤3-3、遥操作设备的速度是在笛卡尔空间的三维速度，因此需通过坐标系转换将平滑速度、方向分别映射至虚拟机械臂在虚拟作业场景中的速度及位置；
步骤3-4、根据步骤3-3获得的速度及位置，利用运动学逆解获取虚拟机械臂各个关节角的角速度及角度；
步骤3-5、工控机根据步骤3-4获得的角速度及角度，控制虚拟机械臂进行相应的运动，在此过程中，工控机实时判断虚拟机械臂是否与虚拟环境的物体发生碰撞，若发生碰撞则根据遥操作杆的速度在相应的遥操作杆上反馈相应大小的力。
示例性优选地，步骤3-2中采用卡尔曼滤波对速度进行滤波处理。
本发明基于点云的带电作业机器人遥操作人员培训系统及方法，通过带有力反馈功能的两个遥操作杆分别对虚拟主、辅机械臂进行控制，若虚拟机械臂在运动过程中与环境物体发生碰撞，则会在相应的遥操作杆上反馈相应大小的力，使被培训人员具备力觉临场感，提高了培训的有效性，避免直接操作损坏实际机械臂。

Claims (4)

1.一种基于点云的带电作业机器人遥操作人员培训系统，其特征在于，包括深度相机、工控机以及与其相连的带有力反馈功能的主机械臂遥操作杆、带有力反馈功能的辅助机械臂遥操作杆；
所述深度相机用于采集实际作业环境的点云信息，工控机用于根据所述点云信息建立虚拟作业环境，其中包括虚拟主机械臂、虚拟辅助机械臂和虚拟环境中的其他物体，带有力反馈功能的主机械臂遥操作杆用于控制虚拟主机械臂运动，带有力反馈功能的辅助机械臂遥操作杆用于控制虚拟辅助机械臂运动；工控机还用于接收遥操作杆的信息，改变所述虚拟作业环境中虚拟机械臂的运动状态，并判断虚拟机械臂与周围虚拟环境物体的位置关系，且将虚拟机械臂与周围环境或者双机械臂之间发生碰撞的力反馈至遥操作杆；
基于上述系统的带电作业机器人遥操作人员培训方法，包括以下步骤：
步骤1、工控机对带电作业环境中的物体进行建模，并将模型存储至工控机的模型库中；
步骤2、深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构；
步骤3、遥操作人员操控带有力反馈功能的主机械臂遥操作杆、辅助机械臂遥操作杆，工控机根据带有力反馈功能的遥操作杆末端的速度及方向控制虚拟机械臂进行相应的运动，并相应地反馈操作结果至遥操作人员；所述工控机根据带有力反馈功能的遥操作杆末端的速度及方向，控制虚拟机械臂完成相应运动，具体为：
步骤3-1、工控机获取带有力反馈功能的遥操作杆末端的速度及方向；
步骤3-2、对所述速度进行滤波处理，获得平滑的速度；
步骤3-3、通过坐标系转换将所述平滑速度、方向分别映射至虚拟机械臂在虚拟作业场景中的速度及位置；
步骤3-4、根据步骤3-3获得的速度及位置，利用运动学逆解获取虚拟机械臂各个关节角的角速度及角度；
步骤3-5、工控机根据步骤3-4获得的角速度及角度，控制虚拟机械臂进行相应的运动，在此过程中，工控机实时判断虚拟机械臂是否与虚拟环境的物体发生碰撞，若发生碰撞则根据遥操作杆的速度在相应的遥操作杆上反馈相应大小的力。
2.根据权利要求1所述的基于点云的带电作业机器人遥操作人员培训系统，其特征在于，步骤1所述工控机对实际作业环境进行建模，具体为：
针对静态物体，采用基于图像的建模方法进行建模；
针对动态物体，采用基于模型的建模方法进行建模。
3.根据权利要求1所述的基于点云的带电作业机器人遥操作人员培训系统，其特征在于，步骤2所述深度相机采集实际作业环境点云信息，并结合步骤1的模型库实现实际作业场景的快速三维重构，具体为：
步骤2-1、深度相机采集实际作业环境中每个物体的点云信息；
步骤2-2、工控机对点云数据进行预处理，其中预处理包括降噪、去除离群点；
步骤2-3、将每个物体的点云与步骤1中模型库中的模型进行匹配，若该物体为模型库中的已有物体，则直接采用该模型，反之对点云进行重构，从而实现实际作业场景的快速三维重构。
4.根据权利要求1所述的基于点云的带电作业机器人遥操作人员培训系统，其特征在于，步骤3-2所述对速度进行滤波处理，具体采用卡尔曼滤波实现。
CN201910398125.7A 2019-05-14 2019-05-14 基于点云的带电作业机器人遥操作人员培训系统及方法 Active CN110039561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398125.7A CN110039561B (zh) 2019-05-14 2019-05-14 基于点云的带电作业机器人遥操作人员培训系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398125.7A CN110039561B (zh) 2019-05-14 2019-05-14 基于点云的带电作业机器人遥操作人员培训系统及方法

Publications (2)

Publication Number Publication Date
CN110039561A CN110039561A (zh) 2019-07-23
CN110039561B true CN110039561B (zh) 2022-10-14

Family

ID=67281961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398125.7A Active CN110039561B (zh) 2019-05-14 2019-05-14 基于点云的带电作业机器人遥操作人员培训系统及方法

Country Status (1)

Country Link
CN (1) CN110039561B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689611A (zh) * 2019-09-30 2020-01-14 北京邮电大学 一种空间遥操作中基于实时重建模型的预测显示方法
CN114274139B (zh) * 2020-09-27 2024-04-19 西门子股份公司 自动喷涂方法、装置、系统和存储介质
CN112936258A (zh) * 2021-01-25 2021-06-11 西湖大学 一种面向空中作业机器人的人机协作系统及方法
CN112944287B (zh) * 2021-02-08 2023-05-30 西湖大学 一种具有主动光源的空中修补系统
CN114872050B (zh) * 2022-06-01 2024-05-07 清华大学深圳国际研究生院 一种双臂履带式移动操作机器人控制方法及控制系统
CN117921618A (zh) * 2024-01-16 2024-04-26 浙江大学 一种基于力混合现实的主从遥操作机器人系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201903986U (zh) * 2010-12-22 2011-07-20 中国科学院深圳先进技术研究院 机器人模拟训练系统
CN102354464A (zh) * 2011-06-15 2012-02-15 中国科学院沈阳自动化研究所 一种遥控水下机器人模拟训练器
WO2017192829A1 (en) * 2016-05-04 2017-11-09 Worcester Polytechnic Institute Haptic gloves as a wearable force feedback user interface
CN106504605A (zh) * 2016-10-21 2017-03-15 东南大学 面向空间站机械臂力反馈遥操作训练的仿真控制系统
CN107886528B (zh) * 2017-11-30 2021-09-03 南京理工大学 基于点云的配电线路作业场景三维重建方法
CN108616076B (zh) * 2018-03-20 2020-04-17 南京理工大学 一种带电作业机器人拆装避雷器的方法

Also Published As

Publication number Publication date
CN110039561A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN110039561B (zh) 基于点云的带电作业机器人遥操作人员培训系统及方法
CN107030693B (zh) 一种基于双目视觉的带电作业机器人目标跟踪方法
CN110385694B (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
CN109262609A (zh) 基于虚拟现实技术的机械臂远程控制系统及方法
CN107053188A (zh) 一种带电作业机器人支接引线搭接方法
CN110978004A (zh) 一种自主配网带电作业机器人、系统及方法
CN108284425A (zh) 一种带电作业机器人机械臂协作力反馈主从控制方法及系统
CN108582031A (zh) 一种基于力反馈主从控制的带电作业机器人支接引线搭接方法
CN110421559B (zh) 配网带电作业机器人的遥操作方法和动作轨迹库构建方法
CN106826756A (zh) 一种基于高压带电作业机器人的导线修补方法
CN105500345A (zh) 分离式机器人拖动示教手柄及其示教方法
Feng et al. Autonomous live-line maintenance robot for a 10 kV overhead line
CN108462108A (zh) 一种基于力反馈主从控制的带电作业机器人耐张绝缘子更换方法
CN108582119A (zh) 一种带电作业机器人力反馈主从控制方法及系统
Brecher et al. Towards anthropomorphic movements for industrial robots
CN110802608A (zh) 带电作业机器人及高压线缆的定位方法
CN108527305A (zh) 一种基于虚拟现实技术的带电作业机器人力反馈主从控制方法及系统
CN110900600A (zh) 一种带电作业机器人的远程遥控控制系统及其控制方法
CN114347038A (zh) 一种交汇管道双臂协作焊接机器人及控制系统
CN112091974B (zh) 配网带电作业机器人遥控操作系统及其控制方法
CN116214532B (zh) 一种海底电缆机械臂自主避障抓取系统及抓取方法
CN110576438A (zh) 一种联动柔性机械臂的简化运动学求解方法、装置及系统
Zhou et al. Visual servo control system of 2-DOF parallel robot
CN112506185B (zh) 一种带电作业6自由度操作平台的控制方法及装置
Wang et al. Keeping Workers Safe in Electric Working: A Robot System for High-Voltage Live Operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant