CN112975988A - 一种基于vr技术的带电作业机器人控制系统 - Google Patents

一种基于vr技术的带电作业机器人控制系统 Download PDF

Info

Publication number
CN112975988A
CN112975988A CN202110396339.8A CN202110396339A CN112975988A CN 112975988 A CN112975988 A CN 112975988A CN 202110396339 A CN202110396339 A CN 202110396339A CN 112975988 A CN112975988 A CN 112975988A
Authority
CN
China
Prior art keywords
module
robot
task
database
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110396339.8A
Other languages
English (en)
Inventor
高垣照
黄贵增
戎晨晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengtian Intelligent Robot Guangdong Co ltd
Original Assignee
Shengtian Intelligent Robot Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengtian Intelligent Robot Guangdong Co ltd filed Critical Shengtian Intelligent Robot Guangdong Co ltd
Priority to CN202110396339.8A priority Critical patent/CN112975988A/zh
Publication of CN112975988A publication Critical patent/CN112975988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于VR技术的带电作业机器人控制系统，包括有双目视觉模块和人机交互模块，所述双目视觉模块连接有数据库模块，所述数据库模块连接有分析显示模块，所述人机交互模块连接有任务规划模块，所述任务规划模块连接有运动控制模块，所述运动控制模块连接有机器人系统，本发明涉及带电作业机器人技术领域。本发明，解决了带电作业机器人控制系统一般通过视频监控观察现场情况，并根据视频画面进行机器人的控制操作，视频画面不能完全覆盖作业的所有细节，存在操作危险，且作业人员通过观察视频来完成机器人的控制，控制过程繁琐，且无法保证精度的问题。

Description

一种基于VR技术的带电作业机器人控制系统
技术领域
本发明涉及带电作业机器人技术领域，特别是涉及一种基于VR技术的带电作业机器人控制系统。
背景技术
现有技术中，带电作业机器人控制系统一般通过视频监控观察现场情况，并根据视频画面进行机器人的控制操作，视频画面不能完全覆盖作业的所有细节，存在操作危险，且作业人员通过观察视频来完成机器人的控制，控制过程繁琐，且无法保证精度。
发明内容
为了解决带电作业机器人控制系统一般通过视频监控观察现场情况，并根据视频画面进行机器人的控制操作，视频画面不能完全覆盖作业的所有细节，存在操作危险，且作业人员通过观察视频来完成机器人的控制，控制过程繁琐，且无法保证精度的问题，本发明的目的是提供一种基于VR技术的带电作业机器人控制系统。
为了实现上述目的，本发明采用如下技术方案：一种基于VR技术的带电作业机器人控制系统，包括有双目视觉模块和人机交互模块，所述双目视觉模块连接有数据库模块，所述数据库模块连接有分析显示模块，所述人机交互模块连接有任务规划模块，所述任务规划模块连接有运动控制模块，所述运动控制模块连接有机器人系统；
所述数据库模块包括有虚拟作业环境数据库、作业任务数据库和虚拟机器人数据库，所述虚拟作业环境数据库分别与双目视觉模块、任务规划模块连接，所述虚拟机器人数据库分别与运动控制模块、任务规划模块连接连接，所述作业任务数据库与任务规划模块连接；
所述任务规划模块包括有作业任务模块，所述作业任务模块连接有控制算法模块，所述控制算法模块连接有运动轨迹生成模块；
所述运动控制模块包括有左机械臂控制器、右机械臂控制器、作业平台控制器和移动车体控制器。
优选的，所述双目视觉模块时通过双目摄像机获取图像，并通过边缘提取和图像匹配的方式识别出操作位，最后计算操作位的坐标信息发送到任务规划模块。
优选的，所述人机交互模块可提供监控机器人系统的窗口、虚拟现实场景和各种控制菜单，人机交互模块将任务指令发送到任务规划模块。
优选的，所述虚拟作业环境数据库中存储有作业对象和作业场景的模型数据；所述虚拟机器人数据库用于存储机器人各连接部分的三维模型数据、连接参数、机器人工作状态；所述作业任务数据库存储有多个任务说明文件，任务说明文件中的任务指令是通过机器人的多条运动命令来描述。
优选的，所述分析显示模块通过使用C++软件编程对虚拟现实平台的二次开发功能，调用对虚拟现实平台场景显示了作业环境数据库中的作业对象图像和机器人数据库中机器人各部分连接图。
优选的，所述任务规划模块收到任务指令，从作业任务数据库中查找并访问相关数据，然后将生成的命令发送到相应的模块执行。
优选的，所述运动控制模块接收到运动命令和轨迹表时，通过机器人求解逆运动学方程和雅可比行列式，计算出各关节角旋转度数和相应角速度，将发送关节旋转角度和角速度信息至机械臂驱动程序，并在机器人数据库中更新这些信息。
与现有技术相比，本发明实现的有益效果：双目视觉模块时通过双目摄像机获取图像，并通过边缘提取和图像匹配的方式识别出操作位，最后计算操作位的坐标信息发送到任务规划模块，人机交互模块可提供监控机器人系统的窗口、虚拟现实场景和各种控制菜单，人机交互模块将任务指令发送到任务规划模块，虚拟作业环境数据库中存储有作业对象和作业场景的模型数据；所述虚拟机器人数据库用于存储机器人各连接部分的三维模型数据、连接参数、机器人工作状态；所述作业任务数据库存储有多个任务说明文件，任务说明文件中的任务指令是通过机器人的多条运动命令来描述，分析显示模块通过使用C++软件编程对虚拟现实平台的二次开发功能，调用对虚拟现实平台场景显示了作业环境数据库中的作业对象图像和机器人数据库中机器人各部分连接图，任务规划模块收到任务指令，从作业任务数据库中查找并访问相关数据，然后将生成的命令发送到相应的模块执行，运动控制模块接收到运动命令和轨迹表时，通过机器人求解逆运动学方程和雅可比行列式，计算出各关节角旋转度数和相应角速度，将发送关节旋转角度和角速度信息至机械臂驱动程序，并在机器人数据库中更新这些信息。
附图说明
以下结合附图和具体实施方式来进一步详细说明本发明：
图1为本发明的整体的示意图；
图2为本发明的任务规划模块的示意图；
图3为本发明的运动控制模块的示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图3。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本发明提供一种技术方案：一种基于VR技术的带电作业机器人控制系统，包括有双目视觉模块和人机交互模块，所述双目视觉模块连接有数据库模块，所述数据库模块连接有分析显示模块，所述人机交互模块连接有任务规划模块，所述任务规划模块连接有运动控制模块，所述运动控制模块连接有机器人系统；
所述数据库模块包括有虚拟作业环境数据库、作业任务数据库和虚拟机器人数据库，所述虚拟作业环境数据库分别与双目视觉模块、任务规划模块连接，所述虚拟机器人数据库分别与运动控制模块、任务规划模块连接连接，所述作业任务数据库与任务规划模块连接；
所述任务规划模块包括有作业任务模块，所述作业任务模块连接有控制算法模块，所述控制算法模块连接有运动轨迹生成模块；
所述运动控制模块包括有左机械臂控制器、右机械臂控制器、作业平台控制器和移动车体控制器。
所述双目视觉模块时通过双目摄像机获取图像，并通过边缘提取和图像匹配的方式识别出操作位，最后计算操作位的坐标信息发送到任务规划模块。
所述人机交互模块可提供监控机器人系统的窗口、虚拟现实场景和各种控制菜单，人机交互模块将任务指令发送到任务规划模块。
所述虚拟作业环境数据库中存储有作业对象和作业场景的模型数据；所述虚拟机器人数据库用于存储机器人各连接部分的三维模型数据、连接参数、机器人工作状态；所述作业任务数据库存储有多个任务说明文件，任务说明文件中的任务指令是通过机器人的多条运动命令来描述。
所述分析显示模块通过使用C++软件编程对虚拟现实平台的二次开发功能，调用对虚拟现实平台场景显示了作业环境数据库中的作业对象图像和机器人数据库中机器人各部分连接图。
所述任务规划模块收到任务指令，从作业任务数据库中查找并访问相关数据，然后将生成的命令发送到相应的模块执行。
所述运动控制模块接收到运动命令和轨迹表时，通过机器人求解逆运动学方程和雅可比行列式，计算出各关节角旋转度数和相应角速度，将发送关节旋转角度和角速度信息至机械臂驱动程序，并在机器人数据库中更新这些信息。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种基于VR技术的带电作业机器人控制系统，包括有双目视觉模块和人机交互模块，其特征在于：所述双目视觉模块连接有数据库模块，所述数据库模块连接有分析显示模块，所述人机交互模块连接有任务规划模块，所述任务规划模块连接有运动控制模块，所述运动控制模块连接有机器人系统；
所述数据库模块包括有虚拟作业环境数据库、作业任务数据库和虚拟机器人数据库，所述虚拟作业环境数据库分别与双目视觉模块、任务规划模块连接，所述虚拟机器人数据库分别与运动控制模块、任务规划模块连接连接，所述作业任务数据库与任务规划模块连接；
所述任务规划模块包括有作业任务模块，所述作业任务模块连接有控制算法模块，所述控制算法模块连接有运动轨迹生成模块；
所述运动控制模块包括有左机械臂控制器、右机械臂控制器、作业平台控制器和移动车体控制器。
2.根据权利要求1所述的一种基于VR技术的带电作业机器人控制系统，其特征在于：所述双目视觉模块时通过双目摄像机获取图像，并通过边缘提取和图像匹配的方式识别出操作位，最后计算操作位的坐标信息发送到任务规划模块。
3.根据权利要求1所述的一种基于VR技术的带电作业机器人控制系统，其特征在于：所述人机交互模块可提供监控机器人系统的窗口、虚拟现实场景和各种控制菜单，人机交互模块将任务指令发送到任务规划模块。
4.根据权利要求1所述的一种基于VR技术的带电作业机器人控制系统，其特征在于：所述虚拟作业环境数据库中存储有作业对象和作业场景的模型数据；所述虚拟机器人数据库用于存储机器人各连接部分的三维模型数据、连接参数、机器人工作状态；所述作业任务数据库存储有多个任务说明文件，任务说明文件中的任务指令是通过机器人的多条运动命令来描述。
5.根据权利要求1所述的一种基于VR技术的带电作业机器人控制系统，其特征在于：所述分析显示模块通过使用C++软件编程对虚拟现实平台的二次开发功能，调用对虚拟现实平台场景显示了作业环境数据库中的作业对象图像和机器人数据库中机器人各部分连接图。
6.根据权利要求1所述的一种基于VR技术的带电作业机器人控制系统，其特征在于：所述任务规划模块收到任务指令，从作业任务数据库中查找并访问相关数据，然后将生成的命令发送到相应的模块执行。
7.根据权利要求1所述的一种基于VR技术的带电作业机器人控制系统，其特征在于：所述运动控制模块接收到运动命令和轨迹表时，通过机器人求解逆运动学方程和雅可比行列式，计算出各关节角旋转度数和相应角速度，将发送关节旋转角度和角速度信息至机械臂驱动程序，并在机器人数据库中更新这些信息。
CN202110396339.8A 2021-04-13 2021-04-13 一种基于vr技术的带电作业机器人控制系统 Pending CN112975988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110396339.8A CN112975988A (zh) 2021-04-13 2021-04-13 一种基于vr技术的带电作业机器人控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110396339.8A CN112975988A (zh) 2021-04-13 2021-04-13 一种基于vr技术的带电作业机器人控制系统

Publications (1)

Publication Number Publication Date
CN112975988A true CN112975988A (zh) 2021-06-18

Family

ID=76338245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110396339.8A Pending CN112975988A (zh) 2021-04-13 2021-04-13 一种基于vr技术的带电作业机器人控制系统

Country Status (1)

Country Link
CN (1) CN112975988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547781A (zh) * 2022-03-04 2022-05-27 无锡豪丽坤自控设备有限公司 一种基于虚拟现实的船用桅杆性能评价方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481285A (zh) * 2013-09-16 2014-01-01 国家电网公司 基于现实虚拟技术的高压带电作业机器人控制系统及方法
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法
CN109318204A (zh) * 2018-10-24 2019-02-12 国网江苏省电力有限公司徐州供电分公司 一种带电作业双臂机器人智能控制系统
CN109434870A (zh) * 2018-09-18 2019-03-08 国网江苏省电力有限公司盐城供电分公司 一种用于机器人带电作业的虚拟现实操作系统
KR20190091870A (ko) * 2018-01-29 2019-08-07 부산대학교 산학협력단 모션센서와 vr을 활용한 로봇 제어 시스템
CN110682291A (zh) * 2019-10-16 2020-01-14 国网江苏省电力有限公司扬州供电分公司 一种基于vr的机器人遥操作系统及其遥操作方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481285A (zh) * 2013-09-16 2014-01-01 国家电网公司 基于现实虚拟技术的高压带电作业机器人控制系统及方法
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法
KR20190091870A (ko) * 2018-01-29 2019-08-07 부산대학교 산학협력단 모션센서와 vr을 활용한 로봇 제어 시스템
CN109434870A (zh) * 2018-09-18 2019-03-08 国网江苏省电力有限公司盐城供电分公司 一种用于机器人带电作业的虚拟现实操作系统
CN109318204A (zh) * 2018-10-24 2019-02-12 国网江苏省电力有限公司徐州供电分公司 一种带电作业双臂机器人智能控制系统
CN110682291A (zh) * 2019-10-16 2020-01-14 国网江苏省电力有限公司扬州供电分公司 一种基于vr的机器人遥操作系统及其遥操作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547781A (zh) * 2022-03-04 2022-05-27 无锡豪丽坤自控设备有限公司 一种基于虚拟现实的船用桅杆性能评价方法及系统
CN114547781B (zh) * 2022-03-04 2023-08-25 无锡豪丽坤自控设备有限公司 一种基于虚拟现实的船用桅杆性能评价方法及系统

Similar Documents

Publication Publication Date Title
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
CN109079799B (zh) 一种基于仿生的机器人感知控制系统及控制方法
CN109955254B (zh) 移动机器人控制系统及机器人末端位姿的遥操作控制方法
Hutchinson et al. A tutorial on visual servo control
JP5114019B2 (ja) エフェクタの軌道を制御するための方法
CN107901041A (zh) 一种基于图像混合矩的机器人视觉伺服控制方法
Naceri et al. Towards a virtual reality interface for remote robotic teleoperation
CN111459274B (zh) 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN111590567B (zh) 一种基于Omega手柄的空间机械臂遥操作规划方法
JP3924495B2 (ja) 遠隔操作制御装置
CN110385694A (zh) 机器人的动作示教装置、机器人系统以及机器人控制装置
CN206326605U (zh) 一种基于机器视觉的智能示教系统
CN110695988A (zh) 双机械臂协同运动方法及系统
CN104298244A (zh) 一种工业机器人三维实时高精度定位装置及方法
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
CN112975939A (zh) 一种协作型机械臂的动态轨迹规划方法
CN112975988A (zh) 一种基于vr技术的带电作业机器人控制系统
CN109693235B (zh) 一种仿人眼视觉跟踪装置及其控制方法
Kase et al. Visual servoing of the manipulator using the stereo vision
CN114378827A (zh) 一种基于移动机械臂整体控制的动态目标跟踪抓取方法
Capolei et al. Positioning the laparoscopic camera with industrial robot arm
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
JPH11338532A (ja) 教示装置
CN115590407A (zh) 清洁用机械臂规划控制系统、方法及清洁机器人
Matsumoto et al. Operation assist for a teleoperated robot system controlled with a lightweight and high-operable master device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618