CN109262609A - 基于虚拟现实技术的机械臂远程控制系统及方法 - Google Patents

基于虚拟现实技术的机械臂远程控制系统及方法 Download PDF

Info

Publication number
CN109262609A
CN109262609A CN201810996564.3A CN201810996564A CN109262609A CN 109262609 A CN109262609 A CN 109262609A CN 201810996564 A CN201810996564 A CN 201810996564A CN 109262609 A CN109262609 A CN 109262609A
Authority
CN
China
Prior art keywords
mechanical arm
virtual reality
arm
motion information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810996564.3A
Other languages
English (en)
Inventor
郭毓
杨光
蔡梁
郭飞
肖潇
郭健
吴益飞
张冕
李光彦
吴钧浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810996564.3A priority Critical patent/CN109262609A/zh
Publication of CN109262609A publication Critical patent/CN109262609A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1658—Programme controls characterised by programming, planning systems for manipulators characterised by programming language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators

Abstract

本发明提出了一种基于虚拟现实技术的机械臂远程控制系统及方法，控制系统包括机器人控制柜、虚拟现实仿真系统以及控制器，所述虚拟现实仿真系统和机器人控制柜通过光纤通讯或无线通讯进行连接，所述机器人控制柜用于获取机械臂的运动信息，所述虚拟现实仿真系统用于根据机械臂的运动信息还原机械臂当前作业场景，所述控制器用于控制虚拟机械臂和/或机械臂的运动。本发明在机械臂远程操作中采用虚拟现实技术使系统具有人机交互功能，降低操作难度，提高了安全性。

Description

基于虚拟现实技术的机械臂远程控制系统及方法
技术领域
本发明涉及机械臂远程控制技术，具体涉及一种虚拟现实技术的机械臂远程控制系统及方法。
背景技术
随着科技的进步，机器人技术的发展进入了一个新的阶段，大量的机器人被应用于各个领域，特别是会对人身安全造成危害的环境中，需要能够满足不同功能的机器人来代替人类完成工作。
在一些特定危险环境中，使用机器人完成工作能够有效的保证工作人员的人身安全，但是因为工作人员无法近距离直观的观测机器人的工作环境，在对机器人遥操作时常常会造成误操作，进而影响工作的完成，甚至会对工作人员和工作设备造成危害。
发明内容
本发明提出了一种基于虚拟现实技术的机械臂远程控制系统。
实现本发明的技术解决方案为：一种基于虚拟现实技术的机械臂远程控制系统，包括机器人控制柜、虚拟现实仿真系统以及控制器，所述虚拟现实仿真系统和机器人控制柜通过光纤通讯或无线通讯进行连接，所述机器人控制柜用于获取机械臂的运动信息，所述虚拟现实仿真系统用于根据机械臂的运动信息还原机械臂当前作业场景，所述控制器用于控制虚拟机械臂和/或机械臂的运动。
优选地，所述虚拟现实仿真系统包括计算机、显示器以及VR设备，所述计算机用于预先构建作业场景及机械臂并根据当前运动信息解析出位姿数据，虚拟机械臂当前作业场景，所述显示器及VR设备用于还原显示当前作业场景。
优选地，所述虚拟现实仿真系统用于根据机械臂的运动信息给出行进轨迹规划并显示。
本发明还提出了一种基于虚拟现实技术的机械臂远程控制方法，具体步骤为：
步骤1、构建机械臂几何模型以及作业场景；
步骤2、获取机械臂当前运动信息；
步骤3、根据机械臂当前运动信息，通过虚拟现实仿真系统还原机械臂当前作业场景；
步骤4、控制虚拟机械臂进行工作或根据行进轨迹规划路径获得路径规划控制策略并将控制策略传送到工作端，控制实际机械臂工作。
优选地，所述机械臂几何模型包括机械臂运行轨迹路径及6个自由度的旋转角度轨迹。
本发明与现有技术相比，其显著优点为：(1)本发明在机械臂远程操作中采用虚拟现实技术使系统具有人机交互功能，降低操作难度，提高了安全性；(2)本发明采用轨迹规划和实时控制相结合的工作方式，极大地降低了误操作发生的可能性；(3)本发明采用前期场景建模的方式，能够精确完美的还原实际工作场景，加强了操作人员的临场感和沉浸感，可以更加准确的观察到机械臂的工作轨迹，提高工作的精准度，有利于完成相对较为复杂的工作。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为系统示意图。
图2为机械臂场景模型构建流程图。
图3为本发明总体结构图。
图4为本发明人机交互过程示意图。
图5为机械臂运动学示意图。
具体实施方式
如图1所示，一种基于虚拟现实技术的机械臂远程控制系统，包括机器人控制柜、虚拟现实仿真系统以及控制器，所述虚拟现实仿真系统和机器人控制柜通过光纤通讯或无线通讯进行连接，所述机器人控制柜用于获取机械臂的运动信息，所述虚拟现实仿真系统用于根据机械臂的运动信息还原机械臂当前作业场景，所述控制器用于控制虚拟机械臂和/或机械臂的运动。在某些实施例中，可以选择连接控制器的控制对象，在模拟操作中，控制器只与虚拟现实仿真系统实现连接，通过控制器控制虚拟机械臂运动，并能实时观察虚拟机械臂的运动情况。在某些实施例中，控制器与机器人控制柜以及虚拟现实仿真系统连接，直接控制机械臂的同时亦能通过虚拟现实仿真系统实时观测当前机械臂的状态。
进一步的实施例中，所述虚拟现实仿真系统包括计算机、显示器以及VR设备，所述计算机用于预先构建作业场景及机械臂并根据当前运动信息解析出位姿数据，虚拟机械臂当前作业场景，所述显示器及VR设备用于还原显示当前作业场景。虚拟现实仿真系统提前构建好作业场景，然后根据机械臂的当前运动信息实时还原显现。VR设备通常包含头盔、定位器。
进一步的实施例中，所述虚拟现实仿真系统用于根据机械臂的运动信息给出行进轨迹规划并显示。通过对机械臂及机械臂作业场景进行运动学建模与分析，根据输入的路径点或者规划的路径，解算运动路径过程，将生成的数据赋值给仿真场景的虚拟机器人，观察虚拟机器人运动状态,将并生成的轨迹在场景中直观的展示出来,从而完成真实环境中机械臂的运动规划。
一种基于虚拟现实技术的机械臂远程控制方法，具体步骤为：
步骤1、构建机械臂几何模型以及作业场景；
步骤2、获取机械臂当前运动信息；
步骤3、根据机械臂当前运动信息，通过虚拟现实仿真系统还原机械臂当前作业场景；
步骤4、控制虚拟机械臂进行工作或根据行进轨迹规划路径获得路径规划控制策略并将控制策略传送到工作端，控制实际机械臂工作。
优选地，所述机械臂几何模型包括机械臂运行轨迹路径及6个自由度的旋转角度轨迹。
下面结合实施例对本发明做进一步说明。
实施例1
如图2～图4所示，根据机械臂部件及操作物体具体尺寸对工作场景进行模型构建，真实复现现实工作场景，通过使用软件，例如MultiGen Creator对模型进行建模处理完成场景中机械臂、被工作物件和环境信息的各个节点的命名和重组，通过查找节点名称来访问运动模型的节点最后完成对模型的动态信息的管理，对各个节点的命名和重组直接根据现实物体中各个运动节点在模型上进行节点的添加和标注。获得设备节点的位置信息后，通过指定机械臂末端的目标点或者规划的路径作为机械臂的轨迹规划的输入，对机械臂运动过程进行路径规划；使用键盘和VR手柄作为控制器，实现手动调节机械臂关节角的功能，通过键盘或手柄按键实现机械臂6个关节角度数的增加和减少；本实施例实现了遥显示界面的功能，跟机械臂建立通信，实现虚拟机械臂与实体机器人的姿态信息实时同步，虚拟VR环境中的场景和真实环境中场景保持一致操作者可完成仿真或者遥操作的任务，形成一个人在闭环中的控制系统。
本实施例对机械臂进行轨迹规划是根据机械臂的目标路径点或者目标路径，加上关节角速度及加速度等参数限制，得到机械臂各关节随时间的变化过程。
通过对机械臂系统进行运动学建模与分析，根据输入的路径点或者规划的路径，结算运动路径过程，将生成的数据赋值给仿真场景的虚拟机器人，观察虚拟机器人运动状态,并将生成的轨迹在场景中直观的展示出来,从而完成真实环境中机械臂的运动规划。
机械臂运动是以末端移动与关节旋转的形式实现的，对机械臂运动学分析，需要对机械臂系统进行运动学建模，即获取机械臂末端的位姿信息，分析各关节的位姿坐标系变换关系，建立机械臂各关节角度与末端位姿的对应关系。如图5所示，采用D-H矩阵法，采用为每个连杆建立附属参照系的方法，可唯一地描述相邻连杆间平移或转动的关系。相邻连杆的位置关系可由θ，α，a，d这四个参数表示，连杆的参数定义如表1所示。
表1
表2
根据机械臂连杆坐标系及其变换求解运动方程，建立机械臂的运动学模型。根据机械臂UR5的D-H参数，且连杆位姿的坐标变换遵循“由左到右”的原则，连杆i的位姿变换矩阵为：
Ai＝Rot(zi,θi)Trans(0,0,di)Trans(ai,0,0)Rot(xi,αi) (1)
其中，Rot(zi,θi)表示绕参考系的zi轴旋转θ角得到的新的坐标系，Trans(0,0,di)合表示沿zi轴平移di个单位，Trans(ai,0,0)式表示沿x轴平移ai个单位，Rot(xi,ai)表示沿xi轴平移ai个单位，根据公式(1)可得：
从而，可得Ai的逆矩阵为：
把表2中数据代入式(2)、式(3)中，可得机械臂相邻连杆的位姿变换矩阵Ai(i＝1,…,6)及逆矩阵A-1 i(i＝1,…,6)，将机械臂各连杆与前一连杆的位姿变换矩阵相乘，得到机械臂末端在基坐标系的位姿变换矩阵T为：
对于连杆参数固定的机械臂，当输入各个关节角度时即可得到末端执行器的位姿。

Claims (5)

1.基于虚拟现实技术的机械臂远程控制系统，其特征在于，包括机器人控制柜、虚拟现实仿真系统以及控制器，所述虚拟现实仿真系统和机器人控制柜通过光纤通讯或无线通讯进行连接，所述机器人控制柜用于获取机械臂的运动信息，所述虚拟现实仿真系统用于根据机械臂的运动信息还原机械臂当前作业场景，所述控制器用于控制虚拟机械臂和/或机械臂的运动。
2.根据权利要求1所述的基于虚拟现实技术的机械臂远程控制系统，其特征在于，所述虚拟现实仿真系统包括计算机、显示器以及VR设备，所述计算机用于预先构建作业场景及机械臂并根据当前运动信息解析出位姿数据，虚拟机械臂当前作业场景，所述显示器及VR设备用于还原显示当前作业场景。
3.根据权利要求1或2任一所述的基于虚拟现实技术的机械臂远程控制系统，其特征在于，所述虚拟现实仿真系统用于根据机械臂的运动信息给出行进轨迹规划路径并显示。
4.基于权利要求1所述的基于虚拟现实技术的机械臂远程控制系统的控制方法，其特征在于，具体步骤为：
步骤1、构建机械臂几何模型以及作业场景；
步骤2、获取机械臂当前运动信息；
步骤3、根据机械臂当前运动信息，通过虚拟现实仿真系统还原机械臂当前作业场景；
步骤4、控制虚拟机械臂进行工作或根据行进轨迹规划路径获得路径规划控制策略并将控制策略传送到工作端，控制实际机械臂工作。
5.根据权利要求4所述的虚拟现实技术的机械臂远程控制方法，其特征在于，所述机械臂几何模型包括机械臂运行轨迹路径及6个自由度的旋转角度轨迹。
CN201810996564.3A 2018-08-29 2018-08-29 基于虚拟现实技术的机械臂远程控制系统及方法 Pending CN109262609A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810996564.3A CN109262609A (zh) 2018-08-29 2018-08-29 基于虚拟现实技术的机械臂远程控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810996564.3A CN109262609A (zh) 2018-08-29 2018-08-29 基于虚拟现实技术的机械臂远程控制系统及方法

Publications (1)

Publication Number Publication Date
CN109262609A true CN109262609A (zh) 2019-01-25

Family

ID=65155065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810996564.3A Pending CN109262609A (zh) 2018-08-29 2018-08-29 基于虚拟现实技术的机械臂远程控制系统及方法

Country Status (1)

Country Link
CN (1) CN109262609A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109778932A (zh) * 2019-03-22 2019-05-21 江苏徐工工程机械研究院有限公司 一种基于手臂姿态的非接触式挖机臂操控系统及操控方法
CN110039547A (zh) * 2019-05-27 2019-07-23 清华大学深圳研究生院 一种柔性机械臂遥操作的人机交互终端及方法
CN110076771A (zh) * 2019-04-01 2019-08-02 安徽师范大学 一种机器人虚拟现实仿真方法及结构体系平台
CN110421558A (zh) * 2019-06-21 2019-11-08 中国科学技术大学 面向配电网作业机器人的通用型遥操作系统及方法
CN111382194A (zh) * 2020-03-09 2020-07-07 北京如影智能科技有限公司 一种获取机械臂操控数据的方法及装置
CN112255972A (zh) * 2020-09-07 2021-01-22 广州铁路职业技术学院（广州铁路机械学校） 一种激光机控制方法及系统
CN112819966A (zh) * 2021-01-05 2021-05-18 上海大学 一种适合水下遥控机器人人机交互作业的环境融合系统及方法
CN112947238A (zh) * 2021-03-15 2021-06-11 哈尔滨工业大学 一种基于vr技术的工业机器人实时控制系统
WO2021127839A1 (zh) * 2019-12-23 2021-07-01 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种"Eye-in-Hand"机器人-3D相机标定方法
CN113421470A (zh) * 2020-12-02 2021-09-21 中国人民解放军63920部队 一种空间机械臂遥操作仿真训练系统及方法
CN113942012A (zh) * 2021-10-19 2022-01-18 江西省智能产业技术创新研究院 机械臂关节方法、系统、计算机及可读存储介质
CN114218702A (zh) * 2021-12-10 2022-03-22 哈尔滨工业大学（深圳） 一种面向空间在轨操控的虚拟视景仿真系统
CN114700932A (zh) * 2022-04-29 2022-07-05 清华大学 面向机械臂仿真到实际运动的逆运动学建模方法及装置
CN114872050A (zh) * 2022-06-01 2022-08-09 清华大学深圳国际研究生院 一种双臂履带式移动操作机器人控制方法及控制系统
CN115145303A (zh) * 2022-03-10 2022-10-04 重庆大学 基于视觉听觉增强反馈的重载液压臂辅助操控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085072A (zh) * 2013-03-11 2013-05-08 南京埃斯顿机器人工程有限公司 基于三维建模软件实现工业机器人离线编程的方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法
CN107610579A (zh) * 2017-09-05 2018-01-19 芜湖瑞思机器人有限公司 基于vr系统控制的工业机器人示教系统及其示教方法
CN107901039A (zh) * 2017-11-13 2018-04-13 浙江工业大学 基于Python的桌面级机器人离线编程仿真系统
CN108453742A (zh) * 2018-04-24 2018-08-28 南京理工大学 基于Kinect的机器人人机交互系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103085072A (zh) * 2013-03-11 2013-05-08 南京埃斯顿机器人工程有限公司 基于三维建模软件实现工业机器人离线编程的方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制系统及其方法
CN106737668A (zh) * 2016-12-09 2017-05-31 南京理工大学 一种基于虚拟现实的带电作业机器人遥操作方法
CN107610579A (zh) * 2017-09-05 2018-01-19 芜湖瑞思机器人有限公司 基于vr系统控制的工业机器人示教系统及其示教方法
CN107901039A (zh) * 2017-11-13 2018-04-13 浙江工业大学 基于Python的桌面级机器人离线编程仿真系统
CN108453742A (zh) * 2018-04-24 2018-08-28 南京理工大学 基于Kinect的机器人人机交互系统及方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109778932A (zh) * 2019-03-22 2019-05-21 江苏徐工工程机械研究院有限公司 一种基于手臂姿态的非接触式挖机臂操控系统及操控方法
CN110076771A (zh) * 2019-04-01 2019-08-02 安徽师范大学 一种机器人虚拟现实仿真方法及结构体系平台
CN110039547A (zh) * 2019-05-27 2019-07-23 清华大学深圳研究生院 一种柔性机械臂遥操作的人机交互终端及方法
CN110421558A (zh) * 2019-06-21 2019-11-08 中国科学技术大学 面向配电网作业机器人的通用型遥操作系统及方法
WO2021127839A1 (zh) * 2019-12-23 2021-07-01 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种"Eye-in-Hand"机器人-3D相机标定方法
CN111382194A (zh) * 2020-03-09 2020-07-07 北京如影智能科技有限公司 一种获取机械臂操控数据的方法及装置
CN112255972A (zh) * 2020-09-07 2021-01-22 广州铁路职业技术学院（广州铁路机械学校） 一种激光机控制方法及系统
CN113421470A (zh) * 2020-12-02 2021-09-21 中国人民解放军63920部队 一种空间机械臂遥操作仿真训练系统及方法
CN112819966A (zh) * 2021-01-05 2021-05-18 上海大学 一种适合水下遥控机器人人机交互作业的环境融合系统及方法
CN112947238A (zh) * 2021-03-15 2021-06-11 哈尔滨工业大学 一种基于vr技术的工业机器人实时控制系统
CN112947238B (zh) * 2021-03-15 2021-11-09 哈尔滨工业大学 一种基于vr技术的工业机器人实时控制系统
CN113942012A (zh) * 2021-10-19 2022-01-18 江西省智能产业技术创新研究院 机械臂关节方法、系统、计算机及可读存储介质
CN114218702A (zh) * 2021-12-10 2022-03-22 哈尔滨工业大学（深圳） 一种面向空间在轨操控的虚拟视景仿真系统
CN115145303A (zh) * 2022-03-10 2022-10-04 重庆大学 基于视觉听觉增强反馈的重载液压臂辅助操控系统
CN114700932A (zh) * 2022-04-29 2022-07-05 清华大学 面向机械臂仿真到实际运动的逆运动学建模方法及装置
CN114872050A (zh) * 2022-06-01 2022-08-09 清华大学深圳国际研究生院 一种双臂履带式移动操作机器人控制方法及控制系统

Similar Documents

Publication Publication Date Title
CN109262609A (zh) 基于虚拟现实技术的机械臂远程控制系统及方法
CN104067781B (zh) 基于虚拟机器人与真实机器人集成的采摘系统及方法
CN103302668B (zh) 基于Kinect的空间遥操作机器人的控制系统及其方法
CN111633644A (zh) 一种结合智能视觉的工业机器人数字孪生系统及其运行方法
CN108214445B (zh) 一种基于ros的主从异构遥操作控制系统
CN107610579A (zh) 基于vr系统控制的工业机器人示教系统及其示教方法
CN107363812A (zh) 无线控制的六自由度机械臂示教系统
CN106313049A (zh) 一种仿人机械臂体感控制系统及控制方法
CN108908298B (zh) 一种融合虚拟现实技术的主从式喷涂机器人示教系统
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
WO2018219194A1 (zh) 基于数据手臂的面向空间站机器人的遥操作系统
KR102030141B1 (ko) 로봇의 팔꿈치 제어시스템 및 그 제어방법
CN108284425A (zh) 一种带电作业机器人机械臂协作力反馈主从控制方法及系统
CN110039561A (zh) 基于点云的带电作业机器人遥操作人员培训系统及方法
Fang et al. Robot path and end-effector orientation planning using augmented reality
CN109318204A (zh) 一种带电作业双臂机器人智能控制系统
CN110695988A (zh) 双机械臂协同运动方法及系统
CN115469576A (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN107577159A (zh) 扩增实境仿真系统
CN106469467A (zh) 一种基于人体功能部位的虚拟维修行为合成方法及系统
CN114102590A (zh) 一种工业机器人仿真方法、系统及应用
CN112045664A (zh) 一种基于ros系统的通用机械臂控制器
Xiong et al. Predictive display and interaction of telerobots based on augmented reality
CN116197899A (zh) 一种基于vr的主动式机器人遥操作系统
CN107738256A (zh) 一种手把手仿人示教机器人编程系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication