CN107838921A - 一种基于vr的机器人培训系统 - Google Patents

一种基于vr的机器人培训系统 Download PDF

Info

Publication number
CN107838921A
CN107838921A CN201711000295.2A CN201711000295A CN107838921A CN 107838921 A CN107838921 A CN 107838921A CN 201711000295 A CN201711000295 A CN 201711000295A CN 107838921 A CN107838921 A CN 107838921A
Authority
CN
China
Prior art keywords
robot
equipment
training
emulation data
system based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711000295.2A
Other languages
English (en)
Inventor
吴祎
余盛
孙磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Better Intelligent Technology Co Ltd
Original Assignee
Shanghai Better Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Better Intelligent Technology Co Ltd filed Critical Shanghai Better Intelligent Technology Co Ltd
Priority to CN201711000295.2A priority Critical patent/CN107838921A/zh
Publication of CN107838921A publication Critical patent/CN107838921A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种基于VR的机器人培训系统，该系统包括VR培训示教器、VR仿真数据模块和VR设备，VR培训示教器连接VR仿真数据模块，VR设备连接VR仿真数据模块，VR培训示教器用于在培训中操作人员操作控制机器人动作，发出控制指令，VR仿真数据模块接收来自VR培训示教器的控制指令，根据机器人运动模型，解算产生用于在VR设备中呈现的机器人状态数据，使得能够在VR设备中呈现出三维的虚拟机器人操作空间以及机器人本体，VR设备戴在操作人员的头上，操作人员观察VR设备中的场景，体验机器人操作空间，操作VR培训示教器的控制按键，观察VR设备中机器人的工作反馈，持续不断，完成机器人操作培训任务。

Description

一种基于VR的机器人培训系统
技术领域
本发明属于机器人技术领域，特别涉及一种基于VR的机器人培训系统。
背景技术
VR(Virtual Reality，虚拟现实)是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。因此，将该技术应用到机器人培训中成为一种趋势。
公开号为CN106448422A的专利文件，公开了“基于VR装置的机器人培训系统，其特征在于，该系统包括机器人状态反馈装置、示教盒以及机器人控制器，所述机器人状态反馈装置上设有通讯模块，与机器人控制器进行信息交互，其用于采集机器人当前各部分姿态、动作状态数据以及模拟现场工况”。上述方案虽然也提出采用VR技术进行机器人的培训，但是，没有解释机器人控制器和机器人状态反馈装置如何与VR装置实现将机器人的动作状态准确呈现给操作人员，使得本领域的技术人员无法获知上述技术方案的是否能够实现。
发明内容
本发明提供了一种基于VR的机器人培训系统，以实现机器人培训在VR上的应用。
一种基于VR的机器人培训系统，该系统包括VR培训示教器、VR仿真数据模块和VR设备，VR培训示教器连接VR仿真数据模块，VR设备连接VR仿真数据模块，
VR培训示教器用于在培训中操作人员操作控制机器人动作，发出控制指令，
VR仿真数据模块接收来自VR培训示教器的控制指令，根据机器人运动模型，解算产生用于在VR设备中呈现的机器人状态数据，使得能够在VR设备中呈现出三维的虚拟机器人操作空间以及机器人本体，
VR设备戴在操作人员的头上，操作人员观察VR设备中的场景，体验机器人操作空间，操作VR培训示教器的控制按键，观察VR设备中机器人的工作反馈，持续不断，完成机器人操作培训任务。
进一步的，所述培训系统还包括显示器，显示器连接VR仿真数据模块，VR设备中的场景同样也可以在显示器上显示。
进一步的，所述培训系统还包括一个摄像头，该摄像头安装在VR设备的眼镜的前面板上并且连接VR仿真数据模块，当该VR设备戴在操作人员头上时，该摄像头用于获取VR培训示教器的实景画面，使得操作人员能在所述VR设备的虚拟场景中看到所述VR培训示教器实时画面。
进一步的，VR培训示教器通过无线通信方式连接VR仿真数据模块。
进一步的，VR设备通过HDMI和USB接口连接VR仿真数据模块。
进一步的，所述摄像头通过USB连接VR仿真数据模块。
进一步的，VR仿真数据模块部署在PC机上。
进一步的，所述VR设备呈现的机器人虚拟场景中，机器人的运动轨迹用突出的颜色显示在操作人员的视野中。
进一步的，VR仿真数据模块与VR培训示教器间以TCP/IP协议进行数据通信。
进一步的，所述培训系统针对6轴工业机器人的操作培训，VR仿真数据模块包括正向运动、逆向运动以及PTP/LIN/CIRC运动模块，还包括单轴运动、世界坐标系下的运动、基坐标系下的运动、工具坐标系下的运动、测量工具/基坐标，VR仿真数据模块还包括切换课程场景模块。
本发明通过一个VR仿真数据模块直接产生VR中机器人运动场景，接收培训示教器的指令，给操作人员逼真的机器人操作空间和操作反馈体会。通过对设备软硬件的集成，实现了机器人培训系统的模拟，通过虚拟环境的教学，减少了对真实机器人设备的依赖，降低了培训成本，同时降低了培训工程中发生危险事故的概率。
本发明系统能够实时的计算出机器人运行路径，并实时显示到VR头戴显示器中，让学员能够身临其境的感受到机器人的运动，增强了学员的沉浸感，使学员获得与操作真实机器人相同的培训效果。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1本发明的基于VR的机器人培训系统组成示意图。
图2是本发明实施例中VR仿真数据模块组成原理图。
图3是本发明实施例中示教器与PC主机间通信示意图。
具体实施方式
如图1所示，一种基于VR的机器人培训系统，该系统包括VR培训示教器、VR仿真数据模块和VR设备，VR培训示教器连接VR仿真数据模块，VR设备连接VR仿真数据模块。
VR培训示教器用于在培训中操作人员操作控制机器人动作，发出控制指令。VR仿真数据模块接收来自VR培训示教器的控制指令，根据机器人运动模型，解算产生用于在VR设备中呈现的机器人状态数据，使得能够在VR设备中呈现出三维的虚拟机器人操作空间以及机器人本体。VR设备戴在操作人员的头上，操作人员观察VR设备中的场景，体验机器人操作空间，操作VR培训示教器的控制按键，观察VR设备中机器人的工作反馈，持续不断，完成机器人操作培训任务。所述培训系统还包括显示器，显示器连接VR仿真数据模块，VR设备中的场景同样也可以在显示器上显示。所述培训系统还包括一个摄像头，该摄像头安装在VR设备的眼镜的前面板上并且连接VR仿真数据模块，当该VR设备戴在操作人员头上时，该摄像头用于获取VR培训示教器的实景画面，使得操作人员能在所述VR设备的虚拟场景中看到所述VR培训示教器实时画面。
所述培训系统针对6轴工业机器人的操作培训，机器人运动模型包括6R机器人实时逆运动学算法，该算法可以参考《控制理论与应用》(第25卷第6期，2008年12月)。
如图2所示，VR仿真数据模块包括正向运动、逆向运动以及PTP/LIN/CIRC运动模块，还包括单轴运动、世界坐标系下的运动、基坐标系下的运动、工具坐标系下的运动、测量工具/基坐标，VR仿真数据模块还包括切换课程场景模块。
VR仿真数据模块软件包括课程切换命令、参数设置命令、位置获取命令以及运动命令。
课程切换命令，根据用户的选择切换到不同的课程，虚拟场景中的老师会根据不同课程做出不同的讲解。
参数设置命令，包括设置机器人的运动速度、运行模式等。
位置获取命令，顾名思义就是获取机器人当前位置，包括两种方式，一是机器人六个轴的旋转角度，另一个是机器人TCP(tool center point，工具中心点)的位置及姿态。
运动命令分为轴运动、笛卡尔坐标系下运动以及高级运动指令(PTP点到点，LIN直线，CIRC圆弧)。
下图是切换至轴运动时的界面。A1～A6分别表示第一至第六个轴。+/-按钮表示绕旋转轴正向旋转/反向旋转。轴运动属于正向运动，按下哪块+/-按钮就是指定哪个轴旋转。
世界坐标系下运动时的界面中，XYZ分别表示沿着X、Y、Z方向移动。ABC分别表示绕着Z、Y、X轴旋转。世界坐标系下运动属于逆向运动，指定机器人TCP(tool center point，工具中心点)移动到哪个位置，然后由仿真软件反算出每个轴各需要旋转多少度。
除了世界坐标系下运动，还有工具坐标系下运动以及基坐标系下运动。这两者最终都会转换成在世界坐标系下运动。
VR设备是个VR头盔，VR仿真数据模块部署在PC主机上。机器人VR培训系统包括PC主机、培训示教器以及VR头盔。如图3所示，PC主机负责运行机器人模拟程序，并能够完成正向运动、逆向运动以及PTP/LIN/CIRC运动。培训示教器提供与虚拟机器人的交互界面，用户通过示教器控制机器人的运动。VR头盔负责将PC主机上的画面呈现给用户。PC主机与示教器之间以TCP/IP协议进行数据通信。
培训示教器包括Android平板电脑和Arduino开发板，Android平板电脑与Arduino开发板之间以USB协议进行数据通信，Arduino开发板将培训示教器的按键消息发送给Android平板电脑。
值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种基于VR的机器人培训系统，其特征在于，该系统包括VR培训示教器、VR仿真数据模块和VR设备，VR培训示教器连接VR仿真数据模块，VR设备连接VR仿真数据模块，
VR培训示教器用于在培训中操作人员操作控制机器人动作，发出控制指令，
VR仿真数据模块接收来自VR培训示教器的控制指令，根据机器人运动模型，解算产生用于在VR设备中呈现的机器人状态数据，使得能够在VR设备中呈现出三维的虚拟机器人操作空间以及机器人本体，
VR设备戴在操作人员的头上，操作人员观察VR设备中的场景，体验机器人操作空间，操作VR培训示教器的控制按键，观察VR设备中机器人的工作反馈，持续不断，完成机器人操作培训任务。
2.如权利要求1所述的基于VR的机器人培训系统，其特征在于，所述培训系统还包括显示器，显示器连接VR仿真数据模块，VR设备中的场景同样也可以在显示器上显示。
3.如权利要求1所述的基于VR的机器人培训系统，其特征在于，所述培训系统还包括一个摄像头，该摄像头安装在VR设备的眼镜的前面板上并且连接VR仿真数据模块，当该VR设备戴在操作人员头上时，该摄像头用于获取VR培训示教器的实景画面，使得操作人员能在所述VR设备的虚拟场景中看到所述VR培训示教器实时画面。
4.如权利要求1所述的基于VR的机器人培训系统，其特征在于，VR培训示教器通过无线通信方式连接VR仿真数据模块。
5.如权利要求1所述的基于VR的机器人培训系统，其特征在于，VR设备通过HDMI和USB接口连接VR仿真数据模块。
6.如权利要求3所述的基于VR的机器人培训系统，其特征在于，所述摄像头通过USB连接VR仿真数据模块。
7.如权利要求1所述的基于VR的机器人培训系统，其特征在于，VR仿真数据模块部署在PC机上。
8.如权利要求1所述的基于VR的机器人培训系统，其特征在于，所述VR设备呈现的机器人虚拟场景中，机器人的运动轨迹用突出的颜色显示在操作人员的视野中。
9.如权利要求1所述的基于VR的机器人培训系统，其特征在于，VR仿真数据模块与VR培训示教器间以TCP/IP协议进行数据通信。
10.如权利要求1所述的基于VR的机器人培训系统，其特征在于，所述培训系统针对6轴工业机器人的操作培训，VR仿真数据模块包括正向运动、逆向运动以及PTP/LIN/CIRC运动模块，还包括单轴运动、世界坐标系下的运动、基坐标系下的运动、工具坐标系下的运动、测量工具/基坐标，VR仿真数据模块还包括切换课程场景模块。
CN201711000295.2A 2017-10-24 2017-10-24 一种基于vr的机器人培训系统 Pending CN107838921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711000295.2A CN107838921A (zh) 2017-10-24 2017-10-24 一种基于vr的机器人培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711000295.2A CN107838921A (zh) 2017-10-24 2017-10-24 一种基于vr的机器人培训系统

Publications (1)

Publication Number Publication Date
CN107838921A true CN107838921A (zh) 2018-03-27

Family

ID=61662934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711000295.2A Pending CN107838921A (zh) 2017-10-24 2017-10-24 一种基于vr的机器人培训系统

Country Status (1)

Country Link
CN (1) CN107838921A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108544478A (zh) * 2018-06-26 2018-09-18 江苏汇博机器人技术股份有限公司 便携式机器人虚拟实操设备
CN109078334A (zh) * 2018-06-21 2018-12-25 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN113325733A (zh) * 2021-04-24 2021-08-31 安徽佐标智能科技有限公司 一种基于协作机器人的ar可视化互动仿真系统
CN113386112A (zh) * 2021-07-29 2021-09-14 厦门凤凰创壹软件有限公司 一种可控制多种品牌三维虚拟工业机器人的示教器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834230A (zh) * 2015-05-19 2015-08-12 芜湖固高自动化技术有限公司 一种工业机器人教学培训系统及其控制方法
CN106448422A (zh) * 2016-08-22 2017-02-22 纳博特南京科技有限公司 基于vr装置的机器人培训系统及培训方法
CN106886285A (zh) * 2017-01-20 2017-06-23 西安电子科技大学 一种基于虚拟现实的文物交互系统及操作方法
US20170203438A1 (en) * 2015-03-04 2017-07-20 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN206479730U (zh) * 2017-01-12 2017-09-08 张新民 具有3d实景摄影记录的眼镜装置
CN107220099A (zh) * 2017-06-20 2017-09-29 华中科技大学 一种基于三维模型的机器人可视化虚拟示教系统及方法
CN206532243U (zh) * 2016-10-19 2017-09-29 歌尔科技有限公司 一种虚拟现实头盔
CN107263449A (zh) * 2017-07-05 2017-10-20 中国科学院自动化研究所 基于虚拟现实的机器人远程示教系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170203438A1 (en) * 2015-03-04 2017-07-20 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN104834230A (zh) * 2015-05-19 2015-08-12 芜湖固高自动化技术有限公司 一种工业机器人教学培训系统及其控制方法
CN106448422A (zh) * 2016-08-22 2017-02-22 纳博特南京科技有限公司 基于vr装置的机器人培训系统及培训方法
CN206532243U (zh) * 2016-10-19 2017-09-29 歌尔科技有限公司 一种虚拟现实头盔
CN206479730U (zh) * 2017-01-12 2017-09-08 张新民 具有3d实景摄影记录的眼镜装置
CN106886285A (zh) * 2017-01-20 2017-06-23 西安电子科技大学 一种基于虚拟现实的文物交互系统及操作方法
CN107220099A (zh) * 2017-06-20 2017-09-29 华中科技大学 一种基于三维模型的机器人可视化虚拟示教系统及方法
CN107263449A (zh) * 2017-07-05 2017-10-20 中国科学院自动化研究所 基于虚拟现实的机器人远程示教系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109078334A (zh) * 2018-06-21 2018-12-25 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN109078334B (zh) * 2018-06-21 2020-04-14 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN108544478A (zh) * 2018-06-26 2018-09-18 江苏汇博机器人技术股份有限公司 便携式机器人虚拟实操设备
CN113325733A (zh) * 2021-04-24 2021-08-31 安徽佐标智能科技有限公司 一种基于协作机器人的ar可视化互动仿真系统
CN113386112A (zh) * 2021-07-29 2021-09-14 厦门凤凰创壹软件有限公司 一种可控制多种品牌三维虚拟工业机器人的示教器

Similar Documents

Publication Publication Date Title
Pérez et al. Industrial robot control and operator training using virtual reality interfaces
CN107221223B (zh) 一种带有力/触觉反馈的虚拟现实飞机座舱系统
Brizzi et al. Effects of augmented reality on the performance of teleoperated industrial assembly tasks in a robotic embodiment
CN107838921A (zh) 一种基于vr的机器人培训系统
US9984178B2 (en) Robot simulator, robot teaching apparatus and robot teaching method
US5320538A (en) Interactive aircraft training system and method
Webel et al. Augmented reality training for assembly and maintenance skills
WO2022166264A1 (zh) 作业机械的模拟训练系统、方法、装置和电子设备
CN108908298B (zh) 一种融合虚拟现实技术的主从式喷涂机器人示教系统
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
CN105159448A (zh) 一种多人同场景的浸入型虚拟现实装置
Naceri et al. The vicarios virtual reality interface for remote robotic teleoperation: Teleporting for intuitive tele-manipulation
CN108356796A (zh) 一种可适配多种工业机器人的示教系统
CN107571271A (zh) 一种基于vr的机器人培训示教器
Hormaza et al. On-line training and monitoring of robot tasks through virtual reality
CN109128591A (zh) 用于实时长距离远程焊接的系统和方法
CN107577159A (zh) 扩增实境仿真系统
CN107257946B (zh) 用于虚拟调试的系统
CN105677021A (zh) 一种基于ar系统与vr系统融合的新手法并将之运用于遗迹的重现中
Cousins et al. Development of a mixed reality based interface for human robot interaciotn
CN207937787U (zh) 扩增实境仿真系统
Klačková et al. Virtual reality in Industry
KR19990054791A (ko) 무선조종 모형 항공기 시뮬레이션 시스템
CN109213306A (zh) 一种机器人远程控制平台及其设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327

RJ01 Rejection of invention patent application after publication