CN110977981A - 一种机器人虚拟现实同步系统及同步方法 - Google Patents

Abstract

本发明属于机器人智能控制技术领域，公开了一种机器人虚拟现实同步系统及同步方法，包括MR眼镜系统、虚拟操作间和带有机器人控制系统的机器人；所述虚拟操作间包括通过路由器与MR眼镜系统电连接的桌面控制系统，所述桌面控制系统还通过网络与机器人控制系统连接，所述MR眼镜系统包括用于穿戴的MR眼镜、力反馈装置和位姿捕获装置；所述力反馈装置和位姿捕获装置均与MR眼镜电连接；所述MR眼镜与所述桌面控制系统数据同步显示；所述机器人控制系统包括远程运维服务器，以及设置在机器人上的通用控制器、无线定位模块和数据采集模块；所述远程运维服务器通过网络与所述MR眼镜系统、虚拟操作间和通用控制器控制相连。

Description

一种机器人虚拟现实同步系统及同步方法

技术领域

本发明专利属于机器人智能控制技术领域，具体涉及为一种机器人虚拟现实同步系统及同步方法。

背景技术

工业机器人是面向工业领域的多关节机械手或多自由度的机器装置，它能自动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器。它可以接受人类指挥，也可以按照预先编排的程序运行，现代的工业机器人还可以根据人工智能技术制定的原则纲领行动。

随着科技的飞速发展，虚拟现实技术开始应用于工业机器人的控制上，特别是应用于人无法或不便操作的工作环境中，如核电环境中。

现有机器人带电作业培训中，采用实物操作，一方面会大量消耗电力，另一方面由于培训人员操作生疏，可能发生安全事故；在带电作业机器人作业过程中，工作环境复杂多变，线路布局紧密无规则，作业空间狭小，这种非结构化的作业环境将大大增加机器人带电作业的难度，降低作业效率，甚至带来安全隐患。研究基于虚拟现实视觉临场感的带电作业技术，不仅可以为培训人员提供一个高效、安全的培训平台，提高带电作业培训的效率；同时还可以为操作人员构造一个真实性、沉浸性、多感知性和交互性好的虚拟现实系统，提高带电作业的自动化水平和安全性，提高工业的运行质量，具有巨大的经济效益和社会效益。

如现有技术中，如公开号为CN205809568U，名称为“一种结合VR和机器人的智能家居系统”，公开了一种结合VR和机器人的智能家居系统，包括VR系统和机器人，所述VR系统包括头戴显示器、电脑和动作捕捉设备，所述电脑存储有房子的立体场景，所述电脑与机器人连接，所述头戴显示器用于显示虚拟场景，所述动作捕捉设备用于感应用户的动作情况，所述电脑用于接收动作捕捉设备获取的人体现实动作信息，并将相应的虚拟现实图像发送至头戴显示器上，并将动作信息传递给机器人进行同步操作。本实用新型通过VR技术与机器人相结合，实现仿真程度高的智能生活控制方式。但是现在还缺少一种适合工业运用的、同步率高的虚拟现实同步操作系统和方法。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种机器人虚拟现实同步系统，以解决或改善上述的问题。

为实现本发明的目的，本发明所采取的技术方案是：

一种机器人虚拟现实同步系统，其特征在于：包括MR眼镜系统、虚拟操作间和带有机器人控制系统的机器人；所述虚拟操作间包括通过路由器与MR眼镜系统电连接的桌面控制系统，所述桌面控制系统还通过网络与机器人控制系统连接；即通过虚拟操作间将MR眼镜系统和机器人控制相连，根据实际使用，可以基于工业网络实现单套MR眼镜系统对应位于不同地方、若干数量的机器人。

所述MR眼镜系统包括用于穿戴的MR眼镜、力反馈装置和位姿捕获装置；所述力反馈装置和位姿捕获装置均与MR眼镜电连接；所述MR眼镜与所述桌面控制系统数据同步显示；MR眼镜可以获取并显示机器人视角，通过穿戴设备即可实时将操作指令传递给机器人。

而所述机器人控制系统包括远程运维服务器，以及设置在机器人上的通用控制器、无线定位模块和数据采集模块；所述远程运维服务器通过网络与所述MR眼镜系统、虚拟操作间和通用控制器控制相连，无线定位模块和数据采集模块将机器人的姿态、受力等动作数据实时采集并传送给MR眼镜系统使操作人员能够感受到，通过通用控制器即可根据MR眼镜系统传递来的操作指令转换为对机器人的动作指令完成对应动作，实现了操作人员远程、实时同步的虚拟现实控制。

优选地，所述机器人包括设置在移动平台上、由驱动电机和驱动轴带动的机械臂，移动平台可以实现机器人的快速到位。

进一步的，所述数据采集模块设置在机器人的机械臂上，所述数据采集模块包括用于采集机械臂驱动轴输出动力的六轴力传感器、用于完成视场内设备所有特征点的三维测量的双目相机和利用入射光信号与反射光信号的变化来进行设备的三维测量和扫描的深度相机。

而所述六轴力传感器安装于机器人的机械臂驱动轴上，所述双目相机安装于机器人的移动平台上，所述深度相机安装于机械臂驱动电机安装壳外部。

优选地，所述MR眼镜系统还包括三维显示模块，所述三维显示模块用于显示机械臂作业环境的三维图像。

进一步的，所述桌面控制系统包括用于账号密码登陆安全管控的验证模块，用于获取系统各部件实时空间位置数据的GIS模块，用于实时监控的监控单元，以及用于显示系统数所述据的显示模块。

优选地，所述显示模块为带有显示画面切换功能、由若干块显示屏组成的环幕屏。

本发明还公开了一种机器人虚拟现实同步方法，其特征在于，包括以下步骤：

步骤1，通过虚拟操作间的桌面控制系统验证身份并登录；

步骤2，使用MR眼镜系统通过所述桌面控制系选择系统内待同步控制的机器人并与其机器人控制系统进行连接，获取机器人视野，并通过MR眼镜系统的力反馈装置和位姿捕获装置与机器人的动作单元和机械臂关节数据同步相连；

步骤3，通过MR眼镜系统控制机器人的移动平台运动至目标位置，通过机器人的深度相机测量当前环境和故障点工况图像、构建并上传3D环境图，并通过机器人的双目相机采集机器人的机械臂本体结构周围设备的所有特征点的三维信息；

步骤4，将步骤3中的3D环境图和三维信息通过MR眼镜系统的MR眼镜显示作为手势操作的视野，并通过MR眼镜系统的力反馈装置和位姿捕获装置将手势操作动作同步传递给机器人。

本发明提供的机器人虚拟现实同步系统，具有以下有益效果：

本发明的技术方案可通过MR眼镜系统和虚拟操作间桌面系统实现机器人的虚拟和现实的同步控制，控制方式多样，且可远程控制，可用于机器人虚拟现实的教学、培训、演讲操作和实际任务的执行，提高机器人作业的培训效率，同时为操作人员构造一个真实性、沉浸性、多感知性和交互性好的虚拟现实系统，提高机器人作业的自动化水平和安全性，提高工业的维修效率。

附图说明

本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：

图1为机器人虚拟现实同步系统的原理框图。

图2为机器人虚拟现实同步系统机械臂结构图。

其中，

1、机械臂；2、移动平台；3、六轴力传感器；4、双目相机；5、深度相机。

具体实施方式

下面通过几个具体的实施例来进一步说明实现本发明目的技术方案，需要说明的是，本发明要求保护的技术方案包括但不限于以下实施例。

实施例1

作为本发明系统一种最基本的实施方案，如图1，本实施例公开的一种机器人虚拟现实同步系统，,包括MR眼镜系统、虚拟操作间和带有机器人控制系统的机器人；所述虚拟操作间包括通过路由器与MR眼镜系统电连接的桌面控制系统，所述桌面控制系统还通过网络与机器人控制系统连接；即通过虚拟操作间将MR眼镜系统和机器人控制相连，根据实际使用，可以基于工业网络实现单套MR眼镜系统对应位于不同地方、若干数量的机器人。

所述MR眼镜系统包括用于穿戴的MR眼镜、力反馈装置和位姿捕获装置；所述力反馈装置和位姿捕获装置均与MR眼镜电连接；所述MR眼镜与所述桌面控制系统数据同步显示；MR眼镜可以获取并显示机器人视角，通过穿戴设备即可实时将操作指令传递给机器人。

而所述机器人控制系统包括远程运维服务器，以及设置在机器人上的通用控制器、无线定位模块和数据采集模块；所述远程运维服务器通过网络与所述MR眼镜系统、虚拟操作间和通用控制器控制相连，无线定位模块和数据采集模块将机器人的姿态、受力等动作数据实时采集并传送给MR眼镜系统使操作人员能够感受到，通过通用控制器即可根据MR眼镜系统传递来的操作指令转换为对机器人的动作指令完成对应动作，实现了操作人员远程、实时同步的虚拟现实控制。

实施例2

作为本发明系统一种优选地实施方案，在实施例1的基础上，进一步的，所述机器人包括设置在移动平台2上、由驱动电机和驱动轴带动的机械臂1，移动平台2可以实现机器人的快速到位。

优选地，如图2，所述数据采集模块设置在机器人的机械臂1上，所述数据采集模块包括用于采集机械臂1驱动轴输出动力的六轴力传感器3、用于完成视场内设备所有特征点的三维测量的双目相机4和利用入射光信号与反射光信号的变化来进行设备的三维测量和扫描的深度相机5。而所述六轴力传感器3安装于机器人的机械臂1驱动轴上，所述双目相机4安装于机器人的移动平台2上，所述深度相机5安装于机械臂1驱动电机安装壳外部。优选地，所述MR眼镜系统还包括三维显示模块，所述三维显示模块用于显示机械臂1作业环境的三维图像。

进一步的，所述桌面控制系统包括用于账号密码登陆安全管控的验证模块，用于获取系统各部件实时空间位置数据的GIS模块，用于实时监控的监控单元，以及用于显示系统数所述据的显示模块。优选地，所述显示模块为带有显示画面切换功能、由若干块显示屏组成的环幕屏。

实施例3

作为本发明方法一种最基本的实施方案，本实施例公开了一种机器人虚拟现实同步方法，包括以下步骤：

步骤1，通过虚拟操作间的桌面控制系统验证身份并登录；

步骤2，使用MR眼镜系统通过所述桌面控制系选择系统内待同步控制的机器人并与其机器人控制系统进行连接，获取机器人视野，并通过MR眼镜系统的力反馈装置和位姿捕获装置与机器人的动作单元和机械臂1关节数据同步相连；

步骤3，通过MR眼镜系统控制机器人的移动平台2运动至目标位置，通过机器人的深度相机5测量当前环境和故障点工况图像、构建并上传3D环境图，并通过机器人的双目相机4采集机器人的机械臂1本体结构周围设备的所有特征点的三维信息；

步骤4，将步骤3中的3D环境图和三维信息通过MR眼镜系统的MR眼镜显示作为手势操作的视野，并通过MR眼镜系统的力反馈装置和位姿捕获装置将手势操作动作同步传递给机器人。

通过MR眼镜系统和虚拟操作间桌面系统实现机器人的虚拟和现实的同步控制，控制方式多样，且可远程控制，可用于机器人虚拟现实的教学、培训、演讲操作和实际任务的执行，提高机器人作业的培训效率，同时为操作人员构造一个真实性、沉浸性、多感知性和交互性好的虚拟现实系统，提高机器人作业的自动化水平和安全性，提高工业的维修效率

实施例4

本实施例公开了一种机器人虚拟现实同步系统，如图1，包括MR眼镜系统、虚拟操作间桌面控制系统和机器人控制系统；所述虚拟操作间桌面控制系统通过虚拟操作间路由器与MR眼镜系统电连接，并通过网络与机器人控制系统连接；

所述MR眼镜系统包括穿戴于操作者身上的MR眼镜、力反馈装置和位姿捕获装置；所述力反馈装置和位姿捕获装置均与MR眼镜电性连接；所述MR眼镜与虚拟操作间桌面控制系统自动同步显示；

所述机器人控制系统包括远程运维服务器，远程运维服务器通过网络分别与MR眼镜、虚拟操作间桌面控制系统、移动终端和机器人通用控制器连接；所述机器人通用控制器设置于机器人内部，机器人上安装有无线定位模块和数据采集模块。

优选地，如图2，机器人的机械臂1上安装有数据采集模块，数据采集模块包括六轴力传感器3、双目相机4和深度相机5；六轴力传感器3安装于机械臂1驱动轴上，用于采集机械臂1驱动轴输出动力；双目相机4安装于移动平台2上，用于完成视场内设备所有特征点的三维测量；深度相机5安装于机械臂1驱动电机安装壳外部，利用入射光信号与反射光信号的变化来进行设备的三维测量和扫描。

进一步的，MR眼镜系统还包括用于显示机械臂1作业环境的三维图像的三维显示模块，以MR的方式显示单个设备的三维效果和运行数据；在MR眼镜的视角下通过手势控制机械臂1即可进行设备故障检修，同时在机械手臂运转时MR可达到虚实匹配的效果。

虚拟操作间桌面控制系统包括：用于账号密码登陆系统登录模块，用于显示所有设备的地理位置信息的GIS显示模块；用于切换各区域之间设备信息的功能、同时将信息同步到环幕系统上的切换控制模块；用于显示设备相关数据的设备数据显示控制模块；用于显示摄像头切换控制的功能和切换控制方式具备交互性的监控摄像头切换控制模块；用于控制设备运转功能的设备控制模块；还包括具备多个显示器、用于显示不同数据页面的多屏显示模块。

所述显示控制模块可以用于以三维可视化的方式显示、用于以三维可视化方式显示设备所在区域的某些位置和重点设备，并可漫游，且可显示重点设备需详细的内部结构。

多屏显示模块的每一个组成屏幕均可以用于以三维可视化方式显示单个设备的运转情况，同时显示设备内部故障情况，显示到零件级的三维模型。

优选地，机器人控制系统中的机器人通用控制器与移动终端采用C/S架构，移动终端为移动客户端，机器人通用控制器为服务端；机器人通用控制器通过内部协议与机器人通信连接。优选地，机器人通用控制器按照预定时间间隔向机械臂1发送运动控制指令，并回收数据反馈，包括机械臂1当前的坐标位置、姿态位姿、速度与加速 度状态、激光传感器信息、惯性传感器信息和视觉传感器信息。

对应的，这种机器人虚拟现实同步系统的操作方法，以核电厂的机器人控制为例，具体包括以下步骤：

S1、通过虚拟操作间桌面控制系统登录；

S2、进入全国核电分布图，点击选择核电厂进入核电控制中心， MR上展示核电沙盘全局图；

S3、在MR上展示的核电沙盘全局图上点击某个设备，进而在MR上显示单个设备放大图和详情以及故障点；点击该故障点，隐藏设备，实体机器人上显示数据，并通过手势控制实体移动平台2移动到故障点位置；

S4、移动平台2到达指定位置后，利用其上的深度相机5测量当前环境和故障点工况图像，构建并上传3D环境图，另一方面控制双目相机4采集机械臂1本体结构周围设备的所有特征点的三维信息；

S5、根据反馈回的3D环境图信息数据和三维信息以及故障点设备的运行数据，通过手势控制实体机械臂1进行相应的故障点维修，直至故障点设备数据正常。

Claims (8)

1.一种机器人虚拟现实同步系统，其特征在于：包括MR眼镜系统、虚拟操作间和带有机器人控制系统的机器人；所述虚拟操作间包括通过路由器与MR眼镜系统电连接的桌面控制系统，所述桌面控制系统还通过网络与机器人控制系统连接；

所述MR眼镜系统包括用于穿戴的MR眼镜、力反馈装置和位姿捕获装置；所述力反馈装置和位姿捕获装置均与MR眼镜电连接；所述MR眼镜与所述桌面控制系统数据同步显示；

所述机器人控制系统包括远程运维服务器，以及设置在机器人上的通用控制器、无线定位模块和数据采集模块；所述远程运维服务器通过网络与所述MR眼镜系统、虚拟操作间和通用控制器控制相连。

2.如权利要求1所述的一种机器人虚拟现实同步系统，其特征在于：所述机器人包括设置在移动平台（2）上、由驱动电机和驱动轴带动的机械臂（1）。

3.如权利要求2所述的一种机器人虚拟现实同步系统，其特征在于：所述数据采集模块设置在机器人的机械臂（1）上，所述数据采集模块包括用于采集机械臂（1）驱动轴输出动力的六轴力传感器（3）、用于完成视场内设备所有特征点的三维测量的双目相机（4）和利用入射光信号与反射光信号的变化来进行设备的三维测量和扫描的深度相机（5）。

4.如权利要求3所述的一种机器人虚拟现实同步系统，其特征在于：所述六轴力传感器（3）安装于机器人的机械臂（1）驱动轴上，所述双目相机（4）安装于机器人的移动平台（2）上，所述深度相机（5）安装于机械臂（1）驱动电机安装壳外部。

5.如权利要求1所述的一种机器人虚拟现实同步系统，其特征在于：所述MR眼镜系统还包括三维显示模块，所述三维显示模块用于显示机械臂（1）作业环境的三维图像。

6.如权利要求1所述的一种机器人虚拟现实同步系统，其特征在于：所述桌面控制系统包括用于账号密码登陆安全管控的验证模块，用于获取系统各部件实时空间位置数据的GIS模块，用于实时监控的监控单元，以及用于显示系统数所述据的显示模块。

7.如权利要求6所述的一种机器人虚拟现实同步系统，其特征在于：所述显示模块为带有显示画面切换功能、由若干块显示屏组成的环幕屏。

8.一种机器人虚拟现实同步方法，其特征在于，包括以下步骤：

步骤1，通过虚拟操作间的桌面控制系统验证身份并登录；

步骤2，使用MR眼镜系统通过所述桌面控制系选择系统内待同步控制的机器人并与其机器人控制系统进行连接，获取机器人视野，并通过MR眼镜系统的力反馈装置和位姿捕获装置与机器人的动作单元和机械臂（1）关节数据同步相连；

步骤3，通过MR眼镜系统控制机器人的移动平台（2）运动至目标位置，通过机器人的深度相机（5）测量当前环境和故障点工况图像、构建并上传3D环境图，并通过机器人的双目相机（4）采集机器人的机械臂（1）本体结构周围设备的所有特征点的三维信息；

步骤4，将步骤3中的3D环境图和三维信息通过MR眼镜系统的MR眼镜显示作为手势操作的视野，并通过MR眼镜系统的力反馈装置和位姿捕获装置将手势操作动作同步传递给机器人。

Images