CN112947238B - 一种基于vr技术的工业机器人实时控制系统 - Google Patents

一种基于vr技术的工业机器人实时控制系统 Download PDF

Info

Publication number
CN112947238B
CN112947238B CN202110275363.6A CN202110275363A CN112947238B CN 112947238 B CN112947238 B CN 112947238B CN 202110275363 A CN202110275363 A CN 202110275363A CN 112947238 B CN112947238 B CN 112947238B
Authority
CN
China
Prior art keywords
industrial robot
robot
model
control
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110275363.6A
Other languages
English (en)
Other versions
CN112947238A (zh
Inventor
闫纪红
陈悦敏
于永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110275363.6A priority Critical patent/CN112947238B/zh
Publication of CN112947238A publication Critical patent/CN112947238A/zh
Application granted granted Critical
Publication of CN112947238B publication Critical patent/CN112947238B/zh
Priority to US17/694,836 priority patent/US20220203550A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24024—Safety, surveillance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming

Abstract

一种基于VR技术的工业机器人实时控制系统，涉及对工业机器人实时控制。本发明的目的是为了解决现有工业机器人控制系统及方法无法对机器人进行实时控制的问题。使用者通过VR手柄触碰并拖动机器人末端手爪以实现Cyber环境中的机器人运动；当手爪运动至某控制点位的包围盒内部时，数据通讯系统触发，Unity引擎脚本向机器人控制器发送对应控制点位的通信代码，机器人控制器收代码后向物理空间的机器人发送指令触发机器人控制器中该控制点位对应的控制数据，使机器人按照此控制数据进行实时运动。它用于对工业机器人实时控制。

Description

一种基于VR技术的工业机器人实时控制系统
技术领域
本发明涉及工业机器人控制系统，具体涉及一种与虚拟现实(VR)技术相结合的，面向工业机器人应用过程的实时控制系统。
背景技术
工业机器人被广泛应用于制造业的工艺流程，工厂物流，高危环境操控等环节，应用范围遍及制造业的各个细分领域，是我国制造业实现高质量的自动化、智能化的关键要素。
工业机器人是我国机器人市场的“主力军”。虽然我国工业机器人市场规模呈上升趋势，但工业机器人作为技术集成度高、应用环境复杂、操作维护较为专业的高端装备，对应用型人才有着高技术、多维度的需求，这导致了国内工业机器人产业面临巨大的应用型人才缺口问题。除了从人才培养角度，如何从机器人控制的设计与交互环节入手解决这一问题显得尤为关键。
为解决工业机器人技术集成度高、应用环境复杂和操作专业度高的控制难点：虚拟现实(VR)技术是一种具有沉浸感、交互性和想象性的新兴技术。此技术近年来快速发展，因其交互直观便捷，不受应用环境限制的沉浸式体验，在医疗、交通、教育、娱乐、军事等行业中得到了广泛应用。
在机器人领域中，基于VR技术的机器人控制开发方向主要集中于无人机或自动引导车的运动控制。现有的针对工业机器人开发的虚拟现实控制系统旨在通过VR的数字仿真环境完成机器人路径规划、碰撞检测等要求，再将运动指令集发送给物理空间的工业机器人以实现控制功能。从应用层面来看，此类控制系统无法实现对机器人的实时控制，指令集的规划与编译过程也增加了工人与控制系统交互的难度，无法从根本上实现直观高效的工业机器人操作层面上的人机协作优化需求。
发明内容
本发明的目的是为了解决现有工业机器人控制系统及方法无法对机器人进行实时控制的问题，现提供一种基于VR技术的工业机器人实时控制系统。
一种基于VR技术的工业机器人实时控制系统，所述系统包括VR一体机、模型构建模块、运动控制模块、数据通讯系统和机器人控制器；
VR一体机包括VR头盔和VR手柄，
模型构建模块，用于构建工业机器人模型和工业机器人工作环境模型；
运动控制模块，用于构建与工业机器人模型和工业机器人工作环境模型对应的Cyber模型，
并在所述Cyber模型中设置多个控制点位，对每个控制点位设置包围盒，使所有控制点位对应的包围盒覆盖所述Cyber模型中整个工业机器人工作环境，
并在所述Cyber模型中工业机器人的手爪上添加包围盒、设置显示高亮和可抓取选项的VR交互组件，将VR交互组件与VR手柄关联；并在所述Cyber模型中设置摄像头组件，将摄像头组件与VR头盔关联；
还用于接收VR手柄发出的相应的触发信号，发送对应的运动指令；
VR头盔，用于在打开工作按钮进入工作模式时，通过摄像头组件将工业机器人和该工业机器人工作环境的Cyber模型成像在VR头盔中；
VR手柄，用于在VR头盔进入工作模式时，触碰工业机器人和该工业机器人工作环境的Cyber模型中手爪上的包围盒，激活VR交互组件中显示高亮和可抓取选项，从而能够拖动工业机器人和该工业机器人工作环境的Cyber模型中工业机器人的手爪，使手爪运动至工业机器人工作环境的某一控制点位，发出相应的触发信号至运动控制模块；
机器人控制器，用于预设多个控制数据，所述每个控制点位的运动指令对应一个控制数据，当通过数据通讯系统接收到运动控制模块发送的对应的运动指令时，根据该对应的运动指令所对应的控制数据控制机器人运动。
优选地，模型构建模块还包括显示模块，
显示模块，用于在VR头盔中实时显示机器人运动位置信息。
优选地，数据通讯系统包括数据发送模块、初始化模块和控制点位判断模块，
数据发送模块，用于当接收到控制点位被触发的信号时，发送通信代码；
初始化模块，用于当接收到控制点位被触发的信号时，发送登录通信代码指令；
控制点位判断模块，用于接收登录通信代码指令，对所有控制点位进行扫描，直到检测到机器人手爪运动至某控制点位的包围盒内部时，发送该控制点位对应的通信代码；
数据发送模块，用于将控制点位对应的通信代码发送至机器人控制器，触发机器人控制器中对应控制点位的控制数据，机器人控制器按照该控制数据控制机器人运动。
优选地，控制数据包括控制点位坐标、机器人运动的速度、机器人运动的加速度和机器人的运动方式。
优选地，模型构建模块包括工业机器人绘制单元、3D模型构建单元和工业机器人工作环境构建单元，
工业机器人构建单元，用于使用Solidworks软件对测量的工业机器人尺寸进行绘制，得到工业机器人绘制图，将工业机器人绘制图导入3D模型构建模块中；
3D模型构建单元，用于根据工业机器人绘制图建立工业机器人3D图，使工业机器人3D图的表面材质与真实工业机器人的表面材质相同，并对工业机器人3D图的各关节轴的轴心进行调整，得到调整后的工业机器人3D模型作为工业机器人模型；
工业机器人工作环境构建单元，用于根据物理空间工业机器人工作环境构建工业机器人工作环境模型。
优选地，运动控制模块中用于构建与工业机器人模型和工业机器人工作环境模型对应的Cyber模型采用的是Cyber模型构建单元，
Cyber模型构建单元，用于使用Unity3D引擎建立空Cyber模型，将工业机器人模型和工业机器人工作环境模型导入到空Cyber模型中，形成工业机器人和该工业机器人工作空间模型对应的工业机器人和该工业机器人工作空间的Cyber模型，对工业机器人和该工业机器人工作环境的Cyber模型中的工业机器人各关节轴添加刚体与铰链组件，使工业机器人运动情况与实际机器人一致。
优选地，对工业机器人和该工业机器人工作环境的Cyber模型中的工业机器人各关节轴添加刚体的系数为：质量系数为1、阻力系数为15、角阻力系数为25。
优选地，在工业机器人和该工业机器人工作环境的Cyber模型中等距设置网状控制点位。
优选地，工业机器人为六自由度串联工业机器人。
优选地，六自由度串联工业机器人型号为EpsonC4。
优选地，机器人控制器型号为EpsonC4RC700。
本发明的有益效果是：
本申请将VR头盔与上位机连接，上位机与机器人控制器通过数据通讯系统实现通讯，当基于Unity3D引擎所建立的Cyber模型启动时，因为Cyber模型与VR头盔相机关联，使用者将能看到与物理环境一致的工业机器人及其周围环境；使用者通过VR手柄触碰并拖动机器人末端手爪以实现Cyber环境中的机器人运动；当手爪运动至某控制点位的包围盒内部时，数据通讯系统触发，Unity引擎脚本向机器人控制器发送对应控制点位的通信代码，机器人控制器收代码后向物理空间的机器人本体发送指令触发机器人控制器中该控制点位对应的控制数据，使机器人按照此控制数据进行实时运动。本申请与VR技术相结合，根据手柄触碰到的控制点位来触发对应的控制数据，控制机器人本体按照此控制数据进行运动，本申请实现了实时控制，并且控制机器人本体高效、直观。
本申请以直观易操作的交互方式实现了基于VR技术的工业机器人实时控制，本申请使机器人的控制过程不再依赖于工控机上的编程，调试等步骤。使用者只需通过在VR环境下拖动Cyber模型中的机器人手爪，就能实现物理环境中工业机器人的运动实时控制。
同时，本申请采用直接由计算机辅助设计软件生成模型，在将生成的模型与VR头盔相机关联，这使Cyber模型运行的流畅性不受网络环境限制，整个控制系统的硬件配置也更为简洁。
本申请为从应用层面解决工业机器人的操作复杂，人才培养困难的问题提供了技术手段。不仅实现了工业机器人的远程实时控制，而且使机器人的运动规划更加方便，人机协作效率更高，操作方式简单灵活，具有很高的实用价值。
附图说明
图1为一种基于VR技术的工业机器人实时控制系统的原理示意图；
图2为Cyber模型与VR头盔相机交互的流程图；
图3为控制点位判断代码流程图；
图4为VR头盔视角效果演示图。
具体实施方式
具体实施方式一：结合图1至图4说明本实施方式，本实施方式所述的一种基于VR技术的工业机器人实时控制系统，所述系统包括VR一体机、模型构建模块、运动控制模块、数据通讯系统和机器人控制器；
VR一体机包括VR头盔和VR手柄，
模型构建模块，用于构建工业机器人模型和工业机器人工作环境模型；
运动控制模块，用于构建与工业机器人模型和工业机器人工作环境模型对应的Cyber模型，
并在所述Cyber模型中设置多个控制点位，对每个控制点位设置包围盒，使所有控制点位对应的包围盒覆盖所述Cyber模型中整个工业机器人工作环境，
并在所述Cyber模型中工业机器人的手爪上添加包围盒、设置显示高亮和可抓取选项的VR交互组件，将VR交互组件与VR手柄关联；并在所述Cyber模型中设置摄像头组件，将摄像头组件与VR头盔关联；
还用于接收VR手柄发出的相应的触发信号，发送对应的运动指令；
VR头盔，用于在打开工作按钮进入工作模式时，通过摄像头组件将工业机器人和该工业机器人工作环境的Cyber模型成像在VR头盔中；
VR手柄，用于在VR头盔进入工作模式时，触碰工业机器人和该工业机器人工作环境的Cyber模型中手爪上的包围盒，激活VR交互组件中显示高亮和可抓取选项，从而能够拖动工业机器人和该工业机器人工作环境的Cyber模型中工业机器人的手爪，使手爪运动至工业机器人工作环境的某一控制点位，发出相应的触发信号至运动控制模块；
机器人控制器，用于预设多个控制数据，所述每个控制点位的运动指令对应一个控制数据，当通过数据通讯系统接收到运动控制模块发送的对应的运动指令时，根据该对应的运动指令所对应的控制数据控制机器人运动。
本实施方式中，利用计算机为所有控制点位编辑相关控制数据，并将此控制数据集由计算机控制软件同步至机器人控制器中，最后将机器人控制方式切换为远程控制模式。
本申请根据工业机器人和该工业机器人工作空间模型得到工业机器人和该工业机器人工作空间的Cyber模型，Cyber模型与真实的工业机器人和该工业机器人工作空间效果更加接近。
本申请还包括2个定位器，2个定位器固定在VR一体机外部(墙上或者用支架支撑起来)，2个定位器相对摆放后，就会形成一个长方体投影区域，当人走进所述长方体投影区域内，就会和VR头盔里的VR环境交互，此时VR头盔内就会出现工业机器人和该工业机器人工作环境的图像。
图3中的物料盒是机器人工作的时候要夹取的东西。
具体实施方式二：本实施方式是对具体实施方式一所述的一种基于VR技术的工业机器人实时控制系统，模型构建模块还包括显示模块，
显示模块，用于在VR头盔中实时显示机器人运动位置信息。
具体实施方式三：本实施方式是对具体实施方式一所述的一种基于VR技术的工业机器人实时控制系统，数据通讯系统包括数据发送模块、初始化模块和控制点位判断模块，
数据发送模块，用于当接收到控制点位被触发的信号时，发送通信代码；
初始化模块，用于当接收到控制点位被触发的信号时，发送登录通信代码指令；
控制点位判断模块，用于接收登录通信代码指令，对所有控制点位进行扫描，直到检测到机器人手爪运动至某控制点位的包围盒内部时，发送该控制点位对应的通信代码；
数据发送模块，用于将控制点位对应的通信代码发送至机器人控制器，触发机器人控制器中对应控制点位的控制数据，机器人控制器按照该控制数据控制机器人运动。
具体实施方式四：本实施方式是对具体实施方式一所述的一种基于VR技术的工业机器人实时控制系统，控制数据包括控制点位坐标、机器人运动的速度、机器人运动的加速度和机器人的运动方式。
具体实施方式五：本实施方式是对具体实施方式一所述的一种基于VR技术的工业机器人实时控制系统，模型构建模块包括工业机器人绘制单元、3D模型构建单元和工业机器人工作环境构建单元，
工业机器人构建单元，用于使用Solidworks软件对测量的工业机器人尺寸进行绘制，得到工业机器人绘制图，将工业机器人绘制图导入3D模型构建模块中；
3D模型构建单元，用于根据工业机器人绘制图建立工业机器人3D图，使工业机器人3D图的表面材质与真实工业机器人的表面材质相同，并对工业机器人3D图的各关节轴的轴心进行调整，得到调整后的工业机器人3D模型作为工业机器人模型；
工业机器人工作环境构建单元，用于根据物理空间工业机器人工作环境构建工业机器人工作环境模型。
具体实施方式六：本实施方式是对具体实施方式五所述的一种基于VR技术的工业机器人实时控制系统，运动控制模块中用于构建与工业机器人模型和工业机器人工作环境模型对应的Cyber模型采用的是Cyber模型构建单元，
Cyber模型构建单元，用于使用Unity3D引擎建立空Cyber模型，将工业机器人模型和工业机器人工作环境模型导入到空Cyber模型中，形成工业机器人和该工业机器人工作空间模型对应的工业机器人和该工业机器人工作空间的Cyber模型，对工业机器人和该工业机器人工作环境的Cyber模型中的工业机器人各关节轴添加刚体与铰链组件，使工业机器人运动情况与实际机器人一致。
本实施方式中，本申请对机器人各关节轴的轴心进行调整，保证在最终操作平台中组装后不产生运动误差，且调整后的模型版本与Unity3D引擎兼容，为Unity3D建模做前置准备。最后采用步骤22将场景相机与VR头盔相机关联，并导入设计完成的机器人及其周边环境的三维模型，根据物理场景对应关系完成Cyber模型的场景部署。
本申请Cyber模型构建了与物理环境对应工业机器人Cyber模型。具体实施方案为：将对象机器人基本尺寸进行测量并使用Solidworks对机器人本体建模。针对机器人相关特征信息进行模型的草图绘制和三维模型构建，最终形成机器人各关节轴的Cyber模型，并将其按照.IGS格式导出。与机器人相关的环境模型，如工作台、物料盒等，以同样的方式进行建模和导出。
将通过Solidworks建立的.IGS格式模型导入到3dsMax中，对其赋予与物理世界实体表面材质相似的表面效果，为保证材质效果与操作平台的兼容性效果，在进行Cyber模型渲染过程中需要进行符合Unity引擎要求的渲染，同时为了便于在Unity引擎中实现对机器人Cyber模型的控制，三维模型在导入3dsMax后需要对机器人各关节轴的轴心进行调整，保证在最终操作平台中组装后不产生运动误差。渲染完成后，将文件以.FBX各式导出。
使用Unity3D引擎建立Cyber模型，平台版本为Unity2019.1.10f1。在工程文件中创建空场景，将场景主相机与HTC Vive Pro专业版VR头盔相机关联，并在Assets文件夹中导入模型。为机器人各关节轴添加刚体与铰链组件，设置刚体组件中的质量、阻力、角阻力并在铰链组件中限制关节转动范围。为使机器人的运动情况与物理模型一致，本方案中设置关节轴模型的质量系数为1、阻力系数为15、角阻力系数为25。装配完成后导入工作台、物料盒等模型，完成场景部署。
本申请中所述运动控制模块将物理空间工业机器人的工作空间映射到Unity3D所建立的Cyber模型中，并在Cyber模型中创建VR交互机制。
以机器人底座与地面接触的中心为原点建立坐标系，对物理空间的坐标系与Unity项目中的世界坐标系进行坐标变换，完成映射。以此坐标系为基础，在Cyber空间中的对应工作空间等距的设置网状控制点位，并创建包围盒，包围盒的体积为各控制点的间距值乘积，此方法能使控制点位集的包围盒覆盖机器人的工作空间。
使用EpsonC4机器人控制器自带控制软件EPSON RC+7.0规划控制点位的相关控制数据，包括控制点坐标，机器人运动的速度、加速度以及机器人的运动方式等，将此控制数据集通过机器人控制器的I/O接口从上位机同步至机器人控制器中，并将机器人控制方式切换为远程控制模式。
在机器人末端手爪上添加包围盒以及VR交互组件，创建VRTK可交互元素组件，并在其中设置触碰高亮反应和手柄抓取按键。当手柄与包围盒接触时，手爪变色，显示高亮并触发可抓取选项，此时按住任一手柄侧键即可拖动机器人末端手爪，使机器人运动至工作范围内的任一位置。
本申请中所述数据通讯系统以控制点位所属包围盒为触发条件，向机器人控制器发送相关控制数据，在Visual Studio 2013中使用C#语言编写Cyber模型与机器人控制器的通讯脚本，并将脚本挂载至机器人末端手爪的触发控制点上，实现对机器人的实时控制功能。
所述脚本使用特定通信代码实现与机器人控制器的通讯功能：通讯代码通过对相关控制数据的编译、根据EpsonC4机器人的通讯协议得到。
数据通讯脚本包含如下几个模块：1数据发送模块，负责配置通讯接口参数，并在控制点位被触发后向机器人控制器发送通信代码；2初始化模块，负责在项目启动时向控制器发送初始化及登录所对应的通信代码；3控制点位判断模块，此模块在项目启动后将会进行逐帧刷新，当检测到手爪运动至某控制点位的包围盒内部时，触发数据发送模块，传入参数为此控制点位所对应的通信代码。
具体实施方式七：本实施方式是对具体实施方式六所述的一种基于VR技术的工业机器人实时控制系统，对工业机器人和该工业机器人工作环境的Cyber模型中的工业机器人各关节轴添加刚体的系数为：质量系数为1、阻力系数为15、角阻力系数为25。
具体实施方式八：本实施方式是对具体实施方式五所述的一种基于VR技术的工业机器人实时控制系统，在工业机器人和该工业机器人工作环境的Cyber模型中等距设置网状控制点位。
具体实施方式九：本实施方式是对具体实施方式五所述的一种基于VR技术的工业机器人实时控制系统，工业机器人为六自由度串联工业机器人。
具体实施方式十：本实施方式是对具体实施方式九所述的一种基于VR技术的工业机器人实时控制系统，六自由度串联工业机器人型号为EpsonC4。
具体实施方式十一：本实施方式是对具体实施方式一所述的一种基于VR技术的工业机器人实时控制系统，机器人控制器型号为EpsonC4RC700。

Claims (10)

1.一种基于VR技术的工业机器人实时控制系统，其特征在于，所述系统包括VR一体机、模型构建模块、运动控制模块、数据通讯系统和机器人控制器；
VR一体机包括VR头盔和VR手柄，
模型构建模块，用于构建工业机器人模型和工业机器人工作环境模型；
运动控制模块，用于构建与工业机器人模型和工业机器人工作环境模型对应的Cyber模型，
并在所述Cyber模型中设置多个控制点位，对每个控制点位设置包围盒，使所有控制点位对应的包围盒覆盖所述Cyber模型中整个工业机器人工作环境，
并在所述Cyber模型中工业机器人的手爪上添加包围盒、设置显示高亮和可抓取选项的VR交互组件，将VR交互组件与VR手柄关联；并在所述Cyber模型中设置摄像头组件，将摄像头组件与VR头盔关联；
还用于接收VR手柄发出的相应的触发信号，发送对应的运动指令；
VR头盔，用于在打开工作按钮进入工作模式时，通过摄像头组件将工业机器人和该工业机器人工作环境的Cyber模型成像在VR头盔中；
VR手柄，用于在VR头盔进入工作模式时，触碰工业机器人和该工业机器人工作环境的Cyber模型中手爪上的包围盒，激活VR交互组件中显示高亮和可抓取选项，从而能够拖动工业机器人和该工业机器人工作环境的Cyber模型中工业机器人的手爪，使手爪运动至工业机器人工作环境的某一控制点位，发出相应的触发信号至运动控制模块；
机器人控制器，用于预设多个控制数据，所述每个控制点位的运动指令对应一个控制数据，当通过数据通讯系统接收到运动控制模块发送的对应的运动指令时，根据该对应的运动指令所对应的控制数据控制机器人运动；
在工业机器人和该工业机器人工作环境的Cyber模型中等距设置网状控制点位。
2.根据权利要求1所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，模型构建模块还包括显示模块，
显示模块，用于在VR头盔中实时显示机器人运动位置信息。
3.根据权利要求1所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，数据通讯系统包括数据发送模块、初始化模块和控制点位判断模块，
数据发送模块，用于当接收到控制点位被触发的信号时，发送通信代码；
初始化模块，用于当接收到控制点位被触发的信号时，发送登录通信代码指令；
控制点位判断模块，用于接收登录通信代码指令，对所有控制点位进行扫描，直到检测到机器人手爪运动至某控制点位的包围盒内部时，发送该控制点位对应的通信代码；
数据发送模块，用于将控制点位对应的通信代码发送至机器人控制器，触发机器人控制器中对应控制点位的控制数据，机器人控制器按照该控制数据控制机器人运动。
4.根据权利要求1所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，控制数据包括控制点位坐标、机器人运动的速度、机器人运动的加速度和机器人的运动方式。
5.根据权利要求1所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，模型构建模块包括工业机器人绘制单元、3D模型构建单元和工业机器人工作环境构建单元，
工业机器人构建单元，用于使用Solidworks软件对测量的工业机器人尺寸进行绘制，得到工业机器人绘制图，将工业机器人绘制图导入3D模型构建模块中；
3D模型构建单元，用于根据工业机器人绘制图建立工业机器人3D图，使工业机器人3D图的表面材质与真实工业机器人的表面材质相同，并对工业机器人3D图的各关节轴的轴心进行调整，得到调整后的工业机器人3D模型作为工业机器人模型；
工业机器人工作环境构建单元，用于根据物理空间工业机器人工作环境构建工业机器人工作环境模型。
6.根据权利要求5所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，运动控制模块中用于构建与工业机器人模型和工业机器人工作环境模型对应的Cyber模型采用的是Cyber模型构建单元，
Cyber模型构建单元，用于使用Unity3D引擎建立空Cyber模型，将工业机器人模型和工业机器人工作环境模型导入到空Cyber模型中，形成工业机器人和该工业机器人工作空间模型对应的工业机器人和该工业机器人工作空间的Cyber模型，对工业机器人和该工业机器人工作环境的Cyber模型中的工业机器人各关节轴添加刚体与铰链组件，使工业机器人运动情况与实际机器人一致。
7.根据权利要求6所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，对工业机器人和该工业机器人工作环境的Cyber模型中的工业机器人各关节轴添加刚体的系数为：质量系数为1、阻力系数为15、角阻力系数为25。
8.根据权利要求5所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，工业机器人为六自由度串联工业机器人。
9.根据权利要求8所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，六自由度串联工业机器人型号为EpsonC4。
10.根据权利要求1所述的一种基于VR技术的工业机器人实时控制系统，其特征在于，机器人控制器型号为EpsonC4RC700。
CN202110275363.6A 2021-03-15 2021-03-15 一种基于vr技术的工业机器人实时控制系统 Active CN112947238B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110275363.6A CN112947238B (zh) 2021-03-15 2021-03-15 一种基于vr技术的工业机器人实时控制系统
US17/694,836 US20220203550A1 (en) 2021-03-15 2022-03-15 Real-time control system for industrial robot based on virtual reality (vr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110275363.6A CN112947238B (zh) 2021-03-15 2021-03-15 一种基于vr技术的工业机器人实时控制系统

Publications (2)

Publication Number Publication Date
CN112947238A CN112947238A (zh) 2021-06-11
CN112947238B true CN112947238B (zh) 2021-11-09

Family

ID=76229843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110275363.6A Active CN112947238B (zh) 2021-03-15 2021-03-15 一种基于vr技术的工业机器人实时控制系统

Country Status (2)

Country Link
US (1) US20220203550A1 (zh)
CN (1) CN112947238B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991845A (zh) * 2005-12-29 2007-07-04 上海电气自动化设计研究所有限公司 一种用于隧道综合监控的交互动态虚拟实现方法
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN107610579A (zh) * 2017-09-05 2018-01-19 芜湖瑞思机器人有限公司 基于vr系统控制的工业机器人示教系统及其示教方法
CN109213306A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 一种机器人远程控制平台及其设计方法
CN109262609A (zh) * 2018-08-29 2019-01-25 南京理工大学 基于虚拟现实技术的机械臂远程控制系统及方法
CN110064200A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991845A (zh) * 2005-12-29 2007-07-04 上海电气自动化设计研究所有限公司 一种用于隧道综合监控的交互动态虚拟实现方法
CN101920233A (zh) * 2010-07-09 2010-12-22 广东工业大学 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法
CN107263473A (zh) * 2017-06-19 2017-10-20 中国人民解放军国防科学技术大学 一种基于虚拟现实的人机交互方法
CN109213306A (zh) * 2017-06-30 2019-01-15 沈阳新松机器人自动化股份有限公司 一种机器人远程控制平台及其设计方法
CN107610579A (zh) * 2017-09-05 2018-01-19 芜湖瑞思机器人有限公司 基于vr系统控制的工业机器人示教系统及其示教方法
CN109262609A (zh) * 2018-08-29 2019-01-25 南京理工大学 基于虚拟现实技术的机械臂远程控制系统及方法
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN110064200A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 基于虚拟环境的物体构建方法、装置及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于虚拟现实的数字孪生车间集成管控系统框架";肖唐威 等;《现代制造技术与装备》;20210131(第290期);9-13 *

Also Published As

Publication number Publication date
US20220203550A1 (en) 2022-06-30
CN112947238A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
JP6810093B2 (ja) ロボットのシミュレーション装置
CN103302668B (zh) 基于Kinect的空间遥操作机器人的控制系统及其方法
WO2011074838A2 (ko) 로봇 동기화 장치 및 그 방법
CN109262609A (zh) 基于虚拟现实技术的机械臂远程控制系统及方法
WO2022166264A1 (zh) 作业机械的模拟训练系统、方法、装置和电子设备
CN110515455B (zh) 一种基于Leap Motion和局域网内协同的虚拟装配方法
CN111191322B (zh) 一种基于深度感知手势识别的虚拟维修性仿真方法
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN107671857A (zh) 用于服务机器人操作演示与算法验证的三维仿真平台
Naceri et al. The vicarios virtual reality interface for remote robotic teleoperation: Teleporting for intuitive tele-manipulation
CN107257946B (zh) 用于虚拟调试的系统
CN107199566A (zh) 一种基于虚拟手臂的面向空间站机器人的遥操作系统
CN107932510A (zh) 基于动作采集的nao机器人系统
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
JP2024003150A (ja) シミュレーション装置、シミュレーションプログラムおよびシミュレーション方法
Braumann et al. Digital and physical tools for industrial robots in architecture: robotic interaction and interfaces
KR100956839B1 (ko) 다관절 로봇 시뮬레이션 제어프로그램 개발 장치
Alvarez et al. VRMDS: an intuitive virtual environment for supporting the conceptual design of mechanisms
Banduka Remote monitoring and control of industrial robot based on android device and Wi-Fi communication
CN112947238B (zh) 一种基于vr技术的工业机器人实时控制系统
CN109857258B (zh) 一种虚拟远程遥控方法及装置、系统
CN109213306A (zh) 一种机器人远程控制平台及其设计方法
CN108459716B (zh) 一种在vr中实现多人协作完成任务的方法
CN115481489A (zh) 基于增强现实的白车身与生产线适配性验证系统及方法
Vamos et al. Collaboration in virtual reality of intelligent agents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant