CN115556115A - 基于mr技术的协作机器人控制系统 - Google Patents

基于mr技术的协作机器人控制系统 Download PDF

Info

Publication number
CN115556115A
CN115556115A CN202211412129.4A CN202211412129A CN115556115A CN 115556115 A CN115556115 A CN 115556115A CN 202211412129 A CN202211412129 A CN 202211412129A CN 115556115 A CN115556115 A CN 115556115A
Authority
CN
China
Prior art keywords
robot
module
task
database
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211412129.4A
Other languages
English (en)
Inventor
牟宏磊
蒙洋
田磊
刘晶晶
王烁石
代宇娴
孙振江
鑫凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangketianxia Beijing Technology Development Co ltd
Original Assignee
Chuangketianxia Beijing Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangketianxia Beijing Technology Development Co ltd filed Critical Chuangketianxia Beijing Technology Development Co ltd
Priority to CN202211412129.4A priority Critical patent/CN115556115A/zh
Publication of CN115556115A publication Critical patent/CN115556115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了涉及机器人控制技术领域，基于MR技术的协作机器人控制系统，包括机器人和人机交互模块，还包括机器人控制器、无线通讯模块和处理器以及MR技术层；任务模块；用于根据接收的任务指令进行分配机器人的运行任务；数据库模块，用于存储虚拟数据信息、任务数据信息；分析显示模块；图像识别模块；所述MR技术层包括MR发射模块、所述MR发射模块连接有MR计算处理模块，所述MR计算处理模块连接有MR接收模块。本发明通过MR技术形成有一个能与现实世界各事物相互交互的环境，便于协作机器人控制工作，通过无线通讯模块数据传输，并能够在危险环境下准确对机器人控制，使得人机协作效率更高。

Description

基于MR技术的协作机器人控制系统
技术领域
本发明涉及机器人控制技术领域，具体是基于MR技术的协作机器人控制系统。
背景技术
MR技术混合现实技术，是把虚拟物体和现实物体都进行再次计算，把它们混合到一起，难分彼此，核心问题是对现实世界的3D扫描，以及远近空间的感知，目前人们将MR技术应用在协作机器人中，这样可便于机器人更好的进行工作，而协作机器人就是机器人与人可以在生产线上协同作战，充分的发挥机器人的效率及人类的智能。
中国专利公开了一种基于RPA技术的营销稽查机器人控制系统(申请公布号CN113450012A)，该专利技术能够有效克服现有技术所存在的不具备针对性的处理到期提醒功能、无法对业务工单的派发进行有效优化的缺陷，但是该专利以及现有市场上的机器人在与用户之间的交互体验较差，并且无法与现实世界相互交互，这样使得人机协作效率较差。因此，本领域技术人员提供了基于MR技术的协作机器人控制系统，以解决上述背景技术中提出的问题。
发明内容
本发明的目的在于提供基于MR技术的协作机器人控制系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于MR技术的协作机器人控制系统，包括机器人和人机交互模块，还包括：
机器人控制器，与所述机器人无线连接，用于操控机器人工作；
无线通讯模块，设置于机器人和机器人控制器内，用于实现机器人与机器人控制器之间的无线连接；
处理器，设置于机器人内，用于对接收的数据进行处理；
任务模块，设置于机器人内部，用于根据接收的任务指令进行分配机器人的运行任务；
数据库模块，用于存储虚拟数据信息、任务数据信息以及机器人数据信息；
分析显示模块，用于分析处理接收的数据信息，并显示处理后的数据信息；
图像识别模块，用于识别所接收的图像数据信息；
所述人机交互模块与数据库模块连接；
还包括机器人内置的MR技术层，所述MR技术层包括MR发射模块、所述MR发射模块连接有MR计算处理模块，所述MR计算处理模块连接有MR接收模块。
作为本发明再进一步的方案：所述MR技术层提供协作机器人的窗口、虚拟现实场景和各种控制菜单等信息，所述MR技术层将其信息发送至图像识别模块。
作为本发明再进一步的方案：所述数据库模块中包括虚拟数据环境库、任务数据库以及虚拟机器人数据库；
所述虚拟数据环境库中存储有作业的对象和作业场景数据；
所述任务数据库中存储多个任务文件；
所述虚拟机器人数据库用于存储机器人的连接参数以及机器人的工作状态。
作为本发明再进一步的方案：所述虚拟数据环境库中还包括机器人的运动速度、时间以及运动方式内容。
作为本发明再进一步的方案：所述数据库模块还连接有控制模块，所述控制模块包括机器人加密模块、机器人更新模块、机器人电量监控模块以及机器人声音模块。
作为本发明再进一步的方案：所述任务模块包括机器人任务模块、机器人控制模块以及机器人运动模块；
所述机器人任务模块中包含机器人通过外部图像所接收的任务；
所述机器人控制模块中存储机器人控制系统，该控制系统中包括机器人手臂和下肢的移动旋转角度；
所述机器人运动模块中包括机器人各个关节运动轨迹。
作为本发明再进一步的方案：所述机器人控制器包括机器人左臂控制模块，机器人右臂控制模块、机器人左腿控制模块以及机器人右腿控制模块。
作为本发明再进一步的方案：所述任务模块用于接收数据库模块传输的任务指令，并从任务模块中查找并进行操作；
然后再将指令发送至处理器由处理器发送至无线通讯模块，通过无线通讯模块可将指令无线发送至机器人控制器，进而控制机器人的运动；
所述无线通讯模块可通过蓝牙或无线网络进行信号传输。
作为本发明再进一步的方案：所述机器人加密模块可对机器人所接收的信号进行加密处理，并在一定时间内进行删除处理，所述机器人更新模块可联网更新数据库内容。
与现有技术相比，本发明的有益效果是：本发明能够极大改善用户与机器人之间的交互体验，稳定成熟的远程机器人控制，并通过MR技术形成有一个能与现实世界各事物相互交互的环境，更加便于协作机器人的控制工作，通过无线通讯模块进行数据传输，并能够在危险环境下准确对机器人控制，完成任务，使得人机协作效率更高，操作方式简单灵活；
MR技术通过摄像机获取图像，并通过边缘提取和图像匹配的方式识别出操作位，最后计算操作位的坐标信息发送到图像识别模块，数据库模块中存储有作业对象和作业场景的模型数据，通过处理器可将各关节角旋转度数和相应角速度，将发送关节旋转角度和角速度信息至机械臂驱动程序，从而完成协作机器人的控制。
附图说明
图1为基于MR技术的协作机器人控制系统的框架图；
图2为基于MR技术的协作机器人控制系统中数据库模块的框架图；
图3为基于MR技术的协作机器人控制系统中任务模块的框架图；
图4为基于MR技术的协作机器人控制系统中机器人控制器的框架图；
图5为基于MR技术的协作机器人控制系统中机器人控制模块的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～5，本发明实施例中，基于MR技术的协作机器人控制系统，包括机器人和人机交互模块，还包括：
机器人控制器，与所述机器人无线连接，用于操控机器人工作；
无线通讯模块，设置于机器人和机器人控制器内，用于实现机器人与机器人控制器之间的无线连接；
处理器，设置于机器人内，用于对接收的数据进行处理；
任务模块，设置于机器人内部，用于根据接收的任务指令进行分配机器人的运行任务；
数据库模块，用于存储虚拟数据信息、任务数据信息以及机器人数据信息；
分析显示模块，用于分析处理接收的数据信息，并显示处理后的数据信息；
图像识别模块，用于识别所接收的图像数据信息；
所述人机交互模块与数据库模块连接；
还包括机器人内置的MR技术层，MR技术层包括MR发射模块、MR发射模块连接有MR计算处理模块，MR计算处理模块连接有MR接收模块。
进一步的：MR技术层提供协作机器人的窗口、虚拟现实场景和各种控制菜单等信息，MR技术层将其信息发送至图像识别模块。
进一步的：数据库模块中包括虚拟数据环境库、任务数据库以及虚拟机器人数据库；
虚拟数据环境库中存储有作业的对象和作业场景数据；
任务数据库中存储多个任务文件；
虚拟机器人数据库用于存储机器人的连接参数以及机器人的工作状态。
其中：虚拟数据环境库中还包括机器人的运动速度、时间以及运动方式内容。
进一步的：数据库模块还连接有控制模块，控制模块包括机器人加密模块、机器人更新模块、机器人电量监控模块以及机器人声音模块。
进一步的：任务模块包括机器人任务模块、机器人控制模块以及机器人运动模块；
机器人任务模块中包含机器人通过外部图像所接收的任务；
机器人控制模块中存储机器人控制系统，该控制系统中包括机器人手臂和下肢的移动旋转角度；
机器人运动模块中包括机器人各个关节运动轨迹。
其中：机器人控制器包括机器人左臂控制模块，机器人右臂控制模块、机器人左腿控制模块以及机器人右腿控制模块。
进一步的：任务模块用于接收数据库模块传输的任务指令，并从任务模块中查找并进行操作；
然后再将指令发送至处理器由处理器发送至无线通讯模块，通过无线通讯模块可将指令无线发送至机器人控制器，进而控制机器人的运动；
无线通讯模块可通过蓝牙或无线网络进行信号传输。
进一步的：机器人加密模块可对机器人所接收的信号进行加密处理，并在一定时间内进行删除处理，机器人更新模块可联网更新数据库内容。
本发明的工作原理是：该发明首先通过MR技术形成与现实世界各事物相互交互的环境，并通过MR发射模块将环境发送至MR计算处理模块，利用MR计算处理模块可将其发送至MR接收装置中将环境信息传输至接收装置内，最后将其接收的信息传递给图像识别装置；
再利用图像识别装置可识别有用和无用的信息，并进行删选，筛选后将其传输至数据库模块中；
在数据库模块中包括虚拟数据环境库、任务数据库以及虚拟机器人数据库，虚拟数据环境库中存储有作业的对象和作业场景数据，任务数据库中存储多个任务文件，虚拟机器人数据库用于存储机器人的连接参数以及机器人的工作状态，这样可通过任务数据库来区别MR技术传输的任务情况并将其传输至任务模块中；
任务模块包括机器人任务模块、机器人控制模块以及机器人运动模块，机器人任务模块中包含机器人通过外部图像所接收的任务，机器人控制模块中存储机器人控制系统，该控制系统中包括机器人手臂和下肢的移动旋转角度，机器人运动模块中包括机器人各个关节运动轨迹，这样在任务接收后并且机器人的位移和角度了解后，可将其接收的所有信号传输至处理器中，通过处理器将信号综合处理并通过无线通讯模块发送至机器人控制器，该无线通讯模块可通过蓝牙或无线网络进行信号传输；
而机器人控制器中包括机器人左臂控制模块，机器人右臂控制模块、机器人左腿控制模块以及机器人右腿控制模块，这样可控制机器人的行走，本发明能够极大改善用户与机器人之间的交互体验，稳定成熟的远程机器人控制，并通过MR技术形成有一个能与现实世界各事物相互交互的环境，更加便于协作机器人的控制工作；
通过无线通讯模块进行数据传输，并能够在危险环境下准确对机器人控制，完成任务，使得人机协作效率更高，操作方式简单灵活；
MR技术通过摄像机获取图像，并通过边缘提取和图像匹配的方式识别出操作位，最后计算操作位的坐标信息发送到图像识别模块，数据库模块中存储有作业对象和作业场景的模型数据通过处理器可将各关节角旋转度数和相应角速度，将发送关节旋转角度和角速度信息至机械臂驱动程序，从而完成协作机器人的控制。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.基于MR技术的协作机器人控制系统，包括机器人和人机交互模块，其特征在于，还包括：
机器人控制器，与所述机器人无线连接，用于操控机器人工作；
无线通讯模块，设置于机器人和机器人控制器内，用于实现机器人与机器人控制器之间的无线连接；
处理器，设置于机器人内，用于对接收的数据进行处理；
任务模块，设置于机器人内部，用于根据接收的任务指令进行分配机器人的运行任务；
数据库模块，用于存储虚拟数据信息、任务数据信息以及机器人数据信息；
分析显示模块，用于分析处理接收的数据信息，并显示处理后的数据信息；
图像识别模块，用于识别所接收的图像数据信息；
所述人机交互模块与数据库模块连接；
还包括机器人内置的MR技术层，所述MR技术层包括MR发射模块、所述MR发射模块连接有MR计算处理模块，所述MR计算处理模块连接有MR接收模块。
2.根据权利要求1所述的基于MR技术的协作机器人控制系统，其特征在于，所述MR技术层提供协作机器人的窗口、虚拟现实场景和各种控制菜单等信息，所述MR技术层将其信息发送至图像识别模块。
3.根据权利要求1所述的基于MR技术的协作机器人控制系统，其特征在于，所述数据库模块中包括虚拟数据环境库、任务数据库以及虚拟机器人数据库；
所述虚拟数据环境库中存储有作业的对象和作业场景数据；
所述任务数据库中存储多个任务文件；
所述虚拟机器人数据库用于存储机器人的连接参数以及机器人的工作状态。
4.根据权利要求3所述的基于MR技术的协作机器人控制系统，其特征在于，所述虚拟数据环境库中还包括机器人的运动速度、时间以及运动方式内容。
5.根据权利要求1所述的基于MR技术的协作机器人控制系统，其特征在于，所述数据库模块还连接有控制模块，所述控制模块包括机器人加密模块、机器人更新模块、机器人电量监控模块以及机器人声音模块。
6.根据权利要求1所述的基于MR技术的协作机器人控制系统，其特征在于，所述任务模块包括机器人任务模块、机器人控制模块以及机器人运动模块；
所述机器人任务模块中包含机器人通过外部图像所接收的任务；
所述机器人控制模块中存储机器人控制系统，该控制系统中包括机器人手臂和下肢的移动旋转角度；
所述机器人运动模块中包括机器人各个关节运动轨迹。
7.根据权利要求1所述的基于MR技术的协作机器人控制系统，其特征在于，所述机器人控制器包括机器人左臂控制模块，机器人右臂控制模块、机器人左腿控制模块以及机器人右腿控制模块。
8.根据权利要求1所述的基于MR技术的协作机器人控制系统，其特征在于，所述任务模块用于接收数据库模块传输的任务指令，并从任务模块中查找并进行操作；
然后再将指令发送至处理器由处理器发送至无线通讯模块，通过无线通讯模块可将指令无线发送至机器人控制器，进而控制机器人的运动；
所述无线通讯模块可通过蓝牙或无线网络进行信号传输。
9.根据权利要求5所述的基于MR技术的协作机器人控制系统，其特征在于，所述机器人加密模块可对机器人所接收的信号进行加密处理，并在一定时间内进行删除处理，所述机器人更新模块可联网更新数据库内容。
CN202211412129.4A 2022-11-11 2022-11-11 基于mr技术的协作机器人控制系统 Pending CN115556115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211412129.4A CN115556115A (zh) 2022-11-11 2022-11-11 基于mr技术的协作机器人控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211412129.4A CN115556115A (zh) 2022-11-11 2022-11-11 基于mr技术的协作机器人控制系统

Publications (1)

Publication Number Publication Date
CN115556115A true CN115556115A (zh) 2023-01-03

Family

ID=84769968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211412129.4A Pending CN115556115A (zh) 2022-11-11 2022-11-11 基于mr技术的协作机器人控制系统

Country Status (1)

Country Link
CN (1) CN115556115A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117655601A (zh) * 2023-12-12 2024-03-08 中船舰客教育科技(北京)有限公司 基于mr的智能焊接方法、装置、计算机设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117655601A (zh) * 2023-12-12 2024-03-08 中船舰客教育科技(北京)有限公司 基于mr的智能焊接方法、装置、计算机设备和介质

Similar Documents

Publication Publication Date Title
US11762461B2 (en) Late update of eye tracking information to GPU for fast foveated rendering
US11474599B2 (en) Dynamic graphics rendering based on predicted saccade landing point
CN109375764B (zh) 一种头戴显示器、云端服务器、vr系统及数据处理方法
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
CN108983636B (zh) 人机智能共生平台系统
CN104035760A (zh) 跨移动平台实现沉浸式虚拟现实的系统
CN103389699A (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN111047708B (zh) 一种基于混合现实的复杂设备高风险项目训练系统
CN111716365B (zh) 基于自然行走的沉浸式远程交互系统及方法
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
CN107122045A (zh) 一种基于混合现实技术的虚拟人机示教系统及方法
CN103529944A (zh) 一种基于Kinect的人体动作识别方法
CN110223413A (zh) 智能巡检方法、装置、计算机存储介质和电子设备
CA3078578A1 (en) Teleoperation system, method, apparatus, and computer-readable medium
CN110083235A (zh) 交互系统及数据处理方法
CN103179401A (zh) 多智能体协同视频采集与图像信息拼接处理方法及装置
CN107515002A (zh) 一种基于LiDAR和云计算实现机器人实时室内地图构建和定位导航的系统方法和装置
CN113687718A (zh) 一种人-机集成的数字孪生系统及其构建方法
CN105739703A (zh) 面向无线头戴显示设备的虚拟现实体感交互系统及方法
CN111438673A (zh) 基于立体视觉和手势控制的高空作业遥操作方法及系统
CN115556115A (zh) 基于mr技术的协作机器人控制系统
CN113625869A (zh) 一种大空间多人互动云渲染系统
US11989843B2 (en) Robotic learning of assembly tasks using augmented reality
WO2019061466A1 (zh) 一种飞行控制方法、遥控装置、遥控系统
Tikanmäki et al. The remote operation and environment reconstruction of outdoor mobile robots using virtual reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination