CN114227719A - 移动机器人远程操控系统、方法及介质 - Google Patents

移动机器人远程操控系统、方法及介质 Download PDF

Info

Publication number
CN114227719A
CN114227719A CN202210017382.3A CN202210017382A CN114227719A CN 114227719 A CN114227719 A CN 114227719A CN 202210017382 A CN202210017382 A CN 202210017382A CN 114227719 A CN114227719 A CN 114227719A
Authority
CN
China
Prior art keywords
mobile robot
module
remote control
cloud server
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210017382.3A
Other languages
English (en)
Inventor
石礼刚
郭震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jingwu Trade Technology Development Co Ltd
Original Assignee
Shanghai Jingwu Trade Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jingwu Trade Technology Development Co Ltd filed Critical Shanghai Jingwu Trade Technology Development Co Ltd
Priority to CN202210017382.3A priority Critical patent/CN114227719A/zh
Publication of CN114227719A publication Critical patent/CN114227719A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/08Programme-controlled manipulators characterised by modular constructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明提供了一种移动机器人远程操控系统、方法及介质,包括:移动机器人本体、监控系统、云服务端和客户端;通过监控系统实时查看现场情况,通过客户端连接云服务端,实时获取移动机器人的状态和数据,通过操控移动机器人的上位机软件,完成对移动机器人本体和本体上协作机械臂的远程操控。本发明提出了一种基于远程办公或智能家居的移动机器人远程操控系统及协同工作方法,能够通过远程操控移动机器人辅助以实现远程办公。

Description

移动机器人远程操控系统、方法及介质
技术领域
本发明涉及机器人技术领域,具体地,涉及一种移动机器人远程操控系统、方法及介质。
背景技术
人工智能技术不断进步,移动机器人和协作机械臂工作系统(本发明统指移动机器人)也得到不断的发展,在人类的生产和生活中扮演着巨大的作用;智能家居越来越普及;疫情当下,远程办公成为大趋势,无线网络通信技术的飞速发展和传输速度的不断提高为移动机器人的远程操控提供了稳定便捷的通讯手段。
广义的远程办公是指企业中比较流行的通过虚拟专用网(VPN),在因特网上建立一个临时的、安全的链接,形成一条穿过混乱的公用网络的安全、稳定的隧道,帮助远程用户、公司分支机构、商业伙伴及供应商同公司的内部网建立可信的安全连接,并保证数据的安全传输。
专利文献CN112959291A(申请号:CN202110399313.9)公开了一种全视角远程操作主从机器人手臂系统,包括操作装置、执行装置、监视装置、控制装置,所述操作装置包括工作台和主操作杆,所述主操作杆设置在工作台上,所述执行装置包括移动车载平台、从动机械臂和执行器,所述从动机械臂设置在移动车载平台上,所述执行器设置在从动机械臂上,所述监视装置包括监视相机和监视屏幕。
一般来讲,这种方式能够支持用户全方位的日常办公需求,包括获取公司内部邮件、访问局域网中的文件服务器、内部数据库、ERP等,但是当需要远程对公司内部或者生产现场的设备进行操控时,比如电脑或其他设备的开关,则显得无能为力,同样的,智能家居系统也面临同样的问题,为此,本发明提出了一种基于远程办公或智能家居的移动机器人远程操控系统及协同工作方法,能帮助远程操作移动机器人完成相应的任务,辅助以真正实现远程办公或智能家居。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种移动机器人远程操控系统、方法及介质。
根据本发明提供的移动机器人远程操控系统,包括:移动机器人本体、监控系统、云服务端和客户端;
通过监控系统实时查看现场情况,通过客户端连接云服务端,实时获取移动机器人的状态和数据,通过操控移动机器人的上位机软件,完成对移动机器人本体和本体上协作机械臂的远程操控;
所述移动机器人本体包括:
无线通信模块:与云服务端进行通信和数据传输;
电源模块:负责系统供电;
机械臂:通过末端的夹爪夹取不同的工具,完成相应的任务;
主处理器模块:通过工控机与上位机软件通讯,接收任务指令,对任务进行分解并下发;
导航系统模块:负责机器人的行进和定位;
视觉系统模块:负责模式识别、室内环境重建和辅助定位。
优选的,所述无线通信模块内含物联卡,连接因特网,同时供外部设备连接到本体局域网,在移动机器人启动后自动连接云服务端,订阅相关的主题,并定时发布自身状态数据相关的主题,实现与远程云服务端的通信。
优选的,所述主处理器模块接收语音识别模块识别的信息,接收来自上位机软件和语音识别模块发来的任务指令,将任务分发给机械臂、导航系统模块、视觉系统模块,并将执行任务的结果及各模块的实时状态信息反馈到上位机软件或通过语音播报的形式直接反馈给用户。
优选的,所述导航系统模块采用激光雷达SLAM算法,利用激光雷达作为传感器,在位置环境中获取地图数据,使机器人实现同步定位与地图构建,通过路径规划下发位置信息,完成行进和定位。
优选的,所述视觉系统模块包括双目深度相机与相应的处理芯片,通过深度学习技术,实现语义即时定位与地图构建。
优选的,所述移动机器人本体还包括语音识别模块:接收用户发出的语音信息,并将接收到的信息解析传输至主处理器模块。
优选的,所述移动机器人本体还包括图像显示模块:用于实时显示系统的运行状态及发送任务指令,实现人机交互。
优选的,所述移动机器人本体还包括语音广播模块:负责接收主处理器发送的指令,调用预先录制好的语音提示进行语音播报,最终通过语音的形式将信息传递给机器使用者。
根据本发明提供的移动机器人远程操控方法,执行如下步骤:
步骤1:通过客户端连接云服务端,在连接成功后,实时获取移动机器人的状态和数据;
步骤2:通过监控系统实时查看当前办公或生产场所的现场状况以及移动机器人的实时动态;
步骤3:通过客户端软件操控移动机器人的移动,或者根据自动导航,运动到指定的位置;
步骤4:通过客户端软件下发协作机械臂相关指令,完成相应命令。
根据本发明提供的存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比,本发明具有如下的有益效果:
本发明提出了一种基于远程办公或智能家居的移动机器人远程操控系统及协同工作方法,能够通过远程操控移动机器人辅助以实现远程办公。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为移动机器人远程操控系统结构图;
图2为移动机器人本体系统结构图;
图3为协同工作方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例:
本发明提出了一种基于远程办公或智能家居的移动机器人远程操控系统及协同工作方法,通过监控系统和云服务端,能够远程操作移动机器人本体以及其上的协作机械臂运动,完成相应的任务,辅助以真正实现远程办公或智能家居。
本发明采用的技术方案如下:
移动机器人远程操控系统结构图见图1。主要包括移动机器人本体、监控系统、云服务端和客户端。操作者能够通过监控系统实时查看办公或生产的现场情况,通过客户端连接云服务端,实时获取移动机器人的状态和数据,通过操控移动机器人的上位机软件,可完成对移动机器人本体和其上的协作机械臂的远程操控。
移动机器人本体系统结构图见图2,主要包括:无线通信模块、电源模块、机械臂装置、主处理器模块、导航系统模块、视觉系统模块、语音识别模块、图像显示模块和语音广播模块。
无线通信模块内含一张流量卡(物联卡),可连接因特网,同时可供外部设备连接到本体局域网,移动机器人启动后会自动连接云服务器,订阅相关的topic,并定时发布自身状态数据相关的topic,实现与远程云服务端的通信。
图像显示模块用于实时显示系统的运行状态及发送任务指令,实现人机交互。
语音广播模块负责接收主处理器发送过来指令,调用存储模块中预先录制好的语音提示进行语音播报,最终通过语音的形式将信息传递给机器使用者。
语音识别模块接收用户发出的语音信息,并将接收到的信息解析传输至主处理器模块。
电源模块负责系统的供电。
主处理器模块由功能强大的工控机来承担,主要负责与上位机软件通讯,接收语音识别模块识别的信息,是整个系统的逻辑控制单元,接收来自上位机和语音发来的任务指令,将任务分发给机械臂、导航、视觉等功能模块,并将执行任务的结果及各模块的实时状态信息反馈到上位机系统或通过语音播报的形式直接反馈给用户。
机械臂是任务的主要执行机构,末端通过夹爪夹取不同的工具,完成相应的工作。
导航系统模块负责机器人的行进和定位等功能,其主要由激光雷达、底盘轮毂以及导航算法等组成。导航系统主要采用激光雷达SLAM算法,利用激光雷达作为传感器,在位置环境中获取地图数据,使机器人实现同步定位与地图构建,通过路径规划下发位置信息,完成行进和定位。
视觉系统模块负责模式识别、室内环境重建和辅助定位等功能,视觉系统模块主要由双目深度相机与相应的处理芯片构成,通过深度学习技术,实现语义SLAM。
移动机器人远程操控系统的协同工作方法流程图见附图3,描述如下:
操控者通过客户端连接云服务端,连接成功后,可实时获取移动机器人的状态和数据;通过监控系统可实时查看当前办公或生产场所的现场状况以及移动机器人的实时动态;操控者可通过客户端软件,操控移动机器人的移动,或者根据自动导航,运动到要求的位置;操控者可通过客户端软件,下发协作机械臂相关指令,完成相应命令。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种移动机器人远程操控系统,其特征在于,包括:移动机器人本体、监控系统、云服务端和客户端;
通过监控系统实时查看现场情况,通过客户端连接云服务端,实时获取移动机器人的状态和数据,通过操控移动机器人的上位机软件,完成对移动机器人本体和本体上协作机械臂的远程操控;
所述移动机器人本体包括:
无线通信模块:与云服务端进行通信和数据传输;
电源模块:负责系统供电;
机械臂:通过末端的夹爪夹取不同的工具,完成相应的任务;
主处理器模块:通过工控机与上位机软件通讯,接收任务指令,对任务进行分解并下发;
导航系统模块:负责机器人的行进和定位;
视觉系统模块:负责模式识别、室内环境重建和辅助定位。
2.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述无线通信模块内含物联卡,连接因特网,同时供外部设备连接到本体局域网,在移动机器人启动后自动连接云服务端,订阅相关的主题,并定时发布自身状态数据相关的主题,实现与远程云服务端的通信。
3.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述主处理器模块接收语音识别模块识别的信息,接收来自上位机软件和语音识别模块发来的任务指令,将任务分发给机械臂、导航系统模块、视觉系统模块,并将执行任务的结果及各模块的实时状态信息反馈到上位机软件或通过语音播报的形式直接反馈给用户。
4.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述导航系统模块采用激光雷达SLAM算法,利用激光雷达作为传感器,在位置环境中获取地图数据,使机器人实现同步定位与地图构建,通过路径规划下发位置信息,完成行进和定位。
5.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述视觉系统模块包括双目深度相机与相应的处理芯片,通过深度学习技术,实现语义即时定位与地图构建。
6.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述移动机器人本体还包括语音识别模块:接收用户发出的语音信息,并将接收到的信息解析传输至主处理器模块。
7.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述移动机器人本体还包括图像显示模块:用于实时显示系统的运行状态及发送任务指令,实现人机交互。
8.根据权利要求1所述的移动机器人远程操控系统,其特征在于,所述移动机器人本体还包括语音广播模块:负责接收主处理器发送的指令,调用预先录制好的语音提示进行语音播报,最终通过语音的形式将信息传递给机器使用者。
9.一种移动机器人远程操控方法,其特征在于,采用权利要求1-8中任一项所述的移动机器人远程操控系统,执行如下步骤:
步骤1:通过客户端连接云服务端,在连接成功后,实时获取移动机器人的状态和数据;
步骤2:通过监控系统实时查看当前办公或生产场所的现场状况以及移动机器人的实时动态;
步骤3:通过客户端软件操控移动机器人的移动,或者根据自动导航,运动到指定的位置;
步骤4:通过客户端软件下发协作机械臂相关指令,完成相应命令。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求9所述的方法的步骤。
CN202210017382.3A 2022-01-07 2022-01-07 移动机器人远程操控系统、方法及介质 Withdrawn CN114227719A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210017382.3A CN114227719A (zh) 2022-01-07 2022-01-07 移动机器人远程操控系统、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210017382.3A CN114227719A (zh) 2022-01-07 2022-01-07 移动机器人远程操控系统、方法及介质

Publications (1)

Publication Number Publication Date
CN114227719A true CN114227719A (zh) 2022-03-25

Family

ID=80746021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210017382.3A Withdrawn CN114227719A (zh) 2022-01-07 2022-01-07 移动机器人远程操控系统、方法及介质

Country Status (1)

Country Link
CN (1) CN114227719A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722050A (zh) * 2022-06-10 2022-07-08 辰星(天津)自动化设备有限公司 机器人系统的数据同步方法、及机器人系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722050A (zh) * 2022-06-10 2022-07-08 辰星(天津)自动化设备有限公司 机器人系统的数据同步方法、及机器人系统

Similar Documents

Publication Publication Date Title
CN109471435B (zh) 一种多异构移动机器人控制系统
CN101286058A (zh) 机器人模块化分布式自适应控制系统及方法
CN107838922B (zh) 一种机器人免重复示教的方法
US20190389075A1 (en) Robot system and robot dialogue method
CN110347159A (zh) 移动机器人多机协作方法和系统
CN109048932A (zh) 一种智能服务机器人系统
CN204856222U (zh) 一种基于物联网技术的全向移动平台控制系统
CN105425648A (zh) 便携机器人及其数据处理方法和系统
CN110524531A (zh) 一种基于物联网云服务的机器人控制系统及其工作流程
CN114227719A (zh) 移动机器人远程操控系统、方法及介质
CN113687718A (zh) 一种人-机集成的数字孪生系统及其构建方法
CN109454641B (zh) 一种运动控制器多任务分工及数据交互方法
CN111414688A (zh) 一种基于unity引擎的移动机器人仿真系统及方法
Althoff et al. An architecture for real-time control in multi-robot systems
WO2021036887A1 (zh) 一种数据处理系统和数据处理方法
CN107717983A (zh) 一种仿人机械臂示教控制方法
CN208262843U (zh) 一种桌面级搬运机械臂
CN111309453A (zh) 分布式部署的智能机器人系统
CN116305887A (zh) 一种网联自动驾驶车辆虚实融合仿真测试方法
Ma et al. Networked robot systems for indoor service enhanced via ROS middleware
Ruiz et al. Implementation of a sensor fusion based robotic system architecture for motion control using human-robot interaction
CN112947422A (zh) 一种用于ros无人车的导航控制方法及平台
JP2002312275A (ja) ロボット用動作プログラムの自動配信システム、ロボット用動作プログラムの自動受信システム及びロボット装置
CN114603551A (zh) 一种控制方法及电子设备
Kuts et al. Digital Twin: Universal User Interface for Online Management of the Manufacturing System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220325