CN111292519A - 一种多模态交互智能遥控系统 - Google Patents

Abstract

本发明公开了一种多模态交互智能遥控系统，包括遥控器、无线接收机、智动脑、机器人控制器、网络摄像头、云平台、Pad、传感器和5G基站，遥控器通过RF433与无线接收机无线连接，无线接收机通过CAN总线与智动脑电连接，智动脑通过CAN总线与机器人控制器电连接，智动脑通过RS485总线与传感器电连接，智动脑通过网口线与网络摄像头电连接，智动脑通过5G基站与云平台连接。本发明多模态交互智能遥控系统，施工人员可以通过遥控器达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式。

Description

一种多模态交互智能遥控系统

技术领域

本发明涉及工程机械设备技术领域，具体为一种多模态交互智能遥控系统。

背景技术

工程机械是装备工业的重要组成部分。概括地说，凡土石方施工工程、路面建设与养护、流动式起重装卸作业和各种建筑工程所需的综合性机械化施工工程所必需的机械装备，称为工程机械。它主要用于国防建设工程、交通运输建设，能源工业建设和生产、矿山等原材料工业建设和生产、农林水利建设、工业与民用建筑、城市建设、环境保护等领域。

目前的工程机械设备在施工时，由于生产或施工现场不能使用遥控器控制设备、手动使用遥控器来不及实时控制或多机协同控制而导致无法人工决策，使得现场生产或施工的安全性和可靠性低下，因此，急需一种多模态交互智能遥控系统来解决上述技术中所存在的缺陷。

发明内容

本发明的目的在于提供一种多模态交互智能遥控系统，施工人员可以通过遥控器达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，可以解决现有技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种多模态交互智能遥控系统，包括遥控器、无线接收机、智动脑、机器人控制器、网络摄像头、云平台、Pad、传感器和5G基站，所述遥控器通过RF433与无线接收机无线连接，所述无线接收机通过CAN总线与智动脑电连接，所述智动脑通过CAN总线与机器人控制器电连接，所述智动脑通过RS485总线与传感器电连接，所述智动脑通过网口线与网络摄像头电连接，所述智动脑通过5G基站与云平台连接，所述智动脑还通过Wifi与Pad无线连接。

优选的，所述遥控器内置有无线发射模块，所述无线接收机内置有无线接收模块。

优选的，所述遥控器的输出端与无线发射模块的输入端电连接，所述无线发射模块的输出端与无线接收模块的输入端电连接，所述无线接收模块的输出端与无线接收机的输入端电连接。

优选的，所述无线接收机的输出端与智动脑的输入端电连接，所述智动脑的输出端与机器人控制器的输入端电连接。

优选的，所述网络摄像头和传感器的输出端均与智动脑的输入端电连接，所述智动脑的输出端与Pad的输入端电连接。

优选的，所述智动脑的输出端还与云平台的输入端电连接。

与现有技术相比，本发明的有益效果如下：

本发明多模态交互智能遥控系统，通过在施工机器中加入ROS系统，通过slam可以对设备现场实施感知，并传送给遥控器，遥控器可以通过视频、音频、slam导航图等多方面数据全面了解机器状况，以更好的进行远程施工操作，可有效保证施工现场人员的安全性，施工人员可以通过遥控器达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，此外，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，可以在某些重复性劳动下开启自动开采。

附图说明

图1为本发明的智动脑与云平台交互的示意图；

图2为本发明的遥控器与机器人在隧道工作场景下的示意图；

图3为本发明的遥控器与机器人在隧道工作场景下的模块框图；

图4为本发明的遥控器在地面工作场景下的示意图；

图5为本发明的遥控器在地面工作场景下的模块框图。

图中：1、遥控器；11、无线发射模块；2、无线接收机；21、无线接收模块；3、智动脑；4、机器人控制器；5、网络摄像头；6、云平台；7、Pad；8、传感器；9、5G基站。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参阅图1-2，一种多模态交互智能遥控系统，包括遥控器1、无线接收机2、智动脑3、机器人控制器4、网络摄像头5、云平台6、Pad7、传感器8和5G基站9，遥控器1通过RF433与无线接收机2无线连接，遥控器1为了能够适应某些恶劣的现场场景，采用了三防与电磁防护，可防盗、防拆、防病毒及防网络盗用，其扩展、安装及维护便捷，无线接收机2通过CAN总线与智动脑3电连接，智动脑3通过CAN总线与机器人控制器4电连接，智动脑3根据收到的指令结合传感器8实时采集的数据利用本地智能算法进行计算，并把结果发给机器人控制器4，智动脑3通过RS485总线与传感器8电连接，智动脑3通过RS485总线收集各个传感器8数据，智动脑3通过网口线与网络摄像头5电连接，智动脑3通过5G基站9与云平台6连接，在网络良好的情况下，智动脑3把本地缓存的传感器8数据上传到云平台6，同时更新本地算法包，智动脑3还通过Wifi与Pad7无线连接，Pad7通过Wifi访问智动脑3进而来获取网络摄像头5所拍摄的图像以及传感器8实时采集的数据，通过Wifi可延长遥控器1操控机器人的距离，多种方式的无线通信，有线/无线共存，RS485/CAN/BT/WIFI/LORA/4G/5G等多种通信模块兼容，可随意更换，可同时对多台设备遥控或协同管控，生产或工程机械设备通过多种网络通信协议接入云平台6，将机器自身数据及传感器8数据和音视频数据全部发给云平台6，而遥控器1通过与云平台6的通信，将设备及遥控器1进行绑定，开启实时操作及数据上传，通过在施工机器中加入ROS系统，通过slam可以对设备现场实施感知，并传送给遥控器1，遥控器1可以通过视频、音频、slam导航图等多方面数据全面了解机器状况，以更好的进行远程施工操作，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，达到很好的效果。

参阅图3，遥控器1内置有无线发射模块11，无线接收机2内置有无线接收模块21，遥控器1的输出端与无线发射模块11的输入端电连接，无线发射模块11的输出端与无线接收模块21的输入端电连接，无线接收模块21的输出端与无线接收机2的输入端电连接，无线接收机2的输出端与智动脑3的输入端电连接，智动脑3的输出端与机器人控制器4的输入端电连接，网络摄像头5和传感器8的输出端均与智动脑3的输入端电连接，智动脑3的输出端与Pad7的输入端电连接，智动脑3的输出端还与云平台6的输入端电连接，遥控器1通过无线发射模块11和无线接收模块21向无线接收机2发送指令信息，无线接收机2接收到指令信息后将其指令信息传递给智动脑3，与此同时，网络摄像头5所拍摄的图像以及传感器8实时采集的数据通过智动脑3向Pad7传递信息并在Pad7上显示，智动脑3根据收到的指令信息结合传感器8实时采集的数据利用本地智能算法进行计算，并把结果发给机器人控制器4，通过机器人控制器4控制机器人工作，通过现场的人/机/环境一体化智能感知、音视频多模态交互、智能决策和多机协同控制，增加了现场生产或施工的安全性和可靠性，通过数据记录及大数据分析，增加了多模态交互智能遥控系统，通过该系统可实现主动/半主动作业及多机协同与远程监控。

工作原理：遥控器1通过RF433向无线接收机2发送CAN指令，无线接收机2收到CAN指令后将其发送给智动脑3，Pad7通过Wifi访问智动脑3进而来获取网络摄像头5所拍摄的图像以及传感器8实时采集的数据，智动脑3根据收到的指令结合传感器8实时采集的数据利用本地智能算法进行计算，并把结果发给机器人控制器4，在网络良好的情况下，智动脑3把本地缓存的传感器8数据上传到云平台6，同时更新本地算法包。

实施例二

参阅图4，一种多模态交互智能遥控系统，包括遥控器1、无线接收机2、智动脑3、机器人控制器4、网络摄像头5、云平台6、Pad7、传感器8和5G基站9，遥控器1通过RF433与无线接收机2无线连接，无线接收机2通过网口线与云平台6连接，云平台6通过网口线与Pad7连接，云平台6通过5G基站9与智动脑3连接，智动脑3通过CAN总线与机器人控制器4电连接，智动脑3通过RS485总线与传感器8电连接，智动脑3通过网口线与网络摄像头5电连接。

参阅图5，遥控器1内置有无线发射模块11，无线接收机2内置有无线接收模块21，遥控器1的输出端与无线发射模块11的输入端电连接，无线发射模块11的输出端与无线接收模块21的输入端电连接，无线接收模块21的输出端与无线接收机2的输入端电连接，无线接收机2的输出端与云平台6的输入端电连接，云平台6的输出端与Pad7的输入端电连接，云平台6与智动脑3电连接，智动脑3的输出端与机器人控制器4的输入端电连接，智动脑3的输入端分别与网络摄像头5和传感器8的输出端电连接，遥控器1通过无线发射模块11和无线接收模块21向无线接收机2发送指令信息，无线接收机2接收到指令信息后将其指令信息传递给云平台6，通过云平台6传递给智动脑3，与此同时，网络摄像头5所拍摄的图像以及传感器8实时采集的数据通过智动脑3向云平台6上传数据并在Pad7上显示，智动脑3根据收到的指令信息结合传感器8实时采集的数据利用本地智能算法进行计算，并把结果发给机器人控制器4，通过机器人控制器4控制机器人工作。

工作原理：遥控器1通过RF433向无线接收机2发送CAN指令，无线接收机2收到CAN指令后将其发送给云平台6，最后云平台6转发给智动脑3，Pad7通过网络访问云平台6来获取摄像头图像以及各个传感器8数据，地面网络信号良好时，智动脑3和云平台6完成一系列交互，如智动脑3启动时上传个人信息，并更新自己在数据库中的状态，智动脑3把本地缓存的传感器8数据或图像视频上传到云平台6，智动脑3检查并更新本地智能算法包，云平台6转发CAN指令给智动脑3，智动脑3通过网络收到的CAN指令结合传感器8数据利用本地智能算法进行计算，并把结果发给机器人控制器4。

综上所述，本发明多模态交互智能遥控系统，通过在施工机器中加入ROS系统，通过slam可以对设备现场实施感知，并传送给遥控器1，遥控器1可以通过视频、音频、slam导航图等多方面数据全面了解机器状况，以更好的进行远程施工操作，可有效保证施工现场人员的安全性，施工人员可以通过遥控器1达到身临其境位于操作现场的目的，甚至还可以异地操作施工，安全性及可靠性均得到了显著提升，此外，通过大量数据采集及记录人为操作的过程，大数据分析系统将能够提供机器开启半自动/自动的开采模式，可以在某些重复性劳动下开启自动开采。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种多模态交互智能遥控系统，包括遥控器(1)、无线接收机(2)、智动脑(3)、机器人控制器(4)、网络摄像头(5)、云平台(6)、Pad(7)、传感器(8)和5G基站(9)，其特征在于：所述遥控器(1)通过RF433与无线接收机(2)无线连接，所述无线接收机(2)通过CAN总线与智动脑(3)电连接，所述智动脑(3)通过CAN总线与机器人控制器(4)电连接，所述智动脑(3)通过RS485总线与传感器(8)电连接，所述智动脑(3)通过网口线与网络摄像头(5)电连接，所述智动脑(3)通过5G基站(9)与云平台(6)连接，所述智动脑(3)还通过Wifi与Pad(7)无线连接。

2.根据权利要求1所述的一种多模态交互智能遥控系统，其特征在于：所述遥控器(1)内置有无线发射模块(11)，所述无线接收机(2)内置有无线接收模块(21)。

3.根据权利要求1所述的一种多模态交互智能遥控系统，其特征在于：所述遥控器(1)的输出端与无线发射模块(11)的输入端电连接，所述无线发射模块(11)的输出端与无线接收模块(21)的输入端电连接，所述无线接收模块(21)的输出端与无线接收机(2)的输入端电连接。

4.根据权利要求1所述的一种多模态交互智能遥控系统，其特征在于：所述无线接收机(2)的输出端与智动脑(3)的输入端电连接，所述智动脑(3)的输出端与机器人控制器(4)的输入端电连接。

5.根据权利要求1所述的一种多模态交互智能遥控系统，其特征在于：所述网络摄像头(5)和传感器(8)的输出端均与智动脑(3)的输入端电连接，所述智动脑(3)的输出端与Pad(7)的输入端电连接。

6.根据权利要求1所述的一种多模态交互智能遥控系统，其特征在于：所述智动脑(3)的输出端还与云平台(6)的输入端电连接。

Images