CN105116785B - 一种多平台远程机器人通用控制系统 - Google Patents

Abstract

本发明公开一种多平台远程机器人通用控制系统，包括机器人本体系统与远程控制系统；机器人本体系统安装于机器人本体(robot)内，远程控制系统安装于远程控制器(controller)中。机器人远程控制器用来实现人机交互，发送任务指令至机器人本体系统；机器人本体系统用来采集环境信息与机器人自身信息，并进行环境辨识，完成地形构建，还对远程控制器发送的指令进行分析，控制机器人本体完成作业。机器人本体系统与远程控制系统间，采用无线网络进行通讯，独立于本体系统运行平台和远程控制器运行平台，本发明的优点为：提高了机器人系统的安全性能实现多控制器与机器人间多对一，一对多的操控；同时不同用户能给予不同权限，方便管理。

Description

一种多平台远程机器人通用控制系统

技术领域

本发明属于自动控制和机器人领域，具体涉及一种可在手机、平板电脑等便携式计算机上使用的多平台远程机器人通用控制系统。

背景技术

机器人是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合机电系统，能自动或半自动执行任务。目前机器人远程控制通讯方式有蓝牙、无线网络、无线电等。随着智能硬件尤其是手机、平板等便携嵌入式设备的发展，无线网络及无线网络设备变得随处可见。能使用无线网络方式与机器人进行交互将成为智能机器人标准配置。

目前机器人控制多采用专用控制器，需要开发专用的控制器硬件和控制器系统，同时这些专用控制器仅能对相应的机器人进行控制；已有的基于移动平台的机器人控制软件功能单一，通用性不强。

发明内容

针对上述问题，本发明提出一种多平台远程机器人通用控制系统，可将任一具有wlan功能的手机、平板笔记本电脑等作为机器人远程控制设备，并使之控制不同的机器人，可用于远程控制轮式机器人、足式机器人等常见机器人。

一种多平台远程机器人通用控制系统，其特征在于：包括机器人本体系统与远程控制系统。

所述机器人本体系统包括用户管理模块、信息采集模块、地形构建模块、任务管理模块与路径规划模块，同时内部搭建有流媒体服务器。

用户管理模块包括多用户管理子模块与用户认证子模块；多用户管理子模块用来存储用户身份信息以及各用户相应的权限；多用户管理子模块可通过远程控制系统对用户进行管理

信息采集模块为机器人本体所载传感器，用于获取机器人本体自身信息与环境信息；信息采集模块中麦克风采集到的音频和摄像头采集到的视频信息通过流媒体服务器处理成音频流与视频流。

环境构建模块根据信息采集模块采集的环境信息，结合机器人本体位姿信息，构建出环境地形；，即每次构建，均在在原有地图的基础上，根据新获取的机器人本体信息构建出部分地图，拼接至原有地图或更新原有地图中环境发生改变的部分，并将该增量地图发送至远程控制器，以更新远程控制器中的地图。

任务管理模块用来接收远程控制系统发送的任务指令，结合用户权限，进行任务分析，得到本次任务出发地点、目标地点，以及任务内容。

路径规划模块由任务分析得到的出发地点和目标地点，根据环境构建模块构建的环境地形进行路径规划，得到可通行路径，并反馈给任务管理模块，由任务管理模块根据路径规划结果，驱动机器人本体的机械执行器完成任务。

所述远程控制系统分为前端和后台；其中，前端用于实现人机交互；后台用于数据流的处理和传输；前端包括安全认证模块、操控模块、音视频播放模块、信息显示模块与三维仿真模块。

安全认证模块用于获取用户输入的用户信息，经后台封装成数据包发送至机器人本体系统中的用户认证子模块，经处理后，将登陆结果经后台反馈至安全认证模块。

操控模块由多个控件组成，当相应的控件被激活时，控制器将与控件绑定的指令，或控制者输入的指令封装成数据包之后发送至远程机器人；音视频播放模块通过后台接收机器人本体系统中信息采集模块中麦克风采集的声音信息和摄像头采集的图像，经后台解码后在音视频播放模块中进行显示。

信息显示模块将后台接收的机器人传感信息部分或全部显示出来。

三维仿真模块用于同步显示机器人模型和环境地形，可导入存储在远程控制系统的主配置文件内的机器人模型，在机器人运行过程中，三维仿真模块根据由后台获得的机器人本体自身信息，驱动三维模型与真实机器人同步运动；同时三维仿真模块根据由后台获得的由机器人本体构建的增量式环境模型，绘制环境地形。

本发明的优点在于：

(1)本发明多平台远程机器人通用控制系统，包含登录验证系统，提高了机器人系统的安全性，避免机器人被恶意操作。

(2)本发明多平台远程机器人通用控制系统，设计了用户管理系统，能实现多控制器操控一个机器人，也能实现一个控制器操控多个机器人；同时不同用户能给予不同权限，方便管理。

(3)本发明多平台远程机器人通用控制系统，设计了可配置系统框架，采用配置文件，在系统启动时动态配置UI，可以自定义控制系统通讯协议，使该控制系统具有很强的通用性。对于不同种类的机器人，亦能使用同一个设备来控制。

(4)本发明多平台远程机器人通用控制系统具有跨平台特性。基于无线网络进行通讯，与具体平台分离，可应用于ios、android、windows、linux等平台。本系统可将普通手机、平板等作为机器人控制器。

附图说明

图1为本发明多平台远程机器人通用控制系统整体结构框图；

图2为本发明多平台远程机器人通用控制系统中机器人本体系统功能结构框图；

图3为本发明多平台远程机器人通用控制系统中远程控制系统功能结构框图；

图4为远程控制系统主配置文件结构；

图5本发明多平台远程机器人通用控制系统控制过程数据流图。

具体实施方式

本发明基于无线网络的多平台远程机器人通用控制系统，由机器人本体系统与远程控制系统构成。机器人本体系统安装于机器人本体(robot)内，远程控制系统安装于远程控制器(controller)中。机器人远程控制器用来实现人机交互，发送任务指令至机器人本体系统；机器人本体系统用来采集环境信息与机器人自身信息，并进行环境辨识，完成地形构建，还对远程控制器发送的指令进行分析，控制机器人本体完成作业。

机器人本体系统与远程控制系统间，采用无线网络进行通讯，独立于本体系统运行平台和远程控制器运行平台，因而使本发明远程机器人通用控制系统可应用于ios、android、windows、linux等平台。机器人本体系统与远程控制系统相对独立，且由于对机器人来说，十分重要的地形构建、路径规划均由机器人本体系统独立完成，通讯量小，因此大大降低了远程控制过程对通讯实时性的要求，一般无线网络内的延时已能满足要求。本发明中无线网络物理拓扑结构根据具体应用场景，可以采用星型结构或主从结构。

星型结构中机器人本体(robot)与远程控制器(controller)均接入第三方设备(AP，Access Point)建立的无线控制网络中。该无线网络不受限于机器人本体和远程控制器的功率，因此可以建立穿透性好、范围大、稳定性强的无线网络，机器人本体活动范围广。在星型结构中，可以将多个机器人本体和多个远程控制器接入无线控制网络。远程控制器通过遍历该局域网络中所有IP的形式搜索该网络范围内的机器人本体。每个远程控制器可以与该范围内的任一机器人本体建立联系，取得机器人本体的控制权。每个机器人本体可以受多个远程控制器的控制。单个远程控制器同一时间只能控制一个机器人本体，但是可以迅速切换至对其他机器人本体的控制。

主从结构中，由机器人本体建立无线控制网络，远程控制器接入该网络。该结构较简单，无需第三方网络设备。但该网络受限于机器人本体功率，建立的无线网络半径小，穿透性差，机器人本体只能在控制器周围有限范围内活动。该结构中也可以使用多个远程控制器接入无线控制网络。

下面具体对机器人本体系统及远程控制系统进行具体说明：

如图1所示，所述机器人本体系统包括用户管理模块、信息采集模块、地形构建模块、任务管理模块与路径规划模块，同时内部搭建有流媒体服务器。

如图2所示，用户管理模块包括多用户管理子模块与用户认证子模块。多用户管理子模块用来存储用户身份信息(包括用户名与密码)以及各用户相应的权限。多用户管理子模块可通过远程控制系统登录web服务进行管理，如：增减用户、改变用户权限。低权限用户仅能使用机器人的部分功能，如只拥有摄像头权限的用户仅能查看机器人的摄像头，无法控制机器人本体运动。拥有较高权限用户可以开启排他模式，即在较高权限用户获得机器人控制权后，机器人本体系统拒绝执行低于其权限的用户发出的指令。用户认证子模块根据多用户管理子模块内存储的数据，对用户的的身份进行确认，并赋予相应的权限。上述用户管理模块以web服务形式提供。

所述信息采集模块为机器人本体所载传感器，用于获取机器人本体信息，包括机器人本体自身信息与环境信息。所述机器人本体自身信息包括位姿信息、关节角度、关节力矩、电池电量、关键部件温度等。环境信息包括采自环境的音频、采自环境的视频、气压、机器人所处位置温度等。所述机器人本体所载传感器中，麦克风、摄像头、气压计、温度计等用于采集环境信息，而GPS、IMU(惯性导航单元)、加速度计、角度传感器、力传感器、温度传感器等用于获取机器人本体自身信息。上述信息采集模块中，由麦克风采集到的音频和摄像头采集到的视频信息通过流媒体服务器处理成音频流与视频流。音频流与视频流流采用HTTP协议，使用户通过HTTP即可访问，甚至可以使用firefox、chrome等普通浏览器获取机器人摄像头图像。由于机器人本体自身信息中的音频和视频经过处理，因此在以下描述中将机器人本体自身信息中除音频和视频外的其余传感器信息为称为机器人传感信息。

所述环境构建模块根据信息采集模块采集的环境信息，结合机器人本体位姿信息，构建出环境地形。环境地形采用增量式构建，即每次构建，均在在原有地图的基础上，根据新获取的机器人本体信息构建出部分地图，拼接至原有地图或更新原有地图中环境发生改变的部分，并将该增量地图发送至远程控制器，以更新远程控制器中的地图。

所述任务管理模块用来接收远程控制系统发送的任务指令，结合用户权限，进行任务分析，得到本次任务出发地点、目标地点，以及任务内容。

路径规划模块由任务分析得到的出发地点和目标地点，根据环境构建模块构建的环境地形进行路径规划，得到可通行路径，并反馈给任务管理模块，由任务管理模块根据路径规划结果，驱动机器人本体的机械执行器完成任务。

如图3所示，所述远程控制系统分为前端和后台。其中，前端用于实现人机交互；后台用于数据流的处理和传输。前端包括安全认证模块、操控模块、音视频播放模块、信息显示模块与三维仿真模块，各个模块可根据需要开启。

如图4所示，其中，安全认证模块通过接入机器人本体的web服务，获取用户输入的用户信息，同时将后台接收到的登录结果显示给用户。用户在使用控制器时，需要进行用户认证。用户输入的身份信息，经后台封装成数据包发送至机器人本体系统中的用户认证子模块，进而确定用户的身份及权限，赋予用户对机器人本体的操控权，获得相应授权后用户才可控制机器人。此外，安全认证模块允许用户增减用户、改变用户权限，经后台处理发送至机器人本体，由机器人本体系统的多用户管理子模块处理并反馈至安全认证模块。

操控模块由多个控件组成，当相应的控件被激活时，控制器将与控件绑定的指令，或控制者输入的指令封装成数据包之后发送至远程机器人。所述控件包括按钮、文本输入框、下拉框。其中下拉框包含多个按钮，每一个按钮对应一个指令，按钮对应的指令以外的一些操作指令可以从文本输入框手动输入，并由文本输入框对应的按钮触发发送。上述操控模块中控件的种类、数量以及布局由配置文件控制。

音视频播放模块通过后台接收机器人本体系统中信息采集模块中麦克风采集的声音信息和摄像头采集的图像，经后台解码后在音视频播放模块中进行显示。

信息显示模块将后台接收的机器人传感信息部分或全部显示出来。机器人传感信息中，各个信息是否显示由主配置文件控制。信息显示模块内含数据可视化，可选择机器人传感信息的一个信息或多个信息作为数据源，以图表形式予以显示。

三维仿真模块用于同步显示机器人模型和环境地形，可导入存储在远程控制系统的主配置文件内的机器人模型，在机器人运行过程中，三维仿真模块根据由后台获得的机器人本体自身信息，驱动三维模型与真实机器人同步(低延时)运动。同时三维仿真模块根据由后台获得的由机器人本体构建的增量式环境模型，依此绘制环境地形。

远程控制系统后台中，操控模块发送的控制指令、接受信息采集模块发送的机器人传感信息以及环境构建模块发送的增量式地图的底层通讯协议直接采用TCP/IP协议进行传输，数据封装协议可由配置文件进行定义。数据发送采用一次应答形式，即远程控制器发出数据后，得到机器人本体的应答后方算作一次数据传输完成。安全认证模块发送的用户身份信息、流媒体服务提供的音频流、视频流采用HTTP传输。上述控制指令、用户身份信息、机器人传感信息、增量式地图以及音频流与视频流分6个端口独立传输。

本发明为减少数据传输错误，控制指令、机器人传感信息和增量式地图传输过程中采用标准CRC32校检。远程控制系统得到机器人传感信息后，根据主配置文件逐项解析数据。

所述远程控制系统，根据配置文件动态配置系统，配置文件包括主配置文件、通讯配置文件、操控模块配置文件；其中，主配置文件包括安全认证模块配置、音视频播放模块配置、三维仿真模块配置与信息显示模块配置。因此，对于不同的机器人，无论机器人系统基于什么平台，只需要修改配置文件，远程控制系统即可匹配相应的机器人，实现对不同机器人的操控。配置文件采用xml文件，由远程控制系统提供可视化配置编辑功能。

如图5所示，所述主配置文件中：

安全认证模块配置包含用户地址单元，对用户地址进行设置。

音频播放模块配置具有音频地址与音频质量，在网络带宽较小的情况下降低音频质量可大幅减少数据传送量，增加流畅性。

视频播放模块配置包含视频地址单元、视频大小选项与视频质量选项，在网络带宽较小的情况下减小视频尺寸、降低视频质量可大幅减少数据传送量，增加流畅性。

三维仿真模块配置具有机器人类型选项、文件地址选项与模型描述选项；机器人类型选项包括常见类型机器人三维模型，支持obj三维格式，具有双足机器人、四足机器人、六足机器人、四轮机器人等常见机器人模型，这些三维模型中定义了机器人各组件间的相对位姿关系，位姿信息关联至对应的传感器获取的信息。当远程控制系统获得各传感器信息后，根据传感器信息更新三维模型，实现三维模型与真实机器人同步(低延时)运动。文件地址选项为需要导入的自定义模型地址；模型描述选项用来对自定义模型进行描述。

信息显示模块配置远程控制器获取的机器人传感信息是否在信息显示模块中显示。包含传感器的名称、各个传感器值类型与是否显示选项；其中，传感器值类型分为整型、字符串型、双精度浮点型；是否显示选项决定其对应的传感器信息是否在远程控制系统中信息显示模块中进行显示。

上述音频播放模块配置、视频播放模块配置与三维仿真模块配置中还具有开关选项，用来控制模块的开启或关闭。

主配置文件具体配置如表1所示：

表格1主配置文件内容

所述通讯配置文件中包含了远程机器人控制指令、机器人传感信息、地图、数据帧格式相关配置。

通讯配置文件详细配置如表2所示。控制指令包含了远程机器人控制指令地址选项，即远程控制器用于接受指令的地址；传感信息包含了所接受的机器人传感信息数据源地址选项，即远程控制器对应的传感信息数据地址；地图包含了所接受的地图数据源地址配置，即相应的远程控制器地址；数据帧包含帧头和帧尾两部分，用于数据传输格式配置。

表2通讯配置文件内容

远程机器人控制指令数据、机器人传感信息数据、地图数据在传输过程中分帧进行，均具有帧头、数据长度、数据、校验值与帧尾共5个单元，格式如表3所示。

表格3数据传输单帧格式

帧头

数据长度

数据

校检值

帧尾

其中校检值为采用CRC32算法对上表中“数据”内容计算得到的校检值。

所述操控模块配置文件用于生成控制界面，当远程控制系统启动时，根据配置文件动态生成操控模块。操控模块配置文件具有控件类型、控件编号、控件位置、控件大小、控件显示文本、控件关联指令或控件编号。当控件中的按钮被按下时，远程控制系统将向机器人本体系统发送关联的指令。若按钮关联的是对应指令，则该按钮被按下时该指令被发送至机器人本体；若该按钮关联的是文本输入框的控件编号，则该文本输入框内的指令被发送至机器人本体。下拉框只能关联按钮，当该下拉框被按下时将弹出包含其所关联的所有按钮。下拉框内包含的按钮与在操控模块内直接显示的按钮具有完全相同的功能。每条指令均对应于一条权限，若机器人没有赋予当前用户该权限，用户发送该指令时无效。

操控模块配置文件详细配置如表3所示：

表3操控模块配置文件单个控件节点内容

控件类型

编号

位置

大小

显示文本

关联指令或控件编号

结合上述配置文件，本发明操控模块控制过程数据流过程如下：如图4所示，当控制者(用户)操作操控模块内某一控件。若该控件为按钮，则操控模块根据该控件的控件编号和通过解析操控模块配置文件得到的控件-命令对应表，获得控件对应的指令；若该控件为文本输入框，文本输入框内的内容即为指令。再结合通过解析通讯配置文件得到的控制命令格式，

进行字符流构造，即添加相应的帧头、校检值、帧尾，得到包含指令的字符流。该字符流被机器人本体接收后，进行字符流校检，校检成功后得到指令，由任务管理模块解析指令即可得到任务；进而通过任务管理模块分析任务得到本次任务的起止地点及任务内容，经由路径规划模块得到可通行路径。通过驱动机械执行器到达目标地点后，执行任务，直至本次任务完成。

对于不同的机器人，只要其系统按照本发明所设计系统框架去设计，即使具体实现不同，只需创建相应的配置，即可采用同一远程控制器去控制，因此本发明为实现机器人通用控制系统提供了一种解决方案。

Claims (10)

1.一种多平台远程机器人通用控制系统，其特征在于：包括机器人本体系统与远程控制系统；

所述机器人本体系统包括用户管理模块、信息采集模块、地形构建模块、任务管理模块与路径规划模块，同时内部搭建有流媒体服务器；

用户管理模块包括多用户管理子模块与用户认证子模块；多用户管理子模块用来存储用户身份信息以及各用户相应的权限；多用户管理子模块可通过远程控制系统对用户进行管理信息采集模块为机器人本体所载传感器，用于获取机器人本体自身信息与环境信息；信息采集模块中麦克风采集到的音频和摄像头采集到的视频信息通过流媒体服务器处理成音频流与视频流；

环境构建模块根据信息采集模块采集的环境信息，结合机器人本体位姿信息，构建出环境地形；即每次构建，均在原有地图的基础上，根据新获取的机器人本体信息构建出部分地图，拼接至原有地图或更新原有地图中环境发生改变的部分，并将增量式地图发送至远程控制器，以更新远程控制器中的地图；

任务管理模块用来接收远程控制系统发送的任务指令，结合用户权限，进行任务分析，得到本次任务出发地点、目标地点，以及任务内容；

路径规划模块由任务分析得到的出发地点和目标地点，根据环境构建模块构建的环境地形进行路径规划，得到可通行路径，并反馈给任务管理模块，由任务管理模块根据路径规划结果，驱动机器人本体的机械执行器完成任务；

所述远程控制系统分为前端和后台；其中，前端用于实现人机交互；后台用于数据流的处理和传输；前端包括安全认证模块、操控模块、音视频播放模块、信息显示模块与三维仿真模块；

安全认证模块用于获取用户输入的用户信息，经后台封装成数据包发送至机器人本体系统中的用户认证子模块，经处理后，将登录结果经后台反馈至安全认证模块；

操控模块由多个控件组成，当相应的控件被激活时，控制器将与控件绑定的指令，或控制者输入的指令封装成数据包之后发送至远程机器人；音视频播放模块通过后台接收机器人本体系统中信息采集模块中麦克风采集的声音信息和摄像头采集的图像，经后台解码后在音视频播放模块中进行显示；

信息显示模块将后台接收的机器人传感信息部分或全部显示出来；

三维仿真模块用于同步显示机器人模型和环境地形，可导入存储在远程控制系统的主配置文件内的机器人模型，在机器人运行过程中，三维仿真模块根据由后台获得的机器人本体自身信息，驱动三维模型与真实机器人同步运动；同时三维仿真模块根据由后台获得的由机器人本体构建的增量式环境模型，绘制环境地形。

2.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：所述用户管理模块以web服务形式提供。

3.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：无线网络物理拓扑结构根据具体应用场景，可以采用星型结构或主从结构。

4.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：所述环境构建模块中，环境地形采用增量式构建。

5.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：机器人本体自身信息中除音频和视频外的其余传感器信息为称为机器人传感信息。

6.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：所述操控模块中控件包括按钮、文本输入框、下拉框；其中下拉框包含多个按钮，每一个按钮对应一个指令，按钮对应的指令以外的操作指令，由文本输入框手动输入，并由文本输入框对应的按钮触发发送。

7.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：所述信息显示模块内含数据可视化，可选择机器人传感信息的一个信息或多个信息作为数据源，以图表形式予以显示。

8.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：所述远程控制系统后台中，操控模块发送的控制指令、接受信息采集模块发送的机器人传感信息以及环境构建模块发送的增量式地图的底层通讯协议直接采用TCP/IP协议进行传输，数据封装协议可由配置文件进行定义；数据发送采用一次应答形式，即远程控制器发出数据后，得到机器人本体的应答后方算作一次数据传输完成；且控制指令、用户身份信息、机器人传感信息、增量式地图以及音频流与视频流分6个端口独立传输。

9.如权利要求1所述一种多平台远程机器人通用控制系统，其特征在于：所述控制指令、机器人传感信息和增量式地图；

所述远程控制系统，根据配置文件动态配置，配置文件包括主配置文件、通讯配置文件、操控模块配置文件；其中，主配置文件包括安全认证模块配置、音视频播放模块配置、三维仿真模块配置与信息显示模块配置；

所述主配置文件中：

安全认证模块配置包含用户地址单元，对用户地址进行设置；音频播放模块配置具有音频地址与音频质量；

视频播放模块配置包含视频地址单元、视频大小选项与视频质量选项；

三维仿真模块配置具有机器人类型选项、文件地址选项与模型描述选项；机器人类型选项包括常见类型机器人三维模型，支持obj三维格式，具有机器人三维模型，三维模型中定义了机器人各组件间的相对位姿关系，位姿信息关联至对应的传感器获取的信息；文件地址选项为需要导入的自定义模型地址；模型描述选项用来对自定义模型进行描述；

信息显示模块配置实现远程控制器获取的机器人传感信息是否在信息显示模块中显示；包含传感器的名称、各个传感器值类型与是否显示选项；

所述通讯配置文件中包含了远程机器人控制指令、机器人传感信息、地图、数据帧格式相关配置；控制指令包含了远程机器人控制指令地址选项；传感信息包含了所接受的机器人传感信息数据源地址选项，即远程控制器对应的传感信息数据地址；地图包含了所接受的地图数据源地址配置；数据帧包含帧头和帧尾两部分，用于数据传输格式配置；

所述操控模块配置文件用于生成控制界面，当远程控制系统启动时，根据配置文件动态生成操控模块；操控模块配置文件具有控件类型、控件编号、控件位置、控件大小、控件显示文本、控件关联指令或控件编号。

10.如权利要求9所述一种多平台远程机器人通用控制系统，其特征在于：所述音频播放模块配置、视频播放模块配置与三维仿真模块配置中还具有开关选项，用来控制音频播放模块、视频播放模块与三维仿真模块的开启或关闭。