CN114827120A - 机器人的远程交互方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了一种机器人的远程交互方法、装置及计算机设备，其中，该机器人的远程交互方法包括机器端执行的如下步骤：向云服务端发送机器服务连接请求；若云服务端响应于机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应云服务器发送的运行数据上报指令或动作控制指令；当机器读写线程接收运行数据上报指令时，向云服务端返回机器运行状态数据；当机器读写线程处理动作控制指令时，执行对应的机器控制动作。该方法可有效降低移动机器人的维护成本，并可及时获取移动机器人的运行状态，提高运维效率。

Description

机器人的远程交互方法、装置及计算机设备

技术领域

本发明涉及远程控制技术领域，尤其涉及一种机器人的远程交互方法、装置及计算机设备。

背景技术

移动机器人具有在环境中四处移动的能力，并且不会固定在一个物理位置。移动机器人可以是“自主的”（AMR，Autonomous Mobile Robot，自主移动机器人），这意味着它们可以在不受控制的环境中导航，而无需物理或机电引导设备。移动机器人在商业和工业环境中已变得越来越普遍。多年来，医院一直在使用自主移动机器人来移动物料。仓库已安装了移动机器人系统，以有效地将物料从库存货架移至订单履行区域。家用机器人是消费产品，包括娱乐机器人以及执行某些家庭任务（例如吸尘或园艺）的机器人。

移动机器人在实际投入使用过程中使用场景复杂，比如商场、小区道路的环境中会出现机器人所处的工作场景变化、避让车辆或者人等情况。在意外条件下的环境中，移动机器人可能出现运行异常的状况。当前针对移动机器人运行异常的处理方式是现场人员亲自到移动机器人的运行现场查看机器人的运行状态。这样的处理方式导致运维人员不能及时获取移动机器人出现的异常状态，增加了机器人的运营维护成本，解决机器人运行异常故障的效率低下。

发明内容

本发明实施例提供一种机器人的远程交互方法、装置及计算机设备，以解决运维人员不能及时获取移动机器人出现的异常状态，增加了机器人的运营维护成本，解决机器人运行异常故障的效率低下的问题。

一种机器人的远程交互方法，包括机器端执行的如下步骤：

向云服务端发送机器服务连接请求；

若云服务端响应于机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应云服务器发送的运行数据上报指令或动作控制指令；

当机器读写线程接收运行数据上报指令时，向云服务端返回机器运行状态数据，

当机器读写线程处理动作控制指令时，执行对应的机器控制动作。

一种机器人的远程交互装置，包括机器端，机器端包括：

发送机器服务连接请求模块，用于向云服务端发送机器服务连接请求；

启动机器读写线程模块，用于若云服务端响应于机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应云服务器发送的运行数据上报指令或动作控制指令；

返回运行状态数据模块，用于当机器读写线程接收运行数据上报指令时，向云服务端返回机器运行状态数据；

执行机器控制动作模块，用于当机器读写线程处理动作控制指令时，执行对应的机器控制动作。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述机器人的远程交互方法。

一种机器人的远程交互方法，包括云服务端执行的如下步骤：

获取客户端发送的客户端远程控制请求或机器端发送的机器服务连接请求；

当获取客户端远程控制请求时，基于客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应客户端发送的状态监控请求或动作控制指令；

基于状态监控请求生成运行数据上报指令；

当获取机器服务连接请求时，基于机器服务连接请求向客户端返回机器连接确认信息，并启动服务器读写线程，用于向机器端发送运行数据上报指令或动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据；

当服务器读写线程向机器端发送运行数据上报指令时，获取机器端返回的运行状态数据，运行状态数据包括环境监控数据。

一种机器人的远程交互装置，包括云服务端，云服务端包括：

获取服务连接请求模块，用于获取客户端发送的客户端远程控制请求或机器端发送的机器服务连接请求；

创建服务器同步线程模块，用于当获取客户端远程控制请求时，基于客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应客户端发送的状态监控请求或动作控制指令；

生成数据上报指令模块，用于基于状态监控请求生成运行数据上报指令；

启动服务器读写线程模块，用于当获取机器服务连接请求时，基于机器服务连接请求向客户端返回机器连接确认信息，并启动服务器读写线程，用于向机器端发送运行数据上报指令或动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据；

获取运行状态数据模块，用于当服务器读写线程向机器端发送运行数据上报指令时，获取机器端返回的运行状态数据，运行状态数据包括环境监控数据。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述机器人的远程交互方法。

一种机器人的远程交互方法，包括客户端执行的如下步骤：

向云服务端发送客户端远程控制请求，以使云服务端基于客户端远程控制请求创建服务器同步线程和服务器异步线程；

基于服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向云服务端发送状态监控请求或动作控制指令；

当向云服务端发送状态监控请求时，通过云服务器将状态监控请求生成运行数据上报指令发送给机器端，接收机器端云服务端基于运行数据上报指令返回的运行状态数据；

当向云服务端发送动作控制指令时，通过云服务器将动作控制指令发送给机器端，以使机器端执行对应的机器控制动作。

一种机器人的远程交互装置，包括客户端，客户端包括：

发送客户端远程控制请求模块，用于向云服务端发送客户端远程控制请求，以使云服务端基于客户端远程控制请求创建服务器同步线程和服务器异步线程；

启动客户端异步线程模块，用于基于服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向云服务端发送状态监控请求或动作控制指令；

接收运行状态数据模块，用于当向云服务端发送状态监控请求时，通过云服务器将状态监控请求生成运行数据上报指令发送给机器端，接收机器端云服务端基于运行数据上报指令返回的运行状态数据；

发送动作控制指令模块，用于当向云服务端发送动作控制指令时，通过云服务器将动作控制指令发送给机器端，以使机器端执行对应的机器控制动作。

一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述机器人的远程交互方法。

上述机器人的远程交互方法、装置及计算机设备，通过移动机器人对应的机器端、云服务端和用户对应的客户端，可及时将用户通过客户端发送的状态监控请求或动作控制指令通过云服务端传达给机器端，对移动机器人的运行状态通过机器端返回的运行状态数据进行远程实时监控，无需人工到达移动机器人所在的工作现场，有效降低移动机器人的维护成本，并可及时获取移动机器人的运行状态，提高移动机器人的运维效率和管理效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1绘示出本发明一实施例中机器人的远程交互方法的应用环境示意图；

图2绘示出本发明一实施例中机器人的远程交互方法的流程图；

图3绘示出本发明一实施例中机器人的远程交互方法中WebSocket的工作流程示意图；

图4绘示出本发明一实施例中机器人的远程交互方法的第二流程图；

图5绘示出本发明一实施例中机器人的远程交互方法中异常告警监控逻辑示意图；

图6绘示出本发明一实施例中机器人的远程交互方法的第三流程图；

图7绘示出本发明一实施例中机器人的远程交互方法的第四流程图；

图8绘示出本发明一实施例中机器人的远程交互装置的示意图；

图9绘示出本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的机器人的远程交互方法，可应用在如图1的应用环境中，该机器人的远程交互方法应用在机器人的远程交互系统中，该机器人的远程交互包括与移动机器人对应的机器端、与用户对应的客户端和云服务端，其中，客户端通过网络与云服务端进行通信。其中，客户端又称为用户端，是指与服务器相对应，为客户提供本地服务的程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。云服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

云服务器包含两个部分：一个作为数据服务器、另外一个作为流媒体服务器。数据服务器的功能包括接收来自机器人上报的数据，将客户端命令发送到机器人，处理来自客户端的数据请求；流媒体服务器主要为了实现视频监控功能。

云服务器对于数据的管理分为两个部分，数据库MySQL和运行程序的内存。MySQL用以存储统计用的历史数据，如：机器人执行的总里程、机器人类型、机器人使用的历史地图等。机器人作为一个机器人实体类存在，机器人上传的各项数据都以实体类的属性存储在程序内存中。

客户端包含显示机器人实时数据的模块、机器人数据管理模块、远程控制模块，分别用以实现机器人监控、机器人历史数据统计查看和系统数据查看以及管理、远程操作机器人的运行任务。

该机器人的远程交互方法包括机器端执行的如下步骤：向云服务端发送机器服务连接请求；若云服务端响应于机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应云服务器发送的运行数据上报指令或动作控制指令；当机器读写线程接收运行数据上报指令时，向云服务端返回机器运行状态数据，当机器读写线程处理动作控制指令时，执行对应的机器控制动作。

该机器人的远程交互方法还包括云服务端执行的如下步骤：获取客户端发送的客户端远程控制请求或机器端发送的机器服务连接请求；当获取客户端远程控制请求时，基于客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应客户端发送的状态监控请求或动作控制指令；基于状态监控请求生成运行数据上报指令；当获取机器服务连接请求时，基于机器服务连接请求向所述客户端返回机器连接确认信息，并启动服务器读写线程，用于向机器端发送运行数据上报指令或动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据；当服务器读写线程向机器端发送运行数据上报指令时，获取机器端返回的运行状态数据，运行状态数据包括环境监控数据。

该机器人的远程交互方法还包括客户端执行的如下步骤：向云服务端发送客户端远程控制请求，以使云服务端基于客户端远程控制请求创建服务器同步线程和服务器异步线程；基于服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向云服务端发送状态监控请求或动作控制指令；当向云服务端发送状态监控请求时，接收云服务端基于状态监控请求返回的运行状态数据。

在一实施例中，如图2所示，提供一种机器人的远程交互方法，以该方法应用在图1中的机器端和云服务端为例进行说明，具体包括如下步骤：

S11.机器端向云服务端发送机器服务连接请求。

其中，机器服务连接请求是用于将移动机器人和云服务端对应的云服务器实现远程连接的请求。

具体地，本申请可通过无线通讯方式，比如WIFI、4G和5G等一般无线通信方式实现连接，此处不作具体限定。

本实施例提供的方法，可有效保障对移动机器人的远程监控和控制，无需人工进行现场维护。

S21.云服务端获取机器端发送的机器服务连接请求。

S24.当获取机器服务连接请求时，云服务端基于机器服务连接请求向客户端返回机器连接确认信息，并启动服务器读写线程，用于向机器端发送运行数据上报指令或动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据。

其中，运行数据上报指令是云服务器向机器端发起上报移动机器人运行状态时的参数的指令。动作控制指令是云服务器向机器端发起控制移动机器人按动作控制指令执行对应控制动作的指令。

环境监控数据是移动机器人通过摄像头拍摄的当前位置360度的全景视频流，用于客户端通过该视频流判定移动机器人当前位置以及是否处于正常工作状态。

具体地，机器人启动会通过GRPC通信框架提供的接口向云服务器进行连接，如果没有连接上则进行等待预设时间比如3秒钟后再进行尝试连接。在连接上服务器之后即开启服务器读写线程，包括两个线程，一个读数据线程，一个写数据线程。读数据线程用以接收由服务端下发的数据（指令）；写数据线程主要任务是上传机器人的各项数据。

进一步地，机器人上传数据采用“生产者/消费者”的模式，机器人作为上传数据的业务方，主要将需要上传的数据传到上传数据的缓存.中，然后唤醒数据上传线程，然后写数据线程一经启动就去检查上传数据的队列中是否有数据，如果没有数据就会进行睡眠等待唤醒。当写数据线程被唤醒之后，就到数据队列中取出数据进行上传操作。

机器人使用“生产者/消费者”的模式接收云服务器指令/数据下发的工作流程。在机器人通过GRPC框架提供的接口连接上云服务器之后，开启一个读数据线程用以读取云服务器下发的数据，该线程作为生产者当没有数据可读取时，该线程就会阻塞在GRPC框架提供的读数据函数中，当有数据读取时，就将数据存入指令数据队列中。

进一步地，机器人可开启16个指令分配线程从指令数据队列中获取云服务器下发给机器人的数据后调用对应指令数据处理单元进行处理。指令分配线程作为消费者。每一个指令都生成一个对象作为数据处理单元。比如，远程移动机器人功能就是一个数据处理单元，当数据分配线程获取到的指令是远程移动机器人的功能，就分配到移动机器人指令数据处理对象进行移动机器人。

S12.若云服务端响应于机器服务连接请求返回机器连接确认信息，则机器端启动机器读写线程，用于响应云服务器发送的运行数据上报指令或动作控制指令。

具体地，机器人与云服务器通信使用的是GRPC通信框架的双向流实现，当机器人连接上云服务器，云服务器会给机器人创建一个机器人实体对象，对象中包含有读数据队列、写数据队列缓存、读数据线程以及写数据线程。使用“生产者/消费者”模式进行读写数据流向。

进一步地，处理机器人上传的数据处理也默认由16个线程进行分配到对应数据处理单元进行。与机器人中不一样的实现细节：发给机器人的指令/数据由客户端通过HTTP/HTTPS协议发送到云服务器，然后云服务器将数据处理后存入写数据队列，然后唤醒机器读写线程中的写数据线程，写数据线程将数据下发到机器人。

S13.当机器读写线程接收运行数据上报指令时，机器端向云服务端返回机器运行状态数据。

其中，运行状态数据是与运行数据上报指令对应的移动机器人在工作中产生的数据。

S25.当服务器读写线程向机器端发送运行数据上报指令时，云服务端获取机器端返回的运行状态数据，运行状态数据包括环境监控数据。

S14.当机器读写线程处理动作控制指令时，机器端执行对应的机器控制动作。

具体地，移动机器人可基于动作控制指令指定对应动作，比如，转弯、拍摄街景等。

在步骤S21至S14中，机器人与云服务器使用开源框架GRPC（远程过程调用，RemoteProcedure Call）进行通信。在通信双方需要传输数据时需要事先定义好数据传输协议。具体地，gRPC 是由谷歌开发的免费、开源的框架，它使用HTTP/2进行API通信，为API的设计者隐藏了HTTP实现。是一个高性能、开源和通用的RPC框架，面向服务端和移动端，基于HTTP/2设计。

在机器人与云服务器通信之前需要先定义Protocol buffers格式的通信协议。每一种数据类型在Protocol buffers中都是一个Message。

机器人通过无线、4G、5G建立与云服务器的双向通信，向云服务器上传机器人的系统数据和运行数据。并且解析来自客户端发送到机器人端的命令包括运行数据上报指令或动作控制指令，根据命令对机器人进行控制。

机器人作为GRPC的客户端向云服务器发起连接请求，然后向云服务器中包括的后台服务器上传机器相关的数据。比如，机器人即时运行状态数据，机器人异常信息，机器人系统数据。接收云服务器下发对于机器人的操作指令，并且根据指令执行对应逻辑。比如，云服务器下发了开启视频流的指令到机器人，机器人就会向多媒体服务器上传机器人上摄像头的视频数据。

后台数据服务器作为GRPC的服务器接收来自机器人的连接请求。接收并且处理机器人上传的数据，后台服务器根据需要将数据分为保存到程序运行的内存中或者保存到MySQL数据库中，保存在MySQL数据库中的数据作为机器运行历史数据进行查询，保存在运行程序内存中的数据保证了机器人监控模块能够更快速地获取到机器人即时数据。后台服务器同时也作为一个用户客户端的服务器，向客户端提供WebSocket协议的接口和HTTP/HTTPS协议的接口，向客户端提供的接口用以实现远程监控、远程维护、异常告警等功能。

云服务器中的流媒体服务器，使用Nginx或者SRS搭建流媒体服务环境，主要用于远程维护部分的远程遥控。用户通过客户端开启远程遥控时，会通过后台服务器向机器人发送开启视频监控的指令，然后客户端使用RTMP（Real Time Messaging Protocol，实时消息传输协议）或者HTTP_FLV协议拉取视频流可监控到机器人运行时实际的现场环境。

搭建的多媒体服务器支持接收来自机器人的RTMP协议的视频推流；支持RTMP协议的拉流；支持由RTMP转码成为HTTP-FLV的HTTP协议满足WEB客户端。针对WEB客户端使用SRS支持WebRTC拉流。

在一实施例中，如图2所示，提供一种机器人的远程交互方法，以该方法应用在图1中的客户端和云服务端为例进行说明，具体包括如下步骤：

S31.客户端向云服务端发送客户端远程控制请求，以使云服务端基于客户端远程控制请求创建服务器同步线程和服务器异步线程。

其中，客户端远程控制请求是客户端向云服务端发送的用于通过云服务端远程控制移动机器人的请求。

服务器同步线程用于需实时响应与客户端进行交互的数据所采用的的线程；服务器异步线程用于无需实时响应与客户端进行交互的数据所采用的的线程，也即可稍滞后响应与客户端进行交互的数据。

S21.云服务端获取客户端发送的客户端远程控制请求。

S22.当获取客户端远程控制请求时，云服务端基于客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应客户端发送的状态监控请求或动作控制指令。

其中，状态监控请求是客户端向云服务端发送的用于实时监控或按时监控移动机器人某个参数的请求。

S32.客户端基于服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向云服务端发送状态监控请求或动作控制指令。

其中，客户端同步线程是与服务器同步线程对应的设置在客户端一侧的用于处理实时数据的线程，同理可知客户端异步线程。

S23.云服务端基于状态监控请求生成运行数据上报指令。

其中，运行数据上报指令是云服务端基于状态监控请求针对移动机器人生成的数据上报指令。

S33.当向云服务端发送状态监控请求时，通过云服务器将状态监控请求生成运行数据上报指令发送给机器端，接收机器端云服务端基于运行数据上报指令返回的运行状态数据。

S34.当向云服务端发送动作控制指令时，通过云服务器将动作控制指令发送给机器端，以使机器端执行对应的机器控制动作。

在步骤S21至S34中，如图3所示，云服务器与客户端使用WebSocket协议和HTTP/HTTPS协议进行通信。 客户端可通过WEB浏览器、PC端应用程序、移动设备APP等来实现与云服务器的交互，其通信使用的数据的格式使用JSON格式。WebSocket协议应对的是客户端需要即时显示机器人信息的场景。HTTP/HTTPS协议用在一般数据查询，下发指令。客户端通过云服务器提供的接口与机器人进行通信。客户端向云服务器通信，先向云服务器发送数据，然后云服务器再将信息发给机器人。

客户端主要包括机器人系统数据和历史数据的管理和查看、远程维护、远程监控和告警管理四个部分。机器人系统的数据和历史数据以及管理、告警管理等不需要实时性体验的功能使用HTTP/HTTPS协议提供的接口向云服务器请求数据；远程维护和远程监控中需要观察机器人实时运行的数据使用WebSocket协议提供的接口向云服务器请求数据。

进一步地，客户端与机器读写线程中的写数据的线程组成“生产者/消费者”模式。生产者是客户端下发的指令，消费者是写数据线程。机器读写线程中的读线程接收客户端希望的数据返回格式、数据返回类型和返回的数据过滤的条件。

写线程根据客户端经过客户端希望的数据返回格式进行数据的组合然后将数据组合后将数据传输给客户端。WebSocket协议主要用在机器人当前信息的传输，为了保证数据的实时性，在云服务器接到机器人数据的处理是将数据直接保存到程序内存中，所以在写线程返回机器人的即时信息时就会到对应机器人的数据内存空间中直接取出数据。写线程默认会返回机器人当前基本信息：机器人正在运行的任务信息、电量信息、正在使用的地图数据、机器人的故障信息、机器人当前激光雷达的云点信息、机器人当前所处的海拔等等。所有与机器人有关信息都会向客户端进行返回。

历史统计数据和不要求监控的实时信息数据使用HTTP/HTTPS协议接口进行请求。在客户端进行请求的时候，然后向数据库查询数据，而后将结果返回给客户端，如机器人使用的历史地图，机器人运行的总里程等。

客户端有部分机器人实时数据只是查看，不需要实时查看数据的变化，对于这种情况，云服务器也是向外部提供HTTP/HTTPS协议的接口。程序运行流程与查询历史数据的流程相同。不同的是数据的来源是在从运行程序内存中里面机器人的数据空间中查询的数据。

进一步地，客户端可以给用户提供机器人数据管理功能，比如，展示整个机器人系统中所有机器人已经行驶的总路程、管理的设备总数、当前在线机器数量、机器发起的异常告警通知数量以及详细信息、机器人执行任务记录的查看、对机器人当前使用数据的查看以及更改、机器人的配置文件信息的更改、以及机器人地图数据管理、根据需要修改的配置项进行修改更新等。

本实施例提供的机器人的远程交互方法，通过移动机器人对应的机器端、云服务端和用户对应的客户端，可及时将用户通过客户端发送的状态监控请求或动作控制指令通过云服务端传达给机器端，对移动机器人的运行状态通过机器端返回的运行状态数据进行远程实时监控，无需人工到达移动机器人所在的工作现场，有效降低移动机器人的维护成本，并可及时获取移动机器人的运行状态，提高移动机器人的运维效率和管理效率。

在一具体实施例中，服务器读写线程包括告警模块，告警模块包括机器告警线程。如图4所示，即在步骤S25之后，获取环境监控数据之后，的机器人的远程交互方法还具体包括如下步骤：

S251.云服务端启动告警模块，以使机器告警线程通过运行状态数据和环境监控数据监控机器人的运行状态并获取监控结果。

S252.若监控结果为出现异常，则云服务端通过机器告警线程向客户端发送异常提醒信息。

其中，机器告警线程是用于云服务端处理机器端出现异常时采用的线程。

具体地，当机器发生故障之后，在客户端的实时监控模块对机器可以第一时间获取到机器的故障情况。但是机器运维人员工并不能一直在客户端前面看实时监控。在这种情况下，需要有一种异步通知的方式，人不需要实时查看机器人运行情况。只是机器人出现异常之后，会主动通过发短信或者打电话通知运维人员。运维人员也能第一时间对机器人异常进行远程或者现场处理。

如图5所示，在告警模块开启之后会初始化各个告警模块，比如，低电量异常告警模块、机器人急停异常告警模块、定位丢失异常告警模块等。每一个异常类型作为一个模块进行单独监控，根据业务需要进行增加模块。告警模块的初始化需要开启两个线程，一个线程用以监控机器是否发生了对应异常的监控异常发生线程，另外一个线程是异常告警通知线程。异常告警模块中需要有两个数据列表，一个是已经设置了需要监控的异常和已经触发了异常列表，通过机器人的识别码进行区分设置的异常信息和已经发生了异常信息。

异常告警监控界面给出添加异常告警、删除异常告警监控和查询异常告警记录的入口。异常告警监控预先设定好客户可以添加的告警类型，添加的入口为按钮。预先提供的告警类型有机器人硬件异常告警、异常离线告警、电量异常告警、定位异常告警、充电异常告警、异常急停告警、异常待机告警。每一个告警的通知条件不一样，由不同告警给出一定的模板给出，由用户填写上关键词。

设置好告警类型以及告警条件之后，就到设置告警通知人。告警通知提供电话、短信和邮件通知。完成异常告警数据填写之后，调用云服务器提供的设置异常告警接口向云服务器发起设置添加异常告警监控项。告警异常监控，则是调用接口将对应机器已经设置告警监控项进行删除。告警记录查询，使用告警记录查询接口查询出已经发生了告警通知的信息。将返回的信息显示到界面上。显示的信息包含机器人识别码、告警类型、告警等级、使用地图、发生告警的时间，发生告警时机器人的位置。告警分析先选择对应的机器人识别码，选择日期，然后使用告警分析接口获取对应机器人对应日期的告警类别占比和选择日期的告警数量。

在一具体实施例中，服务器读写线程包括异常监控列表。如图6所示，该机器人的远程交互方法还具体包括如下步骤：

S261.云服务端获取客户端发送的监控指令添加请求，监控指令添加请求包括异常监控对象、异常触发条件和告警方式。

S262.云服务端将异常监控对象、异常触发条件和告警方式关联写入异常监控列表。

S263.云服务端按监控周期扫描异常监控列表中的每一待监控对象，若任一待监控对象出现异常信息，则判定待监控对象出现的异常信息是否满足对应的异常触发条件，获取判定结果。

S264.若判定结果为满足触发条件，则云服务端向待监控对象对应的告警方式发送告警信息。

具体地，后台服务器实现异常监控信息进行增加和删除接口。客户端下发需要监控的异常之后，就会将监控信息写入对应异常监控模块的需要监控的异常列表中。异常监控的信息需要有触发告警的阈值，通知人的电话号码。监控的逻辑是，硬件告警的告警条件为硬件只要报告异常则马上告警；电量异常告警的告警条件则按照电量低于某一个阈值且多少分钟之后不在充电状态则进行告警，用户可以自主设置告警阈值和分钟数，初始值设定为电量低于30%且30分钟内不在充电状态下则进行告警。其他异常会根据对应异常情况设置相对应的告警条件。

初始可设定为每隔一秒钟会到对应机器人数据中心中查询是否存在异常信息。如果存在对应异常信息并且监控的异常列表中也存在对应监控信息（通过机器人识别码进行关联），则把异常信息加入到异常触发列表中。如果机器人数据中心中不存在对应异常信息且异常触发列表中存在对应异常信息则将对应异常信息从异常触发列表中清除。

初始可设定为每隔一秒检查设置异常监控的机器是否触发了异常。如果触发了异常则检查设置的告警规则和条件进行确定是否需要进行给运维人员发送短信或者是拨打告警电话，然后将已经通知了运维人员的告警信息存如到数据库中作为机器人历史数据的一部分。

在一具体实施例中，如图7所示，在步骤S32中，即向云服务端发送状态监控请求或动作控制指令，具体包括如下步骤：

S321.客户端获取远程建立地图请求，远程建立地图请求包括目标位置。

S322.客户端基于远程建立地图请求向云服务端发送动作控制指令，以使机器端通过激光雷达、摄像头以及通过客户端同步线程实时接收的方向控制指令采集目标位置对应的远程地图。

其中，目标位置使用与建立地图的位置，可通过地图名进行表示等。

具体地，客户端通过HTTP/HTTPS请求获取到所选的机器人使用的历史地图以及当前机器人拥有的地图，对当前机器人所拥有的地图进行编辑。具体包括：

在地图中添加上虚拟墙，向云服务器请求地图原图，然后用户可以在客户端上对地图标记虚拟墙的起始像素和终止像素。最后通过云服务器提供的接口将修改的信息发送给机器人。

删除地图，通过对应的接口将地图名称通过云服务器发送给机器人。实现地图删除。

本实施例中提供的远程建图的流程是先输入地图名称。然后通过对应地图采集接口将地图名称发送给机器人，使机器进入到采集地图模式。接着发送指令让机器人将摄像头推流，建立获取机器人即时信息的WebSocket连接，随后进入远程建图的界面同时进行显示当前机器人上激光雷达的云点信息、行驶速度、超声波数据；并且向流媒体服务器拉取机器人摄像头的视频流。随后运维人员可以通过机器人摄像头视频、机器人上雷达云点信息，使用遥控按钮进行远程遥控机器人移动进行采集地图。

本实施例提供的机器人的远程交互方法，通过移动机器人对应的机器端、云服务端和用户对应的客户端，可及时将用户通过客户端发送的状态监控请求或动作控制指令通过云服务端传达给机器端，对移动机器人的运行状态通过机器端返回的运行状态数据进行远程实时监控，无需人工到达移动机器人所在的工作现场，有效降低移动机器人的维护成本，并可及时获取移动机器人的运行状态，提高运维效率。

进一步地，本实施例提供的远程交互方法，可针对单台机器人，可以查看机器人的运行情况、并且对机器人下发指令。

远程维护是通过在线机器人的HTTP/HTTPS协议接口选择一个需要远程维护的机器人，选择机器人之后发起获取机器人即时信息的WebSocket连接，连接上WebSocket服务器之后，发送只显示当前选择机器人的数据返回格式命令，然后向机器人发送开启视频推流的指令，并且通过接口向流媒体服务器拉取机器人的摄像头视频。在正常执行完成获取机器人信息的接口之后，将获取到的机器人信息进行显示。包括当前需要显示机器人前边、左边、右边的摄像头视频、显示机器人传感器的数据、显示机器人即时的异常信息、显示机器人的地图与机器人在地图上所处的位置以及机器人上激光雷达的云点信息。

客户端提供的操作功能有切换地图和切换任务。选择地图/切换任务部分需要向云服务器请求获取当前机器人使用的所有地图/任务的列表。然后再使用切换地图/任务的接口将选择好了的地图/任务信息发送给机器人。

客户端提供的指令功能有执行当前机器人任务、暂停机器人当前任务、终止机器人当前任务 、排除机器人业务执行异常指令以及给机器人下发去充电指令等。

在机器人环境变化，机器人的自主移动出现问题之后，本实施例提供的客户端还可提供远程维护提供远程遥控、远程重定位等操作。

远程遥控需要通过开启机器人的人工接管模式通知机器人切换到机器人待命模式以保证机器人能够遥控。当人工接管模式开启成功之后就可以使用移动表盘远程遥控机器人脱离异常区域。

在机器人脱离异常区域并且满足自主移动的条件之后。机器人还需进行重新定位操作。重定位操作分为手动重定位和自动重定位。自动重定位流程是发送重定位指令之后，客户端等待定位结果。自动重定位的流程是进入到自动重定位界面，用户在机器人地图上选择对应位置发送给到机器人，然后等待机器人的定位结果。

进入远程监控页面后首先进行获取机器人即时信息的WebSocket协议接口，在连接上WebSocket服务器之后，默认发送全部类型机器人，一页显示多台机器信息的数据返回规则到云服务器。在云服务器返回对应信息之后将机器人的即时数据显示到客户端界面上。显示的信息包括机器人名称、机器人类型、机器人使用地图、机器人剩余电量、机器人当前触发的异常类型以及判断机器人当前运行位置的地图和激光雷达云点信息等。

在一实施例中，提供一种机器人的远程交互装置，该机器人的远程交互装置与上述实施例中机器人的远程交互方法一一对应。如图8所示，该机器人的远程交互装置包括发送机器服务连接请求模块11、启动机器读写线程模块12、返回运行状态数据模块13和执行机器控制动作模块14。各功能模块详细说明如下：

发送机器服务连接请求模块11，用于向云服务端发送机器服务连接请求。

启动机器读写线程模块12，用于若所述云服务端响应于所述机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应所述云服务器发送的运行数据上报指令或动作控制指令。

返回运行状态数据模块13，用于当所述机器读写线程接收运行数据上报指令时，向所述云服务端返回机器运行状态数据。

执行机器控制动作模块14，用于当所述机器读写线程处理动作控制指令时，执行对应的机器控制动作。

在一实施例中，提供一种机器人的远程交互装置，该机器人的远程交互装置与上述实施例中机器人的远程交互方法一一对应。如图8所示，该机器人的远程交互装置包括获取服务连接请求模块21、创建服务器同步线程模块22、生成数据上报指令模块23、启动服务器读写线程模块24和获取运行状态数据模块25。各功能模块详细说明如下：

获取服务连接请求模块21，用于获取客户端发送的客户端远程控制请求或机器端发送的机器服务连接请求。

创建服务器同步线程模块22，用于当获取所述客户端远程控制请求时，基于所述客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应所述客户端发送的状态监控请求或动作控制指令。

生成数据上报指令模块23，用于基于所述状态监控请求生成运行数据上报指令。

启动服务器读写线程模块24，用于当获取所述机器服务连接请求时，基于所述机器服务连接请求向所述客户端返回机器连接确认信息，并启动服务器读写线程，用于向所述机器端发送所述运行数据上报指令或所述动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据。

获取运行状态数据模块25，用于当所述服务器读写线程向所述机器端发送所述运行数据上报指令时，获取所述机器端返回的运行状态数据，所述运行状态数据包括所述环境监控数据。

在一实施例中，提供一种机器人的远程交互装置，该机器人的远程交互装置与上述实施例中机器人的远程交互方法一一对应。如图8所示，该机器人的远程交互装置包括发送客户端远程控制请求模块31、启动客户端异步线程模块32、接收运行状态数据模块33和发送动作控制指令模块34。各功能模块详细说明如下：

发送客户端远程控制请求模块31，用于向云服务端发送客户端远程控制请求，以使所述云服务端基于所述客户端远程控制请求创建服务器同步线程和服务器异步线程。

启动客户端异步线程模块32，用于基于所述服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向所述云服务端发送状态监控请求或动作控制指令。

接收运行状态数据模块33，用于当向云服务端发送状态监控请求时，通过云服务器将状态监控请求生成运行数据上报指令发送给机器端，接收机器端云服务端基于运行数据上报指令返回的运行状态数据。

发送动作控制指令模块34，用于当向云服务端发送动作控制指令时，通过云服务器将动作控制指令发送给机器端，以使机器端执行对应的机器控制动作。

关于机器人的远程交互装置的具体限定可以参见上文中对于机器人的远程交互方法的限定，在此不再赘述。上述机器人的远程交互装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储机器人的远程交互方法中需保存的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人的远程交互方法。

在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例机器人的远程交互方法，例如图2所示S11至步骤S34。或者，处理器执行计算机程序时实现上述实施例中机器人的远程交互装置的各模块/单元的功能，例如图8所示模块11至模块34的功能。为避免重复，此处不再赘述。

在一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例机器人的远程交互方法，或者，该计算机程序被处理器执行时实现上述装置实施例中机器人的远程交互装置中各模块/单元的功能。为避免重复，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人的远程交互方法，应用于机器端，其特征在于，包括：

向云服务端发送机器服务连接请求；

若所述云服务端响应于所述机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应所述云服务器发送的运行数据上报指令或动作控制指令；

当所述机器读写线程接收运行数据上报指令时，向所述云服务端返回机器运行状态数据；

当所述机器读写线程处理动作控制指令时，执行对应的机器控制动作。

2.一种机器人的远程交互方法，应用于云服务端，其特征在于，包括：

获取客户端发送的客户端远程控制请求或机器端发送的机器服务连接请求；

当获取所述客户端远程控制请求时，基于所述客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应所述客户端发送的状态监控请求或动作控制指令；

基于所述状态监控请求生成运行数据上报指令；

当获取所述机器服务连接请求时，基于所述机器服务连接请求向所述客户端返回机器连接确认信息，并启动服务器读写线程，用于向所述机器端发送所述运行数据上报指令或所述动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据；

当所述服务器读写线程向所述机器端发送所述运行数据上报指令时，获取所述机器端返回的运行状态数据，所述运行状态数据包括所述环境监控数据。

3.如权利要求2所述的机器人的远程交互方法，其特征在于，所述服务器读写线程包括告警模块，所述告警模块包括机器告警线程；

在所述获取环境监控数据之后，所述的机器人的远程交互方法还包括：

启动所述告警模块，以使所述机器告警线程通过所述运行状态数据和所述环境监控数据监控所述机器人的运行状态并获取监控结果；

若所述监控结果为出现异常，则通过所述机器告警线程向所述客户端发送异常提醒信息。

4.如权利要求2所述的机器人的远程交互方法，其特征在于，服务器读写线程包括异常监控列表；

所述的机器人的远程交互方法还包括：

获取所述客户端发送的监控指令添加请求，所述监控指令添加请求包括异常监控对象、异常触发条件和告警方式；

将所述异常监控对象、异常触发条件和告警方式关联写入所述异常监控列表；

按监控周期扫描所述异常监控列表中的每一待监控对象，若任一所述待监控对象出现异常信息，则判定所述待监控对象出现的所述异常信息是否满足对应的异常触发条件，获取判定结果；

若所述判定结果为满足触发条件，则向所述待监控对象对应的告警方式发送告警信息。

5.一种机器人的远程交互方法，应用于客户端，其特征在于，包括：

向云服务端发送客户端远程控制请求，以使所述云服务端基于所述客户端远程控制请求创建服务器同步线程和服务器异步线程；

基于所述服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向所述云服务端发送状态监控请求或动作控制指令；

当向云服务端发送所述状态监控请求时，通过所述云服务器将所述状态监控请求生成运行数据上报指令发送给机器端，接收所述机器端云服务端基于所述运行数据上报指令返回的运行状态数据；

当向云服务端发送所述动作控制指令时，通过所述云服务器将所述动作控制指令发送给机器端，以使所述机器端执行对应的机器控制动作。

6.如权利要求5所述的机器人的远程交互方法，其特征在于，所述向所述云服务端发送状态监控请求或动作控制指令，包括：

获取远程建立地图请求，所述远程建立地图请求包括目标位置；

基于所述远程建立地图请求向所述云服务端发送动作控制指令，以使所述机器端通过激光雷达、摄像头以及通过所述客户端同步线程实时接收的方向控制指令采集所述目标位置对应的远程地图。

7.一种机器人的远程交互装置，其特征在于，包括机器端，所述机器端包括：

发送机器服务连接请求模块，用于向云服务端发送机器服务连接请求；

启动机器读写线程模块，用于若所述云服务端响应于所述机器服务连接请求返回机器连接确认信息，则启动机器读写线程，用于响应所述云服务器发送的运行数据上报指令或动作控制指令；

返回运行状态数据模块，用于当所述机器读写线程接收运行数据上报指令时，向所述云服务端返回机器运行状态数据，

执行机器控制动作模块，用于当所述机器读写线程处理动作控制指令时，执行对应的机器控制动作。

8.一种机器人的远程交互装置，其特征在于，包括云服务端，所述云服务端包括：

获取服务连接请求模块，用于获取客户端发送的客户端远程控制请求或机器端发送的机器服务连接请求；

创建服务器同步线程模块，用于当获取所述客户端远程控制请求时，基于所述客户端远程控制请求创建服务器同步线程和服务器异步线程，用于响应所述客户端发送的状态监控请求或动作控制指令；

生成数据上报指令模块，用于基于所述状态监控请求生成运行数据上报指令；

启动服务器读写线程模块，用于当获取所述机器服务连接请求时，基于所述机器服务连接请求向所述客户端返回机器连接确认信息，并启动服务器读写线程，用于向所述机器端发送所述运行数据上报指令或所述动作控制指令，并启动用于显示机器人周围环境的流媒体云服务端，用于获取环境监控数据；

获取运行状态数据模块，用于当所述服务器读写线程向所述机器端发送所述运行数据上报指令时，获取所述机器端返回的运行状态数据，所述运行状态数据包括所述环境监控数据。

9.一种机器人的远程交互装置，其特征在于，包括客户端，所述客户端包括：

发送客户端远程控制请求模块，用于向云服务端发送客户端远程控制请求，以使所述云服务端基于所述客户端远程控制请求创建服务器同步线程和服务器异步线程；

启动客户端异步线程模块，用于基于所述服务器同步线程和服务器异步线程，分别启动客户端同步线程和客户端异步线程，用于向所述云服务端发送状态监控请求或动作控制指令；

接收运行状态数据模块，用于当向云服务端发送所述状态监控请求时，所述云服务器将所述状态监控请求生成运行数据上报指令发送给机器端，接收所述机器端云服务端基于所述运行数据上报指令返回的运行状态数据；

发送动作控制指令模块，用于当向云服务端发送所述动作控制指令时，通过所述云服务器将所述动作控制指令发送给机器端，以使所述机器端执行对应的机器控制动作。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述机器人的远程交互方法，或者，所述处理器执行所述计算机程序时实现如权利要求3至4任一项所述机器人的远程交互方法，或者，所述处理器执行所述计算机程序时实现如权利要求5至6任一项所述机器人的远程交互方法。

Images