CN113037616B

CN113037616B - 用于协同控制多台机器人的交互方法和装置

Info

Publication number: CN113037616B
Application number: CN202110345504.7A
Authority: CN
Inventors: 綦欣; 张文禹; 张家恒; 张玮莉
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2022-11-04
Anticipated expiration: 2041-03-31
Also published as: CN113037616A

Abstract

本发明提供一种用于协同控制多台机器人的交互方法和装置，用于人工智能领域，该方法包括：访问IM平台检测目标机器人在线状态并在目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；通过所述IM平台获取所述目标机器人基于所述请求接管指令反馈的RTC房间信息；根据所述RTC房间信息访问RTC平台的通信房间以与所述目标机器人进行音视频通信；其中，所述目标机器人基于所述请求接管指令访问所述RTC平台建立所述通信房间，通过基于RTC音视频平台、IM实时消息平台，实现了低延迟、高并发的服务能力，实现不同厂商不同型号的机器人统一接入和统一远程协同接管，不需要机器人搭载相关硬件设备才能实现远程控制。

Description

用于协同控制多台机器人的交互方法和装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种用于协同控制多台机器人的交互方法和装置。

背景技术

市面现有的机器人远程人工控制系统可以允许客服人员通过语音或文字等形式对机器人进行声音和动作指令控制。但大部分系统仅支持一名客服人员控制一台机器人，人力成本和资源利用率无法大幅降低，系统效率有待提高。若采用多台设备并发控制的话，存在如下问题：

不同厂商不同型号的机器人缺少统一技术标准，无法实现统一远程协同接管。部分现有远程人机协同系统采用硬件控制模式，即需要机器人搭载相关硬件设备才能实现远程控制，其可扩展性和兼容性有较大限制。另外，远程机器人远程协同控制系统需要利用音视频和信令传输技术解决协同问题，但机器人运营环境可能远离客服所在地，因此对于数据传输的即时性，低延迟、高稳定有较高要求，会遇到较多技术问题。

发明内容

针对现有技术中的问题，本发明提供一种用于协同控制多台机器人的交互方法和装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：

第一方面，提供一种用于协同控制多台机器人的交互方法，包括：

访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；

通过所述IM平台获取所述目标机器人基于所述请求接管指令反馈的RTC房间信息；

根据所述RTC房间信息访问RTC平台的通信房间以与所述目标机器人进行音视频通信；

其中，所述目标机器人基于所述请求接管指令访问所述RTC平台建立所述通信房间。

进一步地，用于协同控制多台机器人的交互方法还包括：

将文本或指令消息通过所述IM(短消息即时通讯平台)平台发送至所述目标机器人。

进一步地，用于协同控制多台机器人的交互方法还包括：

获取各机器人的注册数据。

进一步地，所述RTC(音视频实时传输平台)房间信息包括：通信房间标识以及密钥。

第二方面，提供一种用于协同控制多台机器人的交互方法，包括：

获取客服终端通过IM平台发送的请求接管指令；

根据所述请求接管指令访问RTC平台建立通信房间；

将RTC平台反馈的RTC房间信息通过所述IM平台发送至所述客服终端。

进一步地，用于协同控制多台机器人的交互方法还包括：

获取所述客服终端通过所述IM平台发送的文本或指令消息。

进一步地，用于协同控制多台机器人的交互方法还包括：

访问机器人系统管理平台进行注册。

第二方面，提供一种用于协同控制多台机器人的交互装置，包括：

在线检测接入模块，访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；

RTC房间信息接收模块，通过所述IM平台获取所述目标机器人基于所述请求接管指令反馈的RTC房间信息；

音视频通信模块，根据所述RTC房间信息访问RTC平台的通信房间以与所述目标机器人进行音视频通信；

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的用于协同控制多台机器人的交互方法的步骤。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的用于协同控制多台机器人的交互方法的步骤。

本发明提供的用于协同控制多台机器人的交互方法和装置，该方法包括：访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；通过所述IM平台获取所述目标机器人基于所述请求接管指令反馈的RTC房间信息；根据所述RTC房间信息访问RTC平台的通信房间以与所述目标机器人进行音视频通信；其中，所述目标机器人基于所述请求接管指令访问所述RTC平台建立所述通信房间，通过采用上述技术方案，基于RTC音视频平台、IM实时消息平台，实现了低延迟、高并发的服务能力，实现不同厂商不同型号的机器人统一接入，实现统一远程协同接管，不需要机器人搭载相关硬件设备才能实现远程控制，采用纯软件方案，具有较强的系统兼容和可扩展性，可用于不同硬件厂商的机器人设备，为各种不同硬件终端提供了统一的软件接口标准。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中的应用场景架构示意图；

图2为本发明实施例中RTC与IM结合的逻辑框架图；

图3是本发明实施例中的客服端的用于协同控制多台机器人的交互方法的流程示意图一；

图4是本发明实施例中的客服端的用于协同控制多台机器人的交互方法的流程示意图二；

图5是本发明实施例中的客服端的用于协同控制多台机器人的交互方法的流程示意图三；

图6是本发明实施例中的机器人端的用于协同控制多台机器人的交互方法的流程示意图一；

图7是本发明实施例中的机器人端的用于协同控制多台机器人的交互方法的流程示意图二；

图8是本发明实施例中的机器人端的用于协同控制多台机器人的交互方法的流程示意图三；

图9示出了本发明实施例中远程客服与客户之间交互的整个架构；

图10示出了本发明实施例中的统一接入框架图；

图11示出了本发明实施例中的远程人机协同控制的整体框架图；

图12示出了本发明实施例中的远程人机协同控制解决方案核心系统框架图；

图13示出了本发明实施例中的人机协同数据采集系统框架图；

图14是本发明实施例中的客服端的用于协同控制多台机器人的交互装置的结构框图；

图15为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为至少部分解决本发明实施例中的上述技术问题，本发明实施例提供了一种用于协同控制多台机器人的交互方法和装置，基于RTC音视频平台、IM实时消息平台，实现了低延迟、高并发的服务能力，实现不同厂商不同型号的机器人统一接入，实现统一远程协同接管，不需要机器人搭载相关硬件设备才能实现远程控制，采用纯软件方案，具有较强的系统兼容和可扩展性，可用于不同硬件厂商的机器人设备，为各种不同硬件终端提供了统一的软件接口标准。

图1为本发明实施例中的应用场景架构示意图；如图1所示，多个机器人B1～B4，甚至更多，用于为客户提供服务。客户1与机器人B1交互，通过机器人B1实现业务处理，比如咨询业务、办理业务等，客户2与机器人B2交互，客户3与机器人B3交互，机器人B4当前处于空闲状态，服务器S1与各个机器人通过无线方式交互，比如蓝牙、WIFI、移动无线通信等。

现有技术中，不同厂商不同型号的机器人缺少统一技术标准，无法实现统一远程协同接管。部分现有远程人机协同系统采用硬件控制模式，即需要机器人搭载相关硬件设备才能实现远程控制，其可扩展性和兼容性有较大限制。另外，不同厂商不同型号的机器人在运行过程中，缺少统一的数据采集与分析平台，无法统一提供实时数据报表；再者，远程机器人远程协同控制系统需要利用音视频和信令传输技术解决协同问题，但机器人运营环境可能远离客服所在地，因此对于数据传输的即时性，低延迟、高稳定有较高要求，会遇到较多技术问题。

图2为本发明实施例中RTC与IM结合的逻辑框架图；结合图3至图7岁本发明提供的交互技术进行详细说明：

图3是本发明实施例中的客服端的用于协同控制多台机器人的交互方法的流程示意图一；如图3所示，该客服端的用于协同控制多台机器人的交互方法可以包括以下内容：

步骤S100：访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；

具体地，IM平台是实时消息通信平台，机器人端会在IM平台上线，以便接收IM平台发送的消息，IM平台设置在云端服务器上，采用非阻塞多线程底层通讯管理，基于非阻塞异步传输机制，IM平台与数据路交互，数据库与IM平台局域网络通信，以降低通信延迟。

值得说明的是，当机器人不在线时，不能接入机器人协同模式。

步骤S200：通过所述IM平台获取所述目标机器人基于所述请求接管指令反馈的RTC房间信息；

具体地，客服端向IM平台发送主动请求接入机器人协同模式，即请求接管指令，IM平台将请求接管指令发送到对应的机器人端。

步骤S300：根据所述RTC房间信息访问RTC平台的通信房间以与所述目标机器人进行音视频通信；

值得说明的是，RTC音视频通信平台采用高弹性可扩展网络架构，其通信房间管理模块用于管理各个RTC房间，能够低延迟优化全国多节点布局，就近接入，整网实时监测，动态智能路由。

通过采用上述技术方案，基于RTC音视频平台、IM实时消息平台，实现了低延迟、高并发的服务能力，实现不同厂商不同型号的机器人统一接入，实现统一远程协同接管，不需要机器人搭载相关硬件设备才能实现远程控制，采用纯软件方案，具有较强的系统兼容和可扩展性，可用于不同硬件厂商的机器人设备，为各种不同硬件终端提供了统一的软件接口标准。

在一个可选的实施例中，参见图4，该用于协同控制多台机器人的交互方法还可以包括：

步骤S400：将文本或指令消息通过所述IM平台发送至所述目标机器人。

具体地，在客服端和机器人端在RTC平台的房间中进行音视频通信时，若客服端需要向机器人端发送文本或指令消息，则通过IM平台发送。

通过采用上述技术方案，将音视频通信与文本指令消息传输分开，有效利用了IM平台和RTC平台的优势，提高交互效率。

在一个可选的实施例中，参见图5，该用于协同控制多台机器人的交互方法还可以包括：

步骤S500：获取各机器人的注册数据。

具体地，机器人可以在服务端的管理平台进行注册，生成密钥以及对应的ID，其中，注册数据可以包括机器人品牌、型号以及设备参数等，只有注册后的机器人才能够接入IM平台。

客服端访问管理平台，以获取各机器人的注册数据。

在一个可选的实施例中，RTC房间信息包括：通信房间标识以及密钥。

客服端在接收到该RTC房间信息后，基于通信房间标识以及密钥接入该通信房间，以与机器人端进行音视频通信。

图6是本发明实施例中的机器人端的用于协同控制多台机器人的交互方法的流程示意图一；如图6所示，该交互方法可以包括以下内容：

步骤S1000：获取客服终端通过IM平台发送的请求接管指令；

具体地，客服终端的请求接管指令中包括机器人端的标识以及客服终端的标识，以及请求接管的理由等。

步骤S2000：根据所述请求接管指令访问RTC平台建立通信房间；

当机器人端同意客服终端接管后，根据所述请求接管指令访问RTC平台建立通信房间；

其中，参见图2，机器人端在访问RTC平台建立通信房间时，根据IM平台的鉴权结果以及客服端请求接管的数据进行的。

具体地，鉴权结果可以是IM平台的验证结果等。

步骤S3000：将RTC平台反馈的RTC房间信息通过所述IM平台发送至所述客服终端。

具体地，在向客服终端反馈RTC房间信息时，不仅反馈了RTC房间号以及接入密码、接入标识等，还反馈了机器人端的标识以及客服终端的标识，以便准确接入客服终端。

在一个可选的实施例中，参见图7，该用于协同控制多台机器人的交互方法还可以包括：

步骤S4000：获取所述客服终端通过所述IM平台发送的文本或指令消息。

具体地，在机器人端与客服终端通过RTC房间进行音视频通信的同时，可通过IM平台发送一些文本或指令消息。

在一个可选的实施例中，参见图8，该用于协同控制多台机器人的交互方法还可以包括：

步骤S5000：访问机器人系统管理平台进行注册。

具体地，机器人端可以在服务端的管理平台进行注册，生成密钥以及对应的ID，其中，注册数据可以包括机器人品牌、型号以及设备参数等，只有注册后的机器人才能够接入IM平台。

客服端访问管理平台，以获取各机器人的注册数据。

为了使本领域技术人员更好地理解本申请，下面结合图9至图13，对本发明实施例的实现过程进行补充说明：

本发明提供的远程人机协同控制采取统一的设备接入管理模式，纯软件对接方式，可以支持符合本平台规范的任何厂商的智能设备快速接入本系统，实现统一管理、调度，统一为客户提供服务。相比之下，部分市面现有的远程人机协同系统采用硬件对接模式，即需要第三方机器人设备搭载其相关硬件设备(如主板设备等)才能实现远程控制，其可扩展性和兼容性相比本发明中的软件对接模式有明显缺陷。

如图9所示，本系统具有极强的兼容扩展能力，通过统一的软件接口标准，可以适配多种第三方智能设备，支持跨系统兼容(windows、android、ios)。具体而言，当任何第三方设备希望接入本系统进行远程人机接管时，可以通过本系统的后台管理系统页面进行设备注册。只要第三方设备运行的操作系统是windows、android、ios中的任意一种，即满足系统对接要求，无需更换操作系统。第三方系统在本系统中注册设备后，可以获得对应的alias(口令串)，以此作为身份令牌可以对接系统所有api与SDK。第三方系统主要对接三部分接口，即RTC SDK音视频通讯平台、IM实时通讯指令平台、API平台接口。第三方系统可以参考本系统的对接文档手册和demo示例代码，将RTC SDK和IM SDK集成在自己的设备端系统中，然后将需要使用的服务接口，按照API平台接口要求进行逐一对接调用，例如机器人移动操作api、机器人面部表情api等属于api平台接口，第三方系统可以根据需求选择要对接的api接口。只要两个sdk和一套API对接完成，就可以使用本系统客服端直接远程控制第三方设备，并统计记录第三方系统的使用数据，如业务交易次数、对话次数、对话错误及系统异常次数、工作时长记录等各种数据。第三方设备在对接过程中不涉及任何硬件调整。

统一接入框架图如图10所示：不同机器人标准统一配置的方式是独立的，其关键设计是通过SDK的方式为第三方机器人设备提供了纯软件的对接方式。(如图13核心系统框架图所示)人机协同系统对外提供RTC SDK和ICBC OPEN IM SDK及配套的技术文档，第三方机器人硬件厂商只需要将两个SDK引入到自己的系统中，按照技术文档调用相关类方法，即可与人机协同系统快速对接，不需要对设备硬件或操作系统做任何调整。其中RTC SDK用于与音视频实时通讯平台传输信息，ICBC OPEN IM SDK用于与IM实时消息通信平台传输消息，两个系统平台会处理来自各个第三方终端通过SDK发来的数据信息，不需要区分具体的厂商和设备，因为SDK对第三方提供了统一接口标准。两个SDK均兼容windows、android、ios三种操作系统，而现有机器人核心系统大都基于android或windows，因此通过以上方式，本发明实施例中的人机协同系统可以用纯软件方式兼容市面上绝大多数机器人设备，不区分硬件和操作系统，而要对接的设备厂商只需要引入对应操作系统的SDK，并按照技术文档调用对接的软件接口方法即可。

“远程人机协同控制”还配套建设有数据统计采集与分析系统、机器人实时状态数据运营展示系统，为运营人员提供可以及时了解设备状态信息的渠道。其具体采集的数据如下：机器人所在网点、数量、机器人类型、工作状态、网络状态、工作模式状态、电量、昨日工作时间、故障状态、问答对话数量、对话类型分类及报表、机器人之间的协同数据及报表等。

关于数据统计采集与分析系统的接口对接，系统提供了完整的接口文档和demo示例代码。第三方系统可以在接入的设备端或者第三方服务器端对接本系统接口。接口采用http适时单次请求方式和夜间批量数据传输方式进行调用。如数据属于对话类等大量数据模式，则会建议第三方通过批量模式在业务空闲时间批量传输给本系统接口。如数据属于设备电量信息等实时类数据，则建议使用适时单次传输方式，即按照一定时间周期将数据在每个时间周期单次发送给本系统接口。第三方仅需根据需求，从本系统的数据统计接口中选择需要的部分进行请求调用即可。第三方可以通过本系统后台注册账户，用于查询相关数据报表。

监控平台分为pc版和手机版。运营人员通过该系统了解以上所有数据，以时刻了解网点的运行情况和热点业务内容趋势。

本系统的数据统计分析平台通过对机器人端、客服端、小融大脑系统、机器人协同系统和IM平台的多端数据采集，再汇总分析。系统针对每台设备和机器人终端都有相关硬件绑定机制，如：系统要求每台设备部署前，均需要通过PC监控平台进行设备接入注册，并提供硬件绑定程序，从而保证本平台接口仅针对合法接入设备提供服务，并采集该设备的真实数据。可远程实时监测机器人状态数据(如电量、网络状态、系统状态等)。

系统提供双平台监控模式，即PC端监控平台和移动端监控平台供管理者方便查看数据。将数据汇总后，可以实时分析全行及各网点的对话交互量趋势与类型占比和对话热搜TOP10，以及机器人间协同次数趋势与协同业务类型占比及各网点机器人实时状态数据，并生成相关的报表图。所有数据分为实时获取和定时获取，定时获取为每5分钟自动更新。实时获取的数据如：机器人的业务对话交互量、交互内容分析、机器人急停按钮状态等。定时获取的数据如：机器人电量、机器人对话内容分类占比分析、对话量趋势分析、网络状态、系统状态等数据。

如图11所示，远程人机协同控制系统”由多个子系统组成，主要包括：1、统一用户接入管理系统2、RTC音视频流实时传输系统3、IM实时通讯系统4、数据分析与统计系统5、智慧小融NLP系统、6、机器人协同系统。整个系统实现了网络低延时稳定运行的高技术标准，确保了机器人在人工协同下快速响应动作指令，避免发生安全问题。

“智慧小融NLP系统”是指AI大脑部分，就是“小融大脑系统”，用于机器人与客户直接进行智能问答对话和远程接管时对客服人员的ai自动建议、辅助客服作答。

“机器人协同系统”是指多台机器人之间的协同，例如迎宾机器人可以调度轻业务机器人去某个位置为某个客户办理转账业务。

音视频直播(RTC)与IM实时消息通讯技术对服务器运维体系和通讯技术架构有较高要求，需要很多高技术标准支撑，如：超清画质、低延时、弱网支持、接口开放灵活等。

本系统具备高并发与低延迟通信协同的技术特点，其主要基于RTC与IM平台实现。RTC与IM结合的逻辑框架图如图2所示。

多个客服端和多个机器人端进行协同控制时，客服端首先通过IM平台检测在线机器人，并发送申请协同的指令。机器人端连接IM后进行鉴权操作，并接收客服端的申请协同指令，然后机器人端正常情况下会同意协同申请，并同时发送RTC建立通信房间的请求以及通过IM平台发送同意IM平台建立通信的请求并携带RTC房间ID信息。客服端通过IM收到消息后，会主动发请求进入RTC对应的通信房间，从而实现音视频实时传输对接和IM实时消息对接。

下面详细阐述客服端远程接管协同机器人技术层面的流程步骤。

本流程步骤中有四种节点：机器人端、客服端、IM实时消息通讯平台、RTC音视频通讯平台。

1.客服端APP程序初始化与IM实时消息通讯平台(以下简称IM_SERVER)的连接。

即客服端系统调用OPEN IM_SDK的初始化方法。

*(客服端->IM_SERVER)客服端向IM_SERVER发送初始化请求[IM服务器无实际返回]。

2.机器人端程序初始化与IM实时消息通讯平台的连接。

即机器人系统调用OPEN IM_SDK的初始化方法。

*(机器人端->IM_SERVER)机器人端向IM_SERVER发送初始化请求[IM服务器无实际返回]。

3.客服端注册监听自身IM登录状态方法(此时还没有登录)；

*(客服端->IM_SERVER)客服端向IM_SERVER发送注册登录监听请求[IM服务器无实际返回]，以便之后可以监听客服端自身的IM登录状态。

*客服端注册自身的监听网络变化[客服端本地广播操作,和服务器无交互]，之后客服端可以实时检测自身与互联网的连接状态。

4.客服端通过用户名、密码进行验证与登录；

*(客服端->IM_SERVER)客服端向IM SERVER发送获取Token的请求；

*IM SERVER向客服端返回Token信息；

*客服端带着token信息向IM_SERVER发送登录请求；

*(IM_SERVER->客服端)IM_SERVER向客服端返回登录结果；

机器人端向IM SERVER发送获取Token的请求；

*(IM_SERVER->机器人端)IM SERVER向机器人端返回Token信息；

*(机器人端->IM_SERVER)机器人端带着token信息向IM_SERVER发送登录请求；

*(IM_SERVER->机器人端)IM_SERVER向机器人端返回登录结果；

5.初始化RTC音视频通讯平台SDK(以下简称RTC SERVER)；

*(客服端->RTC_SERVER)客服端向RTC SERVER发送初始化RTC SDK请求,注册RTC平台的回调方法[RTC SERVER无实际返回]，即注册回调方法成功后，当之后客服端有相关RTC任务处理时，会主动通过回调函数获得任务的触发时机与状态。

*(客服端->RTC_SERVER)客服端带着ROBOT_ID参数向RTC SERCER发送申请注册RTC_UID的请求；

*RTC SERVER通过onLocalUserRegistered方法向客服端返回RTC_UID；

6、客服端注册IM接收消息回调方法；

*(客服端->IM_SERVER)客服端向IM_SERVER注册消息监听[IM服务器无实际返回]，以便后续可以允许客服端接收IM SERVER发送过来的IM消息。

7、客服端请求获取在线机器人列表；

*(客服端->IM_SERVER)客服端向IM SERVER发送获取在线机器人列表的请求，从而获取已经与IM连接在线的机器人端列表；

*IM SERVER向客服端返回在线机器人列表信息；

8、客服端根据用户的选择，向某一台机器人发送控制接管请求，并带着新建RTC通信房间号(如房间1)[发送'请求控制指令']；

*(客服端->IM_SERVER)客服端向IM_SERVER发送请求控制某台机器人的请求。

*IM SERVER向这台机器人端发送控制接管请求；

9、如机器人端自动回复'同意控制'指令,则加入RTC音视频房间,建立视频通信；

*(机器人->IM_SERVER->客服端)机器人端通过IM SERVER向客服端发送'同意控制'的回复消息，并加入到客服端指定房间号的RTC通信房间(如房间1)。

*(RTC SERVER->客服端)RTC SERVER向客服端发送消息，触发客服端的RTC房间本地端状态监听方法onJoinChannelSuccess，告知客服端：你已成功加入指定RTC通信房间(如房间1)。

*(RTC SERVER->客服端)RTC SERVER向客服端发送消息，触发客服端的RTC房间远端状态监听方法onUserJoined，告知客服端：远端机器人端已成功加入指定RTC通信房间(如房间1)。

*(RTC SERVER->客服端)RTC SERVER向客服端发送消息，触发客服端的视频传输状态监听方法onFirstRemoteVideoDecoded，告知客服端：远端机器人端视频成功传输。

10、如机器人端自动回复'拒绝接管申请',会提示拒绝原因；

*机器人端通过IM_SERVER向客服端发送拒绝接管的回复请求(机器人端->IM_SERVER->客服端)，回复'拒绝控制'和具体的拒绝原因，如：系统初始化失败、已被其他用户接管等。

11、建立视频通信成功后,机器人端会给客服端发送如延迟,电量,急停状态,人脸识别结果,客户问题,图片库,音乐库,位置库等内容；

*(机器人端->IM_SERVER->客服端)机器人端通过IM_SERVER向客服端发送如延迟,电量,急停状态,人脸识别结果,客户问题,图片库,音乐库,位置库等消息内容；

12、客服端也可以主动向机器人端发出如回到首页,人脸识别,或者直接发送文字等操作机器人进行动作或者语音播放等指令内容；

*(客服端->IM_SERVER->机器人端)客服端通过IM_SERVER向机器人端发出如回到首页,人脸识别指令,或者直接发送文字消息等；

13、当客服端退出接管时,会向机器人端发送"退出房间"指令,机器人端将主动退出视频通信房间,客服端同时也会退出视频通信房间,视频通信结束；

*(客服端->IM_SERVER->机器人端)客服端通过IM_SERVER向机器人端发出"退出房间"指令(如房间1)

*(RTC_SERVER->客服端)RTC音视频服务器调用客服端的回调函数onUserOffline告知客服端：机器人端已离开房间(如房间1)

14、当对应机器人掉线或者客服端掉线或者断网时,也会触发"结束通话"操作,通信终止；

*(客服端->IM_SERVER->机器人)客服端通过IM_SERVER向机器人端发出"退出房间"指令(如房间1)

以上关于RTC和IM结合的系统设计使得本人机协同平台具备了诸多技术优势，如超低延时传输、高并发设计、夸平台兼容、高稳定性等特点。本系统的IM实时消息通讯模块基于Mina框架开发，其可以处理复杂的底层网络通信服务。有别于传统的socket，serversocket开发技术，Mina框架基于java NIO类库开发，采用非阻塞方式的异步传输机制。通俗来讲，NIO是可以做到用一个线程来处理多个操作。Nio面向缓存，一个线程可以有多个通道，一个selecter可以有多个通道。假设有10000个请求过来,根据实际情况，可以分配50或者100个线程来处理。不像之前的阻塞IO那样，非得分配10000个。

综上，本发明实施例中的IM平台在Mina框架基础上进行通信功能开发，整合数据库、对外统一通信API接口、端到端通信SDK等模块。其中MySQL数据库与IM部署在统一局域网络环境内，可减少数据处理时间。针对传统的java网络编程技术的缺陷如：每一个socket连接都交由一个线程控制，线程处于线程池下控制，其技术方案的伸缩性收到线程数的限制。IM平台相比传统技术方案，利用了NIO的IO多路复用机制，多个的socket连接可以注册在一个线程中，一个线程就可以负责多个任务。不受线程数限制，配合UDP协议传输方案，可以在同等CPU硬件资源下提高运行效率，增加系统并发能力、稳定性和提升数据传输的效率。

因此本系统IM实时通信模块可以在同等硬件环境下，具备更高的并发能力和信息传输速率。经过测试，在正常网络环境下(网络延迟低于500ms)IM通讯平台网络延时0.02秒-0.13秒。

音视频实时通讯平台RTC本身具备可弹性扩容的服务器容器环境，其软硬件设备针对网络延迟、弱网支持、分辨率动态自适应等做了针对的设计。全国多个网络服务节点实现就近接入、结合全网实时监测和动态智能路由技术，可有效减少端到端延时。RTC平台音视频实时传输延时正常网络情况下在0.5-1.5秒之间，弱网情况下(本身网络延迟2000ms以上)为1.5-4秒。

本系统将RTC与IM平台有效结合在一起，实现了高效的音视频和指令消息传输服务。

RTC与IM是本系统的核心，除此以外还包含其他系统模块，本系统总体功能列表如下：

1设备(机器人)接入管理智能设备(机器人)统一接入管理系统，实现对各厂商设备的唯一标识、统一接口标准和通用数据追踪。

2音视频实时通话依托互联网音视频通话技术，合作研发用于客服端与智能设备(机器人)端的协同问答服务。并提供音频变声、音频控制与屏蔽等辅助功能。

3低延时IM实时通讯自研IM平台，实现跨平台实时通信，用于机器人端与客服端的协同指令低延时传输。

4数据统计与分析后台自动采集AI协同平台与智能设备(机器人)端的交互数据，以问答数据和协同调度数据为主，并自动分析归类。

5客服端AI控制器客服端打造兼容android Pad和android phone的机器人远程协同客服端系统。提供协同机器人控制的全部指令调度功能，并提供AI辅助功能。

6数据运营展示功能通过web、手机端展示实时智能设备(机器人)运营数据和机器人状态，并生成相关的数据报表。

参见图12，从系统信息流程角度进行阐述，客服端系统可运行在android pad和phone上。客服人员通过客服端系统，与音视频实时传输平台(RTC)和实时消息通讯平台(ICBC OPEN IM)建立连接，并与机器人建立音视频和实时消息连接。建立连接后，客服端系统可以控制机器人的对话与动作指令，并可以接收来自机器人的音视频流与短消息数据。IM实时消息通讯平台会将通讯数据与统一管理系统交互，进行设备合法检验和数据统计分析等工作。

客服端系统、RTC音视频平台、IM实时消息平台、统一管理系统组合在一起形成了一套完整的机器人协同体系。在此基础上，还会将“工行小融大脑NLP”融入体系内(工行小融大脑NLP是基于人工智能技术研发的全场景语义分析系统，可以智能分析文本问题并进行智能回答)，用于AI辅助客服作答，并提供知识库查询等AI辅助功能。以上设计用于解决第一部分阐述的技术问题。

通过对Demo系统的测试，RTC音视频实时传输延时正常网络情况下在0.5-1.5秒之间，弱网情况下(本身网络延迟2000ms以上)为1.5-4秒。IM通讯平台网络延时0.02秒-0.13秒。以上数据结果可以满足需求标准。构建高效流畅的机器人AI系统平台。

基于同一发明构思，本申请实施例还提供了一种用于协同控制多台机器人的交互装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于用于协同控制多台机器人的交互装置解决问题的原理与上述方法相似，因此用于协同控制多台机器人的交互装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图14是本发明实施例中的用于协同控制多台机器人的交互装置的结构框图。如图14所示，该用于协同控制多台机器人的交互装置具体包括：在线检测接入模块10、RTC房间信息接收模块20以及音视频通信模块30。

在线检测接入模块10，访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；

RTC房间信息接收模块20，通过所述IM平台获取所述目标机器人基于所述请求接管指令反馈的RTC房间信息；

音视频通信模块30，根据所述RTC房间信息访问RTC平台的通信房间以与所述目标机器人进行音视频通信；

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的用于协同控制多台机器人的交互方法的步骤。

下面参考图15，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。

如图15所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的用于协同控制多台机器人的交互方法的步骤。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种用于协同控制多台机器人的交互方法，其特征在于，包括：

访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；请求接管指令中包括机器人端的标识以及客服终端的标识，以及请求接管的理由；

其中，所述目标机器人基于所述请求接管指令访问所述RTC平台建立所述通信房间；在访问RTC平台建立通信房间时，根据IM平台的鉴权结果以及请求接管数据进行；鉴权结果是IM平台的验证结果。

2.根据权利要求1所述的用于协同控制多台机器人的交互方法，其特征在于，还包括：

将文本或指令消息通过所述IM平台发送至所述目标机器人。

3.根据权利要求1所述的用于协同控制多台机器人的交互方法，其特征在于，还包括：

获取各机器人的注册数据。

4.根据权利要求1所述的用于协同控制多台机器人的交互方法，其特征在于，所述RTC房间信息包括：通信房间标识以及密钥。

5.一种用于协同控制多台机器人的交互方法，其特征在于，包括：

获取客服终端通过IM平台发送的请求接管指令；请求接管指令中包括机器人端的标识以及客服终端的标识，以及请求接管的理由；

根据所述请求接管指令访问RTC平台建立通信房间；在访问RTC平台建立通信房间时，根据IM平台的鉴权结果以及请求接管数据进行；鉴权结果是IM平台的验证结果；

6.根据权利要求5所述的用于协同控制多台机器人的交互方法，其特征在于，还包括：

获取所述客服终端通过所述IM平台发送的文本或指令消息。

7.根据权利要求5所述的用于协同控制多台机器人的交互方法，其特征在于，还包括：

访问机器人系统管理平台进行注册。

8.一种用于协同控制多台机器人的交互装置，其特征在于，包括：

在线检测接入模块，访问IM平台检测目标机器人在线状态并在所述目标机器人在线时通过所述IM平台向所述目标机器人发送请求接管指令；请求接管指令中包括机器人端的标识以及客服终端的标识，以及请求接管的理由；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的用于协同控制多台机器人的交互方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的用于协同控制多台机器人的交互方法的步骤。