CN108340377A - 一种多交互模态的机器人云操作系统 - Google Patents

Abstract

本公开揭示了一种多交互模态的机器人云操作系统，包括：第一交互单元设置于机器人本体，用于通过位于机器人本体内的本地数据库与所述人员进行交互，且当所述第一交互单元无法有效回应与所述人员进行交互时，所述第一交互单元还用于请求第二交互单元和第三交互单元的协作；第二交互单元设置于云计算服务端，用于通过云计算服务端的数据库与所述人员进行交互；第三交互单元设置于客户端，用于通过其他人员对所述声音或图像的人工交互数据库，与所述人员进行交互。通过云计算服务端的数据库和人工交互数据库，以及本地数据库，所述机器人系统实现了多重交互能力，从而改善了机器人操作系统的交互能力。

Description

一种多交互模态的机器人云操作系统

技术领域

本公开涉及机器人领域，特别是一种多交互模态的机器人云操作系统。

背景技术

随着机器人技术的发展，特别是机器人在宾客往来较多场所的应用，例如商场、酒店、火车站、机场，鉴于对宾客服务的需要，目前主要依靠机器人在本地与宾客进行交互。

由于机器人在本地识别受到本地机器人的体积、功耗、移动性等方面的限制，导致现有机器人的计算能力有限，不能很好满足服务的需求。

如何克服机器人本地交互能力的限制，这成为亟待解决的技术问题。

发明内容

针对上述问题，本公开提供了一种多交互模态的机器人云操作系统，包括：

机器人本体、云计算服务端，客户端；

机器人本体包括采集单元，所述采集单元用于采集经过机器人本体的人员的声音、图像；

机器人本体还包括多路传输单元，所述多路传输单元用于将所述声音和图像分别传输至第一交互单元，第二交互单元，和第三交互单元，其中：

第一交互单元设置于机器人本体，用于通过位于机器人本体内的本地数据库与所述人员进行交互，且当所述第一交互单元无法有效回应与所述人员进行交互时，所述第一交互单元还用于请求第二交互单元和第三交互单元的协作；

第二交互单元设置于云计算服务端，用于通过云计算服务端的数据库与所述人员进行交互；

第三交互单元设置于客户端，用于通过其他人员对所述声音或图像的人工交互数据库，与所述人员进行交互。

通过云计算服务端的数据库和人工交互数据库，以及本地数据库，所述机器人系统实现了多重交互能力，从而改善了机器人系统的交互能力。

附图说明

图1为本公开一个实施例的示意图。

具体实施方式

为了使本领域技术人员理解本公开所披露的技术方案，下面将结合实施例及有关附图，对各个实施例的技术方案进行描述，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。本公开所采用的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，“包括”和“具有”以及它们的任何变形，意图在于覆盖且不排他的包含。例如包含了一系列步骤或单元的过程、或方法、或系统、或产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、系统、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员可以理解的是，本文所描述的实施例可以与其他实施例相结合。

参见图1，在一个实施例中，本公开揭示了一种多交互模态的机器人云操作系统，包括：

机器人本体、云计算服务端，客户端；

机器人本体包括采集单元，所述采集单元用于采集经过机器人本体的人员的声音、图像；

机器人本体还包括多路传输单元，所述多路传输单元用于将所述声音和图像分别传输至第一交互单元，第二交互单元，和第三交互单元，其中：

第一交互单元设置于机器人本体，用于通过位于机器人本体内的本地数据库与所述人员进行交互，且当所述第一交互单元无法有效回应与所述人员进行交互时，所述第一交互单元还用于请求第二交互单元和第三交互单元的协作；

第二交互单元设置于云计算服务端，用于通过云计算服务端的数据库与所述人员进行交互；

第三交互单元设置于客户端，用于通过其他人员对所述声音或图像的人工交互数据库，与所述人员进行交互。

对于上述实施例，其与现有技术中的机器人系统明显不同：现有技术中采用的是本地交互，如果无法有效交互则不能很好的完成既定任务。本实施例则额外设置了多路传输单元，用于向第一至第三交互单元传输待识别的声音和图像，充分利用第二交互单元的云端计算能力，更加特别的，利用了第三交互单元及其对应的人工交互数据库。能够理解，所述人工交互数据库可以是预先建立的，即所述人工交互数据库可以通过客户端所对应的工作人员在日常工作过程中积累而建立的知识库来预先建立；此外，所述人工交互数据库可以是实时更新的，所述实时更新可以是所述其他人员在接收到所述声音和图像后，及时识别后对所述声音和/或图像进行回应，从而实时更新所述人工交互数据库，并进一步反馈给机器人本体以便机器人与人员继续交互。

由此可见，通过上述实施例，所述机器人系统通过云计算服务端和客户端，以及机器人本体，改善了机器人的交互能力，提高了交互的有效性和持续交互能力。

需要强调的是，优先使用第一交互单元和本地数据库。这是考虑到机器人所部署的场所可能具有特定的应用场景，例如商场、酒店、机场等，其本地数据库往往具有对应特定应用场景的信息：例如商场的室内导航方面的信息、导购信息。当第一交互单元需要协作时，其会请求第二交互单元和第三交互单元的协作。也就是说，上述实施例第一交互单元之所以具备优先性是具备其特定技术效果的，而且上述实施例实现了机器人所部署的场所的技术需求的同时，最大程度的保障了与宾客等人员交互的总目标。

在另一个实施例中，当机器人的传感器，例如激光雷达，感知到有人员进入机器人的管控范围时(例如方圆5米内)，机器人从休眠模式切换到工作模式，开始获取人员的声音和图像。本领域技术人员知晓，声音信息是人员与机器人交互的主要信息来源，图像特别是面部图像(包括唇语图像、表情图像)、以及代表肢体语言的图像也是人员与机器人交互的信息来源。

当机器人采集到声音时，由麦克风阵列录制成音频文件，例如格式为wav格式的音频文件。第一交互单元可以利用声纹识别技术在机器人本体、通过本地数据库对所述音频文件进行阅读或理解，例如将音频文件转化为txt文本文件进行机器阅读或更偏向语义的理解。

进一步，对所述音频文件进行识别时，还可以通过语音活性检测技术去除空白的、无意义的音频内容，然后通过其余有效音频部分进行阅读或理解。显然，这加快了阅读或理解的速度。

也就是说，涉及到机器人与人员的交互，那么也可以将音频文件或所述有效音频部分发送到本地的语音识别模块转换成文本。然后，语音识别模块进一步将文本进行处理匹配合适的交互文本，所述交互文本用于机器人与人员交互。将所述交互文本再发送到语音合成模块从而将交互文本转换成用于交互的音频文件。所述用于交互的音频文件通过扬声器进行播放，从而完成整个人机交互的过程。

附带提及的，所述的语音识别模块、语音合成模块，也可以部署在云端，或本地部署的同时也额外在云端部署。通过云计算服务器提供相应的API接口即可，例如通过RESTAPI的方式给开发者提供一个通用的HTTP接口，音频文件通过该接口上传云端。

至于通过唇语进行交互：

先通过机器人的摄像头获取人员的唇部录像，然后把录像进行解析后与本地数据库的唇语数据进行比对，如果比对匹配成功则能够获取该唇部录像所对应的话语信息，并用于交互；如果匹配失败则将依靠云计算服务端的数据库和人工交互数据库进行识别。

在另一个实施例中，当感知到人员进入其范围时，所述机器人本体可以通过硬件(例如麦克风阵列)识别所述人员(即声源)的方位，当确认了所述人员的方位后，所述机器人本体可以把其他方位的声源的声音弱化或者屏蔽掉，进而达到减噪的目的，确保所采集的声音的信号质量。如果有必要，所述机器人本体可以在将其他方位的声源的声音弱化或屏蔽的同时，进一步调整姿态，面向所述人员。

在另一个实施例中，

所述客户端与所述机器人本体位于同一地理区域。

就该实施例而言，主要针对客户端与机器人属于同一所有权人、且同一地理区域的情形，特别是酒店、商场，例如客户端的其他人员也属于酒店或商场的工作人员。由于客户端所涉及的其他人员属于工作人员，在同一地理区域时，所述其他人员也便于收集、获取到相应的面对顾客、访客的知识和经验，并将其维护到人工交互数据库中，例如以知识库的形式。

在另一个实施例中，

所述客户端与所述机器人本体位于同一局域网。

能够理解，上一个实施例是针对同一地理区域，而本实施例则针对同一局域网。特别的，通过VPN或其他远程连接方式接入到同一局域网的情形，例如总部与别处分部通过VPN处于同一局域网，可能存在共同针对宾客等人员服务的应用场景，例如工作人员与机器人共同为宾客等人员提供咨询或帮助服务，这就意味着无论是否处于同一地理区域，即使机器人处于分部，总部的工作人员也可以通过客户端和第三交互单元协助机器人进行交互。

在另一个实施例中，

所述机器人自动扫描并适配预先建立配对关系的客户端。

就该实施例而言，当机器人自动扫描并适配预先建立配对关系的客户端时，就更为便捷的连接到了第三交互单元。

更进一步的，为了机器人节省电能，每当机器人因为人员进入其管控范围而从休眠模式进入工作模式时，所述机器人自动扫描并适配预先建立配对关系的客户端。

在另一个实施例中，

所述客户端与所述机器人本体不属于同一地理区域，也不属于同一局域网。

能够理解，前文涉及同一地理区域，也涉及同一局域网，且均有其技术需求，而既不属于同一地理区域也不属于同一局域网的技术需求则在于：

在对数据安全性要求不高的场景，特别是需要更广泛的采集数据、协作提供对宾客等人员的服务的情形下，位于互联网任何一个角落的其他人员，只要其能够通过所述声音或图像一定程度的改进机器人与宾客等人员的交互，相应的客户端就可以与所述机器人不属于同一地理区域，也不属于同一局域网。

在另一个实施例中，

所述客户端包括基于微信小程序的客户端。

就该实施例而言，其目的在于通过微信小程序来进行人工交互数据库的维护。之所以通过微信小程序，原因在于：微信的用户基数非常大，方便更广泛的进行协作以便改进机器人的交互能力。

在另一个实施例中，

所述客户端包括提供第三方交互服务的客户端。

能够理解，这是为了通过第三方交互服务来改善交互能力。

在另一个实施例中，

所述客户端和所述机器人本体位于同一商场；

所述客户端包括配置给商场工作人员的终端。

正如前文所述，该实施例是针对特定应用场景，例如商场，需要商场工作人员所配置的终端和机器人本体进行协作。

进一步的，机器人还可以进一步在商场中改善当前场景下的人机交互功能。例如，所述客户端甚至可以进一步实现：编辑本地问答集、注册与管理宾客等人员及配置机器人(包括使得机器人进入休眠模式或立即唤醒机器人、修改机器人的配置参数)。

在另一个实施例中，

所述系统还包括中央监控端；

所述中央监控端，用于收集第一交互单元、第二交互单元、第三交互单元的结果，并监控所述机器人交互的过程。

能够理解，这是为了全面收集各方交互单元的结果，即使极端情况下有不同的交互结果的建议，也要全面收集，便于改进机器人的交互能力，并且监控端通过监控机器人交互的过程，能够对有关人员和技术进行综合评估、并后期改进机器人系统的交互能力。

在另一个实施例中，

所述客户端至少包括第一客户端、第二客户端。

就该实施例而言，其意味着可以通过多个客户端来增强交互能力。

需要说明的是，上述各个实施例所述作为分离部件说明的各个单元可以是，或者也可以不是物理上分开的，可以位于一个地方，或者也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本公开提供的处理系统的模块或单元之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本公开可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本公开而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例对应的方法。

本说明书中每个实施例采用递进的方式描述，重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本公开所提供的系统进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种多交互模态的机器人云操作系统，包括：

机器人本体、云计算服务端，客户端；

机器人本体包括采集单元，所述采集单元用于采集经过机器人本体的人员的声音、图像；

机器人本体还包括多路传输单元，所述多路传输单元用于将所述声音和图像分别传输至第一交互单元，第二交互单元，和第三交互单元，其中：

第一交互单元设置于机器人本体，用于通过位于机器人本体内的本地数据库与所述人员进行交互，且当所述第一交互单元无法有效回应所述人员的声音或图像时，所述第一交互单元还用于请求第二交互单元和第三交互单元的协作；

第二交互单元设置于云计算服务端，用于通过云计算服务端的数据库与所述人员进行交互；

第三交互单元设置于客户端，用于通过其他人员对所述声音或图像的人工交互数据库，与所述人员进行交互。

2.根据权利要求1所述的系统，其特征在于：优选的，

所述客户端与所述机器人本体位于同一地理区域。

3.根据权利要求1所述的系统，其特征在于：

所述客户端与所述机器人本体位于同一局域网。

4.根据权利要求1所述的系统，其特征在于：

所述机器人自动扫描并适配预先建立配对关系的客户端。

5.根据权利要求1所述的系统，其特征在于：

所述客户端与所述机器人本体不属于同一地理区域，也不属于同一局域网。

6.根据权利要求1所述的系统，其特征在于：

所述客户端包括基于微信小程序的客户端。

7.根据权利要求1所述的系统，其特征在于：

所述客户端包括提供第三方交互服务的客户端。

8.根据权利要求1所述的系统，其特征在于：

所述客户端和所述机器人本体位于同一商场；

所述客户端包括配置给商场工作人员的终端。

9.根据权利要求1所述的系统，其特征在于：

所述系统还包括中央监控端；

所述中央监控端，用于收集第一交互单元、第二交互单元、第三交互单元的结果，并监控所述机器人交互的过程。

10.根据权利要求1所述的系统，其特征在于：

所述客户端至少包括第一客户端、第二客户端。