CN107181818A - 基于云平台的机器人远端控制和管理系统及方法 - Google Patents

Abstract

本发明公开了一种基于云平台的机器人远端控制和管理系统及方法，系统包括：执行模块，包括机器人自身携带的传感器和信息采集设备集群，信息采集设备集群中每个设备以及机器人自身均是一个独立的单元，每个单元均安装有无线终端、定位终端和执行终端；基于云平台的控制模块，用于接收、存储执行模块上传的所有数据，对数据进行实时处理，将处理结果转化为针对具体单元的指令，通过网络实时传递到该单元；Web客户端，用于调取云平台上的信息，进行远程人为干预。本发明创造性地转移了机器人的计算和存储任务到云平台，并可以保持实时通信，大大降低对机器人计算和存储能力的要求，在自闭症儿童的实验研究和干预治疗领域，拥有极强的应用前景。

Description

基于云平台的机器人远端控制和管理系统及方法

技术领域

本发明涉及机器人控制研究领域，特别涉及一种基于云平台的机器人远端控制和管理系统及方法。

背景技术

在自闭症干预治疗过程中，基于自闭症患者自身特点和行业的现状，信息和通信技术表现出许多优势，特别是各种信息化服务可以大大降低尚且匮乏的专业人员的投入以及相应的人力成本。互联网技术、虚拟现实技术、人工智能技术、机器人技术在自闭症干预治疗领域中的应用逐渐显现。其中，机器人技术对自闭症儿童的干预治疗效果更为显著。

Weir等人在其文章《Using LOGO to catalyse communication in an autisticchild》中，已经公开了用机器人对自闭症儿童进行干预训练，并取得了良好效果。Cabibihan等在Journal of Social Robotics杂志中发表的《Why robots？A survey onthe roles and benefits of social robots in the therapy of children withautism."International》，Anzalone等在Research in Autism Spectrum Disorders杂志中发表的《How children with autism spectrum disorder behave and explore the4-dimensional(spatial 3D+time)environment during a joint attention inductiontask with a robot》，Bekele E等在Autism发表的《Pilot clinical application of anadaptive robotic system for young children with autism》，Shamsuddin S.等在Procedia Engineering杂志发表的《Initial response in HRI-a case study onevaluation of child with autism spectrum disorders interacting with ahumanoid robot Nao》等，相比其他参照物(包括人、玩具等)，自闭症儿童对机器人表现出更大的兴趣和更高的关注度，同时干预治疗效果与其他干预对象相比更为显著。例如，在Duquette等人(参考：“Exploring the use of a mobile robots as an imitation agentwith children with low-functioning autism”,Autonomous Robots,vol.24,pp.47-157,2008)的研究中发现，在和机器人的接触过程中，所有参与的自闭症儿童对机器人的眼神接触较多，能够模仿机器人的表情，更重要的是其在一定程度上表现出了对自闭症儿童重复刻板行为的限制。

但目前用于治疗自闭症儿童的机器人普遍存在效率低下、实时处理能力差、功能单一的问题，为此研究一种基于云平台的机器人远端控制和管理系统及方法具有重要应用价值。

发明内容

本发明针对当前自闭症儿童干预治疗领域专业人员匮乏的现状，同时也为了改善在使用机器人时效率低下、人力成本高和操作不便的现象，提出了一种基于云平台的机器人远端控制和管理系统及方法。

本发明的目的通过以下的技术方案实现：基于云平台的机器人远端控制和管理系统，包括：

执行模块，用于采集现场数据以及根据指令进行自适应调节，包括机器人自身携带的传感器和信息采集设备集群，信息采集设备集群中每个设备以及机器人自身均是一个独立的单元，每个单元均安装有无线终端、定位终端和执行终端，无线终端用于与云平台的实时通信，定位终端用于采集当前单元的位置信息，执行终端用于根据指令调整当前单元的方向和位置、输出声音和/或图像；

基于云平台的控制模块，用于接收、存储执行模块上传的所有数据，对数据进行实时处理，将处理结果转化为针对具体单元的指令，通过网络实时传递到该单元；所述云平台与其他第三方云平台进行数据交互；

Web客户端，与基于云平台的控制模块相连，同时又对接云平台的数据库，用于调取云平台上的信息，进行远程人为干预。

优选的，所述机器人自身携带的传感器包括但不限于压力传感器、距离传感器、温度传感器和加速度传感器，信息采集设备集群包括但不限于高清录像设备、在现场立体式布置的录音设备集群。从而可以最大限度的获取自闭症儿童在现场表现的各种数据，用于后续的分析和处理。

优选的，所述第三方云平台包括但不限于：用于语音识别和反馈的第三方云平台，用于人脸识别的第三方云平台，上述各个第三方云平台为该系统的云平台提供SaaS服务。从而可以整合现有技术，便于进行二次开发，显著提高相关领域生产力，大大减少人力、物力的成本。

优选的，所述云平台对整个机器人远端控制和管理系统内的基础设施进行封装，基础设施包括信息采集设备集群、机器人、机器人身上的各种传感器、用于计算和存储的服务器，云平台通过接口为第三方云平台提供云服务。

优选的，所述机器人采用人形机器人。自闭症儿童更愿意与此类机器人沟通。

优选的，通过Web客户端，可访问云平台上存储的数据，查看数据的各种属性，包括数据采集的时间、地点和终端设备，还可以按照研究需要对数据进行分类整理、处理和分析，包括生成各种曲线图和表格。从而提高工作效率。

基于云平台的机器人远端控制和管理方法，步骤是：系统开始工作后，执行模块采集现场的音频数据，然后通过网络上传至云平台；在云平台的音频数据借助第三方云平台进行语音识别和语音反馈，然后通过网络进行语音回传；在语音回传后进行音频播放，如果发现错误，则通过Web客户端进行远程干预，播放指定音频，同时对云平台上的音频数据再次进行识别，如果若干次后识别正确，则执行对话，如果若干次后仍然识别不正确，则通过Web客户端直接进行对话。

具体的，包括步骤：

(1)准备阶段：询问网络接口，建立网络链接，判断链接是否成功，如果成功，则执行步骤(2)，否则通过Web客户端人为干预，重新检查准备工作；

(2)数据采集和上传阶段：执行模块中的录音设备集群开始录音采集音频，这一过程中程序询问云平台的写存储接口，开始上传音频；

(3)音频处理阶段：云平台的存储层对接收的音频数据做虚拟化和数据编码；待接收完所有音频文件后，程序询问第三方云平台的语音识别接口，借助第三方云平台进行语音识别和语音反馈；

然后，云平台的存储层将语音反馈信息做虚拟化和数据编码，将语音回传至执行模块；

(4)执行阶段：执行模块中的执行终端进行音频播放，在音频播放过程中，对音频进行实时识别，如果识别结果正确，则对话完成，否则通过Web客户端，人为干预播放指定音频，重新识别。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明将执行模块中各个单元的数据直接上传到基于云平台的控制模块，利用云平台强大的数据存储和信息处理能力，实时、并行处理所收集到的海量数据，并将处理结果转化为相应设备的指令，实时地传到具体的设备，因此大大降低对机器人计算和存储能力的要求，降低了成本，提高了效率。

2、本发明设立Web客户端，用户可以通过该客户端直接登录云平台，进而访问存储的数据，对数据进行处理分析，同时根据上传数据的动态变化进行及时精准的远端控制，能够帮助自闭症儿童患者进行有效地互动，更好地对自闭症儿童在社交、语言和刻板行为等方面进行干预治疗。

附图说明

图1为本实施例总体结构示意图。

图2为本实施例实际场景应用示意图。

图3为基于本实施例所述架构实现语音识别功能的框架示意图。

图4为基于本实施例所述架构实现语音识别功能具体流程示意图。

图5为第三方云平台使用该系统服务和功能的示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例以NAO机器人为例，结合图1所示的总体结构示意图，详细介绍本发明基于云平台的机器人远端控制和管理系统的各个模块，即执行模块、基于云平台的控制模块和Web客户端。

(1)执行模块

执行模块包含了如图1中所示的NAO机器人自带的信息采集传感器(其中可包括压力传感器、距离传感器、温度传感器和加速度传感器等)以及以NAO机器人为中心的其他辅助信息采集设备集群。

用于辅助信息采集的信息采集设备集群可如图2所示，在现场增设一组高清录像设备和录音设备。增设的高清录像设备，不仅可以弥补机器人录像设备在像素上的不足，还可以记录并实时上传现场的空间视频数据到云端。另外，在机器人进行一对多对话时，在现场立体式布置录音设备，可以更加清楚且更加精确地获得对话者的方位，还有助于后期处理音频时消除噪音，并将音频数据和位置信息通过局域网实时地上传到云端。这里使用机器人的API实时调取机器人的音频文件，再结合科大讯飞提供的语音识别的API对获取到的机器人的音频文件和现场的录音设备上传到云端的音频文件进行实时处理，并把处理结果转化为针对具体设备的指令，通过网络实时传递。

为了使现场庞大的信息采集设备集群，动作协调统一，需要在现场临时组建一个局域网络。如图2所示，每件设备都是一个独立的单元，将各个设备节点接入局域网，这样即可实现云端的统一协调和管理。每一个独立的单元，都植入了一个无线终端、定位终端，在其内部也有相应的执行终端，其任务主要是在现场环境变化时，调整设备的朝向和位置。而且，各单元借助局域网和云平台保持实时通信，完成指令的传达和数据的上传。

借助NAO机器人的开源环境，信息采集设备集群和NAO机器人组成一个局部网络，可以同时接受来自云平台的命令，并完成所需要的数据采集任务，实时上传至云平台。应用到自闭症儿童的干预治疗环节，可以根据自身的各类传感器，最大限度的获取自闭症儿童的现场表现的各种数据，比如：表情的变化、声音的大小、音色的差异和行为举止的变化等，可以为干预治疗提供丰富且可靠的数据信息，以便做出正确的决策和判断，从而因人而异地制订个性的自闭症儿童干预治疗计划。

(2)基于云平台的控制模块

由图1可以发现，本实施例控制模块主要是可远程控制NAO机器人的云平台(CloudPlatform)。云平台为该系统的核心构成。如图2所示，云平台具备强大的数据存储和信息处理能力，不仅可以存储来自信息采集设备集群实时上传的海量数据，供Web客户端随时调取和查看，还可以凭借强大的计算能力实时、并行处理大量的数据，并将处理结果转化为相应设备的指令，实时地传到实验现场。

本发明将原先由机器人执行的计算和分析等任务转移到了云平台，本身不再需要具备存储海量的数据信息及超强的数据分析能力，可以通过网络连接相关服务器从而获得所需的数据和服务功能，从而大大降低机器人的成本要求。本发明通过云平台直接调用机器人自带的接口指令，或者使用自行开发的底层接口指令来对机器人进行控制。

为了更好的阐述本发明将机器人与云平台、第三方云平台结合的具体过程和意义，下面以语音交互为例进行具体说明。

图3为本实施例系统的语音识别功能总体框架示意图。系统开始工作后，音频文件通过网络上传至云平台，在云平台的音频文件借助第三方云平台进行语音识别和语音反馈。进一步地，再通过网络进行语音回传。反馈的音频播放后，如有错误，人为通过Web客户端进行干预，使得对话重复进行，正确后对话完成。

图4为上述语音识别功能实现的具体步骤示意图。结合图3、4可知。在准备工作完成后，系统开始工作。首先程序要询问网络接口，建立网络链接。如果失败，通过Web客户端人为干预，重新检查准备工作。成功以后，系统开始录音采集音频，程序询问写存储接口，开始上传音频，然后由存储层做虚拟化和数据编码，直至完成上传。上传以后，程序询问语音识别接口(第三方云平台)，程序询问读存取接口，语音识别完成后，得到语音反馈。程序询问写存取接口，然后由存储层做虚拟化和数据编码，语音回传至执行模块，执行模块的相关音频播放设备进行音频播放，在音频播放过程中，对音频进行实时识别，如果识别结果正确，则对话完成，否则通过Web客户端，人为干预播放指定音频，重新识别。如果识别结果正确，则对话完成。

上述的语音识别仅是云平台提供的服务之一，其它拓展功能例如视频等均可按照此架构进行开发。

另外，本系统云平台不仅能调用各个第三方云平台的服务，还能反过来为第三方云平台提供服务。这里所述的服务分为以下三类：基础设施即服务(IaaS:Infrastructure-as-a-Service)，平台即服务(PaaS:Platform-as-a-Service)，软件即服务(SaaS:Software-as-a-Service)。基础设施即服务，也叫做Hardware-as-a-Service，主要提供一些硬件基础设施服务，包括计算、存储、网络等一些基本的资源。平台即服务，主要向使用者提供服务器的平台。使用者可以在平台上部署自己的应用，也可以在平台上修改和完善已有的应用程序。软件即服务，云服务最上层的应用，供应商可以直接在云平台上部署可以给用户使用的程序。用户可以在任何终端上访问服务提供商的应用程序，终端上不需要下载和安装此应用程序。

下面结合图5对第三方云平台使用该系统服务和功能的情况进行具体说明。要对外提供云服务，首先需要本系统所述云平台对整个机器人远端控制和管理系统内的基础设施进行封装，这里基础设施包括信息采集设备集群、机器人、机器人身上的各种传感器，以及用于计算和存储的服务器。这里封装的定义是对该系统的基础设施和计算存储服务等进行模块化处理，使得第三方云平台只需通过接口即可使用该系统的基础设施、计算和存储服务器和云平台及应用程序，即对外提供三种服务，不需要知道内部的操作流程和细节。分别地：使用该系统的基础设施服务可以获得NAO机器人与自闭症儿童交互的大数据，包括NAO机器人身上的传感器数据和设备采集集群的图像和音频数据；使用该系统的计算和存储服务器，可以获得和使用存储服务器上的数据和计算服务器对数据的处理能力和结果；使用该系统的云平台和应用程序，用户不需要自己部署硬件资源即可定制自己所需的服务，包括数据的采集和数据处理结果。

(3)Web客户端

如图2所示，执行模块和控制模块是系统的基本工作流程，也是一个闭环的智能反馈系统。Web客户端主要负责控制模块的人机接口和云平台之间进行数据通信。登陆Web客户端，用户可以实时掌握现场情况，并结合云平台实时的数据分析结果做出正确、及时的判断，还可以通过Web客户端人为、远程下达指令给现场的任一设备单元。

Web客户端实质是指基于Web的动态页面技术的脚本程序，也就是网页程序。通过该客户端，用户可以直接登录云平台，方便的访问云端存储的数据，查看数据的各种属性，包括数据采集的时间、地点和终端设备等属性，还可以按照自己的研究需要对数据进行分类整理、处理和分析，包括生成各种曲线图和表格。对数据的预处理，可以帮助研究人员节省不必要的数据筛选、分类和整理的时间，提高工作效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.基于云平台的机器人远端控制和管理系统，其特征在于，包括：

执行模块，用于采集现场数据以及根据指令进行自适应调节，包括机器人自身携带的传感器和信息采集设备集群，信息采集设备集群中每个设备以及机器人自身均是一个独立的单元，每个单元均安装有无线终端、定位终端和执行终端，无线终端用于与云平台的实时通信，定位终端用于采集当前单元的位置信息，执行终端用于根据指令调整当前单元的方向和位置、输出声音和/或图像；

基于云平台的控制模块，用于接收、存储执行模块上传的所有数据，对数据进行实时处理，将处理结果转化为针对具体单元的指令，通过网络实时传递到该单元；所述云平台与其他第三方云平台进行数据交互；

Web客户端，与控制模块相连，同时与控制模块中云平台的数据库相连，用于调取和查看云平台上存储的数据和数据的预处理结果，进行远程人为干预。

2.根据权利要求1所述的基于云平台的机器人远端控制和管理系统，其特征在于，所述机器人自身携带的传感器包括但不限于压力传感器、距离传感器、温度传感器和加速度传感器，信息采集设备集群包括但不限于高清录像设备、在现场立体式布置的录音设备集群。

3.根据权利要求1所述的基于云平台的机器人远端控制和管理系统，其特征在于，所述第三方云平台包括但不限于：用于语音识别和反馈的第三方云平台，用于人脸识别的第三方云平台，上述各个第三方云平台为该系统的云平台提供SaaS服务。

4.根据权利要求1所述的基于云平台的机器人远端控制和管理系统，其特征在于，所述云平台对整个机器人远端控制和管理系统内的基础设施进行封装，基础设施包括信息采集设备集群、机器人、机器人身上的各种传感器、用于计算和存储的服务器，云平台通过接口为第三方云平台提供云服务。

5.根据权利要求1所述的基于云平台的机器人远端控制和管理系统，其特征在于，所述机器人采用人形机器人。

6.根据权利要求1所述的基于云平台的机器人远端控制和管理系统，其特征在于，通过Web客户端，可访问云平台上存储的数据，查看数据的各种属性，包括数据采集的时间、地点和终端设备，还可以按照研究需要对数据进行分类整理、处理和分析，包括生成各种曲线图和表格。

7.基于权利要求1-6任一项所述基于云平台的机器人远端控制和管理系统的方法，其特征在于，系统开始工作后，执行模块采集现场的音频数据，然后通过网络上传至云平台；在云平台的音频数据借助第三方云平台进行语音识别和语音反馈，然后通过网络进行语音回传；在语音回传后进行音频播放，如果发现错误，则通过Web客户端进行远程干预，播放指定音频，同时对云平台上的音频数据再次进行识别，如果若干次后识别正确，则执行对话，如果若干次后仍然识别不正确，则通过Web客户端直接进行对话。

8.根据权利要求7所述的方法，其特征在于，包括步骤：

(1)准备阶段：询问网络接口，建立网络链接，判断链接是否成功，如果成功，则执行步骤(2)，否则通过Web客户端人为干预，重新检查准备工作；

(2)数据采集和上传阶段：执行模块中的录音设备集群开始录音采集音频，这一过程中程序询问云平台的写存储接口，开始上传音频；

(3)音频处理阶段：云平台的存储层对接收的音频数据做虚拟化和数据编码；待接收完所有音频文件后，程序询问第三方云平台的语音识别接口，借助第三方云平台进行语音识别和语音反馈；

然后，云平台的存储层将语音反馈信息做虚拟化和数据编码，将语音回传至执行模块；

(4)执行阶段：执行模块中的执行终端进行音频播放，在音频播放过程中，对音频进行实时识别，如果识别结果正确，则对话完成，否则通过Web客户端，人为干预播放指定音频，重新识别。