CN107756395B - 智能机器人的控制系统、方法和装置 - Google Patents

智能机器人的控制系统、方法和装置 Download PDF

Info

Publication number
CN107756395B
CN107756395B CN201610697380.8A CN201610697380A CN107756395B CN 107756395 B CN107756395 B CN 107756395B CN 201610697380 A CN201610697380 A CN 201610697380A CN 107756395 B CN107756395 B CN 107756395B
Authority
CN
China
Prior art keywords
intelligent robot
information
voice
control
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610697380.8A
Other languages
English (en)
Other versions
CN107756395A (zh
Inventor
郑平
刘秋阁
刘骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610697380.8A priority Critical patent/CN107756395B/zh
Publication of CN107756395A publication Critical patent/CN107756395A/zh
Application granted granted Critical
Publication of CN107756395B publication Critical patent/CN107756395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种智能机器人的控制系统、方法和装置。上述系统包括设置于智能机器人上的控制模块和监控模块,以及设置于云端服务器的云服务端;控制模块,用于采集用户的输入信息,并通过ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,对智能机器人进行控制;监控模块,用于采集智能机器人的性能数据及各个ROS节点的状况数据,并根据性能数据及状况数据生成日志信息;云服务端,用于对云端服务请求数据进行分析生成响应信息,并将响应信息返回给智能机器人。上述智能机器人的控制系统、方法和装置,在智能机器人中采用分布式的系统架构,使各功能单元具有高度的独立性及低耦合性,提高了代码的复用性。

Description

智能机器人的控制系统、方法和装置
技术领域
本发明涉及智能终端技术领域,特别是涉及一种智能机器人的控制系统、方法和装置。
背景技术
机器人主要分为两类:工业机器人和智能机器人,工业机器人主要应用于工业生产中,根据预先设定好的程序工作,不具有智能,只具有一般可编程能力和操作功能;而智能机器人具有形形色色的传感器,如视觉、听觉、触觉等,并且使用人工智能理解人类语言,能够完成对话。智能机器人系统涉及多个传感器协调工作,像人类大脑一样进行感觉、反应与思考,相对于工业机器人来说逻辑更复杂控制难度更高。
随着人工智能技术的发展,智能机器人在日常生活、工作及科学研究中已拥有广泛的应用。传统的智能机器人根据用户的需求进行分析处理,从而实现与用户进行简单的交互,例如对话、导航等,但是在设计智能机器人时,通常将所有的分析处理过程放置于服务器中,造成智能机器人响应的实时性较差,且智能机器人内部的各功能模块高度耦合,代码复用性差,不利于智能机器人的开发研究。
发明内容
基于此,有必要针对智能机器人响应的实时性较差且各功能模块高度耦合的问题,提供一种智能机器人的控制系统。
此外,还有必要针对智能机器人响应的实时性较差且各功能模块高度耦合的问题,提供一种智能机器人的控制方法。
此外,还有必要针对智能机器人响应的实时性较差且各功能模块高度耦合的问题,提供一种智能机器人的控制装置。
一种智能机器人的控制系统,包括设置于智能机器人上的控制模块和监控模块,以及设置于云端服务器的云服务端;
所述控制模块,用于采集用户的输入信息,并通过所述控制模块的功能单元中分布的ROS节点处理所述输入信息,生成逻辑控制指令或云端服务请求数据,当生成所述逻辑控制指令时,根据所述逻辑控制指令对所述智能机器人进行控制,当生成所述云端服务请求数据时,将所述云端服务请求数据发送给所述云端服务器,以接收云端服务器返回的响应信息,并根据所述响应信息对所述智能机器人进行控制;
所述监控模块,用于采集所述智能机器人的性能数据及所述控制模块的各个功能单元中分布的ROS节点的状况数据,并根据所述性能数据及所述状况数据生成日志信息;
所述云服务端,用于接收所述控制模块的功能单元发送的云端服务请求数据,对所述云端服务请求数据进行分析生成响应信息,并将所述响应信息返回给所述功能单元。
一种智能机器人的控制方法,包括:
采集用户的输入信息;
调用ROS节点处理所述输入信息,并生成逻辑控制指令或云端服务请求数据;
当生成所述逻辑控制指令时,根据所述逻辑控制指令对智能机器人进行控制;
当生成云端服务请求数据时,将所述云端服务请求数据发送给云端服务器,以使所述云端服务器对所述云端服务请求数据进行分析生成响应信息,
接收所述云端服务器返回的响应信息,
根据所述响应信息对智能机器人进行控制;
采集所述智能机器人的性能数据及所述ROS节点的状况数据,并根据所述性能数据及状况数据生成日志信息。
一种智能机器人的控制装置,包括:
采集模块,用于采集用户的输入信息;
调用模块,用于调用ROS节点处理所述输入信息,并生成逻辑控制指令或云端服务请求数据;
控制模块,用于当生成所述逻辑控制指令时,根据所述逻辑控制指令对智能机器人进行控制;
发送模块,用于当生成云端服务请求数据时,将所述云端服务请求数据发送给云端服务器,以使所述云端服务器对所述云端服务请求数据进行分析生成响应信息;
接收模块,用于接收所述云端服务器返回的响应信息;
所述控制模块,还用于根据所述响应信息对智能机器人进行控制;
采集模块,用于采集所述智能机器人的性能数据及所述ROS节点的状况数据,并根据所述性能数据及状况数据生成日志信息。
上述智能机器人的控制系统、方法和装置,控制模块采集用户的输入信息,根据输入信息调用相应的功能单元中分布的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器进行分析生成响应信息,并根据逻辑控制指令或响应信息对智能机器人进行控制,控制模块实现部分的逻辑控制功能,仅将部分的云端服务请求数据传送至云端服务器进行处理,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU(Central ProcessingUnit,中央处理器)占用率。而且,通过ROS在控制模块中划分各个功能单元,并在功能单元中分布ROS节点,在智能机器人中采用分布式的系统架构,使各功能单元具有高度的独立性及低耦合性,提高了代码的复用性。
此外,通过监控模块监控智能机器人的性能数据及各个功能单元中分布的ROS节点的状况数据,生成相应的日志信息,方便开发人员实时了解智能机器人的情况,监控智能机器人的状态。
附图说明
图1为一个实施例中智能机器人的控制系统的应用场景图;
图2A为一个实施例中智能机器人的内部结构示意图;
图2B为一个实施例中云端服务器的内部结构示意图;
图3为一个实施例中智能机器人的控制系统的结构示意图;
图4为一个实施例中主控逻辑单元的内部结构示意图;
图5为一个实施例中智能机器人的控制方法的流程示意图;
图6为另一个实施例中智能机器人的控制方法的流程示意图;
图7为一个实施例中切换主控制节点与备份控制节点的流程示意图;
图8为一个实施例中智能机器人的控制装置的结构示意图;
图9为另一个实施例中智能机器人的控制装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种控制指令,但这些控制指令不受这些术语限制。这些术语仅用于将第一个控制指令与另一个控制指令区分。举例来说,在不脱离本发明的范围的情况下,可以将第一语音播放指令称为第二语音播放指令,且类似地,可将第二语音播放指令称为第一语音播放指令。第一语音播放指令和第二语音播放指令两者都是语音播放指令,但其不是同一语音播放指令。
图1为一个实施例中智能机器人的控制系统的应用场景图。如图1所示,该应用场景中包括用户、智能机器人10及云端服务器20,智能机器人10与云端服务器20通过无线网络进行连接。智能机器人10上设置有控制模块102及监控模块104,云端服务器20上设置有云服务端202。智能机器人10上的控制模块102采集用户的输入信息,并通过控制模块102的功能单元中分布的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据。当生成逻辑控制指令时,控制模块102根据逻辑控制指令对智能机器人10进行控制。当生成云端服务请求数据时,控制模块102将云端服务请求数据发送给云端服务器20。云端服务器20上的云服务端202接收该云端服务请求数据,对该云端服务请求数据进行分析生成响应信息,并将响应信息返回给智能机器人10。智能机器人10上的控制模块102接收云端服务器20返回的响应信息,并根据响应信息对智能机器人10进行控制。
智能机器人10上的监控模块104采集智能机器人10的性能数据及控制模块102上各个功能单元中分布的ROS节点的状况数据,并根据智能机器人10的性能数据及ROS节点的状况数据生成日志信息。
图2A为一个实施例中智能机器人10的内部结构示意图。如图2A所示,该智能机器人10包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口、声音采集装置、图像采集装置、扬声器和显示屏。其中,智能机器人10的非易失性存储介质存储有操作系统,还包括一种智能机器人的控制装置,该智能机器人的控制装置用于实现一种智能机器人的控制方法。该处理器用于提供计算和控制能力,支撑整个智能机器人10的运行。智能机器人10中的内存储器为非易失性存储介质中的智能机器人的控制装置的运行提供环境,该内存储器中可储存有计算机可读指令,该计算机可读指令被所述处理器执行时,可使得所述处理器执行一种智能机器人的控制方法。网络接口用于与云端服务器进行网络通信,如发送云端服务请求数据至云端服务器,接收云端服务器返回的响应信息等。智能机器人10的显示屏可以是液晶显示屏或者电子墨水显示屏等,声音采集装置可以是声卡等,图像采集装置可以是摄像头等。本领域技术人员可以理解,图2A中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的智能机器人10的限定,具体的智能机器人10可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图2B为一个实施例中云端服务器20的内部结构示意图。如图2B所示,该云端服务器20包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中,该云端服务器20的非易失性存储介质存储有操作系统、数据库和智能机器人的控制装置,数据库中存储有互联网语音数据、用户信息、智能机器人信息及机器控制指令等,该智能机器人的控制装置用于实现适用于云端服务器的一种智能机器人的控制方法。该云端服务器20的处理器用于提供计算和控制能力,支撑整个云端服务器20的运行。该云端服务器20的内存储器为非易失性存储介质中的智能机器人的控制装置的运行提供环境,该内存储器中可储存有计算机可读指令,该计算机可读指令被所述处理器执行时,可使得所述处理器执行智能机器人控制方法。该云端服务器20的网络接口用于据以与外部的智能机器人及用户终端通过网络连接通信,比如接收智能机器人发送的云端服务请求数据以及向智能机器人返回分析云端服务请求数据生成的响应信息等。云端服务器20可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解,图2B中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的云端服务器的限定,具体的云端服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图3为一个实施例中智能机器人的控制系统的结构示意图。如图3所示,提供了一种智能机器人的控制系统,包括设置于智能机器人10上的控制模块102和监控模块104,以及设置于云端服务器20上的云服务端202。
控制模块102,用于采集用户的输入信息,并通过控制模块102的功能单元304中分布的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,当生成逻辑控制指令时,根据逻辑控制指令对智能机器人10进行控制,当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器20,以接收云端服务器20返回的响应信息,并根据响应信息对智能机器人10进行控制。
具体的,ROS(Robot Operating System,机器人操作系统)是一个适用于机器人的开源的元操作系统。它提供了操作系统应有的服务,包括硬件抽象、底层设备控制、常用函数的实现、进程间消息传递,以及包管理等服务。它也提供用于获取、编译、编写和跨计算机运行代码所需的工具和库函数,通过ROS可构建一个分布式的系统框架,进程被封装在易于被分享和发布的程序包和功能包中。
控制模块102包括硬件驱动单元302、功能单元304及主控逻辑单元306。
硬件驱动单元302,用于驱动硬件采集用户的输入信息,可包括驱动声卡采集用户的语音信息,驱动摄像头采集用户的图像信息,或是驱动摄像头采集环境的图像信息等。
功能单元304,用于采用消息发布订阅的模式使分布的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,并根据逻辑控制指令或云端服务器分析云端服务请求数据生成的响应信息提供各项功能控制服务。
功能单元304可包括人脸单元、运动控制单元、对话单元及表情管理单元等,各个不同的功能单元中可分布有不同的ROS节点,用于提供不同的功能控制服务,例如:人脸单元分布有人脸检测节点、人脸存储节点等,可用于控制智能机器人10对用户进行人脸检测识别;运动控制单元分布有头部控制节点、四肢控制节点、方向行进节点等,可用于控制智能机器人10的头部、四肢等的运动;对话单元分布有语音采集节点、语音识别节点、语义理解节点、语音合成节点、对话控制节点等,可用于控制智能机器人10与用户进行智能对话;表情管理单元分布有表情播放节点等,可用于控制智能机器人10播放不同的表情。在本实施例中,智能机器人10基于ROS进行构造,将提供各项功能控制服务的进程,即ROS节点分别封装在不同的功能单元304中,使智能机器人10内部的控制功能实现模块化,各个功能单元304具有高度的独立性及低耦合性。
进一步地,功能单元304中分布的各个ROS节点可采用消息发布订阅的方式处理输入信息,其中,ROS节点指的是在ROS中一小段用编程语言,例如Python或C++等写成的程序,用于执行某个相对简单的任务或进程。各个ROS节点可按照预设的消息格式传递消息,进行节点间的通讯,某个ROS节点将消息发布出去时,其它节点可根据发布的主题选择订阅该消息,例如,对话单元中的语音识别节点对采集的语音信息进行识别处理后,将语音识别处理后的数据以语音识别的主题发布出去,语义理解节点可通过订阅该语音识别的主题获取到语音识别处理后的数据。功能单元304提供的各项功能控制服务可包括基础服务及控制功能,其中,基础服务指的是需要大量运算及信息处理的服务,例如语音识别、语义理解等,基础服务可放在云服务端进行处理,有效减少智能机器人的CPU占用率,控制功能指的是运算较为简单、调用次数较多的服务,例如人脸识别、播放表情等,直接由智能机器人进行处理,可提高智能机器人响应的实时性。功能单元304中的各个ROS节点对输入信息进行处理,若只需提供控制功能,可直接生成相应的逻辑控制指令,例如语音播放指令、表情播放指令等,控制模块102可根据生成的逻辑控制指令对智能机器人10进行控制。若需提供基础服务,可生成云端服务请求数据,并将云端服务请求数据发送至云端服务器20进行分析处理,接收云端服务器20返回的响应信息,控制模块102可根据响应信息对智能机器人10进行控制。
主控逻辑单元306,用于根据输入信息调用功能单元304中提供的相应的功能控制服务,对智能机器人进行控制。
主控逻辑单元306可采用消息发布订阅或是ROS服务的方式调用功能单元304中分布的各个ROS节点,实现不同的功能控制服务,对智能机器人10进行控制,其中,ROS服务的方式指的是主控逻辑单元306向功能单元304中的ROS节点发送请求,从而进行功能控制服务。主控逻辑单元306相当于智能机器人10的“大脑”,协调调用控制模块102中的各个功能单元304,例如,用户从智能机器人前经过时,人脸单元识别出人脸,主控逻辑单元306可同时调用表情管理单元播放微笑表情。
监控模块104,用于采集智能机器人10的性能数据及控制模块102的各个功能单元304中分布的ROS节点的状况数据,并根据性能数据及状况数据生成日志信息。
具体的,智能机器人10的性能数据可包括内存使用、CPU负载、网络状况及硬件信息等数据,ROS节点的状况数据可包括ROS消息、ROS节点交互信息、HTTP(HyperTextTransfer Protocol,超文本传输协议)请求监控等数据,监控模块104采集智能机器人10的性能数据及ROS节点的状况数据,并根据性能数据及ROS节点的状况数据生成日志信息。监控模块104可采用消息发布订阅的方式,通过发布主题为/rosout的消息将生成的日志信息发送至云端服务器20,云端服务器20可通过监控该/rosout主题的消息实时获取智能机器人10的性能数据及ROS节点的状况数据,当性能数据或ROS节点的状况数据发生异常时,可生成警报信息。
云服务端202,用于接收控制模块102的功能单元304发送的云端服务请求数据,对云端服务请求数据进行分析生成响应信息,并将响应信息返回给功能单元304。
具体的,云服务端202设置于云端服务器20上,当智能机器人10的控制模块102的功能单元304需要提供基础服务时,可生成云端服务请求数据,并将云端服务请求数据发送至云端服务器20。云服务端202可通过互联网中的在线学习、信息检索、知识问答等方式进行学习、训练,并对接收的云端服务请求数据进行分析处理,生成响应信息。智能机器人10中控制模块102的功能单元304接收云服务端202返回的响应信息后,控制模块102可根据响应信息对智能机器人10进行控制。在其它的实施例中,智能机器人10与云端服务器20可通过加密的方式进行数据传输,功能单元将云端服务请求数据进行加密发送至云端服务器20,云服务端202将响应信息进行加密返回给功能单元,可保证智能机器人的安全性。
上述智能机器人的控制系统,控制模块采集用户的输入信息,根据输入信息调用相应的功能单元中分布的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器进行分析生成响应信息,并根据逻辑控制指令或响应信息对智能机器人进行控制,控制模块实现部分的逻辑控制功能,仅将部分的云端服务请求数据传送至云端服务器进行处理,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU占用率。而且,通过ROS在控制模块中划分各个功能单元,并在功能单元中分布ROS节点,在智能机器人中采用分布式的系统架构,使各功能单元具有高度的独立性及低耦合性,提高了代码的复用性。
此外,通过监控模块监控智能机器人的性能数据及各个功能单元中分布的ROS节点的状况数据,生成相应的日志信息,方便开发人员实时了解智能机器人的情况,监控智能机器人的状态。
在一个实施例中,上述智能机器人的控制系统,智能机器人10的控制模块102,还用于驱动摄像头采集用户的图像信息,通过人脸单元的人脸检测节点对图像信息进行人脸检测识别,判断人脸数据库中是否有与图像信息对应的个人信息,若是,则通过主控逻辑单元调用对话单元的对话控制节点生成第一语音播放指令,并根据第一语音播放指令控制智能机器人播放第一语音内容,若否,则通过主控逻辑单元调用对话单元的对话控制节点生成第二语音播放指令,根据第二语音播放指令控制智能机器人播放第二语音内容,并将图像信息存储在人脸数据库中。
具体的,智能机器人10可提供人脸识别服务,控制模块102通过硬件驱动单元302驱动摄像头采集用户的图像信息,人脸单元的人脸检测节点可通过订阅相关的主题获取图像信息,并对图像信息进行人脸检测识别,在人脸数据库中查询是否有与图像信息匹配的个人信息,个人信息可包括用户的姓名、性别、照片、联系方式等。在人脸检测节点对图像信息进行人脸检测识别时,主控逻辑单元306可调用运动控制单元中的头部控制节点控制智能机器人10转动头部,持续追踪采集用户的图像信息。若人脸检测节点在人脸数据库中查找到与图像信息匹配的个人信息,则人脸检测识别通过,主控逻辑单元306调用对话单元的对话控制节点生成第一语音播放指令,并根据第一语音播放指令控制智能机器人播放第一语音内容,其中,第一语音内容可为包含个人信息的个性化招呼语音,例如,用户的姓名+“你好”等问候语音。若人脸检测节点未在人脸数据库中查找到与图像信息匹配的个人信息,主控逻辑单元306可调用对话单元的对话控制节点生成第二语音播放指令,并根据第二语音播放指令控制智能机器人播放第二语音内容,其中,第二语音内容可为默认招呼语音,例如,“你好”等问候语,人脸单元可将采集的图像信息存储在人脸数据库中。可以理解地,上述的第一语音内容及第二语音内容可根据实际情况进行设置,并不限于此。
控制模块102,还用于当智能机器人10播放完第一语音内容或第二语音内容后,驱动声卡采集用户的语音信息,若在预设时间内采集到用户的语音信息,则通过主控逻辑单元306调用对话单元开启智能语音服务,调用对话单元中的语音采集节点处理语音信息,并将处理后的语音信息作为云端服务请求数据发送给云端服务器20,根据云端服务器20返回的响应信息控制智能机器人10播放与响应信息对应的语音内容;以及若在预设时间内未采集到用户的语音信息及图像信息,则通过主控逻辑单元306控制对话单元关闭智能语音服务,停止采集用户的语音信息。
具体的,当智能机器人10播放完第一语音内容或第二语音内容后,控制模块102可通过硬件驱动单元302驱动声卡采集用户的语音信息,若在预设时间内采集到用户的语音信息,例如,在15s(秒)、30s内采集到用户的语音信息,主控逻辑单元306可调用对话单元开启智能语音服务。对话单元中的语音采集节点获取采集的语音信息,可将语音信息进行分段处理,并将分段处理后的语音信息作为云端服务请求数据发送给云端服务器20。云服务端202可对接收的语音信息进行分析处理,并返回相应的响应信息,响应信息可包括文本信息或是合成的语音信息等。对话单元中的对话控制节点可根据云端服务器20返回的响应信息控制智能机器人10播放与响应信息对应的语音内容。若在预设时间内未采集到用户的语音信息,也未采集到用户的图像信息,则主控逻辑单元306可控制对话单元关闭智能语音服务。
云服务端202,还用于接收对话单元发送的处理后的语音信息,对处理后的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,生成响应信息,并将响应信息返回给对话单元。
具体的,云服务端202可通过互联网中的在线学习、信息检索、知识问答等方式进行学习、训练,对话单元将分段处理后的语音信息作为云端服务请求数据发送给云端服务器20后,云服务端202可对分段处理的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,得到相应的响应信息,并将响应信息返回给对话单元,从而实现智能机器人10的智能对话服务。在其它的实施例中,通过云端服务器20提供的语音识别、语义理解等需要大量运算及数据处理的功能控制服务也可放在智能机器人10中进行。
在本实施例中,智能机器人的控制模块通过人脸单元进行人脸检测识别,并通过主控逻辑单元调用对话单元开启智能语音服务,利用云端服务器处理语音信息,从而实现智能机器人与用户之间的智能对话功能,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU占用率,缓解智能机器人的压力。
在一个实施例中,上述智能机器人的控制系统,智能机器人10的控制模块102,还用于当智能机器人10处于待机状态时,通过表情管理单元中的表情播放节点控制智能机器人播放第一表情,当驱动摄像头采集到用户的图像信息,则通过表情播放节点控制智能机器人播放第二表情,当驱动声卡采集到用户的声音信息,则通过表情播放节点控制智能机器人播放第三表情,并通过主控逻辑单元306调用对话单元的对话控制节点控制智能机器人10播放与第三表情匹配的语音内容。
具体的,智能机器人10可根据当前与用户的交互状态播放不同的表情,表情可为静态或动态的图片文件,当智能机器人10处于待机状态时,控制模块102的表情管理单元中的表情播放节点可生成第一表情播放指令,并根据第一表情播放指令控制智能机器人10播放第一表情,其中,第一表情可为默认表情,例如微笑表情等。当控制模块102驱动摄像头采集到用户的图像信息,表情播放节点可生成第二表情播放指令,并根据第二表情播放指令控制智能机器人10播放第二表情,其中,第二表情可为与用户的互动表情,例如大笑表情、你好表情等。当控制模块102驱动声卡采集到用户的声音信息,表情播放节点可生成第三表情播放指令,并根据第三表情播放指令控制智能机器人10播放第三表情,其中,第三表情可为带有语音内容的动态表情,例如说话表情等,在播放第三表情的同时,主控逻辑单元306可调用对话控制节点生成与第三表情播放指令匹配的第三语音播放指令,并根据第三语音播放指令控制智能机器人10播放与第三表情匹配的语音内容。可以理解地,上述的第一表情、第二表情及第三表情可根据实际情况进行设置,并不限于此。
在本实施例中,智能机器人的控制模块可实现智能机器人的播放表情服务,使智能机器人在与用户的交互过程中更为生动、有趣,将部分较为简单、常用的功能控制服务放在智能机器人本地进行运算,可保证智能机器人响应的实时性。
如图4所示,在一个实施例中,控制模块102的主控逻辑单元306可设置有一个主控制节点402,以及一个或多个备份控制节点404。主控逻辑单元306,还用于将主控制节点402的信息同步至备份控制节点404,当主控制节点402发生故障时,选取一个备份控制节点404与主控制节点402进行切换,作为新的主控制节点402对智能机器人进行控制。
具体的,主控逻辑单元306中的主控制节点402维护了智能机器人10运行时所需要的连接、参数等,担负了主要的控制功能。主控制节点402可采用原子广播的方式将写入主控制节点402的信息随时发送至备份控制节点404,实现主控制节点402与其它备份控制节点404之间的信息同步,其中,原子广播的方式指的是当一条消息发送给一个组后,组内的所有成员能同时全部接收到,或是全部无法接收到。当主控制节点402发生故障时,可通过Leader选举算法选择一个备份控制节点作为新的主控制节点,可先从备份控制节点404中随机选择一个节点发起切换为主控制节点的操作,其它备份控制节点接收到该操作请求时,可处理当前事务,并响应该操作,直至选出获得响应最多的备份控制节点,与主控制节点402进行切换。在选出新的主控制节点后,需进行原主控制节点与新的主控制节点间的信息同步,被选择的备份控制节点连接原主控制节点,并向原主控制节点发送最大的事务编号,原主控制节点根据最大的事务编号确定同步情况,并进行信息同步,完成同步之后,被选择的备份控制节点可修改相关的状态值,成为新的主控制节点,对智能机器人10进行控制。
在本实施例中,主控逻辑单元中设置有主控制节点及备份控制节点,通过去中心化的方式,实时保证主控制节点与备份控制节点间的信息同步,当主控制节点出现故障时,选取备份控制节点与主控制节点进行切换,保证了智能机器人处理的可靠性。
在一个实施例中,上述智能机器人的控制系统,云端服务器20的云服务端202,还用于接收用户终端发送的机器控制指令,根据机器控制指令获取用户信息,以及与用户信息匹配的智能机器人标识,并将机器控制指令发送给与智能机器人标识对应的智能机器人10上的控制模块102,以使控制模块102根据机器控制指令对智能机器人10进行控制。
具体的,每台智能机器人上可设置有唯一的标识二维码,用户通过手机、平板电脑等智能终端扫描智能机器人的标识二维码,可将用户信息与智能机器人进行绑定,例如通过扫描标识二维码,将用户的微信号与智能机器人进行绑定。云服务端202可存储有各台智能机器人的基本信息,以及与各台智能机器人绑定的用户信息。用户终端可通过无线网络与云服务端202进行连接,并通过公众号等形式向云服务端202发送机器控制指令,云服务端202获取用户信息,并查找与用户信息匹配的智能机器人标识,其中,智能机器人标识可包括智能机器人的编号、标识二维码等。云服务端202可将机器控制指令发送至与查找到的智能机器人标识对应的智能机器人10上的控制模块102,控制模块102根据机器控制指令对智能机器人10进行控制。例如,用户想要控制智能机器人拍摄当前的画面,则可扫描智能机器人的标识二维码,与智能机器人进行绑定,并通过公众号的方式向云服务端发送“拍照”的机器控制指令,云服务端根据用户信息查找到匹配的智能机器人标识,并将“拍照”的机器控制指令发送到对应的智能机器人上,则智能机器人上的控制模块控制智能机器人拍摄当前的画面,并将生成的图片返回给云服务端,云服务端再将图片返回给用户终端。云服务端202可记录每个用户与智能机器人之间的交互信息,利用记录的交互信息为智能机器人的功能设计做参考,可提高智能机器人的个性化程度。
在本实施例中,用户终端可通过云服务端控制绑定的智能机器人实现不同的功能控制服务,智能机器人拥有高度的便捷性及实用性,且云服务端能够获取到海量的用户行为信息,有利于提高智能机器人的个性化程度。
如图5所示,一个实施例中,提供了一种智能机器人的控制方法,包括以下步骤:
步骤S510,采集用户的输入信息。
具体的,输入信息可包括图像信息、声音信息等,智能机器人可驱动声卡采集用户的语音信息,驱动摄像头采集用户的图像信息,或是驱动摄像头采集环境的图像信息等。
步骤S520,调用ROS节点处理输入信息,并生成逻辑控制指令或云端服务请求数据。
具体的,智能机器人可采用消息发布订阅的方式调用ROS节点处理输入信息,提供各项功能控制服务,各个ROS节点可按照预设的消息格式传递消息,进行节点间的通讯。各项功能控制服务可包括基础服务及控制功能,其中,基础服务指的是需要大量运算及信息处理的服务,例如语音识别、语义理解等,基础服务可放在云端服务器进行处理,有效减少智能机器人的CPU占用率,控制功能指的是运算较为简单、调用次数较多的服务,例如人脸识别、播放表情等,直接由智能机器人进行处理,可提高智能机器人响应的实时性。若只需提供控制功能,可直接生成相应的逻辑控制指令,例如语音播放指令、表情播放指令等,并根据生成的逻辑控制指令对智能机器人进行控制。若需要提供基础服务,则可生成云端服务请求数据,并将云端服务请求数据发送给云端服务器。
步骤S530,当生成逻辑控制指令时,根据逻辑控制指令对智能机器人进行控制。
步骤S540,当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器,以使云端服务器对云端服务请求数据进行分析生成响应信息。
具体的,当生成云端服务请求数据时,智能机器人将云端服务请求数据发送给云端服务器,云端服务器可通过互联网中的在线学习、信息检索、知识问答等方式进行学习、训练,并对接收的云端服务请求数据进行分析处理,生成响应信息。
步骤S550,接收云端服务器返回的响应信息。
具体的,响应信息可包括文本信息、语音信息等,智能机器人根据返回的文本信息或语音信息等响应信息进行控制。在其它的实施例中,智能机器人与云端服务器可通过加密的方式进行数据传输,智能机器人可将云端服务请求数据进行加密发送至云端服务器,并接收加密的响应信息,可保证智能机器人的安全性。
步骤S560,根据响应信息对智能机器人进行控制。
步骤S570,采集智能机器人的性能数据及ROS节点的状况数据,并根据性能数据及状况数据生成日志信息。
具体的,智能机器人的性能数据可包括内存使用、CPU负载、网络状况及硬件信息等数据,ROS节点的状况数据可包括ROS消息、ROS节点交互信息、HTTP请求监控等数据。智能机器人可采用消息发布订阅的方式,通过发布主题为/rosout的消息将生成的日志信息发送至云端服务器,以使云端服务器通过监控该/rosout主题的消息实时获取智能机器人的性能数据及ROS节点的状况数据,当性能数据或ROS节点的状况数据发生异常时,可生成警报信息。
上述智能机器人的控制方法,通过采集用户的输入信息,根据输入信息调用相应的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器进行分析生成响应信息,并根据逻辑控制指令或响应信息对智能机器人进行控制,智能机器人实现部分的逻辑控制功能,仅将部分的云端服务请求数据传送至云端服务器进行处理,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU占用率。而且,通过构造ROS节点实现智能机器人的控制,在智能机器人中采用分布式的系统架构,使智能机器人内部的各功能结构具有高度的独立性及低耦合性,提高了代码的复用性。
此外,通过监控智能机器人的性能数据及各个功能单元中分布的ROS节点的状况数据,生成相应的日志信息,方便开发人员实时了解智能机器人的情况,监控智能机器人的状态。
如图6所示,在一个实施例中,上述智能机器人的控制方法,还包括以下步骤:
步骤S602,调用人脸检测节点对图像信息进行人脸检测识别,判断人脸数据库中是否有与图像信息对应的个人信息,若是,则执行步骤S604,若否,则执行步骤S608。
具体的,智能机器人可提供人脸识别服务,人脸检测节点可在人脸数据库中查询是否有与图像信息匹配的个人信息,个人信息可包括用户的姓名、性别、照片、联系方式等。在人脸检测节点对图像信息进行人脸检测识别时,可调用头部控制节点控制智能机器人转动头部,持续追踪采集用户的图像信息。
步骤S604,调用对话控制节点生成第一语音播放指令。
步骤S606,根据第一语音播放指令控制智能机器人播放第一语音内容。
具体的,第一语音内容可为包含个人信息的个性化招呼语音,例如,用户的姓名+“你好”等问候语音。
步骤S608,调用对话控制节点生成第二语音播放指令。
步骤S610,根据第二语音播放指令控制智能机器人播放第二语音内容,并将图像信息存储在人脸数据库中。
具体的,第二语音内容可为默认招呼语音,例如,“你好”等问候语。可以理解地,上述的第一语音内容及第二语音内容可根据实际情况进行设置,并不限于此。
步骤S612,判断预设时间内是否采集到用户的语音信息,若是,则执行步骤S614,若否,则执行步骤S620。
具体的,当智能机器人播放完第一语音内容或第二语音内容后,可驱动声卡采集用户的语音信息,若在预设时间内采集到用户的语音信息,例如,在15s(秒)、30s内采集到用户的语音信息,则可开启智能语音服务。
步骤S614,调用语音采集节点处理语音信息。
具体的,智能机器人可调用语音采集节点获取采集的语音信息,可将语音信息进行分段处理,并将分段处理后的语音信息作为云端服务请求数据发送给云端服务器。
步骤S616,将处理后的语音信息作为云端服务请求数据发送给云端服务器,以使云端服务器对处理后的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,生成响应信息。
具体的,智能机器人可接收云端服务器对分段处理的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,得到相应的响应信息。在其它的实施例中,智能机器人也可直接对分段处理的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,而不通过云端服务器。
步骤S618,根据云端服务器返回的响应信息控制智能机器人播放与响应信息对应的语音内容。
具体的,通过调用对话控制节点,可根据云端服务器返回的响应信息控制智能机器人播放与响应信息对应的语音内容。若在预设时间内未采集到用户的语音信息,也未采集到用户的图像信息,则可关闭智能语音服务。
步骤S620,停止采集语音信息。
在本实施例中,通过人脸检测节点进行人脸检测识别,并调用对话控制节点开启智能语音服务,利用云端服务器处理语音信息,从而实现智能机器人与用户之间的智能对话功能,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU占用率,缓解智能机器人的压力。
在一个实施例中,步骤S520调用ROS节点处理输入信息,并生成逻辑控制指令,包括:
(a)当智能机器人处于待机状态时,调用表情播放节点生成第一表情播放指令。
(b)当采集到用户的图像信息时,调用表情播放节点生成第二表情播放指令。
(c)当采集到用户的声音信息时,调用表情播放节点生成第三表情播放指令,以及调用对话控制节点生成与第三表情播放指令匹配的第三语音播放指令。
步骤S530当生成逻辑控制指令时,根据逻辑控制指令对智能机器人进行控制,包括:根据第一表情播放指令控制智能机器人播放第一表情;或根据第二表情播放指令控制智能机器人播放第二表情;或根据第三表情播放指令控制智能机器人播放第三表情,并根据第三语音播放指令控制智能机器人播放与第三表情匹配的语音内容。
具体的,智能机器人可根据当前与用户的交互状态播放不同的表情,表情可为静态或动态的图片文件。第一表情可为默认表情,例如微笑表情等,第二表情可为与用户的互动表情,例如大笑表情、你好表情等,第三表情可为带有语音内容的动态表情,例如说话表情等。可以理解地,上述的第一表情、第二表情及第三表情可根据实际情况进行设置,并不限于此。
在本实施例中,可根据智能机器人与用户不同的交互状态播放不同的表情,使智能机器人在与用户的交互过程中更为生动、有趣,将部分较为简单、常用的功能控制服务放在智能机器人本地进行运算,可保证智能机器人响应的实时性。
如图7所示,在一个实施例中,智能机器人设置有一个主控制节点,及一个或多个备份控制节点。上述智能机器人的控制方法,还包括以下步骤:
步骤S702,将主控制节点的信息同步至备份控制节点。
具体的,智能机器人可采用原子广播的方式将写入主控制节点的信息随时发送至备份控制节点,实现主控制节点与其它备份控制节点之间的信息同步。
步骤S704,当主控制节点发生故障时,选取一个备份控制节点与主控制节点进行切换,作为新的主控制节点对智能机器人进行控制。
具体的,当主控制节点发生故障时,可通过Leader选举算法选择一个备份控制节点作为新的主控制节点,可先从备份控制节点中随机选择一个节点发起切换为主控制节点的操作,其它备份控制节点接收到该操作请求时,可处理当前事务,并响应该操作,直至选出获得响应最多的备份控制节点,与主控制节点进行切换。在选出新的主控制节点后,需进行原主控制节点与新的主控制节点间的信息同步,使被选择的备份控制节点与原主控制节点进行连接,并向原主控制节点发送最大的事务编号,原主控制节点根据最大的事务编号确定同步情况,并进行信息同步,完成同步之后,被选择的备份控制节点可修改相关的状态值,成为新的主控制节点,对智能机器人进行控制。
在本实施例中,智能机器人中设置有主控制节点及备份控制节点,通过去中心化的方式,实时保证主控制节点与备份控制节点间的信息同步,当主控制节点出现故障时,选取备份控制节点与主控制节点进行切换,保证了智能机器人处理的可靠性。
在一个实施例中,上述智能机器人的控制方法,还包括:接收用户终端通过云端服务器发送的机器控制指令,并根据该机器控制指令对智能机器人进行控制。
具体的,智能机器人上可设置有唯一的标识二维码,用户通过手机、平板电脑等智能终端扫描智能机器人的标识二维码,可将用户信息与智能机器人进行绑定。用户终端可通过无线网络与云端服务器进行连接,并通过公众号等形式向云端服务器发送机器控制指令,云端服务器获取用户信息,并查找与用户信息匹配的智能机器人标识,将机器控制指令发送至与查找到的智能机器人标识对应的智能机器人。例如,用户想要控制智能机器人拍摄当前的画面,则可扫描智能机器人的标识二维码,与智能机器人进行绑定,并通过公众号的方式向云端服务器发送“拍照”的机器控制指令,云端服务器根据用户信息查找到匹配的智能机器人标识,并将“拍照”的机器控制指令发送到对应的智能机器人上,则智能机器人上的控制模块控制智能机器人拍摄当前的画面,并将生成的图片返回给云端服务器,云端服务器再将图片返回给用户终端。
在本实施例中,用户终端可通过云端服务器控制绑定的智能机器人实现不同的功能控制服务,智能机器人拥有高度的便捷性及实用性,且云端服务器能够获取到海量的用户行为信息,有利于提高智能机器人的个性化程度。
如图8所示,在一个实施例中,提供了一种智能机器人的控制装置,包括采集模块810、调用模块820、控制模块830、发送模块840、接收模块850及采集模块860。
采集模块810,用于采集用户的输入信息。
调用模块820,用于调用ROS节点处理输入信息,并生成逻辑控制指令或云端服务请求数据。
控制模块830,用于当生成逻辑控制指令时,根据逻辑控制指令对智能机器人进行控制。
发送模块840,用于当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器,以使云端服务器对云端服务请求数据进行分析生成响应信息。
接收模块850,用于接收云端服务器返回的响应信息。
控制模块830,还用于根据响应信息对智能机器人进行控制。
采集模块860,用于采集智能机器人的性能数据及ROS节点的状况数据,并根据性能数据及状况数据生成日志信息。
上述智能机器人的控制装置,通过采集用户的输入信息,根据输入信息调用相应的ROS节点处理输入信息,生成逻辑控制指令或云端服务请求数据,当生成云端服务请求数据时,将云端服务请求数据发送给云端服务器进行分析生成响应信息,并根据逻辑控制指令或响应信息对智能机器人进行控制,智能机器人实现部分的逻辑控制功能,仅将部分的云端服务请求数据传送至云端服务器进行处理,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU占用率。而且,通过构造ROS节点实现智能机器人的控制,在智能机器人中采用分布式的进程架构,使智能机器人内部的各功能结构具有高度的独立性及低耦合性,提高了代码的复用性。
此外,通过监控智能机器人的性能数据及各个功能单元中分布的ROS节点的状况数据,生成相应的日志信息,方便开发人员实时了解智能机器人的情况,监控智能机器人的状态。
在一个实施例中,上述智能机器人的控制装置,输入信息包括图像信息。
调用模块820,还用于调用人脸检测节点对图像信息进行人脸检测识别,判断人脸数据库中是否有与图像信息对应的个人信息,若是,则调用对话控制节点生成第一语音播放指令,若否,则调用对话控制节点生成第二语音播放指令。
控制模块830,还用于根据第一语音播放指令控制智能机器人播放第一语音内容;或根据第二语音播放指令控制智能机器人播放第二语音内容,并将图像信息存储在人脸数据库中。
采集模块810,还用于当智能机器人播放完第一语音内容或第二语音内容后,采集用户的语音信息。
调用模块820,还用于若在预设时间内采集到用户的语音信息,则调用语音采集节点处理语音信息。
发送模块840,还用于将处理后的语音信息作为云端服务请求数据发送给云端服务器,以使云端服务器对处理后的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,生成响应信息。
控制模块830,还用于根据云端服务器返回的响应信息控制智能机器人播放与响应信息对应的语音内容。
在本实施例中,通过人脸检测节点进行人脸检测识别,并调用对话控制节点开启智能语音服务,利用云端服务器处理语音信息,从而实现智能机器人与用户之间的智能对话功能,在提高智能机器人响应的实时性的同时,有效减少了智能机器人的CPU占用率,缓解智能机器人的压力。
在一个实施例中,调用模块820,还用于当智能机器人处于待机状态时,调用表情播放节点生成第一表情播放指令,当采集到用户的图像信息时,调用表情播放节点生成第二表情播放指令,当采集到用户的声音信息时,调用表情播放节点生成第三表情播放指令,以及调用对话控制节点生成与第三表情播放指令匹配的第三语音播放指令。
控制模块830,还用于根据第一表情播放指令控制智能机器人播放第一表情;或根据第二表情播放指令控制智能机器人播放第二表情;或根据第三表情播放指令控制智能机器人播放第三表情,并根据第三语音播放指令控制智能机器人播放与第三表情匹配的语音内容。
在本实施例中,可根据智能机器人与用户不同的交互状态播放不同的表情,使智能机器人在与用户的交互过程中更为生动、有趣,将部分较为简单、常用的功能控制服务放在智能机器人本地进行运算,可保证智能机器人响应的实时性。
如图9所示,在一个实施例中,智能机器人设置有一个主控制节点,及一个或多个备份控制节点。上述智能机器人的控制装置,除了包括采集模块810、调用模块820、控制模块830、发送模块840、接收模块850及采集模块860,还包括同步模块870及切换模块880。
同步模块870,用于将主控制节点的信息同步至备份控制节点。
切换模块880,用于当主控制节点发生故障时,选取一个备份控制节点与主控制节点进行切换,作为新的主控制节点对智能机器人进行控制。
在本实施例中,智能机器人中设置有主控制节点及备份控制节点,通过去中心化的方式,实时保证主控制节点与备份控制节点间的信息同步,当主控制节点出现故障时,选取备份控制节点与主控制节点进行切换,保证了智能机器人处理的可靠性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (19)

1.一种智能机器人的控制系统,其特征在于,包括设置于智能机器人上的控制模块和监控模块,以及设置于云端服务器的云服务端;
所述控制模块,用于采集用户的输入信息,并通过所述控制模块的功能单元中分布的ROS节点处理所述输入信息,生成逻辑控制指令或云端服务请求数据,当生成所述逻辑控制指令时,根据所述逻辑控制指令对所述智能机器人进行控制,当生成所述云端服务请求数据时,将所述云端服务请求数据发送给所述云端服务器,以接收云端服务器返回的响应信息,并根据所述响应信息对所述智能机器人进行控制;
所述监控模块,用于采集所述智能机器人的性能数据及所述控制模块的各个功能单元中分布的ROS节点的状况数据,并根据所述性能数据及所述状况数据生成日志信息;
所述云服务端,用于接收所述控制模块的功能单元发送的云端服务请求数据,对所述云端服务请求数据进行分析生成响应信息,并将所述响应信息返回给所述功能单元。
2.根据权利要求1所述的系统,其特征在于,所述控制模块包括硬件驱动单元、功能单元及主控逻辑单元;
所述硬件驱动单元,用于驱动硬件采集用户的输入信息;
所述功能单元,用于采用消息发布订阅的模式使分布的ROS节点处理所述输入信息,生成逻辑控制指令或云端服务请求数据,并根据所述逻辑控制指令或云端服务器分析所述云端服务请求数据生成的响应信息提供各项功能控制服务;
所述主控逻辑单元,用于根据所述输入信息调用所述功能单元中提供的相应的功能控制服务,对所述智能机器人进行控制。
3.根据权利要求2所述的系统,其特征在于,所述功能单元包括人脸单元及对话单元;
所述控制模块,还用于驱动摄像头采集用户的图像信息,通过所述人脸单元的人脸检测节点对所述图像信息进行人脸检测识别,判断人脸数据库中是否有与所述图像信息对应的个人信息,若是,则通过所述主控逻辑单元调用所述对话单元的对话控制节点生成第一语音播放指令,并根据所述第一语音播放指令控制所述智能机器人播放第一语音内容,若否,则通过所述主控逻辑单元调用所述对话单元的对话控制节点生成第二语音播放指令,根据所述第二语音播放指令控制所述智能机器人播放第二语音内容,并将所述图像信息存储在所述人脸数据库中。
4.根据权利要求3所述的系统,其特征在于,所述控制模块,还用于当所述智能机器人播放完第一语音内容或第二语音内容后,驱动声卡采集用户的语音信息,若在预设时间内采集到用户的语音信息,则通过所述主控逻辑单元调用所述对话单元开启智能语音服务,调用所述对话单元中的语音采集节点处理所述语音信息,并将处理后的语音信息作为云端服务请求数据发送给所述云端服务器,根据云端服务器返回的响应信息控制所述智能机器人播放与所述响应信息对应的语音内容;以及
若在预设时间内未采集到用户的语音信息及图像信息,则通过所述主控逻辑单元控制所述对话单元关闭所述智能语音服务,停止采集用户的语音信息;
所述云服务端,还用于接收所述对话单元发送的处理后的语音信息,对所述处理后的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,生成响应信息,并将所述响应信息返回给所述对话单元。
5.根据权利要求2所述的系统,其特征在于,所述功能单元包括人脸单元、对话单元及表情管理单元;
所述控制模块,还用于当所述智能机器人处于待机状态时,通过所述表情管理单元中的表情播放节点控制所述智能机器人播放第一表情,当驱动摄像头采集到用户的图像信息,则通过所述表情播放节点控制所述智能机器人播放第二表情,当驱动声卡采集到用户的声音信息,则通过所述表情播放节点控制所述智能机器人播放第三表情,并通过所述主控逻辑单元调用所述对话单元的对话控制节点控制所述智能机器人播放与所述第三表情匹配的语音内容。
6.根据权利要求2所述的系统,其特征在于,所述主控逻辑单元设置有一个主控制节点,及一个或多个备份控制节点;
所述主控逻辑单元,还用于将所述主控制节点的信息同步至所述备份控制节点,当所述主控制节点发生故障时,选取一个备份控制节点与所述主控制节点进行切换,作为新的主控制节点对所述智能机器人进行控制。
7.根据权利要求1所述的系统,其特征在于,所述云服务端,还用于接收用户终端发送的机器控制指令,根据所述机器控制指令获取用户信息,以及与所述用户信息匹配的智能机器人标识,并将所述机器控制指令发送给与所述智能机器人标识对应的智能机器人上的控制模块,以使所述控制模块根据所述机器控制指令对所述智能机器人进行控制。
8.一种智能机器人的控制方法,包括:
采集用户的输入信息;
调用ROS节点处理所述输入信息,并生成逻辑控制指令或云端服务请求数据;
当生成所述逻辑控制指令时,根据所述逻辑控制指令对智能机器人进行控制;
当生成云端服务请求数据时,将所述云端服务请求数据发送给云端服务器,以使所述云端服务器对所述云端服务请求数据进行分析生成响应信息,
接收所述云端服务器返回的响应信息,
根据所述响应信息对智能机器人进行控制;
采集所述智能机器人的性能数据及所述ROS节点的状况数据,并根据所述性能数据及状况数据生成日志信息。
9.根据权利要求8所述的方法,其特征在于,所述输入信息包括图像信息;
所述调用ROS节点处理所述输入信息,并生成逻辑控制指令,包括:
调用人脸检测节点对所述图像信息进行人脸检测识别,判断人脸数据库中是否有与所述图像信息对应的个人信息;
若是,则调用对话控制节点生成第一语音播放指令,若否,则调用对话控制节点生成第二语音播放指令;
所述当生成所述逻辑控制指令时,根据所述逻辑控制指令对智能机器人进行控制,包括:根据所述第一语音播放指令控制智能机器人播放第一语音内容;或
根据所述第二语音播放指令控制智能机器人播放第二语音内容,并将所述图像信息存储在所述人脸数据库中。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
当所述智能机器人播放完第一语音内容或第二语音内容后,采集用户的语音信息;
若在预设时间内采集到用户的语音信息,则调用语音采集节点处理所述语音信息;
将处理后的语音信息作为云端服务请求数据发送给所述云端服务器,以使所述云端服务器对所述处理后的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,生成响应信息;
根据所述云端服务器返回的响应信息控制所述智能机器人播放与所述响应信息对应的语音内容。
11.根据权利要求8所述的方法,其特征在于,所述调用ROS节点处理所述输入信息,并生成逻辑控制指令,包括:
当所述智能机器人处于待机状态时,调用表情播放节点生成第一表情播放指令;
当采集到用户的图像信息时,调用表情播放节点生成第二表情播放指令;
当采集到用户的声音信息时,调用表情播放节点生成第三表情播放指令,以及调用对话控制节点生成与所述第三表情播放指令匹配的第三语音播放指令;
所述当生成所述逻辑控制指令时,根据所述逻辑控制指令对智能机器人进行控制,包括:根据所述第一表情播放指令控制智能机器人播放第一表情;或
根据所述第二表情播放指令控制智能机器人播放第二表情;或
根据所述第三表情播放指令控制智能机器人播放第三表情,并根据所述第三语音播放指令控制所述智能机器人播放与所述第三表情匹配的语音内容。
12.根据权利要求8所述的方法,其特征在于,所述智能机器人设置有一个主控制节点,及一个或多个备份控制节点;
所述方法还包括:
将所述主控制节点的信息同步至所述备份控制节点;
当所述主控制节点发生故障时,选取一个备份控制节点与所述主控制节点进行切换,作为新的主控制节点对所述智能机器人进行控制。
13.一种智能机器人的控制装置,其特征在于,包括:
第一采集模块,用于采集用户的输入信息;
调用模块,用于调用ROS节点处理所述输入信息,并生成逻辑控制指令或云端服务请求数据;
控制模块,用于当生成所述逻辑控制指令时,根据所述逻辑控制指令对智能机器人进行控制;
发送模块,用于当生成云端服务请求数据时,将所述云端服务请求数据发送给云端服务器,以使所述云端服务器对所述云端服务请求数据进行分析生成响应信息;
接收模块,用于接收所述云端服务器返回的响应信息;
所述控制模块,还用于根据所述响应信息对智能机器人进行控制;
第二采集模块,用于采集所述智能机器人的性能数据及所述ROS节点的状况数据,并根据所述性能数据及状况数据生成日志信息。
14.根据权利要求13所述的装置,其特征在于,所述输入信息包括图像信息;
所述调用模块,还用于调用人脸检测节点对所述图像信息进行人脸检测识别,判断人脸数据库中是否有与所述图像信息对应的个人信息,若是,则调用对话控制节点生成第一语音播放指令,若否,则调用对话控制节点生成第二语音播放指令;
所述控制模块,还用于根据所述第一语音播放指令控制智能机器人播放第一语音内容;或根据所述第二语音播放指令控制智能机器人播放第二语音内容,并将所述图像信息存储在所述人脸数据库中。
15.根据权利要求14所述的装置,其特征在于,所述第一采集模块,还用于当所述智能机器人播放完第一语音内容或第二语音内容后,采集用户的语音信息;
所述调用模块,还用于若在预设时间内采集到用户的语音信息,则调用语音采集节点处理所述语音信息;
所述发送模块,还用于将处理后的语音信息作为云端服务请求数据发送给所述云端服务器,以使所述云端服务器对所述处理后的语音信息进行语音识别、语义理解、情感分析及语音合成处理中的一种或多种,生成响应信息;
所述控制模块,还用于根据所述云端服务器返回的响应信息控制所述智能机器人播放与所述响应信息对应的语音内容。
16.根据权利要求13所述的装置,其特征在于,所述调用模块,还用于当所述智能机器人处于待机状态时,调用表情播放节点生成第一表情播放指令,当采集到用户的图像信息时,调用表情播放节点生成第二表情播放指令,当采集到用户的声音信息时,调用表情播放节点生成第三表情播放指令,以及调用对话控制节点生成与所述第三表情播放指令匹配的第三语音播放指令;
所述控制模块,还用于根据所述第一表情播放指令控制智能机器人播放第一表情;或根据所述第二表情播放指令控制智能机器人播放第二表情;或根据所述第三表情播放指令控制智能机器人播放第三表情,并根据所述第三语音播放指令控制所述智能机器人播放与所述第三表情匹配的语音内容。
17.根据权利要求13所述的装置,其特征在于,所述智能机器人设置有一个主控制节点,及一个或多个备份控制节点;
所述装置还包括:
同步模块,用于将所述主控制节点的信息同步至所述备份控制节点;
切换模块,用于当所述主控制节点发生故障时,选取一个备份控制节点与所述主控制节点进行切换,作为新的主控制节点对所述智能机器人进行控制。
18.一种智能机器人,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求8至12中任一项所述方法的步骤。
19.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求8至12中任一项所述的方法的步骤。
CN201610697380.8A 2016-08-19 2016-08-19 智能机器人的控制系统、方法和装置 Active CN107756395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610697380.8A CN107756395B (zh) 2016-08-19 2016-08-19 智能机器人的控制系统、方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610697380.8A CN107756395B (zh) 2016-08-19 2016-08-19 智能机器人的控制系统、方法和装置

Publications (2)

Publication Number Publication Date
CN107756395A CN107756395A (zh) 2018-03-06
CN107756395B true CN107756395B (zh) 2020-12-01

Family

ID=61262782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610697380.8A Active CN107756395B (zh) 2016-08-19 2016-08-19 智能机器人的控制系统、方法和装置

Country Status (1)

Country Link
CN (1) CN107756395B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7081245B2 (ja) * 2018-03-20 2022-06-07 富士フイルムビジネスイノベーション株式会社 メッセージ提供装置、プログラム、及び表示制御方法
CN108377250A (zh) * 2018-05-08 2018-08-07 山西乐博特机器人教育科技有限公司 教育机器人编程系统
CN108377251A (zh) * 2018-05-08 2018-08-07 山西乐博特机器人教育科技有限公司 教育机器人教学系统
CN108989391B (zh) * 2018-06-19 2021-09-07 北京百悟科技有限公司 一种一致性处理的方法及系统
CN109040304B (zh) * 2018-09-10 2021-05-11 东北大学 一种CloudROS云机器人架构
CN109067812A (zh) * 2018-10-23 2018-12-21 广州霞光技研有限公司 无线互联网工业机器人控制系统及无线嵌入式控制器
CN109218446A (zh) * 2018-10-26 2019-01-15 湖北大学 一种物联网智能机器人自主学习云计算装置
CN109548056B (zh) * 2018-11-30 2021-07-23 中国人民解放军陆军工程大学 一种基于ros主从节点管理器的通信方法和系统
CN109683708A (zh) * 2018-12-14 2019-04-26 北京猎户星空科技有限公司 智能设备控制方法、装置、电子设备及存储介质
CN109623843A (zh) * 2019-01-22 2019-04-16 重庆众兄共创科技有限公司 基于云计算智能决策算法的家庭智能服务机器人
CN109992620A (zh) * 2019-04-03 2019-07-09 重庆电力高等专科学校 智能控制会话式计算机系统
CN110086945B (zh) * 2019-04-24 2021-07-20 北京百度网讯科技有限公司 通信方法、服务器、智能设备、服务器、存储介质
CN110524531A (zh) * 2019-08-12 2019-12-03 智动时代(北京)科技有限公司 一种基于物联网云服务的机器人控制系统及其工作流程
CN110427039A (zh) * 2019-08-29 2019-11-08 山东大学 一种基于ros2的分布式云导航系统及导航方法
CN110765255A (zh) * 2019-11-04 2020-02-07 苏州思必驰信息科技有限公司 分布式语音服务系统及方法
CN111216134B (zh) * 2020-02-17 2021-11-09 达闼机器人有限公司 机器人的控制方法、装置、控制器、存储介质和机器人
CN113726960B (zh) * 2020-05-26 2022-09-30 中国电信股份有限公司 多ai能力引擎对接和内容分发装置、方法和介质
CN111897348A (zh) * 2020-08-31 2020-11-06 北京云迹科技有限公司 云端机器人的控制方法及系统、云端机器人、云端服务器
CN112276976A (zh) * 2020-11-13 2021-01-29 上海应用技术大学 基于云控平台的功能机器人控制系统
CN113268352B (zh) * 2021-06-11 2024-03-08 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113561176A (zh) * 2021-07-22 2021-10-29 上海鲸鱼机器人科技有限公司 控制方法、机器人、上位机和可读存储介质
CN115914454A (zh) * 2021-09-30 2023-04-04 Oppo广东移动通信有限公司 控制方法、终端、智能机器人及智能机器人系统
CN114490971B (zh) * 2021-12-30 2024-04-05 重庆特斯联智慧科技股份有限公司 基于人机对话交互的机器人控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475743A (zh) * 2013-09-30 2013-12-25 广州博冠信息科技有限公司 一种用于云服务的方法、装置及系统
CN204471382U (zh) * 2014-12-31 2015-07-15 南京阿凡达机器人科技有限公司 一种基于云端存储的安防机器人
CN104794214A (zh) * 2015-04-27 2015-07-22 广州大学 一种设计大数据驱动云机器人的方法
WO2015157353A1 (en) * 2014-04-10 2015-10-15 Smartvue Corporation Systems and methods for automated cloud-based analytics for security and/or surveillance
CN105072143A (zh) * 2015-07-02 2015-11-18 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人与客户端的交互系统
CN105078445A (zh) * 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年人健康服务系统
CN105446156A (zh) * 2015-12-30 2016-03-30 百度在线网络技术(北京)有限公司 基于人工智能的家用电器的控制方法、装置和系统
CN105549404A (zh) * 2015-12-30 2016-05-04 苏州绿尚智能科技有限公司 一种智能家居控制系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407881B2 (en) * 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475743A (zh) * 2013-09-30 2013-12-25 广州博冠信息科技有限公司 一种用于云服务的方法、装置及系统
WO2015157353A1 (en) * 2014-04-10 2015-10-15 Smartvue Corporation Systems and methods for automated cloud-based analytics for security and/or surveillance
CN204471382U (zh) * 2014-12-31 2015-07-15 南京阿凡达机器人科技有限公司 一种基于云端存储的安防机器人
CN104794214A (zh) * 2015-04-27 2015-07-22 广州大学 一种设计大数据驱动云机器人的方法
CN105072143A (zh) * 2015-07-02 2015-11-18 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人与客户端的交互系统
CN105078445A (zh) * 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年人健康服务系统
CN105446156A (zh) * 2015-12-30 2016-03-30 百度在线网络技术(北京)有限公司 基于人工智能的家用电器的控制方法、装置和系统
CN105549404A (zh) * 2015-12-30 2016-05-04 苏州绿尚智能科技有限公司 一种智能家居控制系统

Also Published As

Publication number Publication date
CN107756395A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN107756395B (zh) 智能机器人的控制系统、方法和装置
CN111488433B (zh) 一种适用于银行的提升现场体验感的人工智能交互系统
CN110298906B (zh) 用于生成信息的方法和装置
JP7391913B2 (ja) 代替インタフェースでのプレゼンテーションのための電子会話の解析
CN109514586B (zh) 实现智能客服机器人的方法及系统
CN110400251A (zh) 视频处理方法、装置、终端设备及存储介质
CN105126355A (zh) 儿童陪伴机器人与儿童陪伴系统
US11228683B2 (en) Supporting conversations between customers and customer service agents
US20210249008A1 (en) Method for controlling data, device, electronic equipment and computer storage medium
KR20180054407A (ko) 로봇 시스템
CN111291151A (zh) 交互方法、装置及计算机设备
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
KR20220109373A (ko) 발화 영상 제공 방법
CN113850898A (zh) 场景渲染方法及装置、存储介质及电子设备
CN114422647A (zh) 基于数字人的坐席服务方法、装置、设备、介质和产品
KR20210001856A (ko) 정보 생성 방법 및 장치
US11699353B2 (en) System and method of enhancement of physical, audio, and electronic media
CN114338572B (zh) 信息处理方法、相关设备及存储介质
CN113157241A (zh) 交互设备、交互装置及交互系统
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
US11830120B2 (en) Speech image providing method and computing device for performing the same
CN113868399A (zh) 一种服务器超卖实现方法及装置、存储介质及电子设备
US20240046951A1 (en) Speech image providing method and computing device for performing the same
CN113766295A (zh) 一种播放处理方法、装置、设备及存储介质
Tran et al. Virtual office assistant on Magic Mirror

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant