CN108297098A - 人工智能驱动的机器人控制系统及方法 - Google Patents

Abstract

本发明提出了一种人工智能驱动的机器人控制系统及方法。本系统包括接收模块、人工智能模块、中央处理模块、云端处理模块和执行模块。该方法包括对周围环境的场景信息、使用者的语音和/或视觉信息的采集，根据语音和/或视觉信息进行识别理解后综合决策，确定使用者意图并做出响应。处理结果以多模态的方式输出，包括智能机器人的移动、机械臂和/或头部的动作、屏幕上的表情视频图像显示、音频播放等方式中的一种或多种。该方法可以根据采集到的语音和/或视觉信息，可通过本地或上传云端进行人工智能分析决策，自主控制机器人以多种方式与使用者进行交互反馈，并且支持多种硬件外设，方便设计人员快速拓展机体。本发明能直观有效地将人工智能的成果在机器人上实现。

Description

人工智能驱动的机器人控制系统及方法

技术领域

本发明涉及智能终端技术领域，特别涉及一种人工智能（ArtificialIntelligence，AI）驱动的机器人控制系统及方法。

背景技术

人工智能（Artificial Intelligence，AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括智能点餐机器人、语言识别、图像识别、自然语言处理和专家系统等。

智能机器人是人工智能的产品之一，在多个方面都具有广泛的应用。人们希望智能机器人在运动、导航等功能上，能够快速响应处理，同时希望智能机器人可以像人类一样实现用语言交流、用眼睛识别物体等功能。这就需要智能机器人同时具有快速响应运动决策能力和海量数据存储和处理能力。

相关技术中，智能机器人通常是以整体结构进行设计制造，但以整体结构进行设计存在诸多问题，比如研发周期长、功能单一、各部件需要专门设计，更新换代成本高。现有机器人中，人工智能的部分和其余硬件设备、传感器、运动结构不是一个整体，不能进行丰富的功能表达，而目前的智能机器人控制系统也难以兼顾满足上述内容的需求。

发明内容

本发明的目的，旨在至少能够一定程度上，解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种人工智能驱动的机器人控制系统，能够及时快速、智能地响应用户指令，并做出反馈行为回应。

本发明的第二个目的在于提出一种人工智能驱动的机器人控制方法，能够对多模态的输入信息精细处理，并产生多模态的信息输出。

为了实现上述目的，本发明的第一方面的实施例公开了一种人工智能驱动的机器人控制系统，包括以下部分：接收模块，用于接收多个、多种不同传感器的采集的信息，特别是接收使用者输入的语音信息和视觉信息，用以分析理解使用者的意图，还有雷达输入的距离信息，以及其他的如红外传感、超声波传感器、触碰传感器等其他输入信息用以判断周围环境，这些信息作为多模态的输入；人工智能模块，主要用于对输入的语音信息进行语音理解、语义分析，对获取视觉信息进行识别，综合两者结果来确定使用者当前的控制意图；中央处理模块，用于对接收到的多模态输入信息进行本地处理，对信息进行预处理后提取关键特征，用于判断机器人当前所处环境的总体情况，结合人工智能模块得出的使用者操控意图，生成相应的控制信息控制执行模块，使得机器人做出与使用者意图相关的任务、动作、视频展示、音频回馈等，以此与使用者进行交互，更好的体现人工智能；执行模块，根据控制信息驱动执行机构，使得机器人执行相应的反馈动作，并在显示屏上显示相关的视频、音频，以实现使用者要求的任务和问询，表现其智能性，提高用户体验；云端处理中心，为提高计算响应的时效性，主要在本地的中央处理模块进行，为获取更加海量的在线数据信息，提高存储和运算能力，以及对复杂的语音指令、决策、图像进行更为精准的识别分析，中央处理模块可将接收的多模态信息上传云端进行分析，最后将云端生成的处理信息发送回中央处理模块进行控制。

本发明的第二方面的实施例公开了一种人工智能驱动的机器人控制方法，包括以下步骤：首先，通过多种传感器接收各类环境信息，以及使用者发出的信号，根据获取的距离信息、触碰等信息判断当前所处的环境信。根据采集到的使用者语音信息和视觉信息，运用深度学习中的RNN处理语音信息，CNN处理视觉信息，对过于复杂的信息可采用上传云端进行处理。经过人工智能分析后，判断出使用者所表达的意图，与任务要求。再根据任务要求以及当前所处环境的情况综合处理决策，决策结果以多模态的方式输出，包括但不限于机器人的肢体动作，头部转动，相关音频输出、界面表情或视频输出，利用丰富合理的互动手段，增强与使用者之间的互动性。机器人的回应，完全基于视觉信息和语音信息的反馈实现，可更加全面的体现智能机器人的智能性，提升与使用者交互之间的用户体验，在功能演示、宣传服务中具有良好亲和作用。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明的人工智能驱动的机器人，其中包括上述第一方面实施例所述的人工智能驱动的机器人控制系统，以及完整底盘运动控制部分、中央处理部分、数据采集部分还有一些其他外设模块。该可开发的机器人硬件本体，本身就是一个标准的移动机器人，全部模块安装于底盘运动控制部分上。以人工智能驱动的机器人控制系统为中心，连接信息接收模块，能够接收多模态的信息，包括主流的机器人传感器采集的红外信息、距离信息、激光雷达信息、语音信息、视觉图像信息等。在中央处理部分，设置多种接口并开发好相应的通信协议，能够支持市面上主流的各类低级、高级传感器，支持机械臂等外部结构拓展。机器人控制系统连接云端的处理中心，对接收到的多模态信息，可以进行复杂的自然语音指令进行理解分析，对复杂的图像识别进行高效处理，结合海量的在线资源实现高级决策，根据所需的处理能力和响应速度的要求，也可直接由本地的中央处理模块进行处理，然后及时快速的对机器人进行控制。

本发明实施例中提出的智能机器人，包括多个组成部分，其各个部分可单独拆分或添加，泛用性强。支持人工智能、机器学习等相关智能算法的开发和验证，能帮助广大科研人员快速搭建原型机器人本体，部件替换、功能扩展方便，缩短开发周期和成本。

附图说明

为了能清楚地说明本发明的实施例和技术方案，本发明所述的和/或附加的方面和优点，从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的人工智能驱动的机器人控制系统的结构框图。

图2是根据本发明一个实施例的人工智能驱动的机器人控制方法，控制机器人接收使用者的语音唤醒，做出反应并在后续根据指令进行具体任务的达成的流程图。

图3是根据本发明一个实施例的人工智能驱动的机器人组成示意图。

图4为根据本发明一个实施例的人工智能驱动的机器人结构框架与控制系统交互示意图。

图5为根据本发明一个实施例的应用场景示例。

具体实施方式

下面详细描述本发明的实施例，所述实施例在附图中表示，其中自始至终使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的部分。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。相反，本发明的实施例，包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

实施例一：参考图1。

本人工智能驱动的机器人控制系统，包括：

接收模块（110），接收环境信息以及使用者输入的语音信息和/或视觉信息；

人工智能模块（120），根据所述语音信息和/或视觉信息综合确定使用者的意图；

中央处理模块（130），对使用者意图进行处理，结合环境信息做出控制决策，以多模态的方式输出，包括机器人的移动、肢体动作、图像视频以及音频输出等方式的一种或多种；

云端处理模块（140），与中央处理模块连接，扩展机器人本地的运算能力和数据存储量；

执行模块（150），对中央处理模块输出的多模态信息进行实现；

其特征在于：

所述中央处理模块（130）连接人工智能模块（120）、云端处理模块（140）和执行模块（150），接收模块（110）连接人工智能模块（120）和执行模块（150）。由接收模块（110）实时采集外界环境信息与本体执行模块（150）的行为情况，将获取的语音和视觉数据传递到人工智能模块（120）进行识别分析，最后由中央处理模块（130）结合环境信息以及执行模块（150）的情况进行综合决策下一步的行为。在整个过程中，云端处理模块（140）对中央处理模块（130）提供海量数据和计算能力的支持。

实施例二：参考图2

本人工智能驱动的机器人控制方法，其特征在于操作步骤如下：

1）待机检测（201），只对唤醒词进行监听，检测使用者是否发出唤醒指令唤醒机器人，其余执行机构不上电，机器人整体保持低能耗状态；

2）机器人激活（202），如果检测到使用者的唤醒词，则给各部件上电激活机器人，并根据声源定位确定使用者位置，控制底盘移动到使用者面前，并让使用者进入视觉采集范围，进行识别确认并执行语音、表情等反馈行为；

3）语音和视觉信息采集提取（203），实时监听使用者发出的语音，相机不断采集使用者的图像，提取两部分数据的特征信息；

4）人工智能分析（204），根据提取的语音和视觉信息，利用人工智能算法进行识别。对所述语音信息进行语音识别、语义理解、情感分析中的一种或多种，用以确定使用者意图；对所述视觉信息进行图像识别，确定使用者，根据视觉图形连续帧之间的相关特征，确定使用者的肢体动作，判断与使用者具有强关联性的物品并物体识别，以此确定使用者意图；结合语音信息的判断结果和视觉信息的判断结果，综合两者对使用意图进行判断；

5）决策输出（205），通过对使用者意图的分析，将任务要求结合环境状况构建行为动作指令。控制机器人执行使用者意图代表的动作和任务；控制表情、语音、头部、手臂、底盘中的一种或多种进行变化作为对使用者交互的反馈；播放或显示使用者意图要求的视频图像、音频资料还有查询的信息。

骤1）待机检测（201），包括：

只对唤醒词进行监听，检测使用者是否发出唤醒指令唤醒机器人，其余执行机构不上电，机器人整体保持低能耗状态。

实施例三：

为了解决相关技术中存在的智能机器人智能性差且开发周期长，硬件设备不通用，并且不能很好与人类进行交互的问题，本发明基于人工智能驱动实现了智能性高且交互体验良好的智能机器人控制系统及方法。其中，人工智能（Artificial Intelligence，AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器人，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

以下结合附图描述根据本发明实施例的人工智能驱动的机器人控制系统、控制方法、以及智能机器人。

图1是根据本发明一个实施例的人工智能驱动的机器人控制系统的结构框图。如图所示，该控制系统（100）包括接收模块（110）、人工智能模块（120）、中央处理模块（130）、云端处理模块（140）、执行模块（150）。

具体而言，接收模块（110）用于接收环境信息和/或使用者输入的多模态信息，包括距离信息、语音信息以及图像视觉信息。环境距离信息可使用激光雷达或者超声波传感器获取，也可用RGBD相机获取；使用者的语音信息可用麦克风阵列采集输入；图像视觉信息可用RGBD摄像头或普通摄像头获取；对于车轮、机械臂、云台的电机转角数据可以由编码采集；移动状态可由IMU加速度传感器采集；还有其他如超声波、红外线、温度、湿度、气压等为了特定功能而搭载的传感器，为特定功能采集所需数据。

人工智能模块（120）用于分析处理由使用者输入的语音信息和/或视觉信息来综合分析确定使用的命令意图。需要说明的是，对使用者意图的确定，可以是人工智能模块（120）对于语音信息和视觉信息中任意一种单独进行分析决策，也可以是对两种信息的结合修正来最终确定。

具体的，如图2所示，可以根据以下两种方式确定使用者的意图：

1．利用循环神经网络RNN对自然语音信息进行语音识别、语义理解、情感分析中的一种或者多种，通过上述方式来确定使用者语音信息的意图，得知输入语音的含义。如果还有视觉信息输入，则将语音处理结果与视觉信息处理结果结合，综合进行判断。

2．利用卷积神经网络CNN对视觉图像信息进行图像识别、对象物体识别，人物识别、面部情感识别等确定出可视画面中的使用者以及与使用者有强关联性的物体。再根据视频了流连续帧之间，图像中使用者动作的差异以及关联物品的位置姿态变化，确定使用者的肢体动作，从而确定使用者本人以及肢体动作代表的含义和趋势。如果还有语音信息的输入，则将视觉处理结果与语音信息处理结果结合，综合进行判断。

中央处理模块（130）用于对输入的多模态信息进行处理，具体的包括对周围环境的感知，对使用者指令意图的理解，以及对机器人本身应当做出什么回馈效果、该如何运动进行规划决策，制定出安全、快速、有效的响应指令，并以此控制执行模块执行相应动作功能。

云端处理模块（140）用于扩展机器人本地处理能力不足的情况，与中央处理模块（130）通过网络连接，利用网络海量的在线信息资源，以及云端服务器的巨大存储能力和运算能力，将复杂的语音指令、视觉信息上传云端进行处理，提高数据库的存储容量、运算能力，可对复杂指令进行更为精准的比对分析、识别理解，最后将处理结果以及有用的资源传输返回，以此提高处理性能。

执行模块（150）用于将中央处理模块（130）做出的决策，以多模态的方式输出执行，包括机器人的移动、头部晃动、机械臂等的运行，还包括但不限于屏幕上的表情变化、视频图片的播放、音频输出等的一种或多种，以提高与使用者智能互动的体验效果。

图2是根据本发明一个实施例的人工智能驱动的机器人控制方法，控制机器人接收使用者的语音唤醒，做出反应并在后续根据指令进行具体任务的流程图。

待机检测（201）：检测使用者是否发出召唤指令唤醒机器人。根据事先设定好的唤醒词，只对唤醒词进行监听，其他功能不开启，机器人处于休眠状态以保持整体的耗能较低。唤醒词通常是机器人的名字。使用者以说话的方式发出唤醒词，休眠中的机器人检测到唤醒词便被唤醒激活。

机器人激活（202）：当使用者发出正确的唤醒词，检测到信号的机器人便启动激活，开始做出回应。

具体的，机器人检测到唤醒词后，通过给各个功能模块上电，进行激活。本发明中，为增强交互体验，激活后的机器人通过亮起屏幕，显示表情，转动头部并且发出语音等方式来回应使用者。根据麦克风阵列接收到使用者声波的相位差异进行声源定位，以此判定使用者和机器人之间的相对位置。当确定使用者的方位后，机器人便驱动底盘移动到使用者面前，当接近使用者之后，让使用者进入视觉采集范围摄像头便能捕获使用者的影像，从而进行人脸识别、肢体识别、物体识别。

语音和视觉信息采集提取（203）：接收使用者输入的语音信息和/或视觉信息。主要是麦克风阵列采集语音信息，RGBD摄像机采集视觉信息，提取两部分数据的特征信息。

人工智能分析（204）：根据语音信息和/或视觉信息综合判断使用者意图。

具体的，可以根据以下两种方式确定使用者的意图：

1、利用循环神经网络RNN对使用者发出的语音信息进行语音识别、语义理解、情感分析中的一种或者多种，通过上述方式来确定使用者语音信息的意图，得知输入语音的含义。如果还有视觉信息输入，则将语音处理结果与视觉信息的处理结果结合，综合进行决策。

2、利用卷积神经网络CNN对视觉图像信息进行图像识别、对象物体识别，确定出可视画面中的使用者以及与使用者具有强关联性的物体。再根据连续帧图像之间，使用者动作的差异以及关联物品的位置和姿态的变迁，确定使用者的肢体动作，从而确定使用者本人以及肢体动作代表的含义和趋势。如果还有语音信息的输入，则将视觉信息处理结果与语音信息处理结果结，综合进行决策。

决策输出（205）：对使用者的意图进行综合分析，规划决策机器人需要做出的反馈行为以及相应的任务内容，包括肢体动作、运动行为、屏幕显示和音频播放等，最后以多模态的形式输出一种或者多种。该人工智能驱动的机器人控制方法包含的互动手段丰富合理，能增强机器人与使用者之间的互动性。机器人的回应，完全基于视觉信息和语音信息的反馈实现，可更加全面的体现人工智能机器人的智能性，控制表情、语音、头部、手臂、底盘中的一种或多种进行变化作为对使用者交互的反馈，播放或显示使用者意图要求的视频图像、音频资料还有查询的信息，提升与使用者之间的用户体验，在功能演示、宣传服务中具有良好亲和作用。

图3是根据本发明一个实施例的人工智能驱动的机器人组成示意图。将整个机器人具体组成元件按功能分解，可以分成四个部分，分别为控制系统（310），交互系统（320），底盘移动控制（330），肢体运动控制（340）。

具体的，控制系统（310）是机器人的控制中枢，实现人工智能的部分。对采集到的外界信息进行处理，分析机器人所处环境情况，采用人工智能的算法识别使用者的意图，并综合人工智能的识别的结果以及外界环境的情况生成决策指令，控制机器人完成特定的任务和动作。其主要包含的元件有：中央主控板，用于算法的运算处理；电源管理模块，提供能量，分配电源给各个硬件并升降压为合适的电压；无线连接模块，与无线设备连接，与云端处理中心进行数据交流；还有多种数据接口协议，可支持市面主流的绝大多数硬件设备，可以做到即插即用，丰富地拓展了机器人的功能和结构。

交互系统（320）用于和使用者之间的交流互动，对使用者的语言、动作进行信息采集，对控制系统做出的决策进行实现，能够呈现出使用者所需要的云端检索信息。其包括的元件有：用于显示表情、视频图像，数据信息的脸部屏幕；收集使用者语音并定位的麦克风阵列；收集视觉信息、深度信息，能够进行人脸识别、肢体识别、物体识别的RGBD摄像机；无线连接模块；播放音频、语音的喇叭。交互系统（320）为控制系统（310）提供用于实现人工智能的数据信息，控制系统（310）返回决策信息由交互系统（320）来实现。

底盘移动控制（330）是控制整个机器人移动的部分，并保证机器人能处在一个相对安全的运行环境，不会发生碰撞、跌落，这部分是机器人的基底，搭载着其他功能机构，能实现路径规划、导航定位、人物跟随等移动功能。其包含的元件有：直流电机，轮子运转的动力；电机驱动器，控制电机转向和转速并提供电压；碰撞传感器，可以是红外线传感器、超声波传感器，也可是挤压传感器，主要用于检测机器人移动时与周围物体间的距离，是防止碰撞与跌落的最后一道防线；激光雷达，测量机器人周围物体的距离，用于机器人对环境的感知，与编码器或IMU数据结合可以对环境地图进行构建，进而实现路径规划和导航；编码器，直接测量电机正反转的角度，用于提供机器人行动的里程信息，用于地图构建；IMU加速度传感器，用于测量机器人的移动情况，用于地图构建。底盘移动控制（330）向控制系统（310）输送检测的环境数据，主要以相关联的距离信息和里程信息，在控制系统（310）中这些信息被计算处理为实时地图信息，根据环境构建的地图以及确定的目标位置，由控制系统（310）返回电机控制信号，控制移动。

肢体运动控制（340）是指除了底盘以外的可活动机构。主要包括：控制机器人头部转动的云台舵机，用于对使用者的互动以及转动摄像机的视角；用于抓取、挥舞的机械臂结构，配合不同的末端执行机构可实现抓取、画图、吸取、3D打印等功能；其他可加载的运动结构；运动结构的驱动电路等。控制系统（310）根据当前所要执行的任务要求，结合肢体的具体结构、尺寸坐标，换算出每个电机所要驱动的速度大小和程度，进而完成最终任务。

图4是根据本发明一个实施例的人工智能驱动的机器人结构框架与控制系统交互示意图。机器人主体结构为一个标准移动机器人，自下而上可分为底盘、机身以及头部。

机器人底盘用以实现机器人的移动功能，底盘上装有各类其他传感器，包括红外线、超声波、触碰传感器等简单传感器，作为机器人碰撞的最后一道防线。底座上装有电机以及控制电机的驱动模块，还有关于电源模块等用于实现机器人移动的元件。

机身部分可安装固定多种外设，基础的包括用于检测周围环境距离的激光雷达；检测机器人自身运动情况的IMU；用于实现特定功能的机械臂；机器人的主控板、电源管理模块等其余主要处理模块都在机身。

头部是一个由云台连接的显示屏，屏幕上方是RGBD摄像头，周围是麦克风阵列。云台可实现头部的运动，包括和使用者互动的头部动作，还能转动摄像机的视角；摄像机用于获取图像信息，还有周围的景深，用于人工智能中对图像、人物、肢体的识别；麦克风阵列用于采集使用者的语音信息，并声源定位；显示屏主要用于和使用者的互动，可以显示可爱的表情，可以显示使用者所要求查询的网络数据信息，播放视频、音频等。

机器人主体由本地的中央处理模块连接各类外设、传感器以实现各种功能任务，中央处理模块也通过网络连接云端以扩展数据量与计算能力。当智能机器人处于在线状态时，可将图像、语音等发送至云端，由云端进行语音识别、语义理解、情感分析、物品识别、信息查询等处理，再将结果回传给机器人本地。此外，当智能机器人处于离线状态，无法与云端进行通信，此时可由本地的中央处理模块多模态的输入信息进行处理，实现环境感知、建图导航、离线语音识别、离线人脸检测等功能。

无论智能机器人是在线还是离线状态，都能够控制其正常工作，除此之外可以将离线在线相结合，对数据量较小的指令型语音片段以及“跟随”这种抽象、规范的指令，或者小部分图像信息，数据量小、传输快且易于处理的，就由云端进行在线处理；对于摄像头、传感器等获取的大量图像信息和传感器信息等，将这些实时数据在本地进行离线处理，能够避免因数据量过大传输速度慢而导致响应延迟，从而能够充分利用本地中央处理模块响应速度快和云端处理中心的超强处理能力的优势。

图5为根据本发明一个实施例的应用场景示例。

如图5所示，使用者可以通过预设的唤醒词来对机器人进行语音唤醒，唤醒词通常是机器人的名字。当机器人检测到唤醒词便对各结构上电激活，打开各类传感器，对使用者进入语音监听，并做出反馈行为例如语音回应等。机器人的中央处理模块不断的接收着外接信息，通过避障传感器、激光雷达来获取周围环境信息以及自身所处的位置朝向。环境信息以及使用者的指令信息都会汇总入中央处理模块进行分析处理，如果运算机能不足，可连接云端进行人工智能相关的处理，再把结果回传。

具体的，例如接收到使用者发出“跟随”的命令，机器人通过声源定位获取使用者的方位，中央处理模块发出信息控制底盘运动接近使用者，当使用者的影像出现在摄像机镜头中，通过人物识别，机器人开始跟随识别出的人物进行移动。

如果使用者发出的是“跳舞”命令，机器人将会根据在线资源中的机器人舞蹈移动轨迹进行搜索，以此结合场景中障碍物情况进行移动。

当使用者发出“取物”的命令，机器人理解意图之后，根据场景中障碍物的情况，进行定位导航路径规划，移动到被取物体附近后，通过视觉的物体识别，驱动机械臂抓取，然后返回到使用者面前。

由中央处理模块发出的多模态信息主要包括：对机器人本身的运动控制，控制其运动方向、移动速度，行走路径等；肢体的控制，控制机械臂的移动轨迹，不发生碰撞并能成功拾取物品，还有其他的如头部的晃动等运动；屏幕播放，包括屏幕显示动态表情、使用者要求查询的数据信息、视频图像，播放音频等。

实际应用控制中，决策机构的各种控制功能和控制对象是可根据实际需要进行调用的，并且与云端处 理中心的在线处理结果进行结合的。当智能机器人处于在线状态时，中央处理模块可将图像信息、语音信 息等发送至云端进行处理，由云端根据在线资源、知识等对多模态的输入信息进行在线学习、信息检索、 知识问答或者对大量数据进行学习、训练，以此完成进行语义理解、情感分析、人脸识别、动作识别、手 势识别、身形识别、地图信息采集与预处理等。当机器人处于离线状态或对实时性要求比较高时，也可直 接由中央处理模块进行处理。由本地的中央处理模块直接根据语音信息对用户进行声源定位，根据传感器 信号对周围环境进行感知，并对语音、视觉进行识别分析做出任务控制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，并不指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如机械连接或电连接，也可是两个元件内部的连通，可以是直接相连，也可以通过中间媒介相连，对本领域的普通技术人员而言，可根据具体情况理解。

此外，术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器、磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种人工智能驱动的机器人控制系统，包括：

接收模块（110），接收环境信息以及使用者输入的语音信息和/或视觉信息；

人工智能模块（120），根据所述语音信息和/或视觉信息综合确定使用者的意图；

中央处理模块（130），对使用者意图进行处理，结合环境信息做出控制决策，以多模态的方式输出，包括机器人的移动、肢体动作、图像视频以及音频输出等方式的一种或多种；

云端处理模块（140），与中央处理模块连接，扩展机器人本地的运算能力和数据存储量；

执行模块（150），对中央处理模块输出的多模态信息进行实现；

其特征在于：

所述中央处理模块（130）连接人工智能模块（120）、云端处理模块（140）和执行模块（150），接收模块（110）连接人工智能模块（120）和执行模块（150），由接收模块（110）实时采集外界环境信息与本体执行模块（150）的行为情况，将获取的语音和视觉数据传递到人工智能模块（120）进行识别分析，最后由中央处理模块（130）结合环境信息以及执行模块（150）的情况进行综合决策下一步的行为，在整个过程中，云端处理模块（140）对中央处理模块（130）提供海量数据和计算能力的支持。

2.根据权利要求1所述的人工智能驱动的机器人控制系统，其特征在于：所述接收模块（110），包括：

深度视觉采集模块，用于获取环境信息，包括使用者以及周围物体的视觉图像流，还有三维深度数据；

语音采集模块，用于获取所处环境中使用者发出的语音信号；

运动数据采集模块，用于获取机器人移动里程以及手臂活动情况的等数据；

其他传感器，包括激光雷达、超声波、红外线等用于机器人避障用传感器，还有温度、湿度、气压等为了特定功能而搭载的传感器。

3.根据权利要求1所述的人工智能驱动的机器人控制系统，其特征在于：所述人工智能模块（120），包括：

视觉图像处理模块，根据获取的视觉信息，提取图像特征，分析获得视觉范围内包含的物体，识别出使用者的个人信息以及对其肢体动作进行识别，自然语音处理模块，根据获取的语音信息，提取语音特征，进行关键词识别和语义易理解。

4.根据权利要求1所述的人工智能驱动的机器人控制系统，其特征在于：所述中央处理模块（130），包括：

中央处理主控板模块，根据对使用者发出的语音命令和肢体动作信号，结合获取的环境信息进行综合决策，制定出安全、快速、有效的响应指令，驱动机器人相应功能的执行模块（150）组件执行任务。

5.根据权利要求1所述的人工智能驱动的机器人控制系统，其特征在于：所述云端处理模块（140），包括：

云端服务器模块，用于对机器人本地的中央处理模块（130）功能进行扩展和提升，利用云端在线数据优势，以及服务器的高速运算能力，对机器人有限的存储空间和计算能力进行支持。

6.根据权利要求1所述的人工智能驱动的机器人控制系统，其特征在于：所述执行模块（150），包括：

底盘移动模块，用于根据中央处理模块（130）发出的移动控制指令，驱动机器人的按特定任务路径进行移动、避障、运输、舞蹈等功能；

肢体运动模块，用于根据中央处理模块（130）发出的肢体控制指令，驱动机器人手臂、手爪按所需的动作进行运动，实现抓取、舞动等功能，此外还包括机器人本体上的云台运动的控制；

人机交互模块，用于根据中央处理模块（130）发出的指令进行屏幕显示和音乐播放、语音合成，用于和使用者之间的交流互动，以及对使用者的问询进行回答。

7.一种人工智能驱动的机器人控制方法，采用根据权利要求1所述的人工智能驱动的机器人控制系统进行操作，其特征在于操作步骤如下：

1）待机检测（201）；

2）机器人激活（202）；

3）语音和视觉信息采集提取（203）；

4）人工智能分析（204）；

5）决策输出（205）。

8.根据权利要求7所述的人工智能驱动的机器人控制方法，其特征在于：所述步骤1）待机检测（201），包括：

只对唤醒词进行监听，检测使用者是否发出唤醒指令唤醒机器人，其余执行机构不上电，机器人整体保持低能耗状态；

根据权利要求7所述的人工智能驱动的机器人控制方法，其特征在于：所述步骤2）机器人激活（202），包括：

如果检测到使用者的唤醒词，则给各部件上电激活机器人，并根据声源定位确定使用者位置，控制底盘移动到使用者面前，并让使用者进入视觉采集范围，进行识别确认并执行语音、表情等反馈行为。

9.根据权利要求7所述的人工智能驱动的机器人控制方法，其特征在于：所述步骤3）语音和视觉信息采集提取（203），包括：

实时监听使用者发出的语音，相机不断采集使用者的图像，提取两部分数据的特征信息；

根据权利要求7所述的人工智能驱动的机器人控制方法，其特征在于：所述步骤4）人工智能分析（204），包括：

根据提取的语音和视觉信息，利用人工智能算法进行识别；

对所述语音信息进行语音识别、语义理解、情感分析中的一种或多种，用以确定使用者意图；

对所述视觉信息进行图像识别，确定使用者，根据视觉图形连续帧之间的相关特征，确定使用者的肢体动作，判断与使用者具有强关联性的物品并物体识别，以此确定使用者意图；

结合语音信息的判断结果和视觉信息的判断结果，综合两者对使用意图进行判断。

10.根据权利要求7所述的人工智能驱动的机器人控制方法，其特征在于：所述步骤5）决策输出(205)，包括：

通过对使用者意图的分析，将任务要求结合环境状况构建行为动作指令。

11.控制机器人执行使用者意图代表的动作和任务；

控制表情、语音、头部、手臂、底盘中的一种或多种进行变化作为对使用者交互的反馈；

播放或显示使用者意图要求的视频图像、音频资料还有查询的信息。