CN107511832A - 云端互动系统及其多感知型智能机器人和感知互动方法 - Google Patents

Abstract

本发明涉及一种云端互动系统及其多感知型智能机器人和感知互动方法，该智能机器人具有语音、图像、压力、运动感测等多种感知设备，并且具有语音识别、人脸识别、压力感知情绪识别等能力，智能机器人通过综合多种识别结果进行互动决策，从而对人的行为作出回应。本发明的智能机器人还可通过云端识别单元与外部处理资源进行通信，提升了机器人的处理能力，使得更为复杂的互动决策成为可能。

Description

云端互动系统及其多感知型智能机器人和感知互动方法

技术领域

本发明涉及机器人，尤其涉及一种云端互动系统及其多感知型智能机器人和感知互动方法。

背景技术

随着人类城市化进程的推进，人们的工作节奏不断加快，人口老龄化和空巢老人的出现，对于宠物陪伴的需求与日俱增。但是真实的宠物照料护理非常费时，对于衰弱的老人来说反而成为负担。而且真实的宠物需要一定的活动空间，对于居住面积不大的家庭是个难题。

传统的智能电子宠物是运行于智能平台上的虚拟宠物，该类型的电子宠物缺乏真实感，用户只能通过显示设备在虚拟世界中感受它的存在。还有一类具有互动功能的玩具类电子宠物，虽然真实性强，但受到处理能力等因素的制约，表现出的智能性往往是有限的。

最近几年，机器人正朝着智能化方向发展，开始具有感觉和感知等功能。因此能够与人交流的家庭陪伴型机器人逐渐成为可能。

目前家庭陪伴型机器人能够与人类进行简单的互动，例如动作的模仿和声音的模仿，但是其互动行为与真实的宠物相比还相去甚远。尤其是，机器人感知外界复杂参数，并据此进行互动和处理的能力还比较弱。

发明内容

本发明所要解决的技术问题是提供一种云端互动系统及其多感知型智能机器人和感知互动方法，具有多重感知能力并且具有更强的处理和互动能力。

本发明提出一种具有云端互动功能的多感知型智能机器人，其与外部的云端服务器配合。智能机器人包括有：口令识别处理单元，用于对外部输入的语音信号进行本地口令识别并生成口令识别处理结果；本地图像识别处理单元，用于对外部输入的场景图像进行本地图像识别并生成本地图像识别结果；压力信号识别处理单元，用于对外部压力信号进行识别处理并生成压力感知型情绪信号；云端识别单元，用于将所述语音信号发送至所述云端服务器并由所述云端服务器执行云端语音识别和云端语义理解至少之一，并接收所述云端服务器发来的云端语音识别处理结果；及用于将所述场景图像发送至所述云端服务器并由所述云端服务器进行人脸识别，并接收所述云端服务器发来的云端人脸识别结果；控制器，用于根据所述口令识别处理结果和所述云端语音识别处理结果至少之一、所述本地图像识别结果和所述云端人脸识别结果至少之一和/或压力感知型情绪信号作出所述智能机器人的互动决策，从而触发所述互动决策的执行。

在本发明的一实施例中，上述的多感知型智能机器人还包括识别选择单元，用于对外部输入的语音信号进行判断，从而选择将外部输入的语音信号是传输给所述口令识别处理单元还是传输给所述云端识别单元，以及/或者对外部输入的场景图像进行判断，从而选择将外部输入的场景图像是传输给本地图像识别处理单元还是传输给所述云端识别单元。

在本发明的一实施例中，上述的多感知型智能机器人还包括语音采集单元，用于获得外部输入的语音信号。

在本发明的一实施例中，所述语音采集单元为麦克风，所述麦克风的数量为两个，分别安装在所述智能机器人的左右耳处。

在本发明的一实施例中，上述的多感知型智能机器人还包括预设口令存储单元，所述预设口令存储单元用于存储预设的口令资料；所述口令识别处理单元用于根据预设的口令资料对所述语音信号进行本地口令识别并生成口令识别处理结果。

在本发明的一实施例中，上述的多感知型智能机器人还包括声纹识别单元，用于在对所述语音信号进行识别处理之前，根据预存储的声纹资料进行身份验证。

在本发明的一实施例中，上述的多感知型智能机器人还包括图像采集单元，用于捕捉外部输入的一个以上的场景图像。

在本发明的一实施例中，上述的多感知型智能机器人还包括人脸图像获取单元，用于从外部输入的场景图像中获取具备识别特征点的人脸图像；所述本地图像识别处理单元用于对所述具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果；所述云端识别单元用于将具备识别特征点的人脸图像发送至所述云端服务器进行云端人脸识别。

在本发明的一实施例中，所述人脸图像获取单元还用于从外部输入的场景图像中获取具备识别特征点的人脸图像之后排除不具备识别特征点的人脸图像。

在本发明的一实施例中，上述的多感知型智能机器人还包括预设图像存储单元，用于存储预设的图像资料；所述本地图像识别处理单元用于根据预设的图像资料对所述外部输入的场景图像进行本地图像识别并生成本地图像识别结果。

在本发明的一实施例中，上述的多感知型智能机器人还包括压力信号获取单元，用于获取外部压力信号。

在本发明的一实施例中，所述压力信号获取单元为电阻式压力传感器。

在本发明的一实施例中，所述压力信号获取单元包括分布于所述智能机器人表面的压力传感芯片阵列和与所述压力传感芯片阵列连接的模数转换电路，所述压力传感芯片阵列感知所述智能机器人表面的压力变化并将其转换为压力模拟信号，所述模数转换电路将所述压力模拟信号转换为压力数字信号。

在本发明的一实施例中，所述压力信号识别处理单元包括有：压力类型判断单元，用于计算所述外部压力信号的压力变化率，根据所述压力变化率和预设的变化阈值比对确定所述外部压力信号的类型；压力位置判断单元，用于根据所述外部压力信号确定压力产生位置；以及压力感知型情绪信号生成单元，用于根据所述压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与所述压力产生位置及外部压力信号的类型相对应的压力感知型情绪信号。

在本发明的一实施例中，所述压力信号识别处理单元还包括分别与所述压力类型判断单元和压力感知型情绪信号生成单元连接，用于存储预设的变化阈值和预设的映射列表的数据存储单元。

在本发明的一实施例中，上述的多感知型智能机器人还包括与所述控制器连接的运动感测单元，用于感测所述智能机器人的运动状态以生成运动状态参数。

在本发明的一实施例中，所述运动感测单元为重力加速度传感器、陀螺仪或安装在所述智能机器人躯干上的倾角传感器。

在本发明的一实施例中，上述的多感知型智能机器人还包括网络判断单元，用以判断所述智能机器人与所述云端服务器的连接状态并根据所述连接状态生成网络判断结果。

在本发明的一实施例中，所述智能机器人和所述云端服务器通过无线网络接口连接。

在本发明的一实施例中，所述控制器配置有影响模型，所述口令识别处理结果、所述云端语音识别处理结果、所述本地图像识别结果、所述云端人脸识别结果、所述压力感知型情绪信号、所述运动状态参数为所述影响模型的输入参数，所述影响模型根据所述输入参数输出所述互动决策。

在本发明的一实施例中，所述控制器响应于启动指令而启动所述智能机器人。

在本发明的一实施例中，所述启动指令包含在语音信号中，所述口令识别处理单元或所述云端识别单元还用于识别所述语音信号中的启动指令；或所述启动指令包含在外部压力信号中，所述压力信号识别处理单元还用于识别所述外部压力信号中的启动指令；或所述启动指令包含在无线信号中，所述智能机器人还包括无线通信单元和无线信号识别单元，所述无线通信单元用于接收外部传输的无线信号，所述无线信号识别单元用于识别所述无线信号中的启动指令。

本发明还提出一种应用上述的具有云端互动功能的多感知型智能机器人的感知互动方法，包括：对外部输入的语音信号进行本地口令识别并生成口令识别处理结果，或者将所述语音信号发送至所述云端服务器并由所述云端服务器执行云端语音识别和云端语义理解至少之一，接收所述云端服务器发来的云端语音识别处理结果；对外部输入的场景图像进行本地图像识别并生成本地图像识别结果，或者将所述场景图像传输至所述云端服务器进行人脸识别并接收所述云端服务器回传的云端人脸识别结果；对外部压力信号进行识别处理并生成压力感知型情绪信号；以及根据所述口令识别处理结果和所述云端语音识别处理结果至少之一、所述本地图像识别结果和所述云端人脸识别结果至少之一和/或压力感知型情绪信号作出所述智能机器人的互动决策，从而触发所述互动决策的执行。

在本发明的一实施例中，上述的感知互动方法还包括对外部输入的语音信号进行判断，从而选择对所述外部输入的语音信号进行本地口令识别还是传输至所述云端服务器，以及/或者对所述外部输入的场景图像进行判断，从而选择对所述外部输入的场景图像进行本地图像识别还是传输至所述云端服务器。

在本发明的一实施例中，上述的感知互动方法还包括获得外部输入的语音信号。

在本发明的一实施例中，上述的感知互动方法还包括存储预设的口令资料，且对外部输入的语音信号进行本地口令识别并生成口令识别处理结果的步骤，是根据预设的口令资料对所述语音信号进行本地口令识别并生成口令识别处理结果。

在本发明的一实施例中，所述对外部输入的语音信号进行本地口令识别并生成口令识别处理结果，或者将所述语音信号发送至所述云端服务器之前，还包括根据预存储的声纹资料对所述语音信号进行身份验证。

在本发明的一实施例中，上述的感知互动方法还包括捕捉外部输入的一个以上的场景图像。

在本发明的一实施例中，上述的感知互动方法还包括从一个以上的场景图像中获取具备识别特征点的人脸图像；且对外部输入的场景图像进行本地图像识别并生成本地图像识别结果的步骤，是对所述具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果；将所述场景图像传输至所述云端服务器进行人脸识别的步骤，是将具备识别特征点的人脸图像发送至所述云端服务器进行云端人脸识别。

在本发明的一实施例中，从外部输入的场景图像中获取具备识别特征点的人脸图像的步骤之后还包括排除不具备识别特征点的人脸图像。

在本发明的一实施例中，上述的感知互动方法还包括存储预设的图像资料，且对外部输入的场景图像进行本地图像识别并生成本地图像识别结果的步骤，是根据预设的图像资料对所述具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果。

在本发明的一实施例中，将所述语音信号或场景图像发送至所述云端服务器前，还包括判断网络状态是否正常，在网络正常时将所述语音信号或场景图像发送至所述云端服务器。

在本发明的一实施例中，上述的感知互动方法还包括获取外部压力信号。

在本发明的一实施例中，对外部压力信号进行识别处理并生成压力感知型情绪信号的步骤包括：计算所述外部压力信号的压力变化率，根据所述压力变化率和预设的变化阈值比对确定所述外部压力信号的类型；根据所述外部压力信号确定压力产生位置；以及根据所述压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与所述压力产生位置及外部压力信号的类型相对应的压力感知型情绪信号。

在本发明的一实施例中，上述的感知互动方法还包括存储预设的变化阈值和预设的映射列表。

在本发明的一实施例中，若所述压力变化率大于预设的第一变化阈值，则将所述外部压力信号的类型确定为拍打，否则，将所述外部压力信号的类型确定为抚摸。

在本发明的一实施例中，所述若所述压力变化率大于预设的第一变化阈值，则将所述外部压力信号的类型确定为拍打包括：如果所述压力变化率大于第一变化阈值而小于等于第二变化阈值，则将所述压力信号的类型确定为轻微拍打；以及如果所述压力变化率大于第二变化阈值，则将所述压力信号的类型确定为用力拍打。

在本发明的一实施例中，所述计算所述外部压力信号的压力变化率为：计算外部压力信号持续的时间值，在所述持续的时间值内根据预设时间段选取所述预设时间段对应的数字信号，根据所述预设时间段及所述预设时间段对应的数字信号计算出压力变化率。

在本发明的一实施例中，所述预设时间段为0.5-1.5秒。

在本发明的一实施例中，上述的感知互动方法还包括感测所述智能机器人的运动状态以生成运动状态参数。

在本发明的一实施例中，所述互动决策包括情绪表达部位以及情绪表达指令。

在本发明的一实施例中，所述情绪表达部位包括智能机器人的上肢、下肢、躯干、头部、面部和/或口部；所述情绪表达指令包括执行相应的动作指令、播放相应的提示语音和/或显示相应的提示信息。

在本发明的一实施例中，所述动作指令包括机械动作指令和/或面部表情指令。

在本发明的一实施例中，所述机械动作指令包括与所述情绪表达部位对应的动作类型信息、动作幅度信息、动作频率信息和/或动作时长信息。

在本发明的一实施例中，上述的感知互动方法还包括：响应于启动指令而启动所述智能机器人；所述启动指令包含在语音信号中、外部压力信号中或无线信号中。

本发明还提出一种云端互动系统，包括上述的具有云端互动功能的多感知型智能机器人以及云端服务器，所述智能机器人与所述云端服务器进行无线通信。

本发明由于采用以上技术方案，使之与现有技术相比，具有如下显著优点：通过配置多种感知设备，综合获取环境信号并进行互动决策，提升了机器人的互动能力。同时通过云端识别单元与外部处理资源进行通信，提升了机器人的处理能力，使得更为复杂的互动决策成为可能。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明第一实施例的具有云端互动功能的多感知型智能机器人的系统框图。

图2是本发明第二实施例的具有云端互动功能的多感知型智能机器人的系统框图。

图3是本发明一实施例的具有云端互动功能的多感知型智能机器人的感知互动方法流程图。

图4是本发明实施例的云端语音识别方法的流程图。

图5是本发明另一个实施例的云端语音识别方法的流程图。

图6是本发明另一个实施例的云端语音识别方法的流程图。

图7是本发明实施例的压力传感器使用示意图。

图8是本发明一实施例的触觉感知方法的流程图。

图9是本发明另一实施例的触觉感知方法的流程图。

图10是本发明一实施例的影响模型示意图。

图11是本发明实施例的人脸识别方法的流程图。

图12是本发明另一个实施例的人脸识别方法的流程图。

图13是本发明另一个实施例的人脸识别方法的流程图。

图14是图1所示多感知型智能机器人的压力信号处理单元的结构框图。

具体实施方式

本发明的实施例描述具有云端互动功能的多感知型智能机器人及其互动方法，该方法和系统尤其适用于家庭陪伴型机器人。当然可以理解，该方法和系统也可适用于其它具有高互动需求的机器人，例如商业服务机器人。在本发明的实施例中，通过赋予机器人多重感知功能，并且根据这些感知功能来进行互动决策和运动控制，提升机器人的处理和决策能力。

图1是本发明一实施例的具有云端互动功能的多感知型智能机器人的系统框图。参考图1所示，本实施例的智能机器人100包括语音采集单元101、图像采集单元102、压力信号获取单元103、运动感测单元104、口令识别处理单元105、本地图像识别处理单元106、压力信号识别处理单元107、控制器108、识别选择单元109、云端识别单元110、电源管理单元111和执行机构112。

各个部件可根据需要连接到控制器108。云端识别单元110用于与外部的云端服务器200进行通信。电源管理单元111用于为整个智能机器人100供电。电源管理单元111通过DC-DC模块，为各单元提供稳定适配的电源。同时电源管理单元111可配置过载保护电路，避免运动执行元件的过载。

云端识别单元110可以使用多种方式来与云端服务器200通信。云端服务器200可以是一台服务器或多台服务器组成的集群，可以由智能机器人100的厂商架设云端服务器或者获取网络提供商提供的服务接口。云端识别单元110可通过接入互联网的无线局域网来与云端服务器通信。作为替代，云端识别单元110还可通过移动互联网与云端服务器通信。

下面分别展开描述。

语音识别

语音采集单元101用于从环境中采集语音信号。语音采集单元101的实施例是麦克风，其可以采集语音信号。麦克风可以安装在智能机器人100头部左右耳处。采用双耳的两个麦克风作为语音输入源，将采集到的声音信息转为电信号形式的语音信号。该语音信号是自然语言的音频信息，需要进行降噪、过滤等处理。在优选实施例中，采用了智能化数字阵列降噪拾音器的麦克风，其具有2种降噪模式，最大可降低45dB噪音。另外，智能机器人100优选为企鹅机器人时，麦克风分别置于企鹅的双耳处，通过分散采集声音信号保证获取的音频信号的准确性和完整性。语音采集单元101还可以具有语音预处理功能，外部输入的语音信号可能受环境、场景、相对位置等因素的影响，需要对音频信息进行调制解调、语音降噪、音频放大等多种方式的预处理。其中，语音降噪可以采用DSP降噪算法进行降噪，能够去除背景噪声、抑制外部人声干扰、抑制回声、抑制混响。DSP降噪算法对稳态和非稳态的噪音以及机械噪音都有非常强的抑制能力。双麦克风和语音预处理结合使用，能将噪音几乎完全消除，同时能保证正常语音的清晰度和自然度，并能无延时的输出。

经过预处理的语音信号通过线束传输至位于智能机器人腔体中的识别选择单元109中进行处理。语音信号中包含了机器人感兴趣的各种口令。例如招呼机器人的口令，令机器人完成跑、跳等动作的口令。识别选择单元109接收语音信号，根据预定策略确定适宜的语音识别单元。在本文中，语音识别，指根据输入的声音信号经过一系列的声音算法提取出文本内容。本发明实施例中提供的两种语音识别方式包括本地识别和云端识别，识别选择单元109确定一个具体的语音识别方式后将语音信号发送给相应的识别单元，并接收处理结果。本地识别是将语音信号发送至口令识别处理单元105。云端识别是通过云端识别单元110发送至云端服务器200并由云端服务器200执行云端语音识别和云端语义理解至少之一，接收云端服务器200发来的云端语音识别处理结果。识别选择单元109可以设置多种类型的预定策略，例如，在语音信号中指定识别单元，或默认先执行本地识别，再执行云端识别，或者相反。策略的选择能够减少无用识别的时间，提高智能机器人的工作效率。例如，一般来说，本地识别的处理效率高于云端识别的处理效率，因此通常将语音信号先进行本地识别，再进行云端识别。在一个示例中，识别选择单元109根据口令识别处理结果，决定是否将语音信号发送至云端服务器200进行云端识别。进一步地，识别选择单元109根据口令识别处理结果来判定语音信号是否被本地口令识别成功，若是，则进行后续处理，例如响应口令；若否，则将语音信号发送至云端服务器200进行云端识别。在另一个示例中，识别选择单元109根据云端语音识别处理结果，决定是否将语音信号进行本地口令识别。进一步地，识别选择单元109根据云端语音识别处理结果来判定语音信号是否被云端识别成功，若是，则进行后续处理，例如响应口令，若否，则将语音信号进行本地口令识别。

在一实施例中，识别选择单元109可自主的进行上述选择操作。在另一实施例中，识别选择单元109可在控制器108的控制下进行上述选择操作。

口令识别处理单元105在本地执行，从控制器108读取语音信号，根据预定义的口令资料和语音信号比对，根据比对结果，执行一个适当处理模块。口令识别处理单元105同样将识别处理结果返回给控制器108。在此，预定义的口令资料可以理解为存储在本地的一系列的语音信号，在口令识别处理单元105里集成了这些语音信号的处理模块，这些处理模块通过软件或者电路形式实现。例如，输入问候口令“你好”，对应的是问答模块，给出一个回答“你好”。当然，这些处理模块可以集成在一起，也可以分开实现。在此的示例性说明不用于限制发明本身。

在图2所示的较佳实施例中，智能机器人还可包括预设口令存储单元115，用于存储预设的口令资料。口令识别处理单元105可以根据预设的口令资料对语音信号进行本地口令识别并生成口令识别处理结果。

云端识别可以是云端语音识别和云端语义理解之一或包括两者的组合，云端处理则是根据提取的语言信息，进行相应的处理。目前很多互联网公司提供在线的语音识别和语义理解等云端软件功能服务，通过接入这些公司提供的API，即可获取相应的服务。例如，向在线的航班服务提供商上发送一条“北京到汉口的航班查询”的语音信号，则航班服务提供商对该语音信号进行语音识别，语音分析，语义理解等，从而得到一个语音信号的逻辑含义，根据逻辑含义，返回北京的汉口的当日航班信息，将云端语音识别处理结果返回给控制器108。

智能机器人100可常规地处于待机或休眠状态，等待使用者的启动(例如人声呼唤)。在一个实施例中，语音采集单元101采集语音信号，口令识别处理单元105或云端识别单元110可以识别语音信号中的启动指令并传输给控制器108，控制器108响应于这一启动指令，令智能机器人100开始工作。当然可以理解，控制器108可以在其它状况下令智能机器人100开始工作。例如控制器108响应于使用者的开关按钮令智能机器人100开始工作。在替代例子中，启动指令也可以包含在无线信号中。例如智能机器人包括无线通信单元和无线信号识别单元(未图示)，无线通信单元用于接收外部传输的无线信号，无线信号识别单元用于识别无线信号中的启动指令。

图2是本发明第二实施例的具有云端互动功能的智能机器人的系统框图。参考图2所示，可以发现，和图1所示的智能机器人结构相比较，图2所示的智能机器人增加了声纹识别单元113和网络判断单元114。

声纹识别单元113可连接语音采集单元101和控制器108，声纹识别单元113用于根据预存储的声纹资料对发出所述语音信号的人进行身份验证，其中声纹资料可以存储在本地，也存储在云端(如云端服务器200)。通过声纹识别让智能机器人只对特定人物的声音信号响应，以此增加智能机器人的安全性。

网络判断单元114在控制器108和云端识别单元110之间，能够判断智能机器人100与云端服务器200的连接状态并根据该连接状态生成网络判断结果。为此，在将语音信号发送到云端服务器200进行云端识别处理之前，先获取当前的网络状态，只有在网络判断结果为网络正常的情况下才将语音信号发送云端服务器200进行识别处理。目前现有的网络连接技术有无线和有线连接，考虑到智能机器人需要移动的特点，优选的方式是无线连接，通过WIFI或蓝牙连接到互联网上。

应当理解，虽然本实施例中包含了本地识别和云端识别，但可能在一次语音识别过程中，只进行了一次语音识别即得到了预期结果。必要的时候，控制器108会根据当前识别处理单元的识别处理结果，确定是否调用另一个识别处理单元。

从本实施例可知，智能机器人100集成了离线的口令识别和云端在线识别，并能够根据实际场景或其他策略确定适用的识别单元以及执行顺序，扩展了机器人的使用范围。另外，随着网络服务商的发展，可根据需要扩展云端识别处理功能，使智能机器人的智能性得到增强。

相应的，本发明提供了一个云端语音识别方法，图4示出云端语音识别方法的一个实施例的流程图。如图4所示，所述云端语音识别方法包括步骤410-460。

在步骤410中，获得外部输入的语音信号。例如，通过安装在智能机器人身体部位的麦克风接收外部输入的声音信号。在优选实施例中，采用了智能化数字阵列降噪拾音器的麦克风，其具有2种降噪模式，最大可降低45dB噪音。另外，麦克风分别置于企鹅形态的智能机器人的双耳处，通过分散采集声音信号保证获取的音频信号的准确性和完整性。

在步骤420中，将语音信号发送至云端服务器执行云端识别处理。利用云端的软件服务和云端语音存储功能，实现云端语音识别和云端语义理解，保证语音信号被最大限度的识别以及根据语音信号中提取的语言信息，获取相应的服务或信息。例如，目前很多互联网公司提供在线的语音识别和语义理解等云端软件功能服务，通过接入这些公司提供的API，即可获取相应的服务。

在步骤430中，判断语音信号是否能够云端识别处理。在本步骤中，对步骤420的云端语音识别结果进行判断，如果识别成功，则响应口令，并交给步骤460执行，否则执行步骤440，进行本地口令识别处理。

在步骤440中，进行本地口令识别处理。本地口令识别处理是对云端识别的补充，在云端识别失败后，启动本地口令识别处理，根据预存储在本地的口令和输入的口令进行比对以及调用相应的处理模块，并获取处理结果。

在步骤450中，判断口令是否能被识别处理。在本步骤中，如果口令识别处理成功，则根据处理结果，确定再启动执行机构。如果口令识别处理失败，则不进行任何操作。

在步骤460中，响应口令。例如驱动智能机器人的执行机构执行机械动作或提供信息。执行机构可以包括扬声器、显示器和运动部件，用于播放语音提示信息、显示文本或图案、执行机械动作。例如，回答用户的问候信息，或者根据预先编辑的问答列表回答问题，或者根据用户的要求做一些简单动作。

图5示出本发明的云端语音识别方法的另一个实施例的流程图。如图5所示，所述云端语音识别方法包括步骤510-560。

从图5可以看出，图5所示的云端语音识别方法和图4所示的云端语音识别方法只在执行顺序上有区别，在图5中，接收到语音信号后，首先进行本地口令识别处理，再进行云端识别处理，图4则相反。在此仅描述与图4相区别的步骤520-550。

在步骤520中，进行本地口令识别处理。根据预存储在本地的口令和输入的口令进行比对以及调用相应的处理模块，并获取口令识别处理结果。

在步骤530中，判断语音信号是否能被识别处理。在本步骤中，对步骤520的口令识别处理结果进行判断，如果识别成功，则确定再启动执行机构，并交给步骤560执行，否则执行步骤540。

在步骤540中，将语音信号发送至云端服务器进行云端识别。利用云端的软件服务和云端语音存储功能，实现云端语音识别和云端语义理解，保证语音信号被最大限度的识别以及根据语音信号中提取的语言信息，获取相应的服务或信息。例如，目前很多互联网公司提供在线的语音识别和语义理解等云端软件功能服务，通过接入这些公司提供的API，即可获取相应的服务。

在步骤550中，判断语音信号是否能够云端识别处理。在本步骤中，对步骤540的云端语音识别结果进行判断，如果识别成功，则确定再启动执行机构，并交给步骤560执行。如果云端识别处理失败，则不进行任何操作。

图6示出本发明的云端语音识别方法的另一个实施例的流程图。如图6所示，所述云端互动方法包括步骤610-670。和图5相比，增加了步骤640“判断云端网络状态”，在云端网络正常时候，才提交语音信号至云端服务器进行识别处理。此实施方式是为了提高云端识别的效率，减少网络等待时间。

在一个优选的实施例中，也可以根据预定义的优选策略确定识别执行优先级。例如，可以通过模糊匹配的方式确定那些语音信号首先发送到云端服务器处理，还是首先在本地处理。又例如，可以通过枚举的方式确定处理优先级，本地处理口令信息相对有限，不在这个范围内的语音信息都发送到云端服务器处理。

在另一个优选的实施例中，将语音信号发送至服务器执行云端识别前，对语音信号进行预处理，包括对语音进行调制解调、语音降噪、音频放大等多种方式预处理。

在另一个优选的实施例中，将语音信号发送至服务器执行云端识别前，还可以根据预存储的声纹资料对发出所述语音信号的人进行身份验证。

人脸识别

图像采集单元102用于捕捉外部输入的一个以上的场景图像。图像采集单元102的实例是摄像头。摄像头可以安装在智能机器人100的双眼。图像采集单元102可以连续采集图像，也可以间隔一定时间采集一帧或几帧图像，视具体场合而定。

经过采集的场景图像通过线束传输至位于智能机器人腔体中的识别选择单元109中处理。识别选择单元109接收场景图像，根据预定策略确定适宜的图像识别单元。本发明实施例中提供的两种图像识别方式包括本地识别和云端识别，识别选择单元109确定一个具体的图像识别方式后将场景图像发送给相应的识别单元，并接收处理结果。本地识别是将场景图像发送至本体图像识别处理单元106。云端识别是通过云端识别单元110发送至云端服务器200并由云端服务器200执行人脸识别，接收云端服务器200发来的人脸识别结果。识别选择单元109可以设置多种类型的预定策略，例如，在场景图像中指定识别单元，或默认先执行本地识别，再执行云端识别，或者相反。策略的选择能够减少无用识别的时间，提高智能机器人的工作效率。例如，一般来说，本地识别的处理效率高于云端识别的处理效率，因此通常将场景图像先进行本地识别，再进行云端识别。在一个示例中，识别选择单元109根据本地图像识别结果，决定是否将场景图像发送至云端服务器200进行云端识别。进一步地，识别选择单元109根据本地图像识别结果来判定场景图像是否被本地口令识别成功，若是，则进行后续处理；若否，则将场景图像发送至云端服务器200进行云端识别。在另一个示例中，识别选择单元109根据云端人脸识别处理结果，决定是否将场景图像进行本地图像识别。进一步地，识别选择单元109根据云端人脸识别结果来判定场景图像是否被云端识别成功，若是，则进行后续处理，若否，则将场景图像进行本地图像识别。

在图2所示的较佳实施例中，智能机器人100还包括人脸图像获取单元116，人脸图像获取单元116连接图像采集单元102和识别选择单元109，其用于在外部输入的场景图像中获取具备识别特征点的人脸图像。具体而言，人脸图像获取单元116可包含能够进行初步选择的算法。这一算法旨在获取那些具备识别特征点的人脸图像，同时去除没有人脸或者模糊难以识别的图像。如果没有获取到那些具备识别特征点的人脸图像，则人脸图像获取单元116排除不具备识别特征点的人脸图像，通知图像采集单元102继续捕捉场景图像。这样，本地图像识别处理单元106可对具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果。云端识别单元110也可将具备识别特征点的人脸图像发送至云端服务器200并由云端服务器200进行人脸识别并接收云端服务器200发来的云端人脸识别结果。这一操作可以节约处理资源和传输资源。

在图2所示的较佳实施例中，智能机器人100还包括预设图像存储单元117，用于存储预设的图像资料。这样，本地图像识别处理单元106可根据预设的图像资料对具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果。

本实施例的一个特点是，一些复杂的运算和处理可以不利用智能机器人的内部资源完成，而是依靠外部的服务器。在一个实施例中，智能机器人100对捕捉的场景图像所进行的处理步骤是初步处理，旨在从中选定存在人脸的人脸图像，然后将这些人脸图像以及人脸识别请求发送给云端服务器200，请求执行人脸识别。云端服务器200配备了执行人脸识别算法的程序，可以响应于人脸识别请求，对图像进行特征点分析，并与人脸库进行比对，获得人脸识别信息。在此，云端服务器200中的人脸识别算法可以使用已知的算法，在此不再详细展开。较佳地，在人脸图像获取单元116中，还可以判断一场景图像是否包含具备识别特征点的人脸图像，如果有则获取该人脸图像，如果没有则通知图像采集单元102继续捕捉场景图像。

云端识别单元110可通过接入互联网的无线局域网传输人脸图像到云端服务器200。云端服务器200可预先获得并建立家庭成员的人脸库，供比对识别。作为替代，云端识别单元110还可通过移动互联网传输人脸图像到云端服务器。商业服务机器人典型地使用云端服务器200以存储足够容量的人脸库及提供足够强大的处理资源。

本发明提供了一个人脸识别方法，图11是本发明实施例的人脸识别方法的流程图。如图11所示，人脸识别方法包括步骤1110-1170。

在步骤1110中，捕捉外部输入的一个以上的场景图像。例如，通过安装在智能机器人的图像采集单元102捕捉外界图像。较佳地，作为图像采集单元102的摄像头分别置于企鹅形态的智能机器人的双眼处。

在步骤1120中，从外部输入的场景图像中获取具备识别特征点的人脸图像。例如人脸图像识别单元106会从场景图像中获取具备识别特征点的人脸图像。

在步骤1130中，将具备识别特征点的人脸图像传输至云端服务器200。利用云端的软件服务和云端人脸库存储功能，实现云端人脸识别，保证人脸图像被最大限度的识别。例如，目前很多互联网公司提供在线的人脸识别等云端软件功能服务，通过接入这些公司提供的API，即可获取相应的服务。

在步骤1140中，判断人脸图像是否能够云端识别处理。在本步骤中，对步骤1130的云端人脸识别结果进行判断，如果识别成功，则进入步骤1170执行，否则执行步骤1150，进行本地图像识别处理。

在步骤1150中，进行本地图像识别处理。本地图像识别处理是对云端识别的补充，在云端识别失败后，启动本地图像识别处理，将具备识别特征点的人脸图像传输至本地图像识别处理单元106。本地图像识别处理单元106根据预设的图像资料对具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果。

在步骤1160中，判断人脸图像是否能被识别处理。在本步骤中，如果图像识别处理成功，则继续到步骤1170。如果图像识别处理失败，则不进行任何操作。

在步骤1170中，保存识别结果。识别结果可以与其它结果一起被控制器108使用。

图12是本发明另一个实施例的人脸识别方法的流程图。如图12所示，所述人脸识别方法包括步骤1210-1270。

从图12可以看出，图12所示的人脸识别方法和图11所示的人脸识别方法只在执行顺序上有区别，在图12中，接收到人脸图像后，首先进行本地图像识别处理，再进行云端人脸识别处理，图11则相反。在此仅描述与图11相区别的步骤1230-1250。

在步骤1230中，进行本地图像识别处理。本地图像识别处理是将具备识别特征点的人脸图像传输至本地图像识别处理单元106。本地图像识别处理单元106根据预设的图像资料对具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果。

在步骤1240中，判断人脸图像是否能被识别处理。在本步骤中，如果图像识别处理成功，则继续到步骤1270。如果图像识别处理失败，则执行步骤1250，进行云端人脸识别处理。

在步骤1250中，将具备识别特征点的人脸图像传输至云端服务器200。利用云端的软件服务和云端人脸库存储功能，实现云端人脸识别，保证人脸图像被最大限度的识别。例如，目前很多互联网公司提供在线的人脸识别等云端软件功能服务，通过接入这些公司提供的API，即可获取相应的服务。

在步骤1260中，判断人脸图像是否能够云端识别处理。在本步骤中，对步骤1250的云端人脸识别结果进行判断，如果识别成功，则进入步骤1270执行，否则不进行任何操作。

在步骤1270中，保存识别结果。识别结果可以与其它结果一起被控制器108使用。

图13是本发明另一个实施例的人脸识别方法的流程图。如图13所示，所述人脸识别方法包括步骤1310-1380。和图12相比，增加了步骤1350“判断云端网络状态”，在云端网络正常时候，才提交人脸图像至云端服务器进行识别处理。此实施方式是为了提高云端识别的效率，减少网络等待时间。

在一个优选的实施例中，也可以根据预定义的优选策略确定识别执行优先级。例如，可以通过模糊匹配的方式确定哪些人脸图像首先发送到云端服务器处理，哪些又必须在本地处理。又例如，可以通过枚举的方式确定处理优先级，本地处理图像信息相对有限，不在这个范围内的人脸图像都发送到云端服务器处理。

压力识别

压力信号获取单元103用于感知智能机器人表面的外部压力信号。压力信号获取单元单元103典型地包括薄膜压力传感器片阵列和模数(A/D)转换电路。薄膜压力传感器可分布在智能机器人的前胸、前肢、头部、后背的区域。本方案的薄膜压力传感器背面有粘胶，直接粘贴在智能机器人身体的某个部位。在智能机器人的背部、前胸、腹部和/或前肢处可安装长条形传感器，可感知条形区域内的受力状态。在智能机器人头部安装方形传感器，可感知方块区域内的受力状态。在本方案中的薄膜压力传感器优选为电阻式压力传感器。

压力传感器片阵列用于获取外部压力信号，并将压力信号传输到模数转换电路。压力传感器片阵列可以采用超薄型电阻式压力传感器作为外力检测设备，传感器将施加在其薄膜区域的压力转化为电阻值的变化，从而获得压力信息对应的信号。外部压力越大，电阻值越低，通过传感器内部的电路将外部压力所改变的电阻值的变化转化为电压或电流的变化，并将电压或电流的数值转换为模拟信号输出到模数转换电路。

模数转换电路将外部压力信号转换为数字信号，并传输到控制器108。控制器108可将这些信号交由压力信号识别处理单元107处理。在替换实施例中，压力信号获取单元103可直接连接压力信号识别处理单元107，以直接将其信号传输给压力信号识别处理单元107。

压力信号识别处理单元107用于获取外部压力信号并对其进行处理以生成压力感知型情绪信号。图14是图1所示多感知型智能机器人的压力信号识别处理单元的结构框图，参考图14所示，压力信号识别处理单元107包括压力类型判断单元205、压力位置判断单元206、压力感知型情绪信号生成单元207、数据存储单元208。

压力类型判断单元205用于计算外部压力信号持续的时间值和压力变化率，根据压力变化率和预设的变化阈值比对确定外部压力信号的类型。智能机器人100可常规地处于待机或休眠状态，等待使用者的触摸启动。例如启动智能机器人100的指令可以包含在压力信号中。压力信号识别处理单元107用于识别压力信号中的启动指令。

压力位置判断单元206用于根据外部压力信号确定压力产生位置。

压力感知型情绪信号生成单元207用于根据压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与压力产生位置及外部压力信号的类型相对应的压力感知型情绪信号。

控制器108会参考接收到的压力感知型情绪信号，与预设的映射列表进行比对，生成与压力感知型情绪信号相对应的情绪表达部位和情绪表达指令。这里的情绪表达指令用于控制执行相应的机械动作、播放相应的提示语音和/或显示相应的提示信息。

在一个优选的实施例中，如图14所示，智能机器人100还包括数据存储单元208，分别与压力类型判断单元205和压力感知型情绪信号生成单元207连接，用于存储预设的变化阈值和预设的映射列表。

图7是压力传感器的使用示意图。在图7中，压力传感器700包括压力敏感层703和黏贴层702，通过黏贴层702可以将压力传感器粘贴在智能机器人外壳701的任意位置。压力传感器的大小和面积也可以根据实际需要进行调整。

图8是本发明实施例的触觉感知方法的流程图。本实施例的触觉感知方法包括步骤801-806。

在步骤801中，获取外部压力信号，将外部压力信号转换为数字信号。当该方法应用智能机器人时，在智能机器人身体的各部位黏贴传感部件，用于获取在各部位的压力信号。在本步骤中，将获取到的压力信号转成数字信号用于后续处理。

在步骤802中，计算外部压力信号持续的时间值，根据时间值及数字信号计算出压力变化率。在一个优选的实施例中，在压力信号持续时间段内，选择一个0.5-1.5秒的预设时间段，计算该时间段内的压力信号的变化(即施加的外力变化)，将两者之差与该时间段的比值作为压力变化率。一般情况下0.5-1.5秒的时间段足以传感器捕捉到施加的作用力的精确变化从而捕捉到数字信号的变化。例如，在1秒的施加的外力为100牛顿，施加的面积为0.026平方米，通过100/0.026≈3846牛顿/平方米，3846牛顿/平方米即为压力变化率表征的数值。

在步骤803中，比较压力变化率与预设的第一变化阈值。在本步骤中，比较压力变化率与预设的第一变化阈值，并根据比较结果确定外部压力信号的类型。

在步骤804中，确定外部压力信号的类型确定为拍打。

在步骤805中，确定外部压力信号的类型确定为抚摸。

例如上例中的压力变化率为3846牛顿/平方米，如果预设的变化阈值大于该值，则可以判定为拍打，否则为抚摸。

在步骤806中，根据压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与压力产生位置及外部压力信号的类型相对应的情绪表达部位和情绪表达指令，从而触发情绪表达。

预设的映射列表存储有压力产生位置、外部压力信号的类型与机器人反馈的映射关系。在一个实施例中，所述映射关系如下表1所示：

表1

根据压力产生位置、外部压力信号的类型生成情绪表达部位和情绪表达指令。情绪表达指令用于表征机器人反馈类型，例如上表中的机器人反馈。通过情绪表达指令，能够触发机器人的执行机构执行某些动作、表情，从而表达一些诸如高兴、愤怒、忧郁等拟人情绪。情绪表达的执行机构可以包括机器人身体的各个部位，安装在机器人身体上的扬声器，显示器等。例如，通过双手、双脚执行手舞足蹈的动作，或通过声音合成装置和扬声器播放相应的提示音，或通过显示器显示一些表情符号，提示音等，或几种方式组合反馈。

在上述实施例提供的感应方法，使智能机器人能够根据不同部位以及在其上施加的外力的类型做出不同的反馈，使智能机器人更加拟人化。

图9是本发明另一实施例的触觉感知方法的流程图。所述触觉感知方法包括步骤901-907。其中步骤901-902和图8的步骤801-802相同，这里就不再赘述。

在步骤903中，比较压力变化率与预设的第一变化阈值、第二变化阈值。在本步骤中，分别比较压力变化率和第一变化阈值、第二变化阈值，如果压力信号变化大于第二变化阈值，则执行步骤904，如果压力变化率大于第一变化阈值而小于等于第二变化阈值，则执行步骤905，否则执行步骤906。

在步骤904，905，906中，分别判定上述外部压力信号的类型为用力拍打，轻微拍打和抚摸。下表2是一个新的映射表。

表2

在步骤907中，根据压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与压力产生位置及外部压力信号的类型相对应的情绪表达部位和情绪表达指令。

在图9所述的触觉感知方法中，增加了第二变化阈值的描述，从而将拍打分为用力拍打和轻微拍打，增加了智能机器人处理和反馈的多样性，使其更加拟人化。当然，本领域的技术人员可以理解到，图8和图9仅仅是对本发明的触觉感知方法的示例性描述，压力类型的种类不应该局限于上述提到的三种类型，所有通过信号变化率和预设的变化阈值比较确定的压力类型都应该在本发明保护的范围之内。另外，本发明强调通过压力类型和压力位置共同作用生成情绪表达部位和情绪表达指令，其中，情绪表达部位和情绪表达指令用于触发多种形式的情绪表达，可以定义多种压力位置、压力类型和控制信号的映射关系(如上表)，所有这些定义和实现都应该包含在本发明的保护范围之内。本领域的技术人员可以在本发明的精神下做出一些合理的变形，此变形也应包括在本发明的保护范围之内。

上述的触觉感知各单元应用于智能机器人时，通过在智能机器人身体各个部位黏贴的压力感知单元将压力传输到机器人的触觉感知各单元，通过触觉感知各单元处理后生成情绪表达部位和情绪表达指令，该控制信号用于驱动机器人做出各种情绪表达。

机器人身体上，如双手、双脚、前胸、后背、头部等上安装多个执行机构112，如电机、扬声器、显示器等，这些部件和控制器108电连接，并按照收到的情绪表达部位和情绪表达指令做出相对应的情绪表达。

运动状态感测

运动感测单元104用于感测智能机器人100的运动状态以生成运动状态参数。运动感测单元104的实例包括重力加速度传感器、陀螺仪或安装在机器人躯干上的倾角传感器，以实时测量机器人运动过程中加速度和角速度的数据。运动感测单元104的数据输出给控制器108。

在运动控制方面，控制器108通过运动感测单元104获取运动参数的实时数据，通过调节算法调整运动。在运动过程中，控制器108将重力加速度传感器感测机器人的加速度等运动参数作为反馈，或利用陀螺仪或安装在机器人躯干上的倾角传感器感测该机器人的运动状态等运动参数作为反馈，利用模式识别算法识别出当前的运动状态，通过反馈调节运动，保证运动的稳定性。例如，控制器108通过运动感测单元104解算出机器人的倾角，模拟识别出是否处于要跌倒状态；如果靠近跌倒的边界，通过反馈调节关节，避免跌倒的发生。

互动决策

控制器108连接语音采集单元101、图像采集单元102、压力信号获取单元103、运动感测单元104、口令识别处理单元105、本地图像识别处理单元106、压力信号识别处理单元107、识别选择单元109、云端识别单元110和执行机构112。控制器108可获取语音信号、场景图像或人脸图像、外部压力信号和运动状态参数，用于控制机器人的整体运作。例如控制器108可命令语音采集单元101、图像采集单元102、压力信号获取单元103、运动感测单元104捕捉外部信息，或者命令口令识别处理单元105、本地图像识别处理单元106、压力信号识别处理单元107开始工作以获得所需的口令识别结果、本地图像识别结果、压力感知型情绪信号等。控制器108命令云端识别单元110和云端服务器200通信，以将需要进一步处理的数据发送给云端服务器200，并从云端服务器200获得处理结果，例如云端语音识别结果、云端人脸识别结果。控制器108可命令例如执行机构112执行相应动作。

控制器108会根据口令识别处理结果和云端语音识别处理结果至少之一、本地图像识别结果和云端人脸识别结果至少之一、压力感知型情绪信号中的任一个或多个的组合作出智能机器人100的互动决策，且控制器108可选地根据运动状态参数调整智能机器人100的运动。

智能机器人100可常规地处于待机或休眠状态，等待使用者的启动(例如人声呼唤或者轻拍唤醒)。在一个实例中，语音采集单元101采集语音信号，并传输给控制器108，控制器108将其发送给口令识别处理单元105后可以识别语音信号中的启动指令，响应于这一启动指令，据此开启机器人开始工作。在另一个实例中，压力信号获取单元103采集压力信号后，控制器108响应于这一压力信号，据此开启智能机器人100开始工作。当然可以理解，控制器108可以在其它状况下开启智能机器人100。例如控制器108响应于使用者的开关按钮开启智能机器人100。

各个感知设备获得的有关智能机器人100的运动、语音等实时数据也可以通过云端识别单元110传输给云端服务器200，从而实现云端服务器200对智能机器人100的运行情况进行监测。通过云端识别单元110与云端服务器200的连接，将数据传至云端以进行处理，可以提高系统的实时处理能力。

控制器108是智能机器人100的核心，主要负责采集各感知设备信号和数据，对信号和数据进行分析处理，从而进行互动和运动决策。控制器108内部可配置如图10的影响模型，其输入参数是口令识别处理结果和云端语音识别处理结果至少之一、本地图像识别结果和云端人脸识别结果至少之一、压力感知型情绪信号以及运动状态参数中的一个或多个，影响模型可以据此作出互动决策，命令执行机构112作出互动，来实现与外界的互动。影响模型可以是依据人工智能算法建立的训练模型。这一训练模型可以根据人工智能算法，将实际的输入参数和开发者期望的与该实际的输入参数对应的输出参数作为训练，从而获得该训练模型的算法参数。

互动决策的一个部分是情绪表达。控制器108能够从口令识别处理结果和云端语音识别处理结果之一、本地图像识别结果和云端人脸识别结果之一、压力感知型情绪信号以及运动状态参数中获取用户的情绪信息，并根据用户的情绪信息确定所述智能机器人的情绪类型，然后根据影响模型中预先存储的映射列表确定与情绪类型对应的智能机器人的情绪表达部位以及情绪表达指令，最后控制情绪表达部位执行情绪表达指令。

作为本发明的一个示例，根据用户的面部图像确定用户的面部表情，根据用户的面部表情确定用户的情绪信息。例如，当用户的面部表情为微笑时，用户的情绪信息为开心，根据用户的情绪信息确定的智能机器人的情绪类型为喜。

作为本发明的另一个示例，通过语音采集单元101获取用户的音量和声音频率，根据用户的音量和声音频率确定用户的情绪信息。例如，当用户的音量小于第一预设值，且用户的声音频率小于第二预设值时，确定用户的情绪信息为伤心，根据用户的情绪信息确定的智能机器人的情绪类型为哀。

作为本发明的另一个示例，通过压力信号获取单元103和/或运动感测单元104获取用户的情绪信息，并根据用户的情绪信息确定智能机器人的情绪类型。例如，通过压力信号获取单元103检测到用户拥抱智能机器人时，确定智能机器人的情绪类型为喜；再例如，通过压力信号获取单元103和运动感测单元104检测到用户用力摇晃智能机器人100时，确定智能机器人的情绪类型为怒。

优选地，情绪类型包括喜、怒、哀和/或乐。优选地，一种情绪类型至少与一个情绪表达部位相对应。在本发明实施例中，情绪表达指令与情绪表达部位是相对应的；情绪表达指令为动作指令和/或面部表情指令。

优选地，情绪表达部位包括前肢、后肢、躯干、头部和/或面部，后肢包括腿和脚。优选地，当情绪类型为喜时，情绪类型对应的所述情绪表达部位为前肢，所述情绪类型对应的所述情绪表达指令为前肢上下摇摆，还可以同时进行面部表情表达，如面部呈现喜悦的表情。优选地，当情绪类型为怒时，情绪类型对应的所述情绪表达部位为前肢、躯干、右腿和右脚，所述情绪类型对应的所述情绪表达指令为所述前肢展开不动，所述躯干稍向左倾，所述右腿前后摆动，以及所述右脚跺脚，还可以同时进行面部表情表达，如面部呈现发怒的表情。

优选地，当情绪类型为哀时，情绪类型对应的情绪表达部位为头部，所述情绪类型对应的情绪表达指令为头部转到肩部位置，以及低下头部，还可以同时进行面部表情表达，如面部呈现伤心的表情。

优选地，当所述情绪类型为乐时，情绪类型对应的所述情绪表达部位为前肢和躯干，所述情绪类型对应的所述情绪表达指令为所述前肢上下摆动以及躯干左右摆动，还可以同时进行面部表情表达，如面部呈现欢乐的表情。

优选地，动作指令包括与情绪表达部位对应的动作类型信息、动作幅度信息、动作频率信息和/或动作时长信息。

例如，当智能机器人的情绪类型为喜时对应的情绪表达部位为前肢，对应的动作类型信息为上下摆动；动作幅度信息指的是前肢上下摆动的幅度；动作频率信息指的是前肢上下摆动的频率，例如每秒一次；动作时长信息指的是控制前肢上下摆动的总时长。

另外，型情绪表达指令可为声音。例如情绪类型为喜对应的音频信息为欢乐的叫声；情绪类型为怒对应的音频信息为发怒的叫声；情绪类型为哀对应的音频信息为悲哀的叫声；情绪类型为乐对应的音频信息为欢乐的叫声。

本发明实施例通过智能机器人主动获取用户的情绪信息，根据用户的情绪信息确定智能机器人的情绪类型，根据预先存储的映射列表确定与智能机器人的情绪类型对应的智能机器人的情绪表达部位以及情绪表达指令，再控制情绪表达部位执行情绪表达指令，由此主动感受外部用户的情绪变化并通过用户的情绪信息来确定智能机器人的情绪类型，并通过智能机器人的肢体动作来表达智能机器人的情绪，从而提高了智能机器人与用户之间的互动度，提高了智能机器人的情绪表达效果，增强了趣味性，并提高了用户体验。

互动决策的另一个部分是根据口令执行动作。作为举例而非限制，当用户叫唤智能机器人的名字时，智能机器人会朝向用户的方向行走。或者用户指示智能机器人坐下、摇头等动作时，智能机器人作出响应。

图3示出本发明一实施例的感知互动方法流程图。该方法可以在图1、图2所示的系统中执行，也可以在其它系统中执行。参考图3所示，本实施例的一种智能机器人的感知互动方法，包括以下步骤：

在步骤301，进行语音识别。

在此步骤中，对外部输入的语音信号进行本地口令识别并生成口令识别处理结果，或者将语音信号发送至云端服务器并由所述云端服务器执行云端语音识别和云端语义理解至少之一，接收云端服务器发来的云端语音识别处理结果。

在步骤302，进行人脸识别。

在此步骤中，对外部输入的场景图像进行处理以生成本地图像识别结果，或者将从外部输入的场景图像传输至云端服务器进行人脸识别并接收云端服务器回传的云端人脸识别结果。

在步骤303，对外部压力信号进行识别处理并生成压力感知型情绪信号。

在此步骤中，确定外部压力信号的类型和压力产生位置，计算外部压力信号持续的时间值和压力变化率，根据压力变化率和预设的变化阈值比对确定外部压力信号的类型，并且根据外部压力信号确定压力产生位置；根据压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与压力产生位置及外部压力信号的类型相对应的压力感知型情绪信号。

在步骤304，根据口令识别处理结果和云端语音识别处理结果至少之一、本地图像识别结果和云端人脸识别结果至少之一和压力感知型情绪信号作出智能机器人的互动决策，从而触发互动决策。

本实施例的其它细节可参考前文描述的内容，在此不再展开描述。

本发明上述实施例的智能机器人及其感知互动方法，通过配置多种感知设备，综合获取环境信号并进行互动决策，提升了机器人的互动能力。同时通过云端识别单元与外部处理资源进行通信，提升了机器人的处理能力，使得更为复杂的互动决策成为可能。

虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (46)

1.一种具有云端互动功能的多感知型智能机器人，其与外部的云端服务器配合，其特征在于，所述智能机器人包括有：

口令识别处理单元，用于对外部输入的语音信号进行本地口令识别并生成口令识别处理结果；

本地图像识别处理单元，用于对外部输入的场景图像进行本地图像识别并生成本地图像识别结果；

压力信号识别处理单元，用于对外部压力信号进行识别处理并生成压力感知型情绪信号；

云端识别单元，用于将所述语音信号发送至所述云端服务器并由所述云端服务器执行云端语音识别和云端语义理解至少之一，并接收所述云端服务器发来的云端语音识别处理结果；及用于将所述场景图像发送至所述云端服务器并由所述云端服务器进行人脸识别，并接收所述云端服务器发来的云端人脸识别结果；

控制器，用于根据所述口令识别处理结果和所述云端语音识别处理结果至少之一、所述本地图像识别结果和所述云端人脸识别结果至少之一和/或压力感知型情绪信号作出所述智能机器人的互动决策，从而触发所述互动决策的执行。

2.如权利要求1所述的多感知型智能机器人，其特征在于，还包括识别选择单元，用于对外部输入的语音信号进行判断，从而选择将外部输入的语音信号是传输给所述口令识别处理单元还是传输给所述云端识别单元，以及/或者对外部输入的场景图像进行判断，从而选择将外部输入的场景图像是传输给本地图像识别处理单元还是传输给所述云端识别单元。

3.如权利要求1所述的多感知型智能机器人，其特征在于，还包括语音采集单元，用于获得外部输入的语音信号。

4.如权利要求3所述的多感知型智能机器人，其特征在于，所述语音采集单元为麦克风，所述麦克风的数量为两个，分别安装在所述智能机器人的左右耳处。

5.如权利要求1所述的多感知型智能机器人，其特征在于，还包括预设口令存储单元，所述预设口令存储单元用于存储预设的口令资料；所述口令识别处理单元用于根据预设的口令资料对所述语音信号进行本地口令识别并生成口令识别处理结果。

6.如权利要求1所述的多感知型智能机器人，其特征在于，还包括声纹识别单元，用于在对所述语音信号进行识别处理之前，根据预存储的声纹资料进行身份验证。

7.如权利要求1所述的多感知型智能机器人，其特征在于，还包括图像采集单元，用于捕捉外部输入的一个以上的场景图像。

8.如权利要求1所述的多感知型智能机器人，其特征在于，还包括人脸图像获取单元，用于从外部输入的场景图像中获取具备识别特征点的人脸图像；所述本地图像识别处理单元用于对所述具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果；所述云端识别单元用于将具备识别特征点的人脸图像发送至所述云端服务器进行云端人脸识别。

9.如权利要求8所述的多感知型智能机器人，其特征在于，所述人脸图像获取单元还用于从外部输入的场景图像中获取具备识别特征点的人脸图像之后排除不具备识别特征点的人脸图像。

10.如权利要求1所述的多感知型智能机器人，其特征在于，还包括预设图像存储单元，用于存储预设的图像资料；所述本地图像识别处理单元用于根据预设的图像资料对所述外部输入的场景图像进行本地图像识别并生成本地图像识别结果。

11.如权利要求1所述的多感知型智能机器人，其特征在于，还包括压力信号获取单元，用于获取外部压力信号。

12.如权利要求11所述的多感知型智能机器人，其特征在于，所述压力信号获取单元为电阻式压力传感器。

13.如权利要求11所述的多感知型智能机器人，其特征在于，所述压力信号获取单元包括分布于所述智能机器人表面的压力传感芯片阵列和与所述压力传感芯片阵列连接的模数转换电路，所述压力传感芯片阵列感知所述智能机器人表面的压力变化并将其转换为压力模拟信号，所述模数转换电路将所述压力模拟信号转换为压力数字信号。

14.如权利要求1所述的多感知型智能机器人，其特征在于，所述压力信号识别处理单元包括有：

压力类型判断单元，用于计算所述外部压力信号的压力变化率，根据所述压力变化率和预设的变化阈值比对确定所述外部压力信号的类型；

压力位置判断单元，用于根据所述外部压力信号确定压力产生位置；以及

压力感知型情绪信号生成单元，用于根据所述压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与所述压力产生位置及外部压力信号的类型相对应的压力感知型情绪信号。

15.如权利要求14所述的多感知型智能机器人，其特征在于，所述压力信号识别处理单元还包括分别与所述压力类型判断单元和压力感知型情绪信号生成单元连接，用于存储预设的变化阈值和预设的映射列表的数据存储单元。

16.如权利要求1所述的多感知型智能机器人，其特征在于，还包括与所述控制器连接的运动感测单元，用于感测所述智能机器人的运动状态以生成运动状态参数。

17.如权利要求16所述的多感知型智能机器人，其特征在于，所述运动感测单元为重力加速度传感器、陀螺仪或安装在所述智能机器人躯干上的倾角传感器。

18.如权利要求1所述的多感知型智能机器人，其特征在于，还包括网络判断单元，用以判断所述智能机器人与所述云端服务器的连接状态并根据所述连接状态生成网络判断结果。

19.如权利要求1所述的多感知型智能机器人，其特征在于，所述智能机器人和所述云端服务器通过无线网络接口连接。

20.如权利要求16所述的多感知型智能机器人，其特征在于，所述控制器配置有影响模型，所述口令识别处理结果、所述云端语音识别处理结果、所述本地图像识别结果、所述云端人脸识别结果、所述压力感知型情绪信号、所述运动状态参数为所述影响模型的输入参数，所述影响模型根据所述输入参数输出所述互动决策。

21.如权利要求1所述的多感知型智能机器人，其特征在于，所述控制器响应于启动指令而启动所述智能机器人。

22.如权利要求21所述的多感知型智能机器人，其特征在于，所述启动指令包含在语音信号中，所述口令识别处理单元或所述云端识别单元还用于识别所述语音信号中的启动指令；或所述启动指令包含在外部压力信号中，所述压力信号识别处理单元还用于识别所述外部压力信号中的启动指令；或所述启动指令包含在无线信号中，所述智能机器人还包括无线通信单元和无线信号识别单元，所述无线通信单元用于接收外部传输的无线信号，所述无线信号识别单元用于识别所述无线信号中的启动指令。

23.一种应用权利要求1-22任一项所述的具有云端互动功能的多感知型智能机器人的感知互动方法，包括：

对外部输入的语音信号进行本地口令识别并生成口令识别处理结果，或者将所述语音信号发送至所述云端服务器并由所述云端服务器执行云端语音识别和云端语义理解至少之一，接收所述云端服务器发来的云端语音识别处理结果；

对外部输入的场景图像进行本地图像识别并生成本地图像识别结果，或者将所述场景图像传输至所述云端服务器进行人脸识别并接收所述云端服务器回传的云端人脸识别结果；

对外部压力信号进行识别处理并生成压力感知型情绪信号；以及

根据所述口令识别处理结果和所述云端语音识别处理结果至少之一、所述本地图像识别结果和所述云端人脸识别结果至少之一和/或压力感知型情绪信号作出所述智能机器人的互动决策，从而触发所述互动决策的执行。

24.如权利要求23所述的感知互动方法，其特征在于，还包括对外部输入的语音信号进行判断，从而选择对所述外部输入的语音信号进行本地口令识别还是传输至所述云端服务器，以及/或者对所述外部输入的场景图像进行判断，从而选择对所述外部输入的场景图像进行本地图像识别还是传输至所述云端服务器。

25.如权利要求23所述的感知互动方法，其特征在于，还包括获得外部输入的语音信号。

26.如权利要求23所述的感知互动方法，其特征在于，还包括存储预设的口令资料，且对外部输入的语音信号进行本地口令识别并生成口令识别处理结果的步骤，是根据预设的口令资料对所述语音信号进行本地口令识别并生成口令识别处理结果。

27.如权利要求23所述的感知互动方法，其特征在于，所述对外部输入的语音信号进行本地口令识别并生成口令识别处理结果，或者将所述语音信号发送至所述云端服务器之前，还包括根据预存储的声纹资料对所述语音信号进行身份验证。

28.如权利要求23所述的感知互动方法，其特征在于，还包括捕捉外部输入的一个以上的场景图像。

29.如权利要求28所述的感知互动方法，其特征在于，还包括从外部输入的场景图像中获取具备识别特征点的人脸图像；且对外部输入的场景图像进行本地图像识别并生成本地图像识别结果的步骤，是对所述具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果；将所述场景图像传输至所述云端服务器进行人脸识别的步骤，是将具备识别特征点的人脸图像发送至所述云端服务器进行云端人脸识别。

30.如权利要求29所述的感知互动方法，其特征在于，从外部输入的场景图像中获取具备识别特征点的人脸图像的步骤之后还包括排除不具备识别特征点的人脸图像。

31.如权利要求29所述的感知互动方法，其特征在于，还包括存储预设的图像资料，且对外部输入的场景图像进行本地图像识别并生成本地图像识别结果的步骤，是根据预设的图像资料对所述具备识别特征点的人脸图像进行本地图像识别并生成本地图像识别结果。

32.如权利要求23所述的感知互动方法，其特征在于，将所述语音信号或场景图像发送至所述云端服务器前，还包括判断网络状态是否正常，在网络正常时将所述语音信号或场景图像发送至所述云端服务器。

33.如权利要求23所述的感知互动方法，其特征在于，还包括获取外部压力信号。

34.如权利要求23所述的感知互动方法，其特征在于，对外部压力信号进行识别处理并生成压力感知型情绪信号的步骤包括：

计算所述外部压力信号的压力变化率，根据所述压力变化率和预设的变化阈值比对确定所述外部压力信号的类型；

根据所述外部压力信号确定压力产生位置；以及

根据所述压力产生位置及外部压力信号的类型与预设的映射列表进行比对，生成与所述压力产生位置及外部压力信号的类型相对应的压力感知型情绪信号。

35.如权利要求34所述的感知互动方法，其特征在于，还包括存储预设的变化阈值和预设的映射列表。

36.如权利要求34所述的感知互动方法，其特征在于，若所述压力变化率大于预设的第一变化阈值，则将所述外部压力信号的类型确定为拍打，否则，将所述外部压力信号的类型确定为抚摸。

37.如权利要求36所述的感知互动方法，其特征在于，所述若所述压力变化率大于预设的第一变化阈值，则将所述外部压力信号的类型确定为拍打包括：

如果所述压力变化率大于第一变化阈值而小于等于第二变化阈值，则将所述压力信号的类型确定为轻微拍打；以及

如果所述压力变化率大于第二变化阈值，则将所述压力信号的类型确定为用力拍打。

38.如权利要求34所述的感知互动方法，其特征在于，所述计算所述外部压力信号的压力变化率为：计算外部压力信号持续的时间值，在所述持续的时间值内根据预设时间段选取所述预设时间段对应的数字信号，根据所述预设时间段及所述预设时间段对应的数字信号计算出压力变化率。

39.如权利要求38所述的感知互动方法，其特征在于，所述预设时间段为0.5-1.5秒。

40.如权利要求23所述的感知互动方法，其特征在于，还包括感测所述智能机器人的运动状态以生成运动状态参数。

41.如权利要求23所述的感知互动方法，其特征在于，所述互动决策包括情绪表达部位以及情绪表达指令。

42.如权利要求41所述的感知互动方法，其特征在于，所述情绪表达部位包括智能机器人的上肢、下肢、躯干、头部、面部和/或口部；所述情绪表达指令包括执行相应的动作指令、播放相应的提示语音和/或显示相应的提示信息。

43.如权利要求42所述的感知互动方法，其特征在于，所述动作指令包括机械动作指令和/或面部表情指令。

44.如权利要求43所述的感知互动方法，其特征在于，所述机械动作指令包括与所述情绪表达部位对应的动作类型信息、动作幅度信息、动作频率信息和/或动作时长信息。

45.如权利要求23所述的感知互动方法，其特征在于，还包括：响应于启动指令而启动所述智能机器人；所述启动指令包含在语音信号中、外部压力信号中或无线信号中。

46.一种云端互动系统，其特征在于，包括如权利要求1-22任一项所述的具有云端互动功能的多感知型智能机器人，以及云端服务器；所述智能机器人与所述云端服务器进行无线通信。