CN105082150B - 一种基于用户情绪及意图识别的机器人人机交互方法 - Google Patents

Abstract

本发明涉及一种基于用户情绪及意图识别的机器人人机交互方法。其利用呼吸、心率、皮电等人体生物信息和面部表情识别相结合进行用户情绪识别，利用压力、光电、温度等多种物理传感器信息识别用户意图，根据用户情绪和意图识别的结果进行智能控制决策，控制机器人相应的执行机构完成肢体动作和语音交互。应用本发明提供的基于用户情绪及意图识别的机器人人机交互方法，可以使机器人更加充分地理解用户的意图，了解其心理变化，满足对用户进行情感陪护的功能要求，更好的融入老人、儿童等使用者的生活。

Description

一种基于用户情绪及意图识别的机器人人机交互方法

技术领域

本发明涉及机械人技术领域，尤其涉及一种基于用户情绪及意图识别的机器人人机交互方法。

背景技术

我国老龄化问题严重，“空巢老人”的心理健康问题尤其引人关注。在2010年第六次人口普查时，空巢老人已达到31.77％，并且在空巢老人中存在心理问题的比例达到60％。同时，由于目前大部分家庭都是独生子女，儿童成长过程中缺乏同龄人的陪伴也容易影响心理健康。因此，对于平时身边无人陪伴的老人和儿童，以何种手段对其进行精神陪护，避免其心理疾病的发生，成为当前迫切需要解决的问题。

为了解决上述问题，近年来人们提出利用机器人来代替人进行老年、儿童的精神陪伴。目前市面上已有一些能够与人进行互动的机器人产品。但是，机器人若要真正达到对老年、儿童进行情感陪护的功能要求，更好的融入其生活，首先要充分理解用户的意图，了解其心理变化，针对不同用户的特点和需求进行不同类型的交互。很多研究表明，人的生理信息、面部表情、语音语调、手势动作等多种方式都可以不同程度地反映情绪和心理变化。

综上所述，如何实现针对老人、儿童不同情绪状态的个性化人机交互控制，是本领技术人员亟待解决的技术问题。

发明内容

本发明的目的在于提供一种基于用户情绪及意图识别的机器人人机交互方法，以解决上述问题。

为了达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种基于用户情绪及意图识别的机器人人机交互方法，包括如下步骤：

S100、机械人对用户情绪以及用户意图进行智能识别；

S200、机械人根据所述智能识别结果得到智能决策；

S300、机械人根据智能决策结果，采用人机交互方式输出交互动作。

进一步地，在步骤S100中，所述机械人对用户情绪进行智能识别的具体包括如下步骤：

S101、所述用户情绪识别具体利用呼吸、脉搏、心率、皮电等人体生理信息，通过提取不同情绪下信号的多种特征，利用模式识别算法进行情绪识别，将用户情绪识别为轻松、高兴、悲伤、愤怒四种情绪信息；

S102、结合面部表情图像处理、识别进一步提高上述情绪识别的准确性。

其中，所述人体生理信息通过可穿戴式采集装置进行采集，通过无线通信方式与机器人进行信息传输。

其中，所述面部表情通过安装在机器人上的摄像头进行采集。

进一步地，所述无线通信方式包括蓝牙连接或是无线网络连接。

进一步地，在步骤S100中，所述机械人对用户意图进行智能识别的具体包括如下步骤：

S103、所述用户意图识别具体利用安装在机器人上的压力、光电、温度多种传感器信息判别周围环境和用户动作，同时利用安装在机器人上的麦克风对声音信号进行采集，通过语音信号处理与特征提取，进行语音识别，将语音识别的结果与传感器信息融合，识别用户意图。

进一步地，在步骤S200中，所述机械人根据所述智能识别结果得到智能决策，具体包括如下步骤：

S201、所述智能决策方法根据用户情绪和意图识别的结果进行智能控制决策，并得到控制机器人相应的执行机构完成控制指令。

进一步地，在步骤S300中，所述机械人根据智能决策结果，采用人机交互方式输出交互动作具体包括如下步骤：

S301、所述机械人接收控制指令；

S302、所述机械人根据所述控制指令控制各个执行机构执行交互动作。

进一步地，在S302步骤中，所述机械人根据所述控制指令控制各个执行机构执行交互动作具体包括如下步骤：

S303、所述机械人采用各个步进电机控制机器人完成肢体动作，实现机器人与人的动作交互；

S304、所述机械人通过扬声器播放语音、音乐声音文件，实现机器人与人的语音交互。

进一步地，进一步地，各个所述步进电机用于对应控制机械人的机械手、机械臂、机械腿、机械人头实现模仿动物相应的握手、拥抱、走路、摇头动作。

与现有技术相比，本发明实施例的优点在于：

本发明提供的一种基于用户情绪及意图识别的机器人人机交互方法，其具体包括实施三部分操作，具体包括如下步骤：S100、机械人对用户情绪以及用户意图进行智能识别；S200、机械人根据所述智能识别结果得到智能决策；S300、机械人根据智能决策结果，采用人机交互方式输出交互动作。

主要由两个方面的技术优势；1.能够通过多种传感器信息实现对人的情绪、意图的识别，为机器人良好的人际交互提供前提条件。2.能够使机器人根据用户的情绪和意图有针对性的做出不同的反应，实现个性化的人机交互，更好的起到对老人、儿童精神陪伴的作用。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于用户情绪及意图识别的机器人人机交互方法的总体控制流程图；

图2是本发明实施例提供的基于用户情绪及意图识别的机器人人机交互方法中的用户情绪识别流程图；

图3是本发明实施例提供的基于用户情绪及意图识别的机器人人机交互方法中的用户意图识别流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明实施例提供的一种基于用户情绪及意图识别的机器人人机交互方法，包括如下步骤：

S100、机械人对用户情绪以及用户意图进行智能识别；

S200、机械人根据所述智能识别结果得到智能决策；

S300、机械人根据智能决策结果，采用人机交互方式输出交互动作。

即本发明是一种基于用户情绪及意图识别的机器人人机交互方法，参考图1，主要包括用户情绪识别、用户意图识别、智能决策、人机交互几部分。

下面对基于用户情绪及意图识别的机器人人机交互方法的具体操作以及具体技术效果做一下详细说明：

进一步地，在步骤S100中，所述机械人对用户情绪进行智能识别的具体包括如下步骤：

S101、所述用户情绪识别具体利用呼吸、脉搏、心率、皮电人体生理信息，通过提取不同情绪下信号的多种特征，利用模式识别算法进行情绪识别，将用户情绪识别为轻松、高兴、悲伤、愤怒四种情绪信息；

S102、结合面部表情图像处理、识别进一步提高上述情绪识别的准确性。

其中，所述人体生理信息通过可穿戴式采集装置进行采集，通过无线通信方式与机器人进行信息传输。

其中，所述面部表情通过安装在机器人上的摄像头进行采集。

进一步地，所述无线通信方式包括蓝牙连接或是无线网络连接。

需要说明的是，可穿戴式采集装置是穿戴在用户身上的电子采集装置，其可以有效的采集用户身上的人体生理信息(即对人体生理特征的检测)；然后通过无线通信方式将人体生理信息传递给机械人，待机械人对上述信息进行分析和识别处理。

上述可穿戴式采集装置与机械人的通信方式，当然也可以通过有线方式进行通信连接(例如接口连接)；只不过采用上述无线通信方式是更为优选的方式；在无线通信方式中，更优选采用蓝牙连接或是无线网络连接。

进一步地，在步骤S100中，所述机械人对用户意图进行智能识别的具体包括如下步骤：

S103、所述用户意图识别具体利用安装在机器人上的压力、光电、温度多种传感器信息判别周围环境和用户动作，同时利用安装在机器人上的麦克风对声音信号进行采集，通过语音信号处理与特征提取，进行语音识别，将语音识别的结果与传感器信息融合，识别用户意图。

进一步地，在步骤S200中，所述机械人根据所述智能识别结果得到智能决策，具体包括如下步骤：

S201、所述智能决策方法根据用户情绪和意图识别的结果进行智能控制决策，并得到控制机器人相应的执行机构完成控制指令。

进一步地，在步骤S300中，所述机械人根据智能决策结果，采用人机交互方式输出交互动作具体包括如下步骤：

S301、所述机械人接收控制指令；

S302、所述机械人根据所述控制指令控制各个执行机构执行交互动作。

进一步地，在S302步骤中，所述机械人根据所述控制指令控制各个执行机构执行交互动作具体包括如下步骤：

S303、所述机械人采用各个步进电机控制机器人完成肢体动作，实现机器人与人的动作交互；

S304、所述机械人通过扬声器播放语音、音乐声音文件，实现机器人与人的语音交互。

进一步地，各个所述步进电机用于对应控制机械人的机械手、机械臂、机械腿、机械人头实现模仿动物(例如：包括人类或是其他宠物动物等)相应的握手、拥抱、走路、摇头动作。

需要说明的是，在机械人的机械构造中，一般包括机械手臂、机械手、机械腿以及机械人头，其各自都通过步进电机实施驱动动作；例如，当需要进行模仿人类握手时候，机械人采用的交互动作是，机械手上的步进电机实施运动，驱动机械手与手臂摆动一定角度并往复运动，进而实现模仿人类握手的动作。

下面参照说明书附图对本发明实施例提供的基于用户情绪及意图识别的机器人人机交互方法进行说明：

参考图2所示，情绪识别主要利用呼吸、脉搏、心率、皮电人体生理信息，通过提取不同情绪下信号的多种特征，利用模式识别算法进行情绪识别，将用户情绪识别为轻松、高兴、悲伤、愤怒四种。同时，结合面部表情图像处理、识别进一步提高情绪识别的准确性。其中，人体生理信息通过可穿戴式采集装置进行采集，通过蓝牙等无线通信方式与机器人进行信息传输；面部表情通过安装在机器人上的摄像头进行采集。

参考图3所示，用户意图识别主要利用安装在机器人上的压力、光电、温度等多种传感器信息判别周围环境和用户动作，同时利用安装在机器人上的麦克风对声音信号进行采集，通过语音信号处理与特征提取，进行语音识别，将语音识别的结果与传感器信息融合，识别用户意图。如：语音聊天、信息查询、播放音乐、肢体互动等。

在机器人控制过程中，信息输入和控制输出并非简单的一对一的对应关系，而是一个相互交叉的复杂网络。由于多传感信息的输入，机器人可以检测到用户的多种情绪和意图，在不同情绪状况下，相同的用户意图也需要不同的控制回应。如：在高兴和悲伤的情绪下，聊天、动作交互等内容都应有所区别。本发明的智能决策是根据用户情绪和意图识别的结果决定智能控制的指令，从而使机器人实现个性化的人机交互。

人机交互主要采用步进电机控制机器人肢体动作，实现机器人与人的动作交互，如：握手、摇头、拥抱；通过扬声器播放声音文件，实现机器人与人的语音交互，如：聊天、播放音乐、信息查询等。

本发明的突出特点是能够融合多种传感器信息进行用户情绪和意图的识别，能够是机器人根据用户的不同情绪和意图有针对性的进行与人的肢体互动、语音对话等情感交流活动，更具有亲和力，容易广泛受到老人、儿童的喜爱，特别适用于对老人、儿童进行情感陪护，能够有效减轻其孤独感。可广泛用于老年人、儿童家庭以及养老院、幼儿园等多种场所，具有广阔的市场前景。

综上所述，本发明提供的一种基于用户情绪及意图识别的机器人人机交互方法，其能够通过多种传感器信息实现对人的情绪、意图的识别，为机器人良好的人际交互提供前提条件。同时其能够使机器人根据用户的情绪和意图有针对性的做出不同的反应，实现个性化的人机交互，更好的起到对老人、儿童精神陪伴的作用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于用户情绪及意图识别的机器人人机交互方法，其特征在于，包括如下步骤：

S100、机器人对用户情绪以及用户意图进行智能识别；

S200、机器人根据所述智能识别结果得到智能决策；

S300、机器人根据智能决策结果，采用人机交互方式输出交互动作；

在步骤S100中，所述机器人对用户情绪进行智能识别的具体包括如下步骤：

S101、所述用户情绪识别具体利用呼吸、脉搏、心率、皮电人体生理信息，通过提取不同情绪下信号的多种特征，利用模式识别算法进行情绪识别，将用户情绪识别为轻松、高兴、悲伤、愤怒四种情绪信息；

S102、结合面部表情图像处理、识别进一步提高上述情绪识别的准确性；

其中，所述面部表情通过安装在机器人上的摄像头进行采集;

在步骤S100中，所述机器人对用户意图进行智能识别的具体包括如下步骤：

S103、所述用户意图识别具体利用安装在机器人上的压力、光电、温度多种传感器信息判别周围环境和用户动作，同时利用安装在机器人上的麦克风对声音信号进行采集，通过语音信号处理与特征提取，进行语音识别，将语音识别的结果与传感器信息融合，识别用户意图;

在步骤S200中，所述机器人根据所述智能识别结果得到智能决策，具体包括如下步骤：

S201、所述智能决策方法根据用户情绪和意图识别的结果进行智能控制决策，并得到控制机器人相应的执行机构完成控制指令。

2.如权利要求1所述的基于用户情绪及意图识别的机器人人机交互方法，其特征在于，

其中，所述人体生理信息通过可穿戴式采集装置进行采集，通过无线通信方式与机器人进行信息传输。

3.如权利要求2所述的基于用户情绪及意图识别的机器人人机交互方法，其特征在于，

所述无线通信方式包括无线网络连接。

4.如权利要求1所述的基于用户情绪及意图识别的机器人人机交互方法，其特征在于，

在步骤S300中，所述机器人根据智能决策结果，采用人机交互方式输出交互动作具体包括如下步骤：

S301、所述机器人接收控制指令；

S302、所述机器人根据所述控制指令控制各个执行机构执行交互动作。

5.如权利要求4所述的基于用户情绪及意图识别的机器人人机交互方法，其特征在于，

在S302步骤中，所述机器人根据所述控制指令控制各个执行机构执行交互动作具体包括如下步骤：

S303、所述机器人采用各个步进电机控制机器人完成肢体动作，实现机器人与人的动作交互；

S304、所述机器人通过扬声器播放语音、音乐声音文件，实现机器人与人的语音交互。

6.如权利要求5所述的基于用户情绪及意图识别的机器人人机交互方法，其特征在于，

各个所述步进电机用于对应控制机器人的机械手、机械臂、机械腿、机器人头实现模仿动物相应的握手、拥抱、走路、摇头动作。