CN106203344A - 一种用于智能机器人的情绪识别方法及系统 - Google Patents

Abstract

一种用于智能机器人的情绪识别方法及系统，其中，该包括：交互信息获取步骤，获取用户输入的多模态交互信息；交互信息解析步骤，对多模态交互信息进行解析，分别根据多模态交互信息确定出至少两种情绪信息，得到情绪信息集合；情绪识别步骤，根据情绪信息集合，确定出用户的当前情绪。相较于现有技术，本方法能够使得情绪识别结果更加准确可靠，这样也就可以避免在用户言行不一等情况下情绪识别结果错误的问题。

Description

一种用于智能机器人的情绪识别方法及系统

技术领域

本发明涉及人机交互技术领域，具体地说，涉及一种用于智能机器人的情绪识别方法及系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

然而对于现有的智能机器人来说，目前的情绪处理能力有限，通常仅仅是基于用户的语音转换的文本进行情绪的确定，导致情绪确定的准确率较低，从而影响与用户交互的准确性，使得智能机器人的用户体验降低。

发明内容

为解决上述问题，本发明提供了一种用于智能机器人的情绪识别方法，其包括：

交互信息获取步骤，获取用户输入的多模态交互信息；

交互信息解析步骤，对所述多模态交互信息进行解析，根据所述多模态交互信息确定出至少两种情绪信息，得到情绪信息集合；

情绪识别步骤，根据所述情绪信息集合，确定出所述用户的当前情绪。

根据本发明的一个实施例，所述多模态交互信息包括：

语音信息、文本信息、视觉信息和触觉信息。

根据本发明的一个实施例，在所述交互信息解析步骤中：

对所述语音信息进行分析，提取出用户的语调信息和/或语气信息，根据所述语调信息和/或语气信息生成语音情绪信息；且/或，

对所述文本信息进行语法分析，生成文本情绪信息；且/或，

对所述视觉信息信息进行图像处理和情绪识别处理，生成视觉情绪信息；且/或，

根据所述触觉信息确定出所述用户与所述智能机器人接触的位置信息和/或力度信息，根据所述位置信息和/或力度信息生成触觉情绪信息；且/或，

对所述语音信息进行解析，生成语音文本信息，对所述语音文本信息进行语法分析，生成语音文本情绪信息。

根据本发明的一个实施例，在所述情绪识别步骤中，判断所述情绪信息集合中所包含的情绪信息所表征的情绪是否相同，如果相同，则将所述情绪信息所表征的情绪作为所述用户的当前情绪。

根据本发明的一个实施例，如果所述情绪信息集合中所包含的情绪信息所表征的情绪不全相同，则利用预设多模态情绪识别模型根据所述情绪信息集合确定所述用户的当前情绪。

根据本发明的一个实施例，所述方法还包括：

反馈信息生成步骤，根据所述用户的当前情绪生成相应的多模态反馈信息并输出。

本发明还提供了一种用于智能机器人的情绪识别系统，其包括：

交互信息获取模块，用于获取用户输入的多模态交互信息；

交互信息解析模块，用于对所述多模态交互信息进行解析，根据所述多模态交互信息确定出至少两种情绪信息，得到情绪信息集合；

情绪识别模块，用于根据所述情绪信息集合，确定出所述用户的当前情绪。

根据本发明的一个实施例，所述多模态交互信息包括：

语音信息、文本信息、视觉信息和触觉信息。

根据本发明的一个实施例，所述交互信息解析模块配置为：

对所述语音信息进行分析，提取出用户的语调信息和/或语气信息，根据所述语调信息和/或语气信息生成语音情绪信息；且/或，

对所述文本信息进行语法分析，生成文本情绪信息；且/或，

对所述视觉信息信息进行图像处理和情绪识别处理，生成视觉情绪信息；且/或，

根据所述触觉信息确定出所述用户与所述智能机器人接触的位置信息和/或力度信息，根据所述位置信息和/或力度信息生成触觉情绪信息；且/或，

对所述语音信息进行解析，生成语音文本信息，对所述语音文本信息进行语法分析，生成语音文本情绪信息。

根据本发明的一个实施例，所述情绪识别模块配置为判断所述情绪信息集合中所包含的情绪信息所表征的情绪是否相同，如果相同，则将所述情绪信息所表征的情绪作为所述用户的当前情绪。

根据本发明的一个实施例，如果所述情绪信息集合中所包含的情绪信息所表征的情绪不全相同，所述情绪识别模块配置则配置为利用预设多模态情绪识别模型根据所述情绪信息集合确定所述用户的当前情绪。

根据本发明的一个实施例，所述系统还包括：

反馈信息生成模块，用于根据所述用户的当前情绪生成相应的多模态反馈信息并输出。

本发明所提供的用于智能机器人的情绪识别方法及系统不再像现有的情绪识别方法那样单纯依赖自动语音识别结果来进行用户的情绪识别，本方法可以通过语音感知、视觉感知以及触觉感知等多模态的方式来综合进行情绪识别，因此相较于现有技术，本方法能够使得情绪识别结果更加准确可靠，这样也就可以避免在用户言行不一等情况下情绪识别结果错误的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于智能机器人的情绪识别方法的实现流程示意图；

图2是根据本发明另一个实施例的用于智能机器人的情绪识别方法的实现流程示意图；

图3是根据本发明一个实施例的用于智能机器人的情绪识别系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一：

图1示出了本实施例所提供的面向智能机器人的情绪识别方法的实现流程示意图。

如图1所示，本实施例所提供的情绪识别方法首先在步骤S101中获取用户输入的多模态交互信息。

本实施例中，该方法可以通过智能机器人获取到多种交互信息。优选地，该方法在步骤S101中所获取的多模态交互信息中可以包括：语音信息、视觉信息以及触觉信息。

其中，该方法可以通过智能机器人所配置的音频传感器(例如麦克风)来获取用户输入的语音信息，可以通过智能机器人所配置的文本输入设备(例如键盘)来获取用户输入的文本信息，可以通过智能机器人所配置的视频传感器(例如摄像头)来获取用户输入的视频信息，可以通过配置在智能机器人壳体或内部的相应传感器(例如压力传感器等)来获取用户输入的触觉信息。

需要指出的是，在本发明的其他实施例中，该方法还可以通过其他合理方式来获取上述多模态交互信息，本发明不限于此。同时，根据实际需要，该方法所获取到的多模态交互信息既可以仅包含以上所列项中的某两项或三项，也可以包含其他未列出的合理项，抑或是其他未列出的合理项与上述所列项中任一项或几项的组合，本发明同样不限于此。

得到用户输入的多模态交互信息后，如图1所示，本方法在步骤S102中对多模态交互信息进行解析，根据多模态交互信息确定出至少两种情绪信息，得到情绪信息集合。

例如，如果步骤S101中所得到的多模态交互信息包括语音信息和视觉信息，该方法则在步骤S102中分别对语音信息和视觉信息进行解析，从而对应得到情绪信息。

本实施例中，对于语音信息来说，该方法首先通过对上述语音信息进行分析来提取出用户的语调信息，随后根据该语调信息来生成语调情绪信息。而对于视觉信息来说，该方法则通过对该视觉信息进行图像处理和情绪识别处理，从而生成视觉情绪信息，另外，还可以对语音信息进行解析，生成语音文本信息，再对语音文本信息进行语法解析，生成语音文本情绪信息

需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理方式来对步骤S101中所获取到的多模态交互信息中的多种交互信息进行解析，以此得到至少两种对应情绪信息，进而得到情绪信息集合，本发明不限于此，一种实施例中，可以根据多模态交互信息中的至少两种交互信息分别确定各自对应的情绪信息，得到情绪信息集合，另一种实施例中，可以对多模态交互信息中的语音信息，视觉信息和触觉信息进行解析，生成对应的情绪信息，构建情绪信息集合。

如图1所示，在得到情绪信息集合后，该方法也就可以在步骤S103中根据该情绪信息集合，确定出用户的当前情绪。具体地，该方法在步骤S103中首先判断步骤S102中所得到的情绪信息集合中的各个情绪信息所表征的情绪是否相同，如果情绪信息集合中的各个情绪信息所表征的情绪均是同一种情绪，那么该方法则将这些情绪信息所表征的情绪作为用户的当前情绪。而如果情绪信息集合中的各个情绪信息所表征的情绪不完全相同，那么该方法则将利用预设多模态情绪识别模型来根据该情绪信息集合确定用户的当前情绪。

例如，如果步骤S102中所得到的情绪信息集合中包含语调情绪信息和语音文本情绪信息，而语调情绪信息和语音文本情绪信息所表征的情绪均为“高兴”，那么该方法在步骤S103中也就可以将“高兴”作为用户的当前情绪。而如果语调情绪所表征的情绪为“高兴”，语音文本情绪信息所表征的情绪为“紧张”，那么由于语调情绪信息和语音文本情绪信息所表征的情绪不相同，因此该方法会利用预设多模态情绪识别模型来根据上述文本情绪信息和语音情绪信息来确定出用户的当前情绪。

需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理的方法来根据步骤S102中所得到的情绪信息集合来确定用户的当前情绪，本发明不限于此。

从上述描述中可以看出，本实施例所提供的用于智能机器人的情绪识别方法不再像现有的情绪识别方法那样单纯依赖自动语音识别(Automatic SpeechRecognition，简称ASR)结果来进行用户的情绪识别，本方法可以通过语音感知、视觉感知以及触觉感知等多模态的方式来综合进行情绪识别，因此相较于现有技术，本方法能够使得情绪识别结果更加准确可靠，这样也就可以避免在用户言行不一等情况下情绪识别结果错误的问题。

实施例二：

图2示出了本实施例所提供的面向智能机器人的情绪识别方法的实现流程示意图。

如图2所示，本实施例所提供的情绪识别方法首先在步骤S101中获取用户输入的多模态交互信息。

本实施例中，该方法可以通过智能机器人获取到多种交互信息。优选地，该方法在步骤S201中所获取的多模态交互信息中可以包括：语音信息、文本信息、视觉信息以及触觉信息。

需要指出的是，本实施例中，该方法在步骤S201中获取多模态交互信息的实现原理以及实现过程与上述实施例一中步骤S101所涉及的内容类似，故在此不再赘述。

如图2所示，在得到多模态交互信息后，该方法在步骤S202中对多模态交互信息中的语音信息进行解析，得到语音情绪信息；在步骤S203中多模态交互信息中的文本信息进行解析，得到文本情绪信息；在步骤S204中对多模态交互信息中的视觉信息进行解析，得到视觉情绪信息；该步骤S205中对多模态交互信息中的触觉信息进行解析，得到触觉情绪信息。

其中，S202中确定的语音情绪信息，可以为语调情绪信息，或者语音文本情绪信息，也可以两者都有。

需要指出的是，本实施例中，该方法在步骤S202中对多模态交互信息中的语音信息进行解析对应得到语调情绪信息和语音文本情绪信息的实现过程以及实现原理与上述实施例一中步骤S102所涉及的相关内容类似，故在此不再赘述。

S203中，可以对文本信息进行语法解析，生成文本情绪信息。

本实施例中，对于视觉信息来说，该方法会对所获取到的视觉信息(例如图像信息)进行图像处理和情绪识别合理，以此得到视觉情绪信息。而对于触觉信息来说，该方法首先会根据该触觉信息确定出用户与智能机器人接触的位置信息和/或力度信息，随后根据该位置信息和/或力度信息生成触觉情绪信息。

需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理方式来对步骤S201中所获取到的多模态交互信息中的多种交互信息进行解析，以此得到对应的情绪信息，进而得到情绪信息集合，同时，该方法所解析的交互信息还可以仅是步骤S201所得到的多模态交互信息中的某几种交互信息，本发明不限于此。

此外，还需要指出的是，本实施例所提供的方法并不对上述步骤S202至步骤S205的执行顺序进行限定，根据实际需要，上述步骤S202至步骤S205可以有多种多样的执行顺序，根据实际需要，步骤S202至步骤S205可以全部执行或者缺省执行，本发明同样不限于此。

在得到语音情绪信息、文本情绪信息、视觉情绪信息和触觉情绪信息后，该方法也就得到了由这集中情绪信息所构成的情绪信息集合，此时，如图2所示，该方法将在步骤S206中判断情绪信息集合中各个情绪信息所表征的情绪是否相同。如果不完全相同，那么该方法则在步骤S207中利用多模态情绪识别模型根据该情绪信息集合来确定用户的当前情绪；而如果相同，那么该方法则可以在步骤S208中将各个情绪信息所表征的情绪作为用户的当前情绪。

如图2所示，本实施例中，在得到用户的当前情绪后，该方法还在步骤S209中根据用户的当前情绪来生成相应的多模态反馈信息并输出给用户。

本发明还提供了一种用于智能机器人的情绪识别系统，图3示出了本实施例中该系统的结构示意图。

如图3所示，本实施例中，该情绪识别系统优选地包括：交互信息获取模块301、交互信息解析模块302、情绪识别模块303以及反馈信息生成模块304。其中，交互信息获取模块301用于获取用户输入的多模态交互信息，在获取到用户输入的多模态交互信息后，交互信息获取模块301会将该多模态交互信息传输给交互信息解析模块302.

交互信息获取模块302在接收到交互信息获取模块301传输来的多模态交互信息后，会对该多模态交互信息进行解析，根据多模态交互信息确定出至少两种情绪信息，从而得到情绪信息集合。

在得到情绪信息集合后，交互信息解析模块302会将情绪信息集合传输给情绪识别模块303，以由情绪识别模块303根据该情绪信息集合确定出用户的当前情绪。

在得到用户的当前情绪后，情绪识别模块303会将用户的当前情绪传输给反馈信息生成模块304。反馈信息生成模块304能够根据用户的当前情绪生成相应的多模态反馈信息并输出给用户。

需要指出的是，本实施例中，交互信息获取模块301获取用户输入的多模态交互信息的过程与实施例一中步骤S101所涉及的内容类似，交互信息解析模块302对多模态交互信息进行解析得到情绪信息集合的原理以及过程与实施例一中步骤S102所涉及的内容类似，情绪识别模块303根据情绪信息集合确定用户当前情绪的过程与上述实施例一中步骤S103所涉及的内容类似，反馈信息生成模块304根据用户当前情绪生成多模态反馈信息的过程与上述步骤S209所涉及的内容类似，故在此不再对交互信息获取模块301、交互信息解析模块302、情绪识别模块303以及反馈信息生成模块304实现其各自功能的具体原理以及过程进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (10)

1.一种用于智能机器人的情绪识别方法，其特征在于，包括：

交互信息获取步骤，获取用户输入的多模态交互信息；

交互信息解析步骤，对所述多模态交互信息进行解析，根据所述多模态交互信息确定出至少两种情绪信息，得到情绪信息集合；

情绪识别步骤，根据所述情绪信息集合，确定出所述用户的当前情绪。

2.如权利要求1所述的方法，其特征在于，所述多模态交互信息包括：

语音信息、文本信息、视觉信息和触觉信息。

3.如权利要求2所述的方法，其特征在于，在所述交互信息解析步骤中：

对所述语音信息进行分析，提取出用户的语调信息，根据所述语调信息生成语调情绪信息；且/或，

对所述文本信息进行语法分析，生成文本情绪信息；且/或，

对所述视觉信息信息进行图像处理和情绪识别处理，生成视觉情绪信息；且/或，

根据所述触觉信息确定出所述用户与所述智能机器人接触的位置信息和/或力度信息，根据所述位置信息和/或力度信息生成触觉情绪信息；且/或，

对所述语音信息进行解析，生成文本信息，对所述文本信息进行语法分析，生成文本情绪信息。

4.如权利要求1～3中任一项所述的方法，其特特征在于，在所述情绪识别步骤中，判断所述情绪信息集合中所包含的情绪信息所表征的情绪是否相同，如果相同，则将所述情绪信息所表征的情绪作为所述用户的当前情绪。

5.如权利要求4所述的方法，其特征在于，如果所述情绪信息集合中所包含的情绪信息所表征的情绪不全相同，则利用预设多模态情绪识别模型根据所述情绪信息集合确定所述用户的当前情绪。

6.一种用于智能机器人的情绪识别系统，其特征在于，包括：

交互信息获取模块，用于获取用户输入的多模态交互信息；

交互信息解析模块，用于对所述多模态交互信息进行解析，根据所述多模态交互信息确定出至少两种情绪信息，得到情绪信息集合；

情绪识别模块，用于根据所述情绪信息集合，确定出所述用户的当前情绪。

7.如权利要求6所述的系统，其特征在于，所述多模态交互信息包括：

语音信息、文本信息、视觉信息和触觉信息。

8.如权利要求7所述的系统，其特征在于，所述交互信息解析模块配置为：

对所述语音信息进行分析，提取出用户的语调信息，根据所述语调信息生成语调情绪信息；且/或，

对所述文本信息进行语法分析，生成文本情绪信息；且/或，

对所述视觉信息信息进行图像处理和情绪识别处理，生成视觉情绪信息；且/或，

根据所述触觉信息确定出所述用户与所述智能机器人接触的位置信息和/或力度信息，根据所述位置信息和/或力度信息生成触觉情绪信息；且/或，

对所述语音信息进行解析，生成语音文本信息，对所述语音文本信息进行语法分析，生成语音文本情绪信息。

9.如权利要求6～8中任一项所述的系统，其特征在于，所述情绪识别模块配置为判断所述情绪信息集合中所包含的情绪信息所表征的情绪是否相同，如果相同，则将所述情绪信息所表征的情绪作为所述用户的当前情绪。

10.如权利要求9所述的系统，其特征在于，如果所述情绪信息集合中所包含的情绪信息所表征的情绪不全相同，所述情绪识别模块配置则配置为利用预设多模态情绪识别模型根据所述情绪信息集合确定所述用户的当前情绪。