CN109202922B

CN109202922B - 用于机器人的基于情感的人机交互方法及装置

Info

Publication number: CN109202922B
Application number: CN201710530790.8A
Authority: CN
Inventors: 魏晨
Original assignee: Beijing Guangnian Wuxian Technology Co Ltd
Current assignee: Beijing Guangnian Wuxian Technology Co Ltd
Priority date: 2017-07-03
Filing date: 2017-07-03
Publication date: 2021-01-22
Anticipated expiration: 2037-07-03
Also published as: CN109202922A

Abstract

一种用于机器人的基于情感的人机交互方法及装置，其中，该方法包括：交互元素提取步骤，获取当前交互过程的多模态交互信息，对所述多模态交互信息进行解析来提取出当前交互时间以及当前交互元素；当前情感温度值确定步骤，根据所述当前时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值；反馈信息生成步骤，根据机器人记忆库中各个交互元素的情感温度值，结合当前交互元素，决策生成相应的多模态反馈信息并输出。相较于现有的人机交互方法，本方法能够很好地体现机器人与环境或是与用户进行交互时自身情感的发展状态，从而使得机器人在人机交互过程中表现得更加接近于人类。

Description

用于机器人的基于情感的人机交互方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种用于机器人的基于情感的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其它机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

为了提高机器人的智能化水平以及类人度，现有机器人技术往往会给机器人赋予一定的情感，然而如果使得机器人的情感状态能够更加贴近人类是亟需解决的问题。

发明内容

为解决上述问题，本发明提供了一种用于机器人的基于情感的人机交互方法，其包括：

交互元素提取步骤，获取当前交互过程的多模态交互信息，对所述多模态交互信息进行解析来提取出当前交互时间以及当前交互元素；

当前情感温度值确定步骤，根据所述当前时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值；

反馈信息生成步骤，根据机器人记忆库中各个交互元素的情感温度值，结合当前交互元素，决策生成相应的多模态反馈信息并输出。

根据本发明的一个实施例，在所述当前情感温度值确定步骤中，利用机器人记忆库中各个交互元素的当前情感温度值替换机器人记忆库中对应的存储情感温度值，实现对所述机器人记忆库的更新。

根据本发明的一个实施例，所述当前交互元素包括以下所列项中的任一项或几项：

人、物体、事件和情景。

根据本发明的一个实施例，在所述当前情感温度值确定步骤中，判断所述当前交互元素在所述机器人记忆库中是否存在，其中，

如果所述当前交互元素在所述机器人记忆库中存在，则根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长，并根据所述间隔时长以及所述当前交互元素在所述机器人记忆库中的存储情感温度值，生成所述当前交互元素的当前情感温度值；

如果所述当前交互元素在所述机器人记忆库中不存在，则将所述当前交互元素的初始情感温度值确定为当前情感温度值，并将所述当前交互元素补充到所述机器人记忆库中。

根据本发明的一个实施例，如果所述当前交互元素在所述机器人记忆库中存在，根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，计算所述当前交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积与该存储情感温度值的和，确定所述当前交互元素的当前情感温度值。

根据本发明的一个实施例，如果所述当前交互元素在所述机器人记忆库中不存在，则根据所述当前交互元素与当前交互过程的相关度来确定所述当前交互元素的初始情感温度值。

根据本发明的一个实施例，在所述当前情感温度值确定步骤中，如果所述机器人记忆库中包含除所述当前交互元素外的其它交互元素，则根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长并根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，根据交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积计算该交互元素的当前情感温度值。

根据本发明的一个实施例，在所述交互元素提取步骤中，通过语义理解的方式对所述多模态交互信息进行解析，所述语义理解包括语言语义理解和/或视觉语义理解。

本发明还提供了一种用于机器人的基于情感的人机交互装置，其包括：

交互元素提取模块，其用于获取当前交互过程的多模态交互信息，对所述多模态交互信息进行解析来提取出当前交互时间以及当前交互元素；

当前情感温度值确定模块，其用于根据所述当前时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值；

反馈信息生成模块，其用于根据机器人记忆库中各个交互元素的情感温度值，结合当前交互元素，决策生成相应的多模态反馈信息并输出。

根据本发明的一个实施例，所述当前情感温度值确定模块还配置为利用机器人记忆库中各个交互元素的当前情感温度值替换机器人记忆库中对应的存储情感温度值，实现对所述机器人记忆库的更新。

人、物体、事件和情景。

根据本发明的一个实施例，所述当前情感温度值确定模块配置为判断所述当前交互元素在所述机器人记忆库中是否存在，其中，

如果所述当前交互元素在所述机器人记忆库中存在，所述当前情感温度值确定模块则配置为根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长，并根据所述间隔时长以及所述当前交互元素在所述机器人记忆库中的存储情感温度值，生成所述当前交互元素的当前情感温度值；

如果所述当前交互元素在所述机器人记忆库中不存在，所述当前情感温度值确定模块则配置为将所述当前交互元素的初始情感温度值确定为当前情感温度值，并将所述当前交互元素补充到所述机器人记忆库中。

根据本发明的一个实施例，如果所述当前交互元素在所述机器人记忆库中存在，所述当前情感温度值确定模块则配置为根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，计算所述当前交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积与该存储情感温度值的和，确定所述当前交互元素的当前情感温度值。

根据本发明的一个实施例，如果所述当前交互元素在所述机器人记忆库中不存在，所述当前情感温度值确定模块则配置为根据所述当前交互元素与当前交互过程的相关度来确定所述当前交互元素的初始情感温度值。

根据本发明的一个实施例，如果所述机器人记忆库中包含除所述当前交互元素外的其它交互元素，所述当前情感温度值确定模块则配置为根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长并根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，根据交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积计算该交互元素的当前情感温度值。

根据本发明的一个实施例，所述交互元素提取模块配置为通过语义理解的方式对所述多模态交互信息进行解析，所述语义理解包括语言语义理解和/或视觉语义理解。

本发明所提供的用于机器人的基于情感的人机交互方法能够根据提取出的当前交互时间以及当前交互元素来生成当前交互过程中机器人记忆库中各个交互元素的情感温度值(即当前情感温度值)，并根据各个交互元素的当前情感温度值来生成相应的多模态反馈信息。相较于现有的人机交互方法，本实施例所提供的方法能够很好地体现机器人与环境或是与用户进行交互时自身情感的发展状态，从而使得机器人在人机交互过程中表现得更加接近于人类。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的人机交互场景示意图；

图2是根据本发明一个实施例的用于机器人的基于情感的人机交互方法的实现流程示意图；

图3是根据本发明一个实施例的用于机器人的基于情感的人机交互方法的实现流程示意图；

图4是根据本发明一个实施例的用于机器人的基于情感的人机交互方法的实现流程示意图；

图5是根据本发明一个实施例的用于机器人的基于情感的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

针对现有技术中无法使得机器人能够准确模拟人类情感状态的问题，本发明提供了一种新的用于机器人的基于情感的人机交互方法，该方法能够很好地满足机器人与环境或是与用户进行交互时相关交互元素的情感领域的发展状态，从而使得机器人在人机交互过程中表现得更加接近于人类。

为了更加清楚地阐述本发明所提供的用于机器人的基于情感到的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对该人机交互方法作进一步的说明。

实施例一：

图1示出了本实施例所提供的用于机器人的基于情感的人机交互方法的应用场景示意图，图2示出了本实施例所提供的用于机器人的基于情感的人机交互方法的实现流程示意图。

如图1所示，本实施例所提供的人机交互方法配置在机器人101中，机器人101在获取到当前交互过程的多模态交互信息(本实施例中，该多模态交互信息既可以是用户输入的交互信息，也可以是机器人从外部环境所获取到的交互信息)后，会根据上述多模态交互信息生成相应的多模态反馈信息并输出给用户100，从而实现与用户100之间的人机交互。

本实施例提供的人机交互方法首先在步骤S201中获取当前交互过程的多模态交互信息。具体地，本实施例中，根据实际情况，该方法在步骤S201中所获取到的多模态交互信息既可以包含多种形式的交互信息，也可以仅包含一种形式的交互信息，本发明不限于此。

在获取到当前交互过程中的多模态交互信息后，该方法会在步骤S202中对上述步骤S201中获取到的多模态交互信息进行解析，从而从上述多模态交互信息中提取出当前交互时间以及当前交互元素。具体地，本实施例中，该方法可以通过语义理解的方式对上述多模态交互信息进行解析。其中，语义理解优选地包括语言语义理解和/或视觉语义理解。

具体地，本实施例中，根据步骤S201中所获取到的多模态交互信息的具体形式的不同，该方法在步骤S202中可以采用不同的方式来从上述多模态交互信息中提取出当前交互元素。例如，如果该方法在步骤S201中所获取到的多模态交互信息中包含语音信息，那么该方法也就可以在步骤S202中采用自然语言识别以及语言语义解析的方式来提取出当前交互元素；而如果该方法在步骤S201中所获取到的多模态交互信息中图像信息，那么该方法也就可以在步骤S202中采用图像识别的方式来提取出当前交互元素。

本实施例中，该方法在步骤S202中能够从获取到的多模态交互信息中提取到的当前交互元素优选地包括：人、物体、事件和情景等。当然，在本发明的其它实施例中，该方法在步骤S202中从所获取到的多模态交互信息中提取出的当前交互元素既可以仅包含以上所列项的其中一项或其中几项，也包含其它未列出的合理项，抑或是以上所列项中的其中一项或其中几项与其它未列出的合理项的组合，本发明不限于此。

在得到当前交互时间以及当前交互元素后，该方法会在步骤S203中根据当前交互时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值。

本实施例中，该方法在步骤S203中可以基于牛顿冷却公式来生成机器人记忆库中各个交互元素的当前情感温度值。牛顿冷却公式虽然是一个物理学的冷却定律，但是这个公式却可以很好地满足机器人与环境、与人进行交互时的情感的发展状态。

本实施例中，情感温度值能够表征机器人对交互元素的喜爱程度。例如，当交互元素为人时，如果机器人与用户第一交互过程的交互过程比较顺畅、持续时间较长，并且用户向机器人的正向反馈较多，那么也就表示机器人对该用户较为喜欢，此时对应于该用户的情感温度值也就会较高；而当交互元素为物体、事件或者情景时，如果机器人对物体、事件或者情景的评价是正向的，那么对应于该物体、时间或者情景的情感温度值也会较高。

随着时间地推移，如果该交互元素在人机交互过程中没有再次出现，那么机器人对于该交互元素的喜好程度也就会慢慢减弱，即对应于该交互元素的情感温度值也就会慢慢减小。利用牛顿冷却定律可知，物体的冷却速度与其当前温度与室温之间的温差成正比。牛顿冷却定量可以采用如下表达式表示：

T′(t)＝-α(T(t)-H) (1)

其中，T′表示温度冷却速率，T表示t时刻的温度值，H表示室温。α(α≥0)表示预设常数，其用于表征室温与降温速率之间的比例关系。

对表达式(1)进行变换，可以得到：

对表达式(2)两侧进行积分，可以得到如下表达式：

根据表达式(3)可以得到：

In(T(t)-H)＝-αt+C (4)

其中，C表示常数。

根据表达式(4)可以进一步得到：

T(t)-H＝e^(-αt+C) (5)

即存在：

T(t)＝H+e^Ce^-αt＝H+C′e^-αt (6)

根据表达式(6)，在t₀时刻的温度T(t₀)则为：

这样也可以得到：

根据表达式(6)和表达式(8)，在t时刻的温度T(t)则为

假设室温为0，即所有物体最终都会“冷寂”(对于事物最终都不会具有清晰的情感状态)，因此表达式(9)可以简化为：

这样基于表达式(10)也就可以得到确定出各个交互元素在当前时刻的当前情感温度值。

如图2所示，本实施例中，在生成机器人记忆库中各个交互元素的当前情感温度值后，该方法会在步骤S204中根据步骤S203中所得到的各个交互元素的当前情感温度值，结合当前交互元素，来决策生成相应的多模态反馈信息并输出。

具体地，本实施例中，在某些情况下，该方法在步骤S204中可以根据各个交互元素的当前情感温度值确定出当前情感温度值最大的交互元素，并根据当前情感温度值最大的交互元素来生成相应的多模态反馈信息并输出。

而在某些情况下(例如没有上下文交互信息的情况下)，该方法在步骤S204中也可以从各个交互元素中提取出当前情感温度值大于一预设情感温度值阈值的交互元素，并根据所提取出的这些交互元素来生成相应的多模态反馈信息并输出。

另外，在某些情况下，该方法在步骤S204中也可以综合考虑机器人记忆库中各个交互元素与上下文信息的相关度以及各个交互元素的当前情感温度值，来生成相应的多模态反馈信息并输出。

当然，在本发明的其它实施例中，该方法在步骤S204中还可以采用其它合理方式来利用更新后的机器人记忆库，结合当前交互元素来决策生成相应的多模态反馈信息并输出，本发明不限于此。

本实施例中，该方法还可以在步骤S204中基于各个交互元素的当前记忆之对机器人记忆库进行更新。

本实施例中，如果步骤S202中所提取出的当前交互元素包含在机器人记忆库中，那么该方法则会利用步骤S204中所生成的各个交互元素的当前情感温度值来替换机器人记忆库中已有的情感温度值(即存储情感温度值)，从而实现对机器人记忆库的更新。

而如果步骤S202中所提取出的当前交互元素不包含在机器人记忆库中(即对于机器人记忆库来说，当前交互元素是新出现的)，那么该方法在步骤S204中则会将当前交互元素及其当前情感温度值补充到机器人记忆库中，从而实现对机器人记忆库的更新。

在步骤S204中，该方法可以利用更新后的机器人记忆库，结合当前交互元素来决策生成相应的多模态反馈信息并输出。

从上述描述中可以看出，本实施例所提供的用于机器人的基于情感的人机交互方法能够根据提取出的当前交互时间以及当前交互元素来生成当前交互过程中机器人记忆库中各个交互元素的情感温度值(即当前情感温度值)，并根据各个交互元素的当前情感温度值来生成相应的多模态反馈信息。相较于现有的人机交互方法，本实施例所提供的方法能够很好地满足机器人与环境或是与用户进行交互时自身情感的发展状态，从而使得机器人在人机交互过程中表现得更加接近于人类。

实施例二：

图3示出了本实施例所提供的用于机器人的基于情感的人机交互方法的实现流程示意图。

如图3所示，本实施例所提供的人机交互方法首先在步骤S301中获取当前交互过程的多模态交互信息，并在步骤S302中对步骤S301中所获取到的多模态交互元素进行解析，从而提取出当前交互时间以及当前交互元素。

在得到当前交互时间以及当前交互元素后，该方法会在步骤S303中根据步骤S302中所提取出的当前交互时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值。

需要指出的是，本实施例中，上述步骤S301至步骤S303的具体实现原理以及实现过程与上述实施例一中步骤S201至步骤S203所阐述的内容类似，故在此不再对步骤S301至步骤S303的相关内容进行赘述。

如图3所示，在得到机器人记忆库中各个交互元素的当前情感温度值后，该方法会在步骤S303中利用各个交互元素的当前情感温度值来替换机器人记忆库中对应的存储情感温度值。其中，交互元素的存储情感温度值可以视为在前一过程中该交互元素的情感温度值。

本实施例中，该方法还会在步骤S305中判断各个交互元素的当前情感温度值是否小于或等于预设情感温度阈值。其中，如果存在当前情感温度值小于或等于预设情感温度阈值的交互元素，那么则表示机器人对于该交互元素的理解或记忆已经很模糊，为了节省机器人记忆库的存储空间，本实施例中，该方法会在步骤S306中将这类交互元素从机器人记忆库中删除，从而实现对机器人记忆库的更新。

在步骤S307中，该方法会根据更新后的机器人记忆库，结合当前交互元素，来决策生成相应的多模态反馈信息并输出。需要指出的是，本实施例中，步骤S307的具体实现原理以及实现过程与上述实施例一中步骤S204的内容类似，故在此不再对上述步骤S307的相关内容进行赘述。

实施例三：

图4示出了本实施例所提供的用于机器人的基于情感的人机交互方法的实现流程示意图。

如图4所示，本实施例所提供的人机交互方法首先在步骤S401中获取当前交互过程的多模态交互信息，并在步骤S402中对步骤S401中所获取到的多模态交互元素进行解析，从而提取出当前交互时间以及当前交互元素。

需要指出的是，本实施例中，上述步骤S401和步骤S402的具体实现原理以及实现过程与上述实施例一中步骤S201和步骤S202所阐述的内容类似，故在此不再对步骤S401和步骤S402的相关内容进行赘述。

在提取出当前交互元素后，该方法会在步骤S403中判断当前交互元素在机器人记忆库中是否存在，即机器人记忆库中是否已经存储了当前交互元素。

其中，如果当前交互元素在机器人记忆库中存在，那么该方法则会在步骤S404中根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长。

随后，该方法会在步骤S405中根据上述步骤S404中所确定出的间隔时长以及当前交互元素在机器人记忆库中的存储值来生成当前交互元素的当前情感温度值。

本实施例中，在步骤S405中，该方法会根据上述间隔时长计算当前交互过程的记忆衰减系数，随后计算当前交互元素在机器人记忆库中的存储情感温度值和上述记忆衰减系数的乘积，然后在计算该乘积值与当前交互元素的存储情感温度值的和，从而确定出当前交互元素的当前情感温度值。

具体地，在步骤S405中，该方法可以根据如下表达式计算当前交互元素的当前情感温度值：

t_n表示当前交互过程的交互时间(即当前交互时间)，t_n-1表示前一交互过程的交互时间，T(t_n)表示当前情感温度值，T(t_n-1)表示存储情感温度值。

而如果当前交互元素在机器人记忆库中不存在的话，那么该方法会在步骤S406中将当前交互元素的初始情感温度值确定为当前情感温度值，并将当前交互元素补充到机器人记忆库中。

本实施例中，如果当前交互元素在机器人记忆库中不存在，那么该方法在步骤S406中优选地根据当前交互元素与当前交互过程的相关度来确定当前交互元素的初始情感温度值。其中，优选地，机器人对于当前交互元素的喜好程度越高，那么其初始情感温度值也就越大。本实施例中，该方法可以通过对获取到的多模态交互数据进行分析来确定机器人对于当前交互元素的喜好程度。

例如，该方法从所获取到的图像交互信息中提取到的当前交互元素包括海岸，而机器人的当前情感状态为“喜悦”，那么则表示机器人对于海岸是喜好的，因此该方法也就会在步骤S406中将当前交互元素“海岸”赋予一较大的初始情感温度值。

而对于机器人记忆库中所包含的除当前交互元素外的其它交互元素，本实施例中，该方法则首先会根据当前交互时间和前一交互过程的交互时间来确定当前交互过程与前一交互过程的间隔时长，随后会根据上述间隔时长来计算当前交互过程的记忆衰减系数，最后根据该交互元素在机器人记忆库中的存储情感温度值和上述记忆衰减系数的乘积来计算该交互元素的当前情感温度值。

具体地，对于机器人记忆库中所包含的除当前交互元素外的其它交互元素，该方法优选地根据如下表达式计算这类交互元素的当前情感温度值：

需要指出的是，在本发明的其它实施例中，该方法还可以采用其它合理方式来确定各个交互元素的当前情感温度值，本发明不限于此。

如图4所示，在得到机器人记忆库中各个交互元素的当前情感温度值后，该方法会在步骤S407中利用各个交互元素的当前情感温度值来替换机器人记忆库中对应的存储情感温度值。其中，交互元素的存储情感温度值可以视为在前一过程中该交互元素的情感温度值。

本实施例中，该方法还会在步骤S408中判断各个交互元素的当前情感温度值是否小于或等于预设情感温度阈值。其中，如果存在当前情感温度值小于或等于预设情感温度阈值的交互元素，那么则表示机器人对于该交互元素的情感已经很淡或者很模糊，为了节省机器人记忆库的存储空间，本实施例中，该方法会在步骤S409中将这类交互元素从机器人记忆库中删除，从而实现对机器人记忆库的更新。在步骤S410中，该方法会根据更新后的机器人记忆库，结合当前交互元素，来决策生成相应的多模态反馈信息并输出。

需要指出的是，本实施例中，步骤S407至步骤S410的具体实现原理以及实现过程与上述实施例二中步骤S304至步骤S307所阐述的内容类似，故在此不再对上述步骤S407至步骤S410的相关内容进行赘述。

从上述描述中可以看出，本实施例所提供的用于机器人的人机交互方法基于牛顿冷却公式来解析人机交互过程中相关交互元素的情感温度值的变化过程，该方法能够很好地满足机器人与环境或是与用户进行交互时机器人情感的发展状态，从而使得机器人在人机交互过程中表现得更加接近于人类，这样也就提高了机器人的智能化水平以及类人度。

本发明还提供了一种用于机器人的基于情感的人机交互装置，图5示出了本实施例中该装置的结构示意图。

如图5所示，本实施例中，该人机交互装置优选地包括：交互元素提取模块501、当前情感温度确定模块502以及反馈信息生成模块503。其中，交互元素提取模块501用于获取当前交互过程的多模态交互信息，并对上述多模态交互信息进行解析来提取出当前交互时间和当前交互元素。

在得到当前交互时间和当前交互元素后，交互元素提取模块501会将当前交互时间和当前交互元素传输至当前情感温度确定模块502，以由当前情感温度确定模块502根据当前交互时间和当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值，并基于各个交互元素的当前情感温度值来对机器人记忆库进行更新。

反馈信息生成模块503与当前情感温度确定模块502连接，其能够根据更新后的机器人记忆库，集合当前交互元素来决策生成相应的多模态反馈信息并输出。

需要指出的是，本实施例中，交互元素提取模块501、当前情感温度确定模块502以及反馈信息生成模块503实现其各自功能的具体原理以及过程既可以与上述实施例一中步骤S201至步骤S204所阐述的内容相同，也可以与上述实施例二中步骤S301至步骤S307所阐述的内容相同，还可以与上述实施例三中步骤S401至步骤S410所阐述的内容相同，故在此不再对交互元素提取模块501、当前情感温度确定模块502以及反馈信息生成模块503的相关内容进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims

1.一种用于机器人的基于情感的人机交互方法，其特征在于，包括：

当前情感温度值确定步骤，根据所述当前交互时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值；

反馈信息生成步骤，根据机器人记忆库中各个交互元素的当前情感温度值，结合当前交互元素，决策生成相应的多模态反馈信息并输出。

2.如权利要求1所述的方法，其特征在于，在所述当前情感温度值确定步骤中，利用机器人记忆库中各个交互元素的当前情感温度值替换机器人记忆库中对应的存储情感温度值，实现对所述机器人记忆库的更新。

3.如权利要求1或2所述的方法，其特征在于，所述当前交互元素包括以下所列项中的任一项或几项：

人、物体、事件和情景。

4.如权利要求1或2所述的方法，其特征在于，在所述当前情感温度值确定步骤中，判断所述当前交互元素在所述机器人记忆库中是否存在，其中，

5.如权利要求4所述的方法，其特征在于，如果所述当前交互元素在所述机器人记忆库中存在，根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，计算所述当前交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积与该存储情感温度值的和，确定所述当前交互元素的当前情感温度值。

6.如权利要求4所述的方法，其特征在于，如果所述当前交互元素在所述机器人记忆库中不存在，则根据所述当前交互元素与当前交互过程的相关度来确定所述当前交互元素的初始情感温度值。

7.如权利要求4所述的方法，其特征在于，在所述当前情感温度值确定步骤中，如果所述机器人记忆库中包含除所述当前交互元素外的其它交互元素，则根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长并根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，根据交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积计算该交互元素的当前情感温度值。

8.如权利要求1或2所述的方法，其特征在于，在所述交互元素提取步骤中，通过语义理解的方式对所述多模态交互信息进行解析，所述语义理解包括语言语义理解和/或视觉语义理解。

9.一种用于机器人的基于情感的人机交互装置，其特征在于，包括：

当前情感温度值确定模块，其用于根据所述当前交互时间以及当前交互元素，生成机器人记忆库中各个交互元素的当前情感温度值；

10.如权利要求9所述的装置，其特征在于，所述当前情感温度值确定模块还配置为利用机器人记忆库中各个交互元素的当前情感温度值替换机器人记忆库中对应的存储情感温度值，实现对所述机器人记忆库的更新。

11.如权利要求9或10所述的装置，其特征在于，所述当前交互元素包括以下所列项中的任一项或几项：

人、物体、事件和情景。

12.如权利要求9或10所述的装置，其特征在于，所述当前情感温度值确定模块配置为判断所述当前交互元素在所述机器人记忆库中是否存在，其中，

13.如权利要求12所述的装置，其特征在于，如果所述当前交互元素在所述机器人记忆库中存在，所述当前情感温度值确定模块则配置为根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，计算所述当前交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积与该存储情感温度值的和，确定所述当前交互元素的当前情感温度值。

14.如权利要求12所述的装置，其特征在于，如果所述当前交互元素在所述机器人记忆库中不存在，所述当前情感温度值确定模块则配置为根据所述当前交互元素与当前交互过程的相关度来确定所述当前交互元素的初始情感温度值。

15.如权利要求12所述的装置，其特征在于，如果所述机器人记忆库中包含除所述当前交互元素外的其它交互元素，所述当前情感温度值确定模块则配置为根据当前交互时间和前一交互过程的交互时间确定当前交互过程与前一交互过程的间隔时长并根据所述间隔时长计算所述当前交互过程的情感温度衰减系数，根据交互元素在所述机器人记忆库中的存储情感温度值和所述情感温度衰减系数的乘积计算该交互元素的当前情感温度值。

16.如权利要求9或10所述的装置，其特征在于，所述交互元素提取模块配置为通过语义理解的方式对所述多模态交互信息进行解析，所述语义理解包括语言语义理解和/或视觉语义理解。