CN107272885A - 一种用于智能机器人的人机交互方法及装置 - Google Patents

Abstract

一种用于智能机器人的人机交互方法及装置，其中，该方法包括：交互数据获取步骤，获取多模态交互数据；激活强度确定步骤，根据多模态交互数据，从预设机器人行为图谱中提取相关的陈述性记忆信息块，并计算各个陈述性记忆信息块的激活强度；主动输出数据生成步骤，根据各个陈述性记忆信息块的激活强度确定有效信息块，并根据有效信息块生成主动输出数据并输出。本方法将计算机领域的机器人行为图谱与生物学的神经网络的陈述性记忆激活强度相结合，来使得智能机器人能够实现对人类自主交互过程的模拟，这样也就使得智能机器人与用户之间的交互过程更加的人性化，从而提高了智能机器人的智能化水平以及用户体验。

Description

一种用于智能机器人的人机交互方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种用于智能机器人的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

在人机交互过程中，用户对智能机器人的交互需求日益增多，需要智能机器人不断提高自身的交互能力，实现与用户的多方面交互，满足用户的多种多样的用户需求。

在实现本发明的过程中，发明人发现现有人机交互方法通常只是对用户所输入的交互信息进行反馈，这样也就使得智能机器人与用户进行交互时只是机械地一问一答，从而使得智能机器人表现得较为呆滞，这严重影响了机器人的用户体验。

发明内容

为解决上述问题，本发明提供了一种用于智能机器人的人机交互方法，其包括：

交互数据获取步骤，获取多模态交互数据；

激活强度确定步骤，根据所述多模态交互数据，从预设机器人行为图谱中提取相关的陈述性记忆信息块，并计算各个陈述性记忆信息块的当前激活强度；

主动输出数据生成步骤，根据所述各个陈述性记忆信息块的当前激活强度确定有效信息块，并根据所述有效信息块生成主动输出数据并输出。

根据本发明的一个实施例，所述相关的陈述性记忆信息块包括以下所列项中的任一类或几类：

机器人历史行为、机器人爱好和机器人经历。

根据本发明的一个实施例，在所述激活强度确定步骤中，从所述多模态交互数据中提取环境特征，根据所述环境特征的注意力权重及其与各个信息块之间的相关度，基于各个陈述性记忆信息块的背景激活强度，计算各个陈述性记忆信息块的当前激活强度。

根据本发明的一个实施例，在所述激活强度确定步骤中，

分别计算各个环境特征的注意力权重及其与一陈述性记忆信息块之间的相关度的乘积，并对所得到的乘积取值进行求和，得到对应于该陈述性记忆信息块的激活强度变化值；

根据该陈述性记忆信息块的背景激活强度及其激活强度变化值，计算该陈述性记忆信息块的当前激活强度。

根据本发明的一个实施例，根据预设衰减值和各次交互过程的间隔时长来计算所述各个陈述性记忆信息块的背景激活强度。

根据本发明的一个实施例，在所述主动输出数据生成步骤中，

根据所述各个陈述性记忆信息块的激活强度计算各个陈述性记忆信息块的被采用概率；

根据所述各个陈述性记忆信息块的被采用概率确定所述有效信息块。

根据本发明的一个实施例，在所述主动输出数据生成步骤中，判断各个陈述性记忆信息块的被采用概率是否大于或等于预设被采用概率阈值，其中，

如果各个陈述性记忆信息块的被采用概率小于预设被采用概率阈值，则停止后续步骤，不进行主动人机交互；

如果存在被采用概率大于或等于预设被采用概率阈值的陈述性记忆信息块，则根据各个陈述性记忆信息块的被采用概率的取值大小确定所述有效信息块。

根据本发明的一个实施例，在所述主动输出数据生成步骤中，还根据所述有效信息块的激活强度计算所述有效信息块的被检索耗时，根据所述有效信息块的被检索耗时确定所述主动输出数据的输出时间。

根据本发明的一个实施例，在所述主动输出数据生成步骤中，根据所述有效信息块生成的主动输出数据包括多模态主动交互信息，所述多模态主动交互信息包括以下所列项中的任一项或几项：

语音交互信息、行为交互信息、图像交互信息和动作交互信息。

本发明还提供了一种用于智能机器人的人机交互装置，其包括：

交互数据获取模块，其用于获取多模态交互数据；

激活强度确定模块，其用于根据所述多模态交互数据，从预设机器人行为图谱中提取相关的陈述性记忆信息块，并计算各个陈述性记忆信息块的激活强度；

主动输出数据生成模块，其用于根据所述各个陈述性记忆信息块的激活强度确定有效信息块，并根据所有有效信息块生成主动输出数据并输出。

根据本发明的一个实施例，所述相关的陈述性记忆信息块包括以下所列项中的任一类或几类：

机器人历史行为、机器人爱好和机器人经历。

根据本发明的一个实施例，所述激活强度确定模块配置为从所述多模态交互数据中提取环境特征，根据所述环境特征的注意力权重及其与各个陈述性记忆信息块之间的相关度，基于各个陈述性记忆信息块的背景激活强度，计算各个陈述性记忆信息块的激活强度。

根据本发明的一个实施例，所述激活强度确定模块配置为：

分别计算各个环境特征的注意力权重及其与一陈述性记忆信息块之间的相关度的乘积，并对所得到的乘积取值进行求和，得到对应于该陈述性记忆信息块的激活强度变化值；

根据该陈述性记忆信息块的背景激活强度及其激活强度变化值，计算该陈述性记忆信息块的当前激活强度。

根据本发明的一个实施例，所述激活强度确定模块配置为根据预设衰减值和各次交互过程的间隔时长来计算所述各个陈述性记忆信息块的背景激活强度。

根据本发明的一个实施例，所述主动输出数据生成模块配置为根据所述各个陈述性记忆信息块的激活强度计算各个陈述性记忆信息块的被采用概率，并根据所述各个陈述性记忆信息块的被采用概率确定所述有效信息块。

根据本发明的一个实施例，所述主动输出数据生成模块配置为判断各个陈述性记忆信息块的被采用概率是否大于或等于预设被采用概率阈值，其中，

如果各个陈述性记忆信息块的被采用概率小于预设被采用概率阈值，所述主动输出数据生成模块则配置为停止后续步骤，不进行主动人机交互；

如果存在被采用概率大于或等于预设被采用概率阈值的陈述性记忆信息块，所述主动输出数据生成模块则配置为根据各个陈述性记忆信息块的被采用概率的取值大小确定所述有效信息块。

根据本发明的一个实施例，所述主动输出数据生成模块配置为还根据所述有效信息块的激活强度计算所述有效信息块的被检索耗时，根据所述有效信息块的被检索耗时确定所述主动输出数据的输出时间。

根据本发明的一个实施例，所述主动输出数据生成模块根据所述有效信息块生成的主动输出数据包括多模态主动交互信息，所述多模态主动交互信息包括以下所列项中的任一项或几项：

语音交互信息、行为交互信息、图像交互信息和动作交互信息。

本发明所提供的用于智能机器人的人机交互方法将计算机领域的机器人行为图谱与生物学的神经网络的陈述性记忆激活强度相结合，来使得智能机器人能够实现对人类自主交互过程的模拟，这样也就使得智能机器人与用户之间的交互过程更加的人性化，从而提高了智能机器人的智能化水平以及用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于智能机器人的人机交互方法的实现流程示意图；

图2是根据本发明另一个实施例的用于智能机器人的人机交互方法的实现流程示意图；

图3是根据本发明一个实施例的机器人行为图谱的示意图；

图4是根据本发明另一个实施例的用于智能机器人的人机交互方法的实现流程示意图；

图5是根据本发明一个实施例的用于智能机器人的人机交互方法的应用场景示意图；

图6是根据本发明另一个实施例的用于智能机器人的人机交互方法的应用场景示意图；

图7是根据本发明一个实施例的用于智能机器人的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

对于现有的用于智能机器人的人机交互方法来说，其多数只能够根据用户所输入的交互数据来被动地与用户进行交互，即需要由用户向智能机器人发起交互。现有的这种人机交互方法会使得智能机器人表现得智能性较低，与用户的交互次数较少，影响智能机器人的用户体验。

针对现有方法所存在的上述问题，本发明提供了一种新的用于智能机器人的人机交互方法，该方法将机器人行为图谱与生物学的神经网络的陈述性记忆激活强度进行结合，来使得智能机器人能够根据当前场景主动地与用户进行交互。

为了更加清楚地阐述本发明所提供的用于智能机器人的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对该人机交互方法作进一步地说明。

实施例一：

图1示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图1所示，本实施例所提供的人机交互方法首先在步骤S101中获取多模态交互数据。具体地，本实施例中，该方法在步骤S101中所获取到的多模态交互数据既可以包括图像数据，也可以包括音频数据和/或温度数据等交互数据。当然，在本发明的其他实施例中，该方法在步骤S101中所获取到的多模态交互数据还可以包括其他合理形式的交互数据，抑或是以上所列形式的交互数据与其他未列出的其他合理形式的交互数据中两种或多种不同形式的交互数据的组合，本发明不限于此。

在得到多模态交互数据后，该方法会在步骤S102中根据上述步骤S101中所获取到的多模态交互数据，从预设机器人行为图谱中提取相关的陈述性记忆信息块，并在步骤S103中计算步骤S102中所提取出的各个陈述性记忆信息块的当前激活强度。

本实施例中，陈述性记忆是指能够用语言来描述的对事件事实情景及其联系的记忆，而陈述性记忆优选地可以包括情景性记忆和语义性记忆。其中，情景性记忆是指有关个人生活经验的记忆，其又可以称为自传性记忆；语义性记忆是指个体对周围世界中一切事物的认知，特别是对代表事物的抽象符号意义的了解，语义性记忆是人类知识的基础。

本实施例中，智能机器人的机器人行为图谱中存储有陈述性记忆信息块，这些陈述性记忆信息块的分类优选地包括诸如机器人历史行为、机器人爱好以及机器人经历等。当然，在本发明的其他实施例中，机器人行为图谱中所包含的陈述性记忆信息块的类别既可以仅包含以上所列类别中的某一种或某几种，也可以包含其他未列出的合理类别，抑或是以上所列出的类别与其他未列出的类别的合理组合，本发明不限于此。

本实施例中，通过利用机器人行为图谱来进行分析，可以对机器人的兴趣和/或行为习惯进行推断。例如，该方法利用机器人行为图谱可以分析机器人行为图谱中各个主体之间的关系，以发现机器人的新兴趣或者重新评估已有兴趣的现有级别的量化。同时，随着用户与机器人的交互过程的增多，该方法可以得到越来越多的关于机器人的相关数据，利用这些数据可以对机器人行为图谱进行更新，从而使得机器人行为图谱能够更加准确地反映智能机器人的兴趣和/或行为习惯。

本实施例中，机器人行为图谱优选地包括本体/元数据组件和知识数据库。根据实际需要，知识数据库可以是一个或多个数据库的集合，其中，一个或多个数据库可以与服务器、网络、其他系统组件或者其他计算设备相关联地存储。本体/元数据组件和指示数据库的内容可以以包括在线或离线的各种方式存储并且能够位于诸如分布式文件系统中。其中，知识数据库优选地包括至少诸如机器人历史行为图、机器人爱好图以及机器人经历图中的至少一个。

如图1所示，在得到各个陈述性记忆信息块的当前激活强度后，该方法会在步骤S104中根据步骤S103中所得到的各个陈述性记忆信息块的当前激活强度来确定出有效信息块。

在确定出有效信息块后，由于有效信息块中包含了该智能机器人的一些爱好信息和/或行为习惯信息，因此该方法也就在步骤S105中根据上述有效信息块来生成主动输出数据并输出。

本实施例中，该方法在步骤S105中所生成的主动输出数据包括多模态主动交互信息。其中，在不同情况下，上述多模态主动交互信息可以包括语音交互信息、图像交互信息以及动作交互信息中的任一项或几项。当然，在本发明的其他实施例中，根据实际需要，该方法在步骤S105中所生成的多模态主动交互信息还可以为其他合理形式的信息，本发明不限于此。

从上述描述中可以看出，本实施例所提供的用于智能机器人的人机交互方法将计算机领域的机器人行为图谱与生物学的神经网络的陈述性记忆的激活强度相结合，来使得智能机器人能够实现对人类自主交互过程的模拟，这样也就使得智能机器人与用户之间的交互过程更加的人性化，从而提高了智能机器人的智能化水平以及用户体验。

实施例二：

图2示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图2所示，本实施例所提供的人机交互方法首先在步骤S201中获取多模态交互数据。需要指出的是，本实施例中，步骤S201中实现原理及实现过程与上述实施例一中步骤S101的实现原理以及实现过程类似，故在此不再对步骤S201的相关内容进行赘述。

在得到多模态交互数据后，该方法会在步骤S202中对上述多模态交互数据进行处理，从而从上述多模态交互数据中提取出环境特征。例如，该方法在步骤S201中所获取到的多模态交互数据中包含了温度数据，那么该方法在步骤S202中也就可以从上述多模态数据中确定出当前气温值。

该方法随后会根据步骤S202中所提取出的环境特征来计算预设机器人行为图谱中与上述环境特征相关的各个陈述性记忆信息块的当前激活强度。其中，陈述性记忆信息块的当前激活强度主要取决于该陈述性记忆信息块的背景激活强度以及陈述性记忆信息块的激活强度变化值。其中，本实施例中，陈述性记忆信息块的激活强度变化值优选地可以通过作为当前目标的一部分的环境特征的注意力权重以及环境特征与该陈述性记忆信息块之间的相关度计算得到。

因此，如图2所示，本实施例中，该方法会在步骤S203中获取各个相关的陈述性记忆信息块的背景激活强度。具体地，该方法在步骤S203中根据从上次交互过程到当前交互过程的时长以及预设衰减值来计算陈述性记忆信息块的背景激活强度。其中，本实施例中，该方法优选地根据如下表达式来计算陈述性记忆信息块的背景激活强度：

其中，B_i表示陈述性记忆信息块i的背景激活强度，t_k表示从第k-1次交互过程到第k次交互过程的时长，n表示当前交互过程的所属次数，d表示预设衰减值。本实施例中，预设衰减值d的取值优选地配置为0.5。当然，在本发明的其他实施例中，预设衰减值d的取值还可以配置为其他合理值，本发明不限于此。

在得到各个相关的陈述性记忆信息块的背景激活强度后，该方法会在步骤S204中根据步骤S202中所提取出的环境特征的注意力权重以及环境特征与各个陈述性记忆信息块之间的相关度，基于各个陈述性记忆信息块的背景激活强度来计算各个陈述性记忆信息块的当前激活强度(即在当前交互过程的激活强度)。

具体地，本实施例中，在计算陈述性记忆信息块的激活强度的过程中，对于任一陈述性记忆信息块，该方法优选地首先计算各个环境特征的注意力权重与对应的各个环境特征与该陈述性记忆信息块之间的相关度的乘积，从而得到多个乘积值，随后再对所得到的这些乘积取值进行求和，从而得到对应于该陈述性记忆信息块的激活强度变化值。基于相同原理，该方法也就可以得到各个陈述性记忆信息块的激活强度变化值。

在得到各个陈述性记忆信息块的激活强度变化值后，该方法也就可以根据各个陈述性记忆信息块的背景激活强度及其各自的激活强度变化值，来计算得到各个陈述性记忆信息块的当前激活强度。具体地，本实施例中，该方法通过计算各个陈述性记忆信息块的背景激活强度与其各自激活强度变化值之和来得到各个陈述记忆信息块的当前激活强度。

本实施例中，环境特征与各个陈述性记忆信息块之间的相关度可以根据最大相关强度以及与该环境特征相关的所有陈述性记忆信息块的数量求得。具体地，该方法首先计算与该环境特征相关的所有陈述性记忆信息块的总数的以e为底的对数值，随后计算最大相关强度与上述对数值的差值，从而得到该环境特征与各个陈述性记忆信息块的相关度。

需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理方法来计算环境特征与各个陈述性记忆信息块之间的相关度，本发明不限于此。

如图2所示，该方法在步骤S205中会根据步骤S204中所得到的各个陈述性记忆信息块的激活强度来计算各个陈述性记忆信息块的被采用概率，即在当前交互过程中各个陈述性记忆信息块被检索出的可能性。

具体地，本实施例中，该方法优选地根据如下表达式来计算各个陈述性记忆信息块的被采用概率：

其中，P_i表示陈述性记忆信息块i的被采用概率，A_i表示陈述性记忆信息块i的激活强度，τ表示激活强度阈值，s表示随机噪声值。本实施例中，随机噪声值s的取值优选地配置为0.4，当然，在本发明的其他实施例中，随机噪声值s的取值还可以配置为其他合理值，本发明不限于此。

在得到各个陈述性记忆信息块的被采用概率后，该方法也就可以在步骤S206中来根据各个陈述性记忆信息块的被采用概率的取值来确定出有效信息块。本实施例中，该方法优选地将被采用概率最大的陈述性记忆信息块来作为有效信息块。当然，在本发明的其他实施例中，该方法还可以采用其他合理的方式来根据被采用概率的取值来确定有效信息块，本发明不限于此。例如，在本发明的一个实施例中，该方法还可以从被采用概率大于预设概率阈值的所有陈述性记忆信息块中随机选取某一陈述性记忆信息块来作为有效信息块。

根据步骤S206中所确定出的有效信息块，该方法可以在步骤S207中来根据上述有效信息块生成相应的主动输出数据并输出。

例如，如图3所示，预设机器人知识图谱中包括有多个节点(即陈述性记忆信息块)，这些节点包括了机器人爱好(包括机器人爱好1至机器人爱好4)以及机器人行为(包括机器人行为1至机器人行为4)等。各个陈述性记忆信息块都被赋予了初始的背景激活强度。在设置了初始时间值的情况下，随着时间的推移，各个时间点的背景激活强度有一定的衰减值，这样基于各个陈述性记忆信息块的初始北京激活强度以及衰减值，该方法也就可以计算得到各个陈述性记忆信息块在各个时间点的背景激活强度。

基于各个陈述性记忆信息块的背景激活强度，该方法可以分别计算得到各个陈述性记忆信息块的激活强度。例如，对于机器人爱好1，该方法可以计算出其对应的激活强度A1；对于机器人爱好2，该方法可以计算出其对应的激活强度A2；…。在得到各个陈述性记忆信息块的激活强度后，该方法也就可以进一步就算得到各个陈述性记忆信息块的被采用概率。例如，对应机器人爱好1，该方法可以计算出其对应的被采用概率P1；对应机器人爱好2，该方法可以计算出其对应的被采用概率P2；…。根据各个陈述性记忆信息块的被采用概率，该方法也就可以确定出大概率的节点(例如被采用概率大于预设概率的节点)所对应的机器人行为或机器人爱好，该方法进而可以根据这些机器人行为和/或机器人爱好来生成相应的主动输出数据，从而触发智能机器人与用户的自主交互行为。

本实施例中，根据实际需要，该方法还可以根据各个陈述性记忆信息块的当前激活强度来计算各个陈述性记忆信息块的被检索耗时。对于有效信息块而言，该方法可以根据有效信息块的被检索耗时来确定出主动输出数据的输出时间。其中，当陈述性记忆信息块的当前激活强度越大，那么其被检索耗时也就越短，这样在根据该陈述性记忆信息块生成主动输出数据时智能机器人所表现出的停顿时长也就越短，从而提高了智能机器人的反应速度和用户体验。

具体地，本实施例中，该方法优选地根据如下表达式来计算各个陈述性记忆信息块的被检索耗时：

其中，T_i表示陈述性记忆信息块i的被检索耗时。本实施例中，F的取值优选地根据如下表达式计算得到：

F＝0.35e^τ (4)

需要指出的是，在本发明的其他实施例中，该方法还可以采用其他合理的方式来计算各个陈述性记忆信息块的被检索耗时，本发明不限于此。

实施例三：

图4示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图4所示，本实施例所提供的人机交互方法首先在步骤S401中获取多模态交互数据。需要指出的是，本实施例中，步骤S401中实现原理及实现过程与上述实施例一中步骤S101的实现原理以及实现过程类似，故在此不再对步骤S401的相关内容进行赘述。

随后，该方法会在步骤S402中将上述步骤S401中所得到的多模态交互数据上传至云端服务器，以由云端服务器来根据上述多模态交互数据来确定出相应的有效信息块。本实施例中，通过将多模态交互数据的数据处理过程以及有效信息块的确定过程交由云端服务器来进行处理，可以降低对智能机器人数据处理性能的要求，这样不仅可以有效降低智能机器人的硬件以及软件成本，还有助于提高数据处理效率，从而使得智能机器人能够更加及时、准确地基于所获取到的多模态交互数据与用户进行主动交互。

如图4所示，本实施例中，云端服务器在接收到智能机器人所传输来的多模态交互数据后，会在步骤S403中从上述多模态交互数据中提取出环境特征，随后该方法会在步骤S404中根据上述环境特征从预设机器人行为图谱中确定出相关的陈述性记忆信息块并获取各个陈述性记忆信息块的背景激活强度，随后在步骤S405中根据环境特征的注意力权重及其与各个陈述性信息块之间的相关度，来基于其各自的背景激活强度来计算得到各个陈述性记忆信息块的当前激活强度。在得到各个陈述性记忆信息块的当前激活强度后，该方法会在步骤S406中进一步根据各个陈述性记忆信息块的当前激活强度来计算各个陈述性记忆信息块的被采用概率。

具体地，本实施例中，上述步骤S403至步骤S406的实现原理以及实现过程与上述实施例二中步骤S202值步骤S205所涉及的内容类似，故在此不再对步骤S403至步骤S406的相关内容进行赘述。

本实施例中，各个陈述性记忆信息块的被采用概率也可以视为其在机器人行为图谱中被检索出的概率。当然，在本发明的其他实施例中，该方法还可以采用其他合理的方式来计算各个陈述性记忆信息块的被采用概率。

如图4所示，在得到各个陈述性记忆信息块的被采用概率后，该方法会在步骤S407中进一步判断上述各个陈述性记忆信息块的被采用概率是否均小于预设被采用概率阈值。其中，如果各个陈述性记忆信息块的被采用概率均小于预设被采用概率阈值，那么该方法则会停止后续步骤，这样智能机器人也就不会与用户进行主动人机交互；而如果存在被采用概率大于预设被采用概率阈值的陈述性记忆信息块，那么该方法则会在步骤S408中根据各个陈述性记忆信息块的被采用概率的取值大小来确定出有效信息块。当然，在本发明的不同实施例中，上述预设被采用概率阈值可以根据实际需要配置为不同的合理值，本发明并不对上述预设被采用概率阈值的具体取值进行限定。

本实施例中，该方法在步骤S408中可以将被采用概率最大的陈述性记忆信息块来作为有效信息块。当然，在本发明的其他实施例中，该方法还可以采用其他合理的方式来根据被采用概率的取值来确定有效信息块，本发明不限于此。例如，在本发明的一个实施例中，该方法还可以从被采用概率大于预设概率阈值的所有陈述性记忆信息块中随机选取某一陈述性记忆信息块来作为有效信息块。

云端服务器在得到有效信息块后，会在步骤S409中将该有效信息块发送至智能机器人，以由智能机器人在步骤S410中根据上述有效信息块来生成相应的主动输出数据并输出。本实施例中，智能机器人根据有效信息块生成主动输出数据的原理以及过程优选地与上述实施例一中步骤S105类似，故在此不再对步骤S410的相关内容进行赘述。

图5示出了本实施例所提供的用于智能机器人的人机交互方法的一个典型的应用场景示意图。

如图5所示，智能机器人501可以通过自身所配置的图像采集设备(例如摄像头等)来获取显示器504中所显示的图像。智能机器人501会将获取到的图像信息传输至云端服务器505，以由云端服务器505进行相应的数据处理。假设显示器504中所显示的图像为有人在大海的画面，那么云端服务器505在接收到该图像信息后，基于上述人机交互方法会从该图像信息中提取到诸如“大海”的环境特征。根据该环境特征，基于上述人机交互方法，云端服务器505利用机器人行为图谱可以确定出机器人爱好“游泳”的被采用概率最大，那么云端服务器505会将机器人爱好游泳这一信息传输至智能机器人，这样智能机器人501也就会生成诸如“我们去游泳吧，我最喜欢游泳了”的语音信息，并将该语音信息向用户502进行广播。

再例如，智能机器人501可以通过自身所配置的光线感应传感器来获取当前环境中的光线强度。当当前环境中的光纤强度小于预设光线强度阈值时，基于上述人机交互方法，云端服务器505将会提取到诸如“天黑”的环境特征。根据该环境特征，基于上述人机交互方法，云端服务器505利用机器人行为图谱可以确定出机器人习惯“怕黑”的被采用概率最大，那么此时智能机器人501也就会生成诸如“我最怕黑了，能帮我把灯打开么”的语音信息，从而督促用户502打开灯503。

当然，根据实际需要，该人机交互方法在实现过程中还可以利用智能机器人来根据所获取到的多模态交互数据确定出相应的有效信息块，并根据有效信息块生成相应的主动输出数据并输出，该方法也就可以在如图6所示的交互场景中进行应用。

本发明还提供了一种用于智能机器人的人机交互装置，图7示出了本实施例中该人机交互装置的结构示意图。

如图7所示，本实施例所提供的人机交互装置优选地包括：交互数据获取模块701、激活强度确定模块703以及主动输出数据生成模块703。其中，交互数据获取模块701用于获取多模态交互数据。需要指出的是，根据所需要获取的交互数据的不同，交互数据获取模块701可以采用不同的电路或器件来实现，本发明不限于此。例如，交互数据获取模块701可以利用图像采集设备以获取图像信息，可以利用温度传感器来获取温度信息，可以利用音频传感器来获取音频信息。

激活强度确定模块702与交互数据获取模块701连接，其能够根据交互数据获取模块701所传输来的多模态交互数据，从预设机器人行为图谱中提取出相关的陈述性记忆信息块，并计算各个陈述性记忆信息块的激活强度，随后再将计算得到的各个陈述性记忆信息块的激活强度传输至与之连接的主动输出数据生成模块703。

本实施例中，主动输出数据生成模块703能够根据所接收到的各个陈述性记忆信息块的激活强度来确定出有效信息块，并根据该有效信息块来生成主动输出数据并输出，从而触发智能机器人与用户的自主交互行为。

需要指出的是，本实施例中，交互数据获取模块701、激活强度确定模块703以及主动输出数据生成模块703实现其各自功能的具体原理以及过程既可以与上述实施例一中步骤S101至步骤S105所阐述的内容相同，也可以与上述实施例二中步骤S201至步骤S207所阐述的内容相同，还可以与上述实施例三中步骤S401至步骤S410所阐述的内容相同，故在此不再对交互数据获取模块701、激活强度确定模块703以及主动输出数据生成模块703的相关内容进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (18)

1.一种用于智能机器人的人机交互方法，其特征在于，包括：

交互数据获取步骤，获取多模态交互数据；

激活强度确定步骤，根据所述多模态交互数据，从预设机器人行为图谱中提取相关的陈述性记忆信息块，并计算各个陈述性记忆信息块的当前激活强度；

主动输出数据生成步骤，根据所述各个陈述性记忆信息块的当前激活强度确定有效信息块，并根据所述有效信息块生成主动输出数据并输出。

2.如权利要求1所述的方法，其特征在于，所述相关的陈述性记忆信息块包括以下所列项中的任一类或几类：

机器人历史行为、机器人爱好和机器人经历。

3.如权利要求1或2所述的方法，其特征在于，在所述激活强度确定步骤中，从所述多模态交互数据中提取环境特征，根据所述环境特征的注意力权重及其与各个信息块之间的相关度，基于各个陈述性记忆信息块的背景激活强度，计算各个陈述性记忆信息块的当前激活强度。

4.如权利要求3所述的方法，其特征在于，在所述激活强度确定步骤中，

分别计算各个环境特征的注意力权重及其与一陈述性记忆信息块之间的相关度的乘积，并对所得到的乘积取值进行求和，得到对应于该陈述性记忆信息块的激活强度变化值；

根据该陈述性记忆信息块的背景激活强度及其激活强度变化值，计算该陈述性记忆信息块的当前激活强度。

5.如权利要求3或4所述的方法，其特征在于，根据预设衰减值和各次交互过程的间隔时长来计算所述各个陈述性记忆信息块的背景激活强度。

6.如权利要求1～5中任一项所述的方法，其特征在于，在所述主动输出数据生成步骤中，

根据所述各个陈述性记忆信息块的激活强度计算各个陈述性记忆信息块的被采用概率；

根据所述各个陈述性记忆信息块的被采用概率确定所述有效信息块。

7.如权利要求6所述的方法，其特征在于，在所述主动输出数据生成步骤中，判断各个陈述性记忆信息块的被采用概率是否大于或等于预设被采用概率阈值，其中，

如果各个陈述性记忆信息块的被采用概率小于预设被采用概率阈值，则停止后续步骤，不进行主动人机交互；

如果存在被采用概率大于或等于预设被采用概率阈值的陈述性记忆信息块，则根据各个陈述性记忆信息块的被采用概率的取值大小确定所述有效信息块。

8.如权利要求6或7所述的方法，其特征在于，在所述主动输出数据生成步骤中，还根据所述有效信息块的激活强度计算所述有效信息块的被检索耗时，根据所述有效信息块的被检索耗时确定所述主动输出数据的输出时间。

9.如权利要求1～8中任一项所述的方法，其特征在于，在所述主动输出数据生成步骤中，根据所述有效信息块生成的主动输出数据包括多模态主动交互信息，所述多模态主动交互信息包括以下所列项中的任一项或几项：

语音交互信息、行为交互信息、图像交互信息和动作交互信息。

10.一种用于智能机器人的人机交互装置，其特征在于，包括：

交互数据获取模块，其用于获取多模态交互数据；

激活强度确定模块，其用于根据所述多模态交互数据，从预设机器人行为图谱中提取相关的陈述性记忆信息块，并计算各个陈述性记忆信息块的激活强度；

主动输出数据生成模块，其用于根据所述各个陈述性记忆信息块的激活强度确定有效信息块，并根据所有有效信息块生成主动输出数据并输出。

11.如权利要求10所述的装置，其特征在于，所述相关的陈述性记忆信息块包括以下所列项中的任一类或几类：

机器人历史行为、机器人爱好和机器人经历。

12.如权利要求10或11所述的装置，其特征在于，所述激活强度确定模块配置为从所述多模态交互数据中提取环境特征，根据所述环境特征的注意力权重及其与各个陈述性记忆信息块之间的相关度，基于各个陈述性记忆信息块的背景激活强度，计算各个陈述性记忆信息块的激活强度。

13.如权利要求12所述装置，其特征在于，所述激活强度确定模块配置为：

分别计算各个环境特征的注意力权重及其与一陈述性记忆信息块之间的相关度的乘积，并对所得到的乘积取值进行求和，得到对应于该陈述性记忆信息块的激活强度变化值；

根据该陈述性记忆信息块的背景激活强度及其激活强度变化值，计算该陈述性记忆信息块的当前激活强度。

14.如权利要求12或13所述的装置，其特征在于，所述激活强度确定模块配置为根据预设衰减值和各次交互过程的间隔时长来计算所述各个陈述性记忆信息块的背景激活强度。

15.如权利要求10～14中任一项所述的装置，其特征在于，所述主动输出数据生成模块配置为根据所述各个陈述性记忆信息块的激活强度计算各个陈述性记忆信息块的被采用概率，并根据所述各个陈述性记忆信息块的被采用概率确定所述有效信息块。

16.如权利要求15所述的装置，其特征在于，所述主动输出数据生成模块配置为判断各个陈述性记忆信息块的被采用概率是否大于或等于预设被采用概率阈值，其中，

如果各个陈述性记忆信息块的被采用概率小于预设被采用概率阈值，所述主动输出数据生成模块则配置为停止后续步骤，不进行主动人机交互；

如果存在被采用概率大于或等于预设被采用概率阈值的陈述性记忆信息块，所述主动输出数据生成模块则配置为根据各个陈述性记忆信息块的被采用概率的取值大小确定所述有效信息块。

17.如权利要求15或16所述的装置，其特征在于，所述主动输出数据生成模块配置为还根据所述有效信息块的激活强度计算所述有效信息块的被检索耗时，根据所述有效信息块的被检索耗时确定所述主动输出数据的输出时间。

18.如权利要求10～17中任一项所述的装置，其特征在于，所述主动输出数据生成模块根据所述有效信息块生成的主动输出数据包括多模态主动交互信息，所述多模态主动交互信息包括以下所列项中的任一项或几项：

语音交互信息、行为交互信息、图像交互信息和动作交互信息。