CN105807933B - 一种用于智能机器人的人机交互方法及装置 - Google Patents

Abstract

一种用于智能机器人的人机交互方法及装置，该方法包括：输入信息获取步骤，获取用户输入的多模态人机交互信息；情感信息确定步骤，利用预设情感处理模型确定多模态人机交互信息的用户情感信息；反馈信息输出步骤，利用预设思维处理方法确定对应于多模态人机交互信息的思维反馈信息，根据用户情感信息和思维反馈信息，生成对应于多模态人机交互信息的多模态情感反馈信息并输出。该方法能够使得智能机器人所输出的反馈信息更加多样化和丰富，使得智能机器人表现得更具有拟人化的情感反馈特性，从而提高了智能机器人的用户体验。

Description

一种用于智能机器人的人机交互方法及装置

技术领域

本发明涉及人机交互技术领域，具体地说，涉及一种用于智能机器人的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人。

现有的智能机器人仅能完成固定制式的交互，例如完成唱歌、讲故事、播报新闻和简单问题回答等。

然而，现有的人机交互方法造成智能机器人本质上是一个只会回答问题，的机器，而非一个能够与用户进行有效互动的“人”，这也就导致了现有的智能机器人用户体验差的问题。

发明内容

为解决上述问题，本发明提供了一种用于智能机器人的人机交互方法，所述方法包括：

输入信息获取步骤，获取用户输入的多模态人机交互信息；

情感信息确定步骤，利用预设情感处理模型确定所述多模态人机交互信息的用户情感信息；

反馈信息输出步骤，利用预设思维处理方法确定对应于所述多模态人机交互信息的思维反馈信息，根据所述用户情感信息和所述思维反馈信息，生成对应于所述多模态人机交互信息的多模态情感反馈信息并输出。

根据本发明的一个实施例，在所述反馈信息输出步骤中，还获取智能机器人的机器情感信息，并结合所述机器情感信息生成对应于所述多模态人机交互信息的多模态情感反馈信息。

根据本发明的一个实施例，所述预设情感模型是利用已知的人机交互信息构建得到的。

根据本发明的一个实施例，所述多模态人机交互信息包括以下所列项中的任一项或几项：

文字信息、图像信息、肢体信息和语音信息；

其中，所述语音信息的有效信息包括：语气信息、语调信息和语义信息；

所述图像信息的有效信息包括表情信息。

根据本发明的一个实施例，所述多模态情感反馈信息包括以下所列项中的任一项或几项：

图像反馈信息、肢体反馈信息和语音反馈信息。

根据本发明的一个实施例，在所述反馈信息输出步骤中，生成语音反馈信息的步骤包括：

根据所述情感信息确定对应的语气信息和语调信息；

根据所述语气信息、语调信息和所述思维反馈信息生成相应的语音反馈信息。

本发明还提供了一种用于智能机器人的人机交互装置，所述装置包括：

输入信息获取模块，其用于获取用户输入的多模态人机交互信息；

情感信息确定模块，其用于利用预设情感处理模型确定所述多模态人机交互信息的用户情感信息；

反馈信息输出模块，其用于利用预设思维处理方法确定对应于所述多模态人机交互信息的思维反馈信息，根据所述用户情感信息和所述思维反馈信息，生成对应于所述多模态人机交互信息的多模态情感反馈信息并输出。

根据本发明的一个实施例，所述反馈信息输出模块配置为还获取智能机器人的机器情感信息，并结合所述机器情感信息生成对应于所述多模态人机交互信息的多模态情感反馈信息。

根据本发明的一个实施例，所述预设情感模型是利用已知的人机交互信息构建得到的。

根据本发明的一个实施例，所述多模态人机交互信息包括以下所列项中的任一项或几项：

文字信息、图像信息、肢体信息和语音信息；

其中，所述语音信息的有效信息包括：语气信息、语调信息和语义信息；

所述图像信息的有效信息包括表情信息。

根据本发明的一个实施例，所述多模态情感反馈信息包括以下所列项中的任一项或几项：

图像反馈信息、肢体反馈信息和语音反馈信息。

根据本发明的一个实施例，所述反馈信息输出模块配置为生成语音反馈信息时，首先根据所述情感信息确定对应的语气信息和语调信息，随后根据所述语气信息、语调信息和所述思维反馈信息生成相应的语音反馈信息。

智能机器人通过本发明所提供的人机交互方法和装置所输出的反馈信息更加多样化和丰富，其能够更加接近于“人”的反馈，这样也就使得智能机器人表现得更具有拟人化的情感反馈特性，从而提高了智能机器人的用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于智能机器人的人机交互方法的流程图；

图2是根据本发明另一个实施例的用于智能机器人的人机交互方法的流程图；

图3是根据本发明一个实施例的用于智能机器人的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

传统的智能机器人在进行人机交互时，都是通过单一的“问”和“答”这样的逻辑思维进行处理，这种人机交互方法不会考虑在用户处于不同情感状态下时，就同一问题智能智能机器人应该给予不同的回应或有差异地进行响应。而现有的人机交互方法也就使得智能机器人本质上是一个只会回答问题的机器，而不是具有特定人类情感元素的“人”。

为此，本发明提供了一种新的用于智能机器人的人机交互方法。在智能机器人与用户进行交互的过程中，用户的言行举止都可能带有一定的情感信息。本发明所提供的方法正是通过人机交互过程中用户的行为举止来确定出用户此时的情感信息，并将该情感信息与逻辑思维处理得到的逻辑反馈信息相结合，从而得到能够考虑到用户当前情感状态的反馈信息，这样也就使得智能机器人能够表现得更加人性化，从而提高智能机器人的用户体验。

为了更加清楚地阐述本发明所提供的人机交互方法的原理、实现过程以及优点，以下分别通过不同的实施例来对该方法进行进一步地说明。

实施例一：

图1示出了本实施例所提供的用于智能机器人的人机交互方法的流程图。

如图1所示，该方法首先在输入信息获取步骤S101中获取用户输入的多模态人机交互信息。本实施例中，为了使得智能机器人能够更加方便地与用户进行交互，该方法在步骤S101中所能够获取的多模态人机交互信息优选地包括：文字信息、图像信息、肢体信息和语音信息。

需要指出的是，本实施例中，文字信息既可以是通过对语音信息进行文本转换得到的信息，也可以是用户直接通过实体或虚拟键盘输入的信息，本发明不限于此。

图像信息优选地包括用户表情信息。其中，图像信息可以通过配置在智能机器人壳体上的摄像头来拍摄得到。

肢体信息优选地包括用户的手势信息和/或动作信息。用户的手势信息和动作信息均可以在一定程度上反映出用户当前的情感状态。例如对于手势信息来说，用户手势的加强通常会反映出一种强调的心态，而用户身体某一部位的不停摆动则通常会反映出用于此时存在情绪紧张的倾向。

其中，本实施例中，用户手势信息既可以选择通过对包含有用户手部信息的图像进行手势识别来得到，也可以选择通过摄像头来获得。而用户的动作信息既可以选择通过摄像头来获得，也可以通过设置在智能机器人壳体上的传感器来获得。

具体地，智能机器人壳体上的不同位置处分布有传感器，当用户触摸到某一个或某几个传感器时，通过这些传感器所反应出的信号即可确定出用户触摸智能机器人壳体的力度以及坐标等信息。

语音信息主要是指用户所发出的有声语言的信息。语音信息中还有语气、语调等特征信息，而这些特征信息能够有效地反映出用户的当前情感状态。例如人们在利用电话进行沟通时，虽然通话双方彼此看不到，但是仍能够通过语气或语调来感觉出对方的情绪变化。具体地，对于“你真行”这句话，不同的说话语气和语调可能使得这句话听起来是赞赏的话，也可能使得这句话听起来是讽刺或忌妒的话。

需要指出的是，在本发明的其他实施例中，根据实际需要，该方法在步骤S101中所能够获取到的多模态人机交互信息既可以仅为以上所列项中的任一项或几项，也可以包含未列出的其他合理信息，本发明不限于此。

再次如图1所示，在获得用户输入的多模态人机交互信息后，该方法在情感信息确定步骤S102中利用预设情感处理模型确定多模态人机交互信息所表征的用户情感信息。

本实施例中，在步骤S102中所使用的预设情感模型是利用已知的人机交互信息事先构建得到的。该情感模型在接收到用户输入的多模态人机交互信息后，会对多模态人机交互信息进行预处理和信息提取，以从多模态人机交互信息中提取出有效信息，随后将各类有效信息进行信息合并统一，并利情感计算算法对统一得到的数据进行分析计算，从而得到相应情感的情感特征值。

需要指出的是，本实施例中，上述情感特征值是多维度的，其能够综合并明确地代表一种特定的情感状态。

此外，还需要说明的是，在本发明的其他实施例中，预设情感处理模块还可以采用其他合理方式来确定出多模态人机交互信息所表征的用户情感，本发明不限于此。

在得到多模态人机交互信息所表征的用户情感信息后，该方法在步骤S103中利用预设思维处理方法确定出对应于该多模态人机交互信息的思维反馈信息。本实施例中，在步骤S103中所得到的思维反馈信息是在不考虑用户情感状态的情况下所得到的反馈信息。

由于步骤S103中所得到的思维反馈信息仅仅是对输入信息的一种逻辑反馈，其无法生动地表现出情感状态，因此本实施例中在步骤S104中利用步骤S102中得到的用户情感信息和步骤S103中得到的思维反馈信息进行信息计算处理，二者会相互产生影响，从而使得最终输出给用户的反馈信息的内容以及形式更加丰富和多样化，从而使得智能机器人更多地体现出“人”的特征。

因此如图1所示，本实施例所提供的方法在步骤S104中，根据步骤S102中所得到的用户情感信息和步骤S103中所得到的思维反馈信息生成对应于多模态人机交互信息的多模态反馈信息，并将该反馈信息进行输出。

具体地，该方法在步骤S104中可以根据步骤S102中所得到的用户情感信息来确定将步骤S103中思维反馈信息转换为语音信息时的语调信息以及语调信息等，并最后生成并输出相应的语音反馈信息。

例如，当用户输入的多模态人机交互信息为语音信息“你现在好嘛”，智能机器人通过现有的人机交互方法所生成和输出的反馈信息很可能是诸如“我不好”等语音信息，这种反馈信息没有任何语气成分且形式单一。而智能机器人通过本实施例所提供的人机交互方法所生成和输出的反馈信息则可以是诸如，结合思维反馈信息对于当前场景的分析，将输出的句式进行整合，以拟人的思维模式，表达为“我不开心，哼”等语音信息。同时，作为多模态输出，此时智能机器人的面部可以显示出微怒的表情，此外，智能机器人的头部还可以呈45°上扬的状态。

由此可见，智能机器人通过本实施例提供的人际交互方法所输出的反馈信息更加多样化和丰富，其能够更加接近于“人”的反馈，这样也就使得智能机器人表现得更具有拟人化的情感反馈特性，从而提高了智能机器人的用户体验。

实施例二：

图2示出了本实施例所提供的用于智能机器人的人机交互方法的流程图。

如图2所示，该方法首先在输入信息获取步骤S201中获取用户输入的多模态人机交互信息，并在步骤S202中利用预设情感处理方法确定这些多模态人机交互信息所表征的用户情感信息，随后在步骤S203中利用预设思维处理方法确定对应于多模态人机交互信息的思维反馈信息。

需要指出的，本实施例所提供的方法中步骤S201至步骤S203的实现原理以及实现过程与实施例一中所公开的步骤S101至步骤S103的实现原理以及实现过程相同，为了描述的简便，故在此不再赘述。

如图2所示，本实施例在步骤S204中还获取智能机器人的机器情感信息。具体地，本实施例所提供的方法在步骤S204中可以通过读取智能机器人内部存储器中所存储的表征机器人当前情感信息的数据来获取智能机器人的机器情感信息。例如，当用户重击了一下智能机器人时，该方法在步骤S204中可以确定出智能机器人当前处于诸如“恼怒”的情绪中。

在步骤S205中，该方法根据步骤S202中所确定出的用户情感信息、步骤S203中所确定出的思维反馈信息以及步骤S204中所确定出的机器情感信息来生成并输出对应的多模态情感反馈信息。

例如，当用户在与智能机器人进行正常交互的过程中突然重击了一下机器人并输入人机交互信息“给我唱首歌”时，该方法在步骤S203中所确定出的思维反馈信息可能为诸如“好的，你想听什么歌”的反馈。而这也正是现有的人机交互方法所能够输出的最终反馈。

然而对于本实施例所提供的人机交互方法来说，由于此前正常的人机交互被打断并且机器人被用于重击，因此此时该方法在步骤S204中可以确定出智能机器人当前处于诸如“恼怒”的情绪中，这样在步骤S205中进行综合分析时，该方法所生成并输出的多模态情感反馈信息则可以是“干嘛要打我，我不高兴了，不想唱”。而该反馈相较于现有方法所能够产生的反馈显然更加符合人的交互方式，从而使得智能机器人表现得更像一个真实的人。

需要指出的是，在本发明的其他实施例中，为了使得输出处理方式更加快捷高效，该实施例中步骤S204的执行顺序还可以处于步骤S202和/或步骤S203之前，同时，在某些情况下，还可以省略步骤S202和/或步骤S203，本发明不限于此。

从上述描述中可以看出，本实施例所提供的人机交互方法在实施例一所提供的方法的基础上，通过结合智能机器人的情感信息来生成最终的多模态情感反馈信息，其能够使得智能机器人表现得更加符合人类的行为习惯，从而提高了智能机器人的拟人度，这样也就提高了智能机器人的用户体验，提高了产品的综合竞争力。

本发明还提供了一种新的用于智能机器人的人机交互装置，该装置能够通过人机交互过程中用户的行为举止来确定出用户此时的情感信息，并将该情感信息与逻辑思维处理得到的逻辑反馈信息相结合，从而得到能够考虑到用户当前情感状态的反馈信息，这样也就使得智能机器人能够表现得更加人性化，从而提高智能机器人的用户体验。

图3示出了本实施例中该装置的结构示意图。

如图3所示，本实施例所提供的人机交互装置包括：输入信息获取模块301、情感信息确定模块302以及反馈信息输出模块303。其中，输入信息获取模块301用于获取用户输入的多模态人机交互信息。本实施例中，为了使得智能机器人能够更加方便地与用户进行交互，输入信息获取模块301能够获取的多模态人机交互信息优选地包括：文字信息、图像信息、肢体信息和语音信息。

需要指出的是，本实施例中，文字信息既可以是通过对语音信息进行文本转换得到的信息，也可以是用户直接通过实体或虚拟键盘输入的信息，本发明不限于此。

同时，还需要指出的是，本实施例中输入信息获取模块301获取上述各类信息的原理以及过程与实施例一中所阐述的内容相同，故在此不再赘述。

输入信息获取模块301在获取到多模态人机交互信息后，会将该交互信息传输给情感信息确定模块302，以由情感信息确定模块302利用预设情感处理模型确定多模态人机交互信息所表征的用户情感信息。

在得到多模态人机交互信息所表征的用户情感信息后，情感信息确定模块302会将用户情感信息传输给反馈信息输出模块303。本实施例中，反馈信息输出模块303能够利用预设思维处理方法确定出对应于该多模态人机交互信息的思维反馈信息。其中，需要指出的是，反馈信息输出模块303所得到的思维反馈信息是在不考虑用户情感状态的情况下所得到的反馈信息，其实现原理以及实现过程与现有的人机交互方法类似，故在此不再赘述。

在得到思维反馈信息后，反馈信息输出模块303根据用户情感信息和思维反馈信息生成对应于多模态人机交互信息的多模态反馈信息，并将该反馈信息进行输出。

由于思维反馈信息仅仅是对输入信息的一种逻辑反馈，其无法生动地表现出情感状态，因此本实施例中利用反馈信息输出模块303对用户情感信息和思维反馈信息进行信息计算处理，二者会相互产生影响，从而使得最终输出给用户的反馈信息的内容以及形式更加丰富和多样化，从而使得智能机器人更多地体现出“人”的特征。

需要指出的是，本实施例中，反馈信息输出模块303生成并输出的多模态反馈信息可以包含：图像反馈信息、肢体反馈信息和语音反馈信息。当然，在本发明的其他实施例中，根据实际需要，反馈信息输出模块303生成并输出的多模态反馈信息既可以仅包含以上所列项中的任一项或几项，也可以包含其他未列出的合理信息，本发明不限于此。

具体地，反馈信息输出模块303可以根据用户情感信息来确定将思维反馈信息转换为语音信息时的语调信息以及语调信息等，并最后生成并输出相应的语音反馈信息。

例如，当用户输入的多模态人机交互信息为语音信息“你现在好嘛”，智能机器人通过现有的人机交互方法所生成和输出的反馈信息很可能是诸如“我不好”等语音信息，这种反馈信息没有任何语气成分且形式单一。

而智能机器人通过本实施例所提供的人机交互方法所生成和输出的反馈信息则可以是诸如“我不开心，哼”等语音信息，同时此时智能机器人的面部可以显示出微怒的表情，此外，智能机器人的头部还可以呈45°上扬的状态。

由此可见，智能机器人通过本实施例提供的人际交互方法所输出的反馈信息更加多样化和丰富，其能够更加接近于“人”的反馈，这样也就使得智能机器人表现得更具有拟人化的情感反馈特性，从而提高了智能机器人的用户体验。

需要指出的是，在本发明的一个实施例中，反馈信息输出模块303还能够获取智能机器人的机器情感信息，这样反馈信息输出模块303便可以综合用户情感信息、思维反馈信息以及机器情感信息来生成并输出对应的多模态情感反馈信息，由此使得智能机器人表现得更加符合人类的行为习惯，从而提高了智能机器人的拟人度，这样也就提高了智能机器人的用户体验，提高了产品的综合竞争力。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (10)

1.一种用于智能机器人的人机交互方法，其特征在于，所述方法包括：

输入信息获取步骤，获取用户输入的多模态人机交互信息；

情感信息确定步骤，利用预设情感处理模型确定所述多模态人机交互信息的用户情感信息；

反馈信息输出步骤，利用预设思维处理方法确定对应于所述多模态人机交互信息的思维反馈信息，获取智能机器人的机器情感信息，根据所述用户情感信息、机器人情感信息和所述思维反馈信息，生成对应于所述多模态人机交互信息的多模态情感反馈信息并输出。

2.如权利要求1所述的方法，其特征在于，所述预设情感模型是利用已知的人机交互信息构建得到的。

3.如权利要求1或2所述的方法，其特征在于，所述多模态人机交互信息包括以下所列项中的任一项或几项：

文字信息、图像信息、肢体信息和语音信息；

其中，所述语音信息的有效信息包括：语气信息、语调信息和语义信息；

所述图像信息的有效信息包括表情信息。

4.如权利要求1或2所述的方法，其特征在于，所述多模态情感反馈信息包括以下所列项中的任一项或几项：

图像反馈信息、肢体反馈信息和语音反馈信息。

5.如权利要求4所述的方法，其特征在于，在所述反馈信息输出步骤中，生成语音反馈信息的步骤包括：

根据所述情感信息确定对应的语气信息和语调信息；

根据所述语气信息、语调信息和所述思维反馈信息生成相应的语音反馈信息。

6.一种用于智能机器人的人机交互装置，其特征在于，所述装置包括：

输入信息获取模块，其用于获取用户输入的多模态人机交互信息；

情感信息确定模块，其用于利用预设情感处理模型确定所述多模态人机交互信息的用户情感信息；

反馈信息输出模块，其用于利用预设思维处理方法确定对应于所述多模态人机交互信息的思维反馈信息，获取智能机器人的机器情感信息，根据所述用户情感信息、机器人情感信息和所述思维反馈信息，生成对应于所述多模态人机交互信息的多模态情感反馈信息并输出。

7.如权利要求6所述的装置，其特征在于，所述预设情感模型是利用已知的人机交互信息构建得到的。

8.如权利要求6或7所述的装置，其特征在于，所述多模态人机交互信息包括以下所列项中的任一项或几项：

文字信息、图像信息、肢体信息和语音信息；

其中，所述语音信息的有效信息包括：语气信息、语调信息和语义信息；

所述图像信息的有效信息包括表情信息。

9.如权利要求6或7所述的装置，其特征在于，所述多模态情感反馈信息包括以下所列项中的任一项或几项：

图像反馈信息、肢体反馈信息和语音反馈信息。

10.如权利要求9所述的装置，其特征在于，所述反馈信息输出模块配置为生成语音反馈信息时，首先根据所述情感信息确定对应的语气信息和语调信息，随后根据所述语气信息、语调信息和所述思维反馈信息生成相应的语音反馈信息。