CN106503786A - 用于智能机器人的多模态交互方法和装置 - Google Patents

Abstract

本发明提供一种用于机器人的多模态交互方法，该方法包括：接收用户输入的多模态数据，并捕捉所述多模态数据中的当前用户情绪；调用情绪模块对所述当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据；以多模态的方式输出所述情绪输出数据。根据本发明的机器人交互具有感情层面上的交流，增加了与用户的粘性，从而提升了用户满意度。

Description

用于智能机器人的多模态交互方法和装置

技术领域

本发明涉及智能机器人领域，具体地说，涉及一种用于智能机器人的多模态交互方法和装置。

背景技术

目前，在智能机器人与用户进行交互时，往往不能很好地有情感地与用户交互，因而使用户感受到的智能性不高，影响交互体验。在表现上，这些机器人主要有对用户的反馈冷漠、前言不搭后语、健忘或者输出不可控等问题。这对于用户体验而言存在非常大的问题。

因此，为改善用户交互体验，需要一种能够改善智能机器人的情感输出的技术方案。

发明内容

本发明的目的在于解决现有技术的问题，提供了一种能够改善智能机器人的情感输出的多模态交互方法。该方法包括：

接收用户输入的多模态数据，并捕捉所述多模态数据中的当前用户情绪；

调用情绪模块对所述当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据；

以多模态的方式输出所述情绪输出数据。

在根据本发明的基于机器人多模态交互的情感输出方法的一个优选实施例中，当所述当前用户情绪为设定情绪时，调用情绪模块对所述当前情绪进行分析，否则，不调用情绪模块。

在根据本发明的基于机器人多模态交互的情感输出方法的一个优选实施例中，多模态输出时，进行决策，以优先输出所述情绪输出数据。

在一个优选实施例中，根据本发明的基于机器人多模态交互的情感输出方法还包括：

输出针对当前用户情绪的询问数据；

在当前用户反馈的情绪数据指示为消极情绪时，持续调用情绪模块；

并执行输出针对当前用户情绪的询问数据，直至当前用户反馈的情绪数据指示为积极情绪。

根据本发明的另一个方面，还提供了一种用于智能机器人的多模态交互装置。该装置包括：

用户情绪捕捉单元，其用以接收用户输入的多模态数据，并捕捉所述多模态数据中的当前用户情绪；

情绪模块调用单元，其用以调用情绪模块对所述当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据；

多模态输出单元，其用以输出所述情绪输出数据。

根据本发明的用于智能机器人的多模态交互装置，优选的是，所述装置还包括判断单元，其用于判断当所述当前用户情绪为设定情绪时，调用情绪模块来对所述当前情绪进行分析，否则，不调用情绪模块。

根据本发明的用于智能机器人的多模态交互装置，优选的是，在多模态输出时，进行决策，以优先输出所述情绪输出数据。

根据本发明的用于智能机器人的多模态交互装置，优选的是，所述装置还包括：

询问数据输出单元，其用以输出针对当前用户情绪的询问数据，

在当前用户反馈的情绪数据指示为消极情绪时，持续调用情绪模块，

并执行输出针对当前用户情绪的询问数据直至当前用户反馈的情绪数据指示为积极情绪。

本发明的有益之处在于，根据本发明的交互输出方法使得智能机器人具备情感输出功能，机器人不仅能感知用户的情感状态，还能够根据用户的情感状态做出合适的回应。此外，本发明的智能机器人将情感模块的输出结果作为优先级别最高的进行输出，这样进一步地能够保证在机器人与人的交互中，优先输出带有感情的输出数据，使得机器人的交互更类似于人。根据本发明的机器人交互具有感情层面上的交流，增加了用户粘性，提升了用户满意度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明一个优选实施例的用于机器人的多模态交互方法的总体流程图；

图2为根据本发明一个优选实施例的优先决策输出情绪输出数据的方法流程图；以及

图3显示了根据本发明的用于机器人的多模态交互装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

人类的情感是任何人在任何时刻都会具有的一种心理状态。分析得到，人类的情感应该具有两个层面上的含义。首先，是人类对外界的感知，看到美好的事物，大多数人的反应都是积极的。相反的，听到悲伤的消息或者经历不顺的事情，正常情况下，人都会变得消极。这种外界事物的刺激，通过人类的各种感知，引起的内心的波澜，可以统一认识为是人类对所有的外界事物的个人感受。

另一方面，对于不同的感受，人类会有不同的外在形式下的表达。通过一段话语、一组表情或者一些动作等来对个人感受进行表达，都是人类感知到外界事物之后对外界的一种响应的方式。这两方面，共同构成了情感的内涵。情感应该是一种人类对外界有所感觉，然后做出行动的行为。

机器人本质上应该就是计算机试图通过各种途径和方法，来尽最大可能地模仿人类的行为，然后在表现层面上，以期尽可能地跟人进行交互。情感机器的内涵就是，希望机器人也能够像人类一样，能够感知外界的影响(最主要的是它面前的这个用户)。然后对外界的这些输入，进行认知和理解，进而有自己的喜怒哀乐，最后在表现层面上，通过语言、动作、表情等让用户能够感受到机器人的情感，从而实现人与机器人情感的交流。

经过机器人对这种感知的领悟，最后会有一种对这种领悟的回应。根据本发明的情感系统，可以应用于人机交互的几乎任何情景，只要用户有对机器人带情感的输入，这种输入可以是语言上的(比如，用语音表达的我很开心的情绪)、表情上的(面部表情为开心的笑容)或者动作上的(扭过头不理机器人)等等。在理想情况下，机器人应该能够感知这些全部的情感状态，然后能够对其做出相应的响应或应答。

如图1所示，其中显示了根据本发明一个优选实施例的用于机器人的多模态交互方法的总体流程图。在该多模态交互方法中，本发明的智能机器人旨在实现上述对用户情绪的多方面感知，并做出合适的回应的技术方案。本发明的多模态交互方法的流程开始于步骤S101。

在步骤S101中，智能机器人启动多模态交互方法例程，开始进行处理。通常在此步骤中，系统进行一系列的初始化操作，准备多模态交互所需要的资源文件并进行一定的配置。接下来，进行到步骤S102，智能机器人系统接收用户输入的多模态数据，并捕捉这些多模态数据中的用户情绪。智能机器人实时地接收用户的多模态数据。这些数据有些是用户通过文本输入到系统中的，有的仅仅是用户发出的语音，机器人通过将音频文件转换为文本数据而发送到交互例程的输入接口。

在本发明的多模态输入中，用户的输入数据应当还包括机器人通过图像捕捉而获知的情绪数据。例如，机器人通过摄像设备而获取的当前用户表情，通过图像处理和分析软件与图像库中的其他表情模板进行比对，获得当前用户表情所代表的情绪。为了更进一步地获得准确的用户当前情绪，机器人系统还需要将用户此刻或之前或之后输入的文本数据以及发出的语音进行多通道数据的融合来分析用户当前情绪。

接下来，在步骤S103中，机器人系统调用情绪模块对前述捕捉的当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据。

本发明的情感模块作为聊天系统的子系统模块，在通用的聊天请求发起时，会被同时触发。更重要的是，如上所述，如果情感模块有输出它认为的具有情感的结果或者分析了用户情感而产生的结果时，聊天系统会优先使用情感模块的输出结果，作为聊天系统最终的输出结果。

在步骤S104中，机器人以多模态的方式将获得的情绪输出数据进行输出。由于本发明的输入采用了多模态的方式，在与用户进行交互时其能够多方面感知用户的情绪。相应地，在机器人输出时，也对应地采用合适的多模态表达来输出情绪数据。换句话说，本发明的多模态交互是相对于普通的聊天机器人单一的以言语为所有载体的单一人机交互而言的。人类感知世界，可以有视觉、听觉、味觉、嗅觉等多种方式。如果希望机器人能够尽可能地接近人。那么相应的，机器人也应该有多种感知外界的方式，即，多模态输入。

在本发明的多模态输入输出系统中，它可以通过键盘、麦克风、摄像头等输入设备来感知到用户的语言、表情、动作等，然后通过语言、屏幕表情或者肢体动作等多种途径对外界响应。在一个实施例中，本发明的多模态交互系统由多通道信息获取、多通道信息分析与融合、多通道信息表达三个主要模块构成。

本发明所具有的情感模块在接收到用户的输入之后，首先会进行情感计算。通过用户的输入，得到当前用户的情感状态。例如，如果用户输入的是文字的话，可以通过语义分析，得到用户的情感状态。如果接收到的是用户当前的面部表情，就会通过相应的图像识别和深度学习算法，分析出用户此时的情感状态。如果接收到的是动作特征，同样可以通过已经完成的大量人类动作的建模和训练，得到此时用户最有可能处于的情绪状态。

接下来，在得到用户的当前情感之后，机器人通过相应的逻辑处理，通过不同的表现形式，让用户能够从感知层面体验到在与有情感的机器沟通。具体来说，如果需要文字的输出，机器人会触发相应的对话流程，以达到对用户情感的认同、慰藉、疏导等作用。

比如，如果用户表达出“我不开心”这样一个情绪状态时，机器人可以试图一些方法来让用户的“不开心”情绪得到缓解。比如，这时候机器人可以回答，“要不我给你讲个笑话开心一下？”此时，如果机器人得到的是肯定的回复的话，机器人便会通过讲笑话这种形式来逗用户开心。这样的一个对话流程，自然地会使得用户不开心的情绪得到一定程度的缓解。

相应的，如果程序要求的是表情的输出结果的话，在某一时刻，机器人若感知到用户有一副哭丧着脸、不满意的表情的时候，可以主动安慰用户。比如，发出声音：“小主人，看我，有没有开心一点？”同时，做出笑脸、鬼脸的表情等。这种方式同样地也可以使得用户感受到在与具有情感的机器人进行双向的情感沟通。具体到动作，如果情感计算得到的结果是“不开心”这种状态的话，机器人甚至可以通过一组搞笑的舞蹈动作，让用户感知到有情感的机器人是在理解用户情感的基础上，与用户进行的有效沟通。

情感作为人机交互过程中非常重要的一个组成部分，会在任何有用户请求的状态下被触发。它在聊天系统里面作为子模块来被调用。根据本发明的一个实施例，优选的是在情感模块有结果的情况下，会优先使用情感模块的结果来作为聊天模块最终的输出结果。

与普通的没有任何情感的聊天机器人相比，本发明的情感模块设计，很大程度地满足了用户对于机器人情感诉求的目的，从而可以实现人与机器人情感层面上的双向沟通，提升了用户体验，进而使得用户满意度提升。

图2显示了根据本发明一个实施例的优先决策输出情绪输出数据的方法流程图。如图2所示，在步骤S201中，机器人接收用户的当前用户情绪。通过分析，判断出当前用户情绪是否为设定情绪(步骤S202)。为说明本发明的原理，在本实施例中，设定情绪指的是系统预先设定的消极、不开心的情绪。当然，根据实际需要，这些设定情绪也可以是积极的情绪。本发明对此并不作限制。

接下来，如果分析判断的结果是，感知的用户情绪不是这些设定情绪，那么系统直接跳过情绪模块，而不进行调用，输出正常交互聊天的数据。如果分析得出的用户情绪为消极情绪，则系统持续调用情绪模块进行分析，步骤S203。接下来，系统发出刺激用户输出的询问数据，步骤S204。询问数据例如为“小主人，看我，有没有开心一点？”、“要不我给你讲个笑话开心一下？”在发出询问数据之后，系统紧接着就会持续感知用户的情绪状态，接收用户的当前情绪。直到最后感知的用户情绪为积极、开心的状态时，才会跟用户同步地输出开心的情绪表达数据。

最后，在步骤S205中，系统会在多模态输出时，进行决策，优先输出情绪输出数据。

由此可以看出，本发明的智能机器人不仅能感知用户的情绪，并在内心做出与用户同步的感受，同时将该感受以类似的方式表达出来。此外，当用户不开心、消极状态时，可以做出对用户情绪进行调节的反应，直到用户开心为止。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

因此，根据本发明的另一个方面，还提供了一种用于智能机器人的多模态交互装置。如图3所示，该装置包括：

用户情绪捕捉单元301，其用以接收用户输入的多模态数据，并捕捉所述多模态数据中的当前用户情绪；

情绪模块调用单元303，其用以调用情绪模块对所述当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据；

多模态输出单元306，其用以输出所述情绪输出数据。

根据本发明的用于智能机器人的多模态交互装置，优选的是，所述装置还包括判断单元302，其用于判断当所述当前用户情绪为设定情绪时，调用情绪模块来对所述当前情绪进行分析，否则，不调用情绪模块。

根据本发明的用于智能机器人的多模态交互装置，优选的是，还包括决策单元305。在多模态输出时，决策单元进行决策，以优先输出所述情绪输出数据。

根据本发明的用于智能机器人的多模态交互装置，优选的是，所述装置还包括：

询问数据输出单元304，其用以输出针对当前用户情绪的询问数据，

在当前用户反馈的情绪数据指示为消极情绪时，持续调用情绪模块，

并执行输出针对当前用户情绪的询问数据直至当前用户反馈的情绪数据指示为积极情绪。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种用于机器人的多模态交互方法，其特征在于，所述方法包括：

接收用户输入的多模态数据，并捕捉所述多模态数据中的当前用户情绪；

调用情绪模块对所述当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据；

以多模态的方式输出所述情绪输出数据。

2.如权利要求1所述的基于机器人多模态交互的情感输出方法，其特征在于，当所述当前用户情绪为设定情绪时，调用情绪模块对所述当前情绪进行分析，否则，不调用情绪模块。

3.如权利要求1所述的基于机器人多模态交互的情感输出方法，其特征在于，多模态输出时，进行决策，以优先输出所述情绪输出数据。

4.如权利要求1所述的基于机器人多模态交互的情感输出方法，其特征在于，所述方法还包括：

输出针对当前用户情绪的询问数据；

在当前用户反馈的情绪数据指示为消极情绪时，持续调用情绪模块；

并执行输出针对当前用户情绪的询问数据，直至当前用户反馈的情绪数据指示为积极情绪。

5.一种用于智能机器人的多模态交互装置，其特征在于，所述装置包括：

用户情绪捕捉单元，其用以接收用户输入的多模态数据，并捕捉所述多模态数据中的当前用户情绪；

情绪模块调用单元，其用以调用情绪模块对所述当前用户情绪进行分析，得到与当前用户情绪匹配的情绪输出数据；

多模态输出单元，其用以输出所述情绪输出数据。

6.如权利要求5所述的用于智能机器人的多模态交互装置，其特征在于，所述装置还包括判断单元，其用于判断当所述当前用户情绪为设定情绪时，调用情绪模块来对所述当前情绪进行分析，否则，不调用情绪模块。

7.如权利要求5所述的用于智能机器人的多模态交互装置，其特征在于，在多模态输出时，进行决策，以优先输出所述情绪输出数据。

8.如权利要求5所述的用于智能机器人的多模态交互装置，其特征在于，所述装置还包括：

询问数据输出单元，其用以输出针对当前用户情绪的询问数据，

在当前用户反馈的情绪数据指示为消极情绪时，持续调用情绪模块，

并执行输出针对当前用户情绪的询问数据直至当前用户反馈的情绪数据指示为积极情绪。