CN105912128A - 面向智能机器人的多模态交互数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种面向智能机器人的多模态交互数据处理方法，所述处理方法包括以下步骤：在进行当前行为的同时，接收多模态输入信号；根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息；如果包含了中止当前行为的信息，则中止机器人的当前行为，并进行对应的多模态响应输出；如果不包含中止当前行为的信息则忽略所接收到的多模态输入信号，并继续执行机器人的当前行为。根据本发明，机器人能够在行为被打断时作出类人的反馈，使得机器与人的交流更像是人与人的交流，大大提高了用户体验效果。

Description

面向智能机器人的多模态交互数据处理方法及装置

技术领域

本发明涉及智能机器人领域，具体地说，涉及一种面向智能机器人的多模态交互数据处理方法及装置。

背景技术

智能机器人是一种模拟人类与用户进行交互的机器人。目前，智能机器人在与用户进行交互过程中，当智能机器人处于某一行为或者进程中时，用户可能会打断智能机器人的当前行为或进程。现有技术中，当用户打断智能机器人当前行为或者进程的时候，智能机器人只是停止当前行为或者进程，准备接收新的指令。这样的处理方式明显不够智能化，拟人化程度较低，带来的用户体验也较差。

因此，迫切需要一种能够在行为被打断时作出类人反馈的数据交互处理方法和装置。

发明内容

为解决现有技术的上述问题，本发明提供了一种多模态数据交互处理方法，所述处理方法包括以下步骤：

在进行当前行为的同时，接收多模态输入信号；

根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息；

如果包含了中止当前行为的信息，则中止机器人的当前行为，并进行对应的多模态响应输出；

如果不包含中止当前行为的信息则忽略所接收到的多模态输入信号，并继续执行机器人的当前行为。

根据本发明的多模态交互数据处理方法，所述中止当前行为的信息包括但不限于如下之一或它们的组合：

特定中断当前行为的语音信息；

特定优先级高于当前行为的网络信息；

特定优先级高于当前行为的故障信息；

特定中断当前行为的触觉信息；和/或

特定中断当前行为的视觉信息。

根据本发明的多模态交互数据处理方法，优选的是，在中止机器人的当前行为的步骤中，通过发出特定语音、特定动作以及特定界面来作为多模态响应输出，以告知用户当前行为已被打断。

根据本发明的多模态交互数据处理方法，优选的是，在多模态响应输出之后，还包括向用户发出已进入等待指令状态的通知，以提示用户发出接下来的新指令，并处于等待状态，直到用户发出新的指令为止。

或持续告知用户当前行为已被中断，同时监听用户发出新的指令。

根据本发明的多模态交互数据处理方法，优选的是，所述特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。

根据本发明的另一个方面，还提供了一种多模态交互数据处理装置，该处理装置包括：

多模态输入接收模块，其用于在进行当前行为的同时，接收多模态输入信号；

判断模块，其用于根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息；

多模态响应输出模块，其用于在判断了所接收到的多模态输入信号包含了中止当前行为的信息时，则中止机器人的当前行为，并进行对应的多模态响应输出；

执行模块，其用于在不包含中止当前行为的信息则忽略所接收到的多模态输入信号时，并继续执行机器人的当前行为。

根据本发明的多模态交互数据处理装置，所述中止当前行为的信息包括但不限于如下之一或它们的组合：

特定中断当前行为的语音信息；

特定优先级高于当前行为的网络信息；

特定优先级高于当前行为的故障信息；

特定中断当前行为的触觉信息；和/或

特定中断当前行为的视觉信息。

根据本发明的多模态交互数据处理装置，优选的是，在多模态响应输出模块中，通过发出特定语音、特定动作以及特定界面来作为多模态响应输出，以告知用户当前行为已被打断。

根据本发明的多模态交互数据处理装置，优选的是，在多模态响应输出模块中，优选的是所述处理装置还包括等待指令发送模块，其用于向用户发出已进入等待指令状态的通知，以提示用户发出接下来的新指令，并处于等待状态，直到用户发出新的指令为止。

或持续告知用户当前行为已被打断，同时监听用户发出新的指令。

根据本发明的多模态交互数据处理装置，优选的是，所述特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。

本发明所带来的技术效果是，机器人能够在行为被打断时作出类人的反馈，使得机器与人的交流更像是人与人的交流，大大提高了用户体验效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是用于实现本发明的方法的机器人示意图；

图2是常规技术下机器人系统的结构框图；

图2是根据本发明的一个实施例进行多模态数据交互的方法流程图；

图3是根据本发明的另一个实施例进行多模态数据交互的方法流程图；以及

图4是根据本发明的一个实施例进行多模态数据交互的处理装置的模块架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

本发明的实施例可以在例如图1所示的机器人上进行实施。图1所示的机器人有多个自由度，例如25个。在该机器人上设置有各种传感器包括摄像头、麦克风、红外装置，用以感知外界多种信息。该机器人集听觉、视觉、语音及运动能力于一身。摄像头可以设置在头部，类似于人眼，可以实时获取场景图象。红外装置可以设置在躯干的任意部位上，或者其它位置，用以辅助摄像头感应物体的存在或者外界环境，从而进行避障运动。压力传感器可以感知触觉信号，例如用户的拍打或抚摸动作。该机器人上甚至还可以安装定位导航装置，例如GPS导航系统或者视觉跟踪系统。

因此，按照上述需求设计的机器人大体上由人机交互系统201、控制系统202、驱动系统203、机械结构系统204(所谓的执行机构)和感知系统205构成，如图2所示。在图2中，该机器人还包括机器人与环境交互系统206。在执行机构204中主要包括头部、上肢部、躯干和下肢部。在驱动系统203中，包括电驱动装置、液压驱动装置和气压驱动装置。控制系统203作为机器人的核心部分，类似于人的大脑，其主要包括处理器和关节伺服控制器。该控制系统内嵌入了机器人操作系统例如ROS操作系统，以便机器人所要实现的各种功能应用可以借助该操作系统访问底层的硬件，以及进行各个应用之间的数据交互等。感知系统205和机器人-环境交互系统206包括各种内部传感器和外部传感器。外部传感器例如包括上述的红外装置和摄像头，用于获知外界环境信息，比如具体场景、人身份识别等。

当机器人在运行某一指令的过程中，通过语音或者动作完成行为的表达时，有时可能会主动停止当前表达，或者用户可能需要打断机器人的当前表达。当用户强行打断机器人当前行为的时候，机器人只是停止，或停止或发出电子提示音或界面反馈。

然而，在人与人的交互过程中，没有特定的打断机制，而是随时通过肢体、语言、眼神打断。另一方面，即使是用户找到了打断方法，执行了打断操作，但得到的反馈也并不是类人的自然准确的反馈，更别说很多机器人没有屏幕，要凭借听力，在机器人的声音输出中寻找那个被打断的电子提示音体验非常不好，经常会被遗漏掉。

根据本发明的面向机器人的多模态数据交互处理方法可以很好地解决这一问题。为了能够多方面了解用户要打断机器人自身行为的意图，本发明采用多模态的数据交互方式来进行感知和表达。

如图3所示，其中显示了根据本发明的方法原理的流程图。

根据本发明的面向智能机器人的多模态交互数据处理方法开始于步骤S301。在该步骤中，机器人在执行当前行为时，实时地接收多模态输入信号。例如机器人可以通过视觉系统捕捉当前场景图像、通过感知系统感觉用户的触摸信号或者通过听觉系统接收用户以及外界发出的各种声音信号。在本发明的实施例中，捕捉当前场景图像主要用于识别人所发出的动作。这三类信号可能是同时接收的，也可以是不同时刻先后接收。机器人针对接收到的语音信号，一般通过音频到文本的转换，从而输入到机器人系统中进行处理。如果接收的是图像，则通过图像识别系统对图像中的主体进行识别，并对发出的动作进行辨识，以感知交互对象所要表达的意图。如果接收到的是触摸或者拍打信号，则同样传送到控制系统中，由其判断该信号的所发出的意图是什么。感知触摸或拍打信号的传感器很多种，例如触摸传感器、震动传感器等。

接下来，在步骤S302中，机器人根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息。例如，当机器人的控制系统同时或接连接收到视觉信号、语音信号、触摸信号后，接着会判断所捕获的视觉信号中，人发出的动作是否表达了要让机器人暂停的意图。

例如识别视觉图像中人发出的举手动作、摇头动作、皱眉表情等。用户发出的举手动作单个就可以使得机器人得出用户发出的是要中断当前行为的指令。但有的时候，所发出的动作还需要结合其他多模态输入才能准确判断用户发出的是否是中止指令。例如，当捕捉到用户皱眉表情，且接收到用户随之发出的语气词或者“咳嗽声”，机器人会暂停当前的行为。如果没有接收到进一步的多模态输入信号。机器人可以选择停顿数秒之后接着执行当前行为。或者，用户的拍打机器人的动作可以和同时发出的语音结合起来表达需要机器人中止当前行为的意图。这种情况，机器人也是要能够判断出来的。

也即是说，上述中止当前行为的信息包括但不限于如下之一或它们的组合：

特定的中断当前行为的语音信息，例如“对不起”、“机器人名字”；

特定优先级高于当前行为的网络信息；

特定优先级高于当前行为的故障信息；

特定的中断当前行为的触觉信息；例如，拍打肩膀动作，触摸手臂等和/或

特定的中断当前行为的视觉信息，例如，说话当中的举手动作，摇头动作、皱眉表情等。

其中，特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。如“啊？”的疑问语气。在机器人后面的多模态反馈中也可以同样包含这些语言上的情绪表达输出。

这三类信息可以单独使用就能判断出中止指令的发出，也可以视情况需要结合使用才能判断出中止指令。当还是不完全确定的情况下，机器人可以仅选择暂时停顿几秒来进行响应。

在步骤S303中，根据前述结合判断，如果发现用户发出的多模信号中包含了中止当前的行为，则机器人进行相应的多模态反馈响应。

在本发明中，机器人所作的多模态反馈也包括三类：语言反馈、动作反馈和语音语调反馈。其中，机器人的语言反馈中所包含的信息可以是：告知用户当前行为已被打断，例如简单地停顿下来，等待用户的下一指令输入。如果是在明确提示是被语音打断的情况，即仅有用户语音打断时，机器人可以也通过语言进行回馈，例如回答“什么？”“怎么了？”“你说我吗？”进行询问，并暂停当前行为。

如果是明确提示被接触打断的，则可以回复“有什么事？”“摸我干什么？”等等语句，从而中断当前行为。

然后，在中止机器人的当前行为的步骤中，通过发出特定语音或者特定动作来作为多模态响应输出，以告知用户当前行为已被打断。优选的是，在多模态响应输出之后，还包括向用户发出已进入等待指令状态的通知，以提示用户发出接下来的新指令，并处于等待状态，直到用户发出新的指令为止。例如，机器人还可以通过发出“你说吧！什么事情？”的语音来告知用户，当前机器人已进入等待指令状态，随时接收用户下一步的指令。如果超过一定时间，用户一直没有给指令，那么机器人可以选择还是继续已被中断的行为，也可以选择一直等待用户。或持续告知用户当前行为已被打断，同时监听用户发出新的指令。

当然，如果判断的结果是，多模态输入信号中不包含中止当前行为的信息则忽略所接收到的多模态输入信号，并继续执行机器人的当前行为，如图所示的步骤S304。

通过这种综合判断，机器人基本上可以准确地识别出用户是否需要进行打断当前行为或者中止机器人说话的意图。机器人对人的打断行为可以做出相应反馈，使得机器人不会再出现自顾自说话或动作的情形出现，并且人与机器人的交流会更加自然，更加贴合人正常的交流。

需要特别说明的是，本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人控制系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

因此，根据本发明的另一个方面，还提供了一种面向智能机器人的多模态交互数据处理装置，该装置包括以下模块：

多模态输入接收模块401，其用于在进行当前行为的同时，接收多模态输入信号；

判断模块402，其用于根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息；

多模态响应输出模块403，其用于在判断了所接收到的多模态输入信号包含了中止当前行为的信息时，则中止机器人的当前行为，并进行对应的多模态响应输出；

执行模块404，其用于在不包含中止当前行为的信息则忽略所接收到的多模态输入信号时，并继续执行机器人的当前行为。

在本发明的实施例中，上述这些模块是计算机系统运行了程序后所形成的功能模块架构系统中完成各个步骤的功能单元。但是，如上所述，这些模块还可以是实实在在分立的逻辑功能电路。

此外，在本发明的实施例中，所述中止当前行为的信息包括但不限于如下之一或它们的组合：

特定的中断当前行为的语音信息，例如“对不起”、“机器人名字”；

特定优先级高于当前行为的网络信息；

特定优先级高于当前行为的故障信息；

特定的中断当前行为的触觉信息；例如，拍打肩膀动作，触摸手臂等和/或

特定的中断当前行为的视觉信息，例如，说话当中的举手动作，摇头动作、皱眉表情等。

其中，特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。如“啊？”的疑问语气。在机器人后面的多模态反馈中也可以同样包含这些语言上的情绪表达输出。

根据本发明的多模态交互数据处理装置，优选的是，在多模态响应输出模块中，通过发出特定语音或者特定动作来作为多模态响应输出，以告知用户当前行为已被打断。

根据本发明的多模态交互数据处理装置，优选的是，在多模态响应输出模块中，所述处理装置还包括等待指令发送模块，其用于向用户发出已进入等待指令状态的通知，以提示用户发出接下来的新指令，并处于等待状态，直到用户发出新的指令为止。

或持续告知用户当前行为已被打断，同时监听用户发出新的指令。

根据本发明的多模态交互数据处理装置，优选的是，所述特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种面向智能机器人的多模态交互数据处理方法，其特征在于，所述处理方法包括以下步骤：

在进行当前行为的同时，接收多模态输入信号；

根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息；

如果包含了中止当前行为的信息，则中止机器人的当前行为，并进行对应的多模态响应输出；

如果不包含中止当前行为的信息则忽略所接收到的多模态输入信号，并继续执行机器人的当前行为。

2.如权利要求1所述的多模态交互数据处理方法，其特征在于，所述中止当前行为的信息包括如下之一或它们的组合：

特定中断语音信息；

特定中断触觉信息；和/或

特定中断视觉信息。

3.如权利要求1所述的多模态交互数据处理方法，其特征在于，在中止机器人的当前行为的步骤中，通过发出特定语音或者特定动作来作为多模态响应输出，以告知用户当前行为已被打断。

4.如权利要求1所述的多模态交互数据处理方法，其特征在于，在多模态响应输出之后，还包括向用户发出已进入等待指令状态的通知，以提示用户发出接下来的新指令，并处于等待状态，直到用户发出新的指令为止。

5.如权利要求3所述的多模态交互数据处理方法，其特征在于，所述特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。

6.一种多模态交互数据处理装置，其特征在于，所述处理装置包括：

多模态输入接收模块，其用于在进行当前行为的同时，接收多模态输入信号；

判断模块，其用于根据接收到的多模态输入信号判断其中是否包含有中止当前行为的信息；

多模态响应输出模块，其用于在判断了所接收到的多模态输入信号包含了中止当前行为的信息时，则中止机器人的当前行为，并进行对应的多模态响应输出；

执行模块，其用于在不包含中止当前行为的信息则忽略所接收到的多模态输入信号时，并继续执行机器人的当前行为。

7.如权利要求6所述的多模态交互数据处理装置，其特征在于，所述中止当前行为的信息包括如下之一或它们的组合：

特定中断语音信息；

特定中断触觉信息；和/或

特定中断视觉信息。

8.如权利要求7所述的多模态交互数据处理装置，其特征在于，在多模态响应输出模块中，通过发出特定语音或者特定动作来作为多模态响应输出，以告知用户当前行为已被打断。

9.如权利要求8所述的多模态交互数据处理装置，其特征在于，在多模态响应输出模块中，还包括等待指令发送模块，其用于向用户发出已进入等待指令状态的通知，以提示用户发出接下来的新指令，并处于等待状态，直到用户发出新的指令为止。

10.如权利要求7所述的多模态交互数据处理装置，其特征在于，所述特定中断语音信息中还包括与所述特定中断语音所传达的信息一致的语调、语速和音量。