CN107273477A - 一种用于机器人的人机交互方法及装置 - Google Patents

Abstract

一种用于机器人的人机交互方法及装置，该方法包括：交互话题确定步骤，获取用户输入的单模态和/或多模态的交互输入信息，并根据交互输入信息确定交互话题；交互意图确定步骤，利用预设意图图谱，根据交互话题确定用户的交互意图；反馈信息生成步骤，根据交互意图生成相应的多模态反馈信息并输出。相较于现有的人机交互方法，本方法能够更加准确地确定出用户的交互意愿以及交互期望。而根据用户的交互意愿以及交互期望所生成的反馈信息显然也就能够更加符合用户的交互习惯以及当前交互场景，这样也就能够使得机器人能够表现得更加智能化和类人化，从而提高了机器人的交互体验。

Description

一种用于机器人的人机交互方法及装置

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种用于机器人的人机交互方法及装置。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其它机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

因此如何使得智能机器人能够更加准确、有效地与用户进行交互是机器人领域亟待解决的技术问题。

发明内容

为解决上述问题，本发明提供了一种用于机器人的人机交互方法，其包括：

交互话题确定步骤，获取用户输入的单模态和/或多模态的交互输入信息，并根据所述交互输入信息确定交互话题；

交互意图确定步骤，利用预设意图图谱，根据所述交互话题确定所述用户的交互意图；

反馈信息生成步骤，根据所述交互意图生成相应的多模态反馈信息并输出。

根据本发明的一个实施例，所述方法还包括：

意图图谱构建步骤，对用户的交互输入信息所对应的自然语言文本信息进行自然语言理解，提取交互话题的关联意图词，以该交互话题为起始利用关联意图词构建意图图谱，其中，所述关联意图词包括语义解析实体和核心谓词。

根据本发明的一个实施例，所述交互输入信息包括文本对话信息和/或语音对话信息。

根据本发明的一个实施例，在所述交互话题确定步骤中，还获取上下文信息；

在所述交互意图确定步骤中，利用所述预设意图图谱，根据所述上下文信息和交互话题确定所述用户的交互意图。

根据本发明的一个实施例，在所述交互意图确定步骤中，当无上下文时，根据用户行为信息及所述预设意图图谱，确定所述用户的交互意图。

根据本发明的一个实施例，在所述交互意图确定步骤，根据所述交互话题确定出多个候选交互意图，对所述多个候选交互意图进行置信度排序，并根据排序结果确定所需要的交互意图。

本发明还提供了一种用于机器人的人机交互装置，其包括：

交互话题确定模块，其用于获取用户输入的单模态和/或多模态的交互输入信息，并根据所述交互输入信息确定交互话题；

交互意图确定模块，其用于利用预设意图图谱，根据所述交互话题确定所述用户的交互意图；

反馈信息生成模块，其用于根据所述交互意图生成相应的多模态反馈信息并输出。

根据本发明的一个实施例，所述装置还包括：

意图图谱构建模块，其用于对用户的交互输入信息所对应的自然语言文本信息进行自然语言理解，提取交互话题的关联意图词，以该交互话题为起始利用关联意图词构建意图图谱，其中，所述关联意图词包括语义解析实体和核心谓词。

根据本发明的一个实施例，所述交互输入信息包括文本对话信息和/或语音对话信息。

根据本发明的一个实施例，所述交互话题确定模块配置为还获取上下文信息，所述交互意图确定模块配置为利用所述预设意图图谱，根据所述上下文信息和交互话题确定所述用户的交互意图。

根据本发明的一个实施例，所述交互意图确定模块配置为在无上下文时根据用户行为信息及所述预设意图图谱，确定所述用户的交互意图。

根据本发明的一个实施例，所述交互意图确定模块配置为根据所述交互话题确定出多个候选交互意图，对所述多个候选交互意图进行置信度排序，并根据排序结果确定所需要的交互意图。

现有的用于机器人的人机交互方法受到自然语言的复杂性以及语言表达的多样性的影响，为了避免输出毫无关联的答案，这些人机交互方法往往会输出“万金油”型的反馈答案，而这种反馈答案对于用户来说可能是没有意义的，这显然无法满足用户的人机交互需求。

相较于现有的人机交互方法，本发明所提供的用于机器人的人机交互方法利用用户的交互意图来生成最终的反馈信息，通过利用意图图谱来对用户的交互意图进行交互意图的确定，本方法能够更加准确地确定出用户的交互意愿以及交互期望。而根据用户的交互意愿以及交互期望所生成的反馈信息显然也就能够更加符合用户的交互习惯以及当前交互场景，这样也就能够使得机器人能够表现得更加智能化和类人化，从而提高了机器人的交互体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于机器人的人机交互方法的应用场景示意图；

图2是根据本发明一个实施例的用于机器人的人机交互方法的实现流程示意图；

图3是根据本发明另一个实施例的意图图谱的结构示意图；

图4是根据本发明一个实施例的利用本发明所提供的人机交互方法进行人机交互的结果示意图；

图5是根据本发明一个实施例的利用现有的人机交互方法进行人机交互的结果示意图；

图6是根据本发明另一个实施例的用于机器人的人机交互方法的实现流程示意图；

图7是根据本发明再一个实施例的用于机器人的人机交互方法的实现流程示意图；

图8是根据本发明一个实施例的用于机器人的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

针对现有的用于机器人的人机交互方法所存在的缺陷，本发明提供了一种新的用于机器人的人机交互方法，该方法利用用户的交互意图来生成最终的反馈信息，通过利用意图图谱来对用户的交互意图进行交互意图的确定，本方法能够更加准确地确定出用户的交互意愿以及交互期望。

为了更加清楚地阐述本发明所提供的用于机器人的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对该人机交互方法作进一步的说明。

实施例一：

图1示出了本实施例所提供的用于智能机器人的人机交互方法的应用场景示意图，图2示出了本实施例所提供的用于机器人的人机交互方法的实现流程示意图。

如图1所示，本实施例所提供的人机交互方法配置在机器人101中，用户100在向机器人101输入交互输入信息后，机器人101能够根据自身接收到的上述交互输入信息来生成相应的多模态反馈信息并输出给用户100，从而实现与用户100之间的人机交互。

本发明实施例提供的人机交互方法，也可以应用于虚拟机器人上，对于有虚拟形象的对话机器人，或者单纯的网页对话机器人，以实现上述机器人与用户的对话交互，也可以使用本发明实施例提供的方法进行改进。

具体地，如图2所示，本实施例所提供的人机交互方法首先在步骤S201中获取用户输入的交互输入信息。具体地，本实施例中，根据实际情况，该方法在步骤S201中所获取到的交互输入信息既可以是单模态交互输入信息，也可以是多模态交互输入信息。例如，该方法在步骤S201中所获取到的交互输入信息可以是语音信息，也可以是包含语音信息和图像信息的多模态信息。

在得到上述交互输入信息后，该方法会在步骤S202中对上述交互输入信息进行解析，从而确定出交互话题。交互话题能够表征用户与机器人在单轮交互或者多轮交互过程中所围绕的交互主题，该方法利用所确定出的交互话题能够初步确定出最终需要生成的反馈信息所需要涉及的内容范围。

具体地，本实施例中，该方法在步骤S202中优选地利用预设模型来对上述交互输入信息进行语义解析，从而确定出交互话题。

当然，在本发明的其它实施例中，当用户所输入的交互输入信息为文本信息时，该方法在步骤S202中还可以通过提取文本信息中的关键词的方式来确定交互话题。而当用户所输入的交互输入信息为语音对话信息时，该方法可以首先将语音对话信息转换为相应的文本信息，再通过对文本信息进行解析来确定出交互话题。

在确定出交互话题后，如图2所示，本实施例中，该方法会在步骤S203中利用预设意图图谱，根据步骤S202中所确定出的交互话题来确定出用户的交互意图。交互意图可以视为机器人以自身视角来尝试理解人机交互过程中，用户在某种主题或者话题下期望达到某种目的的打算。由于交互话题所涉及的内容较为广泛，因此该方法也就需要以意图图谱来挖掘和确定在后续人机交互过程中用户需要从机器人获取的信息(即机器人需要向用户反馈的信息)。

具体地，本实施例中，在根据交互话题来确定用户的交互意图时，该方法首先会在预设意图图谱中确定出上述交互话题所对应的节点，随后在预设意图图谱中确定出以上述交互话题所对应的节点为初始节点的连线所对应的节点(即终端节点)，从而根据终端节点来确定出用户的交互意图。

由于与初始节点所连接的节点可能存在多个，因此该方法所确定出的终端节点也就可能为多个。针对这种情况，本实施例中，该方法首先会根据与初始节点相连接的多个节点确定出多个候选交互意图，随后对这些候选交互意图进行置信度排序，并根据排序结果来确定出所需要的交互意图。

具体地，本实施例中，该方法根据预设意图图片中各个节点连线的权重来对这些候选交互意图进行排序，并选取权重最大的候选交互意图来作为最终所需要的交互意图。

例如，如果用户输入的交互输入信息为诸如“我要充话费”的语音信息，那么该方法在步骤S202中根据通过对“我要充话费”这一语音信息进行解析，可以得到对应的交互话题为“话费”。

利用如图3所示的意图图谱，该方法可以以“话费”为初始节点来找到对应的终端节点。例如，利用上述意图图谱，该方法可以找到“联通”、“移动”以及“流量”等终端节点，根据这些终端节点可以确定出对应的交互意图，同时，根据各个终端节点的权重还可以确定出各个交互意图的置信度。

假设这些终端节点的权重是“移动权重”>“联通权重”>“流量权重”，那么该方法也就可以将终端节点“移动”所对应的意图作为所需要的交互意图。

当然，在本发明的其它实施例中，该方法还可以采用其它合理的方式基于预设意图图谱来根据交互话题确定出用户的交互意图，本发明不限于此。

再次如图2所示，本实施例中，在确定出用户的交互意图后，该方法会在步骤S204中根据上述步骤S203中所确定出的用户的交互意图来生成相应的多模态反馈信息并输出。

例如，如图4所示，对于本实施例所提供的的人机交互方法来说，如果该方法在步骤S203中根据用户所输入的文本对话信息“我要充话费”所确定出的用户的交互意图为“移动”，那么该方法在步骤S204中也就可以生成诸如“你是移动用户吗”的反馈信息并输出给该用户。

如图5所示，对于现有的人机交互方法来说，其无法准确地确定出用户的交互意图，这样也就无法根据用户的交互意图来生成相应的反馈信息。对于上述例子来说，现有的人机交互方法针对用户所输入的文本对话信息“我要充话费”所生成并输出的很可能是诸如“你的手机欠费了吗”的“万金油”类型的语音信息，如果用户再次输入文本对话信息“是的”，那么机器人很可能会输出诸如“你的手机是哪个运营商的”的反馈信息，机器人也只能够通过用户所反馈的诸如“移动”的文本对话信息来确定应当为用户准备哪个运行商的充值通道。对比图4和图5可以看出，现有的人机交互方法显然无法像本实施例所提供的人机交互方法那样更加准确、快速地满足用户的交互期望和交互需求。

实施例二：

图6示出了本实施例所提供的用于机器人的人机交互方法的实现流程示意图。

本实施例所提供的用于机器人的人机交互方法首先构建后续需要的意图图谱。如图6所示，该人机交互方法首先在步骤S601中对用户的交互输入信息所对应的自然语言文本信息进行自然语言理解，并提取出交互话题的关联意图词，随后在步骤S602中以该交互话题为启示构建意图图谱。本实施例中，该方法所提取出的关联意图词优选地包括语义解析实体和核心谓词。需要指出的是，本实施例中，该方法在构建意图图谱过程中所使用到的用户输入的交互输入信息优选地为历史人机交互过程中所获取到的交互输入信息。

当然，在本发明的其它实施例中，该方法还可以采用其它合理方式来构建后续需要使用的意图图谱，本发明不限于此。

如图6所示，在构建完成意图图谱后，该方法会在步骤S603中获取本轮交互中用户输入的交互输入信息并根据该交互输入信息确定交互话题。需要指出的是，本实施例中，步骤S603的实现原理以及实现过程与上述实施例一中步骤S201和步骤S202所阐述的内容相同，故在此不再对步骤S603的相关内容进行赘述。

本实施例中，该方法还会在步骤S604中获取上下文信息，并在步骤S605中利用预设意图图谱来根据步骤S604中所获取到的上下文信息以及步骤S603中所确定出的交互话题确定出用户的交互意图。

例如，该方法利用预设意图图谱能够确定出对应于交互话题的多个候选交互意图，利用所获取到的上下文信息，该方法可以从确定出的上述多个候选交互意图中确定出最终所需要的用户的交互意图。

当然，在本发明的其它实施例中，该方法在步骤S605中还可以采用其他合理方式来利用预设意图图谱根据所获取到的上下文信息以及所确定出的交互话题确定出用户的交互意图，本发明不限于此。

在得到交互意图后，该方法会在步骤S606中根据上述步骤S605中所确定出的交互意图来生成相应的多模态反馈信息并输出。需要指出的是，本实施例中，步骤S606的实现原理以及实现过程与上述实施例一中步骤S204所阐述的内容相同，故在此不再对步骤S606的相关内容进行赘述。

实施例三：

图7示出了本实施例所提供的用于机器人的人机交互方法的实现流程示意图。

如图7所示，本实施例所提供的人机交互方法首先在步骤S701中对用户所输入的交互输入信息所对应的自然语言文本信息进行自然语言理解，并提取出交互话题对应的关联意图词，随后在步骤S702中以该交互话题为启示构建意图图谱。

在得到所需要使用的意图图谱后，该方法也就可以利用该意图图谱来根据用户本轮交互过程中所输入的交互输入信息来生成并输出相应的多模态反馈信息。具体地，该方法会在步骤S603中获取用户输入的交互输入信息，并根据该交互输入信息来确定用户的交互话题。同时，该方法还会在步骤S704中获取上下文信息。

需要指出的是，本实施例中，上述步骤S701至步骤S704中实现原理以及实现过程与上述实施例二中步骤S601至步骤S604所阐述的内容相同，故在此不再对步骤S701至步骤S704的相关内容进行赘述。

如图7所示，本实施例中，该方法还会在步骤S705中判断是否能够获取到上下文信息。其中，如果该方法在步骤S704中能够正常获取到上下文信息，那么该方法则会在步骤S707中利用预设意图图谱来根据步骤S704中所获取到的上下文信息以及步骤S603中所确定出的交互话题确定用户的交互意图。而如果该方法在步骤S704中无法正常获取到上下文信息，那么该方法则会在步骤S706中基于预设意图图谱来根据用户行为信息以及交互话题确定用户的交互意图。

本实施例中，该方法在步骤S706中根据用户的行为信息能够确定出对应于该用户的意图图谱，利用对应于该用户的意图图谱也就可以根据所确定出的交互话题来更加准确和快速地确定出该用户的意图信息。

例如，用户向机器人输入诸如“我要充话费”的语音交互信息，利用该用户的用户行为信息可以从多个意图图谱中确定出对应于该用户的意图图谱(例如如图3所示的意图谱图)，由于该意图图谱能够体现用户的行为习惯或者身份信息，因此该方法利用该意图图谱所确定出的用户的意图信息也就会更加地符合该用户的交互期望。

在得到用户的交互意图后，该方法会在步骤S708中根据用户的交互意图来生成相应的多模态反馈信息并输出。需要指出的是，本实施例中，步骤S708的实现原理以及实现过程与上述实施例一中步骤S204所阐述的内容相同，故在此不再对步骤S708的相关内容进行赘述。

从上述描述中可以看出，相较于现有的人机交互方法，本发明所提供的用于机器人的人机交互方法利用用户的交互意图来生成最终的反馈信息，通过利用意图图谱来对用户的交互意图进行交互意图的确定，本方法能够更加准确地确定出用户的交互意愿以及交互期望。而根据用户的交互意愿以及交互期望所生成的反馈信息显然也就能够更加符合用户的交互习惯以及当前交互场景，这样也就能够使得机器人能够表现得更加智能化和类人化，从而提高了机器人的交互体验。

本发明还提供了一种用于机器人的人机交互装置，图8示出了本实施例中该人机交互装置的结构示意图。

如图8所示，本实施例所提供的用于机器人的人机交互装置优选地包括：意图图谱构建模块801、交互话题确定模块802、交互意图确定模块803以及反馈信息生成模块804。

其中，本实施例中，意图图谱构建模块801用于对用户的交互输入信息所对应的自然语言文本信息进行自然语言理解，并提取出交互话题的关联意图词，随后以该交互话题为启示构建意图图谱。

本实施例中，意图图谱构建模块801所提取出的关联意图词优选地包括语义解析实体和核心谓词。需要指出的是，本实施例中，意图图谱构建模块801在构建意图图谱过程中所使用到的用户输入的交互输入信息优选地为历史人机交互过程中所获取到的交互输入信息。

当然，在本发明的其它实施例中，意图图谱构建模块801还可以采用其它合理方式来构建后续需要使用的意图图谱，本发明不限于此。

交互话题确定模块802用于获取用户输入的交互输入信息，并对获取到的交互输入信息进行解析来确定出交互话题。具体地，本实施例中，根据实际情况，交互话题确定模块802所获取到的交互输入信息既可以是单模态交互输入信息，也可以是多模态交互输入信息。例如，交互话题确定模块802所获取到的交互输入信息可以是语音信息，也可以是包含语音信息和图像信息的多模态信息。

需要指出的是，根据所需要获取的交互输入信息的不同，交互话题确定模块802可以包含不同的器件或电路，本发明不限于此。例如，交互话题确定模块802可以包含语音采集器(例如麦克风)来获取用户输入的语音对话信息，交互话题确定模块802可以包含文本输入设备(例如键盘)来获取用户输入的文本对话信息，交互话题确定模块802还可以包含视频采集设备(例如摄像头)来获取关于用户的图像信息。

在确定出用户的交互话题后，交互话题确定模块802会将交互话题传输至与之连接的交互意图确定模块803。交互意图确定模块803与意图图谱构建模块801和交互话题确定模块802连接，其能够利用意图图谱构建模块801所构建的意图图谱来根据交互话题确定模块802所传输来的交互话题确定用户的交互意图。

交互意图确定模块803与反馈信息生成模块804连接，其会将自身确定出的用户的交互意图传输至反馈信息生成模块804，以由反馈信息生成模块804根据用户的交互意图来生成相应的多模态反馈信息并输出。

需要指出的是，本实施例中，意图图谱构建模块801实现其自身功能的原理以及过程与上述实施例二中步骤S601和步骤S602所阐述的内容相同，交互话题确定模块802、交互意图确定模块803以及反馈信息生成模块804实现其各自功能的原理以及过程既可以与上述实施例一中步骤S201至步骤S204所阐述的内容相同，也可以与上述实施例二中步骤S603至步骤S606所阐述的内容相同，还可以与上述实施例三中步骤S703至步骤S708所阐述的内容相同，故在此不再对意图图谱构建模块801、交互话题确定模块802、交互意图确定模块803以及反馈信息生成模块804的相关内容进行赘述。

同时，还需要指出的是，在本发明的其它实施例中，用于机器人的人机交互装置还可以不包含意图图谱构建模块801，而是直接利用实现配置好的意图图片来根据交互话题确定用户的交互意图，本发明同样不限于此。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (12)

1.一种用于机器人的人机交互方法，其特征在于，包括：

交互话题确定步骤，获取用户输入的单模态和/或多模态的交互输入信息，并根据所述交互输入信息确定交互话题；

交互意图确定步骤，利用预设意图图谱，根据所述交互话题确定所述用户的交互意图；

反馈信息生成步骤，根据所述交互意图生成相应的多模态反馈信息并输出。

2.如权利要求1所述的方法，其特征在于，还包括：

意图图谱构建步骤，对用户的交互输入信息所对应的自然语言文本信息进行自然语言理解，提取交互话题的关联意图词，以该交互话题为起始利用关联意图词构建意图图谱，其中，所述关联意图词包括语义解析实体和核心谓词。

3.如权利要求2所述的方法，其特征在于，所述交互输入信息包括：文本对话信息和/或语音对话信息。

4.如权利要求1～3中任一项所述的方法，其特征在于，在所述交互话题确定步骤中，还获取上下文信息；

在所述交互意图确定步骤中，利用所述预设意图图谱，根据所述上下文信息和交互话题确定所述用户的交互意图。

5.如权利要求4所述的方法，其特征在于，在所述交互意图确定步骤中，当无上下文时，根据用户行为信息及所述预设意图图谱，确定所述用户的交互意图。

6.如权利要求1～5中任一项所述的方法，其特征在于，在所述交互意图确定步骤，根据所述交互话题确定出多个候选交互意图，对所述多个候选交互意图进行置信度排序，并根据排序结果确定所需要的交互意图。

7.一种用于机器人的人机交互装置，其特征在于，包括：

交互话题确定模块，其用于获取用户输入的单模态和/或多模态的交互输入信息，并根据所述交互输入信息确定交互话题；

交互意图确定模块，其用于利用预设意图图谱，根据所述交互话题确定所述用户的交互意图；

反馈信息生成模块，其用于根据所述交互意图生成相应的多模态反馈信息并输出。

8.如权利要求7所述的装置，其特征在于，还包括：

意图图谱构建模块，其用于对用户的交互输入信息所对应的自然语言文本信息进行自然语言理解，提取交互话题的关联意图词，以该交互话题为起始利用关联意图词构建意图图谱，其中，所述关联意图词包括语义解析实体和核心谓词。

9.如权利要求8所述的装置，其特征在于，所述交互输入信息包括文本对话信息和/或语音对话信息。

10.如权利要求7～9中任一项所述的装置，其特征在于，所述交互话题确定模块配置为还获取上下文信息，所述交互意图确定模块配置为利用所述预设意图图谱，根据所述上下文信息和交互话题确定所述用户的交互意图。

11.如权利要求10所述的装置，其特征在于，所述交互意图确定模块配置为在无上下文时根据用户行为信息及所述预设意图图谱，确定所述用户的交互意图。

12.如权利要求7～11中任一项所述的装置，其特征在于，所述交互意图确定模块配置为根据所述交互话题确定出多个候选交互意图，对所述多个候选交互意图进行置信度排序，并根据排序结果确定所需要的交互意图。