CN109086392A - 一种基于对话的交互方法及系统 - Google Patents

Abstract

本发明公开了一种基于对话的交互方法以及系统。方法包括：获取用户多模态数据并解析；识别解析结果，判断是否与机器人自我认知相关，如果相关，调用对应的智能机器人自我认知数据；根据解析结果并结合所述机器人自我认知数据，生成并输出多模态交互回应数据。相较于现有技术，根据本发明的方法，将智能机器人的自身认知作为决策要素加入到了回应生成过程中，从而大大提高智能机器人的拟人化水平，提高智能机器人的用户体验。

Description

一种基于对话的交互方法及系统

技术领域

本发明涉及计算机领域，具体涉及一种基于对话的交互方法及系统。

背景技术

随着人工智能技术的不断发展，智能机器人被越来越多的应用于人类的生产生活当中。

在智能机器人与人类的交互过程中，为了提高智能机器人对用户需求回应的准确度，提高智能机器人的用户体验，在生成交互回应的过程中，智能机器人通常会调用相关的知识图谱，根据知识图谱中的知识数据来生成交互回应。例如，在用户提问“土豆的做法”时，智能机器人会调用相关知识图谱，从中获取有关“土豆”的菜谱。

但是，目前的知识图谱只是单纯的针对客观的知识数据提供数据支持。基于这种知识图谱，在当前的对话系统中，聊天机器人只对用户的问题进行理解并返回答案，而在用户的聊天内容涉及机器人自身相关属性时，机器人的回答往往趋于模棱两可或回避，在多轮对话中也常会出现答案自身矛盾的问题。

发明内容

本发明提供了一种基于对话的交互方法，包括：

获取用户多模态数据并解析；

识别解析结果，判断是否与机器人自我认知相关，如果相关，调用对应的智能机器人自我认知数据；

根据解析结果并结合所述机器人自我认知数据，生成并输出多模态交互回应数据。

在一实施例中，调用对应的智能机器人自我认知数据，包含：

调用机器人自我认知模型，所述机器人自我认知模型包括：以知识图谱构建的机器人自身多维度属性。

在一实施例中，所述方法还包括：

判断所述用户多模态数据中是否包含智能机器人自我认知数据，如包含，提取所述用户多模态数据中的智能机器人自我认知数据；

将从所述用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据。

在一实施例中，将从所述用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据，包括：

对比从所述用户多模态数据中提取的智能机器人自我认知数据与针对智能机器人自我认知的知识图谱中的相应智能机器人自我认知数据；

如果对比结果不一致，在所述多模态交互回应数据加入纠正用户对智能机器人认知的回应数据。

在一实施例中，所述方法还包括：

判断从所述用户多模态数据中提取的智能机器人自我认知数据是否为新认知设定，如果是，将从所述用户多模态数据中提取的智能机器人自我认知数据加入针对智能机器人自我认知的知识图谱中。

本发明还提出了一种存储介质，所述存储介质上存储有可实现如本发明所述方法的程序代码。

本发明还一种基于如本发明所述方法的交互系统，所述系统包括：

输入获取模块，其配置为获取用户多模态数据；

输入解析模块，其配置为解析所述用户多模态数据，获取解析结果；

知识图谱调用模块，其配置为识别所述解析结果，判断是否与机器人自我认知相关，如果相关调用针对智能机器人自我认知的知识图谱；

自我认知数据提取模块，其配置为根据所述解析结果从所述知识图谱中提取对应的智能机器人自我认知数据，

决策及生成模块，其配置为根据所述解析结果并结合所述智能机器人自我认知数据，生成并输出多模态交互回应数据。

在一实施例中：

所述自我认知数据提取模块还配置为从所述用户多模态数据中提取智能机器人自我认知数据；

所述决策及生成模块还配置为将从所述用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据。

在一实施例中：

所述决策及生成模块还配置为对比从所述用户多模态数据中提取的智能机器人自我认知数据与从所述知识图谱中提取的智能机器人自我认知数据，如果对比结果不一致，在所述多模态交互回应数据加入纠正用户对智能机器人认知的回应数据。

在一实施例中，所述系统还包括：

知识图谱填充模块，其配置为根据所述解析结果判断从所述用户多模态数据中提取的智能机器人自我认知数据是否为新认知设定，如果是，将从所述用户多模态数据中提取的智能机器人自我认知数据加入到所述知识图谱中。

相较于现有技术，根据本发明的方法，将智能机器人的自身认知作为决策要素加入到了回应生成过程中，从而大大提高智能机器人的拟人化水平，提高智能机器人的用户体验。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1以及图2是根据本发明不同实施例的交互方法流程图；

图3是根据本发明一实施例的交互方法的部分流程图；

图4以及图5是根据本发明不同实施例的交互系统结构简图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

随着人工智能技术的不断发展，智能机器人被越来越多的应用于人类的生产生活当中。

在智能机器人与人类的交互过程中，为了提高智能机器人对用户需求回应的准确度，提高智能机器人的用户体验，在生成交互回应的过程中，智能机器人通常会调用相关的知识图谱，根据知识图谱中的知识数据来生成交互回应。例如，在用户提问“土豆的做法”时，智能机器人会调用相关知识图谱，从中获取有关“土豆”的菜谱。

但是，目前的知识图谱只是单纯的针对客观的知识数据提供数据支持。基于这种知识图谱，在当前的对话系统中，聊天机器人只对用户的问题进行理解并返回答案，而在用户的聊天内容涉及机器人自身相关属性时，机器人的回答往往趋于模棱两可或回避，在多轮对话中也常会出现答案自身矛盾的问题。

针对上述问题，本发明提出了一种基于对话的交互方法。在本发明的方法中，智能机器人在对用户的交互内容进行应答时，其不仅仅从知识层面进行应答，而且还在应答中加入了自身的属性考量。具体的，将智能机器人虚拟化为一个具有特定属性的人类(其具备年龄、外观、喜好和/或思维倾向等人类属性)，并且，令机器人了解自身所具备的这些属性，即，令机器人具备自我认知。在生成交互应答时参考这些机器人的虚拟化属性，从而生成匹配的个性化应答。

相较于现有技术，根据本发明的方法，将智能机器人的自身认知作为决策要素加入到了回应生成过程中，从而大大提高智能机器人的拟人化水平，提高智能机器人的用户体验。

接下来基于附图详细描述根据本发明实施例的方法的详细流程，附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

具体的，如图1所示，在一实施例中，本发明的方法包含以下流程。

获取用户多模态数据(S110)；

解析用户多模态数据(S120)；

识别解析结果，判断是否与机器人自我认知相关(S130)；

如果不相关，则说明当前需要进行的交互回应不需要加入智能机器人的个体认知，则根据解析结果生成并输出多模态交互回应数据(S140)(例如，用户要求播放特定的语音信息，此时的回应应该是直接播放该语音信息，而不需要在回应时参考机器人的自我认知)；

如果相关，调用对应的智能机器人自我认知数据(S150)；

根据解析结果并结合调用的机器人自我认知数据，生成并输出多模态交互回应数据(S140)。

具体的，在一实施例中，智能机器人自我认知数据是提前预设给智能机器人的。

具体的，在一实施例中，首先确定需要设定给智能机器人的自我认知信息数据(属性设定信息)；然后对自我认知信息数据进行知识结构化处理，生成针对自我认知的知识图谱。这样，智能机器人在交互过程中只需要调用知识图谱，基于知识图谱中对应当前交互需求的自我认知信息数据生成交互回应，就可以将智能机器人的自身认知作为决策要素加入到回应生成过程中。

具体的，在一实施例中，在步骤S150中，调用机器人自我认知模型，该机器人自我认知模型包括：以知识图谱构建的机器人自身多维度属性。

进一步的，在一实施例中，智能机器人自我认知数据还来自与用户输入的交互内容。

具体的，在一实施例中，方法还包括：

判断用户多模态数据中是否包含智能机器人自我认知数据；

如包含，提取用户多模态数据中的智能机器人自我认知数据；

将从用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据。

具体的，如图2所示，在一实施例中：

获取用户多模态数据(S210)；

解析用户多模态数据(S220)；

识别解析结果，判断是否与机器人自我认知相关(S230)；

如果不相关，则说明当前需要进行的交互回应不需要加入智能机器人的个体认知，则根据解析结果生成并输出多模态交互回应数据(S240)；

如果相关，调用对应的智能机器人自我认知数据(S250)；

与步骤S250同步的，根据解析结果判断用户多模态数据中是否包含智能机器人自我认知数据(S260)；

如不包含，则根据解析结果并结合调用的机器人自我认知数据，生成并输出多模态交互回应数据(S240)；

如包含，提取用户多模态数据中的智能机器人自我认知数据(S270)；

根据解析结果并结合调用的机器人自我认知数据以及从用户多模态数据中提取的智能机器人自我认知数据，生成并输出多模态交互回应数据(S240)。

进一步的，在某些应用场景中，用户是有权限对智能机器人设定机器人属性的，即，用户可以对智能机器人添加智能机器人自我认知数据。因此，在一实施例中，用户多模态数据中的智能机器人自我认知数据可以为用户为智能机器人所设定的新的自我认知数据。

具体的，在一实施例中，方法还包括：

判断从用户多模态数据中提取的智能机器人自我认知数据是否为新认知设定，如果是，将从用户多模态数据中提取的智能机器人自我认知数据加入针对智能机器人自我认知的知识图谱中。

进一步的，在一实施例中，当从用户多模态数据中提取的智能机器人自我认知数据为新认知设定时，还需要进一步判断针对智能机器人自我认知的知识图谱中是否有对应数据，如果针对智能机器人自我认知的知识图谱中并没有与新认知设定对应的数据时，将新认知设定补充到针对智能机器人自我认知的知识图谱中。

如果针对智能机器人自我认知的知识图谱中有与新认知设定对应的数据时，则先验证针对智能机器人自我认知的知识图谱中的数据是否与新认知设定一致，如果一致，则维持针对智能机器人自我认知的知识图谱中的数据不变，如果不一致，则向用户发出认知冲突提醒，待用户确认需要修改认知时将针对智能机器人自我认知的知识图谱中的数据替换为新认知设定。

进一步的，在一实施例中，在用户多模态数据中并没有包含直接设定智能机器人自我认知的内容，但是包含与智能机器人自我认知相关的内容时，则说明用户对机器人有一个特定的属性认知，即，在用户心中，已经具备一些智能机器人的属性描述。在一实施例中，首先考虑用户对智能机器人的属性认知是否正确。即，用户所知道的智能机器人属性信息是否与智能机器人所设定的自我认知信息相冲突。

具体的，在一实施例中，将从用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成多模态交互回应数据，包括：

对比从用户多模态数据中提取的智能机器人自我认知数据与针对智能机器人自我认知的知识图谱中的相应智能机器人自我认知数据；

如果对比结果不一致，在多模态交互回应数据加入纠正用户对智能机器人认知的回应数据。

具体的，如图3所示，在一实施例中，在步骤S360判断用户多模态数据中包含智能机器人自我认知数据时，提取用户多模态数据中的智能机器人自我认知数据(S370)：

对比从用户多模态数据中提取的智能机器人自我认知数据与针对智能机器人自我认知的知识图谱中的相应智能机器人自我认知数据(S310)；

如果对比结果一致，则根据解析结果并结合调用的机器人自我认知数据或从用户多模态数据中提取的智能机器人自我认知数据，生成并输出多模态交互回应数据(S320)；

如果对比结果不一致，则根据解析结果并结合调用的机器人自我认知数据，生成并输出多模态交互回应数据，并且，在多模态交互回应数据加入纠正用户对智能机器人认知的回应数据(S330)。

进一步的，在一实施例中，对比从用户多模态数据中提取的智能机器人自我认知数据与针对智能机器人自我认知的知识图谱中的相应智能机器人自我认知数据，如果结果不一致，则提醒用户，并向用户确认是否要修改针对智能机器人自我认知的知识图谱中的数据。

进一步的，在一实施例中，对比从用户多模态数据中提取的智能机器人自我认知数据与针对智能机器人自我认知的知识图谱中的相应智能机器人自我认知数据，如果对比后确定针对智能机器人自我认知的知识图谱中并没有与从用户多模态数据中提取的智能机器人自我认知数据相对应的数据，则提醒用户，并向用户确认是否要补充针对智能机器人自我认知的知识图谱。

进一步的，基于本发明的方法，本发明还提出了一种存储介质，该存储介质上存储有可实现如本发明所述方法的程序代码。

进一步的，基于本发明的方法，本发明还提出了一种交互系统。具体的，如图4所示，在一实施例中，系统包括：

输入获取模块410，其配置为获取用户多模态数据；

输入解析模块420，其配置为解析输入获取模块510获取的用户多模态数据，获取解析结果；

知识图谱调用模块430，其配置为识别输入解析模块420生成的解析结果，判断是否与机器人自我认知相关，如果相关调用针对智能机器人自我认知的知识图谱；

自我认知数据提取模块440，其配置为根据输入解析模块420的解析结果从知识图谱调用模块430调用的知识图谱中提取对应的智能机器人自我认知数据，

决策及生成模块450，其配置为根据输入解析模块420的解析结果并结合自我认知数据提取模块440提取的智能机器人自我认知数据，生成并输出多模态交互回应数据。

进一步的，在一实施例中：

自我认知数据提取模块440还配置为从输入获取模块410获取的用户多模态数据中提取智能机器人自我认知数据；

决策及生成模块450还配置为将自我认知数据提取模块440从用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成多模态交互回应数据。

具体的，在一实施例中：

决策及生成模块450还配置为对比自我认知数据提取模块440从用户多模态数据中提取的智能机器人自我认知数据与从知识图谱中提取的智能机器人自我认知数据，如果对比结果不一致，则在多模态交互回应数据加入纠正用户对智能机器人认知的回应数据。

进一步的，在一实施例中，如图5所示，系统还包括：

知识图谱填充模块560，其配置为根据输入解析模块520的解析结果判断自我认知数据提取模块540从用户多模态数据中提取的智能机器人自我认知数据是否为新认知设定，如果是，将自我认知数据提取模块540从用户多模态数据中提取的智能机器人自我认知数据加入到知识图谱调用模块530调用的针对智能机器人自我认知的知识图谱中并保存新的知识图谱。

进一步的，基于本发明的交互方法，本发明还提出了一种基于对话的交互设备，在一实施例中，该设备装载有能实现本发明所述方法的程序代码。

进一步的，基于本发明的交互系统，本发明还提出了一种儿童设备，具体的，在一实施例中，本发明所提出的基于对话的交互设备为儿童专用。

进一步的，基于本发明的交互方法以及交互系统，本发明还提出了一种基于虚拟人的交互系统。具体的，在一实施例中，系统包括智能设备以及云端服务器，其中：

云端服务器包含如本发明所述的交互系统以及多个能力接口。交互系统配置为调用云端服务器的能力接口获取用户多模态数据并解析，生成并输出多模态交互回应数据。具体的，多模态数据解析过程中各个能力接口分别调用对应的逻辑处理。

具体的，云端服务器的能力接口包括语义理解接口、视觉识别接口、情感计算接口、认知计算接口。

具体的，在一实施例中，以下为各个接口的说明：

语义理解接口，其接收从智能设备的通信模块转发的特定语音指令，对其进行语音识别以及基于大量语料的自然语言处理。

视觉识别接口，可以针对人体、人脸、场景依据计算机视觉算法、深度学习算法等进行视频内容检测、识别、跟踪等。即根据预定的算法对图像进行识别，给出定量的检测结果。具备图像预处理功能、特征提取功能和决策功能。其中：

图像预处理功能可以是对获取的视觉采集数据进行基本处理，包括颜色空间转换、边缘提取、图像变换和图像阈值化；

特征提取功能可以提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息；

决策功能可以是对特征信息，按照一定的决策策略分发给需要该特征信息的具体多模态输出设备或多模态输出应用，如实现人脸检测、人物肢体识别、运动检测等功能。

情感计算接口，其接收从通信模块转发的多模态数据，利用情感计算逻辑(可以是情绪识别技术)来计算用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、行为、文本和生理信号识别等方面，通过以上内容可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态，且并不局限于此。在本实施例中，优选采用二者结合的方式来监控情绪。

情感计算接口是在进行视觉情绪识别时，通过使用图像采集设备收集人类面部表情图像，而后转换成可分析数据，再利用图像处理等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。

认知计算接口，其接收从通信模块转发的多模态数据，认知计算接口用以处理多模态数据进行数据采集、识别和学习，以获取用户画像、知识图谱等，以对多模态输出数据进行合理决策。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。

Claims (10)

1.一种基于对话的交互方法，包括：

获取用户多模态数据并解析；

识别解析结果，判断是否与机器人自我认知相关，如果相关，调用对应的智能机器人自我认知数据；

根据解析结果并结合所述机器人自我认知数据，生成并输出多模态交互回应数据。

2.根据权利要求1所述的方法，其特征在于，调用对应的智能机器人自我认知数据，包含：

调用机器人自我认知模型，所述机器人自我认知模型包括：以知识图谱构建的机器人自身多维度属性。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

判断所述用户多模态数据中是否包含智能机器人自我认知数据，如包含，提取所述用户多模态数据中的智能机器人自我认知数据；

将从所述用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据。

4.根据权利要求3所述的方法，其特征在于，将从所述用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据，包括：

对比从所述用户多模态数据中提取的智能机器人自我认知数据与针对智能机器人自我认知的知识图谱中的相应智能机器人自我认知数据；

如果对比结果不一致，在所述多模态交互回应数据加入纠正用户对智能机器人认知的回应数据。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

判断从所述用户多模态数据中提取的智能机器人自我认知数据是否为新认知设定，如果是，将从所述用户多模态数据中提取的智能机器人自我认知数据加入针对智能机器人自我认知的知识图谱中。

6.一种存储介质，其特征在于，所述存储介质上存储有可实现如权利要求1-5中任一项所述方法的程序代码。

7.一种基于如权利要求1-5所述方法的交互系统，其特征在于，所述系统包括：

输入获取模块，其配置为获取用户多模态数据；

输入解析模块，其配置为解析所述用户多模态数据，获取解析结果；

知识图谱调用模块，其配置为识别所述解析结果，判断是否与机器人自我认知相关，如果相关调用针对智能机器人自我认知的知识图谱；

自我认知数据提取模块，其配置为根据所述解析结果从所述知识图谱中提取对应的智能机器人自我认知数据，

决策及生成模块，其配置为根据所述解析结果并结合所述智能机器人自我认知数据，生成并输出多模态交互回应数据。

8.根据权利要求7所述的系统，其特征在于：

所述自我认知数据提取模块还配置为从所述用户多模态数据中提取智能机器人自我认知数据；

所述决策及生成模块还配置为将从所述用户多模态数据中提取的智能机器人自我认知数据作为决策数据参与生成所述多模态交互回应数据。

9.根据权利要求8所述的系统，其特征在于：

所述决策及生成模块还配置为对比从所述用户多模态数据中提取的智能机器人自我认知数据与从所述知识图谱中提取的智能机器人自我认知数据，如果对比结果不一致，在所述多模态交互回应数据加入纠正用户对智能机器人认知的回应数据。

10.根据权利要求8或9所述的系统，其特征在于，所述系统还包括：

知识图谱填充模块，其配置为根据所述解析结果判断从所述用户多模态数据中提取的智能机器人自我认知数据是否为新认知设定，如果是，将从所述用户多模态数据中提取的智能机器人自我认知数据加入到所述知识图谱中。