CN105867633B - 面向智能机器人的信息处理方法及系统 - Google Patents

Abstract

本发明公开了一种面向智能机器人的信息处理方法及系统，方法包括：接收多模态交互数据；解析多模态交互数据，得到解析结果；从解析结果中抽取当前用户的情绪参量；根据解析结果，识别当前用户并确定与该用户之间的感情参量；根据感情参量和情绪参量，生成情感参量；结合情感参量，输出多模态数据。本发明将情感参量融入用户与智能机器人的多模态交互过程中，对智能机器人的多模态输出产生影响，使智能机器人具有人的情感特征，从而为整个多模态交互提供了情感基础，大大提升了用户体验。

Description

面向智能机器人的信息处理方法及系统

技术领域

本发明涉及智能机器人技术领域，尤其涉及一种面向智能机器人的信息处理方法，还涉及一种面向智能机器人的信息处理系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。人们对于机器人的要求也从简单重复的机械动作提升为具有高度智能型、自主性及与其他智能体交互的智能机器人。对于智能机器人来说，其不仅需要具有完成指定工作的能力，还需要能够在许多场合与人协助完成任务，这就要求智能机器人能够与人进行有效的情感交流。

然而，现有的智能机器人在与用户进行交流时，仅能够通过从知识库中抽取答案的方式来生成输出答案。可以看出，现有的智能机器人尚不能表现出与用户相关联的情感，与用户之间欠缺情感互动，从而无法提供最佳的用户体验。

发明内容

本发明所要解决的技术问题是：现有的智能机器人不能表现出与用户相关联的情感，与用户之前欠缺情感互动，从而无法提供最佳的用户体验。

为了解决上述技术问题，本发明提供了一种面向智能机器人的信息处理方法及系统。

根据本发明的一个方面，提供了一种面向智能机器人的信息处理方法，其包括：

接收多模态交互数据；

解析所述多模态交互数据，得到解析结果；

从所述解析结果中抽取当前用户的情绪参量；

根据所述解析结果，识别当前用户并确定与该用户之间的感情参量；

根据所述感情参量和所述情绪参量，生成情感参量；

结合所述情感参量，输出多模态数据。

优选的是，根据所述解析结果，识别当前用户并确定与该用户之间的感情参量，包括：

获取与所述解析结果相匹配的用户信息；

从所述用户信息中抽取所述感情参量。

优选的是，上述面向智能机器人的信息处理方法还包括：

更新所述感情参量，包括：

对获取的目标用户的情绪参量进行打分，得到所述情绪参量的得分；

在预设时间段内，根据针对该目标用户的情绪参量的得分，生成新感情参量。

优选的是，更新所述感情参量，还包括；

将所述新感情参量保存到所述目标用户的用户信息中。

优选的是，根据所述感情参量和所述情绪参量，生成情感参量，包括：

对所述感情参量和所述情绪参量进行加权求和，生成所述情感参量。

根据本发明的另一个方面，提供了一种面向智能机器人的信息处理系统，其包括：

数据接收模块，设置为接收多模态交互数据；

解析模块，设置为解析所述多模态交互数据，得到解析结果；

情绪参量抽取模块，设置为从所述解析结果中抽取当前用户的情绪参量；

感情参量确定模块，设置为根据所述解析结果，识别当前用户并确定与该用户之间的感情参量；

情感参量生成模块，设置为根据所述感情参量和所述情绪参量，生成情感参量；

输出模块，设置为结合所述情感参量，输出多模态数据。

优选的是，所述感情参量确定模块包括：

用户信息获取单元，设置为获取与所述解析结果相匹配的用户信息；

感情参量抽取单元，设置为从所述用户信息中抽取所述感情参量。

优选的是，上述面向智能机器人的信息处理系统还包括感情参量更新模块，设置为更新所述感情参量；所述感情参量更新模块包括：

打分单元，设置为对获取的目标用户的情绪参量进行打分，得到所述情绪参量的得分；

新感情参量生成单元，设置为在预设时间段内，根据针对该目标用户的情绪参量的得分，生成新感情参量。

优选的是，所述感情参量更新模块还包括保存单元，设置为将所述新感情参量保存到所述目标用户的用户信息中。

优选的是，所述情感参量生成模块具体设置为：对所述感情参量和所述情绪参量进行加权求和，生成所述情感参量。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明根据获取的多模态交互数据得到用户与智能机器人的情感信息，使智能机器人结合情感信息进行多模态输出。与仅能简单地完成与用户对话的需求的传统智能机器人相比，本发明将情感参量融入用户与智能机器人的多模态交互过程中，对智能机器人的多模态输出产生影响，使智能机器人具有人的情感特征，从而为整个多模态交互提供了情感基础，大大提升了用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了本发明实施例面向智能机器人的信息处理方法的流程示意图；

图2示出了本发明实施例中根据解析结果识别当前用户并确定与该用户之间的感情参量的方法的流程示意图；

图3示出了本发明实施例中更新所述感情参量的方法的流程示意图；

图4示出了本发明实施例中根据所述感情参量和所述情绪参量来生成情感参量的方法的流程示意图；

图5示出了本发明实施例面向智能机器人的信息处理系统的结构示意图；

图6示出了本发明实施例中感情参量确定模块的结构示意图；

图7示出了本发明实施例中感情参量更新模块的结构示意图；以及

图8示出了本发明实施例中情感参量生成模块的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

人与人的日常对话潜在地会受情感的影响。当某个人与不同的人进行交流时，其说话的内容、方式、语气、表情、肢体等都会有所区别。另外，当某个人在不同的时间与同一人交流时，由于情感不同，其在各方面的表现也会不同。

目前，现有的智能机器人不会随着人的情绪变化给出合理的响应，机器人自身的情绪，也不会有随着接收到的信息产生相应的波动。在人和机器人长期的交流中，机器人对人的回复机器化，不会像两个正常的人一样，交流越多，感情会越亲近越好，表现也会有所不同。可以看出，现有的智能机器人不能表现出与用户相关联的情感，与用户之前欠缺情感互动，从而无法提供最佳的用户体验。举例来说，当用户在对智能机器人表达自己很伤心的时候，现有的智能机器人不能识别到该情感状态，从而不能给出应有的安慰表达。当用户一直批评智能机器人时，现有的智能机器人不能对情感进行累加，从而无法表现出越来越生气的情感输出。

为解决现有智能机器人存在的不能表现出与用户相关联的情感、与用户之前欠缺情感互动的缺陷，本发明实施例提供了一种面向智能机器人的信息处理方法及系统，该系统会时刻参与人和智能机器人的对话过程，对智能机器人的表现产生影响，让智能机器人具有人的情感特征。

在介绍本发明各个实施例之前，首先对以下术语进行定义。

情感：人的情绪和感情统称为情感。情绪：人在短时间内因外界或内在因素刺激而产生的一种心理变化。感情：人和人在长期相处的过程中建立起来的一种相对稳定的评价和体验。

对话生成：通过大数据的训练和学习，让程序自动生成对话的结果，并不需要从大量的语料库中进行查找结果。

情绪参量：能准确标识情绪的一个或一组参数，也可以是一句话或者一个模态的参数。对情绪参量进行进行打分，就是对情绪参量进行量化。也就是说，情绪参量的得分表示能准确标识情绪的一个或一组数值。

感情参量：能准确标识感情的一个或一组参数。

情感能量：能标识情感状态的一个或一组参数。

实施例一

图1示出了本发明实施例面向智能机器人的信息处理方法的流程示意图。如图1所示，本发明实施例的信息处理方法主要包括步骤101至步骤106。

在步骤101中，接收多模态交互数据。

具体地，多模态交互数据一般由前端模块获得。多模态交互数据主要涉及视觉信息数据、语音信息数据和触觉信息数据等交互信息数据中的一类或几类。系统接收视觉信息、语音信息、触觉信息等交互信息后，对各类信息进行相应的处理，得到多模态交互数据。

在步骤102中，解析多模态交互数据，得到解析结果。

在步骤103中，从解析结果中抽取当前用户的情绪参量。

具体地，本实施例通常对获取的多模态交互数据进行解析，从而从解析结果中抽取反映用户的情绪的情绪参量。

举例来说，用户1一边重拍智能机器人，一边说“在这次期末考试中我又是最后一名，气死我了”。在这种情况下，系统获取到的多模态交互数据包括：语音信息“在这次期末考试中我又是最后一名，气死我了”对应的数据，触觉信息“重拍智能机器人”对应的数据。这样，对多模态交互数据进行解析后，抽取的情绪参量为“生气”。

在另一实例中，用户2哭着对智能机器人说“我的宠物狗不见了，都怪你没有看好它”。在这种情况下，系统获取到的多模态交互数据包括：语音信息“我的宠物狗不见了，都怪你没有看好它”对应的数据，视觉信息“流泪”对应的数据。这样，对多模态交互数据进行解析后，抽取的情绪参量为“伤心”。

在步骤104中，根据解析结果，识别当前用户并确定与该用户之间的感情参量。

具体地，系统根据对多模态交互数据进行解析的解析结果，识别当前用户并确定智能机器人与用户之间的感情参量，其中感情参量可以与用户标识符绑定，并与用户标识符一同存储在用户信息中。

延续上述用户1的例子，系统根据多模态输入数据解析结果识别用户1为张磊，然后从与目标用户的用户信息中提取与该目标用户相对应的感情参量。例如，如果用户张磊经常重拍机器人，则与张磊相对应的感情参量为：用户张磊脾气比较粗暴，与机器人的感情比较疏远。

延续上述用户2的例子，系统根据多模态输入数据解析结果识别用户2的ID为321，然后从目标用户的用户信息中提取与该目标用户相对应的感情参量。例如，如果ID号为321的用户经常批评机器人，则与该用户相对应的感情参量为：ID号为321的用户习惯批评机器人，与机器人的感情比较疏远。

在步骤105中，根据感情参量和情绪参量，生成情感参量。

在步骤106中，结合情感参量，输出多模态数据。

具体地，系统结合步骤103确定的情绪参量和根据步骤104确定的感情参量，做一个决策计算(组织对话生成)，得到最终的情感参量。本领域技术人员可以构建不同的决策模型来将情绪参量和感情参量进行整合，生成情感参量。然后基于所生成的情感参量，输出作为对用户的多模态交互数据的反馈的多模态数据。

针对上述张磊的例子，系统输出的多模态数据例如包括：输出语音信息“下次考试要努力哦，还有请你不要一生气就拍我好不好”，输出动作信息：在播放“请你不要一生气就拍我好不好”的语音信息时双手叉腰，作生气状。

针对上述ID号为321的例子，系统输出的多模态数据例如包括：输出语音信息“别着急，慢慢找，还有你不要总批评我好不好”，输出动作信息，在播放“别着急，慢慢找”的语音信息时单手轻拍用户的肩膀，在播放“还有你不要总批评我好不好”的语音信息时展示卖萌的表情(例如双眼不停眨动等)。

应用本发明实施例所述的面向智能机器人的信息处理方法，根据获取的多模态交互数据得到用户与智能机器人的情感信息，使智能机器人结合情感信息进行多模态输出。与仅能简单地完成与用户对话的需求的传统智能机器人相比，本实施例将情感参量融入用户与智能机器人的多模态交互过程中，对智能机器人的多模态输出产生影响，使智能机器人具有人的情感特征，从而为整个多模态交互提供了情感基础，大大提升了用户体验。

实施例二

本实施例在实施例一的基础上，进一步优化了识别当前用户并确定与该用户之间的感情参量的方法。

图2示出了本发明实施例中根据解析结果识别当前用户并确定与该用户之间的感情参量的方法的流程示意图。如图2所示，本实施例根据解析结果识别当前用户并确定与该用户之间的感情参量的方法主要包括步骤201和步骤202。

在步骤201中，获取与解析结果相匹配的用户信息。

在步骤202中，从用户信息中抽取感情参量。

具体地，本实施例将感情参量存储在用户信息内。用户信息一般与用户标识符绑定。

在具体实施过程中，智能机器人可以在与用户的多模态交互过程中，有目的地获取当前用户的用户标识符，即识别出当前用户(目标用户)的身份。然后从与用户标识符相关联的用户信息中提取出历史累积的感情参量。

本实施例能够快速确定智能机器人与该目标用户的感情参量，为智能机器人输出情感参量提供了信息基础，同时有利于提高智能机器人的反应速度。

实施例三

本实施例在实施例一或者实施例二的基础上，对新增加的更新感情参量步骤进行了展开说明，以保证情感参量的准确性。对感情参量进行更新的时机任意，例如在获取感情参量之后。

图3示出了本发明实施例中更新感情参量的方法的流程示意图。如图3所示，本发明实施例中更新感情参量的方法主要包括步骤301和步骤302。

在步骤301中，对获取的目标用户的情绪参量进行打分，得到情绪参量的得分。

在步骤302中，在预设时间段内，根据针对该目标用户的情绪参量的得分，生成新感情参量。

具体地，系统对预设时间段内的每次对话过程进行打分，预设时间段可以为刚刚过去的一周内。正向加分表示愉悦，感情密切；反向减分表示沮丧，感情疏离。优选地，系统对预设时间段内每次对话过程中用户的情绪参量进行打分，得到针对每次对话的情绪参量的得分。然后根据预测时间段内所有对话的情绪参量的得分，得到新感情参量。然后，智能机器人根据新感情参量，输出多模态数据。

这里，每次对话过程(包括多轮对话)的打分过程，可以结合模型进行计算，具体过程在本文中不进行展开说明。

应用本发明实施例中更新感情参量的方法，智能机器人能够结合最新、最准确的感情参量生成待输出的多模态数据，提高了智能机器人的反应的准确性，大大提升了用户体验。

在本发明一优选的实施例中，更新感情参量的方法还包括步骤303。

在步骤303中，将新感情参量保存到目标用户的用户信息中，从而能从用户信息中提取最新的、最准确的感情参量，提高了智能机器人输出的多模态数据的准确性，提升了用户体验。

实施例四

本实施例在以上任意实施例的基础上，进一步优化了情感参量的生成方法。

图4示出了本发明实施例中根据感情参量和情绪参量来生成情感参量的方法的流程示意图。如图4所示，本实施例生成情感参量的方法主要包括步骤401和步骤402。

在步骤401中，向情感参量和感情参量分配权值。

在步骤402中，对感情参量和情绪参量进行加权求和，生成情感参量。

具体地，本实施例向感情参量分配权值的原则是：生成感情参量的过程中涉及的预设时间段间隔越长，向感情参量分配的权值越大。反之，生成感情参量的过程中涉及的预设时间段间隔越短，向感情参量分配的权值越小。一般地，向情绪参量分配的权值为固定，或者随着向感情参量分配的权值的变化而变化。待权值确定之后，对感情参量和情绪参量进行加权求和，得到情感参量。

本实施例对两类参量在情感参量所占的比例进行合理分配，从而有利于生成更符合当前情景的情感参量，从而使智能机器人能够结合最准确的感情参量生成待输出的多模态数据，提高了智能机器人的反应的准确性，大大提升了用户体验。

实施例五

对应于上述实施例一至实施例四，本发明实施例提供了一种面向智能机器人的信息处理系统。

图5示出了本发明实施例面向智能机器人的信息处理系统的结构示意图。如图5所示，本发明实施例面向智能机器人的信息处理系统主要包括数据接收模块501、解析模块502、情绪参量抽取模块503、感情参量确定模块504、情感参量生成模块505和输出模块506。其中，数据接收模块501通过解析模块502连接情绪参量抽取模块503和感情参量确定模块504，情绪参量抽取模块503和感情参量确定模块504分别通过情感参量生成模块505连接输出模块506。

具体地，数据接收模块501，设置为接收多模态交互数据。

解析模块502，设置为解析多模态交互数据，得到解析结果。

情绪参量抽取模块503，设置为从解析结果中抽取当前用户的情绪参量。

感情参量确定模块504，设置为根据解析结果，识别当前用户并确定与该用户之间的感情参量。

情感参量生成模块505，设置为根据感情参量和情绪参量，生成情感参量。

输出模块506，设置为结合情感参量，输出多模态数据。

应用本发明实施例所述的面向智能机器人的信息处理系统，根据获取的多模态交互数据得到用户与智能机器人的情感信息，使智能机器人结合情感信息进行多模态输出。与仅能简单地完成与用户对话的需求的传统智能机器人相比，本实施例将情感参量融入用户与智能机器人的多模态交互过程中，对智能机器人的多模态输出产生影响，使智能机器人具有人的情感特征，从而为整个多模态交互提供了情感基础，大大提升了用户体验。

实施例六

本实施例在实施例五的基础上，进一步优化了感情参量确定模块504。

图6示出了本发明实施例中感情参量确定模块504的结构示意图。如图6所示，本实施例的感情参量确定模块504主要包括用户信息获取单元601和感情参量抽取单元602。

具体地，用户信息获取单元601，设置为获取与解析结果相匹配的用户信息。

感情参量抽取单元602，设置为从用户信息中抽取感情参量。

本实施例能够快速确定智能机器人与该目标用户的感情参量，为智能机器人输出情感参量提供了信息基础，同时有利于提高智能机器人的反应速度。

实施例七

本实施例在实施例五或实施例六的基础上，加入了感情参量更新模块。

图7示出了本发明实施例中感情参量更新模块的结构示意图，感情参量更新模块优选地与感情参量抽取单元602连接。如图7所示，感情参量更新模块700主要包括打分单元701和新感情参量生成单元702。

具体地，打分单元701，设置为对获取的目标用户的情绪参量进行打分，得到情绪参量的得分。

新感情参量生成单元702，设置为在预设时间段内，根据针对该目标用户的情绪参量的得分，生成新感情参量。

应用本发明实施例中感情参量更新模块700，智能机器人能够结合最新、最准确的感情参量生成待输出的多模态数据，提高了智能机器人的反应的准确性，大大提升了用户体验。

在本发明一优选的实施例中，感情参量更新模块700还包括与新感情参量生成单元702连接的保存单元703。该保存单元703设置为将新感情参量保存到目标用户的用户信息中，从而能从用户信息中提取最新的、最准确的感情参量，提高了智能机器人输出的多模态数据的准确性，提升了用户体验。

实施例八

本实施例在实施例五或者实施例六或者实施例七的基础上，进一步优化了情感参量生成模块505。

图8示出了本发明实施例中情感参量生成模块505的结构示意图。如图8所示，本实施例的情感参量生成模块505主要包括权值分配单元801和情感参量生成单元802。

具体地，权值分配单元801，设置为分别向情绪参量和感情参量分配权值。

感参量生成单元，设置为对感情参量和情绪参量进行加权求和，生成情感参量。

本实施例对两类参量在情感参量所占的比例进行合理分配，从而有利于生成更符合当前情景的情感参量，从而使智能机器人能够结合最准确的感情参量生成待输出的多模态数据，提高了智能机器人的反应的准确性，大大提升了用户体验。

值得注意的是，实施例四至实施例八中各个模块及单元中的操作的具体细化，可参见上面结合图1至图4对本发明方法(具体参见实施例一至实施例四)的说明，在此不再详细赘述。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种面向智能机器人的信息处理方法，其特征在于，包括：

接收多模态交互数据；

解析所述多模态交互数据，得到解析结果；

从所述解析结果中抽取当前用户的情绪参量；

根据所述解析结果，识别当前用户并确定与该用户之间的感情参量；

根据所述感情参量和所述情绪参量，生成情感参量；

结合所述情感参量，输出多模态数据，其中，根据所述解析结果，识别当前用户并确定与该用户之间的感情参量，包括：

获取与所述解析结果相匹配的用户信息；

从所述用户信息中抽取所述感情参量，其中，根据所述感情参量和所述情绪参量，生成情感参量，包括：

对所述感情参量和所述情绪参量进行加权求和，生成所述情感参量，生成情感参量的过程中涉及的预设时间段间隔越长，向感情参量分配的权值越大，反之，生成感情参量的过程中涉及的预设时间段间隔越短，向感情参量分配的权值越小，向情绪参量分配的权值为固定或者随着向感情参量分配的权值的变化而变化，待权值确定之后，对感情参量和情绪参量进行加权求和，得到情感参量。

2.根据权利要求1所述的方法，其特征在于，还包括：

更新所述感情参量，包括：

对获取的目标用户的情绪参量进行打分，得到所述情绪参量的得分；

在预设时间段内，根据针对该目标用户的情绪参量的得分，生成新感情参量。

3.根据权利要求2所述的方法，其特征在于，更新所述感情参量，还包括；

将所述新感情参量保存到所述目标用户的用户信息中。

4.一种面向智能机器人的信息处理系统，其特征在于，包括：

数据接收模块，设置为接收多模态交互数据；

解析模块，设置为解析所述多模态交互数据，得到解析结果；

情绪参量抽取模块，设置为从所述解析结果中抽取当前用户的情绪参量；

感情参量确定模块，设置为根据所述解析结果，识别当前用户并确定与该用户之间的感情参量；

情感参量生成模块，设置为根据所述感情参量和所述情绪参量，生成情感参量；其中，根据所述感情参量和所述情绪参量，生成情感参量，包括：对所述感情参量和所述情绪参量进行加权求和，生成所述情感参量；生成情感参量的过程中涉及的预设时间段间隔越长，向感情参量分配的权值越大，反之，生成感情参量的过程中涉及的预设时间段间隔越短，向感情参量分配的权值越小，向情绪参量分配的权值为固定或者随着向感情参量分配的权值的变化而变化，待权值确定之后，对感情参量和情绪参量进行加权求和，得到情感参量；输出模块，设置为结合所述情感参量，输出多模态数据，其中，所述感情参量确定模块包括：

用户信息获取单元，设置为获取与所述解析结果相匹配的用户信息；

感情参量抽取单元，设置为从所述用户信息中抽取所述感情参量。

5.根据权利要求4所述的系统，其特征在于，还包括感情参量更新模块，设置为更新所述感情参量；所述感情参量更新模块包括：

打分单元，设置为对获取的目标用户的情绪参量进行打分，得到所述情绪参量的得分；

新感情参量生成单元，设置为在预设时间段内，根据针对该目标用户的情绪参量的得分，生成新感情参量。

6.根据权利要求5所述的系统，其特征在于，所述感情参量更新模块还包括保存单元，设置为将所述新感情参量保存到所述目标用户的用户信息中。