CN109278051A - 基于智能机器人的交互方法及系统 - Google Patents

Abstract

本发明提供基于智能机器人的交互方法，其包含以下步骤：获得多模态交互数据，对多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征；采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。本发明提供了一种智能机器人，智能机器人具备预设形象和预设属性，能够与用户进行多模态的交互。并且，本发明还能够解析多模态交互数据，根据用户的情感、当前话题、用户画像以及上下文来搜索最符合当前交互场景的答案，丰富了交互内容，提高系统合理回复的覆盖率，提升了交互的准确度。

Description

基于智能机器人的交互方法及系统

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于智能机器人的交互方法及系统。

背景技术

机器人多模态交互系统的开发致力于模仿人类对话，以试图在上下文之间模仿人类之间的交互。但是，目前来说，对于智能机器人相关的机器人多模态交互系统的开发还不太完善，尚未出现进行多模态交互的智能机器人，更为重要的是，尚无针对提升应答答案精度开发与利用的交互产品。

因此，本发明提供了一种基于智能机器人的交互方法及系统。

发明内容

为解决上述问题，本发明提供了一种基于智能机器人的交互方法，所述方法包含以下步骤：

获得多模态交互数据，对所述多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征；

采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。

根据本发明的一个实施例，对所述多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征中，包含以下步骤：

通过语义理解、视觉识别、认知计算以及情感计算中的一项或任几项的组合提取当前对话交互场景数据，及当前用户的个人特征。

根据本发明的一个实施例，采集应答生成模块的结果，包括：采集问答技能模块、情感模块、话题及上下文模块、用户画像模块所生成的应答数据。

根据本发明的一个实施例，还包括：对所述问答技能模块、情感模块、话题及上下文模块、用户画像模块生成的应答数据设置优先级，以决策输出多模态输出数据。

根据本发明的一个实施例，所述问答技能模块的应答数据输出优先级低于情感模块、话题及上下文模块、用户画像模块。

根据本发明的一个实施例，其特征在于，获取用户的个人特征数据的步骤中，还包含以下步骤：

根据获取的用户个人特征数据对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。

根据本发明的一个实施例，当与所述对话系统交互的用户为儿童用户时，所述方法还包含：

在决策生成应答数据时，结合儿童用户的情感特征以及画像特征，寻找符合儿童用户的多模态应答数据。

根据本发明的一个实施例，当与所述对话系统交互的用户包含儿童用户时，输出多模态输出数据的步骤中包含：

筛选所述多模态输出数据，剔除不适合儿童用户的数据。

根据本发明的另一个方面，还提供了一种基于智能机器人的交互方法装置，所述装置包含：

获取提取模块，其用于获得多模态交互数据，对所述多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征；

决策输出模块，其用于采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。

根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于智能机器人的交互方法系统，所述系统包含：

智能终端，其装载所述智能机器人，用于获取多模态交互数据；

云端大脑，其用于对所述多模态交互数据进行语义理解、视觉识别、认知计算以及情感计算，以决策所述智能机器人输出多模态输出数据。

本发明提供的基于智能机器人的交互方法及系统提供了一种智能机器人，智能机器人具备预设形象和预设属性，能够与用户进行多模态的交互。并且，本发明还能够解析多模态交互数据，根据用户的情感、当前话题、用户画像以及上下文来搜索最符合当前交互场景的答案，丰富了交互内容，提高系统合理回复的覆盖率，提升了交互的准确度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的基于智能机器人的交互方法流程图；

图2显示了根据本发明的另一个实施例的基于智能机器人的交互方法流程图；

图3显示了根据本发明的一个实施例的基于智能机器人的交互方法中当用户为儿童用户时的流程图；

图4显示了根据本发明的一个实施例的基于智能机器人的交互方法进行答案挑选的过程示意图；

图5显示了根据本发明的一个实施例的基于智能机器人的交互装置模块框图；以及

图6显示了根据本发明的一个实施例的基于智能机器人的交互系统结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

为表述清晰，需要在实施例前进行如下说明：

本发明提到的智能机器人具备特定的形象和预设属性，能够与用户进行多模态的交互。

智能终端，其装载所述智能机器人，用于获取多模态交互数据；

智能机器人基于所述智能终端的硬件获取多模态输入数据，在云端大脑的能力支持下，对多模态交互数据进行语义理解、视觉识别、认知计算、情感计算，以完成决策输出的过程。

所提到的云端大脑为提供所述智能机器人对用户的交互需求进行语义理解(语言语义理解、动作语义理解、视觉识别、情感计算、认知计算)的处理能力的终端，实现与用户的交互，以决策所述智能机器人的输出多模态输出数据。

下面结合附图对本发明的各个实施例进行详细描述。

图1显示了根据本发明的一个实施例的基于智能机器人的交互方法流程图。如图1所示，在步骤S101中，获得多模态交互数据，对多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征。根据本发明的一个实施例，多模态交互数据可以是语音数据、图像视频数据以及感知数据等。智能终端上配置有获取多模态交互数据的相应装置。

在一个实施例中，可以通过语义理解、视觉识别、认知计算以及情感计算中的一项或任几项的组合提取当前对话交互场景数据，及当前用户的个人特征。

在步骤S102中，采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。

一般来说，应答生成模块包括：问答技能模块、情感模块、话题及上下文模块、用户画像模块。在本步骤中，需要对以上应答生成模块中的结果进行采集以及排序，确定最符合用户个人特征以及当前交互场景的数据，决策生成多模态输出数据。

图2显示了根据本发明的另一个实施例的基于智能机器人的交互方法流程图。

如图2所示，在步骤S201中，获得多模态交互数据。多模态交互数据包含多种形式的数据，例如，文本数据、音频数据、感知数据以及视觉数据等。可以通过智能终端上的相应装置来获取多模态交互数据。

接着，在步骤S202中，通过语义理解、视觉识别、认知计算以及情感计算中的一项或任几项的组合提取当前对话交互场景数据，及当前用户的个人特征。在获取多模态交互数据后，需要提取当前对话交互场景数据以及用户的个人特征。此时，可以通过云端大脑中的各种能力来完成以上任务。在一个实施例中，云端大脑可以包含语义理解、视觉识别、认知计算以及情感计算等能力。

然后，在步骤S203中，采集应答生成模块的结果，包括：采集问答技能模块、情感模块、话题及上下文模块、用户画像模块所生成的应答数据。每个模块都可能对当前交互生成应答数据，但这些生成的应答数据不一定都满足当前交互的情形。需要采集所有的应答数据，根据当前交互情景和用户个人特征，寻找到最适合的应答数据。

在步骤S204中，对问答技能模块、情感模块、话题及上下文模块、用户画像模块生成的应答数据设置优先级。为了决策生成最符合当前交互的多模态输出数据，需要对所有应答数据进行优先级的排序。

最后，在步骤S205中，决策生成多模态输出数据，并输出多模态输出数据。

图3显示了根据本发明的一个实施例的基于智能机器人的交互方法中当用户为儿童用户时的流程图。

在步骤S301中，根据获取的用户个人特征数据对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。由于儿童用户与普通用户在知识储备、思维方式、情感以及画像等方面存在不同，因此，需要将用户区分为两类，即普通用户以及儿童用户。

区分普通用户与儿童用户的方法可以是采集用户的生物特征，通过用户的生物特征来区分用户的类型。生物特征一般包含面部特征、指纹特征、虹膜特征以及身材特征等。

另外，还可以根据上下文环境来推断用户的类别，本发明提供的区分用户类别的方式并不唯一，其他能够区分用户类别的方式也可以运用到本发明的实施例中，本发明不对此作出限制。

然后，在步骤S302中，当与智能机器人交互的用户为儿童用户时，在决策生成多模态输出数据时，结合儿童用户的情感特征以及画像特征，寻找符合儿童用户的应答生成模块的结果。

最后，在步骤S303中，当与智能机器人交互的用户包含儿童用户时，输出多模态输出数据时，筛选多模态输出数据，剔除不适合儿童用户的数据。例如，在输出多模态输出数据时，剔除掉包含血腥以及暴力等不适合儿童用户的内容，以免对儿童用户产生不好的影响。

图4显示了根据本发明的一个实施例的基于智能机器人的交互方法进行答案挑选的过程示意图。

下面通过一个例子对用户与智能机器人的交互进行介绍。对话如下：

用户：一加一是什么？

智能机器人：一加一是哥德巴赫猜想的简称。

用户：谢谢，明白了。

在以上对话中，用户询问“一加一是什么？”，按照基本逻辑，首先会命中四则运算模块，四则运算模块的答案是“1+1＝2”。如果不对用户的个人特征进行分析，智能机器人会回答“1+1＝2”。但是，通过对用户的个人特征进行分析，得知用户为一个大学生。此时需要在所有应答生成模块中寻找符合“大学生”特征的回答。其他模块的答案包括：检索模块的答案“一加一是哥德巴赫猜想的简称”以及“一加一等于田”，通过比较，明显“一加一是哥德巴赫猜想的简称”这一答案更加符合用户大学生这一身份。

根据本发明的另一个实施例，当用户为儿童用户时，寻找符合儿童用户的应答生成模块的结果的过程可以是：当儿童用户提问：“一加一是什么？”智能机器人根据儿童用户的特征，输出“1+1＝2”这一结果。

根据本发明的另一个实施例，当前如果为脑筋急转弯对话交互场景时，智能机器人会选择输出“一加一等于田”这一结果。

图5显示了根据本发明的一个实施例的基于智能机器人的交互装置模块框图。如图5所示，系统包含获取提取模块501以及决策输出模块502。其中，获取提取模块501包含文本采集单元5011、音频采集单元5012、视觉采集单元5013、感知采集单元5014以及解析单元5015。决策输出模块502包含采集单元5021、排序单元5022以及决策单元5023。

获取提取模块501用于获得多模态交互数据，对多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征。

文本采集单元用来采集文本信息。音频采集单元用来采集音频信息。视觉采集单元用来采集视觉信息。感知采集单元用来采集感知信息。以上采集单元的例子包括用于语音操作的麦克风、扫描仪、摄像头、感控设备，如采用可见或不可见波长射线、信号、环境数据等等。

解析单元5015用于对多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征。

决策输出模块502用于采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。采集单元5021用于采集应答生成模块的结果。包括：采集问答技能模块、情感模块、话题及上下文模块、用户画像模块所生成的应答数据。

排序单元5022用于对问答技能模块、情感模块、话题及上下文模块、用户画像模块生成的应答数据设置优先级。在一个实施例中，问答技能模块的应答数据输出优先级低于情感模块、话题及上下文模块、用户画像模块。决策单元5023用于决策生成多模态输出数据。根据用户的个人特征结合当前交互场景，决策生成符合当前交互的多模态输出数据。

图6显示了根据本发明的一个实施例的基于智能机器人的交互系统结构框图。进行多模态交互需要用户601、智能终端602、智能机器人以及云端大脑603。如图6所示，智能终端602包含输入装置602A、处理装置602B、输出装置602C以及连接装置602D。云端大脑604包含通信装置603A。

在一个实施例中，处理装置602B用于处理用户与智能机器人进行多模态交互过程中产生的数据。所用的处理器可以为数据处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端的控制中心，利用各种接口和线路连接整个终端的各个部分。

智能终端602中包含存储器，存储器主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能终端的使用所创建的数据(比如音频数据、浏览记录等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入装置602A以及输出装置602C用于获取多模态交互数据以及输出交互过程中的输出数据。连接装置602D用于与云端大脑展开通信，通过与云端大脑中的接口对接来调取云端大脑中的智能机器人能力。输入装置602A以及输出装置602C的例子包括用于语音操作的麦克风、扫描仪、摄像头(采用可见或不可见波长检测不涉及触摸的动作)等等。

云端大脑603包含通信装置603A，用于与智能终端进行数据的传递。云端大脑还包含语义理解接口、视觉识别接口、认知计算接口以及情感计算接口等。以上这些接口与通信装置603A展开通信。并且，云端大脑还包含与语义理解接口对应的语义理解逻辑、与视觉识别接口对应的视觉识别逻辑、与认知计算接口对应的认知计算逻辑以及与情感计算接口对应的情感计算逻辑。

如图6所示，多模态数据解析过程中各个能力接口分别调用对应的逻辑处理。以下为各个接口的说明：

语义理解接口，其接收从通信装置603A转发的特定语音指令，对其进行语音识别以及基于大量语料的自然语言处理。

视觉识别接口，可以针对人体、人脸、场景依据计算机视觉算法、深度学习算法等进行视频内容检测、识别、跟踪等。即根据预定的算法对图像进行识别，给出定量的检测结果。具备图像预处理功能、特征提取功能、决策功能和具体应用功能；

其中，图像预处理功能可以是对获取的视觉采集数据进行基本处理，包括颜色空间转换、边缘提取、图像变换和图像阈值化；

特征提取功能可以提取出图像中目标的肤色、颜色、纹理、运动和坐标等特征信息；

决策功能可以是对特征信息，按照一定的决策策略分发给需要该特征信息的具体多模态输出设备或多模态输出应用，如实现人脸检测、人物肢体识别、运动检测等功能。

认知计算接口，其接收从通信装置603A转发的多模态数据，认知计算接口用以处理多模态数据进行数据采集、识别和学习，以获取用户画像、知识图谱等，以对多模态输出数据进行合理决策。

情感计算接口，其接收从通信装置603A转发的多模态数据，利用情感计算逻辑(可以是情绪识别技术)来计算用户当前的情绪状态。情绪识别技术是情感计算的一个重要组成部分，情绪识别研究的内容包括面部表情、语音、行为、文本和生理信号识别等方面，通过以上内容可以判断用户的情绪状态。情绪识别技术可以仅通过视觉情绪识别技术来监控用户的情绪状态，也可以采用视觉情绪识别技术和声音情绪识别技术结合的方式来监控用户的情绪状态，且并不局限于此。在本实施例中，优选采用二者结合的方式来监控情绪。

情感计算接口是在进行视觉情绪识别时，通过使用图像采集设备收集人类面部表情图像，而后转换成可分析数据，再利用图像处理等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。

另外，在一个实施例中，智能机器人具备特定的形象特征。智能机器人的形象以及装扮不限于一种模式。智能机器人可以具备不同的形象以及装扮。智能机器人可以具备不同的外貌以及装饰。每种智能机器人的形象还会对应多种不同的装扮，装扮的分类可以依据季节分类，也可以依据场合分类。这些形象以及装扮可以存在于云端大脑中，也可以存在于智能终端中，在需要调用这些形象以及装扮时可以随时调用。

智能机器人的社会属性、人格属性以及人物技能也不限于一种或是一类。智能机器人可以具备多种社会属性、多种人格属性以及多种人物技能。这些社会属性、人格属性以及人物技能可以分别搭配，并不固定于一种搭配方式，用户可以根据需要进行选择与搭配。

具体来说，社会属性可以包括：外貌、姓名、服饰、装饰、性别、籍贯、年龄、家庭关系、职业、职位、宗教信仰、感情状态、学历等属性；人格属性可以包括：性格、气质等属性；人物技能可以包括：唱歌、跳舞、讲故事、培训等专业技能，并且人物技能展示不限于肢体、表情、头部和/或嘴部的技能展示。

此外，本发明提供的基于智能机器人的交互系统还可以配合一种程序产品，其包含用于执行完成智能机器人的交互方法步骤的一系列指令。程序产品能够运行计算机指令，计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

程序产品可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，程序产品包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，程序产品不包括电载波信号和电信信号。

本发明提供的基于智能机器人的交互方法及系统提供了一种智能机器人，智能机器人具备预设形象和预设属性，能够与用户进行多模态的交互。并且，本发明还能够解析多模态交互数据，根据用户的情感、当前话题、用户画像以及上下文来搜索最符合当前交互场景的答案，丰富了交互内容，提高系统合理回复的覆盖率，提升了交互的准确度。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (11)

1.一种基于智能机器人的交互方法，其特征在于，所述方法包含以下步骤：

获得多模态交互数据，对所述多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征；

采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。

2.如权利要求1所述的方法，其特征在于，对所述多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征中，包含以下步骤：

通过语义理解、视觉识别、认知计算以及情感计算中的一项或任几项的组合提取当前对话交互场景数据，及当前用户的个人特征。

3.如权利要求1或2所述的方法，其特征在于，采集应答生成模块的结果，包括：采集问答技能模块、情感模块、话题及上下文模块、用户画像模块所生成的应答数据。

4.如权利要求3所述的方法，其特征在于，还包括：对所述问答技能模块、情感模块、话题及上下文模块、用户画像模块生成的应答数据设置优先级，以决策输出多模态输出数据。

5.如权利要求4所述的方法，其特征在于，所述问答技能模块的应答数据输出优先级低于情感模块、话题及上下文模块、用户画像模块。

6.如权利要求1-5中任一项所述的方法，其特征在于，获取用户的个人特征数据的步骤中，还包含以下步骤：

根据获取的用户个人特征数据对当前用户的用户属性进行判断，确定当前用户的类别，其中，用户的类别包含：儿童用户。

7.如权利要求6所述的方法，其特征在于，当与所述对话系统交互的用户为儿童用户时，所述方法还包含：

在决策生成多模态输出数据时，结合儿童用户的情感特征以及画像特征，寻找符合儿童用户的应答生成模块的结果。

8.如权利要求6所述的方法，其特征在于，当与所述对话系统交互的用户包含儿童用户时，输出多模态输出数据的步骤中包含：

筛选所述多模态输出数据，剔除不适合儿童用户的数据。

9.一种基于智能机器人的交互装置，其特征在于，所述装置包含：

获取提取模块，其用于获得多模态交互数据，对所述多模态交互数据进行解析，提取当前对话交互场景数据，及当前用户的个人特征；

决策输出模块，其用于采集应答生成模块的结果，并结合当前对话交互场景数据及当前用户的个人特征，决策生成多模态输出数据，并输出多模态输出数据。

10.一种程序产品，其包含用于执行如权利要求1-8中任一项所述的方法步骤的一系列指令。

11.一种基于智能机器人的交互系统，其特征在于，所述系统包含：

智能终端，其装载所述智能机器人，用于获取多模态交互数据；

云端大脑，其用于对所述多模态交互数据进行语义理解、视觉识别、认知计算以及情感计算，以决策所述智能机器人输出多模态输出数据。