CN109710748B - 一种面向智能机器人的绘本阅读交互方法和系统 - Google Patents

Abstract

本发明公开了一种面向智能机器人的绘本阅读交互方法和系统，所述方法包括如下步骤：获取绘本阅读指令；开启绘本阅读进程，实时监测是否有来自用户的多模态数据；在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题；若用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据。本发明方法能够改善用户的体验，提高用户与讲故事机器人之间的粘度。

Description

一种面向智能机器人的绘本阅读交互方法和系统

技术领域

本发明涉及智能机器人领域，尤其涉及一种面向智能机器人的绘本阅读交互方法和系统。

背景技术

绘本，英文称Picture Book，指一类以绘画为主，并附有少量文字的书籍。绘本不仅可用于讲故事、学知识，而且可以全面帮助孩子建构精神，培养多元智能。

传统的绘本阅读方法有两种：一种是点读笔通过笔尖的光电识别器，将绘本上印制的肉眼不可见的二维码信息扫描，由笔内CPU处理识别成功后，从点读笔内存中挑出对应的音频由喇叭播放。另一种点读机使用的原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”，使用者将课本置于机器平板上，用专用的笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音。

但是，传统的方法只能给用户讲绘本，向用户输出绘本对应的语音信息，无法与用户进行多模态交互，尤其是无法与用户实现问答，这样就降低了用户的体验感，长此以往就使用户对其产生了厌倦的心理。

发明内容

本发明所要解决的技术问题之一是需要提供一种能使用户沉浸于绘本阅读当中的面向智能机器人的绘本阅读交互方法和系统。

为了解决上述技术问题，本申请的实施例首先提供了一种面向智能机器人的绘本阅读交互方法，所述方法包括如下步骤：获取绘本阅读指令；开启绘本阅读进程，实时监测是否有来自用户的多模态数据；在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题；若用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据。

在本发明的一个实施例中，该方法还包括：在到达预设的问题节点时，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问；根据用户的回复，决策向用户输出的多模态数据。

在本发明的一个实施例中，还包括：判断在该预设的问题节点是否存在其他的问题或与用户回复的内容相关的问题，若存在，则向用户再次发起提问。

在本发明的一个实施例中，还包括：提取绘本内容中的情感元素，将情感元素融合至多模态数据输出。

在本发明的一个实施例中，在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断用户是否存在情感变化；若存在情感变化，则根据用户的情感变化决策向用户输出的多模态数据。

根据本发明另一方面，还提供了一种程序产品，其上存储有可执行如上所述的方法步骤的程序代码。

根据本发明另一方面，还提供了一种儿童专用设备，所述设备包括处理器以及存储装置，其中，所述存储装置存储有程序，所述处理器用于执行所述存储装置中的程序以实现如上所述的方法。

根据本发明的另一方面，还提供了一种面向智能机器人的绘本阅读交互装置，所述装置包括如下模块：绘本阅读模块，其获取绘本阅读指令，并开启绘本阅读进程；多模态数据监测模块，其实时监测是否有来自用户的多模态数据；多模态数据分析模块，其在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题；多模态数据输出模块，其在用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据。

在本发明的一个实施例中，所述多模态数据输出模块，其在到达预设的问题节点时，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问；根据用户的回复，决策向用户输出的多模态数据；所述多模态数据输出模块，其还判断在该预设的问题节点是否存在其他的问题或与用户回复的内容相关的问题，若存在，则向用户再次发起提问。

在本发明的一个实施例中，所述多模态数据分析模块，其在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断用户是否存在情感变化；所述多模态数据输出模块，其在存在情感变化，则根据用户的情感变化决策向用户输出的多模态数据。

根据本发明的另一方面，还提供了一种绘本阅读交互系统，该系统包括：如上所述的儿童专用设备；以及云端服务器，其配置绘本数据库、对应绘本的主题库和问答库，对多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题以及判断用户是否存在情感变化。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明提供的面向智能机器人的绘本阅读交互方法，通过在绘本阅读的过程中，若用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据。据此，能够改善用户的体验，提高用户与讲故事机器人之间的粘度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为本申请实施例的绘本阅读交互系统的应用环境的示意图。

图2为本申请实施例的面向智能机器人的儿童专用设备102的结构示意图。

图3为本申请实施例的面向智能机器人的绘本阅读交互装置300的结构示意图。

图4为本申请实施例的面向智能机器人的绘本阅读交互方法的示例一的流程示意图。

图5为本申请实施例的面向智能机器人的绘本阅读交互方法的示例二的流程示意图。

图6为本申请实施例的面向智能机器人的绘本阅读交互方法的示例三的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例针对背景技术中的问题，提出了一种面向智能机器人的绘本阅读交互方法和系统。在智能机器人进行绘本阅读时，还可以与用户(主要是儿童用户)进行与绘本相关话题的交互。这样，不仅使儿童用户更好地理解绘本的主题知识图谱的相关内容，而且有助于提高儿童用户使用该智能机器人的兴趣度和粘度。

另外，除了用户可以发起话题对话以外，智能机器人还可以像用户发起有关绘本内容的提问，这样，使儿童在看和听绘本的同时，启发脑的思考，有助于提高儿童提高大脑思考的能力和阅读能力。

由于针对不同的绘本，绘本话题的知识图谱是不同的，针对一个话题一般存在多个相关的问题，通过智能机器人发起一系列问题之后，加深了有关该主题问题的印象，更好地帮助儿童用户理解该绘本的相关知识。

在智能机器人阅读绘本的过程中，会提取绘本内容中的情感元素，例如高兴、伤心、痛苦等情感，它将提出的情感元素融合至多模态数据输出，借此能够有感情地以表演方式给用户进行绘本阅读，提高用户的绘本阅读兴趣。

在接收到用户发来的多模态数据时，通过对这些多模态数据进行分析，得到用户的情感变化，智能机器人能够基于用户的这些情感变化来决策向用户发出相应的反馈数据。能够更好地改善用户的体验感。

下面参照附图来对本发明的各个实施例进行详细说明。

图1为本申请实施例的绘本阅读交互系统的应用环境的示意图。环境100可包括云端服务器104和一个或多个儿童专用设备102，儿童专用设备102可以是绘本机器人、儿童故事机、台灯、闹钟、智能音箱以及儿童AI机器人等，该儿童专用设备102能够实现对儿童用户108的沉浸式阅读。所谓“沉浸式阅读”，一方面可以理解为：在给小朋友108阅读绘本106或图画书的时候，不会受到外界干扰，儿童专用设备102能够一直给小朋友108阅读绘本106，能够训练儿童的专注力和培养对阅读的兴趣。另一方面可以理解为：该设备102可以在阅读的过程中，能够与儿童进行语言、情感等方面的交流，能对绘本106的相关主题进行剖析，更好提高儿童的理解力，使儿童用户沉浸在阅读当中。在图1的示例中，该设备102为一个绘本阅读的智能机器人。

在一个例子中，云端服务器104可以作为儿童专用设备102的存储端，存储了大量有关绘本的数据内容。例如，在云端服务器104中可以配置有包括多个绘本的绘本数据库、与每个绘本对应的知识图谱库和问答库。绘本数据库中可以存储绘本音频链接或者音频压缩数据；知识图谱库，其为针对每一个绘本可能涉及的知识节点构成的知识点图谱，例如绘本中的动物科普知识；问答库，其针对每一个绘本设定一个或多个问题和对应的答案，例如《白雪公主》中，问题——“白雪公主是吃了什么东西中毒的？”，答案——“苹果”。

需要说明的是，互联网上的知识是海量的，但目前还没有针对儿童用户进行筛选和优化，本实施例借助人工智能技术，对互联网上海量知识进行分门别类的加工筛选，形成对于儿童来说非常有用的知识图谱库。而且，这些知识图谱库对应每个绘本都是不同的，通过有针对性地归类，能够更好地帮助儿童用户理解这些知识点。

如图2所示，儿童专用设备102具备一个或多个数据输入/输出，例如摄像头1020和话筒1022、扬声器1024等硬件设备，通过这些输入设备可以接收或输出任何类型的数据、和/或媒体内容，如来自用户的音频、视频、和/或图像数据、绘本的图像数据和音频数据，以及该设备102与用户的交互数据等。该设备102还包括通信设备1026能有线和/或无线传递设备数据(例如，接收到的数据、正在被接收的数据、被调度来进行广播的数据、数据的数据分组等等)。设备102还包括通信接口(未图示)，其可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、和任何其它类型的通信接口中的任一个或多个。通信接口在设备102和通信网络之间提供连接和/或通信链路，其它电子、计算、以及云端服务器104可以通过该连接和/或通信链路与设备102传递数据。

设备102包括一个或多个处理器1028(例如，微处理器、控制器等中的任何一个)，这些处理器处理各种计算机可执行指令，具体地，可以使该儿童专用设备102具备图像识别技能、语音识别技能、语音合成技能、情感分析技能等，通过这些技能能够实现语音语义、视觉语义、情感上的识别交互、问答交互等。

图3为本申请实施例的面向智能机器人的绘本阅读交互装置300的结构示意图。如图3所示，该绘本阅读交互装置300包括绘本阅读模块302、多模态数据监测模块304、多模态数据分析模块306和多模态数据输出模块308。下面具体说明各个模块的具体功能和实现方式。

绘本阅读模块302，其获取绘本阅读指令，并开启绘本阅读进程。该绘本阅读指令一般是由用户发起的，例如通过语音方式或按键方式发出绘本阅读指令，该装置在接收到指令后，开启绘本阅读进程，进入绘本阅读程序中。在绘本阅读进程中，例如，可以通过启动摄像头1020采集绘本照片，将该照片上传至云端服务器104中，接收云端服务器104返回的与该照片对应的音频链接或绘本数据库30A的音频数据，链接该服务器的音频流或基于音频数据进行该页绘本内容的音频播放。或者，通过条码识别技术或者ISBN识别技术识别绘本，从绘本数据库30A中调用相关音频数据，基于该音频数据进行绘本语音播放。

在绘本阅读过程中，该绘本阅读交互装置300还会提取绘本内容中的情感元素，将情感元素融合至多模态数据输出。具体来说，通过将获取的音频数据转换为文本数据，从文本数据中提取表示情感的词汇，确定情感元素，并结合情感元素向用户绘声绘色地阅读绘本内容。有关多模态输出时，可以语音表示阅读情感，也可以语音加动作来表示阅读情感。例如，绘本内容为“小熊猫生气地说：……”，通过提取能够得到其中的情感元素为“生气”，则在读小熊猫说话时，该绘本阅读交互装置300采用生气状态的模式来阅读，或者，一边发出生气的声音一边做出生气的动作。如此可以使得小朋友能够更加有兴趣的了解绘本的内容。

多模态数据监测模块304，其实时监测是否有来自用户的多模态数据。在绘本阅读的过程中，该模块304通过检测输入设备，例如摄像头1020和话筒1022采集的数据来判断是否有来自用户的多模态数据。

多模态数据分析模块306，其在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题。

具体来说，多模态数据分析模块306，其在接收到来自用户的多模态数据为语音信息时，通过语音识别技术来分析判断是否用户发起与当前阅读的绘本相关话题。首先，对经例如去噪预处理后的语音信息进行语音识别的综合分析，生成与语音信息对应的文本信息。接着，对文本信息进行文本分析，即获取文本的具体语义内容。具体地，在获取识别结果之后，利用自然语言处理技术对识别结果进行语义解析。在获得解析结果后，计算该解析结果与已设定的该绘本相关的知识图谱库30B中的内容的语义相似度，从而在知识图谱库30B中搜索与解析结果相匹配的数据，判断得到的语音文本信息中是否存在与话题相关的内容，即与话题对应的特定词汇。若存在特定词汇，则认为用户发起了与当前阅读绘本相关的话题。

多模态数据输出模块308，其在用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据。在决策向用户输出的多模态数据时，以话题为指引从预设的知识图谱30B中找到有关知识内容，向用户输出该知识内容。例如，在绘本阅读当中提到了“斑马”时，小朋友并不知道斑马是什么，则打断机器人阅读绘本，发起提问“斑马是什么”，机器人则可以查找知识图谱库30B中的相关知识点，然后通过多种方式(可以是语音方式，也可以是视频方式或图片方式)输出“斑马”的百科简介，具体展示方式不做限定，从而帮助小朋友认识斑马这种动物。相比现有的绘本阅读机器人，本装置可以很好地与用户进行问答交互，帮助用户理解绘本的各个知识点。相比单向向小朋友输出绘本内容使小朋友被动地接受绘本知识，借助人机对话技术，可以调动小朋友学习知识的积极性，有利于拓展小朋友的知识和大脑发育。

另一方面，该绘本阅读交互装置300还会主动发起提问，在绘本数据库30A中，针对每本绘本都会预设问题节点，该问题节点一般设置在想要引发小朋友思考的节点位置、某个绘本故事情节或者间隔一定的阅读时间(例如每隔3分钟，则发起一次提问)的节点位置。举例来说，针对绘本《白雪公主》，则可以在“白雪公主中毒”的情节节点位置设置问题节点。或者，若该绘本整体的阅读时间在15分钟左右，则可设置每隔三分钟设定一个问题节点，对之前已读绘本内容进行提问。又或者，在一个例子中，某些绘本的预设问题节点较多，若针对每个用户均将所有的问题都提出，则很有可能降低用户的阅读兴趣。因此，可以根据用户的个性信息选择用户感兴趣的问题节点来向用户发问，从而有效提高儿童用户的阅读兴趣，用户信息可以被预先采集或者通过筛选用户历史数据进行深度挖掘得到有关用户的性格、喜好等内容和认知水平，根据这些用户个性信息选择匹配度较高的问题，在到达相应节点时向用户发问。

多模态数据输出模块308，其在到达预设的问题节点时，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问，以及根据用户的回复，决策向用户输出的多模态数据。

在判断到达预设的问题节点时，则搜索知识图谱找到当前问题节点对应的知识点和知识内容，以该知识点为主题形成问题发送给用户。例如，在该问题节点处会设置一个问题标签，该标签可以包含一个或多个主题词汇，利用这些主题词汇查找知识图谱中相关的内容，形成该主题的问句，例如，“熊猫爱吃什么？”，“白雪公主吃了什么中毒的”之类的问题。用户会根据提出的问题进行回复，此时，采集用户的回复内容(一般为语音信息)，对该内容进行解析，判断用户回复的答案是否正确。在问答库30C中，有时对于一个问题可以对应存储多个答案，例如答案A和答案B，若解析得到的内容为这多个答案中任意之一，则认为用户回答正确。该设备向用户发出确认语音，并鼓励儿童用户。当用户回复的答案不正确或回复的内容是与答案无关的内容，该设备则会再次询问用户该问题，若还未得到准确答案，则告知用户该答案具体为何。

进一步，多模态数据输出模块308，其还判断在该预设的问题节点是否存在其他的问题或与用户回复的内容相关的问题，若存在，则向用户再次发起提问。此处设置，是为了让儿童用户能够更加深刻地了解绘本中相应主题的内容。例如，在用户回答了“熊猫爱吃什么”之后，还存在有关该话题的其他问题，如“熊猫生长在哪个地方”，则将该问题继续输出给儿童用户。或者，还是白雪公主的绘本故事，在用户回复了“白雪公主是吃什么而中毒的？”问题之后，通过查询，发现针对该用户回复的内容“苹果”，还有对应的其他问题，“苹果的英文怎么说”，则将该问题以语音播放或多模态的形式发送给用户。容易理解，通过这种针对一个主题的多个提问，能够拓展小朋友的知识结构。

另外，多模态数据分析模块306，其在监测到有来自用户的多模态数据时，对多模态数据进行分析判断用户是否存在情感变化，则多模态数据输出模块308，其在存在情感变化，则根据用户的情感变化决策向用户输出的多模态数据。

具体来说，情感引擎通过使用机器人摄像头1020收集人类面部表情图像，而后转换成可分析数据，再利用图像处理、人工智能等技术进行表情情绪分析。理解面部表情，通常需要对表情的微妙变化进行检测，比如脸颊肌肉、嘴部的变化以及挑眉等。通过将获取的人脸表情图像与人脸情绪数据库中的信息进行比对来确定用户的情绪状态。通过对比前一次表情状态和本次表情状态，若二者有不同，则判断人脸表情存在变化。例如，若检测到前一表情状态为平静，本次表情状态为烦躁，则可确定用户存在情感上的变化。另一种方式上，还可以检测出用户当前发出的声音所表达出的情绪。如通过测量语速和音频来评估说话人的情绪状态。在测量出语速由慢转急和/或音频由低转高时，用户此刻很可能表现出愤怒的情绪。

例如，若多模态数据输出模块308分析得到用户的表情状态表明其不喜欢该绘本内容，则可以根据预设的应对措施，通过输出与情绪相关的提示，或作抚慰或作相应图书的转换。在应对措施中，可以设置针对不同表情状态的输出语音、动作等安抚性内容，或者征求用户的意见更换其喜欢的绘本。这样，儿童专用设备102能够及时应对用户的负面情绪，用户就会产生对儿童专用设备102的“依赖性”，而这种依赖性再促使机器人为用户提供更好的服务，满足用户更多的情感需求。

需要说明的是，该交互装置300的各个模块可以集中设置在儿童专用设备102处，也可以分布式设置在儿童专用设备102和云端服务器104处，例如将绘本阅读模块302、多模态数据监测模块304和多模态数据输出模块308设置在儿童专用设备102，将多模态数据分析模块306设置在云端服务器104处，或者，将多模态数据分析模块306和多模态数据输出模块308设置在云端服务器104处，其余模块分布在儿童专用设备102，本发明对此不作限定。也就是说，云端服务器104除了配置绘本数据库、对应绘本的主题库和问答库，还对多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题以及判断用户是否存在情感变化。

图4～图6为本申请实施例的面向智能机器人的绘本阅读交互方法的示例一、二和三的流程示意图。下面分别参考各个图，来说明具体交互流程。

下面先说明示例一，如图4所示，流程始于步骤S410。

在步骤S410中，获取绘本阅读指令，开启绘本阅读进程。在该绘本阅读进程中，可以通过接收云端传来的当前绘本相关的音频数据或链接来进行绘本的阅读，也可以根据本地存储的音频内容来进行阅读。如何获取音频数据，可以采用绘本图片的文字识别的方法，分别获取每页绘本的音频内容，通过内容识别技术确定绘本的名称，并根据名称得到绘本的音频链接或数据。优选地，在阅读的过程中，还可以提取绘本内容中的情感元素，将情感元素融合至多模态数据输出。

在提取绘本内容中的情感元素的步骤中，可以先将音频数据转换成文本数据，或直接获取文本数据，然后对文本数据进行解析，识别其中涉及到情感的用语，例如“生气”、“高兴”、“愉快”、“紧张”等词汇，在识别出这些词汇后，从预设的语音模版中找到对应的情感语调，通过语音合成技术将当前文本数据转换成带有情感输出的声音。或者，仍保持语调的平和性，但是通过屏幕显示当前情绪或通过机器人肢体语言表达情绪特征。或者将语音和屏幕显示的表情以及肢体情绪相结合来向用户输出。本例对此不做限制。

接着，在步骤S420中，实时监测是否有来自用户的多模态数据。在监测到多模态数据时，则执行步骤S430，否则执行步骤S450。

在步骤S430中，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题。若用户发起与当前阅读的绘本相关话题时，则执行步骤S440，否则执行步骤S450。

在步骤S440中，调取知识图谱的相关内容，决策向用户输出的多模态数据。

在用户发起话题时，从知识图谱库中调取对应该绘本内容的知识图谱，从中搜索出对应的主题内容，将该内容整理成答复用户实际意图的回复信息。例如，用户提出“熊猫是什么样子的”，通过语义解析获取用户意图以及相关绘本主题，在找到相关主题的内容后，生成符合用户意图的应答语句，发送给用户。

在步骤S450中，判断当前绘本是否阅读结束，若是则结束绘本阅读，否则返回执行步骤S420。

另外，在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断用户是否存在情感变化，若存在情感变化，则根据用户的情感变化决策向用户输出的多模态数据。

下面说明实例二，对于与示例一类似的步骤，不做赘述。

如图5所示，流程始于步骤S410。在步骤S410中，获取绘本阅读指令，开启绘本阅读进程。

接着，在步骤S420中，实时监测是否有来自用户的多模态数据。在监测到多模态数据时，则执行步骤S430，否则执行步骤S510。

在步骤S430中，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题。若用户发起与当前阅读的绘本相关话题时，则执行步骤S440，否则执行步骤S450。

在步骤S440中，调取知识图谱的相关内容，决策向用户输出的多模态数据。

在步骤S450中，判断当前绘本是否阅读结束，若是则结束绘本阅读，否则返回执行步骤S420。

在步骤S510中，判断是否到达预设的问题节点，若到达预设的问题节点，则执行步骤S520，否则执行步骤S450。

在步骤S520中，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问。

在判断到达预设的问题节点时，则搜索知识图谱找到当前问题节点对应的知识点和知识内容，以该知识点为主题形成问题发送给用户。例如，在该问题节点处会设置一个问题标签，该标签可以包含一个或多个主题词汇，利用这些主题词汇查找知识图谱中相关的内容，形成该主题的问句。

在步骤S530中，根据用户的回复，决策向用户输出的多模态数据。

用户会根据提出的问题进行回复，此时，采集用户的回复内容(一般为语音信息)，对该内容进行解析，判断用户回复的答案是否正确。在问答库30C中，有时对于一个问题可以对应存储多个答案，例如答案A和答案B，若解析得到的内容为这多个答案中任意之一，则认为用户回答正确。该设备向用户发出确认语音，并鼓励儿童用户。当用户回复的答案不正确或回复的内容是与答案无关的内容，该设备则会再次询问用户该问题，若还未得到准确答案，则告知用户该答案具体为何。

下面说明实例三，对于与示例一、实例二类似的步骤，不做赘述。

如图6所示，流程始于步骤S410。在步骤S410中，获取绘本阅读指令，开启绘本阅读进程。

接着，在步骤S420中，实时监测是否有来自用户的多模态数据。在监测到多模态数据时，则执行步骤S430，否则执行步骤S510。

在步骤S430中，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题。若用户发起与当前阅读的绘本相关话题时，则执行步骤S440，否则执行步骤S450。

在步骤S440中，调取知识图谱的相关内容，决策向用户输出的多模态数据。

在步骤S450中，判断当前绘本是否阅读结束，若是则结束绘本阅读，否则返回执行步骤S420。

在步骤S510中，判断是否到达预设的问题节点，若到达预设的问题节点，则执行步骤S520，否则执行步骤S450。

在步骤S520中，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问。

在步骤S530中，根据用户的回复，决策向用户输出的多模态数据。

接着在步骤S610中，判断在该预设的问题节点是否存在其他的问题或与用户回复的内容相关的问题，若存在，则向用户再次发起提问，即返回执行步骤S520，否则执行步骤S450。一般在问题节点的问题可能为多个，在确定还存在其他问题时，可以从中选择符合用户个性的问题，或者是随机选择设定个问题来发问。另一方面，在该节点的问题仅为一个或问完，则可以根据用户回复的内容，拓展性地再次发出提问，由此可以让儿童用户能够更加深刻地了解绘本中相应主题的内容，能够拓展小朋友的知识结构。

另一方面，本发明实施例还提供了一种程序产品，其上存储有可执行所述方法步骤的程序代码。而且，上述的一种儿童专用设备，所述设备包括处理器以及存储装置，其中，所述存储装置存储有程序，所述处理器用于执行所述存储装置中的程序以实现所述的方法。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人操作系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种面向智能机器人的绘本阅读交互方法，其特征在于，所述方法包括如下步骤：

获取绘本阅读指令；

开启绘本阅读进程，实时监测是否有来自用户的多模态数据，

其中，在绘本阅读进程中，通过启动摄像头采集绘本照片，将该照片上传至云端服务器中，接收云端服务器返回的与该照片对应的音频链接或绘本数据库的音频数据库，链接该服务器的音频流或基于音频数据进行与该照片对应的绘本内容的音频播放，或者，通过条码识别技术或者ISBN识别技术识别绘本，从绘本数据库中调用相关音频数据，基于该音频数据进行绘本语音播放；

在云端服务器中配置有包括多个绘本的绘本数据库、与每个绘本对应的知识图谱库和问答库，绘本数据库中存储绘本音频链接或者音频压缩数据；所述知识图谱库为针对每一个绘本涉及的知识节点构成的知识点图谱；所述问答库为针对每一个绘本设定一个或多个问题和对应的答案；

在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题；

若用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据；

判断是否到达预设的问题节点，在判断到达预设的问题节点时，则搜索知识图谱找到当前问题节点对应的知识点和知识内容，以该知识点为主题形成问题发送给用户，根据用户的回复，决策向用户输出的多模态数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

判断在该预设的问题节点是否存在其他的问题或与用户回复的内容相关的问题，若存在，则向用户再次发起提问。

3.根据权利要求1所述的方法，其特征在于，还包括：

提取绘本内容中的情感元素，将情感元素融合至多模态数据输出。

4.根据权利要求1所述的方法，其特征在于，在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断用户是否存在情感变化；

若存在情感变化，则根据用户的情感变化决策向用户输出的多模态数据。

5.一种存储介质，其特征在于，其上存储有可执行如权利要求1-4中任一项所述的方法步骤的程序代码。

6.一种儿童专用设备，其特征在于，所述设备包括处理器以及存储装置，其中，所述存储装置存储有程序，所述处理器用于执行所述存储装置中的程序以实现如权利要求1~5中任一项所述的方法。

7.一种面向智能机器人的绘本阅读交互装置，其特征在于，所述装置包括如下模块：

绘本阅读模块，其获取绘本阅读指令，并开启绘本阅读进程，其中，在绘本阅读进程中，通过启动摄像头采集绘本照片，将该照片上传至云端服务器中，接收云端服务器返回的与该照片对应的音频链接或绘本数据库的音频数据库，链接该服务器的音频流或基于音频数据进行与该照片对应的绘本内容的音频播放，或者，通过条码识别技术或者ISBN识别技术识别绘本，从绘本数据库中调用相关音频数据，基于该音频数据进行绘本语音播放；

在云端服务器中配置有包括多个绘本的绘本数据库、与每个绘本对应的知识图谱库和问答库，绘本数据库中存储绘本音频链接或者音频压缩数据；所述知识图谱库为针对每一个绘本涉及的知识节点构成的知识点图谱；所述问答库为针对每一个绘本设定一个或多个问题和对应的答案；

多模态数据监测模块，其实时监测是否有来自用户的多模态数据；

多模态数据分析模块，其在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题；

多模态数据输出模块，其在用户发起与当前阅读的绘本相关话题时，则调取知识图谱的相关内容，决策向用户输出的多模态数据；判断是否到达预设的问题节点，在判断到达预设的问题节点时，则搜索知识图谱找到当前问题节点对应的知识点和知识内容，以该知识点为主题形成问题发送给用户，根据用户的回复，决策向用户输出的多模态数据。

8.根据权利要求7所述的装置，其特征在于，

所述多模态数据输出模块，其还判断在该预设的问题节点是否存在其他的问题或与用户回复的内容相关的问题，若存在，则向用户再次发起提问。

9.根据权利要求7所述的装置，其特征在于，

所述多模态数据分析模块，其在监测到有来自用户的多模态数据时，对所述多模态数据进行分析判断用户是否存在情感变化；

所述多模态数据输出模块，其在存在情感变化，则根据用户的情感变化决策向用户输出的多模态数据。

10.一种绘本阅读交互系统，其特征在于，该系统包括：

如权利要求6所述的儿童专用设备；以及

云端服务器，其配置绘本数据库、对应绘本的主题库和问答库，对多模态数据进行分析判断是否用户发起与当前阅读的绘本相关话题以及判断用户是否存在情感变化。

Images