CN109940627A - 一种面向绘本阅读机器人的人机交互方法和系统 - Google Patents

Abstract

本发明公开了一种面向绘本阅读机器人的人机交互方法和系统，所述方法包括如下步骤：步骤一，在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件；步骤二，若不满足，则采集当前用户的用户特征数据；步骤三，基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。本发明在进行绘本阅读的同时，能够根据收集到的用户特征数据向用户推荐符合教育目标的绘本，有助于用户进行个性化学习。

Description

一种面向绘本阅读机器人的人机交互方法和系统

技术领域

本发明涉及智能机器人领域，尤其涉及一种面向绘本阅读机器人的人机交互方法和系统。

背景技术

绘本，英文称Picture Book，指一类以绘画为主，并附有少量文字的书籍。绘本不仅可用于讲故事、学知识，而且可以全面帮助孩子建构精神，培养多元智能。

传统的绘本阅读方法有两种：一种是点读笔通过笔尖的光电识别器，将绘本上印制的肉眼不可见的二维码信息扫描，由笔内CPU处理识别成功后，从点读笔内存中挑出对应的音频由喇叭播放。另一种点读机使用的原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”，使用者将课本置于机器平板上，用专用的笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音。

但是，传统的方法只能给用户讲绘本，向用户输出绘本对应的语音信息，无法进行交互，而且，所阅读的绘本是用户自主选择的，而是否适合于用户则不考虑，那么就无法起到通过绘本学习教育的目的。

发明内容

本发明所要解决的技术问题之一是需要提供一种能够推送符合用户教育目标的绘本书籍的解决方案。

为了解决上述技术问题，本申请的实施例首先提供了一种面向绘本阅读机器人的人机交互方法，所述方法包括如下步骤：步骤一，在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件；步骤二，若不满足，则采集当前用户的用户特征数据；步骤三，基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。

根据本发明的一个实施例，在步骤二中，通过主动向用户提问的方式采集当前用户的用户特征数据。

根据本发明的一个实施例，在步骤三中，基于采集到的用户特征数据确定用户画像；利用用户画像来评估和定位用户的行为发展和教育现状；基于评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。

根据本发明的一个实施例，在评估和定位的过程中，基于评估与定位结果，判断该用户的能力发展水平是否符合用户当前年龄所对应的教育目标。

根据本发明的一个实施例，还包括：在绘本阅读过程中，根据绘本的内容和用户特征数据发起对用户的个性化提问引导。

根据本发明的另一方面，还提供了一种程序产品，其上存储有可执行上所述的方法步骤的程序代码。

根据本发明的另一方面，还提供了一种儿童专用设备，运行如上所述的人机交互方法。

根据本发明的另一方面，还提供一种面向绘本阅读机器人的人机交互装置，所述装置包括如下：条件判断模块，其在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件；用户特征数据采集模块，其在不满足的情况下采集当前用户的用户特征数据；绘本书籍推荐模块，其基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。

根据本发明的一个实施例，所述用户特征数据采集模块，其通过主动向用户提问的方式采集当前用户的用户特征数据。

根据本发明的一个实施例，所述绘本书籍推荐模块，其基于采集到的用户特征数据确定用户画像；利用用户画像来评估和定位用户的行为发展和教育现状；基于评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。

根据本发明的一个实施例，所述绘本书籍推荐模块，其基于评估与定位结果，判断该用户的能力发展水平是否符合用户当前年龄所对应的教育目标。

根据本发明的一个实施例，还包括：个性化问答模块，其在绘本阅读过程中，根据绘本的内容和用户特征数据发起对用户的个性化提问引导。

根据本发明的另一方面，还提供了一种用于绘本阅读的人机交互方法系统，该系统包括：如上所述的儿童专用设备；以及云端服务器。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明提供的面向绘本阅读机器人的人机交互方法，通过在绘本阅读开启或阅读过程中，收集用户的用户特征数据，根据收集到的用户特征数据向用户推荐符合教育目标的绘本，有助于用户进行个性化学习。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1为本申请实施例的用于绘本阅读的人机交互方法系统的应用环境的示意图。

图2为本申请实施例的儿童专用设备102的结构示意图。

图3为本申请实施例的面向绘本阅读机器人的人机交互装置300的结构示意图。

图4为本申请实施例的面向绘本阅读机器人的人机交互方法的示例一的流程示意图。

图5为本申请实施例的面向绘本阅读机器人的人机交互方法的示例二的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

针对背景技术中的问题，本申请实施例提出了一种面向绘本阅读机器人的人机交互方法和系统。在智能机器人进行绘本阅读时，还可以与用户(主要是儿童用户)进行交互，实时地收集学习者的学习数据，根据学习者的学习目标、学习行为、偏好和学习状态动态调整和优化学习路径，在本实施例中是向用户推荐更符合用户当前教育、培养目标的绘本书籍，以达到个性化教学目的。这样，能够有效地帮助儿童用户达到相应教育等级的阅读理解能力。

由于某些用户的个性化数据并不满足绘本推荐条件，因此，智能机器人还需要采集用户的这些特征信息，优选地，通过主动向用户提问的方式来获取，这种方式高效且交互感受度也很好，用户容易接受。

在向用户推送绘本书籍时，根据用户特征数据确定其目前的行为发展和教育现状，然后根据评估定位结果，结合当前年龄段的教育目标向用户推荐相应的绘本内容。这样，能够有针对性地、定制性地推荐给用户合适的绘本，有利于提高用户的阅读理解能力，满足教育目标。

另外，除了可以向用户推荐绘本书籍以外，智能机器人还可以向用户发起有关绘本内容的提问，这样，使儿童在看和听绘本的同时，启发脑的思考，有助于提高儿童提高大脑思考的能力和阅读能力。

下面参照附图来对本发明的各个实施例进行详细说明。

图1为本申请实施例的用于绘本阅读的人机交互方法系统的应用环境的示意图。环境100可包括云端服务器104和一个或多个儿童专用设备102，儿童专用设备102可以是绘本机器人、儿童故事机、台灯、闹钟、智能音箱以及儿童AI机器人等，该儿童专用设备102主要可以进行绘本阅读以及绘本书籍的推荐。在图1的示例中，该设备102为一个绘本阅读的智能机器人。

在一个例子中，云端服务器104可以作为儿童专用设备102的存储端，存储了大量有关绘本的数据内容。例如，在云端服务器104中可以配置有包括大量绘本的绘本数据库、以及与每个绘本对应的知识图谱库和问答库。在绘本数据库中按照分级阅读的方式存储绘本音频链接或者音频压缩数据，例如对于中文绘本，可以根据儿童年龄段分级存储，可分为0～3岁、3岁～6岁等等的多级绘本库，对于英文绘本可以根据儿童的认知水平来分类，例如初级、中级、高级等，除了可以根据年龄段和认知水平划分以外，还可以根据用户的词汇量、阅读理解能力、兴趣喜好等进行分类；知识图谱库，其为针对每一个绘本可能涉及的知识节点构成的知识点图谱，例如绘本中的动物科普知识；问答库，其针对每一个绘本设定一个或多个问题和对应的答案，例如《白雪公主》中，问题——“白雪公主是吃了什么东西中毒的？”，答案——“苹果”。

需要说明的是，互联网上的知识是海量的，但目前还没有针对儿童用户进行筛选和优化，本实施例借助人工智能技术，对互联网上海量知识进行分门别类的加工筛选，形成对于儿童来说非常有用的绘本数据库。而且，通过对绘本的分级存储，有利于帮助不同儿童通过阅读不同等级的绘本来实现相适应的教育目标的培养。

如图2所示，儿童专用设备102具备一个或多个数据输入/输出，例如摄像头1020和话筒1022、扬声器1024等硬件设备，通过这些输入设备可以接收或输出任何类型的数据、和/或媒体内容，如来自用户的音频、视频、和/或图像数据、绘本的图像数据和音频数据，以及该设备102与用户的交互数据等。该设备102还包括通信设备1026能有线和/或无线传递设备数据(例如，接收到的数据、正在被接收的数据、被调度来进行广播的数据、数据的数据分组等等)。设备102还包括通信接口(未图示)，其可被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器、和任何其它类型的通信接口中的任一个或多个。通信接口在设备102和通信网络之间提供连接和/或通信链路，其它电子、计算、以及云端服务器104可以通过该连接和/或通信链路与设备102传递数据。

设备102包括一个或多个处理器1028(例如，微处理器、控制器等中的任何一个)，这些处理器处理各种计算机可执行指令，具体地，可以使该儿童专用设备102具备图像识别技能、语音识别技能、语音合成技能、情感分析技能等，通过这些技能能够实现语音语义、视觉语义、情感上的识别交互、问答交互等。

图3为本申请实施例的面向绘本阅读机器人的人机交互装置300的结构示意图。如图3所示，该人机交互装置300主要包括绘本阅读模块302、条件判断模块304、用户特征数据采集模块306和绘本书籍推荐模块308。下面具体说明各个模块的具体功能和实现方式。

绘本阅读模块302，其获取绘本阅读指令，并开启绘本阅读进程。该绘本阅读指令一般是由用户发起的，例如通过语音方式或按键方式发出绘本阅读指令，该装置在接收到指令后，开启绘本阅读进程，进入绘本阅读程序中。在绘本阅读进程中，例如，可以通过启动摄像头1020采集绘本照片，将该照片上传至云端服务器104中，接收云端服务器104返回的与该照片对应的音频链接或绘本数据库30A的音频数据，链接该服务器的音频流或基于音频数据进行该页绘本内容的音频播放。或者，通过条码识别技术或者ISBN识别技术识别绘本，从绘本数据库30A中调用相关音频数据，基于该音频数据进行绘本语音播放。

在绘本阅读过程中，该绘本阅读交互装置300还会提取绘本内容中的情感元素，将情感元素融合至多模态数据输出。具体来说，通过将获取的音频数据转换为文本数据，从文本数据中提取表示情感的词汇，确定情感元素，并结合情感元素向用户绘声绘色地阅读绘本内容。有关多模态输出时，可以语音表示阅读情感，也可以语音加动作来表示阅读情感。

条件判断模块304，其在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件。

作为进行教育目标关联交互的先决条件，需要有用户的用户特征数据，例如用户的年龄、兴趣爱好、用户阅读的书籍量和相关书籍、开始阅读时间、阅读周期等数据。预设条件可以为包括上述用户特征数据中的一种或多种。

在判断是否满足预设条件之前，需要对当前用户进行人脸识别，确定用户身份，然后从用户数据库中调取已采集到的用户特征数据。而一般情况下，对于新用户或“冷启动用户”，即有关该用户的系统积累数据量过少，是无法给他们做个性化推荐的。那么对于新用户来说，首次使用时可以不做个性化推荐，仅根据用户的命令进行绘本阅读。而在第二次或之后每次使用设备时，用户已由新用户转变成“冷启动用户”，该用户逐渐积累的数据量达到一定程度(虽然数量仍不多，但能满足推荐绘本的程度)，也可以向该用户进行绘本推荐，例如根据用户年龄，或之前阅读过的绘本的类型来进行推荐。

有关预设条件的设定，可以根据用户使用设备的频率来设定不同的预设条件，例如，对于用户U1，通过识别了解到该用户仅使用过该设备一次或设定次，则预设条件为包含用户的年龄和/或用户的兴趣爱好。而随着该用户使用设备的次数增加，则预设条件变更为包含多种用户特征数据，如包括年龄、兴趣爱好、阅读书籍量和相关书籍等数据。

当然，如果为了更好地帮助用户阅读，那么无论是新用户、冷启动用户还是经常使用的老用户，预设条件都可以设置为相同，可以为一个精确帮助用户选择绘本书籍的多维度用户特征数据群，该数据群例如包括用户的年龄、兴趣爱好、用户阅读的书籍量和相关书籍、开始阅读时间、阅读周期等数据。

用户特征数据采集模块306，其在不满足的情况下采集当前用户的用户特征数据。

具体来说，该采集模块306通过用户识别获取该用户的已收集特征数据，判断已收集的该用户的特征数据是否满足上述预设条件，即这些特征数据是否包含预设条件中的各类数据，若不满足，则需要进一步采集。

尤其是对于新用户或冷启动用户，所收集的用户特征数据较少，无法满足预设条件的，则需要通过与他们进行人机交互来获取用户特征数据。交互方式可以为多模态方式，例如，可以为文本输入的方式。在本例中，优选通过主动向用户提问的方式采集当前用户的用户特征数据。在判断缺少哪个数据时，则生成问询该数据的语音数据，向用户输出，然后根据用户反馈的语音数据，进行语义识别，提取用户的年龄存储到该用户的数据库中。例如，在判断缺少用户年龄时，则生成问询年龄的语音数据，向用户输出“你几岁了”。根据用户反馈的语音数据“我四岁了”，进行语义识别，提取用户的年龄“四岁”存储到该用户的数据库中。在向用户发问时，还可以根据用户的年龄一次性生成多个问句来询问，如“你读书多久了，你最喜欢哪些读过的书”，该提问涉及两个数据内容，通过一次性提问能够节省询问环节，降低用户抵触心理。

绘本书籍推荐模块308，其基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。

在一个例子中，在采集到用户的特征数据之后，利用绘本对应的读者年龄、绘本的内容分类、某一阶段的绘本的数量，来确定用户当前的学习能力或等级以及兴趣爱好等。具体来说，首先，利用已读绘本的名称从云端服务器检索绘本数据库中的绘本，确定已阅读的绘本所属等级和对应等级的读者年龄，然后根据所读的绘本在不同阶段的数量确定用户当前的学习能力或等级。例如，若用户已读绘本处于3岁阶段的数量较多，可以认为用户当前的学习能力或等级为3岁儿童的能力。另外，还可以对检索出的绘本的内容进行数据挖掘确定绘本的类型，进而得到用户的兴趣爱好。当然，还可以通过问询的方式直接得到用户的兴趣爱好，本发明不做限定。或者，仅基于用户的年龄来确定用户当前的学习能力或等级也是可行的。

优选地，绘本书籍推荐模块308，其基于采集到的用户特征数据确定用户画像，利用用户画像来评估和定位用户的行为发展和教育现状，基于评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。

需要说明的是，用户画像的核心工作就是给用户打标签，标签通常是人为规定的高度精炼的特征标识，如年龄、性别、地域、兴趣等。这些标签集合就能抽象出一个用户的信息全貌，每个标签分别描述了用户的一个维度，各个维度之间相互联系，共同构成对用户的一个整体描述。

首先，在获取得到用户特征数据后，利用数据统计、机器学习和自然语言处理等技术进行画像构建。对于本例中的用户，只需要给该用户标出性别、年龄、地域、兴趣爱好、阅读习惯等标签即可。这些标签基本上是稳定的，构建一次可以很长一段时间不用更新，标签的有效期比较长。

然后，利用用户的画像评估和定位用户的行为发展和教育现状，并基于这些评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。在评估和定位的过程中，主要依靠用户的兴趣爱好和阅读信息，如用户阅读的书籍量和相关书籍、开始阅读时间、阅读周期，从中确定用户已阅读的文字量和书籍类型来评估用户当前的教育现状。最后结合符合用户当前年龄的教育、培训目标向用户推送绘本书籍。

针对学龄前儿童，其教育、培训目标主要是在认知、语言、兴趣类型等方面。因此，本例中的绘本数据库存储了多级绘本子库，且每个阶段的绘本子库都标注有这三方面的标签，以便推送时容易筛选出来。在一个例子中，可以以兴趣为导向，选择符合孩子在现阶段的认知、语言水平的绘本。

容易理解，性别、年龄差异、不同家庭背景的孩子的兴趣大相径庭，从孩子感兴趣的主题，例如交通工具、动物、家庭关系入手，可能会事半功倍。对于孩子现阶段的认知来说，和一个0-3岁的孩子聊科学大百科是不现实而且白费力的事情，根据孩子能理解和身边常见事物入手会比较容易，比如食物、颜色、数字等认知类型的绘本推荐给孩子会更好。对于孩子的语言水平，这里是指孩子母语的认知数量或外语的认知数量。如果孩子没有任何英语的基础，则需要按照英文水平给孩子选择绘本和读物，而非以英文为母语国家的孩子们的实际年龄来选择。比如儿童今年5岁，英文水平是认识少量有限的单词，那么需要选择符合英语水平的低级别英语绘本读物。

绘本书籍推荐模块308，其基于评估与定位结果，判断该用户的能力发展水平是否符合用户当前年龄所对应的教育目标，若符合，则可以继续推荐与用户当前年龄相当级别或高一级别的分级绘本书籍，否则，选择与教育目标相符合的分级绘本书籍推荐给用户。

例如，一三岁儿童，通过分析其用户画像得知其为一个男孩，之前阅读过多的绘本大都是车辆、动物类的，且其读绘本的频率为每2天一本，则通过调取三岁儿童的教育目标则发现该儿童已满足基本目标(一定阅读量和阅读类型)，但有关保持好良好的习惯和英语启蒙并不满足，那么则从3岁分级绘本中选取有关良好习惯养成的分类绘本或英语低级绘本推送给该儿童用户。

虽然已采集到的用户特征数据表象地显示用户的阅读能力，但由于绘本阅读是向儿童用户的大量输出，通过数据挖掘很有可能得到的阅读能力与用户的实际阅读能力不符，为了更准确地确定用户实际学习状态，还可以通过与用户进行问题交互来进一步了解。在一个例子中，若用户年龄与用户已阅读的绘本级别不符(绘本级别高于用户年龄，或者绘本级别低于用户年龄)，则从已阅读的绘本中选择其中之一，以该绘本的内容向用户发起提问(可以问一个或多个问题)，若回答正确，则确定用户实际阅读能力为当前级别。例如，通过已采集到的用户的数据得到，用户已阅读的绘本为6岁以上的级别，而用户的实际年龄仅为4岁，那么可以通过从已阅读的6岁级别的绘本中选取其中一本，向用户发起针对该本绘本内容的问题，若用户回答正确，则说明用户阅读能力达到6岁，否则降低绘本级别，再次依据新选择的绘本向用户重新发问，从而确定用户的实际学习状态。

分级读物是按照孩子在不同的年龄段的智力和心理的发育程度提供分类，渐进式的读物。通过为孩子提供科学的阅读计划，让孩子逐步实现自主阅读能力。

如图3所示，该人机交互装置300还包括：个性化问答模块310。

个性化问答模块310，其在绘本阅读过程中，根据绘本的内容和用户特征数据发起对用户的个性化提问引导。在绘本数据库30A中，针对每本绘本都会预设问题节点，该问题节点一般设置在想要引发小朋友思考的节点位置、某个绘本故事情节或者间隔一定的阅读时间(例如每隔3分钟，则发起一次提问)的节点位置。举例来说，针对绘本《白雪公主》，则可以在“白雪公主中毒”的情节节点位置设置问题节点。或者，若该绘本整体的阅读时间在15分钟左右，则可设置每隔三分钟设定一个问题节点，对之前已读绘本内容进行提问。优选地，在一个例子中，某些绘本的预设问题节点较多，若针对每个用户均将所有的问题都提出，则很有可能降低用户的阅读兴趣。因此，可以根据用户的个性信息选择用户感兴趣的问题节点来向用户发问，从而有效提高儿童用户的阅读兴趣，用户信息可以被预先采集或者通过筛选用户历史数据进行深度挖掘得到有关用户的性格、喜好等内容和认知水平，根据这些用户个性信息选择匹配度较高的问题，在到达相应节点时向用户发问。

在到达预设的问题节点时，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问。在判断到达预设的问题节点时，则搜索知识图谱找到当前问题节点对应的知识点和知识内容，以该知识点为主题形成问题发送给用户。例如，在该问题节点处会设置一个问题标签，该标签可以包含一个或多个主题词汇，利用这些主题词汇查找知识图谱中相关的内容，形成该主题的问句，例如，“熊猫爱吃什么？”，“白雪公主吃了什么中毒的”之类的问题。然后通过调取问答库30B能够了解用户回答的是否准确。

需要说明的是，该人机交互装置300的各个模块可以集中设置在儿童专用设备102处，也可以分布式设置在儿童专用设备102和云端服务器104处，本发明对此不作限定。

图4、图5为本申请实施例的面向绘本阅读机器人的人机交互方法的示例一、二的流程示意图。下面分别参考各个图，来说明具体交互流程。

下面先说明示例一，如图4所示，流程始于步骤S410。

在步骤S410中，获取绘本阅读指令，开启绘本阅读。在该绘本阅读进程中，可以通过接收云端传来的当前绘本相关的音频数据或链接来进行绘本的阅读，也可以根据本地存储的音频内容来进行阅读。如何获取音频数据，可以采用绘本图片的文字识别的方法，分别获取每页绘本的音频内容，通过内容识别技术确定绘本的名称，并根据名称得到绘本的音频链接或数据。优选地，在阅读的过程中，还可以提取绘本内容中的情感元素，将情感元素融合至多模态数据输出。

在提取绘本内容中的情感元素的步骤中，可以先将音频数据转换成文本数据，或直接获取文本数据，然后对文本数据进行解析，识别其中涉及到情感的用语，例如“生气”、“高兴”、“愉快”、“紧张”等词汇，在识别出这些词汇后，从预设的语音模版中找到对应的情感语调，通过语音合成技术将当前文本数据转换成带有情感输出的声音。或者，仍保持语调的平和性，但是通过屏幕显示当前情绪或通过机器人肢体语言表达情绪特征。或者将语音和屏幕显示的表情以及肢体情绪相结合来向用户输出。本例对此不做限制。

在步骤S420中，在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件。若不满足，则执行步骤S430，否则执行步骤S440。

通过人脸识别获取当前用户的已采集到的用户特征数据，将该用户特征数据与预设条件所要求包含的数据类型进行比对，若全部包含，则判断满足预设条件，否则，判定不满足。在一个例子中，可以将预设条件设定为包含用户年龄和/或用户兴趣，也可以将其设定为包含年龄、兴趣爱好、用户阅读的书籍量和相关书籍、开始阅读时间、阅读周期等数据。

在步骤S430中，采集当前用户的用户特征数据。在该步骤中，通过主动向用户提问的方式采集当前用户的用户特征数据。具体地，通过发起语音或文本的方式向用户提问，进而能够更高效地获取对应内容。

在步骤S440中，基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。

具体地，基于采集到的用户特征数据确定用户画像，利用用户画像来评估和定位用户的行为发展和教育现状，基于评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。基于评估与定位结果，判断该用户的能力发展水平是否符合用户当前年龄所对应的教育目标。在判断的过程中，可以对各种类型的用户特征数据设定权重，能够较为准确地判断用户发展水平与教育目标的匹配性。另外，还可以通过提问考试的方式来获取用户的实际能力水平，提高准确性。

下面说明实例二，对于与示例一类似的步骤，不做赘述。

在步骤S410中，获取绘本阅读指令，开启绘本阅读。

在步骤S420中，在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件。若不满足，则执行步骤S430，否则执行步骤S440。

在步骤S430中，采集当前用户的用户特征数据。在该步骤中，通过主动向用户提问的方式采集当前用户的用户特征数据。通过发起语音或文本的方式向用户提问，进而能够更高效地获取对应内容。

在步骤S440中，基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍，然后对推送的绘本书籍进行阅读。

一般来说，可以给用户推送一本或多本符合教育、培养目标的绘本，根据用户的选择，调取相应绘本书籍的语音内容，进行绘本阅读。由于推送的绘本书籍很大可能在用户端没有实体，因此，在调用语音内容的同时将绘本的每页的图片内容也调取出来，在进行绘本语音播放的同时同步播放相应的图片，更好帮助用户阅读。

在绘本阅读过程中，根据绘本的内容和用户特征数据发起对用户的个性化提问引导。具体参考如下步骤S510～S540。

在步骤S510中，判断是否到达预设的问题节点，若到达预设的问题节点，则执行步骤S520，否则执行步骤S540。

在步骤S520中，根据与当前阅读的绘本相关的知识图谱向用户主动发起与当前绘本内容相关的提问。

在判断到达预设的问题节点时，则搜索知识图谱找到当前问题节点对应的知识点和知识内容，以该知识点为主题形成问题发送给用户。例如，在该问题节点处会设置一个问题标签，该标签可以包含一个或多个主题词汇，利用这些主题词汇查找知识图谱中相关的内容，形成该主题的问句。

在步骤S530中，根据用户的回复，决策向用户输出的多模态数据。

用户会根据提出的问题进行回复，此时，采集用户的回复内容(一般为语音信息)，对该内容进行解析，判断用户回复的答案是否正确。在问答库30B中，有时对于一个问题可以对应存储多个答案，例如答案A和答案B，若解析得到的内容为这多个答案中任意之一，则认为用户回答正确。该设备向用户发出确认语音，并鼓励儿童用户。当用户回复的答案不正确或回复的内容是与答案无关的内容，该设备则会再次询问用户该问题，若还未得到准确答案，则告知用户该答案具体为何。

在步骤S540中，判断当前绘本是否阅读结束，若是则结束绘本阅读，否则继续阅读推荐的绘本书籍。

另一方面，本发明实施例还提供了一种程序产品，其上存储有可执行所述方法步骤的程序代码。而且，上述的一种儿童专用设备，所述设备包括处理器以及存储装置，其中，所述存储装置存储有程序，所述处理器用于执行所述存储装置中的程序以实现所述的方法。

由于本发明的方法描述的是在计算机系统中实现的。该计算机系统例如可以设置在机器人的控制核心处理器中。例如，本文所述的方法可以实现为能以控制逻辑来执行的软件，其由机器人操作系统中的CPU来执行。本文所述的功能可以实现为存储在非暂时性有形计算机可读介质中的程序指令集合。当以这种方式实现时，该计算机程序包括一组指令，当该组指令由计算机运行时其促使计算机执行能实施上述功能的方法。可编程逻辑可以暂时或永久地安装在非暂时性有形计算机可读介质中，例如只读存储器芯片、计算机存储器、磁盘或其他存储介质。除了以软件来实现之外，本文所述的逻辑可利用分立部件、集成电路、与可编程逻辑设备(诸如，现场可编程门阵列(FPGA)或微处理器)结合使用的可编程逻辑，或者包括它们任意组合的任何其他设备来体现。所有此类实施例旨在落入本发明的范围之内。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (13)

1.一种面向绘本阅读机器人的人机交互方法，其特征在于，所述方法包括如下步骤：

步骤一，在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件；

步骤二，若不满足，则采集当前用户的用户特征数据；

步骤三，基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。

2.根据权利要求1所述的方法，其特征在于，在步骤二中，通过主动向用户提问的方式采集当前用户的用户特征数据。

3.根据权利要求1或2所述的方法，其特征在于，在步骤三中，

基于采集到的用户特征数据确定用户画像；

利用用户画像来评估和定位用户的行为发展和教育现状；

基于评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。

4.根据权利要求3所述的方法，其特征在于，在评估和定位的过程中，

基于评估与定位结果，判断该用户的能力发展水平是否符合用户当前年龄所对应的教育目标。

5.根据权利要求1所述的方法，其特征在于，还包括：

在绘本阅读过程中，根据绘本的内容和用户特征数据发起对用户的个性化提问引导。

6.一种程序产品，其上存储有可执行如权利要求1-5中任一项所述的方法步骤的程序代码。

7.一种儿童专用设备，其特征在于，运行如权利要求1-5中任一项所述的人机交互方法。

8.一种面向绘本阅读机器人的人机交互装置，其特征在于，所述装置包括如下：

条件判断模块，其在启动绘本阅读进程或在绘本阅读的过程中，判断已采集的当前用户的用户特征数据是否满足可推荐绘本书籍的预设条件；

用户特征数据采集模块，其在不满足的情况下采集当前用户的用户特征数据；

绘本书籍推荐模块，其基于采集到的用户特征数据，确定针对当前用户的教育、培养目标以推送绘本书籍。

9.根据权利要求8所述的装置，其特征在于，所述用户特征数据采集模块，其通过主动向用户提问的方式采集当前用户的用户特征数据。

10.根据权利要求8或9所述的装置，其特征在于，所述绘本书籍推荐模块，其基于采集到的用户特征数据确定用户画像；利用用户画像来评估和定位用户的行为发展和教育现状；基于评估与定位结果，结合教育、培训目标确定应向该用户推送的绘本书籍。

11.根据权利要求10所述的装置，其特征在于，所述绘本书籍推荐模块，其基于评估与定位结果，判断该用户的能力发展水平是否符合用户当前年龄所对应的教育目标。

12.根据权利要求8所述的装置，其特征在于，还包括：

个性化问答模块，其在绘本阅读过程中，根据绘本的内容和用户特征数据发起对用户的个性化提问引导。

13.一种用于绘本阅读的人机交互方法系统，其特征在于，该系统包括：

如权利要求7所述的儿童专用设备；以及云端服务器。