CN111613100A - 一种解读绘本方法、装置、电子设备和智能机器人 - Google Patents

Abstract

本申请提供了一种解读绘本方法、装置、电子设备和智能机器人，涉及绘本解读技术领域。所述方法包括：确定阅读者正在阅读的当前绘本；获取当前绘本的历史信息，向阅读者提出第一轮次问题。本申请在确定阅读者正在阅读的绘本后，从资源库中获取在此之前的该阅读者对当前绘本进行解读的解读次数和每次解读时提出的各个轮次问题的正向答案率，然后根据解读次数和每个轮次问题的多个正向答案率的均值，向阅读者提出符合其理解程度的轮次问题，从而避免在一次解读绘本的过程中，向阅读者提出的第一个轮次问题超出阅读者理解能力范围或过于简单。

Description

一种解读绘本方法、装置、电子设备和智能机器人

技术领域

本发明涉及绘本解读技术领域，尤其涉及一种解读绘本方法、装置、电子设备和智能机器人。

背景技术

听故事是所有儿童成长过程中喜爱的一种活动，儿童也希望父母在身边陪伴自己并一起进行亲子阅读。现在大多数父母由于工作过于繁忙、将孩子留给老人照看等原因，无法给自己孩子讲故事，所以市场上产生了很多给儿童读绘本的设备，比如点读机、绘本阅读机器人等。但是这些设备只能简单的播放音频，无法做到跟儿童进行问答互动，引导儿童思考并启发阅读者的想象力。

发明内容

为了现有技术中终端设备无法跟儿童进行问答互动、引导儿童思考等问题，本申请的实施例提供了一种解读绘本方法、装置电子设备和智能机器人。

为了达到上述目的，本申请的实施例采用如下技术方案：

第一方面，本申请提供一种解读绘本方法，由终端设备执行，所述方法包括：确定阅读者正在阅读的当前绘本；获取所述当前绘本的历史信息，所述历史信息包括历史上所述阅读者的对所述当前绘本进行解读的解读次数和历史上所述阅读者每次解读时提出的各个轮次问题的正向答案率；向所述阅读者提出第一轮次问题，所述第一轮次问题是根据所述历史信息确定的。其中，各个轮次问题是指：将绘本关联的多个问题按照一定规则，划分成N个集合，再按照一定顺序进行排序，然后在上个集合的问题提完后，再提出后一个集合的问题，从而构成一个轮次一个轮次的问题。

上述发明中，在确定阅读者正在阅读的绘本后，从资源库中获取在此之前的该阅读者对当前绘本进行解读的解读次数和每次解读时提出的各个轮次问题的正向答案率，然后根据解读次数和每个轮次问题的多个正向答案率的均值，向阅读者提出符合其理解程度的轮次问题，从而避免在一次解读绘本的过程中，向阅读者提出的第一个轮次问题超出阅读者理解能力范围或过于简单。

在另一个可能的实现中，所述方法还包括：接收所述阅读者答复所述第一轮次问题中的各个问题的答案；当所述各个问题的答案的正向答案率大于设定阈值时，向所述阅读者提出第二轮次问题，所述第二轮次问题中的问题不同于所述第一轮次问题中的问题

上述发明中，当第一轮次问题提问完后，根据阅读者回复的答案的正向答案率，确定是否向阅读者提问更难一级轮次的问题，从而循序渐进地引导阅读者对该故事的理解，提升阅读者的阅读理解能力。

在另一个可能的实现中，所述方法还包括：所述第一轮次问题和所述第二轮次问题的先后顺序是按难易程度设置。

在另一个可能的实现中，在所述获取所述当前绘本的历史信息之前，还包括：获取所述阅读者的身份信息，所述获取所述当前绘本的历史信息，包括：获取与所述身份信息相对应的所述当前绘本的历史信息。

上述发明中，通过识别阅读者身份信息，参考该阅读者相关的历史信息，从而更准确的向该阅读者提出与其理解程度相匹配的轮次问题。

在另一个可能的实现中，在所述资源库中存储至少一个绘本的数据包，所述数据包包括绘本的名称、绘本的页码、页码对应的内容、以及所述内容对应的至少一个轮次问题和所述至少一个轮次问题中各个问题的答案，所述至少一个绘本包括所述阅读者正在阅读的当前绘本，所述至少一个轮次问题包括所述第一轮次问题和所述第二轮次问题。

上述发明中，绘本设计人员将各个绘本制作好的文本提前录入存储器中，以便终端设备在不联网的情况下，仍能为阅读者解读绘本。

在另一个可能的实现中，在所述确定阅读者正在阅读的当前绘本之后，所述方法还包括：判断所述当前绘本是否存储在资源库中；当所述资源库没有所述当前绘本时，判断所述当前绘本的内容是否与所述资源库中已存储的第一绘本的内容相同；当所述当前绘本的内容与所述第一绘本的内容相同时，向所述阅读者提出与所述第一绘本对应的轮次问题。

上述发明中，由于市场上绘本的数量巨多，但是有些绘本由于出版社不同、排版不同等情况造成内容相同但形式上不同，因此绘本设计人员不需要将内容相同的各个版本的绘本都录入存储器中，只需要根据绘本的内容制作一个绘本信息，然后录入存储器，既减少绘本设计人员的工作量，又减少存储器的存储空间。

在另一个可能的实现中，所述方法还包括：确定所述阅读者正在阅读的所述当前绘本的页码；向所述阅读者提出与所述页码对应的内容的轮次问题。

上述发明中，由于绘本的内容比较多，阅读者不可能一次性将一本绘本在一次阅读中阅读完，所以可以根据绘本的页码，将对绘本解读的问题分成N部分，在阅读者阅读完一页内容后，就向阅读者提问问题，从而更好的协助阅读者解读绘本。

在另一个可能的实现中，所述确定阅读者正在阅读的当前绘本，包括：通过麦克风获取所述阅读者正在阅读的所述当前绘本的语音信息；将所述语音信息转换成绘本文字，所述绘本文字用于从所述资源库中确定所述阅读者正在阅读的当前绘本。在另一个可能的实现中，所述确定阅读者正在阅读的当前绘本，包括：通过摄像头获取所述阅读者正在阅读的所述当前绘本的图像；识别所述图像中特征，得到绘本特征值，所述绘本特征值用于从所述资源库中确定所述阅读者正在阅读的当前绘本。在另一个可能的实现中，在确定所述阅读者答复第一轮次问题的正向答案率大于设定阈值之前，所述方法还包括：通过麦克风获取所述阅读者答复问题的语音信息；将所述语音信息转换成答案文字，所述答案文字用于从所述资源库中确定所述阅读者答复所述第一轮次问题中第一问题的答案是否正确，所述第一轮次问题包括所述第一问题。

在另一个可能的实现中，在确定所述阅读者答复第一轮次问题的正向答案率大于设定阈值之前，包括：通过摄像头获取所述阅读者的动作或手势；识别所述阅读者的动作或手势的图像中特征，得到答案特征值，所述答案特征值用于从所述资源库中确定所述阅读者答复所述第一轮次问题中第二问题的答案是否正确，所述第一轮次问题包括所述第二问题。

在另一个可能的实现中，所述方法还包括：在所述历史信息中增加一次所述阅读者的对所述当前绘本进行解读的解读次数和存储所述阅读者在本次解读过程中答复各个轮次问题的答案的正向答案率。

在另一个可能的实现中，在所述向所述阅读者提出第一轮次问题之前，包括：接收解读指令，所述解读指令用于指示向所述阅读者提出所述第一轮次问题。

上述发明中，终端设备在确定出阅读者当前正在阅读的绘本后，有时候阅读者并不想对该部分内容进行解读，或过一段时间再进行解读，所以通过指令的方式控制终端设备是否进行解读或什么时候进行解读，从而满足阅读者使用需求。

第二方面，本申请实施例提供了一种绘本解读装置，包括：收发器、处理器和存储器；所述收发器用于接收和发送数据；所述存储器存储有一个或多个程序，所述一个或多个程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行第一方面中各个可能实现的方案。

第三方面，本申请实施例提供了一种电子设备，包括：摄像头和/或麦克风、存储器和执行如第一方面的各个可能实现的实施例的处理器。

第四方面，本申请实施例提供了一种智能机器人，包括：摄像头和/或麦克风，用于接收阅读者阅读绘本的语音信息或图像信息，以及阅读者回答所述绘本对应的问题的答案的语音信息或图像信息；存储器，用于存储至少一个绘本的第二信息，以及每个绘本历史上所述阅读者的对所述当前绘本进行解读的解读次数和历史上所述阅读者的每次解读时提出的各个轮次问题的正向答案率；处理器，用于处理所述摄像头和/或所述麦克风获取的所述语音信息或图像信息，然后从所述存储器中确定所述阅读者正在阅读的当前绘本，，以及根据所述存储器中所述当前绘本的解读次数和每个轮次问题在每次解读时得到的正向答案率的均值，确定向所述阅读者提问对应轮次的问题；扬声器，用于向阅读者播放语音；通信单元，用于接收每个绘本的第二信息，以及从当前轮次进入下一轮次的正向答案率的阈值。

第五方面，本申请实施例提供了一种可读存储介质，用于存储指令，当所述指令被执行时，使得第一方面的各个可能实现的实施例被实现。

第六方面，本申请实施例提供了一种包含指令的计算机程序设备，当其在终端上运行时，使得第一方面的各个可能实现的实施例被实现。

附图说明

下面对实施例或现有技术描述中所需使用的附图作简单地介绍。

图1为本申请实施例提供的一种解读绘本的应用系统架构图；

图2为本申请实施例提供的一种终端设备的结构示意图；

图3为本申请实施例提供的不同手势代表不同数量的示意图；

图4为本申请实施例提供的一种制作绘本的模板示意图；

图5为本申请实施例提供的一种制作绘本的模板示意图；

图6为本申请实施例提供的一种制作绘本的模板示意图；

图7为本申请实施例提供的一种解读方法的流程图；

图8为本申请实施例提供的触控屏幕显示的图像示意图；

图9为本申请实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供的一种解读绘本的应用系统架构图。如图1所示，该系统架构中包括绘本、终端设备和阅读者。

绘本可以为纸质书籍，也可以为平板、kindle等可以供阅读者进行阅读故事的设备。

本申请实施例中，终端设备包括但不限于平板电脑、智能手机等智能设备。比如还可以包括针对各种特定的业务场景独立开发的智能机器人等等。在终端设备中，存储有绘本中的各篇故事，以及各篇故事对应的一系列问题和每个问题对应的答案。其中，每篇故事对应的一系列问题按照难易程度分成几个轮次，终端设备按照先易后难的顺序向阅读者提问不同轮次的问题。终端设备协助阅读者进行解读绘本过程中，在确定阅读者正在阅读的故事后，从数据库中找出该故事对应的问题和答案；然后阅读者阅读完故事后，根据历史上阅读者解读该绘本的次数和各个轮次中正向答案率，向阅读者提出相对应难度的轮次问题从而避免一次解读绘本时过程中，向阅读者提出的第一个轮次问题超出阅读者理解能力或过于简单。另外，当一个轮次的问题提问完后，根据阅读者回复的答案的正确率，确定是否再提问更难一级轮次的问题，从而循序渐进地引导阅读者对该故事的理解，提升阅读者的阅读理解能力。

图2为本申请实施例提供的一种终端设备的结构示意图。如图2所示，该终端设备包括输入单元1、输出单元2、处理单元3、存储单元4和录入单元5。

终端设备需要具备感知当前使用者身份的能力，比如通过人脸识别、声纹识别、用户账号密码等方式识别当前使用者身份，根据用户输入或通过更智能的方式(比如根据人脸识别用户性别、年龄)获取当前用户个人信息。用户账号下会存储记录该用户使用过程中的所有个人数据。

输入单元1包括麦克风11和摄像头12。其中，麦克风11用于采集语音信息，摄像头12用于采集图像信息。

在本申请实施例中，对于麦克风11的作用，终端设备可以通过麦克风11获取阅读者阅读绘本中的故事的语音信息，以确定阅读者阅读的故事。终端设备也可以通过麦克风11获取阅读者对终端设备提出的问题进行答复的语音信息，以获取阅读者答复问题的答案。

对于摄像头12的作用，终端设备可以通过摄像头12获取阅读者正在阅读绘本的页面，根据页面内容，识别出阅读者阅读的故事。终端设备也可以通过摄像头12获取阅读者的动作或手势，以根据阅读者的动作或手势识别出阅读者答复问题的答案。

输出单元2包括扬声器21。在本申请实施例中，终端设备可以通过扬声器21播放阅读者正在阅读的故事的其他人阅读的录音、播报阅读者正在阅读的故事对应的问题、问题对应的正确答案、鼓励阅读者的话等等。

处理单元3包括自动语音识别(automatic speech recognition，ASR)单元31。其中，ASR技术是一种将人的语音转换为文本的技术。在本申请实施例中，ASR单元31配合麦克风11，用于对麦克风11获取的阅读者正在阅读的故事的语音信息和对终端设备提出的问题进行答复的语音信息进行转换，得到对应的文字文本后，处理单元3根据得到的文字文本在数据库中寻找对应的故事或答案。

处理单元3还包括视觉处理单元32。在本申请实施例中，视觉处理单元32配合摄像头12，用于对摄像头12获取的图像信息进行处理，然后提取出图像中所需要的特征。其中，视觉处理单元32包括绘本图像识别单元321、绘本点击识别单元322和手势识别单元323。

绘本内容设计人员在提前录入绘本时，提取录入的绘本的封面和每个内面的图像的特征值，然后通过特征值生成该绘本唯一的身份凭证(identity document，ID)，并将绘本ID与特征值关联，最后存储在存储单元4中。

绘本图像识别单元321用于在摄像头12获取阅读者正在阅读绘本的页面的图像后，识别当前绘本的封面、具体页码等特征值，然后到存储单元4中进行比对，找到对应的绘本ID和页码ID，以确定阅读者正在阅读的绘本和正在阅读绘本的当前页面。在一个可能的实施例中，绘本图像识别单元321采用尺度不变特征变换(scale-invariant featuretransform，SIFT)算法来侦测或描述影像中的局部性特征。

绘本点击识别单元322用于通过摄像头12拍摄包括阅读者手指的视频帧图像来检测阅读者手指点击区域的位置。在一个可能的实施例中，绘本点击识别单元322先对采集到的图像进行预处理(也即对图像中手形区域作如噪点削减、排除肤色差异明显的区域等处理)；然后对图像边缘提取，以提取外凸区域的边缘(也即根据手指区域的形状轮廓，提取手指的图像)；最后根据采集的图像和提取的手指图像，确定阅读者点击绘本的区域。

手势识别单元323用于识别出图像中的阅读者的动作或手势，然后根据根据对应的手势确定阅读者表示的答案。其中，手势识别的方式包括但不限于基于几何特征、通过手势的边缘(如轮廓)和手势区域特征(如手掌颜色、面积等)等方式识别手势。

示例性的，如图3所示，绘本内容设计人员可以根据手指头数量和手指头特定的手势来定义“1、2、3、4、5、6、7、8、9、10”。在绘本解读过程中，阅读者可以通过手势来回答问题，比如终端设备向阅读者提问：这个画面上有几种小动物呀？阅读者可以采用如图3中任意一个手势作为回答。手势识别单元323通过识别阅读者展示的手势，确定阅读者答复的答案。

处理单元3还包括阅读结果计算单元33和解读轮次计算单元34。本申请实施例中，阅读结果计算单元33用于计算阅读者回答完一个轮次中所有问题的正确率，然后将计算的结果存储在存储单元4中。

解读轮次计算单元34用于根据阅读者当前轮次中回答的答案的正确率、存储单元4中记录阅读者已经解读该绘本和同类绘本的次数、以及该绘本录入时选择的计算规则，确定此时为阅读者解读该绘本对应的轮次。阅读者阅读过程中产生的所有个人相关数据(如阅读次数、阅读轮次、问答结果等)会和该阅读者的账号进行关联，从而实现不同阅读者的数据隔离，进行个性化的阅读轮次计算。

存储单元4包括数据库41和资源库42。其中，数据库41用于存储处理单元3对语音信息和图像信息进行处理的数据。资源库42用于存储绘本内容设计人员录入的数据。

示例性的，数据库41根据存储的数据的类型，将数据库41分为绘本图像特征数据库411、第一绘本阅读记录数据库412和第二绘本阅读记录数据库413。

绘本图像特征数据库411用于提取资源库42中每个绘本中封面和每个页面的图像，并识别出特征值，然后将图像特征值与该绘本和该对应页面的的数据关联。一个可能的实施例中，绘本开发人员提取录入在资源库42中的绘本的封面和每个页面的图像，识别出特征值，存储绘本图像特征数据库411中，然后将每个特征值与资源库42中存储的对应的封面和页面的内容、各个轮次的问题、答案等数据关联，具体关联关系如下：

表一绘本的封面和各个页面的图像的特征值与资源库中存储的数据之间的关联表

当处理单元3通过摄像头11获取阅读者正在阅读的绘本的封面或某一页的图像后，通过视觉处理单元32进行处理，获取该图像的特征值，然后发送给绘本图像特征数据库411，与绘本图像特征数据库411中存储的特征值进行比对。如果绘本图像特征数据库411中存储的特征值有与发送的图像特征值相匹配的特征值时，处理单元3可以通过绘本图像特征数据库411中存储的与发送的图像特征值相匹配的特征值对应的关联关系，从资源库42中获取相应的绘本或相应页面的内容、各个轮次的问题、答案等数据。

第一绘本阅读记录数据库412用于记录每本绘本被解读的信息，记录，即当绘本被解读时，通过阅读结果计算单元33计算得到的各个轮次的正确率，生成一条解读信息，该解读信息包括一个绘本在一次解读过程中各个轮次的正确率。一个可能的实施例中，存储在第一绘本阅读记录数据库412中的解读信息格式如下：

表二解读信息中的绘本和各个轮次中回答答案的正确率之间的关系

终端设备每次为阅读者进行解读绘本后，都会生成一条解读信息，记录阅读者在此次解读过程中，对该绘本的理解程度，并在后续再次解读该绘本时，解读轮次计算单元34根据该绘本历史上的解读信息，确定再次解读该绘本直接进入的轮次。

第二绘本阅读记录数据库413用于记录每本绘本的各个类型被解读的信息，相比较第一绘本阅读记录数据库412中存储的解读信息，第二绘本阅读记录数据库413中存储的解读信息增加了类型分类，将解读信息分为如数字学习解读信息、字母学习解读信息等等，具体如下：

表三解读信息中的绘本和各个轮次中回答答案的正确率之间的关系

资源库42用于存储至少一本绘本。其中，存储的绘本内容包括绘本的基础信息(名称、绘本类型、子类型、页数、封面图片、具体页码图片等)、绘本封面和各个页面的图像、图像的特征值、各个页面的文字和图像、各个页面对应的各个轮次的问题和答案、轮次通过计算标准等信息。当阅读者对绘本进行解读时，处理单元3在确定阅读者阅读的绘本和当前阅读的页面后，从资源库42中获取进行解读的该绘本相关信息。

录入单元5用于下载绘本内容，然后录入到资源库42中。其中，录入单元5可以为如USB接口、Type-C接口等物理接口，也可以为WiFi模块、蓝牙模块等无线通信模块，本申请在此不作限定。

终端设备在协助阅读者解读绘本之前，绘本开发人员需要提前在开发工具中制作绘本内容，然后通过录入单元5存储到资源库42中。

下面进一步结合图2所示的终端设备，讲述绘本开发人员如何制作绘本。其中，绘本以儿童绘本《爸爸，别怕》为例进行描述，本申请在此不作限制。

绘本开发人员通过专用的APP、云端等方式制作绘本内容(本申请以APP为例)，在打开APP制作后，APP显示如图4所示的模板，该模板包括绘本名称、作者、解读轮次总数、绘本系列名称、绘本分类、绘本子类和封面图片等选项，绘本开发人员可以根据将要录入绘本，填写该模板中的各个选项。

示例性的，如图4所示，模板中各个选项可分为必填项和非必填项，必填项需要绘本开发人员必须填写的选项，如绘本名称、作者、封面图片等选项，非必填项可以不需要填写，如绘本分类、绘本子类等选项。

绘本开发人员填写完图4所示的模板中的各个选项后，点击“开始录入绘本解读内容”选项，进入如图5所示的模板。该模板包括至少一个轮次解读(本申请以解读三轮为例)、至少一个绘本页面(本申请以绘本有15页为例)、朗读内容、问答互动等选项。

示例性的，如图5所示，一种情况，每个页面的选项中都包括第一次解读、第二次解读和第三次解读这三个选项，在每个解读的选项中都包括朗读内容和问答互动两个选项。当绘本开发人员制作绘本《爸爸，别怕》的第一页的第一轮解读的绘本内容时，在15个页面的选项中选定“第1页”这个选项后，会出现三个解读选项；然后在三个解读选项中选定“第一轮解读”这个选项后，出现朗读内容和问答互动两个选项。绘本开发人员将绘本《爸爸，别怕》的第一页的图像和第一页记录的文字内容上传到“朗读内容”选项中，然后将需要提问的问题和答案上传到“问答互动”选项中。

另一种情况，每个页面的选项中都包括朗读内容和问答互动两个选项，在朗读内容和问答互动两个选项中都包括第一次解读、第二次解读和第三次解读这三个选项。当绘本开发人员制作绘本《爸爸，别怕》的第一页的第一轮解读的绘本内容时，在15个页面的选项中选定“第1页”这个选项后，会出现朗读内容和问答互动两个选项；在两个选项中选定“朗读内容”这个选项后，会出现三个解读选项；然后在三个解读选项选定“第一轮解读”这个选项后，绘本开发人员将绘本《爸爸，别怕》的第一页的图像和第一页记录的文字内容上传到“朗读内容”选项中；再在两个选项中选定“问答互动”这个选项后，会出现三个解读选项；然后在三个解读选项选定“第一轮解读”这个选项后，绘本开发人员将绘本《爸爸，别怕》的第一页的图像和第一页需要提问的问题和答案上传到“问答互动”选项中。

同理，绘本开发人员制作绘本《爸爸，别怕》的其它页面的其它轮解读的绘本内容的方式与上述制作绘本《爸爸，别怕》的第一页的第一轮解读的绘本内容的方式相同。

绘本开发人员填写完图5所示的模板中的各个页面、各个轮解读等选项后，点击“完成解读”选项，进入如图6所示的模板。该模板包括进入下一轮解读规则和正向回答平均数等选项。

示例性的，如图6所示，“进入下一轮解读规则”选项包括“方式1：该绘本第一轮解读问答互动，阅读者正向回答数超过”和“方式2：同系列已读绘本超过2本，且第一轮解读回答互动中，阅读者正向回答平均数超过”这两个“二择一”的选项。如果制作的绘本为系列绘本，则选择“方式1”；如果制作的绘本为非系列绘本，则选择“方式2”。然后在“正向回答平均数等选项”中选定正向回答率数字，只有阅读者回复的正向回答率大于设定的正向回答率，终端设备才会进入第二轮解读。

绘本开发人员填写完图6所示的模板中的各个选项后，点击“提交”选项，此时表明绘本《爸爸，别怕》制作完成。绘本开发人员可以将该绘本上传到云服务器上，然后阅读者根据需要通过录入单元5下载该绘本。

当该绘本通过录入单元5下载到资源库42中，绘本图像特征值数据库411提取该绘本中封面和每个页面的图像，识别出特征值，生成绘本封面和每个页面的ID，并将每个特征值与各个ID关联，具体关系如表一所示，然后存储在绘本图像特征值数据库411。

下面进一步结合图2所示的终端设备，对本申请实施例的技术方案进行更加详细的描述(下面以终端设备为智能机器人为例)。

图7为本申请实施例提供的终端设备协助阅读者解读绘本的工作流程图。

步骤S701，确定阅读者正在阅读的当前绘本。

在阅读者使用智能机器人陪伴自己解读故事时，阅读者通过语音、按键等方式向智能机器人发起绘本解读的指令，让智能机器人工作。智能机器人在接受到指令后，(通过声纹、密码、指纹、人脸信息等方式)判断当前用户身份信息、进而开启麦克风11和/或摄像头12工作，以获取阅读者正在阅读绘本的语音和/或阅读者正在阅读的绘本当前页面的图像。

一个可能的实施例中，智能机器人的麦克风11采集阅读者的语音信息，然后处理单元3中的ASR单元31将采集的语音转换为对应的文字，然后从转换后的文字文本中提取出多个关键词，与存储单元4中的资源库42中存储的各个绘本中的对应的关键词进行比对。如果采集的语音信息转换到的关键词与资源库42中的某个绘本的对应的关键词相匹配，则表明阅读者正在阅读该绘本，从而确定出阅读者正在阅读的绘本和正在阅读绘本的内容所对应的页码；如果采集的语音信息转换到关键词在资源库中没有任何个绘本的对应的关键词与之匹配，则表明阅读者并不在“看故事”或数据库42并不存储阅读者正在阅读的绘本，从而智能机器人不能为阅读者解读故事。

其中，资源库42中存储的各个绘本的以如图4-6及相应的描述内容的方式制作，本申请在此不再赘述了。

一个可能的实施例中，智能机器人的摄像头12采集图像或视频，然后处理单元3中的视觉处理单元32对采集的图像(如果是视频，视觉处理单元32对视频中的每帧图像单独处理)进行识别，以获取当前图像中的多个特征值，然后与存储单元4中的绘本图像特征数据库411中存储的各个绘本中的对应的图像的特征值进行比对。如果采集的图像或视频的特征值与资源库中的某个绘本的对应的特征值相匹配，则表明阅读者正在阅读该绘本，从而确定出阅读者正在阅读的绘本和正在阅读绘本的内容所对应的页码；如果采集的图像或视频的特征值在资源库中没有任何个绘本的对应的特征值与之匹配，则表明阅读者并不在“看故事”或数据库42并不存储阅读者正在阅读的绘本，从而智能机器人不能阅读者解读故事。

当然，本申请实施例中的智能机器人也可以同时开启麦克风11和摄像头12进行工作，通过同时获取语音信息、图像或视频信息，从而更准确的确定阅读者正在阅读的绘本和正在阅读绘本的内容所对应的页码。

步骤S703，获取当前绘本的历史信息。

步骤S705，向阅读者提出第一轮次问题。

智能机器人在确定阅读者正在阅读的绘本和正在阅读绘本的内容所对应的页码后，开启绘本解读工作。

在一个可能的实施例中，处理单元3中的解读轮次计算单元34从存储单元4的第一绘本阅读记录数据库412中获取关于该绘本的历史阅读情况的数据。当解读轮次计算单元34获取的数据中没有记录该绘本被解读相关的信息时，则表明该绘本第一次被解读，处理单元3则从资源库42中获取该绘本第一轮解读问题，然后通过扬声器21向阅读者提问第一轮解读的问题；当解读轮次计算单元34获取一条如下表格的数据时，

表四解读信息中的绘本和各个轮次中回答答案的正确率之间的关系

则表明该绘本在历史上进行过一次解读，且在第一轮解读中阅读者正向答案率为60％(假设从第一轮进入第二轮解读的正向答案率为60％)，没有第二轮解读中阅读者正向答案率，也没有第三轮解读中阅读者正向答案率，处理单元3得到第一轮问题的正向答案率均值为60％，然后从资源库42中获取该绘本第二轮解读问题，然后通过扬声器21向阅读者提问第二轮解读的问题；当解读轮次计算单元34获取两条如下表格的数据时，

表五解读信息中的绘本和各个轮次中回答答案的正确率之间的关系

则表明该绘本在历史上进行过两次解读，在第一次解读过程中，在第一轮解读中阅读者正向答案率为60％(假设从第一轮进入第二轮解读的正向答案率为60％)、第二轮解读中阅读者正向答案率为10％，没有第三轮解读中阅读者正向答案率，在第二次解读过程中，在第一轮解读中阅读者正向答案率为60％、第二轮解读中阅读者正向答案率为60％，没有第三轮解读中阅读者正向答案率为，处理单元3得到第一轮问题的正向答案率为60％，得到第二轮问题的正向答案率为35％，然后从资源库42中获取该绘本第二轮解读问题，然后通过扬声器21向阅读者提问第二轮解读的问题；其它情况依次类推。

在一个可能的实施例中，处理单元3中的解读轮次计算单元34从存储单元4的第二绘本阅读记录数据库413中获取关于该绘本的历史阅读情况的数据。如果当前阅读者进行“英文绘本”学习，当解读轮次计算单元34获的数据中没有记录该绘本为“英文绘本”类型的被解读相关的信息时，则表明该绘本的“英文绘本”类型第一次被解读，处理单元3则从资源库42中获取该绘本的“英文绘本”类型的第一轮解读问题，然后通过扬声器21向阅读者提问第一轮解读的问题；当解读轮次计算单元34获取四条如下表格的数据时，

表六解读信息中的绘本和各个轮次中回答答案的正确率之间的关系

则表明该绘本的“英文绘本”类型在历史上进行过两次解读，在第一次解读过程中，在第一轮解读中阅读者正向答案率为50％(假设从第一轮进入第二轮解读的正向答案率为60％)，没有第二轮解读中阅读者正向答案率，也没有第三轮解读中阅读者正向答案率，在第二次解读过程中，在第一轮解读中阅读者正向答案率为70％和第二轮解读中阅读者正向答案率为60％，没有第三轮解读中阅读者正向答案率，处理单元3得到第一轮问题的正向答案率为60％，得到第二轮问题的正向答案率为60％，然后从资源库42中获取该绘本的“英文绘本”类型的第三轮解读问题，然后通过扬声器21向阅读者提问第三轮解读的问题；其它情况依次类推。

其中，阅读者可以通过语音指令、在屏幕输入的指令等方式让智能机器人进入该绘本的指定类型。

步骤S707，接收阅读者答复第一轮次问题中的各个问题的答案。

步骤S709，当各个问题的答案的正向答案率大于设定阈值时，向阅读者提出第二轮次问题。

智能机器人在通过扬声器21播放问题后，在设定的时间段开启麦克风11和/或摄像头12工作，以获取阅读者针对问题回复的方案。

一个可能的实施例中，智能机器人的麦克风11采集阅读者的语音信息，然后处理单元3中的ASR单元31将采集的语音转换为对应的文字，然后从转换后的文字文本中提取出多个关键词，与存储单元4中的资源库42中存储的对应问题的答案进行比对。如果采集的语音信息转换到的关键词与资源库42中的对应问题的答案的关键词相匹配，则表明阅读者回答的答案正确，处理单元3可以通过扬声器21向阅读者播报“答案正确”、“你太棒了，回答正确”等语音，让阅读者知道自己回答的答案是正确的；如果采集的语音信息转换到的关键词与资源库42中的对应问题的答案的关键词不相匹配，则表明阅读者回答的答案错误，处理单元3可以通过扬声器21向阅读者播报“答案错误”、“你再想想，有没有更好的答案”等语音，让阅读者知道自己回答的答案是错误的，然后播报正确的答案。

另外，当阅读者回答的答案是错误时，也可以再次开启麦克风11工作，让阅读者再次进行回答，当阅读者在设定次数内，都没有回答出正确的答案，处理单元3再通过扬声器21播报正确的答案。

一个可能的实施例中，如果阅读采用手势进行回答时，智能机器人的摄像头12采集图像或视频，然后处理单元3中的视觉处理单元32对采集的图像(如果是视频，视觉处理单元32对视频中的每帧图像单独处理)进行识别，以获取当前图像中的多个特征值，并根据多个特征值确定阅读者手指数和手指组合的时候，确定阅读者表达的具体数量，然后与存储单元4中的资源库42中存储的对应问题的答案进行比对。如果确定的具体数量与资源库42中的对应问题的答案相同，则表明阅读者回答的答案正确，处理单元3可以通过扬声器21向阅读者播报“答案正确”、“你太棒了，回答正确”等语音，让阅读者知道自己回答的答案是正确的；如果确定的具体数量与资源库42中的对应问题的答案不相同，则表明阅读者回答的答案错误，处理单元3可以通过扬声器21向阅读者播报“答案错误”、“你再想想，有没有更好的答案”等语音，让阅读者知道自己回答的答案是错误的，然后播报正确的答案。

当然，本申请实施例中的智能机器人也可以同时开启麦克风11和摄像头12进行工作，通过同时获取语音信息、图像或视频信息，从而更准确的确定阅读者回答的答案。

一个可能的实施例中，如图8所示，如果智能机器人上有触控屏幕，处理单元3可以将问题以图片形式呈现在触控屏幕上。如智能机器人向阅读者提问“你觉得这个故事里面，谁会变成小兔子呀？”，阅读者在得知问题后，可以在屏幕上的“熊爸爸”、“小熊”等其它物体的位置上进行点击，然后处理单元3将阅读者点击的位置与资源库42中的存储对应问题的答案进行比对，以确定阅读者点击的位置是否正确。如果点击的位置正确，则表明阅读者回答的答案正确，然后通过扬声器21播报或触控屏幕上显示方式告诉阅读者回答正确；如果点击的位置错误，则表明阅读者回答的答案错误，然后通过扬声器21播报或触控屏幕上显示方式告诉阅读者回答错误。

在智能机器人向阅读者提问完第一轮所有问题后，处理单元3中阅读结果计算单元33计算本轮次阅读者回答正确的题目数量，然后计算出正确率，如果正确率不超过设定的阈值时，智能机器人不进入第二轮解读；如果正确率超过设定的阈值时，智能机器人则进入第二轮解读。

另外，如果智能机器人此次解读结束后，处理单元3将此次进行解读的绘本、类型、解读的轮次、每个轮次解读的正向答案率等信息以表二、表三的格式存储在第一绘本阅读记录数据库412和第二绘本阅读记录数据库413，以便后续阅读者再次解读时，可以参考此次解读的结果确定再次解读时直接进入的轮次。

进一步地，由于市面上的绘本数量非常多，可能出现不同绘本中部分故事相同、相同绘本不同出版社出版、相同绘本不同语言呈现等情况，处理单元3在生成解读信息时可以不需要包括绘本封面等信息，这样不必要死板地根据每一本绘本的阅读情况来确定解读的轮次，而是可以根据是否有过类似绘本的阅读记录，来确定当前绘本的解读轮次。

进一步地，以宫西达也的超人系列绘本(一共三本)为例进行说明，该系列绘本包括《加法超人与算术星人》、《奇幻超人》和《正义之士》三本绘本。当资源库42中存储有以如图4-6及相应的描述内容的方式制作的该三本绘本时(其中“进入下一轮解读规则”选项选择的是“方式2”)，如果阅读者按照前述规则已经读了该系列绘本的《加法超人与算术星人》的第一轮和《正义之士》的第一轮，而《奇幻超人》还没有读，且《加法超人与算术星人》第一轮的10个问题正向回答了7个，《正义之士》的第一轮问题正向回答了8个。此时，第一绘本阅读记录数据库412中两本的各一条解读信息，而第二绘本阅读记录数据库413中记录了一套解读信息，该解读信息中平均正向回答率为该系列绘本中已读绘本的平均正向回答率：(0.7+0.8)/2＝75％。

当阅读者开始开始第一次读《奇幻超人》时，根据绘本基本信息中的记录，《奇幻超人》属于超人系列绘本，根据阅读轮次计算规则，查询第二绘本阅读记录数据库413中解读信息，根据解读信息表明超人系列绘本的已读绘本已经超过2本，由于该系列已读绘本第二轮解读问答互动中，阅读者正向回答平均数75％>60％，所以智能机器人直接从第二轮开始解读。

本申请实施例提供的绘本解读方法，通过将对绘本进行解读的问题按照难易程度进行分类，如果阅读者第一次阅读该绘本时，向阅读者提问最简单类型的问题，如果根据历史记录的信息表明阅读者进行过多次解读，则向该阅读者提问相对应的轮次问题，从而智能化的向阅读者提出合理的问题，有效的帮助阅读者理解绘本。当一个类型的问题提问完后，根据阅读者回复的答案的正确率，确定是否再提问更难一级类型的问题，从而循序渐进地引导阅读者对该故事的理解，提升阅读者的阅读理解能力。

图9为本发明实施例提供的一种终端设备的结构示意图。如图9所示的一种终端设备900，该电子设备900可以为上述的智能机器人，包括传感器901，显示器902，处理器903、存储器904、通信接口905以及总线906。电子设备中的处理器903、存储器904和通信接口905可以通过总线906建立通信连接。

传感器901，用于获取阅读者语音信息和图像或视频信息，以及发送音视频信息。传感器901可包括摄像头、麦克风、扬声器等等。

显示器902，用于显示处理后的数据，如视频、图像。

处理器903可以为中央处理器(central processing unit，CPU)。

存储器904可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器，硬盘(hard disk drive，HDD)或固态硬盘(solid state drive，SSD)；存储器904还可以包括上述种类的存储器的组合。

上述实施例提供的解读方法，均由处理器903来执行。图片、语音、绘本内容等数据将存储在存储器904中。另外，存储器904中还将用于存储处理器903执行的用于实现上述实施例所述的终端信息保护方法对应的程序指令等等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

此外，本申请实施例的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatiledisc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk(SSD))等。

应当理解的是，在本申请实施例的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者接入网设备等)执行本申请实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (15)

1.一种解读绘本方法，由终端设备执行，其特征在于，所述方法包括：

确定阅读者正在阅读的当前绘本；

获取所述当前绘本的历史信息，所述历史信息包括历史上所述阅读者的对所述当前绘本进行解读的解读次数和历史上所述阅读者每次解读时提出的各个轮次问题的正向答案率；

向所述阅读者提出第一轮次问题，所述第一轮次问题是根据所述历史信息确定的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述阅读者答复所述第一轮次问题中的各个问题的答案；

当所述各个问题的答案的正向答案率大于设定阈值时，向所述阅读者提出第二轮次问题，所述第二轮次问题中的问题不同于所述第一轮次问题中的问题。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述第一轮次问题和所述第二轮次问题的先后顺序是按难易程度设置。

4.根据权利要求1-3任意一项所述的方法，其特征在于，在所述获取所述当前绘本的历史信息之前，还包括：获取所述阅读者的身份信息，

所述获取所述当前绘本的历史信息，包括：获取与所述身份信息相对应的所述当前绘本的历史信息。

5.根据权利要求1-4任意一项所述的方法，其特征在于，在所述确定阅读者正在阅读的当前绘本之后，所述方法还包括：

判断所述当前绘本是否存储在资源库中；

当所述资源库没有所述当前绘本时，判断所述当前绘本的内容是否与所述资源库中已存储的第一绘本的内容相同；

当所述当前绘本的内容与所述第一绘本的内容相同时，向所述阅读者提出与所述第一绘本对应的轮次问题。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述方法还包括：

确定所述阅读者正在阅读的所述当前绘本的页码；

向所述阅读者提出与所述页码对应的内容的轮次问题。

7.根据权利要求1-6任意一项所述的方法，其特征在于，所述确定阅读者正在阅读的当前绘本，包括：

通过麦克风获取所述阅读者正在阅读的所述当前绘本的语音信息；

将所述语音信息转换成绘本文字，所述绘本文字用于从所述资源库中确定所述阅读者正在阅读的当前绘本。

8.根据权利要求1-6任意一项所述的方法，其特征在于，所述确定阅读者正在阅读的当前绘本，包括：

通过摄像头获取所述阅读者正在阅读的所述当前绘本的图像；

识别所述图像中特征，得到绘本特征值，所述绘本特征值用于从所述资源库中确定所述阅读者正在阅读的当前绘本。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述历史信息中增加一次所述阅读者的对所述当前绘本进行解读的解读次数和存储所述阅读者在本次解读过程中答复各个轮次问题的答案的正向答案率。

10.根据权利要求1-9任意一项所述的方法，其特征在于，在所述向所述阅读者提出第一轮次问题之前，包括：

接收解读指令，所述解读指令用于指示向所述阅读者提出所述第一轮次问题。

11.一种解读绘本装置，其特征在于，包括：收发器、处理器和存储器；

所述收发器用于接收和发送数据；

所述存储器存储有一个或多个程序，所述一个或多个程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行根据权利要求1-10中的任意一项所述的方法。

12.一种电子设备，其特征在于，包括：摄像头和/或麦克风、存储器和执行如权利要求1-10所述方法的处理器。

13.一种智能机器人，其特征在于，包括：

摄像头和/或麦克风，用于接收阅读者阅读绘本的语音信息或图像信息，以及阅读者回答所述绘本对应的问题的答案的语音信息或图像信息；

存储器，用于存储至少一个绘本的数据包，以及每个绘本历史上所述阅读者的对所述当前绘本进行解读的解读次数和历史上所述阅读者的每次解读时提出的各个轮次问题的正向答案率；

处理器，用于处理所述摄像头和/或所述麦克风获取的所述语音信息或图像信息，然后从所述存储器中确定所述阅读者正在阅读的当前绘本，，以及根据所述存储器中所述当前绘本的解读次数和每个轮次问题在每次解读时得到的正向答案率的均值，确定向所述阅读者提问对应轮次的问题；

扬声器，用于向阅读者播放语音；

通信单元，用于接收每个绘本的数据包，以及从当前轮次进入下一轮次的正向答案率的阈值。

14.一种可读存储介质，用于存储指令，当所述指令被执行时，使得如权利要求1-10中的任一项所述的方法被实现。

15.一种包含指令的计算机程序设备，当其在终端上运行时，使得所述终端执行如权利要求1-10中的任一项所述的方法。

Images