CN110561453B - 一种绘本机器人的引导式陪读方法 - Google Patents

Abstract

本发明公开了一种绘本机器人的引导式陪读方法。本发明中，首先通过用户行为监控进程监控用户行为，通过判断语音输入和视频监控画面来预判用户的行为，并将预判结果发送给用户行为分析进程，在用户行为分析进程分析预判结果对应的用户偏好或习惯，发起尝试性交互；在用户行为响应进程接收尝试性交互的用户响应，并根据响应进入语音交互进程；在语音交互进程根据交互的针对性进行通用语音交互或者针对性语音交互；在交互引导进程根据交互进度来启动引导模式，从而将用户的注意力吸引到在阅绘本上来，达到不断强化用户阅读习惯和专注力培养的效果，同时提高了用户与绘本机器人之间的人机交互体验感，提高用户接收知识的效率。

Description

一种绘本机器人的引导式陪读方法

技术领域

本发明涉及陪读方法技术相关领域，尤其涉及一种绘本机器人的引导式陪读方法。

背景技术

随着科学技术的不断发展，硬件和人工智能技术的快速成熟，机器人的研究正在从专业的工业化场景走向更加普遍的日用场景中，儿童陪伴机器人应景而生，其中，由于绘本阅读机器人具备如下优点而有越来越多的家长愿意购买：

1、绘本阅读本身由于能够全面帮助孩子构建精神世界和培养多元智能，越来越被新时代的家长所认同；

2、能够节约家长自己大量的重复绘本阅读工作；

3、不仅仅娱乐，还具备教育属性；

4、相比早教机纯粹听故事的输入，绘本阅读机器人作为媒介在纸质绘本和孩子之间建立了连接，利于培养孩子阅读的习惯；

5、相比点读机/点读笔，绘本阅读机器人通过视觉识别的方法能够极大的扩展绘本资源并在线更新，且对绘本无需做任何特殊处理，普通绘本即可阅读；

6、相比基于手机和平板的APP来说，其远离屏幕，更健康，更适合陪伴儿童。

目前市面上的绘本阅读机器人都普遍采取图像识别的方法来进行绘本识别，然后根据识别出来的绘本去云端或数据库查找相应音频并播放，同时用户通过翻阅绘本来控制音频播放进度。这种方法能够很好的在阅读者、绘本和绘本阅读机器人之间建立关联性，帮助儿童用户去探索未知并养成良好的阅读习惯。但是，其也具备一定的局限性:

1、仅仅通过翻阅绘本的动作来构建纸质绘本、阅读机器人和儿童用户之间的关联场景，关联关系较弱，翻书动作也比较枯燥；

2、在绘本阅读过程中，和早教机类似，儿童用户是以听为主，机器人主动输出，儿童用户一直处于被动输入的状态；

3、交互体验不足，更像是升级版早教机；

4、儿童用户本身专注力就需要培养，而目前的绘本阅读机器人并没有有意识的去增加儿童专注力的训练。

为此，我们提出了一种绘本机器人的引导式陪读方法。

发明内容

本发明旨在提供一种绘本机器人的引导式陪读方法，其能够很好的解决绘本阅读过程中儿童易于失去注意力的问题，并以绘本阅读为基础系统化的培养儿童的专注力。

为了实现上述目的，本发明采用了如下技术方案：

一种绘本机器人的引导式陪读方法，陪读方法包括以下步骤：

S1、对用户行为监控进程，在绘本阅读过程中，持续监测用户的行为；

S2、对用户行为分析进程，根据S1中的监测结果，分析用户行为，发起人机交互；

S3、用户行为响应进程，根据用户反应，做出连续交互响应；

S4、进行语音交互进程，根据语音交互内容，判断用户是否偏离当前绘本阅读事件；

S5、交互引导进程，根据语音交互计时和绘本交互计时来进行用户阅读行为引导。

优选地，所述S1中用户行为监控进程通过语音监控单元和桌面行为监控单元对用户进行行为监控。

优选地，所述语音监控单元包括语音采集模块、语音识别模块、绘本阅读连续时间计时模块和用户行为记录模块。

优选地，所述桌面行为监控单元包括视频采集模块、书本翻页监控模块、新页面计时模块和用户行为记录模块。

优选地，所述S2中的用户行为分析进程包括以下步骤：

步骤1、首先判断用户行为是否是“长时间未交互”,如果是，则标记用户为“高阶阅读用户”，并根据历史交互情况决策是否围绕绘本发起主动交互，进入语音交互进程，如果不是，则进入步骤2；

步骤2、判断用户行为是否是“主动交互”，如果是，则根据历史交互情况决策是否采取引导策略将交互引导到绘本上，进入语音交互进程；如果不是，则进入步骤3；

步骤3、判断用户行为是否“长时间未翻书”，如果是，则根据历史交互情况决策是否采取引导策略将用户吸引到绘本上，进入语音交互进程；如果不是，则进入步骤4；

步骤4、判断用户行为是否“频繁翻书”，如果是，则根据用户属性提醒用户正确的绘本阅读方式，否则，进入步骤1进行循环运行。

优选地，所述S3中用户行为响应进程主要用于接收步骤1和步骤2中发起的尝试性交互的响应，包括用户是否愿意进行基于在阅绘本的交流以及用户是否遇到和在阅页面相关的问题，如果用户愿意进行交互或者明确回答遇到了和在阅页面相关的问题，则进入针对性交互。

优选地，所述S4中语音交互进程根据用户是否进行的是针对性交互来启动通用语音交互计时或者绘本交互计时，并进行通用语音交互或者绘本语音交互，当进行绘本语音交互时，交互内容调用绘本相关的知识图谱围绕在阅绘本进行自然语言交互。

优选地，所述S5中交互引导进程根据通用语音计时结果来确定是否启动一级引导，一级引导根据知识图谱挑选绘本阅读相关的话题切入交互过程；根据用户响应来确定是否启动二级引导，二级引导根据知识图谱挑选跟在阅绘本相关的话题进一步切入交互过程；如果一级引导和二级引导任一项发生超时引导则结束绘本阅读模式，进入通用语音交互模式，直到再次启动绘本阅读模式，并发送通知给管理员，如果用户进行的是针对性交互或者被引入到针对性交互，则根据绘本交互计时器的结果来判断是否根据用户属性提醒用户继续进行绘本阅读。

与现有技术相比，本发明的有益效果是:

本发明中，首先通过用户行为监控进程监控用户行为，通过判断语音输入和视频监控画面来预判用户的行为，并将预判结果发送给用户行为分析进程，在用户行为分析进程分析预判结果对应的用户偏好或习惯，发起尝试性交互；在用户行为响应进程接收尝试性交互的用户响应，并根据响应进入语音交互进程；在语音交互进程根据交互的针对性进行通用语音交互或者针对性语音交互；在交互引导进程根据交互进度来启动引导模式，从而将用户的注意力吸引到在阅绘本上来，达到不断强化用户阅读习惯和专注力培养的效果，同时提高了用户与绘本机器人之间的人机交互体验感，有利于培养用户学习的兴趣爱好，提高用户接收知识的效率。

附图说明

图1为本发明提出的一种绘本机器人的引导式陪读方法的流程图；

图2为本发明提出的一种绘本机器人的引导式陪读方法中用户行为进行监控组成图；

图3为本发明提出的一种绘本机器人的引导式陪读方法中语音监控单元的流程图；

图4为本发明提出的一种绘本机器人的引导式陪读方法中桌面行为监控单元的流程图；

图5为本发明提出的一种绘本机器人的引导式陪读方法中用户行为分析进程流程图；

图6为本发明提出的一种绘本机器人的引导式陪读方法中用户行为响应进程流程图；

图7为本发明提出的一种绘本机器人的引导式陪读方法中语音交互进程流程图；

图8为本发明提出的一种绘本机器人的引导式陪读方法中引导交互进程流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

下面结合具体实施例对本发明作进一步解说，目的仅在于更好的理解本发明内容。

参照图1-8，本发明还提出了一种绘本机器人的引导式陪读方法，陪读方法包括以下步骤：

S1、对用户行为监控进程，在绘本阅读过程中，持续监测用户的行为，监测用户连续阅读一本书的时间是否超过系统时间阈值、用户是否发起语音交互、用户停留在同一本绘本页面下的时间是否超过系统时间阈值和用户是否有频繁打开/关闭书本以及频繁翻书的行为；

S2、对用户行为分析进程，根据S1中的监测结果，分析用户行为，发起人机交互；如果用户长时间连续阅读同一本书而没有发起交互，则倾向性判断用户具备自主绘本阅读能力和阅读习惯，标记用户为高阶阅读用户，可以进行深层次内容交流，首先尝试主动询问用户是否愿意交流绘本内容，并根据用户回答做出连续交互反应，如果用户主动发起语音交互，则倾向性判断用户具有交流绘本的意愿，并根据用户发起的语音交互内容进行连续交互，进入语音交互进程，如果用户长时间停留在同一绘本的同一页面下，则倾向性判断用户是否遇到困难或者用户是否专注在绘本阅读事件，首先尝试主动询问用户是否在本页阅读中遇到了什么问题，并根据用户回答做出连续交互反应，如果用户有频繁打开/关闭书本以及频繁翻书的行为，则倾向性判断用户没有良好的绘本阅读习惯，则主动提示用户正确的书本阅读方式，作用是根据需要倾向性选择最能帮助儿童用户建立正确阅读习惯和培养儿童用户的专注力的一种判断，启动用户交互，从而增强绘本伴读机器人的正面影响效果；

S3、用户行为响应进程，根据用户反应，做出连续交互响应，如果用户针对S2中的问题回答“不愿意“及其他相关类似语义则结束交互，并重新进行计时；如果用户回答“愿意”及其他相关类似语义则根据已经阅读的绘本内容进入语音交互进程，如果用户针对S2中的问题回答“没有问题”及其他类似语义则结束交互，并重新进行计时；如果用户回答“有问题”及其他类似语义或者问题，则根据用户用户回答进入语音交互进程；

S4、进行语音交互进程，根据语音交互内容，判断用户是否偏离当前绘本阅读事件，如果当前语音交互为非针对性交互，即不是针对当前阅读绘本进行的交互，则启动通用语音交互计时，如果当前语音交互为针对性交互，即交互式围绕当前阅读绘本进行的交互，则启动绘本交互计时；

S5、交互引导进程，根据语音交互计时和绘本交互计时来进行用户阅读行为引导，如果通用语音交互计时达到一定阈值，则通过语音引导用户围绕绘本进行交互，引导成功后进行绘本交互计时，如果绘本交互计时达到一定阈值，则通过语音引导用户继续进行绘本阅读，如果上述引导失败，则尝试持续引导，如果最终用户拒绝回到绘本阅读进程达到一定次数阈值后则关闭绘本阅读功能，进入通用智能音箱功能，并根据管理员的设置通知管理员，此处的管理员可以是家长，对于引导失败的处理会在管理员设置的权限范围内做出相应动作。

其中，各种系统时间阈值均为非固定阈值，而是自适应阈值，会根据当前用户的历史数据来调整阈值，从而使引导效果最佳。

其中，引导过程会根据交互的上下文语义做到自然平滑过渡或者用正面管教的方式来做激励，从而使儿童用户更易于接受。

其中，所述S1中用户行为监控进程通过语音监控单元和桌面行为监控单元对用户进行行为监控，此外还可以增加除语音和翻书行为以外的监控，如用户按键监控、手势监控、坐姿监控等，来进一步分析用户的行为。

其中，所述语音监控单元包括语音采集模块、语音识别模块、绘本阅读连续时间计时模块和用户行为记录模块。

其中，所述桌面行为监控单元包括视频采集模块、书本翻页监控模块、新页面计时模块和用户行为记录模块。

其中，所述S2中的用户行为分析进程包括以下步骤：

步骤1、首先判断用户行为是否是“长时间未交互”,如果是，则标记用户为“高阶阅读用户”，并根据历史交互情况决策是否围绕绘本发起主动交互，进入语音交互进程，如果不是，则进入步骤2，如历史尝试交互获得结果应答次数大于等于拒绝次数，则发起主动交互，如果应答次数小于拒绝次数，且总次数小于一定阈值，则发起主动交互，如果应答次数小于拒绝次数，且总次数大于一定阈值，则不发起主动交互；

步骤2、判断用户行为是否是“主动交互”，如果是，则根据历史交互情况决策是否采取引导策略将交互引导到绘本上，进入语音交互进程；如果不是，则进入步骤3，如果历史交互数据显示用户偏离绘本的交互时长大于基于绘本的交互时长，则采取引导策略；否则不需要采取引导策略，直接进入语音交互进程；

步骤3、判断用户行为是否“长时间未翻书”，如果是，则根据历史交互情况决策是否采取引导策略将用户吸引到绘本上，进入语音交互进程；如果不是，则进入步骤4，如果历史交互数据显示用户因为当前页面阅读遇到问题的次数大于离开阅读环境的次数，则针对当前页面主动发起针对性提问，引导用户交流在阅绘本，否则，提醒用户即将进入待机模式，并开始倒计时进入待机模式；

步骤4、判断用户行为是否“频繁翻书”，如果是，则根据用户属性提醒用户正确的绘本阅读方式，否则，进入步骤1进行循环运行，用户属性举例，如果注册用户为男孩，则用男孩童声播放正确的阅读习惯，如果注册用户为女孩，则用女孩童声播放正确的阅读习惯。

其中，所述S3中用户行为响应进程主要用于接收步骤1和步骤2中发起的尝试性交互的响应，包括用户是否愿意进行基于在阅绘本的交流以及用户是否遇到和在阅页面相关的问题，如果用户愿意进行交互或者明确回答遇到了和在阅页面相关的问题，则进入针对性交互。

其中，所述S4中语音交互进程根据用户是否进行的是针对性交互来启动通用语音交互计时或者绘本交互计时，并进行通用语音交互或者绘本语音交互，当进行绘本语音交互时，交互内容调用绘本相关的知识图谱围绕在阅绘本进行自然语言交互。

其中，所述S5中交互引导进程根据通用语音计时结果来确定是否启动一级引导，一级引导根据知识图谱挑选绘本阅读相关的话题切入交互过程；根据用户响应来确定是否启动二级引导，二级引导根据知识图谱挑选跟在阅绘本相关的话题进一步切入交互过程；如果一级引导和二级引导任一项发生超时引导则结束绘本阅读模式，进入通用语音交互模式，直到再次启动绘本阅读模式，并发送通知给管理员，如果用户进行的是针对性交互或者被引入到针对性交互，则根据绘本交互计时器的结果来判断是否根据用户属性提醒用户继续进行绘本阅读。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种绘本机器人的引导式陪读方法，其特征在于，陪读方法包括以下步骤：

S1、对用户行为监控进程，在绘本阅读过程中，持续监测用户的行为；

S2、对用户行为分析进程，根据S1中的监测结果，分析用户行为，发起人机交互；

S3、用户行为响应进程，根据用户反应，做出连续交互响应；

S4、进行语音交互进程，根据语音交互内容，判断用户是否偏离当前绘本阅读事件；

S5、交互引导进程，根据语音交互计时和绘本交互计时来进行用户阅读行为引导；

所述S2中的用户行为分析进程包括以下步骤：

步骤1、首先判断用户行为是否是“长时间未交互”,如果是，则标记用户为“高阶阅读用户”，并根据历史交互情况决策是否围绕绘本发起主动交互，进入语音交互进程，如果不是，则进入步骤2；

步骤2、判断用户行为是否是“主动交互”，如果是，则根据历史交互情况决策是否采取引导策略将交互引导到绘本上，进入语音交互进程；如果不是，则进入步骤3；

步骤3、判断用户行为是否“长时间未翻书”，如果是，则根据历史交互情况决策是否采取引导策略将用户吸引到绘本上，进入语音交互进程；如果不是，则进入步骤4；

步骤4、判断用户行为是否“频繁翻书”，如果是，则根据用户属性提醒用户正确的绘本阅读方式，否则，进入步骤1进行循环运行；

所述S3中用户行为响应进程主要用于接收步骤1和步骤2中发起的尝试性交互的响应，包括用户是否愿意进行基于在阅绘本的交流以及用户是否遇到和在阅页面相关的问题，如果用户愿意进行交互或者明确回答遇到了和在阅页面相关的问题，则进入针对性交互。

2.根据权利要求1所述的一种绘本机器人的引导式陪读方法，其特征在于，所述S1中用户行为监控进程通过语音监控单元和桌面行为监控单元对用户进行行为监控。

3.根据权利要求2所述的一种绘本机器人的引导式陪读方法，其特征在于，所述语音监控单元包括语音采集模块、语音识别模块、绘本阅读连续时间计时模块和用户行为记录模块。

4.根据权利要求2所述的一种绘本机器人的引导式陪读方法，其特征在于，所述桌面行为监控单元包括视频采集模块、书本翻页监控模块、新页面计时模块和用户行为记录模块。

5.根据权利要求1所述的一种绘本机器人的引导式陪读方法，其特征在于，所述S4中语音交互进程根据用户是否进行的是针对性交互来启动通用语音交互计时或者绘本交互计时，并进行通用语音交互或者绘本语音交互，当进行绘本语音交互时，交互内容调用绘本相关的知识图谱围绕在阅绘本进行自然语言交互。

6.根据权利要求1所述的一种绘本机器人的引导式陪读方法，其特征在于，所述S5中交互引导进程根据通用语音计时结果来确定是否启动一级引导，一级引导根据知识图谱挑选绘本阅读相关的话题切入交互过程；根据用户响应来确定是否启动二级引导，二级引导根据知识图谱挑选跟在阅绘本相关的话题进一步切入交互过程；如果一级引导和二级引导任一项发生超时引导则结束绘本阅读模式，进入通用语音交互模式，直到再次启动绘本阅读模式，并发送通知给管理员，如果用户进行的是针对性交互或者被引入到针对性交互，则根据绘本交互计时器的结果来判断是否根据用户属性提醒用户继续进行绘本阅读。

Images