CN110363161A - 一种辅助阅读的方法及系统 - Google Patents

Abstract

本发明提供了一种辅助阅读的方法及系统，其方法包括：通过双摄像装置获取用户特征图像，根据用户特征图像计算指示件的空间坐标；根据空间坐标识别指示件的动作；若指示件的动作符合预设动作，则获取书本空间点云；建立空间坐标与书本空间点云的对应关系，识别指示件的指示件位置；若指示件位置表明指示件与书本书页接触，则获取指示件位置对应的预设书本区域的书本信息；识别书本信息，获取相应的学习资料；将学习资料投影至指示件位置对应的目标投影区域。本发明通过双摄像装置获取用户特征图像，从而有效计算指示件的空间坐标，避免书本起拱造成的位置信息不准和指示件抬起时的位置飘移。

Description

一种辅助阅读的方法及系统

技术领域

本发明涉及智能装置技术领域，尤指一种辅助阅读的方法及系统。

背景技术

现在小学生阶段需要有大量的读物来增加自己的知识，这些读物依然大量使用纸质书本作为载体，这些书本上出现生僻的字词，难解的语句时，学生需要翻阅工具书或者通过电子辅助工具；翻阅工具书的效率无疑是最低的，因为需要寻找和找开另一本书，通过一系列规则寻找自己想要的解答，而且工具书相对比较呆板，即词典只有字词释义，无法应对所有问题；而目前的其它电子辅助工具也需要通过显示屏或者声音的交互，而显示屏的交互也会需要操作别一个机器，声音的交互也无法直接表达自己的疑惑，并且电子辅助工具等功能综合的智能终端容易吸引学生的注意力，降低学习效率。

因此需要提供一种辅助阅读的方法及系统，减少操作的步骤，提高解答的速度。

发明内容

本发明的目的是提供一种辅助阅读的方法及系统，实现通过双摄像装置获取用户特征图像，从而有效计算指示件的空间坐标，避免书本起拱造成的位置信息不准和指示件抬起时的位置飘移。

本发明提供的技术方案如下：

本发明提供一种辅助阅读的方法，包括：

通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

根据所述空间坐标识别所述指示件的动作；

若所述指示件的动作符合预设动作，则获取书本空间点云；

建立所述空间坐标与所述书本空间点云的对应关系，识别所述指示件的指示件位置；

若所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

识别所述书本信息，获取相应的学习资料；

将所述学习资料投影至所述指示件位置对应的目标投影区域。

进一步的，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标具体包括：

每隔预设周期通过双摄像装置获取用户特征图像；

根据上一用户特征图像计算指示件的上一空间坐标，根据当前用户特征图像计算指示件的当前空间坐标，所述用户特征图像包括所述上一用户特征图像和当前用户特征图像；

根据所述空间坐标识别所述指示件的动作还包括：

分析所述上一空间坐标和当前空间坐标，识别所述指示件的动作。

进一步的，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标具体包括：

通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，所述用户特征图像包括所述第一用户特征图像和第二用户特征图像；

根据所述第一用户特征图像、第二用户特征图像以及两者的视觉差计算所述指示件的空间坐标。

进一步的，识别所述书本信息，获取相应的学习资料之后，将所述学习资料投影至所述指示件位置对应的目标投影区域之前包括：

获取初始摄像区域与初始投影区域；

建立所述初始摄像区域与初始投影区域相对应的初始投影映射表；

若未检测到双摄像装置发生移动，则分析所述指示件位置在所述初始摄像区域中对应的目标区域；

结合所述初始投影映射表计算所述目标区域对应的目标投影区域；

若检测到双摄像装置发生移动，则获取当前摄像区域；

结合上一投影映射表对所述当前投影区域进行动态校正，得到当前投影映射表，所述上一投影映射表包括所述初始投影映射表；

分析所述指示件位置在所述当前摄像区域中对应的目标区域；

结合所述当前投影映射表计算所述目标区域对应的目标投影区域。

进一步的，若所述指示件的动作符合预设动作，则获取书本空间点云之后包括：

若所述指示件的动作符合预设动作，则开启语音识别；

获取用户语音信息；

解析所述语音信息，执行相应的操作。

本发明还提供一种辅助阅读的系统，包括：

分析模块，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

动作识别模块，根据所述分析模块得到的所述空间坐标识别所述指示件的动作；

点云获取模块，若所述动作识别模块识别出的所述指示件的动作符合预设动作，则获取书本空间点云；

位置识别模块，建立所述分析模块得到的所述空间坐标与所述点云获取模块获取的所述书本空间点云的对应关系，识别所述指示件的指示件位置；

书本获取模块，若所述位置识别模块得出的所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

书本识别模块，识别所述书本获取模块获取的所述书本信息，获取相应的学习资料；

投影模块，将所述书本识别模块获取的所述学习资料投影至所述指示件位置对应的目标投影区域。

进一步的，所述分析模块具体包括：

所述图像获取单元，每隔预设周期通过双摄像装置获取用户特征图像；

所述坐标计算单元，根据所述图像获取单元获取的上一用户特征图像计算指示件的上一空间坐标，根据所述图像获取单元获取的当前用户特征图像计算指示件的当前空间坐标，所述用户特征图像包括所述上一用户特征图像和当前用户特征图像；

所述动作识别模块具体包括：

动作识别单元，分析所述坐标计算单元计算的所述上一空间坐标和当前空间坐标，识别所述指示件的动作。

进一步的，所述分析模块还包括：

图像获取单元，通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，所述用户特征图像包括所述第一用户特征图像和第二用户特征图像；

坐标计算单元，根据所述图像获取单元获取的所述第一用户特征图像、第二用户特征图像以及两者的视觉差计算所述指示件的空间坐标。

进一步的，还包括：

区域获取模块，获取初始摄像区域与初始投影区域；

映射表建立模块，建立所述区域获取模块获取的所述初始摄像区域与初始投影区域相对应的初始投影映射表；

目标区域计算模块，若未检测到双摄像装置发生移动，则分析所述位置识别模块得出的所述指示件位置在所述区域获取模块获取的所述初始摄像区域中对应的目标区域；

投影区域计算模块，结合所述映射表建立模块得到的所述初始投影映射表，计算所述目标区域计算模块得到的所述目标区域对应的目标投影区域；

所述区域获取模块，若检测到双摄像装置发生移动，则获取当前摄像区域；

所述映射表建立模块，结合上一投影映射表对所述区域获取模块获取的所述当前投影区域进行动态校正，得到当前投影映射表，所述上一投影映射表包括所述初始投影映射表；

所述目标区域计算模块，分析所述位置识别模块得出的所述指示件位置在所述区域获取模块获取的所述当前摄像区域中对应的目标区域；

所述投影区域计算模块，结合所述映射表建立模块得到的所述当前投影映射表，计算所述目标区域计算模块得到的所述目标区域对应的目标投影区域。

进一步的，还包括：

语音开启模块，若所述动作识别模块识别出的所述指示件的动作符合预设动作，则开启语音识别；

语音获取模块，所述语音开启模块开启语音识别之后，获取用户语音信息；

执行模块，解析所述语音获取模块获取的所述语音信息，执行相应的操作。

通过本发明提供的一种辅助阅读的方法及系统，能够带来以下至少一种有益效果：

1、本发明中，通过双摄像头和可选的激光投影，可以完成对纸质书本阅读过程中的疑问解答和交互。

2、本发明中，通过双摄像头和可选的激光投影，可以完成对纸质书本阅读过程中的疑问解答和交互。

3、本发明中，通过激光投影，可以将交互内容更直观、形象地呈现在指尖书页上。

4、本发明中，预设周期通过双摄像装置获取用户特征图像，计算各个时刻用户的指示件的空间坐标，然后根据连续时刻的空间坐标识别指示件的运动轨迹，从而准确判定指示件的动作。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种辅助阅读的方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种辅助阅读的方法的一个实施例的流程图；

图2是本发明一种辅助阅读的方法的另一个实施例的流程图；

图3是本发明一种辅助阅读的方法的另一个实施例的流程图；

图4是本发明一种辅助阅读的方法的另一个实施例的流程图；

图5是本发明一种辅助阅读的系统的一个实施例的结构示意图；

图6是本发明一种辅助阅读的系统的另一个实施例的结构示意图。

附图标号说明：

100辅助阅读的系统

110分析模块111图像获取单元112坐标计算单元

120动作识别模块121动作识别单元

125语音开启模块126语音获取模块

127执行模块130点云获取模块

140位置识别模块150书本获取模块

160书本识别模块165区域获取模块

166映射表建立模块167目标区域计算模块

168投影区域计算模块170投影模块

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机、家教机或平板计算机之类的其他便携式设备。还应当理解的是，在某些实施例中，所述终端设备并非便携式通信设备，而是具有触摸敏感表面(例如：触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。

终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、网络创建应用程序、文字处理应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄像机应用程序、Web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

本发明的一个实施例，如图1所示，一种辅助阅读的方法，包括：

S100通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

具体的，机器人设置有双摄像装置，分别通过双摄像装置获取用户特征图像，由于双摄像装置的位置不同，两者所获取的用户特征图像具有视觉差，因此，根据用户特征图像能够计算得到用户的指示件的3D空间坐标。其中，用户的指示件为用户用来点击、指示书本位置的物体，可以是用户自己的手指，也可以是笔等物品，此处并不作具体限定。

S200根据所述空间坐标识别所述指示件的动作；

具体的，机器人持续计算各个时刻用户的指示件的控件坐标，因此从控件坐标的前后变化能够分析出指示件的移动轨迹，例如上下直线轨迹、左右直线轨迹、圆弧形轨迹以及其余不规则运动轨迹等，然后根据移动轨迹识别指示件的动作，例如点击动作、目标区域圈定动作(画圈、框选等动作)等。

S300若所述指示件的动作符合预设动作，则获取书本空间点云；

具体的，如果识别出的用户的指示件所做出的动作符合预设动作，预设动作例如点击动作、目标区域圈定动作(画圈、框选等动作)等，可以是系统默认的动作，也可以是用户根据自身的习惯进行设置，作为表明用户需要机器人辅助阅读的唤醒动作。

用户通过指示件做出预设动作之后，获取书本空间点云，也就是用户正在阅读的书籍资料的3D空间数据。通过双摄像装置获取包括用户正在阅读的书籍资料的学习图像，然后通过分析学习图像中的特征、边缘或者AI建立三维空间的点云。

其中，为了提高系统的处理速度，当用户开始阅读时，就建立书本空间点云，避免在识别用户的指示件的过程中还需要处理建立书本空间点云的相关数据，增加系统处理的负担。并且在多次识别分析用户的指示件的过程中使用相同的书本空间点云，只有当书本等资料的位置移动之后，才重新调整书本空间点云。

S400建立所述空间坐标与所述书本空间点云的对应关系，识别所述指示件的指示件位置；

具体的，建立用户的指示件的空间坐标与书本空间点云的对应关系，从而识别用户的指示件的指示件位置，也就是用户的指示件相对于用户正在阅读的书本资料的位置。

S500若所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

具体的，如果识别出的指示件位置表明指示件与书本书页接触，说明用户是通过指示件是在书籍资料上面进行动作，因此需要对相应的区域的资料进行解答或者推送相关资料。

同时，对指示件位置相对于书本空间点云进行进一步验证，也是为了避免对用户动作的误判。例如，预设动作为点击，当识别出指示件的动作为点击，则进一步通过指示件的空间坐标与书本空间点云的对应关系判定指示件是否点击在书本书页上，如果用户的指示件只是在空中进行临空的点击，则不必要进行后续的动作。

确定指示件是在书本书页上进行相应的操作之后，获取指示件位置对应的预设书本区域的书本信息。首先，可以根据预选动作的类型选择相应的预设书本区域，例如，当用户是在书本上进行点击，则将点击处一定范围的区域作为预设书本区域。当用户是在书本上画圈或者框选等动作，则将用户选择范围作为预设书本区域。其次，可以根据用户的指示件的指示件位置对应的书本资料的类型智能选择区域，例如，当用户在书本上选择的是图片，则选择该图片的整个区域作为预设书本区域，当用户在书本上选择的是题目类，则将整个题目所在的区域作为预设书本区域。

然后，通过双摄像装置获取书本上预设书本区域对应的书本信息，或者通过双摄像装置获取当前整个书页的书本信息，之后再提取预设书本区域的书本信息。

S600识别所述书本信息，获取相应的学习资料；

具体的，识别获取的书本信息，并对用户的意图进行识别，然后获取相应的学习资料。例如，如果识别出书本信息中包含的是一道题，用户可能无法解答，则在数据库中寻找匹配的题目，然后获取相应的题目答案及解析过程，或者同时获取相似类型的题目供用户做拓展训练。如果识别出是一段名词概念类的信息，用户可能没了解过或者了解不深入，则获取相应的解释说明，以及相关的应用。

S700将所述学习资料投影至所述指示件位置对应的目标投影区域。

具体的，由于无法准确判断用户的意图，获取的学习资料较多，又或者即便意图清晰，符合的学习资料较多，获取的学习资料相应地也比较多。可以由用户从学习资料中选择想要投影的具体资料，然后将其投影至相应的目标投影区域。

本实施例中，通过双摄像头和可选的激光投影，可以完成对纸质书本阅读过程中的疑问解答和交互。通过双目摄像头，可以有效的识别手指的信息，避免书本起拱造成的位置信息不准和手指抬起时的位置飘移，改善用户体验。另外，通过激光投影，可以将交互内容更直观、形象地呈现在指尖书页上。

在本发明另外的一个实施例中，机器人还设置有补光灯，在用户阅读学习的过程中，实时获取当前的环境亮度信息，当环境亮度信息低于预设警戒亮度信息值时，开启补光灯进行补光。对过暗的情景下进行照明补充，同时也有利于消除光明造成的手部阴影。

本发明的另一个实施例，是上述的实施例的优化实施例，如图2所示，包括：

S100通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

S110每隔预设周期通过双摄像装置获取用户特征图像；

S120根据上一用户特征图像计算指示件的上一空间坐标，根据当前用户特征图像计算指示件的当前空间坐标，所述用户特征图像包括所述上一用户特征图像和当前用户特征图像；

具体的，单一时刻的指示件的空间坐标并不能计算出指示件的运动轨迹，从而判定其动作。因此，每隔预设周期通过双摄像装置获取用户特征图像。根据上一用户特征图像计算指示件的上一空间坐标，根据当前用户特征图像计算指示件的当前空间坐标，用户特征图像包括上一用户特征图像和当前用户特征图像，上一用户特征图像和当前用户特征图像是相对而言，指的是相隔预设周期获取的相邻时间的用户特征图像。

S200根据所述空间坐标识别所述指示件的动作；

S210分析所述上一空间坐标和当前空间坐标，识别所述指示件的动作；

具体的，分析相邻时刻获取的上一空间坐标和当前空间坐标，比较其中的坐标变化，识别用户的指示件的运动轨迹，从而判断指示件的动作。此处所说的通过上一空间坐标和当前空间坐标识别指示件的动作，可以用来判别简单的类似点击类的动作，因此只是示例性的说明，对于比较复杂的轨迹、动作，例如画圈等，则需要更多的连续时刻的空间坐标进行分析。

S300若所述指示件的动作符合预设动作，则获取书本空间点云；

S400建立所述空间坐标与所述书本空间点云的对应关系，识别所述指示件的指示件位置；

S500若所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

S600识别所述书本信息，获取相应的学习资料；

S700将所述学习资料投影至所述指示件位置对应的目标投影区域。

本实施例中，预设周期通过双摄像装置获取用户特征图像，计算各个时刻用户的指示件的空间坐标，然后根据连续时刻的空间坐标识别指示件的运动轨迹，从而准确判定指示件的动作。

在本发明另外的一个实施例中，步骤S100还包括：S130通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，所述用户特征图像包括所述第一用户特征图像和第二用户特征图像；S140根据所述第一用户特征图像、第二用户特征图像以及两者的视觉差计算所述指示件的空间坐标。

通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，利用双摄像装置的位置的差别，获取的第一用户特征图像和第二用户特征图像具有视觉差，从而快速出其中指示件的空间坐标。示例性地进行说明，在实际使用过程中，指示件的处理结合第一用户特征图像通过2D的AI算法获得指示件在2维空间中的坐标，然后通过视差将另一个摄像头中获取的第二用户特征图像中的指示件通过特征匹配后获得该指示件的3D空间坐标。通过设置双摄像装置，可以有效的识别指示件的信息，避免书本起拱造成的位置信息不准和指示件指抬起时的位置飘移。

本发明的另一个实施例，是上述的实施例的优化实施例，如图3所示，包括：

S100通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

S200根据所述空间坐标识别所述指示件的动作；

S300若所述指示件的动作符合预设动作，则获取书本空间点云；

S400建立所述空间坐标与所述书本空间点云的对应关系，识别所述指示件的指示件位置；

S500若所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

S600识别所述书本信息，获取相应的学习资料；

S610获取初始摄像区域与初始投影区域；

S620建立所述初始摄像区域与初始投影区域相对应的初始投影映射表；

具体的，获取的学习资料想要投射的区域取决于用户的指示件位置，而指示件位置是通过双摄像装置获取的，因此实际上最初只能确定想要投射的区域在摄像区域中的位置，对于投影装置而言，还需要将其转换为在投影区域中的位置。

因此，在用户开始使用机器人时，就获取初始摄像区域与初始投影区域，然后建立两者初始摄像区域与初始投影区域，便于目标投影区域的确定。

S630若未检测到双摄像装置发生移动，则分析所述指示件位置在所述初始摄像区域中对应的目标区域；

S631结合所述初始投影映射表计算所述目标区域对应的目标投影区域；

具体的，为了便于存储以及调整双摄像装置的摄像范围，机器人上设置有类似转轴的装置，双摄像装置位置的调整会对投影区域造成影响，因此双摄像装置上设置有加速度计等检测装置检测其状态。

如果没有检测到双摄像装置发生了移动，则根据指示件位置分析在初始摄像区域中对应的目标区域，例如将指示件位置周围一定范围某一区域设定为目标区域。然后结合初始投影映射表计算目标区域对应的目标投影区域。

S640若检测到双摄像装置发生移动，则获取当前摄像区域；

S641结合上一投影映射表对所述当前投影区域进行动态校正，得到当前投影映射表，所述上一投影映射表包括所述初始投影映射表；

具体的，如果检测到双摄像装置发生了移动，则在双摄像装置发生移动之后就获取变化之后的当前摄像区域，并结合上一投影映射表对当前投影区域进行动态校正，得到当前投影映射表。其动态校正的算法是：结合加速度计获取顶部的水平状态，通过打出点状图(或网络图等其他规则平面图)，获取有效区域，通过调整点状图使成像成为矩形图，并确定矩形图的摄像头中的画面位置范围，并建立映射关系。

上一投影映射表指的是移动之前的投影映射表，包括了初始投影映射表，如果是第一次调整双摄像装置，则上一投影映射表为初始投影映射表。

S642分析所述指示件位置在所述当前摄像区域中对应的目标区域；

S643结合所述当前投影映射表计算所述目标区域对应的目标投影区域；

具体的，根据指示件位置分析在初始摄像区域中对应的目标区域，例如将指示件位置周围一定范围某一区域设定为目标区域。然后结合当前投影映射表计算目标区域对应的目标投影区域。

S700将所述学习资料投影至所述指示件位置对应的目标投影区域。

本实施例中，实时监测双摄像装置的转态，一旦监测到发生移动就进行动态校正，从而确保能够清晰地将获取的学习资料投影在有效的目标投影区域，提高用户使用体验。

本发明的另一个实施例，是上述的实施例的优化实施例，如图4所示，包括：

S100通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

S200根据所述空间坐标识别所述指示件的动作；

S300若所述指示件的动作符合预设动作，则获取书本空间点云；

S350若所述指示件的动作符合预设动作，则开启语音识别；

具体的，同时，可以将用户的指示件做出预设动作作为开启语音识别的唤醒动作，认为用户可能需要提供帮助，那么用户在通过指示件进行相应的动作时，就可以直接通过语音进行提问，避免还要另外设置唤醒词唤醒语音识别功能，操作繁琐，影响用户使用体验。

S360获取用户语音信息；

S370解析所述语音信息，执行相应的操作；

具体的，获取并解析用户语音信息，识别用户的意图，然后执行相应的操作。例如，对于同样的书本内容，不同时期用户的疑惑可能不同，前期可能是需要提供解决答案，后期可能需要提供相同类型或者更高难度的拓展训练，结合用户语音信息则有助于更加有针对性地获取学习资料。

S400建立所述空间坐标与所述书本空间点云的对应关系，识别所述指示件的指示件位置；

S500若所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

S600识别所述书本信息，获取相应的学习资料；

S700将所述学习资料投影至所述指示件位置对应的目标投影区域。

本实施例中，将预设动作同时作为语音识别模块的唤醒动作，无需另外设置唤醒词，导致需要时还要通过唤醒词唤醒。而是在辅助用户阅读时同时唤醒语音识别模块，简化唤醒步骤，提高用户使用体验。

本发明的一个实施例，如图5所示，一种辅助阅读的系统100，包括：

分析模块110，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

动作识别模块120，根据所述分析模块110得到的所述空间坐标识别所述指示件的动作；

点云获取模块130，若所述动作识别模块120识别出的所述指示件的动作符合预设动作，则获取书本空间点云；

位置识别模块140，建立所述分析模块110得到的所述空间坐标与所述点云获取模块130获取的所述书本空间点云的对应关系，识别所述指示件的指示件位置；

书本获取模块150，若所述位置识别模块140得出的所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

书本识别模块160，识别所述书本获取模块150获取的所述书本信息，获取相应的学习资料；

投影模块170，将所述书本识别模块160获取的所述学习资料投影至所述指示件位置对应的目标投影区域。

本实施例中的各个模块的具体操作方式在上述对应的方法实施例中已经进行了详细描述，因此不再一一进行赘述。

本发明的另一个实施例，是上述的实施例的优化实施例，如图6所示，包括：

分析模块110，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

所述分析模块110具体包括：

所述图像获取单元111，每隔预设周期通过双摄像装置获取用户特征图像；

所述坐标计算单元112，根据所述图像获取单元111获取的上一用户特征图像计算指示件的上一空间坐标，根据所述图像获取单元111获取的当前用户特征图像计算指示件的当前空间坐标，所述用户特征图像包括所述上一用户特征图像和当前用户特征图像；

所述分析模块110还包括：

图像获取单元111，通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，所述用户特征图像包括所述第一用户特征图像和第二用户特征图像；

坐标计算单元112，根据所述图像获取单元111获取的所述第一用户特征图像、第二用户特征图像以及两者的视觉差计算所述指示件的空间坐标；

动作识别模块120，根据所述分析模块110得到的所述空间坐标识别所述指示件的动作；

所述动作识别模块120具体包括：

动作识别单元121，分析所述坐标计算单元112计算的所述上一空间坐标和当前空间坐标，识别所述指示件的动作；

点云获取模块130，若所述动作识别模块120识别出的所述指示件的动作符合预设动作，则获取书本空间点云；

语音开启模块125，若所述动作识别模块120识别出的所述指示件的动作符合预设动作，则开启语音识别；

语音获取模块126，所述语音开启模块125开启语音识别之后，获取用户语音信息；

执行模块127，解析所述语音获取模块126获取的所述语音信息，执行相应的操作；

位置识别模块140，建立所述分析模块110得到的所述空间坐标与所述点云获取模块130获取的所述书本空间点云的对应关系，识别所述指示件的指示件位置；

书本获取模块150，若所述位置识别模块140得出的所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

书本识别模块160，识别所述书本获取模块150获取的所述书本信息，获取相应的学习资料；

区域获取模块165，获取初始摄像区域与初始投影区域；

映射表建立模块166，建立所述区域获取模块165获取的所述初始摄像区域与初始投影区域相对应的初始投影映射表；

目标区域计算模块167，若未检测到双摄像装置发生移动，则分析所述位置识别模块140得出的所述指示件位置在所述区域获取模块165获取的所述初始摄像区域中对应的目标区域；

投影区域计算模块168，结合所述映射表建立模块166得到的所述初始投影映射表，计算所述目标区域计算模块167得到的所述目标区域对应的目标投影区域；

所述区域获取模块165，若检测到双摄像装置发生移动，则获取当前摄像区域；

所述映射表建立模块166，结合上一投影映射表对所述区域获取模块165获取的所述当前投影区域进行动态校正，得到当前投影映射表，所述上一投影映射表包括所述初始投影映射表；

所述目标区域计算模块167，分析所述位置识别模块140得出的所述指示件位置在所述区域获取模块165获取的所述当前摄像区域中对应的目标区域；

所述投影区域计算模块168，结合所述映射表建立模块166得到的所述当前投影映射表，计算所述目标区域计算模块167得到的所述目标区域对应的目标投影区域

投影模块170，将所述书本识别模块160获取的所述学习资料投影至所述投影区域计算模块168得到的所述指示件位置对应的目标投影区域。

本实施例中的各个模块的具体操作方式在上述对应的方法实施例中已经进行了详细描述，因此不再一一进行赘述。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种辅助阅读的方法，其特征在于，包括：

通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

根据所述空间坐标识别所述指示件的动作；

若所述指示件的动作符合预设动作，则获取书本空间点云；

建立所述空间坐标与所述书本空间点云的对应关系，识别所述指示件的指示件位置；

若所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

识别所述书本信息，获取相应的学习资料；

将所述学习资料投影至所述指示件位置对应的目标投影区域。

2.根据权利要求1所述的辅助阅读的方法，其特征在于，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标具体包括：

每隔预设周期通过双摄像装置获取用户特征图像；

根据上一用户特征图像计算指示件的上一空间坐标，根据当前用户特征图像计算指示件的当前空间坐标，所述用户特征图像包括所述上一用户特征图像和当前用户特征图像；

根据所述空间坐标识别所述指示件的动作具体包括：

分析所述上一空间坐标和当前空间坐标，识别所述指示件的动作。

3.根据权利要求1或2所述的辅助阅读的方法，其特征在于，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标还包括：

通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，所述用户特征图像包括所述第一用户特征图像和第二用户特征图像；

根据所述第一用户特征图像、第二用户特征图像以及两者的视觉差计算所述指示件的空间坐标。

4.根据权利要求1所述的辅助阅读的方法，其特征在于，识别所述书本信息，获取相应的学习资料之后，将所述学习资料投影至所述指示件位置对应的目标投影区域之前包括：

获取初始摄像区域与初始投影区域；

建立所述初始摄像区域与初始投影区域相对应的初始投影映射表；

若未检测到双摄像装置发生移动，则分析所述指示件位置在所述初始摄像区域中对应的目标区域；

结合所述初始投影映射表计算所述目标区域对应的目标投影区域；

若检测到双摄像装置发生移动，则获取当前摄像区域；

结合上一投影映射表对所述当前投影区域进行动态校正，得到当前投影映射表，所述上一投影映射表包括所述初始投影映射表；

分析所述指示件位置在所述当前摄像区域中对应的目标区域；

结合所述当前投影映射表计算所述目标区域对应的目标投影区域。

5.根据权利要求1所述的辅助阅读的方法，其特征在于，若所述指示件的动作符合预设动作，则获取书本空间点云之后包括：

若所述指示件的动作符合预设动作，则开启语音识别；

获取用户语音信息；

解析所述语音信息，执行相应的操作。

6.一种辅助阅读的系统，其特征在于，包括：

分析模块，通过双摄像装置获取用户特征图像，根据所述用户特征图像计算指示件的空间坐标；

动作识别模块，根据所述分析模块得到的所述空间坐标识别所述指示件的动作；

点云获取模块，若所述动作识别模块识别出的所述指示件的动作符合预设动作，则获取书本空间点云；

位置识别模块，建立所述分析模块得到的所述空间坐标与所述点云获取模块获取的所述书本空间点云的对应关系，识别所述指示件的指示件位置；

书本获取模块，若所述位置识别模块得出的所述指示件位置表明所述指示件与书本书页接触，则获取所述指示件位置对应的预设书本区域的书本信息；

书本识别模块，识别所述书本获取模块获取的所述书本信息，获取相应的学习资料；

投影模块，将所述书本识别模块获取的所述学习资料投影至所述指示件位置对应的目标投影区域。

7.根据权利要求6所述的辅助阅读的系统，其特征在于，所述分析模块具体包括：

所述图像获取单元，每隔预设周期通过双摄像装置获取用户特征图像；

所述坐标计算单元，根据所述图像获取单元获取的上一用户特征图像计算指示件的上一空间坐标，根据所述图像获取单元获取的当前用户特征图像计算指示件的当前空间坐标，所述用户特征图像包括所述上一用户特征图像和当前用户特征图像；

所述动作识别模块具体包括：

动作识别单元，分析所述坐标计算单元计算的所述上一空间坐标和当前空间坐标，识别所述指示件的动作。

8.根据权利要求6或7所述的辅助阅读的系统，其特征在于，所述分析模块还包括：

所述图像获取单元，通过双摄像装置分别获取第一用户特征图像和第二用户特征图像，所述用户特征图像包括所述第一用户特征图像和第二用户特征图像；

所述坐标计算单元，根据所述图像获取单元获取的所述第一用户特征图像、第二用户特征图像以及两者的视觉差计算所述指示件的空间坐标。

9.根据权利要求6所述的辅助阅读的系统，其特征在于，还包括：

区域获取模块，获取初始摄像区域与初始投影区域；

映射表建立模块，建立所述区域获取模块获取的所述初始摄像区域与初始投影区域相对应的初始投影映射表；

目标区域计算模块，若未检测到双摄像装置发生移动，则分析所述位置识别模块得出的所述指示件位置在所述区域获取模块获取的所述初始摄像区域中对应的目标区域；

投影区域计算模块，结合所述映射表建立模块得到的所述初始投影映射表，计算所述目标区域计算模块得到的所述目标区域对应的目标投影区域；

所述区域获取模块，若检测到双摄像装置发生移动，则获取当前摄像区域；

所述映射表建立模块，结合上一投影映射表对所述区域获取模块获取的所述当前投影区域进行动态校正，得到当前投影映射表，所述上一投影映射表包括所述初始投影映射表；

所述目标区域计算模块，分析所述位置识别模块得出的所述指示件位置在所述区域获取模块获取的所述当前摄像区域中对应的目标区域；

所述投影区域计算模块，结合所述映射表建立模块得到的所述当前投影映射表，计算所述目标区域计算模块得到的所述目标区域对应的目标投影区域。

10.根据权利要求6所述的辅助阅读的系统，其特征在于，还包括：

语音开启模块，若所述动作识别模块识别出的所述指示件的动作符合预设动作，则开启语音识别；

语音获取模块，所述语音开启模块开启语音识别之后，获取用户语音信息；

执行模块，解析所述语音获取模块获取的所述语音信息，执行相应的操作。