CN111062242A - 交互式信息提示方法及系统 - Google Patents

Abstract

本申请实施例提供一种交互式信息提示方法及系统，通过智能穿戴设备实时探测智能书本当前页上电子射频芯片的射频信号，并通过人脸特征识别装置实时跟踪拍摄阅读者的人脸特征图像，并识别出人脸特征图像对应的交互式特征信息，在此基础上交互式信息提示设备根据射频信号和交互式特征信息获取阅读者正在阅读的书本内容以及阅读者阅读书本内容时的阅读特征信息，并根据阅读特征信息将正在阅读的书本内容进行对应的交互式信息提示。如此，能够大幅降低额外的操作成本，并自动结合学生实际的阅读特征与学生进行信息交互，从而无需繁琐操作和多重引导，极大提升学习效果。

Description

交互式信息提示方法及系统

技术领域

本申请涉及信息交互领域，具体而言，涉及一种交互式信息提示方法及系统。

背景技术

目前，学生在完成作业时，时常会遇到各种各样的问题。当学生遇到各种问题时，一方面，很多家长碍于工作压力，根本无法辅导孩子完成课后作业。另一方面，即使家长有时间辅导孩子学习，也会经常遇到一时半会难以解决的问题。

随着科学技术的发展，市面上出现了多种学习用的电子设备，帮助学生解决书本中遇到的问题。例如，利用电子设备对着书本拍摄照片后，搜索出某些问题的答案，又例如，利用点读笔在书本中的问题区域进行点读以获取该区域的内容。然而，上述方案均需要额外的操作成本，且脱离了实际场景，导致学生在使用时，需要繁琐操作和多重引导，导致学习效果较差。

发明内容

有鉴于此，本申请实施例的目的在于提供一种交互式信息提示方法及系统，能够大幅降低额外的操作成本，并自动结合学生实际的阅读特征与学生进行信息交互，从而无需繁琐操作和多重引导，极大提升学习效果。

根据本申请实施例的一个方面，提供一种交互式信息提示方法，应用于交互式信息提示系统，所述交互式信息提示系统包括智能穿戴设备、人脸特征识别装置、智能书本以及与所述智能穿戴设备和所述人脸特征识别装置通信连接的交互式信息提示设备，其中，所述人脸特征识别装置设置在所述智能书本的监测区域中，所述智能书本中的每一页上设置有电子射频芯片，所述智能穿戴设备用于与所述电子射频芯片进行信号交互，所述方法包括：

所述智能穿戴设备实时探测所述智能书本当前页上电子射频芯片的射频信号，并将所述射频信号发送给所述交互式信息提示设备；

所述人脸特征识别装置实时跟踪拍摄阅读者的人脸特征图像，并识别出所述人脸特征图像对应的交互式特征信息，将所述交互式特征信息发送给所述交互式信息提示设备；

所述交互式信息提示设备根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

在一种可能的示例中，所述交互式信息提示设备中存储有所述智能书本每页的书本页标识和对应的书本内容，所述交互式信息提示设备根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示的步骤，包括：

所述交互式信息提示设备对所述射频信号进行信号解析，获得所述射频信号对应的书本页标识；

根据所述交互式特征信息获取所述阅读者阅读所述书本内容时的阅读特征信息；

根据所述书本页标识查找所述智能书本当前页的书本内容，并根据所述阅读特征信息在所述当前页的书本内容中提取所述阅读者正在阅读的书本内容；

根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

在一种可能的示例中，所述交互式特征信息包括脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化，所述根据所述交互式特征信息获取所述阅读者阅读所述书本内容时的阅读特征信息的步骤，包括；

结合所述阅读者的瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者浏览当前界面内容的注视点变化，并结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者阅读所述书本内容时的阅读特征信息，其中，所述注视点变化包括注视点转移速度和注视点转移范围，所述阅读特征信息包括阅读情绪特征、阅读注视程度特征、阅读区域特征。

在一种可能的示例中，所述方法还包括：

预先建立脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化与阅读情绪特征、阅读注视程度特征、阅读区域特征之间的对应关系；

所述结合所述阅读者的瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者浏览当前界面内容的注视点变化，并结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者阅读所述书本内容时的阅读特征信息的步骤，包括：

结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化从所述对应关系中获取所述阅读者的实时情绪状态、实时注视程度状态、实时阅读区域状态；

根据所述阅读者的实时情绪状态、实时注视程度状态、实时阅读区域状态分析所述阅读者的阅读情绪特征、阅读注视程度特征、阅读区域特征。

在一种可能的示例中，所述根据所述阅读特征信息在所述当前页的书本内容中提取所述阅读者正在阅读的书本内容，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示的步骤，包括：

根据所述阅读特征信息获得所述阅读者的眼球注视位置，并以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径或眼球观察行数和眼球观察字数得到阅读区域；

从所述当前页中解析所述阅读区域对应所示的书本内容作为所述阅读者正在阅读的书本内容；

根据所述阅读特征信息获得所述阅读者的阅读情绪特征以及阅读注视程度特征，并获取所述阅读情绪特征以及阅读注视程度特征对应的交互式信息提示策略；

根据所述交互式信息提示策略将所述正在阅读的书本内容进行对应的交互式信息提示。

在一种可能的示例中，所述根据所述交互式信息提示策略将所述正在阅读的书本内容进行对应的交互式信息提示的步骤，包括：

根据所述交互式信息提示策略确定交互式信息提示的语调策略、语速策略、语音风格策略、交互模式策略以及信息推荐策略，其中，所述交互模式策略包括语音播报交互模式、语音播报VR交互模式、语音播报AR交互模式；

根据所述语调策略、语速策略、语音风格策略、交互模式策略将所述正在阅读的书本内容进行对应的交互式信息提示，并根据所述信息推荐策略将所述正在阅读的书本内容对应的推荐提示信息进行对应的交互式信息提示。

在一种可能的示例中，所述方法还包括：

所述智能穿戴设备实时获取阅读者的运动信息，并将所述运动信息发送给所述交互式信息提示设备；

所述交互式信息提示设备根据所述运动信息判断所述阅读者是否处于活动状态；

在判定所述阅读者处于活动状态时，停止所述正在阅读的书本内容对应的交互式信息提示；以及

所述智能穿戴设备实时获取所述阅读者的语音信息，并将所述语音信息发送给所述交互式信息提示设备；

所述交互式信息提示设备根据所述语音信息判断所述阅读者是否处于交谈状态；

在判定所述阅读者处于交谈状态时，停止所述正在阅读的书本内容对应的交互式信息提示。

在一种可能的示例中，所述人脸特征识别装置实时跟踪拍摄阅读者的人脸特征图像的步骤，包括：

获取任意拍摄时刻的目标人脸特征图像；

判断所述目标人脸特征图像中的所述阅读者是否发生遮挡；

若所述目标人脸特征图像中的所述阅读者发生遮挡，则根据所述阅读者的先验知识推算所述阅读者的被遮挡部分的特征；

根据所述目标人脸特征图像和所述被遮挡部分的特征并结合目标跟踪算法预测所述阅读者的下一个人脸位置；

根据所述下一个人脸位置调整所述人脸特征识别装置的跟踪拍摄角度。

在一种可能的示例中，所述根据所述阅读者的先验知识推算所述阅读者的被遮挡部分的特征的步骤包括：

根据所述阅读者的先验知识设置特征推算模型；

获取所述目标人脸特征图像中所述阅读者的特征信息；

利用所述特征推算模型，并根据所述特征信息推算所述阅读者的所述被遮挡部分的特征。

根据本申请的另一方面，还提供一种交互式信息提示系统，所述交互式信息提示系统包括智能穿戴设备、人脸特征识别装置、智能书本以及与所述智能穿戴设备和所述人脸特征识别装置通信连接的交互式信息提示设备，其中，所述人脸特征识别装置设置在所述智能书本的监测区域中，所述智能书本中的每一页上设置有电子射频芯片，所述智能穿戴设备用于与所述电子射频芯片进行信号交互；

所述智能穿戴设备，用于实时探测所述智能书本当前页上电子射频芯片的射频信号，并将所述射频信号发送给所述交互式信息提示设备；

所述人脸特征识别装置，用于实时跟踪拍摄阅读者的人脸特征图像，并识别出所述人脸特征图像对应的交互式特征信息，将所述交互式特征信息发送给所述交互式信息提示设备；

所述交互式信息提示设备，用于根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

基于上述任一方面，本申请实施例通过智能穿戴设备实时探测智能书本当前页上电子射频芯片的射频信号，并通过人脸特征识别装置实时跟踪拍摄阅读者的人脸特征图像，并识别出人脸特征图像对应的交互式特征信息，在此基础上交互式信息提示设备根据射频信号和交互式特征信息获取阅读者正在阅读的书本内容以及阅读者阅读书本内容时的阅读特征信息，并根据阅读特征信息将正在阅读的书本内容进行对应的交互式信息提示。如此，能够大幅降低额外的操作成本，并自动结合学生实际的阅读特征与学生进行信息交互，从而无需繁琐操作和多重引导，极大提升学习效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出了本申请实施例提供的交互式信息提示系统的交互示意图；

图2示出了本申请实施例提供的用于实现图1中所示的智能穿戴设备、人脸特征识别装置、智能书本、交互式信息提示设备的电子设备的组件示意图；

图3示出了本申请实施例提供的交互式信息提示方法的流程示意图之一；

图4示出了图3中所示的步骤S120包括的各个子步骤的流程示意图；

图5示出了图3中所示的步骤S130包括的各个子步骤的流程示意图；

图6示出了本申请实施例提供的交互式信息提示方法的流程示意图之二；

图7示出了本申请实施例提供的交互式信息提示方法的流程示意图之三。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，示出了本申请实施例提供的交互式信息提示系统1 的交互示意图，该交互式信息提示系统1可包括智能穿戴设备10、人脸特征识别装置20、智能书本40以及与所述智能穿戴设备10和所述人脸特征识别装置20通信连接的交互式信息提示设备30。其中，所述人脸特征识别装置20设置在所述智能书本40的监测区域中，所述智能书本40中的每一页上设置有电子射频芯片45，所述智能穿戴设备10与所述电子射频芯片45进行信号交互。

在本申请实施例中，所述智能穿戴设备10可以为两边设置有表带的智能穿戴设备10，以实现固定。所述智能穿戴设备10中可以设置有麦克风模块、加速度传感器和射频检测模块，所述射频检测模块可以用于检测所述电子射频芯片45发出的射频信号，所述麦克风可以用于获取阅读者发出的语音信息，所述加速度传感器可以用于获取阅读者的运动信息。当然，以上仅为示例，在更多的实施方式中，所述智能穿戴设备10还可以设置更多的模块组件。

图2示出了用于实现图1中所示的包括智能穿戴设备10、人脸特征识别装置20、智能书本40以及交互式信息提示设备30的电子设备10 的示例性组件示意图。电子设备10可以包括一个或多个处理器104，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。电子设备10还可以包括任何存储介质106，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储介质106可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储介质都可以使用任何技术来存储信息。进一步地，任何存储介质可以提供信息的易失性或非易失性保留。进一步地，任何存储介质可以表示电子设备10的固定或可移除部件。在一种情况下，当处理器104执行被存储在任何存储介质或存储介质的组合中的相关联的指令时，电子设备10可以执行相关联指令的任一操作。电子设备10还包括用于与任何存储介质交互的一个或多个驱动单元108，诸如硬盘驱动单元、光盘驱动单元等。

电子设备10还包括输入/输出110(I/O)，其用于接收各种输入(经由输入单元112)和用于提供各种输出(经由输出单元114))。一个具体输出机构可以包括呈现设备116和相关联的图形用户接口(GUI)118。电子设备10还可以包括一个或多个网络接口120，其用于经由一个或多个通信单元122与其他设备交换数据。一个或多个通信总线124将上文所描述的部件耦合在一起。

通信单元122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信单元122可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称电子设备10等的任何组合。

请参阅图3，示出了本申请实施例提供的交互式信息提示方法的一种流程示意图，所述方法由图1中所示的交互式信息提示系统1 执行。所应说明的是，本申请实施例提供的交互式信息提示方法不以图3及以下所述的具体顺序为限制，该交互式信息提示方法的详细步骤介绍如下：

步骤S110，所述智能穿戴设备10实时探测所述智能书本40当前页上电子射频芯片的射频信号，并将所述射频信号发送给所述交互式信息提示设备30。

在本申请实施例中，所述电子射频芯片45可用于发射相应的射频信号，所述智能书本40上每一页上的电子射频芯片45发出的射频信号可用于表征该页的标识，也即页码。

本实施例中，当阅读者(学生)翻开所述智能书本40上时，由于智能书本40一般都是从右往左翻开的，在一种实施方式中，所述智能书本40左边的书页都设置有所述电子射频芯片45，而该智能穿戴设备10戴在阅读者的左手上，由此，所述智能穿戴设备10只需要实时探测智能书本40当前页上电子射频芯片45的射频信号，并将所述射频信号发送给交互式信息提示设备30，后续便可以判断当前智能书本40翻到的页码。

步骤S120，所述人脸特征识别装置20实时跟踪拍摄阅读者的人脸特征图像，并识别出所述人脸特征图像对应的交互式特征信息，将所述交互式特征信息发送给所述交互式信息提示设备30。

在本申请实施例中，所述人脸特征识别装置20可以用于实时跟踪拍摄阅读者的人脸特征图像，例如可以跟踪阅读者的脸部的各个部位(眼球等)的动作，从而实施拍摄人脸特征图像。可选地，所述人脸特征识别装置20可包括红外光源和眼球跟踪摄像头，可用来捕捉阅读者的人脸特征图像信息，以获取阅读者的眼球动作，如移动、凝视、旋转、瞳孔放大等。其中，眼球跟踪摄像头为红外摄像头，可以是一个可感知红外波长的可见光源摄像头。红外光源可以是一个或者多个红外发光二极管或者红外激光二极管，用于照亮阅读者的眼球，以方便捕捉阅读者的眼球的瞳孔位置。

作为一种可能的示例，请结合参阅图4，该步骤S120可以通过如下子步骤实现：

子步骤S121，获取任意拍摄时刻的目标人脸特征图像。

子步骤S122，判断所述目标人脸特征图像中的所述阅读者是否发生遮挡。

子步骤S123，若所述目标人脸特征图像中的所述阅读者发生遮挡，则根据所述阅读者的先验知识推算所述阅读者的被遮挡部分的特征。

子步骤S124，根据所述目标人脸特征图像和所述被遮挡部分的特征并结合目标跟踪算法预测所述阅读者的下一个人脸位置。

子步骤S125，根据所述下一个人脸位置调整所述人脸特征识别装置20的跟踪拍摄角度。

其中，在步骤S123中，可以根据所述阅读者的先验知识设置特征推算模型，然后获取所述目标人脸特征图像中所述阅读者的特征信息，并利用所述特征推算模型，并根据所述特征信息推算所述阅读者的所述被遮挡部分的特征。

如此，通过本步骤，可以实时跟踪采集到的拍摄阅读者的人脸特征图像，并且可以提高所述阅读者发生遮挡时的跟踪准确性。

步骤S130，所述交互式信息提示设备30根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

作为一种可能的示例，请结合参阅图5，该步骤S130可以通过如下子步骤实现：

子步骤S131，所述交互式信息提示设备30对所述射频信号进行信号解析，获得所述射频信号对应的书本页标识。

子步骤S132，根据所述交互式特征信息获取所述阅读者阅读所述书本内容时的阅读特征信息。

可选地，所述交互式特征信息包括脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化。在此基础上，本子步骤可以结合所述阅读者的瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者浏览当前界面内容的注视点变化，并结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者阅读所述书本内容时的阅读特征信息，其中，所述注视点变化包括注视点转移速度和注视点转移范围，所述阅读特征信息包括阅读情绪特征、阅读注视程度特征、阅读区域特征。

详细地，所述交互式信息提示设备30可以预先建立脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化与阅读情绪特征、阅读注视程度特征、阅读区域特征之间的对应关系，然后结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化从所述对应关系中获取所述阅读者的实时情绪状态、实时注视程度状态、实时阅读区域状态，并根据所述阅读者的实时情绪状态、实时注视程度状态、实时阅读区域状态分析所述阅读者的阅读情绪特征、阅读注视程度特征、阅读区域特征。

子步骤S133，根据所述书本页标识查找所述智能书本40当前页的书本内容，并根据所述阅读特征信息在所述当前页的书本内容中提取所述阅读者正在阅读的书本内容。

子步骤S134，根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

可选地，所述交互式信息提示设备30可以根据所述阅读特征信息获得所述阅读者的眼球注视位置，并以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径或眼球观察行数和眼球观察字数得到阅读区域。例如，可实时对所述人脸特征图像中阅读者的眼球瞳孔在所述当前页上的坐标位置，以获得所述阅读者的眼球注视位置。接着，以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径(例如 3cm)或眼球观察行数(例如3行)和眼球观察字数(例如20字) 得到阅读区域，从所述当前页中解析所述阅读区域对应所示的书本内容作为所述阅读者正在阅读的书本内容。其中，所述预设的眼球观察半径或眼球观察行数和眼球观察字数可以根据实际需求预先进行设置，在此不作限制。

在此基础上，可以根据所述阅读特征信息获得所述阅读者的阅读情绪特征以及阅读注视程度特征，并获取所述阅读情绪特征以及阅读注视程度特征对应的交互式信息提示策略，然后根据所述交互式信息提示策略将所述正在阅读的书本内容进行对应的交互式信息提示。

例如，可以根据所述交互式信息提示策略确定交互式信息提示的语调策略、语速策略、语音风格策略、交互模式策略以及信息推荐策略，其中，所述交互模式策略包括语音播报交互模式、语音播报VR 交互模式、语音播报AR交互模式。

然后，根据所述语调策略、语速策略、语音风格策略、交互模式策略将所述正在阅读的书本内容进行对应的交互式信息提示，并根据所述信息推荐策略将所述正在阅读的书本内容对应的推荐提示信息进行对应的交互式信息提示。

其中，所述信息推荐策略可以包括与信息推荐模型，通过该信息推荐模型可以预测出当前所述正在阅读的书本内容所对应的人工智能推荐信息，例如扩展知识点，扩展问题等。

由此，本实施例提供的交互式信息提示方法，能够大幅降低额外的操作成本，并自动结合学生实际的阅读特征与学生进行信息交互，从而无需繁琐操作和多重引导，极大提升学习效果。

可选地，在上述信息交互过程中，请结合参阅图6，本实施例提供的交互式信息提示方法还可以包括如下步骤：

步骤S140，所述智能穿戴设备10实时获取阅读者的运动信息，并将所述运动信息发送给所述交互式信息提示设备30。

步骤S150，所述交互式信息提示设备30根据所述运动信息判断所述阅读者是否处于活动状态。

步骤S160，在判定所述阅读者处于活动状态时，停止所述正在阅读的书本内容对应的交互式信息提示。

本实施例中，所述智能穿戴设备10还可以实时获取阅读者的运动信息，例如可通过加速度传感器获取阅读者的运动信息，并将所述运动信息发送给所述交互式信息提示设备30。所述交互式信息提示设备30根据所述运动信息判断所述阅读者是否处于活动状态，在判定所述阅读者处于活动状态时，停止所述正在阅读的书本内容对应的交互式信息提示。由此，可以避免阅读者在做其它事情时错过本次阅读学习。

可选地，在上述语音播报过程中，请结合参阅图7，本实施例提供的交互式信息提示方法还可以包括如下步骤：

步骤S170，所述智能穿戴设备10实时获取所述阅读者的语音信息，并将所述语音信息发送给所述交互式信息提示设备30。

步骤S180，所述交互式信息提示设备30根据所述语音信息判断所述阅读者是否处于交谈状态。

步骤S190，在判定所述阅读者处于交谈状态时，停止所述正在阅读的书本内容对应的交互式信息提示。

本实施例中，所述智能穿戴设备10还可以实时获取所述阅读者的语音信息，例如可通过麦克风模块获取所述阅读者的语音信息，并将所述语音信息发送给所述交互式信息提示设备30。所述交互式信息提示设备30根据所述语音信息判断所述阅读者是否处于交谈状态，在判定所述阅读者处于交谈状态时，停止所述正在阅读的书本内容对应的交互式信息提示。由此，可以避免阅读者在交谈时错过本次阅读学习。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如， DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种交互式信息提示方法，其特征在于，应用于交互式信息提示系统，所述交互式信息提示系统包括智能穿戴设备、人脸特征识别装置、智能书本以及与所述智能穿戴设备和所述人脸特征识别装置通信连接的交互式信息提示设备，其中，所述人脸特征识别装置设置在所述智能书本的监测区域中，所述智能书本中的每一页上设置有电子射频芯片，所述智能穿戴设备用于与所述电子射频芯片进行信号交互，所述方法包括：

所述智能穿戴设备实时探测所述智能书本当前页上电子射频芯片的射频信号，并将所述射频信号发送给所述交互式信息提示设备；

所述人脸特征识别装置实时跟踪拍摄阅读者的人脸特征图像，并识别出所述人脸特征图像对应的交互式特征信息，将所述交互式特征信息发送给所述交互式信息提示设备；

所述交互式信息提示设备根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

2.根据权利要求1所述的交互式信息提示方法，其特征在于，所述交互式信息提示设备中存储有所述智能书本每页的书本页标识和对应的书本内容，所述交互式信息提示设备根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示的步骤，包括：

所述交互式信息提示设备对所述射频信号进行信号解析，获得所述射频信号对应的书本页标识；

根据所述交互式特征信息获取所述阅读者阅读所述书本内容时的阅读特征信息；

根据所述书本页标识查找所述智能书本当前页的书本内容，并根据所述阅读特征信息在所述当前页的书本内容中提取所述阅读者正在阅读的书本内容；

根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

3.根据权利要求2所述的交互式信息提示方法，其特征在于，所述交互式特征信息包括脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化，所述根据所述交互式特征信息获取所述阅读者阅读所述书本内容时的阅读特征信息的步骤，包括；

结合所述阅读者的瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者浏览当前界面内容的注视点变化，并结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者阅读所述书本内容时的阅读特征信息，其中，所述注视点变化包括注视点转移速度和注视点转移范围，所述阅读特征信息包括阅读情绪特征、阅读注视程度特征、阅读区域特征。

4.根据权利要求3所述的交互式信息提示方法，其特征在于，所述方法还包括：

预先建立脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化与阅读情绪特征、阅读注视程度特征、阅读区域特征之间的对应关系；

所述结合所述阅读者的瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者浏览当前界面内容的注视点变化，并结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化分析所述阅读者阅读所述书本内容时的阅读特征信息的步骤，包括：

结合所述阅读者的脸部肌肉变化、眉宇舒张情况、嘴巴状态变化、鼻子形态变化、瞳孔变化、眼球转动变化以及眼睛睁闭变化从所述对应关系中获取所述阅读者的实时情绪状态、实时注视程度状态、实时阅读区域状态；

根据所述阅读者的实时情绪状态、实时注视程度状态、实时阅读区域状态分析所述阅读者的阅读情绪特征、阅读注视程度特征、阅读区域特征。

5.根据权利要求2所述的交互式信息提示方法，其特征在于，所述根据所述阅读特征信息在所述当前页的书本内容中提取所述阅读者正在阅读的书本内容，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示的步骤，包括：

根据所述阅读特征信息获得所述阅读者的眼球注视位置，并以所述眼球注视位置为圆心或中心，结合预设的眼球观察半径或眼球观察行数和眼球观察字数得到阅读区域；

从所述当前页中解析所述阅读区域对应所示的书本内容作为所述阅读者正在阅读的书本内容；

根据所述阅读特征信息获得所述阅读者的阅读情绪特征以及阅读注视程度特征，并获取所述阅读情绪特征以及阅读注视程度特征对应的交互式信息提示策略；

根据所述交互式信息提示策略将所述正在阅读的书本内容进行对应的交互式信息提示。

6.根据权利要求1所述的交互式信息提示方法，其特征在于，所述根据所述交互式信息提示策略将所述正在阅读的书本内容进行对应的交互式信息提示的步骤，包括：

根据所述交互式信息提示策略确定交互式信息提示的语调策略、语速策略、语音风格策略、交互模式策略以及信息推荐策略，其中，所述交互模式策略包括语音播报交互模式、语音播报VR交互模式、语音播报AR交互模式；

根据所述语调策略、语速策略、语音风格策略、交互模式策略将所述正在阅读的书本内容进行对应的交互式信息提示，并根据所述信息推荐策略将所述正在阅读的书本内容对应的推荐提示信息进行对应的交互式信息提示。

7.根据权利要求1所述的交互式信息提示方法，其特征在于，所述方法还包括：

所述智能穿戴设备实时获取阅读者的运动信息，并将所述运动信息发送给所述交互式信息提示设备；

所述交互式信息提示设备根据所述运动信息判断所述阅读者是否处于活动状态；

在判定所述阅读者处于活动状态时，停止所述正在阅读的书本内容对应的交互式信息提示；以及

所述智能穿戴设备实时获取所述阅读者的语音信息，并将所述语音信息发送给所述交互式信息提示设备；

所述交互式信息提示设备根据所述语音信息判断所述阅读者是否处于交谈状态；

在判定所述阅读者处于交谈状态时，停止所述正在阅读的书本内容对应的交互式信息提示。

8.根据权利要求1-7中任意一项所述的交互式信息提示方法，其特征在于，所述人脸特征识别装置实时跟踪拍摄阅读者的人脸特征图像的步骤，包括：

获取任意拍摄时刻的目标人脸特征图像；

判断所述目标人脸特征图像中的所述阅读者是否发生遮挡；

若所述目标人脸特征图像中的所述阅读者发生遮挡，则根据所述阅读者的先验知识推算所述阅读者的被遮挡部分的特征；

根据所述目标人脸特征图像和所述被遮挡部分的特征并结合目标跟踪算法预测所述阅读者的下一个人脸位置；

根据所述下一个人脸位置调整所述人脸特征识别装置的跟踪拍摄角度。

9.根据权利要求8所述的交互式信息提示方法，其特征在于，所述根据所述阅读者的先验知识推算所述阅读者的被遮挡部分的特征的步骤包括：

根据所述阅读者的先验知识设置特征推算模型；

获取所述目标人脸特征图像中所述阅读者的特征信息；

利用所述特征推算模型，并根据所述特征信息推算所述阅读者的所述被遮挡部分的特征。

10.一种交互式信息提示系统，其特征在于，所述交互式信息提示系统包括智能穿戴设备、人脸特征识别装置、智能书本以及与所述智能穿戴设备和所述人脸特征识别装置通信连接的交互式信息提示设备，其中，所述人脸特征识别装置设置在所述智能书本的监测区域中，所述智能书本中的每一页上设置有电子射频芯片，所述智能穿戴设备用于与所述电子射频芯片进行信号交互；

所述智能穿戴设备，用于实时探测所述智能书本当前页上电子射频芯片的射频信号，并将所述射频信号发送给所述交互式信息提示设备；

所述人脸特征识别装置，用于实时跟踪拍摄阅读者的人脸特征图像，并识别出所述人脸特征图像对应的交互式特征信息，将所述交互式特征信息发送给所述交互式信息提示设备；

所述交互式信息提示设备，用于根据所述射频信号和所述交互式特征信息获取所述阅读者正在阅读的书本内容以及所述阅读者阅读所述书本内容时的阅读特征信息，并根据所述阅读特征信息将所述正在阅读的书本内容进行对应的交互式信息提示。

Images