CN111857355A - 一种阅读状态监测反馈系统 - Google Patents

Abstract

本发明提供一种阅读状态监测反馈系统，包括：前端设备，所述前端设备包括显示屏、边框和监测反馈模块组，所述边框为中空结构，所述显示屏固定设置于中空结构形成的框架内部；监测反馈模块组包括图像采集模块，用于采集图像信息；视线跟踪模块，用于对阅读者的视线进行跟踪；身份识别模块，用于对阅读者进行身份识别；本发明通过采集儿童阅读时的视线进行跟踪，结合采集身份验证信息进行身份验证，利用针对儿童阅读的专业技术手段可以有效地检测出儿童的阅读状态，可以将视线跟踪、疲劳检测、身份识别、数据分析和智能互动于一体，对阅读与儿童之间的互动关系进行了完整、全面的记录，为后续的分析和处理，提供了数据基础。

Description

一种阅读状态监测反馈系统

技术领域

本发明涉及电子领域，尤其涉及一种阅读状态监测反馈系统。

背景技术

在现实生活中，人们常用事情的结果作为衡量事情发生质量的标准，比如用考试成绩衡量学生对知识的掌握程度，用生产量来衡量员工的绩效等等。诚然，这种衡量方式简单直接，但效果并不是最佳的。事情在发生的过程中会产生许许多多的过程信息，这些信息记录了事情中的人、物和环境的作用关系，是解释事情结果的最全面完整的证据链条，也是提升事情发生质量的重要依据。因此，对事情发生过程的人、物、环境状态监测是非常有必要的。特别是对于学生而言，由于诸多娱乐方式的影响，导致学生阅读的情况极易收到干扰，养成一个良好的阅读习惯，在儿童阶段的培养尤其重要。

但是，目前，还鲜有针对儿童阅读的专业技术手段可以有效地检测出儿童的阅读状态，需要一种新的将主体与客体间的互动信息进行记录、分析、转化和展示的智能软硬件结合体，以解决上述问题。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种阅读状态监测反馈系统，以解决上述技术问题。

本发明提供的阅读状态监测反馈系统，包括：前端设备，所述前端设备包括显示屏、边框和监测反馈模块组，所述边框为中空结构，所述显示屏固定设置于中空结构形成的框架内部；

所述监测反馈模块组包括

图像采集模块，用于采集图像信息；

视线跟踪模块，用于对阅读者的视线进行跟踪；

身份识别模块，用于对阅读者进行身份识别。

可选的，所述监测反馈模块组还包括处理模块，所述视线跟踪模块根据采集到的眼睛图像，获取眼动向量，根据所述眼动向量生成跟踪结果，并将结果传输至处理模块。

可选的，所述监测反馈模块组还包括疲劳检测模块，所述疲劳检测模块根据采集的图像中获取的疲劳参数，判断阅读者的疲劳状态，所述疲劳参数包括眨眼频率、眼睛张开大小、瞳孔大小、人脸俯仰角和嘴巴开合类型。

可选的，所述疲劳检测模块设置有眨眼频率阈值，

当采集的阅读者的眨眼频率未达到预设的眨眼频率阈值时，所述疲劳检测模块判定阅读者未处于疲劳状态，并继续检测眨眼频率；

当采集的阅读者的眨眼频率达到预设的眨眼频率阈值时，所述疲劳检测模块对阅读者进行疲劳检测，判断阅读者的疲劳状态。

可选的，所述疲劳检测模块通过检测阅读者对应的瞳孔大小和眼睛张开的大小，以及对人脸俯仰角的偏移和嘴巴开合类型的变化，综合判定阅读者的疲劳状态。

可选的，当阅读者通过验证并开始进行阅读时，处理模块对阅读者的状态进行初始化，根据初始化后采集的图像信息，确定当前阅读者的初始化疲劳参数，根据实时检测的疲劳参数与初始化疲劳参数进行对比，获取疲劳参数的变化量。

可选的，根据所述身份识别模块的识别结果，记录每个阅读者的身份信息，以及与身份信息对应的阅读者的阅读内容和对应的疲劳状态，根据视线跟踪和疲劳检测的历史数据，对阅读者的状态进行预测。

可选的，所述身份识别模块包括：人脸识别单元、虹膜识别单元、巩膜识别单元、指纹识别单元和声纹识别单元中的一种或几种的组合。

可选的，所述监测反馈模块组还包括跟踪控制模块，用于根据采集的阅读者的跟踪参数控制选择追踪方式，所述追踪方式包括明瞳追踪和暗瞳追踪，所述跟踪参数包括人物参数和环境参数，所述任务参数至少包括阅读者的年龄、人种信息，所述环境参数至少包括外部环境光线参数。

可选的，所述视线跟踪模块包括三维眼球模型，用于根据瞳孔和角膜反射点位置，获取所述眼动向量，进而获取眼睛在空间中的位置和视线位置。

本发明的有益效果：本发明中的阅读状态监测反馈系统，通过采集儿童阅读时的视线进行跟踪，结合采集身份验证信息进行身份验证，利用针对儿童阅读的专业技术手段可以有效地检测出儿童的阅读状态，可以将视线跟踪、疲劳检测、身份识别、数据分析和智能互动于一体，对阅读与儿童之间的互动关系进行了完整、全面的记录，为后续的分析和处理，提供了数据基础。

附图说明

图1是本发明实施例中阅读状态监测反馈系统的结构示意图。

图2是本发明实施例中阅读状态监测反馈系统的侧面视角的结构示意图。

附图标记说明：

1-显示屏

2-边框

3-图像采集模块

4-处理模块

5-固定角夹

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1所示，本实施例中的阅读状态监测反馈系统，包括：前端设备，所述前端设备包括显示屏1、边框2和监测反馈模块组，边框2为中空结构，显示屏1固定设置于中空结构形成的框架内部；

监测反馈模块组包括

图像采集模块3，用于采集图像信息；

视线跟踪模块，用于对阅读者的视线进行跟踪；

身份识别模块，用于对阅读者进行身份识别。

在本实施例中，本图像采集模块3可以提供前端图像采集，为后续的多模态身份认证、主体的视线追踪、阅读者的疲劳状态检测和状态报警提示等功能提供数据基础，通过图像采集模块，可满足人脸和眼睛图像采集，根据不同的采集需求可采用可见光摄像机、近红外摄像机等，根据不同的应用场景可采用枪机、球机、微型摄像机、纽扣摄像机等，根据视线跟踪单元的不同光源配置和追踪需求可设置不同数量的采集终端。可选的，在图像采集后还将进行滤波和转换处理，以便有效去除环境光对人脸和眼睛特征的干扰，处理后的图像传输到身份识别模块、视线跟踪模块和疲劳检测模块。

在本实施例中，监测反馈模块组还包括处理模3，视线跟踪模块根据采集到的眼睛图像，获取眼动向量，根据所述眼动向量生成跟踪结果，并将结果传输至处理模块。通过视线跟踪模块对儿童的眼睛活动情况进行实时跟踪，检测儿童眼睛的关注位置、关注时长和绘本内容的关注顺序，并与教辅人员预先保存的关注数据进行比较，评估儿童的关注偏离程度，例如当偏离达到一定阈值，则将对关注不足的内容进行智能提示，引导儿童正确阅读绘本，提示内容显示在屏幕上。优选地，还可以对儿童长时间观看绘本或处于疲劳状态的情况给出报警提示。也可以将上述的所有过程数据进行保存，以便后续进行数据分析，经过数据分析后，可以当儿童完成绘本阅读时，输出该儿童阅读绘本的数据分析报告，并显示在触控端的屏幕上。通过视线跟踪模块可以对采集到的眼睛图像进行特征分析，确定图像中瞳孔和角膜反射点位置，通过两者的角度计算眼动的向量，结合内置的三维眼球模型精确地计算出眼睛在空间中的位置和视线位置，显示在屏幕的对应位置上，并将位置数据实时传输到处理模块。

在本实施例中，通过视线跟踪模块还可以根据阅读者的年龄、人种、外部光线环境等不同因素切换使用不同的光源配置完成瞳孔角膜反射追踪，可选择的追踪方式包括明瞳追踪(光源与成像设备在同一条光学路径上，使瞳孔出现发亮的效果)、暗瞳追踪(光源放置在成像设备较远的位置，在不同一条光学路径上，产生瞳孔比虹膜暗的效果)和明瞳/暗瞳双模式追踪。追踪模式切换功能使该模块始终保持最高精确度进行追踪。

在本实施例中，疲劳检测模块根据采集的图像中获取的疲劳参数，判断阅读者的疲劳状态，所述疲劳参数包括眨眼频率、眼睛张开大小、瞳孔大小、人脸俯仰角和嘴巴开合类型。在本实施例中，疲劳检测模块设置有眨眼频率阈值，当采集的阅读者的眨眼频率未达到预设的眨眼频率阈值时，疲劳检测模块判定阅读者未处于疲劳状态，并继续检测眨眼频率；当采集的阅读者的眨眼频率达到预设的眨眼频率阈值时，疲劳检测模块对阅读者进行疲劳检测，判断阅读者的疲劳状态。本实施例中的眨眼频率、眼睛张开大小和瞳孔大小是视觉疲劳的有效度量标准。疲劳检测模块首先通过根据图像采集模块提供的人脸图像数据对主体进行状态初始化，处理模块对阅读者的状态进行初始化，根据初始化后采集的图像信息，确定当前阅读者的初始化疲劳参数，根据实时检测的疲劳参数与初始化疲劳参数进行对比，获取疲劳参数的变化量。再根据确定的初始化眨眼频率、瞳孔和眼睛大小，人脸俯仰角和嘴巴开合类型。初始化完成后，统计眼睛开闭次数，判断眨眼频率是否达到一定的阈值范围，如果达到阈值则说明主体可能处于疲劳状态，进而检测对应的瞳孔大小和眼睛张开的大小，并对人脸俯仰角的偏移和嘴巴开合类型的变化进行检测分析，综合判定主体的疲劳状态。

在本实施例中，身份识别模块可以采用多种身份识别方式，可以在当阅读者身份发生变更时发出提示信息。为了科学管控儿童阅读绘本的情况，并对阅读方式进行智能化指导，教辅人员可以预先对目标绘本需要被关注内容的位置、关注时长和关注顺序进行预录入，并存储录制内容。当儿童观看目标绘本时，通过人脸识别单元、虹膜识别单元、巩膜识别单元、指纹识别单元和声纹识别单元等身份验证方式首先对儿童的身份进行确认，确认后可以将该儿童的历史阅读数据装载到系统内存中，在阅读绘本期间，若检测到儿童身份发生变更，系统将给出报警提示。

在本实施例中，视线跟踪单元可以确定图像中瞳孔和角膜反射点位置，通过两者的角度计算眼动的向量，结合内置的三维眼球模型精确地计算出眼睛在空间中的位置和视线位置，显示在屏幕的对应位置上，并将位置数据实时传输到后台，进行数据分析，后台可以根据阅读者的年龄、人种、外部光线环境等不同因素切换使用不同的光源配置完成瞳孔角膜反射追踪，可选择的追踪方式包括明瞳追踪、暗瞳追踪和明瞳/暗瞳双模式追踪。

在本实施例中，由于眨眼频率、眼睛张开大小和瞳孔大小是视觉疲劳的有效度量标准，通过统计模块来统计眨眼频率，眼睛开闭次数，相应的处理模块可以将视线跟踪单元采集的瞳孔尺寸、眨眼频率和眼睛开度分别与预设的阈值进行比较，来判断眨眼频率是否达到一定的阈值范围，如果达到阈值则说明阅读者可能处于疲劳状态，进而检测对应的瞳孔大小和眼睛张开的大小，优选地，可以对人脸俯仰角的偏移和嘴巴开合类型的变化进行检测分析，综合判定阅读者的疲劳状态。

在本实施例中，身份识别模块可以包括：人脸识别单元、虹膜识别单元、巩膜识别单元、指纹识别单元和声纹识别单元。通过身份识别模块将主体的各类生物特征与模块中存储的目前特征库进行比对，实现身份的可靠认证，并将处理结果传输到处理模块，为数据分析和屏幕控制提供数据和决策支持，从而实现智能人员管理和报警提示。

在本实施例中，根据身份识别模块的识别结果，记录每个阅读者的身份信息，以及与身份信息对应的阅读者的阅读内容和对应的疲劳状态，根据视线跟踪和疲劳检测的历史数据，对阅读者的状态进行预测。通过身份识别数据对系统中已有的视线跟踪和疲劳检测历史数据进行检索，并结合最新输入的相关数据对主体的状态进行预测，可以随时向智能互动模块输出对应指令。可选的，也可以通过实时记录主客体间的互动数据，将数据进行深度学习训练，得到主客体间的互动关系模型，再通过训练后的互动关系模型实现针对同类客体进行主体互动行为的预测和提示。

在本实施例中，可选的，边框2设置有用于贴合纸质绘本的固定角夹5，固定角夹5可以为一个或多个，本实施例中通过边框的四角处设置的固定角夹来贴合纸质绘本。显示屏1为柔性显示屏，边框2为柔性边框，可选的，显示屏1也可以作为触控端，显示屏1为可随意弯曲柔性屏幕，如石墨烯柔性屏等，屏幕呈透明状，透过屏幕客体清晰可见，且屏幕通过接口模块与处理模块相连。柔性边框是可随意弯曲和定型的材料制成中空结构，可放置采集端、触控端与处理端的连接线。

在本实施例中，处理模块4可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可选的，本实施例中的处理模块采用微控制单元(Microcontroller Unit；MCU)，主要负责处理本实施例中的所有计算任务。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种阅读状态监测反馈系统，其特征在于，包括：前端设备，所述前端设备包括显示屏、边框和监测反馈模块组，所述边框为中空结构，所述显示屏固定设置于中空结构形成的框架内部；

所述监测反馈模块组包括

图像采集模块，用于采集图像信息；

视线跟踪模块，用于对阅读者的视线进行跟踪；

身份识别模块，用于对阅读者进行身份识别。

2.根据权利要求1所述的阅读状态监测反馈系统，其特征在于，所述监测反馈模块组还包括处理模块，所述视线跟踪模块根据采集到的眼睛图像，获取眼动向量，根据所述眼动向量生成跟踪结果，并将结果传输至处理模块。

3.根据权利要求2所述的阅读状态监测反馈系统，其特征在于，所述监测反馈模块组还包括疲劳检测模块，所述疲劳检测模块根据采集的图像中获取的疲劳参数，判断阅读者的疲劳状态，所述疲劳参数包括眨眼频率、眼睛张开大小、瞳孔大小、人脸俯仰角和嘴巴开合类型。

4.根据权利要求3所述的阅读状态监测反馈系统，其特征在于，所述疲劳检测模块设置有眨眼频率阈值，

当采集的阅读者的眨眼频率未达到预设的眨眼频率阈值时，所述疲劳检测模块判定阅读者未处于疲劳状态，并继续检测眨眼频率；

当采集的阅读者的眨眼频率达到预设的眨眼频率阈值时，所述疲劳检测模块对阅读者进行疲劳检测，判断阅读者的疲劳状态。

5.根据权利要求4所述的阅读状态监测反馈系统，其特征在于，所述疲劳检测模块通过检测阅读者对应的瞳孔大小和眼睛张开的大小，以及对人脸俯仰角的偏移和嘴巴开合类型的变化，综合判定阅读者的疲劳状态。

6.根据权利要求5所述的阅读状态监测反馈系统，其特征在于，当阅读者通过验证并开始进行阅读时，处理模块对阅读者的状态进行初始化，根据初始化后采集的图像信息，确定当前阅读者的初始化疲劳参数，根据实时检测的疲劳参数与初始化疲劳参数进行对比，获取疲劳参数的变化量。

7.根据权利要求4所述的阅读状态监测反馈系统，其特征在于，根据所述身份识别模块的识别结果，记录每个阅读者的身份信息，以及与身份信息对应的阅读者的阅读内容和对应的疲劳状态，根据视线跟踪和疲劳检测的历史数据，对阅读者的状态进行预测。

8.根据权利要求1所述的阅读状态监测反馈系统，其特征在于，所述身份识别模块包括：人脸识别单元、虹膜识别单元、巩膜识别单元、指纹识别单元和声纹识别单元中的一种或几种的组合。

9.根据权利要求2所述的阅读状态监测反馈系统，其特征在于，所述监测反馈模块组还包括跟踪控制模块，用于根据采集的阅读者的跟踪参数控制选择追踪方式，所述追踪方式包括明瞳追踪和暗瞳追踪，所述跟踪参数包括人物参数和环境参数，所述任务参数至少包括阅读者的年龄、人种信息，所述环境参数至少包括外部环境光线参数。

10.根据权利要求2所述的阅读状态监测反馈系统，其特征在于，所述视线跟踪模块包括三维眼球模型，用于根据瞳孔和角膜反射点位置，获取所述眼动向量，进而获取眼睛在空间中的位置和视线位置。

Images