CN115601825A - 一种基于视觉定位技术评价阅读能力的方法 - Google Patents

Abstract

本发明公开了一种基于视觉定位技术评价阅读能力的方法，用于阅读能力评价，包括以下步骤：获取待阅读文章的语义结构；对待评价者的瞳孔进行精准定位；获取所述待评价者的瞳孔在所述待阅读文章上的实时阅读轨迹；基于实时所述阅读轨迹和所述待阅读文章的语义结构评价待评价者的阅读能力，并可视化显示。本发明可以在展现出阅读者具体的阅读过程，评判有无回读、反复读等不良习惯，以及阅读有无抓住文章表达的重点。

Description

一种基于视觉定位技术评价阅读能力的方法

技术领域

本发明涉及视觉定位技术领域，特别涉及一种基于视觉定位技术评价阅读能力的方法。

背景技术

在语言教学过程中，写作能力可通过作文写作的方式进行可视化评判；普通话表达可通过录音回放的方式进行评判，但阅读能力目前只能通过对比阅读者阅读后相同文章花费的时间、阅读者阅读后对文章内容的获取情况进行评判，不能对阅读者实时阅读过程中的阅读能力进行可视化评价。

因此，本领域技术人员亟需设计一种方法，以检测阅读者在阅读时的实时阅读能力水平。

发明内容

本发明的目的在于，提供一种基于视觉定位技术评价阅读能力的方法，解决上述现有技术中存在的技术问题。

为了实现上述目的，本发明提供了如下技术方案：

一种基于视觉定位技术评价阅读能力的方法，包括以下步骤：

获取待阅读文章的语义结构；

对待评价者的瞳孔进行精准定位；

获取所述待评价者的瞳孔在所述待阅读文章上的实时阅读轨迹；

基于实时所述阅读轨迹和所述待阅读文章的语义结构评价待评价者的阅读能力，并可视化显示。

优选的，获取待阅读文章的语义结构包括以下步骤：

对样本文章进行分词预处理，得到分词结果；

基于文法表达方式对所述分词结果进行句子成分划分，得到划分结果；

遍历分词结果，并与所述划分结果相结合构建文本词典；

基于所述文本词典和采样方法获取样本文章语义结构；

构建基于神经网络的语义结构提取模型，以所述样本文章语义结构作为训练样本集对所述语义结构提取模型进行训练，直至所述语义结构提取模型的提取准确率满足评价需求；

将所述待阅读文章输入所述语义结构提取模型，获取所述待阅读文章的语义结构。

优选的，对待评价者的瞳孔进行精准定位包括以下步骤：

确定所述待评价者的眼球图片；

对所述眼球图片进行形状筛选，获取具有完整瞳孔的图片；

对所述具有完整瞳孔的图片进行中心点获取处理得到瞳孔中心位置；

将所述瞳孔中心位置与所述待评价者的实时瞳孔图像相匹配，获取实时瞳孔中心的精准定位。

优选的，获取瞳孔中心位置包括以下步骤：

通过多个全局阈值分割所述具有完整瞳孔的图片，获得多个第一阈值分割图像；

根据所述第一阈值分割图像获取虹膜连通域；

基于所述虹膜连通域确定所瞳孔的最小外接矩形；

根据椭圆拟合算法对所述最小外接矩形处理，获得精准瞳孔图片；

对所述精准瞳孔图片内瞳孔形状进行数学处理得到所述瞳孔中心位置。

优选的，所述可视化显示的内容包括：

待评价者阅读所述待阅读文章时，对未阅读的内容进行后台高亮显示；

待评价者阅读所述待阅读文章时，实时阅读时间；

待评价者阅读所述待阅读文章时，阅读固定段落文章所使用的时间；

待评价者阅读所述待阅读文章时，待评价者眼球位移速率；

待评价者阅读所述待阅读文章时，重复阅读的内容；

待评价者阅读所述待阅读文章时，无意阅读时间和状态。

优选的，所述无意阅读时间和状态的获取步骤：

获取所述待评价者的瞳孔阅读时的实时摇摆频率；

基于时间对所述实时摇摆频率进行采样，获取平均摇摆频率；

获取所述瞳孔实时阅读轨迹，当检测到所述瞳孔实时阅读轨迹停止变化，且所述实时摇摆频率低于所述平均摇摆频率，则无意阅读时间开始计算，此时待评价者处于无意阅读状态。

优选的，基于所述虹膜连通域确定所述瞳孔的最小外接矩形的步骤包括：

对所述第一阈值分割图像进行灰度处理，获取所述虹膜连通域内边缘曲线图片；

以虹膜连通域边缘内曲线为基准，建立内切矩形；

所述内切矩形为所述瞳孔的最小外接矩形。

经由上述的内容可知与现有技术相比，本发明的有益效果在于：

本发明通过信息学技术结合阅读能力理论评价方法，展现出阅读者具体的阅读过程，评判有无回读、反复读等不良习惯，以及阅读有无抓住文章表达的重点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明瞳孔原始图像。

图3为本发明瞳孔阈值分割图像。

图4为本发明瞳孔连通域分割图像。

图5为本发明瞳孔形状筛选图像。

图6为本发明瞳孔最小外接矩形图像。

图7为本发明瞳孔椭圆拟合图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本实施例公开了一种基于视觉定位技术评价阅读能力的方法，包括以下步骤：

获取待阅读文章的语义结构；

对待评价者的瞳孔进行精准定位；

获取待评价者的瞳孔在待阅读文章上的实时阅读轨迹；

基于实时阅读轨迹和待阅读文章的语义结构评价待评价者的阅读能力，并可视化显示。

具体地：

在本实施例中获取待阅读文章的语义结构包括以下步骤：

对样本文章进行分词预处理，得到分词结果；基于文法表达方式对分词结果进行句子成分划分，得到划分结果；遍历分词结果，并与划分结果相结合构建文本词典；基于文本词典和采样方法获取样本文章语义结构；

构建基于神经网络的语义结构提取模型，以样本文章语义结构作为训练样本集对语义结构提取模型进行训练，直至语义结构提取模型的提取准确率满足评价需求；将待阅读文章输入语义结构提取模型，获取待阅读文章的语义结构。例如在本实施例中，所阅读语句为：他非常诚恳地征求在场的每一位专家的意见；其中语义结构为：他-征求-意见。所阅读文章为一段说明文，按照本实施例的语义结构获取方法可通过获取连续词以获取本段内容的语义结构，如：首先-其次-再次-最后。

其中在本实施例中语义结构提取模型的网络结构为：输入层-卷积层-池化层-卷积层-输出层。

另外在本实施例中在待评价者阅读之前还包括依据文章的语义机构对阅读屏幕进行区域划分。

其中，对待评价者的瞳孔进行精准定位包括以下步骤：

确定待评价者的眼球图片；

对眼球图片进行形状筛选，获取具有完整瞳孔的图片；

对具有完整瞳孔的图片进行中心点获取处理得到瞳孔中心位置；

将瞳孔中心位置与待评价者的实时瞳孔图像相匹配，获取实时瞳孔中心的精准定位。

其中，获取瞳孔中心位置包括以下步骤：

通过多个全局阈值分割具有完整瞳孔的图片，获得多个第一阈值分割图像；

根据第一阈值分割图像获取虹膜连通域；

基于虹膜连通域确定所瞳孔的最小外接矩形；

根据椭圆拟合算法对最小外接矩形处理，获得精准瞳孔图片；

对精准瞳孔图片内瞳孔形状进行数学处理得到瞳孔中心位置。

优选的，可视化显示的内容包括：

待评价者阅读待阅读文章时，对未阅读的内容进行后台高亮显示；

待评价者阅读待阅读文章时，实时阅读时间；

待评价者阅读待阅读文章时，阅读固定段落文章所使用的时间；

待评价者阅读待阅读文章时，待评价者眼球位移速率；

待评价者阅读待阅读文章时，重复阅读的内容；

待评价者阅读待阅读文章时，无意阅读时间和状态。

优选的，无意阅读时间和状态的获取步骤：

获取待评价者的瞳孔阅读时的实时摇摆频率；

基于时间对实时摇摆频率进行采样，获取平均摇摆频率；

获取瞳孔实时阅读轨迹，当检测到瞳孔实时阅读轨迹停止变化，且实时摇摆频率低于平均摇摆频率，则无意阅读时间开始计算，此时待评价者处于无意阅读状态。

优选的，基于虹膜连通域确定瞳孔的最小外接矩形的步骤包括：

对第一阈值分割图像进行灰度处理，获取虹膜连通域内边缘曲线图片；

以虹膜连通域边缘内曲线为基准，建立内切矩形；

内切矩形为瞳孔的最小外接矩形。

更进一步，在具体实施时，待评价者通过佩戴与本实施例相适配的且与屏幕耦联的视觉定位器获取瞳孔的实时运动轨迹。在开始评价前，待阅读者在屏幕上选定所要阅读的文章，瞳孔聚焦与屏幕左上角，以屏幕的翻页动作作为触发信号开始进行评价。

其中在本实施例中对于瞳孔精准定位所使用的算法和参数包括：

图像处理采用Halcon处理；

阈值分割算子：threshold(Image:Region:MinGray,MaxGray:)；具体参数：threshold(Image,Region1,0,5)；

连通域分割算子：connection(Region:ConnectedRegions::)；具体参数：connection(Region1,ConnectedRegions)；

形状筛选：elect_shape(Regions:SelectedRegions:Features,Operation,Min,Max:)；

具体参数：elect_shape(ConnectedRegions,SelectedRegions,'area','and',150,99999)；

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于视觉定位技术评价阅读能力的方法，其特征在于，包括以下步骤：

获取待阅读文章的语义结构；

对待评价者的瞳孔进行精准定位；

获取所述待评价者的瞳孔在所述待阅读文章上的实时阅读轨迹；

基于实时所述阅读轨迹和所述待阅读文章的语义结构评价待评价者的阅读能力，并可视化显示。

2.根据权利要求1所述的一种视觉定位技术评价阅读能力的方法，其特征在于，获取待阅读文章的语义结构包括以下步骤：

对样本文章进行分词预处理，得到分词结果；

基于文法表达方式对所述分词结果进行句子成分划分，得到划分结果；

遍历分词结果，并与所述划分结果相结合构建文本词典；

基于所述文本词典和采样方法获取样本文章语义结构；

构建基于神经网络的语义结构提取模型，以所述样本文章语义结构作为训练样本集对所述语义结构提取模型进行训练，直至所述语义结构提取模型的提取准确率满足评价需求；

将所述待阅读文章输入所述语义结构提取模型，获取所述待阅读文章的语义结构。

3.根据权利要求1所述的一种视觉定位技术评价阅读能力的方法，其特征在于，对待评价者的瞳孔进行精准定位包括以下步骤：

确定所述待评价者的眼球图片；

对所述眼球图片进行形状筛选，获取具有完整瞳孔的图片；

对所述具有完整瞳孔的图片进行中心点获取处理得到瞳孔中心位置；

将所述瞳孔中心位置与所述待评价者的实时瞳孔图像相匹配，获取实时瞳孔中心的精准定位。

4.根据权利要求1所述的一种视觉定位技术评价阅读能力的方法，其特征在于，获取瞳孔中心位置包括以下步骤：

通过多个全局阈值分割所述具有完整瞳孔的图片，获得多个第一阈值分割图像；

根据所述第一阈值分割图像获取虹膜连通域；

基于所述虹膜连通域确定所瞳孔的最小外接矩形；

根据椭圆拟合算法对所述最小外接矩形处理，获得精准瞳孔图片；

对所述精准瞳孔图片内瞳孔形状进行数学处理得到所述瞳孔中心位置。

5.根据权利要求1所述的一种视觉定位技术评价阅读能力的方法，其特征在于，所述可视化显示的内容包括：

待评价者阅读所述待阅读文章时，对未阅读的内容进行后台高亮显示；

待评价者阅读所述待阅读文章时，实时阅读时间；

待评价者阅读所述待阅读文章时，阅读固定段落文章所使用的时间；

待评价者阅读所述待阅读文章时，待评价者眼球位移速率；

待评价者阅读所述待阅读文章时，重复阅读的内容；

待评价者阅读所述待阅读文章时，无意阅读时间和状态。

6.根据权利要求5所述的一种视觉定位技术评价阅读能力的方法，其特征在于，所述无意阅读时间和状态的获取步骤：

获取所述待评价者的瞳孔阅读时的实时摇摆频率；

基于时间对所述实时摇摆频率进行采样，获取平均摇摆频率；

获取所述瞳孔实时阅读轨迹，当检测到所述瞳孔实时阅读轨迹停止变化，且所述实时摇摆频率低于所述平均摇摆频率，则无意阅读时间开始计算，此时待评价者处于无意阅读状态。

7.根据权利要求4所述的一种视觉定位技术评价阅读能力的方法，其特征在于，基于所述虹膜连通域确定所述瞳孔的最小外接矩形的步骤包括：

对所述第一阈值分割图像进行灰度处理，获取所述虹膜连通域内边缘曲线图片；

以虹膜连通域边缘内曲线为基准，建立内切矩形；

所述内切矩形为所述瞳孔的最小外接矩形。

Images