CN107929007A - 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 - Google Patents

Abstract

本发明涉及一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法，包括眼动追踪模块、评估模块、智能训练模块和存储模块，首先实时采集被测者的头部红外图像，由眼动跟踪模块确定被测者的眼动轨迹；注意力及视觉能力评估模块展示评估用视觉刺激，并根据获取的眼动轨迹，计算出用户的注意力及视觉能力分数；根据该分数，使用该发明公开的注意力和视觉能力智能训练方法，由训练模块对被测者进行针对性眼动训练，该模块可以根据用户的眼动轨迹实时调整训练方案，达到对用户注意力及视觉能力的训练效果。用户完成训练后，其评估和训练结果保存在存储模块。用户再次进行训练时，无需再次进行评估。

Description

一种利用眼动追踪和智能评估技术的注意力和视觉能力训练 系统及方法

技术领域

本发明涉及科学仪器领域，具体为一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法。

背景技术

统计发现，接近30％的儿童具有不同程度的注意力缺失和学习障碍，可能导致学习成绩乃至身心发展受到极大影响。注意力是一种导致局部刺激的意识水平提高的知觉的选择性的集中。研究表明，较差的视觉信息处理能力是导致注意力缺失和学习障碍的重要因素。视觉信息处理能力包括注意力和视线跟随、视线扫视等视觉能力。视线跟随能力指眼睛跟随运动目标的能力，视线扫视能力体现为视广度，即快速发现目标的能力。

传统的注意力检测包括问卷类，比如韦克斯勒儿童智力量表和脑电检测类，比如EEG，fMRI等。视线跟随和视线扫视能力的测试一般可以在专业的医疗机构完成。注意力训练方法包括脑电反馈，自我注意力监测(self attention monitor)和感统训练等。

眼动追踪技术，一般指基于计算机图像处理技术，通过分析眼部一个或多个特征或对眼部进行建模而得出注视点的技术。特别是本发明涉及的基于遥感式眼动追踪技术，被测者不需要佩戴摄像机、光源等外设，可以直接估算出被测者在计算机屏幕上的注视点。眼动追踪技术已经被广泛的应用于心理学和认知科学。

视觉注意的一个主流模型是“焦点”模型，即当处于新环境时，人类大脑的自然行为机制是首先扫视周围，然后关注到最显著或对自己最重要的部分，大脑通过这个从扫视到专注的过程来保持注意力。

专利CN106843500A(申请号：201710110188.9)公开了一种基于眼动追踪技术的认知水平评估系统及其方法，该专利公开的系统包括认知任务呈现模块、红外眼动追踪组件、眼动数据分析模块、测试结果反馈模块和刺激标记引导模块；通过人眼视觉动态分析方法，评定被测者的注意力分数、视觉搜索分数、记忆分数、计算分数或阅读分数，并将结果发送至所述测试结果反馈模块用于向被测者反馈其测试结果，刺激标记引导模块用于引导被测者的眼动加工。该专利部分提到了注意力评估和训练的内容，但该专利公开的系统和方法有如下缺点：首先，该系统在计算注意力分数时，根据被测者的注视点位置与视觉刺激的位置之间的距离作为一项分数，但商用遥测眼动追踪系统均存在1度视角以内的误差(受试者距离屏幕600mm时该误差约为10mm以内)，所以眼动追踪设备估算出的注视点位置与视觉刺激的位置之间的距离是实际注视位置与视觉刺激间的距离加上误差值的和，由于误差值无法实时获得，所以实际注视位置与视觉刺激间的距离也无法实时获得，因此该参数缺乏准确性；其次，该系统关注被测者的认知水平，仅能给出被测者每项的认知分数和总分数，无法根据眼动模式的分析，给出被测者注意力障碍的模式；最后，由于缺少注意力障碍分类的模式分析，而仅仅给出了认知水平分数，因此该系统无法给出针对性强的眼动训练方法；特别是虽然该专利标题包含“训练”，专利内容也提到“引导式训练”的文字，但全文并未给出可实施的训练方法。

发明内容

本发明的技术解决问题：克服现有技术不足，提供一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法，根据获取的被测者眼动模式和轨迹，实时给出被测者注意力和视觉能力，对不同被测者给出针对性的眼动引导式训练，同时可实时进行数据交互，实时评估注意力训练效果并给出针对性的训练方法。

本发明是通过以下技术方案实现的：利用眼动追踪和智能评估技术的注意力和视觉能力训练系统包括：

眼动追踪模块，包括一个计算机或芯片上系统，一个或多个摄像头，一个或多个近红外光源，通过建立追踪瞳孔和角膜反射构成的向量估算用户视线，对用户的每一帧画面生成带有时间戳的用户视线在屏幕上的二维坐标样本；该模块还可以通过不同的事件检测算法(event detection algorithm)将眼动样本数据区分成注视(fixation)和眼跳(saccade)；带有时间戳的二维坐标样本数据或眼动事件数据实时传递给评估模块和智能训练模块，以完成对用户的注意力及视觉能力的评估和智能训练。

评估模块，包含注意力评估模块，视跟随能力评估模块和视广度评估模块。注意力评估模块在计算机屏幕上展示一个或多个事先定义好兴趣区域(area of interest)的视觉刺激(visual stimuli)，并给出用户针对此视觉刺激需要完成某些语音指示，用户需要按照指示完成任务。眼动追踪模块得到用户在该任务中的实时的注视点坐标，评估模块通过评估方程计算出用户的注意力分数，并传递给智能训练模块。视跟随能力评估模块在屏幕上展示预设运动轨迹和速度的移动目标，并给出用户语音提示需要用视线跟随该目标移动，眼动追踪模块得到用户在该任务中的实时注视点坐标，评估模块根据此坐标计算出用户是否完成了跟随任务。视跟随能力评估模块包含若干种预设目标运动轨迹和速度，该模块计算出用户对每个目标的完成度分数，并将该分数传递给智能训练模块。视广度评估模块在屏幕的不同位置依次出现目标，语音提示用户用视线快速寻找到该目标，眼动追踪模块得到用户在该任务中的实时注视点坐标，评估模块计算出用户从该目标出现在屏幕上到该目标被用户视线找到所用时间。如果时间大于阈值则该目标与上一目标之间的距离和角度由评估模块传给智能训练模块。

智能训练模块，包括注意力智能训练模块，视跟随能力智能训练模块和视广度智能训练模块。

注意力智能训练模块根据评估模块得到的注意力分数，生成一个或多个事先定义兴趣区域的视觉刺激，用户自由观察视觉刺激。当眼动追踪模块检测到用户对该刺激的某个兴趣区域的注视时间超过阈值，则该兴趣区域的相关内容出现更多详情或是放大或是细节或是视频或是声音，如果用户对变化后的兴趣区域注视时间超过阈值，则该兴趣区域发生更多的变化或展示更多细节，如果用户的注视时间不能到达阈值就转移到兴趣点意外的区域，视觉刺激就回复到最开始的状态。

视跟随能力智能训练模块根据评估模块得到的目标完成度分数，生成一个或多个速度和运动轨迹的目标，语音提示用户用视线跟随目标，眼动追踪模块实时获得用户的注视点数据。如果智能训练模块检测到用户没有完成跟随，则生成一个难度低于当前目标的跟随目标再次进行训练。

视广度智能训练模块根据视广度评估模块提供的距离和角度生成视广度训练目标组合，当眼动追踪模块检测到用户的视线在目标所在兴趣区域时间超过阈值时，该目标消失，下一目标出现。如果用户找到下一目标所用时间超过阈值，则视广度智能训练系统降低训练难度(目标之间的距离变小，角度趋近于用户在评估模块检测出的更容易发现的角度)。

存储模块，用户每次的评估和训练的结果储存在存储模块该用户的档案之中，下次同一用户使用该系统时可以直接调用上次的训练结果而不用做新的评估。

本发明一种利用眼动追踪和智能评估技术的注意力和视觉能力训练方法，实现步骤如下：

(1)眼动追踪模块在全过程中实时追踪用户眼动计算用户注视点信息；

(2)评估模块给出评估用视觉刺激，通过用户的注视点信息计算用户的注意力和视觉能力分数；

(3)智能训练模块通过用户的注意力和视觉能力分数生成训练方案，并在训练过程中根据用户的注视点数据实时调整方案；

(4)用户的评估和训练结果由存储模块保存，用户再次训练时无需再次评估，可以根据第一次的训练进度继续训练方案。

本发明与现有技术相比的优点在于：

(1)本发明的注意力评估方案基于用户的眼动特征，不需要用户对自己的行为进行主管评价，整套评估系统用时不超过10分钟，与传统的问卷类方案相比更加快速客观；与脑电类方法相比，眼动信号的信噪比远远高于脑电信号，数据可信度高，系统价格低。

(2)本发明根据用户的注意力水平和视觉能力水平自动生成适合用户的训练方案，并可以在训练中根据用户的表现进行调整。

附图说明

图1是本发明的系统结构图；

图2是本发明的眼动追踪模块实现组成图；

图3是本发明智能训练模块中的注意力智能训练模块流程图；

图4是本发明的方法实施流程。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

为了实现上述目的，本发明公开的系统采用如下方案：

如图1所示，本发明使用眼动追踪和智能评估技术的注意力训练系统包括，眼动追踪模块100，评估模块200，智能训练模块300，存储模块400。

眼动追踪模块100用于记录用户的实时眼动数据并提供给评估模块200和智能训练模块300。评估模块200用于展示注意力和视觉能力评估用的视觉刺激和目标，并计算用户在每一个任务中的分数提供给智能训练模块生成训练方案。智能训练模块300根据评估模块200得到的评估结果，自动生成适合用户水平的训练方案，并在训练中通过分析用户的实时眼动数据及时调整方案，使训练难度维持在用户刚好可以达成的状态来维持用户兴趣。存储模块400储存用户的评估和每次训练结果，用户再次使用该系统时训练模块调用该用户的记录生成方案，无需再次评估。

如图2所示，实现眼动追踪模块100的硬件系统包括一台带有显示器的计算机，一个摄像头，一个近红外光源。系统开启时，计算机控制点亮近红外光源，摄像头对用户的脸部进行实时的拍摄。对拍摄的每一帧图像，计算机通过图像处理技术得到人眼的瞳孔中心和光源的角膜反射点，得到从瞳孔中心到角膜反射点的二维向量。该向量通过该用户的校正方程即可算出用户在这一时刻注视屏幕点的二维坐标。在该实施例中，校正方程的获得方法如下：在屏幕上依次出现9个点，用户需要依次注视这5个点，对于每个点，系统已知该点在屏幕的二维坐标S＝(x_s,y_s)，和用户的瞳孔中心到角膜反射向量P＝(x_p,y_p)，P和S的变换可以表示为：

其中a_i是参数项，每个校准点可以给出一组上面所示的方程，9个校准点可以给出9组上面的方程，参数a_i可以通过最小二乘的方法解出。

如图1所示，评估模块200包括注意力评估模块201，视跟随能力评估模块202，视广度评估模块203。注意力评估模块201根据用户的识字能力，在屏幕上显示若干组文字或图像，语音播放提示要求用户阅读文字或观察图案。文字和图像上都有事先定义的兴趣区域。在本实施例中，阅读文字时的注意力分数的计算方法为：其中F为注视时间的中位数(毫秒)，R为注视点回调次数，P为注视点覆盖兴趣区域比例，a和b分别为权重参数，通常取值范围在0-1之间；观察图片时的注意力分数计算方法为：其中i是第i个兴趣区域，n是兴趣区域个数,F_i为每个兴趣区域的注视时间,S_i为给出语音提示后注视点移动到相应兴趣区域所用时间，其中a和b通常取值范围在0-1之间，其中A_i为第i个兴趣区域的面积，A_max为所有兴趣中的最大面积。

视觉跟随能力评估模块202依次展示若干种速度和移动复杂度的移动目标，用户根据语音提示用视线跟随目标的移动。对于单一目标，如果用户完成视线跟随任务则记为满分，如果用户的注视点在任务过程中离开目标所在兴趣区域，则该目标的得分为用户完成的时长/任务总时长，用户如果顺利通过整套测试，则视觉跟随能力为满分。

视广度评估模块203在屏幕的预设位置出现目标，用户根据语音提示快速找到目标，眼动追踪模块100检测到用户注视点到达目标兴趣区域，则该目标消失，下一目标出现。视广度评估模块203的某个目标出现后用户没有在阈值时间内将注视点移动到相应的兴趣区域，那么该目标和它之前的目标之间的视觉角度和方向向量就是用户的视广度得分。用户如果顺利通过整套测试，则视觉跟随能力为满分。

如图1所示，智能训练模块300包括注意力智能训练模块301，视跟随能力智能训练模块302，视广度智能训练模块303。

如图3所示，注意力智能训练模块301的流程包括，首先，根据注意力评估模块100的评估结果，屏幕上显示一个初始的静态场景，场景的主题来自于注意力评估时眼动追踪模块追踪到用户注视最长时间的兴趣区域，根据用户的注意力得分，初始静态场景展示2到多个不同的兴趣区域，注意力得分越高，展示越多的兴趣区域；用户自由观察初始静态场景，眼动追踪模块100追踪到用户的注视点停留在某一兴趣区域超过给定的阈值；注意力智能训练模块301即展示该区域的进一步内容；眼动追踪模块100继续追踪用户的注视点，如果检测到用户注意力集中于该内容，则进一步展示更多的相关内容，或由眼睛控制完成一个任务，如果用户的注视点已离开该兴趣区域，则注意力智能训练系统展示回初始静态场景。本发明中的注意力训练是基于人类视觉系统到一个新环境中视采用“焦点”模型，即从扫视到关注这一保持注意力的心理机制，该训练通过为用提供视觉正反馈来强化该机制以提升注意力。

进一步的，在本实施例中，如果用户的视觉跟随分数不是满分，根据评估模块202的视觉跟随能力评估结果，视觉跟随智能训练模块302给出不同速度和轨迹的移动目标由用户用目光跟随。如果用户在视觉跟随能力评估模块202中成功完成了前三级难度的目标，而第四级难度的目标只完成了80％，那么视觉跟随能力评估202模块就会生成一个速度和轨迹复杂度在第三级和第四级之间的目标供用户训练。如果用户成功完成跟随目标，则视跟随能力评估模块202会展示一个庆祝画面，如果用户无法跟随，则该目标会慢慢消失。视觉跟随智能训练模块302会给出下一个速度更慢轨迹更简单的目标供用户再次训练。当用户可以成功完成该难度的视线跟随时，视觉跟随智能训练模块302会展示下一个难度高于当前难度的目标再次进行训练。

进一步的，在本实施例中，如果用户视广度评估分数不是满分，视广度训练模块303根据视广度评估模块203的计算结果，给出不同相对位置的跳动目标。比如，如果用户在视广度评估模块203中无法阈值时间内可以找到水平相距18°视角的目标但是无法找到水平相距20°视角的目标，则视广度训练模块303生成水平相距19°视角的目标供用户训练。该实施例中，每次屏幕上只出现单一目标，眼动追踪模块100检测到用户的注视点跳到该目标后，该目标即消失，下一目标则出现。

进一步的，如图4所示，在本实施例中，用户的评估结果和训练结果都由存储模块储400存在该用户的用户档案中，再次训练时无需再次评估，可以直接读取上一次的训练进程继续训练。

进一步的，在本实施例中，评估模块的持续时间不超过8分钟，智能训练模块的持续时间不超过10分钟，用户在评估和训练中间可以自由休息。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (2)

1.一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统，其特征在于，包括：眼动追踪模块、评估模块、智能训练模块和存储模块，其中：

眼动追踪模块，包括一个计算机或芯片上系统，一个或多个摄像头，一个或多个近红外光源，通过建立追踪瞳孔和角膜反射构成的向量估算用户视线，对用户的每一帧画面生成带有时间戳的用户视线在屏幕上的二维坐标样本；该模块还可以通过不同的事件检测算法将眼动样本数据区分成注视和眼跳；带有时间戳的二维坐标样本数据或眼动事件数据，并实时传递给评估模块和智能训练模块，以完成对用户的注意力及视觉能力的评估和智能训练；

评估模块，包含注意力评估模块，视跟随能力评估模块和视广度评估模块，注意力评估模块在计算机屏幕上展示一个或多个事先定义好兴趣区域的视觉刺激，并给出用户针对此视觉刺激需要完成的某些语音指示，用户需要按照指示完成任务，眼动追踪模块得到用户在该任务中的实时的注视点坐标，评估模块通过评估方程计算出用户的注意力分数，并传递给智能训练模块；视跟随能力评估模块在屏幕上展示预设运动轨迹和速度的移动目标，并给出用户语音提示需要用视线跟随该目标移动，眼动追踪模块得到用户在该任务中的实时注视点坐标，评估模块根据此坐标计算出用户是否完成了跟随任务；视跟随能力评估模块包含若干种预设目标运动轨迹和速度，视跟随能力评估模块计算出用户对每个目标的完成度分数，并将该分数传递给智能训练模块；视广度评估模块在屏幕的不同位置依次出现目标，语音提示用户用视线快速寻找到该目标，眼动追踪模块得到用户在该任务中的实时注视点坐标，评估模块计算出用户从该目标出现在屏幕上到该目标被用户视线找到所用时间，如果时间大于阈值则该目标与上一目标之间的距离和角度作为视广度分数值由评估模块传给智能训练模块；

智能训练模块，包括注意力智能训练模块，视跟随能力智能训练模块和视广度智能训练模块；注意力智能训练模块根据评估模块得到的注意力分数，生成一个或多个事先定义兴趣区域的视觉刺激，用户自由观察视觉刺激，当眼动追踪模块检测到用户对该视觉刺激的某个兴趣区域的注视时间超过阈值，则某个兴趣区域的相关内容出现更多详情或是放大或是细节或是视频或是声音，如果用户对变化后的兴趣区域注视时间超过阈值，则某个兴趣区域发生更多的变化或展示更多细节，如果用户的注视时间不能到达阈值就转移到兴趣点以外的区域，视觉刺激就回复到最开始的状态；视跟随能力智能训练模块根据评估模块得到的目标完成度分数，生成一个或多个速度和运动轨迹的目标，语音提示用户用视线跟随目标，眼动追踪模块实时获得用户的注视点数据；如果智能训练模块检测到用户没有完成跟随，则生成一个难度低于当前目标的跟随目标再次进行训练；视广度智能训练模块根据视广度评估模块提供的距离和角度生成视广度训练目标组合，当眼动追踪模块检测到用户的视线在目标所在兴趣区域时间超过阈值时，该目标消失，下一目标出现；如果用户找到下一目标所用时间超过阈值，则视广度智能训练系统降低训练难度，目标之间的距离变小，角度趋近于用户在评估模块检测出的更容易发现的角度；

存储模块，用户每次的评估和训练的结果储存在存储模块该用户的档案之中，下次同一用户使用该系统时可以直接调用上次的训练结果而不用做新的评估。

2.一种利用眼动追踪和智能评估技术的注意力和视觉能力训练方法，其特征在于，实现步骤如下：

(1)眼动追踪模块在全过程中实时追踪用户眼动计算用户注视点信息；

(2)评估模块给出评估用视觉刺激，通过用户的注视点信息计算用户的注意力和视觉能力分数；

(3)智能训练模块通过用户的注意力和视觉能力分数生成训练方案，并在训练过程中根据用户的注视点数据实时调整方案；

(4)用户的评估和训练结果由存储模块保存，用户再次训练时无需再次评估，可以根据第一次的训练进度继续训练方案。