CN110298569B - 基于眼动识别的学习评价方法及装置 - Google Patents

Abstract

本申请涉及基于眼动识别的学习评价方法及装置，涉及人工智能技术领域，所示评价方法包括：建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；获取眼动识别信息；将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值。本申请采用像素化的计算方式，能够快速进行眼动识别，同时能够识别眼动幅度，为眼动识别应用到学习评价中带来了有力支撑。

Description

基于眼动识别的学习评价方法及装置

技术领域

本申请涉及人工智能技术领域，例如涉及基于眼动识别的学习评价方法及装置。

背景技术

学习评价是课堂教与学活动中的一个重要环节，是学习系统的反馈调节机制，甚至可以说，学习评价的内容以及评价方式在很大程度上影响着教学过程。在传统的教育环境下，了解学生的主要方法为课堂行为观察、考试、作业分析等，通常又以考试与测验为主，且一般在课程结束后进行评价。这种评价方式中存在的偏重结果评价、忽略过程评价，偏重群体发展、忽视个体发展等问题，虽长期倍受诟病，却一直没有有效办法从根本上解决。目前，在人机交互技术领域已经有许多新兴交互方式的尝试，比如体感交互、眼动跟踪、语音交互、生物识别等方式，但大部分的交互方式使用率都不是非常高，也还未进入真正意义上的商业应用普及中，更没有哪种人机交互方式，能够达到人可以毫无障碍、随心所欲地和设备交流的水平。眼动研究是探索人类注意和认知规律的主要手段：它通过记录眼球的真实运动，描述人的视觉行为，反映人的认知加工和心理活动。目前眼动识别在技术实用性以及使用稳定性上还有待突围。

针对学习评价，如何有效且高效的把眼动识别融合进去，是一个亟待解决的问题。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种基于眼动识别的学习评价方法。

在一些实施例中，所述方法包括：

建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；

获取眼动识别信息；

将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值；

所述眼动识别信息按以下方式获得：

获取至少一对眼球图像，所述眼球图像包括眼白区域和眼仁区域；

将所述眼球图像进行二值化处理；所述眼仁区域的灰度值大于所述眼白区域的灰度值；

根据所述眼白区域的像素变化确定所述眼仁区域的移动方向。

本公开实施例提供了一种基于眼动识别的学习评价装置。

在一些实施例中，所述装置包括：

评价单元，被配置为建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；通过识别单元获取眼动识别信息；将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值；

所述识别单元，被配置为获取至少一对眼球图像，所述眼球图像包括眼白区域和眼仁区域；

将所述眼球图像进行二值化处理；所述眼仁区域的灰度值大于所述眼白区域的灰度值；

根据所述眼白区域的像素变化确定所述眼仁区域的移动方向。

本公开实施例提供的一些技术方案可以实现以下技术效果：

采用像素化的计算方式，能够快速进行眼动识别，同时能够识别眼动幅度，为眼动识别应用到学习评价中带来了有力支撑。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的流程示意图；

图2是本公开实施例提供的电子设备的结构示意图。

附图标记：

100：处理器；101：存储器；102：通信接口；103：总线。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

如图1所示，本公开实施例提供了一种基于眼动识别的学习评价方法，包括：

建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；

获取眼动识别信息；

将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值；

所述眼动识别信息按以下方式获得：

获取至少一对眼球图像，所述眼球图像包括眼白区域和眼仁区域；

将所述眼球图像进行二值化处理；所述眼仁区域的灰度值大于所述眼白区域的灰度值；例如将眼白区域的像素灰度值设置为0，将眼仁区域的像素灰度值设置为255.

根据所述眼白区域的像素变化确定所述眼仁区域的移动方向。

在教学场景中，获取PPT画面切换的时间点，及切换后的一段时间，如切换后的t分钟，t＞0，当然，也可以是其他设备或其他教学内容的画面，例如还可以是VR眼镜中播放的教学内容画面。当获取到切换时间点及切换后的时间t，逐帧判断各对眼球图像是否具备相应的眼球移动动作，将获取到的这些眼球移动信息与建立好的学习评价模型进行匹配，获得对应的评价值，也就获得了各学生在某一时间段的学习评价值，通过该种方式，能够有效且高效的针对学生学习过程进行评价，丰富了教学考评手段。

在一些实施例中，还包括根据各对眼球图像的参考距离进行眼动识别。在所述眼仁区域内的中心点作为参考点；在各所述眼球图像建立坐标系；计算各眼球图像中所述参考点与所述坐标系的原点的距离，将其作为参考距离；根据各眼球图像的参考距离进行眼动识别。可选地，参考点按以下方式确定，根据眼仁区域的边上距离最远的两点，将其连接形成直线，找出垂直于该直线的辅助线，以包含眼仁区域的边上距离最远的两点的辅助线，其与所述直线的交点为参考点。

在一些实施例中，所述根据各眼球图像的参考距离进行眼动识别，包括：判断各对眼球图像的参考距离是否均减小/增加。采用以上方案，能够判断双眼的眼动一致性。由于很多眼动追踪设备特别是VR眼镜，多是采用双眼分别通过识别装置来进行眼动识别，因此通过识别眼动一致性，能够更加准确的判断眼球是否移动，避免了由于单一识别装置的抖动或其他原因造成误判。

在一些实施例中，所述根据各眼球图像的参考距离进行眼动识别，包括：判断各对眼球图像的参考距离变化值是否在设定范围内。首先判断双眼一致性，各对眼球图像的参考距离是否均增大或均减小，然后判断各参考距离的变化差值绝对值是否在设定范围内，避免了识别装置在剧烈运动下的不稳定所造成的误判，进一步提高了眼球移动识别的准确性。

在一些实施例中，所述根据所述眼白区域的像素变化确定所述眼仁区域的移动方向，包括：

在各对所述眼球图像建立坐标系；

将不同时间的眼白区域进行匹配：

当眼白区域重合的像素数量大于或等于设定值则眼仁区域没有移动；

当眼白区域重合的像素数量小于设定值时，则根据在所述坐标系的各象限中增加的眼白区域像素数量确定所述眼仁区域的移动方向。可选地，通过像素的灰度值判断像素是否重合。

可选地，当所述坐标系中第一象限增加的眼白区域像素数量最多时，所述眼仁区域往第一象限移动；当所述坐标系中第二象限增加的眼白区域像素数量最多时，所述眼仁区域往第二象限移动；当所述坐标系中第三象限增加的眼白区域像素数量最多时，所述眼仁区域往第三象限移动；当所述坐标系中第四象限增加的眼白区域像素数量最多时，所述眼仁区域往第四象限移动。当然，坐标系可设置多个象限，例如8个、16个等，以提高眼仁区域的移动方向判断精度。眼球图像中，眼白区域的面积特别是眼球运动过程中眼白区域的面积大于眼仁区域的面积，当眼仁移动到眼角、上眼皮或下眼皮的时候，面积很小且较难准确的找到一个基准参考点，采用眼白区域像素变化来识别眼仁运动，更加快速准确。

本公开实施例提供了一种基于眼动识别的学习评价装置，包括：

评价单元，被配置为建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；通过识别单元获取眼动识别信息；将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值；

所述识别单元，被配置为获取至少一对眼球图像，所述眼球图像包括眼白区域和眼仁区域；将所述眼球图像进行二值化处理；所述眼仁区域的灰度值大于所述眼白区域的灰度值；根据所述眼白区域的像素变化确定所述眼仁区域的移动方向。

可选地，通过在VR眼镜或其他设备中设置针对不同眼睛的摄像装置，利用摄像装置获得的实时图像或者根据视频不同帧的图像，识别眼球图像。其中，眼球图像包括眼白区域和眼仁区域。具体实施时，由于眼白区域和眼仁区域的颜色不同，使用前先采集眼白区域和眼仁区域的颜色存储并构建相关模型，该模型包括各眼白颜色信息和眼球颜色信息。可选地，该模型还可包括眼球图像的轮廓。利用摄像头实时获得的图像，根据记录的眼白颜色信息和眼仁颜色信息或眼球轮廓，在图像中识别可能的眼球图像、眼白区域和眼仁区域，当检测到与记录的眼白颜色信息匹配的区域时，确定该区域为准眼白区域，当检测到与记录的眼仁颜色信息匹配的区域时，确定该区域为准眼仁区域。该技术为本领域常规手段，亦不是本案发明点，在此不再赘述。

在一些实施例中，所述识别单元还被配置为：根据各对眼球图像的参考距离进行眼动识别。

在一些实施例中，所述根据各眼球图像的参考距离进行眼动识别，包括：

判断各对眼球图像的参考距离是否均减小/增加。

在一些实施例中，所述根据各眼球图像的参考距离进行眼动识别，包括：

判断各对眼球图像的参考距离变化值是否在设定范围内。

在一些实施例中，所述根据所述眼白区域的像素变化确定所述眼仁区域的移动方向，包括：

在各对所述眼球图像建立坐标系；

将不同时间的眼白区域进行匹配：

当眼白区域重合的像素数量大于或等于设定值则眼仁区域没有移动；

当眼白区域重合的像素数量小于设定值时，则根据在所述坐标系的各象限中增加的眼白区域像素数量确定所述眼仁区域的移动方向。

本公开实施例提供了一种VR眼镜，包含上述的学习评价装置。

以上方法及装置尤其适用于VR场景的教学，可针对性的评价学生的学习状态等，同时也能够了解不同画面下，学生的关注点。

本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述学习评价方法。

本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述学习评价方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例提供了一种电子设备，其结构如图2所示，该电子设备包括：

至少一个处理器(processor)100，图2中以一个处理器100为例；和存储器(memory)101，还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的学习评价方法。

此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的学习评价方法。

存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种基于眼动识别的学习评价方法，其特征在于，包括：

建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；

获取眼动识别信息；

将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值；

所述眼动识别信息按以下方式获得：

获取至少一对眼球图像，所述眼球图像包括眼白区域和眼仁区域；

将所述眼球图像进行二值化处理；所述眼仁区域的灰度值大于所述眼白区域的灰度值；

根据所述眼白区域的像素变化确定所述眼仁区域的移动方向；

所述获得对应的评价值，包括：

在获取到教学内容画面的切换时间点及切换后的时间t的情况下，逐帧判断各对眼球图像是否具备教学内容画面相应的眼球移动动作；将获取到眼球移动信息与建立好的学习评价模型进行匹配，获得对应的评价值。

2.根据权利要求1所述的方法，其特征在于，还包括根据各对眼球图像的参考距离进行眼动识别。

3.根据权利要求2所述的方法，其特征在于，所述根据各眼球图像的参考距离进行眼动识别，包括：

判断各对眼球图像的参考距离是否均减小或增加。

4.根据权利要求2所述的方法，其特征在于，所述根据各眼球图像的参考距离进行眼动识别，包括：

判断各对眼球图像的参考距离变化值是否在设定范围内。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述眼白区域的像素变化确定所述眼仁区域的移动方向，包括：

在各对所述眼球图像建立坐标系；

将不同时间的眼白区域进行匹配：

当眼白区域重合的像素数量大于或等于设定值则眼仁区域没有移动；

当眼白区域重合的像素数量小于设定值时，则根据在所述坐标系的各象限中增加的眼白区域像素数量确定所述眼仁区域的移动方向。

6.一种基于眼动识别的学习评价装置，其特征在于，包括：

评价单元，被配置为建立学习评价模型；所述学习评价模型包括眼动识别信息设定值及对应的评价值；通过识别单元获取眼动识别信息；将所述眼动识别信息与所述学习评价模型的眼动识别信息设定值进行匹配，获得对应的评价值；

所述识别单元，被配置为获取至少一对眼球图像，所述眼球图像包括眼白区域和眼仁区域；

将所述眼球图像进行二值化处理；所述眼仁区域的灰度值大于所述眼白区域的灰度值；

根据所述眼白区域的像素变化确定所述眼仁区域的移动方向；

所述获得对应的评价值，包括：

在获取到教学内容画面的切换时间点及切换后的时间t的情况下，逐帧判断各对眼球图像是否具备教学内容画面相应的眼球移动动作；将获取到眼球移动信息与建立好的学习评价模型进行匹配，获得对应的评价值。

7.根据权利要求6所述的装置，其特征在于，所述识别单元还被配置为：根据各对眼球图像的参考距离进行眼动识别。

8.根据权利要求7所述的装置，其特征在于，所述根据各眼球图像的参考距离进行眼动识别，包括：

判断各对眼球图像的参考距离是否均减小或增加。

9.根据权利要求7所述的装置，其特征在于，所述根据各眼球图像的参考距离进行眼动识别，包括：

判断各对眼球图像的参考距离变化值是否在设定范围内。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述根据所述眼白区域的像素变化确定所述眼仁区域的移动方向，包括：

在各对所述眼球图像建立坐标系；

将不同时间的眼白区域进行匹配：

当眼白区域重合的像素数量大于或等于设定值则眼仁区域没有移动；

当眼白区域重合的像素数量小于设定值时，则根据在所述坐标系的各象限中增加的眼白区域像素数量确定所述眼仁区域的移动方向。

Images