CN109902630A - 一种注意力判断方法、装置、系统、设备和存储介质 - Google Patents

Abstract

本发明涉及信息化教学领域，公开一种注意力判断方法、装置、系统、设备和存储介质。方法包括：获取目标人物的视频图像，识别视频图像中单帧图像的人脸图像，确定第一瞳孔视线向量；将第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算其与预设平面上的交点坐标；判断交点坐标与预设区域的位置关系，确认目标视线是否为偏离；将预设时间内视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将视线偏离总次数与预设偏离次数进行比较，确定目标人物的注意力状态。本发明实施例中的注意力判断方法，将视线方向向量投影到预设平面上，判断目标人物的注意力状态，具有实时性强，准确率高，可靠性强，受外界因素影响小的优点。

Description

一种注意力判断方法、装置、系统、设备和存储介质

技术领域

本发明涉及信息化教学领域，特别是涉及一种注意力判断方法、装置、系统、设备和存储介质。

背景技术

在线教育随着网络的发展越来越普及，在该模式下确定学生的学习状态具有重大的意义。注意力检测是在线教育中判断学生学习的重要组成部分，通过利用人脸及五官的特征变化，或者是利用脑波检测或者心电频率等来判断注意力是否集中。

目前，多数注意力检测方法的应用是通过识别人脸特征和头部特征来判别学生的注意力。但是，当学生在电脑屏幕前进行在线学习过程中，人脸特征和头部特征的捕捉不一定代表就是学生当前的注意力状态，其根本因素在于学生的视线是否在学习屏幕上。

因此，现有技术中仅仅以人人脸和头部特征的状态来检测学生的注意力状态不够准确，无法真实反映学生的注意力状态。

发明内容

基于此，有必要针对上述的问题，提供一种注意力判断方法、装置、系统、设备和存储介质。

在其中一个实施例中，本发明提供了一种注意力判断方法，所述方法包括如下步骤：

获取目标人物的视频图像，识别所述视频图像中单帧图像的人脸图像，确定所述人脸图像中的第一瞳孔视线向量，所述第一瞳孔视线向量所在坐标系为相机坐标系；

将所述第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算所述第二瞳孔视线向量与预设平面上的交点坐标；

判断所述交点坐标与所述预设平面内预设区域的位置关系，若所述交点坐标偏离所述预设区域，确认所述目标人物视线偏离；

将预设时间内所述视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将所述视线偏离总次数与预设偏离次数进行比较，若所述视线偏离总次数大于所述预设偏离次数，则确定所述目标人物的注意力不集中。

在其中一个实施例中，本发明提供了一种注意力判断装置，包括：

图像处理模块，用于获取目标人物的视频图像，识别所述视频图像中单帧图像的人脸图像，确定所述人脸图像中的第一瞳孔视线向量，所述第一瞳孔视线向量所在坐标系为相机坐标系；

交点坐标计算模块，用于将所述第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算所述第二瞳孔视线向量与预设平面上的交点坐标；

交点坐标位置判断模块，用于判断所述交点坐标与所述预设平面内预设区域的位置关系，若所述交点坐标偏离所述预设区域，确认所述目标人物视线偏离；

注意力状态判断模块，用于将预设时间内所述视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将所述视线偏离总次数与预设偏离次数进行比较，若所述视线偏离总次数大于所述预设偏离次数，则确定所述目标人物的注意力不集中。

在其中一个实施例中，本发明还提供一种注意力判断系统，包括：

图像采集装置，用于采集目标人物的视频图像；

注意力判断装置，用于获取所述目标人物的视频图像，执行所述注意力判断方法，以确定目标人物的注意力状态。

在其中一个实施例中，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述所述注意力判断方法的步骤。

在其中一个实施例中，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述所述注意力判断方法的步骤。

本发明实施例中的注意力判断方法、装置、系统、设备和存储介质，通过使用三维空间中的坐标系转换和计算向量和面的交点的方式，直接从人眼的瞳孔位置出发，将视线方向向量投影到预设平面上。通过判断交点坐标和注意力预设区域坐标范围的关系来确定是否发生视线偏离，从而判断目标人物的注意力状态，可以在复杂的环境中有很好的检测效果，具有实时性强，准确率高，可靠性强，受外界因素影响小的优点。

附图说明

图1为一个实施例中提供的注意力判断方法的应用环境图；

图2为一个实施例中提供的注意力判断方法的流程图；

图3为一个实施例中识别人脸图像的流程图；

图4为一个实施例中计算交点坐标的流程图；

图5为一个实施例中坐标系位置状态示意图；

图6为一个实施例中提供的注意力判断装置的结构框图；

图7为一个实施例中提供的交点坐标计算模块的结构框图；

图8为又一个实施例中坐标系位置状态示意图；

图9为一个实施例中提供的注意力判断系统的结构框图；

图10为一个实施例中提供的注意力判断系统的工作流程图；

图11为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx单元称为第二xx单元，且类似地，可将第二xx单元称为第一xx单元。

图1为一个实施例中提供的注意力判断方法的应用环境图，如图1所示，在该应用环境中，包括目标人物100、图像采集装置110和计算机设备120。

图像采集装置110可以是计算机设备120内置的，也可以是外设后与计算机设备120进行连接的，图像采集装置110是具备图像采集和简单处理功能的设备，可以是摄像头、摄像机、相机、扫描仪或其他带有拍照摄像功能的设备(手机、平板电脑等)；同时考虑到大场景图像低分辨率导致图像中目标人物识别难的问题，优选采用的是高分辨率的高清摄像机来捕获目标人物图像，以便准确高效的识别目标人物的身份信息和注意力判断。

计算机设备120，用于获取场景图像，执行本发明实施例中的注意力判断方法，以确定目标人物的注意力状态。计算机设备120可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN(ContentDelivery Network，内容分发网络)等基础云计算服务的云服务器，其可以具备数据输入输出处理以及结果展示的模块。本发明以电脑作为计算机设备进行解释说明。

实施例一

如图2所示，在一个实施例中，提出了一种注意力判断方法，本实施例主要以该方法应用于上述图1中的计算机设备120来举例说明，具体可以包括以下步骤：

步骤S201，获取目标人物的视频图像，识别视频图像中单帧图像的人脸图像，确定人脸图像中的第一瞳孔视线向量，第一瞳孔视线向量所在坐标系为相机坐标系；

步骤S202，将第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算第二瞳孔视线向量与预设平面上的交点坐标；

步骤S203，判断交点坐标与预设平面内预设区域的位置关系，若交点坐标偏离预设区域，确认目标人物视线偏离；

步骤S204，将预设时间内视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将视线偏离总次数与预设偏离次数进行比较，若视线偏离总次数大于预设偏离次数，则确定目标人物的注意力不集中。

在本发明实施例中，相机坐标系的原点为相机的光心，x轴与y轴与图像的X、Y轴平行，z轴为相机光轴，与图形平面垂直，光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。世界坐标系是指客观三维世界的绝对坐标系，也称客观坐标系，并且用它来描述安放在此三维环境中的其它任何物体的位置。

在本发明实施例中，第一瞳孔视线向量是通过识别眼球瞳孔，根据瞳孔的关键点分析瞳孔注视方向，进而确定的近似人眼视线对应方向的向量，可以通过训练模型进行识别确定，比如可以调用软件OpenCV进行识别和确定，OpenCV是一个基于BSD(BerklySoftware Distribution，BSD许可证)许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。

在本发明实施例中，目标人物是指在在应用场景中的监测对象，本发明实施例的应用场景中，其目标人物为在电脑前的学生。在本发明的其他实施例中，可以根据实际的应用场景设置目标人物，本发明不在进一步限制和举例。

在本发明实施例中，步骤S201即获取目标人物的视频图像，识别视频图像中单帧图像的人脸图像，确定人脸图像中的第一瞳孔视线向量，第一瞳孔视线向量所在坐标系为相机坐标系，还包括：

步骤S301，若未识别到人脸图像，则确认目标人物为离开状态，将预设时间内视频图像包含的所有帧图像进行识别后，确定离开状态总次数；离开状态是指目标人物不在特定区域或者人脸不朝向特定区域。

步骤S302，若识别到人脸图像，且第一瞳孔视线向量为零向量，则确认目标人物为闭眼状态，将预设时间内视频图像包含的所有帧图像进行识别后，确定闭眼状态总次数。

在本发明实施例中，若离开状态次数、闭眼状态次数和视线偏离总次数中的一个或一个以上大于预设的对应阈值，则确认目标人物的注意力不集中。

具体的，根据提前设定的预设时间大概截取500帧图像，设定时间间隔内计算该时段内的离开状态次数、闭眼状态次数和视线偏离总次数分别占该时段内视频图像总帧数的比值，综合分析三个特征的比值结果，只要有一个比值结果超过一定阈值(比如5％)，则判断目标人物注意力不集中。

在本发明实施例中，通过调用软件OpenCV以相机坐标系视角对人脸图像进行识别，直接使用opencv中的自带的分类器提取出第一瞳孔视线向量和其经过的人脸图像上的第一瞳孔位置坐标。其中，通过OpenCV人脸识别的基本的工作步骤包括获取视频图像图片，将视频图像图片转换为灰度图片；检测灰度图片中的人脸；处理灰度图片以显示人脸区域；预处理脸部图片并识别图片中眼球图像的关键点，从而确定人脸图像中的第一瞳孔视线向量和其经过的人脸图像上的第一瞳孔位置坐标。

在本发明实施例中，步骤S202即将第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算第二瞳孔视线向量与预设平面上的交点坐标，具体包括：

步骤S401，识别人脸图像中的第一瞳孔视线向量经过的第一瞳孔位置坐标，以及获取第一瞳孔位置坐标到预设平面的目标直线距离；

步骤S402，根据目标直线距离将第一瞳孔位置坐标转换至世界坐标系，确定第二瞳孔位置坐标；

步骤S403，根据第二瞳孔位置坐标将第一瞳孔视线向量转换至世界坐标系，确定第二瞳孔视线向量；

步骤S404，将第二瞳孔视线向量投射到预设平面，确定第二瞳孔视线向量与预设平面的交点坐标。

具体的，如图5所示，在本发明实施例中，在相机坐标系中，将第一瞳孔视线向量表示为(ex，ey，ez)，第一瞳孔位置坐标为(hx，hy，hz)，将计算机设备120(电脑)的屏幕所在平面作为预设平面，将电脑屏幕的四个边角构成的区域作为预设区域，将预设区域的四个边角的坐标记为：左上角坐标(B1x，0，0)，右上角坐标(-B1x，0，0)，左下角坐标(B1x，0，B2z)，右下角坐标(-B1x，0，B2z)。

进一步的，在本发明实施例中，在世界坐标体系中同样以相机坐标系原点为坐标系的原点，目标人物距离电脑屏幕的沿y轴的平行距离为distance_y，更新后的坐标为：第二瞳孔位置坐标为(new_hx，new_hy，new_hz)，其中，new_hx＝hx；new_hy＝hy+distance_y；new_hz＝hz。同时，在本发明实施例中，因为在世界坐标体系和OpenCV的坐标体系中都是以相机坐标系原点为坐标系的原点，所以预设区域(电脑屏幕)的边界坐标和之前的保持不变。在本发明的其他实施例中，还可以将世界坐标系的原点位置进行调整和选择，本发明仅以世界坐标系和相机坐标系为例方便描述，并非进行严格限制。

进一步的，在世界坐标系下，将人眼视线方向向量投射到电脑显示屏所在平面，其交点坐标记为：(fx，0，fz)。则步骤S203中判断交点坐标与预设平面内预设区域的位置关系，若交点坐标偏离预设区域，确认目标人物视线偏离，具体是：

依据交点坐标和电脑屏幕(预设区域)的四个边角坐标的包含关系判断交点是否投影到电脑屏幕(预设区域)范围内：在x轴方向当-B1x＜fx＜B1x时，在z轴方向当B2z＜fz＜0时：说明在目标人物的视线在电脑屏幕(预设区域)上；反之说明在目标人物的视线偏离了电脑屏幕(预设区域)。

在本发明实施例中，步骤S201即获取目标人物的视频图像，识别视频图像中单帧图像的人脸图像，确定人脸图像中的第一瞳孔视线向量之前，还包括：

获取目标人物的身份验证图像，将所述身份验证图像与预设的身份图像进行对比，以验证所述目标人物的身份信息。如果无法识别目标人物的身份，则提醒重新验证或者注册。

在本发明实施例中，若确认目标人物的注意力不集中，则调用提醒信息进行提醒，提醒信息包括视频提醒和声音提醒中的一种或两种的组合。比如，以弹出窗口或者提示音等方式进行提醒。

另外，在本发明实施例中，以三维空间模型为例进行说明，在本发明的其他实施例中，考虑到鉴于目前的摄像头分辨率、使用场景和运算能力，以及结合人在集中注意力的时候，通常都是目视前方的，也就是人的视线与人脸的朝向是一致的。极少出现，人在集中注意力的时候，人的视线与脸的朝向不一致。此时，在普通场景人在集中注意力时通常时平视的，例如上课、开车。可以将三维环境适当简化，转化为识别瞳孔视线是否处于平视状态(瞳孔视线向量与人脸的角度是否约为90度或者瞳孔视线向量是否处于预设的水平面上)。

本发明实施例中的注意力判断方法，通过使用三维空间中的坐标系转换和计算向量和面的交点的方式，直接从人眼的瞳孔位置出发，将视线方向向量投影到预设平面上。通过判断交点坐标和注意力预设区域坐标范围的关系来确定是否发生视线偏离，从而判断目标人物的注意力状态，可以在复杂的环境中有很好的检测效果，具有实时性强，准确率高，可靠性强，受外界因素影响小的优点。

实施例二

如图6所示，在一个实施例中，提供了一种注意力判断装置，该注意力判断装置可以集成于上述的计算机设备120中，具体可以包括：

图像处理模块601，用于获取目标人物的视频图像，识别视频图像中单帧图像的人脸图像，确定人脸图像中的第一瞳孔视线向量，第一瞳孔视线向量所在坐标系为相机坐标系；

交点坐标计算模块602，用于将第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算第二瞳孔视线向量与预设平面上的交点坐标；

交点坐标位置判断模块603，用于判断交点坐标与预设平面内预设区域的位置关系，若交点坐标偏离所述预设区域，确认目标人物视线偏离；

注意力状态判断模块604，用于将预设时间内视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将视线偏离总次数与预设偏离次数进行比较，若视线偏离总次数大于预设偏离次数，则确定目标人物的注意力不集中。

在本发明实施例中，相机坐标系的原点为相机的光心，x轴与y轴与图像的X、Y轴平行，z轴为相机光轴，与图形平面垂直，光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系为相机坐标系。世界坐标系是指客观三维世界的绝对坐标系，也称客观坐标系，并且用它来描述安放在此三维环境中的其它任何物体的位置。

在本发明实施例中，瞳孔视线向量是通过识别眼球瞳孔，根据瞳孔的关键点分析瞳孔注视方向，进而确定的近似人眼视线对应方向的向量，可以通过训练模型进行识别确定，比如可以调用软件OpenCV进行识别和确定，OpenCV是一个基于BSD(Berkly SoftwareDistribution，BSD许可证)许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。

在本发明实施例中，目标人物是指在在应用场景中的监测对象，本发明实施例中以教室作为应用场景，其目标人物为教室内上课的学生。在本发明的其他实施例中，可以根据实际的应用场景设置目标人物，比如工厂内的工人，本发明不在进一步限制和举例。

在本发明实施例中，图像处理模块601识别视频图像中单帧图像的人脸图像还包括：

若未识别到人脸图像，则确认目标人物为离开状态，将预设时间内视频图像包含的所有帧图像进行识别后，确定离开状态总次数；

若识别到人脸图像，且第一瞳孔视线向量为零向量，则确认目标人物为闭眼状态，将预设时间内视频图像包含的所有帧图像进行识别后，确定闭眼状态总次数。

在本发明实施例中，若离开状态次数、闭眼状态次数和视线偏离总次数中的一个或一个以上大于预设的对应阈值，则确认目标人物的注意力不集中。

在本发明实施例中，通过调用软件OpenCV以相机坐标系视角对人脸图像进行识别，直接使用opencv中的自带的分类器提取出第一瞳孔视线向量和其经过的人脸图像上的第一瞳孔位置坐标。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。其中，通过OpenCV人脸识别的基本的工作步骤包括获取视频图像图片，将视频图像图片转换为灰度图片；检测灰度图片中的人脸；处理灰度图片以显示人脸区域；预处理脸部图片并识别图片中眼球图像的关键点，从而确定人脸图像中的第一瞳孔视线向量和其经过的人脸图像上的第一瞳孔位置坐标。

在本发明实施例中，交点坐标计算模块602包括：

瞳孔位置坐标确定单元701，用于识别人脸图像中的第一瞳孔视线向量经过的第一瞳孔位置坐标，以及获取第一瞳孔位置坐标到预设平面的目标直线距离；

瞳孔位置坐标转换单元702，用于根据目标直线距离将第一瞳孔位置坐标转换至世界坐标系，确定第二瞳孔位置坐标；

视线向量转换单元703，用于根据第二瞳孔位置坐标将第一瞳孔视线向量转换至世界坐标系，确定第二瞳孔视线向量；

交点坐标计算单元704，用于将第二瞳孔视线向量投射到预设平面，确定第二瞳孔视线向量与预设平面的交点坐标。

具体的，如图8所示，在本发明实施例中，在相机坐标系中，将第一瞳孔视线向量表示为(ex，ey，ez)，第一瞳孔位置坐标为(hx，hy，hz)，将计算机设备120(电脑)的屏幕所在平面作为预设平面，将电脑屏幕的四个边角构成的区域作为预设区域，将预设区域的四个边角的坐标记为：左上角坐标(B1x，0，0)，右上角坐标(-B1x，0，0)，左下角坐标(B1x，0，B2z)，右下角坐标(-B1x，0，B2z)。

进一步的，在本发明实施例中，在世界坐标体系中同样以相机坐标系原点为坐标系的原点，目标人物距离电脑屏幕的沿y轴的平行距离为distance_y，更新后的坐标为：第二瞳孔位置坐标为(new_hx，new_hy，new_hz)，其中，new_hx＝hx；new_hy＝hy+distance_y；new_hz＝hz。同时，在本发明实施例中，因为在世界坐标体系和OpenCV的坐标体系中都是以相机坐标系原点为坐标系的原点，所以预设区域(电脑屏幕)的边界坐标和之前的保持不变。在本发明的其他实施例中，还可以将世界坐标系的原点位置进行调整和选择，本发明仅以世界坐标系和相机坐标系为例方便描述，并非进行严格限制。

进一步的，在世界坐标系下，将人眼视线方向向量投射到电脑显示屏所在平面，其交点坐标记为：(fx，0，fz)。则步骤S203中判断交点坐标与预设平面内预设区域的位置关系，若交点坐标偏离预设区域，确认目标人物视线偏离，具体是：

依据交点坐标和电脑屏幕(预设区域)的四个边角坐标的包含关系判断交点是否投影到电脑屏幕(预设区域)范围内：在x轴方向当-B1x＜fx＜B1x时，在z轴方向当B2z＜fz＜0时：说明在目标人物的视线在电脑屏幕(预设区域)上；反之说明在目标人物的视线偏离了电脑屏幕(预设区域)。

在本发明实施例中，图像处理模块601获取目标人物的视频图像，识别视频图像中单帧图像的人脸图像，确定人脸图像中的第一瞳孔视线向量之前，还包括：

获取目标人物的身份验证图像，将身份验证图像与预设的身份图像进行对比，以验证目标人物的身份信息。如果无法识别目标人物的身份，则提醒重新验证或者注册。

在本发明实施例中，若确认目标人物的注意力不集中，则调用提醒信息进行提醒，提醒信息包括视频提醒和声音提醒中的一种或两种的组合。比如，以弹出窗口或者提示音等方式进行提醒。

另外，在本发明实施例中，以三维空间模型为例进行说明，在本发明的其他实施例中，考虑到鉴于目前的摄像头分辨率、使用场景和运算能力，以及结合人在集中注意力的时候，通常都是目视前方的，也就是人的视线与人脸的朝向是一致的。极少出现，人在集中注意力的时候，人的视线与脸的朝向不一致。此时，在普通场景人在集中注意力时通常时平视的，例如上课、开车。可以将三维环境适当简化，转化为识别瞳孔视线是否处于平视状态(瞳孔视线向量与人脸的角度是否约为90度或者瞳孔视线向量是否处于预设的水平面上)。

本发明实施例中的注意力判断装置，通过使用三维空间中的坐标系转换和计算向量和面的交点的方式，直接从人眼的瞳孔位置出发，将视线方向向量投影到预设平面上。通过判断交点坐标和注意力预设区域坐标范围的关系来确定是否发生视线偏离，从而判断目标人物的注意力状态，可以在复杂的环境中有很好的检测效果，具有实时性强，准确率高，可靠性强，受外界因素影响小的优点。

实施例三

如图9所示，在一个实施例中，提供了一种注意力判断系统，本发明实施例提供的一种注意力判断系统，包括：

图像采集装置901，用于采集目标人物的视频图像；

注意力判断装置902，用于获取目标人物的视频图像，执行本发明实施例中的注意力判断方法，以确定目标人物的注意力状态。

如图10所示，示出了在本发明实施例中的注意力判断系统工作的整个流程。在本发明实施例中，图像采集装置901采集场景图像之后，人物注意力判断装置902对场景图像进行识别并根据识别结果进行目标人物的注意力状态，具体步骤包括对场景图像人脸识别并进行身份验证，进而识别目标人物的瞳孔视线方向向量，通过计算瞳孔视线方向向量在预设区域的交点坐标位置关系，判断目标人物的注意力状态。

本发明实施例中的注意力判断系统，通过使用三维空间中的坐标系转换和计算向量和面的交点的方式，直接从人眼的瞳孔位置出发，将视线方向向量投影到预设平面上。通过判断交点坐标和注意力预设区域坐标范围的关系来确定是否发生视线偏离，从而判断目标人物的注意力状态，可以在复杂的环境中有很好的检测效果，具有实时性强，准确率高，可靠性强，受外界因素影响小的优点。

实施例四

如图11所示，为本发明实施例提供的一种计算机设备的结构框图，本发明实施例提供的一种计算机设备，包括存储器1101、处理器1102、通信模块1103和用户接口1104。

存储器1101中存储有操作系统1105，用于处理各种基本系统服务和用于执行硬件相关任务的程序；还存储有应用软件1106，用于实现本发明实施例中的注意力判断方法的各个步骤。

在本发明实施例中，存储器1101可以是高速随机存取存储器，诸如DRAM、SRAM、DDR、RAM、或者其他随机存取固态存储设备，或者非易失性存储器，诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。

在本发明实施例中，处理器1102可通过通信模块1103接收和发送数据以实现网络通信或者本地通信。

用户接口1104可以包括一个或多个输入设备1107，比如键盘、鼠标、触屏显示器，用户接口1104还可以包括一个或者多个输出设备1108，比如显示器、扩音器等。

实施例五

另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述注意力判断方法的步骤。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种注意力判断方法，其特征在于，包括如下步骤：

获取目标人物的视频图像，识别所述视频图像中单帧图像的人脸图像，确定所述人脸图像中的第一瞳孔视线向量，所述第一瞳孔视线向量所在坐标系为相机坐标系；

将所述第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算所述第二瞳孔视线向量与预设平面上的交点坐标；

判断所述交点坐标与所述预设平面内预设区域的位置关系，若所述交点坐标偏离所述预设区域，确认所述目标人物视线偏离；

将预设时间内所述视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将所述视线偏离总次数与预设偏离次数进行比较，若所述视线偏离总次数大于所述预设偏离次数，则确定所述目标人物的注意力不集中。

2.如权利要求1所述的注意力判断方法，其特征在于，所述获取目标人物的视频图像，识别所述视频图像中单帧图像的人脸图像，确定所述人脸图像中的第一瞳孔视线向量，还包括：

若未识别到所述人脸图像，则确认所述目标人物为离开状态，将预设时间内所述视频图像包含的所有帧图像进行识别后，确定离开状态总次数；

若识别到所述人脸图像，且所述第一瞳孔视线向量为零向量，则确认所述目标人物为闭眼状态，将预设时间内所述视频图像包含的所有帧图像进行识别后，确定闭眼状态总次数。

3.如权利要求2所述的注意力判断方法，其特征在于，所述将所述视线偏离总次数与预设偏离次数进行比较，若所述视线偏离总次数大于所述预设偏离次数，则确定所述目标人物的注意力不集中，还包括：

若所述离开状态次数、所述闭眼状态次数和所述视线偏离总次数中的一个或一个以上大于预设的对应阈值，则确认所述目标人物的注意力不集中。

4.如权利要求1所述的注意力判断方法，其特征在于，所述将所述第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算所述第二瞳孔视线向量与预设平面上的交点坐标，具体包括：

识别人脸图像中的所述第一瞳孔视线向量经过的第一瞳孔位置坐标，以及获取所述第一瞳孔位置坐标到所述预设平面的目标直线距离；

根据所述目标直线距离将所述第一瞳孔位置坐标转换至世界坐标系，确定第二瞳孔位置坐标；

根据所述第二瞳孔位置坐标将所述第一瞳孔视线向量转换至世界坐标系，确定第二瞳孔视线向量；

将所述第二瞳孔视线向量投射到所述预设平面，确定所述第二瞳孔视线向量与所述预设平面的交点坐标。

5.如权利要求1或3所述的注意力判断方法，其特征在于，所述将预设时间内所述视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将所述视线偏离总次数与预设偏离次数进行比较，若所述视线偏离总次数大于所述预设偏离次数，则确认所述目标人物的注意力不集中，还包括：

若确认所述目标人物的注意力不集中，则调用提醒信息进行提醒，所述提醒信息包括视频提醒和声音提醒中的一种或两种的组合。

6.如权利要求1所述的注意力判断方法，其特征在于，所述获取目标人物的视频图像，识别所述视频图像中单帧图像的人脸图像，确定所述人脸图像中的第一瞳孔视线向量之前，还包括：

获取目标人物的身份验证图像，将所述身份验证图像与预设的身份图像进行对比，以验证所述目标人物的身份信息。

7.一种注意力判断装置，其特征在于，包括：

图像处理模块，用于获取目标人物的视频图像，识别所述视频图像中单帧图像的人脸图像，确定所述人脸图像中的第一瞳孔视线向量，所述第一瞳孔视线向量所在坐标系为相机坐标系；

交点坐标计算模块，用于将所述第一瞳孔视线向量转换为世界坐标体系下的第二瞳孔视线向量，并计算所述第二瞳孔视线向量与预设平面上的交点坐标；

交点坐标位置判断模块，用于判断所述交点坐标与所述预设平面内预设区域的位置关系，若所述交点坐标偏离所述预设区域，确认所述目标人物视线偏离；

注意力状态判断模块，用于将预设时间内所述视频图像包含的所有帧图像进行识别后，确定视线偏离总次数，并将所述视线偏离总次数与预设偏离次数进行比较，若所述视线偏离总次数大于所述预设偏离次数，则确定所述目标人物的注意力不集中。

8.一种注意力判断系统，其特征在于，包括：

图像采集装置，用于采集目标人物的视频图像；

注意力判断装置，用于获取所述目标人物的视频图像，执行权利要求1～6任一项所述注意力判断方法，以确定目标人物的注意力状态。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至6中任一项权利要求所述注意力判断方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至6中任一项权利要求所述注意力判断方法的步骤。