CN110826374B - 监测人眼注视时间的方法和装置、存储介质、电子设备 - Google Patents

Abstract

本申请涉及一种监测人眼注视时间方法和装置、电子设备、存储介质，通过电子设备的前置摄像头按照预设频率采集3D人脸图像，调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕。根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间。本申请中通过电子设备的前置摄像头按照预设频率所采集的是3D人脸图像，3D人脸图像中包含更多更加详细的人脸信息。从而提高了通过调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕的判断结果的准确性。进而提高了根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间的准确性。

Description

监测人眼注视时间的方法和装置、存储介质、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种监测人眼注视时间的方法和装置、存储介质、电子设备。

背景技术

现代社会移动终端等电子设备在生活中发挥着越来越重要的作用，方便了人们的生活，人们也越来越离不开这些电子设备。许多人们长时间地使用电子设备看视频或者玩游戏等，这会对视力和健康产生非常坏的影响。因此如何让用户在使用电子设备的过程中既得到了娱乐，同时还能够兼顾视力健康，已经成为一个亟待解决的问题。

发明内容

本申请实施例提供一种监测人眼注视时间的方法和装置、存储介质、电子设备，可以提高监测人眼注视时间过程中的准确性。

一种监测人眼注视时间的方法，所述方法包括：

通过电子设备的前置摄像头按照预设频率采集3D人脸图像；

调用3D人脸识别模型判断所述3D人脸图像中的人眼是否注视所述电子设备的屏幕；

根据判断结果计算所述3D人脸图像中的人眼持续注视所述电子设备的屏幕的时间，得到人眼的持续注视时间。

一种监测人眼注视时间装置，所述装置包括：

3D人脸图像采集模块，用于通过电子设备的前置摄像头按照预设频率采集3D人脸图像；

判断模块，用于调用3D人脸识别模型判断所述3D人脸图像中的人眼是否注视所述电子设备的屏幕；

持续注视时间计算模块，用于根据判断结果计算所述3D人脸图像中的人眼持续注视所述电子设备的屏幕的时间，得到人眼的持续注视时间。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的监测人眼注视时间的方法的步骤。

一种电子设备，包括存储器和处理器，所述存储器上存储有能在处理器上运行的计算机程序，处理器执行计算机程序时执行如上所述的监测人眼注视时间的方法的步骤。

上述监测人眼注视时间的方法和装置、存储介质、电子设备，通过电子设备的前置摄像头按照预设频率采集3D人脸图像，调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕。根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间。本申请中通过电子设备的前置摄像头按照预设频率所采集的是3D人脸图像，3D人脸图像中包含更多更加详细的人脸信息。从而提高了通过调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕的判断结果的准确性。进而提高了根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的内部结构图；

图2为一个实施例中监测人眼注视时间方法的流程图；

图3为一个实施例中3D人脸识别模型的训练过程的流程图；

图4为图2中调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕的方法的流程图；

图5为另一个实施例中监测人眼注视时间方法的流程图；

图6为再一个实施例中监测人眼注视时间方法的流程图；

图7为一个实施例中监测人眼注视时间装置的结构示意图；

图8为再一个实施例中监测人眼注视时间装置的结构示意图；

图9为又一个实施例中监测人眼注视时间装置的结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的场景识别方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种监测人眼注视时间的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

在一个实施例中，如图2所示，提供了一种监测人眼注视时间的方法以该方法应用于图1中的电子设备为例进行说明，包括：

步骤220，通过电子设备的前置摄像头按照预设频率采集3D人脸图像。

本申请实施例中所涉及的电子设备的前置摄像头是可以采集3D数据(包含景深数据)的摄像头，例如3D结构光摄像头等。3D结构光的优势在于可以实现快速毫米级别的深度信息检测，计算复杂度远远降低，并且能够提供高精度的3D点云数据，因此采用3D结构光摄像头所采集到的3D人脸图像比传统的2D人脸数据包含更多的数据量，可以更加准确地对人脸进行三维建模。例如，通过电子设备上所配置的3D结构光摄像头采集当前图像，判断当前图像中是否存在人脸，若存在则采集3D人脸图像。例如，电子设备的前置摄像头按照预设的频率采集3D人脸图像，预设的频率不需要设置的太高，因为用户有时候短暂的转移视线(即非注视屏幕)可以忽略。例如，用户短暂地转移视线在10s以内，都是可以忽略的，因为只是短暂地非注视屏幕在10s以内，并不能使得眼睛得到充分的休息。当然，此处的预设频率可以设置为6张/分钟只是举例，当然，也可以根据科学依据而选用其他的时间去定义采集3D人脸图像的频率。

步骤240，调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕。

3D人脸识别模型为预先通过大量的人脸图像数据采用深度学习所得，且已经部署在电子设备上以备调用。3D人脸识别模型可以用来判断3D人脸图像中的人眼是否注视电子设备的屏幕，具体地，判断的原理为：对上述采集的每张3D人脸图像对应的3D数据进行三维重建得到人眼的位置信息；根据人眼的位置信息从3D人脸图像对应的数据中获取人眼的3D数据；调用3D人脸识别模型对人眼的3D数据进行分析，判断出3D人脸图像中的人眼是否注视电子设备的屏幕。

步骤260，根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间。

在对上述电子设备的前置摄像头按照预设频率所采集的3D人脸图像，同时依次判断3D人脸图像中的人眼是否注视电子设备的屏幕，得到判断结果。再根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间。具体地，依次判断3D人脸图像中的人眼是否注视电子设备的屏幕，直到判断出3D人脸图像中的人眼未注视电子设备的屏幕为止。假设采集图像的预设频率可以设置为6张/分钟，那么一分钟就需要采集6张3D人脸图像。例如，若当采集到第360张3D人脸图像的时候，所判断出结果都是人眼还是一直注视屏幕。即得出此次所计算出的人眼的持续注视时间已经超过了一个小时。此处的持续注视屏幕表示用户每次转移视线不超过10s。例如，若当采集到第180张3D人脸图像的时候，对第180张图像进行判断，得出人眼发生了视线转移，即此时人眼并未注视在电子设备的屏幕上。即得出此次所计算出的人眼的持续注视时间为半个小时。然后再继续对按照预设频率采集的后续图像进行判断，具体地，对所采集的第181张图像进行判断，若判断出第181张图像中的人眼注视在电子设备的屏幕上，那么此时就开始第二次计算人眼的持续注视时间。若判断出第181张图像中的人眼仍然未注视在电子设备的屏幕上，那么此时就继续对下一张图像进行判断，直到判断出图像中的人眼注视在电子设备的屏幕上，再开始第二次计算人眼的持续注视时间，如此循环下去以实现监测人眼注视时间。

本申请实施例中，通过电子设备的前置摄像头按照预设频率采集3D人脸图像，调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕。根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间。所采集到的3D人脸图像比传统的2D人脸数据包含更多的数据量，可以更加准确地对人脸进行三维建模，以便后续更加准确地判断出3D人脸图像中的人眼是否注视电子设备的屏幕。进一步根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，大大提高了监测人眼注视时间的准确性。

在一个实施例中，如图3所示，3D人脸识别模型的训练过程，包括：

步骤320，预先通过电子设备的前置摄像头采集多张3D人脸图像，对3D人脸图像中的人眼是否注视电子设备的屏幕进行标注，得到3D人脸图像的标注信息。

预先通过电子设备的前置摄像头采集各种各样类型注视屏幕的人脸以及各种各样类型非注视屏幕的人脸。其中，各式各样类型包括以不同角度注视屏幕的不同类型的人脸，不同角度可以包括正视、斜视等。此时的前置摄像头可以是3D结构光摄像头，将所采集的多张3D人脸图像构成图像集。对图像集中的每张3D人脸图像中的人眼是否注视电子设备的屏幕进行标注，此时可以由人工进行判断每张3D人脸图像中的人眼是否注视电子设备的屏幕进行标注，也可以采用图像识别软件辅助完成。将3D人脸图像中的人眼注视电子设备的屏幕，进行标注为1，将3D人脸图像中的人眼未注视电子设备的屏幕，进行标注为0。得到图像集中所有3D人脸图像的标注信息。

步骤340，对3D人脸图像进行三维重建得到人眼的位置信息。

然后，对图像集中的每张3D人脸图像进行三维重建，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建的步骤一般包括：

(1)图像获取：在进行图像处理之前，先要用摄像机获取三维物体的二维图像。光照条件、相机的几何特性等对后续的图像处理造成很大的影响。

(2)摄像机标定：通过摄像机标定来建立有效的成像模型，求解出摄像机的内外参数，这样就可以结合图像的匹配结果得到空间中的三维点坐标，从而达到进行三维重建的目的。

(3)特征提取：特征主要包括特征点、特征线和区域。大多数情况下都是以特征点为匹配基元，特征点以何种形式提取与用何种匹配策略紧密联系。因此在进行特征点的提取时需要先确定用哪种匹配方法。

特征点提取算法可以总结为：基于方向导数的方法，基于图像亮度对比关系的方法，基于数学形态学的方法三种。

(4)立体匹配：立体匹配是指根据所提取的特征来建立图像对之间的一种对应关系，也就是将同一物理空间点在两幅不同图像中的成像点进行一一对应起来。在进行匹配时要注意场景中一些因素的干扰，比如光照条件、噪声干扰、景物几何形状畸变、表面物理特性以及摄像机机特性等诸多变化因素。

(5)三维重建：有了比较精确的匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息。由于三维重建精度受匹配精度，摄像机的内外参数误差等因素的影响，因此首先需要做好前面几个步骤的工作，使得各个环节的精度高，误差小，这样才能设计出一个比较精确的立体视觉系统。

对3D人脸图像进行三维重建得到人眼的位置信息。采用三维重建方式所得到的人眼的位置信息，比只采用2D图像所得到的人眼的位置信息更加准确。

步骤360，根据人眼的位置信息从3D人脸图像中获取人眼图像。

再根据从某张3D人脸图像中所得到的人眼位置信息，从该张3D人脸图像中进行抠图，抠出人眼图像。所抠出的人眼图像仍然是3D图像，这样人眼图像中就包含更多特征信息。此处可以只对3D人脸图像中的一只人眼进行获取人眼位置信息，以及从3D人脸图像中抠出这只人眼图像。当然，一般是对双眼进行执行上述操作。

步骤380，将人眼图像与人眼所属的3D人脸图像的标注信息输入神经网络中进行训练，得到3D人脸识别模型。

将从3D人脸图像中进行抠图，抠出人眼图像之后，将人眼图像转化为统一的格式输入至神经网络中。再将与该人眼所属的3D人脸图像的标注信息也输入神经网络中，从而进行训练得到3D人脸识别模型。3D人脸识别模型可以通过对人眼图像中的眼球信息、焦点信息等进行分析，从而得出人眼注视屏幕时眼球信息、焦点信息所具备的特征。

本申请实施例中，对3D人脸识别模型的训练过程进行了详细地解释，具体地，预先采集了由多张3D人脸图像所构成的数据集，且对数据集中的3D人脸图像中的人眼是否注视电子设备的屏幕进行了标注。后续通过对3D人脸图像进行三维重建得到人眼的位置信息，比只采用2D图像所得到的人眼的位置信息更加准确。再进一步根据人眼的位置信息从3D人脸图像中获取人眼图像。最后将人眼图像与人眼所属的3D人脸图像的标注信息输入神经网络中进行训练，得到3D人脸识别模型。且人眼图像也为3D图像，显然比2D图像包含更多的特征信息，以使得训练出来的3D人脸识别模型能够更加准确地判断出3D人脸图像中的人眼是否注视电子设备的屏幕。

在一个实施例中，多张3D人脸图像包括对不同年龄段、不同性别的用户注视屏幕的人脸图像及非注视屏幕的人脸图像，注视屏幕的人脸图像包含从不同角度注视电子设备屏幕的人脸图像。

具体地，用于训练3D人脸识别模型的数据集中包含多张3D人脸图像。为了提高3D人脸识别模型的准确性和泛化能力，因此多张3D人脸图像应该尽可能地包含各种各样的情况。例如，首先多张3D人脸图像包括注视屏幕的人脸图像，也包括非注视屏幕的人脸图像。其中，注视屏幕的人脸图像包含不同年龄段、不同性别的用户注视屏幕的人脸图像，更进一步包含不同年龄段、不同性别的用户从不同角度进行注视屏幕的人脸图像。其中，非注视屏幕的人脸图像也可以包含不同年龄段、不同性别的用户非注视屏幕的人脸图像。

本申请实施例中，用于训练3D人脸识别模型的数据集中所包含的多张3D人脸图像，不仅包含注视屏幕的人脸图像，也包括非注视屏幕的人脸图像。这样在进行模型训练的时候，可以根据区别点更好地进行训练。且注视屏幕的人脸图像包含不同年龄段、不同性别的用户注视屏幕的人脸图像，更进一步包含不同年龄段、不同性别的用户从不同角度进行注视屏幕的人脸图像。因为不同年龄段、不同性别的用户的人脸图像具有一定的区别点，且从不同的角度进行注视屏幕的人脸图像也具有一定的区别点，使得从中所抠出的人眼图像也具有一定的区别点，所以这样就可以使得输入至神经网络进行训练的人眼图像比较丰富全面，尽量涵盖比较多的情况。

在一个实施例中，如图4所示，步骤240，调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕，包括：

步骤242，对3D人脸图像进行三维重建得到人眼的位置信息。

获取电子设备的前置摄像头实时拍摄的3D人脸图像，对该3D人脸图像进行三维重建得到人眼的位置信息。

步骤244，根据人眼的位置信息从3D人脸图像中获取人眼图像。

再根据从该3D人脸图像中所得到的人眼位置信息，从该3D人脸图像中进行抠图，抠出人眼图像。所抠出的人眼图像仍然是3D图像，这样人眼图像中就包含更多特征信息。

步骤246，调用3D人脸识别模型对人眼图像进行分析，判断出3D人脸图像中的人眼是否注视电子设备的屏幕。

调用预先训练好且部署在电子设备上的3D人脸识别模型对人眼图像进行分析，3D人脸识别模型可以通过对人眼图像中的眼球信息、焦点信息等进行分析，从而判断出该3D人脸图像中的人眼是否注视电子设备的屏幕。且整个过程可以离线处理，充分保护了用户的个人隐私，避免信息的泄露。

本申请实施例中，获取电子设备的前置摄像头实时拍摄的3D人脸图像，对该3D人脸图像进行三维重建得到人眼的位置信息。再进一步获取到人眼图像，调用预先训练好且部署在电子设备上的3D人脸识别模型对人眼图像进行分析，3D人脸识别模型可以通过对人眼图像中的眼球信息、焦点信息等进行分析，从而判断出该3D人脸图像中的人眼是否注视电子设备的屏幕。对电子设备按照预设频率所拍摄的每一张3D人脸图像依次进行判断出人眼是否注视电子设备的屏幕。从而计算出人眼的持续注视时间，以便监测人眼注视时间。

在一个实施例中，如图5所示，在根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间之后，包括：

步骤270，判断持续注视时间是否达到预设时间阈值，若是，执行步骤280，若否，执行步骤290。

步骤280，生成提醒信号；

步骤290，继续统计持续注视时间。

具体地，预设时间阈值可以是根据科学用眼所规定的时间所获得，例如，科学用眼建议连续用眼1小时休息5分钟。因此，预设时间阈值可以设置为1小时，当然还可以根据其他规定设置为其他合理的数值。

在经过上述计算出了用户的持续注视时间之后，判断此次持续注视时间是否超过预设时间阈值(1小时)，当采集图像的预设频率可以设置为6张/分钟时，1小时内就会拍摄到360张图像。若依次对这连续的360张图像进行判断人眼是否注视电子设备的屏幕，所得出的判断结果都是人眼注视在电子设备的屏幕上，那么就得出了人眼的持续注视时间超过了预设时间阈值，此时就需要生成提醒信号以提醒用户进行休息护眼，例如提醒用户可以通过转移视线或眺望远处以缓解视力疲劳。

若在对实时拍摄的图像进行判断人眼是否注视电子设备的屏幕时，并未达到连续360张图像的判断结果都是注视屏幕，那么说明用户持续用眼还未达到1小时。例如，才统计到连续180张图像的判断结果都是注视屏幕，此时的持续用眼时间为半小时，因此，暂不进行提醒，且继续统计本次持续注视时间直到达到预设时间阈值。

当然还有一种情况是，若在对实时拍摄的3D人脸图像进行判断人眼是否注视电子设备的屏幕时，在第180张图像进行判断时，得出此时人眼并未注视在电子设备的屏幕上，因此结束本次累计的持续注视时间，本次的持续注视时间为半小时，还未达到预设时间阈值，因此不需要进行提醒。且从下次实时拍摄的3D人脸图像就开始进入下一次持续注视时间的统计周期。

本申请实施例中，在当前统计的持续注视时间达到预设时间阈值的时候，就生成提醒信号以提醒用户进行休息，大大降低了用户因长时间持续用眼而诱发眼部疾病的概率，同时使得电子设备的设计更加人性化、科学化。而当未出现判断结果为非注视屏幕，且未达到预设时间阈值的时候，就继续统计本次的持续注视时间直到达到预设时间阈值。若未达到预设时间阈值，但是一旦出现了判断结果为非注视屏幕，即结束本次统计的持续注视时间，开始下一次持续注视时间的统计周期。

在一个实施例中，如图6所示，在判断出持续注视时间未超过预设时间阈值，则继续统计持续注视时间之后，包括：

步骤620，当检测到本次持续注视时间出现间断时，记录间断时间。

当检测到本次持续注视时间出现间断时，即对某张3D人脸图像进行判断人眼是否注视电子设备的屏幕时，判断结果出现了非注视屏幕，此时即为出现了间断。假设拍摄3D人脸图像的预设频率为6张/分钟，那么当检测到一张3D人脸图像的判断结果出现了非注视屏幕，那么间断时间就为10s，依次累计，若检测到连续30张3D人脸图像的判断结果都出现了非注视屏幕，那么此时间断时间就为300s即5分钟。若并未检测到连续30张3D人脸图像的判断结果出现了非注视屏幕，那么此时间断时间就不足5分钟。

步骤640，判断间断时间是否达到预设休息时间，若是，执行步骤660，若否，执行步骤680。

假设预设休息时间为5分钟，那么判断间断时间是否达到预设休息时间。若检测到连续30张3D人脸图像的判断结果出现了非注视屏幕，那么此时间断时间就为300s即5分钟，达到了预设休息时间。若并未检测到连续30张3D人脸图像的判断结果出现了非注视屏幕，那么此时间断时间就不足5分钟，未达到了预设休息时间。

步骤660，结束计算本次持续注视时间，本次持续注视时间中不包含间断时间。

若判断出间断时间达到预设休息时间，则说明用户已经自行进行了休息，且休息时间达到了预设休息时间，即不需要再强制用户进行休息了。此时，结束计算本次持续注视时间，本次持续注视时间中不包含间断时间。然后从下一次判断出用户注视屏幕的时候开始统计下一次持续注视时间。

步骤680，将间断时间计算入本次持续注视时间，且继续统计本次持续注视时间。

若判断出间断时间未达到预设休息时间，则说明用户虽然已经自行进行了休息，但是休息时间并未达到预设休息时间，即休息不够还是需要继续统计本次持续注视时间，直到达到了预设时间阈值生成提醒信号，强制用户进行休息。此时，继续统计本次持续注视时间，且将间断时间计算入本次持续注视时间。

例如，若只是检测到连续18张3D人脸图像的判断结果出现了非注视屏幕，那么此时间断时间为3分钟不足5分钟，未达到预设休息时间。那么就继续统计本次持续注视时间，且将这3分钟计算入本次持续注视时间。

本申请实施例中，考虑了间断时间，且对间断时间进行判断，当间断时间达到了预设休息时间的时候，说明用户自行进行了休息，且休息程度已经符合要求。此时就可以直接结束计算本次持续注视时间，然后从下一次判断出用户注视屏幕的时候开始统计下一次持续注视时间。这样计算出的持续注视时间就更加合理，避免了一出现间断就重新计算持续注视时间，其实用户也并未进行足够的休息，就在一定程度上延长了持续注视时间，而用户实际已经用眼过度。

在一个实施例中，提醒信号以弹窗的形式出现在电子设备的屏幕上。

本申请实施例中，在持续注视时间达到了预设时间阈值时，就生成提醒信号，提醒信号的表现形式有很多种，例如，当预设时间阈值为1小时，且预设休息时间为5分钟的时候，以弹窗的形式出现在电子设备的屏幕上。弹窗上显示“亲爱的主人，已经连续用眼一小时了，可以稍微休息一下”，并在弹窗上进行5分钟倒计时。在倒计时期间，用户不可以对屏幕进行任何操作，这样就强制了用户去休息。当然，也可以在弹窗上设置拒绝的选项，以便用户在处理紧急事件的时候，继续对屏幕进行注视。当然，弹窗上还可以出现护眼的绿色背景等。

在一个实施例中，如图7所示，提供了一种监测人眼注视时间装置700包括：3D人脸图像采集模块720、判断模块740及持续注视时间计算模块760。其中，

3D人脸图像采集模块720，用于通过电子设备的前置摄像头采集3D人脸图像；

判断模块740，用于调用3D人脸识别模型判断3D人脸图像中的人眼是否注视电子设备的屏幕；

持续注视时间计算模块760，用于根据判断结果计算3D人脸图像中的人眼持续注视电子设备的屏幕的时间，得到人眼的持续注视时间。

在一个实施例中，如图8所示，提供了一种监测人眼注视时间装置700还包括：3D人脸识别模型训练模块710。3D人脸识别模型训练模块710用于预先通过电子设备的前置摄像头采集多张3D人脸图像，对3D人脸图像中的人眼是否注视电子设备的屏幕进行标注，得到3D人脸图像的标注信息；对3D人脸图像进行三维重建得到人眼的位置信息；根据人眼的位置信息从3D人脸图像中获取人眼图像；将人眼图像与人眼所属的3D人脸图像的标注信息输入神经网络中进行训练，得到3D人脸识别模型。

在一个实施例中，判断模块740，还用于对3D人脸图像进行三维重建得到人眼的位置信息；根据人眼的位置信息从3D人脸图像中获取人眼图像；调用3D人脸识别模型对人眼图像进行分析，判断出3D人脸图像中的人眼是否注视电子设备的屏幕。

在一个实施例中，提供了一种监测人眼注视时间装置700，如图9所示，还包括提醒模块780，用于判断持续注视时间是否达到预设时间阈值；若是，则生成提醒信号；若否，则继续统计持续注视时间。

在一个实施例中，提供了一种监测人眼注视时间装置700，还包括间断时间计算及判断模块，用于当检测到本次持续注视时间出现间断时，记录间断时间；判断间断时间是否达到预设休息时间；若是，则结束计算本次持续注视时间，本次持续注视时间中不包含间断时间；若否，则将间断时间计算入本次持续注视时间，且继续统计本次持续注视时间。

上述监测人眼注视时间装置中各个模块的划分仅用于举例说明，在其他实施例中，可将监测人眼注视时间装置按照需要划分为不同的模块，以完成上述监测人眼注视时间装置的全部或部分功能。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的监测人眼注视时间方法的步骤。

在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例所提供的监测人眼注视时间方法的步骤。

本申请实施例还提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的监测人眼注视时间方法的步骤。

本申请实施例还提供一种电子设备。该电子设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以电子设备为手机为例：上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的监测人眼注视时间技术的各个方面。

如图10所示，图像处理电路包括第一ISP处理器930、第二ISP处理器940和控制逻辑器950。第一摄像头910包括一个或多个第一透镜912和第一图像传感器914。第一图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器914可获取用第一图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器930处理的一组图像数据。第二摄像头920包括一个或多个第二透镜922和第二图像传感器924。第二图像传感器924可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器924可获取用第二图像传感器924的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器940处理的一组图像数据。

第一摄像头910采集的第一图像传输给第一ISP处理器930进行处理，第一ISP处理器930处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第一摄像头910的控制参数，从而第一摄像头99可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器930进行处理后可存储至图像存储器960中，第一ISP处理器930也可以读取图像存储器960中存储的图像以对进行处理。另外，第一图像经过ISP处理器930进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。

其中，第一ISP处理器930按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器930可对图像数据进行一个或多个监测人眼注视时间操作、收集关于图像数据的统计信息。其中，监测人眼注视时间操作可按相同或不同的位深度计算精度进行。

图像存储器960可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器914接口时，第一ISP处理器930可进行一个或多个监测人眼注视时间操作，如时域滤波。处理后的图像数据可发送给图像存储器960，以便在被显示之前进行另外的处理。第一ISP处理器930从图像存储器960接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器930处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器930的输出还可发送给图像存储器960，且显示器970可从图像存储器960读取图像数据。在一个实施例中，图像存储器960可被配置为实现一个或多个帧缓冲器。

第一ISP处理器930确定的统计数据可发送给控制逻辑器950。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜912阴影校正等第一图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头910的控制参数及第一ISP处理器930的控制参数。例如，第一摄像头910的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜912阴影校正参数。

同样地，第二摄像头920采集的第二图像传输给第二ISP处理器940进行处理，第二ISP处理器940处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器950，控制逻辑器950可根据统计数据确定第二摄像头920的控制参数，从而第二摄像头920可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器940进行处理后可存储至图像存储器960中，第二ISP处理器940也可以读取图像存储器960中存储的图像以对进行处理。另外，第二图像经过ISP处理器940进行处理后可直接发送至显示器970进行显示，显示器970也可以读取图像存储器960中的图像以进行显示。第二摄像头920和第二ISP处理器940也可以实现如第一摄像头910和第一ISP处理器930所描述的处理过程。

以下为运用图10中监测人眼注视时间技术实现监测人眼注视时间方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种监测人眼注视时间的方法，其特征在于，所述方法包括：

通过电子设备的前置摄像头按照预设频率采集3D人脸图像；

对所述3D人脸图像对应的3D点云数据进行三维重建得到人眼的位置信息；根据所述人眼的位置信息从所述3D人脸图像中获取3D人眼图像；调用3D人脸识别模型对所述3D人眼图像中的眼球信息、焦点信息进行分析，判断出所述3D人脸图像中的人眼是否注视所述电子设备的屏幕；其中，判断出所述3D人脸图像中的人眼是否注视所述电子设备的屏幕地过程为离线处理过程；所述3D人脸识别模型的训练过程，包括：

预先通过电子设备的前置摄像头采集多张3D人脸图像，对所述3D人脸图像中的人眼是否注视电子设备的屏幕进行标注，得到所述3D人脸图像的标注信息；

对所述3D人脸图像对应的3D点云数据进行三维重建得到人眼的位置信息；

根据所述人眼的位置信息从所述3D人脸图像中获取3D人眼图像；

将所述3D人眼图像与所述人眼所属的3D人脸图像的标注信息输入神经网络中进行训练，得到3D人脸识别模型；

根据判断结果计算所述3D人脸图像中的人眼持续注视所述电子设备的屏幕的时间，得到人眼的持续注视时间。

2.根据权利要求1所述的方法，其特征在于，所述多张3D人脸图像包括不同年龄段、不同性别的用户注视屏幕的人脸图像及非注视屏幕的人脸图像，所述注视屏幕的人脸图像包含从不同角度注视电子设备屏幕的人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述不同角度包括正视角度、斜视角度中的任意一种。

4.根据权利要求1所述的方法，其特征在于，在根据判断结果计算所述3D人脸图像中的人眼持续注视所述电子设备的屏幕的时间，得到人眼的持续注视时间之后，包括：

判断所述持续注视时间是否达到预设时间阈值；

若是，则生成提醒信号；

若否，则继续统计持续注视时间。

5.根据权利要求4所述的方法，其特征在于，在判断出所述持续注视时间未超过预设时间阈值，则继续统计持续注视时间之后，包括：

当检测到本次持续注视时间出现间断时，记录间断时间；

判断所述间断时间是否达到预设休息时间；

若是，则结束计算本次持续注视时间，所述本次持续注视时间中不包含所述间断时间；

若否，则将所述间断时间计算入本次持续注视时间，且继续统计本次持续注视时间。

6.根据权利要求4所述的方法，其特征在于，所述提醒信号以弹窗的形式出现在电子设备的屏幕上。

7.一种监测人眼注视时间装置，其特征在于，所述装置包括：

3D人脸图像采集模块，用于通过电子设备的前置摄像头按照预设频率采集3D人脸图像；

判断模块，用于对所述3D人脸图像对应的3D点云数据进行三维重建得到人眼的位置信息；根据所述人眼的位置信息从所述3D人脸图像中获取3D人眼图像；调用3D人脸识别模型对所述3D人眼图像中的眼球信息、焦点信息进行分析，判断出所述3D人脸图像中的人眼是否注视所述电子设备的屏幕；其中，判断出所述3D人脸图像中的人眼是否注视所述电子设备的屏幕地过程为离线处理过程；

持续注视时间计算模块，用于根据判断结果计算所述3D人脸图像中的人眼持续注视所述电子设备的屏幕的时间，得到人眼的持续注视时间；

3D人脸识别模型训练模块，用于预先通过电子设备的前置摄像头采集多张3D人脸图像，对3D人脸图像中的人眼是否注视电子设备的屏幕进行标注，得到3D人脸图像的标注信息；对3D人脸图像对应的3D点云数据进行三维重建得到人眼的位置信息；根据人眼的位置信息从3D人脸图像中获取3D人眼图像；将3D人眼图像与人眼所属的3D人脸图像的标注信息输入神经网络中进行训练，得到3D人脸识别模型。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

间断时间计算及判断模块，用于当检测到本次持续注视时间出现间断时，记录间断时间；判断所述间断时间是否达到预设休息时间；若是，则结束计算本次持续注视时间，所述本次持续注视时间中不包含所述间断时间；若否，则将所述间断时间计算入本次持续注视时间，且继续统计本次持续注视时间。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的监测人眼注视时间的方法的步骤。

10.一种电子设备，包括存储器和处理器，所述存储器上存储有能在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的监测人眼注视时间的方法的步骤。

Images