CN112817550A - 一种数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种数据处理方法及装置，方法包括：获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；确定所述第一图像中的第一对象的注意力是否在第一显示屏上；在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。上述实现方案针对多个屏幕的应用场景，在用户的注意力脱离主显示屏的情况下，能够结合主显示屏之外的其他显示屏上的显示内容来确定用户的注意力是否在该显示屏上，从而利于后续对多屏幕应用场景下用户专注度的判断，满足用户的实际需求。

Description

一种数据处理方法及装置

技术领域

本申请涉及数据处理技术，更具体的说，是涉及一种数据处理方法及装置。

背景技术

当前，由于许多场景中单一显示屏已经无法满足用户需要，因此很多用户在办公和学习中也越来越离不开外接显示器。为了观看的舒适性以及多电子内容同时展示的便利性，多屏显示的显示方式成为越来越多用户的选择。

一些场景中，如网络课程场景中，经常需要检测上课用户对显示屏幕的专注度，以为网络课程质量评估提供参考数据。传统的一些用户专注度的检测仅是针对但单显示屏应用场景的专注度检测，目前尚不存在针对多屏显示的用户专注度检测方法。

发明内容

有鉴于此，本申请提供如下技术方案：

一种数据处理方法，包括：

获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；

确定所述第一图像中的第一对象的注意力是否在第一显示屏上；

在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；

在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

可选的，所述确定第一图像中的第一对象的注意力是否在第一显示屏，包括：

基于所述第一对象的头部偏离角度和/或眼睛的视线方向确定第一图像中的第一对象的注意力是否在第一显示屏。

可选的，所述确定是否存在与第一显示屏具有关联关系的第二显示屏，包括：

确定第一系统中是否存在区别于所述第一显示屏的第二显示屏，所述第一显示屏和所述第二显示屏的显示内容均来自于所述第一系统；

或；

确定是否存在与所述第一系统具有网络连接关系且具有第二显示屏的第二系统，其中第一显示屏的显示内容来自于所述第一系统，所述第二显示屏的显示内容来自于所述第二系统。

可选的，所述至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏，包括：

至少基于所述第二显示屏上的显示内容的关联事件确定所述第一对象的注意力是否在第二显示屏，所述显示内容的关联事件包括光标移动、键盘输入、页面切换、窗口变动中的至少一种。

可选的，所述至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏，包括：

至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，所述注视辅助数据为与所述第一对象相关的数据。

可选的，所述注视辅助数据包括所述第一对象的视线方向；

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，包括：

至少基于所述第二显示屏上的显示内容和所述第一对象的视线方向确定所述第一对象的注意力是否在第二显示屏。

可选的，所述注视辅助数据包括所述第一对象注视第一注视位置的第一占比数据，所述第一占比数据为所述第一对象注视所述第一注视位置的时间与第一对象的注意力在所述第一显示屏以外区域的时间的比值；

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，包括：

基于所述第二显示屏上的显示内容和所述第一占比数据确定所述第一对象的注意力是否在第二显示屏上。

可选的，所述专注度辅助数据包括所述眼睛闭合的第二占比数据，所述第二占比数据为所述第一对象的注意力在所述第一显示屏以外区域的时间中，所述第一对象的眼睛为闭合状态的时间占比；

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，包括：

基于所述第二显示屏上的显示内容、所述第二占比数据确定所述第一对象的注意力是否在第二显示屏上。

可选的，所述方法还包括：

在所述第一对象的注意力在所述第二显示屏上的情况下，根据所述第二显示屏的显示内容确定所述第一对象的专注度。

一种数据处理装置，包括：

图像获取模块，用于获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；

第一确定模块，用于确定所述第一图像中的第一对象的注意力是否在第一显示屏上；

显示屏确定模块，用于在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；

第二确定模块，用于所述显示屏确定模块确定存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

进一步的，本申请还公开了一种电子设备，包括：

处理器；

存储器，用于存储处理器的可执行指令；

其中，所述可执行指令包括：获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；确定所述第一图像中的第一对象的注意力是否在第一显示屏上；在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

经由上述的技术方案可知，与现有技术相比，本申请实施例公开了一种数据处理方法及装置，方法包括：获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；确定所述第一图像中的第一对象的注意力是否在第一显示屏上；在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。上述实现方案针对多个屏幕的应用场景，在用户的注意力脱离主显示屏的情况下，能够结合主显示屏之外的其他显示屏上的显示内容来确定用户的注意力是否在该显示屏上，从而利于后续对多屏幕应用场景下用户专注度的判断，满足用户的实际需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种数据处理方法的流程图；

图2为用户使用两个显示屏的一个场景示意图；

图3为用户使用两个显示屏的另一个场景示意图；

图4为本申请实施例公开的用户侧头观看第一显示屏的场景示意图；

图5为用户正坐斜视第一显示屏之外其他区域的场景示意图；

图6为本发明实施例公开的另一种数据处理方法的流程图；

图7为本发明实施例公开的一个完整实现的逻辑流程图；

图8为本发明实施例公开的一种数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例可以应用于电子设备，本申请对该电子设备的产品形式不做限定，可以包括但并不局限于智能手机、平板电脑、可穿戴设备、个人计算机(personalcomputer，PC)、上网本等，可以依据应用需求选择。

图1为本申请实施例公开的一种数据处理方法的流程图，参见图1所示，数据处理方法可以包括：

步骤101：获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像。

在用户使用多屏幕进行学习或工作的场景中，用户需要观看两个甚至更多的显示屏，用户通常会坐在一个便于控制电子设备的位置，这个位置对应有第一显示屏，该第一显示屏可以是前述电子设备自身的显示屏。本实施例中，将第一显示屏之外且与第一显示屏需要同时应用的显示屏统称为第二显示屏，本申请对第二显示屏的数量和相对于第一显示屏的放置位置并没有固定限制。例如，一个应用场景中，用户使用笔记本电脑和一个外接显示屏在进行网络课程的学习，用户坐在笔记本电脑前，便于通过键盘或鼠标等输入设备控制笔记本电脑，笔记本电脑的显示屏可以理解为前述第一显示屏，外接显示屏可以理解为前述第二显示屏。图2为上述场景的示意图，可结合图2理解上述场景。

第一图像可以通过包含第一显示屏或第二显示屏的电子设备上的摄像头获取，也可以通过包含第一显示屏或第二显示屏的电子设备之外的单独摄像设备获取，本申请对比并不限制。具体的，第一图像的取景范围需要保证能够采集到第一显示屏前方固定区域范围内的图像，第一图像的拍摄角度也需要保证能够清楚的拍摄到的用户头部和眼睛位置，以便于后续通过对用户头部姿态和眼睛注视方向的相关分析，确定用户是否在观看第一显示屏。

第一图像可以为拍摄第一显示屏前方第一范围内的视频中的任意一帧图像，也可以是一个时间段内的多张图像的集合，可以理解为短时间段的一个视频能够拆分成的多帧图像的集合。

步骤101后，进入步骤102。

步骤102：确定所述第一图像中的第一对象的注意力是否在第一显示屏上。

其中，第一对象即可以理解为用户，确定第一对象的注意力是否在第一显示屏上，即确定用户的眼睛是否在观看第一显示屏。

在第一图像为拍摄第一显示屏前方第一范围内的视频中的任意一帧图像时，通过单独一张的图像，可以确定用户是否在观看第一显示屏，通过持续一段时间的连续的多帧第一图像的综合分析，可以确定用户的注意力是否在第一显示屏上。当然，用户在使用电子设备的过程中，会出现眨眼等短暂闭合眼睛的动作，这种情况下，单凭一张用户眼睛闭合的第一图像不能确定用户的注意力不在第一显示屏上，需要集合该第一图像前后一段时间内的其他第一图像来综合判断。

当然，第一图像也可以是一个时间段内的多张图像的集合；结合前述用户眨眼情况的说明，通过一个持续时间段内的多个图像的综合分析，确定用户的注意力是否在第一显示屏上，结果更加客观准确。该实现中对于第一对象的注意力的确定过程更加直接。

步骤103：在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏。

在用户同时使用多个显示屏的场景中，用户需要交替观看第一显示屏和第一显示屏之外的第二显示屏，因此，在用户的视线脱离出第一显示屏对应的范围区域后，需要确定用户的注意力是否在第二显示屏上。若用户的注意力在第二显示屏上，则说明用户保持着较高的专注度；若用户在实现脱离出第一显示屏对应的范围区域后，注意力不在第二显示屏上，则说明用户已被其他与电子设备系统正在运行显示的学习或工作内容无关的事件分散了注意力。

因此，在用户没有观看第一显示屏的情况下，要确定用户的注意力是否在与第一显示屏具有关联关系的第二显示屏上，需要首先确定当前是否为多显示屏应用场景，也即，在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏。

与第一显示屏具有关联关系的第二显示屏，即用户在通过当前的电子设备进行学习或工作过程中，需要与第一显示屏同时应用的显示屏，其有不同的实现，在后面的实施例中将对其不同实现做详细记载，在此不再过多的介绍。

步骤104：在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

在确定存在上述第二显示屏的情况下，可以基于第二显示屏上的显示内容，以及一些其他的数据，如用户的注视方向和注视时长等，来综合判断用户的注意力是否在第二显示屏上。

由于对于系统而言，第二显示屏的摆放位置并不明确，因此，当用户的注视方向不在第一显示屏上时，用户可能是在观看第二显示屏，也可能是在关注其他与当前系统输出的显示内容无关的事物。而当第二显示屏上的显示内容发生变化时，通常用户需要关注其变化内容，或用户需要在第二显示屏上进行一些操作时，用户必然也会看向第二显示屏，因此本实施例中，需要至少基于第二显示屏上的显示内容来确定第一对象的注意力是否在第二显示屏上。

确定第一对象的注意力是否在第二显示屏上具有多种实现方式，本申请对此不做固定限制，在后面的实施例中，将对其中几种实现方式做详细介绍。

本实施例所述数据处理方法针对多个屏幕的应用场景，在用户的注意力脱离主显示屏的情况下，能够结合主显示屏之外的其他显示屏上的显示内容来确定用户的注意力是否在该显示屏上，进而确定用户是在关注其他显示屏上的显示内容，或是在关注与其他显示屏显示内容没有关系的无关事件，从而利于后续对多屏幕应用场景下用户专注度的判断，满足用户的实际需求。

上述实施例中，所述确定第一图像中的第一对象的注意力是否在第一显示屏，可以包括：基于所述第一对象的头部偏离角度和/或眼睛的视线方向确定第一图像中的第一对象的注意力是否在第一显示屏。

本申请实施例中，结合实际情况中用户的行为状态，从头部偏离角度和眼睛的视线方向来确定用户的注意力是否在第一显示屏。实际应用中，第一显示屏的大小是确定的，其对应的用户头部偏离角度范围和眼睛的视线方向对准的区域时也是确定的。当用户头部偏离角度超过第一显示屏对应的角度范围或眼睛的视线方向对准的区域超出第一显示屏对应的区域时，则说明用户已不再观看第一显示屏，则其注意力也不在第一显示屏上。如图3所示，其中以用户注意力在第二显示屏为例。

上述基于头部偏离角度和眼睛的视线方向确定第一对象注意力是否在第一显示屏的两种实现方式可以单独实现，也可以结合实现。例如一些情况下，用户在长时间学习或工作的过程中，颈椎出现不适，则可能歪着头，眼睛斜视的关注着第一显示屏，这种情况下，若单纯以用户头部偏离角度来判断用户的注意力是否在第一显示屏上，可能会得到“第一对象注意力不在第一显示屏”的错误结果。如图4所示，为本申请实施例公开的用户侧头观看第一显示屏的示意图。

或者，一些场景下，用户面部正对第一显示屏，然而眼睛却斜视着第一显示屏之外旁边的位置，这种情况下，若单纯以用户头部偏离角度来判断用户的注意力是否在第一显示屏上，也可能会得到“第一对象注意力在第一显示屏”的错误结果。如图5所示，为用户正坐斜视第一显示屏之外其他区域的示意图。

因此，将上述头部偏离角度和眼睛的视线方向的两种实现方式结合使用的判断准确度更加精准。

上述实施例中，所述确定是否存在与第一显示屏具有关联关系的第二显示屏，可以包括：确定第一系统中是否存在区别于所述第一显示屏的第二显示屏，所述第一显示屏和所述第二显示屏的显示内容均来自于所述第一系统。

本实现中，第二显示屏和第一显示屏均由第一系统提供输出内容，两者通过不同的显示端口连接在第一系统上，当然，此处所述显示端口可以是实体的物理端口，也可以是通过无线通信技术实现连接的虚拟端口。第二显示屏可以是第一系统的外接显示屏，具体可以为扩展显示屏、投影屏等实现。第一显示屏和第二显示屏上的显示内容可以完全不同，也可以部分相同。例如，在远程会议应用窗口页面内，有部分显示区域显示的是远方会议现场的视频，为了更加清楚的观看到远方会议现场的情况，可以将远方会议现场的视频画面单独配置在一个外接显示屏上进行放大显示，这时，第一显示屏上的显示内容与第二显示屏的显示内容部分相同。再如，在网络课程进行场景中，学生通过第一显示屏观看老师讲课的视频，在外接的第二显示屏上观看与课程内容相关的文件或文档，这时第一显示屏和第二显示屏上显示内容完全不同。上述两个例子中，第一显示屏和第二显示屏的显示内容均由第一系统输出。

或者，确定是否存在与第一显示屏具有关联关系的第二显示屏，可以包括：确定是否存在与所述第一系统具有网络连接关系且具有第二显示屏的第二系统，其中第一显示屏的显示内容来自于所述第一系统，所述第二显示屏的显示内容来自于所述第二系统。

例如，一个实现中，用户通过网络连接对远方的电子设备进行远程控制，第一显示屏上显示用户自身观看的内容，第二显示屏上显示远程被控电子设备的桌面内容，则第二显示屏上显示的内容为远方电子设备的第二系统输出提供的。

上述实施例中，所述至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏，可以包括：至少基于所述第二显示屏上的显示内容的关联事件确定所述第一对象的注意力是否在第二显示屏，所述显示内容的关联事件包括光标移动、键盘输入、页面切换、窗口变动中的至少一种。

当第二显示屏上的显示内容发生变化时，用户通常会关注其变化内容；或用户操作第二显示屏上的显示内容时，用户必然也会看向第二显示屏，因此，当第二显示屏上的显示内容，包括前述光标移动、页面切换、键盘输入、窗口变动等处理造成的显示内容的响应变动时，用户的注意力不在第一显示屏上，则可以确定这种情况下用户的注意力在第二显示屏上。

另一个实现中，所述至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏，可以包括：至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，所述注视辅助数据为与所述第一对象相关的数据。

注释辅助数据可以为表征第一对象注视情况的数据，一个示例中，所述注释辅助数据包括所述第一对象的视线方向；则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，可以包括：至少基于所述第二显示屏上的显示内容和所述第一对象的视线方向确定所述第一对象的注意力是否在第二显示屏。

具体实现中，第一对象的视线方向仅能确定用户在不在看第一显示屏，而无法确定在第一对象的视线方向所对准的区域不属于第一显示屏区域时，第一对象是否在注视第二显示屏。若当第一对象的视线方向偏离第一显示屏时之前或之后一段时间内，第二显示屏上的显示内容也发生了变动，则确定第一对象的注意力在第二显示屏。

例如，当第一显示屏上显示视频中的老师说道“接下来看第下一页”，且同时该老师在其控制侧控制显示下一页图像，则用户侧第二显示屏上显示的文档内容会对应的发生变化；根据老师的上述提示言语，用户会转头观看第二显示屏上刚刚切换完成或马上要切换显示的新的显示内容。这种情况下，第二显示屏内容发生变动，用户的视线方向也在第二显示屏内容发生变化前后固定的一段时间内偏离出第一显示屏，则确定用户的注意力在第二显示屏上。

另一个示例中，所述注视辅助数据包括所述第一对象注视第一注视位置的第一占比数据，所述第一占比数据为所述第一对象注视所述第一注视位置的时间与第一对象的注意力在所述第一显示屏以外区域的时间的比值。

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，可以包括：基于所述第二显示屏上的显示内容和所述第一占比数据确定所述第一对象的注意力是否在第二显示屏上。

实际应用中，第二显示屏一旦安置好后，或在使用过程中，其位置通常是不会发生变动的，因此当用户在观看第二显示屏时，其头部偏离角度和/或眼睛的视线方向对准的位置也基本上在一个固定的范围或区域中，因此，当能够表征第一对象注视第一注视位置的第一占比数据较大时，可以确定用户经常会注视一个特定的位置或范围，结合第二显示屏的显示内容，如前所述，若在用户注视第一注视位置时，第二显示屏的内容会发生一些变动，则可以确定用户的注意力在第二显示屏上。

又一个示例中，所述专注度辅助数据包括所述眼睛闭合的第二占比数据，所述第二占比数据为所述第一对象的注意力在所述第一显示屏以外区域的时间中，所述第一对象的眼睛为闭合状态的时间占比。

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，可以包括：基于所述第二显示屏上的显示内容、所述第二占比数据确定所述第一对象的注意力是否在第二显示屏上。

实际应用中，用户可能由于疲累过度或缺少睡眠，在使用电子设备的过程中闭眼睡着，这种情况下，即使用户的头部偏离角度正对着第二显示屏，但由于用户已经睡着，也不能够确定用户的注意力在第二显示屏上。

因此，本实现中，在用户的注意力不在第一显示屏上的情况下，判断其注意力是否在第二显示屏上的条件增加了用户的眼睛闭合的第二占比数据，若检测到用户的眼睛长时间处于闭合状态，或累计闭合的时间较长，则确定用户的注意力不在第二显示屏上。

图6为本发明实施例公开的另一种数据处理方法的流程图，参见图6所示，数据处理方法包括：

步骤601：获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像。

步骤602：确定所述第一图像中的第一对象的注意力是否在第一显示屏上。

步骤603：在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏。

步骤604：在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

步骤605：在所述第一对象的注意力在所述第二显示屏上的情况下，根据所述第二显示屏的显示内容确定所述第一对象的专注度。

用户的专注度是一个时段性的结果，即需要通过一段时间内用户观看显示屏的情况来确定用户的专注度。如用户在专心听讲网络课程的过程中，门开了，其可能会抬头或转头看下一门口，但这个短暂的动作并不会影响对其专注度的确定或成为判断专注度的重要条件。

本实施例中，在确定了第一对象的注意力在第二显示屏的情况下，可以进一步结合第二显示屏的显示内容来综合判断用户的专注度，若第二显示屏的显示内容为实时演示的内容，即显示内容变动比较频繁的情况，则可以确定用户的专注度较高，若第二显示屏的显示内容长时间未发生变化，但用户的注意力长时间维持在第二显示屏，则可以确定用户的专注度较差。

当然，确定用户专注度的具体实现方式并不限于上述内容，例如还可以结合用户视线方向的改变来判断，如在第二显示屏上显示的内容从左上角移动到右下角时，分析确定用户的视线方向是否会发生第二显示屏范围区域内的微移，若用户的视线方向跟随发生微移，则说明用户专注度较高；若当在上述情况下，用户的视线方向从未发生过移动，则说明用户可能在盯着第二显示屏发呆，则确定用户的专注度较差。

一个具体实现中，通过摄像头采集第一图像，利用人脸和关键点模型检测人脸和眼睛，再通过头部姿态模型检测头部姿态，根据预先标定的姿态阈值判断头部是否偏离第一显示屏。

当用户头部偏离第一显示屏时，检测当前使用设备是否连接有外接显示器。如果有外接显示器，检测眼睛是否闭合和眼睛注视方向，再统计一定时间段内头部姿态朝向每一个方向的时间的所占比例、眼睛注视每个方向时间的所占比例，以及眼睛闭合状态的所占比例。当头部姿态维持在一定范围内时，眼睛注视方向也维持在一定范围内，且闭眼比例小于阈值、结合系统设置状态(包括但不限于连接左/右外接显示器、光标位置、键盘响应显示、应用程序运行、输出内容变化、输出内容位置移动等)来综合判断用户的专注度。如果检测到系统没有外接显示器，统计一定时间内头部偏离第一显示屏的时间占用户使用电子设备的全部时间的比例，如果该比例值大于阈值，确定用户专注度较差。

当用户头部没有偏离第一显示屏时，同样检测人脸是否闭合和眼睛偏离角度，统计一定时间内头部姿态每个方向所占比例，眼睛注视每个方向所占比例和眼睛闭合状态所占比例。当眼睛偏离第一显示屏的时间的所占比例小于阈值，且闭眼时间所占比例小于阈值，确定用户专注力较高。

综上过程，确定用户是否专注看第一显示屏或者第二显示屏。图7为本发明实施例公开的一个完整实现的逻辑流程图，可结合图7理解前述具体实现的过程。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。

图8为本发明实施例公开的一种数据处理装置的结构示意图，参见图8所示，数据处理装置80可以包括：

图像获取模块801，用于获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像。

第一确定模块802，用于确定所述第一图像中的第一对象的注意力是否在第一显示屏上。

显示屏确定模块803，用于在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏。

第二确定模块804，用于所述显示屏确定模块确定存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

本实施例所述数据处理装置针对多个屏幕的应用场景，在用户的注意力脱离主显示屏的情况下，能够结合主显示屏之外的其他显示屏上的显示内容来确定用户的注意力是否在该显示屏上，进而确定用户是在关注其他显示屏上的显示内容，或是在关注与其他显示屏显示内容没有关系的无关事件，从而利于后续对多屏幕应用场景下用户专注度的判断，满足用户的实际需求。

一个实现中，第一确定模块802具体可用于：基于所述第一对象的头部偏离角度和/或眼睛的视线方向确定第一图像中的第一对象的注意力是否在第一显示屏。

一个实现中，显示屏确定模块803具体可用于：确定第一系统中是否存在区别于所述第一显示屏的第二显示屏，所述第一显示屏和所述第二显示屏的显示内容均来自于所述第一系统；或；确定是否存在与所述第一系统具有网络连接关系且具有第二显示屏的第二系统，其中第一显示屏的显示内容来自于所述第一系统，所述第二显示屏的显示内容来自于所述第二系统。

一个实现中，第二确定模块804具体可用于：至少基于所述第二显示屏上的显示内容的关联事件确定所述第一对象的注意力是否在第二显示屏，所述显示内容的关联事件包括光标移动、键盘输入、页面切换、窗口变动中的至少一种。

一个实现中，第二确定模块804具体可用于：至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，所述注视辅助数据为与所述第一对象相关的数据。

一个实现中，所述注视辅助数据包括所述第一对象的视线方向，则所述第二确定模块804具体可用于：至少基于所述第二显示屏上的显示内容和所述第一对象的视线方向确定所述第一对象的注意力是否在第二显示屏。

一个实现中，所述注视辅助数据包括所述第一对象注视第一注视位置的第一占比数据，所述第一占比数据为所述第一对象注视所述第一注视位置的时间与第一对象的注意力在所述第一显示屏以外区域的时间的比值；则所述第二确定模块804具体可用于：基于所述第二显示屏上的显示内容和所述第一占比数据确定所述第一对象的注意力是否在第二显示屏上。

一个实现中，所述专注度辅助数据包括所述眼睛闭合的第二占比数据，所述第二占比数据为所述第一对象的注意力在所述第一显示屏以外区域的时间中，所述第一对象的眼睛为闭合状态的时间占比；则所述第二确定模块704具体可用于：基于所述第二显示屏上的显示内容、所述第二占比数据确定所述第一对象的注意力是否在第二显示屏上。

一个实现中，数据处理装置还可以包括：专注度确定模块，用于在所述第一对象的注意力在所述第二显示屏上的情况下，根据所述第二显示屏的显示内容确定所述第一对象的专注度。

上述数据处理装置及各个模块的具体实现可参见方法实施例中相应部分的内容介绍，在此不再重复赘述。

上述实施例中的所述的任意一种数据处理装置包括处理器和存储器，上述实施例中的图像获取模块、第一确定模块、显示屏确定模块、第二确定模块、专注度确定模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述实施例中所述的数据处理方法。

本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述实施例中所述的数据处理方法。

进一步，本实施例提供了一种电子设备，包括处理器以及存储器。其中存储器用于存储所述处理器的可执行指令，所述处理器配置为经由执行所述可执行指令来执行上述实施例中所述的数据处理方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，包括：

获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；

确定所述第一图像中的第一对象的注意力是否在第一显示屏上；

在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；

在存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

2.根据权利要求1所述的数据处理方法，所述确定第一图像中的第一对象的注意力是否在第一显示屏，包括：

基于所述第一对象的头部偏离角度和/或眼睛的视线方向确定第一图像中的第一对象的注意力是否在第一显示屏。

3.根据权利要求1所述的数据处理方法，所述确定是否存在与第一显示屏具有关联关系的第二显示屏，包括：

确定第一系统中是否存在区别于所述第一显示屏的第二显示屏，所述第一显示屏和所述第二显示屏的显示内容均来自于所述第一系统；

或；

确定是否存在与所述第一系统具有网络连接关系且具有第二显示屏的第二系统，其中第一显示屏的显示内容来自于所述第一系统，所述第二显示屏的显示内容来自于所述第二系统。

4.根据权利要求1所述的数据处理方法，所述至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏，包括：

至少基于所述第二显示屏上的显示内容的关联事件确定所述第一对象的注意力是否在第二显示屏，所述显示内容的关联事件包括光标移动、键盘输入、页面切换、窗口变动中的至少一种。

5.根据权利要求1所述的数据处理方法，所述至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏，包括：

至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，所述注视辅助数据为与所述第一对象相关的数据。

6.根据权利要求5所述的数据处理方法，所述注视辅助数据包括所述第一对象的视线方向；

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，包括：

至少基于所述第二显示屏上的显示内容和所述第一对象的视线方向确定所述第一对象的注意力是否在第二显示屏。

7.根据权利要求5所述的数据处理方法，所述注视辅助数据包括所述第一对象注视第一注视位置的第一占比数据，所述第一占比数据为所述第一对象注视所述第一注视位置的时间与第一对象的注意力在所述第一显示屏以外区域的时间的比值；

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，包括：

基于所述第二显示屏上的显示内容和所述第一占比数据确定所述第一对象的注意力是否在第二显示屏上。

8.根据权利要求5所述的数据处理方法，所述专注度辅助数据包括所述眼睛闭合的第二占比数据，所述第二占比数据为所述第一对象的注意力在所述第一显示屏以外区域的时间中，所述第一对象的眼睛为闭合状态的时间占比；

则所述至少基于所述第二显示屏上的显示内容和注视辅助数据确定所述第一对象的注意力是否在第二显示屏上，包括：

基于所述第二显示屏上的显示内容、所述第二占比数据确定所述第一对象的注意力是否在第二显示屏上。

9.根据权利要求1-8任一项所述的数据处理方法，所述方法还包括：

在所述第一对象的注意力在所述第二显示屏上的情况下，根据所述第二显示屏的显示内容确定所述第一对象的专注度。

10.一种数据处理装置，包括：

图像获取模块，用于获取第一图像，所述第一图像为第一显示屏前方第一范围内的图像；

第一确定模块，用于确定所述第一图像中的第一对象的注意力是否在第一显示屏上；

显示屏确定模块，用于在所述第一对象的注意力不在所述第一显示屏的情况下，确定是否存在与所述第一显示屏具有关联关系的第二显示屏；

第二确定模块，用于所述显示屏确定模块确定存在所述第二显示屏的情况下，至少基于所述第二显示屏上的显示内容确定所述第一对象的注意力是否在第二显示屏上。

Images