CN116257139A - 眼动追踪方法和电子设备 - Google Patents

Abstract

本申请实施例提供了一种眼动追踪方法和电子设备，该方法由电子设备执行，该电子设备包括摄像头，该方法包括：在所述电子设备接收到通知消息的情况下，控制所述摄像头以第一帧率采集图像；对采集的图像进行人脸检测，根据人脸检测结果确定所述摄像头继续采集图像时所使用的图像采集帧率；控制所述摄像头以所述图像采集帧率采集图像。根据采集的图像确定用户的眼动识别结果，以及根据所述眼动识别结果展开或收起所述通知消息。该方法可以降低电子设备在眼动追踪过程的处理功耗。

Description

眼动追踪方法和电子设备

技术领域

本申请涉及电子技术领域，具体涉及一种眼动追踪方法和电子设备。

背景技术

当人类的眼球移动时，我们可以对其进行跟踪，了解它的移动轨迹和当前注视点，这就是眼动追踪技术。

当前，随着电子技术的不断发展，电子设备与用户之间的交互形式越来越丰富，眼动追踪技术也被应用于电子设备与用户的交互体验中。例如，电子设备通过识别用户眼球的注视点，来判断用户的操作意图，从而自动为用户执行相应的操作。

发明内容

本申请提供了一种眼动追踪方法和电子设备，可以降低电子设备在眼动追踪过程的处理功耗。

第一方面，本申请提供一种眼动追踪方法，该方法由电子设备执行，所述电子设备包括摄像头，所述方法包括：在所述电子设备接收到通知消息的情况下，控制所述摄像头以第一帧率采集图像；对采集的图像进行人脸检测，根据人脸检测结果确定所述摄像头继续采集图像时所使用的图像采集帧率；控制所述摄像头以所述图像采集帧率采集图像。根据采集的图像确定用户的眼动识别结果，以及根据所述眼动识别结果展开或收起所述通知消息。

其中，电子设备在接收到通知消息的情况下，通常会对用户进行提示，例如以横幅通知进行提示，在此场景下，电子设备可以通过摄像头采集图像以检测用户眼部的注视点位置，根据用户眼部的注视点位置确定用户是否关注该通知消息，以及在用户关注时展开通知消息，在用户不关注时收起通知消息。

在该实现方式中，为降低电子设备的处理功耗，电子设备可以在眼动追踪过程的开始阶段，控制摄像头以第一帧率(也即高帧率)来采集图像，并检测所采集的图像中是否包括人脸，进而根据人脸检测结果动态调整摄像头的图像采集帧率。在摄像头采集到图像后，电子设备再对图像进行识别，以确定用户的眼动识别结果，进而执行展开通知消息或收起通知消息的操作。

可选地，上述摄像头包括但不限于前置红绿蓝RGB相机和前置飞行时间TOF相机。

上述实现方式，电子设备通过动态调整摄像头的图像采集帧率，使电子设备无需持续在高帧率下处理图像，减少了处理功耗。

结合第一方面，在第一方面的有些实现方式中，上述根据人脸检测结果确定所述摄像头继续采集图像时所使用的图像采集帧率，包括：若所述人脸检测结果为图像中包括人脸，则确定所述第一帧率为所述图像采集帧率；若所述人脸检测结果为图像中不包括人脸，则确定第二帧率为所述图像采集帧率，其中，所述第一帧率大于所述第二帧率。

也即是说，在所采集的图像中包括人脸的情况下，说明用户关注通知消息的可能性较大，则电子设备可以控制摄像头继续以第一帧率(即高帧率)采集图像，以捕获更多的图像变化信息。在所采集的图像中不包括人脸的情况下，说明用户关注通知消息的可能性较小，则电子设备可以控制摄像头以第二帧率(即低帧率)采集图像，以降低电子设备的处理功耗。

结合第一方面，在第一方面的有些实现方式中，在所述图像采集帧率为所述第二帧率的情况下，在所述控制所述摄像头以所述图像采集帧率采集图像之后，上述方法还包括：检测连续采集的N帧图像中是否包括人脸；若包括人脸，则将所述图像采集帧率切换为所述第一帧率，控制所述摄像头继续以所述第一帧率采集图像。

也即是说，在低帧率采集图像的情况下，电子设备会继续检测所采集的图像中是否包括人脸，如果连续N帧(例如5帧)图像中有人脸，则说明用户可能开始注视通知消息，电子设备可以再切换为高帧率采集图像。

可选地，如果连续N帧图像都没有出现人脸，则说明用户再注视通知消息的可能性更小，电子设备便可以收起通知消息并停止眼动追踪过程，以进一步降低功耗。

结合第一方面，在第一方面的有些实现方式中，若所述人脸检测结果为图像中不包括人脸，则确定第二帧率为所述图像采集帧率，包括：若第一预设帧数的图像中都不包括人脸，则确定第二帧率为所述图像采集帧率。

其中，为避免电子设备频繁的切换摄像头的图像采集帧率，在电子设备检测所采集的图像中是否包括人脸时，可以检测第一预设帧数的图像中是否包括人脸。示例性的，第一预设帧数可以为20帧，如果这20帧图像中出现过人脸，则电子设备控制摄像头继续以第一帧率采集图像，如果这20帧图像都未出现过人脸，则控制摄像头以第二帧率采集图像。或者，从对图像进行检测开始，未出现过人脸的图像帧数累计到20帧，也即检测到未出现过人脸的次数累积到20次，则控制摄像头以第二帧率采集图像。

结合第一方面，在第一方面的有些实现方式中，所述根据采集的图像确定用户的眼动识别结果，包括：对所述采集的图像进行识别，确定用户眼部的注视点在所述电子设备的显示屏上的位置。

在电子设备获取到摄像头采集的图像之后，可以通过算法处理输出眼动识别结果，该眼动识别结果中可以包括但不限于用户眼部特征、眼部的位置信息；通过该眼动识别结果，电子设备可以估计出用户眼部的注视点在显示屏上的位置，进而确定用户眼部的注视点是否在通知消息所在的区域。

在一个实现方式中，若用户眼部的注视点在所述显示屏上通知消息所在的区域，则展开所述通知消息；若用户眼部的注视点不在所述显示屏上通知消息所在的区域，则收起所述通知消息。

也即是说，如果用户眼部的注视点在通知消息所在的区域，表示用户在注视(关注)该通知消息，则电子设备可以展开该通知消息供用户查看。如果用户眼部的注视点不在通知消息所在的区域，表示用户不注视(关注)该通知消息，则电子设备可以收起该通知消息。

上述实现方式中，电子设备通过对采集的图像进行识别后确定用户眼部的注视点，如果用户注视到通知消息，则可以自动展开通知消息供用户查看，减少了用户的操作过程，提高用户体验。

结合第一方面，在第一方面的有些实现方式中，若用户眼部的注视点在所述显示屏上通知消息所在的区域，则展开所述通知消息，包括：若用户眼部的注视点在所述通知消息所在的区域，且注视时长大于第一预设时长，则展开所述通知消息。

若用户眼部的注视点不在所述显示屏上通知消息所在的区域，则收起所述通知消息，包括：若用户眼部的注视点不在所述通知消息所在的区域，且持续时长大于第二预设时长，则收起所述通知消息。

其中，为提高电子设备所确定的需要展开或是收起通知消息的结果的准确性，电子设备可以判断用户眼部的注视点在通知消息所在的区域的注视时长，如果用户注视通知消息的时长大于第一预设时长(例如3秒)，则电子设备可以展开该通知消息；若用户眼部的注视点离开通知消息所在的区域，并超过第二预设时长(例如1秒)，则说明用户不关注该通知消息，电子设备可以收起通知消息。

结合第一方面，在第一方面的有些实现方式中，在确定用户眼部的注视点在所述电子设备的显示屏上的位置之后，所述方法还包括：在所述电子设备的显示屏上以光标形式显示所述用户眼部的注视点的位置。

其中，在电子设备确定了用户眼部的注视点在电子设备的显示屏上的位置之后，还可以在显示屏上显示该位置，例如以光标形式进行显示，以提示用户当前的注视点，提高用户体验。

第二方面，本申请提供一种装置，该装置包含在电子设备中，该装置具有实现上述第一方面及上述第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，接收模块或单元、处理模块或单元等。

第三方面，本申请提供一种电子设备，电子设备包括：处理器、存储器和接口；处理器、存储器和接口相互配合，使得电子设备执行第一方面的技术方案中任意一种方法。

第四方面，本申请提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法。

可选地，芯片还包括存储器，存储器与处理器通过电路或电线连接。

进一步可选地，芯片还包括通信接口。

第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得该处理器执行第一方面的技术方案中任意一种方法。

第六方面，本申请提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在电子设备上运行时，使得该电子设备执行第一方面的技术方案中任意一种方法。

附图说明

图1是本申请实施例提供的一例眼动追踪方法的应用场景图；

图2是本申请实施例提供的一例电子设备的结构示意图；

图3是本申请实施例提供的一例电子设备的软件结构框图；

图4是本申请实施例提供的另一例电子设备的软件结构框图；

图5是本申请实施例提供的一例开启眼动追踪功能的界面示意图；

图6是本申请实施例提供的一例设置眼动追踪功能的界面示意图；

图7是本申请实施例提供的一例眼动追踪方法的流程示意图；

图8是本申请实施例提供的一例通知消息展开及进入应用的界面示意图；

图9是本申请实施例提供的另一例眼动追踪方法的流程示意图；

图10是本申请实施例提供的一例眼动追踪方法的信令交互示意图；

图11是本申请实施例提供的又一例眼动追踪方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。

对于眼动追踪技术应用于电子设备与用户之间的交互体验的过程，例如图1所示，当用户的眼睛看向电子设备的显示屏的不同区域或注视某一点时，眼部会有细微的变化，这些变化会产生可以被提取的特征，电子设备的摄像头可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到通过眼睛来控制电子设备的目的。

在一些场景中，用户在使用电子设备时，若电子设备接收到了短信或

等通知消息，通常会以通知弹窗形式提醒用户。如果用户想要查看该通知消息的内容，则需要手动点击通知弹窗以显示消息内容或者进入通知消息对应的应用来查看，该操作过程便携性不高。另外，如果所接收到的短信或/>

等通知消息内容较长时，因电子设备通知弹窗的尺寸有限，不能显示出完整的消息内容，则还需要用户滑动消息内容进行查看，操作过程较为繁琐。

针对该场景，本申请实施例利用眼动追踪技术，当电子设备接收到了短信或

等通知消息时，通过摄像头采集图像，对采集的图像进行识别后确定用户眼部的注视点。可选地，这里的摄像头包括但不限于红绿蓝RGB相机和/或飞行时间(time of flight，TOF)相机。如果用户注视到通知消息，则可以自动展开通知消息供用户查看，减少了用户的操作过程，提高用户体验。同时，为减少电子设备的处理功耗，还可以根据对图像的识别结果控制RGB相机和/或TOF相机的图像采集帧率，具体实现过程详见下述实施例的描述。

可以理解，本申请实施例提供的眼动追踪方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等可以具有采集图像以及识别功能的电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

示例性的，图2是本申请实施例提供的一例电子设备100的结构示意图。以电子设备100是手机为例，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。图2中的天线1和天线2的结构仅为一种示例。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。在一些实施例中，摄像头193可以包括RGB相机和/或TOF相机。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图3是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。

如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，WLAN，蓝牙，音乐，视频，短信息，设置等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动等。

在图3所示的软件结构的基础上，如图4所示，其是本申请实施例提供的一例电子设备的软件系统架构示意图，在该软件系统架构的基础上，可以实现本申请实施例的眼动追踪方法。

如图4所示，整个软件系统架构可以分为Android通用运行环境(rich executionenvironment，REE)和可信执行环境(trust execution environment，TEE)两部分。其中，TEE一般为安全区，是需要授权后才能访问的区域，Android REE(以下简称为REE)一般为非安全区；为确保安全性，RGB相机和/或TOF相机采集的图像数据需先通过安全通路传输至TEE侧，经过TEE侧的加密操作后再传回REE侧进行识别处理。本申请实施例中对图像进行处理的过程由REE侧来执行，是因为REE侧进行算法时，可以随时申请所需的内存，算法结束后还可以将内存进行返还，提高了电子设备的内存利用率。

在REE侧，软件系统架构可以分为应用程序层(APP)、应用程序框架层(FWK)、硬件抽象层(HAL)、内核层(Kernel)和硬件层(Hardware)。

其中，应用程序层可以包括设置应用、SystemUI和swing框架。用户可以通过设置应用对电子设备进行各种功能的设置和管理，也即，用户可以通过该设置应用开启或关闭电子设备的眼动追踪功能，以及管理眼动追踪功能的用户数据。SystemUI即系统用户界面，它可以为系统提供基础的显示界面，例如屏幕顶端的状态栏、屏幕底部的导航栏、下拉界面的快速设置栏、通知栏、锁屏界面、音量调节对话框以及截屏显示界面等功能。swing框架是一个为Java设计的GUI工具包，可以包括图形用户界面器件，如：文本框、按钮、分隔窗格和表等，其可以负责注册智慧感知服务围栏，在有通知消息时调起智慧感知服务，有注册结果返回时进行相应处理。

应用程序框架层可以包括相机服务和智慧感知服务。相机服务可以提供相机调用接口，并调度相机运行。智慧感知服务可以在被swing框架调起时，调用接口触发智慧感知Daemon运行，启动眼动追踪流程。

硬件抽象层可以包括相机HAL、智慧感知Daemon以及算法处理模块。其中，智慧感知Daemon可以包括相机控制模块、智慧感知CA和智慧感知HAL。相机控制模块可以根据智慧感知HAL的指令控制相机的参数，例如图像采集帧率等参数。智慧感知CA可以获取TEE侧加密后的图像数据，并交由智慧感知HAL，智慧感知HAL进而调用算法处理模块对图像数据进行处理。算法处理模块可以执行图像处理算法、眼动识别算法、眼动校准算法和人脸检测算法等。当算法处理模块得到处理结果后，便可以经由智慧感知Daemon回传到智慧感知服务和应用程序层，用于识别用户是否在注视通知消息区域，进而对通知消息进行展开、收起、退出、或者进入相应的应用等操作。

可以理解，TEE侧用于加密的智慧感知TA也可以位于硬件抽象层。为使TEE侧加密后的图像数据成功传回REE侧，电子设备可以在REE和TEE之间设置一个共享buffer，TEE侧的智慧感知TA将加密后的图像数据放入该共享buffer后，REE侧的智慧感知CA即可从中读取出加密后的图像数据。

内核层可以包括摄像头驱动，用于为RGB相机和TOF相机提供功能支持。硬件层可以包括RGB相机和TOF相机，用于采集图像数据，并将采集的图像数据通过安全通路传输至TEE侧。可选地，RGB相机和/或TOF相机可以通过高通安全通路(secure buffer)传输至TEE侧进行加密。可以理解，因用户在使用电子设备时通常是面向显示屏，则本申请实施例中所使用的RGB相机为电子设备的前置RGB相机，TOF相机为前置TOF相机，但为方便描述，以下简称为RGB相机和TOF相机。

为了便于理解，本申请以下实施例将以具有上述所示结构的电子设备为例，结合附图和应用场景，对本申请实施例提供的眼动追踪方法进行具体阐述。

首先介绍一下本申请实施例中眼动追踪功能的开启过程。示例性地，用户初次开启眼动追踪功能的界面可以如图5所示。在设置页面上具有智慧感知控件41，用户点击该控件后，电子设备可跳转至智慧感知页面；在智慧感知页面上，具有多个功能选项，例如智能注视、人脸感知、隔空手势等功能。如果用户点击了智能注视功能中的眼动追踪控件42，则可以进入眼动校准页面；在该页面上，用户可以根据电子设备的提示信息录入眼动数据，例如，根据图5所示的指引，依次注视显示屏上的5个位置，完成眼动数据的录入。

在录入眼动数据之后，用户还可以对眼动追踪功能进行设置，例如图6所示，可以进行注视横幅通知展开内容、注视横幅通知打开应用、删除眼动数据以及显示眼动光标的设置。示例性地，如果打开了注视横幅通知展开内容的开关，那么后续电子设备检测到用户眼部的注视点在通知消息所在的区域时，则可以展开通知消息；如果打开了注视横幅通知打开应用开关，那么后续电子设备检测到用户眼部的注视点在通知消息所在的区域时，则可以打开应用；如果打开了显示眼动光标开关，那么电子设备可以在显示屏上显示出一个光标，以表征眼动注视点。

其中，用户在录入眼动数据的过程中，电子设备可以启动RGB相机和TOF相机分别采集图像，并对采集的图像进行校准，得到用户的眼动校准数据。可选地，眼动校准数据可以包括但不限于用户眼部特征、眼部的位置索引等数据。可以理解，电子设备可以分别得到RGB相机对应的眼动校准数据和TOF相机对应的眼动校准数据。

对于用户注册眼动追踪功能的过程，结合上述图4的软件系统架构，即，上层业务通过智慧感知服务提供的Client SDK订阅感知应用(例如短信或

)的眼动围栏，感知应用通过HIDL接口注册智慧感知服务的眼动处理流程，如果是首次注册，则会分别调用pipeline_init()，atom_init()和triggers_init()，完成流水线、算法、相机等函数的注册。感知应用注册智慧感知服务的眼动处理流程以后，智慧感知服务会激活眼动pipeline，打开和配置相机参数，启动RGB相机和TOF相机出图，随后加载并初始化智慧感知TA。

在开启眼动追踪功能之后，电子设备便可以在接收到通知消息时调起智慧感知服务，图7是本申请实施例提供的一例眼动追踪方法的流程示意图，该方法由电子设备执行，具体可以包括：

S101，在电子设备接收到通知消息的情况下，检测用户眼部的注视点是否在通知消息所在的区域。

其中，电子设备所接收到的通知消息包括但不限于上述短信或

等通知消息。在电子设备接收到通知消息的情况下，可以调起智慧感知服务进行眼动追踪，也即触发RGB相机和/或TOF相机开始持续的采集图像数据(以下可简称为图像)。

在一个实施例中，电子设备可以触发RGB相机和TOF相机同时采集图像，进而由电子设备同时根据RGB相机和TOF相机采集的图像确定用户眼部的注视点。

在另一个实施例中，电子设备可以触发RGB相机或TOF相机中的一个来采集图像，进而由电子设备根据RGB相机或TOF相机采集的图像确定用户眼部的注视点。在该实施例中，可选地，电子设备可以根据环境光线值来确定由RGB相机还是TOF相机来采集图像；示例性地，当环境光线值大于或等于预设值时，采用RGB相机采集图像，当环境光线值小于预设值时，采用TOF相机采集图像。

可选地，RGB相机所采集的图像的分辨率可以为1024×768，TOF相机所采集的图像的分辨率可以为640×966。

在电子设备获取到RGB相机和/或TOF相机采集的图像之后，可以通过算法处理模块输出眼动识别结果，该眼动识别结果中可以包括但不限于用户眼部特征、眼部的位置信息；通过该眼动识别结果，电子设备可以估计出用户眼部的注视点在显示屏上的坐标，进而确定用户眼部的注视点是否在通知消息所在的区域。示例性地，在通知消息是横幅显示的情况下，通知消息所在的区域即显示屏的顶部区域。

在一个实施例中，电子设备可以对采集的图像进行识别，并将识别结果与用户的眼动校准数据进行对比，以确定眼动识别结果。

S102，若用户眼部的注视点在通知消息所在的区域，则展开通知消息。

S103，若用户眼部的注视点不在通知消息所在的区域，则收起通知消息。

可以理解，如果用户眼部的注视点在通知消息所在的区域，表示用户在注视(关注)该通知消息，则电子设备可以展开该通知消息供用户查看。如果用户眼部的注视点不在通知消息所在的区域，表示用户不注视(关注)该通知消息，则电子设备可以收起该通知消息并停止智慧感知服务。

在一个实施例中，电子设备还可以持续获取RGB相机和/或TOF相机采集的图像，并根据多帧图像的眼动识别结果确定用户注视通知消息的时长。若用户注视通知消息的时长大于第一预设时长(例如3秒)，则电子设备可以展开该通知消息；若用户眼部的注视点离开通知消息所在的区域，并超过第二预设时长(例如1秒)，则说明用户不关注该通知消息，电子设备可以收起通知消息。

在另一个实施例中，在电子设备展开通知消息之后，若再检测到用户注视通知消息的时长大于第三预设时长(例如3秒)，则电子设备可以触发进入对应的应用。例如，在通知消息是短信的情况下，电子设备可以进入短信应用。

示例性地，电子设备接收到通知消息并展开以及进入应用的过程可以如图8所示。假设用户正在使用电子设备查看新闻应用，以通知消息为短信为例，在电子设备接收到通知消息的情况下，通知消息可以在显示屏的顶部进行横幅显示，然后电子设备开始进行眼动识别，当确定到眼动识别结果之后，可以在显示屏上显示眼动光标。如果眼动光标在通知消息所在的区域的时长大于第一预设时长，则电子设备可以展开通知消息。如果眼动光标在展开的通知消息所在的区域的时长大于第三预设时长，则电子设备可以进入短信应用。

上述眼动追踪方法，当电子设备接收到通知消息时，通过RGB相机和/或TOF相机采集图像，对采集的图像进行识别后确定用户眼部的注视点，如果用户注视到通知消息，则可以自动展开通知消息供用户查看，减少了用户的操作过程，提高用户体验。

对于上述实施例的过程，在电子设备启动智慧感知服务后，RGB相机和/或TOF相机便会按照设置的参数来采集图像，例如按照设置的图像采集帧率(即1秒采集的帧数)采集图像。在一个实施例中，RGB相机和/或TOF相机的图像采集帧率为第一帧率，在另一个实施例中，RGB相机和/或TOF相机的图像采集帧率为第二帧率。其中，第一帧率大于第二帧率，第一帧率也可以称为高帧率，第二帧率也可以称为低帧率。示例性地，第一帧率为10帧/秒，第二帧率为5帧/秒。

在实际场景中，如果RGB相机和/或TOF相机持续以第一帧率采集图像的话，虽然可以捕获更多的图像变化信息，但会增加电子设备的处理功耗。如果RGB相机和/或TOF相机持续以第二帧率采集图像的话，虽然可以降低电子设备的处理功耗，但捕获的图像变化信息较少。因此，电子设备可以综合两种帧率的优势，在不同场景下使用不同的图像采集帧率。图9是本申请实施例提供的另一例眼动追踪方法的流程示意图，该方法可以包括：

S201，在电子设备接收到通知消息的情况下，触发RGB相机和/或TOF相机以第一帧率采集图像。

其中，在电子设备接收到通知消息的情况下，可以调起智慧感知服务进行眼动追踪，也即触发RGB相机和/或TOF相机开始持续的采集图像。在本申请实施例中，智慧感知服务被初始调起时，可以对RGB相机和/或TOF相机进行初始化，设置RGB相机和/或TOF相机的图像采集帧率为第一帧率，也即是说，电子设备先以高帧率来采集图像。

S202，检测所采集的图像中是否包括人脸，若包括则执行S203，若不包括则执行S204。

S203，控制RGB相机和/或TOF相机以第一帧率采集图像。

S204，控制RGB相机和/或TOF相机以第二帧率采集图像。

其中，电子设备可以调用算法处理模块对图像进行处理。这里的算法处理模块可以采用人脸检测算法来检测图像中是否包括人脸。可选地，人脸检测算法可以包括但不限于基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、基于神经网络进行识别的算法等，本申请实施例对人脸检测算法的具体过程不再详述。

如果电子设备检测到图像中包括人脸，则说明用户有注视通知消息的可能性，电子设备便控制RGB相机和/或TOF相机继续以高帧率采集图像，以捕获更多的图像变化信息。如果电子设备检测到图像中不包括人脸，则说明用户并没有在观看电子设备，用户注视通知消息的可能性较小，若继续以高帧率采集图像则会增加电子设备的处理功耗，那么此时电子设备便可以控制RGB相机和/或TOF相机继续以低帧率采集图像，以减少处理功耗。

在一个实施例中，为避免电子设备频繁的切换RGB相机和/或TOF相机的图像采集帧率，在电子设备检测所采集的图像中是否包括人脸时，可以检测第一预设帧数的图像中是否包括人脸。示例性的，第一预设帧数可以为20帧，如果这20帧图像中出现过人脸，则电子设备控制RGB相机和/或TOF相机继续以第一帧率采集图像，如果这20帧图像都未出现过人脸，则控制RGB相机和/或TOF相机以第二帧率采集图像。

在另一个实施例中，电子设备从开始检测所采集的图像中是否包括人脸时，可以开启一个计数器，从0开始计数。如果电子设备检测到一帧图像中不包括人脸，则对计数器的计数次数加1，如果下一帧图像中包括人脸，则不增加计数器的计数次数，以此类推。当计数器的计数次数达到预设次数时，例如预设次数为20次，即图像中不包括人脸的帧数累计达到20帧，则可以控制RGB相机和/或TOF相机以第二帧率采集图像，以及可以将计数器的计数次数归0。

在另一个实施例中，在电子设备检测所采集的图像中是否包括人脸时，可以检测第二预设帧数的图像中包括人脸的帧数是否达到预设比例。示例性的，第二预设帧数可以为30帧，预设比例可以为80％，如果超过80％帧图像中都出现人脸，则电子设备控制RGB相机和/或TOF相机继续以第一帧率采集图像，如果低于80％帧图像出现人脸，则控制RGB相机和/或TOF相机以第二帧率采集图像。

S205，在RGB相机和/或TOF相机以第二帧率采集图像的情况下，检测连续N帧图像中是否包括人脸，若包括则跳转执行S203，若不包括则执行S208。

也即是说，在低帧率采集图像的情况下，电子设备会继续检测所采集的图像中是否包括人脸，如果连续N帧(例如5帧)图像中有人脸，则说明用户可能开始注视通知消息，电子设备可以再切换为高帧率采集图像。如果连续N帧图像都没有出现人脸，则说明用户再注视通知消息的可能性较小，电子设备便可以收起通知消息并停止智慧感知服务，以进一步降低功耗。

在一个实施例中，在RGB相机和/或TOF相机以第二帧率采集图像的情况下，电子设备也可以根据以第二帧率采集的图像进行用户眼部的注视点检测，如果检测到用户眼部的注视点在通知消息所在的区域，则可以展开通知消息。

S206，在RGB相机和/或TOF相机以第一帧率采集图像的情况下，检测用户眼部的注视点是否在通知消息所在的区域，若是则执行S207，若否则执行S208。

S207，展开通知消息。

其中，S206中检测用户眼部的注视点是否在通知消息所在的区域的过程可以参见上述S101，在此不再赘述。也即是说，电子设备是在第一帧率采集图像的情况下，才会触发检测用户眼部的注视点位置的流程。

S208，收起通知消息。

上述眼动追踪方法，电子设备在使用RGB相机和/或TOF相机采集图像时，可以根据图像中是否包括人脸来切换图像采集帧率，在没有检测到人脸的情况下自动切换到低帧率来采集图像，减少了电子设备的处理功耗。

对于上述实施例，下面结合上述图4所示的软件系统架构对该实施例中的信令交互过程进行介绍，图10是本申请实施例提供的一例眼动追踪方法的信令交互示意图，该方法可以包括：

S11，SystemUI感知到通知消息，通知swing框架调起智慧感知服务。

S12，智慧感知服务调用接口触发智慧感知Daemon运行。

S13，智慧感知Daemon中的智慧感知HAL初始化RGB相机和/或TOF相机、算法处理模块和智慧感知TA。

此时，智慧感知HAL可以将RGB相机和/或TOF相机的图像采集帧率初始化为第一帧率。

S14，RGB相机和/或TOF相机采集图像后，通过相机服务进行出图回调至智慧感知主线程。

其中，RGB相机和/或TOF相机每采集一帧图像，都会由相机服务通过接口回调通知智慧感知主线程。可选地，回调内容中可以包括但不限于安全图像句柄、批次号等信息。

S15，智慧感知主线程将回调内容传输至TEE侧的智慧感知TA。

其中，智慧感知主线程可以将安全图像句柄、批次号等信息传入算法处理模块的处理函数，处理函数根据REE侧和TEE侧之间的安全通路，将上述信息传递到TEE侧的智慧感知TA。

S16，智慧感知TA获取图像，并进行加密。

可选地，智慧感知TA使用的加密方法包括但不限于高级加密标准(advancedencryption standard，AES)方法，用于AES加密的密钥可以在每次需要时随机产生，并短暂存在内存中，该次加密使用完后即可以销毁。

示例性地，智慧感知TA对图像进行加密的过程可以包括：在眼动追踪流程开始时，智慧感知CA生成一个安全随机数，并根据该安全随机数和智慧感知TA的uuid生成新密钥，以及将安全随机数传到智慧感知TA。智慧感知TA同样使用安全随机数和自身uuid以同样的方式生成密钥，并使用该密钥对图像进行加密。

S17，智慧感知TA将加密后的图像传输至REE侧的智慧感知CA。

其中，智慧感知TA可以将加密后的图像经共享buffer送回REE侧，这里的共享buffer的地址可以由智慧感知CA注册后告知智慧感知TA，那么，智慧感知TA将图像加密后，便可以将加密后的图像存入该共享buffer。

S18，智慧感知CA对加密后的图像进行解密，并将解密后的图像交由智慧感知HAL。

S19，智慧感知HAL调用算法处理模块检测所采集的图像中是否包括人脸。

可以理解，智慧感知CA对加密后的图像解密时采用的密钥可以为上述AES加密的密钥，检测所采集的图像中是否包括人脸的过程可以参见上述实施例中的S202，在此不再赘述。

S20，智慧感知HAL根据检测结果调整RGB相机和/或TOF相机的图像采集帧率。

由上述实施例可知，在检测到所采集的图像中包括人脸时继续以第一帧率采集图像，在检测到所采集的图像中不包括人脸时以第二帧率采集图像。因此，智慧感知HAL可以根据检测结果调整RGB相机和/或TOF相机的图像采集帧率。

然后，RGB相机和/或TOF相机会持续的采集图像，并再依次执行上述S14至S18的过程。智慧感知HAL接收到图像后，可以根据流程调用算法处理模块执行相应的算法。例如，在RGB相机和/或TOF相机以第二帧率采集图像的情况下，调用算法处理模块检测连续N帧图像中是否包括人脸；在RGB相机和/或TOF相机以第一帧率采集图像的情况下，检测用户眼部的注视点是否在通知消息所在的区域。其中，检测人脸的过程不再阐述，可参见上述实施例的过程，下面以检测用户眼部的注视点是否在通知消息所在的区域的过程为例介绍一下后续的信令交互流程。可以理解，以下过程是在RGB相机和/或TOF相机以第一帧率来采集图像的过程。

S21，RGB相机和/或TOF相机采集图像后，通过相机服务进行出图回调至智慧感知主线程。

可以理解，此步骤中的图像是RGB相机和/或TOF相机以第一帧率进行采集的，后续将根据采集的图像判断用户眼部的注视点是否在通知消息所在的区域。

S22，智慧感知主线程将回调内容传输至TEE侧的智慧感知TA。

S23，智慧感知TA获取图像，并进行加密。

S24，智慧感知TA将加密后的图像传输至REE侧的智慧感知CA。

S25，智慧感知CA对加密后的图像进行解密，并将解密后的图像交由智慧感知HAL。

S26，智慧感知HAL调用算法处理模块检测用户眼部的注视点是否在通知消息所在的区域。

其中，S21至S25的过程可以参见上述S14至S18，S26的过程可以参见上述S101，在此不再赘述。

S27，智慧感知HAL将检测结果回传至智慧感知服务和SystemUI。

S27，SystemUI根据检测结果执行展开通知消息或收起通知消息。

其中，智慧感知HAL将检测结果(也即眼动识别结果)回传至SystemUI，SystemUI便可以根据眼动识别结果确定用户注视通知消息的时长。若用户注视通知消息的时长大于第一预设时长(例如3秒)，则SystemUI可以展开该通知消息；若用户眼部的注视点离开通知消息所在的区域，并超过第二预设时长(例如1秒)，则说明用户不关注该通知消息，SystemUI可以收起通知消息。

上述眼动追踪方法，当电子设备接收到通知消息时，通过RGB相机和/或TOF相机采集图像，对采集的图像进行识别后确定用户眼部的注视点，如果用户注视到通知消息，则可以自动展开通知消息供用户查看，减少了用户的操作过程，提高用户体验。同时，还可以根据图像中是否包括人脸来切换图像采集帧率，在没有检测到人脸的情况下自动切换到低帧率来采集图像，减少了电子设备的处理功耗。

在另一个实施例中，电子设备除了可以使用上述图9所示实施例的方式，通过检测人脸来切换RGB相机和/或TOF相机的图像采集帧率之外，还可以通过检测用户的注视时长来切换RGB相机和/或TOF相机的图像采集帧率。图11是本申请实施例提供的另一例眼动追踪方法的流程示意图，该方法可以包括：

S301，在电子设备接收到通知消息的情况下，触发RGB相机和/或TOF相机以第一帧率采集图像。

其中，在电子设备接收到通知消息的情况下，可以调起智慧感知服务进行眼动追踪，也即触发RGB相机和/或TOF相机开始持续的采集图像。在本申请实施例中，智慧感知服务被初始调起时，可以对RGB相机和/或TOF相机进行初始化，设置RGB相机和/或TOF相机的图像采集帧率为第一帧率，也即是说，电子设备先以高帧率来采集图像。

S302，检测用户眼部的注视点是否在通知消息所在的区域，若是则执行S303，若不包括则执行S309。

S303，控制RGB相机和/或TOF相机以第一帧率采集图像。

也即是说，若电子设备检测到用户眼部的注视点在通知消息所在的区域，则表示用户在关注该通知消息，继续以第一帧率采集图像。

S304，确定用户眼部的注视点是否离开通知消息所在的区域超过M时长，若是则执行S308，若否则执行S305。

在电子设备持续获取RGB相机和/或TOF相机采集的图像时，SystemUI可以相应的持续确定用户眼部的注视点在通知消息所在的区域的注视时长。如果用户眼部的注视点已离开通知消息所在的区域并超过M时长(例如1秒)，则说明用户不再关注该通知消息，电子设备可以收起通知消息。如果用户眼部的注视点没有离开通知消息所在的区域，则SystemUI可以继续计算用户眼部的注视时长。

S305，确定用户眼部的注视点在通知消息所在的区域的注视时长是否超过K时长，若是则执行S306，若否则返回S304。

S306，展开通知消息，并控制RGB相机和/或TOF相机以第二帧率采集图像。

也即，在用户持续注视通知消息的情况下(例如持续注视超过3秒)，电子设备便可以展开通知消息供用户查看。同时，因通知消息已展开，电子设备不需要再高帧率的采集图像并处理，因此，电子设备还可以控制RGB相机和/或TOF相机以第二帧率采集图像，以减少处理功耗。

S307，确定用户眼部的注视点是否离开通知消息所在的区域超过P时长，若是则执行S308，若否则循环执行S307。

S308，收起通知消息。

因电子设备将通知消息展开后，用户通常会及时查看该通知消息，当看完通知消息之后，便不会再注视该通知消息。因此，若此时用户眼部的注视点已离开通知消息所在的区域超过P时长(例如2秒)，则电子设备可以收起该通知消息，并停止智慧感知服务。

S309，控制RGB相机和/或TOF相机以第二帧率采集图像。

S310，在Q时长内是否检测到用户眼部的注视点在通知消息所在的区域，若是则执行上述S303，若否则执行S308。

也即是说，在低帧率采集图像的情况下，电子设备会继续检测用户眼部的注视点是否在通知消息所在的区域，如果在Q时长(例如

消息为3.5秒，短信消息为8.5秒)内用户注视了通知消息所在的区域，则说明用户可能开始注视通知消息，电子设备可以再切换为高帧率来采集图像。如果在Q时长内用户都没有注视通知消息所在的区域，则说明用户再注视通知消息的可能性较小，电子设备便可以收起通知消息并停止智慧感知服务，以进一步降低功耗。

上述眼动追踪方法，电子设备在使用RGB相机和/或TOF相机采集图像时，可以根据用户眼部的注视点以及通知消息展开情况切换图像采集帧率，在用户没有注视通知消息或展开通知消息时自动切换到低帧率来采集图像，减少了电子设备的处理功耗。

上文详细介绍了本申请实施例提供的眼动追踪方法的示例。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分为各个功能模块，例如检测单元、处理单元、显示单元等，也可以将两个或两个以上的功能集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的电子设备，用于执行上述眼动追踪方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，电子设备还可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对电子设备的动作进行控制管理。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。

其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。

在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电子设备可以为具有图2所示结构的设备。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得处理器执行上述任一实施例的眼动追踪方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的眼动追踪方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的眼动追踪方法。

其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种眼动追踪方法，其特征在于，所述方法由电子设备执行，所述电子设备包括摄像头，所述方法包括：

在所述电子设备接收到通知消息的情况下，控制所述摄像头以第一帧率采集图像；

对采集的图像进行人脸检测，根据人脸检测结果确定所述摄像头继续采集图像时所使用的图像采集帧率；

控制所述摄像头以所述图像采集帧率采集图像；

根据采集的图像确定用户的眼动识别结果，以及根据所述眼动识别结果展开或收起所述通知消息。

2.根据权利要求1所述的方法，其特征在于，所述根据人脸检测结果确定所述摄像头继续采集图像时所使用的图像采集帧率，包括：

若所述人脸检测结果为图像中包括人脸，则确定所述第一帧率为所述图像采集帧率；

若所述人脸检测结果为图像中不包括人脸，则确定第二帧率为所述图像采集帧率，其中，所述第一帧率大于所述第二帧率。

3.根据权利要求2所述的方法，其特征在于，在所述图像采集帧率为所述第二帧率的情况下，在所述控制所述摄像头以所述图像采集帧率采集图像之后，所述方法还包括：

检测连续采集的N帧图像中是否包括人脸；

若包括人脸，则将所述图像采集帧率切换为所述第一帧率，控制所述摄像头继续以所述第一帧率采集图像。

4.根据权利要求2或3所述的方法，其特征在于，若所述人脸检测结果为图像中不包括人脸，则确定第二帧率为所述图像采集帧率，包括：

若第一预设帧数的图像中都不包括人脸，则确定第二帧率为所述图像采集帧率。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据采集的图像确定用户的眼动识别结果，包括：

对所述采集的图像进行识别，确定用户眼部的注视点在所述电子设备的显示屏上的位置。

6.根据权利要求5所述的方法，其特征在于，所述根据所述眼动识别结果展开或收起所述通知消息，包括：

若用户眼部的注视点在所述显示屏上通知消息所在的区域，则展开所述通知消息；

若用户眼部的注视点不在所述显示屏上通知消息所在的区域，则收起所述通知消息。

7.根据权利要求6所述的方法，其特征在于，若用户眼部的注视点在所述显示屏上通知消息所在的区域，则展开所述通知消息，包括：

若用户眼部的注视点在所述通知消息所在的区域、且注视时长大于第一预设时长，则展开所述通知消息。

8.根据权利要求6所述的方法，其特征在于，若用户眼部的注视点不在所述显示屏上通知消息所在的区域，则收起所述通知消息，包括：

若用户眼部的注视点不在所述通知消息所在的区域、且持续时长大于第二预设时长，则收起所述通知消息。

9.根据权利要求5至8中任一项所述的方法，其特征在于，在确定用户眼部的注视点在所述电子设备的显示屏上的位置之后，所述方法还包括：

在所述电子设备的显示屏上以光标形式显示所述用户眼部的注视点的位置。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述摄像头包括前置红绿蓝RGB相机和前置飞行时间TOF相机。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

所述存储器存储有一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如权利要求1至10中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至10中任一项所述的方法。

Images