CN116204059B - 眼动追踪的帧率调整方法和装置 - Google Patents

Abstract

本申请实施例提供一种眼动追踪的帧率调整方法和装置，能够降低终端设备的功耗。方法包括：在需要进行眼动追踪检测的情况下，创建运行内存；第一界面显示弹窗消息，开启第一计时器，并以第一帧率采集图像；在运行内存中检测人眼的注视点是否处于显示屏上；在第一计时器对应的时间段内，检测人眼的注视点持续未处于显示屏上，开启第二计时器，并以第二帧率采集图像，第二帧率小于所述第一帧率；在运行内存中检测人眼的注视点是否处于显示屏上；在第二计时器超时之前，检测到人眼的注视点处于显示屏上，开启第三计时器，并以第一帧率采集图像；在无需进行眼动追踪检测的情况下，停止采集图像，释放运行内存。

Description

眼动追踪的帧率调整方法和装置

技术领域

本申请涉及终端技术领域，尤其涉及一种眼动追踪的帧率调整方法和装置。

背景技术

在终端设备接收弹窗消息时，例如短信通知消息，终端设备能够通过眼动追踪检测对人眼在终端设备显示屏的注视点进行追踪。终端设备对人眼的注视点进行眼动追踪的过程，即为采用一定帧率获取图像，并通过图像处理算法对获取的图像中人眼的注视点在终端设备的显示屏上的位置坐标进行分析计算的过程。在根据检测结果确定用户具有查看该弹窗消息的意图的情况下，终端设备可以展开该弹窗消息；否则，终端设备可以收起该弹窗消息，从而减少用户的手动操作，提升用户体验。

然而，这样的眼动追踪检测的过程可能使终端设备的功耗较大。

发明内容

本申请实施例提供一种眼动追踪的帧率调整方法及相关装置，当终端设备进行眼动追踪检测时，可以在用户未注视终端设备的显示屏时，控制摄像头以较低的帧率采集图像，减少终端设备眼动追踪检测时的功耗。

第一方面，本申请实施例提供一种眼动追踪的帧率调整方法，应用于终端设备，所述终端设备包括摄像头，所述终端设备部署有富执行环境和可信执行环境，所述方法包括：在需要进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中创建运行内存，其中，所述运行内存用于运行图像处理算法对通过所述摄像头采集的图像进行图像处理；所述终端设备的第一界面显示弹窗消息，所述终端设备开启第一计时器，并控制所述摄像头以第一帧率采集图像，所述第一界面包括所述弹窗消息的部分内容；所述终端设备在所述运行内存中基于所述摄像头以第一帧率采集的图像，检测人眼的注视点是否处于所述终端设备的显示屏上；在所述第一计时器对应的时间段内，所述终端设备检测人眼的注视点持续未处于所述终端设备的显示屏上，所述终端设备开启第二计时器，并控制所述摄像头以第二帧率采集图像，所述第二帧率小于所述第一帧率；所述终端设备在所述运行内存中基于所述摄像头以第二帧率采集的图像，检测人眼的注视点是否处于所述终端设备的显示屏上；在所述第二计时器超时之前，所述终端设备检测到人眼的注视点处于所述终端设备的显示屏上，所述终端设备开启第三计时器，并控制所述摄像头以所述第一帧率采集图像；在无需进行眼动追踪检测的情况下，所述终端设备停止采集图像，并在所述富执行环境中释放所述运行内存。

本申请的眼动追踪的帧率调整方法，当终端设备显示弹窗消息，且终端设备进行眼动追踪时，终端设备调整摄像头的帧率。当未检测到用户的注视点时，表示用户查看通知消息的可能性较小，终端设备可以控制摄像头以较小的帧率采集图像。这样，终端设备可以控制摄像头以较小的帧率采集图像，可以减少终端设备的功耗。此外，在终端设备需要对摄像头采集的图像进行眼动追踪检测时创建运行内存，在无需进行眼动追踪检测时释放运行内存，能够提高终端设备的内存空间使用效率。

应理解，本实施例中的眼动追踪检测可以理解为对摄像头采集的图像进行图像处理时，识别人眼所对应的注视点在终端设备的显示屏的位置或者人眼的特征等检测。当终端设备确定当前需要进行眼动追踪检测时，此时，终端设备可以在富执行环境中创建运行内存，以便终端设备可以在富执行环境中所创建的运行内存中对运行图像处理算法以便对摄像头所采集到的图像进行处理。

在第一方面的某些实现方式中，所述方法还包括：在所述第一计时器超时之前，所述终端设备检测到人眼的注视点处于所述终端设备的显示屏上，所述终端设备开启第四计时器，并控制所述摄像头以所述第一帧率采集图像，所述第四计时器的时长大于所述第一计时器的时长；所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续位于所述弹窗消息对应的区域内；在所述第四计时器对应的时间段内，所述终端设备检测到人眼的注视点持续位于所述弹窗消息对应的区域内，所述终端设备显示第二界面，所述第二界面包括所述弹窗消息的全部内容。

应理解，在第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，说明用户具有查看弹窗消息的意图，此时，终端设备可以显示该弹窗消息完整的内容。这样，能够减少用户的操作，提高用户体验。

在第一方面的某些实现方式中，所述终端设备开启第三计时器，并控制所述摄像头以所述第一帧率采集图像之后，所述方法还包括：所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续位于所述弹窗消息对应的区域内；在所述第三计时器对应的时间段内，所述终端设备检测到人眼的注视点持续位于所述弹窗消息对应的区域内，所述终端设备显示第二界面，所述第二界面包括所述弹窗消息的全部内容。

应理解，第三计时器和第四计时器对应的时间段可以相同。在第三计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，说明用户具有查看弹窗消息的意图，此时，终端设备可以显示该弹窗消息完整的内容。

在第一方面的某些实现方式中，所述终端设备显示第二界面之后，所述方法还包括：所述终端设备开启第五计时器，并控制所述摄像头以所述第二帧率采集图像；所述终端设备在所述运行内存中基于所述摄像头以所述第二帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；在所述第五计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第三界面，所述第三界面不包括所述弹窗消息或包括所述弹窗消息的部分内容。

应理解，在终端设备显示第二界面时，用户可以查看弹窗消息全部的内容。进一步地，在用户看完该弹窗消息后，用户将不再注视该弹窗消息，此时，终端设备在第五计时器对应的时间段内检测到用户的注视点持续不在该弹窗消息对应的区域内，终端设备可以收起该弹窗消息。例如终端设备可以完全收起该弹窗消息，或者部分收起该弹窗消息。

在第一方面的某些实现方式中，所述方法还包括：在所述第五计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，所述终端设备重新开启所述第五计时器，并控制所述摄像头以所述第二帧率采集图像。

应理解，在第五计时器超时之前，终端设备检测到人眼的注视点处于弹窗消息对应的区域内，则用户仍然具有查看该弹窗消息的需求，此时，终端设备仍然显示第二界面，即向用户显示弹窗消息的完整内容。该过程是循环进行的，直至终端设备在第五计时器对应的时间段内，检测到人眼的注视点持续未处于弹窗消息对应的区域内，此时说明用户无需再查看该弹窗消息，终端设备收起该弹窗消息。这样，能够进一步减少用户的操作，提高用户体验感。

在第一方面的某些实现方式中，所述方法还包括：在所述第四计时器超时之前，所述终端设备检测到人眼的注视点未处于所述弹窗消息对应的区域内，所述终端设备开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；在所述第六计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

应理解，在第四计时器对应的时间段内，若终端设备检测到用户的注视点离开弹窗消息对应的区域时，将开启第六计时器，并在第六计时器对应的时间段内检测用户的注视点是否持续未处于弹窗消息对应的区域内；若是，则终端设备可以确定用户没有再继续查看该弹窗消息的意图，此时终端设备可以收起该弹窗消息，显示第四界面。

在第一方面的某些实现方式中，所述方法还包括：在所述第六计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第四计时器，并控制所述摄像头以所述第一帧率采集图像。

应理解，若第六计时器超时之前，终端设备检测到用户的注视点又位于弹窗消息对应的区域内，说明用户可能需要查看该弹窗消息。此时，终端设备可以重新开启第四计时器，从而在第四计时器对应的时间段内检测人眼的注视点是否持续位于弹窗消息对应的区域内，若是，终端设备可以确定用户具有查看该弹窗消息的意图，并显示第二界面。

在第一方面的某些实现方式中，所述方法还包括：在所述第三计时器超时之前，所述终端设备检测到人眼的注视点未处于所述弹窗消息对应的区域内，所述终端设备开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；在所述第六计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

应理解，在第三计时器对应的时间段内，若终端设备检测到用户的注视点离开弹窗消息对应的区域时，将开启第六计时器，并在第六计时器对应的时间段内检测用户的注视点是否持续未处于弹窗消息对应的区域内；若是，则终端设备可以确定用户没有再继续查看该弹窗消息的意图，此时终端设备可以收起该弹窗消息，显示第四界面。

在第一方面的某些实现方式中，所述方法还包括：在所述第六计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第三计时器，并控制所述摄像头以所述第一帧率采集图像。

应理解，若第六计时器超时之前，终端设备检测到用户的注视点又位于弹窗消息对应的区域内，说明用户可能需要查看该弹窗消息。此时，终端设备可以重新开启第三计时器，从而在第三计时器对应的时间段内检测人眼的注视点是否持续位于弹窗消息对应的区域内，若是，终端设备可以确定用户具有查看该弹窗消息的意图，并显示第二界面。

在第一方面的某些实现方式中，所述方法还包括：在需要进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中创建共享内存；其中，所述共享内存用于存储在所述可信执行环境中进行加密处理后的图像；所述运行内存用于运行图像处理算法对所述加密处理后的图像进行图像处理；在无需进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中释放所述共享内存。

应理解，在终端设备中，当摄像头采集到图像之后，为了确保图像的安全性，通常会将所采集到的人脸图像存储至预先申请的安全内存中，其中，该安全内存仅能有可信执行环境侧进行访问，富执行环境侧无法访问该安全内存。举例来说，当摄像头采集到图像时，此时，终端设备可以基于内核层将所采集到的图像直接存储在安全内存中。为了方便终端设备可以在富执行环境中获取到采集的图像，本实施例中当终端设备确定当前需要进行眼动追踪检测时，此时，终端设备不仅在富执行环境中创建运行内存，还需要在富执行环境中创建共享内存。其中，共享内存中用于存储终端设备在可信执行环境中所获取到的人脸采集图像。终端设备还可以实时监测当前是否需要进行眼动追踪检测，若确定无需再次进行眼动追踪检测时，此时，则可以在富执行环境中对所创建的运行内存以及共享内存进行释放，以便提高终端设备中的内存空间的占用率，并且，采用了加密处理的方式和共享内存的方式进行图像的传递，有利于提高图像的安全性。

第二方面，提供了一种眼动追踪的帧率调整装置，用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。

第三方面，本申请提供了又一种眼动追踪的帧率调整装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该装置还包括存储器。可选地，该装置还包括通信接口，处理器与通信接口耦合。

在一种实现方式中，该装置为终端设备。当该装置为终端设备时，上述通信接口可以是收发器，或，输入/输出接口。

在另一种实现方式中，该装置为配置于终端设备中的芯片。当该装置为配置于终端设备中的芯片时，上述通信接口可以是输入/输出接口。

第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。所述处理电路用于通过所述输入电路接收信号，并通过所述输出电路发射信号，使得所述处理器执行上述第一方面中任一种可能实现方式中的方法。

在具体实现流程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本申请实施例对处理器及各种电路的具体实现方式不做限定。

第五方面，提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。

可选地，所述处理器为一个或多个，所述存储器为一个或多个。

可选地，所述存储器可以与所述处理器集成在一起，或者所述存储器与处理器分离设置。

在具体实现流程中，存储器可以为非瞬时性（non-transitory）存储器，例如只读存储器（read only memory，ROM），其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型以及存储器与处理器的设置方式不做限定。

应理解，相关的数据交互流程例如发送指示信息可以为从处理器输出指示信息的流程，接收能力信息可以为处理器接收输入能力信息的流程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。

上述第五方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序（也可以称为代码，或指令），当所述计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序（也可以称为代码，或指令）当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

附图说明

图1为本申请实施例提供的终端设备的结构示意图；

图2为本申请实施例的终端设备的软件结构框图；

图3为本申请实施例提供的一种眼动追踪的帧率调整方法的流程示意图；

图4为本申请实施例提供的一种终端设备短信通知消息的界面示意图；

图5为本申请实施例提供的第一种终端设备的界面示意图；

图6为本申请实施例提供的第二种终端设备的界面示意图；

图7为本申请实施例提供的第三种终端设备的界面示意图；

图8为本申请实施例提供的第四种终端设备的界面示意图；

图9为本申请实施例提供的第五种终端设备的界面示意图；

图10为本申请实施例提供的眼动追踪功能的开启过程的界面示意图；

图11为本申请实施例提供的眼动追踪功能设置界面的界面示意图；

图12为本申请实施例提供的一种弹窗消息为短信通知消息的眼动追踪的帧率调整方法的流程示意图；

图13为本申请实施例提供的另一种终端设备的软件结构框图；

图14为本申请实施例提供的又一种眼动追踪的帧率调整方法的流程示意图；

图15为本申请实施例提供的一种眼动追踪的帧率调整装置的示意性框图；

图16为本申请实施例提供的另一种眼动追踪的帧率调整装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一数值和第二数值仅仅是为了区分不同的数值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a--c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

本申请实施例中的终端设备也可以称为：用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。

终端设备可以是一种向用户提供语音/数据连通性的设备，例如，具有无线连接功能的手持式设备、车载设备等。目前，一些终端设备的举例包括：手机（mobile phone）、平板电脑、笔记本电脑、掌上电脑、移动互联网设备（mobile internet device，MID）、可穿戴设备，虚拟现实（virtual reality，VR）设备、增强现实（augmented reality，AR）设备、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端、蜂窝电话、无绳电话、会话启动协议（sessioninitiation protocol，SIP）电话、无线本地环路（wireless local loop，WLL）站、个人数字助理（personal digital assistant，PDA）、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，5G网络中的终端设备或者未来演进的公用陆地移动通信网络（public land mobile network，PLMN）中的终端设备等，本申请对此并不限定。

作为示例而非限定，在本申请中，终端设备可以是物联网（internet of things，IoT）系统中的终端设备。物联网是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。示例性地，本申请实施例中的终端设备可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备是可以直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更可以通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

作为示例而非限定，在本申请实施例中，终端设备还可以是机器类型通信（machine type communication，MTC）中的终端设备。此外，终端设备还可以是作为一个或多个部件或者单元而内置于车辆的车载模块、车载模组、车载部件、车载芯片或者车载单元等，车辆通过内置的所述车载模块、车载模组、车载部件、车载芯片或者车载单元等可以实施本申请提供的方法。因此，本申请实施例也可以应用于车联网，例如车辆外联（vehicleto everything，V2X）、车间通信长期演进技术（long term evolution-vehicle，LTE-V）、车到车（vehicle-to-vehicle，V2V）技术等。

为了更好的理解本申请实施例中的终端设备，下面结合图1对本申请实施例的终端设备的硬件结构进行详细说明。

图1为本申请实施例提供的终端设备100的结构示意图。如图1所示，终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universalserial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线（serial data line，SDA）和一根串行时钟线（derail clock line，SCL）。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现终端设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口（camera serial interface，CSI），显示屏串行接口（displayserial interface，DSI）等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本申请另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态（漏电，阻抗）等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在终端设备100上的包括无线局域网（wirelesslocal area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，终端设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统（global system for mobile communications，GSM），通用分组无线服务（general packet radio service，GPRS），码分多址接入（codedivision multiple access，CDMA），宽带码分多址（wideband code division multipleaccess，WCDMA），时分码分多址（time-division code division multiple access，TD-SCDMA），长期演进（long term evolution，LTE），BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统（global positioning system ，GPS），全球导航卫星系统（global navigation satellite system，GLONASS），北斗卫星导航系统（beidounavigation satellite system，BDS），准天顶卫星系统（quasi-zenith satellitesystem，QZSS）和/或星基增强系统（satellite based augmentation systems，SBAS）。

终端设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dot lightemitting diodes，QLED）等。在一些实施例中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。

终端设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络（neural-network ，NN）计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储终端设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端设备100的各种功能应用以及数据处理。

终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中，终端设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端设备平台（open mobile terminal platform，OMTP）标准接口，美国蜂窝电信工业协会（cellular telecommunications industry association of the USA，CTIA）标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性地，当按下快门，陀螺仪传感器180B检测终端设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，终端设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当终端设备100是翻盖机时，终端设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，终端设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测终端设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，终端设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，终端设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备100对电池142加热，以避免低温导致终端设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，终端设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在终端设备100中，不能和终端设备100分离。终端设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明终端设备100的软件结构。

图2为本申请实施例的终端设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为五层，从上至下分别为应用程序层，应用程序框架层，安卓运行时（Android runtime）和系统库，硬件抽象层（hardwareabstraction layer，HAL）以及内核层。需要说明的是，本申请实施例以Android系统举例来说明，在其他操作系统中（例如鸿蒙系统，IOS系统等），只要各个功能模块实现的功能和本申请的实施例类似也能实现本申请的方案。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机、日历、电话、地图、游戏、设置、通知等应用程序。例如本申请实施例中，界面的显示以及用户的界面交互可以在应用程序层实现。

其中，设置应用具有录入人脸的功能，该录入的人脸用于人脸解锁和人眼追踪。通知应用具有接收并显示通知消息的功能，在本申请实施例中，通知应用还可以具有显示通知时启动人眼追踪的功能。其中，当通知应用启动人眼追踪，且人眼注视点处于通知消息的显示区域之内时，终端设备可以展开通知消息以显示通知消息的全部内容，或者显示通知消息对应的应用的界面。

应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。例如本申请实施例中，系统侧可以提供快捷应用卡片的底层实现，包括对应用程序的栈进行创建、管理、移除等相关操作。

如图2所示，应用程序框架层可以包括窗口管理器、资源管理器、通知管理器、视图系统、相机服务、智慧感知服务、图形绘制和图形渲染等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏、锁定屏幕、触摸屏幕、拖拽屏幕、截取屏幕等。例如本申请实施例中，窗口管理器可以用于实现界面显示的相关操作。

资源管理器为应用程序提供各种资源，例如本地化字符串、图标、图片、布局文件、视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知消息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息、发出提示音、终端设备振动、指示灯闪烁等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

图形绘制用于对图形进行绘制。

图形渲染用于对绘制后的图形进行渲染。

系统库可以包括多个功能模块。例如：表面管理器（surface manager）、媒体库（Media Libraries）、图形处理库（例如：OpenGL ES）、图形引擎（例如：SGL）、图形合成等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图、图像渲染、合成和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

图形合成用于将一个或多个渲染后的视图合成为显示界面。

Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

HAL层是对Linux内核驱动程序的封装，向上提供接口，屏蔽低层硬件的实现细节。

HAL层中可以包括Wi-Fi HAL，音频（audio）HAL，相机HAL（Camera HAL）和智慧感知HAL、算法模块等。

其中，相机HAL是Camera的核心软件框架。智慧感知HAL是人眼追踪的核心软件框架/应用。

智慧感知TA（awareness trusted application）为运行在TEE环境下的应用。智慧感知TA可以用于鹰眼业务在TEE环境中的执行和处理，负责安全图像获取，图像加密，以及与REE侧的智慧感知HAL进行通信等。

共享内存可以为CA/TA secure buffer，可以用于将加密后的图像传递到REE侧的智慧感知HAL。

内核层是硬件和软件之间的层。内核层可以包括显示驱动、摄像头驱动、音频驱动、中央处理器驱动等。

其中，摄像头驱动是摄像头器件的驱动层，主要负责和硬件的交互。

可信相机服务（trusted camera）模块为运行在TEE环境下的应用。在本申请实施例中，可信相机服务模块可以用于安全图像的传输。

硬件层可以包括显示器、TOF摄像头、RGB摄像头、图像前处理（image front end，IFE）模块、图像处理引擎（Image processing engine，IPE）模块和安全内存(SecureBuffer)等。

其中，安全内存可以为运行在TEE环境下，具有安全保护功能的内存，可以用于存放TOF摄像头采集的原始数据raw data。

为了便于清楚描述本申请实施例的技术方案，以下，对本申请实施例中所涉及的部分术语和技术进行简单介绍。

1、帧率：帧率是摄像头每秒采集的图像的数量，例如，一个摄像头帧率为25fps，表示该摄像头1秒钟可以采集并显示25张图像。

2、眼动追踪：是指可以通过检测眼睛的注视点的位置或者眼球相对头部的运动而实现的对眼球运动的追踪。

3、飞行时间(time of flight，TOF)摄像头：又可以称为TOF传感器（TOF sensor）是一种可以向外界发射红外光或激光等，并接收遇到物体返回的光，计算从发射到反射回摄像头的时间差或相位差，并得到一组距离深度数据，从而生成深度图像或三维图像的摄像头。TOF摄像头可以包括发射器和接收器，发射器可以用于发射红外光或激光脉冲，接收器用于接收反射并将反射的光成像。

4、通用运行环境(rich execution environment，REE)：通用运行环境，又称为富执行环境或普通执行环境或不可信执行环境，是指移动端的系统运行环境，其中可以运行Android、IOS和Linux等操作系统。

5、可信执行环境(trusted execution environment，TEE)，又称为安全侧或安全区，是需要授权才能访问的区域。TEE与REE共存于电子设备中的运行环境中，TEE可以通过硬件的支撑，实现与REE的隔离。

REE+TEE架构，是指通过TEE与REE结合共同为应用提供服务的架构。也就是说，TEE与REE共同存在于电子设备中。

6、可信应用（trusted application，TA）：是指运行在TEE中的应用，能够为运行在TEE之外的CA提供安全服务，如输入密码，生成交易签名，人脸识别等。

7、客户端应用（client application，CA）：是指运行在REE中的应用。CA可以通过客户端(client)应用程序编程接口(application programming interface，API)对TA进行调用并指示TA执行相应的安全操作。

用户在使用电子设备时，若电子设备接收到了弹窗消息，例如短信通知消息等，该弹窗消息可能会显示该消息中的部分内容，或者仅提示收到通知消息，不显示通知消息中的具体内容。如果用户想要查看该弹窗消息的内容，则需要手动点击弹窗消息以显示消息内容或者进入通知消息对应的应用，该操作过程较为繁琐。

在该场景下，若电子设备接收到了弹窗消息，终端设备可以通过眼动追踪检测技术，对终端设备控制摄像头采集的图像进行识别，确定人眼的注视点在该终端设备的显示屏上的位置。这样，如果基于人眼的注视点在该终端设备的显示屏上的位置，确定用户具有查看该弹窗消息的意图时，终端设备可以自动展开弹窗消息供用户查看，减少了用户的操作过程，提高用户体验。

目前，终端设备部署有富执行环境和可信执行环境。终端设备接收弹窗消息后，终端设备会控制摄像头以一定的帧率采集图像。终端设备在可信执行环境中，采用图像处理算法对摄像头采集的图像进行处理，确定人眼的注视点在终端设备的显示屏的位置。在根据用户人眼的注视点确定用户具有查看该弹窗消息的意图的情况下，终端设备可以展开该弹窗消息；否则，终端设备可以收起该弹窗消息。

然而，终端设备的摄像头采集图像时，摄像头的帧率可能较高，使得终端设备进行眼动追踪检测时的功耗较高。此外，在可信执行环境中，图像处理算法对摄像头采集的图像进行处理时需要使用运行内存，该运行内存用于通过图像处理算法对摄像头采集的图像进行处理，即使在终端设备无需进行眼动追踪检测时，该运行内存也不会释放，使得终端设备的内存空间使用效率较低。

有鉴于此，本申请实施例提供了一种眼动追踪的帧率调整方法，当终端设备显示弹窗消息，且确定进行眼动追踪检测时，终端设备调整摄像头的帧率。当未检测到用户的注视点时，表示用户查看弹窗消息的可能性较小，终端设备可以控制摄像头以较小的帧率采集图像。这样，终端设备可以控制摄像头以较小的帧率采集图像，可以减少终端设备的功耗。

下面结合图3至图14对本申请的眼动追踪的帧率调整方法进行详细介绍。本申请实施例的眼动追踪的帧率调整方法可以由设有摄像头的终端设备执行，例如平板电脑、笔记本电脑、台式电脑、手机等，也可以为支持终端设备实现眼动追踪的帧率调整方法的芯片、芯片系统或处理器，还可以是能实现全部或部分终端设备功能的逻辑模块或软件，本申请对此不做具体限制。下面以终端设备为执行主体对本申请实施例的眼动追踪的帧率调整方法进行详细说明。

图3为本申请实施例提供的一种眼动追踪的帧率调整方法300的流程示意图。该方法300所涉及的终端设备的硬件结构可以如图1所示，软件结构可以如图2所示。该方法300所涉及的终端设备包括摄像头，且部署有富执行环境和可信执行环境。该方法300包括以下步骤：

S301、在需要进行眼动追踪检测的情况下，终端设备在富执行环境中创建运行内存，其中，运行内存用于运行图像处理算法对通过摄像头采集的图像进行图像处理。

应理解，本实施例中的眼动追踪检测可以理解为对摄像头采集的图像进行图像处理时，识别人眼所对应的注视点在终端设备的显示屏的位置或者人眼的特征等检测。当终端设备确定当前需要进行眼动追踪检测时，此时，终端设备可以在富执行环境中创建运行内存，以便终端设备可以在富执行环境中所创建的运行内存中对运行图像处理算法以便对摄像头所采集到的图像进行处理。

一个示例中，为了便于终端设备在富执行环境中调用图像处理算法，可以将上述图像处理算法存储于在富执行环境中所创建的内存空间中。

S302、终端设备的第一界面显示弹窗消息，终端设备开启第一计时器，并控制摄像头以第一帧率采集图像，第一界面包括弹窗消息的部分内容。

应理解，弹窗消息可以为短信消息、微信消息、系统更新消息等，本申请实施例不做限定。计时器可以指终端设备在一定时长内进行时间检测的模块。示例性地，第一计时器的时长可以为1s，则终端设备开启第一计时器后，终端设备将开始在1s内进行倒计时。第一帧率可以为预设的帧率，例如10帧/s等。第一界面可以为终端设备显示的界面，例如可以为终端设备的锁屏界面、终端设备的桌面等。

第一界面包括弹窗消息的部分内容可以指用户在第一界面能够看到该弹窗消息的部分内容，或者，用户在第一界面无法看到弹窗消息中包括的具体内容。示例性地，如图4所示，弹窗消息为短信通知消息。一种情况下，第一界面如图4中界面（a）所示，界面（a）为终端设备的锁屏界面，界面（a）中包括的弹窗消息不显示短信通知消息的具体内容，弹窗消息显示收到N条通知消息，N为正整数，例如界面（a）所示的收到1条通知消息；另一种情况下，第一界面如图4中界面（b）所示，界面（a）可以为终端设备的桌面，界面（b）中包括的弹窗消息显示短信通知消息的部分内容。

S303、终端设备在运行内存中基于摄像头以第一帧率采集的图像，检测人眼的注视点是否处于终端设备的显示屏上。

S304、在第一计时器对应的时间段内，终端设备检测人眼的注视点持续未处于终端设备的显示屏上，终端设备开启第二计时器，并控制摄像头以第二帧率采集图像，第二帧率小于第一帧率。

示例性地，第一计时器对应的时间段可以为1s，第一帧率可以为10帧/s，第二帧率可以为5帧/s，在1s内，终端设备检测人眼的注视点持续未处于终端设备的显示屏上，则终端设备开启第二计时器，并控制摄像头以5帧/s继续采集图像。第二计时器对应的时间段可以为3.5s。

可选地，在弹窗消息为验证码消息的情况下，第二计时器对应的时间段可以与弹窗消息为其他类型消息时不同。示例性地，在弹窗消息为验证码消息的情况下，第二计时器对应的时间段可以为8.5s。在弹窗消息为其他类型消息时，例如微信通知消息，第二计时器对应的时间段可以为3.5s。

S305、终端设备在运行内存中基于摄像头以第二帧率采集的图像，检测人眼的注视点是否处于终端设备的显示屏上。

S306、在第二计时器超时之前，终端设备检测到人眼的注视点处于终端设备的显示屏上，终端设备开启第三计时器，并控制摄像头以第一帧率采集图像。

S307、在无需进行眼动追踪检测的情况下，终端设备停止采集图像，并在富执行环境中释放运行内存。

应理解，示例性地，终端设备还可以实时监测当前是否需要进行眼动追踪检测，若确定无需再次进行眼动追踪检测时，此时，则可以在富执行环境中对所创建的运行内存进行释放，以便提高终端设备中的内存空间的占用率。

举例来说，终端设备可以通过检测当前显示的屏幕状态，例如，确定当前屏幕是否处于亮屏解锁状态。若确定当前终端设备处于黑屏锁屏状态，则确定此时无需进行眼动追踪检测，则此时可以对所创建的运行内存进行释放。

可以理解的是，本实施例中可以在终端设备的富执行环境所创建的运行内存中，运行眼动追踪检测时所进行的图像处理算法，以便当无需进行眼动追踪检测时，可以在富执行环境中对所创建的运行内存进行释放，以提高设备内存空间的使用效率。

本申请的眼动追踪的帧率调整方法，当终端设备显示弹窗消息，且终端设备进行眼动追踪时，终端设备调整摄像头的帧率。当未检测到用户的注视点时，表示用户查看通知消息的可能性较小，终端设备可以控制摄像头以较小的帧率采集图像。这样，终端设备可以控制摄像头以较小的帧率采集图像，可以减少终端设备的功耗。此外，在终端设备需要对摄像头采集的图像进行眼动追踪检测时创建运行内存，在无需进行眼动追踪检测时释放运行内存，能够提高终端设备的内存空间使用效率。

下面结合具体的示例对终端设备确定无需进行眼动追踪检测的情况时的显示界面进行举例说明。

情况一，终端设备确定无需进行眼动追踪检测，且用户没有查看弹窗消息的意图的情况下，终端设备收起该弹窗消息。

一个示例中，弹窗消息为短信通知消息，如图5中的界面（a）所示，在终端设备接收到短信通知消息时，此时，会在终端设备的第一界面中显示该短信通知消息，其中，第一界面可以为终端设备的桌面界面，桌面界面中可以包括有一种或者多种应用软件图标，例如，终端设备可以采用图5的界面（a）中横幅通知的显示，新接收到的短信通知消息（图5的界面（a）中，第一界面的上方的显示框即为短信通知消息的显示区域）。其中，短信通知消息的显示区域中显示的内容可以为短信通知消息中所包含的部分字符。当终端设备当前检测到第一界面中出现的短信通知消息时，此时终端设备可以确定此时需要进行眼动追踪检测，则在终端设备的富执行环境中创建运行内存。之后，当终端设备通过进行眼动追踪检测确定用户没有查看该短信通知消息的意图，或者，当终端设备检测到在用户针对横幅显示区域的触发操作，且该触发操作用于指示不再显示该弹窗消息，例如，用户对弹窗消息的显示区域进行向左或向右的滑动操作时，此时终端设备则关闭短信通知消息，即不再显示该弹窗消息。此时，终端设备的所显示的界面图切换为了图5中的界面（b）中的样式。进一步地，终端设备可以通过确定第一界面中不再显示弹窗消息时，确定无需再次进行眼动追踪检测，并在富执行环境中对创建的运行内存进行释放。

情况二，第一界面显示收到N条通知消息，N为正整数；在终端设备确定用户具有查看弹窗消息的意图的情况下，终端设备显示通知消息的列表界面，确定无需进行眼动追踪检测。

一个示例中，在终端设备的弹窗消息提示用户接收N条通知消息，不显示通知消息的具体内容的情况下，终端设备的界面如图6所示。如图6中的界面（a）的所示，当终端设备接收短信通知消息，且横幅通知栏中显示“当前存在N条未读短信信息”的字符时，此时，终端设备确定需要进行眼动追踪检测，并且，当确定眼动追踪检测的检测结果指示用户具有查看该短信通知消息的意图时，此时，终端设备可以显示图6中的界面（b），即短信通知消息的列表界面，以便用户在该列表界面中选择所需查看的内容。并且，在跳转至上述列表界面之后，终端设备可以确定无需进行眼动追踪检测，并释放之前申请的运行内存。

情况三，第一界面显示收到弹窗消息的部分内容；在终端设备确定用户具有查看弹窗消息的意图的情况下，终端设备显示通知消息的列表界面，确定无需进行眼动追踪检测。

又一个示例中，终端设备接收短信通知消息，显示界面如图7中的界面（a）所示。在终端设备确定需要进行眼动追踪检测，并且眼动追踪检测结果确定用户具有查看该短信通知消息的意图时，终端设备显示界面切换为图7中的界面（b），即短信通知消息的列表界面，以便用户在该列表界面中选择所需查看的内容。并且，在跳转至上述列表界面之后，终端设备可以确定无需进行眼动追踪检测，并释放之前申请的运行内存。其中，图7中的界面（b）所展示的界面中，为终端设备中的短信通知消息的展示列表的界面。图7中的界面（b）中，通信信息1左上角的识别①可以表征该通信信息为未读状态。

情况四，在终端设备显示通知消息的列表界面的情况下，终端设备也可以基于用户的触发显示第二界面。第二界面显示终端设备的全部内容。在终端设备显示第二界面后，确定无需进行眼动追踪检测，释放运行内存。

作为一个可选的实施例，方法300还包括：S308、在第一计时器超时之前，终端设备检测到人眼的注视点处于终端设备的显示屏上，终端设备开启第四计时器，并控制摄像头以第一帧率采集图像，第四计时器的时长大于第一计时器的时长；S309、终端设备在运行内存中基于摄像头以第一帧率采集的图像，检测人眼的注视点是否持续位于弹窗消息对应的区域内；S310、在第四计时器对应的时间段内，终端设备检测到人眼的注视点持续位于弹窗消息对应的区域内，终端设备显示第二界面，第二界面包括弹窗消息的全部内容。

作为一个可选的实施例，在S306之后，方法300还包括：S309、终端设备在运行内存中基于摄像头以第一帧率采集的图像，检测人眼的注视点是否持续位于弹窗消息对应的区域内；S310、在第三计时器对应的时间段内，终端设备检测到人眼的注视点持续位于弹窗消息对应的区域内，终端设备显示第二界面，第二界面包括弹窗消息的全部内容。

应理解，第四计时器和第三计时器对应的时间段可以相同。在第三计时器或第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，说明用户具有查看弹窗消息的意图，此时，终端设备可以显示该弹窗消息完整的内容。

可选地，第二界面可以为半屏显示的界面，通过该半屏显示的界面显示该弹窗消息的全部内容。即在用户具有查看该弹窗消息的意图时，终端设备扩大了界面中的横幅通知显示区域在页面中所占比例，以便显示出所接收到的弹窗消息中的更多信息。示例性地，第一界面如图8中的界面（a）所示，在第三计时器或第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，终端设备显示第二界面。第二界面如图8中的界面（b）所示。

可选地，第二界面可以为全屏显示的界面，即第二界面为终端设备进入该弹窗消息对应的应用程序的界面。即在用户具有查看该弹窗消息的意图时，可以直接进入该弹窗消息对应的应用程序。示例性地，第一界面如图8中的界面（a）所示，在第三计时器或第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，终端设备显示第二界面。第二界面如图8中的界面（c）所示。

可选地，终端设备在第三计时器或第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，先显示半屏显示的界面，进一步地，在用户继续在预设时长内注释弹窗消息对应的区域或者响应于用户的输入操作，终端设备可以进入该弹窗消息对应的应用程序，显示进入该应用程序的界面。示例性地，第一界面如图8中的界面（a）所示，在第三计时器或第四计时器对应的时间段内，用户持续注视弹窗消息对应的区域时，终端设备显示第二界面。第二界面如图8中的界面（b）所示。进一步，在用户继续在预设时长内注释弹窗消息对应的区域时，终端设备进入该弹窗消息对应的应用程序，显示的界面如图8中的界面（c）所示。

在一种可能的实施方式中，在终端设备显示第二界面时，终端设备确定无需进行眼动追踪检测，释放运行内存。

作为一个可选的实施例，在终端设备显示第二界面后，方法300还包括：S311、终端设备开启第五计时器，并控制摄像头以第二帧率采集图像；S312、终端设备在运行内存中基于摄像头以第二帧率采集的图像，检测人眼的注视点是否持续未处于弹窗消息对应的区域内；S313、在第五计时器对应的时间段内，终端设备检测到人眼的注视点持续未处于弹窗消息对应的区域内，终端设备确定无需再进行眼动追踪检测，显示第三界面，第三界面不包括弹窗消息或包括弹窗消息的部分内容。

应理解，在终端设备显示第二界面时，用户可以查看弹窗消息全部的内容。进一步地，在用户看完该弹窗消息后，用户将不再注视该弹窗消息，此时，终端设备在第五计时器对应的时间段内检测到用户的注视点持续不在该弹窗消息对应的区域内，终端设备可以收起该弹窗消息。例如终端设备可以完全收起该弹窗消息，或者部分收起该弹窗消息。示例性地，如图9所示，在终端设备显示第二界面后，用户能够查看弹窗消息的完整内容。第二界面可以如图9中的界面（a）或者界面（b）所示。在终端设备检测到用户在第五计时器对应的时间段内持续未注视弹窗消息对应的区域的情况下，终端设备可以确定用户无需再查看该弹窗消息，此时终端设备可以收起该弹窗消息，显示第三界面。第三界面可以如图9中的界面（c）所示，即终端设备部分收起该弹窗消息；第三界面也可以如图9中的界面（d）所示，即终端设备完全收起该弹窗消息。

在一种可能的实施方式中，在终端设备执行S313后，终端设备可以继续执行S307，即在终端设备显示第三界面后，可以确定此时终端设备无需再进行眼动追踪检测，可以再富执行环境中释放运行内存。

作为一个可选的实施例，方法300还包括：在第五计时器超时之前，终端设备检测到人眼的注视点处于弹窗消息对应的区域内，终端设备重新开启第五计时器，并控制摄像头以第二帧率采集图像。

应理解，在第五计时器超时之前，终端设备检测到人眼的注视点处于弹窗消息对应的区域内，则用户仍然具有查看该弹窗消息的需求，此时，终端设备仍然显示第二界面，即向用户显示弹窗消息的完整内容。该过程是循环进行的，直至终端设备在第五计时器对应的时间段内，检测到人眼的注视点持续未处于弹窗消息对应的区域内，此时说明用户无需再查看该弹窗消息，终端设备收起该弹窗消息。

作为一个可选的实施例，方法300还包括：S314、在第四计时器超时之前，终端设备检测到人眼的注视点未处于弹窗消息对应的区域内，终端设备开启第六计时器，并控制摄像头以第一帧率采集图像；S315、终端设备在运行内存中基于摄像头以第一帧率采集的图像，检测人眼的注视点是否持续未处于弹窗消息对应的区域内；S316、在第六计时器对应的时间段内，终端设备检测到人眼的注视点持续未处于弹窗消息对应的区域内，终端设备确定无需再进行眼动追踪检测，显示第四界面，第四界面不包括弹窗消息。

作为一个可选的实施例，方法还包括：S314、在第三计时器超时之前，终端设备检测到人眼的注视点未处于弹窗消息对应的区域内，终端设备开启第六计时器，并控制摄像头以第一帧率采集图像；S315、终端设备在运行内存中基于摄像头以第一帧率采集的图像，检测人眼的注视点是否持续未处于弹窗消息对应的区域内；S316、在第六计时器对应的时间段内，终端设备检测到人眼的注视点持续未处于弹窗消息对应的区域内，终端设备确定无需再进行眼动追踪检测，显示第四界面，第四界面不包括弹窗消息。

应理解，在第三计时器对应的时间段或者第四计时器对应的时间段内，若终端设备检测到用户的注视点离开弹窗消息对应的区域时，将开启第六计时器，并在第六计时器对应的时间段内检测用户的注视点是否持续未处于弹窗消息对应的区域内；若是，则终端设备可以确定用户没有再继续查看该弹窗消息的意图，此时终端设备可以收起该弹窗消息，显示第四界面。示例性地，第四界面可以如图7中的界面（b）所示。

作为一个可选的实施例，方法300还包括：在第六计时器超时之前，终端设备检测到人眼的注视点处于弹窗消息对应的区域内，重新开启第四计时器，并控制摄像头以第一帧率采集图像。

作为一个可选的实施例，方法300还包括：在第六计时器超时之前，终端设备检测到人眼的注视点处于弹窗消息对应的区域内，重新开启第三计时器，并控制摄像头以第一帧率采集图像。

应理解，若第六计时器超时之前，终端设备检测到用户的注视点又位于弹窗消息对应的区域内，说明用户可能需要查看该弹窗消息。此时，终端设备可以重新开启第四计时器或第三计时器，从而在第四计时器或第三计时器对应的时间段内检测人眼的注视点是否持续位于弹窗消息对应的区域内，若是，终端设备可以确定用户具有查看该弹窗消息的意图，并显示第二界面。

可以理解，在终端设备执行S315时，检测到人眼的注视点处于弹窗消息对应的区域内，可以重新执行S308或者S306，即重新开启第四计时器或者第三计时器。并且该过程是循环进行的，直至终端设备检测到第四计时器或者第三计时器对应的时间段内，用户持续注视弹窗消息对应的区域，显示第二界面；或者终端设备检测到第六计时器对应的时间段内，用户持续不注视弹窗消息对应的区域，显示第四界面。

在一种可能的实施方式中，在终端设备执行S316后，终端设备可以继续执行S307，即在终端设备显示第三界面后，可以确定此时终端设备无需再进行眼动追踪检测，可以再富执行环境中释放运行内存。

作为一个可选的实施例，方法300还包括：在需要进行眼动追踪检测的情况下，终端设备在富执行环境中创建共享内存；其中，共享内存用于存储在可信执行环境中进行加密处理后的图像；运行内存用于运行图像处理算法对加密处理后的图像进行图像处理；在无需进行眼动追踪检测的情况下，终端设备在富执行环境中释放共享内存。

在终端设备中，当摄像头采集到图像之后，为了确保图像的安全性，通常会将所采集到的人脸图像存储至预先申请的安全内存中，其中，该安全内存仅能有可信执行环境侧进行访问，富执行环境侧无法访问该安全内存。举例来说，当摄像头采集到图像时，此时，终端设备可以基于内核层将所采集到的图像直接存储在安全内存中。

为了方便终端设备可以在富执行环境中获取到采集的图像，本实施例中当终端设备确定当前需要进行眼动追踪检测时，此时，终端设备不仅在富执行环境中创建运行内存，还需要在富执行环境中创建共享内存。其中，共享内存中用于存储终端设备在可信执行环境中所获取到的人脸采集图像。

具体地，当摄像头所采集到的图像存入安全内存之后，终端设备可以在可信执行环境中获取安全内存中所存储的人脸数据，并对获取到的图像进行加密处理，之后，将加密后的图像存入所创建的共享内存中。其中，共享内存的内存空间地址可以由终端设备中在富执行环境中的应用发送给在可信执行环境中的可信应用。之后，终端设备基于共享内存获取到加密后的人脸数据，再对加密后的图像进行图像处理。一个示例中，为了便于终端设备在富执行环境中调用图像处理算法，可以将上述图像处理算法存储于在富执行环境中所创建的内存空间中。

终端设备还可以实时监测当前是否需要进行眼动追踪检测，若确定无需再次进行眼动追踪检测时，此时，则可以在富执行环境中对所创建的运行内存以及共享内存进行释放，以便提高终端设备中的内存空间的占用率，并且，采用了加密处理的方式和共享内存的方式进行图像的传递，有利于提高图像的安全性。

一个示例中，终端设备确定进行眼动追踪检测，在富执行环境中生成随机数，并确定可信执行环境中需要调用的可信应用的识别码；其中，随机数和识别码用于对终端设备采集的图像进行加密和解密；终端设备在可信执行环境中，生成加密后的图像。

示例性地，本实施例中，提供了一种加密方法。当终端设备确定需要进行眼动追踪检测时，此时，会在富执行环境中生成一个随机数，并进一步确定可信执行环境中需要调用的可信应用的识别码。之后，基于该标识码和随机数，确定加密处理的密钥信息。在可信执行环境中根据该密钥信息对采集的图像进行加密处理之后，在富执行环境中在获取到共享内存中的加密后的图像，也可以基于在富执行环境中得到的密钥信息进行解密处理，之后，再进行眼动追踪检测。

此外，本实施例中，当终端设备确定无需进行眼动追踪检测时，此时，可以将生成的随机数删除，当需要再次进行眼动追踪检测时，仍可以随机生成一个随机数。

可以理解的是，本实施例中，在每次需要进行眼动追踪检测时，都会基于在富执行环境中生成的随机数和需要调用的可信应用的标识符进行加解密处理，有利于提高图像的安全性。

应理解，本申请实施例中的第一计时器、第二计时器、第三计时器、第四计时器、第五计时器和第六计时器可以分别对应相同或者不同的时间段，本申请对此不做具体限定。

作为一个可选的实施例，在S301之前，方法300还包括：基于用户的输入操作，开启眼动追踪功能。眼动追踪功能的开启过程可以如图10所示。在设置页面上具有智慧感知控件1001，用户点击该控件后，电子设备可跳转至智慧感知页面；在智慧感知页面上，具有多个功能选项，例如智能注视、人脸感知、隔空手势等功能。如果用户点击了智能注视功能中的眼动追踪控件1002，则可以进入眼动校准页面；在该页面上，用户可以根据电子设备的提示信息录入眼动数据，例如，根据图10所示的指引，依次注视显示屏上的5个位置，完成眼动数据的录入。

在录入眼动数据之后，用户还可以对眼动追踪功能进行设置，例如图11所示，可以进行注视横幅通知展开内容、注视横幅通知打开应用、删除眼动数据以及显示眼动光标的设置。示例性地，如果打开了注视横幅通知展开内容的开关，那么后续终端设备检测到用户眼部的注视点在弹窗消息所在的区域时，则可以展开弹窗消息；如果打开了注视横幅通知打开应用开关，那么后续电子设备检测到用户眼部的注视点在通知消息所在的区域时，则可以打开应用；如果打开了显示眼动光标开关，那么电子设备可以在显示屏上显示出一个光标，以表征眼动注视点。可以理解，上述的横幅通知也可以称为弹窗消息。

其中，用户在录入眼动数据的过程中，电子设备可以启动RGB相机和TOF相机分别采集图像，并对采集的图像进行校准，得到用户的眼动校准数据。可选地，眼动校准数据可以包括但不限于用户眼部特征、眼部的位置索引等数据。可以理解，电子设备可以分别得到RGB相机对应的眼动校准数据和TOF相机对应的眼动校准数据。

下面，以第一计时器对应的时间段为1s，第二计时器对应的时间段为3.5s，第三计时器/第四计时器对应的时间段为3s，第五计时器对应的时间段为2s，第六计时器对应的时间段为1s，弹窗消息为短信通知消息为例，对人眼追踪的帧率调整的方法进行举例说明。

图12为本申请实施例提供的一种弹窗消息为短信通知消息的眼动追踪的帧率调整方法1200的流程示意图。如图12所示，方法1200可以包括下述步骤：

S1201、终端设备接收短信通知消息，启动眼动追踪检测，创建运行内存和共享内存。

S1202、终端设备以高帧率检测模式持续检测1秒钟，并判断是否检测到人眼的注视点位于终端设备的显示屏上。

当终端设备检测到人眼的注视点位于终端设备的显示屏上时，可以执行下述步骤S1204，当终端设备未检测到人眼的注视点位于终端设备的显示屏上时，可以执行下述步骤S1203。

S1203、终端设备进入低帧率检测模式，持续检测3.5秒钟，并判断是否检测到人眼的注视点位于终端设备的显示屏上。

本申请仅以持续检测3秒钟为例进行说明，并不构成任何限定。

当终端设备检测到人眼的注视点位于终端设备的显示屏上时，可以执行下述步骤S1204，当终端设备未检测到人眼的注视点位于终端设备的显示屏上时，可以执行下述步骤S1208。

S1204、终端设备进入高帧率检测模式，并判断3秒钟内人眼的注视点是否处于位于短信通知消息对应的区域内。

示例性的，注视时长为人眼的注视点处于第一区域之内的持续时长。本申请仅以判断注视时长是否大于3秒钟为例进行说明，并不构成任何限定。

若是，终端设备可以执行下述步骤S1205；否则，则继续执行下述步骤S1206。

S1205、终端设备展开短信通知消息。终端设备可以继续执行S1208。

S1206、终端设备判断人眼的注视点离开短信通知消息位于的区域的持续时长是否超过1秒钟。

若是，终端设备可以执行下述步骤S1208，否则执行下述步骤S1204。

本申请仅以离开的持续时长是否超过1秒钟为例进行说明，并不构成任何限定。

S1207、终端设备进入低帧率检测模式，并判断人眼的注视点是否在2s内持续离开短信通知消息位于的区域。

若是，终端设备可以执行下述步骤S1208，当终端设备确定视线未离开时，可以重新S1207，直至确定人眼的注视点在2s内持续离开短信通知消息位于的区域。

S1208、终端设备收起短信通知消息，并取消确定无需进行眼动追踪检测，释放运行内存和共享内存。

综上所述，本申请实施例提供的眼动追踪的帧率调整方法，当终端设备显示短信通知消息时，终端设备可以进行眼动追踪检测，并在眼动追踪检测时可以动态进行帧率调整，降低终端设备的功耗。

应理解，方法1200的具体实施细节与方法300类似，可以参看上文的描述，在此不再赘述。

图13是本申请实施例提供的另一种终端设备的软件结构框图，在该软件结构框图的基础上，可以实现本申请实施例的眼动追踪的帧率调整方法。

图13为本申请实施例提供的一种终端设备100的软件结构1300框图。如图13所示，在终端设备100中部署有富执行环境和可信执行环境。其中，富执行环境所对应的软件层包括：应用程序（application，APP）层、应用程序框架（framwork，FWK）层、硬件抽象（hardwareabstraction layer，HAL）层、内核（kernel）层和硬件（hardware）层。

如图13所示，整个软件结构1300可以分为Android通用运行环境和可信执行环境两部分。其中，TEE一般为安全区，是需要授权后才能访问的区域，Android REE（以下简称为REE）一般为非安全区；为确保安全性，RGB相机和/或TOF相机采集的图像数据需先通过安全通路传输至TEE侧，经过TEE侧的加密操作后再传回REE侧进行识别处理。本申请实施例中对图像进行处理的过程由REE侧来执行，在REE侧进行图像处理时，可以创建运行内存，算法结束后还可以将运行内存释放，提高了电子设备的内存利用率。

应用程序层可以包括通知应用、系统用户界面（system user interface，systemUI）和swing框架。用户可以通过设置应用对电子设备进行各种功能的设置和管理，也即，用户可以通过该设置应用开启或关闭电子设备的眼动追踪功能，以及管理眼动追踪功能的用户数据。系统UI即系统用户界面，它可以为系统提供基础的显示界面，例如屏幕顶端的状态栏、屏幕底部的导航栏、下拉界面的快速设置栏、通知栏、锁屏界面、音量调节对话框以及截屏显示界面等功能。swing框架是一个为Java设计的GUI工具包，可以包括图形用户界面器件，如：文本框、按钮、分隔窗格和表等，其可以负责注册智慧感知服务围栏，在有通知消息时调起智慧感知服务，有注册结果返回时进行相应处理。

应用程序框架层可以包括相机服务和智慧感知服务。相机服务可以提供相机调用接口，并调度相机运行。智慧感知服务可以在被swing框架调起时，调用接口触发智慧感知Daemon运行，启动眼动追踪流程。

硬件抽象层可以包括相机HAL、智慧感知守护模块以及算法处理模块。其中，智慧感知守护模块，也可以称为智慧感知Daemon，可以包括相机控制模块、智慧感知CA和智慧感知HAL。相机控制模块可以根据智慧感知HAL的指令控制相机的参数，例如图像采集帧率等参数。智慧感知CA可以获取TEE侧加密后的图像数据，并交由智慧感知HAL，智慧感知HAL进而调用算法处理模块对图像数据进行处理。算法处理模块可以执行图像处理算法、眼动识别算法、眼动校准算法和人脸检测算法等。当算法处理模块得到处理结果后，便可以经由智慧感知Daemon回传到智慧感知服务和应用程序层，用于识别用户是否在注视通知消息区域，进而对通知消息进行展开、收起、退出、或者进入相应的应用等操作。

可以理解，TEE侧用于加密的智慧感知TA也可以位于硬件抽象层。为使TEE侧加密后的图像数据成功传回REE侧，电子设备可以在REE和TEE之间设置一个共享内存，共享内存也可以称为共享buffer，TEE侧的智慧感知TA将加密后的图像数据放入该共享buffer后，REE侧的智慧感知CA即可从中读取出加密后的图像数据。

内核层可以包括摄像头驱动，用于为RGB相机和TOF相机提供功能支持。硬件层可以包括RGB相机和TOF相机，用于采集图像数据，并将采集的图像数据通过安全通路传输至TEE侧。可选地，RGB相机和/或TOF相机可以通过高通安全通路（secure buffer）传输至TEE侧进行加密。可以理解，因用户在使用电子设备时通常是面向显示屏，则本申请实施例中所使用的RGB相机为电子设备的前置RGB相机，TOF相机为前置TOF相机，但为方便描述，以下简称为RGB相机和TOF相机。

具体地，当终端设备基于App层确定需要进行眼动追踪检测时，此时，可以依次通过智慧感知服务、智慧感知HAL、相机服务、相机HAL、内核、相机驱动，驱动控制终端设备中所配置的RGB相机和/或TOF相机进行图像的采集。并且，在智慧感知HAL在上述过程中被调用时，创建共享内存、运行内存，并调起在可信执行环境中的可信相机服务以及智慧感知TA，并将所建立的共享内存的地址信息发送给智慧感知TA。在一种实现方式中，智慧感知HAL在启动时，还可以进一步生成随机数，并将随机数发送给智慧感知TA，以便后续可以基于智慧感知TA进行图像加密处理。

当摄像头启动之后，摄像头会实时采集图像，并将采集到的图像通过安全通道传输至终端设备中的安全内存中。此步骤的具体过程可以参见相关技术中的描述，此处不再赘述。

并且，在摄像头将采集到的图像传输至安全内存之后，进一步的还会依次经过相机驱动、内核、相机HAL、相机服务，向智慧感知HAL传输所采集到的图像在安全内存中的存储位置信息，以便终端设备中的HAL可以向可信执行环境中的智慧感知TA发送该存储信息。在该存储信息的指示下，终端设备中在可信执行环境中部署的可信服务将从安全内存中获取的图像传输给智慧感知TA，并基于智慧感知TA在可信执行环境中对获取到的图像进行加密处理。并且，可信执行环境中的智慧感知TA将加密后的图像存储至共享内存。

智慧感知CA可以在智慧感知TA的通知触发下去共享内存中获取加密后的图像，并由智慧感知CA进行解密。然后智慧感知CA将解密后的图像传输至智慧感知HAL，智慧感知HAL在运行内存中调用并运行存储在富执行环境可访问的内存空间中的图像处理算法，对图像进行眼动追踪检测。其中，该图像处理算法可以存储在终端设备的富执行环境可访问的算法存储库中。在一种可能的实现方式中，算法存储库中不仅可以用于存储用于眼动追踪检测的图像处理算法，还可以用于存储人眼校准数据；相机参数（例如,飞行时间TOF相机的标定参数）。在一种可能的实现方式中算法存储库中还用于存储对相机参数进行调整的算法，该算法可以用于根据所获取到的图像，确定下一帧图像采集时相机所需要的曝光参数，并将曝光参数由智慧感知HAL，基于图中的数据传输通路依次传输至相机。

当智慧感知HAL获取到眼动追踪检测结果之后，会将检测结果通过智慧感知服务返回给APP层。终端设备基于APP层和接收到的检测结果，确定是否需要进行帧率切换，或者是否需要进行眼动追踪检测。

若确定无需进行眼动追踪检测时，则可以经由智慧感知服务下发指令给智慧感知HAL，由智慧感知HAL进行相机的关闭、共享内存和运行内存的释放。

需要说明的是，本实施例中对于终端设备中的摄像头的种类和数量不做具体限定。

对于上述实施例，下面结合上述图13所示的软件系统架构对该实施例中的眼动追踪的帧率调整方法进行详细说明，图14为本申请实施例提供的眼动追踪的帧率调整方法1400的流程示意图，该方法1400可以包括：

S11、系统UI感知通知消息，通过swing框架向智慧感知服务发送第一指示消息，第一指示消息用于指示智慧感知服务注册眼动围栏。对应地，智慧感知服务接收第一指示消息，并注册眼动围栏。

S12、智慧感知服务向智慧感知HAL发送第二指示消息，第二指示消息用于指示智慧感知HAL激活眼动通路（pipeline）。对应地，智慧感知HAL接收第二指示消息，并激活眼动通路。

S13、智慧感知HAL初始化RGB相机和/或TOF相机、算法处理模块和智慧感知TA，并创建运行内存和共享内存。

S14、RGB相机和/或TOF相机以第一帧率采集图像，并通过相机控制向智慧感知CA出图回调。回调内容可以包括采集的图像的句柄、批次号。

S15、智慧感知CA向智慧感知TA发送回调内容。对应地，智慧感知TA接收回调内容。

S16、智慧感知TA基于回调内容获取图像，并对图像进行加密。

S17、智慧感知TA将加密后的图像传输至智慧感知CA。对应地，智慧感知CA接收加密后的图像。

S18、智慧感知CA对加密后的图像进行解密。

S19、智慧感知CA将解密后的图像传输至智慧感知HAL。对应地，智慧感知HAL接收解密后的图像。

S20、智慧感知HAL调用算法处理模块对采集的图像进行图像处理。

应理解，算法处理模块包括图像处理算法。智慧感知HAL调用图像处理算法对采集的图像中的人眼的注视点在终端设备的显示屏上的位置进行计算。

S21、算法处理模块将人眼的注视点在终端设备的显示屏的坐标发送至系统UI。对应地，系统UI接收该坐标。

S22、系统UI基于第一计时器和人眼的注视点在终端设备的显示屏的坐标，确定第一计时器对应的时间段，人眼的注视点持续未处于终端设备的显示屏上，开启第二计时器，并将图像的采集帧率切换为第二帧率。

S23、系统UI依次通过智慧感知服务、智慧感知HAL、相机控制，向RGB相机和/或TOF相机发送第三指示消息，第三指示消息用于指示RGB相机和/或TOF相机将图像的采集帧率切换为第二帧率。

可选地，第二指示消息还包括相机标识，相机标识用于指示RGB相机和/或TOF相机。

S24、RGB相机和/或TOF相机以第二帧率采集图像，并通过相机控制向智慧感知CA出图回调。回调内容可以包括采集的图像的句柄、批次号。

S25、智慧感知CA向智慧感知TA发送回调内容。对应地，智慧感知TA接收回调内容。

S26、智慧感知TA基于回调内容获取图像，并对图像进行加密。

S27、智慧感知TA将加密后的图像传输至智慧感知CA。对应地，智慧感知CA接收加密后的图像。

S28、智慧感知CA对加密后的图像进行解密。

S29、智慧感知CA将解密后的图像传输至智慧感知HAL。对应地，智慧感知HAL接收解密后的图像。

S30、智慧感知HAL调用算法处理模块对采集的图像进行图像处理。

S31、算法处理模块将人眼的注视点在终端设备的显示屏的坐标发送至系统UI。对应地，系统UI接收该坐标。

S32、系统UI基于第二计时器和人眼的注视点在终端设备的显示屏的坐标，在第二计时器超时之前，检测到人眼的注视点位于终端设备的显示屏上，开启第三计时器，并将图像的采集帧率切换为第一帧率。

可选地，S33、第三计时器对应的时间段内，检测到人眼的注视点持续位于弹窗消息对应的区域内，显示第二界面，确定无需进行眼动追踪检测。

应理解，S32之后，摄像头以第一帧率采集图像，并将对采集的图像的图像处理结果发送至系统UI的实施细节与S23至S31类似，可以参看上文，在此省略该过程中的步骤。

可选地，S34、系统UI通过swing框架向智慧感知服务发送第四指示消息，第四指示消息用于指示智慧感知服务注销眼动围栏。对应地，智慧感知服务接收第四指示消息，并注销眼动围栏。

可选地，S35、智慧感知服务向智慧感知HAL发送第五指示消息，第五指示消息用于指示智慧感知HAL注销眼动通路。对应地，智慧感知HAL接收第五指示消息，并注销眼动通路。

可选地，S36、智慧感知HAL释放运行内存和共享内存。

应理解，上述各方法的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对实现眼动追踪的帧率调整方法的装置进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图15为本申请实施例提供的一种眼动追踪的帧率调整装置1500的示意性框图。装置1500包括摄像头，装置1500部署有富执行环境和可信执行环境。如图15所示，装置1500包括：创建模块1501和处理模块1502。

该装置1400用于实现上述方法300、方法1200、方法1400中终端设备对应的步骤。

创建模块1501，用于在需要进行眼动追踪检测的情况下，在富执行环境中创建运行内存，其中，运行内存用于运行图像处理算法对通过摄像头采集的图像进行图像处理；

处理模块1502，用于装置1500的第一界面显示弹窗消息，开启第一计时器，并控制摄像头以第一帧率采集图像，第一界面包括弹窗消息的部分内容；在运行内存中基于摄像头以第一帧率采集的图像，检测人眼的注视点是否处于装置1500的显示屏上；在第一计时器对应的时间段内，检测人眼的注视点持续未处于装置1500的显示屏上，开启第二计时器，并控制摄像头以第二帧率采集图像，第二帧率小于第一帧率；在运行内存中基于摄像头以第二帧率采集的图像，检测人眼的注视点是否处于装置1500的显示屏上；在第二计时器超时之前，检测到人眼的注视点处于装置1500的显示屏上，开启第三计时器，并控制摄像头以第一帧率采集图像；

创建模块1501还用于：在无需进行眼动追踪检测的情况下，停止采集图像，并在富执行环境中释放运行内存。

可选地，处理模块1502还用于：在第一计时器超时之前，检测到人眼的注视点处于装置1500的显示屏上，开启第四计时器，并控制摄像头以第一帧率采集图像，第四计时器的时长大于第一计时器的时长；装置1500还包括显示模块1503，用于在第四计时器对应的时间段内，检测到人眼的注视点持续位于弹窗消息对应的区域内，显示第二界面，第二界面包括弹窗消息的全部内容。

可选地，显示模块1503还用于：在第三计时器对应的时间段内，检测到人眼的注视点持续位于弹窗消息对应的区域内，显示第二界面，第二界面包括弹窗消息的全部内容。

可选地，处理模块1502还用于：开启第五计时器，并控制摄像头以第二帧率采集图像；在运行内存中基于摄像头以第二帧率采集的图像，检测人眼的注视点是否持续未处于弹窗消息对应的区域内；显示模块1503还用于：在第五计时器对应的时间段内，检测到人眼的注视点持续未处于弹窗消息对应的区域内，确定无需再进行眼动追踪检测，显示第三界面，第三界面不包括弹窗消息或包括弹窗消息的部分内容。

可选地，处理模块1502还用于：在第五计时器超时之前，检测到人眼的注视点处于弹窗消息对应的区域内，重新开启第五计时器，并控制摄像头以第二帧率采集图像。

可选地，处理模块1502还用于：在第四计时器超时之前，检测到人眼的注视点未处于弹窗消息对应的区域内，开启第六计时器，并控制摄像头以第一帧率采集图像；显示模块1503还用于：在第六计时器对应的时间段内，检测到人眼的注视点持续未处于弹窗消息对应的区域内，确定无需再进行眼动追踪检测，显示第四界面，第四界面不包括弹窗消息。

可选地，处理模块1502还用于：在第六计时器超时之前，检测到人眼的注视点处于弹窗消息对应的区域内，重新开启第四计时器，并控制摄像头以第一帧率采集图像。

可选地，处理模块1502还用于：在第三计时器超时之前，检测到人眼的注视点未处于弹窗消息对应的区域内，开启第六计时器，并控制摄像头以第一帧率采集图像；显示模块1503还用于：在第六计时器对应的时间段内，检测到人眼的注视点持续未处于弹窗消息对应的区域内，确定无需再进行眼动追踪检测，显示第四界面，第四界面不包括弹窗消息。

可选地，处理模块1502还用于：在第六计时器超时之前，检测到人眼的注视点处于弹窗消息对应的区域内，重新开启第三计时器，并控制摄像头以第一帧率采集图像。

可选地，创建模块1501还用于：在需要进行眼动追踪检测的情况下，在富执行环境中创建共享内存；其中，共享内存用于存储在可信执行环境中进行加密处理后的图像；运行内存用于运行图像处理算法对加密处理后的图像进行图像处理；在无需进行眼动追踪检测的情况下，在富执行环境中释放共享内存。

应理解，这里的装置1500以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选的例子中，本领域技术人员可以理解，装置1500可以具体为上述实施例中的终端设备，装置1500可以用于执行上述方法实施例中与终端设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。

上述装置1500具有实现上述方法中终端设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

在本申请的实施例，图15中的装置1500也可以是芯片，例如：SOC。对应地，处理模块1502可以是该芯片的收发电路，在此不做限定。

图16示出了本申请实施例提供的一种眼动追踪的帧率调整装置1600的示意性框图。该装置1600包括处理器1601、收发器1602和存储器1603。其中，处理器1601、收发器1602和存储器1603通过内部连接通路互相通信，该存储器1603用于存储指令，该处理器1601用于执行该存储器1603存储的指令，以控制该收发器1602发送信号和/或接收信号。

应理解，装置1600可以具体为上述实施例中的终端设备，并且可以用于执行上述方法实施例中与终端设备对应的各个步骤和/或流程。可选地，该存储器1603可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器1601可以用于执行存储器中存储的指令，并且当该处理器1601执行存储器中存储的指令时，该处理器1601用于执行上述方法实施例的各个步骤和/或流程。该收发器1602可以包括发射器和接收器，该发射器可以用于实现上述收发器对应的用于执行发送动作的各个步骤和/或流程，该接收器可以用于实现上述收发器对应的用于执行接收动作的各个步骤和/或流程。

应理解，在本申请实施例中，该处理器可以是中央处理单元（central processingunit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，该计算机程序用于实现上述方法实施例中所示的方法。

本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机程序（也可以称为代码，或指令），当该计算机程序在计算机上运行时，该计算机可以执行上述方法实施例所示的方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种眼动追踪的帧率调整方法，其特征在于，应用于终端设备，所述终端设备包括摄像头，所述终端设备部署有富执行环境和可信执行环境，所述方法包括：

在需要进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中创建运行内存，其中，所述运行内存用于运行图像处理算法对通过所述摄像头采集的图像进行图像处理；

所述终端设备的第一界面显示弹窗消息，所述终端设备开启第一计时器，并控制所述摄像头以第一帧率采集图像，所述第一界面包括所述弹窗消息的部分内容；

所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否处于所述终端设备的显示屏上；

在所述第一计时器对应的时间段内，所述终端设备检测人眼的注视点持续未处于所述终端设备的显示屏上，所述终端设备开启第二计时器，并控制所述摄像头以第二帧率采集图像，所述第二帧率小于所述第一帧率；

所述终端设备在所述运行内存中基于所述摄像头以所述第二帧率采集的图像，检测人眼的注视点是否处于所述终端设备的显示屏上；

在所述第二计时器超时之前，所述终端设备检测到人眼的注视点处于所述终端设备的显示屏上，所述终端设备开启第三计时器，并控制所述摄像头以所述第一帧率采集图像；

在无需进行眼动追踪检测的情况下，所述终端设备停止采集图像，并在所述富执行环境中释放所述运行内存；所述终端设备开启第三计时器，并控制所述摄像头以所述第一帧率采集图像之后，所述方法还包括：

所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续位于所述弹窗消息对应的区域内；

在所述第三计时器对应的时间段内，所述终端设备检测到人眼的注视点持续位于所述弹窗消息对应的区域内，所述终端设备显示第二界面，所述第二界面包括所述弹窗消息的全部内容；

所述终端设备显示第二界面之后，所述方法还包括：

所述终端设备开启第五计时器，并控制所述摄像头以所述第二帧率采集图像；

所述终端设备在所述运行内存中基于所述摄像头以所述第二帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；

在所述第五计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第三界面，所述第三界面不包括所述弹窗消息或包括所述弹窗消息的部分内容。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一计时器超时之前，所述终端设备检测到人眼的注视点处于所述终端设备的显示屏上，所述终端设备开启第四计时器，并控制所述摄像头以所述第一帧率采集图像，所述第四计时器的时长大于所述第一计时器的时长；

所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续位于所述弹窗消息对应的区域内；

在所述第四计时器对应的时间段内，所述终端设备检测到人眼的注视点持续位于所述弹窗消息对应的区域内，所述终端设备显示第二界面，所述第二界面包括所述弹窗消息的全部内容。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第五计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，所述终端设备重新开启所述第五计时器，并控制所述摄像头以所述第二帧率采集图像。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述第四计时器超时之前，所述终端设备检测到人眼的注视点未处于所述弹窗消息对应的区域内，所述终端设备开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；

所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；

在所述第六计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述第六计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第四计时器，并控制所述摄像头以所述第一帧率采集图像。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第三计时器超时之前，所述终端设备检测到人眼的注视点未处于所述弹窗消息对应的区域内，所述终端设备开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；

所述终端设备在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；

在所述第六计时器对应的时间段内，所述终端设备检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，所述终端设备确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述第六计时器超时之前，所述终端设备检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第三计时器，并控制所述摄像头以所述第一帧率采集图像。

8.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

在需要进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中创建共享内存；其中，所述共享内存用于存储在所述可信执行环境中进行加密处理后的图像；所述运行内存用于运行图像处理算法对所述加密处理后的图像进行图像处理；

在无需进行眼动追踪检测的情况下，所述终端设备在所述富执行环境中释放所述共享内存。

9.一种眼动追踪的帧率调整装置，其特征在于，所述装置包括摄像头，所述装置部署有富执行环境和可信执行环境，所述装置包括：

创建模块，用于在需要进行眼动追踪检测的情况下，在所述富执行环境中创建运行内存，其中，所述运行内存用于运行图像处理算法对通过所述摄像头采集的图像进行图像处理；

处理模块，用于所述装置的第一界面显示弹窗消息，开启第一计时器，并控制所述摄像头以第一帧率采集图像，所述第一界面包括所述弹窗消息的部分内容；在所述运行内存中基于所述摄像头以所述第一帧率采集的图像，检测人眼的注视点是否处于所述装置的显示屏上；在所述第一计时器对应的时间段内，检测人眼的注视点持续未处于所述装置的显示屏上，开启第二计时器，并控制所述摄像头以第二帧率采集图像，所述第二帧率小于所述第一帧率；在所述运行内存中基于所述摄像头以所述第二帧率采集的图像，检测人眼的注视点是否处于所述装置的显示屏上；在所述第二计时器超时之前，检测到人眼的注视点处于所述装置的显示屏上，开启第三计时器，并控制所述摄像头以所述第一帧率采集图像；

所述创建模块还用于：

在无需进行眼动追踪检测的情况下，停止采集图像，并在所述富执行环境中释放所述运行内存；

所述装置还包括显示模块，所述显示模块用于：

在所述第三计时器对应的时间段内，检测到人眼的注视点持续位于所述弹窗消息对应的区域内，显示第二界面，所述第二界面包括所述弹窗消息的全部内容；

所述处理模块还用于：

开启第五计时器，并控制所述摄像头以所述第二帧率采集图像；

在所述运行内存中基于所述摄像头以所述第二帧率采集的图像，检测人眼的注视点是否持续未处于所述弹窗消息对应的区域内；

所述显示模块还用于：

在所述第五计时器对应的时间段内，检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，确定无需再进行眼动追踪检测，显示第三界面，所述第三界面不包括所述弹窗消息或包括所述弹窗消息的部分内容。

10.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：

在所述第一计时器超时之前，检测到人眼的注视点处于所述装置的显示屏上，开启第四计时器，并控制所述摄像头以所述第一帧率采集图像，所述第四计时器的时长大于所述第一计时器的时长；

所述显示模块，还用于在所述第四计时器对应的时间段内，检测到人眼的注视点持续位于所述弹窗消息对应的区域内，显示第二界面，所述第二界面包括所述弹窗消息的全部内容。

11.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：

在所述第五计时器超时之前，检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第五计时器，并控制所述摄像头以所述第二帧率采集图像。

12.根据权利要求10所述的装置，其特征在于，所述处理模块还用于：

在所述第四计时器超时之前，检测到人眼的注视点未处于所述弹窗消息对应的区域内，开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；

所述显示模块还用于：

在所述第六计时器对应的时间段内，检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

13.根据权利要求12所述的装置，其特征在于，所述处理模块还用于：

在所述第六计时器超时之前，检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第四计时器，并控制所述摄像头以所述第一帧率采集图像。

14.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：

在所述第三计时器超时之前，检测到人眼的注视点未处于所述弹窗消息对应的区域内，开启第六计时器，并控制所述摄像头以所述第一帧率采集图像；

所述显示模块还用于：

在所述第六计时器对应的时间段内，检测到人眼的注视点持续未处于所述弹窗消息对应的区域内，确定无需再进行眼动追踪检测，显示第四界面，所述第四界面不包括所述弹窗消息。

15.根据权利要求14所述的装置，其特征在于，所述处理模块还用于：

在所述第六计时器超时之前，检测到人眼的注视点处于所述弹窗消息对应的区域内，重新开启所述第三计时器，并控制所述摄像头以所述第一帧率采集图像。

16.根据权利要求9或12所述的装置，其特征在于，所述创建模块还用于：

在需要进行眼动追踪检测的情况下，在所述富执行环境中创建共享内存；其中，所述共享内存用于存储在所述可信执行环境中进行加密处理后的图像；所述运行内存用于运行图像处理算法对所述加密处理后的图像进行图像处理；

在无需进行眼动追踪检测的情况下，在所述富执行环境中释放所述共享内存。

17.一种眼动追踪的帧率调整装置，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序，当所述处理器调用所述计算机程序时，使得所述装置执行如权利要求1至8中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括用于实现如权利要求1至8中任一项所述的方法的指令。