CN116027887A - 一种显示方法和电子设备 - Google Patents

Abstract

本申请实施例提供了一种显示方法。该方法可应用于手机、平板电脑等终端设备上。在检测到成功解锁或返回主界面的操作之后，终端设备可通过摄像头模组确定用户的眼球注视位置，进而确定用户是否在注视通知栏。当识别到用户注视通知栏的动作后，终端可显示用于展示通知消息的通知界面，以供用户快速获取通知，且无需用户的触控操作。

Description

一种显示方法和电子设备

技术领域

本申请涉及终端领域，尤其涉及一种显示方法和电子设备。

背景技术

随着移动终端崛起及通信技术的成熟，人们开始探索脱离鼠标和键盘的新型人机交互方式，例如语音控制、手势识别控制等，进而实现新型的人机交互方式，为用户的更多样化更便捷的交互体验，提升用户使用体验。

发明内容

本申请实施例提供了一种显示方法。实施该方法，具备摄像头的终端设备可通过摄像头模组确定用户的眼球注视位置，进而确定用户是否在注视屏幕上的预设区域。当识别到用户上述预设区域后，终端可显示用于与该预设区域关联的通知界面，以供用户快速获取通知，且无需用户的触控操作。

第一方面，本申请提供了一种显示方法，该方法应用于电子设备，电子设备包括屏幕，电子设备的屏幕包括第一预设区域，该方法包括：显示第一界面；响应于用户的第一操作，显示第二界面；若所述第二界面是预设界面，显示第二界面时，在第一预设时间段内，电子设备采集第一图像；基于第一图像确定用户的第一眼球注视区域，第一眼球注视区域为当用户注视屏幕时用户所注视的屏幕区域；当第一眼球注视区域在第一预设区域内，显示包括一个或多个通知的第三界面。

实施第一方面提供的方法，电子设备可以在特定的界面开启眼球注视识别检测。通过眼球注视识别检测，电子设备可检测用户是否注视屏幕上的某一预设区域。当检测到用户注视该预设区域时，电子设备可以自动地显示展示通知的通知界面。这样，用户可以通过注视操作控制电子设备显示通知界面，进而快速获取通知。特别是在用户不方便通过触控操作获取通知界面的场景下，该方法为用户提供了另一个获取通知的途径，有利于提升用户使用体验。

结合第一方面提供的方法，在一些实施例中，第二界面为以下多个界面中的任意一个：第一桌面、第二桌面、负一屏。

实施上述实施例提供的方法，电子设备可以在显示第一桌面、第二桌面、负一屏等界面时，检测用户是否注视屏幕上的某一预设区域。这样，用户可以在电子设备显示第一桌面、第二桌面或负一屏时，通过注视操作，控制电子设备显示通知界面。基于用户获取通知的习惯确定的开启眼球注视识别检测的第二界面不限于上述第一桌面、第二桌面、负一屏。

结合第一方面提供的方法，在一些实施例中，第一预设时间为显示第二界面的前N秒。

实施上述实施例提供的方法，电子设备不会一直在第二界面中检测用户是否注视屏幕上的某一区域，而是会在预设的一段时间内检测，例如显示第二界面的前3秒，以节省功耗，同时避免摄像头滥用影响用户信息安全。

结合第一方面提供的方法，在一些实施例中，第一眼球注视区域为屏幕上的一个显示单元构成的光标点，或者，第一眼球注视区域为屏幕上多个显示单元构成的光标点或光标区域。

结合第一方面提供的方法，在一些实施例中，第一眼球注视区域在第一预设区域内，包括：第一眼球注视区域在屏幕中的位置包含于第一预设区域，或者第一眼球注视区域在屏幕中的位置与第一预设区域有交集。

结合第一方面提供的方法，在一些实施例中，第一界面为待解锁界面，第一操作为解锁操作。

实施上述实施例提供的方法，电子设备在解锁成功后可显示第一桌面、第二桌面、负一屏等类型的第一界面。在显示上述界面的同时，电子设备还可检测用户是否注视屏幕上的第一预设区域。这样，在解锁进入第二界面的场景下，用户可以通过注视操作，控制电子设备显示通知界面。

结合第一方面提供的方法，在一些实施例中，第一界面为电子设备上安装的第一应用提供的一个界面，第一操作为退出第一应用的操作。

实施上述实施例提供的方法，电子设备在退出某一应用之后可显示第二界面。这时，电子设备也可检测用户是否注视视屏幕上的第一预设区域。这样，在退出某一应用之后，用户可以立马通过注视操作，控制电子设备显示通知界面，进而处理通知指示的待处理任务。

结合第一方面提供的方法，在一些实施例中，退出第一应用的操作，包括：电子设备检测到的用户做出的指示电子设备退出第一应用的操作，和，电子设备检测到用户长时间未对第一应用施加操作而生成的退出第一应用的操作。

实施上述实施例提供的方法，电子设备可以通过用户退出第一应用的操作确定退出第一应用，也可以通过用户长时间不对第一应用施加操作确定退出第一应用。这样，电子设备可以为用户提供更加便捷、自动化的显示通知的服务。

结合第一方面提供的方法，在一些实施例中，电子设备包括摄像头模组；摄像头模组包括：至少一个2D摄像头和至少一个3D摄像头，2D摄像头用于获取二维图像，3D摄像头用于获取包含深度信息的图像；第一图像包括二维图像和包括深度信息的图像。

实施上述实施例提供的方法，电子设备的摄像头模组可包括多个摄像头，且这多个摄像头中包括至少一个2D摄像头和至少一个3D摄像头。这样，电子设备可以获取到指示用户眼球注视位置的二维图像和三维图像。二维图像和三维图像结合有利于提升电子设备识别用户眼球注视位置的精度和准确度。

结合第一方面提供的方法，在一些实施例中，基于第一图像确定用户的第一眼球注视区域，具体包括：利用第一图像确定特征数据，特征数据包括左眼图像、右眼图像、人脸图像和人脸网格数据中的一类或多类；利用眼球注视识别模型确定特征数据指示的第一眼球注视区域，眼球注视识别模型是基于卷积神经网络建立的。

实施上述实施例提供的方法，电子设备可从摄像头模组采集的二维图像和三维图像中分别获取左眼图像、右眼图像、人脸图像和人脸网格数据，从而提取出更多的特征，提升识别精度和准确度。

结合第一方面提供的方法，在一些实施例中，利用第一图像确定特征数据，具体包括：对第一图像进行人脸校正，得到面部图像端正的第一图像；基于面部图像端正的第一图像，确定特征数据。

实施上述实施例提供的方法，在获取左眼图像、右眼图像、人脸图像之前，电子设备可以对摄像头模组采集的图像进行人脸校正，以提升左眼图像、右眼图像、人脸图像的准确性。

结合第一方面提供的方法，在一些实施例中，第一图像存储在安全数据缓冲区；在基于第一图像确定用户的第一眼球注视区域之前，该方法还包括：在可信执行环境下从安全数据缓冲区中获取第一图像。

实施上述实施例提供的方法，在电子设备处理摄像头模组采集图像之前，电子设备可将摄像头模组采集的图像存储在安全数据缓冲区。安全数据缓冲区中存储的图像数据仅可经由安全服务提供的安全传输通道输送到眼球注视识别算法中，从而提升图像数据的安全性。

结合第一方面提供的方法，在一些实施例中，安全数据缓冲区设置在电子设备的硬件层。

第二方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第三方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面，本申请提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

可以理解地，上述第二方面提供的电子设备、第三方面提供的芯片系统、第四方面提供的计算机存储介质、第五方面提供的计算机程序产品均用于执行本申请所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1A-图1C是本申请实施例提供的一组用户界面；

图2A-图2H是本申请实施例提供的一组用户界面；

图3A-图3H是本申请实施例提供的一组用户界面；

图4A-图4D是本申请实施例提供的一组用户界面；

图5A-图5D是本申请实施例提供的一组用户界面；

图6A-图6E是本申请实施例提供的一组用户界面；

图7是本申请实施例提供的一种显示方法的流程图；

图8是本申请实施例提供的一种眼球注视识别模型的结构图；

图9A是本申请实施例提供的一种人脸校正的流程图；

图9B-图9D是本申请实施例提供的一组人脸校正的示意图；

图10是本申请实施例提供的一种眼球注视识别模型的卷积网络的结构图；

图11是本申请实施例提供的一种可分离卷积技术的示意图；

图12是本申请实施例提供的终端100的系统结构示意图；

图13是本申请实施例提供的终端100的硬件结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。

以智能手机为例，据统计，在手机被解锁并显示桌面之后，手机通常首先检测到用户的下拉操作。上述下拉操作是指作用于屏幕顶端向下滑动的操作，参考图1A所示的用户操作。响应于该操作，手机可显示通知界面。如图1B所示的界面可称为通知界面。通知界面中可显示手机接收到的一个或多个通知，例如通知121、通知122、通知123。上述一个或多个通知信息来自于手机上安装的操作系统、系统应用和/或第三方应用。

在一些场景中，用户首先执行下拉操作、指示手机显示通知界面是因为：在打开手机之后，用户通常首先想要检查通知、确认是否有急切的待处理事项。特别的，在启用面部解锁的场景，在用户拿起手机之后，手机可快速地检测用户面部图像是否匹配，进而快速地完成面部解锁并显示桌面，这就使得用户难以在解锁之前仔细地检查并确认通知。这时，用户更倾向于在显示桌面之后，执行下拉操作、指示手机显示通知界面，从而检查并确认通知。

在另一些场景中，在手机解锁并显示桌面之后，用户经常不确定要干什么。这时，手机显示通知界面可给与用户提示，指示用户可以执行哪些操作。例如，通知界面可显示更新软件的通知、接收到联系人来电或信息的通知等。在显示桌面后，手机可首先显示展示有上述通知的通知界面，这样，用户可以确定更新软件或给联系人回复电话或信息等操作，从而为用户提供高效地通知提醒，提升用户使用体验。

针对上述使用场景，本申请实施例提供了一种显示方法。该方法可应用于手机、平板电脑等终端设备。实施上述方法的手机、平板电脑等终端设备可记为终端100。后续实施例将使用终端100指代上述手机、平板电脑等终端设备。

不限于手机、平板电脑，终端100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedreality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对上述终端的具体类型不作特殊限制。

具体的，终端100可检测用户拿起手机进行解锁操作。在检测到成功解锁之后，终端100可启用2D摄像头和3D摄像头采集用户的人脸数据，进而确定用户的眼球注视位置。

上述2D摄像头是指生成二维图像的摄像头，例如手机上常用的生成RGB图像的摄像头。上述3D摄像头是指能够生成三维图像的摄像头或者能够生成包括深度信息的图像的摄像头，例如TOF摄像头。相比于2D摄像头，3D摄像头生成的三维图像还包括深度信息，即被拍摄的物体与3D摄像头的位置信息。

用户的眼球注视位置是指用户注视终端100时目光在终端100屏幕上聚焦的位置。如图1C所示，终端100的屏幕上可显示光标点S。用户注视光标点S时，用户的目光在图1C所示的屏幕上聚焦的位置为光标点S，即用户的眼球注视位置为光标点S。光标点S可以是屏幕中任意位置，该任意位置可能对应某一应用图标或控件，也可能是空白的显示区域。其中，用户注视光标点S可以是正对屏幕时直视该光标点，有可以是未正对屏幕时斜视该光标点。这也就是说，终端100对用户注视屏幕的姿态不作限制，终端100可以在多种头部姿态时确定用户的眼球注视位置。

在确定用户的眼球注视位置之后，若确定上述眼球注视位置在终端100的通知栏区域内，终端100可显示图1B所示的通知界面。如图1C所示，虚线框131包围的区域可称为通知栏区域。用户的眼球注视位置在终端100的通知栏区域内时可表示用户在注视通知栏。

在本申请实施例中，终端100可在解锁成功后的3秒内确定用户是否正在注视通知栏。因此，终端100可以在完成解锁之后，快速地确定是否显示通知界面，既实现了通过眼球注视的交互控制，又避免交互时间过长影响用户体验。

特别的，在用户有意图执行下拉操作(触控操作)指示终端100显示通知界面的场景中，眼球注视不仅可以实现触控操作同样的控制显示效果，还降低了用户的使用限制。例如，在用户不方便执行触控动作的场景下，例如做饭、打扫等，眼球注视可以为用户提供便捷的交互操作体验。在用户解锁终端100后不知道要干什么的场景下，眼球注视可以指示终端100显示通知界面，提示用户接下来可以执行什么操作。

在一些实施例中，当通知界面显示有多条通知时，终端100还可在用户处理完成一个通知之后，自动地显示另一通知的详细信息，提示用户处理该通知，从而节省用户操作，提升用户使用体验。

下面具体介绍终端100实施上述基于眼球注视识别的交互方法的场景。

图2A示例性示出了终端100亮屏但未解锁的用户界面(待解锁界面)。待解锁界面可有显示时间、日期以供用户查看。

在显示图2A所示的用户界面之后，终端100可启用摄像头模组210采集并生成图像帧。上述图像帧中可包括用户的面部图像。然后，终端100可对上述图像帧进行面部识别，判断上述面部图像是否是机主的面部图像，即判断正在执行解锁操作的用户是否是机主本人。

如图2A所示，摄像头模组210中可包括多个摄像头器件。在本申请实施例中，终端100的摄像头模组210至少包括一个2D摄像头和一个3D摄像头。可选的，摄像头模组210也可包括多个2D摄像头和多个3D摄像头，本申请实施例对此不作限定。在进行面部解锁检验时，终端100所使用的摄像头的数量为1个。一般的，这个摄像头为3D摄像头。

当面部解锁成功时，即采集到的面部图像与机主的面部图像匹配时，终端100可显示图2B-图2C所示的用户界面。首先，终端100可显示图2B所示的用户界面(解锁成功界面)。解锁成功界面可显示有图标211。图标211可用于提示用户面部解锁成功。随后，终端100可显示图2C所示的用户界面。该界面可称为终端100的主界面。

不限于上述实施例介绍的面部解锁，终端100还可采用密码解锁(图形密码、数字密码)、指纹解锁等解锁方式。在解锁成功之后，终端100同样可显示图2C所示的主界面。

主界面可包括通知栏221、页面指示符222、常用应用程序图标托盘223，以及多个其他应用程序图标224。

其中：通知栏可包括移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符(例如信号强度指示符221A、信号强度指示符221B)、无线高保真(wireless fidelity，Wi-Fi)信号强度指示符221C，电池状态指示符221D、时间指示符221E。

页面指示符222可用于指示当前显示的页面与其他页面的位置关系。一般的，终端100的主界面可包括多个页面。图2C所示的界面可以为上述多个页面中的一个页面。终端100的主界面还包括其他页面。该其他页面在图2C中未显示出来。当检测到用户的左滑、右滑操作时，终端100可显示上述其他页面，即切换页面。这时，页面指示符222也会变更不同的形态来指示不同的页面。后续实施例再详细介绍。

常用应用程序图标托盘223可以包括多个常用应用图标(例如相机应用图标、通讯录应用图标、电话应用图标、信息应用图标)，常用应用图标在页面切换时保持显示。上述常用应用图标是可选的，本申请实施例对此不作限定。

其他应用程序图标托盘224可包括多个一般应用图标，例如设置应用图标、应用市场应用图标、图库应用图标、浏览器应用图标等。一般应用图标可分布在主界面的多个页面的其他应用程序图标托盘224中。其他应用程序图标托盘224中显示的一般应用图标在页面切换时会进行相应地变更。一个应用程序的图标可以是一般应用图标、也可以是常用应用图标。当上述图标被放置在常用应用程序图标托盘223，上述图标为常用应用图标；当上述图标被放置在其他应用程序图标托盘224，上述图标为一般应用图标。

可以理解的是，图2C仅仅示例性示出了终端100的一个主界面或一个主界面的一个页面，不应构成对本申请实施例的限定。

在显示图2C之后，终端100可通过摄像头模组210采集并生成包含用户面部的图像帧。这时，终端100所使用的摄像头的数量为2个，包括一个2D摄像头和一个3D摄像头。当然，不限于一个2D摄像头和一个3D摄像头，终端100还可以使用更多的摄像头，以获取更多的用户面部特征，特别是眼部特征，从而更快速准确地确定用户的眼球注视位置。

在使用面部解锁的场景中，终端100的3D摄像头时开启的，因此，终端100仅需开启摄像头模组210的2D摄像头。在使用密码解锁和指纹解锁的场景中，终端100的摄像头是关闭的。这时，终端100需开启摄像头模组210中的2D摄像头和3D摄像头。

优选的，终端100采集并生成图像帧的时间(记为注视识别时间)为显示图2C所示主界面的前3秒。3秒后，终端100可关闭摄像头模组210，以节省功耗。注视识别时间设置过短，例如1秒，可能导致眼球注视识别结果不准确。另一方面，对用户而言，用户也难以在显示主界面后1秒内立刻注视通知栏。注视识别时间设置过长，例如7秒、10秒，会导致功耗过大，不利于终端100的续航。当然，不限于3秒，注视识别时间还可以取其他值，例如2.5秒、3.5秒、4秒等，本申请实施例对此不作限定。后续介绍均以3秒为例。

在上述注视识别时间内，摄像头模组210可不断地采集并生成包含用户面部图像的图像帧。然后，终端100可使用上述图像帧识别用户的眼球注视位置。参考图2D，当识别到用户的眼球注视位置在通知栏221内时，即确定用户在注视通知栏221，终端100可显示图2E所示的通知界面，以供用户获取通知信息。图2E所示的通知界面同图1B，这里不再赘述。

这时，终端100为用户提供了通过眼球注视控制显示通知界面的能力。用户仅需注视通知栏221即可得到通知界面，而无需执行下拉操作，节省了用户操作。特别是在做饭等不方便执行触控操作的场景中，上述基于眼球注视的交互方法可以为用户提供极大地便利。

进一步的，通过用户行为分析，终端100可确定用户需要显示通知界面的场景(开始显示主界面的前一段时间内)，进而在相应场景中为用户提供眼球注视识别服务，避免了长期开启摄像头所带来的资源浪费的问题。

可选的，终端100还可在通过待解锁界面的通知进入某一应用，显示该应用的一个界面时，开启眼球注视识别。当然，不考虑功耗，终端100可以实时的开启摄像头，获取用户的眼球注视位置，以确定是否用户是否通过眼球注视的方式控制显示通知界面。例如，在视频播放器中，终端100可检测用户是否注视屏幕顶端或弹出的横幅通知。当检测到用户注视或弹出的横幅通知时，终端100可显示通知界面或横幅通知对应的界面等等。

图2F示例性示出了一个包括多个页面的主界面。其中，每一个页面均可称为主界面。

如图2F所示，主界面可包括页面20、页面21、页面22。页面21可称为第一桌面，所述第一桌面也称为主桌面(homepage)、主屏幕或开始屏幕，可以理解的，当仅有一个应用图标，页面指示符222仅有一个点，该应用图标所在的桌面。页面22可称为第二桌面，可以理解的，第二桌面为第一桌面相邻的右侧的桌面，如显示第一桌面时，检测到用户由右向左的滑动操作，显示第二桌面。页面20可称为负一屏，可以理解的，负一屏为第一桌面相邻的左侧的界面，其可以为功能页面，如显示第一桌面时，检测到用户由左向右的滑动操作，显示负一屏。其中，第二桌面的页面布局与第一桌面相同，这里不再赘述。主界面中的桌面的数量可根据用户的设置增加或减少，图2F中仅示出了第一桌面和第二桌面等。

在图2C所示的主界面中，终端100显示的主界面实际为图2F所示的主界面中的第一桌面。在一些实施例中，在解锁成功之后，终端100均首先显示第一桌面。在另一些实施例中，在解锁成功之后，终端100可显示负一屏、第一桌面或第二桌面。可选的，终端100具体显示负一屏、第一桌面或第二桌面中的哪一个取决于上一次退出时停留的页面。

因此，在显示图2B所示的解锁成功界面之后，终端100还可显示图2G或图2H所示的主界面(主界面的第二桌面或负一屏)。参考前述图2C的介绍，在显示第二桌面或负一屏的前3秒内，终端100也可通过摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221。若识别到用户的眼球注视位置在通知栏221内时，终端100也可显示图2E所示的通知界面，以供用户获取通知信息。

这样，无论解锁后终端100显示的哪一主界面，终端100均可检测前3秒内用户的眼球注视位置，从而满足用户解锁后想要首先查看通知的需求。

在用户解锁后且不确定接下来执行什么操作时，用户通常会执行左滑、右滑操作，切换当前显示的主界面的页面。这时，在切换页面之后，用户往往也会首先执行下拉操作，指示终端100显示通知界面。因此，在一些实施例中，在每次切换页面时，终端100也可启用摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221。

如图3A所示，在解锁成功之后，终端100可首先显示第一桌面。首先，在显示第一桌面的前3秒内，终端100可启用摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221。

在上述3秒内(或3秒后且未识别到用户注视通知栏)的某一时刻，终端100可检测到左滑操作(从屏幕右侧向左侧滑动的操作)。响应于上述操作，终端100可显示第二桌面，参考图3B。此时，在显示第二桌面的前3秒内，终端100也可启用摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221。如图3C-图3D所示，当识别到用户注视通知栏221时，终端100也可显示通知界面。图3D所示的通知界面同图1B，这里不再赘述。

在上述3秒内(或3秒后且未识别到用户注视通知栏)的某一时刻，终端100也可检测到右滑操作(从屏幕左侧向右侧滑动的操作)，参考图3E。响应于上述操作，终端100可显示负一屏，参考图3F。同样的，在显示负一屏的前3秒内，终端100也可启用摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221。如图3G-图3H所示，当识别到用户注视通知栏221时，终端100也可显示通知界面。

这样，在用户切换页面的过程中，终端100可多次检测用户的眼球注视位置，为用户提供多次眼球注视控制显示的机会。

在检测到用户从某一应用程序退出后，终端100可显示主界面。这时，用户往往也会获取通知界面，查看还有哪些待处理通知。因此，在一些实施例中，在检测到从正在运行的应用程序返回到主界面时，终端100也可检测用户是否注视通知栏，进而确定是否显示通知界面。

图4A示例性示出了终端100在运行图库应用时显示的一个用户界面，记为图库界面。用户可通过该图库界面浏览终端100上存储的图片、视频等图像资源。终端100可检测到上滑操作(从屏幕底端向上滑动的操作)，参考图4B。响应于上述上滑操作，终端100可显示主界面，参考图4C。这时，在显示上述主界面的前3秒内，终端100也可启用摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221。当检测到用户的眼球注视位置在通知栏221内时，终端100也可显示通知界面，参考图4D。

图库应用为示例性例举的终端100上安装的一个应用程序。不限于图库应用，在检测到从其他应用返回主界面的操作时，终端100均可启用摄像头模组210采集并生成包含用户面部图像的图像帧、识别用户是否注视通知栏221，进而确定是否显示通知界面。

这样，在用户推出当前正在运行的应用返回主界面的过程中，终端100也可检测用户的眼球注视位置，满足了用户在使用完一个应用之后，查看待处理通知的需求。

在一些实施例中，在显示通知界面后，终端100还可根据确认通知界面中通知的数量。若显示有两个及两个以上的通知，则终端100在用户处理完一个通知后，可自动地显示通知界面中的其他通知。

参考图5A，在显示通知界面之后，终端100可检测到作用于某一通知的用户操作。响应于上述操作，终端100可展开该通知，显示该通知对应的详细通知内容。

例如，终端100可检测到作用于通知121的用户操作。通知121为示例性示出的终端100接收到的一个信息通知。响应于上述操作，终端100可图5B所示的终端100进行信息收发的用户界面，记为信息界面。

信息界面可包括联系人511、信息512、输入栏513。联系人511可指示接收到的信息的来源。例如“Lisa”可指示该界面中显示的信息的发送者为“Lisa”。信息512可展示完整的信息内容。输入栏513可用于接收终端100的用户的输入信息。当用户想要给“Lisa”回信时，用户可以点击输入栏513。响应于上述点击操作，终端100可显示输入键盘，接收用户的输入信息，并在输入栏513中显示。在完成输入后，响应于用户的发送操作，终端100可将上述输入栏513中的信息发送给“Lisa”。

信息界面还包括多个信息类型选项。一个信息类型选项可用于发送一类特殊的信息。例如，照片选项514可用于发送照片类型的信息。用户可通过多个信息类型选项向联系人发送照片、表情、红包、位置等各类特殊信息。

在显示图5B所示的信息界面后，终端100可监测用户操作，进而确定用户是否处理完该通知。具体的，在显示图5B所示的信息界面后，终端100可监测第一等候时长内是否未检测到作用于上述信息界面的用户操作。若第一等候时长内未检测到用户操作，则终端100可确定用户已经处理完该通知。若第一等候时长内检测到用户操作，则在检测到用户操作的时刻，终端100可重新开始计算第一等候时长，并检测上述时刻之后第一等候时长之内的用户操作。若未检测到用户操作，则终端100可确定用户已经处理完该通知。反之，则终端100继续重新开始计算第一等候时长，并检测用户操作。上述第一等候时长是预设的，例如5秒。

以5秒为例，若在某一用户操作之后的5秒内，终端100未检测到作用于图5B所示的信息界面的任意用户操作，终端100可确定用户已经处理完通知121。于是，终端100可显示通知界面，参考图5C。此时，通知界面中不包括已处理完的通知121，而只包括剩余的通知122、通知123。

这时，用户可选择点击通知122。用户也可选择点击通知123，这里以通知122为例。响应于点击通知122的用户操作，终端100可显示包含通知122的详细内容的页面。示例性的，通知122可以为天气预报通知。响应于点击天气预报通知的操作，终端100可显示图5D所示的展示当前天气以及天气预报信息的用户界面，记为天气界面。于是，用户可以快速的获取到天气信息。

实施上述方法，在处理完一个通知后，终端100自动地再次显示通知界面可提醒用户处理通知界面中的其他未处理的通知，同时也为用户处理通知提供方便，无需用户每次都执行下拉操作。

用户可选择启用或关闭眼球注视识别功能。在启用眼球注视识别的场景下，在完成解锁之后，终端100可采集并生成包含用户面部图像的图像帧、识别用户的眼球注视位置，进而确定是否展示通知栏，为用户查看通知提供方便。反之，在关闭眼球注视识别的场景下，终端100不会采集用户的面部图像，用于识别用户的眼球注视位置。

图6A-图6D示例性示出了一组设置启用或关闭眼球注视识别功能的用户界面。

图6A示例性示出了终端100上的设置界面。设置界面上可显示有多个设置选项，例如账号设置选择611、WLAN选项612、蓝牙选项613、移动网络选项614等。在本申请实施例中，设置界面还包括辅助功能选项615。辅助功能选项615可用于设置一些快捷操作。

终端100可检测到作用于辅助功能选项615的用户操作。响应于上述操作，终端100可显示图6B所示的用户界面，记为辅助功能设置界面。该界面可显示多个辅助功能选项，例如无障碍选项621、单手模式选项622等等。在本申请实施例中，辅助功能设置界面还包括快捷启动及手势选项623。快捷启动及手势选项623可用于设置一些控制交互的手势动作和眼球注视动作。

终端100可检测到作用于快捷启动及手势选项623的用户操作。响应于上述操作，终端100可显示图6C所示的用户界面，记为快捷启动及手势设置界面。该界面可显示多个快捷启动及手势设置选项，例如智慧语音选项631、截屏选项632、录屏选项633、快速通话选项634。在本申请实施例中，快捷启动及手势设置界面还包括眼球注视选项635。眼球注视选项635可用于设置眼球注视识别的区域、对应的快捷操作。

终端100可检测到作用于眼球注视选项635的用户操作。响应于上述操作，终端100可显示图6D所示的用户界面，记为眼球注视设置界面。

如图6D所示，该界面可显示多个基于眼球注视识别的功能选项，例如通知栏选项641。通知栏选项641中的开关为“ON”时表示终端100启用了图2A-图2H、图3A-图3D、图4A-图4D所示的通知栏注视识别功能。通知栏选项641中的开关为“OFF”时表示终端100未启用上述通知栏注视识别功能。因此，当解锁成功并显示主界面时，或切换主界面各个页面时，或返回主界面时，终端100不会采集用户的面部图像、也不会判断用户是否注视通知栏。

眼球注视设置界面还可包括支付码选项642、健康码选项642。

支付码选项642可用于开启或关闭眼球注视控制显示支付码的功能。例如，在启用上述功能的场景下，当解锁成功并显示主界面时(或切换主界面各个页面时，或返回主界面时)，终端100可利用采集的包含用户面部图像的图像帧确认用户是否注视屏幕的右上角区域。上述屏幕的右上角区域可参考图6E所示的右上角区域。当检测到用户注视屏幕右上角区域的动作时，终端100可显示支付码。这样，用户可以快速便捷地获取到支付码，完成支付行为，避免了大量繁琐的用户操作，提高了交互效率，提升了用户使用体验。

健康码选项643可用于开启或关闭眼球注视控制显示健康码的功能。例如，在启用上述功能的场景下，当解锁成功并显示主界面时(或切换主界面各个页面时，或返回主界面时)，终端100可利用采集的包含用户面部图像的图像帧确认用户是否注视屏幕的左下角区域，参考图6E所示的左下角区域。当检测到用户注视屏幕左下角区域的动作时，终端100可显示健康码。这样，用户可以快速便捷地获取到健康码，完成健康检查。

支付码与右上角区域的映射关系、健康码与左下角区域的映射关系为示例性的。开发人员或用户也可设定其他的映射关系，例如注视左上角显示支付码等等，本申请实施例对此不作限制。

图7示例性示出了本申请实施例提供的一种显示的流程图。下面结合图7和图2A-图2H所示的用户界面，具体介绍终端100实施上述显示方法的处理流程。

S101、终端100检测到解锁成功并显示主界面。

在用户不使用终端100时，终端100可处于灭屏状态，或灭屏AOD(Always onDisplay)状态。终端100处于灭屏状态时，终端100的显示器休眠成为黑屏，但是其他器件和程序正常工作的状态。灭屏AOD状态是指在不点亮整块手机屏幕的情况下控制屏幕局部亮起的状态，即在灭屏状态的基础上控制屏幕局部亮起的状态。

当检测到用户拿起手机的动作时，终端100可点亮整块屏幕，显示如图2A所示的待解锁界面。在点亮屏幕之后，终端100可启用摄像头模组210采集并生成包含用户面部图像的的图像帧。参考图2A的介绍，在本申请实施例中，终端100的摄像头模组210至少包括一个2D摄像头和一个3D摄像头。在进行面部解锁检验时，终端100所使用的摄像头可以为摄像头模组210中的3D摄像头。

在生成图像帧之后，终端100可将上述图像帧输入人脸识别模型。人脸识别模型中可存储有机主的面部图像。在接收到上述摄像头模组210采集并生成的图像帧之后，人脸识别模型可识别上述图像帧中的面部图像与机主的面部图像是否匹配。上述人脸识别模型为现有的，这里不再赘述。

当面部图像匹配时，终端100可确认解锁成功。这时，终端100可显示图2B所示的解锁成功界面，以提示用户解锁成功。随后，终端100可显示图2C所示的主界面。

参考图2F的介绍，主界面可包括多个页面。这里，终端100显示主界面包括显示主界面中的任意页面的情况，例如显示第一桌面、显示第二桌面或显示负一屏。在一些实施例中，终端100可固定地显示第一桌面。在另一些实施例中，终端100可依据上一次退出时停留的页面继续显示负一屏、第一桌面或第二桌面。因此，显示图2B所示的解锁成功界面之后，终端100也可显示图2G或图2H所示的主界面。

当然，在确认解锁成功之后，终端100也可直接显示图2C或图2G或图2H所示主界面，而无需显示图2B。图2B不是必须的。

S102、在预设的注视识别时间内，终端100获取包含用户面部图像的图像帧，并利用上述图像帧确定用户的眼球注视位置。

为了避免功耗过高以及隐私安全问题，摄像头模组210不会一直处于工作状态。因此，终端100可设置注视识别时间。在该时间内，终端100可在注视识别时间内通过摄像头模组210采集并生成包含用户面部图像的图像帧，用于识别用户的眼球注视位置。

显示主界面的前一段时间，一般为前几秒，可设定为注视识别时间。例如图2C中例举的显示主界面的前3秒。上述时间是根据用户控制显示通知界面的行为习惯总结出的，是优选的满足用户想要查看通知界面需求的时间。

因此，在确认解锁成功之后，在终端100可显示主界面的前一段时间(注视识别时间)内，终端100还会启用摄像头模组210采集并生成包含用户面部图像的图像帧。在这一时间内采集的并生成图像帧可称为目标输入图像。目标输入图像可用于终端100确定用户是否在注视通知栏区域，进而确定是否显示通知界面。

其中，在使用面部解锁的场景中，终端100的3D摄像头时开启的，因此，S102中终端100仅需开启摄像头模组210的2D摄像头。在使用密码解锁和指纹解锁的场景中，终端100的摄像头是关闭的。这时，终端100需开启摄像头模组210中的2D摄像头和3D摄像头。

具体的，在获取到目标输入图像之后，终端100可将上述图像输入到眼球注视识别模型中。眼球注视识别模型是终端100中预置的模型。眼球注视识别模型可识别输入图像帧中用户的眼球注视位置，进而终端100可基于上述眼球注视位置确定用户是否在注视通知栏。后续图8将具体介绍本申请所使用的眼球注视识别模型的结构，这里先不展开。

可选的，眼球注视识别模型还可输出用户的眼球注视区域。一个眼球注视区域可收缩为一个眼球注视位置，一个眼球注视位置也可扩展为一个眼球注视区域。在一些示例中，屏幕上的一个显示单元构成的光标点可称为一个眼球注视位置，对应的，屏幕上多个显示单元构成的光标点或光标区域即称为一个眼球注视区域。

在输出一个眼球注视区域之后，终端100可通过判断眼球注视区域在屏幕中的位置，确定用户是否注视通知栏，进而确定是否显示通知界面。

S103、当确定用户的眼球注视位置在通知栏区域内时，终端100确定用户在注视通知栏。响应于用户注视通知栏的动作，终端100显示通知界面。

当眼球注视识别模型识别输入的图像帧中的眼球注视位置在通知栏区域内时，终端100可确定显示通知界面。参考图2D-图2E所示的用户界面，终端100可确定用户的眼球注视位置在通知栏221区域内，于是，终端100可显示通知界面。

若上述注视识别时间内所采集并生成的图像帧中的眼球注视位置均不在通知栏区域内时，则终端100不显示通知界面。当然，预设的眼球注视识别时间不限于解锁成功后第一次显示主界面的前一段时间。终端100还设置有其他的眼球注视识别时间，例如，检测到用户切换页面的操作后更新主界面的前一段时间，以及退出某一应用后返回主界面的前一段时间。这时，终端100也可识别用户是否在注视通知栏，进而确定是否显示通知界面，后续还会详细介绍，这里先不展开。

在预设的注视识别时间(3秒)内，终端100采集并生成包含用户面部图像的图像帧和识别眼球注视位置是同时进行的。因此，在注视识别时间结束之前，如果终端100识别到用户注视通知栏区域，则终端100可显示通知栏，同时，摄像头模组210可停止采集和生成图像帧。在注视识别时间结束之后，如果终端100仍未识别到用户注视通知栏区域，终端100也停止采集和生成图像帧，以节省功耗。

S104、终端100确定通知界面上显示有多个通知，在检测到用户确认完一个通知后，自动地显示包含剩余通知的通知界面。S104是可选的。

在显示通知界面后，终端100可确定通知界面显示的通知的数量。如果通知界面显示的通知的数量为多个(两个及两个以上)，则终端100在检测到用户确认完一个通知之后，可自动地显示剩余的通知的详细内容。

参考图5A-图5D的介绍，在用户点开通知121之后，终端100可显示图5B所示的信息界面。在上述信息界面后，终端100可监测用户操作，进而确定用户是否处理完该通知。

可选的，终端100可通过预设的用户操作确定用户是否处理完一个通知。上述预设的用户操作例如上滑返回主界面的操作。

可选的，终端100可还可监测第一等候时长内是否未检测到作用于上述信息界面的用户操作。若第一等候时长内未检测到用户操作，则终端100可确定用户已经处理完该通知。参考图5B，当显示图5B所示的Lisa发送的信息一段时间，且没有检测到用户编辑恢复的操作时，终端100可确认用户处理完该信息通知。又比如，当检测到用户浏览某一通知对应的界面，滑动到该界面的某一个位置，并停留超过一段时间后，终端100可确认用户处理完该通知。又比如，当检测到用户浏览某一通知对应的视频，重复播放该视频多次后，终端100可确认用户处理完该通知等等。

在确认用户是否处理完一个通知后，终端100可自动的显示通知界面。这样，用户无需执行下拉操作，即可获得通知界面，进而查看剩余的未处理通知。然后用户可继续处理上述未处理通知。这样既实现了提醒用户处理剩余未处理的通知，同时也为用户处理通知提供方便，节省了用户操作。

进一步的，终端100还可根据通知的类型，确定是否自动的显示该通知的详细内容。通知可分为事务型通知和推荐型通知。事务型通知例如用户购买机票后发送的机票订单通知、行程提醒通知等等。事务型通知是用户需要确认的。推荐型通知例如宣传机票促销活动的通知。推荐型通知是用户可以忽略的。如果剩余的通知为推荐型通知，则终端100可不自动的显示该通知的详细内容，避免打扰用户，降低用户使用体验。

在S103中，在注视识别时间结束之后，如果终端100仍未识别到用户注视通知栏区域，终端100也停止采集和生成图像帧。这时，用户可能切换当前显示的主界面，也可能打开某一应用。

在用户打开手机后不确定首先执行什么操作的时候，用户经常左滑、右滑切换主界面，随意浏览，最后还是选择查看通知，确认是否有重要的待处理通知。因此，在检测到切换当前显示的主界面之后，在显示切换后的主界面的前一段时间内，终端100也可启用摄像头模组210采集和生成图像帧，确定用户是否注视通知栏、进而确定是否显示通知界面。

针对上述场景，在检测到切换当前显示的主界面的用户操作之后，终端100也可设定眼球注视识别时间，并在该眼球注视识别之间内识别用户是否注视通知栏。在检测到用户注视通知栏的动作之后，终端100也显示通知界面。

结合图3A-图3D所示的用户界面，在初始显示主界面的第一桌面的前3秒内，终端100可能未识别用户注视通知栏的动作。这时，终端100不会显示通知界面。同时，3秒之后，终端100会关闭摄像头模组210，以减少功耗。

此后，终端100可检测到左滑操作(切换主界面的操作)。响应于上述操作，终端100可显示主界面的第二桌面。这时，显示第二桌面的前3秒也可设定为注视识别时间。因此，终端100在显示第二桌面的前3秒内也可启用摄像头模组210采集和生成图像帧，确定用户是否注视通知栏、进而确定是否显示通知界面。

可选的，主界面的不同页面的注视识别时间也可不同，例如，第二桌面的前2秒可设定为第二桌面的注视识别时间。

这样，在用户切换页面的过程中，终端100可多次检测用户的眼球注视位置，为用户提供多次眼球注视控制显示的机会。同时，终端100也避免了一直保持摄像头处于工作状态，避免了功耗过大的问题。

在退出某一应用之后，用户也倾向于再查看一下通知，确认是否有重要的待处理通知。针对上述场景，在检测到返回主界面的用户操作之后，终端100也可设定眼球注视识别时间，并在该眼球注视识别之间内识别用户是否注视通知栏。在检测到用户注视通知栏的动作之后，终端100也显示通知界面。

参考图4A-图4D所示的用户界面，在运行图库应用的场景下，终端100可检测到上滑操作，即退出图库返回主界面的操作。响应于上述操作，终端100可显示主界面。这时，显示上述主界面的前3秒也可设定为注视识别时间。在这一时间内，终端100的摄像头模组210可采集和生成图像帧。当检测到用户注视通知栏的动作时，终端100也可显示通知界面。

实施上述方法，用户通过眼球注视控制显示通知界面的场景不限于解锁后的一个固定时间内。用户可以在更多的场景下，例如切换主界面、返回主界面的场景下，通过眼球注视控制显示通知界面。同时，实施上述方法，终端100只在识别到预设的触发场景才启用摄像头，识别用户的眼球注视位置，避免了摄像头长期处于工作状态所带来的资源浪费和功耗大的问题。

图8示例性示出了眼球注视识别模型的结构。下面结合图8具体介绍本申请实施例所使用的眼球注视识别模型。在本申请实施例中，眼球注视识别模型是基于卷积神经网络(Convolutional Neural Networks,CNN)建立的。

如图8所示，眼球注视识别模型可包括：人脸校正模块、降维模块、卷积网络模块。

(1)、人脸校正模块。

摄像头模组210采集的包含用户面部的图像可首先被输入人脸校正模块。人脸校正模块可用于识别输入的图像帧中的面部图像是否端正。对于面部图像不端正(例如歪头)的图像帧，人脸校正模块可对该图像帧进行校正，使其端正，从而避免后续影响眼球注视识别效果。

图9A示例性示出了人脸校正模块对摄像头模组210生成的包含用户面部图像的图像帧的校正处理流程。

S201：利用人脸关键点识别算法确定图像帧T1中的人脸关键点。

在本申请实施例中，人脸关键点包括左眼、右眼、鼻子、左唇角、右唇角。人脸关键点识别算法为现有的，例如基于Kinect的人脸关键点识别算法等等，这里不再赘述。

参考图9B，图9B示例性示出了一帧包含用户面部图像的图像帧，记为图像帧T1。人脸校正模块可利用人脸关键点识别算法确定图像帧T1中的人脸关键点：左眼a、右眼b、鼻子c、左唇角d、右唇角e，并确定各个关键点的坐标位置，参考图9C中图像帧T1。

S202：利用人脸关键点确定图像帧T1的被校准线，进而确定图像帧T1人脸偏转角θ。

端正的面部图像中左右眼处于同一水平线，因此左眼关键点与右眼关键点连成的直线(被校准线)与水平线是平行的，即人脸偏转角(被校准线与水平线的所构成的角)θ为0。

如图9C所示，人脸校正模块可利用识别到的左眼a、右眼b的坐标位置确定被校准线L1。于是，根据L1和水平线，人脸校正模块可确定图像帧T1中的面部图像的人脸偏转角θ。

S203：如果θ＝0°，确定图像帧T1中的面部图像是端正的，无需校正。

S204：如果θ≠0°，确定图像帧T1中的面部图像是不端正的，进一步的，对图像帧T1进行校正，得到面部图像端正的图像帧。

在图9C中，θ≠0，即图像帧T1中的面部图像是不端正。这时，人脸校正模块可对图像帧T1进行校正。

具体的，人脸校正模块可首先利用左眼a、右眼b的坐标位置确定旋转中心点y，然后，以y点为旋转中心，将图像帧T1旋转θ°，得到面部图像端正的图像帧T1，记为图像帧T2。如图9C所示，A点可表示旋转后的左眼a的位置、B点可表示旋转后的右眼b的位置、C点可表示旋转后的鼻子c的位置、D点可表示旋转后的左唇角d的位置、E点可表示旋转后的右唇角e的位置。

可以理解的，在旋转图像帧T1时，图像中的每一个像素点都会被旋转。上述A、B、C、D、E仅为示例性示出了图像中的关键点的旋转过程，而并非只对人脸关键点进行旋转。

S205：对旋转后得到的面部图像端正的图像帧T1进行处理，得到左眼图像、右眼图像、脸部图像和人脸网格数据。其中，人脸网格数据可用于反映图像中脸部图像在整个图像中的位置。

具体的，人脸校正模块可以以人脸关键点为中心，按预设的尺寸，对校正后的图像进行裁剪，从而得到该图像对应的左眼图像、右眼图像、脸部图像。在确定脸部图像时，人脸校正模块可确定人脸网格数据。

参考图9D，人脸校正模块可以以左眼A为中心确定一个固定尺寸的矩形。该矩形覆盖的图像即左眼图像。按同样的方法，人脸校正模块可以以右眼B为中心确定右眼图像，以鼻子C为中心确定人脸图像。其中，左眼图像与右眼图像的尺寸相同，人脸图像与左眼图像的尺寸不同。在确定人脸图像之后，人脸校正模块可相应地得到人脸网格数据，即人脸图像在整个图像中的位置。

在完成人脸校正之后，终端100可得到校正后的图像帧T1，并由上述图像帧T1得到对应的左眼图像、右眼图像、脸部图像和人脸网格数据。

(2)、降维模块。

人脸校正模块可将自身输出的左眼图像、右眼图像、脸部图像和人脸网格数据输入降维模块。降维模块可用于对输入的左眼图像、右眼图像、脸部图像和人脸网格数据进行降维，以降低卷积网络模块的计算复杂度，提升眼球注视识别的速度。降维模块使用的降维方法包括但不限于主成分分析法(principal components analysis，PCA)、下采样、1*1卷积核等等。

(3)、卷积网络模块。

经过降维处理的各个图像可被输入卷积网络模块。卷积网络模块可基于上述输入的图像输出眼球注视位置。在本申请实施例中，卷积网络模块中卷积网络的结构可参考图10。

如图10所示，卷积网络可包括卷积组1(CONV1)、卷积组2(CONV2)、卷积组3(CONV3)。一个卷积组包括：卷积核(Convolution)、激活函数PRelu、池化核(Pooling)和局部响应归一化层(Local Response Normalization，LRN)。其中，CONV1的卷积核为7*7的矩阵，池化核为3*3的矩阵；CONV2的卷积核为5*5的矩阵，池化核为3*3的矩阵；CONV3的卷积核为3*3的矩阵，池化核为2*2的矩阵。

其中，可分离卷积技术可以降低卷积核Convolution)、池化核(Pooling)的存储要求，从而降低整体模型对存储空间的需求，使得该模型可以部署在终端设备上。

具体的，可分离卷积技术是指将一个n*n的矩阵分解为一个n*1的列矩阵和一个1*n的行矩阵进行存储，从而减少对存储空间的需求。因此，本申请所示用的眼球注视模块具有体量小，易部署的优势，以适应部属在终端等电子设备上。

具体的，参考图11，矩阵A可表示一个3*3的卷积核。假设直接存储矩阵A，则该矩阵A需要占9个存储单元。矩阵A可拆分成列矩阵A1和行矩阵A2(列矩阵A1×行矩阵A2＝矩阵A)。列矩阵A1和行矩阵A2仅需6个存储单元。

在经过CONV1、CONV2、CONV3的处理之后，不同的图像可被输入不同的连接层进行全连接。如图10所示，卷积网络可包括连接层1(FC1)、连接层2(FC2)、连接层3(FC3)。

左眼图像和右眼图像在经过CONV1、CONV2、CONV3之后可被输入到FC1中。FC1可包括组合模块(concat)、卷积核101、PRelu、全连接模块102。其中，concat可用于组合左眼图像和右眼图像。人脸图像在经过CONV1、CONV2、CONV3之后可被输入到FC2中。FC2可包括卷积核103、PRelu、全连接模块104、全连接模块105。FC2可对人脸图像进行两次全连接。人脸网格数据在经过CONV1、CONV2、CONV3之后可被输入到FC3中。FC3包括一个全连接模块。

不同结构的连接层是针对不同类型的图像(例如左眼、右眼、人脸图像)构建的，可以更好的获取各类图像的特征，从而提升模型的准确性，使得终端100可以更加准确的识别用户的眼球注视位置。

然后，全连接模块106可对左眼图像和右眼图像、人脸图像、人脸网格数据再进行一次全连接，最终输出眼球注视位置。眼球注视位置指示了用户目光在屏幕的聚焦的具体位置，即用户注视位置，参考图1C所示的光标点S。进而，当眼球注视位置在通知栏区域内时，终端100可以确定用户在注视通知栏。

此外，本申请所使用的眼球注视模型设置的卷积神经网络的参数较少。因此，在使用眼球注视模型计算和预测用户眼球注视位置所需的时间较小，即终端100可快速地确定用户是否在注视通知栏等特定区域。

在本申请实施例中：

第一预设区域可以为图2C所示的界面中的通知栏区域221；

第一界面可以为图2A所示的待解锁界面，或图5B所示的退出某一应用显示该应用的一个界面；

第二界面可以是图2F所示的第一桌面、第二桌面、负一屏等主界面中任意一个界面；

第三界面可以是图2E所示的第三界面。

图12为本申请实施例的终端100的系统结构示意图。

分层架构将系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为五层，从上至下分别为应用程序层，应用程序框架层、硬件抽象层、内核层以及硬件层。

应用层可以包括多个应用程序，例如拨号应用、图库应用等等。在本申请实施例中，应用层还包括眼球注视SDK(software development kit，软件开发工具包)。终端100的系统和终端100上安装的第三应用程序，可通过调用眼球注视SDK识别用户的眼球注视位置。

框架层为应用层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。框架层包括一些预先定义的函数。在本申请实施例中，框架层可以包括相机服务接口、眼球注视服务接口。相机服务接口用于提供使用摄像头的应用编程接口和编程框架。眼球注视服务接口提供使用眼球注视识别模型的应用编程接口和编程框架。

硬件抽象层为位于框架层和驱动层之间的接口层，为操作系统提供虚拟硬件平台。本申请实施例中，硬件抽象层可以包括相机硬件抽象层和眼球注视进程。相机硬件抽象层可以提供相机设备1(RGB摄像头)、相机设备2(TOF摄像头)或更多的相机设备的虚拟硬件。通过眼球注视识别模块识别用户眼球注视位置的计算过程在眼球注视进程中执行。

驱动层为硬件和软件之间的层。驱动层包括各种硬件的驱动。驱动层可以包括相机设备驱动。相机设备驱动用于驱动摄像头的传感器采集图像以及驱动图像信号处理器对图像进行预处理。

硬件层包括传感器和安全数据缓冲区。其中，传感器包括RGB摄像头(即2D摄像头)、TOF摄像头(即3D摄像头)。RGB摄像头可采集并生成2D图像。TOF摄像头即深感摄像头，可采集并生成带有深度信息的3D图像。摄像头采集的数据存储在安全数据缓冲区中。任何上层进程或引用在获取摄像头采集的图像数据时，需要从安全数据缓冲区中获取，而不能通过其他方式获取，因此安全数据缓冲区还可以避免摄像头采集的图像数据被滥用的问题。

上述介绍的软件层级和各层中包括的模块或接口运行在可运行环境(Runnableexecutive environment，REE)中。终端100还包括可信执行环境(Trust executiveenvironment，TEE)。TEE中的数据通信相比于REE更安全。

TEE中可包括眼球注视识别算法模块、信任应用(Trust Application，TA)模块以及安全服务模块。眼球注视识别算法模块存储有眼球注视识别模型的可执行代码。TA可用于安全地将上述模型输出的识别结果发送到眼球注视进程中。安全服务模块可用于将安全数据缓冲区中存储的图像数据安全地输入到眼球注视识别算法模块。

下面结合上述硬件结构以及系统结构，对本申请实施例中的基于眼球注视识别的交互方法进行具体描述：

终端100确定执行眼球注视识别操作。在识别到解锁成功后，或解锁后切换页面后，或返回主界面后，终端100可确定在眼球注视识别时间内执行眼球注视识别操作。

终端100通过眼球注视SDK调用眼球注视服务。

一方面，眼球注视服务可调用框架层的相机服务，通过相机服务采集并获得包含用户面部图像的图像帧。相机服务可通过调用相机硬件抽象层中的相机设备1(RGB摄像头)、相机设备2(TOF摄像头)发送启动RGB摄像头和TOF摄像头的指令。相机硬件抽象层将该指令发送到驱动层的相机设备驱动。相机设备驱动依据上述指令可以启动摄像头。相机设备1发送到相机设备驱动的指令可用于启动RGB摄像头。相机设备2发送到相机设备驱动的指令可用于启动TOF摄像头。RGB摄像头、TOF摄像头开启后采集光信号，经过图像信号处理器生成电信号的2D或3D图像。另一方面，眼球注视服务可创建眼球注视进程，初始化眼球识别模型。

图像信号处理器生成的图像可被存储到安全数据缓冲区。在建眼球注视进程创建完成并初始化后，安全数据缓冲区中存储的图像数据可经由安全服务提供的安全传输通道(TEE)输送到眼球注视识别算法。眼球注视识别算法在接收到图像数据之后，可将上述图像数据输入到基于CNN建立的眼球注视识别模型中，从而确定用户的眼球注视位置。然后，TA将上述眼球注视位置安全地传回眼球注视进程，进而经由相机服务、眼球注视服务返回到应用层眼球注视SDK中。

最后，眼球注视SDK可根据接收到的眼球注视位置确定用户是否在注视通知栏，进而确定是否显示通知界面。

图13示出了终端100的硬件结构示意图。

终端100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对终端100的具体限定。在本申请另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端100的结构限定。在本申请另一些实施例中，终端100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。

终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在终端100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。

无线通信模块160可以提供应用在终端100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code divisionmultiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(globalnavigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigationsatellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

在本申请实施例中，终端100接收到的一些通知是终端100上安装的应用对应的应用服务器发送的。终端100通过过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现无线通信功能接收上述通知，进而展示上述通知。

终端100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)。显示面板还可以采用有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，QLED)等制造。在一些实施例中，终端100可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，终端100通过GPU，显示屏194，以及应用处理器等提供的显示功能，显示图2A-图2H、图3A-图3H、图4A-图4D、图5A-图5D、图6A-图6E所示的用户界面。

终端100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。在本申请实施例中，摄像头193包括生成二维图像的RGB摄像头(2D摄像头)和生成三维图像的TOF摄像头(3D摄像头)。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，终端100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。视频编解码器用于对数字视频压缩或解压缩。终端100可以支持一种或多种视频编解码器。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在本申请实施例中，终端100通过ISP，摄像头193提供的拍摄能力，采集并生成图像帧。终端100可通过NPU执行眼球注视识别算法，进而通过采集到的图像帧识别用户的眼球注视位置。

内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM)和一个或多个非易失性存储器(non-volatile memory，NVM)。

随机存取存储器可以包括静态随机存储器(static random-access memory，SRAM)、动态随机存储器(dynamic random access memory，DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM，例如第五代DDR SDRAM一般称为DDR5 SDRAM)等。非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。

眼球注视SDK的应用程序代码可存储到非易失性存储器中。在运行眼球注视SDK调用眼球注视服务时，眼球注视SDK的应用程序代码可被加载到随机存取存储器中。运行上述代码时产生的数据也可存储到随机存取存储器中。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展终端100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部的非易失性存储器中。

终端100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端100可以通过扬声器170A收听音乐，或收听免提通话。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定终端100围绕三个轴(即，x，y和z轴)的角速度，进而确定终端100的运动姿态。加速度传感器180E可检测终端100在各个方向上(一般为三轴)加速度的大小。因此，加速度传感器180E可用于识别终端100的姿态。在本申请实施例中，终端100在灭屏或灭屏AOD状态下，可通过加速度传感器180E、陀螺仪传感器180B检测用户是否拿起手机，进而确定是否点亮屏幕。

气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。终端100可以利用磁传感器180D检测翻盖皮套的开合。因此，在一些实施例中，当终端100是翻盖机时，终端100可以根据磁传感器180D检测翻盖的开合，进而确定是否点亮屏幕。

距离传感器180F用于测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器。终端100可以利用接近光传感器180G检测用户手持终端100贴近用户的场景，例如听筒通话。环境光传感器180L用于感知环境光亮度。终端100可以根据感知的环境光亮度自适应调节显示屏194亮度。

指纹传感器180H用于采集指纹。终端100可以利用采集的指纹特性实现指纹解锁，访问应用锁等功能。温度传感器180J用于检测温度。骨传导传感器180M可以获取振动信号。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端100的表面，与显示屏194所处的位置不同。

在本申请实施例中，终端100通过触摸传感器180K检测是否有作用于屏幕的用户操作，例如点击、左滑、右滑等操作。基于触摸传感器180K检测到的作用于屏幕的用户操作，终端100得以确定后续将要执行的动作，例如运行某一应用程序、显示应用程序的界面等等。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。指示器192可以是指示灯，可以用于指示充电状态、电量变化、也可以用于指示消息、未接来电、通知等。

SIM卡接口195用于连接SIM卡。终端100可以支持1个或N个SIM卡接口。

本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。

用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在终端设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种显示方法，应用于电子设备，所述电子设备包括屏幕，其特征在于，所述电子设备的所述屏幕包括第一预设区域，所述方法包括：

显示第一界面；

响应于用户的第一操作，显示第二界面；

若所述第二界面是预设界面，

显示所述第二界面时，在第一预设时间段内，所述电子设备采集第一图像；

基于所述第一图像确定用户的第一眼球注视区域，所述第一眼球注视区域为当所述用户注视屏幕时所述用户所注视的屏幕区域；

当所述第一眼球注视区域在所述第一预设区域内，显示包括一个或多个通知的第三界面。

2.根据权利要求1所述的方法，其特征在于，所述第二界面为以下多个界面中的任意一个：第一桌面、第二桌面、负一屏。

3.根据权利要求1所述的方法，其特征在于，所述第一预设时间为显示所述第二界面的前N秒。

4.根据权利要求1所述的方法，其特征在于，所述第一眼球注视区域为屏幕上的一个显示单元构成的光标点，或者，所述第一眼球注视区域为屏幕上多个显示单元构成的光标点或光标区域。

5.根据权利要求4所述的方法，其特征在于，所述第一眼球注视区域在所述第一预设区域内，包括：所述第一眼球注视区域在屏幕中的位置包含于所述第一预设区域，或者所述第一眼球注视区域在屏幕中的位置与所述第一预设区域有交集。

6.根据权利要求1所述的方法，其特征在于，所述第一界面为待解锁界面，所述第一操作为解锁操作。

7.根据权利要求1所述的方法，其特征在于，所述第一界面为所述电子设备上安装的第一应用提供的一个界面，所述第一操作为退出所述第一应用的操作。

8.根据权利要求7所述的方法，其特征在于，所述退出所述第一应用的操作，包括：所述电子设备检测到的用户做出的指示所述电子设备退出所述第一应用的操作，和，所述电子设备检测到用户长时间未对所述第一应用施加操作而生成的退出所述第一应用的操作。

9.根据权利要求1所述的方法，其特征在于，所述电子设备包括摄像头模组；所述摄像头模组包括：至少一个2D摄像头和至少一个3D摄像头，所述2D摄像头用于获取二维图像，所述3D摄像头用于获取包含深度信息的图像；所述第一图像包括所述二维图像和所述包括深度信息的图像。

10.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像确定用户的第一眼球注视区域，具体包括：

利用所述第一图像确定特征数据，所述特征数据包括左眼图像、右眼图像、人脸图像和人脸网格数据中的一类或多类；

利用眼球注视识别模型确定所述特征数据指示的第一眼球注视区域，所述眼球注视识别模型是基于卷积神经网络建立的。

11.根据权利要求10所述的方法，其特征在于，所述利用所述第一图像确定特征数据，具体包括：

对所述第一图像进行人脸校正，得到面部图像端正的第一图像；

基于所述面部图像端正的第一图像，确定所述特征数据。

12.根据权利要求1所述的方法，其特征在于，所述第一图像存储在安全数据缓冲区；

在基于所述第一图像确定用户的第一眼球注视区域之前，所述方法还包括：

在可信执行环境下从所述安全数据缓冲区中获取所述第一图像。

13.根据权利要求12所述的方法，其特征在于，所述安全数据缓冲区设置在所述电子设备的硬件层。

14.一种电子设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得执行如权利要求1-13任一项所述的方法。

15.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得执行如权利要求1-13任一项所述的方法。

Images