CN113903078A - 人眼注视检测方法、控制方法及相关设备 - Google Patents

Abstract

本申请实施方式的人眼注视检测方法包括获取人眼区域图像；根据人眼区域图像的缺失信息，确定人眼区域图像的权重；根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。本申请实施方式的人眼注视检测方法、通过人眼控制电子设备的方法、检测装置、控制装置、电子设备和非易失性计算机可读存储介质，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性。

Description

人眼注视检测方法、控制方法及相关设备

技术领域

本申请涉及消费性电子产品技术领域，特别涉及一种人眼注视检测方法、通过人眼控制电子设备的方法、检测装置、控制装置、电子设备和非易失性计算机可读存储介质。

背景技术

目前，电子设备可通过采集人脸图像来估计用户的注视点，但电子设备采集的人脸图像中，可能因遮挡等原因，使得眼部区域图像不完整，从而影响了注视点的检测准确性。

发明内容

本申请提供了一种人眼注视检测方法、通过人眼控制电子设备的方法、检测装置、控制装置、电子设备和非易失性计算机可读存储介质。

本申请一个实施方式的人眼注视检测方法包括获取人眼区域图像；根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

本申请一个实施方式的检测装置包括第一获取模块、第一确定模块和第二确定模块。所述第一获取模块用于获取人眼区域图像；所述第一确定模块用于根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；所述第二确定模块用于根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

本申请一个实施方式的电子设备包括处理器，所述处理器用于执行人眼注视检测方法。所述人眼注视检测方法包括获取人眼区域图像；根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

本申请的人眼注视检测方法、检测装置和电子设备，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性。

本申请另一实施方式的人眼注视检测方法包括获取人脸图像；根据所述人脸图像确定人眼区域图像以及人脸姿态信息；根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼特征信息；根据所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息。

本申请另一实施方式的检测装置包括第一获取模块、第一确定模块、第二确定模块、第三确定模块和第四确定模块。所述第一获取模块用于获取人眼区域图像；所述第一确定模块用于根据所述人脸图像确定人眼区域图像以及人脸姿态信息；所述第二确定模块用于根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；所述第三确定模块用于根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼特征信息；所述第四确定模块用于根据所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息。

本申请另一实施方式的电子设备包括处理器，所述处理器用于执行人眼注视检测方法。所述人眼注视检测方法包括获取人脸图像；根据所述人脸图像确定人眼区域图像以及人脸姿态信息；根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼特征信息；根据所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息。

本申请的人眼注视检测方法、检测装置和电子设备，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性。且结合人脸姿态信息共同确定人眼注视信息，即使人眼区域图像存在缺失，也可通过人脸姿态信息准确地的计算得到人眼注视信息，可提升人眼注视信息的准确性。

本申请一个实施方式的通过人眼控制电子设备的方法包括获取人眼区域图像；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，其中，所述人眼区域图像的权重根据所述人眼区域图像的缺失信息确定；及根据所述人眼注视信息控制所述电子设备。

本申请实施方式的控制装置包括第一获取模块、第一确定模块和控制模块。所述第一获取模块用于获取人眼区域图像；所述第一确定模块用于根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，其中，所述人眼区域图像的权重根据所述人眼区域图像的缺失信息确定；及所述控制模块用于根据所述人眼注视信息控制所述电子设备。

本申请再一实施方式的电子设备包括处理器，所述处理器用于执行通过人眼控制电子设备的方法。所述通过人眼控制电子设备的方法包括获取人眼区域图像；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，其中，所述人眼区域图像的权重根据所述人眼区域图像的缺失信息确定；及根据所述人眼注视信息控制所述电子设备。

本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行人眼注视检测方法或通过人眼控制电子设备的方法。所述人眼注视检测方法包括获取人眼区域图像；根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。所述人眼控制电子设备的方法包括获取人眼区域图像；根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，其中，所述人眼区域图像的权重根据所述人眼区域图像的缺失信息确定；及根据所述人眼注视信息控制所述电子设备。

本申请的通过人眼控制电子设备的方法、控制装置和电子设备，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性，然后通过准确地人眼注视信息来对电子设备进行控制，从而保证了对电子设备的控制准确性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某些实施方式的人眼注视检测方法的流程示意图；

图2是本申请某些实施方式的检测装置的模块示意图；

图3是本申请某些实施方式的电子设备的平面示意图；

图4是本申请某些实施方式的电子设备和云端服务器的连接示意图；

图5至图8是本申请某些实施方式的人眼注视检测方法的流程示意图；

图9是本申请某些实施方式的人眼检测模型的结构示意图；

图10是本申请某些实施方式的人眼注视检测方法的流程示意图；

图11是本申请某些实施方式的检测装置的模块示意图；

图12是本申请某些实施方式的人眼注视检测方法的流程示意图；

图13是本申请某些实施方式的通过人眼控制电子设备的方法的流程示意图；

图14是本申请某些实施方式的控制装置的模块示意图；

图15至图18是本申请某些实施方式的通过人眼控制电子设备的方法的场景示意图；

图19至图23是本申请某些实施方式的通过人眼控制电子设备的方法的流程示意图；

图24和图25是本申请某些实施方式的通过人眼控制电子设备的方法的场景示意图；

图26是本申请某些实施方式的通过人眼控制电子设备的方法的流程示意图；

图27是本申请某些实施方式的人眼检测模型的训练方法的流程示意图；

图28是本申请某些实施方式的训练装置的模块示意图；及

图29是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

请参阅图1至图3，本申请实施方式的人眼注视检测方法包括以下步骤：

011：获取人眼区域图像；

013：根据人眼区域图像的缺失信息，确定人眼区域图像的权重；

015：根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。

本申请实施方式的检测装置10包括第一获取模块11、第一确定模块12和第二确定模块13。第一获取模块11用于获取人眼区域图像；第一确定模块12用于根据人眼区域图像的缺失信息，确定人眼区域图像的权重；第二确定模块13用于根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。也即是说，步骤011可以由第一获取模块11实现、步骤013可以由第一确定模块12执行和步骤015可以由第二确定模块13执行。

本申请实施方式的电子设备100包括处理器20和采集装置30。采集装置30用于按预定帧率采集人脸信息(人脸信息包括人脸图像，如人脸的可见光图像、红外图像、深度图像等)；采集装置30可以是可见光相机、红外相机、深度相机中的一种或多种，其中，可见光相机可采集可见光人脸图像、红外相机可采集红外人脸图像、深度相机可采集深度人脸图像，本实施方式中，采集装置30包括可见光相机、红外相机和深度相机，采集装置30同时可见光人脸图像、红外人脸图像和深度人脸图像。处理器20可包括图像处理器(Image SignalProcessor，ISP)，神经网络处理器(Neural-Network Processing Unit，NPU)和应用处理器(Application Processor，AP)，检测装置10设置在电子设备100内，其中，第一获取模块11可设置在ISP，处理器20与采集装置30连接，在采集装置30采集到人脸图像后，ISP可对人脸图像进行处理，以获取人眼区域图像，第一确定模块12也可设置在ISP，第二确定模块13可设置在NPU。处理器20(具体可以是ISP)用于根据人眼区域图像的缺失信息，确定人眼区域图像的权重；处理器20(具体可以是NPU)还用于根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。也即是说，步骤011可以由采集装置30配合处理器20执行、步骤013和步骤015可以由处理器20执行。

电子设备100可以是手机、智能手表、平板电脑、显示设备、笔记本电脑、柜员机、闸机、头显设备、游戏机等。如图3所示，本申请实施方式以电子设备100是手机为例进行说明，可以理解，电子设备100的具体形式并不限于手机。

具体地，在用户使用电子设备100时，采集装置30可间隔预定时长采集一次用户的人脸信息，在保证电子设备100的功耗较小的情况，持续对用户进行注视检测，或者，在用户使用需要进行注视检测的应用程序(如浏览器软件、贴吧软件、视频软件等)时，再按预定帧数(如每秒10帧)采集人脸信息，从而在有注视检测需求时才进行人脸信息采集，最大化的降低了注视检测的功耗。

请参阅图4，在获取到人脸信息(以人脸图像为例)后，处理器20可对人脸图像进行识别，例如处理器20可将人脸图像和预设人脸模板进行比对，从而确定人脸图像中的人脸及人脸的不同部位(如眼睛、鼻子等)所在的图像区域，以识别人脸图像中的人眼区域，从而获取人眼区域图像，其中，预设人脸模板可存储在电子设备100的存储器内，处理器20可在可信执行环境(Trusted Execution Environment，TEE)内进行人脸识别，以保证用户的隐私；或者，预设人脸模板可存储在云端服务器200，然后由电子设备100将人脸图像发送到云端服务器200进行比对以确定人眼区域图像，将人脸识别交给云端服务器200进行处理，可降低电子设备100的处理量并提升图像处理效率；然后，处理器20可对人眼区域图像进行识别，以确定人眼的缺失信息，具体地，人眼较为光滑，对光线的反射率较高，相较于人脸的其他部位，人眼在图像中的像素值会较大，因此，可通过设置检测阈值，来确定像素是否位于人眼(如像素的像素值大于检测阈值时确定像素位于人眼)，从而确定人眼区域图像中，人眼的图像部分，而人眼的形状也是基本确定的近似椭圆形，根据对识别到的人眼的图像部分和人眼的预设形状，即可确定人眼缺失的部分，从而确定缺失信息，缺失信息可包括人眼缺失的部分占人眼的比例。

处理器20根据缺失信息，即可确定人眼区域图像的权重，例如，人眼缺失的部分占人眼的比例越大，则人眼区域图像的权重越小；可以理解，人眼缺失的部分占人眼的比例越大，则表示人眼被遮挡的程度越大，人眼区域图像的准确性就越差，因此，给予较小的权重可降低人眼区域图像对后续计算人眼注视信息的准确性的影响，提升注视检测准确性。

在一个实施方式中，人眼区域图像包括左眼区域图像和右眼区域图像，处理器20可分别根据左眼区域图像的第一缺失信息来确定左眼区域图像的第一权重，根据右眼区域图像的第二缺失信息来确定右眼区域图像的第二权重，从而分别确定左眼区域图像的第一权重和右眼区域图像的第二权重。例如，第一权重和第一缺失信息(如左眼缺失的部分占左眼的比例)呈负相关关系，第二权重和第二缺失信息(如右眼缺失的部分占右眼的比例)呈负相关关系，在左眼区域图像的第一权重较小(如为0.6)时，可降低左眼区域图像对人眼注视信息计算的影响(如通过减少从左眼区域图像的特征点数量来降低影响)。

在获取到人眼区域图像，并确定了人眼区域图像的权重后，即可根据人眼区域图像及其权重计算人眼注视信息。例如，注视信息包括注视方向和注视点坐标，处理器20通过对人眼区域图像中左眼区域和右眼区域分别进行特征提取，从而确定人眼的注视方向以及人眼在电子设备100的显示屏40所在的平面的注视点坐标。

在得到注视方向和注视点坐标后，即可根据注视方向和注视点坐标实现电子设备100的控制。如在检测到注视点坐标位于显示屏40的显示区域时，保持屏幕始终点亮，而在检测到注视点坐标位于显示屏40的显示区域之外时预定时长(如10S、20S等)，则关闭屏幕。

本申请的人眼注视检测方法、检测装置10和电子设备100，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性。

请参阅图2、图3和图5，在某些实施方式中，人眼注视检测方法还包括：

0141：获取人脸姿态信息。

步骤015包括：

0151：根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。

在某些实施方式中，检测装置10还包括第二获取模块14，第二获取模块14同样可设置在ISP，以用于获取人脸姿态信息。第二确定模块13还用于根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0141可以由第二获取模块14执行，步骤0151可以由第二确定模块13执行。

在某些实施方式中，处理器20还用于获取人脸姿态信息、及根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0141和步骤0151可以由处理器20执行。

具体地，在计算得到人眼注视信息之前，处理器20还可获取人脸姿态信息，人脸姿态信息可通过对人脸图像进行特征提取，根据提取得到的特征点的位置坐标来计算人脸姿态信息，可以理解，人脸的不同姿态(如以鼻尖为原点建立三维坐标系，人脸的俯仰角、水平转动角、倾斜角分别表示人脸相对于三维坐标系的三个坐标轴的旋转角度等)，均会影响用户的注视方向和注视点坐标。因此，在计算人眼注视信息时，除了获取人眼区域图像及其权重外，还会结合人脸姿态信息，从而更为准确地计算注视方向和注视点坐标。

请参阅图2、图3和图6，在某些实施方式中，人眼注视检测方法还包括：

0142：获取人脸图像，人脸图像包括人脸掩码；

0143：根据人脸掩码计算人脸相对电子设备100的位置信息；

步骤015包括：

0152：根据位置信息、人眼区域图像和人眼区域图像的权重，确定人眼注视信息。

在某些实施方式中，检测装置10还包括第三获取模块15和计算模块16，第三获取模块15和计算模块16可均设置在ISP，第三获取模块15用于获取人脸图像，计算模块16用于根据人脸掩码计算人脸相对电子设备100的位置信息。也即是说，步骤0142可以由第三获取模块15执行，步骤0143可以由计算模块16执行，步骤0152可以由第二确定模块13执行。

在某些实施方式中，处理器20还用于获取人脸图像，人脸图像包括人脸掩码；根据人脸掩码计算人脸相对电子设备100的位置信息；根据位置信息、人眼区域图像和人眼区域图像的权重，确定人眼注视信息。。也即是说，步骤0142、步骤0143和步骤0152可以由处理器20执行。

具体地，在计算得到人眼注视信息之前，处理器20还可获取人脸图像，并确定人脸图像的人脸掩码，人脸掩码用于表征人脸在人脸图像中的位置，人脸掩码可通过识别人脸图像中的人脸的位置确定，处理器20根据人脸掩码可计算人脸相对电子设备100的位置信息(如根据人脸掩码占人脸图像的比例，可计算人脸和电子设备100的距离)，可以理解，人脸和电子设备100的距离变化时，即使人眼注视方向未发生改变，人眼的注视点坐标依旧会发生变化，因此，在计算人眼注视信息时，除了获取人眼区域图像及其权重外，还会结合位置信息，从而更为准确地计算注视点坐标。

在其他实施方式中，在计算人眼注视信息时，除了获取人眼区域图像及其权重外，还可同时结合人脸姿态信息及位置信息，从而更为准确地计算人眼注视信息。

请参阅图2、图3和图7，在某些实施方式中，人眼注视检测方法还包括：

0101：获取训练样本集，训练样本集包括多个人眼区域图像；

0102：根据人眼区域图像确定遮挡区域和/或图像偏移参数；

0103：根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。

步骤015包括：

0153：基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。

在某些实施方式中，检测装置10还包括第四获取模块17、第三确定模块18和训练模块19。第四获取模块17、第三确定模块18和训练模块19均可设置在NPU，以进行人眼检测模型的训练。第四获取模块17用于获取训练样本集、第三确定模块18用于根据人眼区域图像确定遮挡区域和/或图像偏移参数；训练模块19用于根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。第二确定模块13可用于基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0101可以由第四获取模块17执行、步骤0102可以由第三确定模块18执行、步骤0103可以由训练模块19执行，步骤0153可以由第二确定模块13执行。

在某些实施方式中，处理器20还用于获取训练样本集，训练样本集包括多个人眼区域图像；根据人眼区域图像确定遮挡区域和/或图像偏移参数；根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型；基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0101、步骤0102、步骤0103和步骤0153可以由处理器20执行。

具体的，本申请可通过预设的人眼检测模型实现人眼注视信息的计算，即基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息，为了保证人眼注视信息的准确性，需要先对人眼检测模型进行训练，使得人眼检测模型收敛。

在训练时，为了使得人眼检测模型能够在人眼区域图像被遮挡的情况仍准确地的计算出人眼注视信息，因此，可预先选取多个人眼区域图像作为训练样本集，选取的人眼区域图像可包括遮挡区域和/或图像偏移参数，其中，遮挡区域通过将人眼区域图像中的至少一部分像素替换为预定像素值(如0)的像素生成，遮挡区域用于人眼区域图像被遮挡的情况，当然，为了保证人脸姿态信息的计算准确性，遮挡区域应不遮挡眉毛、眼睛、嘴巴、鼻子等人脸相关部位；图像偏移参数通过对人眼区域图像中的人眼特征点进行图像偏移生成，图像偏移参数用于表示对人眼特征点检测出现偏差(如人眼特征点的坐标存在偏差)的情况。

如此，通过具有遮挡区域和/或图像偏移参数的人眼区域图像来对人眼检测模型进行训练，可使得训练至收敛的人眼检测模型在进行人眼注视信息检测时，最大化的降低人眼被遮挡以及人眼特征点检测偏移带来的影响，可保证注视检测的准确性。

请参阅图2、图3和图8，在某些实施方式中，步骤0103包括：

01031：将人眼区域图像、遮挡区域、及图像偏移参数输入人眼检测模型，以输出训练坐标；

01032：基于预设的损失函数，根据人眼区域图像对应的预设坐标和训练坐标，计算损失值；

01033：根据损失值调整人眼检测模型，直至人眼检测模型收敛。

在某些实施方式中，训练模块19还用于将人眼区域图像、遮挡区域、及图像偏移参数输入人眼检测模型，以输出训练坐标；基于预设的损失函数，根据人眼区域图像对应的预设坐标和训练坐标，计算损失值；根据损失值调整人眼检测模型，直至人眼检测模型收敛。也即是说，步骤01031至步骤01033可以由训练模块19执行。

在某些实施方式中，处理器20还用于将人眼区域图像、遮挡区域、及图像偏移参数输入人眼检测模型，以输出训练坐标；基于预设的损失函数，根据人眼区域图像对应的预设坐标和训练坐标，计算损失值；根据损失值调整人眼检测模型，直至人眼检测模型收敛。也即是说，步骤01031至步骤01033可以由处理器20执行。

具体的，请参阅图9，人脸检测模型50包括第一特征提取模块51、第二特征提取模块52、第一权重模块53和第二权重模块54和特征融合模块55。

在进行训练时，将人眼区域图像输入人眼检测模型，人眼区域图像包括左眼区域图像和右眼区域图像，第一特征提取模块51可将人眼区域图像中的左眼区域图像(或者左眼区域图像的特征点)提取出来，第二特征提取模块52可将人眼区域图像中的右眼区域图像(或者右眼区域图像的特征点)提取出来，然后第一权重模块53可根据左眼区域图像的遮挡区域确定第一缺失信息，从而确定第一权重，第二权重模块54可根据右眼区域图像的遮挡区域确定第二缺失信息，从而确定第二权重，然后将左眼区域图像、右眼区域图像、第一权重和第二权重输入到特征融合模块里进行计算，具体计算方式可以是，通过第一权重对左眼区域图像进行加权(如第一权重*左眼区域图像)，通过第二权重对右眼区域图像进行加权(如第二权重*右眼区域图像)，然后将两者加权后的特征相加，以得到融合后的人眼特征，然后将融合后的人眼特性输入到特征融合模块55中，从而输出人眼注视信息。

在其他实施方式中，人脸检测模型50还包括第三特征提取模块56，第三特征提取模块56可用于提取人脸图像的中的特征点，以输出人脸姿态信息至特征融合模块，从而根据人脸姿态信息、左眼区域图像、右眼区域图像、第一权重和第二权重计算人眼注视信息。

在训练时，输出的人眼注视信息为训练坐标，而作为训练样本的人眼区域图像存在预设坐标，预设坐标为该人眼区域图像真实的人眼注视信息(如人眼注视方向和注视点坐标)，然后处理器20基于预设的损失函数，训练坐标和预设坐标，来计算损失值，损失函数如下：

其中，loss为损失值，N为每个训练样本集包含的训练样本的数量，X和Y为训练坐标，Gx和Gy为预设坐标，在训练坐标为注视方向时，X和Y分别表示俯仰角和偏航角，在训练坐标为注视点坐标时，X和Y分别表示注视点在显示屏40所在平面的坐标，从而分别计算注视方向的损失值和注视点坐标的损失值。

然后，处理器20可根据注视方向的损失值和注视点坐标的损失值调整人眼检测模型，使得人眼检测模型的梯度不断下降，使得训练坐标越来越接近预设坐标，最终使得人眼检测模型训练至收敛。如此，通过具有遮挡区域和/或图像偏移参数的人眼区域图像来对人眼检测模型进行训练，并基于损失值不断调整人眼检测模型至收敛，可最大化的降低人眼被遮挡以及人眼特征点检测偏移对注视检测带来的影响，提升注视检测的准确性。

请参阅图3、图10和图11，本申请实施方式的检测方法包括以下步骤：

021：获取人脸图像；

022：根据人脸图像确定人眼区域图像以及人脸姿态信息；

023：根据人眼区域图像的缺失信息，确定人眼区域图像的权重；

024：根据人眼区域图像和人眼区域图像的权重，确定人眼特征信息；

025：根据人眼特征信息以及人脸姿态信息，确定人眼注视信息。

本申请实施方式的检测装置20包括第一获取模块21、第一确定模块22、第二确定模块23、第三确定模块24和第四确定模块25。第一获取模块21用于获取人脸图像；第一确定模块22用于根据人脸图像确定人眼区域图像以及人脸姿态信息；第二确定模块23用于根据人眼区域图像的缺失信息，确定人眼区域图像的权重；第三确定模块24用于根据人眼区域图像和人眼区域图像的权重，确定人眼特征信息；第四确定模块25用于根据人眼特征信息以及人脸姿态信息，确定人眼注视信息。也即是说，步骤021可以由第一获取模块11实现、步骤022可以由第一确定模块12执行、步骤023可以由第二确定模块23、步骤024可以由第三确定模块24执行、步骤025可以由第四确定模块25执行。

本申请实施方式的电子设备100包括处理器20和采集装置30。采集装置30用于按预定帧率采集人脸信息(人脸信息包括人脸图像，如人脸的可见光图像、红外图像、深度图像等)；采集装置30可以是可见光相机、红外相机、深度相机中的一种或多种，其中，可见光相机可采集可见光人脸图像、红外相机可采集红外人脸图像、深度相机可采集深度人脸图像，本实施方式中，采集装置30包括可见光相机、红外相机和深度相机，采集装置30同时可见光人脸图像、红外人脸图像和深度人脸图像。检测装置20设置在电子设备100内，处理器20可包括ISP、NPU和AP，如第一获取模块21可设置在采集装置30，以获取人脸图像，第一确定模块22、第二确定模块23和第三确定模块24可设置在ISP中，第四确定模块25可设置在NPU中。采集装置30用于获取人脸图像；处理器20(具体可以是ISP)用于根据人脸图像确定人眼区域图像以及人脸姿态信息；根据人眼区域图像的缺失信息，确定人眼区域图像的权重；根据人眼区域图像和人眼区域图像的权重，确定人眼特征信息；处理器20(具体可以是NPU)还用于根据人眼特征信息以及人脸姿态信息，确定人眼注视信息。也即是说，步骤021可以由采集装置30执行，步骤022至步骤025可以由处理器20执行。

具体地，在用户使用电子设备100时，采集装置30可间隔预定时长采集一次用户的人脸信息，在保证电子设备100的功耗较小的情况，持续对用户进行注视检测，或者，在用户使用需要进行注视检测的应用程序(如浏览器软件、贴吧软件、视频软件等)时，再按预定帧数采集人脸信息，从而在有注视检测需求时才进行人脸信息采集，最大化的降低了注视检测的功耗。

请参阅图4，在获取到人脸信息(以人脸图像为例)后，处理器20可对人脸图像进行识别，例如处理器20可将人脸图像和预设人脸模板进行比对，从而确定人脸图像中的人脸及人脸的不同部位(如眼镜、鼻子等)所在的图像区域，以识别人脸图像中的人眼区域，从而获取人眼区域图像，其中，预设人脸模板可存储在电子设备100的存储器内，处理器20可在可信执行环境(Trusted Execution Environment，TEE)内进行人脸识别，以保证用户的隐私；或者，预设人脸模板可存储在云端服务器200，然后由电子设备100将人脸图像发送到云端服务器200进行比对以确定人眼区域图像，将人脸识别交给云端服务器200进行处理，可降低电子设备100的处理量并提升图像处理效率。

处理器20还可对人脸图像进行特征提取，根据提取得到的特征点的位置坐标来计算人脸姿态信息，可以理解，人脸的不同姿态(如以鼻尖为原点建立三维坐标系，人脸的俯仰角、水平转动角、倾斜角分别表示人脸相对于三维坐标系的三个坐标轴的旋转角度等)，均会影响用户的注视方向和注视点坐标，因此，在计算人眼注视信息时，除了获取人眼区域图像外，还会结合人脸姿态信息，从而更为准确地计算注视方向和注视点坐标。

然后，处理器20可对人眼区域图像进行识别，以确定人眼的缺失信息，具体地，人眼较为光滑，对光线的反射率较高，相较于人脸的其他部位，人眼在图像中的像素值会较大，因此，可通过设置检测阈值，来确定像素是否位于人眼(如像素的像素值大于检测阈值时确定像素位于人眼)，从而确定人眼区域图像中，人眼的图像部分，而人眼的形状也是基本确定的近似椭圆形，根据对识别到的人眼的图像部分和人眼的预设形状，即可确定人眼缺失的部分，从而确定缺失信息，缺失信息可包括人眼缺失的部分占人眼的比例。

处理器20根据缺失信息，即可确定人眼区域图像的权重，例如，人眼缺失的部分占人眼的比例越大，则人眼区域图像的权重越小；可以理解，人眼缺失的部分占人眼的比例越大，则表示人眼被遮挡的程度越大，人眼区域图像的准确性就越差，因此，给予较小的权重可降低人眼区域图像对后续计算人眼注视信息的准确性的影响，提升注视检测准确性。

在一个实施方式中，人眼区域图像包括左眼区域图像和右眼区域图像，处理器20可分别根据左眼区域图像的第一缺失信息来确定左眼区域图像的第一权重，根据右眼区域图像的第二缺失信息来确定右眼区域图像的第二权重，从而分别确定左眼区域图像的第一权重和右眼区域图像的第二权重。例如，第一权重和第一缺失信息(如左眼缺失的部分占左眼的比例)呈负相关关系，第二权重和第二缺失信息(如右眼缺失的部分占右眼的比例)呈负相关关系，在左眼区域图像的第一权重较小(如为0.6)时，则可降低左眼区域图像对人眼注视信息计算的影响(如通过提取左眼区域图像较更少的特征点来降低影响)。

在获取到人眼区域图像，并确定了人眼区域图像的权重后，即可根据人眼区域图像及其权重确定人眼特征信息，例如将人脸区域图像和人眼区域图像对应的权重直接作为人眼特征信息，或者先根据人眼区域图像的权重对人眼区域图像进行人眼特征点提取，然后将提取的人眼特征点作为人眼特征信息。

最后，处理器20根据人眼特征信息和人脸姿态信息来确定人眼注视信息。例如，注视信息包括注视方向和注视点坐标，处理器20可通过对人眼区域图像中左眼区域和右眼区域分别进行特征提取，然后结合人脸姿态信息，从而确定人眼的注视方向以及人眼在电子设备100的显示屏40所在的平面的注视点坐标。

在得到注视方向和注视点坐标后，即可根据注视方向和注视点坐标实现电子设备100的控制。如在检测到注视点坐标位于显示屏40的显示区域时，保持屏幕始终点亮，而在检测到注视点坐标位于显示屏40的显示区域之外时预定时长(如10S、20S等)，则关闭屏幕。

本申请的人眼注视检测方法、检测装置20和电子设备100，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性。且结合人脸姿态信息共同确定人眼注视信息，即使人眼区域图像存在缺失，也可通过人脸姿态信息准确地的计算得到人眼注视信息，可提升人眼注视信息的准确性。

请参阅图3、图11和图12，在某些实施方式中，人脸图像包括人脸掩码，步骤025包括：

0251：根据人脸掩码计算人脸相对电子设备100的位置信息；

0252：根据位置信息、人眼特征信息以及人脸姿态信息，确定人眼注视信息。

在某些实施方式中，第四确定模块25还用于根据人脸掩码计算人脸相对电子设备100的位置信息；根据位置信息、人眼特征信息以及人脸姿态信息，确定人眼注视信息。也即是说，步骤0251和步骤0252可以由第四确定模块25执行。

在某些实施方式中，处理器20还用于根据人脸掩码计算人脸相对电子设备100的位置信息；根据位置信息、人眼特征信息以及人脸姿态信息，确定人眼注视信息。也即是说，步骤0251和步骤0252可以由处理器20执行。

具体地，在计算得到人眼注视信息之前，处理器20还可确定人脸图像的人脸掩码，人脸掩码用于表征人脸在人脸图像中的位置，人脸掩码可通过识别人脸图像中的人脸的位置确定，处理器20根据人脸掩码可计算人脸相对电子设备100的位置信息(如人脸和电子设备100的距离)，可以理解，人脸和电子设备100的距离变化时，即使人眼注视方向未发生改变，人眼的注视点坐标依旧会发生变化，因此，在计算人眼注视信息时，除了获取人眼区域图像及其权重、和人脸姿态信息外，还会结合位置信息，从而更为准确地计算注视点坐标。

请参阅图3、图13和图14，本申请实施方式的通过人眼控制电子设备100的方法包括以下步骤：

031：获取人眼区域图像；

033：根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息，其中，人眼区域图像的权重根据人眼区域图像的缺失信息确定；及

035：根据人眼注视信息控制电子设备100。

本申请实施方式的控制装置30包括第一获取模块31、第一确定模块32和控制模块33。第一获取模块31用于获取人眼区域图像；第一确定模块32用于根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息；控制模块33用于根据人眼注视信息控制电子设备100。也即是说，步骤031可以由第一获取模块31实现、步骤033可以由第一确定模块32执行和步骤035可以由控制模块33执行。

本申请实施方式的电子设备100包括处理器20和采集装置30。采集装置30用于按预定帧率采集人脸信息(人脸信息包括人脸图像，如人脸的可见光图像、红外图像、深度图像等)；采集装置30可以是可见光相机、红外相机、深度相机中的一种或多种，其中，可见光相机可采集可见光人脸图像、红外相机可采集红外人脸图像、深度相机可采集深度人脸图像，本实施方式中，采集装置30包括可见光相机、红外相机和深度相机，采集装置30同时可见光人脸图像、红外人脸图像和深度人脸图像。处理器20可包括ISP、NPU和AP，如控制装置30设置在电子设备100内，第一获取模块11设置在ISP，处理器20与采集装置30连接，在采集装置30采集到人脸图像后，ISP可对人脸图像进行处理，以获取人眼区域图像，第一确定模块12可设置在NPU，控制模块13可设置在AP。处理器20(具体可以是ISP)用于获取人眼区域图像；处理器20(具体可以是NPU)还用于根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。处理器20(具体可以是AP)还可用于根据人眼注视信息控制电子设备100。也即是说，步骤031可以由采集装置30配合处理器20执行、步骤032和步骤033可以由处理器20执行。

具体地，在用户使用电子设备100时，采集装置30可间隔预定时长采集一次用户的人脸信息，在保证电子设备100的功耗较小的情况，持续对用户进行注视检测，或者，在用户使用需要进行注视检测的应用程序(如浏览器软件、贴吧软件、视频软件等)时，再按预定帧数采集人脸信息，从而在有注视检测需求时才进行人脸信息采集，最大化的降低了注视检测的功耗。

请参阅图4，在获取到人脸信息(以人脸图像为例)后，处理器20可对人脸图像进行识别，例如处理器20可将人脸图像和预设人脸模板进行比对，从而确定人脸图像中的人脸及人脸的不同部位(如眼镜、鼻子等)所在的图像区域，以识别人脸图像中的人眼区域，从而获取人眼区域图像，其中，预设人脸模板可存储在电子设备100的存储器内，处理器20可在可信执行环境(Trusted Execution Environment，TEE)内进行人脸识别，以保证用户的隐私；或者，预设人脸模板可存储在云端服务器200，然后由电子设备100将人脸图像发送到云端服务器200进行比对以确定人眼区域图像，将人脸识别交给云端服务器200进行处理，可降低电子设备100的处理量并提升图像处理效率；

然后，处理器20可对人眼区域图像进行识别，以确定人眼的缺失信息，具体地，人眼较为光滑，对光线的反射率较高，相较于人脸的其他部位，人眼在图像中的像素值会较大，因此，可通过设置检测阈值，来确定像素是否位于人眼(如像素的像素值大于检测阈值时确定像素位于人眼)，从而确定人眼区域图像中，人眼的图像部分，而人眼的形状也是基本确定的近似椭圆形，根据对识别到的人眼的图像部分和人眼的预设形状，即可确定人眼缺失的部分，从而确定缺失信息，缺失信息可包括人眼缺失的部分占人眼的比例。

处理器20根据缺失信息，即可确定人眼区域图像的权重，例如，人眼缺失的部分占人眼的比例越大，则人眼区域图像的权重越小；可以理解，人眼缺失的部分占人眼的比例越大，则表示人眼被遮挡的程度越大，人眼区域图像的准确性就越差，因此，给予较小的权重可降低人眼区域图像对后续计算人眼注视信息的准确性的影响，提升注视检测准确性。

在一个实施方式中，人眼区域图像包括左眼区域图像和右眼区域图像，处理器20可分别根据左眼区域图像的第一缺失信息来确定左眼区域图像的第一权重，根据右眼区域图像的第二缺失信息来确定右眼区域图像的第二权重，从而分别确定左眼区域图像的第一权重和右眼区域图像的第二权重。例如，第一权重和第一缺失信息(如左眼缺失的部分占左眼的比例)呈负相关关系，第二权重和第二缺失信息(如右眼缺失的部分占右眼的比例)呈负相关关系，在左眼区域图像的第一权重较小(如为0.6)时，则可降低左眼区域图像对人眼注视信息计算的影响(如通过提取左眼区域图像较更少的特征点来降低影响)。

在获取到人眼区域图像，并确定了人眼区域图像的权重后，即可根据人眼区域图像及其权重计算人眼注视信息。例如，注视信息包括注视方向和注视点坐标，处理器20通过对人眼区域图像中左眼区域和右眼区域分别进行特征提取，从而确定人眼的注视方向以及人眼在电子设备100的显示屏40所在的平面的注视点坐标。

在得到注视方向和注视点坐标后，即可根据注视方向和注视点坐标实现电子设备100的控制。请参阅图15，例如，以双眼的中点为原点O1建立三维坐标系，X1轴平行双眼中心的连线方向，Y1轴位于水平面并垂直X1轴，Z1轴垂直X1轴和Y1轴，通过用户视线S和三维坐标系的三轴的旋转角表示用户的注视方向，如注视方向分别包括俯仰角、横滚角和偏航角，俯仰角表示绕X1轴的旋转角，横滚角表示绕Y1轴的旋转角，偏航角表示绕Z1轴的旋转角，处理器20可根据注视方向实现对电子设备100的显示内容的翻页或者滑动操作，例如根据确定连续多帧人眼区域图像(如连续10帧)的注视方向，可确定注视方向的变化，例如，请结合图15和图16，当俯仰角逐渐增大(即视线S仰)时，则可确定用户想要显示内容向上滑动或向下翻页，再例如，请结合图15和图17，俯仰角逐渐减小(即视线S俯)，则可确定用户想要显示内容向下滑动或向上翻页。同样地，通过检测注视点M的移动方向，也可对电子设备100进行滑动或翻页操作。请结合图18，可以显示屏40的中心作为坐标原点O2建立平面坐标系，以平行电子设备100的宽度方向作为X2轴，以平行电子设备100的长度方向作为Y2轴，注视点坐标包括横坐标(对应在X2轴的位置)和纵坐标(对应在Y2轴的位置)，若纵坐标逐渐增加，则表示注视点M上移，可确定用户想要显示内容向上滑动或向下翻页，再例如，若纵坐标逐渐减小，则表示注视点M下移，可确定用户想要显示内容向下滑动或向上翻页。

在其他实施方式中，处理器20还可根据注视方向的变化速度(如通过第1帧和第10帧的俯仰角的差值(或注视点M的纵坐标的差值)和获取连续10帧的时长确定)，变化速度越快，滑动后显示的新的显示内容越多。

在另一个例子中，在检测到注视点坐标位于显示屏40的显示区域时，说明用户始终在查看显示屏40，则保持屏幕始终点亮，而在检测到注视点坐标位于显示屏40的显示区域之外时，则说明用户未查看显示屏40，但为了防止用户仅是偶尔张望一下显示区域外，导致误判，可在用户未查看显示屏40后预定时长(如10S、20S等)，再关闭屏幕。

本申请的通过人眼控制电子设备100的方法、控制装置30和电子设备100，通过获取人眼区域图像，并通过人眼区域图像的缺失信息，来确定人眼区域图像所占的权重，在根据人眼区域图像确定人眼注视信息时，将人眼区域图像的权重作为考虑因素，从而有利于降低人眼被遮挡导致人眼区域图像出现缺失，对计算人眼注视信息的准确性的影响，可提升人眼区域图像缺失的情况下，人眼注视检测的准确性，然后通过准确地人眼注视信息来对电子设备100进行控制，从而保证了对电子设备100的控制准确性。

请参阅图3、图14和图19，在某些实施方式中，通过人眼控制电子设备100的方法还包括：

0321：获取人脸姿态信息。

步骤033包括：

0331：根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。

在某些实施方式中，控制装置30还包括第二获取模块34，第二获取模块34同样可设置在ISP，以用于获取人脸姿态信息。第一确定模块32还用于根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0321可以由第二获取模块34执行，步骤0331可以由第一确定模块32执行。

在某些实施方式中，处理器20还用于获取人脸姿态信息、及根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0321和步骤0331可以由处理器20执行。

步骤0321的具体描述请参照步骤0141，步骤0331的具体描述请参照步骤0151，在此不再赘述。

请参阅图3、图14和图20，在某些实施方式中，通过人眼控制电子设备100的方法还包括：

0322：获取人脸图像，人脸图像包括人脸掩码；

0323：根据人脸掩码计算人脸相对电子设备100的位置信息；

步骤033包括：

0332：根据位置信息、人眼区域图像和人眼区域图像的权重，确定人眼注视信息。

在某些实施方式中，控制装置30还包括第三获取模块35和计算模块36，第三获取模块35和计算模块36可均设置在ISP，第三获取模块35用于获取人脸图像，计算模块36用于根据人脸掩码计算人脸相对电子设备100的位置信息。也即是说，步骤0322可以由第三获取模块35执行，步骤0332可以由计算模块16执行，步骤0332可以由第一确定模块32执行。

在某些实施方式中，处理器20还用于获取人脸姿态信息、及根据人脸姿态信息、人眼区域图像、人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0322、步骤323和步骤0332可以由处理器20执行。

具体地，步骤0322、步骤0323和步骤0332的具体描述请分别参阅步骤0142、步骤0143和步骤0152，在此不再赘述。

请参阅图3、图14和图21，在某些实施方式中，通过人眼控制电子设备100的方法还包括：

0301：获取训练样本集，训练样本集包括多个人眼区域图像；

0302：根据人眼区域图像确定遮挡区域和/或图像偏移参数；

0303：根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。

步骤033包括：

0333：基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。

在某些实施方式中，控制装置30还包括第四获取模块37、第二确定模块38和训练模块39。第四获取模块37、第二确定模块38和训练模块39均可设置在NPU，以进行人眼检测模型的训练。第四获取模块37用于获取训练样本集、第二确定模块38用于根据人眼区域图像确定遮挡区域和/或图像偏移参数；训练模块39用于根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。第一确定模块32可用于基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0301可以由第四获取模块37执行、步骤0302可以由第二确定模块38执行、步骤0103可以由训练模块39执行，步骤0333可以由第一确定模块32执行。

在某些实施方式中，处理器20还用于获取训练样本集，训练样本集包括多个人眼区域图像；根据人眼区域图像确定遮挡区域和/或图像偏移参数；根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型；基于人眼检测模型，根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。也即是说，步骤0301、步骤0302、步骤0303和步骤0333可以由处理器20执行。

具体的，步骤0301、步骤0302、步骤0303和步骤0333的具体描述请分别参阅步骤0101、步骤0102、步骤0103和步骤0153，在此不再赘述。

请参阅图3、图14和图22，在某些实施方式中，步骤0303包括：

03031：将人眼区域图像、遮挡区域、及图像偏移参数输入人眼检测模型，以输出训练坐标；

03032：基于预设的损失函数，根据人眼区域图像对应的预设坐标和训练坐标，计算损失值；

03033：根据损失值调整人眼检测模型，直至人眼检测模型收敛。

在某些实施方式中，训练模块39还用于将人眼区域图像、遮挡区域、及图像偏移参数输入人眼检测模型，以输出训练坐标；基于预设的损失函数，根据人眼区域图像对应的预设坐标和训练坐标，计算损失值；根据损失值调整人眼检测模型，直至人眼检测模型收敛。也即是说，步骤03031至步骤03033可以由训练模块39执行。

在某些实施方式中，处理器20还用于将人眼区域图像、遮挡区域、及图像偏移参数输入人眼检测模型，以输出训练坐标；基于预设的损失函数，根据人眼区域图像对应的预设坐标和训练坐标，计算损失值；根据损失值调整人眼检测模型，直至人眼检测模型收敛。也即是说，步骤03031至步骤03033可以由处理器20执行。

具体的，步骤03031、步骤03032和步骤03033的具体描述请分别参阅步骤01031、步骤01032和步骤01033，在此不再赘述。

请参阅图3、图11和图23，在某些实施方式中，人眼注视信息包括注视点坐标，在获取人眼区域图像之前，通过人眼控制电子设备100的方法还包括：

0301：在息屏前的第一预定时长内，获取拍摄图像；

0302：响应于拍摄图像中包含人脸；

步骤035包括：

0351：响应于注视点坐标位于显示屏40的显示区域，持续亮屏第二预定时长。

在某些实施方式中，控制模块33还用于在息屏前的第一预定时长内，获取拍摄图像；响应于拍摄图像中包含人脸；响应于注视点坐标位于显示屏40的显示区域，持续亮屏第二预定时长。也即是说，步骤0301、步骤0302和步骤0351可以由控制模块33执行。

在某些实施方式中，处理器20还用于在息屏前的第一预定时长内，获取拍摄图像；响应于拍摄图像中包含人脸；响应于注视点坐标位于显示屏40的显示区域，持续亮屏第二预定时长。也即是说，步骤0351和步骤0352可以由处理器20执行。

具体的，人眼注视信息可用于实现息屏控制，在息屏前，首先进行注视检测，如处理器20首先获取拍摄图像，若拍摄图像中存在人脸，则根据拍摄图像进行人眼注视信息的确定，当然，为了保证息屏前具有足够时间获取拍摄图像和计算人眼注视信息，需要在息屏前的第一预定时长(如5秒、10秒等)内获取拍摄图像。

请参阅图24和图25，当注视点M位于显示屏40的显示区域内时，则可确定用户正在注视显示屏40，从而使得显示屏40持续亮屏第二预定时长，第二预定时长可大于第一预定时长，而在再次息屏前第一预定时长内，则再次获取拍摄图像，从而实现在用户注视显示屏40时，保持亮屏，在用户不再注视显示屏40时，再息屏。

其中，请再次参阅图18，可以显示区域的中心作为坐标原点O2，建立平行显示屏40的二维坐标系，显示区域与预设坐标范围相关联，即显示区域在该二维坐标系的横坐标范围和纵坐标范围，作为预设坐标范围，当注视点坐标位于预设坐标范围内(即注视点坐标的横坐标位于横坐标范围内且纵坐标位于纵坐标范围内)时，即可确定注视点坐标位于显示区域内，从而较为简单地判断用户是否注视显示屏40。

且由于仅在息屏前的第一预定时长内才进行拍摄图像的获取和人眼注视信息的计算，有利于节省功耗。

请参阅图3、图14和图26，在某些实施方式中，人眼注视信息包括注视点坐标，在获取人眼区域图像之前，通过人眼控制电子设备100的方法还包括：

0303：响应于电子设备100未接收到输入操作的情况，获取拍摄图像；

步骤035包括：

0352：响应于拍摄图像中包含人脸且注视点坐标位于显示区域，调节显示屏40的显示亮度至第一预定亮度；

0353：响应于拍摄图像中不包含人脸、或拍摄图像中包含人脸且注视点坐标位于显示区域之外，调节显示亮度至第二预定亮度，第二预定亮度小于第一预定亮度。

在某些实施方式中，控制模块33还用于响应于电子设备100未接收到输入操作的情况，获取拍摄图像、响应于拍摄图像中包含人脸且注视点坐标位于显示区域，调节显示屏40的显示亮度至第一预定亮度、及响应于拍摄图像中不包含人脸、或拍摄图像中包含人脸且注视点坐标位于显示区域之外，调节显示亮度至第二预定亮度，第二预定亮度小于第一预定亮度。也即是说，步骤0303、步骤0352和步骤0353可以由控制模块33执行。

在某些实施方式中，处理器20还用于响应于电子设备100未接收到输入操作的情况，获取拍摄图像、响应于拍摄图像中包含人脸且注视点坐标位于显示区域，调节显示屏40的显示亮度至第一预定亮度、及响应于拍摄图像中不包含人脸、或拍摄图像中包含人脸且注视点坐标位于显示区域之外，调节显示亮度至第二预定亮度，第二预定亮度小于第一预定亮度。也即是说，步骤0303、步骤0352和步骤0353可以由处理器20执行。

具体的，请再次参阅图24和图25，人眼注视信息还可用于实现智能亮屏，电子设备100为了节省电量，一般在亮屏一定时长后，会先降低显示亮度，然后以低亮度亮屏一定时长后则息屏。本实施方式中，在电子设备100未接收到用户的输入操作的情况下，此时可判断用户可能并未在使用电子设备100或者仅在查看显示内容，处理器20可获取拍摄图像，若拍摄图像包含人脸，则根据拍摄图像计算人眼注视信息，若注视点坐标位于显示区域，则说明用户虽然未操作电子设备100，但在查看显示内容，此时将显示亮度调节到第一预定亮度，第一预定亮度可以是显示屏40正常显示时，由用户自定义设置的亮度，或者根据环境光亮度实时进行变化以适应环境光的亮度，从而保证用户即使不操作电子设备100，仍能够亮屏，以防止在用户未操作电子设备100，但在查看显示内容时突然息屏影响用户体验的情况。

而在电子设备100未接收到输入操作情况下，若拍摄图像中不包含人脸、或者拍摄图像虽然包含人脸，注视点坐标在显示区域之外时(即用户并未查看显示区域)，则可确定用户当前并不需要使用电子设备100，因此，此时可将显示亮度调节到第二预定亮度，第二预定亮度小于第一预定亮度，从而防止不必要的电量损耗。在用户再次注视显示区域时，则又将显示亮度调节到第一预定亮度，保证用户正常的观看体验。如此，可实现在用户未操作电子设备100情况下，用户注视显示区域，显示区域以正常亮度显示，用户不注视显示区域，则以低亮度显示，在保证用户观看体验的基础上，最大化的节省电量。

请参阅图3、图27和图28，本申请实施方式的人眼检测模型的训练方法包括：

041：获取训练样本集，训练样本集包括多个人眼区域图像；

042：根据人眼区域图像确定遮挡区域和/或图像偏移参数；

043：根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。

本申请实施方式的训练装置40包括获取模块41、确定模块42和训练模块43。获取模块41、确定模块42和训练模块43均可设置在NPU，以进行人眼检测模型的训练。获取模块41用于获取训练样本集、确定模块42用于根据人眼区域图像确定遮挡区域和/或图像偏移参数；训练模块43用于根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。也即是说，步骤041可以由获取模块41执行、步骤042可以由确定模块42执行、步骤043可以由训练模块43执行。

在某些实施方式中，处理器20还用于获取训练样本集，训练样本集包括多个人眼区域图像；根据人眼区域图像确定遮挡区域和/或图像偏移参数；根据人眼区域图像、遮挡区域、及图像偏移参数训练人眼检测模型。也即是说，步骤041、步骤042和步骤043可以由处理器20执行。

具体的，步骤041、步骤042和步骤043的具体描述请分别参照步骤0101、步骤0102和步骤0103，在此不再赘述。

请参阅图29，本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的人眼注视检测方法或通过人眼控制电子设备100的方法。

例如，请结合图1至图3，当计算机程序302被一个或多个处理器20执行时，使得处理器20执行以下步骤：

011：获取人眼区域图像；

013：根据人眼区域图像的缺失信息，确定人眼区域图像的权重；

015：根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息。

再例如，请结合图3、图10和图11，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：

021：获取人脸图像；

022：根据人脸图像确定人眼区域图像以及人脸姿态信息；

023：根据人眼区域图像的缺失信息，确定人眼区域图像的权重；

024：根据人眼区域图像和人眼区域图像的权重，确定人眼特征信息；

025：根据人眼特征信息以及人脸姿态信息，确定人眼注视信息。

再例如，请结合图3、图13和图14，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：

031：获取人眼区域图像；

033：根据人眼区域图像和人眼区域图像的权重，确定人眼注视信息，其中，人眼区域图像的权重根据人眼区域图像的缺失信息确定；及

035：根据人眼注视信息控制电子设备100。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施方式所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (26)

1.一种人眼注视检测方法，其特征在于，包括：

获取人眼区域图像；

根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；

根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

2.根据权利要求1所述的人眼注视检测方法，其特征在于，还包括：

获取人脸姿态信息；

所述根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，包括：

根据所述人脸姿态信息、所述人眼区域图像、所述人眼区域图像的权重，确定人眼注视信息。

3.根据权利要求1所述的人眼注视检测方法，其特征在于，所述人眼区域图像包括左眼区域图像和右眼区域图像，所述根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重，包括：

根据所述左眼区域图像的第一缺失信息确定所述左眼区域图像的第一权重，以及

根据所述右眼区域图像的第二缺失信息确定所述右眼区域图像的第二权重。

4.根据权利要求1所述的人眼注视检测方法，其特征在于，还包括：

获取人脸图像，所述人脸图像包括人脸掩码；

根据所述人脸掩码计算人脸相对电子设备的位置信息；

所述根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，包括：

根据所述位置信息、所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

5.根据权利要求1所述的人眼注视检测方法，其特征在于，还包括：

获取训练样本集，所述训练样本集包括多个所述人眼区域图像；

根据所述人眼区域图像确定遮挡区域和/或图像偏移参数；

根据所述人眼区域图像、所述遮挡区域、及所述图像偏移参数训练人眼检测模型；

所述根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，包括：

基于所述人眼检测模型，根据所述人眼区域图像和所述人眼区域图像的权重，确定所述人眼注视信息。

6.根据权利要求5所述的人眼注视检测方法，其特征在于，所述根据所述人眼区域图像、所述遮挡区域、所述图像偏移参数训练人眼检测模型，包括：

将所述人眼区域图像、所述遮挡区域、及所述图像偏移参数输入所述人眼检测模型，以输出训练坐标；

基于预设的损失函数，根据所述人眼区域图像对应的预设坐标和所述训练坐标，计算损失值；

根据所述损失值调整所述人眼检测模型，直至所述人眼检测模型收敛。

7.根据权利要求6所述的人眼注视检测方法，其特征在于，所述遮挡区域根据将所述人眼区域图像中的至少一部分像素替换为预定像素值的像素生成；所述图像偏移参数根据对所述人眼区域图像中的人眼特征点进行图像偏移生成。

8.一种人眼注视检测方法，其特征在于，包括：

获取人脸图像；

根据所述人脸图像确定人眼区域图像以及人脸姿态信息；

根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；

根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼特征信息；

根据所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息。

9.根据权利要求8所述的人眼注视检测方法，其特征在于，所述人脸图像包括人脸掩码，所述根据所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息，包括：

根据所述人脸掩码计算人脸相对电子设备的位置信息；

根据所述位置信息、所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息。

10.一种通过人眼控制电子设备的方法，其特征在于，包括：

获取人眼区域图像；

根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，其中，所述人眼区域图像的权重根据所述人眼区域图像的缺失信息确定；及

根据所述人眼注视信息控制所述电子设备。

11.根据权利要求10所述的通过人眼控制电子设备的方法，其特征在于，还包括：

获取人脸姿态信息；

所述根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，包括：

根据所述人脸姿态信息、所述人眼区域图像、所述人眼区域图像的权重，确定人眼注视信息。

12.根据权利要求10所述的通过人眼控制电子设备的方法，其特征在于，所述人眼区域图像包括左眼区域图像和右眼区域图像，所述左眼区域图像的第一权重根据所述左眼区域图像的第一缺失信息确定，所述右眼区域图像的第二权重根据所述右眼区域图像的第二缺失信息确定。

13.根据权利要求10所述的通过人眼控制电子设备的方法，其特征在于，还包括：

获取人脸图像，所述人脸图像包括人脸掩码；

根据所述人脸掩码计算人脸相对电子设备的位置信息；

所述根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，包括：

根据所述位置信息、所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

14.根据权利要求10所述的通过人眼控制电子设备的方法，其特征在于，还包括：

获取训练样本集，所述训练样本集包括多个所述人眼区域图像；

根据所述人眼区域图像确定遮挡区域和/或图像偏移参数；

根据所述人眼区域图像、所述遮挡区域、及所述图像偏移参数训练人眼检测模型；

所述根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，包括：

基于所述人眼检测模型，根据所述人眼区域图像和所述人眼区域图像的权重，确定所述人眼注视信息。

15.根据权利要求14所述的通过人眼控制电子设备的方法，其特征在于，所述根据所述人眼区域图像、所述遮挡区域、所述图像偏移参数训练人眼检测模型，包括：

将所述人眼区域图像、所述遮挡区域、及所述图像偏移参数输入所述人眼检测模型，以输出训练坐标；

基于预设的损失函数，根据所述人眼区域图像对应的预设坐标和所述训练坐标，计算损失值；

根据所述损失值调整所述人眼检测模型，直至所述人眼检测模型收敛。

16.根据权利要求15所述的通过人眼控制电子设备的方法，其特征在于，所述遮挡区域根据将所述人眼区域图像中的至少一部分像素替换为预定像素值的像素生成；所述图像偏移参数根据对所述人眼区域图像中的人眼特征点进行图像偏移生成。

17.根据权利要求10所述的通过人眼控制电子设备的方法，其特征在于，所述人眼注视信息包括注视点坐标，在获取人眼区域图像之前，所述通过人眼控制电子设备的方法，还包括：

在息屏前的第一预定时长内，获取拍摄图像；

响应于所述拍摄图像中包含人脸；

所述根据所述人眼注视信息控制所述电子设备，还包括

响应于所述注视点坐标位于所述显示屏的显示区域，持续亮屏第二预定时长。

18.根据权利要求17所述的通过人眼控制电子设备的方法，其特征在于，所述显示区域与预设坐标范围相关联，所述通过人眼控制电子设备的方法还包括：

在所述注视点坐标位于所述预设坐标范围内时，确定所述注视点坐标位于所述显示区域。

19.根据权利要求10所述的通过人眼控制电子设备的方法，其特征在于，在获取人眼区域图像之前，所述通过人眼控制电子设备的方法，还包括：

响应于所述电子设备未接收到输入操作的情况，获取拍摄图像；

所述根据所述人眼注视信息控制所述电子设备，包括：

响应于所述拍摄图像中包含人脸且所述注视点坐标位于所述显示区域，调节所述显示屏的显示亮度至第一预定亮度；

响应于所述拍摄图像中不包含人脸、或所述拍摄图像中包含人脸且所述注视点坐标位于所述显示区域之外，调节所述显示亮度至第二预定亮度，所述第二预定亮度小于所述第一预定亮度。

20.一种检测装置，其特征在于，包括：

第一获取模块，用于获取人眼区域图像；

第一确定模块，用于根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；

第二确定模块，用于根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息。

21.一种检测装置，其特征在于，包括：

第一获取模块，用于获取人眼区域图像；

第一确定模块，用于根据所述人脸图像确定人眼区域图像以及人脸姿态信息；

第二确定模块，用于根据所述人眼区域图像的缺失信息，确定所述人眼区域图像的权重；

第三确定模块，用于根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼特征信息；

第四确定模块，用于根据所述人眼特征信息以及所述人脸姿态信息，确定人眼注视信息。

22.一种控制装置，其特征在于，包括：

第一获取模块，用于获取人眼区域图像；

第一确定模块，用于根据所述人眼区域图像和所述人眼区域图像的权重，确定人眼注视信息，其中，所述人眼区域图像的权重根据所述人眼区域图像的缺失信息确定；及

控制模块，用于根据所述人眼注视信息控制所述电子设备。

23.一种电子设备，其特征在于，包括处理器，所述处理器用于执行权利要求1-7任意一项所述的人眼注视检测方法。

24.一种电子设备，其特征在于，包括处理器，所述处理器用于执行权利要求8或9所述的人眼注视检测方法。

25.一种电子设备，其特征在于，包括处理器，所述处理器用执行权利要求10-19任意一项所述的通过人眼控制电子设备的方法。

26.一种包括计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-7任意一项所述的人眼注视检测方法、或权利要求8或9所述的人眼注视检测方法、或权利要求10-19任意一项所述的通过人眼控制电子设备的方法。

Images