CN117707330A

CN117707330A - 一种电子设备及眼动跟踪方法

Info

Publication number: CN117707330A
Application number: CN202310570322.9A
Authority: CN
Inventors: 臧磊
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2023-05-19
Filing date: 2023-05-19
Publication date: 2024-03-15

Abstract

本申请提供了一种电子设备，包括第一相机、第二相机和处理器，第一相机用于获取包括目标用户的第一双眼信息和第一人脸信息的待处理IR图，第二相机用于获取包括目标用户第二双眼信息和第二人脸信息的第一RGB图像。处理器用于确定待处理IR图像中的反射光斑的位置，并当反射光斑位置位于目标用户的人眼区域时，控制第二相机获取第一RGB图像。根据第一RGB图像中目标用户的第二双眼信息和第二人脸信息，得到注视点位置。由于RGB图像不存在反射光斑，电子设备利用不含反射光斑的RGB图像进行眼动跟踪时，可以避免使用IR图像进行眼动跟踪存在反射光斑，提高了眼动跟踪的跟踪精度。

Description

一种电子设备及眼动跟踪方法

技术领域

本申请涉及终端技术领域，尤其涉及一种电子设备及眼动跟踪方法。

背景技术

眼动跟踪技术是电子设备通过测量目标用户双眼的落点位置，或者测量眼球相对于头部的运动过程，实现眼球运动追踪的技术。电子设备通过眼动跟踪技术，可以实现与目标用户的交互，进而实现特定的功能，比如，实现电子设备的屏幕解锁功能、或实现电子设备的信息栏展开功能等。

电子设备一般利用瞳孔-角膜反射方法，实现眼动跟踪技术。瞳孔-角膜反射方法是一种通过提取人眼图像中的瞳孔中心和角膜反射高光亮点中心的相对位移，对目标用户的眼睛注视方向进行估计的方法。

人眼图像基于红外成像的原理获取，但是当目标用户佩戴眼镜时，红外光或近红外照射在眼镜镜片表面时会产生严重的反光，在形成人像图像时，眼镜镜片部分会形成亮度值高于其他部分的反射光斑。当反射光斑遮挡人眼图像中的人眼区域时，电子设备只能识别到眼镜镜片形成的高亮度反射光斑，无法识别到人眼部分，因此，电子设备的眼动跟踪效果的精度低，甚至无法实现眼动跟踪。

发明内容

本申请的目的在于提供一种电子设备及眼动跟踪方法，提高眼动跟踪效果的精度。

第一方面，本申请提供了一种电子设备，包括：第一相机、第二相机和处理器；

第一相机，用于获取包括目标用户的第一双眼信息和第一人脸信息的待处理红外IR图像；第二相机，用于获取包括目标用户的第二双眼信息和第二人脸信息的第一RGB图像；处理器，用于确定待处理IR图像中的反射光斑的位置；当反射光斑位于目标用户的人眼区域时，控制第二相机获取第一RGB图像；并根据第一RGB图像中目标用户的第二双眼信息和第二人脸信息，得到注视点位置；当反射光斑未处于目标用户的人眼区域时，根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息，得到注视点位置。

由于RGB图像是由可见光光线反射获取的图像，RGB图像不含有反射光斑。电子设备利用不含反射光斑的RGB图像进行眼动跟踪时，可以避免反射光斑造成眼动跟踪结果精度低，甚至无法实现眼动跟踪的技术问题，提高了眼动跟踪的跟踪精度。当反射光斑不在人眼区域，或者不存在反射光斑时，采用待处理IR图像进行眼动跟踪，可以克服正常光照下瞳孔反射可见光光线，导致眼动跟踪结果不准确的问题。

可选地，处理器还用于根据待处理IR图像，确定目标用户的眼镜佩戴状态；当眼镜佩戴状态为佩戴眼镜时，对待处理IR图像进行二值化处理，获取二值化IR图像；并根据二值化IR图像，确定反射光斑的位置。当目标用户佩戴眼镜，由于眼镜镜片发射红外光线，导致获取的待处理IR图像存在反射光斑，因此首先确定目标用户的眼镜佩戴状态，当确定目标用户佩戴眼镜时，再确定反射光斑的位置，简化处理流程。

可选地，处理器还用于当眼镜佩戴状态为未佩戴眼镜时，根据待处理IR图像中目标用户的所述第一双眼信息和所述第一人脸信息，得到注视点位置。当目标用户未佩戴眼镜时，待处理IR图像不含有反射光斑，采用IR图像，而非RGB图像，可以克服正常光照下瞳孔反射可见光光线，导致利用RGB图像进行眼动跟踪结果不准确的问题。

可选地，处理器具体用于当跟踪距离大于或等于第一预设阈值时，且小于或等于第二预设阈值时，控制第一相机获取待处理IR图像；跟踪距离为所述目标用户的人眼与电子设备的屏幕之间的距离。在进行眼动跟踪时，考虑目标用户的人眼到电子设备的屏幕距离，当屏幕距离过远时，采用IR图像无法进行眼动跟踪，距离过近时，目标用户不在摄像头的感知视野内，处理器无法获取目标用户的人眼图像，也无法进行眼动跟踪。限定跟踪距离，进一步保证眼动跟踪的跟踪精度。

可选地，处理器还用于：当跟踪距离大于第二预设阈值时，控制第二相机获取第二RGB图像，第二RGB图像的第二分辨率大于第一RGB图像的第一分辨率；根据第二RGB图像中目标用户的第三双眼信息和第三人脸信息，得到注视点位置。利用高分辨率的第二RGB图像进行眼动跟踪，眼动跟踪精度更高。

在一种可选地方式中的，在进行跟踪之前，处理器还用于根据环境光的当前光强，确定环境光的光照状态；光照状态包括正常光状态和非正常光状态；正常光状态为获取第一清晰度的图像时的光照状态，非正常光状态为获取第二清晰度的图像时的光照状态，第一清晰度大于第二清晰度；

当环境光的光照状态为正常光状态时，开启第一相机和第二相机，标定眼动映射关系；。眼动映射关系为目标用户的眼睛转动图像对应的特征向量与注视点之间的映射关系；所述眼睛转动图像包括待处理IR图像、第一RGB图像和/或第二RGB图像。。

对于不同目标用户，人眼形状、大小和结构不同，当目标用户人眼注视点的落点在同一位置时，不同目标用户的眼动信息存在差别。也即，不同目标用户的眼动信息与落点屏幕位置之间的对应关系存在差异。当利用A的眼动信息与落点屏幕位置之间的对应关系，对B进行眼动跟踪，会导致眼动跟踪精度低。通过标定，可以克服上述技术问题，进一步提高眼动跟踪的精度。另外，在进行标定过程中，限定环境光的光照状态为正常光状态，且开启第一相机和第二相机进行标定，目的在于确保电子设备处于正常光状态，保证获取的图像清晰度高，从而提高眼动跟踪的跟踪精度。另外可以一次标定RGB相机和TOF相机的相机数据，因此能够提升目标用户体验。

可选地，处理器还用于当环境光的光照状态为所述非正常光状态时，提示目标用户对所述环境光进行调整；当确定调整后的环境光的光照状态为正常光状态时，同时开启第一相机和第二相机，标定眼动映射关系。确保电子设备工作在正常光状态下。

可选地，处理器还用于当标定距离在预设标定范围时，同时开启第一相机和第二相机，标定眼动映射关系；标定距离为标定时目标用户的人眼到电子设备的屏幕距离。通过限定距离，进一步提升跟踪过程中眼动跟踪的精度。

可选地，处理器还用于同时开启第一相机和第二相机，依次在电子设备的屏幕上显示至少一个标定点；保存时间戳对齐的RGB图像和IR图像，以及RGB图像对应的第一特征向量和IR图像对应的第二特征向量，完成标定过程；RGB图像由第二相机模式获取；IR图像由第一相机模式获取；第一特征向量用于表示RGB图像下目标用户的眼动映射关系；第二特征向量用户表示IR图像下目标用户的眼动映射关系。

可选地，当第一相机为飞行时间TOF相机时，第二相机为RGB相机。

第二方面，本申请提供了一种眼动跟踪方法，包括：

获取包括目标用户的第一双眼信息和第一人脸信息的待处理红外IR图像；确定待处理IR图像中的反射光斑的位置；当反射光斑位于目标用户的人眼区域时，获取第一RGB图像，并根据第一RGB图像中目标用户的第二双眼信息和第二人脸信息，得到注视点位置；当反射光斑未处于目标用户的人眼区域时，根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息，得到注视点位置。电子设备利用不含反射光斑的RGB图像进行眼动跟踪时，可以避免反射光斑造成眼动跟踪结果精度低，甚至无法实现眼动跟踪的技术问题，提高了眼动跟踪的跟踪精度。当反射光斑不在人眼区域，或者不存在反射光斑时，采用待处理IR图像进行眼动跟踪，可以克服正常光照下瞳孔反射可见光光线，导致眼动跟踪结果不准确的问题。

可选地，根据待处理IR图像，确定目标用户的眼镜佩戴状态；当眼镜佩戴状态为佩戴眼镜时，对待处理IR图像进行二值化处理，获取二值化IR图像；并根据二值化IR图像，确定反射光斑的位置。

可选地，当眼镜佩戴状态为未佩戴眼镜时，根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息，得到注视点位置。

可选地，当跟踪距离大于或等于第一预设阈值时，且小于或等于第二预设阈值时，获取待处理IR图像；跟踪距离为目标用户的人眼与电子设备的屏幕之间的距离。

可选地，当跟踪距离大于第二预设阈值时，获取第二RGB图像，第二第二RGB图像的第二分辨率大于第一RGB图像的第一分辨率；根据第二RGB图像中目标用户的双眼信息和人脸信息，得到注视点位置。

可选地，根据环境光的当前光强，确定环境光的光照状态；光照状态包括正常光状态和非正常光状态；正常光状态为获取第一清晰度的图像时的光照状态，非正常光状态为获取第二清晰度的图像时的光照状态，第一清晰度大于第二清晰度；

当环境光的光照状态为正常光状态时，开启第一相机和第二相机，标定眼动映射关系；眼动映射关系为所述目标用户的眼睛转动图像对应的特征向量与注视点之间的映射关系，眼睛转动图像包括待处理IR图像、第一RGB图像和/或第二RGB图像。；第一相机用于产生待处理IR图像；第二相机用于产生第一RGB和/或第二RGB图像。

可选地，当环境光的光照状态为非正常光状态时，提示目标用户对环境光进行调整；当确定调整后的环境光的光照状态为正常光状态时，同时开启第一相机和第二相机，标定眼动映射关系。

可选地，当标定距离在预设标定范围时，同时开启第一相机和第二相机，标定眼动映射关系；标定距离为标定时目标用户的人眼到电子设备的屏幕距离。

可选地，同时开启第一相机和第二相机，依次在电子设备的屏幕上显示至少一个标定点；保存时间戳对齐的RGB图像和IR图像，以及RGB图像对应的第一特征向量和IR图像对应的第二特征向量，完成标定过程；RGB图像由第二相机模式获取；IR图像由第一相机模式获取；第一特征向量用于表示RGB图像下目标用户的眼动映射关系；第二特征向量用户表示IR图像下目标用户的眼动映射关系。

第三方面，本申请提供了一种存储介质，包括：包括计算机可读指令，当所述计算机可读指令在计算设备上运行时，使得所述计算设备执行如第二方面任一项所述的方法。

附图说明

图1为本申请实施例提供的一种短信信息栏的内容展开和收回场景图；

图2为本申请实施例提供的一种眼神解锁场景示意图；

图3为本申请实施例提供的一种眼控拍摄示意图；

图4为本申请实施例提供一种为裸眼3D应用场景；

图5为本申请提供的电子设备100的结构示意图；

图6A为本申请实施例提供的一种眼动跟踪的打开方法示意图；

图6B为本申请实施例提供的一种眼动跟踪的方法流程图；

图7A为本申请实施例提供的一种标定过程流程图；

图7B为电子设备终端界面显示“减弱(或增强)环境光的光照强度范围为mlx～nlx”示意图；

图7C为终端界面上依次显示的5个标定点示意图；

图8为本申请实施例提供的一种电子设备屏幕显示标定过程完成示意图；

图9为本申请实施例提供的一种眼动跟踪过程流程图；

图10为本申请实施例提供的一种带有反射光斑的待处理IR图像；

图11为本申请实施例提供的一种获取注视点位置的方法示意图；

图12为本申请实施例提供的一种获取注视点位置的方法示意图；

图13为本发明实施例的电子设备100的软件结构框图。

具体实施方式

为了便于技术人员理解本申请实施例的技术方案，首先介绍一下本申请提供的眼动跟踪方法的应用场景。

应用场景一：信息栏的内容展开和收回。

眼动跟踪技术可以应用在电子设备的信息栏(比如即时通讯软件信息栏或短信信息栏等)上，以实现信息栏的内容展开和收回。参见图1所示，为本申请实施例提供的一种短信信息栏的内容展开和收回场景图。

图1的(a)部分示出了目标用户人眼的落点位置在短信信息栏区域1000。并且(a)中还示出了短信信息栏区域1000显示内容，包括信息接收时间“信息XXXX/XX/XXXX:XX”、信息来源“159*******”和信息部分内容“尊敬的客户，XXXX”，并显示“回复”和“标记已读”提示框。

当满足预设注视条件时，电子设备展开短信信息栏区域1000，得到(b)。(b)示出了(a)中信息部分内容对应的信息全部内容“尊敬的客户，XXXX，XXXX，请尽快确认，***”。

预设注视条件为预先存储在电子设备中的展开响应条件。比如，预设注视条件可以为落点位置在短信信息栏区域的停留时长超过预设停留时间，也可以为在预设时间段内，目标用户眨眼次数至少2次，使落点位置至少2次落在短信信息栏区域1000等。

当目标用户双眼的落点位置在短信信息栏区域1000外的其他区域时，(b)中示出的信息全部内容自动收回，得到(a)中示出的显示内容。

应用场景二：眼神解锁

参见图2所示，为本申请实施例提供的一种眼神解锁场景示意图。图2的(a)示出了一种电子设备处于密码锁屏状态的界面显示。目标用户通过眼动跟踪技术中的落点位置，可以对电子设备进行无痕解锁，得到(c)所示的解码后的显示界面。

可选地，当落点位置位于屏幕的预设区域时，可以直接对电子设备进行无痕解锁，得到(c)所示的解码后的显示界面。

或者，当落点位置位于屏幕的预设区域时，电子设备首先进入(b)所示的密码输入显示界面。当目标用户的落点位置落在预设数字区域时，可以对电子设备进行无痕解锁，得到(c)所示的解码后的显示界面。

预设区域的个数可以为一个，也可以为多个，根据需要可以自行设定。预设数字区域个数可以为一个，也可以为多个，根据需要可以自行设定。当预设数字区域为多个时，电子设备预先存储多个预设数字区域的执行顺序，当落点位置依照该执行顺序依次落在每个预设数字区域时，对电子设备进行无痕解锁。

应用场景三：眼控拍摄。

参见图3所示，为本申请实施例提供的一种眼控拍摄示意图。电子设备根据目标用户双眼的落点位置3001，完成相机对焦。

当电子设备完成相机对焦后，电子设备延时预设时长后，触发相机进行自动拍摄，或电子设备在识别到目标用户眨眼次数为预设次数后，触发相机进行自动拍摄等。如此，电子设备利用眼动跟踪技术中的落点位置可以实现相机自动对焦和拍摄，无需手动操作。

此外，眼动跟踪技术还可以应用在裸眼3D、眼动浏览、身份识别和眼控游戏等场景中。

示例性说明：参见图4，为本申请实施例提供一种为裸眼3D应用场景，电子设备根据眼动跟踪技术，实现检测人眼空间位置。根据人眼空间位置，实时调整3D画面，以增强观看自由度。人眼空间位置包括人眼到电子设备的屏幕距离、人眼注视视线与电子设备的屏幕之间的夹角等。

眼动跟踪技术是一种通过测量目标用户人眼的落点位置，或者测量眼球相对于头部的运动过程，实现眼球运动追踪的技术。

在相关方案中，电子设备往往采用瞳孔-角膜反射方法实现眼动跟踪技术。瞳孔-角膜反射方法是一种通过提取人眼图像中的瞳孔中心和角膜反射高光亮点中心位置之间的相对偏移量(也即目标偏移量)，对目标用户的眼睛注视方向进行估计的方法。人眼图像是由红外光或近红外光照射在角膜表面，经角膜表面反射形成。

然而，当目标用户佩戴眼镜时，红外光或近红外照射在眼镜镜片表面时会产生严重的反光，在形成人像图像时，眼镜镜片部分会形成亮度值高于其他部分的反射光斑。当反射光斑遮挡人眼图像中的人眼区域时，电子设备只能识别到眼镜镜片形成的高亮度反射光斑，无法识别到人眼部分，因此，电子设备的眼动跟踪效果的精度低，甚至无法实现眼动跟踪。

基于此，本申请实施例提供了一种电子设备，该电子设备包括第一相机、第二相机和处理器，第一相机用于获取包括目标用户的第一双眼信息和第一人脸信息的待处理红外(Infrared Radiation，IR)图，第二相机用于获取包括目标用户第二双眼信息和第二人脸信息的第一RGB图像。处理器用于确定待处理IR图像中的反射光斑的位置，并当反射光斑位置位于目标用户的人眼区域时，控制第二相机获取第一RGB图像。处理器根据第一RGB图像中目标用户的第二双眼信息和第二人脸信息，得到注视点位置。处理器还用于当反射光斑未处于目标用户的人眼区域时，根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息得到注视点位置。电子设备利用不含反射光斑的RGB图像进行眼动跟踪时，可以避免使用IR图像进行眼动跟踪存在反射光斑，导致眼动跟踪结果精度低，甚至无法实现眼动跟踪的技术问题，提高了眼动跟踪的跟踪精度。

本申请实施例提供的电子设备可以为具有眼动跟踪功能的手机、笔记本电脑、可穿戴电子设备(例如智能手表)、平板电脑、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备以及车载设备等。

图5示出了本申请提供的电子设备100的结构示意图。

电子设备可以包括处理器110、显示屏194、摄像头193和环境光传感器180L等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在本申请实施例中，处理器用于确定待处理IR图像中的反射光斑的位置。当反射光斑位于目标用户的人眼区域时，控制第二相机获取第一RGB图像；并根据第一RGB图像中目标用户第二双眼信息和第二人脸信息，得到注视点位置；当反射光斑未处于目标用户的人眼区域时，根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息，得到注视点位置。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过图像信号处理器(Image Signal Processor,ISP)，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。在本申请实施例中，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在本申请实施例中，电子设备100可以包括N个摄像头193，N为大于1的正整数。

在本申请实施例中，电子设备100包括第一相机120和第二相机130。第一相机120包括一个摄像头193和红外光感光元件121，在进行眼动跟踪时，打开快门，红外光或近红外光光线通过镜头被传递到红外光感光元件121上，光信号转换为电信号，红外光感光元件121将所述电信号传递给ISP处理，转化为肉眼可见的待处理IR图像。第二相机130包括一个摄像头193和可见光感光元件131。一个摄像头193在进行眼动跟踪时，打开快门，至少包括红光光线、绿光光线和蓝光光线的可见光光线通过镜头被传递到可见光感光元件131上，光信号转换为电信号，可见光感光元件131将所述电信号传递给ISP处理，转化为肉眼可见的第一RGB图像和/或第二RGB图像。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。本申请实施例可以利用环境光传感器，用于获取环境光的当前光强，并出发处理器，根据环境光的当前光强，确定环境光的光照状态。光照状态包括正常光状态和非正常光状态。其中，正常光状态为获取第一清晰度的图像时的光照状态，非正常光状态为获取第二清晰度的图像时的光照状态，第一清晰度大于第二清晰度。

下面以上述电子设备为例，介绍本申请实施例提供的眼动跟踪方法。

首先介绍电子设备的眼动跟踪功能的打开方法。

参见图6A，为本申请实施例提供的一种眼动跟踪的打开方法示意图。

在一种可能的实现方式中，在(a)所示的手机上，设置有“眼动跟踪”标识。目标用户点击“眼动跟踪”标识，电子设备打开(c)所示的眼动跟踪界面，执行眼动跟踪。眼动跟踪界面包括提示框，显示眼动光标、功能体验等功能控件。比如提示框提示目标用户“注视屏幕辅助操作，在距屏幕20-50厘米处，眼睛正对屏幕，注视即可展开横幅通知：稍作停留，可进入详情”。

在另一种可实现的方式中，目标用户点击“眼动跟踪”应用程序。手机响应于接收到目标用户开启眼动跟踪应用的操作，首先进入校准界面，显示(b)中眼动校准界面。眼动校准界面显示提示框，提示目标用户“确保眼部及面部无遮挡，根据指引，依次注视界面中5个位置，完成校准”。当目标用户完成校准后，手机打开“眼动跟踪”应用程序，可以显示(c)所示的眼动跟踪界面。

当电子设备开启“眼动跟踪”的应用程序后，可以执行以下眼动跟踪的方法。

参见图6B，为本申请实施例提供的一种眼动跟踪的方法流程图，该方法包括：

S61：第一相机获取待处理IR图像发送给处理器。

第一相机是指利用红外光或近红外光照射在目标用户表面，经目标用户表面反射形成待处理IR图像。第一相机模式可以为飞行时间(Time Of Flight，TOF)相机。

待处理IR图像是指包括目标用户的第一双眼信息和第一人脸信息的IR图像，在第一相机下获得。

S62：处理器确定待处理IR图像中的反射光斑的位置。

处理器接收第一相机获取的待处理IR图像，并确定待处理IR图像中发射光斑的位置。

在本申请实施例中，反射光斑是由于目标用户佩戴眼镜、或目标用户人脸存在其他反光组件，使得红外光或近红外光照射在物体表面形成强反射，导致在图像表面形成亮度值高于其他部分的亮度值的光斑。

在待处理IR图像中，反射光斑的亮度值高于其他区域的亮度值。因此，电子设备可以根据待处理IR图像中亮度值，确定反射光斑是否存在，以及确定反射光斑的位置。

可选地，电子设备为确认反射光斑的位置，首先对待处理IR图像进行二值化处理，得到二值化IR图像。二值化处理是指将图像上的像素点的灰度值设定为0或255，使整个图像黑白分明。也即二值化IR图像的像素点的灰度值仅包括0和255两种。

在本申请实施例中，由于反射光斑是由于眼镜镜片反射红外光线引起的，因此，反射光斑区域的像素点亮度高于待处理IR图像上其他区域的像素点亮度。

像素的灰度值大小用于表示待处理IR图像上像素点的亮度，像素的灰度值越大，像素的亮度值越大。因此，反射光斑区域的像素点的灰度值大于待处理IR图像上其他区域的像素点灰度值。

可选地，电子设备将待处理IR图像上灰度值大于或等于灰度阈值的像素点，确定为反射光斑区域的像素点设定为255。电子设备将待处理IR图像上灰度值小于灰度阈值的像素点设置为0。电子设备得到二值化IR图像，且二值化IR图像可以有效获取反射光斑区域。

S63：当反射光斑位于目标用户的人眼区域时，处理器向第二相机发送获取指令。

目标用户的人眼区域包括目标用户的左眼区域和目标用户的右眼区域。可选地，可以通过人脸关键点定位出待处理IR图像中目标用户的人眼区域。

当确定的反射光斑位于目标用户的人眼区域，处理器向第二相机发送获取指令。

可选地，获取指令包括图像第一分辨率、图像要素等信息，以使第二相机获取与第一分辨率对应的第一RGB图像。

第二相机利用可见光光线照射在目标用户表面，经目标用户表面反射形成RGB图像。比如，第二相机模式可以为RGB相机模式。

S64：第二相机获取第一RGB图像发送给处理器。

第一RGB图像是指包括目标用户的第二双眼信息和第二人脸信息的RGB图像。第一RGB图像的图像分辨率为第一分辨率。

当待处理IR图像上存在反射光斑，且反射光斑位于人眼区域时，由于反射光斑的亮度值大于人眼区域的亮度值，导致待处理IR图像中的反射光斑遮挡住人眼。这使得电子设备无法通过待处理IR图像，识别出目标用户人眼的眼动信息，从而引起电子设备无法实现眼动跟踪。目标用户人眼的眼动信息包括但不局限于注视点、注视时间、注视次数、眼跳距离或瞳孔大小。

因此，当待处理IR图像上存在反射光斑，且反射光斑位于人眼区域时，电子设备将相机从第一相机切换至第二相机。在第二相机下，获取不含反射光斑的第一RGB图像，发送给处理器，以使处理器利用第一RGB图像进行眼动跟踪。

S65：处理器根据第一RGB图像中目标用户的第二双眼信息和第二人脸信息，得到注视点位置。

注视点，也即目标用户人眼注视电子设备的屏幕时，注视视线在屏幕上的落点。电子设备根据第一RGB图像，得到注视点位置。

可选地，处理器根据第一RGB图像，获取目标用户的第二双眼信息和第二人脸信息，将第二双眼信息和第二人脸信息，输入RGB眼动AI模型，可以获取注视点位置。

RGB眼动AI模型，是一种卷积神经网络模型，用于实时追踪目标用户人眼注视电子设备的屏幕时，在屏幕上的注视点位置。

RGB眼动AI模型的输入为目标用户的第二双眼信息和第二人脸信息，第二双眼信息和第二人脸信息可以为RGB图像，也可以为双眼特征向量和人脸特征向量。

可选地，当第二双眼信息和第二人脸信息为RGB图像时，电子设备可以通过预处理第一RGB图像，对预处理后的第一RGB图像进行裁剪，获取目标用户的双眼信息和人脸信息。预处理的目的为了避免噪声等影响，具体包括：对第一RGB图像去噪，以减少第一RGB图像在拍摄或传送过程中产生的造成；对第一RGB图像进行平滑滤波，以平滑非边缘区域和保护图像边缘。

RGB眼动AI模型的输出为注视点位置，具体输出方式可以为屏幕上的落点标识，也可以为注视点在屏幕上二维坐标。

RGB眼动AI模型可以为非干扰式的眼动AI模型，比如瞳孔角膜反射法式的眼动AI模型，也可以为干扰式的眼动AI模型，本申请不对RGB眼动AI模型的具体形式进行限定。

S66：当反射光斑未位于目标用户的人眼区域时，处理器根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息，得到注视点位置。

反射光斑未位于人眼区域，包括反射光斑不存在，或者反射光斑存在，但不位于人眼区域。当反射光斑不存在，或反射光斑存在，但不在人眼区域时，电子设备根据待处理IR图像，得到注视点位置。

可选地，电子设备根据待处理IR图像，获取目标用户的第一双眼信息和第一人脸信息，将第一双眼信息和第一人脸信息，输入IR眼动AI模型，可以获取注视点位置。

IR眼动AI模型，是一种卷积神经网络模型，用于实时追踪目标用户人眼注视电子设备的屏幕时，在屏幕上的注视点位置。

IR眼动AI模型的输入为目标用户的第一双眼信息和第一人脸信息，第一双眼信息和第一人脸信息可以为IR图像，也可以为双眼特征向量和人脸特征向量。

可选地，当第一双眼信息和第一人脸信息为IR图像时，电子设备可以通过预处理待处理IR图像，对预处理后的待处理IR图像进行裁剪，获取目标用户的第一双眼信息和第一人脸信息。预处理的目的为了避免噪声等影响，具体包括：对待处理IR图像去噪，以减少待处理IR图像在拍摄或传送过程中产生的造成；对待处理IR图像进行平滑滤波，以平滑非边缘区域和保护图像边缘。

IR眼动AI模型的输出为注视点位置，具体输出方式可以为屏幕上的落点标识，也可以为注视点在屏幕上二维坐标。

IR眼动AI模型可以为非干扰式的眼动AI模型，比如瞳孔角膜反射法式的眼动AI模型，也可以为干扰式的眼动AI模型，本申请不对RGB眼动AI模型的具体形式进行限定。

眼动跟踪时采用IR图像，而非RGB图像，可以克服正常光照下瞳孔反射可见光光线，导致利用RGB图像进行眼动跟踪结果不准确的问题。

电子设备首先获取待处理IR图像，并根据待处理IR图像，确定反射光斑是否在人眼区域。如果电子设备确定反射光斑在人眼区域，获取第一RGB图像，并根据第一RGB图像，得到注视点位置，实现眼动跟踪。由于RGB图像是由可见光光线反射获取的图像，RGB图像不含有反射光斑。电子设备利用不含反射光斑的RGB图像进行眼动跟踪时，可以避免反射光斑造成眼动跟踪结果精度低，甚至无法实现眼动跟踪的技术问题，提高了眼动跟踪的跟踪精度。当反射光斑不在人眼区域，或者不存在反射光斑时，采用待处理IR图像进行眼动跟踪，可以克服正常光照下瞳孔反射可见光光线，导致眼动跟踪结果不准确的问题。

在进行眼动跟踪时，除了受反射光斑影响，导致跟踪结果精度低，还收其他因素影响，比如目标用户个体差异，环境光影响、目标用户到电子设备的屏幕距离等，都会导致跟踪结果精度低。基于此，本申请实施例提供了在该电子设备上的另一种眼动跟踪的方法。

下面结合图7A～图12，结合本申请实施例提供的眼动跟踪的方法。

其中，第一相机为TOF相机，第二相机为RGB相机。

由于对于不同目标用户，人眼形状、大小和结构不同，当目标用户人眼注视点的落点在同一位置时，不同目标用户的眼动信息存在差别。也即，不同目标用户的眼动信息与落点屏幕位置之间的对应关系存在差异。当利用A的眼动信息与落点屏幕位置之间的对应关系，对B进行眼动跟踪，会导致眼动跟踪精度低。因此，在进行眼动跟踪之前，首先进行标定。

标定过程又称为校准过程，用于校准眼动映射关系。眼动映射关系为目标用户的眼睛转动图像对应的特征向量与注视点之间的映射关系。。

当目标用户在首次使用电子设备，目标用户之前选择退出标定过程，目标用户上次使用电子设备时标定过程不成功，目标用户已删除其标定配置文件，或电子设备被关闭重新打开等，需要重新标定。

参见图7A，为本申请实施例提供的一种标定过程流程图，具体包括：

S71：环境光传感器获取环境光的当前光强发送至处理器。

环境光是指电子设备所处的环境中进行照明的光。环境光的当前光强用于表示当前时刻环境光的光照强度。

电子设备可以通过多种方式获取环境光的当前光强。比如，电子设备可以利用自设携带的环境光传感器，对环境光进行检测，获取环境光的当前光强。

此外，本申请还可以利用其他感光传感器，比如照度传感器，对环境光进行检测，将检测结果发送至电子设备，使电子设备获取环境光的当前光强等。

S72：处理器根据环境光的当前光强，判断当前环境光的光照状态是否为正常光状态。若否，执行S73；若是，执行S74。

环境光的光照状态包括正常光状态和非正常光状态。

正常光状态是指电子设备获取第一清晰度的图像时所需要的环境光。

本申请实施例中，电子设备还包括非正常光状态。非正常光状态是指电子设备获取第二清晰度的图像时所需要的环境光。第二清晰度小于第一清晰度。也即，电子设备在非正常光状态下，获得的人眼图像清晰度低。

非正常光包括偏暗光状态和偏亮光状态两种。偏暗光状态是指光照强度低于正常光所需的光照强度的光照状态。偏亮光是指光照强度高于正常光所需的光照强度的光照状态。

当处理器利用低清晰度的人眼图像进行眼动跟踪，追踪结果的精度低，甚至无法实现眼动跟踪。因此，在实际标定过程中，为保证眼动跟踪的效果，处理器需要判断当前环境光是否为正常光。

处理器可以通过以下方式判断：

处理器判断环境光的当前光强是否在预设光强范围内。若在，确定环境光的光照状态为正常光状态；若否，确定环境光的光照状态为非正常光状态。进一步，当确定环境光为非正常光状态时，若环境光的当前光强低于预设光强范围的最小值时，确定非正常光状态为偏暗光状态。若环境光的当前光强大于预设光强范围的最大值时，确定非正常光状态为偏亮光状态。

示例性说明：假定目标用户设定的预设光强范围为[50lx,20000lx]。当电子设备获取的环境光的当前光强为3000lx时，环境光的当前光强在预设光强范围，确定环境光的光照状态为正常光状态。当电子设备获取的环境光的当前光强为40lx时，环境光的当前光强不在预设光强范围，确定环境光的光照状态为非正常光状态。进一步，由于环境光的当前光强低于预设光强范围的最小值50lx，因此，确定非正常光状态为偏暗光状态。

在本申请实施例中，当环境光的光照状态为正常光状态时，电子设备执行S74的下一步标定过程。当环境光的光照状态为非正常光状态时，电子设备执行S73，提示目标用户进行环境光调整。

S73：处理器提示目标用户进行环境光调整，并执行S71。

当环境光的光照状态为偏暗光状态时，提示目标用户增强环境光的光照强度。当环境光的光照状态为偏亮光状态时，提示目标用户减弱环境光的光照强度。

本申请实施例可以通过电子设备的终端界面，显示调整内容。调整内容可以包括减弱(或增强)环境光的光照强度，减弱(或增强)具体光照强度范围。

比如，参见图7B，电子设备终端界面显示“减弱(或增强)环境光的光照强度范围为mlx～nlx”示意图。目标用户根据电子设备终端界面的显示结果，调整环境光。

可选地，处理器设定提示后延时，当延时时长达到第一预设时长时，处理器触发环境光传感器再执行S71，重新获取环境光的当前光强，以重新进行环境光判断，保证调整后的环境光为正常光。

可选地，处理器可以设定第一预设循环次数，用于避免当目标用户不进行调整时，电子设备一直循环判断而造成内存空间浪费。电子设备记录标定过程中环境光的当前光强的获取次数，当获取次数大于第一预设循环次数，且此时环境光仍为非正常光，电子设备关闭眼动跟踪功能。

S74：处理器启动TOF相机。

当环境光的光照状态为正常光时，处理器启动TOF相机。

TOF相机为一种主动式测距方式，是根据红外光或近红外光光线往返的时间差直接测量，获取物体深度信息。相对于RGB双目相机、结构光相机获取的物体深度，TOF相机可以测量较远距离(小于等于100m)的物体深度信息，不受环境光和物体纹理影响。因此，电子设备首先启动TOF相机，用于确定目标用户眼睛到电子设备的距离。

S75：TOF相机获取TOF深度图，并发送至处理器。

TOF深度图，是一种在TOF相机下获取的，包含物体深度信息的实时图像。TOF深度图中每个像素值都包括场景中像素点到相机(也即电子设备屏幕)的距离。

S76：处理器根据TOF深度图获取标定距离。

标定距离为标定过程中人眼到电子设备的屏幕距离。

S77：处理器判断标定距离是否在预设标定范围内，若是，执行S79，否则执行S78。

在标定时，如果标定距离过远，或过近，电子设备进行眼动跟踪时，都无法准确获取注视点位置。因此，本申请实施例限定标定距离在预设标定范围内。

本申请实施例将标定距离大于预设标定范围的最大值，视为标定距离过远，将标定距离小于预设标定范围的最小值视为标定距离过近。示例性说明：假设预设标定范围为30cm～50cm。第一距离过近是指人眼到电子设备的屏幕距离小于30cm，第一距离过远是指人眼到电子设备的屏幕距离大于50cm。

为提升获取注视点位置的准确度，当标定距离过近或过远时，处理器执行S75，提示目标用户调整到电子设备屏幕的距离。当标定距离在预设标定范围内，处理器执行S78的标定过程。

值得注意的是，预设标定范围预先存储在处理器中。在实际应用时，根据实际需要，预设标定范围可以调整。

S78：理器向标定界面发送提示指令，标定界面提示目标用户调整到电子设备的距离，执行S75。

当标定距离过近时，处理器向标定界面发送提示指令，提示目标用户人眼远离电子设备的屏幕。当标定距离过远时，处理器向标定界面发送提示指令，提示目标用户人眼靠近电子设备的屏幕。如此，保证在追踪过程中，目标用户人眼到电子设备的屏幕距离在预设标定范围，从而提升获取注视点位置的准确度。

进一步，为便于目标用户进行距离调整，终端界面上显示需要调整内容。调整内容包括远离(或靠近)电子设备的屏幕，和远离(或靠近)的距离范围。比如当第一距离过近时，可以在电子设备显示界面显示“目标用户双眼远离电子设备的屏幕，远离(或靠近)的距离范围为X1cm～X2cm”。

可选地，处理器可以设定提示延时，当延时时长达到第二预设时间时，处理器重新执行S75，根据实时TOF深度图，重新获取标定距离进行判断。

可选地，处理器可以设定第二预设循环次数，用于避免当目标用户不进行调整时，电子设备一直循环判断而造成内存空间浪费。电子设备记录第一距离的确定次数，当确定次数大于第二预设循环次数，且此时第一距离仍不在预设标定范围内，电子设备关闭眼动跟踪。

S79：处理器同时开启RGB相机和TOF相机，发送至终端界面。

当标定在预设标定范围时，处理器同时开启RGB相机和TOF相机，并当开启完成后，向终端界面发送显示指令，以使终端界面依照显示指令显示多个点。

RGB相机是一种利用多个可见光光线照射在物体表面，经物体表面反射形成RGB图像的相机模式。多个可见光光线至少包括绿光光线、红光光线和蓝光光线。由此可知，RGB相机相对于TOF相机，能够获取高分辨，不受反射光影响的RGB图像。可以理解的是，RGB相机，利用RGB流获取的RGB图像不具有反射光斑。

S710：终端界面依次显示N个标定点，并当标定点显示完成后，向处理器发送显示完成指令。

标定点又称为校准点、或校准目标。处理器预先存储标定点以及标定点在屏幕上的屏幕位置。标定点个数为N个，N≥1，且N为整数，比如N可以为1,3,5,9或13等。当N为多个时，预设多个标定点的显示顺序。处理器储多个标定点的显示顺序。

终端界面上依次显示标定点。示例性说明：参见图7C为终端界面上依次显示的5个标定点示意图。从(a)到(e)依次显示5个标定点⑤～①。具体依次显示方式为：当目标用户双眼注视的落点位置在(a)中标定点⑤时，终端界面显示(b)中标定点④。当目标用户双眼注视的落点位置在(b)中标定点④时，终端界面显示(c)中标定点③。当目标用户双眼注视的落点位置在(c)中标定点③时，终端界面显示(d)中标定点②。当目标用户双眼注视的落点位置在(d)中标定点②时，终端界面显示(e)中标定点①。

如上图所述，当目标用户双眼注视的落点位置依次落在预先存储的标定点位置时，终端界面便可以根据当前目标用户的眼动信息和标定点的屏幕位置，校准当前目标用户的眼动映射关系。

落点屏幕位置为双眼注视的落点在电子设备的屏幕上的屏幕位置。

对于不同目标用户，人眼形状、大小和结构不同，当目标用户双眼注视在落点在同一位置时，不同目标用户的眼睛转动存在差别。也即，不同目标用户的目标用户的眼睛转动引起的注视点变化与目标偏移量之间的映射关系也存在差别。当利用A的眼动映射关系，对B进行眼动跟踪，会导致眼动跟踪精度低。因此，利用校准后的对应关系进行眼动跟踪，可以提高眼动跟踪精度。

S711：处理器保存时间戳对齐的RGB图像和IR图像，以及RGB图像对应的第一特征向量和IR图像对应的第二特征向量，完成标定过程。

第一特征向量用于表示RGB图像下目标用户的眼动映射关系。RGB图像为RGB相机模式下获取的人眼图像。电子设备将RGB图像输入第一预设AI模型，经第一预设AI模型处理，获取第一特征向量。

第一预设AI模型可以为基于方向梯度直方图(Histogram of OrientedGradient,HOG)特征提取模型，也可以为局部二值模式(Local Binary Pattern，LBP)特征提取模型等。本申请实施例不限定具体第一预设AI模型。

第二特征向量用于表示IR图下目标用户的眼动映射关系。IR图像为TOF相机模式下获取的人眼图像。电子设备将IR图像输入第二预设AI模型，经第二预设AI模型处理，获取第二特征向量。

第二预设AI模型可以为基于方向梯度直方图(Histogram of OrientedGradient,HOG)特征提取模型，也可以为局部二值模式(Local Binary Pattern，LBP)特征提取模型等。本申请实施例不限定具体第二预设AI模型。

由于同时开启RGB相机模式和TOF相机模式，因此，电子设备可以获取同一时刻的RGB图像和IR图像。电子设备保存连续多个同一时刻的RGB图像和IR图像，也即，电子设备保存连续时间戳对齐的RGB图像和IR图像。

电子设备将连续同一时刻的RGB图和IR图像输入对应的第一预设AI模型和第二预设AI模型，可以获取时间戳对齐的第一特征向量和第二特征向量。电子设备保存时间戳对齐的第一特征向量和第二特征向量。

电子设备完成标定过程。目标用户结合周围环境光，可以一次标定RGB相机和TOF相机的相机数据，因此能够提升目标用户体验。

参见图8，为本申请实施例提供的一种电子设备屏幕显示标定过程完成示意图。如图8所示，电子设备屏幕显示“标定完成”标识。此外，图8的电子设备的屏幕还可以显示“完成”和“立即体验”提示框，当目标用户点击“立即体验”提示框时，电子设备进行眼动跟踪体验过程。当目标用户点击“完成”提示框，电子设备进入眼动跟踪过程。

参见图9，为本申请实施例提供的一种眼动跟踪过程流程图。具体包括：

S91：处理器获取跟踪距离。

跟踪距离为眼动跟踪过程中，目标用户人眼到电子设备的屏幕距离。处理器进入眼动跟踪过程时，根据实时TOF深度图，可以直接获取跟踪距离。

处理器进入眼动跟踪过程可以为多种方式，比如：可以为标定完成后首次进入眼动跟踪过程，或者为眼动跟踪过程完成后的再次进入眼动跟踪过程。

S92：处理器判断跟踪距离是否小于第一预设阈值。若小于，执行S919，若不小于，执行S93。

第一预设阈值为电子设备的摄像头感知的最窄视野。第一预设阈值为小于预设标定范围最小值的值。示例性说明：当预设标定范围为30cm～50cm，摄像头感知的最窄视野一般为20cm，即第一预设阈值为30cm。

为保证眼动跟踪中有效性，处理器必须限定跟踪距离不小于第一预设阈值。这是因为当跟踪距离小于第一预设阈值时，目标用户不在摄像头的感知视野内，处理器无法获取目标用户的人眼图像，也无法进行眼动跟踪。

因此，当处理器确定第二距离小于第一预设阈值时，结束眼动跟踪。当处理器确定第二距离不小于第一预设阈值时，执行下一步眼动跟踪过程。

S93：处理器判断跟踪距离是否小于第二预设阈值。若小于，执行S94，若不小于，执行S916。

当跟踪距离过远时，在TOF相机下，由于红外光或近红外光的照射距离限制，导致在TOF相机下获取的IR图像分辨率低，或者无法获取IR图像。因此，处理器在跟踪距离过远时，利用TOF相机获取的IR图像进行眼动追踪，跟踪精度低，甚至无法实现跟踪。。

跟踪距离过远用于表示跟踪距离大于第二预设阈值。第二预设阈值为预设标定范围的最大值。比如，预设标定范围为30cm～50cm，第二预设阈值设定为50cm。第二距离大于50cm，表示第二距离过远。

当跟踪距离不大于第二预设阈值时，在RGB相机下，由于目标用户眼睛的瞳孔发射可见光光线，导致处理器利用RGB图像进行眼动跟踪的跟踪精度低于利用IR图像进行眼动跟踪。

因此，处理器需要判断跟踪距离与第二预设阈值的关系。当跟踪距离过远时，处理器触发相机从TOF相机切换到RGB相机，否则电子设备启动TOF相机。如此，进一步提高处理器进行眼动跟踪的跟踪精度高。

S94：处理器启动TOF相机。

当跟踪距离大于等于第一预设阈值，且跟踪距离小于等于第二预设阈值时，处理器启动TOF相机。

S95：TOF相机获取待处理IR图像，发送至处理器。

TOF相机根据TOF流，获取待处理IR图像。待处理IR图像为包括目标用户的第一双眼信息和第一人脸信息的图像。

TOF流由依照时间顺序排列的多个图像帧组成。每个图像帧由开始帧(也称为TX_ON帧)减去结束帧(也称为TX_OFF帧)确定。TOF相机根据连续的多个图像帧，得到待处理IR图像。

可选地，TOF相机针对相邻两个图像帧，基于像素作差提取图像中双眼区域，获取待处理IR图像。可选地，TOF相机针对多个图像帧，还可以采用连续差分法，获取待处理IR图像。连续差分法是指分别将当前帧图像和前一帧图像、下一帧图像和当前帧图像基于像素作差，得到两幅差分图像。根据两幅差分图像，得到待处理IR图像。其中待处理IR图像包括两幅差分图像中相同的眼睛区域和人脸区域。

本申请实施例还可以通过其他方式获取待处理IR图像，这里不做说明。

S96：处理器判断目标用户是否佩戴眼镜。若是，执行S97，若否，执行S99。

当标用户佩戴眼镜，由于眼镜镜片发射红外光线，导致获取的待处理IR图像存在反射光斑。参见图10，为本申请实施例提供的一种带有反射光斑的待处理IR图像。图10中，反射光斑1001位于人眼区域，遮挡了眼睛。这使得待处理IR图像不含有眼睛的眼动信息，导致电子设备无法实现眼动跟踪。

处理器可以通过以下方式判断目标用户是否佩戴眼睛：

将待处理IR图像输入人脸属性算法，通过人脸属性算法处理，判断目标用户是否佩戴眼镜。可选地，人脸属性算法可以为基于局部Gabor二值模式的人脸属性算法，或基于AdaBoost算法等。

当处理器确定目标用户未佩戴眼镜时，直接利用待处理IR图像进行眼动跟踪。当处理器确定目标用户佩戴眼镜时，进一步判断反射光斑是否位于目标用户人眼区域。

S97：处理器提取待处理IR图像的多个人脸关键点，并获取人眼区域。

人脸关键点用于定位出待处理IR图向中目标用户的人眼区域。人脸关键点至少包括2个眼睛中心。

可选地，人脸关键点的个数可以为5个、28个、或128个等。根据人脸关键点可以定位出人眼区域。

处理器可以通过多种方式提取待处理IR图像的人脸关键点，比如深度对准网络(Deep Alignment Network，DNA)提取待处理IR图像的人脸关键点，或多任务卷积神经网络(Multi-task Cascaded Convolutional Networks，MTCNN)提取待处理IR图像的人脸关键点等。本申请对提取人脸关键点的方式不做限定。

S98：处理器反射光斑区域是否在人眼区域。若是，执行S911，如否，执行S99。

电子设备确定反射光斑区域是否在人眼区域。如果反射光斑区域在人眼区域，反射光斑遮挡目标用户眼睛，影响眼动跟踪的准确度。此时电子设备从TOF相机模式切换到RGB相机模式，避免反射光斑导致眼动跟踪的跟踪精度低的问题。如果反射光斑区域不在人眼区域，即反射光斑区域对眼动跟踪不产生影响，电子设备继续在TOF相机模式进行眼动跟踪。

本申请实施例中反射光斑区域在人眼区域，包括反射光斑区域部分在人眼区域内，或反射光斑区域全部在人眼区域两种情况中一种。

S99：处理器提取待处理IR图像的第一双眼信息和第一人脸信息。

第一双眼信息包括目标用户的左眼IR图像和右眼IR图像等。第一人脸信息用于提供头部姿态信息，包括人脸IR图像和人脸位置等。

处理器对待处理IR图像进行裁剪，得到第一双眼信息和第一人脸信息。参见图11，为本申请实施例提供的一种获取注视点位置的方法示意图。(a)为待处理IR图像，通过裁剪，得到(b)、(c)、(d)和(e)。(b)为右眼IR图，(c)为左眼IR图，(d)为人脸IR图，(e)为人脸位置。

为了避免噪声等影响，处理器可以在对待处理IR图像进行裁剪之前，对待处理IR图像进行预处理。具体包括：对待处理IR图像去噪，以减少待处理IR图像在拍摄或传送过程中产生的造成；对待处理IR图像进行平滑滤波，以平滑非边缘区域和保护图像边缘。

S910：处理器根据第一双眼信息和第一人脸信息，得到注视点位置。

处理器根据第一双眼信息和第一人脸信息，得到注视点位置。

在一种可选的方式中，处理器将第一双眼信息中的左眼IR图像和右眼IR图像，第一人脸信息中的人脸IR图像和人脸位置，输入IR眼动AI模型，通过IR眼动AI模型处理，得到注视点位置。

示例性说明：仍以图11为例。将裁剪结果(b)、(c)、(d)和(e)，输入IR眼动AI模型。通过眼动AI模型处理，电子设备可以得到注视点位置。

IR眼动AI模型可以为非干扰式的眼动AI模型，比如瞳孔角膜反射法式的眼动AI模型，也可以为干扰式的眼动AI模型，本申请不进行限定。

S911：处理器将相机从TOF相机切换到RGB相机。

S912：RGB相机获取第一RGB图像，发送至处理器。

第一RGB图像为RGB相机下获取的第一分辨率的图像，且第一RGB图像包括目标用户的第二双眼信息和第二人脸信息。第一分辨大于待处理IR图像的分辨率。

第二双眼信息包括目标用户的左眼RGB图像和右眼RGB图像等。第二人脸信息用于提供头部姿态信息，包括人脸RGB图像和人脸位置等。

电子设备采用RGB相机获取第一RGB图像，相对于采用TOF相获取待处理IR图像，第一子RGB图像中不包括反射光斑。因此，采用第一RGB图像进行眼动跟踪，获取的注视点位置精度更高。

S913：处理器提取第一RGB图像的第二双眼信息和第二人脸信息。

电子设备对第一RGB图像进行裁剪，得到第二双眼信息和第二人脸信息。参见图12，为本申请实施例提供的一种获取注视点位置的方法示意图。(a)为待处理RGB图像，通过裁剪，得到(b)、(c)、(d)和(e)。(b)为右眼IR图，(c)为左眼IR图，(d)为人脸IR图，(e)为人脸位置。其中，待处理RGB图像不含有反射光斑。

为了避免噪声等影响，电子设备可以在对第一RGB图像进行裁剪之前，对第一RGB图像进行预处理。具体包括：对第一RGB图像去噪，以减少第一RGB图像在拍摄或传送过程中产生的造成；对第一RGB图像进行平滑滤波，以平滑非边缘区域和保护图像边缘。

S914：处理器根据第二双眼信息和第二人脸信息，得到注视点位置。

处理器根据第二双眼信息和第二人脸信息，得到注视点位置。

在一种可选的方式中，处理器将第二双眼信息中的左眼RGB图像和右眼RGB图像，第一人脸信息中的人脸RGB图像和人脸位置，输入RGB图像眼动AI模型，通过RGB图像眼动AI模型处理，得到注视点位置。

示例性说明：仍以图12为例，将(b)、(c)、(d)和(e)输入RGB图像眼动AI模型，通过RGB图像眼动AI模型处理，得到注视点位置。

RGB眼动AI模型可以为非干扰式的眼动AI模型，比如瞳孔角膜反射法式的眼动AI模型，也可以为干扰式的眼动AI模型，本申请不进行限定。

S915：处理器将相机从TOF相机到RGB相机。

当跟踪距离大于或等于第二预设阈值时，处理器将相机从TOF相机切换到RGB相机。

S916：RGB相机获取第二RGB图像，并发送至处理器。

第二RGB图像为在RGB相机获得的第二分辨率的图像，且第二RGB图像包括目标用户的第三双眼信息和第三人脸信息。

第二分辨率大于第一分辨率。如此，利用高分辨率的第二RGB图像进行眼动跟踪，眼动跟踪精度更高。可选地，第二分辨率可以为1080P，第一分辨率为640*680。

S917：处理器提取第二RGB图像的第三双眼信息和第三人脸信息。

第三双眼信息包括目标用户的左眼RGB图像和右眼RGB图像等。第三人脸信息用于提供头部姿态信息，包括人脸RGB图像和人脸位置等。

处理器对第二RGB图像进行裁剪，得到第三双眼信息和第三人脸信息。具体裁剪方式与得到第二双眼信息和第二人脸信息相同，这里不再赘述。

S918：处理器根据第三双眼信息和第三人脸信息，得到注视点位置。

处理器根据第三双眼信息和第三人脸信息，得到注视点位置。

在一种可选的方式中，处理器将第三双眼信息中的左眼RGB图像和右眼RGB图像，第三人脸信息中的人脸RGB图像和人脸位置，输入RGB眼动AI模型，通过RGB眼动AI模型处理，生成一个二维坐标，即为注视点位置。

RGB眼动AI模型与步骤S914相同，这里不做论述。

S919：处理器结束跟踪过程。

处理器可以通过多种方式结束跟踪过程。比如，关闭眼动跟踪装置结束跟踪过程，或获取注视点位置后，电子设备屏幕显示“结束跟踪”提示框，目标用户点击“结束跟踪”，结束跟踪过程等。关闭眼动跟踪装置可以通过点击眼动跟踪装置的“关闭”标识，关闭眼动跟踪装置，结束跟踪过程，或预设眨眼次数，当获取注视点位置后，目标用户眨眼预设眨眼次数，触发眼动跟踪装置自动关闭结束跟踪等实现。

本申请实施例提供的一种眼动跟踪的方法，首先进行标定，再进行跟踪。跟踪过程充分考虑目标用户人眼到电子设备的屏幕距离、是否佩戴眼睛以及反射光斑是否对人眼有遮挡等条件。当目标用户人眼到电子设备的屏幕距离过远时，电子设备切换到RGB相机下，获取高分辨率的第二RGB图像，利用高分辨的第二子RGB图像进行眼动跟踪。当目标用户人眼到电子设备的屏幕距离在第一预设阈值和第二预设阈值之间时，先利用TOF相机获取IR图像，确定目标用户是否佩戴眼睛，以及反射光斑是否遮挡人眼区域。然后电子设备利用反射光斑是否遮挡人眼区域，进行相机的切换，当反射光斑遮挡人眼区域，电子设备切换到RGB相机，获取RGB图进行眼动跟踪，当反射光斑未遮挡人眼区域，或目标用户未佩戴眼镜，直接利用IR图像进行眼动跟踪。如此，在进行眼动跟踪时，解决了仅采用TOF相机，目标用户佩戴眼睛反光严重，造成眼动跟踪效果差，以及目标用户人眼距离电子设备的屏幕较远时，眼动跟踪无法正常工作的技术问题，且克服了仅采用RGB相机代替TOF相机，在正常环境下由于瞳孔反射可见光线，会影响眼动跟踪精度的问题，提高了各种极端场景下眼动跟踪的精度。

此外，本申请实施例，结合深度信息，动态调节RGB图像的分辨率，能够有效提升目标用户使用距离和使用体验。在进行标定时，结合周围环境光信息，目标用户依次即可标定RGB和TOF双相机标定数据，进一步提升了目标用户的体验。

图13是本发明实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图13所示，应用程序包可以包括相机眼动跟踪等应用程序。

第一相机用于获取包括目标用户的第一双眼信息和第一人脸信息的待处理红外IR图像。第二相机用于获取包括目标用户的第二双眼信息和第二人脸信息的第一RGB图像。

在另一种可选地方式中，第二相机还用于获取包括目标用户的第三双眼信息和第三人脸信息的第二RGB图像

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图13所示，应用程序框架层可以包括眼动跟踪方法、人脸属性算法、眼动AI模型等。

眼动跟踪方法可以为：获取包括目标用户的第一双眼信息和第一人脸信息的待处理红外IR图像；确定待处理IR图像中的反射光斑的位置；当反射光斑位于目标用户的人眼区域时，获取第一RGB图像，并根据第一RGB图像中目标用户的第二双眼信息和第二人脸信息，得到注视点位置；当反射光斑未处于目标用户的人眼区域时，根据待处理IR图像中目标用户的第一双眼信息和第一人脸信息，得到注视点位置。

人脸属性算法用于判断IR图像中目标用户是否佩戴眼镜。

眼动AI模型用户处理目标图像，比如待处理IR图像、第一RGB图像和第二RGB图像等，获取注视点位置。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面1管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种电子设备，其特征在于，包括：第一相机、第二相机和处理器；

所述第一相机，用于获取包括目标用户的第一双眼信息和第一人脸信息的待处理红外IR图像；

所述第二相机，用于获取包括所述目标用户的第二双眼信息和第二人脸信息的第一RGB图像；

所述处理器，用于确定所述待处理IR图像中的反射光斑的位置；当所述反射光斑位于所述目标用户的人眼区域时，控制所述第二相机获取所述第一RGB图像；并根据所述第一RGB图像中所述目标用户的所述第二双眼信息和第二人脸信息，得到注视点位置；当所述反射光斑未处于所述目标用户的所述人眼区域时，根据所述待处理IR图像中所述目标用户的所述第一双眼信息和所述第一人脸信息，得到注视点位置。

2.根据权利要求1所述设备，其特征在于，所述处理器还用于：

根据所述待处理IR图像，确定所述目标用户的眼镜佩戴状态；

当所述眼镜佩戴状态为佩戴眼镜时，对所述待处理IR图像进行二值化处理，获取二值化IR图像；并根据所述二值化IR图像，确定所述反射光斑的位置。

3.根据权利要求2所述设备，其特征在于，所述处理器还用于：

当所述眼镜佩戴状态为未佩戴眼镜时，根据所述待处理IR图像中所述目标用户的所述第一双眼信息和所述第一人脸信息，得到注视点位置。

4.根据权利要求1所述设备，其特征在于，所述处理器具体用于：

当跟踪距离大于或等于第一预设阈值时，且小于或等于第二预设阈值时，控制所述第一相机获取所述待处理IR图像；所述跟踪距离为所述目标用户的人眼与电子设备的屏幕之间的距离。

5.根据权利要求4所述设备，其特征在于，所述处理器还用于：

当所述跟踪距离大于所述第二预设阈值时，控制所述第二相机获取第二RGB图像，所述第二RGB图像的第二分辨率大于所述第一RGB图像的第一分辨率；

所述处理器还用于根据所述第二RGB图像中所述目标用户的第三双眼信息和第三人脸信息，得到所述注视点位置。

6.根据权利要求1-5任一项所述设备，其特征在于，所述处理器还用于：

根据环境光的当前光强，确定环境光的光照状态；所述光照状态包括正常光状态和非正常光状态；所述正常光状态为获取第一清晰度的图像时的光照状态，所述非正常光状态为获取第二清晰度的图像时的光照状态，所述第一清晰度大于所述第二清晰度；

当所述环境光的光照状态为所述正常光状态时，开启所述第一相机和所述第二相机，标定眼动映射关系；所述眼动映射关系为所述目标用户的眼睛转动图像对应的特征向量与注视点之间的映射关系；所述眼睛转动图像包括所述待处理IR图像、所述第一RGB图像和/或第二RGB图像。

7.根据权利要求6所述设备，其特征在于，所述处理器还用于：

当所述环境光的光照状态为所述非正常光状态时，提示所述目标用户对所述环境光进行调整；

当确定调整后的所述环境光的光照状态为所述正常光状态时，同时开启所述第一相机和所述第二相机，标定所述眼动映射关系。

8.根据权利要求6-7任一项所述设备，其特征在于，所述处理器还用于：

当标定距离在预设标定范围时，同时开启所述第一相机和所述第二相机，标定所述眼动映射关系；所述标定距离为标定时所述目标用户的人眼到所述电子设备的屏幕距离。

9.根据权利要求6-8任一项所述设备，其特征在于，所述处理器还用于：

同时开启所述第一相机和所述第二相机，依次在所述电子设备的屏幕上显示至少一个标定点；

保存时间戳对齐的RGB图像和IR图像，以及所述RGB图像对应的第一特征向量和所述IR图像对应的第二特征向量，完成标定过程；

所述RGB图像由所述第二相机模式获取；所述IR图像由所述第一相机模式获取；所述第一特征向量用于表示所述RGB图像下所述目标用户的眼动映射关系；所述第二特征向量用户表示所述IR图像下所述目标用户的眼动映射关系。

10.根据权利要求1-9任一项所述设备，其特征在于，当所述第一相机为飞行时间TOF相机时，所述第二相机为RGB相机。

11.一种眼动跟踪的方法，其特征在于，所述方法包括：

获取包括所述目标用户的第一双眼信息和第一人脸信息的待处理红外IR图像；

确定所述待处理IR图像中的反射光斑的位置；

当所述反射光斑位于所述目标用户的人眼区域时，获取第一RGB图像，并根据所述第一RGB图像中所述目标用户的第二双眼信息和第二人脸信息，得到注视点位置；

当所述反射光斑未处于所述目标用户的所述人眼区域时，根据所述待处理IR图像中所述目标用户的所述第一双眼信息和所述第一人脸信息，得到注视点位置。

12.根据权利要求11所述方法，其特征在于，所述确定所述待处理IR图像中的反射光斑的位置，包括：

13.根据权利要求12所述方法，其特征在于，所述方法还包括：

14.根据权利要求11所述方法，其特征在于，所述获取包括所述目标用户的双眼信息和人脸信息的待处理红外IR图像，包括：

当跟踪距离大于或等于第一预设阈值时，且小于或等于第二预设阈值时，获取所述待处理IR图像；所述跟踪距离为所述目标用户的人眼与电子设备的屏幕之间的距离。

15.根据权利要求14所述方法，其特征在于，所述方法还包括：

当所述跟踪距离大于所述第二预设阈值时，获取第二RGB图像，所述第二所述第二RGB图像的第二分辨率大于所述第一RGB图像的第一分辨率；

根据所述第二RGB图像中所述目标用户的双眼信息和人脸信息，得到所述注视点位置。

16.根据权利要求11-15任一项所述方法，其特征在于，所述方法还包括：

当所述环境光的光照状态为所述正常光状态时，开启所述第一相机和所述第二相机，标定眼动映射关系；所述眼动映射关系为所述目标用户的眼睛转动图像对应的特征向量与注视点之间的映射关系；所述眼睛转动图像包括所述待处理IR图像、所述第一RGB图像和/或第二RGB图像；；所述第一相机用于产生所述待处理IR图像；所述第二相机用于产生所述第一RGB和/或第二RGB图像。

17.根据权利要求16所述方法，其特征在于，所述方法还包括：

18.根据权利要求16-17任一项所述方法，其特征在于，所述同时开启所述第一相机和所述第二相机，标定所述眼动映射关系，包括：

19.根据权利要求16-18任一项所述方法，其特征在于，所述同时开启所述第一相机和所述第二相机，标定所述眼动映射关系，包括：

20.根据权利要求16-19任一项所述方法，其特征在于，当所述第一相机为飞行时间TOF相机时，所述第二相机为RGB相机。