CN112748797B - 一种眼球追踪方法及相关设备 - Google Patents

一种眼球追踪方法及相关设备 Download PDF

Info

Publication number
CN112748797B
CN112748797B CN201911050893.XA CN201911050893A CN112748797B CN 112748797 B CN112748797 B CN 112748797B CN 201911050893 A CN201911050893 A CN 201911050893A CN 112748797 B CN112748797 B CN 112748797B
Authority
CN
China
Prior art keywords
eye image
resolution
eye
eyeball tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911050893.XA
Other languages
English (en)
Other versions
CN112748797A (zh
Inventor
王文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911050893.XA priority Critical patent/CN112748797B/zh
Publication of CN112748797A publication Critical patent/CN112748797A/zh
Application granted granted Critical
Publication of CN112748797B publication Critical patent/CN112748797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种眼球追踪方法及相关设备，应用于电子设备，所述方法包括：获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。实施本申请的实施例，通过SRGAN的超分辨率技术将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。

Description

一种眼球追踪方法及相关设备
技术领域
本申请涉及电子技术领域，尤其涉及一种眼球追踪方法及相关设备。
背景技术
眼球追踪是一种机器视觉技术，通过设备捕捉用户眼部图像，然后采用算法进行分析，最后得到用户注视位置的技术。
然而，眼球追踪主要应用于医疗行业和AR、VR眼镜等方面，而应用于移动终端上非常少。其中，阻碍眼球追踪在移动终端上应用的一个很重要原因是由于随着距离的增加，移动终端摄像头采集的眼睛像素减少，导致眼球追踪识别精度降低。
发明内容
本申请实施例提供一种眼球追踪方法及相关设备，通过SRGAN超分辨率技术将低分辨率的眼睛图像进行超分率重建处理，得到高分辨率的眼睛图像，从而提升眼球追踪准确度和精确度。
第一方面，本申请实施例提供一种眼球追踪方法，应用于电子设备，所述方法包括：
获取第一眼睛图像；
当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；
根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。
第二方面，本申请实施例提供一种眼球追踪装置，应用于电子设备，所述装置包括：
获取单元，用于获取第一眼睛图像；
处理单元，当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；
运行单元，用于根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。
第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，首先获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；然后根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。因此，将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备硬件的结构示意图；
图2是本申请实施例提供的一种眼球追踪方法的软件架构图；
图3是本申请实施例提供的一种眼球追踪方法的流程示意图；
图4是本申请实施例提供的另一种眼球追踪方法的流程示意图；
图5是本申请实施例提供的一种眼球追踪方法的人机交互图；
图6是本申请实施例提供的一种电子设备的结构示意图；
图7是本申请实施例提供的一种眼球追踪装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本说明书中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本说明书所描述的实施例可以与其它实施例相结合。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或通信连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
请参阅图1，图1是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像头、传感器和红外光(Infrared light source，IR)等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像头、传感器、IR与处理器连接，收发器与信号处理器连接。
其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。
其中，该摄像头可以是普通摄像头、也可以是红外摄像，在此不作限定。该摄像头可以是前置摄像头或后置摄像头，在此不作限定。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
其中，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，IR用于照射眼睛，在眼睛上产生亮斑(glint)，摄像头用于拍摄眼睛，得到包括亮斑和瞳孔(pupil)的图像。
请参阅图2，图2是本申请实施例提供的一种眼球追踪方法的软件架构图。
该软件架构图包括以下四层：
第一层为眼球追踪应用，包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。其中，OEyeTrackerSDK是为应用提供的SDK接口，负责为普通应用提供获取注视点以及输入的api，形式为jar/aar包。
第二层为眼球追踪服务(OEyeTrackerService)，包括眼球追踪授权(OEyeTrackerAuthentication)、眼球追踪策略(OEyeTrackerStrategy)、眼球追踪核心算法(OEyeTrackerAlgo)、眼球追踪参数(OEyeTrackerParams)和眼球分辨率提升算法(OEyeSRAlgo)等。其中，第二层的眼球追踪服务(OEyeTrackerService)通过眼球追踪应用SDK(OEyeTrackerSDK)接口与第一层的应用连接起来；第二层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService)，并且二者相互连接；同时，相机NDK界面(CameraNDKInterface)与眼球追踪服务(OEyeTrackerService)连接。
其中，眼球追踪核心算法(OEyeTrackerAlgo)包含两部分：一部分是标定算法，另一部分是估计注视点算法。
其中，眼球追踪策略(OEyeTrackerStrategy)与算法后处理相关，如滤波、注视点跳动、注视点转监听、注视点输入等。
其中，眼球追踪授权(OEyeTrackerAuthentication)是鉴权换成输入动作，回调各模块，负责鉴权请求者是否被允许。
其中，眼球追踪参数(OEyeTrackerParams)是参数配置模块，负责解析配置和热更新配置。
其中，眼球分辨率提升算法(OEyeSRAlgo)是眼球追踪框架中提升眼睛分辨率的算法模块，可以将低分辨率的眼睛图像提升，进而从中识别出瞳孔的位置和方向。
第三层包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HALInterface)、Cam X、Chi-cdk等，Google HAL Interface与第二层的CameraService连接，Qualcomm HAL Interface与Google HAL Interface连接，Cam X分别与Qualcomm HALInterface和Chi-cdk连接。
第四层包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IRsensor)、激光(Laser)和发光二极管(LED)等，IR sensor与第三层的Cam X连接。OEyeTrackerService与OEyeTrackerSDK之间的连接、CameraService与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService之间的连接均通过Binder架构。
请参阅图3，图3是本申请实施例提供的一种眼球追踪方法的流程示意图。如图3所示，所述眼球追踪方法应用于电子设备，包括如图1所示的电子设备；其还可应用于如图2所示的软件架构。其中，所述眼球追踪方法包括：
S301、电子设备获取第一眼睛图像。
其中，所述电子设备包括摄像头，所述获取第一眼睛图像，包括：当检测到眼球追踪应用程序请求启动时，或者当检测到所述眼球追踪应用程序请求启用预设功能时，或者当检测到所述眼球追踪应用程序请求获取眼球注视位置信息时，启动所述眼球追踪服务；根据所述眼球追踪服务通过所述摄像头获取所述第一眼睛图像。
其中，可以理解的是，眼球追踪应用程序包括电子书、浏览器、启动器、系统、解锁、移动支付。以电子书为例来说明，在电子书可以通过眼球追踪来进行翻页，当所述电子书请求启动时；或者当所述电子书请求启动眼球追踪翻页功能时；或者所述电子书已经开启眼球追踪翻页功能，请求获取眼球注视位置信息时，开启所述电子设备上的所述眼球追踪服务，所述眼球追踪服务通过开启所述摄像头拍摄获得所述第一眼睛图像。
S302、当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，所述电子设备将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率。
其中，所述图像超分辨率重建模型由第一模型和第二模型组成，所述第一模型和所述第二模型采用不同分辨率阶段的眼睛图像训练得到，所述将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，包括：判断所述第一眼睛图像的分辨率是否大于第二预设分辨率阈值；若所述第一眼睛图像的分辨率大于第二预设分辨率阈值，则将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像；若所述第一眼睛图像的分辨率不大于第二预设分辨率阈值，则将所述第一眼睛图像输入第二模型中以得到所述第二眼睛图像。
举例来说明，电子设备获取到的第一眼睛图像的分辨率可能为176×220、120×160,128×128、128×144、128×160、162×216、208×208、208×320、220×220、240×320、240×400、320×240、352×416、640×480、800×600、1024×768、1600×1200，可以设置所述第一预设分辨率阈值为800×600，以及设置所述第二预设分辨率阈值为208×208。当获取到的第一眼睛图像的分辨率大于800×600时，说明可以直接用于眼球追踪；当获取到的第一眼睛图像的分辨率不大于800×600时，说明需要提升分辨率。进一步地，当获取到的第一眼睛图像的分辨率大于208×208时，将所述第一眼睛图像输入第一模型中，得到高分辨率的第二眼睛图像；当获取到的第一眼睛图像的分辨率不大于208×208时，则将所述第一眼睛图像输入第二模型中，得到高分辨率的第二眼睛图像。其中，所述第一模型是采用分辨率大于208×208的眼睛图像训练得到的，所述第二模型是采用分辨率不大于208×208的眼睛图像训练得到的。
其中，所述第一模型包括第一特征提取网络、第一生成网络和第一判别网络，所述第一生成网络包括第一残差网络层和第一上采样层，所述将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像，包括：将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层；将所述第一特征层输入所述第一残差网络层以得到第二特征层；将所述第二特征层输入所述第一上采样层进行上采样，并对上采样后的第二特征层进行特征提取，获得第三眼睛图像；将所述第三眼睛图像输入所述第一特征提取网络以得到所述第三眼睛图像的第三特征层；将所述第一特征层和所述第三特征层输入所述第一判别网络进行比对；当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率大于二分之一时，将所述第三眼睛图像作为所述第二眼睛图像输出；当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率不大于二分之一时，返回执行将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层的步骤。
其中，可以理解的是，所述第二模型包括第二特征提取网络、第二生成网络和第二判别网络，所述第二生成网络包括第二残差网络层和第二上采样层，所述将所述第二眼睛图像输入第二模型中以得到所述第二眼睛图像，包括：将所述第二眼睛图像输入所述第二特征提取网络以得到第二特征层；将所述第二特征层输入所述第二残差网络层以得到第二特征层；将所述第二特征层输入所述第二上采样层进行上采样，并对上采样后的第二特征层进行特征提取，获得第三眼睛图像；将所述第三眼睛图像输入所述第二特征提取网络以得到所述第三眼睛图像的第三特征层；将所述第二特征层和所述第三特征层输入所述第二判别网络进行比对；当比对结果为所述第二特征层和所述第三特征层为相同特征层的概率大于二分之一时，将所述第三眼睛图像作为所述第二眼睛图像输出；当比对结果为所述第二特征层和所述第三特征层为相同特征层的概率不大于二分之一时，返回执行将所述第二眼睛图像输入所述第二特征提取网络以得到第二特征层的步骤。
其中，在将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像之前，所述方法还包括：获取多张高分辨率的眼睛图像；对所述多张高分辨率的眼睛图像进行预处理以得到对应的多张低分辨率的眼睛图像；将所述多张低分辨率的眼睛图像中分辨率大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第一数据集中，以及将所述多张低分辨率的眼睛图像中分辨率不大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第二数据集中；将所述多张高分辨率的眼睛图像划分到其对应的低分辨率的眼睛图像所在的数据集中，得到第一训练集和第二训练集。分别根据所述第一训练集和所述第二训练集采用SRGAN网络进行训练以得到所述第一模型和所述第二模型；将所述第一模型和所述第二模型组合，得到所述图像超分辨率重建模型。
举例来说明，假设设置所述第一预设分辨率阈值为800×600，也即分辨率大于800×600属于高分辨率，以及设置所述第二预设分辨率阈值为208×208。可以获取多张分辨率大于800×600的高分辨率眼睛图像，通过分辨率修改软件将所述多张分辨率大于800×600的高分辨率眼睛图像转化成低分辨率的眼睛图像。其中，可以将同一张高分辨率的眼睛图像A分别转化成分辨率大于208×208且小于800×600的眼睛图像A1，和分辨率不大于208×208的低分辨率眼睛图像A2；将A1和A组成一个训练集用于采用SRGAN网络训练所述第一模型；将A2和A组成一个训练集用于采用SRGAN网络训练所述第二模型。采用同样的方法，对所述多张高分辨率的眼睛图像分别转化成不同分辨率阶段的低分辨率的眼睛图像，再分辨与对应的高分辨率眼睛图像组成训练集用于训练所述第一模型和第二模型。
S303、所述电子设备根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。
其中，所述根据所述第二眼睛图像运行眼球追踪服务以完成预设功能，包括：根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据；将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序；根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能。
可以看出，本申请实施例提供的眼球追踪方法，首先获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；然后根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。因此，将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。
在一个可能的实施例中，所述电子设备包括红外灯，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序之前，所述方法还包括：根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛，所述红外灯用于在所述拍摄目标的眼睛上产生亮斑；通过所述摄像头拍摄包括亮斑的所述拍摄目标的眼睛，得到N张第四眼睛图像；根据所述N张第四眼睛图像得到N组校准坐标，所述N组校准坐标数据与所述N张第四眼睛图像一一对应，每组校准坐标数据包括瞳孔坐标和亮斑坐标；根据所述N组校准坐标数据得到N个校准向量，所述N个校准向量与所述N组校准坐标数据一一对应，每个校准向量由对应的瞳孔坐标和亮斑坐标确定；根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
其中，根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准包括：将所述N个校准向量与M个基准向量进行比对，计算每个校准向量与每个基准向量的相似度值，将所有的相似度值进行累计；当相似度值累计值达到预设累计阈值时，根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
其中，所述M个基准向量的获取步骤包括：在眼球追踪初始校准时，根据所述眼球追踪服务开启所述红外灯照射校准用户的眼睛产生亮斑，通过所述摄像头拍摄所述校准用户包括亮斑的眼睛，得到M张第五眼睛图像；根据所述M张第五眼睛图像得到M组基准坐标，所述M组基准坐标数据与所述M张第五眼睛图像一一对应，每组基准坐标数据包括基准瞳孔坐标和基准亮斑坐标；根据所述M组基准坐标数据得到M个基准校准向量。
可见，本示例中，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序之前，获取多张第四眼睛图像，根据所述第四眼睛图像得到校准向量，采用校准向量对所述第二眼睛图像的眼球追踪数据进行校准，从而有利于进一步提高眼球追踪的准确度和精确度。
在一个可能的实施例中，所述电子设备包括传感器，所述方法还包括：当获取所述第一眼睛图像时，采用所述传感器确定所述电子设备与拍摄目标的眼睛的距离；根据所述距离确定所述第一眼睛图像的分辨率是否小于第一预设分辨率阈值。
可见，本示例中，通过传感器检测电子设备与拍摄目标的眼睛的距离，从而获知摄像头获取的第一眼睛图像的分辨率是否小于第一预设分辨率阈值，进而能够快速确定是否需要提升摄像头获取的第一眼睛图像的分辨率。
请参阅图4，图4是本申请实施例提供的另一种眼球追踪方法的流程示意图。如图4所示，所述眼球追踪方法应用于电子设备，包括如图1所示的电子设备；其还可应用于如图2所示的软件架构。其中，所述电子设备包括眼球追踪应用、眼球追踪服务、相机、摄像头，所述眼球追踪方法包括：
S401、所述眼球追踪应用启动时，电子设备自动启动所述眼球追踪服务，所述眼球追踪应用向眼球追踪服务请求获取眼球注视位置信息。
S402、所述眼球追踪服务接收到所述获取眼球注视位置信息的请求，并向所述相机发送获取眼睛图像的请求。
S403、所述相机接收到来自眼球追踪服务的获取眼睛图像的请求之后，向所述摄像头发送采集眼睛图像的请求。
S404、所述摄像头采集眼睛图像，并将采集到的眼睛图像数据向所述相机发送。
S405、所述相机接收到所述摄像头发送的眼睛图像数据后，将所述眼睛图像数据向所述眼球追踪服务发送。
S406、所述眼球追踪服务包括眼球追踪核心算法模块和眼球分辨率提升算法模块，所述眼球追踪服务接收到眼睛图像数据之后，将获取的图像数据传输到眼球追踪核心算法模块处理，眼球追踪核心算法模块根据眼睛与电子设备的距离和眼睛在图像中的位置来判断是否需要眼球分辨率提升算法模块进行处理。
S407、当眼睛图像分辨率较低时，将所述眼睛图像数据传输到眼球分辨率提升算法模块进行处理后再发送至眼球追踪应用。
可以看出，本申请实施例提供的眼球追踪方法，首先眼球追踪应用需要请求获取眼球注视位置，电子设备自动启动眼球追踪服务去请求相机通过摄像头获取眼睛图像，眼球追踪服务的眼球追踪核心算法模块判断到眼睛分辨率较低时，采用眼球分辨率提升算法模块进行分辨率提升，将提升分辨率后的眼睛图像发送给眼球追踪应用。因此，将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。
与上述图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种眼球追踪方法的人机交互图。其中，图5中的硬件如图1所示，图5中的软件如图2所示。用户首先启动眼球追踪应用，在电子设备开启所述眼球追踪应用的同时，自动开启眼球追踪服务；所述眼球追踪服务启动眼球追踪核心算法模块，所述眼球追踪核心算法模块启动相机服务(Camera Service)和相机HAL(Camera HAL)；然后通过相应的硬件驱动相机驱动(IR&Camera Driver)调用相机中的摄像头拍摄该用户眼睛。摄像头将拍摄到的眼睛图像逐级上传到眼球追踪核心算法模块处理；当眼睛图像分辨率较低时，启动眼球分辨率提升算法模块，将所述眼睛图像给到眼球分辨率提升算法模块进行处理后，将分辨率低的眼睛图像转化为分辨率高的眼睛图像，再上传到眼球追踪应用；当眼睛图像分辨率较高时，直接上传到眼球追踪应用。
与上述图3、图4所示的实施例一致的，请参阅图6，图6是本申请实施例提供的一种电子设备的结构示意图。如图6所示，所述电子设备600包括应用处理器610、存储器620、通信接口630以及一个或多个程序621，其中，所述一个或多个程序621被存储在上述存储器620中，且被配置由上述应用处理器610执行，所述一个或多个程序621包括用于执行上述方法实施例中任一步骤的指令。
在一个可能的实例中，所述程序621中的指令用于执行以下操作：获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。
可以看出，在本申请实施例提供的电子设备，首先能够获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；然后根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。因此，将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。
在一个可能的示例中，所述电子设备包括摄像头，在获取第一眼睛图像方面，所述程序621还包括用于执行以下操作的指令：当检测到眼球追踪应用程序请求启动时，或者当检测到所述眼球追踪应用程序请求启用预设功能时，或者当检测到所述眼球追踪应用程序请求获取眼球注视位置信息时，启动所述眼球追踪服务；根据所述眼球追踪服务通过所述摄像头获取所述第一眼睛图像。
在一个可能的示例中，在根据所述第二眼睛图像运行眼球追踪服务以完成预设功能方面，所述程序621还包括用于执行以下操作的指令：根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据；将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序；根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能。
在一个可能的示例中，所述电子设备包括红外灯，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序方面，所述程序621还包括用于执行以下操作的指令：根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛，所述红外灯用于在所述拍摄目标的眼睛上产生亮斑；通过所述摄像头拍摄包括亮斑的所述拍摄目标的眼睛，得到N张第四眼睛图像；根据所述N张第四眼睛图像得到N组校准坐标，所述N组校准坐标数据与所述N张第四眼睛图像一一对应，每组校准坐标数据包括瞳孔坐标和亮斑坐标；根据所述N组校准坐标数据得到N个校准向量，所述N个校准向量与所述N组校准坐标数据一一对应，每个校准向量由对应的瞳孔坐标和亮斑坐标确定；根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
在一个可能的示例中，所述图像超分辨率重建模型由第一模型和第二模型组成，所述第一模型和所述第二模型采用不同分辨率阶段的眼睛图像训练得到，在将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像方面，所述程序621还包括用于执行以下操作的指令：判断所述第一眼睛图像的分辨率是否大于第二预设分辨率阈值；若所述第一眼睛图像的分辨率大于第二预设分辨率阈值，则将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像；若所述第一眼睛图像的分辨率不大于第二预设分辨率阈值，则将所述第一眼睛图像输入第二模型中以得到所述第二眼睛图像；
其中，所述第一模型包括第一特征提取网络、第一生成网络和第一判别网络，所述第一生成网络包括第一残差网络层和第一上采样层，所述将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像，包括：将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层；将所述第一特征层输入所述第一残差网络层以得到第二特征层；将所述第二特征层输入所述第一上采样层进行上采样，并对上采样后的第二特征层进行特征提取，获得第三眼睛图像；将所述第三眼睛图像输入所述第一特征提取网络以得到所述第三眼睛图像的第三特征层；将所述第一特征层和所述第三特征层输入所述第一判别网络进行比对；当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率大于二分之一时，将所述第三眼睛图像作为所述第二眼睛图像输出；当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率不大于二分之一时，返回执行将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层的步骤。
在一个可能的示例中，在将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像方面，所述程序621还包括用于执行以下操作的指令：获取多张高分辨率的眼睛图像；对所述多张高分辨率的眼睛图像进行预处理以得到对应的多张低分辨率的眼睛图像；将所述多张低分辨率的眼睛图像中分辨率大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第一数据集中，以及将所述多张低分辨率的眼睛图像中分辨率不大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第二数据集中；将所述多张高分辨率的眼睛图像划分到其对应的低分辨率的眼睛图像所在的数据集中，得到第一训练集和第二训练集。分别根据所述第一训练集和所述第二训练集采用SRGAN网络进行训练以得到所述第一模型和所述第二模型；将所述第一模型和所述第二模型组合，得到所述图像超分辨率重建模型。
在一个可能的示例中，所述电子设备包括传感器，所述程序621还包括用于执行以下操作的指令：当获取所述第一眼睛图像时，采用所述传感器确定所述电子设备与拍摄目标的眼睛的距离；根据所述距离确定所述第一眼睛图像的分辨率是否小于第一预设分辨率阈值。
其中，需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述各个步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图7是本申请实施例提供的一种眼球追踪装置的功能单元组成框图。该眼球追踪装置700应用于支持眼球跟踪控制的电子设备，所述装置包括：
获取单元701，用于获取第一眼睛图像；
处理单元702，用于当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；
运行单元703，用于根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。
可以看出，在本申请实施例提供的眼球追踪装置，首先能够获取第一眼睛图像；当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；然后根据所述第二眼睛图像运行眼球追踪服务以完成预设功能。因此，将低分辨率的眼睛图像转化成高分辨率的眼睛图像后，用于眼球追踪应用，从而提升眼球追踪准确度和精确度。
在一个可能的示例中，所述电子设备包括摄像头，在获取第一眼睛图像方面，所述获取单元701具体用于：当检测到眼球追踪应用程序请求启动时，或者当检测到所述眼球追踪应用程序请求启用预设功能时，或者当检测到所述眼球追踪应用程序请求获取眼球注视位置信息时，启动所述眼球追踪服务；根据所述眼球追踪服务通过所述摄像头获取所述第一眼睛图像。
在一个可能的示例中，在根据所述第二眼睛图像运行眼球追踪服务以完成预设功能方面，所述运行单元703具体用于：根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据；将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序；根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能。
在一个可能的示例中，所述电子设备包括红外灯，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序方面，所述电子设备还包括校准单元，用于：根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛，所述红外灯用于在所述拍摄目标的眼睛上产生亮斑；通过所述摄像头拍摄包括亮斑的所述拍摄目标的眼睛，得到N张第四眼睛图像；根据所述N张第四眼睛图像得到N组校准坐标，所述N组校准坐标数据与所述N张第四眼睛图像一一对应，每组校准坐标数据包括瞳孔坐标和亮斑坐标；根据所述N组校准坐标数据得到N个校准向量，所述N个校准向量与所述N组校准坐标数据一一对应，每个校准向量由对应的瞳孔坐标和亮斑坐标确定；根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
在一个可能的示例中，所述图像超分辨率重建模型由第一模型和第二模型组成，所述第一模型和所述第二模型采用不同分辨率阶段的眼睛图像训练得到，在将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像方面，所述处理单元702具体用于：判断所述第一眼睛图像的分辨率是否大于第二预设分辨率阈值；若所述第一眼睛图像的分辨率大于第二预设分辨率阈值，则将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像；若所述第一眼睛图像的分辨率不大于第二预设分辨率阈值，则将所述第一眼睛图像输入第二模型中以得到所述第二眼睛图像；
其中，所述第一模型包括第一特征提取网络、第一生成网络和第一判别网络，所述第一生成网络包括第一残差网络层和第一上采样层，所述将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像，包括：将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层；将所述第一特征层输入所述第一残差网络层以得到第二特征层；将所述第二特征层输入所述第一上采样层进行上采样，并对上采样后的第二特征层进行特征提取，获得第三眼睛图像；将所述第三眼睛图像输入所述第一特征提取网络以得到所述第三眼睛图像的第三特征层；将所述第一特征层和所述第三特征层输入所述第一判别网络进行比对；当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率大于二分之一时，将所述第三眼睛图像作为所述第二眼睛图像输出；当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率不大于二分之一时，返回执行将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层的步骤。
在一个可能的示例中，在将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像方面，所述电子设备还包括训练单元，用于：获取多张高分辨率的眼睛图像；对所述多张高分辨率的眼睛图像进行预处理以得到对应的多张低分辨率的眼睛图像；将所述多张低分辨率的眼睛图像中分辨率大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第一数据集中，以及将所述多张低分辨率的眼睛图像中分辨率不大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第二数据集中；将所述多张高分辨率的眼睛图像划分到其对应的低分辨率的眼睛图像所在的数据集中，得到第一训练集和第二训练集。分别根据所述第一训练集和所述第二训练集采用SRGAN网络进行训练以得到所述第一模型和所述第二模型；将所述第一模型和所述第二模型组合，得到所述图像超分辨率重建模型。
在一个可能的示例中，所述电子设备包括传感器，所述获取单元701还用于：当获取所述第一眼睛图像时，采用所述传感器确定所述电子设备与拍摄目标的眼睛的距离；根据所述距离确定所述第一眼睛图像的分辨率是否小于第一预设分辨率阈值。
可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种眼球追踪方法，其特征在于，应用于电子设备，所述方法包括：
获取第一眼睛图像；
当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；
根据所述第二眼睛图像运行眼球追踪服务以完成预设功能，包括：根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据，将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序，根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能；
所述电子设备包括红外灯，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序之前，所述方法还包括：
根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛，所述红外灯用于在所述拍摄目标的眼睛上产生亮斑；
通过摄像头拍摄包括亮斑的所述拍摄目标的眼睛，得到N张第四眼睛图像；
根据所述N张第四眼睛图像得到N组校准坐标，所述N组校准坐标数据与所述N张第四眼睛图像一一对应，每组校准坐标数据包括瞳孔坐标和亮斑坐标；
根据所述N组校准坐标数据得到N个校准向量，所述N个校准向量与所述N组校准坐标数据一一对应，每个校准向量由对应的瞳孔坐标和亮斑坐标确定；
根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
2.根据权利要求1所述的方法，其特征在于，所述电子设备包括摄像头，所述获取第一眼睛图像，包括：
当检测到眼球追踪应用程序请求启动时，或者当检测到所述眼球追踪应用程序请求启用预设功能时，或者当检测到所述眼球追踪应用程序请求获取眼球注视位置信息时，启动所述眼球追踪服务；
根据所述眼球追踪服务通过所述摄像头获取所述第一眼睛图像。
3.根据权利要求1所述的方法，其特征在于，所述图像超分辨率重建模型由第一模型和第二模型组成，所述第一模型和所述第二模型采用不同分辨率阶段的眼睛图像训练得到，所述将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，包括：
判断所述第一眼睛图像的分辨率是否大于第二预设分辨率阈值；
若所述第一眼睛图像的分辨率大于第二预设分辨率阈值，则将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像；
若所述第一眼睛图像的分辨率不大于第二预设分辨率阈值，则将所述第一眼睛图像输入第二模型中以得到所述第二眼睛图像；
其中，所述第一模型包括第一特征提取网络、第一生成网络和第一判别网络，所述第一生成网络包括第一残差网络层和第一上采样层，所述将所述第一眼睛图像输入第一模型中以得到所述第二眼睛图像，包括：
将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层；
将所述第一特征层输入所述第一残差网络层以得到第二特征层；
将所述第二特征层输入所述第一上采样层进行上采样，并对上采样后的第二特征层进行特征提取，获得第三眼睛图像；
将所述第三眼睛图像输入所述第一特征提取网络以得到所述第三眼睛图像的第三特征层；
将所述第一特征层和所述第三特征层输入所述第一判别网络进行比对；
当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率大于二分之一时，将所述第三眼睛图像作为所述第二眼睛图像输出；
当比对结果为所述第一特征层和所述第三特征层为相同特征层的概率不大于二分之一时，返回执行将所述第一眼睛图像输入所述第一特征提取网络以得到第一特征层的步骤。
4.根据权利要求3所述的方法，其特征在于，在将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像之前，所述方法还包括：
获取多张高分辨率的眼睛图像；
对所述多张高分辨率的眼睛图像进行预处理以得到对应的多张低分辨率的眼睛图像；
将所述多张低分辨率的眼睛图像中分辨率大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第一数据集中，以及将所述多张低分辨率的眼睛图像中分辨率不大于所述第二预设分辨率阈值的低分辨率的眼睛图像划分到第二数据集中；
将所述多张高分辨率的眼睛图像划分到其对应的低分辨率的眼睛图像所在的数据集中，得到第一训练集和第二训练集；
分别根据所述第一训练集和所述第二训练集采用SRGAN网络进行训练以得到所述第一模型和所述第二模型；
将所述第一模型和所述第二模型组合，得到所述图像超分辨率重建模型。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述电子设备包括传感器，所述方法还包括：
当获取所述第一眼睛图像时，采用所述传感器确定所述电子设备与拍摄目标的眼睛的距离；
根据所述距离确定所述第一眼睛图像的分辨率是否小于第一预设分辨率阈值。
6.一种眼球追踪装置，其特征在于，应用于电子设备，所述装置包括：
获取单元，用于获取第一眼睛图像；
处理单元，当所述第一眼睛图像的分辨率小于第一预设分辨率阈值时，将所述第一眼睛图像输入预先训练的图像超分辨率重建模型，得到第二眼睛图像，其中，所述第二眼睛图像的分辨率大于所述第一眼睛图像的分辨率；
运行单元，用于根据所述第二眼睛图像运行眼球追踪服务以完成预设功能；
所述运行单元，具体用于根据所述第二眼睛图像运行所述眼球追踪服务以得到所述第二眼睛图像的眼球追踪数据，将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序，根据所述第二眼睛图像的眼球追踪数据执行所述眼球追踪应用程序以完成所述预设功能；
所述电子设备包括红外灯，在将所述第二眼睛图像的眼球追踪数据发送至所述眼球追踪应用程序方面，所述电子设备还包括校准单元，用于：根据所述眼球追踪服务开启所述红外灯照射拍摄目标的眼睛，所述红外灯用于在所述拍摄目标的眼睛上产生亮斑；通过摄像头拍摄包括亮斑的所述拍摄目标的眼睛，得到N张第四眼睛图像；根据所述N张第四眼睛图像得到N组校准坐标，所述N组校准坐标数据与所述N张第四眼睛图像一一对应，每组校准坐标数据包括瞳孔坐标和亮斑坐标；根据所述N组校准坐标数据得到N个校准向量，所述N个校准向量与所述N组校准坐标数据一一对应，每个校准向量由对应的瞳孔坐标和亮斑坐标确定；根据所述N个校准向量对所述第二眼睛图像的眼球追踪数据进行校准。
7.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-5任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-5任一项所述的方法。
CN201911050893.XA 2019-10-31 2019-10-31 一种眼球追踪方法及相关设备 Active CN112748797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911050893.XA CN112748797B (zh) 2019-10-31 2019-10-31 一种眼球追踪方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911050893.XA CN112748797B (zh) 2019-10-31 2019-10-31 一种眼球追踪方法及相关设备

Publications (2)

Publication Number Publication Date
CN112748797A CN112748797A (zh) 2021-05-04
CN112748797B true CN112748797B (zh) 2022-08-09

Family

ID=75641253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050893.XA Active CN112748797B (zh) 2019-10-31 2019-10-31 一种眼球追踪方法及相关设备

Country Status (1)

Country Link
CN (1) CN112748797B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973391B (zh) * 2022-06-30 2023-03-21 北京万里红科技有限公司 应用于元宇宙的眼球跟踪方法、装置、设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722875B (zh) * 2012-05-29 2014-08-13 杭州电子科技大学 一种基于视觉注意和质量可变的图像超分辨率重建方法
EP3410347A1 (en) * 2017-05-22 2018-12-05 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN107944379B (zh) * 2017-11-20 2020-05-15 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法

Also Published As

Publication number Publication date
CN112748797A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN107909113B (zh) 交通事故图像处理方法、装置及存储介质
KR20180109109A (ko) 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
US20190080188A1 (en) Facial recognition method and related product
EP3584740B1 (en) Method for detecting biological feature data, biological feature recognition apparatus and electronic terminal
CN111225157B (zh) 追焦方法及相关设备
CN110568930B (zh) 注视点校准方法及相关设备
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
KR20180099026A (ko) 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN108156378B (zh) 拍照方法、移动终端及计算机可读存储介质
CN108763998B (zh) 条形码识别方法以及终端设备
CN111880640B (zh) 屏幕控制方法、装置、电子设备及存储介质
CN112748798B (zh) 一种眼球追踪校准方法及相关设备
EP3761627B1 (en) Image processing method and apparatus
WO2020036821A1 (en) Identification method and apparatus and computer-readable storage medium
CN111552389A (zh) 注视点抖动消除方法、装置及存储介质
CN111292504A (zh) 一种通过图像识别进行安全告警方法及系统
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
CN110881105B (zh) 一种拍摄方法及电子设备
CN112748797B (zh) 一种眼球追踪方法及相关设备
CN113395438B (zh) 眼球追踪技术的图像校正方法及相关装置
CN110933314B (zh) 追焦拍摄方法及相关产品
CN110930372A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN108960097B (zh) 一种获取人脸深度信息的方法及装置
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN115601316A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant