CN110568930B - 注视点校准方法及相关设备 - Google Patents

注视点校准方法及相关设备 Download PDF

Info

Publication number
CN110568930B
CN110568930B CN201910854983.8A CN201910854983A CN110568930B CN 110568930 B CN110568930 B CN 110568930B CN 201910854983 A CN201910854983 A CN 201910854983A CN 110568930 B CN110568930 B CN 110568930B
Authority
CN
China
Prior art keywords
point
gaze
determining
calibration
determination parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910854983.8A
Other languages
English (en)
Other versions
CN110568930A (zh
Inventor
刘崇伟
陈岩
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910854983.8A priority Critical patent/CN110568930B/zh
Publication of CN110568930A publication Critical patent/CN110568930A/zh
Application granted granted Critical
Publication of CN110568930B publication Critical patent/CN110568930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种注视点校准方法及相关设备，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述方法包括：在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点；若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点，采用本申请实施例可提高注视点函数的准确度。

Description

注视点校准方法及相关设备
技术领域
本申请涉及电子技术领域，尤其涉及一种注视点校准方法及相关设备。
背景技术
眼球追踪是一种机器视觉技术，用户在首次使用眼球追踪相关设备时，需要对注视点进行校正。而在校准过程中，需要认真注视注视点，以及头部没有明显移动，才能确保采集到的校准数据的有效性。现有技术中，通常在采集到校准数据之后，就根据校准数据去进行注视点函数校准，而没有考虑该校准数据是否准确，从而校准得到的注视点函数并不准确。
发明内容
本申请实施例提供一种注视点校准方法及相关设备，用于提高注视点函数的准确度。
第一方面，本申请实施例提供一种注视点校准方法，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述方法包括：
在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；
解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；
基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点；
若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点。
第二方面，本申请实施例提供一种注视点校准装置，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述装置包括：
数据采集单元，用于在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；
数据解析单元，用于解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；
确定单元，用于基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点；若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点。第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，电子设备，在显示屏上显示标定点，以及通过摄像模组拍摄用户注视标定点的注视数据；解析注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；基于标定数据、初始注视点、第一亮斑、第一视线特征向量和当前头部姿态确定第一注视点；若第一注视点与标定点的距离函数值小于或等于第一阈值，则确定第一注视点为有效注视点，电子设备通过将第一注视点与标定点的距离函数值与第一阈值比较，去判断采集到的注视点是否为有效注视点，只有第一注视点为有效注视点时，才将第一注视点用于后续的注视点函数校准，从而提高注视点函数的准确度。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备硬件的结构示意图；
图1B是本申请实施例提供的一种注视点校准方法的软件架构图；
图2A是本申请实施例提供的一种注视点校准方法的流程示意图；
图2B为本申请实施例提供的一种注视数据解析的过程示意图；
图3是本申请实施例提供的一种注视点校准方法的流程示意图；
图4是本申请实施例提供的一种电子设备的结构示意图；
图5是本申请实施例提供的一种注视点校准装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
如图1A所示，图1A是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像模组和传感器等等。其中，存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模组、传感器、IR与处理器连接，收发器与信号处理器连接。
其中，显示屏可以是液晶显示器(Liquid Crystal Display，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode，OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode，AMOLED)等。
其中，该摄像模组可以包括普通摄像头、也可以包括红外摄像头，在此不作限定。该摄像头可以是前置摄像头或后置摄像头，在此不作限定。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外光(Infrared lightsource，IR)传感器、指纹传感器、压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
其中，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，IR传感器用于暗亮交替地照射人眼，在人眼上产生亮斑(glint)，摄像模组用于拍摄人眼，得到亮瞳和暗瞳隔帧交替出现的注视视频序列。
如图1B所示，图1B是本申请实施例提供的一种注视点校准方法的软件架构图。该软件架构图包括四层，其中，第一层包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。第二层为眼球追踪服务(OEyeTrackerService)，包括眼球追踪授权(OEyeTrackerAuthentication)、眼球追踪策略(OEyeTrackerStrategy)、眼球追踪算法(OEyeTrackerAlgo)和眼球追踪参数(OEyeTrackerParams)等，第二层的OEyeTrackerService通过眼球追踪SDK(OEyeTrackerSDK)接口与第一层的应用连接起来；第二层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService)，CameraNDKInterface与OEyeTrackerService连接，CameraService与CameraNDKInterface相互连接。第三层包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HALInterface)、Cam X、Chi-cdk等，Google HAL Interface与第二层的CameraService连接，Qualcomm HAL Interface与Google HAL Interface连接，Cam X分别与Qualcomm HALInterface和Chi-cdk连接，第四层包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IR sensor)、激光(Laser)和发光二极管(LED)等，IR sensor与第三层的Cam X连接。OEyeTrackerService与OEyeTrackerSDK之间的连接、CameraService与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService之间的连接均通过Binder架构。
其中，OEyeTrackerSDK负责为普通应用提供获取注视点以及输入的api，形式为jar/aar包。OEyeTrackerService负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。EyeTrackerAlgo是眼球追踪的核心算法，包括本申请中的确定注视点函数的算法。OEyeTrackerStrategy与算法后处理相关，如滤波、注视点跳动、注视点转监听、注视点输入。OEyeTrackerAuthentication回调各模块，负责鉴权请求者是否被允许。OEyeTrackerParam负责解析配置和热更新配置。
如图2A所示，图2A是本申请实施例提供的一种注视点校准方法的流程示意图，应用于如图1A和图1B所示的电子设备，所述电子设备包括显示屏和摄像模组，所述方法包括：
步骤201：在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据。
进一步地，在所述显示屏上显示标定点之前，所述方法还包括：获取标定数据，所述标定数据包括以下至少一种：所述标定点、标定亮斑、标定头部姿态。
其中，所述标定数据为标定过程中得到的实际数据，用于和计算过程中得到的计算数据作比较。
步骤202：解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态。
其中，所述注视数据可以是图像、视频、录像，也可以是其他数据，在此不作限定。
在本申请的一实现方式中，所述注视数据包括亮瞳和暗瞳隔帧交替出现的注视视频序列；所述解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态，包括：
解析所述注视视频序列，得到多帧亮瞳图像与多帧暗瞳图像；
将所述多帧亮瞳图像与所述多帧暗瞳图像相减，得到差分图像；
基于所述差分图像确定瞳孔和第一亮斑，以及基于所述差分图像确定当前头部姿态；
基于所述瞳孔和所述第一亮斑确定第一视线特征向量。
举例说明，如图2B所示，图2B为本申请实施例提供的一种注视数据解析的过程示意图。首先，将注视视频序列解析，得到多帧亮瞳图像与多帧暗瞳图像；然后，将多帧亮瞳图像与多帧暗瞳图像相减，得到差分图像；通过人脸识别识别出人脸所在区域，以及确定人脸所在区域的中心点，将该中心点作为当前头部姿态；接着，对差分图像滤波，得到眼部图像，从眼部图像中确定瞳孔区域，然后检测瞳孔区域的边缘并在眼部图像附近基于灰度搜索眼膜反射，质心定位求解角膜反射中心，也就是第一亮斑；最后对瞳孔边缘做滤波，消除第一亮斑对瞳孔边缘轮廓的影响，椭圆拟合定位瞳孔中心，那么瞳孔中心和第一亮斑中心形成的向量即第一视线特征向量。
步骤203：基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点。
其中，初始注视点是人为预先设置的注视点，可以是显示屏上的任意一个点，在本实施例的一种实现方式中，初始注视点设置为显示屏的中心。
步骤204：若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点。
其中，所述距离函数值可以是欧拉距离函数值，也可以是其他函数值，在此不做限定。
假定标定点为(xb，yb)，第一注视点为(xs’，ys’)，则欧拉距离函数值为：D＝((xb-xs’)2+(yb-ys’)2)1/2，所述D为欧拉函数值。
其中，第一阈值例如可以为2mm、4mm、6mm、8mm，或是其他值，在此不作限定。
可以看出，在本申请实施例中，电子设备，在显示屏上显示标定点，以及通过摄像模组拍摄用户注视标定点的注视数据；解析注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；基于标定数据、初始注视点、第一亮斑、第一视线特征向量和当前头部姿态确定第一注视点；若第一注视点与标定点的距离函数值小于或等于第一阈值，则确定第一注视点为有效注视点，电子设备通过将第一注视点与标定点的距离函数值与第一阈值比较，去判断采集到的注视点是否为有效注视点，只有第一注视点为有效注视点时，才将第一注视点用于后续的注视点函数校准，从而提高注视点函数的准确度。
在本申请的一实现方式中，所述方法还包括：
若所述第一注视点与所述标定点的距离函数值大于所述第一阈值，则将所述第一注视点设置为所述初始注视点，以及执行所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点的步骤。
可以看出，在本申请实施例中，在第一注视点与标定点的距离函数值大于第一阈值时，将第一注视点设置为初始注视点，再次执行上述步骤，通过迭代的方法，不断逼近，找到有效的注视点，不用重新获取新的注视数据以及解析新的注视数据，去确认新的注视点是不是有效注视点，提高了有效注视点的确定速度。
在本申请的一实现方式中，所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点，包括：
基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量；
基于所述第二视线特征向量和注视点确定参数确定第一注视点。
在本申请的一实现方式中，所述标定数据包括所述标定点、标定头部姿态和标定亮斑；所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量，包括：
确定所述标定头部姿态与所述初始注视点之间的第一距离；
确定所述当前头部姿态与所述初始注视点之间的第二距离；
基于所述第一距离和所述第二距离确定第一视线特征确定参数；
基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数；
基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量。
进一步地，所述初始注视点为S(xs，ys，zs)，所述标定头部姿态为O1(x1，y1，z1)，所述第一距离为d1＝((z1-zs)2+(x1-xs)2+(y1-ys)2)1/2。
进一步地，所述当前头部姿态为O2(x2，y2，z2)，所述第二距离为d2＝((z2-zs)2+(x2-xs)2+(y2-ys)2)1/2。
进一步地，所述基于所述第一距离和所述第二距离确定第一视线特征确定，包括：基于第一公式、所述第一距离和所述第二距离确定第一视线特征确定参数，所述第一公式为T1＝d2/d1，其中所述T1为所述第一视线特征确定参数，所述d1为所述第一距离，所述d2为所述第二距离。
进一步地，所述第二视线特征确定参数包括第三视线特征确定参数和第四视线特征确定参数，所述基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数，包括：基于第二公式、所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定所述第三视线特征确定参数；以及基于第三公式、所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定所述第四视线特征确定参数；
其中，所述第二公式为：T3＝[(zs-z1)*xg1+(xs-x1)*f]/[(zs-z2)*xg2+(xs-x2)*f]，所述T3为所述第三视线特征确定参数，所述f为所述摄像模组的焦距；
其中，所述第三公式为：T4＝[(zs-z1)*yg1+(ys-y1)*f]/[(zs-z2)*yg2+(ys-y2)*f]，所述T4为所述第四视线特征确定参数，所述(xg1，yg1)为所述标定亮斑，所述(xg2，yg2)为所述第一亮斑。
进一步地，所述基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量，包括：
基于第四公式、所述第一视线特征确定参数、所述第三视线特征确定参数、所述第四视线特征确定参数、所述标定头部姿态、所述当前头部姿态和所述第一视线特征向量确定第二视线特征向量，所述第四公式为：
vx’＝T1*T3*(z2/z1)*vx；
vy’＝T1*T4*(z2/z1)*vy；
其中，所述(vx，vy)为所述第一视线特征向量，所述(vx’，vy’)为所述第二视线特征向量。
进一步地，基于所述第二视线特征向量和注视点确定参数确定第一注视点，包括：
xs’＝a0+a1*vx’+a2*vy’+a3*vx’2+a4*vy’2+a5*vx’*vy’，
ys’＝b0+b1*vx’+b2*vy’+b3*vx’2+b4*vy’2+b5*vx’*vy’；
其中，所述(xs’，ys’)为所述第一注视点，所述(vx’，vy’)为所述第二视线特征向量，所述a0、a1、a2、a3、a4、a5和b0、b1、b2、b3、b4、b5为所述注视点确定参数。
可以看出，在本申请实施例中，提供了一种第一注视点的具体实现方式，通过该具体事项方式，标定过程与校准过程能够相互校验，从而提高注视点函数的准确性。
在本申请的一实现方式中，所述方法还包括：
基于所述第一视线特征向量确定所述注视点确定参数。
进一步地，所述基于所述第一视线特征向量确定所述注视点确定参数，包括：基于所述第一视线特征向量、第五公式和第六公式确定所述注视点确定参数，所述第五公式为ai＝αi*vx，bi＝βi*vy，其中，i＝0、1、2、3、4、5。
其中，αi和βi为大于0且小于1的实数，例如可以为0.1、0.2、0.3、0.4或是其他值，在此不作限定。
可以看出，在本申请实施例中，基于第一视线特征向量去确定注视点确定参数，从而使得注视点确定参数的初始值更为接近校准后的值，减少了迭代次数，提高了校准的速度。
在本申请的一实现方式中，所述确定所述第一注视点为有效注视点之后，所述方法还包括：
基于所述有效注视点确定注视点函数，所述注视点函数用于确定眼球追踪中的注视点。
进一步，所述有效注视点的个数为N，所述注视点函数的未知数个数为M，所述N大于或等于M/2。
进一步，所述注视点函数为：
xs’＝a0+a1*vx’+a2*vy’+a3*vx’2+a4*vy’2+a5*vx’*vy’，
ys’＝b0+b1*vx’+b2*vy’+b3*vx’2+b4*vy’2+b5*vx’*vy’；
则所述有效注视点的个数N大于或等于6。
进一步地，所述基于所述有效注视点确定注视点函数，所述注视点函数用于确定眼球追踪中的注视点，包括：
基于所述有效注视点和最小二乘法确定注视点确定参数；
基于所述注视点确定参数确定注视点函数。
可以看出，在本申请实施例中，将得到的有效注视点用于校准注视点函数，反过来又提高了注视点函数的准确性，注视点校验和注视点函数校，两者相互校验，同时提高了两者的准确性。
与所述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种注视点校准方法的流程示意图，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述方法包括：
步骤301：获取标定数据，所述标定数据包括标定点、标定头部姿态和标定亮斑。
步骤302：在所述显示屏上显示所述标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据，所述注视数据包括亮瞳和暗瞳隔帧交替出现的注视视频序列。
步骤303：解析所述注视视频序列，得到多帧亮瞳图像与多帧暗瞳图像。
步骤304：将所述多帧亮瞳图像与所述多帧暗瞳图像相减，得到差分图像。
步骤305：基于所述差分图像确定瞳孔和第一亮斑，以及基于所述差分图像确定当前头部姿态。
步骤306：基于所述瞳孔和所述第一亮斑确定第一视线特征向量。
步骤307：确定所述标定头部姿态与所述初始注视点之间的第一距离。
步骤308：确定所述当前头部姿态与所述初始注视点之间的第二距离。
步骤309：基于所述第一距离和所述第二距离确定第一视线特征确定参数。
步骤310：基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数。
步骤311：基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量。
步骤312：基于所述第一视线特征向量确定注视点确定参数。
步骤313：基于所述第二视线特征向量和所述注视点确定参数确定第一注视点。
步骤314：确定所述第一注视点与所述标定点的距离函数值是否小于或等于第一阈值。
若是，则执行步骤315；
若否，则执行步骤317；
步骤315：:确定所述第一注视点为有效注视点。
步骤316：基于所述有效注视点确定注视点函数，所述注视点函数用于确定眼球追踪中的注视点。
步骤317：将所述第一注视点设置为所述初始注视点，然后执行步骤310。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
与上述图2A和图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，该电子设备包括存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；
解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；
基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点；
若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点。
在本申请的一实现方式中，上述程序包括还用于执行以下步骤的指令：
若所述第一注视点与所述标定点的距离函数值大于所述第一阈值，则将所述第一注视点设置为所述初始注视点，以及执行所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点的步骤。
在本申请的一实现方式中，在基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点方面，上述程序包括具体用于执行以下步骤的指令：
基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量；
基于所述第二视线特征向量和注视点确定参数确定第一注视点。
在本申请的一实现方式中，所述标定数据包括所述标定点、标定头部姿态和标定亮斑；在基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量方面，上述程序包括具体用于执行以下步骤的指令：
确定所述标定头部姿态与所述初始注视点之间的第一距离；
确定所述当前头部姿态与所述初始注视点之间的第二距离；
基于所述第一距离和所述第二距离确定第一视线特征确定参数；
基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数；
基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量。
在本申请的一实现方式中，所述注视数据包括亮瞳和暗瞳隔帧交替出现的注视视频序列；在解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态方面，上述程序包括具体用于执行以下步骤的指令：
解析所述注视视频序列，得到多帧亮瞳图像与多帧暗瞳图像；
将所述多帧亮瞳图像与所述多帧暗瞳图像相减，得到差分图像；
基于所述差分图像确定瞳孔和第一亮斑，以及基于所述差分图像确定当前头部姿态；
基于所述瞳孔和所述第一亮斑确定第一视线特征向量。
在本申请的一实现方式中，上述程序包括还用于执行以下步骤的指令：
基于所述第一视线特征向量确定所述注视点确定参数。
在本申请的一实现方式中，所述确定所述第一注视点为有效注视点之后，，上述程序包括还用于执行以下步骤的指令：
基于所述有效注视点确定注视点函数，所述注视点函数用于确定眼球追踪中的注视点。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面为本申请装置实施例，本申请装置实施例用于执行本申请方法实施例所实现的方法。请参阅图5，图5是本申请实施例提供的一种注视点校准装置的结构示意图，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述装置包括：
数据采集单元501，用于在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；
数据解析单元502，用于解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；
确定单元503，用于基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点；若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点。
在本申请的一实现方式中，所述装置还包括设置单元504，用于若所述第一注视点与所述标定点的距离函数值大于所述第一阈值，则将所述第一注视点设置为所述初始注视点，以及执行所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点的步骤。
在本申请的一实现方式中，在基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点方面，所述确定单元503，具体用于：
基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量；
基于所述第二视线特征向量和注视点确定参数确定第一注视点。
在本申请的一实现方式中，所述标定数据包括所述标定点、标定头部姿态和标定亮斑；在基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量方面，所述确定单元503，具体用于：
确定所述标定头部姿态与所述初始注视点之间的第一距离；
确定所述当前头部姿态与所述初始注视点之间的第二距离；
基于所述第一距离和所述第二距离确定第一视线特征确定参数；
基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数；
基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量。
在本申请的一实现方式中，所述注视数据包括亮瞳和暗瞳隔帧交替出现的注视视频序列；在解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态方面，所述数据解析单元502，具体用于：
解析所述注视视频序列，得到多帧亮瞳图像与多帧暗瞳图像；
将所述多帧亮瞳图像与所述多帧暗瞳图像相减，得到差分图像；
基于所述差分图像确定瞳孔和第一亮斑，以及基于所述差分图像确定当前头部姿态；
基于所述瞳孔和所述第一亮斑确定第一视线特征向量。
在本申请的一实现方式中，所述确定单元503，还用于基于所述第一视线特征向量确定所述注视点确定参数。
在本申请的一实现方式中，在确定所述第一注视点为有效注视点之后，所述确定单元503，还用于基于所述有效注视点确定注视点函数，所述注视点函数用于确定眼球追踪中的注视点。
需要说明的是，数据采集单元501、数据解析单元502、确定单元503和设置单元504可通过处理器实现。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种注视点校准方法，其特征在于，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述方法包括：
在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；
解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；
基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量；基于所述第二视线特征向量和注视点确定参数确定第一注视点；
若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点；
所述标定数据包括标定头部姿态和标定亮斑；所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量，包括：确定所述标定头部姿态与所述初始注视点之间的第一距离，所述初始注视点为S(xs，ys，zs)，所述标定头部姿态为O1(x1，y1，z1)，所述第一距离为d1＝[(z1-zs)2+(x1-xs)2+(y1-ys)2]1/2；确定所述当前头部姿态与所述初始注视点之间的第二距离，所述当前头部姿态为O2(x2，y2，z2)，所述第二距离为d2＝[(z2-zs)2+(x2-xs)2+(y2-ys)2]1/2；基于所述第一距离和所述第二距离确定第一视线特征确定参数，所述第一视线特征确定参数为T1＝d2/d1；基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数；基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量；
所述第二视线特征确定参数包括第三视线特征确定参数和第四视线特征确定参数，所述第三视线特征确定参数为T3＝[(zs-z1)*xg1+(xs-x1)*f]/[(zs-z2)*xg2+(xs-x2)*f]，所述f为所述摄像模组的焦距，所述第四视线特征确定参数为T4＝[(zs-z1)*yg1+(ys-y1)*f]/[(zs-z2)*yg2+(ys-y2)*f]，(xg1，yg1)为所述标定亮斑，(xg2，yg2)为所述第一亮斑；所述第二视线特征向量(vx’，vy’)中vx’＝T1*T3*(z2/z1)*vx，vy’＝T1*T4*(z2/z1)*vy，(vx，vy)为所述第一视线特征向量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述第一注视点与所述标定点的距离函数值大于所述第一阈值，则将所述第一注视点设置为所述初始注视点，以及执行所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量和所述当前头部姿态确定第一注视点的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述注视数据包括亮瞳和暗瞳隔帧交替出现的注视视频序列；所述解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态，包括：
解析所述注视视频序列，得到多帧亮瞳图像与多帧暗瞳图像；
将所述多帧亮瞳图像与所述多帧暗瞳图像相减，得到差分图像；
基于所述差分图像确定瞳孔和第一亮斑，以及基于所述差分图像确定当前头部姿态；
基于所述瞳孔和所述第一亮斑确定第一视线特征向量。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
基于所述第一视线特征向量确定所述注视点确定参数。
5.根据权利要求1或2所述的方法，其特征在于，所述确定所述第一注视点为有效注视点之后，所述方法还包括：
基于所述有效注视点确定注视点函数，所述注视点函数用于确定眼球追踪中的注视点。
6.一种注视点校准装置，其特征在于，应用于电子设备，所述电子设备包括显示屏和摄像模组，所述装置包括：
数据采集单元，用于在所述显示屏上显示标定点，以及通过所述摄像模组拍摄用户注视所述标定点的注视数据；
数据解析单元，用于解析所述注视数据，得到第一亮斑、第一视线特征向量和当前头部姿态；
确定单元，用于基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量；基于所述第二视线特征向量和注视点确定参数确定第一注视点；若所述第一注视点与所述标定点的距离函数值小于或等于第一阈值，则确定所述第一注视点为有效注视点；
所述标定数据包括标定头部姿态和标定亮斑；所述确定单元，在所述基于标定数据、初始注视点、所述第一亮斑、所述第一视线特征向量、所述当前头部姿态和所述摄像模组的焦距确定第二视线特征向量方面，具体用于：确定所述标定头部姿态与所述初始注视点之间的第一距离，所述初始注视点为S(xs，ys，zs)，所述标定头部姿态为O1(x1，y1，z1)，所述第一距离为d1＝[(z1-zs)2+(x1-xs)2+(y1-ys)2]1/2；确定所述当前头部姿态与所述初始注视点之间的第二距离，所述当前头部姿态为O2(x2，y2，z2)，所述第二距离为d2＝[(z2-zs)2+(x2-xs)2+(y2-ys)2]1/2；基于所述第一距离和所述第二距离确定第一视线特征确定参数，所述第一视线特征确定参数为T1＝d2/d1；基于所述标定亮斑、所述第一亮斑、所述摄像模组的焦距、所述当前头部姿态、所述标定头部姿态和所述初始注视点确定第二视线特征确定参数；基于所述第一视线特征确定参数、所述第二视线特征确定参数和所述第一视线特征向量确定第二视线特征向量；
所述第二视线特征确定参数包括第三视线特征确定参数和第四视线特征确定参数，所述第三视线特征确定参数为T3＝[(zs-z1)*xg1+(xs-x1)*f]/[(zs-z2)*xg2+(xs-x2)*f]，所述f为所述摄像模组的焦距，所述第四视线特征确定参数为T4＝[(zs-z1)*yg1+(ys-y1)*f]/[(zs-z2)*yg2+(ys-y2)*f]，(xg1，yg1)为所述标定亮斑，(xg2，yg2)为所述第一亮斑；所述第二视线特征向量(vx’，vy’)中vx’＝T1*T3*(z2/z1)*vx，vy’＝T1*T4*(z2/z1)*vy，(vx，vy)为所述第一视线特征向量。
7.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至5任意一项所述的方法。
CN201910854983.8A 2019-09-10 2019-09-10 注视点校准方法及相关设备 Active CN110568930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910854983.8A CN110568930B (zh) 2019-09-10 2019-09-10 注视点校准方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910854983.8A CN110568930B (zh) 2019-09-10 2019-09-10 注视点校准方法及相关设备

Publications (2)

Publication Number Publication Date
CN110568930A CN110568930A (zh) 2019-12-13
CN110568930B true CN110568930B (zh) 2022-05-17

Family

ID=68779097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910854983.8A Active CN110568930B (zh) 2019-09-10 2019-09-10 注视点校准方法及相关设备

Country Status (1)

Country Link
CN (1) CN110568930B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459271B (zh) * 2020-03-27 2024-03-08 Oppo广东移动通信有限公司 注视偏移误差确定方法及装置
CN111399658B (zh) * 2020-04-24 2022-03-15 Oppo广东移动通信有限公司 眼球注视点的校准方法、装置、电子设备及存储介质
CN113283402B (zh) * 2021-07-21 2021-11-05 北京科技大学 一种差分式二维注视点检测方法及装置
CN116052235B (zh) * 2022-05-31 2023-10-20 荣耀终端有限公司 注视点估计方法及电子设备
CN116704589B (zh) * 2022-12-01 2024-06-11 荣耀终端有限公司 一种注视点估计方法、电子设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872237A (zh) * 2009-04-23 2010-10-27 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106066696A (zh) * 2016-06-08 2016-11-02 华南理工大学 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN109766007A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 一种显示设备的注视点补偿方法及补偿装置、显示设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872237A (zh) * 2009-04-23 2010-10-27 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN106066696A (zh) * 2016-06-08 2016-11-02 华南理工大学 自然光下基于投影映射校正和注视点补偿的视线跟踪方法
CN107193383A (zh) * 2017-06-13 2017-09-22 华南师范大学 一种基于人脸朝向约束的二级视线追踪方法
CN109766007A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 一种显示设备的注视点补偿方法及补偿装置、显示设备

Also Published As

Publication number Publication date
CN110568930A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110568930B (zh) 注视点校准方法及相关设备
KR102296396B1 (ko) 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
KR102329765B1 (ko) 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
US20180285544A1 (en) Method for adaptive authentication and electronic device supporting the same
JP2019194888A (ja) 情報処理装置、情報処理方法及びプログラム
US11612314B2 (en) Electronic device and method for determining degree of conjunctival hyperemia by using same
KR20190038594A (ko) 얼굴 인식-기반 인증
US11119573B2 (en) Pupil modulation as a cognitive control signal
KR20180052002A (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
KR20180138300A (ko) 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치
CN112748798B (zh) 一种眼球追踪校准方法及相关设备
CN111445413B (zh) 图像处理方法、装置、电子设备及存储介质
CN111552389A (zh) 注视点抖动消除方法、装置及存储介质
KR20180023555A (ko) 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법
US10180717B2 (en) Information processing device, information processing method, and program
US20210378509A1 (en) Pupil assessment using modulated on-axis illumination
US11144755B2 (en) Support glint for remote eye tracking
KR101585083B1 (ko) 시니어를 위한 스마트 기기 기반 공간 정보 중심 클라우드 시스템 및 이를 이용하여 콘텐츠를 제공하기 위한 방법
US11941172B2 (en) Training an eye tracking model
CN112748797B (zh) 一种眼球追踪方法及相关设备
US12093451B2 (en) Display calibration
CN111767829B (zh) 一种活体检测方法、装置、系统及存储介质
JP2023554630A (ja) 血管調査によるバイオメトリクス認証
CN113311937A (zh) 眼球追踪的校准方法及相关装置
US20230309824A1 (en) Accommodation tracking based on retinal-imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant