CN111290580A - 基于视线追踪的校准方法及相关装置 - Google Patents

基于视线追踪的校准方法及相关装置 Download PDF

Info

Publication number
CN111290580A
CN111290580A CN202010090975.3A CN202010090975A CN111290580A CN 111290580 A CN111290580 A CN 111290580A CN 202010090975 A CN202010090975 A CN 202010090975A CN 111290580 A CN111290580 A CN 111290580A
Authority
CN
China
Prior art keywords
calibration
data
calibration parameter
spatial
state data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010090975.3A
Other languages
English (en)
Other versions
CN111290580B (zh
Inventor
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010090975.3A priority Critical patent/CN111290580B/zh
Publication of CN111290580A publication Critical patent/CN111290580A/zh
Application granted granted Critical
Publication of CN111290580B publication Critical patent/CN111290580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种基于视线追踪的校准方法及相关装置，首先，通过在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；然后，通过所述惯性测量单元获取所述电子设备的空间状态数据；最后，基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。可以结合眼球追踪设备的空间状态数据来得到更准确的校准参数数据，极大地降低了用户头部和眼球追踪设备的位置关系发生变化导致的误差，大大提升了校准的适应性和鲁棒性。

Description

基于视线追踪的校准方法及相关装置
技术领域
本申请涉及眼球追踪领域，特别是一种基于视线追踪的校准方法及相关装置。
背景技术
随着人机交互的发展，眼球追踪技术也进步得越来越快，所谓眼球追踪，顾名思义就是追踪眼睛的运动。即通过图像处理技术，定位瞳孔位置，获取瞳孔中心坐标，并通过相关算法，计算出注视点的位置。
眼球追踪系统中，为了保证结果的准确，需要进行校准，目前常用的校准方法为在需要注视的屏幕上预先设置若干点，通过采集用户注视这些点时的眼部图像来进行校准，但该校准方法对用户头部和眼球追踪设备的位置距离需求十分严格，稍有差池即会导致不准确的追踪结果，适应性和鲁棒性较差。
发明内容
基于上述问题，本申请提出了一种基于视线追踪的校准方法，可以。
第一方面，本申请实施例提供了一种基于视线追踪的校准方法，应用于电子设备，所述电子设备包括惯性测量单元、摄像模组及显示屏，所述方法包括：
在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；
通过所述惯性测量单元获取所述电子设备的空间状态数据；
基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。
第二方面，本申请实施例提供了一种基于视线追踪的校准装置，所述装置包括惯性测量单元、摄像模组、显示屏和处理单元，其中，
所述处理单元，用于在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；
通过所述惯性测量单元获取所述电子设备的空间状态数据；
基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施上述申请实施例，可以得到以下有益效果：
上述基于视线追踪的校准方法及相关装置，首先，通过在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；然后，通过所述惯性测量单元获取所述电子设备的空间状态数据；最后，基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。可以结合眼球追踪设备的空间状态数据来得到更准确的校准参数数据，极大地降低了用户头部和眼球追踪设备的位置关系发生变化导致的误差，大大提升了校准的适应性和鲁棒性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种校准方法的应用场景图；
图2为本申请实施例提供的一种校准方法的系统架构图；
图3为本申请实施例提供的一种校准方法的流程示意图；
图4为本申请实施例提供的另一种校准方法的流程示意图；
图5为本申请实施例提供的一种校准装置的功能单元组成框图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
下面对本申请实施例进行详细介绍。
图1为本申请实施例提供的一种校准方法的应用场景图，如图所示，O1为眼球中心，P1为瞳孔中心，G1为亮斑中心，可以通过摄像头获取到眼部图像，O可以为摄像头的位置，通过小孔成像原理生成眼部图像，上述P1、G1在该眼部图像上反映为g1、p1，随着视线注视点的移动，p1、g1会形成不同的视线向量，每个向量对应一个唯一的视线注视点，可以通过获取眼部图像，然后根据眼部图像中的瞳孔中心和亮斑中心来确定视线向量，并根据预设的算法来确定上述视线向量对应的在屏幕上的视线注视点S。上述校准方法可以应用在上述视线追踪的场景中，在视线追踪时进行实时校准。
下面结合图2对本申请实施例中的校准方法的系统架构进行详细说明，图2为本申请实施例提供的一种校准方法的系统架构图，其中，
该软件架构图包括四层，第一层包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。第二层为眼球追踪服务模块，上述眼球追踪服务模块可以包括眼球追踪授权单元、眼球追踪策略单元、眼球追踪算法单元、眼球追踪参数单元和眼球校准单元等，上述第二层的眼球追踪服务模块通过眼球追踪软件工具包(Software DevelopmentKit，SDK)与第一层的相关应用连接起来；第二层还包括相机NDK(Native DevelopmentKit)界面、相机服务模块，相机NDK界面与上述眼球追踪服务模块连接，上述相机服务模块与上述相机NDK界面相互连接。第三层包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HAL Interface)、CameraX接口、Chi-cdk和ARCore平台等，上述谷歌HAL界面与第二层的上述相机服务模块连接，上述高通HAL界面与上述谷歌HAL界面连接，上述CameraX接口分别与上述高通HAL界面和Chi-cdk连接，上述ARCore平台分别与上述第二层的眼球追踪算法单元和眼球校准单元连接。第四层包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IR sensor)、激光(Laser)、发光二极管(LED)和惯性测量单元(Inertial measurement unit，IMU)等，上述IR sensor与第三层的CameraX接口连接，上述IMU单元与第三层的ARCore平台连接。其中，上述眼球追踪服务与上述眼球追踪SDK接口之间的连接、上述相机服务与上述相机NDK界面之间的连接均通过Binder架构，上述谷歌HAL界面与上述相机服务模块之间的连接通过hwBinder架构。
其中，上述眼球追踪SDK负责为普通应用提供获取注视点以及输入的API接口，形式为jar/aar包。上述眼球追踪服务模块负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。上述眼球追踪算法单元是眼球追踪的核心算法，在本申请中需要结合硬件层ARCore平台获取到的眼球追踪设备的空间状态数据进行眼球追踪。上述眼球追踪策略单元与算法后处理相关，如滤波、注视点跳动、注视点转监听、注视点输入。上述眼球追踪授权单元可以回调各模块，负责鉴权请求者是否被允许。上述眼球追踪参数单元负责解析配置和热更新配置。上述眼球校准单元可以将IMU单元采集到的眼球追踪设备的空间状态数据保存到校准数据库中，这些空间状态数据会在眼球追踪阶段进行调用。
通过上述系统架构，可以结合眼球追踪设备的空间状态数据来得到更准确的校准参数数据，极大地降低了用户头部和眼球追踪设备的位置关系发生变化导致的误差，大大提升了校准的适应性和鲁棒性。
下面结合图3对本申请实施例中的一种基于视线追踪的校准方法进行详细说明，图3为本申请实施例提供的一种,校准方法的流程示意图，应用于电子设备，上述电子设备包括惯性测量单元、摄像模组及显示屏，具体包括以下步骤：
步骤301，在显示屏上显示标定点，通过摄像模组获取目标用户注视所述标定点的眼部图像数据。
其中，当电子设备上的相关应用需要进行眼球追踪时，需要先进行校准，即在该电子设备的显示屏上显示标定点，在校准阶段可以调用电子设备上的摄像模组对目标用户的脸部进行拍摄，获取到上述目标用户注视该标定点的脸部图像，之后进行对上述脸部图像进行处理得到上述目标用户的眼部图像数据。其中，上述标定点可以出现在上述显示屏的任意位置，按照一次出现一个的方式进行显示，并可以以该方式重复多次直到校准完成；上述摄像模组可以为摄像头组成的阵列；上述相关应用可以包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用；上述眼部图像数据可以包括瞳孔中心点位置、亮斑中心点位置等，上述眼部图像数据可以作为视线追踪的校准需要用到的数据之一。
通过在显示屏上显示标定点，通过摄像模组获取目标用户注视所述标定点的眼部图像数据，可以获取到清晰的眼部图像数据，提升视线追踪中校准方法的准确性。
步骤302，通过惯性测量单元获取电子设备的空间状态数据。
其中，上述惯性测量单元(Inertial measurement unit，简称IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。上述IMU可以内置在上述电子设备中。
其中，上述惯性测量单元IMU可以采集上述电子设备的三轴角速度参数和加速度参数，上述电子设备中的相关处理单元可以基于上述三轴角速度参数和所述加速度参数确定上述空间状态数据，并保存至校准数据库，上述空间状态数据用于表示所述电子设备当前的空间位置和空间姿态，上述空间位置可以表示上述电子设备与目标用户的眼球的相对位置，上述空间姿态可以表示倾斜角度等。需要说明的是，上述三轴角速度参数和上述加速度参数为动态变化的的空间状态数据，处理单元进行处理的时候可以以固定的时间帧进行逐一处理，最终得到每个时间帧的上述电子设备的空间位置和空间姿态。
通过所述惯性测量单元获取所述电子设备的空间状态数据，可以将电子设备的空间位置和空间姿态加入校准需要的数据中，提升视线追踪的校准方法的适应性和鲁棒性。
步骤303，基于所述眼部图像数据和所述空间状态数据确定校准参数数据。
其中，上述校准参数数据用于确定上述目标用户的真实注视点，具体的，可以先根据上述眼部图像数据确定瞳孔中心和亮斑中心，再基于上述瞳孔中心、所述亮斑中心形成的视线特征向量确定第一注视点，该第一注视点为测量结果，表示上述目标用户的未校准的注视点；之后，获取到上述第一注视点和所述将标定点的第一距离，通过校准算法对上述第一距离进行计算确定第一校准参数，上述第一校准参数表示以眼部图像为基础得到的校准参数；然后，从上述校准数据库中调用上述电子设备当前的空间位置和空间姿态，最后，基于上述空间位置和上述空间姿态更新所述第一校准参数，得到上述校准参数数据。
具体的，可以基于上述空间位置和所述空间姿态确定上述电子设备与上述目标用户的眼球的相对位置数据，再基于上述相对位置数据进行计算，得到更新参数，最后，基于上述更新参数对所述第一校准参数进行更新，得到所述校准参数数据。
具体的，结合图2中的系统架构进行举例说明，当电子设备的相关应用开始发送眼球追踪的请求时，调用硬件层的相关单元去获取摄像头采集到的目标用户的眼部图像数据，之后通过眼球追踪算法单元对上述眼部图像数据进行处理得到上述目标用户的第一注视点以及第一校准参数，同时，眼球校准单元获取惯性测单元IMU采集到的该电子设备的空间状态数据，并基于该空间状态数据对上述第一校准参数进行更新，得到校准参数数据，最后基于该校准参数数据完成眼球追踪的校准。
通过上述方法，可以结合眼球追踪设备的空间状态数据来得到更准确的校准参数数据，极大地降低了用户头部和眼球追踪设备的位置关系发生变化导致的误差，大大提升了校准的适应性和鲁棒性。
下面结合图4对本申请实施例中的另一种基于视线追踪的校准方法进行详细说明，图4为本申请实施例提供的另一种基于校准方法的流程示意图，应用于电子设备，所述电子设备包括惯性测量单元、摄像模组及显示屏，具体包括以下步骤：
步骤401，在显示屏上显示标定点，通过摄像模组获取目标用户注视所述标定点的眼部图像数据。
步骤402，通过惯性测量单元获取电子设备的空间状态数据。
步骤403，基于所述眼部图像数据和所述空间状态数据确定校准参数数据。
步骤404，判断所述空间状态数据的变化是否属于预设位置范围。
其中，上述空间状态数据的变化可以包括上述电子设备与上述目标用户头部的相对距离的变化，也可以包括上述电子设备的倾斜角度等变化，当不属于上述预设位置范围时，执行步骤405；当上述空间状态数据的变化属于预设位置范围时，则不调整上述校准参数数据。
步骤405，基于所述空间状态数据的变化数据调整所述校准参数数据，继续对所述目标用户进行视线追踪。
其中，当上述空间状态数据的变化不属于预设位置范围时，如上述电子设备与上述目标用户头部的相对距离过小或过大，以及，上述电子设备的倾斜角度变化太大等，需要重新计算校准参数数据，此时可以基于上述空间状态数据的变化数据调整上述校准参数数据，继续对所述目标用户进行视线追踪。
可见，基于所述空间状态数据的变化数据调整所述校准参数数据，继续对所述目标用户进行视线追踪，可以进一步完善校准方法，提升其适用性和鲁棒性。
下面结合图5对本申请实施例中的一种电子设备500进行说明，图5为本申请实施例提供的一种电子设备500的结构示意图，包括应用处理器501、通信接口502和存储器503，所述应用处理器501、通信接口502和存储器503通过总线504相互连接，总线504可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线504可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，所述存储器503用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器501被配置用于调用所述程序指令，执行以下步骤的方法：
在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；
通过所述惯性测量单元获取所述电子设备的空间状态数据；
基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。
首先，通过在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；然后，通过所述惯性测量单元获取所述电子设备的空间状态数据；最后，基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。可以结合眼球追踪设备的空间状态数据来得到更准确的校准参数数据，极大地降低了用户头部和眼球追踪设备的位置关系发生变化导致的误差，大大提升了校准的适应性和鲁棒性。
在一个可能的实施例中，在所述通过所述惯性测量单元获取所述电子设备的空间状态数据方面，所述程序中的指令具体用于执行以下操作：
通过所述惯性测量单元获取所述电子设备的三轴角速度参数和加速度参数；
基于所述三轴角速度参数和所述加速度参数确定所述空间状态数据，并保存至校准数据库，所述空间状态数据用于表示所述电子设备当前的空间位置和空间姿态。
在一个可能的实施例中，在所述基于所述眼部图像数据和所述空间状态数据确定校准参数数据方面，所述程序中的指令具体用于执行以下操作：
根据所述眼部图像数据确定瞳孔中心和亮斑中心；
基于所述瞳孔中心、所述亮斑中心确定第一注视点；
根据所述第一注视点和所述将标定点的第一距离确定第一校准参数；
从所述校准数据库中调用所述电子设备当前的空间位置和空间姿态；
基于所述空间位置和所述空间姿态更新所述第一校准参数，得到所述校准参数数据。
在一个可能的实施例中，在所述基于所述空间位置和所述空间姿态更新所述第一校准参数方面，所述程序中的指令具体用于执行以下操作：
基于所述空间位置和所述空间姿态确定所述电子设备与所述目标用户的眼球的相对位置数据；
基于所述相对位置数据进行计算，得到更新参数；
基于所述更新参数对所述第一校准参数进行更新，得到所述校准参数数据。
在一个可能的实施例中，所述基于所述瞳孔中心、所述亮斑中心确定第一注视点方面，所述程序中的指令具体用于执行以下操作：
根据所述瞳孔中心和所述亮斑中心确定视线特征向量；
根据所述视线特征向量确定所述第一注视点，所述第一注视点表示所述目标用户的未校准的注视点。
在一个可能的实施例中，在所述基于所述眼部图像数据和所述空间状态数据确定校准参数数据之后方面，所述程序中的指令具体还用于执行以下操作：
基于所述校准参数数据对所述目标用户进行视线追踪。
在一个可能的实施例中，在所述基于所述校准参数数据对所述目标用户进行视线追踪方面，所述程序中的指令具体还用于执行以下操作：
判断所述空间状态数据的变化是否属于预设位置范围；
若所述空间状态数据的变化不属于预设位置范围，则基于所述空间状态数据的变化数据调整所述校准参数数据，继续对所述目标用户进行视线追踪。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6是本申请实施例提供的一种校准装置600的功能单元组成框图。所述校准装置600应用于电子设备，包括处理单元601、通信单元602和存储单元603，其中，所述处理单元601，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元602来完成相应操作。下面进行详细说明。
所述处理单元601，用于在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；
通过所述惯性测量单元获取所述电子设备的空间状态数据；
基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。
首先，通过在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；然后，通过所述惯性测量单元获取所述电子设备的空间状态数据；最后，基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。可以结合眼球追踪设备的空间状态数据来得到更准确的校准参数数据，极大地降低了用户头部和眼球追踪设备的位置关系发生变化导致的误差，大大提升了校准的适应性和鲁棒性。
在一个可能的实施例中，在所述通过所述惯性测量单元获取所述电子设备的空间状态数据方面，所述处理单元601具体用于：
通过所述惯性测量单元获取所述电子设备的三轴角速度参数和加速度参数；
基于所述三轴角速度参数和所述加速度参数确定所述空间状态数据，并保存至校准数据库，所述空间状态数据用于表示所述电子设备当前的空间位置和空间姿态。
在一个可能的实施例中，在所述基于所述眼部图像数据和所述空间状态数据确定校准参数数据方面，所述处理单元601具体用于：
根据所述眼部图像数据确定瞳孔中心和亮斑中心；
基于所述瞳孔中心、所述亮斑中心确定第一注视点；
根据所述第一注视点和所述将标定点的第一距离确定第一校准参数；
从所述校准数据库中调用所述电子设备当前的空间位置和空间姿态；
基于所述空间位置和所述空间姿态更新所述第一校准参数，得到所述校准参数数据。
在一个可能的实施例中，在所述基于所述空间位置和所述空间姿态更新所述第一校准参数，得到所述校准参数数据方面，所述处理单元601具体用于：
基于所述空间位置和所述空间姿态确定所述电子设备与所述目标用户的眼球的相对位置数据；
基于所述相对位置数据进行计算，得到更新参数；
基于所述更新参数对所述第一校准参数进行更新，得到所述校准参数数据。
在一个可能的实施例中，在所述基于所述瞳孔中心、所述亮斑中心确定第一注视点方面，所述处理单元601具体用于：
根据所述瞳孔中心和所述亮斑中心确定视线特征向量；
根据所述视线特征向量确定所述第一注视点，所述第一注视点表示所述目标用户的未校准的注视点。
在一个可能的实施例中，在所述基于所述眼部图像数据和所述空间状态数据确定校准参数数据之后方面，所述处理单元601具体还用于：
基于所述校准参数数据对所述目标用户进行视线追踪。
在一个可能的实施例中，在所述基于所述校准参数数据对所述目标用户进行视线追踪方面，所述处理单元601具体还用于：
判断所述空间状态数据的变化是否属于预设位置范围；
若所述空间状态数据的变化不属于预设位置范围，则基于所述空间状态数据的变化数据调整所述校准参数数据，继续对所述目标用户进行视线追踪。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于视线追踪的校准方法，其特征在于，应用于电子设备，所述电子设备包括惯性测量单元、摄像模组及显示屏，所述方法包括：
在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；
通过所述惯性测量单元获取所述电子设备的空间状态数据；
基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。
2.根据权利要求1所述的方法，其特征在于，所述通过所述惯性测量单元获取所述电子设备的空间状态数据，包括：
通过所述惯性测量单元获取所述电子设备的三轴角速度参数和加速度参数；
基于所述三轴角速度参数和所述加速度参数确定所述空间状态数据，并保存至校准数据库，所述空间状态数据用于表示所述电子设备当前的空间位置和空间姿态。
3.根据权利要求2所述的方法，其特征在于，所述基于所述眼部图像数据和所述空间状态数据确定校准参数数据，包括：
根据所述眼部图像数据确定瞳孔中心和亮斑中心；
基于所述瞳孔中心、所述亮斑中心确定第一注视点；
根据所述第一注视点和所述将标定点的第一距离确定第一校准参数；
从所述校准数据库中调用所述电子设备当前的空间位置和空间姿态；
基于所述空间位置和所述空间姿态更新所述第一校准参数，得到所述校准参数数据。
4.根据权利要求3所述的方法，其特征在于，所述基于所述空间位置和所述空间姿态更新所述第一校准参数，得到所述校准参数数据，包括：
基于所述空间位置和所述空间姿态确定所述电子设备与所述目标用户的眼球的相对位置数据；
基于所述相对位置数据进行计算，得到更新参数；
基于所述更新参数对所述第一校准参数进行更新，得到所述校准参数数据。
5.根据权利要求3所述的方法，其特征在于，所述基于所述瞳孔中心、所述亮斑中心确定第一注视点，包括：
根据所述瞳孔中心和所述亮斑中心确定视线特征向量；
根据所述视线特征向量确定所述第一注视点，所述第一注视点表示所述目标用户的未校准的注视点。
6.根据权利要求1所述的方法，其特征在于，所述基于所述眼部图像数据和所述空间状态数据确定校准参数数据之后，所述方法还包括：
基于所述校准参数数据对所述目标用户进行视线追踪。
7.根据权利要求1～6任一项所述的方法，其特征在于，所述基于所述校准参数数据对所述目标用户进行视线追踪，包括：
判断所述空间状态数据的变化是否属于预设位置范围；
若所述空间状态数据的变化不属于预设位置范围，则基于所述空间状态数据的变化数据调整所述校准参数数据，继续对所述目标用户进行视线追踪。
8.一种基于视线追踪的校准装置，其特征在于，所述装置包括处理单元，其中，
所述处理单元，用于在所述显示屏上显示标定点，通过所述摄像模组获取目标用户注视所述标定点的眼部图像数据；
通过所述惯性测量单元获取所述电子设备的空间状态数据；
基于所述眼部图像数据和所述空间状态数据确定校准参数数据，所述校准参数数据用于确定所述目标用户的真实注视点。
9.一种电子设备，其特征在于，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如权利要求1～7任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～7任一项所述的方法。
CN202010090975.3A 2020-02-13 2020-02-13 基于视线追踪的校准方法及相关装置 Active CN111290580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090975.3A CN111290580B (zh) 2020-02-13 2020-02-13 基于视线追踪的校准方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090975.3A CN111290580B (zh) 2020-02-13 2020-02-13 基于视线追踪的校准方法及相关装置

Publications (2)

Publication Number Publication Date
CN111290580A true CN111290580A (zh) 2020-06-16
CN111290580B CN111290580B (zh) 2022-05-31

Family

ID=71029973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090975.3A Active CN111290580B (zh) 2020-02-13 2020-02-13 基于视线追踪的校准方法及相关装置

Country Status (1)

Country Link
CN (1) CN111290580B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558302A (zh) * 2020-12-08 2021-03-26 恒玄科技(上海)股份有限公司 一种用于确定眼镜姿态的智能眼镜及其信号处理方法
CN112932407A (zh) * 2021-01-29 2021-06-11 上海市内分泌代谢病研究所 一种面部正面校准方法及系统
CN113283402A (zh) * 2021-07-21 2021-08-20 北京科技大学 一种差分式二维注视点检测方法及装置
WO2023071952A1 (zh) * 2021-10-29 2023-05-04 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700931A (zh) * 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
CN109044263A (zh) * 2018-07-13 2018-12-21 北京七鑫易维信息技术有限公司 眼睛视线的检测方法、装置、设备及存储介质
CN109343700A (zh) * 2018-08-31 2019-02-15 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
US10241545B1 (en) * 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法
US10560689B2 (en) * 2017-11-28 2020-02-11 Paul Lapstun Viewpoint-optimized light field display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108700931A (zh) * 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
US10241545B1 (en) * 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US10560689B2 (en) * 2017-11-28 2020-02-11 Paul Lapstun Viewpoint-optimized light field display
CN109044263A (zh) * 2018-07-13 2018-12-21 北京七鑫易维信息技术有限公司 眼睛视线的检测方法、装置、设备及存储介质
CN109343700A (zh) * 2018-08-31 2019-02-15 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN110572632A (zh) * 2019-08-15 2019-12-13 中国人民解放军军事科学院国防科技创新研究院 一种基于视线跟踪的增强现实显示系统、头盔和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112558302A (zh) * 2020-12-08 2021-03-26 恒玄科技(上海)股份有限公司 一种用于确定眼镜姿态的智能眼镜及其信号处理方法
CN112558302B (zh) * 2020-12-08 2022-12-20 恒玄科技(上海)股份有限公司 一种用于确定眼镜姿态的智能眼镜及其信号处理方法
CN112932407A (zh) * 2021-01-29 2021-06-11 上海市内分泌代谢病研究所 一种面部正面校准方法及系统
CN113283402A (zh) * 2021-07-21 2021-08-20 北京科技大学 一种差分式二维注视点检测方法及装置
WO2023071952A1 (zh) * 2021-10-29 2023-05-04 南昌虚拟现实研究院股份有限公司 眼球参数校验方法、系统、计算机及可读存储介质

Also Published As

Publication number Publication date
CN111290580B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN111290580B (zh) 基于视线追踪的校准方法及相关装置
US11321870B2 (en) Camera attitude tracking method and apparatus, device, and system
WO2021031755A1 (zh) 基于增强现实设备的交互方法及系统、电子设备、计算机可读介质
US9401050B2 (en) Recalibration of a flexible mixed reality device
CN108989678B (zh) 一种图像处理方法、移动终端
CN108139204A (zh) 信息处理装置、位置和/或姿态的估计方法及计算机程序
CN108416285A (zh) 枪球联动监控方法、装置及计算机可读存储介质
BR112016010442B1 (pt) Aparelho e método de geração de imagem, e, unidade de armazenamento
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN103517060B (zh) 一种终端设备的显示控制方法及装置
CN110780742B (zh) 眼球追踪处理方法及相关装置
CN109782901A (zh) 增强现实交互方法、装置、计算机设备及存储介质
US20200209958A1 (en) User interaction in head-mounted display with eye tracking
CN108153417B (zh) 画面补偿方法及采用该方法的头戴式显示装置
CN112748798A (zh) 一种眼球追踪校准方法及相关设备
CN113342157A (zh) 眼球追踪处理方法及相关装置
CN110008671B (zh) 数据校验方法及装置
CN106101539A (zh) 一种自拍杆角度调节方法及自拍杆
CN113301249A (zh) 全景视频处理方法、装置、计算机设备和存储介质
CN115997159B (zh) 使用移动设备确定眼睛旋转中心的位置的方法
CN111344776A (zh) 信息处理装置、信息处理方法和程序
JP2014082648A (ja) 電子機器、画像補正方法、およびプログラム
US11176375B2 (en) Smart glasses lost object assistance
CN112631487B (zh) 图像处理方法、电子设备和可读存储介质
CN108090933B (zh) 二维平面标定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant