CN113311937B - 眼球追踪的校准方法及相关装置 - Google Patents

眼球追踪的校准方法及相关装置 Download PDF

Info

Publication number
CN113311937B
CN113311937B CN202010126589.5A CN202010126589A CN113311937B CN 113311937 B CN113311937 B CN 113311937B CN 202010126589 A CN202010126589 A CN 202010126589A CN 113311937 B CN113311937 B CN 113311937B
Authority
CN
China
Prior art keywords
coordinate
user
rotation information
calibration
calibration parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010126589.5A
Other languages
English (en)
Other versions
CN113311937A (zh
Inventor
王涛
王文东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010126589.5A priority Critical patent/CN113311937B/zh
Publication of CN113311937A publication Critical patent/CN113311937A/zh
Application granted granted Critical
Publication of CN113311937B publication Critical patent/CN113311937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种眼球追踪的校准方法及相关装置,方法包括:在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;将所述目标校准参数更新至校准参数表。本申请实施例通过多角度旋转强化校准,从而改善校准参数,提高了眼球追踪校准的准确性。

Description

眼球追踪的校准方法及相关装置
技术领域
本申请涉及电子设备技术领域,具体涉及一种眼球追踪的校准方法及相关装置。
背景技术
目前,眼球追踪是一种机器视觉技术,用户在首次使用眼球追踪相关设备时,需要对注视点进行校正。而在校准过程中,需要认真注视注视点,以及头部没有明显移动,才能确保采集到的校准数据的有效性。现有技术中,单一角度的校准方式不适用于移动设备。随着眼球追踪技术在移动设备的逐渐应用,单一角度的校准已经很难保证使用过程中的准确度和精确度,造成误操作。如果用户注意力分散,导致注视点停留在预设的校准点以外,很可能导致校准过程误判断。
发明内容
本申请实施例提供了一种眼球追踪的校准方法及相关装置,以期通过多角度旋转强化校准,从而改善校准参数,提高了眼球追踪校准的准确性。
第一方面,本申请实施例提供一种眼球追踪的校准方法,应用于电子设备,所述电子设备包括显示屏、摄像模组和重力传感器,所述方法包括:
在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;
通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;
通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;
根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;
将所述目标校准参数更新至校准参数表。
第二方面,本申请实施例提供一种眼球追踪的校准装置,应用于电子设备,所述电子设备包括显示屏、摄像模组和重力传感器,所述眼球追踪的校准装置包括处理单元和通信单元,其中:
所述处理单元,用于在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;以及用于通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;以及用于通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;以及用于根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;以及用于将所述目标校准参数更新至校准参数表。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种芯片,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,电子设备首先在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转,其次,通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置,再次,通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标,然后,根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标,最后,将所述目标校准参数更新至校准参数表。可见,通过多旋转角度交互方法来强化眼球追踪的校准,提高了互动性,从而改善校准参数,提高了眼球追踪校准的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备硬件的结构示意图;
图1B是本申请实施例提供的一种眼球追踪的校准方法的软件架构图;
图2A是本申请实施例提供的一种眼球追踪的校准方法的流程示意图;
图2B是本申请实施例提供的一种眼球追踪的场景示意图;
图3是本申请实施例提供的另一种眼球追踪的校准方法的流程示意图;
图4是本申请实施例提供的又一种眼球追踪的校准方法的流程示意图;
图5是本申请实施例提供的一种电子设备的结构示意图;
图6是本申请实施例提供的一种眼球追踪的校准装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备包括电子设备和第二设备,该电子设备可以是具备通信能力的电子设备,该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
如图1A所示,图1A是本申请实施例提供的一种电子设备硬件的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory,RAM)、摄像模组和重力传感器等等。其中,存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像模组、重力传感器、IR与处理器连接,收发器与信号处理器连接。
其中,显示屏可以是液晶显示器(Liquid Crystal Display,LCD)、有机或无机发光二极管(Organic Light-Emitting Diode,OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode,AMOLED)等。
其中,该摄像模组可以包括普通摄像头、也可以包括红外摄像头,在此不作限定。该摄像头可以是前置摄像头、后置摄像头或是双摄像头,在此不作限定。
其中,除重力传感器外,电子设备中的传感器还包括以下至少一种:光感传感器、陀螺仪、红外光(Infrared light source,IR)传感器、指纹传感器、压力传感器等等。其中,光感传感器,也称为环境光传感器,用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中,光敏元件用于将采集的光信号转换为电信号,模数转换器用于将上述电信号转换为数字信号。可选的,光线传感器还可以包括信号放大器,信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器内的软体程序和/或模块,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
其中,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
其中,存储器用于存储软体程序和/或模块,处理器通过运行存储在存储器的软件程序和/或模块,从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的软体程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
如图1B所示,图1B是本申请实施例提供的一种眼球追踪的校准方法的软件架构图。该软件架构图包括四层,其中,第一层包括电子书、浏览器、启动器、系统、解锁、移动支付、兴趣点跟踪等应用。第二层为眼球追踪服务(OEyeTrackerService),包括眼球追踪授权(OEyeTrackerAuthentication)、眼球追踪策略(OEyeTrackerStrategy)、眼球追踪算法(OEyeTrackerAlgo)和眼球追踪参数(OEyeTrackerParams)、眼球校准模块(OEyeCali)等,第二层的OEyeTrackerService通过眼球追踪SDK(OEyeTrackerSDK)接口与第一层的应用连接起来;第二层还包括相机NDK界面(CameraNDKInterface)、相机服务(CameraService),CameraNDKInterface与OEyeTrackerService连接,CameraService与CameraNDKInterface相互连接。第三层包括谷歌HAL界面(Google HAL Interface)、高通HAL界面(Qualcomm HALInterface)、Cam X、Chi-cdk等,Google HAL Interface与第二层的CameraService连接,Qualcomm HAL Interface与Google HAL Interface连接,Cam X分别与Qualcomm HALInterface和Chi-cdk连接,第四层包括RGB传感器(RGB sensor)、数字信号处理器(DSP)、红外传感器(IR sensor)、激光(Laser)和发光二极管(LED)等,IR sensor与第三层的Cam X连接。OEyeTrackerService与OEyeTrackerSDK之间的连接、CameraService与CameraNDKInterface之间的连接以及Google HAL Interface与CameraService之间的连接均通过Binder架构。
其中,OEyeTrackerSDK负责为普通应用提供获取注视点以及输入的api,形式为jar/aar包。OEyeTrackerService负责管理注视点算法、注视点后处理、输入处理以及鉴权和参数设置。OEyeTrackerStrategy与算法后处理相关,如滤波、注视点跳动、注视点转监听、注视点输入。OEyeTrackerAuthentication回调各模块,负责鉴权请求者是否被允许。OEyeTrackerParam负责解析配置和热更新配置。EyeTrackerAlgo是眼球追踪的核心算法,核心算法包含两部分:一是标定算法;二是估计注视点算法。OEyeCali负责开始使用前的多旋转角度校准,并生成多旋转角度的强化校准参数表,后续在使用过程中通过重力传感器获得当前旋转角度,回传该角度对应的强化校准参数。
其中,上述EyeTrackerAlgo负责得到本申请中的用户注视点并计算得到所述注视点的坐标。上述OEyeCali模块在本申请中根据从EyeTrackerAlgo获取的用户注视点的坐标和检测用户针对所述预设图标进行点击的坐标计算,并得到目标校准参数。
请参阅图2A,图2A是本申请实施例提供了一种眼球追踪的校准方法的流程示意图,该眼球追踪的校准方法可以应用于如图1A所示的电子设备,所述电子设备为电子设备,所述电子设备包括显示屏、摄像模组和重力传感器。
如图所示,本眼球追踪的校准方法包括以下操作。
S201,电子设备在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转。
其中,所述旋转信息可以包括旋转角度、旋转时间、旋转力度等,此处不做唯一限定。
可选的,在所述显示屏上显示旋转信息之前,所述方法还包括:获取当前用户的姿态;若所述姿态不符合预设数据库中的姿态时,启动眼球追踪校准模式,并发送旋转信息。
其中,所述电子设备包括红外传感器,在获取当前用户的姿态中,可以通过红外传感器采集用户图像;根据所述用户图像识别当前的图像特征点;根据所述图像特征点识别当前的用户姿势。
其中,若所述姿态不符合预设数据库中的姿态,所述姿态为电子设备提前录入或从大数据中下载的预设姿态,所述预设姿态有对应的校准参数,若当前用户姿态不符合预设数据库里的姿态时,校准参数会出现误差,因此启动眼球追踪校准模式。
可见,本示例中,电子设备通过对姿势的识别判断是否需要校准在当前姿势下的眼球追踪的校准参数,提高了校准的判断精度。
S202,所述电子设备通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置。
其中,所述预设图标可出现在当前显示屏中显示界面的任意位置。
可选的,所述通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,所述方法还包括:若不符合,则获取角度差值;根据所述角度差值,输出提示信息,所述提示信息用于指示用户根据所述提示信息调整所述旋转角度,以至所述旋转角度符合所述旋转信息。
其中,所述角度差值是根据当前电子设备的旋转角度和用户的注视角差值得到。
其中,所述提示信息可以为语音、文字或图像提示等,此处不做唯一限定。
可见,本示例中,电子设备通过重力传感器,监测当前的旋转角度,通过多旋转角度交互方法来强化眼球追踪的校准,有互动性保证用户注视行为,采集多个选择角度进行校准,从而改善校准参数。
S203,所述电子设备通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标。
其中,图2B为眼球追踪的场景示意图,如图2B所示,用户的注视点为A,针对所述预设图标进行点击的点为B。
S204,所述电子设备根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标。
在一个可能的示例中,所述根据所述第一坐标和所述第二坐标确定目标校准参数,包括:将所述第一坐标和所述第二坐标做差值运算,得到目标差值,所述目标差值为目标校准参数。
举例来说,如图2B所示,以显示屏的中点为圆心,以此建议直角坐标系,其中,X轴与显示屏的底部平行,Y轴与显示屏的边平行。若A的坐标为(2,3),B的坐标为(1,2),且A与B之间校准值为三十度,根据角度对称原理,在C(2,-3)、D(-2,-3)及E(-2,3)这三点与B的校准值的绝对值为三十度。
可选的,在根据所述第一坐标和所述第二坐标确定目标校准参数之后,所述方法还包括:根据角度对称原理,确定与所述第一坐标对称的至少一个坐标;将所述第二坐标和所述至少一个坐标中的每个坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数。
其中,由于设备角度的对称性,只需要对90度范围内的几个旋转角度进行校准操作,其余270度可以通过算法复用前面获取校准参数。
举例来说,如表1所示,表1为校准参数表中的部分数据;
旋转角度 对称角度 校准参数
90度 270度 X度
60度 240度 Y度
... ... ...
表1
可见,本示例中,电子设备可根据不同旋转角度的校准参数,通过算法,查找到其余对称角度匹配的校准参数,进而保证了眼球追踪校准的准确性。
可选的,在将所述第二坐标和所述至少一个坐标中的每一坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数之后,所述方法还包括:将所述至少一个坐标和所述至少一个坐标中每个坐标的校准参数更新至所述校准参数表。
可见,本示例中,通过更新校准参数表,提高了眼球追踪校准的准确定和便捷性。
S205,所述电子设备将所述目标校准参数更新至校准参数表。
其中,所述校准参数表中的原始参数可以为用户提前录用、从大数据下载得到或是出厂时厂商设定,此处不做唯一限定。
可以看出,本申请实施例中,电子设备首先在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转,其次,通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置,再次,通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标,然后,根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标,最后,将所述目标校准参数更新至校准参数表。通过多旋转角度交互方法来强化眼球追踪的校准,提高了互动性,从而改善校准参数,提高了眼球追踪校准的准确性。
请参阅图3,图3是本申请实施例提供的另一种眼球追踪的校准方法的流程示意图,该眼球追踪的校准方法可以应用于如图1A所示的电子设备,所述电子设备为电子设备,所述电子设备包括显示屏、摄像模组和重力传感器。
如图所示,本眼球追踪的校准方法包括以下操作:
S301,电子设备在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转。
S302,所述电子设备通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若不符合,则获取角度差值。
S303,所述电子设备根据所述角度差值,输出提示信息,所述提示信息用于指示用户根据所述提示信息调整所述旋转角度,以至所述旋转角度符合所述旋转信息。
S304,所述电子设备显示预设图标,所述预设图标用于指示用户的注视位置。
S305,所述电子设备通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标。
S306,所述电子设备根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标。
S307,所述电子设备将所述目标校准参数更新至校准参数表。
可以看出,本申请实施例中,电子设备首先在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转,其次,通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置,再次,通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标,然后,根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标,最后,将所述目标校准参数更新至校准参数表。通过多旋转角度交互方法来强化眼球追踪的校准,提高了互动性,从而改善校准参数,提高了眼球追踪校准的准确性。
此外,电子设备通过重力传感器,监测当前的旋转角度,通过多旋转角度交互方法来强化眼球追踪的校准,有互动性保证用户注视行为,采集多个选择角度进行校准,从而改善校准参数。
请参阅图4,图4是本申请实施例提供的另一种眼球追踪的校准方法的流程示意图,该眼球追踪的校准方法可以应用于如图1A所示的电子设备,所述电子设备为电子设备,所述电子设备包括摄像头。
如图所示,本眼球追踪的校准方法包括以下操作:
S401,电子设备在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转。
S402,所述电子设备通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置。
S403,所述电子设备通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标。
S404,所述电子设备将所述第一坐标和所述第二坐标做差值运算,得到目标差值,所述目标差值为目标校准参数。
S405,所述电子设备根据角度对称原理,确定与所述第一坐标对称的至少一个坐标。
S406,所述电子设备将所述第二坐标和所述至少一个坐标中的每个坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数。
S407,将所述目标校准参数、所述至少一个坐标和所述至少一个坐标中每个坐标的校准参数更新至所述校准参数表。
可以看出,本申请实施例中,电子设备首先在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转,其次,通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置,再次,通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标,然后,根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标,最后,将所述目标校准参数更新至校准参数表。通过多旋转角度交互方法来强化眼球追踪的校准,提高了互动性,从而改善校准参数,提高了眼球追踪校准的准确性。
此外,电子设备通过重力传感器,监测当前的旋转角度,通过多旋转角度交互方法来强化眼球追踪的校准,有互动性保证用户注视行为,采集多个选择角度进行校准,从而改善校准参数。
此外,电子设备可根据不同旋转角度的校准参数,通过算法,查找到其余对称脚匹配的校准参数,进而保证了眼球追踪校准的准确性。
与上述图2A、图3、图4所示的实施例一致的,请参阅图5,图5是本申请实施例提供的一种电子设备500的结构示意图,所述电子设备500包括摄像头、摄像模组和重力传感器,所述电子设备500还包括应用处理器510、存储器520、通信接口530以及一个或多个程序521,其中,所述一个或多个程序521被存储在上述存储器520中,并且被配置由上述应用处理器510执行,所述一个或多个程序521包括用于执行以下步骤的指令:
在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;
通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;
通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;
根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;
将所述目标校准参数更新至校准参数表。
可以看出,本申请实施例中,电子设备首先在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转,其次,通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置,再次,通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标,然后,根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标,最后,将所述目标校准参数更新至校准参数表。通过多旋转角度交互方法来强化眼球追踪的校准,提高了互动性,从而改善校准参数,提高了眼球追踪校准的准确性。
在一个可能的示例中,在所述根据所述第一坐标和所述第二坐标确定目标校准参数方面,所述程序521中的指令具体用于执行以下操作:将所述第一坐标和所述第二坐标做差值运算,得到目标差值,所述目标差值为目标校准参数。
在一个可能的示例中,在在根据所述第一坐标和所述第二坐标确定目标校准参数之后,所述程序521中的指令具体还用于执行以下操作:根据角度对称原理,确定与所述第一坐标对称的至少一个坐标;将所述第二坐标和所述至少一个坐标中的每个坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数。
在一个可能的示例中,在将所述第二坐标和所述至少一个坐标中的每一坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数之后,所述程序521还包括用于执行以下操作的指令:将所述至少一个坐标和所述至少一个坐标中每个坐标的校准参数更新至所述校准参数表。
在一个可能的示例中,在所述通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息方面,所述程序521还包括用于执行以下操作的指令:若不符合,则获取角度差值;根据所述角度差值,输出提示信息,所述提示信息用于指示用户根据所述提示信息调整所述旋转角度,以至所述旋转角度符合所述旋转信息。
在一个可能的示例中,在所述显示屏上显示旋转信息之前,所述程序521还包括用于执行以下操作的指令:获取当前用户的姿态;若所述姿态不符合预设数据库中的姿态时,启动眼球追踪校准模式,并发送旋转信息。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的眼球追踪的校准装置600的功能单元组成框图。该眼球追踪的校准装置600应用于电子设备,所述电子设备包括显示屏、摄像模组和重力传感器,所述眼球追踪的校准装置包括处理单元601和通信单元602,其中,所述处理单元601,用于执行如上述方法实施例中的任一步骤,且在执行诸如发送等数据传输时,可选择的调用所述通信单元602来完成相应操作。下面进行详细说明。
所述处理单元601,用于在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;以及用于通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;以及用于通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;以及用于根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;以及用于将所述目标校准参数更新至校准参数表。
可以看出,本申请实施例中,电子设备首先在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转,其次,通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置,再次,通过所述摄像头模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标,然后,根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标,最后,将所述目标校准参数更新至校准参数表。通过多旋转角度交互方法来强化眼球追踪的校准,提高了互动性,从而改善校准参数,提高了眼球追踪校准的准确性。
在一个可能的示例中,在所述根据所述第一坐标和所述第二坐标确定目标校准参数方面,所述处理单元601具体用于:将所述第一坐标和所述第二坐标做差值运算,得到目标差值,所述目标差值为目标校准参数。
在一个可能的示例中,在根据所述第一坐标和所述第二坐标确定目标校准参数之后,所述处理单元601还具体用于:根据角度对称原理,确定与所述第一坐标对称的至少一个坐标;将所述第二坐标和所述至少一个坐标中的每个坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数。
在一个可能的示例中,在将所述第二坐标和所述至少一个坐标中的每一坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数之后,所述处理单元601还用于:将所述至少一个坐标和所述至少一个坐标中每个坐标的校准参数更新至所述校准参数表。
在一个可能的示例中,在所述通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息方面,所述处理单元601,还用于:若不符合,则获取角度差值;根据所述角度差值,输出提示信息,所述提示信息用于指示用户根据所述提示信息调整所述旋转角度,以至所述旋转角度符合所述旋转信息。
在一个可能的示例中,在所述显示屏上显示旋转信息之前,所述处理单元601,还用于:获取当前用户的姿态;若所述姿态不符合预设数据库中的姿态时,启动眼球追踪校准模式,并发送旋转信息。
其中,所述眼球追踪的校准装置600还可以包括存储单元603,用于存储电子设备的程序代码和数据。所述处理单元601可以是处理器,所述通信单元602可以是触控显示屏或者收发器,存储单元603可以是存储器。
可以理解的是,由于方法实施例与装置实施例为相同技术构思的不同呈现形式,因此,本申请中方法实施例部分的内容应同步适配于装置实施例部分,此处不再赘述。
本申请实施例还提供了一种芯片,其中,该芯片包括处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如上述方法实施例中电子设备所描述的部分或全部步骤。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种眼球追踪的校准方法,其特征在于,应用于电子设备,所述电子设备包括显示屏、摄像模组和重力传感器,所述方法包括:
在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;
通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;
通过所述摄像模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;
根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;
将所述目标校准参数更新至校准参数表;
其中,所述根据所述第一坐标和所述第二坐标确定目标校准参数,包括:
将所述第一坐标和所述第二坐标做差值运算,得到目标差值,所述目标差值为目标校准参数。
2.根据权利要求1所述的方法,其特征在于,在根据所述第一坐标和所述第二坐标确定目标校准参数之后,所述方法还包括:
根据角度对称原理,确定与所述第一坐标对称的至少一个坐标;
将所述第二坐标和所述至少一个坐标中的每个坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数。
3.根据权利要求2所述的方法,其特征在于,在将所述第二坐标和所述至少一个坐标中的每一坐标进行差值运算,得到所述至少一个坐标中每个坐标对应的校准参数之后,所述方法还包括:
将所述至少一个坐标和所述至少一个坐标中每个坐标的校准参数更新至所述校准参数表。
4.根据权利要求1所述的方法,其特征在于,所述通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,所述方法还包括:
若不符合,则获取角度差值;
根据所述角度差值,输出提示信息,所述提示信息用于指示用户根据所述提示信息调整所述旋转角度,以至所述旋转角度符合所述旋转信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述显示屏上显示旋转信息之前,所述方法还包括:
获取当前用户的姿态;
若所述姿态不符合预设数据库中的姿态时,启动眼球追踪校准模式,并发送所述旋转信息。
6.一种眼球追踪的校准装置,其特征在于,应用于电子设备,所述电子设备包括显示屏、摄像模组和重力传感器,所述眼球追踪的校准装置包括处理单元和通信单元,其中:
所述处理单元,用于在所述显示屏上显示旋转信息,所述旋转信息用于指示用户根据所述旋转信息对所述电子设备进行旋转;以及用于通过所述重力传感器检测所述电子设备的旋转角度是否符合所述旋转信息,若符合,显示预设图标,所述预设图标用于指示用户的注视位置;以及用于通过所述摄像模组获取用户注视点的第一坐标以及检测用户针对所述预设图标进行点击的第二坐标;以及用于根据所述第一坐标和所述第二坐标确定目标校准参数,所述目标校准参数用于校准所述第一坐标为所述第二坐标;以及用于将所述目标校准参数更新至校准参数表;其中,所述处理单元根据所述第一坐标和所述第二坐标确定目标校准参数,包括:所述处理单元将所述第一坐标和所述第二坐标做差值运算,得到目标差值,所述目标差值为目标校准参数。
7.一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如权利要求1-5中任一项所述的方法。
8.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
9.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN202010126589.5A 2020-02-27 2020-02-27 眼球追踪的校准方法及相关装置 Active CN113311937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010126589.5A CN113311937B (zh) 2020-02-27 2020-02-27 眼球追踪的校准方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010126589.5A CN113311937B (zh) 2020-02-27 2020-02-27 眼球追踪的校准方法及相关装置

Publications (2)

Publication Number Publication Date
CN113311937A CN113311937A (zh) 2021-08-27
CN113311937B true CN113311937B (zh) 2023-05-23

Family

ID=77370526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010126589.5A Active CN113311937B (zh) 2020-02-27 2020-02-27 眼球追踪的校准方法及相关装置

Country Status (1)

Country Link
CN (1) CN113311937B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286012B (zh) * 2022-01-29 2023-11-24 青岛海信智慧生活科技股份有限公司 监控设备及其控制方法、终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019202131A (ja) * 2018-05-17 2019-11-28 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880921B1 (ko) * 2012-02-17 2018-08-16 삼성전자 주식회사 회전 기능의 선택적 운용 방법 및 이를 지원하는 단말기
CN105955465A (zh) * 2016-04-25 2016-09-21 华南师范大学 一种桌面便携式视线跟踪方法及装置
US9874934B1 (en) * 2016-07-29 2018-01-23 International Business Machines Corporation System, method, and recording medium for tracking gaze with respect to a moving plane with a camera with respect to the moving plane
CN109410285B (zh) * 2018-11-06 2021-06-08 北京七鑫易维信息技术有限公司 一种校准方法、装置、终端设备及存储介质
CN110706283B (zh) * 2019-11-14 2022-07-29 Oppo广东移动通信有限公司 用于视线追踪的标定方法、装置、移动终端及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019202131A (ja) * 2018-05-17 2019-11-28 オリンパス株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN113311937A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US10699093B2 (en) Mobile terminal, method and device for displaying fingerprint recognition region
CN109246360B (zh) 一种提示方法及移动终端
CN108073343B (zh) 一种显示界面调整方法及移动终端
JP7303900B2 (ja) パラメータ取得方法及び端末機器
CN112748798B (zh) 一种眼球追踪校准方法及相关设备
CN107846583B (zh) 一种图像阴影补偿方法及移动终端
CN110969981A (zh) 屏幕显示参数调节方法及电子设备
CN109343788B (zh) 一种移动终端的操作控制方法及移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
CN108108113B (zh) 网页切换方法及装置
CN111857333B (zh) 眼动追踪方法、装置及电子设备
CN111652942B (zh) 摄像模组的标定方法、第一电子设备和第二电子设备
CN109257504B (zh) 一种音频处理方法及终端设备
CN108174110B (zh) 一种拍照方法及柔性屏终端
CN111459233A (zh) 显示方法、电子设备及存储介质
CN107782250B (zh) 一种深度信息测量方法、装置和移动终端
CN110888494B (zh) 一种角度检测方法、装置及移动终端
CN113311937B (zh) 眼球追踪的校准方法及相关装置
CN110456923B (zh) 一种姿态传感数据处理方法及电子设备
CN110933307A (zh) 一种电子设备及图像处理方法
CN108632470B (zh) 一种无线网络信号的显示方法及移动终端
CN108093119B (zh) 一种陌生来电号码的标记方法及移动终端
CN111310165B (zh) 账号切换或注册方法及电子设备
CN110769162B (zh) 电子设备及对焦方法
CN110456959B (zh) 一种终端的控制方法和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant