CN112306271A - 一种手柄控制器的焦点校准方法、装置及相关设备 - Google Patents

一种手柄控制器的焦点校准方法、装置及相关设备 Download PDF

Info

Publication number
CN112306271A
CN112306271A CN202011189358.5A CN202011189358A CN112306271A CN 112306271 A CN112306271 A CN 112306271A CN 202011189358 A CN202011189358 A CN 202011189358A CN 112306271 A CN112306271 A CN 112306271A
Authority
CN
China
Prior art keywords
focus
coordinate
predicted
calibration
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011189358.5A
Other languages
English (en)
Other versions
CN112306271B (zh
Inventor
刘文杰
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN202011189358.5A priority Critical patent/CN112306271B/zh
Publication of CN112306271A publication Critical patent/CN112306271A/zh
Application granted granted Critical
Publication of CN112306271B publication Critical patent/CN112306271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种手柄控制器的焦点校准方法,包括根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标;判断实际焦点坐标与所述预测焦点坐标是否相匹配;若否,则纠正所述焦点至所述预测焦点坐标;该手柄控制器的焦点校准方法可以在用户使用过程中对手柄控制器的焦点进行校准,避免用户操作中断,保证用户体验。本申请还公开了一种手柄控制器的焦点校准装置、手柄控制器及计算机可读存储介质,均具有上述有益效果。

Description

一种手柄控制器的焦点校准方法、装置及相关设备
技术领域
本申请涉及虚拟现实技术领域,特别涉及一种手柄控制器的焦点校准方法,还涉及一种手柄控制器的焦点校准装置、手柄控制器及计算机可读存储介质。
背景技术
AR(Augmented Reality,增强现实),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,其目标在于在屏幕上把虚拟世界套在现实世界并进行互动。VR(Virtual Reality,虚拟现实)是一种可以创建和体验虚拟世界的计算机仿真系统,其利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。在AR/VR设备中,手柄作为一种重要的人机交互手段,可以为用户提供更多样的操作方式,如3D0F手柄、6D0F手柄等。然而,在实际使用过程中,由于环境干扰以及算法累计误差等原因,当使用一段时间后,手柄焦点会出现漂移或偏斜的现象,为实现焦点纠偏,通常需要用户停止当前正在进行的操作,通过点击手柄上的固定按钮将手柄焦点纠正到画面中心,如此操作必然会打乱用户正在进行的操作,严重影响用户体验。
因此,如何在用户使用过程中对手柄控制器的焦点进行校准,避免用户操作中断,保证用户体验是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种手柄控制器的焦点校准方法,该手柄控制器的焦点校准方法可以在用户使用过程中对手柄控制器的焦点进行校准,避免用户操作中断,保证用户体验;本申请的另一目的是提供一种手柄控制器的焦点校准装置、手柄控制器及计算机可读存储介质,均具有上述有益效果。
第一方面,本申请提供了一种手柄控制器的焦点校准方法,包括:
根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标;
判断实际焦点坐标与所述预测焦点坐标是否相匹配;
若否,则纠正所述焦点至所述预测焦点坐标。
优选的,所述根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标,包括:
利用卡尔曼滤波算法对所述位置信息、所述位姿数据以及所述预设校准数据集进行计算,获得所述预测焦点坐标。
优选的,所述判断实际焦点坐标与所述预测焦点坐标是否相匹配,包括:
根据所述实际焦点坐标与所述预测焦点坐标计算预测焦点与实际焦点之间的实际距离;
判断所述实际距离是否超出预设距离;
若是,则判定所述实际焦点坐标与所述预测焦点坐标不匹配;
若否,则判定所述实际焦点坐标与所述预测焦点坐标相匹配。
优选的,所述根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标之前,还包括:
判断预设存储空间中是否存储有所述预设校准数据集;
若否,则构建所述预设校准数据集。
优选的,所述构建所述预设校准数据集,包括:
输出方格信息至显示界面,并输出目标方格提示信息;
当获取到关于所述目标方格的选中指令时,采集所述目标方格的坐标信息,所述用户眼球注视点的位置信息以及所述手柄控制器的位姿数据;
利用各所述目标方格的坐标信息以及对应的位置信息和位姿数据生成所述预设校准数据集。
优选的,所述纠正所述焦点至所述预测焦点坐标之后,还包括:
将所述预测焦点坐标以及所述预测焦点坐标对应的位置信息和位姿数据存储至所述预设校准数据集。
优选的,所述手柄控制器的焦点校准方法还包括:
当所述实际焦点坐标与所述预测焦点坐标相匹配时,将所述实际焦点坐标以及所述实际焦点坐标对应的位置信息和位姿数据存储至所述预设校准数据集。
第二方面,本申请还公开了一种手柄控制器的焦点校准装置,包括:
数据采集模块,用于根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
坐标预测模块,用于根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标;
坐标匹配模块,用于判断实际焦点坐标与所述预测焦点坐标是否相匹配;
焦点校准模块,用于若所述实际焦点坐标与所述预测焦点坐标不匹配,则纠正所述焦点至所述预测焦点坐标。
第三方面,本申请还公开了一种手柄控制器,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的任一种手柄控制器的焦点校准方法的步骤。
第四方面,本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的任一种手柄控制器的焦点校准方法的步骤。
本申请所提供的一种手柄控制器的焦点校准方法,包括根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标;判断实际焦点坐标与所述预测焦点坐标是否相匹配;若否,则纠正所述焦点至所述预测焦点坐标。
可见,本申请所提供的手柄控制器的焦点校准方法,在手柄控制器的使用过程中,通过眼动追踪技术对其焦点坐标进行预测,进而通过对预测坐标与实际坐标进行匹配实现手柄控制器的焦点校准,相较于现有技术中中断用户操作进行手动校准的方式,该种实现方式可以在用户使用过程中实现手柄控制器焦点自动且实时的校准,无需中断用户当前操作,有效地提高了用户体验。
本申请所提供的一种手柄控制器的焦点校准装置、手柄控制器及计算机可读存储介质,均具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明现有技术和本申请实施例中的技术方案,下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然,下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,所获得的其他附图也属于本申请的保护范围。
图1为本申请所提供的一种手柄控制器的焦点校准方法的流程示意图;
图2为本申请所提供的另一种手柄控制器的焦点校准方法的流程示意图;
图3为本申请所提供的一种预设校准数据集构建方法的流程示意图;
图4为本申请所提供的一种手柄控制器的焦点校准装置的结构示意图;
图5为本申请所提供的一种手柄控制器的结构示意图。
具体实施方式
本申请的核心是提供一种手柄控制器的焦点校准方法,该手柄控制器的焦点校准方法可以在用户使用过程中对手柄控制器的焦点进行校准,避免用户操作中断,保证用户体验;本申请的另一核心是提供一种手柄控制器的焦点校准装置、手柄控制器及计算机可读存储介质,也具有上述有益效果。
为了对本申请实施例中的技术方案进行更加清楚、完整地描述,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行介绍。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请所提供的一种手柄控制器的焦点校准方法的流程示意图,该手柄控制器的焦点校准方法可包括:
S101:根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
本步骤旨在根据校准指令进行相关数据的采集,该校准指令是指针对手柄控制器的焦点的校准指令,用以实现焦点校准,其获取方式并不唯一,可以是用户通过点击功能按钮输入,也可以是根据预设条件自动触发,如定时条件等,本申请对此不做限定。
另外,需要采集的数据信息可以包括用户眼球注视点的位置信息和手柄控制器的位姿数据,其中,用户眼球注视点的位置信息是指用户当前眼球注视点在显示界面的坐标信息,手柄控制器的位姿数据则是指手柄控制器在当前用户手中的空间位姿。可以理解的是,在使用手柄控制器对显示界面进行选中操作时,用户眼球注视点的位置与手柄控制器选中的位置应当是重合的,因此,可以通过采集用户眼球注视点的位置信息实现手柄控制器的焦点校准,该用户眼球注视点的位置信息可通过眼动追踪技术实现。
S102:根据位置信息、位姿数据以及预设校准数据集对手柄控制器的焦点进行预测,获得预测焦点坐标;
本步骤旨在实现手柄控制器的焦点预测,以获得手柄控制器焦点的预测坐标,即上述预测焦点坐标。具体而言,在获得用户眼球注视点的位置信息和手柄控制器的位姿数据之后,即可结合预设校准数据集进行焦点预测,获得预测焦点坐标。其中,预设校准数据集是指预先建立的用以实现焦点校准的基础数据集,包括多个标准的用户眼球注视点的位置信息、手柄控制器的位姿数据以及焦点坐标三者之间的映射关系,该预设校准数据集可存储于预设存储空间,在使用时直接调用即可。
作为一种优选实施例,上述根据位置信息、位姿数据以及预设校准数据集对手柄控制器的焦点进行预测,获得预测焦点坐标,可以包括:利用卡尔曼滤波算法对位置信息、位姿数据以及预设校准数据集进行计算,获得预测焦点坐标。
本优选实施例提供了一种具体的预测焦点坐标的获取方式,即基于卡尔曼滤波算法实现,通过卡尔曼滤波算法对位置信息、位姿数据以及预设校准数据集进行计算,实现预测焦点坐标的获取。当然,上述卡尔曼滤波算法仅为本优选实施例所提供的一种实现方式,并不唯一,还可以基于其他技术实现,如向量计算法、人工神经网络算法等,由技术人员根据实际情况选择设定即可,本申请对此不做限定。
S103:判断实际焦点坐标与预测焦点坐标是否相匹配;若否,则执行S104,若是,则执行S105;
S104:纠正焦点至预测焦点坐标;
S105:不做处理。
以上步骤旨在通过坐标匹配实现焦点校准。具体而言,在获得预测焦点坐标之后,可采集当前实际焦点坐标,并对二者进行匹配,可以理解的是,当预测焦点坐标与实际焦点坐标相匹配时,说明手柄控制器的焦点并未出现漂移或偏斜,此时,无需对其进行任何操作;反之,当预测焦点坐标与实际焦点坐标不匹配时,说明手柄控制器的焦点已经产生偏移,此时,则需要进行焦点校准,将焦点纠正至预测焦点坐标即可,由此,实现手柄控制器的焦点校准。
可以理解的是,上述焦点校准过程可以发生于手柄控制器的使用过程中,也就是说,在用户使用手柄控制器执行相关操作时可以对手柄控制器的焦点进行实时校准,无需中断用户当前操作,有效提高了用户体验。
作为一种优选实施例,上述判断实际焦点坐标与预测焦点坐标是否相匹配,可以包括:根据实际焦点坐标与预测焦点坐标计算预测焦点与实际焦点之间的实际距离;判断实际距离是否超出预设距离;若是,则判定实际焦点坐标与预测焦点坐标不匹配;若否,则判定实际焦点坐标与预测焦点坐标相匹配。
可以理解的是,手柄控制器中焦点的小范围偏移并不会影响用户使用,因此,可以为焦点的可偏移范围进行设置。具体而言,在对预测焦点坐标与实际焦点坐标进行匹配的过程中,可以先根据二者计算预测焦点与实际焦点之间的实际距离,进一步,通过判断该实际距离是否在预设距离范围内来确定预测焦点坐标与实际焦点坐标是否相匹配,若实际距离小于预设距离,则判定预测焦点坐标与实际焦点坐标相匹配,焦点的偏移在可控范围内,不影响用户正常使用,此时无需执行焦点纠偏操作;若实际距离超出预设距离,则焦点的偏移将影响用户正常使用,此时执行焦点纠偏操作即可。需要说明的是,上述预设距离的具体取值并不影响本技术方案的实施,由技术人员根据实际需求进行设定即可,本申请对此不做限定。
可见,本申请所提供的手柄控制器的焦点校准方法,在手柄控制器的使用过程中,通过眼动追踪技术对其焦点坐标进行预测,进而通过对预测坐标与实际坐标进行匹配实现手柄控制器的焦点校准,相较于现有技术中中断用户操作进行手动校准的方式,该种实现方式可以在用户使用过程中实现手柄控制器焦点自动且实时的校准,无需中断用户当前操作,有效地提高了用户体验。
本申请实施例提供了另一种手柄控制器的焦点校准方法。
请参考图2,图2为本申请所提供的另一种手柄控制器的焦点校准方法的流程示意图,该焦点校准方法可包括:
S201:根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
S202:判断预设存储空间中是否存储有预设校准数据集;若否,则执行S203,若是,则执行S204;
S203:构建预设校准数据集;
S204:根据位置信息、位姿数据以及预设校准数据集对手柄控制器的焦点进行预测,获得预测焦点坐标;
S205:判断实际焦点坐标与预测焦点坐标是否相匹配;若否,则执行S206,若是,则执行S207;
S206:纠正焦点至预测焦点坐标;
S207:不做处理。
具体的,在进行焦点坐标预测之前,还可以判断预设存储空间中是否存储有预设校准数据集,若存在,则可以进入后续焦点预测流程,若不存在,则可以进行预设校准数据集的构建,并将其存储至预设存储空间。其中,预设存储空间可以为任意类型的存储器,也可以是预先创建的缓存空间,可实现预设校准数据集的存储即可。此外,预设校准数据集的构建方法并不唯一,本申请对此不做限定。
可以理解的是,该预设校准数据集的构建过程一般发生于手柄控制器的初次使用过程中,在后续再次使用手柄控制器执行相关操作时可直接从预设存储空间中调取。
另外,对于本申请实施例中焦点校准方法的其他步骤,参照上一实施例即可,本申请实施例在此不再赘述。
进一步,请参考图3,图3为本申请所提供的一种预设校准数据集构建方法的流程示意图,该预设校准数据集构建方法可包括:
S301:输出方格信息至显示界面,并输出目标方格提示信息;
S302:当获取到关于目标方格的选中指令时,采集目标方格的坐标信息,用户眼球注视点的位置信息以及手柄控制器的位姿数据;
S303:利用各目标方格的坐标信息以及对应的位置信息和位姿数据生成预设校准数据集。
具体而言,可通过引导用户点击显示界面的各个方格实现数据样本的获取,进而实现预设校准数据集的生成,当然,该数据样本可包括当前选中方格(目标方格)的坐标信息,以及用户眼球注视点的位置信息和手柄控制器的位姿数据。在具体实现过程中,首先在显示界面弹出方格信息,如棋盘格,并输出目标方格提示信息,用以提示用户使用手柄控制器点击该目标方格,由此,在用户利用手柄控制器选中该目标方格时,即可采集该目标方格的坐标信息,用户眼球注视点的位置信息以及手柄控制器的位姿数据,最后将三者对应添加至数据集中,以此类推,通过采集多个目标方格对应的三方数据,即可生成预设校准数据集。
可以理解的是,预设校准数据集中数据样本的数量并不唯一,但其数量越多,越可以为后续实际的焦点校准流程提供准确性保证。
作为一种优选实施例,上述纠正焦点至预测焦点坐标之后,还可包括:将预测焦点坐标以及预测焦点坐标对应的位置信息和位姿数据存储至预设校准数据集。
作为一种优选实施例,该手柄控制器的焦点校准方法还可包括:当实际焦点坐标与预测焦点坐标相匹配时,将实际焦点坐标以及实际焦点坐标对应的位置信息和位姿数据存储至预设校准数据集。
以上优选实施例实现了预设校准数据集的更新,以为焦点校准结果提供准确性保证。具体而言,当预测焦点坐标与实际焦点坐标不匹配时,说明焦点已经发生偏移,需要对焦点进行校准,也即说明预设焦点坐标是准确的坐标信息,此时,将该预测坐标信息与其对应的用户眼球注视点的位置信息和手柄控制器的位姿数据存储至预设校准数据集即可实现数据集更新;当预测焦点坐标与实际焦点坐标相匹配时,说明焦点未发生偏移,无需对焦点进行校准,也即说明实际焦点坐标和预测交点坐标均为准确的坐标信息,此时,将实际焦点坐标及其对应的用户眼球注视点的位置信息和手柄控制器的位姿数据存储至预设校准数据集即可实现数据集更新。
需要说明的是,上述两种更新方式可同时存在,也可任选其一,由技术人员根据实际需求进行设定即可,本申请对此不做限定。
可见,本申请实施例所提供的手柄控制器的焦点校准方法,在手柄控制器的使用过程中,通过眼动追踪技术对其焦点坐标进行预测,进而通过对预测坐标与实际坐标进行匹配实现手柄控制器的焦点校准,相较于现有技术中中断用户操作进行手动校准的方式,该种实现方式可以在用户使用过程中实现手柄控制器焦点自动且实时的校准,无需中断用户当前操作,有效地提高了用户体验。
本申请实施例提供了又一种手柄控制器的焦点校准方法。
本申请实施例所提供的手柄控制器的焦点校准方法的具体实现流程包括:
1、VR/AR设备中提供有用于控制开启或关闭自动校准功能的功能开关,当用户打开该功能开关时,启用焦点自动校准功能,检测预设存储空间是否存储有校准数据集,若否,则进入步骤2,若是,则进入步骤3;
2、弹出棋盘格界面,引导用户完成棋盘格界面上每个格子的选中操作,并且,在用户每次使用手柄对界面做选中操作时,记录用户选中区域在屏幕中的坐标、用户当前眼球注视点在屏幕中的坐标以及当前手柄控制器的位姿数据,由此,实现校准数据集的构建;
3、当用户使用手柄对界面做选中操作时,采集用户前眼球注视点在屏幕中的坐标以及当前手柄控制器的位姿数据,并结合校准数据集进行卡尔曼滤波预测,获得当前手柄焦点在屏幕中的预测坐标;
4、对预测坐标和当前手柄焦点在屏幕中的实际坐标进行对比,判断二者是否重合,若否,则进入步骤5,若是,则进入步骤6;
5、当两坐标不重合时,表示当前手柄焦点发生偏移,需要对手柄焦点进行纠正,将手柄焦点纠正到实际坐标位置;同时,当用户执行完选中操作时,记录该实际坐标及其对应的用户当前眼球注视点在屏幕中的坐标以及当前手柄控制器的位姿数据,并将三者添加至校准数据集完成数据集的更新;
6、当两坐标重合时,表示当前手柄焦点未发生漂移,无需对手柄焦点做纠正;
7、在手柄使用过程中重复步骤3至步骤6中的坐标预测和数据集更新,达到在不影响用户正常操作的情况下实时纠正手柄漂移偏斜的功能。
可见,本申请实施例所提供的手柄控制器的焦点校准方法,在手柄控制器的使用过程中,通过眼动追踪技术对其焦点坐标进行预测,进而通过对预测坐标与实际坐标进行匹配实现手柄控制器的焦点校准,相较于现有技术中中断用户操作进行手动校准的方式,该种实现方式可以在用户使用过程中实现手柄控制器焦点自动且实时的校准,无需中断用户当前操作,有效地提高了用户体验。
为解决上述技术问题,本申请还提供了一种手柄控制器的焦点校准装置,请参考图4,图4为本申请所提供的一种手柄控制器的焦点校准装置的结构示意图,该手柄控制器的焦点校准装置可包括:
数据采集模块1,用于根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
坐标预测模块2,用于根据位置信息、位姿数据以及预设校准数据集对手柄控制器的焦点进行预测,获得预测焦点坐标;
坐标匹配模块3,用于判断实际焦点坐标与预测焦点坐标是否相匹配;
焦点校准模块4,用于若实际焦点坐标与预测焦点坐标不匹配,则纠正焦点至预测焦点坐标。
可见,本申请实施例所提供的手柄控制器的焦点校准装置,在手柄控制器的使用过程中,通过眼动追踪技术对其焦点坐标进行预测,进而通过对预测坐标与实际坐标进行匹配实现手柄控制器的焦点校准,相较于现有技术中中断用户操作进行手动校准的方式,该种实现方式可以在用户使用过程中实现手柄控制器焦点自动且实时的校准,无需中断用户当前操作,有效地提高了用户体验。
作为一种优选实施例,上述坐标预测模块2可具体用于利用卡尔曼滤波算法对位置信息、位姿数据以及预设校准数据集进行计算,获得预测焦点坐标。
作为一种优选实施例,上述坐标匹配模块3可具体用于根据实际焦点坐标与预测焦点坐标计算预测焦点与实际焦点之间的实际距离;判断实际距离是否超出预设距离;若是,则判定实际焦点坐标与预测焦点坐标不匹配;若否,则判定实际焦点坐标与预测焦点坐标相匹配。
作为一种优选实施例,该手柄控制器的焦点校准装置还可包括数据集构建模块,用于在上述根据位置信息、位姿数据以及预设校准数据集对手柄控制器的焦点进行预测,获得预测焦点坐标之前,判断预设存储空间中是否存储有预设校准数据集;若否,则构建预设校准数据集。
作为一种优选实施例,上述数据集构建模块可具体用于输出方格信息至显示界面,并输出目标方格提示信息;当获取到关于目标方格的选中指令时,采集目标方格的坐标信息,用户眼球注视点的位置信息以及手柄控制器的位姿数据;利用各目标方格的坐标信息以及对应的位置信息和位姿数据生成预设校准数据集。
作为一种优选实施例,该手柄控制器的焦点校准装置还可包括第一数据集更新模块,用于在上述纠正焦点至预测焦点坐标之后,将预测焦点坐标以及预测焦点坐标对应的位置信息和位姿数据存储至预设校准数据集。
作为一种优选实施例,该手柄控制器的焦点校准装置还可包括第二数据集更新模块,用于当实际焦点坐标与预测焦点坐标相匹配时,将实际焦点坐标以及实际焦点坐标对应的位置信息和位姿数据存储至预设校准数据集。
对于本申请提供的装置的介绍请参照上述方法实施例,本申请在此不做赘述。
为解决上述技术问题,本申请还提供了一种手柄控制器,请参考图5,图5为本申请所提供的一种手柄控制器的结构示意图,该手柄控制器可包括:
存储器10,用于存储计算机程序;
处理器20,用于执行计算机程序时可实现如上述任意一种手柄控制器的焦点校准方法的步骤。
对于本申请提供的设备的介绍请参照上述方法实施例,本申请在此不做赘述。
为解决上述问题,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如上述任意一种手柄控制器的焦点校准方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例,本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请的保护范围内。

Claims (10)

1.一种手柄控制器的焦点校准方法,其特征在于,包括:
根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标;
判断实际焦点坐标与所述预测焦点坐标是否相匹配;
若否,则纠正所述焦点至所述预测焦点坐标。
2.根据权利要求1所述的焦点校准方法,其特征在于,所述根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标,包括:
利用卡尔曼滤波算法对所述位置信息、所述位姿数据以及所述预设校准数据集进行计算,获得所述预测焦点坐标。
3.根据权利要求1所述的焦点校准方法,其特征在于,所述判断实际焦点坐标与所述预测焦点坐标是否相匹配,包括:
根据所述实际焦点坐标与所述预测焦点坐标计算预测焦点与实际焦点之间的实际距离;
判断所述实际距离是否超出预设距离;
若是,则判定所述实际焦点坐标与所述预测焦点坐标不匹配;
若否,则判定所述实际焦点坐标与所述预测焦点坐标相匹配。
4.根据权利要求1至3任意一项所述的焦点校准方法,其特征在于,所述根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标之前,还包括:
判断预设存储空间中是否存储有所述预设校准数据集;
若否,则构建所述预设校准数据集。
5.根据权利要求4所述的焦点校准方法,其特征在于,所述构建所述预设校准数据集,包括:
输出方格信息至显示界面,并输出目标方格提示信息;
当获取到关于所述目标方格的选中指令时,采集所述目标方格的坐标信息,所述用户眼球注视点的位置信息以及所述手柄控制器的位姿数据;
利用各所述目标方格的坐标信息以及对应的位置信息和位姿数据生成所述预设校准数据集。
6.根据权利要求1所述的焦点校准方法,其特征在于,所述纠正所述焦点至所述预测焦点坐标之后,还包括:
将所述预测焦点坐标以及所述预测焦点坐标对应的位置信息和位姿数据存储至所述预设校准数据集。
7.根据权利要求1所述的焦点校准方法,其特征在于,还包括:
当所述实际焦点坐标与所述预测焦点坐标相匹配时,将所述实际焦点坐标以及所述实际焦点坐标对应的位置信息和位姿数据存储至所述预设校准数据集。
8.一种手柄控制器的焦点校准装置,其特征在于,包括:
数据采集模块,用于根据校准指令采集用户眼球注视点的位置信息和手柄控制器的位姿数据;
坐标预测模块,用于根据所述位置信息、所述位姿数据以及预设校准数据集对所述手柄控制器的焦点进行预测,获得预测焦点坐标;
坐标匹配模块,用于判断实际焦点坐标与所述预测焦点坐标是否相匹配;
焦点校准模块,用于若所述实际焦点坐标与所述预测焦点坐标不匹配,则纠正所述焦点至所述预测焦点坐标。
9.一种手柄控制器,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的手柄控制器的焦点校准方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的手柄控制器的焦点校准方法的步骤。
CN202011189358.5A 2020-10-30 2020-10-30 一种手柄控制器的焦点校准方法、装置及相关设备 Active CN112306271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011189358.5A CN112306271B (zh) 2020-10-30 2020-10-30 一种手柄控制器的焦点校准方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011189358.5A CN112306271B (zh) 2020-10-30 2020-10-30 一种手柄控制器的焦点校准方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN112306271A true CN112306271A (zh) 2021-02-02
CN112306271B CN112306271B (zh) 2022-11-25

Family

ID=74334047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011189358.5A Active CN112306271B (zh) 2020-10-30 2020-10-30 一种手柄控制器的焦点校准方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN112306271B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283402A (zh) * 2021-07-21 2021-08-20 北京科技大学 一种差分式二维注视点检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139665A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
CN109976535A (zh) * 2019-05-05 2019-07-05 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质
CN110446995A (zh) * 2017-03-27 2019-11-12 索尼公司 信息处理装置、信息处理方法及程序
CN110782492A (zh) * 2019-10-08 2020-02-11 三星(中国)半导体有限公司 位姿跟踪方法及装置
CN111489376A (zh) * 2019-01-28 2020-08-04 广东虚拟现实科技有限公司 跟踪交互设备的方法、装置、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139665A1 (en) * 2014-11-14 2016-05-19 The Eye Tribe Aps Dynamic eye tracking calibration
CN110446995A (zh) * 2017-03-27 2019-11-12 索尼公司 信息处理装置、信息处理方法及程序
CN111489376A (zh) * 2019-01-28 2020-08-04 广东虚拟现实科技有限公司 跟踪交互设备的方法、装置、终端设备及存储介质
CN109976535A (zh) * 2019-05-05 2019-07-05 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质
CN110782492A (zh) * 2019-10-08 2020-02-11 三星(中国)半导体有限公司 位姿跟踪方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113283402A (zh) * 2021-07-21 2021-08-20 北京科技大学 一种差分式二维注视点检测方法及装置

Also Published As

Publication number Publication date
CN112306271B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN107913520B (zh) 信息处理方法、装置、电子设备及存储介质
KR20190100011A (ko) 수술영상을 이용한 수술정보 제공 방법 및 장치
CN109410285A (zh) 一种校准方法、装置、终端设备及存储介质
JP5750657B2 (ja) 強化学習装置、制御装置、および強化学習方法
CA2910552C (en) System and method for probabilistic object tracking over time
US8205165B2 (en) Apparatus to create, save and format text documents using gaze control and method associated based on the optimized positioning of cursor
CN109976535B (zh) 一种校准方法、装置、设备及存储介质
JP5303068B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN112306271B (zh) 一种手柄控制器的焦点校准方法、装置及相关设备
CN109731329B (zh) 一种针对游戏中虚拟组件的放置位置的确定方法和装置
TW201604719A (zh) 智能設備的控制方法及裝置
CN105912101B (zh) 一种投影控制方法和电子设备
EP3296875B1 (en) Simulation reproduction device, simulation reproduction method, and simulation reproduction program
CN112733619A (zh) 采集设备的位姿调整方法、装置、电子设备及存储介质
CN114385015B (zh) 虚拟对象的控制方法及电子设备
CN115598832A (zh) 提升用户体验和注视互动准确度的光学系统和相关方法
Atienza et al. A practical zoom camera calibration technique: an application on active vision for human-robot interaction
KR102518075B1 (ko) Ar 전자 현미경 제공 단말기
CN116047902A (zh) 一种机器人在人群中导航的方法、装置、设备及存储介质
CN107952240A (zh) 利用自拍杆实现的游戏控制方法、装置及计算设备
CN113110779B (zh) 一种地图显示控制方法、装置、设备及介质
US11890544B2 (en) Prop placement with machine learning
CN115213890A (zh) 抓取的控制方法、装置、服务器、电子设备及存储介质
EP3744283A1 (en) Surgery optimization method and device
CN108665445B (zh) 一种检验图像畸变的方法、装置和头戴显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221229

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right