CN113138664A - 基于光场感知的眼球追踪系统、方法 - Google Patents

基于光场感知的眼球追踪系统、方法 Download PDF

Info

Publication number
CN113138664A
CN113138664A CN202110339665.5A CN202110339665A CN113138664A CN 113138664 A CN113138664 A CN 113138664A CN 202110339665 A CN202110339665 A CN 202110339665A CN 113138664 A CN113138664 A CN 113138664A
Authority
CN
China
Prior art keywords
light
eyeball
eyes
light field
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110339665.5A
Other languages
English (en)
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110339665.5A priority Critical patent/CN113138664A/zh
Publication of CN113138664A publication Critical patent/CN113138664A/zh
Priority to PCT/CN2021/116752 priority patent/WO2022205770A1/zh
Priority to US17/816,365 priority patent/US20220365342A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Abstract

本发明提供一种基于光场感知的眼球追踪方法，首先通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据，再根据光强度图像数据和光线的方向数据获取全光图像的深度信息，而后依据深度信息形成具有曲率的模型，并将模型作为眼球图像平面区域，确定眼球图像平面区域的法向量及法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪，如此采用光场摄像头可直接捕捉光线的方向数据，因而不需要依靠角膜球面反射模型或闪烁位置来计算用户眼睛的角膜中心即可眼球追踪，也不需要将外部照明源定位在相对于光场摄像头的特定位置，从而很大程度上改善眼球追踪的数据质量，稳定性和追踪精度。

Description

基于光场感知的眼球追踪系统、方法
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于光场感知的眼球追踪系统、方法。
背景技术
虚拟现实是一种在呈现给用户之前以某种方式进行调整的现实形式，可能包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或某种组合和或衍生组合。
由于虚拟现实系统的应用场景越来越多，特别是在医学领域，现在一些医院的专家医生学者已经开始通过虚拟现实系统内置的眼球追踪模块，通过眼球追踪模块获取眼球的一些运动追踪信息，进行一些眼睛方面疾病的辅助检查和研究工作。
结合虚拟现实头戴式一体机设备，眼球追踪在这些领域的使用，对追踪数据的质量要求比较高，特别是追踪精度和追踪稳定性，目前眼球追踪的主流技术是基于图像处理的眼球追踪与眼球视线检测技术，该技术可以实时计算并记录眼睛所看的位置。通过现有的技术，在虚拟现实一体机设备中内置眼球追踪模块，主流的虚拟现实一体机设备的眼球追踪模块包括左，右眼的眼球红外追踪相机或者普通相机，如果使用红外相机，在红外追踪相机附近按照一定规则，一定数量分布的红外主动式发光光源，通过暗瞳技术，并以角膜反光点作为参考点计算瞳孔-角膜反光点矢量对人眼视线进行追踪，基本上都是通过图像的2D信息进行眼球追踪信息的统计和计算。
上述的方案有几个很明显的局限性：①.红外追踪相机和红外光源之间的相对位置关系有比较严格的限制和约束，对虚拟现实头戴一体机设备的结构布局带来一定的挑战。②.是通过在虚拟现实头戴式一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线会容易相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。③.都是通过眼球的2D追踪图像信息进行眼球追踪信息的统计和计算，获得高精度的眼球追踪信息，对眼球追踪算法的挑战会比较大。
因此，亟需一种能够改善眼球追踪的数据质量、稳定性和追踪精度的基于光场感知的眼球追踪系统、方法。
发明内容
鉴于上述问题，本发明的目的是提供一种基于光场感知的眼球追踪系统、方法，以解决在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线会容易相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题。
本发明提供的一种基于光场感知的眼球追踪系统，包括一个红外光照明源、两个光场摄像头和眼球追踪处理器；其中，
所述红外光照明源用于发射双眼能够接收的红外光线；
所述两个光场摄像头用于各自实时捕捉双眼的全光图像的光强度图像数据和所述红外光线的方向数据；
所述眼球追踪处理器用于根据所述光强度图像数据和光线的方向数据获取全光图像的深度信息；依据所述深度信息形成具有曲率的模型，并将所述模型所在区域作为眼球图像平面区域，确定所述眼球图像平面区域的法向量及所述法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪。
优选地，还包括显示元件，
所述显示元件用于向双眼显示虚拟显示内容。
优选地，还包括光学块，
所述光学块用于将所述红外光线从所述显示元件引导至出瞳孔以使双眼接收红外光线。
优选地，还包括处理器，
所述处理器用于接收所述眼球追踪器确定的关于双眼的注视方向的数据，并将所述双眼的注视方向的数据拟合在虚拟头戴的虚拟显示内容中。
优选地，所述红外光照明源的波段为850nm。
优选地，所述红外光照明源与所述光场摄像头的闪烁频率相同步。
优选地，所述光场摄像头为60Hz的摄像头。
本发明还提供一种基于光场感知的眼球追踪方法，基于前述的基于光场感知的眼球追踪系统，包括：
通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据；
根据所述光强度图像数据和光线的方向数据获取全光图像的深度信息；
依据所述深度信息形成具有曲率的模型，并将所述模型作为眼球图像平面区域；
确定所述眼球图像平面区域的法向量及所述法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪。
优选地，将所述模型作为眼球图像平面区域的过程包括：
获取所述模型的质心；
计算所述质心在所述模型内的位置坐标；
将所述位置坐标映射至所述全光图像中以形成所述眼球图像平面区域的中心坐标。
优选地，将所述模型作为眼球图像平面区域的过程还包括：
获取所述模型的最大宽度；
将所述中心坐标作为圆心，将所述最大宽度作为直径形成所述眼球图像平面区域。
从上面的技术方案可知，本发明提供的基于光场感知的眼球追踪系统、方法首先通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据，再根据光强度图像数据和光线的方向数据获取全光图像的深度信息，而后依据深度信息形成具有曲率的模型，并将模型作为眼球图像平面区域，确定眼球图像平面区域的法向量及法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪，如此采用光场摄像头可直接捕捉光线的方向数据，因而不需要依靠角膜球面反射模型或闪烁位置来计算用户眼睛的角膜中心即可眼球追踪，也不需要将外部照明源定位在相对于光场摄像头的特定位置，只需要一个红外光照明源并且该红外光照明源也可随意摆放位置，因而光场摄像头在虚拟现实头戴一体机设备内部的结构定位位置也拥有更多的摆放自由度。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染系统的示意图；
图2为根据本发明实施例的基于单眼球追踪的虚拟现实系统注视渲染方法的流程图。
具体实施方式
在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线会容易相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
针对上述问题，本发明提供一种基于光场感知的眼球追踪系统、方法，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于光场感知的眼球追踪系统，图1对本发明实施例的基于光场感知的眼球追踪系统进行了示例性标示；图2对本发明实施例的基于光场感知的眼球追踪方法进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明实施例的基于光场感知的眼球追踪系统，包括一个红外光照明源101、两个光场摄像头102和眼球追踪处理器103；其中，该红外光照明源101用于发射双眼能够接收的红外光线；该红外光照明源101的规格不作具体限制，在本实施例中该红外光照明源的波段为850nm(纳米)，也可以理解为该红外光照明源发出的红外光的波段为850nm；该两个光场摄像头102用于各自实时捕捉双眼的全光图像的光强度图像数据和红外光线的方向数据；并且在本实施例中明该红外光照明源与该光场摄像头102的闪烁频率相同步；该光场摄像头102的规格不作具体限制，在本实施例中该光场摄像头为60Hz的摄像头。
在图1所示的实施例中该眼球追踪处理器103用于根据光强度图像数据和光线的方向数据获取全光图像的深度信息；依据该深度信息形成具有曲率的模型，并将该模型所在区域作为眼球图像平面区域，确定该眼球图像平面区域的法向量及该法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪。
如图1所示的实施例，该基于光场感知的眼球追踪系统还包括显示元件105，该显示元件105用于向双眼显示虚拟显示内容；还包括光学块(图中未示出)，该光学块用于将红外光线从显示元件引导至出瞳孔以使双眼接收红外光线，换句话说即使用户通过该光学块接收红外光线，以使光场摄像头102拍摄用户眼球中的红外光线。
如图1所示的实施例，该基于光场感知的眼球追踪系统还包括处理器104，该处理器104用于接收该眼球追踪器确定的关于双眼的注视方向的数据以输出给虚拟头戴的应用层进一步开发，在本实施例中，该处理器104用于接收该眼球追踪器确定的关于双眼的注视方向的数据，并将该双眼的注视方向的数据拟合在虚拟头戴的虚拟显示内容中。
通过上述实施方式可以看出，本发明提供的基于光场感知的眼球追踪系统首先通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据，再根据光强度图像数据和光线的方向数据获取全光图像的深度信息，而后依据深度信息形成具有曲率的模型，并将模型作为眼球图像平面区域，确定眼球图像平面区域的法向量及法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪，如此采用光场摄像头可直接捕捉光线的方向数据，因而不需要依靠角膜球面反射模型或闪烁位置来计算用户眼睛的角膜中心即可眼球追踪，也不需要将外部照明源定位在相对于光场摄像头的特定位置，只需要一个红外光照明源并且该红外光照明源也可随意摆放位置，因而光场摄像头在虚拟现实头戴一体机设备内部的结构定位位置也拥有更多的摆放自由度，从而避免了两个红外光源互相干扰的问题，很大程度上改善眼球追踪的数据质量，稳定性和追踪精度。
如图2所示，本发明还提供一种基于光场感知的眼球追踪方法，基于前述的基于光场感知的眼球追踪系统100，包括：
S110：通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据；
S120：根据光强度图像数据和光线的方向数据获取全光图像的深度信息；
S130：依据深度信息形成具有曲率的模型，并将模型作为眼球图像平面区域；
S140：确定眼球图像平面区域的法向量及法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪。
如图2所示，在步骤S130中，将模型作为眼球图像平面区域的过程，包括：
S131-1：获取模型的质心；
S131-2：计算质心在模型内的位置坐标；
S131-3：将位置坐标映射至全光图像中以形成眼球图像平面区域的中心坐标。
在图2所示的实施例中，在步骤S130中，将模型作为眼球图像平面区域的过程还包括：
S132-1：获取模型的最大宽度；
S132-2：将中心坐标作为圆心，将最大宽度作为直径形成眼球图像平面区域。
如上所述，本发明提供的基于光场感知的眼球追踪方法首先通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据，再根据光强度图像数据和光线的方向数据获取全光图像的深度信息，而后依据深度信息形成具有曲率的模型，并将模型作为眼球图像平面区域，确定眼球图像平面区域的法向量及法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪，如此采用光场摄像头可直接捕捉光线的方向数据，因而不需要依靠角膜球面反射模型或闪烁位置来计算用户眼睛的角膜中心即可眼球追踪，也不需要将外部照明源定位在相对于光场摄像头的特定位置，只需要一个红外光照明源并且该红外光照明源也可随意摆放位置，因而光场摄像头在虚拟现实头戴一体机设备内部的结构定位位置也拥有更多的摆放自由度，从而避免了两个红外光源互相干扰的问题，很大程度上改善眼球追踪的数据质量，稳定性和追踪精度。
如上参照附图以示例的方式描述了根据本发明提出的基于光场感知的眼球追踪系统、方法。但是，本领域技术人员应当理解，对于上述本发明所提出的基于光场感知的眼球追踪系统、方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于光场感知的眼球追踪系统，其特征在于，包括一个红外光照明源、两个光场摄像头和眼球追踪处理器；其中，
所述红外光照明源用于发射双眼能够接收的红外光线；
所述两个光场摄像头用于各自实时捕捉双眼的全光图像的光强度图像数据和所述红外光线的方向数据；
所述眼球追踪处理器用于根据所述光强度图像数据和光线的方向数据获取全光图像的深度信息；依据所述深度信息形成具有曲率的模型，并将所述模型所在区域作为眼球图像平面区域，确定所述眼球图像平面区域的法向量及所述法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪。
2.如权利要求1所述的基于光场感知的眼球追踪系统，其特征在于，还包括显示元件，
所述显示元件用于向双眼显示虚拟显示内容。
3.如权利要求2所述的基于光场感知的眼球追踪系统，其特征在于，还包括光学块，
所述光学块用于将所述红外光线从所述显示元件引导至出瞳孔以使双眼接收红外光线。
4.如权利要求3所述的基于光场感知的眼球追踪系统，其特征在于，还包括处理器，
所述处理器用于接收所述眼球追踪器确定的关于双眼的注视方向的数据，并将所述双眼的注视方向的数据拟合在虚拟头戴的虚拟显示内容中。
5.如权利要求4所述的基于光场感知的眼球追踪系统，其特征在于，
所述红外光照明源的波段为850nm。
6.如权利要求5所述的基于光场感知的眼球追踪系统，其特征在于，
所述红外光照明源与所述光场摄像头的闪烁频率相同步。
7.如权利要求6所述的基于光场感知的眼球追踪系统，其特征在于，
所述光场摄像头为60Hz的摄像头。
8.一种基于光场感知的眼球追踪方法，其特征在于，基于如权利要求1-8任一所述的基于光场感知的眼球追踪系统，包括：
通过光场摄像头实时捕捉双眼的全光图像的光强度图像数据和光线的方向数据；
根据所述光强度图像数据和光线的方向数据获取全光图像的深度信息；
依据所述深度信息形成具有曲率的模型，并将所述模型作为眼球图像平面区域；
确定所述眼球图像平面区域的法向量及所述法向量相对光场摄像头的位置以确定双眼的注视方向完成追踪。
9.如权利要求8所述的基于光场感知的眼球追踪方法，其特征在于，将所述模型作为眼球图像平面区域的过程包括：
获取所述模型的质心；
计算所述质心在所述模型内的位置坐标；
将所述位置坐标映射至所述全光图像中以形成所述眼球图像平面区域的中心坐标。
10.如权利要求9所述的基于光场感知的眼球追踪方法，其特征在于，将所述模型作为眼球图像平面区域的过程还包括：
获取所述模型的最大宽度；
将所述中心坐标作为圆心，将所述最大宽度作为直径形成所述眼球图像平面区域。
CN202110339665.5A 2021-03-30 2021-03-30 基于光场感知的眼球追踪系统、方法 Pending CN113138664A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110339665.5A CN113138664A (zh) 2021-03-30 2021-03-30 基于光场感知的眼球追踪系统、方法
PCT/CN2021/116752 WO2022205770A1 (zh) 2021-03-30 2021-09-06 基于光场感知的眼球追踪系统、方法
US17/816,365 US20220365342A1 (en) 2021-03-30 2022-07-29 Eyeball Tracking System and Method based on Light Field Sensing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110339665.5A CN113138664A (zh) 2021-03-30 2021-03-30 基于光场感知的眼球追踪系统、方法

Publications (1)

Publication Number Publication Date
CN113138664A true CN113138664A (zh) 2021-07-20

Family

ID=76810166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110339665.5A Pending CN113138664A (zh) 2021-03-30 2021-03-30 基于光场感知的眼球追踪系统、方法

Country Status (3)

Country Link
US (1) US20220365342A1 (zh)
CN (1) CN113138664A (zh)
WO (1) WO2022205770A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205770A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于光场感知的眼球追踪系统、方法
WO2023206098A1 (zh) * 2022-04-26 2023-11-02 京东方科技集团股份有限公司 光场数据的传输方法、光场通信设备及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
US20180173303A1 (en) * 2016-12-21 2018-06-21 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
CN109766820A (zh) * 2019-01-04 2019-05-17 北京七鑫易维信息技术有限公司 一种眼球追踪装置、头戴式设备和眼部图像获取方法
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质
CN110275304A (zh) * 2019-06-17 2019-09-24 上海宇极文化传播有限公司 一种xr头显及调整xr头显中播放图像的视场的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
CN106874895B (zh) * 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
US10564429B2 (en) * 2018-02-01 2020-02-18 Varjo Technologies Oy Gaze-tracking system using illuminators emitting different wavelengths
US10606349B1 (en) * 2018-06-22 2020-03-31 Facebook Technologies, Llc Infrared transparent backlight device for eye tracking applications
US11435820B1 (en) * 2019-05-16 2022-09-06 Facebook Technologies, Llc Gaze detection pipeline in an artificial reality system
CN113138664A (zh) * 2021-03-30 2021-07-20 青岛小鸟看看科技有限公司 基于光场感知的眼球追踪系统、方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3112922A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing A gaze tracking device and a head mounted device embedding said gaze tracking device
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
US20180173303A1 (en) * 2016-12-21 2018-06-21 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN109766820A (zh) * 2019-01-04 2019-05-17 北京七鑫易维信息技术有限公司 一种眼球追踪装置、头戴式设备和眼部图像获取方法
CN110263657A (zh) * 2019-05-24 2019-09-20 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质
CN110275304A (zh) * 2019-06-17 2019-09-24 上海宇极文化传播有限公司 一种xr头显及调整xr头显中播放图像的视场的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022205770A1 (zh) * 2021-03-30 2022-10-06 青岛小鸟看看科技有限公司 基于光场感知的眼球追踪系统、方法
WO2023206098A1 (zh) * 2022-04-26 2023-11-02 京东方科技集团股份有限公司 光场数据的传输方法、光场通信设备及系统

Also Published As

Publication number Publication date
US20220365342A1 (en) 2022-11-17
WO2022205770A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
JP6902075B2 (ja) 構造化光を用いた視線追跡
US20190333480A1 (en) Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
US6659611B2 (en) System and method for eye gaze tracking using corneal image mapping
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
US10154254B2 (en) Time-of-flight depth sensing for eye tracking
CN109558012B (zh) 一种眼球追踪方法及装置
CN104603673B (zh) 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
JP6026444B2 (ja) データ転送速度を設定することにより２つの眼における少なくとも１つのパラメータを決定する方法及び光学的測定装置
US20190235624A1 (en) Systems and methods for predictive visual rendering
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
CN112805659A (zh) 通过用户分类为多深度平面显示系统选择深度平面
US20110228975A1 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
KR102097390B1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
US20220365342A1 (en) Eyeball Tracking System and Method based on Light Field Sensing
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP2018026120A (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、系统
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
CA3088248C (en) Image generating device, eyeglass lens selection system, method for image generation and program
JP2015123262A (ja) 角膜表面反射画像を利用した視線計測方法及びその装置
CN113080844B (zh) 优选视网膜区的视觉检测与视觉训练设备
CN116338960A (zh) 一种头戴式显示器辅助佩戴附加模块及方法
WO2022093521A1 (en) Systems and methods for visual field testing in head-mounted displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination