CN109542240A - 眼球追踪装置及追踪方法 - Google Patents

Abstract

本申请公开了一种眼球追踪装置及追踪方法，眼球追踪装置，包括屏幕，所述屏幕内部设有红外光触控面板，所述红外光触控面板中心设有红外发射元件；眼球追踪方法，包括：红外发射元件发射红外光，获取眼球转动前后状态时角膜反射的红外光在红外光触控面板上的落点；根据反射的红外光的落点与人眼角膜大小、巩膜表面曲率以及眼球至红外光触控面板距离确定当前人眼的视线中心。根据本申请实施例提供的技术方案，通过利用人眼角膜与巩膜反射红外光强度不同，通过红外发射元件进行红外光的发射进行眼球的追踪。

Description

眼球追踪装置及追踪方法

技术领域

本发明一般涉及虚拟现实和增强现实领域，尤其涉及眼球追踪装置及追踪方法。

背景技术

目前业界常见的眼球追踪技术大都基于虹膜中心、角膜反射光斑技术，由照明子系统、摄像头子系统、算法来实现，具有体积大、功耗高等劣势，并且由于摄像头采样频率低、识别能力弱，不适用于低延时、精确追踪要求的虚拟现实和增强现实领域中。同时，目前的眼球追踪技术精确的只能达到mm级别，对于未来高像素密度的虚拟现实眼镜而言，该尺寸较大。

另一方面，在不具备眼球追踪的虚拟现实设备上，需要对整个画面进行渲染，但是对所需的计算机要求较高，让渲染的分辨率匹配现实世界的分辨率，单眼渲染的分辨率需要达到8k，因此对渲染的计算机硬件要求较高，设备成本较高。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种眼球追踪装置及追踪方法。

第一方面，提供一种眼球追踪装置，包括屏幕，所述屏幕内部设有红外光触控面板，所述红外光触控面板中心设有红外发射元件。

第二方面，提供一种基于上述眼球追踪装置的眼球追踪方法，包括：红外发射元件发射红外光，获取眼球转动前后状态时角膜反射的红外光在红外光触控面板上的落点；

根据反射的红外光的落点与人眼角膜大小、巩膜表面曲率以及眼球至红外光触控面板距离确定当前人眼的视线中心。

根据本申请实施例提供的技术方案，通过利用人眼角膜与巩膜反射红外光强度不同，通过红外发射元件进行红外光的发射进行眼球的追踪。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本实施例中眼球追踪装置结构示意图；

图2为本实施例中红外发射器结构示意图；

图3为本实施例中眼球追踪方法流程图；

图4为本实施例中眼球转动光落点示意图；

图5为本实施例中角膜大小和巩膜表面曲率计算过程光落点示意图；

图6为本实施例提供的一种设备结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本实施例提供一种眼球追踪装置，其特征在于，包括屏幕10，所述屏幕10内部设有红外光触控面板20，所述红外光触控面板20中心设有红外发射元件30。

本实施例中在红外光触控面板上设置红外发射元件，根据人眼角膜与巩膜反射红外光强度不同，对两者分界处反射的红外光进行精确追踪，实现对眼球的追踪；其中包括有屏幕，本实施例中采用高分辨率的AR或者VR屏幕，优选的采用400dpi以上的屏幕，屏幕内部设红外光触控面板，该红外光触控面板的形状与屏幕的形状相匹配，该屏幕与红外光触控面板的像素排列相互匹配。

进一步的，所述红外光触控面板中心安装有红外发射器，所述红外发射器包括柱体31，所述柱体31一端面上设有扩散板33，所述扩散板33连接有光导纤维32。

本实施例中在红外光触控面板中心安装红外发射器，该红外发射器结构如图2所示，光导纤维将外源红外光引至红外光触控面板的中心点，向人眼发射红外光。

进一步的，所述红外发射器安装在所述红外光触控面板上遮光区的位置。

本实施例中将红外发射器安装在红外光触控面板遮光区的位置，这样既可以实现红外发射的功能，也不会对面板的使用和正常显示产生影响。

进一步的，所述红外光触控面板为有机发光二极管显示屏，所述红外光触控面板上集成有红外LED颗粒。

本实施例中还提供了另一种红外发射装置的方式，将红外光触控面板设置为有机发光二极管显示屏，通过集成红外LED颗粒实现红外光发射的功能，同时采用红外LED颗粒使得红外发射的元件尺寸较小，实现粒径为纳米级别的红外发射元件，使得整个装置的结构更加精细。

进一步的，所述红外光触控面板靠近眼球的一侧依次设有光敏电阻层和电流导电层。本实施例中的红外光触控面板通过光敏电阻层进行红外光的识别，通过电流导电层进行电信号的识别，两种共同作用识别信号位置和类型，通过电信号识别结合相应的算法可以计算人眼注视的方向，进行人眼的追踪，可将响应时间减小至毫秒或者微秒级别。

如图3所示，本实施例提供一种基于上述眼球追踪装置的眼球追踪方法，包括：红外发射元件发射红外光，获取眼球转动前后状态时角膜反射的红外光在红外光触控面板上的落点；

根据反射的红外光的落点与人眼角膜大小、巩膜表面曲率以及眼球至红外光触控面板距离确定当前人眼的视线中心。

本实施例通过上述装置上的红外发射元件发射红外光，根据人眼角膜和巩膜发射红外光强度不同，获取人眼在红外光触控面板上的落点，进一步的根据落点和人眼角膜大小等数据确定当前人眼的视线中心，明确了人眼的视线移动，完成对人眼的追踪；并且本实施中的红外发射元件采用红外LDE颗粒可以实现像素级别的视线追踪，实现在人眼视线较小角度范围内进行高清渲染，并根据人眼视线转移实时调整渲染的焦点，可以大大提高帧率，或者能够有效减低设备的成本。

如图4所示，光线的落点位置由三个因素决定，人眼角膜大小、巩膜表面曲率以及眼球至光触控板距离，下面会具体给出上述三个因素的计算方法，当以上三个因素均已知的情况下，眼球由M状态转变为R状态时，当眼球在M状态时，光线2和光线3为角膜与巩膜边界处红外光的路径，当眼球转动至R状态时，角膜与巩膜边界处红外光的路径变为光线4和光线5，其中光线2移动至光线4的位置，光线3移动至光线5的位置，根据反射光在面板上的落点确定当前视线的中心，在此，预先存有数据库，该数据库为各种因素下视线与落点一一对应的关系，可以根据上述落点到数据库中进行匹配，确定实现的中心。

进一步的，还包括首先进行瞳距调整，包括：红外发射元件发射红外光，调整左右眼镜的距离调整瞳距，使得每个眼球角膜对称位置反射的红外光在所述红外触控面板上的落点呈中心对称。

因为每个人的眼球情况不同，使用者在初次使用该装置的时候需要对装置的两个镜片进行瞳距调整，使得该装置符合使用者的需求，调整后人眼瞳孔中心应正视红外光触控面板上的红外发射元件；下面给出一种瞳距调整的实施方式，红外发射元件位于红外光触控面板的中心，首先通过画面引导使用户注视该红外发射元件，即A点，图4中的M状态，根据人眼的角膜、巩膜对红外光反射能力不同，红外光触控面板上识别出两者分界处的红外光2和3，通过调整装置左右眼镜的距离，使得红外光2和3在红外光触控面板上呈中心对称，此时人眼瞳孔与A点即红外发射元件正视，实现了瞳距的自适应调整。

进一步的，所述“眼球至红外光触控面板距离”测量方法包括：人眼正视红外发射元件时，测量所述红外发射元件发射红外光与所述红外光触控面板接收反射光的时间差，计算出眼球外表面至红外光触控面板的距离。

进一步的，所述距离＝时间差*光速/2。

为了实现对眼球的追踪，需要获取上述的三个因素，本实施例中给出了眼球至红外光触控面板距离的计算方法，根据红外发射元件发出红外光和接收到反射光的时间差计算出眼球至红外光触控面板的距离，该距离为时间差*光速/2。

进一步的，所述人眼角膜大小与所述巩膜表面曲率计算方法包括：

人眼分别注视第一点和第二点，调整屏幕使得人眼注视第一点和第二点时人眼距离所述红外触控面板的距离相同；

人眼重新注视第一点，第三点为角膜与巩膜分界处反射的红外光落点，则可获得角膜半径x与曲率半径y的关系：

根据第一点至第三点的光程差可得出

根据上述方程求出巩膜表面曲率半径人眼角膜大小＝2x；

其中R为屏幕半径，d为第一点至第三点光程差的一半，θ为第一点与第三点之间的夹角。

所述第一点为红外发射元件所在位置，第二点为其他任意位置

本实施例中给出了另外两个因素的计算方法，如图5所示，首先，人眼表面1/5为角膜，图中球形上圆弧部分，其余4/5为巩膜，角膜附近的巩膜因曲率半径一致，可以近似看做球形结构，拟合出该曲率半径y下的球形结构，图中所示为截面图，分别让人眼注视A、B点，通过调整屏幕距离人眼的距离，使人眼分别注视A、B点距离一致，如此，人眼实际为巩膜拟合出的球形结构，圆心与屏幕圆心重合，屏幕也为球形结构；

人眼重新注视A点，C点为角膜与巩膜分界处巩膜反射的红外光落点，根据A、C点的位置关系，可以得知A、C两点间的夹角θ，如上图所示。

首先可以得出角膜半径x与曲率半径y的关系：

根据脉冲红外光特点，可以测算出A点至C点的光程差，该数值的一半即为A点至人眼表面的距离d，由于屏幕半径R已知，根据余弦定理，可以得出：

根据②建立关于y的一元二次方程，求解得出y值，则巩膜表面曲率半径

再由①求出x，则人眼角膜大小＝2x。

图6示出了根据本申请实施例提供的一种设备的结构示意图。

如图6所示，作为另一方面，本申请还提供了一种设备300，包括一个或多个中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

特别地，根据本公开的实施例，上文参考图3描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行分拣配置方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的异常账号识别方法。

例如，所述电子设备可以实现如图3中所示步骤：红外发射元件发射红外光，获取眼球转动前后状态时角膜反射的红外光在红外光触控面板上的落点；

根据反射的红外光的落点与人眼角膜大小、巩膜表面曲率以及眼球至红外光触控面板距离确定当前人眼的视线中心。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种眼球追踪装置，其特征在于，包括屏幕，所述屏幕内部设有红外光触控面板，所述红外光触控面板中心设有红外发射元件。

2.根据权利要求1所述的眼球追踪装置，其特征在于，所述红外光触控面板中心安装有红外发射器，所述红外发射器包括柱体，所述柱体一端面上设有扩散板，所述扩散板连接有光导纤维。

3.根据权利要求2所述的眼球追踪装置，其特征在于，所述红外发射器安装在所述红外光触控面板上遮光区的位置。

4.根据权利要求1所述的眼球追踪装置，其特征在于，所述红外光触控面板为有机发光二极管显示屏，所述红外光触控面板上集成有红外LED颗粒。

5.根据权利要求1-4任一所述的眼球追踪装置，其特征在于，所述红外光触控面板靠近眼球的一侧依次设有光敏电阻层和电流导电层。

6.一种基于权利要求1-5任一所述的眼球追踪装置的眼球追踪方法，其特征在于，包括：红外发射元件发射红外光，获取眼球转动前后状态时角膜反射的红外光在红外光触控面板上的落点；

根据反射的红外光的落点与人眼角膜大小、巩膜表面曲率以及眼球至红外光触控面板距离确定当前人眼的视线中心。

7.根据权利要求6所述的眼球追踪方法，其特征在于，还包括首先进行瞳距调整，包括：红外发射元件发射红外光，调整左右眼镜的距离调整瞳距，使得每个眼球角膜对称位置反射的红外光在所述红外触控面板上的落点呈中心对称。

8.根据权利要求6所述的眼球追踪方法，其特征在于，所述“眼球至红外光触控面板距离”测量方法包括：人眼正视红外发射元件时，测量所述红外发射元件发射红外光与所述红外光触控面板接收反射光的时间差，计算出眼球外表面至红外光触控面板的距离。

9.根据权利要求8所述的眼球追踪方法，其特征在于，所述距离＝时间差*光速/2。

10.根据权利要求6所述的眼球追踪方法，其特征在于，所述人眼角膜大小与所述巩膜表面曲率计算方法包括：

人眼分别注视第一点和第二点，调整屏幕使得人眼注视第一点和第二点时人眼距离所述红外触控面板的距离相同；

人眼重新注视第一点，第三点为角膜与巩膜分界处反射的红外光落点，则可获得角膜半径x与曲率半径y的关系：

根据第一点至第三点的光程差可得出

根据上述方程求出巩膜表面曲率半径人眼角膜大小＝2x；

其中，R为屏幕半径，d为第一点至第三点光程差的一半，θ为第一点与第三点之间的夹角。