CN107515466A - 一种眼球追踪系统和眼球追踪方法 - Google Patents

Abstract

本申请公开一种眼球追踪系统及其眼球追踪方法，涉及视网膜投影技术领域，包括：照明光源，用于向光束扫描器发射照明光线；光束扫描器，用于将照明光线投射在入瞳光学装置上；入瞳光学装置，用于对照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；光电探测器，用于采集眼球反射光线的接收光功率值，并将接收光功率值发送给控制器；控制器，用于接收光电探测器发送的接收光功率值，根据接收光功率值，确定与接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。

Description

一种眼球追踪系统和眼球追踪方法

技术领域

本申请涉及视网膜投影技术领域，尤其涉及一种眼球追踪系统和眼球追踪方法。

背景技术

视网膜投影指显示光线通过波长选择性反射直接入瞳，在视网膜上形成虚拟显示画面，视网膜投影与传统增强现实(Augmented Reality，AR)或虚拟现实(VirtualReality，VR)显示技术相比，具有不遮挡视野、光利用率高、光路简单等一系列优势，被业界公认为是当前AR或VR(以下简称“AR/VR”)产品体验革新的关键技术之一。

根据图像源的不同，视网膜投影又分为面板类视网膜投影和扫描类视网膜投影两种。其中，扫描类视网膜投影中的核心技术是眼球追踪技术。目前业界常见的眼球追踪技术包括基于瞳孔中心(Pupil Center，PC)和眼角膜反射光斑中心(Corneal Reflection，CR)的眼球追踪技术，简称PCCR技术，还包括基于虹膜中心(Iris Center，IC)和眼角膜反射光斑中心CR的眼球追踪技术，简称ICCR技术。

PCCR技术和ICCR技术的体系主要由照明子系统、摄像头(Camera)子系统、算法组成。PCCR和ICCR都是基于Camera子系统和照明子系统，结合相应的算法计算出人眼注视方向，具有体积大、功耗高、价格贵的缺点，而且由于Camera采样频率较低，导致整个系统的工作频率也很低，不适合有低延时要求的系统。针对此问题有待解决。

发明内容

本申请提供一种眼球追踪系统和眼球追踪方法，用以解决现有基于PCCR和ICCR的眼球追踪方法存在的采样频率低和不满足低时延要求的技术问题。

第一方面，本申请提供一种眼球追踪系统，包括：照明光源，入瞳光学装置，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；所述照明光源，用于向所述光束扫描器发射照明光线；所述光束扫描器，用于将所述照明光线投射在所述入瞳光学装置上；所述入瞳光学装置，用于对所述照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现或被折射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

上述眼球追踪系统中，由照明光源、光束扫描器和入瞳光学装置构成的照明体系对眼球进行照明时一部分照明光线会被所述眼球反射，这些被眼球反射的照明光线称为眼球反射光线，由于人的眼球在不同注视方向时眼球表面的外形不同，对照明光线的反射光线角度不同，因此，不同的眼球注视方向对应不同眼球反射光线。本申请通过光电探测器来采集眼球反射光线的接收光功率值，并基于采集的接收光功率值对应的眼球追踪算法确定眼球当前注视方向。其中，接收光功率值对应的眼球追踪算法包括实时运行部分和离线训练部分，通过离线训练可以得到多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，通过实时运行可以计算与采集的所述接收光功率值满足设定函数关系的光功率参照值，然后根据实时运行得到的光功率参照值和离线训练的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与实时运行部分得到的光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。本申请由光电探测器采集接收光功率，光电探测器是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于上述眼球追踪系统中由照明光源、光束扫描器和入瞳光学装置构成的照明体系，本申请利用光电探测器采集眼球反射光线的光功率来进行眼球追踪，相对于现有技术高采集频率有利于实现低延时。

在一个可能的设计中，所述眼球追踪系统还包括显示光源，所述显示光源，用于向所述光束扫描器发射显示光线；所述光束扫描器，还用于将所述显示光线投射到所述入瞳光学装置上；所述入瞳光学装置，还用于将投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像。

在上述眼球追踪系统中，照明光源、光束扫描器和入瞳光学装置构成了眼球的照明体系，显示光源、光束扫描器和入瞳光学装置构成了眼球的视网膜投影系统，照明光线对眼球进行照明的照明光路是通过复用显示光线经光束扫描器和入瞳光学装置的投射后在眼球视网膜成像的光路得到的，上述眼球追踪系统在现有的视网膜投影系统的基础上通过增加照明光源和光电探测器即可得到眼球追踪系统，并且该眼球追踪系统除了可以实现眼球追踪功能以外，还具有视网膜投影成像功能。

在一个可能的设计中，所述入瞳光学装置上设置有第一功能膜；其中，所述第一功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段；所述第一功能膜还用于对投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像，所述显示光线的波长位于第二波段，所述第一波段和所述第二波段之间没有交集。

现有技术中的入瞳光学装置上的功能膜只能实现对投射在入瞳光学装置上的显示光线进行反射，被反射后的显示光线穿过所述眼球的瞳孔后在视网膜成像。相对于现有的视网膜投影系统，本申请上述眼球追踪系统中的入瞳光学装置上设置的第一功能膜能针对显示光线和照明光线进行不同程度的反射、复现或折射。第一功能膜能够对投射在入瞳光学装置上的显示光线进行反射、复现或折射后，使被反射、被复现或被折射后的显示光线穿过眼球的瞳孔后在视网膜成像，还能够对投射在入瞳光学装置上的照明光线进行反射、复现或折射后，使被反射、被复现或被折射后的照明光线以预设角度覆盖眼球。

在一个可能的设计中，所述第一功能膜包括层叠设置的第一曲面反射膜和第二曲面反射膜；所述第一曲面反射膜的曲率大于所述第二曲面反射膜的曲率，其中，所述第一曲面反射膜和所述第二曲面反射膜均能够对选择性波段的光线进行反射；所述第一曲面反射膜为单层膜结构，且所述第一曲面反射膜用于对所述照明光线进行反射；所述第二曲面反射膜用于对所述显示光线进行反射。

需要说明的是，所谓的所述第一曲面反射膜和所述第二曲面反射膜均能够对选择性波段的光线进行反射，也就是说，所述第一曲面反射膜和所述第二曲面反射膜均能够对具有选择性波长的光线进行反射。也即，所述第一曲面反射膜和所述第二曲面反射膜并非对任意光线都能够进行反射，而是能对波长位于特定波段内的光线进行反射，而对波长位于特定波段之外的光线不能进行反射。在本实施例中，第一曲面反射膜能够对波长位于第一波段内的照明光线进行反射，第二曲面反射膜能够对波长处于第二波段内的显示光线进行反射。

在一个可能的设计中，所述第一功能膜包括层叠的第一全息膜和第二全息膜，所述第一全息膜用于对接收的所述照明光线进行复现，从而产生对应于接收的所述照明光线的被复现光；所述第二全息膜包括层叠的第一子全息膜、第二子全息膜和第三子全息膜，所述第二波段包括第一子波段、第二子波段和第三子波段，所述第一子全息膜用于对接收的位于所述第一子波段的所述显示光线进行复现，从而产生第一被复现光；所述第二子全息膜用于对接收的位于所述第二子波段的所述显示光线进行复现，从而产生第二被复现光；所述第三子全息膜用于对接收的位于所述第三子波段的所述显示光线进行复现，从而产生第三被复现光。

需要说明的是，本申请所述的全息膜是微纳米级的薄膜，并且该全息膜的折射率或/和透光率是变化的。具体的，第一全息膜是对光学聚合物基材分别按照所述照明光线的波长的干涉条纹进行光刻处理形成的；第二全息膜是对光学聚合物基材分别按照所述显示光线的波长的干涉条纹进行光刻处理形成的。

进一步需要说明的是，第一子全息膜是对光学聚合物基材分别按照位于所述第一子波段内的所述显示光线的波长的干涉条纹进行光刻处理形成的。第二子全息膜是对光学聚合物基材分别按照位于所述第二子波段内的所述显示光线的波长的干涉条纹进行光刻处理形成的。第三子全息膜是对光学聚合物基材分别按照位于所述第三子波段内的所述显示光线的波长的干涉条纹进行光刻处理形成的。

所述第一全息膜的全息干涉条纹对接收的所述照明光线进行复现，并产生对应于接收的所述照明光线的被复现光；所述第一子全息膜的全息干涉条纹对接收的位于所述第一子波段的所述显示光线进行复现，并产生第一被复现光；所述第二子全息膜的全息干涉条纹对接收的位于所述第二子波段的所述显示光线进行复现，并产生第二被复现光；所述第三子全息膜的全息干涉条纹对接收的位于所述第三子波段的所述显示光线进行复现，并产生第三被复现光。产生的对应于接收的所述照明光线的被复现光对眼球进行照明，产生的第一被复现光、第二被复现光和第三被复现光穿过所述眼球的瞳孔后在视网膜成像。

在一个可能的设计中，所述第一功能膜包括层叠的第一衍射光波导微纳结构和第二衍射光波导微纳结构，所述第一衍射光波导微纳结构用于对所述照明光线进行折射或反射；所述第二衍射光波导微纳结构包括层叠的第一子衍射光波导微纳结构、第二子衍射光波导微纳结构和第三子衍射光波导微纳结构，所述第二波段包括第一子波段、第二子波段和第三子波段，第一子衍射光波导微纳结构用于对接收的位于所述第一子波段的所述显示光线进行折射或反射，从而产生第一被折射光，第二子衍射光波导微纳结构用于对接收的位于所述第二子波段的所述显示光线进行折射或反射，从而产生第二被折射光，

第三子衍射光波导微纳结构用于对接收的位于所述第三子波段的所述显示光线进行折射或反射，从而产生第三被折射光。

需要说明的是，本申请的第一功能膜是微纳米级的波导结构，并且该波导结构的折射率或/和透光率是变化的。具体的，第一衍射光波导微纳结构是对光学聚合物基材分别按照所述照明光线的波长的衍射条纹进行光刻处理形成的；第二衍射光波导微纳结构是对光学聚合物基材分别按照所述显示光线的波长的衍射条纹进行光刻处理形成的。

进一步需要说明的是，第一子衍射光波导微纳结构是对光学聚合物基材分别按照位于所述第一子波段内的所述显示光线的波长的衍射条纹进行光刻处理形成的。第二子衍射光波导微纳结构是对光学聚合物基材分别按照位于所述第二子波段内的所述显示光线的波长的衍射条纹进行光刻处理形成的。第三子衍射光波导微纳结构是对光学聚合物基材分别按照位于所述第三子波段内的所述显示光线的波长的衍射条纹进行光刻处理形成的。

进一步需要说明的是，所述第一衍射光波导微纳结构的衍射条纹对接收的所述照明光线进行折射或反射，并产生对应于接收的所述照明光线的被折射光，产生的对应于接收的所述照明光线的被折射光对眼球进行照明；所述第一子衍射光波导微纳结构的衍射条纹对接收的位于所述第一子波段的所述显示光线进行折射或反射，并产生第一被折射光，产生的第一被折射光穿过所述眼球的瞳孔后在视网膜成像；所述第二子衍射光波导微纳结构的衍射条纹对接收的位于所述第二子波段的所述显示光线进行折射或反射，并产生第二被折射光，产生的第二被折射光穿过所述眼球的瞳孔后在视网膜成像；所述第三子衍射光波导微纳结构的衍射条纹对接收的位于所述第三子波段的所述显示光线进行折射或反射，并产生第三被折射光，产生的第三被折射光穿过所述眼球的瞳孔后在视网膜成像。

在一个可能的设计中，所述显示光线为红光、绿光和蓝光三种单色光的调制光，所述显示光学的波长包括所述三种单色光的波长，其中，所述红光的波长位于所述第一子波段，所述绿光的波长位于所述第二子波段，所述蓝光的波长位于所述第三子波段。

在一个可能的设计中，所述照明光线为红外或近红外光，所述红外光或所述近红外光的波长位于所述第一波段内。

在一个可能的设计中，所述照明光源和所述显示光源呈一体式封装。

在一个可能的设计中，所述照明光源和所述显示光源一体式封装的光源为发射红、绿、蓝三基色激光和红外或近红外激光的多谐振腔一体式封装的泵浦激光器。

在一个可能的设计中，所述照明光源和所述显示光源一体式封装的光源由发射红外或近红外激光的半导体激光芯片和分别发射红、绿、蓝三基色激光的半导体激光芯片一体式封装而成。

在一个可能的设计中，所述照明光源和所述显示光源一体式封装的光源由发射红外或近红外光的发光二极管和分别发射红、绿、蓝三基色光的发光二极管一体式封装而成。

在一个可能的设计中，所述显示光源与所述控制器电连接；所述控制器用于向所述显示光源发送第一指示信号，所述第一指示信号用于指示所述显示光源在第M个调制周期内调制出第M帧图像的K个像素点，所述M为大于或等于1的整数，所述K为大于或等于1的整数；所述显示光源用于接收所述第一指示信号，根据所述第一指示信号在所述第M个调制周期内调制出所述K个像素点，并将所述K个像素点对应的调制光输出，所述K个像素点中每一像素点对应的所述调制光为所述显示光线；其中，在所述M取不同的数值时，所述K个像素点中第P个像素点的调制时刻和所述第M个调制周期的起始调制时刻之间的时间间隔是固定不变的，所述P取大于或等于1且小于或等于K的整数。

需要说明的是，若第1个调制周期的起始调制时刻为T₁₁，K个像素点对应的调制时刻分别为T₁₁，T₁₂，T₁₃……T_1K，则起始调制时刻T₁₁分别与T₁₂，T₁₃……T_1K.之间的时间间隔固定。

进一步需要说明的是，若第1个调制周期的第P个像素点的调制时刻与第1个调制周期的起始调制时刻的时间间隔为T_1P-T₁₁，若第2个调制周期的第P个像素点的调制时刻与第2个调制周期的起始调制时刻的时间间隔为T_2P-T₂₁，则T_1P-T₁₁＝T_2P-T₂₁，P为大于或等于1且小于或等于K的整数。

在一个可能的设计中，所述光束扫描器与所述控制器电连接；所述控制器用于向所述光束扫描器发送第二指示信号，所述第二指示信号用于指示所述光束扫描器在所述第M个调制周期内扫描所述第M帧图像中的所述K个像素点对应的调制光；所述光束扫描器用于接收所述第二指示信号，根据所述第二指示信号在所述第M个调制周期内扫描所述K个像素点对应的调制光，并将扫描后的所述K个像素点对应的调制光投射在所述入瞳光学装置上。

需要说明的是，所述光束扫描器扫描完任意一帧图像中的所述K个像素点对应的调制光的时长为一个扫描周期，光束扫描器在第M个扫描周期内扫描第M帧图像，光束扫描器的每一扫描周期的时长与所述显示光源的每一调制周期的时长是相等的，每一所述扫描周期对应一个所述调制周期，且每一所述扫描周期的起始扫描时刻与对应的所述调制周期的起始调制时刻之间的时间间隔，与每一所述扫描周期的最后扫描时刻与对应的所述调制周期的最调制时刻之间的时间间隔相等。

在一个可能的设计中，所述照明光源与所述控制器电连接；所述控制器还用于向所述照明光源发送第三指示信号，所述第三指示信号用于指示所述照明光源发射所述照明光线，所述照明光源在每个调制周期内发射的所述照明光线包括W个照明时刻，其中，所述调制周期为所述显示光源的调制周期，在每一所述调制周期内，第Z个照明时刻与所述第Z个照明时刻所在调制周期的起始调制时刻之间的时间间隔均是相同的，所述Z取大于或等于1且小于或等于W的整数，所述W为大于或等于K的正整数；所述照明光源用于接收所述第三指示信号，并根据所述第三指示信号向所述光束扫描器发射所述照明光线；所述光束扫描器还用于根据所述第二指示信号，在扫描所述K个像素点时同步扫描所述照明光线，并扫描后的所述照明光线投射在所述入瞳光学装置上。

需要说明的是，在所述W等于K时，则在所述显示光源对所述K个像素点内的每一像素点进行调制时，所述照明光源均会提供照明光线。

需要说明的是，在所述W大于K时，在所述显示光源对所述K个像素点内的每一像素点进行调制时，所述照明光源均会提供照明光线，而且在所述显示光源对所述K个像素点之外的其他像素点进行调制的时候，所述照明光源也可以提供照明光线。

需要说明的是，所述照明光源也可以一直发射照明光线，而不关注所述显示光源是否对所述K个像素点进行调制，也不关注所述显示光源是否对所述K个像素点之外的其他像素点进行调制。

需要说明的是，若在第1个调制周期内，第Z个照明时刻T_1Z与第1个调制周期的起始调制时刻T₁₁之间的时间间隔为T_1Z-T₁₁，若在第2个调制周期内，第Z个照明时刻T_2Z与第2个调制周期的起始调制时刻T₂₁之间的时间间隔为T_2Z-T₂₁，则T_1Z-T₁₁＝T_2Z-T₂₁。

在一个可能的设计中，所述控制器还用于向所述光电探测器发送第四指示信号，所述第四指示信号用于指示所述光电探测器在第H个探测周期采集J个所述接收光功率值；所述H为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器用于接收所述第四指示信号，并根据所述第四指示信号在所述第H个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值，确定出所述眼球的当前注视方向；在所述H取不同的数值时，所述J个所述接收光功率值中的第L个接收光功率值的采集时刻和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

需要说明的是，若第1个探测周期的起始采集时刻为T₁₁，J个接收光功率值对应的采集时刻分别为T₁₁，T₁₂，T₁₃……T_1J，则起始采集时刻T₁₁分别与T₁₂，T₁₃……T_1J之间的时间间隔固定。

进一步需要说明的是，若第1个探测周期的第L个像素点的采集时刻与第1个探测周期的起始采集时刻的时间间隔为T_1L-T₁₁，若第2个探测周期的第L个像素点的采集时刻与第2个探测周期的起始采集时刻的时间间隔为T_2L-T₂₁，则T₁L-T₁₁＝T_2L-T₂₁。

在一个可能的设计中，所述探测周期的时长与所述调制周期的时长相等，每一所述探测周期对应一个所述调制周期，且每一所述探测周期的起始采集时刻和对应的所述调制周期的起始调制时刻是相同的；在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第一时间间隔；所述显示光源在所述采集时刻调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第二时间间隔；所述第一时间间隔等于所述第二时间间隔。

例如，第1个调制周期对应第1个探测周期，在第1个探测周期中，第1个调制周期的起始调制时刻和第1个探测周期的起始采集时刻都为T0，光电探测器采集的J个接收功率值中的第L个接收光功率值的采集时刻TL与第1个探测周期的起始采集时刻T0之间的固定时间间隔为TL-T0，显示光源在采集时刻TL调制出的第L个像素点的调制时刻TL’与第1个调制周期的起始调制时刻T0之间的固定间隔为TL’-T0，则TL-T0＝TL’-T0。

在一个可能的设计中，所述探测周期的时长大于所述调制周期的时长，每一所述探测周期的时长等于多个连续的所述调制周期的时长之和，且每一所述探测周期的起始采集时刻和对应的所述多个连续的所述调制周期中发生时刻最早的起始调制时刻是相同的；在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第三时间间隔；所述显示光源在所述采集时刻T_L调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第四时间间隔；所述第三时间间隔等于所述第四时间间隔。

在一个可能的设计中，每一探测周期的时长均等于F1个连续的调制周期的时长之和，F1为大于或等于2的整数。

在一个可能的设计中，多个探测周期中每一探测周期的时长等于多个连续的调制周期的时长之和，且所述多个探测周期中至少包括第一探测周期和第二探测周期，其中，该第一探测周期的时长等于F2个连续的调制周期的时长之和，该第二探测周期的时长等于F3个连续的调制周期的时长之和，其中F2和F3均为大于或等于2的整数且F2不等于F3。

在一个可能的设计中，所述控制器用于：接收所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值；获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；根据所述发射光功率值和所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

需要说明的是，每个光功率参照值对应一个采集时刻，第H个探测周期的光功率参照值包括第H个探测周期中的J个光功率参照值与对应的接收光功率参照值的采集时刻的对应关系，即J个光功率参照值与J个采集时刻存在一对一的对应关系。预先存储的每一探测周期的光功率参照值包括每一探测周期的J个采集时刻与J个光功率参照值的一对一的对应关系。目标探测周期的光功率参照值与第H个探测周期的光功率参照值相似度最大是指目标探测周期中J个采集时刻与J个光功率参照值的对应关系，与第H个探测周期中J个采集时刻与J个光功率参照值的对应关系的相似度最大。任意一个探测周期中J个光功率参照值与J个采集时刻的一对一的对应关系也可以理解为在该探测周期中先后采集的J个光功率参照值随J个采集时刻的变化曲线。

在一个可能的设计中，所述控制器用于：获取所述光电探测器发送的在所述第H个探测周期内采集的所述J个所述接收光功率值；根据所述J个所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大接收光功率值，以及确定探测周期所述第H个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述入瞳光学装置上设置有第二功能膜；其中，所述第二功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段。

在一个可能的设计中，所述第二功能膜为能够对位于所述第一波段的照明光线进行反射的曲面反射膜。

在一个可能的设计中，所述第二功能膜为能够对投射的所述照明光线进行复现的全息膜。

在一个可能的设计中，所述第二功能膜为能够对位于所述第一波段的照明光线进行折射或反射的衍射光波导微纳结构。

在一个可能的设计中，所述照明光线为红外或近红外光，所述红外光或所述近红外光的波长位于所述第一波段内。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述照明光源为发射红外或近红外激光的谐振腔泵浦激光器。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述照明光源为发射红外或近红外激光的半导体激光芯片。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述照明光源为发射红外或近红外光的发光二极管。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述照明光源与所述控制器电连接；所述控制器还用于向所述照明光源发送第五指示信号，所述第五指示信号用于指示所述照明光源发射所述照明光线；所述照明光源用于接收所述第五指示信号，并根据所述第五指示信号向所述光束扫描器发射所述照明光线。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述光电探测器与所述控制器电连接；所述控制器还用于向所述光电探测器发送第六指示信号，所述第六指示信号用于指示所述光电探测器在第H’个探测周期采集J个所述接收光功率值，所述H’为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器用于接收所述第六指示信号，并根据所述第六指示信号在所述第H’个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H’个探测周期内采集所述J个所述接收光功率值，确定出所述眼球的当前注视方向；在所述H’取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述光束扫描器与所述控制器电连接；所述控制器用于向所述光束扫描器发送第七指示信号，所述第七指示信号用于指示所述光束扫描器在所述第H’个探测周期内扫描所述照明光线；所述光束扫描器用于接收所述第七指示信号，根据所述第七指示信号在所述所述第H’个探测周期内扫描所述照明光线，并将扫描后的所述照明光线投射在所述入瞳光学装置上。

在一个可能的设计中，所述照明光源在每个探测周期内发射的所述照明光线包括W个照明时刻；在任意一个探测周期中，所述W个照明时刻中的第F个照明时刻与所述W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于所述光电探测器在所述探测周期中采集的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的时间间隔。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述控制器用于：接收所述光电探测器在所述第H’个探测周期内采集的所述J个所述接收光功率值；获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；根据所述发射光功率值和所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H’个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述控制器用于：获取所述光电探测器发送的在所述第H’个探测周期内采集的所述J个所述接收光功率值；根据所述J个所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大接收光功率值，以及确定探测周期所述第H’个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

第二方面本申请提供一种眼球追踪系统，包括：照明光源，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；所述照明光源，用于向所述光束扫描器发射照明光线；所述光束扫描器，用于将所述照明光线进行投射，使被投射后的所述照明光线以预设角度对眼球进行照明；所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被投射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

上述眼球追踪系统中，由于眼球追踪系统的照明光源和光束扫描器构成的照明体系对眼球进行照明时一部分照明光线会被所述眼球反射，这些被眼球反射的照明光线称为眼球反射光线，由于人的眼球在不同注视方向时眼球表面的外形不同，对照明光线的反射光线角度不同，因此，不同的眼球注视方向对应不同眼球反射光线。本申请通过光电探测器来采集眼球反射光线的接收光功率值，并基于采集的接收光功率值对应的眼球追踪算法确定眼球当前注视方向。其中，接收光功率值对应的眼球追踪算法包括实时运行部分和离线训练部分，通过离线训练可以得到多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，通过实时运行可以计算与采集的所述接收光功率值满足设定函数关系的光功率参照值，然后根据实时运行得到的光功率参照值和离线训练的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与实时运行部分得到的光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。本申请由光电探测器采集接收光功率，光电探测器是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于上述眼球追踪系统中由照明光源和光束扫描器构成的照明体系，本申请利用光电探测器采集眼球反射光线的光功率来进行眼球追踪，相对于现有技术高采集频率有利于实现低延时。

在一个可能的设计中，所述照明光线为红外或近红外光。

在一个可能的设计中，所述照明光源与所述控制器电连接；所述控制器还用于向所述照明光源发送第八指示信号，所述第八指示信号用于指示所述照明光源发射所述照明光线；所述照明光源用于接收所述第八指示信号，并根据所述第八指示信号向所述光束扫描器发射所述照明光线。

在一个可能的设计中，所述光电探测器与所述控制器电连接；所述控制器还用于向所述光电探测器发送第九指示信号，所述第九指示信号用于指示所述光电探测器在第H’个探测周期采集J个所述接收光功率值，所述H’为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器用于接收所述第九指示信号，并根据所述第九指示信号在所述第H’个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H’个探测周期内采集所述J个所述接收光功率值，确定出所述眼球的当前注视方向；在所述H’取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻和所述第H’个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

在一个可能的设计中，所述光束扫描器与所述控制器电连接；所述控制器用于向所述光束扫描器发送第十指示信号，所述第十指示信号用于指示所述光束扫描器在所述第H’个探测周期内扫描所述照明光线；所述光束扫描器用于接收所述第十指示信号，根据所述第十指示信号在所述第H’个探测周期内扫描所述照明光线，并将扫描后的所述照明光线进行投射，使被投射后的所述照明光线以预设角度对所述眼球进行照明。

在一个可能的设计中，所述照明光源在每个所述探测周期内发射的所述照明光线包括W个照明时刻；在任意一个探测周期中，所述W个照明时刻中的第F个照明时刻与所述W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于所述光电探测器在所述探测周期中采集的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的时间间隔。

在一个可能的设计中，所述控制器用于：接收所述光电探测器在所述第H’个探测周期内采集的所述J个所述接收光功率值；获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；根据所述发射光功率值和所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H’个探测周期的光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

需要说明的是，每个光功率参照值对应一个采集时刻，第H’个探测周期的光功率参照值包括第H’个探测周期中的J个光功率参照值与对应的接收光功率参照值的采集时刻的对应关系，即J个光功率参照值与J个采集时刻存在一对一的对应关系。预先存储的每一探测周期的光功率参照值包括每一探测周期的J个采集时刻与J个光功率参照值的一对一的对应关系。目标探测周期的光功率参照值与第H’个探测周期的光功率参照值相似度最大是指目标探测周期中J个采集时刻与J个光功率参照值的对应关系，与第H’个探测周期中J个采集时刻与J个光功率参照值的对应关系的相似度最大。任意一个探测周期中J个光功率参照值与J个采集时刻的一对一的对应关系也可以理解为在该探测周期中先后采集的J个光功率参照值随J个采集时刻的变化曲线。

在一个可能的设计中，所述控制器用于：获取所述光电探测器发送的在所述第H’个探测周期内采集的所述J个所述接收光功率值；根据所述J个所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大值；确定所述第H’个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

第三方面，本申请提供一种眼球追踪方法，应用于第一方面提供的眼球追踪系统中，所述方法包括：照明光源向光束扫描器发射照明光线；所述光束扫描器将所述照明光线投射在入瞳光学装置上，使所述入瞳光学装置对所述照明光线进行反射或复现，使被反射或被复现后的照明光线对眼球进行照明；光电探测器采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

上述眼球追踪方法中，由于眼球追踪系统的照明光源、光束扫描器和入瞳光学装置构成的照明体系对眼球进行照明时一部分照明光线会被所述眼球反射，这些被眼球反射的照明光线称为眼球反射光线，由于人的眼球在不同注视方向时眼球表面的外形不同，对照明光线的反射光线角度不同，因此，不同的眼球注视方向对应不同眼球反射光线。本申请通过光电探测器来采集眼球反射光线的接收光功率值，并基于采集的接收光功率值对应的眼球追踪算法确定眼球当前注视方向。其中，接收光功率值对应的眼球追踪算法包括实时运行部分和离线训练部分，通过离线训练可以得到多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，通过实时运行可以计算与采集的所述接收光功率值满足设定函数关系的光功率参照值，然后根据实时运行得到的光功率参照值和离线训练的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与实时运行部分得到的光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。本申请由光电探测器采集接收光功率，光电探测器是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于上述眼球追踪系统中由照明光源、光束扫描器和入瞳光学装置构成的照明体系，本申请利用光电探测器采集眼球反射光线的光功率来进行眼球追踪，相对于现有技术高采集频率有利于实现低延时。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述方法还包括：显示光源向所述光束扫描器发射显示光线；所述光束扫描器将所述显示光线投射到所述入瞳光学装置上；所述入瞳光学装置将投射在所述入瞳光学装置上的显示光线进行反射或复现，使被反射或被复现后的显示光线穿过所述眼球的瞳孔后在视网膜成像。

在眼球追踪系统包括显示光源时，照明光源、光束扫描器和入瞳光学装置构成了眼球的照明体系，显示光源、光束扫描器和入瞳光学装置构成了眼球的视网膜投影系统，照明光线对眼球进行照明的照明光路是通过复用显示光线经光束扫描器和入瞳光学装置的投射后在眼球视网膜成像的光路得到的，上述眼球追踪系统在现有的视网膜投影系统的基础上通过增加照明光源和光电探测器即可得到眼球追踪系统，并且该眼球追踪系统除了可以实现眼球追踪功能以外，还具有视网膜投影成像功能。

在一个可能的设计中，所述显示光源向所述光束扫描器发射显示光线，具体包括：所述控制器向所述显示光源发送第一指示信号，所述第一指示信号用于指示所述显示光源在第M个调制周期内调制出第M帧图像的K个像素点，所述M为大于或等于1的整数，所述K为大于或等于1的整数；所述显示光源接收所述第一指示信号，根据所述第一指示信号在所述第M个调制周期内调制出所述K个像素点，并将所述K个像素点对应的调制光输出，所述K个像素点中每一像素点对应的所述调制光为所述显示光线；其中，在M取不同的数值时，所述K个像素点中第P个像素点的调制时刻和所述第M个调制周期的起始调制时刻之间的时间间隔是固定不变的，所述P取大于或等于1且小于或等于K的整数。

在一个可能的设计中，所述光束扫描器将所述显示光线投射到所述入瞳光学装置上，具体包括：所述控制器向所述光束扫描器发送第二指示信号，所述第二指示信号用于指示所述光束扫描器在所述第M个调制周期内扫描所述第M帧图像中的所述K个像素点对应的调制光；所述光束扫描器接收所述第二指示信号，根据所述第二指示信号在所述第M个调制周期内扫描所述K个像素点对应的调制光，并将扫描后的所述K个像素点对应的调制光投射在所述入瞳光学装置上。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述照明光源向光束扫描器发射照明光线，具体包括：所述控制器向所述照明光源发送第三指示信号，所述第三指示信号用于指示所述照明光源发射所述照明光线；所述照明光源接收所述第三指示信号，并根据所述第三指示信号向所述光束扫描器发射所述照明光线；所述照明光源在每个调制周期内发射的所述照明光线包括W个照明时刻，所述调制周期为所述显示光源的调制周期，在每一所述调制周期内，第Z个照明时刻与所述第Z个照明时刻所在调制周期的起始调制时刻之间的时间间隔均是相同的；所述Z取大于或等于1且小于或等于W的整数，所述W为大于或等于K的正整数；所述光束扫描器将所述照明光线投射在所述入瞳光学装置上，包括：所述光束扫描器根据所述第二指示信号，在扫描所述K个像素点时同步扫描所述照明光线，并扫描后的所述照明光线投射在所述入瞳光学装置上。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述光电探测器采集眼球反射光线的接收光功率值，具体包括：所述控制器向所述光电探测器发送第四指示信号，所述第四指示信号用于指示所述光电探测器在第H个探测周期采集J个所述接收光功率值；所述H为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器接收所述第四指示信号，并根据所述第四指示信号在所述第H个探测周期内采集J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值，确定出所述眼球的当前注视方向；其中，在所述H取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻，和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述探测周期的时长与所述调制周期的时长相等，每一所述探测周期对应一个所述调制周期，且每一所述探测周期的起始采集时刻和对应的所述调制周期的起始调制时刻是相同的；在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第一时间间隔；所述显示光源在所述采集时刻调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第二时间间隔；所述第一时间间隔等于所述第二时间间隔。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述探测周期的时长大于所述调制周期的时长，每一所述探测周期的时长等于多个连续的所述调制周期的时长之和，且每一所述探测周期的起始采集时刻和对应的所述多个连续的所述调制周期中发生时刻最早的起始调制时刻是相同的；在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第三时间间隔；所述显示光源在所述采集时刻调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第四时间间隔；所述第三时间间隔等于所述第四时间间隔。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球当前的注视方向，具体包括：所述控制器接收所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值；所述控制器获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；所述控制器根据所述发射光功率值和所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；所述控制器从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；所述控制器将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

在一个可能的设计中，上述眼球追踪系统包括显示光源时，所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球当前的注视方向，具体包括：所述控制器获取所述光电探测器发送的在所述第H个探测周期内采集的所述J个所述接收光功率值；所述控制器根据所述J个所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大值；所述控制器确定所述第H个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；所述控制器从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；所述控制器将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述照明光源向光束扫描器发射照明光线，具体包括：所述控制器向所述照明光源发送第五指示信号，所述第五指示信号用于指示所述照明光源发射所述照明光线；所述照明光源接收所述第五指示信号，并根据所述第五指示信号向所述光束扫描器发射所述照明光线。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述光电探测器采集眼球反射光线的接收光功率值，具体包括：所述控制器向所述光电探测器发送第六指示信号，所述第六指示信号用于指示所述光电探测器在第H’个探测周期采集J个所述接收光功率值，所述H’为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器接收所述第六指示信号，并根据所述第六指示信号在所述第H’个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H’个探测周期内采集所述J个所述接收光功率值，确定出所述眼球的当前注视方向；在所述H’取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述光束扫描器将所述照明光线投射在所述入瞳光学装置上，具体包括：所述控制器向所述光束扫描器发送第七指示信号，所述第七指示信号用于指示所述光束扫描器在所述第H’个探测周期内扫描所述照明光线；所述光束扫描器接收所述第七指示信号，根据所述第七指示信号在所述第H’个探测周期内扫描所述照明光线，并将扫描后的所述照明光线投射在所述入瞳光学装置上。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述照明光源在每个探测周期内发射的所述照明光线包括W个照明时刻；在任意一个探测周期中，所述W个照明时刻中的第F个照明时刻与所述W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于所述光电探测器在所述探测周期中采集的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的时间间隔。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球当前的注视方向，具体包括：所述控制器接收所述光电探测器在所述第H’个探测周期内采集的所述J个所述接收光功率值；所述控制器获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；所述控制器根据所述发射光功率值和所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；所述控制器从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H’个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；所述控制器将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

在一个可能的设计中，上述眼球追踪系统不包括显示光源时，所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球当前的注视方向，具体包括：所述控制器获取所述光电探测器发送的在所述第H’个探测周期内采集的所述J个所述接收光功率值；所述控制器根据所述J个所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大值；所述控制器确定所述第H’个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；所述控制器从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；所述控制器将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

第四方面，本申请提供一种眼球追踪方法，应用于上述第二方面提供的眼球追踪系统，所述方法包括：照明光源向光束扫描器发射照明光线；所述光束扫描器将所述照明光线进行投射，使被投射后的所述照明光线以预设角度对眼球进行照明；光电探测器采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被投射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

上述眼球追踪方法中，由于眼球追踪系统的照明光源和光束扫描器构成的照明体系对眼球进行照明时一部分照明光线会被所述眼球反射，这些被眼球反射的照明光线称为眼球反射光线，由于人的眼球在不同注视方向时眼球表面的外形不同，对照明光线的反射光线角度不同，因此，不同的眼球注视方向对应不同眼球反射光线。本申请通过光电探测器来采集眼球反射光线的接收光功率值，并基于采集的接收光功率值对应的眼球追踪算法确定眼球当前注视方向。其中，接收光功率值对应的眼球追踪算法包括实时运行部分和离线训练部分，通过离线训练可以得到多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，通过实时运行可以计算与采集的所述接收光功率值满足设定函数关系的光功率参照值，然后根据实时运行得到的光功率参照值和离线训练的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与实时运行部分得到的光功率参照值匹配的眼球视线方向确定为眼球的当前注视方向。本申请由光电探测器采集接收光功率，光电探测器是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于上述眼球追踪系统中由照明光源和光束扫描器构成的照明体系，本申请利用光电探测器采集眼球反射光线的光功率来进行眼球追踪，相对于现有技术高采集频率有利于实现低延时。

在一个可能的设计中，所述照明光源向光束扫描器发射照明光线，具体包括：所述控制器向所述照明光源发送第八指示信号，所述第八指示信号用于指示所述照明光源发射所述照明光线；所述照明光源接收所述第八指示信号，并根据所述第八指示信号向所述光束扫描器发射所述照明光线。

在一个可能的设计中，所述光电探测器采集眼球反射光线的接收光功率值，具体包括：所述控制器向所述光电探测器发送第九指示信号，所述第九指示信号用于指示所述光电探测器在第H’个探测周期采集J个所述接收光功率值，所述H’为大于或等于1的整数，所述J为大于或等于1的整数；所述光电探测器接收所述第九指示信号，并根据所述第九指示信号在所述第H’个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H’个探测周期内采集所述J个所述接收光功率值，确定出所述眼球的当前注视方向；在所述H’取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻和所述第H’个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

在一个可能的设计中，所述光束扫描器将所述照明光线进行投射，具体包括：所述控制器向所述光束扫描器发送第十指示信号，所述第十指示信号用于指示所述光束扫描器在所述第H’个探测周期内扫描所述照明光线；所述光束扫描器用于接收所述第十指示信号，根据所述第十指示信号在所述第H’个探测周期内扫描所述照明光线，并将扫描后的所述照明光线进行投射，使被投射后的所述照明光线以预设角度对所述眼球进行照明。

在一个可能的设计中，所述照明光源在每个探测周期内发射的所述照明光线包括W个照明时刻；在任意一个探测周期中，所述W个照明时刻中的第F个照明时刻与所述W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于，所述光电探测器在所述探测周期中采集的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的时间间隔。

在一个可能的设计中，所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球当前的注视方向，具体包括：所述控制器接收所述光电探测器在所述第H’个探测周期内采集的所述J个所述接收光功率值；所述控制器获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；所述控制器根据所述发射光功率值和所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；所述控制器从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H’个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；所述控制器将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

在一个可能的设计中，所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球当前的注视方向，具体包括：获取所述光电探测器发送的在所述第H’个探测周期内采集的所述J个所述接收光功率值；根据所述J个所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大值；确定所述第H’个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

附图说明

图1为现有技术提供的一种扫描类视网膜投影系统的结构示意图；

图2为本申请提供的一种眼球追踪系统的结构示意图之一；

图3为本申请提供的一种眼球追踪系统的结构示意图之二；

图4为本申请提供的眼球的结构示意图；

图5为本申请提供的一种眼球追踪算法的原理示意图之一；

图6为本申请提供的一种眼球追踪算法的具体实现示意图；

图7为本申请提供的一种眼球追踪算法的原理示意图之二；

图8为本申请提供的一种眼球追踪算法的原理示意图之三；

图9为本申请提供的一种眼球追踪系统的产品形态为VR/AR眼镜的结构示意图之一；

图10为本申请提供的一种眼球追踪系统的产品形态为VR/AR眼镜的结构示意图之二；

图11为本申请提供的一种光束扫描器的扫描路径示意图之一；

图12为本申请提供的一种光束扫描器的扫描路径示意图之二；

图13为本申请提供的一种光束扫描器的扫描路径示意图之三；

图14为本申请提供的一种RGB光源和IR光源的硬件集成方案示意图之一；

图15为本申请提供的一种RGB光源和IR光源的硬件集成方案示意图之二；

图16为本申请提供的一种RGB光源和IR光源的硬件集成方案示意图之三；

图17为本申请提供的一种入瞳光学装置的结构示意图之一；

图18为本申请提供的一种入瞳光学装置的结构示意图之二；

图19为本申请提供的一种眼球追踪系统的产品形态为VR HMD的结构示意图之一；

图20为本申请提供的一种眼球追踪系统的产品形态为VR HMD的结构示意图之二；

图21为本申请提供的一种眼球追踪系统的结构示意图之三；

图22为本申请提供的一种入瞳光学装置的产品形态示意图之三；

图23为本申请提供的一种入瞳光学装置的产品形态示意图之四；

图24为本申请提供的一种种眼球追踪系统的结构示意图之四。

具体实施方式

下面结合附图对本申请提供的实施例进行说明。

本申请提供一种扫描类视网膜投影系统的系统架构。如图1所示的一种扫描类视网膜投影系统的系统架构，包括：红绿蓝(Red Green Blue，RGB光源)10、光束扫描器12和入瞳光学装置13。常见的RGB光源10主要是RGB激光器，常见的光束扫描器12有微机电系统(micro electromechanical systems，MEMS)和光纤扫描等。常见的入瞳光学装置13为凸透镜或凹面反射镜。

该系统架构的视网膜154扫描投影工作原理为：RGB光源10在控制器的控制下，在每个调制周期中快速调制出所需规格(如像素点的颜色、亮度等)的像素点，调制出的像素点的调制光被光束扫描器12按照已知的扫描路径扫描后，以时分方式投射到入瞳光学装置13上形成虚拟画面，入瞳光学装置13对虚拟显示画面进行反射和汇聚后，直接穿过眼球15的瞳孔并在眼球15视网膜上成像显示。

对于背景技术部分提到的眼球追踪技术，主要是透过考察人的眼球运动来研究人的心理活动，通过分析记录到的眼动数据来探讨眼动与人的心理活动的关系。近年，AR/VR技术的兴起，在视网凹渲染(foveated rendering，FR)以及新型人机交互等热点应用的催化下，眼球追踪技术的作用日益重要，极有可能成为未来智能消费电子产品必备功能。

如前所述，目前业界常见的眼球追踪技术有PCCR技术和ICCR技术两种。其中，PCCR体系通常包括照明光源和摄像装置，通常使用红外或近红外的发光二极管(lightemitting diode，LED)或LED群组作为光源对人眼进行照明，实时向人眼投射固定的图形(通常为单一图形：如圆形、梯形，也可以是略复杂的图案)。摄像装置实时拍摄人眼瞳孔中心，同时拍摄这些图形经眼角膜反射所得的图像，从而得到连接瞳孔中心(PC)和眼角膜反射光斑中心(CR)的矢量，再结合算法，计算出人眼注视方向。ICCR体系也包括照明光源和摄像装置，通常使用可见光的LED或LED群组作为光源对人眼进行照明，实时向人眼投射固定的图形，由于可见光下瞳孔与虹膜间对比度较弱，因此，ICCR采取了抓取虹膜中心IC，代替了抓取瞳孔中心PC，根据摄像装置实时拍摄的人眼图像，得到连接IC和眼角膜反射光斑中心CR的矢量，进而结合算法，计算出人眼注视方向。由于摄像装置的采样频率较低，所以导致PCCR体系或ICCR体系的工作频率也很低。如果采用现有的PCCR体系或ICCR体系对人眼进行眼球追踪，不考虑成本，也还存在拍摄采样频率低、眼球追踪准确度低和延迟高的问题。

为了解决这些问题，本申请提出一种眼球追踪系统，在几乎不改变扫描类视网膜投影系统原有架构的基础上，在RGB光源10中集成对人眼眼球15照明的照明光源，通过复用显示光线经光束扫描器12和入瞳光学装置13的投射后在眼球15的视网膜成像的光路得到照明光线对眼球15进行照明的照明光路，再结合一个光电探测器14来采集对眼球15照明时被眼球15反射的照明光线的接收光功率，基于接收光功率对应的眼球追踪算法，实现高效的眼球追踪功能。本申请提供的眼球追踪系统的主要产品形态是AR眼镜、虚拟现实头戴式显示器(virtual reality head-mounted display，VR HMD)等穿戴显示产品。

以照明光源为发射红外光(Infrared，IR)的IR光源为例，如图3所示，在硬件上该眼球追踪系统至少包括：IR光源11、RGB光源10、光束扫描器12、入瞳光学装置13和光电探测器14，其中，IR光源11、光束扫描器12、入瞳光学装置13构成对人眼进行照明的照明体系。RGB光源10、光束扫描器12、入瞳光学装置13构成了在人眼视网膜成像的视网膜投影系统。上述眼球追踪系统与图1所示的扫描类视网膜投影系统相比，有以下改进：

第一、光源的改进：在原有RGB光源10中增加了一颗或多颗IR光源11。

IR光源11可以在控制器的控制下，在RGB光源10的任意一个调制周期的每个像素点的调制时刻向光束扫描器12发射IR，也可以在RGB光源10的每个调制周期中持续发射IR。

第二、光束扫描器12：在对RGB光源10发出的显示光线进行扫描时，同步对IR光源11发出的IR进行扫描，如图3所示，使投射在入瞳光学装置13上的RGB显示光线构成彩色虚拟画面，使投射在入瞳光学装置13上的IR构成与彩色虚拟画面相同尺寸的虚拟IR画面。

第三、入瞳光学装置13的改进：入瞳光学装置13不仅具备RGB反射功能，还具备IR反射功能，即入瞳光学装置13不仅可以对波长位于可见光波段内的RGB显示光线进行反射，还可以对波长位于红外波段的IR进行反射。具体实现方式为在入瞳光学装置13上设置功能膜，投射在入瞳光学装置13上的RGB显示光线和IR都能透过该功能膜，但是该功能膜对RGB显示光线和IR有不同程度的反射，使得透过该入瞳光学装置13的RGB显示光线被反射后穿过瞳孔在视网膜成像，以及透过该入瞳光学装置13的IR被反射后覆盖大多数眼球区域，实现对人眼眼球15的照明。换言之，该功能膜对RGB显示光线和IR有不同程度的反射，保证IR不会跟RGB显示光线一样穿过瞳孔到达视网膜，而是对人眼进行一定范围的照明。

需要说明的是，入瞳光学装置13有不同程度的反射，具体体现在入瞳光学装置13对IR进行反射后被反射的IR的汇聚焦距值大于对RGB显示光线进行反射后被反射的RGB显示光线的汇聚焦距值，如图2所示，被反射的IR汇聚后的焦点位于眼球15后方，被反射的RGB显示光线汇聚后的焦点位于眼球15瞳孔处，因此，被反射的IR的汇聚焦距大于被反射的RGB显示光线的汇聚焦距。

第四、增加了一颗光电探测器14：在入瞳光学装置13反射的IR对人眼进行照明时，由于人眼眼球15眼角膜151表面突起部分等效于一个类球面的反射面，对人眼进行照明的IR照射到眼角膜表面后从不同角度反射出来。光电探测器14设置在对人眼眼球15进行照明时被眼球15反射的IR的反射光路上，用来接收被眼球15从不同角度反射的IR，并采集接收的这些IR的光功率，也称接收光功率，每接收一个被眼球15反射的IR，采集一个被眼球15反射的IR的接收光功率。

需要说明的是，光电探测器14设置为周期性的采集接收光功率，其周期称为探测周期，探测周期的时长可以灵活设计，例如一个探测周期唯一对应一个调制周期，或者一个探测周期唯一对应连续的多个调制周期。

第五、算法改进：如图4所示，人眼眼球15表层被眼角膜151(Cornea)覆盖，包含一个类球面突出部分152(Cornea)，人眼注视方向变化时，该突出部分也随之转动，如图4所示，眼球15还包括瞳孔153和视网膜154。根据眼球15眼角膜151表面的反射规律，眼球15的注视方向固定不变时，被眼球15从不同角度反射的IR的接收光功率值不同；随着眼球注视方向的改变，被眼球15反射的IR的反射角度也跟随眼球注视方向的变化而发生变化，被眼球15从不同角度反射的IR的光功率值也跟随眼球注视方向的变化而变化。通过实验发现，眼球注视方向与光电探测器14在一个或多个探测周期内采集的接收光功率呈现一定的变化规律，若探测周期固定，则眼球注视方向与固定探测周期内的接收光功率存在一一匹配关系，基于此，本申请构建了IR接收光功率值对应的眼球追踪算法。

IR接收光功率值对应的眼球追踪算法包括实时运行部分和离线训练部分，在探测周期为一个设定的固定值时，每个探测周期内设置多个固定的采集时刻，按照这多个固定的采集时刻可以采集被眼球15从不同角度反射的大多数IR的接收光功率值。按照上述配置条件，通过离线训练可以得到一个或多个探测周期内多个眼球注视方向和多个接收光功率值之间的一对一的匹配关系。按照上述配置条件，通过实时运行可以计算任意一个探测周期内采集的多个接收光功率值。根据实时运行得到的数据和离线训练得到的数据，可以追踪眼球15的当前注视方向。即根据实时运行得到的一个或多个探测周期内的接收光功率值和离线训练的一个或多个探测周期内的多个眼球注视方向和多个接收光功率值之间一对一的匹配关系，将与实时运行得到的一个或多个探测周期内的多个接收光功率值匹配的眼球15视线方向确定为眼球15的当前注视方向。

本申请由光电探测器14采集被眼球15从不同角度反射的IR的接收光功率值，因此光电探测器14是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器14的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于由IR光源11、光束扫描器12和入瞳光学装置13构成的照明体系，利用光电探测器14采集眼球15反射光线的光功率来进行眼球追踪，相对于现有技术因具备高采集频率而有利于实现低延时。

进一步的，由于光电探测器14的采集频率高，根据所采集的接收光功率值进行眼球追踪的精度现对于现有技术有所提升。

再进一步的，由于光电探测器14是尺寸在微米级甚至微纳米级的器件，因此，本申请提供的眼球追踪系统还同时具备小体积、低功耗和低成本的优势。

为了实现控制，该眼球追踪系统还包括控制器，该控制器装载了接收光功率值对应的眼球追踪算法，可以实时运行该算法，还存储了可以随时调用的离线训练数据，根据算法需求控制器还可以向RGB光源10、光束扫描器12和光电探测器14发送指示信号，指示RGB光源10、光束扫描器12和光电探测器14在各自的配置下正常运行。

需要说明的是，RGB光源10根据控制器的指示信号在任意一个调制周期调制出任意一帧图像的多个像素点，RGB光源10每调制出一个像素点，就向光束扫描器12输出一个调制光，该调制光为调制出的像素点对应的RGB混色光。其中，RGB光源10的调制周期和每个调制周期中每个像素点对应的调制时刻是预配置的，一个调制周期为一帧二维图像的所有像素点依次被调制所需的时长，任意一个像素点对应一个调制时刻。例如一帧图像包括800*600个像素点，即一帧图像的像素点构成800行600列的矩阵，那么每行的600个像素点对应600个调制时刻。RGB光源10根据控制器的指示信号，按照预配置的调制周期和调制时刻逐行进行像素点调制，直至这一帧图像的800*600个像素点全部被调制完。在不同的调制周期中，调制的像素点个数和像素点对应的调制时刻的配置都是相同的，例如，任意两个调制周期中，都调制出800*600个像素点，每个像素点对应一个调制时刻，每一行的600个像素点的调制时刻与该行的第1个像素点的调制时刻之间的时间间隔相同。

需要说明的是，光束扫描器12根据控制器的指示信号在RGB光源10的任一个调制周期内按照预配置的扫描路径依次扫描对应帧图像的多个像素点对应的调制光，将扫描后的多个像素点对应的调制光投射在所述入瞳光学装置13上，其中，每个像素点对应的调制光经光束扫描器12的扫描后投射在入瞳光学装置13上的位置是唯一的。例如，RGB光源10在一帧图像的调制周期内依次调制出800*600的像素点，这800*600的像素点对应的调制光经光束扫描器12的扫描后投射在入瞳光学装置13上构成彩色虚拟画面，RGB光源10调制出800*600的像素点与彩色虚拟画面的800*600的像素点位置一一对应。光束扫描器12按照固定的扫描路径扫描完任意一帧图像的全部像素点对应的调制光所需的时长为一个扫描周期，也就是说，一个调制周期对应一个扫描周期，但是每个像素点的调制时刻与扫描时刻并不完全是一一对应的，各个像素点的扫描时刻与扫描路径有关。光束扫描器12的扫描路径是扫描像素点的轨迹路线，扫描路径是预配置的，可以是图11所示的逐行扫描对应的扫描路径，或者可以是图12所示的网格扫描对应的扫描路径，或者也可以是图13所示的螺旋扫描对应的扫描路径。

需要说明的是，IR光源11也可以根据控制器的指令信号在RGB光源10的任一个调制周期内向光束扫描器12发射IR。一种方式是IR光源11在RGB光源10的任一个调制周期内持续发射IR，另一种方式IR光源11在RGB光源10的任一个调制周期内向光束扫描器12不连续的发射IR，在任意一个调制周期中，RGB光源10每调制出一个像素点，IR光源11同步发射一次IR，由于发射的IR用于对人眼进行照明，因此，IR光源11每次发射IR的时刻称作照明时刻。

如果IR光源11持续发射IR，光束扫描器12按照预配置的扫描路径持续的将IR投射在入瞳光学装置13上。如果IR光源11与RGB光源10同步的向光束扫描器12发射IR，光束扫描器12按照预配置的扫描路径每扫描一个像素点对应的调制光，同步扫描一个IR，并扫描后的RGB显示光线和IR投射在所述入瞳光学装置13上，此时，在入瞳光学装置13上形成的彩色虚拟画面和IR虚拟画面尺寸相同。

需要说明的是，所述光电探测器14根据控制器的指示信号在任意一个探测周期内采集多个接收光功率值。探测周期并不是随意设定，而是和调制周期相关。这是因为：

由于被入瞳光学装置13反射的IR对眼球15照明时被眼球15反射的IR以不同角度反射出去，而所述光电探测器14的位置是固定的，若要采集到从不同角度反射的IR的接收光功率值，需要为从不角度反射的IR的接收光功率值配置一个唯一的采集时刻。从眼球15表面反射的IR的反射角度与该IR照射到眼球15的位置有关，根据对眼球15照明的IR的逆向光路可知，该IR照射到眼球15位置与该IR投射到入瞳光学装置13位置对应，该IR投射到入瞳光学装置13位置与该IR被光束扫描器12扫描时扫描路径上的一个位置对应，该IR被光束扫描器12扫描时扫描路径上的一个位置与该IR的照明时刻对应，该IR的照明时刻与其中一个像素点的调制时刻对应。由此可知，如果按照预配置的一帧二维图像的调制周期及其对应的调制时刻来确定采集时刻，就可以采集到从眼球15表面以不角度反射的IR的接收光功率值。

具体的，探测周期与调制周期的关系具体有以下几种：

可选的，一个探测周期的时长与所述调制周期的时长相等。例如，以800×600分辨率图像为例说明，每帧图像的调制周期的时长为T，在每个调制周期T内，为800×600个像素点配置800×600个调制时刻。光电探测器14的探测周期的时长也为配置为T，在一个探测周期T内，配置有800*600个采集时刻。其中，RGB光源10的一个调制周期对应光电探测器14的一个探测周期，RGB光源10的一个调制周期的第一个像素点的调制时刻与对应的光电探测器14的一个探测周期的第一个接收光功率值的采集时刻相同。

可选的，一个探测周期的时长大于一个调制周期的时长，例如，仍以800×600分辨率图像为例说明，在每个调制周期T内，为800×600个像素点配置800×600个调制时刻。光电探测器14的探测周期的时长为连续2个调制周期T的时长之和，即一个探测周期为2T，在每个T内，光电探测器14配置有800×600个采集时刻，一个探测周期内共配置1600×600个采集时刻。

需要说明的是，光电探测器14的每个探测周期中的采集时刻的具体配置可以根据所需的眼球追踪精度灵活配置。例如，以一个探测周期的时长与一个调制周期的时长相等，以800×600分辨率图像为例说明，每帧图像的调制周期的时长为T，在每个调制周期T内，800×600个像素点配置800×600个调制时刻，如果需要较高的眼球追踪精度，对应的，光电探测器14也配置800×600个采集时刻，一个采集时刻唯一对应一个调制时刻；如果不需要较高的眼球追踪精度，对应的，光电探测器14可配置16×6个采集时刻，在800×600个调制时刻中每隔50行，从对应行600个调制时刻中提取出6个调制时刻作为采集时刻，这样一帧图像的调制周期中共有16×6个采集时刻。如果眼球追踪精度还可以再低一些，对应的，光电探测器14可配置8×6个采集时刻，在800×600个调制时刻中每隔100行，从对应行600个调制时刻中提取出6个调制时刻作为采集时刻，这样一帧图像的调制周期中共有8×6个采集时刻。

下面某时刻的一个图像帧为例进行说明眼球注视方向与光电探测器14在一个或多个探测周期内采集的接收光功率呈现一定的变化规律。

以图5为例，假设一个图像帧的某一行的n个像素点的调制光从n个不同角度向眼球15投放过程中，设置n个采集时刻T₁～T_n，在T₁～T_n时刻从二维空间n个不同角度向眼球15投送n次IR照明光线I₁～I_n，由于人眼的眼角膜呈突出状，当人眼注视不同方向时，突出部分位于不同位置，当人眼注视某个方向时，在T₁～T_n时刻，在眼球15表面I₁～I_n以n个不同角度反射，I₁～I_n以n个不同角度反射后被光电探测器14可配置16×6个采集时刻，在800×600个调制时刻中每隔50行，从对应行600个调制时刻采集到的IR的接收光功率值各不相同。以IR照明光线I₁为例，当眼球15突出部分分别位于图示的L(左)、M(中)、R(右)三个不同位置时，采集的I₁从3个不同角度反射的IR的接收光功率值分别是R_1L，R_1M，R_1R。以此类推，当眼球15突出部分位于最左边的L位置时，n个采集时刻T₁～T_n采集的I₁～I_n从n个不同角度反射的IR的接收光功率值分别是R_1L～R_nL，同样的，当眼球15突出部分位于中间M位置时，n个采集时刻T₁～T_n采集的I₁～I_n从n个不同角度反射的IR的接收光功率值分别是R_1M～R_nM，而当眼球15突出部分位于最右侧R位置时，n个采集时刻T₁～T_n采集的I₁～I_n从n个不同角度反射的接收光功率值分别是R_1R～R_nR。从图7可以看出，随着眼球15突出部分位置的改变，即随着眼球注视方向的改变，I₁～I_n被眼球15反射的n个不同反射角度也跟随眼球注视方向的变化而发生变化，由于同一位置的IR从不同角度反射时被光电探测器14接收的强弱不同，因此被眼球15从n个不同角度反射的IR的光功率值也会跟随眼球注视方向的变化而变化。

由于眼球15的注视方向是二维的分布的，基于光源每行投放时采集的I₁～I_n从n个不同角度反射的n个接收光功率值，就可以得到一个注视方向对应的在一个调制周期内的接收光功率值矩阵。同理，在调制周期固定时，可以得到多个注视方向和多个接收光功率值矩阵之间的一对一的对应关系。通过上述原理，可以构建算法离线训练眼球注视方向与光电探测器14在一个或多个探测周期内采集的接收光功率呈现的变化规律。通过离线训练眼球注视方向与光电探测器14在一个或多个探测周期内采集的接收光功率呈现的变化规律，进而得到一个或多个探测周期内，多个眼球注视方向和多个接收光功率值之间的一对一的匹配关系。

基于上述原理，可以通过数学模型构建接收光功率值对应的眼球追踪算法，对眼球注视方向或眼球注视方向对应的眼球15瞳孔中心的追踪和定位。

如图6所示，可以先通过数学模型进行算法建模，然后按照眼球追踪精度和分辨率的要求，通过搭建实际物理模型进行算法训练，藉此构建出算法核心中针对该眼球追踪精度精度和分辨率要求的算法数据库。

如表1所示，算法数据库存储了一个探测周期或多个探测周期内的n采集时刻T₁-T_n，从n个不同角度投送的n次照明光线I₁-I_n，分别在T₁～T_n采集的I₁～I_n从n个不同角度反射的接收光功率值P₁-P_n与若干个眼球注视方向的索引关系。

表1

可选的，在用户使用前，还可以通过校正程序，进行算法校正和补偿。在此基础上，再结合已在软件中编写的算法引擎，即可实现上述眼球追踪算法。

在实际应用时，只需采集T₁到T_n内的光功率值P₁到P_n，拟合出光功率值P₁到P_n与时序T₁到T_n的关系曲线，即可作为应用输入，输入到编写的算法引擎中，算法引擎对照算法数据库执行计算与补偿，即可输出眼球注视方向，或者输出眼球注视方向所对应眼球15瞳孔153位置。

进一步的，为了简化算法，在进行算法建模时，还可以增加辅助算法，辅助算法根据一个或多个探测周期中采集的多个接收光功率值，计算一个或多个探测周期光功率参照值。通过构建的算法训练一个或多探测周期内多个眼球注视方向和多个光功率参照值之间的一对一的匹配关系。通过实时运行可以计算一个或多个探测周期内的光功率参照值。根据实时运行得到的一个或多个探测周期内的光功率参照值和离线训练的一个或多个探测周期内的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与实时运行得到的一个或多个探测周期内的光功率参照值匹配的眼球15视线方向确定为眼球15的当前注视方向。

可选的，光功率参照值是光功率比值，即每一接收光功率值与IR光源11在该接收光功率值的采集时刻发射的IR的发射光功率值的比值。

可选的，光功率参照值还可以是一个或多个探测周期内采集的所有接收光功率值中的最大值。

本申请提供了光功率参照值为光功率比值的算法，其算法原理参见图7(或图8，图8适用于图24所示的不包括入瞳光学装置的眼球追踪系统)，由于光束扫描器12和光电探测器14的位置相对固定，IR经由光束扫描器12按照固定扫描路径进行扫描和投放照明的过程中，光电探测器14可以按照固定探测周期内采集到一系列光功率比值，经过拟合得到固定探测周期内的多个光功率比值的拟合曲线，以及多个眼球注视方向(如图7中的眼球注视方向L，眼球注视方向M，眼球注视方向R)与固定探测周期内的多个光功率比值的拟合曲线之间的关联关系。其中，固定探测周期内的多个光功率比值的拟合曲线为固定探测周期内多个光功率比值与对应采集时刻的关系曲线。

此外，保持光电探测器14位置不变，也可通过拟合光束扫描器12在不同位置时多个眼球注视方向与固定探测周期内的多个光功率比值的拟合曲线之间的关联关系，以便适应不同的应用场景。其中，光电探测器14在图7或图8中的位置1、位置2、位置3时，分别对应有多个眼球注视方向与固定探测周期内的多个光功率比值的拟合曲线之间的关联关系。

表2

扫描频率	T1	T2	T3	T4	T5	T6	T7	T8
									第1行	0.24	0.24	0.23	0.22	0.22	0.24	0.24	0.24
第5行	0.24	0.24	0.23	0.22	0.22	0.24	0.24	0.24
									第10行	0.24	0.24	0.23	0.22	0.22	0.24	0.24	0.24
第15行	0.25	0.25	0.24	0.24	0.24	0.25	0.25	0.25
									…	…	…	…	…	…	…	…	…
第600行	0.22	0.22	0.22	0.21	0.21	0.22	0.22	0.22

假设某视网膜投影系统以设定帧速进行投影，在其中的一帧图像的视网膜投影成像过程中，配置n个采集时刻T₁到T_n，光电探测器14n个采集时刻T₁到T_n采集到的接收光功率P₁到P_n对应的一系列光功率比值B₁到B_n。以800×600分辨率图像为例，如表2，每一行像素的600个调制时刻对应8个采集时刻，即T1到T8，该图像帧内的光功率比值与采集时刻的对应关系为8×600个光功率比值的矩阵。可选的，如果每个像素点的调制时刻对应一个采集时刻，该图像帧内的光功率比值与采集时刻的对应关系为包括800×600个光功率比值的矩阵，此时的眼球追踪精度最高。若以采集时刻T为横轴，以光功率值比值B为纵轴，则可以拟合一条光功率比值与采集时刻的关系曲线，如f(n)＝TB_n。然后通过数学模型计算仿真，生成眼球注视方向x与f(n)曲线的关联关系的算法；再通过通用实物模型训练的方式，将基本算法升级为更加精确的眼球注视方向x与f(n)曲线关联的升级版算法，最后，再通过产品使用前对特定用户实施软件校正的机制，进一步优化眼球注视方向x与f(n)曲线的匹配精度来获得最终的应用算法。

可选的，眼球注视方向与固定探测周期内的多个光功率比值的拟合曲线也可以是多个分段曲线，即将表征眼球注视方向x的完整f(n)曲线等分成几段子曲线，可以实现更高速的眼球追踪。例如将一个探测周期内配置若干个子探测周期，每一个子探测周期对应一个图像帧的若干个调制时刻，这3个子探测周期内的多个光功率比值与采集时刻的拟合曲线构成了3段曲线。根据这3段曲线推算眼球15的注视方向。

以800×600分辨率图像为例继续说明，每行像素点对应的采集时刻为8个，如果一个子探测周期对应其中一行像素的8个调制时刻，此时得到的光功率比值矩阵为1×8矩阵；如果一个子探测周期对应若干行(比如第1、60、120、180、240、300、360、420、480、600行)像素的8个调制时刻，此时得到的光功率比值矩阵为10×8矩阵。

本申请提供了光功率参照值为光功率最大值的算法，其算法原理参见图7或图8，由于光束扫描器12和光电探测器14的位置相对固定，IR经由光束扫描器12按照固定扫描路径进行扫描和投放照明的过程中，光电探测器14可以按照固定探测周期内采集到一系列接收光功率值中的最大值，经过拟合得到固定探测周期内的最大光功率，以及多个眼球注视方向(如图7或图8中的眼球注视方向L，眼球注视方向M，眼球注视方向R)与固定探测周期内的最大光功率值的关联关系。

此外，保持光电探测器14位置不变，也可通过拟合光束扫描器12在不同位置时多个眼球注视方向与固定探测周期内的最大光功率值的关联关系，以便适应不同的应用场景。其中，光电探测器14在图23中的位置1、位置2、位置3时，分别对应有多个眼球注视方向与固定探测周期内的最大光功率值的拟合曲线之间的关联关系。

假设某视网膜投影系统以设定帧速进行投影，在其中的一帧图像的视网膜投影成像过程中，配置n个采集时刻T₁到T_n，光电探测器14在n个采集时刻T₁到T_n采集到的接收光功率P₁到P_n对应的最大光功率值，存储最大接收光功率值及其对应的采集时刻。通过数学模型计算仿真，生成眼球注视方向x与最大接收光功率值及其对应的采集时刻的关联关系的算法；再通过通用实物模型训练的方式，将基本算法升级为更加精确的眼球注视方向x与最大接收光功率值及其对应的采集时刻的关联关系关的升级版算法，最后，再通过产品使用前对特定用户实施软件校正的机制，进一步优化眼球注视方向x与最大接收光功率值及其对应的采集时刻的关联关系的匹配精度来获得最终的应用算法。

在一种可能的设计中，上述三种算法可通过理论人眼数据模型进行定义，也可利用通用人眼模型，通过软件训练学习获得。

例如，眼球追踪算法可以采用如下方式来进行设计：在实验室里可以利用人体眼球151：1的真实模型构建物理模型，并建立算法模型，搭建出真实的产品使用环境。然后通过大量的模型训练和测试，记录下在不同图像分辨率条件下光功率参照值系列与眼球注视方向的对应关系。这些数据构成了算法数据库，存储在主机和云端服务器中。

在一种可能的设计中，上述三种算法可以在产品使用前，结合特定用户眼睛进行校正。

例如，实际用户使用该设备时，可以采用用户校准程序来进行算法校正，比如头戴式显示装置分别屏幕的左上、右上、左下、右下四个角落分别显示一个光点，然后用户眼睛依次观看这些个光点，同时装置记录眼睛的实测位置，通过用户交互操作，算法模块对参数进行微调，选择合适精度的眼球15跟踪算法、参数和合适的识别精度。根据合适精度的眼球15跟踪算法、参数和合适的识别精度控制RGB光源10的调制和光束扫描器12的扫描以及光电探测器14的采集。

本申请提供的眼球追踪系统与现有技术相比，光电探测器14的采集频率明显提升，光电探测器14的采集频率能够与红外光源的发射频率同步，或者一部分同步，较大的采集频率有利于更精确的对眼球15位置和眼球15的注视方向进行定位。

基于相同的发明构思，本申请提供一种同时具备视网膜投影和高精度眼球追踪功能的AR/VR眼镜。如图9和图10所示，该AR/VR眼镜包括两套眼球追踪系统，这两套眼球追踪系统分别设置在两个光学镜片的周围，其中一个光学镜片501对应的眼球追踪系统的核心部件包括：RGB光源10、IR光源11、光束扫描器12、入瞳光学装置13、光电探测器14、控制器和主机，RGB光源10、IR光源11、光束扫描器12和光电探测器14均与控制器电连接，控制器能够向RGB光源10、IR光源11、光束扫描器12和光电探测器14发送协同运行的指示信号，控制器安装在眼镜架的位置503处，主机506设置在AR/VR眼镜的外部，通过可以连接线与控制器连接。其中，RGB光源10和IR光源11为集成器件，可选的，RGB光源10和IR光源11还可与光束扫描器12构成集成器件，安装在镜片周围的一个位置，如眼镜架上的位置505处。入瞳光学装置13为两个光学镜片501。光电探测器14集成了一颗或者多颗IRPD，光电探测器14的安装位置以便于采集被眼球15反射的IR为准，例如安装在固定镜片的框架的上沿位置504处。可选的，控制器和主机506可以集成在一起，控制器和主机集成后设置在镜片的镜架的某个位置。

RGB光源10，根据控制器的指示在相应的调制周期内调制出RGB显示光线，并将调制出的RGB显示光线投送到光束扫描器12，IR光源11根据控制器的指示在相应的调制周期内向所述光束扫描器12发射IR。

其中，RGB光源10和IR光源11的集成方案为以下几种方式中的任意一种：

方式一：RGB光源10和IR光源11的集成器件是一个多谐振腔一体式封装的泵浦激光器，能够发射红(R)、绿(G)、蓝(B)三基色激光和IR激光，泵浦激光器通过非线性晶体转换所需几种波长的激光。

方式二：RGB光源10和IR光源11的集成器件是四个半导体激光芯片的一体封装器件，其中一个半导体激光芯片可以发射IR，其他三个半导体激光芯片分别发射红、绿、蓝三基色激光。

方式三：RGB光源10和IR光源11的集成器件是一个包括4个LED的LED群组的一体封装器件，其中一个LED可以发射IR，其他三个LED分别发射红、绿、蓝三基色光。

除了上述三种方式，RGB光源10和IR光源11的集成器件也可使用其它任何能对光束进行合束、整形与调制的其它类型封装光源，并能够反射IR和RGB显示光线。

RGB光源10和IR光源11的集成器件的四路光合束方案可采用自由空间合束、光波导合束和光纤合束等方案来实现。

RGB光源10和IR光源11的集成器件的封装方式可采用TO-CAN封装、自由空间封装和硅光集成封装中的任意一种。

RGB光源10和IR光源11的集成器件的TO-CAN封装方式参见图14，将红色激光芯片22、绿色激光芯片23、蓝色激光芯片24和IR激光芯片进行TO-CAN封装得到RGB光源10和IR光源11的集成器件。其中，集成器件中还集成有光束组合器25，使得IR激光芯片21发出的一路IR激光、红色激光芯片22发出的一路红色激光、绿色激光芯片23发出的一路绿色激光和蓝色激光芯片24发出的一路蓝色激光通过光束组合器25进行合波后一起从集成器件输出，输出的激光束包括由R、G、B三路激光混色而成的RGB显示光线，还包括IR。

RGB光源10和IR光源11的集成器件的自由空间封装方式参见图15，将红色激光二极管32、绿色激光二极管33、蓝色激光二极管34和IR激光二极管31进行自由空间封装得到RGB光源10和IR光源11的集成器件。集成器件中还集成有6个光分束器36，使得IR激光二极管31发出的一路IR激光、红色激光二极管32发出的一路红色激光、绿色激光二极管33发出的一路绿色激光和蓝色激光二极管34发出的一路蓝色激光通过6个光分束器36进行合波后一起从集成器件输出，输出的激光束包括RGB显示光线和IR。

RGB光源10和IR光源11的集成器件的硅光集成封装参见图16，将红色激光二极管32、绿色激光二极管33、蓝色激光二极管34和IR激光二极管31进行硅光集成封装得到RGB光源10和IR光源11的集成器件。集成器件中集成有4个准直透镜35和一个硅光芯片41，使得IR激光二极管31发出的一路IR激光、红色激光二极管32发出的一路红色激光、绿色激光二极管33发出的一路绿色激光和蓝色激光二极管34发出的一路蓝色激光通过4个准直透镜35传输到硅光芯片41上，通过硅光芯片41上的光波导结构进行合波后一起从集成器件输出，输出的激光束包括RGB显示光线和IR。

光束扫描器12：根据控制器的指示在相应的调制周期内按照预配置的扫描路径依次扫描捕获的IR和RGB显示光线，将扫描后的IR和RGB显示光线投射在入瞳光学装置13上。光束扫描器12的扫描路径可以是图11所示的逐行扫描对应的扫描路径，或者可以是图12所示的网格扫描对应的扫描路径，或者也可以是图13所示的螺旋扫描对应的扫描路径。

可选的，光束扫描器12可以是基于MEMS二维振镜的高频扫描装置。MEMS高频扫描装置，具有高频二维扫描功能，通过电磁、静电、压电、电热等驱动方式的二维MEMS扫描引擎(Scanning Mirror)来实现。MEMS高频扫描装置通常是通过在多晶硅上制作悬空的微型振镜镜面，并制作悬臂梁结构从两侧连接振镜，然后通过电磁、静电、压电、电热等驱动方式来驱动振镜旋转，入射光线以固定角度入射，经振镜偏转后以不同角度呈发散出射。在工作时，RGB光源发出的光束经MEMS高频扫描装置的已知扫描路径发生二维反射形成扫描光线投射到空间中。

可选的，光束扫描器12也可以是基于光纤扫描的高频扫描装置，光纤扫描是通过高频驱动器夹持住光纤，驱使光纤进行高频振动形成扫描光线输出。

可选的，光束扫描器12也可通过兰姆波等驱动方式的二维反射光束扫描器12来实现。

入瞳光学装置13，入瞳光学装置13不仅可以对波长位于可见光波段内的RGB显示光线进行反射，还可以对波长位于红外波段的IR进行反射，使得被反射后的RGB显示光线穿过瞳孔153在视网膜成像，使被反射后的IR覆盖大多数眼球15区域，实现对人眼眼球15的照明。

入瞳光学装置13的RGB反射功能和IR反射功能通过在光学镜片上设置功能膜实现。

可选的，如图17中所示，入瞳光学装置13包括光学透镜501，以及501上设置的第一曲面反射膜51和第二曲面反射膜52，第一曲面反射膜51对投射在入瞳光学装置13上的IR进行反射，使被反射后的照明光线以预设角度覆盖眼球15；第二曲面反射膜52对投射在入瞳光学装置13上的RGB显示光线进行反射，使被反射后的RGB显示光线穿过眼球15的瞳孔153后在视网膜成像。其中，第一曲面反射膜51能够对波长位于第一波段内的IR进行反射，第二曲面反射膜52能够对波长处于第二波段内的RGB显示光线进行反射。入瞳光学装置13上的第一曲面反射膜51为单层膜结构，第一曲面反射膜51能够对波长位于第一波段的IR进行反射，第二曲面反射膜52为3层膜结构，3层膜结构分别对波长位于第二波段的RGB显示光线进行反射。

其中，可选的，第一波段为红外或近红外波段，第二波段为可见光波段。RGB显示光线为红光、绿光和蓝光三种单色光的调制光，RGB显示光线的波长包括三种单色光的波长，红光的波长位于第一子波段，绿光的波长位于第二子波段，蓝光的波长位于第三子波段。例如，红光的波长λ_R＝640nm，绿光的波长λ_G＝532nm，蓝光的波长λ_B＝420nm，IR的波长λ_IR＝850nm，使用850nm的IR光对人眼进行照明时不会对人眼造成干扰。

由于照明光线不会跟RGB显示光线一样穿过瞳孔153到达视网膜154，而是对人眼进行范围大一些的照明，被反射的IR的汇聚焦距大于被反射的RGB显示光线的汇聚焦距，所以第一曲面反射膜51的曲率大于第二曲面反射膜52的曲率。

可选的，如图18中所示，入瞳光学装置13上设置有层叠的第一全息膜61和第二全息膜62，第一全息膜61对投射在入瞳光学装置13上的波长位于第一波段内的IR进行复现，使被复现后的IR以预设角度覆盖眼球15，第二全息膜62对投射在入瞳光学装置13上的波长位于第二波段内的RGB显示光线进行复现，使被复现后的RGB显示光线穿过眼球15的瞳孔153后在视网膜成像。

其中，第一全息膜61对接收的波长位于第一波段内的IR进行复现，从而产生对应于接收的IR的被复现光，产生的对应于接收的IR的被复现光对眼球15进行照明。

其中，第二波段包括第一子波段、第二子波段和第三子波段，如图18所示，第二全息膜62包括层叠的第一子全息膜621、第二子全息膜622和第三子全息膜623，第一子全息膜621对接收的位于第一子波段的RGB显示光线进行复现，从而产生第一被复现光；第二子全息膜622对接收的位于第二子波段的RGB显示光线进行复现，从而产生第二被复现光；第三子全息膜623对接收的位于第三子波段的RGB显示光线进行复现，从而产生第三被复现光。

需要说明的是，本申请的全息膜是微纳米级的薄膜，并且该全息膜的折射率或/和透光率是变化的。具体的，第一全息膜61是对光学聚合物基材分别按照IR的波长的干涉条纹进行光刻处理形成的；第二全息膜62是对光学聚合物基材分别按照显示光线的波长的干涉条纹进行光刻处理形成的。第一子全息膜621是对光学聚合物基材分别按照位于第一子波段内的显示光线的波长的干涉条纹进行光刻处理形成的。第二子全息膜622是对光学聚合物基材分别按照位于第二子波段内的显示光线的波长的干涉条纹进行光刻处理形成的。第三子全息膜623是对光学聚合物基材分别按照位于第三子波段内的显示光线的波长的干涉条纹进行光刻处理形成的。

例如，以λ_R＝640nm，λ_G＝532nm，λ_B＝420nm，λ_IR＝1000nm为例，选择某折射率为1.x(折射率为非关键指标)的光学聚合物基材，使用强相干性的1000nm波长激光光源，通过干涉得到500nm(1/2)或250nm(1/4)波长的干涉条纹，再用这些干涉条纹对有机聚合物基材进行曝光，通过诱导基材折射率变化，得到第一全息膜61；然后继续使用强相干性的波长为640nm的激光光源，通过干涉得到320nm(1/2)或160nm(1/4)波长的干涉条纹，再用这些干涉条纹对有机聚合物基材进行曝光，通过诱导基材折射率变化得到第一子全息膜621；然后继续使用强相干性的波长为532nm的激光光源，通过干涉得到266nm(1/2)或133nm(1/4)波长的干涉条纹，再用这些干涉条纹对有机聚合物基材进行曝光，通过诱导基材折射率变化得到第二子全息膜622；然后继续使用强相干性的波长为420nm的激光光源，通过干涉得到210nm(1/2)或105nm(1/4)波长的干涉条纹，再用这些干涉条纹对有机聚合物基材进行曝光，通过诱导基材折射率变化得到第三子全息膜623。

在有机聚合物基材上依次形成的第一全息膜61，第一子全息膜621，第二子全息膜622和第三子全息膜623依次能够针对λ_IR＝1000nm，λ_R＝640nm，λ_G＝532nm，λ_B＝420nm进行复现，使被复现后的λ_IR＝1000nm的IR以预设角度覆盖眼球15，使被复现后的λ_R＝640nm，λ_G＝532nm和λ_B＝420nm的RGB显示光线穿过眼球15的瞳孔153后在视网膜成像，具体的，第一全息膜61对接收的波长为1000nm的IR进行复现，从而产生对应于接收的波长为1000nm的IR的被复现光，产生的对应于接收的波长为1000nm的IR的被复现光对眼球15进行照明。产生的对应于接收的波长为1000nm的IR的被复现光对眼球15进行照明，第一子全息膜621的全息干涉条纹对接收的λ_R＝640nm的显示光线进行复现，并产生第一被复现光；第二子全息膜622的全息干涉条纹对接收的λ_R＝532nm的显示光线进行复现，并产生第二被复现光；第三子全息膜623的全息干涉条纹对接收的λ_R＝420nm的显示光线进行复现，并产生第三被复现光，产生的第一被复现光、第二被复现光和第三被复现光穿过眼球15的瞳孔153后在视网膜成像。

可选的，入瞳光学装置13上设置有层叠的第一衍射光波导微纳结构和第二衍射光波导微纳结构，第一衍射光波导微纳结构对投射在入瞳光学装置13上的IR进行折射，使被折射后的IR以预设角度覆盖眼球15，第二衍射光波导微纳结构对投射在入瞳光学装置13上的RGB显示光线进行折射，使被折射后的RGB显示光线穿过眼球15的瞳孔153后在视网膜成像。第一衍射光波导微纳结构和第二衍射光波导微纳结构的具体内容参见发明内容，此处不再累述。

进一步需要说明的是，第一衍射光波导微纳结构的衍射条纹对接收的照明光线进行折射或反射，并产生对应于接收的照明光线的被折射光，产生的对应于接收的照明光线的被折射光对眼球15进行照明；第一子衍射光波导微纳结构的衍射条纹对接收的位于第一子波段的显示光线进行折射或反射，并产生第一被折射光，产生的第一被折射光穿过眼球15的瞳孔153后在视网膜成像；第二子衍射光波导微纳结构的衍射条纹对接收的位于第二子波段的显示光线进行折射或反射，并产生第二被折射光，产生的第二被折射光穿过眼球15的瞳孔153后在视网膜成像；第三子衍射光波导微纳结构的衍射条纹对接收的位于第三子波段的显示光线进行折射或反射，并产生第三被折射光，产生的第三被折射光穿过眼球15的瞳孔153后在视网膜成像。

光电探测器14，接收被眼球15从不同角度反射的IR，以预设的探测周期内的采集时刻采集接收的IR的接收光功率值，并将采集的接收光功率值发送给控制器。光电探测器14的应用电路为典型的PD电路，参数上，需要结合具体的IR LD规格和人眼眼角膜151的反射率，来确定PD的探测敏感度及量程。由于IR的照明频率和光电探测器14采集频率都可以灵活配置，因此可以在眼球运动的每一个图像帧内，只要采样足够的数据，就可以精确识别眼球15的视线位置。

所述控制器，用于接收所述光电探测器14发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球15视线方向确定为所述眼球15的当前注视方向。

可选的，控制器发送的指示信号来自主机506，主机506里还装载了驱动软件和眼球跟踪算法，执行眼球追踪的方法流程。

可选的，基于光功率比值算法，控制器执行眼球追踪的第一种方法流程，具体包括：

步骤101，接收所述光电探测器14在所述第H个探测周期内采集的所述J个所述接收光功率值；

步骤102，获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；

步骤103，根据所述发射光功率值和所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；

步骤104，从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；

其中，第H个探测周期采集的J个光功率参照值与第H个探测周期的J个采集时刻存在一对一的对应关系，预先存储的每一探测周期的光功率参照值包括每一探测周期的J个采集时刻与J个光功率参照值的一对一的对应关系。目标探测周期的光功率参照值与第H个探测周期的光功率参照值相似度最大是指目标探测周期中J个采集时刻与J个光功率参照值的对应关系，与第H个探测周期中J个采集时刻与J个光功率参照值的对应关系的相似度最大。

步骤105，将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球15的当前注视方向。

可选的，基于最大接收光功率值算法，控制器执行眼球追踪的第二种方法流程，具体包括：

步骤201，获取所述光电探测器14发送的在所述第H个探测周期内采集的所述J个所述接收光功率值；

步骤202，根据所述J个所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大接收光功率值，以及确定探测周期所述第H个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；

步骤203，从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；

步骤204，将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球15的当前注视方向。

本申请在现有扫描类投影RGB光源10中置入一颗IR光源11，利用扫描类投影装置对图像帧扫描的同时，对照明光线以相同的扫描路径进行扫描和投放，利用入瞳光学装置13对IR进行反射，实现被反射后的IR对人眼进行照明，同时，在IR照明路径的另一侧采用光电探测器14对被眼球15从不同角度反射的IR进行接收和光功率检测。其中，上述AR/VR眼镜的眼球追踪系统的参数参见表3，IR光源11采用的是近红外激光芯片，光束扫描器12采用的是MEMS高频扫描装置，光电探测器14采用的是光电二极管(photo diode，PD)，眼球追踪系统的整体尺寸小于10mm3，整体功耗小于10mW，成本低于10美元。

表3

序号	参数	行业当前技术解决方案	实施例1解决方案
				1	技术类型	NIR LED+NIR Camera	NIR Laser+MEMS Mirror+PD
2	尺寸	＞1000mm3	＜10mm3
				3	频率	60-120Hz	60-5000Hz
4	精度	0.4°	0.25°
				5	功耗	＞100mW	＜10mW
6	成本	＞100USD	＜10USD

由于人的眼球15在不同视线位置表面外形不同，对IR光的反射角度不同，因此，接收到的IR的接收光功率值也不同。本申请由光电探测器14采集被眼球15从不同角度反射的IR的接收光功率值，光电探测器14是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器14的光功率采集频率远高于现有技术中摄像头的图像采集频率，因此，基于由IR光源11、光束扫描器12和入瞳光学装置13构成的照明体系，利用光电探测器14采集眼球15反射光线的光功率来进行眼球追踪，相对于现有技术因具备高采集频率而有利于实现低延时。进一步的，由于光电探测器14的采集频率高，根据所采集的接收光功率值进行眼球追踪的精度现对于现有技术有所提升。再进一步的，由于光电探测器14是尺寸在微米级甚至微纳米级的器件，因此，本申请提供的眼球追踪系统还同时具备小体积、低功耗和低成本的优势。因此在该硬件装置与算法支持下，可以极大地复用当前的扫描投影装置，实现在小体积、低功耗、低延时的人眼眼球追踪，解决了表4中当前技术中存在的问题。

表4

实施例2

基于相同的发明构思，本申请提供一种同时具备视网膜投影和高精度眼球追踪功能的AR/VR眼镜，与实施例1的区别在于，光电探测器14、RGB光源10和IR光源11构成集成器件，可实现IR的发射和接收一体化，进一步实现了硬件的更小型化和简单化，缺点是光源的复杂度提高，光电探测器14设置在IR的散射光的光路上，接收到的IR的反射光强度较弱，灵敏度会稍微弱一些。

实施例3

基于相同的发明构思，本申请提供一种同时具备视网膜投影和高精度眼球追踪功能的VR HMD中，如图19所示，与实施例1的区别在于，RGB光源10和IR光源11、光束扫描器12、入瞳光学装置13和光电探测器14都设置在VR HMD的壳体内部，由于壳体内的空间较大，光电探测器14安装位置比较灵活，以便于接收本眼球15反射的IR的位置为佳。除了RGB光源10和IR光源11、光束扫描器12、入瞳光学装置13和光电探测器14所在位置的不同之外，其他内容均与实施例1相同，此处不再累述。

实施例4

基于相同的发明构思，本申请提供一种同时具备视网膜投影和高精度眼球追踪功能的VR HMD中，如图20所示，每一套眼球追踪系统包括的RGB光源10和IR光源11、光束扫描器12、入瞳光学装置13和光电探测器14都设置在VR HMD的壳体内部，与实施例3的区别在于，入瞳光学装置13采用直接透射的凸镜光路，即光束扫描器12将RGB显示光线和IR投射到入瞳光学装置13上之后，不在入瞳光学装置13上发生反射，而是直接透过入瞳光学装置13后直接汇聚到人眼，RGB显示光线和IR的汇聚程度不同，使得RGB显示光线透过入瞳光学装置13之后对人眼进行照明，IR透过入瞳光学装置13之后穿过眼球15瞳孔153进行视网膜成像。实施例1至实施例3中入瞳光学装置13采用的是反射光路。入瞳光学装置13采用直接透射的凸镜光路的优点是实现更简单，缺点产品厚度尺寸较大。采用透射光路，属于光学上等效，但物理形态不同的两种架构，二者光程一样，不过，利用反射光路搭建的产品厚度更小。

实施例5

基于相同的发明构思，本申请提供一种同时具备高精度眼球追踪功能的眼球追踪系统，与实施例1的区别在于不包括RGB光源10，该眼球追踪系统可以应用在其他电子产品，如手机、电脑以及一些医疗产品，如眼动仪等设备中，使这些产品具有眼球追踪功能。如图21所示，该眼球追踪系统，包括：IR光源11，入瞳光学装置13，光束扫描器12，光电探测器14和控制器(图21中未示出)，控制器与IR光源11、光束扫描器12和光电探测器14电连接，其中，由IR光源11、光束扫描器12和入瞳光学装置13构成的照明体系对眼球15进行照明。

由IR光源11、光束扫描器12和入瞳光学装置13构成的照明体系对眼球15进行照明的照明光路具体为：IR光源11向光束扫描器12发射IR，光束扫描器12，将接收的IR投射在入瞳光学装置13上，入瞳光学装置13对接收的IR进行反射、复现或折射，使被反射后的、被复现后的或被折射后的IR对眼球15进行照明，被反射或被复现或被折射后的IR对眼球15进行照明时被眼球15从不同角度反射。

由光电探测器14和控制器构成的眼球追踪算法执行体系，具体为：光电探测器14，采集被眼球15从不同角度反射的IR的接收光功率值，并将接收光功率值发送给控制器；控制器，接收光电探测器14发送的接收光功率值，根据接收光功率值，确定与接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与光功率参照值匹配的眼球15视线方向确定为眼球15的当前注视方向。

本实施例中，光束扫描器12和光电探测器14的硬件实现方案与实施例1相同，此处不再累述。控制器基于光功率比值算法和最大接收光功率值算法执行眼球追踪的方法流程与实施例1相同，此处不再累述。

与实施例1的区别之一在于，由于不包括RGB光源10，IR光源11为独立光源，IR光源11是能够发射红外或近红外激光的谐振腔泵浦激光器、半导体激光芯片或发光二极管。

与实施例1的区别之二在于，由于不包括RGB光源10，入瞳光学装置13上设置的功能膜仅具有IR反射功能。

可选的，入瞳光学装置13设置的功能膜对投射在入瞳光学装置13上的波长位于第一波段的IR进行反射，使被反射后的的IR以预设角度覆盖眼球15。例如，如图22所示，入瞳光学装置13包括光学镜片501和光学镜片501上设置的第一曲面反射膜51，光学镜片501为自由曲面镜片，该第一曲面反射膜51为单层膜结构，能够对波长位于第一波段的IR进行反射，使被反射后的照明光线以预设角度覆盖眼球15。

可选的，入瞳光学装置13设置的第一曲面反射膜51对投射在入瞳光学装置13上的波长位于第一波段的IR进行复现，使被复现后的IR以预设角度覆盖眼球15。例如，该功能膜为能够对投射的IR进行复现的全息膜。例如，如图23所示，入瞳光学装置13上设置的功能膜为第一全息膜61，该第一全息膜的制作方法是：选择某折射率可以变化的光学聚合物基材，使用强相干性的1000nm波长激光光源，通过干涉得到500nm(1/2)或250nm(1/4)波长的干涉条纹，再用这些干涉条纹对有机聚合物基材进行曝光，通过诱导基材折射率变化，得到全息膜，。该全息膜上的全息干涉条纹对接收的波长为1000nm的IR进行复现，从而产生对应于接收的波长为1000nm的IR的被复现光，产生的对应于接收的波长为1000nm的IR的被复现光对眼球15进行照明。

可选的，入瞳光学装置13设置的功能膜还可以是其他能够对投射在入瞳光学装置13上的波长位于第一波段的IR进行折射，使被折射后的IR以预设角度覆盖眼球15的功能膜。例如，该功能膜为能够对位于第一波段的IR进行折射或反射的衍射光波导微纳结构。

与实施例1的区别之三在于，由于不包括RGB光源10，控制器向IR光源11、光电探测器14和光束扫描器12发送用于协同运行的指示信号。具体为：

IR光源11根据控制器发送的指示信号，在光电探测器14的第H’个探测周期内向光束扫描器12发射IR。光电探测器14根据控制器发送的指示信号在第H’个探测周期采集J个接收光功率值，以使控制器根据光电探测器14在第H’个探测周期内采集J个接收光功率值，确定出眼球15的当前注视方向。光束扫描器12根据控制器发送的指示信号，在光电探测器14的第H’个探测周期内扫描IR，并将扫描后的IR投射在入瞳光学装置13上。

需要说明的是，由于被入瞳光学装置13反射的IR对眼球15照明时被眼球15反射的IR以不同角度反射出去，而所述光电探测器14的位置是固定的，若要采集到从不同角度反射的IR的接收光功率值，需要为从不角度反射的IR的接收光功率值配置一个唯一的采集时刻。从眼球15表面反射的IR的反射角度与该IR照射到眼球15的位置有关，根据对眼球15照明的IR的逆向光路可知，该IR照射到眼球15位置与该IR投射到入瞳光学装置13位置对应，该IR投射到入瞳光学装置13位置与该IR被光束扫描器12扫描时扫描路径上的一个位置对应，该IR被光束扫描器12扫描时扫描路径上的一个位置与该IR的照明时刻对应。因此，为了采集到从不同角度反射的IR的接收光功率值，本申请中，与实施例1中光电探测器14的探测周期及其包括的采集时刻的配置类似，光电探测器14的采集时刻可按照一帧二维图像的M(像素行)*N(像素列)个像素点的调制时刻确定，使得一个探测周期中的J个采集时刻对应从J个不同角度反射的IR。

相应的，本申请中，IR光源11在光电探测器14的一个探测周期内可以持续的发射IR，也可以不持续的发射IR，IR光源11不持续发射IR时，IR光源11发射的IR的照明时刻根据光电探测器14的采集时刻的配置来确定，即在一个光电探测器14的一个探测周期发射的IR的多个照明时刻与光电探测器14的一个探测周期中的多个采集时刻一一对应。

可选的，若IR光源11在每个探测周期内发射的IR包括W个照明时刻，在任意一个探测周期中，W个照明时刻中的第F个照明时刻与W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于光电探测器14在探测周期中采集的第L个接收光功率值的采集时刻与探测周期的起始采集时刻之间的时间间隔。

相应的，在IR光源11发射的IR的多个照明时刻与光电探测器14的一个探测周期中的多个采集时刻一一对应时，光束扫描器12也应在光电探测器14的探测周期内对IR光源11发射的IR进行二维扫描。

本实施例中，由光电探测器14采集被眼球15从不同角度反射的IR的接收光功率值，光电探测器14是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器14的光功率采集频率远高于现有技术中摄像头的图像采集频率。所以本申请在由IR光源11、光束扫描器12和入瞳光学装置13构成照明体系的基础上，再利用光电探测器14采集眼球15反射光线的光功率来进行眼球追踪，相对于现有技术因具备高采集频率而有利于实现低延时。进一步的，由于光电探测器14的采集频率高，根据所采集的接收光功率值进行眼球追踪的精度现对于现有技术有所提升。再进一步的，由于光电探测器14是尺寸在微米级甚至微纳米级的器件，因此，本申请提供的眼球追踪系统还同时具备小体积、低功耗和低成本的优势。

实施例6

基于相同的发明构思，本申请提供一种同时具备高精度眼球追踪功能的眼球追踪系统，与实施例1的区别在于不包括RGB光源10，也不包括入瞳光学装置13，该眼球追踪系统可以应用在其他电子产品，如手机、电脑以及一些医疗产品，如眼动仪等设备中，使这些产品具有眼球追踪功能。如图24所示，该眼球追踪系统，包括：IR光源11，光束扫描器12，光电探测器14和控制器，控制器与IR光源11、光束扫描器12和光电探测器14电连接，其中，由IR光源11和光束扫描器12构成的照明体系对眼球15进行照明。由光电探测器14和控制器构成眼球追踪算法执行体系。

由IR光源11、光束扫描器12和入瞳光学装置13构成的照明体系对眼球15进行照明的照明光路具体为：所述照明光源，向所述光束扫描器12发射照明光线；所述光束扫描器12，将所述照明光线进行投射，使被投射后的所述照明光线以预设角度对眼球15进行照明，被投射的IR对眼球15进行照明时被眼球15从不同角度反射。

由光电探测器14和控制器构成的眼球追踪算法执行体系，具体为：光电探测器14，采集被眼球15从不同角度反射的IR的接收光功率值，并将接收光功率值发送给控制器；控制器，接收光电探测器14发送的接收光功率值，根据接收光功率值，确定与接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与光功率参照值匹配的眼球15视线方向确定为眼球15的当前注视方向。

本实施例中，控制器基于光功率比值算法和最大接收光功率值算法执行眼球追踪的方法流程与实施例1相同，此处不再累述。

本实施例中，光束扫描器12和光电探测器14的硬件实现方案与实施例1相同，此处不再累述。例如，光束扫描器12可以使用当前比较成熟的MEMS高频扫描装置，也可考虑光纤扫描器或其它类似的扫描器。需要说明的是，本申请中，光电探测器14需要与IR光源11进行波长匹配，并选取合适的灵敏度的PD，要求对特定波长光强值能够进行高频精确的采样，同时，还要能够有效避免环境光的干扰。

本实施例中，光束扫描器12、光电探测器14的硬件实现方案与实施例1相同，此处不再累述。眼球追踪算法的具体实现方案与实施例1相同，此处不再累述。

与实施例1的区别之一在于，由于不包括RGB光源10，IR光源11为独立光源，IR光源11是能够发射红外或近红外激光的谐振腔泵浦激光器、半导体激光芯片或发光二极管。或是IR光源11为其它任何能够发射红外或近红外光的光源。IR光源11可采用侧面出光或垂直面出光的IR激光芯片或LED光源，按既定光路规格使用准直透镜35对光束进行整形处理。

与实施例1的区别之三在于，由于不包括RGB光源10，控制器向IR光源11、光电探测器14和光束扫描器12发送用于协同运行的指示信号。控制器向IR光源11、光电探测器14和光束扫描器12发送用于协同运行的指示信号的具体内容与实施例5相同，此处不再累述。

需要说明的是，由于被入瞳光学装置13反射的IR对眼球15照明时被眼球15反射的IR以不同角度反射出去，而所述光电探测器14的位置是固定的，若要采集到从不同角度反射的IR的接收光功率值，需要为从不角度反射的IR的接收光功率值配置一个唯一的采集时刻。

为了采集到从不同角度反射的IR的接收光功率值，本申请中，光电探测器14的探测周期及其包括的采集时刻的配置与实施例5相同，此处不再累述。相应的，IR光源11在光电探测器14的探测周期内发射的IR的照明时刻配置与实施例5相同，此处不再累述。相应的，光束扫描器12在光电探测器14的探测周期内对IR光源11发射的IR进行二维扫描的具体内容参见实施例5，此处不再累述。

本实施例中，由光电探测器14采集被眼球15从不同角度反射的IR的接收光功率值，光电探测器14是光功率采集装置，现有技术中是由摄像头拍摄人眼图像，摄像头是图像采集装置，光电探测器14的光功率采集频率远高于现有技术中摄像头的图像采集频率。所以本申请实施例在由IR光源11和光束扫描器12构成照明体系的基础上，再利用光电探测器14采集眼球15反射光线的光功率来进行眼球追踪，相对于现有技术因具备高采集频率而有利于实现低延时。进一步的，由于光电探测器14的采集频率高，根据所采集的接收光功率值进行眼球追踪的精度现对于现有技术有所提升。再进一步的，由于光电探测器14是尺寸在微米级甚至微纳米级的器件，因此，本申请提供的眼球追踪系统还同时具备小体积、低功耗和低成本的优势。

基于相同的发明构思，本申请还提供了一种眼球追踪方法，应用于实施例1至实施例4，该方法包括：

步骤301，照明光源向光束扫描器12发射照明光线，显示光源向所述光束扫描器12发射显示光线；

步骤302，所述光束扫描器12将所述照明光线和所述显示光线投射在入瞳光学装置13上，使所述入瞳光学装置13对所述照明光线和所述显示光线进行反射或复现，使被反射或被复现后的照明光线对眼球15进行照明，使被反射或被复现后的显示光线穿过所述眼球15的瞳孔153后在视网膜成像。

步骤303，光电探测器14采集眼球15反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球15反射光线为所述被反射或被复现后的照明光线对所述眼球15进行照明时被所述眼球15反射的光线；

步骤304，所述控制器接收所述光电探测器14发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球15视线方向确定为所述眼球15的当前注视方向。

该眼球追踪方法与实施例1至实施例4中的眼球追踪系统是基于同一发明构思的，解决问题的原理相似，因此该眼球追踪方法与实施例1至实施例4中的眼球追踪系统的具体实施可以相互参见，重复之处不再赘述。

基于相同的发明构思，本申请还提供了一种眼球追踪方法，应用于实施例5，该方法包括：

步骤401，照明光源向光束扫描器12发射照明光线；

步骤402，所述光束扫描器12将所述照明光线投射在入瞳光学装置13上，使所述入瞳光学装置13对所述照明光线进行反射或复现，使被反射或被复现后的照明光线对眼球15进行照明；

步骤403，光电探测器14采集眼球15反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球15反射光线为所述被反射或被复现后的照明光线对所述眼球15进行照明时被所述眼球15反射的光线；

步骤404，所述控制器接收所述光电探测器14发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球15视线方向确定为所述眼球15的当前注视方向。

该眼球追踪方法与实施例5中的眼球追踪系统是基于同一发明构思的，解决问题的原理相似，因此该眼球追踪方法与实施例5中的眼球追踪系统的具体实施可以相互参见，重复之处不再赘述。

基于相同的发明构思，本申请还提供了一种眼球追踪方法，应用于实施例6，该方法包括：

步骤501，照明光源向光束扫描器12发射照明光线；

步骤502，所述光束扫描器12将所述照明光线进行投射，使被投射后的所述照明光线以预设角度对眼球15进行照明；

步骤503，光电探测器14采集眼球15反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球15反射光线为所述被投射后的照明光线对所述眼球15进行照明时被所述眼球15反射的光线；

步骤504，所述控制器接收所述光电探测器14发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球15视线方向确定为所述眼球15的当前注视方向。

该眼球追踪方法与实施例6中的眼球追踪系统是基于同一发明构思的，解决问题的原理相似，因此该眼球追踪方法与实施例6中的眼球追踪系统的具体实施可以相互参见，重复之处不再赘述。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (35)

1.一种眼球追踪系统，其特征在于，包括：照明光源，入瞳光学装置，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；

所述照明光源，用于向所述光束扫描器发射照明光线；

所述光束扫描器，用于将所述照明光线投射在所述入瞳光学装置上；

所述入瞳光学装置，用于对所述照明光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的照明光线对眼球进行照明；

所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现或被折射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；

所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

2.根据权利要求1所述的眼球追踪系统，其特征在于，还包括显示光源，

所述显示光源，用于向所述光束扫描器发射显示光线；

所述光束扫描器，还用于将所述显示光线投射到所述入瞳光学装置上；

所述入瞳光学装置，还用于将投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像。

3.根据权利要求1或2所述的眼球追踪系统，其特征在于，所述入瞳光学装置上设置有第一功能膜；

其中，所述第一功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段；

所述第一功能膜还用于对投射在所述入瞳光学装置上的显示光线进行反射、复现或折射，使被反射后的、被复现后的或被折射后的显示光线穿过所述眼球的瞳孔后在视网膜成像，所述显示光线的波长位于第二波段，所述第一波段和所述第二波段之间没有交集。

4.根据权利要求3所述的眼球追踪系统，其特征在于，所述第一功能膜包括层叠设置的第一曲面反射膜和第二曲面反射膜，其中，所述第一曲面反射膜的曲率大于所述第二曲面反射膜的曲率；

所述第一曲面反射膜为单层膜结构，且所述第一曲面反射膜用于对所述照明光线进行反射；

所述第二曲面反射膜用于对所述显示光线进行反射。

5.根据权利要求3所述的眼球追踪系统，其特征在于，

所述第一功能膜包括层叠的第一全息膜和第二全息膜，

所述第一全息膜用于对接收的所述照明光线进行复现，从而产生对应于接收的所述照明光线的被复现光；

所述第二全息膜包括层叠的第一子全息膜、第二子全息膜和第三子全息膜，所述第二波段包括第一子波段、第二子波段和第三子波段，

所述第一子全息膜用于对接收的位于所述第一子波段的所述显示光线进行复现，从而产生第一被复现光；

所述第二子全息膜用于对接收的位于所述第二子波段的所述显示光线进行复现，从而产生第二被复现光；

所述第三子全息膜用于对接收的位于所述第三子波段的所述显示光线进行复现，从而产生第三被复现光。

6.根据权利要求3所述的眼球追踪系统，其特征在于，

所述第一功能膜包括层叠的第一衍射光波导微纳结构和第二衍射光波导微纳结构，

所述第一衍射光波导微纳结构用于对所述照明光线进行折射或反射；

所述第二衍射光波导微纳结构包括层叠的第一子衍射光波导微纳结构、第二子衍射光波导微纳结构和第三子衍射光波导微纳结构，所述第二波段包括第一子波段、第二子波段和第三子波段，

第一子衍射光波导微纳结构用于对接收的位于所述第一子波段的所述显示光线进行折射或反射，从而产生第一被折射光，

第二子衍射光波导微纳结构用于对接收的位于所述第二子波段的所述显示光线进行折射或反射，从而产生第二被折射光，

第三子衍射光波导微纳结构用于对接收的位于所述第三子波段的所述显示光线进行折射或反射，从而产生第三被折射光。

7.根据权利要求5或6所述的眼球追踪系统，其特征在于，所述显示光线为红光、绿光和蓝光三种单色光的调制光，其中，所述红光的波长位于所述第一子波段，所述绿光的波长位于所述第二子波段，所述蓝光的波长位于所述第三子波段。

8.根据权利要求3至7任一项所述的眼球追踪系统，其特征在于，所述照明光线为红外或近红外光，所述红外光或所述近红外光的波长位于所述第一波段内。

9.根据权利要求2至8任一项所述的眼球追踪系统，其特征在于，所述显示光源与所述控制器电连接；

所述控制器用于向所述显示光源发送第一指示信号，所述第一指示信号用于指示所述显示光源在第M个调制周期内调制出第M帧图像的K个像素点，所述M为大于或等于1的整数，所述K为大于或等于1的整数；

所述显示光源用于接收所述第一指示信号，根据所述第一指示信号在所述第M个调制周期内调制出所述K个像素点，并将所述K个像素点对应的调制光输出，所述K个像素点中每一像素点对应的所述调制光为所述显示光线；

其中，在所述M取不同的数值时，所述K个像素点中第P个像素点的调制时刻和所述第M个调制周期的起始调制时刻之间的时间间隔是固定不变的，所述P取大于或等于1且小于或等于K的整数。

10.根据权利要求9所述的眼球追踪系统，其特征在于，所述光束扫描器与所述控制器电连接；

所述控制器用于向所述光束扫描器发送第二指示信号，所述第二指示信号用于指示所述光束扫描器在所述第M个调制周期内扫描所述第M帧图像中的所述K个像素点对应的调制光；

所述光束扫描器用于接收所述第二指示信号，根据所述第二指示信号在所述第M个调制周期内扫描所述K个像素点对应的调制光，并将扫描后的所述K个像素点对应的调制光投射在所述入瞳光学装置上。

11.根据权利要求10所述的眼球追踪系统，其特征在于，所述照明光源与所述控制器电连接；

所述控制器还用于向所述照明光源发送第三指示信号，所述第三指示信号用于指示所述照明光源发射所述照明光线，所述照明光源在每个调制周期内发射的所述照明光线包括W个照明时刻，其中，所述调制周期为所述显示光源的调制周期，在每一所述调制周期内，第Z个照明时刻与所述第Z个照明时刻所在调制周期的起始调制时刻之间的时间间隔均是相同的，所述Z取大于或等于1且小于或等于W的整数，所述W为大于或等于K的正整数；

所述照明光源用于接收所述第三指示信号，并根据所述第三指示信号向所述光束扫描器发射所述照明光线；

所述光束扫描器还用于根据所述第二指示信号，在扫描所述K个像素点时同步扫描所述照明光线，并扫描后的所述照明光线投射在所述入瞳光学装置上。

12.根据权利要求11所述的眼球追踪系统，其特征在于，

所述控制器还用于向所述光电探测器发送第四指示信号，所述第四指示信号用于指示所述光电探测器在第H个探测周期采集J个所述接收光功率值；所述H为大于或等于1的整数，所述J为大于或等于1的整数；

所述光电探测器用于接收所述第四指示信号，并根据所述第四指示信号在所述第H个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值，确定出所述眼球的当前注视方向；

在所述H取不同的数值时，所述J个所述接收光功率值中的第L个接收光功率值的采集时刻和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

13.根据权利要求12所述的眼球追踪系统，其特征在于，所述探测周期的时长与所述调制周期的时长相等，每一所述探测周期对应一个所述调制周期，且每一所述探测周期的起始采集时刻和对应的所述调制周期的起始调制时刻是相同的；

在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第一时间间隔；所述显示光源在所述采集时刻调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第二时间间隔；所述第一时间间隔等于所述第二时间间隔。

14.根据权利要求12所述的眼球追踪系统，其特征在于，

所述探测周期的时长大于所述调制周期的时长，每一所述探测周期的时长等于多个连续的所述调制周期的时长之和，且每一所述探测周期的起始采集时刻和对应的所述多个连续的所述调制周期中发生时刻最早的起始调制时刻是相同的；

在任一所述探测周期中，所述光电探测器采集的所述J个接收功率值中的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的固定时间间隔为第三时间间隔；所述显示光源在所述采集时刻T_L调制出的像素点的调制时刻和所述像素点所在调制周期的起始调制时刻之间的固定间隔为第四时间间隔；所述第三时间间隔等于所述第四时间间隔。

15.根据权利要求12至14中任一项所述的眼球追踪系统，所述控制器用于：

接收所述光电探测器在所述第H个探测周期内采集的所述J个所述接收光功率值；

获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；

根据所述发射光功率值和所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；

从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；

将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

16.根据权利要求12至14中任一项所述的眼球追踪系统，其特征在于，所述控制器用于：

获取所述光电探测器发送的在所述第H个探测周期内采集的所述J个所述接收光功率值；

根据所述J个所述接收光功率值，确定所述第H个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大接收光功率值，以及；

确定探测周期所述第H个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；

从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；

将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

17.根据权利要求1所述的眼球追踪系统，其特征在于，所述入瞳光学装置上设置有第二功能膜；

其中，所述第二功能膜用于对投射在所述入瞳光学装置上的照明光线进行反射、复现或折射，使所述被反射后的、被复现后的或被折射后的照明光线以预设角度覆盖所述眼球，所述照明光线的波长位于第一波段。

18.根据权利要求17所述的眼球追踪系统，其特征在于，

所述第二功能膜为能够对位于所述第一波段的照明光线进行反射的曲面反射膜；或，

所述第二功能膜为能够对投射的所述照明光线进行复现的全息膜；或，

所述第二功能膜为能够对位于所述第一波段的照明光线进行折射或反射的衍射光波导微纳结构。

19.根据权利要求17至18任一项所述的眼球追踪系统，其特征在于，所述照明光源与所述控制器电连接；

所述控制器还用于向所述照明光源发送第五指示信号，所述第五指示信号用于指示所述照明光源发射所述照明光线；

所述照明光源用于接收所述第五指示信号，并根据所述第五指示信号向所述光束扫描器发射所述照明光线。

20.根据权利要求17至19任一项所述的眼球追踪系统，其特征在于，所述光电探测器与所述控制器电连接；

所述控制器还用于向所述光电探测器发送第六指示信号，所述第六指示信号用于指示所述光电探测器在第H’个探测周期采集J个所述接收光功率值，所述H’为大于或等于1的整数，所述J为大于或等于1的整数；

所述光电探测器用于接收所述第六指示信号，并根据所述第六指示信号在所述第H’个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H’个探测周期内采集所述J个所述接收光功率值，确定出所述眼球的当前注视方向；

在所述H’取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻和所述第H个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

21.根据权利要求20所述的眼球追踪系统，其特征在于，所述光束扫描器与所述控制器电连接；

所述控制器用于向所述光束扫描器发送第七指示信号，所述第七指示信号用于指示所述光束扫描器在所述第H’个探测周期内扫描所述照明光线；

所述光束扫描器用于接收所述第七指示信号，根据所述第七指示信号在所述所述第H’个探测周期内扫描所述照明光线，并将扫描后的所述照明光线投射在所述入瞳光学装置上。

22.根据权利要求21所述的眼球追踪系统，其特征在于，

所述照明光源在每个探测周期内发射的所述照明光线包括W个照明时刻；

在任意一个探测周期中，所述W个照明时刻中的第F个照明时刻与所述W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于所述光电探测器在所述探测周期中采集的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的时间间隔。

23.根据权利要求20至22中任一项所述的眼球追踪系统，所述控制器用于：

接收所述光电探测器在所述第H’个探测周期内采集的所述J个所述接收光功率值；

获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；

根据所述发射光功率值和所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；

从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H’个探测周期的所述光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；

将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

24.根据权利要求20至22中任一项所述的眼球追踪系统，其特征在于，所述控制器用于：

获取所述光电探测器发送的在所述第H’个探测周期内采集的所述J个所述接收光功率值；

根据所述J个所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大接收光功率值，以及；

确定探测周期所述第H’个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；

从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；

将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

25.一种眼球追踪系统，其特征在于，包括：照明光源，光束扫描器，光电探测器和控制器，所述控制器与所述光电探测器电连接；

所述照明光源，用于向所述光束扫描器发射照明光线；

所述光束扫描器，用于将所述照明光线进行投射，使被投射后的所述照明光线以预设角度对眼球进行照明；

所述光电探测器，用于采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被投射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；

所述控制器，用于接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

26.根据权利要求25所述的眼球追踪系统，其特征在于，所述照明光线为红外或近红外光。

27.根据权利要求25或26所述的眼球追踪系统，其特征在于，所述照明光源与所述控制器电连接；

所述控制器还用于向所述照明光源发送第八指示信号，所述第八指示信号用于指示所述照明光源发射所述照明光线；

所述照明光源用于接收所述第八指示信号，并根据所述第八指示信号向所述光束扫描器发射所述照明光线。

28.根据权利要求27所述的眼球追踪系统，其特征在于，所述光电探测器与所述控制器电连接；

所述控制器还用于向所述光电探测器发送第九指示信号，所述第九指示信号用于指示所述光电探测器在第H’个探测周期采集J个所述接收光功率值，所述H’为大于或等于1的整数，所述J为大于或等于1的整数；

所述光电探测器用于接收所述第九指示信号，并根据所述第九指示信号在所述第H’个探测周期内采集所述J个所述接收光功率值，以使所述控制器根据所述光电探测器在所述第H’个探测周期内采集所述J个所述接收光功率值，确定出所述眼球的当前注视方向；

在所述H’取不同的数值时，所述J个接收光功率值中的第L个接收光功率值的采集时刻和所述第H’个探测周期的起始采集时刻之间的时间间隔是固定不变的，所述L取大于或等于1且小于或等于J的整数。

29.根据权利要求28所述的眼球追踪系统，其特征在于，所述光束扫描器与所述控制器电连接；

所述控制器用于向所述光束扫描器发送第十指示信号，所述第十指示信号用于指示所述光束扫描器在所述第H’个探测周期内扫描所述照明光线；

所述光束扫描器用于接收所述第十指示信号，根据所述第十指示信号在所述第H’个探测周期内扫描所述照明光线，并将扫描后的所述照明光线进行投射，使被投射后的所述照明光线以预设角度对所述眼球进行照明。

30.根据权利要求29所述的眼球追踪系统，其特征在于，

所述照明光源在每个所述探测周期内发射的所述照明光线包括W个照明时刻；

在任意一个探测周期中，所述W个照明时刻中的第F个照明时刻与所述W个照明时刻中发生时刻最早的照明时刻之间的时间间隔，等于所述光电探测器在所述探测周期中采集的第L个接收光功率值的采集时刻与所述探测周期的起始采集时刻之间的时间间隔。

31.根据权利要求28至30任一项所述的眼球追踪系统，所述控制器用于：

接收所述光电探测器在所述第H’个探测周期内采集的所述J个所述接收光功率值；

获取所述J个所述接收光功率值中每一所述接收光功率值对应的发射光功率值，所述发射光功率值为所述照明光源在所述接收光功率值的采集时刻发射的照明光线的光功率值；

根据所述发射光功率值和所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中每一个所述接收光功率值与对应的所述发射光功率值的比值；

从预先存储的多个探测周期中每一探测周期的光功率参照值中，确定出与所述第H’个探测周期的光功率参照值相似度最大的目标探测周期的光功率参照值，所述多个探测周期包括所述目标探测周期；

将预先存储的所述目标探测周期的所述光功率参照值对应的眼球注视方向，确定为所述眼球的当前注视方向。

32.根据权利要求28至30任一项所述的眼球追踪系统，其特征在于，所述控制器用于：

获取所述光电探测器发送的在所述第H’个探测周期内采集的所述J个所述接收光功率值；

根据所述J个所述接收光功率值，确定所述第H’个探测周期的光功率参照值，所述光功率参照值为所述J个所述接收光功率值中的最大值；

确定所述第H’个探测周期的所述光功率参照值与对应的采集时刻之间的第一对应关系；

从预先存储的多个对应关系中确定与所述第一对应关系相似度最大的第二对应关系，所述多个对应关系是指多个探测周期内每一所述探测周期的所述光功率参照值与对应采集时刻之间的对应关系；

将预先存储的所述第二对应关系对应的眼球注视方向，确定为所述眼球的当前注视方向。

33.一种眼球追踪方法，其特征在于，所述方法包括：

照明光源向光束扫描器发射照明光线；

所述光束扫描器将所述照明光线投射在入瞳光学装置上，使所述入瞳光学装置对所述照明光线进行反射或复现，使被反射或被复现后的照明光线对眼球进行照明；

光电探测器采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被反射或被复现后的照明光线对所述眼球进行照明时被所述眼球反射的光线；

所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。

34.根据权利要求33所述的眼球追踪方法，其特征在于：

显示光源向所述光束扫描器发射显示光线；

所述光束扫描器将所述显示光线投射到所述入瞳光学装置上；

所述入瞳光学装置将投射在所述入瞳光学装置上的显示光线进行反射或复现，使被反射或被复现后的显示光线穿过所述眼球的瞳孔后在视网膜成像。

35.一种眼球追踪方法，其特征在于，所述方法包括：

照明光源向光束扫描器发射照明光线；

所述光束扫描器将所述照明光线进行投射，使被投射后的所述照明光线以预设角度对眼球进行照明；

光电探测器采集眼球反射光线的接收光功率值，并将所述接收光功率值发送给控制器，其中，所述眼球反射光线为所述被投射后的照明光线对所述眼球进行照明时被所述眼球反射的光线；

所述控制器接收所述光电探测器发送的所述接收光功率值，根据所述接收光功率值，确定与所述接收光功率值满足设定函数关系的光功率参照值，根据预先存储的多个眼球注视方向和多个光功率参照值之间一对一的匹配关系，将与所述光功率参照值匹配的眼球视线方向确定为所述眼球的当前注视方向。