CN115362429A - 紧凑型眼跟踪摄像头系统和方法 - Google Patents

Abstract

提供了用于紧凑型眼跟踪摄像头组合件的系统和方法。摄像头并入透镜和图像传感器，所述透镜和图像传感器的主轴平行于显示器表面的平面；以及复合角度反射镜，所述复合角度反射镜被配置成沿着所述主轴重定向入射IR光。所述复合角度反射镜具有相对于第一轴大约45度的第一角度以及相对于与所述第一轴正交的第二轴大约15‑22度(例如，18度)的第二角度。所述第一轴和所述第二轴基本上平行于所述显示器表面的所述平面。

Description

紧凑型眼跟踪摄像头系统和方法

技术领域

本发明总体上涉及眼跟踪系统和方法，并且更具体地涉及与此类眼跟踪系统结合使用的紧凑型摄像头组合件。

背景技术

眼跟踪系统(如与台式计算机、膝上型计算机、平板计算机、头戴式显示器和其它包含显示器的此类计算装置结合使用的眼跟踪系统)通常并入一个或多个用于将红外光引导到用户眼睛的照明器以及用于捕获用户面部的所反射图像以供进一步处理的摄像头组合件(包含透镜和图像传感器)。通过确定所反射图像中的用户瞳孔和角膜反射的相对位置，眼跟踪系统可以准确地预测用户在显示器上的注视点。

显示器技术的最新进展以及消费者对轻量级装置的需求已经推动了朝非常薄的显示器发展的趋势，尤其是在膝上型计算机和平板计算机中。事实上，一些现代膝上型计算机显示器具有15mm或更小的厚度。当试图在此类装置中并入眼跟踪功能时，这是一个挑战，因为用于眼跟踪的透镜和摄像头通常具有不可约的最小焦距，有时为约15mm或更大。虽然透镜/摄像头组合件可以被配置成使得其延伸出前表面边框，但是由于各种设计和可制造性的原因，此类非齐平配置通常是不期望的。因此，需要克服现有技术的这些和其它限制的系统和方法。

发明内容

本发明的各个实施例尤其涉及用于以下的系统和方法：i)紧凑型、侧向安装的透镜和图像传感器，其在与显示器交互时通过通常朝向用户面部定向的复合反射镜接收入射IR光；i)紧凑型眼跟踪摄像头组合件，其并入透镜和图像传感器以及复合角度反射镜，所述透镜和图像传感器的主轴平行于显示器表面的平面，所述复合角度反射镜被配置成沿着主轴重定向入射IR光；ii)复合角度反射镜的用途，所述复合角度反射镜具有相对于第一轴大约45度的第一角度以及相对于与所述第一轴正交的第二轴大约15-22度(例如，18度)的第二角度，其中所述第一轴和所述第二轴基本上平行于所述显示器表面的所述平面。

附图说明

下文将与附图结合描述本发明，其中相似的附图标记表示相似的元件，并且：

图1是根据各个实施例的计算装置和眼跟踪系统的概念性概述；

图2A和2B分别是与根据各个实施例的眼跟踪系统交互的用户的前视图和侧视图；

图2C展示了根据各个实施例的瞳孔中心(PC)和角膜反射(CR)的确定；

图3A、3B、和3C是根据各个实施例的摄像头组合件几何结构的示意图；

图4A是根据一个实施例的摄像头组合件的等距视图；

图4B是图4A的摄像头组合件的替代性部分剖视图；

图5是根据一个实施例的眼跟踪组合件的等距视图；

图6和7展示了根据一个实施例将图5的眼跟踪组合件并入到成品计算装置中；并且

图8展示了根据一个实施例的紧凑型透镜外壳结构。

具体实施方式

本主题涉及用于紧凑型、侧向安装的透镜和图像传感器的系统和方法，所述透镜和图像传感器通过复合反射镜接收IR光。由于此类组件的有效宽度(例如，直径)通常小于透镜焦距所需的总长度，通过将透镜和图像传感器安装成平行于所述显示器(而不是正交的)并使用复合反射镜来收集入射IR光，所述摄像头组合件可以并入到更薄的显示器中。

作为引文，应理解的是，以下详细描述本质上仅是示例性的并且不旨在限制本发明或本文所描述的本发明的应用和用途。此外，不旨在受先前背景技术或以下详细描述中呈现的任何理论的约束。为了简洁起见，与眼跟踪算法、图像传感器、透镜设计和数字图像处理相关的常规技术和组件在本文不再详细描述。

首先结合图2A-2C参考图1，本发明可以在包含计算装置110(例如，台式计算机、平板计算机、膝上型计算机、智能电话、头戴式显示器、电视面板、安装在仪表板上的汽车系统等)的系统100的背景下实施，所述系统具有显示器112和眼跟踪组合件120，所述眼跟踪组合件耦接到装置110、整合到所述装置中或以其它方式与所述装置相关联。应当理解，本发明的实施例不限于图中所展示的计算装置110的特定形状、大小和类型。

眼跟踪组合件120包含一个或多个红外(IR)光源，如发光二极管(LED)121和122(可替代地分别称为“L1”和“L2”)，所述一个或多个IR光源被配置成照亮用户200的面部区域281，同时提供一个或多个摄像头组合件(例如，摄像头组合件125)以便以合适的帧速率从视场270内的用户面部区域281获取所反射IR光。眼跟踪组合件可以包含一个或多个处理器(例如，处理器128)，所述一个或多个处理器被配置成引导LED 121、122和摄像头组合件125的操作。眼跟踪组合件120优选地定位成邻近屏幕112的下边缘(相对于在正常操作期间使用的装置110的朝向)。

然后，利用计算装置110(和/或远程基于云的图像处理系统)的系统100确定每只眼的瞳孔中心(PC)和角膜反射(CR)-例如，用户右眼210的PC 211和CR 215、216以及用户左眼220的PC 221和CR 225、226。然后，系统100处理PC和CR数据(“图像数据”)以及关于用户200的头部定位/朝向的可用信息，并确定用户的注视点113在显示器112上的位置。注视点113可以例如由指定相对于显示器屏幕112上的任意参考点的线性坐标(以像素、厘米或其它合适的单位表示)的元组(x,y)来表征。注视点113的确定可以以多种方式完成，例如，通过使用头中眼的旋转和世界中头的坐标来几何地导出注视向量以及其与显示器112的交点，如本领域中已知的。

通常，如本文所使用的，短语“眼跟踪数据”是指使用系统100从眼跟踪会话直接或间接得到的任何数据或信息。此类数据包含例如在眼跟踪会话期间由用户的面部区域281产生的图像流(“图像数据”)以及从图像数据导出的任何数字和/或分类数据，如注视点坐标、角膜反射和瞳孔中心数据、扫视(和微扫视)信息以及非图像帧数据。更通常地，这类数据可以包含关于注视(当眼在运动之间静止时的相位)、扫视(在注视之间发生的快速且无意识的眼运动)、扫视路径(在眼睛到达屏幕上的目标位置之前交替的一系列短暂注视和扫视)、持续时间(在所关注的区域中进行的所有注视的总和)、眨眼(快速、暂时的眼睑闭合)和瞳孔大小(可能与认知工作负荷等相关)的信息。

在一些实施例中，可以使用安装的软件客户端在本地(即，在计算装置110和/或处理器128内)处理图像数据。然而，在一些实施例中，使用远离计算装置110的图像处理模块来实现眼跟踪，例如，在通过网络(未示出)通信地耦接到计算装置110的云计算系统内托管。在此类实施例中，远程图像处理模块执行确定注视点113所需的计算复杂操作的全部或一部分，并且所得信息通过网络被传送回计算装置110。于2019年6月7日提交的题为“用于减少基于云的眼跟踪系统中的计算和传输延迟的装置和方法”的美国专利申请第16/434,830号中展示了可以在本发明的上下文中采用的示例基于云的眼跟踪系统，所述美国专利申请的内容通过引用并入本文。

现在参考图3A和3B的概念框图，现在将描述示例性摄像头组合件125的几何形状。更具体地，图3A是组件125的侧视图，并且图3B是组件125的正视图。图3A和3B中所展示的坐标轴对应于图1和2B中的坐标轴。z轴通常从由显示器112定义的平面向外延伸，并且因此可以被称为显示器112的法向量。x轴和y轴两者都位于平行于显示器112的平面中，其中x轴平行于眼跟踪组合件120的主轴(由延伸穿过IR LED 121和122的线定义)，并且y轴垂直于x轴。

继续参考图3A，入射IR光340(即，从用户面部反射的光)被反射镜331(例如，IR反射镜或“热反射镜”)通过具有合适焦距的透镜332反射到图像传感器(例如，CMOS传感器)334上。透镜332可以由透镜镜筒(或其它此类壳体)333支撑。如所示出的，图像传感器334、透镜镜筒333、透镜332和反射镜331的中心通常沿着主轴360共线。因此，在主轴360位于平行于显示器112平面的平面内，而不是传统情况下的正交(平行于表面法线)的意义上，组合件125是侧向或“侧向安装”的。在所展示的实施例中，主轴360平行于x轴(即，平行于显示器112的下边缘，如图1中所描绘的)。

如图3A所示，反射镜331相对于x轴以角度351定向—即围绕y轴旋转角度θ——其中θ基本上等于45度(例如，45°±2°)。同时，如图3B所示，反射镜331以相对于z轴成角度φ的角度352定向——其中φ在15-20度的范围内(例如，18°±1°)。

更直观地说，反射镜331以复合角度定位，所述复合角度引起摄像头组合件125以稍微向上的角度φ面向用户。这例如在图2B中展示出。因此，45度角补偿了侧向安装的摄像头组合件(沿着x轴)，并且15-20度角考虑了装置110正常操作期间用户面部的通常定位和朝向。

在一个实施例中，透镜332和/或透镜镜筒333的直径的范围为8mm到12mm(例如，10mm)，并且所需的总轨道长度(即沿着x轴从透镜332的最右侧表面到图像传感器334的表面的距离)的范围为12mm到20mm(例如，15mm)。在此类实施例中，装置110容纳摄像头组合件125所需的最终厚度减少了至多50％。在一个实施例中，如图3C所示，图像传感器334还绕x轴旋转(并安装到PCB 339上)以补偿反射镜331的旋转。

图4A是根据一个实施例的摄像头组合件的等距视图，并且图4B是根据同一实施例的替代性部分剖视图。摄像头组合件400包含壳体420、复合角度反射镜401、透镜402、透镜镜筒403和图像传感器404——所有这些基本上沿着主轴460共线。组合件400还可以包含其它传感器，如向外朝向(即，正z轴)的距离传感器405。如图4B所描绘，反射镜401具有由正交角度φ和θ表征的朝向。轨道长度d沿着x轴从透镜402的最左侧边缘延伸到图像传感器404的表面。

图5是包含如图4所描绘的摄像头组合件的组合件500的等距视图。也就是说，摄像头组合件400定位于基板(例如，塑料条)501的中点处。对映印刷电路板(PCB)511和512被固定到基板501的端点(如所示出的，以稍微面向内和面向上的角度)，并且被配置成与一对IRLED(例如，图1中的IR LED 121和122)机械和电介接。还可以提供电路板502以支持各种控制器、图像处理器芯片和用于控制摄像头组合件400和PCB 511、512的组件的其它电子器件。

图6和7展示了根据一个实施例将图5的眼跟踪组合件并入到成品计算装置700中。如所示出的，组合件500定位于后外壳601与显示器屏幕组件602之间，所述后外壳和显示器屏幕组件被配置成固定在一起，使得模块摄像头模块400被组件602中的开口620框住(允许用户的清晰视野)。模块400的后部还可以被配置成配合在后外壳601中的开口610内，使得模块400基本上与其齐平。尽管在图6和7中未展示，但是对IR光基本上透明并且对可见光至少部分不透明的板组件优选地放置在模块400上方或插入在所述模块内，以保护其内部组件，同时仍然提供所需的功能。

图8展示了根据一个实施例的紧凑型透镜外壳806。具体地，由于本发明的目标之一是提供一种可以在薄显示器背景下使用的透镜/反射镜组合件，因此图8所示的实施例的优点在于，透镜804的外壳806在至少一个维度上不大于透镜804的直径。因此，透镜804的外周边上的点811基本上与外壳806的顶表面810齐平。

总之，已经描述了用于紧凑型眼跟踪摄像头组合件的各种系统和方法。根据一个实施例，为具有显示器的计算装置提供了紧凑型眼跟踪摄像头组合件。眼跟踪摄像头组合件包含：红外图像传感器；透镜组件；以及反射镜组件。所述红外图像传感器、所述透镜组件和所述反射镜组件沿着主轴基本上共线；并且所述反射镜组件以复合角度定向，所述复合角度被配置成沿着所述主轴重定向入射IR光，所述复合角度的特征在于相对于第一轴大约45度的第一角度以及相对于与所述第一轴正交的第二轴大约15到22度的第二角度，所述第一轴和所述第二轴基本上平行于由所述显示器限定的平面。

根据一个实施例的平板计算装置包含：外壳；耦接到外壳的显示器；并入到所述显示器中的眼跟踪摄像头组合件，所述眼跟踪摄像头组合件包含：红外图像传感器；透镜组件；以及反射镜组件。所述红外图像传感器、所述透镜组件和所述反射镜组件沿着主轴基本上共线；并且所述反射镜组件以复合角度定向，所述复合角度被配置成沿着主轴重定向入射IR光，其中所述复合角度的特征在于相对于第一轴大约45度的第一角度。

根据一个实施例的一种制造平板计算装置的方法通常包含：提供外壳；提供显示器；以及形成眼跟踪摄像头组合件，所述眼跟踪摄像头组合件包含红外图像传感器、透镜组件和反射镜组件，所有这些组件沿着主轴基本上共线。所述方法进一步包含将所述外壳、所述显示器和所述眼跟踪摄像头组合件互连，使得所述反射镜组件以复合角度定向，所述复合角度被配置成沿着所述主轴重定向入射IR光，所述复合角度的特征在于相对于基本上平行于由所述显示器限定的平面的第一轴的大约45度的第一角度。

可以根据功能和/或逻辑块组件以及各种处理步骤来描述本公开的实施例。应当理解，此类块组件可以由被配置成执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，所述组件可以在一个或多个微处理器或其它控制装置的控制下执行各种功能。

此外，本文描述的各种功能模块可以使用机器学习或预测分析模型完全或部分地实现。在此方面，在不丢失一般性的情况下使用短语“机器学习”模型来指代被设计成进行某种形式的预测的任何分析结果，如预测响应变量的状态、聚类患者、确定关联规则以及执行异常检测。因此，例如，术语“机器学习”是指经历监督、非监督、半监督和/或强化学习的模型。此类模型可以执行分类(例如，二元或多类别分类)、回归、聚类、维度减少和/或此类任务。此类模型的实例包含但不限于人工神经网络(ANN)(如递归神经网络(RNN)和卷积神经网络(CNN))、决策树模型(如分类和回归树(CART))、集成学习模型(如增强、自举聚合、梯度增强机和随机森林)、贝叶斯网络模型(例如，朴素贝叶斯)、主成分分析(PCA)、支持向量机(SVM)、聚类模型(如K最近邻、K均值、期望最大化、层次聚类等)、线性判别分析模型。

由系统100生成的任何眼跟踪数据可以以安全的方式(即，关于机密性、完整性和可用性)被存储和处理。例如，可以采用各种对称和/或非对称加密方案和标准来安全地处理静止(例如，在系统100中)和运动(例如，当在上文所展示的各种模块之间传送时)的眼跟踪数据。在不限制前述内容的情况下，此类加密标准和密钥交换协议可能包含三重数据加密标准(3DES)、高级加密标准(AES)(如AES-128、192或256)、Rivest-Shamir-Adelman(RSA)、两鱼法、RC4、RC5、RC6、传输层安全(TLS)、迪菲-赫尔曼密钥交换(Diffie-Hellmankey exchange)和安全套接层(SSL)。此外，可以使用各种散列函数来解决与眼跟踪数据相关联的完整性问题。

此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。此外，本文中所包含的各个附图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理耦接。应当注意，在本公开的实施例中可以存在替代或附加的功能关系或物理连接。

如本文所使用的，术语“模块”或“控制器”是指任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器装置，单独地或以任何组合的形式，包含但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、专用神经网络装置(例如，Google张量处理单元)、电子电路、被配置成执行一个或多个软件或固件程序的处理器(共享的、专用的或组)、组合逻辑电路和/或提供所描述的功能的其它合适的组件。

如本文所使用的，词语“示例性”意指“充当示例、例子或说明”。本文中描述为“示例性”的任何实施方案不一定被解释为比其它实施方案优选或有利，也不旨在被解释为必须照字面复制的模型。

虽然前述具体实施方式将为本领域的技术人员提供实施本发明的各个实施例的方便途径，但应了解，上文描述的特定实施例仅是实例，并且并不旨在以任何方式限制本发明的范围、适用性或配置。相反，在不脱离本发明的范围的情况下，可以对所描述的元件的功能和布置进行各种改变。

Claims (20)

1.一种用于具有显示器的计算装置的紧凑型眼跟踪摄像头组合件，所述眼跟踪摄像头组合件包含：

红外图像传感器；

透镜组件；以及

反射镜组件；

其中：

所述红外图像传感器、所述透镜组件和所述反射镜组件沿着主轴基本上共线；并且

所述反射镜组件以复合角度定向，所述复合角度被配置成沿着所述主轴重定向入射IR光，所述复合角度的特征在于相对于第一轴大约45度的第一角度。

2.根据权利要求1所述的组合件，其中所述反射镜组件相对于与所述第一轴正交的第二轴以大约15度至22度的第二角度定向，所述第一轴和所述第二轴基本上平行于由所述显示器限定的平面。

3.根据权利要求1所述的紧凑型眼跟踪摄像头组合件，其进一步包含前面板，所述前面板对IR光基本上透明并且对可见光至少部分不透明。

4.根据权利要求1所述的紧凑型眼跟踪摄像头组合件，其进一步包含被配置成支撑所述透镜组件的透镜镜筒。

5.根据权利要求1所述的紧凑型眼跟踪摄像头组合件，其中所述透镜组件由第一尺寸小于或等于所述透镜组件的直径的结构支撑。

6.根据权利要求1所述的紧凑型眼跟踪摄像头组合件，其中所述图像传感器相对于所述透镜组件的总轨道长度比所述透镜组件的特性宽度大大约50％。

7.根据权利要求6所述的紧凑型眼跟踪摄像头组合件，其中所述透镜组件的直径为大约10mm，并且所述总轨道长度为大约15mm。

8.一种平板计算装置，其包括：

外壳；

耦接到所述外壳的显示器；

并入到所述显示器中的眼跟踪摄像头组合件，所述眼跟踪摄像头组合件包含：红外图像传感器；透镜组件；以及反射镜组件；

其中：所述红外图像传感器、所述透镜组件和所述反射镜组件沿着主轴基本上共线；并且所述反射镜组件以复合角度定向，所述复合角度被配置成沿着主轴重定向入射IR光，所述复合角度的特征在于相对于第一轴大约45度的第一角度。

9.根据权利要求8所述的组合件，其中所述反射镜组件相对于与所述第一轴正交的第二轴以大约15度至22度的第二角度定向，所述第一轴和所述第二轴基本上平行于由所述显示器限定的平面。

10.根据权利要求8所述的紧凑型眼跟踪摄像头组合件，其进一步包含前面板，所述前面板对IR光基本上透明并且对可见光至少部分不透明。

11.根据权利要求8所述的紧凑型眼跟踪摄像头组合件，其进一步包含被配置成支撑所述透镜组件的透镜镜筒。

12.根据权利要求8所述的紧凑型眼跟踪摄像头组合件，其中所述透镜组件由第一尺寸小于或等于所述透镜组件的直径的结构支撑。

13.根据权利要求8所述的紧凑型眼跟踪摄像头组合件，其中所述图像传感器相对于所述透镜组件的总轨道长度比所述透镜组件的特性宽度大大约50％。

14.根据权利要求13所述的紧凑型眼跟踪摄像头组合件，其中所述透镜组件的直径为大约10mm，并且所述总轨道长度为大约15mm。

15.一种制造平板计算装置的方法，所述方法包括：

提供外壳；

提供显示器；

形成眼跟踪摄像头组合件，所述眼跟踪摄像头组合件包含红外图像传感器、透镜组件和反射镜组件，所有组件沿着主轴基本上共线；

将所述外壳、所述显示器和所述眼跟踪摄像头组合件互连，使得所述反射镜组件以复合角度定向，所述复合角度被配置成沿着所述主轴重定向入射IR光，所述复合角度的特征在于相对于基本上平行于由所述显示器限定的平面的第一轴的大约45度的第一角度。

16.根据权利要求15所述的方法，其进一步包含相对于与所述第一轴正交的第二轴以大约18度的第二角度定向所述反射镜组件，其中所述第二轴基本上平行于由所述显示器限定的所述平面。

17.根据权利要求15所述的方法，其进一步包含在所述眼跟踪摄像头组合件上附接前面板，所述前面板对IR光基本上透明并且对可见光至少部分不透明。

18.根据权利要求15所述的方法，其进一步包含用透镜镜筒支撑所述透镜组件。

19.根据权利要求15所述的方法，其中所述图像传感器相对于所述透镜组件的总轨道长度比所述透镜组件的特性宽度大大约50％。

20.根据权利要求19所述的方法，其中所述透镜组件的直径为大约10mm，并且所述总轨道长度为大约15mm。

Images