CN103792661A - 用于头戴式显示器的集成双传感光学结构 - Google Patents

Abstract

本发明披露了一种双传感光学系统，其能够传输信号用于眼睛和物体更跟踪和/或检测，和/或能够传输可见光到用户眼睛，能够传输非可见光用于眼动跟踪和物体检测和/或跟踪。

Description

用于头戴式显示器的集成双传感光学结构

【技术领域】

本发明涉及头戴式显示器，特别涉及双传感光学结构的头戴式显示器。

【背景技术】

头戴式显示器（HMD）是一种头部佩戴式设备，能够在用户眼前的眼镜镜片上或屏幕上显示图像。有些HMD是非透视式的，因此用户看不到他或她的周围环境。其他有一些HMD可允许用户看到全部的周围环境或部分景色。例如，GOOGLE GLASS是一种类似于一副眼镜的HMD设备，其眼镜框内内置有一计算装置，还包括一光学结构以引导可见光进入用户的眼睛，以显示各种信息。HMD设备诸如GOOGLEGLASS

向用户提供了一种可佩戴的计算装置，能够提供可见的覆盖（overlay），同时允许用户观看他或她的周围环境。随着设计者们要推出更薄、更小、和/或更轻的HMD设备，方便用户交互的挑战就变得更加重要，而且所述用户交互既要不显眼（例如，不需要用户说出命令、物理触摸按钮和/或HMD设备的表面、和/或不提供可听形式的信息给用户等）又要准确。另外，要制作有这样功能的、尺寸又足够小到可以佩戴的HMD设备，也是一种挑战。

【附图说明】

将参照以下描述非限制性和非穷尽的实施例，其中相同的附图标记指代相同的部分，除非另有规定进行说明。

图1显示一个实施例的双传感光学系统的方框示意图。

图2显示一个实施例的双传感光学系统的方框示意图。

图3显示一个实施例的双传感光学系统的元件。

图4显示另一个实施例的双传感光学系统的元件。

图5显示一个实施例的双传感光学系统的示例功能。

图6显示一个实施例的双传感光学系统的示例功能。

图7显示一个实施例的双传感光学系统的示例性眼动跟踪功能。

图8显示一个实施例的双传感光学系统的示例性物体跟踪功能。

图9显示一个实施例的跟踪眼球运动的示例性方法。

图10显示一个实施例的跟踪物体运动的示例性方法。

图11显示一个实施例的双传感光学系统的示例性功能方法。

【具体实施方式】

在以下详细描述中陈述了许多具体细节，以对本发明主题有全面的了解。然而，所属领域的技术人员将了解，可在没有这些具体细节的情况下实践本发明主题。在其它例子中，未详细描述一般技术人员已知晓的方法、设备或系统，以免混淆本发明主题。

在整个说明书中，“一个实施例”或“一实施例”是指结合特定实施例而描述的特定特征、结构或特性可包含在本发明主题的至少一个实施例中。因此，短语“在一个实施例中”或“一实施例”出现在整个此说明书中各个地方不一定意在指代同一实施例或所描述的任一特定实施例。此外，应了解，可在一个或一个以上实施例中以各种方式来组合所描述的特定特征、结构或特性。当然，一般来说，这些和其它问题可随用途的具体情形而变化。因此，描述的具体情形或者这些术语的用途可提供关于将对所述情形得出的推论的有益的指导。

图1是本发明一个实施例的双传感光学系统100的方框示意图。该双传感光学系统100包括一个双传感光学装置112。双传感光学装置112包括处理器102、传感器104、和发射器106。处理器102、传感器104、以及发射器106可以发送和/或接收信号。例如，处理器102能够从双传感光学装置112的其它部件和/或模块接收的电信号，例如，这些部件和/或模块可以发送电信号，包括指令，由处理器102去执行。处理器102也可以发送电信号到双传感光学装置112的其他部件和/或模块，如传感器104和发射器106。在一个实施例中，传感器104和发射器106被设置为发送信号到一传输路径和/或从一传输路径接收信号。例如，如果该传输路径是一光传输路径，那么传感器104和发射器106可以被设置为从该传输路径接收光信号和/或发送光信号到该传输路径。一种情况是，发送的或接收的光信号可以是一个特定波长范围的电磁辐射，例如可见光。

传输路径也可以连接到或安排得与用户眼睛108相关。在传输路径上信号是一定波长范围的可见光电磁辐射的情况下，眼睛108能够在眼睛108的视网膜上接收该电磁辐射，使得用户可以看到该电磁辐射。这种可见光传输可以允许用户看到诸如一个用户界面覆盖（overlay）、一个图像或其它这样的可见的光表现。例如，该可见光可被配置成不阻止用户去看他或她的周围环境，这会在下文更详细地进行说明。传输路径上的信号还可以包括可见光波长范围外的电磁辐射。例如，信号可以包括红外（IR）光波长的电磁辐射。如果该信号包括红外光，那么红外光可以做到的功能如眼动跟踪（eye tracking）等等。例如，发射的红外光可以反射回眼睛108的结构，通过传输路径的传输，由传感器104感测和/或捕获。传输路径能够同时支持可见光和红外光，和/或同时支持眼动跟踪和目标检测/跟踪，这样可提供的好处包括减小相关系统的尺寸、重量和复杂性，通过利用一个与检测/跟踪相关的功能计算（如物体检测）用于另一个计算（如眼动追踪）而降低计算需求，并方便校正和校准等。当然，以上描述仅仅是本发明支持的可能功能的示例。本领域普通技术人员将容易理解，本发明可以包括其他用途和功能。

传输路径也可以连接到或安排得与一个物体110相关。物体110可以是用户的手、触笔或其他物体。经由传输路径传输并和物体110相关的信号可以有以下功能，如物体检测和/或跟踪等等。例如，红外光在传输路径上行进到达物体110。传输的红外光可被物体110反射回，反射光可被传感器104感测和/或捕获。

本领域普通技术人员将理解，发射器106可以是任何形式的能够发射电磁辐射的发射器。虽然只通过一个单独的方块来表示，但是发射器106可以包括多个单独的发射器，每一个都被配置为发射期望波长范围、强度、和极性的电磁辐射。例如，在一个实施例中，双传感光学系统可包括两个发射器（未示出），例如，一个发射器被设置为发射可见光如LED，一个发射器被配置为发射红外光。因此，本发明包括任何合适数量和类型的发射器106，以发射所需波长、强度、及极性的电磁辐射。

而且，传感器104可包括任何适当类型或形式的传感器，其被配置为从所述传输路径接收和/或捕获电磁辐射。例如，在一个实施例中，传感器104可包括一个或多个单元，被设置成捕获不同波长的IR光。在一个实施例中，传感器104可包括一个或多个电荷耦合器件（CCD）、CMOS成像器，这仅仅是提供几个例子。

在运行中，处理器102可以接收一个或多个信号。作为例子，所接收的信号可包括非临时性计算机可读指令。一种情况是，可以接收多个信号，所述多个信号包含能够实现用户界面、图形覆盖（graphicaloverlay）、物体检测模式、和/或眼动跟踪模式等的非临时性计算机可读指令。处理器102可以处理接收到的信号，并传输处理后的信号到发射器106和/或传感器104。发射器106可从处理器102接收处理后的信号，并可发射电磁辐射沿光传输路径行进。例如，在一个实施例中，发射器106被配置以将处理后的信号转换和/或变换为电磁辐射，如包括可见光和红外光。一种情况是，发射器106从处理器102接收的处理后的信号包括图形覆盖、眼动跟踪、物体检测/跟踪的信号。在这种情况下，发射器106发射电磁辐射包括第一波长范围的可见光以实现图形覆盖、第二波长范围的红外光以实现眼动跟踪、以及第三波长范围的红外光以实现物体检测/跟踪。在另一个实施例中，发射器106可发射可见光波长范围的电磁辐射，和非可见光波长范围的电磁辐射。在这种情况下，发射的可见光波长范围的电磁辐射可以实现图形覆盖。此外，发射的非可见光波长范围的电磁辐射可以进一步根据波长、极性、强度、和/或时间序列被细分。例如，能够实现眼动跟踪的相应非可见光波长范围的电磁辐射可以被隔离在相应非可见光波长范围内的一个指定的子部分，可以被分配给一个指定的极性、一个指定的强度、和/或一个指定的时间序列。此外，能够实现物体跟踪/检测的相应非可见光波长范围的电磁辐射可以被隔离在相应非可见光波长范围内的一个指定的子部分，可以被分配给一个指定的极性、一个指定的强度、和/或一个指定的时间序列，以方便分离和/或分开用于眼动跟踪的电磁辐射和用于物体跟踪/检测的电磁辐射。

在运行中，包括可见光波长的电磁辐射和包括非可见光（如IR光）波长的电磁辐射可以组合的方式都在传输路径上输送。因此，包括可见光和非可见光的电磁辐射可共同沿着传输路径行进。因此，包含一个图像的要发射到眼睛108的可见光可以和用于眼动跟踪和物体110跟踪/检测的红外光一起，沿着传输路径传送。所传送的红外光可被眼睛108和对象110反射回，穿过传输路径，并被传感器104感测和/或接收。在一个实施例中，传感器104可以被设置以将接收到的光转换和/或变换成电信号，然后被发送到处理器102进行处理。

图2是双传感光学装置212的元件和组件的方框示意图。在一个实施例中，双传感光学装置212可包括一个HMD。如图1所讨论的，双传感光学装置212可包括处理器202、传感器204、和一个发射器206。双传感光学装置212还可以包括其它元件和部件，包括存储器214、I/O模块216、接口218、以及控制器220等。处理器202、传感器204、发射器206、存储器214、I/O模块216、接口218和控制器220可全部经由总线222连接。

处理器202可以包括任何合适的处理模块，可以是任何配置成处理信号的硬件和/或软件组合。处理器可以独立于控制器220，也可以是控制器220的一部分，或者控制器220是处理器202的一部分。处理器202可从双传感光学装置212的其他组件和元件以非临时性计算机可读指令的形式接收信号，并发送信号到双传感光学装置212的其他组件和元件。在一个实施例中，接收/发送的信号可以包括电信号、光信号、以及电磁辐射等等。

存储器214可以是任何合适形式的存储器，如短期和长期存储模块。在一个实施例中，存储器214是RAM。在另一个实施例中，存储器214是有磁盘或磁碟的硬盘驱动器。存储器214也可以是电阻式存储器、快闪存储器、或能够存储比特（包括非短暂性计算机可读指令和数据）的任何其它合适形式的存储器。当然，存储器214可以是能够存储数据的任何合适形式的存储器。

I/O 216可以是能够实现双传感光学装置212输入/输出的任何合适的模块。例如，I/O 216可以是实现双传感光学装置212输入和输出相关功能的硬件和/或软件组合。一种情况是，I/O 216可被配置成便于与各种I/O组件和元件相互通信如交换信号，例如与照相机、显示器、扬声器、麦克风、或触摸板等通信连接。

接口218可以是与用户、设备和/或双传感光学装置212其他模块的接口相关的任何合适的模块。例如，接口218可以是便于与用户交互的硬件和/或软件的组合。在一个实施例中，接口218可传送和接收数据，这些数据包括和/或可以配置成使用户可以交互的一个图形用户界面。在另一个实施例中，接口218可以便于双传感光学装置212与外部设备进行通信。例如，接口218可以发送通信信号到双传感光学装置212的外部设备和/或从双传感光学装置212的外部设备接收通信信号。

控制器220可以是硬件、软件、及其任何合适的组合。控制器220可以是能够改变信号特性的一个模块，所述信号包括但不限于包括可见光和/或红外光波长范围的电磁辐射。如上面关于处理器202的相关讨论，控制器220可以独立于处理器202运作，或可以与其联合运作。例如，在一个实施例中，控制器220可以与处理器202、传感器204、发射器206一起联合运作，用于眼动跟踪和物体检测/跟踪等。控制器220也可以控制或管理信号，使图形覆盖信号传送到用户的眼睛等。例如，控制器200能够跟踪眼球的位置和/或检测/跟踪物体（如用户的手或手指），并相应调整电磁辐射发送到用户。当然，用于控制器220前面的和其它的功能可以由任何元件或部件来执行，控制器220可以被更广义地认为是助于双传感光学装置212运行的硬件和软件的象征性表示。

总线222能够传送数据到传感器204、发射器206、控制器220、处理器202、存储器214、I/O 216和接口218，并从传感器204、发射器206、控制器220、处理器202、存储器214、I/O 216和接口218接收数据，同时还传送数据到双传感光学装置212的外部设备和模块。

在运行中，一个或多个信号可以沿着总线222传输。例如，用于实现用户界面、眼动跟踪、和/或物体检测/跟踪的一个或多个信号可以沿总线222传送。例如，包括非临时性计算机可读指令的信号可从存储器214沿总线222传输到处理器202，在处理器202中实施指令。作为响应，信号可通过总线222传输到控制器220，用于双传感光学装置212的控制和功能实施。信号可以经由总线222传输至I/O 216，用于双传感光学装置212的输入/输出。例如，一个或多个信号可以被传送到双传感光学装置212的相机模块或无线收发器。信号也可以通过总线222传输到接口218，用于用户接口操作或功能。

在一个实施例中，一个或多个信号可从处理器202传送到发射器206。发射器206可包括硬件和/或软件，配置以发射电磁辐射，沿光传输路径如图1所示的光传输路径，传送到用户的眼睛，用于显示一个图像覆盖和/或眼动跟踪，还可以传送到另一个区域用于物体检测/跟踪。电磁辐射从用户的眼睛和从物体（如手或手指）反射回，通过传输路径传输，由传感器204接收。传感器204可以捕获所接收的电磁辐射，所述接收的电磁辐射包括用户眼睛的一个或多个图像，以便于实现眼动跟踪，还包括物体（如用户的手）的一个或多个图像，以便于实现物体检测/跟踪。所捕获的电磁辐射可以被转换或变换成信号并通过总线222发送到处理器202进行处理。

图3显示另一实施例的双传感光学系统300。在一个实施例中，双传感光学系统300包括一个或多个发射器306a和306b。例如，发射器面306a能够发射第一波长范围的电磁辐射350a，第一波长范围的电磁辐射可以是可见光。电磁辐射350a进入光学部件338，通过第一分光器324b、第二分光器324c，被反射镜328反射，然后被第二分光器324转向，因而到达眼308。如本文所用的，光学部件诸如光学部件338，可包括适于电磁辐射传播的任何材料，包括但不限于玻璃、塑料、甚至空气。在一个实施例中，光学部件338可以包括一个或多个表面，如表面341。至少一种情况是，表面341可以有涂层，其能够允许特定波长的电磁辐射通过，但是反射其它波长的电磁辐射。如本文所用的，分光器可以包括任何能够将电磁辐射分开或分隔的转化成部分和/或重新引导电磁辐射的装置。在一个实施例中，其中电磁辐射件350a可以包括可见光，眼308可接收电磁辐射350a并允许用户看到一个图形覆盖或其他可见光。

发射器306b能够发射第二波长范围的电磁辐射350b，第二波长范围的电磁辐射可以是IR光。为便于参考，发射器306b和电磁辐射350b、350c、350d、350e、以及反射图案330a和330b在图3中由虚线所示，表示与红外光相关联，将它们与关于可见光的图形元素区分开来。电磁辐射350b通过红外分光器324a和一个透镜元件326，然后被第一分光器324b转向。第二分光器324c将电磁辐射350b拆分成第一部分350c和第二部分350d。第二分光器324c将电磁辐射350b的第一部分350c转向，朝向一指定区域，构成一检测图案（detection pattern）330b。在一个实施例中，检测图案330b是用于物体（如用户的手指或手）的检测和/或跟踪的。第二分光器324c允许电磁辐射350b的第二部分350d穿过它并被反射镜328反射，然后第二分光器324c将第二部分350d转向，朝向眼308，形成检测图案330a。在一个实施例中，检测图案330a可以用于眼球308的跟踪。

从检测图案330a和330b的光被反射回，经过第二分光器324c、第一分光器324b、透镜元件326和红外光分光器324a而朝向传感器304。从检测图案330a和330b反射的光可以由电磁辐射350e表示，包括从眼睛308或一个物体反射的电磁辐射，并包括电磁辐射350b、第一部分350c、和/或第二部分350d。值得注意的是，双传感光学系统300是一个集成光学系统，使得用于眼动跟踪的电磁辐射和用于物体检测/跟踪的电磁辐射都沿同一传输路径传输，并且沿着同一传输路径的电磁辐射还包括可见光。

在运行时，电磁辐射350a包括含有图形覆盖或图形显示的可见光，由发射器306a发射。电磁辐射350a可以与电磁辐射350b组合，沿着同一传输路径，至少一种情况是，沿着光学部件338至少一部分长度行进。在一个实施例中，在光学部件338的一个或多个表面如表面341上有涂层，这会有助于电磁辐射的传输和/或反射，将在以下详细描述。电磁辐射350a经过第一分光器324b和第二分光器324c。然后电磁辐射350a被反射器328和第二分光器324c引导朝向眼308，其中电磁辐射350a会影响的视网膜（未示出），用户看到一个图形覆盖和/或图形显示。同时，电磁辐射350b包括红外光，经过红外分光器324a、透镜元件326，然后被第一分光器324b转向。电磁辐射件350b因此与电磁辐射350a组合。然后电磁辐射件350b被第二分光器324c分成两部分：第一部分350c和第二部分350d。在一个实施例中，在光学部件338的一个或多个表面如表面341上有涂层，这会有助于第二部分350d朝向眼睛308传输。也可以选择涂层以减少第二部分350d波长以外的电磁辐射的传输。电磁辐射350b的第一部分350c可朝向一个区域传输，以实现物体检测和/或跟踪。在一个实例中，第一部分350c可传送到用户视野前面的一个区域，以检测用户的手并跟踪其运动。例如，电磁辐射件350a可以对应于一个包含“是”与“否”按钮的图形覆盖并反射到眼睛308。配合这个可见光，用户可以移动他或她的手到他感知“是”与“否”按钮的那个区域，然后尝试与之交互。在这个例子中，电磁辐射350b的第一部分350c可以包括检测图案330b用于检测和/或跟踪用户的手。第一部分350c的电磁辐射可被反射回来，分别通过第二、第一和IR分光器324c、324b、324a，到达传感器304以记录用户手的运动。

在一个实施例中，电磁辐射350b的第二部分350d被引向眼睛308，以实现眼动跟踪功能等。例如，第二部分350d可以使配置的检测图案330a跟踪眼睛308的运动。举个例子，双传感光学系统300可被配置使用眼动跟踪来增强功能。例如，可以使用眼动跟踪来协助双传感光学系统300确定用户应该集中他或她的注意力在哪里（相对于潜在视野），等等。从眼睛308反射回的光，包括至少一部分的第二部分350d，然后经由传输路径被引导到传感器304。在光学部件338的一个或多个表面如表面341上有涂层，如上面所讨论的，能够减少第二部分350d波长之外的电磁辐射，在至少一个实施例中，这会增加双传感光学系统300的信噪比。上述双传感光学系统300的功能和结构仅用于说明的目的。它不应该被理解成具有限制性的意义。进一步地，本发明包括许多与本文公开概念和原理一致的其它结构和运行原理。

图4是一个实施例的双传感光学系统400。对本领域的普通技术人员而言，很显然，双传感光学系统400类似于图3所示的和以上所述的双传感光学系统300，虽然并不是完全一样。因此，许多前述讨论的都与双传感光学系统400的讨论相关。

双传感光学系统400包括一个或多个发射器，如发射器406a和406b。发射器406b被配置为发射红外光波长范围的电磁辐射450b，并经过一个光学元件如透镜元件426b。例如，电磁辐射450b可以是红外光。当然，也可使用其他波长范围的电磁辐射。类似于前面图3中的讨论，为了便于读者参考，使用虚线来突出红外光以及红外光元件。发射器406a被配置为发出可见光波长范围的电磁辐射450a。在一个例子中，电磁辐射450a经过一个透镜元件426a。在一个实施例中，电磁辐射450a被第一分光器424b引导到反射屏幕432并被反射回，然后通过第一分光器424b朝向第二分光器424c。电磁辐射450a可沿光学部件438的至少一部分长度传播。在一个实施例中，光学部件438可以包括一个或多个表面如表面441。电磁辐射450a和450b可以沿着传输路径组合，然后被引导到眼408、用于眼动跟踪的检测图案430a和用于物体检测/跟踪的检测图案430b。双传感光学系统400也可以被配置为使得电磁辐射从检测图案430a和430b反射回来，沿着相同的传输路径，朝向传感器404行进。红外分光器424a、第一分光器424b、第二分光器424c、和反射镜428可以被安排和配置为组合、拆分和/或导向电磁辐射，如包括电磁辐射450a和450b。例如，在一个实施例中，红外分光器424a可以被配置以允许给定波长的电磁辐射穿过，但是重新引导电磁辐射450e（包括从电磁辐射450b反射的电磁辐射）朝向传感器404。第一分光器424b可以被布置和配置为组合电磁辐射450a和450b。第一分光器424b也可以被配置成转向电磁辐射450b和450e。第二分光器424c可以被安排和配置为将电磁辐射450b分成第一部分450和第二部分450d。第二分光器424c可引导第一部分450c实现检测图案430b，并且还可以引导第二部分450d实现检测图案430a。反射镜428可以反射电磁辐射450a和电磁辐射450b的第二部分450d回到第二分光器424c，然后朝向眼睛408。当然，第二分光器424c和反射镜428也可以被安排和配置为组合并引导从检测图案430a和430b反射回的电磁辐射（如电磁辐射450e）朝向第一分光器424b、红外分光器424a，最后到达传感器404。在一个实施例中，在光学部件438的一个或多个表面如表面441上有涂层，如上面所讨论的，这能减少第二部分450d波长以外的电磁辐射，在至少一个实施例中，这能增加双传感光学系统400的信噪比。

在运行中，双传感光学系统400的功能类似于上面关于双传感光学系统300的讨论。例如，电磁辐射450a和450b可以由发射器406a和406b发送，并且可以在行进路径上被组合、导向和/或分拆，朝向眼睛408和物体（未示出）。电磁辐射如电磁辐射450b，可以被配置为提供一个用于眼动跟踪的检测图案430a和一个用于物体检测/跟踪的检测图案430b。电磁辐射450e可以被反射回至传感器404，传感器404可以被配置为将所接收的电磁辐射450e转换和/或变换成信号进行处理，等等。前述旨在说明结构和功能，不适合于被理解为限制性的意义。一个本领域的普通技术人员应当理解，在此讨论的原理应当包含与前述示例性实施例相关的但没有直接讨论的结构和/或功能。

图5显示如上面讨论的双传感光学显示系统的可能的功能。例如，可见光被用户的眼睛508接收。显示覆盖540是用来说明用户由接收到的可见光而感受到的一个图形覆盖。当然，本发明不仅考虑了图形覆盖如覆盖540，还考虑了非透视HMD系统，其中用户不能看到他或她的周围环境。返回到图5所示的例子，用户周围环境包括一个结构场景545如有建筑物和树木等等。如果眼睛508接收到可见光的显示覆盖540，用户仍然可以看到场景545。例如，一种情况是，显示覆盖540可以提示用户拍摄场景545的图像，并可以提示用户确认该图像拍摄。当然，图像拍摄可以由双传感光学系统的物理操作来执行，如触摸HMD的一部分。然而，本发明还涵盖检测和/或跟踪物体，如用户的手510。在此示例中，用户可以移动手510到用户视野内的一个区域上，其中显示有显示覆盖540的一个指定按钮或交互元素。因此，用户有这样的感觉，一个按钮或其他交互元素浮在他或她的视野内，移动手如手510，朝向按钮，用户可以与之进行交互（如触摸按钮或交互元素）。

此外，当用户移动眼球时，双传感光学系统的眼动追踪功能可以跟踪眼球508。可以各种方式来使用眼动跟踪功能，以提供不同功能给HMD。例如，如果一个给定的HMD包括上述双传感光学结构，那么该HMD就可以配置使用眼动跟踪和物体检测/跟踪，实现HMD的各种功能。在一个实施例中，眼动跟踪可以与HMD的相机一起使用，以确定眼睛508的焦点。因此，例如，在军事方面，HMD的眼动跟踪功能可以提供一个可缩放显示（zoomed display）给用户。在这个例子中，士兵可以在他或她的周围移动他或她的焦点，而HMD和相关的摄像头就提供聚焦区域的放大视图。用户还可以与HMD交互，例如使用他或她的手来增加或减少放大倍数。相关的功能还有夜视和/或与热量检测相关的功能，可以通过HMD提供给用户。在民用消费方面，含有双传感光学系统的HMD允许用户移动他或她的焦点到他或她视野内的不同的物体上，然后从HMD接收关于所述物体的实时反馈，并且还可以与显示覆盖如显示覆盖540互动。例如，本发明的具有双传感光学系统的HMD，可以允许游客眼睛聚焦在一个远处的地标上，简单地移动手指，接收该地标的实时信息，其中包括如何到达该地标的一步步的方向。关于眼动追踪的功能和使用的详细讨论在此不再赘述。但是，本领域普通技术人员将理解，通过上述讨论和以下进一步的实例能够实现的可能的功能和用途。

图6显示用户使用一个包含双传感光学系统的HMD，如何在用户视野内感知一个关于物体的显示覆盖640。在这个例子中，发射器606发射可见光电磁辐射。发射的可见光被用户的眼睛接收，让用户感觉到有一个图形显示在用户视野内。但是，发射器606（或者该双传感光学系统的其它发射器）也可以发射不可见光的电磁辐射如红外光。该HMD可以被配置使用发射的红外光来检测眼球的运动，以检测和/或跟踪物体。例如，如果用户正在看如图6的一个城市的高楼大厦，那么显示覆盖层640就显示用户视野的一个给定部分。在一个实施例中，显示覆盖640可以是点阵或其它合适形式的低分辨率，这有助于降低功耗。

由用户眼睛接收到并看得见的可见光，可以是包括任何形式的，并且可以是不透明的或部分透明的。例如，在一个实施例中，包含本发明双传感光学系统的HMD有一个最小的图形显示。在这个例子中，HMD可以被配置为不显示任何内容，或仅显示小图标，图标可以部分隐藏，直到用户请求才完整显示。例如，在一个实施例中，包含有双传感光学系统的HMD显示最低限度的信息，如一个指示电池电量的图标和/或一个或多个通知图标。但是，如果用户希望了解更多信息，那么用户就朝视野内的一个特定区域移动他或她的手。在一个实施例中，用户的手的移动可以被反射的IR光检测到。因此，HMD可以被配置成检测或跟踪用户的手并诠释该移动，以提供附加信息到有电池电量和/或一个或多个通知图标的图形显示中。一种情况是，用户收到一个通知，有消息进入，那么用户就与该通知图标进行交互来访问进一步的信息。当然，与此处公开的原则一致，本领域普通技术人员应当理解，用户还可以仅仅移动他或她的眼睛朝向该通知图标，HMD能够跟踪该眼球运动并作出响应，提供更多的信息。例如，眼动跟踪可以通过从所述用户的眼睛接收反射的红外光而实现。当然，前述仅仅是描述与本发明原理一致的结构和/或功能的说明性例子。本领域普通技术人员应当理解，本公开关于双传感光学系统的原理可以有任何数量的潜在结构和/或功能。

图7显示双传感光学系统的一个实施例的眼动跟踪运行的一般原理。该运行原理可以通过双传感光学系统传输两个或两个以上波长范围的电磁辐射来实现。例如，双传感光学系统可发射可见光和红外光的电磁辐射。发射的电磁辐射通过一个共同的传输路径，可以传播、可以组合、拆分，并引导到多个可能的期望目的地，包括但不限于，用户的眼睛和一个物体检测的区域，比如其中手部动作可以被检测到。在一个实施例中，双传感光学系统可以发射非可见光如红外光，朝向使用者的眼睛。发射光可被用户眼睛反射回，经过双传感光学系统的共同的或集成的传输路径，被一个传感器接收到，如上所述。接收的信号可以使一个装置如HMD确定用户的眼睛虹膜的方位，因此可以跟踪眼球的移动。当然，这仅仅是眼动跟踪的一个示例。本发明也可考虑其他方法，包括跟踪角膜反射如双浦跟踪，和基于眼内特征如血管的跟踪。

一旦眼球的方位确定了，包含双传感光学系统的所述装置就可以确定眼球方位和一个给定视野之间的相关性。图7包括一个网格来说明相关性。例如，位置“a”的眼球708对应于中心位置，如网格中心的点“a”所示。在方位“b”的眼球708对应于稍低于708（a）中心位置的一个位置。在方位“c”的眼球708对应略高于中心位置的一个位置，如图所示点“c”略高于点“a”。在方位“d”的眼球708对应中心位置略微偏左的一个位置，如图所示的点“d”。在方位“e”的眼球708对应中心位置略微偏右的一个位置，如图所示的点“e”。在此示例性系统中的网格包括81个交叉点，因此表明有81个可能的眼球方位。本领域普通技术人员可以容易地理解，本公开内容可以有任何灵敏度，并且可以通过本文所公开的双传感光学系统而实现，所述双传感光学系统的用于眼动跟踪和用于物体跟踪的电磁辐射沿一个共同的或集成的传输路径传输。

参考前面的描述，图8显示包含双向传感光学系统的HMD装置关于物体跟踪和/或检测的一般运行原理。如图所示，一个或多个发射器806可经配置以发射可见光和非可见光的电磁辐射。在一个实施例中，发射器806被配置成发射IR光。所发射的IR光可以提供一个覆盖或图案830。该图案是不可见的，用户的眼睛看不见，但包括可被图案830内物体反射的电磁辐射。图。图8（a）显示一个实施例，其中图案830没有遇到一个物体。在本实施例中，IR光没有被反射回并通过传输路径到达传感器。图8（b）显示一个实施例，其中图案830内有物体810。在该例子中，物体810是一只手。红外光被物体810反射回，提供一个或多个“图像”。例如，根据本发明的装置可以被配置成检测人手手指的移动（如物体810），如图8（b）所示。图8（c）显示本发明可以有的功能，如物体跟踪，以检测物体810的移动。该功能可以用于检测如卷动和双指缩放等。其他相关功能可以通过分离物体810的特定部分的行为而实现。例如，如图8（d）所示，本公开的HMD可以被配置以发射图案830，其能检测多点触摸功能，如图所示物体810和图案830内的两个触摸点。当然，上述仅仅是示例性的由双传感光学系统支持的可能的功能。

图9显示一个实施例的跟踪眼球运动的方法900。在方法步骤905，一个传感器接收反射光。例如，发射的IR光并从用户眼睛反射回的可以被所述传感器接收。在方法步骤910，传感器还接收其他反射光。在步骤905和910接收的光可以包括从光源发出的在用户眼球不同方位上反射回的IR光。例如，在步骤905中接收到的光可以是沿着与眼睛虹膜相关的一个轴而传输的反射IR光，而在步骤910中接收到的光可以是偏离该轴而传输的反射IR光。在这个例子中，接收的光可以产生一个包含亮瞳孔的图像和一个包含暗瞳孔的图像。在方法步骤915，减去这些图像，以获得适合于眼动跟踪的一个图像。在另一实施例中，为了得到适合于眼动跟踪的图像，可以对所接收的光执行各种操作，包括但不限于噪声去除、图像锐化和中心点检测。

在方法步骤920，一旦得到一个适合于眼动跟踪德图像，就可以确定眼球位置。如上面所讨论的，一旦眼球位置被确定，该位置就和一个点相关和/或映射到一个点。例如，如果用户直接聚焦于视野内的一棵树上，如上所述，HMD的眼动跟踪系统就可以确定眼球的方位，就可以将眼球映射到用户视野。在一个示例中，HMD可以随后确定用户聚焦于树上。在任何情况下，HMD的后续功能在某种程度上都与所确定的眼球方位和到一个点的关联/映射相关。

图10显示了物体检测和/或跟踪的方法1000。方法1000的描述仅仅是一个实施例的简单例示方法。本领域普通技术人员可以容易地理解，本发明可允许其他的方法和功能。类似于方法900，在步骤1005，HMD的传感器接收光。例如，HMD的发射器发射IR光电磁辐射。所发射的IR光可以形成一个图案。形成图案的光被一个物体反射回HMD的传感器，然后被传感器接收。

在步骤1010，接收到的光和一个物体、及其方位、及其位置等相关。例如，接收到的光和一个给定物体有关，如手或指标（pointer）。接收的光也可以和该物体的方位相关。例如，可以确定手的手指是指向上、指向下、和/或指向一侧或另一侧等等。物体的位置也可确定。例如，在一个示例实施例中，可确定该物体是在图形覆盖的第一位置上。

图11显示双传感光学系统的眼动跟踪和物体检测和/或跟踪在一起的方法1100。在第一方法步骤1105，发射光电磁辐射。发射光可以源自一个或多个独立发射器或光源，可以包括可见光和非可见光。非可见光可以包括红外光。在一个实施例中，在步骤1110，可以组合可见光和红外光，沿着共同的或集成的传输路径行进。例如，可以配置诸如玻璃、塑料、或空气的材料，使可见光和红外光沿着一个共同的或集成的传输路径传输成为可能。

在方法步骤1115，组合光可以被拆分并导向到不同的目的地。例如，组合光的红外部分可以被分成两部分。第一部分被导向和配置提供一个用于物体检测和/或跟踪的图案。红外光的第二部分可被导向和配置提供一个用于眼动跟踪的图案。除了导向用于眼动跟踪和物体检测和/或跟踪的红外光，可见光也被导向用户眼睛，以显示图形信息。将光导向物体和眼睛构成方法步骤1120。

在方法步骤1125，双传感光学系统确定是否已经接收到反射光。如果没有，那么在一个实施例中，该系统就循环回到方法步骤1125，直到检测到有反射光。一旦检测到反射光，在一个实施例中，就确定光的波长范围。在这个例子中，第一波长范围的红外光可用于眼动跟踪，而第二波长范围的红外光可用于物体检测和/或跟踪。在这个例子中，如果在方法步骤1130确定光是第一波长范围的，那么在方法步骤1135就捕获光。如果检测到的光不是第一波长范围的，则在方法步骤1140，捕获第二波长范围的光。当然，本发明也可以有其它实现方式。例如，用于眼动跟踪的红外光可以是第一强度的，而用于物体检测和/或跟踪的红外光可以是第二强度的。在这种情况下，可以使用与上面描述类似的步骤去捕获光。在另一个例子中，用于眼动跟踪的红外光可以是第一极性，而用于物体检测和/或跟踪的红外光可以是第二极性。在又一个实施例中，光的检测也可以根据时序来交替。例如，在第一时间捕获第一波长范围的光。在第二时间捕获第二波长范围的光。该过程可以根据需要重复。当然，本发明也可以有包括多个感测单元用于同时捕获反射光的实施例。当然，上述仅仅是用于说明目的，并无意限制本发明的可能实施。

在方法步骤1145，系统确定是否需要更新经由传输路径传输的光。例如，如果确定用户已经有动作而改变IR的反射，那么就期望能重新运行IR检测例程。因此，该方法返回到步骤1125去检测反射光。但是，如果没有更新需要，那么该方法返回到步骤1105。本领域普通技术人员应当理解，可以组合前述方法而得到所需运行。他或她也应当明白，上述方法仅仅代表本文公开的双传感光学系统可能有的少数几个运行方法。事实上，本发明可以包括能够传输用于眼动跟踪和物体检测和/或跟踪的信号的任何运行方法。本发明还可以包括能够传输可见光和非可见光用于物体跟踪和/或检测的任何运行方法。

本领域技术人员将认识到，上述描述可能有无限数量的变化，这些实施例和附图仅仅是为了说明一个或多个特定实施方式，是为了说明的目的。它们不因此意欲被限制性地理解。

如本文中所使用，术语“和”、“和/或”以及“或”可包含多种意义，所述意义至少部分地取决于所述术语所使用的上下文。通常，“和/或”以及“或”如果是用于使列表相关联，那么例如A、B或C意指A、B和C（此处按包含性意义使用）以及A、B或C（此处按排他性意义使用）。本说明书通篇所提及的“一个实施例”或“某些实施例”意指结合所述实施例描述的特定特征、结构或特性包含在本发明主题的至少一个实施例中。因此，在本说明书通篇的各个地方出现的短语“在一个实施例中”或“某些实施例”未必完全指代同一实施例。此外，可将特定特征、结构或特性组合在一个或多个实施例中。本文中所描述的实施例可包含使用数字信号运作的机器、装置、引擎或设备。此类信号可包括电子信号、光学信号、电磁信号或在位置之间提供信息的任一形式的能量。

尽管已经显示和描述了示例实施例，但本领域技术人员可以理解，可以作出各种其它的修改，可以有等同物替代，而不会脱离要求保护的主题内容。此外，为了适应特定的情况，根据本发明主题的教示可以作出许多修改，而不会脱离本文中所描述的中心思想。因此，要求保护的主题并不限于所公开的具体实施例，但要求保护的主题也可以包括落在所附权利要求范围之内的所有实施例及其等同物。

Claims (20)

1.一种装置，包括：

一个用于红外光和可见光的集成光学系统，其包括：

一个可见光源；

第一分光器，用于将来自所述可见光源的可见光和来自红外光源的红外光组合在一个单个传输路径上；

第二分光器，（a）用于将所述可见光和所述红外光的第一部分转向到第一方向，到达用户的眼睛，（b）用于将所述红外光的第二部分转向到第二方向，用于物体检测，所述第二方向不同于所述第一方向；

红外传感器，其能够感测到（a）从所述眼睛反射的所述红外光的第一部分，以及（b）从所述物体反射的所述红外光的第二部分。

2.如权利要求1所述的装置，其中所述红外光的第一部分与所述红外光的第二部分有不同的（a）波长，（b）强度，（c）极性，或（d）时间序列。

3.如权利要求1所述的装置，其中所述红外光的第一部分与所述红外光的第二部分，每个都能形成一个检测图案。

4.如权利要求3所述的装置，其中所述红外光的第一部分形成的所述检测图案用于眼动检测。

5.如权利要求1所述的装置，其中所述红外传感器能够在第一时间捕获所述红外光的第一部分的所述反射，在第二时间捕获所述红外光的第二部分的所述反射。

6.如权利要求1所述的装置，其中被导向的所述可见光包括一个图案覆盖。

7.如权利要求1所述的装置，其中所述红外光的第一部分和第二部分的所述反射通过所述单个传输路径传送到所述红外传感器。

8.一种方法，包括：

通过至少一个分光器将第一和第二波长范围的光导向到用户的眼睛，其中所述第一波长范围的光包括可见光，所述第二波长范围的光包括红外光；

通过至少第一分光器将第三波长范围的光导向，用于物体检测和/或跟踪，其中所述第三波长范围的光包括红外光；

组合所述第一、第二和第三波长范围的光，沿着一个光传输路径的轴线传输；

在一个光传感器上接收从所述物体和所述用户眼睛反射的光；

至少部分根据所述接收到的光，检测物体；

使用所述第三波长范围光的检测图案，实现与所述第一波长范围光的交互元素之间的交互。

9.如权利要求8所述的方法，还包括：至少部分根据接收到的光，确定眼睛方位。

10.如权利要求9所述的方法，还包括将所述眼睛方位和视野中的一个点相关联起来。

11.如权利要求8所述的方法，其中所述反射光的接收包括：至少部分基于所述第二波长范围光，在第一时间接收反射光，至少部分基于所述第三波长范围光，在第二时间接收反射光。

12.如权利要求8所述的方法，其中所述导向第二和第三波长范围光包括：根据所述第二波长范围光关于所述第三波长范围光，根据光的强度进行导向。

13.如权利要求8所述的方法，还包括：

确定所述用户眼睛的虹膜的方位；

将所述虹膜的方位和视野关联起来。

14.如权利要求8所述的方法，其中所述检测图案的使用包括：检测和/或跟踪所述检测图案内的一个物体。

15.一种设备，包括：

一个集成光学系统，用于导向来自可见光源的可见光和来自红外光源的红外光，所述集成光学系统包括：

一个光学部件，其包括至少一个有涂层的表面，其中所述可见光和所述红外光沿着所述光学部件的至少一部分传输；

一个或多个分光器，其能够接收沿着一个共同传输路径传输的所述可见光和所述红外光，将所述红外光拆分成第一部分和第二部分，将所述第一部分和所述可见光导向用户眼睛，并导向所述第二部分用于物体检测和/或跟踪；

一个传感器，其能够捕获从一个物体或所述眼睛反射回的红外光。

16.如权利要求15所述的设备，其中所述涂层增加所述红外光的至少第一部分的信噪比。

17.如权利要求15所述的设备，其中所述涂层降低往来所述用户眼睛的所述红外光第一部分波长之外的红外光的传输。

18.如权利要求15所述的设备，其中所述反射的红外光是至少部分基于所述红外光的第一和第二部分的，所述传感器能够独立地捕获所述第一部分和所述第二部分。

19.如权利要求18所述的设备，其中所述第一部分和第二部分的捕获是至少部分基于一个时间序列的。

20.如权利要求15所述的设备，其中所述第一部分和第二部分，每个都有一个检测图案。

Images