CN110651236A - 经由眼睛跟踪扩大有效眼动范围的近眼显示器 - Google Patents

经由眼睛跟踪扩大有效眼动范围的近眼显示器 Download PDF

Info

Publication number
CN110651236A
CN110651236A CN201880031679.7A CN201880031679A CN110651236A CN 110651236 A CN110651236 A CN 110651236A CN 201880031679 A CN201880031679 A CN 201880031679A CN 110651236 A CN110651236 A CN 110651236A
Authority
CN
China
Prior art keywords
eye
user
pose
array
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880031679.7A
Other languages
English (en)
Other versions
CN110651236B (zh
Inventor
约翰·D·佩罗特
帕特里克·卢尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110651236A publication Critical patent/CN110651236A/zh
Application granted granted Critical
Publication of CN110651236B publication Critical patent/CN110651236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

近眼显示系统(100)包括显示面板(118)以及眼睛跟踪组件(106,108)，该显示面板(118)显示包括元素图像(22)的阵列的近眼光场帧(120)，该眼睛跟踪组件(106,108)跟踪用户眼睛(304)的姿态(320)。该系统进一步包括渲染组件(104)，以基于用户眼睛的姿态，定位近眼光场帧内的元素图像的阵列。近眼显示系统的操作方法包括：使用眼睛跟踪组件来确定用户眼睛的第一姿态(320)并且基于用户眼睛的第一姿态，确定形成近眼光场帧(120)的元素图像(122)的阵列的位移矢量(324)。该方法进一步包括在基于位移矢量的近眼光场帧内的位置(320)处，渲染元素图像的阵列。

Description

经由眼睛跟踪扩大有效眼动范围的近眼显示器
技术领域
本公开一般地涉及近眼显示器，并且更具体地，涉及近眼显示器中有效眼动范围(eyebox)大小的改善。
背景技术
头戴式显示器(HMD)和其他近眼显示系统可以利用近眼光场显示器或其他计算显示器来提供三维(3D)图形的有效显示。通常，近眼光场显示器采用一个或多个显示面板以及覆盖在一个或多个显示面板上的小透镜、针孔或其他光学功能部件的阵列。渲染系统渲染元素图像的阵列，每个元素图像代表从相应的视角或虚拟相机位置的对象或场景的图像或视图。这样的近眼光场显示器通常在眼动范围大小和视场(FOV)之间呈现出折衷，因为眼动范围大小与出瞳距离(eye relief)和小透镜焦距的比率成比例。因此，为了提供令人满意的FOV，采用近眼光场显示器的常规近眼显示系统通常具有相对有限的眼动范围，鉴于下述情况，这通常是有问题：潜在用户群体中的瞳孔间距(IPD)的可变性和相对于显示器的用户眼睛的准确定位的可变性，这两者都可能导致用户的瞳孔落在眼动范围的边界之外，从而导致遮挡了旨在显示给用户眼睛的图像的至少一部分。
附图说明
通过参考附图，可以更好地理解本公开，以及其许多特征和优点对于本领域技术人员变得显而易见。在不同的图中使用相同的参考符号表示相似或相同的项目。
图1是示出根据一些实施例的采用眼睛跟踪和相应的元素图像移位以提供动态的眼动范围调整的近眼显示系统的图。
图2是示出根据一些实施例的图1的近眼显示系统中的动态眼动范围调整的方法的流程图。
图3是示出根据一些实施例的基于眼睛姿态的动态眼动范围调整的示例的图。
图4是示出根据一些实施例的基于眼睛姿态的动态眼动范围调整的另外的示例的图。
图5是示出用于近眼显示系统中的眼睛跟踪的常规斜角配置的图。
图6是示出根据一些实施例的近眼显示系统中的示例性眼睛跟踪组件的图。
图7是示出根据一些实施例的近眼显示系统中的另一示例性眼睛跟踪组件的图。
图8是示出根据一些实施例的图7的眼睛跟踪组件的配置的变型的图。
图9是示出根据一些实施例的用于补偿由于眼睛跟踪组件的组件而导致的近眼光场显示中的被遮挡的元素图像的方法的图。
具体实施方式
图1-9示出了用于基于近眼显示系统中的用户眼睛姿态的动态眼动范围调整的示例性方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器来向用户显示成像的近眼光场帧，以便为用户提供沉浸式虚拟现实(VR)或增强现实(AR)体验。每个近眼光场帧都由元素图像的阵列组成，每个元素图像代表来自不同的相应视点的对象或场景的视图。小透镜的阵列覆盖显示面板，并且操作以将元素图像的阵列作为单个自由立体图像呈现给用户。
由于用于计算显示器的眼动范围尺寸或“大小”与出瞳距离和小透镜焦距的比率成比例，因此尝试增加眼动范围大小通常会导致视场(FOV)减小，反之亦然。为了在不相应地减小FOV的情况下提供改进的眼动范围大小，在至少一个实施例中，本文所述的近眼显示系统利用动态眼动范围技术，其中，利用眼睛跟踪组件来确定用户眼睛的姿态(位置和/或旋转)，并且基于该姿态，确定位移矢量，通过其元素图像的阵列将相对于在其中合并了它们的近眼光场帧被移位(即相对于显示面板的显示表面)，使得有效地移位计算显示器的眼动范围，以便适应用户眼睛的姿态。例如，可以为用户眼睛的默认假定姿态指定显示面板上的元素图像的阵列的默认位置。但是，如果用户眼睛偏离该默认姿态，则近眼显示系统通过引入以下中的一项或两项来补偿偏离的姿态：(1)元素图像的阵列的位置从默认位置起的相应位移，以适应平行于显示面板的平面(即XY平面)中的用户眼睛的姿态的位移，或(2)阵列的元素图像的大小的相应缩放，以适应用户眼睛的姿态沿垂直于显示面板的轴(即Z轴)的位移。当元素图像的阵列的位置的位移和/或元素图像的缩放经由小透镜阵列，有效地移位元素图像的投影方向时，元素图像的阵列的位置的位移有效地改变眼动范围。因此，响应于用户眼睛姿态的位移而动态地移位/缩放元素图像的阵列有效地提供了“更大”的眼动范围，无需相应地减小近眼显示系统的FOV。
图1示出了根据至少一个实施例的结合了动态眼动范围位置调节的近眼显示系统100。在所图示的示例中，近眼显示系统100包括计算显示子系统102、渲染组件104以及一个或多个眼睛跟踪组件，诸如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的跟踪组件108中的一个或两个。计算显示子系统102包括安装在装置114(例如，护目镜、眼镜等)中的左眼显示器110和右眼显示器112，该装置114将显示器110、112分别放置在用户的左、右眼的前方。
如视图116所示，每个显示器110、112包括至少一个显示面板118，以显示一系列或连续的近眼光场帧(在下文中，为便于参考，称为“光场帧”)，每个近眼光场帧都包括元素图像122的阵列120。为了便于参考，元素图像122的阵列120在本文中也可以被称为光场帧120。显示器110、112中的每一个进一步包括覆盖显示面板118的小透镜126的阵列124(也通称为微透镜)。通常，小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量，但是在其他实施方式中，小透镜126的数量可以少于或大于元素图像122的数量。注意，尽管为了便于说明，图1的示例示出了5×4的元素图像122的阵列和相应的5×4的小透镜126的阵列120，在典型的实施方式中，光场帧120中的元素图像122的数量和小透镜阵列124中的小透镜126的数量通常会更高。此外，在一些实施例中，为显示器110、112中的每一个实现单独的显示面板118，而在其他实施例中，左眼显示器110和右眼显示器112共享单个显示面板118，显示面板118的左半部分用于左眼显示器110，而显示面板118的右半部分用于右眼显示器112。
图1的截面图128图示沿覆盖显示面板118的小透镜阵列124的线A-A的截面视图，使得小透镜阵列124覆盖显示面板118的显示表面130，从而被设置在显示表面130和用户的相应的眼睛132之间。在这种配置中，每个小透镜126将显示表面130的相应区域聚焦到眼睛的瞳孔134上，每个这样的区域至少部分地与一个或多个相邻区域重叠。因此，在这样的计算显示配置中，当在显示面板118的显示表面130上显示元素图像122的阵列120，然后由眼睛132通过小透镜阵列124观察时，用户将元素图像122的阵列120感知为场景的单个图像。因此，当对用户的左眼和右眼并行执行该过程并在其间实现适当的视差时，结果是向用户呈现自由立体三维(3D)成像，具有相对宽的FOV和通常由这类计算显示器提供的浅形状因子。
同样如图1所示，渲染组件104包括一组一个或多个处理器，诸如所示的中央处理单元(CPU)136和图形处理单元(GPU)138,140，以及一个或多个存储组件，诸如系统存储器142，以存储由处理器136,138,140访问和执行的软件程序或其他可执行指令，以便操纵处理器136,138,140中的一个或多个来执行本文所述的各种任务。这样的软件程序包括例如渲染程序144，其包括如下所述的用于光场帧渲染过程的可执行指令，以及眼睛跟踪程序146，其包括如下文所述的，用于眼睛跟踪过程的可执行指令。
在操作中，渲染组件104从本地或远程内容源160接收渲染信息148，其中，渲染信息148表示图形数据、视频数据或表示作为要在显示子系统102处渲染和显示的成像的主题的对象或场景的其他数据。执行渲染程序144，CPU 136使用渲染信息148来将绘图指令发送到GPU 138,140，反过来，GPU 138,140利用该绘图指令来使用多种公知的VR/AR计算/光场渲染处理中的任何一个，并行地渲染用于在左眼显示器110上显示的一系列光场帧151和用于在右眼显示器112上显示的一系列光场帧153。作为该渲染过程的一部分，CPU 136可以从惯性管理单元(IMU)154接收姿态信息150，由此姿态信息150代表显示子系统102的姿态，并且控制一对或多对光场帧151,153的渲染来从该姿态反映对象或场景的视点。
如下文详细所述，渲染组件104进一步可以使用来自眼睛跟踪组件106,108中的一个或两个的眼睛姿态信息来实现以下任一个或两个：在要被显示的光场帧内移位元素图像122的阵列120的位置；或缩放要被显示的光场帧的元素图像122的大小，从而有效地移位用于这样显示的光场帧的眼动范围的位置。为此，眼睛跟踪组件106,108可以分别包括一个或多个红外(IR)光源(在本文中称为“IR照明器”)以利用IR光照射相应的眼睛、将从相应眼睛反射回的IR光捕获为相应的眼睛图像(眼睛图像信息156)的一个或多个成像相机、将反射的IR光引导至成像相机的一个或多个反射镜、波导、分束器等，以及执行眼睛跟踪程序146，以便从捕获的眼睛图像确定相应眼睛的当前位置、当前方向或两者(在本文中单独或通称为“姿态”)的一个或多个处理器。可以使用多种公知的眼睛跟踪装置和技术中的任何一种作为眼睛跟踪组件106,108，以跟踪用户的一只或两只眼睛，在下文中，参考图5描述其示例。替选地，在下文中，参考图6至10，描述具有改进性能的眼睛跟踪组件106,108的光学组件的示例性配置。
在至少一个实施例中，近眼显示系统100可以将眼睛姿态确定为过去眼睛姿态、当前眼睛姿态或预测(未来的)眼睛姿态或其组合。特别地，对未来眼睛姿态的预测可以提供改进的性能或响应时间，并且可以实现多种眼动预测算法中的任何一个来预测未来眼睛姿态。此外，在一些情况下，眼睛跟踪组件106,108可以将场景信息(例如，要渲染的成像内的脸部位置或显著性启发法)用作用于眼睛姿态计算的用户眼睛的未来注视的预测的输入。这样，如本文中所使用的，术语“眼睛姿态”可以指先前的、当前的或预测的眼睛姿态或其一些组合。
在常规的基于计算显示的近眼系统中，在显示面板上显示的每个元素图像的位置是固定的(也就是说，元素图像的阵列的位置是固定的，并且对于所显示的每个光场帧也是如此)，这反过来导致用于计算显示的相应眼动范围的位置同样是固定的。结果，如果用户眼睛的位置或方向落在该固定眼动范围的边界之外，则诸如通过成像的剪裁或渐晕或通过失焦，通常会影响用户感知所显示的成像。
如本文所述，在至少一个实施例中，近眼显示系统100通过有效地“移位”眼动范围的位置以更紧密地对准用户眼睛的姿态来减轻非最佳用户眼睛姿态对眼动范围约束的影响。这通过使用眼睛跟踪组件106,108来跟踪用户的一只或两只眼睛以便确定用于要被显示的相应光场帧的一只或两只眼睛的姿态来实现。在确定姿态之后，然后，当被渲染的光场帧内的元素图像122被显示在相应的显示面板118上时，渲染组件104相对于默认位置，在相应的方向中移位被渲染的光场帧内的元素图像122的位置。相对于显示面板118的显示表面130的元素图像122的阵列120的该位移具有使阵列120的视角相对于小透镜阵列124移位的效果，因此具有使眼动范围的位置移位的效果。除了或代替移位元素图像的位置，渲染组件104可以响应于用户眼睛的姿态的Z轴分量来缩放光场帧内的元素图像122的尺寸，以便无论眼睛姿态的Z位置如何，都尝试在虚拟平面中保持所表示的成像的大小不变。以这种方式，可以动态调整眼动范围的位置，以更好地适应用户眼睛的姿态。
图2示出了根据一些实施例的近眼显示系统100的操作方法200，该方法用于渲染具有经调整的定位的光场帧以提供动态的眼动范围位置调整。为了便于理解，通过经常参考图3所示的示例性场景来描述方法200。方法200示出了用于渲染和显示用于左眼显示器110或右眼显示器112之一的光场帧的过程的一个迭代，因此，对显示器110,112中的每一个并行地重复执行所示的过程以在不同时间生成和显示用于每只眼睛的不同光场帧的流或序列，从而为用户提供3D、自由立体VR或AR体验。
对于要被生成和显示的光场帧，方法200从框202开始，其中，渲染组件104将要显示给用户的相应眼睛的图像内容识别为光场帧。在至少一个实施例中，渲染组件104接收表示来自各种姿态相关的传感器(诸如，陀螺仪、加速度计、磁力计、全球定位系统(GPS)传感器等)的数据的IMU信息152，并且由该IMU信息150，确定用于将显示器110,112安装在用户眼睛附近的装置114(例如，HMD)的姿态。根据该姿态，执行渲染程序144的CPU 136可以确定主场景或对象的相应当前视点，并且根据该视点以及被提供为渲染信息148的场景或对象的图形和空间描述来确定将对该姿态渲染的成像。
在框204处，执行眼睛跟踪程序146的CPU 136确定用户的相应眼睛的姿态。如本文所述，可以使用多种眼睛跟踪技术中的任何一种来确定眼睛的姿态。通常，这样的技术包括捕获从眼睛的瞳孔和角膜反射的红外光的一个或多个图像。然后，眼睛跟踪程序146可以操纵CPU 136或GPU 138,140以基于瞳孔反射或角膜反射之一或两者的相应位置来分析图像以确定眼睛的姿态。此外，瞳孔相对于角膜的方向又可以用来确定眼睛的定向(即，眼睛的凝视方向)。应当注意到，尽管在图2中示出了作为框202之后的框204，但是框204的过程可以在框202之前、期间或之后执行。
在确定了用户眼睛的姿态的情况下，在框206处，渲染程序144基于用户眼睛的姿态来操纵CPU 136以确定位移矢量，在本文中被表示为“SV_ELEM”。如上所述，位移矢量SV_ELEM表示要应用于要被渲染的光场帧内的元素图像的位置的位移，以补偿用户眼睛姿态的相应位移。特别地，由位移矢量表示的补偿性位移旨在实际上将计算显示器的眼动范围置于眼睛在其姿态处的周围，从而使眼睛在由眼动范围表示的区域中相对居中。即，位移矢量用来动态地移位眼动范围以匹配眼睛的姿态。
在至少一个实施例中，位移矢量SV_ELEM的计算是基于用户眼睛的默认姿态和参考显示表面130的元素图像122的阵列120的相应默认位置的假设或规范。为了说明，参考由图3的截面图300示出的示例性场景，可以将用户眼睛304相对于相应的显示面板118的默认姿态302设置或定义为相对于显示表面130，在XY平面上居中(即，眼睛304的视轴与显示表面130的中心轴306对齐)并且沿Z轴，位于与显示表面130或小透镜阵列124的假定或默认距离处。在眼睛304处于该默认姿态302的情况下，光场帧的元素图像122的阵列120的默认位置同样可以被定义为相对于显示表面130居中。为了说明，在截面图300中，光场帧由3×3的元素图像的阵列组成，因此截面视图300中呈现的三个元素图像由显示面板118的区域308、309、310表示，并且当眼睛304处于默认姿态302(在该示例中，在距小透镜阵列124的指定距离除沿轴306居中)时，这些区域308、309、310具有以中心轴306为中心的所示的默认位置312。
通过该示例性3×3元素图像配置(以及相应的3x3小透镜阵列配置)，相应的眼动范围具有在由垂直线314表示的、平行于显示表面130的平面中的尺寸。也就是说，只要将眼睛304定位在距显示表面130相同距离处的姿态316和姿态318之间，用户应当具有在区域309处显示的元素图像的未被剪裁或未被遮挡的视野。然而，图3图示的示例性场景放大了眼动范围相对于显示面板118的尺寸。在具有远远更多的元素图像、远远更多的小透镜以及眼睛距显示面板更大距离的典型配置中，眼动范围很可能相对于显示面板118要小得多，使得即使用户IPD微小移动或偏离默认IPD范围也可能导致用户眼睛落在眼动范围之外，由此影响正在显示的光场帧的用户的视野。
通过眼睛304的该默认姿态302和如此定义或以其他方式设置的光场帧的相应默认位置312，渲染组件104可以相对于默认位置312并且基于由眼睛304的姿态表示的、与默认姿态302的变化来确定位移矢量SV_ELEM。为了说明，截面图300示出了示例性场景，其中，眼睛跟踪组件106已经跟踪了眼睛304，并且在框204处确定其姿态处于位置320处，这表示从以中心轴306为中心的默认姿态302的向上的位移(该位移由箭头322表示)。为了补偿眼睛304的位置的这种向上位移，在框206处，渲染组件104确定在相反方向上的，即在图3的向下方向的补偿位移矢量SV_ELEM(由箭头324表示)。
在至少一个实施例中，渲染组件104基于下述表达式来确定位移矢量SV_ELEM：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示位移矢量，EYE_SHIFT表示以矢量形式的眼睛姿态位移，F_A表示小透镜126的焦距(即显示表面1308与小透镜126的平面之间的距离)，D_ER代表出瞳距离(即小透镜126的平面和眼睛304之间的距离)。注意，在眼睛304处于默认姿态的情况下，项EYE_SHIFT将为零，因此位移矢量SV_ELEM同样将为零(即，无移位)。注意，尽管以上描述针对的是使所有元素图像均位移相同的程度或量的实施方式，但是在其他实施方式中，元素图像的位置的位移在元素图像之间可以不同；也就是说，不同的元素图像可以具有不同的位置位移，诸如以适应不同的视角位移(例如，视差位移)。
在一些情况下，眼睛姿态从默认姿态起的位移可以包括Z方向上的位移。在这样的情况下，在框206处，渲染组件104还确定缩放(或放大)量以应用于要被渲染的光场帧的元素图像。为了说明，可以通过下述表达式确定x_elem，其表示要在x维度(x＝X或Y)上的要被渲染的元素图像的大小：
x_elem＝D_A×(1+F_A/D_ER)
回到图2，通过所确定的位移矢量SV_ELEM以及所确定的元素图像的缩放，适当时，在框208处，渲染程序144操纵CPU 136以指示GPU 138,140中的相应一个使用在框202处识别的图像内容，通过阵列120渲染光场帧，由此光场帧包括元素图像的阵列。作为该过程的一部分，CPU 136将位移矢量SV_ELEM和要应用于元素图像的尺寸的任何缩放的指示提供给GPU，并且指示GPU渲染光场帧，使得元素图像相对于帧内的默认位置移位该位移矢量SV_ELEM并且根据所提供的缩放信息(如果有)进行缩放。因此，GPU利用移位和/或缩放的元素图像的阵列来渲染光场帧，并且在框210处，GPU将光场帧提供给计算显示器110、112中的相应一个，以显示给用户眼睛304。
为了说明，再次转到图3，当GPU实现由箭头324表示的位移矢量SV_ELEM时，所得的元素图像的阵列相对于该帧或显示表面130向下移位至位移位置326，使得在移位的部分308',309'和310'处显示截面图300中所示的三个元素图像300。因此，所得到的眼动范围(由垂直线328表示)实际上相对于在默认姿态302处呈现的眼动范围向上移位，使得其通常以眼睛304的姿态320居中，从而使眼睛304能够在姿态330和姿态332之间的任何位置处移动，而没有所显示的成像的渐晕或其他遮挡。注意，姿态330在原始眼动范围的外部，将意识到，经由所显示的光场帧的元素图像的补偿移位的眼动范围的这种动态移位允许比利用固定的眼动范围可实现的其他方式，更大的眼睛位置和定向的变化。
图4示出了根据一些实施例，所显示的光场的元素图像的另外的示例性补偿移位，以便于动态眼动范围移位。如视图402所示，眼睛404的姿态相对于显示面板118处于默认姿态，因此，元素图像408的阵列406被渲染在光场帧内的默认位置处。然而，如视图410所示，眼睛404的姿态向默认姿态的右侧的位移导致阵列406的位置在光场帧内，到默认位置的左侧的互补位移。同样地，如视图412所示，眼睛404的姿态向上移位导致阵列406在光场帧内，从默认位置向下互补位移。眼睛304的姿态的位移不限于在单个主方向上的位移，也不是阵列406的位置的相应位移。例如，视图414示出了眼睛的姿态从默认姿态向右和向下的位移导致阵列406的位置在光场帧内向上和向左的补偿位移。响应于眼睛404沿Z轴从默认位置的移动，阵列406的位置的这些位移还可以伴随阵列内的元素图像408的放大或其他缩放。
注意，因为所述的动态眼动范围过程导致取决于用户眼睛的姿态的在近眼光场帧内的元素图像的阵列120的位移，所以近眼光场帧通常利用在其默认、或居中位置中，围绕阵列120的小缓冲区，以便允许阵列120的位置在各种方向中的任何方向中位移而不会剪切元素图像。在给定小透镜126的放大倍数的情况下，该缓冲区通常相对适度，并且通常仅构成整个显示表面130的很小一部分。可替选地，在其他实施例中，可以排除缓冲区并且当实现阵列120的位置的移位时，可以允许剪切前缘上的元素图像。
此外，除了或代替眼睛位置的变化之外，眼睛定向的变化可以触发元素图像的位置的相应位移。由于本文中设想的近眼光场显示器的类型通常对凝视方向不敏感，因此可以以与本文中关于眼睛位置的变化所述的相同方式来处理眼睛定向的变化。即，本文所述的动态眼动范围移位过程可以有效地应用于眼睛姿态的任何方面(即，眼睛定向、眼睛位置或其组合)。
如上所述，本文所述的动态眼动范围移位过程利用眼睛跟踪组件(例如，眼睛跟踪组件106,108)来确定相应眼睛的姿态。该眼睛跟踪组件通常包括照明眼睛的一个或多个IR照明器、捕获来自眼睛的IR反射的成像的成像相机、将从眼睛反射的IR光引导至成像相机的一个或多个透镜、波导或其他光学元件，以及执行软件程序来分析捕获的成像的一个或多个处理器。
图5示出了可以用作近眼显示系统100中的眼睛跟踪组件的眼睛跟踪组件的光学组件的常规配置。如截面图500所示，在该常规方法中，IR照明器502被设置在小透镜阵列124的一端的相应的小透镜阵列124处或与其附近，而包括成像相机506和一个或多个透镜508或其他光学元件的图像捕获组件504被设置在小透镜阵列的另一端，使得相对于如通过小透镜阵列124所看到的显示面板118，IR照明器502和图像捕获组件504不在眼睛510的FOV之内，因此不干扰观看显示面板118。在操作中，IR照明器502用IR光照射眼睛510，并且该IR光从眼睛510的反射被图像捕获组件504捕获为一个或多个图像。然而，图像捕获组件504的位置使图像捕获组件504处于相对于眼睛510和IR反射成斜角，这对于任何如此捕获的图像的眼睛跟踪分析都是一个挑战。该问题的一种典型解决方案是施加最小的出瞳距离，以减小该斜角，但这会导致比其他方式所需的更厚的形状因子，因此可能会损害用户对显示系统的享受。
图6示出了根据一些实施例的可以在近眼显示系统100中使用的眼睛跟踪组件的光学组件的改进配置。如图6的截面图600所示，在该配置中，一个或多个IR照明器，诸如IR照明器602,604，被设置在小透镜阵列124的小透镜126之间，使得从其发出的IR光以较小的斜角落在眼睛610上。此外，图6的配置不是试图从眼睛610直接捕获反射的IR光，而是采用设置在微透镜阵列125和显示面板118之间的平坦或弯曲的反射元件608(其可以包括IR反射器/反射镜或分束器)。包括成像相机614和一个或多个透镜616或其他光学元件的图像捕获组件612聚焦在反射元件608上。在该方法中，从眼睛610反射的IR光被小透镜阵列124的一个或多个相邻小透镜126聚焦到反射元件608上，反射元件608再将该入射IR光反射到图像捕获组件612以捕获为一个或多个图像。因此，在该方法中，以比在图5所示的传统配置中捕获的更小的斜角来获得用于成像的捕获的IR光，因此有助于更精确的眼睛跟踪，同时将图像捕获组件612保持在用户视觉的外围。注意，虽然在图6的示例中图示了单个图像捕获组件612，但在其他实施例中，处于小透镜阵列124的外围处的多个图像捕获组件612可以被用来从不同的视角捕获眼睛610的反射IR图像，以提高眼睛跟踪的准确性。
将意识到，反射元件608在眼睛610的FOV内。但是，由于其被设置在显示面板118和小透镜阵列124之间(即，比小透镜126的焦距更近)，因此反射元件608将不在眼睛610的聚焦范围内。然而，反射元件608将遮挡被设置在反射元件608后面的一个或多个元素图像的眼睛的视野。但是，如下文参考图9更详细所述，因为计算显示实际上是重叠投影仪的阵列，所以可以使用未遮挡的重叠投影仪的强度来计算上补偿被遮挡的元素图像。
图7示出了根据一些实施例的可以在近眼显示系统100中使用的眼睛跟踪组件的光学组件的另一种改进的配置。如截面图700所示，在该配置中，一个或多个IR照明器，诸如IR照明器702、704，被定位在小透镜阵列124的小透镜126之间，使得从那里发出的IR光以较小的斜角落在眼睛710上。此外，图7的配置不是将从眼睛710反射的IR光重定向到外围以用于图像捕获，而是将图像捕获组件706设置在小透镜阵列124和显示面板118之间，其中，包括成像相机708和一个或多个透镜712或其他光学元件的图像捕获组件706朝向眼睛710聚焦。在该方法中，从眼睛610反射的IR光被小透镜阵列124的中间小透镜126经由图像捕获组件的一个或多个光学元件直接聚焦在成像相机708上(即，没有反射)。因此，在该方法中，图像捕获组件708具有眼睛710的瞳孔和角膜的直角或锐角视图，这有助于高精确的眼睛跟踪。注意，尽管在图7的示例中图示了单个图像捕获组件706，但在其他实施例中，可以使用设置在小透镜阵列124和显示面板118之间的多个图像捕获组件706来从不同的视角捕获眼睛610的反射IR成像，以提高眼睛跟踪的准确性。此外，与图6的配置相同，成像相机组件706的存在虽然在眼睛710的聚焦之外，但是将遮挡成像相机组件706后面的元素图像。然而，由于重叠的投影仪效果，可以通过计算方法，有选择地增加一个或多个相邻元素图像的至少一部分的发光度，以补偿被遮挡的元素图像，如下文所述。
图8示出了对图7的配置的修改，其中，如截面图800所示，不是采用单个显示面板118，而是利用多个平铺的显示面板818来形成有效的较大显示面板。在该方法中，平铺的显示面板818是分开的，使得成像相机组件706位于显示面板818之间的间隙中，因此防止成像相机组件706从眼睛710的角度遮挡一个或多个元素图像。
图6-8所示的眼睛跟踪组件配置的优点在于提供了眼睛的瞳孔和角膜的较小倾斜或更直接的视点，因此便于提高眼睛跟踪精度。但是，这些配置还会在眼睛和显示面板之间放置元件，从而遮挡在显示面板上显示的一个或多个元素图像的眼睛的视野。渲染组件104可以通过借力近眼光场显示器(诸如本文设想的计算显示器)的重叠投影性质来补偿一个或多个遮挡的元素图像。
为了说明，图9图示了诸如用在近眼显示系统100中的那些计算显示器的截面图900。如该视图所示，小透镜阵列124的每个小透镜126用作到眼睛902上的单独“投影仪”，每个“投影仪”与一个或多个相邻投影仪重叠，从而由显示在显示面板118上的元素图像的阵列形成合成虚拟图像904。为了说明，小透镜126-1将相应的元素图像(由区域906表示)投影到虚拟图像904的区域914上，小透镜126-2将相应的元素图像(由区域907表示)投影到虚拟图像904的区域915上，以及小透镜126-3将相应的元素图像(由区域908表示)投影到虚拟图像904的区域916上。如由图9进一步所示，区域914和915在子区域917中重叠，区域916和916在子区域918中重叠，并且所有三个区域914、915、916在子区域919中重叠。
因此，假设在该示例中，由于设置在区域907和小透镜阵列124之间的图像捕获装置，位于显示面板118的区域907处的元素图像从眼睛902来看被遮挡，因此，一个或多个周围的元素图像可能计算上被增加，以补偿由区域907的被遮挡的元素图像造成的强度损失。例如，在所示平面中，区域906和908的元素图像的亮度可以被增加，与显示面板118的方向的其他平面上的其他相邻元素图像一样，以便在区域907处计算上补偿被遮挡的元素图像。注意，图9示出了具有仅具有紧邻的元素图像的重叠区域的简化示例。在许多实施方式中，除了紧邻被遮挡的元素图像的那些元素图像以外的元素图像可以具有与被遮挡的元素图像中的被遮挡的像素重叠的像素区域。因此，通常，对被遮挡的元素图像的计算补偿包括：识别被遮挡的元素图像中的哪些像素在周围的元素图像中被复制，然后将周围的元素图像内的复制(即，重叠的)像素的强度通过分数(N+1)/N进行缩放，其中，N表示共享该像素的元素图像的数量。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非瞬时计算机可读存储介质上存储或以其他方式有形体现的一个或多个可执行指令集。软件可以包括指令和某些数据，这些指令和数据在由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非瞬时计算机可读存储介质可以包括例如磁性或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或其他非易失性存储设备等。存储在非瞬时计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或可由一个或多个处理器解释或以其他方式执行的其他指令格式。
计算机可读存储介质可以包括在使用期间，可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁性硬盘)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统RAM或ROM)中、固定附接到计算系统(例如，磁性硬盘)、可移动地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。
注意，并非要求在一般性描述中描述的所有活动或元件，可以不要求特定活动或设备的一部分，并且除了所述的那些之外可以执行一个或多个其他活动或包括一个或多个其他元件。更进一步，列出活动的顺序不一定是执行它们的顺序。而且，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离如在下述权利要求书中阐述的本公开的范围的情况下，可以进行各种改进和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这样的改进意图被包括在本公开的范围内。
在上文中，参考具体实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点或问题的解决方案以及会导致任何益处、优点或解决方案发生或变得更明显的任何特征都不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上文公开的具体实施例仅仅是示例性的，因为可以以受益于本文的教导，对本领域的技术人员显而易见的不同但等效的方式改进和实施所公开的主题。除了在下文的权利要求书中所述的以外，不旨在对本文所示的构造或设计的细节限制。因此，很明显，可以变更或修改上文公开的具体实施例，并且所有这些变型被认为在所公开的主题的范围内。因此，本文寻求的保护如在下文的权利要求中所述。

Claims (24)

1.在近眼显示系统(100)中，一种方法包括：
使用所述近眼显示系统的眼睛跟踪组件(106,108)，确定用户眼睛的第一姿态(320)；
基于所述用户眼睛的所述第一姿态，确定用于形成近眼光场帧(120)的元素图像的阵列的位移矢量(324)；
在基于所述位移矢量的近眼光场帧内的位置(326)处，渲染所述元素图像(122)的阵列(120)；以及
在所述近眼显示系统的显示面板(118)处显示所述近眼光场帧。
2.根据权利要求1所述的方法，其中，确定所述位移矢量包括：
确定从由所述第一姿态表示的所述用户眼睛的默认姿态(302)起的位移(322)；以及
基于从所述用户眼睛的所述默认姿态起的所述位移，将所述位移矢量确定为表示从所述近眼光场帧内的所述元素图像的阵列的默认位置(312)起的位移。
3.根据权利要求2所述的方法，其中，确定所述位移矢量包括：
基于下述等式，确定所述位移矢量：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示所述位移矢量，EYE_SHIFT表示从所述用户眼睛的所述默认姿态起的所述位移，F_A表示覆盖所述显示面板的小透镜阵列的小透镜的焦距，以及D_ER表示所述小透镜阵列与所述用户眼睛之间的距离。
4.根据权利要求1所述的方法，其中，确定所述用户眼睛的所述第一姿态包括：使用被设置在所述显示面板和覆盖所述显示面板的小透镜阵列(124)之间的成像相机(708)来捕获所述用户眼睛的成像。
5.根据权利要求4所述的方法，其中：
所述成像相机从所述用户眼睛遮挡所述近眼光场帧的元素图像；以及
渲染所述元素图像的阵列包括：渲染所述元素图像的阵列，使得与被遮挡的元素图像相邻的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失。
6.根据权利要求1所述的方法，进一步包括：
确定所述用户眼睛沿垂直于所述显示面板的轴的位置；以及
基于所述位置，缩放所述阵列的元素图像的大小。
7.在近眼显示系统(100)中，一种方法包括：
在第一时间，使用所述近眼显示系统的眼睛跟踪组件(106,108)，确定用户眼睛相对于所述近眼显示系统的显示面板(118)的第一姿态(302)；
渲染并且显示包括元素图像(122)的第一阵列的第一近眼光场帧(120)，其中，所述第一阵列在所述第一近眼光场帧内具有基于所述用户眼睛的所述第一姿态的第一位置(312)；
在第二时间，使用所述眼睛跟踪组件，确定所述用户眼睛相对于所述显示面板的第二姿态(320)，所述第二姿态不同于所述第一姿态；以及
渲染并且显示包括元素图像(122)的第二阵列的第二近眼光场帧(120)，其中，所述第二阵列在所述第二近眼光场帧内具有基于所述用户眼睛的所述第二姿态的第二位置(326)，所述第二位置不同于所述第一位置。
8.根据权利要求7所述的方法，其中：
所述第一姿态是默认姿态(302)，以及所述第一位置是默认位置(312)；以及
渲染并且显示所述第二近眼光场帧包括：
确定由所述第二姿态表示的从所述默认姿态起的位移(322)；
基于从所述用户眼睛的所述默认姿态起的所述位移来确定位移矢量(324)；以及
基于所述位移矢量，将所述第二位置确定为从所述第一位置起的位移。
9.根据权利要求8所述的方法，其中，确定所述位移矢量包括：
基于下述等式来确定所述位移矢量：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示所述位移矢量，EYE_SHIFT表示从所述用户眼睛的所述默认姿态起的所述位移，F_A表示覆盖所述显示面板的小透镜阵列的小透镜的焦距，以及D_ER表示所述小透镜阵列与所述用户眼睛之间的距离。
10.根据权利要求7所述的方法，其中，确定所述用户眼睛的所述第一姿态并且确定所述用户眼睛的所述第二姿态包括：使用设置在所述显示面板和覆盖所述显示面板的小透镜阵列之间的成像相机(708)来捕获所述用户眼睛的成像。
11.根据权利要求10所述的方法，其中：
渲染并且显示所述第一近眼光场帧包括：渲染所述第一近眼光场帧，使得与被所述成像相机遮挡的元素图像相邻的所述第一阵列的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失；以及
渲染并且显示所述第二近眼光场帧包括：渲染所述第二近眼光场帧，使得与由所述成像相机遮挡的元素图像相邻的所述第二阵列的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失。
12.一种近眼显示系统(100)，包括：
显示面板(118)，用于显示包括元素图像(122)的阵列的近眼光场帧(120)；
眼睛跟踪组件(106,108)，用于跟踪用户眼睛(304)的姿态(302)；以及
渲染组件(104)，用于基于所述用户眼睛的所述姿态，定位所述近眼光场帧内的所述元素图像的阵列。
13.根据权利要求12所述的近眼显示系统，其中，所述渲染组件用于通过下述来定位所述近眼光场帧内的所述元素图像的阵列：
基于所述用户眼睛的所述姿态，确定位移矢量(324)；以及
基于所述位移矢量，从默认位置(312)移位所述近眼光场帧内的所述元素图像的阵列的位置(326)。
14.根据权利要求13所述的近眼显示系统，其中，所述渲染组件用于通过下述来确定所述位移矢量：
确定从由所述用户眼睛的所跟踪的姿态表示的所述用户眼睛的默认姿态(302)起的位移(322)；以及
基于从所述用户眼睛的所述默认姿态起的所述位移，确定所述位移矢量。
15.根据权利要求13所述的近眼显示系统，其中，所述渲染组件用于基于下述等式，确定所述位移矢量：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示所述位移矢量，EYE_SHIFT表示从所述用户眼睛的所述默认姿态起的所述位移，F_A表示覆盖所述显示面板的小透镜阵列的小透镜的焦距，以及D_ER表示所述小透镜阵列与所述用户眼睛之间的距离。
16.根据权利要求12所述的近眼显示系统，其中，所述眼睛跟踪组件包括：
一组一个或多个红外(IR)照明器(602,604)，用于将光投射到所述用户眼睛上；
成像相机(614)，被设置在覆盖所述显示面板的小透镜阵列(124)的外围；以及
反射元件(608)，被设置在所述小透镜阵列与所述显示面板之间，并且被定向以便将从所述用户眼睛反射的红外光朝向所述成像相机反射。
17.根据权利要求16所述的近眼显示系统，其中：
所述渲染组件用于渲染元素图像的阵列，使得与被所述反射元件遮挡的元素图像相邻的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失。
18.根据权利要求12所述的近眼显示系统，其中，所述眼睛跟踪组件包括：
一组一个或多个红外(IR)照明器(702,704)，用于将光投射到所述用户眼睛上；以及
成像相机(708)，被设置在覆盖所述显示面板的小透镜阵列(124)与所述显示面板之间，并且通过所述小透镜阵列被定向朝向所述用户眼睛。
19.根据权利要求18所述的近眼显示系统，其中：
所述渲染组件用于渲染所述元素图像的阵列，使得与被所述成像相机遮挡的元素图像相邻的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失。
20.一种渲染系统(104)，包括：
至少一个处理器(136,138,140)；
输入，用于从眼睛跟踪组件(106,108)接收数据(156)，所述数据指示用户眼睛(304)相对于近眼显示面板(118)的姿态(320)；以及
存储组件(142)，用于存储可执行指令集(144)，所述可执行指令集被配置为操纵所述至少一个处理器以渲染包括元素图像(122)的阵列的近眼光场帧(120)，所述元素图像(122)的阵列具有基于所述用户眼睛的姿态的所述近眼光场帧内的位置(326)。
21.根据权利要求20所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以通过下述来渲染所述近眼光场帧：
基于所述用户眼睛的姿态，确定位移矢量(324)；以及
基于所述位移矢量，从默认位置(312)移位所述近眼光场帧内的所述元素图像的阵列的位置(326)。
22.根据权利要求21所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以通过下述来确定所述位移矢量：
确定从由所述用户眼睛的所跟踪的姿态表示的所述用户眼睛的默认姿态(302)起的位移(322)；以及
基于从所述用户眼睛的所述默认姿态起的所述位移，确定所述位移矢量。
23.根据权利要求22所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以基于下述等式，确定所述位移矢量：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示所述位移矢量，EYE_SHIFT表示从所述用户眼睛的所述默认姿态起的所述位移，F_A表示覆盖所述显示面板的小透镜阵列的小透镜的焦距，以及D_ER表示所述小透镜阵列与所述用户眼睛之间的距离。
24.根据权利要求20所述的渲染系统，其中，所述可执行指令集被配置为操纵所述至少一个处理器以进一步通过下述来渲染所述近眼光场帧：
确定所述用户眼睛沿垂直于所述显示面板的轴的位置；以及
基于所述位置，缩放所述阵列的所述元素图像的大小。
CN201880031679.7A 2017-05-15 2018-02-09 经由眼睛跟踪扩大有效眼动范围的近眼显示器 Active CN110651236B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/595,147 2017-05-15
US15/595,147 US10546518B2 (en) 2017-05-15 2017-05-15 Near-eye display with extended effective eyebox via eye tracking
PCT/US2018/017590 WO2018212808A1 (en) 2017-05-15 2018-02-09 Near-eye display with extended effective eyebox via eye tracking

Publications (2)

Publication Number Publication Date
CN110651236A true CN110651236A (zh) 2020-01-03
CN110651236B CN110651236B (zh) 2021-02-09

Family

ID=61386906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880031679.7A Active CN110651236B (zh) 2017-05-15 2018-02-09 经由眼睛跟踪扩大有效眼动范围的近眼显示器

Country Status (8)

Country Link
US (1) US10546518B2 (zh)
EP (1) EP3625648B1 (zh)
JP (1) JP6983258B2 (zh)
KR (1) KR102315862B1 (zh)
CN (1) CN110651236B (zh)
DE (1) DE202018100907U1 (zh)
TW (1) TWI681663B (zh)
WO (1) WO2018212808A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126298A (zh) * 2020-01-14 2021-07-16 宏达国际电子股份有限公司 头戴式显示器
US11520142B1 (en) 2021-06-17 2022-12-06 Coretronic Corporation Light field near-eye display and method thereof for generating virtual reality images
US20230168506A1 (en) * 2021-12-01 2023-06-01 Meta Platforms Technologies, Llc High efficiency optical assembly with folded optical path

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
JP6963399B2 (ja) * 2017-03-16 2021-11-10 株式会社スクウェア・エニックス プログラム、記録媒体、画像生成装置、画像生成方法
AU2018338222A1 (en) * 2017-09-21 2020-03-19 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US10395624B2 (en) * 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
US12050318B2 (en) 2018-09-26 2024-07-30 Magic Leap, Inc. Eyewear with pinhole and slit cameras
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
CN109637418B (zh) * 2019-01-09 2022-08-30 京东方科技集团股份有限公司 一种显示面板及其驱动方法、显示装置
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
WO2020219446A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US11850730B2 (en) * 2019-07-17 2023-12-26 Asensus Surgical Us, Inc. Double eye tracker configuration for a robot-assisted surgical system
JP2022544683A (ja) 2019-08-16 2022-10-20 ガンマデルタ セラピューティクス リミテッド 新規な抗ｔｃｒデルタ可変１抗体
BR112022001416A2 (pt) 2019-08-16 2022-06-21 Gammadelta Therapeutics Ltd Populações de células t gama delta ex vivo
US11902498B2 (en) * 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US12112665B2 (en) 2019-11-01 2024-10-08 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
TWI761930B (zh) * 2019-11-07 2022-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及距離量測器
US20230096410A1 (en) 2020-03-06 2023-03-30 Sorrento Therapeutics, Inc. Innate Immunity Killer Cells Targeting PSMA Positive Tumor Cells
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
PT4010082T (pt) 2020-08-14 2023-04-26 Gammadelta Therapeutics Ltd Anticorpos multiespecíficos anti-tcr variável delta 1
GB202013962D0 (en) 2020-09-04 2020-10-21 Gammadelta Therapeutics Ltd Immunotherapy composition
KR20220100741A (ko) * 2021-01-08 2022-07-18 삼성디스플레이 주식회사 표시 패널, 표시 장치 및 표시 장치 제어 방법
KR20220105194A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
WO2022175414A1 (en) 2021-02-17 2022-08-25 Adaptate Biotherapeutics Ltd. Multispecific anti-tcr delta variable 1 antibodies
US11842662B2 (en) * 2021-05-13 2023-12-12 Coretronic Corporation Light field near-eye display device for automatically adjusting image data according to current eye relief and method thereof
CN117795396A (zh) 2021-08-20 2024-03-29 索尼集团公司 显示设备和显示方法
KR20230040438A (ko) * 2021-09-15 2023-03-23 삼성디스플레이 주식회사 표시 장치
US11722655B2 (en) 2021-11-30 2023-08-08 SoliDDD Corp. Low latency networking of plenoptic data
US20230196522A1 (en) * 2021-12-17 2023-06-22 SoliDDD Corp. Plenoptic image tile organization for single image display or capture
CA3208653A1 (en) 2022-02-17 2022-08-25 Mihriban Tuna Multispecific anti-tcr delta variable 1 antibodies
KR20240133171A (ko) * 2023-02-28 2024-09-04 한국전자기술연구원 근안 디스플레이의 3차원 광계측 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
US20160209647A1 (en) * 2015-01-19 2016-07-21 Magna Electronics Inc. Vehicle vision system with light field monitor
US20160320620A1 (en) * 2013-12-19 2016-11-03 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US20170038834A1 (en) * 2015-04-01 2017-02-09 Fove, Inc. Head mounted display

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529331B2 (en) * 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
FI114752B (fi) 2003-05-30 2004-12-15 Nokia Corp Valosähköinen elementti ja sellaisen käsittävä päätelaite
US7475989B2 (en) 2006-03-14 2009-01-13 Amo Manufacturing Usa, Llc Shack-Hartmann based integrated autorefraction and wavefront measurements of the eye
WO2010137230A1 (ja) * 2009-05-25 2010-12-02 シャープ株式会社 アクティブマトリクス基板、液晶パネル、液晶表示装置、テレビジョン受像機
US8670019B2 (en) * 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
KR101852477B1 (ko) * 2011-05-31 2018-06-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 양방향 디스플레이 및 이의 트리거링
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
CN107153270B (zh) * 2012-04-23 2019-11-22 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9993335B2 (en) * 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
CN104914575B (zh) * 2014-09-29 2017-11-14 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
CN105717640B (zh) * 2014-12-05 2018-03-30 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器
US10152906B2 (en) * 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
KR20160147636A (ko) 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10359629B2 (en) 2015-08-03 2019-07-23 Facebook Technologies, Llc Ocular projection based on pupil position

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
US20160320620A1 (en) * 2013-12-19 2016-11-03 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US20160209647A1 (en) * 2015-01-19 2016-07-21 Magna Electronics Inc. Vehicle vision system with light field monitor
US20170038834A1 (en) * 2015-04-01 2017-02-09 Fove, Inc. Head mounted display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DOUGLAS LANMAN 等: "Near-eye light field displays", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126298A (zh) * 2020-01-14 2021-07-16 宏达国际电子股份有限公司 头戴式显示器
CN113126298B (zh) * 2020-01-14 2022-11-18 宏达国际电子股份有限公司 头戴式显示器
US11520142B1 (en) 2021-06-17 2022-12-06 Coretronic Corporation Light field near-eye display and method thereof for generating virtual reality images
US11914142B2 (en) 2021-06-17 2024-02-27 Coretronic Corporation Light field near-eye display and method thereof for generating virtual reality images
US20230168506A1 (en) * 2021-12-01 2023-06-01 Meta Platforms Technologies, Llc High efficiency optical assembly with folded optical path

Also Published As

Publication number Publication date
EP3625648A1 (en) 2020-03-25
DE202018100907U1 (de) 2018-06-18
KR20190141709A (ko) 2019-12-24
KR102315862B1 (ko) 2021-10-22
TW201902212A (zh) 2019-01-01
TWI681663B (zh) 2020-01-01
WO2018212808A1 (en) 2018-11-22
CN110651236B (zh) 2021-02-09
US10546518B2 (en) 2020-01-28
JP2020520475A (ja) 2020-07-09
US20180330652A1 (en) 2018-11-15
JP6983258B2 (ja) 2021-12-17
EP3625648B1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
CN110651236B (zh) 经由眼睛跟踪扩大有效眼动范围的近眼显示器
US11989842B2 (en) Head-mounted display with pass-through imaging
US10659771B2 (en) Non-planar computational displays
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
KR102078059B1 (ko) 프리즘-기반 눈 추적
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
US11443719B2 (en) Information processing apparatus and information processing method
US20230254466A1 (en) Control device
JP6356928B1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
US20220413295A1 (en) Electronic device and method for controlling electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant