CN109565554B - 针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器 - Google Patents

针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器 Download PDF

Info

Publication number
CN109565554B
CN109565554B CN201880003159.5A CN201880003159A CN109565554B CN 109565554 B CN109565554 B CN 109565554B CN 201880003159 A CN201880003159 A CN 201880003159A CN 109565554 B CN109565554 B CN 109565554B
Authority
CN
China
Prior art keywords
eye
light
array
rendering
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880003159.5A
Other languages
English (en)
Other versions
CN109565554A (zh
Inventor
约翰·D·佩罗特
帕特里克·卢尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109565554A publication Critical patent/CN109565554A/zh
Application granted granted Critical
Publication of CN109565554B publication Critical patent/CN109565554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1015—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for wavefront analysis
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/12—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto
    • H01L31/125—Composite devices with photosensitive elements and electroluminescent elements within one single body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Composite Materials (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种近眼显示系统(100)包括覆盖显示面板(118)的小透镜(206)的阵列(202)。所述显示面板包括光投射元件(218)的阵列，每个光投射元件与相对应的小透镜的轴同轴。所述显示面板还包括光检测元件(202)的阵列和子像素元件(210,212,214,216,222,222,224,226,228,230)的阵列。所述系统还包括控制组件(160)，所述控制组件(160)被配置为激活所述光投射元件的阵列以朝向用户的眼睛投射光点(504)的图案(506)并且控制所述光检测元件的阵列以捕获表示来自所述眼睛的光点的投射图案的反射的图像(164)。所述系统还包括分析组件(162)，所述分析组件(162)用于确定所捕获的图像中的光点的至少一个子集的预期位置(514,524)和实际位置(512,522)之间的位移(516,526)，并且基于所述位移表征所述眼睛。

Description

针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器
技术领域
本公开总体上涉及一种近眼显示器，并且更具体地，涉及一种用于计算的近眼显示器的帧渲染。
背景技术
头戴式显示器(HMD)和其它近眼显示系统能够利用近眼光场的显示器或其它计算的显示器来提供三维(3D)图形的有效显示。一般地，近眼光场的显示器采用一个或多个显示面板以及覆盖所述一个或多个显示面板的小透镜的阵列、针孔、或其它光学特征。渲染系统渲染要素图像的阵列，其中每个要素图像表示来自相对应的透视或虚拟摄像机位置的对象或场景的图像或视图。
一般地，要素图像的每个阵列是参考特定焦平面来渲染的，并且是基于用户的眼睛无实质像差的假定来渲染的。然而，如果用户的眼睛经受折射误差或其它像差，则所显示的影像可能出现模糊或失真。为了避免此类问题，能够将近眼显示设备设计成许可用户佩戴矫正眼镜，但是所得到的形状因数由于重量、惯性和大小原因通常是不切实际的。类似地，在用户的眼睛的当前适应状态与渲染要素图像的阵列的焦平面不一致的条件下产生不一致的深度提示，这对于用户可产生认知疲劳并且因此减损用户的体验。
附图说明
通过参考附图，可以更好地理解本公开，并且其许多特征和优点对于本领域的技术人员而言变得显而易见。在不同的附图中使用相同的附图标记指示类似或相同的项目。
图1是图示根据一些实施例的基于经由波前失真估计的眼睛表征采用光场帧渲染的近眼显示系统的图。
图2是根据一些实施例更详细地图示图1的近眼显示系统的显示面板和覆盖小透镜阵列的图。
图3是图示根据一些实施例的用于基于波前失真估计表征用户的眼睛并且基于该眼睛表征控制影像渲染过程的方法的流程图。
图4是图示根据一些实施例的在眼睛表征过程期间的显示面板和覆盖小透镜阵列的横截面视图的图。
图5是图示根据一些实施例的从用户的眼睛捕获由图2的显示面板投射的光点图案的反射的图像的图。
具体实施方式
图1-图5图示用于在近眼显示系统中基于使用波前失真估计来表征用户的眼睛从而改进图像渲染的示例系统和技术。在至少一个实施例中，近眼显示系统采用由一个或多个显示面板组成的计算的显示器来向用户显示影像的近眼光场帧，以便给用户提供有沉浸式虚拟现实(VR)或增强现实(AR)体验。每个近眼光场帧由要素图像的阵列组成，其中每个要素图像表示来自不同的相对应视点的对象或场景的视图。小透镜的阵列覆盖每个显示面板并且操作为将要素图像的阵列作为单个自动立体图像呈现给用户。
除了向用户显示AR或VR视频影像之外，显示面板还促进经由波前失真估计过程表征用户的一只或两只眼睛。为此，在至少一个实施例中，显示面板并入用于通过小透镜阵列朝向眼睛透射光点的图案的光投射元件(例如，红外(IR)光投射二极管)的阵列以及用于捕获来自眼睛的结构的光点图案的反射作为图案反射图像的光检测元件(例如，光电二极管)的阵列两者。
在没有像差的眼睛中，作为光点图案的反射的结果而射出眼睛的波前将是完全平坦的，并且因此波前将直接击中小透镜阵列的小透镜。结果，所捕获的反射光点图案的图像中的光点的图案将与由光投射元件的阵列投射的光点图案中的光点的图案匹配。也就是说，在完美的眼睛中，所捕获的反射图案中的光点的实际位置将与假定完全平坦波前的相对应的光点的预期位置相一致。相比之下，眼睛的角膜、视网膜、或形状中的一个或多个方面的缺陷或其它眼睛像差使射出眼睛的波前失真。波前中的这些失真进而使波前的相对应的射线以一个角度照射小透镜阵列的相对应的小透镜，这进而使相对应反射光点的实际位置从反射图案图像中的相对应的预期位置移位。
实际位置与反射光点的预期位置的位移的幅度与相对应的小透镜处的波前的位置区域的斜率成比例，同时位移的角度是基于此斜率的方向或角度的。鉴于这些原理，近眼显示系统能够根据反射光点的实际/预期位置位移确定波前的形状。近眼显示系统然后可以使用所识别的波前失真(也就是，波前的形状与平坦波前的偏差)中的一些或全部来表征用户的眼睛。对用户的眼睛的这种表征能够包括例如识别存在于用户的眼睛中的像差、识别用户的眼睛的当前适应状态等。
近眼显示系统利用眼睛的表征来控制渲染过程的一个或多个方面用于在显示面板处显示光场帧的序列。为了图示，在一些实施例中，近眼显示系统控制光场帧的渲染以补偿用户的眼睛中所检测到的像差。以这种方式，近眼显示系统可以为各种缺陷的眼睛提供规定性校正，否则将要求用户佩戴眼镜、隐形眼镜或其它矫正透镜以用于矫正目的，并且因此消除用户在利用近眼显示系统的同时佩戴此类矫正透镜的需要。随着近眼显示系统将因此不再需要促进用户在使用期间佩戴眼镜，近眼显示系统能够实现将小透镜阵列和显示面板放置得更靠近用户的眼睛的配置，并且因此产生更小且更轻的形状因数。作为另一示例，在一些实施例中，近眼显示系统在指定焦平面的基础上渲染光场帧，并且近眼显示系统可以使用眼睛的表征来确定眼睛的当前适应状态，并且根据此当前适应状态选择用于渲染光场帧的适当的焦平面，使得在光场帧中给用户呈现有与当前适应状态一致的深度提示，并且因此使得能够为用户实现有效沉浸式体验。
图1图示根据至少一个实施例的并入基于眼睛表征的图形渲染的近眼显示系统100。在所描绘的示例中，近眼显示系统100包括计算的显示子系统102、渲染组件104和一个或多个眼睛表征组件，诸如用于表征用户的左眼的眼睛表征组件106和用于表征用户的右眼的眼睛表征组件108中的一个或二者。计算的显示子系统102包括在装置114(例如，护目镜、眼镜等)中安装的左眼显示器110和右眼显示器112，所述装置114将显示器110、112分别放置在用户的左眼和右眼的前面。
简要地参考图2，根据至少一个实施例描绘显示器110的展开视图。显示器112被类似地配置。如所示，显示器110包括至少一个显示面板118以显示一系列或连串的近眼光场帧(在下文中，为了易于参考称为“光场帧”)，其中的每一个均包括要素图像的阵列。为了易于参考，要素图像的阵列在本文中还可以被称为光场帧。显示器110还包括覆盖显示面板118的小透镜206(也通常称为“微透镜”)的阵列120。通常，小透镜阵列120中的小透镜206的数目等于光场帧中的要素图像的数目，但是在其它实施方式中小透镜206的数目可以少于或大于要素图像的数目。注意的是，虽然为了易于图示图1的示例图示小透镜206的5×4阵列120，但是在典型的实施方式中光场帧中的要素图像的数目和小透镜阵列120中的小透镜206的数目通常高得多。另外，在一些实施例中，单独的显示面板118被实现用于显示器110、112中的每一个，然而在其它实施例中左眼显示器110和右眼显示器112共享单个显示面板118，其中显示面板118的左半部分被用于左眼显示器110并且显示面板118的右半部分被用于右眼显示器112。
如图2中所示，显示面板118实现显示元件204(例如，“像素”)的阵列202，其中每个显示元件204包括一个或多个彩色子像素，诸如在强度上被控制的红色、绿色、蓝色和白色子像素的集合，使得其组合光输出被眼睛感知为特定颜色的单个“像素”。以这种方式，渲染组件104能够控制阵列202，以显示表示场景的影像的光场帧的序列。
另外，如在本文中更详细地描述的，近眼显示系统100通过小透镜阵列120来将光点图案投射到用户的眼睛，并且通过小透镜阵列120来捕获光点图案的反射的图像，以便分析眼睛用于检测像差、估计适应状态，或者以其它方式表征该眼睛。在至少一个实施例中，近眼显示系统100使用显示面板118来投射光点图案并且捕获所得到的反射光点图案的图像。为此，显示面板118还并入一组光投射元件和一组光检测元件，当该组光投射元件被激活时，经由小透镜阵列120朝向用户的眼睛投射光点图案，当该组光检测元件被激活时，一起捕获表示通过小透镜阵列120来反射来自用户的眼睛的所投射的光点图案的图像。
在至少一个实施例中，该组光投射元件和该组光检测元件被并入在显示元件204的阵列202中，使得显示元件204的子集并入该组光投射元件的光投射元件并且显示元件204的子集并入该组光检测元件的光检测元件。例如，可以将阵列202的显示元件204的子集实现为显示元件204-1，所述显示元件204-1像通过放大视图208所示的那样包括彩色子像素的集合，该彩色子像素诸如红色(R)子像素210、绿色(G)子像素212、蓝色(B)子像素214、和白色(W)子像素216。此子集的显示元件204-1还包括红外(IR)子像素218(光投射元件的一个实施例)，其操作为发射IR光作为所投射的光点图案的一部分。IR子像素218被实现为例如IR投射垂直腔表面投射激光器(VECSEL)、IR光投射二极管(LED)等。显示元件204-1中的一些或全部还能够包括IR检测光电二极管(PD)220(光检测元件的一个实施例)，其操作为检测入射在显示面板118上的IR光，以及尤其是检测在相对应的光点图案中由显示元件204-1的IR子像素218投射的IR光的反射。另外，可以将阵列202的显示元件204的另一子集实现为显示元件204-2，所述显示元件204-2像通过放大视图221所示的那样包括彩色子像素(诸如红色子像素222、绿色子像素224、226、蓝色子像素228、白色子像素230)的集合和IR光电二极管220(作为光检测元件中的一个)。注意的是，显示元件204-1和204-2中的子像素的布置和类型仅是示例，并且可以实现子像素的其它布置、组织、和组合。
具有IR投射能力的显示元件204-1以指定图案被分散在阵列202各处，使得当显示元件204-1的IR子像素218一起被激活时，所得到的投射IR光被投射在光点的图案(例如，规则地隔开的点的矩形或其它多边形网格)中，在下面参考图5对其的示例进行描述。另外，如下所述，显示元件204-1被布置为与小透镜阵列120的相对应的小透镜206同轴，使得投射IR光直接照射相对应的小透镜。具有IR检测能力的显示元件204-1和204-2以允许这些显示元件的光电二极管220要被一起激活的方式分散在阵列202各处，以捕获入射在显示面板118的与光电二极管220的位置相对应的区域上的IR光，并且因为在捕获时的此入射IR光主要由所投射的IR光点图案离开用户的眼睛的反射组成，所以光电二极管220一起操作为捕获此反射的IR光点图案的图像。因此，此图像在本文中被称为“反射点图案图像”，在下面参考图5对其的示例进行描述。
返回参考图1，渲染组件104包括诸如所图示的中央处理单元(CPU)136和图形处理单元(GPU)138、140的一组一个或多个处理器以及诸如系统存储器142的一个或多个存储组件，以存储由处理器136、138、140访问并执行的软件程序或其它可执行指令，以便操纵处理器136、138、140中的一个或多个来执行如本文中所描述的各种任务。此类软件程序包括例如如下描述包括用于光场帧渲染过程的可执行指令的渲染程序144，以及还如下所述包括用于基于波前失真分析来表征用户的眼睛中的一只或两只的可执行指令的眼睛表征程序146。
在操作中，渲染组件104从本地或远程内容源150接收渲染信息148，其中渲染信息148表示图形数据、视频数据、或表示作为要渲染并在显示子系统102处显示的影像的主体的对象或场景的其它数据。执行渲染程序144，CPU 136使用渲染信息148来向GPU 138、140发送绘图指令，所述GPU 138、140进而利用这些绘图指令以使用各种众所周知的VR/AR计算的/光场的渲染过程中的任一个来并行地渲染用于在左眼显示器110处显示的一系列光场帧151和用于在右眼显示器112处显示的一系列光场帧153。作为此渲染过程的一部分，CPU136可以从惯性管理单元(IMU)154接收姿势信息152，由此该姿势信息152表示显示子系统102的姿势并且控制一对或多对光场帧151、153的渲染以根据该姿势反映对象或场景的视点。
并行地，眼睛表征组件106、108操作为使用本文中描述的波前失真分析过程动态地表征用户的眼睛，并且将所确定的眼睛表征提供给渲染组件104作为分别用于左眼和右眼的眼睛表征信息156、158。表征过程包括通过小透镜阵列120来将IR光点图案从显示面板118投射到用户的眼睛，然后经由显示面板捕获反射光图案的图像，确定预期反射光点要处在所捕获的图像中的地方与反射光点实际上位于所捕获的图像中的地方之间的位移。这些位移表示在波前中表示来自用户的眼睛的光点图案的反射的失真，并且因此可以用于识别眼睛的在眼睛表征信息156、158中的相对应一个中表示的折射像差、当前适应状态、或其它特征。
为了促进此操作，眼睛表征组件106实现控制组件160和图像分析组件162。控制组件160操作为触发激活显示面板118的光投射元件组以便投射光点图案，并且触发激活显示面板118的光检测元件以捕获表示投射光点图案的所得反射的反射点图案图像164。图像分析组件162操作为分析点图案图像164以表征左眼，以便为渲染组件104生成眼睛表征信息156。眼睛表征组件108被类似地配置有控制组件和图像分析组件，以捕获并分析反射点图案图像166用于为右眼生成眼睛表征信息158。可以将控制组件和图像分析组件实现为硬件、可编程逻辑、处理器执行软件或其组合。为了图示，在一个实施例中，控制组件160被至少部分地实现在用于显示面板118的显示控制器(未示出)的硬件中，然而图像分析组件162是通过处理器136、138、140中的一个或多个执行眼睛表征程序146的相对应的组的指令来实现的。
如在下面详细地描述的，渲染组件104使用来自眼睛表征组件106、108中的一个或两个的眼睛表征信息156、158中的一个或两个来在生成光场帧151、153的序列时控制光场帧渲染过程的各个方面。为了图示，眼睛表征信息156可以包括识别左眼中的一个或多个像差的信息，并且因此CPU 136可以控制GPU 138的操作以便调整光场帧151的渲染来补偿这些像差，从而允许用户在使用近眼显示系统100的同时放弃佩戴矫正透镜。作为另一示例，眼睛表征信息156可以包括识别眼睛的当前适应状态的信息，并且渲染组件104可以使用这个来针对与当前适应状态一致的焦平面渲染光场帧151。
图3图示用于表征用户的眼睛并且相应地控制一个或多个渲染操作的近眼显示系统100的操作的示例方法300。为了易于图示，参考图4并参考图5描述方法300，图4描绘显示面板118、覆盖小透镜阵列120和用户的面对眼睛404沿着切割线A-A(图2)的横截面视图400、402，并且图5描绘反射点图案图像164的示例。此外，特别参考近眼显示系统100相对于左眼(眼睛404)(包括眼睛表征组件106)的操作来描述方法300。然而，此相同的方法能够被应用于近眼显示系统100的利用眼睛表征组件108针对右眼的操作。
如通过图3所图示的，方法300包括被并行地执行的两个过程：由块302、304、306、308表示的眼睛表征过程，以及由块310表示的光场帧渲染过程。首先转向眼睛表征过程，在块302处控制组件160控制显示面板118以触发显示面板118的光电二极管220(包括图4中图示的光电二极管220-1、220-2、220-3、220-4)，以便经由小透镜阵列120按照指向眼睛404的光点图案发射IR光，如通过图4的横截面视图400所图示的那样。与触发光点图案的发射同时，在块304处控制组件160激活显示面板118的光电二极管220(作为一组光检测元件)以捕获表示投射光点图案离开眼睛404的反射并且经由小透镜阵列120聚焦在显示面板118上的反射点图案图像164。
如通过横截面视图400所图示的，用于光点图案生成的光电二极管220中的每一个通常与相对应的小透镜206的光轴基本上同轴(例如，图4中的光电二极管220-1与小透镜206-1的光轴406的光轴同轴)，使得由光电二极管220投射的IR光直接照射相对应的小透镜206，并且因此作为基本上平坦的波前408从小透镜阵列120朝向眼睛404透射(也就是说，在没有实质的失真的情况下光点图案被朝向眼睛404透射)。
如通过横截面视图402所图示的，如此透射的光点图案照射眼睛404的瞳孔、晶状体、角膜、视网膜和其它结构并且作为通过波前410表示的反射光点图案被朝向小透镜阵列120和显示面板反射回来。在理想的眼睛中，缺少像差将导致反射光点图案没有任何失真，并且因此波前410将是未失真的。在这种情形下，入射在小透镜阵列120上的未失真的反射波前将导致表示反射光图案内的点的光射线在预期位置中照射显示面板118。为了图示，如果眼睛404是没有像差的理想化眼睛，则反射波前410将是未失真的并且因此导致射线411、412、413、414(表示反射光点图案中的相对应的点)分别在预期位置421、422、423、424处照射显示面板118。
然而，在诸如眼睛404的真实眼睛中，眼睛中的像差导致反射光点图案中的局部失真；也就是说，反射波前410因眼睛404中的像差而失真。反射波前410中的局部失真使波前410的失真区域以一个角度而不是直接照射相对应的小透镜206，并且所得到的射线在与预期位置不同的位置处照射显示面板118。为了图示，在横截面视图402中，眼睛404具有使波前410失真的像差，使得由小透镜阵列120透射的实际射线431、432、433、434在可能与相对应射线的预期位置不同的实际位置441、442、443、444处照射显示面板118。因为小透镜阵列120是瞳孔共轭平面，所以波前410的形状表示眼睛404的瞳孔的形状，并且所捕获的反射点图案图像中的光点的实际位置和预期位置之间的线性位移的幅度与照射相对应的小透镜206的波前410的局部区域的斜率成比例，同时线性位移的方向表示波前410的局部区域的斜率的方向。波前410的局部区域的斜率的幅度和方向进而表示眼睛404的特征，包括存在的任何折射像差以及眼睛404的当前适应状态。
为了图示，图5图示反射点图案图像164的示例。如所示，反射点图案图像164包括点(例如，点504)的阵列502，每个点反映在块302处透射光点图案期间从眼睛404反射的检测到的光点的实际位置。出于比较目的，图5还包括在眼睛404中不存在任何像差的情况下(即，在眼睛404是理想眼睛的条件下)点的预期位置(例如，预期位置508)的阵列506。如所图示的，假定显示面板118的光投射元件的阵列被布置以便按照规则的固定间距图案投射光点的图案，预期位置的阵列506同样地将表示规则的固定间距图案。然而，因为用户的眼睛404不可能是理想的眼睛，所以用户的眼睛404中的像差将使反射波前410失真，并且因此使所捕获的点图案图像164中的点中的至少一些的实际位置从其预期位置移位。为了参考扩展视图510进行图示，眼睛404中的像差引起波前410中的局部失真，这进而引起将相对应的反射点配准在从其预期位置514移位了位移516(也被表示为位移D(K1))的实际位置512处。作为另一示例，如通过扩展视图520所图示的，眼睛404中的相同或不同的像差引起波前410中的局部失真，这引起将反射点配准在从其预期位置524移位了位移526(也被表示为位移D(K2))的实际位置522处。
因此，反射点图案图像164中的反射点的实际位置及其与其相对应的预期位置的位移表示眼睛404的某些特征。因此，在块308处图像分析组件162分析在反射点图案图像164中捕获的反射点的实际位置和预期位置之间的位移，以表征眼睛404，并且将表示所确定的眼睛特征的数据作为眼睛表征信息156提供给渲染组件104。
可以确定眼睛404的各种特征中的任一个，并且可以采用各种波前失真分析过程中的任一个来确定此类特征。为了图示，因为反射点图案图像164可以类似由常规Shack-Hartmann波前传感器捕获的失真波前，所以使用此类常规Shack-Hartmann波前传感器通常应用的各种众所周知的眼睛像差仪技术中的任一种(例如，Complete OphthalmicAnalysis System(全眼科分析系统)或COAS技术)可以类似地被适配并被采用来表征眼睛404中的低阶和/或高阶像差。为了图示，如指出的点的位移与波前误差的局部梯度(delta_x＝f*[dW/dx])直接相关，并且因此通过对点位移图进行空间积分，图像分析组件162能够使波前误差W恢复达至某个恒定偏移(其是无关紧要的)。波前误差的多项式展开中的项对应于不同的像差(例如，散焦、像散、球面等)。图像分析组件162因此能够将多项式拟合到实测波前误差以确定不同的像差的系数或相对权重，或者能够在光场渲染中对波前误差的倒数进行编码。
作为另一示例，图像分析组件162可以分析反射点图案图像164中的位移以确定眼睛404的当前适应状态。类似于以上段落中概述的像差检测方法，适应状态是波前误差的二次项(即，W＝W_defocus*r^2)。因此，像散允许沿着x、y方向实现不同量的散焦或二次系数。
可以以各种方式中的任一种触发通过块302、304、306、308表示的眼睛表征过程。例如，眼睛表征过程可以在启动时被触发一次以表征用户的眼睛中的像差，并且所得到的眼睛表征信息可以被固定直到近眼显示系统100被重置或者直到另一用户开始使用近眼显示系统100。在其它实施例中，尤其在表征包括确定眼睛的当前适应状态或眼睛的预期用某个频率变化的其它参数的实施方式中，可以在周期性基础或其它基础上重复眼睛表征过程。
与眼睛表征过程并行地，渲染组件104执行通过块310表示的渲染过程，由此生成一系列光场帧151用于针对左眼显示在显示面板118处(并且类似地，生成一系列光场帧153用于针对右眼显示)。对于要生成和显示的光场帧，渲染组件104将要显示给用户的相对应的眼睛的图像内容识别为光场帧。在至少一个实施例中，渲染组件104接收表示来自各种姿势相关传感器(诸如陀螺仪、加速度计、磁力计、全球定位系统(GPS)传感器等)的数据的姿势信息152，并且根据姿势信息152确定用于将显示器110、112安装在用户的眼睛附近的装置114(例如，HMD)的姿势。根据此姿势，执行渲染程序144的CPU 136能够确定主体场景或对象的相对应的当前视点，并且根据此视点以及作为渲染信息148所提供的场景或对象的图形和空间描述，确定要针对姿势渲染的影像。
在至少一个实施例中，处理器136、138、140基于在眼睛表征过程的当前迭代的块308处生成的眼睛表征信息来控制此渲染过程。也就是说，光场帧由渲染组件104基于用户的眼睛的一个或多个识别的特征进行渲染。为了图示，当用于眼睛404的眼睛表征信息156包括表示眼睛404中的识别的像差的数据时，渲染组件104能够调整光场帧151的渲染，使得它补偿所识别的像差。为了图示，在已经测量波前误差(例如，散焦、适应状态)之后，包括光场渲染的要素图像的相对移位之间的关系能够由图像分析组件164进行确定(dx＝d_lens*f_lens*Phi，其中W_defocus＝Phi/2)并且在渲染光场帧时由渲染组件104进行实现。更直接地，渲染组件104能够在渲染光场帧期间对波前误差的倒数进行编码。
如上面所指出的，眼睛表征信息能够包括眼睛404的当前适应状态。此当前适应状态反映眼睛的光学系统的当前光功率，并且因此表示眼睛404的当前焦距。显示给眼睛404的光场图像的焦平面与此焦距之间的失配能够使人类视觉系统花费相当大的认知努力来考虑这种失配或冲突，这进而能够使用户疲劳。因此，为了使此类调节/焦平面失配最小化，在至少一个实施例中渲染组件104利用如眼睛表征信息156中表示的眼睛404的当前适应状态来识别与当前适应状态一致的焦距/焦平面并且基于所识别的焦距/焦平面渲染下一组一个或多个光场帧151，并且因此使所显示的影像与眼睛404的当前焦距更好地匹配，从而减少由用户在查看所显示的影像时花费的认知努力。为了图示，存在其中知道眼睛的适应状态能够促进光场渲染的至少两各个场景。首先，光场的显示器具有它们能够同时地表示的适应状态的动态范围，通过小透镜的景深来给出，dPhi＝2c/(d_lens*f_lens)，其中c是系统的最小点/像素大小。在此深度动态范围与横向空间分辨率之间存在权衡，所以不能够使调节范围任意地变大。变焦技术(例如，LC光程差调制器、透镜显示器距离调制)能够用于使有限动态范围移位到其中用户正在试图聚焦的平面。第二场景与用于渲染光场图像的计算的带宽要求有关，计算与正被表示的N个平面的数目成线性比例，这对移动平台或具有相对有限的计算资源的其它系统来说是有问题的。因此，渲染组件104能够在单个z平面处渲染每个光场帧，并且使用所测量的适应状态来单独地或者与变焦模态一致地使光场渲染移位到该平面。
在一些实施例中，上述的技术的某些方面可以由执行软件的处理系统的一个或多个处理器实现。软件包括在非暂时性计算机可读存储介质上存储或者以其它方式有形地实施的一组或多组可执行指令。软件能够包括指令和某些数据，当由一个或多个处理器执行所述指令和某些数据时，操纵一个或多个处理器以执行上述的技术的一个或多个方面。非暂时性计算机可读存储介质能够包括例如磁盘或光盘存储设备、诸如闪速存储器的固态存储设备、高速缓存、随机存取存储器(RAM)或一个或多个其它非易失性存储设备等。在非暂时性计算机可读存储介质上存储的可执行指令可以是由一个或多个处理器解释或者以其它方式可执行的源代码、汇编语言代码、目标代码或其它指令格式。
计算机可读存储介质可以包括在使用期间可以由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。此类存储介质能够包括但不限于光学介质(例如，紧致盘(CD)、数字通用盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带、或磁硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪速存储器)、或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以被嵌入在计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁硬盘驱动器)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪速存储器)，或者经由有线或无线网络耦合到计算机系统(例如，网络可访问存储装置(NAS))。
注意的是，并不需要上面在一般描述中描述的所有活动或元素，可以不需要具体活动或设备的一部分，并且可以执行一个或多个另外的活动，或者包括除了所描述的那些之外的元素。更进一步地，活动被列举的顺序不一定是它们被执行的顺序。另外，已经参考具体实施例描述了这些构思。然而，本领域的普通技术人员显而易见的是，在不脱离如下面的权利要求中所阐述的本公开的范围的情况下，可做出各种修改和改变。因此，说明书和图将在说明性而不是限制性意义上考虑，并且所有此类修改旨在被包括在本公开的范围内。
已经在上面针对具体实施例描述了有益效果、其它优点和问题的解决方案。然而，有益效果、优点、问题的解决方案以及可以使任何有益效果、优点或解决方案发生或者变得更加显著的任何特征不应被解释为任何或所有权利要求的关键、必需或必要的特征。此外，上面公开的特定实施例仅是说明性的，因为可以以对受益于本文教导的本领域的技术人员而言显而易见的不同但等同的方式修改和实践所公开的主题。除如在下面的权利要求中所描述的以外，不旨在对本文所示的构造或设计的细节进行限制。因此显然的是，可以更改或者修改上面公开的特定实施例并且所有此类变化被认为在所公开的主题的范围内。因此，本文寻求的保护如下面的权利要求中所阐述的那样。

Claims (17)

1.一种近眼显示系统(100)，包括：
小透镜(206)的阵列(120)；
显示面板(118)，所述显示面板(118)面向所述小透镜的阵列，所述显示面板包括：
光投射元件(218)的阵列，其中，每个光投射元件与所述小透镜的阵列的相对应的小透镜的轴同轴；
光检测元件(220)的阵列；以及
子像素元件(210,212,214,216,222,224,226,228,230)的阵列；
控制组件(160)，所述控制组件(160)耦合到所述显示面板并且被配置为激活所述光投射元件的阵列以朝向用户的眼睛投射光点(504)的图案(506)并且被配置为控制所述光检测元件的阵列以捕获表示来自所述眼睛的光点的投射图案的反射的图像(164)；以及
分析组件(162)，所述分析组件(162)用于确定所捕获的图像中的光点的至少一个子集的预期位置(514,524)和实际位置(512,522)之间的位移(516,526)，并且用于基于所述位移来表征所述眼睛。
2.根据权利要求1所述的近眼显示系统，其中，所述分析组件通过基于所述位移检测所述眼睛中的折射像差来表征所述眼睛。
3.根据权利要求1所述的近眼显示系统，其中，所述分析组件通过基于所述位移检测所述眼睛的适应状态来表征所述眼睛。
4.根据权利要求1所述的近眼显示系统，还包括：
渲染组件(104)，所述渲染组件(104)耦合到所述显示面板并且被配置成渲染光场帧(153)的序列，用于经由所述子像素元件的阵列显示给所述用户。
5.根据权利要求4所述的近眼显示系统，其中，所述渲染组件基于所述眼睛的表征调整用于所述光场帧的序列的渲染过程的至少一个方面。
6.根据权利要求5所述的近眼显示系统，其中：
所述分析组件通过基于所述位移检测所述眼睛的像差来表征所述眼睛；并且
所述渲染组件渲染所述光场帧的序列，以便补偿所检测到的像差。
7.根据权利要求5所述的近眼显示系统，其中：
所述分析组件通过基于所述位移检测所述眼睛的当前适应状态来表征所述眼睛；并且
所述渲染组件基于根据所述当前适应状态确定的焦平面来渲染所述光场帧的序列。
8.根据权利要求1所述的近眼显示系统，其中：
所述光投射元件的阵列被配置为将光点的图案投射为红外光点的图案。
9.根据权利要求8所述的近眼显示系统，其中，所述显示面板包括显示元件(204-1,204-2)的阵列(202)，每个显示元件(204-1,204-2)包括所述子像素元件(210,212,214,216,222,224,226,228,230)的阵列中的至少一个子像素元件，所述显示元件(204-1,204-2)的阵列的至少第一子集的每个显示元件还包括所述光检测元件的阵列的光检测元件(220)，并且所述显示元件(204-1,204-2)的阵列的至少第二子集的每个显示元件还包括所述光投射元件(218)的阵列的光投射元件(218)。
10.一种在根据权利要求1所述的近眼显示系统(100)中执行的方法，所述方法包括：
通过小透镜(206)的阵列(120)从显示面板(118)的光投射元件(218)的阵列朝向用户的眼睛投射光点(504)的图案(506)；
经由所述显示面板的光检测元件(220)的阵列来捕获表示来自所述眼睛的光点的图案的反射的图像(164)；
针对所述图像的光点的至少一个子集的每个光点，确定所捕获的图像中的所述光点的预期位置(514,524)和实际位置(512,522)之间的位移(516,526)；以及
针对所述光点的子集基于所述位移确定所述眼睛的一个或多个特征。
11.根据权利要求10所述的方法，其中，确定所述眼睛的一个或多个特征包括基于所述位移检测所述眼睛中的折射像差。
12.根据权利要求10所述的方法，其中，确定所述眼睛的一个或多个特征包括基于所述位移检测所述眼睛的适应状态。
13.根据权利要求10所述的方法，还包括：
渲染光场帧(153)的序列以用于经由所述显示面板显示给所述用户。
14.根据权利要求13所述的方法，还包括：
基于所述眼睛的表征调整所述光场帧的序列的渲染。
15.根据权利要求14所述的方法，其中：
确定所述眼睛的一个或多个特征包括基于所述位移检测所述眼睛的像差；并且
调整所述渲染包括控制所述光场帧的序列的渲染以便补偿所检测到的像差。
16.根据权利要求14所述的方法，其中：
确定所述眼睛的一个或多个特征包括基于所述位移检测所述眼睛的当前适应状态；并且
调整所述渲染包括基于根据所述当前适应状态确定的焦平面控制所述光场帧的序列的渲染。
17.根据权利要求10所述的方法，其中：
投射所述光点的图案包括投射红外光点的图案。
CN201880003159.5A 2017-06-15 2018-03-14 针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器 Active CN109565554B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762520295P 2017-06-15 2017-06-15
US62/520,295 2017-06-15
US15/917,375 2018-03-09
US15/917,375 US10629105B2 (en) 2017-06-15 2018-03-09 Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
PCT/US2018/022440 WO2018231303A1 (en) 2017-06-15 2018-03-14 Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization

Publications (2)

Publication Number Publication Date
CN109565554A CN109565554A (zh) 2019-04-02
CN109565554B true CN109565554B (zh) 2021-05-25

Family

ID=61906844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880003159.5A Active CN109565554B (zh) 2017-06-15 2018-03-14 针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器

Country Status (8)

Country Link
US (1) US10629105B2 (zh)
EP (1) EP3485632B1 (zh)
JP (1) JP6661832B2 (zh)
KR (1) KR102121513B1 (zh)
CN (1) CN109565554B (zh)
DE (1) DE202018101818U1 (zh)
TW (1) TWI661229B (zh)
WO (1) WO2018231303A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
US11458040B2 (en) * 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
US11747646B2 (en) * 2019-03-15 2023-09-05 Realfiction Lab Aps Directional OLED display
CN114270816B (zh) * 2019-03-20 2024-05-17 M·E·瓦尔德 Mems驱动的具有微led阵列的光学封装
KR102099232B1 (ko) * 2019-07-03 2020-04-08 주식회사 레티널 소형 반사부를 이용한 카메라 모듈 및 이를 이용한 증강 현실용 광학 장치
KR20220030774A (ko) * 2020-09-03 2022-03-11 삼성전자주식회사 전자 장치 및 사용자의 시선 정보 획득 방법
CN114489310A (zh) * 2020-11-12 2022-05-13 海信视像科技股份有限公司 虚拟现实设备以及手柄定位方法
CN114545624A (zh) * 2020-11-25 2022-05-27 华为技术有限公司 近眼显示系统及近眼显示方法
US11950000B2 (en) 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004107301A1 (en) * 2003-05-30 2004-12-09 Nokia Corporation Photoelectric element and terminal equipment including a photoelectric element
CN105974589A (zh) * 2016-06-24 2016-09-28 赵宇 一种头戴式护目镜的近眼式显示器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7475989B2 (en) 2006-03-14 2009-01-13 Amo Manufacturing Usa, Llc Shack-Hartmann based integrated autorefraction and wavefront measurements of the eye
WO2010137230A1 (ja) 2009-05-25 2010-12-02 シャープ株式会社 アクティブマトリクス基板、液晶パネル、液晶表示装置、テレビジョン受像機
US9024872B2 (en) * 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US9507412B2 (en) 2011-05-31 2016-11-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bidirectional display and triggering thereof
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
CN107153270B (zh) 2012-04-23 2019-11-22 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20160289647A1 (en) * 2013-10-31 2016-10-06 Washington State University Prokaryotic desaturases modified by directed evolution to reduce saturated and increase unsaturated fatty acids in eukaryotes
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
EP3114527B1 (en) * 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
CN104914575B (zh) 2014-09-29 2017-11-14 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
CN105717640B (zh) 2014-12-05 2018-03-30 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
WO2016157486A1 (ja) 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
US10152906B2 (en) 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
KR20160147636A (ko) 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10534173B2 (en) * 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004107301A1 (en) * 2003-05-30 2004-12-09 Nokia Corporation Photoelectric element and terminal equipment including a photoelectric element
CN105974589A (zh) * 2016-06-24 2016-09-28 赵宇 一种头戴式护目镜的近眼式显示器

Also Published As

Publication number Publication date
TWI661229B (zh) 2019-06-01
TW201905537A (zh) 2019-02-01
US20180366045A1 (en) 2018-12-20
KR20190032572A (ko) 2019-03-27
EP3485632A1 (en) 2019-05-22
WO2018231303A1 (en) 2018-12-20
KR102121513B1 (ko) 2020-06-10
US10629105B2 (en) 2020-04-21
EP3485632B1 (en) 2019-10-02
DE202018101818U1 (de) 2018-07-09
CN109565554A (zh) 2019-04-02
JP2020503905A (ja) 2020-02-06
JP6661832B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
CN109565554B (zh) 针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器
US11733524B1 (en) Depth camera assembly based on near infra-red illuminator
JP6423945B2 (ja) 表示装置、およびプロジェクタを用いた表示方法
TW202215107A (zh) 在近眼顯示器中驅動光源的方法
US20180084232A1 (en) Optical See-Through Head Worn Display
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
CN107076984A (zh) 虚像生成器
US11435576B2 (en) Near-eye display with extended accommodation range adjustment
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
US10789782B1 (en) Image plane adjustment in a near-eye display
US20130093805A1 (en) Double stacked projection
CN104246578A (zh) 用于头戴式光场显示器的基于可移动led阵列和微透镜阵列的光场投影仪
US10598941B1 (en) Dynamic control of optical axis location in head-mounted displays
US11070785B2 (en) Dynamic focus 3D display
US10775617B2 (en) Eye tracked lens for increased screen resolution
CN115280218A (zh) 高分辨率液晶显示器
US10412363B1 (en) Light-field display with micro-lens alignment adapted color and brightness
JP2020501424A (ja) 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法
US20200304778A1 (en) Display apparatus and method of producing images having spatially-variable angular resolutions
US11495194B1 (en) Display apparatuses and methods incorporating pattern conversion
US20200393679A1 (en) Method and system for rendering an image with a pupil enhanced accommodation of the eye
Miyanishi et al. Observed optical resolution of light field display: Empirical and simulation results
JP2020021012A (ja) 画像処理装置、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant