CN105209960A - 为近眼光场显示器生成图像的系统、方法和计算机程序产品 - Google Patents

为近眼光场显示器生成图像的系统、方法和计算机程序产品 Download PDF

Info

Publication number
CN105209960A
CN105209960A CN201480028202.5A CN201480028202A CN105209960A CN 105209960 A CN105209960 A CN 105209960A CN 201480028202 A CN201480028202 A CN 201480028202A CN 105209960 A CN105209960 A CN 105209960A
Authority
CN
China
Prior art keywords
display
micro
pixel
image
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480028202.5A
Other languages
English (en)
Other versions
CN105209960B (zh
Inventor
道格拉斯·罗伯特·兰曼
大卫·帕特里克·利布基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN105209960A publication Critical patent/CN105209960A/zh
Application granted granted Critical
Publication of CN105209960B publication Critical patent/CN105209960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供一种系统、方法和计算机程序产品，用于为近眼光场显示器生成图像。由微显示器和的像素和近眼光场显示设备的光学装置限定的射线被识别，并且该射线与二维虚拟显示平面相交以生成与像素对应的贴图坐标。像素的颜色基于贴图坐标计算。近眼光场显示器设备的光学装置可以例如位于观察者和发射式微显示器之间的微透镜阵列的微透镜或相对观察者位于透射式微显示器之后的点光阵列的点光。

Description

为近眼光场显示器生成图像的系统、方法和计算机程序产品
技术领域
本发明涉及生成图像，并且更具体地涉及为近眼光场显示器生成图像。
背景技术
近眼显示器(NEDs)包括可以直接向观察者眼睛内投射图像的头戴显示器(HMDs)。这种显示器可以通过合成虚拟大画幅显示表面克服由其它移动显示器形状因数提供的有限屏幕尺寸,或者可以用于虚拟或增强现实应用。一种类型的NED是可以实施为瘦轻量级头戴显示器的近眼光场显示器，其包括一对配置在观察者眼睛之间的微透镜和一对对应的微显示器。这种近眼光场显示器能够合成与观察者自然调节范围内的虚拟对象对应的光场。
使用近眼光场显示器观察到的图像包括基本图像阵列，其中每个基本图像与微透镜阵列中的一个微透镜对应。因此，由微显示器显示的图像与由常规显示装置显示的图像相比非常不同。所以，为常规二维显示装置和立体显示装置(例如，3DTV)开发的内容(例如，图像、电影和视频游戏)不能直接使用近眼光场显示器显示。因而，需要解决该问题和/或其他与现有技术相关的问题。
发明内容
提供一种系统、方法和计算机程序产品，用于为近眼光场显示器生成图像。由微显示器和的像素和近眼光场显示设备的光学装置限定的射线被识别，并且该射线与二维虚拟显示平面相交以生成与像素对应的映射坐标。像素的颜色基于映射坐标计算。近眼光场显示器设备的光学装置可以例如位于观察者之间的微透镜阵列的微透镜和与观察者相关的与观察者相关的发射微显示器或位于透射式微显示器之后的点光阵列的点光。
附图说明
图1示出根据一实施例的用于为近眼光场显示器生成图像的方法的流程图；
图2A示出根据一实施例的观察者的眼睛和近眼光场显示器；
图2B示出根据一实施例的双眼近眼光场显示器；
图2C示出根据一实施例的另一双眼近眼光场显示器；
图3A示出根据一实施例的待处理的用于由近眼光场显示器显示的现有图像；
图3B示出根据一实施例的包括与每个微透镜对应的基本图像的微显示图像；
图3C示出根据一实施例的从微透镜阵列观察到的图3B的微显示图像；
图3D示出根据一实施例的生成的没有抗锯齿的基本图像和生成的具有抗锯齿的基本图像；
图3E示出根据一实施例的待处理用于由近眼光场显示器显示的现有图像；
图3F示出根据一实施例的包括与点光阵列中的每一点光对应的基本图像的微显示图像；
图4示出根据一实施例的并行处理单元；
图5A示出根据一实施例的图4并行处理单元的一般处理簇；
图5B示出根据一实施例的图4并行处理单元的分区单元；
图6A示出根据一实施例的图5A的流式多处理器；
图6B示出根据一实施例的用于为图2A、图2B和图2C的近眼光场显示设备生成图像的方法的流程图；
图7示出在其中可以实施先前各实施例的各种架构和/或功能的示例性计算机系统。
具体实施方式
现在详细参考本公开的各个实施例、其示例在附图中示出。尽管结合这些实施例描述，但是，可以理解的是，它们并不意欲将本公开限制在这些实施例。相反，本公开旨在覆盖如所附权利要求限定的包括在本公开精神和范围内的替换、变形和等同。而且，在下述本公开的详细描述中，给出大量具体细节以提供对本公开的透彻理解。然而，应该理解的是，本公开可以脱离这些具体细节实现。另一方面，众所周知的方法、程序、组件和电路不必详细描述，以便不会不必要地模糊本公开的方面。
以下详细描述的一部分以在计算机存储器内的数据位上的程序、逻辑块、处理和其它表征运算的符号方式存在。这些描述和表征是数据处理领域技术人员用于最有效地向其它技术领域的技术人员传达他们工作的实质的方法。在本申请中，程序、逻辑块、处理或类似的构思为导致期望结果前后一致的步骤或指令序列。所述步骤是那些使用物理量的物理操纵。通常，尽管不必要，这些量表现为能够进行存储、转移、组合、比较以及计算系统内其它操作的电信号或磁信号。已经证明有时出于方便，原则上是习惯用语原因，称这些信号为事务、位、值、元素、符号、特征、样本、像素或类似的。
然而，应该在心里意识到，所有这些和类似的术语是与适当的物理量相关联的，并且仅仅是应用于这些量的方便的标签。除非以明显不同于下述讨论的方式专门申明，应该明白的是整个本公开中，讨论所使用的诸如“显示”、“生成”、“产生”、“计算”、“确定”、“辐射”、“发射”、“衰减”、“调制”、“传输”、“接收”或类似的术语，指的是计算机系统或类似的电子计算设备或处理器(例如图7的计算机系统710)的动作和处理(例如图1的流程图100)。所述计算机系统或类似的电子计算设备在计算机系统存储器、寄存器或其它这种信息存储、传输或显示设备内操作和变换表示物理(电子)量的数据。
本文描述的实施例可以在由一个或多个计算机或其它设备执行的、诸如程序模块的在某种形式的计算机可读存储介质存在的计算机可执行指令的一般上下文内讨论。作为非限制性示例，计算机可读存储介质可包括非暂时性计算机存储介质和通信介质；非暂时性计算机可读介质包括所有计算机可读介质，除了暂时性传播信号以外。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的路径、程序、对象、组件、数据结构等。所述程序模块的功能可以在各个实施例中按期望组合或分配。
计算机存储介质包括以任何诸如计算机可读指令、数据结构、程序模块或其它数据的信息的存储方法或技术实现的易失性的和非易失性的、可移动的和不可移动介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除ROM(EEPROM)、闪存存储器或其它存储器技术，紧致盘ROM(CD-ROM)、数字通用磁盘(DVD)或其它光学贮存器、磁带盒、磁带、磁盘存储器或其它磁性存储设备或任何其它可用于存储期望的信息并可访问以取回所述信息的介质。
通信介质可体现为计算机可执行的指令、数据结构和程序模块，并包括任何信息传递介质。作为非限制性示例，通信介质包括诸如有线网络或直接线缆连接的有线介质和诸如声波、射频(RF)、红外和其它无线介质的无线介质。上述任一的组合也包括在计算机可读介质的范围内。
近眼光场显示器允许穿戴眼镜类装置的用户观察出现在用户调节幅度内的合成图像。
如上所示，近眼光场显示器使薄的轻量级头戴显示器(HMD)能够呈现基本正确的收敛、调节、双眼视差和视网膜失焦深度线索。近眼光场显示设备位于靠近用户眼镜的位置，比用户调节幅度限定的近焦平面更近。通常，位于比近焦平面更近位置的对象显得模糊。然而，使用近眼光场显示设备显示的图像可以向观察者清晰显示。当与用户自然调节范围内的虚拟对象对应的光场被合成时，清晰图像可由近眼光场显示设备描绘。当由近眼光场显示设备显示时，仅仅显示现有的适合意欲通过常规显示设备显示的二维的单视场、立体和多视场内容不能产生清晰图像。
因此，现有的适合通过常规显示设备显示的二维单视场、立体和多视场内容应进行处理以生成图像，用于通过近眼光场显示设备显示。期望显示的现有图像可以被处理以生成包括基本图像阵列的处理的图像。每个基本图像是期望的现有图像，该期望的现有图像与在微透镜阵列内的一个微透镜对应，用户通过该微透镜观察处理的图像。当通过微透镜阵列观察处理的图像时，用户看到期望的现有图像映射到用户自然调节范围内的虚拟现实平面。当使用基于点光的近眼光场显示设备时，每个基本图像是与点光阵列内的一个点光对应的期望的现有图像的视角。用户通过编码处理的图像的透射式显示层(即，由电管阵列生成的光射线通过该显示层投影)观察点光阵列。当通过位于点光阵列前方的透射式显示层观察处理的图像时，用户看到映射到用户自然调节幅度内的虚拟显示平面的期望的现有图像。
图1示出根据一实施例，用于为近眼光场显示设备生成图像的方法100的流程图。在一实施例中，图1示出的步骤可以通过配置为执行图形着色程序的处理器实施。在步骤105，由微显示器的像素和近眼光场显示设备的光学装置限定的射线被识别。在下述描述的上下文中，微显示器是诸如LCD(液晶显示)面板的背光透射式显示器，或诸如OLED(有机发光二极管)面板或晶片的的发射式显示器。近眼光场显示设备包括微显示器。
在一实施例中，微显示器是配置为通过二维微透镜阵列观察的发射式显示器，其中每个微透镜是光学装置，其与微显示器的像素相结合可以限定步骤105的射线的。在下述描述的上下文中，微透镜阵列是包括至少两个微透镜的二维阵列。在一实施例中，近眼光场显示设备具体化为包括两个微显示器和两个微透镜阵列以形成双眼近眼光场显示设备的眼镜形状因子，其中第一微显示器和微透镜阵列组与用户的左眼相关，第二微显示器和微透镜阵列组与用户的右眼相关。
在另一实施例中，微显示器是位于观察者和二维点光阵列之间的透射式(即，可变的不透明度和颜色，能够变得基本透明)显示器，其中每个点光是光学装置。点光阵列通过微显示器观察。步骤105的射线由微显示器的像素和点光阵列中的点光限定。
在一实施例中，近眼光场显示器实施为张量显示(tensordisplay)，例如，如同由2012年7月的ACMTransactionsonGraphicsSIGGRAPH2012会议集,第31卷第4篇，Wetzstein等人的“TensorDisplays:CompressiveLightFieldSynthesisUsingMultilayerDisplayswithDirectionalBacklighting,”的描述。显示组件可以包括微显示器和光学装置，其中光学装置可以包括一个或多个微透镜，一个或多个点光、一个或多个小孔(pinholes)或者一个或多个包括在张量显示组件中的透射式层。
在步骤110，该射线与二维虚拟显示平面相交以生成与该像素对应的映射坐标。在本说明书的上下文中，虚拟显示平面是在观察者近焦平面或后方显示的虚拟平面。在一实施例中，虚拟显示平面在远离出现在观察者焦点之外的对象的远端平面之前。
在步骤115中，基于映射坐标计算像素的颜色。在一实施例中，映射坐标对应于存储现有图像的纹理图。在一实施例中，存储为纹理图的现有图像可以预处理以生成抗锯齿图像的像素颜色。在本说明书的上下文中，可以为微显示器的每个像素计算颜色以处理用于通过近眼光场显示设备显示的现有图像。当现有图像是现有立体图像对中的一个图像时，用于另一眼镜(左眼或右眼)的现有图像可以被处理以生成对应左眼或右眼用于由近眼光场显示设备显示的图像。所生成的立体图像对可以同时由近眼光场显示设备的用户观察以生成在虚拟显示平面上呈现为三维的虚拟图像。因而，现有立体图像对的三维品质也存在于虚拟图像中。
现在提出，每个用户期望的前述框架实施所使用或不使用的各种任选架构和特征相关的更多阐释性信息。应重点注意的是提出下述信息是出于阐释性目的并且不应视为任何方式的限制。任何下述特征可以包括在或不排除其它描述的特征。
图2A示出根据一实施例的近眼光场显示设备200和观察者的眼镜205。在一实施例中，眼睛盒(eyebox)206限定眼镜205的特征，例如瞳孔的预期直径、方位(即，转动)和位置。图2A中示出的眼睛盒206的宽度为we。眼睛205和近焦平面220之间的对象太近以致于不能清除看到，因为眼睛205不能聚焦在比近焦平面220还靠近眼睛205的对象上。眼睛205能够聚焦在近焦平面220上或之后(即，进一步远离)的对象上。非常远的对象也不能清楚呈现，称为调节幅度的、在其中的对象可以清楚呈现的范围由近焦平面220和离开近焦平面220的距离等于调节幅度的远平面(未示出)界定。由于常规眼镜位于比近焦平面220靠近眼睛205的位置，因此显示在常规眼镜的表面上的图像对于观察者会不清楚。类似地，由微显示器250显示的现有图像对于观察者会不清楚。
微显示器250与微透镜阵列255分离的距离为dl。微透镜阵列255位于与眼睛间隙距离对应的距离de的位置。由微显示器250显示微显示图像呈现给观察者以映射至位于距离眼睛205虚拟显示距离dv位置的虚拟显示平面210。微显示图像可从现有图像生成。对于每个眼睛205，距离dv可以不同，以允许观察者光学像差(即，眼镜处方)的矫正。虚拟显示平面210的宽度为wv，且微显示器250的宽度为ws。
通常三维场景会被渲染以生成二维(2D)图像，以用于由微显示器250显示。由微显示器250显示的微显示图像包括与微透镜阵列255中每个微透镜的视角对应的基本图像。例如，一微显示图像在与微透镜253对应的基本图像区域225显示。基本图像区域225是具有宽度Δws的二维区域，并且按眼睛205的瞳孔通过微透镜253的投射与微显示器250的相交限定。每个基本图像区域和对应的微透镜(例如，基本图像区域225和微透镜253)用作独立镜头的有限放大镜(independentlens-limitedmagnifier)，以合成位于离眼睛205距离dv位置的(即，早虚拟显示平面210)虚拟图像的离轴透视投射。如图3B所示部分虚拟图像跨越不同基本图像区域重复。
渲染3D场景以生成用于由微显示器250显示的微显示图像需要渲染包括在微显示图像内的每一基本图像。与此相反，用于通过常规显示设备显示时仅单个图像被渲染。在某些情形中，3D场景并不可被渲染，例如用于包括常规2D图像的现有内容。然而，意欲用于通过常规显示设备显示的现有内容可用被处理以通过微显示器250显示。特别地，现有立体图像对广泛可用于3D电视，并且现有立体图像对可以被处理以通过微显示器250显示。
图2B示出根据一实施例的双眼近眼光场显示设备260。双眼近眼光场显示设备260包括与左微透镜阵列256成对的左微显示器251和与右微透镜阵列257成对的右微显示器252。左微显示器251和右微显示器252分离距离bs，该距离bs从左微显示器251的右边缘至右微显示器252的左边缘测量。观察者左右眼睛瞳孔中心之间的瞳孔距离是be。近眼光场显示设备260在位于观察者距离dv的位置(即，在虚拟显示平面210)仿真常规立体显示的呈现。在一实施例中，be是固定的，诸如两眼间距离的平均距离而不是动态取样的瞳孔距离。
观察者通过近眼光场显示设备260的观看会感到在虚拟图像平面210的矩形虚拟显示表面，其是与现有立体图像对的左右眼视角对应的纹理贴图。因此，现有立体图像对的一对纹理贴图(texturemaps)被存储。左右眼观察角度(eyefrustums)由图2B中的虚线表示。对于单视场现有图像，仅一个现有图像存储为纹理贴图，该纹理贴图用于确定左微显示器251和右微显示器252二者的像素颜色。现有图像作为纹理被映射到虚拟显示平面210上以生成虚拟图像。在虚拟显示平面210上的虚拟图像的每个像素对应于由现有图像限定的颜色。虚拟图像随后用于计算左微显示器251和右微显示器252的每个像素的颜色。简单说，微显示器上像素的颜色通过投射从微显示器上像素至虚拟显示平面210相交的射线以及接着使用在相交点的一个或多个虚拟图像样本计算微显示器上像素的颜色。
表1中示出的伪代码可以包括在顶点着色程序中以将现有图像映射至虚拟显示平面210。
表1
渲染近眼光场显示设备260的图像需要指定左微显示器251和右微显示器252的每个像素的颜色，以便在虚拟显示平面210发出近似虚拟图像的光场。虚拟图像可以包括对象，例如相对虚拟显示平面210在不同深度呈现的虚拟对象230。对于与左微显示器251的中心215距离为xs的像素，可以采用射线追踪以计算颜色。虚拟对象230按现有立体图像对所意欲的在虚拟显示平面210之前呈现位移。在3D场景已经被渲染以生成现有立体图像对之后，虚拟对象230的深度不是轻易可用的，但是当微显示立体图像对生成用于现有立体图像对时意欲的位移被大体上保留。
对于观察者左眼，通过具有光学中心的左微透镜阵列256像素是可视的，该光学中心与左微显示器251的中心215横向偏移的距离为xl。任何光学射线是由微显示器上的像素点以及相交的微透镜的光学中心处的点所限定的。如图2B所示，微透镜中心和像素的3D坐标限定光学射线235。注意，以术语坐标x描述的距离和对应的距离还可以以术语坐标y坐标限定，以生成相对左微显示器251上的参考点的距离yl和ys。
表2中示出的伪代码可以包括在片段着色程序中以限定图2A所示的尺寸和其他作为通用变量的系统参数。
表2
可以基于微显示器方位和尺寸估算位移xs用于具有纹理贴图坐标(s,t)的纹理元素。表3示出的伪代码可以包括在片段着色程序中以计算像素相对微显示器上的参考点xs的位移(微显示坐标系)。
表3
对应微透镜的光学中心的位置xl,，可以基于微透镜阵列的方位和位移xs估算。表4示出的伪代码可以包括在片段着色程序中以计算对应微透镜的光学中心的位置xl,(微显示坐标系)。
表4
接着，光学射线235和虚拟显示平面210(即，虚拟图像)相交点的水平坐标或位移xv可以按以下计算：
x v = x l + ( d v - d e d l ) ( x s - x s ) - o v .
光学射线235和虚拟显示平面210相交点的垂直坐标可以类似地计算。在其它实施例中，微显示器251上不同于中心215的参考位置可以用于确定距离xs、xl、ov和xv。
表5中示出的伪代码可以包括在片段着色程序中以xv(屏幕坐标系)。
表5
像素的颜色，gl_FragColor可以通过将屏幕坐标(xv,yv)转变为纹理贴图坐标(s,t)来计算。因为当一部分虚拟图像通过外部微透镜可视时，伪迹(artifacts)产生，当微透镜排除边界的布尔变量是真时在虚拟显示平面210之外的像素设置至返回。
表6
射线跟踪提供对左微显示器251的像素颜色的直接估算。投射一组由位于基本图像区域内与微透镜对应的每个像素限定的射线提供对基本图像区域内的每个像素的颜色的估算。投射与微透镜对应的每个基本图像区域的射线组提供对左微显示器251的微显示图像和右微显示器252的微显示图像中的每个像素的颜色的估算。
图2C示出根据一实施例的双眼近眼光场显示设备280。与图2B所示的、使用透镜(例如，左微透镜阵列256和右微透镜阵列257中的透镜)作为位于观察者和发射式微显示器(例如，左微显示器251和右微显示器252)之间的光学装置的近眼光显示设备260相比，近眼光场显示设备280使用相对观察者位于透射式微显示器之后的点光阵列的点光。双眼近眼光场显示设备260包括与左点光阵列276成对的左微显示器271和与右点光阵列277成对的右微显示器272。
左微显示器271和右微显示器272分离距离bs，该距离bs从左微显示器251的右边缘至右微显示器252的左边缘测量。观察者左右眼睛瞳孔中心之间的瞳孔距离是be。近眼光场显示设备280在位于观察者距离dv的位置(即，在虚拟显示平面210)仿真常规立体显示的呈现。在一实施例中，be是固定的，诸如两眼间距离的平均距离而不是动态取样的瞳孔距离。
观察者通过近眼光场显示设备280的观看会感到在虚拟图像平面210的矩形虚拟显示表面，其是与现有立体图像对的左右眼视角对应的纹理贴图。因此，现有立体图像对的一对纹理贴图被存储。在其它实施例中，虚拟显示表面可以是不同的形状而不必是矩形。左右眼观察角度(eyefrustums)由图2C中的虚线表示。对于单视场现有图像，仅一个现有图像存储为纹理贴图，该纹理贴图用于确定左微显示器271和右微显示器272二者的像素颜色。现有图像在虚拟显示平面210上按纹理贴图以生成虚拟图像。在虚拟显示平面210上的虚拟图像的每个像素对应于由现有图像限定的颜色。虚拟图像随后用于计算左微显示器271和右微显示器272的每个像素的颜色。简单说，微显示器上像素的颜色通过投射从微显示器上像素至虚拟显示平面210相交的射线以及接着使用在相交点的一个或多个虚拟图像样本计算微显示器上像素的颜色计算。
如前述结合图2B的说明，表1中示出的伪代码可以包括在顶点着色程序中以将现有图像贴图在虚拟显示平面210上。渲染近眼光场显示设备280的图像需要指定左微显示器271和右微显示器272的每个像素的颜色，以便在虚拟显示平面210发出近似虚拟图像的光场。虚拟图像可以包括对象，例如相对虚拟显示平面210在不同深度呈现的虚拟对象230。对于与左微显示器271的中心275距离为xs的像素，可以采用射线追踪以计算颜色。虚拟对象230按现有立体图像对的意欲在虚拟显示平面210之前呈现位移。在3D场景已经被渲染以生成现有立体图像对之后，虚拟对象230的深度不是轻易地可用的，但是当微显示立体图像对生成用于现有立体图像对时意欲的位移被大体保留。
对于观察者左眼，在具有光学中心的左微显示器像素是可视的，该光学中心与左微显示器271的中心275横向偏移的距离为xl。任何光学射线由微显示器上的像素点和在光学中心对应的点光阵列中的点光相交的光点。如图2C所示，相交的点光中心和像素的3D坐标限定光学射线285。注意，以术语坐标x描述的距离和对应的距离还可以以术语坐标y坐标限定，以生成相对左微显示器271上的参考点的距离yl和ys。
可以基于微显示器方向和尺寸估算位移xs用于具有纹理贴图坐标(s,t)的纹理元素。对应点光的光学中心的位置xl,，可以基于点光阵列的方向和位移xs估算。接着，光学射线285和虚拟显示平面210(即。虚拟图像)相交点的水平坐标或位移xv可以按以下计算：
x v = x l + ( d v - d e d l ) ( x s - x s ) - o v .
光学射线285和虚拟显示平面210相交点的垂直坐标可以类似地计算。在其它实施例中，微显示器271上不同于中心275的参考位置可以用于确定距离xs、xl、ov和xv。
片段着色程度可以配置以计算像素相对微显示器参考点的位移xl(微显示器坐标系)、对应的点光的光学中心xs(点光坐标系)和水平坐标xv(屏幕坐标系)。
像素的颜色，gl_FragColor可以通过将屏幕坐标(xv,yv)转变为纹理贴图坐标(s,t)来计算。射线跟踪供左微显示器271的像素颜色的直接估算。投射一组由位于基本图像区域内与点光对应的每个像素限定的射线提供基本图像区域内的每个像素的颜色的估算。投射与点光对应的每个基本图像区域的射线组提供左微显示器271的微显示图像和右微显示器272的微显示图像中的每个像素的颜色的估算。
图3A示出根据一实施例的用于由近眼光场显示设备显示的现有图像300。现有图像300被存储为用于计算微显示图像每个像素颜色纹理图(例如视图纹理(viewTexture))。
图3B示出根据一实施例的包括与微透镜阵列255的每个微透镜对应的基本图像的微显示图像310。微显示图像310可以由微显示器250、微显示器251和或微显示器252显示。
图3C示出根据一实施例的通过微透镜阵列255观察的图3B的微显示图像310的虚拟图像320。当通过微透镜阵列255观察微显示器250时，在虚拟显示平面210上生成与现有图像300对应的虚拟图像320。
图3D示出根据一实施例的生成的不抗锯齿基本图像330和生成的抗锯齿基本图像340。现有图像300可以在微显示图像310生成之前被处理以生成抗锯齿基本图像。当坑锯齿基本图像包括在微显示图像310时，在虚拟显示平面210上生成抗锯齿虚拟图像。
在一实施例中，立体图像对被假定相对近眼光场显示设备260的分辨率过采样。低通滤波长度可以由按通过投射到虚拟显示平面210而放大的微显示器的像素大小确定，参数可以按如下计算：
p ^ v = M p W v = ( d v - d e d l ) ( p w v ) ,
其中长度用标准纹理坐标单元表达，M对应于放大因子，并且p是表示接近本文进一步描述的当前被处理像素p0的像素位置的标准纹理坐标。
表7中示出的伪代码可以包括在片段着色程序中以执行抗锯齿处理。变量抗锯齿长度是参数如表7中伪代码所示，在执行片段着色程序器件p0最后被指定新的颜色。邻近像素的位置存储在临时变量p中，并且随后邻近像素的颜色被平均以确定指定给p0的颜色。尽管表7中的伪代码出于效率实施普遍选择的分离滤波器，本领域技术人员会认识到包括非分离滤波器的其他滤波器也是可能的。
表7
图3E示出根据一实施例的用于通过近眼光场显示设备显示的待处理现有图像350。茶壶的图案包括红、绿和蓝交替的对角线条纹(图像以灰度示出)。
图3F示出根据一实施例，当点光为六边形形成并且布置为六边形阵列时，包括与点光阵列276或277中的每个点光对应的基本图像的红色通道的微显示图像310。微显示图像360可以通过微显示器271和/或微显示器272显示。在其它实施例汇总，点光可以具有不同的形状，比如正方形、矩形或圆形。
图4示出根据一实施例的并行处理单元(PPU)400。在一实施例中，并行处理单元400为在一个或多个集成电路设备上实施的多线程处理器。PPU400是设计为并行处理大量线程的潜伏隐藏体系架构(latencyhidingarchitecture)。线程(即，执行线程)是一组配置为由PPU400执行的指令的实例化。在一实施例中，PPU400是图形处理单元(GPU)，其配置为实施用于处理三维(3D)图形数据以生成用于在诸如液晶显示(LCD)设备的显示设备上显示的二维(2D)图像的图形渲染管线。在其它实施例中，PPU400可以用于执行通用计算。尽管本文出于示意性目的提供一个并行处理器，应当重点注意提出这种处理器仅是示意性的，并且可以采用任何处理器来补充和/或替代该处理器。
如图4所示，PPU400输入/输出(I/O)单元405，主机接口单元410、前端单元415、调度单元420、工作分配单元425、集线器430、交叉口闩仲载逻辑单元(Xbar)670、一个或多个通用处理簇(GPCs)450以及一个或多个分区单元480。PPU400可以通过系统总线402连接至主机处理器或其他外部设备。PPU400还可以连接至包括多个存储设备404的本地存储器。在一实施例中，本地存储器可以包括多个动态随机存取存储区(DRAM)设备。
I/O单元405配置为通过系统总线402传送和接收来自主机处理器(未示出)的同喜(即，命令、数据等)。I/O单元405可以与主机处理器直接通过系统总线402通信或者通过一个或多个诸如存储器桥的中间设备通信。在一实施例中，I/O单元405实施用于在PCIe总线上通信的串行总线(PCIe)接口。在可选的实施方式中，I/O单元405利用实施其他类型的熟知的用于与外部设备通信的接口。
I/O单元405耦合至解码通过系统总线402接收的数据包的主机接口单元410。在一实施中，数据包表示配置导致PPU400执行各种操作的命令。主机接口单元410按命令指定向PPU的各种其他单元传输解码的命令。例如，一些命令可以传输至前端单元415。其他命令可以传输至集线器430或PPU400的其他单元，例如一个或多个复制引擎、视频编码器、视频解码器、电源管理单元等(未明确示出)。换句话说，主机接口单元410配置为路由PPU400的各种逻辑单元之间和之中的通信。
在一实施例中，由主机处理器执行的程序在缓冲区中编码向PPU400提供用于处理的工作量的命令流。工作量可以包括许多指令和由那些指令处理的数据。缓存区是存储器中的由主机处理器和PPU400访问的区域(即，读/写)。例如，主机接口单元410可以配置为经由通过I/O单元405在系统总线402上传输的存储器请求访问连接至系统总线402的系统存储器中的缓冲区。在一实施例中，主机处理器向缓冲区写入命令流并且随后向PPU4传输命令流开始的指针。主机接口单元410向前端单元415提供一个或多个具有指针的命令流。前端单元415管理一个或多个流，读取来自流的命令，并且将命令转发至PPU400的各个单元。
前端单元415耦合至配置各个GPCs450以处理由一个或多个流限定的任务的调度单元420。调度单元420配置为跟踪与由调度单元420管理的各种任务相关的状态信息。该状态指示任务被指派至的GPC450、任务是否活动或暂停、与任务相关联的优先权水平以及等等。调度单元420管理多个一个或多个GPCs450上的任务的执行。
调度单元420耦合至配置为分派在GPCs450上执行的任务的工作分配单元425。工作分配单元425可以跟踪多个从调度单元420接收的调度任务。在一实施例中，工作分配单元425管理每个GPC450的挂起任务池和活动任务池。挂起任务池可以包括多个包含指定由特定GPC450处理的任务的插槽(slot)(例如，16个插槽)。活动任务池可以包括多个包含活动地正由GPCs450处理的任务的插槽(例如4个插槽)。随着GPCs450完成任务的执行，该任务从GPC450的活动任务池驱逐出，并且来自挂起任务池的其他任务被选择并调度以在GPC450上执行。如果活动任务已经在GPC450上空闲，例如当等待要分析的数据依赖性，接着活动任务从GPC450驱出并返回至挂起任务池，而挂起任务池的另一任务被选择并调度以在GPC450上执行。
工作分配单元425通过XBar470与一个或多个GPCs450通信。XBar470是将PPU400的许多单元耦合PPU400的另一单元的互连网络。例如，XBar470可以配置为将工作分配单元425耦合至特定GPC450。尽管未明确示出，一个或多个PPU400的其他单元耦合至主机单元410。另一些单元还可通过集线器430耦合至XBar470。
任务由调度单元420管理并由工作分配单元425分派至GPC450。GPC450配置为处理任务以及生成结果。结果可以由GPC450内的其他任务使用，通过XBar470路由至不同的GPC450或存储在存储器404中。该结果可以通过分区单元480写入到不同的存储器404，分区单元480实现用于从存储器404读取数据和向存储器404写入数据的存储器接口。在一实施例中，PPU400包括多个分区单元480，其与耦合至PPU400的分离且不同的存储设备404的数量相等。分区单元480会结合图5B更详细地描述。
在一实施例中，主机处理器执行实施应用程序接口(API)的驱动内核，应用程序接口(API)使一个或多个主机处理器上执行的应用程序能够调度操作用于在PPU400上执行。应用可以生成导致驱动内核生成一个或多个由PPU执行的任务的指令(即，API调用)。驱动内核向由PPU400处理的一个或多个流输出任务。每个任务可以包括一组或多组相关的线程，本文称为线程粒度(warp)。线程块可以指代多组包括执行任务的指令的线程。相同线程组中的线程通过共享存储器来交换数据。在一实施例中，一组线程包括32个相关的线程。
图5A示出根据一实施例的图4的PPU400的GPC450。如图5A所示，每个GPC450包括多个用于处理任务的硬件单元。在一实施例中，每个GPC450包括管线管理器510、预光栅操作单元(PROP)515、光栅引擎525，工作分配交叉口闩(WDX)580，存储器管理单元(MMU)590，以及一个或多个纹理处理簇(TPCs)520。应该明白的是，图5A的GPC450可以包括代替图5A中示出的单元或除了图5A中示出的单元之外的其它硬件单元的其它硬件单元。
在一实施例中，GPC450的操作通过管线管理器510控制。管线管理器510管理一个或多个TPCs520的配置以处理分配至GPC450的任务。在一实施例中，管线管理器510可以配置一个或多个TPCs520中的至少一个以实施至少一部分的图形渲染管线。例如，TPCs520可以配置为在可编程流式多处理器(SM)540上执行顶点渲染程序。管线管理器510还可以配置为将从工作分配单元425接收的数据包路由至GPC450中的合适的逻辑单元。例如，一些数据包可以被路由至PROP515和/光栅引擎525中的或固定功能硬件单元，而其他数据包可以被路由至TPCs520以由图元(primitive)引擎535或SM540处理。
PROP单元515配置为将光栅引擎525和TPCs520生成的数据路由至分区单元480中的光栅操作(ROP)单元，这在下文详细描述。PROP单元515还可以配置为执行颜色混合的优化、组织像素数据、执行地址翻译D等等。
光栅引擎525包括多个配置为执行各种光栅操作的固定功能的硬件单元。在一实施例中，光栅引擎525包括设置引擎(setupengine)、过程光栅引擎(courserasterengine)选择引擎、挑选引擎(cullingengine)、裁剪引擎、细光栅引擎(finerasterengine)以及砖块合并引擎。设置引擎接收转变的顶点并且生成与由顶点限定的几何图元相关的平面方程。平面方程传输至粗光栅引擎以生成图元的覆盖信息(例如，砖块的x、y覆盖掩蔽(coveragemask))。粗光栅引擎的输出可以传输在至挑选引擎，其中与Z-测试失败的图元相关的片段被挑选，并传输至裁剪引擎，其中位于视锤外的片段被裁剪。那些经过裁剪和挑选后保留下的片段可以传到细光栅引擎，以基于由设置引擎生成的平面方程生成像素片段的属性。光栅引擎580的输出包括例如将由在TPC520内实施的片段着色器处理的片段。
包括在GPC450中的每个TPC520包括M管控制器(MPC)530、图元引擎535、SM540和一个或多个纹理单元545。MPC530控制TPC520的操作，将管线控制器510接收的数据包路由至TPC520中的操作单元发生。例如，与顶点相关的数据包可被路由至图元引擎535，图元引擎535配置为获取与来自存储器404的顶点相关的顶点属性。相反，与着色程序相关的数据包可以传输至SM540。
在一实施例中，纹理单元545配置为从存储器404加载纹理贴图(例如，2D纹理阵列)，并采样纹理贴图以生成采样的纹理值，以用于在由SM540执行的着色程序中使用。纹理单元545实施纹理操作，例如，使用MIP映射(mip-maps)(即，可变水平细节的纹理贴图)的过滤操作。在一实施例中，每个TPC520包括四个(4)纹理单元545。
SM540包括配置为处理由多线程表示的任务的可编程流失处理器。每个SM540为多线程并且配置为同时执行来自特定线程组的多个线程(例如，32线程)。在一实施例中，SM540实施SIMD(单指令、多数据)体系架构，其中线程组(即，线程粒度)中的每个线程配置为基于相同一组指令处理不同组数据。在线程组中的所有线程执行相同的指令。在另一实施例中，SM540实施SIMT(单指令、多线程)体系架构，其中线程组中的每个线程配置为基于相同一组指令处理不同组的数据，但是在执行期间线程组中的个别线程允许偏离。换言之，当线程组的指令分派以执行时，线程组中的一些线程可以是活动的，因而执行该指令，而线程组中的其它线程可以是不活动的，因而执行空操作(NOP)代替执行指令。SM540可以在以下结合图6A更详细地描述。
MMU590提供GPC450和分区单元480之间的接口。MMU590可以提供虚拟地址到物理地址的翻译、存储器保护和存储器请求仲裁。在一实施例中，MMU590提供一个或多个翻译后备缓冲器(TLBs)用于改善存储器404中虚拟地址到物理地址的翻译。
图5B示出根据一实施例的图4的PPU400的分区单元480。如图5B所示，分区单元480包括光栅操作(ROP)单元550、水平2(L2)缓冲器560、存储器接口570和L2交叉口闩(XBar)565。存储器接口570耦合至存储器404。存储器接口570可以实施16、32、64、128位数据总线或类似的，用于高速数据传输。在一实施例中，PPU400包括U存储器接口570，每个分区单元480的一个存储器接口570，其中每个分区单元480可以连接至对应的存储器设备404。例如，PPU400可以连接至多达U存储器设备404，例如图形双倍数据率版本5、同步动态随机存取存储器(GDDR5，SDRAM)。在一实施例中，存储器接口570实施DRAM接口并且U＝6。
在一实施例中，PPU400实施多水平存储器分级体系。存储器404位于耦合至PPU400的SDRAM的芯片外。来自存储器404的数据可以被提取并存储在L2缓冲器560中，L2缓冲器560位于芯片上并且在各个GPCs450之间共享。如所示的，每个分区单元480包括一部分与对应的存储设备404相关的L2缓冲器560。低水平缓冲器可以接着在GPCs450中的各个单元内实施。例如，每个SM540可以实施水平(L1)缓冲器。L1缓冲器是专用于特定SM540的私有存储器。来自L2缓冲器560的数据可以被提取病存储在每个L1缓冲器中用于在SM540的功能单元中处理。L2缓冲器560耦合至存储器接口570和XBar470。
ROP单元550包括ROP管理器355、颜色ROP(CROP)单元552和ZROP(ZROP)单元554。CROP单元552执行与像素颜色相关的光栅操作，例如颜色压缩、像素混合等等。ZROP单元554协同光栅引擎525实施深度测试。ZROP单元554接收与来自光栅引擎525的选择引擎的像素片段相关的采样位置的深度。ZROP单元554针对与片段相关的采样位置的深度缓冲器中的对应深度测试深度。如果片段通过针对采样位置的深度测试，则ZROP单元554更新深度缓冲器并向光栅引擎525传输深度测试的结果。ROP管理器355控制ROP单元550的操作。应该明白，分区单元480的数量可以与GPCs450的数量不同，并且因此每个ROP单元550可以耦合至GPCs450中的每一个。因此，ROP管理器355追踪从不同GPC450接收的数据包，并确定由ROP单元550生成的结果被路由至哪个GPC450。CROP单元552和ZROP单元554通过L2XBar565耦合至L2缓冲器560。
图6A示出根据一实施例的图5A的流式多处理器540。如图6A中所示，SM540包括指令缓冲器605、一个或多个调度单元610、寄存器文件620、一个或多个处理核650、一个或多个专门功能单元(SFUs)652、一个或多个加载/存储(LSUs)单元654、互联网络680和共享存储器/L1缓冲器670。
如上描述的，工作分配单元425分派用于在PPU400的GPC450上执行的任务。该任务分配至GPC450内的特定TPC520，并且如果该任务与着色程序相关联，则该任务可以被分配至SM540。调度单元610接收来自工作分配单元425的任务，并管理分配至SM540的一组或多组线程的指令调度。调度单元610调度在并行线程组中执行的线程，其中每组称为线程粒度。在一实施例中，每个线程粒度包括32线程。在每个时钟周期期间，调度单元610可以管理多个不同线程粒度，调度执行的线程粒度并接着将来自多个不同线程粒度的指令分配至各个功能单元(即，核650、SFUs652和LSUs654)。
在一实施例中，每个调度单元610包括一个或多个指令分配单元615。每个分配单元615配置为向一个或多个功能单元传输指令。在图6A所示的实施例中，调度单元610包括能够在每个时钟周期使两个来自相同线程粒度的指令被分派的两个分派单元615。在可选实施例中，每个调度单元610可以包括单个分派单元615或附加的分派单元615。
每个SM540包括寄存器文件620，其为SM540的每个功能单元提供一组寄存器。在一实施例中，寄存器文件620在每个功能单元之间划分以便每个功能单元被分配寄存器文件620的专用部分。在另一实施例中，寄存器文件620在由SM540执行的不同线程粒度之间划分。寄存器文件620提供与功能单元的数据通路连接的操作数的临时存储。
每个SM540包括L个处理核450。在一实施例中，SM640包括大量(例如，192等)不同处理核450。每个核450可以包括完整流水线、包括浮点运算逻辑单元和整数运算逻辑单元的单精度处理单元。核450还可以包括包含浮点运算逻辑单元的双精度处理单元。在一实施例中，浮点运算逻辑单元实施IEEE754-4008标准的浮点运算。每个SM540还包括执行专门功能(例如，像素混合操作等等)的M个SFUS652以及实施加载和存储共享的存储器/L1缓冲器670和寄存器文件620之间的操作的N个LSUs654。在一实施例中，SM540包括192个核650、32个SFUs652和32个LSUs654。
每个SM540包括互联网络680，其将每个功能单元连接至寄存器文件620和共享的存储器/L1缓冲器670。在一实施例中，互联网络680是交叉口闩，其被配置为将任何功能单元连接至寄存器文件620中的任何寄存器或共享存储器/L1缓冲器670中的存储位置。
共享存储器/L1缓冲其670是芯片上的存储器阵列，在一实施例例中，可以按应用要求配置为共享存储器或L1缓冲器，或者二者的组合。例如，共享存储器/L1缓冲器670可以包括64kB的存储容量。共享存储器/L1缓冲器670可以配置为64kB的共享存储器或者L1缓冲器，或者二者的组合，例如16kB的L1缓冲器和48kB的共享存储器。
上述描述的PPU400配置为比常规CPU更快地执行高度并行计算。并行计算在图形处理、数据压缩、生物统计学、流式处理算法等等中具有优势。
在一实施例中，PPU400包括图形处理单元(GPU)。PPU400配置为接收指定用于处理图形数据的着色程序的命令。图形数据可以限定为一组诸如点、线、三角形、四边形、三角形带等等的图元。通常，图元包括指定许多图元的顶点(例如，在模型空间坐标系统)以及与每个图元顶点相关的属性的数据。PPU400可以配置为处理图形图元以生成帧缓冲(即，每个显示像素的像素数据)。
应用向诸如系统存储器或存储器404的存储器写入场景的模型数据(即，顶点和属性的集合)。模型数据限定每个在显示器上可视的对象。应用接着对请求模型数据被渲染和显示的驱动内核进行API调用。驱动内核读取模型数据并向一个或多个执行操作的流写入命令以处理数据。命令可以引用不同的要在PPU400的SM540上实施的包括一个或多个顶点着色、外壳着色、域着色、几何着色和像素着色的着色程序。在一实施例中，一个或多个SM540可以配置为执行处理多个由模型数据限定的顶点的顶点着色程序。在一实施例中，不同的SM540可以配置为同时执行不同的着色程序。例如，第一子组SM540可以配置为执行顶点着色程序，而第二子组SM540可以配置为执行像素着色程序。第一子组SM540处理顶点数据一生成处理过的顶点数据并且该处理过的顶点数据写入L2高速缓存器560和/或存储器404。在处理过得顶点数据栅格化以生成片段数据后，第二子组SM540执行像素着色程序以生成处理过的片段数据，该处理过的片段数据接着与其它处理过的片段数据的混合并被写入存储器404中的帧缓冲。顶点着色程序和像素着色程序可以同时执行，以用流水线方式处理来自相同场景的不同数据直至场景的所有模型数据被渲染至帧缓冲。接着，帧缓冲的内容被传输至显示控制器用于在显示设备上显示。
PPU400可以包括在桌面计算机、笔记本电脑、平板电脑、智能手机(例如，无线手持设备)、个人数字助手(PDA)、数码相机、掌上电子设备等等中。在一实施例中，PPU400体现为单个半导体衬底。在另一实施例中，PPU400与一个或多个其它逻辑单元一同包括在片上系统(SoC)中，例如精简指令级(RISC)CPU、存储器管理单元(MMU)、数字模拟转换器(DAC)等等。
在一实施例中，PPU400可以包括在包括一个或多个诸如GDDR5SDRAM的存储设备404的图形卡内。图形卡可以配置为与桌面计算机的包括例如北桥芯片组和南桥芯片组的主板上的PCIe插槽连接。在又一实施例中，PPU400可以为包括在主板的芯片组(即，北桥)中的集成的图形处理单元(iGPU)。
本发明描述渲染近眼光场—一组由光场发出的射线靠近眼睛显示的方法。该方法允许更多常规图像源用于决定每个射线的颜色，而不是使用强力射线跟踪。图像源可以是单视场(即，正常2D图像)或立体(每个眼睛一幅图像、用于校正的双眼透视渲染)或者多视场，其中多个视角被渲染用于一组不同的视角位置和相机方位。多视场数据是由多视角3D电视所使用的数据格式，但也可以涵盖其他格式，例如由类似的应用提供的多重全景图像。给定源图像如何生成的知识以及具体近眼光场显示设备的配置，各种不同数据格式的源图像组可以用于估算射线的颜色。
图6B示出根据一实施例的用于生成图2A、2B和2C的近眼光场显示设备200或260的图像的方法625的流程图。尽管方法625在由处理器执行的程序的上下文中描述，方法625还可以由定制电路或定制电路和程序的组合执行。
在步骤630中，接收现有图像。现有图像可以是单独的二维图像、立体图像对或多视场图像组。当使用人眼跟踪时，可以为每个眼睛选择多视场图像组中最近匹配源图像。在一实施例中，多视场图像组的两个或多个源图像可以被插值以生成匹配的源图像。在步骤635中，当抗锯齿使能时，现有图像被处理。在一实施例中，现有图像使用低通滤波长度过滤。当抗锯齿失效时，步骤635可以略去。在步骤640，处理过的现有图像存储为纹理贴图。
在步骤645中，与一个现有图像对应的纹理贴图的纹理元素被贴图到微显示器250、左微显示器251或右微显示器252上的像素。当纹理贴图对应单独的二维图像时，纹理元素被贴图至左微显示器251上的像素和右微显示器252上的像素。当纹理贴图对应立体图像对的左眼图像时，纹理元素被贴图到左微显示器251上的像素。当纹理贴图对应立体图像对的右眼图像时，纹理元素被贴图到右微显示器252上的像素。步骤645至672(视为步骤685)可以并行执行以处理左微显示器251和右微显示器252上的多个像素。例如，每个线程可以接收纹理元素的坐标并且可以将纹理元素坐标映射到左微显示器251或右微显示器252的坐标。
在步骤655中，与微显示器(例如，分别的微显示器250、左微显示器251、右微显示器252、左微显示器271或右微显示器272)上的像素对应的光学装置(例如，微透镜阵列255、左微透镜阵列256、右微透镜阵列257中的微透镜、左点光阵列276中的点光或右点光阵列277中的点光)被识别。在步骤660中，由像素和光学装置限定的射线被识别。例如，当光学装置时微透镜阵列时，射线由像素的位置(x、y、z)和微透镜的光学中心的位置(x、y、z)限定。当光学装置是点光阵列时，射线由像素的位置(x、y、z)和点光的中心的位置(x、y、z)限定。在步骤665中，射线与二维虚拟显示平面210相交以生成与像素对应的纹理贴图坐标。在步骤672中，基于纹理贴图坐标计算像素的颜色。多纹理元素(例如，彩色采样)可以从纹理贴图中读取并结合(即，过滤)以计算像素的颜色。当步骤645至672并行执行时，每个线程计算左微显示器251或右微显示器252的颜色。
在步骤675中，计算的像素的颜色被存储以生成至少一个微显示图像。该颜色可以存储在存储器内用于微显示图像的数据结构(例如，帧缓存)中。左微显示器251的像素颜色限定左微显示图像，右微显示器252的像素颜色限定右微显示图像。在步骤682中，着色程序确定另一现有图像是否应被处理，并且如果不，则着色程序终止。另外的，可以重复步骤685以生成一个或多个附加的微显示图像。
图7为能实现本公开实施例的计算系统710的示例的框图。计算系统710广泛地表示任何能够执行计算机可读指令的单处理器或多处理器计算设备或系统。计算系统710的示例包括但不限于工作站、笔记本电脑、客户端终端、服务器、分布式计算系统、嵌入式设备、汽车计算设备、掌上设备(例如移动电话、平板计算机、数码相机等)、穿戴设备(例如，头戴或腰穿设备)或任何其它计算系统或设备。在其最基本的配置中，计算系统710可以包括至少一个处理器714和系统存储器716。
处理器714一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。在特定实施例中，处理器714可以接收来自软件应用或模块的指令。这些指令可以导致处理器714完成本文描述和/或示出的一个或多个示例实施例的功能。
系统存储器716一般表示任何类型或形式的能够存储数据和/或其他计算机可读指令的易失或非易失存储设备或介质。系统存储器716的示例包括但不限于RAM、ROM、闪存存储器或任何其它合适的存储设备。尽管不是需要的，在特定实施例中计算系统710可以包括易失存储单元(诸如，例如系统存储器716)和非易失存储设备(诸如，例如主存储设备732)二者。
除了处理器714和系统存储器爱716，计算系统710还可以包括一个或多个组件和元件。例如，在图7的实施例中。计算系统710包括内存控制器718、输入/输出(I/O)控制器720和通信接口722，其中每个均可以通过通信基础设施712互连。通信基础设施712一般表示任何类型或形式的能够促进计算设备的一个或多个组件之间的通信的基础设施。通信基础设施712的示例包括但不限于通信总线(诸如工业标准架构(ISA)、外部设备互联(PCI)、串行总线(PCIe)或类似总线和网络。
内存控制器718一般表示任何类型或形式的能够处理内存或数据或者控制计算系统710的一个或多个组件之间的通信的设备。例如，内存控制器718可以通过通信基础设施712控制处理器714、系统存储器716和I/O控制器720之间的通信。
I/O控制器720一般表示任何类型或形式的能够协调和/或控制计算设备的输入和输出功能的模块。例如，I/O控制器720可以控制或辅助一个或多个计算系统710的元件之间的数据传输，例如处理器714、系统存储器716、通信接口722、显示适配器726、输入接口730和存储接口734。
通信接口722广泛地表示任何类型或形式的能够促进示例计算系统710和一个或多个附加设备之间的通信的通信设备或适配器。例如，通信接口722可以促进计算系统710和包括附加计算系统的私人或公共网络之间的通信。通信接口722的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中，通信接口722通过与诸如因特网的网络的直连提供到远程服务器的直连。通信接口722还可以间接提供这种通过任何其它合适连接的连接。
通信接口722还可以表示配置为辅助计算系统710和一个或多个附加的网络或存储设备之间通过外部总线或通信通道的通信的主机适配器。主机适配器的示例包括但不限于小型计算机系统接口(SCSI)主机适配器、通用串行总线(USB)主机适配器、IEEE(电子和电气工程师协会)1394主机适配器、串行高级技术附件(SATA)和外部SATA(eSATA)主机适配器、高级技术附件(ATA)和并行ATA(PATA)主机适配器、光线通道接口适配器、以太网适配器或类似的。通信接口722还允许计算系统710从事分布或远程计算。例如，通信接口722可以接收来自远程设备的指令或向用于执行的远程设备发送指令。
如图7所示，计算系统710还包括至少一个通过显示适配器726耦合至通信基础设施712的显示设备724。显示设备724一般表示任何类型或形式的能够可视地显示通过显示适配器726转发的信息的设备。类似地，显示适配器726一般表示任何类型或形式的配置为转发用于在显示设备724上显示的图形、文本和其他数据的设备。在一实施例中，显示设备724可以是近眼光场显示设备200或图2B或图2C中示出的双眼近眼光场显示设备，并且计算系统710中示出的一个或多个部件可以集成到近眼光场显示设备200或图2B或图2C中示出的双眼近眼光场显示设备的镜片形状因子中(eyeglassformfactor)。在一实施例中，计算系统710的一个或多个组件外接至镜片形状因子并且由用户穿戴，或者可以完全是远程组件(即，通过无线或有线通信系统连接)。电源(即，电池、电源或电源接口)可以集成在镜片形状因子中或可以外接至镜片形状因子。
如图7所示，计算系统710还可以包括至少一个通过输入接口730耦合至通信基础设施712的输入设备728。输入设备728一般表示任何类型或形式的能够向计算系统710提供电脑生成的或人为生成的输入的输入设备。输入设备728的示例包括但不限于键盘、指示设备、语音识别设备、眼球追踪系统、环境光感知系统、深度传感器、光场相机、环境动作跟踪传感器、内部动作跟踪传感器、陀螺仪传感器、加速度传感器、电子罗盘传感器、电耦合(CCD)图像传感器、互补金属氧化物半导体(CMOS)传感器或任何其他输入设备。在一实施例中，输入设备728可以配置为向处理器714提供诸如直径、方位和位置的瞳孔特征。在一实施例中，例如当多个近眼光场显示设备的用户在附近时，输入设备728还是接收来自环境中的其他近眼光场显示设备200(即，近眼光场眼镜)的通信。
如图7所示，计算设备710还可以包括通过存储接口734耦合至通信基础设施712的主存储设备732和备用存储设备733。存储设备732和733一般表示任何类型或形式的能够存储数据和/或其它计算机可读指令的存储设备或介质。例如，存储设备732和733可以是磁盘驱动器(例如，所谓的硬盘驱动器)、软盘驱动器、磁带驱动器、光盘驱动器、闪存驱动器或类似的。存储接口734一般表示任何类型或形式的用于在存储设备732和773以及计算系统710的其它组件之间转发数据的接口或设备。
在一实施例中，数据库740可以存储在主存储设备732内。数据库740可以表示单个数据库或计算设备的部分或其可以表示多个数据库或计算设备。例如，数据库740可以表示(存储在之上)计算系统710的一部分。可选地，数据库740可以表示(存储在之上)诸如计算系统710的计算设备可以访问的一个或多个物理分离的设备。
继续参考图7，存储设备732和733可以配置为从可移除存储单元读取和/或向可移除存储单元写入，可移除存储单元配置为存储计算机软件、数据或其它计算可读信息。合适的可移除存储单元的示例包括但不限于软盘、磁盘、光盘、闪存存储设备或类似的。存储设备732和733还可以包括用于允许计算机软件、数据或其它计算机可读指令加载到计算系统710内的其他类似结构或设备。例如，存储设备732和733可以配置为读和写软件、数据或其它计算机可读信息。存储设备732和733还可以是计算系统710的一部分或可以是通过其它接口系统访问的分离设备。
许多其它设备或子系统可以连接至计算系统710。相反地，图7中示出的所有组件或设备对于实现本文的实施例不必都出现。上述提及的设备或子系统还可以以不同于图7中示出的方式互连。计算系统710可以部署任何数量的软件、固件和/或硬件配置。例如，本文公开的示例实施例可以编码为计算机可读介质上的计算机程序(也称为计算机软件、软件应用、计算机可读指令或计算机控制逻辑)。
计算机可读介质包含的计算机程序可以加载到计算系统710内。存储在计算机可读介质上的全部或部分计算机程序随后存储在系统存储器716和/或存储设备732和733的各个部分中。当由处理器714执行时，加载到计算系统710内的计算机程序导致处理器714执行完成本文描述和/或示出的示例实施例的功能的方法和/或是用于完成本文描述和/或示出的示例实施例的功能的装置。另外地或可选地，本文描述和/或示出的示例实施例可以以固件和/或硬件实施。
例如，用于基于对象图像525确定编码到近眼显示层515中的图像和/或任务的计算机程序可以存储在计算机可读介质上，并且随后存储在系统存储器716和/或存储设备732和733的各个部分中。当由处理器714执行时，计算机程序可以导致处理器714执行用于完成实施确定图像和/或编码上述讨论的不同衰减模式的任务所需要的功能的方法和/或是用于完成实施确定图像和/或编码上述讨论的不同衰减模式的任务所需要的功能的装置。
尽管前述公开使用具体框图、流程图和示例提出各种实施例，每一框图组件、流程图步骤、操作，和/或本文描述和/或示出的组件可以使用广泛的硬件、软件或固件(或其任何组合)配置单独和/或共同实现。另外，任何公开的包含在其它组件内的组件应当视为示例，因为许多其它体系架构可以被实现以完成相同功能。
尽管上述描述了各种实施例，应当理解的是他们是作为非限制性示例给出的。因而，优选实施例的广度和范围不应由任何上述描述的示例性实施例限制，而应仅根据下述权利要求及其等同确定。
本文描述和/或示出的进程参数和步骤序列仅通过示例给。例如，虽然本文描述和/或示出的步骤以具体顺序示出或讨论，这些步骤不是必须以示出或讨论的顺序执行的。本文描述和/或示出的各种实例方法也可以略去本文描述和/或示出的一个或多个步骤，或者包括除那些公开的以外附加的步骤。
尽管本文各种实施例在全功能计算系统的上下文中描述和/或示出，一个或多个这些实例实施例可以分布为各种形式的程序产品，不管实际用于完成所述分布的可读计算机介质的类型。本文公开的实施例可以使用执行特定任务的软件模块实现。这些软件模块可以包括脚本、批处理或其他存储在计算机可读存储介质上或计算系统内的可执行文件。这些软件模块可以配置计算系统以执行一个或多个本文公开的示例实施例。一个或多个本文公开的软件模块可以在云计算环境中实现。云计算环境可以通过因特网提供各种服务和应用。这些基于云的服务(例如，软件服务，平台服务、基础设施服务等)可以通过网页浏览器或其他远程接口访问。本文描述的各种功能可以通过远程桌面计算机环境或任何其他云计算环境提供。
上述说明书出于说明目的，参考具体实施例进行描述。然而，上述示意性讨论不意欲将本发明穷尽或限制到所讨论的精确形式。鉴于上述教导各种改进和变型是可能的。所选择和描述的实施例是为了最好地说明本发明的原则以及其实际应用，以因此使本领域其他技术人员能够最好地利用本发明和具有适合于具体使用预期的改进的各种实施例。
因而讨论根据本公开的实施例。虽然本公开以具体实施例进行描述，应该明白的是本公开不应理解为限制在这些实施例，而是要根据以下权利要求理解。

Claims (20)

1.一种方法，包括：
识别由微显示器的像素和近眼光场显示设备的光学装置限定的射线；
通过使所述射线与二维虚拟显示平面相交来生成与所述像素对应的贴图坐标；和
基于所述贴图坐标，计算所述像素的颜色。
2.根据权利要求1所述的方法，其中现有的二维图像存储为使用所述贴图坐标索引的纹理贴图。
3.根据权利要求1所述的方法，进一步包括：
预处理现有二维图像，以生成预处理过的抗锯齿的现有二维图像；和
将所述预处理过的现有二维图像存储为使用所述贴图坐标索引的纹理贴图。
4.根据权利要求1所述的方法，进一步包括：识别附加的射线、生成附加的贴图坐标和计算所述微显示器的附加的像素的附加的颜色，以生成微显示图像。
5.根据权利要求1所述的方法，进一步包括：将所述像素的颜色存储在存储器内用于微显示器图像的数据结构中。
6.根据权利要求5的所述的方法，其中所述微显示器图像与立体图像对的左眼图像或右眼图像相对应。
7.根据权利要求5的所述的方法，其中所述微显示器图像与多视场图像组中的图像对应。
8.根据权利要求1所述的方法，进一步包括：
基于所述贴图坐标采样纹理贴图的多个纹理元素；和
组合所述多个纹理元素以计算所述像素的颜色。
9.根据权利要求1所述的方法，其中所述二维虚拟显示平面相对观察者眼睛的深度基于眼镜处方。
10.根据权利要求1所述的方法，其中配置多个执行片段着色程序的处理线程以并行计算所述微显示器的像素颜色。
11.根据权利要求1所述的方法，其中当所述贴图坐标在所述虚拟显示平面之外时，所述颜色是黑色。
12.根据权利要求1所述的方法，其中虚拟图像包括以离开所述虚拟显示平面的一定深度偏差呈现给近眼光场显示设备的用户的虚拟对象。
13.根据权利要求1所述的方法，其中生成所述贴图坐标包括确定所述像素相对所述微显示器上的参考点的位移。
14.根据权利要求1所述的方法，其中所述光学装置是微透镜。
15.根据权利要求14所述的方法，其中生成所述贴图坐标包括确定所述微透镜的光学中心相对所述微显示器上的参考点的位移。
16.根据权利要求1所述的方法，其中生成所述贴图坐标包括确定所述二维虚拟显示平面内被所述射线相交的点的位移。
17.一种系统，包括：
位于近焦平面和瞳孔之间的微显示器；
位于所述微显示器和所述瞳孔之间的光学装置；和
处理器，
所述处理器被配置为：
识别由所述微显示器的像素和所述光学装置限定的射线；
通过使所述射线与二维虚拟显示平面相交生成与像素对应的贴图坐标；和
基于所述贴图坐标计算所述像素的颜色。
18.根据权利要求17的系统，进一步包括：存储器，其配置为将现有二维图像存储为使用所述贴图坐标索引的纹理贴图。
19.根据权利要求17的系统，其中，所述处理器进一步被配置为处理多个每个执行片段着色程序的处理线程以并行计算所述微显示器的像素的颜色。
20.一种计算机可读的存储指令的介质，当所述指令由处理器执行时，导致所述处理器执行包括以下的步骤：
识别由微显示器的像素和近眼光场显示设备的光学装置限定的射线；
通过使所述射线与二维虚拟显示平面相交生成与所述像素对应的贴图坐标；和
基于所述贴图坐标计算所述像素的颜色。
CN201480028202.5A 2013-05-17 2014-05-15 为近眼光场显示器生成图像的系统、方法和计算机程序产品 Active CN105209960B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361824914P 2013-05-17 2013-05-17
US61/824,914 2013-05-17
US14/160,497 2014-01-21
US14/160,497 US9582922B2 (en) 2013-05-17 2014-01-21 System, method, and computer program product to produce images for a near-eye light field display
PCT/US2014/038270 WO2014186625A1 (en) 2013-05-17 2014-05-15 System, method, and computer program product to produce images for a near-eye light field display

Publications (2)

Publication Number Publication Date
CN105209960A true CN105209960A (zh) 2015-12-30
CN105209960B CN105209960B (zh) 2018-05-18

Family

ID=51895425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480028202.5A Active CN105209960B (zh) 2013-05-17 2014-05-15 为近眼光场显示器生成图像的系统、方法和计算机程序产品

Country Status (4)

Country Link
US (1) US9582922B2 (zh)
CN (1) CN105209960B (zh)
DE (1) DE112014002469B4 (zh)
WO (1) WO2014186625A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991637A (zh) * 2017-02-28 2017-07-28 浙江大学 一种利用gpu并行计算实现多分辨率光场分解的方法
CN108200330A (zh) * 2017-12-11 2018-06-22 虚拟现实(深圳)智能科技有限公司 双8k图像虚拟现实处理方法及系统
CN109076208A (zh) * 2016-04-25 2018-12-21 高通股份有限公司 加速光场显示器
CN109379581A (zh) * 2018-12-05 2019-02-22 北京阿法龙科技有限公司 一种头戴式双屏幕立体显示系统的坐标变换及显示方法
TWI670521B (zh) * 2017-05-26 2019-09-01 美商谷歌有限責任公司 近眼顯示系統、演現系統及在近眼顯示系統中使用之方法
CN112119425A (zh) * 2018-04-27 2020-12-22 贝克顿·迪金森公司 用于图像控制和颗粒分析仪图像显示的方法和装置
CN113009692A (zh) * 2019-12-19 2021-06-22 中强光电股份有限公司 近眼光场显示装置
CN113132715A (zh) * 2019-12-31 2021-07-16 Oppo广东移动通信有限公司 一种图像处理方法、装置、电子设备及其存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10663714B2 (en) 2010-10-28 2020-05-26 Endochoice, Inc. Optical system for an endoscope
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US9582922B2 (en) 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9594247B2 (en) * 2013-12-19 2017-03-14 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
CA2950425C (en) * 2014-05-30 2022-01-25 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP2015230383A (ja) * 2014-06-05 2015-12-21 キヤノン株式会社 画像表示装置および画像表示システム
CN105717640B (zh) * 2014-12-05 2018-03-30 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器
US10416456B2 (en) 2015-07-03 2019-09-17 Essilor International Methods and systems for augmented reality
WO2017050975A1 (en) 2015-09-23 2017-03-30 Medintec B.V. Video glasses
KR20180104051A (ko) * 2016-01-19 2018-09-19 매직 립, 인코포레이티드 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들
EP3440486B1 (en) 2016-04-07 2024-06-19 Magic Leap, Inc. Systems and methods for augmented reality
EP3235478A1 (en) 2016-04-18 2017-10-25 Universität Wien Protective eyewear
US10453431B2 (en) * 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
GB2550134A (en) * 2016-05-09 2017-11-15 Euro Electronics (Uk) Ltd Method and apparatus for eye-tracking light field display
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
EP3261347A1 (en) * 2016-06-22 2017-12-27 Thomson Licensing A method and a device for encoding a signal representative of a light-field content
DE102016112326A1 (de) * 2016-07-06 2018-01-11 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum Betreiben einer 3D-Brille mit Blendeigenschaft
US10223822B2 (en) 2016-12-22 2019-03-05 Apple Inc. Mid-render compute for graphics processing
US10504270B2 (en) 2016-12-22 2019-12-10 Apple Inc. Resource synchronization for graphics processing
US10445852B2 (en) 2016-12-22 2019-10-15 Apple Inc. Local image blocks for graphics processing
US10324844B2 (en) 2016-12-22 2019-06-18 Apple Inc. Memory consistency in graphics memory hierarchy with relaxed ordering
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
JP6264493B1 (ja) * 2017-05-19 2018-01-24 大日本印刷株式会社 表示装置
US10789777B1 (en) * 2017-06-29 2020-09-29 Facebook Technologies, Llc Generating content for presentation by a head mounted display based on data captured by a light field camera positioned on the head mounted display
WO2019021877A1 (ja) * 2017-07-24 2019-01-31 シャープ株式会社 表示装置及びヘッドマウントディスプレイ
JP6966718B2 (ja) * 2017-08-29 2021-11-17 国立大学法人 奈良先端科学技術大学院大学 ディスプレイ装置
US10678056B2 (en) * 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
CN111258062B (zh) * 2018-12-03 2022-02-15 昆山工研院新型平板显示技术中心有限公司 显示单元、近眼显示光学模组和近眼显示系统
US11200655B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Wearable visualization system and method
CN111314614B (zh) * 2020-03-11 2021-08-13 北京字节跳动网络技术有限公司 图像的处理方法、装置、可读介质和电子设备
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
WO2022005970A1 (en) * 2020-06-29 2022-01-06 Snap Inc. Eyewear with shared gaze-responsive viewing

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US20120057228A1 (en) * 2010-09-02 2012-03-08 Sony Corporation Display apparatus
JP2012053342A (ja) * 2010-09-02 2012-03-15 Sony Corp 表示装置
CN102402011A (zh) * 2010-09-10 2012-04-04 索尼公司 三维图像显示设备和图像显示装置
CN102411210A (zh) * 2010-09-17 2012-04-11 索尼公司 显示设备
US20130082905A1 (en) * 2011-01-18 2013-04-04 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
US20130107024A1 (en) * 2009-04-28 2013-05-02 Microsoft Corporation Light-field display
US20130120605A1 (en) * 2010-03-03 2013-05-16 Todor G. Georgiev Methods, Apparatus, and Computer-Readable Storage Media for Blended Rendering of Focused Plenoptic Camera Data

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499138A (en) 1992-05-26 1996-03-12 Olympus Optical Co., Ltd. Image display apparatus
DE69429209T2 (de) 1993-06-01 2002-06-27 Sharp K.K., Osaka Bildanzeigevorrichtung mit rückseitiger Beleuchtung
WO1997022964A1 (en) 1995-12-18 1997-06-26 Bell Communications Research, Inc. Flat virtual displays for virtual reality
US6215593B1 (en) 1996-11-13 2001-04-10 Ian A. Bruce Portable wide-field optical system with microlenses and fiber-optic image transfer element
EP1004052A4 (en) 1997-08-11 2000-11-08 Telcordia Tech Inc APPARATUS AND METHOD FOR CREATING AND DISPLAYING VIRTUAL PLANAR IMAGES
KR100785982B1 (ko) 2002-11-07 2007-12-14 산요덴키가부시키가이샤 입체 영상 처리 방법 및 입체 영상 표시 장치
US7425951B2 (en) 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
KR100697837B1 (ko) 2003-09-18 2007-03-20 가부시끼가이샤 도시바 3차원 화상표시장치
EP1536399A1 (en) 2003-11-26 2005-06-01 Barco N.V. Method and device for visual masking of defects in matrix displays by using characteristics of the human vision system
US20050280894A1 (en) 2004-04-02 2005-12-22 David Hartkop Apparatus for creating a scanning-column backlight in a scanning aperture display device
JP4227076B2 (ja) 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
JP4752309B2 (ja) 2005-04-07 2011-08-17 ソニー株式会社 画像表示装置および方法
US7486341B2 (en) 2005-11-03 2009-02-03 University Of Central Florida Research Foundation, Inc. Head mounted display with eye accommodation having 3-D image producing system consisting of, for each eye, one single planar display screen, one single planar tunable focus LC micro-lens array, one single planar black mask and bias lens
TWI347453B (en) 2007-06-23 2011-08-21 Ind Tech Res Inst Hybrid multiplexed 3d display and a displaying method thereof
JP2011145607A (ja) 2010-01-18 2011-07-28 Sony Corp ヘッドマウントディスプレイ
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
JP2012032611A (ja) 2010-07-30 2012-02-16 Sony Corp 立体画像表示装置
PE20140560A1 (es) 2010-10-11 2014-05-11 Graphic Security Systems Corp Metodo para construir una imagen compuesta incorporando una imagen de autenticacion oculta
WO2012062681A1 (de) 2010-11-08 2012-05-18 Seereal Technologies S.A. Anzeigegerät, insbesondere ein head-mounted display, basierend auf zeitlichen und räumlichen multiplexing von hologrammkacheln
JP6168794B2 (ja) 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP6029380B2 (ja) * 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
JP6094855B2 (ja) 2012-09-27 2017-03-15 Ｎｌｔテクノロジー株式会社 液晶表示素子、画像表示装置、画像表示装置の駆動方法、携帯機器
WO2014155288A2 (en) 2013-03-25 2014-10-02 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for head worn display with multiple exit pupils
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
US9582922B2 (en) 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9594247B2 (en) 2013-12-19 2017-03-14 Nvidia Corporation System, method, and computer program product for a pinlight see-through near-eye display
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US20130107024A1 (en) * 2009-04-28 2013-05-02 Microsoft Corporation Light-field display
US20130120605A1 (en) * 2010-03-03 2013-05-16 Todor G. Georgiev Methods, Apparatus, and Computer-Readable Storage Media for Blended Rendering of Focused Plenoptic Camera Data
US20120057228A1 (en) * 2010-09-02 2012-03-08 Sony Corporation Display apparatus
JP2012053342A (ja) * 2010-09-02 2012-03-15 Sony Corp 表示装置
CN102402011A (zh) * 2010-09-10 2012-04-04 索尼公司 三维图像显示设备和图像显示装置
CN102411210A (zh) * 2010-09-17 2012-04-11 索尼公司 显示设备
US20130082905A1 (en) * 2011-01-18 2013-04-04 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076208A (zh) * 2016-04-25 2018-12-21 高通股份有限公司 加速光场显示器
CN109076208B (zh) * 2016-04-25 2019-08-30 高通股份有限公司 加速光场显示器
CN106991637A (zh) * 2017-02-28 2017-07-28 浙江大学 一种利用gpu并行计算实现多分辨率光场分解的方法
CN106991637B (zh) * 2017-02-28 2019-12-17 浙江大学 一种利用gpu并行计算实现多分辨率光场分解的方法
TWI670521B (zh) * 2017-05-26 2019-09-01 美商谷歌有限責任公司 近眼顯示系統、演現系統及在近眼顯示系統中使用之方法
CN108200330A (zh) * 2017-12-11 2018-06-22 虚拟现实(深圳)智能科技有限公司 双8k图像虚拟现实处理方法及系统
CN112119425A (zh) * 2018-04-27 2020-12-22 贝克顿·迪金森公司 用于图像控制和颗粒分析仪图像显示的方法和装置
CN109379581A (zh) * 2018-12-05 2019-02-22 北京阿法龙科技有限公司 一种头戴式双屏幕立体显示系统的坐标变换及显示方法
CN113009692A (zh) * 2019-12-19 2021-06-22 中强光电股份有限公司 近眼光场显示装置
CN113132715A (zh) * 2019-12-31 2021-07-16 Oppo广东移动通信有限公司 一种图像处理方法、装置、电子设备及其存储介质
CN113132715B (zh) * 2019-12-31 2023-08-04 Oppo广东移动通信有限公司 一种图像处理方法、装置、电子设备及其存储介质

Also Published As

Publication number Publication date
DE112014002469B4 (de) 2022-06-15
US9582922B2 (en) 2017-02-28
US20140340389A1 (en) 2014-11-20
WO2014186625A1 (en) 2014-11-20
DE112014002469T5 (de) 2016-02-11
CN105209960B (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN105209960B (zh) 为近眼光场显示器生成图像的系统、方法和计算机程序产品
US11423599B2 (en) Multi-view processing unit systems and methods
US9519144B2 (en) System, method, and computer program product to produce images for a near-eye light field display having a defect
US10628990B2 (en) Real-time system and method for rendering stereoscopic panoramic images
US10481684B2 (en) System and method for foveated image generation using an optical combiner
CN106204712B (zh) 分段线性不规则光栅化
Müller et al. Interactive molecular graphics for augmented reality using HoloLens
US11100899B2 (en) Systems and methods for foveated rendering
CN112912823A (zh) 生成和修改增强现实或虚拟现实场景中对象的表示
CN109992103B (zh) 用于在渲染期间调整角度采样率的方法、系统和存储介质
US11557095B2 (en) Occlusion of virtual objects in augmented reality by physical objects
TW201918745A (zh) 用於寬視野互動式三維電腦圖形的近眼光場渲染之系統及方法
US20230036831A1 (en) Wide angle augmented reality display
JP2016529593A (ja) 立体シーンのインターリーブ方式のタイル型レンダリング
JP2022519431A (ja) マルチプロジェクタ表示アーキテクチャ
US6559844B1 (en) Method and apparatus for generating multiple views using a graphics engine
US20220189107A1 (en) Distributed rendering and display system
TW202322043A (zh) 小網格著色圖譜
Liu et al. Real-time Super High Resolution Light Field Rendering with Multi-GPU Scheduling
US20240015263A1 (en) Methods and apparatus to provide remote telepresence communication
Yinan et al. A stereoscopic display system based on a volumetric image model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant