CN109076208A - 加速光场显示器 - Google Patents

加速光场显示器 Download PDF

Info

Publication number
CN109076208A
CN109076208A CN201780023942.3A CN201780023942A CN109076208A CN 109076208 A CN109076208 A CN 109076208A CN 201780023942 A CN201780023942 A CN 201780023942A CN 109076208 A CN109076208 A CN 109076208A
Authority
CN
China
Prior art keywords
annotation
multiple view
distance
order
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780023942.3A
Other languages
English (en)
Other versions
CN109076208B (zh
Inventor
H·H·劳
T·C·邝
B·K·P·陈
W·L·阿特金森
W·H·于
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109076208A publication Critical patent/CN109076208A/zh
Application granted granted Critical
Publication of CN109076208B publication Critical patent/CN109076208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Illuminated Signs And Luminous Advertising (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明描述了用于光场投影显示器的图形及显示处理的方法、技术、装置及设备。在一些实例中，本发明描述一种能够同时呈现及显示多个注释的投影显示系统。注释为可显示的任何信息(例如，文字、标志、方向、标识、电话号码等)。在一个实例中，本发明提出了用于在多个不同焦距处同时呈现及显示多个注释的技术。

Description

加速光场显示器
技术领域
本发明涉及用于投影显示器的图形及显示处理的技术。
背景技术
光场投影显示器可用于许多应用中，包含用于汽车应用的平视显示器，用于航空电子应用的平视显示器，增强现实应用，虚拟现实应用以及全息显示应用以及其它应用。在许多投影显示应用中，在固定焦距处向用户显示信息(例如，一或多个注释)。图形处理单元(GPU)可用于呈现此些注释。
发明内容
大体来说，本发明描述了用于光场投影显示器的图形及显示处理的方法、技术、装置及设备。在一些实例中，本发明描述一种能够同时呈现及显示多个注释的投影显示系统。注释为可显示的任何信息(例如，文字、标志、方向、标识、电话号码等)。在一个实例中，本发明提出了用于在多个不同焦距处同时呈现及显示多个注释的技术。
在一些实例中，选择注释的焦距以匹配到真实世界对象的焦点距离。以此方式，可在用户可能聚焦其视力的相同焦点距离处向用户显示注释。使注释的焦距与真实世界对象的焦点距离匹配通常提供更好的用户体验。对于汽车/航空电子平视显示器应用，使注释的焦距与真实世界对象的焦点距离相匹配可提供较少的干扰，且因此提供更安全的操作环境，因为用户可能不需要在真实世界对象与所显示注释之间来回不断地重新聚焦其注意力。
在本发明的其它实例中，可连续更新到真实世界对象的距离及/或焦点距离。以此方式，也可在连续更新的焦点距离处呈现注释，使得到注释及真实世界对象的焦点距离保持相同。本发明还描述用于加速在不同焦距处生成多个注释的图形处理技术。另外，本发明还揭示用于加速投影显示器的帧的处理及读出的显示处理技术。在一个实例中，本发明描述一种用于信息显示的方法，所述方法包括确定到对象的距离，计算用于基于距离利用显示器显示第一注释的焦距，以及利用显示器在所述焦距处显示第一注释。
在另一实例中，本发明描述一种用于信息显示的设备，所述设备包括：存储器，其经配置以存储注释；以及一或多个处理器，其经配置以确定到对象的距离，计算用于基于所述距离用显示器显示第一注释的焦距，且在所述焦距处显示第一注释。
在另一实例中，本发明描述了一种设备信息显示器，所述设备包括用于确定到对象的距离的装置，用于计算用于基于所述距离用显示器显示第一注释的焦距的装置，以及用于在所述焦距处显示第一注释的装置。
在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器确定到对象的距离，计算用于基于所述距离用显示器显示第一注释的焦距，及在所述焦距处显示第一注释。
在下文随附图式及描述中阐明本发明的一或多个实施例的细节。根据所述描述及图式以及根据权利要求书将明了其它特征、目的及优点。
附图说明
图1为根据本发明的技术说明实例性装置的框图。
图2为说明具有单个注释的实例性平视投影显示器的概念图。
图3是说明在不同焦距处展示多个注释的根据本发明的技术的投影显示系统的概念图。
图4为说明在不同焦距处展示两个注释的根据本发明的技术的投影显示系统的概念图。
图5为说明在不同焦距处展示两个注释的根据本发明的技术的投影显示系统的概念图。
图6为更详细展示图1的系统的实例的框图。
图7为更详细展示由图1的处理器执行的技术的概念图。
图8为说明可如何将原始MultiViewPort命令转换成用于多个视图中的每一者的多个视口命令的概念图。
图9为展示用于确定3D对象距虚拟相机的距离的技术的概念图。
图10为展示用于将模型、视图及投影矩阵应用于3D对象的技术的流程图。
图11为展示实例性视图矩阵的概念图。
图12为展示实例性投影矩阵的概念图。
图13为展示定义投影矩阵的实例性平面的概念图。
图14为更详细展示由图1的处理器执行的技术的概念图。
图15为展示实例性多视图图块到光场图块转换的概念图。
图16为更详细地展示实例性光场图块的概念图。
图17为展示实例性显示类型的图。
图18为根据本发明的技术展示实例性方法的流程图。
具体实施方式
本发明涉及用于在显示器上显示信息(例如，文本、异议、标志、指令或更一般来说，注释)的技术。在一些实例中，本发明描述与使用光场投影显示器显示一或多个注释有关的技术。在一些实例中，光场投影显示器经配置以在一或多个固定焦距处显示注释。在平视显示器(HUD)应用中，此技术可能会分散注意力，因为所显示的注释可能在与真实世界对象不同的焦距处。此情况可能迫使用户不断地在所显示注释与真实世界对象之间改变其焦点，从而导致注意力分散及糟糕的用户体验。
鉴于这些缺点，本发明提出可在不同焦距处显示一或多个注释的技术。在一个实例中，可在匹配到真实世界对象的焦距的焦距处显示一或多个注释，从而为用户提供较少注意力分散。在一些实例中，本发明的技术包含确定到真实世界对象的距离，使得可连续更新所显示注释的焦距。本发明还描述用于加速在不同焦距处生成多个注释的图形处理技术。另外，本发明还揭示用于加速投影显示器的帧的处理及读出的显示处理技术。
图1为说明根据本发明中所描述的一或多个实例性技术的用于处理在投影显示器上显示的数据的实例性装置的框图。在图1的实例中，系统10包括处理器12、图形处理单元(GPU)14、显示处理器24及系统存储器16。在一些实例中，处理器12、GPU 14及显示处理器24可形成为集成电路(IC)27。例如，IC 27可被认为是在一个芯片封装内的处理芯片，例如对单片系统(SoC)。在一些实例中，处理器12、GPU 14及显示处理器24可容纳在不同的集成电路(例如，不同的芯片封装)中。
处理器12、GPU 14及显示处理器24的实例包含(但不限于)一或多个数位信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。处理器12可为系统10的中央处理单元(CPU)。在一些实例中，GPU 14可为专门硬件，其包含为GPU 14提供适于图形处理的大规模并行处理能力的集成及/或离散逻辑电路。在一些例子中，GPU 14还可包含通用处理能力，且在实施通用处理任务(即，非图形相关任务)时可被称作通用GPU(GPGPU)。
显示处理器24可为经专门配置以对要显示的数据执行操作的处理器。例如，显示处理器24可经配置以在将此些图像发送到显示器18之前对由GPU 14及处理器12产生的一或多个图像执行2D操作。2D操作的实例可包括旋转、缩放、拉伸、合成、混合及其它操作。另外，显示处理器24可经配置以将图像从输入数据格式转换为与显示器18兼容的输出数据格式。如下文将更详细解释，显示处理器24可经配置以转换由处于多视图图块格式的GPU 14产生的图像转换成与光场投影显示器兼容的光场图块格式(例如，在显示器18为光场投影显示器的状况下)。由于显示处理器24为经配置以加速此些2D操作的专用硬件，因此与在GPU 14或处理器12上执行的软件进程相比，显示处理器24能够更快地执行此转换。因此，可增加由显示器18显示的图像的帧速率。
应理解，显示处理器24可实施为中央处理单元、DSP、GPU、ASIC、FGPA、或可编程及/或固定功能电路的任何其它组合。就此来说，在一些实例中，IC 27可不包含单独的显示处理器24，而是显示处理器25的功能可由处理器12及/或GPU 14执行。
出于说明的目的，相对于处理器12、GPU 14及/或显示处理器24描述本发明中所描述的实例性技术。然而，本发明中所描述的技术不限于此。本发明中所描述的技术可扩展到其它类型的处理单元(例如，提供大规模并行处理能力的处理单元，即使不用于图形处理)。此外，本发明中所描述的技术可扩展到未经特别配置用于并行处理的处理单元。
处理器12可执行各种类型的应用程序。应用程序的实例包含操作系统、网络浏览器、电子邮件应用程序、电子表格、视频游戏或产生可视对象以供显示的其它应用程序。在本发明的实例中，处理器12可经配置以执行使用投影显示器显示信息的应用程序。此些应用可包含用于汽车的HUD、用于飞机的HUD、用于增强现实(AR)应用的视网膜显示器、用于增强现实(AR)应用、虚拟现实(VR)应用，或可在多个不同焦距处向用户显示信息的任何其它应用的其它投影显示器。例如，本申请案的技术可结合眼镜或护目镜使用，所述眼镜或护目镜可包含能够显示注释及不同焦点距离的显示器(例如，用于摩托车手，滑雪者等)。如将在下文参考图2到5更详细解释，在多个不同焦点距离处呈现及显示信息允许系统10使所显示信息的焦点距离与多个不同真实世界对象的焦点距离匹配。系统10还可经配置以连续更新到真实世界对象的焦点距离，且因此在系统10运动时(例如，在汽车HUD应用中)连续地更新及呈现焦点距离处的注释以匹配真实世界对象)。
由系统10所显示的信息可为任何类型的信息，包括文本、符号、视频，3-D图形等。通常，对于增强现实及/或平视显示器应用，此信息可被称作注释。在此些上下文中，注释向用户传达关于用户周围世界的信息。例如，注释可包含车辆信息(当前速度、GPS位置、燃料里程、燃料水平等)、驾驶规则(速度限制、单向路线等)、路线信息(转弯方向、到下一转弯的距离、道路编号、出口编号)，关注点(POI)信息(商业标识、商家名称、电话号码、商家评级、来电显示、智能手机通知，碰撞/事故避免指示等)或关于用户的周围环境的另一其它信息。
系统存储器16可存储用于执行一或多个应用程序的指令。在处理器12上执行应用程序使处理器12产生要显示的图像内容的图形数据。在本发明的实例中，在处理器12上执行的应用程序可致使一或多个注释在变化的不同焦距处显示。处理器12可将图像内容的图形数据发射到GPU 14以进行进一步处理。系统存储器16还可包含帧缓冲器，其经配置以存储要由显示器18显示的信息帧。
作为实例，在处理器12上执行应用程序致使处理器12产生基元的顶点，其中相应顶点处的基元的互连形成图形对象(例如，注释)。在此实例中，处理器12产生的图形数据为关于顶点的属性的属性数据。例如，在处理器12上执行的应用程序可生成顶点的颜色值、不透明度值、坐标等，这些全是顶点的属性的实例。也可能存在额外属性，且在一些实例中，应用程序不需要产生所有实例属性。通常，这些技术可扩展到属性数据以外的数据类型(例如，计数器)，且不应将这些技术视为限于属性数据或仅限于属性数据的实例，例如颜色值、不透明度值、坐标等。
在一些非图形相关实例中，处理器12可生成更适合于由GPU 14处理的数据。此数据不需要用于图形或显示目的。例如，处理器12可输出需要由GPU 14执行矩阵运算的数据，且GPU 14可依次执行矩阵运算。
一般来说，处理器12可卸载GPU 14的处理任务，例如需要大规模并行操作的任务。作为一个实例，图形处理需要大量并行操作，且处理器12可将此些图形处理任务卸载到GPU14。然而，例如矩阵运算的其它操作也可受益于GPU 14的并行处理能力。在这些实例中，处理器12可利用GPU 14的并行处理能力来致使GPU 14执行非图形相关的操作。
处理器12可根据特定应用处理接口(API)与GPU 14通信。此些API的实例包含的API、科纳斯(Khronos)组织的或OpenGL以及OpenCLTMAPI；然而，本发明的方面不限于DirectX、OpenGL或OpenCL API，且可扩展到其它类型的API。此外，不需要本发明中所描述的技术根据API起作用，且处理器12及GPU 14可利用任何技术来进行通信。
如下文将更详细解释的，根据本发明的技术，处理器12可使用专用API向GPU 14提供命令，所述专用API允许在多个不同焦距处有效处理多个注释。为了通过光场投影显示器呈现注释以供显示，注释的呈现可使用多个虚拟摄像机角度。在一个实例中，取决于投影光场中的注释的位置，可使用多达25个不同的相机角度来呈现注释。根据本发明的技术，由处理器12执行的图形驱动器可经配置以针对特定相机角度向GPU 14提供多视图视口及模型、视图及投影(MVP)矩阵，以及用于以所述摄像机角度呈现场景。在一个实例中，GPU驱动器可包含一个缓冲器中的特定摄像机角度所特有的命令及对另一缓冲器中的所有摄像机角度共同的命令。以此方式，所有摄像机角度共同的命令仅需要生成一次且可被所有摄像机角度重用。
系统10还可包含显示器18，用户接口20、收发器模块22、位置检测单元28及距离估计单元30。系统10可包含出于清晰目的图1中未展示的额外模块或单元。举例来说，系统10在一些实例中可包含用以实现电话通信的扬声器及麦克风(图1中未展示其中任一者)。此外，系统10中展示的各种模块及单元可在系统10的每一实例中并非必需的。举例来说，用户接口20及显示器18在一些实例中可在系统10外部。
显示器18可为任何类型的光场投影显示器、视网膜显示器、全息显示器，或可在多个不同焦距处向用户显示多个注释的任何其它类型的显示器。在一个实例中，显示器18可包含底层显示器，其可为液晶显示器(LCD)、数字光投影(DLP)显示器、发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管(CRT)显示器，或用于生成像素值的任何其它类型的显示器。为了产生光场，由下伏显示器产生的像素可通过针孔掩模，小透镜阵列或将光引导到不同角度的任何其它机构来投影。由小透镜阵列或针孔掩模产生的光场指向组合器。组合器可为平坦的玻璃片或其它机构(例如，分束器)，其准直光并在用户的视野内(例如，在汽车的挡风玻璃中)将光场投影回用户。应理解，以上描述仅为一个实例，且能够在多个不同焦距处显示注释的任何类型的投影显示器可结合本发明的技术使用。
用户接口20的实例包含(但不限于)轨迹球、鼠标、键盘及其它类型的输入装置。用户接口20还可为触摸屏且可被并入为显示器18的部分。收发器模块22可包含允许系统10与另一装置或网络之间的无线或有线通信的电路。收发器模块22可包含调制器、解调制器、放大器及用于有线或无线通信的其它此电路。
系统存储器16可为系统10的存储器。系统存储器16可包括一或多个计算机可读存储媒体。系统存储器16的实例包含(但不限于)随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器或可用于以指令及/或数据结构的形式载运或存储所要程序代码且可由计算机或处理器存取的其它媒体。
在一些方面，系统存储器16可包含致使处理器12、GPU 14及显示处理器24执行本发明中归属于处理器12、GPU 14及显示处理器24的功能的指令。因此，系统存储器16可为计算机可读存储媒体，其上存储有指令，当被执行时，使得一或多个处理器执行各种功能。
在一些实例中，系统存储器16可为非暂时性存储媒体。术语“非暂时性”可指示存储媒体不以载波或传播信号体现的存储媒体。然而，术语“非暂时性”不应被解释意味着系统存储器16为不可移动或其内容为静态的。作为一个实例，可将系统存储器16从系统10移除，且移动到另一装置。作为另一实例，可将存储器(基本上类似于系统存储器16)插入到系统10中。在某些实例中，非暂时存储媒体可存储可随时间改变的数据(例如，存储在RAM中)。
例如，如在本发明中的其它地方更详细描述，系统存储器16可存储用于在处理器12上执行的编译器的代码，所述处理器执行本发明中所描述的一或多个实例的技术。系统存储器16还可存储在GPU 14的着色器核心上执行的着色器程序(例如，顶点着色器、像素或片段着色器、计算着色器等)的代码。
位置检测单元28可经配置以检测系统10的当前位置，以及系统10附近的任何POI的当前位置。如下文将更详细地解释，位置检测单元28可包含位置/定位接收器(例如，全球定位系统(GPS)接收器)以及POI的位置数据库。以此方式，系统10可经配置以确定系统10与特定POI(例如，商业、交叉路口等)之间的当前距离，计算焦距以显示关于POI的注释，并在匹配到POI的焦距的焦距处显示注释(即，所显示的注释的焦距与到实际对象的焦距匹配)。
位置检测单元28还可存取有助于确定及更新系统10与真实世界对象之间的距离的系统10的其它信息。例如，在汽车应用中，位置检测单元28还可经配置以存取汽车操作信息，例如预期路线(例如，当使用路线选择时)、路线路径、车辆速度、加速度等。
距离估计单元30可经配置以计算系统10与其位置可能在数据库中不可用的其它真实世界对象之间的距离。例如，在汽车环境中，距离估计单元30可用于计算系统10与其它汽车之间的距离，系统10与道路标志之间的距离，系统10与行人之间的距离，以及更一般地系统10与系统10附近内的任何其他障碍物或对象之间的距离。距离估计单元30可使用任何技术来检测系统10与其它真实世界对象之间的距离。例如，为了检测系统10与另一汽车之间的距离，距离估计单元30可包括立体摄像机。距离估计单元30可使用计算机视觉及/或其它图像处理技术来基于由立体图像产生的图像来确定到另一汽车的距离。然而，应理解，用于确定系统10与其它真实世界对象之间的距离的任何技术可结合与本发明的技术一起使用。
系统10可用在可期望在多个不同焦距处显示多个注释的任何应用中。例如，系统10可集成到汽车中且可用于驱动平视显示器。作为另一实例，系统10可集成到飞机中并用于驱动航空平视显示器。作为又另一实例，系统10可集成到视网膜显示系统中或结合视网膜显示系统一起使用。例如，系统10可结合集成到眼镜或其它类型的头盔或可穿戴显示器中的视网膜投影仪一起使用。系统10还可集成到移动电话、平板、膝上型计算机、台式计算机、机顶盒或任何其它计算环境中。
根据本发明的一或多个实例，如下文将更详细解释，系统10可经配置以确定到对象的距离，计算用于基于距离用显示器显示第一注释的焦距，并在所述焦距处显示第一注释。在本发明的另一实例中，系统10可经配置以确定到对象的更新距离，基于更新的距离计算用于显示第一注释的更新焦距，且用显示器在经更新的焦距处显示第一注释。
在本发明的其它实例中，系统10可经配置以显示多个注释。在此些实例中，系统10可经进一步配置以确定一或多个额外注释的相应焦距，一或多个额外注释不同于第一注释，且在其相应焦距处显示一或多个额外注释。
图2为说明具有单个注释的实例性平视投影显示器的概念图。图2的实例展示汽车应用中的HUD的实例。图2展示在固定距离处显示的注释102。在此实例中，注释102为汽车的当前速度(“60”)。然而，注释102可为任何类型的信息。如图2中可见，注释102在与车辆104不同的焦点距离处，因为车辆104显示为失焦。在典型的驾驶情况下，驾驶员最有可能将其视力聚焦在距离的一点处，且在许多情况下，所述点为位于其正前方的车辆(例如，车辆104)。
如此，为了辨别由注释102传达的信息，驾驶员必须将其焦点从车辆104调整到注释102。这迫使驾驶员在驾驶焦点距离(例如，车辆104的焦点距离)与用于查看注释的焦点距离之间连续地改变其视力焦点。驾驶员焦点的此些改变会导致驾驶员的注意力分散。
图3是说明在不同焦距处展示多个注释的根据本发明的技术的投影显示系统的概念图。如图3中所展示，系统10可经配置以在车辆的操作者的视野中显示多个注释102、106及108。注释102可为车辆信息(例如，车辆速度)，注释106可为路线方向(例如，转弯指令)，且注释108可为关于商业的信息(例如，商业标识)。系统10可包含光场投影显示器(例如，图1的显示器18)，其经配置以在组合器62(例如，光学组合器)处投影光场。注意，在一些实例中，组合器62可为显示器18的部分。组合器62在用户期望的视野中(例如，通过汽车的挡风玻璃)将光场重定向到用户的眼睛。
根据本发明的一个实例技术，系统10可经配置以在多个不同的焦距处呈现及显示多个不同的注释。例如，可在焦距F1处显示注释102，可在焦距F2与F3之间显示注释106，且可在焦距F4处显示注释108。
如将在下文实例中所论述，本发明的技术不仅允许在多个焦距处显示注释，而且所显示的注释的焦距可与真实世界对象的焦距匹配。另外，在本发明的其它实例中，在用户及/或系统10移动时，可连续更新所显示的注释的焦距以与到真实世界对象的焦距匹配。
图4为说明在匹配于到真实世界对象的距离的不同焦距处展示两个注释的根据本发明的技术的投影显示系统的概念图。如图4中所展示，在与车辆104相同的焦距(即，真实世界对象)显示注释102。如上文参考图1所论述，距离估计单元30可经配置以确定到车辆104的距离并使用此确定的距离来计算用于显示注释102的焦距。如图4中可见，在驾驶员将其视力聚焦在车辆104上时，车辆104及注释102两者均聚焦。
注意，在此实例中，用于显示注释102的焦点距离基于驾驶员通常可将其视力聚焦在用户正前方的车辆上的假设。在其它实例中，系统10可经配置以在驾驶员通常将其视力聚焦的焦点距离处显示注释102(或与车辆或GPS信息有关的任何其它注释)以避免驾驶员分心。此焦点距离可为固定的，可为用户可配置的，或可连续更新以匹配真实世界对象(例如，车辆104)。
此外，如图4中所展示，在与注释108相关联的POI(例如，实体店)的物理位置110的相同焦点距离处显示注释108(例如，商业标识)。在图4中的实例中，用户将其视力聚焦在车辆104上。如此，物理位置110及注释108两者均失焦。此情况由眼睛112描绘，其中显示注释102的光场部分聚焦在眼睛112的视网膜上，但显示注释108的光场部分未聚焦在眼睛112的视网膜上。
图5为说明在匹配于真实世界对象的不同焦距处展示两个注释的根据本发明的技术的投影显示系统的概念图。在图5的实例中，用户已将其视力焦点改变到物理位置110。在此实例中，物理位置110及相关联的注释108两者均聚焦，而车辆104及注释102未聚焦。此情况由眼睛112描绘，其中显示注释108的光场部分聚焦在眼睛112的视网膜上，但显示注释102的光场部分未聚焦在眼睛112的视网膜上。
图6为更详细展示图1的系统10的实例的框图。在图6的实例中，距离估计单元30可包含真实世界距离估计单元38，车辆操作信息单元40及立体摄像机42。真实世界距离估计单元38可在处理器(例如，处理器12)上执行的软件中实施，可实施为专用硬件(例如，ASIC)，或硬件及软件的组合。
立体摄像机42可经配置以拍摄系统10的用户的视野的照片。立体摄像机42包含两个或多于两个摄像机，每一摄像机处于不同的摄像机角度，使得可从结果图像确定深度信息。例如，真实世界距离估计单元38可经配置以使用立体三角测量技术确定由立体摄像机42拍摄的到真实世界对象的距离。真实世界距离估计单元38可经配置以找到由立体摄像机42生成的不同图像中的对应点，且在给定鉴于不同摄像机角度的对应点的相对位置的情况下确定真实世界对象(其它车辆、道路标志、障碍物、行人等)的深度。然而，用于确定到真实世界对象的距离的其它技术的任何范围可与系统10一起使用。真实世界距离估计单元38可经配置以连续地确定及更新系统10与一或多个真实世界对象之间的距离(或车辆系统10安装在其中)。
距离估计单元30可进一步包括车辆操作信息单元40。车辆操作信息单元40可经配置以存取关于使用系统10的车辆的当前操作的信息。此信息可包含车辆的速度、车辆的加速度、车辆的减速度，或可用于更新车辆与其它真实世界对象之间的距离的关于车辆的当前操作的任何其它信息。车辆信息可结合由立体摄像机42产生的图像的距离确定一起使用，以帮助更新距离信息。可用于更新距离信息的其它车辆信息可包括对象避免信息(例如，来自碰撞避免系统的指示即将发生碰撞的指示)，指示车道偏离的信息(例如，来自车道偏离警告系统)，及/或指示车道变换辅助系统已被激活的信息(例如，在车道偏离警告系统指示车辆正在离开其车道的实例中)。
真实世界距离估计单元38还可经配置以使用计算机视觉及/或图像辨识技术来识别正在计算距离的真实世界对象的类型。例如，距离估计单元38可使用图像识别技术来识别真实世界对象为另一辆汽车、道路标志、障碍物等。然后，距离估计单元30可将到真实世界对象的距离以及真实世界对象的类型的识别两者提供到娱乐信息及位置注释逻辑36。以此方式，娱乐信息及位置注释逻辑36可针对已识别的真实世界对象选择适当的注释进行显示。
在图6的实例中，位置检测单元26可包含GPS接收器32、GPS POI数据库34，以及上述娱乐信息及位置注释逻辑36。GPS接收器32为经配置以从GPS卫星接收卫星信号以便确定系统10的当前位置的接收器。然而，应注意，可使用用于确定系统10的位置及/或定位的任何技术，且本发明并不限于GPS。GPS POI数据库为固定POI的位置的数据库。通过确定系统10的当前位置以及系统10附近的POI的位置，娱乐信息及位置注释逻辑36可确定系统10与POI之间的距离。在一些实例中，娱乐信息及位置注释逻辑36可实施为在处理器(例如，处理器12)上执行的软件。在其它实例中，娱乐信息及位置注释逻辑36可实施为专用硬件(例如，ASIC)，或硬件及软件的组合。
娱乐信息及位置注释逻辑36可确定要显示哪些注释及多少注释。要显示的注释可为预定的，或可由用户选择。例如，使用图1的用户界面20，用户可选择要显示的车辆信息(路线、速度、里程等)。另外，用户可指示要为其显示注释的特定POI或多个POI(例如，特定企业、企业类型、道路交叉点、公园等)。
为了呈现要显示的注释，娱乐信息及位置注释逻辑36可经配置以指示要显示的注释的类型，用于呈现注释的焦点距离，以及呈现注释的显示器的视野中的位置。娱乐信息及位置注释逻辑36可向处理器12提供图形API命令44(例如，以OpenGL或DirectX格式)。API命令44还可包含定义定义可由显示器18显示的视野的多个虚拟摄像机角度(即，多个视图)的多视图视口的信息，及定义多个摄像机角度中的每一者的MVP矩阵的信息。关于API命令、多视图视口及MVP信息的技术将在下文大体地，且将参考图7至9更详细地论述。
执行HUD驱动器48的处理器12可以一方式转换API命令44使得可在单遍次为多个视图中的每一者呈现注释。首先，通过执行HUD呈现API转换46，处理器12可将多视图视口信息转换为用于多个视图中的每一者的单独视口命令。另外，通过执行HUD呈现API 46，处理器12可为多个虚拟摄像机角度(即视图)中的每一者生成MVP矩阵。另外，将任何共用命令(即，并非多视图特定的)传递到由处理器12执行的多视图转换进程52。
执行多视图转换进程52的处理器12可将由HUD呈现API转换46产生的命令重新布置成分层缓冲器布置。多视图转换进程52将特定视图特有的命令放入至第一较高级缓冲器中。在第一较高级缓冲器中的命令中为在一或多个第二较低级缓冲器中执行一或多个命令的指针。第二较低级缓冲器中的命令为所有视图共用的。以此方式，GPU 14能够针对不同视图中的每一者执行命令，而处理器12不需要为每一视图重新提交共用命令。
图7更详细地展示由在处理器12上执行的HUD呈现API转换46接收的API命令44。命令MultiViewPort(x、y、宽度、高度)定义要呈现的整个屏幕大小的原点的位置(即，x、y位置)，以及整个屏幕的宽度及高度。图7的实例描绘OpenGL命令，但应理解可使用任何图形API。如图7中所展示，HUD呈现API转换46经配置以将MultiViewPort命令转换为关于要呈现的多个视图中的每一者的元数据(即，视图(V11)到视图(Vmn))。在图7的实例中，将25个不同视图呈现到多视图图块152中。每一视图由Vmn指定，其中m为多视图图块152中的视图的行，且n为多视图图块152中的视图的列。每一视图表示来自特定虚拟摄像机角度的整个呈现场景，其中每一视图具有不同的摄像机角度。当由光场投影显示器(例如，显示器18)组合及显示时，所显示的图像可包含多个不同焦距的注释(即，图像为具有感知深度的立体图像)。
HUD呈现API转换46将命令MultiViewPort(x、y、宽度、高度)转换为元数据，所述元数据指示用于多视图块152的特定视图中的每一者的多个glViewPort命令。HUD呈现API 46添加标记每一视图的每一glViewPort命令的开始的Meta开始视图(Vmn)命令。HUD呈现API46还添加了标记每一视图的每一glViewPort命令的结束的一个Meta结束命令。glViewPort命令指示多视图块152中的每一视图的位置。
图8为说明可如何将原始MultiViewPort命令转换成用于多个视图中的每一者的多个视口命令的概念图。在此实例中，存在25个视图Vmn(即，V11到V55)，其中m表示视图的行，n表示视图的列。如上文所论述，原始MultiViewPort表示要显示的整个屏幕150。屏幕150由原点(X0，YO)以及宽度及高度定义。每一视图的宽度(vw)由整个屏幕150的宽度除以总列数(m)来定义。也就是说，vw＝宽度/m。每一视图高度(vh)由整个屏幕150的高度除以行数(n)来定义。也就是说，vh＝高度/n。
HUD呈现API转换46可使用以下方程式确定每一视口Vmn的原点：Vmn视口原点＝(X0+(m-1)*vw，Y0+(n-1)*vh)。然后将每一单独视口Vmn定义为(X0+(m-1)*vw，Y0+(n-1)*vh，vw，vh)。例如，假设X0＝0且Y)＝0，视图V11的原点将为(0+(1-1)*vw，0+(1-1)*vh)＝(0,0)。视图V12的原点将为(0+(2-1)*vw，0+(1-1)*vh)＝(vw，0)。视图V55的原点将为(0+(5-1)*vw，0+(5-1)*vh)＝(4vw，4vh)。
回到图7，任何共用命令(即，非视图特定命令)可存储在视口元数据下方。实例性共用命令可包含glClear、glTexSubImage2D、glBindTexture、glActiveTexture、glUseprogram。上述命令为openGL API中的呈现命令。并非特定视图所特有的任何呈现命令(而不仅仅是所列出的那些)均可被视为共用命令。此些共用命令可为用于呈现对于每个视图相同的视图的任何命令。
HUD呈现API转换46还可将用于整个屏幕的多视图统一矩阵信息(MultiviewUniformmatrix4fv(...，MVP)转换为用于多个视图中的每一者的MVP矩阵。与视口信息类似，HUD呈现API 46可分别利用Meta开始视图(Vmn)命令及Meta结束命令为每一视图指定MVP矩阵信息的开始及结束。此外，任何共用命令(即，非视图特定命令)可存储在MVP元数据下方。实例性共用命令可以包括glVertexAttribPointer、glEnableVertextAttribArray及glDrawArrays。此些共用命令可为用于呈现对于每个视图相同的视图的任何命令。
每一视图的MVP矩阵可由命令glUniformmatrix4fv(...，MVPmn)定义，其中每一视图具有其自己的MVP矩阵。MVP矩阵为三个矩阵，其包含模型、视图及投影矩阵。视图及投影矩阵基于每一视图的摄像机角度而改变。模型矩阵将对象(例如，注释)局部坐标空间映射到世界空间。模型矩阵还定义注释的比例及旋转。视图矩阵将视图从世界空间映射到相机空间。投影矩阵将相机空间投影到屏幕空间以供显示。下面将论述如何为每一视图确定MVP矩阵。
每一视图基于世界空间中的不同摄像机位置。在显示器18为投影显示器的实例中，视图的数量可由用于投影显示器的针孔或小透镜的数目来定义。在本发明的一个实例中，生成25个不同视图。较少视图将以牺牲3D保真度为代价加快处理速度。更多视图将以牺牲处理速度为代价来提高3D保真度。
用于居中相机位置的组合MVP矩阵经定义为MVP＝P*V*M。也就是说，投影矩阵、视图矩阵及模型矩阵一起相乘。模型矩阵M对于每一视图为相同的：M＝V-1×P-1×MVP。V-1及P-1分别为倒置图矩阵及倒置投影矩阵。然而，视图矩阵及投影矩阵基于每一视图的相机位置及视锥(frustum)而不同。摄像机位置及视锥可经预定义并存储在可由处理器12存取的存储器中的配置文件中。因此，任何特定视图的MVP(标记为MVP')可经定义为MVP'＝P'*V'*M。同样，模型矩阵M对于所有视图为相同的。
如图9中所展示，例如由距离估计单元30确定的真实世界距离200可由处理器12使用距离变换进程202转换为3D模型对象距离204。换句话说，距离变换进程202将真实世界距离转换为3D模型空间中的距离。距离变换进程202通过将真实世界距离200乘以3D世界空间与真实世界空间的比率(称作RatioOf3DWorldByRealWorld)来实现。RatioOf3DWorldByRealWorld定义如下：
WidthOfProjectionPlane 208为在给定虚拟相机206距投影平面212的距离(DistanceOfProjectionPlane 210)的情况下定义可由虚拟相机206收集的光场的宽度的变量。投影平面212为将3D世界中的对象投影于其的平面(例如，投影，标记为图9中的3D模型对象的注释)。在本发明的实例中，投影平面212可为小透镜阵列或针孔掩模。变量PhysicalDimensionOfDisplayWidth为实际物理显示器的宽度。变量fov为在给定WidthOfProjectionPlane 208及DistanceOfProjectionPlane 210的情况下由摄像机206可见的视野(例如，由角度定义)。tan表示正切运算。
图10为展示如何将MVP矩阵应用于特定相机视图(即，3D对象)的注释以便例如通过GPU 14呈现注释的流程图。首先，3D对象(例如，注释))顶点数据通过GPU 14(220)获得。可预定义注释中的每一者的几何形状并将其存储在存储器(例如，系统存储器16)中。可使用上文关于图9所论述的技术来确定3D对象在世界空间中的位置。然后GPU14可应用模型矩阵M到3D对象的顶点数据220以产生已变换眼睛/相机坐标(222)。例如，矩阵模型M可将注释平移至位置(X、Y、distance_of_object)，其中X及Y为针对特定相机视图定义的3D世界空间中的坐标，distance_of_object为3D世界中注释相对于虚拟相机的Z距离，例如，如使用上文参考图9所描述的技术确定。如上文所提及，模型矩阵对于每一摄像机视图为相同的。可预定义模型矩阵并确定如何平移、旋转及缩放注释。
接下来，GPU 14将投影矩阵(P)应用于变换的眼睛/相机坐标以在焦点(投影)平面(224)上产生剪切及归一化的装置坐标。投影矩阵(P)对于摄像机视图中的每一者为不同的。下文将更详细地论述如何确定投影矩阵。然后，GPU 14将视图矩阵(V)应用于剪切及标准化的装置坐标，以产生可被光栅化及纹理映射的像素(226)。视图矩阵(V)对于摄像机视图中的每一者也为不同的。下面还将更详细地论述如何确定视图矩阵。
视图矩阵(V)的实例在图11中展示。右坐标right_x、right_y及right_z为来自摄像机的右矢量(X方向)的坐标。向上坐标Up_x、Up_y及Up_z为来自摄像机的向上矢量(Y方向)的坐标。查看坐标Look_x、Look_y及Look_z是来自摄像机的查看矢量(Z方向)的坐标。位置坐标-(Right*Position)，-(Up*Position)及-(Look*Position)表示在给定特定虚拟相机在空间中的位置的情况下空间的平移。如此，可看出，在给定相机的相对位置的情况下，可针对每一相机视图改变视图矩阵。此外，可预定义摄像机视图的数目及摄像机的相对位置并将其存储在系统存储器16中的配置文件中。
视图矩阵(V)的实例在图12中展示。术语近、远、右、左、顶部及底部的定义将相对于图13定义。照相机206的视锥为在给定特定虚拟摄像机的位置及视野的情况下在屏幕上出现的3D世界空间的区域。视锥被定义为相对于近平面234、焦点(投影)平面212及远平面232具有3D形状。如上文所论述，投影平面212为投影3D世界中的对象(例如，注释)的平面。远平面232及近平面234可为预先确定并存储在系统存储器16中的配置文件中。远平面232表示远离摄像机206的可在其处呈现3D世界空间中的对象的最远点。近平面234表示可在其处呈现3D世界空间中的对象的距摄像机206最近的点。视锥是由远平面232、投影平面212及近平面234界定的金字塔形状。视锥外的任何对象都不会被呈现。
参考图12中的投影矩阵(P)，far简单地是指远平面232且near是指近平面234。Left是指通过近平面234的左边缘延伸到远平面232的左边缘所界定的平面。Top是指通过近平面234的顶部边缘延伸到远平面232的顶部边缘所界定的平面。Right是指通过近平面234的右边缘延伸到远平面232的右边缘所界定的平面。Bottom是由近平面234的底部边缘延伸到远平面232的底部边缘所界定的平面。
图12及图13的实例是针对居中的相机视锥。然而，除了中央相机之外，所有其它虚拟相机视图将偏移预定相机间隔距离(例如，Camera_separation_distanceX及Camera_separation_distanceY)。也就是说，每一虚拟相机将在X方向及Y方向两者上处于3D世界空间中的不同位置。用于居中的相机视锥的投影矩阵P可存储在存储在系统存储器16中的配置文件中。其它相机的左平面(left')、右平面(right')、顶部平面(top')及底部平面(bottom')的更新值可基于预定的相机间隔距离(例如，Camera_separation_distanceX及Camera_separation_distanceY)计算，如下文所展示：
如此，每一不同的相机视图将具有不同的投影矩阵。
图14更详细地展示由处理器12执行的多视图转换进程52。如图14中所展示，多视图转换进程52接收由HUD呈现API转换46生成的命令。也就是说，将所有单独视图的视口中的每一者以及所有几个视图的MVP矩阵中的每一者，连同每一视图的共用命令提供到HUD驱动器48的多视图转换进程52。多视图转换进程52重新布置从HUD呈现API转换46接收的命令，并将命令存储在分层缓冲器结构中，并将命令发送到GPU驱动器56以进行进一步处理。
在一个实例中，多视图转换进程可为第一级缓冲器中的每一视图存储视口命令(例如，glViewPort)及MVP命令(例如，glUniformmatrix4fv)中的每一者。例如，如图14中所展示，V11的视口及MVP命令存储在第一级间接缓冲器160(IB1_V11)中。在一个实例中，多视图转换进程52可将视口及MVP命令存储在用于每个视图的单独的第一级间接缓冲器中。针对广义视图Vmn展示通用的第一级间接缓冲器162(IB1_Vmn)。在其它实例中，每一视图的视口及MPV命令可在单个第一级间接缓冲器中并置。
根据本发明的一个实例性技术，多视图转换进程52仅将视图特定命令(多视图命令)放置到第一级间接缓冲器(例如，缓冲器160及162)中。多视图转换进程52将非视图特定的命令(例如，共用命令)存储在一或多个第二级缓冲器中。例如，与设置视口有关的共用命令可存储在第二级间接缓冲器164(IB2_1)中，且与使用MVP矩阵进行呈现有关的共用命令可存储在第二级间接缓冲器166(IB2_2)中。
为了在第二级间接缓冲器164中执行命令，多视图转换进程包含在第一级间接缓冲器160中的指令以调用第二级间接缓冲器164(Call IB2_1)中的命令。同样地，为了在第二级间接缓冲器166中执行命令，多视图转换进程包含在第一级间接缓冲器160中的指令以调用第二级间接缓冲器166(Call IB2_2)中的命令。以此方式，所有视图共用的命令仅需要在一组第二级间接缓冲器中一次供应到GPU驱动器56。
通过执行HUD呈现API转换46及多视图转换进程52，处理器12能够生成单组命令，使得GPU 14可在一遍次中呈现由娱乐信息及位置注释逻辑36提供的注释。先前的技术原本针对每一视图需要单独的命令流，因此，在图7的实例中，在给定多视图图块152的25个视图的情况下，需要25个单独的呈现遍次。
回到图6，在执行多视图转换进程52并生成分层命令结构之后，处理器12可执行GPU驱动器56以生成在正在使用的特定GPU 14上执行所需的任何其它命令。然后，GPU 14经配置以执行由处理器12产生的命令并在多个视图中的每一者中呈现注释。然后，由GPU 14呈现的帧可以多视图块152(参见图7)的格式存储在存储器(例如，图1的系统存储器16)中。
处理器12通过执行显示驱动器58可指示显示处理器24使由GPU 14呈现的帧由显示器18显示。由GPU呈现的帧可以多视图图块格式存储，其中帧的每一图块为呈现视图中的一者。然而，可能需要不同格式的数据来使用光场显示器来显示此场景。显示处理器24经配置以将由GPU 14产生的多视图图块格式重新布置成与显示器18兼容的格式。
图15为展示从多视图图块152到光场图块170的实例转换进程的概念图。此外，如上文所述，多视图图块152中的每一视图表示要从特定虚拟摄像机角度呈现的整个帧。如此，尽管其没有在多视图图块152中并置，但在视图Vmn中的每一者中的对应像素在呈现场景中在空间上并置。例如，V11的左上角中的像素表示与视图V53及视图V35等中的左上角相同的场景区域，但在不同的摄像机角度。如此，显示处理器24可经配置以重新布置多视图图块152中的像素，使得所有对应的像素被分组以便形成光场图块170。
作为一个实例，光场图块170的第一显示行将包含来自多视图图块152的第一行视图中的所有视图(即，视图V11、V12、V13、V14、V15)的第一行的所有像素。然而，如上文所述，显示处理器24重新布置像素，使得视图V11的左上角中的像素为第一个，接着为V12的左上角中的像素，接着为V13的左上角中的像素，等等。一旦到达视图V15的左上角中的像素，那么光场图块170的第一显示行中的下一像素为上视线V11中的第二像素。
在光场图块170中，第二显示线不是来自第一行多视图图块152的视图中的第二行像素，而是来自第二行多视图图块152的视图(即，视图V21、V22、V23、V24、V25)中的第一行像素。对整个多视图图块152重复所述过程。
图16更详细地展示实例性光场图块170。图16的实例展示在显示器18使用小透镜阵列的情况下的光场图块布置。如下文所解释，不同的布置可用于不同类型的显示器，包含使用针孔掩模的显示器。图16的实例展示用于通过三个不同小透镜阵列投影的三个像素值的数据。光场子图块174(像素n-1)通过小透镜n-1投影，光场图块子图块176(像素n)通过小透镜n投影，且光场子图块178(像素n+1)通过小透镜n+1投影。如图26中可见，每一光场子图块包含25个像素值。这些25个像素值是从多视图图块的25个不同视图中获得的。标号pixel_n-1、pixel_n及pixel_n+1指示特定视图内像素的位置，而camera11指示特定视图(即，camera11等于V11，camera12等于V12，等)。
回到图6，在显示处理器24已生成光场图块170之后，显示处理器可经配置以将光场图块170存储在帧缓冲区中(例如，在图1的系统存储器16中)且指示下伏显示器60显示光场图块170。在其它实施例中，显示处理器24可将光场图块170直接发送到显示器18，而无需将光场图块170写入到系统存储器16。在图6的实例中，下伏显示器60可为LCD或DLP，但可使用其它类型的下伏显示器。为了引导由下伏显示器60产生的光并产生三维视野，由下伏显示器60产生的光被引导穿过针孔或小透镜阵列64。
散射光可经引导到组合器62处，以便准直散射的光并将最终显示的图像66投影回用户的视野中。组合器可62为平坦的玻璃片或其它机构(例如，分束器)，其准直光并在用户的视野内(例如，在汽车的挡风玻璃中)将光场投影回用户。
图17为展示实例性显示类型的图。在一个实例中，显示器18可使用小透镜阵列。小透镜阵列可包含用于要显示的每一像素的多个小透镜180。透镜180为透镜，其以不同的角度引导由下伏显示器60产生的光。如图17中可见，小透镜180基于小透镜180的折射焦距以大致向外的角度引导光。如此，光场子图块174的布置可由显示处理器24使用。
在另一实例中，显示器18可使用针孔掩模，包含用于要显示的每一像素的一个针孔182。如图17中所展示，屏幕像素与针孔之间的距离(Dspace)界定由针孔180产生的散射光的最大视角(MaxViewAngle)。Dspace越大，视角越大。针孔182基于间隙(Dspace)及孔位置引导由下伏显示器60产生的光。
如图17中所展示，光以与小透镜180相反的方式被针孔180散射。也就是说，最左边的屏幕像素不像小透镜180那样指向左边，而是使用针孔182指向右边。如此，布置光场子图块174不应与针孔182一起使用。相反，光场图块应从左到右反转，如由光场子图块175所展示。
返回参考图9至13，由针孔182或小透镜180产生的最大角度在给定到投影平面的预定距离(图9中的distance_of_projection_plane)的情况下确定虚拟相机在3D世界空间中的位置。针孔掩模182中特定针孔后面的像素数目确定可使用的相机视图的总数目。在本发明的一个实例中，显示器18经配置以使得每一针孔存在5×5像素矩阵。如此，每一5×5像素矩阵对应于一个摄像机视图。因此，从5x5对应的相机呈现5x5多视图图块。
图18为说明本发明的实例性方法的流程图。在本发明的一个实例中，处理器12可经配置以确定到对象的距离(300)。例如，处理器12可指示距离估计单元30确定到真实世界对象的距离。处理器12可经进一步配置以基于距离计算用于利用显示器18显示第一注释的焦距(302)。处理器12结合GPU 14及显示处理器24可呈现第一注释并以所计算焦距显示第一注释(304)。在一个实例中，显示器18为投影显示器。在其它实例中，投影显示器为使用针孔掩模的光场投影仪、使用小透镜阵列的光场投影仪，或视网膜投影仪中的一者。
在本发明的又一实例中，使用距离估计单元30的处理器12可经配置以确定到对象的更新距离。处理器12可进一步基于更新的距离计算用于显示第一注释的更新焦距，且用显示器以更新的焦距显示第一注释。
在其它实例中，处理器12可经配置以确定一或多个额外注释的相应焦距，一或多个额外注释不同于第一注释，且在其相应焦距处显示一或多个额外注释。在一个实例中，确定到对象的距离包括以一系列时间间隔连续地确定到对象的距离，且计算焦距包括基于一系列时间间隔处的距离连续地计算焦距。
在本发明的其它实例中，GPU 14可经配置以在多个视图处呈现第一注释。在此实例中，处理器12可经配置以接收多个视图的多视图视口，接收多个视图的模型视图投影，生成所述多个视图中的每一相应视图的相应视口，生成多个视图中的每一相应视图的相应模型视图投影，将多个视图中的每一相应视图所特有的第一命令存储在用于所示多个视图中的每一相应视图的相应第一级缓冲器中，及将为所述多个视图中的每一相应视图共用的第二命令存储在第二级缓冲器中，其中相应第一级缓冲器中的第一命令调用第二级缓冲器中的第二命令。GPU 14可经配置以呈现第一注释包括针对多个视图中的每一者执行相应第一级缓冲器。
在本发明的另一实例中，所呈现的第一注释以多视图图块格式存储。在此实例中，显示处理器24可经配置以将呈现的第一注释从多视图图块格式转换为光场图块格式。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合实施。如果以软件实施，那么所述功能可作为一或多个指令或代码存储于计算机可读媒体上或者经由计算机可读媒体发射且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体。以此方式，计算机可读媒体通常可对应于非暂时性的有形计算机可读存储媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例的方式且非限制性，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用于以指令或数据结构的形式存储所要代码且可由计算机存取的其它媒体。应理解，计算机可读存储媒体及数据存储媒体不包含载波、信号或其它暂时性媒体，但替代地针对非暂时性、有形存储媒体。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。上述各项的组合还应包括在计算机可读媒体的范围内。
指令可由一或多个处理器执行，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供在经配置以用于编码及解码或并入于组合式编解码器中的专用硬件及/或软件模块内。此外，技术可以一或多个电路或逻辑元件来完全实施。
本发明的技术可以广泛各种装置或装备(包含无线手机、集成电路(IC)或IC组(例如，芯片组))实施。各种组件、模块或单元在本发明中经描述以强调经配置以执行所揭示技术的装置的功能方面，而未必需要由不同硬件单元实现。确切来说，如上文所描述，各种单元可以编解码硬件单元组合或通过交互操作硬件单元(包含如上文所描述的一或多个处理器)的集合结合适合软件及/或固件提供。
已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (30)

1.一种用于信息显示的方法，所述方法包括：
确定到对象的距离；
基于所述距离计算用于用显示器显示第一注释的焦距；及
用所述显示器在所述焦距处显示所述第一注释。
2.根据权利要求1所述的方法，其进一步包括：
确定到所述对象的经更新距离；
基于所述经更新距离而计算用于显示所述第一注释的经更新焦距；及
用所述显示器在所述经更新焦距显示所述第一注释。
3.根据权利要求2所述的方法，其进一步包括：
确定用于一或多个额外注释的相应焦距，所述一或多个额外注释不同于所述第一注释；及
在其相应焦距处显示所述一或多个额外注释。
4.根据权利要求1所述的方法，其中确定到所述对象的所述距离包括以一系列时间间隔连续地确定到所述对象的所述距离，且
其中计算所述焦距包括基于所述时间间隔中的每一者处的所述距离而连续计算所述焦距。
5.根据权利要求1所述的方法，其中所述显示器为投影显示器。
6.根据权利要求5所述的方法，其中所述投影显示器为使用针孔掩模的光场投影仪、使用小透镜阵列的光场投影仪或视网膜投影仪中的一者。
7.根据权利要求1所述的方法，其进一步包括：
用图形处理单元GPU在多个视图处呈现第一注释。
8.根据权利要求7所述的方法，其进一步包括：
接收所述多个视图的多视图视口；
接收所述多个视图的模型视图投影；
生成所述多个视图中的每一相应视图的相应视口；
生成所述多个视图中的每一相应视图的相应模型视图投影；
将所述多个视图中的每一相应视图所特有的第一命令存储在用于所述多个视图中的每一相应视图的相应第一级缓冲器中；及
将为所述多个视图中的每一相应视图共用的第二命令存储在第二级缓冲器中，其中所述相应第一级缓冲器中的所述第一命令调用所述第二级缓冲器中的所述第二命令，且
其中呈现所述第一注释包括针对所述多个视图中的每一者执行所述相应第一级缓冲器。
9.根据权利要求8所述的方法，其中所述所呈现第一注释以多视图图块格式存储，所述方法进一步包括：
用显示处理器将所述所呈现第一注释从所述多视图图块格式转换为光场图块格式。
10.一种用于信息显示的设备，所述设备包括：
存储器，其经配置以存储注释；及
一或多个处理器，其经配置以：
确定到对象的距离；
基于所述距离计算用于用显示器显示第一注释的焦距；及
在所述焦距处显示所述第一注释。
11.根据权利要求10所述的设备，其中所述一或多个处理器经进一步配置以：
确定到所述对象的经更新距离；
基于所述经更新距离而计算用于显示所述第一注释的经更新焦距；及
用所述显示器在所述经更新焦距显示所述第一注释。
12.根据权利要求11所述的设备，其中所述一或多个处理器经进一步配置以：
确定用于一或多个额外注释的相应焦距，所述一或多个额外注释不同于所述第一注释；及
在其相应焦距处显示所述一或多个额外注释。
13.根据权利要求10所述的设备，其中为了确定到所述对象的所述距离，所述一或多个处理器经配置以按一系列时间间隔连续地确定到所述对象的所述距离；及
其中为了计算所述焦距，所述一或多个处理器经配置以基于所述系列时间间隔处的所述距离连续地计算所述焦距。
14.根据权利要求10所述的设备，其进一步包括：
所述显示器。
15.根据权利要求14所述的设备，其中所述处理器为投影显示器。
16.根据权利要求15所述的设备，其中所述投影显示器为使用针孔掩模的光场投影仪、使用小透镜阵列的光场投影仪或视网膜投影仪中的一者。
17.根据权利要求10所述的设备，其中所述一或多个处理器包含中央处理单元及图形处理单元。
18.根据权利要求17所述的设备，其中所述图形处理单元经配置以在多个视图处呈现所述第一注释。
19.根据权利要求18所述的设备，其中所述中央处理单元经进一步配置以：
接收所述多个视图的多视图视口；
接收所述多个视图的模型视图投影；
生成所述多个视图中的每一相应视图的相应视口；
生成所述多个视图中的每一相应视图的相应模型视图投影；
将所述多个视图中的每一相应视图所特有的第一命令存储在用于所述多个视图中的每一相应视图的相应第一级缓冲器中；及
将为所述多个视图中的每一相应视图共用的第二命令存储在第二级缓冲器中，其中所述相应第一级缓冲器中的所述第一命令调用所述第二级缓冲器中的所述第二命令，且
其中为了呈现所述第一注释，所述图形处理单元经配置以针对所述多个视图中的每一者执行所述相应第一级缓冲器。
20.根据权利要求19所述的设备，其中所述所呈现第一注释以多视图图块格式存储，且其中所述设备进一步包括显示处理器，所述显示处理器经配置以：
将所述所呈现第一注释从所述多视图图块格式转换为光场图块格式。
21.一种设备信息显示器，所述设备包括：
用于确定到对象的距离的装置；
用于基于所述距离计算用于用显示器显示第一注释的焦距的装置；及
用于在所述焦距处显示所述第一注释的装置。
22.根据权利要求21所述的设备，其进一步包括：
用于确定到所述对象的经更新距离的装置；
用于基于所述经更新距离而计算用于显示所述第一注释的经更新焦距的装置；及
用于用所述显示器在所述经更新焦距显示所述第一注释的装置。
23.根据权利要求21所述的设备，其进一步包括：
用于在多个视图处呈现所述第一注释的装置。
24.根据权利要求23所述的设备，其进一步包括：
用于接收所述多个视图的多视图视口的装置；
用于接收所述多个视图的模型视图投影的装置；
用于生成所述多个视图中的每一相应视图的相应视口的装置；
用于生成所述多个视图中的每一相应视图的相应模型视图投影的装置；
用于将所述多个视图中的每一相应视图所特有的第一命令存储在用于所述多个视图中的每一相应视图的相应第一级缓冲器中的装置；及
用于将为所述多个视图中的每一相应视图共用的第二命令存储在第二级缓冲器中，其中所述相应第一级缓冲器中的所述第一命令调用所述第二级缓冲器中的所述第二命令的装置，且
其中所述用于呈现所述第一注释的装置包括用于针对所述多个视图中的每一者执行所述相应第一级缓冲器的装置。
25.根据权利要求24所述的设备，其中所述所呈现第一注释以多视图图块格式存储，所述设备进一步包括：
用于将所述所呈现第一注释从所述多视图图块格式转换为光场图块格式的装置。
26.一种计算机可读存储媒体，其存储指令，所述指令在被执行时致使一或多个处理器进行以下操作：
确定到对象的距离；
基于所述距离计算用于用显示器显示第一注释的焦距；及
在所述焦距处显示所述第一注释。
27.根据权利要求26所述的计算机可读存储媒体，其中所述指令进一步致使所述一或多个处理器：
确定到所述对象的经更新距离；
基于所述经更新距离而计算用于显示所述第一注释的经更新焦距；及
用所述显示器在所述经更新焦距显示所述第一注释。
28.根据权利要求26所述的计算机可读存储媒体，其中所述指令进一步致使所述一或多个处理器：
在多个视图处呈现所述第一注释。
29.根据权利要求28所述的计算机可读存储媒体，其中所述指令进一步致使所述一或多个处理器：
接收所述多个视图的多视图视口；
接收所述多个视图的模型视图投影；
生成所述多个视图中的每一相应视图的相应视口；
生成所述多个视图中的每一相应视图的相应模型视图投影；
将所述多个视图中的每一相应视图所特有的第一命令存储在用于所述多个视图中的每一相应视图的相应第一级缓冲器中；及
将为所述多个视图中的每一相应视图共用的第二命令存储在第二级缓冲器中，其中所述相应第一级缓冲器中的所述第一命令调用所述第二级缓冲器中的所述第二命令，且
其中呈现所述第一注释包括针对所述多个视图中的每一者执行所述相应第一级缓冲器。
30.根据权利要求29所述的计算机可读存储媒体，其中所述所呈现第一注释以多视图图块格式存储，且其中所述指令进一步致使所述一或多个处理器：
将所述所呈现第一注释从所述多视图图块格式转换为光场图块格式。
CN201780023942.3A 2016-04-25 2017-03-09 加速光场显示器 Active CN109076208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/137,981 2016-04-25
US15/137,981 US10055867B2 (en) 2016-04-25 2016-04-25 Accelerated light field display
PCT/US2017/021584 WO2017189101A1 (en) 2016-04-25 2017-03-09 Accelerated light field display

Publications (2)

Publication Number Publication Date
CN109076208A true CN109076208A (zh) 2018-12-21
CN109076208B CN109076208B (zh) 2019-08-30

Family

ID=58545188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780023942.3A Active CN109076208B (zh) 2016-04-25 2017-03-09 加速光场显示器

Country Status (8)

Country Link
US (1) US10055867B2 (zh)
EP (1) EP3449629B1 (zh)
JP (1) JP6580800B2 (zh)
KR (1) KR101940971B1 (zh)
CN (1) CN109076208B (zh)
BR (1) BR112018071858A2 (zh)
CA (1) CA3018205C (zh)
WO (1) WO2017189101A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326118A (zh) * 2020-05-15 2022-04-12 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10948148B2 (en) * 2015-05-26 2021-03-16 Lumileds Llc Lighting device with multiple-focus mode
US10634909B2 (en) * 2016-02-08 2020-04-28 Nippon Seiki Co., Ltd. Display device and head-up display
US10521952B2 (en) 2016-04-12 2019-12-31 Quidient, Llc Quotidian scene reconstruction engine
JP6940361B2 (ja) * 2017-10-10 2021-09-29 マクセル株式会社 情報表示装置
KR102306790B1 (ko) 2017-11-08 2021-09-30 삼성전자주식회사 컨텐츠 시각화 장치 및 방법
US10275934B1 (en) * 2017-12-20 2019-04-30 Disney Enterprises, Inc. Augmented video rendering
US10634913B2 (en) * 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
WO2019213450A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
US10638151B2 (en) * 2018-05-31 2020-04-28 Verizon Patent And Licensing Inc. Video encoding methods and systems for color and depth data representative of a virtual reality scene
JP7026325B2 (ja) * 2018-06-21 2022-02-28 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
JP7008220B2 (ja) * 2018-06-21 2022-01-25 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
WO2020061714A1 (en) * 2018-09-28 2020-04-02 Peckham Jordan Direct projection light field display
US11119253B2 (en) 2018-09-28 2021-09-14 Avalon Holographics Inc. Direct projection light field display
WO2020072034A1 (en) * 2018-10-01 2020-04-09 Leia Inc. Holographic reality system, multiview display, and method
JP6833790B2 (ja) 2018-10-19 2021-02-24 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
KR102652943B1 (ko) * 2018-12-03 2024-03-29 삼성전자주식회사 3차원 영상 출력 방법 및 그 방법을 수행하는 전자 장치
US11935200B2 (en) * 2022-03-18 2024-03-19 GM Global Technology Operations LLC System and method for displaying infrastructure information on an augmented reality display
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885582A (zh) * 2012-12-19 2014-06-25 辉达公司 近眼微透镜阵列显示器
US20150189266A1 (en) * 2013-01-24 2015-07-02 Yuchen Zhou Method and apparatus to project image on retina at various focal depths utilizing flexible substrate containing optical array
CN104866434A (zh) * 2015-06-01 2015-08-26 北京圆通慧达管理软件开发有限公司 面向多应用的数据存储系统和数据存储、调用方法
CN105209960A (zh) * 2013-05-17 2015-12-30 辉达公司 为近眼光场显示器生成图像的系统、方法和计算机程序产品
CN105579979A (zh) * 2013-07-25 2016-05-11 格罗方德半导体公司 具有可依据多于一组的规则和/或配置分割、联合并管理的多个缓存的三维处理系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310103B2 (en) * 2002-03-05 2007-12-18 Sun Microsystems, Inc. Pipelined 2D viewport clip circuit
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
GB2489454A (en) * 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
JP5792607B2 (ja) * 2011-12-09 2015-10-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US9251555B2 (en) * 2012-06-08 2016-02-02 2236008 Ontario, Inc. Tiled viewport composition
US9030749B2 (en) * 2012-08-01 2015-05-12 Microvision, Inc. Bifocal head-up display system
KR101957943B1 (ko) * 2012-08-31 2019-07-04 삼성전자주식회사 정보 제공 방법 및 이를 위한 정보 제공 차량
KR20140070861A (ko) * 2012-11-28 2014-06-11 한국전자통신연구원 멀티 모달 ｈｍｉ 제어 장치 및 방법
KR101409846B1 (ko) * 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
US9164281B2 (en) * 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9064420B2 (en) 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
DE202014010839U1 (de) * 2013-05-15 2016-11-16 Google Inc. Effizientes Einholen von Kartendaten während der Animation
JP2015054598A (ja) * 2013-09-11 2015-03-23 本田技研工業株式会社 車両用表示装置
US10142607B2 (en) * 2013-10-31 2018-11-27 Ati Technologies Ulc Single display pipe multi-view frame composer method and apparatus
WO2015145935A1 (ja) * 2014-03-27 2015-10-01 パナソニックＩｐマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム、及び乗物
US20160140760A1 (en) * 2014-11-13 2016-05-19 Upton Beall Bowden Adapting a display on a transparent electronic display
US9792663B2 (en) * 2014-12-15 2017-10-17 Microsoft Technology Licensing, Llc User-defined command buffer formats supporting data-parallel translation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103885582A (zh) * 2012-12-19 2014-06-25 辉达公司 近眼微透镜阵列显示器
US20150189266A1 (en) * 2013-01-24 2015-07-02 Yuchen Zhou Method and apparatus to project image on retina at various focal depths utilizing flexible substrate containing optical array
CN105209960A (zh) * 2013-05-17 2015-12-30 辉达公司 为近眼光场显示器生成图像的系统、方法和计算机程序产品
CN105579979A (zh) * 2013-07-25 2016-05-11 格罗方德半导体公司 具有可依据多于一组的规则和/或配置分割、联合并管理的多个缓存的三维处理系统
CN104866434A (zh) * 2015-06-01 2015-08-26 北京圆通慧达管理软件开发有限公司 面向多应用的数据存储系统和数据存储、调用方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326118A (zh) * 2020-05-15 2022-04-12 华为技术有限公司 一种多焦图像生成装置、抬头显示装置、相关方法及设备

Also Published As

Publication number Publication date
BR112018071858A2 (pt) 2019-02-19
KR20180120270A (ko) 2018-11-05
KR101940971B1 (ko) 2019-01-22
JP6580800B2 (ja) 2019-09-25
EP3449629B1 (en) 2020-12-02
CA3018205C (en) 2019-09-10
CN109076208B (zh) 2019-08-30
JP2019519835A (ja) 2019-07-11
WO2017189101A1 (en) 2017-11-02
US10055867B2 (en) 2018-08-21
CA3018205A1 (en) 2017-11-02
EP3449629A1 (en) 2019-03-06
US20170309049A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
CN109076208B (zh) 加速光场显示器
KR102233052B1 (ko) 혼합 현실의 등급을 매긴 정보 전달
CN109313470B (zh) 利用重新投影的锐利文本绘制
US11373357B2 (en) Adjusting depth of augmented reality content on a heads up display
CN112513712B (zh) 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN102521852B (zh) 一种独立于三维场景空间的目标标签表现方法
CN110419061B (zh) 混合现实系统及使用该系统生成虚拟内容的方法
US20180300952A1 (en) Multi-Step Placement of Virtual Objects
JP2020515954A (ja) 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
KR20200067641A (ko) 3차원 증강 현실을 위한 캘리브레이션 방법 및 그 장치
CN101414383A (zh) 图像处理设备和图像处理方法
CN108230433A (zh) 3d地图散点数据展示方法及系统、信息数据处理终端
US20180061119A1 (en) Quadrangulated layered depth images
US20180330546A1 (en) Wind rendering for virtual reality computing device
TW201503050A (zh) 三維資料視覺化技術
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
Goktan et al. Augmented reality appendages for robots: Design considerations and recommendations for maximizing social and functional perception
CN110119199B (zh) 实时渲染影像的追踪系统、方法及非暂态电脑可读取媒体
US20230169680A1 (en) Beijing baidu netcom science technology co., ltd.
CN104995913A (zh) 立体图像输出系统
Zair Collision warning design in automotive head-up displays
CN117197408A (zh) 基于osgEarth3D仿真环境标牌自动避让方法、装置、介质及设备
JP4699119B2 (ja) 三次元画像表示装置
CN115048071A (zh) 具有图层映射的多层显示器
KR20230018170A (ko) 3d 고속 렌더링을 위한 3d 데이터 변환 및 사용 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant