CN114637112A - 用于提供3d增强现实的增强现实装置及其操作方法 - Google Patents

用于提供3d增强现实的增强现实装置及其操作方法 Download PDF

Info

Publication number
CN114637112A
CN114637112A CN202111527501.1A CN202111527501A CN114637112A CN 114637112 A CN114637112 A CN 114637112A CN 202111527501 A CN202111527501 A CN 202111527501A CN 114637112 A CN114637112 A CN 114637112A
Authority
CN
China
Prior art keywords
image
augmented reality
light
waveguide
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111527501.1A
Other languages
English (en)
Inventor
亚历山大·维克托维奇·莫罗佐夫
伊戈尔·维塔利耶维奇·雅努斯基
阿纳斯塔西亚·安德烈夫纳·加里宁娜
李振镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2020141527A external-priority patent/RU2760473C1/ru
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114637112A publication Critical patent/CN114637112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114—Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供了一种用于提供3D增强现实的增强现实装置及其操作方法。所述增强现实装置包括：多视图图片生成单元，被配置为生成包括具有各自的个体特性的多个单视图图像的多视图图片，并生成包括生成的多视图图片的出射光瞳；波导，被配置为复制通过多视图图片生成单元生成的出射光瞳；以及适眼区视区生成单元，被配置为基于个体特性分离所述多个单视图图像，并且通过在与所述多个单视图图像的视图对应的适眼区中的多个视区中输出所述多个单视图图像来生成三维(3D)图像。

Description

用于提供3D增强现实的增强现实装置及其操作方法
本申请要求于2020年12月16日在俄罗斯联邦知识产权局提交的第2020141527号俄罗斯专利申请和于2021年7月9日在韩国知识产权局提交的第10-2021-0090286号韩国专利申请的优先权，所述俄罗斯专利申请和所述韩国专利申请的公开通过引用全部包含于此。
技术领域
示例实施例涉及用于提供三维(3D)增强现实的增强现实装置及其操作方法。
背景技术
增强现实(AR)通过将虚拟图像叠置在真实对象上来为用户提供新的体验。例如，AR可被应用于各种AR装置(诸如，作为眼镜型AR装置的AR眼镜和AR平视显示器(HUD)装置)。
目前，HUD装置在汽车工业中的使用变得越来越流行。HUD装置可在距驾驶员有限距离或无限距离处生成虚拟图像，并且通过虚拟图像向用户提供关于车辆速度、引擎状态、电话呼叫等的信息。通过其他外部装置提供这样的信息可能使用户分心。用户可在保持眼睛向前的同时，通过HUD装置专注于道路或周围环境。
AR和三维(3D)图像可在HUD装置中被组合，从而提高驾驶期间的安全性。例如，导航信息(诸如，车道和路线标记)以及关于风险因素(例如，建筑、交通事故和行人)的信息可通过AR和3D HUD图像被显示在道路上或风险因素的实际位置处，并且驾驶员可直观地识别显示在实际位置处的信息。
发明内容
一个或多个示例实施例至少可解决以上问题和/或缺点以及以上未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述任何问题。
根据示例实施例的方面，提供了一种增强现实装置，所述增强现实装置包括：多视图图片生成单元，被配置为生成包括具有各自的个体光学特性的多个单视图图像的多视图图片，并生成包括生成的多视图图片的出射光瞳；波导，被配置为复制通过多视图图片生成单元生成的出射光瞳；以及适眼区视区生成单元，被配置为基于个体特性分离所述多个单视图图像，并且通过在与所述多个单视图图像的视图对应的适眼区中的多个视区中输出所述多个单视图图像来生成三维图像。
所述多个单视图图像可具有相同的视场(FOV)。
多视图图片生成单元可包括至少一个光源、光束组合器、至少一个图像源和投影光学器件。
多视图图片生成单元可包括至少两个光源，每个光源被配置为发射具有一个波长的光或具有不同波长的光，并且所述至少两个光源可被配置为根据控制信号同时或以交替的方式发射光。
光束组合器被配置为混合并组合来自不同光源的光，并将混合后的光输出到图像源。
光束组合器可以是具有允许光沿预定方向被反射或重定向的反射涂层的光学元件。
光学元件可以是具有二向色涂层的玻璃板或具有具备棱镜图案或衍射图案的涂层的玻璃板。
光束组合器可以是基于波导的组合器。
波导可被配置为在复制出射光瞳时，在不同时间或同时执行X轴复制和Y轴复制。
波导可对应于平坦基底，平坦基底具有嵌入其中的耦入元件、扩展器和耦出元件。
耦入元件可被配置为以第一预定角度将光耦入波导中，扩展器可被配置为在波导内复制出射光瞳，并且耦出元件可被配置为以第二预定角度将光从波导耦出。
波导还可被配置为沿着X轴和Y轴执行同时出射光瞳复制，并且扩展器、耦入元件和耦出元件可被组合在一个以衍射元件的形式的光学元件中。
多视图图片生成单元还可被配置为生成RGB图像，并且波导可包括三个波导的组合，所述三个波导中的每个转换RGB图像中的一种颜色的图像。
多视图图片生成单元还可被配置为生成RGB图像，并且波导可包括第一波导和第二波导的组合，第一波导被配置为转换RGB图像的至少一种颜色的图像，第二波导被配置为RGB图像中的至少两种颜色的图像。
多视图图片生成单元还可被配置为生成RGB图像，并且波导可包括被配置为转换RGB图像的组合图像的单个波导。
适眼区视区生成单元可包括至少两个光学阵列的堆叠、以及被配置为基于个体光学特性来执行滤光的空间掩模。
空间掩模可被配置为在无源操作模式下基于个体特性中的波长和偏振状态中的至少一个来执行滤光。
空间掩模可被配置为通过在有源操作模式下调节个体特性的图像生成时间来执行滤光。
至少两个光学阵列的所述堆叠可被配置为向所述堆叠的输入和输出提供远摄光束路径。
所述堆叠的每个微透镜阵列可包括至少一个双凸透镜，所述至少一个双凸透镜是圆柱形透镜或球形透镜。
所述堆叠的微透镜阵列可包括第一微透镜阵列和第二微透镜阵列，并且第一微透镜阵列中的透镜的数量等于第二微透镜阵列中的透镜的数量。
所述堆叠的第一阵列可以是包括至少一个反射镜的微镜阵列，所述堆叠的第二阵列可以是至少一个圆柱形透镜阵列或球形透镜阵列，并且第一阵列中的反射镜的数量可对应于第二阵列中的透镜的数量。
所述堆叠的第一微透镜阵列可被包括在波导的耦出元件中，并且可被配置为将光耦出并将光聚焦在空间掩模上。
在无源操作模式下，空间掩模可以是具有嵌入其中的间歇的滤波器段的吸收材料的层，每个滤波器段透射预定波长的光，预定波长对应于从多视图图片生成单元的至少一个光源发射的光的波长。
滤波器段可以是二向色滤波器。
在无源操作模式下，空间掩模可被配置为基于偏振状态透射光，偏振状态是S偏振、P偏振、右旋圆偏振(RHCP)和左旋圆偏振(LHCP)中的一种。
在有源操作模式下，空间掩模可被配置为针对左眼和右眼以交替的方式显示具有一种光谱组成或偏振状态的图像。
在有源操作模式下，空间掩模的操作频率可与多视图图片生成单元的图像源的帧改变频率同步。
所述增强现实装置可包括：检测器，被配置为感测眼睛移动；以及致动器，被配置为在无源操作模式下使空间掩模移位。
所述增强现实装置可包括：检测器，被配置为感测眼睛移动；以及控制器，被配置为在有源操作模式下将图像移位量发送给空间掩模。
在有源操作模式下，可根据下面的等式基于实时的图像移位量来使空间掩模移位，Pd＝M×Δx，其中，Pd是指示移位量的动态节距，M是所述堆叠的透镜阵列的放大率，并且Δx是距参考位置的眼睛移动量。
根据另一示例实施例的方面，一种图像生成方法可包括：生成多视图图片，多视图图片包括具有各自的个体光学特性的多个单视图图像；生成包括生成的多视图图片的出射光瞳；使用波导复制出射光瞳；基于个体光学特性分离所述多个单视图图像；以及通过在与所述多个单视图图像的视图对应的适眼区中的多个视区中输出所述多个单视图图像来生成三维图像。
附图说明
通过参照附图描述特定示例实施例，以上和/或其他方面将更加清楚，其中：
图1示出根据示例实施例的生成三维(3D)图像的方案。
图2示出根据示例实施例的被配置为提供3D增强现实的元件。
图3示出根据示例实施例的多视图图片生成单元的结构。
图4示出根据示例实施例的通过适眼区视区(eyebox viewing zone)生成单元和波导(waveguide)的出射光瞳(exit pupil)图像生成的方案。
图5示出根据示例实施例的出射光瞳平面中的图像生成的方案。
图6示出根据示例实施例的空间掩模(spatial mask)的无源操作模式(passiveoperation mode)下的图像生成的方案。
图7A和图7B示出根据示例实施例的图像源和扫描镜的操作波长。
图8A至图8C示出根据示例实施例的波导的结构。
图9示出根据示例实施例的空间掩模的滤波操作。
图10A和图10B示出根据示例实施例的透镜阵列和适眼区视区生成单元的结构。
图11A和图11B示出根据示例实施例的透镜阵列LA1和LA2的堆叠下的光束路径。
图12A和图12B示出根据示例实施例的适眼区视区生成单元和波导中的光路。
图13A和图13B示出根据示例实施例的在视区中生成图像的方案。
图14A和图14B示出根据示例实施例的提供各种光源和图像源的多视图图片生成单元(PGU)的结构。
图15A和图15B示出根据示例实施例的空间掩模在有源操作模式(activeoperation mode)下的操作。
图16A至图16C示出根据示例实施例的多视图PGU在有源操作模式下的操作。
图17A至图17C示出在各种图像生成系统的适眼区中提供图像的操作。
图18示出根据示例实施例的显示图像“A”和“B”的处理。
图19A和图19B示出根据示例实施例的紧凑型可折叠光束组合器的结构。
图20示出根据示例实施例的眼镜型增强现实(AR)眼镜的结构。
具体实施方式
提供下面的详细的结构性或功能性描述仅作为示例，并且可对示例进行各种替代和修改。这里，示例不被解释为限于公开，并且应当被理解为包括在公开的理念和技术范围内的所有改变、等同物和替代物。
在此可使用术语(诸如，第一、第二等)来描述组件。这些术语中的每个不用于定义相应组件的本质、次序或顺序，而仅用于将相应组件与一个或多个其他组件进行区分。例如，第一组件可被称为第二组件，并且类似地，第二组件也可被称为第一组件。
应当注意，如果描述了一个组件“连接”、“结合”或“联结”到另一组件，则虽然第一组件可直接连接、结合或联结到第二组件，但是第三组件可“连接”、“结合”或“联结”在第一组件与第二组件之间。
除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解的是，术语“包含”和/或“包括”在此使用时，说明存在陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
当诸如“……中的至少一个”的表述在一列元素之后时，修饰整列元素而不是修饰列中的单个元素。例如，表述“a、b和c中的至少一个”应被理解为：仅包括a、仅包括b、仅包括c、包括a和b二者、包括a和c二者、包括b和c二者、包括全部的a、b和c或者上述示例的任何变形。
除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)将被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
在下文中，将参照附图详细描述示例实施例。当参照附图描述示例实施例时，相同的参考标号表示相同的组件，并且与其相关的重复描述将被省略。
在此使用的概念和术语可在下面被定义。
术语“视图”是预定视角的多视图图片和/或与预定视角对应的单个二维(2D)图像。
术语“视区”是出射光瞳(exit pupil)平面中的观看预定视图和/或每个单视图图像的区域。出射光瞳平面可对应于适眼区(eyebox)。在示例实施例中，视区可被生成为适眼区中的空间掩模图像(spatial mask image)。空间掩模图像可通过透镜阵列来生成。生成通过用在增强现实(AR)装置中的图像生成单元提供的视图的光源的数量可定义视区的数量。
术语“出射光瞳”是观察虚拟图像的空间的体积。
术语“出射光瞳复制”是出射光瞳的尺寸的增大。出射光瞳的尺寸可通过在光学系统中集成波导(waveguide)来增大，光学系统被配置为通过衍射或全息元件或半透明镜来耦入(in-couple)光、在内部传播光、以及逐渐耦出(out-couple)光。
术语“多视图图片”是从来自不同视角的多个视图生成的三维(3D)图像。在示例实施例中，术语“多视图图片”和“3D图像”可互换地使用。
术语“虚拟图像平面”是生成两个平面图像(即，立体对(stereopair))的平面。
术语“立体对”是同一对象的一对2D图像，一对2D图像描绘来自对象的各个观察点的对象的视图。
术语“增强现实(AR)”是在真实世界场景上叠置虚拟对象的技术。AR可将虚拟信息应用于真实世界，使得真实世界场景和虚拟对象叠加在一个图像或空间中，从而向观看者提供拟真的体验。
示例实施例可针对左眼和右眼生成两个单独的图像，并且凭借视差效果为观看者生成3D图像。
在下文中，将通过平视显示器(HUD)的示例描述与AR相关的操作，但是关于HUD的示例的描述也可应用于其他AR装置(诸如，AR眼镜)。
图1示出根据示例实施例的生成3D图像的方案。可基于立体对生成3D图像。立体对可包括针对左眼(xL，yL，zL)和右眼(xR，yR，zR)的单独的2D图像。可在距观看者距离D(米(m))处生成所得到的3D图像。3D图像的位置可根据立体对输出的坐标而变化。图1中示出的“箭头”和“50m”的符号可以是驾驶员观看的3D图像。
可使用立体输出技术来生成3D图像，其中，根据立体输出技术，针对左眼和右眼生成平面图像(例如，立体对)。
当立体对通过双眼来观看时，每只眼睛可感知通过立体对预期的一对立体图像中的相应一个，由此观看3D图像的效果可被实现。
可通过改变立体对的图像及它们在虚拟图像平面上的输出坐标，来改变3D图像的位置。
根据示例实施例的HUD装置可通过使用图2中示出的元件复制出射光瞳，来实现3DAR。
图2示出根据示例实施例的被配置为提供3D增强现实的元件。图2是HUD装置100的示例，其中，车辆的驾驶员的轮廓被描绘，实线描绘车辆的发动机罩和挡风玻璃，虚线代表离开HUD装置100的光的传播。如虚线所指示的那样，光从HUD装置100发出且从挡风玻璃朝向驾驶员的眼睛反射。驾驶员可透过挡风玻璃查看并且观看道路和虚拟图像。虚拟图像可以是例如由HUD装置100生成的3D图像。
HUD装置100可在用户前方的可见区域中使虚拟内容对象可视化。HUD装置100可在用户前方的玻璃窗(例如，车辆的挡风玻璃)上使虚拟内容对象可视化。HUD装置100可具有出射光瞳复制功能并且通过3D图像提供AR。HUD装置100可包括被配置为生成至少两个视图(例如，视图V1、V2、…、Vn)或图像图案的图像的多视图图片生成单元(PGU)1。多视图PGU 1可包括用于生成图像的光源、背光单元和光学层中的任何一个或任何组合。视图可具有相同的视场(FOV)大小，但是在光波长和/或偏振状态和/或视图生成时间(t)上不同。视图可在光波长和/或偏振状态和/或视图生成时间(t)上具有区别。
HUD装置100可包括波导2和适眼区视区生成单元3，波导2实现多视图PGU 1的出射光瞳的复制和无限远处的虚拟图像的生成，适眼区视区生成单元3包括至少两个透镜阵列(例如，微透镜阵列或微镜阵列)的堆叠和空间掩模SM。适眼区视区生成单元3可以是为离开波导2的光束提供远摄光束路径(telescopic beam path)的光学系统，并适眼区视区生成单元3可保持离开波导2的光束的角分布(angular distribution)。至少两个透镜阵列的堆叠可与空间掩模组合使用，空间掩模位于HUD装置100的出射光瞳的关于第二透镜阵列的光学共轭平面中。透镜阵列的堆叠可被配置为保持光束的角度方向，并且空间掩模可位于关于出射光瞳的区域的共轭平面中并滤光，使得视图V1、V2、…、Vn在适眼区4中被形成。适眼区中的视区可在与空间掩模的透射滤波器对应的光的组成方面不同。每个视区可提供由多视图PGU 1生成的一个图像。
图3示出根据示例实施例的多视图PGU的结构。
多视图PGU 1可被配置为生成多视图图片，并且生成包括多视图图片的出射光瞳。如图3中示意性地示出的那样，多视图PGU 1可包括至少两个光源11和12、光束组合器(或图像组合器)13、图像源14和投影光学器件15。如上所述，多视图PGU 1可被配置为生成至少两个图像，其中，生成的图像可具有相同(FOV)大小但具有区别。例如，图像可在光波长和/或偏振状态上或在图像生成时间(t)上不同。
多视图PGU 1与波导2一起可生成虚拟AR图像。
在多视图PGU 1包括两个或更多个光源11和12的情况下，光源11和12中的每个可被配置为发射具有相同波长的光或具有不同波长的光。例如，光源11和12可分别发射450至480纳米(nm)、510至540nm和610至650nm的波段中的RGB光。光源11和12可以是发光二极管、激光二极管或白炽灯。然而，光源11和12的波长和类型不限于此。在一个示例中，两个或更多个光源被配置为根据控制信号同时或以交替的方式发射光。
光束组合器13可被配置为混合并组合来自不同光源的光，并将混合后的光输出到图像源。光束组合器13可以是二向色镜(例如，具有二向色涂层的玻璃板)或多通道光学器件。例如，光束组合器13可以是基于波导的组合器。
图像源14可以是可通过输出文本和/或图形信息来显示信息的显示器(硅基液晶(LCOS)、数字微镜器件(DMD)或微机电系统(MEMS)扫描系统。
投影光学器件15可以是这样的光学单元：该光学单元包括透镜、反射镜、偏振片中的至少一个或多个，并且可将空间图像转换成相同FOV下的角度图像(angular image)并将角度图像发送到波导2。
因此，多视图PGU 1可对准并组合与每个视区对应的光，并通过投影光学器件15将它发送到波导2。
将参照图4描述借助于适眼区视区生成单元3和波导2的出射光瞳图像生成的方案。
图4示出根据示例实施例的通过适眼区视区生成单元和波导的出射光瞳图像生成的方案。
适眼区视区生成单元3可包括至少两个透镜阵列LA1和LA2。透镜阵列LA1和LA2中的每个可包括多个圆柱形透镜或球形透镜。第一透镜阵列LA1可被配置为将从波导2接收的虚拟图像的角分布转换成空间图像，并将空间图像耦入到空间掩模SM中。第二透镜阵列LA2可被配置为将空间图像转换成角度图像。透镜阵列LA1和LA2可一起保持图像的角度方向，并且同时，空间掩模SM可通过波长和/或偏振状态来对光进行滤波。
根据示例实施例，空间掩模SM可以是具有透光区的吸收材料的薄层。空间掩模SM可对从多视图PGU 1的至少两个光源生成并在波导2中复制的预定波段和/或偏振状态的光进行滤波。空间掩模SM可被配置为：考虑由多视图PGU 1中的光源发射的光的波长和偏振状态，根据出射光瞳平面中的视图的位置来对图像进行滤波。
波导2可被配置为复制出射光瞳并在无限远处生成虚拟图像。波导2可借助于两个一维(1D)图像来提供光瞳复制(例如，首先沿着X轴，然后沿着Y轴)或者借助于一个2D图像来提供光瞳复制(例如，同时沿着X轴和Y轴)，并且耦入、转换(translate)和耦出复制的由多视图PGU 1生成的出射光瞳图像。
从适眼区视区生成单元3耦出的复制的图像可到达AR装置(例如，HUD装置)中的出射光瞳平面。可在出射光瞳平面上生成立体图像，并且在HUD的情况下，可由车辆的驾驶员和/或乘客在适眼区4内观看立体图像。因此，适眼区视区生成单元3可通过将各种图像输出到各个视区中来生成3D图像。
图5示出根据示例实施例的出射光瞳平面中的图像生成的方案。
如上所述，波导2可执行出射光瞳复制，并且混合的光束可在波导2的输出处被形成。输出可对应于由多视图PGU 1生成并彼此混合的针对右眼的图像和针对左眼的图像。然后透镜阵列LA1和LA2可被布置。透镜阵列LA1和LA2可具有焦距，以便提供远摄光束路径并在无限远处生成虚拟图像。透镜阵列LA1和LA2实质上可以是在无限远处提供图像生成的远摄系统。
透镜阵列LA1和LA2可由微透镜(例如，圆柱形微透镜或球形微透镜)的组合构成，微透镜(例如，圆柱形微透镜或球形微透镜)的组合例如在HUD的情况下沿着轴(例如，图5中的x轴)依次水平地布置，适眼区4的视区沿着轴(例如，图5中的x轴)布置。第一透镜阵列LA1可将光聚焦到第二透镜阵列LA2的前焦平面上。空间掩模SM可被布置在第一透镜阵列LA1与第二透镜阵列LA2之间。空间掩模SM可被布置在与出射光瞳平面光学共轭的平面中。第二透镜阵列LA2可将空间掩模SM的图像转换到出射光瞳平面中。空间掩模SM可被配置为在适眼区4中生成视区。视区中的图像可在光谱或偏振组成方面不同。
根据示例实施例的空间掩模SM可被配置为在有源模式或无源模式下操作。
在空间掩模SM的有源操作模式下，可根据时间t间歇地调节针对每只眼睛的图像显示。
在空间掩模SM的无源操作模式下，可在适眼区4中同时生成一些视区，并且在该关系中，多视图PGU 1可包括用于生成相应的视区的至少两个图像源。这样，每个图像源可生成具有与多视图PGU 1中的其他图像源的波长或偏振状态不同的预定的波长或偏振状态的图像。此外，对于每个视区，可存在在波长或偏振状态方面不同的相应图像。在HUD的情况下，当车辆移动时，驾驶员的适眼区4中的位置可改变，并且与新位置对应的图像可到达眼睛。
图6示出根据示例实施例的空间掩模的无源操作模式下的图像生成的方案。
在空间掩模SM的无源操作模式下，多视图PGU 1可生成在光谱组成或偏振状态方面不同的至少两个视图V1至Vn，并且在空间掩模SM的有源操作模式下，多视图PGU 1可生成在时间t上分离的至少两个视图V1至Vn。
因此，多视图PGU 1可包括至少一个光源10和至少一个图像源14。
在一个示例实施例中，例如，在空间掩模SM的无源操作模式下，多视图PGU 1可包括两个或更多个光源和一个或多个图像源。尽管在图6中示出一个光源10和一个图像源14，但这是为了便于描述和理解。如果存在两个或更多个光源，则两个或更多个光源可对应于一个图像源。在这种情况下，图像源可以以预定频率针对每个视图生成不同的图像，并且光源可间歇地照亮图像源(例如，显示器)。在这种情况下，空间掩模SM中的滤波器可在时间上保持恒定。
因此，多视图PGU 1可针对右眼和左眼生成在波长方面不同的至少两个图像，并且可形成用于适眼区4中的视区的相应视图V1、V2、…、Vn。
来自光源10的光可透过投影光学器件15并到达波导2，波导2包括平坦基底，平坦基底具有嵌入其中的耦入元件21、扩展器22和耦出元件23。波导2可被实现为衍射元件(诸如，衍射光栅)。波导2可被配置为沿着一个轴(例如，X轴或Y轴)并且沿着两个轴(例如，X轴和Y轴两者)复制光瞳(例如，上述出射光瞳)。波导可被配置为耦入图像，在波导2内传播图像，并且耦出在多视图PGU 1中生成的图像。将参照图8A至图8C提供波导2的更详细描述。
然后，图像可到达适眼区视区生成单元3，适眼区视区生成单元3可提供离开波导2的光束的远摄路径并保持离开波导2的光束的角分布。适眼区视区生成单元3可包括两个透镜阵列LA1和LA2的堆叠，并且可与空间掩模SM组合使用，空间掩模SM位于出射光瞳的相对于第二透镜阵列LA2的光学共轭平面中。可选地，可使用不同数量的(例如，三个或更多个)阵列。
应注意，包括在适眼区视区生成单元3中的堆叠的阵列的数量可更大，并且可通过用于增大光学系统的FOV的需要和/或用于校正光学像差的需要来定义。
空间掩模SM可以是具有嵌入其中的交替的二向色滤波器段的吸收材料的薄层。空间掩模SM中的每个滤波器段可透射具有预定波长的光，该预定波长对应于多视图PGU 1中的光源10的波长并且对应于相应的视区。透镜阵列LA1和LA2的堆叠可被配置为保持光束的角度方向，并且空间掩模SM可在与适眼区4的共轭平面中并且对光进行滤波，使得与视图V1、V2、…、Vn对应的视区可在适眼区4中被形成。在HUD的情况下，光可在穿过适眼区视区生成单元3之后在车辆的挡风玻璃的平面中反射，并且光可传播到适眼区4的平面。适眼区4中的视区可在光的组成方面不同。光可对应于空间掩模SM中的二向色透射滤波器。每个视区可提供观看由多视图PGU 1生成的一个图像。
多视图PGU 1可包括至少一个图像源14。图像源的数量可以是“1”、“2”、…、“n”，n可以是正整数。当图像源14包括多个图像源时，每个图像源可包括针对视区的视图V1、V2、…、Vn中的每个的它自己的图像，并且每个图像源可以以预定波长λ1、λ2、…、λn操作，预定波长λ1、λ2、…、λn对应于它们在适眼区4中的相应视区。
可通过组合来自不同图像源(例如，1、2、…、n个图像源)的图像，在多视图PGU 1中生成多视图图片。每个图像源可以以预定波长λ1、λ2、…、λn操作。每个图像源可具有相应的扫描镜M1、M2、…、Mn，这将参照图7A和图7B进行描述。
图7A和图7B示出根据示例实施例的图像源和扫描镜的操作波长。
反射镜M1的反射光谱可对应于发射波长λ1的光的光源701的发射光谱。如图7A中所示，波长λ1可对应于在适眼区中观看视图V1的视区，并且反射镜M1可仅反射具有波长λ1的光。反射的光可通过扫描镜702、投影光学器件703和耦入元件704被提供给波导705。反射镜Mn的反射光谱可对应于发射波长λn的光的光源的发射光谱，并且反射镜Mn可仅反射具有与视图Vn的视区对应的波长λn的光。图7B中示出的曲线图示出反射镜M1的反射系数(Refl)与通过光源701发射的光的波长λ1之间的相关性。
空间掩模SM可被配置为根据视图的数量n来透射光。空间掩模SM可以是具有嵌入其中的交替的二向色滤波器段的吸收材料的薄层。空间掩模SM中的每个滤波器段可透射具有预定波长的光，预定波长对应于多视图PGU中的光源的波长并且对应于相应的视区。所有视图可以以相同的FOV被生成，但是然后基于光谱组成在空间中被分离，并且所有视图可在适眼区中生成视区。
多视图PGU可被配置为在一些模式下操作。
1)第一模式：多视图PGU可被配置为通过组合具有一个FOV但在波长(例如，λ1、λ2、…、λn)上不同的n个图像来生成多视图图片，其中，n是大于或等于2的自然数。空间掩模SM可被使用，其中，光基于各自波长被滤波以同时生成适眼区中的视区，其中，视区中的图像可在波长上不同。
2)第二模式：多视图PGU通过使用两个图像源在两个视区中仅生成两个图像来提供立体图像的生成，但是为了当眼睛移动时实现用左眼和右眼观看图像，空间掩模SM可沿着水平轴(例如，X轴)移位。这是因为：用一种光谱组成或偏振状态以交替的方式针对右眼和左眼来输出图像。
3)第三模式：多视图PGU可被配置为通过组合具有相同FOV但不同偏振状态(例如，S偏振、P偏振、右旋圆偏振(right-hand circular polarization，RHCP)和左旋圆偏振(left-hand circular polarization，LHCP))的n个图像，来生成多视图图片。
4)第四模式：多视图PGU可通过使用具有一种光谱组成或偏振状态的一个图像源来生成立体图像，并且调节空间掩膜的操作以便以交替的方式针对右眼和左眼显示图像(空间掩膜的有源操作模式)。
将参照图8A至图8C进一步描述波导。
图8A至图8C示出根据示例实施例的波导的结构。
波导可以是薄的平坦基底，平坦基底具有以衍射元件的形式嵌入其中的扩展器、耦出元件和耦入元件。例如，衍射元件可包括衍射光栅、全息光学元件和半透明镜。如图8A中所示，波导可沿着一个轴(例如，X轴)复制光瞳，然后沿着另一轴(例如，Y轴)复制光瞳。此外，如图8B中所示，波导可同时沿着两个轴(例如，X轴和Y轴)复制光瞳。
另外，参照图8A，耦入元件811可被配置为以第一预定光束角度将光耦入波导中。扩展器812(或复制器)可被配置为沿着一个轴(例如，X轴)在波导内复制耦入的光，并且将光重定向到耦出元件813的区域中。耦出元件813可被配置为沿着另一轴(例如，Y轴)复制光并且将光从波导耦出。在一个示例中，耦出元件813可以以第二预定光束角度将光从波导耦出。例如，第一预定光束角度和第二预定光束角度可相同或不同。图8B示出波导的结构，在波导中，光瞳复制不是在每个轴上以交替的方式被执行，而是在两个轴上同时被执行。在这种情况下，耦入元件821可被配置为以预定光束角度将光耦入波导中。扩展器和耦出元件可被组合在一个衍射元件822中，衍射元件822可同时沿着两个轴(例如，X轴和Y轴)复制光并且以预定光束角度将光从波导耦出。在一个示例中，扩展器、耦入元件和耦出元件可被组合在一个衍射元件中。
例如，可通过以下配置生成3色图像：这里，例如，三种颜色可以是红色、绿色和蓝色，并且这些可被称为R、G和B。
a)三个波导的组合，其中，每个波导用于预定颜色(例如，R、G或B)；
b)两个波导的组合，其中，颜色被组合，并且例如，一个波导用于B+G，并且另一个波导用于R，或者可替代地，一个波导用于G+R，并且另一个波导用于B；
c)具有组合的颜色(例如，R+G+B)的一个波导；以及
d)与不同波导的组合对应的波导，其中，每个波导意在针对预定颜色(例如，R、G或B)和/或颜色的组合(例如，R+G或R+G+B)发送公共图像(common image)的一个角度部分。
耦入元件和耦出元件可以是衍射元件或全息元件或半透明镜。
图8C示出执行一维(1D)复制的波导的剖面图。参照图8C，波导830可包括耦入元件831、扩展器832和耦出元件833，并且以与通过投影光学器件801提供的图像的FOVα1、…、αm相同的FOVα1、…、αm提供图像。α1、…、αm可以是光方向的变化范围。图像可被输出到适眼区中，从而在距用户连续改变的各种距离处生成虚拟图像。
图9示出根据示例实施例的空间掩模的滤波操作。
图9的(a)示意性地示出空间掩模的滤波器的透射系数与波长和相应的掩模段之间的相关性的曲线图。
每个掩模段中的滤波器F1、F2、…、Fn的数量可对应于与视图V1、V2、…、Vn对应的适眼区901中的视区的数量。滤波器F1、F2、…、Fn可具有与波长λ1、λ2、…、λn对应的透射率。该曲线图可描绘滤波器F1的透射率与波长λ1之间的对应关系。因此，图像源和相应的视区可对应于空间掩模的每个二向色滤波器F1、F2、…、Fn。针对相应的波长λ1、λ2、…、λn的反射镜M1、M2、…、Mn(参见图7A)的反射系数可等于针对相应的波长λ1、λ2、…、λn的滤波器F1、F2、…、Fn的透射系数。
视图V1、V2、…、Vn的图像可彼此不同。例如，如果n＝6，则可针对一只眼睛组合视图V1、V2和V3的图像，并且可针对另一只眼睛组合视图V4、V5和V6的图像。在HUD的情况下，在驾驶员的眼睛的每个位置中，每只眼睛可观看它相应的图像。
图9的(b)示出当空间掩模在无源操作模式下操作时在适眼区901中生成视图的方案。在HUD的情况下，驾驶员可观看同一对象的不同图像(例如，立体图像或伪3D图像)，同一对象的不同图像(例如，立体图像或伪3D图像)从该对象上的不同视点示出该对象的视图V1至Vn。
具有滤波器的空间掩模SM的每个段可通过它相应的针对相应的波长λ调节的光透射率系数F(参见图9的(a))来表征，其中，相应的图像源利用相应的波长λ进行操作。
在这方面，空间掩模SM中的滤波器段的纵向尺寸可被如下定义。
[等式1]
W′EB＝MxWEB
W′EB表示空间掩模SM的滤波器段的纵向尺寸，WEB表示AR装置(例如，HUD装置)的出射光瞳的纵向尺寸，并且M表示第二透镜阵列LA2的放大率。W′EB和WEB可以以毫米(mm)为单位。
[等式2]
M＝-α′EB/αEB
α′EB表示空间掩模SM与第二透镜阵列LA2之间的距离，并且αEB表示第二透镜阵列LA2与AR装置(例如，HUD装置)的出射光瞳之间的距离。α′EB和αEB可以以mm为单位。
空间掩模SM与第二透镜阵列LA2之间的距离可被如下定义。
[等式3]
Figure BDA0003409497210000151
fLA2表示第二透镜阵列LA2的单位透镜的焦距。fLA2可以以mm为单位。
透镜阵列的堆叠可被配置为使得透镜阵列LA1和LA2中的焦距和透镜位置被选择为形成远摄光束路径。例如，光束可在透镜阵列的输入和输出处平行，并且虚拟图像可通过这样在无限远处被生成。透镜阵列中的透镜的组合可被选择为处于双凸透镜(例如，圆柱形透镜)或一组球形透镜的形式。透镜阵列中的透镜的数量可以是“1”至“n”。第一透镜阵列LA1中的透镜的数量可对应于(例如，等于)第二透镜阵列LA2中的透镜的数量。
图10A和图10B示出根据示例实施例的透镜阵列和适眼区视区生成单元的结构。
图10A示出使用包括圆柱形透镜的透镜阵列LA1和LA2的示例。透镜阵列LA1和LA2中的圆柱形透镜可沿着与用户的眼睛的位置同轴的水平轴布置，并且包括两个透镜阵列LA1和LA2以及空间掩模SM的适眼区视区生成单元1001可存在。在这种情况下，可生成视图V1、V2、…、Vn的视区1002，以便仅沿一个轴分布。在透镜阵列中的圆柱形透镜的这种配置中，视区1002可仅在一个轴上生成。图10B示出适眼区视区生成单元1051使用包括球形透镜的透镜阵列LA1和LA2的示例。在这个示例中，透镜阵列LA1和LA2中的球形透镜可沿着两个轴生成视区1052。
图11A和图11B示出透镜阵列LA1和LA2的堆叠下的光束路径。图11A和图11B通过示例示出第一透镜阵列LA1的单位透镜和第二透镜阵列LA2的单位透镜。
如上所述，可选择透镜阵列LA1和LA2，以便在光学系统的输入和输出处提供远摄光束路径。通过透镜阵列的堆叠提供的角放大率可被如下表示。
[等式4]
MLA＝fLA1/fLA2
MLA表示角放大率，fLA1表示第一透镜阵列LA1中的单位透镜的焦距，fLA2表示第二透镜阵列LA2中的单位透镜的焦距。每个焦距可以以mm为单位。
在图11A的示例中，可导出下面的条件：
1)fLA1＝fLA2，
其中，包括在透镜阵列LA1和LA2中的透镜的焦距f可相等。
2)FOV1＝FOV2，
其中，透镜阵列的堆叠的输入处的视场FOV1可等于输出处的视场FOV2。
3)MLA＝1，
其中，透镜阵列的角放大率MLA可以是“1”。
4)DLA2eff＞DLA2，
其中，DLA2eff表示第二透镜阵列LA2中的单位透镜的有效直径(即，光在没有能量损失的情况下被透射所通过的孔径)，
其中，DLA2表示第二透镜阵列LA2中的单位透镜的实际直径，其中，DLA2eff和DLA2可以以mm为单位。
第二透镜阵列LA2中的透镜的有效直径可大于第二透镜阵列LA2中的透镜的实际直径，这可导致有用光的损失。
在图11B的示例中，可导出下面的条件：
1)fLA1＞fLA2，
其中，第一透镜阵列LA1和第二透镜阵列LA2中的单位透镜的焦距f可不同，其中，例如，第一透镜阵列LA1中的单位透镜的焦距fLA1可大于第二透镜阵列LA2中的单位透镜的焦距fLA2。
2)FOV1＜FOV2，
其中，透镜阵列的堆叠的输入处的视场FOV1可小于输出处的视场FOV2。
3)MLA＞1，
其中，透镜阵列的角放大率MLA大于“1”。
4)DLA2eff＜DLA2，
其中，第二透镜阵列LA2中的单位透镜的有效直径可小于第二透镜阵列LA2中的单位透镜的实际直径，并且在这种情况下，系统中可没有能量损失。
因此，可提高AR装置(例如，HUD装置)的效率，使得：
1)光从波导被耦出的视场FOV可被选择，以便小于在透镜阵列LA1和LA2的输出处形成的最终视场FOV，以及
2)第二透镜阵列LA2的孔径DLA2eff可被选择，以便防止虚拟图像中的条纹，为此目的，漫射器可被设置在空间掩模的平面中。
图12A和图12B示出根据示例实施例的适眼区视区生成单元和波导中的光路。
参照图12A，适眼区视区生成单元可包括至少两个透镜阵列LA1和LA2。作为非限制性示例，为“2”的透镜阵列的数量可被设置，并且适眼区视区生成单元可包括不同数量(例如，三个或更多个)透镜阵列。透镜阵列LA1和LA2中的每个可包括多个圆柱形透镜或球形透镜。fLA1表示第一透镜阵列LA1中的单位透镜的焦距，fLA2表示第二透镜阵列LA2中的单位透镜的焦距，tw表示波导的厚度，并且nw表示波导的折射率。
第一透镜阵列LA1可被配置为将从波导接收的虚拟图像的角分布转换成空间图像，并将后者耦入空间掩模SM中。第二透镜阵列LA2可被配置为将空间图像转换成角度图像。在基于波长和/或偏振状态对光进行滤波的同时，第一透镜阵列LA1和第二透镜阵列LA2可一起保持图像的角度方向。滤波可通过空间掩模SM来执行。第一透镜阵列LA1可被集成在波导的耦出元件中，并且将光耦出并将光聚焦在空间掩模SM上。这样的配置可在保持生成的3D图像的质量的同时减小装置的尺寸。
参照图12B，第一透镜阵列LA1可以是包括多个反射镜的反射镜阵列。第二透镜阵列LA2可包括多个圆柱形透镜或球形透镜。例如，第一透镜阵列中的反射镜的数量可对应于(例如，等于)第二透镜阵列中的透镜的数量。第一透镜阵列LA1可被布置在波导下方，并且来自波导的光可向下传播到第一透镜阵列LA1中。第一透镜阵列LA1可被配置为将从波导接收的虚拟图像的角分布转换成空间图像，并且将空间图像耦入到空间掩模SM中。第二透镜阵列LA2可被配置为将空间图像转换成角度图像。
波导的厚度tw可等于第一透镜阵列LA1的单位透镜的焦距fLA1。如果条件fLA1＝tw/nw被满足，则AR装置(例如，HUD装置)的厚度可显著减小。在这种情况下，装置的厚度可减小第一透镜阵列LA1的焦距fLA1的量。AR装置(例如，HUD装置)的操作模式之一是通过使用两个图像源在两个视区中仅生成两个图像来生成立体图像，但是为了在眼睛移动时向左眼和右眼提供图像观看，空间掩模SM可沿着水平轴(例如，X轴)移动，这允许以交替的方式针对右眼和左眼输出具有一种光谱组成或偏振状态的图像。
将参照图13A和图13B更详细地描述AR装置(例如，HUD装置)的这样的操作模式。
图13A和图13B示出根据示例实施例的在视区中生成图像的方案。
图13A示出在没有用户(例如，车辆的驾驶员)的眼睛的移动的情况下生成两个不同视图的两个视区E1和E2的方案。α′EB表示空间掩模SM与第二透镜阵列LA2之间的距离，αEB表示第二透镜阵列LA2与AR装置(例如，HUD装置)的出射光瞳之间的距离，并且fLA2表示第二透镜阵列LA2中的单位透镜的焦距。第二透镜阵列LA2的放大率可如上述等式2所表示的那样被定义。
图13B示出当用户(例如，车辆的驾驶员)的眼睛移动时生成两个不同视图的两个视区E1和E2的方案。例如，眼睛可从眼睛位置1301移动Δx的量到眼睛位置1302。可通过眼睛检测器(例如，包括相机的眼睛跟踪传感器)1351跟踪眼睛的移动，并且来自眼睛检测器1351的信号可被提供给控制单元(例如，驱动板1352、包括模数转换器的模拟电路和数字电路)。控制单元可计算空间掩模SM沿水平轴(例如，X轴)的必要移位量。移位量可被实时计算为ΔxSM＝M×Δx。ΔxSM表示移位量，M表示第二透镜阵列LA2的放大率，并且Δx表示眼睛距参考位置的移动量。Δx可以以mm为单位。
为了调节视区E1和E2的宽度(轮廓)，可考虑沿Z轴调节空间掩模SM的位置。
致动器装置(例如，电机1353)可在无源操作模式下基于来自控制单元的信号来移动空间掩模SM。
图14A和图14B示出根据各种实施例的提供各种光源和图像源的多视图PGU的结构。
图14A示出发射具有一个波长和具有不同波长的光二者的一个光源1401被设置的多视图PGU。可根据AR装置(例如，HUD装置)的选择的操作模式，基于来自控制单元的信号来发射光。可同时或以交替的方式以不同波长发射光。然后，光可通过投影光学器件1402透射到分束立方体(例如，偏振分束器(PBS))1403上。光可被重定向到以显示器1406和显示器1407形式的图像源，允许两种图像或图像图案(例如，视图V1和V2)被生成。视图V1和V2可具有相同大小的FOV，但是在光波长或偏振状态方面具有区别。
图14A示出包括两个四分之一波片(quarter-wave plate，QWP)1404和1405的示例实施例，两个四分之一波片(QWP)1404和1405被分别布置在反射显示器1406和1407的前方，以提供在具有预定偏振状态(例如，线性P偏振或S偏振)的图像源中生成的图像。
显示器1406和显示器1407可针对右眼和左眼生成图像，其中，图像可在偏振状态方面不同(如图14A中所示)，或者在波长方面不同。显示器1406和1407可对应于图像源。所得到的两个图像(一个是P偏振的，另一个是S偏振的)可使用投影光学器件1408从空间图像被转换成相同FOV的角度图像，并通过耦入元件1409被提供给波导1410。如果硅基液晶((LCOS)显示器被用作显示器1406和1407，则两个偏振元件(诸如，四分之一波片(QWP)和半波片(HWP))可被使用。QWP可以是将线性偏振光转换成圆偏振光的四分之一波片，并且HWP可将偏振状态旋转90度。
图14B示出具有两个或更多个光源1453和1454的多视图PGU。例如，光源1453和1454可以是发射具有一个波长的光的激光发光二极管。光源1453和1454可发射单色光或多色光。光源1453和1454也可以是灯、发光二极管(LED)或激光二极管(LD)。可根据HUD的选择的操作模式，基于来自控制单元的信号发射光。光可被提供给扫描镜1455和1456，扫描镜1455和1456根据来自控制单元的信号以交替的方式工作，其中，扫描镜1455和1456可被配置为围绕两个轴X和Y旋转并且分别针对右眼和左眼生成2D图像。因此，扫描镜1455和1456可对应于图像源。光源1453和扫描镜1455可构成投影仪1451，并且光源1454和扫描镜1456可构成投影仪1452。例如，投影仪1451和1452可对应于激光束扫描(LBS)投影仪。
在图14B中，偏振器1458和1459可以是能够透射仅具有一个偏振分量(线性S偏振、线性P偏振、右旋圆偏振或左旋圆偏振)的光的偏振元件。
QWP 1460和1461可以是将线性偏振光转换成圆偏振光的四分之一波片。
因此，以扫描镜1455的形式的图像源与光源1453可构成生成图像(例如，针对右眼的图像)的投影仪1451，其中，图像可穿过偏振器1458，然后穿过QWP 1460，图像在偏振器1458中被线性偏振。线性偏振后的图像可通过QWP 1460被转换成圆偏振图像(例如，RHCP图像)，并且被提供到PBS 1457。以扫描镜1456的形式的图像源与光源1454可构成生成图像(例如，针对左眼的图像)的投影仪1452。图像可穿过偏振器1459和QWP 1461，被转换成圆偏振图像(例如，LHCP图像)，并且被提供给PBS 1457。在PBS 1457中，RHCP图像和LHCP图像可被组合并通过投影光学器件1462发送到波导1464。两个图像(一个是RHCP图像，另一个是LHCP图像)可通过投影光学器件1462从空间图像被转换成相同FOV的角度图像，并经由耦入元件1463提供给波导1464。
每个图像源可以是使用显微发光二极管(microscopic light emitting diodes，μLED)作为背光的自发光显示器、液晶显示器(LCD)、反射型液晶显示器(例如，LCOS)、数字微镜器件(DMD)和基于扫描镜的图像生成装置(例如，LBS投影仪)中的一个。
图15A和图15B示出根据示例实施例的空间掩模在有源操作模式下的操作。
图15A示出在有源操作模式下生成两个不同视图的两个视区E1和E2的方案。
图15B示出当AR装置(例如，HUD装置)的用户(例如，驾驶员)的眼睛的位置改变时，在空间掩模SM的有源操作模式下生成两个不同视图的两个视区E1和E2的方案。
在空间掩模SM的有源操作模式下，可针对每只眼睛以交替的方式显示图像。在有源操作模式中，图像源(例如，显示器)的操作可与空间掩模SM同步。该操作模式可用一个图像源和一个投影光学器件来实现。
在有源操作模式下，多视图PGU 1522可通过由具有一种光谱组成和一种偏振状态的一个图像源生成两个图像，来生成立体图像。可调节空间掩模SM的操作，以便以交替的方式在适眼区中显示针对右眼和左眼的图像(E1和E2的图像)。因此，空间掩模SM可在左视区(例如，E1)的区域中和在右视区(例如，E2)的区域中输出图像的两种模式下操作。当生成图像时，空间掩模SM的图案改变频率(例如，操作频率)可等于或接近多视图PGU 1522的显示器中的帧改变频率。
在这种情况下，空间掩模SM可以是由黑白条纹组成的掩模图案被输出到的空间光调制器(例如，透明LCD)。
空间掩模SM可在条纹是白色的情况下透射光，并且可在条纹是黑色的情况下阻挡光路。在这种情况下，空间掩模SM可作为滤波器操作。另外，掩模图案(例如，条纹的宽度和顺序)可被选择，使得在AR装置(例如，HUD装置)的出射光瞳中仅照亮针对一只眼睛(右或左)的区域。在这种情况下，仅一个视区可被生成。
因此，可在空间掩模SM中生成两个掩模图案以照亮右眼和左眼。这些掩模图案可以以交替的方式彼此跟随。因此，一个视区或另一视区可以以预定频率间歇地点亮。同时，多视图PGU 1522可以以与空间掩模SM操作的频率相同的频率间歇地生成针对右眼和左眼的图像。因此，用户(例如，车辆的驾驶员)可用左眼和右眼观看不同的图像。当用户的眼睛移动时，可在时间t的过程中在空间掩模SM中输出透射滤波器图案。在图15A的方案中，t2代表在空间掩模SM中输出滤波器的时间，其中，滤波器可生成针对右眼的视区E2。因此，图15A还示出视区E1是未激活的(即，不存在图像)并且视区E2是激活的(即，存在图像)的状态。
对于空间掩模SM的操作，可计算静态节距Ps。例如，静态节距可以是定义视区距第二透镜阵列LA2中的每个透镜的位置及它们正确叠加的空间掩模SM的空间节距。空间掩模SM的静态节距Ps(mm)可被如下计算。
[等式5]
Ps＝M×PLA2
Ps表示静态节距，PLA2表示第二透镜阵列LA2的周期(period)(第二透镜阵列LA2的两个相邻的透镜的中心位置之间的距离)。Ps和PLA2可以以mm为单位。M表示第二透镜阵列LA2的放大率，这可由上述等式2表示。
静态节距Ps可表征空间掩模SM，并且应当与第二透镜阵列LA2的周期一致。图15B示出当用户的眼睛在时间t4从位置1501移动Δx到位置1502时，在空间掩模SM的有源操作模式下生成两个视区E1和E2的方案，时间t4是在空间掩模SM中输出滤波器的时间，滤波器生成针对右眼的视区E2。
根据图15B，当用户或车辆的驾驶员的眼睛的位置x改变时，检测器1521可检测眼睛的移动并输出指示Δx的量的信号，并且控制单元1523可将指示图像的移位量的信号发送到空间掩模SM。例如，移位量可通过像素的数量来指定，并且以像素表征掩模移位的空间节距的动态节距Pd可用于指定像素的数量。此外，同步单元1524可在图像被生成时使空间掩模SM的操作频率与多视图PGU的图像源中的帧改变频率同步。在一个示例中，在有源操作模式下，基于动态节距Pd来使空间掩模移位。
动态节距Pd可被如下定义。
[等式6]
Pd＝M×Δx
M表示第二透镜阵列LA2的放大率，并且Δx表示用户(例如，驾驶员)的眼睛距参考位置的移动量。Pd和Δx可以以mm为单位。Pd可以是与参照图13B描述的ΔxSM基本相同的值。
已经参照图15A和图15B详细描述了空间掩模和多视图PGU的有源操作模式。
图16A至图16C示出根据示例实施例的多视图PGU在有源操作模式下的操作。
图16A示出提供发射具有一种光谱组成或一种偏振状态的光的一个光源1601的多视图PGU。光可通过投影光学器件1602透射到分束立方体(例如，PBS)1603上。在PBS中，光可被重定向到以显示器1604的形式的图像源。显示器1604的图像源可被配置为以交替的方式针对左眼和右眼生成两个图像。然后，所得到的图像可通过QWP 1605被发送到投影光学器件1606，并且投影光学器件1606可将与所得到的图像对应的空间图像转换成相同FOV的角度图像。可经由耦入元件1607将角度图像提供给波导1608。
这种结构可相当便宜并且易于实施。然而，有源操作模式可需要空间掩模SM和图像源的操作的同步。
每个图像源可以是使用显微发光二极管(μLED)作为背光的自发光显示器、液晶显示器(LCD)、反射型液晶显示器(例如，LCOS)、数字微镜器件(DMD)和基于扫描镜的图像生成装置(例如，LBS投影仪)中的一个。
图16B示出在有源操作模式下的具有基于扫描镜1653的图像单元的多视图PGU。
图16B的多视图PGU可使用包括扫描镜1653的LBS的技术。以R激光器、G激光器和B激光器的形式的光源1652可发射具有相应的波长的光，光可以以交替的方式被引导到扫描镜1653。扫描镜1653可被配置为围绕两个轴X和Y旋转，并且分别针对右眼和左眼生成2D图像。因此，扫描镜1653可对应于图像源。光源1652和扫描镜1653可构成投影仪1651(诸如，LBS投影仪)。投影仪1651可在相应的时间t1、t3、t5、…、t2k-1生成针对一只眼睛的图像，并且在相应的时间t2、t4、t6、…、t2k生成针对另一只眼睛的图像(其中，k是正整数)。
然后，所得到的图像可由投影光学器件1654从空间图像被转换成相同FOV的角度图像，并且经由耦入元件1655提供给波导1656。
如上所述，对有源操作模式的要求可以是空间掩模SM的操作频率(帧变化)应该等于图像源(在这种情况下，投影仪)的帧改变频率。该要求可借助于在电路中包括同步单元来满足，如图15B中所示，同步单元基于来自控制单元的信号来调节空间掩模和图像源的操作。
图16C示出空间掩模SM在有源操作模式下的结构。空间掩模SM可以是透射或阻挡光的掩模图案被输出到的空间光调制器(例如，液晶(LC)面板)。掩模图案可包括黑色条纹和白色条纹。
在条纹为白色的地方，单位掩模滤波器Е2可透射光，并且在条纹为黑色的地方，单位掩模滤波器Е1可阻挡光。在这种情况下，具有单位掩模滤波器Е1和Е2的空间掩模SM可作为滤波器操作。
另外，对于单位掩模滤波器Е2，透射状态可对应于时间t2、t4、t6、…、t2k，并且吸收状态(阻挡光)可对应于时间t1、t3、t5、…、t2k-1。
对于单位掩模滤波器Е1，透射状态可对应于时间t1、t3、t5、…、t2k-1，并且吸收状态(阻挡光)可对应于时间t2、t4、t6、…、t2k。
空间掩模SM生成一个视图的带宽(即，掩模的单位滤波器尺寸Im)可被如下定义。
[等式7]
Im＝n×P
n表示单位带中的每个视图的像素数。P表示基于掩模参数定义的像素节距(诸如，静态节距Ps和动态节距Pd)。已经参照图15A和图15B描述了静态节距Ps和动态节距Pd。Im和P可以以mm为单位。掩模图案(条纹的宽度和顺序)可被选择，使得在AR装置(例如，HUD装置)的出射光瞳中仅照亮针对一只眼睛(右眼或左眼)的区域(即，一个视区被生成)。
可在空间掩模中生成两个掩模图案以点亮右眼和左眼。这些掩模图案可以以交替的方式被改变。因此，一个视区可以以预定频率以交替的方式在另一视区之后被点亮。同时，多视图PGU可以以与空间掩模操作的频率相同的频率间歇地生成针对右眼和左眼的图片。
根据示例实施例的具有出射光瞳复制的AR装置(例如，HUD装置)可提供3D AR图像。AR装置(例如，HUD装置)中的多视图PGU可生成包括从来自不同视角的多个视图生成的一些图像的多视图图片。波导可提供装置紧凑性和小于5升的体积，并且提供光瞳复制，从而生成宽的出射光瞳。适眼区视区生成单元可将以滤波器的形式的空间掩模图案转换到出射光瞳的平面上，从而生成视区并提供3D图像。
图17A至图17C示出在各种图像生成系统的适眼区中提供图像的操作。
图17A示出具有一个显示器1701和一个光波长的基于波导的图像生成系统的结构。这里，生成的图像可通过投影光学器件和波导在适眼区中被输出。在这种情况下，相同的图片1705和1706可被提供给两只眼睛。
图17B示出具有具备不同波长的两个显示器1711和1712的图像生成系统的结构。这里，两个生成的图像可通过投影光学器件被提供给波导，并且在从波导耦出之后在适眼区中叠加地被提供。在这种情况下，两只眼睛可观看叠置的相同图片1715和1716。
图17C示出根据示例实施例的具有出射光瞳复制的AR装置(例如，HUD装置)的结构，其中，针对每只眼睛，单独的图像被生成，并且多视图PGU被设置。多视图PGU可包括以不同波长操作的两个显示器1721和1722(这里，显示器的数量可变化)、提供光瞳复制的波导、以及包括至少两个透镜阵列LA1和LA2(透镜阵列的数量可变化)和空间掩模SM的适眼区视区生成单元。空间掩模SM可将以滤波器的形式的空间掩模图案转换到出射光瞳平面中，由此针对每只眼睛的单独图像可被生成在出射光瞳平面上。结果，针对右眼的图像1725和针对左眼的图像1726可形成立体对，并且3D图像可被观看。
图18示出根据示例实施例的显示图像“A”和“B”的处理。
区域1810示出根据示例实施例的使用两个显示器提供图像“A”和“B”的AR装置(例如，HUD装置)的结构。
例如，可对图像转换进行建模，其中，显示器1801和1802分别以类似的波长λ＝519nm和λ＝520nm操作。空间掩模SM可包括能够进行图像传输的窄带二向色滤波器。根据本示例，具有波长λ＝519nm和λ＝520nm的滤波器可被使用。在这种情况下，用户可针对左眼和右眼的每个位置观看不同的绿色图片“A”和“B”。如果针对右眼和左眼的图像构成立体对，则可生成3D图像。
区域1820示出根据区域1810的AR装置(例如，HUD装置)的光束整形、以及用λ＝519nm和λ＝520nm表征针对左眼和右眼的适眼区1821中的图像的光束的传播。
区域1830示出在适眼区1821中在右眼的视网膜中生成的图像1831和在左眼的视网膜中生成的图像1832。图像1831和1832在颜色上可基本上没有不同。换句话说，眼睛可能难以注意到(register)约1nm的波长差。
被配置为生成3D图像的具有出射光瞳复制的HUD装置可提供具有小于5升的体积的紧凑解决方案，并且因此可被集成到任何车辆仪表面板或面板的替代物中。
此外，HUD装置可通过在无限远处生成立体图像和虚拟图像，来确保驾驶员的高度集中和安全。例如，HUD装置可生成与真实世界交通状况对应的立体图像，以便使驾驶员能够专注于道路或包括导航信息的周围环境，同时被提供关于速度、引擎状态、电话呼叫的信息。此外，驾驶员可被提供将由于使用其他外部装置而以其他方式分散注意力的其他外部信息。
AR装置(例如，HUD装置)可结合包括透镜阵列和相应的空间掩模的适眼区视区生成单元使用波导，从而允许在适眼区中生成立体图像。与现有的自动立体显示器中的类似解决方案相比，这样的配置可显著减小装置的体积。
HUD装置在批量生产中可以是相当便宜的，并且方便地被集成在任何机动车辆类型中。
AR装置还可用在任何紧凑型便携式装置(诸如，平板计算机或膝上型计算机)中以及用在电话会议系统中。
图19A和图19B示出根据示例实施例的紧凑型可折叠光束组合器的结构。
图19A示出使用光束组合器1904的电子装置的结构。
如图19A中所示，电子装置可包括多视图PGU 1901、波导1902、适眼区视区生成单元1903和光束组合器1904。多视图PGU 1901、波导1902、适眼区视区生成单元1903和光束组合器1904可与包括在HUD装置100中的相应组件执行基本相同的操作。此外，光束组合器1904可以是可折叠的以改变入射光的方向，和/或光束组合器1904可被配置为更靠近或更远离适眼区视区生成单元1903移动以改变入射光的方向。例如，在光束组合器1904的两个相对端之间，第一端可被放置在固定位置处，并且第二端可向上或向下移动以变得更靠近或更远离适眼区视区生成单元1903。光束组合器1904可以是具有能够将入射光反射或重定向到适眼区的涂层的玻璃板。反射涂层可被应用于光束组合器1904。光束组合器1904可限定朝向适眼区的光束反射的角度。光束组合器1904可包括致动器或与致动器互操作，以改变光束组合器1904相对于适眼区视区生成单元1903的位置。
图19B示出使用具有光束重定向功能的光束组合器1954的电子装置的结构。
如图19B中所示，电子装置可包括多视图PGU 1951、波导1952、适眼区视区生成单元1953和光束组合器1954。多视图PGU 1951、波导1952和适眼区视区生成单元1952和光束组合器1954可与包括在HUD装置100中的相应组件执行基本相同的操作。光束组合器1954可以是具有能够将图像反射或重定向到适眼区的涂层的玻璃板。为此目的，衍射图案和/或棱镜图案可被应用于光束组合器1954。例如，光束组合器1954的倾斜角可以是固定的，并且多视图PGU 1951可移动以改变多视图PGU 1951的发光方向，并从而调节被反射或重定向到适眼区的光束的角度。例如，多视图PGU 1951可以是可旋转的以改变发光方向。在另一示例中，光束组合器1954和多视图PGU 1951二者可以是可移动的，以改变反射或重定向到适眼区的光束的角度。多视图PGU 1951和/或光束组合器1954可包括致动器或与致动器互操作，以改变多视图PGU 1951和/或光束组合器1954的位置。
图20示出根据示例实施例的眼镜型AR眼镜的结构。
根据示例实施例的AR装置也可用在AR眼镜中，AR眼镜的方案在图20中被示出。AR眼镜可包括多视图PGU 2001、波导2002、适眼区视区生成单元2003和光束组合器2004，并且AR眼镜可与具有该配置的其他示例实施例的AR装置(例如，HUD装置)相同或相似。在本示例中，可生成允许显示3D图像的多视图图片。
图19A、图19B和图20中的光束传播方向使用实线和虚线被示出。该线可表征光束的不同特性，光束在它们的组成方面由于波长或偏振状态而不同，或者在时间上分离。在图19A、图19B和图20中的装置的结构旁示出的曲线图中的曲线示出针对具有不同组成的每个光束的视区的照明强度。
可使用硬件组件、软件组件和/或它们的组合来实现在此描述的单元。例如，可使用一个或多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、DSP、微型计算机、FPGA、可编程逻辑单元(PLU)、微处理器或能够以限定的方式响应并执行指令的任何其他装置)来实现处理装置。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行访问、存储、操作、处理和创建数据。为了简明起见，处理装置被描述为单个处理装置；然而，本领域技术人员将理解：处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者单个处理器和单个控制器。此外，不同的处理配置(诸如，并行处理器)是可行的。
软件可包括计算机程序、代码段、指令或它们的一些组合，以单独或统一地指示或配置处理装置如期望的那样进行操作。软件和数据可永久地或暂时地包含在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中，或者永久地或暂时地包含在能够向处理装置提供指令或数据或者能够由处理装置解释的传播的信号波中。软件还可被分布在联网的计算机系统上，使得软件以分布的方式来存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质存储。
根据上述示例实施例的方法可被记录在包括用于实现上述示例实施例的各种操作的程序指令的非暂时性计算机可读介质中。介质还可单独包括程序指令、数据文件、数据结构等，或者还可包括程序指令、数据文件、数据结构等的组合。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计并构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，CD-ROM盘、DVD和/或蓝光光盘)；磁光介质(诸如，光盘)；专门被配置为存储并执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储器卡、记忆棒等))等。程序指令的示例包括机器代码(诸如，由编译器生成的代码)和包含可由计算机使用解释器执行的高级代码的文件二者。
前述示例性实施例仅是示例性的，而不应被解释为限制。本教导可容易地应用于其他类型的装置。此外，示例性实施例的描述意在是说明性的，而不是限制权利要求的范围，并且对于本领域技术人员而言，许多替代物、修改和变化将是清楚的。

Claims (32)

1.一种增强现实装置，包括：
多视图图片生成单元，被配置为生成包括具有各自的个体光学特性的多个单视图图像的多视图图片，并生成包括生成的多视图图片的出射光瞳；
波导，被配置为复制通过多视图图片生成单元生成的出射光瞳；以及
适眼区视区生成单元，被配置为基于个体光学特性分离所述多个单视图图像，并且通过在与所述多个单视图图像的视图对应的适眼区中的多个视区中输出所述多个单视图图像来生成三维图像。
2.根据权利要求1所述的增强现实装置，其中，所述多个单视图图像具有相同的视场。
3.根据权利要求1所述的增强现实装置，其中，多视图图片生成单元包括至少一个光源、光束组合器、至少一个图像源和投影光学器件。
4.根据权利要求1所述的增强现实装置，其中
多视图图片生成单元包括至少两个光源，每个光源被配置为发射具有一个波长的光或具有不同波长的光，并且
所述至少两个光源被配置为根据控制信号同时或以交替的方式发射光。
5.根据权利要求3所述的增强现实装置，其中，光束组合器被配置为混合并组合来自不同光源的光，并将混合后的光输出到图像源。
6.根据权利要求5所述的增强现实装置，其中，光束组合器是具有允许光沿预定方向被反射或重定向的反射涂层的光学元件。
7.根据权利要求6所述的增强现实装置，其中，光学元件是具有二向色涂层的玻璃板或具有具备棱镜图案或衍射图案的涂层的玻璃板。
8.根据权利要求5所述的增强现实装置，其中，光束组合器是基于波导的组合器。
9.根据权利要求1至8中的任一项所述的增强现实装置，其中，波导被配置为在不同时间或同时沿X轴和Y轴执行出射光瞳复制。
10.根据权利要求1至8中的任一项所述的增强现实装置，其中，波导包括平坦基底，平坦基底具有嵌入其中的耦入元件、扩展器和耦出元件。
11.根据权利要求10所述的增强现实装置，其中
耦入元件被配置为以第一预定角度将光耦入波导中，
扩展器被配置为在波导内复制出射光瞳，并且
耦出元件被配置为以第二预定角度将光从波导耦出。
12.根据权利要求10所述的增强现实装置，其中，波导还被配置为同时沿着X轴和Y轴执行出射光瞳复制，并且
扩展器、耦入元件和耦出元件被组合在一个以衍射元件的形式的光学元件中。
13.根据权利要求1至8中的任一项所述的增强现实装置，其中，多视图图片生成单元还被配置为生成RGB图像，并且波导包括三个波导的组合，所述三个波导中的每个转换RGB图像中的一种颜色的图像。
14.根据权利要求1至8中的任一项所述的增强现实装置，其中，多视图图片生成单元还被配置为生成RGB图像，并且
波导包括第一波导和第二波导的组合，第一波导被配置为转换RGB图像中的至少一种颜色的图像，第二波导被配置为转换RGB图像中的其余颜色的图像。
15.根据权利要求1至8中的任一项所述的增强现实装置，其中，多视图图片生成单元还被配置为生成RGB图像，并且波导包括被配置为转换RGB图像的单个波导。
16.根据权利要求1至8中的任一项所述的增强现实装置，其中，适眼区视区生成单元包括至少两个透镜阵列的堆叠、以及被配置为基于个体光学特性来执行滤光的空间掩模。
17.根据权利要求16所述的增强现实装置，其中，空间掩模被配置为在无源操作模式下基于个体光学特性中的波长和偏振状态中的至少一个来执行滤光。
18.根据权利要求16所述的增强现实装置，其中，空间掩模被配置为通过在有源操作模式下调节个体光学特性的图像生成时间来执行滤光。
19.根据权利要求16所述的增强现实装置，其中，所述至少两个透镜阵列的堆叠被配置为向所述堆叠的输入和输出提供远摄光束路径。
20.根据权利要求16所述的增强现实装置，其中，所述堆叠的每个微透镜阵列包括至少一个双凸透镜，所述至少一个双凸透镜是圆柱形透镜或球形透镜。
21.根据权利要求20所述的增强现实装置，其中，所述堆叠的所述微透镜阵列包括第一微透镜阵列和第二微透镜阵列，并且第一微透镜阵列中的透镜的数量等于第二微透镜阵列中的透镜的数量。
22.根据权利要求16所述的增强现实装置，其中
所述堆叠的第一透镜阵列是包括至少一个反射镜的微镜阵列，
所述堆叠的第二透镜阵列是包括至少一个圆柱形透镜或球形透镜的阵列，并且
第一透镜阵列中的反射镜的数量对应于第二透镜阵列中的透镜的数量。
23.根据权利要求16所述的增强现实装置，其中，所述堆叠的第一微透镜阵列被包括在波导的耦出元件中，并且被配置为将光耦出并将光聚焦在空间掩模上。
24.根据权利要求16所述的增强现实装置，其中，在无源操作模式下，空间掩模是具有嵌入其中的交替的滤波器段的吸收材料的层，每个滤波器段透射预定波长的光，预定波长对应于从多视图图片生成单元的至少一个光源发射的光的波长。
25.根据权利要求24所述的增强现实装置，其中，滤波器段是二向色滤波器。
26.根据权利要求16所述的增强现实装置，其中，在无源操作模式下，空间掩模被配置为基于偏振状态透射光，偏振状态是S偏振、P偏振、右旋圆偏振和左旋圆偏振中的一种。
27.根据权利要求16所述的增强现实装置，其中，在有源操作模式下，空间掩模被配置为针对左眼和右眼以交替的方式显示具有一种光谱组成或偏振状态的图像。
28.根据权利要求16所述的增强现实装置，其中，在有源操作模式下，空间掩模的操作频率与多视图图片生成单元的图像源的帧改变频率同步。
29.根据权利要求16所述的增强现实装置，还包括：
检测器，被配置为感测眼睛移动；以及
致动器，被配置为在无源操作模式下使空间掩模移位。
30.根据权利要求16所述的增强现实装置，还包括：
检测器，被配置为感测眼睛移动；以及
控制器，被配置为在有源操作模式下将图像移位量发送给空间掩模。
31.根据权利要求30所述的增强现实装置，其中，在有源操作模式下，根据下面的等式实时地基于图像移位量来使空间掩模移位，
Pd＝M×Δx，
其中，Pd是指示图像移位量的动态节距，M是所述堆叠的透镜阵列的放大率，并且Δx是距参考位置的眼睛移动量。
32.一种图像生成方法，包括：
生成多视图图片，多视图图片包括具有各自的个体光学特性的多个单视图图像；
生成包括生成的多视图图片的出射光瞳；
使用波导复制出射光瞳；
基于个体光学特性分离所述多个单视图图像；以及
通过在与所述多个单视图图像的视图对应的适眼区中的多个视区中输出所述多个单视图图像来生成三维图像。
CN202111527501.1A 2020-12-16 2021-12-14 用于提供3d增强现实的增强现实装置及其操作方法 Pending CN114637112A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
RU2020141527 2020-12-16
RU2020141527A RU2760473C1 (ru) 2020-12-16 2020-12-16 Устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения и способ формирования изображения посредством указанного устройства дополненной реальности с размножением выходного зрачка
KR10-2021-0090286 2021-07-09
KR1020210090286A KR20220086456A (ko) 2020-12-16 2021-07-09 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN114637112A true CN114637112A (zh) 2022-06-17

Family

ID=79024085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111527501.1A Pending CN114637112A (zh) 2020-12-16 2021-12-14 用于提供3d增强现实的增强现实装置及其操作方法

Country Status (3)

Country Link
US (1) US11686938B2 (zh)
EP (1) EP4016166A3 (zh)
CN (1) CN114637112A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11906738B2 (en) * 2021-03-17 2024-02-20 Google Llc Scanning MEMS mirror angle-doubling using polarization
US20220334392A1 (en) * 2021-04-16 2022-10-20 Nvidia Corporation Holographic virtual reality display

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0616136B2 (ja) 1986-11-14 1994-03-02 矢崎総業株式会社 車載用ホログラフィック表示システム
JPH01296213A (ja) 1988-05-24 1989-11-29 Yazaki Corp ホログラフィック表示システム
JP2705245B2 (ja) 1989-09-27 1998-01-28 キヤノン株式会社 ヘッドアップディスプレイ装置
EP0724174A4 (en) 1994-07-15 1998-12-09 Matsushita Electric Ind Co Ltd 'HEADUP' DISPLAY DEVICE, LIQUID CRYSTAL DISPLAY PANEL AND PRODUCTION METHOD THEREFOR
JPH10319342A (ja) 1997-05-15 1998-12-04 Olympus Optical Co Ltd 眼球投影型映像表示装置
JP2004145906A (ja) 2001-10-02 2004-05-20 Matsushita Electric Ind Co Ltd 光ヘッド装置及びそれを用いた光情報装置
CN101512413B (zh) 2006-09-28 2012-02-15 诺基亚公司 利用三维衍射元件的光束扩展
EP2292018B1 (en) 2008-04-22 2012-06-20 3ality, Inc. Position-permissive autostereoscopic display systems and methods
JP2011107589A (ja) 2009-11-20 2011-06-02 Sony Corp 立体表示装置
US10295833B2 (en) 2010-12-15 2019-05-21 SoliDDD Corp. Resolution for autostereoscopic video displays
KR102253212B1 (ko) 2012-05-18 2021-05-20 리얼디 스파크, 엘엘씨 지향성 조명식 도파관 배열체
CN102815267B (zh) 2012-07-30 2015-09-23 江西好帮手电子科技有限公司 一种全息投影倒车影像方法及其系统
KR101977251B1 (ko) 2012-12-18 2019-08-28 엘지디스플레이 주식회사 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
US9251743B2 (en) 2013-03-15 2016-02-02 Seattle Photonics Associates Optical system for head-up and near-to-eye displays
KR20150140815A (ko) 2013-05-10 2015-12-16 인텔 코포레이션 투영 장치
EP3128356B1 (en) 2014-03-31 2020-05-06 Wayräy Ag Method of displaying information through automobile windshield, and device for implementing same
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
WO2016113533A2 (en) * 2015-01-12 2016-07-21 Milan Momcilo Popovich Holographic waveguide light field displays
EP3398007A1 (en) 2016-02-04 2018-11-07 DigiLens, Inc. Holographic waveguide optical tracker
US10012834B2 (en) 2016-03-08 2018-07-03 Microsoft Technology Licensing, Llc Exit pupil-forming display with reconvergent sheet
US10067347B2 (en) 2016-04-13 2018-09-04 Microsoft Technology Licensing, Llc Waveguides with improved intensity distributions
US10725223B2 (en) 2016-08-22 2020-07-28 Magic Leap, Inc. Multi-layer diffractive eyepiece with wavelength-selective reflector
WO2018081636A1 (en) * 2016-10-28 2018-05-03 Magic Leap, Inc. Method and system for large field of view display with scanning reflector
DE102016224162A1 (de) * 2016-12-05 2018-06-07 Continental Automotive Gmbh Head-Up-Display
WO2018129398A1 (en) 2017-01-05 2018-07-12 Digilens, Inc. Wearable heads up displays
WO2019238869A1 (de) 2018-06-15 2019-12-19 Continental Automotive Gmbh Gerät zum generieren eines virtuellen bildes
EP3807696A1 (en) 2018-06-15 2021-04-21 Continental Automotive GmbH Head-up-display
EP3807694A1 (de) 2018-06-15 2021-04-21 Continental Automotive GmbH Head-up-display mit exakt ausgerichteten lichtwellenleitern

Also Published As

Publication number Publication date
EP4016166A3 (en) 2022-10-12
EP4016166A2 (en) 2022-06-22
US20220187601A1 (en) 2022-06-16
US11686938B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
US10877273B2 (en) Optical window system and see-through type display apparatus including the same
US11022799B2 (en) Projector-combiner display with beam replication
US11194158B2 (en) Light guide with beam separator for dual images
US11686938B2 (en) Augmented reality device for providing 3D augmented reality and operating method of the same
JP2020519955A (ja) 回折ディスプレイ、光導体素子およびそのためのプロジェクタ、および画像を表示するための方法
US11209652B2 (en) Light guide with polarization separator for dual images
EP4133325A1 (en) Waveguide display with cross-polarized eye pupil expanders
JP2006091333A (ja) 三次元映像表示装置
TW202235958A (zh) 具有多個單色投影儀的波導顯示器
JP2010139590A (ja) 画像投影装置及び投影画像の二次元／三次元切替え方法
TW202235939A (zh) 用於波導顯示器的梯狀內耦合
US8888292B2 (en) Projection apparatus for providing multiple viewing angle images
US10728534B2 (en) Volumetric display system and method of displaying three-dimensional image
KR20220086456A (ko) 3차원 증강 현실을 제공하는 증강 현실 장치 및 그 동작 방법
US11796817B2 (en) Optical arrangement for expanding and uniformizing light beams
US20230107434A1 (en) Geometrical waveguide illuminator and display based thereon
JP2999953B2 (ja) 偏光眼鏡を用いた立体映像表示装置
유찬형 Enhanced waveguide-based near-eye displays with polarization multiplexing
TW202319790A (zh) 幾何波導照明器及基於其之顯示器
WO2022258885A1 (en) An optical waveguide arrangement with improved capacity
CN116762024A (zh) 具有透明照明器的显示设备
JP2022129523A (ja) 画像投影装置
CN117590611A (zh) 一种多焦面显示系统、用于汽车的抬头显示系统及层析方法
CN116560105A (zh) 光学成像组件、光学成像模块和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination