CN107376349A - 被遮挡的虚拟图像显示 - Google Patents

被遮挡的虚拟图像显示 Download PDF

Info

Publication number
CN107376349A
CN107376349A CN201710323763.3A CN201710323763A CN107376349A CN 107376349 A CN107376349 A CN 107376349A CN 201710323763 A CN201710323763 A CN 201710323763A CN 107376349 A CN107376349 A CN 107376349A
Authority
CN
China
Prior art keywords
display
image
visual field
beholder
beam splitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710323763.3A
Other languages
English (en)
Other versions
CN107376349B (zh
Inventor
埃里克·C·哈兹尔廷
奎因·约克伦·珍·史密斯威克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN107376349A publication Critical patent/CN107376349A/zh
Application granted granted Critical
Publication of CN107376349B publication Critical patent/CN107376349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及被遮挡的虚拟图像显示。本公开描述的实施例包括增强现实(AR)光学系统以及相关联的方法和计算机程序产品，定义了相对于光学参考点的视场。该光学系统包括：成像显示器，该成像显示器被配置为使用接收到的第一显示信号显示图像；分束器，该分束器被布置在视场内并且被配置为使得被显示的图像显现在视场内的第一焦平面中。光学系统还包括遮挡显示器，该遮挡显示器被布置在视场内并且被配置为基于第一显示信号在比第一焦平面更靠近分束器的第二焦平面上显示遮挡图像，从而在光学参考点处减少针对被显示的图像的至少一部分的环境光。

Description

被遮挡的虚拟图像显示
技术领域
本公开通常涉及家庭娱乐，并且更具体地，涉及用于提供增强现实(AR)显示的技术。
背景技术
自从第一批视频游戏被开发以来，计算机图形技术已经经历了巨大的发展。现在，相对便宜的3D图形引擎能在仅花费几百美元的手持视频游戏平台、家庭视频游戏平台、以及个人计算机硬件平台上提供近乎逼真的互动式游戏玩法。这些视频游戏系统通常包括手持控制器、游戏控制器、或集成控制器(在手持视频游戏平台的情况下)。用户与控制器进行交互以向视频游戏系统发送命令或其他指令，从而控制视频游戏或其他仿真场景。例如，控制器可以包括用户用来操作的操纵杆和按钮。
虽然视频游戏允许用户直接与视频游戏系统进行交互，但是这类交互主要影响显示在视频游戏设备上(或被连接的显示器上)的图形展示，而很少影响虚拟世界以外的任何其他对象。也就是说，用户可以指定对视频游戏系统的输入，该输入指示用户的虚拟化身应该执行跳跃动作，并且作为响应，视频游戏系统可以显示用户的虚拟化身正在跳跃。然而，这种交互通常被限制于虚拟世界，而虚拟世界外的任何交互都是被限制的(例如，手持游戏设备能够在特定动作发生时进行振动)。
此外，许多手持游戏设备包括某种形式的视觉感知设备，该设备可以被用于捕获物理真实世界场景中的一个或一系列图像。被捕获的图像随后可以被显示在例如手持游戏设备的显示器上。某些设备可以被配置为在显示被捕获的图像之前将虚拟对象插入到被捕获的图像中。此外，其他设备或应用可以允许用户在被捕获的物理场景的图像内绘制或涂画细节。然而，由于这种改动只应用于物理场景的单一图像，而后续从不同角度捕获的该物理场景的图像可能不能体现用户的改动。
发明内容
本文所描述的一个实施例是一种定义相对于光学参考点的视场的增强现实(AR)光学系统。该光学系统包括成像显示器，该成像显示器被配置为使用接收到的第一显示信号显示图像；以及分束器，该分束器被布置在视场内并且被配置为使得被显示的图像显现在视场内的第一焦平面中。该光学系统还包括遮挡显示器，该遮挡显示器被布置在视场内并且被配置为基于第一显示信号在比所述第一焦平面更靠近所述分束器的第二焦平面上显示遮挡图像，从而在光学参考点处减少针对被显示的图像的至少一部分的环境光。
本文所描述的另一实施例是一种用于操作用于环境内的观看者的增强现实(AR)光学系统的方法，观看者具有视场。该方法包括：使用第一显示信号更新成像显示器，该成像显示器被配置为显示被分束器耦合到视场内的图像，被显示的图像显现在相对于观看者的第一焦平面中。该方法还包括与更新成像显示器同步地基于第一显示信号更新遮挡显示器，该遮挡显示器被布置在视场内并且被配置为在比第一焦平面更靠近观看者的第二焦平面中显示遮挡图像，从而减少观看者所看到的针对被显示的图像的至少一部分的环境光。
本文所描述的另一实施例是一种用于操作增强现实(AR)光学系统的计算机程序产品，该光学系统定义相对于光学参考点的视场。该计算机程序产品包括：包含计算机可读程序代码的计算机可读设备。该计算机可读程序代码可由一个或多个计算机处理器执行来：使用第一显示信号更新成像显示器，该成像显示器被配置为显示由于分束器的作用显现在视场内的第一焦平面中的图像。该计算机可读程序代码还能被执行来：与更新成像显示器同步地基于第一显示信号更新遮挡显示器。遮挡显示器被布置在视场内并且被配置为在比第一焦平面更靠近分束器的第二焦平面中显示遮挡图像，从而在光学参考点处减少针对被显示的图像的至少一部分的环境光。
附图说明
通过参考附图，可以给出实现和更全面地理解上述那些方面的方式，以及对以上简单综述的本公开的实施例的更具体的描述。但是，应当注意附图仅仅图示了本公开的典型实施例，因此并不被认为是对本公开的范围的限制，本公开可以允许有其它等效实施例。
图1是根据本文描述的实施例的示例性交互环境的示意性框图。
图2是图示了根据本文描述的实施例的被配置为与移动设备交互的增强现实(AR)头戴式装置的图示。
图3-5图示了根据本文公开的实施例的增强现实(AR)光学系统的示例性布置。
图6图示了根据本文描述的实施例的将被显示的图像与遮挡图像组合的视觉效果。
图7图示了根据本文描述的实施例的用于操作增强现实(AR)光学系统的方法。
图8图示了根据本文描述的实施例的用于更新遮挡显示器的方法。
为了帮助理解，尽可能使用同一标号以指定与附图相同的同一元件。应该预期到在一个实施例中公开的元件可以被有利地用于没有具体详述的其它实施例。本文引用的附图不应该被理解成是按比例绘制的，除非特别注明。而且为了清楚的呈现和解释，通常简化了附图并且省略了组件或细节。附图和讨论用于解释下文讨论的原则，其中类似的名称表示类似的元件。
具体实施方式
在增强现实(AR)显示中(其中使用分束器和其他光学元件将虚拟图像叠加在真实背景对象上)，虚拟图像可能会遭遇明显的穿透(bleed-through)，这意味着透过虚拟图像可以轻易地看到背景对象。这个效果违背AR显示的交互逼真性，并且减弱了虚拟图像被呈现在物理世界中的幻觉。穿透效果对虚拟图像的亮度非常低的部分而言尤其明显。因此针对AR显示和混合虚拟图像/真实图像显示的其他应用，期望控制到达观看者的来自背景对象的光量(无论虚拟成像叠加在真实世界上的任何地方)。
通常，本文提出的实施例提供关于增强现实(AR)光学系统的技术，该AR光学系统定义了相对于光学参考点的视场。光学系统包括被配置为使用接收到的第一显示信号显示图像的成像显示器、以及被布置在视场内并且被配置为使得被显示的图像显现在视场内的第一焦平面中的分束器。光学系统还包括被布置在视场内并且被配置为基于第一显示信号在比第一焦平面更靠近分束器的第二焦平面上显示遮挡图像的遮挡显示器。显示遮挡图像用来在光学参考点处减少针对被显示的图像的至少一部分的环境光。遮挡图像有效地创建光活动蒙版，该光活动蒙版能够追踪虚拟成像并且基本控制能够到达观看者的来自背景对象的光量。
图1是根据本文描述的实施例的示例性交互环境的示意性框图。
在系统100内，计算设备105与一个或多个传感器设备165、一个或多个显示设备170、以及一个或多个音频输出设备175通信。如下文将详细地讨论的，计算设备105可以为交互环境中的用户提供增强现实(AR)和/或虚拟现实(VR)显示功能。计算设备105可以按任何合适的形式来实现。在一些实施例中，计算设备105是体戴式(body-worn)计算设备，例如，被集成到用户的头部、手臂等所佩戴的组件中。在一些实施例中，计算设备105包括移动计算设备，例如，智能电话、平板电脑等等。在一些实施例中，移动计算设备被配置为物理地并且可移除地与体戴式组件附接。
计算设备105包括但不限于一个或多个处理器110和存储器115。处理器110通常获取并且执行储存在存储器115中的程序指令。处理器110被包括来代表单个中央处理单元(CPU)、多个CPU、具有多个处理核心的单个CPU、具有多个执行路径的图形处理单元(GPU)等等。存储器115通常被包括来代表随机访问存储器，但还可以包括任何合适类型的非易失性存储装置。
存储器115通常包括用于执行与生成和维护讲故事、打游戏或其他交互式环境相关的各种功能的程序代码。程序代码通常被描述为存储器115内的各种功能性“模块”，但替换实施方式可以具有不同的功能和/或功能的组合。
在存储器115内，讲故事/打游戏模块120通常被配置为控制讲故事、打游戏或其他交互式体验，这些交互式体验经由显示设备170和/或音频输出设备175被显示给用户。在一些实施例中，讲故事/打游戏模块120是以应用的形式，例如，视频游戏。
在一些实施例中，讲故事/打游戏模块120被配置为使用所选的预定故事模板(例如，被存储在存储器115中的故事)并且基于可供参与讲故事体验的多个被标识的讲故事设备160来生成故事。可以使用任何合适的通信方法所执行的注册过程来标识讲故事设备160。一个非限制性示例包括：发出第一信号(例如，红外(IR)信号)的控制设备(可以是指定的讲故事设备160或计算设备105)、以及响应于接收第一信号而发送响应信号(例如，射频(RF)信号)的其他讲故事设备160。
通常，可以通过将与所选故事模板相关联的预定动作映射至可用的讲故事设备160来生成故事。例如，特定的故事模板可以指定讲故事设备的角色到特定动作的初始映射，并且计算设备105将这些动作映射到与指定的角色匹配的可用的讲故事设备160上。与故事相关联的预定动作通常响应于检测到特定激发事件，并且可以包括用于生成讲故事环境的任何合适的感应输出。激发事件可以是基于编码的红外信号的传输、讲故事设备内所包含的传感器设备(例如，惯性测量单元)等等。
预定动作的一些非限制示例包括讲故事设备160响应于激发事件的运动(例如，移位和/或振动、元件的衔接)，以及生成音频输出，例如，不同的声音效果和/或言语。例如，可动人型可以被配置为在接收到与来自Iron 可动人型的“冲击光束”攻击相对应的编码的红外信号之后执行动作。讲故事设备所执行的被确定的动作可以基于交互历史，例如，可动人型先前接收到多少攻击。例如，对于第一次冲击光束攻击，可动人型可以被配置为输出事先录制的咆哮声(例如，使用与可动人型相关联的一个或多个扬声器)。当接收到第二次冲击光束攻击时，可动人型可以被配置为操纵它的手臂和头部，此外还输出咆哮声。在接收到第三次冲击光束攻击后，可动人型可以被配置为前后摇动，并且在接收到第四次冲击光束攻击后，可动人型可以被配置为在桌子上跌倒(即，从初始的站立位置倒下)。
传感器设备165可以具有(一种或多种)任意合适的类型并且被配置为感知来自环境的信息。传感器设备165的一些非限制示例包括：视觉传感器166、音频传感器168、压力传感器、加速度传感器、和温度传感器。视觉传感器166通常包括被配置为感知可见光和/或红外光的相机。在一些实施例中，传感器设备165可以由计算设备105包括(或者被包含在计算设备105内)。例如，在计算设备105是智能电话或平板设备的情况下，传感器设备165可以包括智能电话/平板设备内所包含的(一个或多个)相机、惯性运动单元(IMU)等等。在一些实施例中，传感器设备165包括在计算设备105外部的传感器，例如，头戴式设备所包含的视觉传感器166。
存储器115还包括图像处理模块125，图像处理模块125被配置为执行对视觉传感器166所捕获的图像信息和/或显示图像156的处理。在一些情况下，显示图像156的内容是由讲故事/打游戏模块120提供的。图像处理模块125可以包括任意数量的图像处理功能，例如对象检测和跟踪子模块126，被配置为(例如，基于边缘检测信息、颜色信息和/或其他合适的特征)检测交互环境内的物理对象并且跟踪所检测到的对象的相对位置随时间的变化((例如，当用户和/或对象在交互环境内到处移动时)。图像处理模块125还包括深度估计子模块128，被配置为动态地估计所检测到的对象与用户的距离。对所检测到的对象的正确估计是很重要的，因为这使得生成的增强现实(AR)对象能被显示在正确的深度(即，相对于在环境中所检测到的对象)。
显示设备170包括至少一个成像显示器172和至少一个遮挡显示器174。成像显示器172和遮挡(occluding)显示器174通常包括任意合适类型的视觉显示器。一些适当的视觉显示器的非限制示例包括发光二极管(LED)、有机LED(OLED)、包括超扭曲向列(STN)LCD的液晶显示器、等离子体、电致发光(EL)、电子墨水(e-ink)或其他显示技术。在一个实施例中，体戴式组件包括单个成像显示器172和单个遮挡显示器174。在另一实施例中，体戴式组件包括一个成像显示器172和两个遮挡显示器174，每个遮挡显示器174对应于观看者的一只眼睛。在又一实施例中，体戴式组件包括两个成像显示器172和两个遮挡显示器174。
成像显示器172被配置为在光学系统的视场内显示图像(或“虚拟成像”)。然而在一些实施例中，成像显示器172被布置在视场的外面，并且，被显示的图像使用分束器或其他合适的光学布置被耦合到视场中。基于显示器和分束器的特性，被显示的图像出现在视场内的第一焦平面。
遮挡显示器174被配置为在视场内显示遮挡图像，从而减少光学参考点处的针对被显示的图像的至少一部分的环境光。如上文所讨论的，在虚拟成像叠加在真实对象的情形中(例如，在AR显示中)，来自背景的光可以穿透虚拟图像，这不利于虚拟成像并且降低了AR体验的逼真质量。穿透效果对虚拟成像的具有较低亮度的部分而言尤为显著。然而，提高被显示的图像的亮度可能是不切实际或不可能的(例如，由于成像显示器172和/或分束器的限制)。在本文所描述的实施例中，遮挡显示器174基本能透射环境光并且被布置在观看者的视场内。遮挡显示器174可以具有任何合适的实现方式，例如，透射式LCD、透射式电润湿显示器、和透射式e-ink显示器。遮挡显示器174可以被配置为以单色、灰度和彩色中的任意形式进行显示。遮挡图像158被显示在第二焦平面中，第二焦平面处于光学参考点(或分束器或观看者)处或者比显现被显示的图像的第一焦平面更靠近光学参考点(或分束器或观看者)的第二焦平面中。因此，遮挡图像158所显示的内容用来至少部分地遮挡与显示图像156的所选部分相对应的环境光。在一些实施例中，遮挡图像158的部分是基本能透射的，从而允许环境光能全然充分穿过。
在一些实施例中，成像显示器172被包含在计算设备105内(例如，智能电话、平板设备等的主显示屏)。如上文所讨论的，计算设备105可以被配置为物理地并且可移除地与体戴式设备(例如，头戴式装置)附接。图2提供了AR头戴式装置的一个示例实现方式。计算设备105与体戴式设备的附接可以为成像显示器172提供期望的相对于分束器和相对于观看者的朝向以生成虚拟图像。在其他实施例中，成像显示器172与计算设备105是分开的，例如，集成到体戴式设备中的单独的显示器。
在另一示例中，显示设备170可以被集成到用户所携带或持有的或者在讲故事体验中有任何其它合适的观看者交互的其它设备中。例如，当观看者参与示例打游戏体验时可以携带玩具冲击波武器，该武器包括用于瞄准的光学瞄准具，并且显示设备150可以被集成到光学瞄准具中。
被显示在显示设备170上的内容是基于显示模块155所生成的显示信号180而被控制的。显示信号180包括被提供给成像显示器172的第一显示信号182、以及被提供给遮挡显示器174的第二显示信号184。第二显示信号184被配置为与成像显示器172同步地操作遮挡显示器174，从而使得向观看者提供单一的虚拟成像。在一些实施例中，第二显示信号184与第一显示信号182大体相同。在其他实施例中，第二显示信号184是由显示模块155基于第一显示信号182生成的。
存储器115还包括被包含在显示图像156内的一个或多个虚拟对象135。显示图像156通常被用于产生用于更新成像显示器172的第一显示信号182。针对一个或多个虚拟对象135的对象信息可以被包含在第一显示信号182内，或者可以通过计算设备105对第一显示信号的后续处理来确定(例如，使用成像处理模块125的对象检测和跟踪子模块126)。
显示模块155使用对象信息来确定将一个或多个虚拟对象135中的哪个对象显示在遮挡显示器174上，以确定一个或多个虚拟对象的遮挡级别等等。在一些情形中，单个虚拟对象135被示出在遮挡显示器174上。在其他情形中，多个虚拟对象135被示出在遮挡显示器174上，这些虚拟对象可以具有相同或不同的遮挡级别。为了确定遮挡哪些虚拟对象135和/或遮挡级别，图像处理模块125还包括特征提取子模块130，特征提取子模块130被配置为确定显示图像156和/或视觉传感器166所获取的成像信息的一个或多个预定特征。如所示，特征提取子模块130被配置为确定虚拟对象135的颜色信息136和亮度信息138。特征提取子模块130还可以被配置为使用视觉传感器166所获取的图像信息来确定环境亮度信息140。
通常，显示模块155使用颜色信息136、亮度信息138和/或环境亮度信息140来产生具有期望特征的遮挡图像158。例如，针对显现在显示图像156中的特定虚拟对象135，显示模块155可以产生与虚拟对象135相对应的并且在观看者的视场内覆盖虚拟对象135的遮挡对象158。显示图像156和遮挡图像158的组合为观看者提供了增强的颜色精度和对比度。
如上文所讨论的，虚拟对象的某些颜色(例如，黑色)、虚拟对象135的低级别亮度和/或高级别环境亮度可能导致背景光穿透和/或消掉成像显示器172所显示的虚拟对象135的效果。在各种实施例中，显示模块155基于颜色信息136、亮度信息138和/或环境亮度信息140来控制遮挡图像158的性质(例如，遮挡显示器174的像素强度)，从而使得对观看者而言所显示的虚拟对象135具有充足的对比度。
在一个示例中，假设第一显示信号182包括定义如下两个虚拟对象135的对象信息：第一浅着色对象和第二深着色对象(其中，“轻着色”和“深着色”是相对于彼此而言的)。进一步假设第一对象不特别容易受到来自当前背景(环境)光的穿透的影响，但第二对象展现出显著的背景光穿透并且在视场中有效地消掉了第二对象。显示模块155控制第二显示信号184来使得遮挡显示器174在遮挡图像158内示出第二对象。在遮挡图像158中所示出的第二对象用来在与显示图像156的第二对象相对应的区域部分地遮挡环境光使其不能到达观看者。因此，第二对象在视场中具有增强的对比度并且/或者变暗了。
由于第二对象是在遮挡图像158中、在与所显示的图像156不同的焦平面中被示出的，因此与被示出在被显示的图像156中相比，当被示出在遮挡图像158内时第二对象可以具有不同的尺寸和/或位置，用以减轻视差效果。因此，第二对象在被显示的图像156和遮挡图像158中的不同描绘在视场内的光学参考点处是对准呈现的。此外，第二对象可以被示出为在遮挡图像158中失焦(out-of-focus)，这有助于确保出现在遮挡图像158内的任何显示伪影对观看者而言不明显和/或不使其分心。
继续看该示例，第二显示信号184使得遮挡图像158的其他部分能够透过环境光，这些部分可以包括无对象部分(即，不与所确定的虚拟对象135相对应的部分)和/或与所确定的第一对象相对应的部分。在另一示例中，第二显示信号184使得第一对象和第二对象都被示出在遮挡图像158中，但是针对不同的对象具有不同的遮挡量或级别。例如，第二显示信号184可以使得遮挡显示器174利用不同的像素强度(例如，灰度级)来显示第一对象和第二对象，以使得第二对象具有比第一对象更大的遮挡量。
存储器115可以存储被用于控制所显示的虚拟对象135在成像显示器172和/或遮挡显示器174上的位置的一个或多个观看者参数150。通常，例如，在穿戴着相关联的体戴式设备时，观看者的眼睛针对在虚拟显示172和遮挡显示器174上所示出的虚拟对象135的朝向可以通过多种方式来影响观看者的交互体验。例如，观看者在戴着增强现实(AR)头戴式装置时，如果头戴式装置不能针对观看者进行适当地校准，那么观看者可能会感觉到不适。例如，头戴式装置可能恰好适合观看者，但是由于观看者的瞳孔间距152(即，观看者的眼睛之间的距离)相对于体戴式设备的默认配置而言较大或较小，所述观看者的眼睛可能不能适当地与所示出的虚拟对象135对准。这种未对准还可能影响所示出的虚拟对象135相对于物理环境内的物理对象的对准。也就是说，显示模块155可以在基于观看者的眼睛正好恰当对准的位置处显现虚拟对象135。然而，由于观看者的眼睛没有对准，所以相对于物理环境的中的物理对象而言，虚拟对象135在被观看者观看时可能出现在不同的位置。在观看者进行观看时，未对准还可能导致虚拟对象135的视差错误和其他像差(例如，桶形畸变、枕形失真等等)。这进而可能影响观看者使用增强现实头戴式装置的乐趣，因为对用户而言，虚拟对象135可能出现在不切实际的位置(例如，在物理对象内、站在物理平面外等等)并且具有不切实际的形状。在一些实施例中，特定观看者的瞳孔间距152可以基于在计算设备105上执行的校准组件来确定，该校准组件提供一界面，观看者能够通过该界面调整使用成像显示器172显示的参考标记的位置。
观看者参数150还包括一个或多个水平歪斜(horizontal skew)值154，水平歪斜值154反映距观看者的眼睛的距离的范围，在这个距离范围内，观看者对所显示的虚拟对象135感觉舒服。水平歪斜值154还可以是基于体戴式设备的配置，例如，成像显示器172和/或遮挡显示器174的特定配置所产生的焦平面。例如，当虚拟对象135的计算深度与焦平面的光学深度差异巨大(太近或者太远)时，观看者可能会感觉到眼疲劳。眼疲劳不是由于图像融合的问题引起的，而是由于观看者的眼睛想要聚焦的地方和眼睛肌肉汇聚的地方之间的差异引起的。
音频输出设备175可以包括具有任何合适的形式的因子的传统音频扬声器(例如，单独的、集成在立体声音响中的、耳机等)，以及使用替换方法来产生用户可感受到的声音的设备。在一些实施例中，音频输出设备175被包含在计算设备105内(例如，智能电话、平板设备等的扬声器)。在其他实施例中，计算设备105将符合交互体验的音频信号185传输至音频输出设备175。
在一些实施例中，计算设备105被配置为在增强现实(AR)模式下操作，通常被配置为使用显示设备170将虚拟图像(例如，人物、物体和/或动态视觉效果)叠加到视场内。可以使用诸如视觉传感器166之类的传感器设备165来确定视场。在一些实施例中，计算设备105被配置为在虚拟显示(VR)模式下操作，通常使用显示设备170将观看者对环境的自然视场替换为虚拟图像。
例如，显示设备170可以叠加虚拟人物，使其看上去像是坐在使用视觉传感器166获取的图像信息在环境内所检测到的物理椅子上。虚拟人物在显示设备170上的显示基于观看者的视场(朝向)、所确定的椅子相对于观看者的深度等被动态地调节。
在一些实施例中，计算设备105被配置为基于所感知到的环境特征和/或基于讲故事模块所生成的故事来动态地选择AR模式或VR模式中的一者。AR模式或VR模式的选择被表示为AR/VR模式145并且被包含在存储器115中。例如，如果环境亮度信息140指示环境非常亮(例如，当用户处在阳光直射下时)，观看者可能很难使用显示设备170查看覆盖信息。在另一示例中，讲故事/打游戏模块120所生成的故事的虚拟设置指定夜间设置。在这些示例中，VR模式可以被启用以使得将观看者的视场与周围的物理环境基本隔离开，从而减少从环境接收到的光的量。在这两种情形中，AR/VR模式145的动态选择通过确保用户能够适当地查看覆盖信息或者通过提供与故事的虚拟设置相一致的更逼真的设置，可以改善讲故事的环境的拟真特性。
AR模式和VR模式之间的切换可以通过任何合适的技术来实现。在一些实施例中，体戴式的头戴式装置包括挡光组件，该挡光组件包括被布置在观看者的各个眼睛前方的交叉偏振器。当旋转交叉偏振器中的一者或两者时，被透射到观看者的眼睛上的来自物理环境的光可以被选择性地减少，并且能够将观看者的视场与物理环境基本隔离开(例如，VR模式)。旋转交叉偏振器可以手动(例如，观看者旋转与交叉偏振器相连的旋钮)或电动(例如，电机接收来自计算设备105的基于AR/VR模式145的控制信号并且旋转交叉偏振器)执行。在其他实施例中，挡光组件包括部分或全部透明的“透视(see-through)”显示器，例如，OLED或侧面发光或自然发光的LCD。在一些实施例中，当选择了VR模式时，遮挡显示器174可以被操作来完全遮挡环境光。显示器接收来自计算设备105的基于AR/VR显示模式140的控制信号，并且可以选择性地使显示器变暗以将观看者的视场与物理环境基本隔离开。
显示设备170一般被用在系统100内以提供在交互体验期间可以被用户携带或佩戴的紧凑型AR/VR显示器。如上文所讨论的，显示设备170可以包括与移动计算设备(例如，智能电话或平板设备)分开的设备。使用智能电话或其他移动计算设备来实现紧凑型AR/VR显示器具有若干优点。例如，能够适配观看者的智能电话的实现方式减小了紧凑型AR/VR显示器的制造成本，因为不需要包括单独的计算硬件或显示硬件。智能电话中所包含的相机可以被用作视觉传感器166，以动态地提供关于物理环境和观看者视场的信息。使用智能电话还可以为观看者带来更多便利，并且可以提供相对大的用于观看的显示器。
很多考虑因素会影响使用移动计算设备的紧凑型AR/VR显示器的设计。通常，紧凑型AR/VR显示器包括被配置为向观看者的眼睛传送移动计算设备的一些或全部显示内容的光学布置。根据当前所选择的模式(AR或VR)，光学布置还被配置为向观看者的眼睛传送来自物理环境的一些或全部光。将紧凑型AR/VR显示器设计为具有相对较小的尺寸和重量是有利的。较小并且较轻的体戴式实现方式允许年龄较小的用户或其他体形和/或力量较小的用户来使用，并且通常在交互体验期间更不易疲劳。光学布置和/或移动计算设备的定位还可以被选择来减小施加于观看者的力矩(moment)。例如，在头戴式紧凑型AR/VR显示器中，与将智能电话放置在离观看者的头部较远的位置的实现方式相比，将智能电话放置在更靠近观看者头部的位置提供了更小的力矩(例如，对应于脖子或上身的压力)。紧凑型(小尺寸)的实现方式还通过减少材料和处理需求降低了制造成本。与大型或笨重的实现方式相比，紧凑型的实现方式对观看者而言也更美观。
使用移动计算设备结合光学布置能够为观看者提供相当好的视场，这能增强交互环境的拟真特性。一般来说，用户视场的尺寸与被包括在针对离用户眼睛的特定距离的光学装置中的元件的尺寸成比例。
图2是根据本文描述的实施例示出被配置为与移动设备交互的增强现实头戴式装置的图示。如图所示，图示200示出了移动设备210和增强现实头戴式装置220。增强现实头戴式装置220包括移动设备适配器222、头部绑带226和反射镜透镜228。移动设备适配器222限定接纳移动设备210的开口224。通常，将移动设备210插入到开口224中能将移动设备210与移动设备适配器222相耦合，并且还使得显示器215(图1的成像显示器172的示例)被布置为相对于该AR头戴式装置220所包含的光学组件具有适当的朝向。移动设备适配器222可以包括用于可移除地与移动设备210耦合的任何适当的装置。移动设备适配器222被配置为将移动设备210保有或保持在增强现实头戴式装置220的佩戴者所期望的位置和朝向。
移动设备210的显示器215所产生的光(例如，与图1的显示图像156相对应)通过AR头戴式装置220的光学组件被重定向，使得光能够被增强现实头戴式装置220的佩戴者看到。例如，所产生的光可以穿过分束器并且经过反射镜透镜228反射进入观看者的眼睛。因此，使用显示器215显示的虚拟对象看起来像是存在于观看者的物理环境内。有利地，通过借助于移动设备210的硬件资源，可以以更小的成本来生产和销售增强现实头戴式装置220(相对于包含专用计算机处理器、显示设备等等的其他增强现实设备而言)。
图3-5图示了根据本文描述的实施例的增强现实(AR)光学系统的示例性布置。通常，布置300、400和500代表AR头戴式装置220(图2)和其他可穿戴或可携带设备所包含的光学组件的示例性布置。需要注意的是布置300、400、500中的组件和它们的间隔不是按比例示出的。此外，为了简化的目的，未示出连接布置300、400、500中的各种组件的结构元件。
布置300包括目镜310、分束器315、和物镜320。布置300定义相对于光学参考点304的视场302。布置300还包括成像显示器172和遮挡显示器174，它们通常被配置为显示耦合到视场302中的图像，观看者(示出为眼睛305)在光学参考点304处可以查看该图像。虽然图中未示出，但布置300可以包括被配置为阻挡来自一些显示区域和/或来自成像显示器172的其他部分的光的遮罩(mask)，以防止观看者看到这些部分。例如，可以提供遮罩来防止观看者看到移动设备的边缘，观看者看到移动设备的边缘会使观看者从拟真特性的交互环境中分心。
如图所示，成像显示器172被布置为面朝上，并且成像显示器172所生成的图像(图1的显示图像156)在向上的方向上朝分束器315传送，分束器315位于视场302内。来自成像显示器172的图像在第一焦平面330中被聚焦。在一些实施例中，第一焦平面330在约十(10)英寸(对应于观看者眼睛305的近焦距离)和光学无限远(optical infinity)之间。图像被入射到分束器315，分束器315通常被配置为透射50％的入射光线并且朝目镜310反射50％的入射光线，从而将被显示的图像耦合到视场302中。分束器315的替换实现方式可以具有不同的透射和反射百分比。分束器315还被配置为朝目镜310透射一部分来自环境的光线。
在成像显示器172被配置为产生偏振的显示图像的替换实施例中，例如，包括用以减少散射和眩光的偏振器的LCD或OLED显示器，分束器315可以被极化以反射较大比例的偏振的显示图像。
目镜310具有正屈光度(optical power)并且可以进行折射、反射或衍射。物镜320具有负屈光度并且可以进行折射、反射或衍射。目镜310被布置在分束器315的第一侧，而物镜320被布置在分束器315的相对的第二侧。在一些实施例中，物镜320的负屈光度与目镜310的正屈光度互补，从而使得环境清晰呈现给观看者。
如所示，遮挡显示器174被布置在分束器315和物镜320之间的视场302内。遮挡显示器174被配置为在比第一焦平面330更靠近分束器315的第二焦平面325中显示遮挡图像。第二焦平面325比第一焦平面330更靠近分束器315是因为遮挡显示器174相比于成像显示器172距离目镜310的焦距更远。遮挡图像用来减少观看者所看到的针对被显示的图像的至少一部分的环境光，这增大了颜色精度和/或提升了被显示的图像的对比度。此外，虽然遮挡图像呈现为在第二焦平面325中比起被显示的图像更靠近分束器315，但这在来自被显示的图像的相对大量的光线趋于覆盖相对低光度的遮挡图像时，对观看者而言是不可察觉的。
图4的布置400示出了一个替换实施例，其中遮挡显示器174被布置在物镜320远离分束器315的相对一侧。布置400有助于为观看者锐化遮挡图像，但这增大了被显示的图像和遮挡图像之间出现的视差量。图5的布置500示出了另一替换实施例，其中没有仅使用物镜320来对遮挡图像158进行成像。这种方法趋于减小成本、尺寸、和布置的转动惯量，而不会严重影响观看者的体验。由于观看者的小直径瞳孔所引起的光学系统的长焦距，所以遮挡图像158的聚焦(尽管不完美)是足够的，因为人类大脑倾向于“锐化”(与更“清晰”、更明确的图像相对的)模糊图像。
需要注意的是图3-5中的布置300、400、500是相对于观看者的单只眼睛305示出的，实现方式可以包括针对观看者的两只眼睛的独立光学系统。在一个示例中，与观看者的两只眼睛相对应的两个独立的透镜系统(即，两个独立的正屈光度目镜310)可以共享单个分束器315。
图6示出了根据本文描述的实施例的将被显示的图像与遮挡图像组合的视觉效果。具体地，图示600反映图3-5中所示的各种布置300、400、500的操作。图示600包括在第一焦平面330处被显示的图像156和在第二焦平面325处的遮挡图像158。被显示的图像156和遮挡图像158的组合为观看者产生合成图像615。
被显示的图像156示出猫咪虚拟对象620。由于虚拟对象620包括大比例的黑色或其他深色，因此虚拟对象620容易被例如对象605所发射或反射的环境光线610消掉。如图所示，虚拟对象620的部分622被大量轻着色(例如，白色)。
根据本文讨论的各种实施例，遮挡图像158还在区域625内示出了虚拟对象620。用于示出虚拟对象620的区域625在尺寸和/或位置上可以不同于在被显示的图像156中所示出的虚拟对象620，以使得在合成图像615中看到虚拟对象620的单一的虚拟成像635。例如，区域625可以在遮挡图像158内被不同地放置，以便于弥补被显示的图像156和遮挡图像158之间的视差。此外，在一些实施例中，遮挡图像158可以将虚拟对象620示出为在区域625内失焦。区域625用来减少与被显示的图像156的虚拟对象620相对应的被看到的环境光610。
遮挡图像158还可以包括基本透射的区域630，这允许环境光610基本完全穿过区域630。虽然图中未示出，但是遮挡图像158可以包括与被显示的图像156内所示出的其他虚拟对象相对应的并且针对虚拟对象620具有与区域625不同的遮挡级别的区域。在一些实施例中，虚拟对象620的部分622基本可透射。
被显示的图像156和遮挡图像158可以被同步更新，以使得即使被显示的图像156内的虚拟对象620有移动，单一的虚拟成像635仍然继续被观看者感知到。
图7示出根据本文描述的实施例的用于操作增强现实(AR)光学系统的方法。通常，意欲结合本文所讨论的增强现实(AR)光学系统的任何布置来使用方法700。虽然方法700的框被描述为由计算设备的显示模块执行，但其他实现方式也是可能的。
方法700在框705处开始，在框705处，显示模块使用第一显示信号更新成像显示器。被显示的图像显现在相对于观看者的第一焦平面中。在一些实施例中，被显示的图像被使用分束器耦合到了观看者的视场中。
在框715处，与更新成像显示器同步地，显示模块更新遮挡显示器。遮挡显示器是基于第一显示信号被更新的，并且被配置为在比第一焦平面更靠近观看者的第二焦平面中显示遮挡图像。显示遮挡图像用来减少观看者所看到的针对被显示的图像的至少一部分的环境光。方法700在完成框715后结束。
图8示出根据本文所描述的实施例的用于更新遮挡显示器的方法。方法800通常可以作为上文所讨论的方法700的框715的一部分来执行。
方法800在框805处开始，在框805处，计算设备识别在显示图像中示出的对象。在一些实施例中，识别对象是通过对显示对象进行图像处理来确定的。图像处理可由计算设备的图像处理模块执行并且可以包括对象检测、确定颜色信息、以及确定亮度信息中的一者或多者。
在框815处，显示模块生成用于更新遮挡显示器的第二显示信号。第二显示信号描述对象在遮挡图像的第一区域中，而遮挡图像的第二区域基本能透射环境光。在一些实施例中，生成第二显示信号包括以下各项中的至少一项：使遮挡图像内的被识别的对象散焦(defocus)；调整遮挡图像内的被识别的对象的尺寸；以及调整遮挡图像内的被识别的对象的相对位置。这些操作可以被执行以便于向观看者提供单一视觉成像，例如，消除视差效果。
在一些实施例中，计算设备使用耦合的视觉传感器确定环境亮度信息，并且显示模块基于环境亮度信息确定第二显示信号的显示值(例如，与遮挡级别相对应)。方法800在框815完成后结束。
在前文中，参考了本公开的实施例。然而，本公开不限于具体描述的实施例。相反，前述特征和元件的任何组合(无论是否涉及不同的实施例)都被设想为实现和实施本公开。此外，尽管本公开的实施例可以实现优于其它可能的解决方案和/或相对于现有技术的优点，但给定实施例是否实现特定优点并不限制本公开。因此除非在权利要求中明确地陈述，前述方面、特征、实施例和优点仅仅是示例性的，并且不被认为是所附权利要求的元素或限制。同样地，除非在权利要求中明确地陈述，对“本公开”的引用不应被解释为本文公开的任何发明主题的概括，并且不应被认为是所附权利要求的元素或限制。
本领域的技术人员应该理解，本公开的各方面可以体现为系统、方法或计算机程序产品。因此，本公开的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或者组合软件和硬件方面的实施例的形式，其在本文可以全部通称为“电路”、“模块”或“系统”。此外，本公开的各方面可以采取体现在一种或多种计算机可读介质(其上实现有计算机可读程序代码)中的计算机程序产品的形式。
可以使用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体的系统、装置或设备、或前述项的任何合适的组合。计算机可读存储介质的更具体的示例(非穷举列表)包括以下项：具有一根或多根线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤，便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述项的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备所使用(或与其结合使用)的程序的任何有形介质。
计算机可读信号介质可以包括其中实现有计算机可读程序代码(例如，在基带中或作为载波的一部分)的传播数据信号。这样的传播信号可以采取各种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是并非计算机可读存储介质的，并且可以传送、传播或传输由指令执行系统、装置或设备使用或与其结合使用的程序的任何计算机可读介质。
实现在计算机可读介质中的程序代码可以使用任何适当的介质传输，包括但不限于无线、有线、光纤线缆、RF等，或前述项的任何合适的组合。
用于执行本公开的方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，编程语言包括面向对象的程序设计语言(例如Java、Smalltalk、C++等)以及常规的过程式编程语言(例如“C”编程语言或类似的编程语言)。程序代码可以完全在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上执行、部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。
上文参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本公开的各方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个块中指定的功能/动作的装置。
这些计算机程序指令还可以存储在可以指示计算机、其它可编程数据处理装置或其它设备以特定方式工作的计算机可读介质中，使得存储在计算机可读介质中的指令生成制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机、其它可编程数据处理装置或其它设备上，以使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤来生成计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
本公开的实施例可以通过云计算基础设施将实施例提供给终端用户。云计算通常指代通过网络提供可扩展的计算资源以作为服务。更正式地讲，云计算可以被定义为提供计算资源及其底层技术架构(例如，服务器、存储设备、网络)之间的抽象的计算能力，从而实现对可配置的计算资源的共享池的便捷的、按需的网络访问，其中该可配置的计算资源可以以最低限度的管理工作或服务提供商交互被快速地配置和释放。因此，云计算允许用户访问“云”中的虚拟计算资源(例如，存储、数据、应用、甚至完整的虚拟化计算系统)，而不用考虑用于提供计算资源的底层物理系统(或这些系统的位置)。
通常，云计算资源可以基于按使用情况付费被提供给用户，其中用户仅对被实际使用的计算资源(用户所消耗的存储空间量或用户所实例化的虚拟化系统的数量)付费。用户可以通过互联网随时随地访问驻留在云中的任意资源。在本公开的背景下，用户可以访问在云中可获得的应用(例如，讲故事、打游戏、或其他交互式环境应用)或相关数据。这样做允许用户从附接至与云连接的网络的任何计算系统访问该信息。
附图中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示包括用于实现指定的逻辑功能的一个或多个可执行指令的代码的部分、模块、或分段。在一些替代的实现方式中，在框中标注的功能可以不按照附图中所示的顺序发生。例如，取决于所涉及的功能，前后示出的两个框实际上可以基本同时执行，或者这些框有时可以以相反的顺序执行。框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可以由执行指定的功能或动作的专用的基于硬件的系统来实现，或者可以由专用目的硬件和计算机指令来实现。
虽然前述内容针对的是本公开的实施例，但是在不脱离本公开的基本范围的情况下，可以构想本公开的其它和进一步的实施例，并且本公开的范围由所附权利要求来确定。

Claims (20)

1.一种定义相对于光学参考点的视场的增强现实(AR)光学系统，所述光学系统包括：
成像显示器，所述成像显示器被配置为使用接收到的第一显示信号显示图像；
分束器，所述分束器被布置在所述视场内并且被配置为使得被显示的图像显现在所述视场内的第一焦平面中；以及
遮挡显示器，所述遮挡显示器被布置在所述视场内并且被配置为基于所述第一显示信号在比所述第一焦平面更靠近所述分束器的第二焦平面上显示遮挡图像，从而在所述光学参考点处减少针对所述被显示的图像的至少一部分的环境光。
2.根据权利要求1所述的光学系统，还包括：
目镜，所述目镜被布置于在所述分束器的第一侧的所述视场内并且具有正屈光度；以及
物镜，所述物镜被布置于在所述分束器的相对第二侧的所述视场内并且具有与所述正屈光度互补的负屈光度。
3.根据权利要求2所述的光学系统，其中，所述遮挡显示器被布置在所述分束器和所述物镜之间。
4.根据权利要求2所述的光学系统，其中，所述遮挡显示器被布置在所述物镜远离所述分束器的相对侧。
5.根据权利要求1所述的光学系统，其中，所述遮挡显示器包括以下各项中的一项：透射液晶显示屏(LCD)、透射电润湿显示器、和透射电子墨水显示器。
6.根据权利要求1所述的光学系统，还包括：一个或多个计算机处理器，所述一个或多个计算机处理器被配置为：
基于所述第一显示信号识别在所述被显示的图像中示出的对象；以及
生成用于更新所述遮挡显示器的第二显示信号，所述第二显示信号示出所述对象在所述遮挡图像的第一区域中而所述遮挡图像的第二区域基本能透射所述环境光。
7.根据权利要求6所述的光学系统，其中，生成用于更新所述遮挡显示器的所述第二显示信号包括以下各项中的至少一项：(i)使所述遮挡图像内的被识别的对象散焦，(ii)调整所述遮挡图像内的所述被识别的对象的尺寸，以及(iii)调整所述遮挡图像内的所述被识别的对象的相对位置。
8.一种用于操作用于环境内的观看者的增强现实(AR)光学系统的方法，所述观看者具有视场，所述方法包括：
使用第一显示信号更新成像显示器，所述成像显示器被配置为显示被分束器耦合到所述视场内的图像，被显示的图像显现在相对于所述观看者的第一焦平面中；以及
与更新所述成像显示器同步地基于所述第一显示信号更新遮挡显示器，
所述遮挡显示器被布置在所述视场内并且被配置为在比所述第一焦平面更靠近所述观看者的第二焦平面中显示遮挡图像，从而减少所述观看者所看到的针对所述被显示的图像的至少一部分的环境光。
9.根据权利要求8所述的方法，其中，更新所述遮挡显示器包括：
基于所述第一显示信号识别在所述被显示的图像中示出的对象；以及
生成用于更新所述遮挡显示器的第二显示信号，所述第二显示信号示出所述对象在所述遮挡图像的第一区域中而所述遮挡图像的第二区域基本能透射所述环境光。
10.根据权利要求9所述的方法，其中，生成用于更新所述遮挡显示器的所述第二显示信号包括以下各项中的至少一项：(i)使所述遮挡图像内的被识别的对象散焦，(ii)调整所述遮挡图像内的所述被识别的对象的尺寸，以及(iii)调整所述遮挡图像内的所述被识别的对象的相对位置。
11.根据权利要求9所述的方法，其中，识别在所述被显示的图像中示出的对象包括：在所述被显示的图像上执行图像处理。
12.根据权利要求11所述的方法，其中，在所述被显示的图像上执行图像处理包括以下各项中的至少一项：(i)对象检测，(ii)确定颜色信息；以及(iii)确定亮度信息。
13.根据权利要求8所述的方法，还包括：
使用视觉传感器确定环境亮度信息，
其中，生成所述第二显示信号包括基于所确定的环境亮度信息确定所述遮挡图像的显示值。
14.根据权利要求8所述的方法，其中，所述遮挡显示器是利用所述第一显示信号被更新的。
15.一种用于操作增强现实(AR)光学系统的计算机程序产品，所述AR光学系统定义相对于光学参考点的视场，所述计算机程序产品包括：
包含计算机可读程序代码的计算机可读设备，所述计算机可读程序代码可由一个或多个计算机处理器执行来：
使用第一显示信号更新成像显示器，所述成像显示器被配置为显示由于分束器的作用显现在所述视场内的第一焦平面中的图像；以及
与更新所述成像显示器同步地基于所述第一显示信号更新遮挡显示器，
所述遮挡显示器被布置在所述视场内并且被配置为在比所述第一焦平面更靠近所述分束器的第二焦平面中显示遮挡图像，从而在所述光学参考点处减少针对被显示的图像的至少一部分的环境光。
16.根据权利要求15所述的计算机程序产品，其中，更新所述遮挡显示器包括：
基于所述第一显示信号识别在所述被显示的图像中示出的对象；以及
生成用于更新所述遮挡显示器的第二显示信号，所述第二显示信号示出所述对象在所述遮挡图像的第一区域中而所述遮挡图像的第二区域基本能透射所述环境光。
17.根据权利要求16所述的计算机程序产品，其中，生成用于更新所述遮挡显示器的所述第二显示信号包括以下各项中的至少一项：(i)使所述遮挡图像内的被识别的对象散焦，(ii)调整所述遮挡图像内的所述被识别的对象的尺寸，以及(iii)调整所述遮挡图像内的所述被识别的对象的相对位置。
18.根据权利要求16所述的计算机程序产品，其中，识别在所述被显示的图像中示出的对象包括：在所述被显示的图像上执行图像处理。
19.根据权利要求18所述的计算机程序产品，其中，在所述被显示的图像上执行图像处理包括以下各项中的至少一项：(i)对象检测，(ii)确定颜色信息；以及(iii)确定亮度信息。
20.根据权利要求15所述的计算机程序产品，其中，所述计算机可读程序代码还被配置为：
使用视觉传感器确定环境亮度信息，
其中，生成所述第二显示信号包括基于所确定的环境亮度信息确定所述遮挡图像的显示值。
CN201710323763.3A 2016-05-10 2017-05-09 被遮挡的虚拟图像显示 Active CN107376349B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/150,916 2016-05-10
US15/150,916 US9922464B2 (en) 2016-05-10 2016-05-10 Occluded virtual image display

Publications (2)

Publication Number Publication Date
CN107376349A true CN107376349A (zh) 2017-11-24
CN107376349B CN107376349B (zh) 2020-12-11

Family

ID=60295190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710323763.3A Active CN107376349B (zh) 2016-05-10 2017-05-09 被遮挡的虚拟图像显示

Country Status (2)

Country Link
US (1) US9922464B2 (zh)
CN (1) CN107376349B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132712A (zh) * 2018-01-12 2018-06-08 网易（杭州）网络有限公司 虚拟场景中天气状态的呈现方法、装置及存储介质和终端
CN109917556A (zh) * 2019-04-20 2019-06-21 成都工业学院 一种视网膜成像三维显示装置
CN110222764A (zh) * 2019-06-10 2019-09-10 中南民族大学 遮挡目标检测方法、系统、设备及存储介质
CN111862866A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像显示方法、装置、设备及计算机可读存储介质
CN112241068A (zh) * 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
CN112639579A (zh) * 2018-08-31 2021-04-09 奇跃公司 用于增强现实装置的空间分辨的动态调暗
CN112673397A (zh) * 2018-07-19 2021-04-16 交互数字Ce专利控股公司 用于检测图像中的遮挡的方法，对应的设备和计算机程序产品
CN114564108A (zh) * 2022-03-03 2022-05-31 北京小米移动软件有限公司 图像展示的方法、装置和存储介质
US11733516B2 (en) 2017-10-11 2023-08-22 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
US11960165B2 (en) 2017-10-26 2024-04-16 Magic Leap, Inc. Broadband adaptive lens assembly for augmented reality display
US12013537B2 (en) 2019-01-11 2024-06-18 Magic Leap, Inc. Time-multiplexed display of virtual content at various depths
US12073509B2 (en) 2023-04-28 2024-08-27 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL247360B (en) * 2016-08-18 2021-09-30 Veeride Ltd A device and method for augmented reality
CN106932904A (zh) 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US10921593B2 (en) 2017-04-06 2021-02-16 Disney Enterprises, Inc. Compact perspectively correct occlusion capable augmented reality displays
CN108062796B (zh) * 2017-11-24 2021-02-12 山东大学 基于移动终端的手工制品与虚拟现实体验系统及方法
CN108563023B (zh) * 2018-04-25 2020-11-27 京东方科技集团股份有限公司 增强现实处理方法、系统、控制设备和增强现实设备
KR20210006893A (ko) * 2018-05-04 2021-01-19 하만인터내셔날인더스트리스인코포레이티드 다중 평면 헤드업 디스플레이를 위한 재구성 가능한 광학 기기
US20190377538A1 (en) 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
CN109663358A (zh) * 2018-12-21 2019-04-23 成都四方伟业软件股份有限公司 动态场景剔除遮挡物体的方法、装置及电子设备
US11112886B2 (en) * 2019-01-30 2021-09-07 Disney Enterprises, Inc. Model and detachable controller for augmented reality / virtual reality experience
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120313839A1 (en) * 2011-06-10 2012-12-13 Disney Enterprises, Inc. Advanced pepper's ghost projection system with a multiview and multiplanar display
US20140112651A1 (en) * 2011-07-04 2014-04-24 Fujifilm Corporation Real-image zoom viewfinder and imaging apparatus
CN103930818A (zh) * 2011-09-12 2014-07-16 谷歌公司 具有虚拟图像对比度控制的光学显示系统和方法
CN104937475A (zh) * 2012-04-05 2015-09-23 奇跃公司 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136852A (ja) * 1994-11-02 1996-05-31 Olympus Optical Co Ltd 接眼光学系を有する光学装置
US5913591A (en) * 1998-01-20 1999-06-22 University Of Washington Augmented imaging using a silhouette to improve contrast
US7639208B1 (en) * 2004-05-21 2009-12-29 University Of Central Florida Research Foundation, Inc. Compact optical see-through head-mounted display with occlusion support
US7379247B2 (en) * 2005-05-23 2008-05-27 Olympus Imaging Corp. Image pickup apparatus
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US9147111B2 (en) 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9164281B2 (en) * 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120313839A1 (en) * 2011-06-10 2012-12-13 Disney Enterprises, Inc. Advanced pepper's ghost projection system with a multiview and multiplanar display
US20140112651A1 (en) * 2011-07-04 2014-04-24 Fujifilm Corporation Real-image zoom viewfinder and imaging apparatus
CN103930818A (zh) * 2011-09-12 2014-07-16 谷歌公司 具有虚拟图像对比度控制的光学显示系统和方法
CN104937475A (zh) * 2012-04-05 2015-09-23 奇跃公司 具有相互遮挡和不透明度控制能力的用于光学透视头戴显示器的设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733516B2 (en) 2017-10-11 2023-08-22 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
US11960165B2 (en) 2017-10-26 2024-04-16 Magic Leap, Inc. Broadband adaptive lens assembly for augmented reality display
CN108132712A (zh) * 2018-01-12 2018-06-08 网易（杭州）网络有限公司 虚拟场景中天气状态的呈现方法、装置及存储介质和终端
CN112673397A (zh) * 2018-07-19 2021-04-16 交互数字Ce专利控股公司 用于检测图像中的遮挡的方法，对应的设备和计算机程序产品
US11995855B2 (en) 2018-07-19 2024-05-28 Interdigital Ce Patent Holdings, Sas Method for detecting occlusions in an image, corresponding device and computer program product
CN112673397B (zh) * 2018-07-19 2024-04-30 交互数字Ce专利控股公司 用于检测图像中的遮挡的方法，对应的设备和计算机程序产品
CN112639579A (zh) * 2018-08-31 2021-04-09 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US11676333B2 (en) 2018-08-31 2023-06-13 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
CN112639579B (zh) * 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US12013537B2 (en) 2019-01-11 2024-06-18 Magic Leap, Inc. Time-multiplexed display of virtual content at various depths
CN109917556A (zh) * 2019-04-20 2019-06-21 成都工业学院 一种视网膜成像三维显示装置
CN110222764A (zh) * 2019-06-10 2019-09-10 中南民族大学 遮挡目标检测方法、系统、设备及存储介质
CN112241068A (zh) * 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
CN111862866B (zh) * 2020-07-09 2022-06-03 北京市商汤科技开发有限公司 图像显示方法、装置、设备及计算机可读存储介质
CN111862866A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像显示方法、装置、设备及计算机可读存储介质
CN114564108A (zh) * 2022-03-03 2022-05-31 北京小米移动软件有限公司 图像展示的方法、装置和存储介质
US12073509B2 (en) 2023-04-28 2024-08-27 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device

Also Published As

Publication number Publication date
US20170330376A1 (en) 2017-11-16
CN107376349B (zh) 2020-12-11
US9922464B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
CN107376349A (zh) 被遮挡的虚拟图像显示
US10573085B2 (en) Reality mixer for mixed reality
CN113168007B (zh) 用于增强现实的系统和方法
CN107037587B (zh) 紧凑型增强现实/虚拟现实显示器
US10228564B2 (en) Increasing returned light in a compact augmented reality/virtual reality display
CN104956252B (zh) 用于近眼显示设备的外围显示器
CN102591016B (zh) 用于扩展现实显示的优化聚焦区
CN105992965B (zh) 响应于焦点移位的立体显示
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
US9311751B2 (en) Display of shadows via see-through display
CN102540464B (zh) 提供环绕视频的头戴式显示设备
US10621792B2 (en) Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
CN104396237B (zh) 视频输出装置、三维视频观察设备、视频呈现系统和视频输出方法
CN109690633A (zh) 模拟系统、处理方法以及信息存储介质
CN108421252B (zh) 一种基于ar设备的游戏实现方法和ar设备
US20130293531A1 (en) User perception of visual effects
CN107810634A (zh) 用于立体增强现实的显示器
CN109716397A (zh) 模拟系统、处理方法以及信息存储介质
CN108124150B (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法
JP2022502699A (ja) 娯楽環境内のディスプレイシステム
CN116582661A (zh) 混合模式三维显示系统和方法
KR20210097195A (ko) 중재된 증강된 물리적 상호작용을 위한 시스템 및 방법
EP3655814A1 (en) Display apparatus and method of displaying using means for providing visual cues
Weaver et al. Interlopers 3D: experiences designing a stereoscopic game
JP2018112885A (ja) プログラム及び画像生成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant