CN103930818B - 具有虚拟图像对比度控制的光学显示系统和方法 - Google Patents

具有虚拟图像对比度控制的光学显示系统和方法 Download PDF

Info

Publication number
CN103930818B
CN103930818B CN201280055487.2A CN201280055487A CN103930818B CN 103930818 B CN103930818 B CN 103930818B CN 201280055487 A CN201280055487 A CN 201280055487A CN 103930818 B CN103930818 B CN 103930818B
Authority
CN
China
Prior art keywords
virtual image
image
real world
light
beam splitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055487.2A
Other languages
English (en)
Other versions
CN103930818A (zh
Inventor
M.布朗
B.阿米尔帕维兹
缪潇宇
A.王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103930818A publication Critical patent/CN103930818A/zh
Application granted granted Critical
Publication of CN103930818B publication Critical patent/CN103930818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

一种方法包括利用显示面板生成光图案并利用一个或多个光学组件从光图案形成虚拟图像。该虚拟图像是可从观看位置观看的。该方法还包括接收入射在光学传感器上的来自真实世界环境的外部光。真实世界环境是可从观看位置观看的。另外，该方法包括从接收到的外部光获得真实世界环境的图像，识别其上覆盖着虚拟图像的真实世界环境的图像中的背景特征，并且提取背景特征的一个或多个视觉特性。此外，该方法包括将一个或多个视觉特性与上限阈值和下限阈值相比较，并且基于该比较来控制光图案的生成。

Description

具有虚拟图像对比度控制的光学显示系统和方法
相关申请
本申请要求2011年9月12日递交的序列号为13/230,276的美国专利申请的优先权，这里通过引用并入该美国专利申请的全部内容，就好像在本说明书中完全记载了一样。
技术领域
本申请大体上涉及具有虚拟图像对比度控制的显示系统和方法。
背景技术
可穿戴系统可将各种元件，例如微型计算机、输入设备、传感器、图像显示器、无线通信设备以及图像和音频处理器，集成到用户可以穿戴的设备中。这种系统可对通信、计算和与用户环境的交互提供一种移动且轻量的解决方案。随着与可穿戴系统和微型光学元件相关联的技术的进步，已经可以考虑增强用户对真实世界环境的体验的可穿戴紧凑型光学显示系统。
在一个示例中，通过将图像显示元件或组件放置得靠近用户的眼睛(一眼或双眼)，在用户对真实世界环境的视图上可显示人造或虚拟的计算机生成图像。一个或多个这种图像显示元件可被包含到光学显示系统中并且一般被称为近眼显示器(near-eye display)、头戴式显示器(head-mounted display，“HMD”)或抬头显示器(heads-up display，“HUD”)。取决于显示元件的大小和与用户眼睛的距离，人造图像可填满或几乎填满用户的视野。
发明内容
在第一方面中，一种方法包括利用显示面板生成光图案并利用一个或多个光学组件从光图案形成虚拟图像。该虚拟图像是可从观看位置观看的。该方法还包括接收入射在光学传感器上的来自真实世界环境的外部光。真实世界环境是可从观看位置观看的。另外，该方法包括从接收到的外部光获得真实世界环境的图像，识别其上覆盖着虚拟图像的真实世界环境的图像中的背景特征，并且提取背景特征的一个或多个视觉特性。此外，该方法包括将一个或多个视觉特性与上限阈值和下限阈值相比较，并且基于该比较来控制光图案的生成。
在第二方面中，一种显示系统包括被配置为生成虚拟图像的图像生成器和光学耦合到图像生成器的第一分束器。从观看位置通过第一分束器可观看虚拟图像和真实世界视图。显示系统还包括光学耦合到第一分束器的第二分束器，以及光学耦合到第二分束器的相机。相机被配置为对真实世界视图成像。另外，显示系统包括有效耦合到相机和图像生成器的控制器。控制器被配置为基于真实世界视图的图像来增强虚拟图像相对于真实世界视图的对比度。
在第三方面中，一种显示系统包括被配置为生成光图案的显示面板，以及耦合到显示面板并被配置为透射光图案和来自真实世界环境的外部光的一个或多个光学组件。从观看位置通过一个或多个光学组件可将光图案作为重叠在真实世界环境上的虚拟图像来观看。显示系统还包括耦合到一个或多个光学组件并被配置为接收外部光以获得真实世界环境的图像的光学传感器。另外，显示系统包括处理器，该处理器耦合到显示面板和光学传感器并被配置为识别其上重叠着虚拟图像的真实世界环境的背景部分，提取与背景部分相对应的像素数据，将像素数据与上限阈值和下限阈值相比较，并且基于该比较来控制光图案的生成。
附图说明
图1是根据示例实施例的显示系统的框图。
图2是根据示例实施例的光学系统的等距示意图。
图3是根据实施例的用于获得和使用真实世界和虚拟图像对比度信息的过程的流程图。
图4是根据示例实施例的用于分析并调整虚拟图像与其上覆盖着虚拟图像的真实世界环境中的背景特征之间的对比度的过程的流程图。
图5是根据示例实施例的头戴式显示器的正立面视图。
图6是图5的头戴式显示器的俯视图。
图7是图5的头戴式显示器的侧立面视图。
具体实施方式
本公开概括而言涉及一种使得用户能够观察用户的真实世界周遭事物或环境并观看计算机生成的虚拟图像的光学显示系统。在一些情况下，虚拟图像覆盖用户对真实世界的视野的一部分。
根据一个示例，本公开的显示系统包括透视型可穿戴计算机系统，例如HMD，其显示可覆盖在用户对真实世界环境或周遭事物的视野的一部分上的计算机生成的虚拟图像。从而，在HMD的用户正在着手其日常活动，例如行走、驾驶、锻炼等等的同时，用户可能够看到由HMD在用户正看着其真实世界周遭事物的同时生成的显示图像。
虚拟图像可包括例如提供与用户的真实世界环境有关的诸如数据、警告或指示之类的内容的图形、文本和/或视频。虚拟图像的内容可涉及任意数目的情境，包括——但不限于——用户的当前环境、用户当前从事的活动、用户的生物计量状态、以及向用户示出的任何音频、视频或文本通信。虚拟图像也可以是交互式用户界面的一部分，并且包括菜单、选择框、导航图标或者使得用户能够与显示系统和其它设备交互的其它用户界面特征。
可响应于情境的变化，例如用户的真实世界视野的变化、用户的当前活动的变化、接收到的通信、预设的闹钟或提醒、与用户界面或菜单的交互等等，来动态地更新或修改虚拟图像的内容。另外，可响应于其上覆盖着虚拟图像的真实世界视野的背景特征来更改或修改虚拟图像的外观。更具体地，可更改或修改虚拟图像的视觉特性以增大或减小虚拟图像与背景特征之间的对比度。
现在参考图1，根据示例实施例的显示系统20使得用户22能够观察真实世界环境并观看计算机生成的虚拟图像。在图1中，通过接收来自真实世界的外部光24来观察用户对真实世界环境的视图。图示的显示系统20包括图像生成器26、一个或多个光学组件28、光学传感器30、处理器32、数据存储装置34、电源36和其它输入/输出(“I/O”)组件38。图1的显示系统20的各种组件26-28由连接40操作性地耦合在一起，连接40例如可表示任意数目的有线或无线电连接和/或直接或间接的物理或光学耦合。
一般而言，处理器32控制图像生成器26生成光图案，该光图案被引导经过(一个或多个)光学组件28以形成用户22可观看的虚拟图像。此外，处理器32和光学传感器30被配置为获得真实世界环境的图像或表示并且识别其上覆盖着虚拟图像的真实世界环境中的背景特征。处理器32还被配置为确定背景特征的视觉特性并且控制图像生成器26生成的光图案以调整虚拟图像与背景特征之间的对比度。
在一个示例中，修改光图案以增大虚拟图像与背景之间的对比度以使得虚拟图像与背景更可区分。在此示例中，可增大对比度以使得虚拟图像显示的信息更容易被用户识别。
在另一示例中，修改光图案以减小虚拟图像与背景之间的对比度以使得透过虚拟图像更可见背景。在此示例中，可减小对比度以使得用户可以更清楚地看到真实世界环境。
可通过修改虚拟图像的一个或多个视觉特性，例如虚拟图像的色调、饱和度、亮度或强度，和/或图像生成器26的背景亮度、大小、位置、字体，等等，来调整虚拟图像与背景特征之间的对比度。
例如，响应于处理器32确定虚拟图像被覆盖在相对较暗的背景特征上，可将虚拟图像调整为包括更亮的颜色以增大对比度或者包括更暗的颜色以减小对比度。在另一示例中，响应于处理器32确定虚拟图像被覆盖在相对较亮的背景特征上，可将虚拟图像调整为包括更暗的颜色以增大对比度或者包括更亮的颜色以减小对比度。
在本示例中，数据存储装置34可以是任何适当的能够存储数据和指令的设备或计算机可读介质，所述指令能够被处理器32执行来例如控制图像生成器26、获得真实世界环境的表示、识别其上覆盖着虚拟图像的真实世界环境中的背景特征、确定背景特征的视觉特性以及控制显示系统20的其它组件。电源36向显示系统20的各种组件提供电力并且可以是任何适当的可再充电或不可再充电的电源。另外，I/O组件38可包括允许用户22与显示系统20交互的开关、拨号盘、按钮、触摸屏等等。I/O组件38还可包括例如扬声器、麦克风、生物计量传感器、环境传感器以及用于与其它设备、服务器、网络等等通信的发送器和/或接收器。
图2示出了根据示例实施例的光学系统50的等距示意图。为了说明，参考XYZ坐标系统52并联系观看位置54来描述光学系统50。光学系统50大体包括第一近端部56和第二远端部58。在典型操作中，近端部56被布置在观看位置54附近并且限定了穿过它的观看轴60。物体62——例如用户的眼睛或相机或其它光学传感器——可大体被定位在观看位置54处以观看真实世界环境和计算机生成的虚拟图像。真实世界环境和虚拟图像可以是同时可观看的。例如，虚拟图像可覆盖用户对真实世界环境的视图的一部分。
在图2中，远端部58大体上从近端部56沿着x轴水平延伸，使得从观看位置54看来远端部在近端部右侧。然而，其它配置也是可能的，例如，远端部58可在近端部56左侧，光学系统50可垂直延伸，其中远端部位于近端部上方或下方，或者远端部可相对于近端部在任何方向上延伸。
在图示的光学系统50中，近端部56包括近端分束器64，该近端分束器64具有大体上与XY、XZ和YZ平面平行的面。在图2中，观看窗口66耦合到近端分束器64的前侧并且允许外部光进入近端分束器。观看轴60是通过近端分束器64和观看窗口66来限定的，并且其指向基本上与z轴平行。
一般而言，在使用中，观看位置54和物体62的眼睛被定位在近端分束器64的后侧，以使得用户可沿着观看轴60通过观看窗口66和近端分束器观看真实世界。在本示例中，光学系统50还包括光学耦合到近端分束器64的图像形成器68。在一个示例中，图像形成器68被配置为在x轴的方向上反射与虚拟图像相对应的光。
图2的近端分束器64包括近端分束界面70，该近端分束界面70被配置为把通过观看窗口66进入近端分束器的外部光与表示由光学系统50生成的虚拟图像的光组合。这样，可沿着观看轴60观看真实世界环境和虚拟图像。在一个示例中，近端分束界面70在如下平面中：该平面与近端分束器64的在XY平面和YZ平面中的面形成大约45度角并且与其在XZ平面中的面垂直。结果，近端分束界面70以大约45度与观看轴60相交。然而，要理解，其它角度和配置也是可能的。
从图2中可见，光学系统50的远端部58包括远端分束器80，该远端分束器80具有大体上与XY、XZ和YZ平面平行的面。远端分束器80进而又通过例如光导管82光学耦合到近端分束器64。远端分束器80包括远端分束界面84，该远端分束界面84大体被配置为透射和反射通过光导管82去往和来自近端分束器64的光。可以利用这种透射和反射的光来生成虚拟图像。在一个示例中，远端分束界面84是如下的平面：该平面与远端分束器80的在XY平面和YZ平面中的面形成一角度并且与其在XZ平面中的面垂直。远端分束界面84被安排为相对于近端分束界面70形成非零角度。在一个示例中，远端分束界面84大体上与近端分束界面70正交。然而，要理解，在其它示例中可修改远端分束界面84的取向。例如，远端分束界面84可在与近端分束界面70平行或与观看轴60平行的平面中。
在一个实施例中，近端分束器64、远端分束器80和光导管82由玻璃制成。可替换地，这样的光学组件中的一些或全部可部分或全部由塑料制成，塑料也可起到减轻光学系统50的重量的功能。适当的塑料材料是可从肯塔基州路易斯维尔市瑞翁化学有限合伙企业(Zeon Chemicals L.P.,Louisville,Kentucky)获得的E48R环烯烃光学级聚合物(cyclo olefin opticalgrade polymer)。另一种适当的塑料材料是聚甲基丙烯酸甲酯(polymethylmethacrylate，“PMMA”)。
远端部58还包括光学耦合到远端分束器80的显示面板86和光源88。在本示例中，显示面板86是大体上垂直取向的并耦合到远端分束器80的右侧，并且光源88耦合到远端分束器的后侧。
显示面板86被配置为生成光图案，虚拟图像是从该光图案形成的。显示面板86可以是发射显示器，例如有机发光二极管(Organic Light EmittingDiode，“OLED”)显示器。可替换地，显示面板86可以是硅基液晶(Liquid-Crystal on Silicon，“LCOS”)或微镜显示器，例如数字光投影仪(Digital Light Projector，“DLP”)，其通过对来自光源——例如光源88——的光进行空间调制来生成光图案。光源88可包括例如，一个或多个发光二极管(light-emitting diode，“LED”)和/或激光二极管。由显示面板86生成的光图案可以是单色的或者可包括多种颜色，例如红色、绿色和蓝色，以为虚拟图像提供色域。
在使用中的光学系统50的一个示例中，光源88朝远端分束界面84发出光，远端分束界面84将光朝着显示面板86反射。显示面板86通过对入射光进行空间调制以提供朝着远端分束界面84反射的空间调制光来生成光图案。远端分束界面84通过光导管82并朝着近端分束器64透射空间调制光。近端分束界面70透射空间调制光以使其到达图像形成器68。图像形成器68将空间调制光朝着近端分束界面70反射回去，近端分束界面70将空间调制光朝着观看位置54反射，从而使得沿着观看轴60可观看虚拟图像。
作为一般事项，由和/或通过分束器64、80或光学系统50的其它光学组件对光的反射和/或透射可以指对光的基本上全部或光的一部分的反射和/或透射。因此，在本公开中应当宽泛地解释这样的术语和描述。
在一些实施例中，近端和/或远端分束器64、80可以是偏振分束器，从而例如使得分束器优先透射p偏振光，并且优先反射s偏振光。可替换地，近端和/或远端分束器64、80可以是非偏振分束器，其独立于偏振地(或者很大程度上独立于偏振地)透射入射光的一部分并且反射入射光的一部分。
在一个实施例中，近端分束器64和远端分束器80是优先透射p偏振光并且优先反射s偏振光的偏振分束器。利用此配置，沿着观看轴60可观看的外部光大体上是p偏振的，并且沿着观看轴可作为虚拟图像观看的光大体上是s偏振的。光源88可提供被远端分束界面84部分朝着显示面板86反射的s偏振光。显示面板86对入射的s偏振光进行空间调制并且还改变其偏振。从而，在此示例中，显示面板86将入射的s偏振光转换成p偏振光的空间调制光图案。该p偏振光的至少一部分通过远端分束界面84、通过光导管82并通过偏振的近端分束界面70被透射到图像形成器68。
在本示例中，图像形成器68包括反射器90，例如凹透镜或菲涅耳反射器，并且包括四分之一波片92。p偏振光经过四分之一波片92并且被反射器90反射回来通过四分之一波片去往近端分束界面70。在光图案以这种方式与图像形成器68交互之后，偏振从p偏振变成s偏振，并且s偏振的空间调制光被近端分束界面70朝着观看位置54反射，从而使得沿着观看轴60可观看到虚拟图像。
返回参考图2，光学系统50还包括光学耦合到远端分束器80的光学传感器94。在图2中，光学传感器94是大体上垂直取向的并且耦合到远端分束器80的前侧。光学传感器94可以是相机，例如晶圆级相机、红外(“IR”)相机、CCD图像传感器、CMOS传感器等等，其中该光学传感器的图像感测部分指向或面对远端分束界面84。光学传感器94被配置为对通过观看窗口66进入并可由用户沿着观看轴60观看的外部光成像。光学传感器94可被配置为捕捉静止图像和/或视频。光学传感器94捕捉的静止图像和/或视频可基本上对应于用户在通过观看窗口66观看时看到的真实世界的视图，并且可与虚拟图像一起被处理以确定虚拟图像相对于真实世界环境被布置于何处。
在使用中的光学系统50的示例中，来自真实世界的外部光通过观看窗口66进入并且被近端分束界面70反射、通过光导管82并去往远端分束器80。远端分束界面84将入射的外部光反射到光学传感器94以获得真实世界环境的图像。
在另一示例中，光学传感器94可布置在远端分束器80上，其图像感测部分指向远离远端分束器的方向。在此示例中，光学传感器94可直接接收外部光以对真实世界环境成像。
在另外一个示例中，光学传感器94可布置为接近观看位置54，例如布置在近端分束器64上。在本示例中，光学传感器94的图像感测部分可大体上沿着观看轴60指向远离观看位置54的方向，以直接接收外部光来对真实世界环境成像。可替换地，光学传感器94的图像感测部分可指向另一方向，并且光学系统50被配置为将外部光透射到图像感测部分以对真实世界环境成像。
在不脱离本公开的精神的情况下，可对图2的光学系统50进行各种修改。例如，图2的光学系统50可以是图1的显示系统20的一部分，以耦合到处理器32、数据存储装置34、电源36和/或I/O组件38。这样的组件32-38可以按任何已知的方式耦合到显示面板86、光源88和/或光学传感器94。在另一示例中，近端和/或远端分束界面70、80可以是弯曲的以考虑到反射器90的曲率和/或光学传感器94的透镜(未示出)的曲率。
现在参考图3，图示了包括用于获得并使用真实世界和虚拟图像对比度信息的过程的示例流程图100。图3的过程例如可利用图1的显示系统20和图2的光学系统50的各种硬件和/或软件组件来执行。
在图3中，流程图100开始于块102，在此期间例如由上述的光学传感器94接收表示真实世界环境的外部光。接下来的控制传递到块104，并且接收到的外部光被处理以获得真实世界的图像或其它表示。
在块104之后，控制传递到块106，块106生成可从其形成虚拟图像的光图案。参考图2，例如，光图案可由显示面板86生成和/或由显示面板与光源88相结合生成。接下来，控制传递到块108，并且例如，光图案如上所述被形成为用户可观看的虚拟图像。
在图示的流程图100中，控制随后传递到块110，在此期间可执行校准过程。在一个示例中，校准过程包括将虚拟图像与用户对真实世界环境的视图相校准。根据非限制性示例的校准过程包括在覆盖在用户的真实世界视图上的虚拟图像中显示一个或多个标志或标记。这些标记可对应于真实世界视图中的背景特征。在本示例中，可指示用户在由显示系统获得的真实世界的图像被处理之时将这些标记与真实世界视图中的背景特征对准。可指示用户在标记被对准时例如通过I/O组件38提供输入，或者可指示用户将标记对准达给定的时间段，例如约1-2秒。在一个示例中，标记可包括真实世界视图的图像的可与用户对真实世界的实际视图对准的部分。在用户对准标记之时对真实世界的图像的处理可用于将虚拟图像与用户的真实世界环境相校准。
在块112，这种校准可用于精确地识别其上覆盖着虚拟图像的真实世界环境中的背景特征。在一个示例中，块112识别与被虚拟图像直接覆盖的背景特征相对应的图像像素。在另一示例中，块112还识别与被虚拟图像直接覆盖的像素相邻的图像像素。块112还处理识别出的背景特征以确定其视觉特性。这种视觉特性可包括与背景特征的强度、色调和/或饱和度有关的像素数据。可将背景特征的视觉特性与阈值和/或与虚拟图像的视觉特性相比较以分析覆盖在背景特征上的虚拟图像之间的对比度。
在块114，可响应于对比度分析而控制显示系统。在一个示例中，块114可通过修改光图案以增大虚拟图像与背景特征之间的对比度以使得虚拟图像与背景更可区分，来控制显示系统。在另一示例中，块114可通过修改光图案以减小虚拟图像与背景特征之间的对比度以使得透过虚拟图像更可见背景，来控制显示系统。
可对图3的流程图100进行各种修改，例如，可以利用额外的或更少的过程块，可以按任何适当顺序安排过程块，或者甚至同时执行过程块。例如，校准过程可被省略，可由显示设备的制造商执行仅一次，或者可相对于其它过程块以任何顺序被执行多次。
图4图示了用于分析并调整虚拟图像与其上覆盖了虚拟图像的真实世界环境中的背景特征之间的对比度的过程的另一流程图120。流程图120开始于块121，块121提取与背景特征——例如图3的块112中识别的背景特征——相对应的像素数据。在一个示例中，来自背景特征的图像的像素数据被提取并转换成图像数据掩模。掩模可以是对于每个像素具有0(暗)或1(亮)的像素强度值的1比特单色掩模。在其它示例中，单色掩模可以是与0和1之间包括0和1在内的真实值相关联的2比特、4比特、8比特等等的数据掩模。值0和1可分别对应于与光学系统的光学传感器和/或图像生成器相关联的最暗值和最亮值。在其它示例中，可按任何其它标度，例如0到16、0到255、0％到100％等等，来定义暗值和亮值。在另外的示例中，来自背景特征的图像的像素数据可被转换成包括彩色像素数据的彩色数据掩模。
在图示的流程图120中，控制随后传递到块122，以对真实世界环境的图像、从观看位置对真实世界环境的视图和/或虚拟图像之间的未对准进行校正。在一个示例中，可利用来自图3的块110的校准过程的数据来对未对准进行校正。可替换地或组合地，可利用诸如高斯滤波器之类的平均化滤波器来模糊图像数据掩模以将未对准考虑在内。
在块122之后，控制传递到块123，以将背景特征的像素数据值与上限阈值像素值相比较。一般而言，执行块123以识别使得更难以识别诸如文本之类的虚拟图像细节的亮背景特征。在一个示例中，逐个像素地把与背景特征相对应的数据掩模的像素值与上限阈值相比较。但在其它示例中，可将背景特征的数据掩模分割成具有像素值的像素组，这些像素值被取平均并与上限阈值相比较。
接下来，控制传递到块124，以调整虚拟图像的如下像素的对比度：这些像素与背景特征的具有大于上限阈值的值的像素相对应。可通过利用诸如直方图均衡化之类的任何适当的方法增强原始虚拟图像来调整这种虚拟图像像素的对比度。在一个示例中，通过对原始虚拟图像的像素值进行重定标度和限幅来获得增强的虚拟图像。例如，当强度值的标度在0与1之间时，可使用以下算法(1)：
(1)I_enhanced(x,y)＝min(1,max(0,I_original(x,y)-V_dark)/(V_bright-V_dark))
在上述算法中，I_enhanced(x,y)是位于(x,y)处的增强的虚拟图像像素的强度；I_original(x,y)是原始虚拟图像中的位于(x,y)处的像素的强度；V_dark和V_bright分别是原始虚拟图像中的最暗点和最亮点的像素值。V_dark和V_bright可例如通过直方图均衡化来确定。可对算法(1)进行各种修改，例如在按其它标度定义强度值时修改该算法。
在另一示例中，可通过将原始虚拟图像与增强的虚拟图像相混合来进一步调整虚拟图像的对比度。混合过程的一个示例包括利用数据掩模作为混合因子在原始虚拟图像与增强图像之间进行的每像素线性插值。在一个示例中，当强度值的标度在0与1之间时可使用以下混合算法(2)：
(2)I_corrected(x,y)＝M(x,y)*I_original(x,y)+(1-M(x,y))*I_enhanced(x,y)
在上述算法中，I_corrected(x,y)是位于(x,y)处的混合像素的强度；M(x,y)是(x,y)处的数据掩模的像素值；I_original(x,y)是原始图像中位于(x,y)处的像素的强度；并且I_enhanced(x,y)是位于(x,y)处的增强的虚拟图像像素的强度。可对算法(2)进行各种修改，例如在按其它标度定义强度值时进行修改。
在块124之后，控制传递到块125，以将背景特征的像素数据值与下限阈值像素值相比较。一般而言，执行块125以识别使得更难以识别诸如文本之类的虚拟图像细节的暗背景特征。在一个示例中，逐个像素地将与背景特征相对应的数据掩模的像素值与下限阈值相比较。但在其它示例中，可将背景特征的数据掩模分割成具有像素值的像素组，这些像素值被取平均并与下限阈值相比较。
接下来，控制传递到块126，以调整虚拟图像的如下像素的对比度：这些像素与背景特征的具有小于下限阈值的值的像素相对应。可通过利用诸如直方图均衡化之类的任何适当的方法增强原始虚拟图像来调整这种虚拟图像像素的对比度。在一个示例中，通过对原始虚拟图像的像素值进行重定标度和限幅来获得增强的虚拟图像。例如，可使用以下算法(1)：
(1)I_enhanced(x,y)＝min(1,max(0,I_original(x,y)-V_dark)/(V_bright-V_dark))
也可通过将原始虚拟图像与增强的虚拟图像相混合来进一步调整暗背景上的虚拟图像的对比度。如上所论述的，混合可利用混合算法(2)来执行：
(2)I_corrected(x,y)＝M(x,y)*I_original(x,y)+(1-M(x,y))*I_enhanced(x,y)
在块126之后，控制传递到块127，以将真实世界环境的图像与虚拟图像的背景照明相比较。在一个示例中，块127将真实世界图像的最小强度值，例如被虚拟图像覆盖的背景特征的最小强度值，与虚拟图像的背景照明的强度值相比较。一般而言，执行块127以识别虚拟图像的如下部分：这些部分可能太明亮并且在用户的真实世界视图的一些部分中导致不合需要的泛灰效应(graying effect)。块127中的比较基于光学背景照明强度与真实世界光强度相关的映射来判定对于虚拟图像的背景照明是否太亮。一般而言，这种映射是依具体的光学显示系统而定的，并且相对于真实世界光强度值识别最高背景照明强度值以避免泛灰效应。在块127中，识别真实世界图像的最小强度值并且基于这种映射将虚拟图像的背景照明设定到一强度值。
然后，控制传递到块128，并且可例如如上所述来调整虚拟图像的对比度。在一个示例中，在确定V_bright和V_dark的值时考虑到了背景照明强度值。
可对图4的流程图120进行各种修改，例如，可以利用额外的或更少的过程块，可以按任何适当顺序安排过程块，或者甚至同时执行过程块。例如，流程图120可包括将图像数据与上限阈值和下限阈值相比较的单个块，而不是具有分开的块123、125。
现在参考图5、图6和图7，以上对于图1和图2描述的系统可被安附到头戴式支撑物的如下位置：该位置使得观看轴可被穿戴者或用户的左眼或右眼方便地观看。这样，可提供头戴式显示器(HMD)，通过该头戴式显示器可观看外部世界。HMD也可具有作为可穿戴计算设备的功能。在图5至图7中，HMD 130包括分别用于穿戴者的右眼136和左眼138的透视型显示设备132和134。显示设备132、134被安附到可头戴支撑物140。在此示例中，可头戴支撑物140被配置成眼镜的形式，其中透镜142、144分别定位在右眼136和左眼138上。透镜142、144被各自的框架146和148固定就位。可头戴支撑物140还包括连接到框架146、148并被配置为由用户的鼻梁支撑的连接件150。此外，可头戴支撑物140包括分别连接到框架146、148的侧部152和154，它们可钩在用户耳朵后方。
右侧显示设备132可通过底座156安附到框架146，并且左侧显示设备134可通过底座158安附到框架148。底座156、158将显示设备132、134定位成使得其各自的观看轴160、162分别与用户的右眼136和左眼138大体对齐。从而，如图6中所示，右侧显示设备132的观看轴160可通过透镜142延伸到用户的右眼136，并且左侧显示设备134的观看轴162可通过透镜144延伸到用户的左眼138。为了实现此配置，底座156、158可以是固定底座，或者它们可以被用户调整以便恰当并舒适地对准显示设备132、134。
虽然图5至图7图示了显示设备132、134与透镜142、144和框架146、148分离的HMD 130，但应当理解其它配置也是可能的。例如，显示设备132、134的组件中的一些或全部可被集成到透镜142、144和/或框架146、148中。例如，分束器和光导管可被集成到透镜142、144中，并且/或者显示面板可被集成到框架146、148中。此外，其它实施例可包括仅用于穿戴者的一只眼睛的显示设备。在其它示例中，HMD 130可被配置为护目镜、头盔、头带或帽子。另外，取代可头戴支撑物140，支撑底座可以在如下的用户可佩戴支撑物上：该支撑物能够以其它方式由用户佩戴，例如佩戴在用户的一侧或两侧肩膀上或者在用户背着的背包上。
如上所记录的，HMD 130可具有作为可穿戴计算设备的功能。在此，HMD可包括处理器170，该处理器170可位于可头戴支撑物140的内部或安附到可头戴支撑物140的一部分。例如，处理器170可位于侧部152的内部，如图7中所示。然而，其它配置也是可能的。
在一个实施例中，处理器170被配置为控制显示设备132、134中的显示面板以便控制生成并显示给用户的虚拟图像。另外，处理器170被配置为控制光学传感器并接收由光学传感器捕捉的图像或视频。例如，处理器170可以例如通过可头戴支撑物140内部的线路通信地耦合到显示设备132、134。可替换地，处理器170可以通过外部线路或通过无线连接与显示设备132、134通信。
HMD 130还可包括操作性地耦合到处理器170以提供期望功能的其它组件。例如，HMD 130可包括一个或多个触摸板、麦克风和传感器，它们在图7中由侧部152上的触摸板172、麦克风174和传感器176示范。然而，要理解，这些组件可位于HMD 130中的别处。通过与触摸板172的适当触摸交互，用户可控制HMD 130或向HMD 130提供输入。麦克风174可用于从用户接收语音命令和/或记录来自用户的周遭事物的音频数据。传感器176可包括被配置为感测HMD 130的运动的加速度计和/或陀螺仪。传感器176还可包括用于确定HMD的位置的全球定位系统接收机。此外，传感器176可代表可被配置为观察HMD 130周围的各种视野的一个相机或多个相机。HMD 130还可包括有线和/或无线接口，通过该接口，处理器170可与其它计算系统或其它设备交换数据。除了前述以外，HMD 130还可包括其它类型的传感器、用户接口组件和/或通信接口组件。
处理器170可响应于各种输入控制由显示设备132、134生成的虚拟图像的内容。这样的输入可来自HMD的触摸板172、麦克风174、传感器176和/或有线或无线通信接口。处理器170还可如上所述地响应于背景特征分析来控制虚拟图像的外观。这样，处理器170可控制虚拟图像的外观，以使得其对于用户的当前周遭事物和/或用户参与的任务是适当的。
以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在图中，相似的符号一般标识相似的组件，除非上下文另有规定。在详细描述、附图和权利要求中描述的说明性实施例并不打算进行限定。在不脱离这里呈现的主题的精神或范围的情况下，可以利用其它实施例，并且可以作出其它改变。将容易理解，这里概括描述并且在附图中图示的本公开的各方面可按许多种不同的配置来安排、替换、组合、分离和设计，所有这些在这里都已明确设想到。
虽然这里已公开了各种方面和实施例，但本领域技术人员将会清楚其它方面和实施例。这里公开的各种方面和实施例是为了说明，而并不打算进行限定，真实的范围和精神由权利要求来指示。

Claims (21)

1.一种具有虚拟图像对比度控制的方法，包括：
利用显示面板生成光图案；
利用一个或多个光学组件从所述光图案形成虚拟图像，其中，所述虚拟图像是可从观看位置观看的；
接收入射在光学传感器上的来自真实世界环境的外部光，其中，所述真实世界环境是可从所述观看位置观看的；
从接收到的外部光获得所述真实世界环境的图像；
识别所述真实世界环境的图像中的背景特征，其中所述背景特征对应于其上覆盖着所述虚拟图像的可观看真实世界环境的部分；
从所述真实世界环境的图像中提取指示所述背景特征的一个或多个视觉特性的像素数据；
将所述像素数据中包括的一个或多个视觉特性与上限阈值和下限阈值相比较；
基于所述像素数据生成数据掩模；以及
基于所述比较通过控制所述光图案的生成来增大所述虚拟图像与所述可观看真实世界环境之间的对比度，其中增大对比度包括利用所述数据掩模作为混合因子来将所述虚拟图像与增强的虚拟图像相混合。
2.如权利要求1所述的方法，还包括通过直方图均衡化来获得所述增强的虚拟图像。
3.如权利要求1所述的方法，还包括：如果所述像素数据中包括的亮度低于所述下限阈值，则减小所述显示面板的背景照明的亮度并增大所述虚拟图像的亮度。
4.如权利要求1所述的方法，还包括：对所述真实世界环境的图像与从所述观看位置对所述真实世界环境的视图之间的未对准进行校正。
5.如权利要求4所述的方法，其中，校正步骤包括向所述真实世界环境的图像应用平均化滤波器。
6.如权利要求1所述的方法，其中，所述显示面板和所述一个或多个光学组件耦合到头戴式显示器。
7.一种显示系统，包括：
图像生成器，被配置为生成虚拟图像；
光学耦合到所述图像生成器的第一分束器，其中，从观看位置通过所述第一分束器可观看所述虚拟图像和真实世界视图；
光学耦合到所述第一分束器的第二分束器；
光学耦合到所述第二分束器的相机，其中，所述相机被配置为对所述真实世界视图成像；以及
光学耦合到所述相机和所述图像生成器的控制器，其中，所述控制器被配置为基于所述真实世界环境的图像的背景特征来增强所述虚拟图像相对于所述真实世界视图的对比度，其中所述背景特征对应于其上覆盖着所述虚拟图像的可观看真实世界环境的部分，提取指示所述背景特征的一个或多个视觉特性的像素数据，基于所述像素数据生成数据掩模，将所述像素数据中包括的一个或多个视觉特性与上限阈值和下限阈值相比较，基于所述比较增强所述虚拟图像相对于所述真实世界视图的对比度，其中所述增强包括利用所述数据掩模作为混合因子将所述虚拟图像与增强的虚拟图像相混合。
8.如权利要求7所述的显示系统，其中，所述控制器被配置为：如果所述像素数据中包括的一个或多个视觉特性高于所述上限阈值或低于所述下限阈值，则增强所述虚拟图像相对于所述真实世界视图的对比度。
9.如权利要求8所述的显示系统，其中，所述控制器被配置为通过直方图均衡化来增强所述虚拟图像的对比度。
10.如权利要求8所述的显示系统，其中，所述控制器被配置为：如果所述像素数据中包括的亮度低于所述下限阈值，则减小所述图像生成器的背景照明的亮度并增大所述虚拟图像的亮度。
11.如权利要求7所述的显示系统，还包括耦合到所述第二分束器的光源，并且其中，所述图像生成器包括耦合到所述第二分束器的显示面板和耦合到所述第一分束器的反射器。
12.如权利要求11所述的显示系统，其中，所述显示面板被配置为对由所述光源发出的光进行空间调制，并且其中，所述第一分束器和第二分束器被配置为将该空间调制光透射到所述反射器，所述反射器被配置为将所述空间调制光朝着所述第一分束器的分束界面反射，并且所述分束界面被配置为将所述空间调制光朝着所述观看位置反射以作为所述虚拟图像。
13.如权利要求11所述的显示系统，其中，所述第一分束器是偏振分束器，并且所述图像生成器还包括耦合在所述反射器与所述第一分束器之间的四分之一波片。
14.如权利要求11所述的显示系统，其中，所述反射器是弯曲反射器，并且所述第一分束器和第二分束器分别包括第一分束界面和第二分束界面，并且其中，所述第一分束界面和第二分束界面中的至少一个是弯曲界面。
15.如权利要求7所述的显示系统，其中，所述相机被布置在所述第二分束器的远端表面，并且所述相机的图像感测部分指向所述第二分束器。
16.如权利要求7所述的显示系统，其中，所述第一分束器和第二分束器中的至少一个是偏振分束器。
17.一种显示系统，包括：
显示面板，被配置为生成光图案，
一个或多个光学组件，其耦合到所述显示面板并被配置为透射所述光图案和来自真实世界环境的外部光，其中，从观看位置通过所述一个或多个光学组件可将所述光图案作为重叠在所述真实世界环境上的虚拟图像来观看；
光学传感器，其耦合到所述一个或多个光学组件并被配置为接收所述外部光以获得所述真实世界环境的图像；以及
处理器，其耦合到所述显示面板和所述光学传感器并被配置为识别所述真实世界环境的背景部分，其中所述背景部分对应于其上重叠着所述虚拟图像的可观看真实世界环境的部分，提取与所述背景部分的一个或多个视觉特性相对应的像素数据，基于所述像素数据生成数据掩模，将所述像素数据中包括的一个或多个视觉特性与上限阈值和下限阈值相比较，基于所述比较、通过利用所述数据掩模作为混合因子将所述虚拟图像与增强的虚拟图像相混合来增大所述虚拟图像与所述背景部分之间的对比度以提供混合图像，并且基于所述混合图像来控制所述光图案的生成。
18.如权利要求17所述的显示系统，其中，所述处理器被配置为控制所述光图案的生成以在所述像素数据中包括的一个或多个视觉特性高于所述上限阈值或低于所述下限阈值的情况下增大所述虚拟图像与所述背景部分之间的对比度。
19.如权利要求17所述的显示系统，其中，所述处理器被配置为通过利用直方图均衡化增强所述虚拟图像。
20.如权利要求17所述的显示系统，其中，所述处理器被配置为，如果所述像素数据中包括的亮度低于所述下限阈值，则减小所述显示面板的背景照明的亮度并增大所述虚拟图像的亮度。
21.如权利要求17所述的显示系统，还包括头戴式显示器。
CN201280055487.2A 2011-09-12 2012-09-12 具有虚拟图像对比度控制的光学显示系统和方法 Active CN103930818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/230,276 US8670000B2 (en) 2011-09-12 2011-09-12 Optical display system and method with virtual image contrast control
US13/230,276 2011-09-12
PCT/US2012/054748 WO2013101313A2 (en) 2011-09-12 2012-09-12 Optical display system and method with virtual image contrast control

Publications (2)

Publication Number Publication Date
CN103930818A CN103930818A (zh) 2014-07-16
CN103930818B true CN103930818B (zh) 2016-11-23

Family

ID=47829467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055487.2A Active CN103930818B (zh) 2011-09-12 2012-09-12 具有虚拟图像对比度控制的光学显示系统和方法

Country Status (4)

Country Link
US (1) US8670000B2 (zh)
EP (1) EP2756350B1 (zh)
CN (1) CN103930818B (zh)
WO (1) WO2013101313A2 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508851B2 (en) 2011-07-20 2013-08-13 Google Inc. Compact see-through display system
TWI466094B (zh) * 2012-05-28 2014-12-21 Acer Inc 透明顯示裝置及其透明度調整方法
US9424767B2 (en) * 2012-06-18 2016-08-23 Microsoft Technology Licensing, Llc Local rendering of text in image
KR101992310B1 (ko) 2013-03-25 2019-09-30 엘지디스플레이 주식회사 표시 장치의 영상 처리 방법 및 장치
US9542907B2 (en) * 2013-06-09 2017-01-10 Apple Inc. Content adjustment in graphical user interface based on background content
JP6398157B2 (ja) * 2013-08-19 2018-10-03 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9658454B2 (en) * 2013-09-06 2017-05-23 Omnivision Technologies, Inc. Eyewear display system providing vision enhancement
JP2015076628A (ja) * 2013-10-04 2015-04-20 ソニー株式会社 通信装置
WO2015099683A1 (en) * 2013-12-23 2015-07-02 Empire Technology Development, Llc Suppression of real features in see-through display
US9952756B2 (en) * 2014-01-17 2018-04-24 Intel Corporation Dynamic adjustment of a user interface
US20150219899A1 (en) * 2014-01-31 2015-08-06 Corey Mack Augmented Reality Eyewear and Methods for Using Same
EP3129980B1 (en) * 2014-07-18 2021-08-25 Vuzix Corporation Near-eye display with self-emitting microdisplay engine
JP2016057381A (ja) * 2014-09-08 2016-04-21 セイコーエプソン株式会社 導光部材の製造方法、導光部材、及び虚像表示装置
EP2998779A1 (en) * 2014-09-22 2016-03-23 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Head mounted display
US10043298B2 (en) * 2014-09-30 2018-08-07 Konica Minolta Laboratory U.S.A., Inc. Enhanced document readability on devices
US9857590B2 (en) * 2014-10-11 2018-01-02 Floyd Steven Hall, Jr. Method and system for press-on displays for fashionable eyewear and nosewear
WO2016062642A1 (en) 2014-10-21 2016-04-28 Philips Lighting Holding B.V. System, method and computer program for hands-free configuration of a luminous distribution
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
DE102015205107A1 (de) * 2015-03-20 2016-09-22 Rheinmetall Defence Electronics Gmbh Helm zur Nutzung von Flugzeug- und/oder Hubschrauberpiloten
CN106154640B (zh) * 2015-03-31 2020-02-21 联想(北京)有限公司 显示组件和电子设备
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US20170116950A1 (en) * 2015-10-22 2017-04-27 Google Inc. Liquid crystal display with variable drive voltage
NZ786033A (en) * 2016-03-15 2023-04-28 Magic Leap Inc Direct light compensation technique for augmented reality system
US20170289517A1 (en) * 2016-04-01 2017-10-05 Htc Corporation Method and display system for adjusting output image of display
US9922464B2 (en) * 2016-05-10 2018-03-20 Disney Enterprises, Inc. Occluded virtual image display
CN109716198B (zh) * 2016-06-17 2022-10-04 索邦大学 以可控的光强度照射物体的装置及相关方法
GB2551396B (en) 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
US10599879B2 (en) * 2016-06-17 2020-03-24 Dassault Systemes Simulia Corp. Optimal pressure-projection method for incompressible transient and steady-state navier-stokes equations
EP4235391A3 (en) * 2016-08-22 2023-10-25 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US10235788B2 (en) 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
US10152815B2 (en) 2017-01-17 2018-12-11 Opentv, Inc. Overlay emphasis modification in augmented reality displays
CN106888375A (zh) * 2017-02-22 2017-06-23 王东欣 一种减轻患者痛苦的vr眼镜图像处理装置
DK179931B1 (en) * 2017-09-09 2019-10-11 Apple Inc. DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR DISPLAYING AN AFFORDANCE ON A BACKGROUND
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
US10565961B1 (en) 2018-07-25 2020-02-18 Honeywell International Inc. Dynamic contrast equalization for see through displays in varying light conditions
CN113874918A (zh) * 2019-05-22 2021-12-31 Pcms控股公司 用于与外部显示器结合来渲染增强现实内容的方法
US11216920B2 (en) 2019-05-31 2022-01-04 Apple Inc. Enhanced local contrast
WO2021049694A1 (ko) * 2019-09-10 2021-03-18 엘지전자 주식회사 전자 디바이스
US12003859B2 (en) 2021-07-16 2024-06-04 Samsung Electronics Co., Ltd. Brightness adjustment method, and apparatus thereof
US12013531B1 (en) * 2022-12-06 2024-06-18 Meta Platforms Technologies, Llc Active disparity sensing of head mounted display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
CN101512632A (zh) * 2006-09-27 2009-08-19 索尼株式会社 显示设备和显示方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5303085A (en) 1992-02-07 1994-04-12 Rallison Richard D Optically corrected helmet mounted display
JP3260867B2 (ja) 1992-12-10 2002-02-25 オリンパス光学工業株式会社 頭部装着型ディスプレイ
US6317128B1 (en) 1996-04-18 2001-11-13 Silicon Graphics, Inc. Graphical user interface with anti-interference outlines for enhanced variably-transparent applications
US5715337A (en) 1996-09-19 1998-02-03 The Mirco Optical Corporation Compact display system
US6023372A (en) 1997-10-30 2000-02-08 The Microoptical Corporation Light weight, compact remountable electronic display device for eyeglasses or other head-borne eyewear frames
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6201629B1 (en) 1997-08-27 2001-03-13 Microoptical Corporation Torsional micro-mechanical mirror system
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
EP0958833A1 (en) 1998-05-20 1999-11-24 Erasmus Universiteit Rotterdam Methods and means for preventing or treating inflammation
US5943171A (en) 1998-06-03 1999-08-24 International Business Machines Corporation Head mounted displays utilizing reflection light valves
DE60006535T2 (de) 1999-06-21 2004-09-23 The Microoptical Corp., Westwood Anzeigevorrichtung mit okular, display und beleuchtungsvorrichtung auf optomechanischem träger
US7158096B1 (en) 1999-06-21 2007-01-02 The Microoptical Corporation Compact, head-mountable display device with suspended eyepiece assembly
US6353503B1 (en) 1999-06-21 2002-03-05 The Micropitical Corporation Eyeglass display lens system employing off-axis optical design
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
US6693749B2 (en) 2001-01-31 2004-02-17 Raytheon Company Low-observability, wide-field-of-view, situation awareness viewing device
US6701038B2 (en) 2001-03-05 2004-03-02 The Microoptical Corporation Micro-electromechanical optical switch assembly for optical data networks
US20030090439A1 (en) 2001-09-07 2003-05-15 Spitzer Mark B. Light weight, compact, remountable face-supported electronic display
US6879443B2 (en) 2003-04-25 2005-04-12 The Microoptical Corporation Binocular viewing system
US20060017654A1 (en) 2004-07-23 2006-01-26 Romo Justin R Virtual reality interactivity system and method
US20060028459A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Pre-loaded force sensor
US7315241B1 (en) * 2004-12-01 2008-01-01 Hrl Laboratories, Llc Enhanced perception lighting
US7724443B2 (en) 2005-02-10 2010-05-25 Lumus Ltd. Substrate-guided optical device utilizing thin transparent layer
US20060192306A1 (en) 2005-02-25 2006-08-31 The Microoptical Corporation Manufacturing methods for embedded optical system
KR20070106643A (ko) 2005-02-25 2007-11-02 마이뷰 코포레이션 캐스팅에 의해 고품질 광학 부품을 만들기 위한 방법
JP2008535001A (ja) 2005-03-22 2008-08-28 エムワイブイユー コーポレイション 内部全反射イメージを使用する光学システム
WO2008033496A2 (en) 2006-09-14 2008-03-20 Myvu Corporation Mobile multi-media interface and power pack for portable entertainment devices
WO2008039371A2 (en) * 2006-09-22 2008-04-03 Objectvideo, Inc. Video background replacement system
US20080219025A1 (en) 2007-03-07 2008-09-11 Spitzer Mark B Bi-directional backlight assembly
US7663805B2 (en) 2007-10-09 2010-02-16 Myvu Corporation Eyewear display and media device interconnection system
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
JP4858512B2 (ja) 2008-08-21 2012-01-18 ソニー株式会社 頭部装着型ディスプレイ
JP4636164B2 (ja) 2008-10-23 2011-02-23 ソニー株式会社 頭部装着型ディスプレイ
JP2010166122A (ja) * 2009-01-13 2010-07-29 Olympus Corp 撮像装置及び画像処理方法
JP4834116B2 (ja) * 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
EP2221654A1 (en) 2009-02-19 2010-08-25 Thomson Licensing Head mounted display
WO2010124028A2 (en) 2009-04-21 2010-10-28 Vasylyev Sergiy V Light collection and illumination systems employing planar waveguide
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
CN101512632A (zh) * 2006-09-27 2009-08-19 索尼株式会社 显示设备和显示方法

Also Published As

Publication number Publication date
WO2013101313A3 (en) 2013-10-03
EP2756350A2 (en) 2014-07-23
EP2756350B1 (en) 2024-09-04
US8670000B2 (en) 2014-03-11
US20130063486A1 (en) 2013-03-14
EP2756350A4 (en) 2015-12-02
CN103930818A (zh) 2014-07-16
WO2013101313A2 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN103930818B (zh) 具有虚拟图像对比度控制的光学显示系统和方法
US10643400B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
US8823740B1 (en) Display system
US11774764B2 (en) Digital glasses having display vision enhancement
US12114103B2 (en) Projector with field lens
CN106662921A (zh) 显示装置、控制显示装置的方法、以及程序
US11619809B2 (en) Eyewear eye-tracking using optical waveguide
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
US12002392B2 (en) Eyewear projector brightness control
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US11852500B1 (en) Navigation assistance for the visually impaired
US11506898B1 (en) Polarized reflective pinhole mirror display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder