CN107250728A - 所显示彩色符号表示的视觉感知加强 - Google Patents

所显示彩色符号表示的视觉感知加强 Download PDF

Info

Publication number
CN107250728A
CN107250728A CN201580076060.4A CN201580076060A CN107250728A CN 107250728 A CN107250728 A CN 107250728A CN 201580076060 A CN201580076060 A CN 201580076060A CN 107250728 A CN107250728 A CN 107250728A
Authority
CN
China
Prior art keywords
user
image
color
background
supplemental image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580076060.4A
Other languages
English (en)
Inventor
吉尔·贝尼什
约阿夫·奥菲尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Publication of CN107250728A publication Critical patent/CN107250728A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

用于加强对增强现实呈现的视觉感知的方法和系统。检测穿戴透视的头戴式显示器(HMD)的用户的位置和视线(LOS)。至少基于所检测到的位置和所检测到的LOS预测待由用户通过HMD观看到的未来背景环境。预测在与用户LOS对应的背景位置处的未来背景环境的至少一个颜色属性。将预测的颜色属性与待要投影在HMD上、覆盖在背景位置处的未来背景环境上的预期前景补充图像的至少一个颜色属性进行比较。当检测到不相容状况时，调整所述补充图像的至少一个视觉参数以使不相容状况最小化，并且用已调整的视觉参数将所述补充图像在背景位置处投影到HMD上。

Description

所显示彩色符号表示的视觉感知加强
技术领域
本发明总体上涉及透视显示器和彩色图像投影，并且具体地涉及透视显示器上视觉感知的加强(强化，enhancement)。
背景技术
平视显示器(HUD)是一种在不需要观看者将目光从其当前视点移开的情况下向观看者呈现视觉信息的透明或透视的电子显示器。术语HUD源于用户——诸如飞行器飞行员——能够在其头部定位成“竖立(up)”并且向前看时观看信息，而不是斜向下察看下部的仪表盘。HUD可以具有固定的显示元件，诸如安装到飞行器的驾驶舱。HUD还具有的特点是与用户的头部的位置和定向共同移动的显示元件。具有可移动显示器的HUD也称为头戴式显示器或头盔式显示器(HMD)。
典型的HUD包含三个主要部件：投影单元、组合器、和视频生成计算机。在HUD中的投影单元是光学准直装置：凸透镜或凹面镜，具有在其焦点处的阴极射线管、发光二极管、或液晶显示器。组合器通常是直接位于观看者前面的成角度的平板玻璃。该平板玻璃用作分束器并且将投影的图像重定向以允许观看者在其视场中看到背景场景的同时看到投影的图像。计算机与HUD的投影单元接合，并且生成要由投影单元显示的影像和符号表示(symbology，符号)。典型的飞行器HUD显示代表飞行数据的符号或指示符，所述飞行数据诸如：空速、高度、水平线、航向、转向、倾斜飞行、滑行(slip)和侧滑(skid)参数。除了实时飞行信息之外，其他类型的符号和数据也可以呈现在飞行器HUD上。例如，军事应用包括代表武器系统和传感器数据——诸如：目标标定、靠近速度、射程、发射可接受性、视线和武器状态——的符号。
通常，通过HUD可见的背景环境特征的颜色(或颜色相关属性)可能会与要在HUD上显示的、叠加于背景视图上的符号产生冲突或干扰。例如，背景区域的特定颜色或其他色彩特性(例如，色调、亮度、饱和度)与所述符号的特定颜色或其他色彩特性相结合可能引起观看者相对于背景适当地感知符号的问题或困难。特别地，颜色组合可能使得难以从背景中区分出所述符号，或者导致观看者实际感知到与符号的原本预期的颜色不同的不同颜色。在某些情况下，显示的符号表示可能是有时效性的或者对观看者至关重要的(例如，实时飞行信息的指示)，其中，如果观看者不正确地感知或不适当地理解所显示的信息则可能会产生不利的后果。
Bates等人的名称为“Automatic color contrast adjuster”的美国专利No.6,809,741公开了一种颜色对比度调节器，如果当前的颜色组合是问题颜色组合，则该调节器基于当前的颜色组合自动地选择并应用文本和背景的新的颜色组合。文本可以是任何文本对象，并且背景可以是可以确定其颜色的任何背景对象。颜色对比度调节器可以针对每个用户存储多个问题组合和优选的颜色组合，并且可以用优选的颜色组合代替问题颜色组合。颜色对比度调节器可以向用户提供示例颜色组合，允许用户选择更好的颜色组合，并且将优选的组合和问题组合添加到用户偏好。
Shum等人的名称为“Adaptive color schemes”的美国专利No.7,184,063公开了当检测到显示的前景颜色和提取的背景颜色之间的冲突时自适应地改变所显示的前景颜色的技术。一经检测到这种冲突，就根据预定的可识别性条件选择新的前景颜色。如果与提取的背景颜色相关的候选颜色的可识别性值超过预定的可识别性阈值，则颜色池候选者可以被认为是切实可行的前景颜色。
Kim等人的名称为“Display apparatus and display method for improvingvisibility of augmented reality object”的美国专利申请No.2012/0092369公开了通过以与背景不同的方式显示每个对象来提高每个增强现实对象的可视性。显示装置和显示方法可以通过输出覆盖对象的列表或覆盖对象的图，或者通过扩大其中对象被密集布置的复杂区，以减少对象的覆盖，来提高可视性。
Gundavarapu的名称为“Selection of foreground characteristics based onbackground”的美国专利申请No.2002/0127198公开了一种文本着色系统，该文本着色系统基于文本在其上显示的一种或多种背景颜色自动地设置前景文本颜色。文本着色系统识别与文本串的每个像素邻近的背景颜色。对于每个像素区域，系统选择满足一个或多个着色标准的颜色。系统基于所选择的颜色设置每个区域处的文本颜色。系统然后将分层的图像诸如通过计算机显示器或移动设备显示器显示给用户。
Lamb的名称为“Display of shadows via see-through dispaly”的美国专利申请No.2013/0147826公开了一种操作具有透视屏的显示设备的方法。在显示屏上显示对象的图像，同时将由该对象投射的阴影的图像显示到背景场景上。在背景场景的图像中确定阴影的位置。通过增大与阴影相邻的区域与阴影内的亮度相比的相对亮度来渲染背景场景的加强图像，并且显示该加强图像。
Morinaga等人的名称为“Object display device and object display method”的美国专利申请No.2013/0222424公开了一种具有图案提取单元的显示设备，该图案提取单元提取一区域，在该区域中当对象被覆盖并且显示在真实空间中的图像中时，基于由图像分析单元获取的关于对象的大小和颜色以及关于真实空间中图像的颜色的信息，容易地从该真实空间中的图像中视觉识别出该对象。显示位置校正单元将对象的显示位置校正到该区域，以便于对象的视觉识别并加强诸如信息性的各种效果。
Yun等人的名称为“Transparent display apparatus and method thereof”的美国专利申请No.2013/0265232公开了一种用于在透明显示器上显示信息使得用户可以依据所看见的在透明显示屏后面的对象更好地辨识出所显示的元素的方法和装置。至少一个传感器感测对象的位置和用户的位置。基于对象的位置和用户的位置确定通过用户可以看到对象的显示区域，并且基于该确定的区域在透明显示器上显示信息。
Suzuki等人的名称为“Vehicle drive assist system”的美国专利申请No.2007/0013495公开了一种用于以允许在不利的环境条件下更好地识别车道标记(lane marker)的方式显示所述车道标记的系统，所述车道标记指示驾驶员的车辆的行驶车道。系统控制器从各种来源获取车道信息，所述来源诸如由摄像机捕获的路面图像、由热敏电阻器感测的温度、以及基于感测的温度的积雪情况以及由ABS单元指示的滑移率。视线感测系统检测驾驶员的视点位置。基于检测到的视点位置和获得的车道信息生成两个车道引导线(guide)的图像，该两个车道引导线的图像对应于从驾驶员的视点透过车辆挡风玻璃观察到的行驶车辆的相对侧边缘。显示单元在车辆挡风玻璃上或者透过车辆挡风玻璃显示所述图像。检测在车道引导线(路面)处的背景颜色，并设定车道引导线的显示颜色，以便增加相对于检测到的背景颜色的对比度。
Babaguchi的名称为“Headup display,display method for headup display,and program for headup display”的美国专利申请No.2014/0253579公开了一种意于在反映原始显示颜色的同时提高视觉可识别性的平视显示器(HUD)。初始化为第一显示颜色的规定信息被投影在布置于用户的注视方向上的显示板上。检测由用户通过显示板视觉识别的背景颜色。基于检测到的背景颜色调整第一显示颜色，并且以所调整的颜色显示规定的信息。具体地，将第一显示颜色调整为第二显示颜色，以对应于检测到的背景颜色和第一显示颜色之间的差，其中所述差可以表示灰度差或基于其他颜色信息。例如，第二显示颜色可以通过将第一显示颜色与相对于背景颜色最容易视觉识别的互补颜色混合而获得，其中，混合可以基于经计算的混合比。
发明内容
根据本发明的一个方面，因此提供了一种用于加强对增强现实呈现的视觉感知的方法。该方法包括以下步骤：用位置测量单元检测用户的位置；以及用视线检测器检测用户的视线(LOS)。该方法还包括以下步骤：至少基于所检测的位置和所检测的LOS，预测待由用户通过透视的头戴式显示器(HMD)观看到的未来背景环境。该方法还包括以下步骤：预测在对应于用户的LOS的背景位置处的未来背景环境的至少一个颜色属性。该方法还包括以下步骤：将未来背景环境的所预测的颜色属性与预期前景补充图像的至少一个颜色属性进行比较，所述预期前景补充图像待要投影到HMD上、覆盖在背景位置处的未来背景环境的视图上。该方法还包括以下步骤：当检测到在未来背景环境的所预测的颜色属性和预期前景补充图像的颜色属性之间的不相容状况时，以使该不相容状况最小化的方式调整所述补充图像的至少一个视觉参数，并且用已调整的视觉参数将所述补充图像在背景位置处投影在HMD上。
根据本发明的另一方面，提供了一种用于加强对增强现实呈现的视觉感知的系统。该系统包括由用户穿戴的透视的头戴式显示器(HMD)、位置测量单元、视线检测器和处理器。HMD被配置成使用户能够看到背景环境，并且显示覆盖于背景环境的视图上的前景中的图像。位置测量单元被配置成检测用户的位置。视线检测器被配置成检测用户的视线(LOS)。处理器被配置成至少基于所检测的位置和所检测的LOS，预测待由用户通过HMD观看到的未来背景环境。处理器还被配置成预测在对应于用户LOS的背景位置处的未来背景环境的至少一个颜色属性。处理器还被配置成将背景位置处的未来背景环境的所预测的颜色属性与预期前景补充图像的至少一个颜色属性进行比较，该预期前景补充图像待要投影在HMD上、覆盖在背景位置处的未来背景环境的视图上。当检测到未来背景环境的预测的颜色属性和预期前景补充图像的颜色属性之间的不相容状况时，处理器还被配置成以使不相容状况最小化的方式调整补充图像的至少一个视觉参数，使得用已调整的视觉参数将所述补充图像在背景位置处投影在HMD上。
附图说明
根据下面结合附图进行的详细描述，将会更充分地理解和认识本发明，在附图中：
图1是根据本发明的一个实施方案构建和运行的、用于加强对增强现实呈现的视觉感知的系统的示意性例示图；
图2A是根据本发明的一个实施方案操作的、如通过图1的显示器观看到的场景的示例性视图的示意性例示图；
图2B是根据本发明的一个实施方案操作的、图2A的场景的示例性图像的示意性例示图；
图3A是根据本发明的一个实施方案操作的、覆盖在图2A的视图中的选定对象上的初始未改变符号的示意性例示图；
图3B是根据本发明的一个实施方案操作的、图3A的覆盖符号在第一示例性视觉改变之后的示意性例示图；
图3C是根据本发明的另一实施方案操作的、图3A的覆盖符号在第二示例性视觉改变之后的示意性例示图；
图3D是根据本发明的又一实施方案操作的、图3A的覆盖符号在第三示例性视觉改变之后的示意性例示图；
图4A是根据本发明的另一实施方案操作的、部分覆盖在图2A的视图中的选定对象上的初始未改变符号的示意性例示图；
图4B是根据本发明的另一实施方案操作的、图4A的覆盖符号在示例性视觉改变之后的示意性例示图；以及
图5是根据本发明的一个实施方案操作的、用于加强对增强现实呈现的视觉感知的方法的流程图。
具体实施方式
本发明通过提供用于加强所显示的补充图像内容的视觉感知的系统和方法来克服现有技术的缺点。系统检测将要覆盖到透视显示器上的符号或其他前景补充图像的颜色属性与在要显示符号的位置处的现实世界场景中的背景环境的颜色属性之间何时存在不相容性，所述位置对应于观看者的视线。这种不相容可能是从背景中感知符号或区分符号的困难，或者可能是当符号覆盖在背景上时符号的不同感知的外观。当检测到不相容性时，以使得不相容性最小化的方式，诸如通过改变符号的颜色属性，视觉上改变符号，并且将视觉上改变的符号投影到显示器上。该系统可以从由指向用户的当前视场(FOV)的摄像机捕获的图像，或者从由相同或其他用户捕获的先前获取的图像，或者从三维地理模型获得关于相关背景环境的颜色信息。该系统还可以获得关于背景环境的环境信息，其可以在确定潜在的颜色不相容性中被考虑进去。该系统还可以基于用户的实时位置数据、实时环境信息、以及可用的图像和图像元数据来确定与未来用户位置和视线相关联的潜在的颜色不相容性。
现在参照图1，该图是根据本发明的实施方案构建和运行的用于加强对增强现实呈现的视觉感知的系统(总体参考100)的示意性例示图。系统100包括摄像机104、显示器106、处理器108、视线(LOS)检测器110、位置测量单元116、用户接口118、和数据库120。LOS检测器110包括头部跟踪器112和/或眼睛跟踪器114。处理器108通信地耦接到摄像机104、显示器106、LOS检测器110、位置测量单元116、用户接口118和数据库120。
摄像机104被配置成获取用户(参考102)观看到的现实世界场景的图像。摄像机104可以安装到或以其他方式附接在用户102的头部(或其他身体部位)上或附近，诸如被粘附到用户102穿戴的可穿戴头饰(例如，头盔、头带、护目镜等)上。可替代地，摄像机104可以安装在用户102附近，诸如定位在室内或室外环境中的稳定平台上。例如，摄像机104可以是安装在车辆或飞行器的驾驶舱内并且以穿透驾驶舱防风罩的波长运行的面向外的图像传感器。还可替代地，摄像机104可以由用户102持有，或者可以由用户102附近的另一个人持有。通常，摄像机104被定位成使得摄像机104的LOS对准朝向其中用户102所面向的大致方向，允许摄像机104捕获用户102的FOV中的环境图像。系统100可以包括多个摄像机104，诸如被配置成产生立体图像的一对摄像机104。系统100还可以包括具有不同FOV的多个摄像机，允许比用单个摄像机可能的更宽的整体FOV的成像。
摄像机104可以是能够获取和存储现实世界场景的图像表示的任何类型的传感器设备，包括在其中可以得到场景的颜色信息的任何波长(包括可见波长和不可见波长)范围处获取任何形式的电磁辐射。例如，摄像机104可以是具有多色能力的前视红外(FLIR)摄像机(例如，多色FPA)，或者可以融合多光谱图像数据。摄像机104可操作以获取至少一个图像帧，诸如表示视频图像的连续图像帧序列，其可以被转换为用于后续处理和/或传输的电子信号。因此，本文所用的术语“图像”是指来自上述图像传感器的任何形式的输出，包括在任何光谱区域获取的场景的任何光学或数字表示，并且包括单个图像帧和图像帧序列(即，“视频图像”)两者。
显示器106被配置成向用户102显示图像内容(例如，视频图像)。所显示的图像可以包括主图像内容，诸如用户102可以观看到的背景环境的图像，以及补充图像内容，诸如符号表示、文本或其他形式的图形或视觉图像，其中，补充图像内容在前景中覆盖在主图像内容上。显示器106可以是至少部分透明的(例如，“透视”显示器)，使得观看显示器106的用户可以通过显示器同时看到叠加在显示器上的图像或其他视觉内容以及物理环境的视图。透明的显示器也为用户提供对其环境的情境感知。显示器106可是头戴式显示器(HMD)，其包括嵌入在用户102穿戴的可穿戴设备诸如头盔、头带、面罩、眼镜、护目镜等内的显示器。可替代地，显示器106可以是另一种类型的显示器，诸如平视显示器(HUD)、便携式或手持式显示器、移动计算设备的显示屏等。显示器106可以包括将视频图像投影到用户102可观看的显示屏上的投影仪。显示器光学器件可以直接定位在用户102的LOS中，以提供所投影的(主和补充)图像内容的直接视图，或者可以偏离用户102的LOS，以提供所投影的图像内容的扫视(glance)或周边视图。
LOS检测器110基于用户的头部的位置/定向和/或基于用户的眼睛注视方向提供用户102的大体LOS的指示。LOS检测器110包括头部跟踪器112和眼睛跟踪器114中的至少一个。头部跟踪器112被配置成诸如经由本领域已知的头部跟踪装置或机构确定(例如，实时地)用户102的头部的方向。眼睛跟踪器114被配置成诸如经由本领域已知的眼睛跟踪装置和机构例如通过确定瞳孔中心相对于角膜或眼睑的位置来确定(例如，实时地)用户102的眼睛注视方向。
位置测量单元(LMU)116提供用户102的现实世界位置和/或用户102当前正在观看的场景的现实世界位置的指示。例如，LMU 116确定用户102相对于参考坐标系的全局位置和定向坐标。LMU 116可以由被配置成测量用户102的位置和定向(观看方向)的一个或多个装置或仪器诸如：全球定位系统(GPS)；指南针；惯性导航系统(INS)；惯性测量单元(IMU)；运动传感器或转动传感器(例如，加速度计、陀螺仪、磁力计)；测距仪等来实施。
用户接口118允许用户102或系统100的其他用户控制与系统100的部件相关联的各种参数或设置。例如，用户接口118可以允许用户102调整摄像机104的参数或设置(例如，将摄像机LOS移位或旋转，增加/降低分辨率水平，放大/缩小等)和/或调整显示器106的参数或设置(例如，移位所显示的图像的焦点或FOV)。用户接口118可以包括光标或触摸屏菜单接口，和/或用于允许用户102通过语音命令输入指令或数据的语音识别性能。
数据库120提供对与系统100的操作相关的图像帧和其他类型的数据的存储。数据库120包括现实世界环境——诸如至少期望用户102位于其中的环境——的背景图像的集合。例如，如果用户102是飞行器飞行员，则数据库120可以包括围绕不同机场的跑道和着陆门的区的图像。背景图像可以由3D地理模型122提供，3D地理模型包括地球或感兴趣的特定区、区域或地区的三维表示。3D模型122通常包括与地理特征和地形(包括人造特征(例如，建筑物、纪念碑等))相关的图像和纹理数据，诸如这些特征的位置坐标和其不同视图(例如，经由卫星图像或航空摄影、和/或街道级视图获取的)。例如，3D模型122可以提供感兴趣区域的地理地形在不同位置和观看视角(例如，通过允许诸如缩放、旋转、倾斜等的操控操作)的多个视觉表示。3D模型122可以包括专有和/或公开可访问的模型(例如，经由开源平台)，或者可以包括至少部分私有或有限制的模型。数据库120可以包括允许重建或分析相关背景场景的实际背景图像和/或图像数据。数据库120可以包括预先加载的图像，诸如由摄像机104预先捕获的图像。数据库120还可以存储要显示的、覆盖在不同现实世界场景的视图上的示例性补充图像内容(例如，符号表示、文本、图形和视觉设计)。
处理器108从系统100的部件接收指令和数据。处理器108在图像帧(通过摄像机104获取的或从数据库120中检索的)上执行任何必要的图像处理，并且生成用于在显示器106上显示的最终符号图像。处理器108可以位于远离系统100的其他部件的位置。例如，处理器108可以是通过通信介质或网络可访问的服务器——诸如远程计算机或远程计算系统或机器——的一部分。可替代地，处理器108可以位于用户102的附近和/或集成在系统100的其他部件内。例如，处理器108可以经由无线连接耦接到系统100的部件，或者处理器108可以和与摄像机104和/或显示器106相关联的计算机结合。
系统100的部件可以基于硬件、软件或其组合。应当认识到，与系统100的每个单独部件相关联的功能可以分布在多个部件之中，该多个部件可以位于单个位置或多个位置处。例如，与处理器108相关联的功能可以分布在多个处理单元(诸如用于图像处理功能的专用图像处理器)之间。系统100可以可选择地包括图1中未示出的附加部件和/或与该图1中未示出的附加部件相关联，以使得能够实现所公开的主题。例如，系统100可以包括用于向各种部件提供电力的电源(未示出)，并且还可以包括用于暂时存储图像帧或其他类型的数据的附加存储器或存储单元(未示出)。注意到，系统100的部件中的一些是可选的。例如，在本发明的一个实施方案中(在下文进一步讨论的)，系统100不包括(或至少不利用)摄像机104。
为了示例的目的，现在将在飞行员操作飞行器的背景下讨论系统100的运行。在本文中，飞行员将被认为是系统100的用户102。现在参照图2A，其是根据本发明的实施方案操作的、如通过图1的显示器106观看到的场景(参考200)的示例性视图的示意性例示图。在图2A的示例中，用户102穿戴头戴式显示器(HMD)106，用户102通过该显示器观看现实世界场景200。场景200包括各种环境特征，诸如云、树和另一飞行器。环境特征包括至少一个选定对象204(为了示例性目的，由多棵树中的一棵表示)，符号或其他补充图像要叠加在所述至少一个选定对象上，以便向用户102呈现关于所述选定对象204的相关信息。例如，补充图像可以是符号206(为了示例性目的，由十字表示)，诸如以向用户102指示树204表示当前目标。显示器106还呈现覆盖在场景200的背景视图上的附加补充内容，诸如相关的实时飞行信息(例如，空速；飞行器航向；爬升/下降速率；高度；气压读数等的指示)。
在飞行器的飞行过程中，摄像机104捕获场景200的图像区域202的至少一个图像。参照图2B，其是根据本发明的一个实施方案操作的、图2A的场景的示例性图像(总体参考210)的示意性例示图。摄像机图像210可以诸如在像素值方面被转换成所捕获的场景的数字信号表示，该数字信号表示被转发到处理器108。处理器108在关于要被叠加到HMD 106上的选定对象204上的预期符号的颜色特性方面进行分析图像210。具体地，处理器108将由图像区域212指示的位于对象204附近的场景200的环境特征的颜色属性与预期符号206的颜色属性进行比较。颜色属性可以包括以下至少一个：颜色值、亮度、色调、饱和度、色度、发光度(radiance)、光照度、和/或可能影响观看者的视觉感知的任何其他相关特征或属性。在图像210中，一个图像部分的颜色属性由阴影图案214描绘，而另一图像部分的颜色属性由阴影图案216描绘。
现在参照图3A，其是根据本发明的一个实施方案操作的、覆盖在图2A的视图中的选定对象204上的初始未改变符号(参考220)的示意性例示图。为了示例性目的，符号220被表示为圆形。对象204的图像区域216至少通过标示为“CLR-A”的第一颜色属性被表征，而围绕对象204的图像区域214至少通过标示为“CLR-B”的第二颜色属性被表征。初始符号220至少通过所述第一颜色属性CLR-A被表征。
处理器108将符号220和周围的图像区域216的颜色属性进行比较，并且确定这些颜色属性是否彼此不相容。具体地，处理器108确定与符号220的颜色属性组结合的图像区域216中对象204的颜色属性组是否导致不相容状况。术语“不相容状况”在本文中被定义为当前景图像(即，符号220)覆盖在背景环境(即，对象204)上显示时，可能大幅地阻碍或减损该前景图像的视觉感知的任何情况，诸如例如，难以清楚地区分这两个图像。例如，如果用户所感知到的前景图像和背景环境之间的对比度不足，或者如果用户所感知到的在前景图像投影到背景环境上时前景图像的颜色外观与标称消色差背景上的预期颜色的外观相比之间存在过度差异，则可能是不相容状况。不相容状况的另一个示例是用户所感知到的在前景图像投影到背景环境上时在前景图像的外观上存在视觉失真(例如模糊不清、色差)。不相容状况的又一示例是用户所感知到的在前景图像投影到背景环境上时该前景图像的至少一个颜色属性的不均匀外观。
在图3A所示的情况中，图像区域216和符号220两者具有共同的颜色属性(CLR-A)，并且因此被认为是不相容的。虽然这里使用每个图像的单一颜色属性来说明比较，但是通常在确定是否存在不相容性时会考虑每个图像的一系列属性(诸如：颜色值、亮度、色调、饱和度、色度)。例如，对象204和符号220两者可以是基本上相同的颜色，诸如蓝色或类似的蓝色阴影(例如，要显示的蓝色符号覆盖在蓝天或一片水域的背景上)，导致难以从背景中区分出符号。对于另一示例，符号220可以具有当覆盖于对象204上时与该对象冲突的颜色或者掩盖该对象的颜色，诸如绿色背景上的蓝色符号。对于又一示例，符号220的亮度级可以使得当其覆盖在基本上浅色(例如，白色或黄色)的对象204上时是难以感知该符号220的。
在确定符号220和周围图像区域216的颜色属性是不相容的之后，处理器108进行确定会基本上最小化或消除不相容性的对符号220的至少一种视觉改变。然后，符号220被以这种方式视觉地改变并且投影到显示器106上。现在参照图3B、图3C和图3D。图3B是根据本发明的一个实施方案操作的、图3A的覆盖符号220在第一示例性视觉改变后(参考222)的示意性例示图。图3C是根据本发明的另一实施方案操作的、图3A的覆盖符号220在第二示例性视觉改变之后(参考224)的示意性例示图。图3D是根据本发明的又一实施方案操作的、图3A的覆盖符号220在第三示例性视觉改变之后(参考226)的示意性例示图。参照图3B，用与符号222的初始颜色属性CLR-A不同的新的颜色属性(标示为“CLR-C”)对符号222进行投影。例如，如果图像区域216是绿色背景，并且初始符号220也是绿色，则可以将改变的符号222投影成替代的橙色或黄色。参照图3C，符号224以粗体轮廓或不同的着色轮廓投影到对象204上，以在视觉上区分符号224与对象204。例如，如果图像区域216是绿色背景，并且初始符号220也是绿色的，则改变的符号224的内部基本上保持为绿色，但是符号224的边界区域被突出显示，诸如通过投影粗体轮廓或不同的着色轮廓(例如，橙色或黄色)，以产生“晕”视觉效果。参照图3D，符号226投影到显示器106上的不同图像位置，该图像位置不同于符号220预期被投影在其上的图像位置(图3A)。例如，如果图像区域216和初始符号220二者都是绿色的，并且如果符号220初始预期要投影到基本上覆盖在对象204的中心，则改变的符号226可替代地投影在相对于对象204偏移的位置。具体地，符号226从对象204的中心朝向右上方偏移，使得(例如，绿色的)符号226的大部分覆盖在与对象204相邻的图像区域214的(例如，白色的)背景上，而不是覆盖在其中存在不相容性的图像区域216的(例如，绿色的)背景上。
应当认识到，符号220可以经历附加类型的视觉操控和改变，包括但不限于：平移移位和/或旋转移位；大小变化(即，增大或减小符号220相对于对象204的大小)；形状变化(例如，将圆形符号改变为三角形或菱形或十字形)；改变初始颜色的阴影或强度；调整颜色相关参数(例如，亮度/色调/饱和度/光照度/发光度)；强调或突出显示所述符号的至少一部分；省略符号的至少一部分；完全改变符号的类型；及其任何组合。通常，符号220的视觉改变可以是使得用户102对改变的符号(222、224、226)的感知将尽可能地类似于对初始符号220的预期感知(同时最小化不相容性)。例如，如果初始符号预期是绿色的，并且预期被投影到蓝色背景上，导致难以区分符号与背景(对比度不足)，则可以替代地投影黄色符号，致使由于黄色与蓝色的颜色组合感知到绿色符号。
当执行图像210的颜色分析时，处理器108还可以考虑如使用LOS检测器110所确定的用户102的视线，诸如用于识别可能在其之上显示预期符号的相关背景图像区域(214、216)。例如，视觉上改变的符号(222、224、226)被投影到显示器106上与用户102的当前LOS一致的位置处。
在一些情况下，可能仅改变初始符号的一部分，而初始符号的其他部分保持不变。现在参照图4A和4B。图4A是根据本发明的另一实施方案操作的、部分覆盖在图2A的视图中的选定对象204上的初始未改变符号220的示意性例示图。图4B是根据本发明的另一实施方案操作的、图4A的覆盖符号在示例性视觉改变之后(参考228)的示意性例示图。在图4A中，初始符号220的一部分预期覆盖在对象204的图像区域216上，而符号220的剩余部分预期覆盖在对象204外部的图像区域214上。因此，不相容状况仅存在于符号220的所述一部分(例如，右半部分)覆盖在图像区域216上时，因为两者均通过共同的颜色属性“CLR-A”表征，而符号220的其他部分(例如，左半部分)没有不相容状况。因此，在图4B中，改变的符号228被投影使得覆盖在图像区域216上(在对象204内)的部分被改变为与对象204的颜色属性(“CLR-A”)不同的颜色属性(“CLR-C”)，而覆盖在图像区域214(超出对象204)的部分保持已经不同于图像区域214的颜色属性(“CLR-B”)的相同颜色属性(“CLR-A”)。例如，如果图像区域216和初始符号220二者都是绿色的，而图像区域214是白色的，则改变的符号228的右半部分可以投影成橙色或黄色，而符号228的左半部分保持为绿色。
根据本发明的可替代的实施方案，可以基于通过其他方式获得的现实世界场景200的信息而不是基于由摄像机104捕获的图像来执行预期符号的颜色属性和场景200的周围环境特征(其中符号要被投影在显示器106上)的颜色属性的比较。具体地，系统100可以使用3D地理模型122结合由用户102的视线(从LOS检测器110获得的)和用户102的现实世界位置(从LMU 116获得的)提供的特定场景200的指示生成场景200的合成图像。例如，处理器108从LMU 116接收用户102的当前的全局位置和定向坐标，并且从LOS检测器110接收用户102的当前的头部方向和/或眼睛注视方向。根据获得的信息，处理器108基于用户102的位置/定向坐标和头部方向/眼睛注视方向确定用户102当前处于特定位置(例如，接近特定机场的着陆区域)，并且当前正在观看该位置处的特定场景(例如，观看机场的着陆跑道的一段)。然后，处理器108可以从包含在3D地理模型122中的图像集合中检索所确定的当前所观看场景的至少一个(彩色)图像，或者可以基于包含在3D地理模型122中的相关信息生成所确定场景的图像。然后，处理器108开始分析基于3D模型的图像，将预期符号(220)的颜色属性与要在其中显示符号220的图像位置(216)的颜色属性进行比较，并且确定是否存在如上文参照图2A和图2B所述的不相容状况。注意到，处理器108可以可替代地执行对不相容状况的确定而不必分析场景200的合成图像，而是通过仅利用从3D模型122获得的相关信息，诸如通过从3D模型122直接获得背景区域214、216的颜色属性，来执行所述对不相容状况的确定。通常，可以以任何合适的方式、使用任何合适的处理技术或过程来实施颜色属性的比较和/或不相容状况的确定，诸如以优化处理效率。
还可替代地，可以基于合成图像(使用由LOS检测器110、LMU 116和3D模型122提供的信息生成的)和摄像机图像(210)二者，执行对在预期符号(220)和背景区域(216)的颜色属性之间的不相容状况的确定。例如，处理器108可以执行对在摄像机图像210中的符号220和背景区域216的颜色属性的第一比较，并且然后在符号220和背景区域216出现在合成图片中时执行它们的颜色属性的第二比较。然后，处理器108为每个比较分配差分加权或定性值(例如，摄像机图像为70％，合成图像为30％)，并且相应地确定不相容状况的存在。每个比较的加权方案可以是自适应的，诸如基于实时数据(例如，当用更高分辨率的摄像机替代时，增加摄像机图像相对于合成图像的定性值)或历史分析(例如，使用合适的度量确定先前比较的成功率)进行更新。
根据本发明的又一实施方案，对颜色属性的比较和/或对不相容状况的确定可以根据不同用户的特定视觉感知特征是个性化的。例如，系统100可以将把个体用户与他们自己的颜色感知特性组相关联的信息和其他相关信息存储在数据库120中，当针对该特定用户确定存在不相容状况时，随后可以考虑这些信息。例如，一对用户可以以这种方式感知某一颜色(或某一颜色特征组)，使得覆盖在给定背景上的给定前景颜色对于第一用户是不相容的，但不会被认为对于第二用户是不相容的。系统100的每个用户可以关联到唯一标识符，其用于在初始化阶段期间对用户的识别和认证，使得系统100检索与所提供的用户标识符相关联的必要信息。可以基于用户反馈获得用户感知特性，诸如通过向用户呈现各种颜色图案和颜色组合的模拟并且提供对于该模拟的相关响应，或者用户反馈涉及他/她对由系统100显示的先前视觉上改变的(或未改变的)前景图像的感知(即，历史性能数据)。系统100可以实现人工智能技术，诸如机器学习和模式识别，以便随着时间的推移学习不同的用户如何感知不同的颜色组合。例如，系统100可以基于用户对颜色模拟的反馈，诸如使用隐马尔可夫模型，在初始训练阶段期间针对不同颜色图案或颜色组合实施概率模型。个性化用户信息还可以包括诸如通过眼睛跟踪器114获得的对用户的眼睛的分析。
系统100还可以根据每个用户102的相应的视觉感知特性和相应的LOS，同时向多个用户(102A、102B、102C)显示相应的(视觉上改变的)符号。例如，处理器108可以获得与飞行器的飞行员(102A)和副飞行员(102B)相关联的用户感知特性，并且接收关于通过相应的显示器(106A、106B)观看到的背景场景200的飞行员102A和副飞行员102B的LOS的指示。然后，处理器108确定与飞行员102A的LOS关联的第一背景区域216A和与副飞行员102B的LOS关联的第二背景区域216B。最后，处理器108确定相对于要针对每个用户(飞行员102A和副飞行员102B)显示的预期符号是否存在不相容状况，并且如果可适用的话视觉上改变相应的符号。具体地，处理器108将预期要向飞行员102A显示的第一符号(220A)的颜色属性与飞行员102A的LOS关联的第一背景区域216A的颜色属性进行比较，并且如果检测到不相容，则在飞行员显示器106A上显示第一符号220A的视觉改变的形式(222A)。相应地，处理器108将预期要向副飞行员102B显示的第二符号(220B)的颜色属性与副飞行员102B的LOS关联的第二背景区域216B的颜色属性进行比较，并且如果检测到不相容，则在副飞行员显示器106B上显示第二符号220B的视觉改变的形式(222B)。
用于确定潜在不相容状况的颜色属性的分析可以可选地考虑附加信息，诸如场景200中存在的环境光条件，其可以影响可以如何感知不同的颜色组合。例如，系统100的摄像机104和/或专用环境光检测器(图1中未示出)可以提供显示器106上的场景200中的——特别是符号206将覆盖在显示器106上的选定对象204附近的——环境光的水平的指示。由环境光检测器接收的光的量或强度可以根据当日时间、季节、气候、地貌、地理以及也可以考虑的各种其他因素而变。例如，环境光检测器可能会在夜间期间比在白天期间检测到更少的光线。环境光检测器可以由光电检测器(例如，光电二极管)或操作用以检测可见范围内的光线的任何其他类型的传感器来实现。场景200中的环境光的水平也可以从摄像机图像210获得。应注意到，场景200的环境光(和/或其他相关的环境条件)可以在适用的情况下被包括在颜色分析和对潜在的不相容状况的确定中，不管颜色分析是否是基于由摄像机104捕获的图像或者基于从数据库120中检索的图像执行的。
注意到，可以基于变化的条件和情况实时地更新投影在显示器106上的视觉上改变的符号。因此，摄像机104可以继续捕获场景200的附加图像，并且处理器108监视连续图像中的相关背景环境(例如，图像区域214、216)相对于相关的前景图像的颜色属性，以确定是否需要更新前景图像。例如，如果背景环境改变了，导致视觉上改变的符号的颜色属性与其中覆盖了符号的新背景环境的颜色属性之间的新的不相容状况，则该符号可以经历又一视觉改变(以便最小化该新的不相容性)。如果改变的背景环境使得相对于初始预期符号(220)不存在不相容状况，则视觉上改变的符号(222、224、226)可以改回到要显示的初始符号(220)。
数据库120可以是自适应的且动态的数据库，其根据新的信息和变化的环境条件连续地更新图像集合。数据库120可以从世界各地的不同用户102获得现实世界环境的图像，这些用户可以被授权以直接上传图像和/或修改或删除数据库120中的现有图像。例如，由多个用户用各自的摄像机捕获的一系列图像可以被上传到数据库120，其中不同的用户102提供总体相同位置的不同图像，每组图像以不同的成像参数(例如，不同的视角、焦距、FOV、光照条件、分辨率级别等)表征。整个图像集合最终可以从不同的位置和角度形成各种现实世界环境的全景视图，诸如一系列街道水平的全景图。不同用户102捕获的图像基本上实时地上传到数据库120。系统100可以向不同的用户发送请求来以选定标准提供图像，诸如在数据库120中当前有较少(或者没有)图像可用的地理位置的图像，或者在特定成像角度(视角，perspective)和/或光照条件下捕获的环境的图像。提供给数据库120的图像可以包括用于辅助图像识别和分类的元数据(即，“标签”)。例如，数据库120中的图像可以根据不同的标准(例如，场景的地理位置；图像的角度或视角；捕获图像时的光照和天气条件；图像捕获的当日时间；提供图像的用户的个人信息等)进行分类和搜索。处理器108还可以从数据库120中选择满足图像标准(由系统100定义或由用户102提供)的用于颜色分析的最佳背景图像(或多个图像)。数据库120还可以包含可用于有限时间段的图像，诸如与特定事件或场合相关联的图像。因此，数据库图像还可以包括指示与图像内容相关联的特定事件的时间(和位置)的时间的元数据。例如，正在举行演唱会或体育赛事的体育馆或表演场地的图像可以上传到数据库120，使得那些图像仅对于在演唱会或体育赛事现场的用户是可访问的(即，用于颜色分析和确定潜在的不相容状况)。用户102还可以提供与包含在数据库120中的图像有关的反馈和/或与由系统100生成的视觉上改变的符号(222、224、226)有关的反馈。例如，用户反馈可以包括由系统100生成的视觉改变的不同类型的评论或定性评级。
根据本发明的一个实施方案，系统100可以利用预测数据来确定是否以及如何更新要显示的前景图像。具体地，系统100可以基于从LMU 116和LOS检测器110(和/或其他数据源)获得的信息预测用户102的未来位置，并且预测在其上待要在显示器106上投影预期符号(或其他前景图像)的未来背景环境。如果在预期符号和预测的背景环境之间检测到不相容状况，则系统100可以生成预期符号的视觉上改变的形式，以在必要时使用，甚至在执行实时摄像机图像或基于模型的图像的颜色分析之前使用。例如，如果用户102正在驾驶飞行器，则系统100可以使用与飞行器有关的位置数据和飞行轨迹数据(例如，基于从LMU116、3D模型122、和/或飞行器导航系统获得的信息)确定飞行器当前正在山区上方飞行，但将很快将越过海洋。因此，系统100可以准备预期符号的视觉上改变的形式，以适合于在海洋背景而不是山背景上显示，一旦飞行器到达相关位置就可应用该改变的形式。
系统100还可以动态地预测用户位置，同时考虑实时地改变环境条件，诸如改变该位置处的背景颜色。例如，第一用户102A可以在某一天期间在沿着市区的特定街区行走的同时将一系列图像上传到数据库120。上传的图像包括将图像与相关参数(例如，场景位置；图像捕获期间的光照和天气条件；图像捕获的时间和日期)关联的元数据。第二用户102B可能在第二天沿着同一街区行走。然后，处理器108可以基于由第一用户102A前一天捕获的街区的图像确定第二用户102B的实时背景环境，在该实时背景环境上将要向第二用户102B显示预期符号。例如，系统100可以将符号表示投影到由第二用户102B穿戴的透视HMD 106上，该第二用户保持背景环境的外部视图。所投影的符号表示以某些颜色属性诸如橙色符号(例如，表示导航指令或与环境中的特征相关的一般信息)表征。使用来自数据库120的信息(例如，由第一用户102A捕获的相同街区的图像)以及来自LMU 116和LOS检测器110的信息，处理器108可以确定第二用户102B即将到达具有与投影的符号不相容的颜色属性的建筑物，例如棕色建筑。然后，系统100可以在第二用户102B到达(并且他的LOS指向)棕色建筑物的时刻，投影所述符号的视觉上改变的形式，诸如通过将所述符号从橙色改变为白色。处理器108还可以在动态地确定或预测背景环境的潜在不相容状况时利用相关环境信息，诸如时间和日期或天气条件。这样的环境信息可以从存储在数据库120中的图像元数据和/或从外部数据源(例如，环境光检测器；内部时钟；天气应用源等)获得。例如，处理器108可以确定棕色建筑物的图像由第一用户102A在白天和/或明亮和晴朗的条件期间捕获，而第二用户102B将在夜间或黑暗/阴天天气条件期间在同一建筑物处出现，并且因此，可以在不导致不相容的情况下将预期的橙色符号投影在建筑物的视图上(例如，由第二用户102B感知为“黑色的”背景)。在再一实施例中，处理器108可以根据第一用户102A捕获的图像确定沿着街区的背景位置通过第一颜色属性(例如，红色)表征，而由其他用户102捕获的其他图像指示相同的背景位置具有不同的颜色属性(例如，白色)。处理器108还可以确定图像由第一用户102A捕获，而相关背景位置被某个对象(例如，经过的红色汽车)遮蔽，并且“真实的”背景颜色属性由其他图像提供。处理器108因此确定背景位置的第二颜色属性将与第二用户102B的实时环境条件相关，并且相应地对第二用户102B执行颜色分析。
根据本发明的再一个实施方案，系统100可以存储关于背景环境与实现的符号的视觉改变相关的信息。例如，存储的信息(例如，元数据)可以包括：用户的位置、时间和日期、环境光照、和当视觉改变发生时存在的其他环境条件。视觉改变也可以关联到定性度量，其可以基于处理器108对视觉上改变的符号的随后图像分析和/或基于来自用户102的反馈。这样的信息因此可以定义将不同类型的视觉改变关联到各种参数和条件的“颜色属性调整函数”，其可以保存在数据库120中和/或直接发送到用户102。当随后检测到的颜色属性不相容的特点为与先前的状况相同的状况中的至少一些时(例如，当相同的用户102或不同的用户102出现在基本上相似的地理位置处并且具有基本上相似的LOS时)，处理器108可以利用这种颜色属性调整函数进行未来视觉改变。处理器108还可以实时地利用这种颜色属性调整函数，进行与位于同一附近地区的其他用户102相关的视觉调整。例如，通过将不同的颜色调整关联到沿着飞行路线的不同的地理位置，颜色属性调整函数可以应用于常见的飞行路线，并且然后在沿着相同飞行路线的用户102的后续飞行期间使用。以这种方式，系统100可以在不必对摄像机图像或基于3D模型的图像执行颜色分析的情况下执行相对于背景环境对符号的后续视觉调整，其可以用于优化处理并且加速响应时间。
现在参照图5，图5是根据本发明的一个实施方案操作的用于加强对增强现实呈现的视觉感知的方法的流程图。在步骤250中，获得与用户通过透视显示器观看到的背景环境有关的信息。步骤250可以通过子步骤252、254、256和258中的至少一个实现。
在子步骤252中，获取用户通过透视显示器观看到的背景环境的至少一个图像。参照图1、图2A和图2B，摄像机104捕获用户102通过透视显示器106观看到的场景200的图像区域202的图像210。图像区域202至少包括在选定对象(树204)附近的环境特征，在显示器106上补充前景图像(符号206)将要叠加在该选定对象上。
在子步骤254中，检测用户的LOS。参照图1，LOS检测器110基于由头部跟踪器112确定的用户102的头部的位置和定向和/或基于由眼睛跟踪器114确定的用户102的眼睛注视方向来确定用户102的大体视线。
在子步骤256中，检测用户的位置。参照图1，LMU 116确定用户102相对于参考坐标系的全局位置和定向坐标。
在子步骤258中，检索至少一个先前获取的背景环境的图像和相关联的数据。参照图1和图2A，处理器108基于用户102的位置/定向坐标(如从LMU 116获得的)和用户102的LOS(如从LOS检测器110获得的)确定用户102观看到的现实世界场景200，并且从数据库120检索或生成所确定的场景200的合成彩色图像。可以从3D地理模型122获得图像。可替代地，所述图像可以从先前由多个用户102在变化的成像参数和环境条件下捕获的场景200的一组图像中获得。应注意到，图像可以由在场景200附近的其他用户102基本上实时地捕获并且上传到数据库120。处理器108还可以获得指示与所获取的图像相关联的相关参数(例如，场景位置；图像捕获期间的光照和天气条件；图像捕获的时间和日期)的元数据。处理器108还可以从存储在数据库120中的先前获取的图像中提取场景200的背景环境的相关颜色属性。
在可选的步骤260中，检测背景环境中的环境光条件。参照图1和图2A，使用摄像机104或者可替代的环境光检测器(未示出)提供场景200中——特别是在选定对象204附近(例如，图像区域214、216)——环境光的水平的指示。环境光条件可以影响用户102如何感知某些颜色组合。更一般地，与背景环境相关的任何相关环境信息也可以从可用数据源获得，诸如例如：时间和日期信息(例如，来自内部时钟和/或图像时间戳)；天气或气候信息(例如，来自天气应用源和/或图像元数据)；等。
在可选的步骤262中，检索用户颜色感知特性。参照图1，数据库120可以包括与不同用户相关联的个性化信息，诸如个性化的颜色感知特性组。个性化信息可以包括或基于用户反馈，诸如用户对各种颜色图案和组合的模拟的响应，和/或与系统100显示的在先前景图像和背景图像颜色组合的用户感知有关的反馈。个性化信息还可以包括或基于用户的眼睛或视力的特性，其可以从眼睛跟踪器114获得。个性化信息可以通过基于用户反馈和历史数据自动地学习不同用户的颜色感知特性的人工智能技术来获得或更新。
在步骤264中，将在选定位置附近的背景环境的至少一个颜色属性与预期前景补充图像的颜色属性进行比较，该预期前景补充图像要投影到显示器上、覆盖在选定位置处的背景环境的视图上。参照图1和图2B，处理器108将位于对象204附近(即，图像区域212内)的场景200的环境特征的颜色属性与预期符号206的颜色属性进行比较。颜色属性可以包括以下至少之一：颜色值、亮度、色调、饱和度、色度、发光度、光照度和/或任何其他可能影响观看者的视觉感知的相关特性或属性。参照图3A，对象204通过(至少)其中符号220要覆盖的图像区域216中的颜色属性“CLR-A”被表征，而符号220也通过(至少)相同的颜色属性“CLR-A”被表征。当确定是否存在不相容时，处理器108可以可选地考虑场景200中的环境光条件和/或其他相关环境条件(步骤260)，和/或个性化用户信息(步骤262)。处理器108还可以动态地预测未来的用户位置，并且然后确定在预测位置处的前景图像和背景环境之间的潜在不相容状况。动态预测可以基于存储在数据库120中的先前获取的图像和元数据、来自LMU116的数据、以及从图像元数据和/或从外部数据源获得的环境信息，允许改变要被实时地考虑的环境条件(例如，导致在预测位置处的不同颜色属性)。
在步骤266中，当在背景环境的颜色属性和预期前景补充图像的颜色属性之间检测到不相容状况时，以使不相容状况最小化的方式调整前景图像的至少一个视觉参数，并且用已调整的视觉参数将前景图像投影在显示器上。参照图1和图3A，处理器108确定符号220与对象204的图像区域216不相容，因为它们二者都由共同颜色属性(CLR-A)表征，并且生成符号220的视觉改变的形式。符号220的视觉改变可以包括完全地改变颜色或者调整颜色阴影或色调/亮度/饱和度水平。参照图3B，具有不同颜色属性“CLR-C”的更新符号222覆盖在对象204上显示(例如，橙色或黄色符号222，而不是绿色符号220，被覆盖在绿色对象204上)。符号220的可替代的视觉改变包括提供粗体或突出显示的边界。参照图3C，具有粗体或不同颜色的边界区域的更新符号224覆盖在对象204上显示(例如，符号224具有黄色边界同时保持绿色的内部，并且覆盖在绿色对象204上)。符号220的又一可替代的视觉改变包括投影到相对于对象204不同的图像位置。参照图3D，更新的符号226投影在从对象204的中心朝向右上方偏移的偏移位置处，诸如(例如，绿色的)符号226的大部分覆盖在图像区域214的(例如，白色的)背景上显示，而不是覆盖在(例如，绿色的)对象204上显示。视觉改变的符号(222、224、226)可以根据如LOS检测器110所确定的用户102的LOS被投影到显示器106上。
虽然已经描述了所公开主题的一些实施方案，以使得本领域技术人员能够实践本发明，但是前述描述仅仅意在是示例性的。不应将其用于限制所公开主题的范围，该范围应通过参考以下权利要求来确定。

Claims (20)

1.一种用于加强对增强现实呈现的视觉感知的方法，所述方法包括以下步骤：
用位置测量单元检测用户的位置；
用视线检测器检测所述用户的视线(LOS)；
至少基于所检测的位置和所检测的LOS，预测待由所述用户通过透视的头戴式显示器(HMD)观看到的未来背景环境；
预测在对应于所述用户的LOS的背景位置处的所述未来背景环境的至少一个颜色属性；
将在所述背景位置处的所述未来背景环境的所预测的颜色属性与预期前景补充图像的至少一个颜色属性进行比较，所述预期前景补充图像待要被投影到所述HMD上、覆盖在所述背景位置处的所述未来背景环境的视图上；以及
当检测到所述未来背景环境的所述所预测的颜色属性和所述预期前景补充图像的所述颜色属性之间的不相容状况时，以使所述不相容状况最小化的方式调整所述补充图像的至少一个视觉参数，并且用已调整的视觉参数将所述补充图像在所述背景位置处投影在所述HMD上。
2.根据权利要求1所述的方法，其中，预测在背景位置处的所述未来背景环境的至少一个颜色属性的所述步骤是基于至少一个数据源执行的，所述至少一个数据源选自以下组成的列表：
实时捕获的所述背景环境的至少一个当前图像；
所述背景环境的至少一个先前捕获的图像；以及
与所述背景环境相关的环境信息。
3.根据权利要求1所述的方法，其中，所述颜色属性选自以下组成的列表：
亮度；
色调；
饱和度；
色度；
发光度；
光照度；以及
上述的任何组合。
4.根据权利要求1所述的方法，其中，所述不相容状况选自以下组成的列表：
在所述背景位置处的所述前景补充图像和所述未来背景环境之间的对比度不足，如所述用户感知到的；
在所述前景补充图像投影到所述未来背景环境上时所述前景补充图像的颜色外观与所述预期颜色在标称消色差背景上的外观之间的过度差异，如所述用户感知到的；
在所述前景补充图像投影到所述未来背景环境上时所述前景补充图像的外观中的视觉失真，如所述用户感知到的；以及
在所述前景补充图像投影到所述未来背景环境上时所述前景补充图像的至少一个颜色属性的不均匀外观，如所述用户感知到的。
5.根据权利要求1所述的方法，其中，调整至少一个视觉参数的所述步骤包括选自以下组成的列表中的至少一种调整：
改变以下中的至少一个：所述补充图像的至少一部分的预期颜色的亮度、色调和饱和度；
为所述补充图像的至少一部分选择与所述预期颜色不同的颜色；
投影出包围所述补充图像的至少一部分的轮廓；
强调或突出显示所述补充图像的至少一部分；
省略所述补充图像的至少一部分；
改变所述补充图像的形式或类型；
在替代的图像位置处投影所述补充图像的至少一部分；以及
上述的任何组合。
6.根据权利要求1所述的方法，还包括以下步骤：获得用户颜色感知数据，
其中，根据所述用户颜色感知数据确定所述不相容状况。
7.根据权利要求6所述的方法，其中，所述用户颜色感知数据通过选自以下组成的列表中的至少一种技术获得：
人工智能技术，适用于确定用户颜色感知能力；
基于颜色方案组合的模拟的用户反馈，适用于确定用户颜色感知能力；
基于对覆盖在背景环境颜色组合上的先前显示的补充成像的感知的用户反馈；
与所述用户的眼睛或视力相关的物理特征的分析。
8.根据权利要求1所述的方法，还包括定义至少一个颜色属性调整函数的步骤，所述至少一个颜色属性调整函数将背景位置处的背景环境的相应的前景补充图像的视觉改变和与所述视觉改变相关的参数相关联，
其中，根据所述颜色属性调整函数执行所述以使所述不相容状况最小化的方式调整所述补充图像的至少一个视觉参数。
9.根据权利要求8所述的方法，其中，与所述视觉改变相关的所述参数包括选自以下组成的列表中的至少一个参数：
所述用户的地理位置；
所述用户的视线；
时间或日期；
环境光照；
天气或气候条件；
基于用户评级的所述视觉改变的定性指示；以及
基于所述处理器进行的图像分析的所述视觉改变的定性指示。
10.一种用于加强对增强现实呈现的视觉感知的系统，所述系统包括：
由用户佩戴的透视的头戴式显示器(HMD)，所述HMD被配置成使所述用户能够观看背景环境，并且显示覆盖于所述背景环境的视图上的前景成像；
位置测量单元，所述位置测量单元被配置成检测所述用户的位置；
视线检测器，所述视线检测器被配置成检测所述用户的视线(LOS)；以及
处理器，所述处理器与所述HMD、所述位置测量单元以及所述视线检测器耦接，所述处理器被配置成至少基于所检测的位置和所检测的LOS，预测待由所述用户通过所述HMD观看到的未来背景环境，所述处理器还被配置成预测在与所述用户的LOS对应的背景位置处的所述未来背景环境的至少一个颜色属性，所述处理器还被配置成将在所述背景位置处的所述未来背景环境的所预测的颜色属性与预期前景补充图像的至少一个颜色属性进行比较，所述预期前景补充图像待要投影在所述HMD上、覆盖在所述背景位置处的所述未来背景环境的视图上，以及当检测到所述未来背景环境的所述所预测的颜色属性和所述预期前景补充图像的所述颜色属性之间的不相容状况时，所述处理器还被配置成以使所述不相容状况最小化的方式调整所述补充图像的至少一个视觉参数，使得用已调整的视觉参数将所述补充图像在所述背景位置处投影在所述HMD上。
11.根据权利要求10所述的系统，还包括：与所述处理器耦接的至少一个摄像机，所述摄像机被配置成捕获所述背景环境的当前图像，
其中，所述处理器被配置成基于所述当前图像中的至少一个预测所述背景位置处的所述未来背景环境的所述至少一个颜色属性。
12.根据权利要求10所述的系统，还包括：
数据库，所述数据库包括先前捕获的现实世界环境的图像，
其中，所述处理器被配置成基于从所述数据库检索的所述背景环境的至少一个先前捕获的图像预测所述背景位置处的所述未来背景环境的所述至少一个颜色属性。
13.根据权利要求10所述的系统，其中，所述视线检测器选自以下组成的列表：
头部跟踪器，所述头部跟踪器被配置成检测所述用户的至少头部取向；以及
眼睛跟踪器，所述眼睛跟踪器被配置成检测所述用户的眼睛注视方向。
14.根据权利要求10所述的系统，其中，所述颜色属性选自以下组成的列表：
亮度；
色调；
饱和度；
色度；
发光度；
光照度；以及
上述的任何组合。
15.根据权利要求10所述的系统，其中，所述视觉参数通过选自以下组成的列表中的方式被调整：
改变以下中的至少一个：所述补充图像的至少一部分的预期颜色的亮度、色调和饱和度；
为所述补充图像的至少一部分选择与所述预期颜色不同的颜色；
投影出围绕所述补充图像的至少一部分的轮廓；
强调或突出显示所述补充图像的至少一部分；
省略所述补充图像的至少一部分；
改变所述补充图像的形式或类型；
在替代的图像位置处投影所述补充图像的至少一部分；以及
上述的任何组合。
16.根据权利要求10所述的系统，其中，所述不相容状况选自以下组成的列表：
在所述背景位置处的所述前景补充图像和所述未来背景环境之间的对比度不足，如所述用户感知到的；
在所述前景补充图像投影到所述未来背景环境上时所述前景补充图像的颜色外观与所述预期颜色在标称消色差背景上的外观之间的过度差异，如所述用户感知到的；
在所述前景补充图像投影到所述未来背景环境上时所述前景补充图像的外观中的视觉失真，如所述用户感知到的；以及
在所述前景补充图像投影到所述未来背景环境上时所述前景补充图像的至少一个颜色属性的不均匀外观，如所述用户感知到的。
17.根据权利要求10所述的系统，还包括至少一个数据源，所述至少一个数据源被配置成获得与所述背景环境相关的环境信息，
其中，所述处理器被配置成基于所述环境信息预测在所述背景位置处的所述未来背景环境的所述至少一个颜色属性。
18.根据权利要求10所述的系统，所述处理器还被配置成定义至少一个颜色属性调整函数，所述颜色属性调整函数将背景位置处的背景环境的相应的前景补充图像的视觉改变和与所述视觉改变相关的参数相关联，
其中，所述处理器被配置成根据所述颜色属性调整函数以使所述不相容状况最小化的方式调整所述补充图像的所述视觉参数。
19.根据权利要求12所述的系统，其中，所述数据库包括三维(3D)地理模型。
20.根据权利要求12所述的系统，其中，所述数据库是自适应数据库，所述数据库被配置成根据更新的与所述现实世界环境相关的信息更新所述先前捕获的图像。
CN201580076060.4A 2014-12-14 2015-12-13 所显示彩色符号表示的视觉感知加强 Pending CN107250728A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL236243 2014-12-14
IL236243A IL236243A (en) 2014-12-14 2014-12-14 Visual enhancement of color icons is shown
PCT/IL2015/051206 WO2016098102A1 (en) 2014-12-14 2015-12-13 Visual perception enhancement of displayed color symbology

Publications (1)

Publication Number Publication Date
CN107250728A true CN107250728A (zh) 2017-10-13

Family

ID=54347954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580076060.4A Pending CN107250728A (zh) 2014-12-14 2015-12-13 所显示彩色符号表示的视觉感知加强

Country Status (8)

Country Link
US (1) US10126554B2 (zh)
EP (1) EP3230693B1 (zh)
JP (1) JP6751401B2 (zh)
CN (1) CN107250728A (zh)
BR (1) BR112017012719B1 (zh)
CA (1) CA2970894C (zh)
IL (1) IL236243A (zh)
WO (1) WO2016098102A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132712A (zh) * 2018-01-12 2018-06-08 网易（杭州）网络有限公司 虚拟场景中天气状态的呈现方法、装置及存储介质和终端
CN108492757A (zh) * 2018-03-30 2018-09-04 厦门天马微电子有限公司 投射显示装置的驱动方法、驱动单元及投射显示装置
CN109074685A (zh) * 2017-12-14 2018-12-21 深圳市大疆创新科技有限公司 用于调整图像的方法、设备、系统和计算机可读存储介质
CN109960036A (zh) * 2017-12-14 2019-07-02 现代自动车株式会社 用于控制车辆的显示的设备和方法、以及车辆系统
CN110033521A (zh) * 2019-04-01 2019-07-19 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
CN112074863A (zh) * 2018-06-07 2020-12-11 鲍里斯·帕维奇 用于艺术品图像的高保真显示的系统和方法
CN112859333A (zh) * 2019-11-08 2021-05-28 徕卡仪器（新加坡）有限公司 光学系统以及对应的装置、方法和计算机程序

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924057B (zh) * 2015-07-03 2020-12-22 依视路国际公司 用于增强现实的方法和系统
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
JP6721039B2 (ja) 2016-04-07 2020-07-08 Ａｇｃ株式会社 合わせガラス
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
JP6717093B2 (ja) * 2016-07-15 2020-07-01 Ａｇｃ株式会社 合わせガラス
CN106331681A (zh) * 2016-08-22 2017-01-11 石惠卿 一种头戴显示器的图像显示方法
CN107944781A (zh) * 2016-10-12 2018-04-20 菜鸟智能物流控股有限公司 提供存放对象提示信息的方法及装置
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
IL250081B (en) 2017-01-11 2019-07-31 Livneh Ofer An augmented reality display that reflects characteristics that affect visibility in the real world environment
KR102393751B1 (ko) * 2017-04-27 2022-05-03 현대모비스 주식회사 Hud 컨텐츠 시인성 강화 방법 및 장치
US10937216B2 (en) * 2017-11-01 2021-03-02 Essential Products, Inc. Intelligent camera
CN108154864B (zh) * 2017-12-22 2020-02-21 联想(北京)有限公司 显示屏处理方法、第一电子设备以及第二电子设备
US11263256B2 (en) * 2018-05-31 2022-03-01 Microsoft Technology Licensing, Llc Distributed computing system with a synthetic data as a service frameset package store
TWI690748B (zh) 2018-07-23 2020-04-11 財團法人工業技術研究院 透明顯示系統及其操作方法
US10565961B1 (en) 2018-07-25 2020-02-18 Honeywell International Inc. Dynamic contrast equalization for see through displays in varying light conditions
US11922636B2 (en) * 2018-10-09 2024-03-05 Google Llc Placing augmented reality objects in an image based on device position
CN111127537A (zh) * 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
US11222427B2 (en) * 2018-10-31 2022-01-11 Wind River Systems, Inc. Image compression
GB2581573B (en) * 2018-12-19 2022-01-12 Bae Systems Plc Method and system for adjusting luminance profiles in head-mounted displays
KR102629149B1 (ko) * 2019-01-03 2024-01-26 삼성전자주식회사 외부 광에 따라 디스플레이의 특성을 변경하는 전자 장치 및 방법
US11022322B2 (en) * 2019-01-04 2021-06-01 Whirlpool Corporation Cooking appliance with an imaging device
US11263783B2 (en) 2019-06-27 2022-03-01 Greg BORKMAN Color prediction using machine learning
US10939034B2 (en) * 2019-07-08 2021-03-02 Varjo Technologies Oy Imaging system and method for producing images via gaze-based control
CN110632821A (zh) * 2019-09-23 2019-12-31 吉林工程技术师范学院 一种基于平面和建模为一体的环境设计创作台
US11238662B2 (en) * 2019-09-25 2022-02-01 Apple Inc. Optimal luminance mapping for augmented reality devices
US11892632B2 (en) 2019-11-25 2024-02-06 Apple Inc. Modifying display operating parameters based on light superposition from a physical environment
US11935503B1 (en) * 2020-05-28 2024-03-19 Apple Inc. Semantic-based image mapping for a display
WO2023007220A1 (en) * 2021-07-28 2023-02-02 Harman International Industries, Incorporated Overlay adaptation for visual discrimination
EP4202617A4 (en) * 2021-11-06 2023-12-20 Samsung Electronics Co., Ltd. PORTABLE DEVICE, METHOD, AND NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIUM FOR DISPLAYING MULTIMEDIA CONTENT
US20230368435A1 (en) * 2022-05-16 2023-11-16 Apple Inc. Changing Display Rendering Modes based on Multiple Regions
US20240037698A1 (en) * 2022-07-27 2024-02-01 Rockwell Collins, Inc. Head-frame symbology isolation for head worn display (hwd)
US11762205B1 (en) * 2022-09-20 2023-09-19 Rockwell Collins, Inc. Method for creating uniform contrast on a headworn display against high dynamic range scene

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057280A1 (en) * 2000-11-24 2002-05-16 Mahoro Anabuki Mixed reality presentation apparatus and control method thereof
US20110066262A1 (en) * 2008-01-22 2011-03-17 Carnegie Mellon University Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
WO2012101778A1 (ja) * 2011-01-26 2012-08-02 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
CN103177470A (zh) * 2011-12-21 2013-06-26 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
US20130231857A1 (en) * 2012-03-05 2013-09-05 Nokia Corporation Method and apparatus for triggering conveyance of guidance information
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
CN103561223A (zh) * 2013-09-05 2014-02-05 苏州佳世达光电有限公司 根据显示背景进行投影的方法及系统
US20140132484A1 (en) * 2012-11-13 2014-05-15 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
WO2014094881A1 (en) * 2012-12-21 2014-06-26 Metaio Gmbh Method for representing virtual information in a real environment

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809741B1 (en) 1999-06-09 2004-10-26 International Business Machines Corporation Automatic color contrast adjuster
US7136525B1 (en) * 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
US7184063B2 (en) 2004-09-01 2007-02-27 Microsoft Corporation Adaptive color schemes
JP4882285B2 (ja) 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
DE102005033641A1 (de) * 2005-07-19 2007-01-25 Robert Bosch Gmbh Anzeigevorrichtung
KR101266198B1 (ko) 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
JP5216834B2 (ja) 2010-11-08 2013-06-19 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置及びオブジェクト表示方法
US20120127198A1 (en) 2010-11-22 2012-05-24 Microsoft Corporation Selection of foreground characteristics based on background
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
KR101793628B1 (ko) 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US10223831B2 (en) * 2012-08-30 2019-03-05 Atheer, Inc. Method and apparatus for selectively presenting content
JP2014172406A (ja) 2013-03-05 2014-09-22 Funai Electric Co Ltd ヘッドアップディスプレイ装置、ヘッドアップディスプレイ装置の表示方法およびヘッドアップディスプレイ装置のプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057280A1 (en) * 2000-11-24 2002-05-16 Mahoro Anabuki Mixed reality presentation apparatus and control method thereof
US20110066262A1 (en) * 2008-01-22 2011-03-17 Carnegie Mellon University Apparatuses, Systems, and Methods for Apparatus Operation and Remote Sensing
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
WO2012101778A1 (ja) * 2011-01-26 2012-08-02 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
CN103177470A (zh) * 2011-12-21 2013-06-26 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
US20130231857A1 (en) * 2012-03-05 2013-09-05 Nokia Corporation Method and apparatus for triggering conveyance of guidance information
CN103472909A (zh) * 2012-04-10 2013-12-25 微软公司 用于头戴式、增强现实显示器的逼真遮挡
US20140132484A1 (en) * 2012-11-13 2014-05-15 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
WO2014094881A1 (en) * 2012-12-21 2014-06-26 Metaio Gmbh Method for representing virtual information in a real environment
CN103561223A (zh) * 2013-09-05 2014-02-05 苏州佳世达光电有限公司 根据显示背景进行投影的方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074685A (zh) * 2017-12-14 2018-12-21 深圳市大疆创新科技有限公司 用于调整图像的方法、设备、系统和计算机可读存储介质
CN109960036A (zh) * 2017-12-14 2019-07-02 现代自动车株式会社 用于控制车辆的显示的设备和方法、以及车辆系统
CN109074685B (zh) * 2017-12-14 2021-02-26 深圳市大疆创新科技有限公司 用于调整图像的方法、设备、系统和计算机可读存储介质
US11238834B2 (en) 2017-12-14 2022-02-01 SZ DJI Technology Co., Ltd. Method, device and system for adjusting image, and computer readable storage medium
CN109960036B (zh) * 2017-12-14 2022-05-13 现代自动车株式会社 用于控制车辆的显示的设备和方法、以及车辆系统
CN108132712A (zh) * 2018-01-12 2018-06-08 网易（杭州）网络有限公司 虚拟场景中天气状态的呈现方法、装置及存储介质和终端
CN108492757A (zh) * 2018-03-30 2018-09-04 厦门天马微电子有限公司 投射显示装置的驱动方法、驱动单元及投射显示装置
CN108492757B (zh) * 2018-03-30 2021-10-08 厦门天马微电子有限公司 投射显示装置的驱动方法、驱动单元及投射显示装置
CN112074863A (zh) * 2018-06-07 2020-12-11 鲍里斯·帕维奇 用于艺术品图像的高保真显示的系统和方法
CN110033521A (zh) * 2019-04-01 2019-07-19 重庆固成未来教育科技有限公司 一种基于vr与ar技术的三维可视化系统
CN112859333A (zh) * 2019-11-08 2021-05-28 徕卡仪器（新加坡）有限公司 光学系统以及对应的装置、方法和计算机程序

Also Published As

Publication number Publication date
BR112017012719A2 (pt) 2018-03-13
BR112017012719B1 (pt) 2022-07-05
EP3230693A1 (en) 2017-10-18
IL236243A (en) 2016-08-31
US10126554B2 (en) 2018-11-13
JP6751401B2 (ja) 2020-09-02
CA2970894A1 (en) 2016-06-23
IL236243A0 (en) 2015-04-30
CA2970894C (en) 2018-04-24
EP3230693A4 (en) 2018-09-05
US20170343809A1 (en) 2017-11-30
EP3230693B1 (en) 2020-08-12
WO2016098102A1 (en) 2016-06-23
JP2018503198A (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
US10495884B2 (en) Visual perception enhancement of displayed color symbology
US10126554B2 (en) Visual perception enhancement of displayed color symbology
US9995936B1 (en) Augmented reality systems having a virtual image overlaying an infrared portion of a live scene
US10510137B1 (en) Head mounted display (HMD) apparatus with a synthetic targeting system and method of use
CA3049846C (en) Augmented reality display reflective of visibility affecting features in real-world environment
JP6672326B2 (ja) 異なる照明条件下でのイメージングのためのデュアルモード照明器
US9323055B2 (en) System and method to display maintenance and operational instructions of an apparatus using augmented reality
US8467598B2 (en) Unconstrained spatially aligned head-up display
US9615067B1 (en) Head mounted digital viewing system
US20170228878A1 (en) Method and system for image georegistration
US20120120070A1 (en) System and method to display maintenance and operational instructions of an apparatus using augmented reality
CN110168616A (zh) 增强现实显示器中的叠加对比度控制
CN107250882A (zh) 用于头戴式计算的电源管理
US9177204B1 (en) Spectrally enhanced vision system for low visibility operations
CN106104667B (zh) 具有光透射率的选择可控制区域的挡风玻璃及其控制方法
US20210019942A1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
Nicholl Airline head-up display systems: human factors considerations
US11703354B2 (en) Video display system and method
JPH07323899A (ja) 航空機パイロットに示される人工イメージを対応する実イメージで置き換える装置
US20210325675A1 (en) System and method for providing increased sensor field of view
US20240192503A1 (en) System and method for holographic laser backlight
US20240176150A1 (en) Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience via an intensity controllable xr display panel
Hogervorst et al. NVG-the-Day: towards realistic night-vision training
Shabaneh Probability Grid Mapping System for Aerial Search (PGM)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171013

RJ01 Rejection of invention patent application after publication