CN107306332B - 闭塞直接视图增强现实系统、计算设备及方法 - Google Patents

闭塞直接视图增强现实系统、计算设备及方法 Download PDF

Info

Publication number
CN107306332B
CN107306332B CN201611004861.2A CN201611004861A CN107306332B CN 107306332 B CN107306332 B CN 107306332B CN 201611004861 A CN201611004861 A CN 201611004861A CN 107306332 B CN107306332 B CN 107306332B
Authority
CN
China
Prior art keywords
attenuation
display layer
pattern
graphic
emissive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611004861.2A
Other languages
English (en)
Other versions
CN107306332A (zh
Inventor
G·S·P·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN107306332A publication Critical patent/CN107306332A/zh
Application granted granted Critical
Publication of CN107306332B publication Critical patent/CN107306332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/023—Display panel composed of stacked panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于闭塞直接视图增强现实系统的图像补偿。在一个或多个实施例中，增强现实装置包括发射显示层，用于向用户的眼睛呈现发射图形；和衰减显示层，用于在发射显示层和真实世界场景之间呈现衰减图形以阻挡来自发射图形的真实世界场景的光。亮区补偿模块基于观看者的眼睛的属性(诸如瞳孔的大小)来扩张衰减图形，以产生阻挡附加的光的扩展衰减图形以补偿非预期亮区。暗区补偿模块掩盖具有发射显示层中的复制图形的非预期暗区，该复制图形再现非预期暗区中的真实世界场景的外观。相机提供用于生成复制图形的光数据。

Description

闭塞直接视图增强现实系统、计算设备及方法
技术领域
本公开的实施例涉及闭塞直接视图增强现实系统的图像补偿。
背景技术
增强现实对于提供与人的当前环境相关的信息而言是很有希望的。利用增强现实，将视觉图像添加到人当前正在观看的环境的场景中。视觉图像是由计算机生成并且被添加到真实世界场景的合成图形图像(以下还被称为“合成图形”)。例如，合成图形可以被覆盖或叠加在真实世界场景的前面。合成图形还可以被插入到真实世界场景中，使得合成图形的所插入的视觉图像看起来在视场中的某一深度处部分地在真实世界对象后面。通过精细编排插入合成图形，合成图形可以看起来与真实世界场景集成在一起，这可以提供增加的真实性或者使得注释不会阻挡重要的视觉方面，但仍清楚地指示什么可见对象正在被注释。
合成图形可以是有帮助的、幽默的、娱乐的等等。例如，增强现实系统可以在街道上或走廊下方显示方向箭头和文本说明，以帮助人导航到所请求的目的地。在另一示例中，汽车零件的推荐公差或详细的安装说明被显示以帮助汽车修理工。在又一示例中，增强现实系统可以将所计划的结构重建结果或新家具的引入投影到建筑物的内部的真实世界视图中。合成图形可以进一步用于娱乐，诸如，显示有趣的评论或最近的社交媒体通信，例如，在朋友和同事的头上。在另一示例中，电子“伙伴”可以被引入到儿童的周围空间中以充当玩伴、导师或指导者。因此，增强现实有可能通过使得合成图形能够添加到真实世界场景中来积极影响许多生活领域。
增强现实系统可以以多种方式配置。例如，增强现实系统可以被配置为设置在用户眼睛前面的眼镜、覆盖眼睛的护目镜、另一类型的头戴式显示器、显示屏、视频投影仪、或它们的某种组合。这些系统还包括结合真实世界场景生成用于视觉呈现的合成图形的功能性。
增强现实系统通常被构建为两种主要类型中的一种：支持直接视图的透视系统、或支持间接视图的相机介导系统。对于前一类型的系统，人通过呈现合成图形的显示屏来观看，并且还可以直接观看设置在显示屏后面的真实世界场景。对于后一类型的系统，人查看显示屏以看到如在显示屏上共同呈现的合成图形和真实世界场景两者。对于两种类型的增强现实系统，建立一些途径以将合成图形与真实世界场景合成以创建合成视图。遗憾的是，若干种技术障碍妨碍了用直接观察途径或相机介导途径来实现增强现实的全部潜能。
对于相机介导增强现实系统，人的视野通常被约束到呈现通过使用相机捕获的世界的单层显示屏，但是显示屏从观看显示屏的人的眼睛的视角看对真实世界物理上是不透明的。换句话说，人的视野是间接的，因为人不接收源自真实世界的光。相反，具有图像传感器的相机暴露于真实世界场景，并且一个或两个小型显示屏通过管道传输来自相机的图像传感器的数据来显示真实世界场景。相机介导增强现实系统类似于通过现代摄像机的取景器观察，其中液晶显示(LCD)屏幕呈现了当照明或聚焦指示在正在被记录的场景上叠加时，摄像机的图像传感器当前“看到”的视图。
因此，因为真实世界场景和合成图形的组合以电子方式执行，然后一起显示在单层显示屏上，所以相机介导增强现实系统允许精确合成。遗憾的是，由于相机的分辨率和延迟约束、图像处理部件以及显示屏本身的限制，所以相机介导系统降低了人对真实世界环境的视野。如果系统经历电源故障，则相机介导增强现实系统也变得黑暗并且完全不透明。
相反，对于直接视图增强现实系统，人的眼睛暴露于源自真实世界对象的光线。直接视图系统包括显示屏，该显示屏具有被配置成插入在人的眼睛和如直接观看的真实世界场景之间的一个或多个显示层。用于至少部分透视的显示屏的显示层的示例是发射显示层。发射显示层可以主要对于源自真实世界对象的光而言是透明的，但是发射显示层还可以选择性地呈现足够不透明以便人眼可辨别的图像。因此，直接视图增强现实系统使用并入到一个或多个显示层中的先进光学器件，以在如叠加在真实世界场景上的观看者前方的固定距离处创建透明显示器的错觉。因为真实世界对象被直接观察，所以以最小的延迟看到真实世界。
遗憾的是，直接视图增强现实系统也存在许多缺点，诸如窄视场。更进一步地，添加到真实世界场景的合成图形经受显示子系统的分辨率约束，该显示子系统可以包括显示屏的多个显示层以及相关联的处理能力。附加地，一旦合成图形由直接视图增强现实系统叠加，人正确聚焦在合成图形上的能力可能受到人眼的解剖特征的影响。例如，以使眼睛和头脑将合成图形定位在真实世界视图中的期望深度处的方式呈现合成图形是困难的。当人的眼睛和大脑试图将源自眼睛大约一英寸的光与源自距离人几十、几百或更多英尺的真实世界对象的光组合时，这是特别的如此。
为了便于特写合成图形和远距离真实世界对象的精确合成，自由形态光学棱镜透镜可以用作直接视图增强现实系统中的显示屏的显示层。自由形态光学棱镜透镜呈现具有适当聚焦线索的合成图形，以帮助人看到所显示的合成图形，而没有模糊性并且在视场中的预期深度。可以采用集成的轻重量眼睛跟踪来估计人的眼睛当前聚焦在哪里或聚焦在什么对象上以确定焦深。
然而，具有挑战性的问题仍然是将闭塞合成图形引入到直接视图增强现实系统。添加到真实世界场景的合成图形遮挡了人对一个或多个真实世界对象的视野。尽管闭塞合成图形阻挡了一些真实世界对象的视图，但是闭塞合成图形仍然是期望的，因为图形向人提供信息，诸如真实世界场景中的对象的描述或其它注释。另一方面，使人分心的图像伪影是不期望的。直接视图增强现实系统仍旧是有问题的，因为这样的系统与闭塞合成图形的呈现结合产生使人分心的图像伪影。图像伪影的示例是围绕所显示的合成图形的暗光晕。这种图像伪影由多个透视显示层、源自真实世界场景的光、或多个层与入射光的相互作用来产生。
至少从光学角度来看，用于将闭塞合成图形引入到真实世界场景的一种相对简单的方法利用了LCD层的常规叠层。LCD层的叠层可以衰减真实世界并且在前景中提供合成图形以及适当的聚焦线索。遗憾的是，这种设备具有低空间分辨率，并且需要计算昂贵的优化处理来显示合成图形。而且，对于堆叠的LCD层来获得角分辨率，LCD 层的分辨率被增加。但是，由于衍射效应，足够高分辨率的LCD层可以模糊真实世界的透射视图。采用堆叠在彼此顶部上的三个这种 LCD层进一步加剧了这个问题。附加地，如果使用LCD层的常规叠层来衰减人对周围环境的视野以支持观看合成图形，则在合成图形周围可见到暗光晕。已经提出了备选光学系统，但是备选光学系统既庞大又复杂。备选方案还影响增强现实系统的其它期望方面，诸如良好的对比度。
发明内容
描述了用于闭塞直接视图增强现实系统的图像补偿。增强现实装置包括具有选择性透明的两个显示层的显示屏。当两个显示层均是透明的时，用户可以看穿两个层以直接观看真实世界场景。然而，当层中的一个或两个层正在显示合成图形时，所显示的图形闭塞了用户对真实世界场景的视野的至少一部分，并且这些闭塞可能产生不期望的图像伪影。两种类型的使人分心的不期望的图像伪影是非预期亮区和非预期暗区。
在一个所描述的方面中，直接视图增强现实装置补偿非预期亮区。在另一所描述的方面中，直接视图增强现实装置补偿非预期暗区。对于所描述的两方面，增强现实装置包括具有发射显示层和衰减显示层的显示屏，以呈现合成图形。在操作中，发射显示层呈现显示给用户眼睛的发射图形，并且包括一些信息内容。衰减显示层位于发射显示层和真实世界场景之间，并且呈现衰减(例如，基本上阻挡)源自真实世界场景的光的衰减图形。发射图形或衰减图形可以分别使用指示待被激活而不是对光透明的发射显示层或衰减显示层的面积的强度图(map)或蒙板(matte)来准备或呈现。
如果源自真实世界场景的光清除(例如，看起来褪色)由发射显示层呈现的发射图形的至少一部分，则非预期亮区是可见的。比如，根据负责阻挡入射光的对应的衰减图形的大小，可以在发射图形的边界处产生内部亮光晕。为了补偿非预期亮区，亮区补偿模块扩张衰减图形以扩展衰减图形的大小。在操作中，亮区补偿模块基于用户的眼睛的属性(诸如眼睛的瞳孔的半径)来扩张衰减图形。卷积滤波器可以使用眼睛属性来调谐并且被应用以产生扩展衰减图形。增强现实装置从用户的角度来看在发射图形后面显示扩展衰减图形。扩展衰减图形的显示会补偿否则对于用户可见的非预期亮区。
如果衰减图形阻挡太多光，诸如在从用户的眼睛的视角来看没有被对应的发射图形覆盖的区域中，则非预期暗区是可见的。比如，如果对应的衰减图形延伸超过发射图形，则可以在发射图形的边界处产生外部暗光晕。为了补偿非预期暗区，暗区补偿模块使用发射显示层来增亮暗区。在操作中，暗区补偿模块使用相机来获得代表源自真实世界场景的光的数据。该光数据用于创建复制图形，该复制图形再现对于非预期暗区的真实世界场景的外观。进一步地，可以通过散焦用于扩展衰减图形的衰减蒙板对复制图形的创建进行微调来把由离焦到用户的眼睛的衰减图形而产生的透镜模糊考虑在内。增强现实装置使用发射显示层以在与发射图形的边缘接壤的区域中呈现复制图形，其中扩展衰减图形延伸超过发射图形的边缘。复制图形的显示通过在用户不可见的非预期暗区的区域中再现真实世界场景的外观来补偿非预期暗区。
本发明内容以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。如此，本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
参照附图，呈现了具体实施方式。
图1图示了可操作以实现用于闭塞直接视图增强现实系统的图像补偿的示例实施例的环境。
图2描绘了被合成到补偿图像视图中的真实世界场景和遮挡合成图形的模拟图像的示例。
图3图示了具有透视发射显示层和衰减显示层的增强现实装置的示例。
图4A和图4B图示了如果发射显示层在没有衰减显示层的情况下操作所导致的第一视觉合成问题。
图5A和图5B图示了由衰减显示层的简单明了的实现方式产生的第二视觉合成问题。
图6图示了包括亮区补偿模块和暗区补偿模块的图像补偿模块的示例。
图7图示了用于显示发射图形和衰减图形的示例方面。
图8示意性地图示了扩张锐(sharp)衰减图形以产生扩展衰减图形的示例途径。
图9图示了与使用瞳孔的半径来确定用于扩张衰减图形的因子有关的多个物理特点的示例。
图10图示了可以由扩大衰减图形使得不期望的暗区可见而产生的问题。
图11图示了用于调整衰减蒙板以考虑离焦衰减图形的示例方面。
图12A和图12B图示了用于使用复制掩模和由相机检测到的光来生成复制图形的示例方面。
图13示出增强合成图像视图的增强现实设备的示意图。
图14图示了增强现实装置的图像补偿模块对于闭塞图形的图像补偿的示例结果。
图15是图示了根据一个或多个示例实施例的示例过程的流程图。
图16A和图16B图示了由未对准产生的模拟合成图像视图的两个示例。
图17A和图17B图示了由于过高估计图像模糊的效果而产生的模拟合成图像视图的两个示例。
图18A和图18B图示了由于过低估计图像模糊的效果而产生的模拟合成图像视图的两个示例。
图19A和图19B图示了由用户聚焦在与背景的深度不同的深度处而产生的模拟合成图像视图的两个示例。
图20图示了由用户聚焦在背景的深度处而产生的模拟合成图像视图的示例。
图21图示了可用于闭塞直接视图增强现实系统的图像补偿的实施例的示例系统或设备。
具体实施方式
概述
与依赖于相机介导间接视图增强现实系统相比较，直接视图增强现实系统具有较低延迟并且提供与真实世界的更真实的交互，以及真实世界的更自然的观看体验。遗憾的是，实现直接视图增强现实系统提出了一组不同的挑战。例如，以使得眼睛和大脑能够在真实世界视图的预期深度解释合成内容的方式显示合成图形是困难的。这更是特别如此，因为眼睛和大脑试图聚焦于并且结合源自远离眼睛许多米的光线与源自仅仅几毫米远的光线。这些距离是彼此不同的数量级，并且不同的距离使得创建相对无缝的非模糊的合成视图成为问题。进一步地，因为创建了图像伪影，所以来自真实世界对象的光线可以以干扰用户正确地看到任一个的能力的方式与合成图形的光线相互作用，反之亦然。比如，在将合成图形与真实世界对象合成的图像视图中，比期望或预期更暗或更亮的区域可以对于用户而言在视觉上是明显的。
本文公开了一种用于为观看用户提供图像补偿的直接视图增强现实系统的技术。直接视图增强现实系统包括放置在用户的眼睛和真实世界场景之间的发射显示层和衰减显示层。该技术有利地补偿了由用户的眼睛、真实世界对象、以及直接视图增强现实系统的显示层之间的交互所产生的不期望的图像伪影。在现有系统中，使用三个或更多个堆叠的LCD层来解决不期望的图像伪影，其由于衍射效应，操作在计算上是昂贵的并且更可能模糊真实世界场景的透射视图。这里，该技术可以通过调整在每层上显示什么内容来使用少于三个LCD 层来补偿不期望的图像伪影。
通常，代替采用三个或更多个堆叠的LCD层，用于增强现实系统的显示屏可以使用单个显示层，诸如发射显示层。然而，如果利用仅具有发射显示层的显示屏，则真实世界场景的明亮背景可以清除由发射显示层呈现的合成图形的外观。为了解决清除效应，衰减显示层被包括作为发射显示层和真实世界场景之间的第二层。发射显示层呈现发射图形，诸如警报指示符或指令符号，以向真实世界场景添加信息。衰减显示层在发射图形后面呈现离焦闭塞图形(在本文中被称为“衰减图形”)，以防止来自真实世界场景的光清除发射图形。遗憾的是，发射图形和相同大小的衰减图形的所得的组合可以产生如用户的眼睛所看到的图像伪影。例如，组合呈现用户可见的非预期亮区和非预期暗区。比如，内亮光晕和外暗光晕出现在发射图形的边界区域周围。
为了解决由于将闭塞合成图形引入到直接视图增强现实显示器而产生的图像伪影的视觉效果，描述了用于补偿这种图像伪影的装置和技术。使用这里公开的增强现实装置，其包括具有两个显示层和一个或多个相关联的技术的显示屏，有利地改善了不期望的亮区或不期望的暗区的外观。在示例实现方式中，离焦闭塞衰减图形支持添加到真实世界场景的发射图形的观看。离焦衰减图形可以以相对低的分辨率来实现，并且这种较低的分辨率有利地减少了衍射效应，否则这些衍射效应可能导致通过透明显示层看到真实世界的直接视图的模糊。
在一些实施例中，所公开的技术包括采用用于改善具有不期望的照明水平的区域的技术的图像补偿模块。该图像补偿模块包括亮区补偿模块或暗区补偿模块。亮区补偿模块和暗区补偿模块可以单独地或协同地一起使用。通常，亮区补偿模块修改用于衰减显示层的透明度蒙板，以防止不需要的光通过显示器。该修改通过考虑用户的瞳孔直径的计算来实现。暗区补偿模块通过向前景添加足够的光以补偿衰减的背景来防止背景显得太暗。这牵涉到使用前向相机来估计从背景到达的光。所得的基于相机的前景图像(其在本文中被称为复制图像) 与发射图形一起被呈现在发射显示层中以补偿不期望的暗区。然而，大多数背景仍然由用户直接观看。
更具体地，为了补偿非预期亮区，亮区补偿模块扩张(例如，扩展)衰减图形，以便延伸超过发射图形的边缘。为了确定将衰减图形的边界延伸超出发射图形的边缘多远，采用指示用户的眼睛的属性的值。例如，眼睛的瞳孔的半径用于调谐建立扩展衰减图形的大小的滤波器。由于眼睛的自然聚焦特性，以及发射显示层和衰减显示层的相对定位，扩展衰减图形看起来是离焦的。然而，与非扩展衰减图形相比较，扩展衰减图形衰减来自发射图形的边界周围的更多光。从而，通过明显降低不期望的亮区的可见性以这些方式来补偿非预期亮区 (例如，内亮光晕)。然而，不期望的暗区(例如，外暗光晕)的外观可能变得更加显著。
为了补偿非预期暗区，不管原因如何，暗区补偿模块可以用复制暗区附近的真实世界场景的至少亮度水平的像素来覆盖暗区。如果暗区与外暗光晕相对应，则在发射图形的边缘和衰减图形的边界之间存在区(zone)，其可以是扩展衰减图形。面向外部的相机至少在与该区相对应的附近检测源自真实世界场景的光。暗区补偿模块将所检测到的光转换成复制真实世界场景在非预期暗区中的外观的像素，以生成复制图形。暗区补偿模块将复制图形的复制像素添加到发射图形的复制像素，并且在发射显示层中呈现两者以隐藏不期望的暗区。因此，通过基于真实世界场景在背景中的外观来相当地增亮不期望的暗区，以这些方式来补偿非预期暗区(例如，外暗光晕)。
在以下讨论中，在阐述了一些示例术语之后，描述可以采用本文所描述的技术的示例环境。然后，描述示例性实施例系统、装置和技术，随后描述示例性实施例程序和过程的部分。该程序和过程可以在示例环境和系统以及其它环境中执行。然而，示例程序的执行不限于示例环境，并且示例环境和系统不限于示例程序的执行。
附图(特别地，图1至图14)包括示意图和模拟图像的混合。示意图和模拟图像旨在说明实施例的方面，以使可以清楚地理解相关术语和原理。模拟图像还旨在代表应用所描述的原理的结果的视觉示例。可以通过查看图1的示意图相对于图2的模拟图像来进行示意图与模拟图像的比较。图2、图4A、图5A和图14包括示意图和模拟图像。图15涉及示例程序。图16A至图20示出了附加的模拟图像以便于理解精确度和误差分析部分，其遵循示例程序的描述。最后一部分参照图21描述了可以实现所描述的技术的示例计算设备。
术语示例
本文中所使用的某些术语的示例描述或解释被阐述如下。每个术语适用于本文中所呈现的一个或多个(但不一定是所有的)实施例。使用一个或多个示例进一步阐明一些术语。
“真实世界场景”是指其中用户当前正在实时或接近实时地观看的实际环境的视图。真实世界场景可以与计算机生成的图像形成对比。真实世界场景的示例可以包括与朋友的聚会、足球比赛、山景、儿童的舞蹈独奏等等。可以直接或间接观看真实世界场景。
真实世界场景的“直接视图”是指其中用户的眼睛接收到源自真实世界对象(例如，反射或发出)的光的情况或环境。然而，光线可以穿过一个或多个透明的、半透明或部分不透明的层，诸如LCD层。直接视图可以与间接或相机介导视图形成对比，其中人们使用从相机传感器馈送图像的显示屏来观看真实世界场景。
“图像伪影”是指静止或运动图片的非预期或不期望的方面，其不是该图片的自然部分。图像伪影是可以由于透镜、记录机制、再现技术、添加的合成图形、人类感知、它们的某种组合等引入的图片的可辨别的人工方面。图像伪影的示例可以包括非预期亮区、非预期暗区、透镜耀斑、模糊性、像素化、或它们的组合。
“非预期亮区”是指比预期的或期望的更亮的图像的区域。未被设计为在那里、没有目的或不能准确地指示真实世界场景的较亮区的视觉上明显的亮区可能不是预期的。例如，如果图像的区域比图像的另一区域更亮，但是对应的真实世界区域在亮度上同样不同，则图像的较亮区域可能是非预期亮区。如此明亮以致该区域看起来被清除或难以清楚地看到的区域可能是非预期亮区。
“非预期暗区”是指比预期的或期望的更暗的图像的区域。未被设计在那里、没有目的或不能准确地指示真实世界场景的较暗区域的视觉上明显的暗区可能不是预期的。例如，如果图像的区域比图像的另一区域更暗，但是对应的真实世界区域在暗度上同样不同，则图像的较暗区域可能是非预期暗区。如此暗以致该区域看起来是黑色、深灰色、阴影或难以看到细节的区域可能是非预期暗区。
“发射显示层”是指能够向用户的眼睛呈现发射图形的增强现实装置的层。在两个或更多个层中，发射显示层可以被定位成最靠近用户的眼睛。对于直接视图增强现实装置，发射显示层对源自真实世界场景的入射光而言是透明的。发射显示层适于从多个像素位置发出光或着色，以形成用户可识别的一个或多个发射图形形式的图案、形状或对象。所发出的光可以是有色的。
“衰减显示层”是指能够呈现衰减图形以阻挡来自发射图形的真实世界对象的光的增强现实装置的层。在两个或更多个层中，衰减显示层位于发射显示层和真实世界场景之间。对于直接视图增强现实装置，衰减显示层可以对源自真实世界场景的入射光而言是透明的，或者可以在不同时间或在不同区域变得基本不透明。衰减显示层适于使多个像素位置基本上不透明，以通过阻挡否则可能由于非预期亮区的形成而清除发射图形的光而支持发射图形的观看。如果衰减显示层形成不在发射图形的有源像素之后的不透明区域，则不透明区域可以产生非预期暗区。
“合成图形图像”或“合成图形”是指计算机生成的视觉上可辨别的图、图片、图标等。合成图形图像可以通过由矢量、位图、纹理、三维网格等形成而被计算机创建。附加地或可替代地，合成图形图像可以由计算机处理、修改或存储，并且结合其它图像来应用。合成图形图像的示例可以包括发射图形、衰减图形、复制图形、或它们的组合。
“发射图形”是指在发射显示层处或由发射显示层呈现的计算机生成的图、图片、图标等。发射图形的示例可以包括通知或警报指示符、导航方向或图标、文本评论或指令、动画角色、来自社交媒体馈送的信息、或它们的组合。发射图形可以是静止的或运动的。因为与用作背景的真实世界场景相比较，发射图形被物理地显示在前景中，所以发射图形在本文中可以被称为前景图形。然而，可以渲染发射图形，使得图形与背景合并或集成，比如通过看起来部分地位于真实世界场景的对象后面。如果发射图形不被阻挡背景照明的衰减图形支持，则发射图形可能被背景照明清除或无意地渲染得太亮。
“衰减图形”是指在衰减显示层处或由衰减显示层呈现的图案或形状。衰减图形可以与衰减图形被设计而支持的发射图形相关联。例如，衰减图形可以形成为具有与相关联的发射图形基本上相似的大小和形状。衰减图形基本上是不透明的，使得源自由衰减图形阻挡的真实世界对象的光可以防止在相关联的发射图形的至少一部分上形成非预期亮区。
“复制图形”是指在发射显示层处或由发射显示层呈现的图形。复制图形被生成以再现真实世界场景的外观。例如，复制图形可以模仿特定图像区域中的亮度水平或着色。复制图形可以用于掩盖非预期暗区。可以从指向真实世界场景的相机获得用于向复制图形的像素分配值的数据。
“相机”是指包括能够检测光的传感器的设备或部件。光传感器可以将所检测到的光转换为代表光源的外观或光的起源的数据，诸如真实世界场景。“真实世界场景的外观”是指真实世界场景在视觉上看起来如何。真实世界场景的区域的外观可以一般地涉及特定像素或像素组的亮度水平或着色细节，其中任一者可以用于掩盖非预期暗区。
“眼睛的属性”是指增强现实装置的用户的眼睛的某一方面。该属性可以捕获随时间变化的数量或方面，可以包括变化数量的瞬时快照，可以包括恒定特点等等。示例可以包括指示眼睛的大小、眼睛的注视或移动方向、或眼睛的焦深的值。
“指示眼睛的大小的值”是指眼睛的某一方面的可确定的测量。例如，指示眼睛的大小的值可以与眼睛的瞳孔的半径或者等效地其直径相关。“注视或移动的方向”是指眼睛以什么角度或在什么物体处注视、跟踪或跟踪朝向的地点。“焦深”是指其中一个或两个眼睛正在清晰地渲染可观察到的细节的距离或平面，诸如穿过桌子的人或穿过山谷的山。
还有，除非上下文另有指示，否则本文中所使用的单词“或”可以被认为是使用“包含性或”，或允许包含或应用由单词“或”链接的一个或多个术语的术语(例如，短语“A或B”可以被解释为允许或仅与“A”、仅与“B”或与“A”和“B”相关)。
示例环境
图1示出了用于可操作以采用本文中所描述的涉及用于闭塞直接视图增强现实系统的图像补偿的技术的示例实施例的环境100。如所图示的，示例环境100包括真实世界场景102、发射图形104和合成图像视图106。环境100还包括增强现实装置108、用户110和计算设备112。该计算设备112包括处理系统114和存储器116。存储器 116包括图像补偿模块118。在本部分中进一步描述计算设备112的示例实现方式，并且下文参照图21进一步描述。
在示例实施例中，增强现实装置108被实现为透视直接视图增强现实装置。用户110主要通过接收源自真实世界对象(例如，发出或反射)的光来直接看到真实世界场景102。增强现实装置108能够将至少一个发射图形104添加到真实世界场景102。用户的眼睛和大脑将真实世界场景102和发射图形104组合成表观合成图像视图106。
发射图形104是向用户110提供信息的计算机生成的合成内容。发射图形104可以包括文本、至少一个字符、至少一个符号、至少一种设计、至少一个对象、或它们的某个组合。尽管发射图形104是计算机生成的并且相对于当前真实世界场景102是合成的，但是除了计算机创建的内容之外，发射图形104还可以包括其它真实世界对象的照片、视频、或其部分。换句话说，除了从矢量、具有纹理蒙皮的三维线网、文本字体等导出的计算机创建的图像之外，所显示的发射图形104还可以包括使用相机传感器捕获的那些图像。在本描述的部分中，出于简化清楚的目的，真实世界场景102被称为背景或背景图像，并且发射图形104被称为前景或前景图像。然而，所描述的原理也适用于其中发射图形104被插入在所观看的场景的某个特定深度处并且因此看起来位于背景中的情况。
计算设备112可以被实现为任何合适类型的计算设备。计算设备 112可以与增强现实装置108的观看部分集成或分离。在存在单独集成的一些实施例中，增强现实装置108和计算设备112可以通过有线或无线通信地耦合。进一步地，计算设备112可以被实现为本地附属设备(诸如移动电话或游戏机)或远程附属设备(诸如互联网服务器或车辆计算机)。因此，计算设备112的实现范围可以从具有大量存储器和处理器资源的相对高资源设备(例如，移动电话或远程服务器) 到具有受限存储器或处理资源的相对低资源设备(例如，可穿戴增强现实眼镜)。
计算设备112被图示为包括多种硬件部件，其示例包括处理系统 114、被图示为存储器116的计算机可读存储介质的示例等等。如下文参照图21进一步所描述的，还设想了其它硬件部件。处理系统114 代表通过执行存储在存储器116中的指令来执行操作的功能性。在示例实现中，图像补偿模块118位于计算设备112上或在计算设备112 上执行，诸如通过作为较大的应用(未示出)的一部分，其可以向用户提供增强现实功能。图像补偿模块118代表用于实现如本文中所描述的闭塞直接视图增强现实系统的图像补偿的方案和技术的功能性。图像补偿模块118可以被实现为：在一个或多个处理器上执行并且特别地配置一个或多个处理器的软件包的至少一部分，该处理器可以物理地实现处理系统114；作为硬件装置，其可以被实现为专用集成电路(ASIC)或者被实现为计算设备112；或使用软件、硬件、固件或固定逻辑电路的组合；使用它们的某个组合；等等。硬件和相关联的逻辑的示例在本文中特别参照图21来描述。
图2在200处通常描绘了合成到经补偿的图像视图106中的真实世界场景102和闭塞合成图形的模拟图像的示例。图1的图片被图示为示意图。相比之下，图2的图片被图示为模拟图像。用户110正在通过添加有发射图形104的真实世界场景102处的增强现实装置108来观看，以便产生合成图像视图106。图2的合成图像视图106代表看起来不具有非预期亮区或非预期暗区的补偿图像视图。用于模拟图像的示例真实世界场景102是具有沙子、海洋和有趣的岩层的海滩场景。用于模拟图像的示例发射图形104是振铃状态图标，诸如由来自Cupertino，CA的Apple Inc.的
Figure GDA0002781936470000151
产生的振铃状态图标。
系统和技术
本部分描述了按照一个或多个实施例的用于闭塞直接视图增强现实系统的图像补偿的系统和技术的一些示例细节。
图3示出了具有包括透视发射显示层306和衰减显示层308的示例增强现实装置108的环境300。环境300还包括用户的眼睛302(未示出)和真实世界场景102(图1的)的真实世界对象304。增强现实装置108位于眼睛302和真实世界对象304之间。发射显示层306 位于眼睛302和衰减显示层308之间。衰减显示层308位于发射显示层306和真实世界对象304之间。
多个光线314也在图3中示出。多个光线314源自真实世界对象 304(例如，从真实世界对象304发出或反射)。光线314穿过发射显示层306和衰减显示层308的透明部分，以被眼睛302检测到。在当前不显示图形的区域中，发射显示层306和衰减显示层308可以对光线314而言渲染得透明。这样的透明部分由图7及以下等等所图示的强度图和衰减蒙板来指示。对于眼睛302，存在于发射显示层306 上的图形看起来作为发射显示的虚拟图像312位于离用户一定距离处。
在示例实施例中，衰减显示层308具有比发射显示层306更低的分辨率。尽管来自发射显示层306的显示被如被设计到发射显示层 306中的远程焦距处的眼睛302看到，但是衰减显示层308结合用户眼睛的瞳孔直径由于衰减显示层308定位在发射显示层306后面而被看到离焦。如果衰减显示层308用于直接显示用于发射图形104的 alpha信道或蒙板，则在观察用户的视网膜上形成的所得图像被离焦的衰减显示层308衰减，甚至在世界的视图是对焦时。这可以通过保持手指靠近眼睛同时聚焦在远处的远处对象来体验。闭塞手指的边缘看起来是模糊的，但是对焦的远处对象是鲜明的。下文参照图5A和图5B进一步描述该离焦情况，并且该情况可以用参照图9至图12B 描述的技术来改善。
相机310被示为与增强现实装置108集成。然而，相机310可以与增强现实装置108分离并且经由有线或无线耦合至增强现实装置 108。相机310包括一个或多个传感器，诸如电荷耦合器件(CCD) 或互补金属氧化物半导体(CMOS)图像传感器。在操作中，相机310 检测源自真实世界对象304的光线314，并且产生代表光线314的数据。如下文所描述的，数据可以用于补偿由于在衰减显示层308处呈现的并且阻挡来自眼睛302的对应的光线314的衰减图形而导致的如从眼睛302的视角看到的非预期暗区。
图4A和图4B通常分别在400A和400B处图示了第一视觉合成问题。该第一视觉合成问题由用发射显示层306而没有用衰减显示层操作的增强现实装置来产生。从而，发射图形104被来自真实世界场景的背景照明清除。图4A以剖视侧视图描绘了发射显示层306，其中发射图形104被显示在其中。图4A还图示了示出不期望的图像伪影的两个示例合成图像视图402。具体地，因为背景照明正在清除发射图形104，所以发射图形104被示为过亮，并因此难以看到。示例示意性合成图像视图402在左侧上，并且示例模拟合成图像视图402 在右侧上。图4B提供了模拟合成图像视图402的放大视图。如图4B 所示，发射图形104的被清除的外观是清楚明显的。幸运的是，如图 5A和图5B所示的，在衰减显示层中包括衰减图形可以减少发射图形 104的大量被清除的外观。
图5A和图5B通常分别在500A和500B处图示了第二视觉合成问题。该第二视觉合成问题由用发射显示层306和衰减显示层308的直接实现操作的增强现实装置来产生。这种情况产生了非预期亮区 502和非预期暗区506。这些不期望的图像伪影在两个示例合成图像视图508中示出。图5A还以剖切侧视图描绘了发射显示层306和衰减显示层308。发射显示层306正在显示发射图形104，并且衰减显示层308正在显示衰减图形504。在这个简单明了的实现中，衰减图形504以与发射图形104相同的大小来显示。
衰减图形504确实阻挡了来自发射图形104的大部分的背景照明。这防止背景照明完全清除发射图形104，其作为第一视觉合成问题是图4A和图4B所示的情况。遗憾的是，通过直接包括衰减图形 504产生第二问题。具体地，如图5A和图5B所示，产生具有不期望的外观的区域，诸如非预期亮区502和非预期暗区506。左侧上示出了示例示意性合成图像视图508，并且右侧上示出了示例模拟合成图像视图508。图5B提供了模拟合成图像视图508的放大视图。如图 5B所示，非预期亮区和暗区是清楚明显的。如所图示的，非预期亮区502和非预期暗区506在发射图形104附近产生。例如，非预期亮区502表现为内亮光晕，而非预期暗区506表现为外暗光晕。
这两个光晕(它们是区域502和506的示例)沿着发射图形104 的边界的至少一部分。光晕是由离焦衰减显示层308产生的图像伪影。因为背景没有被离焦衰减显示层308完全遮蔽，所以发射图形104的内边缘可能看起来太亮。更进一步地，因为模糊的衰减层正在模糊了一些不应被衰减的背景，所以超出发射图形104的边界，背景可能看起来太暗。尽管本文中所描述的某些实现方式解决了发射图形104附近的或者表现为其光晕的非预期亮区502或非预期暗区506，但是本文中所描述的原理适用于具有备选原因、位置或形状的非预期亮区和非预期暗区。
图6示出了图像补偿模块118的示例。图像补偿模块118包括合成图形模块602、亮区补偿模块604、暗区补偿模块606和显示模块 608。这些模块中的任何一个或多个模块可以至少部分地在硬件中实现，诸如利用本文中参照图21描述的处理系统和计算机可读存储介质。在示例实施例中，合成图形模块602基于发射图形104来生成发射图形104和衰减图形504的初始版本。亮区补偿模块604通过扩张衰减图形504的初始版本来补偿非预期亮区502以产生(图8的)扩展衰减图形804。扩张基于用户的眼睛的属性，诸如眼睛的瞳孔的半径。图7至图9涉及合成图形模块602和亮区补偿模块604的实现方式。
暗区补偿模块606通过将像素添加到发射显示层306来补偿非预期暗区506，该发射显示层306复制由衰减显示层308阻挡但未被在发射显示层306上显示的像素覆盖的光。例如，可以显示再现被衰减图形504的扩展版本或扩展衰减图形804阻挡的光的复制像素。光复制可能需要仿制真实世界场景102的亮度水平或外观。衰减图形504 或804的离焦性质可以通过在创建定义其中生成复制像素的区的复制蒙板之前散焦或模糊化与衰减图形504或804相对应的衰减蒙板来处理。显示模块608能够控制发射显示层306和衰减显示层308，使得发射图形104、扩展衰减图形804和复制图形的像素被适当地显示。图10至图13涉及暗区补偿模块606和显示模块608的实现方式。
图7通常在700处图示了用于显示发射图形104和衰减图形的示例方面。在图7的上半部分中描绘了发射层的强度图702的示例，并且在下半部分中描绘了锐衰减蒙板704的示例。在其中在(图3的) 发射显示层306中不显示或着色像素的位置中，强度图702是黑色或暗的。因此，合成图形模块602使得强度图702变黑，除了按照预期发射图形104着色的图形104的区域的位置之外。锐衰减蒙板704与发射层的强度图702相对应并且通过基于发射图形104的大小和形状与发射图形104相关联。
用作透明度图的锐衰减蒙板704在其中光将从背景传输的区域中是白色的，在其中没有光将从背景传输的不透明区域中是黑色的，并且对于部分透明区域而言是灰色阴影。锐衰减蒙板704的白色部分指示对入射光线保持透明的部分。前景图形的衰减特点的设计可以与前景图形的发射强度特点的设计一起供应，或者可以基于前景图形的发射强度特点自动创建衰减特点的设计。二者均可以使用图像像素值的阵列来指定，或者经由诸如可能由绘图应用产生的基于矢量的描述来指定。透明层和发射层的确切设计由用于创建图形的合成图形模块 602来确定，并且可以实现前景强度和背景透明度的任何组合。在图 7的上半部分处，发射图形104的边缘706与发射层的强度图702一起被指示。边缘706也在图8中示出。
图8示意性地图示了扩张衰减图形504的示例途径800。该途径 800包括执行扩张810的亮区补偿模块604。在左上角，发射图形104 被描绘为具有边缘706。该合成图形模块602使用发射图形104的大小来建立衰减图形504的大小，其在图8的顶部中间描绘。例如，发射图形104和衰减图形504的大小可以基本相等。换句话说，在给定发射显示层306和衰减显示层308的相对分辨能力的情况下，在某种程度上可行，可以首先使衰减图形504与发射图形104具有相同的大小。如本文中所使用的，术语“衰减图形“或”衰减图形504“可以至少是指衰减图形的初始版本(诸如在扩张810之前)、衰减图形的多个版本(诸如在扩张810之前和之后)、衰减图形的一般概念等等。
合成图形模块602可以以基本上对光线而言是不透明的方式在衰减显示层308上或使用衰减显示层308形成衰减图形504或804。衰减图形504或804可以使用比如实心深色(诸如黑色或灰色)来形成。然而，使用网状图案来描绘衰减图形504和804的示意图，以使得能够与发射图形104的示意图进行视觉区分。衰减图形504和扩展衰减图形804的清晰边界802分别在图8的顶部中间部分和图8的右上角中指示。
在示例实施例中，亮区补偿模块604扩张衰减图形504，使得扩展衰减图形804阻挡更多的背景光通过发射图形104的边缘706附近的显示层。衰减图形的扩张810在图8的右上角图示。亮区补偿模块 604通过将边界802延伸超过发射图形104的边缘706来扩张(例如，放大或扩展)衰减图形504。与发射图形104相比较，扩展衰减图形804包括不与较小的发射图形104共同延伸的区806。该区806在图8 中不一定按比例绘制。还有，尽管衰减图形504被示为在围绕衰减图形504的边界802的多个不同方向上被均等地扩张，但是衰减图形504 的一个或多个侧面或其它部分可以被扩张到不同的程度，包括没有正在被扩张的。
在图8的下半部分中示出了衰减显示层308的衰减蒙板的两个不同版本。衰减蒙板的暗部分指示衰减显示层308的什么部分将被激活以便衰减入射光线。衰减蒙板的白色部分指示对入射光线保持透明的部分。合成图形模块602创建衰减图形504以便具有锐边界802。尽管所显示的衰减图形504或804可能看起来对于用户的眼睛离焦并且因此看起来模糊，但是亮区补偿模块604正在在锐边界802上操作。如图8的下半部分中的衰减蒙板的示意图所示，扩张810可以可替代地通过移动与锐衰减蒙板704中的衰减图形504相对应的边界802来完成，以便扩展衰减图形。因此，亮区补偿模块604可以对锐衰减蒙板704执行扩张810以产生与维持锐边界802的扩展衰减图形804相对应的扩展衰减蒙板808。扩展衰减图形804也可以在本文中被称为扩张衰减图形，并且扩展衰减蒙板808在本文中也可以被称为扩张衰减蒙板。
上文定性地描述了亮区补偿模块604的示例操作。下文以具有更加计算严格的描述的定量术语来呈现亮区补偿模块604的示例操作。为了通过简化数学描述来便于理解，发射显示层被称为前景，而真实世界场景被称为背景。
前景图形具有与发射图形104相对应的空间变化的非预倍增强度 IF和与锐衰减蒙板703相对应的前景透明度值TF。给定背景真实世界强度IB，可以使用等式(1)来计算合成颜色IC：
IC＝IF x(1–TF)+TF x IB (1)
对于其中用户的眼睛聚焦于前景图形显示深度并且背景也处于相同深度的情况，背景衰减元素的有效透明度被计算为TB，其使用等式(2)由于瞳孔的大小由衰减像素tB的卷积产生：
Figure GDA0002781936470000211
其中W(i，j)是代表衰减图形的眼睛的卷积的核，其中核半径k以衰减显示层的像素坐标来表示。
为了计算衰减显示层的坐标系中的W(X，Y)，将与眼睛E(X， Y)的物理孔径相对应的真实世界衰减函数投影到衰减显示层上并且转换为像素坐标。一个简化假设是要考虑瞳孔是圆的并且观看方向与显示器正交，在这种情况下W(i，j)采取圆形顶帽函数(top-hatfunction)的形式，其中圆形的半径内部的值为1，否则为0。可替代地，对于偏离正交的观看方向，可以使用椭圆来近似瞳孔。然而，对于正交观看方向和圆形瞳孔，顶帽函数的物理单位的半径Ratt取决于眼睛Reye的瞳孔半径。更具体地，半径Ratt取决于由眼睛和虚拟图像之间的距离(i)和衰减显示和虚拟图像之间的距离(ii)的比例定标的眼睛Reye的瞳孔半径。顶帽函数的半径Ratt由等式(3)计算：
Ratt＝Reye*(Zdisplay–Zatt)/(Zdisplay+Zeye) (3)
下文描述等式(3)的变量：可以使用朝向眼睛的相机来确定眼睛的瞳孔的大小(例如，眼睛的瞳孔半径，Reye)，诸如还用于眼睛跟踪的相机。关于其它三个变量，图9通常在900处图示了多个变量 (即，P和Z)的示例。这些变量与增强现实装置有关，该增强现实装置使用瞳孔902的可测量特点来确定用于扩张衰减图形的因子。变量Zatt代表发射显示层306和衰减显示层308之间的距离。变量Zeye代表眼睛的瞳孔902和发射显示层306之间的距离。变量Zdisplay代表衰减显示层308和发射显示器的虚拟图像312之间的距离。当源自真实世界对象304的光线314穿过层时，变量Pe和Pa分别代表发射显示层306和衰减显示层308的中点或中心。
给定TB的目标是对TF的密切近似，可以将问题表达为受制于上文等式(2)的约束，使具有L1或L2范数的tB值的阵列最大化的有约束优化。这种有约束优化可以由等式(4)表示：
Figure GDA0002781936470000221
然而，这种有约束优化可能与低延迟实时计算不兼容，特别是对于如可穿戴或其它移动计算设备那样的低资源设备。相反，变量tB可以被公式化为以域等于或大于卷积核W(i，j)的x，y为中心的最小核M 的所有像素的最小值。
然后，可以使用等式(5)计算tB值的保守集合：
tB(x，y)＝M*TP＝∧i，j for all M！＝O centered on x，yTP(i，j) (5)
很明显，因为对于核的范围，tB(i，j)小于或等于TF(x，y)，所以这满足等式(4)。还有，卷积核W(i，j)被归一化，并且不采用负权重。只要原始模糊核完全配合在M的最小核域内，该关系就成立。可以选择最小核以实现最佳效率。然而，选择太大的核的缺点是：这种太大的核导致对于其随后要计算补偿的前景图形周围的较大的暗区。
对于圆形相机孔径(例如，人类瞳孔和某些相机)，可以采用圆形最小滤波器，其只稍大于卷积核W的卷积直径。可替代地，可以使用最小二乘方滤波器，其中半宽大于或等于W滤波器半宽k。给定空间不变的滤波器宽度，可以相对有效地计算一维(1-D)最小滤波器，每个像素使用少至三个比较，而与滤波器宽度无关。二维(2-D) 箱式最小滤波器是可分离的，其允许对于水平滤波首先通过和对于垂直滤波其次通过。可以将圆形滤波器计算为一组1-D滤波器的合并，其中成本与滤波器高度成比例。对于快速圆形滤波器，可以通过在核的每个源扫描线上组合一系列滤波器卷积来计算最小滤波器。总成本在滤波器核的半径上是线性的。
图10通常在1000处图示了可以由扩大衰减图形使得非预期暗区506保持可见、变得可见、或变得更可见的而产生的问题。对于图10 所示的图像视图，通过(图6的)亮区补偿模块604已经对不期望的亮区(例如，内亮光晕)实现了补偿。然而，非预期暗区506(例如，外暗光晕)仍然存在。因为衰减图形按照(图8的)扩张810扩展，所以在补偿不期望的亮区之后，非预期暗区506实际上可以更宽或更厚。
示出了示例模拟合成图像视图1004。在发射图形104的边界附近示出了非预期暗区506。由用户的眼睛看到的衰减图形是离焦的而产生的模糊性由用于非预期暗区506模糊边界1002来指示。如图11和图12所示，非预期暗区506可以由暗区补偿模块606补偿。
图11通常在1100处图示了用于通过暗区补偿模块606调整衰减蒙板以考虑(图5A、图5B和图8)离焦衰减图形504或804的示例方面。在图11的上半部分中描绘了仍然具有锐边界802的扩展衰减蒙板808的示例，并且在下半部分中描绘了模糊衰减蒙板1104的示例。衰减蒙板使用白色部分来指示(图3的)衰减显示层308的哪些部分保持透明。在执行(图8的)扩张810之后，扩展衰减范围808 与扩展衰减图形804相对应。
扩展衰减图形804对于用户的眼睛而言看起来离焦。因此，为了确定具有模糊边界1002(也如图10所示的)的非预期暗区506的大小和外观，暗区补偿模块606使扩展衰减蒙板708散焦。暗区补偿模块606使如在扩展衰减蒙板808中代表的衰减图形的锐边界802散焦以产生具有模糊边界1002的模糊衰减蒙板1104。使用模糊衰减蒙板 1104以及(图7的)锐衰减蒙板704以产生图12的强度复制掩模。
图12A和图12B通常分别在1200A和1200B处图示了用于使用强度复制掩模通过暗区补偿模块606来生成复制图形1204的示例方面。在图12A的上半部分中描绘了用于发射层的强度复制掩模1202 的示例，并且在下半部分中示出了有色强度复制图像1208的示例。强度复制掩模1202用白色表示，其中像素将由有色强度复制图像 1208所示的发射显示层306显示或着色。将不为复制图形着色的发射显示层的其它部分在强度复制掩模1208和有色强度复制图像1208中由黑色代表。强度复制掩模1202包括与(图8的)区域806和(图 10和图11的)模糊边界1002的组合相对应的模糊区1206。
暗区补偿模块606通过反转(图11的)模糊衰减蒙板1104和添加(例如，以定性的方式并入或以定量的方式相乘)锐衰减蒙板704 来产生(图7的)强度复制掩模1202。暗区补偿模块606还使模糊区 1206着色，以形成如有色强度复制图像1208所示的复制图形1204。为了更清楚地图示模糊区1206的着色以再现背景场景的亮度水平或外观，图12B中示出了复制图形1204的放大视图。相机获得代表源自真实世界场景的光的数据。从代表真实世界光的该数据，暗区补偿模块606标识与模糊区1206后面的真实世界场景相对应的数据。基于光数据对复制像素着色，以便再现被离焦、模糊出现和扩展衰减图形阻挡的真实世界场景。因此，暗区补偿模块606使模糊区1206着色，以产生包括复制图形1204的有色强度复制图像1208。复制图形1204基于来自相机的数据再现围绕发射图形的边界附近的真实世界场景的外观。通过复制图形1204可以再现真实世界场景的一般光或亮度水平的外观或真实世界场景的实际特定着色的外观。
上文定性地描述了暗区补偿模块606的示例操作。下文以具有更加计算严格的描述的定量术语来呈现暗区补偿模块606的示例操作。为了通过简化数学描述来便于理解，发射显示层被称为前景，而真实世界场景被称为背景。
使用上文所描述的用于亮区补偿模块的圆形核最小透明度算法，通过圆形最小滤波器来扩张(图8和图11的)扩展衰减蒙板808。透镜模糊对具有锐边界802的扩张的扩展衰减蒙板808的影响被示为模糊衰减蒙板1104。该模糊衰减蒙板1104用于调制来自经由相机获得的真实世界背景的入射光。为了散焦扩展衰减蒙板708以产生模糊衰减蒙板1104，应用上文等式(2)以使用用于近似圆形孔径的透镜模糊核来计算所估计的模糊闭塞器蒙板TB(x，y)。
有色强度复制图像1208(其被标记为IR)可以用于补偿外暗光晕。如等式(6)所示，计算有色强度复制图像1208：
IR＝TF(1-TB)IB (6)
其中，IB是经由相机获得的背景的强度，TB是模糊衰减蒙板1104，并且TF代表锐衰减蒙板704的前景实现方式。发射显示图像IE是发射图形104和复制图形1204的组合，并且如等式(7)所示，计算：
IE＝(1–TF)IF+IR (7)
其中，IF是发射图形104的强度。
图13图示了利用扩张或扩展衰减图形804和复制图形1204增强合成图像视图(未示出)的增强现实装置的示意图1300。如所图示的，显示模块608使得或指令发射显示层306显示发射图形104和复制图形1204。显示模块608还使得或指令衰减显示层308显示扩展衰减图形804。用户的眼睛在真实世界场景102上合成发射图形104和复制图形1204，其受到扩展衰减图形804的光阻挡特性的影响。这导致补偿的图像视图，其在图14中示出。
图14通常在1400处图示了通过图像补偿模块118对于闭塞图形的图像补偿的示例结果。在左侧上，以剖视侧视图描绘了发射显示层306和衰减显示层308。发射显示层306正在显示发射图形104和复制图形1204，并且衰减显示层308正在显示扩展衰减图形804。示意性合成图像视图106的示例在中间，而模拟合成图像视图106的示例在右侧上。在每个合成图像视图106中指示发射图形104。在如所示出的补偿图像视图中，不期望的亮区或不期望的暗区在视觉上是不明显的。
已经对用于闭塞直接视图增强现实系统的图像补偿的系统、技术和方案的示例细节进行了讨论，现在考虑一些示例程序以说明这些技术的附加方面。
示例程序
参照图15，该部分描述了与一个或多个实施例中的闭塞直接视图增强现实系统的图像补偿有关的示例程序。该程序的各方面可以以硬件、固件或软件或其组合来实现。该程序被示为指定可以由一个或多个设备执行的操作的框集合，但是操作的执行不一定限于如各个框所示或如本文中所描述的顺序，因为操作可以以其它顺序或以完全或部分重叠的方式来执行。在至少一些实施例中，程序可以由适当配置的设备来执行，诸如示例性增强现实装置108结合使用图像补偿模块118(例如，图1、图6和图14的)的计算设备112。
图15是包括六个框1502至1512的并且图示了按照一个或多个示例实施例的用于闭塞直接视图增强现实系统的图像补偿的示例程序的流程图1500。在框1502处，获得发射图形。例如，计算设备 112可以获得具有要呈现给用户110的信息的发射图形104。增强现实装置108可以从移动电话接收文本消息警报通知、从远程云服务器接收导航指令、或者通过将发射图形104添加到也包括真实世界场景 102的直接视图的合成视图中从本地操作系统功能接收要呈现给用户 110的电池指示。也可以供应发射图形104衰减蒙板。如果不供应，则可以诸如通过对强度图702的强度值进行阈值处理或以其它方式映射以获得衰减蒙板的透明度值(诸如锐衰减蒙板704)来由发射图形 104生成衰减蒙板。
在框1504处，扩张衰减蒙板以产生扩展衰减蒙板。例如，计算设备112可以扩张衰减蒙板(例如，锐衰减蒙板704)以产生扩展衰减蒙板808。扩展衰减蒙板808与发射图形104相关联。锐衰减蒙板704在扩张810之前与可以与发射图形104的大小相当的衰减图形 504相对应。进一步地，衰减图形504或804负责阻挡对应的发射图形104的光。为了执行扩张810，基于用户110的眼睛302的属性，可以将锐衰减蒙板704的至少一个锐边界802扩展超过发射图形104 的边缘706。该属性可以是眼睛302的物理特点的大小，诸如眼睛302 的瞳孔902的半径或直径的度量，其用于调谐应用于用于扩张810的锐衰减蒙板704的滤波器，以产生与扩展衰减图形804相对应的扩展衰减蒙板808。
在框1506处，扩展衰减蒙板被散焦以产生模糊衰减蒙板。例如，计算设备112可以对扩展衰减蒙板808进行散焦以产生模糊衰减蒙板1104。为了考虑由于离焦扩展衰减图形804而引起的眼睛透镜模糊，扩展衰减蒙板808基于眼睛302的属性(诸如其物理特点)进行散焦。由眼睛的物理特点调谐的卷积核可以应用于对扩展衰减蒙板 808的锐边界802进行散焦以产生模糊衰减蒙板1104的模糊边界 1002。
在框1508处，基于模糊衰减蒙板和发射图形来生成复制图形，其中，复制图形要用于再现真实世界场景的外观。例如，计算设备112 可以基于模糊衰减蒙板1104和发射图形104来生成复制图形1204。复制图形1204要用于再现与发射图形104接壤的区域中的真实世界场景102的外观。为此，源自真实世界场景102的光的数据用于使用强度复制掩模1202来调制(例如，着色)复制图形1204的像素以产生有色强度复制图像1208。强度复制掩模1202可以基于与发射图形 104相对应的大小和形状的锐衰减蒙板704通过反转模糊衰减蒙板1204并且修改反转的模糊衰减蒙板来创建。
在框1510处，衰减显示层使用扩展衰减蒙板来呈现扩展衰减图形。例如，计算设备112可以使得衰减显示层308在扩张810之后使用扩展衰减蒙板808来呈现扩展衰减图形804。为了实现呈现，衰减显示层308可以激活衰减显示层308的像素(例如，使像素渲染得不透明)，其与由扩展衰减蒙板808的黑色区域定义的扩展衰减图形 804相对应以阻挡发射图形104和复制图形1204的光。
在框1512处，发射显示层向用户呈现发射图形和复制图形。例如，计算设备112可以使得发射显示层306向用户110呈现发射图形104和复制图形1204。为了实现呈现，发射显示层306可以激活由用于发射图形104的强度图702代表的和由用于复制图形1204的有色强度复制图像1208代表的区域中的像素(例如，使像素渲染得更亮或有色)。
已经按照一个或多个实施例对示例程序进行了描述，现在考虑可以用于实现本文中所描述的各种方案和技术的示例系统和设备。
精度和误差分析
对于增强现实装置，前景发射光可以被呈现为以固定距离聚焦。如果是这样，则本文中所描述的某些实现方式提供其中由发射显示层呈现的补偿图形处于由发射显示层确定的深度和分辨率的近似。然而，直接观看的背景受到观看者的眼睛的光学性能和光穿过的玻璃 (例如，包括来自衰减显示层的衍射效应)的限制。
为了减少可感知的图像伪影，可以将复制图形(例如，前景补偿图像)限制为尽可能小的边界区域(例如，使得当遇到透镜模糊时，对应的衰减图形仍然可以消除内亮光晕)和限制为尽可能低的亮度 (例如，以便仍然避免外暗光晕的亮度的可感知的下降)。可以影响所描述的实现方式的附加因子是衰减显示层的图形与发射显示层的图形之间的光学未对准的可能性，其可以由于眼睛位置的不确定性而导致。在背景场景的估计视图和实际源自背景的光之间也可能存在未对准。进一步地，可以由瞳孔大小估计中的误差而引入未对准。仔细实施本文中所描述的技术可以使得这些问题或因素能够得以适当地处理。
增强现实装置可以包括前视相机，以允许计算和选择相对于真实世界对象的通过发射图形的闭塞。这可以牵涉到进行真实世界的深度估计以及获得强度图像。这种装置和相关功能性可以足以基于所估计的相机模型来形成如从一个或两个眼睛看到的世界的视图的估计。可以从该信息来估计深度，并且相机采集的图像可以被扭曲以用作所描述的实现方式的背景图像。
对于光学系统，可能形成多种形式的未对准。例如，所估计的背景IB可以相对于由观看者的眼睛观察到的真实背景而移位。图16A 和图16B分别在1600A和1600B处图示了由未对准产生的模拟合成图像视图的两个示例。合成图像视图1600A示出了其中所估计的背景在垂直方向和水平方向上相对于真实背景移位三个像素的情况。一些更精细的细节的双重图像出现在多数沿着水平线可见的前景图形的光晕中。然而，因为随着与前景发射图形的边界的距离增加，复制图像与真实背景平滑交叉融合(例如，因为强度复制掩模的斜坡结构使得复制图像能够与真实背景交叉融合，从而减少伪影的外观)，所以结果是相对可接受的。由于来自相机/几何捕获系统的重建误差，或者如果用户的头部在运动中，则可能发生这种类型的未对准。相机和图形系统中的固有延迟使得所估计的背景相对于地面实况而移位。然而，高级传感和低延迟渲染体系架构可以至少部分地适应旋转运动和其它运动以使这些效应最小化。
合成图像视图1600B示出了如果用于衰减显示层的模糊衰减蒙板相对于用于发射显示层的其估计位置而位移，则可能发生的第二种未对准形式。这可能由于发射显示层和衰减显示层之间的视差与眼睛位置估计误差(例如，如果瞳孔位置相对于显示器未被准确地估计) 相组合而发生。如针对三个像素未对准所示出的，这导致一侧上的光晕变暗和另一侧上的光晕变亮。亮度移位的严重程度取决于模糊衰减图形的斜率。因此，对于更加离焦的闭塞器，移位对未对准较不敏感。对于闭塞器几何形状中的其它估计误差(包括与地面真实相比较的所估计的闭塞器几何形状的旋转和缩放)，会发生类似的伪影。
可见伪影可以作为在估计眼睛的瞳孔直径(例如，或当散焦以使闭塞器模糊时)中的误差的结果而出现。图17A和图17B分别在 1700A和1700B处图示了由过高估计图像模糊的效果而产生的模拟合成图像视图的两个示例。具体地，衰减图形的实际透镜模糊比用于模拟合成图像视图1700A的所估计的模糊小10％，并且衰减图形的实际透镜模糊比用于模拟合成图像视图1700B的所估计的模糊小20 ％。前景图形周围的光晕在10％误差处很难看到，但在20％误差处更加可见。
图18A和图18B分别在1800A和1800B处图示了由过低估计图像模糊的影响而产生的模拟合成图像视图的两个示例。具体地，衰减图形的实际透镜模糊比用于模拟合成图像视图1800A的所估计的模糊大3％，并且衰减图形的实际透镜模糊比用于模拟合成图像视图1800B的所估计的模糊大10％。前景图形周围出现光晕，其在3％误差处几乎看不到，但在10％误差处明显更加可见。这暗示了用于瞳孔大小估计精度的合适指南的示例小于或等于3％，以适当地考虑潜在的瞳孔大小估计问题。
由于用户的眼睛适应不同的深度，可能引入附加形式的误差。图19A和图19B分别在1900A和1900B处图示了由用户在不同于背景的深度或平面处聚焦产生的模拟合成图像视图的两个示例。具体地，图19A和图19B的图像示出了如果用户聚焦在前景图形上并且背景因此模糊的适应效果。在两个合成图像视图中，在前景图形周围可见对焦光晕。在模拟合成图像视图1900A中，在前景图形周围可见相对微妙的光晕，其中复制导出的光晕具有比背景的其余部分更鲜明的细节水平。在模拟合成图像视图1900B中，在前景图形周围可见相对更明显的光晕。该合成图像视图1900B示出了使用两倍于合成图像视图1900A的透镜模糊而模糊的背景。从而，对焦光晕对于合成图像视图1900B的相对模糊背景而言是更可见的。
可以通过使用可以基于瞳孔大小和眼睛会聚的眼睛的深度信息和眼睛的景深的估计来散焦复制图形(例如，所估计的背景)以改善该问题的影响。例如，这种散焦可以基于调整捕获相机以具有与人眼相似的景深和焦深(例如，采用硬件解决方案)或基于使用深度图和图像滤波器来合成效果(例如，采用更多的软件解决方案)。可替代地，可以使用光场相机来捕获场景。可以通过跟踪用户的眼睛并且使用眼睛的会聚来确定适当的焦深以估计深度适应。然而，如果牵涉到相对少量的模糊，则这些类型的伪影可以是可接受的，而不适应焦深，诸如模拟合成图像视图1900A所示的伪影。
如果用户在背景上(其可能导致前景模糊)适应，则可能发生另一问题。图20图示了由用户聚焦在背景的深度处产生的模拟合成图像视图2000的示例。从而，因为发射显示层对于眼睛是离焦的，所以模糊的基于复制的光晕会包围前景图形。为了避免这种影响，可以实现光场前景光学层。可替代地，可以使用多平面发射显示层，其中可以通过设置呈现每个发射像素的哪个深度平面来调整前景中的图形的焦深。对于多平面发射显示层，将复制图形的图像补偿像素放置在最接近地匹配每个相应像素的背景深度的深度平面上。
示例系统和设备
图21通常在2100处图示了包括代表可以实现本文中所描述的各种技术的一个或多个计算系统或计算设备的示例计算设备2102的示例系统。这通过包括图像补偿模块118来图示，该图像补偿模块118 可以如上文所描述的操作。计算设备2102可以被实现为例如耦合至用户110的增强现实装置108的或与用户110的增强现实装置108集成的(图1的)计算设备112。计算设备2102可以使得增强现实装置 108的一个或多个显示层向用户110呈现合成图形图像。通常，计算设备2102可以被实现为例如用户110的终端用户设备(例如，智能电话)、公司设备(例如，服务器侧设备或数据中心硬件)、片上系统或片上系统(SOC)(例如，与增强现实装置108集成的)、或任何其它合适的计算设备或计算系统。
在如图1所示的示例实现方式中，图像补偿模块118在一个位置(例如，在增强现实装置108的外壳内)处执行。然而，如果传输延迟足够小，则图像补偿模块118可以正在在云中执行(例如，在网络侧计算设备上)，并且这种示例实现方式还如图21所示。可替代地，图像补偿模块118的至少一部分可以在客户端侧计算设备和服务器端计算设备两者处执行。在这种实现方式中，如本文中所描述的由图像补偿模块118实现的操作可以跨客户端-服务器体系架构来分布。
所图示的示例计算设备2102包括可以彼此通信地耦合的至少一个处理系统2104、一个或多个计算机可读介质2106、和一个或多个I/O接口2108。尽管未明确示出，但是计算设备2102还可以包括将各种部件彼此耦合的系统总线或其它数据和命令传送系统。系统总线可以包括不同总线结构中的任何一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、或利用多种总线体系架构中的任一种总线体系架构的处理器或本地总线。还设想了多种其它示例，诸如控制线和数据线。
处理系统2104代表用于使用硬件来执行一个或多个操作的功能性。因此，处理系统2104被图示为包括可以被实现为处理器、功能块等等的一个或多个硬件元件2110。这可以包括在硬件中实现为专用集成电路(ASIC)、通用处理器、或使用例如一个或多个半导体形成的其它逻辑器件。硬件元件2110不受形成它们的材料或其中采用的处理机制的限制。例如，处理器可以包括或可以用(多个)半导体或晶体管(例如，电子集成电路(IC))来实现。在这种情景下，处理器可执行指令可以包括电子可执行指令。
计算机可读存储介质2106被图示为包括存储器/存储装置 2112。存储器/存储装置2112代表与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储部件2112可以包括易失性介质 (例如，随机存取存储器(RAM))或非易失性介质(例如，只读存储器(ROM)、闪存、光盘或磁盘)。存储器/存储部件2112可以包括固定介质(例如，RAM、ROM或固定硬盘驱动器)或可移除介质 (例如，闪存卡、可移除硬盘驱动器、或光盘)。计算机可读介质2106 可以以如下面进一步所描述的多种其它方式来实现。
(多个)输入/输出接口2108代表允许用户向计算设备2102 输入命令或信息或允许使用各种输入/输出设备向用户或其它部件或设备呈现信息的功能性。输入设备的示例包括键盘、光标控制设备(例如，鼠标或触摸板)、麦克风、扫描仪、触摸功能性(例如，电容传感器、电阻传感器、或被实现成检测物理触摸的其它传感器)、相机 (其可以采用诸如红外频率之类的可见或不可见波长以将移动识别为不需要牵涉到触摸的手势)、加速度计、或它们的组合。输出设备的示例包括显示设备(例如，LCD或LED屏幕、显示层、监视器、或投影仪)、扬声器、打印机、网卡、触觉振动设备、或它们的组合。因此，计算设备2102可以以如下文进一步所描述的多种方式实现，以支持本地或远程用户交互。
在本文中可以在软件、硬件元件或程序模块的一般情景中描述各种技术。通常，这种模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、部件、数据结构、它们的组合等等。如本文中所使用的术语“模块”、“功能性”和“部件”通常代表软件、固件、硬件、或它们的组合。本文中所描述的技术的特征可以是平台无关的，从而意味着所描述的技术可以在具有多种处理器的多种商业计算平台上实现。
所描述的模块及其技术的实施例可以存储在某种形式的计算机可读介质上或跨某种形式的计算机可读介质传输。计算机可读介质 2106可以包括可以由计算设备2102访问的多种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质。”
如本文所使用的，“计算机可读存储介质”是指与纯信号传输、载波或信号本身相反，实现信息的持久和/或非暂态存储的介质或设备。计算机可读存储介质不包括信号本身或信号承载介质。计算机可读存储介质包括诸如易失性和非易失性以及可移除和不可移除之类的硬件、在适于存储信息的过程或技术中实现的介质或存储设备(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其它数据)。计算机可读存储介质的示例可以包括但不限于RAM、ROM、 EEPROM、闪速存储器、或其它存储介质(例如，固态存储器技术)； CD-ROM、数字通用光盘(DVD)、或其它光学存储装置；硬盘、磁带盒、磁带、磁盘存储装置、或其它磁存储设备；或适于存储所需信息并且可以由计算机访问的另一存储设备、有形介质、制品、或它们的组合。
如本文中所使用的“计算机可读信号介质”是指被实现成诸如经由网络向计算设备2102的硬件传输指令的信号承载介质。计算机可读信号介质通常可以在诸如载波、数据信号或另一传送机制之类的调制数据信号中体现计算机可读指令、数据结构、程序模块或其它数据。计算机可读信号介质还可以包括任何信息递送介质。术语“调制数据信号”意指具有以编码信号中的信息的方式设置或改变的其特点中的一个或多个特点的信号。作为示例而非限制，计算机可读信号介质可以包括有线介质(诸如有线网络或直接线连接)、或无线介质(诸如声学、RF、微波、红外或其它无线介质)。
如先前所描述的，硬件元件2110和计算机可读介质2106可以代表以硬件形式实施的模块、可编程设备逻辑、固定设备逻辑、它们的组合等等，该硬件形式可以在一些实施例中以实现本文中所描述的技术的至少一些方面，诸如执行一个或多个指令或计算动作。硬件可以包括集成电路(IC)或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)的部件、硅的其它实现方式或其它硬件。在这种情景下，硬件可以作为执行由硬件体现的指令或逻辑所定义的程序任务的处理设备以及作为用于存储用于执行的指令的硬件(例如，先前所描述的计算机可读存储介质) 来操作。
还可以采用前述的组合来实现本文中所描述的各种技术。因此，软件、硬件或可执行模块可以被实现为在某种形式的计算机可读存储介质上的或由一个或多个硬件元件2110实现的一个或多个指令或逻辑。计算设备2102可以被配置成实现与软件或硬件模块相对应的特定指令或功能。因此，可由计算设备2102执行的模块作为软件实现可以至少部分地以硬件来实现，例如，通过使用计算机可读存储介质或处理系统2104的硬件元件2110。指令或功能可由一个或多个制品(例如，一个或多个计算设备2102或处理系统2104)来执行/操作以实现本文中所描述的技术、模块或示例。
本文中所描述的技术可以由计算设备2102的各种配置来支持，并且不限于本文中所描述的示例设备的特定方面。该功能性还可以完全或部分经由如下文所描述的平台2116诸如通过“云”2114通过使用分布式系统来实现。
云2114可以包括或代表用于资源2118的平台2116。平台2116 提取云2114的硬件(例如，一个或多个服务器或至少一个数据中心) 和软件资源的底层功能性。资源2118可以包括可以在计算机处理至少部分地在远离计算设备2102或分布在计算设备2102周围的服务器上执行的同时利用的应用或数据。资源2118还可以包括通过因特网或通过订户网络提供的服务，诸如蜂窝或Wi-Fi网络。
平台2116可以提取用于将计算设备2102与其它计算设备或服务连接的资源和功能。平台2116还可以用来提取资源的缩放比例以向经由平台2116实现的资源2118所面临的需求来提供对应的缩放水平。因此，在互连设备实施例中，本文中所描述的功能性的实现可以分布在整个图12的所图示的系统中，或者至少整个云2114连同计算设备2102一起。例如，功能性可以部分地在计算设备2102上以及经由提取云2114的功能性的平台2116来实现。
结论
尽管已经用对结构特征和/或方法动作专用的语言描述了本发明，但是应当理解，在所附权利要求中定义的本发明不必限于所描述的具体特征或动作。相反，这些具体特征和动作被公开为实现所要求保护的发明的示例形式。

Claims (20)

1.一种计算设备，所述设备操作在数字媒体环境中以减少图像伪影的可见性的方式结合真实世界场景的直接视图来呈现合成图形图像，所述设备包括：
合成图形模块，被配置成获得发射图形和衰减图形，其中所述发射图形是指在发射显示层处或由发射显示层呈现的计算机生成的图、图片、或图标，并且所述衰减图形是指在衰减显示层处或由衰减显示层呈现的图案或形状；
亮区补偿模块，被配置成扩张所述衰减图形以基于用户的眼睛的属性产生扩展衰减图形；以及
显示模块，被配置成：
指令发射显示层将所述发射图形呈现给所述用户的所述眼睛；以及
指令衰减显示层呈现所述扩展衰减图形以阻挡来自所述发射图形的所述真实世界场景的光，并且以防止在所述发射图形上形成非预期亮区。
2.根据权利要求1所述的设备，其中所述用户的所述眼睛的所述属性包括指示所述用户的所述眼睛的大小的值。
3.根据权利要求2所述的设备，其中指示所述用户的所述眼睛的所述大小的所述值基于所述眼睛的瞳孔的半径。
4.根据权利要求1所述的设备，其中所述亮区补偿模块还被配置成通过应用基于所述用户的所述眼睛的所述属性调谐的卷积核来产生所述扩展衰减图形。
5.根据权利要求4所述的设备，其中基于从所述发射显示层的位置测量的距离进一步调谐所述卷积核。
6.根据权利要求1所述的设备，其中所述亮区补偿模块还被配置成通过应用基于所述用户的所述眼睛的所述属性调谐的最小滤波器来产生所述扩展衰减图形。
7.根据权利要求1所述的设备，其中所述非预期亮区包括与所述发射图形的至少一部分接壤的内亮光晕。
8.根据权利要求1所述的设备，其中：
所述亮区补偿模块还被配置成通过扩张衰减蒙板来产生所述扩展衰减图形，其中所述衰减蒙板包括第一部分和第二部分，所述第一部分指示所述衰减显示层的用于衰减入射光线的部分，所述第二部分指示所述衰减显示层的对入射光线保持透明的部分；并且
所述显示模块还被配置成基于扩张的所述衰减蒙板来指令所述衰减显示层呈现所述扩展衰减图形。
9.根据权利要求1所述的设备，还包括：
暗区补偿模块，被配置成生成复制图形以再现其中来自所述真实世界场景的所述直接视图的光被所述扩展衰减图形阻挡的区域中的所述真实世界场景的外观，其中所述复制图形是指在发射显示层处或由所述发射显示层呈现的图形，
其中所述显示模块还被配置成指令所述发射显示层以向所述用户的所述眼睛呈现所述区域中的所述复制图形。
10.一种系统，所述系统操作在数字媒体环境中以减少图像伪影的可见性的方式结合真实世界场景的直接视图来呈现合成图形图像，所述系统包括：
相机，被配置成检测代表所述真实世界场景的光；
发射显示层，被配置成呈现发射图形，其中所述发射图形是指在发射显示层处或由发射显示层呈现的计算机生成的图、图片、或图标；
衰减显示层，被配置成呈现衰减图形，其中所述衰减图形是指在衰减显示层处或由衰减显示层呈现的图案或形状；
暗区补偿模块，被配置成：
确定其中所述衰减图形阻挡来自用户的眼睛的所述真实世界场景的光的非预期暗区；以及
基于代表所述真实世界场景的所述光来生成用于所述非预期暗区的复制图形，其中所述复制图形是指在发射显示层处或由所述发射显示层呈现的图形；以及
显示模块，被配置成使所述发射显示层呈现所述复制图形以再现所述非预期暗区中的所述真实世界场景的外观。
11.根据权利要求10所述的系统，其中：
所述非预期暗区包括模糊的非预期暗区；并且
所述暗区补偿模块还被配置成：
对衰减蒙板的边界进行散焦以产生模糊衰减蒙板，其中所述衰减蒙板包括第一部分和第二部分，所述第一部分指示所述衰减显示层的用于衰减入射光线的部分，所述第二部分指示所述衰减显示层的用于对入射光线保护透明的部分；以及
基于所述模糊衰减蒙板来生成所述复制图形。
12.根据权利要求11所述的系统，其中所述暗区补偿模块还被配置成基于与所述发射图形相关联的锐衰减蒙板来生成所述复制图形。
13.根据权利要求10所述的系统，其中所述暗区补偿模块还被配置成针对所述复制图形的多个像素中的每个像素来产生颜色值，以便使用从所述光导出的数字值来再现所述真实世界场景的所述外观，所述光代表由所述相机检测的所述真实世界场景。
14.根据权利要求10所述的系统，其中：
所述非预期暗区包括与所述发射图形的至少一部分接壤的外暗光晕；并且
所述显示模块还被配置成使所述发射显示层呈现与所述发射图形相邻的所述复制图形以补偿所述外暗光晕。
15.根据权利要求10所述的系统，还包括：
亮区补偿模块，被配置成扩张所述衰减图形以将所述衰减图形的边界扩展超出所述发射图形的边缘，以在所述发射图形的所述边缘和所述衰减图形的扩展的所述边界之间创建所述非预期暗区，其中：
所述暗区补偿模块还被配置成基于代表所述真实世界场景的所述光来生成从所述发射图形的所述边缘到所述衰减图形的扩展的所述边界的所述复制图形；并且
所述显示模块还被配置成使所述发射显示层呈现所述发射图形。
16.一种由计算设备实现的方法，在数字媒体环境中用于以减少图像伪影的可见性的方式结合真实世界场景的直接视图来呈现合成图形图像，所述方法包括：
由所述计算设备获得发射图形，其中所述发射图形是指在发射显示层处或由发射显示层呈现的计算机生成的图、图片、或图标；
由所述计算设备扩张衰减蒙板以产生扩展衰减蒙板，其中所述衰减蒙板包括第一部分和第二部分，所述第一部分指示衰减显示层的用于衰减入射光线的部分，所述第二部分指示所述衰减显示层的对入射光线保护透明的部分；
由所述计算设备散焦所述扩展衰减蒙板以产生模糊衰减蒙板；
由所述计算设备基于所述模糊衰减蒙板和所述发射图形来生成复制图形，所述复制图形用于再现所述真实世界场景的外观，其中所述复制图形是指在发射显示层处或由所述发射显示层呈现的图形；
由所述计算设备使衰减显示层使用所述扩展衰减蒙板来呈现扩展衰减图形，所述扩展衰减图形通过扩张衰减图形来生成，所述衰减图形是指在衰减显示层处或由衰减显示层呈现的图案或形状；以及
由所述计算设备使发射显示层向用户呈现所述发射图形和所述复制图形。
17.根据权利要求16所述的方法，其中：
所述扩张包括基于所述用户的眼睛的属性来产生所述扩展衰减蒙板；并且
所述散焦包括基于所述用户的所述眼睛的所述属性来产生所述模糊衰减蒙板。
18.根据权利要求16所述的方法，其中：
所述发射图形包括由移动设备提供的通知指示；并且
所述使所述衰减显示层呈现所述扩展衰减图形包括：使所述衰减显示层呈现所述扩展衰减图形以阻挡来自所述发射图形和来自所述复制图形的所述真实世界场景的光，所述衰减显示层位于所述发射显示层和所述真实世界场景之间。
19.根据权利要求16所述的方法，还包括：
由所述计算设备获得与由相机检测到的代表所述真实世界场景的光相对应的数据，其中
所述生成包括：使用所述数据来生成所述复制图形以再现所述真实世界场景的所述外观以确定所述复制图形的像素的值。
20.根据权利要求16所述的方法，其中：
所述扩张包括扩张所述衰减蒙板以补偿可能的内亮光晕；
所述散焦包括散焦所述扩展衰减蒙板以使所述用户的眼睛适应透镜模糊；并且
所述生成包括生成所述复制图形以再现所述真实世界场景的所述外观以补偿可能的外暗光晕。
CN201611004861.2A 2016-04-19 2016-11-15 闭塞直接视图增强现实系统、计算设备及方法 Active CN107306332B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/133,025 2016-04-19
US15/133,025 US10134198B2 (en) 2016-04-19 2016-04-19 Image compensation for an occluding direct-view augmented reality system

Publications (2)

Publication Number Publication Date
CN107306332A CN107306332A (zh) 2017-10-31
CN107306332B true CN107306332B (zh) 2021-03-26

Family

ID=57993694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611004861.2A Active CN107306332B (zh) 2016-04-19 2016-11-15 闭塞直接视图增强现实系统、计算设备及方法

Country Status (5)

Country Link
US (3) US10134198B2 (zh)
CN (1) CN107306332B (zh)
AU (1) AU2016259427B2 (zh)
DE (1) DE102016013766A1 (zh)
GB (1) GB2549563B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
CA3045780A1 (en) * 2017-01-30 2018-08-02 Novartis Ag Systems and method for augmented reality ophthalmic surgical microscope projection
CN106773060B (zh) * 2017-02-10 2019-05-10 京东方科技集团股份有限公司 头戴式虚拟现实设备
US10403045B2 (en) 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
US10782776B2 (en) * 2017-09-28 2020-09-22 Nissan North America, Inc. Vehicle display configuration system and method
US10991138B2 (en) * 2017-12-22 2021-04-27 The Boeing Company Systems and methods for in-flight virtual reality displays for passenger and crew assistance
TWI675583B (zh) * 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
CN109714583B (zh) * 2019-01-22 2022-07-19 京东方科技集团股份有限公司 增强现实的显示方法及增强现实的显示系统
KR20210123198A (ko) * 2020-04-02 2021-10-13 주식회사 제이렙 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
CN114578554B (zh) * 2020-11-30 2023-08-22 华为技术有限公司 实现虚实融合的显示设备
US11295531B1 (en) * 2021-02-24 2022-04-05 Allison Cecile Westley System and method for generating interactive virtual image frames in an augmented reality presentation
CN113419630B (zh) * 2021-06-28 2022-12-13 西北工业大学 一种基于投影ar的自适应遮挡消除方法
WO2023283376A1 (en) * 2021-07-08 2023-01-12 Hover Inc. Methods, storage media, and systems for integrating data streams to generate visual cues
TWI828397B (zh) * 2021-11-18 2024-01-01 東陽實業廠股份有限公司 智能透明遮光系統
KR20230103379A (ko) * 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치
CN115512083B (zh) * 2022-09-20 2023-04-11 广西壮族自治区地图院 一种多倾斜角度数控沙盘自适应投影方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517580A (en) 1991-06-19 1996-05-14 Texas Instruments Incorporated Method for estimating the shape of an object from IR image shading
JPH05328260A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
US6636627B1 (en) 1999-07-12 2003-10-21 Fuji Photo Film Co., Light source direction estimating method and apparatus
AU2002239328A1 (en) 2000-11-08 2002-05-27 Yale University Illumination based image synthesis
JP3767541B2 (ja) 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
JP4898459B2 (ja) 2004-02-17 2012-03-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップの生成
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US8289318B1 (en) 2008-08-29 2012-10-16 Adobe Systems Incorporated Determining three-dimensional shape characteristics in a two-dimensional image
US8463072B2 (en) 2008-08-29 2013-06-11 Adobe Systems Incorporated Determining characteristics of multiple light sources in a digital image
US20120188279A1 (en) * 2009-09-29 2012-07-26 Kent Demaine Multi-Sensor Proximity-Based Immersion System and Method
KR101671185B1 (ko) 2010-03-22 2016-11-01 삼성전자주식회사 렌더링을 위한 빛 및 질감 추출 장치 및 방법, 그리고, 빛 및 질감을 이용한 렌더링 장치
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP6157496B2 (ja) * 2011-11-30 2017-07-05 コーニング インコーポレイテッド 光学コーティング方法、機器、および製品
US9330500B2 (en) 2011-12-08 2016-05-03 The Board Of Trustees Of The University Of Illinois Inserting objects into content
US9311751B2 (en) * 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
CN102568026B (zh) * 2011-12-12 2014-01-29 浙江大学 一种多视点自由立体显示的三维增强现实方法
US9117303B2 (en) * 2012-03-25 2015-08-25 Membit Inc. System and method for defining an augmented reality view in a specific location
CN103472909B (zh) 2012-04-10 2017-04-12 微软技术许可有限责任公司 用于头戴式、增强现实显示器的逼真遮挡
US8970626B2 (en) 2012-04-17 2015-03-03 Nvidia Corporation System, method, and computer program product for adding computer-generated scene elements into a representation of a real-world scene, using path tracing
GB201217721D0 (en) * 2012-10-03 2012-11-14 Holition Ltd Video image processing
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US9858721B2 (en) 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US10488535B2 (en) * 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9639964B2 (en) * 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
US9299188B2 (en) 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN104298722B (zh) * 2014-09-24 2018-01-19 张鸿勋 多媒体交互系统及其方法
US10176639B2 (en) * 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
CN104766270B (zh) * 2015-03-20 2017-10-03 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
US10203566B2 (en) * 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
US20170256095A1 (en) * 2016-03-02 2017-09-07 Siemens Medical Solutions Usa, Inc. Blocking screen in Augmented Reality
KR102358677B1 (ko) * 2016-03-07 2022-02-03 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US10403045B2 (en) 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
眼震信号特征提取及其在前庭系统中的应用;刘芳;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20150715;全文 *

Also Published As

Publication number Publication date
US11514657B2 (en) 2022-11-29
DE102016013766A1 (de) 2017-10-19
AU2016259427B2 (en) 2021-11-11
US10891804B2 (en) 2021-01-12
AU2016259427A1 (en) 2017-11-02
US20180365906A1 (en) 2018-12-20
GB201619550D0 (en) 2017-01-04
US10134198B2 (en) 2018-11-20
US20210090353A1 (en) 2021-03-25
GB2549563A (en) 2017-10-25
GB2549563B (en) 2018-09-26
US20170301145A1 (en) 2017-10-19
CN107306332A (zh) 2017-10-31

Similar Documents

Publication Publication Date Title
CN107306332B (zh) 闭塞直接视图增强现实系统、计算设备及方法
US11663733B2 (en) Depth determination for images captured with a moving camera and representing moving features
JP2018109745A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
US11921414B2 (en) Reflection-based target selection on large displays with zero latency feedback
KR20190133716A (ko) 후기 재투사 전력을 최적화하기 위한 레이어 서브영역들에 대한 재투사 프로세싱의 선택적 적용
US9164723B2 (en) Virtual lens-rendering for augmented reality lens
JP7089495B2 (ja) 拡張現実アプリケーション用システム及び方法
Berning et al. A study of depth perception in hand-held augmented reality using autostereoscopic displays
US11720996B2 (en) Camera-based transparent display
CN114026603B (zh) 渲染计算机生成现实文本
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP2020523957A (ja) マルチ・ビュー・コンテンツを観察するユーザに情報を提示する方法及び機器
CN114746903A (zh) 虚拟、增强和混合现实系统和方法
KR20210108370A (ko) 디스플레이 장치를 위한 이미지 프로세싱 시스템 및 방법
US20230396750A1 (en) Dynamic resolution of depth conflicts in telepresence
US11288873B1 (en) Blur prediction for head mounted devices
US20230119162A1 (en) Systems and methods for processing scanned objects
CN117981296A (zh) 使用多个相机的扩展视场
Berning et al. Improving Depth Perception for Hand-held Augmented Reality using Autostereoscopic Displays
JP2019139376A (ja) 仮想空間画像提示システム、仮想空間画像提示方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant