CN103988234B - 经由透视显示器来显示阴影 - Google Patents

经由透视显示器来显示阴影 Download PDF

Info

Publication number
CN103988234B
CN103988234B CN201280061125.4A CN201280061125A CN103988234B CN 103988234 B CN103988234 B CN 103988234B CN 201280061125 A CN201280061125 A CN 201280061125A CN 103988234 B CN103988234 B CN 103988234B
Authority
CN
China
Prior art keywords
image
real world
background scene
shade
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280061125.4A
Other languages
English (en)
Other versions
CN103988234A (zh
Inventor
M·兰姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103988234A publication Critical patent/CN103988234A/zh
Application granted granted Critical
Publication of CN103988234B publication Critical patent/CN103988234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Instrument Panels (AREA)

Abstract

公开了涉及对由透视显示器上显示的对象图像投影在真实世界背景上的阴影的图像进行呈现的各种实施例。例如，所公开的一个实施例提供了一种操作具有透视显示屏的显示设备的方法。该方法包括：在透视显示屏上显示对象的图像，以及在显示该对象的图像的同时，通过以下来显示由该对象投影在背景场景上的阴影的图像：获取背景场景的图像，确定该阴影在该背景场景的图像中的位置，通过与该阴影内的亮度相比增加与该阴影相邻的区域内的相对亮度来渲染背景场景的经增强图像，以及显示该背景场景的经增强图像。

Description

经由透视显示器来显示阴影
背景
各种技术可允许用户体验真实世界和虚拟世界的混合。例如，某些显示设备(诸如，各种头戴式显示设备)可包括透视显示器，该透视显示器允许将显示图像叠加在真实世界背景上。通过这种方式，图像可被显示成使得它们表现为与真实世界背景中的元素混合。
概述
公开了涉及对由透视显示系统上显示的虚拟图像投影在真实世界背景上的阴影的图像进行呈现的各种实施例。例如，所公开的一个实施例提供了一种操作具有透视显示屏的显示设备的方法。该方法包括在透视显示屏上显示对象的图像，并在显示该对象的图像的同时，显示由该对象投影在背景场景上的阴影的图像。通过以下方式显示该阴影的图像：获取背景场景的图像，确定该阴影在该背景场景的图像中的位置，通过与该阴影内的亮度相比增加与该阴影相邻的区域内的相对亮度来渲染该背景场景的经增强图像，以及显示该背景场景的经增强图像。
提供本概述是为了以简化的形式介绍将在以下具体实施方式中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了用户在示例使用环境中佩戴着透视显示系统的实施例。
图2示出了图1的用户在图1的使用环境中查看对象以及由该对象投影在背景场景中的阴影的图像的实施例的视角。
图3示出了描绘操作透视显示系统的方法的一实施例的流程图。
图4示出了透视显示系统的实施例的框图。
图5示出了图1的实施例的透视图。
详细描述
如上所提及的，透视显示设备可允许将显示图像呈现在真实世界背景上，使得这些显示图像中的对象可表现为与真实世界背景混合。然而，此类图像呈现的各个方面可使得显示的对象看上去较不逼真。例如，由真实世界对象投影的阴影可能明显地不在显示设备上所显示的对象上。
生成虚拟对象在真实世界背景上的阴影的图像可造成各种挑战。例如，在经由投影或经由嵌入式发射显示技术(例如，透明有机发光设备)在透视显示屏上形成图像的情况下，这些显示图像向如用户查看到的场景添加了附加的光。相反，阴影是通过从场景中减去光来创建的。由于此类技术不允许从真实世界背景场景中减去光，因此显示由虚拟对象投影在真实世界背景上的阴影可造成困难。
因此，所公开的实施例涉及在透视显示设备中通过减少如用户所查看到的背景场景的非阴影区域的相对亮度来在背景场景上形成阴影。简言之，获取背景场景的参考图像，潜在地在全局上降低该参考图像的亮度，并随后以使得形成背景场景的经增强图像的方式重新渲染该参考图像，在该经增强图像中，背景图像的非阴影图像区域比阴影区域具有更大的相对亮度。随后，在真实世界背景上向用户显示背景场景的经增强图像，以及阴影的图像表现为源自的虚拟对象的图像。将背景场景的经增强图像显示在真实世界背景上有效地向如查看者所感知的真实世界背景场景的期望非阴影部分添加了光。这可创建由被显示的虚拟对象投影在背景场景中的真实世界对象上的阴影的图像的效果。
在某些实施例中，背景场景的经增强图像的非阴影区域与该背景场景的经增强图像的阴影区域相比在亮度方面的增加可能是全局范围的，使得所有非阴影区域与阴影区域相比相对增加了。在其他实施例中，亮度方面的增加可能对于与每一阴影相邻的区域是局部的。此外，在某些实施例中，为了减轻背景场景的经增强图像的经添加光的效果，透视显示屏可包括用于减少通过该透视屏的背景光量的光学器件(诸如，中性密度滤波器)。
图1解说了针对头戴式显示系统形式的透视显示设备100的实施例的使用环境。正佩戴着透视显示设备100的用户102位于房间内，并被示为面向墙壁104。出于清楚的目的，在用户视野内的房间的地板106或墙壁104上没有示出物理对象。然而，将理解，这些透视显示设备100可在实际上任何(室内或室外)环境中使用。
从用户102的视角示出的图2解说了在透视显示设备100上显示的巫师形式的对象200的图像，使得对象200表现为位于图1的空白查看环境中。此外，由对象200投影的阴影202的图像被示为好像投影在真实世界背景上。在所描绘的实施例中，该阴影以与真实阴影相同的方式跟随地板106和墙壁104的轮廓。然而，其他实施例可以按其他方式来解决随背景表面轮廓的变化而改变。将理解，该阴影可具有任何合适的尺寸、形状、强度和方向，这取决于用于计算该阴影的外观的虚拟光源的类型和位置。
如上所提及的，阴影202的图像可以通过以下方式来生成：将背景场景的图像重新渲染在实际的背景场景上，使得该背景场景的图像的非阴影区域的相对亮度与阴影区域相比增加了。图3示出了描绘按此类方式显示阴影图像的方法300的示例实施例的流程图。
方法300包括在302在透视显示屏上显示对象的图像，以及在304，获取在透视显示设备的用户的视野内的背景场景的参考图像。可以按各种方式处理背景场景的参考图像以形成背景场景的经增强图像。例如，在305，方法300包括确定由被显示对象生成的阴影在背景场景中的位置。可以按任何合适的方式(包括但不限于经由在计算机图形中使用的常规实时阴影生成技术)来确定该阴影的位置。将理解，该阴影的位置和外观可取决于确定阴影位置时所施加的一个或多个虚拟光源的类型(例如，平行光线、散射光等)和位置(例如，在头顶上、倾斜的等)以及所采用的特定阴影生成方法。
如以上所提及的，阴影在背景图像中的位置可取决于使用环境的结构。例如，阴影可取决于使用环境中阴影将被投影到的各表面的形状和定向而改变方向和/或形状。因此，在某些实施例中，可执行图像处理以确定可影响阴影的外观的表面轮廓变化，并且随后在确定阴影位置时可计及此类轮廓变化。
在确定了阴影位置后，方法300包括在308通过与阴影区域内的亮度相比增加在与阴影区域相邻的非阴影区域内的背景场景的相对亮度来渲染背景场景的经增强图像。这可涉及各种过程。例如，在一些实施例中，整个背景场景的图像可能首先被调暗以形成基础图像，并且随后期望的非阴影区域可相对于阴影区域被选择性地调亮。另选地和/或另外地，期望的阴影区域可相对于非阴影区域被选择性地调暗。将理解，在合适的情况下(诸如，在低光使用环境中)可省略此类对背景场景的原始图像的预先调暗。此外，将理解背景场景的原始图像被调暗的量可以是固定的或可变的，并且可基于诸如被中性密度滤波器移除的背景光的量、背景光在实际或期望使用环境中的强度等因素来选择或改变背景场景的原始图像被调暗的量。
在某些实施例中，如310处所指示的，图像的非阴影区域的相对亮度可以被全局地调亮，使得该背景场景的经增强图像中的所有非阴影区域的相对亮度相对于所有阴影区域而言被增加了。在其他实施例中，如312处所指示的，非阴影区域的相对亮度可被局部地增加。在此类实施例中，相对亮度差可具有位于阴影/非阴影边界处或该边界附近的最大值，并且根据距该阴影区域的距离而从该最大值减少。由于人类视觉系统对渐进光亮变化的较低的敏感性，因此对足够渐进的亮度梯度的使用(作为非限制性示例，大于20度的视角)可有助于使得在阴影周围的亮点较不明显。将理解，由于人类眼睛对超过狭窄范围的亮度变化的敏感性，此类亮度梯度在它们跨越背景图像中例如不同色彩、纹理等之间的边缘的情况下可能更明显。因此，如314处所指示的，与阴影区域相邻的非阴影区域的相对亮度的增加可能在背景图像中的锐梯度(例如，超过预先选择的阈值梯度的梯度)处终止。
在非阴影区域的相对亮度被全局地增加的情况下，将背景场景的经增强图像添加在真实世界背景上在一些情形中可导致明显的调亮。为了避免不想要的调亮，前面提到的中性密度滤波器和/或其他合适的光学器件可用于通过阻止某些背景光来减少到达用户的眼睛的图像的总亮度。在其中相对亮度被局部地增加的实施例中，可省略中性密度滤波器，因为被调亮的区域可能不会明显地影响如用户所查看到的图像的总亮度。
非阴影区域的亮度与阴影区域的亮度相比可能被增加任何合适的相对量。将注意，真实世界阴影一般不是全黑的，而相反可由于反射光和其他环境光源而在强度方面具有与相邻的非阴影区域相比相对较小的减少。因此，在一些实施例中，阴影区域和非阴影区域之间的相对亮度差可能相对细微。亮度方面的合适差异的示例包括但不限于2-3档(stop)的差异。
环境背景光可取决于查看环境中的环境光源而具有不同的色彩分布。例如，内部环境光可具有有与内部环境中使用的光源的峰值波长相对应的峰值的频谱。同样，不同的外部位置可由于环境差异而具有不同的环境光色彩分布。例如，在阳光充足的日子中干旱环境中的环境光可由于反射光在这样的环境中的波长分布而与阳光相比具有更强的蓝色分量。
因此，为了帮助使得相对亮度强度的增加表现得更为自然，方法300可包括在316执行色彩分析以确定环境光内(例如，强度比照波长)的色彩分布，并基于该色彩强度分布来增加相对亮度。例如，如果色彩分析表明环境光具有相对均匀的色彩强度分布，则非阴影区域可通过向非阴影区域添加白光而在强度方面得到增加。同样，如果色彩分析表明环境光具有主要为蓝色的分布，则类似地可向背景场景的经增强图像的非阴影区域添加蓝色光。
继续图3，在形成背景场景的反射图像之后，方法300包括在318显示背景场景的经增强图像以及对象在透视显示器上的图像。通过这种方式，在背景场景的经增强图像中的阴影可表现为由被显示图像投影到真实世界背景上。这可有助于为该对象提供深度视角，从而可有助于传达被显示图像实际上存在于使用环境中的感觉。
取决于透视显示设备的处理速度以及用户正在该环境中改变视角的速度，用户的视角可改变得足够快，以致背景场景的经增强图像不足以与当前感知到的背景对准。因此，在某些实施例中，透视显示设备可被配置成跟踪用户的运动，并且作为响应，校正背景场景的经增强图像和当前感知到的真实世界背景之间的任何未对准。这样的校正可例如通过以下来执行：在获取原始图像和显示背景场景的经增强图像之间的时段期间，基于所跟踪的用户运动，使背景场景的经增强图像在位置上偏移。这样的跟踪可以按任何合适的方式(包括但不限于经由设置在透视显示设备上的运动传感器)来执行。
上述在透视显示器上显示阴影的方法的实施例可以与任何合适的透视显示设备(包括但不限于图1的头戴式显示系统)一起使用。图4示出了透视显示设备100的一实施例的框图，且图5示出了透视显示设备100的示例物理实施例。头戴式显示设备100可以包括各种传感器和输出设备。例如，透视显示设备100可包括具有图像产生系统402的透视显示子系统400，该图像产生系统402被配置成产生图像并在例如透镜形式的透视显示屏403上显示这些图像。图像产生系统402可被配置成将图像投影在透视显示屏403上，经由合并在该透视显示屏403(例如，透明的OLED显示器)中的图像产生元件或按任何其他合适的方式来显示图像。透视显示屏403可包括用于减少到达查看者的背景光量的中性密度滤波器404和/或其他光学器件。可经由一个或多个扬声器405在透视显示设备100上呈现音频。
透视显示设备100可以进一步包括一个或多个图像传感器406。图像传感器406可包括一个或多个朝外的图像传感器，这些图像传感器被配置成获取背景场景的图像以供处理成背景场景的经增强图像。同样，图像传感器406可包括眼睛跟踪图像传感器，该眼睛跟踪图像传感器被配置成获取图像数据以允许出于各种目的(诸如，确定将对象定位在显示图像中的何处，检测经由眼睛姿势作出的用户输入等)而跟踪查看者的眼球。透视显示设备100可进一步包括一个或多个话筒407以允许将语音命令用作用户输入。
透视显示设备100可进一步包括用于在查看者佩戴着透视显示设备100时检测查看者的头部移动的一个或多个运动传感器408。这可允许例如使背景场景的经增强图像与当前背景视图对准。同样，运动传感器408还可以被用作用户输入设备，使得用户可以经由颈部和头部或者甚至身体的姿势来与透视显示设备100交互。运动传感器408可被配置成检测任何合适的用户头部的移动，包括平移和/或倾斜移动。将理解，图4中解说的传感器是出于示例的目的而示出的，且不旨在以任何方式进行限制，因为可以使用任何其他合适的传感器和/或传感器的组合。
头戴式显示系统110可以具有任意合适的物理形式。例如，在一些实施例中，头戴式显示系统110可采用如图5所示的一副眼镜的形式，其中这些透镜可能是清晰的，或者经由中性密度滤波器或其他合适的光学器件被调暗。在图5中，朝外的图像传感器406被示为位于该眼镜的框架上的顶部中央的位置处，但将理解，图像传感器406可具有任何其他合适的位置。此外，将理解，在其它实施例中，头戴式显示系统110可采用在其中透视显示系统支撑在查看者的一个或两个眼睛前面的任何其它合适的形式(诸如，头盔、护目镜等)。
返回图4，透视显示设备100还包括与透视显示设备100的各种其他组件通信的控制器410，该控制器410具有逻辑子系统412和数据保持子系统414。数据保持子系统414包括存储在其上的指令，这些指令被逻辑子系统412执行例如来显示对象图像以及由这些对象形成在透视显示屏403上的阴影，如以上所描述的。
将理解，控制器410以简化形式示出。还应当理解，透视显示设备100可使用任何适当的计算机架构而不背离本公开的范围。
逻辑子系统412可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统412可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统412可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统412可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统412的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统412可以任选地包括遍布两个或多个设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。逻辑子系统412的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
数据保持子系统414可包括一个或多个物理、非瞬时设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现此类方法和过程时，可变换数据保存子系统414的状态(例如，保存不同数据)。
数据保持子系统414可以包括可移动介质和/或内置设备。数据保持子系统414可以包括具有以下特性中的一个或更多个特性的存储器和/或设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在一些实施例中，可以将逻辑子系统412和数据保持子系统414集成到一个或更多个公共设备中，如专用集成电路或片上系统。
数据保持子系统还可以包括可移动计算机可读存储介质416，该介质可用于存储和/或传送可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质416可表示任何合适类型的存储介质，包括但不限于DVD、CD、HD-DVD、蓝光盘、EEPROM、磁带驱动器、和/或软盘等。
控制器410可进一步包括通信子系统418，该通信子系统418被配置成使透视显示设备100与一个或多个其他计算设备通信地耦合。通信子系统418可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统418可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统418可允许透视显示设备100经由网络(诸如因特网)向其他设备发射数据(诸如，视频数据、游戏数据、图像数据等)和/或从其他设备接收该数据。
可以明白，数据保持子系统414包括一个或多个物理非瞬态设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。

Claims (20)

1.一种操作具有透视显示屏和图像传感器的显示设备的方法，所述方法包括：
在所述透视显示屏上显示对象的图像；以及
在显示所述对象的图像的同时，通过以下来显示由所述对象投影在真实世界背景场景上的阴影的图像：
经由所述图像传感器获取能透过所述透视显示屏查看的所述真实世界背景场景的图像，
确定所述阴影在所述真实世界背景场景的图像中的位置，
通过以下来渲染所述真实世界背景场景的图像以形成所述真实世界背景场景的经增强图像：与所述阴影内的亮度相比，增加所述真实世界背景场景在所述真实世界背景场景的经增强图像中的与所述阴影相邻的区域内的亮度，以及
经由所述透视显示屏将所述真实世界背景场景的经增强图像显示在所述真实世界背景场景之上并与所述真实世界背景场景对准。
2.如权利要求1所述的方法，其特征在于，进一步包括经由中性密度滤波器来减少通过所述透视显示屏的自然光量。
3.如权利要求1所述的方法，其特征在于，渲染所述真实世界背景场景的经增强图像包括不增加所述阴影内的亮度。
4.如权利要求1所述的方法，其特征在于，渲染所述真实世界背景场景的经增强图像包括全局地调暗所述真实世界背景场景的图像。
5.如权利要求1所述的方法，其特征在于，增加与所述阴影相邻的区域内的亮度包括全局地增加非阴影区域的亮度。
6.如权利要求1所述的方法，其特征在于，增加与所述阴影相邻的区域内的亮度包括局部地增加所述亮度，使得亮度差根据距所述阴影的距离而减少。
7.如权利要求6所述的方法，其特征在于，还包括检测所述真实世界背景场景的图像中超过预先选择的阈值梯度的边缘，并在所述边缘处终止所述亮度方面的增加。
8.如权利要求1所述的方法，其特征在于，还包括确定环境光的色彩分布，并通过以下来增加所述亮度：基于所述环境光的所述色彩分布来增加所述亮度。
9.如权利要求1所述的方法，其特征在于，显示所述对象的图像以及所述对象的阴影的图像包括在头戴式显示系统上显示所述对象的图像以及所述对象的所述阴影的图像。
10.一种头戴式显示系统，包括：
透视显示屏；
图像产生系统，所述图像产生系统被配置成在所述透视显示屏上显示图像；
图像传感器，所述图像传感器被配置成获取能通过所述透视显示屏查看的真实世界背景场景的图像；
逻辑子系统；以及
数据保持子系统，所述数据保持子系统包含可由逻辑子系统执行的指令以：
在所述透视显示屏上显示对象的图像；以及
在显示所述对象的图像的同时，通过以下来显示由所述对象投影在所述真实世界背景场景上的阴影的图像：
经由所述图像传感器获取能够透过所述透视显示屏查看的所述真实世界背景场景的图像，
确定所述阴影在所述真实世界背景场景的图像中的位置，
渲染所述真实世界背景场景的图像以形成所述真实世界背景场景的经增强图像，其中所述真实世界背景场景在所述真实世界背景场景的经增强的图像中的与所述阴影相邻的区域内的亮度与所述阴影内的亮度相比被增加了，以及
在所述透视显示屏上将所述真实世界背景场景的经增强图像显示在所述真实世界背景场景之上并与所述真实世界背景场景对准。
11.如权利要求10所述的头戴式显示系统，其特征在于，所述透视显示屏进一步包括中性密度滤波器。
12.如权利要求10所述的头戴式显示系统，其特征在于，所述指令可执行以通过增加与所述阴影相邻的区域内的亮度而不增加所述阴影内的亮度来渲染所述真实世界背景场景的经增强图像。
13.如权利要求10所述的头戴式显示系统，其特征在于，所述指令可执行以通过全局地增加非阴影区域的亮度来增加与所述阴影相邻的区域内的亮度。
14.如权利要求10所述的头戴式显示系统，其特征在于，所述指令可执行以通过以下来增加与所述阴影相邻的区域内的亮度：局部地增加该亮度，使得亮度差根据距所述阴影的距离而减少。
15.如权利要求14所述的头戴式显示系统，其特征在于，所述指令可执行以检测所述真实世界背景场景的图像中超过预先选择的阈值梯度的边缘，并在所述边缘处终止所述亮度方面的增加。
16.如权利要求10所述的头戴式显示系统，其特征在于，所述指令还可执行以确定环境光的色彩分布，并通过以下来增加所述亮度：基于所述环境光的所述色彩分布来增加该亮度。
17.在包括透视显示屏、图像传感器和中性密度滤波器的头戴式显示系统上，一种在能透过所述透视显示屏查看的真实世界背景场景上显示对象的图像和所述对象的阴影的图像的方法，所述方法包括：
在所述透视显示屏上显示对象的图像；
经由所述中性密度滤波器来减少通过所述透视显示屏的环境光量；以及
在显示所述对象的图像的同时，通过以下来显示由所述对象投影在所述真实世界背景场景上的阴影的图像：
经由图像传感器获取能透过所述透视显示屏查看的所述真实世界背景场景的图像，
确定所述阴影在所述真实世界背景场景的图像中的位置，
通过以下来渲染所述真实世界背景场景的所获取的图像以形成所述真实世界背景场景的经增强图像：
与所述阴影内的亮度相比，增加所述真实世界背景场景在所述真实世界背景场景的经增强图像中的该图像的非阴影区域内的亮度，以及
在所述透视显示屏上将所述真实世界背景场景的经增强图像显示在所述真实世界背景场景上方并与所述真实世界背景场景对准，使得光被添加到所述非阴影区域。
18.如权利要求17所述的方法，其特征在于，渲染所述真实世界背景场景的经增强图像包括不增加所述阴影内的亮度。
19.如权利要求17所述的方法，其特征在于，渲染所述真实世界背景场景的经增强图像包括在调亮与所述阴影相邻的区域之前，全局地调暗所述真实世界背景场景的图像。
20.如权利要求17所述的方法，其特征在于，进一步包括确定环境光的色彩分布，并通过以下来增加所述亮度：基于所述环境光的所述色彩分布来增加该亮度。
CN201280061125.4A 2011-12-12 2012-12-12 经由透视显示器来显示阴影 Active CN103988234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/323,403 2011-12-12
US13/323,403 US9311751B2 (en) 2011-12-12 2011-12-12 Display of shadows via see-through display
PCT/US2012/069316 WO2013090474A1 (en) 2011-12-12 2012-12-12 Display of shadows via see-through display

Publications (2)

Publication Number Publication Date
CN103988234A CN103988234A (zh) 2014-08-13
CN103988234B true CN103988234B (zh) 2017-05-03

Family

ID=48571564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280061125.4A Active CN103988234B (zh) 2011-12-12 2012-12-12 经由透视显示器来显示阴影

Country Status (12)

Country Link
US (1) US9311751B2 (zh)
EP (1) EP2791911B1 (zh)
JP (1) JP6023212B2 (zh)
KR (1) KR102004010B1 (zh)
CN (1) CN103988234B (zh)
AU (1) AU2012352273B2 (zh)
BR (1) BR112014014198B1 (zh)
CA (1) CA2857510C (zh)
IN (1) IN2014CN03962A (zh)
MX (1) MX347984B (zh)
RU (1) RU2627131C2 (zh)
WO (1) WO2013090474A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US9658454B2 (en) * 2013-09-06 2017-05-23 Omnivision Technologies, Inc. Eyewear display system providing vision enhancement
US9652892B2 (en) 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
US9607409B2 (en) 2013-12-23 2017-03-28 Empire Technology Development Llc Suppression of real features in see-through display
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR102262566B1 (ko) 2014-10-10 2021-06-07 엘지디스플레이 주식회사 투명 디스플레이 장치
IL236243A (en) 2014-12-14 2016-08-31 Elbit Systems Ltd Visual enhancement of color icons is shown
US11468639B2 (en) * 2015-02-20 2022-10-11 Microsoft Technology Licensing, Llc Selective occlusion system for augmented reality devices
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
KR102304701B1 (ko) * 2017-03-28 2021-09-24 삼성전자주식회사 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
WO2019051228A1 (en) * 2017-09-08 2019-03-14 Apple, Inc. TRANSPARENT DISPLAY BASED ON A CAMERA
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10679404B2 (en) * 2017-10-04 2020-06-09 Google Llc Shadows for inserted content
KR102004991B1 (ko) * 2017-12-22 2019-10-01 삼성전자주식회사 이미지 처리 방법 및 그에 따른 디스플레이 장치
DE102018208739A1 (de) * 2018-06-04 2019-12-05 Conti Temic Microelectronic Gmbh Abschätzung von Ortskoordinaten von Lichtquellen in Umgebungsbildern
CN111127537A (zh) 2018-10-29 2020-05-08 托比股份公司 用于检测头戴式装置中的阴影的方法和装置
CN111383340B (zh) * 2018-12-28 2023-10-17 成都皓图智能科技有限责任公司 一种基于3d图像的背景过滤方法、装置及系统
US11852813B2 (en) * 2019-04-12 2023-12-26 Nvidia Corporation Prescription augmented reality display
US11727321B2 (en) 2019-05-22 2023-08-15 InterDigital VC Holdings Inc. Method for rendering of augmented reality content in combination with external display
US11238662B2 (en) * 2019-09-25 2022-02-01 Apple Inc. Optimal luminance mapping for augmented reality devices
WO2021113719A1 (en) 2019-12-06 2021-06-10 Portl, Inc. Holographic display device and method of use
CN111093102A (zh) * 2019-12-30 2020-05-01 星络智能科技有限公司 存储介质、交互设备及其视频高亮渲染播放方法
CN111093112A (zh) * 2019-12-30 2020-05-01 星络智能科技有限公司 存储介质、交互设备及其视频阴影渲染播放方法
CN111182349A (zh) * 2019-12-30 2020-05-19 星络智能科技有限公司 存储介质、交互设备及其视频播放方法
WO2021186581A1 (ja) 2020-03-17 2021-09-23 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11776503B2 (en) * 2020-05-28 2023-10-03 Apple Inc. Generating display data based on modified ambient light luminance values

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002253A (zh) * 2004-06-01 2007-07-18 迈克尔·A.·韦塞利 水平透视模拟器
US7623137B1 (en) * 2006-02-15 2009-11-24 Adobe Systems, Incorporated Successive-convolution-compositing technique for rendering translucent surfaces

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778267A (ja) 1993-07-09 1995-03-20 Silicon Graphics Inc 陰影を表示する方法及びコンピュータ制御表示システム
CA2233047C (en) 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US6614408B1 (en) 1998-03-25 2003-09-02 W. Stephen G. Mann Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
JP2000284349A (ja) * 1999-03-30 2000-10-13 Fuji Photo Film Co Ltd 撮像装置
US6552731B1 (en) 1999-04-16 2003-04-22 Avid Technology, Inc. Multi-tone representation of a digital image on a digital nonlinear editing system
EP1074943A3 (en) 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Image processing method and apparatus
JP2002049932A (ja) * 2000-08-02 2002-02-15 Taito Corp ポリゴンモデルの影を表示する方法
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
US20050007460A1 (en) 2003-07-08 2005-01-13 Stavely Donald J. Systems and methods for counteracting lens vignetting
US7508455B2 (en) 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
US7986351B2 (en) 2005-01-27 2011-07-26 Qualcomm Incorporated Luma adaptation for digital image processing
ES2325374T3 (es) 2005-05-03 2009-09-02 Seac02 S.R.L. Sistema de realidad aumentada con identificacion de objeto marcador real.
JP4093279B2 (ja) * 2005-10-24 2008-06-04 ソニー株式会社 背面投射型画像表示装置
JP2007219082A (ja) 2006-02-15 2007-08-30 Canon Inc 複合現実感表示システム
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
EP1865462A1 (de) * 2006-06-09 2007-12-12 Carl Zeiss NTS GmbH Verfahren zur Binarisierung eines digitalen Grauwertbildes
KR100925419B1 (ko) * 2006-12-19 2009-11-06 삼성전자주식회사 라플라시안 피라미드를 이용한 컬러 영상의 화질 개선 장치및 그 방법
JP4948218B2 (ja) 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
RU2375840C2 (ru) * 2007-04-19 2009-12-10 Владимир Семенович Леонов Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты)
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US9082213B2 (en) 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
JP5177515B2 (ja) * 2008-06-02 2013-04-03 アイシン精機株式会社 周辺認知支援システム
US20110115792A1 (en) * 2008-07-24 2011-05-19 Nobumasa Tamaoki Image processing device, method and system
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
JP2010145436A (ja) 2008-12-16 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8325186B2 (en) 2009-05-21 2012-12-04 Sony Computer Entertainment America Llc Method and apparatus for rendering shadows
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102009037865A1 (de) * 2009-08-18 2011-02-24 Schaeffler Technologies Gmbh & Co. Kg Anordnung zur Lagerung einer Schaltschiene
JP5446003B2 (ja) * 2009-09-14 2014-03-19 国立大学法人 東京大学 仮想物体影作成装置および合成画像作成装置並びに仮想物体影作成方法、プログラム
US8405658B2 (en) * 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110234631A1 (en) 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US20120026079A1 (en) * 2010-07-27 2012-02-02 Apple Inc. Using a display abstraction to control a display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
US9147111B2 (en) 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002253A (zh) * 2004-06-01 2007-07-18 迈克尔·A.·韦塞利 水平透视模拟器
US7623137B1 (en) * 2006-02-15 2009-11-24 Adobe Systems, Incorporated Successive-convolution-compositing technique for rendering translucent surfaces

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
The daylight blocking optical stereo see-through HMD;Pedro Santos 等;《The 2008 workshop on immersive projection technologies/emerging display technologies》;20080810;摘要，第1页第1栏倒数1-2行，第1页第2栏1-5、12-15、26-29行，图3、4行 *

Also Published As

Publication number Publication date
KR102004010B1 (ko) 2019-07-25
EP2791911B1 (en) 2017-08-30
US20130147826A1 (en) 2013-06-13
KR20140101406A (ko) 2014-08-19
MX2014007101A (es) 2014-07-28
WO2013090474A1 (en) 2013-06-20
BR112014014198B1 (pt) 2021-02-17
JP6023212B2 (ja) 2016-11-09
EP2791911A1 (en) 2014-10-22
RU2014124160A (ru) 2015-12-20
CN103988234A (zh) 2014-08-13
AU2012352273B2 (en) 2017-10-26
AU2012352273A1 (en) 2014-07-03
US9311751B2 (en) 2016-04-12
CA2857510C (en) 2019-04-30
MX347984B (es) 2017-05-22
BR112014014198A2 (pt) 2017-06-13
JP2015509230A (ja) 2015-03-26
EP2791911A4 (en) 2015-11-04
IN2014CN03962A (zh) 2015-10-23
RU2627131C2 (ru) 2017-08-03
CA2857510A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
CN103988234B (zh) 经由透视显示器来显示阴影
US10621785B2 (en) Blended reality systems and methods
US8576276B2 (en) Head-mounted display device which provides surround video
US20180314066A1 (en) Generating dimming masks to enhance contrast between computer-generated images and a real-world view
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
US8884984B2 (en) Fusing virtual content into real content
US8730239B2 (en) Transitioning between shading regions on an object
US20240169489A1 (en) Virtual, augmented, and mixed reality systems and methods
CN107743637A (zh) 用于处理外围图像的方法和设备
EP4055554A1 (en) See-through display, method for operating a see-through display and computer program
US11818325B2 (en) Blended mode three dimensional display systems and methods
WO2023094870A1 (en) Increasing dynamic range of a virtual production display
WO2023094881A1 (en) Increasing dynamic range of a virtual production display
WO2023094877A1 (en) Increasing dynamic range of a virtual production display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150803

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150803

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant