CN105723420B - 用于混合现实聚光灯的方法和系统 - Google Patents
用于混合现实聚光灯的方法和系统 Download PDFInfo
- Publication number
- CN105723420B CN105723420B CN201480059769.9A CN201480059769A CN105723420B CN 105723420 B CN105723420 B CN 105723420B CN 201480059769 A CN201480059769 A CN 201480059769A CN 105723420 B CN105723420 B CN 105723420B
- Authority
- CN
- China
- Prior art keywords
- display
- see
- virtual
- real world
- world background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 42
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 12
- 230000003321 amplification Effects 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- VAYOSLLFUXYJDT-RDTXWAMCSA-N Lysergic acid diethylamide Chemical group C1=CC(C=2[C@H](N(C)C[C@@H](C=2)C(=O)N(CC)CC)C2)=C3C2=CNC3=C1 VAYOSLLFUXYJDT-RDTXWAMCSA-N 0.000 description 1
- 208000030984 MIRAGE syndrome Diseases 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- TVLSRXXIMLFWEO-UHFFFAOYSA-N prochloraz Chemical compound C1=CN=CN1C(=O)N(CCC)CCOC1=C(Cl)C=C(Cl)C=C1Cl TVLSRXXIMLFWEO-UHFFFAOYSA-N 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供了与在用透视显示器显示的图像中创建对象的虚拟阴影有关的各种实施例。在一实施例中，虚拟对象的图像可以用透视显示器来显示。虚拟对象在通过透视显示器查看时可以出现于现实世界背景之前。虚拟对象的虚拟阴影周围的现实世界背景的相对亮度可以在通过透视显示器查看时增加。虚拟阴影可以看上去源自于一聚光灯，该聚光灯相对于透视显示器的有利位置而固定。
Description
背景
各种技术可允许用户体验现实世界和虚拟世界的混合。例如，诸如各种头戴式显示设备等一些显示设备可以包括透视显示器，透视显示器允许所显示的图像叠加于现实世界背景环境上。图像在通过透视显示器查看时可以出现于现实世界背景环境之前。特别是，图像可以被显示在透视显示器上，以使它们看上去与现实世界背景环境中的元素混杂，这可以被称为增强现实。
概述
提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
提供了与在用透视显示器显示的图像中创建虚拟对象的虚拟阴影有关的各种实施例。在一实施例中，虚拟对象的图像可以用透视显示器来显示。虚拟对象在通过透视显示器查看时可以出现于现实世界背景之前。虚拟对象的虚拟阴影周围的现实世界背景的相对亮度可以在通过透视显示器查看时增加。虚拟阴影可以看上去源自于一聚光灯，该聚光灯相对于透视显示器的有利位置而固定。在一些实施例中，相对亮度可以在暗角图案中增加。
附图简述
图1示出根据本描述的一实施例的头戴式显示系统。
图2示出根据本描述的一实施例的操作透视显示器的方法。
图3示出根据本描述的一实施例、透视显示器的有利位置以及相对于该有利位置定位的虚拟聚光灯的视锥。
图4示出相对于透视显示器的有利位置固定的虚拟聚光灯的示例。
图5示出三维空间中相对于有利位置固定的虚拟聚光灯的示例。
图6示出三维空间中相对于有利位置固定的虚拟聚光灯的另一示例。
图7示出根据本描述的一实施例、被模拟为看上去好像始发自虚拟聚光灯的透视显示器的相对亮度。
图8示出根据本描述的一实施例、基于虚拟聚光灯创建的虚拟阴影。
图9示出根据本描述的一实施例、在暗角图案中增加的现实世界背景的相对亮度。
图10示意性地示出按照本描述的一实施例的计算系统。
详细描述
本描述涉及一种用于在用透视显示器所显示的图像中创建虚拟对象的虚拟阴影的方法。以此方式创建虚拟阴影可以使虚拟对象看上去更真实。更具体而言，本描述涉及在通过透视显示器来查看时，增加虚拟对象的虚拟阴影周围的现实世界背景的相对亮度。可以采用各种效果来增加相对亮度，以便使虚拟对象看上去更真实。
在一示例中，虚拟阴影可以看上去源自于一虚拟聚光灯，该聚光灯相对于透视显示器的有利位置而固定。换言之，虚拟聚光灯的位置可以随有利位置的位置变化而动态地变化。由于虚拟聚光灯相对于有利位置而固定，虚拟对象可以从任一位置和/或朝向来查看，同时虚拟阴影保持可查看。另一方面，如果虚拟聚光灯是全局固定的且并不相对于可能移动的有利位置而固定，则可能存在虚拟阴影会被虚拟对象阻隔或以其他方式离开用户视野的特定位置。在这种情况下，用户可以由于缺乏深度队列而将虚拟对象感知为较不真实，该深度队列帮助向虚拟对象提供关于现实世界背景的空间上下文。
举另一个示例，虚拟阴影周围的相对亮度可以在暗角图案中增加。例如，暗角图案可以致使相对亮度随着离透视显示器的周界的接近度递增而降低。举另一个示例，暗角图案可以使相对亮度随着距虚拟阴影的距离递增而降低。通过根据暗角图案来衰减相对亮度，可以对透视显示器的周界处的亮度方面的对比度进行平滑，以使透视显示器混合于现实世界背景环境中。此外，暗角图案可以致使透视显示器看上去较大，因为对显示器的周界会放较少重点。另一方面，如果相对亮度未根据暗角图案衰减，则整个透视显示器将沐浴在亮光中，这会致使透视显示器的周界处具有严苛的对比度。
在一些实施例中，暗角图案可被呈现在透视显示器的屏幕空间坐标中。换言之，暗角图案可以被锁定至用户的视野，且暗角图案可以独立于现实世界背景的特征而生成。另一方面，在一些实施例中，现实世界背景(例如，被虚拟聚光灯增强的透视显示器的区域)和虚拟阴影的相对亮度可被呈现于世界空间坐标中。换言之，虚拟阴影的形状和/或朝向可以基于现实世界背景的特征。
暗角图案特别可应用于用户视野可比透视显示器设备的视野大的实施例，以使现实世界背景可以在透视显示器的周界外部被查看。而且，暗角图案特别可应用于透视显示器的各实施例，该透视显示器包括可扩增部分和不可扩增部分，该可扩增部分可以用图像内容和/或照明来扩增，该不可扩增部分不可以用图像内容和/或照明来扩增。
图1描述了示例头戴式显示系统100。头戴式显示系统100的形式为图1中的一副可穿戴眼镜或护目镜。头戴式显示系统100包括透视显示器102，该透视显示器102可以被配置成向通过透视显示器查看物理环境的用户视觉地扩增该物理环境的外观。头戴式显示系统100可以被配置成扩增现实世界环境的真实性，该现实世界环境具有各种发光条件并且包括具有不同色彩和阴影的各种现实世界对象。
例如，现实世界背景的外观可以被图形内容扩增，该图形内容可以用透视显示器102呈现，以使图形内容可以出现于现实世界背景之前。特别是，图像产生系统103可以被配置成用透视显示器102来显示虚拟对象的图像。而且，图像产生系统可以被配置成在通过透视显示器查看时，增加虚拟对象的虚拟阴影周围的现实世界背景的相对亮度，以使虚拟阴影看上去源自于虚拟聚光灯。
在一些实施例中，头戴式显示系统可以是一附加显示系统，其中全息光可以被显示在透视显示器上。例如，一个或多个部分透明的像素可以向用户的眼睛发射光。用户可以查看通过和/或围绕像素的现实世界对象，但所发射的光可以看上去照亮通过和/或围绕像素查看的背景对象。
头戴式显示系统100包括光学传感器系统104，该光学传感器系统104可以包括一个或多个光学传感器。在一示例中，光学传感器系统104包括面向内的光学传感器106和面向外的光学传感器108。面向内的光学传感器可以被配置成对用户的眼睛进行凝视检测或其他分析。面向外的光学传感器可以被配置成在由用户通过透视显示器102观察时从类似的有利位置(例如，视线)检测现实世界背景。在一些实施例中，传感器子系统可以包括两个或更多个不同的面向内和/或面向外的光学传感器(例如，面向外的彩色相机和面向外的深度相机)。
头戴式显示系统100还可以包括位置传感器系统110，该位置传感器系统110可以包括输出位置传感器信息的一个或多个位置传感器(例如，(诸)加速度仪、(诸)陀螺仪、(诸)磁力计、(诸)全球定位系统、(诸)多点定位跟踪器、等等)，该位置传感器信息可用于访问相关传感器的位置、朝向和/或移动。
从光学传感器系统104接收到的光学传感器信息和/或从位置传感器系统110接收到的位置传感器信息可被用于访问透视显示器的有利位置相对于其他环境对象的位置和朝向。在一些实施例中，有利位置的位置和朝向可以用六个自由度(例如，世界空间X、Y、Z、俯仰、偏转、倾斜)来表征。有利位置可以全局地表征或者独立于现实世界背景而表征。位置和/或朝向可以用板载计算系统(例如，板载计算系统112)和/或离板计算系统来确定。
而且，光学传感器系统和位置传感器信息可由计算系统用来执行现实世界背景的分析，诸如深度分析、表面重构、环境色彩和照明分析或者其他适当的操作。特别是，光学和位置传感器信息可用于创建现实世界背景的虚拟模型。在一些实施例中，有利位置的位置和朝向可以相对于该虚拟空间来表征。此外，虚拟模型可被用于确定虚拟空间中虚拟对象的位置、虚拟聚光灯的位置、以及虚拟对象的虚拟阴影的尺寸、形状和位置。
图2示出根据本描述的一实施例的操作透视显示器的示例方法200。特别是，可以执行方法200来创建虚拟对象的虚拟阴影，以便使虚拟对象在通过透视显示器查看时看上去更真实。例如，方法200可由图1所示的头戴式显示系统100或图10所示的计算系统1000来执行。
在202，方法200可以包括接收光学和位置传感器信息。在一示例中，代表现实世界背景的光学信息可由一个或多个面向外的光学传感器来提供，诸如图1所示的光学传感器108。例如，光学传感器信息可以包括表征现实世界背景的深度信息、照明信息、色彩信息以及其他视觉信息。而且，代表有利位置和/或显示屏的位置、朝向和/或移动的位置传感器信息可由位置传感器系统接收，该位置传感器系统诸如图1所示的位置传感器系统110。
在204，方法200可以包括确定透视显示器的有利位置。有利位置可具有位置和朝向。在一些实施例中，有利位置的位置和朝向可以相对于现实世界背景来表征。在一些实施例中，有利位置的位置和朝向可以独立于或不考虑现实世界背景来表征。在一示例中，有利位置的位置可对应于透视显示器的位置。
在206，方法200可以包括从传感器信息构造虚拟模型。光学传感器信息和位置传感器信息可被用于在虚拟模型中重构现实世界背景和现实世界对象。例如，虚拟模型可以基于有利位置相对于现实世界背景的位置来构造。虚拟模型可被用于确定用透视显示器所显示的虚拟对象以及相应的虚拟阴影的尺寸、位置和朝向信息。
在208，方法200可以包括基于有利位置的位置和朝向来确定虚拟聚光灯的位置和朝向。在一些实施例中，虚拟聚光灯可以相对于有利位置而固定。在一示例中，虚拟聚光灯可以自有利位置垂直地偏移，并且虚拟聚光灯的视角可以相对于有利位置的视角向下倾斜一个角度。通过以相对于有利位置的朝向固定的向下角度定向该虚拟聚光灯，虚拟阴影可以看上去在虚拟对象下方，即使在有利位置改变位置时(例如，跨6个自由度)。
在210，方法200可以包括用透视显示器来显示虚拟对象的图像。虚拟对象在通过透视显示器查看时可以出现于现实世界背景之前。例如，透视显示器上虚拟对象的尺寸、位置和朝向可以基于虚拟模型来确定，且更具体地基于有利位置来确定。
在212，方法200可以包括确定虚拟对象的虚拟阴影。例如，虚拟阴影可以基于虚拟对象相对于有利位置和虚拟聚光灯的位置来确定。在一些实施例中，虚拟阴影可以以世界空间坐标来呈现。如此，虚拟阴影可以基于现实世界背景的特征来生成。例如，虚拟阴影可以进一步基于现实世界背景的表面重构。例如，现实世界背景中不同深度处的不同表面可引起虚拟阴影的失真，该失真在确定虚拟阴影时考虑。在一些实施例中，虚拟阴影可以不考虑现实世界背景的表面而确定。
在214，方法200可以包括在用透视显示器来查看时，增加虚拟对象的虚拟阴影周围的现实世界背景的相对亮度。通过增加虚拟阴影周围的相对亮度，可以增加对比度以引起一视觉效果，该视觉效果致使虚拟阴影看上去更深，而不主动使虚拟阴影变暗。然而，将会理解，在一些实施例中，连同增加虚拟阴影周围的背景的相对亮度，可以主动使虚拟阴影变暗(例如，通过应用过滤器)。
任选地或另外地，在216，方法200可以包括在用透视显示器来查看时，增加虚拟对象的虚拟阴影周围的现实世界背景的相对亮度。在一示例中，暗角图案致使相对亮度随着离透视显示器的周界的接近度递增而降低。在另一示例中，暗角图案致使相对亮度随着距虚拟阴影的距离递增而降低。通过衰减暗角图案中的相对亮度，透视显示器和现实世界背景之间的视觉转换可以被平滑，以使透视显示器的周界可以较不显著。在一些实施例中，暗角图案可以以屏幕空间坐标来呈现。特别是，暗角图案可以被锁定至透视显示器的有利位置，以使暗角图案随有利位置而移动。而且，暗角图案可以独立于现实世界背景的特征而形成。
任选地或另外地，在218，方法200可以包括在通过透视显示器来查看时，增加虚拟对象的虚拟阴影周围的现实世界背景的相对亮度，其中显示光对应于现实世界背景的色彩。在一示例中，显示光的色彩可以与现实世界背景的色彩相匹配。在另一示例中，显示光的色彩可以相对于现实世界背景的色彩较亮或较暗。例如，背景色彩可以是宝蓝色，而显示光可以是浅蓝色。在另一示例中，现实世界背景的不同部分可以具有多个不同色彩，并且显示光可以包括在透视显示器的不同部分上显示的多个不同色彩以便对应于现实世界背景的不同色彩。
任选地或另外地，在220，方法200可以包括显示镜面闪烁的图像，该图像出现于现实世界背景的现实世界对象之前和/或在用透视显示器查看时的虚拟对象之上。镜面闪烁可以在对象的一部分上被模拟，该部分处，来自虚拟聚光灯的光可以在有利位置的方向上反射。镜面闪烁可以基于现实世界对象和/或虚拟对象相对于虚拟聚光灯和有利位置的位置。例如，镜面闪烁可以从虚拟模型中现实世界背景的表面重构以及虚拟和真实的光信息来确定。镜面闪烁可以通过与具有亮光的闪烁位置相对应的饱和像素来形成。
可以执行该方法以便用透视显示器创建虚拟对象的虚拟阴影，该虚拟阴影帮助提供与现实世界背景环境有关的空间上下文。相应地，扩增的现实可以看上去更真实。
图3示意性地示出按照本公开一实施例、通过透视显示器302的用户的视锥300。视锥300表示对于一个特定有利位置通过透视显示器302可见的整个现实世界环境。图3还示意性地示出扩增锥304。扩增锥304表示现实世界环境的可由透视显示器302扩增的那些部分。在一些实施例中，透视显示器可以被配置成扩增通过透视显示器可见的任何事物(例如，视锥300和扩增视锥304匹配)。在其他实施例中，扩增锥可以小于视锥。例如，头戴式显示器的透镜的仅仅一部分可以被配置成扩增现实。
图3还示出虚拟聚光灯306。虚拟聚光灯306的位置和朝向可以相对于透视显示器302的有利位置303固定，以使随着透视显示器302的有利位置变化，虚拟聚光灯306的位置和朝向相应地变化。以此方式，无论透视显示器的有利位置303位于何处和/或无论透视显示器的有利位置303如何被定向，虚拟聚光灯306的位置和朝向都会相对于透视显示器302的有利位置303保持固定。
图4-6示意性地示出虚拟聚光灯以及透视显示器的有利位置之间的位置关系的各种示例。
图4示出虚拟聚光灯306的朝向相对于透视显示器的有利位置303的朝向的示例。具体而言，有利位置303和虚拟聚光灯可以沿垂直轴400垂直对齐。垂直轴400可以垂直于透视显示器的光学轴并且垂直于穿戴该透视显示器的用户的头部的横平面。虚拟聚光灯306的视角402可以相对于有利位置303的视角404向下呈一个角度。换言之，在垂直轴400和虚拟聚光灯的视角402之间形成的角度406可以小于在垂直轴400和有利位置的视角404之间形成的角度408。例如，角度406可以为45度，而角度408可以为90度。可以使用虚拟聚光灯相对于透视显示器的有利位置的实质上任一朝向，而不背离本公开的范围。
图5示出虚拟聚光灯306的位置相对于透视显示器的有利位置303的位置的示例。特别是，虚拟聚光灯306可以沿垂直轴(例如，Y轴)在有利位置303上垂直偏移，且可能没有水平偏移(例如，X和/或Z偏移)。换言之，虚拟聚光灯可以直接位于用户头部的上方。
图6示出虚拟聚光灯306的位置相对于透视显示器的有利位置303的位置的另一示例。特别是，虚拟聚光灯306可以在有利位置303上方垂直偏移并且被倾斜至侧面。换言之，虚拟聚光灯可以位于用户头部上方并且倾斜至右边或左边。在其他实施例中，虚拟聚光灯可以另外或替代地在透视显示器之前或之后倾斜。
将会理解，虚拟聚光灯可以以任一适当方向并且以任一适当距离自有利位置偏移。
图7示出被照亮来模拟虚拟聚光灯306的扩增锥304的相对亮度700。注意到可以对透视显示器而增加相对亮度700。例如，可以照亮透视显示器的像素，以使通过像素查看的对象看上去沐浴在来自聚光灯的光下。虚拟聚光灯提供一参考点，从该参考点呈现相对亮度并构造虚拟阴影。相对亮度的增加可以基于从虚拟聚光灯的视点跨扩增锥的恒定数量的虚拟光的模拟投射来确定。
图8示出根据本描述的一实施例、基于虚拟聚光灯306创建的虚拟阴影800。虚拟阴影800可以通过增加虚拟阴影800周围的相对亮度700而不增加虚拟阴影800内的亮度来创建。换言之，与用户查看虚拟阴影周围区域所通过的像素相比，用户查看虚拟阴影所通过的像素将感知到的亮度增加较少。在通过透视显示器查看时，相对亮度可以在现实世界背景的整个其余无阴影部分上增加。在用透视显示器显示多个虚拟对象以形成多个虚拟阴影的情况下，相对亮度可以在除虚拟阴影以外的透视显示器的全部部分上增加。虚拟阴影的位置和尺寸可以基于虚拟聚光灯306的位置/朝向、虚拟对象802的位置、以及虚拟阴影要在其上可见的表面的位置来确定。例如，阴影的尺寸和位置可以模拟一阴影，若虚拟对象实际存在于环境中，该阴影会源自于虚拟对象处的聚光灯的闪耀光。
图9示出根据本描述的一实施例、在通过透视显示器查看时暗角图案900中增加的现实世界背景的相对亮度。在暗角图案900中，相对亮度可随着离透视显示器的周界的接近度增加而降低。在其他实施例中，相对亮度可以随着距虚拟阴影的距离增加而降低。在任一情况下，暗角图案可以关于一个或多个轴对称、不对称、以及/或者不规则。在一示例中，在确定虚拟光和虚拟阴影之后，暗角图案可以被呈现为后处理照明效应。
暗角图案900可以被置于各种位置。在一特定示例中，暗角图案的中心可以与透视显示器的中心对齐。在一示例中，暗角可以以屏幕空间坐标来呈现。屏幕空间坐标可以与有利位置对齐。通过以屏幕空间坐标呈现暗角图案，暗角图案可以被锁定至透视显示器的有利位置。如此，在用户移动其头部时，暗角图案可以随用户四处移动。此外，通过以屏幕空间坐标呈现暗角图案，暗角图案可以独立于现实世界背景而生成。如此，暗角图案不需要基于现实世界背景的特征来定位，并且不需要对现实世界背景特征的变化起反应。
另一方面，在一些实施例中，虚拟阴影可以以世界空间坐标来呈现。通过以世界空间坐标呈现虚拟阴影，虚拟阴影的形状和/或朝向可取决于现实世界背景的特征。例如，如果现实世界背景中的墙壁和虚拟对象彼此很远，则虚拟阴影会很大。另一方面，如果墙壁和虚拟对象彼此接近，则虚拟阴影可以很小。
此外，在一些实施例中，暗角图案可以仅应用于现实世界背景(例如，由虚拟聚光灯增强的透视显示器的区域)和虚拟阴影的相对亮度。暗角模式可以不应用于位于透视显示器上的其他地方的虚拟对象。例如，位于透视显示器上暗角图案外周界之外的虚拟对象可由用户查看，但该虚拟对象可能不投下一个虚拟阴影。
在图示示例中，相对亮度在同心圆图案中降低。将会理解，相对亮度可以根据任一适当图案降低或衰减。
图10示意性地示出计算系统1000的非限制性示例，计算系统1000包括计算设备1002，计算设备1002可以执行上述方法和过程的一个或多个。计算系统1000以简化形式示出。将要理解，计算设备可以用实质上任何计算机体系结构来实现，而不背离本描述的范围。在不同的实施例中，计算机系统1000可以采取以下形式：HMD外设控制计算机、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板电脑、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备、等等。
计算系统1000的计算设备1002包括逻辑机器1004和存储机器1006。计算设备1002可任选地包括输入子系统1007、通信子系统1008和/或图10未示出的其他组件。
逻辑机器1004可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑机器可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑机器可包括被配置为执行软件指令的一个或多个处理器。另外或替代地，逻辑机器可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑机器可以任选地包括遍布两个或更多设备分布的独立组件，所述设备可远程放置和/或被配置为进行协同处理。逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
存储机器1006可包括被配置成保持可由逻辑子系统为实现此处描述的方法和过程而执行的数据和/或指令的一个或多个物理的、非暂态设备。在实现这样的方法和过程时，可以变换数据保持子系统514的状态(例如，以保持不同的数据)。
存储机器1006可以包括可移动和/或内置设备。存储机器1006可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储机器1006可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、依序存取的、位置可定址的、文件可定址的以及/或者内容可定址的设备。
将会理解，存储机器1006包括一个或多个物理设备。然而，此处描述的指令的各方面可替代地由未由物理设备持有达有限持续期的通信介质(例如，电磁信号、光学信号等)传播。
逻辑机器1004和存储机器1006的各方面可以被一起集成到一个或多个硬件逻辑部件中。这种硬件逻辑部件可以包括例如场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在包括输入子系统1007时，输入子系统1007可以包括或相接于一个或多个用户输入设备，诸如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括或相接于所选择的自然用户输入(NUI)部件。这种部件可以是集成的或外围的，输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度照相机；用于运动检测和/或意图识别的头部跟踪器、眼部跟踪器、加速度仪和/或陀螺仪；以及用于访问大脑活动的电场传感部件。
在包括显示子系统时，诸如头戴式显示系统1014这样的显示子系统可用于呈现由存储机器1006所保持的数据的视觉表示。由于此处描述的方法和过程改变了存储机器所保持的数据、且因此转换了存储机器的状态，因此显示子系统的状态可同样地被转换以视觉地表示底层数据中的变化(例如，显示虚拟对象和/或创建虚拟阴影的幻象)。显示子系统可以包括使用实质上任何类型的透视显示器技术的一个或多个显示设备。这种显示设备可以在共享包封中与逻辑机器1004和/或存储机器1006组合，或者这种显示设备可以是外围显示设备。
在包括通信子系统1008时，通信子系统1008可以被配置成将计算设备1002与一个或多个其他计算设备(诸如远程计算设备1010)通信耦合。通信子系统1008可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算设备1002经由诸如因特网之类的网络1012发送消息至其他设备和/或从其他设备接收消息。
计算系统1000还包括一个或多个头戴式显示系统，诸如图10示意性描述的头戴式显示系统1014和1016。头戴式显示系统1014被进一步详细描述，包括透视显示器1018、光学传感器系统1020、位置传感器系统1022以及通信子系统1024。头戴式显示系统1016可类似地包括透视显示器、光学传感器系统、位置传感器系统以及通信子系统。之前描述的图1的头戴式显示系统100提供了代表头戴式显示系统1014和1016的非限制性示例。头戴式显示系统1014和1016可以经由有线或无线通信与计算设备1002和/或远程计算设备1010通信。在一些实施例中，头戴式显示系统可以包括板载计算设备。换言之，计算设备1002和头戴式显示系统1014可以集成在单个设备中。
透视显示器1018可以被配置成向通过透视显示器查看物理环境的用户视觉地扩增该物理环境的外观。例如，物理环境的外观可以通过经由透视显示器呈现的图形内容(例如，一个或多个像素，每一个像素都具有一个相应的色彩和亮度)来扩增。可以配置透视显示器，以使用户能通过在显示虚拟对象的一个或多个部分透明的像素来查看物理空间中的真实对象。
在一些实施例中，透视显示器1018可以支持在从物理环境接收到的光到达穿戴该头戴式显示系统的用户的眼睛之前、对所述光进行选择性过滤。这种过滤可以对个别像素或像素组来执行。举一个例子，环境光的选择性过滤和移除可由透视显示器以与它为呈现所照明的图形内容(例如，照亮的像素)而支持的分辨率不同的分辨率(例如，较低的分辨率或较高的分辨率)支持。在一些实施例中，透视显示器1018可以包括第一显示层和第二显示层，第一显示层添加以一个或多个照亮的像素为形式的光，第二显示层过滤从物理环境接收到的环境光。这些层可具有不同显示分辨率、像素密度，和/或显示能力。在一些实施例中，可以从透视显示器省略滤光器。
光学传感器系统1020可以包括一个或多个光学传感器，用于观察物理环境和/或用户的环境照明条件的可见频谱和/或红外光。这些光学传感器中的一者或多者可以采取深度照相机的形式。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
深度照相机可以采取结构化光深度照相机的形式，该结构光深度照相机被配置成投射包括许多离散特征(例如，多个行或多个点)的结构化的红外照明。深度相机可被配置成对从结构化照明被投影到其之上的场景中反射的结构化照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。
深度照相机可以采取飞行时间深度照相机的形式，该飞行时间深度照相机被配置成将脉冲的红外照明投射到一场景上。该深度相机可被配置成对从场景反射的脉冲照明进行检测。这些深度照相机中的两个或更多个可以包括被同步至脉冲照明的电子快门，但这两个或更多个深度照相机的整合时间可以不同，以使脉冲照明的像素解析的飞行时间(从源到该场景、然后到深度照相机)可以与在两个深度照相机的相应像素中接收到的相对数量的光区分开来。
位置传感器系统1022可以包括一个或多个位置传感器。这些位置传感器可以包括加速度仪和/或陀螺仪，该加速度仪和/或陀螺仪提供多维空间中的头戴式显示系统的位置和/或方向的指示或测量。举一个示例，位置传感器系统1022可以被配置为六轴或六自由度的位置传感器系统。该示例位置传感器系统可以例如包括三个加速度仪和三个陀螺仪以指示或测量三维空间内的头戴式显示系统沿着三个正交轴(例如，x、y、z)的位置变化、以及头戴式显示系统围绕该三个正交轴的方向变化(例如，偏转、俯仰、倾斜)。
位置传感器系统1022可以支持其他适当的定位技术，诸如GPS或其他全球导航系统。例如，位置传感器系统1022可以包括用于从卫星和/或地理基站接收无线信号广播的无线接收机(例如，GPS接收机或蜂窝接收机)。这些无线信号可用于标识头戴式显示系统的地理位置。从头戴式显示系统接收到的无线信号获得的定位信息可以与自其他位置传感器获得的定位信息组合，所述其他位置传感器诸如用于提供头戴式显示系统的位置和/或方向的指示的加速度仪和/或陀螺仪。尽管已经描述了位置传感器系统的具体示例，但是将会理解，可以使用其他适当的位置传感器系统。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。
Claims (11)
1.一种操作透视显示器的方法，所述方法包括：
用所述透视显示器来显示虚拟对象的图像，以使所述虚拟对象在通过所述透视显示器查看时出现在现实世界背景之前；以及
在通过所述透视显示器查看时用所述透视显示器来显示所述虚拟对象的虚拟阴影周围的照明，以使所述虚拟阴影看上去源自于相对于所述透视显示器的有利位置固定的聚光灯，其中显示所述虚拟对象的虚拟阴影周围的照明包括：用所述透视显示器的被照亮像素来增加现实世界背景的相对亮度，所述相对亮度在暗角图案中增加，所述暗角图案致使所述相对亮度随着离所述透视显示器的周界的接近度增加并且随着距所述虚拟阴影的距离增加而降低。
2.如权利要求1所述的方法，其特征在于，所述聚光灯相对于所述有利位置垂直偏移，并且所述聚光灯的视角相对于所述有利位置的视角向下呈一角度。
3.如权利要求1所述的方法，其特征在于，所述相对亮度在所述现实世界背景的整个无阴影部分上增加。
4.如权利要求1所述的方法，其特征在于，所述透视显示器不增加所述虚拟阴影的亮度。
5.如权利要求1所述的方法，其特征在于，所述相对亮度无需主动使所述虚拟阴影变暗而被增加。
6.如权利要求1所述的方法，其特征在于，所述虚拟阴影连同增加所述虚拟对象的虚拟阴影周围的现实世界背景的相对亮度而被主动变暗。
7.如权利要求1所述的方法，其特征在于，所述暗角图案的中心与所述透视显示器的中心对齐。
8.如权利要求1所述的方法，其特征在于，所述暗角图案不被应用于虚拟对象。
9.如权利要求1所述的方法，其特征在于，进一步包括：
用与所述现实世界背景的色彩相对应的显示光来增加所述现实世界背景的相对亮度。
10.如权利要求9所述的方法，其特征在于，所述现实世界背景的不同部分具有多个不同色彩，且所述显示光包括多个不同色彩，所述多个不同色彩被显示在所述透视显示器的不同部分上以与所述现实世界背景的不同色彩相对应。
11.一种包括透视显示器的显示系统，其特征在于，所述显示系统是头戴式显示系统或计算系统，并且被配置用于执行权利要求1至10的任一项的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/066,442 US9652892B2 (en) | 2013-10-29 | 2013-10-29 | Mixed reality spotlight |
| US14/066,442 | 2013-10-29 | ||
| PCT/US2014/062310 WO2015065860A1 (en) | 2013-10-29 | 2014-10-27 | Mixed reality spotlight |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105723420A CN105723420A (zh) | 2016-06-29 |
| CN105723420B true CN105723420B (zh) | 2019-07-23 |
Family
ID=51862604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480059769.9A Active CN105723420B (zh) | 2013-10-29 | 2014-10-27 | 用于混合现实聚光灯的方法和系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9652892B2 (zh) |
| EP (1) | EP3063739B1 (zh) |
| KR (1) | KR102257255B1 (zh) |
| CN (1) | CN105723420B (zh) |
| TW (1) | TW201527683A (zh) |
| WO (1) | WO2015065860A1 (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10007413B2 (en) | 2015-04-27 | 2018-06-26 | Microsoft Technology Licensing, Llc | Mixed environment display of attached control elements |
| US9713871B2 (en) | 2015-04-27 | 2017-07-25 | Microsoft Technology Licensing, Llc | Enhanced configuration and control of robots |
| US9898865B2 (en) * | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
| EP3113158A1 (en) * | 2015-07-03 | 2017-01-04 | Nokia Technologies Oy | Control of selective actuation of a light filter array |
| IL303608A (en) | 2016-03-31 | 2023-08-01 | Magic Leap Inc | Interactions with 3D virtual objects using pose controllers and multiple degrees of freedom |
| US10242643B2 (en) | 2016-07-18 | 2019-03-26 | Microsoft Technology Licensing, Llc | Constrained head-mounted display communication |
| US11249304B2 (en) * | 2016-12-02 | 2022-02-15 | Disney Enterprises, Inc. | Augmented reality camera frustum |
| JP7126507B2 (ja) * | 2017-02-16 | 2022-08-26 | シグニファイ ホールディング ビー ヴィ | 照明デバイスを介して仮想オブジェクトの存在を示すためのコントローラ及びその方法 |
| TWI656359B (zh) | 2017-05-09 | 2019-04-11 | 瑞軒科技股份有限公司 | 用於混合實境之裝置 |
| US10970918B2 (en) * | 2017-05-19 | 2021-04-06 | Huawei Technologies Co., Ltd. | Image processing method and apparatus using a pixelated mask image and terminal orientation for a reflection effect |
| US10274320B2 (en) | 2017-08-04 | 2019-04-30 | Motorola Solutions, Inc. | Method and device for providing safe zone information for incident area |
| EP3454300A1 (en) | 2017-09-12 | 2019-03-13 | HTC Corporation | Three dimensional reconstruction method, apparatus and non-transitory computer readable storage medium thereof |
| CN108010118B (zh) * | 2017-11-28 | 2021-11-30 | 杭州易现先进科技有限公司 | 虚拟对象处理方法、虚拟对象处理装置、介质和计算设备 |
| KR102004991B1 (ko) * | 2017-12-22 | 2019-10-01 | 삼성전자주식회사 | 이미지 처리 방법 및 그에 따른 디스플레이 장치 |
| US10997781B1 (en) * | 2017-12-27 | 2021-05-04 | Disney Enterprises, Inc. | Systems and methods of real-time ambient light simulation based on generated imagery |
| WO2019133995A1 (en) * | 2017-12-29 | 2019-07-04 | Miu Stephen | System and method for liveness detection |
| US10818093B2 (en) * | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| KR101975757B1 (ko) * | 2018-09-28 | 2019-05-08 | 오재환 | 상태감지 투시 보관함 |
| US11087701B1 (en) * | 2018-10-26 | 2021-08-10 | Facebook Technologies, Llc | Head mounted display with angle compensation |
| US10838214B2 (en) | 2018-12-14 | 2020-11-17 | Facebook Technologies, Llc | Angle compensating lens and display |
| US11620794B2 (en) | 2018-12-14 | 2023-04-04 | Intel Corporation | Determining visually reflective properties of physical surfaces in a mixed reality environment |
| GB2581573B (en) * | 2018-12-19 | 2022-01-12 | Bae Systems Plc | Method and system for adjusting luminance profiles in head-mounted displays |
| US10783819B1 (en) | 2019-01-22 | 2020-09-22 | Facebook Technologies, Llc | Digital color dispersion correction |
| KR102314008B1 (ko) * | 2019-12-20 | 2021-10-18 | 네이버랩스 주식회사 | 증강 현실 기반 내비게이션 환경에서 객체의 그림자를 표시하기 위한 전자 장치 및 그의 동작 방법 |
| WO2021186581A1 (ja) | 2020-03-17 | 2021-09-23 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
| KR20230103379A (ko) * | 2021-12-31 | 2023-07-07 | 삼성전자주식회사 | Ar 처리 방법 및 장치 |
| CN115981467B (zh) * | 2022-12-27 | 2023-09-01 | 北京字跳网络技术有限公司 | 一种图像合成参数确定方法、图像合成方法及装置 |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US2763772A (en) * | 1952-08-25 | 1956-09-18 | Sheldon H Hine | Photographic illuminating device |
| JPH0778267A (ja) | 1993-07-09 | 1995-03-20 | Silicon Graphics Inc | 陰影を表示する方法及びコンピュータ制御表示システム |
| US5737031A (en) | 1996-07-30 | 1998-04-07 | Rt-Set | System for producing a shadow of an object in a chroma key environment |
| CA2233047C (en) | 1998-02-02 | 2000-09-26 | Steve Mann | Wearable camera system with viewfinder means |
| US6614408B1 (en) | 1998-03-25 | 2003-09-02 | W. Stephen G. Mann | Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety |
| JP2000284349A (ja) | 1999-03-30 | 2000-10-13 | Fuji Photo Film Co Ltd | 撮像装置 |
| US6552731B1 (en) | 1999-04-16 | 2003-04-22 | Avid Technology, Inc. | Multi-tone representation of a digital image on a digital nonlinear editing system |
| EP1074943A3 (en) | 1999-08-06 | 2004-03-24 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US6980697B1 (en) | 2001-02-01 | 2005-12-27 | At&T Corp. | Digitally-generated lighting for video conferencing applications |
| US6924798B2 (en) | 2001-05-22 | 2005-08-02 | Intel Corporation | Real-time multi-resolution shadows |
| US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
| US7301547B2 (en) | 2002-03-22 | 2007-11-27 | Intel Corporation | Augmented reality system |
| US20050007460A1 (en) * | 2003-07-08 | 2005-01-13 | Stavely Donald J. | Systems and methods for counteracting lens vignetting |
| US7508455B2 (en) | 2004-03-26 | 2009-03-24 | Ross Video/Live Production Technology | Method, system, and device for automatic determination of nominal backing color and a range thereof |
| CN101002253A (zh) | 2004-06-01 | 2007-07-18 | 迈克尔·A.·韦塞利 | 水平透视模拟器 |
| US7986351B2 (en) | 2005-01-27 | 2011-07-26 | Qualcomm Incorporated | Luma adaptation for digital image processing |
| ES2325374T3 (es) | 2005-05-03 | 2009-09-02 | Seac02 S.R.L. | Sistema de realidad aumentada con identificacion de objeto marcador real. |
| JP4093279B2 (ja) | 2005-10-24 | 2008-06-04 | ソニー株式会社 | 背面投射型画像表示装置 |
| US7623137B1 (en) | 2006-02-15 | 2009-11-24 | Adobe Systems, Incorporated | Successive-convolution-compositing technique for rendering translucent surfaces |
| JP2007219082A (ja) | 2006-02-15 | 2007-08-30 | Canon Inc | 複合現実感表示システム |
| US8139059B2 (en) | 2006-03-31 | 2012-03-20 | Microsoft Corporation | Object illumination in a virtual environment |
| EP1865462A1 (de) | 2006-06-09 | 2007-12-12 | Carl Zeiss NTS GmbH | Verfahren zur Binarisierung eines digitalen Grauwertbildes |
| KR100925419B1 (ko) | 2006-12-19 | 2009-11-06 | 삼성전자주식회사 | 라플라시안 피라미드를 이용한 컬러 영상의 화질 개선 장치및 그 방법 |
| KR101310228B1 (ko) * | 2006-12-26 | 2013-09-24 | 삼성전자주식회사 | 디지털 카메라의 비네팅 효과 구현 방법 |
| JP4948218B2 (ja) | 2007-03-22 | 2012-06-06 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| US20090225001A1 (en) | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
| US9082213B2 (en) | 2007-11-07 | 2015-07-14 | Canon Kabushiki Kaisha | Image processing apparatus for combining real object and virtual object and processing method therefor |
| US20090279178A1 (en) * | 2008-05-09 | 2009-11-12 | Chengwu Cui | Scanhead For Image Illumination Uniformity And Method Thereof |
| US20100287500A1 (en) | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
| JP2010145436A (ja) | 2008-12-16 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
| US8325186B2 (en) | 2009-05-21 | 2012-12-04 | Sony Computer Entertainment America Llc | Method and apparatus for rendering shadows |
| DE102009037835B4 (de) * | 2009-08-18 | 2012-12-06 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer realen Umgebung |
| US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US20110234631A1 (en) * | 2010-03-25 | 2011-09-29 | Bizmodeline Co., Ltd. | Augmented reality systems |
| US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
| US20120026079A1 (en) | 2010-07-27 | 2012-02-02 | Apple Inc. | Using a display abstraction to control a display |
| US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
| US8872853B2 (en) | 2011-12-01 | 2014-10-28 | Microsoft Corporation | Virtual light in augmented reality |
| US9311751B2 (en) | 2011-12-12 | 2016-04-12 | Microsoft Technology Licensing, Llc | Display of shadows via see-through display |
| KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
| US9147111B2 (en) | 2012-02-10 | 2015-09-29 | Microsoft Technology Licensing, Llc | Display with blocking image generation |
| US20130215395A1 (en) * | 2012-02-21 | 2013-08-22 | Lin Li | Wide-angle imaging lens and low-profile projection light engine using the same |
| US9270959B2 (en) * | 2013-08-07 | 2016-02-23 | Qualcomm Incorporated | Dynamic color shading correction |
| US9001238B1 (en) * | 2013-09-16 | 2015-04-07 | Himax Imaging Limited | Lens shading correction method and image signal processor for performing the same |
-
2013
- 2013-10-29 US US14/066,442 patent/US9652892B2/en active Active
-
2014
- 2014-09-25 TW TW103133251A patent/TW201527683A/zh unknown
- 2014-10-27 EP EP14793743.7A patent/EP3063739B1/en active Active
- 2014-10-27 CN CN201480059769.9A patent/CN105723420B/zh active Active
- 2014-10-27 KR KR1020167011797A patent/KR102257255B1/ko active IP Right Grant
- 2014-10-27 WO PCT/US2014/062310 patent/WO2015065860A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN105723420A (zh) | 2016-06-29 |
| EP3063739B1 (en) | 2021-09-01 |
| US20150116354A1 (en) | 2015-04-30 |
| KR102257255B1 (ko) | 2021-05-26 |
| TW201527683A (zh) | 2015-07-16 |
| KR20160079794A (ko) | 2016-07-06 |
| EP3063739A1 (en) | 2016-09-07 |
| US9652892B2 (en) | 2017-05-16 |
| WO2015065860A1 (en) | 2015-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105723420B (zh) | 用于混合现实聚光灯的方法和系统 | |
| US10083540B2 (en) | Virtual light in augmented reality | |
| AU2018236457B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
| KR101960980B1 (ko) | 증강 현실 디스플레이용 최적화 초점 영역 | |
| US9734633B2 (en) | Virtual environment generating system | |
| JP5976019B2 (ja) | 写実的に表されたビューのテーマベースの拡張 | |
| US20180182160A1 (en) | Virtual object lighting | |
| CN105359082B (zh) | 用于用户接口导航的系统和方法 | |
| AU2022200841A1 (en) | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same | |
| WO2020023383A1 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
| CN112154405A (zh) | 三维推送通知 | |
| US20180158390A1 (en) | Digital image modification | |
| US20180330546A1 (en) | Wind rendering for virtual reality computing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |