CN110692237A - 照明插入内容 - Google Patents

照明插入内容 Download PDF

Info

Publication number
CN110692237A
CN110692237A CN201880035466.1A CN201880035466A CN110692237A CN 110692237 A CN110692237 A CN 110692237A CN 201880035466 A CN201880035466 A CN 201880035466A CN 110692237 A CN110692237 A CN 110692237A
Authority
CN
China
Prior art keywords
image
content
region
determined
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880035466.1A
Other languages
English (en)
Other versions
CN110692237B (zh
Inventor
伊万·诺伊兰德
克洛伊·勒让德尔
保罗·德伯韦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210479381.0A priority Critical patent/CN115022614A/zh
Publication of CN110692237A publication Critical patent/CN110692237A/zh
Application granted granted Critical
Publication of CN110692237B publication Critical patent/CN110692237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于照明插入内容的系统和方法。例如，插入内容可以包括被插入到物理空间的图像中的增强现实内容。示例系统和方法可以包括确定图像内用于插入内容的位置。例如，图像可以由相机设备捕获。示例系统和方法还可以包括：基于所确定的用于插入内容的位置来识别图像的区域；基于所确定的区域来确定至少一个照明参数；以及使用所确定的至少一个照明参数来渲染内容。

Description

照明插入内容
相关申请的交叉引用
本申请是2018年10月3日提交的美国申请No.16/151,276的继续并要求其优先权，该申请要求于2017年10月4日提交的美国申请No.62/568,116的优先权，其全部公开内容通过引用合并于此。
本申请要求于2017年10月4日提交的美国申请No.62/568,116的优先权，其全部公开内容通过引用合并于此。
背景技术
内容可以插入图像或用户的视野中。例如，增强现实(AR)系统可以通过插入内容来为用户生成沉浸式增强环境。沉浸式增强环境可以通过将计算机生成的内容叠加在用户真实世界的视野上来生成。例如，计算机生成的内容可以包括标签、文本信息、图像、子图形和三维实体。这些图像可以显示在用户视野中的某个位置，以便看起来像覆盖现实世界中的对象。类似地，计算机生成的内容可以覆盖在显示的图像上。应用于插入内容的照明可能会影响插入内容与图像其余部分的融合程度。
发明内容
本公开描述了用于照明插入的内容的系统和方法。例如，插入的内容可以包括被插入到物理空间的图像中的增强现实内容。
在一方面，示例方法可以包括确定图像内用于插入内容的位置。例如，图像可以由相机设备捕获。该示例方法还可以包括：基于所确定的用于插入内容的位置来识别图像的区域；基于所识别的区域来确定至少一个照明参数；以及使用所确定的至少一个照明参数来渲染内容。
在另一方面，示例方法包括捕获图像。图像可以由便携式计算设备的相机组件捕获。该方法还可以包括：确定图像内用于插入内容的位置；以及基于所确定的位置在图像平面上的投影来识别图像的第一区域。该方法可以进一步包括从图像的第一区域提取第一图像属性，并基于第一图像属性确定上照明参数。该方法还可以包括：基于所确定的位置在图像平面上的投影来识别图像的第二区域；从图像的第二区域提取第二图像属性；以及基于第二图像属性确定下照明参数。该方法还可以包括使用所确定的上照明参数和下照明参数来渲染内容。
在另一方面，一种系统，包括：相机；至少一个处理器；以及存储指令的存储器，所述指令在由至少一个处理器执行时使所述系统：捕获图像；以及确定图像内用于插入内容的位置；基于所确定的用于插入内容的位置来识别图像的区域；基于所识别的区域确定至少一个照明参数；使用所确定的至少一个照明参数来渲染内容；将渲染的内容插入图像以生成增强图像；并使增强图像显示出来。
一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书和附图以及根据权利要求书，其它特征将显而易见。
附图说明
图1是示出根据示例实施方式的系统的框图。
图2是示例物理空间的第三人称视角，其中用户通过图1的示例HMD正在体验AR环境。
图3A、3B和3C是描绘根据本文所述的实施方式的示例头戴式显示设备和控制器的图。
图4是经由示例便携式电子设备经历AR环境的用户的示意图。
图5是根据本文描述的实施方式的插入内容的示例方法的图。
图6是根据本文描述的实施方式的插入内容的示例方法的图。
图7A-7D是根据本文所述的实施方式的插入内容的步骤的示意图。
图8示出了可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。
具体实施方式
现在将详细参考本公开的非限制性示例，其示例在附图中示出。下面通过参考附图描述示例，其中，相同的附图标记指代相同的元件。当示出相同的附图标记时，不重复对应的描述，并且感兴趣的读者对于相同的元件的描述可以参考先前讨论的附图。
增强现实(AR)系统包括将计算机生成的内容插入用户对用户周围物理空间的感知的系统。计算机生成的内容可以包括标签、文本信息、图像、子画面和三维实体。在一些实施方式中，出于娱乐、教育或信息目的而插入内容。
示例AR系统是便携式电子设备，例如智能电话，其包括相机和显示设备。便携式电子设备可以使用相机捕获图像并且在显示设备上显示AR图像，其包括覆盖在由相机捕获的图像上计算机生成的内容。
另一示例AR系统包括用户佩戴的头戴式显示器(HMD)。HMD包括位于用户眼前的显示设备。例如，HMD可能会遮蔽用户的整个视野，因此用户只能看到显示设备显示的内容。在一些示例中，显示设备被配置为显示两个不同的图像，每个用户的眼睛都可以看到一个。例如，一个图像中的至少一些内容可以相对于另一图像中的相同内容稍微偏移，以便由于视差而产生对三维场景的感知。在一些实施方式中，HMD包括腔室，其中诸如智能电话的便携式电子设备可以放置在该腔室中，以允许通过HMD观看便携式电子设备的显示设备。
另一示例AR系统包括HMD，该HMD允许用户在佩戴HMD的同时看到物理空间。HMD可以包括微型显示设备，该微型显示设备可以显示覆盖用户视野的计算机生成的内容。例如，HMD可以包括至少部分透明的遮阳板，该遮阳板包括组合器，该组合器允许来自物理空间的光到达用户的眼睛，同时还将微显示设备显示的图像向用户的眼睛反射。
当将计算机生成的内容插入图像中时，可以将照明应用于该内容，以使该内容与图像的其余部分更紧密地匹配(例如，用户周围环境中的照明)。例如，可以使用光源或环境光图来渲染三维模型，该光源图或环境光图近似于在图像中捕获的光照条件。
AR系统可能需要以高速率实时刷新显示给用户的图像，诸如每秒24帧(FPS)、30FPS、60FPS或另一速率。用于根据图像确定或估计场景中的照明的传统技术可能需要进行大量的计算(或处理器周期)，以至于它们无法在AR系统中执行。一些传统技术需要有关环境中照明的先验信息，这对于使用AR系统的许多环境可能不可用。本文进一步描述的技术允许以逼真的方式来照明插入的内容，而不需要环境照明的先验知识，同时使用比传统技术少的处理器周期。另外，由于本文所述技术所需的处理周期数量减少，这些技术可允许以逼真的方式将内容插入捕获的图像/视频中，同时使用的功率比传统技术所需的功率少。在包括电池供电的移动设备的AR系统中，为插入的内容提供照明所需的功率的减少尤其重要。
示例AR系统捕获用户周围的物理空间的图像。系统然后可以确定插入内容的位置。例如，系统可以接收指示内容在屏幕上的位置的用户输入。可以将内容放置在用户指示的位置，或者放置在与诸如地板或地面的表面相对应的平面上，其在用户指示的位置下方。
接下来，系统可以确定图像中与该位置相对应的一个或多个区域。然后，系统可以从一个或多个区域提取图像属性，并使用这些属性来点亮内容。例如，系统可以从区域之一中提取亮度(或发光度)值，缩放提取的亮度值，并将缩放后的亮度值用作顶置照明光源的亮度属性。该系统还可以从另一个区域中提取亮度(或亮度)值，缩放提取的亮度值，并将缩放后的亮度值用作下光源的亮度属性。在一些实施方式中，上光源的亮度值与下光源的亮度相比以更大的标量值缩放。
在一些实施方式中，还从一个或多个区域提取诸如色调和饱和度的其它属性。这些特性可以被修改(例如，缩放，部分去饱和)，然后也用作上光源和/或下光源的一个或多个特性。
在一些实施方式中，从中提取属性的图像区域的尺寸或如何修改所提取的属性基于插入的内容。例如，插入的内容可以与识别一个或多个区域尺寸(例如，相对于插入的内容的尺寸的像素尺寸或标量值)、缩放值或去饱和值的数据值(或数据结构)相关联以用于为实体生成光源。然后可以将照明的内容呈现给用户(例如，覆盖在用户周围物理空间的捕获图像上，投影/显示在位于用户视野内的光学组合器上等)。
尽管本文描述的许多示例涉及将视觉内容插入AR环境的AR系统，但是也可以在其它系统中使用本文描述的技术来插入内容。例如，本文描述的技术可以用于将内容插入图像或视频。
图1是示出根据示例实施方式的系统100的框图。系统100为系统100的用户生成增强现实(AR)环境。在一些实施方式中，系统100包括计算设备102、头戴式显示设备(HMD)104和AR内容源106。还示出了网络108，计算设备102可以通过网络108与AR内容源106通信。
计算设备102可包括存储器110、处理器组件112、通信模块114、传感器系统116和显示设备118。存储器110可包括AR应用120、AR内容122、图像缓冲器124、图像分析器126、照明引擎128和渲染引擎130。计算设备102还可以包括各种用户输入部件(未示出)，例如使用无线通信协议与计算设备102进行通信的控制器。在一些实施方式中，计算设备102是移动设备(例如，智能电话)，其可以被配置为经由HMD 104向用户提供或输出AR内容。例如，计算设备102和HMD 104可以通过有线连接(例如，通用串行总线(USB)电缆)或通过无线通信协议(例如，任何WiFi协议、任何蓝牙协议、Zigbee等)进行通信。附加地或替代地，计算设备102是HMD 104的组件，并且可以被包含在HMD 104的壳体内。
存储器110可以包括一个或多个非暂时性计算机可读存储介质。存储器110可以存储可用于为用户生成AR环境的指令和数据。
处理器组件112包括一个或多个设备，这些设备能够执行指令，例如由存储器110存储的指令，以执行与生成AR环境相关的各种任务。例如，处理器组件112可以包括中央处理单元(CPU)和/或图形处理器单元(GPU)。例如，如果存在GPU，则可以将一些图像/视频渲染任务(例如基于确定的至少一个照明参数遮蔽内容)从CPU卸载到GPU。
通信模块114包括用于与诸如AR内容源106的其它计算设备进行通信的一个或多个设备。通信模块114可以经由诸如网络108的无线或有线网络进行通信。
传感器系统116可以包括各种传感器，例如相机组件132。传感器系统116的实施方式还可以包括其它传感器，包括例如惯性运动单元(IMU)134、光传感器、音频传感器、图像传感器、距离和/或接近传感器、诸如电容性传感器的接触传感器、计时器和/或其它传感器和/或传感器的不同组合。
IMU 134检测计算设备102和/或HMD 104的运动、移动和/或加速度。IMU134可包括各种不同类型的传感器，例如，加速度计、陀螺仪、磁力计和其它此类传感器。可以基于IMU134中包括的传感器提供的数据来检测和追踪HMD 104的位置和定向。检测到的HMD 104的位置和定向可以允许系统检测并追踪用户的注视方向和头部运动。
在一些实施方式中，AR应用可以使用传感器系统116来确定用户在物理空间内的位置和方向和/或识别物理空间内的特征或对象。
相机组件132捕获计算设备102周围的物理空间的图像和/或视频。相机组件132可以包括一个或多个相机。相机组件132还可包括红外相机。
AR应用120可以经由HMD和/或计算设备102的一个或多个输出设备(诸如显示设备118、扬声器和/或其它输出设备)向用户呈现AR内容或向用户提供AR内容。在一些实施方式中，AR应用120包括存储在存储器110中的指令，当由处理器组件112执行时，该指令使处理器组件112执行本文所述的操作。例如，AR应用120可以基于例如AR内容(例如，AR内容122和/或从AR内容源106接收到的AR内容)来向用户生成并呈现AR环境。AR内容122可以包括可以在HMD104中的用户视野的一部分上显示的诸如图像或视频的内容。AR环境还可以包括物理(真实世界)环境和物理(真实世界)实体的至少一部分。例如，可以利用与用户所位于的物理空间基本匹配的照明来生成内容。内容可以包括覆盖物理空间各个部分的对象。内容可以呈现为平面图像或三维(3D)对象。3D对象可以包括表示为多边形网格的一个或多个对象。多边形网格可以与各种表面纹理(例如颜色和图像)相关联。可以基于一个或多个各种照明参数对多边形网格进行遮蔽。
AR应用120可以基于AR内容122使用图像缓冲器124、图像分析器126、照明引擎128和渲染引擎130来生成用于经由HMD 104显示的图像。例如，由相机组件132捕获的一个或多个图像可以存储在图像缓冲器124中。AR应用120可以确定插入内容的位置。例如，AR应用可以提示用户识别用于插入内容的位置，然后可以接收指示该内容在屏幕上的位置的用户输入。AR应用可以基于该用户输入来确定插入的内容的位置。例如，要插入的内容的位置可以是用户指示的位置。在一些实施方式中，通过将用户指示的位置映射到与图像中的诸如地板或地面的表面相对应的平面来确定位置(例如，通过在平面上找到由用户指示的位置以下的位置)来确定位置。也可以基于为相机组件捕获的先前图像中的内容确定的位置来确定位置(例如，AR应用可以使内容在图像中捕获的物理空间内识别的表面上移动)。
图像分析器126然后可以基于所确定的位置来识别存储在图像缓冲器124中的图像的区域。在一些实施方式中，区域的尺寸或形状基于插入的内容。例如，区域的尺寸可以基于屏幕投影的尺寸或插入的内容在投影到AR显示器上时所覆盖的区域的尺寸。例如，如果所插入的内容被缩小或扩展(例如，基于用户输入)，则所识别的区域的尺寸可以相应地缩小或扩展。类似地，随着插入的内容被放置得离用户更近或更远，插入的内容覆盖的图像部分可能会增加或减少。在这种情况下，所识别区域的尺寸可以与插入内容所覆盖的图像区域的尺寸的变化成比例地增大或减小。还可以至少部分地基于与插入的内容相关联的数据值来确定区域的尺寸。数据值可以例如以绝对项(例如，像素尺寸)或相对项(例如，将应用于覆盖的尺寸的标量值)指定区域尺寸。可以从与插入的内容相关联的数据结构中检索数据值，并且该数据值可以是AR内容122的组成部分。
图像分析器126然后可以确定该区域的一个或多个属性，例如亮度(或光度)、色调和饱和度。在一些实施方式中，图像分析器126过滤图像以确定性质。例如，图像分析器126可以将多级渐远纹理(mipmap)过滤器(例如，三线性多级渐远纹理过滤器)应用于图像，以生成图像的较低分辨率表示的序列。图像分析器126可以识别其中单个像素或少量像素对应于该区域的图像的较低分辨率表示。然后可以从单个像素或少量像素确定区域的属性。备选地，可以通过对区域中的一些像素(例如，随机样本)或全部像素求平均来确定区域的属性。然后，照明引擎128可以基于所确定的属性来生成一个或多个光源或环境图。渲染引擎130可以使用光源或环境图来渲染插入的内容或包括插入的内容的增强图像。在一些实施方式中，与插入的内容相关联的数据值用于修改所确定的属性。例如，与插入的内容相关联的数据值可以指定用于调整提取的饱和度值、提取的色调值或提取的亮度值的标量值。
在一些实施方式中，数据值(例如，标量值)可以包括局部变暗的标量值。此标量值可以约束模型可以返回的最小亮度，如下所示：根据局部变暗标量，将最小返回亮度从黑色插值到整个图像的平均亮度。此标量的值1.0可使模型返回黑色，而0.0则强制模型至少返回相机提供的平均亮度(对于较亮的区域，该模型可以超过最小值)。可以为每个插入的对象指定该标量(范围从0.0到1.0)，使它可以保持一致的明亮照明，而当放置在均匀黑暗的场景中时似乎不会在黑暗中发光。
在一些实施方式中，图像缓冲器124是存储器110的区域，其被配置以存储一个或多个图像。在一些实施方式中，计算设备102将由相机组件132捕获的图像作为纹理存储在图像缓冲器124内。替代地或附加地，图像缓冲器还可包括与处理器组件112集成在一起的存储器位置，例如GPU上的专用随机存取存储器(RAM)。
在一些实施方式中，图像分析器126、照明引擎128和渲染引擎130可以包括存储在存储器110中的指令，该指令在由处理器组件112执行时使处理器组件112执行本文所述的操作以生成(例如，经由HMD104)显示给用户的图像或系列图像。
AR应用120可以基于从相机组件132、IMU 134和/或传感器系统116的其它部件接收到的输入来更新AR环境。例如，IMU 134可以检测计算设备102和/或HMD 104的运动、移动和加速度。IMU134可包括各种不同类型的传感器，例如，加速度计、陀螺仪、磁力计和其它此类传感器。可以基于IMU 134中包括的传感器提供的数据来检测和追踪HMD 104的位置和定向。检测到的HMD 104的位置和定向可以允许系统依次检测和追踪用户的位置和物理空间中的方向。基于检测到的位置和方向，AR应用120可以更新AR环境以反映环境中用户的改变的方向和/或位置。
尽管在图1中将计算设备102和HMD 104示为单独的设备，在一些实施方式中，计算设备102可以包括HMD 104。在一些实施方式中，计算设备102经由电缆与HMD 104通信，如图1所示。例如，计算设备102可以将视频信号和/或音频信号发送到HMD 104为用户显示，并且HMD 104可以将运动、位置和/或方向信息发送到计算设备102。
AR内容源106可以生成并输出AR内容，该AR内容可以经由网络108被分发或发送到一个或多个计算设备，诸如计算设备102。在示例实施方式中，AR内容包括三维场景和/或图像。另外，AR内容可以包括流传输或分发到一个或多个计算设备的音频/视频信号。AR内容还可以包括运行在计算设备102上以生成3D场景、音频信号和/或视频信号的AR应用。
网络108可以是互联网、局域网(LAN)、无线局域网(WLAN)和/或任何其它网络。例如，计算设备102可以经由网络接收音频/视频信号，其可以在说明性示例实施方式中作为AR内容的一部分被提供。
图2是示例物理空间200的第三人称视角，其中用户正在通过示例HMD 104体验AR环境202。AR环境202由计算设备102的AR应用120生成并通过HMD 104显示给用户。
AR环境202包括显示在物理空间200的图像上方的插入内容204。在该示例中，内容204是乌龟，其包括下阴影区域206和上阴影区域208。可以基于例如由照明引擎128确定的下光源来对下阴影区域206进行遮蔽。类似地，可以基于例如由照明引擎128确定的上光源来对上阴影区域208进行遮蔽。下阴影区域206可以包括插入内容204的区域，该区域具有向下指向的表面法线向量(也称为表面法线)(即，表面法线向量的竖直分量小于零)并且上阴影区域208可以包括插入内容204的区域，该区域具有向上指向的表面法线(即，表面法线向量的竖直分量大于零)。
在一些实施方式中，AR环境202作为单个图像或一对立体图像被提供给用户，该单个图像或一立体图像基本上占据了用户的所有视野并且经由HMD 104被显示给用户。在其它实施方式中，通过在至少占据用户视场的一部分的至少部分透明的组合器上显示/投影插入的内容204来向用户提供AR环境。例如，HMD 104的部分可以是透明的，并且当佩戴HMD104时，用户可能能够通过那些部分看到物理空间200。
图3A和3B是示例HMD 300的透视图，例如图2中用户所佩戴的HMD 104，图3C示出了用于控制HMD 300和/或与HMD 300交互的示例手持电子设备302。
手持式电子设备302可以包括其中容纳设备302的内部部件的壳体303和位于壳体303外部的用户可访问的用户界面304。用户界面304可以包括被配置为接收用户触摸输入的触敏表面306。用户界面304还可包括用于用户操纵的其它部件，例如，致动按钮、旋钮、操纵杆等。在一些实施方式中，用户界面304的至少一部分可以被配置为触摸屏，其中用户界面304的该部分被配置为向用户显示用户界面项目，并且还在触敏表面306上从用户接收触摸输入。手持电子设备302还可包括光源308，该光源308被配置为例如响应于在用户界面304处接收到的用户输入而通过壳体303中的端口选择性地发射光，例如光束或射线。
HMD 300可以包括联接到框架320的壳体310，以及音频输出设备330，该音频输出设备330包括例如安装在耳机中的扬声器，音频输出设备330也联接到框架320。在图3B中，壳体310的前部310a被旋转远离壳体310的基部310b，使得容纳在壳体310中的一些部件是可见的。显示器340可被安装在壳体310的前部310a的面向内部的侧面上。镜片350可被安装在壳体310中，当前部310a处于抵靠在壳体310的基部310b上闭合位置中时，在用户的眼睛和显示器340之间。在一些实施方式中，HMD 300可以包括感测系统360和控制系统370，感测系统360包括各种传感器，该控制系统370包括处理器390和各种控制系统设备以促进HMD300的操作。
在一些实施方式中，HMD 300可以包括相机380以捕获静止图像和运动图像。相机380捕获的图像可以用于帮助追踪用户和/或手持电子设备302在现实世界中的物理位置，或者相对于增强环境的物理空间，和/或可以在显示器340上以直通模式显示给用户，从而允许用户暂时离开增强环境并返回到物理环境，而无需移除HMD 300或以其它方式改变HMD300的配置以将壳体310移出用户视线。
例如，在一些实施方式中，感测系统360可包括惯性测量单元(IMU)362，该惯性测量单元(IMU)362包括各种不同类型的传感器，例如，加速度计、陀螺仪、磁力计和其它此类传感器。可以基于由IMU 362中包括的传感器提供的数据来检测和追踪HMD 300的位置和方向。检测到的HMD 300的位置和方向可以允许系统检测并追踪用户的头部注视方向和运动。
在一些实施方式中，HMD 300可以包括注视追踪设备365，以检测和追踪用户的眼睛注视。注视追踪设备365可以包括例如图像传感器365A或多个图像传感器365A，以捕获用户眼睛的图像，例如用户眼睛的特定部分，例如瞳孔，以检测并追踪用户注视的方向和运动。在一些实施方式中，HMD 300可以被配置为使得检测到的注视被处理为用户输入，以被转换为沉浸式虚拟体验中的相应交互。
在一些实施方式中，HMD 300包括可移除地布置在壳体310的腔室内的便携式电子设备，例如智能电话。例如，显示器340和相机380可以由便携式电子设备提供。当腔室关闭时(如图3A所示)，显示器340与透镜350对准，使得用户可以通过每只眼睛观看显示器340的至少一部分(由便携式电子设备提供)。相机380可以与壳体310中的孔对准，使得HMD 300的便携式电子设备可以在布置在壳体310中时捕获图像。
图4是用户经由示例便携式电子设备402体验AR环境202的示意图。便携式电子设备402是计算设备102的示例。便携式电子设备402可以是智能电话、平板电脑或其它类型的便携式计算设备。在该示例中，用户通过便携式电子设备的显示设备418体验AR环境。例如，显示设备418可以包括可以显示图像和/或视频的屏幕。
图5是根据本文描述的实施方式的插入内容的示例方法500的图。该方法500可以例如由计算设备102执行以为用户提供AR环境。
在操作502，接收图像。接收图像可以包括利用诸如相机组件132的相机组件来捕获图像。在一些实施方式中，接收图像可以包括访问存储在存储器位置中的先前捕获的图像。还可从另一计算设备(例如可通过网络访问的服务器)接收图像。
在操作504，确定要插入的内容的位置。在一些实施方式中，要插入的内容是AR内容。在至少一些实施方式中，内容包括一个或多个三维模型，例如多边形网格。例如，可以通过在所接收的图像中识别基本平坦的表面并将该内容定位在所识别的表面(例如，可以对应于地面或地板的表面)上来确定要插入的内容的位置。还可以至少部分地通过用户输入来确定要插入的内容的位置。例如，用户可以识别图像内用于插入内容的位置。在一些实施方式中，可以将内容放置在与用户识别的位置相对应的水平面上的位置处(例如，在用户识别的位置下方的位置，从而将内容定位在平面上)。还可以基于先前图像(即，相机组件捕获的视频的先前帧)中内容的位置来确定内容的位置。例如，内容可能相对于物理空间四处移动。
在操作506，基于所确定的要插入内容的位置来识别图像的区域。在一些实施方式中，将所确定的位置处的内容投影到图像平面上。附加地或替代地，包围内容(或内容的一部分)的包围框可以被投影到图像平面上。如前所述，区域的尺寸可以基于插入的内容的尺寸和/或与插入的内容相关联的数据值。
在一些实施方式中，基于所确定的内容位置来识别多个区域。例如，如下面进一步描述的，可以确定多个照明参数，例如一个或多个上照明参数和一个或多个下照明参数。在一些实施方式中，不同的区域被识别并用于确定一个或多个上照明参数和一个或多个下照明参数。例如，下照明参数可以基于比上照明参数小的区域。
在操作508，基于所识别出的区域来确定照明参数。例如，可以为所识别出的区域确定亮度(或发光度)值。如果图像以红-绿-蓝(RGB)颜色空间或类似的颜色空间表示，则可以将图像转换为亮度加色度颜色空间。替代地，可以根据需要将RGB像素值分别转换为亮度值。可以通过对区域内像素的亮度值求平均，通过对区域中的像素进行采样(例如，随机)，或者对区域进行过滤(例如，下采样)来确定亮度值。在一些实施方式中，像素值可以包括像素的颜色。
在一些实施方式中，使用多级渐远纹理过滤器处理图像，以逐渐降低的分辨率生成图像表示的序列。然后，可以通过识别由多级渐远纹理过滤器生成的表示(其中一个(或少量)像素与所识别的区域相对应并检索/组合一个或多个对应像素的亮度值)来确定该区域的亮度值。
在一些实施方式中，确定照明参数还包括确定所识别区域的色调和/或饱和度值。色调和/或饱和度值可以以与如何为所识别的区域确定亮度值的方式类似的方式来确定。
所确定的照明参数可以被缩放或以其它方式调整。例如，所确定的照明参数的亮度值可以是从该区域确定的亮度值的倍数。在一些实施方式中，倍数是5.5。倍数可以选自4-7的范围，或2-8的范围或另一个范围。通过缩放从图像确定的亮度值来增加所确定的照明参数的亮度值，可以抵消由图像中捕获的表面导致的变暗(例如，地板的图像通常比照明地板的光源要暗得多)。类似地，饱和度值可以按比例缩放以使色度去饱和(即降低饱和度值)，因为从图像区域提取的色度的重要部分很可能归因于而不是光源的图像的区域中显示的一个或多个对象的颜色。在一些实施方式中，照明参数的饱和度值等于从所识别的区域确定的饱和度值乘以0.2。
另外，可以确定多组照明参数。例如，可以确定上照明参数和下照明参数。在一个实施方式中，通过将确定的亮度值乘以5.5并将确定的饱和度值乘以0.2来确定上照明参数，下照明参数是来自图像区域的确定的亮度和饱和度值。下照明参数可以更准确地表示反射到插入内容的下部的光的属性，这些光不太可能被物理空间中的光源直接照明。另外，如上所述，在一些实施方式中可以识别多个区域。在这些实施方式中，可以从与上照明参数不同的区域确定下照明参数。
在一些实施方式中，至少部分地基于插入的内容来确定用于调整从图像的区域提取的亮度值的倍数(或标量值)(例如，与插入的内容相关联的数据值可以指定倍数或可以指定附加的标量值以应用于倍数)。在一些实施方式中，插入的内容与指定多个标量值的数据结构相关联。例如，数据结构可以指定标量值，其用于调整用于确定上照明参数的区域的尺寸，调整用于确定下照明参数的区域的尺寸，以及确定倍数(或标量值)以调整提取的亮度、色度或饱和度值。
在操作510，使用确定的照明参数来渲染内容。例如，可以基于所确定的照明参数使用一个或多个光源来渲染三维内容。例如，单个上(高架)点光源可用于渲染插入的内容。该光源可以由操作508确定的参数来定义。在一些实施方式中，使用多个顶置光源，例如朝着用户倾斜的第一顶置光源和远离用户倾斜的第二顶置光源。另外，在至少一些实施方式中包括一个或多个下光源。
在一些实施方式中，使用环境地图而不是单个光源来呈现内容。例如，环境地图可以基于三维内容的表面的法线方向来定义照明参数。环境可以为具有向下指向法线向量的表面提供下照明参数，为具有向上指向法线向量的表面提供上照明参数。环境图可以提供混合了具有在上下之间的法向矢量的表面的上照明参数和下照明参数的照明参数。在一些实施方式中，与来自上方的照明相对应的环境图的部分由上照明参数缩放，并且与来自下方的照明相对应的环境图的部分由下照明参数缩放。例如，可以在环境图的整个高度上将这些比例因子平滑地混合在这些值之间，从而实现连续调整。在一些实施方式中，可以基于光矢量的仰角来确定连续函数(用于连续调整)。该函数至少可以合并来自上方的浅色和来自下方的浅色，从而返回一个乘数，该乘数将应用于从在光矢量处查询到的环境/多维数据集图获得的颜色。
在一些实施方式中，该标量到颜色函数的细节可以取决于(例如，高度依赖)所使用的基于图像的照明的类型。
一旦呈现了插入的内容，就可以将内容添加到在操作502接收到的图像以生成增强图像。然后可以将增强的图像显示给用户以提供增强的环境。此外，渲染的内容可能会投影到透明的合成器表面上，其中其在用户的物理空间视场上显示出来。
图6是根据本文描述的实施方式的插入内容的示例方法600的图。该方法600可以例如由计算设备102执行以为用户提供AR环境。
在操作602，捕获图像。例如，图像可以由诸如计算设备102的计算设备的相机组件捕获。捕获的图像可以作为纹理存储在图像缓冲器124中。图7A中示出了示例图像700。
在操作604，确定将被插入的AR内容的位置。如上所述，可以通过各种方式来确定位置，例如基于用户输入，通过识别与地面或地板相对应的平面和/或在先前图像中内容的位置来确定。图7B中示出了示例位置702(由与地板上的点相交的垂直线示出)。
在操作606，基于AR内容的位置识别图像的第一区域。例如，可以通过将AR内容的边界框投影到图像平面上来识别第一区域。第一区域的尺寸可以基于插入的内容的尺寸和/或与插入的内容相关联的数据值。图7B中示出了示例第一区域704。
在操作608，从第一区域提取图像属性。例如，可以从第一区域(或第一区域的下分辨率表示)中提取色调、饱和度和亮度值。在操作610，根据从第一区域提取的图像属性确定上照明参数。例如，可以通过缩放(或以其它方式修改)从第一区域提取的图像属性来确定上照明参数。在一些实施方式中，上照明参数基于提取的亮度乘以5.5和提取的饱和度乘以0.2。用于调整提取的亮度和提取的饱和度的标量值可以基于与插入的内容相关联的数据值。因此，不同类型的插入内容可能会导致用于调整提取的亮度或饱和度的不同标量值。图7C示出了示例上光源724，其使用基于从第一区域704提取的图像属性确定的上照明参数。
在操作612，基于AR内容的位置识别图像的第二区域。例如，可以通过将AR内容的边界框的一部分投影到图像平面上来识别第二区域。第二区域可以小于第一区域(例如，第二区域可以是第一区域的一部分)。第二区域的尺寸可以基于插入的内容的尺寸和/或与插入的内容相关联的数据值。第二区域可以是第一区域的设置在该第一区域的下半部分中的一部分。示例第二区域706在图7B中示出。
在操作614，从第二区域提取图像属性。例如，可以从第二区域(或第二区域的下分辨率表示)中提取色调、饱和度和亮度值。在操作616，根据从第二区域提取的图像属性确定下照明参数。例如，从第二区域提取的图像属性可以直接用作下照明参数。在一些实施方式中，可以通过缩放(或另外改变)从第二区域提取的图像属性来确定下照明参数。类似于第一区域，用于调节从第二区域提取的亮度和提取的饱和度的标量值可以基于与插入的内容相关联的数据值。图7C示出示例下光源726，其使用基于从第二区域706提取的图像特性确定的下照明参数。
在操作618，使用所确定的上照明参数和下照明参数来渲染AR内容。使用所确定的上照明参数和下照明参数来渲染AR内容可以包括：使用基于上照明参数的上光源和基于下照明参数的下光源对AR内容进行遮蔽。图7C示出了AR内容720(遮蔽之前)和AR内容722(遮蔽之后)的示例。AR内容722包括主要由上光源724照明的阴影区域732和主要由下光源726照明的阴影区域734。
在渲染AR内容之后，可以将AR内容添加到在操作602捕获的图像以生成增强图像。在图7D中示出了包括阴影AR内容722的示例增强图像750。
图8示出了可以与这里描述的技术一起使用的计算机设备1000和移动计算机设备1050的示例。计算设备1000包括处理器1002、存储器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的高速接口1008以及连接到低速总线1014和存储设备1006的低速接口1012。部件1002、1004、1006、1008、1010和1012中的每一个都使用各种总线互连，并且可以安装在通用主板上或视情况以其它方式安装。处理器1002可以处理用于在计算设备1000内执行的指令，包括存储在存储器1004或存储设备1006中的指令，以在外部输入/输出设备(例如联接到高速接口1008的显示器1016)上显示GUI的图形信息。在其它实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。而且，可以连接多个计算设备1000，其中每个设备提供必要操作的部分(例如，作为服务器组、刀片服务器组或多处理器系统)。
存储器1004将信息存储在计算设备1000内。在一个实施方式中，存储器1004是一个或多个易失性存储单元。在另一实施方式中，存储器1004是一个或多个非易失性存储单元。存储器1004还可以是另一种形式的计算机可读介质，例如磁盘或光盘。
存储设备1006能够为计算设备1000提供大容量存储。在一个实施方式中，存储设备1006可以是或包含计算机可读介质，例如软盘设备、硬盘设备、光盘设备、磁带设备、闪存或其它类似的固态存储设备或设备阵列，包括存储区域网络或其它配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含在被执行时执行一种或多种方法的指令，例如上述方法。信息载体是计算机或机器可读介质，例如存储器1004、存储设备1006或处理器1002上的存储器。
高速控制器1008管理计算设备1000的带宽密集型操作，而低速控制器1012管理较低带宽密集型操作。这种功能分配仅是示例的。在一个实施方式中，高速控制器1008联接到存储器1004、显示器1016(例如，通过图形处理器或加速器)以及联接到高速扩展端口1010，高速扩展端口1010可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器1012联接到存储设备1006和低速扩展端口1014。低速扩展端口可以(其包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网))通过网络适配器联接到一个或多个输入/输出设备，例如键盘、定点设备、扫描仪或网络设备，例如交换机或路由器。
如图所示，可以以多种不同形式来实现计算设备1000。例如，它可以被实现为标准服务器1020，或者在一组这样的服务器中被实现多次。它也可以实现为机架服务器系统1024的一部分。此外，它还可以实现在诸如膝上型计算机1022的个人计算机中。替代地，来自计算设备1000的部件可以与移动设备中的其它部件(未示出)结合。每个这样的设备可以包含一个或多个计算设备1000、1050，并且整个系统可以由彼此通信的多个计算设备1000、1050组成。
计算设备1050包括处理器1052、存储器1064、诸如显示器1054的输入/输出设备、通信接口1066和收发器1068，以及其它部件。设备1050还可以配备有存储设备，例如微驱动器或其它设备，以提供附加的存储。组件1050、1052、1064、1054、1066和1068中的每一个都使用各种总线互连，并且其中一些组件可以安装在通用主板上，也可以采用其它合适的方式安装。
处理器1052可以执行计算设备1050内的指令，包括存储在存储器1064中的指令。处理器可以被实现为包括分离的以及多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备1050的其它部件的协调，例如用户界面的控制，设备1050运行的应用以及设备1050的无线通信。
处理器1052可以通过控制接口1058和联接到显示器1054的显示器接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它合适的显示技术。显示接口1056可以包括用于驱动显示器1054向用户呈现图形和其它信息的适当电路。控制接口1058可以从用户接收命令并且将其转换以提交给处理器1052。另外，可以提供与处理器1052通信的外部接口1062，以使得设备1050可以与其它设备进行近距离通信。外部接口1062可以例如在一些实施方式中提供用于有线通信，或者在其它实施方式中提供用于无线通信，并且也可以使用多个接口。
存储器1064将信息存储在计算设备1050内。存储器1064可以被实现为一个或多个计算机可读介质、一个或多个易失性存储单元或一个或多个非易失性存储单元中的一个或多个。还可以提供扩展存储器1074，并通过扩展接口1072连接到设备1050，该扩展接口可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器1074可以为设备1050提供额外的存储空间，或者还可以为设备1050存储应用或其它信息。具体地说，扩展存储器1074可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器1074可以被提供为设备1050的安全模块，并且可以用允许安全使用设备1050的指令来编程。此外，可以经由SIMM卡以及附加信息来提供安全应用，例如以不可入侵的方式将识别信息放置在SIMM卡上。
存储器可包括例如闪存和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含在执行时执行一种或多种方法的指令，例如上述方法。信息载体是计算机或机器可读介质，例如存储器1064，扩展存储器1074或处理器1052上的存储器，其可以例如通过收发器1068或外部接口1062接收。
设备1050可以通过通信接口1066进行无线通信，该通信接口在必要时可以包括数字信号处理电路。通信接口1066可以提供各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这样的通信可以例如通过射频收发器1068发生。此外，可以进行短距离通信，例如使用蓝牙、Wi-Fi或其它这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块1070可以向设备1050提供其它与导航和位置相关的无线数据，设备1050上运行的应用程序可以适当使用这些数据。
设备1050还可以使用音频编解码器1060在听觉上进行通信，该音频编解码器可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器1060同样可以为用户生成声音，例如通过扬声器(例如在设备1050的手机中)。这种声音可以包括来自语音电话的声音，可以包括录制的声音(例如，语音消息、音乐文件等)，并且还可以包括由在设备1050上运行的应用生成的声音。
如图所示，可以以多种不同形式来实现计算设备1050。例如，它可以被实现为蜂窝电话1080。它也可以被实现为智能电话1082、个人数字助理或其它类似的移动设备的一部分。
这里描述的系统和技术的各种实现可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在一个或多个计算机程序中的实施，该计算机程序在包括至少一个可编程处理器的可编程系统上是可执行的和/或可解释的，该可编程处理器可以是专用的或通用的，其联接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令并向其发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言。如本文所使用，术语“机器可读介质”是指用于以下目的的任何计算机程序产品，装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(PLD))：将机器指令和/或数据提供给可编程处理器，该可编程处理器包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，可以在具有显示装置(LED(发光二极管)或OLED(有机LED)或LCD(液晶显示器)(监视器/屏幕)的计算机上实现此处描述的系统和技术，用于向用户以及键盘和定点设备(例如鼠标或轨迹球)显示信息，用户可通过该定点设备向计算机提供输入。其它种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
这里描述的系统和技术可以在包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面的客户端计算机或Web浏览器，用户可以通过该Web浏览器与此处描述的系统和技术的实现进行交互)或此类后端、中间件或前端组件的任意组合的计算系统中实现。系统的组件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。
在一些实施方式中，图8中所描绘的计算设备可以包括与AR头戴式耳机/HMD设备1090对接的传感器，以产生用于查看物理空间内的插入内容的增强环境。例如，包括在图8中描绘的计算设备1050或其它计算设备上的一个或多个传感器可以向AR耳机1090提供输入，或者通常，可以向AR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物特征传感器、温度传感器、湿度传感器和环境光传感器。计算设备1050可以使用传感器确定AR空间中计算设备的绝对位置和/或检测到的旋转，然后可以将其用作AR空间的输入。例如，计算设备1050可以作为虚拟对象并入AR空间中，诸如控制器、激光指示器、键盘、武器等。用户当并入AR空间时定位计算设备/虚拟对象可以允许用户定位计算设备以便以某种方式在AR空间中观看虚拟对象。例如，如果虚拟对象代表激光指示器，则用户可以像实际的激光指示器一样操纵计算设备。用户可以左右移动，上下左右移动计算设备、转圈移动计算设备以及以与使用激光指示器类似的方式使用设备。
在一些实施方式中，在计算设备1050上包括的或连接到计算设备1050的一个或多个输入设备可以用作AR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、定点设备、鼠标、轨迹球、操纵杆、相机、麦克风、耳机或具有输入功能的接口、游戏控制器或其它可连接输入设备。当将计算设备合并到AR空间中时，与计算设备1050上包括的输入设备进行交互的用户会导致在AR空间中发生特定动作。
在一些实施方式中，计算设备1050的触摸屏可以被渲染为AR空间中的触摸板。用户可以与计算设备1050的触摸屏进行交互。例如，在AR头戴式耳机1090中，将该交互作为在AR空间中渲染的触摸板上的移动来渲染。渲染的移动可以控制AR空间中的虚拟对象。
在一些实施方式中，计算设备1050上包括的一个或多个输出设备可以向AR空间中的AR头戴式耳机1090的用户提供输出和/或反馈。输出和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振动，一个或多个灯或频闪灯的打开，关闭或闪烁和/或闪烁，发出警报，播放铃声，播放歌曲以及播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。
在一些实施方式中，计算设备1050可以在计算机生成的3D环境中表现为另一对象。用户与计算设备1050的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与AR空间中的对象的交互。在AR空间中的激光指示器的示例中，计算设备1050在计算机生成的3D环境中表现为虚拟激光指示器。当用户操纵计算设备1050时，AR空间中的用户看到激光指示器的移动。用户在计算设备1050或AR头戴式耳机1090上的AR环境中从与计算设备1050的交互中接收反馈。
在一些实施方式中，计算设备1050可以包括触摸屏。例如，用户可以以可以模仿触摸屏上发生的事情和AR空间中发生的事情的特定方式与触摸屏进行交互。例如，用户可以使用收缩型动作来缩放显示在触摸屏上的内容。触摸屏上的这种捏合式运动会导致AR空间中提供的信息被缩放。在另一示例中，计算设备可以在计算机生成的3D环境中被渲染为虚拟书本。在AR空间中，可以在AR空间中显示书的页面，并且用户的手指在触摸屏上的轻扫可以被解释为翻动/翻转虚拟书的页面。当翻动/翻转每个页面时，除了看到页面内容改变之外，还可以向用户提供音频反馈，例如书中翻页的声音。
在一些实施方式中，可以在计算机生成的3D环境中渲染除计算设备之外的一个或多个输入设备(例如，鼠标、键盘)。渲染的输入设备(例如，渲染的鼠标、渲染的键盘)可以在AR空间中渲染时使用，以控制AR空间中的对象。
计算设备1000旨在代表各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。计算设备1050旨在代表各种形式的移动设备，例如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。此处所示的组件，它们的连接和关系以及它们的功能仅是示例的，并不意味着限制本文档中描述和/或要求保护的发明的实现。
已经描述了多个实施例。然而，将理解的是，在不脱离本说明书的精神和范围的情况下，可以进行各种修改。
另外，附图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。另外，可以从所描述的流程中提供其它步骤，或者可以从所描述的流程中去除步骤，并且可以向所描述的系统中添加其它部件或从中移除其它部件。因此，其它实施例在所附权利要求的范围内。
尽管已经如本文中所描述的那样描述了所描述的实施方式的一些特征，但是本领域技术人员现在将想到许多修改、替代、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入实现范围内的所有此类修改和改变。应当理解，它们仅以示例而非限制的方式给出，并且可以对形式和细节进行各种改变。除了相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。

Claims (20)

1.一种方法，包括：
确定图像内用于插入内容的位置；
基于所确定的用于插入所述内容的位置来识别所述图像的区域；
基于所识别的区域确定至少一个照明参数；以及
使用所确定的至少一个照明参数来渲染所述内容。
2.根据权利要求1所述的方法，进一步包括：
将所渲染的内容插入所述图像以生成增强图像；以及
显示所述增强图像。
3.根据权利要求1所述的方法，进一步包括：
显示所述图像；以及
将所渲染的内容覆盖在所显示的图像上。
4.根据权利要求1所述的方法，其中，所述内容是增强现实内容，并且基于识别所述图像内的表面的表示来确定所述图像内用于插入所述内容的位置。
5.根据权利要求1所述的方法，其中，基于所确定的位置来识别所述图像的区域包括将所确定的位置投影到图像平面上。
6.根据权利要求1所述的方法，其中，基于所识别的区域来确定所述至少一个照明参数包括：
对所识别的区域应用过滤器；
从过滤的区域确定亮度值；
缩放确定的亮度值；以及
使用缩放的亮度值作为所述至少一个照明参数的亮度参数。
7.根据权利要求6所述的方法，其中，对所识别的区域应用过滤器包括：向所述图像应用多级渐远纹理过滤器以生成多级渐远纹理图像序列；并且其中，从过滤的区域确定亮度值包括：访问在所述多级渐远纹理图像序列内的低分辨率图像中的与所述区域相对应的像素。
8.根据权利要求6所述的方法，其中，基于所识别的区域来确定所述至少一个照明参数进一步包括：
从所述过滤的区域确定色调值；
将所述色调值用作所述至少一个照明参数的色调参数；
从所述过滤的区域确定饱和度值；
缩放所述饱和度值；以及
使用缩放的饱和度值作为所述至少一个照明参数的饱和度参数。
9.根据权利要求6所述的方法，其中，基于所识别的区域来确定所述至少一个照明参数进一步包括：
从所述过滤的区域确定色调值；
将所述色调值用作所述至少一个照明参数的色调参数；
从所述过滤的区域确定饱和度值；
缩放所述饱和度值；以及
使用缩放的饱和度值作为所述至少一个照明参数的饱和度参数。
10.根据权利要求1所述的方法，其中，使用所确定的至少一个照明参数来渲染所述内容包括：使用基于所确定的至少一个照明参数来发射光的顶置光源来遮蔽所述内容。
11.根据权利要求1所述的方法，进一步包括：
基于所确定的用于插入所述内容的位置来识别所述图像的附加区域；
基于所述附加区域确定附加照明参数；以及
使用所确定的照明参数和所确定的附加照明参数渲染所述内容。
12.根据权利要求11所述的方法，其中，使用所确定的至少一个照明参数和所确定的附加照明参数来渲染所述内容包括：使用基于所确定的至少一个照明参数发光的顶置光源和基于所确定的附加照明参数发光的下光源来遮蔽所述内容。
13.根据权利要求11所述的方法，其中，使用所确定的至少一个照明参数和所确定的附加照明参数来渲染所述内容包括：
基于所述至少一个照明参数和所述附加照明参数生成环境图；以及
使用所述环境图遮蔽所述内容。
14.一种非暂时性计算机可读存储介质，包括存储在其上的指令，所述指令在由至少一个处理器执行时被配置为使计算系统至少：
捕获图像；
确定所述图像内用于插入内容的位置；
基于所确定的位置在图像平面上的投影来识别所述图像的第一区域；
从所述图像的第一区域提取第一图像属性；
基于所述第一图像属性确定上照明参数；
基于所确定的位置在图像平面上的投影来识别所述图像的第二区域；
从所述图像的第二区域提取第二图像属性；
基于所述第二图像属性确定下照明参数；以及
使用所确定的上照明参数和下照明参数渲染所述内容。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述第二区域在至少一个维度上小于所述第一区域。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，所述第二区域是所述第一区域的子集。
17.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述第一区域和所述第二区域是相同的。
18.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述第一区域的尺寸基于与所述内容相关联的数据值。
19.一种系统，包括：
相机；
至少一个处理器；以及
存储器，所述存储器存储指令，所述指令在由至少一个处理器执行时使所述系统：
捕获图像；
确定所述图像内用于插入内容的位置；
基于所确定的用于插入所述内容的位置来识别所述图像的区域；
基于所识别的区域确定至少一个照明参数；
使用所确定的至少一个照明参数来渲染所述内容；
将所渲染的内容插入所述图像以生成增强图像；以及
使所述增强图像被显示。
20.根据权利要求19所述的系统，其中，在由所述至少一个处理器执行时使所述系统基于所识别的区域来确定所述至少一个照明参数的指令包括使所述系统执行以下步骤的指令：
基于所识别的区域确定亮度值；以及
使用缩放的亮度值作为所述至少一个照明参数的亮度参数。
CN201880035466.1A 2017-10-04 2018-10-04 用于照明插入内容的方法、系统和介质 Active CN110692237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210479381.0A CN115022614A (zh) 2017-10-04 2018-10-04 用于照明插入内容的方法、系统和介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762568116P 2017-10-04 2017-10-04
US62/568,116 2017-10-04
US16/151,276 US10922878B2 (en) 2017-10-04 2018-10-03 Lighting for inserted content
US16/151,276 2018-10-03
PCT/US2018/054313 WO2019070940A1 (en) 2017-10-04 2018-10-04 LIGHTING FOR INSERTED CONTENT

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210479381.0A Division CN115022614A (zh) 2017-10-04 2018-10-04 用于照明插入内容的方法、系统和介质

Publications (2)

Publication Number Publication Date
CN110692237A true CN110692237A (zh) 2020-01-14
CN110692237B CN110692237B (zh) 2022-05-24

Family

ID=65897323

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880035466.1A Active CN110692237B (zh) 2017-10-04 2018-10-04 用于照明插入内容的方法、系统和介质
CN202210479381.0A Pending CN115022614A (zh) 2017-10-04 2018-10-04 用于照明插入内容的方法、系统和介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210479381.0A Pending CN115022614A (zh) 2017-10-04 2018-10-04 用于照明插入内容的方法、系统和介质

Country Status (4)

Country Link
US (1) US10922878B2 (zh)
EP (1) EP3692710A1 (zh)
CN (2) CN110692237B (zh)
WO (1) WO2019070940A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
EP4005201A1 (en) * 2019-07-28 2022-06-01 Google LLC Methods, systems, and media for rendering immersive video content with foveated meshes
US11069075B2 (en) 2019-10-21 2021-07-20 Google Llc Machine learning inference on gravity aligned imagery
CN115885237A (zh) * 2020-07-17 2023-03-31 惠普发展公司，有限责任合伙企业 头戴式显示器图像和中心凹区亮度计算
US11804007B2 (en) * 2021-03-31 2023-10-31 Disney Enterprises, Inc. 3D digital model surface rendering and conversion

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236485A1 (en) * 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20110063295A1 (en) * 2009-09-14 2011-03-17 Eddy Yim Kuo Estimation of Light Color and Direction for Augmented Reality Applications
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
CN103761763A (zh) * 2013-12-18 2014-04-30 微软公司 使用预先计算的光照构建增强现实环境
CN104766270A (zh) * 2015-03-20 2015-07-08 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
US20150262427A1 (en) * 2014-03-17 2015-09-17 Fujifilm Corporation Augmented reality provision system, method, and non-transitory computer readable medium
US20150358613A1 (en) * 2011-02-17 2015-12-10 Legend3D, Inc. 3d model multi-reviewer system
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
CN105741343A (zh) * 2016-01-28 2016-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN106133796A (zh) * 2014-03-25 2016-11-16 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN106327505A (zh) * 2015-06-26 2017-01-11 微软技术许可有限责任公司 机器视觉处理系统
CN106534835A (zh) * 2016-11-30 2017-03-22 珠海市魅族科技有限公司 一种图像处理方法以及装置
CN106558103A (zh) * 2015-09-24 2017-04-05 鸿富锦精密工业（深圳）有限公司 扩增实境图像处理系统及扩增实境图像处理方法
CN106652013A (zh) * 2016-12-06 2017-05-10 广州视源电子科技股份有限公司 图像处理方法及系统
CN106919258A (zh) * 2017-02-28 2017-07-04 南京信息工程大学 基于图像亮度信息纹理力再现交互系统及实现方法
US20170244908A1 (en) * 2016-02-22 2017-08-24 GenMe Inc. Video background replacement system

Family Cites Families (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778267A (ja) * 1993-07-09 1995-03-20 Silicon Graphics Inc 陰影を表示する方法及びコンピュータ制御表示システム
US5870097A (en) * 1995-08-04 1999-02-09 Microsoft Corporation Method and system for improving shadowing in a graphics rendering system
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP3962588B2 (ja) * 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
JP4075039B2 (ja) * 2002-02-19 2008-04-16 株式会社セガ テクスチャマッピング方法、プログラム及び装置
JP3777149B2 (ja) * 2002-09-19 2006-05-24 株式会社ナムコ プログラム、情報記憶媒体及び画像生成装置
JP4151387B2 (ja) * 2002-11-15 2008-09-17 セイコーエプソン株式会社 被写体の明るさに応じた画質の自動調整
US7864176B2 (en) * 2003-04-30 2011-01-04 Pixar Translucent object rendering methods and apparatus
US7212206B2 (en) * 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for self shadowing and self interreflection light capture
US20080211813A1 (en) * 2004-10-13 2008-09-04 Siemens Aktiengesellschaft Device and Method for Light and Shade Simulation in an Augmented-Reality System
JP4170283B2 (ja) * 2004-11-01 2008-10-22 株式会社ソニー・コンピュータエンタテインメント 描画処理装置および描画処理方法
US7512268B2 (en) * 2005-02-22 2009-03-31 Texas Instruments Incorporated System and method for local value adjustment
US8226011B2 (en) * 2005-04-06 2012-07-24 Eidgenoessische Technische Hochshcule Zuerich Method of executing an application in a mobile device
ES2325374T3 (es) * 2005-05-03 2009-09-02 Seac02 S.R.L. Sistema de realidad aumentada con identificacion de objeto marcador real.
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7768523B2 (en) * 2006-03-09 2010-08-03 Microsoft Corporation Shading using texture space lighting and non-linearly optimized MIP-maps
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4948218B2 (ja) * 2007-03-22 2012-06-06 キヤノン株式会社 画像処理装置及びその制御方法
US7982734B2 (en) * 2007-08-01 2011-07-19 Adobe Systems Incorporated Spatially-varying convolutions for rendering soft shadow effects
US7970237B2 (en) * 2007-08-01 2011-06-28 Adobe Systems Incorporated Spatially-varying convolutions for rendering glossy reflection effects
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US20090109240A1 (en) * 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
EP2058764B1 (en) * 2007-11-07 2017-09-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
EP2157545A1 (en) * 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US20100079426A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Spatial ambient light profiling
US20100103172A1 (en) * 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
JP5237066B2 (ja) * 2008-11-28 2013-07-17 キヤノン株式会社 複合現実感提示システムおよび複合現実感提示方法、プログラム
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US8325186B2 (en) * 2009-05-21 2012-12-04 Sony Computer Entertainment America Llc Method and apparatus for rendering shadows
US8189067B2 (en) * 2009-07-31 2012-05-29 Hewlett-Packard Development Company, L.P. Determining the illuminant in a captured scene
KR100999056B1 (ko) * 2009-10-30 2010-12-08 (주)올라웍스 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP4958969B2 (ja) * 2009-12-25 2012-06-20 キヤノン株式会社 画像処理方法、画像処理装置、及び撮像装置
EP2354893B1 (en) * 2009-12-31 2018-10-24 Sony Interactive Entertainment Europe Limited Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5480777B2 (ja) * 2010-11-08 2014-04-23 株式会社Ｎｔｔドコモ オブジェクト表示装置及びオブジェクト表示方法
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US9224320B2 (en) * 2011-03-09 2015-12-29 Dolby Laboratories Licensing Corporation Projection display providing additional modulation and related methods
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9164723B2 (en) * 2011-06-30 2015-10-20 Disney Enterprises, Inc. Virtual lens-rendering for augmented reality lens
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5988563B2 (ja) * 2011-10-25 2016-09-07 キヤノン株式会社 画像処理装置と画像処理装置の制御方法およびプログラムと、情報処理装置と情報処理装置の制御方法およびプログラム
US9449342B2 (en) * 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
EP3258671B1 (en) * 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
US10598929B2 (en) * 2011-11-09 2020-03-24 Google Llc Measurement method and system
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US8872853B2 (en) * 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) * 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
WO2013088394A2 (en) * 2011-12-14 2013-06-20 Koninklijke Philips Electronics N.V. Methods and apparatus for controlling lighting
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
US9338447B1 (en) * 2012-03-14 2016-05-10 Amazon Technologies, Inc. Calibrating devices by selecting images having a target having fiducial features
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US10068547B2 (en) * 2012-06-29 2018-09-04 Disney Enterprises, Inc. Augmented reality surface painting
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
US20160292924A1 (en) * 2012-10-31 2016-10-06 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
WO2014069247A1 (ja) * 2012-11-02 2014-05-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9524585B2 (en) * 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9041714B2 (en) * 2013-01-31 2015-05-26 Samsung Electronics Co., Ltd. Apparatus and method for compass intelligent lighting for user interfaces
US9483875B2 (en) * 2013-02-14 2016-11-01 Blackberry Limited Augmented reality system with encoding beacons
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9659398B2 (en) * 2013-03-15 2017-05-23 Dreamworks Animation Llc Multiple visual representations of lighting effects in a computer animation scene
US9418629B2 (en) * 2013-03-15 2016-08-16 Disney Enterprises, Inc. Optical illumination mapping
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9491428B2 (en) * 2013-04-29 2016-11-08 Disney Enterprises, Inc. Color balancing based on reference points
US9607356B2 (en) * 2013-05-02 2017-03-28 Arm Limited Graphics processing systems
US9741089B2 (en) * 2013-05-02 2017-08-22 Arm Limited Graphics processing systems
US9466149B2 (en) * 2013-05-10 2016-10-11 Google Inc. Lighting of graphical objects based on environmental conditions
JP6288943B2 (ja) * 2013-05-20 2018-03-07 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 映像表示装置
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR101419044B1 (ko) * 2013-06-21 2014-07-11 재단법인 실감교류인체감응솔루션연구단 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9299188B2 (en) * 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9530243B1 (en) * 2013-09-24 2016-12-27 Amazon Technologies, Inc. Generating virtual shadows for displayable elements
US9224237B2 (en) * 2013-09-27 2015-12-29 Amazon Technologies, Inc. Simulating three-dimensional views using planes of content
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9367203B1 (en) * 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
US9363499B2 (en) * 2013-11-15 2016-06-07 Htc Corporation Method, electronic device and medium for adjusting depth values
US9639773B2 (en) * 2013-11-26 2017-05-02 Disney Enterprises, Inc. Predicting a light probe for an outdoor image
US10210618B1 (en) * 2013-12-27 2019-02-19 Google Llc Object image masking using depth cameras or three-dimensional (3D) models
KR20150092546A (ko) * 2014-02-05 2015-08-13 한국전자통신연구원 무해 프레임 필터 및 이를 포함하는 유해 영상 차단 장치, 무해 프레임을 필터링하는 방법
JP6244954B2 (ja) * 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP5916248B2 (ja) * 2014-02-25 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体
US9721389B2 (en) * 2014-03-03 2017-08-01 Yahoo! Inc. 3-dimensional augmented reality markers
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US10296663B2 (en) * 2014-05-13 2019-05-21 Atheer, Inc. Method for moving and aligning 3D objects in a plane within the 2D environment
US9746739B2 (en) * 2014-06-05 2017-08-29 Microsoft Technology Licensing, Llc See-through dimming panel
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10593113B2 (en) * 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
US10113910B2 (en) * 2014-08-26 2018-10-30 Digimarc Corporation Sensor-synchronized spectrally-structured-light imaging
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9436369B2 (en) * 2014-09-26 2016-09-06 Disney Enterprises, Inc. Touch interface for precise rotation of an object
US9734634B1 (en) * 2014-09-26 2017-08-15 A9.Com, Inc. Augmented reality product preview
JP5980294B2 (ja) * 2014-10-27 2016-08-31 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
US9916681B2 (en) * 2014-11-04 2018-03-13 Atheer, Inc. Method and apparatus for selectively integrating sensory content
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10055892B2 (en) * 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US9898861B2 (en) * 2014-11-24 2018-02-20 Pointcloud Media Llc Systems and methods for projecting planar and 3D images through water or liquid onto a surface
US20160170702A1 (en) * 2014-12-12 2016-06-16 Apple Inc. Devices and methods of image-splitting for dual-layer high dynamic range displays
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9384548B1 (en) * 2015-01-23 2016-07-05 Kabushiki Kaisha Toshiba Image processing method and apparatus
JP6154543B2 (ja) * 2015-01-30 2017-06-28 技術研究組合次世代３Ｄ積層造形技術総合開発機構 ３次元造形システム、情報処理装置、３次元造形モデル配置方法および３次元造形モデル配置プログラム
US20180025521A1 (en) * 2015-01-30 2018-01-25 Ent. Services Development Corporation Lp Dynamic modulation for near eye display
KR102285188B1 (ko) * 2015-02-13 2021-08-05 삼성전자주식회사 시인성 개선을 위한 이미지 처리 방법 및 이를 지원하는 전자 장치
US10055887B1 (en) * 2015-02-19 2018-08-21 Google Llc Virtual/augmented reality transition system and method
JP2016163052A (ja) * 2015-02-26 2016-09-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP6625801B2 (ja) * 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
WO2016136311A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CA2922596C (en) * 2015-03-06 2023-10-24 Simplehuman, Llc Vanity mirror
CN107912061B (zh) * 2015-03-06 2021-06-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
KR101598159B1 (ko) * 2015-03-12 2016-03-07 라인 가부시키가이샤 영상 제공 방법 및 영상 제공 장치
CN106162117B (zh) * 2015-04-10 2019-04-16 北京智谷睿拓技术服务有限公司 显示控制方法和装置
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
CN107438866B (zh) * 2015-05-13 2020-12-01 谷歌公司 深度立体：学习从现实世界形象预测新视图
US20160350967A1 (en) * 2015-06-01 2016-12-01 Cable Television Laboratories, Inc. Dynamic adjustments for augmented, mixed and virtual reality presentations
US9967529B2 (en) * 2015-06-04 2018-05-08 Disney Enterprises, Inc. Output light monitoring for benchmarking and enhanced control of a display system
US10354449B2 (en) * 2015-06-12 2019-07-16 Hand Held Products, Inc. Augmented reality lighting effects
US9652897B2 (en) * 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
WO2017015507A1 (en) * 2015-07-21 2017-01-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment
JP6113386B1 (ja) * 2015-08-13 2017-04-12 Hoya株式会社 評価値計算装置及び電子内視鏡システム
US9947258B2 (en) * 2015-08-28 2018-04-17 Novatek Microelectronics Corp. Image processing method and image processing apparatus
US10354438B2 (en) * 2015-09-02 2019-07-16 Siemens Healthcare Gmbh Illumination in rendering of anatomy with functional information
US10127725B2 (en) * 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US9864901B2 (en) * 2015-09-15 2018-01-09 Google Llc Feature detection and masking in images based on color distributions
US20170090194A1 (en) * 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
KR102502449B1 (ko) * 2015-10-05 2023-02-22 삼성전자주식회사 조명을 디스플레이하는 방법 및 장치
US10146194B2 (en) * 2015-10-14 2018-12-04 Hand Held Products, Inc. Building lighting and temperature control with an augmented reality system
EP3166085B1 (en) * 2015-10-27 2018-08-01 Philips Lighting Holding B.V. Determining the lighting effect for a virtually placed luminaire
GB2543777B (en) * 2015-10-27 2018-07-25 Imagination Tech Ltd Systems and methods for processing images of objects
GB2543776B (en) * 2015-10-27 2019-02-06 Imagination Tech Ltd Systems and methods for processing images of objects
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness
US9728002B2 (en) * 2015-12-18 2017-08-08 Advanced Micro Devices, Inc. Texel shading in texture space
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US20190051039A1 (en) * 2016-02-26 2019-02-14 Sony Corporation Image processing apparatus, image processing method, program, and surgical system
US9942970B2 (en) * 2016-02-29 2018-04-10 Symmetric Labs, Inc. Method for automatically mapping light elements in an assembly of light structures
US20170263047A1 (en) * 2016-03-10 2017-09-14 Panasonic Intellectual Property Management Co., Ltd. Display apparatus
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
US10375264B2 (en) * 2016-04-28 2019-08-06 University Of Southern California Multispectral lighting reproduction
US10303323B2 (en) * 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US10332276B2 (en) * 2016-05-24 2019-06-25 International Business Machines Corporation Predicting a chromatic identity of an existing recipe and modifying the existing recipe to meet a desired set of colors by replacing existing elements of the recipe
US10067344B2 (en) * 2016-07-01 2018-09-04 Intel Corporation Variable transmissivity virtual image projection system
KR102588518B1 (ko) * 2016-07-06 2023-10-13 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법
US10002456B2 (en) * 2016-07-08 2018-06-19 Wargaming.Net Limited Water surface rendering in virtual environment
US10375196B2 (en) * 2016-07-29 2019-08-06 Microsoft Technology Licensing, Llc Image transformation in hybrid sourcing architecture
US10176640B2 (en) * 2016-08-02 2019-01-08 Qualtrics, Llc Conducting digital surveys utilizing virtual reality and augmented reality devices
JP6671265B2 (ja) * 2016-08-17 2020-03-25 キヤノン株式会社 画像処理装置とその制御方法、及びプログラム
KR20180028796A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 이미지 표시 방법, 저장 매체 및 전자 장치
JP6601966B2 (ja) * 2016-09-16 2019-11-06 富士フイルム株式会社 背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラム
US20180088323A1 (en) * 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
WO2018069867A1 (en) * 2016-10-13 2018-04-19 Six Degrees Space Ltd Method and apparatus for indoor positioning
US10019831B2 (en) * 2016-10-20 2018-07-10 Zspace, Inc. Integrating real world conditions into virtual imagery
US10332317B2 (en) * 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
JP7005644B2 (ja) * 2016-11-15 2022-01-21 クリアル・ソシエテ・アノニム 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ
US10486060B2 (en) * 2016-11-23 2019-11-26 Microsoft Technology Licensing, Llc Tracking core for providing input to peripherals in mixed reality environments
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
CN114501721A (zh) * 2016-12-09 2022-05-13 路创技术有限责任公司 具有可见光传感器的负载控制系统
JP6171079B1 (ja) * 2016-12-22 2017-07-26 株式会社Ｃｙｇａｍｅｓ 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US20180182160A1 (en) * 2016-12-23 2018-06-28 Michael G. Boulton Virtual object lighting
US10209520B2 (en) * 2016-12-30 2019-02-19 Microsoft Technology Licensing, Llc Near eye display multi-component dimming system
US20180188536A1 (en) * 2016-12-30 2018-07-05 Microsoft Technology Licensing, Llc Near eye display multi-component dimming system
US10575067B2 (en) * 2017-01-04 2020-02-25 Samsung Electronics Co., Ltd. Context based augmented advertisement
EP3352137A1 (en) * 2017-01-24 2018-07-25 Thomson Licensing Method and apparatus for processing a 3d scene
US10540055B2 (en) * 2017-02-08 2020-01-21 Google Llc Generating interactive content items based on content displayed on a computing device
CN106898040B (zh) * 2017-03-06 2020-08-04 网易（杭州）网络有限公司 虚拟资源对象渲染方法和装置
US10475243B2 (en) * 2017-03-31 2019-11-12 Intel Corporation Transition between virtual reality and real world
US10217195B1 (en) * 2017-04-17 2019-02-26 Amazon Technologies, Inc. Generation of semantic depth of field effect
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20180314066A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Generating dimming masks to enhance contrast between computer-generated images and a real-world view
US10210664B1 (en) * 2017-05-03 2019-02-19 A9.Com, Inc. Capture and apply light information for augmented reality
CN107134005A (zh) * 2017-05-04 2017-09-05 网易（杭州）网络有限公司 光照适配方法、装置、存储介质、处理器及终端
US10339714B2 (en) * 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
US10771773B2 (en) * 2017-05-11 2020-09-08 Htc Corporation Head-mounted display devices and adaptive masking methods thereof
US20180343432A1 (en) * 2017-05-23 2018-11-29 Microsoft Technology Licensing, Llc Reducing Blur in a Depth Camera System
EP3635686A1 (en) * 2017-06-05 2020-04-15 Google LLC Smoothly varying foveated rendering
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
EP3435330B1 (en) * 2017-07-24 2021-09-29 Aptiv Technologies Limited Vehicule based method of object tracking
US10140754B1 (en) * 2017-08-07 2018-11-27 Disney Enterprises, Inc. Graphical user interface system and method for modeling lighting of areas captured by location scouts
US10403045B2 (en) * 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
US10529136B2 (en) * 2017-08-16 2020-01-07 Dell Products L.P. Augmented reality workspace system
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
US10535151B2 (en) * 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10311548B2 (en) * 2017-09-05 2019-06-04 Microsoft Technology Licensing, Llc Scaling render targets to a higher rendering resolution to display higher quality video frames
US10839577B2 (en) * 2017-09-08 2020-11-17 Apple Inc. Creating augmented reality self-portraits using machine learning
KR102481884B1 (ko) * 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
US10679404B2 (en) * 2017-10-04 2020-06-09 Google Llc Shadows for inserted content
US10825234B2 (en) * 2017-10-10 2020-11-03 Resonai Inc. Previewing 3D content using incomplete original model data
US10438404B2 (en) * 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
US10373327B2 (en) * 2017-10-18 2019-08-06 Adobe Inc. Reassembling and repairing torn image pieces
US11037279B2 (en) * 2017-10-31 2021-06-15 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10235797B1 (en) * 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
US11232502B2 (en) * 2017-12-20 2022-01-25 Signify Holding B.V. Lighting and internet of things design using augmented reality
US10989921B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pinpoint mirror
US10989922B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pin mirror
DK201870349A1 (en) * 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US10559121B1 (en) * 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
CN112136094A (zh) * 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US10607567B1 (en) * 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10380803B1 (en) * 2018-03-26 2019-08-13 Verizon Patent And Licensing Inc. Methods and systems for virtualizing a target object within a mixed reality presentation
US10949956B2 (en) * 2018-04-06 2021-03-16 Google Llc Enhanced specular reflections for inserted content
EP3561776A1 (en) * 2018-04-24 2019-10-30 InterDigital CE Patent Holdings Method and apparatus for processing a 3d scene
US11023093B2 (en) * 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
TWI675583B (zh) * 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
US10607415B2 (en) * 2018-08-10 2020-03-31 Google Llc Embedding metadata into images and videos for augmented reality experience
EP4276520A3 (en) * 2018-08-31 2024-01-24 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
US10867430B2 (en) * 2018-11-19 2020-12-15 Intel Corporation Method and system of 3D reconstruction with volume-based filtering for image processing
US11620794B2 (en) * 2018-12-14 2023-04-04 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment
JP7308268B2 (ja) * 2018-12-21 2023-07-13 マジック リープ， インコーポレイテッド アーチファクト軽減を組み込む接眼レンズアーキテクチャ
US10740960B2 (en) * 2019-01-11 2020-08-11 Microsoft Technology Licensing, Llc Virtual object placement for augmented reality

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236485A1 (en) * 2006-03-31 2007-10-11 Microsoft Corporation Object Illumination in a Virtual Environment
US20110063295A1 (en) * 2009-09-14 2011-03-17 Eddy Yim Kuo Estimation of Light Color and Direction for Augmented Reality Applications
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US20150358613A1 (en) * 2011-02-17 2015-12-10 Legend3D, Inc. 3d model multi-reviewer system
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
CN103761763A (zh) * 2013-12-18 2014-04-30 微软公司 使用预先计算的光照构建增强现实环境
US20150262427A1 (en) * 2014-03-17 2015-09-17 Fujifilm Corporation Augmented reality provision system, method, and non-transitory computer readable medium
CN106133796A (zh) * 2014-03-25 2016-11-16 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN104766270A (zh) * 2015-03-20 2015-07-08 北京理工大学 一种基于鱼眼镜头的虚实光照融合方法
CN106327505A (zh) * 2015-06-26 2017-01-11 微软技术许可有限责任公司 机器视觉处理系统
CN106558103A (zh) * 2015-09-24 2017-04-05 鸿富锦精密工业（深圳）有限公司 扩增实境图像处理系统及扩增实境图像处理方法
CN105741343A (zh) * 2016-01-28 2016-07-06 联想(北京)有限公司 一种信息处理方法及电子设备
US20170244908A1 (en) * 2016-02-22 2017-08-24 GenMe Inc. Video background replacement system
CN106534835A (zh) * 2016-11-30 2017-03-22 珠海市魅族科技有限公司 一种图像处理方法以及装置
CN106652013A (zh) * 2016-12-06 2017-05-10 广州视源电子科技股份有限公司 图像处理方法及系统
CN106919258A (zh) * 2017-02-28 2017-07-04 南京信息工程大学 基于图像亮度信息纹理力再现交互系统及实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘万奎，刘越: ""用于增强现实的光照估计研究综述"", 《计算机辅助设计与图形学学报》 *

Also Published As

Publication number Publication date
US20190102936A1 (en) 2019-04-04
WO2019070940A1 (en) 2019-04-11
CN110692237B (zh) 2022-05-24
CN115022614A (zh) 2022-09-06
US10922878B2 (en) 2021-02-16
EP3692710A1 (en) 2020-08-12

Similar Documents

Publication Publication Date Title
US11043031B2 (en) Content display property management
CN110692237B (zh) 用于照明插入内容的方法、系统和介质
CN110709897B (zh) 用于插入到图像中的图像内容的阴影生成
CN111344749B (zh) 引向用户关注
US11676292B2 (en) Machine learning inference on gravity aligned imagery
US10949956B2 (en) Enhanced specular reflections for inserted content
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
CN111696190B (zh) 来自发光的插入内容的照明效果
US20220189433A1 (en) Application programming interface for setting the prominence of user interface elements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant