CN108292444A - 更新混合现实缩略图 - Google Patents

更新混合现实缩略图 Download PDF

Info

Publication number
CN108292444A
CN108292444A CN201680070321.6A CN201680070321A CN108292444A CN 108292444 A CN108292444 A CN 108292444A CN 201680070321 A CN201680070321 A CN 201680070321A CN 108292444 A CN108292444 A CN 108292444A
Authority
CN
China
Prior art keywords
image
physical environment
mixed reality
threedimensional model
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680070321.6A
Other languages
English (en)
Other versions
CN108292444B (zh
Inventor
J·史密斯
C·G·布朗
M·加力
A·A·伯罗丁
J·吉尔
C·R·Q·马泰-欧文斯
A·杰克逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108292444A publication Critical patent/CN108292444A/zh
Application granted granted Critical
Publication of CN108292444B publication Critical patent/CN108292444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2206/00—Indexing scheme related to dedicated interfaces for computers
    • G06F2206/10—Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
    • G06F2206/1008—Graphical user interface [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325—Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了涉及混合现实图像显示的各示例。一个示例提供了一种混合现实计算设备，其包括图像传感器、显示设备、包括指令的存储设备、以及处理器。指令可执行以接收物理环境的图像，存储该图像，渲染三维虚拟模型，通过合成三维虚拟模型的视图和图像来形成混合现实缩略图图像，以及显示混合现实缩略图图像。指令可进一步执行以接收更新三维虚拟模型的用户输入，渲染经更新的三维虚拟模型，通过合成经更新的三维虚拟模型的视图以及经更新的三维虚拟模型的图像来更新混合现实缩略图图像，以及显示包括与物理环境的图像合成的经更新后的三维虚拟模型的混合现实缩略图图像。

Description

更新混合现实缩略图
背景技术
混合现实计算设备允许真实图像与虚拟渲染图像组合形成混合现实图像。一些混合现实计算设备使用光学图像组合技术，使得用户在真实世界背景的视图上观看通过透视显示器显示的虚拟图像。
发明内容
本文公开了涉及混合现实图像显示的各示例。一个示例提供了一种混合现实计算设备，其包括图像传感器、显示设备、包括指令的存储设备、以及处理器。指令可执行以接收物理环境的图像，存储该图像，渲染三维虚拟模型，通过合成三维虚拟模型的视图和图像来形成混合现实缩略图图像，以及显示混合现实缩略图图像。指令可进一步执行以接收更新三维虚拟模型的用户输入，渲染经更新的三维虚拟模型，通过合成经更新的三维虚拟模型的视图以及物理环境的图像来更新混合现实缩略图图像，以及显示包括与物理环境的图像合成的经更新后的三维虚拟模型的混合现实缩略图图像。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图说明
图1示出了示例混合现实环境，并且解说了示例三维虚拟模型。
图2示出了包括混合现实缩略图图像的示例用户界面。
图3示出了另一示例混合现实环境，并且解说了对图1的三维虚拟模型的编辑。
图4示出了包括经更新的混合现实缩略图图像的示例用户界面。
图5示出了解说用于形成混合现实缩略图图像的示例方法的流程图。
图6示出了示例头戴式显示设备。
图7示出示例计算设备的框图。
具体实施方式
图1示出其中用户101可与示例混合现实(MR)计算设备104交互的示例使用环境100。MR计算设备104在图1中以头戴式显示器(HMD)设备的形式示出，但是其它示例可以采取任何其他合适的形式。以下参照图6和7来分别描述示例硬件配置。
MR计算设备104可操作用于经由在102处示意性描绘的透视显示设备向用户101呈现MR图像。MR图像包括例如透过透视显示器观看的真实图像，以及经由透视显示设备102显示的虚拟图像。图1描绘了透视显示设备102的视野(FOV)106，其表示其中用户101可以感知到虚拟图像的空间区域。FOV106的角度范围可以等于、大于或小于环境100的能够通过透视显示设备102查看的部分。
MR计算设备104可以被配置为允许用户101创建和编辑用于在透视显示设备102上显示的虚拟图像。图1描绘了通过透视显示设备102渲染并显示的示例三维虚拟模型108，并且还描绘了用于创建和编辑三维虚拟模型108的示例用户界面110。用户界面110包括各种元素，每个元素可操作用于实现与虚拟影像的创建有关的功能。例如，用户界面110可以包括用于选择用于构建三维虚拟模型的各种基元和形状的控件112A、用于调整和变形基元和形状的控件112B、以及用于将颜色和纹理应用于基元和形状的控件112C。
用户101可经由任何合适的用户输入机制来与用户界面110交互。示例包括经由透视显示设备102上的传感器作出的用户输入，诸如手势、头部姿势、其他身体部位姿势、语音输入、以及注视输入。在下文中更详细地描述了各示例输入传感器。输入还可以通过可操作地耦合到MR计算设备104的外围设备(例如，键盘、鼠标、触摸传感器、游戏控制器)来作出。
一旦用户101在生成三维虚拟模型108的过程中已经到达期望的停止点，则该模型可以通过“保存”用户界面元素112D而被保存以供稍后查看和/或修改。如下面更详细地解释的，保存用户界面元素112D的选择可致使三维虚拟模型108与其它数据(诸如与物理环境100相关的环境数据(例如，照明、深度、和/或声学数据)以及表示物理环境中的三维虚拟模型的缩略图图像)一起被保存在一个保存文件中。三维虚拟模型108及其对应的保存文件可以被保存在本地，也可以保存在可经由网络访问的远程存储设备上。
保存的三维模型的表示可以用于生成表示三维模型的数据文件的缩略图图像。图2示出了可在计算设备显示器上显示的图形用户界面200，其将三维虚拟模型108的示例视觉表示描绘为缩略图图像202。缩略图图像202可与其他缩略图一起显示，这些缩略图中的每一个描绘对应的保存的三维虚拟模型。用户界面200中的每个缩略图图像可以用作用户界面控件以实现各种动作，诸如打开选定的三维虚拟模型以进行编辑。
缩略图图像202包括与三维虚拟模型108的视图合成的环境100的图像204。例如，在保存三维虚拟模型108之际，图像204可以经由MR计算设备104的面向外的图像传感器来捕捉。由于其中包括真实和虚拟图像，缩略图图像202可以被称为混合现实(MR)缩略图图像。当与在这些环境中创建的三维虚拟模型合成时，物理环境的图像可以在视觉上提醒用户创建这些三维虚拟模型的物理位置。这种方法可以为跨多个使用会话执行的三维虚拟模型生成过程提供连续性。因此，如以下更详细描述的，当虚拟模型被编辑并重新保存时，更新后的虚拟模型可以被渲染并且再次与模型最初创建所处的环境的图像204合成，使得用户可以查看虚拟模型的最新版本以及创建该虚拟模型的原始物理环境。
用于产生MR缩略图图像的三维虚拟模型的渲染可以考虑生成三维虚拟模型所处的物理环境的各个方面。例如，可以考虑物理环境的一个或多个表面的深度来渲染三维虚拟模型。回到图1，三维虚拟模型108被示出为渲染得好像它正搁置在环境100中的桌子114上一样。在其他示例中，可以在不考虑环境中的表面的情况下渲染三维虚拟模型，例如，使得模型以自由浮动的方式被渲染在FOV 106内。为了便于检测环境100中的表面，MR计算设备104可以包括合适的深度传感器，如以下参照图6所描述的。
作为另一示例，物理环境中的照明可以在渲染三维虚拟模型时被考虑。例如，MR计算设备104可以获得指示物理环境的环境光特性的照明数据，并且可以至少部分地通过至少基于照明数据将照明效果应用于三维物体来渲染三维物体。图1示出了其中接收到的照明数据指示环境100中存在定向光源116的示例。因此，三维物体108至少部分地通过将包括眩光点120的高光118应用到面向定向光源116的物体的表面来渲染，就好像物体是环境100中的真实物体并且被定向光源照亮。替代或额外的照明效果(诸如全局照明效果)也可以被应用。此外，在渲染三维虚拟模型时，可以考虑环境的其他视觉特性，诸如表面纹理和漫射性。
应用于三维虚拟模型的这类照明效果也可以被渲染以显示在三维虚拟模型的MR缩略图图像中。例如，图2示出了应用于混合现实缩略图图像202中的三维虚拟模型108的高光118和眩光点120。
照明数据可以以任何合适的方式被收集和存储。例如，照明数据可以由包括在MR计算设备104中的一个或多个单色图像传感器来测量，并且可以针对每个传感器存储为强度和方向。在另一个示例中，可以通过分析图像数据中的阴影区域并从经分析的阴影区域导出照明数据来收集照明数据。用于渲染反射的照明数据可以包括图像数据，并且可以例如作为立方体贴图存储，或者以任何其他合适的形式存储。
如上文提到的，保存三维虚拟模型时获取的物理环境的图像、照明效果以及其它数据可以与三维虚拟模型数据文件一起被保存为模型的组合保存文件。以这种方式，当三维虚拟模型被更新并且再次保存时，保存文件中的图像数据、照明数据和其它数据可以被应用于三维虚拟模型的后续修订，并且被用于生成经更新的缩略图图像。可以保存在保存文件中的其它数据的示例包括但不限于用于物理环境的深度数据(例如表面重构数据)和材料属性数据(纹理、扩散性等)。
图3描绘了其中用户101在与使用环境100(图1)不同的使用环境300中编辑三维虚拟模型108的示例场景。在图3所示的示例中，用户101通过添加发动机罩进气管和排气管来更新三维虚拟模型108，从而形成经更新的三维虚拟模型302。然后，MR计算设备104可以通过将应用于先前版本108的照明效果应用于经更新的三维模型来渲染经更新的三维虚拟模型302的图像。如此，尽管定向光源116不存在，图3示出了应用于经更新的三维虚拟模型302的高光118和眩光点120。
图4示出了包括经更新的混合现实缩略图图像402以及其它混合现实缩略图图像的用户界面400。通过合成经更新的三维虚拟模型302的渲染的视图和物理环境100的先前保存的图像204来形成经更新的混合现实缩略图402。例如，响应于与用户界面110中的保存按钮112D的交互，可以使用与保存文件一起存储的先前获取的图像204以及可能与保存文件一起存储的其它数据，来执行合成。
通过使用先前获取的物理环境的图像和三维虚拟模型的经更新的渲染来更新混合现实缩略图图像，在各次保存之间保留缩略图图像的整体外观的连续性，而且对三维模型的更新也被反映出来。利用与先前的缩略图图像相同的经更新的缩略图图像的背景图像可以帮助用户通过熟悉的外观快速地标识想要文件，而且还允许用户直接从缩略图查看模型的当前状态。
这里描述的示例还可以用于形成包括多个混合现实缩略图图像的动画混合现实缩略图演示。例如，可以获取物理环境的多个图像并将其与三维虚拟模型的相应的多个视图合成以形成多个混合现实缩略图图像。多个混合现实缩略图可以按照顺序播放，从而呈现动画混合现实缩略图演示。在一些示例中，三维虚拟模型的位置可以被显示在物理环境中的固定位置处，这可以允许用户通过改变用于获取物理环境的图像的图像传感器的位置来生成从各种位置和/或角度示出三维虚拟模型的动画混合现实缩略图演示。
如上所述，可以在形成动画混合现实缩略图演示时获取其它数据。例如，与多个图像的获取在时间上接近的捕捉的音频数据可以用于形成动画混合现实缩略图演示。音频数据随后可以在显示动画混合现实缩略图演示时被回放。例如，音频数据可以包括用户叙述。此外，如上所述，照明数据可以用于包括在动画混合现实缩略图演示中的每个图像。例如，对于用于形成动画混合现实缩略图演示的多个图像中的每个图像，可以接收指示物理环境的环境光条件的照明数据，并且可以用相应的照明效果来为多个图像中的每个图像渲染三维虚拟模型的视图。
图5示出了解说用于形成混合现实缩略图图像的示例方法500的流程图。方法500可由例如MR计算设备104(图1)来执行。方法500包括在502处接收针对三维虚拟模型的保存命令。保存命令可以由用户输入，或者可以自动生成(例如，其中计算设备被配置为周期性地自动保存打开的文件)。响应于保存命令，方法500包括在504处接收并存储其中正在编辑三维模型的物理环境的图像，并且在506处渲染三维虚拟模型的视图。图像和模型可以与任何其他合适的数据(诸如音频数据、深度数据、纹理数据、表面材料数据等)一同被保存为三维模型的保存文件的组件。
方法500还包括在508处通过合成三维虚拟模型的渲染和物理环境的图像来形成混合现实缩略图图像。如509所指示的，混合现实缩略图也可以作为三维虚拟模型的保存文件的一部分来存储。方法500还包括在510处将混合现实缩略图显示在例如允许打开虚拟模型文件以供查看、编辑和/或其它动作的用户界面上。在其它示例中，混合现实缩略图图像可以响应于除保存命令以外的其它触发而被存储。
继续，方法500包括在512处接收更新三维虚拟模型的用户输入。一旦接收到合适的触发输入，方法500包括在514处渲染经更新的三维虚拟模型，并且在516处通过将更新的三维虚拟模型的视图与和三维模型的保存文件一起存储的物理环境的图像进行合成来更新混合现实缩略图图像。方法500进一步包括在518处将包括与物理环境的图像合成的经更新的三维虚拟模型的经更新的混合现实缩略图显示在例如允许虚拟模型文件被打开以供观看、编辑和/或其它动作的用户界面上。以这种方式，混合现实缩略图可以反映三维虚拟模型的最新外观，但是被设置在即使在不同位置编辑时也一致的背景中。
图6示出了采取具有透明显示器602的一副可穿戴眼镜的形式的HMD设备600的非限制性示例。在其它示例中，HMD设备可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在观察者的一只或两只眼睛前方。
HMD设备600包括被配置成控制透视显示器602的操作的控制器604。透视显示器602可以使得图像(诸如全息对象)被递送到HMD设备600穿戴者的眼睛。透视显示器602可被配置成向透过该透明显示器观察物理环境的穿戴者在视觉上增强现实世界物理环境的外观。例如，物理环境的外观可通过经由透明显示器602呈现的图形内容来增强以创建混合现实环境。在一个示例中，显示器可被配置成显示一个或多个可视数字内容项目。在一些情况下，数字内容项目可以是覆盖在真实世界环境前面的虚拟对象。同样地，在一些情况下，数字内容项目可合通过透明显示器602看到的现实世界的现实世界对象的元素。
任何合适的机制可被用于经由透明显示器602来显示图像。例如，透明显示器602可包括位于镜片606内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器602可包括位于HMD设备600的框架内的光调制器。在该示例中，透镜606可用作用于将光从光调制器递送到穿戴者的眼睛的光导。这样的光导可使得穿戴者能够感知位于穿戴者正在查看的物理环境内的3D全息图像，同时还允许穿戴者查看物理环境中的物理对象，因此创建了混合现实环境。
HMD设备600还可包括用于向控制器604提供信息的各种传感器和相关系统。这样的传感器可包括但不限于：话筒阵列、一个或多个面向外的图像传感器608、以及惯性测量单元(IMU)610。
作为非限制性示例，话筒阵列可包括位于HMD设备600的不同部分上的6个话筒。在一些实现中，话筒612和614可位于镜片606的顶部部分上，并且通常可面向前方。话筒612和614可以瞄准相对于HMD设备600的向前方向的四十五度角。话筒612和614可以进一步瞄准HMD设备600的平坦水平平面。话筒612和614可以是被配置为捕捉HMD设备600前方的一般区域/方向上的声音的全向话筒，或者可以采取任何其它合适的形式。
话筒616和618可以位于透镜606的底部。作为一个非限制性示例，话筒616和618可以向前朝向并且向下瞄准以捕捉从佩戴者的嘴部发出的声音。在一些实现中，话筒616和618可以是定向话筒。在一些实施中，话筒612、614、616和618可以位于围绕透镜606的框架中。
话筒620和622可以各自位于HMD设备600的侧外框上。话筒620和622可以瞄准相对于HMD设备600的向前方向的九十度角。话筒620和622可以进一步瞄准HMD设备600的平坦水平平面。话筒620和622可以是全向话筒，其被配置为在HMD设备600的每一侧上的一般区域/方向上捕捉声音。应该理解的是，也可以使用除上述之外的任何其它合适的话筒阵列。
所描绘的话筒阵列仅仅是合适的话筒阵列的一个非限制性示例，并且可以在不脱离本公开的范围的情况下实施任何合适数量的处于任何合适配置的话筒。例如，本文所描述的一个或多个话筒所捕捉的音频数据可以被保存到三维虚拟模型保存文件。
一个或多个面向外的图像传感器608可被配置成捕捉来自HMD设备600所处的物理环境的虚拟数据。例如，面向外的传感器608可被配置成检测显示器602视野内的移动，诸如视野内的穿戴者或人或物理对象所执行的移动。在一个示例中，面向外的传感器608可检测正对HMD设备的穿戴者说话的用户。面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。例如，面向外的图像传感器608可以被配置为收集物理环境的图像数据、关于物理环境的环境光条件的照明数据、物理环境中的表面的深度数据、物理环境中的表面的材料属性数据等等。由面向外的图像传感器608获取的图像数据、照明数据、表面材料属性数据和/或深度数据(包括其衍生物)可以被包括在例如三维虚拟模型保存文件中。
IMU 610可被配置成将HMD设备600的位置和/或取向数据提供给控制器604。在一个实施例中，IMU 610可被配置为三轴或三自由度位置传感器系统。这一示例位置传感器系统可例如包括用于指示或测量HMD设备600在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的取向变化的三个陀螺仪。从IMU的传感器信号导出的取向可以用于确定在对话中已经与HMD设备的佩戴者交互的用户的方向。
在另一示例中，IMU 610可被配置成六轴或六自由度位置传感器系统。这样的配置可包括三个加速度计和三个陀螺仪以指示或测量HMD设备600沿三个正交轴的位置变化和绕该三个正交轴的设备取向变化。在一些实施例中，来自图像传感器408和IMU 610的位置和取向数据可以被结合使用以确定HMD设备600的位置和取向。
HMD设备600还可包括扬声器624和626，扬声器624和626被配置成向HMD设备的穿戴者输出声音。扬声器624和626可被定位在HMD设备的贴近穿戴者耳朵的每个侧框架部分上。例如，扬声器624和626可以将诸如音乐或音轨的音频内容播放到经由透视显示器602显示的视觉内容。在一些情况下，响应于穿戴者与被检测到的另一个人之间的对话，扬声器的音量可以被降低或静音。
控制器604可包括可以与HMD设备600的各种传感器和显示器通信的逻辑设备和存储设备。在一个示例中，存储设备可包括指令，所述指令可由逻辑设备执行以从图像传感器接收物理环境的图像，存储所述物理环境的图像，渲染三维虚拟模型，通过合成所述三维虚拟模型的视图和所述物理环境的图像来形成混合现实缩略图图像，将所述混合现实缩略图图像显示在所述显示设备上，接收更新所述三维虚拟模型的用户输入，渲染经更新的三维虚拟模型，通过合成所述经更新的三维虚拟模型的视图和所述物理环境的图像来更新所述混合现实缩略图图像，以及在所述显示设备上显示包括与所述物理环境的图像合成的经更新的三维虚拟模型的混合现实缩略图图像。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
HMD设备600是本文中所公开的示例可被实现在其上的计算系统的一个示例。更一般地，图7示意性地示出了可以执行上述方法和过程之中的一个或多个的计算系统700的示例非限制性实施例的框图。以简化形式示出了计算系统700。除本文中所描述的HMD设备以外，计算系统700可采取以下形式：一个或多个个人计算设备、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。
计算系统700包括逻辑设备702和存储设备704。计算系统700可任选地包括显示子系统705、输入子系统708、通信子系统710和/或在图7中未示出的其他组件。
逻辑设备702包括被配置为执行指令的一个或多个物理设备。例如，逻辑设备可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑设备可以包括被配置成执行软件指令的一个或多个处理器。附加地或替换地，逻辑设备可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核的或多核的，其上执行的指令可以被配置用于串行、并行和/或分布式处理。逻辑设备的个体组件可任选地分布在两个或更多个分开的设备之间，所述设备可以位于远程以及/或者被配置用于协同处理。逻辑设备的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储设备704包括被配置成保持可由逻辑设备执行的指令以实现本文描述的方法和过程的一个或多个物理设备。当实现这样的方法和过程时，存储设备704的状态可以被转换—例如以保存不同的数据。
存储设备704可包括可移动和/或内置设备。存储设备704可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储设备704可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储设备704包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑设备702和存储设备704的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“程序”可用于描述被实现来执行特定功能的计算系统700的一方面。在一些情况下，可经由执行存储设备704所保持的指令的逻辑设备702来实例化程序。将理解，不同的模块、程序、和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其他服务。在一些实现中，服务可以在一个或多个服务器计算设备上运行。
在包括显示子系统705时，显示子系统705可用于呈现由存储设备704所保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储设备保存的数据，并由此转换存储设备的状态，因此同样可以转换显示子系统705的状态以可视地表示底层数据的改变。显示子系统705可包括使用实质上任何类型的技术的一个或多个显示设备。这样的显示设备可与逻辑设备702和/或存储设备704一起组合在共享封装中，或者这样的显示设备可以是外围显示设备。
在包括输入子系统708时，输入子系统708包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与其对接。此类部件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。NUI部件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。
当包括通信子系统710时，通信子系统710可被配置为将计算系统700与一个或多个其他计算设备通信地耦合。通信子系统710可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统700经由诸如互联网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
另一示例提供一种混合现实计算设备，包括图像传感器，显示设备，包括指令的存储设备，以及处理器。处理器可被配置为执行所述指令以从所述图像传感器接收物理环境的图像，存储所述物理环境的图像，渲染三维虚拟模型，通过合成所述三维虚拟模型的视图和所述物理环境的图像来形成混合现实缩略图图像，将所述混合现实缩略图图像显示在所述显示设备上，接收更新所述三维模型的用户输入，渲染经更新的三维模型，通过合成所述经更新的三维模型的视图和所述物理环境的图像来更新所述混合现实缩略图图像，以及在所述显示设备上显示包括与所述物理环境的图像合成的经更新的三维模型的混合现实缩略图图像。在这一示例中，指令可替代地或附加地可执行以接收指示所述物理环境的环境光条件的照明数据，并且至少部分地通过将照明效果应用于所述三维模型来渲染所述三维模型，所述照明效果至少部分基于所述照明数据来选择。在这一示例中，指令可替代地或附加地可执行以至少部分地通过将所述照明效果应用于所述经更新的三维模型来渲染所述经更新的三维模型。在这一示例中，指令可替代地或附加地可执行以通过基于所述照明数据在所述物理环境的至少一部分的三维上渲染反射来将所述照明效果应用于所述三维模型。在这一示例中，指令可替代地或附加地可执行以通过获取多个图像来形成包括多个混合现实缩略图图像的动画混合现实缩略图演示，以及将所述多个图像与所述三维模型的对应的多个视图合成。在这一示例中，指令可替代地或附加地可执行以接收与所述多个图像的获取在时间上接近地捕捉的音频数据，以及在显示所述动画混合现实缩略图演示时，回放所述音频数据。在这一示例中，指令可替代地或附加地可执行以对于所述多个图像中的每一个图像，接收指示所述物理环境的环境光条件的照明数据，并且用相应的照明效果来为所述多个图像中的每一个图像渲染三维模型，每一个照明效果基于对应于该图像的照明数据来选择。在这一示例中，所述物理环境是第一物理环境，并且指令可替代地或附加地可执行以接收对应于所述第一物理环境的深度数据，以及至少基于根据所述深度数据对所述第一物理环境进行的表面重构来将所述三维模型与所述第一物理环境的虚拟视图一起显示在第二物理环境上。在这一示例中，指令可替代地或附加地可执行以将所述照明效果应用于所述第二物理环境的至少一部分，所述照明效果基于所述第一物理环境的虚拟视图来选择。在这一示例中，指令可替代地或附加地可执行以将照明效果应用于所述物理环境的图像，所述照明效果基于所述三维模型来选择。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供一种在计算设备上的方法，包括从图像传感器接收物理环境的图像，存储所述物理环境的图像，渲染三维虚拟模型，通过合成所述三维虚拟模型的视图和所述物理环境的图像来形成混合现实缩略图图像，将所述混合现实缩略图图像显示在显示设备上，接收更新所述三维模型的用户输入，渲染经更新的三维模型，通过合成所述经更新的三维虚拟模型的视图和所述物理环境的图像来更新所述混合现实缩略图图像，以及在所述显示设备上显示包括与所述物理环境的图像合成的经更新的三维模型的混合现实缩略图图像。在这一示例中，方法可替代地或附加地包括接收指示所述物理环境的环境光条件的照明数据，并且至少部分地通过将照明效果应用于所述三维模型来渲染所述三维模型，所述照明效果至少部分基于所述照明数据来选择。在这一示例中，方法可替代地或附加地包括至少部分地通过将所述照明效果应用于所述经更新的三维模型来渲染所述经更新的三维模型。在这一示例中，方法可替代地或附加地包括通过基于所述照明数据在所述物理环境的至少一部分的三维上渲染反射来将所述照明效果应用于所述三维模型。在这一示例中，方法可替代地或附加地包括通过捕获多个图像来形成包括多个混合现实缩略图图像的动画混合现实缩略图演示，以及将所述多个图像与所述三维模型的对应的多个视图合成。在这一示例中，方法可替代地或附加地包括对于所述多个图像中的每一个图像，接收指示所述物理环境的环境光条件的照明数据，并且用相应的照明效果来为所述多个图像中的每一个图像渲染三维模型，每一个照明效果基于对应于该图像的照明数据来选择。在这一示例中，所述物理环境可以是第一物理环境，并且方法可替代地或附加地包括接收对应于所述第一物理环境的深度数据，以及至少基于根据所述深度数据对所述第一物理环境进行的表面重构来将所述三维模型与所述第一物理环境的虚拟视图一起显示在第二物理环境上。在这一示例中，方法可替代地或附加地包括将照明效果应用于所述物理环境的图像，所述照明效果基于所述三维模型来选择。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
另一示例提供一种头戴式显示设备，包括透视显示设备，图像传感器，包括存储的指令的存储，以及处理器，所述处理器被配置为执行所述指令以从所述图像传感器接收物理环境的图像，存储所述物理环境的图像，接收指示所述物理环境的环境照明条件的照明数据，通过将照明效果应用于三维虚拟模型来渲染该三维模型，所述照明效果至少基于所述照明数据来选择，通过合成所述三维虚拟模型的视图和所述物理环境的图像来形成混合现实缩略图图像，将所述混合现实缩略图图像显示在所述透视显示设备上，接收更新所述三维模型的用户输入，通过将照明效果应用于经更新的三维模型来渲染该经更新的三维模型，通过合成所述经更新的三维模型的视图和所述物理环境的图像来更新所述混合现实缩略图图像，以及在所述透视显示设备上显示包括与所述物理环境的图像合成的经更新的三维模型的混合现实缩略图图像。在这一示例中，照明效果可以是第一照明效果，并且指令可替代地或附加地可执行以将第二照明效果应用于所述物理环境的图像，所述第二照明效果基于所述三维模型来选择。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所例示和/或所描述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (15)

1.一种混合现实计算设备，包括：
图像传感器；
显示设备；
包括指令的存储设备；以及
处理器，所述处理器被配置为执行所述指令以
从所述图像传感器接收物理环境的图像；
存储所述物理环境的图像；
渲染三维虚拟模型；
通过合成所述三维虚拟模型的视图和所述物理环境的图像来形成混合现实缩略图图像；
将所述混合现实缩略图图像显示在所述显示设备上；
接收更新所述三维模型的用户输入；
渲染经更新的三维模型；
通过合成所述经更新的三维虚拟模型的视图和所述物理环境的图像来更新所述混合现实缩略图图像；以及
在所述显示设备上显示包括与所述物理环境的图像合成的经更新的三维模型的混合现实缩略图图像。
2.如权利要求1所述的混合现实计算设备，其特征在于，所述指令可进一步执行以接收指示所述物理环境的环境光条件的照明数据，并且至少部分地通过将照明效果应用于所述三维模型来渲染所述三维模型，所述照明效果至少部分基于所述照明数据来选择。
3.如权利要求2所述的混合现实计算设备，其特征在于，所述指令可进一步执行以至少部分地通过将所述照明效果应用于所述经更新的三维模型来渲染所述经更新的三维模型。
4.如权利要求3所述的混合现实计算设备，其特征在于，所述指令可进一步执行以通过基于所述照明数据渲染在所述物理环境的至少一部分的三维上的反射来将所述照明效果应用于所述三维模型。
5.如权利要求1所述的混合现实计算设备，其特征在于，所述指令可进一步执行以通过获取多个图像来形成包括多个混合现实缩略图图像的动画混合现实缩略图演示，以及将所述多个图像与所述三维模型的对应的多个视图合成。
6.如权利要求5所述的混合现实计算设备，其特征在于，所述指令可进一步执行以
接收与所述多个图像的获取在时间上接近地捕捉的音频数据；以及
在显示所述动画混合现实缩略图演示时，回放所述音频数据。
7.如权利要求5所述的混合现实计算设备，其特征在于，所述指令被可进一步执行以对于所述多个图像中的每一个图像，接收指示所述物理环境的环境光条件的照明数据，并且用相应的照明效果来为所述多个图像中的每一个图像渲染三维模型，每一个照明效果基于对应于该图像的照明数据来选择。
8.如权利要求1所述的混合现实计算设备，其特征在于，所述物理环境是第一物理环境，并且其中所述指令可进一步执行以
接收对应于所述第一物理环境的深度数据；以及
至少基于根据所述深度数据对所述第一物理环境进行的表面重构来将所述三维模型与所述第一物理环境的虚拟视图一起显示在第二物理环境上。
9.如权利要求8所述的混合现实计算设备，其特征在于，所述指令可进一步执行以将所述照明效果应用于所述第二物理环境的至少一部分，所述照明效果基于所述第一物理环境的虚拟视图来选择。
10.如权利要求1所述的混合现实计算设备，其特征在于，所述指令可进一步执行以将照明效果应用于所述物理环境的图像，所述照明效果基于所述三维模型来选择。
11.在计算设备上，一种方法包括
从图像传感器接收物理环境的图像；
存储所述物理环境的图像；
渲染三维虚拟模型；
通过合成所述三维虚拟模型的视图和所述物理环境的图像来形成混合现实缩略图图像；
将所述混合现实缩略图图像显示在显示设备上；
接收更新所述三维模型的用户输入；
渲染经更新的三维模型；
通过合成所述经更新的三维虚拟模型的视图和所述物理环境的图像来更新所述混合现实缩略图图像；以及
在所述显示设备上显示包括与所述物理环境的图像合成的经更新的三维模型的混合现实缩略图图像。
12.如权利要求11所述的方法，其特征在于，还包括接收指示所述物理环境的环境光条件的照明数据，并且至少部分地通过将照明效果应用于所述三维模型来渲染所述三维模型，所述照明效果至少部分基于所述照明数据来选择。
13.如权利要求12所述的方法，其特征在于，进一步包括至少部分地通过将所述照明效果应用于所述经更新的三维模型来渲染所述经更新的三维模型。
14.如权利要求13所述的方法，其特征在于，进一步包括通过基于所述照明数据渲染在所述物理环境的至少一部分的三维上的反射来将所述照明效果应用于所述三维模型。
15.如权利要求11所述的方法，其特征在于，进一步包括通过获取多个图像来形成包括多个混合现实缩略图图像的动画混合现实缩略图演示，以及将所述多个图像与所述三维模型的对应的多个视图合成。
CN201680070321.6A 2016-01-11 2016-12-27 更新混合现实缩略图 Active CN108292444B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/992,934 2016-01-11
US14/992,934 US10068376B2 (en) 2016-01-11 2016-01-11 Updating mixed reality thumbnails
PCT/US2016/068632 WO2017123410A1 (en) 2016-01-11 2016-12-27 Updating mixed reality thumbnails

Publications (2)

Publication Number Publication Date
CN108292444A true CN108292444A (zh) 2018-07-17
CN108292444B CN108292444B (zh) 2022-01-25

Family

ID=57822080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070321.6A Active CN108292444B (zh) 2016-01-11 2016-12-27 更新混合现实缩略图

Country Status (4)

Country Link
US (1) US10068376B2 (zh)
EP (1) EP3403242A1 (zh)
CN (1) CN108292444B (zh)
WO (1) WO2017123410A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145358A (zh) * 2018-11-02 2020-05-12 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN112422812A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
CN112929581A (zh) * 2021-01-22 2021-06-08 领悦数字信息技术有限公司 处理含有车辆的照片或者视频的方法、装置及存储介质
CN113452984A (zh) * 2021-06-30 2021-09-28 石家庄科林电气设备有限公司 一种电力运维中实时数据、三维模型和视频结合显示方法
CN113542722A (zh) * 2021-06-30 2021-10-22 石家庄科林电气设备有限公司 一种电力运维中实时数据、三维模型和视频结合显示系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
US10628617B1 (en) 2017-02-22 2020-04-21 Middle Chart, LLC Method and apparatus for wireless determination of position and orientation of a smart device
US10872179B2 (en) 2017-02-22 2020-12-22 Middle Chart, LLC Method and apparatus for automated site augmentation
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US10776529B2 (en) 2017-02-22 2020-09-15 Middle Chart, LLC Method and apparatus for enhanced automated wireless orienteering
US10620084B2 (en) 2017-02-22 2020-04-14 Middle Chart, LLC System for hierarchical actions based upon monitored building conditions
US10733334B2 (en) 2017-02-22 2020-08-04 Middle Chart, LLC Building vital conditions monitoring
US11436389B2 (en) 2017-02-22 2022-09-06 Middle Chart, LLC Artificial intelligence based exchange of geospatial related digital content
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US10762251B2 (en) 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US10467353B2 (en) * 2017-02-22 2019-11-05 Middle Chart, LLC Building model with capture of as built features and experiential data
US10671767B2 (en) 2017-02-22 2020-06-02 Middle Chart, LLC Smart construction with automated detection of adverse structure conditions and remediation
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10268782B1 (en) 2017-02-22 2019-04-23 Middle Chart, LLC System for conducting a service call with orienteering
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US10949579B2 (en) 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
WO2020068177A1 (en) 2018-09-26 2020-04-02 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US11900023B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Agent supportable device for pointing towards an item of interest
US10831945B2 (en) 2017-02-22 2020-11-10 Middle Chart, LLC Apparatus for operation of connected infrastructure
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US10433112B2 (en) 2017-02-22 2019-10-01 Middle Chart, LLC Methods and apparatus for orienteering
CN109427089B (zh) 2017-08-25 2023-04-28 微软技术许可有限责任公司 基于环境光照条件的混合现实对象呈现
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10553031B2 (en) * 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
US10937244B2 (en) * 2018-10-23 2021-03-02 Microsoft Technology Licensing, Llc Efficiency enhancements to construction of virtual reality environments
JP7390540B2 (ja) * 2019-09-24 2023-12-04 株式会社RiBLA アニメーション制作システム
CN111080759B (zh) * 2019-12-03 2022-12-27 深圳市商汤科技有限公司 一种分镜效果的实现方法、装置及相关产品
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
US11640486B2 (en) 2021-03-01 2023-05-02 Middle Chart, LLC Architectural drawing based exchange of geospatial related digital content
CN117651160A (zh) * 2024-01-30 2024-03-05 利亚德智慧科技集团有限公司 光影秀的观赏方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的系统
CN105190485A (zh) * 2013-04-29 2015-12-23 微软技术许可有限责任公司 混合现实交互

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6686918B1 (en) * 1997-08-01 2004-02-03 Avid Technology, Inc. Method and system for editing or modifying 3D animations in a non-linear editing environment
JP2000105772A (ja) * 1998-07-28 2000-04-11 Sharp Corp 情報管理装置
US20060064716A1 (en) * 2000-07-24 2006-03-23 Vivcom, Inc. Techniques for navigating multiple video streams
US20040160640A1 (en) * 2001-08-16 2004-08-19 Corrales Richard C. Systems and methods for creating three-dimensional and animated images
US6985145B2 (en) 2001-11-09 2006-01-10 Nextengine, Inc. Graphical interface for manipulation of 3D models
HUP0401870A2 (en) 2004-09-17 2006-04-28 3D Histech Kft Method and computer program product for storing high volume coherent primarily 3d information assuring fast retrieval and transmission
US8976160B2 (en) * 2005-03-01 2015-03-10 Eyesmatch Ltd User interface and authentication for a virtual mirror
US7433741B2 (en) * 2005-09-30 2008-10-07 Rockwell Automation Technologies, Inc. Hybrid user interface having base presentation information with variably prominent supplemental information
US20070171237A1 (en) * 2006-01-25 2007-07-26 Marco Pinter System for superimposing a face image on a body image
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
KR20090050577A (ko) * 2007-11-16 2009-05-20 삼성전자주식회사 멀티미디어 컨텐츠를 표시 및 재생하는 사용자인터페이스및 그 장치와 제어방법
US8717411B2 (en) * 2008-02-05 2014-05-06 Olympus Imaging Corp. Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
CN101354793B (zh) 2008-09-10 2010-09-22 汕头市超声仪器研究所有限公司 基于图形处理器的实时三维图像平滑处理方法
US20110210962A1 (en) * 2010-03-01 2011-09-01 Oracle International Corporation Media recording within a virtual world
US20120182286A1 (en) 2011-01-14 2012-07-19 Wang xiao yong Systems and methods for converting 2d data files into 3d data files
US9710958B2 (en) 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20140195963A1 (en) * 2011-12-16 2014-07-10 Gehry Technologies Method and apparatus for representing 3d thumbnails
US10176635B2 (en) * 2012-06-28 2019-01-08 Microsoft Technology Licensing, Llc Saving augmented realities
TWI571827B (zh) 2012-11-13 2017-02-21 財團法人資訊工業策進會 決定３ｄ物件影像在３ｄ環境影像中深度的電子裝置及其方法
CN103870485B (zh) * 2012-12-13 2017-04-26 华为终端有限公司 实现增强现实应用的方法及设备
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US9699375B2 (en) * 2013-04-05 2017-07-04 Nokia Technology Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
KR102077305B1 (ko) * 2013-05-09 2020-02-14 삼성전자 주식회사 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR20150010432A (ko) * 2013-07-19 2015-01-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9530250B2 (en) 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
JP6376807B2 (ja) * 2014-04-02 2018-08-22 キヤノン株式会社 表示装置、表示制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的系统
CN105190485A (zh) * 2013-04-29 2015-12-23 微软技术许可有限责任公司 混合现实交互

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145358A (zh) * 2018-11-02 2020-05-12 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN111145358B (zh) * 2018-11-02 2024-02-23 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN112422812A (zh) * 2020-09-01 2021-02-26 华为技术有限公司 图像处理方法、移动终端及存储介质
WO2022048372A1 (zh) * 2020-09-01 2022-03-10 华为技术有限公司 图像处理方法、移动终端及存储介质
CN112422812B (zh) * 2020-09-01 2022-03-29 华为技术有限公司 图像处理方法、移动终端及存储介质
CN112929581A (zh) * 2021-01-22 2021-06-08 领悦数字信息技术有限公司 处理含有车辆的照片或者视频的方法、装置及存储介质
CN113452984A (zh) * 2021-06-30 2021-09-28 石家庄科林电气设备有限公司 一种电力运维中实时数据、三维模型和视频结合显示方法
CN113542722A (zh) * 2021-06-30 2021-10-22 石家庄科林电气设备有限公司 一种电力运维中实时数据、三维模型和视频结合显示系统

Also Published As

Publication number Publication date
US20170200312A1 (en) 2017-07-13
CN108292444B (zh) 2022-01-25
WO2017123410A1 (en) 2017-07-20
EP3403242A1 (en) 2018-11-21
US10068376B2 (en) 2018-09-04

Similar Documents

Publication Publication Date Title
CN108292444A (zh) 更新混合现实缩略图
JP7348261B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
US11043031B2 (en) Content display property management
CN114615486B (zh) 用于生成合成流的方法、系统和计算机可读存储介质
CN105050670B (zh) 混合现实体验共享
CN110517355A (zh) 用于照明混合现实对象的环境合成
US9551871B2 (en) Virtual light in augmented reality
JP2024028376A (ja) 拡張現実および仮想現実のためのシステムおよび方法
CN105190485B (zh) 混合现实交互
CN105981076B (zh) 合成增强现实环境的构造
JP2022040219A (ja) 拡張現実データを記録するための手法
US10559130B2 (en) Displaying image data behind surfaces
CN106537261A (zh) 全息键盘显示
US20220156998A1 (en) Multiple device sensor input based avatar
WO2014150430A1 (en) Presenting object models in augmented reality images
US20160371885A1 (en) Sharing of markup to image data
US11770252B2 (en) System and method for generating a pepper's ghost artifice in a virtual three-dimensional environment
US10025099B2 (en) Adjusted location hologram display
CN113574849A (zh) 用于后续对象检测的对象扫描
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
CN112465988A (zh) 具有实例检测的对象检测以及一般场景理解
CN111615832A (zh) 用于生成平面视频内容的合成现实重构的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant