CN109313652A - 全息对象的关系绘制 - Google Patents

全息对象的关系绘制 Download PDF

Info

Publication number
CN109313652A
CN109313652A CN201780036362.8A CN201780036362A CN109313652A CN 109313652 A CN109313652 A CN 109313652A CN 201780036362 A CN201780036362 A CN 201780036362A CN 109313652 A CN109313652 A CN 109313652A
Authority
CN
China
Prior art keywords
physical
hologram
computer system
computer
holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780036362.8A
Other languages
English (en)
Other versions
CN109313652B (zh
Inventor
E·S·雷默耶尔
A·J·霍根
P·W·卡尔森
J·扎恩
J·埃斯特雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109313652A publication Critical patent/CN109313652A/zh
Application granted granted Critical
Publication of CN109313652B publication Critical patent/CN109313652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/02—Computing or processing means, e.g. digital signal processor [DSP]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于根据全息对象与标识的物理对象之间的物理关系来绘制全息对象的计算机系统、方法和存储介质。虚拟特性被分配给物理对象，并且响应于检测到全息对象与物理对象之间的物理关系的变化，根据至少部分地由物理关系的变化和由被分配给物理对象的特性定义的修改来绘制全息对象。

Description

全息对象的关系绘制
背景技术
混合现实(“MR”)涉及真实世界物理对象与虚拟对象的合并以产生其中数字虚拟对象和真实世界物理对象共存的新环境和可视化。例如，MR应用包括艺术和娱乐业、教育、制造、工程设计、建设和建筑。然而，MR的优点有时被MR环境内的虚拟或全息对象的交互功能的限制妨碍，特别是关于MR环境内的虚拟对象与有形真实对象之间的有限交互能力。
本文中要求保护的主题不限于解决任何缺点或仅仅操作于以上描述的环境中的实施例。相反，本背景技术仅仅被提供以说明本文中描述的一些实施例可以被实践在其中的示例性技术领域。
发明内容
本公开涉及被配置用于根据全息对象与物理对象之间的相应物理特性和关系来模拟或以其他方式绘制全息对象与物理对象之间的物理交互的计算机系统、方法和计算机存储介质。
一些实施例包括标识物理对象并标识全息对象，物理对象和全息对象根据物理对象与全息对象之间的物理关系彼此相关联。例如，物理关系可以由以下项中的一个或多个定义：相对接近度、相对定向、相对移动模式、相对移动的快速性、逻辑上下文、相对接近度的持续时间、定向、或移动、或物理关系的其他属性。在一些实施例中，物理对象的物理属性或特性和全息对象的分配的物理特性/属性也有助于定义全息对象与物理对象之间的物理关系。
一些实施例包括检测物理关系的变化并且根据检测到的变化来修改全息对象的一个或多个特性。例如，响应于检测到物理关系的变化，全息对象可以利用一个或多个不同的视听特性来重新配置。额外地或备选地，全息对象被重新配置为呈现影响与重新配置的全息对象的用户交互的修改的状态或设置，无论修改的视听指示是否是立即显现的。
一些实施例包括将一个或多个特性分配给物理对象和/或全息对象。在这样的实施例中，一个或多个分配的特性根据全息对象与物理对象之间的物理关系来至少部分地定义全息对象的一个或多个反应。在一些实施例中，被分配给物理对象的特性被配置为不对应于物理对象的真实世界特性的虚拟特性。
某些实施例包括检测标识的物理对象与标识的全息对象之间的物理关系的一个或多个方面的变化，并且作为响应，生成新全息对象以模拟标识的全息对象对物理对象的活动和/或影响。在一些实施例中，标识的全息对象在新全息对象被绘制时保持未被修改。
一些实施例包括响应于检测到物理对象或设备与相关联的全息对象之间的物理关系的一个或多个方面的变化而修改物理对象或设备。
提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容不旨在确定要求保护的主题的关键特征或必要特征，也不旨在用作确定要求保护的主题的范围的辅助。
额外的特征和优点将被阐述在随后的描述中，并且部分将从描述显而易见，或者可以通过对本文中的教导的实践来习得。本发明的特征和优点可以借助于在所附权利要求中特别指出的装置和组合来实现和获得。
附图说明
为了描述能够获得以上所述的优点和特征以及其他优点和特征的方式，将通过参考在附图中示出的特定实施例来呈现以上简单描述的主题的更具体的描述。在理解这些附图仅仅描绘典型实施例并且因此不被认为是在范围上的限制的情况下，利用在对附图的使用中的额外的特异性和细节来描述并解释实施例，在附图中：
图1示出了用于根据全息对象与物理对象之间的物理关系来绘制全息对象的计算机系统；
图2示出了用于根据全息对象与物理对象之间的物理关系来修改全息对象的示例性方法的流程图；
图3示出了用于根据全息对象与物理对象之间的物理关系来绘制新全息对象或者修改全息对象的示例性方法的流程图；
图4示出了用于响应于全息对象的模拟的活动来修改物理设备的示例性方法的流程图；
图5-8示出了包括全息对象和物理对象的混合现实环境的示例性实施例，示出了根据全息对象与物理对象之间的物理关系对全息对象的绘制；以及
图9示出了混合现实环境的示例性实施例，其中全息对象能操作用于根据全息对象与物理对象之间的物理关系来修改物理对象。
具体实施方式
本公开涉及被配置用于根据混合现实环境内的一个或多个全息对象与一个或多个物理对象之间的确定的关系来绘制一个或多个全息对象的计算机系统、方法以及计算机存储介质。各种技术效果和益处可以通过实施所公开的实施例的各方面来实现。例如，至少一个公开的实施例能操作用于通过定义全息对象和与全息对象相同的MR环境内的一个或多个物理对象之间的一个或多个关系来增强全息对象的功能。这可以特别有利于在与全息对象交互期间改进用户体验，有利于增加由全息对象描绘的现实性的感知，有利于增加全息对象的可用交互功能的范围，并且简言之，有利于通过使得MR计算系统能够提供全息对象与真实世界对象之间的交互的增加的现实性来改进MR计算系统的总体功能。
如本文所使用的，术语“全息图”、“全息图对象”、“全息对象”等等是指包括一个或多个三维视觉线索(诸如深度线索、视差效应、和/或基于观察者的相对视角真实地变化的视角可视化)的虚拟绘制的图像和/或动画。
如本文所使用的，术语“物理对象”、“有形对象”等等是指存在于真实世界内的并且在其中一个或多个全息对象可以被叠加到其上或者被绘制到其内以形成MR环境的环境内观察到的实际物理对象。
如本文所使用的，术语“混合现实(MR)”、“增强现实”等等是指将一个或多个物理对象与一个或多个全息对象相组合的显示、应用、场景、和/或环境。在一些实施例中，一个或多个全息对象被叠加在物理场景上和/或被绘制在物理场景内，使得如由用户感知到的显示在物理场景内包括一个或多个全息对象。
例如，全息对象与物理对象之间的“关系”、“物理关系”或“关联”可以由以下项定义和/或可以是指以下项：一个对象相对于另一个对象的接近度、一个对象相对于另一个对象的定向、一个对象相对于另一个对象的移动模式、一个对象相对于另一个对象的移动的快速性、前述中的一个或多个的持续时间、或者其组合。在一些实施例中，关系还可以至少部分地根据由全息对象和物理对象共享的混合现实环境内的上下文来定义。例如，在游戏应用中，一对相关的全息对象和物理对象可以取决于游戏水平、用户状态、难度设置、游戏玩法模式等等而不同地交互。在另一示例中，在3D建模/可视化应用中，一对相关的全息对象和物理对象可以取决于应用状态(诸如可视化模式对比编辑模式)而不同地交互。
物理关系还可以至少部分地基于对象的物理特性(包括(多个)物理对象和(多个)全息对象的实际特性或分配的特性)来定义。例如，除了关系由对象的物理位置和定向来定义，物理关系还可以由以下项来定义或包括以下项：化学关系、磁关系、温度关系、动态应力或压缩关系和/或基于对象的分配的物理特性(无论特性是真实的还是仅仅虚拟分配的)与存在于对象之间的交互状态相关联的任何其他交互关系。
术语“物理特性”可以是指与物理对象相关联的任何物理属性或特性，包括(但不限于)温度、硬度、形状、材料组成、大小、重量、传导性、颜色、反射性、强度、黏度、体积、不透明度、延展性、脆度、弹性、压力、电荷、速度、辐射率、电力等等。这些物理特性可以被分配给全息对象以及物理对象。因此，物理对象可以在MR环境内被分配了实际物理特性或虚拟物理特性。这些物理特性还可以在MR环境内被映射/存储并且如本文所描述的基于MR交互而改变。
物理特性有时在本文被称为物理对象特性或者全息对象特性，这分别取决于它们是对应于物理对象还是全息对象。
图1示出了被配置用于根据一个或多个全息对象与一个或多个物理对象之间的一个或多个关系来绘制一个或多个全息对象的示例性计算机系统100。为简单起见，本文描述的实施例将通常指代与“一个”物理对象具有“一定”关系的“一个”全息对象，但是本领域技术人员将理解，这些描述的实施例的范围也扩展到根据与一个或多个物理对象的一种或多种关系来对一个或多个全息对象的绘制。
如所示出的，示出的计算机系统100包括具有存储器102和至少一个处理器104的计算机设备110。备选实施例可以包括多个处理器和/或存储器存储设备。存储器102可以是物理系统存储器，其可以是易失性的、非易失性的、或者这两种的某种组合。术语“存储器”也可以在本文用于指代诸如物理存储介质的非易失性大容量存储装置。
计算机设备110还包括被配置为实现MR环境的生成和显示的MR部件106，包括一个或多个用户头戴件、相机、图像投影仪、和/或可以在混合现实环境的生成中使用的其他部件。在一些实施例中，MR部件106还包括使得用户能够与计算机设备110交互的一个或多个额外的输入/输出部件，包括一个或多个触觉反馈部件(例如，可穿戴部件)、显示屏、键盘、鼠标控件、触摸屏、麦克风、扬声器、显示屏、跟踪球、滚动轮、生物识别传感器(例如，脑电图传感器(EEG))、心率监测器、眼部跟踪或身体移动跟踪设备、身体温度传感器)、等等，以使得能够从用户接收信息并且用于向用户显示或以其他方式传达信息。
示出的计算机设备110包括使得计算机设备110能够与一个或多个单独的计算机设备或系统进行通信的通信信道108。例如，计算机设备110可以是网络140的部分，例如，其可以被配置为局域网(“LAN”)、广域网(“WAN”)、或者互联网。在一些实施例中，计算机设备110与如由多个单独的计算机系统150a至150n指示的分布式计算机环境150进行通信和/或为其一部分，这些计算机系统中的每个可以完全地或部分地包含在系统100中示出的所公开的部件中的一个或多个，诸如存储器部件、应用部件、或者其他部件中的任何部件中的一个或多个。
计算机设备110还包括下面更详细地描述的可执行模块或可执行部件114-122。如本文所使用的，术语“可执行模块”或“可执行部件”可以是指可以在计算系统上执行的软件对象、路由或方法。本文描述的不同的部件、模块、引擎和服务可以被实现为在计算系统上执行的对象或过程。
示出的计算机设备110还包括能够在计算机设备110上操作的应用130。应用130可以是游戏应用、视听应用、3D建模/可视化应用、图形设计应用、工程建模应用、建筑设计应用、或者利用能操作用于绘制物理真实场景内或者叠加物理真实场景的至少一个全息对象的MR显示的任何其他应用。
如所示出的，应用130包括具有一个或多个分配的全息对象特性134的一个或多个全息对象132。例如，具体全息对象可以具有定义全息对象被显示的方式(例如音频和/或视觉效果)、全息对象对用户输入做出反应的方式、和/或全息对象与全息对象被绘制于其中的混合现实环境的其他元件交互的方式的一个或多个特性。例如，被配置为被绘制为大圆石的全息对象可以具有包括“重”、“硬”、“致密”等等的分配的全息对象特性的集合，而被配置为被绘制为玻璃花瓶的全息对象可以具有包括“易碎”、“可破碎”、“可填充”、“不可弯曲”等等的分配的全息对象特性的集合。
在示出的实施例中，应用130还包括定义可分配给可由应用130检测的一个或多个物理对象的特性的一个或多个物理对象特性136的集合。例如，MR场景内检测到的墙壁、地板或天花板可以具有包括“不能穿透”、“不能通过”等等的分配的对象特性的集合。在一些实施例中，一个或多个物理对象特性136是不一定对应于它们被分配的物理对象的实际物理特性的虚拟特性。例如，在游戏应用中，玩具剑可以被配置具有包括“锋利”和“刚性”的物理对象特性的集合，即使玩具剑实际上是钝的且相对柔性的。
具体全息对象132的不同全息对象特性134可以是静态的或者可以是动态的和/或可修改的。例如，一些全息对象特性134或物理对象特性136可以被配置为随时间变化和/或根据用户设置、应用状态、游戏水平等等而变化。
如所示出的，应用130还包括定义一个或多个可检测到的物理对象与一个或多个全息对象132之间的可检测到的关系的一个或多个关系定义138的集合。如下面更详细地解释的，在一些实施例中，对全息对象与物理对象之间的具体关系的检测操作用于引起以下中的一个或多个：对全息对象的修改、对一个或多个新全息对象的绘制、或者对物理对象的修改。
示出的计算机设备110还包括被配置用于检测和/或标识混合现实场景内的一个或多个物理对象的对象识别引擎114。对象识别引擎114可以能操作用于使用边缘、脊以及角检测、梯度匹配以及本领域中已知的其他模型和算法来检测并标识对象。
示出的计算机设备110还包括被配置为在检测到物理对象时将物理对象特性136分配给对应的物理对象的特性分配器116。例如，在一些实例中，应用130包括将窗户定义为“可粉碎”和“反射”的物理对象特性136(例如，无论它们实际上在物理上是可粉碎的还是反射的)。在由对象识别引擎114检测到混合现实场景内的窗户时，特性分配器116将“可粉碎”和“反射”特性分配给检测到的窗户。
在一些实施例中，特性分配器116还被配置为将全息对象特性134分配给对应的全息对象132。在其他实施例中，全息对象特性134通过应用130本身被分配给全息特性132。
示出的计算机设备110还包括被配置为检测并标识全息对象132与检测到的物理对象之间的关系的关系检测器118。继续窗户示例，关系检测器118可以检测由全息棒球相对于窗户的接近度和轨迹定义的窗户与全息棒球之间的关系，或者可以检测由全息激光束相对于窗户的定向/目标定义的窗户与全息激光束之间的关系。
示出的计算机设备110还包括被配置为根据全息对象132与检测到的物理对象之间的检测到的关系满足预定关系定义138来控制全息对象132的绘制的全息图修改器120。继续窗户示例，如由关系检测器118检测到的，当全息棒球的轨迹与窗户对齐时，根据定义具有“可粉碎”特性的窗户将在这样的关系下粉碎的关系定义138，全息图修改器120能操作用于在全息棒球穿过窗户时绘制粉碎效果。例如，粉碎效果可以包括生成动画地绘制为从窗户落下的全息碎片、保留在窗户中的全息裂缝、和/或粉碎声音效果。在另一示例中，如由关系检测器118检测到的，当全息激光束的定向面对窗户时，根据定义具有“反射”特性的窗户将反射激光束的关系定义138，全息图修改器120能操作用于(例如，基于激光束相对于窗户的角度)将全息激光束修改为从窗户上反射出来。
示出的计算机设备110还包括对象控制器122。在一些实施例中，混合现实场景内的一个或多个可修改的物理对象160被配置为可响应于一个或多个可修改的物理对象160与一个或多个全息对象132之间的具体检测到的关系来致动或修改。例如，可修改的物理对象160可以是风扇，并且风扇可以根据(例如，如由关系定义138定义的并且如由关系检测器118检测的)全息电力线缆与风扇的接近度来通电和断电。
图1中示出的各种部件仅仅表示被配置用于根据全息对象与物理对象之间的检测到的关系来绘制全息对象的计算机系统的几个示例实施方式。其他实施例可以将所描述的存储器/存储装置、模块、部件和/或功能不同地划分在应用130和计算机设备110(例如，计算机设备110的操作系统)之间和/或额外的计算机系统之中。例如，在一些实施例中，特性分配器116、关系检测器118和/或全息图修改器120由应用130管理和控制。在一些实施例中，与全息对象132、全息对象特性134、物理对象特性136和/或关系定义138相关的数据结构从一个或多个单独计算机设备/系统接收，诸如从一个或多个计算机设备150a-n接收。
在一些实施例中，存储器部件和/或程序模块跨分布式环境中的多个组成计算机系统(例如，150a-n)分布。在其他实施例中，存储器部件和程序模块被包括在单个集成计算机系统中。因此，本文描述的系统和方法不旨在基于所描述的部件所处和/或它们的功能被执行的特定位置而受到限制。
在随后的描述中，参考由一个或多个计算系统执行的动作描述实施例。如果这样的动作以软件来实现，则执行动作的相关联的计算系统的一个或多个处理器响应于计算系统的(多个)处理器已经运行了体现于一个或多个计算机可读介质(例如，(多个)硬件存储设备)上的计算机可执行指令而指引计算系统的操作。这样的操作的示例涉及对数据的操纵。
计算机可执行指令(以及操纵的数据)可以被存储在计算设备110的存储器102中，和/或一个或多个单独的计算机系统部件中。计算机可执行指令可以用于实现和/或实例化本文公开的所有功能，包括参考图2至4的流程图中的一个或多个流程图公开的功能。由图2至4示出的计算机实现的方法的以下描述包括示例应用和计算机系统。本领域技术人员将理解具体方法不限于使用的具体示例。类似地，本领域技术人员将理解具体示例应用或计算机系统不需要局限于其被描述的具体实施例，而是可以整体地或部分地利用于本文描述的其他实施例中的一个或多个中。
图2是与用于根据全息图与一个或多个物理对象之间的物理关系来重新配置全息图的计算机实现的方法相关联的动作的流程图200。如所示出的，计算机系统标识物理对象，物理对象根据物理对象与一个或多个全息图对象之间的物理关系与一个或多个全息图对象相关联(动作210)。该关系可以基于存储的全息对象特性和与对应的对象相关联的物理对象特性，如上文在前面所描述的。
计算机系统还标识与物理对象相关联的全息图对象，全息图对象被配置为根据所标识的全息图对象与物理对象之间的物理关系的一个或多个方面来对物理对象做出反应(动作220)。例如，标识的物理对象可以是魔杖，并且标识的全息图对象可以是被配置为根据与魔杖的接近度、魔杖相对于角色的定向、和/或接近度或定向的持续时间来对魔杖做出反应的游戏角色。
计算机系统随后检测物理对象与全息图对象之间的物理关系的变化(动作230)，并且根据物理关系的检测到的变化来修改全息图对象的一个或多个特性(动作240)。例如，计算机系统可以检测到魔杖已经被定位为更靠近角色和/或已经被指向角色足够的持续时间。作为响应，计算机系统可以修改角色属性，诸如通过升级或降级健康水平、强度水平、或其他属性。计算机系统之后存储所修改的全息图对象(动作250)和更新的对象特性。
在一些实施例中，对全息图对象的修改引起对全息图对象的音频或视觉绘制的变化。例如，全息角色可以拍他/她的手或痛得弯腰。额外地或备选地，对全息对象的修改引起对全息对象的设置或属性的变化，其可以不是通过视觉或听觉被立即示出的。例如，全息角色可以“升级”并且被授予额外的功能，或者全息对象特性的另一变化可以改变，但是这样的额外功能或物理特性改变可以不是在视觉上显现的或者直到稍后的时间才展现，如果进一步的游戏玩法指导的话或者当进一步的游戏玩法指导时。
图3示出了用于根据全息图与一个或多个物理对象之间的物理关系来生成新全息图或者修改全息图的计算机实现的方法的流程图300。计算机系统标识全息图对象(动作310)，并且标识物理对象，物理对象根据物理对象与全息图对象之间的物理关系与全息图对象相关联(动作320)。例如，所标识的全息图对象可以是全息火炬，并且所标识的物理对象可以是着火的木头(例如，真实的或合成的)。
计算机系统还检测全息图对象与物理对象之间的物理关系的一个或多个方面的变化(动作330)，并且响应于物理关系的检测到的变化而生成新全息图对象或者修改全息图对象，新全息图对象或者所修改的全息图对象模拟所标识的全息图对象与所标识的物理对象之间的反应(动作340)。计算机系统之后存储新全息图对象或所修改的全息图对象的映射(动作350)。例如，当使全息火炬与着火的木头足够接近且合适定向时(例如，使得火炬的点着端“触及”着火的木头)，则计算机系统通过绘制围绕着火的木头的全息火焰来生成新全息图。之后，当用户或另一实体通过MR视觉系统查看着火的木头时，他们将观察到全息火焰围绕着火的木头，因为全息火焰已经与着火的木头相关联并且被映射到着火的木头。
图4示出了用于响应于全息图的模拟的活动或者相关联的物理特性来修改物理设备的计算机实现的方法的流程图400。如所示出的，计算机系统标识全息图对象(动作410)，并且标识物理对象，物理对象根据物理对象与全息图对象之间的物理关系与全息图对象相关联(动作420)。例如，所标识的全息图对象可以是全息电池，并且所标识的物理对象可以是显示屏。
计算机系统还检测全息图对象与物理对象之间的物理关系的一个或多个方面的变化(动作430)，并且响应于物理关系的检测到的变化而修改物理对象(动作440)。计算机系统可以之后根据修改来存储物理对象的状态(动作450)。例如，计算机系统可以检测到电池已经被定位为邻近显示屏，并且可以作为响应接通显示屏。
图5-9示出各种示例性实施例的操作和功能。本文描述的且在权利要求中记载的构思和特征的范围不限于这些具体示出的示例，也不是引用的应用的类型。
图5示出了包括全息冰块502和以小雕像504的形式的物理对象的MR环境。在该示例中，小雕像504已经被分配了“热”的特性并且全息冰块502已经被分配了“可融化”的特性，使得当小雕像504和冰块502被定位具有足够接近度足够时间量时，全息冰块被绘制为全息融化冰块506。
在一些实施例中，呈现的修改效果的程度可以根据物理对象与全息对象之间的物理关系的相对程度来发展。例如，全息冰块502可以在小雕像504被定位得更靠近冰块502的情况下融化得更快。另外，当物理关系的持续时间继续时，全息冰块502可以随时间发展以变得甚至更加融化，直到其变成水坑或者甚至直到其蒸发并且完全消失。
图6示出了包括全息冰块602和以刀604(例如，玩具刀)的形式的物理对象的混合现实环境。在该示例中，刀604已经被分配了“锋利”的特性，并且全息冰块602已经被分配了“可剪切”的特性，使得当以合适的定向(例如，刀片面对冰块602)使刀604与冰块602足够接近时，全息冰块602被绘制为经剪切的冰块606。剪切还可以在MR环境中使刀与冰块602接触(即，视觉相交)时实时地动态发生。
由图5和图6示出的示例示出特定全息对象可以具有多个不同特性并且可以基于与不同物理对象的不同交互来呈现多个对应效果。例如，在一些实施例中，冰块502和冰块602可以表示被配置为根据关于不同物理对象(例如，小雕像504和刀604)的物理关系不同地做出反应的相同全息对象。额外地或备选地，在一些实施例中，取决于相应对象之间的物理关系的具体参数，特定全息对象可以对相同的相关联的物理对象不同地做出反应(参见图8)。
图7示出了包括全息喷灯702和物理墙壁704的混合现实环境。在该示例中，全息喷灯702已经被分配了“灼烧”的特性，并且墙壁704已经被分配了“可燃烧”的特性。如所示出的，当全息喷灯702改变相对于墙壁704的位置时，模拟对墙壁704的灼烧效果的新全息图706被生成。在该示例中，功能关系是全息喷灯702与物理墙壁704之间的，并且得到的效果是一个或多个新全息图(即，利用墙壁的映射的位置持续保存在MR数据文件中的墙壁的烧焦部分的新全息图706以及可能仅仅是暂时的烟(当前未示出)的全息图，等等)而原始全息对象(即，喷灯702)保持未被修改。
图8示出了包括全息鸡蛋802和物理表面804(例如，桌面)的混合现实环境。在该示例中，全息鸡蛋802已经被分配了“易碎”的特性并且表面804已经被分配了“硬”的特性，使得在MR环境内使全息鸡蛋802与表面804以足够的力/快速性接触时，全息鸡蛋802将破碎。例如，如果全息鸡蛋802与表面804以相对少的力或快速性接触，则鸡蛋802被绘制为破裂但是仍然是完整的全息鸡蛋806。相反，如果全息鸡蛋802与表面804以相对大的力或快速性接触，则鸡蛋802被绘制为完全破裂的全息鸡蛋808。
图9示出了包括全息球902和物理灯泡904的混合现实环境的实施例。在该示例中，灯泡904的特性(例如，打开和关闭状态、颜色、等等)受全息球902与灯泡904之间的物理关系影响。例如，当全息球902被“扔”在灯泡904处时，对象之间的物理接近度的变化被检测到，从而通过经由连接的系统使针对灯泡904的开关被激活来使灯泡904点亮。类似的实施例可以包括全息对象与音频控件(例如，音量控件)、显示控件、电力控件、致动机构之间的交互、和/或可致动的或可调节的物理对象与全息对象之间的其他交互。
所公开的实施例可以包括或利用包括计算机硬件(诸如，例如，一个或多个处理器和系统存储)的专用计算机系统或通用计算机系统。本发明的范围内的实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理介质和其他计算机可读介质。这样的计算机可读介质能够是能够由通用计算机系统或专用计算机系统访问的任何可用介质。存储计算机可执行指令和/或数据结构的计算机可读介质是计算机存储介质。承载计算机可执行指令和/或数据结构的计算机可读介质是传输介质。因此，通过举例而非限制性的方式，本发明的实施例能够包括至少两种截然不同的种类的计算机可读介质：计算机存储介质和传输介质。
计算机存储介质是存储计算机可执行指令和/或数据结构的物理存储介质。物理存储介质包括计算机硬件，诸如RAM、ROM、EEPROM、固态驱动器(“SSD”)、闪存、相位变化存储器(“PCM”)、光盘存储装置、磁盘存储装置或者其他磁性存储设备、或者可以用于存储以计算机可执行指令或数据结构的形式的程序代码的任何其他(多个)硬件存储设备，程序代码可以由通用计算机系统或专用计算机系统访问和执行以实现本发明的所公开的功能。
传输介质能够包括能够被用于承载以计算机可执行指令或数据结构的形式的程序代码并且能够由通用计算机系统或专用计算机系统访问的网络和/或数据链路。“网络”被定义为实现在计算机系统和/或模块和/或其他电子设备之间的电子数据的传输的一个或多个数据链路。当通过网络或另外的通信连接(硬接线的、无线的或硬接线或无线的组合)将信息传输或提供到计算机系统时，计算机系统可以将连接恰当地视为传输介质。以上的组合还应当被包含在计算机可读介质的范围内。
另外，在到达各种计算机系统部件时，以计算机可执行指令或数据结构的形式的程序代码能够自动地从传输介质被传输到计算机存储介质(或者反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构能够被缓冲在网络接口模块(例如，“NIC”)内的RAM中，并且之后最终被传输到计算机系统RAM和/或被传输到在计算机系统处的较不易失性计算机存储介质。因此，应当理解，计算机存储介质能够被包含在也(或甚至主要)利用传输介质的计算机系统部件中。
计算机可执行指令包括例如当在一个或多个处理器处运行时使通用计算机系统、专用计算机系统、或用于执行特定功能或功能组的专用处理设备的指令和数据。计算机可执行指令可以例如为二进制、诸如汇编语言的中间格式指令或甚至源代码。
本领域技术人员将认识到可以在具有许多类型的计算机系统配置的网络计算环境中实践本发明，许多类型的计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、微型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、虚拟现实或增强现实头戴件、等等。还可以在分布式系统环境中实践本发明，在分布式系统环境中通过网络(通过硬接线数据链路、无线数据链路、或通过硬接线数据链路和无线数据链路的组合)链接的本地计算机系统和远程计算机系统两者都执行任务。因此，在分布式系统环境中，计算机系统可以包括多个组成计算机系统。在分布式系统环境中，程序模块可以被定位在本地存储器存储设备和远程存储器存储设备两者中。
本领域技术人员还将认识到本发明可以被实践于云计算环境中。云计算环境可以是分布式的，但是这不是要求的。当分布式时，云计算环境可以国际性地分布在组织内和/或具有跨多个组织拥有的部件。在本说明书和随附权利要求书中，“云计算”被定义为用于实现对可配置计算资源(例如，网络、服务器、存储、应用以及服务)的共享池的按需网络访问的模型。“云计算”的定义不限于当被恰当地部署时可以从这样的模型获得的其他许多优点中的任何。
云计算模型能够包括各种特性，诸如按需自服务、宽泛网络访问、资源池、快速弹性、可度量的服务、等等。云计算模型还可以以各种服务模型的形式出现，例如软件即服务(“SaaS”)、平台即服务(“PaaS”)以及基础设施即服务(“IaaS”)。云计算模型还可以使用诸如私有云、社团云、公共云、混合云、等等的不同的部署模型来部署。
诸如云计算环境的一些实施例可以包括包含均能够运行一个或多个虚拟机的一个或多个主机的系统。在操作期间，虚拟机模拟操作计算系统，支持操作系统以及可能支持一个或多个其他应用。在一些实施例中，每个主机包括管理程序，管理程序使用从虚拟机的视图抽象的物理资源来模拟针对虚拟机的虚拟资源。管理程序还提供虚拟机之间的恰当隔离。因此，从任何给定虚拟机的视角，管理程序提供虚拟机正在与物理资源对接的错觉，即使虚拟机仅仅与物理资源的表观(例如，虚拟资源)对接。物理资源的示例包括处理能力、存储器、磁盘空间、网络带宽、介质驱动器、等等。
本发明可以在不脱离其精神或必要特性的情况下以其他具体形式来实现。所描述的实施例应在所有方面仅仅被认为是说明性的而非限制性的。本发明的范围因此由随附权利要求而非由前述描述指示。在权利要求的等价性的意义和范围内出现的所有改变应被包含在其范围内。

Claims (15)

1.一种被配置用于根据全息图与一个或多个物理对象之间的物理关系来重新配置所述全息图的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
一个或多个硬件存储设备，其上存储有计算机可执行指令，所述计算机可执行由所述一个或多个处理器可执行以使所述计算机系统至少执行以下各项：
标识物理对象，所述物理对象根据所述物理对象与一个或多个全息图对象之间的物理关系与所述一个或多个全息图对象相关联；
标识与所述物理对象相关联的全息图对象，所述全息图对象被配置为根据标识的所述全息图对象与所述物理对象之间的物理关系的一个或多个方面来对所述物理对象做出反应；
检测所述物理对象与所述全息图对象之间的所述物理关系的变化；
根据所述物理关系的检测到的所述变化来修改所述全息图对象的一个或多个特性；以及
存储修改的所述全息图对象。
2.根据权利要求1所述的计算机系统，其中所述计算机可执行指令还可执行以使所述计算机系统将一个或多个虚拟特性分配给标识的所述物理对象，所述一个或多个虚拟特性根据所述物理对象与所述全息图对象之间的所述物理关系来至少部分地定义标识的所述全息图对象的一个或多个反应。
3.根据权利要求1所述的计算机系统，其中所述虚拟特性中的一个或多个虚拟特性不对应于标识的所述物理对象的实际物理特性。
4.根据权利要求2所述的计算机系统，其中所述计算机可执行指令还可执行以使所述计算机系统将一个或多个特性分配给标识的所述全息图对象，所述一个或多个特性根据所述物理对象与所述全息图对象之间的所述物理关系来至少部分地定义标识的所述全息图对象的一个或多个反应。
5.根据权利要求1所述的计算机系统，其中所述计算机可执行指令还可执行以使所述计算机系统将一个或多个特性分配给标识的所述全息图对象，所述一个或多个特性根据所述物理对象与所述全息图对象之间的所述物理关系来至少部分地定义标识的所述全息图对象的一个或多个反应。
6.根据权利要求1所述的计算机系统，其中所述物理对象与所述全息图对象之间的所述物理关系的检测到的所述变化包括所述物理对象相对于所述全息图对象之间的接近度的变化。
7.根据权利要求1所述的计算机系统，其中对所述全息图对象的一个或多个特性的所述修改包括对所述全息图对象的视听显示的修改。
8.根据权利要求1所述的计算机系统，其中对所述全息图对象的一个或多个特性的所述修改包括对所述全息图对象的直到至少一个或多个额外输入被接收才在听觉上或视觉上展现的设置或状态的修改。
9.一种被配置用于根据全息图与一个或多个物理对象之间的物理关系来生成新全息图或者修改全息图的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
一个或多个硬件存储设备，其上存储有计算机可执行指令，所述计算机可执行由所述一个或多个处理器可执行以使所述计算机系统至少执行以下各项：
标识全息图对象；
标识物理对象，所述物理对象根据所述物理对象与所述全息图对象之间的物理关系与所述全息图对象相关联；
检测所述全息图对象与所述物理对象之间的所述物理关系的一个或多个方面的变化；
响应于所述物理关系的检测到的所述变化而生成新全息图对象或者修改所述全息图对象，所述新全息图对象或者修改的所述全息图对象模拟标识的所述全息图对象与标识的所述物理对象之间的反应；以及
存储所述新全息图对象或者修改的所述全息图对象的映射。
10.根据权利要求9所述的计算机系统，其中所述计算机可执行指令还可执行以使所述计算机系统将一个或多个虚拟特性分配给标识的所述物理对象，所述一个或多个虚拟特性根据所述物理对象与所述全息图对象之间的所述物理关系来至少部分地定义标识的所述全息图对象的一个或多个反应。
11.根据权利要求9所述的计算机系统，其中所述计算机可执行指令还可执行以使所述计算机系统将一个或多个特性分配给标识的所述全息图对象，所述一个或多个特性根据所述物理对象与所述全息图对象之间的所述物理关系来至少部分地定义标识的所述全息图对象的一个或多个反应。
12.根据权利要求9所述的计算机系统，其中新全息图对象响应于所述物理关系的检测到的所述变化而被生成。
13.根据权利要求12所述的计算机系统，其中标识的所述全息图对象保持未被修改。
14.一种被配置用于响应于全息图的模拟的活动而修改物理设备的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
一个或多个硬件存储设备，其上存储有计算机可执行指令，所述计算机可执行由所述一个或多个处理器可执行以使所述计算机系统至少执行以下各项：
标识全息图对象；
标识物理对象，所述物理对象根据所述物理对象与所述全息图对象之间的物理关系与所述全息图对象相关联；
检测所述全息图对象与所述物理对象之间的所述物理关系的一个或多个方面的变化；以及
响应于所述物理关系的检测到的所述变化而修改所述物理对象。
15.根据权利要求14所述的计算机系统，其中所述物理关系的一个或多个方面的检测到的所述变化包括所述物理对象相对于所述全息图对象的接近度或定向中的一种或多种的变化。
CN201780036362.8A 2016-06-24 2017-06-13 全息对象的关系绘制 Active CN109313652B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/192,543 2016-06-24
US15/192,543 US10169918B2 (en) 2016-06-24 2016-06-24 Relational rendering of holographic objects
PCT/US2017/037088 WO2017222859A1 (en) 2016-06-24 2017-06-13 Relational rendering of holographic objects

Publications (2)

Publication Number Publication Date
CN109313652A true CN109313652A (zh) 2019-02-05
CN109313652B CN109313652B (zh) 2021-09-17

Family

ID=59093631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780036362.8A Active CN109313652B (zh) 2016-06-24 2017-06-13 全息对象的关系绘制

Country Status (18)

Country Link
US (1) US10169918B2 (zh)
EP (1) EP3475841B1 (zh)
JP (2) JP2019527376A (zh)
KR (1) KR102338284B1 (zh)
CN (1) CN109313652B (zh)
AU (1) AU2017280917B2 (zh)
BR (1) BR112018074601B1 (zh)
CA (1) CA3023502C (zh)
CL (1) CL2018003614A1 (zh)
CO (1) CO2018013672A2 (zh)
IL (1) IL263753B (zh)
MX (1) MX2018015622A (zh)
NZ (1) NZ747871A (zh)
PH (1) PH12018550192A1 (zh)
RU (1) RU2751444C2 (zh)
SG (1) SG11201810175YA (zh)
WO (1) WO2017222859A1 (zh)
ZA (1) ZA201807406B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075999A (zh) * 2021-02-22 2021-07-06 余军涛 一种线上火炬传递用移动终端、系统及方法
CN113661473A (zh) * 2019-04-23 2021-11-16 苹果公司 用于对象的感知属性向量
CN115167087A (zh) * 2022-05-27 2022-10-11 四川大学 基于随机梯度下降优化算法的球面全息再现质量提升方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10895950B2 (en) * 2016-12-09 2021-01-19 International Business Machines Corporation Method and system for generating a holographic image having simulated physical properties
US10303118B2 (en) * 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US20200082630A1 (en) * 2018-09-07 2020-03-12 Anuj Sharma Augmented reality platform and method for nautical applications
WO2020081967A1 (en) * 2018-10-19 2020-04-23 Infinite Kingdoms Llc System for providing an immersive experience using multi-platform smart technology, content streaming, and special effects systems
US20200126302A1 (en) * 2018-10-20 2020-04-23 Anuj Sharma Augmented Reality Platform and Method
GB2578181A (en) * 2018-10-20 2020-04-22 Sharma Anuj Rudra smart city
GB2578337A (en) * 2018-10-22 2020-05-06 Sharma Anuj The infinity project
GB2579256A (en) * 2018-11-27 2020-06-17 Sharma Anuj The Krishi project
US11442549B1 (en) * 2019-02-07 2022-09-13 Apple Inc. Placement of 3D effects based on 2D paintings
CN110060352A (zh) * 2019-04-17 2019-07-26 深圳天际云数字技术有限公司 三维模型全息交互方法和系统
US20220146822A1 (en) * 2019-08-15 2022-05-12 Ostendo Technologies, Inc. Wearable Display Systems and Design Methods Thereof
JP7264270B2 (ja) * 2019-10-18 2023-04-25 富士通株式会社 情報処理方法、情報処理プログラム、情報処理装置および情報処理システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063339A1 (en) * 2001-09-28 2003-04-03 Snider Gregory S. Method and apparatus for generating a hologram
CN101556421A (zh) * 2007-12-04 2009-10-14 索尼株式会社 显示系统
US20100245361A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Context-based management of markers
CN102165394A (zh) * 2008-09-30 2011-08-24 微软公司 结合交互式表面来使用物理对象
CN102884490A (zh) * 2010-03-05 2013-01-16 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
US20130342570A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Object-centric mixed reality space
US20140049559A1 (en) * 2012-08-17 2014-02-20 Rod G. Fleck Mixed reality holographic object development
US20140071506A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd. Apparatus and method for adjusting holographic image
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
CN105549371A (zh) * 2016-03-04 2016-05-04 北京工业大学 一种多角度连续太赫兹波照明数字全息成像方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992009949A1 (en) 1990-11-30 1992-06-11 Vpl Research, Inc. Improved method and apparatus for creating virtual worlds
US6175954B1 (en) 1997-10-30 2001-01-16 Fuji Xerox Co., Ltd. Computer programming using tangible user interface where physical icons (phicons) indicate: beginning and end of statements and program constructs; statements generated with re-programmable phicons and stored
EP1712981A1 (en) * 2005-04-15 2006-10-18 Herman Bailey Interactive augmented reality system
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8212820B2 (en) * 2006-05-04 2012-07-03 Nintendo Co., Ltd. Virtual suction tool
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US8292733B2 (en) 2009-08-31 2012-10-23 Disney Enterprises, Inc. Entertainment system providing dynamically augmented game surfaces for interactive fun and learning
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
EP2754289A4 (en) 2011-09-08 2016-05-18 Intel Corp INCREASED REALITY BASED ON OBJECT CHARACTERISTICS WHERE THE IMAGE IS FORMED
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US20130307855A1 (en) 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
US9645394B2 (en) * 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
JP5891125B2 (ja) * 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
RU2502950C1 (ru) * 2012-07-31 2013-12-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Казанский государственный энергетический университет" (ФГБОУ ВПО "КГЭУ") Способ голографической визуализации обтекания движущегося тела
US20140071163A1 (en) * 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6159069B2 (ja) * 2012-09-27 2017-07-05 京セラ株式会社 表示装置
US20140160162A1 (en) 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality
EP2973514B1 (en) * 2013-03-11 2021-12-15 Lincoln Global, Inc. System and method providing combined virtual reality arc welding and three-dimensional (3d) viewing
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
US10007413B2 (en) * 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US9990078B2 (en) * 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063339A1 (en) * 2001-09-28 2003-04-03 Snider Gregory S. Method and apparatus for generating a hologram
CN101556421A (zh) * 2007-12-04 2009-10-14 索尼株式会社 显示系统
CN102165394A (zh) * 2008-09-30 2011-08-24 微软公司 结合交互式表面来使用物理对象
US20100245361A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Context-based management of markers
CN102884490A (zh) * 2010-03-05 2013-01-16 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图
US20130342570A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Object-centric mixed reality space
US20140049559A1 (en) * 2012-08-17 2014-02-20 Rod G. Fleck Mixed reality holographic object development
US20140071506A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd. Apparatus and method for adjusting holographic image
CN103761085A (zh) * 2013-12-18 2014-04-30 微软公司 混合现实全息对象开发
CN105549371A (zh) * 2016-03-04 2016-05-04 北京工业大学 一种多角度连续太赫兹波照明数字全息成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YASUTOSHI MAKINO ET AL: ""HaptoClone(Haptic-Optical Clone)for Mutual Tele-Environment by Real-time 3D Image Transfer with Midair Force Feedback"", 《HUMAN FACTORS IN COMPUTING SYSTEM》 *
高松涛; 武东城; 彭石军; 苏东奇; 苗二龙: ""用计算全息图检测非球面时的自补偿效应分析"", 《光学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113661473A (zh) * 2019-04-23 2021-11-16 苹果公司 用于对象的感知属性向量
CN113075999A (zh) * 2021-02-22 2021-07-06 余军涛 一种线上火炬传递用移动终端、系统及方法
CN113075999B (zh) * 2021-02-22 2024-03-29 余军涛 一种线上火炬传递用移动终端、系统及方法
CN115167087A (zh) * 2022-05-27 2022-10-11 四川大学 基于随机梯度下降优化算法的球面全息再现质量提升方法
CN115167087B (zh) * 2022-05-27 2023-12-26 四川大学 基于随机梯度下降优化算法的球面全息再现质量提升方法

Also Published As

Publication number Publication date
SG11201810175YA (en) 2019-01-30
ZA201807406B (en) 2020-01-29
RU2018145295A3 (zh) 2020-09-11
MX2018015622A (es) 2019-03-06
BR112018074601A2 (pt) 2019-03-19
EP3475841B1 (en) 2021-05-26
RU2018145295A (ru) 2020-06-22
BR112018074601A8 (pt) 2023-01-31
CA3023502C (en) 2024-01-02
PH12018550192A1 (en) 2019-09-30
AU2017280917A1 (en) 2018-11-22
IL263753B (en) 2021-07-29
KR20190022693A (ko) 2019-03-06
CN109313652B (zh) 2021-09-17
CA3023502A1 (en) 2017-12-28
RU2751444C2 (ru) 2021-07-13
US20170372518A1 (en) 2017-12-28
CO2018013672A2 (es) 2018-12-28
AU2017280917B2 (en) 2021-09-09
CL2018003614A1 (es) 2019-03-22
KR102338284B1 (ko) 2021-12-09
EP3475841A1 (en) 2019-05-01
BR112018074601B1 (pt) 2023-12-26
WO2017222859A1 (en) 2017-12-28
US10169918B2 (en) 2019-01-01
IL263753A (en) 2019-01-31
NZ747871A (en) 2022-04-29
JP2019527376A (ja) 2019-09-26
JP2022066297A (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
CN109313652A (zh) 全息对象的关系绘制
US10403050B1 (en) Multi-user virtual and augmented reality tracking systems
Cipresso et al. The past, present, and future of virtual and augmented reality research: a network and cluster analysis of the literature
US10953336B2 (en) Role simulation method and terminal apparatus in VR scene
Hilfert et al. Low-cost virtual reality environment for engineering and construction
Christopoulou et al. Overview and comparative analysis of game engines for desktop and mobile devices
US20180308377A1 (en) Mixed-Reality System
Karthika et al. Hololens
US20200226834A1 (en) Method and system for tracking data of a vr, ar or mr device wearer in real time
CN112870702B (zh) 虚拟场景中道具资源的推荐方法、装置、设备及存储介质
Gomez Immersive virtual reality for learning experiences
Mathew Importance of virtual reality in current world
Malaka et al. Using Natural User Interfaces for Previsualization.
Turan Virtual reality implementation for University Presentation
CN103412642A (zh) 一种交互装置
Bang Your head in the clouds-Towards intuitive cloud interaction through virtual reality
Lewis Virtual reality applications and development
Smagur User interface in interactive virtual environment based on real location
Ren A Utility Framework for Selecting Immersive Interactive Capability and Technology for Virtual Laboratories
Schmidt Interactive medical training simulations in virtual reality
Vinothaa et al. INSTITUTION BASED SMARTPHONE APPLICATION USING VIRTUAL REALITY
Kelly evoExplore: Multiscale Visualization for Evolutionary Design Histories
Men et al. AudioMostly-Designing Sonic Privacy of Virtual Reality Musical Instruments
Lerga Valencia Merging augmented reality and virtual reality
Zhang Virtual reality application in data visualization and analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1262689

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant