CN110809750A - 在保持物理性质的同时虚拟地表示空间和对象 - Google Patents

在保持物理性质的同时虚拟地表示空间和对象 Download PDF

Info

Publication number
CN110809750A
CN110809750A CN201880039765.2A CN201880039765A CN110809750A CN 110809750 A CN110809750 A CN 110809750A CN 201880039765 A CN201880039765 A CN 201880039765A CN 110809750 A CN110809750 A CN 110809750A
Authority
CN
China
Prior art keywords
physical
environment
virtual representation
hmd
dimensional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880039765.2A
Other languages
English (en)
Other versions
CN110809750B (zh
Inventor
M·帕胡德
N·里什
E·奥菲克
C·赫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202210486186.0A priority Critical patent/CN114779949A/zh
Publication of CN110809750A publication Critical patent/CN110809750A/zh
Application granted granted Critical
Publication of CN110809750B publication Critical patent/CN110809750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

公开了在各种环境中显示真实世界空间和对象的虚拟表示的系统和技术。可以由头戴式显示器(HMD)设备扫描在第一位置处的源环境，以生成与在第一位置处的物理环境相对应的三维数据集。三维数据集可以包括与物理环境相关联的检测到的物理性质。在第二位置处，HMD可以重新创建源环境，并且基于三维数据集来绘制物理环境的虚拟表示以进行显示，其中源环境的虚拟表示被绘制以保持与物理环境相关联的检测到的物理性质中的任何一个检测到的物理性质。此外，在第二位置处，HMD可以使得用户能够查看物理环境的虚拟表示内的一个或多个物理对象，使得物理对象被感知为在源环境内。

Description

在保持物理性质的同时虚拟地表示空间和对象
背景技术
增强现实或“混合”现实技术已经被并入包括游戏、企业、设计和游戏等在内的各个行业的很多不同应用中。这些技术已经被并入各种产品供应中，以增强用户体验和生产力，并且为用户提供以前的技术产品无法实现的功能。由这些技术促进的一个特定增强领域涉及这些环境内的环境可视化和协作。
增强现实是一种本质上将计算机生成的图像叠加到用户的真实世界视图上的技术，使得该技术的用户可以感知到合成视图，该合成视图包括被计算机生成的图像覆盖的用户感知到的真实世界视图。关于环境可视化，增强现实已经使得用户能够查看真实世界环境内的虚拟三维纹理对象。此外，增强现实设备已经使得能够以不同比例在设备之间发送和接收这些三维对象。但是，传统系统没有提供用于捕获三维对象并且将这些对象从其环境中分割出来以进行存储或传送的直观方法。
发明内容
提供本发明内容部分以便以简化的形式介绍下面在具体实施方式部分中进一步描述的概念的选择。本发明内容部分既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在单独用于帮助确定所要求保护的主题的范围。
本文中描述的技术的实施例涉及在各种增强现实(AR)环境中捕获、存储、传送和/或呈现真实世界空间和对象的虚拟表示。此外，真实世界空间和对象的虚拟表示可以保持如在AR环境中呈现的任何数目的物理性质。这样，该技术的实施例提供了用于在AR环境中捕获真实世界空间和/或对象并且在稍后的时间重新生成该真实世界空间和/或对象的技术。此外，本文中描述的技术的其他实施例可以例如通过在设备之间发送和接收真实世界空间和对象的虚拟表示来促进在这种AR环境中的协作。尽管本公开主要参考AR作为所实施的技术，但是诸如混合现实、全息术和虚拟现实等其他技术也是在本公开的范围内的技术。
根据一些实施例，由用户佩戴的头戴式显示器(HMD)设备可以扫描在第一位置处的物理环境(例如，房间)，本文中也被描述为源环境，并且进一步生成与在第一位置处的物理环境相对应的三维数据集的第一集合。三维数据集的集合可以例如基于由耦合到HMD的一个或多个光学输入设备获取的光学信息来生成。此外，三维数据集可以包括与在第一位置处的物理环境相关联的检测到的物理性质，例如几何形状、尺寸、空间关系或色度性质。HMD可以将数据集存储在本地或远程设备(例如，云)处。在第二位置处，HMD可以通过基于三维数据集的集合来绘制源环境的虚拟表示以进行显示来重新创建源环境，其中源环境的虚拟表示被绘制以保持与物理环境相关联的检测到的物理性质的任何组合。此外，HMD可以使得用户能够在源环境的虚拟表示内查看和扫描在第二位置处的一个或多个物理对象，使得(多个)物理对象可以被感知为在源环境内。为此，用户可以通过查看源环境的虚拟表示中的物理对象，来查看在第二位置处的物理对象相对于源环境的逼真比较。
在一些其他实施例中，HMD可以扫描在第二位置处的一个或多个物理对象，以生成与在第二位置处的至少第一物理对象相对应的三维数据集的至少第二集合。三维数据集的集合可以例如基于由耦合到HMD的一个或多个光学输入设备获取的光学信息来生成。与(多个)物理对象相对应的三维数据集可以包括与在第二位置处的(多个)物理对象相关联的检测到的物理性质。然后，HMD可以在本地或在远程设备处存储与(多个)物理对象相对应的数据集。基于三维数据集的集合，HMD可以重新创建(多个)物理对象，并且绘制(多个)物理对象的虚拟表示以进行显示，其中(多个)物理对象的虚拟表示被绘制以保持与(多个)物理对象相关联的一个或多个检测到的物理性质。在这方面，HMD可以使得用户能够查看源环境的虚拟表示内的物理对象的一个或多个虚拟表示。此外，用户可以通过查看源环境的虚拟表示中的物理对象的虚拟表示，来查看在第二位置处的物理对象相对于源环境的逼真比较。
在一些其他实施例中，可以由HMD接收和/或检索所存储的三维数据集，使得可以在另一位置(诸如第一位置，即源环境)处查看物理对象的虚拟表示的任何数目或组合。因此，HMD可以通过绘制物理对象的虚拟表示以进行显示、同时保持与物理对象相关联的一个或多个检测到的物理性质来重新创建物理对象。这样，HMD可以使得用户能够在第一位置的源环境内从第二位置查看物理对象的一个或多个虚拟表示。为此，用户可以通过查看源环境内的(多个)物理对象的(多个)虚拟表示来查看在第二位置处的物理对象相对于源环境的逼真比较。
本发明的其他目的、优点和新颖特征将部分地在下面的描述中被阐述，并且将部分地对于阅读了以下内容的本领域技术人员而言是清楚的，或者可以通过实践本发明来获知。
附图说明
下面参考附图来详细描述本文中提出的技术的各个方面，其中：
图1是根据本文中描述的技术的一些方面的示例操作环境的图；
图2是根据本文中描述的技术的一些方面的描绘计算架构的示例性组件的框图；
图3A至图3E是根据本文中描述的技术的一些方面的在增强现实环境中虚拟地表示真实世界空间和对象的示例性实现的示意图；
图4是根据本文中描述的技术的一些方面的示例性HMD的框图。
图5是示出根据本文中描述的技术的一些方面的用于在各种环境中呈现真实世界空间和对象的虚拟表示的方法的流程图；
图6是示出根据本文中描述的技术的一些方面的用于在各种环境中呈现真实世界空间和对象的虚拟表示的方法的流程图；
图7是适合用于实现本发明的实施例的示例性计算环境的框图。
具体实施方式
本文中具体描述本公开的各方面的主题以满足法定要求。然而，说明书本身并不旨在限制本专利的范围。相反，发明人已经预料到，所要求保护的主题还可以结合其他当前或未来技术以其他方式实施，以包括与本文档中描述的步骤不同的步骤或类似步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是除非并且除了明确地描述了各个步骤的顺序时，这些术语不应解释为暗示本文中公开的各个步骤之中或之间的任何特定顺序。
如本文中使用的，术语“虚拟对象”(VO)可以是指任何计算机生成的对象或者物理或非物理对象的任何计算机生成的可视化。这样的计算机生成的对象(或其计算机生成的可视化)可以是一维(1D)对象、二维(2D)对象或三维(3D)对象(或其可视化)。“环境”可以是指任何物理(例如，“真实世界”)或非物理(例如，“计算机生成的”或“虚拟”)环境、或这些环境的任何组合。这样的环境包括但不限于虚拟现实环境、增强现实环境和/或混合现实环境。尽管本公开主要参考AR作为所实施的技术，但是诸如混合现实、全息术和虚拟现实等其他技术也是在本公开范围内的技术。
根据本文中描述的技术的一些方面，可穿戴式显示器设备(例如，头戴式显示器(HMD)设备或HMD)可以配备有一个或多个光学输入设备(例如，相机)，以实现表示用户环境和/或其中的对象的几何形状的三维数据(例如，3D地图、深度图)的累积。三维数据可以表示在特定位置处的任何数目的环境(例如，真实世界空间)，包括其中的任何数目的对象。然后可以将环境和/或对象作为真实世界空间和对象的一个或多个虚拟表示呈现给显示器设备的用户。因此，这样的显示器设备还可以关于它们的几何形状和/或外观而准确地呈现虚拟表示。在一些实施例中，在真实世界空间或对象被另一对象阻挡的情况下(例如，当设备生成三维数据时)，可以根据可见部分来推断空间或对象。此外，可以根据空间照度和关系对虚拟表示进行标准化。例如，然后可以将三维数据存储在设备或远程服务器上。
根据一些方面，显示器设备可以分别向其他显示器设备(例如，HMD)发送虚拟对象或表示以及从其他显示器设备接收虚拟对象或表示，以促进AR环境中的视觉数据的协作。换言之，根据本文中描述的一些实施例的HMD可以将真实世界空间和对象的虚拟表示共享给协作AR用户的HMD。在一些方面，位于不同位置的HMD用户之间的真实世界空间和对象的共享被认为是本公开的优点。在一些实施例中，虚拟表示可以以全尺寸(例如，1：1的宽高比)显示，或者在其他实施例中，可以缩小到一致的比例(例如，20：1的宽高比)以适合用户的真实世界环境。以这种方式，可以经由HMD查看空间和对象的虚拟表示，使得虚拟表示保持其真实世界对应物的真实性，并且在某种程度上通过其绘制的物理性质(例如，大小、几何形状、外观)而保持真实感。在一些方面，用户可以指定一个或多个虚拟表示(例如，真实世界空间和/或对象)以经由第一HMD发送到另一用户的第二HMD。接收HMD可以在其相应位置处接收虚拟表示，使得可以经由接收HMD来查看虚拟表示，该虚拟表示具有与其真实世界对应物相似或相同的属性。
根据一些实施例，描述了经由HMD来扫描、生成、绘制、查看、发送和接收三维虚拟空间和对象(包括几何形状和外观)的实现。在一些实施例中，操作头戴式显示器(HMD)设备的用户可以利用HMD设备(例如，经由其相机)扫描环境，这在一些实施例中可以进一步分割扫描环境以生成一起表示扫描环境的一部分或全部的一个或多个虚拟对象。然后，用户可以经由第一HMD来指定来自扫描环境的一个或多个虚拟对象，以与(例如，另一用户的)第二HMD共享。应当理解，可以由HMD从一个或多个环境中选择多于一个对象来存储或与另一HMD共享。当用户扫描其环境时，HMD设备可以识别物理环境以及其中的物理对象的外观和物理性质。在一些实施例中，可以由HMD设备根据扫描环境的可见区域以及在其中检测到的对象之间的关系来自动地完成不能被直接扫描(例如，至少部分被遮挡)的对象或对象的部分。可以基于扫描环境的检测到的光照以及该光照与环境内其他对象的空间关系来标准化任何一个对象的外观。来自扫描环境的对象可以由第一HMD存储，由第一HMD在第二位置处重新创建，或者被发送到在第二位置处的第二HMD以由第二HMD重新创建。然后，在接收环境(例如，第二位置的物理环境)内，接收HMD可以以全尺寸或以缩小的尺寸(例如，小型化)显示接收到的(多个)对象。此外，在第二位置处的用户可以采用第二HMD以查看在接收环境内的各个位置处的对象，并且在一些方面，可以自适应地绘制以基于检测到的接收环境的照度来改变其外观。在某些情况下，HMD设备可以自动定位接收到的虚拟对象，使得在被绘制以进行显示时，该虚拟对象不会与接收环境中物理上存在的任何物理对象相交、重叠或遮挡。在这方面，在一些实施例中，可以在通过接收HMD对其进行扫描期间根据接收环境的任何检测到的物理性质来自动定位或对准虚拟对象。
现在关于图1来参考附图，图1描绘了其中可以采用本公开的一些实施例的示例性计算环境100的框图。应当理解，本文中描述的这种和其他布置仅作为示例阐述。除了或代替所示出的布置或元件，还可以使用其他布置和元件(例如，机器、界面、功能、顺序、以及功能的分组)，并且为了清楚起见，可以完全省略一些元件。此外，本文中描述的很多元件是可以被实现为离散或分布式组件或与其他组件相结合实现并且以任何合适的组合和位置来实现的功能实体。在本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，某些功能可以由执行存储在存储器中的指令的处理器来执行。
除了未示出的其他组件，示例操作环境100还包括：至少两个用户设备，诸如HMD设备110和120；网络130；至少一个服务器140；以及至少一个数据源150。应当理解，图1所示的环境100是一种合适的操作环境的示例。例如，图1所示的每个组件可以经由任何类型的计算设备(诸如结合图7描述的计算设备700)来实现。这些组件可以经由网络130彼此通信，网络130可以包括但不限于一个或多个局域网(LAN)和/或广域网(WAN)。在示例性实现中，在各种可能的公共和/或私有网络中的任何一个网络当中，网络130包括因特网和/或蜂窝网络。
应当理解，在本公开的范围内，在操作环境100内可以采用任何数目的用户设备、服务器和数据源。每个设备可以包括在分布式环境中协作的单个设备或多个设备。例如，服务器140可以经由布置在分布式环境中的多个设备来提供，该多个设备共同提供本文中描述的功能。另外，未示出的其他组件也可以被包括在分布式环境内。
用户设备110和120可以是操作环境100的客户端侧上的客户端设备，而服务器140可以位于操作环境100的服务器侧上。服务器140可以包括被设计为与用户设备110和120上的客户端软件协同工作以便实现本公开中讨论的特征和功能的任何组合的服务器侧软件。提供操作环境100的这种划分以示出合适的环境的一个示例，并且对于每种实现均不要求服务器140与用户设备110和120的任何组合保持为分离的实体。
用户设备110和120可以包括能够由用户使用的任何类型的计算设备。例如，在一个实施例中，用户设备110和120可以是本文中关于图7描述的类型的计算设备。作为示例而非限制，用户设备可以至少部分实现为个人计算机(PC)、膝上型计算机、头戴式显示器、蜂窝或移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理(PDA)、MP3播放器、全球定位系统(GPS)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、遥控器、电器、消费类电子设备、工作站、或这些描绘的设备的任何组合、或者可以耦合到头戴式显示器、投影仪、眼镜、可穿戴设备或其他增强现实或HMD的任何其他合适的设备。HMD的一个非限制性示例是Microsoft Inc.的
Figure BDA0002317449070000081
Figure BDA0002317449070000082
但是在本公开的范围内考虑了HMD或增强现实查看设备的很多其他实现。
数据存储装置150可以包括被配置为使数据可用于操作环境100的各个组成部分或者结合图2、图3和图4所述的系统200、300、400中的任何一个的数据源和/或数据系统。例如，在一个实施例中，一个或多个数据源150可以提供三维数据集(或使其可用于访问)以存储在图2的计算组件230中。数据源150可以与用户设备110和120以及服务器140分离，或者可以被并入和/或集成到这样的组件中的至少一个组件中。在一些实施例中，每个用户设备110、120可以从数据源150检索一个或多个数据集，使得每个用户设备110、120可以独立地存储和采用(多个)数据集。在一些实施例中，数据源150可以包括能够在诸如用户设备110和120等多个用户设备之间共享的单个数据集或一组数据集。在各个实施例中，数据源150存储可以由用户设备110、120解释、分析和/或处理的一组共享数据集，使得由每个用户设备基于一组共享数据集来生成和/或绘制增强现实环境。在其他实施例中，一组共享数据集包括可以由诸如用户设备110、120等的HMD来解释、分析、处理、绘制和/或提供用于显示和/或由HMD显示的视觉数据。
操作环境100可以用于实现图2中描述的系统200的一个或多个组件，包括用于以下操作的组件：绘制，提供用于显示和/或显示3D视图，处理计算机可执行指令，存储计算机可执行指令和视觉数据，与服务器140和/或其他HMD通信，从其他HMD请求和接收协作视图，和/或处理其他HMD对协作视图的请求，等等。
在一些实施例中，由系统200的组件执行的功能可以与一个或多个HMD应用、服务或例程相关联。特别地，这样的应用、服务或例程可以在一个或多个用户设备(诸如用户设备102)、服务器(诸如服务器140)和/或其组件上操作，以及/或者可以跨一个或多个用户设备和服务器分布，或者在云中实现。此外，在一些实施例中，系统200的组件可以分布在整个网络中(包括在云中的一个或多个服务器(诸如服务器140)和客户端设备(诸如用户设备110、120))，或者可以驻留在诸如用户设备110、120等用户设备上。此外，这些组件、由这些组件执行的功能或由这些组件执行的服务可以在(多个)计算系统的(多个)适当的抽象层(诸如操作系统层、应用层、硬件层)处实现。替代地或另外地，这些组件的功能和/或本文中描述的实施例可以至少部分由一个或多个硬件逻辑组件执行。例如而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。另外，尽管本文中相对于示例系统200中示出的特定组件来描述功能，但是可以预期，在一些实施例中，这些组件的功能可以在其他组件之间共享或分布。
继续参照图2，HMD设备210是增强现实或混合现实计算设备，其通常负责呈现真实世界空间和对象的虚拟表示以及共享这种虚拟表示，例如作为一个或多个共享数据集。HMD210可以耦合到能够集成到HMD 210中的一个或多个光学输入设备(未示出)。在一些实施例中，一个或多个光学输入设备在逻辑上耦合到HMD设备210，或者备选地，与HMD设备210可操作地通信。光学输入设备可以接收光学信息，该光学信息可以被收集或聚集为一个或多个三维数据集。HMD设备210可以包括一个或多个计算组件230、显示组件232和通信组件234。由HMD设备210获取的每个数据集(例如，三维数据集)例如可以经由光学输入设备而被存储在图1的存储装置150中。应当理解，数据集还可以本地存储在HMD中包括的存储器或高速缓存中，诸如存储在计算组件230中的存储装置和/或存储器中，例如在存储组件中。如本文中描述的，HMD 210及其组件可以被实现为任何类型的计算设备，诸如结合图7描述的计算设备700。
在一些实施例中，HMD 210包括在计算组件230中包括的至少一个处理器。处理器可以包括任何类型的计算处理器，包括图形处理器。处理器可以由HMD用来执行本文中描述的任何功能或操作，并且还可以绘制由HMD 210获取的全息数据以用于显示。HMD 210可以采用显示组件，诸如显示组件232，该显示组件可以显示和/或投影计算机生成的对象，以由HMD的用户感知为位于真实世界内的增强对象。根据本文中描述的实施例，显示组件220可以包括透视显示器(例如，波导)、虚拟视网膜显示器、棱镜、或者可操作以促进用户的混合现实体验的任何其他光子技术。
在一些实施例中，HMD 210包括可以促进与诸如图1的服务器140等远程服务器设备的通信以从中获取数据集的至少一部分的通信组件234。在其他实施例中，HMD 210的通信组件234还可以促进与另一HMD设备的直接通信。通信组件230可以直接、经由其他HMD和/或经由一个或多个远程服务器彼此发送和接收三维数据集(例如，全息数据集)。
根据本技术的一些方面，HMD设备210包括一个或多个扫描组件，诸如图2的212、214。HMD设备210包括可以生成与在一个或多个位置处的一个或多个物理环境相对应的三维数据集的一个或多个集合的源环境扫描组件212。可以基于经由与HMD设备210可操作地通信的光学输入设备而获取的光学信息来生成数据集。所生成的三维数据集还可以包括与物理环境相关联的检测到的物理性质，诸如环境中的物理对象之间的关系、物理环境中的物理对象的颜色和/或物理对象的纹理。由源环境扫描组件生成的一个或多个数据集(例如，三维数据集)可以本地或远程存储，诸如存储在HMD计算组件230的本地存储器中或在图1的数据存储装置150中。应当理解，由HMD设备210的任何组件生成的任何数据集(例如，三维数据集)都可以本地或远程存储。
HMD设备210可以包括源环境重新创建组件216，以基于所生成的三维数据集(诸如由源环境扫描组件212生成的三维数据集)的一个或多个集合来绘制物理环境的虚拟表示以进行显示。在一些方面，物理环境的虚拟表示保持由源环境扫描组件212检测到的各种物理性质，这些物理性质可以包括任何数目的物理性质，诸如尺寸性质、相对性质(例如，相对位置)、颜色和/或纹理。源环境重新创建组件216通常负责创建在第一位置处的扫描的物理环境的虚拟表示以在与第一位置不同的第二位置处显示。在某些情况下，虚拟表示可以以1：1的宽高比进行绘制。
一旦生成了环境的虚拟表示，分割组件228就可以将虚拟环境自动分割成一个或多个虚拟对象。在某些情况下，分割得到的虚拟对象可以对应于源环境中的物理(真实世界)对象。在一些方面，HMD设备210可以呈现一个或多个分割选项以进行显示，以供用户经由一个或多个输入命令来选择。然后，将虚拟环境分割成各个虚拟对象可以促进这些对象在虚拟环境中的传递和操纵。
HMD设备210还可以包括目的地对象扫描组件214。目的地对象扫描组件214可以被配置为生成与物理环境中的物理对象(例如，真实世界对象)相对应的三维数据集的集合。可以基于经由耦合到HMD设备210的光学输入设备而获取的光学信息来生成三维数据集。所生成的三维数据集可以包括与物理对象相关联的检测到的物理性质，诸如尺寸、颜色、纹理等。目的地对象扫描组件可以与目的地对象选择组件218结合操作，该目的地对象选择组件218可以基于接收到的输入来选择要在HMD设备210的显示器上查看的物理环境内的物理对象。可以选择物理对象，然后将其绘制以供HMD设备210显示以被感知为位于环境的虚拟表示中，例如，由源环境重新创建组件216绘制以显示的物理环境的虚拟表示。
HMD设备210还可以包括对象重新创建组件，例如目的地对象重新创建组件220或物理对象重新创建组件。对象重建组件可以基于所生成的三维数据集(例如，由目的地对象扫描组件214获取的数据集)的集合来绘制物理对象的虚拟表示，以在HMD设备210上显示。根据本文中描述的一些实施例，可以绘制物理对象的虚拟表示以保持与物理对象相关联的任何数目的物理性质。目的地对象重新创建组件可以检索任何生成的三维数据集的集合的任何部分来进行绘制以进行显示。例如，可以存储与由目的地对象扫描组件214扫描的物理对象相对应的所生成的三维数据集的第二集合。目的地对象重新创建组件可以检索所存储的三维数据集的集合，并且绘制所选择的物理对象的第二虚拟表示，以在第一位置处并且经由HMD进行显示。
在本文中描述的技术的各个方面中，HMD设备210还可以包括任何数目的虚拟表示组件，例如，虚拟表示定位组件222、虚拟表示小型化组件224和遮挡调节组件226。在一个实施例中，虚拟表示定位组件222可以确定用于在物理环境或该物理环境的虚拟表示内绘制虚拟对象的位置。
在一些实施例中，作为非限制性示例，可以实现虚拟表示小型化组件224以便以缩小的尺寸绘制虚拟环境或虚拟对象，以促进虚拟环境的俯视图。以这种方式，用户可以选择一个或多个虚拟对象以与所选择的虚拟对象相同的缩小比例放置在小型化虚拟环境中以在高层次查看虚拟环境内的(多个)虚拟对象，并且在一些其他实施例中在虚拟环境内操纵(例如，移动、重新定位、旋转、远程、交换)虚拟对象。
在一些其他实施例中，HMD设备210还可以包括被配置为修改所显示的虚拟表示(例如，虚拟环境或虚拟对象)的遮挡调节组件226。遮挡调节组件226可以修改或改变虚拟对象或环境的照明(例如，环境遮挡)，或者修改虚拟对象的可见部分。例如，可以修改在第二位置处生成的虚拟对象的照明以匹配在第一位置处生成的虚拟环境的照明(例如，照明特性)。此外，当在虚拟环境内操纵虚拟对象时，可以修改对象。例如，可以使椅子的虚拟表示看起来好像至少部分在桌子的虚拟表示之下。
现在转向图3A-图3E，提供了在增强现实环境中虚拟地表示真实世界空间和对象的示例性实现的示意图。在图3A的300A，在第一位置处的用户310扫描周围的物理环境(例如，源环境)以获取和/或生成三维数据集的一个或多个集合，其中这些数据集对应于在第一位置处的物理环境的至少一部分。物理环境可以包括真实世界空间305(例如，房间本身)，其中的对象(330、330n)或两者。根据本文中描述的一些实施例，当用户扫描并且生成三维数据集时，HMD 320可以检测(并且包括这些数据集或与这些数据集相关联)与正被扫描的物理环境相关联的物理性质。所生成的三维数据集可以存储在HMD设备320(例如，图2的HMD计算组件230)上，或者被传送到远程存储位置(例如，图1的150)以在其上存储。HMD设备可以从本地或远程存储装置检索所生成的三维数据集的任何部分。
现在查看图3B，示出了第二物理环境300B中的用户310。第二物理环境可以包括一个或多个物理对象340、342。利用HMD设备320，用户310可以重新创建并且绘制源环境作为虚拟环境305'以进行显示。可以显示虚拟环境305'，以便保持可以由HMD设备320检测到的第一位置的物理环境(例如，源环境)的任何物理性质。物理性质可以包括例如任何关系或方面属性，或者诸如颜色或阴影的照明属性。当位于第二物理环境300B中时，用户310可以查看或以其他方式将一个或多个物理对象340、342并入虚拟环境305'内。
在一些方面，用户310可以选择要在虚拟环境305'中查看哪个物理对象340、342。例如，HMD设备320可以包括物理对象选择组件，使得基于由HMD设备320接收到的某个输入，可以在虚拟环境305'中感知到所选择的物理对象340、342。在一些方面，用户310可以选择一个或多个物理对象340、342以被包括在增强现实(AR)环境中。在一些方面，用户310可以隐藏一个或多个物理对象340、342，使得它们在虚拟环境305'中未被感知到。以这种方式，当位于第二物理环境300B中时，用户310仅可以查看或以其他方式并入他们希望看到的物理对象340、342，并且阻挡或以其他方式隐藏他们不希望查看的任何对象。在某些情况下，HMD 320可以基于用户310的输入、例如经由图2的遮挡调节组件226来查看或隐藏一个或多个物理对象。
回到图3B。用户310正在第二位置300B的物理环境中查看物理对象342，并且正在虚拟环境305'中查看物理对象342。通过HMD设备320，虚拟环境305'和物理对象342被视为增强现实环境306。根据本技术的一些方面，HMD设备320包括定位组件(例如，图2的虚拟表示定位组件222)，定位组件被配置为将所查看的物理对象342正确地定位在虚拟环境305'内，使得物理对象342不与虚拟环境305'的任何边界或虚拟环境305'中的任何虚拟对象330'相交。替代地，在一些实施例中，虚拟环境305'可以适于容纳尺寸超过虚拟环境305'空间尺寸的物理对象342。例如，如果物理对象342非常大，则可以在虚拟环境305'的壁之一中创建孔(例如，切口)，以允许在增强现实环境306中查看整个物理对象342。以这种方式，可以修改虚拟环境305'以容纳物理对象342，而不必使虚拟环境305'变形或以其他方式调节其大小。在一些方面，可以经由遮挡调节组件(例如，图2的226)而在虚拟环境305'的照明下查看物理对象342。此外，根据该技术的一些实施例，用户310可以实际上与正在查看的物理对象342进行交互(例如，坐在上面)。以这种方式，用户310可以与物理对象342交互，就好像在第一位置(例如，源环境)处感知到物理对象342。
当用户310在第二位置300B处查看物理对象342时，HMD设备320可以经由对象扫描组件(例如，图2的目的地对象扫描组件214)来扫描物理对象342，以生成与物理对象相对应的三维数据集的集合。可以例如基于由耦合到HMD设备320的光学输入设备获取的光学信息来生成三维数据集。与物理对象相对应的所生成的三维数据集可以包括检测到的物理性质，诸如几何性质或照明性质(例如，颜色和/或阴影)。现在查看图3C，描绘了增强现实视图300C，其中HMD设备的用户利用在第二位置处被扫描的虚拟对象342'来感知第一位置305的物理环境，虚拟对象342'保持原始物理对象的物理性质。在一些方面，HMD设备可以在AR环境内(例如，经由图2的虚拟表示定位组件222)自动定位虚拟对象342'，使得虚拟对象342'不与物理环境的边界或物理环境中的任何物理对象相交。此外，例如可以经由图2的遮挡调节组件226而在物理环境305的照明下查看虚拟对象342'。在一些方面，用户可以操纵虚拟对象342'，从而在通过HMD设备查看的AR环境内移动该虚拟对象。应当理解，用户可以在各个位置处扫描任何数目的物理对象，以为每个物理对象生成和存储一个或多个三维数据集，并且然后在相同的物理环境中重新创建并且绘制这些对象的一个或多个虚拟表示以进行显示。
现在参考图3D，描绘了用户312经由HMD设备320而在第三位置300D处查看增强现实环境。基于由HMD设备320生成和存储的数据集，用户312可以选择要被重新创建(例如，经由图2的源环境重新创建组件216)并且绘制为虚拟环境305'以进行显示的先前扫描的环境。此外，用户312可以选择要被重新创建(例如，经由图2的目的地对象重新创建组件220)并且与虚拟环境305'同时绘制的虚拟对象342'、344'以进行显示的任何先前扫描的物理对象中的一个或多个。利用由HMD设备320接收的一个或多个命令，用户312可以操纵虚拟环境305'内的虚拟对象342'、344'。应当理解，可以在虚拟环境305'的照明下查看虚拟对象342'、344'。根据一些方面，用户312是第二用户，其中HMD设备320从第一HMD设备或远程服务器(例如，图1的140)接收一个或多个数据集。以这种方式，扫描一个或多个物理对象并且基于这些物理对象生成三维数据集的第一用户可以将三维数据集发送到第二HMD设备，并且第二HMD设备可以重新创建并且绘制与由第一HMD设备扫描的物理对象相对应的虚拟对象以进行显示。在一些实施例中，第一用户和第二用户可以在AR环境中协作，以及同时查看虚拟环境305'并且在其中操作虚拟对象342'、344'。
现在转向图3E，可以在环境300E内以缩小的尺寸查看虚拟表示。在所示的示意图中，用户310可以将尺寸缩小的虚拟环境305'视为缩小的虚拟环境305”。在一些方面，可以与虚拟环境305'同时或与诸如物理环境305等物理环境同时查看该缩小的虚拟环境305”。用户310还可以将尺寸缩小的任何数目的虚拟对象(即，虚拟对象342的虚拟表示)视为缩小的虚拟对象342”。这样，在任何物理环境中，HMD设备320可以扫描任何数目的物理对象(例如，物理对象342)并且将它们重新创建为尺寸缩小的虚拟对象(例如，缩小的虚拟对象342”)，然后用户可以在缩小的虚拟环境(例如，305”)中查看这些缩小的虚拟对象。基于接收到的输入，HMD 320可以重新创建先前以缩小尺寸扫描的任何数目的虚拟环境。用户然后可以在缩小的虚拟环境305”内操纵任何缩小的虚拟对象342”。此外，因为HMD可以分割虚拟环境(例如，330”)内包含的虚拟对象，所以用户也可以操纵这些对象。
转向图4，根据本文中描述的技术的各方面描述了具有多个组件430(诸如参考图2描述的组件)的HMD设备405。除了其他组件之外，HMD设备405还包括透视透镜410，该透视透镜410可以放置在第一用户的眼睛412前面，类似于眼镜镜片。可以考虑设置一对透视透镜410，每只眼睛412一个。透镜410包括光学显示组件414，诸如分束器(例如，半镀银镜)。HMD设备405包括促进改变计算机生成的AR图像的亮度的增强现实发射器420。除了未示出的其他组件之外，HMD设备405还包括处理器422、存储器424、接口426、总线428和附加的全息查看组件431。增强现实发射器420发射表示一个或多个增强现实图像440的光，由光线442例示。来自真实世界场景450的光线(诸如光线452)到达透镜410。可以使用附加的光学元件对增强现实图像440进行重新聚焦，使得它们看起来像是在距眼睛412一定距离处发出的，而不是在距眼睛412几英寸的显示器414实际所在的位置处发出的。存储器424可以包含由处理器422执行以使得增强现实发射器420能够执行本文中描述的任何功能的指令。在某些情况下，处理器422中的一个或多个处理器可以被认为是控制电路。增强现实发射器420使用总线428和/或其他合适的通信路径而与附加的全息查看组件431通信。
除了或代替所示出的那些，可以使用其他布置和元件(例如，机器、界面、功能、顺序、和功能分组等)，并且可以完全省略一些元件。此外，本文中描述的很多元件是功能实体，这些功能实体可以被实现为离散或分布式组件或与其他组件相结合实现并且以任何合适的组合和位置来实现。在本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。
由显示组件414将任何一个或多个增强现实图像440(例如，虚拟图像)朝着第一用户的眼睛反射，如光线416所例示，使得第一用户看到图像418。在图像418中，可以看到真实世界场景450的一部分以及任何数目的增强现实图像440。
现在转向图5，提供了图示用于在各种环境中呈现真实世界空间和对象的虚拟表示的一种示例性方法500的流程图。设想的是，方法500和本文中描述的其他方法的每个框或步骤包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。该方法还可以实现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立应用、服务或托管服务(独立或与其他托管服务相结合)或者另一产品的插件等来提供。
在步骤510，在第一位置处的HMD设备可以基于由与HMD设备可操作地通信的光学输入设备获取的光学输入数据来生成三维数据集的第一集合。HMD设备可以通过例如动态扫描来获取光学输入数据。三维数据集的第一集合与在第一位置处的第一物理环境相对应，并且可以包括与该第一物理环境相关联的检测到的物理性质。检测到的物理性质可以包括例如颜色和阴影、尺寸性质、几何关系、或者任何其他空间或光学和/或色度(chromatic)性质。
在步骤520，HMD设备可以从所生成的三维数据集的第一集合中分割第一物理环境的一个或多个标识的物理对象。分割可以基于任何数目的已知技术，包括所确定的与来自已知对象的数据集的已知对象的相关性、所确定的强几何形状和/或特征的指示、以及到所生成的三维数据集的第一集合的平滑几何形状的完成。
在步骤530，在第二位置处的HMD设备可以基于三维数据集的第一生成集合来提供第一物理环境的虚拟表示以进行显示。可以显示虚拟表示以保持与第一物理环境相关联的任何检测到的物理性质。以这种方式，当在第二位置处时，用户可以经由HMD设备来查看在第一位置处的环境的虚拟表示。在一些实施例中，虚拟表示具有与第一物理环境(即，源环境)相同的尺寸和空间特性。在一些其他实施例中，虚拟表示具有与第一物理环境相同的照明特性。
在步骤540，在第二位置处的HMD设备可以基于由与HMD设备可操作地通信的光学输入设备获取的光学输入数据来生成三维数据集的第二集合。HMD设备可以通过例如动态扫描来获取光学输入数据。三维数据集的第二集合可以与位于在第二位置处的第二物理环境中的一个或多个物理对象相对应。三维数据集的第二集合可以包括与该物理对象相关联的检测到的物理性质。检测到的物理性质可以包括例如颜色和阴影、尺寸性质、几何关系、或者任何其他空间或光学性质。因此，当第一虚拟表示正被显示时(例如，在步骤530)，HMD设备使得用户能够在所显示的虚拟环境内查看一个或多个物理对象。当正在所显示的虚拟环境内查看物理对象时，HMD可以扫描物理对象并且生成上述三维数据集的第二集合。应当理解，HMD设备可以在多个位置处扫描任何数目的物理对象，从而生成三维数据集的多个集合，每个集合对应于一个物理对象。
在步骤550，HMD设备可以基于生成的三维数据集的第二集合来提供物理对象的第二虚拟表示以在第一位置处进行显示。可以显示第二虚拟表示(例如，虚拟对象)以保持与物理对象相关联的任何数目的检测到的物理性质，例如任何几何或尺寸特性。在一些实施例中，可以例如由HMD设备改变第二虚拟表示的照明以匹配第一位置的照明。以这种方式，可以在第一位置的照明性质下查看第二虚拟表示。在一些实施例中，可以在第一位置处显示任何数目的虚拟对象，并且进一步在增强现实环境内对其进行操纵。
现在转向图6，提供了图示用于在各种环境中呈现真实世界空间和对象的虚拟表示的一种示例性方法600的流程图。在步骤610，在第一位置处的HMD设备可以基于由与HMD设备可操作地通信的光学输入设备获取的光学输入数据来生成表示第一物理环境的第一三维模型。HMD设备可以通过例如动态扫描来获取光学输入数据。第一三维模型可以包括与第一物理环境相关联的检测到的物理性质。检测到的物理性质可以包括例如颜色和阴影、尺寸性质、几何关系、或者任何其他空间或光学和/或色度性质。
在步骤620，在第二位置处的HMD设备可以提供所生成的表示第一物理环境的第一三维模型以进行显示。可以显示第一三维模型以保持与第一物理环境相关联的任何检测到的物理性质。此外，可以显示所生成的第一三维模型，使得用户可以在第二位置处的第二物理环境内感知模型。在一些其他实施例中，所生成的第一三维模型被显示为具有与在第一位置处的第一物理环境相同的照明特性。
基于在第二物理环境内显示的所生成的第一三维模型，在步骤630，HMD设备可以基于由光学输入设备获取和/或接收的光学输入来生成表示位于第二物理环境中的物理对象的第二三维模型。在一些实施例中，所生成的第二三维模型保持与位于第二物理环境中的物理对象相关联的任何数目的物理性质。
在步骤640，HMD设备可以提供表示物理对象的第二三维模型以进行显示，使得用户可以当处于第一位置时在第一物理环境内感知到第二三维模型。在一些实施例中，HMD设备可以提供表示物理对象的第二三维模型以进行显示，使得用户可以例如当处于第二位置或第三位置时在所生成的表示第一物理环境的第一三维模型内感知到第二三维模型。
在步骤650，HMD设备可以向在第一位置处的第二HMD设备(直接地或经由远程服务器设备)传输所生成的表示物理对象的第二三维模型。在步骤660，第二HMD设备可以提供第二三维模型以进行显示，使得用户在第一物理环境内并且在第一物理环境的照明下感知到第二三维模型。
因此，描述了用于在增强现实环境中促进视觉数据的直观协作的技术的各个方面。应当理解，本文中描述的实施例的各种特征、子组合和修改是有用的，并且可以在其他实施例中采用而无需参考其他特征或子组合。此外，示例方法500和600中示出的步骤的顺序和序列并不表示以任何方式限制本发明的范围，并且实际上，这些步骤可以在其实施例内以各种不同的序列发生。这样的变化及其组合也被认为在本发明的实施例的范围内。
在已经描述了本发明的各种实施例的情况下，现在描述适合于实现本发明的实施例的示例性计算环境。参考图7，提供了示例性计算设备，并且其总体上被称为计算设备700。计算设备700仅是合适的计算环境的一个示例，并且不旨在对本发明的用途或功能的范围提出任何限制。也不应当将计算设备700解释为对所示组件中的任何一个或组合有任何依赖性或要求。
本发明的实施例可以在计算机代码或机器可用指令的一般上下文中描述，包括由计算机或者诸如个人数据助理、智能电话、平板PC或其他手持设备等其他机器执行的计算机可用或计算机可执行指令，诸如程序模块。通常，包括例程、程序、对象、组件、数据结构等在内的程序模块指代执行特定任务或实现特定抽象数据类型的代码。本发明的实施例可以在各种系统配置中实施，包括手持设备、消费电子产品、通用计算机、更专用的计算设备。本发明的实施例还可以在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备来执行。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
参考图7，计算设备700包括直接或间接耦合以下设备的总线710：存储器712、一个或多个处理器714、一个或多个呈现组件716、一个或多个输入/输出(I/O)端口718、一个或多个I/O组件720、以及说明性的电源722。总线710表示可以是一个或多个总线(诸如地址总线、数据总线或其组合)的内容。尽管为了清楚起见，图7的各种框用线条示出，但是实际上，这些框表示逻辑的组件但不一定是实际的组件。例如，可以将诸如显示器设备等呈现组件视为I/O组件。此外，处理器具有存储器。发明人认识到，这是本领域的本质，并且重申图7的示图仅说明可以结合本发明的一个或多个实施例来使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”、“耳机”、“头戴式显示器”或“HMD”等类别之间没有区别，因为所有这些都在图7的范围内并且参考“计算设备”或“用户设备”。
计算设备700通常包括各种计算机可读介质。计算机可读介质可以是能够由计算设备700访问的任何可用介质，并且包括易失性和非易失性、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质两者。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储所需信息并且可以由计算设备700访问的任何其他介质。计算机存储介质不包括信号本身。通信介质通常以诸如载波或其他传输机制等调制数据信号来实施计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“调制数据信号”表示以能够在信号中对信息进行编码的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接等有线介质以及诸如声学、RF、红外和其他无线介质等无线介质。上述的任何组合也应当被包括在计算机可读介质的范围内。
存储器712包括呈易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器。计算设备700包括从诸如存储器712或I/O组件720等各种实体读取数据的一个或多个处理器714。(多个)呈现组件716向用户或其他设备呈现数据指示。示例性呈现组件包括显示器设备、扬声器、打印组件、振动组件等。
I/O端口718允许计算设备700在逻辑上耦合到包括I/O组件720的其他设备，其中该其他设备中的一些可以是内置的。示例性组件包括麦克风、操纵杆、游戏垫、卫星天线、扫描仪、打印机、无线设备。I/O组件720可以提供自然用户界面(NUI)，NUI处理由用户生成的空中手势、语音或其他生理输入。在一些情况下，可以将输入传输到适当的网络元件以进行进一步处理。NUI可以实现语音识别、触摸和手写笔识别、面部识别、生物识别、在屏幕上和与屏幕相邻的手势识别、空中手势、头部和眼睛跟踪、以及与计算设备700上的显示相关联的触摸识别的任何组合。计算设备700可以配备有深度相机，诸如立体相机系统、红外相机系统、RGB相机系统以及这些的组合，以用于手势检测和识别。另外，计算设备700可以配备有能够检测运动、位置、旋转和/或取向的加速度计、陀螺仪、磁力计等。可以将加速度计、陀螺仪或磁力计的输出提供给计算设备700的显示器以绘制沉浸式增强现实、混合现实或虚拟现实。
计算设备700的一些实施例可以包括一个或多个无线电724(或类似的无线通信组件)。无线电724发射和接收无线电或无线通信。计算设备700可以是适于通过各种无线网络接收通信和媒体的无线终端。计算设备700可以经由无线协议进行通信以与其他设备通信，无线协议诸如为码分多址(“CDMA”)、全球移动系统(“GSM”)或时分多址(“TDMA”)等。无线电通信可以是短距离连接、长距离连接、或者是短距离和长距离无线电信连接两者的组合。当提到“短”和“长”类型的连接时，并不是指代两个设备之间的空间关系。相反，通常将短距离和长距离称为不同类别或类型的连接(即，主连接和辅助连接)。作为示例而非限制，短距离连接可以包括与提供对无线通信网络的访问的设备(例如，移动热点)的
Figure BDA0002317449070000221
连接，诸如使用802.11协议的WLAN连接；与另一计算设备的蓝牙连接是短距离连接或近场通信连接的第二示例。作为示例而非限制，远距离连接可以包括使用CDMA、GPRS、GSM、TDMA和802.16协议中的一个或多个的连接。
在不脱离所附权利要求的范围的情况下，所描绘的各种组件以及未示出的组件的很多不同布置是可能的。已经出于说明性而非限制性的目的描述了本发明的实施例。在阅读本公开之后并且由于阅读本公开，替代实施例对于本公开的读者将变得很清楚。在不背离所附权利要求的范围的情况下，可以完成实现前述内容的替代手段。某些特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下采用，并且被认为在权利要求的范围内。

Claims (15)

1.一种用于在各种增强现实(AR)环境中呈现真实世界空间和对象的虚拟表示、同时保持所述真实世界空间和所述对象的物理性质的系统，所述系统包括：
头戴式显示器(HMD)；
至少一个光学输入设备，耦合到所述HMD；
源环境扫描组件，用以在第一位置处并且基于经由所述至少一个光学输入设备中的至少第一光学输入设备获取的光学信息，来生成与在所述第一位置处的第一物理环境的至少一部分相对应的三维数据集的第一集合，所生成的所述三维数据集的第一集合包括与所述第一物理环境的所述至少一部分相关联的检测到的物理性质；以及
源环境重新创建组件，用以基于所生成的所述三维数据集的第一集合来绘制所述第一物理环境的第一虚拟表示，以在第二位置处并且经由所述HMD进行显示，所述第一虚拟表示被绘制以保持与所述第一物理环境的所述至少一部分相关联的检测到的所述物理性质的至少一部分。
2.根据权利要求1所述的系统，还包括：
目的地对象扫描组件，用以在所述第二位置处并且基于经由所述至少一个光学输入设备中的至少所述第一光学输入设备获取的光学信息，来生成与位于在所述第二位置处的第二物理环境中的至少物理对象相对应的三维数据集的第二集合，所生成的所述三维数据集的第二集合包括与位于所述第二物理环境中的至少所述物理对象相关联的检测到的物理性质。
3.根据权利要求2所述的系统，还包括：
目的地环境物理对象选择组件，用以在所述第二位置处并且基于接收到的输入来选择在所述第二物理环境内的所述物理对象，其中所述物理对象基于显示的所述第一虚拟表示而被感知为位于所述第一物理环境内。
4.根据权利要求3所述的系统，还包括：
目的地对象重新创建组件，用以基于所生成的所述三维数据集的第二集合来绘制所选择的所述物理对象的第二虚拟表示以经由所述HMD进行显示，所述第二虚拟表示被绘制以保持与至少所选择的所述物理对象相关联的检测到的所述物理性质的至少一部分。
5.根据权利要求4所述的系统，
其中所生成的所述三维数据集的第一集合包括定义所述第一物理环境的可用空间和占用空间中的至少一项的环境几何形状；
所述系统还包括：
虚拟表示定位组件，用以基于所述第一物理环境的所述环境几何形状来确定：当在所述第一位置处时在所述第一物理环境内绘制所述第二虚拟表示、或者在所述第一虚拟表示内绘制所述第二虚拟表示以经由所述HMD进行显示的位置。
6.根据权利要求4至5所述的系统，还包括：
虚拟表示小型化组件，用以以缩小的尺寸在所述第一虚拟表示内绘制所述第二虚拟表示以经由所述HMD进行显示，所述第二虚拟表示和所述第一虚拟表示中的每个虚拟表示的尺寸被缩小，以促进所述第一虚拟表示内的所述第二虚拟表示的俯视图。
7.根据权利要求4至6所述的系统，还包括：
遮挡调节组件，用以基于查看环境的至少一个照明源的扫描来修改所选择的所述物理对象的显示的所述第二虚拟表示，所述扫描由所述至少一个光学输入设备中的至少所述第一光学设备来执行。
8.根据权利要求1至7所述的系统，还包括：
三维数据集存储组件，用以将至少所生成的所述三维数据集的第一集合存储在远程服务器设备上，以及
其中所述源环境重新创建组件从所述远程服务器设备中检索存储的所生成的所述三维数据集的第一集合来绘制所述第一物理环境的所述第一虚拟表示，以在所述第二位置处并且经由所述HMD进行显示。
9.根据权利要求1至8所述的系统，还包括：
源环境分割组件，用以基于以下中的至少一项来从所生成的所述三维数据集的第一集合分割来自所述第一物理环境的标识的物理对象：所确定的与来自已知对象的数据集的已知对象的相关性，所确定的强几何形状和/或特征的指示，以及到所生成的所述三维数据集的第一集合的至少一部分的平滑几何形状的完成。
10.根据权利要求1至9所述的系统，还包括：
第二头戴式显示器(HMD)；以及
通信组件，用以从所述HMD向所述第二HMD发送所述三维数据集的第一集合和所述三维数据集的第二集合中的至少一项。
11.一种计算机存储介质，存储计算机可用指令，所述计算机可用指令当由一个或多个计算设备使用时，使得所述一个或多个计算设备在各种增强现实(AR)环境中呈现真实世界空间和对象的虚拟表示、同时保持所述真实世界空间和所述对象的物理性质，所述操作包括：
由HMD基于由光学输入设备在第一位置处获取的光学输入数据，来生成与在所述第一位置处的第一物理环境的至少一部分相对应的三维数据集的第一集合，所生成的所述三维数据集的第一集合包括与所述第一物理环境的所述至少一部分相关联的检测到的物理性质；
基于所生成的所述三维数据集的第一集合来提供所述第一物理环境的第一虚拟表示以由所述HMD在第二位置处进行显示，所述第一虚拟表示被显示以保持与所述第一物理环境的所述至少一部分相关联的检测到的所述物理性质的至少一部分；
基于正被显示的所述第一虚拟表示，由所述HMD在所述第二位置处并且基于由所述光学输入设备获取的光学输入数据，来生成与位于在所述第二位置处的第二物理环境中的至少物理对象相对应的三维数据集的第二集合，所生成的所述三维数据集的第二集合包括与位于所述第二物理环境中的至少所述物理对象相关联的检测到的物理性质；以及
基于所生成的所述三维数据集的第二集合来提供所述物理对象的第二虚拟表示，以由所述HMD在所述第一位置处进行显示，所述第二虚拟表示被显示以保持与所述物理对象相关联的检测到的所述物理性质的至少一部分。
12.根据权利要求11所述的计算机存储介质，还包括：
由所述HMD在第三位置处并且基于由所述光学输入设备获取的光学输入数据，来生成与位于在所述第三位置处的第三物理环境中的至少物理对象相对应的三维数据集的第三集合，所生成的所述三维数据集的第三集合包括与位于所述第三物理环境中的至少所述物理对象相关联的检测到的物理性质；以及
基于所生成的所述三维数据集的第二集合来提供所述物理对象的所述第二虚拟表示、并且基于所生成的所述三维数据集的第三集合来提供所述物理对象的第三虚拟表示，以由所述HMD在所述第一位置处进行显示，所述第二虚拟表示被显示以保持与所述物理对象相关联的检测到的所述物理性质的至少一部分，所述第三虚拟表示被显示以保持与所述物理对象相关联的检测到的所述物理性质的至少一部分。
13.根据权利要求11至12所述的计算机存储介质，其中所述第二虚拟表示和所述第三虚拟表示中的至少一项在所述第一位置的照明下被显示。
14.根据权利要求11至13所述的计算机存储介质，其中所生成的所述三维数据集的第一集合包括定义所述第一物理环境的至少一个可用空间的环境几何形状，
所述操作还包括：
基于所生成的所述三维数据集的第二集合来提供所述物理对象的所述第二虚拟表示以由所述HMD在所述第一位置处进行显示，所述第二虚拟表示被显示以保持与所述物理对象相关联的检测到的所述物理性质的至少一部分，其中所述第二虚拟表示基于所述环境几何形状被自动定位。
15.根据权利要求12至14所述的计算机存储介质，所述操作还包括：
基于所生成的所述三维数据集的第一集合来提供所述第一物理环境的所述第一虚拟表示以由所述HMD在第四位置处进行显示，所述第一虚拟表示被显示以保持与所述第一物理环境的所述至少一部分相关联的检测到的所述物理性质的至少一部分；以及
同时地，提供所述第二虚拟表示和所述第三虚拟表示中的至少一项以进行显示，提供所述第二虚拟表示基于所生成的所述三维数据集的第二集合，提供所述第三虚拟表示基于所生成的所述三维数据集的第三集合，所述第二虚拟表示被显示以保持与所述物理对象相关联的检测到的所述物理性质的至少一部分，所述第三虚拟表示被显示以保持与所述物理对象相关联的检测到的所述物理性质的至少一部分，其中所述第二虚拟表示和所述第三虚拟表示中的所述至少一项在所述第一虚拟表示的照明下被显示。
CN201880039765.2A 2017-06-15 2018-05-23 在保持物理性质的同时虚拟地表示空间和对象 Active CN110809750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210486186.0A CN114779949A (zh) 2017-06-15 2018-05-23 在保持物理性质的同时虚拟地表示空间和对象

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/624,474 US10304251B2 (en) 2017-06-15 2017-06-15 Virtually representing spaces and objects while maintaining physical properties
US15/624,474 2017-06-15
PCT/US2018/034032 WO2018231456A1 (en) 2017-06-15 2018-05-23 Virtually representing spaces and objects while maintaining physical properties

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210486186.0A Division CN114779949A (zh) 2017-06-15 2018-05-23 在保持物理性质的同时虚拟地表示空间和对象

Publications (2)

Publication Number Publication Date
CN110809750A true CN110809750A (zh) 2020-02-18
CN110809750B CN110809750B (zh) 2022-05-17

Family

ID=62685141

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210486186.0A Pending CN114779949A (zh) 2017-06-15 2018-05-23 在保持物理性质的同时虚拟地表示空间和对象
CN201880039765.2A Active CN110809750B (zh) 2017-06-15 2018-05-23 在保持物理性质的同时虚拟地表示空间和对象

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210486186.0A Pending CN114779949A (zh) 2017-06-15 2018-05-23 在保持物理性质的同时虚拟地表示空间和对象

Country Status (4)

Country Link
US (2) US10304251B2 (zh)
EP (1) EP3639118A1 (zh)
CN (2) CN114779949A (zh)
WO (1) WO2018231456A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117030635A (zh) * 2023-10-09 2023-11-10 自贡市凤祥化工有限公司 一种基于多指标测定的硫酸铝的质量分析方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
US10587834B2 (en) 2016-03-07 2020-03-10 Disney Enterprises, Inc. Systems and methods for tracking objects for augmented reality
US9741216B1 (en) 2016-10-14 2017-08-22 Oculus Vr, Llc Skin stretch instrument
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
CA3060209A1 (en) 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
CN111684495A (zh) * 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US10481680B2 (en) 2018-02-02 2019-11-19 Disney Enterprises, Inc. Systems and methods to provide a shared augmented reality experience
IL301281A (en) 2018-02-22 2023-05-01 Magic Leap Inc Shoot an object with physical manipulation
IL301443A (en) 2018-02-22 2023-05-01 Magic Leap Inc A browser for mixed reality systems
US10546431B2 (en) * 2018-03-29 2020-01-28 Disney Enterprises, Inc. Systems and methods to augment an appearance of physical object for an augmented reality experience
US10950031B2 (en) * 2018-05-14 2021-03-16 Apple Inc. Techniques for locating virtual objects relative to real physical objects
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US11393170B2 (en) * 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
US11183185B2 (en) 2019-01-09 2021-11-23 Microsoft Technology Licensing, Llc Time-based visual targeting for voice commands
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ， インコーポレイテッド 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US10916061B2 (en) 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
EP3734419A1 (en) * 2019-05-03 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US10726631B1 (en) * 2019-08-03 2020-07-28 VIRNECT inc. Augmented reality system and method with frame region recording and reproduction technology based on object tracking
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
US20220222902A1 (en) * 2021-01-11 2022-07-14 Arkh, Inc. Remote Spatial Map Manipulation
US11417054B1 (en) * 2021-03-17 2022-08-16 Facebook Technologies, Llc. Mixed reality objects in virtual reality environments
US11640698B2 (en) * 2021-05-27 2023-05-02 International Business Machines Corporation Mapping physical locations to fit virtualized AR and VR environments
US11620761B2 (en) * 2021-06-07 2023-04-04 Microsoft Technology Licensing, Llc Depth sensing via device case
US20230418430A1 (en) * 2022-06-24 2023-12-28 Lowe's Companies, Inc. Simulated environment for presenting virtual objects and virtual resets

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050148388A1 (en) * 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20130342564A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Configured virtual environments
CN104641399A (zh) * 2012-02-23 2015-05-20 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
US20150235434A1 (en) * 2013-03-11 2015-08-20 Magic Leap, Inc. Systems and methods for a plurality of users to interact with an augmented or virtual reality systems
US20160189426A1 (en) * 2014-12-30 2016-06-30 Mike Thomas Virtual representations of real-world objects
US20160350973A1 (en) * 2015-05-28 2016-12-01 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN106302427A (zh) * 2016-08-09 2017-01-04 深圳市豆娱科技有限公司 在虚拟现实环境中的分享方法及装置
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20120233555A1 (en) 2010-11-08 2012-09-13 Eyelead Sa Real-time multi-user collaborative editing in 3d authoring system
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US9443353B2 (en) 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
US9734633B2 (en) * 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US20140300702A1 (en) 2013-03-15 2014-10-09 Tagir Saydkhuzhin Systems and Methods for 3D Photorealistic Automated Modeling
US9495748B2 (en) * 2013-03-15 2016-11-15 Daqri, Llc Segmentation of content delivery
WO2015075150A1 (en) 2013-11-20 2015-05-28 Future Instruments Sàrl A method and a computing system for manipulating, transferring and sharing virtual objects on virtual surfaces
US9530250B2 (en) 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
EP2887322B1 (en) 2013-12-18 2020-02-12 Microsoft Technology Licensing, LLC Mixed reality holographic object development
US9813690B2 (en) 2014-03-06 2017-11-07 Nec Corporation Shape and dichromatic BRDF estimation using camera motion
US10497053B2 (en) 2015-02-27 2019-12-03 3D Product Imaging Inc. Augmented reality E-commerce
WO2016140986A1 (en) * 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
EP3281403A4 (en) 2015-04-06 2018-03-07 Scope Technologies US Inc. Methods and apparatus for augmented reality applications
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050148388A1 (en) * 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
CN1845064A (zh) * 2005-04-08 2006-10-11 佳能株式会社 信息处理方法和设备
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
CN104641399A (zh) * 2012-02-23 2015-05-20 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
US20130342564A1 (en) * 2012-06-25 2013-12-26 Peter Tobias Kinnebrew Configured virtual environments
US20150235434A1 (en) * 2013-03-11 2015-08-20 Magic Leap, Inc. Systems and methods for a plurality of users to interact with an augmented or virtual reality systems
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
US20160189426A1 (en) * 2014-12-30 2016-06-30 Mike Thomas Virtual representations of real-world objects
US20160350973A1 (en) * 2015-05-28 2016-12-01 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
CN106302427A (zh) * 2016-08-09 2017-01-04 深圳市豆娱科技有限公司 在虚拟现实环境中的分享方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117030635A (zh) * 2023-10-09 2023-11-10 自贡市凤祥化工有限公司 一种基于多指标测定的硫酸铝的质量分析方法
CN117030635B (zh) * 2023-10-09 2023-12-15 自贡市凤祥化工有限公司 一种基于多指标测定的硫酸铝的质量分析方法

Also Published As

Publication number Publication date
CN110809750B (zh) 2022-05-17
US20180365897A1 (en) 2018-12-20
WO2018231456A1 (en) 2018-12-20
EP3639118A1 (en) 2020-04-22
US20190244434A1 (en) 2019-08-08
CN114779949A (zh) 2022-07-22
US10699491B2 (en) 2020-06-30
US10304251B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
CN110809750B (zh) 在保持物理性质的同时虚拟地表示空间和对象
US11838518B2 (en) Reprojecting holographic video to enhance streaming bandwidth/quality
JP7042286B2 (ja) 滑らかに変化するフォービエイテッドレンダリング
CN107850779B (zh) 虚拟位置定位锚
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
US10237531B2 (en) Discontinuity-aware reprojection
US20200342656A1 (en) Efficient rendering of high-density meshes
US20220309621A1 (en) Virtual, augmented, and mixed reality systems and methods
US20230368432A1 (en) Synthesized Camera Arrays for Rendering Novel Viewpoints
US11818325B2 (en) Blended mode three dimensional display systems and methods
US20210173478A1 (en) Virtual, augmented, and mixed reality systems and methods
US11562529B2 (en) Generating and modifying an artificial reality environment using occlusion surfaces at predetermined distances
US20230412724A1 (en) Controlling an Augmented Call Based on User Gaze
US20230119162A1 (en) Systems and methods for processing scanned objects
WO2022224964A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant