CN107852573B - 混合现实社交交互 - Google Patents

混合现实社交交互 Download PDF

Info

Publication number
CN107852573B
CN107852573B CN201680046309.1A CN201680046309A CN107852573B CN 107852573 B CN107852573 B CN 107852573B CN 201680046309 A CN201680046309 A CN 201680046309A CN 107852573 B CN107852573 B CN 107852573B
Authority
CN
China
Prior art keywords
mixed reality
reality display
display device
user
content item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680046309.1A
Other languages
English (en)
Other versions
CN107852573A (zh
Inventor
J·拉尼尔
R·加尔
W·常
J·A·P·卢拉斯奇
V·A·马特维希
G·斯佩吉纳
J·门科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107852573A publication Critical patent/CN107852573A/zh
Application granted granted Critical
Publication of CN107852573B publication Critical patent/CN107852573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了混合现实社交交互。本文中描述的技术包括：确定与混合现实显示设备相关联的认证信息和确定内容项在与所述混合现实显示设备相关联的混合现实环境中可见。在一个示例中，可以至少部分地基于内容数据指示内容项由混合现实显示设备拥有和/或已经与混合现实显示设备共享，确定内容项是可见的。内容数据还可以指示多个内容项中的内容项的标识、内容项的拥有者、以及与内容项相关联的权限。技术还描述了使得内容项的图形表示经由混合现实显示设备上的显示器被呈现。

Description

混合现实社交交互
背景技术
计算系统能够帮助生成包括虚拟现实环境和/或混合现实环境的新环境。虚拟现实是沉浸式体验，其模拟真实或想象环境中的物理存在。例如，虚拟现实环境可以经由虚拟现实显示设备利用计算机生成的图形使物理的真实世界的个人沉浸在计算机生成的虚拟场景中。也可以被称为增强现实的混合现实为混合式现实体验，其合并真实世界和虚拟世界。混合现实是产生混合现实环境的技术，在混合现实环境中，物理的真实世界场景中的物理的真实世界的个人和/或对象与虚拟的计算机生成的人和/或对象实时共存。例如，混合现实环境可以利用经由混合现实显示设备观察到的物理的真实世界场景中的计算机生成图形来增强物理的真实世界场景和/或物理的真实世界的个人。
虚拟现实环境使得多个用户能够共享计算机生成的虚拟场景。在这样的示例中，多个用户可以经由与用户中的每个用户相关联的虚拟现实显示设备在计算机生成的虚拟场景中与计算机生成的图形交互。然而，混合现实环境通常限于单用户应用。即，混合现实环境未被配置为使得多个用户能够同时与彼此和/或真实对象和/或物理的真实世界的场景中的计算机生成的图形交互。
发明内容
描述了混合现实社交交互。本文中描述的技术包括：确定与混合现实显示设备相关联的认证信息，以及至少部分地基于访问与多个内容项相关联的内容数据来确定内容项在与混合现实显示设备相关联的混合现实环境中可见，以及至少部分地基于认证信息和内容数据来确定内容项由混合现实显示设备拥有和/或已经与混合现实显示设备共享。内容数据可以指示多个内容项中的内容项的标识、内容项的拥有者、以及与内容项相关联的权限。这些技术还描述了使得内容项的图形表示经由混合现实显示设备上的显示器被呈现。
应当认识到，上述主题可以被实现为计算机控制装置、计算机过程、计算系统、或制品，例如计算机可读存储介质。这些和各种其他特征将从对以下具体实施方式的阅读和相关联附图的评阅中变得显而易见。
提供本发明内容从而以简化的形式介绍下文在具体实施方式中进一步描述的一系列技术。本发明内容不旨在限定要求保护的主题的关键特征或必要特征，也不旨在将本发明内容用于限制要求保护的主题的范围。另外，要求保护的主题不限于解决在本公开内容的任何部分中提到的任何或所有优点的实现。
附图说明
参考附图来阐述具体实施方式，其中附图标记的最左边的数字标识附图标记首次出现在其中的附图。在相同或不同的附图中对相同的附图标记的使用指示相似或相同的项或特征。
图1是示出了用于使得混合现实环境中的两个或更多个用户能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境的示意图。
图2是示出了头戴式混合现实显示设备的示例的示意图。
图3是示出了混合现实环境的第一视图的示例的示意图，其中两个或更多个用户可以与彼此和/或与呈现在混合现实环境中的虚拟内容交互。
图4是示出了混合现实环境的第二视图的示例的示意图，其中两个或更多个用户可以与彼此和/或与呈现在混合现实环境中的虚拟内容交互。
图5是示出了用于使得混合现实环境中的两个或更多个用户能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境的示意图。
图6是图示了用于使得虚拟内容被呈现在混合现实环境中的示例过程的流程图。
图7是图示了用于以不同模式(例如，呈现者模式或共享模式) 使得虚拟内容被呈现在混合现实环境中的示例过程的流程图。
图8是示出了用于使得混合现实环境中的两个或更多个用户能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境的示意图。
图9是图示了用于使得虚拟内容被呈现在混合现实环境中的示例过程的流程图。
图10是示出了用于使得混合现实环境中的两个或更多个用户能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境的示意图。
图11是图示了用于使得虚拟内容的可见性在混合现实环境中被修改的示例过程的流程图。
图12是图示了用于使得与虚拟内容相关联的交互在混合现实环境中经由一个或多个设备被执行的示例过程的流程图。
具体实施方式
本公开内容描述了用于使得混合现实环境中的两个或更多个用户能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的技术。本文中描述的技术可以增强混合现实环境中的用户之间的混合现实社交交互。在至少一个示例中，这些技术涉及两个或更多个用户之间的混合现实社交交互，两个或更多个用户物理上位于相同的真实场景中，如下文所描述的，并且真实场景未被标记(即，缺乏用于引导该两个或更多个用户之间的交互的预定和/或机器视觉特定的标记)。本文中描述的技术可以具有各种应用，包括但不限于使得位于相同真实场景中的用户能够在混合现实环境中经由混合现实显示设备共享虚拟内容和/或与虚拟内容交互。本文中描述的技术使得增强的用户接口被呈现在混合现实设备的显示器上，由此增强用户之间的混合现实社交交互以及混合现实体验。
出于本讨论的目的，物理的真实世界的对象(“真实对象”)或物理的真实世界的人(“真实人”和/或“真实个人”)分别描述物理上存在于与混合现实显示相关联的物理的真实世界场景(“真实场景”)中的对象或人。真实对象和/或真实人可以基于真实对象的移动模式和/或用户和/或用户设备的移动来在视场内和外移动。虚拟的、计算机生成的内容(“虚拟内容”和/或“内容项”)可以描述由一个或多个计算设备生成以补充用户的视场中的真实场景的内容。在至少一个示例中，虚拟内容可以包括被共同地呈现在显示器上以便表示物理上不存在于真实场景中的个人、对象等的一个或多个像素，每个像素具有相应颜色或亮度。即，在至少一个示例中，虚拟内容可以包括表示对象(“虚拟对象”)、人(“虚拟人”和/或“虚拟个人”)、生物计量数据、特效等的图形。虚拟内容可以包括二维图形、三维对象、与应用相关联的内容等。虚拟内容可以经由本文中描述的技术被渲染到混合现实环境中。在附加的和/或备选的示例中，虚拟内容可以包括计算机生成的内容，例如声音、视频、全球定位系统(GPS)等。
混合现实体验提供不同的机会来影响自我感知和用于进行通信的新方式。本文中描述的技术使得用户能够使用混合现实设备在混合现实环境中与彼此和/或与虚拟内容交互。在至少一个示例中，本文中描述的技术可以使得对话伙伴能够在混合现实环境中共享虚拟内容和/或与虚拟内容交互。尽管如上文所描述的，本文中描述的技术涉及混合现实环境，但是混合现实也可以被称为增强现实。因此，本文中描述的技术不应当被理解为不包括增强现实环境。
说明性环境
图1是示出了用于使得混合现实环境中的两个或更多个用户能够与彼此和与呈现在混合现实环境中的虚拟内容交互的示例环境100的示意图。更具体地，示例环境100可以包括服务提供商102、一个或多个网络104、一个或多个用户106(例如，用户106A、用户106B、用户106C等)以及与一个或多个用户106(例如，用户106A、用户 106B、用户106C等)相关联的一个或多个设备108(例如，设备108A、设备108B、设备108C等)。
服务提供商102可以是任何实体、(一个或多个)服务器、平台、控制台、计算机等，其促进在混合现实环境中交互的两个或更多个用户106以使得两个或更多个用户106中的个体用户(例如，用户106A、用户106B、和/或用户106C)能够与彼此和/或与混合现实环境中的虚拟内容交互。服务提供商102可以被实现在非分布式计算环境中，或者可以可能地通过在设备108或其他远程定位设备上运行一些模块而被实现在分布式计算环境中。如所示出的，服务提供商102可以包括一个或多个服务器110，其可以包括一个或多个处理单元(例如， (一个或多个)处理器112)和计算机可读介质114(例如存储器)。在各种示例中，服务提供商102可以访问、接收、和/或确定来自设备 (例如，设备108A)的认证数据，访问与虚拟内容项相关联的内容数据，将与个体虚拟内容项相关联的渲染数据发送给设备(例如，设备108A)，并且使个体虚拟内容项被呈现在与设备(例如，设备108A) 相关联的显示器上。出于本讨论的目的，渲染数据可以包括用于经由设备(例如，设备108A)的显示器来渲染虚拟内容项的图形表示的指令。例如，渲染数据可以包括描述与虚拟内容项相关联的几何结构、视点、纹理、照明、阴影等的指令。在一些示例中，服务提供商102 可以将渲染数据发送给设备108，并且设备108能够经由与设备相关联的显示器来渲染图形表示。在如下文描述的其他示例中，服务提供商102可以渲染帧并且可以将帧发送给设备108，以用于经由显示器进行呈现。
在一些示例中，服务提供商102可以从设备(例如，设备108A) 接收帧请求并且可以将帧消息发送给设备(例如，设备108A)，以缓解由在将帧请求发送给服务提供商102与在设备(例如，设备108A) 处接收帧消息和/或经由设备(例如，设备108A)接收对应的帧之间发生的移动造成的延时。在至少一个示例中，服务提供商102可以从一个或多个设备108中的个体设备(例如，设备108A、设备108B、设备108C等)接收关联于与其他设备108共享虚拟内容项的请求(例如，查看和/或访问虚拟内容项的请求)、和/或用于对虚拟内容项执行交互的请求，并且服务提供商102可以同步设备108之间的通信和 /或内容渲染，以确保虚拟内容项和涉及虚拟内容项的交互在基本上相同的时间被呈现给对应的用户106，使得用户106中的每一个具有相同的体验。
在一些示例中，网络104可以是本领域中已知的任何类型的网络，例如互联网。此外，设备108可以以任何方式通信地耦合到网络104，例如通过全局或局部的有线连接或无线连接(例如，局域网(LAN)、内联网、蓝牙等)而通信地耦合到网络104。网络104可以促进在(一个或多个)服务器110与关联于一个或多个用户106的设备108之间的通信。
示例支持如下的情形，其中可以被包括在一个或多个服务器110 中的(一个或多个)设备可以包括在集群或其他集群化配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余或者用于其他目的的一个或多个计算设备。被包括在一个或多个服务器110中的(一个或多个)设备可以表示但不限于台式计算机、服务器计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴计算机、植入式计算设备、电信设备、汽车用计算机、网络使能电视、瘦客户机、终端、游戏控制台、游戏设备、工作站、媒体播放器、数字视频记录仪(DVR)、机顶盒、相机、用于包含在计算设备、电器或任何其他种类的计算设备中的集成部件。
可以被包括在一个或多个服务器110中的(一个或多个)设备可以包括具有例如经由总线而可操作地连接到计算机可读介质114的一个或多个处理单元(例如，(一个或多个)处理器112)的任何类型的计算设备，总线在一些情况下可以包括系统总线、数据总线、地址总线、PCI总线、微型PCI总线和任何各种本地总线、外围总线和/ 或独立总线中的一个或多个。存储在计算机可读介质114上的可执行指令可以包括例如输入模块116、内容数据库118、内容管理模块120、帧渲染模块122、定位模块124和一个或多个应用126、以及可由(一个或多个)处理器112加载和执行的其他模块、程序或应用。
备选地或另外，本文描述的功能能够至少部分地由一个或多个硬件逻辑部件(例如，加速度计)来执行。例如但不限于，可以被使用的说明性类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。可以被包括在一个或多个服务器 110中的(一个或多个)设备还可以包括一个或多个输入/输出(I/O) 接口，一个或多个输入/输出(I/O)接口耦合到总线以允许(一个或多个)设备与诸如输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、飞行时间(TOF)相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)的其他设备进行通信。(一个或多个)这样的网络接口可以包括用于通过网络发送和接收通信的一个或多个网络接口控制器 (NIC)或其他类型的收发器设备。为简单起见，从图示的环境中省略了一些部件。
(一个或多个)处理单元(例如，(一个或多个)处理器112) 可以表示例如CPU类型处理单元、GPU类型处理单元、HPU类型处理单元、现场可编程门阵列(FPGA)、另一类的数字信号处理器(DSP) 或可以在一些情况下由CPU驱动的其他硬件逻辑部件。例如但不限于，可以被使用的说明性类型的硬件逻辑部件包括专用集成电路 (ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。在各种示例中，(一个或多个)处理单元(例如，(一个或多个)处理器112)可以执行一个或多个模块和/ 或过程来使得(一个或多个)服务器110执行如上文所阐述的并且在以下公开内容中进一步详细解释的各种功能。附加地，(一个或多个) 处理单元(例如，(一个或多个)处理器112)中的每一个可以拥有其自己的本地存储器，其也可以存储程序模块、程序数据和/或一个或多个操作系统。
在至少一个配置中，(一个或多个)服务器110的计算机可读介质114可以包括促进服务提供商102与一个或多个设备108之间的交互的部件。部件可以表示执行在计算设备上的代码片段。例如，计算机可读介质114可以包括输入模块116、内容数据库118、内容管理模块120、帧渲染模块122、定位模块124以及一个或多个应用126 等。在至少一些示例中，模块可以经由至少一个处理单元(例如，(一个或多个)处理器112)被实现为计算机可读指令、各种数据结构等，以使得混合现实环境中的两个或更多个用户106能够与彼此交互并且与呈现在混合现实环境中的虚拟内容交互。用于执行这些操作的功能可以被包括在多个设备或单个设备中。
取决于(一个或多个)服务器110的确切配置和类型，计算机存储介质114可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括在用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术中实现的易失性存储器、非易失性存储器、和/或其他永久性计算机存储介质和/或辅助计算机存储介质、可移动计算机存储介质和不可移动计算机存储介质。计算机存储器是计算机存储介质的一个示例。因此，计算机存储介质包括包含于为设备的一部分或在设备的外部的设备和/或硬件部件中的有形的和/或物理的形式的介质，包括但不限于可以用于存储和维护供计算设备访问的信息的随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、相位变化存储器(PRAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)、光卡或其他光学存储介质、微型硬盘驱动器、存储器卡、磁带盒、磁带、磁盘存储、磁性卡或其他磁性存储设备或介质、固态存储器设备、存储阵列、网络附接的存储、存储区域网络、托管的计算机存储或任何其他存储的 存储器、存储设备和/或存储介质。
对比之下，通信介质可以将计算机可读指令、数据结构、程序模块、或其他数据体现在诸如载波的经调制的数据信号中或其他传输机制中。术语“经调制的数据信号”意指如下的信号，该信号的特性中的一个或多个特性以使得将信息编码在信号中的方式设置或改变。这样的信号或载波等可以在诸如有线网络或直接有线连接的有线介质，和/或诸如声学、RF、红外和其他无线介质的无线介质上传播。如本文中所限定的，计算机存储介质不包括通信介质。即，计算机存储介质不包括本身仅仅包括经调制的数据信号、载波或传播信号的通信介质。
输入模块116被配置为从一个或多个设备108(例如，设备108A、设备108B、设备108C等)接收输入，每个设备对应于用户(例如，用户106A、用户106B、用户106C等)。在至少一个示例中，输入模块116可以访问、接收和/或确定来自设备(例如，设备108A)的认证数据。认证数据可以对应于与关联于设备(例如，设备108A) 的用户(例如，用户106A)相关联的用户标识和密码、与关联于设备(例如，设备108A)的用户(例如，用户106A)相关联的生物特征识别(biometric identification)等。在至少一个示例中，认证数据可以被用于确定混合现实环境中的对应设备108的存在。出于本讨论的目的，存在可以指示设备(例如，设备108A)位于混合现实环境中和/或与混合现实环境中的其他设备(例如，设备108B、设备108C等)和/或虚拟内容交互。
在附加的和/或备选的示例中，认证数据可以用于确定对用户(例如，用户106A)可用的虚拟内容项和对应于查看虚拟内容项中的每一个和/或与虚拟内容项中的每一个交互的用户(例如，用户106A) 权限。在至少一个示例中，认证数据可以用于使得虚拟内容项被呈现在其中用户(例如用户106A)先前留有虚拟内容项的相同的混合现实环境中和其中用户(例如用户106A)先前留有虚拟内容项的相同的位置中(例如，如果用户(例如，用户106A)移除了他或她的头戴式显示设备(例如，设备108A)，则关闭他或她的设备(例如，设备108A)，等等)。
内容数据库118被配置为存储与虚拟内容相关联的内容数据。与个体虚拟内容项相关联的内容数据可以被存储在内容数据库118中。每个个体虚拟内容项可以与指示拥有者标识、内容标识和权限(即，权限数据)的数据相关联。与虚拟内容项的拥有者相关联的数据可以标识生成了与虚拟内容项相关联的权限和/或具有对与虚拟内容项相关联的权限的控制的用户(例如，用户106A、用户106B、用户106C 等)。即，虚拟内容项的拥有者可以对应于生成了与虚拟内容项相关联的权限和/或具有对与虚拟内容项相关联的权限的控制的用户(例如，用户106A、用户106B、用户106C等)。内容标识可以对应于指示与虚拟内容项相关联的内容的数据。权限数据可以包括指示哪些用户106和/或对应的设备108具有查看混合现实环境中的虚拟内容和 /或与混合现实环境中的虚拟内容交互的权限(即，拥有者已经与哪些用户106共享了虚拟内容)的信息。例如，权限数据可以反映虚拟内容项是否是公共的、私有的、由一些设备(例如，设备108A、设备 108B、和/或设备108C)可见的等。附加地和/或备选地，权限数据可以指示特定用户106能够执行哪些交互和/或禁止特定用户106执行哪些交互。在一些示例中，如上文所描述的，权限数据可以基于来自对应的虚拟内容项的拥有者的输入。
在至少一个示例中，与最初请求虚拟内容项的设备(例如，设备 108A)相关联的用户(例如，用户106A)可以为虚拟内容项的拥有者，使得他或她能够修改与虚拟内容项相关联的权限。在至少一个示例中，虚拟内容项的拥有者可以确定哪些其他用户(例如，用户106B 和/或用户106C)可以查看虚拟内容项(即，虚拟内容项对其他的用户106是否可见)。例如，在一个示例中，虚拟内容项的拥有者能够利用菜单(例如，下拉菜单、放射状菜单等)或其他机制来与相同混合现实环境中的所有用户106共享虚拟内容项(即，使虚拟内容项为公共的)，与相同混合现实环境中的一些用户(例如，用户106A、用户106B、和/或用户106C)共享虚拟内容项，或者不与任何其他用户106共享虚拟内容项(即，使虚拟内容项为私有的)。即，在一些示例中，虚拟内容项的拥有者可以确定虚拟内容项经由其他设备108 可见或不可见。在其他的一些示例中，虚拟内容项的拥有者能够确定哪些其他用户(例如，用户106B和/或用户106C)能够经由对应的设备(例如，设备108B和/或设备108C)与虚拟内容项交互和/或哪些交互被允许。
内容管理模块120管理虚拟内容项的所有权，并且能够利用权限数据来确定其他用户(例如，用户106B和/或用户106C)和/或对应的设备(例如，设备106B和/或用户106C)中的哪些具有查看个体虚拟内容项和/或与个体虚拟内容项交互的权限。即，内容管理模块120可以访问内容数据，以确定已经与其共享了内容项的设备108和/ 或可用于设备108中的每一个的交互。如上文所描述的，内容数据可以包括权限数据，其指示内容项是公共的、私有的还是已经与一个或多个设备(例如，设备108B、设备108C等)共享和/或可用于设备108中的每一个的交互。
在各种示例中，帧渲染模块122可以从一个或多个设备108中的请求设备(例如，设备108A)接收帧请求消息。帧请求消息可以包括但不限于：与用户(例如，用户106A)的每个眼睛相关联的姿态信息、时间戳、期望的分辨率以及期望的视场。姿态信息可以包括与公共坐标系(即，针对设备(例如，设备108A)和服务提供商102 两者一致定义的坐标系)相关的位置和旋转，为了本讨论的目的，公共坐标系可以被称为世界空间坐标系。时间戳可以表示生成和/或发送帧请求消息的时间。期望的分辨率可以为与渲染的虚拟内容相关联的期望的细节水平(即，较高的分辨率相当于虚拟内容中的更多细节)。在一些示例中，分辨率可以描述数字图像中的像素计数。期望的视场可以描述期望在任何给定时间通过混合现实显示设备(例如，设备 108A、设备108B、设备108C等)的显示器看见的可观察到的世界的范围。在一些示例中，视场可以描述视角。
帧请求消息可以由帧渲染模块122处理，以使得虚拟内容能够从特定用户(例如，用户106A)的视点被渲染。帧渲染模块122可以生成响应于帧请求消息的帧消息。所得到的帧消息可以包括在相关联的帧请求消息中被发送的相同的时间戳、所确定的分辨率、所确定的视场、在相关联的帧请求消息中被发送的每个眼睛的姿态以及渲染距离。在一些示例中，帧渲染模块122可以被配置为针对每个帧请求消息渲染立体图像(每个用户(例如，用户106A)的眼睛一个图像)。立体图像可以表示帧。立体图像的第一图像可以对应于用户(例如，用户106A)的左眼，并且立体图像的第二图像可以对应于用户(例如，用户106A)的右眼。在至少一个示例中，帧消息可以包括所渲染的立体图像。在一些示例中，帧渲染模块122可以以与所请求的期望值不同的分辨率或视场来渲染混合现实场景。所得到的分辨率和/ 或视场可以与上文描述的帧消息相关联。帧渲染模块122可以将帧消息发送给请求设备(例如，设备108A)。
请求设备(例如，设备108A)可以接收帧消息，处理接收到的帧消息，并且将立体图像渲染为在世界空间中被定位在与请求设备 (例如，设备108A)相关联的虚拟立体相机的前方的两个四边形或者其他虚拟表面。在一个示例中，左立体图像可以被纹理化到左四边形上，并且右立体图像可以被纹理化到右四边形上。在这样的示例中，左四边形可以由与设备(例如，设备108A)相关联的左相机渲染，并且右四边形可以由与设备(例如，设备108A)相关联的右相机渲染。每个四边形能够如在帧消息中指定的那样在世界空间中被定位在每个眼睛的前方，使得每个四边形的法向量与眼睛方向向量对齐。每个四边形的大小可以被设计以使得其可以填充在接收到的帧消息中的由每个眼睛限定的平截头体(frustum)，其能够由帧消息中所确定的视场和眼睛姿态信息的组合限定。请求设备(例如，设备108A) 可以在用户(例如，用户106A)在世界空间中四处移动时(其中四边形在世界空间中被固定)继续渲染左四边形和右四边形两者，直到下一帧请求消息被发送给帧渲染模块122并且响应性帧消息由请求设备(例如，设备108A)接收。至少部分地基于接收到下一帧消息，左四边形和右四边形可以如根据帧消息中的数据(例如，在相关联的帧请求消息中被发送的相同的时间戳、所确定的分辨率、所确定的视场、在相关联的帧请求消息中被发送的每个眼睛的姿态、以及渲染距离)描述的那样被重新定位和重新纹理化。
在由请求设备(例如，设备108A)接收下一帧消息之前，用户 (例如，用户106A)和对应的设备(例如，设备108A)相对于左四边形和右四边形(其在世界空间中被固定)的任何移动可以显现为左四边形和右四边形在屏幕空间中(例如，相对于屏幕)的对应的和相反的移动。为了本讨论的目的，屏幕空间可以表示由与设备(例如，设备108A)相关联的显示器204限定的空间。对于每个帧消息，可以存在由从每个四边形到每个眼睛的世界空间距离与每个四边形的世界空间大小之间的比例关系限定的针对左四边形和右四边形的无限数目的可能的有效位置和大小(即，这些四边形离得越远，它们可能越大以便合适地填充每个眼睛平截头体)。屏幕空间中的移动的量可以成比例地受到这些四边形相对于用户(例如，用户106A)定位的距离的影响(即，视差效应)。
为了产生这些四边形在屏幕空间中(在帧消息之间)更自然的移动，这些四边形(从它们相关联的眼睛位置)的距离可以通过使用启发式法来确定，以近似四边形的合适距离。启发式法的一个示例可以是计算在所渲染的帧中可见的每个虚拟对象的平均距离。另一示例可以是计算在帧渲染模块122可见的每个像素的平均距离。附加的和/ 或备选的示例可以是计算(如由包括视线跟踪的任何数目的因素确定的)场景中的最显著对象(或最显著像素)的距离。帧渲染模块122 可以使用这些(或任何其他)启发式法中的任何来计算针对每个帧的渲染距离，其还可以在每个帧消息中被发送。该渲染距离可以然后用于限定请求设备(例如，设备108A)能够定位左四边形和右四边形的特定位置和大小。
在至少一个示例中，为了计算平均像素距离，帧渲染模块122可以从中心眼睛锚点(即，用户(例如，用户106A)的两个眼睛之间的中心)渲染针对每个帧的深度缓冲。在至少一个示例中，深度缓冲可以使用着色器来渲染，着色器输出(线性地或以其他方式)映射到 0与1之间的值的像素深度，其中0为相机的近平面，并且1为相机的远平面。作为非限制性示例，深度值可以被编码到输出缓冲的一个 (8位)信道中，使得深度值利用255值(1字节)的分辨率被编码，或者备选地，32位缓冲中的所有四个信道可以被用于编码以针对每个像素的32位精度表示相同深度值(0与1之间)的32位浮点值。在非限制性示例中，所得到的深度缓冲值(在被解码到标准32位浮点表示中时)可以用于确定每个像素与用于渲染深度缓冲的相机之间的世界空间距离。在非限制性示例中，针对每个像素的世界空间距离通过以下来确定：从远平面距离减去近平面距离，将该差乘以像素的深度值，并且然后将近平面距离与结果相加。帧渲染模块122然后可以通过对每个像素的世界空间距离求平均来计算平均像素距离。该平均像素距离可以作为渲染距离而被包括在帧消息中。
在一些示例中，帧渲染模块122可以将帧消息中的深度缓冲数据发送给请求设备(例如，设备108A)，并且视差着色器能够由请求设备(例如，设备108A)使用，以近似用户(例如，用户106A)的移动。在这样的示例中，帧消息可以包括附加的和/或备选的数据(例如，针对每个眼睛或针对中心眼睛锚点的深度缓冲)，并且渲染模块 132可以将虚拟内容项渲染在混合现实环境中。在这样的示例中，如上文所描述的，帧渲染模块122可以不计算平均像素距离和/或显著图。
在至少一些示例中，帧渲染模块122可以访问内容数据，以确定用户(例如，用户106A)已经打开哪些虚拟内容项和/或用户(例如，用户106A)已经与其他用户(例如，用户106B和/或用户106C)共享了哪些虚拟内容项。
定位模块124可以将与在设备(例如，设备108A)的显示器上渲染虚拟内容相关联的指令发送给设备(例如，设备108A)。即，定位模块124可以发送与混合现实环境中虚拟内容的位置和/或放置相关联的指令。指令可以由内容数据确定，并且在一些示例中，可以与下文描述的渲染数据相关联。
应用(例如，(一个或多个)应用126)由程序员创建，以完成具体任务。例如，应用(例如，(一个或多个)应用126)可以向设备108的用户106提供实用、娱乐、教育和/或生产力功能。应用(例如，(一个或多个)应用126)可以被构建到设备(例如，电信、文本消息、时钟、相机等)中或者可以被定制(例如，游戏、新闻、交通调度、在线购物等)。(一个或多个)应用126可以向对话伙伴(例如，两个或更多个用户106)提供各种功能，包括但不限于在混合现实环境中共享虚拟内容项和/或与虚拟内容项交互。在至少一些示例中，虚拟内容项可以是应用和/或可以与应用相关联。
在一些示例中，一个或多个用户106可以操作对应的设备108(例如，用户设备)，以执行与设备108相关联的各种功能。(一个或多个)设备108可以表示各种各样的设备类型并且不限于任何特定类型的设备。(一个或多个)用户设备108的示例可以包括但不限于移动计算机、嵌入式计算机、或其组合。示例移动计算机可以包括膝上型计算机、平板计算机、可穿戴计算机、植入式计算设备、电信设备、汽车用计算机、便携式游戏设备、媒体播放器、相机等。示例嵌入式计算机可以包括网络使能电视、用于包含于计算设备中的集成部件、电器、微控制器、数字信号处理器或任何其他种类的处理设备等。在至少一个示例中，设备108可以包括混合现实设备(例如，
Figure BDA0001571355710000151
系统、
Figure BDA0001571355710000152
等)。混合现实设备可以包括一个或多个传感器和混合现实显示器，如下文在图2 的上下文中所描述的。在图1中，设备108A、设备108B和设备108C 是可穿戴计算机(例如，头戴式设备)；然而，设备108可以为如上文所描述的任何其他设备。在至少一个示例中，设备108可以不受线缆约束，使得它们不物理地连接到外部设备。然而，如本文中所描述的，设备108可以通信地耦合到外部设备。
(一个或多个)设备108可以包括一个或多个输入/输出(I/O) 接口，一个或多个输入/输出(I/O)接口耦合到总线以允许(一个或多个)设备与诸如输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)的其他设备通信。如上文所描述的，在一些示例中，I/O设备可以被集成到一个或多个服务器110和/或其他机器和/或设备108中。在其他的一些示例中，一个或多个输入外围设备可以被通信地耦合到一个或多个服务器110和/或其他机器和/或设备108。一个或多个输入外围设备可以与单个设备(例如，
Figure BDA0001571355710000161
Perceptual Computing SDK 2013、LEAP
Figure BDA0001571355710000162
等)或单独的设备相关联。
图2是示出了头戴式混合现实显示设备200的一个示例的示意图。如图2所示，头戴式混合现实显示设备200可以包括一个或多个传感器202和显示器204。一个或多个传感器202可以重建真实场景并跟踪真实场景内的真实的人和/或对象，一个或多个用户106物理上被定位在真实场景中。一个或多个传感器202可以包括相机和/或传感器。相机可以包括图像相机、体视相机、trulight相机等。传感器可以包括深度传感器、颜色传感器、声学传感器、光学传感器、模式传感器、重力传感器等。相机和/或传感器可以基本上实时地输出数据流。数据可以包括表示在可由相机和/或传感器观察到的真实场景中的真实人和/或真实对象的移动的移动图像数据和/或静态图像数据(例如，跟踪数据)。附加地，数据可以包括深度数据。
跟踪设备可以输出表示真实场景中的真实人和/或真实对象的移动的移动图像数据和/或静态图像数据(例如，跟踪数据)。跟踪设备可以包括光学跟踪设备(例如，
Figure BDA0001571355710000163
)、磁跟踪设备、声跟踪设备、陀螺跟踪设备、机械跟踪系统、深度相机(例如，
Figure BDA0001571355710000164
RealSense等)、惯性传感器(例如，
Figure BDA0001571355710000165
XSENS等)、前述的组合等。跟踪设备可以基本上实时地输出体积数据、骨架数据、视角数据等的流。体积数据、骨架数据、视角数据等的流可以由输入模块116基本上实时地接收。体积数据可以对应于由用户(例如，用户106A、用户106B或用户106C)的身体占据的空间的体积。骨架数据可以对应于用于近似骨架并且跟踪骨架随时间的移动的数据，在一些示例中，骨架对应于用户(例如，用户106A、用户106B或用户106C)的身体。对应于用户(例如，用户106A、用户106B或用户106C)的身体的骨架可以包括对应于被连接以表示人体的多个人类关节(例如，肘、膝盖、臀等)的节点阵列。视角数据可以对应于从两个或更多个视角收集的数据，其可以用于从特定视角确定用户(例如，用户106A、用户106B或用户106C) 的身体轮廓。
体积数据、骨架数据以及视角数据的组合可以用于确定对应于用户106的身体表示。身体表示可以近似用户(例如，用户106A、用户106B或用户106C)的身体形状。即，与特定用户(例如，用户 106A)相关联的体积数据、与特定用户(例如，用户106A)相关联的骨架数据以及与特定用户(例如，用户106A)相关联的视角数据可以用于确定表示特定用户(例如，用户106A)的身体表示。身体表示可以由渲染模块132使用来确定要在与特定用户(例如，用户 106A)物理上所处的真实空间相对应的三维坐标系(例如，世界空间) 中将虚拟内容渲染在哪里。
深度数据可以表示可由传感器和/或相机观察到的真实场景中的真实对象与传感器和/或相机之间的距离。深度数据可以至少部分地基于红外(IR)数据、trulight数据、体视数据、光和/或样式投影数据、重力数据、声数据等。在至少一个示例中，深度数据流可以从IR传感器(例如，飞行时间等)导出，并且可以被表示为反映真实场景的点云。点云可以表示与真实对象的表面和/或在三维坐标系(例如，世界空间)中配置的真实场景相关联的数据点或深度像素的集合。深度像素可以被映射到网格中。深度像素的网格可以指示真实场景中的真实对象与相机和/或传感器之间的距离。对应于可从相机和/或传感器观察到的空间的体积的深度像素的网格可以被称作深度空间。深度空间可以由(设备108中的)渲染模块132利用，以用于确定如何将虚拟内容渲染在混合现实显示器中。
在一些示例中，一个或多个传感器202可以被集成到头戴式混合现实显示设备200和/或设备108中。在这样的示例中，一个或多个传感器202对应于由内向外感测传感器；即，从第一人视角捕获信息的传感器。在附加的或备选的示例中，一个或多个传感器可以在头戴式混合现实显示设备200和/或设备108的外部。在这样的示例中，一个或多个传感器202可以被布置在房间中(例如，被放置在整个房间中的各个位置中)、与设备相关联等。这样的传感器能够对应于由外向内感测传感器；即，从第三人视角捕获信息的传感器。在又一示例中，传感器可以在头戴式混合现实显示设备200的外部，但是与被配置为收集与用户(例如，用户106A、用户106B或用户106C)相关联的数据的一个或多个可穿戴设备相关联。
显示器204可以向混合现实环境中的一个或多个用户106呈现视觉内容。在一些示例中，显示器204可以在占据基本上与用户(例如，用户106A)的实际视场同等范围的面积的空间区域中向用户(例如，用户106A)呈现混合现实环境。在其他的一些示例中，显示器204可以在占据用户(例如，用户106A)的实际视场的较小部分的空间区域中向用户(例如，用户106A)呈现混合现实环境。显示器204 可以包括透明显示器，其使得用户(例如，用户106A)能够查看他或她物理上所处的真实场景。透明显示器可以包括其中用户(例如，用户106A)直接看见他或她物理上存在的真实场景的光学透视 (see-through)显示器、其中用户(例如，用户106A)在从头戴式相机采集的视频图像中观察真实场景的视频透视显示器等。显示器204 可以向用户(例如，用户106A)呈现虚拟内容，使得虚拟内容在空间区域内增强用户(例如，用户106A)物理上所处的真实场景。
虚拟内容可以基于用户的视角和/或对应设备(例如，设备108A、设备108B和/或设备108C)的位置而不同地显现给不同的用户(例如，用户106A、用户106B或用户106C)。例如，虚拟内容项的大小可以基于用户(例如，用户106A、用户106B或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)与虚拟内容项的接近度而不同。附加地或备选地，虚拟内容项的形状可以基于用户 (例如，用户106A、用户106B或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)的有利位置而不同。例如，虚拟内容项可以在用户(例如，用户106A、用户106B或用户106C) 和/或设备(例如，设备108A、设备108B和/或设备108C)正直接看着虚拟内容项时具有第一形状，并且可以在用户(例如，用户106A、用户106B或用户106C)和/或设备(例如，设备108A、设备108B 和/或设备108C)正从侧面看着虚拟项时具有第二形状。
设备108可以包括一个或多个处理单元(例如，(一个或多个) 处理器128)、至少包括渲染模块132和一个或多个应用134的计算机可读介质130。一个或多个处理单元(例如，(一个或多个)处理器128)可以表示与如上文所描述的(一个或多个)处理器112相同的单元和/或执行相同的功能。计算机可读介质130可以表示如上文所描述的计算机可读介质114。计算机可读介质130可以包括促进服务提供商102与一个或多个设备108之间的交互的部件。如上文所描述的，部件可以表示在计算设备上执行的代码片段。计算机可读介质130 可以至少包括渲染模块132。渲染模块132可以从服务提供商102接收内容数据并且可以将虚拟内容项渲染在设备(例如，设备108A、设备108B、或设备108C)的显示器204上。在至少一个示例中，渲染模块132可以利用标准图形来渲染用于将虚拟内容渲染在显示器 204上的流水线。在一些示例中，渲染模块132可以从服务提供商102 接收(例如，与帧消息相关联的)先前渲染的帧，以校正潜在延时和 /或基于用户(例如，用户106A)在世界空间中的定位来渲染正确的视角。在其他的一些示例中，渲染模块132可以接收用于在本地渲染虚拟内容项的渲染数据。(一个或多个)应用134可以对应于与(一个或多个)应用126 相同的应用或不同的应用。
示例混合现实用户接口
图3是示出了混合现实环境的第一视图300(例如正视图)的一个示例的示意图，其中两个或更多个用户(例如，用户106A和用户 106B)可以与彼此和/或与呈现在混合现实环境中的虚拟内容交互。以虚线描绘的面积对应于其中第一用户(例如，用户106A)和第二用户(例如，用户106B)物理上存在的真实场景302。在一些示例中，第一用户(例如，用户106A)或第二用户(例如，用户106B)可以被远程地定位并且能够虚拟地存在于混合现实环境中(例如，作为化身、已经使用各种传感器和/或相机(例如，
Figure BDA0001571355710000201
或TOF相机) 捕获的重建三维模型)。即，对应于用户之一(例如，用户106A) 的设备(例如，设备108A)可以接收流传输数据，以将远程定位的用户(例如，用户106B)渲染在由设备(例如，设备108A)呈现的混合现实环境中。以黑色实线描绘的面积对应于空间区域304，在空间区域304中混合现实环境经由对应设备(例如，设备108A)的显示器204对第一用户(例如，用户106A)可见。如上文所描述的，在一些示例中，空间区域能够占据基本上与用户(例如，用户106A) 的实际视场同等范围的面积，并且在其他的一些示例中，空间区域可以占据用户(例如，用户106A)的实际视场的较小部分。附加的用户(例如，用户106C等)可以存在但是在空间区域304中不可见。
在图3的示例中，第一用户(例如，用户106A)能够经由他的设备(例如，设备108A)的显示器204在他的混合显示环境中查看各种虚拟内容项。如下文所描述的，第一用户(例如，用户106A) 能够已经认证了他的设备(例如，设备108A)。至少部分地基于认证了他的设备(例如，设备108A)，与他的设备(例如，设备108A) 相关联的渲染模块132能够将各种虚拟内容项渲染在对应于他的设备 (例如，设备108A)的显示器204上。作为非限制性示例，第一用户(例如，用户106A)能够查看地球仪306、狗308、无人机310、热气球312和日历314的图形表示。以粗黑线示出图形表示，以表明它们表示虚拟内容。
在一些示例中，第一用户(例如，用户106A)可以为每个虚拟内容项的拥有者。即，第一用户(例如，用户106A)可以确定是否要在混合现实环境中与其他用户(例如，用户106B和/或用户106C) 共享个体虚拟内容项、他想要与其他用户(例如，用户106B和/或用户106C)中的哪个用户共享个体虚拟内容项、或者是否要保持个体虚拟内容项私有(即，不与其他用户共享)。在图3中的示例中，第一用户(例如，用户106A)与第二用户(例如，用户106B)共享无人机310。第二用户(例如，用户106B)可以查看无人机310并且可以与无人机310交互，直到第一用户(例如，用户106A)决定使无人机310为私有。至少部分地基于第一用户(例如，用户106A)使无人机310为私有，第二用户(例如，用户106B)才不能够在混合现实环境中查看无人机310。
在其他的一些示例中，其他用户(例如，用户106B和/或用户 106C)中的一个可以为虚拟内容项的拥有者。因此，至少部分地基于虚拟内容项的拥有者继续与第一用户(例如，用户106A)共享虚拟内容项，虚拟内容项中的一些才能够对第一用户(例如，用户106A)可见。然而，在拥有者使虚拟内容项为私有和/或不再与第一用户(例如，用户106A)共享虚拟内容项时，虚拟内容项就可以不再对第一用户(例如，用户106A)可见。
图4是示出了混合现实环境的第二视图400(例如，右侧视图) 的一个示例的示意图，其中两个或更多个用户(例如，用户106A、用户106B和/或用户106C)能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互。以虚线描绘的面积对应于其中第一用户(例如，用户106A)、第二用户(例如，用户106B)和第三用户(例如，用户106C)物理上存在的真实场景302。以黑色实线描绘的面积对应于空间区域304，在空间区域304中混合现实环境经由对应设备(例如，设备108C)的显示器204对第三用户(例如，用户106C)可见。如上文所描述的，在一些示例中，空间区域可以占据基本上与用户(例如，用户106C)的实际视场同等范围的面积，并且在其他的一些示例中，空间区域可以占据用户(例如，用户106C)的实际视场的较小部分。如上文所描述的，图4描绘了图3中的真实场景302的不同视图。图4描绘了右侧视图。即，从图3中的第一用户(例如，用户 106A)视角，第三用户(例如，用户106C)位于房间的右侧。第一用户(例如，用户106A)未处于空间区域304的视图中，但是仍然存在于混合现实环境中(例如，如果被描画的话，则第一用户(用户 106A)将处于狗308的左边)。
在图4中图示的示例中，第三用户(例如，用户106C)能够经由他的设备(例如，设备108C)的显示器204在他的混合现实环境中查看各种虚拟内容项。如下文所描述的，第三用户(例如，用户106C) 可以已经认证了他的设备(例如，设备108C)。至少部分地基于认证了他的设备(例如，设备108C)，与他的设备(例如，设备108C) 相关联的渲染模块132能够将各种虚拟内容项渲染在对应于他的设备 (例如，设备108C)的显示器204上，如图4所示。作为非限制性示例，第三用户(例如，用户106C)能够查看地球仪306、狗308和无人机310的图形表示。以粗黑线示出图形表示，以表明它们表示虚拟内容。
不同于图3中的示例中的第一用户(例如，用户106A)，第三用户(例如，用户106C)不能够看见热气球312或日历314。在一些示例中，第三用户(例如，用户106C)可能看不见热气球312或日历314，因为第三用户(例如，用户106C)不具有用于查看热气球 312或日历314的权限(即，虚拟内容项的拥有者尚未与第三用户(例如，用户106C)共享热气球312或日历314)。因此，热气球312和日历314对第三用户(例如，用户106C)不可见。在其他的一些示例中，第三用户(例如，用户106C)可能不能看见热气球312或日历314，因为虚拟内容项处于第三用户(例如，用户106C)能够查看混合现实环境的空间区域304之外。第三用户(例如，用户106C) 能够查看地球仪306、狗308和/或无人机310，和/或能够与地球仪 306、狗308和/或无人机310交互，直到虚拟内容项的拥有者决定使地球仪306、狗308和/或无人机310为私有。
设备/服务器：示例架构和过程
图5是示出了用于使得混合现实环境中的两个或更多个用户(例如，用户106A、用户106B和/或用户106C)能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境500的示意图。在图5 中图示的示例中，第一设备(例如，设备108A)被分配为服务器角色，并且负责同步通信和/或在所有设备(例如，设备108A、设备108B 和/或设备108C)间的虚拟内容渲染。在至少一个示例中，设备(例如，设备108B和/或设备108C)能够在本地运行应用134并且连接到服务设备(例如，设备108A)。在图5中，输入模块116、内容数据库118、内容管理模块120、以及定位模块124能够与代替与服务提供商102相关联的计算机可读介质114的或除了与服务提供商102 相关联的计算机可读介质114之外的计算机可读介质130相关联。
图5图示了将认证数据发送给第一设备(例如，设备108A)的第二设备(例如，设备108B)。认证数据可以对应于与第二用户(例如，用户106B)相关联的用户认证和密码、与第二用户(例如，用户106B)相关联的生物特征识别等。如上文所描述的，认证数据能够用于确定第二设备(例如，设备108B)的存在、对第二用户(例如，用户106B)可用的视觉内容项、以及对应于第二用户(例如，用户106B)是否可以查看虚拟内容项中的个体虚拟内容项和/或与虚拟内容项中的个体虚拟内容项交互的第二用户(例如，用户106B) 的权限。
至少部分地基于接收认证数据，内容管理模块120和/或帧渲染模块122能够访问来自内容数据库118的内容数据。如上文所描述的，与个体虚拟内容项相关联的数据能够被存储在内容数据库118中。内容数据可以标识虚拟内容项的拥有者、虚拟内容项的标识、以及与虚拟内容项相关联的权限。内容数据能够标识由对应于第二用户(例如，用户106B)的简档拥有的虚拟内容项、第二用户(例如，用户106B) 已经打开的虚拟内容项、和/或其他用户(例如，用户106A和/或用户 106C)已经与第二用户(例如，用户106B)共享的内容。内容管理模块120和/或定位模块124能够利用内容数据来确定个体虚拟内容项是否能够被渲染在各种设备(例如，设备108A和/或设备108C)上和/或与个体虚拟内容项中的每一个相关联的权限。内容管理模块120 和/或定位模块124能够将渲染数据发送给第二设备(例如，设备108B)，并且第二设备(例如，设备108B)能够将对应的虚拟内容项渲染在与第二用户(例如，用户106B)相关联的混合现实环境中。如上文所描述的，第二用户(例如，用户106B)能够修改他或她拥有的虚拟内容项中的任何虚拟内容项的权限(例如，可见性、交互性等)。即，第二用户(例如，用户106B)能够与其他用户(例如，用户106A和/或用户106C)共享虚拟内容项。然而，第二用户(例如，用户106B)不能够修改他或她不拥有的虚拟内容项中的任何虚拟内容项的权限。第二用户(例如，用户106B)能够与个体虚拟内容项交互，直到虚拟内容项中的每一个的拥有者使虚拟内容项为私有，使得第二用户(例如，用户106B)不能够查看虚拟内容项。
下文图6和图7中描述的过程被图示为逻辑流程图中的表示能够以硬件、软件、或其组合实现的操作序列的块的汇集。在软件的上下文中，块表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其当由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括例程、程序、对象、部件、数据结构等，其执行特定功能或实现特定抽象数据类型。操作被描述的顺序不旨在被理解为限制，并且任何数目的所描述的块可以以任何顺序和/或与实现该过程并行地来组合。示例过程在图5的环境500的上下文中进行描述，但是不限于该环境。
图6是图示了用于使得虚拟内容被呈现在混合现实环境中的示例过程600的流程图。
框602图示了访问、接收和/或确定来自设备(例如，设备108B) 的认证信息。如图5所示，第二设备(例如，设备108B)可以将认证数据发送给第一设备(设备108A)，第一设备可以被指定为服务器。认证数据可以对应于与第二用户(例如，用户106B)相关联的用户标识和密码、与第二用户(例如，用户106B)相关联的生物特征识别等。如上文所描述的，认证数据可以用于确定第二设备(例如，设备108B)的存在、对第二用户(例如，用户106B)可用的视觉内容项、以及对应于第二用户(例如，用户106B)是否可以查看虚拟内容项和/或与虚拟内容项交互的第二用户(例如，用户106B)的权限。
框604图示了访问内容数据。至少部分地基于接收认证数据，内容管理模块120和/或定位模块124可以访问来自内容数据库118的内容数据。如上文所描述的，内容数据库118可以包括指示拥有者标识、内容标识、以及与个体虚拟内容项相关联的权限的内容数据。内容数据可以标识由对应于第二用户(例如，用户106B)的简档拥有的虚拟内容项和/或其他用户(例如，用户106A和/或用户106C)已经与第二用户(例如，用户106B)共享的内容。
框606图示了将渲染数据发送给设备(例如，设备108B)。内容管理模块120和/或定位模块124可以将渲染数据发送给第二设备 (例如，设备108B)。如上文所描述的，渲染数据可以包括用于经由设备(例如，设备108A)的显示器渲染虚拟内容项的图形表示的指令。例如，渲染数据可以包括描述与虚拟内容项相关联的几何结构、视点、纹理、照明、阴影等的指令。
框608图示了使得虚拟内容经由设备(例如，设备108B)被渲染。第二设备(例如，设备108B)可以利用渲染数据，来经由与第二设备(例如，设备108B)相关联的渲染模块132在与第二用户(例如，用户106B)相关联的混合现实环境中渲染虚拟内容项。如上文所描述的，第二用户(例如，用户106B)可以修改他或她拥有的虚拟内容项中的任何虚拟内容项的权限(例如，可见性、交互性等)。即，第二用户(例如，用户106B)可以确定他或她期望与谁共享虚拟内容项和/或其他用户(例如，用户106A和/或用户106C)具有的关于与虚拟内容项交互的权限。然而，第二用户(例如，用户106B) 不能够修改他或她不拥有的虚拟内容项中的任何虚拟内容项的权限。第二用户(例如，用户106B)可以与个体虚拟内容项交互，直到虚拟内容项中的每一个的拥有者使虚拟内容项为私有，使得第二用户 (例如，用户106B)不能够查看虚拟内容项。
图7是图示了用于以不同模式(例如，呈现者模式或共享模式) 使得虚拟内容被呈现在混合现实环境中的示例过程700的流程图。
框702图示了使得虚拟内容经由设备(例如，设备108A、设备 108B和/或设备108C)被渲染。如上文所描述的，与设备(例如，设备108A、设备108B和/或设备108C)相关联的渲染模块132可以将对应于渲染数据的虚拟内容项渲染在与用户(例如，用户106A、用户106B和/或用户106C)相关联的混合现实环境中。
框704图示了确定用于呈现虚拟内容的模式。在一些示例中，内容管理模块120可以确定用户(例如，用户106A)是否期望以共享模式或呈现模式呈现虚拟内容，在共享模式中其他用户(例如，用户 106B和/或用户106C)可以经由增强的用户接口查看用户(例如，用户106A)与他们共享的虚拟内容项，使得虚拟内容项增强其他用户 (例如，用户106B和/或用户106C)物理上位于其中的空间区域内的真实场景。呈现模式可以使得用户(例如，用户106A)能够与其他用户(例如，用户106B和/或用户106C)共享用户(例如，用户 106A)已经打开的(即，在用户(例如，用户106A)的显示器204 上可见的)所有虚拟内容。在这样的示例中，用户(例如，用户106A) 可以共享菜单、读出笔(wands)、虚拟内容项等。即，呈现模式可以使得用户(例如，用户106A)能够与所有其他用户(例如，用户 106B和/或用户106C)共享他或她已经打开的所有内容(即，使所有虚拟内容项为公共的)，并且共享用户(例如，用户106A)在他的或她的第一人视角一般能够看见的菜单。
框706图示了使得虚拟内容以共享模式被呈现。如上文所描述的，虚拟内容项的拥有者可以确定他或她想要与谁共享虚拟内容项。在至少一个示例中，虚拟内容项的拥有者可以在混合现实环境中与被呈现给用户(例如，用户106B)的虚拟菜单交互。如上文所描述的，虚拟菜单可以包括共享设置的图形表示，共享设置例如但不限于私有、公共等。虚拟菜单可以是下拉菜单、放射状菜单等。如上文所描述的，虚拟菜单可以向用户(例如，用户106B)提供用于指示用户(例如，用户106B)是期望使虚拟内容项为私有还是为公共的控制。如果用户(例如，用户106B)期望保持虚拟内容项为私有，则没有其他用户(例如，用户106A和/或用户106C)能够看见虚拟内容项。如果用户(例如，用户106B)期望使虚拟内容项为公共，则所有其他用户(例如，用户106A和/或用户106C)能够看见虚拟内容项。在一些示例中，用户(例如，用户106B)可以指定他或她期望与之共享虚拟内容项的一个或多个用户(即，少于所有用户)。该权限数据可以被提供给内容数据库118，以用于与内容数据一起存储。因此，至少部分地基于访问、接收和/或确定认证数据，内容管理模块120和/ 或定位模块124可以访问包括权限数据的内容数据，权限数据指示哪些用户106具有查看个体内容数据项和/或与个体内容数据项交互的权限。其他设备(例如，设备108A和/或设备108C)可以至少部分地基于从内容管理模块120和/或定位模块124接收渲染数据来渲染虚拟内容项。其他用户(例如，用户106A和/或用户106C)可以以他们自己的第一人视角来查看所渲染的虚拟内容项。
框708图示了使得虚拟内容以呈现模式被呈现。在其他的一些示例中，内容管理模块120可以确定用户(例如，用户106B)期望在呈现者模式中与其他用户(例如，用户106A和/或用户106C)共享他或她的混合现实环境。因此，内容管理模块120和/或定位模块124 可以将渲染数据发送给与其他用户相关联的设备(例如，设备108A 和/或设备108C)，使得对应的渲染模块132能够渲染与在用户(例如，用户106B)的混合现实环境中呈现的虚拟内容一致的虚拟内容。呈现者模式使得用户(例如，用户106B)能够向其他用户(例如，用户106A和/或用户106C)示出如何使用应用或给出系统的展示。呈现者模式类似于各种桌面共享功能。其他用户(例如，用户106A 和/或用户106C)可以从他们自己的第一人视角看见用户(例如，用户106B)的混合现实环境。在至少一个示例中，除了用户(例如，用户106B)的混合现实环境之外，其他用户(例如，用户106A和/ 或用户106C)还可以看见他们的私有混合现实环境。
服务提供商/服务器：示例架构和过程
图8是示出了用于使得混合现实环境中的两个或更多个用户(例如，用户106A、用户106B和/或用户106C)能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境800的示意图。在图8 中，服务提供商102充当服务器角色并且负责同步设备(例如，设备 108A、设备108B和/或设备108C)的通信和/或虚拟内容渲染。设备 (例如，设备108A、设备108B和/或设备108C)可以在本地运行应用134，并且接收帧消息和/或用于呈现虚拟内容的帧。
图8图示了设备(例如，设备108A)将认证数据发送给服务提供商102。认证数据可以对应于与用户(例如，用户106A)相关联的用户标识和密码、与用户(例如，用户106A)相关联的生物特征识别等。如上文所描述的，认证数据可以用于确定设备(例如，设备 108A)的存在、对用户(例如，用户106A)可用的视觉内容、以及对应于用户(例如，用户106A)是否可以查看虚拟内容和/或与虚拟内容交互的用户(例如，用户106A)的权限。
附加地，如上文所描述的，设备(例如，设备108A)可以实时发送帧请求消息。如上文所描述的，帧渲染模块122可以被配置为响应于帧请求而生成帧消息。帧渲染模块122可以将帧消息直接发送给设备108。
至少部分地基于接收认证数据，内容管理模块120和/或定位模块 124可以访问来自内容数据库118的内容数据。如上文所描述的，个体虚拟内容项可以与内容数据库118中指示与个体虚拟内容项相关联的拥有者标识、内容标识和权限的数据相关联。
不同于示例环境500，在该示例中，服务提供商102不能简单地将内容数据发送给设备(例如，设备108A)，并且设备(例如，设备108A)不能简单地将虚拟内容渲染在屏幕空间中，因为虚拟内容的呈现可能受到明显的延时(例如，在帧被渲染在设备(例如，设备 108A)上之前所发生的用户(例如，用户106A)和/或设备(例如，设备108A)的移动)的影响。代替地，在至少一个示例中，如上文所描述的，被本地存储在设备(例如，设备108A)上的渲染模块132 可以利用帧消息来经由设备(例如，设备108A)渲染和/或呈现虚拟内容。
下文图9中描述的过程被图示为逻辑流程图中的表示可以以硬件、软件、或其组合实现的操作序列的块的汇集。在软件的上下文中，块表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其当由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括例程、程序、对象、部件、数据结构等，其执行特定功能或实现特定抽象数据类型。操作被描述的顺序不旨在被理解为限制，并且任何数目的所描述的块可以以任何顺序和/或与实现该过程并行地来组合。示例过程在图8的环境800的上下文中进行描述，但是不限于该环境。
图9是图示了用于使得虚拟内容被呈现在混合现实环境中的示例过程900的流程图。
框902图示了访问、接收和/或确定来自设备(例如，设备108A) 的认证信息。如图8所示，输入模块116可以访问、接收和/或确定来自设备(例如，设备108A)的认证数据。认证数据可以对应于与用户(例如，用户106A)相关联的用户标识和密码、与用户(例如，用户106A)相关联的生物特征识别等。如上文所描述的，认证数据可以用于确定设备(例如，设备108A)的存在、对与设备(例如，设备108A)相对应的用户(例如，用户106A)可用的视觉内容、以及对应于用户(例如，用户106A)是否可以查看虚拟内容和/或与虚拟内容交互的用户(例如，用户106A)的权限。
框904图示了从设备(例如，设备108B)接收帧请求。如上文所描述的，帧渲染模块122可以从设备(例如，设备108A)接收帧请求消息。
框906图示了访问内容数据。至少部分地基于接收认证数据，内容管理模块120和/或定位模块124可以访问来自内容数据库118的内容数据。如上文所描述的，内容数据可以被存储在内容数据库118中，其指示与个体虚拟内容项相关联的拥有者标识、内容标识和权限。
框908图示了访问帧消息。如上文所描述的，帧渲染模块122可以被配置为输出帧消息并且将帧消息直接发送给设备108。
框910图示了将渲染数据和/或帧消息发送给设备(例如，设备 108A)。在一些示例中，渲染模块132可以从服务提供商102接收与帧消息相关联的先前渲染的帧，以校正潜在延时和/或基于用户(例如，用户106A)在世界空间中的定位来渲染正确的视角。在其他的一些示例中，渲染模块132可以接收用于在本地渲染虚拟内容项的渲染数据。
框912图示了使得虚拟内容经由设备(例如，设备108A)被呈现。设备(例如，设备108A)可以经由与设备(例如，设备108A) 相关联的渲染模块132在与用户(例如，用户106A)相关联的混合现实环境中渲染对应于渲染数据的虚拟内容项。如上文所描述的，在一些情况下，服务提供商102可能不能将渲染数据发送给设备(例如，设备108A)，并且设备(例如，设备108A)可能不能将虚拟内容渲染在屏幕空间中，因为虚拟内容的呈现可能受到明显的延时的影响。代替地，在至少一个示例中，如上文所描述的，被本地存储在设备(例如，设备108A)上的渲染模块132可以利用帧消息来使得虚拟内容项经由设备(例如，设备108A)被呈现。
修改关于虚拟内容项的可见性和交互
图10是示出了用于使得混合现实环境中的两个或更多个用户(例如，用户106A、用户106B和/或用户106C)能够与彼此和/或与呈现在混合现实环境中的虚拟内容交互的示例环境1000的示意图。在示例环境1000中，服务器1002可以将数据发送给客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)并且从客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)接收数据。服务器1002可以为服务提供商102或设备(例如，设备108A)。客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)中的每一个可以对应于设备108A、108B和/或108C。一个或多个客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)可以发送请求并接收与用于渲染虚拟内容和/或与虚拟内容交互的命令相关联的数据。服务器1002可以管理请求和命令，以同步在一个或多个客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)之间的通信和/或虚拟内容渲染，并且以支持安全性、变量(例如，状态变量)的同步、管理定时(例如，动画定时等)等。
下文图11和图12中描述的过程被图示为逻辑流程图中的表示可以以硬件、软件、或其组合实现的操作序列的块的汇集。在软件的上下文中，块表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其当由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括例程、程序、对象、部件、数据结构等，其执行特定功能或实现特定抽象数据类型。操作被描述的顺序不旨在被理解为限制，并且任何数目的所描述的块可以以任何顺序和/或与实现该过程并行地来组合。示例过程在图10的环境1000的上下文中进行描述，但是不限于该环境。
图11是图示了用于使得虚拟内容的可见性在混合现实环境中被修改的示例过程1100的流程图。
框1102图示了从第一客户端设备(例如，客户端1004)接收用于与一个或多个其他客户端设备(例如，客户端1006和/或客户端 1008)共享虚拟内容项的请求。在该示例中，第一客户端设备(例如，客户端1004)可以为虚拟内容项的拥有者并且可以确定与谁共享虚拟内容项和/或何时使虚拟内容项为私有。
框1104图示了将命令发送给一个或多个其他客户端设备(例如，客户端1006和/或客户端1008)。服务器1002可以将命令发送给一个或多个其他客户端设备(例如，客户端1006和/或客户端1008)。如上文所描述的，命令可以包括渲染数据，并且在一些示例中可以包括用于由一个或多个其他客户端设备(例如，客户端1006和/或客户端1008)渲染的帧消息。
框1106图示了使得虚拟内容项经由一个或多个其他客户端设备 (例如，客户端1006和/或客户端1008)被呈现。如上文所描述的，与个体客户端设备(例如，客户端1006和/或客户端1008)相关联的渲染模块132可以将虚拟内容项渲染在混合现实环境中。只要第一客户端设备(例如，客户端1002)继续与一个或多个其他客户端设备(例如，客户端1006和/或客户端1008)共享虚拟内容项，对应于一个或多个其他客户端设备(例如，客户端1006和/或客户端1008)的用户 (例如，用户106A和/或用户106B)就能够与虚拟内容项交互。在一些示例中，一个或多个客户端设备(例如，客户端1006和/或客户端1008)可以经由帧消息接收先前渲染的帧，并且可以至少部分地基于呈现先前渲染的帧来呈现虚拟内容项。
第一客户端设备(例如，客户端1004)可以经由类似于示例过程 1100的过程来请求使虚拟内容项为私有。第一客户端设备(例如，客户端1004)可以请求使虚拟内容项相对于一个或多个其他客户端设备 (例如，客户端1006和/或客户端1008)为私有。服务器1002可以将命令发送给一个或多个其他客户端设备(例如，客户端1006和/或客户端1008)。如上文所描述的，命令可以包括指示虚拟内容项相对于其他客户端设备(例如，客户端1006和/或客户端1008)中的一个或多个不再可见的数据。因此，与个体客户端设备(例如，客户端1006 和/或客户端1008)相关联的渲染模块132可以终止将虚拟内容项渲染在混合现实环境中。
在一些示例中，至少部分地基于访问虚拟内容项的客户端设备 (例如，客户端1004、客户端1006、和/或客户端1008)中的任何一个，服务器1002可以将与虚拟内容项相关联的数据发送给其他客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)中的每一个。数据可以指令所有客户端设备(例如，客户端1004、客户端 1006、和/或客户端1008)(即，与所有客户端设备相关联的渲染模块132)创建和加载虚拟内容项。然而，客户端设备(例如，客户端 1004、客户端1006、和/或客户端1008)可以隐藏虚拟内容项，直到客户端设备(例如，客户端1004、客户端1006、和/或客户端1008) 接受到指示虚拟内容项的拥有者与客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)共享了虚拟内容项的数据。虚拟内容项的拥有者可以发送用于与其他客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)中的一个或多个共享虚拟内容项的请求，并且服务器1002可以将命令发送给一个或多个客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)，使得一个或多个客户端设备(例如，客户端1004、客户端1006、和/或客户端1008) 可以渲染虚拟内容项。如上文所描述的，命令可以与渲染数据和/或帧消息相关联。
图12是图示了用于使得与虚拟内容项的交互在混合现实环境中经由一个或多个客户端设备(例如，客户端1004、客户端1006、和/ 或客户端1008)被执行的示例过程1200的流程图。
框1202图示了从第一客户端设备(例如，客户端1004)接收用于与虚拟内容项交互的请求。例如，第一客户端设备(例如，客户端 1004)可能期望移动虚拟内容项、使虚拟内容项旋转，等等。框1204 图示了将命令发送给具有查看虚拟内容项的权限的所有客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)，以执行所请求的交互。服务器1002可以将命令发送给具有查看虚拟内容项的权限的客户端设备(例如，客户端1004、客户端1006、和/或客户端 1008)。如上文所描述的，命令可以包括渲染数据、与交互相关联的数据，并且在一些示例中可以包括用于由客户端设备(例如，客户端 1004、客户端1006、和/或客户端1008)渲染的帧消息。框1206图示了使得交互经由客户端设备(例如，客户端1004、客户端1006、和/ 或客户端1008)对虚拟内容项执行。如上文所描述的，与个体客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)相关联的渲染模块132可以将虚拟内容项渲染在混合现实环境中，并且可以基于所请求的交互来修改虚拟内容项。只要第一客户端设备(例如，客户端1004)继续与一个或多个其他客户端设备(例如，客户端1006、和/或客户端1008)共享虚拟内容项，对应于客户端设备(例如，客户端1004、客户端1006、和/或客户端1008)的用户(例如，用户106A、用户106B和/或用户106C)就能够与虚拟内容项交互。
示例条款
A.一种系统，包括：混合现实显示设备；以及通信地耦合到所述混合现实显示设备的设备，所述设备包括：一个或多个处理器；存储器；以及一个或多个模块，一个或多个模块被存储在存储器中并且由一个或多个处理器可执行，以执行包括以下的操作：至少部分地基于与混合现实显示设备相关联的认证信息，确定混合现实显示设备的存在；至少部分地基于以下来确定用于所述混合现实显示设备的多个内容项的可见性：访问与所述多个内容项相关联的内容数据，内容数据指示多个内容项中的个体内容项的标识、个体内容项中的每一个的拥有者、和与个体内容项中的每一个相关联的权限；至少部分地基于认证信息和内容数据来确定多个内容项中的内容项为以下中的一个：由混合现实显示设备拥有或者已经与混合现实显示设备共享；以及使得内容项的图形表示经由混合现实显示设备上的显示器被呈现。
B.根据段落A所述的系统，操作还包括：将与内容项相关联的渲染数据发送给混合现实显示设备；以及使得内容项的图形表示经由混合现实显示设备被渲染。
C.根据段落B所述的系统，操作还包括：在使得内容项的图形表示经由显示器被渲染之前，从混合现实显示设备接收帧请求，帧请求包括与关联于混合现实显示设备的用户的每个眼睛相关联的姿态信息、时间戳、期望的分辨率、或期望的视场中的至少一个。
D.根据段落C所述的系统，操作还包括：确定对应于帧请求的帧消息，帧消息包括与用户的每个眼睛相关联的姿态信息、时间戳、所确定的分辨率、所确定的视场、或渲染距离中的至少一个；将帧消息发送给混合现实显示设备；以及至少部分地基于帧消息来使得内容项的图形表示经由显示器被渲染。
E.根据段落D所述的系统，其中，帧消息还包括针对用户的每个眼睛的渲染的立体图像。
F.根据段落A-E中的任何所述的系统，其中，权限指示内容项已经被与之共享的多个设备。
G.根据段落A-F中的任何所述的方法，其中，权限指示可用于内容项的交互和被许可引起交互的多个设备。
H.一种混合现实显示设备，包括：一个或多个处理器；存储器；以及一个或多个模块，一个或多个模块被存储在存储器中并且由一个或多个处理器可执行，以执行包括以下的操作：确定与第二混合现实显示设备相关联的认证信息；至少部分地基于以下来确定多个内容项中的内容项在与第二混合现实显示设备相关联的混合现实环境中可见：访问与多个内容项相关联的内容数据，内容数据指示内容项的标识、内容项的拥有者、以及与内容项相关联的权限；以及至少部分地基于认证信息和内容数据来确定内容项为以下中的一个：由第二混合现实显示设备拥有或者已经与第二混合现实显示设备共享；以及使得内容项的图形表示经由第二混合现实显示设备上的显示器被渲染。
I.根据段落H所述的混合现实显示设备，操作还包括：至少部分地基于内容数据来确定内容项由混合现实显示设备拥有；确定内容项已经成为私有；以及终止使得内容项的图形表示经由第二混合现实显示设备的显示器被渲染。
J.根据段落I所述的混合现实显示设备，操作还包括：使得具有共享设置的图形表示的菜单经由混合现实显示设备被呈现，共享设置包括私有共享设置或公共共享设置；确定对私有共享设置的选择；以及至少部分地基于对私有共享设置的选择来确定内容项已经成为私有。
K.根据段落H-J中的任何所述的混合现实显示设备，操作还包括：至少部分地基于内容数据来确定第二混合现实显示设备不是内容项的拥有者；确定内容项不再与第二混合现实显示设备共享；以及终止使得内容项的图形表示经由第二混合现实显示设备上的显示器被渲染。
L.根据段落K所述的混合现实显示设备，操作还包括：确定内容项可见还至少部分地基于与内容项相关联的共享设置；并且操作还包括：至少部分地基于内容数据来确定第三混合现实显示设备是内容项的拥有者；从第三混合现实显示设备接收请求，以使内容项为私有；至少部分地基于请求来改变共享设置；以及至少部分地基于对共享设置的改变来确定内容项不再与第二混合现实显示设备共享。
M.根据段落H-L中的任何所述的混合现实显示设备，操作还包括：确定与第三混合现实显示设备相关联的认证信息；至少部分地基于与第三混合现实显示设备相关联的认证信息和内容数据，确定内容项不由第三混合现实显示设备拥有并且尚未与第三混合现实显示设备共享；以及禁止内容项的所述图形表示经由第三混合现实显示设备上的显示器被渲染。
N.根据段落H-M中的任何所述的混合现实显示设备，操作还包括：从内容项的所述拥有者接收用于与至少一个附加混合现实显示设备共享内容项的请求；将渲染数据发送给至少一个附加混合现实显示设备；以及使得内容项的图形表示经由至少一个附加混合现实显示设备上的显示器被渲染。
O.一种用于管理与混合现实显示设备相关联的多个内容项的权限的方法，方法包括：确定与混合现实显示设备中的第一混合现实显示设备相关联的认证信息；从第一混合现实显示设备接收第一请求，第一请求用于与混合现实显示设备中的一个或多个第二混合现实显示设备共享多个内容项中的内容项；访问与多个内容项相关联的内容数据，内容数据指示以下中的至少一个：多个内容项中的个体内容项的标识、个体内容项中的每一个的拥有者、或与个体内容项中的每一个相关联的权限；至少部分地基于认证信息和内容数据，确定第一混合现实显示设备具有共享内容项的权限；以及使得内容项的图形表示经由一个或多个第二混合现实显示设备被呈现。
P.根据段落O所述的方法，还包括：从一个或多个第二混合现实显示设备中的第二混合现实显示设备接收第二请求，第二请求与影响内容项的交互相关联；至少部分地基于内容数据，确定第二混合现实显示设备被许可经由交互与内容项交互；以及将命令发送给第一混合现实显示设备和一个或多个第二混合现实显示设备中的其他混合现实显示设备，以执行交互。
Q.根据段落O或P所述的方法，还包括：从请求设备接收帧请求，请求设备包括第一混合现实显示设备或者一个或多个第二混合现实显示设备中的第二混合现实显示设备中的至少一个，帧请求包括与对应于请求设备的用户的每个眼睛相关联的姿态信息、时间戳、期望的分辨率、或期望的视场中的至少一个。
R.根据段落Q所述的方法，还包括：确定对应于帧请求的帧消息，帧消息包括与用户的每个眼睛相关联的姿态信息、时间戳、所确定的分辨率、所确定的视场、或渲染距离中的至少一个；将帧消息发送给请求设备；以及至少部分地基于帧消息，使得内容项的图形表示经由第一混合现实显示设备和一个或多个第二混合现实显示设备被呈现。
S.根据段落O-R所述的方法，还包括：将渲染数据或渲染的立体图像中的至少一个发送给第一混合现实显示设备和一个或多个第二混合现实显示设备；以及至少部分地基于渲染数据或渲染的立体图像中的至少一个，使得内容项的图形表示经由第一混合现实显示设备和一个或多个第二混合现实显示设备被呈现。
T.根据段落O-S所述的方法，还包括：从第一混合现实显示设备接收第二请求，第二请求用于将与第一混合现实显示设备相关联的混合现实环境共享给一个或多个第二混合现实显示设备，混合现实环境包括内容项和一个或多个附加内容项；以及使得混合现实环境经由一个或多个第二混合现实显示设备被呈现，以启用呈现者模式。
U.根据段落O-T所述的方法，其中，权限指示内容项已经被与之共享的多个设备。
V.根据段落O-U所述的方法，其中，权限指示可用于内容项的交互和被许可引起交互的多个设备。
W.一个或多个计算机可读介质，其编码有指令，指令当由处理器执行时将计算机配置为执行根据段落O-V中的任何所述的方法。
X.一种设备，包括一个或多个处理器和一个或多个计算机可读介质，一个或多个计算机可读介质编码有指令，指令当由一个或多个处理器执行时将计算机配置为执行根据段落O-V中的任何所述的计算机实现的方法。
Y.一种用于管理与混合现实显示设备相关联的多个内容项的权限的方法，方法包括：用于确定与混合现实显示设备中的第一混合现实显示设备相关联的认证信息的装置；用于从第一混合现实显示设备接收第一请求的装置，第一请求用于与混合现实显示设备中的一个或多个第二混合现实显示设备共享多个内容项中的内容项；用于访问与多个内容项相关联的内容数据的装置，内容数据指示以下中的至少一个：多个内容项中的个体内容项的标识、个体内容项中的每一个的拥有者、或与个体内容项中的每一个相关联的权限；用于至少部分地基于认证信息和内容数据来确定第一混合现实显示设备具有共享内容项的权限的装置；以及用于使得内容项的图形表示经由一个或多个第二混合现实显示设备被呈现的装置。
Z.根据段落Y所述的方法，还包括：用于从一个或多个第二混合现实显示设备中的第二混合现实显示设备接收第二请求的装置，第二请求与影响内容项的交互相关联；用于至少部分地基于内容数据来确定第二混合现实显示设备被许可经由交互与内容项交互的装置；以及用于将命令发送给第一混合现实显示设备和一个或多个第二混合现实显示设备中的其他混合现实显示设备以执行交互的装置。
AA.根据段落Y或Z所述的方法，还包括用于从请求设备接收帧请求的装置，请求设备包括第一混合现实显示设备或者一个或多个第二混合现实显示设备中的第二混合现实显示设备中的至少一个，帧请求包括与对应于请求设备的用户的每个眼睛相关联的姿态信息、时间戳、期望的分辨率、或期的望视场中的至少一个。
AB.根据段落AA所述的方法，还包括：用于确定对应于帧请求的帧消息的装置，帧消息包括以下中的至少一个：与用户的每个眼睛相关联的姿态信息、时间戳、所确定的分辨率、所确定的视场、或渲染距离；用于将帧消息发送给请求设备的装置；以及用于至少部分地基于帧消息来使得内容项的图形表示经由第一混合现实显示设备和一个或多个第二混合现实显示设备被呈现的装置。
AC.根据段落Y-AB所述的方法，还包括：用于将渲染数据或渲染的立体图像中的至少一个发送给第一混合现实显示设备和一个或多个第二混合现实显示设备的装置；以及用于至少部分地基于渲染数据或渲染的立体图像中的至少一个来使得内容项的图形表示经由第一混合现实显示设备和一个或多个第二混合现实显示设备被呈现的装置。
AD.根据段落Y-AC所述的方法，还包括：用于从第一混合现实显示设备接收第二请求的装置，第二请求用于将与第一混合现实显示设备相关联的混合现实环境共享给一个或多个第二混合现实显示设备，混合现实环境包括内容项和一个或多个附加内容项；以及用于使得混合现实环境经由一个或多个第二混合现实显示设备被呈现以启用呈现者模式的装置。
AE.根据段落Y-AD所述的方法，其中，权限指示内容项已经被与之共享的多个设备。
AF.根据段落Y-AE所述的方法，其中，权限指示可用于内容项的交互和被许可引起交互的多个设备。
结论
尽管已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应理解在所附权利要求中限定的主题不一定限于所描述的特定特征或动作。相反，特定特征和动作被描述为实现权利要求的说明性形式。
除非另行明确陈述，否则诸如“能够”、“能”、“可能”或“可以”等的条件性语言在上下文内被理解为呈现某些示例包括而其他示例不一定包括某些特征、元件和/或步骤，。因此，这样的条件性语言总体上不旨在暗示某些特征、元件和/或步骤以任何方式对一个或多个示例而言是必需的或者一个或多个示例一定包括用于在具有或没有输入或提示的情况下决定某些特征、元件和/或步骤是被包括在任何特定示例中还是要在任何特定示例中被执行的逻辑。除非另行明确陈述，否则诸如词语“X、Y或Z中的至少一个”的连接性语言要被理解为表示项、术语等可以是X、Y或Z、或其组合。

Claims (20)

1.一种用于混合现实的系统，包括：
混合现实显示设备；以及
通信地耦合到所述混合现实显示设备的设备，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个模块，被存储在所述存储器中并且由所述一个或多个处理器可执行，以执行操作，所述操作包括：
至少部分地基于与所述混合现实显示设备相关联的认证信息，确定所述混合现实显示设备的存在；
至少部分地基于以下项来确定用于所述混合现实显示设备的多个内容项的可见性：
访问与所述多个内容项相关联的内容数据，所述内容数据指示所述多个内容项中的个体内容项的标识、所述个体内容项中的每个个体内容项的拥有者和与所述个体内容项中的每个个体内容项相关联的权限；以及
至少部分地基于所述认证信息和所述内容数据，确定所述多个内容项中的内容项为以下项中的至少一项：由所述混合现实显示设备拥有或者已经与所述混合现实显示设备共享；以及
使得所述内容项的图形表示经由所述混合现实显示设备上的显示器被呈现。
2.根据权利要求1所述的系统，所述操作还包括：
将与所述内容项相关联的渲染数据发送给所述混合现实显示设备；以及
使得所述内容项的所述图形表示经由所述混合现实显示设备被渲染。
3.根据权利要求2所述的系统，所述操作还包括：在使得所述内容项的所述图形表示经由所述显示器被渲染之前，从所述混合现实显示设备接收帧请求，所述帧请求包括与关联于所述混合现实显示设备的用户的每个眼睛相关联的姿态信息、时间戳、期望的分辨率、或期望的视场中的至少一项。
4.根据权利要求3所述的系统，所述操作还包括：
确定对应于所述帧请求的帧消息，所述帧消息包括与所述用户的每个眼睛相关联的所述姿态信息、所述时间戳、所确定的分辨率、所确定的视场、或渲染距离中的至少一项；
将所述帧消息发送给所述混合现实显示设备；以及
至少部分地基于所述帧消息，使得所述内容项的所述图形表示经由所述显示器被渲染。
5.根据权利要求4所述的系统，其中所述帧消息还包括针对所述用户的每个眼睛的渲染的立体图像。
6.根据权利要求1所述的系统，其中所述权限指示所述内容项已经被与之共享的多个设备。
7.根据权利要求1所述的系统，其中所述权限指示可用于所述内容项的交互以及被许可引起所述交互的多个设备。
8.一种混合现实显示设备，包括：
一个或多个处理器；
存储器；以及
一个或多个模块，被存储在所述存储器中并且由所述一个或多个处理器可执行，以执行操作，所述操作包括：
确定与第二混合现实显示设备相关联的认证信息；
至少部分地基于以下来确定多个内容项中的内容项在与所述第二混合现实显示设备相关联的混合现实环境中可见：
访问与所述多个内容项相关联的内容数据，所述内容数据指示所述内容项的标识、所述内容项的拥有者和与所述内容项相关联的权限；以及
至少部分地基于所述认证信息和所述内容数据，确定所述内容项为以下中的至少一个：由所述第二混合现实显示设备拥有或者已经与所述第二混合现实显示设备共享；以及
使得所述内容项的图形表示经由所述第二混合现实显示设备上的显示器被渲染。
9.根据权利要求8所述的混合现实显示设备，所述操作还包括：
至少部分地基于所述内容数据，确定所述内容项由所述混合现实显示设备拥有；
确定所述内容项已经成为私有；以及
终止使得所述内容项的所述图形表示经由所述第二混合现实显示设备的所述显示器被渲染。
10.根据权利要求9所述的混合现实显示设备，所述操作还包括：
使得具有共享设置的图形表示的菜单经由所述混合现实显示设备被呈现，所述共享设置包括私有共享设置或公共共享设置；
确定对所述私有共享设置的选择；以及
至少部分地基于对所述私有共享设置的所述选择，确定所述内容项已经成为私有。
11.根据权利要求8所述的混合现实显示设备，所述操作还包括：
至少部分地基于所述内容数据，确定所述第二混合现实显示设备不是所述内容项的所述拥有者；
确定所述内容项不再与所述第二混合现实显示设备共享；以及
终止使得所述内容项的所述图形表示经由所述第二混合现实显示设备上的所述显示器被渲染。
12.根据权利要求11所述的混合现实显示设备，其中：
确定所述内容项可见还至少部分地基于与所述内容项相关联的共享设置；并且
所述操作还包括：
至少部分地基于所述内容数据，确定第三混合现实显示设备是所述内容项的所述拥有者；
从所述第三混合现实显示设备接收请求，以使所述内容项为私有；
至少部分地基于所述请求，改变所述共享设置；以及
至少部分地基于对所述共享设置的改变，确定所述内容项不再与所述第二混合现实显示设备共享。
13.根据权利要求8所述的混合现实显示设备，所述操作还包括：
确定与第三混合现实显示设备相关联的认证信息；
至少部分地基于所述内容数据和与所述第三混合现实显示设备相关联的所述认证信息，确定所述内容项不由所述第三混合现实显示设备拥有并且尚未与所述第三混合现实显示设备共享；以及
禁止所述内容项的所述图形表示经由所述第三混合现实显示设备上的显示器被渲染。
14.根据权利要求8所述的混合现实显示设备，所述操作还包括：
从所述内容项的所述拥有者接收用于与至少一个附加混合现实显示设备共享所述内容项的请求；
将渲染数据发送给所述至少一个附加混合现实显示设备；以及
使得所述内容项的所述图形表示经由所述至少一个附加混合现实显示设备上的显示器被渲染。
15.一种用于混合现实的方法，包括：
确定与第一混合现实显示设备相关联的认证信息；
从所述第一混合现实显示设备，接收用于与一个或多个第二混合现实显示设备共享多个内容项中的内容项的第一请求；
访问与所述多个内容项相关联的内容数据，所述内容数据指示以下中的至少一个：所述多个内容项中的个体内容项的标识、所述个体内容项中的每个个体内容项的拥有者、或与所述个体内容项中的每个个体内容项相关联的权限；
至少部分地基于所述认证信息和所述内容数据，确定所述第一混合现实显示设备具有共享所述内容项的权限；以及
使得所述内容项的图形表示经由所述一个或多个第二混合现实显示设备被呈现。
16.根据权利要求15所述的方法，还包括：
从所述一个或多个第二混合现实显示设备中的第二混合现实显示设备接收第二请求，所述第二请求与影响所述内容项的交互相关联；
至少部分地基于所述内容数据，确定所述第二混合现实显示设备被许可经由所述交互与所述内容项交互；以及
将命令发送给所述第一混合现实显示设备和所述一个或多个第二混合现实显示设备中的其他混合现实显示设备，以执行所述交互。
17.根据权利要求15所述的方法，还包括从请求设备接收帧请求，所述请求设备包括所述第一混合现实显示设备或者所述一个或多个第二混合现实显示设备中的第二混合现实显示设备中的至少一个，所述帧请求包括与对应于所述请求设备的用户的每个眼睛相关联的姿态信息、时间戳、期望的分辨率、或期望的视场中的至少一个。
18.根据权利要求17所述的方法，还包括：
确定对应于所述帧请求的帧消息，所述帧消息包括与所述用户的每个眼睛相关联的所述姿态信息、所述时间戳、所确定的分辨率、所确定的视场、或渲染距离中的至少一个；
将所述帧消息发送给所述请求设备；以及
至少部分地基于所述帧消息，使得所述内容项的所述图形表示经由所述第一混合现实显示设备和所述一个或多个第二混合现实显示设备被呈现。
19.根据权利要求15所述的方法，还包括：
将渲染数据或渲染的立体图像中的至少一个发送给所述第一混合现实显示设备和所述一个或多个第二混合现实显示设备；以及
至少部分地基于所述渲染数据或所述渲染的立体图像中的至少一个，使得所述内容项的所述图形表示经由所述第一混合现实显示设备和所述一个或多个第二混合现实显示设备被呈现。
20.根据权利要求15所述的方法，还包括：
从所述第一混合现实显示设备接收第二请求，所述第二请求用于将与所述第一混合现实显示设备相关联的混合现实环境共享给所述一个或多个第二混合现实显示设备，所述混合现实环境包括所述内容项和一个或多个附加内容项；以及
使得所述混合现实环境经由所述一个或多个第二混合现实显示设备被呈现，以启用呈现者模式。
CN201680046309.1A 2015-08-07 2016-07-21 混合现实社交交互 Active CN107852573B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562202614P 2015-08-07 2015-08-07
US62/202,614 2015-08-07
US15/171,964 US9818228B2 (en) 2015-08-07 2016-06-02 Mixed reality social interaction
US15/171,964 2016-06-02
PCT/US2016/043221 WO2017027183A1 (en) 2015-08-07 2016-07-21 Mixed reality social interaction

Publications (2)

Publication Number Publication Date
CN107852573A CN107852573A (zh) 2018-03-27
CN107852573B true CN107852573B (zh) 2021-01-01

Family

ID=56567685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680046309.1A Active CN107852573B (zh) 2015-08-07 2016-07-21 混合现实社交交互

Country Status (4)

Country Link
US (1) US9818228B2 (zh)
EP (1) EP3332565B1 (zh)
CN (1) CN107852573B (zh)
WO (1) WO2017027183A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
US10950020B2 (en) * 2017-05-06 2021-03-16 Integem, Inc. Real-time AR content management and intelligent data analysis system
KR102441328B1 (ko) * 2016-01-28 2022-09-08 삼성전자주식회사 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치
US10042604B2 (en) 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
US12106365B2 (en) 2016-09-15 2024-10-01 Circlesx Llc Web browser and operating system portal and search portal with price time priority queues
US11138827B2 (en) 2016-09-15 2021-10-05 Simpsx Technologies Llc Implementations of a computerized business transaction exchange for various users
US12039585B2 (en) 2017-04-10 2024-07-16 Circlesx Llc System and method for blood and saliva optimized food consumption and delivery
US10460520B2 (en) * 2017-01-13 2019-10-29 Simpsx Technologies Llc Computer ball device for mixed reality, virtual reality, or augmented reality
US12001999B2 (en) 2016-09-15 2024-06-04 Circlesx Llc Price based navigation
US11790382B2 (en) 2016-09-15 2023-10-17 Circlesx Llc Method to transmit geolocation exchange based markets
US11880883B2 (en) 2016-09-15 2024-01-23 Circlesx Llc Systems and methods for geolocation portfolio exchanges
US20190272589A1 (en) 2016-09-15 2019-09-05 Erik M. Simpson Securitization of transportation units
US11810023B2 (en) 2018-10-22 2023-11-07 Circlesx Llc System and method for a transportation or freight capacity exchange for one or more transportation or freight capacity units
US11823090B2 (en) 2016-09-15 2023-11-21 Circlesx Llc Transportation and freight and parking and tolling and curb capacity unit IPO method and system
US11907870B2 (en) 2018-01-23 2024-02-20 Circlesx Llc Market exchange for transportation capacity in transportation vehicles
US11861527B2 (en) 2018-11-07 2024-01-02 Circlesx Llc Financial swap payment structure method and system on transportation capacity unit assets
US10846612B2 (en) * 2016-11-01 2020-11-24 Google Llc Actionable suggestions for activities
US10282908B2 (en) * 2016-12-16 2019-05-07 Lenovo (Singapore) Pte. Ltd. Systems and methods for presenting indication(s) of whether virtual object presented at first device is also presented at second device
KR102616403B1 (ko) * 2016-12-27 2023-12-21 삼성전자주식회사 전자 장치 및 그의 메시지 전달 방법
US11294615B2 (en) * 2017-03-29 2022-04-05 Disney Enterprises, Inc. Incorporating external guests into a virtual reality environment
WO2018225149A1 (ja) * 2017-06-06 2018-12-13 マクセル株式会社 複合現実表示システム及び複合現実表示端末
GB2566946A (en) * 2017-09-27 2019-04-03 Nokia Technologies Oy Provision of virtual reality objects
WO2019067476A2 (en) * 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
WO2019090221A1 (en) 2017-11-03 2019-05-09 Marxent Labs, LLC Technologies for composing a virtual reality setting in a mobile computing environment
WO2019104309A1 (en) * 2017-11-27 2019-05-31 Marxent Labs, LLC Technologies for networked virtual content in a mobile computing environment
US10909747B2 (en) * 2018-03-28 2021-02-02 Facebook Technologies, Llc Systems and methods for providing immersive graphical interfaces
US10650118B2 (en) * 2018-05-04 2020-05-12 Microsoft Technology Licensing, Llc Authentication-based presentation of virtual content
US10719988B2 (en) * 2018-05-07 2020-07-21 Rovi Guides, Inc. Systems and methods for updating a non-augmented reality display with user interactions in an augmented reality display
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
US11095947B2 (en) * 2018-06-12 2021-08-17 Number 9, LLC System for sharing user-generated content
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
US11087539B2 (en) 2018-08-21 2021-08-10 Mastercard International Incorporated Systems and methods for generating augmented reality-based profiles
EP3617846A1 (en) * 2018-08-28 2020-03-04 Nokia Technologies Oy Control method and control apparatus for an altered reality application
US11157739B1 (en) 2018-08-31 2021-10-26 Apple Inc. Multi-user computer generated reality platform
JP7081052B2 (ja) * 2018-09-04 2022-06-06 アップル インコーポレイテッド 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示
US10678492B1 (en) 2018-11-27 2020-06-09 International Business Machines Corporation Co-located augmented reality sharing between augmented reality devices
US11080941B2 (en) * 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions
KR20210106546A (ko) 2018-12-24 2021-08-30 디티에스, 인코포레이티드 딥 러닝 이미지 분석을 사용한 룸 음향 시뮬레이션
US11151381B2 (en) * 2019-03-25 2021-10-19 Verizon Patent And Licensing Inc. Proximity-based content sharing as an augmentation for imagery captured by a camera of a device
US10996839B2 (en) 2019-05-20 2021-05-04 Microsoft Technology Licensing, Llc Providing consistent interaction models in communication sessions
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
CN111240471B (zh) * 2019-12-31 2023-02-03 维沃移动通信有限公司 信息交互方法及穿戴式设备
WO2022170223A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd User interactions in extended reality
WO2021236833A1 (en) * 2020-05-20 2021-11-25 Sony Group Corporation Creating, maintaining, and growing virtual music-themed world
US11886625B1 (en) * 2020-12-21 2024-01-30 Apple Inc. Method and device for spatially designating private content
US11539828B2 (en) 2020-12-29 2022-12-27 Microsoft Technology Licensing, Llc User interface process flow for posting content on a display device
US20220210133A1 (en) * 2020-12-29 2022-06-30 Microsoft Technology Licensing, Llc Interim connections for providing secure communication of content between devices
US11531730B2 (en) * 2020-12-29 2022-12-20 Microsoft Technology Licensing, Llc Manipulation of a persistent display of shared content
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230052381A1 (en) * 2021-08-11 2023-02-16 Disney Enterprises, Inc. Systems and methods to compilate an experience summary based on real-world experiences
US20230057203A1 (en) * 2021-08-23 2023-02-23 RalphVR Inc. Systems and methods for connecting users in an extended reality setting
US20230074261A1 (en) * 2021-09-09 2023-03-09 At&T Intellectual Property I, L.P. Privacy, permission, and user safety management virtual assistant for a communication session
US11734929B2 (en) * 2021-12-07 2023-08-22 Marxent Labs Llc Enhanced product visualization technology with web-based augmented reality user interface features
US20230316634A1 (en) * 2022-01-19 2023-10-05 Apple Inc. Methods for displaying and repositioning objects in an environment
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12113948B1 (en) 2023-06-04 2024-10-08 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5189463A (en) 1992-02-12 1993-02-23 David G. Capper Camera aiming mechanism and method
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7463142B2 (en) 2003-12-30 2008-12-09 Kimberly-Clark Worldwide, Inc. RFID system and method for tracking environmental data
US7626569B2 (en) 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US9269157B2 (en) 2005-03-01 2016-02-23 Eyesmatch Ltd Methods for extracting objects from digital images and for performing color change on the object
US8933889B2 (en) 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8231465B2 (en) 2008-02-21 2012-07-31 Palo Alto Research Center Incorporated Location-aware mixed-reality gaming platform
US8612363B2 (en) 2008-06-12 2013-12-17 Microsoft Corporation Avatar individualized by physical characteristic
JP2010029398A (ja) 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US9600067B2 (en) * 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100146395A1 (en) 2008-12-08 2010-06-10 Gustavo De Los Reyes Method and System for Exploiting Interactions Via A Virtual Environment
US20100253700A1 (en) 2009-04-02 2010-10-07 Philippe Bergeron Real-Time 3-D Interactions Between Real And Virtual Environments
US8520027B2 (en) 2010-05-14 2013-08-27 Intuitive Surgical Operations, Inc. Method and system of see-through console overlay
US20120069028A1 (en) 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
US8421823B2 (en) 2011-03-09 2013-04-16 Sony Corporation Overlaying camera-derived viewer emotion indication on video display
US9007473B1 (en) * 2011-03-30 2015-04-14 Rawles Llc Architecture for augmented reality environment
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US8963956B2 (en) 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
WO2013028813A1 (en) 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
KR101601805B1 (ko) 2011-11-14 2016-03-11 한국전자통신연구원 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법
US9063566B2 (en) 2011-11-30 2015-06-23 Microsoft Technology Licensing, Llc Shared collaboration using display device
US10013787B2 (en) 2011-12-12 2018-07-03 Faceshift Ag Method for facial animation
US20130155105A1 (en) 2011-12-19 2013-06-20 Nokia Corporation Method and apparatus for providing seamless interaction in mixed reality
WO2013119221A1 (en) 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US20140082520A1 (en) 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
US9128528B2 (en) 2012-06-22 2015-09-08 Cisco Technology, Inc. Image-based real-time gesture recognition
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
KR101546654B1 (ko) 2012-06-26 2015-08-25 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US20140002492A1 (en) 2012-06-29 2014-01-02 Mathew J. Lamb Propagation of real world properties into augmented reality images
US20140019867A1 (en) * 2012-07-12 2014-01-16 Nokia Corporation Method and apparatus for sharing and recommending content
KR20140010616A (ko) 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9325571B2 (en) 2013-05-28 2016-04-26 Dropbox, Inc. Access permissions for shared content
US9685003B2 (en) 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
WO2015081334A1 (en) 2013-12-01 2015-06-04 Athey James Leighton Systems and methods for providing a virtual menu
US9754097B2 (en) * 2014-02-21 2017-09-05 Liveensure, Inc. Method for peer to peer mobile context authentication
CN103941861B (zh) 2014-04-02 2017-02-08 北京理工大学 一种应用混合现实技术的多人合作训练系统
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US20170039986A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed Reality Social Interactions

Also Published As

Publication number Publication date
EP3332565A1 (en) 2018-06-13
WO2017027183A1 (en) 2017-02-16
CN107852573A (zh) 2018-03-27
EP3332565B1 (en) 2019-12-18
US20170039770A1 (en) 2017-02-09
US9818228B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
CN107852573B (zh) 混合现实社交交互
US10192363B2 (en) Math operations in mixed or virtual reality
KR102494795B1 (ko) 상이한 비디오 데이터 스트림들 내의 상이한 유리한 지점들로부터 표현된 가상 오브젝트 및 실세계 오브젝트에 기초하여 병합된 현실 장면을 생성하기 위한 방법들 및 시스템들
US10567449B2 (en) Apparatuses, methods and systems for sharing virtual elements
US20200233681A1 (en) Computer-generated reality platform
JP6967043B2 (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
CN105981076B (zh) 合成增强现实环境的构造
US9829996B2 (en) Operations in a three dimensional display system
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US20130141419A1 (en) Augmented reality with realistic occlusion
US20110306413A1 (en) Entertainment device and entertainment methods
US20160140761A1 (en) Using depth information for drawing in augmented reality scenes
WO2018000609A1 (zh) 一种虚拟现实系统中分享3d影像的方法和电子设备
CN110832442A (zh) 注视点渲染系统中的优化的阴影和自适应网状蒙皮
US11709370B2 (en) Presentation of an enriched view of a physical setting
US11589027B2 (en) Methods, systems, and media for generating and rendering immersive video content
WO2018227102A1 (en) Optimized deferred lighting and foveal adaptation of particles and simulation models in a foveated rendering system
CN114514493A (zh) 增强设备
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
US20240281805A1 (en) Trusted Service for Storage and Distribution of Personalized Assets for Use with 3rd Party Applications
US11315329B1 (en) Scene reconstruction from sparse data
Ali et al. 3D VIEW: Designing of a Deception from Distorted View-dependent Images and Explaining interaction with virtual World.
CN117999115A (zh) 为多用户通信会话对准扫描环境

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant