CN113994385A - 虚拟、增强和扩展现实系统 - Google Patents

虚拟、增强和扩展现实系统 Download PDF

Info

Publication number
CN113994385A
CN113994385A CN202080045461.4A CN202080045461A CN113994385A CN 113994385 A CN113994385 A CN 113994385A CN 202080045461 A CN202080045461 A CN 202080045461A CN 113994385 A CN113994385 A CN 113994385A
Authority
CN
China
Prior art keywords
participant
reality
leader
session
participants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045461.4A
Other languages
English (en)
Inventor
纳尔逊·托尔·布里克曼
拉斐尔·弗赖沃思
马克·克劳德·刘易森
米歇尔·蒋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kemengsi Extended Reality Co ltd
Original Assignee
Kemengsi Extended Reality Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kemengsi Extended Reality Co ltd filed Critical Kemengsi Extended Reality Co ltd
Publication of CN113994385A publication Critical patent/CN113994385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/73Authorising game programs or game devices, e.g. checking authenticity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Abstract

公开了用于多领域、计算机生成的现实系统的系统、方法和装置。一种用于管理多领域、计算机生成的现实的方法包括确定第一参与者的每个活动与会话期间与受管现实系统的遍历相关联的多个活动中的每一个的对应基线活动之间的一个或更多个差异,并且量化该一个或更多个差异以获得表现度量。该方法包括组合第一参与者的每个活动的至少一个表现度量,以获得第一参与者的会话表现测量值。

Description

虚拟、增强和扩展现实系统
优先权
本申请要求2020年4月21日向美国专利局提交的第16/854,743号美国专利申请的优先权和权益,该申请要求2019年4月22日向美国专利局提交的第62/837,141号美国临时专利申请、2019年6月26日向美国专利局提交的第62/867,224号美国临时专利申请、2019年9月20日向美国专利局提交的序列号为62/903,710的美国临时专利申请、2020年3月6日向美国专利局提交的序列号为62/986,621的美国临时专利申请的优先权和权益,这些申请的全部内容通过引用并入本文,如同在下文中完全阐述其全部内容并用于所有适用目的。
技术领域
本发明总体涉及虚拟现实、增强现实和交叉现实系统,更具体地说,涉及为多个虚拟现实、增强现实和交叉现实系统提供通用入口的系统。
背景
虚拟现实(VR)、增强现实(AR)和交叉现实或扩展现实(XR)系统被部署来提供特定的服务,包括游戏和控制系统。VR提供了一种计算机仿真的现实,在其中,参与者可以沉浸在游戏环境、用于训练和一些其他新兴用途的仿真中。AR提供了计算机生成的信息,这些信息可以叠加在参与者物理环境的直接或捕获视图上。AR可以向用户提供情境相关的信息和/或支持在物理世界中实现的游戏。XR可用于描述采用VR和AR相结合的应用,包括在人机交互系统中,该系统涉及通过提供触觉、听觉和视觉反馈的传感器组合实现的闭环控制。
已经使用专有的和/或基于标准的协议来实现传统的VR、AR和XR系统,这些协议提供了具有有限互操作性的有限结构。用于提供输入和/或输出(I/O)的设备在设计时也没有特别强调互操作性。例如,为第一游戏环境设计的VR头戴式装置可能不能直接用于第二游戏环境。多个传统VR和AR系统的用户通常必须建立简档并且在每个VR和AR系统中存在,以参与涉及计算机仿真现实的活动。传统VR和AR系统中使用的外围设备的配置和操作也可能很复杂,且很难在多个VR和AR系统之间使用外围设备。
需要提高互操作性和降低配置复杂性,以使VR、AR和XR系统充分实现其全部潜力。
概述
本文公开的某些方面涉及用于虚拟和增强现实系统的改进方法和系统。
在本公开的一个方面,一种用于管理多领域、计算机生成的现实的方法包括:接收由参与者在受管现实系统上进行的会话中佩戴的设备中的一个或更多个传感器生成的信息,其中由一个或更多个传感器生成的信息指示参与者的焦点或视点;基于由一个或更多个传感器生成的信息提供参与者的焦点测量值,每个焦点测量值表征参与者在参与和会话相关联的多个活动时聚焦在会话的领导者上的或会话的领导者所指示的一个或更多个对象上的持续时间;计算参与者的焦点测量值和会话的对应基线焦点测量值之间的差异;并通过量化该差异,生成参与者的会话表现度量。
在一些示例中,该方法包括:在管理或控制多领域、计算机生成的现实的控制器处认证现实情境的用户;使用一个或更多个物理通信信道配置现实情境和多领域、计算机生成的现实之间的逻辑连接;以及通过逻辑连接,建立用户作为多领域、计算机生成的现实中的参与者的存在,同时保持用户在现实情境中的存在。
在本公开的一个方面,一种用于管理多领域、计算机生成的现实的方法包括确定在会话期间在第一参与者的每个活动和与受管现实系统的遍历相关联的多个活动中的每一个的对应基线活动之间的一个或更多个差异,并且量化该一个或更多个差异以获得表现度量。该方法包括组合第一参与者的每个活动的至少一个表现度量,以获得第一参与者的会话表现测量值。在某些情况下,表现度量可用于未来的持久性和保留预测。
在一个方面,基线活动与会话的领导者有关。基线活动可以从先前会话的集合中获得。一个或更多个差异可以包括第一参与者的化身与会话领导者的化身的位置的差别。一个或更多个差异可以包括第一参与者的化身到达某个位置的时间和会话的领导者的化身到达该位置的对应时间的差别。一个或更多个差异可以包括第一参与者的化身离开一个位置的时间和会话的领导者的化身离开该位置的对应时间的差别。一个或更多个差异可以包括第一参与者的化身在一位置的停留时间与会话领导者的化身在该位置的相应停留时间的差别。
在一个方面,该方法包括基于从由第一参与者在参与会话时操作的设备管理的一个或更多个传感器接收的输入来确定第一参与者的关注度参数,并且当获得第一参与者的会话表现测量值时,将关注度参数与第一参与者的每个活动的至少一个表现度量相结合。一个或更多个传感器可以包括运动传感器。一个或更多个传感器可以包括位置传感器。一个或更多个传感器可以包括音频传感器。
在一个方面,确定关注度参数包括监控第一参与者的聊天活动。确定关注度参数可以包括监控第一参与者对系统信息的访问。
计算机生成的现实可能包括仿真。计算机生成的现实可以实现体验式教学现实。
附图简述
图1示出根据本文公开的某些方面的系统的示例,该系统能够实现计算机生成或计算机辅助现实的多个实例之间的共存和协作。
图2示出根据本文公开的某些方面的参与者简档和配置信息的示例。
图3是根据本文公开的某些方面的示出参与者访问图1的系统以及与配置相关的某些方面的状态图。
图4示出根据本公开的某些方面配置的唯一用户ID。
图5示出根据本文公开的某些方面的允许参与者参与一个或更多个VR、AR和/或XR现实的环境。
图6示出集成的VR、AR和/或XR系统的架构,其可以根据本文公开的某些方面进行调整。
图7示出可根据本文公开的某些方面提供的受管系统架构的示例。
图8示出由根据本文公开的某些方面实现的公共XR管理器在两个参与者之间构建的关系的示例。
图9示出包括根据本文公开的某些方面提供的公共XR管理器的逻辑系统架构的示例。
图10示出描述性结构的第一示例,该描述性结构可用于管理根据本文公开的某些方面实现的虚拟、增强和扩展现实系统。
图11示出描述性结构的第二示例,该描述性结构可用于管理根据本文公开的某些方面实现的虚拟、增强和扩展现实系统。
图12是示出与多设备VR、AR和/或XR系统相关的操作的某些方面的消息流程图。
图13是可根据本文公开的某些方面实现的系统的逻辑表示。
图14是可根据本文公开的某些方面操作的系统的功能表示。
图15是根据本文公开的某些方面的VR/AR/XR会话配置流程的逻辑表示。
图16是示出根据本文公开的某些方面由领导者进行的VR/AR/XR会话的示例的流程图。
图17是示出根据本文公开的某些方面进行的VR/AR/XR会话的参与者视角的流程图。
图18示出受管VR/AR/XR系统,根据本文公开的某些方面,可以从该系统收集、聚集和分析表现数据。
图19示出根据本文公开的某些方面的涉及图18的第一现实情境的遍历的空间方面的第一参与示例。
图20示出根据本文公开的某些方面的涉及图18的第一现实情境的遍历的空间方面的第二参与示例。
图21示出根据本文公开的某些方面的涉及遍历受管VR/AR/XR系统的一部分的时间方面的参与示例。
图22示出根据本公开的某些方面可以为多参与者环境中的会话生成的参与报告的示例。
图23示出根据本公开的某些方面呈现的参与信息的图形表示的一个示例。
图24示出根据本文公开的某些方面的某些其他参数,这些参数可以有助于对受管VR/AR/XR系统内的表现进行评估。
图25示出与可能有助于受管VR/AR/XR系统内的表现评估的参数相关的数据流的示例。
图26示出根据本文公开的某些方面提供的体验式教学场景的示例。
图27示出在VR时间线、现实情境和/或现实类型内提供给讲解员、讲师、向导、陪同或其他领导者的场景的示例。
图28示出在VR时间线、现实情境和/或现实类型内提供给参与者的场景的示例。
图29示出根据本公开的某些方面的包括多个虚拟现实情境或与多个虚拟现实情境交互的场景。
图30示出根据本文公开的某些方面的用于从教学课程材料创建现实情境的过程。
图31示出用于将教学材料转换成根据本文公开的某些方面构建的一个或更多个现实情境的系统的示例。
图32示出根据本文公开的某些方面提供的可视化工具。
图33示出采用可根据本文公开的某些方面进行适配的处理电路的装置的一个示例。
图34是示出根据本文公开的某些方面的用于建立多领域、计算机生成的现实的方法的流程图。
图35是示出根据本文公开的某些方面的用于管理多领域、计算机生成的现实的方法的第一示例的流程图。
图36是示出根据本文公开的某些方面的用于操作多领域、计算机生成的现实的方法的流程图。
图37是示出根据本文公开的某些方面的用于管理多领域、计算机生成的现实的方法的第二示例的流程图。
图38是示出根据本公开的某些方面的用于创建虚拟现实系统的方法的流程图3800。
详细描述
以下结合附图所阐述的详细描述旨在作为各种配置的描述,而不旨在表示在其中可以实践本文描述的概念的唯一配置。详细描述包括具体细节,以便提供对各种概念的透彻理解。然而,对于本领域技术人员来说,显然这些概念可以在没有这些具体细节的情况下实施。在一些实例中,以框图形式示出公知的结构和组件,以便避免模糊这些概念。
现在将参考各种装置和方法来呈现VR、AR和XR系统的几个方面。这些装置和方法将在下面的详细描述中描述,并在附图中通过各种块、模块、组件、电路、步骤、过程、算法等(统称为“元素”)示出。这些元素可以使用电子硬件、计算机软件或其任意组合来实现。这类元素被实施为硬件还是软件取决于施加在整个系统的特定应用和设计约束条件。另外,术语“头戴式装置(headset)”将作为提供VR和/或AR功能的任何类型的头戴式装置、头戴式设备(HMD)、护目镜或眼镜的同义词使用,无论是独立的还是在一起的。
举例来说,元素或元素的任何部分或元素的任何组合可以用包括一个或更多个处理器的“处理系统”来实现。处理器的示例包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、选通逻辑、分立硬件电路以及被配置为执行贯穿本公开描述的各种功能的其他合适的硬件。处理系统中的一个或更多个处理器可以执行软件。软件应广义地理解为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行程序、执行线程、过程、函数等,无论是指软件、固件、中间件、微码、硬件描述语言还是其他。软件可以驻留在处理器可读的存储介质上。在本文中也可以称为计算机可读介质的处理器可读存储介质可以包括,例如,磁存储设备(例如,硬盘、软盘、磁条)、光盘(例如,压缩盘(CD)、数字多功能盘(DVD))、智能卡、闪存设备(例如,卡、棒、密钥驱动器)、近场通信(NFC)令牌、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器、移动盘、载波、传输线以及用于存储并传输软件的任何其他合适的介质。计算机可读介质可以驻留在处理系统中,在处理系统外部,或者分布在包括处理系统的多个实体中。计算机可读介质可以体现在计算机程序产品中。举例来说,计算机程序产品可以包括包装材料中的计算机可读介质。本领域的技术人员将认识到如何根据特定的应用和施加在整个系统上的总体设计约束来最好地实现贯穿本公开呈现的所描述的功能。
综述
本公开的某些方面涉及适用于VR、AR和XR环境的系统、装置和方法。互连多个计算机生成的现实的控制器可以认证耦合到控制器的第一设备和第二设备的参与者,从第一设备接收包括参与多领域应用的请求的消息,配置在控制器和第二设备之间的第一通信路径,配置在第一设备和第二设备之间的第二通信路径,以及通过第一通信路径发送与多领域应用相关的至少一个消息。
通信路径提供了一种方法,该方法用于在多领域、计算机生成的现实中提供确定会话期间第一参与者的每个活动与和受管现实系统的遍历相关联的多个活动中的每一个的对应基线活动之间的一个或更多个差异并且量化一个或更多个差异以获得表现度量的能力。
VR、AR和XR系统的多个方面
根据本文公开的某些方面,可以使用能够在某种程度上彼此通信的处理设备和系统的组合来提供VR、AR和XR系统。VR、AR和XR系统通常是根据一个或更多个专有标准和协议开发和运行的。在一个示例中,VR游戏可以由第一提供商根据一组编程接口和/或协议来开发,该组编程接口和/或协议定义了可以与由其他提供商部署的产品和服务互操作的系统和软件的结构。本文公开的某些方面提供或实现了一种平台,该平台可以提供在不同的VR、AR和XR系统和体验之间的互操作性,而不管用于开发和部署不同的VR、AR和XR系统和体验的系统和软件的性质如何。
图1示出系统100的架构的示例,其可以支持或实现访问多个VR、AR和/或XR系统和/或计算机生成或计算机辅助现实(体验)的多个实例的多个参与者之间的共存和协作。系统100可以构建在一个或更多个处理系统和/或处理电路102上。在一个示例中,系统100可以实现用于仿真复杂机器的封闭环境,其中使用一个或更多个处理电路来生成虚拟环境,该一个或更多个处理电路在统一控制下操作并与管理反馈传感器、换能器和其他机电仿真设备的处理系统交互。在另一个示例中,系统100可以实现多参与者在线教育环境,其中每个参与者或一小组参与者通过控制台(诸如游戏控制台)、个人计算机、移动电话或其他通信设备来参与。在另一个示例中,系统100可以实现多人在线角色扮演游戏,其中每个玩家或一小组玩家通过游戏控制台、个人计算机、移动电话或其他通信设备来参与。
在所示的示例中,系统100可以包括公共通信基础设施104,该公共通信基础设施104将处理系统和/或处理电路102的组件互连,并且提供VR、AR和XR实例之间的通信信道,这些实例在本文中可以被称为现实情境106。公共通信基础设施104包括被配置为实现通信协议的电子电路和软件的某种组合。公共通信基础设施104可以分布在不同的物理设备中。在不同设备中独立实现的公共通信基础设施104可以通过一种或更多种网络技术进行协作。
公共通信基础设施104可以提供在输入/输出设备108之间和/或在各个现实情境106和某些输入/输出设备108之间承载控件和数据的传输机制。可以使用任何可用和/或合适的网络接口和相关联的网络协议来实现通信信道。输入/输出设备108可以包括键盘、鼠标、操纵杆、位置传感器、麦克风、摄像头、运动检测器以及音频回放设备、显示器和其他视频输出(包括显示系统、智能眼镜和游戏头戴式装置)。
提供适配子系统110以将每个现实情境106和输入/输出设备108与公共通信基础设施104接合,并且通过公共通信基础设施104与其他现实情境106和/或其他输入/输出设备108接合。在所示的示例中,第一组现实情境112(C1到C1X-1)可以根据第一组编程接口和/或协议来开发,并且第一适配器114可以被实现为将第一组现实情境112的输入、输出、定义、描述符和行为转换成一组通用的输入、输出、定义、描述符和行为。现实情境106的其他组可以根据其他组的编程接口和/或协议来开发,并且其他适配器116、118可以被实现为将输入、输出、定义、描述符和行为转换为这组通用的输入、输出、定义、描述符和行为。
可以为每种类型的输入/输出设备108或输入/输出设备108的组122提供适配器124、126、128。适配器124、126、128可以被配置成将输入/输出设备108的设备特定分辨率、能力、灵敏度、定义转换成一组通用的分辨率、能力、灵敏度、定义。系统100可以维护参与者特定的配置信息120,其可以在参与者已经被系统认证之后被访问。配置信息120可以包括参与者简档信息、订阅、信用、元数据、化身、许可证和/或影响参与者在不同现实情境106中的存在、外观、个性和/或形象的其他参数。
图2示出与参与者简档和配置信息200的示例相关的某些方面,参与者简档和配置信息200可以对应于图1所示的配置信息120。参与者简档和配置信息200可以通过认证功能202来访问,认证功能202可以使用或包括任何数量的硬件和软件安全特征,这些硬件和软件安全特征可以被操作来限制授权的参与者对系统100的访问。安全特征的范围可以是从生物识别信息到密码控制。当被认证时,参与者可以访问存在管理实用程序204,存在管理实用程序204允许参与者访问或修改特征和/或进入一个或更多个现实情境106。这些特征可以包括订阅206,订阅206标识参与者可用的现实情境106,并且定义每个可访问的现实情境106中的权利、利益、状态和参与级别。订阅可以定义参与者在对应的现实情境106中的权利、利益、状态和参与级别。这些特征可以包括关系208,关系208标识某些其他参与者以及相关联的参与者和该参与者之间的关联的性质。
这些特征可以包括存在信息210。存在信息可以包括定义技能级别、系统的输入/输出能力、化身、历史表现和其他信息的参数。这些特征可以包括描述参与者可获取以访问一个或更多个VR、AR和/或XR系统的一个或更多个系统环境的信息212、214。这些特征可以包括信用管理信息,该信用管理信息定义了获取或累积的利益和/或支付方法,其使用在在一个或更多个现实情境106中扩展或维持参与者存在,以及可能与参与者简档和配置信息200的任何所描述特征相关的许可信用或费用。某些特征可以根据涉及参与者或与参与者相关联的不同组环境来堆叠,并且其可以包括与某些输入/输出设备108相交的重叠或分离的现实情境106,输入/输出设备108可以包括与参与者相关联的传感器输入设备。
这些特征可以包括消息218。消息218可以定义不同级别的通信。例如,参与者可以定义用于与其他参与者通信的音频、文本和游戏内通信的限制。在另一个示例中,参与者可以配置允许个人计算设备与公共通信基础设施104中的其他处理器连接的网络参数。
图3是示出用户进入系统100以及与配置相关的某些方面的状态图300。状态图是作为示例提供的,显示了某些(但不是所有可能的)状态和转换。用户可以具有由用户简档表示的存在。最初,用户简档处于空闲状态302,并且通常保持在空闲状态302,直到用户试图进入系统100。用户简档可以进入认证状态304,其中用户被询问以证明身份。如果用户未能提供足以证明身份的认证信息,则用户简档可以返回到空闲状态302。如果用户提供足以证明身份的认证信息,则用户可以变成参与者,并且用户简档可以进入活动状态320或配置状态306。术语“参与者”可以应用于已经被认证并被授权访问TCXR系统的用户。在一些情况下,参与者可以在活动状态320和配置状态306之间进行选择。参与者可以根据需要或期望在活动状态320和配置状态306之间移动。
在一些实现中,参与者可以从配置状态306开始导航,以便配置关系308、存在310或订阅312。在用户简档返回到最高级别的配置状态306之前,可以在状态314捕获并传播对用户配置的更新。用户简档可以被传播给与参与者具有关联或从属关系的相关参与者和/或一个或更多个现实情境106或现实情境106的管理器。在一些情况下,可以从配置状态306配置或访问信用简档316。在一个示例中,可以与订阅312的配置相关联地访问信用简档316。
在一些实现中,活动状态320可被用于进入一个或更多个现实3241-324N,以便参与由一个或更多个现实提供的服务或事件,并且参与者可以从一个或更多个现实3261-326N退出。在一些实现中,参与者可以同时参与多个现实。在进入或退出一个或更多个现实和/或处于参与状态328时,可以从活动状态320更新和/或读取用户简档。在一些情况下,参与者可以访问和更新订阅312和/或信用简档316。
参考图4,在认证时,并且在参与者被允许参与现实情境之前,多个唯一用户标识(UUID)418可以从可用类型的UUID 400中被选择和/或组合,以识别、授权和/或使被认证的用户能够访问和使用TCXR系统的特征。UUID 400的类型包括但不限于参与者UUID 402(“P-UUID”)、机构UUID406(“I-UUID”)、领导UUID 404(“L-UUID”)(包括针对讲解员、指导者、向导、陪同人员、激励者和其他领导者的UUID)、与班级、教学和/或课程相关的组UUID 410(“G-UUID”)、现实情境UUID 408(“R-UUID”)、监护人UUID 412(“X-UUID”)、TA UUID 414(“T-UUID”)以及观察者UUID 416(“O-UUID”)。一个或更多个UUID 400可以以多种方式分组和匹配,用于授权参与者进入一个或更多个现实情境。它还允许各方能够通过现实情境来监控或帮助领导。在图4中的UUID的部分列表420中提供了其他示例UUID。该列表包括:可在现实情境中用于识别或说明对象或概念的UUID 420(对象UUID 422或“Oo-UUID”;演示UUID424或“Op-UUID”;剧院UUID 426或“Ot-UUID”;位置UUID 428或“Ol-UUID”)也可能有授权考虑,这取决于参与者。未在列表中显示但在本文中公开的某些其他类型的UUID包括CL-UUID、CT-UUID、CM-UUID等,其可能包括可在现实情境中使用以更好地详细说明对象的TCXR特征的UUID。
图5示出根据本文公开的某些方面的允许参与者参与一个或更多个VR、AR和/或XR现实的参与者环境500。图示的参与者环境500只是一个示例,并且根据本文公开的某些方面,外围设备、系统和服务的其他组合可以被组合以提供VR、AR和/或XR体验。参与者可以通过视频、音频和触觉输入和输出与VR、AR和/或XR现实进行交互。
触觉输入和输出可以在可穿戴设备502中提供,并且可以包括传感器和/或换能器,其可以检测或感应运动、压力、温度、冲击、方向、形状或其他可感知的参数。可穿戴设备502可以包括手套、头盔、头戴式装置和/或参与者可以穿戴或携带的其他物品。在所示的示例中,触觉输入和输出可以耦合到与参与者相关联的本地控制器512。
可以使用与参与者相关联的显示器和摄像头来提供视频输入和输出。在一些情况下,参与者佩戴的头戴式装置504可以显示图像,并且可以包括可用于捕获静止和/或视频图像的一个或更多个摄像头506。视频输入和输出也可以使用存在于参与者访问或占用的位置的显示器和摄像头来提供,并且这种位置上的视频设备可以独立地耦合到集中式系统或与参与者相关联的本地控制器512。
可以使用扬声器510和麦克风508来提供音频输入和输出,扬声器510和麦克风508可以合并到头戴式装置504中。音频输入和输出也可以使用存在于参与者访问或占用的位置的扬声器和麦克风来提供,并且这种位置上的音频设备可以独立地耦合到集中式系统或与参与者相关联的本地控制器512。
参与者还可以使用键盘514、鼠标和/或其他输入设备来与一个或更多个VR、AR和/或XR现实交互。这种输入设备可以耦合到本地控制器512或由参与者操作的另一个设备。
参与者还可以与通过一个或更多个VR、AR和/或XR现实可控制的机电设备516交互。机电设备516可以包括飞行模拟器、游戏设备和与游戏相关联的道具。这种机电设备516可以耦合到本地控制器512或由参与者操作的另一个设备。
互操作性
本文公开的某些方面提供了一种平台,该平台可以支持和/或互连多种类型的VR、AR和/或XR现实。该平台能够在不同的活动VR、AR和/或XR系统之间共存和协作,并且可以允许参与者同时参与计算机生成或计算机辅助的现实或体验的多个实例。在一个示例中,参与者可以通过图5所示的参与者环境500与一个或更多个VR、AR和/或XR现实同时交互。
该平台可以将从参与者环境500接收的输入转换成一组公共描述符和函数,这些描述符和函数可以将物理设备映射到模型装置或设备和/或传感器的组合、输入源或由VR、AR和/或XR系统生成的其他信息汇。该平台可以从被编码为表示模型转换器或参与者环境500中的目的地的一组公共描述符的信息中提供用于传输到参与者环境500的信息输出。在各种示例中,平台提供服务520,服务520可以包括转换器或机器学习特征,其使得参与者环境500的输入和输出能够与机器控制器、不同类型的触觉信息转换器以及不同格式的视频、音频、图像和/或对象的三维(3D)表示相协调和交互。
在参与者环境500中可以使用不同类型的头戴式装置。例如,从侧视图描绘的头戴式装置522包括可用于AR和运动检测能力的前向摄像头524。服务520可用于解释通过前向摄像头524看到的图像和/或运动。内部的、面向内的摄像头528可被用于提供眼睛跟踪能力或者用于使用生物特征标记(例如,虹膜扫描标记)的个人识别。头戴式装置522可以具有前向摄像头524和内部的、向内摄像头528,以便于这两种服务。在一些情况下,头戴式装置522可以包括单个前向摄像头524和单个向内摄像头526。其他类型的头戴式装置可以包括用于充电的带子、用于附接有线控制器或无线控制器532的连接器。头戴式装置522还可以合并IoT传感器530和/或功能特定传感器,用于检测运动、参与者是否佩戴头戴式装置522或音频输入。例如,可以包括麦克风,以便使用语音识别来帮助识别参与者。
根据本文公开的某些方面,多个参与者环境500可以与不同的专有VR、AR和/或XR系统以及VR、AR和/或XR相关信息的公共源集成。图6示出了架构600,架构600表示集成的VR、AR和/或XR系统的一个示例的一个实现。架构600用具有多个功能层616和多个参与者情境614的三维表示。参与者情境614可以指所有对象、权利、权限、偏好和元数据的集合,其可以被参与者在一个或更多个现实情境中使用,以实例化参与者的存在,向参与者提供正确的权限,将参与者链接到其他现实情境,并且在参与者情境重叠的当前现实情境中呈现到其他参与者的链接。每个参与者情境614可以使用图1所示的系统100来实现。每个参与者情境614被表示为架构600的切片(slice),从而使得架构600的第三维由系统100的多个实例组成,其中每个系统100可以使用硬件、软件和外围设备的不同组合来实现。在许多情况下,可以更好地以多于三维的方式来表示架构600,以揭示在三维中不能充分表示的某些关系。
在某些实现中,参与者情境614在任何时候都可以合并一个或更多个现实情境106的至少一部分,并且可以通过与一个或更多个参与者情境614相关联来修改现实情境106。参与者情境614也可以被认为是用于个体参与者或包括该个体参与者的一组参与者的现实情境的实例。在一个示例中,当参与者进入相关联的VR、AR和/或XR空间时,可以修改现实情境106。参与者可以进入具有特定对象、图像、音频和/或视频反馈的VR、AR和/或XR空间。在另一个示例中,现实情境106可以被修改以吸收信息,其中当与进入VR、AR和/或XR空间的参与者相关联的一个或更多个传感器在现实情境106内变得可访问时,该信息变得可获取。修改后的现实情境也可以是进入的参与者或一组进入的参与者的现实情境的实例。
处理层602可以包括支持个体参与者情境614或部分参与者情境614的各种处理电路、系统和操作软件。例如,参与者情境614可以由游戏控制台或个人计算机支持。单个参与者情境614可以由多个处理电路支持,多个处理电路包括作为服务器、转换系统等操作的远程处理电路。处理层602中的一些处理电路和系统可以支持多个参与者情境614或多个参与者情境614的多个部分。
公共通信层604可以包括使得个体参与者情境614能够彼此通信的设备、电路、通信网络和接口。在一个示例中,公共通信层604可以实现、包括或耦合到无线局域网、广域网和/或一个或更多个蜂窝网络。接口层606包括电路和/或模块,其可以在个体VR、AR和/或XR系统和组件之间转换成公共现实情境中的相应的VR、AR和/或XR系统和组件。在一些实现中,公共现实情境被实现为虚拟现实操作系统(VROS)。在一些示例中,VROS使VR系统能够与XR系统无缝通信,包括当VR和XR系统使用用于表示对象的动作、从感觉I/O 612接收的感觉信息、视频、音频、图像和/或3D表示的不同的技术和模型时。
每个参与者情境614可以基于参与者订阅来支持一个或更多个现实情境608。当活动时,现实情境608可以驻留在参与者环境中。在一些情况下,当参与者没有活动地参与空闲现实情境时,空闲现实情境可以驻留,从而使得空闲现实情境可以向参与者和/或活动现实情境产生警报、消息和其他信息。订阅、现实情境活动、化身和其他配置和系统管理信息可被维护为可通过认证功能610访问的参与者简档620。认证功能610可以识别参与者,并提供对认证的参与者可用的对应参与者情境614的访问。在一些情况下,可向认证的参与者提供对多于一个参与者情境614的访问。在一些示例中,参与者可以与另一个参与者建立关系,其定义了对另一个参与者情境614的受限访问。
图7示出可根据本文公开的某些方面提供的受管系统架构700的示例。架构700支持可以使用图1所示的系统100来实现的多个参与者情境714,其中每个参与者情境714被表示为受管系统架构700的第三维中的切片。处理层702可以包括支持个体参与者情境714的各种处理电路、系统和操作软件。例如,参与者情境714可以由游戏控制台或个人计算机支持。单个参与者情境714可以由多个处理电路支持,多个处理电路包括作为服务器、转换系统等操作的远程处理电路。处理层702中的一些处理电路和系统可以支持多个参与者情境714。公共通信层704可以包括设备、电路、通信网络和接口,其使得受管系统架构700的组件能够彼此通信。接口层706包括电路和/或模块,其可以在个体VR、AR和/或XR系统和组件之间转换成对应的VROS系统和组件。每个参与者情境714可以基于参与者订阅来支持一个或更多个现实情境708,包括某些现实情境在活动时可以驻留在参与者情境714中。
订阅、现实情境活动、化身和其他配置和系统管理信息可被维护为可通过认证功能710访问的参与者简档720。认证功能710可以识别参与者,并提供对认证的参与者可用的对应的参与者情境714的访问。在一些情况下,可向认证的参与者提供对多于一个参与者情境714的访问。在一些示例中,参与者可以与另一个参与者建立关系,其定义了对另一个参与者情境714的受限访问。
多个现实情境708中基于关系的访问和参与可以由公共管理和/或控制层来管理,该层在本文中可以被称为公共XR管理器716。在一个示例中,参与者可以向公共XR管理器716注册多个现实情境708。在另一个示例中,两个或更多参与者可以注册和/或配置与公共XR管理器716的关系,从而使得公共XR管理器716可以控制一个或更多个现实情境708的访问和参与,该一个或更多个现实情境708对与对应或相关参与者相关联的参与者情境714是可用的。可以通过公共XR管理器716来支持、管理和操作多领域应用。多领域应用可以跨多个现实情境708和/或多个参与者环境714操作。
公共XR管理器716可以表示多个情境中的认证的参与者和对应的参与者简档720。在一个示例中,公共XR管理器716可以与为参与者维护的参与者简档进行交互,以便将参与者简档的多个方面传播到现实情境708和/或其他应用所使用的简档。在一个示例中,参与者可以定义化身来表示多个现实中的参与者,并且公共XR管理器716可以格式化化身描述符并将其传送给每个现实。在另一个示例中,公共XR管理器716可以获得在其他不相关的现实情境708中使用在一个现实情境708中购买的东西的许可。
公共XR管理器716可以建立和/或维护由认证的参与者可访问和/或占用的多个现实情境之间的连接。公共XR管理器716可以配置通过公共通信层704的信道,该信道使得与认证的参与者相关的信息能够在两个或更多个现实情境708、两个或更多个感觉输入/输出设备712之间以及在一个或更多个现实情境708、一个或更多个感觉输入/输出设备712之间交换。公共XR管理器716可以配置VROS转换器来支持参与者特定类型的输入/输出设备712。在一些情况下,公共XR管理器716可以配置VROS现实情境,以提供不同类型的现实情境708之间的兼容性。
图8示出根据本文公开的某些方面的由公共XR管理器716在两个参与者之间构建的关系800的示例。该关系在逻辑域824中并且在底层物理域826中示出。可以使用第一处理电路和系统802来实现第一参与者情境820,而可以使用第二处理电路和系统852来实现第二参与者情境822。在一些情况下,第一参与者情境822和第二参与者情境822可以共享处理电路和系统802、852的至少一些部分。相应的公共通信层804、854实现参与者情境820、822之间的通信。每个参与者情境820、822支持多个现实情境,包括参与者情境820、822都支持或可访问的某些现实情境806、808、856、858。
在两个参与者情境820、822中都存在的公共XR管理器828可以在每个参与者情境820、822中的一个或更多个现实情境806、808、856、858之间建立逻辑连接834。可以由参与者和/或一个或更多个多领域应用830请求逻辑连接834。例如,多领域应用830可以请求在两个参与者情境820、822上维护的相同现实情境808、858的实例之间建立逻辑连接834,以便两个参与者的化身能够以现实情境808、858不提供或以其他方式支持的方式进行交互。响应于该请求,公共XR管理器828可以使得在参与者情境820、822之间建立一个或更多个物理通信路径832,以实现和支持逻辑连接834。在一些实现中,在参与者情境820、822中的一个处生成的与逻辑连接834相关的信息可以通过公共XR管理器828和/或物理通信路径832路由。在这方面,公共XR管理器828可以作为路由器和/或转换器来操作。在一些情况下,公共XR管理器828可以配置物理通信路径832以建立逻辑连接834,并且可以与和逻辑连接834相关联的通信进行有限的交互,包括在物理通信路径832被建立之后多领域应用830响应于在现实情境808、858之间的端到端通信处的实现中。
在一些实现中,多领域应用830可以在两个参与者情境820、822中独立执行,并且可以支持两个或更多个共享现实情境806、808、856、858之间的交互。在一个示例中,多领域应用830可以建立在第一情境中所维护的现实情境806、808和第二情境所维护的现实情境858之间的逻辑连接834。公共XR管理器828可以配置通过公共通信层804、854的对应的物理通信路径832。公共XR管理器828可以根据相应参与者情境820、822中的授权功能814、864来管理现实情境806、808之间的通信的性质。
根据本公开的某些方面,参与者情境820、822可以包括虚拟现实情境和增强现实情境。公共XR管理器828可以配置参与者体验,其允许参与者在虚拟现实情境和增强现实情境之间无缝地转换(单独地或者作为一个组转换)。在一个示例中,组可以聚集在物理位置,其中组的每个成员进入增强现实情境,该情境使得领导者能够提供信息和/或管理某些初始活动。活动可能包括小组参与者的简报、点名、分配任务和责任、建立规则和条件、设备检查等。
在一些情况下,增强现实情境可以使集合的组成员能够可视化并与在与组相关联的虚拟现实情境中操作的远程参与者交互。该组然后可以在领导者的指导下从增强现实情境转换到虚拟现实情境。
图9示出逻辑系统架构的示例,该逻辑系统架构包括根据本文公开的某些方面提供的公共XR管理器900。公共XR管理器900包括参与者管理器902和系统管理器904,并且可以包括VROS 908或与之协作。参与者管理器902、系统管理器904和VROS 908可以与一个或更多个外部服务910交互。外部服务910可以提供对VR、AR和/或XR空间的访问。外部服务910可以通过各自的接口912、914和/或通过VROS 908与参与者管理器902和系统管理器904交互。在一些实现中,接口912、914包括应用编程接口。接口912、914和/或与VROS 908相关联的接口可以将VR、AR和/或XR特征的描述转换成VROS 908的对应特征和/或使其符合VROS908的对应特征。这些特征可以包括视频格式、音频格式、图像格式、对象的3D表示的格式、化身以及触觉输入和输出。参与者系统906可以与VROS 908交互,并且与VROS 908相关联的一个或更多个接口可以将VR、AR和/或XR特征的描述转换成参与者系统906的对应特征和/或使其符合参与者系统906的对应特征。
参与者管理器902与参与者简档和认证系统交互。在所示的公共XR管理器900中,参与者管理器902可以包括访问管理器916,访问管理器916管理和控制每个参与者的访问权利。访问管理器916可以确定每个参与者的访问权利并将其传送给各种外部服务910。
在所示的公共XR管理器900中,参与者管理器902可以包括简档子系统918,简档子系统918维护参与者特定的配置和偏好,包括例如化身、系统能力,包括显示分辨率。简档子系统918可以管理和促进订阅的使用。
在所示的公共XR管理器900中,参与者管理器902可以包括组子系统920,组子系统920标识每个参与者的组成员资格和从属关系。这可能包括在必要时使用与用户授权相关联的UUID。在某些情况下,组成员资格和从属关系可能与一个或更多个订阅、邀请和/或访问权利相关。在一个示例中,教育应用可以支持代表由组长预先分配或者由没有组长的小组会议在运行中的实例化分配的学习组的从属关系。
在所示的公共XR管理器900中,系统管理器904可以包括化身子系统922。化身子系统922可以包括帮助识别化身出处的库。在一个示例中,可通过访问管理器916获得与参与者可访问的每个现实情境106相关联的化身。化身子系统922可以提供或维护在简档子系统918中的配置信息,包括与化身类型、化名、服装、技能和/或装饰相关的信息。该化身子系统922可以实现从一个现实情境106获得的化身的转换,以用于被指示为简档子系统918中的参与者可访问的各种其他现实情境106中,其中在适用的情况下通过与许可证持有者的协议来允许。
在所示的公共XR管理器900中,系统管理器904可以包括对象子系统924。对象子系统924可以被配置成参与将一个现实情境106中已知的对象转换成被指示为简档子系统918中的参与者可访问的其他现实情境106中的对应对象。对象子系统924可以提供或维护简档子系统918中的配置信息以及服务间购买子系统(interservice purchase subsystem)928或DRM模块930中的任何许可考虑。
在所示的公共XR管理器900中,系统管理器904可以包括应用子系统926。应用子系统926可以被配置成参与将一个现实情境106中已知的应用实体转换成被指示为简档子系统918中的参与者可访问的其他现实情境106中的对应应用实体。应用子系统926可以提供或维护在简档子系统918中的配置信息。
在所示的公共XR管理器900中,系统管理器904可以包括服务间购买子系统928。服务间购买子系统928可以被配置为参与获取在一个现实情境106中已知的商业可用对象并将其转换为被指示为在简档子系统918中的参与者可访问的其他现实情境106中的对应对象。服务间购买子系统928可以提供或维护在简档子系统918中的配置信息。服务间购买子系统928可以促进用于现实情境106之间的对象的市场。在一个示例中,在一个现实情境106中具有市场估价的物品可以在另一个现实情境106中被交易或购买。可以使用和/或创建通用货币,用于现实情境106之间的估价转换。
化身子系统922、对象子系统924、应用子系统926和服务间子系统928可以包括作为第三方系统或参与者的知识产权而被保护的对象、与这些对象相互作用或交换这些对象。系统管理器904可以包括数字版权管理(DRM)模块930或者与该模块集成,该模块可以协商、购买和/或出售某些对象中的权利。DRM模块930可以通过参与者情境之间的一个或更多个逻辑连接来控制或选通传输。
在所示的公共XR管理器900中,系统管理器904可以包括用于在现实情境106之间交换图像和视频的显示子系统932。系统管理器904可以包括用于在现实情境106之间交换感觉信息的输入子系统934。
图10示出结构1000的第一示例,该结构1000可用于描述和管理根据本文公开的某些方面实现的虚拟、增强和扩展现实系统。结构1000涉及描述输入子系统934的某些部分的示例。输入子系统934可以被期望来关联由多种类型的感觉设备生成的信息和/或涉及虚拟、增强和扩展现实系统中的情境的其他输入信息,并且可以转换和/或传送涉及参与者系统中的一个或更多个设备的输出信息。
该示例示出结构1000中与一个或更多个XR成像设备相关的条目。其他示例可以涉及其他类型的输入设备。例如,条目可以涉及提供记录、流传输信息、聊天信息、节目信息等的流传输源。条目在输入子系统934下被维护和访问。该条目可以包括识别设备类型的输入/输出设备描述符1002,该设备在所示的示例中是成像设备。输入/输出设备描述符1002可以与附加的设备特定信息1004相关联,附加的设备特定信息1004定义了能力、状态和包括制造商、型号和软件版本的其他信息。该条目可以包括识别成像传感器的物理和/或虚拟位置的位置信息1008。物理位置可以保持为全球定位系统(GPS)坐标或另一种类型的坐标系统。在一个示例中,位置信息1008描述了对虚拟现实情境的场景或设置有贡献的成像设备的位置。在一个示例中,位置信息1008用于确定可以被映射到虚拟现实情境的参与者的移动。
该条目可以包括由对应设备生成或涉及对应设备的感觉输入数据1006的描述符。在所示的示例中,对应于视频感觉输入数据1006的元数据1012可以用虚拟或增强信息来维护。元数据1012用于识别、映射、索引、分类和/或以其他方式描述这样的信息。虚拟的、增强的或其他信息和/或元数据1012可以包括成像设备输入/输出特性1014,其描述图像数据1016的格式、分辨率、编码和其他特性,图像数据1016可以与结构1000相关联或保持在结构1000中。可以根据由成像设备输出特征信息1014或元数据1012识别的标准或协议来对图像数据1016进行格式化和/或编码。在一些情况下,图像数据1016被包括在视频流中或者包括视频流,并且视频信息可以包括可被用于视频压缩的变化向量1018。该信息可以包括视角信息1020,该视角信息1020可被用于在场景、虚拟环境或物理体积内定位图像。
图11示出结构1100的第二示例,该结构可用于描述和管理根据本文公开的某些方面实现的虚拟、增强和扩展现实系统。结构1100涉及描述输入子系统934的某些部分的示例。输入子系统934可以被期望关联由多种类型的感觉设备生成的信息和/或涉及虚拟、增强和扩展现实系统中的情境的其他输入信息,并且可以转换和/或传送涉及参与者系统中的一个或更多个设备的输出信息。
该示例示出结构1100中与XR系统中使用的一个或更多个触觉传感器相关的条目。其他示例可以涉及其他类型的输入设备。条目在输入子系统934下被维护和访问。该条目可以包括识别设备类型的输入/输出设备描述符1102,该设备类型在所示的示例中是触觉传感器。输入/输出设备描述符1102可以与附加的设备特定信息1104相关联,附加的设备特定信息1104定义了能力、状态和包括制造商、型号和软件版本的其他信息。该条目可以包括标识触觉传感器的物理和/或虚拟位置的位置信息1108。物理位置可以保持为全球定位系统(GPS)坐标或另一种类型的坐标系统。在一个示例中,位置信息1108描述了对虚拟现实情境的场景或设置有贡献的触觉传感器的位置。在一个示例中,位置信息1108用于确定参与者在与虚拟现实情境交互时做出的移动。
该条目可以包括由对应设备生成的或涉及对应设备的感觉输入数据1106的描述符。在所示的示例中,对应于触觉传感器输入数据1106的元数据1112可以用虚拟或增强信息来维护。元数据1112用于识别、映射、索引、分类和/或以其他方式描述这样的信息。虚拟的、增强的或其他信息和/或元数据1112可以包括描述触觉传感器数据1116的格式、分辨率、编码和其他特性的传感器输入/输出特性信息1114,其可以与结构1100相关联或保持在结构1100中。可以根据由传感器输出特性信息1114、元数据1112和/或灵敏度参数1118识别的标准或协议来对触觉传感器数据1116进行格式化和/或编码。
图12是示出与多设备VR、AR和/或XR系统相关的操作的某些方面的消息流程图1200。两个参与者系统1202、1206可以通过服务器或其他控制器1204参与集成的VR、AR和/或XR系统。当将要在多设备VR、AR和/或XR系统中使用两个以上的参与者系统1202、1206时,可以采用所示的操作。在所示的示例中,第一参与者系统1202激活两个参与者系统1202、1206之间的关系。第二参与者系统1206的参与者可以被第二系统1206认证1210。第二参与者系统1206可以向控制器1204发送认证请求1212,并且可以当控制器1204用认证确认消息1214进行响应时在集成的VR、AR和/或XR系统中变得活动。在某个时刻,第一参与者系统1202的参与者可以被第一系统1202认证1216。第一参与者系统1202可以向控制器1204发送认证请求1218,并且可以当控制器1204用认证确认消息1220进行响应时在集成的VR、AR和/或XR系统中变得活动。
第一参与者系统1202的参与者可以使第一参与者系统1202发送多领域请求1222,以建立多领域关系和/或参与多领域应用。响应于多领域请求1222,控制器1204可以与第一参与者系统1202交换控制和命令信息1224,并且与第二参与者系统1206交换控制和命令信息1226,以在参与者系统1202、1206中的现实情境之间建立通信路径。控制器1204可以与第一参与者系统1202交换控制和命令信息1228,且与第二参与者系统1206交换控制和命令信息1230,以基于多领域请求1222配置参与者系统1202、1206之间的关系。此后,参与者系统1202、1206可以在通过控制器1204传送的消息1232、1234中交换与多领域应用相关的信息。这些消息1232、1234可以包括这些参与者或一组参与者之间的内容、控制、元、定位、视角、关注焦点、姿势和/或通知信息。参与者系统1202、1206可以在参与者系统1202、1206之间传送的直接消息1236中交换与多领域关系相关的信息。直接消息1236可以包括这些参与者或一组参与者之间的内容、控制、元、定位、视角、关注焦点、姿势和/或通知信息。
图13是根据本文公开的某些方面的预配置流程1300的逻辑表示。预配置流程1300可以使个体参与者和/或一组参与者能够与VR/AR/XR体验交互或同时参与其中。VR/AR/XR体验可以包括多个现实情境106,其中现实情境106可以使用一个或更多个现实类型、标准或环境来实例化。每个参与者通过认证和/或授权过程1302获得对VR/AR/XR体验的进入。
如果用户通过授权过程获得授权,则该用户成为TCXR参与者(“参与者”)。在授权过程1302期间,TCXR系统通过用户门户助理将帮助用户确定所允许的参与角色的类型、所授权的体验,这可以通过参与者的配置信息来识别或询问。
在框1304,参与者可以被识别为领导者或参与者。在一些情况下,当参与者是领导者时,可以在框1320选择领导参与者简档。基于从认证和/或授权过程1302导出的信息,参与者可以被识别为领导者。领导参与者简档可以提供领导者配置VR/AR/XR体验的各个方面所必需的许可。领导者可以迭代地和/或按照为VR/AR/XR体验定义的顺序来配置VR/AR/XR体验和参与者。
在框1322,领导者可以识别和配置一个或更多个组中的参与者,以参与VR/AR/XR体验。可以使用从储存库或数据库1312、1314、1316接收或检索的信息,基于参与的级别或类型来创建组。在框1322配置组参与之前,领导者可以基于从参与者简档储存库1312、权利管理系统1314和与参与者偏好和能力相关的其他信息源检索的信息来确定参与者的角色。领导者可以根据需要更新参与者简档储存库1312、权利管理系统1314。在框1328,领导者可以选择和配置将要被包括在VR/AR/XR体验中的一组现实情境。可以从列表或数据库1318中选择该组现实情境。在框1326,领导者配置用于指导和控制VR/AR/XR体验的框架或结构。在一个示例中,领导者可以为AIVA配置默认参与级别。在另一个示例中,领导者可以为一个或更多个会话配置化身。在另一个示例中,领导者可以定义化身的初始定位、视角、关注焦点和姿势。
预配置可以涉及通过现实情境接口1324的与现实情境数据库1310和/或一个或更多个现实情境106的交互。在一个示例中,领导者可以使用定义偏好、选项、许可、注册和对于参与组活动的要求的信息来配置参与者参与。领导者可以遵循预配置流程1300,以便在开始VR、AR和/或XR体验之前,为每个参与者和/或每个组配置VR、AR和/或XR体验的各个方面。在框1330,并且在完成预配置之后,领导者可以将配置存储在配置数据库1332中。在一些实现中,领导者可以为一个或更多个VR、AR和/或XR体验创建多个配置,并且可以在开始预配置流程1300之前激活存储的配置。
参与者还可以执行预配置和/或测试由领导者定义的配置。参与者通过认证和/或授权过程1302获得对VR/AR/XR体验的进入。在框1306,参与者可以从配置数据库1332加载配置。参与者可以个性化配置,以针对参与者操作的系统的参与者偏好和/或能力进行调整。参与者可以在简档储存库1312和/或权利管理系统1314指定的限度内个性化配置。在一些情况下,个性化可以涉及基于与其他参与者和/或领导者的预定义关系来调整配置。
图14是可根据本文公开的某些方面操作的系统1400的功能表示。系统1400可以使参与者(个体参与者或组)能够与多个现实情境106交互或并发地参与其中,其中可以使用一个或更多个现实类型、标准或环境来将现实情境106实例化。每个参与者通过认证和/或授权过程1402来获取对系统1400的进入。认证和/或授权过程1402可以识别参与者、参与者的系统能力和/或在其中参与者是当前参与者的现实情境106。参与者可以指示是否期望参与一个或更多个现实情境106,以及参与者是否期望自主参与,作为多参与者现实中的单独参与者,或者作为共享的VR、AR和/或XR体验中的一组参与者的成员。在一些情况下,参与者最初可以作为个体进入系统1400,并且可以在初始配置期间或之后转换到组参与。
系统1400可以发起参与者配置过程1404。在一些情况下,对于涉及所选现实情境106的会话,可以促成AIVA的参与。在一个示例中,参与者配置过程1404使用在一个或更多个储存库或数据库1412、1414、1416中维护的配置信息来配置参与者参与。配置信息可以包括与多个现实情境106相关联的信息,其中可以从现实情境数据库1410中访问现实情境信息。参与者配置过程1404可以使用参与者简档数据库1412中的信息来配置参与者参与,参与者简档数据库1412中的信息可以定义系统偏好元数据、化身和/或影响参与者在不同现实情境106中的存在、外观、个性和/或形象的其他参数。参与者配置过程1404可以使用权利管理数据库1414中的信息来配置参与者参与,权利管理数据库1414中的信息可以定义参与者订阅、获取或提供给参与者的访问权利、信用和支付信息。参与者配置过程1404可以使用关系或从属关系数据库1416中的信息来配置参与者参与,关系或从属关系数据库1416可以定义偏好、选项、许可、注册和要求,其使得参与者能够与其他参与者和/或现实情境106通信和/或交互。在完成参与者配置过程1404之后,参与者可以作为一个或更多个现实情境1410(并且参见图1中的现实情境106)中的单独或自主参与者参与1406。
当参与者将要被接纳为组参与者时,参与者配置过程1404可以将参与者配置信息传递给组管理功能1418,组管理功能1418管理和/或更新由组共享的VR、AR和/或XR体验。组管理功能1418可以与权利管理功能1420协作或控制权利管理功能1420,权利管理功能1420可以委托、分配、获取或以其他方式提供参与者参与共享AR和/或XR体验所需的对于对象和现实情境106的访问权利。在一个示例中,权利管理功能1420可以使用定义从一个或更多个储存库或数据库1412、1414、1416接收或检索的偏好、选项、许可、注册和参与组活动的要求的信息来配置参与者参与。系统1400可以确定参与者的角色,作为领导者配置功能1422的一部分。例如,领导者配置功能1422可以将参与者注册为领导参与者或普通或从属参与者。在配置之后,参与者可以参与1424共享的AR和/或XR体验和/或一个或更多个对应的或相关的现实情境106。
图15是根据本文公开的某些方面的VR/AR/XR会话配置流程1500的逻辑表示。在执行认证和/或授权过程1502之后,每个参与者可以参与VR/AR/XR会话。参与者可以是领导者或参与者。在框1504被识别为领导者的参与者可以在框1508选择并发起VR/AR/XR会话的初始配置。初始配置可以从配置数据库1506接收,并且可以在预配置过程期间创建。在框1510,领导者可以调整或配置AIVA的参与级别。在框1512,领导者可以更新或修改授权参与者的列表,和/或一个或更多个参与者的参与级别。领导者可以提供或更新在为VR/AR/XR会话维护的储存库1518中的会话配置。在框1514,领导者可以发起VR/AR/XR会话,并进入VR/AR/XR场所。在一个示例中,特定现实情境106的实例可以在此时被创建,以便于领导者和一个或更多个其他参与者的进入。
在框1504被识别为参与者的用户可以在框1520为VR/AR/XR会话选择参与者配置。参与者配置可以在本地维护,也可以从共享存储库中维护。在一个示例中,可以从配置数据库1506接收基本配置。在框1522,参与者可以调整或配置个人系统。在框1524,参与者可以从储存库1518检索会话配置。参与者可以通过在进入VR/AR/XR场所之前调整外观、姿势和/或状态来修改会话配置。在框1526,参与者可以加入VR/AR/XR会话。
图16是示出根据本文公开的某些方面进行的VR/AR/XR会话的示例的流程图1600。流程图1600表示VR/AR/XR会话的领导者的体验。在一个示例中,VR/AR/XR会话可以涉及代表商业、教育、政府或非盈利实体(“赞助实体”)提供的教育课程、旅游或培训活动。赞助实体可以建立指南、评估和测试标准,并且可以定义用于对VR/AR/XR会话中的参与者进行分类的报告标准。在一些情况下,赞助实体可以提前评估VR/AR/XR会话,以便对VR/AR/XR会话中的参与者的出席给予信用或奖励。赞助实体可以要求从VR/AR/XR会话的参与者处获得对VR/AR/XR会话及其领导者的评估。赞助实体可以定义与VR/AR/XR会话、其领导者和参与者的行为相关的政策。在一些情况下,赞助实体可以向领导者和/或一些或所有参与者提供VR设备。
在框1602,领导者可以为VR/AR/XR会话加载政策、指南、评估表和报告卡。在一些实现中,政策可以定义或管理VR/AR/XR会话中的某些可允许的行为。在一个示例中,政策可以包括区域政策、机构政策、可接受的使用政策、年龄政策和法规和/或涉及领导者的政策。
在框1604,领导者可以配置会话。在预配置模式中,领导者可以配置场地、会话的时间、参与者的个人和组、角色、目标、目的和参与度量,以及VR/AR/XR会话的其他方面。当先前已经配置了VR/AR/XR会话时,领导者可以加载现有配置,并根据需要修改或调整VR/AR/XR会话的某些方面。赞助实体可以提供一些配置信息,包括例如简档信息、订阅、信用。某些配置元数据可以从在不同的虚拟联系(contact)中生成或维护的简档中获得,包括外观、化身、个性姿势和其他外观特性。与外观相关的导入配置信息可能受为VR/AR/XR会话定义的政策的约束。
领导者可以配置显示为刻度盘或其他控制机制(control mechanisms)的状态和控件。在某些示例中,可以提供状态和控件来跟踪参与者出席、存在和参与状态(例如,登录、主动、被动、分心)。在一些示例中,可以为对象的定时或其他时间考虑提供状态和控件,包括与参与者的注意力和/或会话节奏相关联的状态和控件。领导者可以访问每个参与者的识别信息,包括出席者化名、昵称、全名、从属关系等中的一个或更多个。在某些示例中,可以提供状态和控件来管理和监控脚本、协议、教案等。领导者可以控制和/或访问一个或更多个活动消息框,以便私下或公开地与参与者通信。领导者可以控制参与者对一个或更多个活动消息框的访问,以便私下或公开地与领导者或其他参与者通信。领导者可以访问查询窗口,该窗口可以提供会话信息,包括出席情况、活动、收到的查询和AIVA配置。
领导者可以控制Maestro配置,包括平衡领导者和AIVA之间的VR/AR/XR会话的控制。Maestro可以被配置为控制演示、讲座、材料、环境的定时、教室控制和对VR/AR/XR会话的监控。在VR/AR/XR会话中,领导者可以改变、更改或过滤Maestro控制的参数。例如,可以改变参数以反映参与者数量、组表现、查询量等的变化。Maestro可以被配置为将AIVA的管理控制百分比从完全控制调整为无控制。用于管理Maestro的配置和/或元数据可以由领导者针对场地内的每个环境进行配置,并且可以基于参与者变量、参与度和动作,从一个环境到另一个环境进行调整。
当参与级别下降时,领导者可以配置Maestro向参与者提供刺激(轻推)。领导者可以配置确定何时提供刺激的阈值。Maestro可以通过在VR/AR/XR会话期间控制参与者的化身在一个或更多个现实情境中的位置来练习对参与者的虚拟位置的控制。在一个示例中,Maestro可以使参与者的化身在情境内的位置之间或情境之间移动。化身的移动可以是瞬时的,或者以由Maestro和/或系统参数确定的速率进行。Maestro可以被配置成监控每个参与者的会话完成。在完成VR/AR/XR会话中的某些任务或阶段后,参与者可能会收到可交付成果(“复活节彩蛋”)。Maestro可以被配置为管理环境超时,环境超时可以基于当前VR/AR/XR会话中的组表现或预定的设置标准来实时调整。
在框1606,领导者可以发起并进入VR/AR/XR会话。在某些情况下,VR/AR/XR会话可以在领导者或参与者首次进入、登录或请求时发起。在框1608,领导者可以发起AIVA。
在框1610,领导者可以执行一个或更多个测试。在一个示例中,领导者可以配置和校准在VR/AR/XR会话中使用的场所和场景。在另一个示例中,领导者可以执行为VR/AR/XR会话定义的场所的漫游。在另一个示例中,领导者可以为VR/AR/XR会话排练脚本。在另一个示例中,领导者可以记录将要在VR/AR/XR会话中使用的内容的至少一部分。如果领导者在框1610确定VR/AR/XR会话没有准备好操作,则领导者可以返回到框1604以重复配置过程。
当领导者在框1610确定VR/AR/XR会话被适当或充分地配置时,则在框1612,领导者可以在VR/AR/XR会话的一个或更多个场所内配置呈现在领导者视野中的可显示控件和状态字段。领导者还可以配置授权和/或调整AIVA的参与级别。
在框1614,领导者可以发起VR/AR/XR会话,并执行VR/AR/XR会话的目的。在框1616,领导者可以确定VR/AR/XR会话的目标和目的是否已经达到。如果一个或更多个参与者没有执行VR/AR/XR会话的所有任务,目标和/或目的没有达到,则领导者可以在框1614使VR/AR/XR会话继续。在框1618,当目的已经达到时,领导者可以终止VR/AR/XR会话。
图17是示出根据本文公开的某些方面进行的VR/AR/XR会话的示例的流程图1700。流程图1700表示参与者的体验。参与者可以是订阅者或以其他方式在赞助实体注册。在框1702,参与者可以加载在VR/AR/XR会话中定义或管理参与者的某些可允许行为的政策。
在框1704,参与者可以配置将要在VR/AR/XR会话中使用的个人设备和系统。在预配置模式下,参与者可以加载现有配置,并根据需要修改或调整对应于参与者环境的VR/AR/XR会话的某些方面。
在框1706,参与者可以进入等待室。在等待室,参与者可以与AIVA联系,并可以配置互动和AIVA请求的辅助级别。参与者可以配置、测试和检查参与者系统的某些方面。参与者可以被提示执行系统配置,并且可以从赞助实体接收配置信息。可以从其他VR系统加载或确定简档信息、订阅、信用和其他配置能力,诸如外观、个性和外观特性元数据。
在框1708,参与者可以确定参与者系统没有准备好操作,并且参与者可以返回到框1704以重复配置过程。当参与者在框1708确定参与者系统被适当地或充分地配置时,则在框1710,参与者可以在VR/AR/XR会话的一个或更多个场所内配置呈现在参与者视野中的可显示控件和状态字段。
在框1712,参与者可以加入VR/AR/XR会话,并参与VR/AR/XR会话的目的。在框1714,参与者可以确定没有执行VR/AR/XR会话的所有任务、目标和/或目的,并且可以在框1712继续参与VR/AR/XR会话。在框1716,当目的已经达到时,领导者可以退出VR/AR/XR会话。
VR、AR和XR系统中的表现评估
可以根据本文公开的某些方面适配的VR、AR和XR系统提供可以跨越多个现实情境的多参与者环境。多参与者环境可被用于教育、基于仿真的训练游戏和其他目的。在某些应用中,参与者可以通过初始虚拟情境进入多参与者环境,并遍历到一个或更多个虚拟情境的链接。多参与者环境可以在两个或更多个本质上相互不兼容的虚拟情境之间架起桥梁。多参与者环境可以提供参与者系统和虚拟情境之间的接口,而不管管理参与者系统和虚拟情境的操作的协议和标准。在一个示例中,多参与者环境能够实现由讲解员、讲师、向导、陪同或其他领导者单独或与AIVA组合领导的组体验。
根据本公开的某些方面,表现测量值可被用于表征多参与者环境中的活动和行为。可以使用表现测量值来开发、修改、优化和/或评估可以在多参与者环境中执行的应用和/或在多参与者环境中呈现的材料。可以基于在多参与者环境中获得的表现测量值来评估、分级和/或以其他方式评价参与者和领导者。
在一个方面,根据本文公开的某些方面提供的受管系统架构可以被配置成在跨越多个现实情境的虚拟、增强和/或扩展现实系统中收集表现数据。表现数据可以与领导者和参与者相关,并且可以对照基线或对等简档来表征个人表现。在一个示例中,表现数据可以在公共XR管理器716(见图7)的公共通信层704中收集,其中受管VR/AR/XR系统的动作、活动、关系、姿势和其他方面已经根据公共协议或格式被表征。通过控制器1204(见图12)传送的消息1232、1234或在参与者系统1202、1206之间传送的直接消息1236可以包括这些参与者或一组参与者之间的内容、控制、元、定位、视角、关注焦点、姿势和/或通知信息。
图18示出受管VR/AR/XR系统1800,可以从该系统收集、聚集和分析表现数据。受管VR/AR/XR系统1800跨越四个虚拟现实情境1802、1804、1806、1808,这些虚拟现实情境可能已经使用不同的和/或不一致的编程接口或协议开发,其中每个虚拟现实情境1802、1804、1806、1808通过适配器耦合到受管VR/AR/XR系统1800,该适配器被配置成将相应现实情境的输入、输出、定义、描述符和行为转换成一组公共输入、输出、定义、描述符和行为。在一个示例中,适配器可以包括图7所示的处理层702、公共通信层704、接口层706和/或一个或更多个参与者情境714,或者与之协作。
受管VR/AR/XR系统1800虽然以二维示出,但可以提供三维体验。在一个示例中,受管VR/AR/XR系统1800提供了多参与者虚拟教育环境,其中领导者可以引导一组参与者完成教案。在另一个示例中,VR/AR/XR系统1800提供多人在线角色扮演游戏。在一个示例中,受管VR/AR/XR系统1800提供飞行训练环境,其中空中交通管制员或控制功能引导一个或更多个飞行员通过飞行计划。
受管VR/AR/XR系统1800包括将要访问的一组特征,包括路标1814、1816a、1818a、1820a、1824a、1824b、1824c、1826a、1826b、1828a、1828b、1828c。在一些应用中,入口点1810和出口点1830可以在一个或更多个虚拟现实情境1802、1804、1806、1808中被定义。在其他应用中,可以允许不受限制地进入和离开虚拟现实情境1802、1804、1806、1808。在一些实现中,虚拟现实情境1802、1804、1806、1808之间的转换可以通过链接或门户1822a、1822b、1822c来实现。在一个示例中,虚拟现实情境1802、1804、1806、1808之间的转换通过公共门户1822b实现。
在虚拟教育环境中,这些特征可以是兴趣点、教案中涉及的学科、集合点、挑战、休息站、停留/追赶点或路标,它们充当教案中标识的分发点或信息源。在飞行训练环境中,特征可以包括仿真空中交通管制路标。
可以从定义的或所需的视角来查看或访问某些路标1816a、1818a、1820a、1824b、1824c、1826b、1828b、1828c。在所示的示例中,第一现实情境1802中的路标1816a、1818a、1820a可以通过由应用定义的出席区域1816b、1818b、1820b来查看或访问。
由应用定义的教案、游戏故事情节、飞行计划或其他计划可以定义优选的、最优的或规定的路径1840,在受管VR/AR/XR系统1800遵循该路径1840。路径1840可以最初由设计者定义,和/或可以基于当参与者的化身遵循路径1840时观察到或测量到的参与者的行为来调整或优化。可以基于表征参与者遵守计划的程度(包括参与者的化身遵循路径1840的程度)的表现测量值来进行调整和优化。
图19示出与图18中的第一现实情境1802的遍历的空间方面相关的第一参与示例1900。第一参与示例1900涉及单个参与者通过第一现实情境1802。参与者的表现可以至少部分地通过将参与者的表现与基线表现进行比较来衡量。在一个示例中,基线表现可以基于对等体或前人的表现,并且可以包括对优选的、最优的或规定的路径的遵循。优选的、最优的或规定的路径可以包括从入口点1810通向用作方位或集合点的第一路标1814的段1902。在一个示例中,集合点可以被定义为允许参与者接收初始指令。在这个示例中,集合点可以对参与者的接近度或视角没有限制。通过入口点1810进入的参与者可以沿着包括通向第一点1912的第一段1922的路径前进。在递送指令之前、期间或之后,参与者可以停留和/或沿着第二段1924移动到第二点1914。系统可推断相对于基线表现的滞后可归因于参与者在第二点1914处将注意力集中在感兴趣的对象上,这可从第二点1914处的停留和/或从停留期间的其他传感器、活动或不活动来推断。
优选的、最优的或规定的路径包括通向第二路标1816a的第二段1904,第二路标1816a具有要求的出席区域1816b。在所示的示例中,参与者通过第三非直接路径段1926前进到点1916,点1916位于与第二路标1816a相关联的所需出席区域1816b附近但在其外部。优选的、最优的或规定的路径包括通向第三路标1818a的第三段1906,第三路标1818a具有要求的出席区域1818b。在所示的示例中,参与者在第四路径段1928(其为非直接段)上前进,到达与第三路标1818a相关联的所需出席区域1818b内的点1918。优选的、最优的或规定的路径包括通向第四路标1820a的第四段1908,第四路标1820a具有要求的出席区域1820b。在所示的示例中,参与者通过第五路径段1930前进到点1920,点1920位于与第三路标1820a相关联的所需出席区域1820b内。优选的、最优的或规定的路径包括通过门户1822a到下一个现实情境的转换段1910,并且参与者遵循优选的、最优的或规定的路径沿着段1932到达下一个现实情境。
参与示例1900示出单个参与者对优选的、最优的或规定的路径的二维偏离。可以用各种测量值来表征这些偏离。在一个示例中,对计划的遵循可以通过路径长度来测量,与优选的、最优的或规定的路径的最大或平均距离可以量化参与者表现的某些方面。在另一个示例中,表现的某些方面可以通过与要求的出席区域的最大或平均线性和/或角度间隔来测量。在一些实现中,可以测量单个参与者对优选、最佳或规定路径的参与三维偏差。可以在二维空间或三维空间中测量线性和角度间隔。
图20示出涉及图18中的第一现实情境1802的遍历的空间方面的第二参与示例2000。第二参与示例2000涉及单个参与者通过第一现实情境1802,其中可以通过将参与者表现与基线表现和相同第一现实情境1802中的其他参与者或领导者和/或遵循相同教案、游戏故事情节、飞行计划或由应用定义的其他计划的其他参与者或领导者的并发活动进行比较,测量参与者的表现。在这个示例中,可以基于与对等体或前人对优选的、最优的或规定的路径的遵守的比较来调整基线表现。
图20包括热图2020,热图2020示出与一组共同参与者相关联的聚集或平均路径。在一个示例中,热图2020可以表示某个百分比的参与者所遵循的路径的边界,其中该百分比可以由基于每个参与者距平均路径的平均距离的分布曲线来定义。在另一个示例中,另一种类型的热图可以包括每个参与者的路径,其中较暗的区域代表与较亮的区域相比行进更多的区域。
优选的、最优的或规定的路径可以包括从入口点1810通向用作方位或集合点的第一路标1814的段2002。在一个示例中,集合点可以被定义为允许参与者接收初始指令。在本示例中,集合点可以对参与者的接近度或视角没有限制。通过入口点1810进入的目标参与者可以沿着包括通向第一点2022的第一段2012的路径前进。在一个示例中,目标参与者可以被吸引到聚集在第一点2022的一组共同参与者。参与者可以从领导者或从控制器接收指令。
优选的、最优的或规定的路径包括通向第二路标1816a的第二段2004,第二路标1816a具有要求的出席区域1816b。在所示的示例中,目标参与者通过第二非直接路径段2014前进到在与第二路标1816a相关联的所需出席区域1816b外部的点。优选的、最优的或规定的路径包括通向第三路标1818a的第三段2006,第三路标1818a具有要求的出席区域1818b。在所示的示例中,目标参与者通过第三非直接路径段2016前进到与第三路标1818a相关联的所需出席区域1818b。优选的、最优的或规定的路径包括通向第四路标1820a的第四段2008,第四路标1820a具有要求的出席区域1820b。在所示的示例中,目标参与者通过第四路径段2018前进到在与第三路标1820a相关联的所需出席区域1820b内的点。在一些情况下,参与者可能没有使用能够放大规定对象以供观看的设备,并且参与者的化身可能被移动到适合观看的定位。适合观看的定位可以从优选的、最佳的或规定的路径中移除,但是参与者的注意力可以被认为集中在目标上。在其他情况下,参与者可能正在使用具有更强缩放能力的设备,并且这样的参与者的化身不需要被放置在优选的、最优的或规定的路径上的点。根据本文公开的某些方面,该系统能够组合定位信息、视角(3D空间中的视角)和观看设备的缩放级别,以便准确地确定参与者关注的对象。
参与示例2000示出单个目标参与者与优选的、最优的或规定的路径的二维偏差,和/或与共同参与者遵循的平均路径(例如,热图2020的中心线)的偏差。这些偏差可以用各种测量值来表征。在一个示例中,对计划的遵守可以通过路径长度来测量,与优选的、最优的或规定的路径的最大或平均距离可以量化参与者表现的某些方面。在另一个示例中,表现的某些方面可以通过与所需出席区域或热图2020的中心的最大或平均线性和/或角度间隔来测量。线性和角度间隔可以在二维空间或三维空间中测量。
可以测量多种类型的变量来量化参与者的表现。例如,时间测量值可以定义参与者花费的时间的充分性,以及与目标参与者遍历受管VR/AR/XR系统相关联的经过时间和节奏。在另一个示例中,从参与者设备接收的传感器输入可以被用来确定作为在路标处的注意力的函数的参与质量。某些路标可能包括可用于评估参与质量的任务、挑战或测试。这些变量中的每一个都可以作为绝对量或者相对于与基线、聚集的或对等表现相关联的变量来测量。在一些实现中,每个参与者的表现可以被聚集和/或集成到基线度量中。在一些实现中,可以基于一个或更多个参与者或领导者的测量的表现来更新或优化教案、游戏故事情节、飞行计划或其他计划。
图21示出涉及遍历受管VR/AR/XR系统的一部分的时间方面的参与示例2100。第一曲线2106示出领导者在路标2104之间采取的路径,而第二曲线2108示出参与者在路标2104之间采取的路径。领导者可以根据定义的或期望的节奏来导航路标2104。节奏可以定义对一对路标2104中的每一个的访问之间的时间段2101。例如,领导者可以在到达或离开路标2104的时间上表现出一些可变性,同时通过在规定的时间点出现在路标2104上来保持节奏。访问可以被定义为具有时间和空间分量。在一个示例中,系统可以定义在要识别的路标2104处的访问的最小持续时间。在另一个示例中,系统可以定义定位、视角(3D空间中的视角)和观看设备的缩放级别的组合,该组合满足足以识别路标2104处的访问的参与者关注焦点要求。
参与者可以在领导者到达或离开之前或之后到达或离开路标2104。在一些示例中,参与者的表现可以被测量为领导者或参与者到达路标2104附近的点之间的延迟2112。在所示的示例中,曲线2106、2108包括到路标2104的距离的表示。在一些示例中,参与者的表现可以被测量为与路标2104的角度或线性间隔2114。在一些情况下,参与者的表现可以基于在路标2104处与领导者的角度或线性间隔2114来测量。领导者可以在第一时间段2116停留在一个路标,而参与者在第二时间段2118停留在同一路标。在一些示例中,参与者的表现可以被测量为第一时间段2116和第二时间段2118之间的差别,和/或被测量为第一时间段2116和第二时间段2118之间的重叠。
在一些实现中,参与者可以不参加领导者在路标2104的停留。在一些示例中,参与者的表现可以被测量为错过的路标2104的数量,或者在与领导者在位置或路标2104处的停留不同的位置或路标2104处的额外停留的数量。在一些示例中,领导者可以进行可选的停留2120,其可以被包括或排除在表现测量值之外。对节奏的遵守可能是领导者表现的一种测量,额外的停留2120或错过的停留可能会影响节奏。
节奏可以被表示为频率,和/或可以使用数字信号处理技术进行分析,以实现实时表现评估。例如,受管VR/AR/XR系统的遍历可以使用周期函数来表征,诸如允许受管VR/AR/XR系统的每个遍历与受管VR/AR/XR系统的最优遍历的快速比较的傅立叶级数。可以采用其他信号处理技术来测量受管VR/AR/XR系统中的表现。例如,相位和振幅关系可用于定义路标2104处的停留以及距路标或领导者的距离。在某些情况下,可以实时处理和吸收大量的表现数据,从而使人工智能功能能够快速检测差异和问题,并为参与者和领导者提供帮助和提示。
根据本公开的某些方面,可以基于参与者焦点来生成用于表征在多参与者环境中对活动和行为的参与的表现测量值。参与者焦点可以根据从在受管现实系统上进行的会话中的参与者所佩戴的设备中的一个或更多个传感器接收的信息来确定。该信息可以由传感器生成,并且可以指示参与者的注视点或视角方向。在一个示例中,安装在头戴式装置或其他可佩戴设备之上或之内的后向摄像头可以提供图像,该图像可以被处理以基于参与者的眼睛和在多参与者环境内或与多参与者环境相关的向参与者显示的图像的知识来确定注视点。在另一个示例中,安装在头戴式装置或其他可佩戴设备之上或之内的眼睛跟踪传感器可以被配置成直接报告参与者的注视点。参与者焦点还可以根据由管理多参与者环境的一个或更多个控制器报告的关于参与者的化身在多参与者环境中的定位的信息来确定。参与者焦点还可以根据从控制器或本地系统接收的信息来确定,该信息指示参与者的与多参与者环境无关的活动。在某些情况下,当期望活动时,控制器或本地系统可以指示参与者不活动。
图22示出可以为多参与者环境中的会话生成的参与报告的示例。参与报告包括会话配置信息2200的列表。会话配置信息2200可以设置要在会话期间应用的某些全局参数和约束。在所示的示例中,定义了某些指南,这些指南确定参与者与会话的领导者和由领导者或会话计划、学习计划等识别的感兴趣对象的预期虚拟距离。
参与报告包括对象配置信息2210的列表。对象配置信息2210可以标识当领导者聚焦在对象上时领导者可用的某些控件,和/或当参与者聚焦在对象上时参与者可用的某些控件。对象配置信息2210可以配置定义领导者和/或参与者之间的预期关系的某些参数,包括覆盖为会话设置的对应全局参数和约束的参数和约束。在某些情况下,领导者可能会重新定义为会话或对象设置的某些参数和约束。
参与报告包括参与者的表现信息2220。在所示的示例中,针对会话中被访问的N个对象中的每一个呈现了M个参与者的表现。在一些情况下,表现信息2220可以包括可被用于记录参与者相对于领导者的表现(包括专注度)的一个或更多个对象。表现信息2220可以包括报告参与者在每个对象处的总停留时间、距对象和距领导的虚拟距离的信息,其可以被表示为对应停留时间的距离的平均数、平均值或统计相关表示。表现信息2220可以包括指示关于每个对象的活动级别的信息。活动级别可以按比例(这里是0-10)报告,由此与感兴趣对象相关的参与者的活动可以记录在1-10的范围内,并且完全不活动或不参与可以报告为零值。所示的表现信息2220包括具有持续高活动级别的参与者2222、具有变化的活动级别的参与者2224和具有指示注意力不集中的活动级别的参与者2226。
领导者可以在会话期间查看配置、参与和控制信息。该信息可以以图22所示的参与报告的形式获得。在某些实现中,配置、参与和控制信息可以叠加在呈现给领导者的图像上,如图26中的体验式教学场景2600的示例所示。在一些实现中,配置、参与和控制信息可以在会话期间或之后以图形方式呈现。图23示出根据本公开的某些方面呈现的参与信息2300的图形表示的一个示例。
参与信息2300的图形表示绘出了多个参与者2304随时间2302的焦点。领导者2306可以被用作确定其他参与者2304的焦点和参与的基线。在所示的示例中,领导者2306在四个对象2312、2314、2316和2318之间遍历会话,预期其他参与者2304中的每一个都将遵循。每个参与者停留的位置和持续时间由线表示,诸如线23101-23106。某些线23101、23104指示短暂的停留时间,而包括线23101-23106中的每一条的其他线指示对于对象2312、2314、2316或2318的无序聚焦。线23101-23106可以被颜色编码以指示注视点和/或指示无序聚焦。
图24示出可能有助于受管VR/AR/XR系统内的表现评估的某些其他参数。可以测量和处理这些参数,以便能够实时观察并向领导者或系统管理器报告状态。参数可以为每个参与者、一组参与者和/或受管VR/AR/XR系统的所有遍历或使用被测量。这些参数可以被量化、加权、组合和/或聚集,以获得一个或更多个可以实时提供给领导者或系统管理器的度量。在一个示例中,表示注意力的参数可以与空间和时间表现的测量值相结合(参见图19-20)来实时评估参与者的表现。
各种表现测量值可以实时显示给领导者。可以生成、显示或调用第一图形显示元素(例如任何对象类型UUID)来表示将参与者注意力焦点2400从第一路标(x)改变到第二路标(y)的转换活动。根据本文公开的某些方面,该系统能够组合定位信息、视角(3D空间中的视角)和观看设备的缩放级别,以便准确地确定参与者关注的对象。可以为一组参与者2402中的每一个显示关注焦点改变之间的延迟。关注焦点的变化可以根据运动传感器数据、从头部、面部或眼睛跟踪传感器接收的数据、显示信息、缩放设置和从参与者设备接收的不活动指示符来确定。在一些情况下,除了显示信息、缩放设置和从参与者设备接收的不活动指示符之外,由头部、面部或眼睛跟踪传感器提供的数据可被用于确定当前的关注焦点或被用于发出关注焦点没有变化的信号。第二图形显示元素可被生成以除了每个参与者的转换活动之外表示每个参与者的距离2410。距离信息可以从接收参与者设备的运动、位置和方向传感器数据(包括缩放设置)中获得。第三图形显示元素可被生成以除了每个参与者的转换活动之外表示每个参与者的关注度2420。当参与者在参与者设备上执行其他任务时,当没有检测到运动或者参与者没有提供输入或者在一段时间内没有响应时,如参与者设备所指示的,关注度可以降低。
一个或更多个参与者可能参与应用支持的活动,但这可能表明参与者的表现存在某些问题,包括对系统生成的信息的访问。例如,当参与者参与过多的应用内对话、AIVA交互、对指南的参考和/或回放流或字幕时,可以指示问题。第四图形显示元素可被生成以表示两个或更多参与者与AIVA之间的聊天活动2430,如参与者设备和/或系统设备所指示的。第五图形显示元素可被生成以标识参与者和观看指南之间的交互2440,如参与者设备和/或系统设备所指示的。第六图形显示元素可被生成以标识参与者和流或字幕反馈之间的交互2450。
图25示出与参数相关的数据流2500的示例,这些参数可以有助于受管VR/AR/XR系统内的表现评估(参见图24)。数据库2502可以被配置成接收与关注焦点2400的改变、每个参与者的距离2410、每个参与者的关注度2420、两个或更多个参与者和AIVA之间的聊天活动2430、参与者和观看指南之间的交互2440以及参与者和流或字幕反馈之间的交互2450相关的信息。其他类型的信息2504可以被提供给数据库,包括聊天、由系统捕获的流数据和其他数据、由用于处理表现数据的一个或更多个算法计算的得分以及领导者进行的观察。在一个示例中,领导者可以口述或手动注释活动。
由数据库2502维护的信息可以由一个或更多个为参与者产生表现测量值的应用来管理和/或处理。在一些实现中,表现测量值可被用于确定或预测未来的持久性和保留率。在一个示例中,由数据库2502维护的信息可以被处理以生成报告和其他分析2506。在另一个示例中,由数据库2502维护的信息可以被分析以提供状态信息2508,该状态信息2508可以被提供到由领导者和/或一个或更多个参与者接收的流中。可以在呈现给领导者或参与者的场景的各个字段中提供报告和状态信息,其中字段包括关注焦点、状态和控件。
图26示出根据本文公开的某些方面的体验式教学场景2600的示例,体验式教学场景2600可以由公共XR管理器900实现和/或管理。在一个示例中,体验式教学场景2600是通过图1所示的第一适配器114、116、118访问的VR时间线、现实情境和/或现实类型内的由讲解员、指导者2602、向导、陪同或其他领导者领导的组的一部分。在一个示例中,该组的领导者可以被认为是指导者2602,并且VR时间线2628由指导者2602管理。体验式教学场景2600可以表示指导者2602可以停止和/或从其指导者2602可以使用VR时间线2628在时间上根据需要向后或向前导航的时间片。在一些情况下,操纵VR时间线2628可能影响整个组的VR时间线。指导者2602可以控制所呈现的材料,包括可以由指导者2602动态添加的一个或更多个对象2604、2606。对象2604、2606可以被添加到为指令目的而构建的背景中,或者被添加到由一个或更多个VR、AR和/或XR系统提供的虚拟或增强现实中。对象2604、2606还可以包含嵌入的链接和元数据,该组或该组的成员(如果这样允许或选择的话)可以进一步检查该对象和/或提供关于该对象本身的更多细节。这可能包括更多信息,诸如:
a)教案的一部分,
b)关于做什么的提示,
c)如何获得该特定对象作为AR或虚拟现实VR对象,
d)如何在现实世界中获得该特定对象,和/或
e)测试。
学生或其他参与者2612、2614、2616、2618的存在和参与级别可以由指导者2602控制。参与者2612、2614、2616、2618可以通过不同类型的VR、AR和/或XR系统、通过公共XR管理器900提供的服务来加入体验式教学场景2600。参与可能需要指导者2602的邀请、订阅和/或同意。一些参与者2612、2614、2616、2618可以与体验式教学场景2600内的指导者2602和/或对象2604、2606交互。一些参与者2612、2614、2616、2618可以是通过体验式教学场景2600提供的指令的观察者或审计者。
指导者2602可以访问关于参与者2612、2614、2616、2618的信息。例如,控制机制2622中包括的状态信息可以列出指令中参与或审核的参与者2612、2614、2616、2618。状态信息可以标识指令中的参与者参与级别,这可以由相应的参与者情境来提供。在一些实现中,参与者情境可以报告参与者的活动,并且公共XR管理器900可以将这样的活动与体验式教学场景2600和/或体验式教学场景2600中的对象2604、2606相关联。指导者2602例如可以警告分心、看向错误的方向(例如,参见图23中的线23101和23102)和/或从事与指令无关的活动(例如,参见图22中的参与者2226)的参与者2612、2614、2616、2618。指导者2602可以根据需要通过私人会话直接向一个或更多个参与者发送消息或讲话。
指导者2602可以动态地控制体验式教学场景2600的某些方面。控制机制2622、2624、2626、2628、2630可以由指导者2602在体验式教学场景2600内操纵。某些控制机制2624可以与体验式教学场景2600内的参与者2612、2614、2616、2618和对象2604、2606的管理相关。某些控制机制2626可以与活动的控制相关,这些活动与体验式教学场景2600内参与者2612、2614、2616、2618和对象2604、2606相关。某些控制机制2628、2630可以与体验式教学场景2600本身的管理以及体验式教学场景2600所在的时间线相关。一些控制机制2622、2624、2626、2628、2630将被用于生成、显示或调用该情境现实的对象。对象可能出现在特定位置,也可能出现在领导通过参考UUID或类似地指定的位置。一旦所有参与者2612、2614、2616、2618都看到了对象,一些控制机制2622、2624、2626、2628、2630可以被用于使参与者2612、2614、2616、2618聚集在该位置,或者使参与者2612、2614、2616、2618看着该对象。一些控制机制2622、2624、2626、2628、2630可被用于将一个、任意数量或所有参与者2612、2614、2616、2618从彼此隐藏起来,以便不妨碍彼此观看对象。这可能包括隐藏领导。一些控制机制2622、2624、2626、2628、2630也可被用于指示例如激光、领导正在讨论或希望参与者2612、2614、2616、2618观看哪些对象。如前所述,所有实时完成的动作都被分配了时间戳,以指示这些动作何时完成以及产生了什么体验(例如参见图18-23)。
每个控制机制2622、2624、2626、2628、2630可以具有作为到公共XR管理器900的独立信道的独立逻辑信道潜力。公共XR管理器900可以将来自控制机制2622、2624、2626、2628、2630的输入覆盖或集成到现实情境中提供的VR或AR内容上。公共XR管理器900可以处理和解释来自控制机制2622、2624、2626、2628、2630的输入,并且可以生成可以通过逻辑连接传输的请求和命令,并且在一些情况下,可以响应于该输入建立附加的逻辑连接。在一些情况下,来自控制机制2622、2624、2626、2628、2630的输入触发某些预先配置的动作。
在一个示例中,控制机制2622可以警告指导者2602学生已经离开该组或者正在看与该组或组活动无关的东西。可以配置自动警告,提醒该学生该学生已被标记为未参与。在一些实现中,可以拨打控制机制2624以允许移除学生或对象。在一些实现中,可以拨打控制机制2624来召唤学生或对象,其中召唤学生或对象可以具有不同的效果。在一个示例中,学生可以被召唤并且可以可选地前进到由指导者2602指示的聚集点。在另一个示例中,当指导者2602召唤时,学生或对象可以自动转移到聚集点。基于由VR/AR/XR体验定义的订阅、活动类型和政策,除领导者之外的参与者2614可以通过参与者控件2632在一个或更多个级别上参与(更多细节参见图28)。
根据本文公开的某些方面,公共XR管理器900可以由第三方操纵。在一个示例中,赞助商或其他内容供应商可以提供与指令相关的产品信息,包括视频、音频、图像和/或对象的3D表示。可以向内容供应商提供识别将在体验式教学场景2600中讨论或突出显示的产品类型的信息。提供给内容供应商的信息可以标识要显示的产品的显示位置、视角和尺寸的方面。公共XR管理器900可以配置体验式教学场景2600和内容供应商之间的逻辑连接,该逻辑连接允许内容供应商在体验式教学场景2600中安装产品的图像或3D表示。在一些情况下,体验式教学场景2600和内容供应商之间的逻辑连接是双向的,并且允许内容供应商和指导者2602和/或参与者2612、2614、2616、2618之间的交互。在一个示例中,指导者2602和/或参与者2612、2614、2616、2618可以浏览与所展示的产品相似的产品。在另一个示例中,指导者2602和/或参与者2612、2614、2616、2618可以选择访问由内容供应商维护的现实情境。
根据在此公开的某些方面,公共XR管理器900可以被配置为代理在共享环境(诸如体验式教学场景2600)内的对象的访问权利、相关联的成本和显示转换,从而允许存在于一个现实情境106中的对象跨两个或更多个现实情境106被实例化,同时保留知识产权并实施许可证或法规所必需的限制。在某些实现中,可以在VR、AR和/或XR体验中现场获得临时访问。例如,可以基于订阅或销售点接口在不离开当前的VR、AR和/或XR情境、空间或体验的情况下获得、更新或调用访问权利。参与者权利、对象信息、显示要求和/或外部情境信息可以作为附加到XR管理器900系统内的参与者2612、2614、2616、2618和对象的元数据来维护。
在一些实现中,“浮动”对象可以覆盖VR/AR内容。浮动对象可能是可操作的。例如,浮动对象可能有一个教学管理对象,其可以浮动在学生或领导者的屏幕上。在一些情况下,可以根据需要提供指导链接,包括可以被分类为广告放置的链接。
在一些实现中,“嵌入的”对象可以保持相对于位于内容本身内的某些对象的定位。在一个示例中,可以定义识别类型的基于AR的嵌入的对象,其中可以出于教学目的而识别散热器、椅子或楼梯。在某些情况下,领导者可以动态地或在指令发起之前定义嵌入的对象。对该对象的动作可以是由参与者2612、2614、2616、2618存储整个对象,用于随后更完整的查看。在某些情况下,嵌入的对象可以在参与者XR环境中的后续查看中得到增强或更充分地使用。
在一些实现中,“突出显示”对象可用于增强参与者存在。在一个示例中,参与者化身可以用可穿戴内容、假发和/或纹身来装饰。化身本身的角色可以被选择,从而使得它可以被其他参与者2612、2614、2616、2618识别并被存储以备后用。突出显示对象可以包括已经购买或通过许可获得的对象。突出显示对象可以实现VR、AR和/或XR系统中的某些识别或轮廓特征。
根据本文公开的某些方面,VR/AR/XR体验中的参与者2612、2614、2616、2618可以包括一个或更多个领导者、订阅者和/或受邀者。VR/AR/XR体验可以在一个场所内被提供,该场所包括一个或更多个不同的VR现实情境和/或环境,这些情境和/或环境可以被组合或单独用于涉及单个参与者或多参与者组的事件。在某些示例中,VR/AR/XR体验可以被构建为旅游、培训、教育或其他活动或用于其他目的。
组活动中的参与者2612、2614、2616、2618可以包括一个或更多个领导者,他们可以控制或管理VR/AR/XR会话,并且可以充当VR/AR/XR会话的讲师、向导或指导者2602。领导者可以调用、配置和/或控制人工智能虚拟助理(AIVA),该人工智能虚拟助理可以被配置为监控和响应参与者的请求、动作和需求。对于VR/AR/XR会话、VR/AR/XR会话的某些部分和/或VR/AR/XR体验,领导者可以将责任和控制委托给AIVA。领导者和AIVA可以在VR/AR/XR体验中呈现为混合领导者(本文称为“Maestro”),其中AIVA和领导者的相对贡献可以由领导者来配置。在一个示例中,AIVA可以被分配来监控个体参与者2612、2614、2616、2618的参与级别,响应来自参与者2612、2614、2616、2618的查询,并且向与参与有关的领导者提供先前活动的回放、VR/AR/XR体验内的指导以及反馈。在另一个示例中,AIVA可以被分配来呈现VR/AR/XR体验的核心材料,或者以其他方式指导VR/AR/XR体验。
领导者以外的参与者可以根据VR/AR/XR体验定义的订阅、活动类型和政策,在一个或更多个级别参与组活动。政策可以被定义为政府、机构、企业或个人采用或提议的行动方针或原则。在现实情境或VR/AR/XR体验中个人情况或组情况可以采用政策,包括领导者和机构要求。例如,组活动中的参与者2612、2614、2616、2618包括事件会话中的个体参与者(出席者)、培训会话中的个体参与者(受训者)以及旅游中的个体参与者(游客)。
领导者可以通过预配置发起VR/AR/XR体验。预配置可用于配置一个或更多个事件、与事件相关联的场所,以及识别VR/AR/XR体验中的参与者2612、2614、2616、2618。领导者可以配置个体参与者的体验、访问和权利。在一些情况下,参与者2612、2614、2616、2618可以被分配要在VR/AR/XR体验中要执行的义务和/或任务。领导者可以在预配置期间配置AIVA参与级别。领导者可以在预配置期间配置时间限制。在一个示例中,领导者可以配置开始时间、结束时间、VR/AR/XR体验的最小持续时间和/或VR/AR/XR体验的最大持续时间。领导者可以在预配置期间为一个或更多个参与者2612、2614、2616、2618配置目标以及用于判断目标表现的度量。
图27示出在VR时间线、现实情境和/或现实类型内提供给讲解员、指导者、向导、陪同或其他领导者的场景2700的示例。各种元素被叠加在场景2700上。通用状态信息可以包括指示领导者遵守演示时间表的定时状态2702。参与者信息2704可以识别活动的、未聚焦的和/或不活动的参与者。信息面板2706可以被提供作为领导者的教案、指南或地图。字幕2708可以被显示为领导者所讲的转录、关于当前路标的提示或所公开信息的摘要。在所示的示例中,转录材料的元素被突出显示。在一些实现中,突出显示可以由系统通过领导者将注意力指向或集中到在情境现实中识别的特定元素来自动生成。其他机制可用于自我识别,或让领导者帮助识别需要关注的要素,例如,在教案中详细说明的要素。
可以提供系统状态信息2710和到AIVA的接入点2712。可以显示参与者表现字段2714,以允许领导者识别参与者并与之通信。在所示的示例中,参与者-5 2724在参与者表现字段2714中被标记有要发送给参与者-5的存储消息。给参与者的该存储消息可以自动生成,并且可以在领导者将注意力集中到参与者-5的相应参与者表现字段元素或一些其他动作组合时发起。领导者可以通过聊天窗口2716与一个或更多个参与者私下通信。领导者可以通过图标2718激活记录器来记录笔记和观察,和/或可以通过用户接口2720提供文本笔记和观察或选择复选框、预定义文本脚本。
图28示出在VR时间线、现实情境和/或现实类型内提供给参与者的场景2800的示例。各种元素被叠加在场景2800上。通用状态信息2802可以提供定时状态和搜索能力。可以提供帮助分组2806,其使得参与者能够寻求在线帮助,包括来自AIVA的帮助,和/或向领导者标记需要帮助。字幕2804可以被显示为关于当前路标的所公开信息的概要。在所示的示例中,字幕2804显示领导者关于当前路标公开的信息所表达的转录。参与者可以通过聊天窗口2810与领导者或一个或更多个参与者私下通信。参与者可以记录会话,和/或通过多媒体图标2812访问回放。在一些情境中,领导者可以由化身2814表示。在AR情境中,可以显示领导者的图像。其他参与者可以由对应的化身2816或为参与者查看器配置的其他实体来表示。在某些情况下,某些参与者未在场景中被表示。参与者的表示可由机构、领导或参与者的个人选择决定。机构、领导者或参与者可以确定不显示参与者的表示。
图29示出场景2900,其可以被构建成包括多个虚拟现实情境或者与多个虚拟现实情境交互。在一个示例中,场景2900可以被用于发起课堂事件。在一些实现中,场景2900可以被构建在叠加在物理会议室或教室上的增强现实情境中。存在于物理会议室或教室中的视听和其他设备可以被集成到场景中。在一些情况下,可以通过增强现实情境来提供显示系统2902。材料可以通过显示系统2902呈现给该组。在另一个示例中,场景2900可以在虚拟现实情境中构建,该虚拟现实情境可以被设计成类似于会议室或教室或用作会议室或教室。材料可以通过显示系统2902呈现给组,其中显示系统2902是通过虚拟现实情境提供的。
一组参与者可以聚集在场景2900内。参与者可以被领导者召唤(例如参见图26中的控制机制2624),并且或者可以通过他们自己的动作进入场景2900。场景2900可以链接到其他AR、VR、XR场景和/或元素。在一个示例中,显示在显示系统2902上的演示可以包括由虚拟化对象表示的元素,该虚拟化对象可以以各种方式被引入场景2900。在一个示例中,呈现可以包括作为指令或讨论主题的对象2910的图像。
公共XR管理器可以管理演示和一个或更多个虚拟化对象之间的关系。例如,这些关系可以通过脚本或教案来定义。在一个示例中,领导者可以将一个或更多个虚拟化对象2906带入场景2900,同时讨论显示在显示系统2902上的对象2910的相关图像。在另一个示例中,领导者可以使得门户2904被打开,并且该组可以通过门户2904转换到不同的现实情境或者从不同的现实情境转换。在所示的示例中,门户2904通向显示系统2902上显示的演示中描绘的虚拟房间,其中作为指令或讨论主题的对象2910存在于虚拟房间中。对象2910可以在虚拟房间中以3D形式表示。在一些情况下,可以在通过门户访问的虚拟空间内的360°视图中查看对象2910。
编辑过程示例
图30包括简图3000、3020,简图3000、3020示出讲解员、指导者3002、向导3006、培训师3004、陪同人员或其他领导者可以采取教学课程大纲、教案3010或类似的教学材料,将该材料输入到TCXR编辑器3022中,并构建一个或更多个现实情境供以后使用的过程。TCXR编辑器3022允许领导通过创建各种对象UUID(如上所述)将他们准备的课程材料与现实情境相结合,从而使得那些被识别的对象可以在现实情境VR体验期间被显示。通过这种方式,被识别的对象可以被领导者操纵、被参与者看到,并且基于该对象的视图、分组、讨论或问题导出度量。
在某些实现中,TCXR编辑器3022可以构建定义在多参与者环境中的四维会话的脚本。在一个示例中,对象可以在一个或更多个教案3010中被识别,并被用于创建要在会话中遍历的场景。会话配置信息2200和对象配置信息2210可以嵌入教案3010中和/或被单独提供。时间线或节奏可以在教案3010中定义和/或被单独提供。所得到的现实情境可以包括根据场景特定的时间线展开的场景,其具有根据对象特定的时间线成为关注焦点的对象。TCXR编辑器3022可以定义会话脚本,该脚本可以由领导者定制或修改,并且可以适于适应注册进入体验的任何数量的参与者。
在一些实现中,TCXR编辑器3022可以定义相对开始和结束时间,该相对开始和结束时间可以被映射到由领导者定义的开始和结束时间。在一些情况下,时间线可以被缩放以适合由领导者定义的开始和结束时间。
图31示出系统3100的示例,其中讲解员、指导者、向导、教练、陪同或其他领导者可以将教学课程大纲、教案或类似的教学材料3102输入到TCXR情境现实创建器(“CRC”)工具3120中,并构建一个或更多个现实情境3130供以后使用。
CRC工具3120通过将可用的3D编辑器3122(诸如
Figure BDA0003423335330000471
编辑器)3122结合TCXRCR编辑器3126和TCXR CR可视化工具3124使用,允许领导或指定的编辑器整合准备好的课程材料。3D编辑器3122可以包括接收或提供教学材料3102的模块或电路3132和/或组装、编辑和/或合并教学材料3102以获得聚集或组合的输入的模块或电路3132。聚集或组合的输入被提供给TCXR CR可视化工具3124,其可以逐页、逐元素和/或逐对象地解析教学材料3102,并且在来自领导或指定编辑器的输入或控制下,不仅可以识别重要的对象,还可以识别时间线、通过各种场景和/或情境的路径、位置和预期的参与者活动。这些将在下面参考图32进一步详细描述。CRC工具3120利用TCXR CR编辑器和/或UUID管理器3128来获取、验证和输入UUID 3136,包括对应于输出情境现实(R-UUID)的预期所有者的UUID 3136。由UUID管理器3128管理的UUID的类型可以包括至少一个或更多个机构UUID(“I-UUID”)、一个或更多个组(即班级、教学、课程)UUID(“G-UUID”)和/或一个或更多个领导(即讲解员、指导者、向导、陪同、激励者、领导者)UUID(“L-UUID”)。在某些实现中,一个或更多个现实情境(“R-UUID”)可以由单个I-UUID或G-UUID或L-UUID或这些或其他UUID 3136中的数量大于一的任意者的任何组合生成。
TCXR CR可视化工具3124可以以各种格式输出现实情境。领导或指定的编辑器可以一种或更多种格式查看现实情境。例如,原始格式可被用于提供开发可视化3140,其包括表示参与者化身、一个或更多个对象3146、3148和/或其他特征的一个或更多个元素3142、3144。开发可视化3140可以帮助规划路径、转换、聚集点和控制元素的初始放置。在一些实现中,开发可视化3140可以帮助在活动会话期间规划与路径、转换、聚集点和控制元素的放置相关联的可变性,其中领导可以动态地改变预先计划或预先配置的参数。
图32示出与系统3200相关联的某些方面,系统3200包括根据本公开的某些方面提供的TCXR CR可视化工具3206。TCXR CR可视化工具3206可以对应于图31所示的TCXR CR可视化工具3124。这样,TCXR CR可视化工具3206可以以各种格式输出现实情境3208、3210。TCXR CR可视化工具3206可以允许领导或指定的编辑器不仅识别重要的对象,而且识别预期的参与者活动、时间线、路径3230、聚集点3242、3244、3246、3248和包括入口点3240和门户3236的其他位置。TCXR CR可视化工具3206可以为领导提供识别他们的课程包3202中的对象的能力,诸如桌子3232、座位3234、家园等。可以从2D或3D对象商店3204(诸如Unity商店)中检索这些识别的对象3232、3234,使得发起者能够选择要在现实情境中使用的对象。诸如3D桌子3232的所选对象可以与各种控件3222、3224、3226、3228一起被分配现实情境中的目标定位。可以向TCXR CR可视化工具3206提供对象UUID(“Oo-UUID”)和对应于Oo-UUID的其他元数据。在一个示例中,如果对象在会话的整个持续时间内是可见的、对于会话的一部分是可见的,则发起者可以决定时间刻度盘3222是否响应于来自会话领导者的触发或命令而显示。在另一个示例中,一个或更多个对象3232、3234在初始场景或情境中可能是不可见的,直到被会话的领导者调用。在另一个示例中,一个或更多个对象3232、3234在初始场景或情境中可能是不可见的,直到通过门户3236被调用。
可以使用一个或更多个对象刻度盘3224来控制包括一个或更多个对象3232、3234的位置、大小、可见性和其他属性的某些特征,对象刻度盘3224可以具有由发起者、编辑器和/或会话的领导者配置的外观。在一个示例中,会话的领导者可以将一个或更多个对象3232、3234配置为弹出对象、与聚集特征相关联和/或被选择用于“查看”特征。在另一个示例中,当选择聚集或查看功能时,发起者可以选择为包括领导者在内的参与者提供和配置不可见模式。
在另一个示例中,发起者可以在现实情境中分配路径3230(或多个路径)。路径3230可被用于跟踪参与者在场景或情境中的通过和/或与路径3230或所选路径的偏离。当在对象3232、3234或门户3236之间行走时,参与者可以遵循路径3230。当发起者设置这些路径时,他们可以分配基于与领导、路径3230、聚集点3242、3244、3246、3248和/或对象3232、3234的距离来要触发的警报。发起者的另一个能力是确定对象相对于时间效果如何表现,这可以由研究刻度盘3228指示或配置。研究刻度盘3228可以提供控制,该控制影响对象最初应该被观察的时间、从对象离开的预期时间以及用于在实际时间少于或更多于配置或预期时警告领导的触发器3256。
在另一个示例中,在课程包3202中标识的对象可以对应于可通过门户3236访问的家园、不同场景或不同现实情境。门户3236可以被创建用于将参与者运送到家园的渲染的3D对象、不同的场景或不同的现实情境的目的。在某些情况下,可以通过对象商店或类似机构找到或购买家园。
可配置控件3222、3224、3226、3228可以被初始设置为基于发起者的先前历史的默认值。与控件3222、3224、3226、3228相关联的值可以由领导实时修改,或者如果允许,甚至可以由AIVA实时修改。
其他类型的UUID可以结合对象UUID(“Oo-UUID”)在现实情境中被使用,诸如演示UUID(Op-UUID)、剧场UUID(“Ot-UUID”)、门户UUID(“Or-UUID”)、位置UUID(“Ol-UUID”)以及其他类型的UUID来标识或说明时间位置(“CL-UUID”)、触发点(“CT-UUID”)或标记点(“CM-UUID”)。
这些对象可以用一个标识符来标记,该标识符表明发起者可以在其他情境现实中使用它。在一些情况下,公共XR管理器900不仅可以针对该现实情境,还可以针对可以被配置为使用该相同对象的任何其他现实情境(也参见图9所示的服务间购买子系统928和DRM子系统930),将许可和与该对象相关联的其他合同权利相关联。该对象在其他现实情境中可以具有其他特征,这取决于发起者如何确定例如时间刻度盘3222、对象刻度盘3224、路径对象刻度盘3226和研究刻度盘3228的设置。
发起者也可能决定在现实情境中包含一个可见的AVIA。根据需求或需要,所有对象特性都在AVIA上可被使用。在某些情况下,可能会禁用对象特性。
处理电路的示例
图33是示出装置3300的硬件实现的示例的图。在一些示例中,装置3300可以执行本文公开的一个或更多个功能。根据本公开的各个方面,可以使用处理电路3302来实现本文公开的元件或元件的任何部分或元件的任何组合。处理电路3302可以包括由硬件和软件模块的某种组合控制的一个或更多个处理器3304。处理器3304的示例包括微处理器、微控制器、数字信号处理器(DSP)、SoC、ASIC、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、定序器、选通逻辑、分立硬件电路以及被配置为执行贯穿本公开描述的各种功能的其他合适的硬件。一个或更多个处理器3304可以包括专用处理器,专用处理器执行特定功能,并且可以由软件模块3316中的一个来配置、增强或控制。一个或更多个处理器3304可以通过在初始化期间加载的软件模块3316的组合来配置,并且通过在操作期间加载或卸载一个或更多个软件模块3316来进一步配置。
在所示的示例中,处理电路3302可以用总线架构来实现,该总线架构通常由总线3310来表示。总线3310根据处理电路3302的具体应用和总体设计约束,可以包括任意数量的互连总线和桥。总线3310将包括一个或更多个处理器3304和储存器3306的各种电路链接在一起。储存器3306可以包括存储器设备和大容量存储设备,并且在本文中可以被称为计算机可读介质和/或处理器可读介质。储存器3306可以包括暂时存储介质和/或非暂时存储介质。
总线3310还可以链接各种其他电路,诸如定时源、定时器、外围设备、电压调节器和电源管理电路。总线接口3308可以提供总线3310和一个或更多个收发器3312之间的接口。取决于装置3300的性质,还可以提供用户接口3318(例如,键盘、显示器、扬声器、麦克风、操纵杆),并且可以将用户接口3318直接或通过总线接口3308通信耦合到总线3310。
处理器3304可以负责管理总线3310和通用处理,通用处理可以包括执行存储在包括储存器3306的计算机可读介质中的软件。在这方面,包括处理器3304的处理电路3302可被用于实现本文公开的任何方法、功能和技术。储存器3306可被用于存储在执行软件时由处理器3304操纵的数据,并且软件可以被配置为实现本文公开的任何一种方法。
处理电路3302中的一个或更多个处理器3304可以执行软件。无论是被称为软件、固件、中间件、微码、硬件描述语言还是其他,软件应广义地理解为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子程序、对象、可执行程序、执行线程、过程、函数、算法等。软件可以以计算机可读形式驻留在储存器3306或外部计算机可读介质中。外部计算机可读介质和/或储存器3306可以包括非暂时性计算机可读介质。举例来说,非暂时性计算机可读介质包括磁存储设备(例如,硬盘、软盘、磁条)、光盘(例如,光盘(CD)或数字多功能盘(DVD))、智能卡、闪存设备(例如,“闪存驱动器”、卡、棒或密钥驱动器)、RAM、ROM、可编程只读存储器(PROM)、包括EEPROM的可擦除PROM(EPROM)、寄存器、可移动盘以及用于存储可被计算机访问并读取的软件和/或指令的任何其他合适的介质。举例来说,计算机可读介质和/或储存器3306还可以包括载波、传输线和用于传输可由计算机访问和读取的软件和/或指令的任何其他合适的介质。计算机可读介质和/或储存器3306可以驻留在处理电路3302中、处理器3304中、处理电路3302外部,或者分布在包括处理电路3302的多个实体中。计算机可读介质和/或储存器3306可以体现在计算机程序产品中。举例来说,计算机程序产品可以包括包装材料中的计算机可读介质。本领域的技术人员将认识到如何根据特定的应用和施加在整个系统上的总体设计约束来最好地实现贯穿本公开呈现的所描述的功能。
储存器3306可以维护以可加载代码段、模块、应用、程序等形式维护和/或组织的软件,其在本文中可以称为软件模块3316。每个软件模块3316可以包括指令和数据,当它们被安装或加载到处理电路3302上并由一个或更多个处理器3304执行时,有助于控制一个或更多个处理器3304的操作的运行时图像3314。当被执行时,某些指令可以使处理电路3302根据本文描述的某些方法、算法和过程来执行功能。
一些软件模块3316可以在处理电路3302的初始化期间被加载,并且这些软件模块3316可以配置处理电路3302以实现本文公开的各种功能的执行。例如,一些软件模块3316可以配置处理器3304的内部设备和/或逻辑电路3322,并且可以管理对诸如收发器3312、总线接口3308、用户接口3318、定时器、数学协处理器等外部设备的访问。软件模块3316可以包括控制程序和/或操作系统,该控制程序和/或操作系统与中断处理程序和设备驱动程序交互,并且控制对由处理电路3302提供的各种资源的访问。资源可以包括存储器、处理时间、对收发器3312的访问、用户接口3318等等。
处理电路3302的一个或更多个处理器3304可以是多功能的,由此一些软件模块3316被加载和配置成执行不同的功能或相同功能的不同实例。例如,一个或更多个处理器3304可以另外适于管理响应于来自用户接口3318、收发器3312和设备驱动器的输入而发起的后台任务。为了支持多个功能的执行,一个或更多个处理器3304可以被配置为提供多任务环境,由此多个功能中的每一个被实现为由一个或更多个处理器3304根据需要或期望服务的一组任务。在一个示例中,多任务环境可以使用分时程序3320来实现,分时程序3320在不同任务之间传递处理器3304的控制,由此每个任务在完成任何未解决的操作时和/或响应于诸如中断的输入,将对一个或更多个处理器3304的控制返回给分时程序3320。当任务具有对一个或更多个处理器3304的控制时,处理电路有效地专用于与控制任务相关联的功能所解决的目的。分时程序3320可以包括操作系统、基于循环转移控制的主循环、根据功能的优先级分配对一个或更多个处理器3304的控制的功能、和/或通过向处理功能提供对一个或更多个处理器3304的控制来响应外部事件的中断驱动主循环。
图34是示出用于建立多领域、计算机生成的现实的方法的流程图3400。该方法可以由公共XR管理器900或能够管理或控制多设备VR、AR和/或XR系统的另一控制器来执行。在框3402,控制器认证耦合到管理或控制多领域、计算机生成的现实的控制器的第一设备和第二设备的用户。在框3404,控制器从第一设备接收消息,该消息包括参与多领域应用的请求。在框3406,控制器配置控制器和第二设备之间的第一通信路径。在框3408,控制器配置第一设备和第二设备之间的第二通信路径。在框3410,控制器可以通过第一通信路径发送至少一个与多领域应用相关的消息。
在一些实现中,该方法可以通过第二逻辑连接在计算机生成的现实中建立第二现实情境的第二参与者的存在,同时保持第二参与者在第二现实情境中的存在。该方法可以包括配置在计算机生成的现实和第三现实情境之间的第三逻辑连接,以及将内容提供商通过第三逻辑连接提供的内容集成到计算机生成的现实中。内容可以包括视频反馈、音频反馈、图像或对象的3D表示。在一些情况下,内容包括对由内容提供商维护的另一个计算机生成的现实的访问。
在某些示例中,该方法包括通过各自的逻辑连接监控计算机生成的现实中的第一参与者和第二参与者的活动,并且通过在计算机生成的现实和与指导者相关联的第四现实情境之间建立的第三逻辑连接将第一参与者和第二参与者的状态传达给指导者或向导。该方法可以包括接收表示在计算机生成的现实中对一个或更多个控制机制的操纵的控制信息,以及响应于该控制信息修改由第一参与者或第二参与者体验的计算机生成的现实。控制机制可以在第四现实情境中显示,而在第一现实情境中隐藏。
在一些示例中,修改计算机生成的现实包括终止第一参与者或第二参与者的存在。修改计算机生成的现实可以包括沿着计算机生成的现实的时间线移动。修改计算机生成的现实可以包括从计算机生成的现实中添加或移除对象。
在一些实现中,该方法包括从不同的计算机生成的现实中导入对象的3D表示。导入对象的3D表示可以包括在导入之前从3D表示的所有者获得许可,并将3D表示与第一参与者相关联。
在一些实现中,建立第一参与者的存在包括在第一现实情境和计算机生成的现实之间配置触觉反馈。计算机生成的现实可以包括仿真,或者计算机生成的现实实现体验式教学现实。
图35是示出用于管理多领域、计算机生成的现实的方法的流程图3500。在框3502,管理器可以确定第一参与者的每个活动与会话期间与受管现实系统的遍历相关联的多个活动中的每一个的对应基线活动之间的一个或更多个差异。在框3504,管理器可以量化一个或更多个差异以获得表现度量。在框3506,管理器可以组合第一参与者的每个活动的至少一个表现度量,以获得第一参与者的会话表现测量值。
在一些实现中,基线活动与会话的领导者相关。基线活动可以从先前会话的聚集中获得。一个或更多个差异可以包括第一参与者的化身与会话领导者的化身的位置的差别。一个或更多个差异可以包括第一参与者的化身到达某个位置的时间和会话的领导者的化身到达该位置的相应时间的差别。一个或更多个差异可以包括第一参与者的化身离开一个位置的时间和会话的领导者的化身离开该位置的相应时间的差别。一个或更多个差异可以包括第一参与者的化身在一位置的停留时间与会话领导者的化身的在该位置处相应停留时间的差别。
在某些实现中,该方法包括基于从由第一参与者在参与会话时操作的设备管理的一个或更多个传感器接收的输入来确定第一参与者的关注度参数,并且当获得第一参与者的会话表现测量值时,将关注度参数与第一参与者的每个活动的至少一个表现度量相结合。一个或更多个传感器可以包括运动传感器。一个或更多个传感器可以包括位置传感器。一个或更多个传感器可以包括音频传感器。
在一些实现中,确定关注度参数包括监控第一参与者的聊天活动。确定关注度参数可以包括监控第一参与者对系统信息的访问。计算机生成的现实可以包括仿真。计算机生成的现实可以实现体验式教学现实。
图36是示出用于操作虚拟现实系统的方法的流程图3600。虚拟现实系统可以是可以使用VR/AR/XR管理器操作的多领域、计算机生成的现实。在框3602,管理器可以提供包括第一场景的第一虚拟或增强现实情境。在框3604,管理器可以使一个或更多个参与者聚集在第一场景内。在框3606,管理器可以呈现第一虚拟或增强现实情境中的对象的图像。在框3608,管理器可以在第一虚拟或增强现实情境中或者在第二虚拟或增强现实情境中提供对象的虚拟化版本。
在一些情况下,可以通过提供第一场景内的对象的三维表示来提供对象的虚拟化版本。在一些情况下,可以通过提供在第一虚拟或增强现实情境和第二虚拟或增强现实情境之间提供通道的门户,以及通过提供在第二虚拟或增强现实情境中提供的第二场景内的对象的三维表示,来提供对象的虚拟化版本。
管理器可以使一个或更多个参与者聚集在对象的虚拟化版本附近,并抑制提供给虚拟现实系统内的第一参与者的多个参与者的视觉表示,从而使多个参与者进入不可见模式。当第二参与者与第一参与者分开为虚拟现实系统配置的最小距离时,管理器可以恢复第二参与者的视觉表示。第一虚拟或增强现实情境可以由定义多个场景、每个场景中包括的一个或更多个对象以及用于遍历多个场景的时间线的编辑器生成。编辑器可以从教案中生成每个场景。
图37是示出用于管理虚拟现实系统的方法的流程图3700。虚拟现实系统可以是可使用VR/AR/XR管理器操作的多领域、计算机生成的现实。在框3702,管理器可以接收由在受管现实系统上进行的会话中的参与者佩戴的设备中的一个或更多个传感器生成的信息。由一个或更多个传感器生成的信息可以指示参与者的焦点或视点。在框3704,管理器可以基于由一个或更多个传感器生成的信息提供参与者的焦点测量值。每个焦点测量值可以表征参与者在参与和会话相关联的多个活动时对会话的领导者或由会话的领导者指示的一个或更多个对象的焦点持续时间。在一些情况下,焦点测量值可以指示参与者第一次关注会话的领导者或会话的领导者所指示的对象的时间点、参与者最后一次关注会话的领导者或会话的领导者所指示的对象的时间点、或活动的一些其他时间方面。在框3706,管理器可以计算参与者的焦点测量值和会话的相应基线焦点测量值之间的差异。在框3708,管理器可以通过量化差异来为参与者生成会话表现度量。
在一个示例中,管理器可以在管理或控制多领域、计算机生成的现实的控制器处认证现实情境的用户,使用一个或更多个物理通信信道配置现实情境和多领域、计算机生成的现实之间的逻辑连接,并且通过逻辑连接建立用户作为多领域、计算机生成的现实中的参与者的存在,同时保持用户在现实情境中的存在。
在一个示例中,基线焦点测量值是通过对会话中多个参与者的焦点测量值进行统计分析而获得的。基线焦点测量值可以基于在受管现实系统上进行的多个会话中的多个参与者的总焦点测量值。基线焦点测量值可以包括参与者的化身和会话领导者的化身的位置之间的相对差别的测量值。基线焦点测量值可以包括参与者的化身的位置和由会话的领导者指示的对象之间的相对差别的测量值。基线焦点测量值可以包括参与者的化身到达某个位置的时间与会话领导者的化身到达该位置的相应时间之间的差别。基线焦点测量值可以包括参与者的化身在一个位置的停留时间或离开时间以及会话的领导者的化身离开该位置的相应时间的差别。
在一个示例中,差异包括参与者的化身在一个位置的停留时间和会话的领导者的化身在该位置的相应停留时间的差别。差异可以包括参与者的化身到达该位置的时间和会话的领导者的化身到达该位置的相应时间的差别。差异可以包括参与者的化身从该位置的离开时间和会话的领导者的化身从该位置的相应离开时间的差别。该位置可能是一个聚集点。
在一个示例中,一个或更多个传感器包括运动传感器或位置传感器、摄像头。差异可以包括参与者的化身与会话的领导者的化身的距离。差异可以包括参与者的化身与会话的领导者指出的对象的距离。差异可以包括参与者的化身离一个位置的距离和会话的领导者的化身离该位置的距离的差别。该位置可能是一个聚集点。
在某些示例中,提供参与者的焦点测量值包括监控参与者的聊天活动。提供参与者的焦点测量值可以包括监控参与者对系统信息的访问。
在一个示例中,管理器可以向会话的领导者提供多个参与者的焦点测量值。当相应的会话表现度量正在生成时,管理器可以向会话的领导者显示多个参与者的活动表现度量。计算机生成的现实可以包括仿真。计算机生成的现实可以实现体验式教学现实。
图38是示出根据本公开的某些方面的用于创建虚拟现实系统的方法的流程图3800。虚拟现实系统可以是可以使用VR/AR/XR管理器操作的多领域、计算机生成的现实。在框3802,可以生成与第一活动相关联的对象的3D表示。对象的3D表示可以被分配唯一的标识符,并且可以被配置为在第一现实情境中使用。在框3804,可以定义或校准对象在现实情境中的位置。在框3806,可以定义与对象相关联的一个或更多个时间点。一个或更多个时间点可以相对于第一活动的开始时间来表示。在框3808,可以为对象定义多个阈值。多个阈值可以包括基于时间的阈值和基于位置的阈值。在框3810,可以确定是否要为与第一活动相关联的附加对象生成3D表示。如果要为附加对象生成3D表示,则该方法在框3802继续。如果不为第一活动生成其他的3D表示,则在框3812,可以确定是否已经定义或配置了附加活动。在已经定义或配置了附加活动的情况下,该方法在框3802继续进行下一个活动。当没有定义或配置附加活动时,该方法在框3814继续。在框3814,当对象的三维表示中的一个或更多个参与者参与第一活动时,可以在多领域、计算机生成的现实中提供对象的三维表示。
在某些示例中,与对象相关联的一个或更多个时间点识别对象的三维表示何时在多领域、计算机生成的现实中可见。与对象相关联的一个或更多个时间点可以标识用于查看对象的三维表示的开始时间和结束时间。多个阈值可以包括开始时间和结束时间之间的最大时间段。多个阈值可以包括开始时间和结束时间之间的最小时间段。多个阈值可以包括用于查看对象的三维表示的最早开始时间。多个阈值可以包括观看对象的三维表示的最晚时间。多个阈值可以包括用于观看对象的三维表示的最大距离,该最大距离是从对象在现实情境中的位置计算的。
在某些实现中,对象的三维表示包括许可信息或定义与对象在多领域、计算机生成的现实中被提供时相关联的权利和权限的信息。在一个示例中,定义与对象相关联的权利和权限的信息可以与由图9所示的公共XR管理器900的系统管理器904中提供的DRM模块930协商、购买和/或出售的权利相关。
提供前述描述以使本领域中的技术人员能够实践本文描述的各方面。对这些方面的各种修改对本领域中的技术人员是容易明显的,并且在本文限定的一般原理可应用于其它实现方式。因此,权利要求不意在被限定在本文所示的方面中,而是意在符合与权利要求的语言一致的全部范围,其中以单数形式提及的元素并不意在表示“一个且仅一个”,除非明确地这样陈述,而是表示“一个或更多个”。除非特别说明,术语“一些”指一个或更多个。本领域中的普通技术人员已知或后续将知道的在整个本公开中描述的各方面的元素的所有结构和功能等同物通过引用被明确地并入本文并旨在为由权利要求包括。此外,本文公开的所有内容均不旨在奉献给公众,无论这些公开内容是否明确记载在权利要求中。任何权利要求要素都不应根据《美国法典》第35篇第112节第6段的规定来解释,除非该要素是使用短语“用于”明确陈述的,或者在方法权利要求的情况下,该要素是使用短语“步骤用于”陈述的。

Claims (31)

1.一种用于管理多领域、计算机生成的现实的方法,包括:
接收在受管现实系统上进行的会话中由参与者佩戴的设备中的一个或更多个传感器生成的信息,其中由所述一个或更多个传感器生成的信息指示所述参与者的焦点或视点;
基于由所述一个或更多个传感器生成的信息,提供所述参与者的焦点测量值,每个焦点测量值表征所述参与者在参与和所述会话相关联的多个活动时在所述会话的领导者上的或所述会话的领导者所指示的一个或更多个对象上的焦点持续时间;
计算用于所述参与者的所述焦点测量值和用于所述会话的对应基线焦点测量值之间的差异;和
通过量化所述差异,生成所述参与者的会话表现度量。
2.根据权利要求1所述的方法,还包括:
在管理或控制所述多领域、计算机生成的现实的控制器处,认证现实情境的用户;
使用一个或更多个物理通信信道来配置所述现实情境和所述多领域、计算机生成的现实之间的逻辑连接;和
通过所述逻辑连接,建立所述用户作为所述多领域、计算机生成的现实中的参与者的存在,同时保持所述用户在所述现实情境中的存在。
3.根据权利要求1所述的方法,其中所述基线焦点测量值是通过对所述会话中的多个参与者的焦点测量值进行统计分析而获得的。
4.根据权利要求1所述的方法,其中所述基线焦点测量值基于在所述受管现实系统上进行的多个会话中的多个参与者的总焦点测量值。
5.根据权利要求1所述的方法,其中所述基线焦点测量值包括所述参与者的化身和所述会话的领导者的化身的位置之间的相对差别的测量值。
6.根据权利要求1所述的方法,其中所述基线焦点测量值包括所述参与者的化身和由所述会话的领导者指示的对象的位置之间的相对差别的测量值。
7.根据权利要求1所述的方法,其中所述基线焦点测量值包括所述参与者的化身到达一位置的时间与所述会话的领导者的化身到达所述位置的对应时间之间的差别。
8.根据权利要求1所述的方法,其中所述基线焦点测量值包括所述参与者的化身在一位置的停留时间或离开的时间与所述会话的领导者的化身离开所述位置的对应时间的差别。
9.根据权利要求1所述的方法,其中所述差异包括所述参与者的化身在一位置的停留时间与所述会话的领导者的化身在所述位置的相应停留时间的差别。
10.根据权利要求1所述的方法,其中所述一个或更多个传感器包括运动传感器或位置传感器。
11.根据权利要求1所述的方法,其中所述一个或更多个传感器包括摄像头。
12.根据权利要求1所述的方法,其中提供所述参与者的焦点测量值包括:
监控所述参与者的聊天活动。
13.根据权利要求1所述的方法,其中提供所述参与者的焦点测量值包括:
监控所述参与者对系统信息的访问。
14.根据权利要求1所述的方法,还包括:
向所述会话的领导者提供多个参与者的焦点测量值。
15.根据权利要求1所述的方法,还包括:
当对应的会话表现度量正在生成时,向所述会话的领导者显示多个参与者的活动表现度量。
16.根据权利要求1所述的方法,其中所述计算机生成的现实包括仿真。
17.根据权利要求1所述的方法,其中所述计算机生成的现实实现体验式教学现实。
18.一种用于操作虚拟现实系统的方法,包括:
提供包括第一场景的第一虚拟或增强现实情境;
使一个或更多个参与者聚集在所述第一场景内;
在所述第一虚拟或增强现实情境中呈现对象的图像;和
在所述第一虚拟或增强现实情境中或在第二虚拟或增强现实情境中提供所述对象的虚拟化版本。
19.根据权利要求18所述的方法,其中提供所述对象的虚拟化版本包括:
在所述第一场景内提供所述对象的三维表示。
20.根据权利要求18所述的方法,其中提供所述对象的虚拟化版本包括:
提供门户,所述门户提供所述第一虚拟或增强现实情境和所述第二虚拟或增强现实情境之间的通道;和
在所述第二虚拟或增强现实情境中提供的第二场景内提供所述对象的三维表示。
21.根据权利要求18所述的方法,还包括:
使所述一个或更多个参与者聚集在所述对象的所述虚拟化版本附近;和
抑制提供给所述虚拟现实系统内的第一参与者的多个参与者的视觉表示,从而使所述多个参与者进入不可见模式。
22.根据权利要求21所述的方法,还包括:
当第二参与者与所述第一参与者分开了为所述虚拟现实系统配置的最小距离时,恢复所述第二参与者的视觉表示。
23.一种用于创建多领域、计算机生成的现实的方法,包括:
对于在一个或更多个文档中定义的多个活动中的每一个:
生成与第一活动相关联的对象的三维表示,其中所述对象的三维表示被分配唯一标识符,并且被配置用于第一现实情境中;
校准所述对象在所述现实情境中的位置;
定义与所述对象相关联的一个或更多个时间点,所述一个或更多个时间点相对于所述第一活动的开始时间来表达;和
为所述对象定义多个阈值,所述多个阈值包括基于时间的阈值和基于位置的阈值;和
当所述对象的三维表示中的一个或更多个参与者参与所述第一活动时,在所述多领域、计算机生成的现实中提供所述对象的三维表示。
24.根据权利要求23所述的方法,其中,与所述对象相关联的所述一个或更多个时间点识别所述对象的三维表示何时在所述多领域、计算机生成的现实中可见。
25.根据权利要求23所述的方法,其中与所述对象相关联的所述一个或更多个时间点识别用于查看所述对象的三维表示的开始时间和结束时间。
26.根据权利要求25所述的方法,其中所述多个阈值包括所述开始时间和所述结束时间之间的最大时间段。
27.根据权利要求26所述的方法,其中所述多个阈值包括所述开始时间和所述结束时间之间的最小时间段。
28.根据权利要求25所述的方法,其中所述多个阈值包括用于查看所述对象的三维表示的最早开始时间。
29.根据权利要求25所述的方法,其中所述多个阈值包括用于查看所述对象的三维表示的最晚时间。
30.根据权利要求25所述的方法,其中所述多个阈值包括用于查看所述对象的三维表示的最大距离,所述最大距离是从所述对象在所述现实情境中的位置计算的。
31.根据权利要求23所述的方法,其中所述对象的三维表示包括许可信息或定义当在所述多领域、计算机生成的现实中提供时与所述对象相关联的权利和权限的信息。
CN202080045461.4A 2019-04-22 2020-04-22 虚拟、增强和扩展现实系统 Pending CN113994385A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962837141P 2019-04-22 2019-04-22
US62/837,141 2019-04-22
US201962867224P 2019-06-26 2019-06-26
US62/867,224 2019-06-26
US201962903710P 2019-09-20 2019-09-20
US62/903,710 2019-09-20
US202062986621P 2020-03-06 2020-03-06
US62/986,621 2020-03-06
PCT/US2020/029367 WO2020219581A1 (en) 2019-04-22 2020-04-22 Virtual, augmented and extended reality system

Publications (1)

Publication Number Publication Date
CN113994385A true CN113994385A (zh) 2022-01-28

Family

ID=72832752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045461.4A Pending CN113994385A (zh) 2019-04-22 2020-04-22 虚拟、增强和扩展现实系统

Country Status (5)

Country Link
US (2) US11527171B2 (zh)
EP (1) EP3959693A4 (zh)
CN (1) CN113994385A (zh)
SG (1) SG11202112943QA (zh)
WO (1) WO2020219581A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11521356B2 (en) * 2019-10-10 2022-12-06 Meta Platforms Technologies, Llc Systems and methods for a shared interactive environment
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world
US11759711B2 (en) * 2021-09-28 2023-09-19 Sony Group Corporation Method for quasi-random placement of virtual items in an extended reality (XR) space
US20230237922A1 (en) * 2022-01-21 2023-07-27 Dell Products L.P. Artificial intelligence-driven avatar-based personalized learning techniques
US20230401976A1 (en) * 2022-06-12 2023-12-14 The Travelers Indemnity Company Systems and methods for artificial intelligence (ai) virtual reality (vr) emotive conversation training

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2399182B1 (en) * 2009-02-20 2014-04-09 Koninklijke Philips N.V. System, method and apparatus for causing a device to enter an active mode
US9311742B1 (en) * 2011-07-18 2016-04-12 Motion Reality, Inc. Navigating an avatar through a virtual world in a motion capture simulation environment
US10102773B2 (en) 2012-04-23 2018-10-16 The Boeing Company Methods for evaluating human performance in aviation
US9254437B2 (en) * 2012-04-25 2016-02-09 Electronic Entertainment Design And Research Interactive gaming analysis systems and methods
US10529134B2 (en) * 2013-02-01 2020-01-07 Sony Corporation Information processing device, client device, information processing method, and program
US9836192B2 (en) * 2014-02-25 2017-12-05 Evan Glenn Katsuranis Identifying and displaying overlay markers for voice command user interface
US20160180248A1 (en) * 2014-08-21 2016-06-23 Peder Regan Context based learning
CN107111894B (zh) * 2014-09-08 2022-04-29 西姆克斯有限责任公司 用于专业和教育训练的增强或虚拟现实模拟器
CN108027664B (zh) * 2015-09-28 2021-05-28 微软技术许可有限责任公司 统一的虚拟现实平台
US10088898B2 (en) * 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
US10152118B2 (en) * 2017-04-26 2018-12-11 The Virtual Reality Company Emotion-based experience freedback
US11582311B2 (en) * 2020-06-30 2023-02-14 Verizon Patent And Licensing Inc. Methods and system for adaptive avatar-based real-time holographic communication

Also Published As

Publication number Publication date
EP3959693A4 (en) 2023-04-26
US11527171B2 (en) 2022-12-13
US20230290259A1 (en) 2023-09-14
US20200335001A1 (en) 2020-10-22
WO2020219581A1 (en) 2020-10-29
SG11202112943QA (en) 2021-12-30
EP3959693A1 (en) 2022-03-02

Similar Documents

Publication Publication Date Title
US10976830B2 (en) Unified virtual reality platform
Park et al. A metaverse: Taxonomy, components, applications, and open challenges
US11527171B2 (en) Virtual, augmented and extended reality system
JP7409692B2 (ja) 対話型拡張現実表示を表示するためのシステム、方法、及び媒体
US10901586B2 (en) Augmented physical and virtual manipulatives
US11575531B2 (en) Dynamic virtual environment
CN111427533B (zh) 能够实现可动作的消息传送的虚拟助理系统
CN114902312A (zh) 用于提供技术支持的、可信的、表现反馈和体验式学习系统的系统和方法
US11069252B2 (en) Collaborative virtual environment
US10467918B1 (en) Award incentives for facilitating collaborative, social online education
US20220392175A1 (en) Virtual, augmented and extended reality system
US20170277412A1 (en) Method for use of virtual reality in a contact center environment
Shimada et al. Supporting theatrical performance practice by collaborating real and virtual space
Luna Introduction to Virtual Reality
Rostami Experimental Investigation of Advanced Metaverse Realms of Experience
Collins Mixing Realities: Leveraging Augmented Reality to Support Remote Collaboration for Educational Scenarios, Share Digital Objects Across Distance, and Demonstrate the Physical Nature of Visualizations
WO2023141660A1 (en) Systems and techniques for hybrid live and remote on-demand sessions
KR20220048350A (ko) 효율적인 소통 환경이 구현된 가상의 강의 공간을 제공하는 방법 및 디바이스
Jiang Full-body joint action in pedestrian road crossing virtual environments
GURIAN Virtual Reality and immersive technologies for knowledge sharing. An assessmenf of potential and limitations
Billinghurst MMTC Communications-Frontiers
Ogi et al. Master of Arts and Sciences, The University of Tokyo, Japan, 2017 Bachelor of Arts, Case Western Reserve University, United States, 2014

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination