CN112104593A - 融合现实现场事件管理系统和方法 - Google Patents

融合现实现场事件管理系统和方法 Download PDF

Info

Publication number
CN112104593A
CN112104593A CN202010558708.4A CN202010558708A CN112104593A CN 112104593 A CN112104593 A CN 112104593A CN 202010558708 A CN202010558708 A CN 202010558708A CN 112104593 A CN112104593 A CN 112104593A
Authority
CN
China
Prior art keywords
virtual
event
real
subspaces
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010558708.4A
Other languages
English (en)
Other versions
CN112104593B (zh
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TMRW Foundation IP and Holding SARL
Original Assignee
TMRW Foundation IP and Holding SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TMRW Foundation IP and Holding SARL filed Critical TMRW Foundation IP and Holding SARL
Priority to CN202310290391.4A priority Critical patent/CN116319926A/zh
Publication of CN112104593A publication Critical patent/CN112104593A/zh
Application granted granted Critical
Publication of CN112104593B publication Critical patent/CN112104593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123—Shopping for digital content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

被配置为实现远程查看并且参与现实或虚拟事件的精确且灵活的融合现实系统和方法。在融合现实系统中，现实世界或虚拟世界的至少一部分可以被分别复制或流式传送到被包括在虚拟世界系统内的对应的子宇宙中，其中，一些子宇宙包括客户可以从一个或多个相关联的客户物理位置查看和交互的事件。其它虚拟元素，诸如纯虚拟对象或者应用和游戏的图形表示，也可以被包括在虚拟世界系统中。虚拟对象包括提供自计算能力和自主行为的逻辑、虚拟数据和模型。该系统使得客户能够通过虚拟世界系统在事件内虚拟地访问、交互并且进行交易。

Description

融合现实现场事件管理系统和方法
背景技术
事件的远程查看通常采取作为本地受众的一部分物理上存在于事件、通过屏幕(例如，在诸如电视、个人计算机或智能手机的设备上)观看事件、通过设备记录事件用于稍后消费、或现场流式传送事件的形式。
通常，在现场流式传送事件的情况下，由服务器将它们按需流式传送到请求媒体内容的设备。然而，媒体流的性质通常是二维的，并且与媒体流内的不同元素进行交互的能力主要限于观察它们。
技术发展导致了虚拟世界的创建，该虚拟世界是提供现实或虚拟世界的图形和物理表示的模拟环境，其中，用户可以经由化身或彼此的虚拟副本来彼此进行交互或与其它元素进行交互。然而，当今虚拟世界的大多数元素不允许任何类型的交互或自主行为，限制了用户与它们进行交互的能力。
因此，在通过虚拟世界的新颖应用和架构远程查看并且参与事件的领域中需要发展。
发明内容
提供该发明内容以简化的形式介绍精选的概念，该概念在下面具体实施方式中被进一步描述。该发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用作确定所要求保护的主题的范围的帮助。
本公开总体上涉及计算机系统，并且更具体地涉及通过以增强现实或虚拟现实提供事件实现可视化远程位置中的虚拟事件或现实事件的系统和方法。
当前公开的系统包括云服务器计算机系统的至少一个服务器，该至少一个服务器包括至少一个处理器和存储器，该存储器存储虚拟世界系统，该虚拟世界系统包括多个子宇宙，每个子宇宙表示现实世界或虚拟世界的至少一部分，其中，至少一个子宇宙托管现实事件或虚拟事件。系统进一步包括事件管理系统，事件管理系统被连接到虚拟世界系统并且被配置为在每个子宇宙基础上管理事件共享规则。
事件管理系统被配置为通过对应的虚拟世界系统子宇宙将一个或多个用户设备和一个或多个客户物理位置与现实事件或虚拟事件相关联，以及通过网络检测一个或多个用户设备访问与现实事件或虚拟事件相关联的至少一个客户物理位置。所述检测触发事件管理系统基于事件共享规则，与一个或多个用户设备和至少一个客户物理位置共享托管现实事件或虚拟事件的子宇宙。
在一些实施例中，虚拟世界系统包括虚拟对象，该虚拟对象包括现实世界元素的虚拟副本、纯虚拟对象、应用中的至少一个或其组合。虚拟对象包括虚拟数据和模型，该虚拟数据和模型可以向虚拟对象提供自计算能力和自主行为。
在一些实施例中，虚拟副本包括可以通过多个软件平台、软件引擎和/或被连接到连接的设备的传感器输入的逻辑、虚拟数据和模型。在一些实施例中，合适的模型包括3D模型、动态模型、几何模型和机器学习模型中的一个或多个。可以经由多个外部平台或被包括在虚拟世界系统中的引擎服务来输入模型和数据。多个外部平台可以包括例如物联网(IoT)平台、机器学习(ML)平台、大数据平台或模拟平台。外部平台可以通过应用程序接口(API)和软件开发工具包(SDK)连接到虚拟世界系统，以便提供和操纵虚拟对象的模型和数据。被包括在虚拟世界系统中的引擎服务可以包括人工智能、模拟、3D和触觉特征等。虚拟世界系统还连接到空间数据流平台，该空间数据流平台被配置为从现实世界元素并且还从它们的虚拟副本和/或其它虚拟对象接收和管理空间数据。该系统可以进一步包括数字现实接口，诸如虚拟现实、增强现实和融合现实接口。这些交互接口和机制通过使用被包括在计算机脚本和程序中的计算机代码来定义，并且可以受到发生交互的虚拟世界系统中可用的应用(例如，分布式应用)、智能合约等的影响，数字编码预定区域中的现实世界和虚拟世界的所有或大多数元素之间可能和期望的交互，产生融合交互现实的一个视图。
几何模型包括基于现实世界元素来定义虚拟副本的形状的数学模型。3D模型与几何模型一起使用以显示被包括在虚拟副本的每个几何形状中的数据，诸如纹理、颜色、阴影、反射、照明、碰撞效果等。3D模型包括3D数据结构，该3D数据结构用于视觉地表示虚拟副本和虚拟世界系统中的其它虚拟元素，诸如应用、广告、虚拟机器人等。3D数据结构可以包括例如一个或多个八叉树，诸如稀疏体素八叉树或密集体素树，该3D数据结构可以适合于通过3D扫描技术将世界虚拟化为持久性虚拟世界系统。然而，可以进一步包括其它数据结构，诸如四叉树、BSP树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树和六边形结构。3D数据结构具有准确且有效地表示持久性虚拟世界系统中的虚拟对象的每个几何形状的数据的功能。
动态模型表示描述虚拟世界中的现实世界对象以及其它虚拟对象随时间的行为的数学模型，可以包括以定义的顺序发生的一组状态，并且可以包括连续(例如，代数或微分方程)和离散(例如，作为状态机或随机模型)动力学模型。
机器学习模型是现实世界对象和处理的数学表示，通常基于已经被用作训练数据以供学习的实际或模拟数据由机器学习算法来生成。该模型可以实现人工智能技术的实施方式，该人工智能技术可以用于通过虚拟副本来优化现实世界元素的操作和/或性能。机器学习模型可以采用机器学习算法，该机器学习算法允许教导虚拟副本或其它虚拟对象关于现实世界元素的行为，以便模拟现实世界元素的行为。
在一些实施例中，虚拟世界系统包括多个虚拟对象，其中，虚拟对象包括虚拟数据和模型。在虚拟对象中使用的模型考虑了特定的场景计算所需的细节水平(LOD)。LOD涉及在虚拟对象远离查看者时或者根据诸如对象重要性、相对于视点的速度、或位置的其它度量来降低模型表示的复杂性。在一些实施例中，根据包括人工智能查看者(例如，AI产品卖家或视频游戏中的其它角色)或人类查看者(例如，受众的客户部分)的单独查看者的分类，进一步对于单独查看者来调整LOD。在一些实施例中，根据人工智能查看者或人类查看者的子分类，进一步调整LOD。
在一些实施例中，事件管理系统进一步通过被配置为处理每个客户的事件访问的用户实例来管理事件共享。实例化处理指的是云服务器的特性(例如，存储器、计算能力、网络、操作系统等)的虚拟化，以便创建可以专用于至少一个用户设备的一个或多个云服务器的实例。
在一些实施例中，事件管理系统进一步包括事件共享设置，以配置共享位置、共享时间、应用和在每个子宇宙可用的其它选项。
在一些实施例中，多个子宇宙进一步包括流，该流表示被配置为从对应的虚拟对象获得数据的特定目标的模拟。在预定环境中包括整个虚拟对象的多个流形成子宇宙。例如，足球比赛子宇宙可以表示体育场以及被包括在事件中的所有的运动员、现场受众、灯光等。
在一些实施例中，托管现实事件的现实世界的至少一部分，在本文中被称为现实事件场地，以及可选地，客户物理位置，包括一个或多个连接的设备，该一个或多个连接的设备包括一个或多个RGBD相机、深度相机、LIDAR相机、CCTV相机、物联网设备或其组合。在又一实施例中，连接的设备被配置为扫描并且生成现实世界的至少一部分的3D图像、检测一个或多个对象或用户中的状态改变或其组合。在又一实施例中，现实事件场地内采用的相机使用基于人工智能的机器视觉来识别对象或人以及它们在现实事件场地内的位置和朝向。
在一些实施例中，客户物理位置是虚拟现实专用小屋、电话亭、会议室、体育场、起居室中的一个，或者建筑物的内部或外部的任何房间。通过在物理房间内物理移动或通过操纵用户设备上的控制器接口，进行远程访问期间的客户移动和交互。
在一些实施例中，由一个或多个客户以增强现实或虚拟现实来查看托管现实事件或虚拟事件的对应的子宇宙。在又一实施例中，在增强现实中，事件的一个或多个虚拟对象被投影并且对应地被缩放到至少一个客户物理位置的表面上(例如，基于每个客户和对应的表面的位置和朝向)。
在一些实施例中，至少一个服务器可以存储虚拟世界层，该虚拟世界层可以被分离为增强现实层和虚拟现实层。分离的层可以使得能够通过融合现实以增强现实或虚拟现实中的任何一个来访问虚拟世界系统，并且可以在访问一个或另一个类型的现实时通过与至少一个云服务器连接的用户设备来激活。每个层可以包括可以特定于每个层的现实和虚拟副本的增强。该层可以进一步包括一个或多个应用，该一个或多个应用可以从被存储在至少一个云服务器的存储器中的一个或多个应用库、从外部平台、或者通过区块链或基于分布式账本的分布式数据库可得。该应用可以是一个或多个传统应用、分布式应用或者去中心化应用。
在一些实施例中，在从事件管理系统接收到邀请之后，一个或多个客户通过虚拟世界系统访问事件。在另一实施例中，每个客户物理位置具有被存储在至少一个服务器中的相关联的数字标识符，数字标识符由一个或多个用户设备从至少一个服务器检索，以便通过虚拟世界系统访问相关联的客户物理位置。在实施例中，数字标识符包括QR码、URL、IP地址、MAC地址、密码哈希、通用唯一标识符和组织唯一标识符中的一个或多个。在又一实施例中，在接收到由事件管理系统发送的访问事件的邀请之后，由至少一个用户设备检索数字标识符。在替代实施例中，数字标识符被公开地共享为事件管理系统的联系细节的一部分。
在又一实施例中，由至少一个客户进行的、包括例如交易和参与动作的每个交互在用户设备个人标识符下被记录在至少一个服务器的存储器中。在又一实施例中，由客户进行的每个交互在用户设备个人标识符下被记录在分布式账本的智能合约中。在一些实施例中，记录的交互数据可以在将来使用(例如，用于为用户创建目标广告或个性化体验)。
在一些实施例中，由至少一个子宇宙托管的、在客户物理位置中发生的事件是现场体育比赛、电子竞技事件、视频游戏或表演事件中的一个或多个。
在一些实施例中，一种方法由包括至少一个处理器和存储器的至少一个服务器计算机进行。方法包括，提供虚拟世界系统，该虚拟世界系统包括多个子宇宙，每个子宇宙表示现实世界或虚拟世界的至少一部分，其中，至少一个子宇宙托管现实事件或虚拟事件。方法继续为，提供事件管理系统，该事件管理系统被连接到虚拟世界系统并且被配置为在每个子宇宙基础上管理事件共享规则。方法进一步包括，将用户设备和客户物理位置与现实事件或虚拟事件相关联。方法进一步包括，检测用户设备访问客户物理位置。方法进一步包括，基于事件共享规则，向用户设备和客户物理位置共享托管事件的子宇宙。
在一些实施例中，方法包括，实例化事件管理系统以管理每个客户的事件访问。
在一些实施例中，方法进一步包括，通过事件管理系统配置共享位置、共享时间和在每个子宇宙可用的应用。
在一些实施例中，方法进一步包括，通过事件管理系统向用户设备提供访问事件的邀请。
在一些实施例中，方法进一步包括，在至少一个服务器中提供与客户物理位置相关联的数字标识符。数字标识符可以由用户设备从至少一个云服务器检索，以便通过虚拟世界系统中的对应的子宇宙访问客户物理位置。
在又一实施例中，方法进一步包括，在用户设备接收到访问现场事件的邀请之后，通过事件管理系统发送数字标识符，或者公开共享数字标识符作为客户物理位置或对应的子宇宙的联系细节的一部分。
在一些实施例中，方法进一步包括，在至少一个服务器中存储实现客户的识别的用户设备个人标识符，以便向客户提供个性化体验；以及在用户设备个人标识符下记录由客户进行的每个交易。
上面的发明内容不包括本公开的所有方面的详尽列表。可以预期的是，本公开包括可以从上面概述的各种方面的所有合适的组合、以及下面的具体实施方式中公开的那些和与本申请一起提交的权利要求中具体指出的那些来实践的所有系统和方法。这种组合具有上面的发明内容中没有具体陈述的优点。根据附图并且根据下面的具体实施方式，本公开的其它特征和优点将是显而易见的。
附图说明
关于以下描述和附图，将更好地理解本公开的具体特征、方面和优点，其中：
图1A-1B描绘了根据实施例的可以用于实施融合现实系统的服务器计算机系统的云服务器的示意图。
图2示出了根据实施例的子宇宙和流，该子宇宙和流可以是被存储在至少一个云服务器中的虚拟世界系统的一部分。
图3示出了根据实施例的事件的示意图，该事件通过虚拟世界系统在至少一个客户物理位置中被共享到多个客户。
图4描绘了根据实施例的示出用于生成在融合现实系统中使用的虚拟副本网络的数据和模型的示意图。
图5描绘了根据实施例的示出用于生成在融合现实系统中使用的虚拟副本网络的平台和接口的示意图。
图6描绘了根据实施例的可以在融合现实系统中使用的连接的设备的操作组件图。
图7描绘了根据实施例的融合现实方法的框图。
具体实施方式
在以下描述中，参考通过图示方式显示各种实施例的附图。此外，下面将通过参考多个示例来描述各种实施例。应该理解的是，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构中的改变。
在当前公开中，提供了精确且灵活的融合现实系统和方法，该融合现实系统和方法被配置为实现远程查看并且参与现实或虚拟事件。在融合现实系统中，现实世界或虚拟世界的至少一部分可以被分别复制或流式传送到作为虚拟世界系统的一部分的对应的子宇宙中，其中，一些子宇宙包括客户可以从一个或多个相关联的客户物理位置查看和交互的娱乐事件。子宇宙的网络可以形成虚拟世界系统的宇宙。其它虚拟元素，诸如纯虚拟对象或者应用和游戏的图形表示，也可以被配置在虚拟世界系统中。
图1A描绘了根据实施例的可以用于实施融合现实系统100的服务器计算机系统的云服务器102的示意图。
云服务器102包括一个或多个处理器104和存储器106，该存储器106存储操作虚拟世界系统108所需的数据和指令，该虚拟世界系统108包括多个子宇宙110，每个子宇宙110表示现实世界或虚拟世界的至少一部分。参考图1B，每个子宇宙110包括多个虚拟对象112，该多个虚拟对象112包括形成虚拟副本网络116的连接的虚拟副本114，该虚拟副本网络116使得能够通过直接物理通信或通过基于间接虚拟副本的连接来建立对等(P2P)连接。虚拟对象112可以进一步包括在现实世界中不可用的纯虚拟对象118和可以位于世界的各种部分并且可以包括对应的图形表示的应用120。包括世界的相互连接的区域中的虚拟副本网络116以及纯虚拟对象118和应用120的多个子宇宙110形成虚拟世界系统108，该虚拟世界系统108可以通过用户设备的合适接口来访问。每个子宇宙110可以进一步包括多个流122(例如，流1-N)，每个流122包括虚拟对象112，其中，每个流122被配置为从对应的虚拟对象112获得数据，并且进行特定目标的模拟。
再次参考图1A，至少一个子宇宙110托管现实事件124或虚拟事件126，并且与现实事件124或虚拟事件126相关联。例如，现实子宇宙124可以包括虚拟对象112，该虚拟对象112表示现实位置中的现实对象，该现实位置托管诸如体育比赛或现场表演事件的现场娱乐事件。虚拟事件子宇宙126可以包括例如表示电子竞技事件或视频游戏的虚拟对象112。现实事件子宇宙124和虚拟事件子宇宙126可以与其它子宇宙(在图1A中被标记为“1”和“2”)一起存在于虚拟世界系统110中。
存储器106可以进一步存储事件管理系统128，该事件管理系统128连接到虚拟世界系统108并且被配置为管理每个子宇宙110的事件共享规则130。云服务器102通过网络连接到至少一个客户物理位置，通过经由用户设备通过虚拟世界系统108访问对应的子宇宙110，一个或多个客户从至少一个客户物理位置查看现实事件或虚拟事件。事件管理系统128将一个或多个用户设备和客户物理位置与至少一个现实事件或虚拟事件相关联。事件管理系统128进一步通过网络检测一个或多个客户的一个或多个用户设备访问与现实事件相关联的至少一个客户物理位置，触发事件管理系统128基于事件共享规则130，与相关联的一个或多个用户设备和客户物理位置共享与现实事件或虚拟事件对应的子宇宙110。
在一些实施例中，事件管理系统128通过用户实例132来管理事件共享，该用户实例132被配置为通过实例化处理来处理每个客户的事件访问。实例化处理指的是云服务器的特性(例如，存储器、计算能力、网络、操作系统等)的虚拟化，以便创建可以专用于至少一个用户设备的一个或多个云服务器102的实例。
在又一实施例中，事件管理系统128进一步包括事件共享设置134，以配置共享位置136、共享时间138、在每个子宇宙110可用的应用120以及其它选项140。事件共享位置136可以包括特定地方的3D坐标，事件管理员可以使得该事件共享位置136能够通过对应的子宇宙110共享一个或多个现实事件或虚拟事件。在一些情况下，一些事件和它们对应的子宇宙110可以仅在特定时间可用，这可以通过共享时间设置138来配置。事件管理员可以在一个或多个子宇宙110中另外配置一个或多个应用120，这可以提示用户交互以增加选择的现实事件或虚拟事件的娱乐因素。其它选项140可以使得能够配置事件可用的其它类型的设置，诸如特定的天气条件、预定的任务完成要求、会员权利等。应用120可以进一步被配置为仅在特定位置、时间或在通过其它选项140确定的其它条件下可用。
当前公开的虚拟世界系统108可以指的是(例如，按需创建的或激活的)自组织或持久性虚拟世界系统108。在当前公开中，术语“持久性”用于表征在没有连续执行处理或网络连接的情况下可以继续存在的系统的状态。例如，术语“持久性”可以用于表征虚拟世界系统，其中，虚拟世界系统和其中包括的所有虚拟副本、纯虚拟对象和应用在用于创建虚拟副本、纯虚拟对象和应用的处理停止之后继续存在，并且不依赖于用户被连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置中(例如，在云服务器102中)。以该方式，即使用户没有被连接到服务器，虚拟副本114、纯虚拟对象118和应用120在被配置用于实现特定目标时也可以彼此进行交互和协作。
当前公开的虚拟副本114指的是现实世界元素(在本文中也被称为现实孪生)的虚拟版本(在本文中也被称为虚拟孪生)，该虚拟副本106可以通过计算机辅助绘图(CAD)或计算机辅助工程(CAE)方法来映射或建模，由现实对象的计算机模型(例如，建筑物信息模型-BIM)或其它合适的方法来输入，并且该虚拟副本106不仅可以反映现实孪生的外观，而且可以反映现实孪生的行为。现实世界对象可以另外包括可以向虚拟副本114提供多源输入数据的传感器，用于充实虚拟副本114并且将虚拟副本106与它们各自的现实对应物同步。因此，虚拟副本114可以从一个或多个源(例如，从一个或多个现实世界对象、环境传感器、计算设备等)获得数据。如本文中使用的，术语“多源”指的是可以从多个源获得的数据。
可以基于多源数据来更新虚拟副本，诸如通过更新已知的参数或特征，通过使用附加的参数或特征来充实虚拟副本等。在当前公开中，术语“充实”用于描述基于多源数据向虚拟副本提供进一步特性的动作。充实虚拟副本可以被认为是使用一个或多个新形式的数据来更新虚拟副本的特殊形式，该一个或多个新形式的数据先前可能不存在于虚拟副本中。例如，充实虚拟副本可以指的是提供从多个设备上的感测机构捕获的现实世界数据，其中，进一步的现实世界数据包括视频数据、温度数据、实时能量消耗数据、实时水消耗数据、速度或加速度数据等。
融合现实系统的虚拟副本网络116使得能够机器对机器、人类对机器、机器对人类以及人类对人类进行通信和交互。交互机制通过使用被包括在计算机脚本和计算机程序中的计算机代码来定义，并且可以通过发生交互和交互应用的虚拟世界系统中提供的区块链或基于分布式账本的分布式数据库中可用的应用、智能合约或其组合来启用。因此，应用、智能合约或其组合使得能够通过虚拟世界系统来数字编码和表示预定区域中的现实世界的所有或大多数元素之间的可能的和期望的交互和交互接口。可以由用户以类似于交互游戏的应用的形式或通过类似于游戏的交互机制来体验交互。
图2描绘了系统200的示意图，该系统200示出了子宇宙110和它的一些组成元素之间的关系。子宇宙包括多个流122，其中，每个流122可以连接到产生多个与流有关的虚拟对象112的根节点202或根模拟对象。流122可以另外连接到输入函数204，该输入函数204定义流122进行所需模拟所需要的虚拟对象112。换句话说，流122包括可能与流122的特定功能有关的虚拟副本网络的任何部分。输入函数204可以定义要为交通模拟考虑的虚拟对象112。流122然后可以通过使用虚拟传感器和现实传感器的组合来读取每个虚拟对象112的行为，并且进行交通场景的特定目标的模拟。在预定环境中包括整个虚拟对象112的多个流122形成子宇宙110。例如，足球比赛子宇宙可以表示体育场以及被包括在事件中的所有的运动员、现场受众、灯光等。
图3示出了融合现实系统300的实施例。图3的一些元素可以指的是图1A-2中描绘的系统的相似或相同的元素，因此可以使用相同的附图标记。
被存储在至少一个云服务器102的存储器中的虚拟世界系统108包括现实事件子宇宙124、虚拟事件子宇宙126和事件管理系统128。云服务器102从通过网络304被连接的现实事件场地302接收媒体流和数据，该媒体流和数据被虚拟地复制在现实事件子宇宙124中。现实事件场地302包括多个连接的设备306，该多个连接的设备306通过网络304连接到虚拟世界系统108，并且该多个连接的设备306包括被配置为捕获现实事件场地302的现实世界数据的感测机构。云服务器102进一步从虚拟事件接收媒体流，诸如从一个或多个视频游戏或电子竞技308，该虚拟事件可以被托管在一个或多个外部服务器320上。替代地，一个或多个视频游戏或电子竞技308也可以被托管在一个或多个云服务器102上。一个或多个视频游戏或电子竞技308被流式传送到虚拟事件子宇宙126。
通过经由用户设备312通过虚拟世界系统102对应地访问现实事件子宇宙124或虚拟事件子宇宙126，客户310可以远程查看并且与现实事件场地302处托管的现实事件或者一个或多个外部服务器320上托管的虚拟事件进行交互。用户设备312可以是移动设备、个人计算机、游戏机、媒体中心、智能隐形眼镜和头戴式显示器等中的一个。每个客户可以位于多个客户物理位置314中的一个。
在一些实施例中，用户设备312和客户物理位置314中的每个可以与一个或多个子宇宙相关联，诸如现实事件子宇宙124或虚拟事件子宇宙126。通过访问和调整例如图1A中描绘的事件共享设置134的共享位置设置136，可以通过事件管理系统128来配置与客户物理位置314的所述关联，使得事件仅从特定的客户物理位置314远程可查看。事件管理系统128可以进一步通过例如图1A的事件共享设置134的共享时间设置138来使得能够配置在特定时间的事件的可用性。然而，在可以通过例如事件共享设置134的其它选项140设置来配置的某些条件(例如，会员费用支付)下，事件也可以被配置为根据需要或在其它情况下(诸如特定的天气条件或在已经进行了一个或多个任务之后)从客户物理位置314远程可查看。如图1A中示出的，这些布置可以通过其它选项140来定义和/或被配置到特定应用120中，该特定应用120也可以通过事件共享设置134来配置。
例如，对查看一个或多个事件和/或与一个或多个事件进行交互感兴趣的客户310可以访问虚拟世界系统108，从可用的子宇宙中的一个选择期望的事件，并且选择事件可用的期望的客户物理位置314，其中，客户物理位置314可以是通过事件管理系统128配置的预定位置或由客户310添加的新位置。客户物理位置314可以是建筑物的内部或外部的虚拟现实专用小屋、电话亭、会议室、体育场、起居室中的一个或多个，其中，客户310可以经由对应的子宇宙连接到现实事件或虚拟事件。在一些实施例中，客户物理位置314包括连接的设备，诸如记录和检测在客户的化身上模拟的来自客户的移动和表情的相机。在这些实施例中，通过在客户物理位置314内物理移动或通过操纵用户设备312上的控制器接口(例如，控制器板、按钮、操纵杆、空气接口上的空气流动等)，进行客户移动和与事件中的对象或人的交互。
在一些实施例中，现实事件场地302和/或客户物理位置314中的多个连接的设备306包括一个或多个RGBD相机、深度相机、LIDAR相机、CCTV相机或物联网设备。在又一实施例中，连接的设备306被配置为记录现实事件场地302或至少一个客户物理位置314中的事件、扫描并且生成3D图像、检测一个或多个对象中的状态改变或其组合。
在一些实施例中，客户物理位置314具有被存储在至少一个云服务器102中的相关联的数字标识符，数字标识符由用户设备312检索以便通过虚拟世界系统108访问事件。在一些实施例中，数字标识符包括QR码、URL、IP地址、MAC地址、密码哈希、通用唯一标识符和组织唯一标识符中的一个或多个。在又一实施例中，在通过事件管理系统128接收到邀请之后，客户310通过虚拟世界系统108访问事件。在又一实施例中，在接收到邀请之后，由用户设备312检索数字标识符。在其它实施例中，数字标识符分别被公开地共享为现实或虚拟事件子宇宙124-126的联系细节的一部分。
客户物理位置314中的交互通过被包括在计算机脚本和计算机程序中的计算机代码来提供，并且通过包括传统的、分布式的或去中心化的应用，智能合约等或其组合来启用。因此，应用、智能合约或其组合能够数字编码各种虚拟交互，诸如虚拟购买、虚拟投资、虚拟拍卖、虚拟游戏、虚拟测试、虚拟检查、虚拟触摸、虚拟凝视、虚拟物理讲话、虚拟聆听、虚拟物理交互、虚拟投票、虚拟签名、虚拟绘图、虚拟作曲、虚拟创造、虚拟协作、虚拟运动、虚拟驾驶、虚拟飞行、虚拟进行手术、虚拟咨询、虚拟休假、虚拟建造、虚拟工程、虚拟设计、虚拟训练、虚拟学习、虚拟教育、虚拟医疗、虚拟远程控制、虚拟感觉、虚拟情绪、虚拟眨眼、虚拟挥动、虚拟支付、虚拟传送、虚拟共享和虚拟收集等。
在一些实施例中，现实事件场地302内的对象以及其中包括的人的数据包括被直接输入或者被捕获并传送到现实事件子宇宙302的现实空间数据，并且被转换为包括虚拟空间数据的虚拟数据。由至少一个云服务器102组合现实和虚拟空间数据，使得能够使用虚拟空间数据来增强现实事件场地302的现实空间数据。因此，事件内的对象和人的位置和朝向通过多个连接的设备306被映射或感测，并且在虚拟世界系统108中被实时更新，使得至少一个客户310能够实时查看现实事件场地302中的任何改变。
在一些实施例中，由至少一个客户310通过虚拟世界系统108以增强现实或虚拟现实来访问现实事件子宇宙124或虚拟事件子宇宙126。在这些实施例中，至少一个云服务器102存储增强现实和虚拟现实中的每个的分离的层，通过被连接到至少一个云服务器102的用户设备312来激活该分离的层，每个层包括特定于每个层的现实和虚拟副本的增强。例如，现实娱乐事件场地302内的人可能在增强现实层中激活了特定对象，该特定对象仅可以以增强现实来查看。当至少一个客户310访问事件时，他或她可以仅查看事件的参与者和对象中的每个，而没有进一步的增强，但是当至少一个客户310激活增强现实层时，具有增强现实层中的增强的对象和交互可以对至少一个客户310可用。
根据实施例，用户设备312具有个人标识符或相应的用户数据，使得至少一个云服务器102能够识别参与者以便提供个性化体验。此外，在该实施例中，由至少一个客户310进行的每个交易在用户设备个人标识符下被记录在至少一个云服务器102的存储器中。在又一实施例中，包括事件内的交易的每个交互在用户个人标识符下通过一个或多个相应的智能合约被记录在区块链或分布式账本上。在又一实施例中，现实或虚拟事件子宇宙124-126的虚拟对象之间的交互通过智能合约被记录在区块链或分布式账本上。
在一些实施例中，当前公开的系统可以使用云到边缘基础设施，该云到边缘基础设施可以采用公共或私有云服务器、雾服务器以及诸如企业系统、移动平台、机械、机器人、车辆、传感器或用户设备的其它系统来实施分布式计算能力，所有这些可以通过网络304连接。在一些实施例中，云到边缘基础设施进一步包括基于分布式账本的基础设施，以促进广泛地分发虚拟世界系统108所需的数据的传送和存储，包括虚拟副本、纯虚拟对象、应用以及虚拟世界系统108内的任何事件或交互。这样，包括物理服务器和网络设备的资源实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户相对于彼此以及相对于他们所在的位置地点而相应地命令更多或更少的计算的计算需求的因素来动态分配。在一些实施例中，使用分布式账本基础设施将存储和计算的动态分配编码为智能合约，对事务逻辑(例如，存储和计算的每个分配背后的计算机逻辑)以及分配的后果或结果进行自动化。
根据一实施例，由到达时间(TOA)、到达角度(AOA)和视觉成像技术中的一个或多个来进行设备的跟踪。可以由雷达技术、天线、Wi-Fi、惯性测量单元、陀螺仪和加速度计中的一个或多个来进行跟踪。
在一些实施例中，为了减少硬件和网络需求，有助于减少网络延迟，并且改善一般的融合现实体验，系统可以通过包括毫米波(mmW)或者mmW和sub 6GHz通信系统的组合的网络304来连接，诸如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网络(Wi-Fi)来连接，该Wi-Fi以60GHz提供数据。提供的通信系统可以允许低延迟和到现场端点的高Gbps下行链路速度，符合执行典型的高度交互的数字现实应用或其它高度需求的应用所需的参数。这导致高质量、低延迟、实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统来支持，或者可以包括其它有线或无线通信系统。
在其它实施例中，全球导航卫星系统(GNSS)，其统称为基于多个卫星的导航系统，像是GPS、BDS、Glonass、QZSS、Galileo和IRNSS，可以用于实现设备的定位。利用来自足够数量的卫星的信号以及诸如三角测量和三边测量的技术，GNSS可以计算设备的位置、速度、高度和时间。在实施例中，通过现有蜂窝通信网络的架构，外部定位系统由辅助GNSS(AGNSS)来增强，其中，现有架构包括5G。在其它实施例中，AGNSS跟踪系统进一步由4G蜂窝通信网络来支持。在室内实施例中，GNSS进一步经由诸如Wi-Fi的无线电无线局域网络来增强，该Wi-Fi优选地但是不限于以60GHz提供数据。在替代实施例中，GNSS经由本领域中已知的其它技术来增强，诸如经由差分GPS(DGPS)、基于卫星的增强系统(SBAS)、实时运动学(RTK)系统。在一些实施例中，由设备中的AGNSS和惯性传感器的组合来实施设备的跟踪。
图4描绘了根据实施例的系统400的图，该系统300描述在融合现实系统中使用的虚拟副本和导出的虚拟副本网络的设计。图4的一些元素可以指的是图1A-3的相似或相同的元素，因此可以使用相同的附图标记。
如图4中示出的，包括连接的设备306和用户设备312的现实世界402中的元素通过数据流404被连接到虚拟世界系统。根据连接的设备306的能力，这些数据流404可以是单向或双向的。如参考图1解释的，虚拟世界系统可以被存储在云服务器102中，并且在云到边缘计算和网络基础设施中被共享。
由连接的设备306发送的数据流404可以由被安装在连接的设备306上的传感器获得，诸如一个或多个温度传感器、接近传感器、惯性传感器(例如，惯性测量单元、加速度计、陀螺仪和磁力计)、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。用户设备312的数据流404除了传感器数据之外，还可以包括经由用户设备312与应用进行交互而产生的用户输入数据。
通过向多个连接的设备306和用户设备312提供不断从现实世界402捕获数据的感测机构，使用反映现实世界402的状况的实时、多源数据来保持更新虚拟世界和每个同步的虚拟副本114。多源数据包括每个现实世界元素的可捕获数据，包括3D图像数据、3D几何形状、3D实体、3D感测数据、3D动态对象、视频数据、音频数据、优先级数据、化学成分、废物产生数据、文本数据、时间数据、位置数据、朝向数据、速度数据、温度数据、湿度数据、污染数据、照明数据、体积数据、流量数据、色度数据、功耗数据、带宽数据和质量数据等中的一个或多个。
虚拟世界系统中与虚拟副本114的交互是通过使用被连接到每个虚拟副本114的数据存储406的发布/订阅服务进行数据交换来实现的。数据类型可以包括周期和非周期、同步和异步的数据。每个虚拟副本114保持数据存储406，其中，可以由现实孪生或由微服务(未示出)来更新数据。虚拟世界系统中的数据可以直接与特定的虚拟副本114相关联，或者可以被处理为匿名数据，该匿名数据可以包括有关的虚拟副本114的多个流源的聚合。例如，来自汽车的特定模型的所有单元的数据可以被处理和聚合为流数据以可用于预测性维护服务。
微服务指的是可以被独立开发、部署和维护的单独服务，每个服务被配置为进行离散任务并且通过API与其它服务进行通信。每个微服务可以使用虚拟副本模型以及与环境的关系来修改虚拟副本114的特定属性的值，从而更新虚拟副本114的数据存储406中的数据。如将在图5中显而易见的是，微服务可以使用虚拟世界系统的特定核心服务，诸如多个引擎，或被连接到外部平台。
数据流404可以经由连接器408被存储在数据存储406中。连接器408可以包括用于读取数据流404的数据并且写入数据存储406的软件和硬件。连接器408可以使用发布/订阅应用程序接口(API)来连接到数据存储406，并且帮助向虚拟副本114馈送来自连接的设备306和用户设备312的数据流404。连接的设备306的数据流404进一步通过连接器408馈送给网络物理系统410，而用户设备404的数据流404通过连接器408馈送给用户的虚拟化身412。系统400还包括机器人414的实施方式，该机器人314可以包括被配置为通过采用机器学习算法作为具有人类或类似人类的行为的自动代理来响应的硬件和软件。人类化身412可以被配置为显示人类用户的物理特征，或者可以被配置为具有不同的视觉方面和特征。
在当前公开中，一对虚拟现实孪生或孪生对可以被认为是网络物理系统410，该网络物理系统310是计算与物理处理的集成，该网络物理系统310的行为由系统的网络和物理部分来定义。因此，虚拟副本114是网络物理系统410的网络部分。虚拟副本114然后可以被认为是现实孪生的扩展，该虚拟副本106允许将物理部分与人工智能和模拟连接以改善对象的能力和性能。在一些实施例中，虚拟副本114可以代替物理组件和处理的一部分。例如，在现实对应物中的传感器故障的情况下，现实孪生的感测输入由虚拟世界中的虚拟孪生的交互来提供。在另一示例中，如果现实孪生中的电池电量不足，则可以在虚拟世界中完成现实孪生的计算部分。
虚拟副本114还可以包括模型416，该模型416指的是可以用于在虚拟世界系统中复制现实的现实方面的任何图形、数学或逻辑表示。在一些实施例中，合适的模型416包括3D模型418、几何模型420、动态模型422和机器学习模型424中的一个或多个。虽然本文中仅公开了四个模型，但是本领域技术人员可以理解的是，根据需要，系统可以适于实施比呈现的那些模型更少或更多的模型。
3D模型418与几何模型420一起使用以显示被包括在虚拟副本114的每个几何形状中的数据，诸如纹理、颜色、阴影、反射、碰撞效果等。3D模型418包括3D数据结构，该3D数据结构用于视觉地表示虚拟副本114和虚拟世界系统中的其它虚拟元素，诸如应用、广告、虚拟机器人等。在一个实施例中，3D数据结构是八叉树数据结构，诸如稀疏体素八叉树或密集体素八叉树。在其它实施例中，可以使用其它合适的数据结构，诸如四叉树、BSP树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树和六边形结构。3D数据结构具有准确且有效地表示虚拟世界系统中的虚拟对象的每个几何形状的数据的功能。3D数据结构的正确选择取决于数据的来源、渲染期间寻求的几何形状的精度；渲染是实时完成还是预先渲染；是否经由云服务器、经由用户设备、雾设备或其组合来进行渲染；采用虚拟世界系统的特定的应用，例如，需要检查产品的特定纹理和细节的虚拟访问可能需要更高的定义水平；来自服务器和来自用户设备的存储器容量，以及因此期望的存储器消耗；以及其它。
几何模型420包括基于现实世界元素来定义虚拟副本114的形状的数学模型，并且可以由3D模型418来补充。
动态模型422表示描述虚拟世界中的现实世界对象随时间的行为的数学模型，可以包括以定义的顺序发生的一组状态，并且可以包括连续(例如，代数或微分方程)和离散(例如，作为状态机或随机模型)动力学模型。
机器学习模型424是现实世界对象和处理的数学表示，通常基于已经被用作训练数据以供学习的实际或模拟数据由机器学习算法来生成。该模型可以实现人工智能技术的实施方式，该人工智能技术可以用于通过虚拟孪生来优化现实孪生的操作和/或性能。机器学习模型可以采用机器学习算法，该机器学习算法允许教导虚拟副本114关于现实孪生的行为，以便模拟现实孪生的行为。
在一些实施例中，由虚拟副本114使用的模型416考虑了特定的场景计算所需的细节水平(LOD)。LOD涉及在虚拟副本114远离查看者时或者根据诸如对象重要性、相对于视点的速度、查看者分类、或位置的其它度量来降低模型表示的复杂性。LOD是通常用在游戏引擎中以优化实时渲染的特征，仅在用户的视点更靠近对象时才使用更详细的模型。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的3D模型418或动态模型422(从低保真到高保真模型)与虚拟副本114相关联，使得可以根据情形来完成不同的模拟。通常，LOD管理可以改善帧速率，并且减少存储器和计算需求。LOD管理还允许根据特定的要求和情境来提供优化的用户体验。在一些实施例中，进一步对于单独查看者来调整LOD，其中，调整包括基于查看者是人工智能查看者(例如，AI主持者或销售助理)还是人类查看者(例如，买家或事件参与者)来考虑特定场景的渲染的LOD。
多个连接的虚拟副本114形成虚拟副本网络108。虚拟副本网络108中的每个虚拟副本114可以显示彼此的社交连接340，即，彼此之间的交互。在一些实施例中，可以通过社交媒体网络来管理这些社交连接340。
在一些实施例中，虚拟副本114包括可以用于对数字现实应用的3D结构进行建模的3D世界和建筑物数据中的一个或多个，诸如基于SLAM或派生映射的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据。
在一些实施例中，可以使用适合于与当前地理定位技术一起使用的参考坐标系来对每个虚拟副本114进行地理定位。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，该WGS84是由GPS使用的当前参考坐标系。
图5描绘了根据实施例的描述用于生成在融合现实系统中使用的虚拟副本网络的平台和接口的系统500的图。图5的一些元素可以指的是图1A-4的相似或相同的元素，因此可以使用相同的附图标记。
位于虚线内的元素表示虚拟副本和虚拟副本网络116驻留的虚拟世界系统108。
如图5中示出的，虚拟副本网络116可以连接到多个外部平台或连接到被包括在虚拟世界系统108中的引擎服务。多个外部平台可以包括例如一个或多个物联网(IoT)平台502、机器学习(ML)平台504、大数据平台506和模拟平台508，这些平台可以通过应用程序接口(API)和软件开发工具包(SDK)510连接到虚拟世界系统108，以便提供和操纵模型以及消费或发布数据到虚拟副本。
IoT平台502指的是能够管理从连接的设备和用户设备中的传感器接收的多源输入数据的软件和/或硬件。ML平台504指的是向虚拟副本提供使用机器学习模型和算法用于人工智能应用的能力的软件和/或硬件。大数据平台506指的是使得组织能够开发、部署、操作和管理与虚拟副本网络116有关的大数据的软件和/或硬件。模拟平台508指的是能够使用虚拟副本及其数据和模型以便虚拟地重建现实世界实体的现实行为的软件和/或硬件。
被包括在虚拟世界系统108中的引擎服务可以包括人工智能引擎512、模拟引擎514、3D引擎516和触觉引擎518等。人工智能引擎512指的是能够管理和应用用于人工智能应用的机器学习模型和算法的软件和/或硬件。模拟引擎514指的是能够使用虚拟副本及其数据和模型以便虚拟地重建现实世界实体的现实行为的软件和/或硬件。3D引擎516指的是可以在虚拟副本的3D图形的创建和处理中使用的软件和/或硬件。触觉引擎518指的是能够对应用和虚拟副本实施触觉特征以向用户提供基于触摸的交互的软件和/或硬件。虚拟世界系统还连接到空间数据流平台520，该空间数据流平台520被配置用于优化虚拟世界系统中以及虚拟世界系统和融合现实522之间的现实和虚拟空间数据的交换和管理。
3D引擎516和触觉引擎518可以经由用户设备中的合适的数字现实接口524连接到融合现实522，使得能够以虚拟现实或增强现实中的任何一个访问融合现实522。融合现实522向用户提供扩展的现实，其中，现实元素被虚拟对象覆盖或增强、被锚定在特定的地理位置中或被锚定到现实中的现实元素、并且包括被连接到现实的虚拟副本的AI和模拟。用户可以通过他们的化身不受限制地与该融合现实522进行交互。
虚拟副本网络116是虚拟世界系统108的组成部分，并且实现虚拟副本现实526的实施方式，其中，所有或大多数的现实世界元素是完全虚拟的，并且可以被虚拟地增强(例如，向虚拟副本添加现实世界元素可能不具有的特征)。在当前公开中，虚拟副本现实526与虚拟现实的典型概念不同，在于虚拟现实可以表示世界的沉浸式实现，其中，所有或大多数的元素是虚拟的，而虚拟副本现实526考虑了情境、基于现实世界对象的精确地理位置以及虚拟副本之间的交互和连接，这些虚拟副本通过经由多个平台和/或引擎所输入和操纵的数据和模型来保持连续更新。因此，虚拟副本现实526指的是虚拟世界系统内的世界的实际虚拟副本，其中，虚拟世界系统提供每个虚拟副本的数据、模型、交互、连接和基础设施，在一些实施例中，该数据、模型、交互、连接和基础设施向虚拟副本提供自计算能力和自主行为。
在又一实施例中，系统500可以在至少一个服务器的存储器中存储增强现实和虚拟现实的分离的层。分离的层可以使得能够通过融合现实522以增强现实或虚拟现实中的任何一个来访问虚拟副本现实526，并且可以在访问一个或另一个类型的现实时通过与至少一个服务器连接的用户设备来激活。每个层可以包括可以特定于每个层的现实和虚拟副本的增强。例如，当以增强现实来访问融合现实522时，用户可以查看位于当前融合现实场景中的现实对象、经由对应的虚拟副本的每个现实对象的当前增强、以及被配置为仅在增强现实中可见的纯虚拟对象。在另一示例中，当以虚拟现实来查看融合现实522时，用户可以仅查看被配置用于虚拟现实的虚拟副本现实526的版本，包括仅被配置用于虚拟现实视图的增强。然而，当在虚拟现实中时，用户可以激活增强现实层，以便查看最初用于增强现实的增强和虚拟对象。同样，当在增强现实中时，用户可以激活虚拟现实层，以便被完全传输到虚拟现实，同时仍然能够查看增强现实中的增强。通过虚拟世界系统的各种平台和/或引擎输入的数据和模型提供虚拟副本的自计算能力和自主行为、虚拟副本和对应物现实世界对象之间的同步行为、通过虚拟副本的现实世界对象的增强能力，并且使得能够采用从现实世界对象获得的数据来进行模拟以及机器学习训练和推理，以便进行系统优化(例如，建筑物能量消耗优化)。
“自计算能力”，也被称为“自管理能力”，在本文中指的是应用人工智能算法以便自主管理计算资源(例如，分布式计算资源)的能力。在实施例中，在持久性虚拟世界系统中具有自计算能力的虚拟副本能够自主管理计算资源，以适应对应的现实世界元素的环境或现实世界元素本身的变化。可以通过使用在区块链或分布式账本技术上运行的智能合约来进一步管理自管理规则和条件，以分布式和透明的方式来进一步对规则和条件进行编码。因此，在实施例中，每个虚拟副本可以表现出自主行为，根据虚拟世界系统中反映的现实世界中的条件而自主动作(例如，通过分配所需的资源，如由每个情况要求地自主发送和执行命令和/或生成事件)。实现该类型的行为可能需要在虚拟副本建模和开发期间使用人工智能算法来训练虚拟副本。因此，虚拟副本开发者的角色可以被限于定义引导自管理处理的一般策略和规则。
图6示出了根据实施例的可以在融合现实系统中使用的设备的操作组件图600。
设备602可以包括操作组件，诸如输入/输出(I/O)模块604；电源606；存储器608；形成跟踪模块614的感测机构610和收发器612；以及网络接口616，它们全部可操作地被连接到处理器618。
I/O模块604被实施为计算硬件和软件，该计算硬件和软件被配置为与用户进行交互，并且向一个或多个其它系统组件提供用户输入数据。例如，I/O模块604可以被配置为与用户进行交互，基于该交互生成用户输入数据，并且在用户输入数据经由网络被传送到其它处理系统(诸如到服务器)之前，向处理器618提供用户输入数据。在另一示例中，I/O模块604被实施为被配置为与其它连接的元素进行交互的外部计算指示设备(例如，触摸屏、鼠标、3D控件、操纵杆、游戏手柄等)和/或文本输入设备(例如，键盘、听写工具等)。在其它实施例中，I/O模块604可以提供与上面描述的功能附加、较少或不同的功能。
电源606被实施为被配置为向设备602提供电力的计算硬件和软件。在一个实施例中，电源606可以是电池。电源606可以被内置到设备中或者可以从设备中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，可以通过使用另一电源606替换一个电源606来对设备重新供电。在另一实施例中，电源606可以由被附接到充电源的电缆，诸如被附接到个人计算机的通用串行总线(“USB”)火线、以太网、雷电接口或耳机电缆来再充电。在又一实施例中，电源606可以由感应充电来再充电，其中，当感应充电器和电源606非常接近但是不需要经由电缆彼此插入时，使用电磁场将能量从感应充电器传送到电源606。在另一实施例中，扩展坞可以用于促进充电。
存储器608可以被实施为适于存储应用程序指令并且存储由感测机构610捕获的多源数据的计算硬件和软件。存储器608可以是能够存储由处理器618可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，诸如硬盘驱动器、存储卡、闪存驱动器、ROM、RAM、DVD或其它光盘，以及其它可写和只读存储器。除了持久性存储之外，存储器608还可以包括临时性存储。
感测机构610可以被实施为适于从现实世界获得多源数据并且确定/跟踪设备602的位置和朝向、因此确定/跟踪设备602可以被链接到的一个或多个现实世界元素的位置和朝向的计算硬件和软件。感测机构610可以包括但是不限于一个或多个，包括一个或多个温度传感器、接近传感器、惯性传感器、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。特别地，感测机构610包括一个或多个惯性测量单元(IMU)、加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告设备602的速度、加速度、角动量、平移速度、旋转速度以及其它遥测元数据。IMU内和/或与IMU分离配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球的重力场引起的加速度。在一个实施例中，加速度计包括能够测量三个正交方向上的加速度的三轴加速度计。
收发器612可以被实施为被配置为使得设备能够从天线接收无线电波并且将数据发送回天线的计算硬件和软件。在一些实施例中，可以采用mmW收发器612，该mmW收发器612可以被配置为从天线接收mmW波信号，并且在与沉浸式内容进行交互时将数据发送回天线。收发器612可以是双向通信收发器612。
根据实施例，收发器612使得能够经由被连接到网络的基于分布式账本的通信流水线在计算设备之间进行直接通信。基于分布式账本的通信流水线可以通过使用密码学、采用密码“密钥”和密码签名而允许以安全和精确的方式存储信息，使得能够通过去中心化网络在设备602之间进行直接通信。在其它实施例中，也可以在服务器和设备602之间利用分布式账本，其中，服务器可以在将数据分发到每个设备602之前获得权限以验证数据。
在实施例中，可以通过将IMU、加速度计和陀螺仪的能力与由收发器612提供的位置跟踪进行组合来实施跟踪模块614，并且由基于mmW的天线提供的精确跟踪、低延迟和高QOS功能可以实现亚厘米或亚毫米的位置和朝向跟踪，这可以在跟踪设备602的实时位置和朝向时增加精度。在替代实施例中，感测机构610和收发器612可以一起被耦合在单个跟踪模块设备中。
网络接口616可以被实施为通信地连接到网络、从网络接收由一个或多个服务器或由其它设备发送的计算机可读程序指令、并且转发指令以用于存储在存储器608中以用于由处理器618执行的计算软件和硬件。
处理器618可以被实施为被配置为接收和处理指令的计算硬件和软件。例如，处理器618可以被配置为提供成像请求，接收成像数据，将成像数据处理为环境或其它数据，处理用户输入数据和/或成像数据以生成用户交互数据，进行基于边缘(设备上)的机器学习训练和推理，提供服务器请求，接收服务器响应，和/或向一个或多个其它系统组件提供用户交互数据、环境数据和内容对象数据。例如，处理器618可以从I/O模块604接收用户输入数据，并且可以分别实施被存储在存储器608中的应用程序。在其它示例中，处理器618可以从感测机构610接收从现实世界捕获的多源数据，或者可以通过跟踪模块614接收设备602的精确的位置和朝向，并且可以在向服务器发送数据用于进一步处理之前准备一些数据。
图7描绘了实现融合现实系统的方法700。方法700可以由系统来实施，诸如参考图1-5描述的系统100-500。
方法700可以开始于步骤702，提供虚拟世界系统，虚拟世界系统包括多个子宇宙，每个子宇宙表示现实世界或虚拟世界的至少一部分，其中，至少一个子宇宙托管现实事件或虚拟事件并且与现实事件或虚拟事件相关联。方法700继续到步骤704，在存储器中提供事件管理系统，该事件管理系统被连接到虚拟世界系统并且被配置为在每个子宇宙基础上管理事件共享规则，从而允许不同的子宇宙根据需要具有相同或不同的事件共享规则。
随后，方法700继续到步骤706，通过经由用户设备通过虚拟世界系统访问对应的子宇宙，提供对至少一个客户物理位置的访问，一个或多个客户从至少一个客户物理位置查看现实事件或虚拟事件。然后，方法700前进到步骤708，将一个或多个用户设备和客户物理位置与至少一个现实事件或虚拟事件相关联。
方法700继续到步骤710，在用户设备访问与现实事件或虚拟事件相关联的至少一个客户物理位置之后，检测一个或多个用户设备。最终，方法700结束于步骤712，基于事件共享规则，向一个或多个用户设备和具有相关联的事件的客户物理位置共享与事件对应的子宇宙。
虽然已经在附图中描述和示出了某些实施例，但是应该理解的是，这种实施例仅仅是说明性的，而不是对宽泛的公开的限制，并且本公开不限于示出和描述的特定构造和布置，因为本领域普通技术人员可以想到各种其它修改。因此，本说明书被认为是说明性的而不是限制性的。

Claims (20)

1.一种融合现实系统，其特征在于，包括：
云服务器计算机系统的至少一个服务器，至少一个所述服务器包括至少一个处理器和存储器，所述存储器存储：
虚拟世界系统，所述虚拟世界系统包括多个子宇宙，每个子宇宙表示现实世界或虚拟世界的至少一部分，其中，至少一个子宇宙托管现实事件或虚拟事件；以及
事件管理系统，所述事件管理系统被连接到所述虚拟世界系统并且被配置为在每个子宇宙基础上管理事件共享规则；以及
其中，所述事件管理系统被配置为将一个或多个用户设备和一个或多个客户物理位置与所述现实事件或所述虚拟事件相关联，以通过网络检测一个或多个所述用户设备访问与所述现实事件或所述虚拟事件相关联的至少一个客户物理位置，并且响应于所述检测，基于所述事件共享规则，与一个或多个所述用户设备和至少一个所述客户物理位置共享托管所述现实事件或所述虚拟事件的所述子宇宙。
2.根据权利要求1所述的系统，其特征在于，所述虚拟世界系统包括虚拟对象，所述虚拟对象包括现实世界元素的虚拟副本、纯虚拟对象、应用中的至少一个或其组合。
3.根据权利要求1所述的系统，其特征在于，所述事件管理系统进一步通过被配置为处理每个客户的事件访问的用户实例来管理事件共享。
4.根据权利要求1所述的系统，其特征在于，所述事件管理系统进一步包括事件共享设置，以配置共享位置、共享时间和在每个子宇宙可用的应用。
5.根据权利要求1所述的系统，其特征在于，多个所述子宇宙进一步包括流，所述流表示被配置为从对应的虚拟副本获得数据的特定目标的模拟。
6.根据权利要求1所述的系统，其特征在于，所述虚拟世界系统包括多个虚拟对象，其中，所述虚拟对象包括虚拟数据和模型，并且其中，所述模型包括3D模型、动态模型、几何模型或机器学习模型中的一个或多个或其组合，并且其中，所述模型考虑由特定场景计算所需的细节水平。
7.根据权利要求1所述的系统，其特征在于，所述现实事件或所述虚拟事件是在现实事件场地中托管的现实事件，并且其中，所述现实事件场地包括一个或多个连接的设备，一个或多个所述连接的设备包括一个或多个RGBD相机、深度相机、LIDAR相机、CCTV相机或物联网设备或其组合，并且其中，所述连接的设备被配置为扫描并且生成所述现实世界的所述至少一个部分的3D图像、检测一个或多个对象或用户中的状态改变或其组合。
8.根据权利要求1所述的系统，其特征在于，由一个或多个所述客户以增强现实或虚拟现实来查看托管所述现实事件或所述虚拟事件的至少一个所述子宇宙。
9.根据权利要求8所述的系统，其特征在于，在增强现实中，所述现实事件或所述虚拟事件的一个或多个虚拟对象被投影在至少一个所述客户物理位置的表面上。
10.根据权利要求1所述的系统，其特征在于，在从主持者设备接收到访问所述事件的邀请之后，一个或多个所述客户通过所述虚拟世界系统访问所述事件。
11.根据权利要求1所述的系统，其特征在于，至少一个所述客户物理位置具有被存储在至少一个所述服务器中的相关联的数字标识符，所述数字标识符由一个或多个所述用户设备从至少一个所述服务器检索，以便通过所述虚拟世界系统访问相关联的所述客户物理位置。
12.根据权利要求11所述的系统，其特征在于，在接收到由所述事件管理系统发送的访问所述事件的邀请之后，由一个或多个所述用户设备检索所述数字标识符。
13.根据权利要求1所述的系统，其特征在于，一个或多个所述用户设备中的每个用户设备具有个人标识符，所述个人标识符使得至少一个所述服务器能够识别客户。
14.一种由包括至少一个处理器和存储器的至少一个服务器计算机进行的方法，其特征在于，所述方法包括：
提供虚拟世界系统，所述虚拟世界系统包括多个子宇宙，每个子宇宙表示现实世界或虚拟世界的至少一部分，其中，至少一个子宇宙托管现实事件或虚拟事件；
提供事件管理系统，所述事件管理系统被连接到所述虚拟世界系统并且被配置为在每个子宇宙基础上管理事件共享规则；
将用户设备和客户物理位置与所述现实事件或所述虚拟事件相关联；
检测所述用户设备访问所述客户物理位置；以及
基于所述事件共享规则，向所述用户设备和所述客户物理位置共享托管所述事件的所述子宇宙。
15.根据权利要求14所述的方法，其特征在于，进一步包括，通过所述事件管理系统配置共享位置、共享时间和在每个子宇宙可用的应用。
16.根据权利要求14所述的方法，其特征在于，进一步包括，通过所述事件管理系统向所述用户设备提供访问来自所述客户物理位置的所述事件的邀请。
17.根据权利要求14所述的方法，其特征在于，进一步包括，在至少一个所述服务器中提供与所述客户物理位置相关联的数字标识符，所述数字标识符由所述用户设备从至少一个所述服务器检索，以便通过所述虚拟世界系统访问所述客户物理位置。
18.根据权利要求18所述的方法，其特征在于，进一步包括，在所述用户设备接收到所述邀请之后，通过所述事件管理系统发送数字标识符。
19.一种其上存储有指令的计算机可读介质，其特征在于，所述指令被配置为使包括处理器和存储器的至少一个服务器计算机进行以下步骤：
提供虚拟世界系统，所述虚拟世界系统包括多个子宇宙，每个子宇宙表示现实世界或虚拟世界的至少一部分，其中，至少一个子宇宙托管现实事件或虚拟事件并且与所述现实事件或所述虚拟事件相关联；
提供事件管理系统，所述事件管理系统连接到所述虚拟世界系统并且被配置为在每个子宇宙基础上管理事件共享规则；
将用户设备和客户物理位置与所述现实事件或所述虚拟事件相关联；
检测所述用户设备访问所述客户物理位置；以及
基于所述事件共享规则，向所述用户设备和所述客户物理位置共享托管所述事件的所述子宇宙。
20.根据权利要求19所述的计算机可读介质，其特征在于，进一步包括，在至少一个所述服务器中提供与所述客户物理位置相关联的数字标识符，所述数字标识符由所述用户设备从至少一个所述服务器检索，以便通过所述虚拟世界系统访问所述客户物理位置。
CN202010558708.4A 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法 Active CN112104593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310290391.4A CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962863171P 2019-06-18 2019-06-18
US62/863,171 2019-06-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310290391.4A Division CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法

Publications (2)

Publication Number Publication Date
CN112104593A true CN112104593A (zh) 2020-12-18
CN112104593B CN112104593B (zh) 2023-04-14

Family

ID=71108438

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202010547257.4A Pending CN112100284A (zh) 2019-06-18 2020-06-16 通过虚拟孪生现实与现实世界物品及对应数据库交互
CN202010546692.5A Pending CN112102499A (zh) 2019-06-18 2020-06-16 融合现实系统和方法
CN202310290391.4A Pending CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010558725.8A Active CN112102500B (zh) 2019-06-18 2020-06-18 通过融合现实的虚拟存在系统和方法
CN202010559497.6A Pending CN112102501A (zh) 2019-06-18 2020-06-18 虚拟空间的融合现实空间流
CN202010558708.4A Active CN112104593B (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN202010547257.4A Pending CN112100284A (zh) 2019-06-18 2020-06-16 通过虚拟孪生现实与现实世界物品及对应数据库交互
CN202010546692.5A Pending CN112102499A (zh) 2019-06-18 2020-06-16 融合现实系统和方法
CN202310290391.4A Pending CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010558725.8A Active CN112102500B (zh) 2019-06-18 2020-06-18 通过融合现实的虚拟存在系统和方法
CN202010559497.6A Pending CN112102501A (zh) 2019-06-18 2020-06-18 虚拟空间的融合现实空间流

Country Status (3)

Country Link
US (6) US11202036B2 (zh)
EP (5) EP3754614A1 (zh)
CN (6) CN112100284A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089829A (zh) * 2021-10-13 2022-02-25 深圳中青宝互动网络股份有限公司 一种虚拟现实的元宇宙系统

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10765948B2 (en) 2017-12-22 2020-09-08 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
US11733956B2 (en) * 2018-09-04 2023-08-22 Apple Inc. Display device sharing and interactivity
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11679330B2 (en) * 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue
US11100717B2 (en) * 2019-10-25 2021-08-24 7-Eleven, Inc. System and method for presenting a virtual store shelf that emulates a physical store shelf
US11798065B2 (en) * 2019-10-25 2023-10-24 7-Eleven, Inc. Tool for generating a virtual store that emulates a physical store
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11537386B2 (en) * 2020-04-06 2022-12-27 Johnson Controls Tyco IP Holdings LLP Building system with dynamic configuration of network resources for 5G networks
US11153084B1 (en) * 2020-06-22 2021-10-19 Piamond Corp. System for certificating and synchronizing virtual world and physical world
US11507424B2 (en) * 2020-07-15 2022-11-22 At&T Intellectual Property I, L.P. Optimization of resource usage in cross-reality sessions
US11556961B2 (en) * 2020-07-23 2023-01-17 At&T Intellectual Property I, L.P. Techniques for real-time object creation in extended reality environments
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
US11966959B2 (en) * 2020-09-23 2024-04-23 International Business Machines Corporation Subscription of marketplace content based on search queries
US20220134222A1 (en) * 2020-11-03 2022-05-05 Nvidia Corporation Delta propagation in cloud-centric platforms for collaboration and connectivity
US20220156797A1 (en) * 2020-11-17 2022-05-19 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing personalized immersive content in extended reality (xr) environments
CN112632778B (zh) * 2020-12-22 2023-07-18 达闼机器人股份有限公司 数字孪生模型的运行方法、装置和电子设备
CN114697302A (zh) * 2020-12-31 2022-07-01 伊姆西Ip控股有限责任公司 用于分发虚拟视觉内容的方法
IT202100001610A1 (it) * 2021-01-27 2022-07-27 Sentric S R L Metodo di interfaccia virtuale per l’acquisto di prodotti
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
JP7049013B1 (ja) * 2021-03-24 2022-04-06 株式会社Synamon オブジェクト管理システム
US20230040573A1 (en) * 2021-03-24 2023-02-09 AbdurRahman Bin Shahzad Bhatti Data systems for wearable augmented reality apparatus
CN113176826B (zh) * 2021-05-10 2022-03-11 中通服慧展科技有限公司 一种基于云计算的虚拟展会展览系统及其方法
IT202100012542A1 (it) * 2021-05-14 2022-11-14 Popup Srl Sistema fisico-digitale per l’organizzazione e la gestione di eventi in tempo reale
CN113332726A (zh) * 2021-06-11 2021-09-03 网易（杭州）网络有限公司 虚拟角色的处理方法、装置、电子设备和存储介质
CN113259480B (zh) * 2021-06-18 2021-09-24 合安科技技术有限公司 基于配置孪生同步方法、物联网系统和设备及存储介质
CN113297683A (zh) * 2021-06-30 2021-08-24 河北达尔电子科技有限公司 一种基于vr技术的汽车维修教学方法
WO2023287969A1 (en) * 2021-07-14 2023-01-19 Strong Force TX Portfolio 2018, LLC Systems and methods with integrated gaming engines and smart contracts
CN113448444A (zh) * 2021-07-18 2021-09-28 广州智会云科技发展有限公司 一种基于数字孪生技术的云端企业生态圈系统
CN113628006A (zh) * 2021-08-02 2021-11-09 韵拉信息科技(上海)有限公司 智慧店铺溯源互动购物应用平台
CN113630593A (zh) * 2021-08-17 2021-11-09 宁波未知数字信息技术有限公司 一种多模态高精度全空间混合定位系统
US11868122B2 (en) * 2021-09-10 2024-01-09 Rockwell Automation Technologies, Inc. Digital twin outcome-driven orchestration
CN113965609B (zh) * 2021-09-13 2024-04-26 武汉灏存科技有限公司 群控式交互系统及方法
FR3128046A1 (fr) * 2021-10-07 2023-04-14 Key4Events Système de contrôle d’un événement numérique hybride et procédé associé
US20230136597A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Ingesting 3d objects from a virtual environment for 2d data representation
US20230138434A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Extraction of user representation from video stream to a virtual environment
CN113771691B (zh) * 2021-11-09 2022-02-15 北京航空航天大学 基于赛博物理系统的全生命周期动力电池管理装置及方法
US20230177416A1 (en) * 2021-12-02 2023-06-08 At&T Intellectual Property I, L.P. Participant attendance management at events including virtual reality events
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) * 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023166524A1 (en) * 2022-03-01 2023-09-07 Flying Flamingos India Pvt Ltd Method and system for enabling users to experience an extended reality-based social multiverse
US20230347923A1 (en) * 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. Location-based autonomous navigation using a virtual world system
US20230350363A1 (en) 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. System and method of energy supply chain management and optimization through an energy virtual twin
TWI802394B (zh) * 2022-05-04 2023-05-11 南亞塑膠工業股份有限公司 雲端數位商展系統
US20230367444A1 (en) * 2022-05-10 2023-11-16 Tmrw Foundation Ip S. À R.L. Layer-partitioned virtual world system
CN114979029B (zh) * 2022-05-16 2023-11-24 百果园技术(新加坡)有限公司 一种虚拟机器人的控制方法、装置、设备及存储介质
CN115049785A (zh) * 2022-06-09 2022-09-13 友福同享(深圳)智能科技有限公司 一种企业信息交互方法、装置、设备及可读存储介质
US11893150B2 (en) 2022-06-28 2024-02-06 Bank Of America Corporation Systems and methods for multi-point validation in communication network with associated virtual reality application layer
WO2024013707A1 (en) * 2022-07-15 2024-01-18 Jmc Group S.R.L. A Socio Unico Improved system for playing extended reality (xr) with immersive experience in the consumer and professional spheres
CN115695841B (zh) * 2023-01-05 2023-03-10 威图瑞(北京)科技有限公司 一种在外置式虚拟场景中嵌入在线直播的方法和装置
CN116127783B (zh) * 2023-03-24 2024-01-23 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界生成系统
CN116342842B (zh) * 2023-03-24 2024-01-23 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界的数据传输系统
CN117399153B (zh) * 2023-09-25 2024-05-10 武汉科大电控设备有限公司 一种磨机自适应控制方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956039A (en) * 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US20120133638A1 (en) * 2010-11-29 2012-05-31 Verizon Patent And Licensing Inc. Virtual event viewing
CN103974133A (zh) * 2013-01-31 2014-08-06 索尼公司 用于等待在线事件的装置和方法
US9281727B1 (en) * 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
CN106484115A (zh) * 2011-10-28 2017-03-08 奇跃公司 用于增强和虚拟现实的系统和方法
US20180040038A1 (en) * 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
CN108027653A (zh) * 2015-09-09 2018-05-11 微软技术许可有限责任公司 虚拟环境中的触觉交互
US20180342106A1 (en) * 2017-05-26 2018-11-29 Brandon Rosado Virtual reality system
CN110531846A (zh) * 2018-05-24 2019-12-03 明日基金知识产权控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883817A (en) 1996-07-08 1999-03-16 Trimble Navigation Limited Method and apparatus for precise positioning of large structures
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
EP1087323A1 (en) * 1999-09-24 2001-03-28 Nokia Corporation A wireless system for interacting with a virtual space
US6556206B1 (en) 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20060122917A1 (en) 2000-08-14 2006-06-08 Urbanpixel Inc Real-time collaborative commerce in a multiple browser environment
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
JP2005518573A (ja) * 2001-02-07 2005-06-23 ユニバーサル シティ スタジオズ エルエルエルピー テーマパークのための予約システムおよび予約方法
US20030030658A1 (en) 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US8909729B2 (en) 2001-11-20 2014-12-09 Portulim Foundation Llc System and method for sharing digital media content
US6904335B2 (en) 2002-08-21 2005-06-07 Neal Solomon System, method and apparatus for organizing groups of self-configurable mobile robotic agents in a multi-robotic system
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
CN100484726C (zh) 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
RU2006131759A (ru) * 2006-09-04 2008-03-10 Николай Иванович Пальченко (RU) Способ и система моделирования, представления и функционирования единого виртуального пространства как единой инфраструктуры для осуществления реальной и виртуальной хозяйственной и иной деятельности человечества
HUP0600879A2 (en) 2006-11-28 2008-06-30 Adam Dalnoki System and method for moving real objects through operations performed in a virtual environment
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US9111285B2 (en) 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
US20100131947A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
DE102009039834A1 (de) 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US8660670B2 (en) 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
CN102120325B (zh) 2010-01-08 2012-12-12 哈尔滨理工大学 新型遥操作远端机器人控制平台及方法
US8885013B2 (en) * 2010-05-12 2014-11-11 Blue Jeans Network, Inc. Systems and methods for novel interactions with participants in videoconference meetings
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US20130009994A1 (en) 2011-03-03 2013-01-10 Thomas Casey Hill Methods and apparatus to generate virtual-world environments
WO2013026048A2 (en) 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
EP2579128B1 (en) 2011-10-05 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Portable device, virtual reality system and method
WO2013104820A1 (en) 2012-01-09 2013-07-18 Nokia Corporation Method and apparatus for providing an architecture for delivering mixed reality content
US10970934B2 (en) * 2012-10-23 2021-04-06 Roam Holdings, LLC Integrated operating environment
KR102387314B1 (ko) * 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US10225506B2 (en) 2014-08-01 2019-03-05 Sony Corporation Information processing apparatus and information processing method
US20160133230A1 (en) 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
JP2016110245A (ja) 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
JP6676286B2 (ja) 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
US20160343168A1 (en) 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
JP6877341B2 (ja) * 2015-07-08 2021-05-26 ソニーグループ株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
US10399225B2 (en) 2015-07-08 2019-09-03 Stephen Favis Biomimetic humanoid robotic model, control system, and simulation process
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
FR3041804B1 (fr) 2015-09-24 2021-11-12 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
WO2017141391A1 (ja) 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
US20170250930A1 (en) 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20170289202A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Interactive online music experience
US20170286572A1 (en) 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
MX2018015454A (es) 2016-06-13 2019-07-08 Walmart Apollo Llc Sistemas y metodos de compras con realidad virtual.
US20180047093A1 (en) 2016-08-09 2018-02-15 Wal-Mart Stores, Inc. Self-service virtual store system
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
MX2019002120A (es) 2016-08-24 2019-06-20 Walmart Apollo Llc Aparato y metodo para proporcionar un entorno de compras virtual.
WO2018074000A1 (ja) 2016-10-20 2018-04-26 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法
US10877470B2 (en) 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
US20180231973A1 (en) 2017-02-16 2018-08-16 Wal-Mart Stores, Inc. System and Methods for a Virtual Reality Showroom with Autonomous Storage and Retrieval
WO2018226621A1 (en) 2017-06-05 2018-12-13 Umajin Inc. Methods and systems for an application system
US20190065028A1 (en) 2017-08-31 2019-02-28 Jedium Inc. Agent-based platform for the development of multi-user virtual reality environments
US20190102709A1 (en) 2017-10-03 2019-04-04 Invight, Inc. Systems and methods for coordinating venue systems and messaging control
US20190102494A1 (en) 2017-10-03 2019-04-04 Endurica, LLC System for tracking incremental damage accumulation
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US20190138970A1 (en) 2017-11-07 2019-05-09 General Electric Company Contextual digital twin
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
US10565764B2 (en) 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
US10198871B1 (en) * 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US11307968B2 (en) 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
US11403822B2 (en) 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
US10867444B2 (en) * 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US20200210137A1 (en) 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10921878B2 (en) 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10748302B1 (en) * 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956039A (en) * 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US20120133638A1 (en) * 2010-11-29 2012-05-31 Verizon Patent And Licensing Inc. Virtual event viewing
CN106484115A (zh) * 2011-10-28 2017-03-08 奇跃公司 用于增强和虚拟现实的系统和方法
US9281727B1 (en) * 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
CN103974133A (zh) * 2013-01-31 2014-08-06 索尼公司 用于等待在线事件的装置和方法
CN108027653A (zh) * 2015-09-09 2018-05-11 微软技术许可有限责任公司 虚拟环境中的触觉交互
US20180040038A1 (en) * 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US20180342106A1 (en) * 2017-05-26 2018-11-29 Brandon Rosado Virtual reality system
CN110531846A (zh) * 2018-05-24 2019-12-03 明日基金知识产权控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089829A (zh) * 2021-10-13 2022-02-25 深圳中青宝互动网络股份有限公司 一种虚拟现实的元宇宙系统
CN114089829B (zh) * 2021-10-13 2023-03-21 深圳中青宝互动网络股份有限公司 一种虚拟现实的元宇宙系统

Also Published As

Publication number Publication date
US11202036B2 (en) 2021-12-14
CN112102500B (zh) 2024-03-29
EP3754614A1 (en) 2020-12-23
US20200401576A1 (en) 2020-12-24
US11202037B2 (en) 2021-12-14
CN112104593B (zh) 2023-04-14
EP3754468A1 (en) 2020-12-23
US20230283749A1 (en) 2023-09-07
US20200402293A1 (en) 2020-12-24
CN116319926A (zh) 2023-06-23
EP3754463A1 (en) 2020-12-23
US11196964B2 (en) 2021-12-07
US20200404217A1 (en) 2020-12-24
US20200402315A1 (en) 2020-12-24
EP3754467A1 (en) 2020-12-23
US11245872B2 (en) 2022-02-08
US11665317B2 (en) 2023-05-30
CN112102499A (zh) 2020-12-18
CN112100284A (zh) 2020-12-18
EP3754464A1 (en) 2020-12-23
CN112102500A (zh) 2020-12-18
US20200404218A1 (en) 2020-12-24
CN112102501A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112104593B (zh) 融合现实现场事件管理系统和方法
JP7193163B2 (ja) 協調的３ｄマップデータ融合プラットフォーム及びその仮想世界システムを可能にするシステム及び方法
US11798119B2 (en) Multi-dimensional 3D engine computing and virtualization-based dynamic load balancing of virtual or real worlds
US11995730B2 (en) System and method for providing digital reality experiences and decentralized transactions of real estate projects
US20240037844A1 (en) 3d structure engine-based computation platform
US11471772B2 (en) System and method for deploying virtual replicas of real-world elements into a persistent virtual world system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 54 Montorf Road, Betangburg, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: TMRW Foundation IP & Holding S.A.R.L.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 14-16 Pasteur Avenue, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: Karan Holdings Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant