CN112102500A - 通过融合现实的虚拟存在系统和方法 - Google Patents

通过融合现实的虚拟存在系统和方法 Download PDF

Info

Publication number
CN112102500A
CN112102500A CN202010558725.8A CN202010558725A CN112102500A CN 112102500 A CN112102500 A CN 112102500A CN 202010558725 A CN202010558725 A CN 202010558725A CN 112102500 A CN112102500 A CN 112102500A
Authority
CN
China
Prior art keywords
virtual
data
live event
physical location
persistent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010558725.8A
Other languages
English (en)
Other versions
CN112102500B (zh
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TMRW Foundation IP and Holding SARL
Original Assignee
TMRW Foundation IP and Holding SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TMRW Foundation IP and Holding SARL filed Critical TMRW Foundation IP and Holding SARL
Publication of CN112102500A publication Critical patent/CN112102500A/zh
Application granted granted Critical
Publication of CN112102500B publication Critical patent/CN112102500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123—Shopping for digital content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种虚拟存在融合现实系统，该系统包括服务器，该服务器包括至少一个处理器和存储器，该存储器包括存储持久性虚拟世界系统的数据存储，该持久性虚拟世界系统包括现实世界元素的一个或多个虚拟副本。虚拟副本提供自计算能力和自主行为。持久性虚拟世界系统包括托管现场事件的物理位置的虚拟副本，其中，持久性虚拟世界系统被配置为通过网络与多个连接的设备进行通信，该多个连接的设备包括被配置为捕获现场事件的现实世界数据的感测机构，使得能够更新持久性虚拟世界系统。该系统使得客户能够通过持久性虚拟世界系统在现场事件内虚拟地访问、交互并且进行交易。还提供了其计算机实施的方法。

Description

通过融合现实的虚拟存在系统和方法
相关申请的交叉引用
本申请要求2019年6月18日提交的临时申请第62/863171号的权益，出于所有目的，该临时申请的全部公开内容被结合在本文中。
背景技术
消费者通常需要通过亲自前往提供服务的零售店或者通过因特网访问商店的网站在线购物来进行购买。个人购物的一些缺点包括，除了这种商店的有限的营业时间之外，买家必须长途跋涉才能到达期望的商店，这可能增加买家的个人日程安排的复杂性。在线购物已经解决了这些问题，使得您能够在家中舒适地进行购买，而不用处理日程安排的复杂性。最近的发展还使得在线购物能够通过使用到人类或人工智能个人助理的消息区域来提供一定程度的个人购物帮助。然而，用于在线购物的网站的2D性质限制了用户检查产品或与购物助理进行个人交互以便询问其它问题或进行谈判的能力，而这在个人购物体验中是可能的。
例如，诸如游艇、私人飞机、艺术品等的奢侈或独家产品在访问期间可能需要一定程度的隐私，以便检查产品并且从卖家获得尽可能多的信息。然而，在大多数情况下，找到满足双方的日程安排的合适时间并不容易。此外，在许多情况下，买家必须走很长一段距离才能进行个人查看。
因此，需要个人或公共的购物和访问领域的发展。
发明内容
提供该发明内容以简化的形式介绍精选的概念，该概念在下面具体实施方式中被进一步描述。该发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用作确定所要求保护的主题的范围的帮助。
本公开总体上涉及计算机系统，并且更具体地涉及实现虚拟存在的系统和方法，该虚拟存在可以用于通过融合现实来访问现实或虚拟地方。
在当前公开中，提供了精确且灵活的融合现实系统和方法，该融合现实系统和方法被配置为实现虚拟存在，该虚拟存在可以用于访问现实或虚拟地方。该系统和方法可以提供现实的变化混合，该现实的变化混合使得能够由虚拟现实中的持久性虚拟世界来替换现实，或者通过虚拟对象，如以增强或混合现实，仅替换或扩展现实的一些部分。在融合现实系统中，现实世界元素以虚拟形式被复制，除了用于同步虚拟和现实元素的数据之外，还包括多个数据，这些数据不仅表示元素的视觉方面，而且还表示物理和行为方面。通过虚拟化现实世界，当前公开的系统和方法进一步使得能够在现实和虚拟对象之间进行实时交互。在一些实施例中，用于实现虚拟存在的融合现实系统进一步使得能够机器对机器、人类对机器、机器对人类以及人类对人类进行交互。因此，融合现实系统使得潜在买家能够虚拟访问商店或参加私人查看或事件，检查产品或感兴趣的区域，与卖家或助理进行交互，以及进行自动交易，诸如在访问期间进行购买。因为现实是融合的，所以买家和卖家可以具有选项以增强产品甚至商店的一些部分来适应情况，诸如改变感兴趣产品的颜色、尺寸、模型或技术规格。其它虚拟元素，诸如纯虚拟对象或者应用和游戏的图形表示，也可以被配置在商店中以进一步增强购物体验。
在一些实施例中，提供了一种虚拟存在融合现实系统，系统包括被配置为存储和处理输入数据的至少一个服务器(例如，云服务器计算机系统的至少一个服务器)，至少一个服务器包括至少一个处理器和存储器，该存储器包括数据存储，该数据存储存储包括现实世界元素的一个或多个虚拟副本的持久性虚拟世界系统，虚拟副本包括例如逻辑、虚拟数据和模型。在一些实施例中，虚拟数据和模型向虚拟副本提供自计算能力和自主行为。持久性虚拟世界系统包括托管现场事件的物理位置的虚拟副本，并且可以进一步包括与现场事件相关联的情境。持久性虚拟世界系统被配置为通过网络与多个连接的设备进行通信，该多个连接的设备包括被配置为捕获现场事件的现实世界数据的感测机构。持久性虚拟世界系统被配置为使得一个或多个客户(例如，潜在买家)能够通过持久性虚拟世界系统经由用户设备来访问现场事件、并且与来自现场事件的元素进行交互。持久性虚拟世界系统进一步被配置为实现托管事件的物理位置内的元素之间的交互。
在一些实施例中，虚拟副本包括可以通过多个软件平台、软件引擎和/或被连接到连接的设备的传感器输入的逻辑、虚拟数据和模型。在当前公开中，逻辑指的是定义被嵌入在计算机代码中的操作指令和行为的规则，这对于持久性虚拟世界系统中可用的虚拟副本或应用的编程可能是需要的。虚拟数据是虚拟副本的属性，并且模型是对应的现实世界元素的任意方面的图形、数学和/或逻辑表示，这可以通过所包括的逻辑来定义和管理。
在一些实施例中，合适的模型包括3D模型、动态模型、几何模型或机器学习模型中的一个或多个或其组合。可以经由多个外部平台或被包括在持久性虚拟世界系统中的引擎服务来输入模型和数据。多个外部平台可以包括例如物联网(IoT)平台、机器学习(ML)平台、大数据平台或模拟平台。外部平台可以通过应用程序接口(API)和软件开发工具包(SDK)连接到持久性虚拟世界系统，以便提供和操纵虚拟副本的模型和数据。被包括在持久性虚拟世界系统中的引擎服务可以包括人工智能、模拟、3D和触觉特征等。持久性虚拟世界系统还连接到空间数据流平台，该空间数据流平台被配置为从现实世界元素并且还从它们的虚拟副本接收和管理空间数据。该系统可以进一步包括数字现实接口，诸如虚拟现实、增强现实和融合现实接口，以与融合现实或虚拟现实进行交互。这些交互接口和机制通过使用被包括在计算机脚本和程序中的计算机代码来定义，并且可以受到发生交互的持久性虚拟世界系统中可用的应用(例如，分布式应用)、智能合约等的影响，数字编码预定区域中的现实世界和虚拟世界的所有或大多数元素之间可能和期望的交互，产生融合交互现实的一个视图。
几何模型包括基于现实世界元素来定义虚拟副本的形状的数学模型。3D模型与几何模型一起使用以显示被包括在虚拟副本的每个几何形状中的数据，诸如纹理、颜色、阴影、反射、照明、碰撞效果等。3D模型包括3D数据结构，该3D数据结构用于视觉地表示虚拟副本和持久性虚拟世界系统中的其它虚拟元素，诸如应用、广告、虚拟机器人等。3D数据结构可以包括例如一个或多个八叉树，诸如稀疏体素八叉树或密集体素树，该3D数据结构可以适合于通过3D扫描技术将世界虚拟化为持久性虚拟世界系统。然而，可以进一步包括其它数据结构，诸如四叉树、BSP树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树和六边形结构。3D数据结构具有准确且有效地表示持久性虚拟世界系统中的虚拟对象的每个几何形状的数据的功能。
动态模型表示描述虚拟世界中的现实世界对象随时间的行为的数学模型，可以包括以定义的顺序发生的一组状态，并且可以包括连续(例如，代数或微分方程)和离散(例如，作为状态机或随机模型)动力学模型。
机器学习模型是现实世界对象和处理的数学表示，通常基于已经被用作训练数据以供学习的实际或模拟数据由机器学习算法来生成。该模型可以实现人工智能技术的实施方式，该人工智能技术可以用于通过虚拟副本来优化现实世界元素的操作和/或性能。机器学习模型可以采用机器学习算法，该机器学习算法允许教导虚拟副本关于现实世界元素的行为，以便模拟现实世界元素的行为。
在一些实施例中，在虚拟副本中使用的模型考虑了特定的场景计算所需的细节水平(LOD)。LOD涉及在虚拟副本远离查看者时或者根据诸如对象重要性、相对于视点的速度、或位置的其它度量来降低模型表示的复杂性。在一些实施例中，根据包括人工智能查看者(例如，AI购物助理)或人类查看者(例如，人类购物者)的单独查看者的分类，进一步对于单独查看者来调整LOD。在一些实施例中，根据人工智能查看者或人类查看者的子分类，进一步调整LOD。LOD是通常用在游戏引擎中以优化实时渲染的特征，仅在用户的视点更靠近对象时才使用更详细的模型。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的物理模型(从低保真到高保真模型)与虚拟副本相关联，使得能够根据情况和情形来进行不同的模拟。
在当前公开的实施例中，系统可以使用云到边缘基础设施，该云到边缘基础设施可以实施分布式计算能力，包括采用公共或私有云、基于分布式账本的基础设施、微云(cloudlet)和边缘系统，诸如企业系统、移动平台和用户设备。基于分布式账本的基础设施可以是去中心化且不可变的区块链或分布式账本网络，该区块链或分布式账本网络促进广泛地分发持久性虚拟世界系统所需的数据的传送和存储，包括虚拟副本、应用以及持久性虚拟世界系统内的任何事件或交互。通过云到边缘基础设施，包括物理服务器和网络设备的资源实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户相对于彼此以及相对于他们所在的位置地点而相应地命令更多或更少的计算的计算需求的因素来允许动态分配。在一些实施例中，使用分布式账本基础设施将存储和计算的动态分配编码为智能合约，对事务逻辑(例如，存储和计算的每个分配背后的计算机逻辑)以及这种分配的后果或结果进行自动化。
在一些实施例中，持久性虚拟世界系统进一步包括用户可以通过用户设备进行交互的应用。该应用例如可以是使用当前公开的分布式云到边缘基础设施的分布式应用。该应用可以帮助定义用户可以与持久性虚拟世界系统的元素进行交互的类型，诸如实现具有持久性虚拟世界系统中的其它用户的虚拟副本或化身的类似于交互游戏的机制。该应用可以在被存储在服务器的存储器中的应用库处可得，或者来自外部源，诸如通过被连接到服务器并且向持久性虚拟世界系统提供应用的外部应用库。
在一些实施例中，为了减少硬件和网络需求，有助于减少网络延迟，并且改善一般的融合现实体验，系统可以通过包括毫米波(mmW)或者mmW和sub 6GHz通信系统的组合的网络来连接，诸如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网络(Wi-Fi)来连接。提供的通信系统可以允许低延迟的端到端(E2E)延迟和高的下行链路速度到现场端点，符合执行典型的高度交互的数字现实应用或其它高度需求的应用所需的参数。这导致高质量、低延迟、实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统来支持，或者可以包括其它有线或无线通信系统。
在一些实施例中，现场事件物理位置中的多个连接的设备包括一个或多个RGBD相机、深度相机、LIDAR相机、CCTV相机或IoT设备或其组合。在又一实施例中，连接的设备被配置为记录物理位置中的事件、扫描并且生成物理位置的3D图像、检测物理位置内的一个或多个对象中的状态改变或其组合。在又一实施例中，现场事件物理位置内采用的相机使用基于人工智能的机器视觉来识别对象或人以及它们在现场事件物理位置内的位置和朝向。
通过向多个连接的设备提供不断从现实世界捕获数据的感测机构，使用反映现实世界的状况的实时、多源数据来保持更新虚拟世界和每个同步的虚拟副本。在一些实施例中，通过人工智能算法来处理多源数据，该人工智能算法进一步向虚拟副本提供可以增强现实世界的自主行为。人工智能处理数据可以包括进行数据、图像和对象识别；数据和对象分类；数据、图像或对象分割；数据、图像或对象遮蔽；数据、图像或对象归类；数据和对象的多维轨迹生成；或其组合。多源数据包括每个现实世界元素的可捕获数据，包括3D图像数据、3D几何形状、3D实体、3D感测数据、3D动态对象、视频数据、音频数据、优先级数据、化学成分、废物产生数据、文本数据、时间数据、位置数据、朝向数据、速度数据、温度数据、湿度数据、污染数据、照明数据、体积数据、流量数据、色度数据、功耗数据、带宽数据和质量数据等中的一个或多个。
根据实施例，被安装在连接的设备上的感测机构包括惯性跟踪感测机构和收发器的组合，其中，由这种组合跟踪的数据可用作嵌入式跟踪数据或到感测的数据集的跟踪元数据。惯性跟踪感测机构可以使用诸如加速度计、陀螺仪、磁力计等的设备，这些设备可以被集成在惯性测量单元(IMU)中，或者可以与IMU分离。在实施例中，收发器是mmW收发器。在采用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并且将数据发送回天线。惯性传感器，以及由mmW收发器提供的位置跟踪，以及由基于mmW的天线提供的精确跟踪、低延迟和高QOS功能，可以实现亚厘米或亚毫米的位置和朝向跟踪，这可以在跟踪连接的元素的实时位置和朝向时增加精度。在一些实施例中，可以通过采用本领域中已知的多个技术来实施跟踪，诸如到达时间(TOA)、到达角度(AOA)或本领域中已知的其它跟踪技术(例如，视觉成像、雷达技术等)。在替代实施例中，感测机构和收发器可以一起被耦合在单个跟踪模块设备中。
在一些实施例中，至少一个服务器可以存储虚拟世界层，该虚拟世界层可以被分离为增强现实层和虚拟现实层。分离的层可以使得能够通过融合现实以增强现实或虚拟现实中的任何一个来访问持久性虚拟世界系统，并且可以在访问一个或另一个类型的现实时通过与至少一个服务器连接的用户设备来激活。每个层可以包括可以特定于每个层的现实和虚拟副本的增强。该层可以进一步包括一个或多个应用，该一个或多个应用可以从被存储在至少一个云服务器的存储器中的一个或多个应用库、从外部平台、或者通过区块链或基于分布式账本的分布式数据库可得。该应用可以是一个或多个传统应用、分布式应用或者去中心化应用。
在一些实施例中，现场事件物理位置具有被存储在至少一个云服务器中的相关联的数字标识符，数字标识符由用户设备从客户检索，以便通过持久性虚拟世界系统访问相关联的现场事件物理位置。在一些实施例中，数字标识符包括QR码、URL、IP地址、MAC地址、密码哈希、通用唯一标识符和组织唯一标识符中的一个或多个。在又一实施例中，在从主持者设备接收到访问现场事件的邀请之后，客户通过持久性虚拟世界系统访问事件。在又一实施例中，在接收到邀请之后，由用户设备从客户检索数字标识符。在其它实施例中，数字标识符被公开地共享为现场事件物理位置或主持者的联系细节的一部分。
在一些实施例中，客户从其远程访问托管事件的物理位置的客户位置包括连接的设备，诸如记录和检测在化身的客户上模拟的来自客户的移动和表情的相机。在另一实施例中，客户位置是虚拟现实专用小屋、电话亭、会议室中的一个，或者建筑物的内部或外部的任何房间。通过在物理房间内物理移动或通过操纵用户设备上的控制器接口，进行远程访问期间的客户移动和交互。
在一些实施例中，系统进一步包括个人助理，该个人助理主持事件并且专用于向通过持久性虚拟世界系统访问事件的客户进行展示。在又一实施例中，个人助理是由现实位置中可查看的化身表示的人工智能代理，或者现实人类。在另一实施例中，主持者可以作为虚拟化身远程加入事件物理位置，以便接收一个或多个客户，因此不需要物理上在事件物理位置，或者可以通过物理上存在于现场事件物理位置来加入事件。
在一些实施例中，每个用户设备具有个人标识符，使得至少一个服务器能够识别客户以便提供个性化体验。在又一实施例中，由客户进行的、包括例如交易和参与动作的每个交互在用户设备个人标识符下被记录在至少一个服务器的存储器中。在又一实施例中，由客户进行的每个交互在用户设备个人标识符下被记录在分布式账本的智能合约中。在一些实施例中，记录的交互数据可以在将来用于为用户创建目标广告或个性化体验。在一些实施例中，个性化体验可以采取显示与客户的偏好匹配的特征的个性化店面或访问室的形式，诸如使用客户喜欢的颜色、音乐以及可以改善虚拟访问体验的产品系列来增强店面或访问区域。在一些实施例中，个性化体验可以包括修改店面或访问区域的主题，这可以包括基于可用的记录的交互和偏好数据或根据由客户或主持者选择的，自动地实施店面或访问室的情境的虚拟修改。
在一些实施例中，物理位置中发生的现场事件是虚拟现实呼叫、个人购物访问、会议室访问、房地产访问、娱乐事件、视频游戏事件和拍卖中的一个或多个。
在一些实施例中，通过自动支付系统访问用户的支付卡数据，该支付卡数据与使用持久性虚拟世界系统被链接到用户账户的个人标识符相关联，交易在虚拟访问会话结束时自动进行，或者稍后进行。在另一实施例中，可以通过使用记录在区块链或分布式账本上的智能合约，约束购买协议并且启动要被转移的有关现实或数字货币的交易来实现交易。在另一实施例中，可以由用户虚拟地穿过游艇中的预定结账区域来实现交易。通过跟踪用户设备，结账区域可以精确地检测用户化身的地理位置和空间位置，以便检测结账何时被穿过。穿过预定结账区域可以触发云服务器以检索与被链接到持久性虚拟世界系统中的用户账户的用户的个人标识符相关联的用户的支付信息，连接到支付机构，自动为购买的商品支付并且触发运送系统以向用户运送商品。
在一些实施例中，一种通过融合现实系统实现虚拟存在的方法包括，在服务器的存储器中提供存储持久性虚拟世界系统的数据存储，该持久性虚拟世界系统包括现实世界元素的一个或多个虚拟副本，一个或多个虚拟副本包括虚拟数据和模型；提供托管现场事件的物理位置的虚拟副本和与现场事件相关联的情境；在物理位置中提供多个连接的设备，该多个连接的设备通过网络与持久性虚拟世界系统进行通信，并且该多个连接的设备包括被配置为捕获现场事件的现实世界数据的感测机构；检测通过持久性虚拟世界系统访问现场的客户的用户设备，以及(例如，响应于在物理位置处检测到授权用户设备的存在)，实现与现场事件内的一个或多个元素的交互以及现场事件的元素之间的交互。
在一些实施例中，方法进一步包括，通过持久性虚拟世界系统以增强现实或虚拟现实访问现场事件的位置，其中，至少一个服务器存储增强现实和虚拟现实中的每个的分离的层，该分离的层通过被连接到至少一个服务器的用户设备来激活，每个层包括特定于每个层的现实和虚拟副本的增强。
在一些实施例中，方法进一步包括，由主持者设备向一个或多个客户提供访问现场事件的邀请。
在一些实施例中，方法进一步包括，在至少一个服务器中提供与托管现场事件的每个物理位置相关联的数字标识符。数字标识符可以由用户设备从至少一个服务器检索，以便通过持久性虚拟世界系统访问相关联的物理位置。在另一实施例中，数字标识符包括QR码、URL、IP地址、MAC地址、密码哈希、通用唯一标识符和组织唯一标识符中的一个或多个。在又一实施例中，方法进一步包括，在用户设备接收到访问现场事件的邀请之后，由至少一个主持者设备发送数字标识符，或者公开共享数字标识符作为现场事件物理位置或主持者的联系细节的一部分。
在一些实施例中，方法进一步包括，提供专用于向通过持久性虚拟世界系统访问事件的访问者进行展示的个人助理，其中，个人助理是由化身表示的人工智能代理，或者现实人类。
在一些实施例中，方法进一步包括，在至少一个服务器中存储实现客户的识别的用户设备个人标识符，以便向客户提供个性化体验；以及在用户设备个人标识符下记录由客户进行的每个交易。
上面的发明内容不包括本公开的所有方面的详尽列表。可以预期的是，本公开包括可以从上面概述的各种方面的所有合适的组合、以及下面的具体实施方式中公开的那些和与本申请一起提交的权利要求中具体指出的那些来实践的所有系统和方法。这种组合具有上面的发明内容中没有具体陈述的优点。根据附图并且根据下面的具体实施方式，本公开的其它特征和优点将是显而易见的。
附图说明
关于以下描述和附图，将更好地理解本公开的具体特征、方面和优点，其中：
图1描绘了根据实施例的可以用于实施虚拟存在融合现实系统的服务器计算机系统的云服务器的图。
图2示出了虚拟存在融合现实系统的实施例。
图3描绘了根据实施例的示出用于生成在虚拟存在融合现实系统中使用的虚拟副本网络的数据和模型的图。
图4描绘了根据实施例的示出用于生成在虚拟存在融合现实系统中使用的虚拟副本网络的平台和接口的图。
图5描绘了根据当前公开的实施例的使用虚拟存在融合现实系统来实现虚拟存在的示例会议室。
图6描绘了根据实施例的可以在虚拟存在融合现实系统中使用的连接的设备的操作组件图。
图7描绘了实现虚拟存在融合现实系统的方法。
具体实施方式
在以下描述中，参考通过图示方式显示各种实施例的附图。此外，下面将通过参考多个示例来描述各种实施例。应该理解的是，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构中的改变。
图1描绘了根据实施例的描述可以用于实施虚拟存在融合现实系统的服务器计算机系统的云服务器100的图。
在当前公开中，术语虚拟存在指的是采用本公开的融合现实系统通过虚拟化身以虚拟方式存在的动作。虚拟化身表示用户，并且使得用户能够在虚拟或现实位置中体验事件，就好像他或她存在于所述位置中一样。因此，用户可以例如通过融合现实系统被虚拟地“传送”，并且使得他们能够访问现场或虚拟事件，诸如演讲、拍卖、博物馆或其它类型的展览，房地产查看，开会，会议或者在现实或虚拟位置中发生的任何私人或公共查看。
云服务器100包括一个或多个处理器102和存储器104，该存储器104包括具有现实世界元素的虚拟副本106的数据存储。多个连接的虚拟副本106形成虚拟副本网络108，该虚拟副本网络108使得能够通过直接物理通信或通过基于间接虚拟副本的连接来建立对等(P2P)连接。存储器104可以进一步存储在现实世界中不可用的纯虚拟对象110和可以位于世界的各种部分的应用112。世界的相互连接的区域中的多个虚拟副本网络108与纯虚拟对象110和应用112一起形成持久性虚拟世界系统114，该持久性虚拟世界系统114可以通过用户设备的合适接口来访问。
虽然本文中参考单个服务器(例如，云服务器100)来描述一些示例，但是应该理解的是，本文中被描述为由单个服务器进行的功能可以代替地由包括多个服务器计算机的服务器系统来进行，反之亦然。
在当前公开中，术语“持久性”用于表征在没有连续执行处理或网络连接的情况下可以继续存在的系统的状态。例如，术语“持久性”可以用于表征虚拟世界系统，其中，虚拟世界系统和其中包括的所有虚拟副本、纯虚拟对象和应用在用于创建虚拟副本、纯虚拟对象和应用的处理停止之后继续存在，并且不依赖于用户被连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置中(例如，在云服务器100中)。以该方式，即使用户没有被连接到服务器，虚拟副本、纯虚拟对象和应用在被配置用于实现特定目标时也可以彼此进行交互和协作。
当前公开的虚拟副本106指的是现实世界元素(在本文中也被称为现实孪生)的虚拟版本(在本文中也被称为虚拟孪生)，该虚拟副本106可以通过计算机辅助绘图(CAD)或计算机辅助工程(CAE)方法来映射或建模，由现实对象的计算机模型(例如，建筑物信息模型-BIM)或其它合适的方法来输入，并且该虚拟副本106不仅可以反映现实孪生的外观，而且可以反映现实孪生的行为。现实世界对象可以另外包括可以向虚拟副本106提供多源输入数据的传感器，用于充实虚拟副本106并且将虚拟副本106与它们各自的现实对应物同步。因此，虚拟副本106可以从一个或多个源(例如，从一个或多个现实世界对象、环境传感器、计算设备等)获得数据。如本文中使用的，术语“多源数据”指的是可以从多个源获得的数据。
可以基于多源数据来更新虚拟副本，诸如通过更新已知的参数或特征，通过使用附加的参数或特征来充实虚拟副本等。在当前公开中，术语“充实”用于描述基于多源数据向虚拟副本提供进一步特性的动作。充实虚拟副本可以被认为是使用一个或多个新形式的数据来更新虚拟副本的特殊形式，该一个或多个新形式的数据先前可能不存在于虚拟副本中。例如，充实虚拟副本可以指的是提供从多个设备上的感测机构捕获的现实世界数据，其中，进一步的现实世界数据包括视频数据、温度数据、实时能量消耗数据、实时水消耗数据、速度或加速度数据等。
虚拟存在融合现实系统的虚拟副本网络108使得能够机器对机器、人类对机器、机器对人类以及人类对人类进行通信和交互。交互机制通过使用被包括在计算机脚本和计算机程序中的计算机代码来定义，并且可以通过发生交互和交互应用的持久性虚拟世界系统中提供的区块链或基于分布式账本的分布式数据库中可用的应用、智能合约或其组合来启用。因此，应用、智能合约或其组合使得能够通过持久性虚拟世界系统来数字编码和表示预定区域中的现实世界的所有或大多数元素之间的可能的和期望的交互和交互接口。可以由用户以类似于交互游戏的应用的形式或通过类似于游戏的交互机制来体验交互。可以例如在通过物理位置的虚拟副本对物理位置进行虚拟访问期间来启用交互，从而访问这种位置的用户可以与通过启用虚拟存在被配置的元素进行虚拟交互。
图2示出了虚拟存在融合现实系统200的实施例。图2的一些元素可以指的是图1中描绘的系统的相似或相同的元素，因此可以使用相同的附图标记。
图2的系统200包括被配置为存储和处理输入数据的至少一个云服务器100，至少一个服务器包括至少一个处理器和存储器，该存储器包括数据存储，该数据存储存储持久性虚拟世界系统114并且包括现实世界元素的一个或多个虚拟副本，该虚拟副本包括虚拟数据和模型。在一些实施例中，虚拟数据和模型向虚拟副本提供自计算能力和自主行为。系统200进一步包括现场事件物理位置202，该现场事件物理位置202包括与现场事件相关联的情境204，其中，现场事件物理位置虚拟副本206被包括在至少一个云服务器100的持久性虚拟世界系统114中。现场事件物理位置202包括多个连接的设备208，该多个连接的设备208通过网络210连接到持久性虚拟世界系统114，并且该多个连接的设备208包括被配置为捕获现场事件的现实世界数据的感测机构。位于客户物理位置214的客户212可以通过持久性虚拟世界系统114经由用户设备216访问现场事件物理位置202中的现场事件，并且可以与来自现场事件的元素进行交互。用户设备216可以是移动设备、个人计算机、游戏机、媒体中心、智能隐形眼镜和头戴式显示器等中的一个。客户212可以由现场事件物理位置202处可查看的主持者218接收。接收客户212的主持者218可以是现场事件的创建者，并且在一些实施例中，可以另外充当个人助理，该个人助理致力于在一个或多个客户212的购物体验期间向他们提供帮助。客户212可以与主持者218或与现场事件物理位置202中的现场事件的情境204内包括的任何对象220进行虚拟交互。此外，现场事件物理位置202内的对象220还可以经由现场事件物理位置虚拟副本206内的它们各自的虚拟副本彼此进行交互。
现场事件物理位置202中的交互通过被包括在计算机脚本和计算机程序中的计算机代码来提供，并且通过包括传统的、分布式的或去中心化的应用，智能合约等或其组合来启用。因此，应用、智能合约或其组合能够数字编码各种虚拟交互，诸如虚拟购买、虚拟投资、虚拟拍卖、虚拟游戏、虚拟测试、虚拟检查、虚拟触摸、虚拟凝视、虚拟物理讲话、虚拟聆听、虚拟物理交互、虚拟投票、虚拟签名、虚拟绘图、虚拟作曲、虚拟创造、虚拟协作、虚拟运动、虚拟驾驶、虚拟飞行、虚拟进行手术、虚拟咨询、虚拟休假、虚拟建造、虚拟工程、虚拟设计、虚拟训练、虚拟学习、虚拟教育、虚拟医疗、虚拟远程控制、虚拟感觉、虚拟情绪、虚拟眨眼、虚拟挥动、虚拟支付、虚拟传送、虚拟共享和虚拟收集等。这些交互可以通过现场事件物理位置虚拟副本206单独启用或者与其它现实或虚拟客户一起启用或者其组合，创建对应的现实世界效果和交互。
在一些实施例中，与事件的情境204有关的对象220以及其中包括的人的数据包括被直接输入或者被捕获并传送到现场事件物理位置虚拟副本206的现实空间数据，并且被转换为包括虚拟空间数据的虚拟数据。由至少一个云服务器100组合现实和虚拟空间数据，使得能够使用虚拟空间数据来增强现场事件物理位置202的现实空间数据。因此，现场事件内的对象220和人的位置和朝向通过多个连接的设备208被映射或感测，并且在持久性虚拟世界系统114中被实时更新，使得客户212能够实时查看现场事件物理位置202中的任何改变。
在一些实施例中，现场事件物理位置202中的多个连接的设备208包括一个或多个RGBD相机、深度相机、LIDAR相机、CCTV相机或物联网设备或其组合。在又一实施例中，连接的设备208被配置为记录物理位置中的事件、扫描并且生成物理位置的3D图像、检测物理位置内的一个或多个对象220中的状态改变或其组合。在又一实施例中，现场事件物理位置202内采用的相机使用基于人工智能的机器视觉来识别对象220或人以及它们在现场事件物理位置202内的位置和朝向。
在一些实施例中，现场事件物理位置202具有被存储在至少一个云服务器100中的相关联的数字标识符，数字标识符由用户设备216从客户212检索，以便通过持久性虚拟世界系统114访问相关联的现场事件物理位置202。在一些实施例中，数字标识符包括QR码、URL、IP地址、MAC地址、密码哈希、通用唯一标识符和组织唯一标识符中的一个或多个。在又一实施例中，在从主持者设备接收到访问现场事件的邀请之后，客户212通过持久性虚拟世界系统206访问事件。主持者设备可以指的是由现场事件的发起者采用的用户设备，或者来自有权生成对主持事件的邀请的其它人工或人类用户。在又一实施例中，在接收到邀请之后，由用户设备216从客户212检索数字标识符。在其它实施例中，数字标识符被公开地共享为现场事件物理位置202或主持者218的联系细节的一部分。
在一些实施例中，客户物理位置214包括连接的设备，诸如记录和检测在化身的客户上模拟的来自客户的移动和表情的相机。客户物理位置214可以是虚拟现实专用小屋、电话亭、会议室中的一个或多个，或者建筑物的内部或外部的任何房间，其中，客户212可以通过网络210连接到持久性虚拟世界系统114的现场事件物理位置虚拟副本206。在这些实施例中，通过在客户物理位置214内物理移动或通过操纵用户设备216上的控制器接口(例如，控制器板、按钮、操纵杆、空气接口上的空气流动等)，进行远程访问期间的客户移动和与现场事件物理位置202中的对象220或人的交互。
根据实施例，主持者218是专用于在访问现场事件期间辅助客户212的个人助理。个人助理可以是由事件物理位置202中可查看的化身表示的人工智能代理，或者是存在于事件物理位置202的现实人类。在其它实施例中，主持者218可以作为虚拟化身远程加入事件物理位置202，以便接收一个或多个客户212，因此不需要物理上在事件物理位置202。个人助理可以是现场事件的发起者，可以是发起者的助理，或者可以是被配置为辅助客户212的完全人工智能代理。
例如，在大学演讲期间，教授可以作为虚拟副本或虚拟化身虚拟地访问教室。在该示例中，教授可以查看教室的虚拟副本以及学生的虚拟化身，并且学生也可以查看实时教学的教授的虚拟化身，并且与教授进行实时交互。此外，在该示例中，学生可以包括物理上存在于教室中的现实学生，以及通过持久性虚拟世界系统100中的教室虚拟副本远程访问教室的虚拟学生，使得他们能够查看其它现实或虚拟学生、教授以及托管讲座的教室的虚拟化身并且与它们进行交互。在另一示例中，一群访问博物馆的游客预订了导游以带领他们通过博物馆。这群游客可以包括物理上存在于博物馆中的游客，通过持久性虚拟世界系统100访问博物馆虚拟副本、通过他们的虚拟化身远程访问博物馆的游客，或其组合。导游也可以物理上存在于博物馆，或者可以通过访问博物馆虚拟副本、通过他或她的虚拟化身虚拟地加入博物馆。在上面的示例中，在客户202和主持者218的资源可用性方面，系统200向他们提供了更大程度的灵活性，因为距离现场事件物理位置202太远或没有足够时间访问现场事件物理位置202的人可以远程进行。此外，系统200的实施方式还可以防止或减少空间的物理聚类，因为客户212和/或主持者218中的至少一些可以是虚拟化身。
在一些实施例中，由客户212以增强或虚拟现实通过持久性虚拟世界系统114来访问现场事件物理位置虚拟副本206。在这些实施例中，至少一个云服务器100存储增强现实和虚拟现实中的每个的分离的层，通过被连接到至少一个云服务器100的用户设备216来激活该分离的层，每个层包括特定于每个层的现实和虚拟副本的增强。例如，现场事件内的人可能在增强现实层中激活了特定对象，该特定对象仅可以以增强现实来查看。当客户212访问现场事件时，他可以仅查看现场事件的参与者和对象中的每个，而没有进一步的增强，但是当客户212激活增强现实层时，具有增强现实层中的增强的对象和交互可以对客户212可用。
根据实施例，用户设备216具有个人标识符或相应的用户数据，使得至少一个云服务器100能够识别参与者以便提供个性化体验。此外，在该实施例中，由客户212进行的每个交易在用户设备个人标识符下被记录在至少一个云服务器100的存储器中。在又一实施例中，包括现场事件内的交易的每个交互在用户个人标识符下通过一个或多个相应的智能合约被记录在区块链或分布式账本上。在又一实施例中，虚拟副本之间的交互或现场事件物理位置虚拟副本206的任何其它元素通过智能合约被记录在区块链或分布式账本上。
在一些实施例中，个性化体验可以采取显示与客户212的偏好匹配的特征的个性化店面或访问室的形式，诸如使用客户喜欢的颜色、音乐以及可以改善虚拟访问体验的产品系列来增强店面或访问区域。在一些实施例中，个性化体验可以包括修改店面或访问区域的主题，这可以包括基于可用的记录的交互和偏好数据或根据由客户或主持者选择的，自动地实施店面或访问室的情境的虚拟修改。例如，店面或访问区域可以被丛林、海滩、山脉、湖泊或沙漠主题覆盖，其中，包括店面或访问区域的颜色、对象、音乐和一般氛围的情境被虚拟地增强以匹配选择的主题。
在一些实施例中，当前公开的系统可以使用云到边缘基础设施，该云到边缘基础设施可以采用公共或私有云服务器、雾服务器以及诸如企业系统、移动平台、机械、机器人、车辆、传感器或用户设备的其它系统来实施分布式计算能力，所有这些可以通过网络210连接。在一些实施例中，云到边缘基础设施进一步包括基于分布式账本的基础设施，以促进广泛地分发持久性虚拟世界系统114所需的数据的传送和存储，包括虚拟副本、纯虚拟对象、应用以及持久性虚拟世界系统114内的任何事件或交互。这样，包括物理服务器和网络设备的资源实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户相对于彼此以及相对于他们所在的位置地点而相应地命令更多或更少的计算的计算需求的因素来动态分配。在一些实施例中，使用分布式账本基础设施将存储和计算的动态分配编码为智能合约，对事务逻辑(例如，存储和计算的每个分配背后的计算机逻辑)以及分配的后果或结果进行自动化。
根据一实施例，由到达时间(TOA)、到达角度(AOA)和视觉成像技术中的一个或多个来进行设备的跟踪。可以由雷达技术、天线、Wi-Fi、惯性测量单元、陀螺仪和加速度计中的一个或多个来进行跟踪。
在一些实施例中，为了减少硬件和网络需求，有助于减少网络延迟，并且改善一般的融合现实体验，系统可以通过包括毫米波(mmW)或者mmW和sub 6GHz通信系统的组合的网络210来连接，诸如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网络(Wi-Fi)来连接，该Wi-Fi以60GHz提供数据。提供的通信系统可以允许低延迟和到现场端点的高Gbps下行链路速度，符合执行典型的高度交互的数字现实应用或其它高度需求的应用所需的参数。这导致高质量、低延迟、实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统来支持，或者可以包括其它有线或无线通信系统。
在其它实施例中，全球导航卫星系统(GNSS)，其统称为基于多个卫星的导航系统，像是GPS、BDS、Glonass、QZSS、Galileo和IRNSS，可以用于实现设备的定位。利用来自足够数量的卫星的信号以及诸如三角测量和三边测量的技术，GNSS可以计算设备的位置、速度、高度和时间。在优选实施例中，通过现有蜂窝通信网络的架构，外部定位系统由辅助GNSS(AGNSS)来增强，其中，现有架构包括5G。在其它实施例中，AGNSS跟踪系统进一步由4G蜂窝通信网络来支持。在室内实施例中，GNSS进一步经由诸如Wi-Fi的无线电无线局域网络来增强，该Wi-Fi优选地但是不限于以60GHz提供数据。在替代实施例中，GNSS经由本领域中已知的其它技术来增强，诸如经由差分GPS(DGPS)、基于卫星的增强系统(SBAS)、实时运动学(RTK)系统。在一些实施例中，由设备中的AGNSS和惯性传感器的组合来实施设备的跟踪。
图3描绘了根据实施例的系统300的图，该系统300描述在虚拟存在融合现实系统中使用的虚拟副本和导出的虚拟副本网络的设计。图3的一些元素可以指的是图1-2的相似或相同的元素，因此可以使用相同的附图标记。
如图3中示出的，包括连接的设备208和用户设备216的现实世界302中的元素通过数据流304被连接到持久性虚拟世界系统。根据连接的设备208的能力，这些数据流304可以是单向或双向的。如参考图1解释的，持久性虚拟世界系统可以被存储在云服务器102中，并且在云到边缘计算和网络基础设施中被共享。
由连接的设备208发送的数据流304可以由被安装在连接的设备208上的传感器获得，诸如一个或多个温度传感器、接近传感器、惯性传感器(例如，惯性测量单元、加速度计、陀螺仪和磁力计)、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。用户设备216的数据流304除了传感器数据之外，还可以包括经由用户设备216与应用进行交互而产生的用户输入数据。
通过向多个连接的设备208和用户设备216提供不断从现实世界302捕获数据的感测机构，使用反映现实世界302的状况的实时、多源数据来保持更新虚拟世界和每个同步的虚拟副本106。多源数据包括每个现实世界元素的可捕获数据，包括3D图像数据、3D几何形状、3D实体、3D感测数据、3D动态对象、视频数据、音频数据、优先级数据、化学成分、废物产生数据、文本数据、时间数据、位置数据、朝向数据、速度数据、温度数据、湿度数据、污染数据、照明数据、体积数据、流量数据、色度数据、功耗数据、带宽数据和质量数据等中的一个或多个。
持久性虚拟世界系统中与虚拟副本106的交互是通过使用被连接到每个虚拟副本106的数据存储306的发布/订阅服务进行数据交换来实现的。数据类型可以包括周期和非周期、同步和异步的数据。每个虚拟副本106保持数据存储306，其中，可以由现实孪生或由微服务(未示出)来更新数据。持久性虚拟世界系统中的数据可以直接与特定的虚拟副本106相关联，或者可以被处理为匿名数据，该匿名数据可以包括有关的虚拟副本106的多个流源的聚合。例如，来自汽车的特定模型的所有单元的数据可以被处理和聚合为流数据以可用于预测性维护服务。
微服务指的是可以被独立开发、部署和维护的单独服务，每个服务被配置为进行离散任务并且通过API与其它服务进行通信。每个微服务可以使用虚拟副本模型以及与环境的关系来修改虚拟副本106的特定属性的值，从而更新虚拟副本106的数据存储306中的数据。如将在图4中显而易见的是，微服务可以使用持久性虚拟世界系统的特定核心服务，诸如多个引擎，或被连接到外部平台。
数据流304可以经由连接器308被存储在数据存储306中。连接器308可以包括用于读取数据流304的数据并且写入数据存储306的软件和硬件。连接器308可以使用发布/订阅应用程序接口(API)来连接到数据存储306，并且帮助向虚拟副本106馈送来自连接的设备208和用户设备216的数据流304。连接的设备208的数据流304进一步通过连接器308馈送给网络物理系统310，而用户设备304的数据流304通过连接器308馈送给用户的虚拟化身312。系统300还包括机器人314的实施方式，该机器人314可以包括被配置为通过采用机器学习算法作为具有人类或类似人类的行为的自动代理来响应的硬件和软件。人类化身312可以被配置为显示人类用户的物理特征，或者可以被配置为具有不同的视觉方面和特征。
在当前公开中，一对虚拟现实孪生或孪生对可以被认为是网络物理系统310，该网络物理系统310是计算与物理处理的集成，该网络物理系统310的行为由系统的网络和物理部分来定义。因此，虚拟副本106是网络物理系统310的网络部分。虚拟副本106然后可以被认为是现实孪生的扩展，该虚拟副本106允许将物理部分与人工智能和模拟连接以改善对象的能力和性能。在一些实施例中，虚拟副本106可以代替物理组件和处理的一部分。例如，在现实对应物中的传感器故障的情况下，现实孪生的感测输入由虚拟世界中的虚拟孪生的交互来提供。在另一示例中，如果现实孪生中的电池电量不足，则可以在虚拟世界中完成现实孪生的计算部分。
虚拟副本106还可以包括模型316，该模型316指的是可以用于在持久性虚拟世界系统中复制现实的现实方面的任何图形、数学或逻辑表示。在一些实施例中，合适的模型316包括3D模型318、几何模型320、动态模型322或机器学习模型324中的一个或多个或其组合。虽然本文中仅公开了四个模型，但是本领域技术人员可以理解的是，根据需要，系统可以适于实施比呈现的那些模型更少或更多的模型。
3D模型318与几何模型320一起使用以显示被包括在虚拟副本106的每个几何形状中的数据，诸如纹理、颜色、阴影、反射、碰撞效果等。3D模型318包括3D数据结构，该3D数据结构用于视觉地表示虚拟副本106和持久性虚拟世界系统中的其它虚拟元素，诸如应用、广告、虚拟机器人等。在一个实施例中，3D数据结构是八叉树数据结构，诸如稀疏体素八叉树或密集体素八叉树。在其它实施例中，可以使用其它合适的数据结构，诸如四叉树、BSP树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树和六边形结构。3D数据结构具有准确且有效地表示持久性虚拟世界系统中的虚拟对象的每个几何形状的数据的功能。3D数据结构的正确选择取决于数据的来源、渲染期间寻求的几何形状的精度；渲染是实时完成还是预先渲染；是否经由云服务器、经由用户设备、雾设备或其组合来进行渲染；采用持久性虚拟世界系统的特定的应用，例如，需要检查产品的特定纹理和细节的虚拟访问可能需要更高的定义水平；来自服务器和来自用户设备的存储器容量，以及因此期望的存储器消耗；以及其它。
几何模型320包括基于现实世界元素来定义虚拟副本106的形状的数学模型，并且可以由3D模型318来补充。
动态模型322表示描述虚拟世界中的现实世界对象随时间的行为的数学模型，可以包括以定义的顺序发生的一组状态，并且可以包括连续(例如，代数或微分方程)和离散(例如，作为状态机或随机模型)动力学模型。
机器学习模型324是现实世界对象和处理的数学表示，通常基于已经被用作训练数据以供学习的实际或模拟数据由机器学习算法来生成。该模型可以实现人工智能技术的实施方式，该人工智能技术可以用于通过虚拟孪生来优化现实孪生的操作和/或性能。机器学习模型可以采用机器学习算法，该机器学习算法允许教导虚拟副本106关于现实孪生的行为，以便模拟现实孪生的行为。
在一些实施例中，由虚拟副本106使用的模型316考虑了特定的场景计算所需的细节水平(LOD)。LOD涉及在虚拟副本106远离查看者时或者根据诸如对象重要性、相对于视点的速度、查看者分类、或位置的其它度量来降低模型表示的复杂性。LOD是通常用在游戏引擎中以优化实时渲染的特征，仅在用户的视点更靠近对象时才使用更详细的模型。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的物理模型(从低保真到高保真模型)与虚拟副本106相关联，使得能够根据情况和情形来进行不同的模拟。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的3D模型318或动态模型322(从低保真到高保真模型)与虚拟副本106相关联，使得可以根据情况和情形来完成不同的模拟。通常，LOD管理可以改善帧速率，并且减少存储器和计算需求。LOD管理还允许根据特定的要求和情境来提供优化的用户体验。在一些实施例中，进一步对于单独查看者来调整LOD，其中，调整包括基于查看者是人工智能查看者(例如，AI主持者或销售助理)还是人类查看者(例如，买家)来考虑特定场景的渲染的LOD。
多个连接的虚拟副本106形成虚拟副本网络108。虚拟副本网络108中的每个虚拟副本106可以显示彼此的社交连接330，即，彼此之间的交互。在一些实施例中，可以通过社交媒体网络来管理这些社交连接106。
在一些实施例中，虚拟副本106包括可以用于对数字现实应用的3D结构进行建模的3D世界和建筑物数据中的一个或多个，诸如基于SLAM或派生映射的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据。
在一些实施例中，可以使用适合于与当前地理定位技术一起使用的参考坐标系来对每个虚拟副本106进行地理定位。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，该WGS84是由GPS使用的当前参考坐标系。
图4描绘了根据实施例的描述用于生成在虚拟存在融合现实系统中使用的虚拟副本网络的平台和接口的系统400的图。图4的一些元素可以指的是图1-3的相似或相同的元素，因此可以使用相同的附图标记。
位于虚线内的元素表示虚拟副本和虚拟副本网络108驻留的持久性虚拟世界系统114。
如图4中示出的，虚拟副本网络108可以连接到多个外部平台或连接到被包括在持久性虚拟世界系统114中的引擎服务。多个外部平台可以包括例如一个或多个物联网(IoT)平台402、机器学习(ML)平台404、大数据平台406和模拟平台408，这些平台可以通过应用程序接口(API)和软件开发工具包(SDK)410连接到持久性虚拟世界系统114，以便提供和操纵模型以及消费或发布数据到虚拟副本。
IoT平台402指的是能够管理从连接的设备和用户设备中的传感器接收的多源输入数据的软件和/或硬件。ML平台404指的是向虚拟副本提供使用机器学习模型和算法用于人工智能应用的能力的软件和/或硬件。大数据平台406指的是使得组织能够开发、部署、操作和管理与虚拟副本网络108有关的大数据的软件和/或硬件。模拟平台408指的是能够使用虚拟副本及其数据和模型以便虚拟地重建现实世界实体的现实行为的软件和/或硬件。
被包括在持久性虚拟世界系统114中的引擎服务可以包括人工智能引擎412、模拟引擎414、3D引擎416和触觉引擎418等。人工智能引擎412指的是能够管理和应用用于人工智能应用的机器学习模型和算法的软件和/或硬件。模拟引擎414指的是能够使用虚拟副本及其数据和模型以便虚拟地重建现实世界实体的现实行为的软件和/或硬件。3D引擎416指的是可以在虚拟副本的3D图形的创建和处理中使用的软件和/或硬件。触觉引擎418指的是能够对应用和虚拟副本实施触觉特征以向用户提供基于触摸的交互的软件和/或硬件。持久性虚拟世界系统还连接到空间数据流平台420，该空间数据流平台420被配置用于优化持久性虚拟世界系统中以及持久性虚拟世界系统和融合现实422之间的现实和虚拟空间数据的交换和管理。
3D引擎416和触觉引擎418可以经由用户设备中的合适的数字现实接口424连接到融合现实422，使得能够以虚拟现实或增强现实中的任何一个访问融合现实422。融合现实422向用户提供扩展的现实，其中，现实元素被持久性虚拟对象覆盖或增强、被锚定在特定的地理位置中或被锚定到现实中的现实元素、并且包括被连接到现实的虚拟副本的AI和模拟。用户可以通过他们的化身不受限制地与该融合现实422进行交互。
在实施例中，虚拟副本网络108是持久性虚拟世界系统114的组成部分，并且实现虚拟副本现实426的实施方式，其中，所有或大多数的现实世界元素是完全虚拟的，并且可以被虚拟地增强(例如，向虚拟副本添加现实世界元素可能不具有的特征)。在当前公开中，虚拟副本现实426与虚拟现实的典型概念不同，在于虚拟现实可以表示世界的沉浸式实现，其中，所有或大多数的元素是虚拟的，而虚拟副本现实426考虑了情境、基于现实世界对象的精确地理位置以及虚拟副本之间的交互和连接，这些虚拟副本通过经由多个平台和/或引擎所输入和操纵的数据和模型来保持连续更新。因此，虚拟副本现实426指的是持久性虚拟世界系统内的世界的实际虚拟副本，其中，持久性虚拟世界系统提供每个虚拟副本的数据、模型、交互、连接和基础设施，在一些实施例中，该数据、模型、交互、连接和基础设施向虚拟副本提供自计算能力和自主行为。
在又一实施例中，系统400可以在至少一个服务器的存储器中存储增强现实和虚拟现实的分离的层。分离的层可以使得能够通过融合现实422以增强现实或虚拟现实中的任何一个来访问虚拟副本现实426，并且可以在访问一个或另一个类型的现实时通过与至少一个服务器连接的用户设备来激活。每个层可以包括可以特定于每个层的现实和虚拟副本的增强。例如，当以增强现实来访问融合现实422时，用户可以查看位于当前融合现实场景中的现实对象、经由对应的虚拟副本的每个现实对象的当前增强、以及被配置为仅在增强现实中可见的纯虚拟对象。在另一示例中，当以虚拟现实来查看融合现实422时，用户可以仅查看被配置用于虚拟现实的虚拟副本现实426的版本，包括仅被配置用于虚拟现实视图的增强。然而，当在虚拟现实中时，用户可以激活增强现实层，以便查看最初用于增强现实的增强和虚拟对象。同样，当在增强现实中时，用户可以激活虚拟现实层，以便被完全传输到虚拟现实，同时仍然能够查看增强现实中的增强。作为示例，在增强现实中，用户可以在虚拟访问期间位于房间中，其中，使用漂浮在他们的头顶上的标签来识别房间中的人，并且其中，当以增强现实来查看时，存在对房间中的用户可见的虚拟漂浮建筑物(floatingbuilding)的微型版本。虚拟访问可以例如将房地产投资者的评估作为目标，该房地产投资者考虑虚拟漂浮建筑物的模型用于潜在的未来投资。此外，在该示例中，用户可以以虚拟现实从远程位置访问房间，并且可以仅虚拟地查看房间，而不能够查看被配置用于增强现实的任何增强。然后，用户可以激活增强现实层，使得用户能够查看名称标签和虚拟漂浮建筑物的微型版本。通过持久性虚拟世界系统的各种平台和/或引擎输入的数据和模型提供虚拟副本的自计算能力和自主行为、虚拟副本和对应物现实世界对象之间的同步行为、通过虚拟副本的现实世界对象的增强能力，并且使得能够采用从现实世界对象获得的数据来进行模拟以及机器学习训练和推理，以便进行系统优化(例如，建筑物能量消耗优化)。
“自计算能力”，也被称为“自管理能力”，在本文中指的是应用人工智能算法以便自主管理计算资源(例如，分布式计算资源)的能力。在实施例中，在持久性虚拟世界系统中具有自计算能力的虚拟副本能够自主管理计算资源，以适应对应的现实世界元素的环境或现实世界元素本身的变化。可以通过使用在区块链或分布式账本技术上运行的智能合约来进一步管理自管理规则和条件，以分布式和透明的方式来进一步对规则和条件进行编码。因此，在实施例中，每个虚拟副本可以表现出自主行为，根据持久性虚拟世界系统中反映的现实世界中的条件而自主动作(例如，通过分配所需的资源，如由每个情况要求地自主发送和执行命令和/或生成事件)。实现该类型的行为可能需要在虚拟副本建模和开发期间使用人工智能算法来训练虚拟副本。因此，虚拟副本开发者的角色可以被限于定义引导自管理处理的一般策略和规则。
图5描绘了根据当前公开的实施例的通过虚拟存在实现虚拟访问的示例会议室。会议室500包括桌子502、计算机504、相机506、电视508以及包括一个或多个客户510和一个或多个主持者512的多个参与者，他们中的每个穿着相应的用户设备514，例如，以数字现实眼镜或头戴式显示器的形式。
会议室500内的每个或大多数对象包括相应的虚拟副本，该虚拟副本被包括在持久性虚拟世界系统中，该持久性虚拟世界系统被存储在至少一个云服务器中并且在至少一个云服务器中被计算，每个虚拟副本包括提供自计算能力和自主行为的逻辑、虚拟数据和模型。在该示例中，会议室500中的对象的虚拟副本被包括在被映射在现实世界的顶部的虚拟世界层516中，一个或多个应用518(例如，应用1-3)被配置在该虚拟世界层516中，该应用从被存储在至少一个云服务器的存储器中的一个或多个应用库、从外部平台、或者通过区块链或基于分布式账本的分布式数据库可得。虚拟世界层516可以包括或者被连接到以区块链或分布式账本来记录交互的一个或多个智能合约。
应用518可以是一个或多个传统应用、分布式应用或者去中心化应用。传统的应用通常是基于传统的客户端-服务器模型，并且在静态基础设施中的专用服务器上运行。分布式应用是主要被存储在云计算平台上的应用，诸如当前公开的云服务器，并且可以在同一网络上同时在多个系统和设备上运行，或者可以在区块链或基于分布式账本的分布式数据库上运行。去中心化应用主要在去中心化基础设施上运行，诸如在区块链或基于分布式账本的分布式数据库中。
虚拟世界层516可以进一步包括增强现实和虚拟现实对象和体验的分离的层，在图5中分别被描述为AR层520和VR层522。AR层520或VR层522中的每个可以通过被连接到至少一个云服务器的用户设备514来激活，并且可以包括通过特定于每个层的虚拟副本、应用或其组合而实现的现实的增强。因此，例如，客户510可以以增强现实或虚拟现实中的任何一个来访问会议室，并且可以通过激活相应的AR层520或VR层522来查看每个现实的对应的增强。在另一示例中，客户510可以激活AR层520，并且因此能够通过电视508的虚拟副本来查看与电视508对应的增强，诸如能够查看关于电视508的更多细节、放大和缩小电视508、数字地打开或关闭电视508或者数字地改变频道。
在一些实施例中，客户510可以以增强现实或虚拟现实中的任何一个来访问事件，从而通过对应地激活相应的AR层520或VR层522来实现现实的增强。在虚拟现实的实施例中，客户510远程访问会议室500的虚拟副本，并且可以激活VR层522，启用与VR层522相关联的所有的虚拟副本、应用和交互。因此，客户510可以将会议室500中的所有或大多数元素视为客户510可以进行交互的虚拟对象，包括主持者512或会议室500中的任何其它人。客户510可以另外激活AR层520和VR层522，以便查看在AR层520中也可用的、在VR层522中可能不可用的增强。例如，AR层520的增强可以使得能够打开或关闭电视508或者改变电视频道。
在一些实施例中，与虚拟世界层516是否被激活无关，当用户穿着或使用用户设备514时，被包括在虚拟世界层516中的虚拟副本持久地计算用户与虚拟副本的交互。因此，虚拟副本可以在当前对用户不激活的虚拟世界层516中，并且因此可以对用户不可见，但是虚拟副本仍然可以计算与用户的任何交互。例如，主持者512当前将他自己支撑在桌子502上，这在持久性虚拟世界系统中，桌子502的虚拟副本可以持久地计算主持者512和桌子502的虚拟副本之间的接触，这可以包括计算产生的效果，诸如遮挡、阴影或照明的应用等。
相机506可以是一个或多个RGBD相机、深度相机、LIDAR相机或CCTV相机，并且可以被配置为记录会议室500中的事件、扫描并且生成会议室500的3D图像、检测会议室500内的一个或多个对象中的状态改变或其组合。例如，相机506可以检测和识别来自用户的手势，并且将它们转化为持久性虚拟世界系统内的用户化身中的对应的手势，这可以在通过虚拟存在进行虚拟访问期间使用。在另一实施例中，相机506可以进一步使用基于人工智能的机器视觉来识别会议室500中的对象或人以及他们的位置和朝向。相机506可以提供与由可以被配置在用户设备510内的相机提供的数据互补的数据，该相机也可以被配置为扫描并且生成会议室500中的对象或人的3D图像、检测它们中的改变和其组合。在其它实施例中，其它类型的感测机构可以被安装在会议室500中，以便向持久性虚拟世界系统提供关于会议室500的更多信息，诸如被配置为捕获与温度、湿度、运动、速度、加速度等有关的数据的传感器。例如，在涉及检查对温度敏感的产品(例如，乳制品)的虚拟访问的情况下，温度计可以被安装为靠近产品以监控温度。此外，运动传感器或接触传感器可以被安装为靠近产品，以监控产品是否已经被带去结账。
图6示出了根据实施例的可以在融合现实系统中使用的设备的操作组件图600。
设备602可以包括操作组件，诸如输入/输出(I/O)模块604；电源606；存储器608；形成跟踪模块614的感测机构610和收发器612；以及网络接口616，它们全部可操作地被连接到处理器618。
I/O模块604被实施为计算硬件和软件，该计算硬件和软件被配置为与用户进行交互，并且向一个或多个其它系统组件提供用户输入数据。例如，I/O模块604可以被配置为与用户进行交互，基于该交互生成用户输入数据，并且在用户输入数据经由网络被传送到其它处理系统(诸如到服务器)之前，向处理器618提供用户输入数据。在另一示例中，I/O模块604被实施为被配置为与其它连接的元素进行交互的外部计算指示设备(例如，触摸屏、鼠标、3D控件、操纵杆、游戏手柄等)和/或文本输入设备(例如，键盘、听写工具等)。在其它实施例中，I/O模块604可以提供与上面描述的功能附加、较少或不同的功能。
电源606被实施为被配置为向设备602提供电力的计算硬件和软件。在一个实施例中，电源606可以是电池。电源606可以被内置到设备中或者可以从设备中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，可以通过使用另一电源606替换一个电源606来对设备重新供电。在另一实施例中，电源606可以由被附接到充电源的电缆，诸如被附接到个人计算机的通用串行总线(“USB”)火线、以太网、雷电接口或耳机电缆来再充电。在又一实施例中，电源606可以由感应充电来再充电，其中，当感应充电器和电源606非常接近但是不需要经由电缆彼此插入时，使用电磁场将能量从感应充电器传送到电源606。在另一实施例中，扩展坞可以用于促进充电。
存储器608可以被实施为适于存储应用程序指令并且存储由感测机构610捕获的多源数据的计算硬件和软件。存储器608可以是能够存储由处理器618可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，诸如硬盘驱动器、存储卡、闪存驱动器、ROM、RAM、DVD或其它光盘，以及其它可写和只读存储器。除了持久性存储之外，存储器608还可以包括临时性存储。
感测机构610可以被实施为适于从现实世界获得多源数据并且确定/跟踪设备602的位置和朝向、因此确定/跟踪设备602可以被链接到的一个或多个现实世界元素的位置和朝向的计算硬件和软件。感测机构610可以包括但是不限于一个或多个，包括一个或多个温度传感器、接近传感器、惯性传感器、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。特别地，感测机构610包括一个或多个惯性测量单元(IMU)、加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告设备602的速度、加速度、角动量、平移速度、旋转速度以及其它遥测元数据。IMU内和/或与IMU分离配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球的重力场引起的加速度。在一个实施例中，加速度计包括能够测量三个正交方向上的加速度的三轴加速度计。
收发器612可以被实施为被配置为使得设备能够从天线接收无线电波并且将数据发送回天线的计算硬件和软件。在一些实施例中，可以采用mmW收发器612，该mmW收发器612可以被配置为从天线接收mmW波信号，并且在与沉浸式内容进行交互时将数据发送回天线。收发器612可以是双向通信收发器612。
根据实施例，收发器612使得能够经由被连接到网络的基于分布式账本的通信流水线在计算设备之间进行直接通信。基于分布式账本的通信流水线可以通过使用密码学、采用密码“密钥”和密码签名而允许以安全和精确的方式存储信息，使得能够通过去中心化网络在设备602之间进行直接通信。在其它实施例中，也可以在服务器和设备602之间利用分布式账本，其中，服务器可以在将数据分发到每个设备602之前获得权限以验证数据。
在实施例中，可以通过将IMU、加速度计和陀螺仪的能力与由收发器612提供的位置跟踪进行组合来实施跟踪模块614，并且由基于mmW的天线提供的精确跟踪、低延迟和高QOS功能可以实现亚厘米或亚毫米的位置和朝向跟踪，这可以在跟踪设备602的实时位置和朝向时增加精度。在替代实施例中，感测机构610和收发器612可以一起被耦合在单个跟踪模块设备中。
网络接口616可以被实施为通信地连接到网络、从网络接收由一个或多个服务器或由其它设备发送的计算机可读程序指令、并且转发指令以用于存储在存储器608中以用于由处理器618执行的计算软件和硬件。
处理器618可以被实施为被配置为接收和处理指令的计算硬件和软件。例如，处理器618可以被配置为提供成像请求，接收成像数据，将成像数据处理为环境或其它数据，处理用户输入数据和/或成像数据以生成用户交互数据，进行基于边缘(设备上)的机器学习训练和推理，提供服务器请求，接收服务器响应，和/或向一个或多个其它系统组件提供用户交互数据、环境数据和内容对象数据。例如，处理器618可以从I/O模块604接收用户输入数据，并且可以分别实施被存储在存储器608中的应用程序。在其它示例中，处理器618可以从感测机构610接收从现实世界捕获的多源数据，或者可以通过跟踪模块614接收设备602的精确的位置和朝向，并且可以在向服务器发送数据用于进一步处理之前准备一些数据。
图7描绘了实现虚拟存在融合现实系统的方法700。
方法700可以开始于步骤702，在服务器的存储器中提供存储持久性虚拟世界系统的数据存储，该持久性虚拟世界系统根据现实世界被映射并且包括现实世界元素的一个或多个虚拟副本，一个或多个虚拟副本包括提供自计算能力和自主行为的逻辑、虚拟数据和模型。方法700可以前进到步骤704，提供托管现场事件的物理位置并且包括与现场事件相关联的情境，其中，物理位置的虚拟副本被包括在至少一个服务器的持久性虚拟世界系统中。随后，方法700可以前进到步骤706，在物理位置中提供多个连接的设备，该多个连接的设备通过网络与持久性虚拟世界系统进行通信并且包括被配置为捕获现场事件的现实世界数据的感测机构。最终，方法700可以结束于步骤708，检测通过持久性虚拟世界系统访问现场的客户的用户设备，实现与现场事件内的一个或多个元素的交互。
示例用例：
打算访问或购买位于远程位置并且需要来自主持者的个人关注和服务的资产的客户虚拟地访问托管访问的远程位置。客户最初可能需要使用持久性虚拟世界系统创建账户，这可以由通过云服务器访问持久性虚拟世界系统来完成，或者可能需要在用户设备中下载并且安装一个或多个程序以便访问持久性虚拟世界系统。客户通过穿着虚拟现实耳机、增强或混合现实耳机、智能隐形眼镜或任何沉浸式现实设备，从他的家中、VR专用房间或任何其它合适的位置访问托管访问的远程位置。用户可以进一步穿着触觉手套，该触觉手套通过振动来模拟与虚拟对象进行交互时的触摸感觉。客户从其访问远程位置的房间可以另外包括一个或多个相机，该一个或多个相机可以提供用户的移动的外部跟踪，该外部跟踪补充由用户设备提供的内部传感器(例如，IMU、陀螺仪、眼球跟踪器、相机等)的信息。房间可以进一步包括其它类型的传感器。经受访问的资产可以是例如机器(例如，工业机器，机械臂，包括汽车、飞机、轮船等的载具)、仓库、会议开会、房地产、拍卖、艺术品或位于远程位置的任何资产，该资产可能需要来自主持者或助理的私人或半私人关注以向周围显示。访问可以进一步是虚拟现实呼叫，其中，用户不仅可以听到另一侧的人，而且可以查看线路的另一侧的人并且与该人进行交互。客户用户设备可以包括用户个人标识符，该用户个人标识符可以使得主持者提前知道哪个用户正在访问他们的位置以便提供个性化服务和体验，并且可以使得能够在个人标识符下记录每个交易或交互。交易和交互的记录可以在云服务器的存储器中进行，或者通过被连接到持久性虚拟世界系统的分布式账本或区块链上的智能合约进行。
在一些实施例中，至少一个云服务器存储增强现实和虚拟现实中的每个的分离的层，通过用户设备来激活该分离的层，每个层包括特定于每个层的现实和虚拟副本的增强。
在连接到持久性虚拟世界系统之后，用户可以选择将发生访问的位置，其中，每个位置具有相关联的数字标识符代码，该数字标识符代码包括QR码、URL、IP地址、MAC地址、密码哈希、通用唯一标识符和组织唯一标识符中的一个或多个。在某些情况下，诸如当人类主持者接待客户时，可能需要预约以便在约定的时间见面。在其它情况下，客户可能需要来自主持者的邀请，以便用户能够访问托管访问的位置。例如，在持久性虚拟世界系统的用户接口中，除非接收到邀请，否则期望事件的位置可以被阻止或不可用，禁用该位置的数字标识符。在其它示例中，在没有来自主持者的任何先前邀请或许可的情况下，客户可以选择事件的位置并且访问事件。在其它实施例中，在没有任何先前邀请或许可的情况下，用户可以虚拟地选择和访问物理位置并且进行虚拟访问。托管访问的物理位置可以包括多个相机，诸如多个RGBD相机、深度相机、LIDAR相机、CCTV相机和物联网设备，它们可以记录物理位置内的事件、检测和识别对象、并且扫描和创建对象的3D图像，该3D图像用于生成物理位置的虚拟副本的虚拟数据，以便实时更新事件。因此，托管访问的物理位置内的每个或大多数对象包括对应的虚拟副本，该虚拟副本包括逻辑、虚拟数据和模型，该逻辑、虚拟数据和模型向每个虚拟副本提供与对应的现实对象相关联的自计算能力和自主行为，这可以进一步增强现实对象。在另一实施例中，远程位置的虚拟副本可以进一步包括相关联的应用库，该应用库实现客户可以进行交互的广告、游戏或任何类型的应用，以便进一步增强他的访问体验。应用可以以标准计算机应用、通过云服务器在持久性虚拟世界系统中的应用库中或通过区块链或基于分布式账本的分布式数据库可用的分布式应用、或者去中心化应用的形式可用。分布式应用或去中心化应用可以通过智能合约通过区块链或分布式账本与用户进行交互。
例如，在访问购买游艇的情况下，在接收到邀请之后，客户可以通过他或她的虚拟现实耳机、增强或混合现实耳机、智能隐形眼镜或任何沉浸式现实设备来选择游艇，通过访问与游艇数字标识符相关联的位置，该设备通过持久性虚拟世界系统以虚拟现实将用户带到游艇处。在选择游艇之后，游艇的主持者设备可以检测到用户个人标识符，并且可以向主持者警告标识符客户正在访问。然后，主持者可以向客户展示游艇周围，这可能涉及在游艇中四处移动以查看每个游艇部分。可以通过虚拟副本的数据进一步增强游艇中的对象，显示其它数据、视图(例如，从游艇中放大和缩小、平移或旋转视图、检查纹理和细节等)，使得能够改变每个对象的颜色或其它特征，用于增强客户的体验。主持者和客户可以通过语音、文本、面部表情、手部移动和其组合以及其它类型的交互来进行通信和谈判。如果客户决定进行交易，诸如购买游艇，则通过自动支付系统访问用户的支付卡数据，该支付卡数据与使用持久性虚拟世界系统被链接到用户账户的个人标识符相关联，交易可以在会话结束时自动进行，或者稍后进行。在另一实施例中，可以通过使用记录在区块链或分布式账本上的智能合约，约束购买协议并且启动要被转移的有关现实或数字货币的交易来实现交易。在另一实施例中，可以由用户虚拟地穿过游艇中的预定结账区域来实现交易。通过跟踪用户设备，结账区域可以精确地检测用户化身的地理位置和空间位置，以便检测结账何时被穿过。穿过预定结账区域可以触发云服务器以检索与被链接到持久性虚拟世界系统中的用户账户的客户的个人标识符相关联的客户的支付信息，自动为购买的商品支付并且触发运送系统以向用户运送商品。
虽然已经在附图中描述和示出了某些实施例，但是应该理解的是，这种实施例仅仅是说明性的，而不是对宽泛的公开的限制，并且本公开不限于示出和描述的特定构造和布置，因为本领域普通技术人员可以想到各种其它修改。因此，本说明书被认为是说明性的而不是限制性的。

Claims (20)

1.一种虚拟存在融合现实系统，其特征在于，包括：
至少一个服务器，至少一个所述服务器包括至少一个处理器和存储器，所述存储器存储持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界元素的一个或多个虚拟副本，所述虚拟副本包括虚拟数据和模型；
其中，所述持久性虚拟世界系统包括托管现场事件的物理位置的虚拟副本，其中，所述持久性虚拟世界系统被配置为通过网络与多个连接的设备进行通信，多个所述连接的设备包括被配置为捕获所述现场事件的现实世界数据的感测机构，并且其中，所述持久性虚拟世界系统被配置为使得一个或多个客户能够通过所述持久性虚拟世界系统经由用户设备来访问所述现场事件、并且与来自所述现场事件的元素进行交互，并且实现所述现场事件中的元素之间的交互。
2.根据权利要求1所述的系统，其特征在于，所述模型包括3D模型、动态模型、几何模型或机器学习模型中的一个或多个或其组合，并且其中，所述模型考虑由特定场景计算所需的细节水平，其中，根据所述虚拟副本与查看者的距离、对象重要性、相对于视点的速度或位置、单独查看者的分类或其组合，所述细节水平调整模型表示的复杂性。
3.根据权利要求1所述的系统，其特征在于，所述物理位置中的多个所述连接的设备包括一个或多个RGBD相机、深度相机、LIDAR相机、CCTV相机或物联网设备或其组合，并且其中，所述连接的设备被配置为记录所述物理位置中的事件、扫描并且生成所述物理位置的3D图像、检测所述物理位置内的一个或多个对象或用户中的状态改变或其组合。
4.根据权利要求1所述的系统，其特征在于，通过所述持久性虚拟世界系统以增强现实或虚拟现实访问托管所述现场事件的所述物理位置的所述虚拟副本，并且其中，至少一个所述服务器存储所述增强现实和所述虚拟现实中的每个的分离的层，所述分离的层通过被连接到至少一个所述服务器的用户设备来激活。
5.根据权利要求1所述的系统，其特征在于，在从主持者设备接收到访问所述现场事件的邀请之后，一个或多个所述客户通过所述持久性虚拟世界系统访问所述事件。
6.根据权利要求1所述的系统，其特征在于，所述物理位置具有被存储在至少一个所述服务器中的相关联的数字标识符，所述数字标识符由所述用户设备从至少一个所述服务器检索，以便通过所述持久性虚拟世界系统访问所述物理位置。
7.根据权利要求6所述的系统，其特征在于，在接收到由主持者设备发送的访问所述现场事件的所述邀请之后，由所述用户设备检索所述数字标识符。
8.根据权利要求1所述的系统，其特征在于，客户物理位置包括捕获所述客户物理位置内的数据的连接的设备，客户从所述客户物理位置远程访问托管所述事件的所述物理位置，并且其中，通过物理移动或通过操纵所述用户设备上的控制器接口，实现所述远程访问期间的客户移动和交互。
9.根据权利要求1所述的系统，其特征在于，进一步包括个人助理，其中，所述个人助理是由所述现实位置中可查看的化身表示的人工智能代理。
10.根据权利要求1所述的系统，其特征在于，所述用户设备具有个人标识符，所述个人标识符使得至少一个所述服务器能够识别客户，其中，由所述客户进行的、包括交易或参与动作中的一个或多个的每个交互在所述用户设备个人标识符下被记录在至少一个所述服务器的所述存储器中或者分布式账本的智能合约中。
11.一种通过融合现实系统实现虚拟存在的方法，其特征在于，所述方法包括：
提供至少一个服务器，至少一个所述服务器包括至少一个处理器和存储器，所述存储器存储持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界元素的一个或多个虚拟副本，所述虚拟副本包括虚拟数据和模型，所述虚拟数据和所述模型提供自计算能力和自主行为；
提供托管现场事件的物理位置的虚拟副本和与所述现场事件相关联的情境；
在所述物理位置中提供多个连接的设备，多个所述连接的设备通过网络与所述持久性虚拟世界系统进行通信，并且多个所述连接的设备包括被配置为捕获所述现场事件的现实世界数据的感测机构；以及
检测通过所述持久性虚拟世界系统访问所述现场事件的客户的用户设备；以及
实现与所述现场事件内的一个或多个元素的交互以及所述现场事件的元素之间的交互。
12.根据权利要求11所述的方法，其特征在于，至少一个所述服务器存储增强现实和虚拟现实中的每个的分离的层，所述分离的层通过被连接到至少一个所述服务器的用户设备来激活。
13.根据权利要求11所述的方法，其特征在于，进一步包括，由主持者设备向一个或多个所述客户提供访问所述现场事件的邀请。
14.根据权利要求11所述的方法，其特征在于，进一步包括，在至少一个所述服务器中提供与托管所述现场事件的所述物理位置相关联的数字标识符，使得所述数字标识符可以由所述用户设备从至少一个所述服务器检索，以便通过所述持久性虚拟世界系统访问所述物理位置。
15.根据权利要求14所述的方法，其特征在于，进一步包括，在所述用户设备接收到访问所述现场事件的所述邀请之后，由至少一个所述主持者设备发送所述数字标识符。
16.根据权利要求11所述的方法，其特征在于，进一步包括，提供个人助理，其中，所述个人助理是由化身表示的人工智能代理。
17.根据权利要求11所述的方法，其特征在于，进一步包括：
在至少一个所述服务器中存储实现所述客户的识别的用户设备个人标识符；以及
在所述用户设备个人标识符下记录由所述客户进行的每个交易。
18.一种或多种其上存储有指令的非暂时性计算机可读介质，其特征在于，所述指令被配置为使包括存储器和至少一个处理器的计算机系统进行以下步骤：
提供至少一个服务器，至少一个所述服务器包括至少一个处理器和存储器，所述存储器存储持久性虚拟世界系统，所述持久性虚拟世界系统包括现实世界元素的一个或多个虚拟副本，所述虚拟副本包括虚拟数据和模型，所述虚拟数据和所述模型提供自计算能力和自主行为；
提供托管现场事件的物理位置的虚拟副本和与所述现场事件相关联的情境；
在所述物理位置中提供多个连接的设备，多个所述连接的设备通过网络与所述持久性虚拟世界系统进行通信，并且多个所述连接的设备包括被配置为捕获所述现场事件的现实世界数据的感测机构；以及
检测通过所述持久性虚拟世界系统访问所述现场的客户的用户设备；以及
实现与所述现场事件内的一个或多个元素的交互以及所述现场事件的元素之间的交互。
19.根据权利要求18所述的计算机可读介质，其特征在于，至少一个所述服务器存储增强现实和虚拟现实中的每个的分离的层，所述分离的层通过被连接到至少一个所述服务器的用户设备来激活。
20.根据权利要求18所述的计算机可读介质，其特征在于，所述步骤进一步包括，在至少一个所述服务器中提供与托管所述现场事件的所述物理位置相关联的数字标识符，使得所述数字标识符可以由所述用户设备从至少一个所述服务器检索，以便通过所述持久性虚拟世界系统访问所述物理位置。
CN202010558725.8A 2019-06-18 2020-06-18 通过融合现实的虚拟存在系统和方法 Active CN112102500B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962863171P 2019-06-18 2019-06-18
US62/863,171 2019-06-18

Publications (2)

Publication Number Publication Date
CN112102500A true CN112102500A (zh) 2020-12-18
CN112102500B CN112102500B (zh) 2024-03-29

Family

ID=71108438

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202010546692.5A Active CN112102499B (zh) 2019-06-18 2020-06-16 融合现实系统和方法
CN202010547257.4A Pending CN112100284A (zh) 2019-06-18 2020-06-16 通过虚拟孪生现实与现实世界物品及对应数据库交互
CN202010558708.4A Active CN112104593B (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202310290391.4A Pending CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010558725.8A Active CN112102500B (zh) 2019-06-18 2020-06-18 通过融合现实的虚拟存在系统和方法
CN202010559497.6A Pending CN112102501A (zh) 2019-06-18 2020-06-18 虚拟空间的融合现实空间流

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202010546692.5A Active CN112102499B (zh) 2019-06-18 2020-06-16 融合现实系统和方法
CN202010547257.4A Pending CN112100284A (zh) 2019-06-18 2020-06-16 通过虚拟孪生现实与现实世界物品及对应数据库交互
CN202010558708.4A Active CN112104593B (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202310290391.4A Pending CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010559497.6A Pending CN112102501A (zh) 2019-06-18 2020-06-18 虚拟空间的融合现实空间流

Country Status (3)

Country Link
US (6) US11665317B2 (zh)
EP (5) EP3754463A1 (zh)
CN (6) CN112102499B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176826A (zh) * 2021-05-10 2021-07-27 中通服慧展科技有限公司 一种基于云计算的虚拟展会展览系统及其方法
CN113630593A (zh) * 2021-08-17 2021-11-09 宁波未知数字信息技术有限公司 一种多模态高精度全空间混合定位系统

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10864443B2 (en) 2017-12-22 2020-12-15 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US12100112B2 (en) 2018-08-10 2024-09-24 Nvidia Corporation Cloud-centric platform for collaboration and connectivity on 3D virtual environments
JP7081052B2 (ja) * 2018-09-04 2022-06-06 アップル インコーポレイテッド 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11679330B2 (en) * 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue
US11763191B2 (en) * 2019-08-20 2023-09-19 The Calany Holding S. À R.L. Virtual intelligence and optimization through multi-source, real-time, and context-aware real-world data
US11100717B2 (en) * 2019-10-25 2021-08-24 7-Eleven, Inc. System and method for presenting a virtual store shelf that emulates a physical store shelf
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11798065B2 (en) * 2019-10-25 2023-10-24 7-Eleven, Inc. Tool for generating a virtual store that emulates a physical store
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11537386B2 (en) * 2020-04-06 2022-12-27 Johnson Controls Tyco IP Holdings LLP Building system with dynamic configuration of network resources for 5G networks
US11153084B1 (en) * 2020-06-22 2021-10-19 Piamond Corp. System for certificating and synchronizing virtual world and physical world
US11507424B2 (en) * 2020-07-15 2022-11-22 At&T Intellectual Property I, L.P. Optimization of resource usage in cross-reality sessions
US11556961B2 (en) * 2020-07-23 2023-01-17 At&T Intellectual Property I, L.P. Techniques for real-time object creation in extended reality environments
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values
US11966959B2 (en) * 2020-09-23 2024-04-23 International Business Machines Corporation Subscription of marketplace content based on search queries
US20220134222A1 (en) * 2020-11-03 2022-05-05 Nvidia Corporation Delta propagation in cloud-centric platforms for collaboration and connectivity
US20220156797A1 (en) * 2020-11-17 2022-05-19 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing personalized immersive content in extended reality (xr) environments
CN112632778B (zh) * 2020-12-22 2023-07-18 达闼机器人股份有限公司 数字孪生模型的运行方法、装置和电子设备
CN114697302B (zh) * 2020-12-31 2024-09-27 伊姆西Ip控股有限责任公司 用于分发虚拟视觉内容的方法
IT202100001610A1 (it) * 2021-01-27 2022-07-27 Sentric S R L Metodo di interfaccia virtuale per l’acquisto di prodotti
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US20230040573A1 (en) * 2021-03-24 2023-02-09 AbdurRahman Bin Shahzad Bhatti Data systems for wearable augmented reality apparatus
JP7049013B1 (ja) * 2021-03-24 2022-04-06 株式会社Synamon オブジェクト管理システム
IT202100012542A1 (it) * 2021-05-14 2022-11-14 Popup Srl Sistema fisico-digitale per l’organizzazione e la gestione di eventi in tempo reale
CN113332726B (zh) * 2021-06-11 2024-07-02 网易（杭州）网络有限公司 虚拟角色的处理方法、装置、电子设备和存储介质
CN113259480B (zh) * 2021-06-18 2021-09-24 合安科技技术有限公司 基于配置孪生同步方法、物联网系统和设备及存储介质
CN113297683A (zh) * 2021-06-30 2021-08-24 河北达尔电子科技有限公司 一种基于vr技术的汽车维修教学方法
WO2023287969A1 (en) * 2021-07-14 2023-01-19 Strong Force TX Portfolio 2018, LLC Systems and methods with integrated gaming engines and smart contracts
CN113448444A (zh) * 2021-07-18 2021-09-28 广州智会云科技发展有限公司 一种基于数字孪生技术的云端企业生态圈系统
JP7175529B1 (ja) * 2021-07-21 2022-11-21 生也 近藤 表示装置及び表示方法
CN113628006B (zh) * 2021-08-02 2024-10-18 森正信息科技(上海)有限公司 智慧店铺溯源互动购物应用平台
US11868122B2 (en) * 2021-09-10 2024-01-09 Rockwell Automation Technologies, Inc. Digital twin outcome-driven orchestration
CN113965609B (zh) * 2021-09-13 2024-04-26 武汉灏存科技有限公司 群控式交互系统及方法
US11907179B2 (en) * 2021-09-23 2024-02-20 Bank Of America Corporation System for intelligent database modelling
FR3128046A1 (fr) * 2021-10-07 2023-04-14 Key4Events Système de contrôle d’un événement numérique hybride et procédé associé
CN114089829B (zh) * 2021-10-13 2023-03-21 深圳中青宝互动网络股份有限公司 一种虚拟现实的元宇宙系统
US12114099B2 (en) 2021-10-31 2024-10-08 Zoom Video Communications, Inc. Dynamic camera views in a virtual environment
US20230136597A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Ingesting 3d objects from a virtual environment for 2d data representation
US20230138434A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Extraction of user representation from video stream to a virtual environment
US11733826B2 (en) 2021-10-31 2023-08-22 Zoom Video Communications, Inc. Virtual environment interactivity for video communications participants
CN113771691B (zh) * 2021-11-09 2022-02-15 北京航空航天大学 基于赛博物理系统的全生命周期动力电池管理装置及方法
US20230177416A1 (en) * 2021-12-02 2023-06-08 At&T Intellectual Property I, L.P. Participant attendance management at events including virtual reality events
CN114359523B (zh) * 2021-12-31 2024-06-14 海南大学 基于dikwp模型的元宇宙虚拟交互方法
US20230334795A1 (en) * 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2023166524A1 (en) * 2022-03-01 2023-09-07 Flying Flamingos India Pvt Ltd Method and system for enabling users to experience an extended reality-based social multiverse
US20230347923A1 (en) * 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. Location-based autonomous navigation using a virtual world system
US20230350363A1 (en) 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. System and method of energy supply chain management and optimization through an energy virtual twin
TWI802394B (zh) * 2022-05-04 2023-05-11 南亞塑膠工業股份有限公司 雲端數位商展系統
CN115193031A (zh) * 2022-05-07 2022-10-18 网易（杭州）网络有限公司 目标对象的确定方法、装置和电子设备
US12086375B2 (en) * 2022-05-10 2024-09-10 Tmrw Foundation Ip S. À R.L. Layer-partitioned virtual world system
CN114967914A (zh) * 2022-05-13 2022-08-30 上海商汤智能科技有限公司 一种虚拟显示方法、装置、设备以及存储介质
CN114979029B (zh) * 2022-05-16 2023-11-24 百果园技术(新加坡)有限公司 一种虚拟机器人的控制方法、装置、设备及存储介质
CN115049785A (zh) * 2022-06-09 2022-09-13 友福同享(深圳)智能科技有限公司 一种企业信息交互方法、装置、设备及可读存储介质
US11893150B2 (en) 2022-06-28 2024-02-06 Bank Of America Corporation Systems and methods for multi-point validation in communication network with associated virtual reality application layer
WO2024013707A1 (en) * 2022-07-15 2024-01-18 Jmc Group S.R.L. A Socio Unico Improved system for playing extended reality (xr) with immersive experience in the consumer and professional spheres
IT202200014920A1 (it) * 2022-07-15 2024-01-15 Jmc Group Srl A Socio Unico Sistema migliorato per la riproduzione di realtà virtuali con esperienza immersiva in ambito consumer e professional
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles
CN115695841B (zh) * 2023-01-05 2023-03-10 威图瑞(北京)科技有限公司 一种在外置式虚拟场景中嵌入在线直播的方法和装置
CN116127783B (zh) * 2023-03-24 2024-01-23 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界生成系统
CN116342842B (zh) * 2023-03-24 2024-01-23 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界的数据传输系统
CN118718385A (zh) * 2023-03-31 2024-10-01 腾讯科技（深圳）有限公司 基于虚拟世界的信息传递方法、装置、设备和介质
CN117399153B (zh) * 2023-09-25 2024-05-10 武汉科大电控设备有限公司 一种磨机自适应控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002063436A2 (en) * 2001-02-07 2002-08-15 Universal City Studios, Inc. Reservation system and methods for theme parks
US20070168463A1 (en) * 2001-11-20 2007-07-19 Rothschild Trust Holdings, Llc System and method for sharing digital media content
US20120133638A1 (en) * 2010-11-29 2012-05-31 Verizon Patent And Licensing Inc. Virtual event viewing
US20170250930A1 (en) * 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US20180089903A1 (en) * 2015-04-15 2018-03-29 Lytro, Inc. Layered content delivery for virtual and augmented reality experiences
US20180173309A1 (en) * 2015-07-08 2018-06-21 Sony Corporation Information processing apparatus, display device, information processing method, and program

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883817A (en) 1996-07-08 1999-03-16 Trimble Navigation Limited Method and apparatus for precise positioning of large structures
US5956039A (en) * 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
EP1087323A1 (en) 1999-09-24 2001-03-28 Nokia Corporation A wireless system for interacting with a virtual space
US6556206B1 (en) * 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20060122917A1 (en) 2000-08-14 2006-06-08 Urbanpixel Inc Real-time collaborative commerce in a multiple browser environment
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
US20030030658A1 (en) 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US6904335B2 (en) 2002-08-21 2005-06-07 Neal Solomon System, method and apparatus for organizing groups of self-configurable mobile robotic agents in a multi-robotic system
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
CN100484726C (zh) 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
RU2006131759A (ru) * 2006-09-04 2008-03-10 Николай Иванович Пальченко (RU) Способ и система моделирования, представления и функционирования единого виртуального пространства как единой инфраструктуры для осуществления реальной и виртуальной хозяйственной и иной деятельности человечества
HUP0600879A2 (en) 2006-11-28 2008-06-30 Adam Dalnoki System and method for moving real objects through operations performed in a virtual environment
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US9111285B2 (en) 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090225074A1 (en) * 2008-03-06 2009-09-10 Bates Cary L Reconstruction of Virtual Environments Using Cached Data
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
US20100131947A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
DE102009039834A1 (de) 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US8660670B2 (en) 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
CN102120325B (zh) 2010-01-08 2012-12-12 哈尔滨理工大学 新型遥操作远端机器人控制平台及方法
US8885013B2 (en) * 2010-05-12 2014-11-11 Blue Jeans Network, Inc. Systems and methods for novel interactions with participants in videoconference meetings
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US20130009994A1 (en) 2011-03-03 2013-01-10 Thomas Casey Hill Methods and apparatus to generate virtual-world environments
EP2745462B1 (en) 2011-08-18 2021-10-20 Pfaqutruma Research LLC Systems and methods of virtual world interaction
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
ES2656868T3 (es) 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
EP2803064A4 (en) 2012-01-09 2015-11-18 Nokia Technologies Oy METHOD AND APPARATUS FOR CREATING AN ARCHITECTURE TO PROVIDE MIXED REALITY CONTENT
US10970934B2 (en) * 2012-10-23 2021-04-06 Roam Holdings, LLC Integrated operating environment
US9281727B1 (en) 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US20140214504A1 (en) * 2013-01-31 2014-07-31 Sony Corporation Virtual meeting lobby for waiting for online event
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
JP6683127B2 (ja) 2014-08-01 2020-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20160133230A1 (en) 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
JP2016110245A (ja) 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
JP6676286B2 (ja) 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
WO2016187477A1 (en) 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10399225B2 (en) 2015-07-08 2019-09-03 Stephen Favis Biomimetic humanoid robotic model, control system, and simulation process
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
FR3041804B1 (fr) 2015-09-24 2021-11-12 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
WO2017141391A1 (ja) 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20170286572A1 (en) 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
US20170289202A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Interactive online music experience
MX2018015454A (es) 2016-06-13 2019-07-08 Walmart Apollo Llc Sistemas y metodos de compras con realidad virtual.
CA3031769A1 (en) 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US20180047093A1 (en) 2016-08-09 2018-02-15 Wal-Mart Stores, Inc. Self-service virtual store system
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
MX2019002120A (es) 2016-08-24 2019-06-20 Walmart Apollo Llc Aparato y metodo para proporcionar un entorno de compras virtual.
JPWO2018074000A1 (ja) 2016-10-20 2019-06-24 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法
US10877470B2 (en) 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
US20180231973A1 (en) 2017-02-16 2018-08-16 Wal-Mart Stores, Inc. System and Methods for a Virtual Reality Showroom with Autonomous Storage and Retrieval
US10967255B2 (en) 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
EP3635538A4 (en) 2017-06-05 2021-03-10 Umajin Inc. PROCEDURES AND SYSTEMS FOR AN APPLICATION SYSTEM
US20190065028A1 (en) 2017-08-31 2019-02-28 Jedium Inc. Agent-based platform for the development of multi-user virtual reality environments
US20190102709A1 (en) 2017-10-03 2019-04-04 Invight, Inc. Systems and methods for coordinating venue systems and messaging control
US20190102494A1 (en) 2017-10-03 2019-04-04 Endurica, LLC System for tracking incremental damage accumulation
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US20190138970A1 (en) 2017-11-07 2019-05-09 General Electric Company Contextual digital twin
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
US10565764B2 (en) 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
US10198871B1 (en) * 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
KR102236957B1 (ko) 2018-05-24 2021-04-08 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 가상 세계를 통해 가상 현실 응용 프로그램을 개발, 테스트하고, 실제 세계로 배포하기 위한 시스템 및 방법
JP7082416B2 (ja) 2018-05-24 2022-06-08 ザ カラニー ホールディング エスエーアールエル 実世界を表現するリアルタイム３ｄ仮想世界の中でのリアルタイム３ｄ仮想物体の双方向リアルタイム３ｄインタラクティブ操作
US11403822B2 (en) 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US20200210137A1 (en) 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10921878B2 (en) 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002063436A2 (en) * 2001-02-07 2002-08-15 Universal City Studios, Inc. Reservation system and methods for theme parks
US20070168463A1 (en) * 2001-11-20 2007-07-19 Rothschild Trust Holdings, Llc System and method for sharing digital media content
US20120133638A1 (en) * 2010-11-29 2012-05-31 Verizon Patent And Licensing Inc. Virtual event viewing
US20180089903A1 (en) * 2015-04-15 2018-03-29 Lytro, Inc. Layered content delivery for virtual and augmented reality experiences
US20180173309A1 (en) * 2015-07-08 2018-06-21 Sony Corporation Information processing apparatus, display device, information processing method, and program
US20170250930A1 (en) * 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176826A (zh) * 2021-05-10 2021-07-27 中通服慧展科技有限公司 一种基于云计算的虚拟展会展览系统及其方法
CN113630593A (zh) * 2021-08-17 2021-11-09 宁波未知数字信息技术有限公司 一种多模态高精度全空间混合定位系统

Also Published As

Publication number Publication date
EP3754467A1 (en) 2020-12-23
US20200402315A1 (en) 2020-12-24
CN112102499B (zh) 2024-08-30
CN112104593B (zh) 2023-04-14
US11245872B2 (en) 2022-02-08
US11202036B2 (en) 2021-12-14
EP3754464A1 (en) 2020-12-23
US20230283749A1 (en) 2023-09-07
US11665317B2 (en) 2023-05-30
CN112100284A (zh) 2020-12-18
CN116319926A (zh) 2023-06-23
US11202037B2 (en) 2021-12-14
US20200404218A1 (en) 2020-12-24
US20200402293A1 (en) 2020-12-24
EP3754468A1 (en) 2020-12-23
US20200401576A1 (en) 2020-12-24
CN112104593A (zh) 2020-12-18
CN112102500B (zh) 2024-03-29
EP3754614A1 (en) 2020-12-23
CN112102501A (zh) 2020-12-18
CN112102499A (zh) 2020-12-18
US11196964B2 (en) 2021-12-07
US20200404217A1 (en) 2020-12-24
EP3754463A1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
CN112102500B (zh) 通过融合现实的虚拟存在系统和方法
US11698708B2 (en) Systems and methods for augmented reality with precise tracking
US12104916B2 (en) System and method enabling a collaborative 3D map data fusion platform and virtual world system thereof
EP3846058B1 (en) Multi-dimensional 3d engine computing and virtualization-based dynamic load balancing of virtual or real worlds
US11995730B2 (en) System and method for providing digital reality experiences and decentralized transactions of real estate projects
US11516296B2 (en) Location-based application stream activation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 54 Montorf Road, Betangburg, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: TMRW Foundation IP & Holding S.A.R.L.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 14-16 Pasteur Avenue, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: Karan Holdings Ltd.

GR01 Patent grant
GR01 Patent grant