CN112102499A - 融合现实系统和方法 - Google Patents

融合现实系统和方法 Download PDF

Info

Publication number
CN112102499A
CN112102499A CN202010546692.5A CN202010546692A CN112102499A CN 112102499 A CN112102499 A CN 112102499A CN 202010546692 A CN202010546692 A CN 202010546692A CN 112102499 A CN112102499 A CN 112102499A
Authority
CN
China
Prior art keywords
virtual
data
real
world
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010546692.5A
Other languages
English (en)
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TMRW Foundation IP and Holding SARL
Original Assignee
TMRW Foundation IP and Holding SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TMRW Foundation IP and Holding SARL filed Critical TMRW Foundation IP and Holding SARL
Publication of CN112102499A publication Critical patent/CN112102499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G06Q20/123—Shopping for digital content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

融合现实系统包括云到边缘基础设施中的服务器，该服务器被配置为存储和处理现实世界元素的虚拟副本的数据和模型，该数据和模型向虚拟副本提供自计算能力和自主行为。数据和模型是通过多个软件平台、软件引擎和被连接到物和用户设备的传感器输入的。服务器进一步被配置为融合现实和虚拟数据以及模型，以便使用虚拟数据来增强现实数据。其方法包括将现实世界映射到虚拟世界中，生成现实世界的虚拟副本；添加虚拟副本的模型和数据；将虚拟副本连接到对应的现实元素，以便充实虚拟副本并且将虚拟副本与现实世界元素同步；融合现实和虚拟数据；以及使用虚拟数据来增强现实数据。

Description

融合现实系统和方法
相关申请的交叉引用
本申请要求2019年6月18日提交的临时申请第62/863171号的权益，出于所有目的，该临时申请的全部公开内容被结合在本文中。
技术领域
本公开总体上涉及计算机系统，并且更具体地涉及用于生成和部署现实世界元素的虚拟副本的系统和方法。
背景技术
虚拟世界是提供现实或虚拟世界的图形和物理表示的模拟环境，其中，用户可以经由化身或彼此的虚拟副本来彼此进行交互或与其它元素进行交互。虚拟世界用于例如创建视频游戏、动画电影或用于在飞行模拟器中训练飞行员。在所有这些应用中，程序用于基于用户输入或学习行为来模拟交互、移动和改变的虚拟对象。
虚拟世界中的对象可以遵循与重力、地形、物理和运动学有关的规则，该规则可以基于或可以不基于现实世界元素。因此，存在用于创建现实世界项目的虚拟副本的当前技术。然而，这些虚拟副本通常不包含现实世界元素的所有或大部分数据以及它们周围的情境，限制了虚拟副本可以向用户提供的视觉效果和交互类型的现实性。此外，副本通常不与它们的现实世界对应物同步，以反映现实世界中作出的改变。这限制了将虚拟世界用于诸如建筑物、工厂、城市等中的操作管理的重要应用的能力。所希望的是便于虚拟副本的开发、部署和操作的系统和方法，该系统和方法可以以较少的计算密集型方式准确地反映它们表示的现实世界元素，包含来自每个元素的高水平的同步信息，并且在集成的生态系统中。
发明内容
提供该发明内容以简化的形式介绍精选的概念，该概念在下面具体实施方式中被进一步描述。该发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用作确定所要求保护的主题的范围的帮助。
在当前公开中，提供了提供精确和灵活的融合现实的系统和方法。该系统和方法可以提供现实的变化混合，该现实的变化混合使得能够由虚拟现实中的持久性虚拟世界来替换全部现实，或者通过虚拟手段，如以增强或混合现实，仅替换或扩展现实的一些部分。增强技术通常与环境元素一起实时且在语义情境中进行，诸如在现实世界中覆盖补充信息或虚拟对象(例如，动画交互视觉表示形式的交互应用)。现实世界元素以虚拟形式被复制，除了用于同步虚拟和现实元素的数据之外，还包括多个数据，这些数据不仅表示元素的视觉方面，而且还表示物理和行为方面。将现实元素映射到持久性虚拟世界系统中还包括添加元素的现实世界空间数据，该现实世界空间数据可以通过各种方法来跟踪。因为所有或大多数元素可以被映射和复制在虚拟世界中，所以除非检测到没有被包括在虚拟世界中的对象，否则不需要视觉地检测世界中的物理对象。通过虚拟化现实世界，当前公开的系统和方法进一步使得能够在现实和虚拟对象之间进行实时交互。在其它实施例中，融合现实系统进一步使得能够机器对机器、人类对机器、机器对人类以及人类对人类进行交互。
当前公开的融合现实系统包括被配置为存储和处理输入数据的一个或多个服务器，该一个或多个服务器包括存储器或存储设备以及处理器，该存储器或存储设备包括具有现实世界元素的虚拟副本的数据存储，该处理器被配置为处理数据和指令。虚拟副本包括虚拟数据，并且具有自计算能力和自主行为。该系统进一步包括多个连接的设备，该多个连接的设备通过网络进行通信并且包括感测机构，该感测机构被配置为从现实世界元素捕获多源数据。现实世界数据被发送到被存储在一个或多个服务器中的持久性虚拟世界系统，以便充实虚拟副本并且将虚拟副本与对应的现实世界元素同步。此外，一个或多个服务器将现实世界数据和虚拟数据融合到持久性虚拟世界系统中，以便使用虚拟数据来增强现实世界数据。
在一些实施例中，虚拟副本包括可以通过多个软件平台、软件引擎和/或被连接到连接的设备的传感器输入的逻辑、虚拟数据和/或模型。在当前公开中，逻辑指的是定义被嵌入在计算机代码中的操作指令和行为的规则，这对于持久性虚拟世界系统中可用的虚拟副本或应用的编程可能是需要的。虚拟数据是虚拟副本的属性，并且模型是对应的现实世界元素的任意方面的图形、数学和/或逻辑表示，这可以通过所包括的逻辑来定义和管理。在当前公开的实施例中，系统可以使用云到边缘基础设施，该云到边缘基础设施可以实施分布式计算能力，包括采用公共或私有云、基于分布式账本的基础设施、微云(cloudlet)和边缘系统，诸如企业系统、移动平台和用户设备。基于分布式账本的基础设施可以是去中心化且不可变的区块链或分布式账本网络，该区块链或分布式账本网络促进广泛地分发持久性虚拟世界系统所需的数据的传送和存储，包括虚拟副本、应用以及持久性虚拟世界系统内的任何事件或交互。通过云到边缘基础设施，包括物理服务器和网络设备的资源实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户相对于彼此以及相对于他们所在的位置地点而相应地命令更多或更少的计算的计算需求的因素来允许动态分配。在一些实施例中，使用分布式账本基础设施将存储和计算的动态分配编码为智能合约，对事务逻辑(例如，存储和计算的每个分配背后的计算机逻辑)以及这种分配的后果或结果进行自动化。
在一些实施例中，持久性虚拟世界系统进一步包括用户可以通过用户设备进行交互的应用。该应用例如可以是使用当前公开的分布式云到边缘基础设施的分布式应用。该应用可以帮助定义用户可以与持久性虚拟世界系统的元素进行交互的类型，诸如实现具有持久性虚拟世界系统中的其它用户的虚拟副本或化身的类似于交互游戏的机制。该应用可以在被存储在服务器的存储器中的应用库处可得，或者来自外部源，诸如通过被连接到服务器并且向持久性虚拟世界系统提供应用的外部应用库。
在一些实施例中，为了减少硬件和网络需求，有助于减少网络延迟，并且改善一般的融合现实体验，系统可以通过包括毫米波(mmW)或者mmW和sub 6GHz通信系统的组合的网络来连接，诸如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网络(Wi-Fi)来连接，该Wi-Fi以60GHz提供数据。提供的通信系统可以允许低延迟的端到端(E2E)延迟和高的下行链路速度到现场端点，符合执行典型的高度交互的数字现实应用或其它高度需求的应用所需的参数。这导致高质量、低延迟、实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统来支持，或者可以包括其它有线或无线通信系统。
可以被安装在多个连接的设备上的感测机构可以包括一个或多个温度传感器、接近传感器、惯性传感器(例如，惯性测量单元、加速度计、陀螺仪和磁力计)、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。通过向多个连接的设备提供不断从现实世界捕获数据的感测机构，使用反映现实世界的状况的实时、多源数据来保持更新虚拟世界和每个同步的虚拟副本。在一些实施例中，通过人工智能算法来处理多源数据，该人工智能算法进一步向虚拟副本提供可以增强现实世界的自主行为。人工智能处理数据可以包括进行数据、图像和对象识别；数据和对象分类；数据、图像或对象分割；数据、图像或对象遮蔽；数据、图像或对象归类；数据和对象的多维轨迹生成；或其组合。多源数据包括每个现实世界元素的可捕获数据，包括3D图像数据、3D几何形状、3D实体、3D感测数据、3D动态对象、视频数据、音频数据、优先级数据、化学成分、废物产生数据、文本数据、时间数据、位置数据、朝向数据、速度数据、温度数据、湿度数据、污染数据、照明数据、体积数据、流量数据、色度数据、功耗数据、带宽数据和质量数据等中的一个或多个。
根据实施例，被安装在连接的设备上的感测机构包括惯性跟踪感测机构和收发器的组合，其中，由这种组合跟踪的数据可用作嵌入式跟踪数据或到感测的数据集的跟踪元数据。惯性跟踪感测机构可以使用诸如加速度计、陀螺仪、磁力计等的设备，这些设备可以被集成在惯性测量单元(IMU)中，或者可以与IMU分离。在实施例中，收发器是mmW收发器。在采用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并且将数据发送回天线。惯性传感器，以及由mmW收发器提供的位置跟踪，以及由基于mmW的天线提供的精确跟踪、低延迟和高QOS功能，可以实现亚厘米或亚毫米的位置和朝向跟踪，这可以在跟踪连接的元素的实时位置和朝向时增加精度。在一些实施例中，可以通过采用本领域中已知的多个技术来实施跟踪，诸如到达时间(TOA)、到达角度(AOA)或本领域中已知的其它跟踪技术(例如，视觉成像、雷达技术等)。在替代实施例中，感测机构和收发器可以一起被耦合在单个跟踪模块设备中。
提供连接的元素的精确跟踪可以有助于显示持久性虚拟世界系统内的虚拟副本的可靠状态，特别是它们的位置和朝向，该位置和朝向可以与各种应用相关。另外，实现连接的元素的精确、实时跟踪可以减少物理感应其它连接的设备的需要。然而，某些感测机构，诸如基于图像的传感器，但是不限于图像、可见光、微光、红外、深度传感器和飞行时间传感器，可能仍然需要经由使用计算机视觉来实时监控未连接的元素或者可能存储或可能未存储在持久性虚拟世界系统中的其它实体的状态，诸如人类、动物、树或其它元素。此外，可以理解的是，仍然需要多个感测机构来保持包括多源数据的持久性虚拟世界系统的更新状态。
在另一实施例中，可以发生双向更新，即，从持久性虚拟世界系统到现实世界、以及从现实世界到持久性虚拟世界系统的更新，并且经由使用智能合约来管理和连接到存储设备的路径的方式来登记。在这种实施例中，存储数据库是区块链或基于分布式账本的数据库的形式。
在一些实施例中，从现实世界元素获得的多源数据包括现实空间数据，而由用户输入的数据和模型包括虚拟空间数据。现实空间数据在本文中指的是通过传感器物理捕获的仪器数据。虚拟空间数据在本文中指的是由用户通过现实世界元素的现有计算机模型(例如，建筑物信息模型)手动输入的数据、由系统从其它数据(诸如通过模拟或元数据)推理出的数据、或者从虚拟副本和虚拟世界之间的交互生成的数据。多源数据和虚拟输入的空间数据的组合使得能够使用虚拟空间数据来增强现实空间数据。例如，虚拟城市的场景可以包括一些现实世界元素(例如，动态现实世界对象)以及其它(例如，静态现实世界对象)，在该现实世界元素上已经安装跟踪传感器或由视觉手段(诸如雷达成像)来跟踪该现实世界元素，其中，空间数据已经被手动输入或已经由系统推理出。因此，一些现实对象可以包括实时位置跟踪和虚拟感测系统，该实时位置跟踪连续或定期地提供现实空间数据，该虚拟感测系统与虚拟世界进行交互以生成附加空间数据，该附加空间数据和现实空间数据融合以获得对对象的全面的态势感知。该全面的态势感知可以用于例如在城市的街道和交通中导航。
在一些实施例中，虚拟化身的虚拟空间数据表示由用户经由用户设备输入的期望的位置，其中，期望的位置与用户的现实位置不同，提示服务器的处理器在期望的位置中创建化身的复制。在这些实施例中，可以由物理上位于该位置的现实用户或由虚拟用户查看期望的位置中的用户化身，该用户化身能够经由触摸、手部移动、点击或其它类似手势，通过用户设备和人机输入翻译器的语音，视频捕获或用户输入的其它表达来彼此进行交互。用户化身也可以与该位置中的虚拟对象进行交互，包括真正位于该位置的对象，因为所有或大多数现实对象都具有它们自己的虚拟副本，或者与物理上不存在的纯虚拟对象进行交互。用户化身也可以在他的现实位置中以例如不可用状态在增强或虚拟现实中被查看，或者对于该位置中的其它用户可以是完全不可见的。
在一些实施例中，云服务器可以存储虚拟世界层，该虚拟世界层可以被分离为增强现实层和虚拟现实层。分离的层可以使得能够通过融合现实以增强现实或虚拟现实中的任何一个来访问持久性虚拟世界系统，并且可以在访问一个或另一个类型的现实时通过与至少一个服务器连接的用户设备来激活。每个层可以包括可以特定于每个层的现实和虚拟副本的增强。该层可以进一步包括一个或多个应用，该一个或多个应用可以从被存储在至少一个云服务器的存储器中的一个或多个应用库、从外部平台、或者通过区块链或基于分布式账本的分布式数据库可得。该应用可以是一个或多个传统应用、分布式应用或者去中心化应用。
在一些实施例中，彼此连接的虚拟副本节点创建虚拟副本网络。虚拟副本节点可以表示相同或不同类型的虚拟副本，并且虚拟副本网络可以表示不同虚拟副本之间的连接和交互关系。这样，两个物可以通过直接物理通信或通过间接的基于虚拟副本的连接来建立对等(P2P)连接。融合现实系统的虚拟副本网络因此使得能够机器对机器、人类对机器、机器对人类以及人类对人类进行通信和交互。交互机制通过使用计算机脚本和计算机程序中包括的计算机代码来定义，并且可以通过发生交互和交互应用的持久性虚拟世界系统中提供的应用、智能合约或其组合来启用。因此，应用、智能合约或其组合使得能够通过持久性虚拟世界系统来数字编码和表示现实世界的所有元素之间的可能的和期望的交互和交互接口。可以由用户以类似于交互游戏的应用的形式或通过类似于游戏的交互机制来体验交互，该交互可以发生在增强现实层或虚拟现实层中的任何一个的虚拟世界层中。可以例如在通过物理位置的虚拟副本对物理位置进行虚拟访问期间来启用交互，从而访问这种位置的用户可以与被配置在每个虚拟世界层中的元素进行虚拟交互。
可以用于特定目标的模拟的多个连接的虚拟副本可以构成流，其中，每个流被配置为从对应的虚拟副本获得数据并且进行特定目标的模拟。每个流可以连接到产生多个与流有关的虚拟副本的根节点或根模拟对象。流可以另外连接到输入函数，该输入函数定义流进行模拟所需要知道的虚拟副本。输入函数可以定义要为交通模拟考虑的虚拟副本。流然后可以通过使用虚拟传感器和现实传感器的组合来读取每个虚拟副本的行为，并且进行交通场景的特定目标的模拟。在一些实施例中，包括预定环境中的全部或大部分虚拟副本、它们的情境以及每个虚拟副本之间的关系和交互的多个流形成宇宙或子宇宙。例如，城市的子宇宙可以被称为城市子宇宙，该城市子宇宙可以表示城市的所有的建筑物、树、人、街道、交通灯、车辆等，以及它们的关系、交互和情境。另一子宇宙内还可以存在子宇宙，诸如城市子宇宙内的房屋子宇宙。房屋子宇宙可以包括房屋的外部和内部的3D设计，房屋的所有的电器、人、墙壁、能量消耗数据等。所有子宇宙的网络可以形成持久性虚拟世界系统的宇宙，该宇宙可以以虚拟或融合现实来查看。
在一些实施例中，合适的模型包括3D模型、动态模型、几何模型或机器学习模型中的一个或多个或其组合。可以经由多个外部平台或被包括在持久性虚拟世界系统中的引擎服务来输入模型和数据。多个外部平台可以包括例如物联网(IoT)平台、机器学习(ML)平台、大数据平台或模拟平台。外部平台可以通过应用程序接口(API)和软件开发工具包(SDK)连接到持久性虚拟世界系统，以便提供和操纵虚拟副本的模型和数据。被包括在持久性虚拟世界系统中的引擎服务可以包括人工智能、模拟、3D和触觉特征等。持久性虚拟世界系统还连接到空间数据流平台，该空间数据流平台被配置为从现实世界元素并且还从它们的虚拟副本接收和管理空间数据。该系统可以进一步包括数字现实接口，诸如虚拟现实、增强现实和融合现实接口，以与融合现实或虚拟现实进行交互。这些交互接口和机制通过使用被包括在计算机脚本和程序中的计算机代码来定义，并且可以受到发生交互的持久性虚拟世界系统中可用的应用(例如，分布式应用)、智能合约等的影响，数字编码现实世界的所有元素和虚拟世界之间可能和期望的交互，产生融合交互现实的一个视图。
几何模型包括基于现实世界元素来定义虚拟副本的形状的数学模型。3D模型与几何模型一起使用以显示被包括在虚拟副本的每个几何形状中的数据，诸如纹理、颜色、阴影、反射、照明、碰撞效果等。3D模型包括3D数据结构，该3D数据结构用于视觉地表示虚拟副本和持久性虚拟世界系统中的其它虚拟元素，诸如应用、广告、虚拟机器人等。3D数据结构可以包括例如一或多个八叉树、四叉树、BSP树、稀疏体素八叉树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树和六边形结构。3D数据结构具有准确且有效地表示持久性虚拟世界系统中的虚拟对象的每个几何形状的数据的功能。3D数据结构的正确选择取决于数据的来源、渲染期间寻求的几何形状的精度；渲染是实时完成还是预先渲染；是否经由云服务器、经由用户设备、雾设备或其组合来进行渲染；采用持久性虚拟世界系统的特定的应用，例如，与其它类型的应用相比，医疗或科学应用可能需要更高的定义水平；来自服务器和来自用户设备的存储器容量，以及因此期望的存储器消耗；以及其它。
动态模型表示描述虚拟世界中的现实世界对象随时间的行为的数学模型，可以包括以定义的顺序发生的一组状态，并且可以包括连续(例如，代数或微分方程)和离散(例如，作为状态机或随机模型)动力学模型。
机器学习模型是现实世界对象和处理的数学表示，通常基于已经被用作训练数据以供学习的实际或模拟数据由机器学习算法来生成。该模型可以实现人工智能技术的实施方式，该人工智能技术可以用于通过虚拟孪生来优化现实孪生的操作和/或性能。机器学习模型可以采用机器学习算法，该机器学习算法允许教导虚拟副本关于现实孪生的行为，以便模拟现实孪生的行为。
在一些实施例中，在虚拟副本中使用的模型考虑了特定的场景计算所需的细节水平(LOD)。LOD涉及在虚拟副本远离查看者时或者根据诸如对象重要性、相对于视点的速度、或位置的其它度量来降低模型表示的复杂性。在一些实施例中，根据包括人工智能查看者或人类查看者的单独查看者的分类，进一步对于单独查看者来调整LOD。在一些实施例中，根据人工智能查看者或人类查看者的子分类，进一步调整LOD。LOD是通常用在游戏引擎中以优化实时渲染的特征，仅在用户的视点更靠近对象时才使用更详细的模型。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的物理模型(从低保真到高保真模型)与虚拟副本相关联，使得能够根据情况和情形来进行不同的模拟。LOD管理还允许根据特定的要求和情境来提供优化的用户体验；
根据实施例，一种实施融合现实系统的方法包括，通过生成现实世界对象的虚拟副本，将现实世界的现实世界对象映射到虚拟世界中；将与现实世界对象有关的模型和现实世界数据添加到虚拟副本；融合现实和虚拟数据；以及使用虚拟数据来增强现实数据。以该方式，虚拟副本被连接到对应的现实世界元素，以便充实虚拟副本并且将虚拟副本与现实世界元素同步。
在一些实施例中，该方法进一步包括，获得现实空间数据和虚拟空间数据；检查现实和虚拟空间数据是否一致；在否定情况下，其中，现实空间数据和虚拟空间数据不一致，在期望的位置中创建用户化身的复制，用户化身的复制包括用户化身的原始数据和模型；在肯定情况下，其中，现实空间数据和虚拟空间数据一致，融合现实和虚拟空间数据；以及使用虚拟空间数据来增强现实空间数据。
上面的发明内容不包括本公开的所有方面的详尽列表。可以预期的是，本公开包括可以从上面概述的各种方面的所有合适的组合、以及下面的具体实施方式中公开的那些和与本申请一起提交的权利要求中具体指出的那些来实践的所有系统和方法。这种组合具有上面的发明内容中没有具体陈述的优点。根据附图并且根据下面的具体实施方式，其它特征和优点将是显而易见的。
附图说明
关于以下描述和附图，将更好地理解本公开的具体特征、方面和优点，其中：
图1描绘了根据实施例的描述可以用于实施融合现实系统的基础设施的图。
图2A-2C描绘了根据实施例的在持久性虚拟世界系统中使用的子宇宙和子宇宙的网络的图。
图3描绘了根据实施例的描述用于生成在融合现实系统中使用的虚拟副本网络的数据和模型的图。
图4描绘了根据实施例的描述用于生成在融合现实系统中使用的虚拟副本网络的平台和接口的图。
图5A-5B描绘了根据实施例的在融合现实系统中使用的空间数据混合的图。
图6描绘了根据实施例的显示化身现实和期望的位置的子宇宙的网络的空间图。
图7描绘了根据实施例的可以在融合现实系统中使用的连接的设备的操作组件图。
图8描绘了根据实施例的实施融合现实系统的方法。
图9描绘了根据实施例的在一个或多个不同的位置中生成化身的一个或多个复制的方法。
具体实施方式
在以下描述中，参考通过图示方式显示各种实施例的附图。此外，下面将通过参考多个示例来描述各种实施例。应该理解的是，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构中的改变。
图1描绘了根据实施例的描述可以用于实施融合现实系统的基础设施100的图。
当前公开的融合现实系统基础设施100包括一个或多个服务器，诸如被配置为存储和处理输入数据的云服务器102，一个或多个服务器包括存储器或存储设备(未示出)以及处理器(未示出)，该存储器或存储设备包括具有现实世界元素的虚拟副本104的数据存储，该处理器被配置为处理数据和指令。多个连接的虚拟副本104形成虚拟副本网络106，该虚拟副本网络106使得能够通过直接物理通信或通过间接的基于虚拟副本的连接来建立对等(P2P)连接。世界的相互连接的区域中的整个虚拟副本网络106形成持久性虚拟世界系统108，该持久性虚拟世界系统108可以由用户通过设备的合适接口来访问。
当前公开的虚拟副本104指的是现实世界元素或现实孪生的虚拟版本或虚拟孪生，该虚拟副本104可以通过计算机辅助绘图(CAD)或计算机辅助工程(CAE)方法来映射或建模，由现实对象的计算机模型(例如，建筑物信息模型-BIM)或其它合适的现有技术方法来输入，并且该虚拟副本104不仅可以反映现实孪生的外观，而且可以反映现实孪生的行为。现实世界对象可以另外包括可以向虚拟副本104提供多源输入数据的传感器，用于充实虚拟副本104并且将虚拟副本104与它们各自的现实对应物同步。因此，虚拟副本104可以从一个或多个源(例如，从一个或多个现实世界对象、环境传感器、计算设备等)获得数据。如本文中使用的，术语“多源数据”指的是可以从多个源获得的数据。
如上面解释的，可以基于多源数据来更新虚拟副本，诸如通过更新已知的参数或特征，通过使用附加的参数或特征来充实虚拟副本等。在当前公开中，术语“充实”用于描述基于多源数据向虚拟副本提供进一步特性的动作。充实虚拟副本可以被认为是使用一个或多个新形式的数据来更新虚拟副本的特殊形式，该一个或多个新形式的数据先前可能不存在于虚拟副本中。例如，充实虚拟副本可以指的是提供从多个设备上的感测机构捕获的现实世界数据，其中，进一步的现实世界数据包括视频数据、温度数据、实时能量消耗数据、实时水消耗数据、速度或加速度数据等。
例如，城市中的特定交通灯被链接到道路或街道，并且还可以被关联到其它对象，诸如传感器或其它交通信号。这些关系可以触发可以在持久性虚拟世界系统108中创建新的交互的事件，例如，街道中的急救车可以自动触发优先级事件，该优先级事件将改变交通灯模式，以基于急救车的轨迹和该区域中的实际交通状况的模拟来避免十字路口中的任何停留。可以将这种状况、事件和后果编程为被绑定到特定于交通的分布式账本的智能合约，例如具有许多智能合约的交通侧链，这些智能合约定义各种编码的交通规则和期望行为，因此自动化并且记录这种事件的发生。融合现实系统的虚拟副本网络106使得能够机器对机器、人类对机器、机器对人类以及人类对人类进行通信和交互。交互机制通过使用被包括在计算机脚本和计算机程序中的计算机代码来定义，并且可以通过发生交互和交互应用的持久性虚拟世界系统中提供的应用、智能合约或其组合来启用。因此，应用、智能合约或其组合使得能够通过持久性虚拟世界系统来数字编码和表示现实世界的所有元素之间的可能的和期望的交互和交互接口。可以由用户以类似于交互游戏的应用的形式或通过类似于游戏的交互机制来体验交互，该交互可以发生在增强现实层或虚拟现实层中的任何一个的虚拟世界层中。可以例如在通过物理位置的虚拟副本对物理位置进行虚拟访问期间来启用交互，从而访问这种位置的用户可以与被配置在每个虚拟世界层中的元素进行虚拟交互。
当前公开的系统可以使用云到边缘基础设施100，该云到边缘基础设施100可以采用公共或私有云服务器102、雾服务器110以及诸如企业系统、移动平台、机械、机器人、车辆、传感器或用户设备的系统112来实施分布式计算能力，所有这些可以通过网络114连接。在一些实施例中，云到边缘基础设施100进一步包括基于分布式账本的基础设施(未示出)，以促进广泛地分发持久性虚拟世界系统108所需的数据的传送和存储，包括虚拟副本、应用以及持久性虚拟世界系统108内的任何事件或交互。这样，包括物理服务器和网络设备的资源实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户相对于彼此以及相对于他们所在的位置地点而相应地命令更多或更少的计算的计算需求的因素来动态分配。在一些实施例中，使用分布式账本基础设施将存储和计算的动态分配编码为智能合约，对事务逻辑(例如，存储和计算的每个分配背后的计算机逻辑)以及分配的后果或结果进行自动化。
根据一实施例，由到达时间(TOA)、到达角度(AOA)和视觉成像技术中的一个或多个来进行设备的跟踪。可以由雷达技术、天线、Wi-Fi、惯性测量单元、陀螺仪和加速度计中的一个或多个来进行跟踪。
在一些实施例中，为了减少硬件和网络需求，有助于减少网络延迟，并且改善一般的融合现实体验，系统可以通过包括毫米波(mmW)或者mmW和sub 6GHz通信系统的组合的网络114来连接，诸如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网络(Wi-Fi)来连接，该Wi-Fi以60GHz提供数据。提供的通信系统可以允许低延迟和到现场端点的1-10Gbps下行链路速度，符合执行典型的高度交互的数字现实应用或其它高度需求的应用所需的参数。这导致高质量、低延迟、实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统来支持，或者可以包括其它有线或无线通信系统。
在其它实施例中，全球导航卫星系统(GNSS)，其统称为基于多个卫星的导航系统，像是GPS、BDS、Glonass、QZSS、Galileo和IRNSS，可以用于实现设备的定位。利用来自足够数量的卫星的信号以及诸如三角测量和三边测量的技术，GNSS可以计算设备的位置、速度、高度和时间。在实施例中，通过现有蜂窝通信网络的架构，外部定位系统由辅助GNSS(AGNSS)来增强，其中，现有架构包括5G。在其它实施例中，AGNSS跟踪系统进一步由4G蜂窝通信网络来支持。在室内实施例中，GNSS进一步经由诸如Wi-Fi的无线电无线局域网络来增强，该Wi-Fi优选地但是不限于以60GHz提供数据。在替代实施例中，GNSS经由本领域中已知的其它技术来增强，诸如经由差分GPS(DGPS)、基于卫星的增强系统(SBAS)、实时运动学(RTK)系统。在一些实施例中，由设备中的AGNSS和惯性传感器的组合来实施设备的跟踪。
在当前公开的一些实施例中，系统100可以在云到边缘基础设施中实施，该云到边缘基础设施可以采用公共或私有云，雾服务器以及诸如企业系统、移动平台和用户设备的边缘设备和系统来显示分布式计算能力，所有这些可以通过网络连接。使用云到边缘计算网络，可以按需经由客户端设备将对计算能力、计算机基础设施(例如，通过所谓的基础设施即服务或IaaS)、应用和业务处理的访问作为服务传递给用户。这样，包括物理服务器和网络设备的资源实现共享的存储和计算，该共享的存储和计算可以根据诸如用户到资源和网络的距离以及来自用户的计算需求的因素来动态分配。
当前融合现实系统的示例应用可以包括工业、医疗、运输、娱乐、学术和资源管理(例如，智能电网、水管理系统)活动。例如，在命令工厂机器人将物料从一个地方运输到另一个地方的场景中，如果机器人中的物理视觉传感器(例如，相机)故障或丢失，则机器人可以使用包括每个项目的位置的工厂的虚拟地图，以便检测并且相应地避开已经位于持久性虚拟世界系统中的障碍物，诸如墙壁或桌子。使用虚拟数据以便检测现实世界对象的这种能力在本文中可以被称为“虚拟传感器”。在另一示例中，匹萨运送无人机可以使用城市的虚拟模型来查找期望的目的地，并且可以仅使用视觉传感器来避开可能不在系统中的对象。在医疗应用的示例中，医生可以以虚拟现实或增强现实远程地操纵在手术室中具有现实对应物的手术装置的虚拟副本。其它人员(例如，医生、护士等)可以查看进行手术的医生的虚拟化身。为了提高准确性，相机可以捕获现实的患者和手术室，该现实的患者和手术室可以被集成在向远程医生显示的虚拟世界版本中，使得他可以实时查看手术室中的情况。在一些实施例中，虚拟副本可以进一步包括虚拟机器人和用户的化身。虚拟机器人可以被配置为通过采用机器学习算法作为具有人类或类似人类的行为的自动代理来响应。虚拟机器人可以或可以不被连接到现实世界中的物理机器人。人类化身可以被配置为显示人类用户的物理特征，或者可以被配置为具有不同的视觉方面和特征。
在当前公开中，术语“持久性”用于表征在没有连续执行处理或网络连接的情况下可以继续存在的系统的状态。例如，术语“持久性”可以用于表征虚拟世界系统，其中，虚拟世界系统和其中包括的所有虚拟副本、纯虚拟对象和应用在用于创建虚拟副本、纯虚拟对象和应用的处理停止之后继续存在，并且不依赖于用户被连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置中(例如，在服务器中)。以该方式，即使用户没有被连接到服务器，虚拟副本、纯虚拟对象和应用在被配置用于实现特定目标时也可以彼此进行交互和协作。
图2A-2C描绘了根据实施例的在持久性虚拟世界系统108中使用的子宇宙200和子宇宙的网络的图。图2A-C的一些元素可以指的是图1的相似或相同的元素，因此可以使用相同的附图标记。
参考图2A，可以用于特定目标的模拟的多个连接的虚拟副本104可以构成流202，其中，每个流202被配置为从对应的虚拟副本104获得数据并且进行特定目标的模拟。每个流202可以连接到产生多个与流有关的虚拟副本104的根节点204或根模拟对象。流202可以另外连接到输入函数206，该输入函数206定义流202进行所需模拟所需要的虚拟副本104。例如，可以存在交通流202，该交通流202包括车辆、人、交通灯甚至天气状况的多个虚拟副本104。换句话说，流202包括可能与流202的特定功能有关的虚拟副本网络的任何部分。输入函数206可以定义要为交通模拟考虑的虚拟副本104。流202然后可以通过使用虚拟传感器和现实传感器的组合来读取每个虚拟副本104的行为，并且进行交通场景的特定目标的模拟。例如，目标可以是优化交通流、以预定的平均速度运行或减少堵车的机遇。这种模拟可以用于例如驾驶自主汽车或无人机。流202的另一示例可以是能量消耗，该流202可以包括具有电力消耗数据的建筑物的虚拟副本104，以及诸如机器、计算机、电器等的特定的能量消耗虚拟副本104。
继续参考图2A的描述，在预定环境中包括整个虚拟副本104的多个流202形成子宇宙200。例如，城市子宇宙可以表示城市的所有的建筑物、树、人、街道、交通灯、车辆等。在一些实施例中，子宇宙200内还可以存在子宇宙，诸如城市子宇宙内的房屋子宇宙，该房屋子宇宙可以包括房屋的外部和内部的3D设计，房屋的所有的电器、人、墙壁、能量消耗数据等。
参考图2B，子宇宙200的网络，诸如子宇宙1-4，可以形成持久性虚拟世界系统108。例如，城市子宇宙可以连接到其它城市子宇宙以形成国家子宇宙。如果国家子宇宙没有连接到任何其它子宇宙200，则国家子宇宙可以表示持久性虚拟世界系统108的宇宙。
图2C示出了子宇宙200的空间图，该子宇宙200包括多个流202，诸如流1-4，每个流202包括多个与流有关的虚拟副本104。
图3描绘了根据实施例的系统300的图，该系统300描述在融合现实系统中使用的虚拟副本和导出的虚拟副本网络的设计。图3的一些元素可以指的是图1-2C的相似或相同的元素，因此可以使用相同的附图标记。
如图3中示出的，包括连接的元素304和用户306的现实世界302中的元素通过数据流308被连接到持久性虚拟世界系统。根据连接的元素304的能力，这些数据流308可以是单向或双向的。如参考图1解释的，持久性虚拟世界系统可以被存储在云服务器102中，并且在云到边缘计算和网络基础设施100中被共享。在当前公开中，术语“用户”可以指的是与持久性虚拟世界系统进行交互的人类或指的是由所述人类306用来与应用进行交互的设备，诸如移动设备、个人计算机、游戏机、媒体中心和头戴式显示器等。在当前公开中，连接的元素304指的是可以包括通信电路(例如，网络接口)的基于技术的系统，该通信电路(例如，网络接口)允许将连接的元素连接并且共享到除用户306设备之外的网络，诸如监视相机、车辆，交通灯、建筑物、街道、火车轨道、家用电器、机器人、无人机等。
由连接的元素304发送的数据流308可以由被安装在连接的元素304上的传感器获得，诸如一个或多个温度传感器、接近传感器、惯性传感器(例如，惯性测量单元、加速度计、陀螺仪和磁力计)、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。用户306的数据流308除了传感器数据之外，还可以包括经由用户设备306与应用进行交互而产生的用户输入数据。
通过向多个连接的元素304和用户设备306提供不断从现实世界302捕获数据的感测机构，使用反映现实世界302的状况的实时、多源数据来保持更新虚拟世界和每个同步的虚拟副本104。多源数据包括每个现实世界元素的可捕获数据，包括3D图像数据、3D几何形状、3D实体、3D感测数据、3D动态对象、视频数据、音频数据、优先级数据、化学成分、废物产生数据、文本数据、时间数据、位置数据、朝向数据、速度数据、温度数据、湿度数据、污染数据、照明数据、体积数据、流量数据、色度数据、功耗数据、带宽数据和质量数据等中的一个或多个。
持久性虚拟世界系统中与虚拟副本104的交互是通过使用被连接到每个虚拟副本104的数据存储310的发布/订阅服务进行数据交换来进行的。数据类型可以包括周期和非周期、同步和异步的数据。每个虚拟副本104保持数据存储310，其中，可以由现实孪生或由微服务(未示出)来更新数据。持久性虚拟世界系统中的数据可以直接与特定的虚拟副本104相关联，或者可以被处理为匿名数据，该匿名数据可以包括有关的虚拟副本的多个流源的聚合。例如，来自汽车的特定模型的所有单元的数据可以被处理和聚合为流数据以可用于预测性维护服务。
微服务指的是可以被独立开发、部署和维护的单独服务，每个服务被配置为进行离散任务并且通过API与其它服务进行通信。每个微服务可以使用虚拟副本模型以及与环境的关系来修改虚拟副本104的特定属性的值，从而更新虚拟副本104的数据存储310中的数据。微服务可以使用持久性虚拟世界系统的特定核心服务，诸如多个引擎，或被连接到外部平台。
数据流308可以经由连接器312被存储在数据存储310中。连接器312可以包括用于读取数据流308的数据并且写入数据存储310的软件和硬件。连接器312可以使用发布/订阅应用程序接口(API)来连接到数据存储310，并且帮助向虚拟副本104馈送来自连接的元素304和用户设备306的数据流308。连接的元素304的数据流308进一步通过连接器312馈送给网络物理系统314，而用户设备306的数据流308通过连接器312馈送给用户306的虚拟化身316。系统300还包括机器人318的实施方式，该机器人318可以包括被配置为通过采用机器学习算法作为具有人类或类似人类的行为的自动代理来响应的硬件和软件。人类化身316可以被配置为显示人类用户306的物理特征，或者可以被配置为具有不同的视觉方面和特征。
在当前公开中，一对虚拟现实孪生或孪生对可以被认为是网络物理系统314，该网络物理系统314是计算与物理处理的集成，该网络物理系统314的行为由系统的网络和物理部分来定义。因此，虚拟副本104是网络物理系统314的网络部分。虚拟副本104然后可以被认为是现实孪生的扩展，该虚拟副本104允许将物理部分与人工智能和模拟连接以改善对象的能力和性能。在一些实施例中，虚拟副本104可以代替物理组件和处理的一部分。例如，在现实对应物中的传感器故障的情况下，现实孪生的感测输入由虚拟世界中的虚拟孪生的交互来提供。在另一示例中，如果现实孪生中的电池电量不足，则可以在虚拟世界中完成现实孪生的计算部分。
虚拟副本104还可以包括模型320，该模型320指的是可以用于在持久性虚拟世界系统中复制现实的现实方面的任何图形、数学或逻辑表示。在一些实施例中，合适的模型320包括3D模型322、几何模型324、动态模型326和机器学习模型328中的一个或多个。虽然本文中仅公开了四个模型，但是本领域技术人员可以理解的是，系统可以适于实施比呈现的那些模型更少或更多的模型。
3D模型322与几何模型324一起使用以显示被包括在虚拟副本104的每个几何形状中的数据，诸如纹理、颜色、阴影、反射、碰撞效果等。3D模型322包括3D数据结构，该3D数据结构用于视觉地表示虚拟副本104和持久性虚拟世界系统中的其它虚拟元素，诸如应用、广告、虚拟机器人等。3D数据结构可以包括例如一或多个八叉树、四叉树、
BSP树、稀疏体素八叉树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树和六边形结构。3D数据结构具有准确且有效地表示持久性虚拟世界系统中的虚拟对象的每个几何形状的数据的功能。3D数据结构的正确选择取决于数据的来源、渲染期间寻求的几何形状的精度；渲染是实时完成还是预先渲染；是否经由云服务器、经由用户设备、雾设备或其组合来进行渲染；采用持久性虚拟世界系统的特定的应用，例如，与其它类型的应用相比，医疗或科学应用可能需要更高的定义水平；来自服务器和来自用户设备的存储器容量，以及因此期望的存储器消耗；以及其它。
几何模型324包括基于现实世界元素来定义虚拟副本104的形状的数学模型，并且可以由3D模型322来补充。
动态模型326表示描述虚拟世界中的现实世界对象随时间的行为的数学模型，可以包括以定义的顺序发生的一组状态，并且可以包括连续(例如，代数或微分方程)和离散(例如，作为状态机或随机模型)动力学模型。
机器学习模型328是现实世界对象和处理的数学表示，通常基于已经被用作训练数据以供学习的实际或模拟数据由机器学习算法来生成。该模型可以实现人工智能技术的实施方式，该人工智能技术可以用于通过虚拟孪生来优化现实孪生的操作和/或性能。机器学习模型可以采用机器学习算法，该机器学习算法允许教导虚拟副本104关于现实孪生的行为，以便模拟现实孪生的行为。
在一些实施例中，在虚拟副本104中使用的模型考虑了特定的场景计算所需的细节水平(LOD)。LOD涉及在虚拟副本远离查看者时或者根据诸如对象重要性、相对于视点的速度、查看者分类、或位置的其它度量来降低模型320表示的复杂性。LOD是通常用在游戏引擎中以优化实时渲染的特征，仅在用户的视点更靠近对象时才使用更详细的模型。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的物理模型(从低保真到高保真模型)与虚拟副本相关联，使得能够根据情况和情形来进行不同的模拟。LOD管理通过降低图形流水线使用(通常是顶点变换)的工作量或通过增强物理模拟来增加计算处理(诸如渲染处理)的效率，因为可以将不同的3D模型322或动态模型326(从低保真到高保真模型)与虚拟副本相关联，使得可以根据情况和情形来完成不同的模拟。通常，LOD管理可以改善帧速率，并且减少存储器和计算需求。LOD管理还允许根据特定的要求和情境来提供优化的用户体验；例如，可以使用低保真模型来计算城市中的交通的宏观模拟，但是使用高保真模型的微观模拟可以用于辅助车辆的自主驾驶。在另一示例中，LOD管理器可以使用医疗装置的低保真模型基于无人机将设备运送到医院，同时在外科医生以增强或虚拟现实进行手术时采用同一医疗装置的高保真模型。在一些实施例中，进一步对于单独查看者来调整LOD，其中，调整包括基于查看者是人工智能查看者还是人类查看者来考虑特定场景的渲染的LOD。在一些实施例中，根据人工智能查看者或人类查看者的子分类来进一步调整LOD，其中，每个子分类定义特定查看者所需的LOD的质量。
例如，诸如医生或机器人工程师的人类可以被细分为具有高LOD要求的查看者，而在拥挤区域中玩游戏应用的人类可以被细分为具有中或低范围LOD要求的查看者。在另一示例中，对于利用持久性虚拟世界系统来引导自身的无人机，当在城市中飞行以进行运送时，可以详细减少城市的场景的LOD，因此降低图像的质量。在又一示例中，利用持久性虚拟世界系统来引导自身的自动车辆当在城市中自主驾驶时可以仅使用非常高分辨率的虚拟3D街道数据，而对于车辆使用低分辨率的周围数据。在另一示例中，可以最大化医院的场景的LOD，其中，外科医生正在远程地(例如，以虚拟现实)进行手术，以在过程期间提供最大量的细节以辅助外科医生。在又一示例中，人类用户基于对应的现实世界位置来访问旅游景点，该旅游景点具有持久性虚拟世界系统中的特定位置的非常高LOD的娱乐性，实现这种位置及其包括的旅游景点的高保真远程体验。在又一实施例中，指挥和控制中心房间的用户可以具有持久性虚拟世界系统的鸟瞰抽象的、白色模型的假彩色视图，以监控交通情形的当前实时活动。
多个连接的虚拟副本104形成虚拟副本网络106。每个虚拟副本104还可以显示彼此的社交连接330，即，彼此之间的交互。
在一些实施例中，虚拟副本104包括可以用于对数字现实应用的3D结构进行建模的3D世界和建筑物数据中的一个或多个，诸如基于SLAM或派生映射的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据。
在一些实施例中，可以使用适合于与当前地理定位技术一起使用的参考坐标系来对每个虚拟副本104进行地理定位。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，该WGS84是由GPS使用的当前参考坐标系。
图4描绘了根据实施例的描述用于生成在融合现实系统中使用的虚拟副本网络的平台和接口的系统400的图。参考图4，位于虚线内的元素表示虚拟副本和虚拟副本网络106驻留的持久性虚拟世界系统108。
如图4中示出的，虚拟副本网络106可以连接到多个外部平台或连接到被包括在持久性虚拟世界系统108中的引擎服务。多个外部平台可以包括例如物联网(IoT)平台402、机器学习(ML)平台404、大数据平台406和模拟平台408，这些平台可以通过应用程序接口(API)和软件开发工具包(SDK)410连接到持久性虚拟世界系统108，以便提供和操纵模型以及消费或发布数据到虚拟副本。
IoT平台402指的是能够管理从连接的元素和用户设备中的传感器接收的多源输入数据的软件和/或硬件。ML平台404指的是向虚拟副本104提供使用机器学习模型和算法用于人工智能应用的能力的软件和/或硬件。大数据平台406指的是使得组织能够开发、部署、操作和管理与虚拟副本网络106有关的大数据的软件和/或硬件。模拟平台408指的是能够使用虚拟副本及其数据和模型以便虚拟地重建现实世界实体的现实行为的软件和/或硬件。
被包括在持久性虚拟世界系统108中的引擎服务可以包括人工智能引擎412、模拟引擎414、3D引擎416和触觉引擎418等。人工智能引擎412指的是能够管理和应用用于人工智能应用的机器学习模型和算法的软件和/或硬件。模拟引擎414指的是能够使用虚拟副本及其数据和模型以便虚拟地重建现实世界实体的现实行为的软件和/或硬件。3D引擎416指的是可以在虚拟副本的3D图形的创建和处理中使用的软件和/或硬件。触觉引擎418指的是能够对应用和虚拟副本实施触觉特征以向用户提供基于触摸的交互的软件和/或硬件。持久性虚拟世界系统还连接到空间数据流平台420，该空间数据流平台420被配置用于优化持久性虚拟世界系统中以及持久性虚拟世界系统和融合现实422之间的现实和虚拟空间数据的交换和管理。
3D引擎416和触觉引擎418可以经由用户设备中的合适的数字现实接口424连接到融合现实422，使得能够以虚拟现实或增强现实中的任何一个访问融合现实。融合现实422向用户提供扩展的现实，其中，现实元素被持久性虚拟对象覆盖或增强、被锚定在特定的地理位置中或被锚定到现实中的现实元素、并且包括被连接到现实的虚拟副本的AI和模拟。用户可以通过他/她的化身316不受限制地与该融合现实422进行交互。
在实施例中，虚拟副本网络106是持久性虚拟世界系统108的组成部分，并且实现虚拟副本现实426的实施方式，其中，所有的现实世界元素是完全虚拟的，并且可以被虚拟地增强(例如，向虚拟副本添加现实世界元素可能不具有的特征)。在当前公开中，虚拟副本现实426与虚拟现实的典型概念不同，在于虚拟现实可以表示世界的沉浸式实现，其中，所有的元素是虚拟的，而虚拟副本现实426考虑了情境、基于现实世界对象的精确地理位置以及虚拟副本之间的交互和连接，这些虚拟副本通过经由多个平台和/或引擎所输入和操纵的数据和模型来保持连续更新。因此，虚拟副本现实426指的是持久性虚拟世界系统内的世界的实际虚拟副本，其中，持久性虚拟世界系统提供数据、模型、交互、连接和基础设施，实现每个虚拟副本的自计算能力和自主行为。
在又一实施例中，系统400可以在至少一个服务器的存储器中存储增强现实和虚拟现实的分离的层。分离的层可以使得能够通过融合现实422以增强现实或虚拟现实中的任何一个来访问虚拟副本现实426，并且可以在访问一个或另一个类型的现实时通过与至少一个服务器连接的用户设备来激活。每个层可以包括可以特定于每个层的现实和虚拟副本的增强。例如，当以增强现实来访问融合现实422时，用户可以查看位于当前融合现实场景中的现实对象、经由对应的虚拟副本的每个现实对象的当前增强、以及被配置为仅在增强现实中可见的纯虚拟对象。在另一示例中，当以虚拟现实来查看融合现实422时，用户可以仅查看被配置用于虚拟现实的虚拟副本现实426的版本，包括仅被配置用于虚拟现实视图的增强。然而，当在虚拟现实中时，用户可以激活增强现实层，以便查看最初用于增强现实的增强和虚拟对象。同样，当在增强现实中时，用户可以激活虚拟现实层，以便被完全传输到虚拟现实，同时仍然能够查看增强现实中的增强。作为示例，在增强现实中，用户可以位于房间中，其中，使用漂浮在他们的头顶上的标签来识别房间中的人，并且其中，当以增强现实来查看时，存在对房间中的所有用户可见的虚拟漂浮星球(floating planet)的微型版本。此外，在该示例中，用户可以以虚拟现实从远程位置访问房间，并且可以仅虚拟地查看房间，而不能够查看被配置用于增强现实的任何增强。然后，用户可以激活增强现实层，使得用户能够查看名称标签和虚拟漂浮星球的微型版本。通过持久性虚拟世界系统的各种平台和/或引擎输入的数据和模型提供虚拟副本的自计算能力和自主行为、虚拟孪生和现实孪生之间的同步行为、通过虚拟副本的现实孪生的增强能力，并且使得能够采用从现实孪生获得的数据来进行模拟以及机器学习训练和推理，以便进行系统优化(例如，交通或能量消耗优化)。
“自计算能力”，也被称为“自管理能力”，在本文中指的是应用人工智能算法以便自主管理计算资源(例如，分布式计算资源)的能力。在实施例中，在持久性虚拟世界系统中具有自计算能力的虚拟副本能够自主管理计算资源，以适应对应的现实世界元素的环境或现实世界元素本身的变化。可以通过使用在区块链或分布式账本技术上运行的智能合约来进一步管理自管理规则和条件，以分布式和透明的方式来进一步对规则和条件进行编码。因此，在实施例中，每个虚拟副本可以表现出自主行为，根据持久性虚拟世界系统中反映的现实世界中的条件而自主动作(例如，通过分配所需的资源，如由每个情况要求地自主发送和执行命令和/或生成事件)。实现该类型的行为可能需要在虚拟副本建模期间使用人工智能算法来训练虚拟副本。因此，虚拟副本编辑器的角色可以被限于定义引导自管理处理的一般策略和规则。例如，在车祸的情况下，接近事故的自主汽车的虚拟副本可以决定降低它们的速度或停车，以便避免恶化交通状况，并且甚至可以在车辆中的乘客知道发生了事故之前通知有关当局。在该示例中，对于各种智能合约，可以对处理的事故历史、数据、规则和条件进行编码，以定义满足这种智能合约的条件的后果和动作。
图5A-5B描绘了根据实施例的在融合现实系统中使用的空间数据混合系统500的图。
参考图5A，从现实世界或现实世界现实502中的现实世界元素获得的多源数据包括世界空间数据504，该世界空间数据504被传送到服务器以用于处理。由服务器向虚拟副本现实426发送世界空间数据504。在该实施例中，化身316的空间数据与世界空间数据504一致(例如，等于)，因此在图5A中被表示为(世界)虚拟空间数据506。
在一些实施例中，虚拟空间数据还可以用于由服务器进行的空间数据混合508的处理通过融合现实422来扩展现实世界现实502，其中，用户306可以一起查看现实世界现实502的一些元素和虚拟副本现实426的一些元素并且与这些元素进行交互。世界空间数据504在本文中指的是通过传感器物理捕获的仪器数据。虚拟空间数据在本文中指的是由用户306通过现实世界元素的现有计算机模型(例如，BIM)手动输入的数据，或是由系统从其它数据(诸如通过模拟或元数据)推理出的数据。世界空间数据504和虚拟输入的空间数据的组合使得能够使用融合现实422内的虚拟空间数据来增强现实空间数据。
例如，虚拟城市的场景可以包括一些现实世界元素(例如，动态现实世界对象)以及其它(例如，静态现实世界对象)，在该现实世界元素上已经安装跟踪传感器或由视觉手段(诸如雷达成像)来跟踪该现实世界元素，其中，空间数据已经被手动输入或已经由系统推理出。因此，一些对象可以包括实时位置跟踪，因为空间数据是由传感器连续或定期地提供的，而其余数据可以被虚拟地输入到系统中。空间数据混合向用户提供对象的平滑视图，而不依赖于它们的数据是通过传感器连续地更新或虚拟地更新。
图5B示出了实施例，其中，用户306经由用户设备输入期望的空间数据510(例如，期望的位置)，其中，期望的空间数据510不同于世界空间数据504，提示云到边缘基础设施100内的服务器的处理器在期望的位置中创建化身316的复制，在图5B中被描绘为化身复制生成512。在这些实施例中，用户化身316可以在化身复制514中包括的期望的位置中具有(期望的)虚拟空间数据516。用户化身复制514可以由物理上位于该位置的现实用户或由其它虚拟用户查看，并且可以彼此进行交互。用户化身复制514也可以与该位置中的虚拟对象进行交互，包括真正位于该位置的对象或物理上不存在的纯虚拟对象。原始用户化身316也可以在他的现实位置中以例如不可用状态在融合或虚拟现实中被查看，或者对于该位置中的其它用户306可以是完全不可见的。
图6描绘了根据实施例的显示期望的位置中的化身的子宇宙的网络600的空间图。
图6示出了两个子宇宙200，1和2，其中，子宇宙1包括两个流202，流1和2，并且其中，子宇宙2包括另外两个流202，流3和4。用户化身316可以位于现实世界中的特定位置中，该特定位置包括子宇宙1、流1中的世界空间数据，该世界空间数据被发送到持久性虚拟世界系统，在图6中被查看为(世界)虚拟空间数据506。
同时，同一用户化身316可以将子宇宙1、流1中的期望的位置输入到持久性虚拟世界系统中，该期望的位置可以生成具有(期望的)虚拟空间数据516的化身复制514，该(期望的)虚拟空间数据516可以由子宇宙2、流3中的现实或虚拟用户查看。可以在子宇宙1、流1中以例如“不可用”状态在融合现实或在虚拟现实中查看化身316，意味着用户不能与原始位置中的其它用户或对象进行交互。
图7描绘了根据实施例的可以在融合现实系统中使用的连接的设备的操作组件图700。
设备702可以包括操作组件，诸如输入/输出(I/O)模块704；电源706；存储器708；形成跟踪模块714的感测机构710和收发器712；以及网络接口716，它们全部可操作地被连接到处理器718。
I/O模块704被实施为计算硬件和软件，该计算硬件和软件被配置为与用户进行交互，并且向一个或多个其它系统组件提供用户输入数据。例如，I/O模块704可以被配置为与用户进行交互，基于该交互生成用户输入数据，并且在用户输入数据经由网络被传送到其它处理系统(诸如到服务器)之前，向处理器718提供用户输入数据。在另一示例中，I/O模块704被实施为被配置为与其它连接的元素进行交互的外部计算指示设备(例如，触摸屏、鼠标、3D控件、操纵杆、游戏手柄等)和/或文本输入设备(例如，键盘、听写工具等)。在其它实施例中，I/O模块704可以提供与上面描述的功能附加、较少或不同的功能。
电源706被实施为被配置为向设备702提供电力的计算硬件和软件。在一个实施例中，电源706可以是电池。电源706可以被内置到设备中或者可以从设备中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，可以通过使用另一电源706替换一个电源706来对设备重新供电。在另一实施例中，电源706可以由被附接到充电源的电缆，诸如被附接到个人计算机的通用串行总线(“USB”)火线、以太网、雷电接口或耳机电缆来再充电。在又一实施例中，电源706可以由感应充电来再充电，其中，当感应充电器和电源706非常接近但是不需要经由电缆彼此插入时，使用电磁场将能量从感应充电器传送到电源706。在另一实施例中，扩展坞可以用于促进充电。
存储器708可以被实施为适于存储应用程序指令并且存储由感测机构710捕获的多源数据的计算硬件和软件。存储器708可以是能够存储由处理器718可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，诸如硬盘驱动器、存储卡、闪存驱动器、ROM、RAM、DVD或其它光盘，以及其它可写和只读存储器。除了持久性存储之外，存储器708还可以包括临时性存储。
感测机构710可以被实施为适于从现实世界获得数据并且确定/跟踪设备702的位置和朝向、因此确定/跟踪设备702可以被链接到的一个或多个现实世界元素的位置和朝向的计算硬件和软件。感测机构710可以包括但是不限于一个或多个，包括一个或多个温度传感器、接近传感器、惯性传感器、红外传感器、污染传感器(例如，气体传感器)、压力传感器、光传感器、超声波传感器、烟雾传感器、触摸传感器、色度传感器、湿度传感器、水传感器、电传感器或其组合。特别地，感测机构710包括一个或多个惯性测量单元(IMU)、加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告设备702的速度、加速度、角动量、平移速度、旋转速度以及其它遥测元数据。IMU内和/或与IMU分离配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球的重力场引起的加速度。在一个实施例中，加速度计包括能够测量三个正交方向上的加速度的三轴加速度计。
收发器712可以被实施为被配置为使得设备能够从天线接收无线电波并且将数据发送回天线的计算硬件和软件。在一些实施例中，可以采用mmW收发器712，该mmW收发器712可以被配置为从天线接收mmW波信号，并且在与沉浸式内容进行交互时将数据发送回天线。收发器712可以是双向通信收发器712。
根据实施例，收发器712使得能够经由被连接到网络的基于分布式账本的通信流水线在计算设备之间进行直接通信。基于分布式账本的通信流水线可以通过使用密码学、采用密码“密钥”和密码签名而允许以安全和精确的方式存储信息，使得能够通过去中心化网络在设备702之间进行直接通信。可能需要设备702之间的直接通信并且因此被服务器旁路处理的情况可能包括紧急情况，其中，可能需要在非常短的时间段内作出决定。例如，在两辆车辆可能即将碰撞的自主驾驶情况下，可能期望使得两辆车辆之间能够进行直接通信，以生成可以防止碰撞的更快的响应。在其它实施例中，也可以在服务器和设备702之间利用分布式账本，其中，服务器可以在将数据分发到每个设备702之前获得权限以验证数据。在进一步的实施例中，分布式账本可以使用更靠近服务器、更靠近天线或两者的设备，诸如通过使用图1中描绘的云到边缘基础设施100中的一个或多个设备，以便将这些设备702分配为中央结构来验证和分发数据。
在实施例中，可以通过将IMU、加速度计和陀螺仪的能力与由收发器712提供的位置跟踪进行组合来实施跟踪模块714，并且由基于mmW的天线提供的精确跟踪、低延迟和高QOS功能可以实现亚厘米或亚毫米的位置和朝向跟踪，这可以在跟踪设备702的实时位置和朝向时增加精度。在替代实施例中，感测机构710和收发器712可以一起被耦合在单个跟踪模块设备中。
网络接口716可以被实施为通信地连接到网络、从网络接收由服务器或由其它设备发送的计算机可读程序指令、并且转发指令以用于存储在存储器708中以用于由处理器718执行的计算软件和硬件。
处理器718可以被实施为被配置为接收和处理指令的计算硬件和软件。例如，处理器718可以被配置为提供成像请求，接收成像数据，将成像数据处理为环境或其它数据，处理用户输入数据和/或成像数据以生成用户交互数据，进行基于边缘(设备上)的机器学习训练和推理，提供服务器请求，接收服务器响应，和/或向一个或多个其它系统组件提供用户交互数据、环境数据和内容对象数据。例如，处理器718可以从I/O模块704接收用户输入数据，并且可以分别实施被存储在存储器708中的应用程序。在其它示例中，处理器718可以从感测机构710接收从现实世界捕获的多源数据，或者可以通过跟踪模块714接收设备702的精确的位置和朝向，并且可以在向服务器发送数据用于进一步处理之前准备一些数据。
图8描绘了根据实施例的实施融合现实系统的方法800。
实施融合现实系统的方法800开始于框802和804，将现实世界映射到虚拟世界，生成现实世界的虚拟副本。方法前进到框806，添加虚拟副本的模型和数据，如参考图3和4描述的，这可以经由被包括在持久性虚拟世界系统中的多个引擎或持久性虚拟世界系统外部的平台来完成。
方法800继续到框808，经由多个感测机构将虚拟副本连接到对应的现实元素，以便使用来自现实世界元素的数据来充实和同步虚拟副本，然后继续到框810，融合现实和虚拟数据。如框812中示出的，融合现实和虚拟数据可以使得能够融合现实并且进一步使用虚拟数据来增强现实世界，在终止器814中结束处理。
在当前公开中，融合现实和虚拟数据指的是在持久性虚拟世界系统中将现实数据与虚拟数据同步。通过融合现实和虚拟数据，现实世界中的任何事件被实时反映在虚拟世界中，并且导致虚拟世界中发生事件的任何计算被反映在现实世界中。
使用虚拟数据来增强现实数据指的是经由在持久性虚拟世界系统中进行的计算，诸如通过实施虚拟传感器和无线电力传输，向现实世界对象提供更多能力。在另一示例中，可以由通过持久性虚拟世界系统中的计算来优化现实世界对象，来进行使用虚拟数据来增强现实数据的操作。使用虚拟世界数据来增强现实世界的其它示例可以包括，以增强现实向用户提供媒体流，该媒体流包括可以对现实世界的特定场景进行动画化的纯虚拟对象、现实对象的虚拟副本或其组合。在当前公开的其它示例中，飞机或无人机的飞行路径可以由虚拟隧道(例如，表示悬挂在空中的隧道的纯虚拟对象)定义，使得飞机或无人机遵循指定的路线，防止与其它飞行器碰撞。
图9描绘了根据实施例的在一个或多个不同的位置中生成化身的一个或多个复制的方法900，可以使得化身能够同时在多于一个的位置中。例如，现实世界中的当前位置(被称为用户的现实位置)中的用户可以选择具体的虚拟位置中的实体、活动等进行交互，该具体的虚拟位置可以被描述为期望的位置。用户的现实位置以现实空间数据来表示，并且映射到持久性虚拟世界系统中的对应的位置。期望的位置以虚拟空间数据来表示，并且也映射到持久性虚拟世界系统中的对应的位置。如果现实空间数据和虚拟空间数据不一致，则对应的位置不同，并且可以在期望的位置处添加用户的化身的复制。这可以允许用户的化身看上去从一个虚拟位置传送到另一个虚拟位置，或者同时出现在多个位置中。在该情境中，如果现实空间数据表示与期望的位置相同或在期望的位置的阈值距离内的现实位置，则认为现实空间数据和虚拟空间数据一致。特定的阈值距离可以基于用户偏好、系统设计或其它因素而变化。
在框808中描绘的将虚拟副本连接到现实世界元素并且将虚拟副本与现实世界元素同步之后，方法900开始。方法900前进到框902和904，获得现实空间数据(表示例如用户的现实位置)和虚拟空间数据(表示例如期望的位置)，然后如框906中示出的，检查现实和虚拟空间数据是否一致。在否定情况下，其中，现实和虚拟空间数据不一致，方法900前进到框908，在期望的位置中创建用户化身的复制，用户化身的复制包括用户化身的原始数据和模型，使得用户化身的复制能够与期望的位置中的其它现实或虚拟用户和对象进行交互。在肯定情况下，其中，现实和虚拟空间数据一致，方法900继续到框910，融合现实和虚拟空间数据，如框912中示出的，最后使用虚拟空间数据来增强现实空间数据。
虽然已经在附图中描述和示出了某些实施例，但是应该理解的是，这种实施例仅仅是说明性的，而不是对宽泛的发明的限制，并且本发明不限于示出和描述的特定构造和布置，因为本领域普通技术人员可以想到各种其它修改。因此，本说明书被认为是说明性的而不是限制性的。

Claims (20)

1.一种融合现实系统，其特征在于，包括：
至少一个服务器，至少一个所述服务器包括至少一个处理器和存储器，所述存储器包括存储持久性虚拟世界系统的数据存储，所述持久性虚拟世界系统包括现实世界元素的一个或多个虚拟副本，所述虚拟副本包括虚拟数据并且具有自计算能力和自主行为；以及
多个连接的设备，多个所述连接的设备通过网络进行通信并且包括感测机构，所述感测机构被配置为从现实世界元素捕获现实世界数据作为多源数据；
其中，所述现实世界数据被发送到被存储在所述服务器中的所述持久性虚拟世界系统，以充实所述虚拟副本并且将所述虚拟副本与对应的现实世界元素同步，并且其中，至少一个所述服务器将所述现实世界数据和所述虚拟数据融合到所述持久性虚拟世界系统中，以便使用所述虚拟数据来增强所述现实世界数据。
2.根据权利要求1所述的系统，其特征在于，所述虚拟副本包括通过多个软件平台和软件引擎输入的逻辑和模型，并且其中，多个所述软件平台包括物联网平台、机器学习平台、大数据平台、模拟平台或空间数据流平台或其组合，并且其中，多个所述软件引擎包括人工智能引擎、模拟引擎、3D引擎或触觉引擎或其组合。
3.根据权利要求2所述的系统，其特征在于，所述模型包括3D模型、动态模型、几何模型或机器学习模型中的一个或多个或其组合。
4.根据权利要求3所述的系统，其特征在于，所述3D模型包括表示至少一个3D对象的3D数据结构，所述3D数据结构包括四叉树、BSP树、稀疏体素八叉树、3D阵列、kD树、点云、线框、边界表示(B-Rep)、构造实体几何树(CSG树)、二叉树或六边形结构或其组合。
5.根据权利要求3所述的系统，其特征在于，所述机器学习模型基于已经被用作训练数据的实际或模拟数据，采用机器学习算法。
6.根据权利要求2所述的系统，其特征在于，所述模型考虑由特定场景计算所需的细节水平，其中，根据所述虚拟副本与查看者的距离、对象重要性、相对于视点的速度或位置、单独查看者的分类或其组合，所述细节水平调整模型表示的复杂性。
7.根据权利要求6所述的系统，其特征在于，所述单独查看者的分类包括人工智能查看者或人类查看者，并且其中，根据人工智能查看者或人类查看者的子分类来进一步调整所述细节水平。
8.根据权利要求1所述的系统，其特征在于，所述现实世界数据包括现实空间数据，并且所述虚拟数据包括虚拟空间数据，并且其中，由至少一个所述服务器组合所述现实空间数据和所述虚拟空间数据，使得能够使用所述虚拟空间数据来增强所述现实空间数据。
9.根据权利要求8所述的系统，其特征在于，所述虚拟空间数据表示由用户经由用户设备输入的期望的位置，所述期望的位置与所述用户的现实位置不同，提示所述处理器在所述期望的位置中创建所述用户的化身的复制。
10.根据权利要求1所述的系统，其特征在于，连接的虚拟副本创建虚拟副本网络。
11.根据权利要求10所述的系统，其特征在于，每个连接的所述虚拟副本被包括在一个或多个流中，一个或多个所述流表示被配置为从对应的虚拟副本获得数据的特定目标的模拟。
12.根据权利要求11所述的系统，其特征在于，一个或多个所述流形成子宇宙，所述子宇宙表示持久性虚拟世界系统的定义的虚拟化空间。
13.根据权利要求1所述的系统，其特征在于，所述系统采用云到边缘分布式计算基础设施。
14.一种生成融合现实系统的方法，其特征在于，所述方法包括：
通过生成现实世界对象的虚拟副本，将所述现实世界对象映射到虚拟世界中；
将与所述现实世界对象有关的模型和现实世界数据添加到所述虚拟副本，从而向所述虚拟副本提供自计算能力和自主行为；
融合所述现实世界数据和虚拟数据；以及
使用所述虚拟数据来增强所述现实世界数据。
15.根据权利要求14所述的方法，其特征在于，进一步包括：
获得现实空间数据和虚拟空间数据；
检查所述现实空间数据和所述虚拟空间数据是否一致；
在所述现实空间数据和所述虚拟空间数据不一致的情况下，在期望的位置中创建用户化身的复制；
在所述现实空间数据和所述虚拟空间数据一致的情况下，融合所述现实空间数据和所述虚拟空间数据；以及
使用所述虚拟空间数据来增强所述现实空间数据。
16.根据权利要求14所述的方法，其特征在于，进一步包括，将所述虚拟副本彼此连接以创建虚拟副本网络。
17.根据权利要求16所述的方法，其特征在于，每个连接的所述虚拟副本被包括在一个或多个流中，一个或多个所述流表示被配置为从对应的虚拟副本获得数据的特定目标的模拟。
18.根据权利要求17所述的方法，其特征在于，一个或多个所述流形成子宇宙，所述子宇宙表示持久性虚拟世界系统的定义的虚拟化空间。
19.一种或多种其上存储有指令的非暂时性计算机可读介质，其特征在于，所述指令被配置为使包括存储器和至少一个处理器的计算机系统进行以下步骤：
通过在虚拟世界中生成现实世界对象的虚拟副本，将所述现实世界对象映射到虚拟世界中；
将与所述现实世界对象有关的模型和现实世界数据添加到所述虚拟副本，从而向所述虚拟副本提供自计算能力和自主行为；
融合所述现实世界数据和虚拟数据；以及
使用所述虚拟数据来增强所述现实世界数据。
20.根据权利要求19所述的计算机可读介质，其特征在于，进一步包括：
获得与现实位置对应的现实空间数据和与所述虚拟世界中的期望的位置对应的虚拟空间数据；
检查所述现实空间数据和所述虚拟空间数据是否一致；
在所述现实空间数据和所述虚拟空间数据不一致的情况下，在所述期望的位置中创建用户化身的复制；
在所述现实空间数据和所述虚拟空间数据一致的情况下，融合所述现实空间数据和所述虚拟空间数据；以及
使用所述虚拟空间数据来增强所述现实空间数据。
CN202010546692.5A 2019-06-18 2020-06-16 融合现实系统和方法 Pending CN112102499A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962863171P 2019-06-18 2019-06-18
US62/863,171 2019-06-18

Publications (1)

Publication Number Publication Date
CN112102499A true CN112102499A (zh) 2020-12-18

Family

ID=71108438

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202010546692.5A Pending CN112102499A (zh) 2019-06-18 2020-06-16 融合现实系统和方法
CN202010547257.4A Pending CN112100284A (zh) 2019-06-18 2020-06-16 通过虚拟孪生现实与现实世界物品及对应数据库交互
CN202310290391.4A Pending CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010558708.4A Active CN112104593B (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010559497.6A Pending CN112102501A (zh) 2019-06-18 2020-06-18 虚拟空间的融合现实空间流
CN202010558725.8A Active CN112102500B (zh) 2019-06-18 2020-06-18 通过融合现实的虚拟存在系统和方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
CN202010547257.4A Pending CN112100284A (zh) 2019-06-18 2020-06-16 通过虚拟孪生现实与现实世界物品及对应数据库交互
CN202310290391.4A Pending CN116319926A (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010558708.4A Active CN112104593B (zh) 2019-06-18 2020-06-18 融合现实现场事件管理系统和方法
CN202010559497.6A Pending CN112102501A (zh) 2019-06-18 2020-06-18 虚拟空间的融合现实空间流
CN202010558725.8A Active CN112102500B (zh) 2019-06-18 2020-06-18 通过融合现实的虚拟存在系统和方法

Country Status (3)

Country Link
US (6) US11665317B2 (zh)
EP (5) EP3754468A1 (zh)
CN (6) CN112102499A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113332726A (zh) * 2021-06-11 2021-09-03 网易（杭州）网络有限公司 虚拟角色的处理方法、装置、电子设备和存储介质
CN113771691A (zh) * 2021-11-09 2021-12-10 北京航空航天大学 基于赛博物理系统的全生命周期动力电池管理装置及方法
CN114697302A (zh) * 2020-12-31 2022-07-01 伊姆西Ip控股有限责任公司 用于分发虚拟视觉内容的方法
CN116127783A (zh) * 2023-03-24 2023-05-16 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界生成系统
CN116342842A (zh) * 2023-03-24 2023-06-27 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界的数据传输系统

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10315113B2 (en) 2015-05-14 2019-06-11 Activision Publishing, Inc. System and method for simulating gameplay of nonplayer characters distributed across networked end user devices
US10864443B2 (en) 2017-12-22 2020-12-15 Activision Publishing, Inc. Video game content aggregation, normalization, and publication systems and methods
EP3847530B1 (en) * 2018-09-04 2023-12-27 Apple Inc. Display device sharing and interactivity in simulated reality (sr)
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11679330B2 (en) * 2018-12-18 2023-06-20 Activision Publishing, Inc. Systems and methods for generating improved non-player characters
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue
US11100717B2 (en) * 2019-10-25 2021-08-24 7-Eleven, Inc. System and method for presenting a virtual store shelf that emulates a physical store shelf
US11798065B2 (en) * 2019-10-25 2023-10-24 7-Eleven, Inc. Tool for generating a virtual store that emulates a physical store
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11712627B2 (en) 2019-11-08 2023-08-01 Activision Publishing, Inc. System and method for providing conditional access to virtual gaming items
US11537386B2 (en) * 2020-04-06 2022-12-27 Johnson Controls Tyco IP Holdings LLP Building system with dynamic configuration of network resources for 5G networks
US11153084B1 (en) * 2020-06-22 2021-10-19 Piamond Corp. System for certificating and synchronizing virtual world and physical world
US11507424B2 (en) * 2020-07-15 2022-11-22 At&T Intellectual Property I, L.P. Optimization of resource usage in cross-reality sessions
US11556961B2 (en) * 2020-07-23 2023-01-17 At&T Intellectual Property I, L.P. Techniques for real-time object creation in extended reality environments
US11351459B2 (en) 2020-08-18 2022-06-07 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values
US11524234B2 (en) 2020-08-18 2022-12-13 Activision Publishing, Inc. Multiplayer video games with virtual characters having dynamically modified fields of view
US11966959B2 (en) * 2020-09-23 2024-04-23 International Business Machines Corporation Subscription of marketplace content based on search queries
US20220134222A1 (en) * 2020-11-03 2022-05-05 Nvidia Corporation Delta propagation in cloud-centric platforms for collaboration and connectivity
US20220156797A1 (en) * 2020-11-17 2022-05-19 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing personalized immersive content in extended reality (xr) environments
CN112632778B (zh) * 2020-12-22 2023-07-18 达闼机器人股份有限公司 数字孪生模型的运行方法、装置和电子设备
IT202100001610A1 (it) * 2021-01-27 2022-07-27 Sentric S R L Metodo di interfaccia virtuale per l’acquisto di prodotti
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US20220295040A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system with remote presentation including 3d graphics extending beyond frame
US20220295139A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US20230040573A1 (en) * 2021-03-24 2023-02-09 AbdurRahman Bin Shahzad Bhatti Data systems for wearable augmented reality apparatus
JP7049013B1 (ja) 2021-03-24 2022-04-06 株式会社Synamon オブジェクト管理システム
CN113176826B (zh) * 2021-05-10 2022-03-11 中通服慧展科技有限公司 一种基于云计算的虚拟展会展览系统及其方法
IT202100012542A1 (it) * 2021-05-14 2022-11-14 Popup Srl Sistema fisico-digitale per l’organizzazione e la gestione di eventi in tempo reale
CN113259480B (zh) * 2021-06-18 2021-09-24 合安科技技术有限公司 基于配置孪生同步方法、物联网系统和设备及存储介质
CN113297683A (zh) * 2021-06-30 2021-08-24 河北达尔电子科技有限公司 一种基于vr技术的汽车维修教学方法
WO2023287969A1 (en) * 2021-07-14 2023-01-19 Strong Force TX Portfolio 2018, LLC Systems and methods with integrated gaming engines and smart contracts
CN113448444A (zh) * 2021-07-18 2021-09-28 广州智会云科技发展有限公司 一种基于数字孪生技术的云端企业生态圈系统
CN113628006A (zh) * 2021-08-02 2021-11-09 韵拉信息科技(上海)有限公司 智慧店铺溯源互动购物应用平台
CN113630593A (zh) * 2021-08-17 2021-11-09 宁波未知数字信息技术有限公司 一种多模态高精度全空间混合定位系统
US11868122B2 (en) * 2021-09-10 2024-01-09 Rockwell Automation Technologies, Inc. Digital twin outcome-driven orchestration
CN113965609B (zh) * 2021-09-13 2024-04-26 武汉灏存科技有限公司 群控式交互系统及方法
FR3128046A1 (fr) * 2021-10-07 2023-04-14 Key4Events Système de contrôle d’un événement numérique hybride et procédé associé
CN114089829B (zh) * 2021-10-13 2023-03-21 深圳中青宝互动网络股份有限公司 一种虚拟现实的元宇宙系统
US20230138434A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Extraction of user representation from video stream to a virtual environment
US20230136597A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Ingesting 3d objects from a virtual environment for 2d data representation
US20230177416A1 (en) * 2021-12-02 2023-06-08 At&T Intellectual Property I, L.P. Participant attendance management at events including virtual reality events
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) * 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023166524A1 (en) * 2022-03-01 2023-09-07 Flying Flamingos India Pvt Ltd Method and system for enabling users to experience an extended reality-based social multiverse
US20230350363A1 (en) 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. System and method of energy supply chain management and optimization through an energy virtual twin
US20230347923A1 (en) * 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. Location-based autonomous navigation using a virtual world system
TWI802394B (zh) * 2022-05-04 2023-05-11 南亞塑膠工業股份有限公司 雲端數位商展系統
US20230367444A1 (en) * 2022-05-10 2023-11-16 Tmrw Foundation Ip S. À R.L. Layer-partitioned virtual world system
CN114979029B (zh) * 2022-05-16 2023-11-24 百果园技术(新加坡)有限公司 一种虚拟机器人的控制方法、装置、设备及存储介质
CN115049785A (zh) * 2022-06-09 2022-09-13 友福同享(深圳)智能科技有限公司 一种企业信息交互方法、装置、设备及可读存储介质
US11893150B2 (en) 2022-06-28 2024-02-06 Bank Of America Corporation Systems and methods for multi-point validation in communication network with associated virtual reality application layer
WO2024013707A1 (en) * 2022-07-15 2024-01-18 Jmc Group S.R.L. A Socio Unico Improved system for playing extended reality (xr) with immersive experience in the consumer and professional spheres
CN115695841B (zh) * 2023-01-05 2023-03-10 威图瑞(北京)科技有限公司 一种在外置式虚拟场景中嵌入在线直播的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133638A1 (en) * 2010-11-29 2012-05-31 Verizon Patent And Licensing Inc. Virtual event viewing
CN107735747A (zh) * 2015-07-08 2018-02-23 索尼公司 信息处理设备、显示装置、信息处理方法及程序

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883817A (en) 1996-07-08 1999-03-16 Trimble Navigation Limited Method and apparatus for precise positioning of large structures
US5956039A (en) 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
EP1087323A1 (en) 1999-09-24 2001-03-28 Nokia Corporation A wireless system for interacting with a virtual space
US6556206B1 (en) * 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20060122917A1 (en) 2000-08-14 2006-06-08 Urbanpixel Inc Real-time collaborative commerce in a multiple browser environment
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
EP1366451A4 (en) 2001-02-07 2007-05-23 Universal City Studios Inc RESERVATION SYSTEM AND METHOD FOR LEISURE PARKS
US20030030658A1 (en) 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US8909729B2 (en) 2001-11-20 2014-12-09 Portulim Foundation Llc System and method for sharing digital media content
WO2004018158A2 (en) 2002-08-21 2004-03-04 Neal Solomon Organizing groups of self-configurable mobile robotic agents
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
CN100484726C (zh) 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
RU2006131759A (ru) * 2006-09-04 2008-03-10 Николай Иванович Пальченко (RU) Способ и система моделирования, представления и функционирования единого виртуального пространства как единой инфраструктуры для осуществления реальной и виртуальной хозяйственной и иной деятельности человечества
HUP0600879A2 (en) 2006-11-28 2008-06-30 Adam Dalnoki System and method for moving real objects through operations performed in a virtual environment
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US9111285B2 (en) 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
US20100131947A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
DE102009039834A1 (de) 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US8660670B2 (en) 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
CN102120325B (zh) 2010-01-08 2012-12-12 哈尔滨理工大学 新型遥操作远端机器人控制平台及方法
US9143729B2 (en) * 2010-05-12 2015-09-22 Blue Jeans Networks, Inc. Systems and methods for real-time virtual-reality immersive multimedia communications
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
WO2012118507A1 (en) 2011-03-03 2012-09-07 Research In Motion Limited Methods and apparatus to generate virtual-world environments
CA2845730A1 (en) 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
ES2656868T3 (es) 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
WO2013104820A1 (en) 2012-01-09 2013-07-18 Nokia Corporation Method and apparatus for providing an architecture for delivering mixed reality content
US10970934B2 (en) * 2012-10-23 2021-04-06 Roam Holdings, LLC Integrated operating environment
US9281727B1 (en) 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US20140214504A1 (en) * 2013-01-31 2014-07-31 Sony Corporation Virtual meeting lobby for waiting for online event
KR102516124B1 (ko) * 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US10225506B2 (en) 2014-08-01 2019-03-05 Sony Corporation Information processing apparatus and information processing method
US20160133230A1 (en) 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
JP2016110245A (ja) 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
JP6676286B2 (ja) 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
WO2016187477A1 (en) 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10399225B2 (en) 2015-07-08 2019-09-03 Stephen Favis Biomimetic humanoid robotic model, control system, and simulation process
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
FR3041804B1 (fr) 2015-09-24 2021-11-12 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
WO2017141391A1 (ja) 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
US20170250930A1 (en) * 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20170286572A1 (en) 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
US20170289202A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Interactive online music experience
WO2017218384A1 (en) 2016-06-13 2017-12-21 Wal-Mart Stores, Inc. Virtual reality shopping systems and methods
WO2018026959A1 (en) 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US20180047093A1 (en) 2016-08-09 2018-02-15 Wal-Mart Stores, Inc. Self-service virtual store system
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
WO2018039437A1 (en) 2016-08-24 2018-03-01 Wal-Mart Stores, Inc. Apparatus and method for providing a virtual shopping environment
JPWO2018074000A1 (ja) 2016-10-20 2019-06-24 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法
US10877470B2 (en) 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
WO2018151908A1 (en) 2017-02-16 2018-08-23 Walmart Apollo, Llc Systems and methods for a virtual reality showroom with autonomous storage and retrieval
US10967255B2 (en) 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
WO2018226621A1 (en) 2017-06-05 2018-12-13 Umajin Inc. Methods and systems for an application system
US20190065028A1 (en) 2017-08-31 2019-02-28 Jedium Inc. Agent-based platform for the development of multi-user virtual reality environments
US20190102709A1 (en) 2017-10-03 2019-04-04 Invight, Inc. Systems and methods for coordinating venue systems and messaging control
US20190102494A1 (en) 2017-10-03 2019-04-04 Endurica, LLC System for tracking incremental damage accumulation
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US20190138970A1 (en) 2017-11-07 2019-05-09 General Electric Company Contextual digital twin
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
US10565764B2 (en) 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
US10198871B1 (en) * 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US11307968B2 (en) 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
KR102275520B1 (ko) * 2018-05-24 2021-07-12 티엠알더블유 파운데이션 아이피 앤드 홀딩 에스에이알엘 현실 세계를 대표하는 실시간 3d 가상 세계 내에서 실시간 3d 가상 객체의 양방향 실시간 대화형 오퍼레이션
US11403822B2 (en) 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US10921878B2 (en) 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US20200210137A1 (en) 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133638A1 (en) * 2010-11-29 2012-05-31 Verizon Patent And Licensing Inc. Virtual event viewing
CN107735747A (zh) * 2015-07-08 2018-02-23 索尼公司 信息处理设备、显示装置、信息处理方法及程序
US20180173309A1 (en) * 2015-07-08 2018-06-21 Sony Corporation Information processing apparatus, display device, information processing method, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697302A (zh) * 2020-12-31 2022-07-01 伊姆西Ip控股有限责任公司 用于分发虚拟视觉内容的方法
CN113332726A (zh) * 2021-06-11 2021-09-03 网易（杭州）网络有限公司 虚拟角色的处理方法、装置、电子设备和存储介质
CN113771691A (zh) * 2021-11-09 2021-12-10 北京航空航天大学 基于赛博物理系统的全生命周期动力电池管理装置及方法
CN113771691B (zh) * 2021-11-09 2022-02-15 北京航空航天大学 基于赛博物理系统的全生命周期动力电池管理装置及方法
CN116127783A (zh) * 2023-03-24 2023-05-16 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界生成系统
CN116342842A (zh) * 2023-03-24 2023-06-27 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界的数据传输系统
CN116342842B (zh) * 2023-03-24 2024-01-23 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界的数据传输系统
CN116127783B (zh) * 2023-03-24 2024-01-23 摩尔线程智能科技(北京)有限责任公司 一种虚拟世界生成系统

Also Published As

Publication number Publication date
CN112104593B (zh) 2023-04-14
US20200402293A1 (en) 2020-12-24
CN112102500B (zh) 2024-03-29
US20200404217A1 (en) 2020-12-24
EP3754614A1 (en) 2020-12-23
US11202036B2 (en) 2021-12-14
EP3754464A1 (en) 2020-12-23
CN112102501A (zh) 2020-12-18
EP3754468A1 (en) 2020-12-23
US11196964B2 (en) 2021-12-07
US11202037B2 (en) 2021-12-14
EP3754463A1 (en) 2020-12-23
US11665317B2 (en) 2023-05-30
US11245872B2 (en) 2022-02-08
US20230283749A1 (en) 2023-09-07
US20200401576A1 (en) 2020-12-24
CN112104593A (zh) 2020-12-18
CN112102500A (zh) 2020-12-18
CN112100284A (zh) 2020-12-18
EP3754467A1 (en) 2020-12-23
US20200402315A1 (en) 2020-12-24
CN116319926A (zh) 2023-06-23
US20200404218A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
US11202036B2 (en) Merged reality system and method
JP6944098B2 (ja) 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US11798119B2 (en) Multi-dimensional 3D engine computing and virtualization-based dynamic load balancing of virtual or real worlds
JP7193163B2 (ja) 協調的３ｄマップデータ融合プラットフォーム及びその仮想世界システムを可能にするシステム及び方法
US20240037844A1 (en) 3d structure engine-based computation platform
CN112102024A (zh) 提供房地产项目的数字现实体验和分散交易的系统和方法
US11270513B2 (en) System and method for attaching applications and interactions to static objects
US11546721B2 (en) Location-based application activation
CN111973979A (zh) 经由持久性虚拟世界系统对现实世界进行实况管理
US11471772B2 (en) System and method for deploying virtual replicas of real-world elements into a persistent virtual world system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 54 Montorf Road, Betangburg, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: TMRW Foundation IP & Holding S.A.R.L.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 14-16 Pasteur Avenue, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: Karan Holdings Ltd.