CN116520989A - 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 - Google Patents

在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 Download PDF

Info

Publication number
CN116520989A
CN116520989A CN202310488332.8A CN202310488332A CN116520989A CN 116520989 A CN116520989 A CN 116520989A CN 202310488332 A CN202310488332 A CN 202310488332A CN 116520989 A CN116520989 A CN 116520989A
Authority
CN
China
Prior art keywords
real
virtual
time
world
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310488332.8A
Other languages
English (en)
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karan Holdings Ltd
Original Assignee
Karan Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karan Holdings Ltd filed Critical Karan Holdings Ltd
Publication of CN116520989A publication Critical patent/CN116520989A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40168—Simulated display of remote site, driven by operator interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)

Abstract

描述了一个实现实时3D虚拟副本与现实对象之间的双向交互操作的系统与方法。该系统包括一个持续的虚拟世界系统，此系统包括一个数据结构，其中代表一个现实对象的至少一个实时3D虚拟副本，此副本被储存在服务器上并在其上进行计算；通过网络，借助在服务器上所储存以及计算的持续虚拟世界系统，至少一个相对应的现实对象连接到实时3D虚拟副本；同时，至少一个用户设备借助网络，通过在服务器上所储存以及计算的虚拟世界系统连接到现实对象。进行虚拟选择，并在随后在实时3D虚拟副本上所作的修改的影响会引起在现实对象上的一个实时对应效果。同样地，在现实对象上的一个或多个所作的修改的影响会引起在实时3D虚拟副本上的一个实时对应效果。

Description

在实时3D虚拟世界代表真实世界的范围内的实时3D虚拟对象 的双向实时3D交互操作
本申请是2019年05月23日提交的，申请号为201910434394.4，发明名称为“在实时3D虚拟世界代表真实世界的范围内的实时3D虚拟对象的双向实时3D交互操作”的专利申请的分案申请。
技术领域
本公开的范围大致与计算机系统有关，特别是与实现实时3D虚拟副本与现实对象的双向交互操作的系统与方法有关。
背景技术
目前，例如制造业，军事以及汽车等行业受益于可以实现对所涉及的不同对象进行被动与主动管理的控制技术。例如，在一个生产过程中的多个对象通常通过在工作站里的计算机来进行远程管理。最近，这些工作站已经从固定计算机升级到移动设备，这些设备提供了更加用户友好和灵活的人机界面。
然而，虽然可以从工作站看到以及管理大部分感兴趣的对象，但是与这些对象之间的交互仍然不能以一个自然的方式进行。例如，用户体验包括几个按钮，这些按钮可以使用户对对象进行操作，但是需要涉及比较多数量的控制按钮，这样就会显得繁琐。此外，对感兴趣的真实元素所发生的更改可能无法完全同步，使对进行有效监视和管理可能所需要的大多数细节包括在内。不同元素之间的合作明显地只限制在减少数量的对象中，在许多的情况下，将要求较大数量的人与人之间的交互。另外，例如增强现实以及虚拟现实等的数字现实技术为需要控制技术的应用程式提供机会，没有完全地应用在有效管理的执行方面。
因此，需要开发有关的系统和方法，与现实对象以及在其之间实现一个更加同步的通讯与交互。
发明内容
此发明内容总结的目的是要以简单的方式介绍一系列的概念，同时对这些概念进行详细的描述。本总结不旨在确认所要保护的主题的关键特征，也不旨在协助确定所要保护的主题的范围。
本公开提供了一个系统与方法，实现通过界面利用现实对象的一个精确的虚拟副本，与现实对象并在其之间实现一个自然控制以及实时的基于3D的交互，同时通过直接对现实对象的控制，实现对虚拟副本的一个同步的控制。在本公开中，术语“现实对象”是指任何可以与网络连接的，以及以物理方式进行远程控制，修改或者设置的物理对象，设备或者机器。在一些实施例中，一个现实的对象从多个资源处接收传感信息。在一些实施例中，现实对象可以通过网络在物联网排列中通讯地互相连接或者连接到其他设备，同时在此排列中，这类设备被称为物联网设备。精确的虚拟副本是指现实对象的实时3D虚拟副本，同时其可以与现实对象进行同步，包括相同或者近乎相同的物理属性以及包含通过共享的数据点的现实世界位置与方向的现实世界的坐标。例如，对实时3D虚拟副本的直接操纵有利于实时远程管理多个工业机器或者车辆。例如，对工业机器的直接操纵有利于一个过程管理员或者机器操作员要求一个实时，持续更新的模块来显示以及管理系统的所有对象。这对现实对象以及实时3D虚拟副本在这里是指虚拟孪生，虚拟现实对，或者现实虚拟对。在所公开的系统和方法中的另外的应用程序可以由通过数字现实所提供的实时3D虚拟副本实现，这样会改变用户针对现实世界的概念，例如增强现实，虚拟现实或者合并现实。本公开的系统与方法有利于在不同的复杂程度中进行操作管理，例如在一个工厂或者家，一个社区，一个城市，一个国家，甚至以上级别。本公开的另外用途与好处将在本发明内容总结以及在以下详细的说明中所使用的不同的实施例中显得更加明显。
实现现实对象以及相对应的3D实时虚拟副本的双向实时3D交互操作系统包括一个持续的虚拟世界系统，此系统包括一个数据结构，其中代表至少一个相对应的现实对象的至少一个实时3D虚拟副本，一个持续的虚拟世界系统被储存在服务器上并在其上进行计算；至少一个相对应的现实对象借助网络，通过储存在服务器并在其上计算的持续虚拟世界系统，通讯并持续地连接到至少一个实时3D虚拟副本；同时，至少一个用户设备通过网络，借助储存在服务器并在其上进行计算的持续的虚拟世界系统，通讯并持续地连接到一个或以上的现实对象。通过多个传感机制，至少一个实时3D虚拟副本与至少一个相对应的现实对象进行同步，提供多个在至少一个现实对象以及至少一个实时3D虚拟副本之间可以共享的数据点。另外，至少一个实时3D虚拟副本的虚拟物理属性以及虚拟世界坐标回应所对应的一个或以上的现实对象的物理属性与现实世界坐标。多个传感机制可以是物联网传感机制的结合，提供在虚拟现实对之间所共享的多个数据点。
在通过适合的界面，影响在至少一个实时3D虚拟副本或者相应的现实对象上的一个或以上的改变的同时，服务器可以以实时或非实时的方式，通过虚拟世界操纵现实世界管理的指令。服务器然后将那些经过处理的指令发送到相应的目标现实对象或者相应的实时3D虚拟副本。更具体一点，虚拟地选择3D虚拟副本，然后通过至少一个用户设备在相应的现实对象上所产生的实时对应效果，产生对实时3D虚拟副本上的一个或以上的改变。同样地，在现实对象上的一个或以上的改变会导致在实时3D虚拟副本上的实时相应的效果。
根据本公开的一个方面，对现实对象以及实时3D虚拟副本的操纵的方向是双向的，例如，数据与指令的生成是用户与至少一个实时3D虚拟副本交互的结果，以便控制相应的现实对象，或者是对象操作员与至少一个现实对象的交互而在相应的实时3D虚拟副本上产生直接影响的结果。然而，在需要现实对象之间进行协作的情况下，例如控制以及管理无人机，无人驾驶汽车，机器人，城市里的建筑物(例如用于互相通讯的虚拟建筑物管理员)，机器以及计算机视觉应用程序，个人助理，视频游戏等，交互可以在实时3D虚拟副本本身之间产生，作为人工智能，小组分析，模拟以及情境计算的结果。根据一个实施例，操纵至少一个实时3D虚拟副本或者相应的至少一个现实对象会产生情境数据上的改变，影响虚拟现实对，其中在情境数据里的改变会影响实时与至少一个实时对象相对应的3D虚拟副本之间的关系。在本公开中所使用的术语“情境”或者“情境数据”是指与实时3D虚拟副本的直接或间接环境相关的数据，以及其相应的现实对象，包括现实对象所在的环境中的其他对象。在本公开中，情境会进一步划分为微观情境以及宏观情境。
微观情境是指直接围绕在现实对象所附加的情境，例如任何的人，对象或者直接影响现实世界元素的条件。微观情境可以包括直接包围以及影响一个现实对象的环境中例如3D图像数据，3D几何，3D主体，3D传感数据，3D动态对象，视频数据，音频数据，文本数据，时间数据，元数据，优先级数据，安全数据，位置数据，光数据，温度数据，以及服务质量等的数据。宏观情境是指现实对象的间接或离其较远的情境环境。宏观情境可以从多个微观情境由服务器衍生出来，产生更全面的系统信息，例如一个工厂目前的效率，空气质量，气候改变程度，公司效率，交通程度，城市效率，国家效率等。宏观情境会根据特定的机器学习功能以及目标，包括本地水平(例如办公室或者工厂)，社区水平，城市水平，国家水平，或者甚至星球水平，进行考虑与计算。因此，根据特定的机器学习功能与目标，相同的现实世界元素数据以及微观情境数据可以衍生出不同类别的宏观情境。
在一些实施例中，网络可以是一个蜂窝网络，同时应用多种技术，包括全球演进(EDGE)，通用分组无线业务(GPRS)，全球移动通信系统(GSM)，互联网协议多媒体子系统(IMS)，通用移动电信系统(UMTS)等，以及任何其它适用的无线媒体，例如微波接入(WiMAX)，长期演进(LTE)网络，码分多址(CDMA)，宽带码分多址(WCDMA)，无线保真(WiFi)，卫星，移动ad-hoc网络(MANET)等。
根据一个实施例，网络可以包括设置用于传送以及接收无线电波的天线，实现现实对象之间以及与服务器的移动通讯。天线以有线或者无线的方式连接到计算中心。在另外的实施例中，在计算中心范围内以及/或者在靠近计算中心的范围内提供天线。在一些实施例中，为了服务用户设备以及/或者服务户外的现实对象，天线可以包括基于毫米波的天线系统或者基于毫米波的天线以及子6GHz天线系统的一个组合，在这里被分类为以及指5G天线。在另外的实施例中，天线可以包括其它类型的天线，例如4G天线，或者用于5G天线系统的支持天线。在天线用于服务室内，实时基于3D交互的服务器的实施例中，天线可以适用Wi-Fi，提供最好具有16GHz的数据。
在另外的实施例中，全球导航卫星系统(GNSS)可以使用在设备定位方面，GNSS在这里统称为基于卫星的导航系统，例如GPS，BDS，Glonass,QZSS,Galileo,and IRNSS等。GNSS采用来自足够数量的卫星信号和三角测量和三边测量等技术，可以计算设备的位置，速度，高度和时间。在一个优先的实施例中，外部定位系统通过现有的蜂窝通讯网络的结构，借助GNSS进行增强，现有的结构包括5G。在另外的实施例中，AGNSS追踪系统另外由4G蜂窝通讯网络支持。在室内的实施例中，GNSS另外由例如Wi-Fi的无线电无线局域网进行增强，提供具有16GHz的数据。在另外的实施例中，GNSS通过在本领域已知的其它技术进行增强，例如通过差分式全球导航系统(DGPS)，星基扩增系统，实时动态系统。在一些实施例中，通过设备中的AGNSS和惯性传感器的组合来实现设备的跟踪。
根据一个实施例，服务器可以作为硬件和软件，包括至少一个处理器和一个存储器。其中，处理器被设置，用于执行包括在与服务器所藕接的服务器里的指令，同时存储器被设置，用于储存指令与数据。例如，处理器可以被设置，用于执行人工智能算法，通过相应的实时3D虚拟副本管理至少一个现实对象，现实对象的模拟，3D结构处理，情境计算，小组分析，渲染，以及通过实时3D虚拟副本实现虚拟增强或现实对应物的虚拟补偿。在一些实施例中，处理器进一步通过在操纵指令上执行运动学计算，实现现实物体与实时3D虚拟副本的双向交互操作，目的是实现虚拟以及现实对移动的同步。在一个实施例中，由服务器处理器对操纵指令的处理是对由一个或以上的现实对象通过其自身的处理器所进行的处理的一个补充，服务于现实对象执行某些重量级任务处理。在另外的实施例中，处理器另外执行媒体内容的渲染，此内容包括传送到用户的视频以及音频流。处理器可以另外根据用户观看的位置，方向以及/或者观看角度，确定两个或以上传送到用户设备的媒体流。
存储器可以储存持续的虚拟世界系统，此系统包括现实世界的数字版本，包括现实世界坐标，例如现实世界对象的位置，方向，比例和尺寸，物理属性，以及每一个现实对象的实时3D虚拟副本的3D结构。存储器可以另外包括一个内容或者虚拟副本编辑器，设置用于创建以及编辑现实对象的实时3D虚拟副本。另外，持续虚拟世界系统另外包括由计算机产生不存在于现实世界的虚拟对象，例如完全虚拟的对象。在一些实施例中，持续虚拟世界系统由两个或以上的用户共享，即在持续虚拟世界系统范围里，两个或以上的用户可以查看一个或以上的实时3D虚拟副本中的任何变化。
在本公开中，用于区分一个系统状态的术语“持续”是指在没有持续地执行处理或网络连接的情况下，仍然存在的状态。例如，用于区分虚拟世界系统的术语“持续”是指虚拟世界系统以及其中所包括的所有实时3D虚拟副本在用于创建实时3D虚拟副本的过程结束以后仍然存在，并独立于连接到虚拟世界系统的用户。因此，虚拟世界系统保存在服务器中的非易失性存储位置上。以这种方式，即使用户没有连接到服务器，在被设置以完成特定的目标的情况下，实时3D虚拟副本之间可以交互以及协作。
在一些实施例中，储存器可以另外储存在持续虚拟世界系统里所发生的事件。储存事件可以运行例如一个突发事件检测模块来检测以及重播事件，用于进一步的审查。突发事件是指中断一般活动过程的事件。典型的活动流在一个参数范围或者参数属性内被确定。在另外的实施例中，通过执行在服务器里的基于规则的系统来识别突发事件。在另外的实施例中，通过执行在服务器里的机器学习算法来识别突发事件。
存储器可以是能够存储任何合适类型的处理器可获取的信息，包括计算机可读介质，或存储可借助于电子设备读取的数据的其他介质，例如硬盘，储存器卡，闪存驱动器，ROM，RAM，DVD或其他光盘，以及其他可写入和只读存储器。除了持久存储之外，存储器还可以包括临时存储。指令可以由处理器直接处理(例如机器代码)或者间接处理(例如脚本)。指令可以以对象代码的格式储存，由处理器进行直接处理，或者以其它计算机语言，包括脚本或者独立的源代码模块的集合，可以根据需要进行诠释或者预先合成。数据可以由处理器根据指令进行检索，存储或修改。数据可以被存储在计算机寄存器里，在一个以具有多个字段和记录的表格的关系数据库中，XML文件，或者平面文件等。数据可以被格式化为任何计算机可读格式。处理器可以指一个单一的专属处理器，一个单一的共享处理器，或者多个个别的处理器，当中的一些可以用于共享。另外，清晰地使用术语“处理器”不应该单单限制于可以执行软件的硬件，同时隐含地包括数字信号处理器(DSP)硬件，网络处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)，微处理器，微控制器等。
根据一个实施例，储存在服务器的存储器里的虚拟副本编辑器包括被设置用于实现用户对现实对象的实时3D虚拟副本进行建模与编辑的软件与硬件。副本编辑器可以是例如计算机辅助绘图(CAD)软件应用程序，其可以存储输入和编辑虚拟副本所必需的数据和指令。副本编辑器可以输入与每一个数字副本相关的清晰的数据与指令，其中指描述形状，地点，位置以及方向，物理属性，3D结构，每一个实时3D虚拟副本所期待的功能与影响以及整体的持续虚拟世界系统的数据与指令。一般来说，清晰的数据包括未能通过传感机制所获取的数据，但是需要通过副本编辑器进行数字输入的数据，例如建筑物材料，墙身厚度，窗户位置，机器性能参数，机器传感器以及阀门位置等。“指令”在这里是指代码(例如二进制代码)，其可以通过处理器进行理解，同时其在实时3D虚拟副本上代表现实世界元素的行为。
用于使用明确的数据与指令将现实对象转化为实时3D虚拟副本并将其提供在持续的虚拟世界系统的建模技术是以现实对象的可用CAD为基础的。例如，机器所有者可以向持续虚拟世界系统的管理员或者自己输入其机器所现存的数字CAD模型。同样地，建筑物的所有者可以提供具有建筑物细节的建筑物信息模型，使其储存在服务器里的持续虚拟世界系统，其可以包括不可视的或者不容易通过传感机制获取的信息。在这些实施例中，这些现实对象的拥有者负责通过奖励系统或者根据法律要求将相应的实时3D虚拟副本假如持续的虚拟世界系统。在一些实施例中，持续虚拟世界系统的管理员，政府官员，或者其它相关的权力机构会与现实对象的拥有者共同合作，将实时3D虚拟副本输入持续的虚拟世界系统，从而在服务器中实现一个更快以及更完整的持续虚拟世界系统的创建。在另外的实施例中，在将现实对象合成在持续虚拟世界系统之前，使用例如合成孔径雷达，实孔径雷达，光探测和测距(LIDAR)，反向孔径雷达，单脉冲雷达和其他类型的成像技术等的雷达成像技术对现实对象进行映射与建模。独立于用于创建虚拟副本的建模技术，每一个虚拟副本的信息应该提供有关每一个相对应的现实世界元素的足够细节，以至于为每一个现实世界对象形成其对应的高度精确的实时3D虚拟副本。在有可能的情况下，多源传感数据可以丰富以及同步实时3D虚拟副本。因此，在一些实施例中，一个实时3D虚拟副本包括通过副本编辑器所输入的清晰的数据与指令，以及由多个物联网传感机制所输入的传感数据。
根据一个实施例，安装在现实对象以及用户设备上的多个物联网传感机制包括一个或以上的温度传感器，接近传感器，惯性传感器，红外传感器，污染传感器(例如，气体传感器)，压力传感器，光传感器，超声波传感器，烟雾传感器，触摸传感器，彩色传感器，湿度传感器，水传感器，电子传感器，或者其组合。通过提供多个与传感机制所连接的元素，从现实世界所持续捕捉的数据，储存在服务器里的持续虚拟世界系统里，同时每一个实时3D虚拟副本会不断地更新反映现实世界状况的实时多源传感数据。
根据一个实施例，附加在现实对象上或者配置在现实对象附近的传感机制可以包括具有光学传感器和惯性传感器或者其组合的动作捕捉传感器。光学追踪传感机制可以应用标记跟踪或无标记跟踪。在标记跟踪里，现实对象与标记吻合。标记可能是主动及被动的红外线的源头。主动的红外线可以通过定期或持续地发出闪光的红外线的红外线源来产生。被动的红外线是指红外线回复反射器，其可以将红外线发射回源头。设置一个或以上的摄影机来不断地寻找标记，然后服务器可以使用计算法从标记中提取现实对象以及各个部分的位置。在一个或以上的标记在摄影机视像范围以外或者暂时被阻挡的情况下，计算法也需要应对缺失的数据。在无标记的跟踪里，摄影机不断地寻找以及将现实对象的影像与储存在服务器并在其上进行计算的实时3D虚拟副本的影像进行比较。惯性追踪传感机制可以使用例如合成在一个惯性测量单位里的加速度计以及陀螺仪等设备。加速度计测量线性加速度，可以对其进行集成以找到速度，然后再次集成以找到相对于初始点的位置。陀螺仪测量角度的速度，其也可以被集成用于确定相对于初始点的角度位置。为了提高追踪多个数据点的精确性，使用结合光学以及惯性追踪传感器以及计算法的混合技术。
在另外的实施例中，使用一个或以上的收发器来接收从天线而来的通讯信号以及将其发送回天线。收发器最好是毫米波收发器。在应用5G天线的实施例中，毫米波收发器被设置，用于从天线接收毫米波信号，以及将数据发送回天线。因此，在传感器混合技术的另外一个实施例中，光学传感器，惯性传感器，以及由毫米波收发器所提供的位置追踪，以及由基于毫米波的天线所提供的精确的追踪，低延迟性以及高的QOS功能可以实现子厘米或者子毫米的位置以及方向追踪，从而在追踪现实对象的实时位置与方向的同时提高精确性。在实现此传感混合技术所需要的传感机制与软件在这里是指一个追踪模块。用户设备也可以包括一个与从一个或以上的IMU以及毫米波收发器中结合惯性追踪的追踪模块。在另外的实施例中，传感器融合可以另外接收从GNSS追踪信号而来的定位数据，以及使用毫米波信号以及惯性追踪增强此数据，目的是可以提供一个精确的位置与方向数据。在一些实施例中，使用本领域的几个已知技术来执行追踪，例如到达时间，到达角度，或者其它在本领域里所知的追踪技术(例如视觉成像，雷达技术等)。
在一些实施例中，通过与连接到服务器的传感机制并借助网络将现实对象与实时3D虚拟副本进行同步，并进一步向实时3D虚拟副本提供反馈，目的是要增强实时3D虚拟副本以及提供所对应的现实对象的进一步的物理属性。在另外的实施例中，此同步另外实现了虚拟增强功能以及向现实对象的对应方提供虚拟补充。在一些实施例中，通过虚拟资源实现虚拟增强功能以及补充，是指在服务器里可供使用的储存以及计算能力，同时可以通过虚拟机器的应用，借助网络与现实对象进行共享。在其它的实施例中，通过虚拟传感器来实现虚拟增强功能或补充，是指虚拟地使用可用的数据来补充所缺失的真实数据。虚拟传感器可以另外使用虚拟世界的3D结构，同时每一个实时3D虚拟副本代表现实世界，以至于一个现实对象可以在不需要在真实世界进行对象识别的情况下，通过实时3D虚拟的对应方来识别在现实世界的其它对象。
例如，在一个工厂机器人被设置，在将材料从一个地方运输到另外一个地方的场景中，假如一个物理视觉传感器(例如摄影机或者光学传感器)不能运作或者没有存在于机器人里，机器人可以通过应用工厂的虚拟地图来使用一个虚拟视觉传感器，此虚拟地图包含每一个项目的3D坐标以及3D结构，目的是要检测以及相应地避免不存在于持续的虚拟世界系统的对象。在医疗应用的一个例子里，一个医生会在虚拟或者增强的现实里，远程地操纵一个在手术室里真正的手术仪器所对应的实时3D虚拟副本。其他人员(例如医生，护士等)可以看到医生的虚拟头像正在进行手术，同时根据需要提供协助。为了增加精确性，摄影机可以捕捉真正的病人以及手术室，其将被集成在一个向远程医生所显示的虚拟世界版本里，以致于医生可以实时观看在手术室的状况。在另外一个实施例中，一个真实的对象会缺少计算功能或者对于某一特定任务的储存能力，因此会向服务器发送请求，服务器会向现实对象发送所需要的计算与储存功能。
在另外的例子里，现实对象是指除了以上所提及的其他物联网设备，包括监控摄像机，交通信号灯，建筑物，街道，火车轨道，家用电器或可能连接到网络的任何其他设备。
在一个实施例中，至少一个实时3D虚拟副本的用户是人类用户，人工智能用户，或者其组合。在另外的一个实施例中，对象操作员是人的对象操作员，人工智能对象操作员或者是其组合。在这些实施例中，实时3D虚拟副本另外包括虚拟机器人以及用户的虚拟化身或者对象操作员。人的虚拟头像会被设置，从而显示人类用户的现实属性，或者被配置为具有不同的视觉方面和特征。
在一些实施例中，服务器可以被设置，用于应用人工智能算法以及小组分析，目的是要同时以及自动地管理或协助管理多个实时3D虚拟副本，引起对一个或以上的现实对象所相对应的管理。例如，可以由在服务器上储存以及计算的虚拟机器人执行管理，其可能会或可能不会连接到在现实世界里的一个现实机器人。在另外一个实施例中，机器人可以被设置，用于管理一个或以上的现实对象，同时通过在服务器上储存与计算的持续虚拟世界系统，将管理或者操纵的指令实时传输到现实对象所对应的实时3D虚拟副本上。在这些实施例中，服务器会进一步设置，根据一个或以上的目标，通过使用人工智能算法实现多个实时3D虚拟副本之间的互相合作与交互。因此，虽然现实对象之间在现实世界中具有有限的通讯，但是多个实时3D虚拟副本可以在虚拟世界里密切地合作与交互，形成在现实世界里的一个相应的交互与合作。
根据一个实施例，为了通过实时3D虚拟副本来实现一个自然的界面以及增强与现实对象的体验，实时3D虚拟副本的物理属性以及现实世界的坐标被设置，使其可以对应那些现实对象。物理属性可以包括但不限制于尺寸，质地，质量，体积，折射率，硬度，颜色，压力和温度。每一个实时3D虚拟副本的数据可以以一个精确的数据结构进行排列，现实世界坐标可以包括现实对象目前的位置(例如三维坐标)以及方向数据(例如三维角度)。由于现实对象的每一个部分可以在实时3D虚拟副本里精确地表现出来，根据现实对象所设置的实时3D虚拟副本的物理属性以及其在现实世界中的坐标不仅用于增加向用户所显示的对象的真实性，同时也可以以6个自由度方便地精确控制物体。
空间数据的表现是在编制持续虚拟世界系统中的一个重要的因素，涉及计算机图形，视觉化，实体建模，以及相关的范围的渲染以及显示。用于代表持续虚拟世界系统以及每一个实时3D虚拟副本的数据结构包括，但不限制于一个或以上的八叉树，四叉树，BSP树，稀疏体素八叉树，三维阵列，kD树，点云，线框，边界表示(B-Rep)，构造实体几何树(CSG树)，双线和六边形结构。
根据一个实施例，通过实时3D虚拟副本在现实对象上所实现的一个或以上的更改，或者通过现实对象在实时3D虚拟副本上的更改，包括在虚拟现实对之间所共享的多个数据点上所作的修改。在一些实施例中，在多个数据点上的修改包括一个或以上的旋转运动，平移运动，一个或多个行为的选择，一个或多个行为的编程，一个或多个参数的配置，或其组合。修改可以直接应用在现实对象上，从而引起在实时3D虚拟副本上的一个实时真实的体验效果。同样地，修改也可以直接地应用在实时3D虚拟副本上，从而引起在现实对象上的一个实时真实的体验效果。
在一些实施例中，通过实时3D虚拟副本来操作至少一个现实对象要求对实时3D虚拟副本进行预先的虚拟拣选，由一个3D用户界面来实现，向所选的实时3D虚拟副本以及所对应的现实对象发送一系列的指令。在某些实施例中，为实现通过实时3D虚拟副本在现实对象上引起修改的虚拟选择以及操作指令可以由一个用户设备所提供的一个自然用户界面所提供。例如，一个用户可以通过NUI与实时3D虚拟副本进行交互，不需要受到强加在例如鼠标，键盘，遥控等的输入设备的人工限制而限制，例如通过语言识别，触觉识别，脸部识别，手写笔识别，空中手势(例如手姿势，以及移动，其他身体/附属部分的动作/姿势)，头部以及眼睛追踪，声音以及语言，以及与视觉，语言，声音，姿势以及/或者触觉数据相关的机器学习。在另外的实施例中，通过实时3D虚拟副本在现实对象上所作的修改的操作指令也可以通过例如鼠标，键盘，遥控等的一般的具有人工限制的用户界面提供。在任何的例子里，与实时3D虚拟副本的用户的实时基于3D交互可以通过一个或以上的用户设备提供，例如移动电话，手提电脑，移动游戏机，头戴显示器，交叉驾驶舱准直显示器，平视显示器，以及智能隐形眼镜等。另外，通过用户界面的实时基于3D的交互可以在一个或以上的增强现实，虚拟现实，混合现实，或者其组合中提供。
在一些实施例中，用户设备与现实对象是指同样的设备。例如，一辆陆地车辆是只一个可以由真实用户或者人工智能用户所操纵的现实对象。然而，车辆会包括经过增强现实的用户界面(例如在挡风玻璃或窗户上)，此界面可以允许用户与车辆进行交互，向一个自驾人工智能系统发送指令，或者通过此界面控制车辆本身，允许车充当一个用户设备。
在一个实施例中，现实的对象是指一部工厂机器，例如用于绘画，焊接，装配，包装，标签，取放(例如印刷电路板)的一个或以上的工业机器人。在另外一个实施例中，现实对象是指一辆车辆，包括飞行器(例如飞机，无人机，直升机等)，陆地车辆(例如车，摩托车，卡车等)，以及海上交通工具(例如船，货船，潜艇等)。工业机器的双向实时基于3D的交互与管理有利于在监测在工厂的任何一部分发送更改数据的同时，对多部工业机器进行实时远程管理。车辆的双向实时基于3D的交互与管理有利于政府组织在需要交通以某种方式移动的情况下，更好地控制正在运行的车辆。例如在事故或灾难发生的过程中，救护车需要经过繁忙的交通现场。
实现实时3D虚拟副本以及现实对象的双向交互操作的方法包括提供一个包括一个结构，其中代表至少一个现实对象的至少一个实时3D虚拟副本的持续虚拟世界系统；通过物联网的传感机制，将至少一个实时3D虚拟副本与所相对应的至少一个现实对象进行同步，使其将反馈信息发送到实时3D虚拟副本，增强以及更新实时3D虚拟副本模型。根据所进行的同步来增加精确性，以及向实时3D虚拟副本提供某些物理属性；通过现实对象或者用户设备接收选择指令以及/或者操作指令；处理以及执行选择指令以及/或者操作指令；同时使用至少一个经修改的实时3D虚拟副本来更新持续的虚拟世界系统以及向相对应的用户设备发送经过更新的模块。在一些实施例中，某些处理可以用于支持由现实对象在本地所进行的处理。
以上的总结没有详尽地包括本公开的所有方面。本公开预计包括所有可以通过以上所总结的所有可行的组合方式所执行的系统与方法，以及在以下详细描述中所公开的，特别是在本申请中所指出的权利要求。这些结合具有没有在以上总结中所特别指出的优点。根据附图和下面的详细描述，其他特征和优点将显而易见。
附图说明
通过参考以下结合附图的详细描述，前述方面和许多伴随的优点将变得更容易理解。
根据本公开的一个实施例，附图1A-1B描述了可以实现实时3D虚拟副本以及现实对象的双向操作系统的示意图。
根据本公开的一个实施例，附图2A-2B描述了一个系统的示意图，详细地代表现实世界与虚拟世界系统的关系；
根据本公开的一个实施例，附图3描述了一个系统的示意图，详细地代表了用户设备的多个操作组件；
根据本公开的一个实施例，附图4描述了一个系统的示意图，详细地代表了现实对象的多个操作组件；
根据本公开的一个实施例，附图5描述了一个方法的流程图，此方法通过对现实对象的直接操作，在操纵一个实时3D虚拟副本的同时，实现实时3D虚拟副本与现实对象的双向操作；
根据本公开的一个实施例，附图6描述了一个方法的流程图，此方法通过操纵一个实时3D虚拟副本，在操纵一个现实对象的同时，实现实时3D虚拟副本与现实对象的双向操作；以及
根据本公开的一个实施例，附图7描述了一个使用服务器而实现的方法流程图，详细地介绍了实时3D虚拟副本以及现实对象的双向操作。
具体实施方式
在以下的描述中，参考附图，其以举例说明的方式示出各种实施例。同时，多个实施例会参考几个例子，并在下面加以描述。在没有离开所要求保护的主题的范围的情况下，实施例包括在设计以及结构方面的改变。
根据本公开的一个实施例，附图1A-1B描述了一个可以实现实时3D虚拟副本与现实对象之间的双向操作的系统100a-b的示意图。如附图1A所示，现实对象102通信并持续地连接并完全同步到储存在服务器106上并在其上进行计算的实时3D虚拟副本104，并且经由用户接口108显示在用户设备110。现实对象102，服务器106和用户设备110经由网络112通信地连接。
如附图1A有关系统100a的实施例所示，一个用户114可以通过实时3D虚拟副本104，使用用户设备110来实现现实对象102的一个实时以及低延迟的远程虚拟选择以及操作。用户114可以是一个人类用户(例如一个远程工厂操作员或者管理员，一个远程车辆操作员，一位屋主，一个城市的管理员等)或者一个人工智能用户(例如通过人工智能算法进行调整与训练的软件与/或硬件，目的是可以自动地运行实时3D虚拟副本104，引起在实时对象102上的修改)。在选择以及影响在实时3D虚拟副本104上所作的修改的同时，用户设备110向服务器106发送选择以及操纵指令，其可以在实时处理选择以及操纵指令，并同时将指令传输到现实对象102所相应的执行器中，目的是在效应器上产生所期待的效应。效应器指任何可以影响现实对象102所处的环境的设备，例如机器人的脚，轮子，手臂或者手指。执行器是一种机制，这种机制可以使效应器执行一个行为，同时可以包括电动机，液压缸，气缸，或者其组合。例如，在一些情况中，当现实对象102由于大量的接缝而具有多个自由度的情况下，需要在现实对象102的每一个接缝处安放一个执行器，目的是要使所需的旋转和平移活动可以在每一个接缝处提供所需的自由度。经过处理的指令同时也发送到用户设备110上，用户设备110可能只需要执行需要在用户设备110上代表经过更新的实时3D虚拟副本104的轻量运作。
在附图1A里的另外一个有关系统100a的实施例中，一个对象操作员116(例如一个工业机器操作员)可以直接操纵现实对象102，实现对在服务器106上所储存以及计算的实时3D虚拟副本104进行一个实时，低延迟的远程更新。对象操作员116可以是一个人类对象操作员或者一个人工智能对象操作员。用作实现对现实对象102的一个直接操纵的用户界面可以依靠现实对象102的属性，同时也包括一个或以上的屏幕，按钮，踏板，或者其它控制机制。在现实对象102上所引起的一个或以上的改变的同时，现实对象102与服务器106实时共享指令。现实对象102同时处理以及执行指令。然后，服务器106以与由现实对象102所执行的行动一致的方式来实时处理要求对实时3D虚拟副本进行更新的操作指令。在一些实施例中，由服务器106所执行的处理是由现实对象102所执行的处理的一个补充，可以作为对处理某些重量任务的现实对象102的一个支持。服务器106可以相应地更新实时3D虚拟副本104，同时向用户设备110发送经过更新的实时3D虚拟副本104。在一些实施例中，由于大部分的重量处理是在服务器106里进行，因此用户设备110可能只需要执行需要在用户设备110上代表经过更新的实时3D虚拟副本104的轻量运作。
根据一个实施例，在生成实时3D虚拟副本104并把其储存并在服务器106上进行计算以后，实时3D虚拟副本104可以通过附属在现实对象102上，或者把其放在靠近现实对象102的位置，或者将二者结合的传感机制组合，与现实对象102进行同步。传感机制的一部分可以附属在现实对象102的效应器，接缝，连接器和实行器上。传感机制的组合可以提供多个数据点，其可以通过网络112，在现实对象102与实时3D虚拟副本104之间进行共享。所共享的数据点可以在现实对象102与实时3D虚拟副本104之间实现一个精确的同步处理，同时包括对现实对象102的一个精确的追踪。
根据一个实施例，为了实现一个自然的用户界面108以及通过实时3D虚拟副本104，增强与现实对象102的体验。通过共享的数据点，设置实时3D虚拟副本104的物理属性以及其在真实世界中的位置与方向，使其与现实对象102的数据相吻合。根据现实对象102来设置实时3D虚拟副本104的物理属性及其在真实世界的位置与方向数据不仅可以提高对象的真实性，如向用户114所呈现的，也可以通过实时3D虚拟副本使用6度自由度实现对对象进行精确的控制，这可以通过实时3D虚拟副本，将对现实对象的操纵反映作逼真的操纵。
根据一个实施例，通过实时3D虚拟副本104，对在现实对象102上所作的改变的影响，或者通过3D虚拟模型104，在现实对象102上所作的改变的影响，包括采用在实时3D虚拟副本104与现实对象102之间所共享的多个数据点上所作的修改。在一些实施例中，采用在多个数据点上所作的修改另外包括一个或以上的旋转动作，平移动作，对一个或以上的行为进行选择，对一个或以上的行为进行编程，设置一个或以上的参数，或者以上的组合。所作的修改可以直接采用在现实对象102上，引起在实时3D虚拟副本104上的一个实时地面实测体验效果。同样地，所作的修改可以直接采用在实时3D虚拟副本104上，引起在现实对象102上的一个实时地面实测体验效果。
在一些实施例中，在至少一个实时3D虚拟副本104或者所对应的至少一个现实对象102上的操纵可以在情境数据上产生一个改变，影响虚拟实时对，其中在情境数据里的变化可以影响实时3D虚拟副本104以及其相对应的至少一个现实对象102之间的关系。例如，通过现实对象102调整空调机的温度，或者其虚拟对应方对空调机周围以及对在环境中的现实对象102的温度具有一个直接的效果。在另外一个例子里，指示工厂里的一台叉车将重物从一个区域运输到另外一个区域会促使其它对象清除在途中对叉车所造成的阻碍。在另一个示例中，在街灯变绿色的情况下，其它的车辆会由于灯的改变自动地开动。从街灯的角度来看，其它的车辆是情境的一部分。
在一些实施例中，通过一个实时3D虚拟副本104来操纵至少一个现实对象102需要对实时3D虚拟副本104进行预先的虚拟选择，通过启动一个3D用户界面，向一系列的实时3D虚拟副本104以及向所对应的现实对象102发送一个选择指令。在一些实施例中，用于经由实时3D虚拟复制品104实现对现实对象102的改变的虚拟选择和操纵指令可以经由在用户设备110中所实现的自然用户界面108(NUI)来提供。例如，一个用户可以通过不受输入设备所强加的人工限制的影响的自然用户界面与实时3D虚拟副本104进行交互，这些输入设备包括鼠标，键盘，遥控等，例如，通过语言识别，触摸识别，脸部识别，手写笔识别，空中手势(例如手姿势以及动作，以及其它身体部分/附肢动作/姿势)，头部与眼部追踪，声音以及语言发音，以及与例如视觉，语言，声音，姿势以及触摸数据所相关的机器辅助学习。在另外的实施例中，通过实时3D虚拟副本104在现实对象102上引起改变的操作指令也可以由强加人工限制的一般用户界面提供，例如鼠标，键盘，遥控等。在任何一种情况下，与实时3D虚拟副本104进行的用户基于3D的实时交互可以通过一个或以上的用户设备110提供，包括手提电话，手提电脑，移动游戏机，头戴显示器，交叉驾驶舱准直显示器，平视显示器，以及智能隐形眼镜等。另外，通过用户界面108的基于3D的实时交互可以在一个或以上的一个经过增强的现实，虚拟现实，混合的现实，或者其组合来提供。另外，通过用户界面108的基于3D的实时交互可以在一个或以上的增强现实，虚拟现实，混合现实或其组合中提供。
根据一个实施例，实时3D虚拟副本104是在服务器106上储存以及进行计算的一个更广的持续虚拟世界系统118，持续虚拟世界系统106包括一个数据结构，其中代表多个其它的实时3D虚拟副本104。因此，在现实对象102与实时3D虚拟副本104之间，或实时3D虚拟副本104与现实对象102之间的任何双向指令会经过持续虚拟世界系统118。
用于代表持续虚拟世界系统118以及每一个实时3D虚拟副本104的数据结构包括但不限于一个或以上的八叉树，四叉树，BSP树，稀疏体素八叉树，三维阵列，kD树，点云，线框，边界表示(B-Rep)，构造实体几何树(CSG树)，双线和六边形结构。数据结构可以精确地以及有效地代表在持续虚拟世界系统里的虚拟对象的每一个几何数据。数据结构的一个准确的选择决定于数据的来源，在渲染过程中所寻求的几何精确度；也取决于渲染是否在实时完成或者预先渲染；渲染是否通过云服务器，用户设备，或者两者的结合来完成；取决于使用持续虚拟世界系统的特定的应用程序，例如对于医疗或科学的应用程序比其它类型的应用程序要求较高清晰度；服务器以及用户设备的储存器功能，以及所需要的储存器消耗等。
在一些实施例中，网络112可以是一个蜂窝网络，同时可以使用多个技术，包括为全球进化所提高的数据率，通用分组无线服务，移动通讯的全球系统，IP多媒体子系统，全球移动通讯系统等，以及其它合适的无线媒体，例如微波接入(WiMAX)，长期演进(LTE)网络，码分多址(CDMA)，宽带码分多址(WCDMA)，无线保真(WiFi)，卫星，移动ad-hoc网络(MANET)等。
根据一个实施例，网络112可以包括天线被设置为传送以及接收无线波的天线，实现在现实对象102之间以及与服务器之间所进行的移动通讯。天线可以通过有线或者无线的方式与计算中心连接。在其它的实施例中，天线在计算中心范围内和/或者在靠近计算中心的区域内被提供。在一些实施例中，为了服务用户设备110和/或者位于室外的现实对象102，天线可以包括基于毫米波的天线系统或者基于毫米波的天线与子6GHz天线系统的组合，在这里将其分类并指5G天线。在其它的实施例中，天线可以包括其它类型的天线，例如4G天线，或者作为5G天线系统的支持天线。在天线用于服务室内的用户设备110的实施例中，天线可以使用无线局域网提供最好但是不限制于具有16GHz的数据。
在另外的实施例中，使用例如GPS,BDS,Glonass,QZSS,Galileo,and IRNSS等的全球导航卫星系统定位用户设备110。GNSS可以使用经由足够数量的卫星以及例如三角测量以及三边测量的技术而获取的信号来计算用户设备110的位置，速度，经度以及时间。在一个优先的实施例中，外部定位系统由协助的GNSS(AGNSS)通过现存的用于定位系统的蜂窝通讯网络进行增强，其中现存的结构包括5G。在其它的实施例中，AGNSS追踪系统另外由一个4G蜂窝通讯网络定位系统支持。在室内的实施例中，GNSS另外经由例如Wi-Fi等的无线电无线局域网进行进一步的增强，最好但是不限制于提供具有16GHz的数据。在另外的实施例中，GNSS由本领域所知的其它技术进行增强，例如通过差分GPS(DGPS)，基于卫星的增强系统(SBAS)，实时动态(RTK)系统。在一些实施例中，通过AGNSS与在用户设备110里的惯性传感器的组合来实现对用户设备110的追踪。
根据本公开的一个实施例，附图1B呈现了有关一个系统100b的实施例。其中包括人类操作员116a,人工智能操作员116b,或者两者的结合的多个对象操作员116操作至少一个现实对象102，例如一个或以上的陆地对象102a，(例如一辆车辆)或者飞行对象102b(例如一架无人机或者一架飞机)。操作至少一个现实对象102的对象操作员116使用在现实对象102上所合适的界面将操纵指令发送到所述的现实对象102。操纵指令通过持续的虚拟世界系统118，借助网络112被发送到相应的一个或以上的实时3D虚拟副本104，并持续以及实时地更新所述的一个或以上所对应的实时3D虚拟副本104，同时在相应的一个或以上的实时3D虚拟副本104周围的情境数据里产生改变(例如影响其它实时3D虚拟副本104所产生的改变或事件)。用户114包括人类用户114a，人工智能用户114b，或者两者的组合，其可以借助网络112，通过连接到持续虚拟世界系统118的用户设备110观察相应的一个或以上的实时3D虚拟副本104的持续以及实时的更新。
同样地，用户114可以通过用户设备110操纵一个或以上的实时3D虚拟副本104。通过持续的虚拟世界系统118，并借助网络112，操纵指令可以被相应地实时传输到相对应的一个或以上的现实对象102。对象操作员116可以观察对现实对象102操作所作的持续与实时更新。如附图1B所示，多个用户114同时通过包括但不限制与VR/AR头戴显示屏110a，移动电话110b，手提电脑110c，智能隐形眼镜110d，以及智能车110e等的几个用户设备110查看在实时3D虚拟副本104里的变化。
例如，一个人类的操作员116a可以操作一辆车辆(例如陆地对象102a)，通过持续的虚拟世界系统118并借助网络112将指令发送到相应的3D虚拟副本104上。由于修改时通过相应的一个或以上的实时3D虚拟副本104进行，持续的虚拟世界系统118上的一个或以上的用户114可以查看这些修改。在一些实施例中，至少一个实时3D虚拟副本104可以另外包括虚拟机器人以及用户的虚拟头像。虚拟机器人可以被设置为人工智能用户114b，通过使用同时以及自动管理多个实时3D虚拟副本104所需要的人工智能算法以及小组分析来响应人类或类似人类的行为。管理一个或以上的实时3D虚拟副本104引起对相应的现实对象102所对应的管理。虚拟机器人可能会或不会连接到现实世界中的现实机器人。人的虚拟头像可以被设置，用于呈现现实人类用户的物理属性，或者使用不同的视觉方面和特征来进行设置。在另外的实施例中，例如机器人，机器或者人工智能程序的人工智能设备可以被设置为人工智能对象操作员116b，用于管理一个或以上的现实对象102，其中管理或操纵指令会通过持续的虚拟世界系统118被实时传输到现实对象102所对应的实时3D虚拟副本104。因此，人工智能设备或者程序会作为一个或以上的现实对象102的一个人工智能对象操作员116b。
在一些实施例中，如智能车110e的示例，用户设备110与现实对象116在一些情况下可以指同样的设备。例如，一辆智能车110e是指一个可以由现实或人工智能用户114控制的现实对象。然而，智能车110e包括增强现实用户界面(例如在挡风玻璃或者窗户)，此界面可以允许用户与车辆进行交互，并向自家人工智能系统发送指令，或者通过此界面控制车辆本身，使智能车110e作为一个用户设备112。
在一些实施例中，为了根据一个或以上的目标，互相之间进行合作与交互，多个实时3D虚拟副本104可以使用人工智能算法。因此，虽然现实对象102在现实世界互相之间具有有限的通讯，多个实时3D虚拟副本104可以在持续的虚拟世界系统118里密切合作与交互，形成在现实世界里的一个相应的交互与合作。
附图2A-2B根据本公开的一个实施例，描绘了系统200a-b的示意图，详细地呈现了现实世界与虚拟世界系统之间的关系。附图2A-2B的某些元素与附图1A-1B的元素相似。因此，使用同样或类似的参考号码。
根据附图2A所示的系统200a,一个或以上的服务器106会作为硬件以及软件被提供，包括至少一个处理器202，以及一个储存器204。处理器202被设置，用于执行包括在储存器204里的指令，同时储存器204另外被设置，用于储存指令与数据。
处理器202可以被设置用于获取以及执行包括在储存器204里的指令与数据，包括对来自现实对象102或者用户设备110的操纵指示进行实时处理。例如，处理器202可以通过相应的实时3D虚拟副本104实现对至少一个现实对象102的人工智能算法的管理，现实对象102的模拟，3D结构处理，小组分析，渲染，以及实现虚拟增强功能，或者现实对象102的虚拟补充。处理器202通过对操作指令执行运动学计算，实现现实对象102与实时3D虚拟副本104的双向交互操作。在一个实施例中，处理器202对操纵指令的处理是对由现实对象102所进行的处理的补充，作为现实对象102在处理某些重量级任务处理运作的支持。在另外的实施例中，处理器202另外完成媒体内容的渲染，包含传输到用户的视频与音频流。处理器202另外根据用户的位置，方向，以及/或观看角度来确定两个或以上的传输到用户设备的媒体流。处理器202可以指一个单一的专属处理器，一个共享处理器，或者多个单独的处理器，其中的一些会进行共享。另外，术语“处理器”在这里不应该只限制于可以执行软件的硬件，同时也可以暗指数字信号处理器(DSP)硬件，网络处理器，应用程序专用的集成电路(ASIC)，现场可编程门阵列(FPGA)，微处理器，微控制器等。
储存器204可以储存处理器202可获得的信息，包括可以由处理器202执行的指令与数据。储存器204可以是任何适合储存处理器202可获取的信息类型的储存器，包括一个计算机可读性媒体，或者其它储存可以借助一个电子设备进行读取的数据的媒体，例如一个硬盘，储存器卡，闪存，只读存储器，随机存储器，DVD或者其它光盘，以及其它可写以及只读储存器。储存器204可以包括临时存储以及持久存储。指令可以由处理器202进行直接(例如机器代码)或者间接(例如文字)执行。指令可以以目标码格式储存并由处理器202进行直接处理，或者以任何计算机语言，包括可以根据需要进行解释或者预先编译的独立源代码模块的脚本或者组合。数据可以根据指令由处理器202进行读取，储存，或者修改。例如，数据可以被储存在计算机登记册，也可以以一个具有多个不同的字段与记录的表格的方式储存在相关的数据库里，或者储存在XML文件，或者平面文件里。数据也可以以任何计算机可读的格式进行格式化。储存器204可以储存一个内容编辑器206以及一个持续的虚拟世界系统118。内容编辑器206使用户可以创建以及编辑现实对象102的实时3D虚拟副本104以及包括在持续虚拟世界系统118里的其它对象，例如位于现实对象102范围里的对象(例如其它机器，桌子，墙等)。实时3D虚拟副本104可以进一步被储存在持续的虚拟世界系统118里，目的是使其在真实世界位置里可供使用，包括与其它真实世界对象102有关的位置与方向。持续的虚拟世界系统118包括真实世界的一个虚拟版本，其中包括真实世界对象的位置，方向，规模，尺寸，物理属性以及3D结构。然而，持续的虚拟世界系统118也包括由计算机所衍生的但不存在于现实世界的虚拟对象，例如完全虚拟的对象。
在一些实施例中，储存器204可以另外储存在持续虚拟世界系统118里的事件。储存事件可以启动例如突发事件检测模块(未显示)来检测以及重放有关事件，进行回顾。突发事件在这里是指破坏事件正常发生过程的事件。事件正常发生过程可以在一个参数范围或者特点内进行确定。在另外的实施例中，通过在服务器106里所设置的一个基于规则的系统进行确认。在另外的实施例中，突发事件是通过设置在服务器106里的机器学习算法进行确认。例如，一个突发事件是指一个汽车相撞事件，因此持续虚拟世界系统118可以马上检测到发生在现实对象上的相撞，此检测可以用于过后的回放，协助法律调查。
至少一个实时3D虚拟副本104包括与现实对象102所共享的多个包括现实对象102的物理属性210的数据点208，以及包括现实对象102的位置与方向数据212的数据点208。数据点208并且使得能够对通过至少一个真实对象102或通过至少一个对应的实时3D虚拟复制品104中的任一个所发送的操作指令，以及可以在任何一个真实虚拟对中所发生的任何改变进行持续的跟踪和同步。数据点208可以通过传感机制进行确认，包括安装在至少一个现实对象102上或者在其附近的硬件与软件。
实时3D虚拟副本104以及持续的虚拟世界系统118的物理属性210可以无限制地包括尺寸，形状，质地，规模，体积，折射率，硬度，颜色，压力以及温度。物理属性210可以通过内容编辑器206进行编辑，此内容编辑器可以是一个计算机辅助绘图应用软件。把例如现实对象102或其它对象的现实世界对象，转换为三维对象的建模技术可以以本领域的已知技术为基础。例如，机器生产商可以提供机器的现存数字CAD模型，此模型可以被集成在持续的虚拟世界系统118里。在另外的实施例中，例如合成孔径雷达，实孔径雷达，光探测和测距(LIDAR)，反向孔径雷达，单脉冲雷达，以及其它形式的成像技术等的雷达成像技术可以在把其集成在持续的虚拟世界系统118之前，用于对现实世界对象进行映射以及建模方面。在其它实施例中，一个或以上的现实对象102的物理属性，例如尺寸，形状，质地，体积，温度，以及颜色等，可以直接通过传感机制获得，并同时通过内容编辑器206进行编辑。
由处理器202进行的实时处理包括在通过实时3D虚拟副本对现实对象102进行操纵的同时，在所接收的操作指令上，以及在通过现实对象102对实时3D虚拟副本进行操作的同时，在所接收的操作指令上所进行的运动学计算。在处理来自现实对象102并用于更新3D虚拟副本104的操纵指示的情况下，例如，在通过一个合适的界面来移动一个机械臂，结合运动学计算的动作捕捉技术用于创建在实时3D虚拟副本104里的现实对象102的移动。
动作捕获技术使用多种光学传感机制，惯性传感机制，或者其组合。光学追踪传感机制可以使用标记追踪或者无标记追踪。在标记追踪里，一个现实对象102配有标记。标记可以是主动的或者被动的红外光源。可以通过定时地或者持续地发射红外线闪光的红外光源产生主动的红外光。被动的红外光指把红外光反射回一个光源的红外光复归反射器。一个或以上的摄像机被设置来提取现实对象102的位置以及来自标记的不同部分的信息。在一个或以上的标记在摄影机视图以外或者被临时阻挡的情况下，演算法需要应对丢失的数据。在无标记的追踪里，摄影机持续地搜寻以及把一个目标图像，例如一个现实对象102，与被包含在服务器106里的实时3D虚拟副本104的图形进行比较。惯性追踪传感机制可以使用例如加速仪以及陀螺仪的设备，这些设备可以被集成于一个惯性测量单位里。加速仪计算线性加速度，此加速度可以被集成而用作找出速度，然后再被集成而用作找出相对于一个初始点的位置。陀螺仪测量角度速度，此角度速度也可以被集成而用于确定相对于初始点的角度位置。
在一些实施例中，通过服务器106将现实对象与实时3D虚拟副本进行的同步实现由虚拟增强功能处理器202或者现实对象102的虚拟补充。在一些实施例中，虚拟增强功能或补充可以通过虚拟资源进行，是指在服务器里可供使用的储存以及计算功能，以及其可以通过应用虚拟机器借助网络112与现实对象102共享的资源。在其它的实施例中，虚拟增强功能或者补充通过虚拟传感器进行，是指虚拟使用用于补充缺失的真实数据的可用数据。虚拟传感器另外使用虚拟世界的3D结构以及代表现实世界的每一个实时3D虚拟副本104，以致于在现实世界不需要这样一个对象识别的情况下，一个现实对象102可以通过其实时3D虚拟副本104识别在现实世界中的其它对象。在一个实施例中，为了增加对多个数据点208追踪的精确性，应用光学以及惯性追踪传感器与计算法的结合的传感器融合技术。然而，在另外一个实施例中，使用一个或以上的收发器从天线接收通讯信号以及将通讯信号发送回天线。收发器最好是毫米波收发器。在使用毫米波的实施例中，毫米波收发器可以被设置，用于从天线接收毫米波信号，同时将数据发送到天线。因此，在另外一个传感器融合技术的实施例中，光学传感器，惯性传感器，以及由毫米波收发器所提供的位置追踪，以及由基于毫米波的天线所提供的精确的追踪，低延迟性以及高QOS功能可以实现子厘米或者子毫米的位置以及方向追踪，这样可以在追踪现实对象102的实时位置与方向的时候增加精确度。在另外一个实施例中，传感器的融合进一步实现从GNSS追踪信号接收定位数据，并使用毫米波信号以及惯性追踪将此数据进行增强，目的是提供一个精确的位置与方向。在一些实施例中，使用本领域所知的几种技术来进行追踪，例如到达时间，到达角度，或者其它本领域所知的技术(例如视觉成像，雷达技术等)。
在通过现实对象102操作实时3D虚拟副本104的同时，由处理器进行的处理可以进一步包括多个实现来自现实对象102的输入的操作，在服务器106里更新实时3D虚拟副本的操作，以及把此输入数据转换为一个输入视频流，也可以是音频流，此视频流或者音频流在过后被输出到客户端设备110，以显示经过更新的实时3D虚拟副本104。在接收来自在现实对象102上所执行的操作的输入数据的情况下，处理器202可以执行媒体内容的预先处理操作，包括对声音以及视频的压缩与整合。声音以及视频压缩可以分别通过使用音频编解码器以及视频编解码器来进行，然后有关的压缩文件被集成为一个容器数据流。音频编解码器可以是任何可以接收音频输出以及生成一个音频数据流的编码技术，例如WMA，AAC，或者Vorbis。在一些实施例中，音频编解码器可以支持音频流的加密处理。同样地，视频编解码器可以是任何用作接收视频输出以及生成视频数据流的编码技术，例如WMV，或者MPEG-4。在一些实施例中，视频编解码器可以支持视频流的加密处理。也可以使用其它用作生成支持相关的输入数据流或者运行对所生成的音频或视频流或者其它模式的任何形式的流在过后进行加密的音频流或者视频流或者任何其它模式的流的编解码器。容器数据流可以是任何适合的数据流，其被设置以迎合一个或以上的数据流，例如ASF或者ISMA。然而，也可以使用其它合适的容器数据流，特别是可以对生成的容器数据流进行一个后续的加密。
处理器202可以另外根据用户端设备110的查看位置，方向以及/或者查看角度，确定两个或以上被传送到一个用户端设备110的媒体流；同时对媒体流进行渲染任务。在确定两个或以上的媒体流以后，处理器202可以进行媒体渲染任务，这样用户端设备110只需要在经过处理的媒体内容上进行轻量的计算任务，目的是向用户充分地显示经过处理的媒体内容。
对媒体内容的渲染可以包括形成两个或以上的代表现实对象102的具有真实感的3D媒体流的多种渲染技术，包括但不限制于对两个或以上的媒体流进行翘曲，接缝以及插入。根据输入的媒体数据，渲染可以包括一个更复杂的重建过程。例如，渲染可以包括标准图形重建技术的组合，例如接缝，翘曲，插入以及外推。例如，外推可用在没有或者有限的视觉信息可供使用的区域，目的是在媒体数据里填补空白或者缺口的地方。然而，需要明白的是，重建过程不限于计算机视觉技术，同时会把有关场景的空间数据考虑在内，其中包括一个或以上的经过重建的3D几何信息，有关材料的参数，以及一个光场等，这些空间数据与在所捕获的场景里的光流相对应。空间数据被使用在利用3D渲染技术对所捕获的场景进行重新的渲染上。在一个或以上的实施例中，对输出流的渲染包括使用一个用于从一系列的图形中重新创建输出流的图形或帧或者从不同的角度所拍摄的同一个场景的所创建的媒体流的帧的深度的学习技术以及/或者神经网路。这样，即使在场景的至少一部分没有被完全被捕获或者没有详细地被捕获的情况下，实现一个复杂的重建过程以及衍生出输出流。
在一些实施例中，处理器202没有被限制在来自应用程式的二维视觉输出数据中，同时可以接收应用程式的立体输出以及相关的命令，并生成两个视频流或者一个隔行扫描视频流，为用户的每一只眼睛传送视觉数据。同样地，处理器202也可以生成一个承载空间音频数据以及其它多维多模态数据的数据流。
在一个实施例中，多个媒体流可以进行进一步的处理，这样可以使输出流的质量被集中在一个查看者所可以实际查看的位置，例如根据一个已确定的凝视方向，或者在一个帧的中心。另外，媒体流可以被处理，目的是要实现对已预测的动作进行重建或者对媒体流进行外推，包括一个对观看者所要查看的下一个区域的预测，并同时提前对此区域内部进行重建。另外，可以应用把眼睛的聚焦距离(例如，由眼球的相对位置与方向所确定的眼睛的集中距离)考虑在内的额外处理来进一步改善输出流的质量与保真度。非限制性的例子包括与聚焦距离相关的移位和视差效应以及场景的那些散焦模糊的部分，这些部分被确定为在观看者的聚焦范围以外。
为了操作现实对象102而在通过用户设备110来处理来自实时3D虚拟副本的操作指令的同时，处理器202可以根据依赖于现实对象102的属性的现成动作，获取几个预先定义的处理指令，可以使操作指令与相关的处理指令相匹配，同时可以向相关的机器执行器发送执行指令，目的是在多个效应器上产生效果。操作指令可以包括一个或以上的旋转运动，平移运动，选择一个或以上的行为，为一个或以上的行为进行编程，配置一个或以上的参数，或者其中的组合。另外，由于现实对象102的物理属性被储存在服务器106并在其中进行同步，根据现实对象102的功能，来模拟实时3D虚拟副本中的机械臂的特定部分的移动速度与感觉，因此只限制于这些现实生活能力。在操作指令只包括平移或者旋转移动的实施例中，处理器202可以使用反向动态计算技术去处理指令。反向运动学通常用于确定根据所需要的位置，为每一个效应器提供一个所需要的位置的接缝参数。在操作指令包括涉及多个基本步骤(例如机器人坐下，站立，拳打，避开障碍，或者机械臂执行拣选动作)的更复杂的行为的实施例中，应用正向运动学与反向运动学的一个集成组合来处理指令。正向运动学使用方程式从接缝参数的特定值来计算终端效应器的位置。
在一个实施例中，现实对象102可以指一个工厂机器，例如一个或以上用作油漆，焊接，装配，包装，标签，取放的工业机器人(例如用于印刷电路板)等。在另外一个实施例中，现实对象是指一种交通工具，包括航空飞行器(例如飞机，无人机，直升机等)，陆地交通工具(例如车，摩托车，货车等)，以及海上交通工具(例如船，货船，潜水艇等)。工业机器的双向管理有利于在监控一个制造厂的每一个部分所发生的改变的同时，对多个工业机器实行实时远程管理。对交通工具的双向管理有利于政府更好地控制正在运行的交通工具。特别是在要求路面交通以某种方式进行的情况下，例如在意外或者自然灾害发生的过程中，救护车需要经过繁忙的交通状况。
作为一个例子，指令一个机械臂执行一个或以上的动作涉及一个用户在一个空间通过一个移动设备或者VR/AR眼镜或者其它头戴显示器来查看机械臂的实时3D虚拟模型104，其中包括在机械臂所位于的工作室里可供使用的大部分或者全部的对象。用户可以触摸机械臂的实时3D虚拟副本104，目的是通过实时3D虚拟副本104远程虚拟选择机械臂，指令服务器106的处理器202从储存器204中读取一些选项，然后把这些选项发送出去，通过用户设备110向用户显示。选项可以包括例如移动，转移，以及执行一个取放动作。根据用户所作的选择，处理器202可以把操作指令与预编程式的执行指令作比较。对于只是涉及平移或者旋转移动的简单的移动任务，实时3D虚拟副本104的用户可以在用户界面上选择机械臂(选择方式包括触摸，空中手势，鼠标或者按键等)，同时通过将机械臂移动到期望的位置与方向来执行期望的移动。根据用户所作的选择，处理器202继续处理指令，并把经过处理的指令发送到真实机器102，目的是执行这些指令，这些指令包括启动所需要的并可以通过移动不同的效应器来实现所期望的移动的执行器。在其它的例子中，处理器202可以在操作指令上执行某些处理任务，例如需要进行繁重计算操作的任务，以及可以向机械臂发送经过预先处理的指令。机械臂的一个处理器可以在执行指令之前，进行其它处理任务。涉及在一个以上的对象上执行的更加复杂的操作，例如使用户可以与机械臂所处的环境进行交互。例如，对于取放行为，一个用户可以先触摸机械臂，选择取放选项，选择一个目标对象，同时选择对象需要被放下的目标位置。随后，处理器202将处理指令与可用的处理指令进行比较，以一个合理的逻辑顺序处理这些指令，同时继续把经过处理的指令发送出去，使其可以在机械臂上执行。机械臂也可以进行一些处理指令。
在另外一个实施例中，用户操纵实时3D虚拟副本104来转动一个机械臂。用户可以虚拟地触摸机械臂，以通过实时3D虚拟副本104对机械臂进行选择，同时随后旋转机械臂。处理器202可以处理指令，同时可以通过向相应的执行器发送相应的指令来实时地转动机械臂。然而，通过实时3D虚拟副本104所进行的机械臂的旋转速度可以限制于在考虑安全因素的情况下机械臂所能达到的速度。
附图2B显示了一个系统200b，进一步显示了现实世界214与虚拟世界系统116之间的关系。现实世界214可以包括一个包括多个用户114的216部分，此用户可以是人类用户114a或者人工智能用户114b，使用一个或以上的用户设备110；同时包含对象操作员116的218部分，此操作员可以是人类对象操作员116a或者人工智能对象操作员116b，操纵一个或以上的现实对象102。216部分与218部分的元素与持续虚拟世界系统118共享数据点208，此元素包括物理属性210以及位置和方向数据212，因此现实世界214的数据点208与持续的虚拟世界系统118的数据点208相对应。现实世界214可以进一步包括其它没有包括在216部分与218部分中的元素(未显示)，例如没有与持续的虚拟世界系统118进行实时共享的数据点(例如，由于例如物联网传感器等的传感机制没有安装在其上)，但是由于其通过一个或以上的多种技术输入进服务器中(例如扫描，建模，通过照相机进行检测等)，通过图形的方式将其包括在持续的虚拟世界系统118里。
持续虚拟世界系统118在一个3D结构220中排列现实世界214中有关元素的实时3D虚拟副本104，包括用户和/或者其他对象操作员的虚拟副本222，现实对象的虚拟副本224，以及其他与其他对象相对应的虚拟副本226。
借助持续虚拟世界系统118，通过共享的数据点208，任何由用户设备110发送到现实对象102的操纵指令可以被共享到现实对象102上，实时更新相应的实时3D虚拟副本，以及在有需要的情况下，更新虚拟副本的情境以及其相对应的现实对象102。同样地，由现实对象102所发送的操纵指令用于通过共享数据点208来实时更新实时3D虚拟副本，一个或以上的用户114a可以借助相应的用户设备110来查看，也可以更新虚拟副本的情境以及相应的现实对象102。
根据本公开的一个实施例，附图3描述了一个系统的示意图，详细地说明了用户设备110的操作部件。操作部件可以包括一个输入/输出模块302，一个电源304，一个储存器306，传感器308，收发器310，以及一个网络界面312，全部与处理器314进行连接。
输入/输出模块302被用作设置为与用户进行交互并向一个或以上的其它系统部件提供用户输入数据的计算硬件与软件。例如，输入/输出模块302可以被设置与用户进行交互，根据基于3D的实时交互衍生出用户输入数据，同时在把数据通过网路112发送到例如服务器116的其它处理系统之前，向处理器314提供用户输入数据。在另外的例子里，输入/输出模块302被用作为一个外部计算指向设备(例如一个触摸屏，鼠标，3D控制，操纵杆，游戏手柄等)，以及/或者文本输入设备(例如一个键盘，口述工具等)，同时这些设备被设置为与用户设备110进行交互。然而，在其它的实施例中，输入/输出模块302可以向以上所描述的情况提供额外的功能，较少的功能或者不同的功能。
电源304被设置而用作向用户设备110提供电源的计算硬件。在一个实施例中，电源可以是一个电池。电源可以安装在设备里面或者从设备移走，同时可以是可充电的或者非充电的。在一个实施例中，设备可以通过用另外一个电源304替代一个电源304来进行充电。在另外一个实施例中，电源可以通过一个附属在一个充电源的电线进行充电，例如USB，FireWire，Ethernet，Thunderbolt，或者连接在个人电脑上的耳机线。然而，在另外一个实施例中，电源304可以通过电感充电进行充电，其中，在传感充电器与电源靠近并且不需要通过电线把两者连接在一起的情况下，使用一个电磁场把能量从一个电感充电器传送到电源304。在另外一个实施例中，使用一个扩展坞来进行充电。
储存器306可以作为适用于储存应用程式指令以及储存由传感器308所捕获的设备遥测元数据的计算软件与硬件。储存器306可以是任何类型适合储存处理器可获取的信息的储存器，包括一个计算机可读媒体，或者其它可以储存借助一个电子设备进行读取的数据的媒体，例如一个硬盘，储存器卡，闪存盘，只读存储器，随机存储器，DVD或者其它光盘，以及可写和只读储存器。储存器306可以包括临时存储以及持久存储。
传感器308可以作为适用于获得来自用户的多种遥测元数据以及确定/追踪用户以及其移动的位置与方向的计算软件与硬件。传感器308可以包括一个或以上的惯性测量单位，加速器，陀螺仪，光传感器，触觉传感器，照相机，眼动跟踪传感器以及麦克风等。惯性测量单位被设置而用作通过使用加速仪与陀螺仪的结合来测量以及报告用户设备110的速度，加速度，角动量，平移速度，旋转速度以及其它遥测元数据。在惯性测量单位里的加速仪可以被设置而测量基于3D的实时交互设备的加速度，包括由于地球引力场而产生的加速度。在一个实施例中，在惯性测量单位里的加速仪包括可以在三个正交方向测量加速度的三轴加速仪。每当直接操作实时3D虚拟副本的情况下，光传感器，触觉传感器，照相机，眼动跟踪传感器，以及麦克风用于捕获来自一个用户以及其环境的输入细节，可以根据用户的查看位置与方向以及例如光，声音，以及实现与声音以及触觉相关的基于3D的实时交互等的环境因素，这些细节可以被传送到服务器106来确定一个或以上的媒体流并把其发送到用户设备110。
收发器310可以作为用以从天线接收无线波以及把数据发送到天线的计算软件与硬件。在一些实施例中，在与沉浸内容交互的同时，使用毫米波收发器接收来自天线的毫米波信号并同时把数据发送到天线。收发器310可以是双向的通讯收发器310。
在一个实施例中，一个跟踪模块316用于将IMU，加速度计以及陀螺仪的功能与由收发器310所提供的位置追踪以及由基于毫米波的天线所提供的精确的追踪，低延迟度以及高QOS功能的进行结合来实现子厘米或者子毫米的位置与方向追踪，这样可以在追踪用户设备110的实时位置与方向的同时，提高精确度。在另外的实施例中，追踪模块316实现从GNSS追踪信号中接收位置数据以及使用毫米波信号以及惯性追踪增强此数据，目的是提供一个精确的位置与方向信息。在一些实施例中，使用本领域已知的技术来执行追踪，例如到达时间，到达角度，或者其它在本领域中所知的技术(例如视觉成像，雷达技术等)。
网络界面312可以作为计算软件与硬件，用于与网络112进行通讯连接，接收由服务器106所发送的来自网络112的计算机可读程序指令，同时转发用于存储在用户设备110的存储器306中以供处理器314执行的计算机可读程序指令。
处理器314可以作为计算硬件和软件，用于接收以及处理用户输入数据。例如，处理器314被设置，用于提供成像请求，接收成像数据，将成像数据处理成环境或者其它数据，处理用户输入数据以及/或者成像数据以生成用户基于3D的实时交互数据，提供服务器106的请求，接收服务器106的回应，以及/或者向一个或以上的其它系统部件提供用户基于3D的实时交互数据，环境数据，以及内容对象数据。例如，处理器314可以接收来自I/O模块的用户输入数据，同时分别地执行储存在内容306里的应用程序。在其它例子里，处理器314可以接收来自传感器308，来自收发器310或者来自以上组合的有关位置的信息，或者其它遥测元数据(例如，有关用户手移动，控制器操纵，运行轨迹等的信息)。处理器314可以执行模拟或数字信号处理演算，例如减少原始数据或者对其进行过滤。在某些实施例中，处理器314可以被设置，使其可以在从服务器106上所接收的媒体内容上进行轻量计算任务，例如要求在用户设备110上正确代表实时3D虚拟副本的计算。
根据本公开的一个实施例，附图4描述了系统的一个示意图，详细地说明了现实对象102的多个操作部件。操作部件可以包括一个输入/输出模块402，一个电源404，一个储存器406，附属在驱动器410以及效应器412的传感器408，收发器414，以及一个网络界面416，所有都与一个处理器418进行通讯连接。
输入/输出模块402可以作为计算硬件与软件，用于与对象操作员进行交互，并向一个或以上的其它系统部件提供对象操作员的用户输入数据。例如，输入/输出模块402可以被设置，用于与机器操作员进行交互，根据基于3D的实时交互信息，生成用户输入数据，同时在把数据通过网络112传送到其它例如服务器106的处理系统之前，向处理器418提供用户输入数据。在另外一个例子里，输入/输出模块402可以作为一个外部计算指向装置，用作选择对象与选项(例如一个触摸屏，鼠标，3D控制，操纵杆，杠杆，方向盘，游戏手柄等)，以及/或者用作输入与现实对象102进行交互的操作指令的文本输入设备(例如键盘，按键，口述工具等)。然而，在其它的实施例中，输入/输出模块402可以向以上所述的情况提供额外的功能，较少的功能，或者不同的功能。
电源404可以作为计算硬件，用于向现实对象102提供电源，以及与在附图3所描述的类似。
储存器406可以作为计算软件与硬件，用于储存应用程序的指令与数据，同时与在附图3里所描述的类似。
传感器408可以应用在确定以及追踪现实对象102的多个驱动器410与效应器412的位置与方向，提供可以与服务器106进行同步以及共享的数据点，同时向服务器106提供现实对象102的一个或以上的物体属性的数据代表。在一些实施例中，传感器408可以应用在现实对象102的其它区域里，或者应用在现实对象102周围的区域里。例如，传感器408可以安放在一个现实对象102的多个接缝与连接器上。根据附图2所描述的，传感器408可以包括例如包含光学传感器，惯性传感器或者其组合的动作捕捉仪器。在其它的实施例中，也可以包括其他传感器408，其可以提供现实对象102的其他特性，例如温度计，压力传感器，湿度传感器等，这取决于现实对象102的性质和功能。
收发器414可以作为计算软件与硬件，用于使现实对象102接收来自天线的无线波，同时把数据发送回天线。在一些实施例中，使用毫米波收发器来接收来自天线的毫米波信号，同时在与沉浸内容进行交互的同时，把信号发送回天线。收发器414可以是双向的通讯收发器414。
在一个实施例中，一个跟踪模块420用于将IMU，加速度计以及陀螺仪的功能与由收发器414所提供的位置追踪以及由基于毫米波的天线所提供的精确的追踪，低延迟度以及高QOS功能的结合可以实现子厘米或者子毫米的位置与方向追踪，这样可以在追踪现实对象102的实时位置与方向的同时，提高精确度。在另外的实施例中，追踪模块420实现从GNSS追踪信号中接收位置数据以及使用毫米波信号以及惯性追踪增强此数据，目的是提供一个精确的位置与方向信息。在一些实施例中，使用本领域已知的技术来执行追踪，例如到达时间，到达角度，或者其它在本领域中所知的技术(例如视觉成像，雷达技术等)。
网络界面416可以作为计算软件和硬件，通讯地与网络112进行连接，接收来自网络112并由服务器106所发送的计算机可读程序指令，同时转发计算机可读程序指令，使其储存在设备的储存器406里并由处理器418执行。
处理器418被设置，用作处理直接通过I/O模块402所输入或者来自服务器106的操作指令。同时，向用作执行效应器412的所需要的移动的驱动器410发送经过处理的指令。例如，处理器418可以接收来自I/O模块402的用户输入数据，同时可以分别执行储存在储存器406里的应用程序。在另外的例子里，处理器418可以接收来自传感器408，收发器414，或者来自两者的结合的有关位置，或其它遥测元数据。同时把信息发送到服务器106，对实时3D虚拟副本进行更新。处理器418也可以进行模拟或数字信号处理演算，例如减少原始数据或者对其进行过滤。在一些实施例中，处理器418可以与服务器106共享一些计算任务。
根据本公开的一个实施例，附图5呈现了一个方法500的流程图，详细地说明了通过对现实对象102的直接操作来操纵一个实时3D虚拟副本108。根据本公开的一个实施例，方法500也可以由系统进行处理，例如在附图1-4里所讨论的系统。
如框图502所示，方法500首先从在服务器106上提供一个持续的虚拟世界系统开始，此系统包括一个数据结构，其中代表至少一个现实对象102的至少一个实时3D虚拟副本104。提供现实对象102的实时3D虚拟副本104涉及使用一个在服务器106上储存以及计算的内容编辑器来对实时3D虚拟副本104进行图形生成以及/或者进行编辑，包括现实对象102在三维里的物理属性以及现实世界的坐标。通过从用户设备110上的一个合适的用户界面108，由一个实时3D虚拟副本用户114来获取实时3D虚拟副本104。
然后，方法500以将实时3D虚拟副本104与现实对象102进行同步的方式继续进行，如框图504所示，其中包括在现实对象102上的不同部分的多个传感器上获得数据，例如驱动器，效应器，接缝以及连接器上，或者在现实对象102附近的区域(例如位于靠近现实对象102的摄像机)。连接多个传感器可以衍生出多个数据点，这些数据点与服务器106进行通讯，并同时与实时3D虚拟副本104共享这些数据点。在一些实施例中，与现实对象102进行连接的传感器可以进一步向实时3D虚拟副本104提供反馈，并且通过虚线506将其显示出来。反馈信息数据可以提供现实对象102所具有的另外物理属性，用作增强实时3D虚拟副本104以及增加有关现实对象102的精确度。在将实时3D虚拟副本与现实对象102进行同步的情况下，服务器106通过一个网络经由持续虚拟世界系统118向现实对象102以及用户设备110发送经过同步的实时3D虚拟副本104。在将实时3D虚拟副本104与现实对象102以及用户设备110进行同步以后，在现实对象102或者在实时3D虚拟副本104上所执行的动作都在虚拟或现实对应方上产生直接的影响。
如框图508所示，一个对象操作员116可以通过直接操纵现实对象102来进行。在框图510，现实对象102可以通过处理操作指令进行。例如，参考附图4，对象操作员116可以通过一个合适的输入/输出模块402输入操纵指令，这些指令可以被传送到处理器418。处理器418可以在储存器里获取处理指令以及在储存器里的数据，同时处理来自对象操作员116的操纵指令。处理器418可以另外执行所要求的运动计算，确定移动哪一个接缝而使效应器可以执行一个任务。随后，方法500由现实对象102执行操纵指令，如框图512所示。执行指令可以包括向多个用于激活的执行器发送电子信号，目的是要移动由现实对象102执行所需要的任务时所需要的效应器。
由于系统被同步，在框图508里操纵现实对象102可以向服务器106发送一系列的操纵指令。在接收操纵指令以后，服务器106也可以在指令上进行处理任务，如框图514所示，例如，用于在实时3D虚拟副本104里重建现实对象102移动的运动计算，以及渲染任务，目的是向用户设备110发送音频以及视频流。经由服务器106处理操纵指示另外包括通过现实对象102来接收以及处理对象操作员的位置与方向，以及通过用户设备110来接收以及处理用户114的位置与方向。在一些实施例中，在服务器106上所执行的处理任务是在现实对象102上所进行的处理任务的补充。然而，在服务器106上通过执行重量任务计算来支持现实对象102的同时，现实对象102可以执行部分处理指令。
在服务器106处理在框图514里的操纵指令以后，通过服务器106使用至少一个经修改的实时3D虚拟副本104来继续执行方法500，如在区块516所示，同时在用户设备110上进行同步。在步骤518里，通过输出经过更新的虚拟世界系统118进行执行，此系统包含可能已经发生变化的实时3D虚拟副本104，此变化包括在已接收的媒体流上进行轻量操作，目的是适当地显示已经更新的实时3D虚拟副本104。然后，方法500在检测520里检测是否有更多来自现实对象102的操纵指令。在这种情况下，方法500会由操作真正对象102的对象操作员116返回框图508。如在终结器522里所示，在没有更多指令的情况下，处理过程将会结束。
根据本公开的一个实施例，附图6呈现了一个方法600的流程图，详细地说明了通过对实时3D虚拟副本104的直接操纵来操纵现实对象102。根据本公开的一个实施例，方法600可以由一个系统来执行，例如在附图1A-4里所讨论的系统。在附图6里所描述的一些步骤与附图5所描述的步骤相对应，因此，在那些描述中，可以使用在附图6里所使用的类似的数字作为参考。
方法600的起初部分与方法500的起初部分相似。因此，方法600与方法500共享框图502与504，以及虚线506。如框图602所示，通过从用户设备110上的一个适合的用户界面108，由一个用户114虚拟选择一个实时3D虚拟副本104，然后通过服务器106将选择指令发送到所选择的实时3D虚拟副本104以及发送到相应的现实对象102来继续进行方法600。在一些实施例中，由用户设备110发送到服务器106的选择指令包括一个或以上的用户114的位置与方向数据。服务器106以及现实对象102可以分别在框图604以及606中通过处理选择指令进行。如框图608所示，方法600通过用户114操纵实时3D虚拟副本104进行，然后由服务器106以及现实对象102分别地在框图610与框图612中处理操纵指令。在某些实施例中，由服务器106所执行的处理是在现实对象102上所进行的处理的补充，由此通过执行重量级任务的计算来支持现实对象102。
随后，现实对象102在框图614里执行在现实对象102上的指令。同时，如在框图616里所示，服务器106可以使用至少一个经修改的实时3D虚拟副本104来更新持续虚拟世界系统。用户设备110然后可以输出经过更新的持续虚拟世界系统118运行，此系统包括可能遭受变化的实时3D虚拟副本104，其在所接收的媒体流上执行轻量操作，目的是适当地在用户设备110上显示经过更新的实时3D虚拟副本104，如框图618所示。方法600然后在检测620里检测是否有更多来自用户设备110的操纵指令，过后，方法600会通过用户114返回框图608，通过用户设备110继续操纵实时3D虚拟副本104。在没有更多的指令的情况下，处理可以结束。
根据本公开的一个实施例，附图7描述了一个经由服务器执行的方法700的流程图，实现对实时3D虚拟副本与现实对象之间的一个双向操作。方法700可以结合方法500，通过对在附图5里所描述的对现实对象的直接操纵来操纵一个实时3D虚拟副本，以及结合方法600，通过对在附图6里所描述的对实时3D虚拟副本的直接操纵来操纵一个现实对象。在一些实施例中，根据一个实施例，方法700可以通过一个系统来执行，例如参考附图1A-4所讨论的系统。
方法700可以通过提供一个持续的虚拟世界系统在步骤702与704中开始，此系统包含一个结构，其中代表至少一个现实对象的至少一个实时3D虚拟副本。然后，在框图706中，方法700继续在框图708中通过将至少一个3D虚拟副本与至少一个相对应的现实对象进行实时同步进行，其会将反馈信息发送到实时3D虚拟副本，从而增强实时3D虚拟副本，针对现实对象增加实时3D虚拟副本的精确性，并根据所作的同步，向实时3D虚拟副本提供某些物理属性。方法700在框图710里通过现实对象或者用户设备接收选择以及/或者操纵指令输入数据运行，然后在步骤712里，在相应的现实对象以及实时3D虚拟副本上处理以及执行选择以及/或者操纵指令。在一些实施例中，由服务器所进行的某些处理可以用于支持由现实对象所作的本地处理。如步骤714所示，通过使用在服务器上所储存以及计算的经修改的一个或以上的实时3D虚拟副本来更新虚拟世界系统，同时将经过更新的模块发送到计算设备的方式来继续方法700。方法可以在检测716中检测是否有更多的指令，在这种情况下，方法700会返回框图710。否则，方法700会在终结器718处结束。
虽然已经在附图中描述和示出了某些实施例，但是应该理解，这些实施例仅仅是对本发明进行说明而非限制，并且本发明不限于所示和所述的具体结构和布置，因为本领域的一般技术人员可以想到各种其他修改。因此，该具体实施方式被认为是具有说明性的而非具有限制性。

Claims (17)

1.一种实现实时3D虚拟副本和现实对象的双向交互操作的系统，其特征在于，所述系统包括：
持续虚拟世界系统，所述持续虚拟世界系统包括数据结构，其中代表至少一个对应的现实对象的至少一个实时3D虚拟副本，其中，所述持续虚拟世界系统在包括储存器以及至少一个处理器的服务器上储存和计算；
至少一个对应的现实对象，所述至少一个对应的现实对象经由网络通过所述服务器上储存和计算的所述持续虚拟世界系统通信且持续地连接到所述至少一个实时3D虚拟副本；
其中，所述至少一个实时3D虚拟副本与所述至少一个对应的现实对象同步，提供在所述至少一个现实对象和所述至少一个对应的实时3D虚拟副本之间共享的多个数据点，并且其中，所述至少一个实时3D虚拟副本的虚拟物理属性和虚拟世界坐标与所述至少一个对应的现实对象的物理属性和现实世界坐标对应，
其中，所述服务器进一步被配置为采用人工智能算法和组分析，以便同时且自主地管理或协助用户管理多个实时3D虚拟副本，以便管理所述对应的现实对象，并且其中，所述人工智能算法进一步基于在所述对应的现实对象之间产生对应的合作的一个或多个目标来实现所述实时3D虚拟副本之间的合作和交互。
2.根据权利要求1所述的系统，其特征在于，所述至少一个处理器被配置为经由所述对应的现实对象的模拟来实施用于管理所述对应的现实对象的所述人工智能算法。
3.根据权利要求1所述的系统，其特征在于，所述储存器进一步被配置为储存所述持续虚拟世界系统中的事件，并且其中，来自事件的数据由发生检测模块使用以检测和回放所述事件以供进一步审查。
4.根据权利要求1所述的系统，其特征在于，操纵所述至少一个实时3D虚拟副本或所述对应的至少一个现实对象，对影响虚拟现实对的情境数据生成变化。
5.根据权利要求1所述的系统，其特征在于，所述至少一个处理器被配置为通过对操纵指令进行运动学计算来实现现实对象和实时3D虚拟副本的所述双向交互操作。
6.根据权利要求5所述的系统，其特征在于，所述操纵指令的处理是对由所述现实对象进行的处理的补充，作为对所述现实对象的支持。
7.根据权利要求1所述的系统，其特征在于，所述持续虚拟世界系统由两个或更多个用户经由所述网络共享。
8.根据权利要求1所述的系统，其特征在于，所述同步包括向所述实时3D虚拟副本提供反馈，以便增强所述实时3D虚拟副本并且提供所述对应的现实对象的进一步物理属性，并且其中，所述同步进一步通过采用虚拟传感器、虚拟资源或其组合通过所述对应的实时3D虚拟副本来增强一个或多个现实对象。
9.一种实现实时3D虚拟副本和现实对象的双向交互操作的方法，其特征在于，所述方法包括：
在服务器上提供持续虚拟世界系统，所述持续虚拟世界系统包括数据结构，其中代表至少一个对应的现实对象的至少一个实时3D虚拟副本，其中，所述至少一个实时3D虚拟副本的虚拟物理属性和虚拟现实世界坐标与所述至少一个对应的现实对象的物理属性和现实世界坐标对应；
将所述实时3D虚拟副本与所述至少一个对应的现实对象同步，提供在所述至少一个对应的现实对象和所述实时3D虚拟副本之间共享的多个数据点；
接收通过在所述至少一个对应的现实对象上或至少一个用户设备处的一个或多个界面输入的选择和/或操纵指令，所述选择和/或操纵指令包括对多个共享的所述数据点的修改，其中，所述指令经由网络通过所述服务器上储存和计算的所述持续虚拟世界系统发送；
处理所述选择和/或操纵指令；
更新包括至少一个经更新的所述实时3D虚拟副本的所述持续虚拟世界系统；以及
采用人工智能算法和组分析，以便同时且自主地管理或协助用户管理多个实时3D虚拟副本，以便管理所述对应的现实对象，并且其中，所述人工智能算法进一步基于在所述对应的现实对象之间产生对应的合作的一个或多个目标来实现所述实时3D虚拟副本之间的合作和交互。
10.根据权利要求9所述的方法，其特征在于，进一步包括，经由所述对应的现实对象的模拟来实施用于管理所述对应的现实对象的所述人工智能算法。
11.根据权利要求9所述的方法，其特征在于，进一步包括，在所述服务器的储存器中储存所述持续虚拟世界系统中的事件，其中，来自事件的数据由发生检测模块使用以检测和回放所述事件以供进一步审查。
12.根据权利要求9所述的方法，其特征在于，操纵所述至少一个实时3D虚拟副本或所述对应的现实对象，对影响虚拟现实对的情境数据生成变化。
13.根据权利要求9所述的方法，其特征在于，通过对操纵指令进行运动学计算来实现现实对象和实时3D虚拟副本的所述双向交互操作。
14.根据权利要求13所述的方法，其特征在于，所述操纵指令的处理是对由所述现实对象进行的处理的补充，作为对所述现实对象的支持。
15.根据权利要求9所述的方法，其特征在于，所述持续虚拟世界系统由两个或更多个用户经由所述网络共享。
16.根据权利要求9所述的方法，其特征在于，所述同步包括向所述实时3D虚拟副本提供反馈，以便增强所述实时3D虚拟副本并且提供所述对应的现实对象的进一步物理属性，并且其中，所述同步进一步通过采用虚拟传感器、虚拟资源或其组合通过所述对应的实时3D虚拟副本来增强一个或多个现实对象。
17.一种其上储存有指令的计算机可读介质，其特征在于，当所述指令由一个或多个处理器执行时，所述指令使得所述一个或多个处理器进行根据权利要求9至16中任一项所述的方法。
CN202310488332.8A 2018-05-24 2019-05-23 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 Pending CN116520989A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862676124P 2018-05-24 2018-05-24
US62/676,124 2018-05-24
CN201910434394.4A CN110531846B (zh) 2018-05-24 2019-05-23 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910434394.4A Division CN110531846B (zh) 2018-05-24 2019-05-23 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作

Publications (1)

Publication Number Publication Date
CN116520989A true CN116520989A (zh) 2023-08-01

Family

ID=66793757

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310488332.8A Pending CN116520989A (zh) 2018-05-24 2019-05-23 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
CN201910434394.4A Active CN110531846B (zh) 2018-05-24 2019-05-23 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910434394.4A Active CN110531846B (zh) 2018-05-24 2019-05-23 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作

Country Status (5)

Country Link
US (1) US11079897B2 (zh)
EP (1) EP3572914A3 (zh)
JP (1) JP7082416B2 (zh)
KR (1) KR102275520B1 (zh)
CN (2) CN116520989A (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6944098B2 (ja) 2018-05-24 2021-10-06 ザ カラニー ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US11107242B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Detecting pose using floating keypoint(s)
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
US11762369B2 (en) * 2019-02-06 2023-09-19 Sensory Robotics, Inc. Robotic control via a virtual world simulation
US11115468B2 (en) 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
CN112102499B (zh) 2019-06-18 2024-08-30 卡兰控股有限公司 融合现实系统和方法
US11650719B2 (en) * 2019-06-18 2023-05-16 The Calany Holding S.À.R.L. Virtual creation of real-world projects
US11663685B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. System and method for providing digital reality experiences and decentralized transactions of real estate projects
KR102228099B1 (ko) * 2019-08-19 2021-03-17 (주)클로버추얼패션 의상의 패턴 조각들의 결합을 위한 가이드를 제공하는 방법 및 장치
CN112783890B (zh) * 2019-11-08 2024-05-07 珠海金山办公软件有限公司 一种生成数据透视表行的方法及装置
US20210158174A1 (en) * 2019-11-25 2021-05-27 International Business Machines Corporation Equipment maintenance assistant training based on digital twin resources
CN110989605B (zh) * 2019-12-13 2020-09-18 哈尔滨工业大学 一种三体智能系统架构及探测机器人
EP3846058A1 (en) * 2019-12-30 2021-07-07 TMRW Foundation IP SARL Multi-dimensional 3d engine computing and virtualization-based dynamic load balancing of virtual or real worlds
EP3846124A1 (en) * 2019-12-30 2021-07-07 TMRW Foundation IP SARL System and method enabling a collaborative 3d map data fusion platform and virtual world system thereof
US11529737B2 (en) 2020-01-30 2022-12-20 Raytheon Company System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
US11393175B2 (en) 2020-02-06 2022-07-19 Network Documentation & Implementation Inc. Methods and systems for digital twin augmented reality replication of non-homogeneous elements in integrated environments
CN111230887B (zh) * 2020-03-10 2021-01-26 合肥学院 一种基于数字孪生技术的工业涂胶机器人运行状态监测方法
CN111383348A (zh) * 2020-03-17 2020-07-07 北京理工大学 一种虚拟现实远程同步控制机器人的方法
CN111458154A (zh) * 2020-04-01 2020-07-28 清华大学苏州汽车研究院（吴江） 基于自动驾驶整车在环人车冲突场景的测试系统和方法
KR102309926B1 (ko) * 2020-04-07 2021-10-06 연세대학교 산학협력단 건물 정보 모델을 이용한 건물 객체 인식 장치를 위한 학습 데이터 생성 장치 및 방법
JP2023524250A (ja) * 2020-04-28 2023-06-09 ストロング フォース ティーピー ポートフォリオ ２０２２，エルエルシー 輸送システムのデジタルツインシステムおよび方法
CN111340949B (zh) * 2020-05-21 2020-09-18 超参数科技(深圳)有限公司 3d虚拟环境的建模方法、计算机设备及存储介质
KR20220018760A (ko) * 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
WO2022066459A1 (en) 2020-09-24 2022-03-31 Sterling Labs Llc Synchronization in a multiuser experience
CN114434437A (zh) * 2020-10-30 2022-05-06 西门子（中国）有限公司 一种机器人的远程控制方法及装置
KR102409380B1 (ko) * 2020-12-04 2022-06-14 한국해양과학기술원 해양로봇의 실시간 운용모드 전환을 위한 가상 물리 운용 시스템
CN112472298B (zh) * 2020-12-15 2022-06-24 深圳市精锋医疗科技股份有限公司 手术机器人及其控制装置、控制方法
EP4044001A1 (en) * 2021-02-16 2022-08-17 Deutsche Telekom AG A method for generating a three-dimensional interaction model
CN113076574B (zh) * 2021-04-20 2023-05-02 西安交通大学 一种轻量化跨平台的在线参数化建模方法
IT202100010415A1 (it) * 2021-04-23 2022-10-23 Torino Politecnico Metodo e sistema per controllare oggetti di un'unita' abitativa mediante tracciamento oculare
WO2022254437A1 (en) * 2021-06-01 2022-12-08 Bets Flow Ltd. System and method of enhanced user interaction platform
KR20220165948A (ko) * 2021-06-09 2022-12-16 주식회사 버넥트 원격 협업 방법 및 그 시스템
US20220400143A1 (en) * 2021-06-11 2022-12-15 Javid Vahid Real-time visualization module and method for providing the same
JP7081856B1 (ja) 2021-06-17 2022-06-07 アイザワ技術研究所株式会社 ３ｄオブジェクト管理用データ、コンピュータプログラム及び３ｄオブジェクトの分散管理方法
CN113434044A (zh) * 2021-07-01 2021-09-24 宁波未知数字信息技术有限公司 一种从混合现实到物理实体一体化交互系统
WO2023019402A1 (zh) * 2021-08-16 2023-02-23 京东方科技集团股份有限公司 显示装置的控制方法、显示装置、设备和计算机存储介质
CN113630593A (zh) * 2021-08-17 2021-11-09 宁波未知数字信息技术有限公司 一种多模态高精度全空间混合定位系统
CN113942009B (zh) * 2021-09-13 2023-04-18 苏州大学 机器人仿生手抓取方法
DE102021131060B3 (de) * 2021-11-26 2022-07-28 Sick Ag System und Verfahren mit einem System
CN114385002B (zh) * 2021-12-07 2023-05-12 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质
TR2021022147A2 (tr) * 2021-12-31 2022-02-21 İstanbul Geli̇şi̇m Üni̇versi̇tesi̇ Di̇nami̇k robot yönlendi̇rmesi̇ i̇çi̇n el termi̇nali̇ ve algori̇tmasi
KR20230121237A (ko) * 2022-02-11 2023-08-18 강성운 메타버스 포털 서비스 시스템
US20230353981A1 (en) * 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. System and method enabling accurate context-aware location-based services
US20230347923A1 (en) * 2022-04-27 2023-11-02 Tmrw Foundation Ip S. À R.L. Location-based autonomous navigation using a virtual world system
CN114895660A (zh) * 2022-04-27 2022-08-12 达闼机器人股份有限公司 无人设备的控制方法、装置、介质及设备
KR20230159950A (ko) 2022-05-16 2023-11-23 주식회사 컬러버스 복수 서버를 이용한 3차원 컨텐츠 제공 시스템 및 방법
CN114789454B (zh) * 2022-06-24 2022-09-06 浙江大学 基于lstm和逆运动学的机器人数字孪生轨迹补全方法
KR20240002329A (ko) 2022-06-29 2024-01-05 네이버랩스 주식회사 물리 증강 측정 방법 및 이를 위한 장치 및 시스템
DE102022206854A1 (de) 2022-07-05 2024-01-11 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachung einer Maschine mit prädizierter Sicht
KR20240053200A (ko) * 2022-10-17 2024-04-24 가온플랫폼 주식회사 가상 게이지 기반의 플랜트 모니터링 시스템 및 방법
DE102023200259A1 (de) * 2023-01-13 2024-07-18 Siemens Aktiengesellschaft Einrichtung zur Steuerung von zumindest einem in ein, insbesondere zur Interaktion mit zumindest einem maschinellen Prozess, beispielsweise in einem industriellen Umfeld, bildbares System integrierbaren ersten Funksende-/Funkempfangsgerät, Funksende-/Funkempfangsgerät, System und Verfahren zur Steuerung

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883817A (en) 1996-07-08 1999-03-16 Trimble Navigation Limited Method and apparatus for precise positioning of large structures
US5956039A (en) 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
EP1087323A1 (en) 1999-09-24 2001-03-28 Nokia Corporation A wireless system for interacting with a virtual space
US6556206B1 (en) 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20060122917A1 (en) 2000-08-14 2006-06-08 Urbanpixel Inc Real-time collaborative commerce in a multiple browser environment
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
JP2005518573A (ja) 2001-02-07 2005-06-23 ユニバーサル シティ スタジオズ エルエルエルピー テーマパークのための予約システムおよび予約方法
US20030030658A1 (en) 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US8909729B2 (en) 2001-11-20 2014-12-09 Portulim Foundation Llc System and method for sharing digital media content
JP2005539296A (ja) * 2002-08-21 2005-12-22 ニール，ソロモン マルチ−ロボットシステム内での自己設定可能なモバイルロボットエージェントの組織化団体の為のシステムと方法と装置
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
CN100484726C (zh) * 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
HUP0600879A2 (en) 2006-11-28 2008-06-30 Adam Dalnoki System and method for moving real objects through operations performed in a virtual environment
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8909370B2 (en) * 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US9111285B2 (en) 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
US20100131947A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
US8473852B2 (en) * 2009-07-31 2013-06-25 Siemens Corporation Virtual world building operations center
DE102009039834A1 (de) 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US8660670B2 (en) * 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
CN102120325B (zh) 2010-01-08 2012-12-12 哈尔滨理工大学 新型遥操作远端机器人控制平台及方法
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9384587B2 (en) 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US20130009994A1 (en) 2011-03-03 2013-01-10 Thomas Casey Hill Methods and apparatus to generate virtual-world environments
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
EP2745462B1 (en) 2011-08-18 2021-10-20 Pfaqutruma Research LLC Systems and methods of virtual world interaction
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
EP2579128B1 (en) 2011-10-05 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Portable device, virtual reality system and method
CN104011788B (zh) 2011-10-28 2016-11-16 奇跃公司 用于增强和虚拟现实的系统和方法
EP2803064A4 (en) 2012-01-09 2015-11-18 Nokia Technologies Oy METHOD AND APPARATUS FOR CREATING AN ARCHITECTURE TO PROVIDE MIXED REALITY CONTENT
US9281727B1 (en) 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US20140214504A1 (en) 2013-01-31 2014-07-31 Sony Corporation Virtual meeting lobby for waiting for online event
IL313175A (en) * 2013-03-11 2024-07-01 Magic Leap Inc System and method for augmentation and virtual reality
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US9579799B2 (en) * 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
WO2016017254A1 (ja) 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20160133230A1 (en) 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
JP2016110245A (ja) 2014-12-03 2016-06-20 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US9911232B2 (en) * 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
JP6676286B2 (ja) 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
WO2016187477A1 (en) 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
JP6877341B2 (ja) 2015-07-08 2021-05-26 ソニーグループ株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
US10399225B2 (en) * 2015-07-08 2019-09-03 Stephen Favis Biomimetic humanoid robotic model, control system, and simulation process
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
FR3041804B1 (fr) 2015-09-24 2021-11-12 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
WO2017141391A1 (ja) 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
US20170250930A1 (en) 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20170289202A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Interactive online music experience
US20170286572A1 (en) 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
WO2017218384A1 (en) 2016-06-13 2017-12-21 Wal-Mart Stores, Inc. Virtual reality shopping systems and methods
US20180040038A1 (en) 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US20180047093A1 (en) 2016-08-09 2018-02-15 Wal-Mart Stores, Inc. Self-service virtual store system
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
US20180060948A1 (en) 2016-08-24 2018-03-01 Wal-Mart Stores, Inc. Apparatus and method for providing a virtual shopping environment
WO2018074000A1 (ja) 2016-10-20 2018-04-26 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法
US10877470B2 (en) 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
US20180231973A1 (en) 2017-02-16 2018-08-16 Wal-Mart Stores, Inc. System and Methods for a Virtual Reality Showroom with Autonomous Storage and Retrieval
US10967255B2 (en) 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
WO2018226621A1 (en) 2017-06-05 2018-12-13 Umajin Inc. Methods and systems for an application system
US20190065028A1 (en) 2017-08-31 2019-02-28 Jedium Inc. Agent-based platform for the development of multi-user virtual reality environments
US20190102709A1 (en) 2017-10-03 2019-04-04 Invight, Inc. Systems and methods for coordinating venue systems and messaging control
US20190102494A1 (en) 2017-10-03 2019-04-04 Endurica, LLC System for tracking incremental damage accumulation
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
US10565764B2 (en) 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
JP6944098B2 (ja) 2018-05-24 2021-10-06 ザ カラニー ホールディング エスエーアールエル 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US20200210137A1 (en) 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10921878B2 (en) 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration

Also Published As

Publication number Publication date
CN110531846B (zh) 2023-05-23
KR102275520B1 (ko) 2021-07-12
EP3572914A2 (en) 2019-11-27
US20190361589A1 (en) 2019-11-28
EP3572914A3 (en) 2020-02-19
JP7082416B2 (ja) 2022-06-08
JP2020017264A (ja) 2020-01-30
US11079897B2 (en) 2021-08-03
CN110531846A (zh) 2019-12-03
KR20190134513A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
CN110531846B (zh) 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
Moniruzzaman et al. Teleoperation methods and enhancement techniques for mobile robots: A comprehensive survey
Müller et al. Sim4cv: A photo-realistic simulator for computer vision applications
Echeverria et al. Simulating complex robotic scenarios with MORSE
US20220036579A1 (en) Systems and Methods for Simulating Dynamic Objects Based on Real World Data
CN107671857A (zh) 用于服务机器人操作演示与算法验证的三维仿真平台
CN112102497B (zh) 用于将应用和交互附接到静态对象的系统和方法
US11516296B2 (en) Location-based application stream activation
GB2598345A (en) Remote operation of robotic systems
CN112090064A (zh) 用于在芯片上实现跟踪数据通信的系统、方法和装置
CN113711162A (zh) 用于混合现实应用中机器人交互的系统和方法
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
Betancourt et al. Exocentric control scheme for robot applications: An immersive virtual reality approach
Ai et al. Real-time unmanned aerial vehicle 3D environment exploration in a mixed reality environment
EP3754615B1 (en) Location-based application activation
CN115359222A (zh) 一种基于扩展现实的无人交互控制方法及系统
GB2539182A (en) Dynamic augmented reality system
Fournier et al. Immersive virtual environment for mobile platform remote operation and exploration
Williamson et al. Command and Control of a Large Scale Swarm Using Natural Human Interfaces.
Kenzhetayev et al. A Real-time, Remotely Operated Vehicle, using a Raspberry Pi and a Virtual Reality Headset
EP3754466A1 (en) System and method for virtually attaching applications to and enabling interactions with dynamic objects
Zhang et al. A rate-based drone control with adaptive origin update in telexistence
Vergara et al. Complementing Human Perception in Remote Site Exploration using Augmented Reality-A Proof of Concept
CN116679587A (zh) 一种地外星表巡视探测混合现实遥操作仿真系统与方法
Ishii Industrial application of augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination