CN110531960A - 用于通过虚拟世界,在现实世界中开发,测试以及部署数字现实应用程式的系统与方法 - Google Patents

用于通过虚拟世界,在现实世界中开发,测试以及部署数字现实应用程式的系统与方法 Download PDF

Info

Publication number
CN110531960A
CN110531960A CN201910441896.XA CN201910441896A CN110531960A CN 110531960 A CN110531960 A CN 110531960A CN 201910441896 A CN201910441896 A CN 201910441896A CN 110531960 A CN110531960 A CN 110531960A
Authority
CN
China
Prior art keywords
virtual
practical application
formula
digital
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910441896.XA
Other languages
English (en)
Other versions
CN110531960B (zh
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tomorrow Fund Intellectual Property Holding Co Ltd
Original Assignee
Tomorrow Fund Intellectual Property Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tomorrow Fund Intellectual Property Holding Co Ltd filed Critical Tomorrow Fund Intellectual Property Holding Co Ltd
Publication of CN110531960A publication Critical patent/CN110531960A/zh
Application granted granted Critical
Publication of CN110531960B publication Critical patent/CN110531960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)

Abstract

一个通过一个持久的虚拟世界系统,用于对数字现实应用程式进行开发,测试以及部署到现实世界的系统和方法。此系统包括一个服务器,此服务器储存以及计算一个持久的虚拟世界系统,该系统由一个与现实物体相对应的至少一个虚拟副本,一个应用程式开发环境模块,以及一个应用程式管理环境模块组成。一个用户设备通过网络连接到服务器上,访问一个或以上的持久虚拟世界系统,应用程式开发环境模块以及应用程式管理环境模块。用户在一个合并现实的环境中查看以及与数字现实应用程式进行互动,该合并现实由一个包括现实物体的现实世界层,在现实世界层之上所配置,并包括完全虚拟对象以及相应的现实物体的虚拟副本的一个虚拟世界层,以及一个或以上包括经部署的数字现实应用程式的数字现实应用程式层所组成。

Description

用于通过虚拟世界,在现实世界中开发,测试以及部署数字现 实应用程式的系统与方法
技术领域
本公开大致与计算机系统有关,进一步来说,是与通过一个持久的虚拟世界系统,在现实或者虚拟世界里开发,测试以及部署一个或以上的数字现实应用程式的系统和方法有关。
背景技术
用于向用户提供数字现实应用程式内容的技术发展实现了过去没有可能的体验。特别是例如增强现实(AR),虚拟现实(VR)以及混合现实(MR)等的数字现实改变了用户对于视觉,听觉以及感觉的概念,以及有多少部分的现实世界可以进入这些体验,向用户提供在现实世界或者在一个想象的世界中具有物理存在的感觉。
数字现实应用程式的开发,测试以及部署可以是计算密集型的。另外,数字现实环境的多种属性给开发人员在创建数字现实应用程式的过程中带来挑战。目前所需要的是一个以减少密集计算的方式以及在一个综合的生态系统里简化数字现实应用程式的开发,部署以及运作的系统与方法。
发明内容
本总结将以简单的方式介绍一系列的概念,这些概念将在下面作进一步的描述。本总结不在于识别所要保护主题的关键特征,也不旨在确定所要保护主题的范围。
在背景中所提到的缺点将由本公开中所提及的通过一个持久的虚拟世界系统,允许在现实世界进行综合开发,测试以及部署数字现实应用程式的系统和方法来解决。
一个用于开发,测试以及部署包括例如定位数字现实应用程式,区域数字现实应用程式服务,或者其组合等的数字现实应用程式的系统包括至少一个具有储存器以及至少一个处理器的服务器,储存器储存一个持久的虚拟世界系统,此系统包括至少一个与一个现实对象相对应的虚拟副本,其中虚拟副本的虚拟3D世界坐标以及虚拟属性是以现实对象的3D世界坐标以及属性为基础;同时,至少一个用户设备通过一个网络连接到服务器,并被设置,用于访问持久的虚拟世界系统,其中一个或以上的用户在一个具有一个现实世界层,一个在现实世界层之上所设置的虚拟世界层,以及一个或以上在虚拟世界层之上所设置的数字现实应用层的合并现实里查看以及与一个或以上的数字现实应用程式进行互动。
在本公开里,数字现实应用程式可以包括位置数字现实应用程式或者区域数字现实应用程式服务,或其组合。位置数字现实应用程式通过在一个或以上的预先确定的以及精确的3D世界位置来进行设置,包括3D位置与方向,同时可以具有多个3D世界位置实例。区域数字现实应用程式服务是指在覆盖一个或以上的位置数字现实应用的一个或以上的预先确定的地理位置上持久可供使用的应用服务,其可以向在那些范围内或靠近那些范围的用户提供相应的与一个或以上的位置数字现实应用相关的应用服务。位置数字现实应用以及区域数字现实应用服务被设置在一个或以上的数字现实应用层之上。
服务器的储存器另外储存一个应用开发环境模块,应用程式开发员可以使用此模块访问虚拟世界系统,从而开发一个或以上的数字现实应用程式,以及储存一个应用管理环境模块,应用程式管理员可以进入持久的虚拟世界系统来获取,管理以及部署一个或以上的数字现实应用程式。
在一些实施例中,至少一个服务器可以使用一个云到边缘的基础结构,此结构可以实现分布式的计算功能,使用公共或私有云,微云以及边缘系统,例如企业系统,移动平台,以及/或用户设备。在一些实施例中,数字现实应用程式的处理以及调配是以至少一个用户设备与至少一个数字现实应用程式的距离为基础。在另外的实施例中,在至少一个用户设备接近多个数字现实应用的情况下,服务器可以在一个或以上的用户的视野范围内或者在其广泛视野范围内计算以及合成多个应用程式的媒体内容,同时将经合成的媒体内容传送到用户设备。
根据一个实施例,持久的虚拟世界系统包括一个虚拟3D基础设施结构,包括一个或以上的虚拟副本,完全虚拟的对象,虚拟过道,位置数字现实应用程式,或区域数字现实应用程式服务,或者其组合,在相互之间以及与现实世界层的元素,通过其相对应的虚拟副本实现空间组织,行为,计算以及逻辑互动。
根据一个实施例,虽然在部署的过程中,应用程式的发布在一个或以上的持久的数字现实应用层上完成,但是在用户参与的过程中,一个或以上的位置数字现实应用或者区域数字现实应用服务可以过滤以及处理虚拟世界层的多个元素,包括虚拟副本以及与特定的一个或以上的位置数字现实应用或区域数字现实应用服务有关的完全虚拟对象。
在一些实施例中,应用开发环境模块包括子模块的开发,设置以及测试。这些子模块的设置使一个应用程式开发员无缝地进行开发,测试以及部署一个或以上的数字现实应用程式或者数字现实应用层,包括调整内容,位置或者区域位置以及空间的设定,其中包括3D定位以及缩放,时间设定,以及一个或以上的数字现实应用或数字现实应用层的目标用户参数。在位置与空间设定子模块中,数字现实应用程式被安置于在持久虚拟世界系统之上的一个或以上的数字现实应用程式层里,在进行未来配置以后,用户可以找到它们并进行互动。一旦对一个或以上的数字现实应用程式进行开发与测试,应用程式开发员可以通过应用程式管理环境模块与一个开发管理员共享一个或以上的数字现实应用程式。
应用程式管理环境模块由所共享的一个或以上的数字现实应用程式,一个应用程式管理测试子模块,一个基于规则的应用程式评估子模块,一个应用程式设定子模块,以及一个线上应用程式库所组成。在应用程式管理环境模块中,应用程式管理员可以通过应用程式管理测试子模块测试数字现实应用程式。通过应用程式测试子模块来测试应用程式以及通过基于规则的应用程式评估子模块来评估应用程式的适用性以后,应用程式管理员可以确定一个或以上的数字现实应用程式是否需要调整。应用程式管理员可以向应用程式开发员发出调整的请求。应用程式开发员随后调整一个或以上的数字现实应用程式,同时一旦获得批准,应用程式管理员可以在一个线上应用程式库配置与测试所配置的一个或以上的数字现实应用程式,通过应用配置子模块与终端用户进行互动。经过配置的一个或以上的数字现实应用程式包括由应用程式开发员之前所设置并由应用程式管理员所批准的配置。就是说,所配置的应用程式包括内容,包括3D定位与缩放的现实以及/或者虚拟位置以及空间设定,时间设定,以及由一个或以上的数字现实应用程式所定义的目标用户参数。用户可以通过网络与服务器连接的设备与数字现实应用程式进行互动。服务器可以在其中为用户提供数字现实应用程式内容的服务,流传播,分发,计算以及/或者渲染数字现实应用程式内容。
一个或以上的数字现实应用程式可以由储存在服务器的存储器里的持久虚拟世界系统配置在现实世界中。持久虚拟世界系统在本公开里是指包括例如现实物体的3D位置,方向以及规模等的现实世界坐标的现实世界的一个虚拟版本,包括横向与纵向的位置方向数据,其被合并到现实世界的虚拟副本的设置中。持久虚拟世界系统包括一个详细的世界地图,根据一个现实生活模型,其中每个实体(例如建筑物,树,人等)根据现实世界数据进行建模,但是它也可以包括没有以现实世界数据为基础的虚拟对象。因此,在配置一个或以上的位置数字现实应用程式的同时,一个应用程式开发员可以将数字现实应用程式附加在存在于持久的虚拟世界系统里的一个或以上的虚拟副本上,使数字现实应用程式被看作为现有的虚拟副本的延申。然而,在其它的实施例中,位置数字现实应用程式可以在没有被附加在一个特定的虚拟副本,但根据在持久的虚拟世界系统里的其它虚拟副本而被定位的情况下,被附加在持久虚拟世界系统的一个位置上。在另外的实施例中,区域数字现实应用程式服务被附加在一个或以上没有链接到一个特定的虚拟副本的持久虚拟世界系统的地理位置上。因此,将持久的虚拟世界系统作为一个参考,对数字现实应用程式进行开发,测试,评估与部署可以为应用程式开发员,管理员以及终端用户提供世界变成了一个开发空间的感觉。
根据一个实施例,一种促进数字现实应用程式在现实世界中的开发,测试和部署的方法,包括由至少一个包括存储器的服务器和至少一个处理器来提供一个或以上的数字现实应用程式和包括一个相对应的现实对象的至少一个虚拟副本的一个持久虚拟世界系统的步骤,其中虚拟副本的虚拟3D世界坐标以及虚拟属性是以现实对象的3D世界坐标以及属性为基础;同时由至少一个服务器接收来自至少一个可以访问持久虚拟世界系统的用户设备的输入数据。至少一个用户设备通过网络连接到至少一个服务器。持久的虚拟世界系统允许一个或以上的用户在一个包括一个现实世界层,一个在现实世界层之上所设置的虚拟世界层以及在虚拟世界层之上所设置的一个或以上的数字现实应用程式层的合并现实里查看以及与一个或以上的数字现实应用程式进行互动。
在一些实施例中,输入数据可能与一个或以上的数字现实应用程式的开发有关。在这种情况下,至少一个服务器可以促进由一个应用程式开发员通过一个应用开发环境模块开发一个或以上的数字现实应用程式的进一步开发的步骤;由应用程式开发员使用一个应用程式管理环境模块共享数字现实应用程式;通过应用程式管理环境模块,由应用程式管理员测试用于合规评估的数字现实应用程式;由应用程式管理员通过应用程式管理环境模块批准或者拒绝数字现实应用程式;在有需要的情况下,向应用程式开发环境模块发送应用程式调整请求;由应用程式开发员通过应用程式开发环境模块调整应用程式;同时一旦数字现实应用程式符合应用程式管理员的合规参数,应用程式管理员就在一个线上应用程式库里对数字现实应用程式进行配置。
根据一个实施例,通过应用程式开发模块开发一个或以上的数字现实应用程式另外包括由应用程式开发员设定应用程式的配置(例如其中包括位置,时间,以及目标用户参数等);由应用程式开发员在一个应用程式开发空间测试数字现实应用程式;同时由应用程式开发员在虚拟世界的终端位置或在虚拟现实的区域位置里,以及在现实世界的终端位置或者在增强现实的区域位置里进行进一步的测试。
在本公开中的应用程式库可以被看作是在持久的虚拟世界系统的一个虚拟世界层之上所设置的数字现实应用程式层,一个或以上的数字现实应用程式在其中被定位以及被配置,此持久的虚拟世界系统反过来被配置在现实世界层之上。虚拟世界层包括一个或以上的虚拟副本以及完全虚拟对象。这组层形成一个经合并的现实,用户在其中使用用户设备查看以及与数字现实应用程式以及与在增强现实,虚拟现实或者两者结合中的某些虚拟副本进行互动。由于现实世界里的所有或者大部分的现实物体被映射或虚拟化在持久的虚拟世界系统中,位于持久虚拟世界系统范围中的用户会感觉现实世界是一个具有数字现实应用程式的应用程式库,这些数字现实应用程式被配置在现实世界的不同部分。
以上的总结没有详尽地包括本公开的所有方面。本公开预计包括所有可以通过以上所总结的所有可行的组合方式所执行的系统与方法,以及在以下详细描述中所公开的,特别是在本申请中所指出的权利要求。这些结合具有没有在以上总结中所特别指出的优点。根据附图和下面的详细描述,本公开的其他特征和优点将显而易见。
附图说明
通过参考以下详细描述并结合附图,将更容易理解和了解之前所陈述的有关方面以及许多伴随的优点。其中包括:
附图1描绘了一个根据一个实施例,通过一个持久的虚拟世界系统,用于开发,测试以及在现实世界中配置一个或以上的数字现实应用程式系统的图。
附图2描绘一个根据一个实施例,通过一个持久的虚拟世界系统,用于开发,测试在一个现实世界中的一个或以上的数字现实应用程式的应用程式开发环境模块的图。
附图3描绘了一个根据一个实施例,通过一个持久的虚拟世界系统,实现在现实世界进行合规测试以及将一个或以上的数字现实应用程式配置在现实世界的应用程式管理环境模块的图。
附图4A-4B描绘了通过一个持久的虚拟世界系统,用于开发,测试以及将一个或以上的数字现实应用程式配置在现实世界的系统的示意图,其中一个虚拟世界系统以及现实世界被合并为合并现实,实现一个或以上的数字现实应用程式的配置。
附图5描绘了一个用户设备图,根据一个实施例,此设备可以用于开发,测试以及部署本公开的一个或以上的数字现实应用程式。
附图6描绘了一个方法的框图,此方法通过一个持久的虚拟世界系统,用于开发,测试以及将一个或以上的数字现实应用程式配置在现实世界中。
具体实施方式
在以下的描述中,通过描述多个实施例来解释有关的附图。同时,通过参考多个例子来描述不同的实施例。在没有离开所要保护的主题的情况下,实施例包括设计以及结构的改变。
附图1描绘了一个系统100,根据一个实施例,此系统通过一个持久的虚拟世界系统,用于开发,测试以及在现实世界里部署一个或以上的包括位置数字现实应用程式,区域数字现实应用程式服务或其组合的数字现实应用程式。
系统100可以包括至少一个由存储器104以及至少一个处理器106所组成的服务器102。存储器104储存一个或以上的数字现实应用以及一个持久虚拟世界系统108,此系统由至少一个与相应的现实物体(未显示)所对应的虚拟副本110(例如虚拟副本A-N),其中虚拟副本110的虚拟3D世界坐标与虚拟属性是以现实对象的3D世界坐标以及属性为基础;一个应用程式开发环境模块112,此模块被设置,使用户114(例如应用程式开发员)可以进入持久的虚拟世界系统108并同时开发一个或以上的数字现实应用程式116的应用程式开发环境模块112,以及一个应用程式管理环境模块118,此模块被设置,使用户114(例如应用程式管理员)可以管理通过应用程式开发环境模块112所开发的一个或以上的数字现实应用程式116。根据其所赋予的权利,用户114可以经由由网络122连接的用户设备120进入一个或以上的持久虚拟世界系统108,应用程式开发环境模块112,以及应用程式管理环境模块118。至少一个处理器106被设置,用于在虚拟副本110以及数字现实应用程式116的数据上执行指示。在一些实施例中,持久虚拟世界系统108被设置,使用户可以在一个包括现实世界层,一个在现实世界层之上所设置的虚拟世界层,以及在一个虚拟世界层之上所设置的一个或以上的数字现实应用层的合并现实里查看以及与数字现实应用程式106进行互动。下面将作详细的描述。
在本公开中,术语“持久”是用于表征在不具有持久执行处理或网络连接的情况下,系统仍然可以继续的状态。例如,术语“持久”用于表征一个虚拟世界系统,其中,虚拟世界系统以及所有虚拟副本,以及包括在内的完全虚拟对象以及数字现实应用程式会在用于创建虚拟副本,完全虚拟对象以及数字现实应用程式的处理停止以后,仍然继续存在,并独立于与虚拟世界系统连接的用户。因此,虚拟世界系统被储存在服务器中非易失性存储的位置中。在被设置用于完成特定目标的情况下,即使用户未连接到服务器上,虚拟副本,完全虚拟对象以及数字现实应用程式可以以这种方式进行交互以及互相协作。
应用程式开发环境模块112被设置,使一个或以上的用户114一起或分别地,例如一个或以上的应用程式开发员,可以通过虚拟世界系统108连接,开发,创建以及测试一个或以上的数字现实应用程式,并与一个应用程式管理环境模块118共享一个或以上的数字现实应用程式116。应用程式管理环境模块118被设置,使一个或以上的用户114,例如应用程式管理员,执行合规测试,配置以及测试将数字现实应用程式116部署在一个线上应用程式库,终端用户可以通过用户设备120进入此程序库。
在一些实施例中,一旦被配置以及测试所设置的,数字现实应用程式116被附加在存在于持久的虚拟世界系统108中的一个虚拟副本110上,通过箭头从某些数字现实应用程式116指向至少一个虚拟副本110的方式在附图2中表示。因此,一个或以上的数字现实应用程式116可以在虚拟副本110的同样位置中进行配置,同时可以被看作是现有的虚拟副本110的一个延申。然而,在其它的实施例中,一个或以上的数字现实应用程式116可以在没有被附加在一个特定的虚拟副本110的情况下,附加在持久的虚拟世界系统108的位置上。在其它的实施例中,指定一个或以上的数字现实应用程式116的一个或以上的区域数字现实应用程式服务的区域包括将一个或以上的区域数字现实应用程式服务附加在没有与一个特定的虚拟副本连接的持久虚拟世界系统108的一个或以上的地理范围。
在持久虚拟世界系统108中的虚拟副本110可以根据形状,地点,位置与方向,以及其它属性(例如物理以及逻辑属性),以及虚拟副本110所依据的每一个现实物体所期待的功能与系统影响来进行开发(例如耗能,流量行为,碳排放等)。因此,例如,虚拟副本110可以包括通过包括在副本编辑器(未示出)中的软件模块和工具输入的数据和指令,副本编辑器被配置为输入每个虚拟副本110的数据和指令,其可以配置这些属性中的每一个。然而,虚拟副本110同时也代表没有存在于现实生活中的物体,例如完全虚拟的物体。这些代表完全虚拟物体的虚拟副本110也可以根据现实物体的位置进行定位,同时具有附加在其上面的数字现实应用程式116。
在一些实施例中,一个虚拟副本包括一个或以上的3D世界以及建筑物数据,例如SLAM或者以衍生映射为基础的数据;3D几何数据;3D点云数据;或者代表现实世界结构属性的地理信息系统数据,此数据会用于建立一个数字现实应用的3D结构模型。
持久的虚拟世界系统108是现实世界的虚拟版本,包括现实世界坐标,例如3D位置,方向,以及现实物体的规模,包括纵向以及横向的位置与方向数据,其合并在虚拟副本110的设置中。持久的虚拟世界系统108可以包括一个详细的世界地图,根据一个现实生活模块,每一个主体(例如建筑物,树,人等)根据现实世界数据进行建模,但其也可以包括没有以现实世界数据为基础的虚拟物体。用于将现实世界物体转化为虚拟副本110的建模技术是以本领域已知的技术为基础。在一个实施例中,虚拟副本110可以根据可用的现实世界元素的计算机辅助绘图模型进行建模。例如,机器所有者可以提供现有的机器数字CAD模型。同样的,建筑物的所有者或者政府机关可以提供建筑物的信息模型(BIMs),作为一个设施的物理以及功能属性的数字代表,并将其储存在一个持久的虚拟世界系统108中。在另外的实施例中,虚拟副本可以通过一系列的照片,视频,深度的同时定位与映射(SLAM)扫描功能输入车或基于无人机的影像扫描管道来进行建模。在其它的实施例中,例如合成孔径雷达,实孔径雷达,光探测和测距(LIDAR),反向孔径雷达,单脉冲雷达等的雷达成像,以及在将现实世界元素结合在持久虚拟世界系统108之前,使用其他类型的成像技术来映射和模拟现实世界的元素。雷达成像解决方案用于在结构原型不可用的情况下,或者在缺少信息或者需要在虚拟世界主体增加CAD模型所没有提供的额外信息的情况下。
根据一个实施例,由数字现实应用程式116所提供的数字内容可以包括至少以下的一种:成像数据,3D几何,视频数据,音频数据,触觉数据,文本数据,或者其组合。向至少一个用户114所提供的数字内容的一个或多个部分可以包括增强现实(AR),虚拟现实(VR)数字内容,或者其组合。在一个用户114将数字内容看作是AR数字内容的情况下,AR数字内容包括由计算机所衍生的传感输入所进行增强的物理现实世界环境元素,例如声音,视频,图形或者GPS数据。增强技术通常在一个实时以及具有环境元素的语义情境中执行,例如在现实世界中补充信息或虚拟物体。AR数字内容允许有关围绕用户114的现实世界或者虚拟物体在现实世界中进行补充,进行互动与数字互动。如果用户114视数字内容为VR数字内容,VR数字内容可以包括使用模拟世界替代现实世界的虚拟元素。
至少一个服务器102可以提供足够的计算资源来进行重荷的应用程式,例如为来自交互用户114的一个或以上的数字现实应用程式116进行数字内容的服务,分发,计算,流传播以及/或者渲染。在优先的实施例中,服务器102的计算环境在一个抽象的虚拟化的基础设施上运行,此基础设施在例如在云服务器里等的应用程式之间共享例如CPU,存储器以及储存等的资源。使用云计算网络,可以按需将对计算能力,计算机基础设施(例如通过一个所谓的结构即服务,或者IaaS),应用程式和业务流程的访问作为服务提供给用户114。
在一些实施例中,处理以及提供至少一个数字现实应用程式116是以一个或以上的用户设备120与至少一个数字现实应用程式116的距离为基础。在一些实施例中,处理以及提供至少一个数字现实应用程式116是以服务器为基础,以客户为基础,或以两者的结合为基础。在以服务器为基础的处理与供给的实施例中,在由用户114所使用的一个或以上的用户设备120接近至少一个数字现实应用程式116的情况下,对至少一个数字现实应用程式116所作的处理以及可选的渲染可以由至少一个服务器102的至少一个处理器106所完成。因此,在一个或以上的用户设备120靠近至少一个数字现实应用程式116的情况下,服务器102的至少一个处理器106可以进行地理空间处理(例如根据用户114目前所在的现实或虚拟位置与方向,使用一个用户设备120),选择性渲染,以及将一个或以上的数字现实应用程式的媒体内容传输到用户114,由用户设备120进行输出,只留下轻量的运作与计算,由用户设备120进行。在以客户处理与提供的实施例中,在用户114靠近至少一个数字现实应用程式116的情况下,服务器120可以发生一个或以上的数字现实应用,用于本地处理以及由用户设备120进行执行。
在其它的实施例中,在由用户114所使用的一个或多个用户设备120在一个或以上的用户114在视野范围(例如达到90度)或者广泛视野(例如大于90度,例如120度,180度或者甚至360度)里靠近一个或以上的数字现实应用程式116的多个位置数字现实应用程式或区域数字现实应用服务的情况下,服务器102计算以及集合在一个或以上的用户114的视野范围或者广阔视野内的一个或以上的数字现实应用程式116的多个位置数字现实应用程式或区域数字现实应用服务的媒体内容,同时将这些所集合的媒体内容传输到用户设备120。
在一些实施例中,至少一个服务器102可以使用一个云到边缘的基础设施结构,此结构可以实行分布式的计算功能,包括使用公共或私有云,微云以及边缘系统,例如企业系统,移动平台,以及用户设备。包括物理服务器以及网络设备的资源可以实现一个共享的储存与计算,其可以根据例如用户与资源的距离,以及用户对网络以及计算的需求等因素来进行动态的分布。
在一个实施例中,为了减少对硬件以及网络的需要,减少网络的延迟,以及改善一般的数字现实体验,数字现实生态系统可以通过包括例如第五代的无线通讯系统的毫米波或者毫米波以及子6GHz的通讯系统的网络122进行连接。在另外的实施例中,系统可以通过无线本地局域网进行连接,提供最好具有16GHz的数据。所提供的通讯系统允许大约1到5毫秒的端对端延迟以及1-10Gbps的下行链路到终点的速度,符合执行通常高度交互的数字现实应用程式所需要的参数。这会形成高质量,低延迟的实时数字应用程式内容流传播。在另外的实施例中,数字现实生态系统通过第四代无线系统通讯进行通讯连接,可以由4G通讯系统作为支持,或者包括其它有线或无线通讯系统。
用户设备120可以包括例如手提电话,智能电话,智能隐形眼镜,头戴显示器,PDAs(个人数字助理),掌上游戏设备,便携媒体播放器,个人电脑,游戏机,媒体中心,或者专门为与数字现实互动而设计的设备(例如VR/AR/MR眼镜,VR/AR/MR隐形眼镜等)。
在一些实施例中,用户与数字内容的互动可以具有手势功能,用户114可以通过用户设备120使用一个或以上的互动手势。例如,手势可以是自然用户界面手势。NUI可以被定义为任何可以使用户114自然地与一个设备进行互动,不受例如鼠标,键盘,遥控等的输入设备所强加的人工限制的界面技术。属于NUI方法的例子包括那些应用程式手势的方法,例如触觉或非触觉界面,例如语音识别,触觉识别,脸部识别,手写笔识别,空中手势(例如手的姿势,移动以及其它身体/附加物动作/姿势),头部以及眼部跟踪,声音与语音,以及与视觉,语音,声音,姿势以及/或触觉数据有关的机器学习等。
附图2描绘了一个应用程式开发环境模块112,根据一个实施例,其可以通过一个持久的虚拟世界系统,开发,测试以及将一个数字现实应用程式116部署在现实世界里。附图2的一些元素与附图1的元素相似,因此使用相似或同样的参考数字来识别这些元素。应用程式开发环境模块112包括一个开发子模块202,一个设定子模块204,以及一个测试子模块206。
开发子模块202被设置,使一个或以上的应用程式开发员208开发一个或以上的数字现实应用程式116。为了建立一个或以上的数字现实应用程式116,开发子模块202包括应用程式开发工具210,例如实时3D游戏引擎软件开发工具。设定子模块204被设置,允许一个或以上的应用程式开发员208来设定数字现实应用程式116进行适合的设置所需的各种特征。设定子模块204可以包括地点与空间设定212,时间设定214,以及目标用户参数设定216。
位置以及空间设定212被设置,用于确定一个或以上的位置或区域位置,其中,至少一个数字现实应用程式116可供终端用户使用,包括与至少一个数字现实应用程式116相关的三维位置与规模。一个或以上的数字现实应用程式116被定位在代表现实世界的在持久虚拟世界系统之上的一个或以上的数字现实应用层上,用户可以找到它们而进行互动。
在一些实施例中,通过位置与空间设置212而指定一个或以上的位置数字现实应用程式的位置与空间包括将一个或以上的位置数字现实应用程式附加在存在于持久虚拟世界系统里的一个或以上的虚拟副本。在另外的实施例中,通过位置与空间设置212来指定一个或以上的位置数字现实应用程式的位置与空间包括将一个或以上的数字现实应用程式附加在没有链接到一个特定的虚拟副本的持久的虚拟世界系统的空的空间上。在另外的实施例中,通过位置与空间设置212指定一个或以上的数字现实应用程式服务的范围包括将一个或以上的区域数字现实应用程式服务附加在没有链接在一个特定的虚拟副本上的持久虚拟世界系统的一个或以上的地理范围上。例如,设置的子模块204会被设置,将一个或以上的位置数字现实应用程式附加在存在于持久虚拟世界系统里的一个或以上的虚拟副本或者附加在没有与一个特定的虚拟副本链接的持久虚拟世界的空的地点,或者将一个或以上的区域数字现实应用程式服务附加在未与一个特定的虚拟副本相链接的持久虚拟世界系统的一个或以上的地理范围。
时间设定214可以设定数字现实应用程式116可供用户114使用的不同的时段。在一个实施例中,时间设定214设置一个或以上的数字现实应用程式116,可以自动地定期对其进行更新或修改。在另一个实施例中,时间设定214可以根据时间和日期,在多个时间点禁止使用数字现实应用程式116。在另一个实施例中,位置与空间设置212在某季节或预先确定的天气状况设置数字现实应用程式116。例如,时间设定214可以确定数字现实应用程式116只是在白天,或者在晚上,或者在特定的时间,在特定的时间范围内,在夏天或者在冬天,或者在下雨天或干燥的日子供使用。目标用户参数设定216可以使应用程式开发员208确定访问数字现实应用程式116的权利。例如,应用程式开发员208可以允许选定的一组用户访问数字现实应用程式116,例如根据人口分布参数(例如年龄,或者性别)。在另外的实施例中,目标用户参数设定216可以使用其它基于规则的标准,例如用户偏好数据,一般的大数据条件,机器学习输出等。
在一些实施例中,设置子模块204可以进一步被设置,启用一个或以上的数字现实应用116的自适应特征的配置。自适应特征配置使数字现实应用程式116根据可用的设置,改变至少一个数字现实应用程式116的一个或以上的特征的设置。例如,根据一天中的不同时间,光线条件,天气条件,交通条件等,设置子模块204的自适应特制配置可以调整一个或以上的数字现实应用程式116的颜色,亮度,阴影,尺寸,文本,声音等。在另一个例子里,自适应特征配置可以在一天中增加一个数字现实应用116的图形代表的光度,从而增加数字现实应用程式116在阳光明媚的情况下的能见度,同时可以调整其在晚上时间的亮度。
测试子模块206被设置,允许应用程式开发员208对所创建的数字现实应用程式116进行测试。测试子模块206可以包括一个开发空间测试工具218,一个终端位置虚拟现实测试工具220,以及一个终端位置增强现实测试工具222。开发空间测试工具218可以包括一个资源模拟器,允许应用程式开发员104在开发空间,不需要将数字现实应用程式116定位在持久的虚拟世界系统的情况下,测试应用程式。模拟器可以将经过模拟的输入提供给数字现实应用程式116,对应用程式进行测试与验证。终端位置虚拟现实测试工具220可以被设置,允许一个应用程式开发员208去测试在虚拟现实中的一个虚拟世界最终位置与区域位置里的一个或以上的数字现实应用程式116。在这种情况下,需要对数字现实应用程式116所被设置的地区以及元素的虚拟版本进行测试,这个虚拟版本可能已经被储存以及进行计算,例如附图1中的服务器102所在的持久虚拟世界系统108。终端位置增强现实测试工具222可以被设置,允许应用程式开发员208测试在增强现实中的现实世界终端位置或区域为位置里一个或以上的数字现实应用程式116。在这种情况下,参与和开发数字现实应用程式116的应用程式开发员208的互动数字现实应用程式116以及在持久的虚拟世界系统范围内的一个或以上的虚拟副本可以叠加在用于测试的现实之上。一旦一个数字现实应用程式116达到一个预先确定的发展水平,同时适用于在一个终端用户将与一个或以上的数字现实应用程式116进行互动的最终位置上进行测试的情况下,可以使用终端位置VR以及AR测试工具220以及222。
在一个应用程式开发员208开发了一个数字现实应用程式116以后,应用程式开发员208可以与应用程式管理环境模块共享数字现实应用程式116。
附图3描绘了应用程式管理环境模块118的示意图,根据一个实施例,此模块可以用于对数字现实应用程式116的合规测试以及设置。附图3的某些元素与附图1-2的元素相似,因此,使用相似或同样的参考号码来识别这些元素。
应用程式管理员302可以通过适当的用户设备120经由网络122连接到托管应用程式管理环境模块118(例如,图1的服务器102)的一个或以上的服务器来访问应用程式管理环境模块118。应用程式管理环境模块118可以包括来自应用程式开发环境模块,一个应用程式管理测试子模块304,一个基于规则的应用程式评估子模块306,一个应用程式设定子模块308,以及一个线上应用程式商店310所共享的一个或以上的数字现实应用程式116。应用程式管理测试子模块304可以通过适当的用户设备120,使一个应用程式管理员可以对数字现实应用程式116进行测试。所执行的测试可以包括测试已经在应用程式开发环境模块上所设置的数字现实应用程式116的不同参数与选项,例如测试在一个或以上的终端位置的数字现实应用程式116,在一天当中的不同时段,季节或天气条件下进行测试,或者尝试不同的目标用户参数设定。
在应用程式管理测试子模块304进行测试的同时,应用程式管理员302可以应用程式一个基于规则的应用程式评估子模块306来确定数字现实应用程式116是否适合进行配置以及进行部署测试。基于规则的应用程式评估子模块306所依据的规则可以与内容,现实以及/或者虚拟位置空间,以及目标用户参数有关。例如,一个应用程式管理员302可以通过基于规则的应用程式评估子模块306来确定一个数字现实应用程式116可能不适于进行配置以及部署测试,因为内容的某些部分可能包括与批准/拒绝规则不一致的场景。如果应用程式管理员302确定数字现实应用程式116适合进行配置以及部署测试,应用程式管理员302会使用一个应用配置子模块308,将数字现实应用程式116配置到线上应用程式库310上。线上应用程式库310在一个或以上的用户设备上执行,提供允许用户114寻找以及访问数字现实应用程式116的功能。
在应用程式管理员302将对数字现实应用程式116的部署以及测试部署在应用程式库310以后,一旦终端用户312位于与数字现实应用程式116具有一定距离的位置上,登陆到线上应用程式库310的任何终端用户就可以查看,访问以及与数字现实应用程式116进行互动。例如,如果一个应用程式被部署,使其附加在一个现实雕塑的虚拟副本里,一旦数字现实应用程式116在终端用户312的视野范围或广泛视野范围内,一个接近现实雕塑的终端用户312可以查看以及与应用程式进行互动。
本公开的应用程式库310可以被看作是在持久虚拟世界系统之上的一个或以上的虚拟层,或者一个或以上的数字现实应用层,在增强现实,虚拟现实或者合并现实中的用户可以查看在当中的数字现实应用程式。由于现实世界的全部或者大部分的现实物体可以在持久的虚拟世界系统中被映射或者被虚拟化,位于持久虚拟世界系统范围的用户会感觉到现实世界是一个应用程式商店,可以在当中查看以及与现实和虚拟物体进行互动。
附图4A-4B描绘了一个通过一个持久的虚拟世界系统,对一个或以上的数字现实应用程式进行开发,测试以及部署到现实世界的系统400a-b的示意图,其中一个虚拟世界系统108以及现实世界402被合并成一个合并现实404,实现对一个或以上的数字现实应用程式116进行配置。附图4A-B中的一些元素与附图1-3的元素相似,因此使用相似或者同样的参考号码来识别那些元素。
在附图4A的系统400a的描述中,两个穿戴用户设备120的终端用户406a-b站在现实世界402的范围中。从一个没有穿戴用户设备120的人的角度来看,现实世界402包括例如一栋建筑物408,一棵树410,一架飞机412以及两个终端用户406a-b。
在持久的虚拟世界系统108里,存在三个数字现实应用程式414a-c,其中,数字现实应用程式414a-b被定位以及部署在持久虚拟世界系统108的空旷范围里,同时数字现实应用程式414c被附加在一棵树的虚拟副本410a上。在持久的虚拟世界系统108里,终端用户406a-b具有其相应的虚拟头像416a-b,同时其它的现实物体(例如建筑物408,树410以及飞机412)也具有其自己的虚拟副本(例如建筑物虚拟副本408,树的虚拟副本410a以及飞机的虚拟副本412)。另外,在持久的虚拟世界系统108里,可能具有一个或以上的虚拟副本,没有代表现实世界的一个对象(例如,如一只虚拟鸟418以及一个虚拟喷水池420等的完全虚拟对象)。
合并现实404由一个现实世界层422,一个在现实世界层422之上所设置的虚拟世界系统层424,以及在虚拟世界系统层424之上所设置的数字现实应用程式层426所组成。因此,在将数字现实应用程式部署在一个线上应用程式库的情况下(例如附图3中的线上应用程式库),数字现实应用程式将被定位以及部署在一个或以上的数字现实应用程式层426上。
根据为与在合并现实404里的持久虚拟世界系统108进行交互而所选择的实际设置(例如虚拟现实或者增强现实),终端用户406a-b会查看一个或以上的现实世界对象412;其相对应的虚拟副本408-412a;数字现实应用程式414a-c;完全虚拟对象418-420或者其组合。用户406a-b可以另外与一个或以上的虚拟副本408a以及412a,数字现实应用程式414a-c,以及完全虚拟对象418-420进行互动。例如,如果一个终端用户查看在虚拟现实中的合并现实404,终端用户可以查看以及与数字现实应用414a-c进行互动,同时根据可用的设置以及媒体内容,查看以及与虚拟副本408a-412a,以及完全虚拟对象418-420进行互动。在另外一个例子里,如果一个终端用户查看在增强现实里的合并现实404,终端用户可以查看以及与数字现实应用414a-c进行互动,也可以查看现实世界对象408以及412,同时根据可用的设置以及媒体内容,查看以及与其相应的虚拟副本408a-412a以及完全虚拟对象418-420进行互动。
在本公开的一些实施例中,数字现实应用程式是指位置数字现实应用程式,区域数字现实应用程式服务,或者其组合。位置数字现实应用程式通过在一个或以上的预先确定的精确的3D世界位置上的持久的虚拟世界系统108进行设置,其中包括3D位置与方向,同时可以具有3D世界位置的多个实例。区域数字现实应用程式服务是指在一个或以上覆盖一个或以上的位置数字现实应用的预先所确定的地理范围上持久地提供应用程式服务,其可以在当中向在那些范围内或者靠近那些范围的用户提供相应的与一个或以上的位置数字现实应用程式有关的应用程式服务。位置数字现实应用程式以及区域数字现实应用程式服务在一个或以上的数字现实应用程式层426之上被设置。
附图4B描述了一个系统400b,虚拟世界系统108在其中包括虚拟世界层424以及一个或以上的数字现实应用程式层426。虚拟世界层424只包括可以包括在持久虚拟世界系统108里的虚拟元素,例如虚拟副本408a-410a以及完全的虚拟对象418-420。在另外一方面,一个或以上的数字现实应用程式层420指包括被包括在持久的虚拟世界系统108里的应用程式,例如数字现实应用程式414a-414c。
根据一个实施例,多个虚拟副本(例如虚拟副本408a-412a),完全虚拟对象(例如完全虚拟对象418-420),以及包括在虚拟世界系统108里的位置数字现实应用程式或区域数字现实应用程式服务或者其组合的数字现实应用程式(例如数字现实应用程式414a-c)被认为是一个虚拟3D基础设施结构,此结构包括每一个现实对象(通过其虚拟副本),数字现实应用程式以及完全虚拟对象的精确的属性。因此,例如,虚拟世界层424的这个虚拟3D基础设施结构可以实现空间组织,多个行为以及在数字现实应用程式414a-c,虚拟副本408a-412a以及完全虚拟对象418之间的计算与逻辑交互。在一些实施例中,在虚拟3D基础设施结构中的完全虚拟对象进一步包括虚拟过道,通过其虚拟副本,完全虚拟对象或者数字现实应用程式,其可以用于定义以及划分现实对象的路径。例如,参考附图4A,现实飞机412(以及任何在其上所附加的数字现实应用程式)可以具有一个预先确定的飞行路线作为一个虚拟过道,并通过其相对应的虚拟副本412a进行处理和获取。同样地,任何其它以自动的方式或手动的方式所控制的移动对象(例如飞行,驾驶,行走等)可以使用虚拟过道或虚拟3D基础设施结构服务,通过虚拟世界系统108来进行导航,处理以及计算现实世界。
根据一个实施例,虽然在部署过程中对应用程式的发布是在一个或以上的数字现实应用程式层426上,即持久层上完成,但在用户参与的过程中,一个或以上的位置数字现实应用程式或者区域数字现实应用程式服务可以对包括与特定的数字现实应用程式相关的虚拟副本以及完全虚拟对象的虚拟世界层426的所有或大部分的元素进行过滤和处理。例如,一个快餐店的数字现实应用程式层可以通过其相对应的虚拟副本过滤所有快餐店,向用户强调并提供每一个餐馆的所必要的数据。在另外一个例子里,一个交友应用程式层可以为一个用户过滤正在使用此应用程式的人,向用户突显这些人并向用户提供与用户背景,性格或品味相配的候选人。
附图5描绘了一个用户设备120的示意图。一个用户设备120可以包括操作组件,例如一个输入/输出模块502;一个电源504;一个存储器506;一个由传感机制508以及收发器510所形成的追踪模块512;以及一个网络界面514,所有这些都连接到一个处理器516。
输入/输出模块502作为计算硬件与软件,与用户进行互动,同时向一个或以上的其它系统组件提供用户输入数据。例如,输入/输出模块502被设置,与用户进行互动,根据所进行的互动,衍生出用户输入数据,同时此数据在通过网络被传输到例如服务器的其它处理系统之前,将此用户输入数据提供给处理器516。在另外一个例子中,输入/输出模块502作为一个外部计算指点设备(例如一个触摸屏,鼠标,3D控制,操纵杆,游戏手柄等),以及/或者作为文本输入设备(例如一个键盘,听写工具等),与其它所连接的元素进行互动。然而在另外一个实施例中,输入/输出模块502可以提供额外的,更少的,或者具有与以上描述所不同的功能。
电源504作为计算硬件与软件,向用户设备120提供电源。在一个实施例中,电源504可以是一个电池。电源504可以内置在设备中或者可以从设备上移除,同时可以是可充电的或非充电的。在一个实施例中,用户设备120可以通过使用另外一个电源504来替代电源504来进行充电。在另外一个实施例中,电源504可以由附加在一个充电源上的电线进行充电,例如通用串行总线(“USB”)FireWire,以太网,Thunderbolt或者与个人电脑所连接的耳机线进行充电。然而在另外一个实施例中,在两者很靠近但不需要通过电线将两者连接的情况下,电源504可以通过电感充电,即,使用电磁场将能源从一个电感充电器传输到电源504。在另外一个实施例中,可以使用扩展坞进行充电。
存储器506可以作为适用于储存应用程式指示以及储存由传感机制所捕捉的多源传感数据的计算硬件与软件。存储器506可以是任何类型的适于储存处理器516可利用的存储器,包括非暂时性的计算机可读媒体,或者储存其它可以借助一个电子设备来读取数据的媒体,例如硬件,存储器卡,闪存盘,ROM,RAM,DVD或者其它光盘,以及其它可写以及只读存储器。存储器506除了包括持久化储存以外,也包括临时性储存。
传感机制508可以作为适于从用户中获取可以在与应用程式进行例如开发,管理或者终端用户与应用程式的互动过程中所使用的传感数据的计算硬件与软件。例如,传感机制508可以用于确定以及追踪用户设备120的位置与方向,以及一个或以上的用户设备120与其进行互动的虚拟副本以及数字现实应用程式。传感机制特别包括一个或以上的惯性测量单元,加速度计以及陀螺仪。惯性测量单元通过共同使用加速度计以及陀螺仪,测量以及报告速度,加速度,角动量,平移速度,旋转速度以及用户设备120的其他遥测元数据。传感机制508进一步由具有光学传感器,触觉传感器,音频传感器或者其它用于向用户提供一个增强的或者虚拟现实体验的传感器的摄影机组成。
收发器510可以作为使设备从天线接收无线电波以及将数据发送到天线的计算硬件与软件。在一些实施例中,使用可以在与沉浸内容互动的同时,从天线接收毫米波信号并将数据发送到天线的毫米波收发器510。收发器510可以是双向通讯收发器510。
在一个实施例中,通过结合IMU的功能,加速度计以及由收发器510所提供的位置追踪来推行追踪模块512,同时,由基于毫米波的天线所提供的精确追踪,低延迟以及高度QoS的功能可以实现子厘米或者子毫米的位置与方向追踪,这样可以提高在追踪用户设备120的实时位置与方向的时候的精确性。在另外的实施例中,传感机制以及收发器510可以藕接在一个单一的追踪模块服务里。
网络界面514可以作为通讯连接到一个网络,接收由服务器或其它设备所发送的网络而来的计算机可读程序指示,以及转发存储器506中的存储指令以供处理器516执行的计算软件与硬件。
处理器516可以作为接收与处理指令的计算硬件与软件。例如,处理器516可以提供成像请求,接收成像数据,将成像数据处理到环境或者其它数据中,处理用户输入数据以及/或者成像数据来衍生出用户互动数据,执行基于边缘(设备上)的计算机学习培训与推断,提供服务器请求,接收服务器回应,以及/或向一个或以上的其它系统组件提供用户互动数据,环境数据,以及内容对象数据。例如,处理器516可以从输入/输出模块502接收用户输入数据,并同时相应地执行储存在存储器506里的应用程式。在另外一个例子里,处理器516可以通过追踪模块512接收用户设备120的一个精确位置与方向,同时在将此数据发送到服务器进行进一步的处理之前,准备数据的某些部分。设备上的处理器516可以共享某些由服务器所进行的处理任务。
在一些实施例中,用户设备120可以通过触摸感应设备,声音以及语音识别,意向与目标理解,使用深度照相机进行动作手势侦察(例如立体摄像系统,红外摄像系统,彩色摄像系统及其组合),使用加速度计/陀螺仪侦察动作手势,脸部识别,3D显示,头部,眼部以及眼神追踪来实现NUI交互,这些都可以用于实现本公开中的AR或者VR体验。
在一些实施例中,为了促进数字现实应用程式的开发,测试与部署,一个服务器计算机系统可以使用在这里所描述的技术,提供一个或以上的数字现实应用程式以及一个包括一个相对应的现实对象的至少一个虚拟副本的持久的虚拟世界系统,其中虚拟副本的虚拟3D世界坐标以及虚拟属性是以现实对象的3D世界坐标以及其属性为基础;同时接收来自至少一个可以进入持久的虚拟世界系统的用户设备的输入数据。此至少一个用户设备可以通过网络连接到服务器的计算机设备。持久的虚拟世界系统允许一个或以上的用户查看以及与在包括一个现实世界层,一个在现实世界层上所设置的一个虚拟世界层,以及在虚拟世界层之上所设置的一个或以上的数字现实应用程式层的一个合并现实里与一个或以上的数字现实应用程式进行互动。
从用户设备所接收的输入数据可以与数字现实应用程式的开发,测试或者部署有关。开发可以包括应用程式的设定,在一个开发空间测试一个或以上的数字现实应用程式,以及在经增强的以及虚拟现实的终端位置进行进一步的测试。开发可以在一个储存在储存器里的应用程式开发环境模块里进行,同时对数字现实应用程式的管理可以在一个应用程式管理环境模块里进行。
附图6描绘了用于通过一个持久的虚拟世界系统,对一个或以上的包括位置数字现实应用程式,区域数字现实应用程式服务,或者两个所结合的数字现实应用进行开发,测试以及将其部署在现实世界的一个方法600。方法600可以由本公开的一个系统所施行的软件工具来推进,如附图1-5所公开的。
方法600可以从步骤602开始,一个应用程式开发员在这个步骤中创建一个数字现实应用程式。例如,参考附图2,可以通过应用程式开发环境模块112的应用开发子模块202来实现数字现实应用程式的创建。然后,在步骤604中,应用程式开发员通过设定应用程式配置参数继续进行方法600。例如,参考附图2,应用程式开发员会通过使用应用程式开发环境模块112的设定子模块204来设定应用程式设置参数,位置以及空间设定212包括位置,3D定位以及规模;时间设定214;以及定义目标用户参数设定216。
随后,在步骤606中,以应用程式开发员在一个应用程式开发空间对数字现实应用程式进行测试来继续方法600,例如包括在附图2所示的测试子模块206中的开发空间测试工具218。在步骤608中,应用程式开发员继续对数字现实应用程式进行进一步的测试。例如,参考附图2,进一步的测试可以使用用于在虚拟现实里的一个虚拟世界最终位置或区域位置中进行测试的最终虚拟现实测试工具220,以及用于在增强现实里的现实世界最终位置或区域位置中进行测试的最终位置增强现实测试工具222,此测试工具包括在测试子模块206中。
在步骤610中,应用程式开发员通过例如附图3的应用程式管理环境模块118,与一个应用程式管理员共享数字现实应用程式。然后,在步骤612中,应用程式管理员通过例如应用程式管理环境模块118的应用程式管理测试子模块304对数字现实应用程式进行合规评估测试。
在检查614中,应用程式管理员可以使用例如附图3的基于规则的应用程式评估子模块306来决定是否批准或拒绝数字现实应用程式。正如附图3所描述的,应用程式管理员会根据是否批准或拒绝数字现实应用程式的决定,考虑与例如内容,位置以及空间设定212,时间设定214,以及在附图2所描述的目标用户参数设定216等因素有关的规则。如果应用程式管理员拒绝数字现实应用程式,应用程式管理员可以向应用程式开发员发送一个应用程式调整请求。在步骤618中,应用程式开发员会根据调整请求(例如调整内容,位置设定,时间设定,以及目标用户参数设定等),对数字现实应用程式进行调整。然后方法600会回到步骤606,应用程式开发员会在应用程式开发空间测试应用程式。方法600然后继续进行,直到获得应用程式管理员的批准为止。如果,在检查614中,应用程式管理员决定批准数字现实应用程式,应用程式管理员可以根据之前所定义以及所批准的内容与设置,在一个线上应用程式库配置数字现实应用程式,如步骤620所示。
虽然在附图中描述和示出了某些实施例,但是应该理解,这些实施例仅仅是对本公开进行说明而非对其进行限制,并且本公开不限于所示和所述的具体结构和布置,因为在本领域的一般技术人员可以进行各种其他修改。因此,描述只是用于说明而不是用于限制。

Claims (20)

1.用于推行开发,测试以及部署数字现实应用程式的系统,该系统包括:
由存储器以及至少一个处理器所组成的至少一个服务器,存储器储存一个或以上的数字现实应用程式以及包括所对应的现实对象的至少一个虚拟副本的持久虚拟世界系统,当中,虚拟副本的虚拟3D世界坐标及其虚拟属性是以现实物体的3D世界坐标以及属性为基础;
至少一个通过网络与服务器连接,以及可以进入持久虚拟世界系统的用户设备,
其中持久虚拟世界系统允许一个或以上的用户查看以及与在一个与由一个现实世界层,一个在现实世界层之上所设置的虚拟世界层,以及在虚拟世界之上所设置的一个或以上的数字现实应用层所构成的合并现实里的一个或以上的数字现实应用程式进行互动。
2.在权利要求1中的系统里,存储器进一步储存一个应用开发环境模块,此模块被设置,用于进入持久虚拟世界系统,进行一个或以上的数字现实应用程式的开发;存储器也储存一个应用管理环境模块,此模块被设置,用于进入持久虚拟世界系统,接收,管理以及部署一个或以上经开发的数字现实应用程式。
3.在权利要求2中的系统里,其中应用开发环境模块进一步包括一个在一个开发空间,在虚拟现实的一个虚拟世界最终位置或区域位置,通过持久虚拟世界系统,以及通过持久的虚拟世界系统,在增强现实里的现实世界最终位置或区域位置中测试子模块;同时,应用管理环境模块进一步包括用于通过应用开发环境模块测试一个或以上所开发的数字现实应用程式以及所部署的测试的一个应用管理测试子模块。
4.权力要求2中的系统,应用程式开发环境模块进一步由一个用于根据有关的持久虚拟世界系统,指定一个或以上的数字现实应用程式或者一个或以上的数字应用层的位置或区域地点与空间,时间,以及目标用户的参数设定的设定子模块组成。
5.在权利要求4中的系统里,设定子模块进一步被设置,实现一个或以上的数字现实应用程式的自适应特性的配置。
6.在权利要求4中的系统里,设定子模块进一步被设置,将一个或以上的位置数字现实应用程式附加在存在于持久虚拟世界系统里的一个或以上的虚拟副本,或者附加在未与一个特定的虚拟副本进行链接的持久虚拟世界系统的空的位置;或者将一个或以上的区域数字现实应用程式服务附加在未与一个特定的虚拟副本进行链接的持续虚拟世界系统上的一个或以上的地理范围。
7.在权利要求1中的系统里,系统被设置,用于根据至少一个用户设备与一个或以上的数字现实应用的距离,处理以及提供一个或以上的数字现实应用程式,同时提供与处理的过程是以服务器为基础,或者以客户为基础,或者是以两者的结合为基础。
8.在权利要求7中的系统里,服务器被设置,用于在一个或以上的用户的视野范围或广泛的视野里,计算以及合成多个数字现实应用程式的媒体内容,并同时把此经计算以及合成的媒体内容传输到至少一个用户设备,其中至少一个用户设备接近多个数字现实应用程式。
9.在权利要求1中的系统里,一个或以上的数字现实应用程式被设置,用于过滤以及处理包括与一个或以上的数字现实应用程式相关的虚拟副本以及完全虚拟对象的虚拟世界层的多个元素。
10.在权利要求1中的系统里,持久的虚拟世界系统包括一个具有一个或以上的虚拟副本,完全虚拟对象,虚拟过道,位置数字现实应用程式,或者区域数字现实应用程式服务,或者其组合的虚拟3D基础设施结构,通过相对应的虚拟副本,实现互相之间以及与现实世界层的元素之间的空间组织,行为,计算以及逻辑交互。
11.一个促进数字现实应用程式的发展,测试以及部署的方法,方法包括:
由至少一个包括存储器的服务器以及至少一个处理器来提供一个或以上的数字现实应用程式以及一个包括一个与现实对象相对应的至少一个虚拟副本的持久虚拟世界系统,其中虚拟副本的虚拟3D世界坐标以及虚拟属性是以现实对象的3D世界坐标以及属性为基础;同时
由一个服务器接收来自至少一个可以进入持久虚拟世界系统的用户设备的输入数据,其中此至少一个用户设备通过一个网络连接到此至少一个服务器上,同时持久的虚拟世界系统允许一个或以上的用户查看以及在一个包括一个现实世界层,一个在现实世界层上所设置的虚拟世界层,以及在虚拟世界层上所设置的一个或以上的数字现实应用程式层的合并现实里与一个或以上的数字现实应用程式进行互动。
12.在权利要求11的方法里,其中输入数据是与一个或以上的数字现实应用程式的开发有关,同时,开发包括设定应用程式的设置,在一个开发空间测试一个或以上的数字现实应用程式,同时在增强的以及虚拟现实终端位置执行进一步的测试。
13.在权利要求11的方法里,输入数据是与一个或以上的数字现实应用程式的开发有关,同时开发是在一个储存在存储器里的应用程式开发环境模块里进行,同时对一个或以上的数字现实应用的管理是在一个应用程式管理环境模块里进行。
14.在权利要求13的方法里,其中应用程式开发环境模块包括一个测试子模块,其被设置,用于在一个开发空间,在一个虚拟世界的终端位置或在虚拟现实里的区域位置里,通过持久的虚拟世界层,以及在增强现实里的现实世界的终端位置或区域位置里,通过持久的虚拟世界层来测试一个或以上的数字现实应用程式,同时,应用程式管理环境模块另外包括一个应用程式管理测试子模块,其被设置,用于通过应用程式开发环境模块,测试一个或以上经过开发并经过测试部署的数字现实应用程式。
15.在权利要求13的方法里,应用程式开发环境模块包括一个设定子模块,被设置,用于指定与持久虚拟世界系统有关的一个或以上的数字现实应用程式或一个或以上的数字应用层的位置或区域位置与空间,时间,以及目标用户参数设定。
16.在权利要求11中的方法里,设定子模块被设置,用于将一个或以上的数字现实应用程式附件在存在于持久的虚拟世界系统里的一个或以上的虚拟副本,或者附加在未与特定的虚拟副本进行链接的持久虚拟世界系统的空的位置,或者将一个或以上的区域数字现实应用服务附加在一个或以上未与一个特定的虚拟副本进行链接的持久的虚拟世界系统的地理范围里。
17.权利要求11的方法进一步包括处理以及提供一个或以上的数字现实应用程式,其中,处理以及提供过程是根据至少一个用户设备与一个或以上的数字现实应用程式的接近程度,同时处理及提供过程是以服务器为基础,以客户为基础,或者以两种的结合为基础。
18.权力要求17的方法进一步包括至少一个用户设备接近多个位置数字现实应用程式或者区域数字现实应用程式服务:
计算以及集合在一个或以上的用户的视野范围或者广泛的视野范围的多个位置数字现实应用程式或区域数字现实应用程式服务;
并向至少一个用户设备传输经计算以及经集合的媒体内容。
19.在权利要求11的方法中,至少一个服务器使用软件工具推进以下的行动:
与一个应用管理员共享一个或以上的数字现实应用程式;
由应用管理员对一个或以上的数字现实应用程式进行合规测试;
批准或拒绝一个或以上的数字现实应用程式;
在有需要的情况下,向应用程式开发员发送应用程式调整请求;
在有需要的情况下,由应用程式开发员调整一个或以上的数字现实应用程式;同时由应用程式管理员从应用程式管理环境模块中,将一个或以上的数字现实应用程式部署在一个网上应用程式库里。
20.一个或以上的非临时性的计算机可读媒体将储存在其上面的指示进行设置,促使一个具有储存器以及至少一个处理器的服务器计算机系统执行一个推行数字现实应用程式的开发,测试以及部署的方法,其步骤包括:
提供一个或以上的数字现实应用程式以及一个包括至少一个与一个现实对象相对应的至少一个虚拟副本的持久虚拟世界系统,其中,虚拟副本的虚拟3D世界坐标以及虚拟属性是以现实对象的3D世界坐标以及其属性为基础;以及
接收来自可以进入持久虚拟世界系统的至少一个用户设备的输入数据,其中,此至少一个用户设备通过网络连接到至少一个服务器;同时,持久的虚拟世界系统允许一个或以上的用户查看以及在一个包括一个现实世界层,一个在现实世界层之上所设置的虚拟世界层,以及一个或以上在虚拟世界层之上所设置的数字现实应用程式层的合并现实里,与一个或以上的数字现实应用程式进行互动。
CN201910441896.XA 2018-05-24 2019-05-24 用于通过虚拟世界,在现实世界中开发,测试以及部署数字现实应用程式的系统与方法 Active CN110531960B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862676072P 2018-05-24 2018-05-24
US62/676,072 2018-05-24

Publications (2)

Publication Number Publication Date
CN110531960A true CN110531960A (zh) 2019-12-03
CN110531960B CN110531960B (zh) 2023-02-28

Family

ID=66912511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910441896.XA Active CN110531960B (zh) 2018-05-24 2019-05-24 用于通过虚拟世界,在现实世界中开发,测试以及部署数字现实应用程式的系统与方法

Country Status (5)

Country Link
US (1) US11307968B2 (zh)
EP (1) EP3572913A1 (zh)
JP (1) JP6944098B2 (zh)
KR (1) KR102236957B1 (zh)
CN (1) CN110531960B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764943A (zh) * 2020-12-31 2021-05-07 北京橙色云科技有限公司 信息处理方法、系统、电子设备和计算机可读存储介质
CN113126962A (zh) * 2019-12-30 2021-07-16 明日基金知识产权有限公司 通过n层架构优化虚拟世界计算的系统和方法
CN114115519A (zh) * 2020-08-28 2022-03-01 明日基金知识产权有限公司 用于在虚拟环境中递送应用程序的系统和方法
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082416B2 (ja) 2018-05-24 2022-06-08 ザ カラニー ホールディング エスエーアールエル 実世界を表現するリアルタイム3d仮想世界の中でのリアルタイム3d仮想物体の双方向リアルタイム3dインタラクティブ操作
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US10929118B2 (en) * 2018-11-30 2021-02-23 International Business Machines Corporation Cognitive microcode simulation, planning, and risk assessment
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
CN111973979A (zh) 2019-05-23 2020-11-24 明日基金知识产权控股有限公司 经由持久性虚拟世界系统对现实世界进行实况管理
US11516296B2 (en) 2019-06-18 2022-11-29 THE CALANY Holding S.ÀR.L Location-based application stream activation
US11341727B2 (en) 2019-06-18 2022-05-24 The Calany Holding S. À R.L. Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
US11546721B2 (en) 2019-06-18 2023-01-03 The Calany Holding S.À.R.L. Location-based application activation
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
US11665317B2 (en) 2019-06-18 2023-05-30 The Calany Holding S. À R.L. Interacting with real-world items and corresponding databases through a virtual twin reality
US12033271B2 (en) 2019-06-18 2024-07-09 The Calany Holding S. À R.L. 3D structure engine-based computation platform
US12039354B2 (en) 2019-06-18 2024-07-16 The Calany Holding S. À R.L. System and method to operate 3D applications through positional virtualization technology
US12040993B2 (en) * 2019-06-18 2024-07-16 The Calany Holding S. À R.L. Software engine virtualization and dynamic resource and task distribution across edge and cloud
CN112102497B (zh) 2019-06-18 2024-09-10 卡兰控股有限公司 用于将应用和交互附接到静态对象的系统和方法
CN112102498A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法
FR3104290B1 (fr) * 2019-12-05 2022-01-07 Airbus Defence & Space Sas Jumelles de visee de simulation, et systeme et procedes de simulation
CN111314417B (zh) * 2020-01-14 2023-04-28 网易(杭州)网络有限公司 应用数据处理的方法及装置、存储介质、处理器
CN111589107B (zh) * 2020-05-14 2023-04-28 北京代码乾坤科技有限公司 虚拟模型的行为预测方法和装置
JP7212215B2 (ja) * 2020-07-07 2023-01-25 プレティア・テクノロジーズ株式会社 映像処理システム及び映像処理方法
US11366739B2 (en) * 2020-07-16 2022-06-21 T-Mobile Innovations Llc Pipeline for validation process and testing
US12107907B2 (en) 2020-08-28 2024-10-01 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
US11823344B2 (en) * 2021-05-07 2023-11-21 Msg Entertainment Group, Llc Mobile device tracking module within a VR simulation
US11673059B2 (en) 2021-05-18 2023-06-13 Roblox Corporation Automatic presentation of suitable content
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11971814B2 (en) 2021-07-28 2024-04-30 International Business Machines Corporation Digital twin functional and non-functional simulation testing
JPWO2023037591A1 (zh) * 2021-09-08 2023-03-16
KR102583073B1 (ko) * 2022-01-18 2023-09-25 정희용 메타버스 기반 시뮬레이션 시스템
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US12086375B2 (en) * 2022-05-10 2024-09-10 Tmrw Foundation Ip S. À R.L. Layer-partitioned virtual world system
KR102559768B1 (ko) * 2022-07-27 2023-07-26 콩테크 주식회사 오브젝트와 앱 간의 연관도를 이용한 앱목록 인터페이스를 제공하는 방법, 이를 수행하는 서비스서버 및 컴퓨터-판독가능 매체
KR102559765B1 (ko) * 2022-07-27 2023-07-26 콩테크 주식회사 오브젝트 관련 앱목록 인터페이스를 제공하는 방법, 이를 수행하는 서비스서버 및 컴퓨터-판독가능 매체
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles
JP7327851B1 (ja) 2022-11-09 2023-08-16 Tradfit株式会社 情報処理方法、プログラム及び情報処理装置
CN117251059B (zh) * 2023-11-17 2024-01-30 天津市品茗科技有限公司 一种基于ar的三维全息互动系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360119A (zh) * 2007-08-01 2009-02-04 马利 一种虚拟世界接入系统
CN101836210A (zh) * 2007-10-22 2010-09-15 伊斯曼柯达公司 虚拟世界中的数字多媒体共享
CN103582902A (zh) * 2011-06-06 2014-02-12 微软公司 向现实世界对象的虚拟表示添加属性
CN103890815A (zh) * 2011-08-04 2014-06-25 游戏软件工作室亚洲私人有限公司 用于主管可被远程自动创建、主管和终止的瞬变虚拟世界的方法和系统
US20160253844A1 (en) * 2014-11-16 2016-09-01 Eonite Perception Inc Social applications for augmented reality technologies
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20180048735A1 (en) * 2016-08-12 2018-02-15 Unity IPR ApS System and method for digital token exchange and delivery

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883817A (en) 1996-07-08 1999-03-16 Trimble Navigation Limited Method and apparatus for precise positioning of large structures
US5956039A (en) 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
EP1087323A1 (en) 1999-09-24 2001-03-28 Nokia Corporation A wireless system for interacting with a virtual space
US6556206B1 (en) 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20060122917A1 (en) 2000-08-14 2006-06-08 Urbanpixel Inc Real-time collaborative commerce in a multiple browser environment
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
AU2002253923A1 (en) 2001-02-07 2002-08-19 Universal City Studios, Inc. Reservation system and methods for theme parks
US20030030658A1 (en) 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US8909729B2 (en) 2001-11-20 2014-12-09 Portulim Foundation Llc System and method for sharing digital media content
US6904335B2 (en) 2002-08-21 2005-06-07 Neal Solomon System, method and apparatus for organizing groups of self-configurable mobile robotic agents in a multi-robotic system
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
CN100484726C (zh) 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
HUP0600879A2 (en) 2006-11-28 2008-06-30 Adam Dalnoki System and method for moving real objects through operations performed in a virtual environment
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
US9111285B2 (en) 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
US20100131947A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
DE102009039834A1 (de) 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US8660670B2 (en) 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
CN102120325B (zh) 2010-01-08 2012-12-12 哈尔滨理工大学 新型遥操作远端机器人控制平台及方法
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9384587B2 (en) 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
US9721386B1 (en) * 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US20130009994A1 (en) 2011-03-03 2013-01-10 Thomas Casey Hill Methods and apparatus to generate virtual-world environments
EP2745462B1 (en) 2011-08-18 2021-10-20 Pfaqutruma Research LLC Systems and methods of virtual world interaction
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
ES2656868T3 (es) 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
CA3207408A1 (en) 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
EP2803064A4 (en) 2012-01-09 2015-11-18 Nokia Technologies Oy METHOD AND APPARATUS FOR CREATING AN ARCHITECTURE TO PROVIDE MIXED REALITY CONTENT
US9281727B1 (en) 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US20140214504A1 (en) 2013-01-31 2014-07-31 Sony Corporation Virtual meeting lobby for waiting for online event
JP5941000B2 (ja) * 2013-03-12 2016-06-29 日本電信電話株式会社 映像配信装置及び映像配信方法
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
JP6683127B2 (ja) 2014-08-01 2020-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社T.J.Promotion 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
JP6676286B2 (ja) 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
WO2016187477A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
EP3321773B1 (en) 2015-07-08 2022-12-14 Sony Group Corporation Information processing device, display device, information processing method, and program
US10399225B2 (en) 2015-07-08 2019-09-03 Stephen Favis Biomimetic humanoid robotic model, control system, and simulation process
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
FR3041804B1 (fr) 2015-09-24 2021-11-12 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
WO2017141391A1 (ja) * 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
US20170250930A1 (en) 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20170289202A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Interactive online music experience
US20170286572A1 (en) 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
MX2018015454A (es) 2016-06-13 2019-07-08 Walmart Apollo Llc Sistemas y metodos de compras con realidad virtual.
CA3031769A1 (en) 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US20180047093A1 (en) 2016-08-09 2018-02-15 Wal-Mart Stores, Inc. Self-service virtual store system
KR101940720B1 (ko) * 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
MX2019002120A (es) 2016-08-24 2019-06-20 Walmart Apollo Llc Aparato y metodo para proporcionar un entorno de compras virtual.
JPWO2018074000A1 (ja) 2016-10-20 2019-06-24 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法
US10877470B2 (en) 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
US20180231973A1 (en) 2017-02-16 2018-08-16 Wal-Mart Stores, Inc. System and Methods for a Virtual Reality Showroom with Autonomous Storage and Retrieval
US10967255B2 (en) 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
EP3635538A4 (en) * 2017-06-05 2021-03-10 Umajin Inc. PROCEDURES AND SYSTEMS FOR AN APPLICATION SYSTEM
US20190065028A1 (en) 2017-08-31 2019-02-28 Jedium Inc. Agent-based platform for the development of multi-user virtual reality environments
US20190102709A1 (en) 2017-10-03 2019-04-04 Invight, Inc. Systems and methods for coordinating venue systems and messaging control
US20190102494A1 (en) 2017-10-03 2019-04-04 Endurica, LLC System for tracking incremental damage accumulation
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
JP7082416B2 (ja) 2018-05-24 2022-06-08 ザ カラニー ホールディング エスエーアールエル 実世界を表現するリアルタイム3d仮想世界の中でのリアルタイム3d仮想物体の双方向リアルタイム3dインタラクティブ操作
US11403822B2 (en) 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US20200210137A1 (en) 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10921878B2 (en) 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360119A (zh) * 2007-08-01 2009-02-04 马利 一种虚拟世界接入系统
CN101836210A (zh) * 2007-10-22 2010-09-15 伊斯曼柯达公司 虚拟世界中的数字多媒体共享
CN103582902A (zh) * 2011-06-06 2014-02-12 微软公司 向现实世界对象的虚拟表示添加属性
CN103890815A (zh) * 2011-08-04 2014-06-25 游戏软件工作室亚洲私人有限公司 用于主管可被远程自动创建、主管和终止的瞬变虚拟世界的方法和系统
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
US20160253844A1 (en) * 2014-11-16 2016-09-01 Eonite Perception Inc Social applications for augmented reality technologies
US20180048735A1 (en) * 2016-08-12 2018-02-15 Unity IPR ApS System and method for digital token exchange and delivery

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CARDOSO, A 等: "VRCEMIG: A virtual reality system for real time control of electric substations", 《2013 IEEE VIRTUAL REALITY (VR)》 *
张骞: "虚拟现实技术在数字图书馆中的应用分析", 《自动化与仪器仪表》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126962A (zh) * 2019-12-30 2021-07-16 明日基金知识产权有限公司 通过n层架构优化虚拟世界计算的系统和方法
CN114115519A (zh) * 2020-08-28 2022-03-01 明日基金知识产权有限公司 用于在虚拟环境中递送应用程序的系统和方法
CN114115519B (zh) * 2020-08-28 2024-05-10 明日基金知识产权有限公司 用于在虚拟环境中递送应用程序的系统和方法
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
CN112764943A (zh) * 2020-12-31 2021-05-07 北京橙色云科技有限公司 信息处理方法、系统、电子设备和计算机可读存储介质
CN112764943B (zh) * 2020-12-31 2021-09-28 橙色云互联网设计有限公司 信息处理方法、系统、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
JP2020013550A (ja) 2020-01-23
EP3572913A1 (en) 2019-11-27
KR102236957B1 (ko) 2021-04-08
JP6944098B2 (ja) 2021-10-06
CN110531960B (zh) 2023-02-28
US11307968B2 (en) 2022-04-19
US20190361797A1 (en) 2019-11-28
KR20190134512A (ko) 2019-12-04

Similar Documents

Publication Publication Date Title
CN110531960A (zh) 用于通过虚拟世界,在现实世界中开发,测试以及部署数字现实应用程式的系统与方法
US11245872B2 (en) Merged reality spatial streaming of virtual spaces
JP7525603B2 (ja) 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
CN110765620B (zh) 飞行器视景仿真方法、系统、服务器及存储介质
KR20210086973A (ko) 협력적인 3d 맵 데이터 융합 플랫폼 및 그것의 가상 세계 시스템을 구현하는 시스템 및 방법
CN112102465B (zh) 基于3d结构引擎的计算平台
CN112102497B (zh) 用于将应用和交互附接到静态对象的系统和方法
CN112102463B (zh) 通过位置虚拟化技术操作3d应用的系统和方法
CN112102024A (zh) 提供房地产项目的数字现实体验和分散交易的系统和方法
CN112104595B (zh) 基于位置的应用流激活
JP7304639B2 (ja) デジタル現実内の強化されたユーザ間通信を可能にするための方法及びシステム
CN108701164A (zh) 获得飞行模拟数据的方法、装置、存储介质及设备
US11546721B2 (en) Location-based application activation
US11455777B2 (en) System and method for virtually attaching applications to and enabling interactions with dynamic objects
CN112100798A (zh) 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
JP2024150590A (ja) 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
CN117876234A (zh) 图像合成方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Luxemburg bettembourg

Applicant after: Karan Holdings Ltd.

Address before: Luxemburg bettembourg

Applicant before: TMRW Foundation IP & Holding S.A.R.L.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 14-16 Pasteur Avenue, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: Luxemburg bettembourg

Applicant before: Karan Holdings Ltd.

GR01 Patent grant
GR01 Patent grant