CN110227266A - 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境 - Google Patents

使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境 Download PDF

Info

Publication number
CN110227266A
CN110227266A CN201910140903.2A CN201910140903A CN110227266A CN 110227266 A CN110227266 A CN 110227266A CN 201910140903 A CN201910140903 A CN 201910140903A CN 110227266 A CN110227266 A CN 110227266A
Authority
CN
China
Prior art keywords
model
basis
real world
game
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910140903.2A
Other languages
English (en)
Other versions
CN110227266B (zh
Inventor
李淼
S.何
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN110227266A publication Critical patent/CN110227266A/zh
Application granted granted Critical
Publication of CN110227266B publication Critical patent/CN110227266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于构建游戏玩耍环境的方法。该方法包括从第三方映射数据存储设备访问真实世界环境的基础VR模型，其中真实世界环境包括多个真实世界物体。该方法包括增强在基础VR模型中的相应于在真实世界环境中的第一真实世界物体的第一物体。该方法包括将所增强的第一物体拼接到基础VR模型内以产生增强型基础VR模型。该方法包括将增强型基础VR模型存储到库数据存储设备，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境，将增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备。该方法包括使用多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境。

Description

使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境
技术领域
本公开是软件开发，例如开发游戏玩耍应用的3D虚拟现实(VR)游戏玩耍世界。除了别的以外，本公开还描述用于从真实世界环境的可用基础VR模型构建VR游戏玩耍世界的方法和系统，基础VR模型被增强以增加物体的缺少的表面并填充间隙。
背景技术
视频游戏玩耍随着视频游戏技术的进步而变得越来越流行。例如，在玩视频游戏时，高性能图形处理器提供难以置信的观看和交互验。此外，正设计出具有越来越高的分辨率的显示器。例如，当前的技术包括具有大约19:10的高宽比的具有2K分辨率(例如优于2048x1080个像素的2.2百万像素)的显示器。具有16:9的高宽比的具有4K UHD(超高清晰度)分辨率(例如优于3840x2160个像素的8.2百万像素)的其它显示器现在正推向市场并被预期越来越受欢迎。增加的图形处理能力连同高分辨率显示器一起为用户提供直到此时不可置信的观看体验，特别是当玩在设计成利用较高分辨率显示器的游戏玩耍引擎上执行的视频游戏时。
由于高性能图形的使用，游戏开发者正创建3D沉浸式和交互式游戏玩耍应用。在这些游戏玩耍应用中存在的3D内容包括通过在3D空间内添加增加数量的物体而构建的3D游戏玩耍环境。为了显得现实一点，这些物体可遵循定义物体交互作用的物理学的正常法则。3D游戏玩耍环境的创建涉及多个步骤。例如，3D游戏玩耍环境可由一个或多个场景组成，其中每个场景包括一个或多个物体。在特定场景中的每个物体由开发者煞费苦心地构建并被放置到3D游戏玩耍环境内以与其它物体交互。构建3D游戏玩耍环境的这个过程是耗时的，但对产生最终用户喜爱的沉浸式环境是必要的。
然而，因为构建3D游戏玩耍环境是那么耗时的以及因为开发者可能面临时间约束，3D游戏玩耍环境的充分开发可能被牺牲，使得3D游戏玩耍环境可能比预期的更小。此外，给定开发游戏玩耍环境的成本，3D游戏玩耍环境可由同一开发者持续地重新使用，以便最大化它的使用。然而，这导致在3D游戏玩耍环境和最终基于同一3D游戏玩耍环境的新游戏玩耍应用中的乏味无新意。
使3D游戏玩耍环境的产生简单化以给开发者更多的时间来构建游戏逻辑而不是背景(游戏逻辑在该背景上操作)将是有益的。
正在这个上下文中本公开的实施方案出现。
发明内容
本公开的实施方案涉及使用真实世界VR模型作为基础从第三方映射系统来构建VR游戏玩耍环境，以及接着增强物体的表面并填充在基础VR模型中的物体以创建VR游戏玩耍环境。游戏开发者能够在游戏玩耍应用中使用新近增强的和填充的VR环境。
在一个环境中，公开了用于构建游戏玩耍环境的方法。该方法包括从第三方映射数据存储设备访问真实世界环境的基础VR模型，其中真实世界环境包括多个真实世界物体。该方法包括增强在基础VR模型中的相应于在真实世界环境中的第一真实世界物体的第一物体。该方法包括将所增强的第一物体拼接到基础VR模型内以产生增强型基础VR模型。该方法包括将增强型基础VR模型存储到库数据存储设备，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境。特别是，该方法包括将增强型基础VR模型存储到库数据存储设备，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境，将增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备。该方法包括使用多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境。
在又一实施方案中，公开了计算机系统。计算机系统包括处理器和存储器，其中存储器耦合到处理器并具有存储在其中的指令，指令如果由计算机系统执行则使计算机系统执行用于构建游戏玩耍环境的方法。该方法包括从第三方映射数据存储设备访问真实世界环境的基础VR模型，其中真实世界环境包括多个真实世界物体。该方法包括增强在基础VR模型中的相应于在真实世界环境中的第一真实世界物体的第一物体。该方法包括将所增强的第一物体拼接到基础VR模型内以产生增强型基础VR模型。该方法包括将增强型基础VR模型存储到库数据存储设备，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境。特别是，该方法包括将增强型基础VR模型存储到库数据存储设备，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境，将增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备。该方法包括使用多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境。
在另一实施方案中，公开了存储用于构建游戏玩耍环境的计算机程序的非临时计算机可读介质。计算机可读介质包括用于从第三方映射数据存储设备访问真实世界环境的基础VR模型的程序指令，其中真实世界环境包括多个真实世界物体。计算机可读介质包括用于增强在基础VR模型中的相应于在真实世界环境中的第一真实世界物体的第一物体的程序指令。计算机可读介质包括用于将所增强的第一物体拼接到基础VR模型内以产生增强型基础VR模型的程序指令。计算机可读介质包括用于将增强型基础VR模型存储到库数据存储设备的程序指令，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境。特别是，计算机可读介质包括用于将增强型基础VR模型存储到库数据存储设备的程序指令，库数据存储设备包括多个增强型基础VR模型用于用作相应游戏玩耍应用的虚拟环境，将增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备。计算机可读介质包括用于使用多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境的程序指令。
从结合附图理解的下面的详细描述中，本公开的其它方面将变得明显，附图作为例子说明本公开的原理。
附图说明
可通过参考结合附图理解的下面的描述来最好地理解本公开，其中：
图1示出根据本公开的一个实施方案的配置成使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的系统。
图2示出根据本公开的一个实施方案的配置成使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的VR模型构建器的功能部件。
图3示出根据本公开的一个实施方案的用于构建物体的模型、用于识别在图像和/或视频内的物体并用于识别真实世界环境的示例神经网络。
图4A是示出在根据本公开的一个实施方案的用于使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的方法中的步骤的流程图。
图4B是示出在根据本公开的一个实施方案的用于用表面部分增强基础VR模型中的不完整物体并用填充物体填充在基础VR模型中的缺少的物体的方法中的步骤的流程图。
图5A示出根据本公开的一个实施方案的用于构建真实世界环境的基础VR模型的图像捕获装置的使用。
图5B示出根据本公开的一个实施方案的当不足数量的图像捕获装置用于构建VR模型时的在真实世界环境的VR模型内的不完整物体和间隙的识别。
图6A是示出根据本公开的一个实施方案的用于使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的信息流的数据流程图。
图6B是示出根据本公开的一个实施方案的真实世界环境的增强型VR模型的选择和增强型VR模型到游戏玩耍应用的游戏逻辑内的集成。
图7示出可用于执行本公开的各种实施方案的方面的示例装置的部件。
具体实施方式
虽然为了说明的目的下面的详细描述包含很多特定的细节，本领域普通技术人员将认识到，对下面的细节的很多变化和变更在本公开的范围内。因此，下面所述的本公开的方面被阐述而没有对跟在本描述后面的权利要求的一般性的任何损失且不对权利要求强加限制。
一般而言，本公开的各种实施方案涉及使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境。用表面增强在基础VR模型中的不完整物体以创建完整建模物体，且用填充物体填充在基础VR模型内的间隙以创建一个或多个增强型VR模型。映射库包含增强型基础VR模型，每个增强型基础VR模型的游戏玩耍环境基于真实世界环境。因此，用于构建游戏玩耍环境的努力因依赖于第三方真实世界基础VR模型并修改那些基础VR模型以产生适合于在游戏玩耍应用内使用的增强型基础VR模型(例如与游戏玩耍应用的游戏逻辑通过接口连接以实现游戏玩耍环境的增强型基础VR模型)而大大减少。在一个实现中，这些游戏玩耍环境在生产游戏玩耍应用的开发阶段期间对游戏开发者可用。以那种方式，不是为每个新游戏玩耍应用从头开始产生相应的VR世界或游戏玩耍环境——这花费相当多的时间和努力，游戏开发者可立即使用增强型基础VR模型作为相应游戏玩耍应用的VR游戏玩耍环境。此外，表示相应真实世界环境的每个增强型基础VR模型可用作多个游戏玩耍应用的游戏玩耍环境。也就是说，一旦增强型基础VR模型被创建，那个模型就可由很多游戏开发者在创建在真实世界环境中设置的新游戏时被使用。因此，不是为每个游戏玩耍应用产生一个或多个唯一游戏玩耍环境，游戏玩耍环境可在多个游戏玩耍应用中被使用。以那种方式，不用花费时间来产生VR游戏玩耍环境，游戏开发者可更多地聚焦于与VR游戏玩耍环境通过接口连接的游戏逻辑，从而创建更高质量的游戏玩耍应用。此外，通过使用和重新使用预先产生的游戏玩耍环境，需要更少的时间来开发每个游戏玩耍应用。此外，因为一个增强型基础VR模型可在多个游戏玩耍应用当中被使用，配置成存储增强型基础VR模型的数据存储设备更有效地操作，因为它可存储减少数量的增强型基础VR模型，且不需要存储多个游戏玩耍应用中的每个的不同增强型基础VR模型。也就是说，配置成执行具有基于增强型基础VR模型的游戏玩耍环境的多个游戏玩耍应用的服务器系统能够有效地存储游戏玩耍环境，并在存储更少数量的增强型基础VR模型时快速访问游戏玩耍环境。
在各种实施方案的上面的一般理解的情况下，现在将参考各种附图描述实施方案的示例细节。
在说明书通篇中，对“视频游戏”或“游戏玩耍应用”的提及意指表示通过输入命令的执行而得到指导的任何类型的交互式应用。仅为了说明目的，交互式应用包括用于游戏玩耍、字处理、视频处理、视频游戏处理等的应用。此外，术语视频游戏和游戏玩耍应用是可互换的。此外，对“数字内容”的提及意指表示2D或3D数字内容以部分地包括视频游戏、游戏玩耍应用和视频。
图1示出根据本公开的一个实施方案的配置成使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的系统100。服务器160包括增强型基础VR模型构建器200和深度学习引擎190。服务器160配置成使用真实世界映射或VR模型从第三方映射系统构建一个或多个VR游戏玩耍环境。特别是，增强型基础VR模型构建器200能够访问和/或接收来自第三方映射系统的3D真实世界数据。每个第三方映射系统具有它们自己的构建或映射如由基础VR模型(例如户内和户外环境)表示的真实世界环境的唯一方式。这个数据(原始和/或基础VR模型)用于构建真实世界环境的增强型基础VR模型，其中通过增强物体的不完整表面并填充缺少的物体来重新构建基础VR模型。增强型基础VR模型从任何位置(例如不仅仅是与图像捕获点相关联的位置)提供真实世界环境的3D虚拟视图。在一个实施方案中，真实世界环境包括由相应的增强型基础VR模型表示的实况事件。一个或多个真实世界环境的增强型基础VR模型可存储在库中并稍后由游戏开发者访问。以那种方式，开发者可通过使用预先产生的增强型基础VR模型，节省重新构建那些基础VR模型或从头开始产生VR模型的时间。因此，开发者可将更多的时间和精力聚焦于开发游戏玩耍逻辑，其最大化最终用户的游戏玩耍体验。也就是说，开发者从构建常见日常物体释放出来，常见日常物体在当构建VR游戏玩耍环境时执行的真实世界环境(例如建筑物、树、街道、公园等)中重复地出现。
特别是，深度学习引擎190配置成补充增强型基础VR模型构建器200的能力。例如，深度学习引擎190可配置成构建在一个或多个真实世界环境中可见的常见物体的3D模型，以包括3D表面模型。作为例证性例子，物体可包括建筑物、家具、一般人、动物、树、灌木丛、树叶、车辆、公共汽车等。深度学习引擎190可用于基于真实世界环境的图像、视频和/或VR模型来识别物体。物体的3D模型182可存储在数据存储装置180中。深度学习引擎190也可用于基于真实世界环境的图像、视频和/或VR模型来识别真实世界环境。此外，深度学习引擎190配置成从基础VR模型识别不完整物体(例如不完整表面模型)，并配置成识别在表示相应真实世界环境的基础VR模型内的间隙(例如缺少的物体)，其中间隙由深度学习引擎190识别。以那种方式，增强型基础VR模型构建器200能够基于先前定义的物体模型来用额外表面增强不完整表面模型，且也用填充物体填充在基础VR模型中的间隙以创建增强型VR模型。可经由向构建过程提供接口的客户端装置100来执行增强型VR模型构建过程的管理。
增强型基础VR模式存储在数据存储装置180的库181中。此外，物体模型(例如表面模型)182也存储在数据存储装置180中。增强型基础VR模型可稍后被访问并用作游戏玩耍环境，其在相应游戏玩耍应用的开发期间与游戏玩耍逻辑集成在一起。以那种方式，游戏开发者只需要访问表示用于在游戏玩耍应用中使用的真实世界环境的预先产生的游戏玩耍环境(例如3D VR模型)，而无需产生那些游戏玩耍环境。游戏开发者可经由客户端装置170通过互联网150来访问增强型VR模型库181。此外，增强型基础VR模型可稍后由配置成与多个用户的游戏玩耍相关联来执行一个或多个游戏玩耍应用的服务器或计算资源访问，其中在用户的游戏玩耍期间，游戏玩耍应用的游戏逻辑创建如通过相应的增强型基础VR模型实现的相应游戏玩耍环境。
(VR建模器的)客户端装置100、(例如玩游戏玩耍应用的用户的)170A和(例如游戏开发者的)170B可以是本领域已知的任何通用或专用计算机，包括但不限于游戏玩耍控制台、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板电脑、瘦客户端、机顶盒、媒体串流装置等。在一个实施方案中，客户端装置100和170A-170B可配置成执行视频游戏，并从视频游戏输出视频和音频用于由HMD(未示出)渲染。客户端装置100和170A-170B也可被配置为通过网络与服务器160通信的瘦客户端。例如，在一个实现中，可在编辑和/或产生增强型VR模型时戴着HMD。在另一实施方案中，HMD可由游戏开发者在游戏开发期间回顾VR游戏玩耍时佩戴。客户端装置100和170A-170B不限于执行视频游戏，但也可配置成执行交互式应用，其输出VR内容用于由HMD渲染。通常，HMD以与眼镜、护目镜或头盔类似的方式佩戴，且配置成向相应的用户显示来自交互式视频游戏的视频游戏或来自交互式应用的其它内容。HMD借助于提供紧靠近用户的眼睛的显示机构来向用户提供非常沉浸式的体验。因此，HMD可向用户的每只眼睛提供显示区，其占据用户的视场的大部分或甚至全部。
系统100包括配置成提供基础VR模型的第三方映射系统120。使用都存储在数据存储装置125中的图像数据126和/或视频数据127来构建基础VR模型128。例如，使用(例如来自专业人员和/或旅行者的图像捕获装置)所捕获的图像数据126和/或所捕获的视频数据127来构建在埃菲尔铁塔的邻近区域周围的法国巴黎的基础VR模型。在下面关于图5A提供关于基础VR模型128的产生的一般讨论。
例如，第三方映射系统可向用户提供服务以包括充当基础VR模型的街道的3D视图。各种搜索公司向一般公众提供在全世界的城市街道的这些视图。基本上，用户能够在沿着街道的捕获点之间跳跃，且在每个捕获点处旋转在那个特定捕获点处的视图(例如360度)。捕获点一般位于街道的中心处或附近。来自从除了捕获点以外的点的视图不由第三方映射系统120提供。另一方面，本公开的实施方案能够使用服务器160在基础VR模型128上构建以产生存储在库181中的增强型基础VR模型，如下面进一步描述的。在一些实施方案中，服务器160配置成在基础VR模型128上构建，且在其它实施方案中，服务器160配置成访问原始图像数据126和/或视频数据127，以便构建基础VR模型128，其稍后可进一步被增强并填充以创建真实世界环境的完整VR模型，如下面进一步描述的。
此外，系统100包括配置成提供都存储在数据存储装置135中的额外图像数据136和/或视频数据127的第三方图像收集器130。这个额外图像和视频数据可用于增强在基础VR模型中的不完整或缺少的的物体。例如，法国巴黎的基础VR模型可能是不完整的，因为用于创建基础VR模型的图像数据126和视频数据127可能是从不足数量的捕获点捕获的。也就是说，图像数据126和视频数据127也不足以构建法国巴黎的完整VR模型。以那种方式，额外和补充的图像数据136和/或视频数据137可由服务器160访问，以便增强在基础VR模型中的物体的不完整表面模型。例如，不完整表面模型可完全用相应和一般完整表面模型代替，或缺少的表面可以用来自完整表面模型(例如由深度学习引擎190构建)的表面部分代替。
图2示出根据本公开的一个实施方案的配置成使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的服务器160的功能部件。特别是，系统160包括配置成构建增强型基础VR模型的增强型基础VR模型构建器200和支持构建器200的深度学习引擎190，其中对系统200的控制和访问可以通过直接具有服务器160的客户端装置100或通过网络，例如互联网150。可在软件、硬件或软件和硬件的组合中实现系统160的部件。
特别是，增强型基础VR模型构建器200包括配置成基于在本地环境内拍摄的图像和/或视频来识别物体和/或本地环境的物体/环境识别检测模块210。在一个实施方案中，在深度学习引擎190内配置检测模块210。在一个实现中，检测模块210配置成检测一个或多个物体。例如，为了物体识别的目的，一个或多个图像和/或视频可被输入到深度学习引擎190内。特别是，深度学习引擎190能够通过识别在图像内的物体的模式类似于先前由深度学习引擎190学习或建模的物体的模式来识别在图像(包括视频的图像)内的物体。例如，通过提供猫的多个图像作为输入并使深度学习引擎190识别对家猫唯一的模式，深度学习引擎190能够对家猫建模，且甚至更特别地对一种品种或类型的家猫(例如带斑纹的)建模。可创建猫识别(例如猫的物体识别)算法，其当由深度学习引擎执行时可识别图像内具有猫的相同模式的物体。也就是说，深度学习引擎190可识别图像何时包括猫物体。此外，在图像内的其它物体也由深度学习引擎190使用其它相应的物体识别算法来识别。
在另一实现中，检测模块210配置成检测本地环境。例如，为了环境识别的目的，一个或多个图像和/或视频可被输入到深度学习引擎190内。也就是说，深度学习引擎190能够识别图像或视频正捕获的本地环境。可创建环境识别算法(每种算法对本地环境是特有的)，其当由深度学习引擎190执行时可基于所捕获的图像和/或视频来识别本地环境。因此，当图像和/或视频作为输入被提供到深度学习引擎时，相应的环境识别算法将确定与它的本地环境相关联的输入。
此外，增强型基础VR模型构建器200包括表面模型完整性评估器215，其配置成确定在真实世界环境的基础VR模型(例如，如通过第三方映射系统提供的)中的物体何时是不完整的。当没有足够的图像用于创建模型时，物体模型(例如表面模型)可能是不完整的。例如，当只有一个图像用于对物体建模时，相对的侧面可能不是可观看到的，且将不被包括在物体模型内，且因此是不完整的。当将物体和/或物体的模型识别为不完整的时，可执行额外的动作以完成那些模型，如下面将描述的。
增强型基础VR模型构建器200包括配置成使用信息来增强不完整表面模型以便使那些表面模型完整的物体表面增强模块220。例如，当相应物体的表面模型被识别为不完整的时，在模型中缺少的表面的部分可被访问和/或产生以被包括在表面模型中，从而使模型变得完整。例如，那个物体的一般表面模型可在先前产生，且从基础VR模型缺少的表面的部分可用于增强不完整的表面模型。此外，完整的一般表面模型可用作不完整表面模型的替代物。此外，如果没有一般模型存在，则物体表面增强模块220配置成访问和/或捕获物体的额外图像或视频(例如在相应本地环境内的物体的所拍摄的或相应的一般物体的所拍摄的)，且基于额外的信息而产生表面的缺少的部分(或完整模型)，其然后用于增强不完整表面模型或构建可在替换中使用的完整表面模型。
此外，增强型基础VR模型构建器200包括基础VR模型间隙检测器225，其配置成分析如由第三方源提供的相应真实世界环境的基础VR模型并检测在模型内的间隙。在基础VR模型中的间隙例如是在间隙区内的一个或缺少的物体。例如，当本地环境基于图像和/或其它信息源由深度学习引擎190识别为法国巴黎的埃菲尔铁塔时，已知特定的饭店在紧邻区域内。间隙可被识别为在基础VR模型中没有那个特定饭店。其它缺少的物体可被识别从相应基础VR模型的同一间隙和/或其它间隙缺少。
增强型基础VR模型构建器200包括配置成构建填充物体以放置到在相应的基础VR模型中识别的间隙内的填充物体的表面建模器230。例如，填充物体可以没有与在相应真实世界的同一空间中可见的实际物体的关联性。也就是说，填充物体可以是可被放置到基础VR模型的间隙或间隙区内的任何物体。例如，在办公室的基础VR模型中，填充物体可包括书柜、在墙上的图片、植物或在桌子上的植物等。这些填充物体可以预先产生，或可在增强基础VR模型时产生。在一个实现中，访问相应的填充物体的额外图像和/或视频(例如从图1的第三方图像收集器130)，并用于产生填充物体的表面模型。在另一实现中，填充物体可与在相应真实世界的同一空间中可见的实际物体相关联。因此，填充物体可表示相应的真实世界物体，且填充物体可使用在基础VR模型内在相应间隙区内。
此外，增强型基础VR模型构建器200包括配置成创建相应真实世界环境的增强型VR模型的拼接/混合模块235。特别是，额外的图像和/或视频以及不完整物体的增强型表面模型、不完整物体的更换表面模型和填充物体可被拼接在一起以创建从由第三方映射系统提供的基础VR模型形成的增强型VR模型。
增强型基础VR模型构建器200包括配置成提供对相应真实世界环境的所产生的增强型VR模型的访问的软件开发工具包(SDK)构建器240。例如，SDK可包括访问管理增强型VR模型的库的服务器200的工具。特别是，SDK可由游戏开发者访问增强型VR模型181的库，其中选定的增强型VR模型可以用游戏逻辑分层以开发游戏玩耍应用。在一个实现中，SDK可以是特定游戏玩耍平台(例如 )特有的。在另一情况下，SDK可以只提供对增强型VR模型181的库的访问，来自该库的选定VR模型可与在一个或多个游戏玩耍平台上可玩的游戏逻辑集成在一起。
增强型基础VR模型构建器200包括配置成构建一个或多个一般物体的表面模型的物体建模器245。也就是说，在一个或多个真实世界环境例如一层建筑物、家庭住宅、两层建筑物、加油站、特定的动物、站着的一般人、行走的一般人、车辆、摩托车、桌子、树、半挂车等中找到相同的物体。可以为那些物体产生一般表面模型。例如，相应物体的图像和/或视频可被输入到如在深度学习引擎190内实现的物体建模器245内，以创建那个物体的一般模型。
增强型基础VR模型构建器200也可结合配置成执行重复的和计算密集的操作的深度学习引擎190来工作。特别地，深度学习引擎190可包括并执行先前引入的物体建模器245和物体/环境识别/检测模型210的功能。关于图3更充分地描述深度学习引擎。
图3示出根据本公开的一个实施方案的用于构建物体的表面模型、执行在图像和/或视频内的物体的识别并执行在图像和/或视频内捕获的本地环境的识别的示例神经网络。特别地，在服务器160内的深度学习或机器学习引擎190配置成接收与物体和/或本地环境有关的输入信息(例如图像、视频、基础VR模型等)。深度学习模型190利用人工智能，包括深度学习算法、强化学习或其它基于人工智能的算法，以如前面所述的构建物体的表面模型，识别在图像和/或视频内的物体并识别在图像和/或视频内的本地环境。也就是说，在学习和/或建模阶段期间，输入数据由深度学习引擎190使用来创建物体的模型并创建可用于认出/识别特定的预定物体的并行模型(例如学习的算法)。例如，输入数据可包括猫的多个图像，其当被馈送到深度学习引擎190内时配置成创建一般猫的表面模型，且也创建用于在图像和/或视频内和在真实世界环境的VR模型内识别猫的物体识别算法(模型)。
神经网络190表示用于分析数据集以确定相应用户的响应、动作、行为、需要和/或要求的自动分析工具。不同类型的神经网络190是可能的。在例子中，神经网络190支持深度学习。因此，可实现使用监督或非监督训练的深度神经网络、卷积深度神经网络和/或循环神经网络。在另一例子中，神经网络190包括支持强化学习的深度学习网络。例如，神经网络190作为支持强化学习算法的马尔科夫决策过程(MDP)被建立。
通常，神经网络190表示互连节点的网络，例如人工神经网络。每个节点从数据学习相同的信息。可通过互连来在节点之间交换知识。到神经网络190的输入激活一组节点。这组节点又激活其它节点，从而传播关于输入的知识。这个激活过程在其它节点当中重复，直到提供输出为止。
如所示，神经网络190包括节点的层级结构。在最低层级结构水平处，存在输入层191。输入层191包括一组输入节点。例如，这些输入节点中的每个被映射到局部数据115，其在用户和与用户相关联的环境的监控和/或查询期间由自主私人伴侣100通过致动器主动地或由传感器被动地收集。
在最高层级结构水平处，存在输出层193。输出层193包括一组输出节点。输出节点表示与例如本地AI模型120的一个或多个部件有关的决策(例如预测)。如前面描述的，输出节点可以为给定的一组输入识别用户的所预测或预期的响应、动作、行为、需要和/或要求，其中输入可定义各种情形(例如直接请求、一天的时间、行为的各种模式等)。这些结果可与从用户和/或环境的先前交互和监控得到的预定和真实结果比较，以便提炼和/或修改由深度学习引擎190使用的参数，以为给定的一组输入迭代地确定适当的用户的所预测或预期的响应、动作、行为、需要和/或要求。也就是说，在神经网络190中的节点学习可用于在提炼参数时做出这样的决策的AI模型120的参数。
特别是，隐藏层192存在于输入层191和输出层193之间。隐藏层192包括“N”个数量的隐藏层，其中“N”是大于或等于一的整数。每个隐藏层依次还包括一组隐藏节点。输入节点互连到隐藏节点。同样，隐藏节点互连到输出节点，使得输入节点不直接互连到输出节点。如果存在多个隐藏层，则输入节点互连到最低隐藏层的隐藏节点。这些隐藏节点又互连到下一隐藏层的隐藏节点，且依此类推。次高隐藏层的隐藏节点互连到输出节点。互连连接两个节点。互连具有可被学习的数值权重，使神经网络190变得适应于输入并能够学习。
通常，隐藏层192允许在相应于输出节点的所有任务当中共享关于输入节点的知识。为了这么做，在一个实现中，变换f通过隐藏层192应用于输入节点。在例子中，变换f是非线性的。不同的非线性变换f是可用的，包括例如线性整流函数f(x)＝max(0,x)。
神经网络190还使用成本函数c来找到最佳解。对于给定输入x和标注数据或目标值y(例如预期结果)，成本函数测量在由被定义为f(x)的神经网络190输出的预测之间的偏差。最佳解表示没有解具有比最佳解的成本低的成本的情况。成本函数的例子是在预测和标注数据之间的均方差，对于这样的标注数据标签是可用的数据。在学习过程期间，神经网络190可使用反向传播算法以使用不同的优化方法来学习最小化成本函数的模型参数(例如在隐藏层192中的节点之间的互连的权重)。这样的优化方法的例子是随机梯度下降。
在例子中，神经网络190的训练数据集可来自同一数据域。例如，神经网络190基于给定的一组输入或输入数据被训练，用于学习类似物体的模式和/或特性、用于识别本地环境、用于构建一般物体的表面模型等。在这个说明中，数据域包括本地环境的物体的图像和视频数据。在另一例子中，训练数据集来自不同的数据域以包括除了基线以外的输入数据。因此，神经网络190可识别在图像和/或视频数据内的物体，或可识别如由图像和/或视频数据捕获的本地环境，或可配置成基于输入图像和视频数据来产生相应物体的表面模型。
基于对包括增强型基础VR模型构建器200和深度学习引擎190的系统200的各种模块的详细描述，图4A的流程图400A公开了根据本公开的一个实施方案的用于使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的方法。当构建相应真实世界环境的增强型VR模型时，在系统200内且更特别地在增强型基础VR模型构建器200和/或深度学习引擎190内实现流程图400A，如前所述。
虽然在开发游戏玩耍应用时为了提供游戏玩耍环境的目的在构建真实世界环境的增强型VR模型的上下文内描述了流程图400A的方法，但是其它实施方案完全适合于构建任何类型的环境的增强型基础VR模型作为虚拟环境。也就是说，任何类型的基础VR模型的增强可被执行以产生一个或多个增强型VR模型，其中基础VR模型可相应于真实、假想、虚拟和/或其它数字地创建的世界。
在410，该方法包括从第三方映射数据存储装置访问真实世界环境的基础VR模型。真实世界环境包括多个真实世界物体，使得真实世界物体可在环境中被找到。本发明的实施方案产生相应于真实世界环境的VR世界，其中VR世界可用作游戏玩耍应用的游戏玩耍环境。不是从头或从底向上开始，而是将来自第三方映射实体的VR世界用作基础VR模型。基础VR模型一般在范围上是非常有限的，且通常是不完整的。也就是说，基础VR模型不提供真实世界环境的完全覆盖，使得仅从在环境内的预定的一组点或位置提供对真实世界环境的视图。另一方面，本公开的实施方案配置成修改基础VR模型以创建提供完全覆盖的真实世界环境的完整模型(例如由相应的增强型基础VR模型限定的空间是从在空间内的任何位置可观看的)。当然，本发明的其它实施方案整体而言也能够产生VR世界，例如用作游戏玩耍环境的那些VR世界(例如自底向上的建筑物)。
如前所述，可通过深度学习过程来确定在真实世界环境中的多个真实世界物体。也就是说，真实世界环境的图像和/或视频作为输入被提供到服务器160中的深度学习或机器学习引擎190内。深度学习引擎190利用人工智能，包括深度学习算法、强化学习或其它基于人工智能的算法，以识别在图像和/或视图内的物体，并识别在图像和/或视频内的本地环境。
在415，该方法包括增强在基础VR模型中的第一物体。第一物体相应于在真实世界环境中的第一真实世界物体。第一物体可以是在基础VR模型中的第一真实世界物体的表示(例如表面模型)。
在一个实施方案中，第一物体可能在基础VR模型中是不完整的，使得该表示是不完整的(例如在表面模型中缺少的一个或多个表面部分)。第一物体被增强以产生在基础VR模型内的第一真实世界物体的更完整表示。在一个实施方案中，表面部分可用于增强相应于第一真实世界物体的不完整表面模型，其中表面模型缺少一个或多个表面部分。在另一实施方案中，当增强基础VR模型时，第一真实世界物体的完整表面模型(例如一般或定制表面模型)可以取代不完整表面模型，并用于表示第一真实世界物体。在一个实施方案中，完整表面模型可以预先产生，且在另一实施方案从第一真实世界物体的多个图像和/或视频产生。
在其它实施方案中，第一物体可以是基础VR模式中缺少的。也就是说，增强过程可被修改以在基础VR模型内产生第一真实世界物体的表示。在一个实施方案中，当增强基础VR模型时，预先产生的完整表面模型可用于表示第一真实世界物体。在另一实施方案中，当增强基础VR模型时，完整表面模型从第一真实世界物体的多个图像和/或视频产生，并用于表示第一真实世界物体。
该方法任选地确定在基础VR模型中的间隙区。间隙区缺乏至少一个物体。在一个例子中，基础VR模型缺少在真实世界环境中的所表示的区的数据。在另一例子中，在真实世界环境中的所识别的第二真实世界物体的表示可以是基础VR模型缺少的。
该方法包括访问填充物体以填充间隙区。在一个实现中，填充物体可以是用于填充间隙区的任何一般物体，且可以或可以不存在于真实世界环境内。例如，填充物体可以被预先产生并被存储用于访问，或填充物体可基于相应物体的图像和/或视频来产生并在产生之后被访问。例如，在420，该方法包括产生填充物体和/或访问预先产生的填充物体以填充间隙区。在另一实现中，填充物体可相应于从基础VR模型缺少的先前引入的第二真实世界物体。例如，在423，该方法包括产生填充物体和/或访问预先产生的填充物体，其相应于在真实世界环境中的第二真实世界物体。
在425，该方法包括将所增强的第一物体拼接到基础VR模型内以产生相应于真实世界环境的增强型基础VR模型。此外，该方法任选地包括将一个或多个填充物体拼接到基础VR模型内以产生增强型基础VR模型。拼接算法和方法在本领域中是公知的，并用于将物体、图像、视频集成在一起以创建环境的无缝3D模型。例如，拼接包括当产生增强型VR模型时用增强型表面模型代替不完整表面模型。此外，当产生增强型VR模型时，将一个或多个填充表面模型放置到真实世界环境的基础VR模型内。因此，在增强型基础VR模型内，从任何位置可观看物体。也就是说，真实世界环境的增强型VR模型是完整的，使得视图可从真实世界环境中的任何位置产生。以那种方式，可从如从增强型VR模型的环境中的任何位置采取的任何视角观看物体。
在430，该方法包括将增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备。每个增强型基础VR模型配置成用作相应游戏玩耍应用的相应虚拟环境。在一个实施方案中，增强型基础VR模型可用作游戏玩耍应用的游戏玩耍环境。在431，该方法包括使用多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境。
例如，游戏开发者的客户端可在游戏开发期间访问一个或多个增强型基础VR模型以便于游戏玩耍应用的游戏逻辑与增强型基础VR模型通过接口连接。特别是，该方法包括通过软件开发工具包(SDK)使来自库数据存储装置的相应的增强型基础VR模型对远程装置变得可用，用于在开发配置成与增强型基础VR模型通过接口连接的游戏玩耍应用的游戏逻辑时使用，游戏玩耍应用具有基于真实世界环境的游戏玩耍环境。以那种方式，游戏逻辑与增强型基础VR模型通过接口连接以为游戏玩耍应用提供游戏玩耍环境。
在另一例子中，与玩游戏玩耍应用的第一用户的游戏玩耍相关联的客户端装置可在游戏逻辑的执行期间访问一个或多个增强型基础VR模型。以那种方式，通过相应真实世界环境的一个或多个增强型基础VR模型来实现用户的游戏玩耍的游戏玩耍环境。特别是，该方法包括从远程装置接收对增强型基础VR模型的请求。增强型基础VR模型被输送到远程装置用于与游戏玩耍应用的游戏逻辑通过接口连接，其中游戏逻辑在与第一用户的游戏玩耍相关联的远程装置上执行。在一个实施方案中，远程装置可以是配置成为多个用户执行游戏逻辑的服务器。在另一实施方案中，远程装置可以是第一用户的控制台。
以那种方式，在实施方案中，可产生相应真实世界环境的虚拟或游戏玩耍环境而不必从头开始创建所有图形。这通过使用第三方映射数据并对它进行增强来实现，使得增强型虚拟环境的部分是预先制造的，且在增强型虚拟环境内是可重新使用的。通过添加和/或导入其它图形数据以及其它VR世界的部分来产生增强的虚拟环境。增强的虚拟环境可用作游戏玩耍应用的背景或环境。也就是说，增强的虚拟环境成为功能游戏逻辑的部分。
在一个实施方案中，第三方映射数据被分析并用于产生在真实世界环境中可见的物体的网格映射。功能层可应用于物体的网格映射。例如，颜色、照明和纹理以及其它特征可在网格映射的顶部上分层。此外，由网格映射表示的物体可被物理法则影响，物理法则被编程到游戏逻辑内。以那种方式，物体看上去逼真并逼真地做出响应，特别是当与在虚拟环境中的其它物体交互时。在另一实施方案中，物体的网格映射表示可被修改以产生真实世界环境的动画和/或图形版本，用于用作在游戏玩耍应用中的虚拟环境。此外，可执行皮肤功能以在需要时产生物体的所修改的皮肤。
基于包括增强型基础VR模型构建器200和深度学习引擎190的系统200的虚拟模块的详细描述，图4B的流程图400B公开了根据本公开的一个实施方案的用于使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的方法，其包括用表面部分增强在基础VR模型中的不完整物体以及用填充物体填充在基础VR模型中的间隙区。当构建相应真实世界环境的增强型VR模型时，在系统200内且更特别地在增强型基础VR模型构建器200和/或深度学习引擎190内实现流程图400B，如先前描述的。
在433，该方法包括确定在真实世界环境中的多个真实世界物体。例如，真实世界环境的图像和/或视频可由深度学习引擎190分析以不仅识别地点(例如名称、地方等)，而且识别在该地点内的物体。基础VR模型可提供用于物体确定的至少一些图像和/或视频。此外，其它数据源可用于物体确定，例如旅行指南、与地点有关的所公开的信息、城市宣传材料等，其中物体识别算法可被实现(例如文本解析程序)以确定在该地点中找到哪些物体。
此外，基础VR模型的分析可帮助确定来自多个真实世界物体的哪些真实世界物体被表示在基础VR模型中。基础VR模型可包括在相应真实世界环境中可见的物体的表示，如由第三方映射实体在构建基础VR模型时使用的图像和/或视频所确定的。一般，用于构建基础模型的图像和/或视频的数量不足以构建完整VR模型，使得不是真实世界环境的所有视图都在基础VR模型内被表示。可部分地通过理解哪些物体在基础VR模型中被表示来确定在基础VR模型中的缺少的物体和间隙区，如下所述。
在435，该方法包括检测在基础VR模型中的多个真实世界物体的多个表面模型。表面模型被产生为适合于从任何角度或视角观看的3D模型。3D模型可以是在由各种几何结构(例如三角形、线)收集的在空间中的点(例如顶点)的集合。表面也可以是纹理化的。根据第三方映射实体，基础VR模型包括可被配置为多边形网、弯曲表面的弯曲建模、点模型、线框等的物体。
在437，该方法包括检测在多个表面模型中的不完整表面模型。在图5B中示出不完整物体和/或模型。因为用于构建基础VR模型的图像和/或视频的数量是不足的，所以不是所有物体的所有视图都可被产生。例如，如果物体的仅仅一个图像被捕获并用于构建相应的物体模型，则一个图像可以只捕获物体的一侧。因此，物体模型是不完整的，因为没有相对侧的成像。也就是说，在物体模型中的相对侧是空白的。本公开的实施方案能够使表面模型完整，用于在修改基础VR模型时使用，如下所述。
在439，该方法包括增强不完整表面模型的表面以产生增强型表面模型。以那种方式，相应物体的完整表面模型可放置到基础VR模型内，使得那些物体可从所有角度被完全观看。在一个实施方案中，第一物体被识别为与在基础VR模型中的第一表面模型相关联。第一表面模型先前被识别为不完整的，使得不是第一物体的所有视图都是在基础VR模型中可得到的。可以使用那个特定的物体类型的物体识别算法/模型来识别第一物体。基础VR模型包括多个表面模型，每个表面模型相应于真实世界物体。
在一个实施方案中，在第一物体被识别为与第一不完整表面模型相关联之后，则来自第二数据存储装置(来自第三方图像收集实体)的第一物体的多个图像和/或视频。补充的图像和/或视频不一定从原始第三方映射实体得到，因为假设用于创建基础VR模型的图像和/或图像仍然不足以构建完整表面模型，除非第三方映射实体具有当构建基础VR模型时未曾使用的其它图像和/或视频，并可用于使物体模型完整。因此，补充的图像和/或视频例如从另一第三方映射实体或图像收集实体、局部物体数据存储设备等得到。这些补充的图像和/或视频然后用于使用基于第一物体的多个图像而产生的表面部分来增强第一不完整表面模型，以产生第一物体的第一增强型表面模型。例如，各种拼接技术可用于将用于使第一物体的表面模型完整的补充的图像和/或视频拼接在一起。以那种方式，用从多个图像和/或视频构建的至少一个表面部分来增强不完整的第一表面模型，以产生增强型第一表面模型。这个增强型第一表面模型可用于拼接第一物体与在基础VR模型中的其它物体。
在另一实施方案中，在第一物体被识别为与第一不完整表面模型相关时，则可在441例如从物体数据存储设备(例如从第三方图像收集实体、从第三方映射实体、从局部数据存储设备等)访问先前产生的且完整的第一表面模型。这个完整的第一表面模型可用作对相应的不完整表面模型的替代物以在拼接第一物体与在基础VR模型中的其它物体时表示第一表面模型。也就是说，当产生真实世界环境的增强型VR世界时，第一不完整表面模型由先前产生的完整的第一表面模型代替。
在又一实施方案中，在第一物体被识别为与第一不完整表面模型相关联时，则完整的第一表面模型可产生。例如，可访问来自第二数据存储装置(例如来自第三方图像收集实体)的第一物体的多个图像和/或视频，如前所述。可使用多个图像和/或视频来产生第一真实世界对象的完整的第一表面模型。这个完整的第一表面模型可用作对相应的不完整表面模型的替代物以在拼接第一物体与在基础VR模型中的其它物体时表示第一表面模型。也就是说，当产生真实世界环境的增强型VR世界时，第一不完整表面模型由新近产生的完整的第一表面模型代替。
此外，可识别已知存在于真实世界环境中但在基础VR模型中未被表示的物体。在图5B中示出缺少的物体。例如，在街道场景中，在街道上的特定位置处的建筑物被识别为在环境内。基础VR模型的分析可确定建筑物的表示没有在基础VR模型中被表示。因此，本公开的实施方案能够访问和/或构建缺少的物体的表面模型，用于在修改基础VR模型时使用。缺少的物体的先前产生的表面模型或新近产生的表面模型可用于在修改基础VR模型时表示缺少的物体。也就是说，当产生真实世界环境的增强型VR世界时，在拼接缺少的物体与在基础VR模型中的其它物体时使用缺少的物体的先前产生的表面模型或新近产生的表面模型。
在443，该方法包括检测在基础VR模型中的第一多个真实世界物体中的间隙区。在图5B中描述并示出间隙区。因为用于构建基础VR模型的图像和/或视频的数量是不足的，所以不是真实世界环境的所有视图都可在基础VR模型中被支持。也就是说，间隙区存在于基础VR模型中，其中间隙区可包括一个或多个缺少的物体。在一个实施方案中，通过首先识别相应于基础VR模型的真实世界环境来确定间隙区。可使用深度学习引擎来执行这个识别，如前所述。例如，用于产生基础VR模型的原始图像和/或视频或基础VR模型本身或来自基础VR模型的图像可作为输入被提供到深度学习引擎。基于类似的模式或特性，深度学习引擎可识别出输入数据类似于与相应真实世界环境相关联的先前学习的数据。因此，可识别和/或标记真实世界环境。此外，一旦识别出真实世界环境，就可确定在真实世界环境中的预期区和/或物体。此外，在基础VR模型中缺少的区和/或物体指示在基础VR模型中的一个或多个间隙区。例如，如在基础VR模型中表示的真实世界物体可与存在于真实世界环境中的已知物体比较。
在445，该方法包括访问和/或产生位于间隙区中的填充物体的一个或多个填充表面模型。填充物体可以或可以不相应于在真实世界环境中的物体，如下所述。
在一个实施方案中，填充物体可以不与存在于真实世界环境中的任何物体有关。访问完整的先前产生的第一填充表面模型。在这种情况下，当产生真实世界环境的增强型VR世界时，将先前产生的完整的第一填充表面模型放置到基础VR模型的第一间隙位置内。先前产生的第一填充表面模型可用于在修改基础VR模型时填充间隙区。也就是说，当产生真实世界环境的增强型VR世界时，在拼接第一物体与在基础VR模型中的其它物体时使用先前产生的第一填充表面模型。
在另一实施方案中，填充物体可与存在于真实世界环境中但在基础VR模型中缺少的物体有关。例如，可检测第一间隙物体，其中已知第一间隙物体存在于真实世界环境中但在基础VR模型中缺少。第一间隙物体与在基础VR模型中的间隙区(例如第一间隙位置)相关联。可通过访问来自第二数据存储装置的第一间隙物体的多个图像来新近产生第一填充表面模型，如前所述。例如，第二数据存储装置可与第三方图像收集实体相关联，或可以是包括多个物体的专有数据存储装置。在这种情况下，基于多个图像来产生第一间隙物体的第一填充表面模型。因此，当产生真实世界环境的增强型VR世界时，将第一填充表面模型放置到基础VR模型的第一间隙位置内。也就是说，第一间隙物体的第一填充表面模型可用于在修改基础VR模型时表示第一间隙物体。特别是，当产生真实世界环境的增强VR世界时，在拼接第一间隙物体与在基础VR模型中的其它物体时使用第一填充表面模型。
在447，该方法包括将增强型表面模型和一个或多个填充表面模型拼接到基础VR模型内以产生相应于真实世界环境的增强型VR模型。例如，拼接包括当产生增强型VR模型时用增强型表面模型代替不完整表面模型。此外，当产生增强VR世界时，将一个或多个填充表面模型放置到真实世界环境的基础VR模型内。因此，在增强型VR模型内，从任何位置可观看物体。也就是说，真实世界环境的增强型VR模型是完整的，使得视图可从真实世界环境中的任何位置产生。以那种方式，可从如从增强型VR模型的环境中的任何位置采取的任何视角观看物体。
在一个实施方案中，真实世界环境可以是任何局部化环境，例如城市、公园、内部布景、外部布景等。例如，真实世界环境可以是博物馆、游乐园、电影院、城市、房间、房屋、公寓等。在另一实施方案中，真实世界环境是所记录的事件，例如实况事件(例如音乐会、电影、演讲等)的记录。因此，可在任何真实世界环境中设置合并增强型基础VR世界的游戏玩耍应用，如上所述。一种使用情况包括作为博物馆的真实世界环境的游览的游戏玩耍应用。因此，用户能够穿过博物馆移动(例如行走)以观看在虚拟布景中的博物馆中的显示器上的物体。在另一使用情况下，游戏玩耍应用可呈现实况事件。因此，用户能够在举办实况事件的场所周围行走，并参与先前记录的实况事件。
图5A示出根据本公开的一个实施方案的用于构建真实世界环境500的基础VR模型的图像捕获装置的使用，并包括视频和音频数据收集装置的位置。例如，多个数据收集装置位于真实世界环境500内。例如，数据收集装置可位于点510B、511B、512B、513B、515B和516B处。数据收集装置可包括图像和/或视频捕获装置和音频收集装置。其它类型的数据收集装置(例如温度、音频等)也可用于创建真实世界环境的完全沉浸式体验。从数据捕获装置记录的图像和/或视频可用于产生真实世界环境500的虚拟视图。特别是，所记录的图像和/或视频可拼接在一起以产生基础VR世界/模型，如前所述。这可包括实况事件的记录，其中实况事件的虚拟视图可以从自一个或多个数据收集装置获取的视频记录拼接在一起。
理想地，足够的数据收集装置被使用并散置以给出真实世界环境500的完全覆盖，如在基础VR模型中表示的。如图5A所示，在点510B、511B、512B、513B、515B和516B处的每个数据收集装置具有覆盖区域。例如，在点510A处的数据收集装置在整个覆盖区域510A上获取图像和/或视频。覆盖区域511A显示来自在点511B处的数据收集装置的覆盖。相应地，示出额外的覆盖区域512A、513A、514A、515A和516A。总体来看，数据收集装置提供真实世界环境500的完全覆盖。
图5B示出根据本公开的一个实施方案的当不足数量的图像捕获装置用于构建VR模型时的在真实世界环境500的VR模型内的不完整物体和间隙的识别。如图5B所示，没有足够的数据收集装置用于收集来自真实世界环境的数据(例如图像、视频、音频等)。当与图5A比较时，未提供在510B、512B和516B点处的数据收集装置。也就是说，没有在相应的覆盖区域510A、512A和516A中收集的数据，如从图5A示出的。
在基础VR模型中的间隙区可与在510B、512B和516B点处的数据收集装置的缺乏相关联。例如，间隙区531可与在510B点处的数据收集装置的缺乏相关联。间隙区531包括从基础VR模型缺少的物体560A-560D，因为对那些物体没有收集数据。此外，间隙区532可能缺乏物体。此外，间隙区533包括从基础VR模型缺少的物体560E-560F，因为对那些物体没有收集数据。
此外，真实世界环境500的其它物体由于为那个物体捕获的多个观察点的缺乏而可能是不完整的，如在基础VR模型中表示的。例如，可以只从在点511B处的一个数据收集装置捕获物体550A。在那种情况下，物体550A的模型可只有物体的正面而没有物体的背面的任何表示。此外，不完整物体550B具有从在511B处的一个观察点看的一侧的覆盖；不完整物体550C具有从在514B处的一个观察点看的来自一侧的覆盖；不完整物体550D具有从在514B处的一个观察点看的来自一侧的覆盖；不完整物体550E具有从在514B处的一个观察点看的来自一侧的覆盖；不完整物体550F具有从在513B处的一个观察点看的来自一侧的覆盖；以及不完整物体550G、550H和550J具有从在515B处的一个观察点看的来自一侧的覆盖。
图6A是示出根据本公开的一个实施方案的用于使用真实世界VR模型作为基础从第三方映射系统构建VR游戏玩耍环境的信息流的数据流600A。在一个实施方案中，数据流600A可遵循图4A-4B的流程图400A-400B。
如所示，数据流600A可在三个阶段之间被划分以包括如由第三方映射实体执行的第三方映射阶段691、用于构建增强型VR世界的VR世界增强阶段692和使用阶段693。使用阶段可包括游戏开发以使用增强型VR世界作为游戏玩耍环境，以及游戏玩耍，其中游戏玩耍应用可被执行以基于增强型VR世界来提供游戏玩耍环境。
在第三方映射阶段691处，第三方映射实体构建相应的真实世界环境的基础VR模型655。一般，第三方映射实体可使基础VR模型655变成用户可访问的，为了它们在游戏玩耍期间的使用和乐趣。例如，映射公司可向用户提供映射服务(例如通过搜索引擎)，其可包括一个或多个环境的3D视图。如先前介绍的，这些基础VR模型在覆盖中被限制，因为它们只将特定的视图提供到数字地产生的3D世界内，而不是来自在那个数字地产生的3D世界中的每个位置。
特别是，可为户内环境和户外环境创建基础VR模型655。用于产生相应的基础VR模型的过程和丰富阶段650对户内和户外环境是类似的。对于户内环境，使用在物理真实世界环境中的一个或多个捕获点，其中在捕获点处的一个或多个3D视频摄像机651配置成捕获真实世界的图像和/或视频652。也可捕获真实世界环境的音频和其它数据。类似地，对于户外环境，使用在物理真实世界环境中的一个或多个捕获点，其中在捕获点处的一个或多个3D视频摄像机653配置成捕获真实世界的图像和/或视频654。也可捕获真实世界环境的音频和其它数据。所捕获的图像和/或视频可拼接在一起以形成基础VR模型/世界655。
在VR世界增强阶段691，使用基础VR模型655来产生相应的真实世界环境的增强型基础VR模型675。例如，在660执行的过程包括识别环境、在那个环境内的物体、在基础VR模型中的物体的不完整模型、间隙识别、在基础VR模型中的物体的增强以及基础VR模型的间隙填充，如前所述。部分地，使用预定物体模型661和/或补充的图像/视频662来构建增强型VR模型675。库181存储多个增强型VR模型(例如模型675-1到675-N)。
在使用阶段693，可在游戏开发期间和在游戏玩耍期间使用增强型基础VR模型。特别是，使用阶段可包括游戏开发，其中提供由游戏开发者对增强型VR世界675的访问以允许游戏开发者使增强型VR世界675与作为游戏玩耍环境的相应游戏玩耍应用的游戏逻辑通过接口连接和/或集成。例如，增强型基础VR模型可由游戏开发者访问以在游戏开发期间使增强型基础VR模型集成到游戏玩耍应用680的游戏逻辑685内和/或与游戏玩耍应用680的游戏逻辑685通过接口连接。
此外，使用阶段693可包括游戏玩耍，其中执行以支持用户的游戏玩耍的游戏逻辑685(例如服务器、游戏控制台等)与相应的增强型VR世界通过接口连接以实现被玩的游戏玩耍应用的游戏玩耍环境。例如，图6B是示出根据本公开的一个实施方案的真实世界环境的增强型VR模型675-5的选择和增强型VR模型675-5到游戏玩耍应用680的游戏逻辑685内的集成。如所示，游戏玩耍应用680的游戏逻辑685执行以支持用户的游戏玩耍。游戏逻辑685可由多个节点(例如执行节点、逻辑节点、数据节点等)表示，每个节点连接到一个或多个其它节点。游戏逻辑685的节点也可连接到在增强型VR模型675-2中的节点(例如执行节点、逻辑节点、数据节点等)。以那种方式，游戏逻辑685与选定增强型VR模型675-2通过接口连接。游戏玩耍应用680可在支持多个游戏玩耍应用的多个游戏玩耍的后端服务器处或在与用户相关联的游戏控制台上执行。
特别是，游戏玩耍应用680可支持一个或多个游戏玩耍环境。例如，游戏玩耍应用680可以是在全世界可见的很多比赛跑道(真实跑道)上设置的赛车视频游戏。每个比赛跑道可相应于在库181中的多个增强型VR模型675之一。在用户的游戏玩耍期间，用户可选择相应于增强型基础VR模型675-5的特定比赛跑道。增强型基础VR模型675-5通过网络150输送到执行游戏玩耍应用680的客户端装置170A，使得选定赛车跑道的游戏玩耍环境被提供到游戏逻辑685。以那种方式，用户能够在选定比赛跑道上赛车。
图7示出可用于执行本公开的各种实施方案的方面的示例装置700的部件。例如，图7示出根据一个实施方案的适合于实现提供服务以支持用户的装置的示例性硬件系统，其中装置可配置成基于由第三方映射实体提供的VR世界来构建增强型基础VR世界。这个方框图示出适合于参与本公开的实施方案的装置700，其可合并或可以是个人计算机、视频游戏控制台、个人数字助理或其它数据装置。装置700包括用于运行软件应用和可选地操作系统的中央处理单元(CPU)702。CPU 702可由一个或多个同构或异构处理核心组成。例如，CPU702是具有一个或多个处理核心的一个或多个通用微处理器。可与深度学习引擎190协作地使用具有特别适合于高度并行和计算上密集的应用例如媒体和交互式娱乐应用或配置成例如由VR世界模型构建器200构建增强型基础VR模型的应用的微处理器架构的一个或多个CPU来实现另外的实施方案，如前所述。
存储器704存储应用和数据用于由CPU 702使用。存储装置706提供应用和数据的非易失性存储装置和其它计算机可读介质，并可包括固定磁盘驱动器、可移动磁盘驱动器、闪存装置和CD-ROM、DVD-ROM、蓝光、HD-DVD或其它光学存储装置以及信号传输和存储介质。用户输入装置708将用户输入从一个或多个用户传递到装置700，其例子可包括键盘、鼠标、操纵杆、触控板、触摸屏、静止或视频记录器/摄像机、用于识别手势的跟踪装置和/或麦克风。网络接口714允许装置700经由电子通信网络与其它计算机系统通信，并可包括在局域网和广域网例如互联网上的有线或无线通信。音频处理器712适合于从由CPU 702、存储器704和/或存储装置706提供的指令和/或数据产生模拟或数字音频输出。装置700的部件(包括CPU 702、存储器704、存储装置706、用户输入装置708、网络接口710和音频处理器712)经由一个或多个数据总线722被连接。
图形子系统714进一步与数据总线722和装置700的部件连接。图形子系统714包括图形处理单元(GPU)716和图形存储器718。图形存储器718包括用于存储输出图形的每个像素的像素数据的显示存储器(例如帧缓冲器)。图形存储器718可与GPU 716集成在同一装置中，作为单独的装置与GPU 716连接，和/或在存储器704内实现。可将像素数据直接从CPU702提供到图形存储器718。可选地，CPU 702给GPU 716提供定义期望输出图形的数据和/或指令，GPU 716从这些数据和/或指令产生一个或多个输出图像的像素数据。定义期望输出图形的数据和/或指令可存储在存储器704和/或图形存储器718中。在实施方案中，GPU 716包括用于产生来自指令的输出图像的像素数据以及定义几何结构、照明、阴影、纹理化、运动和/或场景的摄像机参数的数据的3D渲染能力。GPU 716还可包括能够执行着色器程序的一个或多个可编程执行单元。
图形子系统714周期性地从图形存储器718输出图像的像素数据以显示在显示装置710上或由投影系统740投影。显示装置710可以是能够响应于来自装置700的信号而显示视觉信息的任何装置，包括CRT、LCD、等离子体和OLED显示器。例如，装置700可以给显示装置710提供模拟或数字信号。
应理解，本文定义的各种实施方案可以使用本文公开的各种特征来组合或组装成特定的实现。因此，所提供的例子仅仅是一些可能的例子，而不限于各种实现，其可以通过组合各种元素以定义更多的实现。在一些例子中，一些实现可包括更少的元素而不偏离所公开的实现或等效实现的精神。
可使用包括手持装置、微处理器系统、基于微处理器的或可编程的消费电子设备、小型计算机、大型计算机和诸如此类的各种计算机系统配置来实践本公开的实施方案。也可在分布式计算环境中实践本公开的实施方案，其中任务由通过基于电线的网络或无线网络链接的远程处理装置执行。
鉴于上述实施方案，应理解，本公开的实施方案可使用涉及在计算机系统中的数据存储的各种计算机实现的操作。这些操作是需要物理量的物理操纵的操作。形成本公开的实施方案的部分的本文所述的任何操作是有用的机器操作。本发明的实施方案还涉及用于执行这些操作的装置或设备。可为了所需目的而特别构造设备，或设备可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。特别是，各种通用机器可与根据本文的教导编写的计算机程序一起被使用，或构造更专业的设备以执行所需操作可能更方便。
本公开也可被体现为在计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置，该数据其后可由计算机系统读取。计算机可读介质的例子包括硬盘驱动器、网络附加存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦合的计算机系统上分布的计算机可读有形介质，使得计算机可读代码以分布式方式被存储和执行。
虽然以特定顺序描述了方法操作，应理解，其它内务管理操作可以在操作之间被执行，或操作可被调节使得它们出现在稍微不同的时间，或可分布在允许处理操作以与处理相关联的各种间隔出现的系统中，只要叠置操作以期望方式被执行即可。
虽然为了理解的清楚的目的稍微详细地描述了前述公开，但将明显，可在所附权利要求的范围内实践某些变化和修改。因此，当前的实施方案应被考虑为例证性的而不是限制性的，且本公开的实施方案不限于在本文给出的细节，但可在所附权利要求的范围和等效形式内被修改。

Claims (20)

1.一种用于构建游戏玩耍环境的方法，包括：
从第三方映射数据存储设备访问真实世界环境的基础VR模型，其中所述真实世界环境包括多个真实世界物体；
增强在所述基础VR模型中的相应于在所述真实世界环境中的第一真实世界物体的第一物体；
将所增强的所述第一物体拼接到所述基础VR模型内以产生增强型基础VR模型；
将所述增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备；以及
使用所述多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境。
2.如权利要求1所述的方法，还包括：
从远程装置接收对所述多个增强型基础VR模型中的所述一个或多个的请求；以及
将所述多个增强型基础VR模型中的所述一个或多个发送到所述远程装置用于与所述游戏玩耍应用的游戏逻辑通过接口连接，其中所述游戏逻辑在与所述第一用户的游戏玩耍相关联的所述远程装置上执行。
3.如权利要求2所述的方法，其中所述远程装置是配置成为多个用户执行多个游戏逻辑的服务器。
4.如权利要求2所述的方法，其中所述远程装置是所述第一用户的控制台。
5.如权利要求1所述的方法，还包括：
通过软件开发工具包(SDK)使来自库数据存储装置的所述增强型基础VR模型对所述远程装置变得可用，用于在开发配置成与所述增强型基础VR模型通过接口连接的游戏玩耍应用的游戏逻辑时使用，所述游戏玩耍应用具有基于所述真实世界环境的游戏玩耍环境。
6.如权利要求1所述的方法，其中所述增强所述第一物体包括：
确定在所述真实世界环境中的所述第一真实世界物体的第一表面模型在所述基础VR模型中是不完整的，其中所述基础VR模型包括多个表面模型，每个表面模型与相应的真实世界物体相关联；
从物体数据存储设备访问所述第一真实世界物体的多个图像；
用从所述第一物体的所述多个图像构建的表面部分增强所述不完整的第一表面模型以产生增强型第一表面模型；以及
当执行所述拼接时使用所述不完整的第一表面模型的所述增强型第一表面模型。
7.如权利要求1所述的方法，其中所述增强所述第一物体包括
确定在所述真实世界环境中的所述第一真实世界物体的第一表面模型在所述基础VR模型中是不完整的，其中所述基础VR模型包括多个表面模型，每个表面模型与相应的真实世界物体相关联；
从物体数据存储设备访问先前产生的完整的第一表面模型；以及
当执行所述拼接时使用所述先前产生的完整的第一表面模型来表示第一真实世界物体。
8.如权利要求1所述的方法，其中所述增强所述第一物体包括
确定在所述真实世界环境中的所述第一真实世界物体的第一表面模型在所述基础VR模型中是不完整的，其中所述基础VR模型包括多个表面模型，每个表面模型与相应的真实世界物体相关联；
从物体数据存储设备访问所述第一真实世界物体的多个图像；
使用所述多个图像来产生所述第一真实世界物体的完整的第一表面模型；以及
当执行所述拼接时使用所述完整的第一表面模型来表示所述第一真实世界物体。
9.如权利要求1所述的方法，还包括：
确定在所述基础VR模型中的间隙区，其中所述间隙区缺乏至少一个物体；
访问填充物体以填充所述间隙区；以及
将所述填充物体拼接到所述基础VR模型内以产生所述增强型基础VR模型。
10.如权利要求1所述的方法，其中所述真实世界环境包括实况事件、博物馆和城市之一。
11.一种存储用于构建游戏玩耍环境的计算机程序的非临时计算机可读介质，所述计算机可读介质包括：
用于从第三方映射数据存储设备访问真实世界环境的基础VR模型的程序指令，其中所述真实世界环境包括多个真实世界物体；
用于增强在所述基础VR模型中的相应于在所述真实世界环境中的第一真实世界物体的第一物体的程序指令；
用于将所增强的所述第一物体拼接到所述基础VR模型内以产生增强型基础VR模型的程序指令；
用于将所述增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备的程序指令；以及
用于使用所述多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境的程序指令。
12.如权利要求11所述的计算机可读介质，还包括：
用于从远程装置接收对所述多个增强型基础VR模型中的所述一个或多个的请求的程序指令；以及
用于将所述多个增强型基础VR模型中的所述一个或多个发送到所述远程装置用于与所述游戏玩耍应用的游戏逻辑通过接口连接的程序指令，其中所述游戏逻辑在与所述第一用户的游戏玩耍相关联的所述远程装置上执行。
13.如权利要求11所述的计算机可读介质，还包括：
用于通过软件开发工具包(SDK)使来自库数据存储装置的所述增强型基础VR模型对所述远程装置变得可用的程序指令，用于在开发配置成与所述增强型基础VR模型通过接口连接的游戏玩耍应用的游戏逻辑时使用，所述游戏玩耍应用具有基于所述真实世界环境的游戏玩耍环境。
14.如权利要求11所述的计算机可读介质，其中用于增强所述第一物体的所述程序指令包括：
用于确定在所述真实世界环境中的所述第一真实世界物体的第一表面模型在所述基础VR模型中是不完整的程序指令，其中所述基础VR模型包括多个表面模型，每个表面模型与相应的真实世界物体相关联；
从物体数据存储设备访问所述第一真实世界物体的多个图像；
用从所述第一物体的所述多个图像构建的表面部分增强所述不完整的第一表面模型以产生增强型第一表面模型；以及
当执行所述拼接时使用所述不完整的第一表面模型的所述增强型第一表面模型。
15.如权利要求11所述的计算机可读介质，还包括：
用于确定在所述基础VR模型中的间隙区的程序指令，其中所述间隙区缺乏至少一个物体；
用于访问填充物体以填充所述间隙区的程序指令；以及
用于将所述填充物体拼接到所述基础VR模型内以产生所述增强型基础VR模型的程序指令。
16.一种计算机系统，包括：
处理器；以及
存储器，其耦合到所述处理器并具有存储在其中的指令，所述指令如果由所述计算机系统执行则使所述计算机系统执行用于构建游戏玩耍环境的方法，所述方法包括：
从第三方映射数据存储设备访问真实世界环境的基础VR模型，其中所述真实世界环境包括多个真实世界物体；
增强在所述基础VR模型中的相应于在所述真实世界环境中的第一真实世界物体的第一物体；
将所增强的所述第一物体拼接到所述基础VR模型内以产生增强型基础VR模型；
将所述增强型基础VR模型存储到包括多个增强型基础VR模型的库数据存储设备；以及
使用所述多个增强型基础VR模型中的一个或多个来定义游戏玩耍应用的虚拟环境。
17.如权利要求16所述的计算机系统，其中所述方法还包括：
从远程装置接收对所述多个增强型基础VR模型中的所述一个或多个的请求；以及
将所述多个增强型基础VR模型中的所述一个或多个发送到所述远程装置用于与所述游戏玩耍应用的游戏逻辑通过接口连接，其中所述游戏逻辑在与所述第一用户的游戏玩耍相关联的所述远程装置上执行。
18.如权利要求16所述的计算机系统，其中所述方法还包括：
通过软件开发工具包(SDK)使来自库数据存储装置的所述增强型基础VR模型对所述远程装置变得可用，用于在开发配置成与所述增强型基础VR模型通过接口连接的游戏玩耍应用的游戏逻辑时使用，所述游戏玩耍应用具有基于所述真实世界环境的游戏玩耍环境。
19.如权利要求16所述的计算机系统，其中在所述方法中的所述增强所述第一物体包括：
确定在所述真实世界环境中的所述第一真实世界物体的第一表面模型在所述基础VR模型中是不完整的，其中所述基础VR模型包括多个表面模型，每个表面模型与相应的真实世界物体相关联；
从物体数据存储设备访问所述第一真实世界物体的多个图像；
用从所述第一物体的所述多个图像构建的表面部分增强所述不完整的第一表面模型以产生增强型第一表面模型；以及
当执行所述拼接时使用所述不完整的第一表面模型的所述增强型第一表面模型。
20.如权利要求16所述的计算机系统，其中所述方法还包括：
确定在所述基础VR模型中的间隙区，其中所述间隙区缺乏至少一个物体；
访问填充物体以填充所述间隙区；以及
将所述填充物体拼接到所述基础VR模型内以产生所述增强型基础VR模型。
CN201910140903.2A 2018-03-05 2019-02-26 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境 Active CN110227266B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/911,780 2018-03-05
US15/911,780 US11014001B2 (en) 2018-03-05 2018-03-05 Building virtual reality (VR) gaming environments using real-world virtual reality maps

Publications (2)

Publication Number Publication Date
CN110227266A true CN110227266A (zh) 2019-09-13
CN110227266B CN110227266B (zh) 2023-06-06

Family

ID=65352174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910140903.2A Active CN110227266B (zh) 2018-03-05 2019-02-26 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境

Country Status (5)

Country Link
US (2) US11014001B2 (zh)
EP (1) EP3762114A1 (zh)
JP (1) JP7125992B2 (zh)
CN (1) CN110227266B (zh)
WO (1) WO2019172999A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112057868A (zh) * 2020-09-17 2020-12-11 网易（杭州）网络有限公司 游戏模型的合批处理方法、装置及电子设备
TWI756944B (zh) * 2020-11-27 2022-03-01 國立臺北科技大學 融合混增實境及虛擬實境之教學系統及其方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10888788B2 (en) * 2016-06-30 2021-01-12 Sony Interactive Entertainment Inc. Automated artificial intelligence (AI) control mode for playing specific tasks during gaming applications
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
US10888777B2 (en) * 2018-10-01 2021-01-12 International Business Machines Corporation Deep learning from real world and digital exemplars
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11167214B1 (en) * 2019-04-15 2021-11-09 Exponential Corp. Dynamic game management platform that utilizes predictive analytics to modify game parameters in real-time
US11049072B1 (en) * 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
JP2022505002A (ja) * 2019-10-15 2022-01-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム
US11400376B2 (en) * 2019-10-23 2022-08-02 Sony Interactive Entertainment Inc. AI-generated internal environments based on external geometry
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
KR20230144042A (ko) 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
US20220327773A1 (en) * 2021-04-09 2022-10-13 Georgetown University Facial recognition using 3d model
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
WO2023173126A1 (en) * 2022-03-10 2023-09-14 Matterport, Inc. System and method of object detection and interactive 3d models

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056302A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 증강현실 기술을 이용한 게임 장치 및 방법
CN104380347A (zh) * 2012-06-29 2015-02-25 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统
CN107596683A (zh) * 2017-09-25 2018-01-19 晋江市博感电子科技有限公司 基于增强现实的童车虚拟游乐方法、装置及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768486B1 (en) * 2001-05-18 2004-07-27 Autodesk, Inc. Modifying subobjects of geometry objects based on per-subobject objects
EP1567988A1 (en) * 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
US9576330B2 (en) * 2008-03-07 2017-02-21 Virtually Live (Switzerland) Gmbh Media system and method
GB0804274D0 (en) * 2008-03-07 2008-04-16 Virtually Live Ltd A media sysyem and method
CA3164530C (en) * 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
US9436410B2 (en) * 2013-12-13 2016-09-06 Netapp, Inc. Replication of volumes on demands using absent allocation
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20170301079A1 (en) * 2016-04-19 2017-10-19 Incheon University Industry Academic Cooperation Foundation Method of acquiring tsom image and method of examining semiconductor device
JP6672070B2 (ja) * 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
KR101859050B1 (ko) * 2016-06-02 2018-05-21 네이버 주식회사 내용 기반의 지도 이미지 탐색 방법 및 시스템
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
WO2018093202A1 (en) * 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. Method and apparatus for analysing communication channel in consideration of material and contours of objects
CN107330921A (zh) * 2017-06-28 2017-11-07 京东方科技集团股份有限公司 一种排队装置及其排队控制方法
US10419728B2 (en) * 2017-08-22 2019-09-17 Chekt Llc Monitoring system having personal information protection function and method thereof
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
US10888777B2 (en) * 2018-10-01 2021-01-12 International Business Machines Corporation Deep learning from real world and digital exemplars
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US11167214B1 (en) * 2019-04-15 2021-11-09 Exponential Corp. Dynamic game management platform that utilizes predictive analytics to modify game parameters in real-time
US11969651B2 (en) * 2019-12-20 2024-04-30 Niantic, Inc. Merging local maps from mapping devices
US11305195B2 (en) * 2020-05-08 2022-04-19 T-Mobile Usa, Inc. Extended environmental using real-world environment data
US11452940B2 (en) * 2020-06-09 2022-09-27 International Business Machines Corporation Real-world activity simulation augmentation with real-world data of the activity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030056302A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 증강현실 기술을 이용한 게임 장치 및 방법
CN104380347A (zh) * 2012-06-29 2015-02-25 索尼电脑娱乐公司 视频处理设备、视频处理方法和视频处理系统
CN107596683A (zh) * 2017-09-25 2018-01-19 晋江市博感电子科技有限公司 基于增强现实的童车虚拟游乐方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MARCO ATTENE ET AL: "《Polygon Mesh Repairing: An Application Perspective》", 《ACM COMPUTING SURVEYS》, 12 March 2013 (2013-03-12), pages 1 - 33 *
PENGFEI WEI: "《An virtual vehicle control game for online brain computer interface feedback training》", 《2010 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》, 4 August 2010 (2010-08-04), pages 1942 - 1944 *
SHU SHI ET AL.: "《a survey of interactive remote rendering systems》", 《ACM COMPUTING SURVEYS》, 26 May 2015 (2015-05-26), pages 1 - 29, XP058069615, DOI: 10.1145/2719921 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112057868A (zh) * 2020-09-17 2020-12-11 网易（杭州）网络有限公司 游戏模型的合批处理方法、装置及电子设备
TWI756944B (zh) * 2020-11-27 2022-03-01 國立臺北科技大學 融合混增實境及虛擬實境之教學系統及其方法

Also Published As

Publication number Publication date
US20210275923A1 (en) 2021-09-09
WO2019172999A1 (en) 2019-09-12
US20190270015A1 (en) 2019-09-05
EP3762114A1 (en) 2021-01-13
US11014001B2 (en) 2021-05-25
JP7125992B2 (ja) 2022-08-25
US11845008B2 (en) 2023-12-19
JP2021514775A (ja) 2021-06-17
CN110227266B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110227266A (zh) 使用真实世界虚拟现实地图来构建虚拟现实游戏玩耍环境
Bozzelli et al. An integrated VR/AR framework for user-centric interactive experience of cultural heritage: The ArkaeVision project
CN104011788B (zh) 用于增强和虚拟现实的系统和方法
Ch’ng Experiential archaeology: Is virtual time travel possible?
CN105931283B (zh) 一种基于动作捕捉大数据的三维数字内容智能制作云平台
Jacobs Psychology of the visual landscape
Wang et al. Three‐dimensional virtual VR technology in environmental art design
Wallgrün et al. Low-cost VR applications to experience real word places anytime, anywhere, and with anyone
Kontogianni et al. Exploiting textured 3D models for developing serious games
Di Paola et al. A gaming approach for cultural heritage knowledge and dissemination
Stamps III Simulating designed environments
Perez-Huet Global Literature Review on the applications of Virtual Reality in Forestry
Bozzelli et al. An Integrated VR/MR Framework for User-Centric Interactive Experience of Cultural Heritage: the ArkaeVision project.
Farella et al. Methods, data and tools for facilitating a 3D cultural heritage space
Tewari et al. Virtual Campus Walkthrough
Sang Interactive Innovation Research on Film Animation Based on Maya-Unity Animation Simulation of Visual Sensor
Zeile et al. Virtual Design and BIM in Architecture and Urban Design–Potential Benefit for Urban Emotions Initiative
Delbridge The cooling steam of the Polar Express: historical origins, properties and implications of performance capture
Chen Assessing the potential of mixed reality for landscape architecture
Dokonal et al. Creating and using virtual cities
ÇEVİK et al. DIALOGUE OF URBAN SPACES AND MEMORIES-II: AN EXAMPLE STUDY FROM TURKEY-TRABZON CITY
Li et al. Immersive Experience Design of Digital Media Interactive Art Based on Virtual Reality
Lam Exploring virtual reality painting technology and its potential for artistic purposes
Fan et al. Immersive Experience of Art Design Based on improved Generative Confrontation Network
Fiorillo et al. VR and Holographic Information System for the Conservation Project

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant