CN111148554B - 现实世界空间的虚拟现实呈现 - Google Patents

现实世界空间的虚拟现实呈现 Download PDF

Info

Publication number
CN111148554B
CN111148554B CN201880062904.3A CN201880062904A CN111148554B CN 111148554 B CN111148554 B CN 111148554B CN 201880062904 A CN201880062904 A CN 201880062904A CN 111148554 B CN111148554 B CN 111148554B
Authority
CN
China
Prior art keywords
real world
real
capture system
user
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880062904.3A
Other languages
English (en)
Other versions
CN111148554A (zh
Inventor
M.卡恩
李淼
K.宫木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment America LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN111148554A publication Critical patent/CN111148554A/zh
Application granted granted Critical
Publication of CN111148554B publication Critical patent/CN111148554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/61—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor using advertising information
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供用于经由头戴式显示器(HMD)向远程用户输送现实世界空间的虚拟现实(VR)体验的方法和系统。一种方法提供：发送对所述现实世界空间的所述VR体验的请求，以及识别由所述用户做出的座位选择。所述方法包括以下操作：将所述座位选择映射到现实世界捕获系统以便在对应于所述座位选择的位置处捕获视频和音频；以及接收所述现实世界捕获系统的现实世界坐标。此外，所述方法访问所述用户的用户配置文件，以及接收由所述现实世界捕获系统捕获的所述现实世界空间的视频流。所述方法能够识别现实世界对象，并且通过用图形内容项目进行覆盖来取代与所述现实世界对象相关联的图像数据而使用图形内容元素重塑所述现实世界对象。

Description

现实世界空间的虚拟现实呈现
技术领域
本公开总体涉及现实世界空间的虚拟现实(VR)呈现，并且更具体地，涉及用于向头戴式显示器(HMD)的用户提供远离用户的现场事件的VR体验的方法和系统，所述现场事件诸如为电子竞技事件。
背景技术
电子竞技(或“esports”)正在变为越来越受观众欢迎的娱乐形式。电子竞技是一种竞赛形式，其通常涉及通过电子系统促成的多人视频游戏，所述电子系统诸如视频游戏服务器和计算机系统。在电子竞技情景中玩的比较流行的视频游戏种类中的一些视频游戏种类是即时战略游戏、战斗游戏、第一人称射击(FPS)射击游戏以及多人在线战斗竞技场(MOBA)游戏。当在受众面前现场玩电子竞技游戏时，电子竞技事件变为观众事件。许多电子竞技事件是在大竞技场中举办，并且在诸如超大屏幕的大显示器上向受众成员提供游戏动作的视图以及来自解说员团队的现场解说。因此，电子竞技现场的受众成员会被赋予游戏动作、玩家、解说员和受众自身的沉浸式现实世界体验。
在许多情况下，不能亲自参加电子竞技事件的电子竞技爱好者仍然能够经由对所述事件的在线现场直播进行收看。因此，远程观众能够获得由(例如)主办事件的组织或发行事件的发行公司产生的所述事件的通用视频流。无论哪种情景，电子竞技事件的当前视频流都不是沉浸式的。举例来说，在显示器上观看电子竞技视频流的远程观众将不会有像沉浸在主办电子竞技事件的竞技场中一样的感觉。另外，可能存在观众可能感兴趣的多个摄像机视图和“屏幕视图”(例如，玩家的屏幕所显示的内容)。当前的电子竞技广播不允许消费者选择他们想要播出视图中的哪些视图。
在这种背景下出现了若干实施方案。
发明内容
本公开的实施方案涉及用于经由头戴式显示器(HMD)向远程用户输送现实世界空间的虚拟现实(VR)呈现的方法和系统。在一个实施方案中，一种方法包括以下操作：发送对现实世界空间的VR呈现的请求，以及识别由用户做出的在所述现实世界空间内的座位选择，所述座位选择会被映射到现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频。所述方法还包括以下操作：接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标。所述方法能够访问用户的具有用户偏好的用户配置文件。根据一些实施方案，所述方法从现实世界捕获系统接收现实世界空间的视频流，所述视频流包括由现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在HMD中从与对应于座位选择的现实世界捕获系统的现实世界坐标相关联的视角呈现所述多个图像。所述方法还包括以下操作：从视频流的多个图像中识别被配置成在呈现期间进行重塑的现实世界对象。根据此实施方案和其他实施方案，所述方法基于所述用户配置文件来重塑多个视频图像内的现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据。在某些实施方案中，基于与对应于座位选择的现实世界捕获系统相关联的视角在几何上调整所述覆盖。然后，所述方法经由HMD来呈现已经为用户重塑的视频流以进行VR呈现。
通过结合附图进行的以下详细描述，本公开的其他方面将变得显而易见，以下详细描述举例说明本公开的原理。
附图说明
通过参考结合附图进行的以下描述来最佳地理解本公开，在附图中：
图1是用于输送在远程现实世界空间中发生的电子竞技事件的虚拟现实(VR)呈现的实施方案的概念图解。
图2示出根据一个实施方案的用于重塑现实世界空间的VR呈现的方法的总体流程。
图3示出根据一个实施方案的用于使用从现实世界空间搜集的数据来提供具有与由用户做出的座位选择相对应的视点的现实世界空间的VR呈现的方法的总体流程。
图4示出根据一个实施方案的用于在现实世界空间的VR呈现期间重塑现实世界空间的静态现实世界对象的总体流程。
图5示出根据一个实施方案的用于在现实世界空间的VR呈现期间重塑现实世界空间的移动的现实世界对象的总体流程。
图6示出根据一个实施方案的远程观众做出经由HMD观看现场事件的座位选择的概念图解。
图7示出根据一个实施方案的将远程观众的座位选择映射到现实世界捕获系统的过程的概念图解，所述现实世界捕获系统包括用于捕获现实世界中的事件的多个摄像机和传声器。
图8示出根据一个实施方案的从现实世界空间数据和现实世界环境数据获得与现实世界捕获系统相关联的视点映射数据的概念图解。
图9示出重塑电子竞技事件的现实世界视图中的现实世界对象的概念图解。
图10A和图10B示出基于现实世界捕获系统的视角在几何上调整用于覆盖在广告顶部上的图形元素以进行重塑的概念图解。
图11示出可配置成进行重塑的现实世界对象的额外实施方案。
图12示出根据一个实施方案的向远程观众呈现在电子竞技事件中玩的视频游戏的游戏中飞越视图的概念图解。
图13示出根据一个实施方案的远程观众在电子竞技事件的不同视图之间进行选择以供显示的概念图解。
图14示出根据一个实施方案的使得能够经由HMD向用户进行电子竞技事件的VR呈现的示例性计算系统的图。
图15示出根据一个实施方案的两个远程观众在电子竞技事件的情景内虚拟地彼此交互的概念图解。
图16示出能够与本文呈现的方法和过程一起使用的头戴式显示器(HMD)的实施方案。
具体实施方式
以下实施方案描述用于经由HMD向远程观众提供现场事件的沉浸式虚拟体验的方法、计算机程序和设备。然而，本领域技术人员将清楚，可以在没有这些特定细节中的一些或全部特定细节的情况下实践本公开。在其他情况下，未详细描述众所周知的过程操作，以免不必要地使本公开混淆不清。
电子竞技(或“esports”)正在变为越来越受观众欢迎的娱乐形式。电子竞技是一种竞赛形式，其通常涉及通过电子系统促成的多人视频游戏，所述电子系统诸如视频游戏服务器和计算机系统。在电子竞技情景中玩的比较流行的视频游戏种类中的一些视频游戏种类是即时战略游戏、战斗游戏、第一人称射击(FPS)射击游戏以及多人在线战斗竞技场(MOBA)游戏。当在受众面前现场玩电子竞技游戏时，电子竞技事件变为观众事件。许多电子竞技事件是在大竞技场中举办，并且在诸如超大屏幕的大显示器上向受众成员提供游戏动作的视图以及来自解说员团队的现场解说。因此，电子竞技现场的受众成员会被赋予游戏动作、玩家、解说员和受众自身的沉浸式现实世界体验。
在许多情况下，不能亲自参加电子竞技事件的电子竞技爱好者仍然能够经由对所述事件的在线现场直播进行收看。因此，远程观众能够获得由(例如)主办事件的组织或发行事件的发行公司产生的所述事件的通用视频流。无论哪种情景，电子竞技事件的当前视频流都不是沉浸式的。举例来说，在显示器上观看电子竞技视频流的远程观众将不会有像沉浸在主办电子竞技事件的竞技场中一样的感觉。另外，可能存在观众可能感兴趣的多个摄像机视图和“屏幕视图”(例如，玩家的屏幕所显示的内容)。当前的电子竞技广播不允许消费者选择他们想要播出视图中的哪些视图。
本文呈现的方法和系统允许HMD的远程用户观看诸如电子竞技事件等现实世界事件的VR呈现。根据一些实施方案，通过定位在诸如礼堂、竞技场、音乐厅、仓库等现实世界空间内的装置来捕获诸如视频、音频和其他数据等现实世界数据。将包括视频和音频数据的现实世界数据输送到VR托管服务器或其他内容提供者进行处理。所述VR托管服务器能够处理现实世界数据并且渲染现实世界事件的VR呈现。经由网络将VR呈现数据发送到用户的HMD或发送到连接至所述HMD的计算装置。
根据一些实施方案，可以在视觉上修改特定区域或区或(一般地)现实世界对象以进行VR呈现。在一个实施方案中，所述视觉修改包括重塑诸如广告等现实世界对象。重塑包括以下过程：将新的内容覆盖在现有内容的顶部上，或者替换上或集成有与新的内容相关联的像素数据，来取代与视频帧内的现有内容相关联的像素数据。本文预期的实施方案可以使用任一种重塑方法。因此，可以向现实世界事件的远程观众提供更符合他们的兴趣并且没有不想要的内容的重塑后内容。
图1是用于经由HMD 102和VR环境104向远程用户101输送电子竞技事件100的虚拟现实(VR)呈现106的实施方案的概念图解。示出电子竞技事件100包括第一队伍112和第二队伍114，所述第一队伍和所述第二队伍在由本地服务器116托管的多人视频游戏中彼此对抗。示出队伍横幅120和122来指示哪个队伍是哪个。在诸如超大屏幕的主显示器118上显示视频游戏的进行的实时呈现103，并且所述实时呈现包括在从各种视点玩所述视频游戏时所述视频游戏的现场视频。
示出电子竞技事件100中的每个玩家具有他们自己的游戏站，玩家可以在玩多人游戏时在所述游戏站处与监视器和输入装置交互。每个游戏站还具有面向受众的面板，示出所述面向受众的面板在玩家玩多人游戏时显示每个玩家的现场人像视图。在图1中还示出一对解说员105，所述解说员可以提供关于游戏和游戏玩家的比赛详情和精彩解说。
还示出电子竞技事件100包括受众132可以观看的多个体育广告。所述体育广告可以包括印刷的横幅广告、投影的广告、LED显示的广告等。举例来说，示出电子竞技事件包括针对牛奶的左墙广告124、针对方便面的右墙广告126、针对能量饮料的舞台墙广告130，以及针对游戏产品的解说员桌子广告128。
示出受众132包括面向电子竞技事件100的舞台的多个座位。根据一些实施方案，远程用户101能够选择多个座位中的特定座位进行电子竞技事件100的VR呈现106。在所示出的实施方案中，用户101已经选择了具有视点136的座位134，经由VR呈现106从所述视点观看电子竞技事件100。如将在下文更详细地描述，通过现实世界捕获系统138提供座位134的视点136，所述现实世界捕获系统具有定位在座位134处的多个摄像机和传声器以从座位134的视点136捕获电子竞技事件100。
示出HMD 102可以通过VR托管服务器107访问电子竞技事件100。VR托管服务器107接收由本地服务器116提供的现实世界数据和游戏状态数据以用于处理VR呈现。举例来说，可以向VR托管服务器107提供诸如视频游戏的游戏状态信息的视频游戏数据以及视频游戏的从不同视点渲染的视频场景以进行处理。另外，本地服务器116可以将由现实世界捕获系统136捕获的现实世界数据路由到VR托管服务器107以进行处理。在一些实施方案中，可能存在多个现实世界捕获系统来从电子竞技事件100内的多个眺望点(vantage point)捕获现实世界数据。因此，可以使用与用于托管多人视频游戏的本地服务器116不一样的不同服务器或多个服务器将由多个现实世界捕获系统捕获的现实世界数据服务于远程用户。
示出电子竞技事件100的VR呈现106是从由远程用户101选择的座位134的视点或眺望点做出的。因此，VR呈现106可以提供好像远程用户101位于座位134处一样的对电子竞技事件100的视觉和音频体验。在一些实施方案中，现实世界捕获系统138能够提供电子竞技事件100和其周围的物理空间的360度视图，使得远程用户101也能够通过移动转动他们的头或身体而具有电子竞技事件100的360度视图。因此，向远程用户101提供了当前电子竞技广播不能提供的对电子竞技事件100的沉浸式VR呈现106，这是因为向远程用户101提供了好像他们处于主办电子竞技事件100的竞技场内一样的体验。
根据在图1中示出的实施方案，已经对VR呈现106做出许多修改，所述VR呈现不同于由现实世界捕获系统138捕获的现实世界数据。举例来说，针对牛奶的左墙广告124在VR呈现中已经被重塑为针对PlayStation的左墙广告124’。同样地，在现实世界空间中针对方便面的右墙广告126对于远程用户101显现为针对Farpoint的右墙广告126’。另外，舞台墙广告136和解说员桌子广告128已经被重塑为显示与现实世界空间的广告内容不同的广告内容。示出重塑后的广告124’-130’中的每一者按照座位134和现实世界捕获系统138的视点相对于现实世界中的所述广告的视角、大小和几何比例在VR呈现106中保持它们的视角、大小和几何比例。举例来说，左墙广告124’以与在VR呈现106不重塑地进行的情况下左墙广告124会有的视角相同的视角向用户101显现。
如早先提及，重塑可以涉及通过将帧插入到具有现有内容的视频流中而将替换内容覆盖在现有内容的顶部上，使得代替现有内容而显示新的内容。在其他实施方案中，重塑可以涉及替换上与新的内容相关联的新的像素数据、与所述新的像素数据混合，或者将所述新的像素数据集成到与现有内容相关联的现有像素数据中。
另外，设想，使用新的内容来重塑现有内容涉及分析现有内容的视角，使得新的内容经重塑具有相同或类似的视角。在一些实施方案中，方法或系统可以搜集关于现有内容的顶点中的每一者的现实世界坐标以及现实世界捕获系统(例如，捕获现有内容的摄像机)的现实世界坐标的数据。在这些实施方案中，可以基于所搜集的坐标来确定现有内容的视角。举例来说，新的内容的顶点可以被虚拟地放置在3维空间中，以与现有内容的顶点的坐标匹配，并且被投影回到2维空间中。新的内容的所得的2维投影将具有与现有内容相同或类似的视角。在其他重塑实施方案中，可以通过以下操作在2维空间中发生重塑：对新的内容进行扭曲转变或视角扭曲以在视频图像内占用与现有内容相同的2维区域。
另外，预期，使与本文呈现的方法和系统一起使用的重塑能够动态地重塑相对于摄像机视点移动的现有内容。举例来说，可以通过以下操作来重塑在现实世界中移动的对象：跟踪视频帧中的每一者中的对象并且对所述视频帧内的对象执行重塑。随着对象移动，对象的视角也会改变。本文预期的重塑方法能够实时地跟踪这些改变，并且根据改变的视角重塑新的内容。
在其他实施方案中，现实世界捕获系统可以在现实世界空间内移动。因此，即使现实世界对象在现实世界中是静止的，现实世界对象的视角在摄像机移动时也将改变。本文预期的方法和系统能够在现实世界捕获系统的摄像机在现实世界四处移动时根据改变的视角来重塑现实世界对象。类似于重塑移动的对象，针对移动的摄像机视点来重塑静止的对象涉及跟踪一系列视频帧上的对象，并且使用与新的内容相关联的新的图像数据来覆盖或替换与现有内容相关联的现有图像数据。
在一些实施方案中，可以使用分类器、对象辨识、字符辨识和人工智能来自动识别现有内容(例如，现实世界广告)。在这些实施方案中，将自动识别的现有内容标记为将通过重塑逻辑进行替换。举例来说，可以命令VR托管服务每当捕获到特定的牛肉干品牌的标记时便自动识别并重塑那个品牌。设想，可以使VR托管服务能够自动重塑所述牛肉干品牌的标记进行最终的VR呈现。
在一些实施方案中，用于重塑的内容(例如，“PlayStation”、“FarPoint”等)可以基于用户偏好、用户设定、用户人口统计资料、用户浏览历史、用户购物历史、用户观看历史等。因此，可以通过不会使从电子竞技事件100的VR呈现106分心的方式向远程用户101提供与远程用户101的兴趣匹配的广告内容。
图2示出根据一个实施方案的用于重塑现实世界空间的VR呈现的方法的总体流程。所述方法包括操作210：用户在远程位置处请求进入现实世界空间以使用HMD体验现实世界空间的VR呈现。所述方法随后流动到操作220，所述操作用于识别用户的用户配置文件，所述用户配置文件包括用户偏好。在一些实施方案中，所述用户配置文件和所述用户偏好可以包括关于用户兴趣、用户人口统计资料、用户购物历史、用户浏览历史、用户观看历史的数据，以及关于社交好友活动、兴趣等的社交网络数据。因此，可以使所述方法能够了解远程用户感兴趣的产品、服务、事件等。
在操作230中，所述方法接收来自用户的座位选择。如将在下文更详细地论述，可以向用户提供与现实世界空间中的用于观看现实世界动作的现实世界位置相对应的多个座位。由于不同的座位具有对现实世界动作的不同视点或眺望点，所以不同的座位可以提供不同的VR呈现。在一些实施方案中，可以将不同的座位定价为不同的价格。举例来说，房屋中的处于舞台前方和中央的最佳座位可以比位于舞台远处的座位具有更高的价格或要求。
在操作240中，所述方法请求具有与远程用户的座位选择相对应的眺望点的现场视频流。如图1中所示，可以通过具有多个摄像机和传声器的现实世界捕获系统提供所述现场视频流。所述方法随后流动到操作250，所述操作用于接收所述眺望点的现实世界坐标位置。因此，例如，操作250可以获得在图1中示出的现实世界捕获系统的现实世界坐标位置。另外，所述方法能够获得现实世界空间的现实世界映射数据，所述现实世界映射数据可以包括对象在现实世界空间内的现实世界坐标。举例来说，如果现实世界空间是具有舞台的竞技场，那么现实世界映射数据可以提供关于舞台相对于眺望点在何处的信息。
所述方法随后流动到操作260，所述操作用于基于眺望点的现实世界坐标位置、现实世界映射数据和用户偏好来对在HMD上观看的现实世界对象执行动态重塑过程。用于动态重塑的现实世界对象可以包括现实世界中的任何对象，诸如广告、横幅、显示器、表面、贴片、地板、天花板、电子装置等。
图3示出根据一个实施方案的用于使用从现实世界空间搜集的数据来提供具有与由用户做出的座位选择相对应的视点的现实世界空间的VR呈现的方法的总体流程。操作310识别由用户做出的用于体验现实世界空间的VR呈现的座位选择。所述方法随后流动到操作320，所述操作用于获得所述座位选择的现实世界坐标位置以便处理VR呈现。所述用于获得座位选择的现实世界坐标的过程可以涉及将座位选择映射到位于现实世界中的与所述座位选择相对应的现实世界捕获系统。
在一些实施方案中，座位选择过程类似于在向购票者提供购买竞技场内的特定座位的票的选项的情况下选择现场事件的座位。因此，每个座位选择映射到现实世界空间中的现实世界座位。在一些实施方案中，对于每个座位选择，存在不同的现实世界捕获系统，所述不同的现实世界捕获系统从与座位选择相对应的位置捕获现实世界中的事件。在这些实施方案中，现实世界座位的现实世界坐标将类似于现实世界捕获系统的现实世界坐标。在其他实施方案中，可能存在映射到同一现实世界捕获系统的两个或更多个座位选择。因此，所述方法将获得现实世界捕获系统的现实世界坐标以便处理VR呈现。在其他实施方案中，可能存在座位选择到现实世界捕获系统的一对一映射与多对一映射的组合。操作320能够将座位选择映射到相对于所述座位选择在接近度、观看角度等方面最匹配的现实世界捕获系统。
如果座位选择是针对用于主办电子竞技事件的礼堂或竞技场中的座位，那么通过操作320获得的现实世界捕获系统的现实世界坐标位置有助于识别所述现实世界捕获系统相对于礼堂或竞技场中的对象在何处。举例来说，可以将座位选择AA01映射到在礼堂或竞技场的坐标系统内具有现实世界坐标位置(x,y,z)的现实世界捕获系统。
操作330被配置成访问现实世界空间的空间映射数据。空间映射数据可以包括按照以上提及的礼堂或竞技场的坐标系统的物理空间的虚拟映射。空间映射数据一般有助于识别对象、墙壁、地板、天花板、座位、舞台等的位置。同样，如果现实世界空间是主办电子竞技事件的礼堂或竞技场，那么空间映射数据可以包括电子竞技玩家、解说员、主显示器、舞台、广告和其他关注点的坐标数据。
在操作340中，所述方法从座位选择所映射到的现实世界捕获系统访问现实世界空间的空间环境数据。空间环境数据可以包括能够被现实世界捕获系统捕获的任何类型的数据。举例来说，如上文提及，现实世界捕获系统可以包括摄像机、传声器和用于测量对象的距离的其他传感器的阵列。因此，空间环境数据可以包括从声音校准过程搜集的数据，所述声音校准过程相对于现实世界捕获系统的位置来检测礼堂的声学性质。所检测的声学性质可以包括定向声学反射率、阻抗、增益、谐波、背景或环境噪声等。
通过操作340获得的空间环境数据还可以包括对现实世界捕获系统与现实世界空间内的各种对象之间的距离的测量值。还可以测量追溯到现实世界空间内的现实世界对象的顶点(诸如大幅广告的隅角)的射线之间的角距离。举例来说，空间映射数据可能够确定现实世界空间中的大幅矩形广告的四个顶点中的每一者的坐标位置。因此，空间环境数据可以用于构建现实世界空间中的3D模型现实世界对象。
在操作340中，使用从操作320搜集的数据(例如，现实世界捕获系统的现实世界坐标位置)、从操作330搜集的数据(例如，空间映射数据)以及从操作340搜集的数据(例如，空间环境数据)来处理视点映射数据。视点映射数据可以包括与处理现实世界空间的VR呈现以及重塑用于所述VR呈现的现实世界对象相关的数据。举例来说，视点映射数据可以包括所测得的到现实世界对象的距离、追溯到现实世界对象的顶点的射线的角距离、现实世界对象的现实世界坐标(例如，现实世界对象独立于现实世界捕获系统的坐标、现实世界对象的摄像机坐标(例如，现实世界对象相对于现实世界捕获系统的坐标)。另外，视点映射数据还可以包括关于现实世界捕获系统的位置处的现实世界空间的声学性质的数据。
在图3中示出的所述方法随后流动到操作360，所述操作根据通过操作350处理的视点映射数据经由HMD向用户提供现实世界空间的VR呈现。所述VR呈现可以包括通过现实世界捕获系统捕获的现场音频和视频流。在某些实施方案中，所述VR呈现可以包括现场音频和视频流根据视点映射数据的修改后版本。修改音频流的示例包括将诸如在现实世界捕获系统处捕获的音频的各种音频输入与和受众、玩家、解说员、游戏声音等相关联的音频进行混合。修改视频流的示例包括重塑诸如大幅矩形广告的现实世界对象以在VR呈现中显现为针对其他某物的大幅矩形广告。
图4示出根据一个实施方案的用于在现实世界空间的VR呈现期间重塑现实世界空间的静态现实世界对象的总体流程。所述方法开始于操作410：远程用户请求经由HMD进行现实世界空间的VR呈现。所述方法随后流动到操作420：从现实世界捕获系统接收现实世界空间的现场视频流，所述视频流包括多个视频图像。如果现实世界空间是主办电子竞技事件的竞技场，那么视频流可以包括每个队伍的玩家、视频游戏的主显示器、其他观众、解说员、广告等的视频。如上文提及，视频馈送可以包括现实世界空间的360度水平视图，这允许接收所述视频馈送的HMD用户通过转动他们的头或身体来360度地进行环视。在其他实施方案中，还提供现实世界空间的360度垂直视图。
所述方法随后流动到操作430，所述操作用于识别现实世界捕获系统的现实世界坐标位置，所述现实世界坐标位置可用于确定现实世界捕获系统的视角。举例来说，通过具有现实世界捕获系统的现实世界坐标，所述方法能够分析与被现实世界捕获系统捕获的各种现实世界对象或场景相关联的视角。在一个示例中，如果已知现实世界空间中的大幅矩形广告的顶点的现实世界坐标，那么所述方法可以使用现实世界捕获系统的现实世界坐标(例如，x,y,z)来确定在所述广告被现实世界捕获系统捕获时与所述广告相关联的视角。
在操作440中，所述方法访问用户配置文件以识别偏好，诸如位置、浏览历史、购买历史、搜索历史、人口统计资料和兴趣。在操作450中，所述方法从现实世界竞技场的现场视频流的多个视频图像中识别可配置成进行重塑的静止的现实世界对象。举例来说，操作450可以识别大幅矩形广告可配置成使用一些其他内容来重塑。存在可以配置成进行重塑的许多类型的静态现实世界对象和现实世界对象的部分。举例来说，墙壁的部分、窗帘、显示器、游戏站、舞台的部分等都可以配置成作为静态现实世界对象进行重塑。将了解，可配置成进行重塑的现实世界对象还被视为是指可配置成进行重塑的现实世界对象的部分。
所述方法随后流动到操作460，所述操作用于基于用户的用户配置文件并且基于现实世界捕获系统的现实世界坐标系统来重塑现场视频流内的静止的现实世界对象。在所示出的实施方案中，所述重塑包括用图形内容进行覆盖来取代与现场视频流中的现实世界对象相关联的图像数据。另外，已经表明将基于与现实世界捕获系统的现实世界坐标位置相关联的视角在几何上调整所述覆盖。
举例来说，如果操作450将大幅矩形广告识别为可配置成进行重塑的静止的现实世界对象，那么操作460将可操作以识别用户感兴趣的用于重塑的图形内容元素，例如，针对运动鞋的广告。操作460能够例如通过以下操作用针对运动鞋的广告进行覆盖来取代与大幅矩形广告相关联的图像数据：产生具有针对运动鞋的广告的新的视频流来取代先前与大幅矩形广告相关联的像素值。另外，预期，将基于现实世界捕获系统的视角在几何上调整针对运动鞋的广告。举例来说，如果从现实世界捕获系统的视角来看，所述大幅矩形广告显得歪斜，那么也将使针对运动鞋的广告的替换图形内容显得以与大幅矩形广告类似的方式歪斜。操作470随后呈现具有经过重塑的现实世界对象的修改后视频流。
图5示出根据一个实施方案的用于在现实世界空间的VR呈现期间重塑现实世界空间的移动的现实世界对象的总体流程。所述方法与在图4中示出的方法类似地进行。举例来说，操作510和520分别被配置成远程用户请求经由HMD呈现的现实世界空间的VR呈现以及从现实世界捕获系统接收现实世界空间的现场视频流。
在操作530中，所述方法识别现实世界捕获系统的现实世界坐标位置以便确定现实世界捕获系统的视角。在操作540中，所述方法访问用户的用户配置文件以识别用户偏好，诸如位置、浏览历史、购买历史、搜索历史、人口统计资料、兴趣等。在操作550中，所述方法从现实世界空间的现场视频流的多个视频图像中识别可配置成进行重塑的动态对象。
图5的方法随后流动到操作560，所述操作用于跟踪现场视频流的多个视频帧内的所述动态对象。可配置成进行重塑的动态现实世界对象可以包括玩家或观众穿着的服装、室内陈设，以及倾向于在物理空间内移动的其他装备。操作560被配置成跟踪动态对象的移动以便在稍后操作中进行重塑。
所述方法的操作570允许基于用户的用户配置文件并且基于现实世界捕获系统的现实世界坐标位置来重塑视频流内的动态现实世界对象。根据所示出的实施方案，所述重塑包括用替换图形内容进行覆盖来取代与现实世界对象相关联的图像数据，其中基于现实世界捕获系统的现实世界坐标位置的视角在几何上调整所述覆盖。在操作580中，所述方法经由HMD向用户呈现重塑后的视频流。
图6示出根据一个实施方案的远程观众600做出经由HMD 601观看现场事件的座位选择的概念图解。示出向远程观众600提供可以使用HMD观看的座位选择界面602。座位选择界面602能够向用户传达礼堂和座位信息。在一些实施方案中，座位选择界面602还能够传达用于现实世界事件的VR呈现的每个座位的价格信息。
根据图6，远程观众600能够预览在座位选择界面602中示出的各个座位。举例来说，示出远程观众600对朝向礼堂前方的座位做出第一选择604。座位选择界面602随后可以提供第一预览606，所述第一预览包括从对应于第一选择604的座位得到的礼堂的VR场景。同样地，当远程观众600做出处于礼堂的搂厅中的第二选择608时，座位选择界面602随后可以提供第二预览610，所述第二预览包括从对应于第二选择618的座位得到的礼堂的VR场景。预期，对于一些实施方案，第一预览和第二预览606和610可以是具有360度视图的沉浸式VR视图。
图7示出将远程观众的座位选择映射到现实世界捕获系统的过程的概念图解。示出示例性座位选择700被映射到由座位映射图表716中的黑点表示的各个现实世界捕获系统。举例来说，示出将对座位A8的选择702映射到现实世界捕获系统718。示出现实世界捕获系统718被安装在与对座位A8的选择702相对应的现实世界座位720的后靠背的顶部上。因此，现实世界捕获系统718提供在现实世界空间内与坐在座位720上的人将具有的视图类似的视图。
示出现实世界捕获系统718包括用于捕获现实世界的360度视图的摄像机阵列722、用于捕获源自各个方向的声音的传声器阵列724，以及用于感测环境数据的传感器阵列726。
图7的座位映射图表716说明如何将座位选择700映射到各个现实世界捕获系统。对于行A和B，存在座位选择到不同的现实世界捕获系统的一对一映射。也就是说，来自行A和B的每个座位选择映射到其自己的现实世界捕获系统。举例来说，对座位A8的选择704映射到座位A8特有且与座位A9的现实世界捕获系统不同的现实世界捕获系统然而，对于行C和D，座位映射图表716示出一组四个座位选择被映射到一个现实世界捕获系统。举例来说，一组728四个座位(例如，C9、C10、D9和D10)各自映射到一个现实世界捕获系统。因此，例如，可以将对座位C9的选择706映射到现实世界捕获系统730，对座位C10、D9和D10的选择同样被映射到现实世界捕获系统730。根据所示出的实施方案，将现实世界捕获系统730放置在处于座位C9、C10、D9和D10中的每一者的位置之间或是对所述四个位置适中的位置处。然而，在其他实施方案中，不需要这样。
示出对座位E3的座位选择708被映射到与一组736九个座位相关联的现实世界捕获系统734。因此示出现实世界捕获系统734被安装在最靠近对组736中的座位中的每一者的位置适中的座位F9的顶部上。
座位选择图表716示出各种大小的组。举例来说，示出选择710映射到与跨越4行和5列座位的组738相关联的现实世界捕获系统。另外，示出两个选择712和714映射到与具有按照5乘5图案布置的25张座位的组740相关联的现实世界捕获系统。虽然已经出于说明的目的在图7中示出了座位的特定分组，但将了解，本文呈现的方法和系统可以利用任何大小或图案的分组。
根据各种实施方案，可以使现实世界捕获系统718、730和734能够向现实世界受众提供反馈信号，使得让现实世界受众知晓一位或多位虚拟观众相连。举例来说，现实世界捕获系统718、730和734中的每一者可以包括用于输送来自虚拟观众的反馈的反馈系统，诸如一个或多个LED(未示出)。在一些实施方案中，所述反馈系统可以包括被配置成显示从一个或多个虚拟观众获得的针对现实世界观众的反馈的表示的LED阵列。在这些实施方案和其他实施方案中，现实世界捕获系统718、730和734还可以包括被配置成向现实世界观众输送来自虚拟观众的声音的扬声器(未示出)。因此，虚拟观众能够向现实世界空间表达他们的反馈，这可以加强现实世界竞技场的响应和刺激。
在某些实施方案中，反馈系统可以被配置成识别并传达虚拟观众反馈的强度和方向性。举例来说，如果虚拟观众开始拍手，那么可以通过经由LED阵列显示的动态图案来表示他或她的拍手。可以通过在所述LED阵列内显示各种色彩或移动图案来表示他或她的拍手的强度。在一些实施方案中，一个以上虚拟观众可以在任何给定时刻连接到现实世界捕获系统。在这些实施方案中，可以使反馈的强度和图案与连接到现实世界捕获系统的两位或更多位虚拟观众的平均反应或响应相关。举例来说，如果连接到同一现实世界捕获系统的十位或更多位虚拟观众提供欢呼反应，那么诸如亮光等图案可以出现在现实世界捕获系统的显示机构上。因此，向现实世界受众提供了来自虚拟观众的反馈，所述反馈除了虚拟观众的响应或反应的性质之外还指示连接到现实世界捕获系统的虚拟观众的数目。
图8示出根据一个实施方案的从现实世界空间数据和现实世界环境数据获得与现实世界捕获系统相关联的视点映射数据的概念图解。示出现实世界空间数据800包括现实世界空间内的现实世界对象的映射数据。举例来说，现实世界空间数据800可以包括物理环境中的各种现实世界对象的坐标位置。在所示出的实施方案中，现实世界空间可以是比尔·格雷厄姆市政礼堂，并且现实世界空间数据可以包括以下各项的坐标位置：舞台、墙壁、台阶、走道、礼堂的搂厅层，以及对在所述礼堂中举办的给定现实世界事件的各种感兴趣点。
示出现实世界空间环境数据802被现实世界捕获系统801捕获，所述现实世界捕获系统在与现实世界捕获装置801相关联的座位或一组座位的视点下捕获环境数据。如上文提及，现实世界捕获装置801可以包括传声器、摄像机和传感器的阵列。
图8示出可以将现实世界空间数据800和现实世界环境数据802进行组合以提供视点映射数据804。示出视点映射数据804包括现实世界坐标、到舞台的距离(例如，20米)、到队伍1的玩家1的距离(例如，25米)、在w赫兹下方向θ、φ的声学反射率、到大幅矩形广告的距离、到解说员的距离、摄像机角度、摄像机视野、物理空间的3D映射、物理空间的声学映射、受众成员的映射、到超大屏幕的距离、到扬声器的距离，和/或到现实世界空间中本人存在或虚拟存在的好友的距离。
根据一些实施方案，视点映射数据804使用现实世界空间数据800和现实世界空间环境数据802来构建现实世界和现实世界对象的摄像机坐标。举例来说，在一些实施方案中，视点映射数据804能够使用现实世界环境数据802将由现实世界空间数据提供的“世界坐标”变换为“摄像机坐标”。因此，使视点映射数据804能够使用例如大幅矩形广告的摄像机坐标用于重塑目的，因为视点映射数据804将知晓在现实世界空间的图像捕获期间所述大幅矩形广告如何投影到摄像机上。
图9示出重塑电子竞技事件的现实世界视图中的现实世界对象的概念图解。示出尚未被重塑的第一视图900捕获了电子竞技事件。视图900例如可以是现实世界捕获系统的视频捕获的部分。第一视图900包括置于可以由电子竞技事件的受众观看的各种表面上的多个广告。举例来说，第一视图900包括针对牛奶的左墙广告904、针对面条的右墙广告、针对能量饮料的第一舞台广告908、针对芯片制造商的第二舞台广告910，以及针对制作公司的解说员桌子广告912。所述视图还包括正在玩的视频游戏动作的主显示器904，以及队伍横幅。
示出将第一视图900输入到重塑逻辑901中，继而示出所述重塑逻辑输出已经重塑的电子竞技事件的第二视图900。图9演示所述重塑逻辑的图形能力和视觉能力。举例来说，已经将针对牛奶的左墙广告904’重塑成显现为针对PlayStation的左墙广告904’。同样地，针对面条的右墙广告906和第二舞台广告910各自示出为已经被重塑成显现为针对Farpoint的右墙广告906’和针对不同芯片制造商的第二舞台广告910’。对于广告904’、906’和广告910’中的每一者，重塑逻辑901已经通过占用与原始广告904、906和910相同的空间的方式而用替换广告进行了覆盖。另外，重塑逻辑901已经执行了重塑，使得将替换广告904’、906’和910’中的每一者绘制成在第二视图902中提供与在第一视图900中提供的相应原始广告904、906和910相同的视角。举例来说，左墙广告904以具有歪斜的视角出现在第一视图900中。在第二视图902中，重塑逻辑901以具有相同歪斜的视角用替换左墙广告904’进行覆盖。
除了替换或覆盖现有广告之外，重塑逻辑901还能够检测额外的现实世界对象，诸如可以被重塑为具有内容的表面部分。举例来说，示出已经在第一视图900中不具有内容的区域中重塑成针对头戴式耳机制造商的后墙广告914。同样地，在第二视图902中在现实世界空间的第一视图900中没有现有内容的区域中示出了舞台地板广告916。进一步示出舞台地板广告916已经被重塑成与由现实世界捕获装置的第一视图900捕获的舞台地板具有几何和视角一致性。也就是说，舞台地板广告916显现为仿佛其已经平铺在舞台地板上一样。
因此，本文预期的重塑逻辑901能够识别由现实世界捕获装置捕获的现实世界空间内的在现实世界空间中不存在内容的地方可以扩增内容的区域。对现实世界空间内是否有可以使用额外的内容进行扩增的区域以及有哪些区域的确定将取决于由每个现实世界捕获系统接收的视图。举例来说，由于视点的差异，因此现实世界空间内针对特定现实世界捕获系统被确定为在没有内容存在的地方扩增内容是合意的区域对于不同的现实世界捕获系统来说可能会发现是不合意的。
虽然在一些实施方案中，使替换内容占用与原始的现有内容相同的空间，但存在其中替换内容具有与要重塑的现有内容不同的显示尺寸和纵横比的其他例子。举例来说，示出针对能量饮料的第一舞台广告908已经使用具有更宽尺寸的针对Star WarsBattlefront的替换第一舞台广告908’进行重塑。在所示出的实施方案中，替换第一舞台广告908’在第二视图902中显得与舞台前方的轮廓齐平，而不是显得浮在空中。因此，重塑逻辑901能够重塑具有与要替换的内容不同的尺寸的替换内容，同时与上面覆盖有所述替换内容的现实世界对象维持几何和视角一致性。
另外，预期，可以重塑额外的区域。举例来说，在第一视图900中，示出玩家游戏站918中的每一者在游戏站面向受众的显示器上显示相应玩家的现场人像。现场人像显示器向受众提供了看到玩家的面部表情的方式，所述面部表情原本是被相应的计算机监视器挡住而看不到的。如将在下文更详细地论述，本文预期的实施方案使得远程用户能够访问玩家的这些现场人像视图，而不必依赖于游戏站面向受众的显示器，游戏站面向受众的显示器可能难以辨认出玩家。因此，在一些实施方案中，还可以对所有或一部分游戏站的面向受众的显示器执行重塑。举例来说，图9示出重塑逻辑901已经将第一视图900中的玩家游戏站918中的每一者重塑为在第二视图902中的玩家游戏站918’上显示字母读物“GEATNESSAWAITS”。因此，预期，替换内容除了诸如广告图形的图形内容之外还可以呈文本的形式。
在特定条件下，可能存在出于若干原因可以保持不变且不重塑的原始的现有广告内容。在所示出的实施方案中，示出解说员桌子广告912在重塑逻辑901进行重塑之后保持不变。
图10A示出基于现实世界捕获系统1006的视角在几何上调整用于覆盖在现实世界广告1004的顶部上的替换图形1002以进行重塑的概念图解。示出现实世界捕获系统1006以不与现实世界广告1004的平面成直角或正交的视角来捕获现实世界广告1004。预期，使现实世界捕获系统1006能够确定到现实世界广告1006的顶点v1、v2、v3和v4的距离(d：d1、d2、d3和d4)，以及在追溯到所述顶点中的每一者的射线之间形成的角度(θ：θ1、θ2、θ3和θ4)。基于d和θ，重塑逻辑能够使用变换函数来变换各种图形元素，以从现实世界捕获系统1006的视角与现实世界广告类似地显现。
示出重塑逻辑1001包括随d和θ而变的变换函数F，所述变换函数将来自集合X的图像数据映射到2维空间或3维空间中的自身。在所示出的实施方案中，示出将替换图形1002输入到重塑逻辑中，所述重塑逻辑将与替换图形1002相关联的像素数据映射到修改后的替换图形1002中的新的像素坐标。因此，将使修改后的替换图形1002在VR呈现中以与现实世界广告1004相同的视角显现。
图10B示出在现实世界捕获装置的视点发生改变时重塑现实世界对象的实施方案。举例来说，示出现实世界捕获装置从在现实世界对象左边的视点纵向行进到在现实世界对象右边的视点。在现实世界捕获装置的移动期间，重塑逻辑更新用于在几何上变换输入图形的参数。因此，重塑逻辑能够取决于现实世界捕获装置的当前位置和视点来输出不同视角的输入图形。
图11示出可以配置成进行重塑的额外现实世界对象。在许多电子竞技事件中，可能存在从不同角度捕获玩家的众多视频摄像机。在所示出的实施方案中，与视频游戏交互的玩家的镜头1000包括可以重塑的许多现实世界对象。举例来说，与玩家正在使用的监视器相关联的区域1102和1104可以配置成进行重塑。某些其他游戏装备标志，诸如与“演出椅”相关联的区域1106和与头戴式耳机相关联的区域1108，也可以是与本文描述的重塑逻辑兼容的区域。另外，佩戴在玩家服装上的图形、标志、徽章、贴片等也可以是可配置成进行重塑的候选的现实世界对象。举例来说，还预期将与玩家的队服或服装相关联的区域1110和1112重塑以进行VR呈现。
图12示出根据一个实施方案的向远程观众1201呈现在电子竞技事件中玩的视频游戏的游戏中飞越视图的概念图解。远程观众接收由位于电子竞技事件处的现实世界捕获系统提供的电子竞技事件的第一视图1200。远程观众1201可能希望具有所玩的游戏的“飞越”视图(例如，第一人称视图)，以从游戏“内部”的视点观看游戏动作。本文预期的方法和系统允许用户“跳入”在电子竞技事件处玩的电子竞技视频游戏以接收游戏动作的飞越视图。在所示出的实施方案中，用户指向一小塑像并且将所述小塑像拖拽到电子竞技事件的主显示器内的位置。作为响应，VR呈现从由现实世界捕获系统提供的视频流改变为第二视图1202，所述第二视图是处于与小塑像所处的位置相对应的位置的飞越视图。所述飞越视图使用电子竞技游戏的现场游戏状态数据来渲染，并且可以在HMD上、在与所述HMD相关联的计算装置处或者在远程服务器处执行。
图13示出根据一个实施方案的远程观众1301在电子竞技事件的不同视图之间进行选择以供显示的概念图解。在第一视图1300中，向远程观众1301提供来自现实世界捕获系统的电子竞技事件的视频馈送，以及用于进行选择的多个观看模块1304。所述观看模块可以包括现实世界的各种摄像机视图，诸如玩家的人像视图、玩家后方的视图、玩家与键盘、鼠标、触摸板、操纵杆或其他输入装置交互的视图、个别玩家屏幕的视图、飞越视图、受众的视图、解说员的视图等。示出远程观众1301已经选择了玩家1屏幕视图1306并且处于通过以下操作选择玩家1前视图1308的过程中：指向与玩家1前视图1308相关联的观看模块，并且将所述观看模块拖拽1310到VR呈现内的期望进行显示的位置。
在VR呈现的第二视图1302中，示出选定的观看模块在选定的位置处显示。举例来说，示出玩家1屏幕视图1306’显示玩家1在他们自己的屏幕上看到的内容的镜像。因此，远程观众1301能够看到由玩家1执行的控制动作，诸如点击和命令。另外，示出玩家1前视图1308’显示玩家1的视图，所述视图可以包括面部表情和控制器输入动作。因此，可以通过本文预期的方法和系统提供电子竞技事件的画中一画或画中多画视图，其中使远程观众1301能够观看他们原本作为亲身观众访问不了的期望的视图。同时观看各种摄像机视图和游戏动作视图的能力表示了相比于当前电子竞技广播的额外的技术优势，当前的电子竞技广播给不了远程观众对他们想要观看的内容的相同程度的控制。
图14示出根据一个实施方案的使得能够经由HMD向用户进行电子竞技事件的VR呈现的示例性VR托管服务器/计算装置1401的图。示出VR托管服务器/计算装置1401从电子竞技事件服务器1400接收现实世界数据。依据各种实施方案，电子竞技事件服务器1400可以来自服务于在电子竞技事件中捕获的数据的制作公司或发行公司。示出VR托管服务器/计算装置1401获得包括电子竞技事件的各种摄像机视图和游戏动作视图的视频流1404，以及主办电子竞技事件的物理空间或竞技场的空间映射数据1410，和由现实世界捕获系统捕获的空间环境数据1412。另外，示出VR托管服务器/计算装置1401接收包括用户偏好和用户数据的用户配置文件1406，以及替换内容1408，所述替换内容包括(例如)替换广告。
如早先提及，视频流1404可以包括来自许多视点的许多视频。且甚至对于单个视点，可能存在多个视频流，所述多个视频流用于产生360度(或小于360度)的视野。在一些实施方案中，可以通过诸如电子竞技事件服务器1400的远程服务器或者在制作公司或内容发行方服务器处将从一个位置取得的用于产生360度视图的多个视频流拼接在一起。在其他实施方案中，VR托管服务器/计算装置1401的视频图像拼接逻辑1424可以对具有重叠视野的多个视频流执行拼接以渲染360度视图。随后将由视频图像拼接逻辑1424提供的360度视图馈送到重塑逻辑1428。应了解，虽然本文呈现的方法和系统可能叙述360度视图，但还可以使用不足360度的视图，例如，180度视图或150度视图等。
还将从用户配置文件1406分析出的用户偏好1426馈送到重塑逻辑1428中。用户偏好1426有助于确定哪些替换内容(例如，替换广告)可能是远程观众感兴趣的。将了解，替换内容1408还可以包括用于将视频剪辑重塑到VR呈现1440中的视频图像。另外，还将视点映射数据1432馈送到重塑逻辑1428中，以便对由替换内容1408提供的图像或视频执行变换，诸如几何修改和视角修改。
基于由视频图像拼接逻辑1424提供的视频流、用户偏好1426、替换内容1408和POV映射数据1432，使重塑逻辑1428能够通过维持与用于重塑的现实世界对象的几何和视角一致性的方式使用替换内容来重塑视频流内的现实世界对象。随后将重塑后的视频流馈送到VR图形系统1430，所述VR图形系统被配置成经由HMD接口1438向远程观众渲染VR呈现。虽然未示出，但将理解，可以在VR托管服务器/计算装置1401中示出的各种部件处、各种部件之前、各种部件之内或各种部件之后执行各种视频压缩过程和编码。举例来说，由VR图形系统1430输出的视频馈送可以经历压缩，之后传输到HMD接口1438，以便经由网络输送到HMD。
还示出HMD/计算装置1401接收各种声音流，包括包含在现实世界捕获系统处捕获的声音的座位声音馈送1414、包含由人群发出的声音和噪音的背景声音1416、解说员声音馈送1418、玩家/队伍声音馈送1420和好友的语音馈送1422。预期，本文描述的方法和系统使远程观众能够在各种声音源之间进行选择以在VR呈现1440中输送。依据用户选择，声音混合逻辑1434被配置成混合各种声音源，以提供馈送到声音处理系统1426的期望的声音输出。声音处理系统1426经由HMD接口1438向VR呈现1438输出音频信号。同样，虽然未示出，但已经出于清楚目的而省掉了对各种压缩和解压缩步骤的说明。然而，将理解，可以在与声音相关的模块或步骤中的任一者之前、任一者处或任一者之后执行涉及压缩和解压缩、编码和解码的各种操作。举例来说，可以对由声音处理系统提供的声音输出进行编码，之后经由HMD接口1438将所述声音输出传输到HMD。
图15示出根据一个实施方案的两个远程观众在电子竞技事件的情景内虚拟地彼此交互的概念图解。示出两个远程观众已经选择了现实世界空间中的相邻座位。因此，他们可以经由他们相应的VR呈现体验电子竞技事件，如同他们本人在一起一样。在一些实施方案中，VR呈现可以渲染VR场景以显示另一远程观众的虚拟存在，反之亦然。因此，每个远程观众看得到另一远程观众。在一些实施方案中，诸如在所示出的一个实施方案中，可以使用虚拟形象用于虚拟存在。在其他实施方案中，远程观众中的一个远程观众的现场图像或3D表示可以在另一远程观众的VR呈现中进行渲染。还可以设想，两个以上观众可以参与上文描述的组团观看体验。
在一些实施方案中，远程观众可能够与也在观看电子竞技事件的现场观众通信。举例来说，如果现实世界座位配备有包括摄像机、传声器和扬声器的现实世界捕获系统，那么远程观众可能够在VR呈现内看到在现实世界里坐在他们旁边的现场观众。
图16说明可以与所呈现的方法和/或系统一起使用的HMD 1600的额外实施方案。HMD 1600包括硬件，诸如处理器1602、电池1604、面部辨识1606、按钮、传感器、开关1608、声音定位1610、显示器1612和存储器1614。还示出HMD 1600包括位置模块1626，所述位置模块包括磁力计1616、加速度计1618、陀螺仪1620、GPS 1622和罗盘1624。在机器人1600中还包括扬声器1628、传声器1630、LED 1632、用于视觉辨识的一个或多个对象1634、IR灯1636、前置摄像机1638、后置摄像机1640、一个或多个视线跟踪摄像机1642、USB 1644、永久存储装置1646、振动触觉反馈1648、通信链路1650、WiFi 1652、超声通信1654、蓝牙1656、近场通信(NFC)1658和雷达1660。
虽然以特定次序描述方法操作，但应理解，其他内务操作可以在各操作之间执行，或者可以对各操作进行调整，使得它们在略微不同的时间发生，或者可以将各操作分布在系统中，所述系统允许处理操作以与处理相关联的各种间隔发生。
还可以将一个或多个实施方案制造为计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储装置，所述数据之后可以由计算机系统读取。计算机可读介质的示例包含硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带，以及其他光学和非光学数据存储装置。计算机可读介质可以包括计算机可读有形介质，其分布在耦合网络的计算机系统上，使得以分布式方式存储和执行计算机可读代码。
虽然已经出于清楚理解目的稍微详细地描述了前述实施方案，但将明白，可以在所附权利要求的范围内实践某些改变和修改。因此，本实施方案将被视为说明性而非限制性的，并且所述实施方案不限于本文给出的细节，而是可以在所附权利要求的范围和等效物内修改。

Claims (20)

1.一种用于经由头戴式显示器HMD向远程用户输送现实世界空间的虚拟现实VR呈现的方法，其包括：
发送对所述现实世界空间的所述VR呈现的请求；
识别由所述用户做出的在所述现实世界空间内的座位选择，所述座位选择被映射到所述现实世界空间中的现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频；
接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标；
访问具有所述用户的用户偏好的用户配置文件；
从所述现实世界捕获系统接收所述现实世界空间的视频流，所述视频流包括由所述现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在所述HMD中从与对应于所述座位选择的所述现实世界捕获系统的所述现实世界坐标相关联的视角呈现所述多个图像；
从所述视频流的所述多个图像中识别被配置成在向所述用户呈现期间进行重塑的现实世界对象；
基于所述用户配置文件来重塑所述多个视频图像内的所述现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据，所述覆盖基于与对应于所述座位选择的所述现实世界捕获系统相关联的所述视角在几何上进行调整；以及
经由所述HMD向所述用户呈现所述视频流以进行所述VR呈现。
2. 如权利要求1所述的方法，其还包括：
在所述用户佩戴着所述HMD时从多个传感器跟踪所述HMD的位置和取向；以及
在所述用户佩戴着所述HMD时基于所述跟踪所述HMD的所述位置和所述取向来检测所述HMD的移动，其中，响应于所述HMD的所述移动而使所述视频流的视野改变。
3.如权利要求1所述的方法，其中，由所述现实世界捕获系统提供的所述视频流包括360度水平视野。
4.如权利要求1所述的方法，其中，所述映射数据还包括所述现实世界对象的坐标，所述现实世界对象的所述坐标能够用于所述重塑所述现实世界对象。
5.如权利要求1所述的方法，其中，所述用户偏好包括所述用户的人口统计资料、所述用户的浏览历史、所述用户的购物历史、所述用户的观看历史、所述用户的社交媒体数据或用户兴趣，所述用户偏好能够用于确定用于所述重塑的所述图形内容元素。
6.如权利要求1所述的方法，其中，所述覆盖包括测量所述现实世界捕获系统与所述现实世界对象的顶点之间的现实世界距离，以及测量从所述现实世界捕获系统追溯到所述顶点的射线之间所形成的角度，其中，使用所测得的距离和所测得的角度基于所述现实世界捕获系统的所述视角在几何上调整用图形内容项目进行覆盖。
7.如权利要求6所述的方法，其中，所述现实世界对象移动，并且其中，所述测量所述现实世界距离以及所述测量所述角度随着所述现实世界对象的移动而实时地或接近实时地进行，使得在现实世界对象移动时基于所述现实世界对象的改变的视角在几何上调整所述图形内容项目。
8.如权利要求1所述的方法，其中，所述重塑包括识别所述多个视频图像内的所述现实世界对象的顶点以及变换所述图形内容元素，使得图形内容项目的顶点与所述现实世界对象的所述顶点配合，使用已经变换的所述图形内容元素用于所述用所述图形内容元素进行覆盖来取代与所述现实世界对象相关联的所述图像数据。
9.如权利要求1所述的方法，其还包括：
从所述现实世界捕获系统接收所述现实世界空间的音频馈送，所述音频馈送是根据与座位位置相关联的所述现实世界捕获系统的现实世界坐标来处理。
10.如权利要求1所述的方法，其还包括：
接收所述用户对视频模块的选择，所述视频模块是所述现实世界空间的额外视频流，其中，在所述经由所述HMD向所述用户呈现所述视频流期间将所述视频模块显示为画中画显示。
11.如权利要求9所述的方法，其中，所述现实世界空间包括电子竞技(esports)活动，视频模块是以下各项的额外视频流之一：玩家的前方视角、玩家的后方视角、玩家的屏幕、玩家的控制板的视角、游戏的超大屏幕的视角、一个或多个解说员的视角、玩家队伍的视角，或受众成员的视角。
12.如权利要求1所述的方法，其还包括：
从所述用户接收针对所述现实世界空间中正在玩的视频游戏的飞越视图的命令，所述命令包括所述视频游戏内的针对所述飞越视图的位置；
从所述现实世界空间接收正在玩的所述视频游戏的游戏状态的流；
基于所述游戏状态的所述流和与所述视频游戏内的针对所述飞越视图的所述位置相关联的虚拟摄像机视图来渲染所述飞越视图；以及
经由所述HMD向所述用户呈现所述飞越视图。
13. 一种服务器系统，其包括：
一个或多个处理器；以及
存储器，所述存储器设置成与所述一个或多个处理器通信并且存储处理器可执行指令，所述处理器可执行指令用以：
发送对现实世界空间的VR呈现的请求，所述请求用于经由HMD向用户输送所述现实世界空间的所述VR呈现；
识别由所述用户做出的在所述现实世界空间内的座位选择，所述座位选择被映射到所述现实世界空间中的现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频；
接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标；
访问具有所述用户的用户偏好的用户配置文件；
从所述现实世界捕获系统接收所述现实世界空间的视频流，所述视频流包括由所述现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在所述HMD中从与对应于所述座位选择的所述现实世界捕获系统的所述现实世界坐标相关联的视角呈现所述多个图像；
从所述视频流的所述多个图像中识别被配置成在向所述用户呈现期间进行重塑的现实世界对象；
基于所述用户配置文件来重塑所述多个视频图像内的所述现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据，所述覆盖基于与对应于所述座位选择的所述现实世界捕获系统相关联的所述视角在几何上进行调整；以及
经由所述HMD向所述用户呈现所述视频流以进行所述VR呈现。
14. 如权利要求13所述的服务器系统，其还包括进行以下操作的指令：
在所述用户佩戴着所述HMD时从多个传感器跟踪所述HMD的位置和取向；以及
在所述用户佩戴着所述HMD时基于所述跟踪所述HMD的所述位置和所述取向来检测所述HMD的移动，其中，响应于所述HMD的所述移动而使所述视频流的视野改变。
15.如权利要求13所述的服务器系统，其中，所述映射数据还包括所述现实世界对象的坐标，所述现实世界对象的所述坐标能够用于所述重塑所述现实世界对象。
16.如权利要求13所述的服务器系统，其中，所述覆盖包括测量所述现实世界捕获系统与所述现实世界对象的顶点之间的现实世界距离，以及测量从所述现实世界捕获系统追溯到所述顶点的射线之间所形成的角度，其中，使用所测得的距离和所测得的角度基于所述现实世界捕获系统的所述视角在几何上调整用图形内容项目进行覆盖。
17.如权利要求16所述的服务器系统，其中，所述现实世界对象移动，并且其中，所述测量所述现实世界距离以及所述测量所述角度随着所述现实世界对象的移动而实时地或接近实时地进行，使得在现实世界对象移动时基于所述现实世界对象的改变的视角在几何上调整图形内容项目。
18.如权利要求13所述的服务器系统，其中，所述重塑包括识别所述多个视频图像内的所述现实世界对象的顶点以及变换所述图形内容元素，使得图形内容项目的顶点与所述现实世界对象的所述顶点配合，使用已经变换的所述图形内容元素用于所述用所述图形内容元素进行覆盖来取代与所述现实世界对象相关联的所述图像数据。
19.一种存储处理器可执行指令的非暂时性介质，所述指令包括进行以下操作的指令：
发送对现实世界空间的VR呈现的请求，所述请求用于经由HMD向用户输送所述现实世界空间的所述VR呈现；
识别由所述用户做出的在所述现实世界空间内的座位选择，所述座位选择被映射到所述现实世界空间中的现实世界捕获系统，所述现实世界捕获系统被配置成在对应于所述座位选择的位置处捕获视频和音频；
接收所述现实世界捕获系统的映射数据，所述映射数据包括所述现实世界捕获系统的现实世界坐标；
访问具有所述用户的用户偏好的用户配置文件；
从所述现实世界捕获系统接收所述现实世界空间的视频流，所述视频流包括由所述现实世界捕获系统的一个或多个摄像机捕获的多个视频图像，在所述HMD中从与对应于所述座位选择的所述现实世界捕获系统的所述现实世界坐标相关联的视角呈现所述多个图像；
从所述视频流的所述多个图像中识别被配置成在向所述用户呈现期间进行重塑的现实世界对象；
基于所述用户配置文件来重塑所述多个视频图像内的所述现实世界对象，所述重塑包括用图形内容元素进行覆盖来取代与所述现实世界对象相关联的图像数据，所述覆盖基于与对应于所述座位选择的所述现实世界捕获系统相关联的所述视角在几何上进行调整；以及
经由所述HMD向所述用户呈现所述视频流以进行所述VR呈现。
20.如权利要求19所述的非暂时性介质，其中，所述覆盖包括测量所述现实世界捕获系统与所述现实世界对象的顶点之间的现实世界距离，以及测量从所述现实世界捕获系统追溯到所述顶点的射线之间所形成的角度，其中，使用所测得的距离和所测得的角度基于所述现实世界捕获系统的所述视角在几何上调整用图形内容项目进行覆盖。
CN201880062904.3A 2017-09-29 2018-09-26 现实世界空间的虚拟现实呈现 Active CN111148554B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762566266P 2017-09-29 2017-09-29
US62/566,266 2017-09-29
US15/901,845 2018-02-21
US15/901,845 US10556185B2 (en) 2017-09-29 2018-02-21 Virtual reality presentation of real world space
PCT/US2018/052986 WO2019067640A1 (en) 2017-09-29 2018-09-26 PRESENTATION IN VIRTUAL REALITY OF REAL WORLD SPACE

Publications (2)

Publication Number Publication Date
CN111148554A CN111148554A (zh) 2020-05-12
CN111148554B true CN111148554B (zh) 2023-10-03

Family

ID=65896466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062904.3A Active CN111148554B (zh) 2017-09-29 2018-09-26 现实世界空间的虚拟现实呈现

Country Status (5)

Country Link
US (3) US10556185B2 (zh)
EP (1) EP3687645B1 (zh)
JP (1) JP7041253B2 (zh)
CN (1) CN111148554B (zh)
WO (1) WO2019067640A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
US10810541B2 (en) 2017-05-03 2020-10-20 Hand Held Products, Inc. Methods for pick and put location verification
US11579744B2 (en) * 2017-06-21 2023-02-14 Navitaire Llc Systems and methods for seat selection in virtual reality
USD936697S1 (en) * 2017-09-21 2021-11-23 Yuri Hosokuni Display screen with a graphical interface for an electronic game
EP3704563A4 (en) * 2017-10-31 2021-08-04 Outward, Inc. MIXED PHYSICAL AND VIRTUAL REALITIES
IL276453B2 (en) * 2018-02-02 2024-02-01 S Horowitz & Co A system based on virtual reality for training pilots
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US20200019782A1 (en) * 2018-07-13 2020-01-16 International Business Machines Corporation Accommodating object occlusion in point-of-view displays
US11030796B2 (en) * 2018-10-17 2021-06-08 Adobe Inc. Interfaces and techniques to retarget 2D screencast videos into 3D tutorials in virtual reality
US10974153B2 (en) * 2019-01-17 2021-04-13 Disney Enterprises, Inc. Streamable compressed geometry for live broadcast
US20200346114A1 (en) * 2019-04-30 2020-11-05 Microsoft Technology Licensing, Llc Contextual in-game element recognition and dynamic advertisement overlay
US11050977B2 (en) 2019-06-18 2021-06-29 Tmrw Foundation Ip & Holding Sarl Immersive interactive remote participation in live entertainment
US11270347B2 (en) * 2019-07-09 2022-03-08 Josh Lehman Apparatus, system, and method of providing a three dimensional virtual local presence
US10757528B1 (en) * 2019-10-11 2020-08-25 Verizon Patent And Licensing Inc. Methods and systems for simulating spatially-varying acoustics of an extended reality world
JP2021065283A (ja) * 2019-10-18 2021-04-30 株式会社コナミデジタルエンタテインメント プログラム、ゲーム装置、ゲーム装置の制御方法及びゲームシステム
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US20210194942A1 (en) * 2019-12-19 2021-06-24 Volta Audio Ltd System, platform, device, and method for spatial audio production and virtual reality environment
JP7462916B2 (ja) 2019-12-27 2024-04-08 株式会社コナミデジタルエンタテインメント 演出制御システム、それに用いるコンピュータプログラム、及び制御方法
JP1724353S (ja) * 2020-05-13 2022-09-09 文書間の関連を示す画像を表示可能な情報端末機
US11321892B2 (en) 2020-05-21 2022-05-03 Scott REILLY Interactive virtual reality broadcast systems and methods
CN115916359A (zh) * 2020-05-29 2023-04-04 科乐美数码娱乐株式会社 分发系统、分发系统的控制方法以及计算机程序
EP4176334A1 (en) * 2020-07-03 2023-05-10 Pfetch, Inc. Remote attendance and participation systems and methods
WO2022051429A1 (en) * 2020-09-02 2022-03-10 Daniel Choi Systems and methods for augmented reality environments and tokens
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US20220398936A1 (en) * 2021-06-15 2022-12-15 Richard Parker Aircraft training aid systems and processes
CN113613028B (zh) * 2021-08-03 2023-08-08 北京达佳互联信息技术有限公司 直播数据处理方法、装置、终端、服务器及存储介质
CN114047824A (zh) * 2022-01-13 2022-02-15 北京悉见科技有限公司 多终端用户在虚拟空间交互的方法
CN114679619B (zh) * 2022-03-18 2023-08-01 咪咕数字传媒有限公司 滑雪比赛信息增强展示方法、系统、设备及存储介质
CN114745598B (zh) * 2022-04-12 2024-03-19 北京字跳网络技术有限公司 视频数据展示方法、装置、电子设备及存储介质
US20230381674A1 (en) * 2022-05-31 2023-11-30 Sony Interactive Entertainment LLC Triggering virtual help or hindrance based on audience participation tiers
CN115113737B (zh) * 2022-08-30 2023-04-18 四川中绳矩阵技术发展有限公司 一种虚拟对象声音和图像的重现方法、系统、设备及介质
CN115278340B (zh) * 2022-09-26 2022-11-29 中影年年(北京)文化传媒有限公司 一种基于虚拟现实的用户交互方法及系统
US11842543B1 (en) * 2023-01-17 2023-12-12 Starbucks Corporation Camera system for providing an in-store experience to a remote user
CN117596373B (zh) * 2024-01-17 2024-04-12 淘宝（中国）软件有限公司 基于动态数字人形象进行信息展示的方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2930671A1 (en) * 2014-04-11 2015-10-14 Microsoft Technology Licensing, LLC Dynamically adapting a virtual venue
EP2980627A1 (en) * 2014-07-31 2016-02-03 Samsung Electronics Co., Ltd Wearable glasses and method of providing content using the same
CN105324738A (zh) * 2013-06-07 2016-02-10 索尼电脑娱乐公司 在头戴式显示器中切换操作模式
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
JP6126272B1 (ja) * 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991076B2 (ja) 1997-06-30 2007-10-17 雅信 鯨田 有限個数の座席の遠隔利用のためのシステム及び方法
JP2009065627A (ja) 2007-09-04 2009-03-26 Mitsutoshi Akitani バーチャルイベント視聴システムとその動作方法
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110225516A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Instantiating browser media into a virtual social venue
US9007364B2 (en) * 2011-10-12 2015-04-14 Salesforce.Com, Inc. Augmented reality display apparatus and related methods using database record data
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US20130317912A1 (en) * 2012-05-09 2013-11-28 William Bittner Advertising in Augmented Reality Based on Social Networking
JP2014035763A (ja) 2012-08-10 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
US9049469B2 (en) * 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10173129B2 (en) * 2013-06-09 2019-01-08 Sony Interactive Entertainment Inc. Methods for rendering interactive content to a head mounted display
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10733565B1 (en) * 2014-09-30 2020-08-04 Amazon Technologies, Inc. Interactive data processing system
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10438262B1 (en) * 2015-06-15 2019-10-08 Amazon Technologies, Inc. Method and device for implementing a virtual browsing experience
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
JP6744080B2 (ja) 2015-09-30 2020-08-19 株式会社バンダイナムコエンターテインメント ゲームシステム、撮影装置およびプログラム
US9782678B2 (en) * 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10531137B1 (en) * 2015-12-31 2020-01-07 Mayfonk Athletic Llc Athletic telemetry system
CA3015164A1 (en) * 2016-02-18 2017-08-24 Edx Technologies, Inc. Systems and methods for augmented reality representations of networks
US10412438B2 (en) * 2016-03-14 2019-09-10 The Directv Group, Inc. Method and system for viewing sports content within a virtual reality environment
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US10666768B1 (en) * 2016-09-20 2020-05-26 Alarm.Com Incorporated Augmented home network visualization
US10388072B2 (en) * 2016-10-31 2019-08-20 Verizon Patent And Licensing Inc. Methods and systems for dynamically customizing a scene for presentation to a user
US10880086B2 (en) * 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324738A (zh) * 2013-06-07 2016-02-10 索尼电脑娱乐公司 在头戴式显示器中切换操作模式
EP2930671A1 (en) * 2014-04-11 2015-10-14 Microsoft Technology Licensing, LLC Dynamically adapting a virtual venue
EP2980627A1 (en) * 2014-07-31 2016-02-03 Samsung Electronics Co., Ltd Wearable glasses and method of providing content using the same
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
JP6126272B1 (ja) * 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔺薛菲 ; .虚拟现实三维场景建模与人机交互应用技术研究.艺术与设计(理论).2017,(第04期),第102-104页. *

Also Published As

Publication number Publication date
US20200171394A1 (en) 2020-06-04
EP3687645B1 (en) 2021-06-30
WO2019067640A1 (en) 2019-04-04
JP2020536603A (ja) 2020-12-17
CN111148554A (zh) 2020-05-12
US11738275B2 (en) 2023-08-29
US20210346811A1 (en) 2021-11-11
EP3687645A1 (en) 2020-08-05
JP7041253B2 (ja) 2022-03-23
US11065551B2 (en) 2021-07-20
US10556185B2 (en) 2020-02-11
US20190099678A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
CN111148554B (zh) 现实世界空间的虚拟现实呈现
US11436803B2 (en) Insertion of VR spectator in live video of a live event
CN109475774B (zh) 虚拟现实环境中的视图位置处的观众管理
EP3265864B1 (en) Tracking system for head mounted display
CN112104594A (zh) 沉浸式交互式远程参与现场娱乐
JP2019533226A (ja) 人による追跡装置のオクルージョンの影響を低減するシステム及び方法
JP7319172B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
US11930228B2 (en) Computer program, server device, terminal device and method
KR20200041839A (ko) 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치
KR102082670B1 (ko) 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치
KR20220065388A (ko) 전자 스포츠 경기에 관한 증강 현실 인터페이스 제공 장치 및 방법
JP6831027B1 (ja) 配信システム、動画生成装置、および動画生成方法
US11270347B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
US20240196025A1 (en) Computer program, server device, terminal device, and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant