CN109478193B - 协作沉浸式直播动作360度视频和虚拟现实 - Google Patents

协作沉浸式直播动作360度视频和虚拟现实 Download PDF

Info

Publication number
CN109478193B
CN109478193B CN201780044392.3A CN201780044392A CN109478193B CN 109478193 B CN109478193 B CN 109478193B CN 201780044392 A CN201780044392 A CN 201780044392A CN 109478193 B CN109478193 B CN 109478193B
Authority
CN
China
Prior art keywords
annotation
degree
client device
video file
degree video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780044392.3A
Other languages
English (en)
Other versions
CN109478193A (zh
Inventor
大卫·林德
斯科特·D·朗格尔
亚历山大·罗瑟拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210467832.9A priority Critical patent/CN114911968A/zh
Publication of CN109478193A publication Critical patent/CN109478193A/zh
Application granted granted Critical
Publication of CN109478193B publication Critical patent/CN109478193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种用于协作直播动作虚拟现实体验的设计。客户端利用360度显示单元来播放360度视频文件、相对应的音频文件，以及请求用户做出将对虚拟现实体验的进展进行指示的选择的注释。鉴于脚本树对用户输入进行处理来确定后续的360度视频、音频和注释以发送至客户端。在一些实施例中，虚拟现实体验的进展由第二用户或者协作地参与该虚拟现实体验的两个用户做出的注释选择所指示。

Description

协作沉浸式直播动作360度视频和虚拟现实
技术领域
本申请总体上涉及360度视频的交互式和协同式特征，尤其涉及创建共享型360度交互式虚拟现实环境，例如，被例如用于训练或指导、玩游戏等的共享型360度交互式虚拟现实环境。
背景技术
用于存储和播放数字视频文件的常规的基于web的系统通常仅支持视频的传统播放，其中视频以线性方式推进而并没有来自观看者的输入而且也没有辨识观看者的移动并对其做出响应的系统。这些系统也并不允许多个用户从不同视角来共享数字视频体验，而是为多个用户提供用于播放的单一视角。
虚拟现实系统将它们的用户沉浸在360度环境中，允许用户就像他们出现在虚拟现实中一样来体验所显示的内容。虽然传统的虚拟现实系统通过占据用户的整个视场而培养出了沉浸式体验，并且可以允许用户以视频游戏的形式介入其中，它们在传统上并不与无法对用户的视点选择做出响应的二维视频相兼容，而是依赖于能够基于用户对视点的选择或者用户的移动而被调节的动态生成的音频/视觉内容。
此外，传统的虚拟现实系统允许用户以独自的方式来体验虚拟现实作品(例如，具有或没有头戴式设备(headset))，其中用户对视点的选择驱动该体验。换句话说，虚拟现实作品的用户体验通常无法在多个用户之间进行共享。
发明内容
一种方法、系统和计算机程序产品公开了创建协作的直播动作虚拟现实体验，其允许多个用户从不同视角同时参与创建单个交互式故事。该故事可以在均与360度显示单元相关联的多个客户端上观看。第一客户端的用户向第二客户端发送请求以发起虚拟现实体验(“2玩家模式(2-player mode)”)。响应于第一客户端的用户发送该请求，该系统访问包括360度视频文件、音频文件和注释的第一360度媒体分段。该系统在第一客户端上显示该第一360度媒体分段，并且接收来自第一用户的响应于该注释的输入。响应于第一用户提供了输入，该系统访问对应于该注释选择的第二360度媒体分段。该系统随后在第一客户端上呈现该第二360度媒体分段。作为第一用户响应于该第二注释提供了输入的响应，该系统访问并显示第三360度媒体分段。在其它实施例中，该系统响应于来自第二用户或者来自第一用户和第二用户二者的输入而访问360度媒体分段。
在另一个实施中，单个用户使用客户端向服务器发送请求以发起虚拟现实体验(“1玩家模式(1-player mode)”)。当该客户端的用户下载应用时，存储在服务器上的视频数据库和注释数据库中的所有 360度媒体分段被包括在该下载中并且被存储在客户端上，而使得该客户端不需要连接至网络以开始360度媒体分段的播放。在用户选择1玩家模式的情况下，所有的后续注释选择都由该客户端的用户所做出。可替换地，一些注释可以由计算机自动做出。1玩家和2玩家模式都被预见到，以下描述仅针对于2玩家的迭代。对于本领域技术人员而言将会清楚明白的是，除非以其它方式有所提及，否则同样的功能应用于1 玩家模式。
本公开的方面提供了创建共享型交互式环境的方法，包括：从第一客户端设备发送对开始共享型交互式体验计算机程序的请求，该第一客户端设备与第一360度显示单元相关联；接收针对发起该共享型交互式体验计算机程序的响应；从视频数据库访问第一360度视频文件，该第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与该360度视频文件相关联的注释的用户输入而组织该共享型交互式体验；从该脚本树访问与该第一360度视频文件相关联的第一注释；使用该第一客户端设备的第一360度显示单元视觉呈现该第一360度视频文件和第一注释；接收响应于该第一注释的用户输入；基于该用户输入识别该脚本树中的后续节点；基于该后续节点针对该第一客户端设备访问第二360度视频文件和第二注释，该第二360度视频文件和第二注释基于响应于如该脚本树所确定的响应于该第一注释的用户输入而被访问；以及使用该第一客户端设备的第一360度显示单元视觉呈现该第二360度视频文件和第二注释，与此同时该第二客户端设备的第二360度显示单元同时呈现也与该脚本树中的后续节点相关联的第三360度视频文件和第三注释。本公开的方面提供了一种计算机系统，包括：计算机可读存储介质，其包括用于创建共享型交互式环境的可执行程序代码，该计算机程序代码：从第一客户端设备发送对开始共享型交互式体验计算机程序的请求，该第一客户端设备与360度显示单元相关联；接收针对发起该共享型交互式体验计算机程序的响应；从视频数据库访问第一360度视频文件，该第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与该360 度视频文件相关联的注释的用户输入而组织该共享型交互式体验；从该脚本树访问与该第一360度视频文件相关联的第一注释；使用该第一客户端设备的第一360度显示单元视觉呈现该第一360度视频文件和第一注释；接收响应于该第一注释的用户输入；基于该用户输入识别该脚本树中的后续节点；基于该后续节点针对该第一客户端设备访问第二360度视频文件和第二注释，该第二360度视频文件和第二注释基于响应于如该脚本树所确定的该第一注释的用户输入而被访问；以及使用该第一客户端设备的第一360度显示单元视觉呈现该第二360度视频文件和第二注释，同时该第二客户端设备的第二360度显示单元同时呈现同样与该脚本树中的后续节点相关联的第三360度视频文件和第三注释。本公开的方面提供了一种存储计算机可执行指令的计算机可读介质(其可以是非暂时性计算机可读介质，但是本方面并不局限于此)，该计算机可执行指令响应于执行而使得包括处理器的设备实行操作，所述操作包括：从第一客户端设备发送对开始共享型交互式体验计算机程序的请求，该第一客户端设备与360度显示单元相关联；接收针对发起该共享型交互式体验计算机程序的响应；从视频数据库访问第一 360度视频文件，该第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与该第一360度视频文件相关联的注释的用户输入而组织该共享型交互式体验；从该脚本树访问与该第一360 度视频文件相关联的第一注释；使用该第一客户端设备的第一360度显示单元视觉呈现该第一360度视频文件和第一注释；接收响应于该第一注释的用户输入；基于该用户输入识别该脚本树中的后续节点；基于该后续节点针对该第一客户端设备访问第二360度视频文件和第二注释，该第二360度视频文件和第二注释基于响应于如该脚本树所确定的该第一注释的用户输入而被访问；以及使用该第一客户端设备的第一 360度显示单元视觉呈现该第二360度视频文件和第二注释，同时该第二客户端设备的第二360度显示单元同时呈现同样与该脚本树中的后续节点相关联的第三360度视频文件和第三注释。
本公开的其它方面提供了一种存储计算机可执行指令的计算机可读介质(其可以是非暂时性计算机可读介质，但是本方面并不局限于此)，该计算机可执行指令响应于执行而使得包括处理器的设备实行根据本文所描述的任意方面或实施方式的方法。本公开的其它方面提供了一种被配置为实行根据本文所描述的任意方面或实施方式的方法的计算机系统。
本公开的方面因此允许虚拟现实系统或增强显示系统使用视频作为输入，由此避免了需要提供动态生成的音频视觉内容。无需动态地生成音频视觉内容在虚拟现实系统使用移动设备的情况下可以是特别有利的，因为这省却了在具有比有线设备较低的处理功率和/或存储容量的移动设备中生成或者向其传送动态生成的音频视觉内容的需求。另外，本公开的方面附加地或替选地允许多个用户在基于环境的360视频中驱动他们自己的体验，同时保持有影响相同“实例”中的其他人的体验的能力。此外，本公开的方面可以使用360视频而不是运行中渲染的环境从而将更多的体验负担放在外部带宽以及流传输视频的能力上，而缓解了较为老旧的移动设备上的处理负担。
此外，在虚拟现实系统允许有两个或更多用户的情况下，可能期望被提供至一个用户的设备的音频/视觉内容与提供至另一个用户的设备的音频/视觉内容是同步或基本上同步的，例如在用户在虚拟现实环境中互相交互的情况下(例如在训练音频/视觉呈现中)。这在两个用户均使用他们自己个体的、动态生成的内容的情况下是难以实现的。本公开该的方面可以附加地或替选地允许音频/视觉内容在两个或更多用户设备上更容易地被同步。
该说明书中所描述的特征和优势并不是穷举的，特别是许多附加的特征和优势在考虑附图、说明书和权利要求的情况下对于本领域技术人员将会是清楚明白的。此外，应当注意的是，说明书中所使用的语言原则上已经出于可读性和教导的目的进行了选择，并且可能并未被选择以界定或限制所公开的主题。
附图说明
图1是依据实施例的用于创建协作直播动作虚拟现实体验的系统架构的框图。
图2A-2C示出了依据实施例的基于响应于注释的用户输入组织协作直播动作虚拟现实体验的示例脚本树。
图3是图示依据实施例的被设计为允许用户互相连接以参与虚拟现实体验的服务器设施的框图。
图4是图示依据实施例的用于创建协作直播动作虚拟现实体验的示例过程的流程图。
图5A-5S示出了图4中所描述的示例性方法的使用情形。
具体实施方式
现在将详细参考若干实施例，它们的示例在附图中被图示。注意到，在任何能够实践的情况下，相似或相同的附图标记都可以在图中使用并且可以指示相似或相同的功能。附图仅出于图示的目的描绘了所公开的系统(和方法)的实施例。本领域技术人员将从以下描述轻易认识到，可以采用本文所阐述的结构和方法的可替换实施例而并不背离本文所描述的原则。本文在一个方面或实施方式的内容中所描述的任何特征都可以被结合在本文所描述的任何其它方面或实施方式中。
示例性系统
图1是用于创建协作直播动作虚拟现实体验的系统的框图。多个用户使用客户端110A-B与服务器设施100进行交互。虽然仅示出了两个客户端110A和110B，但是所要理解的是，非常大量(例如，数百万)的客户端可以被支持并且能够在任何时间与服务器设施100进行通信。为了两个客户端110共享虚拟现实体验，客户端110A可以使用web套接字来通过网络130建立与客户端110B的连接并且与客户端110B交换数据分组。可替换地，客户端110A可以使用有线连接或者诸如蓝牙或红外的短距离无线通信标准直接连接至客户端110B。
服务器设施100经由网络130与客户端110A和110B进行通信，所述网络130通常是互联网，但是也可以是任意网络，包括但并不局限于 LAN、MAN、WAN、移动、有线或无线网络，私有网络或者虚拟私有网络。客户端110和服务器设施100通过网络接口连接至网络130。
客户端110包括视频播放器140并且耦合至360度显示单元150。虽然并未在图1中示出，但是客户端110通常还包括处理器、显示设备(或者到显示设备的输出)，客户端110将用户在执行任务时所使用的数据存储于其中的诸如硬盘或闪存设备的本地存储，以及用于经由网络130 耦合至服务器设施100的网络接口。
客户端110可以包括各种不同的计算设备。客户端110的示例是个人计算机、数字助理、个人数字助理、蜂窝电话、移动电话、智能电话或膝上计算机。如对于本领域技术人员将会显而易见的，本发明并不局限于以上列出的设备。在一个实施例中，客户端110还包括语音识别组件，其响应于来自客户端110的用户的听觉输入而检测并解释用户的选择。
360度显示单元150显示360度显示格式的360度视频，所述视频有时也被称作“球视频(spherical video)”或“沉浸式视频(immersive video)”。360度视频是通过同时录制每个方向的视野所捕捉的视频录制。这经常使用全向相机或者多个定位相机的集合来完成，然而尤其是在未来期望有其它方式来录制360度视频。在播放期间，客户端110 的用户能够控制观看方向，从而他们可以类似于全景地选择以任意方向来观看，并且360度显示单元150将接纳该选择并且示出所录制视频的适当方向。在一个实施例中，360度视频也是三维(3D)视频并且允许内容的3D视觉化(即，经z轴移动的场的深度或者对z轴的感知)。
结合360度显示单元150所提供的视觉封闭空间，360度显示单元 150也可以是用户所能够看到的完整范围而使得他们在视觉上是完全沉浸的。也就是说，在一些实施方式中，用户将能够看到的全部就是 360度视频，他们的视觉范围的其余部分则被360度显示单元150所遮挡。360度显示单元150可以类似地包括音频扬声器从而允许用户收听与360度视频相关联的音频。360度显示单元150的音频硬件可以被设置为播放立体声或环绕(例如，5个或更多扬声器源)格式的立体声。
针对客户端110和360度显示单元150的用户所实施的体验也可以被称作“虚拟现实体验(virtual reality experience)”，因为视觉和听觉媒体模仿了用户的物理存在和环境从而为用户创建了人工感官体验并且允许用户交互。因此，术语“虚拟现实体验”贯穿该描述被用来在总体上描述该体验。然而，在各个具体实施例中，该体验可以仅利用360度视频来实施，或者它可以是更为完整的虚拟现实体验。
在一个实施例中，360度显示单元150是与客户端110相同的物理单元的一部分。可替换地，360度显示单元150是以有线或无线方式通信耦合至客户端110的独立单元。360度显示单元150的示例是GOOGLE CARDBOARD单元；然而，其它的360度显示单元也是适用的并且可以被调适以根据本文所公开的技术进行操作。
360度显示单元150检测用户输入并且将该输入传输至服务器设施 100以便进行分析。用户输入可以以用户所导致的360度显示单元150的物理运动的形式被接收。用户输入也可以从用户的手中所掌控的操纵杆或其它控制器接收。
视频播放器140被用来控制360度视频和相关联音频的呈现，控制作为360度体验的一部分的文本或音频注释的呈现。360度视频、音频和注释的组合在本文被称作360度媒体分段。视频播放器140进一步被用来控制与虚拟现实体验的控制相关的指令的发送和接收。视频播放器140可以以硬件或者硬件或软件的组合来实施。视频播放器140可以是独立的软件应用，或者是针对另一个软件应用的插件。视频播放器 140被配置为使得360度显示单元150播放从服务器设施100获取的或者存储在客户端110内的360度视频文件和音频文件。当视频播放器140到达360度视频中应用了与360度视频相关联的注释的时间时，视频播放器140通过令360度显示单元150将该注释叠加在显示屏上和/或将音频注释叠加在360度视频或音频文件的音频轨道上而使得该注释得以被呈现。
视频播放器140还包括用户界面控件以及在一些实例中包括相对应的应用编程接口，这允许通过在360度显示单元处的输入选择360度视频，开始、停止、回退、快进以及以其它方式经360度视频导航。其它类型的用户控件(例如，按钮、键盘控控制)也可以被用来控制视频播放器140的播放和视频格式选择功能。视频播放器140还处理经由操纵杆或者360度显示单元150的运动的输入从而在用户经虚拟现实体验导航时引导选择。
服务器设施100通过提供360度媒体分段而促成客户端110A和 110B互相连接以参与到协同直播动作虚拟现实体验中的能力，所述360 度媒体分段如基于用户输入所接收到的注释选择所指示的以及如下文进一步描述的虚拟现实体验的逻辑流程所指示的。在一些实例中，在 360度媒体分段已经被本地存储在客户端110上的情况下，那些分段将不需要被直接提供至客户端110。
虚拟现实体验的组织结构
每个360度媒体分段包含视频、音频以及请求客户端110A和110B 的用户中的一个或多个做出决策的注释，所述决策在本文被称作注释选择，其将指示体验的进展。当用户之一通过提供输入——例如通过移动360度显示单元150——而做出注释选择时，位于服务器设施100或客户端110中的用户选择模块122解释该用户选择并且命令该体验中所涉及的客户端110的一个或多个视频播放器140加载或获得与该选择相关联的360度媒体分段。例如，360度媒体分段可能包括其中与客户端设备110相关联的玩家坐在汽车驾驶员座椅中的视频和音频文件以及要求用户选择将该汽车向右转还是向左转的注释。如果客户端110的用户选择了“左”选项(即，左侧注释选择)，则360度显示单元150将检测到该输入并且将该输入传输至用户选择模块122，后者将命令视频播放器140加载与该选择相关联的360度媒体分段。
如上文所介绍的，注释可以以叠加在所显示的360度视频上的交互式图形界面的形式被显示。例如，它们可以采用菜单风格界面的形式，其中360度显示单元150经由注释显示若干选项，并且随后暂停视频以允许用户选择选项之一。菜单项/注释允许在虚拟现实体验中产生故事线的分支，其中选择一个注释指向一个360度媒体分段，并且在不同注释上的点击则指向不同的360度媒体分段。例如，注释可以在游戏中使用，其中用户选择指示360度媒体分段的故事线中的各种分岔的注释。如果做出了第一注释选择，则用户选择模块122从服务器设施100访问第一360度媒体分段。如果用户做出了第二注释选择，则用户选择模块122从服务器设施100访问第二360度媒体分段。这样的游戏由多个360 度媒体分段所支持，其中每一个表示各种跳转的目的地。游戏中的每次跳转被表示为所组织的层级结构中的一个条目。
图2A-2C示出了示例的脚本树，其图示了以层级结构组织和链接的 360度媒体分段的集合。该脚本树组织了虚拟现实体验。该脚本树包含由一系列边所连接的一系列节点。在体验期间的任意给定时点，该脚本树指示给定的视频播放器140播放与该脚本树中的每个节点相对应的给定360度媒体分段。基于在与该360度媒体分段和节点相关联的客户端110之一处所接收的注释选择，用户选择模块122访问该脚本树以确定接下来将采用哪条外出边和节点(经常为子节点)。这进而指示接下来要向每个客户端播放哪个360度媒体分段，等等。在一些情况下，脚本树的节点具有两条或更多的外出边，其中每条外出边与一个或多个用户所能够做出的选择相关联。例如，图2A中的节点“gvr_01_start”具有与可以做出的4种不同选择相对应的四条外出边。在一些情况下，该脚本树的多个节点中的每个节点具有在该脚本树中在该节点之前的至少一个节点以及在该脚本树中跟随在该节点之后的至少一个节点 (但是对于起始节点以及对应于虚拟现实环境的末端的叶子节点(诸如图2B的叶子节点“gvr_29_second_fail_end”)而言并非如此)。
该脚本树以表示客户端110的用户的协作360度虚拟现实体验的开始的根节点作为开始。在一些实施例中，客户端110A和110B持续地从导航远离根节点直至它们到达叶子节点。例如，图2A-2C图示了分心驾驶公共服务声明(PSA)的脚本树。图2B的gvr_29_second_fail_end是叶子节点，因为如果与驾驶员相关联的客户端110A的用户失败超过一次，该虚拟现实体验就会结束。以这种方式，该虚拟现实体验可以根据用户选择而具有360度媒体分段的不同逻辑进展，并且可以具有相对应的不同结局。
返回参考图1和客户端110，视频播放器140包括使用脚本树结构和 360度媒体分段来为用户实行虚拟现实体验的功能。用户选择模块122 在客户端110A和110B上显示用来选择通过其视角观看360度媒体分段的玩家的选项。例如，媒体播放器140在客户端110A上显示允许客户端 110A的用户决定是作为“Jess”还是“Mike”来观看360度媒体分段的菜单。如果客户端110A的用户选择了“Mike”，则客户端110B的用户就将作为“Jess”来观看360度视频。在一个实施例中，三个或更多的客户端110的用户参与交互式直播动作虚拟现实体验。第一用户是客户端110A的用户；另外的用户可以是客户端110或计算机的其它用户。
用户选择模块122从视频播放器140接收用户输入，并且响应于该输入将该输入与脚本树相比较来确定要从体验数据库126和注释数据库128获取哪个360度媒体分段。用户选择模块122随后将该360度媒体分段连同有关将该360度媒体分段发送到客户端110A和110B中的哪里的指令一起发送至视频播放器140。
该脚本树可以包含每个节点的多个360度媒体分段，并且用户选择模块122可以根据与每个相应客户端110相关联的玩家而向每个客户端 110发送不同的360度媒体分段(例如，针对第一客户端110A vs.第二客户端110B的不同的360度媒体分段)。当用户选择模块122响应于用户输入而到达脚本树中的一个节点时，用户选择模块122将针对每个玩家做出适当360度媒体分段的不同选择，而使得每个用户在虚拟现实体验期间将听到和看到不同的东西。继续上文所描述的示例，如果客户端110A的用户选择了Mike，则用户选择模块122将在每个节点处选择与玩家Mike相关联的360度媒体分段，并且对于其它客户端110B和玩家 Jess是类似的。
在一个实施例中，当客户端110上没有注释显示时，360度显示单元150检测响应于客户端110的用户将360度显示单元150转向360度场中的某个点的用户输入。360度显示单元150将该输入传输至用户选择模块122，后者从服务器设施100获取360度媒体分段并且命令视频播放器140播放360度媒体分段。
该脚本树还提供了允许用户响应于对注释选择的适当选择而回溯到该协作式直播动作虚拟现实体验中较早的点的节点/边结构，所述选择基于节点之间的边连接而使得这样的回溯得以进行。
例如，假设客户端110的用户从体验数据库126选择迷样事件的虚拟现实体验，其中该虚拟现实体验的目标是搜查房屋以找出得到该迷样事件的答案的线索。迷样事件体验的播放在根节点处开始并且响应于用户选择指示故事方向的注释选项而沿边和节点向下导航脚本树。在一个示例中，客户端110显示要求客户端110的用户选择是走进图书室还是厨房的注释。客户端110的用户将360度显示单元150转向指示选择“图书室”注释。响应于该注释选择，用户选择模块122遵循与“图书室”节点相关联的边并且命令视频播放器140播放其中与用户相关联的玩家打开门并且走进图书室的360度媒体分段。当该玩家走进图书室时，视频播放器140显示要求该用户选择是在书桌上还是在废纸中搜查线索的注释。客户端110的用户将360度显示单元150转向指示选择“书桌”注释。响应于该注释选择，户选择模块122遵循与“书桌”节点相关联的边并且命令视频播放器140播放其中该玩家走向书桌并且搜查线索的360度媒体分段。当视频播放器140确定该玩家已经完成搜查书桌时，视频播放器140遵循回溯边节点并且使得客户端110的用户返回至较早的其中该用户被要求在搜查书桌和搜查废纸篓之间做出选择的 360度媒体分段。将用户返回至故事中的这个点以允许用户选择之前未被选择的注释来改变故事线的进展。可替换地，用户可以再次做出先前的注释选择以重复该体验的一些方面。视频播放器140可以类似地采用回溯以允许用户搜索房屋的不同房间或楼层并且将脚本树向下导航至与该用户解决或未能解决谜团相关联的叶子节点。
服务器设施
图3是用于创建协作式360度虚拟现实体验的系统的服务器设施 100的框图。如图3所示，服务器设施100包括前端服务器120、用户选择模块122、体验数据库126、注释数据库128和用户数据库130。诸如防火墙、负载平衡器、应用服务器、容错服务器、站点管理工具等的其它常规特征并未被示出，从而更为清楚地该系统的特征。用于该系统的实施方式的适当服务器设施100的示例包括YouTubeTM和Google VideoTM网站；其它视频托管站点也是已知的，并且可以被调适以根据本文所公开的教导进行操作。将要理解的是，术语“网站”表示任何提供内容的系统和方法，而并非意在被局限于支持经由互联网或HTTP 协议所提供的内容的系统。各个服务器以常规方式被实施，无论是作为单个软件或硬件还是作为多个软件或硬件，并且能够经由前端服务器120耦合至网络130。通常，在适宜的情况下，在一个实施例中被描述为在服务器侧执行的功能在其它实施例中也可以在客户端侧执行。
前端服务器120允许客户端110的用户与其它客户端的用户进行连接以开始虚拟现实体验。前端服务器120在客户端110A上显示其它用户的列表，并且从客户端110A的用户接收对另一个用户和相对应的客户端110B的选择。前端服务器120随后可以使得请求得以被形成以开始该虚拟现实体验。在一个实施例中，该请求包括用户必须输入至客户端 110B以加入另一个用户所开始的虚拟现实体验的代码。
体验数据库126被用来存储360度媒体分段以及与360度媒体分段相关联的关联元数据。360度视频和音频文件具有与每个文件相关联的元数据，诸如视频ID、视频标题、标签和时间长度。体验数据库126中的360度媒体分段可以从各种来源获得。通常，它们将被获取以便连同相对应的脚本树一起以群组存储在体验数据库126中，所述脚本树共同表示结合性的虚拟现实体验。
注释数据库128存储与360度媒体分段相关联的注释以及脚本树所允许的可能注释选择。注释数据库128保持每个注释和被注释的360度视频的适当部分之间的关联。在一个实施例中，例如，注释数据库128 将注释类型(例如，文本框)的标识符连同与该类型相关联的任意信息(例如，文本题目)、应用了该注释的360度视频的时间戳(例如，从时间01:05至时间01:26)以及该注释所注释的360度视频的标识符一起进行存储。
用户数据库130保存与虚拟现实体验相关联的用户的记录。每个个体用户被指定以用户ID。该用户ID可以基于任意识别信息，诸如用户的IP地址、用户名等。出于促成用户与其它用户开始新的虚拟现实体验的目的，用户数据库130针对给定用户可以包含被认为是该用户的连接的其它用户的标识列表。
示例过程和使用情形
图4是示出依据实施例的用于创建协作式直播动作虚拟现实体验的示例过程的流程图。该示例性过程在图5A-5S中所示的使用情形中加以论证。
假设Sean拥有移动设备(客户端110A)以及通信耦合至他的移动设备的360度显示单元150A。Sean打开应用并且通过前端服务器120从体验数据库126的可用360度视频文件列表中选择了分心驾驶PSA。客户端110A向服务器设施100发送对开始虚拟现实体验的请求410。在412，客户端110A从服务器设施100接收对发起所选择程序的响应。
转向图5A，Sean被询问有多少人想要参与该体验，并且他选择了两人。Sean接下来在图5B中被询问他是想要开始新的会话还是加入其他人的会话。Sean选择了“开始新的会话(Start New Session)”，并且被呈现以被包括在用户数据库130中的他的连接的列表。Sean从他的连接列表中选择了Alison，并且前端服务器120显示Alison为了加入Sean 所创建的会话所必需输入的代码。
客户端110A使用web套接字连接至Alison的设备(客户端110B)并且向客户端110B发送邀请，该客户端110B也耦合至360度显示单元 150B。响应于客户端110A向客户端110B发送该邀请，Alison输入该代码以加入会话。在图5C中，Sean被询问他是否具有GoogleCardboard，并且他选择了“是”。Sean在图5D中选择了“前往VR模式(Go to VR Mode)”并且将客户端110A放入360度显示单元150A以开始分心驾驶 PSA的播放。
返回图4，响应于向客户端110A发送针对发起协作式直播动作虚拟体验的响应，用户选择模块122从体验数据库126访问414第一360度视频文件和相关联的第一音频文件。用户选择模块122将第一注释与第一 360度视频文件和第一音频文件相关联416，并且从注释数据库128获取第一注释。用户选择模块122随后向视频播放器140发送包含该360度视频文件、相关联的音频文件和注释的360度媒体分段以便在客户端110A 上显示。
在418，视频播放器140在360度显示单元150A上呈现该360度媒体分段。在一些实施例中，注释仅包含一个注释选项。例如，在客户端 110A上，第一360度媒体分段包含开始播放所选择视频的指令。在图 5E-5G中，Sean提供了360度显示单元150A的物理运动的形式的用户输入，其指示对“现在播放(Play Now)”注释的选择。360度显示单元 150A检测该输入420并且将该输入传输至用户选择模块122以供解释。用户选择模块122将该输入与脚本树进行比较以确定要响应于“现在播放”输入而从体验数据库获取哪个360度媒体分段。用户选择模块422 随后从体验数据库126获取第二360度视频文件和相关联的音频文件并且从注释数据库128获取第二注释424。用户选择模块122随后命令视频播放器140开始在客户端110A上播放第二360度媒体分段。
视频播放器140开始第二360度媒体分段的播放426。在其它实施例中，该注释包含两个或更多注释选项。例如，在图5H中，视频播放器 140在360度显示单元150A上显示询问Sean选择是要从Jess还是Mike的视角来体验分心驾驶PSA的注释。在图5I中，Sean提供了指示对“Jess”注释的选择的用户输入。用户选择模块122解释该输入并且指示视频播放器140开始播放与所选择节点相关联的360度媒体分段。
在图5J中，视频播放器140开始第三360度媒体分段的播放。假设 Sean选择了“Mike”注释，视频播放器140就呈现询问Sean是选择“跟着Jasmine(Follow Jasmine)”还是“走Jess的路(Go Jess’s Way)”的注释。在图5K中，Sean提供用户输入，用户选择模块122在图5L中将其解释为对“走Jess的路”节点的选择，指示视频播放器140开始播放相对应的360度媒体分段。
图5M图示了具有四个注释选项的360度媒体分段。Sean被询问是选择播放数码舞曲、流行、迪斯科还是嘻哈音乐。在图5N中，Sean提供了指示对图5O中的“流行”节点的选择的用户输入。用户选择模块 122解释该输入并且指示视频播放器140播放对应于所选择节点的360 度媒体分段。在一个实施例中，对注释选项的选择使得与所选择选项相关联的整个360度媒体分段立即播放。在另一个实施例中，对注释选项的选择导致延迟响应，而使得视频播放器140延迟对360度媒体分段的一部分的播放。例如，虽然视频播放器140可以开始与Sean对流行音乐的选择相关联的360度视频文件，但是视频播放器140可以将包含流行音乐的相对应音频文件的播放延迟指定时段。
在一些实施例中，客户端110A和110B的用户被呈现以注释并且被要求从所显示的注释选项中进行选择。例如，在图5P中，视频播放器140在客户端110A和110B上显示具有两个注释选项的注释。Sean和 Alison都被要求在“接吻(Kiss)”和“不接吻(No kiss)”之间进行选择。在图5Q中，Sean提供了指示对“接吻”节点的选择的用户输入。然而，由于第三注释要求来自两个玩家的输入，所以用户选择模块122 只有在Alison也选择了“接吻”注释选项的情况下才会命令视频播放器 140A播放与“接吻”节点相关联的360度媒体分段。
在图5R中，视频播放器140显示对“接吻”注释选项的选择，这指示Alison也选择了“接吻”注释选项。客户端110A从客户端110B接收指示Alison的选择的数据分组，并且指示视频播放器140A和140B播放与这两个用户的注释选择相对应的360度媒体分段。由于脚本树包含每个节点的多个视频，所以用户选择模块122将向客户端110A和110B发送表示每个玩家在该虚拟现实体验中的相同事件中的视角的不同视频。
图5S结束了该分心驾驶PSA。视频播放器140播放包含讲出“您成功了(You madeit)”的注释的最终360度媒体分段。该最终注释并未提示Sean或Alison从多个注释选项中做出选择，而是指示该协作式直播动作虚拟现实体验的结论。
附加考虑
已经关于各个实施例对本发明进行了特别详细的描述，本领域技术人员将会意识到，本发明可以在其它实施例中实践。此外，本领域技术人员将会意识到本公开的以下方面。首先，组件的特定命名、术语的大写形式、属性、数据结构或任意其它程序或结构方面并非是强制或重要的，并且实时本发明或其特征的机制可以具有不同的名称、格式或协议。其次，该系统可以如所描述的经由硬件和软件的组合来实施，或者完全以硬件元件来实施。第三，本文所描述的各种系统组件之间的特定功能划分仅是示例性的而并非作为强制；单个系统组件所执行的功能可以另外由多个组件来执行，并且多个组件所执行的功能可以另外由单个组件来执行。
以上描述的一些部分在算法和对信息所进行的运算的符号表示形式的方面提供了本发明的特征。这些算法描述和表示形式是本领域技术人员向本领域的其它技术人员最为有效地传递其工作实质的手段。虽然在功能、运算或逻辑上进行了描述，但是这些操作被理解为由计算机程序或者等同的电路、微代码等来实施。此外，同样已经多次证明的是，将这些操作的部署称之为模块便利的而并不失其一般性。所描述的操作以及它们相关联的模块可以以软件、固件或硬件来体现。
此外，用来描述各种量、数据值和运算的术语被理解为与适当的物理量相关联并且仅是应用于这些量的便利标记。除非另外特别指出为是从以下讨论中所清楚明白的，否则所要意识到的是，贯穿该描述，利用诸如“处理”或“运算”或“计算”或“确定”等所进行的讨论是指计算系统或类似电子计算设备对计算系统存储器或寄存器或者其它这样的信息存储、传输或显示设备内表示为物理(电子)量的数据进行操控或变换的动作和处理。
最后，应当注意的是，说明书中所使用的语言在原则上已经出于可读性和教导的目的进行了选择，而并非被选择以对发明主题进行界定或限制。因此，本发明的公开意在是说明性的而并非是对权利要求中所给出的本发明的范围加以限定。

Claims (18)

1.一种创建虚拟现实环境的方法，所述方法包括：
从第一客户端设备发送对开始虚拟现实环境计算机程序的请求，所述第一客户端设备与第一360度显示单元相关联；
接收针对发起所述虚拟现实环境计算机程序的响应；
从视频数据库访问第一360度视频文件，所述第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与所述360度视频文件相关联的注释的用户输入而组织所述虚拟现实环境；
从所述脚本树访问与所述第一360度视频文件相关联的第一注释；
使用所述第一客户端设备的所述第一360度显示单元呈现所述第一360度视频文件；
使用所述第一客户端设备的所述第一360度显示单元并且使用第二客户端设备的第二360度显示单元视觉呈现所述第一注释；
响应于所述第一注释，从所述第一客户端设备接收第一用户输入并且从所述第二客户端设备接收第二用户输入；
基于所述第一用户输入和所述第二用户输入识别所述脚本树中的后续节点；
基于所述后续节点访问与所述脚本树中的所述后续节点相关联的第二360度视频文件和与所述脚本树中的所述后续节点相关联的所述第一客户端设备的第二注释，所述第二360度视频文件和所述第二注释基于响应于如所述脚本树所确定的所述第一注释的所述第一用户输入和所述第二用户输入而被访问；以及
使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第二360度视频文件和所述第二注释，同时所述第二客户端设备的所述第二360度显示单元同时呈现与所述脚本树中的所述后续节点相关联的第三360度视频文件和同样与所述脚本树中的所述后续节点相关联的第三注释，其中，所述第二360度视频文件和所述第三360度视频文件从不同的视角在所述虚拟现实环境中表示相同事件。
2.根据权利要求1所述的方法，其中所述用户输入响应于所述用户的物理运动而经由所述360度显示单元的运动来提供。
3.根据权利要求1所述的方法，其中所述脚本树的多个节点中的每个节点具有在所述脚本树中在该节点之前的至少一个节点以及在所述脚本树中跟随在该节点之后的至少一个节点。
4.根据权利要求1所述的方法，进一步包括响应于由所述第一客户端设备作为对所述第二360度视频文件和所述第二注释的响应所进行的用户输入而使用所述第一客户端设备的所述第一360度显示单元视觉呈现第四360度视频文件和第四注释。
5.根据权利要求1所述的方法，其中所述脚本树的节点具有两条或更多条外出边，每条外出边与一个或多个用户所能够做出的选择相关联。
6.根据权利要求1所述的方法，其中所述脚本树的多个节点对应于多个360度视频文件，并且其中所述方法包括在所述脚本树的所述多个节点中的每个节点处将不同的360度视频文件呈现给每个客户端设备。
7.根据权利要求1所述的方法，进一步包括：
响应于由所述第一客户端设备作为对所述第二360度视频文件和第二注释的响应所进行的用户输入而使用所述第一客户端设备的所述第一360度显示单元视觉呈现第四360度视频文件和第四注释；
接收响应于所述第四注释的用户输入；以及
响应于所述用户输入使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第一360度视频文件和所述第一注释。
8.根据权利要求1所述的方法，其中所述第二360度视频文件和所述第二注释基于所述第一客户端设备的所述用户已经选择成为第一玩家而针对所述第一客户端设备被访问，并且其中所述第三360度视频文件和所述第三注释基于所述第二客户端设备的所述用户已经选择成为第二玩家而针对所述第二客户端设备被访问。
9.一种计算机系统，包括：
计算机可读存储介质，所述计算机可读存储介质包括用于创建虚拟现实环境的可执行程序代码，所述可执行程序代码在被执行时，使得所述计算机系统执行操作，所述操作包括：
从第一客户端设备发送对开始虚拟现实环境计算机程序的请求，所述第一客户端设备与第一360度显示单元相关联；
接收针对发起所述虚拟现实环境计算机程序的响应；
从视频数据库访问第一360度视频文件，所述第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与所述360度视频文件相关联的注释的用户输入而组织所述虚拟现实环境；
从所述脚本树访问与所述第一360度视频文件相关联的第一注释；
使用所述第一客户端设备的所述第一360度显示单元呈现所述第一360度视频文件；
使用所述第一客户端设备的所述第一360度显示单元并且使用第二客户端设备的第二360度显示单元视觉呈现所述第一注释；
响应于所述第一注释，从所述第一客户端设备接收第一用户输入并且从所述第二客户端设备接收第二用户输入；
基于所述第一用户输入和所述第二用户输入识别所述脚本树中的后续节点；
基于所述后续节点针对所述第一客户端设备访问第二360度视频文件和第二注释，所述第二360度视频文件和所述第二注释基于响应于如所述脚本树所确定的所述第一注释的所述第一用户输入和所述第二用户输入而被访问；以及
使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第二360度视频文件和所述第二注释，同时所述第二客户端设备的所述第二360度显示单元同时呈现与所述脚本树中的所述后续节点相关联的第三360度视频文件和同样与所述脚本树中的所述后续节点相关联的第三注释，其中，所述第二360度视频文件和所述第三360度视频文件从不同的视角在所述虚拟现实环境中表示相同事件。
10.根据权利要求9所述的系统，其中所述用户输入响应于所述用户的物理运动而经由所述360度显示单元的运动来提供。
11.根据权利要求9所述的系统，其中所述脚本树的多个节点中的每个节点具有在该节点之前的至少一个节点以及跟随在该节点之后的至少一个节点。
12.根据权利要求9所述的系统，其中所述脚本树的多个节点对应于多个360度视频文件，并且其中所述计算机程序代码在所述脚本树的所述多个节点中的每个节点处将不同的360度视频文件呈现给每个客户端设备。
13.根据权利要求9所述的系统，其中，所述操作进一步包括：
响应于由所述第一客户端设备作为对所述第二360度视频文件和第二注释的响应所进行的用户输入而使用所述第一客户端设备的所述第一360度显示单元视觉呈现第四360度视频文件和第四注释；
接收响应于所述第四注释的用户输入；以及
响应于所述用户输入使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第一360度视频文件和所述第一注释。
14.一种存储计算机可执行指令的非易失性计算机可读存储介质，所述计算机可执行指令在被执行时使得包括处理器的设备执行操作，所述操作包括：
从第一客户端设备发送对开始虚拟现实环境计算机程序的请求，所述第一客户端设备与第一360度显示单元相关联；
接收针对发起所述虚拟现实环境计算机程序的响应；
从视频数据库访问第一360度视频文件，所述第一360度视频文件经由脚本树链接至多个360度视频文件，所述脚本树基于响应于与所述第一360度视频文件相关联的注释的用户输入而组织所述虚拟现实环境；
从所述脚本树访问与所述第一360度视频文件相关联的第一注释；
使用所述第一客户端设备的所述第一360度显示单元呈现所述第一360度视频文件；
使用所述第一客户端设备的所述第一360度显示单元并且使用第二客户端设备的第二360度显示单元视觉呈现所述第一注释；
响应于所述第一注释，从所述第一客户端设备接收第一用户输入并且从所述第二客户端设备接收第二用户输入；
基于所述第一用户输入和所述第二用户输入识别所述脚本树中的后续节点；
基于所述后续节点针对所述第一客户端设备访问第二360度视频文件和第二注释，所述第二360度视频文件和所述第二注释基于响应于如所述脚本树所确定的所述第一注释的所述第一用户输入和所述第二用户输入而被访问；以及
使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第二360度视频文件和所述第二注释，同时所述第二客户端设备的所述第二360度显示单元同时呈现与所述脚本树中的所述后续节点相关联的第三360度视频文件和同样与所述脚本树中的所述后续节点相关联的第三注释，其中，所述第二360度视频文件和所述第三360度视频文件从不同的视角在所述虚拟现实环境中表示相同事件。
15.根据权利要求14所述的存储介质，其中所述用户输入响应于所述用户的物理运动而经由所述360度显示单元的运动来提供。
16.根据权利要求14所述的存储介质，其中所述脚本树的多个节点中的每个节点具有在该节点之前的至少一个节点以及跟随在该节点之后的至少一个节点。
17.根据权利要求14所述的存储介质，其中所述脚本树的多个节点对应于多个360度视频文件，并且其中所述操作包括在所述脚本树的所述多个节点中的每个节点处将不同的360度视频文件呈现给每个客户端设备。
18.根据权利要求14所述的存储介质，其中所述操作进一步包括：
响应于由所述第一客户端设备作为对所述第二360度视频文件和第二注释的响应所进行的用户输入而使用所述第一客户端设备的所述第一360度显示单元视觉呈现第四360度视频文件和第四注释；
接收响应于所述第四注释的用户输入；以及
响应于所述用户输入使用所述第一客户端设备的所述第一360度显示单元视觉呈现所述第一360度视频文件和所述第一注释。
CN201780044392.3A 2016-08-10 2017-08-10 协作沉浸式直播动作360度视频和虚拟现实 Active CN109478193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210467832.9A CN114911968A (zh) 2016-08-10 2017-08-10 协作沉浸式直播动作360度视频和虚拟现实

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/233,904 US10272329B2 (en) 2016-08-10 2016-08-10 Cooperative immersive live action 360-degree video and virtual reality
US15/233,904 2016-08-10
PCT/US2017/046380 WO2018031827A1 (en) 2016-08-10 2017-08-10 Cooperative immersive live action 360-degree video and virtual reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210467832.9A Division CN114911968A (zh) 2016-08-10 2017-08-10 协作沉浸式直播动作360度视频和虚拟现实

Publications (2)

Publication Number Publication Date
CN109478193A CN109478193A (zh) 2019-03-15
CN109478193B true CN109478193B (zh) 2022-05-24

Family

ID=59700202

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210467832.9A Pending CN114911968A (zh) 2016-08-10 2017-08-10 协作沉浸式直播动作360度视频和虚拟现实
CN201780044392.3A Active CN109478193B (zh) 2016-08-10 2017-08-10 协作沉浸式直播动作360度视频和虚拟现实

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210467832.9A Pending CN114911968A (zh) 2016-08-10 2017-08-10 协作沉浸式直播动作360度视频和虚拟现实

Country Status (6)

Country Link
US (1) US10272329B2 (zh)
EP (1) EP3485398B1 (zh)
JP (1) JP6743273B2 (zh)
KR (1) KR101996209B1 (zh)
CN (2) CN114911968A (zh)
WO (1) WO2018031827A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576378B2 (en) * 2016-08-30 2020-03-03 Intel Corporation Non-linear interactive experience creation and execution methods and systems
US20180096506A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP2021526756A (ja) * 2018-06-04 2021-10-07 シャープ株式会社 全方位ビデオに関連付けられたオーバーレイ情報を決定する方法、装置、および記録媒体
US11032590B2 (en) 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
US11985290B2 (en) 2019-07-03 2024-05-14 Sony Group Corporation Information processing device, information processing method, reproduction processing device, and reproduction processing method
US11503227B2 (en) 2019-09-18 2022-11-15 Very 360 Vr Llc Systems and methods of transitioning between video clips in interactive videos
CN111447476B (zh) * 2020-04-29 2021-11-05 厦门奇翼科技有限公司 一种5d沉浸式互动体验空间

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126462A (ja) * 1999-11-17 2000-05-09 Namco Ltd 仮想体験型ゲ―ム装置
JP3916648B1 (ja) * 2006-02-17 2007-05-16 株式会社コナミデジタルエンタテインメント ゲームサーバ装置、ゲームサービス方法、ならびに、プログラム
CN102209273A (zh) * 2010-04-01 2011-10-05 微软公司 交互且共享的观看体验
JP2011234301A (ja) * 2010-04-30 2011-11-17 Sony Corp コンテンツ再生装置、制御情報提供サーバ、及びコンテンツ再生システム
CN102947774A (zh) * 2010-06-21 2013-02-27 微软公司 用于驱动交互式故事的自然用户输入
CN105051662A (zh) * 2012-10-23 2015-11-11 漫游控股有限公司 三维虚拟环境

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3752256B2 (ja) * 1993-09-08 2006-03-08 株式会社日立製作所 マルチメディアデータ記録再生装置及びマルチメディアデータ生成方法
JP3468465B2 (ja) * 2000-11-15 2003-11-17 株式会社ソニー・コンピュータエンタテインメント 情報分岐制御方法、プログラム実行装置、コンピュータに実行させるための情報分岐制御プログラム、及びコンピュータに実行させるための情報分岐制御プログラムを記録した記録媒体
US20070060345A1 (en) * 2005-06-28 2007-03-15 Samsung Electronics Co., Ltd. Video gaming system and method
JP2008113247A (ja) * 2006-10-30 2008-05-15 Xing Inc ストリーミング再生方法、ストリーミング再生システム、サーバ装置、動画再生装置およびコンピュータプログラム
US9132354B2 (en) * 2011-12-22 2015-09-15 Microsoft Technology Licensing, Llc Game having a plurality of engines
US8894484B2 (en) * 2012-01-30 2014-11-25 Microsoft Corporation Multiplayer game invitation system
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9997199B2 (en) 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126462A (ja) * 1999-11-17 2000-05-09 Namco Ltd 仮想体験型ゲ―ム装置
JP3916648B1 (ja) * 2006-02-17 2007-05-16 株式会社コナミデジタルエンタテインメント ゲームサーバ装置、ゲームサービス方法、ならびに、プログラム
CN102209273A (zh) * 2010-04-01 2011-10-05 微软公司 交互且共享的观看体验
JP2011234301A (ja) * 2010-04-30 2011-11-17 Sony Corp コンテンツ再生装置、制御情報提供サーバ、及びコンテンツ再生システム
CN102947774A (zh) * 2010-06-21 2013-02-27 微软公司 用于驱动交互式故事的自然用户输入
CN105051662A (zh) * 2012-10-23 2015-11-11 漫游控股有限公司 三维虚拟环境

Also Published As

Publication number Publication date
EP3485398A1 (en) 2019-05-22
JP2019528594A (ja) 2019-10-10
EP3485398B1 (en) 2023-10-25
WO2018031827A1 (en) 2018-02-15
US10272329B2 (en) 2019-04-30
KR101996209B1 (ko) 2019-07-04
CN114911968A (zh) 2022-08-16
US20180043249A1 (en) 2018-02-15
CN109478193A (zh) 2019-03-15
KR20190023108A (ko) 2019-03-07
JP6743273B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
CN109478193B (zh) 协作沉浸式直播动作360度视频和虚拟现实
US10963147B2 (en) Media-aware interface
JP6434583B2 (ja) 第２のユーザによる第１のユーザのゲームプレーの遠隔制御
JP6510536B2 (ja) インスタント通信において表現情報を処理する方法及び装置
US10217185B1 (en) Customizing client experiences within a media universe
CN102450032B (zh) 集成化身的共享媒体选择
US10970843B1 (en) Generating interactive content using a media universe database
JP2020537206A (ja) ロボットインタラクションのための方法及びデバイス
US11513658B1 (en) Custom query of a media universe database
US20240004529A1 (en) Metaverse event sequencing
US20230215090A1 (en) Method and system for displaying virtual space at various point-in-times
CN115050228A (zh) 一种素材收集方法及装置、电子设备
US20240334026A1 (en) Video processing method and video processing system
KR102624423B1 (ko) 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술
US11983396B1 (en) Generating augmented reality tours
Song et al. Development of multimodal interaction-based interactive educational content-authoring tool
Zorrilla et al. A Novel Production Workflow and Toolset for Opera Co-creation towards Enhanced Societal Inclusion of People
Shikhri A 360-Degree Look at Virtual Tours: Investigating Behavior, Pain Points and User Experience in Online Museum Virtual Tours
Vosmeer et al. Creating Video Content for Oculus Rift: Scriptwriting for 360° Interactive Video Productions
Morelli et al. Digital video and interactivity
JP2023027757A (ja) ゲームベースの授業計画と学習
JP2013183182A (ja) 会議システム、議事録サーバおよび議事録作成方法
JP2004304779A (ja) 実演者側の主導によってインタラクティブな双方向通信モードが視聴者ごとに選択的に確立される実演データ通信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant