CN118649409A - 视频记录和回放系统和方法 - Google Patents

视频记录和回放系统和方法 Download PDF

Info

Publication number
CN118649409A
CN118649409A CN202410677784.5A CN202410677784A CN118649409A CN 118649409 A CN118649409 A CN 118649409A CN 202410677784 A CN202410677784 A CN 202410677784A CN 118649409 A CN118649409 A CN 118649409A
Authority
CN
China
Prior art keywords
game
video
event
sequence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410677784.5A
Other languages
English (en)
Inventor
N·A·E·瑞安
H·A·D·斯宾瑟
A·斯万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Europe Ltd
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Europe Ltd, Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Europe Ltd
Publication of CN118649409A publication Critical patent/CN118649409A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/798—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for assessing skills or for ranking players, e.g. for generating a hall of fame
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203—Image generating hardware
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10592—Audio or video recording specifically adapted for recording or reproducing multichannel signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

提供了一种视频回放方法和视频回放装置。该视频回放方法包括以下步骤：获得包括视频图像序列的视频游戏回放会话的视频记录；获得深度缓冲值序列、游戏内虚拟相机位置序列、以及与视频记录相关联的视频游戏的标识符；获得指示统计上重要的游戏内事件和游戏内事件位置的数据；根据相关的游戏内虚拟相机位置和深度缓冲值，计算当前视频图像内与游戏内事件位置相对应的位置；以及响应于计算的位置，利用统计上重要的游戏内事件的图形表示来增强当前视频图像。

Description

视频记录和回放系统和方法
本专利申请是下列发明专利申请的分案申请：
申请号：201910136759.5
申请日：2019年02月25日
发明名称：视频记录和回放系统和方法
技术领域
本发明涉及视频记录和回放系统和方法。
背景技术
电子游戏的玩家通常需要帮助，如果他们被卡住或想要发现其他功能，可以在游戏内进步；或者改进他们现有的比赛，例如击败个人最佳得分。
视频的创建者的评论(例如上的漫游和速度运行)以及游戏内镜头的视频捕获很受欢迎，但依靠评论员提供所需信息和/或说明或演示观众想要的特定动作。是否将提供相关信息以使观众满意是无法预测的，从而导致沮丧。此外，对于年轻观众来说，观看评论员可能会咒骂的视频可能存在问题。结果，这种视频对想要对视频游戏提供帮助的观众的好处可能是高度可变的。
本发明旨在解决或减轻该问题。
发明内容
在第一方面，提供了一种视频回放方法。
在第二方面，提供了一种视频回放装置。
在第三方面，提供了一种系统，包括：视频回放装置；和从包括以下各项的列表中选择的一个或多个：视频记录装置，以及事件分析器。
在所附权利要求中限定了本发明的其他各个方面和特征。
附图说明
现在将参考附图以示例的方式描述本发明的实施例，其中：
图1是可用作根据本发明实施例的视频记录装置、视频回放装置和事件分析器中的一个或多个的娱乐设备的示意图。
图2是根据本发明实施例的包括视频记录装置、视频回放设备和事件分析器的系统的示意图。
图3是根据本发明实施例的视频记录方法的流程图。
图4A和4B示出了根据本发明实施例的视频图像和相应的深度缓冲信息。
图5示出了用于根据本发明实施例的深度缓冲信息和附加数据的图像编码方案。
图6是根据本发明实施例的视频回放方法的流程图。
图7示出了根据本发明实施例的具有统计上重要的游戏内事件的图形表示的视频的增强。
图8是根据本发明实施例的事件分析方法的流程图。
具体实施方式
公开了视频记录和回放系统和方法。在以下描述中，呈现了许多具体细节以便提供对本发明实施例的透彻理解。然而，对于本领域技术人员显而易见的是，不需要采用这些具体细节来实施本发明。相反，为了清楚起见，在适当的地方省略了本领域技术人员已知的具体细节。
图1示意性地示出了娱乐设备的整体系统架构。提供系统单元10，其中各种外围设备可连接到系统单元。
系统单元10包括作为单个芯片的加速处理单元(APU)20，其又包括中央处理单元(CPU)20A和图形处理单元(GPU)20B。APU 20可以访问随机存取存储器(RAM)单元22。
APU 20可选地经由I/O桥24与总线40通信，I/O桥24可以是APU 20的离散组件或部分。
连接到总线40的是诸如硬盘驱动器37的数据存储组件，以及可操作以访问兼容光盘36A上的数据的驱动器36。另外，RAM单元22可以与总线40通信。
可选地，还连接到总线40的是辅助处理器38。可以提供辅助处理器38以运行或支持操作系统。
系统单元10经由音频/视频输入端口31、以端口32、无线链路33、无线链路34或一个或多个通用串行总线(USB)端口3适当地与外围设备通信。可以经由诸如HDMI端口的AV输出39输出音频和视频。
外围设备可以包括诸如PlayStation 的单视场或立体视频相机41；诸如PlayStation 的魔棒式视频游戏控制器42，和诸如的传统的手持式视频游戏控制器43；诸如PlayStation 和PlayStation 的便携式娱乐设备44；键盘45和/或鼠标46；媒体控制器47，例如以遥控器的形式；以及耳机48。可以类似地考虑其他外围设备，诸如打印机或3D打印机(未示出)。
GPU 20B(可选地与CPU 20A结合)生成视频图像和音频以经由AV输出39输出。可选地，音频可以与音频处理器(未示出)结合或替代地生成。
可以将视频和可选的音频呈现给电视51。在电视支持的情况下，视频可以是立体的。音频可以以多种格式之一呈现给家庭影院系统52，诸如立体声、5.1环绕声或7.1环绕声。同样可以将视频和音频呈现给用户60佩戴的头戴式显示单元53。
在操作中，娱乐设备默认为操作系统，诸如FreeBSD 9.0的变形。操作系统可以在CPU 20A、辅助处理器38或两者的混合上运行。操作系统为用户提供图形用户界面，诸如PlayStation动态菜单。该菜单允许用户访问操作系统功能并选择游戏和可选的其他内容。
现在还参考图2，根据本发明的实施例，上述娱乐设备10可以在合适的软件指令下操作作为视频记录装置(210A)和/或视频回放装置(210B)。可选地，娱乐设备还可以操作作为事件分析器220，与记录/回放角色分开或与记录角色集成。在其他实施方式中，事件分析器可以是远程服务器，和/或视频回放装置可以是与娱乐设备10不同的设备形式，诸如移动电话或平板电脑、PC、智能TV、机顶盒或不同种类的视频游戏控制台。
在装置是单独的设备的情况下，它们可以经由互联网进行通信(例如，适当地使用以端口32或端口34，或使用蜂窝移动数据)。
现在转到图3，视频记录装置210A可以根据以下视频记录方法操作，其中：
第一步骤s310包括记录由视频游戏输出的视频图像序列。例如，PlayStation 4例行地将当前视频图像输出的视频保存在数据循环中，该数据循环允许存储最后N分钟的游戏，其中N可以是例如20分钟。随后，响应于用户输入、游戏内事件或预定事件，这样的视频数据也可以被复制到长期存储中，诸如娱乐设备的磁盘驱动器，或者经由网络的远程主机，使得在数据循环中重写时其不会丢失。
第二步骤s320包括记录用于由视频游戏使用的深度缓冲器的深度缓冲值序列。当计算虚拟场景的哪些部分在彼此的前面并且因此可能在最终渲染图像中可能相互遮挡时，娱乐设备使用深度缓冲器。这样，它可以为渲染图像的每个像素提供深度数据。
渲染图像的对应像素的深度数据阵列又可以被视为深度图像。因此，例如，可以将8位或16位深度值存储为与渲染图像对应的8位或16位灰度图像。深度图像可以具有与对应的视频图像相同的分辨率，或者可以使用降低分辨率的版本(例如，50％大小，具有1/4像素)。
因此，例如，对于具有三个8位数据通道(例如，对于红色、绿色和蓝色)的传统图像格式，8位深度值可以占用一个数据通道，或者16位深度值可以占用两个数据通道。
图4A示出了渲染图像，而图4B示出了两个数据通道中的对应深度图像。
因此，记录深度缓冲值序列的步骤可以包括，对于记录的深度缓冲的每个实例，使用深度图像的多个图像数据通道中的至少一个生成深度图像。
第三步骤s330包括记录用于生成视频图像的游戏内虚拟相机位置的序列。虚拟相机位置是渲染输出视频图像时使用的相机的位置。该位置可以被限定为参考游戏世界坐标系统的、和/或相对于具有预定原点的全局坐标系统的绝对位置(例如，在后一种情况下，在第一输出视频图像中虚拟相机的位置可以被设置在原点，后续相机位置相对于该原点)。可选地，根据需要，可以提供附加的相机位置信息，诸如在该位置处的相机取向/旋转、视野、焦距、最近绘制距离、最远绘制距离等中的一个或多个。
虚拟相机位置数据可以被记录为单独的数据流，但是可替代地，可以通过将数据编码在不用于记录深度缓冲值的、多个图像数据通道中的不同的一个中来记录。因此，例如在红色和绿色通道被用于编码深度数据的RGB图像中，蓝色通道可用于编码相机位置数据。因此，在本发明的实施例中，游戏内虚拟相机位置数据在空间被记录为在相应图像数据通道中的高对比度块。
还可选地，在游戏不是来自第一人称视角的情况下(即，当玩家还没有在概念上处于虚拟相机位置，但是在屏幕上显示化身时)，则可以使用与用于记录虚拟相机位置数据的相同的坐标方案来记录玩家的位置以及还可选地他们的取向/旋转、速度、模式(例如，跑步/行走)和/或姿势中的一个或多个。同样，这可以是单独的数据流或在图像内编码的，例如与虚拟相机数据一起并以类似的方式。
图5示出了红色和绿色通道中的这种RGB图像编码深度数据，以及蓝色通道中的相机/玩家位置数据，用于与图4A中相同的图像，并且对应于图4B中所示的深度数据。对于图像的灰度再现，将理解的是，块状特征表示相机的空间编码以及可选的蓝色通道中的玩家位置数据等。块大小可以对应于编码图像的宏块，或者可以是取决于要编码的信息量的任意大小。块大小的下限将由在适当地视频记录、托管/存储/流式传输和回放期间使用的任何图像压缩/解压缩之后可以可靠地恢复的块大小来限定。再次对于图像的灰度再现，将理解的是，地形中的条纹是由16位深度数据的低8位在绿色通道中引起的，导致当16位距离值增加时使绿色值在0到255之间循环。在这个示例中，R、G和B通道的选择是任意的。因此，该补充数据可以作为与由视频游戏输出的视频图像序列并行运行的第二图像序列提供。
第四步骤s340包括使用与虚拟相机位置和可选的玩家位置类似的方案记录一个或多个游戏内事件及其各自的游戏内位置。将由设计者进行以这种方式记录哪些游戏内事件的选择，但通常可包括一个或多个崩溃/角色死亡、超越/击败真实或基于计算机的对手、改变游戏内的用户的状态(例如，改变装备好的武器等，或在汽车中使用氮氧混合气)和玩家选择(诸如左转或右转以避开障碍物，或选择跳过它)。在后一种情况下，该选择可以与预定的游戏内决策点相关联，该预定的游戏内决策点可以是基于位置的(例如障碍物或路径选择)或者可以是逻辑的(例如，当导航具有游戏内角色的对话树时)。在基于位置的选择的情况下，由于用户关于他们何时响应选择的可变性，所作出的选择可以与游戏内决策点的位置而不是用户或相机的位置相关联，以帮助随后的决策的分析。可替代地或另外地，这样的决策可以在由用户做出时，或者当游戏内决策点相对于虚拟相机处于最近的绘制位置时，或者处于与虚拟相机的某个其他预定关系(例如，在预定距离内)时进行编码，以便提供关于哪个视频图像可以与选择数据相关联的可预测性，或者可以针对这两个时刻之间的每个图像进行编码的选择数据(或者类似地，对于任何视频帧，其中相机和/或用户化身在游戏内决策点的预定距离内)。除了位置特定事件之外，还可以记录正在进行的事件。因此，可选地，对于每个视频图像，还可以以类似的方式记录(一个或多个)当前用户输入(例如，按下的按钮或相关联的输入值)，以提供用户与游戏的交互的近似记录，并且类似地，如果与相机位置不同，则用户的游戏内位置(例如，化身位置)可以被视为正在进行的事件。
如上所述，为视频游戏输出的视频图像序列中的每一个记录数据，但通常不记录为输出视频图像序列的一部分，而是记录为编码的并行数据序列，如同他们是视频图像。
在第五步骤S350中，该并行序列与输出视频图像序列以及视频游戏的标识符相关联，使得深度缓冲值序列、游戏内虚拟相机位置序列和视频游戏的标识符与视频图像序列相关联(连同还被编码的任何可选附加信息，诸如玩家位置、用户选择等)。
该标识符使得能够随后分析视频序列，而不需要已经从中记录了视频序列的游戏的基于图像的识别。标识符可以简单地是纯文本游戏的名称，或者与游戏相关联的唯一发行号。为简单起见，例如为了使用与主机视频游戏控制台相关联的管理服务来注册游戏的所有权，标识符可以对应于已经与游戏相关联的标识符。
然后，在第六步骤S360中，将一个或多个游戏内事件及其各自的游戏内位置与视频游戏的标识符相关联。
然后可以可选地将游戏内事件、其各自的游戏内位置和视频游戏的标识符上载到可用作事件分析器220的远程服务器，该事件分析器220从充当视频记录装置的多个客户端设备接收这样的数据，并且识别数据的统计上重要的特征，如本文稍后所述。
游戏内事件及其各自的游戏内位置可以替代地或附加地与深度缓冲值序列、游戏内虚拟相机位置序列以及补充图像序列的颜色通道内的视频游戏的标识符一起编码，因此，(也)以这种方式将它们与视频游戏的标识符相关联。这允许游戏内事件的特定实例与特定视频记录相关联。
可选地，视频游戏(视频记录)的每个记录的图像序列可以具有唯一的视频ID，其可以可选地被发送到事件分析器。然后可以将事件数据与唯一视频ID相关联地发送到事件分析器。随后，除了任何统计分析之外，事件分析器可以可选地将事件数据发送回向其发送唯一视频ID的视频回放设备。
类似地，可选地，深度缓冲值序列和/或游戏内虚拟相机位置序列以及任何其他可选数据(诸如玩家化身位置)也可以与唯一视频ID相关联地上载到事件分析器。
如果以这种方式上载所有补充数据，则可以将其作为如本文先前所述编码的并行视频记录提供给服务器，或者作为服务器以这种方式编码的单独数据元素。
随后，当视频回放设备发送在视频记录中找到的唯一视频ID时，它可以接收所有补充数据，例如作为如本文先前所述编码的并行视频记录。
可替代地或另外地，视频记录器可以首先将并行视频记录上载到在线主机(诸如或)，获得与托管记录相关联的URL，并在也将其上载到在线主机之前将该URL嵌入到游戏的视频记录的用户字段中。等效地，在将并行视频记录上载到在线主机之后，使用唯一视频ID作为视频名称，视频记录器可以将视频ID嵌入到视频记录的用户字段中，以随后将其用作在线主机的搜索项。
在任一种情况下，只要唯一视频ID或URL保持与原始视频相关联(例如，在视频的用户字段中)，则适于实现本文公开的技术的视频回放设备可以通过以下方式访问期望的补充数据：或者向事件分析器请求它、或者从在线主机访问并行托管视频，而视频本身仍然保持传统，并且能够由传统或遗留设备和应用处理和发送，而无需特别考虑处理和发送与这些技术相关的非标准补充数据。
现在转到图6，视频回放装置210B可以根据以下视频回放方法操作，其中：
第一步骤s610包括获得包括视频图像序列的视频游戏回放会话的视频记录。这可以通过任何合适的方式完成，诸如下载视频文件、流式传输用于诸如或的网络服务的视频流，或访问已经存在于回放装置的本地存储器(诸如HDD 37或BD ROM 36/36A)中的视频记录。
第二步骤s620包括获得深度缓冲值序列、游戏内虚拟相机位置序列，以及与用于视频记录相关联的视频游戏的标识符。如前所述，这些可以与视频记录相关联地提供，例如作为提供有视频记录的数据文件，诸如提供有对该数据进行编码的视频记录的并行视频记录、以及可选地诸如化身位置和事件数据的附加数据。
可替代地，可以通过参考从视频记录的数据字段获得并提交给事件分析器服务器的唯一视频ID来访问包括编码数据的这种并行视频记录，或者可替代地，通过参考从用于从视频托管服务访问视频的视频记录的数据字段获得的URL或搜索项来访问包括编码数据的这种并行视频记录。
可以理解，补充数据可以整体下载，或者可替代地，以与视频游戏的视频记录相同的速率流式传输，使得以即时方式提供补充数据。可选地，补充数据可以以预定的帧偏移(例如，相对于视频游戏的视频记录提前1、2、3或更多帧)流式传输，以提供足够的处理时间，以使处理的信息准备好接收视频游戏的相应的视频帧，和/或为补充数据提供任何平滑、平均或纠错功能，其将取决于后续补充数据帧的接收。这可以通过在视频游戏的开始处用所需的预定数量的空白帧填充视频游戏的视频记录，或者将视频游戏的视频记录的回放延迟所需的预定帧数来实现。
第三步骤S630包括获得指示统计上重要的游戏内事件和游戏内事件位置的数据。如本文其他地方所述，该数据或者作为文件从事件分析器获得，或者在回放期间流式传输到视频玩家。该数据通常包括指示游戏内事件分析数据的数据，例如，与事件的重要性相关的数据和可选的其他统计数据(以及通常还有事件的类型等，以帮助选择如何以图形方式表示事件)。
如前所述，已经记录了哪些游戏内事件的选择可能已经由设计者做出，并且可能包括一个或多个崩溃、角色死亡、超车或击败对手、或者确实被对手超越或击败、改变了游戏内的用户的状态、玩家选择和/或玩家输入。随后可以如本文其他地方所述分析数据，并且然后可以将与该分析相关的数据与事件位置相关联。
如果数据随后在显示特定游戏内位置的视频回放之前作为文件下载，则事件位置可用于决定何时使用事件分析数据，而可替代地或另外地，当数据随后流式传输与视频游戏的记录的回放同步时，那么具有该数据的事件可以根据视频游戏的记录何时到达事件位置来流式传输，可选地，根据与相机位置的预定偏移或者可选地，在记录中与该时刻的玩家化身位置的预定偏移。
第四步骤S640然后包括根据相关的游戏内虚拟相机位置和深度缓冲值，计算当前视频图像内与游戏内事件位置相对应的位置。
因此，如果对于当前显示的视频游戏的视频图像，使用游戏内或全局坐标系统的相机的位置是已知的，并且显示视频图像中的像素的深度数据是已知的或者可以从相关的深度数据差插值，则实际上可以确定当前显示的视频游戏的视频图像中的每个像素的游戏内或全局(X，Y，Z)坐标。因此，可以确定当前显示的视频图像内的游戏内事件的位置。
特别地，如果对于给定事件，当前显示视频图像中的对应X，Y坐标被确定为具有比事件的Z坐标更近的Z坐标，则实际上该事件被视频图像内描绘的虚拟环境内的对象从显示视频图像的当前视点模糊。
使用该信息，视频回放设备可以响应于计算的位置，利用统计上重要的游戏内事件的图形表示来增强当前视频图像。特别地，视频回放设备可以基于所显示的环境的元素当前是否在游戏事件位置和视频呈现的视点之间来决定是否遮挡统计上重要的游戏内事件的图形表示中的一些或全部。例如，视频回放设备可以准备渲染诸如四面体的简单的基于多边形的对象，充当指针，并然后使用视频图像的Z值在最终渲染中对四面体执行所谓的z剔除，使得四面体看起来自然地嵌入视频环境中，该四面体从记录视频图像的虚拟相机的当前视点合适地遮挡。因此，该技术可以包括根据深度缓冲值计算由视频图像的前景元素引起的在计算位置处的图形表示的任何遮挡。
图7示出了用于图4A的示例视频图像的这种增强。在该图中，示出了其他玩家的路径(例如，分别在红色或蓝色轨道中的特别快或慢的玩家)。对于灰度再现，每个轨道的具体含义对于理解本发明不是必需的。值得注意的是，如在扩展部分中所见，当轨道数据的Z位置超过视频图像内的特征的Z位置时，轨道消失在环境的特征之后。
图7还示出了简单的多边形对象(在这种情况下为四面体)，其指示诸如车辆滑行或制动的事件。可以理解，为此目的可以使用更精细、视觉上吸引人且信息丰富的指示符对象，可选地具有它们自己的纹理，并且通常不同的相应图形表示将用于对应的不同事件类型。可以理解，可以应用其他图形效果，诸如降低其x、y、z位置与指示符对象在预定方向上的线相交的视频像素的亮度，从而在视频游戏环境内生成指示符对象的明显阴影，以及改善指示符对象的明显沉浸感。类似地，视频回放设备可以分析视频的有效分辨率或压缩率，并且降低指示符对象的有效分辨率以基本匹配这些(例如通过像素化和/或模糊渲染对象)，使得指示符对象看起来更像是背景视频图像的一部分。
可选地，视频回放设备还可以获得与视频记录相关联的游戏内玩家位置序列。同样如前所述，这可以在单独的文件或流中或在并行图像序列内编码。然后，增强阶段可以包括显示视频中的当前玩家位置与一个或多个事件位置之间的关系。这可以不同地采取指示玩家位置和事件位置之间的距离/倒计时值、在玩家位置和事件位置之间添加线、箭头或路径、当玩家位置和事件位置之间的距离在预定阈值内时仅显示或淡化与事件相关联的指示符对象等的形式。
现在转到图8，作为事件分析器220操作的服务器可以根据以下事件分析方法操作，其中：
第一步骤S810包括分别从多个视频游戏设备(用作视频记录装置)接收视频游戏标识符和一个或多个相关联的游戏内事件及其各自的游戏内位置。因此，如本文先前所述，事件分析器从多个视频游戏设备接收与识别游戏内事件以及它们在游戏内发生的地点的特定视频游戏相关的数据。
如本文先前所述，可选地，事件分析器可以接收由视频记录装置记录的任何其他补充数据以及唯一的视频记录ID。
然后，第二步骤S820包括对与视频游戏标识符相关联的游戏内事件的一个或多个方面及其各自的游戏内位置进执行分析，以识别统计上重要的游戏内事件。
这可以例如通过对类似类型的多个事件执行地理空间分析来完成，或者针对特定位置事件的特定实例，以识别热点、冷点和指示该类事件的玩家语料库的行为的其他组统计数据。
地理空间分析的示例形式可以是Getis-Ord-Gi*统计，总结如下。该分析评估关于其邻居的特征，使得相似特征的聚类在全局评估方面具有重要意义，并因此被识别为热点。如果需要，可以以相反的方式识别冷点。
Getis-Ord的本地评估如下所示：
其中xj是特征j的属性值，wi,j是特征i和j之间的空间权重，n等于特征的总数，并且：
统计是z分数，因此不需要进一步的计算。
可以通过对其进行加权来选择事件的重要方面。因此，例如，游戏空间中与用户在赛车游戏内应用制动器的地点相关的一组点可以根据与每个点相关联的相应最终单圈时间进行加权。
然后，分析单独为每个点生成z分数(例如，反映有多少邻居也具有高权重)、以及p值，指示该点是否是异常。
可以周期性地针对特定游戏标题、和/或响应于接收该游戏的更多数据(例如，在适当时接收1、10、100、1000、10000或100000个附加数据集之后)来执行这些分析。
可以理解，事件或事件类型的不同方面可以以取决于所使用的权重的这种方式单独地分析。例如，可以关于单圈时间或是否完成一圈、车辆类型或用户人口统计来分析制动事件。
为此，可以理解，视频记录装置也可以记录关于游戏的其他信息，其可以被称为会话数据；即，不是游戏内的事件本身，而是关于游戏的信息，诸如难度设置、玩家技能级别或使用的设备、在完成级别后确定的最终结果(时间、分数、成就、排名等)等。在只有部分级别是视频记录的情况下，一旦达到该级别(或获得这些值的其他逻辑点)，即使视频记录本身已经停止，视频记录装置也可以可选地将这些数据附加到视频记录。这样的会话数据可以作为单独的文件存储或者以任何合适的方式编码在游戏视频记录或并行视频记录中。例如，会话数据可以作为一个或多个帧包括在并行视频记录的开始或结束处。
可替代地或另外地，对于这种地理空间分析，用户生成的事件标记或用户ID可以与特定上载的事件数据集相关联。
这允许事件分析器提供对应于特定个体的事件数据，诸如例如在与他们自己的用户ID相关联的用户的朋友列表上找到的玩家。以这种方式，可替代地或另外地，对于更广泛的玩家群体的统计分析，来自回放的观看者的朋友的个体选择和事件可以被示为视频的增强，和/或仅限于他们的友谊小组的地理空间分析。
这个原则也可以通过用户生成的标记扩展到部落、团队和其他自标识的群体，使得例如电子竞技团队可以通过叠加他们的表现数据来增强竞争对手发布的视频。
进一步扩展，可以针对不同的玩家群体多次执行地理空间分析，以基于位置(例如，国家统计数据)和人口统计(诸如年龄和性别)提供分析。这些信息通常可从与每个用户ID相关联的注册细节中获得。
在任何情况下，在分析之后，第三步骤S830包括从视频回放设备接收视频游戏标识符以及游戏内虚拟相机位置和游戏内玩家位置中的至少一个。
因此，除了从视频记录装置接收数据之外，事件分析服务器还从一个或多个视频回放装置接收数据请求。该请求识别视频中的视频游戏，使得事件分析器知道要参考哪个数据集(尽管这可能是隐含的，例如当事件分析服务器专用于仅支持一个游戏时，然后向服务器发送请求的行为构成相关视频游戏和数据集的识别)。
请求还包括游戏内虚拟相机位置和游戏内玩家位置中的至少一个。取决于数据如何发送回视频回放装置，这可以采用不同的形式。如果要下载整个级别(或级别或区域的分段/分支等)的数据，则级别的标识用于将相机/玩家的位置识别到获取相关数据所需的程度。
同时，如果正在流式传输数据，则可以使用与视频流的显示帧(或者可选地，前面的预定数量的帧，以考虑访问和网络延迟)相对应的相机/玩家的当前位置。这允许所接收的数据流跟踪视频内事件的进展，由于每个用户的游戏方式，以及他们经历的事件(诸如车祸或故障而不是平稳驾驶)(否则做出哪些事件与当前视频显示相关的预测是困难的)，各个视频之间可能会有所不同。
可以理解，在基于每个级别和每个帧的位置更新之间，可以在该技术内采用多种方案，诸如基于时间或距离的位置的周期性更新(例如，每N秒或M米，其中N或M是预定值)。可选地，触发可以由视频记录装置在视频本身内编码(例如，用户字段中的标记或值)，对应于在游戏期间何时发生事件，使得当在回放期间遇到这些时，相应的相机或玩家位置然后被发送到事件分析器，以便接收相关相应事件的数据。
在任何情况下，作为响应，然后在第四步骤S840中，事件分析服务器选择与所接收的视频游戏标识符相关联的一个或多个识别的统计上重要的游戏内事件相关的、并且具有在至少一个所接收位置的预定距离内的游戏内位置的分析数据(如上所述，对应于级别、周期时间或距离、或当前或即将发生的视频帧)。预定距离可以是视频游戏的绘制距离，使得事件的指示符对象可以看起来好像是游戏内渲染的一部分，但原则上可以是距接收位置的任何预定距离。
分析数据的选择可遵循一个或多个原则。例如，可以选择对事件最重要的数据(例如，如果向用户呈现向左或向右转的选择，并且95％的向右转的玩家完成级别，而95％的向左转的玩家没有完成，那么决策事件的该方面比60％的汽车右转和60％的摩托车左转更重要。可替代地，可以优先选择与视频中的玩家的明显选择/事件相关的数据。类似地，可以选择与由视频的观看者设置的偏好相关的数据，诸如寻找最常见的事件、或最不常见的事件、或诸如崩溃而不是超车的优选事件。
最后，在第五步骤S850中，事件分析服务器将表示游戏内事件分析数据及其游戏内位置的数据发送到视频回放装置。然后，如前所述，视频回放装置可以使用该数据来构建视频的增强层，如图7所示。
可以理解，因为游戏内事件的位置本身受到游戏规则和环境的约束，所以事件分析服务器接收的累积事件数据对于该游戏将是一致的(例如，与超车相关的所有事件将是在与赛道相对应的位置上，或至少在比赛中超车合法的位置)。结果，与事件分析数据相关联的位置以及与当前视频内的相机/玩家相关联的位置将彼此一致并且视频内的游戏环境(如图7所示)因此看起来自然地交互，即使事件分析服务器和视频回放装置可能不具有游戏内的实际虚拟环境的任何显式知识/模型。
可以理解，原则上视频游戏控制台可以作为视频记录装置和视频回放装置两者来操作，使得用户可以利用叠加在顶部的统计事件数据的益处几乎立即查看他们自己的游戏。此外，视频游戏控制台原则上还可以作为事件分析服务器操作，例如分析一个用户(诸如专业电子竞技玩家)的游戏历史记录，以帮助他们识别他们游戏内的趋势。
还可以设想上述技术的变化。
例如，视频压缩通常有效地减少颜色位深度。这会生成略微平坦的颜色区域，但对大多数视频的影响有限。但是，如果颜色通道用于编码深度数据，则此压缩可能会重要影响深度数据。
可能的解决方案包括仅在通道内使用较高有效位(例如，8位通道中仅6位，或10位通道中的8位，或120位通道中的10位)。
另一个解决方案指出，如果在两个8位颜色通道上编码16位深度值，其分别具有受压缩影响的低有效位，则实际上深度值的中间有效位可能被破坏。但是，如果在两个颜色通道之间交替位(例如，使得位1(深度)变为位1(绿色)，位2(深度)变为位1(蓝色)，位3(深度)变为位2(绿色)位4(深度)变为位2(蓝色)等)，那么深度数据的低有效位将以这种方式受到压缩的影响。
使用所接收的分析数据可以非常适合已经记录的游戏的类型。例如，在某些情况下提供简单说明玩家是否在游戏内的某些点采取流行或不受欢迎的选择的评论可能适用，而许多与多个玩家的位置相关的图形复杂统计可能适用于另一个游戏。
类似地，事件分析服务器可以响应于接收视频游戏标识符提供图形数据(指示符几何形状、纹理等)，使得视频回放装置具有图形资产以突出显示图形上与视频中的特定游戏保持一致的事件(因为视频回放装置可能没有自己安装游戏，并且可能没相关于其的信息或资产)。
虽然描述涉及使用深度数据的并行视频记录，并且建议相机和事件数据等也在该并行视频记录的数据通道内被编码，但原则上这样的数据可以包括在支持这些字段的视频编解码器用户数据字段中，使得部分或全部数据直接包括在游戏的视频记录中。这可以是视频由已经适应于适应本技术的非传统服务托管的选项(例如，通过保留这样的数据字段，或者不对它们应用有损压缩)。
可以理解，上述方法可以在适当地通过软件指令或通过包括或替换专用硬件而适用的传统硬件上运行。
因此，对传统等效设备的现有部分的所需适应可以以计算机程序产品的形式实现，该计算机程序产品包括存储在非暂时性机器可读介质(诸如软盘、光盘、硬盘、PROM、RAM、闪存或这些或其他存储介质的任何组合)上的处理器可实现指令，或者在硬件中实现为ASIC(专用集成电路)或FPGA(现场可编程门阵列)或适用于使用来适应传统等效设备的其他可配置电路。单独地，这种计算机程序可以经由网络上的数据信号传输，诸如以太网、无线网络、因特网或这些或其他网络的任何组合。
因此，用于视频记录装置的硬件可以是传统的计算设备，诸如在合适的软件指令下操作的PlayStation 4，包括适于将由视频游戏输出的视频图像序列记录到视频存储部件(例如HDD 37)的记录处理器(例如，在合适的软件指令下操作的CPU 20A)，该记录处理器适于(例如，通过合适的软件指令)记录用于由视频游戏使用的深度缓冲器的深度缓冲值序列，记录处理器适于(例如，通过合适的软件指令)记录用于生成视频图像的游戏内虚拟相机位置序列，并且记录处理器适于(例如，通过合适的软件指令)记录一个或多个游戏内事件及其各自的游戏内位置；还包括适于将深度缓冲值序列、游戏内虚拟相机位置序列和视频游戏的标识符与视频图像序列相关联的关联处理器(例如，再次在合适的软件指令下操作的CPU 20A)，并且关联处理器适于(例如，通过合适的软件指令)将一个或多个游戏内事件和它们各自的游戏内位置与视频游戏的标识符相关联。在每种情况下，合适的软件指令适当地实现本文描述的方法和技术。
类似地，用于视频回放装置的硬件可以是传统的计算设备，诸如在合适的软件指令下操作的PlayStation 4，包括适于获得视频游戏回放会话的视频记录的回放处理器(例如，在合适的软件指令下操作的CPU 20A)，包括一系列视频图像，该回放处理器适于(例如，通过合适的软件指令)获得深度缓冲值序列、游戏内虚拟相机位置序列、以及用于与视频记录相关联的视频游戏的标识符；包括适于向事件分析器提供游戏内虚拟相机位置的分析处理器(例如，在合适的软件指令下操作的CPU 20A)，该分析处理器适于(例如，通过合适的软件指令)获得指示统计上重要的游戏内事件和游戏内事件位置的数据；包括适于根据相关的游戏内虚拟相机位置和深度缓冲值，来计算当前视频图像内对应于游戏内事件位置的位置的位置计算处理器(例如，在合适的软件指令下操作的CPU 20A)；还包括适于响应于计算的位置，利用统计上重要的游戏内事件的图形表示来增强当前视频图像的增强处理器(例如，在合适的软件指令下操作的CPU 20A和/或GPU 20B)。同样在每种情况下，合适的软件指令适当地实现本文描述的方法和技术。
最后，事件分析器同样可以是传统的计算设备，诸如在合适的软件指令下操作的服务器或PlayStation 4，包括适于分别从多个视频记录装置接收视频游戏标识符和一个或多个相关联的游戏内事件及其各自的游戏内位置的接收器(例如，在合适的软件指令下与CPU 20A一起操作的端口32)；适于对与视频游戏标识符相关联的游戏内事件的一个或多个方面及其各自的游戏内位置执行分析，以识别统计上重要的游戏内事件的分析处理器(例如，在合适的软件指令下操作的CPU 20A)；适于随后从视频回放装置接收视频游戏标识符以及游戏内虚拟相机位置和游戏内玩家位置中的至少一个的接收器；适于选择与所接收的视频游戏标识符相关联的一个或多个识别的统计上重要的游戏内事件，并且具有在至少一个所接收位置的预定距离内的游戏内位置的选择处理器(例如，在合适的软件指令下操作的CPU 20A)；以及适于将指示游戏内事件及其游戏内位置的数据发送到视频回放设备的发送器(例如，在合适的软件指令下与CPU 20A一起操作的端口32)。同样在每种情况下，合适的软件指令适当地实现本文描述的方法和技术。
如前所述，视频记录装置、视频回放设备和事件分析器可以是三个单独的设备，或者可以是任何组合的两个单独的设备，或者是包括所有三个方面的单个设备。
因此，系统(200)可以包括如本文所述的视频记录装置，以及作为单独的设备或在单个设备内的视频回放装置和事件分析器中的一个或多个。原则上，系统可以类似地包括如本文所述的视频回放装置以及事件分析器。
可以理解，使用上述技术和装置，提供了一种设施，其中用户可以记录他们自己的游戏并将其上载到可公开访问的主机，诸如和(或者可能是专有主机，诸如属于与视频游戏控制台类型相关联的网络的管理员的主机)，并且随后视频的观看者可以使用适当实现本文所述技术的设备或应用观看玩游戏的用户的视频，该视频被增加了与其他玩家如何玩游戏有关的信息，从而为用户决策创建上下文、游戏内的成功和失败，以及更丰富的观看体验。

Claims (6)

1.一种视频回放方法，包括以下步骤：
获得包括视频图像序列的视频游戏回放会话的视频记录；
获得深度缓冲值序列、游戏内虚拟相机位置序列、以及与视频记录相关联的视频游戏的标识符；
获得指示统计上重要的游戏内事件和游戏内事件位置的数据；
根据相关的游戏内虚拟相机位置和深度缓冲值，计算当前视频图像内与游戏内事件位置相对应的位置；以及
响应于计算的位置，利用统计上重要的游戏内事件的图形表示来增强当前视频图像。
2.根据权利要求1所述的视频回放方法，其中，所述增强的步骤包括：
根据深度缓冲值计算由视频图像的前景元素引起的计算位置处的图形表示的任何遮挡。
3.根据权利要求1所述的视频回放方法，其中，所述增强的步骤包括：
为相应的不同事件类型使用不同的相应图形表示。
4.根据权利要求1所述的视频回放方法，包括：
获得与视频记录相关联的游戏内玩家位置序列；
并且其中所述增强的步骤包括：
显示视频中当前玩家位置与事件位置之间的关系。
5.一种视频回放装置，包括：
回放处理器，适于获得包括视频图像序列的视频游戏回放会话的视频记录；
所述回放处理器适于获得深度缓冲值序列、游戏内虚拟相机位置序列、以及用于与视频记录相关联的视频游戏的标识符；
分析处理器，适于向事件分析器提供游戏内虚拟相机位置；
所述分析处理器适于获得指示统计上重要的游戏内事件和游戏内事件位置的数据；
位置计算处理器，适于根据相关的游戏内虚拟相机位置和深度缓冲值，来计算当前视频图像内对应于游戏内事件位置的位置；以及
增强处理器，适于响应于计算的位置，利用统计上重要的游戏内事件的图形表示来增强当前视频图像。
6.一种系统，包括：
权利要求5的视频回放装置；和
从包括以下各项的列表中选择的至少一个：
视频记录装置，以及
事件分析器；
其中，所述视频记录装置包括：
记录处理器，适于将由视频游戏输出的视频图像序列记录到视频存储部件中；
所述记录处理器适于记录用于由视频游戏使用的深度缓冲器的深度缓冲值序列；
所述记录处理器适于记录用于生成视频图像的游戏内虚拟相机位置序列；和
所述记录处理器适于记录一个或多个游戏内事件及其各自的游戏内位置；
关联处理器，适于将深度缓冲值序列、游戏内虚拟相机位置序列和视频游戏的标识符与视频图像序列相关联；和
所述关联处理器适于将一个或多个游戏内事件和它们各自的游戏内位置与视频游戏的标识符相关联；
其中，所述事件分析器包括：
接收器，适于分别从多个视频记录装置接收视频游戏标识符和一个或多个相关联的游戏内事件及其各自的游戏内位置；
分析处理器，适于对与视频游戏标识符相关联的游戏内事件的一个或多个方面及其各自的游戏内位置执行分析，以识别统计上重要的游戏内事件；
所述接收器适于随后从视频回放装置接收视频游戏标识符以及游戏内虚拟相机位置和游戏内玩家位置中的至少一个；
选择处理器，适于选择与所接收的视频游戏标识符相关联的一个或多个识别的统计上重要的游戏内事件，并且具有在至少一个接收位置的预定距离内的游戏内位置；以及
发送器，适于将指示游戏内事件及其游戏内位置的数据发送到视频回放装置。
CN202410677784.5A 2018-02-23 2019-02-25 视频记录和回放系统和方法 Pending CN118649409A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1802946.2 2018-02-23
GB1802946.2A GB2571306A (en) 2018-02-23 2018-02-23 Video recording and playback systems and methods
CN201910136759.5A CN110180180B (zh) 2018-02-23 2019-02-25 视频记录和回放系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910136759.5A Division CN110180180B (zh) 2018-02-23 2019-02-25 视频记录和回放系统和方法

Publications (1)

Publication Number Publication Date
CN118649409A true CN118649409A (zh) 2024-09-17

Family

ID=61903343

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201910136759.5A Active CN110180180B (zh) 2018-02-23 2019-02-25 视频记录和回放系统和方法
CN201910136869.1A Pending CN110180179A (zh) 2018-02-23 2019-02-25 视频记录以及回放系统和方法
CN202410677784.5A Pending CN118649409A (zh) 2018-02-23 2019-02-25 视频记录和回放系统和方法
CN201910623699.XA Active CN110719532B (zh) 2018-02-23 2019-07-11 映射虚拟环境的装置和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201910136759.5A Active CN110180180B (zh) 2018-02-23 2019-02-25 视频记录和回放系统和方法
CN201910136869.1A Pending CN110180179A (zh) 2018-02-23 2019-02-25 视频记录以及回放系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910623699.XA Active CN110719532B (zh) 2018-02-23 2019-07-11 映射虚拟环境的装置和方法

Country Status (6)

Country Link
US (6) US11007436B2 (zh)
EP (6) EP3530329B1 (zh)
JP (3) JP7280058B2 (zh)
CN (4) CN110180180B (zh)
GB (5) GB2571306A (zh)
WO (1) WO2020012150A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
GB2571306A (en) * 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11412198B2 (en) * 2018-05-31 2022-08-09 Intel Corporation Bit depth coding mechanism
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11044478B2 (en) 2018-07-02 2021-06-22 Apple Inc. Compression with multi-level encoding
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11410439B2 (en) * 2019-05-09 2022-08-09 Snap Inc. Sequence-of-sequences model for 3D object recognition
CN110227254B (zh) * 2019-06-21 2020-07-07 腾讯科技（深圳）有限公司 视角切换控制方法和装置、存储介质及电子装置
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
CN110772795B (zh) * 2019-10-24 2022-12-20 网易（杭州）网络有限公司 游戏历史操作展示方法、装置、设备和可读存储介质
US11235249B2 (en) * 2019-11-18 2022-02-01 Sony Interactive Entertainment Inc. Server-based individual playtime estimation for game activity
CN110898427B (zh) * 2019-11-26 2023-11-03 上海米哈游网络科技股份有限公司 一种游戏回放方法、装置、电子设备及存储介质
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11652863B2 (en) * 2020-03-16 2023-05-16 Tencent America LLC Method and apparatus for cloud gaming
CN111437604A (zh) * 2020-03-23 2020-07-24 网易（杭州）网络有限公司 游戏的显示控制方法、装置、电子设备及存储介质
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
JP7569603B2 (ja) * 2020-07-29 2024-10-18 エイベックス・エンタテインメント株式会社 アニメーション制作システム
JP7101735B2 (ja) * 2020-10-20 2022-07-15 株式会社スクウェア・エニックス 画像生成プログラム及び画像生成システム
CN112672200B (zh) * 2020-12-14 2023-10-24 完美世界征奇(上海)多媒体科技有限公司 视频生成方法和装置、电子设备和存储介质
CN112535865B (zh) * 2020-12-15 2024-08-23 网易（杭州）网络有限公司 游戏内容的回放方法、终端、可读存储介质及电子设备
US11890544B2 (en) * 2020-12-30 2024-02-06 Blizzard Entertainment, Inc. Prop placement with machine learning
CN113014995A (zh) * 2021-02-26 2021-06-22 北京蜂巢世纪科技有限公司 视频回放方法、介质、眼镜及程序产品
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
US12075018B2 (en) * 2021-04-21 2024-08-27 Microsoft Technology Licensing, Llc Distributed virtual reality
CN112990236B (zh) * 2021-05-10 2021-08-31 腾讯科技（深圳）有限公司 一种数据处理方法和相关装置
CN113384879B (zh) * 2021-05-14 2024-06-04 完美世界征奇(上海)多媒体科技有限公司 游戏数据展示方法以及装置
CN112973130B (zh) * 2021-05-24 2021-08-06 腾讯科技（深圳）有限公司 虚拟场景的回放模型构建方法、装置、设备及存储介质
CN113426101B (zh) * 2021-06-22 2023-10-20 咪咕互动娱乐有限公司 教学方法、装置、设备及计算机可读存储介质
CN113457130B (zh) * 2021-07-07 2024-02-02 网易（杭州）网络有限公司 游戏内容回放方法和装置、可读存储介质、电子设备
WO2023137747A1 (zh) * 2022-01-24 2023-07-27 上海莉莉丝科技股份有限公司 虚拟场景的回放方法、介质、电子设备及计算机程序产品
US20230386086A1 (en) * 2022-05-31 2023-11-30 Microsoft Technology Licensing, Llc Video compression
US11971930B2 (en) 2022-08-18 2024-04-30 Bank Of America Corporation Hybrid metaverse using edge nodes to support a soft repository for event processing
CN116506680B (zh) * 2023-06-26 2023-09-19 北京万物镜像数据服务有限公司 一种虚拟空间的评论数据处理方法、装置及电子设备
CN116764238B (zh) * 2023-06-27 2024-05-28 广州慧思软件科技有限公司 一种网络游戏的游戏数据的共享方法和服务器

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection
US6010403A (en) * 1997-12-05 2000-01-04 Lbe Technologies, Inc. System and method for displaying an interactive event
JP2897984B1 (ja) * 1998-06-03 1999-05-31 コナミ株式会社 ビデオゲーム装置、キャラクタポジションの指定をガイドする方法及びキャラクタポジションの指定をガイドするゲームプログラムを記録した可読記録媒体
JP3611808B2 (ja) * 2001-08-02 2005-01-19 コナミ株式会社 ゲーム装置、ゲーム制御方法及びプログラム
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
JP3637031B2 (ja) * 2002-04-03 2005-04-06 任天堂株式会社 ゲーム装置およびゲームプログラム
CN100536970C (zh) * 2002-11-20 2009-09-09 世嘉股份有限公司 游戏图像的显示控制方法和游戏装置
US8497865B2 (en) * 2006-12-31 2013-07-30 Lucid Information Technology, Ltd. Parallel graphics system employing multiple graphics processing pipelines with multiple graphics processing units (GPUS) and supporting an object division mode of parallel graphics processing using programmable pixel or vertex processing resources provided with the GPUS
US9098943B1 (en) * 2003-12-31 2015-08-04 Ziilabs Inc., Ltd. Multiple simultaneous bin sizes
JP4242318B2 (ja) * 2004-04-26 2009-03-25 任天堂株式会社 ３次元画像生成装置および３次元画像生成プログラム
JP4494882B2 (ja) 2004-06-29 2010-06-30 株式会社バンダイナムコゲームス プログラム、ゲーム装置、表示制御装置、サーバ及び情報記憶媒体
GB2441976A (en) * 2006-09-19 2008-03-26 Sony Comp Entertainment Europe Video game
US8448067B2 (en) * 2006-12-07 2013-05-21 Sony Computer Entertainment America, LLC Graphics command management tool and methods for analyzing performance for command changes before application modification
KR101433803B1 (ko) * 2007-06-18 2014-08-27 삼성전자주식회사 집적영상기술에서 기초 영상을 생성하는 방법 및 장치
JP4350773B2 (ja) * 2007-07-25 2009-10-21 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
WO2009035410A2 (en) * 2007-09-12 2009-03-19 Telefonaktiebolaget L M Ericsson (Publ) Depth buffer compression
JP4935632B2 (ja) * 2007-11-07 2012-05-23 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8515253B2 (en) * 2008-02-15 2013-08-20 Sony Computer Entertainment America Llc System and method for automated creation of video game highlights
US8446414B2 (en) * 2008-07-14 2013-05-21 Microsoft Corporation Programming APIS for an extensible avatar system
EP2329653B1 (en) * 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
WO2010038693A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US8233664B2 (en) * 2008-11-12 2012-07-31 Eastman Kodak Company Determining relative depth of points in multiple videos
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
JP5614956B2 (ja) * 2009-08-11 2014-10-29 株式会社バンダイナムコゲームス プログラム、画像生成システム
WO2011029209A2 (en) * 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
US10198792B2 (en) * 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US20110102460A1 (en) * 2009-11-04 2011-05-05 Parker Jordan Platform for widespread augmented reality and 3d mapping
US9558612B2 (en) * 2010-11-15 2017-01-31 Bally Gaming, Inc. System and method for augmented reality gaming
US9165421B2 (en) * 2010-11-15 2015-10-20 Bally Gaming, Inc. System and method for augmented maintenance of a gaming system
CN105894567B (zh) * 2011-01-07 2020-06-30 索尼互动娱乐美国有限责任公司 放缩三维场景中的用户控制的虚拟对象的像素深度值
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US20130016099A1 (en) * 2011-07-13 2013-01-17 2XL Games, Inc. Digital Rendering Method for Environmental Simulation
US8564595B1 (en) * 2011-08-03 2013-10-22 Zynga Inc. Delivery of projections for rendering
US8913664B2 (en) * 2011-09-16 2014-12-16 Sony Computer Entertainment Inc. Three-dimensional motion mapping for cloud gaming
JP5307958B1 (ja) * 2012-02-23 2013-10-02 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2013225245A (ja) * 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN103379355B (zh) * 2012-04-25 2015-10-28 浙江大学 一种立体视频对产生方法及装置
CN109003398B (zh) * 2012-06-14 2022-04-29 百利游戏技术有限公司 用于增强现实游戏的系统和方法
TWI559965B (en) 2012-12-21 2016-12-01 Sony Comp Entertainment Us Sharing recorded gameplay to a social graph
EP2974310B1 (en) * 2013-03-13 2019-01-02 Huawei Technologies Co., Ltd. Method for sub-range based coding a depth lookup table
US9694277B2 (en) * 2013-03-14 2017-07-04 Microsoft Technology Licensing, Llc Client side processing of character interactions in a remote gaming environment
US9452354B2 (en) 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
US10491916B2 (en) * 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
CN104748746B (zh) * 2013-12-29 2017-11-03 刘进 智能机姿态测定及虚拟现实漫游方法
US9278288B2 (en) * 2014-01-31 2016-03-08 Google Inc. Automatic generation of a game replay video
JP6354229B2 (ja) * 2014-03-17 2018-07-11 富士通株式会社 抽出プログラム、方法、及び装置
GB2524478A (en) * 2014-03-20 2015-09-30 Nokia Technologies Oy Method, apparatus and computer program product for filtering of media content
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
JP2017532847A (ja) * 2014-09-09 2017-11-02 ノキア テクノロジーズ オーユー 立体録画及び再生
US20170282075A1 (en) * 2014-09-24 2017-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods, system and nodes for handling media streams relating to an online game
US9824412B2 (en) * 2014-09-24 2017-11-21 Intel Corporation Position-only shading pipeline
US20160220903A1 (en) * 2015-02-02 2016-08-04 Kuato Games (UK) Limited Systems and Methods for Dynamically Creating Personalized Storybooks based on User Interactions within a Virtual Environment
GB2537636B (en) 2015-04-21 2019-06-05 Sony Interactive Entertainment Inc Device and method of selecting an object for 3D printing
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
US20170106283A1 (en) * 2015-10-16 2017-04-20 Microsoft Technology Licensing, Llc Automated generation of game event recordings
WO2017082078A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法
US9782678B2 (en) * 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US9616333B1 (en) * 2016-01-20 2017-04-11 Chun Hung Yu Method for capturing and implementing body movement data through a video game engine
CN105797379A (zh) * 2016-03-16 2016-07-27 成都电锯互动科技有限公司 一种基于虚拟现实技术的游戏视频处理方法
US10016689B2 (en) * 2016-03-21 2018-07-10 Electronic Arts Inc. Synchronized video with in game telemetry
US10616552B2 (en) * 2016-03-25 2020-04-07 Intel Corporation Multi-modal real-time camera localization and environment mapping
JP6701930B2 (ja) * 2016-04-28 2020-05-27 富士通株式会社 オーサリング装置、オーサリング方法およびオーサリングプログラム
JP6840485B2 (ja) 2016-07-22 2021-03-10 株式会社タイトー 動画記録装置、動画配信方法及びプログラム
CN106296786B (zh) * 2016-08-09 2019-02-15 网易（杭州）网络有限公司 游戏场景可见区域的确定方法及装置
US10335690B2 (en) * 2016-09-16 2019-07-02 Microsoft Technology Licensing, Llc Automatic video game highlight reel
CN106327587B (zh) * 2016-11-16 2019-06-28 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
WO2018214086A1 (zh) * 2017-05-25 2018-11-29 深圳先进技术研究院 场景的三维重建方法、装置及终端设备
JP6809408B2 (ja) * 2017-08-01 2021-01-06 株式会社デンソー トルク監視装置および内燃機関制御システム
JP2019027388A (ja) * 2017-08-01 2019-02-21 トヨタ自動車株式会社 サーモスタットの異常検出装置
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
GB2571306A (en) * 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods

Also Published As

Publication number Publication date
CN110180180B (zh) 2024-09-17
GB2571366A (en) 2019-08-28
JP7280057B2 (ja) 2023-05-23
US20190262726A1 (en) 2019-08-29
EP3530329A1 (en) 2019-08-28
GB2571378B (en) 2022-04-06
CN110180179A (zh) 2019-08-30
EP3530330A1 (en) 2019-08-28
US10780357B2 (en) 2020-09-22
EP3693069B1 (en) 2022-03-30
WO2020012150A1 (en) 2020-01-16
US20190262725A1 (en) 2019-08-29
GB2571378A (en) 2019-08-28
JP7353081B2 (ja) 2023-09-29
EP3593873B1 (en) 2022-10-05
GB201806301D0 (en) 2018-05-30
CN110719532B (zh) 2023-10-31
GB2571372B (en) 2022-04-06
JP2019216405A (ja) 2019-12-19
GB201802946D0 (en) 2018-04-11
JP7280058B2 (ja) 2023-05-23
EP3693069A1 (en) 2020-08-12
US20200376395A1 (en) 2020-12-03
EP3530330B1 (en) 2020-10-07
GB201810195D0 (en) 2018-08-08
EP3820583A1 (en) 2021-05-19
EP3593873A1 (en) 2020-01-15
GB2571372A (en) 2019-08-28
EP3530329B1 (en) 2020-10-07
US10874948B2 (en) 2020-12-29
US11229843B2 (en) 2022-01-25
GB2571366B (en) 2022-04-27
EP3530331B1 (en) 2021-11-10
GB201811555D0 (en) 2018-08-29
GB2575513B (en) 2022-02-02
GB201811535D0 (en) 2018-08-29
CN110719532A (zh) 2020-01-21
US10898805B2 (en) 2021-01-26
JP2019216404A (ja) 2019-12-19
GB2575513A (en) 2020-01-15
JP2020022740A (ja) 2020-02-13
GB2571306A (en) 2019-08-28
US20190392221A1 (en) 2019-12-26
US20210178266A1 (en) 2021-06-17
EP3530331A1 (en) 2019-08-28
CN110180180A (zh) 2019-08-30
US11007436B2 (en) 2021-05-18
US11325037B2 (en) 2022-05-10
US20200016499A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110180180B (zh) 视频记录和回放系统和方法
US11577168B2 (en) Apparatus and method of video playback
US11623141B2 (en) Cloud game streaming with client side asset integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination