CN113545097B - 利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法 - Google Patents

利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法 Download PDF

Info

Publication number
CN113545097B
CN113545097B CN202080019248.6A CN202080019248A CN113545097B CN 113545097 B CN113545097 B CN 113545097B CN 202080019248 A CN202080019248 A CN 202080019248A CN 113545097 B CN113545097 B CN 113545097B
Authority
CN
China
Prior art keywords
virtual reality
image
playing
stream
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080019248.6A
Other languages
English (en)
Other versions
CN113545097A (zh
Inventor
车东祐
郑泰植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpha Space Co ltd
Original Assignee
Alpha Space Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpha Space Co ltd filed Critical Alpha Space Co ltd
Publication of CN113545097A publication Critical patent/CN113545097A/zh
Application granted granted Critical
Publication of CN113545097B publication Critical patent/CN113545097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/634—Methods for processing data by generating or executing the game program for controlling the execution of the game in time for replaying partially or entirely the game actions since the beginning of the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种虚拟现实影像播放装置，其特征在于，包括：流影像输入部，通过流传输接收一个流影像，其包括同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像；流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步；以及影像播放部，在显示装置上播放流传输的流影像，需要播放随着用户视线变化而拍摄不同方向的虚拟现实影像时，上述虚拟现实影像播放装置通过利用各个虚拟现实影像开始的基准时间来跳转流影像的流传输时间的方法，利用一个流影像来播放多个虚拟现实影像。

Description

利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播 放装置及方法
技术领域
本发明涉及虚拟现实播放装置及方法。
背景技术
在现有虚拟现实(Virtual Reality)影像技术中，为了拼接(stitching)覆盖360度全方位的原始影像，需要利用多个摄像机拍摄多个虚拟现实影像。
这样拍摄的多个虚拟现实影像是在同一时间拍摄互不相同的区域的影像。因此，当用户视线移到另一区域而播放中的虚拟现实影像无法覆盖该区域时，必须播放新的虚拟现实影像，而不是播放之前播放的虚拟现实影像。
但是，如上所述的现有技术首先需要在服务器中存储多个虚拟现实影像，随着用户视线的变化，需要重新传输与视线对应的虚拟现实影像，因此存在服务器的负担增加的问题。
不仅如此，变更文件来流传输的过程中难以进行同步，并且在虚拟现实播放装置发生延迟。
对此，本发明的发明人为了解决这些问题，而经过长时间的研究和反复试验，终于完成了本发明。
发明内容
技术问题
为了解决上述问题，本发明利用一个流影像来流传输多个虚拟现实影像。
本发明通过将多个虚拟现实影像结合为一个流影像，将空间的变化置换为时间的变化。即，通过利用一个文件中时间的变化来解决因空间的变化而需要变更流传输的文件的问题。
另一方面，多个虚拟现实影像包括拼接原始影像的全部或部分而生成的广域影像、拼接比广域影像更窄的区域而生成的补丁影像。因此，当用户观看与补丁影像对应的区域时，会收看到高画质的影像。
并且，多个虚拟现实影像包括将原始影像分割为N个而获得的多个分割影像。多个分割影像可以互不重叠或者有有意的重叠某一区域。
假设分辨率相同，与拼接全部原始影像的影像相比，拼接部分影像的画质更高。因此，分割影像更有利于制作高画质的影像。
本发明除了同步播放的广域影像、补丁影像、分割影像以外，还可以包括非同步播放的内容。以下，将其称为非同步内容。制作虚拟现实影像的制作人可以通过在多个虚拟现实影像中的任一个上表达非同步内容来实现更多样的表达方式。
另一方面，在本发明中未明示的其他多个目的，可以在从以下详细说明及其效果容易推断的范围内进一步考虑。
技术方案
本发明的第一方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其包括：流影像输入部，通过流传输接收一个流影像，其包括同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像；流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步；以及影像播放部，在显示装置上播放流传输的流影像，上述多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像所拼接而成的文件，上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件，需要播放随着用户视线变化而从不同方向拍摄的虚拟现实影像时，上述虚拟现实影像播放装置通过利用各个虚拟现实影像开始的基准时间来跳转流影像的流传输时间的方法，利用一个流影像来播放多个虚拟现实影像。
本发明的第二方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其包括：流影像输入部，通过流传输接收一个流影像，其包括在同一时间拍摄不同方向的多个虚拟现实影像；流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，对新播放的虚拟现实影像进行同步；以及影像播放部，在显示装置上播放流传输的流影像，上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件，当根据用户视线择一性播放包含在流影像的第一虚拟现实影像及第二虚拟现实影像时，上述流时间运算部利用如下方法进行同步：1)当需要播放第一虚拟现实影像时，跳转到在第一虚拟现实影像开始的第一基准时间添加当前播放中的虚拟现实影像的播放位置的流时间；2)当需要播放第二虚拟现实影像时，跳转到在第二虚拟现实影像开始的第二基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
本发明的第三方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放方法，其中，通过流传输接收包含多个虚拟现实影像的一个流影像的虚拟现实影像播放装置执行如下步骤：(a)通过流传输接收一个流影像，其包括在同一时间拍摄不同方向的多个虚拟现实影像；(b)播放与当前用户视线对应的虚拟现实影像，并确认播放中的虚拟现实影像的播放位置；以及(c)当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
本发明的第四方面提供一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像提供服务器，其包括：影像输入部，接收与原始影像同一时间拍摄不同方向的多个虚拟现实影像；流影像生成部，利用对各个虚拟现实影像分配互不相同基准时间并将多个虚拟现实影像以基准时间为中心配置于互不相同时间段的方法，不将输入的多个虚拟现实影像生成为单独的文件，而将其生成为一个流影像文件；以及流提供部，通过流传输向虚拟现实影像播放装置上传输生成的一个流影像，当待播放的虚拟现实影像随着用户视线的变化而发生变化的情况下，上述流提供部通过跳转一个流影像中的基准时间的方法来提供流影像。
在优选实施例中，上述影像播放部包括：广域影像播放部，播放包含在多个虚拟现实影像的广域影像；以及补丁影像播放部，将包含在多个虚拟现实影像的补丁影像重叠在广域影像上并播放，补丁影像是将广域影像的部分区域由其他画质来表达的影像。
在优选实施例中，上述影像播放部包括多个分割影像播放部，使包含在多个虚拟现实影像的分割影像以相互重叠的方式来播放，分割影像可将一个原始影像分割为N个区域且预定区域相互重叠。
有益效果
本发明具有利用一个流影像来流传输多个虚拟现实影像的效果。通过一个流影像可以播放与所有区域、空间、视角对应的虚拟现实影像，因此，可以减少服务器的负担，并无需在播放多个虚拟现实影像时进行同步。
即，本发明将多个虚拟现实影像结合为一个流影像，即使用户视线发生变化，也会通过仅变更一个文件中的流传输的时间来应对，而不是变更待播放的文件。如上所述，本发明提供一种将空间的变化置换为时间的变化的技术，使得具有解决现有技术中提到的技术缺陷的效果。
另一方面，本发明可以在广域影像上播放同步的补丁影像。制作人可以在原始影像中选择所需要的部分来制作为补丁影像，并可以制作相对于广域影像画质更高的补丁影像。因此，例如，当制作演出或演讲等视线主要停留在前面部的虚拟现实内容时，具有能够只将部分区域生成为高画质的补丁影像的效果。
并且，本发明可以生成将原始影像分割为N个区域的分割影像。分割为N个区域的分割影像可以具有互不相同的画质。因此，在这种情况下，当制作以演出或演讲等视线主要停留在前面部的虚拟现实内容时，也具有能够只将部分区域生成高画质的分割影像的效果。
并且，本发明除了同步播放的广域影像、补丁影像、分割影像以外，还可以包括非同步播放的内容。制作虚拟现实影像的制作人可以通过在多个虚拟现实影像中的任一个上表达非同步内容来实现更多样的表达方式。例如，当用户视线注视配置非同步内容的区域时，会激活与播放中的多个虚拟现实影像无关的独立的非同步内容。非同步内容不仅可以是影像，还可以是预定操作、弹窗事件等多种内容。
另一方面，补充说明的是，即使是在这里未明确提及的效果，根据本发明的技术特征所预期的以下说明书中记载的效果及其潜在效果均视为记载于本发明的说明书中的效果。
附图说明
图1为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
图2为用于说明本发明的分割影像的再一实施例的图。
图3为示出本发明的虚拟现实影像播放系统的优选实施例的图。
图4为用于说明本发明的流影像的结构的优选实施例的图。
图5为示出在本发明的流影像中跳转流传输时间的优选实施例的图。
图6为示出本发明的虚拟现实影像播放方法的优选实施例的图。
在此说明，附图是用于理解本发明的技术思想而作为参考来示例的，本发明的保护范围并不限于此。
具体实施方式
在描述本发明的过程中，如果关于所涉及的公知功能是本领域技术人员显而易见的事项且会不必要地混淆本发明要旨时，可以省略详细说明。
在本发明中，多个虚拟现实影像是由原始影像拼接而成的影像，是包括广域影像、补丁影像、分割影像的概念。
图1为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
利用图1的(a)部分来说明本发明的广域影像和补丁影像的概念。当假设由球体来表达整个360度的虚拟现实区域10时，广域影像V0是表达整个360度的虚拟现实区域10或比补丁影像更宽的区域的影像。以下，为了方便说明，将广域影像被说明为覆盖整个虚拟现实区域，但并不限定于此。广域影像V0原则上需要始终播放。
补丁影像V1-3是表达360度的虚拟现实区域10中一部分的影像。补丁影像V1-3可以具有不同的覆盖区域、不同的面积、不同的画质。例如，第一补丁影像V1可以是覆盖前面部的上端和下端部分区域的高画质的影像。当虚拟现实内容为音乐剧时，第一补丁影像V1可以是覆盖音乐剧舞台的区域。第二补丁影像V2可以是覆盖背面部上端部分区域的影像，第三补丁影像V3可以是覆盖背面部下端部分区域的影像。
补丁影像V1-3通过在广域影像V0上重叠或修补(patched)来播放。因此，即使根据需要关闭(off)播放中的补丁影像V1-3中的任一个，但由于广域影像V0在后面播放，因此影像中也不会出现空白。
补丁影像V1-3与广域影像V0同步播放。这是因为如果不与广域影像V0进行同步，则补丁影像V1-3可能导致用户头晕。
非同步内容V4是指与多个虚拟现实影像无关的由制作人有意地随意插入的内容。非同步内容V4可以是视频，也可以是特定事件操作。在内容上可以是广告，也可以是与虚拟现实影像相关的事件。
非同步内容V4不与多个虚拟现实影像进行同步。即，与补丁影像V1-3和广域影像V0的同步无关，根据独立的触发信息而播放或操作。在优选实施例中，触发信息包括关于用户视线是否注视非同步内容V4的位置的信息。
利用图1的(b)部分来说明本发明的分割影像V1-N的概念(N是大于1的自然数)。
在一实施例中，分割影像V1-N可以是通过将一个原始影像分割为相互不重叠的N个区域而获得的影像。多个分割影像V1-N可具有互不相同的大小，并可具有互不相同的画质。
多个分割影像V1-N同步播放。多个分割影像V1-N中的部分影像可根据需要关闭(off)。虽然未图示，但是在分割影像V1-N的规定区域可以显示非同步内容V4。
图2为用于说明本发明的分割影像的再一实施例的图。
在再一实施例中，分割影像V1-N可以相互重叠预定区域。多个分割影像V1-N同步播放。在此情况下，重叠的分割影像以相互重叠的方式播放。可以根据需要关闭(off)多个分割影像V1-N中的部分影像。
例如，覆盖180度的四个分割影像可以相互重叠90度(V1为270度～90度、V2为0度～180度、V3为90度～270度、V4为180度～360度)。在视线坐标为45度的情况下，可以开启(On)V1与V2中的任一个，并关闭(Off)V3与V4。
如上所述，通过重叠分割影像，可以减少播放的分割影像的数量。当然，需要同步的分割影像的数量也会减少。因此，减少服务器的负担。
并且，当重叠分割影像时，其优点在于，在用户视线急剧发生变化时，不需要严格控制根据分割影像中的用户视线的分割影像的开闭(on/off)操作。例如，即使关闭V1，由于V2覆盖0度～90度之间的区域，也就是原来由V1覆盖的区域中的一部分，所以即使分割影像的开闭(on/off)操作被延迟，视野中出现空白(在用户视线中什么都没有显示的故障情况)的概率也会下降。另一方面，广域影像和补丁影像的实施例与分割影像的实施例可以相互混合。例如，可以在多个分割影像的部分区域播放补丁影像。在此情况下，补丁影像重叠的分割影像可以被理解为广域影像。
图3为示出本发明的虚拟现实影像播放系统的优选实施例的图。
如图3所示，本发明的虚拟现实影像播放系统包括虚拟现实影像播放装置100及虚拟现实影像提供服务器200。
本发明的虚拟现实影像播放装置100是用于从虚拟现实影像提供服务器200通过流传输接收流影像并向用户播放虚拟现实影像的装置。在优选实施例中，虚拟现实影像播放装置100可以是包括智能手机等的智能终端或佩戴在用户头部的可穿戴装置，但并不限定于此。
在本发明中，多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像拼接而成的文件。流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件。
在本发明中，基准时间是指在一个流影像中特定虚拟现实影像开始的基准点。播放位置是指播放中的虚拟现实影像播放至几分钟。例如，如果有10分钟的虚拟现实影像，并且当前正在播放3分31秒，则播放位置为3分31秒。
在本发明中，基准时间、播放位置(或者播放时间)等术语用于说明在影像文件中的特定位置。因此，在这种概念下，上述术语可以置换为标准帧、播放帧等术语。即，可以将时间看作为帧。
在本发明的虚拟现实影像播放装置100需要播放随着用户视线变化而拍摄不同方向的虚拟现实影像时，可利用各个虚拟现实影像开始的基准时间来采用跳转流影像的流传输时间的方法。因此，即使接收到一个流影像，也可足以播放多个虚拟现实影像。
以下对此进行更详细的说明。在优选实施例中，虚拟现实影像播放装置100可以包括流影像输入部110、流时间运算部120、影像播放部130、视线变化检测部140。
流影像输入部110通过流传输接收一个流影像。
以往，当对在互不相同的方向拍摄的多个虚拟现实影像进行流传输时，在服务器存储多个虚拟现实影像并且用户视线每次变化时，都需要更改并流传输新的虚拟现实影像文件，因此服务器的负担大。不仅如此，当文件被更改并流传输时，在虚拟现实播放装置发生延迟，而出现问题。
但是，由于本发明的流影像输入部110通过流传输接收包括同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像的一个流影像，因此解决了该问题。即，可通过改变一个流影像中的时间段来拼接多个虚拟现实影像，即使遇到播放另一个虚拟现实影像的情况，也不用麻烦地更改正在流传输中的文件，只要跳转到相应流影像中播放的时间即可。
当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，流时间运算部120对新播放的虚拟现实影像进行同步。在优选实施例中，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，流时间运算部120通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
以下对此进行更详细的说明。当根据用户视线择一性播放包含在流影像中的第一虚拟现实影像及第二虚拟现实影像时，流时间运算部120可以利用以下方法进行同步：
1)当需要播放第一虚拟现实影像时，跳转到在第一虚拟现实影像开始的第一基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
2)当需要播放第二虚拟现实影像时，跳转到在第二虚拟现实影像开始的第二基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
但是，在本发明的再一实施例中，流时间运算部可以在虚拟现实影像播放装置中除外。即，虚拟现实影像播放装置可以不用直接运算要跳转的流传输时间，而在虚拟现实影像提供服务器中执行该运算。
影像播放部130在显示装置上播放流传输的流影像。
视线变化检测部140追踪用户视线方向。为此，视线变化检测部140可包括加速度传感器、倾角传感器等。
视线变化检测部140可以检测用户视线方向，并确定是否需要改变播放的虚拟现实影像。当用户视线离开当前播放中的虚拟现实影像的空间(或者视角)的情况下，将其提供给流时间运算部，使得流时间运算部跳转流传输时间。
另一方面，在再一实施例中，视线变化检测部140可通过追踪用户视线方向，使追踪的结果传输给虚拟现实影像提供服务器。在这种实施例中，在虚拟现实影像提供服务器中运算跳转的流传输时间。
此外，本发明的虚拟现实影像播放装置100还包括用于接收流影像的通信部等结构。
虚拟现实影像提供服务器200通过结合多个虚拟现实影像来生成一个流影像，并将其通过虚拟现实影像播放装置进行流传输。在再一实施例中，用于生成流影像的服务器和实际流传输流影像的服务器可以是物理上不同的服务器。
虚拟现实影像提供服务器200可包括影像输入部210、流影像生成部220、流提供部230、转换点探索部240。
影像输入部210是由用于实现虚拟现实而生成的一个原始影像拼接而成的文件，并接收与原始影像的在同一时间拍摄不同方向的多个虚拟现实影像。
流影像生成部220利用对各个虚拟现实影像分配互不相同基准时间并将多个虚拟现实影像以基准时间为中心配置于互不相同时间段的方法，不将输入的多个虚拟现实影像生成为单独的文件，而将其生成为一个流影像文件，则生成的一个流影像中可包括对基准时间的信息。
虽然未图示，但流影像生成部220可包括：运行时间分析部，分析播放虚拟现实影像的运行时间；基准时间分配部，生成不小于运行时间的基准时间并将基准时间分配给多个虚拟现实影像中的每一个影像；以及基准时间存储部，存储对多个虚拟现实影像匹配的基准时间的信息。
流提供部230通过流传输向虚拟现实影像播放装置上传输生成的一个流影像。当生成流影像时，分配给多个虚拟现实影像的基准时间可以与流影像一起提供给虚拟现实影像播放装置。流提供部230当用户视线变化而改变播放的虚拟现实影像的情况下，以跳转一个流影像中的基准时间的方法来提供流影像。
转换点探索部240是用于在虚拟现实影像播放装置中不直接运算跳转的流传输时间的情况下运算流传输时间的结构。当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，转换点探索部240对新播放的虚拟现实影像进行同步。在优选实施例中，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，转换点探索部240在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
图4为用于说明本发明的流影像的结构的优选实施例的图。
如图4所示，多个虚拟现实影像V1、V2、V3分别生成不同的文件，如V1.mp4、V2.mp4、V3.mp4。在本发明中，流影像以基准时间S1、S2、S3为中心结合为一个流影像。
为此，首先运行时间分析部分析播放各个虚拟现实影像的运行时间。多个虚拟现实影像是由一个原始影像创建而成，因此在大多数情况下，各个虚拟现实影像的运行时间都相同。在图4的实施例中，假设多个虚拟现实影像V1、V2、V3的运行时间分别为10分钟。
基准时间分配部生成不小于运行时间的基准时间并将基准时间分配给多个虚拟现实影像中的每一个影像。
在优选实施例中，N个虚拟现实影像中第m个虚拟现实影像的基准时间可以通过以下公式计算。
基站时间m＝运行时间*(m-1)
例如，V1的基准时间S1可以为0，V2的基准时间可以为10分钟，V3的基准时间可以为20分钟。
基准时间存储部用于存储对多个虚拟现实影像匹配的基准时间的信息。
图5为示出在本发明的流影像中跳转流传输时间的优选实施例的图。
如图5所示，通过流传输在虚拟现实影像播放装置上播放一个流影像(Vtotal.mp4)。假设当前播放中的虚拟现实影像是V1，并播放位置(tplay)为3分30秒。
当用户视线变化而经判断需要播放虚拟现实影像V2时，跳转到在虚拟现实影像V2的基准时间添加播放位置(tplay)的流传输时间。即，虚拟现实影像V2的基准时间10分钟加上播放位置(tplay)3分30秒得到的13分30秒就是需要跳转的流传输时间。
如上所述，本发明不是更换流传输的文件本身，而是通过改变在一个流传输的文件中播放的时间的方法来解决了现有技术的问题。简单地说，本发明通过将空间的移动置换为时间的移动来解决了现有技术的问题。
图6为示出本发明的虚拟现实影像播放方法的图。
在本发明的虚拟现实影像播放装置中，多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像拼接而成的文件。上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件。基准时间是指在一个流影像中特定虚拟现实影像开始的基准点。播放位置是指播放中的虚拟现实影像播放至几分钟。例如，如果有10分钟的虚拟现实影像，并且当前正在播放3分31秒，则播放位置为3分31秒。在本发明中，基准时间、播放位置(或者播放时间)等术语用于说明在影像文件中特定位置。因此，在这种概念下，上述术语可以置换为标准帧、播放帧等术语。即，可以将时间看作为帧。
本发明的虚拟现实影像播放方法是当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过利用添加各个虚拟现实影像开始的基准时间及播放位置的流传输时间来跳转流影像的流传输时间的方法，即使接收一个流影像，也可以播放多个虚拟现实影像。
如图6所示，通过流传输接收包含多个虚拟现实影像的一个流影像虚拟现实影像播放装置执行如下虚拟现实影像播放方法。
通过流传输接收包含多个虚拟现实影像的一个流影像，其包含同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像(步骤S1100)。
播放与当前用户视线对应的虚拟现实影像，并确认播放中的虚拟现实影像的播放位置(步骤S1200)。
当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步(步骤S 1300)。

Claims (6)

1.一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其特征在于，
包括：
流影像输入部，通过流传输接收一个流影像，其包括同一时间在同一地点朝向互不相同的方向拍摄的多个虚拟现实影像；
流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，通过在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步；以及
影像播放部，在显示装置上播放流传输的流影像，
上述多个虚拟现实影像是由用于实现虚拟现实而生成的一个原始影像所拼接而成的文件，
上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件，
需要播放随着用户视线变化而拍摄不同方向的虚拟现实影像时，上述虚拟现实影像播放装置通过利用各个虚拟现实影像开始的基准时间来跳转将空间的变化置换为时间的变化的流影像的流传输时间的方法，利用一个流影像来播放多个虚拟现实影像。
2.根据权利要求1所述的利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其特征在于，
上述影像播放部包括：
广域影像播放部，播放包含在多个虚拟现实影像的广域影像；以及
补丁影像播放部，将包含在多个虚拟现实影像的补丁影像重叠在广域影像上并播放，
补丁影像是将广域影像的部分区域由其他画质来表达的影像。
3.根据权利要求1所述的利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其特征在于，
上述影像播放部包括多个分割影像播放部，使包含在多个虚拟现实影像的分割影像以相互重叠的方式来播放，
分割影像是将一个原始影像分割为N个区域且预定区域相互重叠的影像。
4.一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置，其特征在于，
包括：
流影像输入部，通过流传输接收一个流影像，其包括在同一时间拍摄不同方向的多个虚拟现实影像；
流时间运算部，当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，对新播放的虚拟现实影像进行同步；以及
影像播放部，在显示装置上播放流传输的流影像，
上述流影像是以对各个虚拟现实影像分配的基准时间为基准，在互不相同的时间段配置多个虚拟现实影像的一个文件，
当根据用户视线择一性播放包含在将空间的变化置换为时间的变化的流影像的第一虚拟现实影像及第二虚拟现实影像时，上述流时间运算部利用如下方法进行同步：
1)当需要播放第一虚拟现实影像时，跳转到在第一虚拟现实影像开始的第一基准时间添加当前播放中的虚拟现实影像的播放位置的流时间；
2)当需要播放第二虚拟现实影像时，跳转到在第二虚拟现实影像开始的第二基准时间添加当前播放中的虚拟现实影像的播放位置的流时间。
5.一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放方法，其特征在于，通过流传输接收包含多个虚拟现实影像的一个流影像的虚拟现实影像播放装置执行如下步骤：
(a)通过流传输接收将空间的变化置换为时间的变化的一个流影像，其包括在同一时间拍摄不同方向的多个虚拟现实影像；
(b)播放与当前用户视线对应的虚拟现实影像，并确认播放中的虚拟现实影像的播放位置；以及
(c)当待播放的虚拟现实影像在流传输过程中随着用户视线的变化而发生变化的情况下，在新播放的虚拟现实影像的基准时间添加当前播放中的虚拟现实影像的播放位置来对新播放的虚拟现实影像进行同步。
6.一种利用一个流影像来播放多个虚拟现实影像的虚拟现实影像提供服务器，其特征在于，包括：
影像输入部，接收与原始影像同一时间拍摄不同方向的多个虚拟现实影像，上述多个虚拟现实影像是用于实现虚拟现实而生成的一个原始影像所拼接而成的文件；
流影像生成部，利用对各个虚拟现实影像分配互不相同基准时间并将多个虚拟现实影像以基准时间为中心配置于互不相同时间段的方法，不将输入的多个虚拟现实影像生成为单独的文件，而将其生成为将空间的变化置换为时间的变化的一个流影像文件；以及
流提供部，通过流传输向虚拟现实影像播放装置上传输生成的一个流影像，
当待播放的虚拟现实影像随着用户视线的变化而发生变化的情况下，上述流提供部通过跳转一个流影像中的基准时间的方法来提供流影像。
CN202080019248.6A 2019-11-28 2020-11-27 利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法 Active CN113545097B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0155779 2019-11-28
KR1020190155779A KR102295264B1 (ko) 2019-11-28 2019-11-28 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
PCT/KR2020/017142 WO2021107703A1 (ko) 2019-11-28 2020-11-27 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법

Publications (2)

Publication Number Publication Date
CN113545097A CN113545097A (zh) 2021-10-22
CN113545097B true CN113545097B (zh) 2023-07-04

Family

ID=76128711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019248.6A Active CN113545097B (zh) 2019-11-28 2020-11-27 利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法

Country Status (4)

Country Link
US (1) US11325032B2 (zh)
KR (1) KR102295264B1 (zh)
CN (1) CN113545097B (zh)
WO (1) WO2021107703A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2624172A (en) * 2022-11-08 2024-05-15 Virtex Entertainment Ltd Apparatus and methods for virtual events

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110119063A (ko) * 2010-04-26 2011-11-02 케이티하이텔 주식회사 멀티 프레임 영상의 프레임 전환 재생 장치 및 방법
US9661320B2 (en) * 2011-09-13 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Encoding device, decoding device, playback device, encoding method, and decoding method
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
CN107439010B (zh) * 2015-05-27 2022-01-04 谷歌公司 流传输球形视频
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
WO2017214291A1 (en) * 2016-06-07 2017-12-14 Visbit Inc. Virtual reality 360-degree video camera system for live streaming
KR102644833B1 (ko) * 2016-10-06 2024-03-07 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
KR20180059285A (ko) * 2016-11-25 2018-06-04 주식회사 케이티 가상현실 영상을 제공하는 미디어 재생 장치 및 영상 제공 서버
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
KR102362513B1 (ko) * 2017-12-04 2022-02-14 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
CN109996055B (zh) * 2017-12-06 2022-08-12 杜比实验室特许公司 位置零时延

Also Published As

Publication number Publication date
CN113545097A (zh) 2021-10-22
US20210394055A1 (en) 2021-12-23
KR20210066485A (ko) 2021-06-07
WO2021107703A1 (ko) 2021-06-03
US11325032B2 (en) 2022-05-10
KR102295264B1 (ko) 2021-08-30

Similar Documents

Publication Publication Date Title
CN109416931B (zh) 用于视线跟踪的装置和方法
US8730354B2 (en) Overlay video content on a mobile device
CN106331732B (zh) 生成、展现全景内容的方法及装置
US8643788B2 (en) Image processing apparatus, image processing method, and image processing program
CN109891899B (zh) 视频内容切换和同步系统及用于在多种视频格式之间切换的方法
US8370892B2 (en) Apparatus and methods for handling interactive applications in broadcast networks
US10311917B2 (en) Systems and methods for featuring a person in a video using performance data associated with the person
US20190069041A1 (en) Information processing device, information processing method, program, and moving image distribution system
US9621768B1 (en) Multi-view media display
US8739041B2 (en) Extensible video insertion control
WO2011034697A1 (en) Hyperlinked 3d video inserts for interactive television
CN108604438A (zh) 显示控制方法以及用于使计算机实施该显示控制方法的程序
KR20180038256A (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
KR102073230B1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
CN113545097B (zh) 利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法
WO2018004933A1 (en) Apparatus and method for gaze tracking
Bassbouss et al. Interactive 360 video and storytelling tool
US20150289032A1 (en) Main and immersive video coordination system and method
KR101796226B1 (ko) 복수개의 동영상을 동시에 출력하는 시스템
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
KR20200002018A (ko) 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치
US20140373062A1 (en) Method and system for providing a permissive auxiliary information user interface
CN117546458A (zh) 信息处理装置、信息处理方法和程序
Series Collection of usage scenarios and current statuses of advanced immersive audio-visual systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant