CN108419142A - Vr视频播放方法及装置 - Google Patents

Vr视频播放方法及装置 Download PDF

Info

Publication number
CN108419142A
CN108419142A CN201810005019.3A CN201810005019A CN108419142A CN 108419142 A CN108419142 A CN 108419142A CN 201810005019 A CN201810005019 A CN 201810005019A CN 108419142 A CN108419142 A CN 108419142A
Authority
CN
China
Prior art keywords
video
enhancing
base
segment
collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810005019.3A
Other languages
English (en)
Inventor
王焯
唐泳滔
赵若熹
张家齐
祖浩焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sail Technology Co Ltd
Original Assignee
Black Sail Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sail Technology Co Ltd filed Critical Black Sail Technology Co Ltd
Publication of CN108419142A publication Critical patent/CN108419142A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了一种VR视频播放方法，包括：获取用户的视场角度；根据用户的视场角度将VR视频数据处理成基础视频集和增强视频集，基础视频集包括多个基础视频片段，增强视频集包括多个增强视频片段，基础视频片段和增强视频片段的叠加后的播放效果优于所述基础视频片段的播放效果；下载基础视频片段和增强视频片段；以及根据用户的视场角度将所述基础视频片段和增强视频片段叠加后播放。通过将数据处理成基础视频片段和增强视频片段再根据用户的视场角度叠加播放，能够节省传输带宽，降低显示装置的性能需求，同时能够保证观影体验。同时公开了对应的VR视频播放装置。

Description

VR视频播放方法及装置
技术领域
本发明涉及视频处理技术，更具体地，涉及一种VR视频播放方法及 装置。
背景技术
虚拟现实(VR)技术是一种创建和体验虚拟世界的计算机仿系统， 例如，可以根据观察者头、眼和手的跟踪技术呈现相对应的三维实时图 像。在基于网络的虚拟现实技术中，预先将全视角的视频数据存储在服 务器上，然后将全视角的视频数据传送至诸如眼镜之类的显示装置上， 根据观察者的观看位置将相应视角的视频数据显示在显示装置上。
然而，高分辨率的视频数据需要占据大量的传输带宽，并且需要显 示装置具备强大的数据处理能力。由于数据传输带宽和显示装置处理能 力的需求高，因此，现有的视频处理技术对网络和终端设置的要求高， 并且难以实现高分辨率的实时图像显示。
因此，期望进一步改进VR播放系统的视频处理及渲染方法，以节省 传输带宽和降低显示装置的性能需求，从而实现流畅的实时性图像显示。
发明内容
有鉴于此，本申请提供一种VR视频播放方法及装置，以降低对传输 带宽和显示装置的性能要求。
根据本发明的第一方面，提供一种VR视频播放方法，包括：
获取用户的视场角度；
根据所述用户的视场角度将VR视频数据处理成基础视频集和增强 视频集，所述基础视频集和所述增强视频集各包括多个基础视频片段和 多个增强视频片段，所述基础视频片段和所述增强视频片段的叠加后的 播放效果优于所述基础视频片段的播放效果；
根据所述用户的视场角度下载所述基础视频片段和增强视频片段； 以及
根据所述用户的视场角度将所述基础视频片段和增强视频片段叠 加后播放。
优选地，所述用户的视场角度和头显设备的规格参数相关。
优选地，所述根据用户的视场角度将所述VR视频数据处理成基础视 频集和增强视频集包括：
将所述VR视频数据的投影面积划分成多个区域格；
根据所述用户的视场角度确定构成观影区域的区域格；以及
根据所述构成观影区域的区域格将所述VR视频数据处理成基础视 频集和增强视频集。
优选地，所述根据所述构成观影区域的区域格将所述VR视频数据处 理成基础视频集和增强视频集包括：
解码所述VR视频数据，以获得音频数据集和第一帧数据集；
将所述第一帧数据集无损缩减到目标分辨率获得第二帧数据集；
将所述第一帧数据集缩减到基础分辨率再插值放大到目标分辨率 获得第三帧数据集；
将所述音频数据集和所述第二帧数据集合成切割得到基础视频集；
根据所述多个区域格将所述第二帧数据集和所述第三帧数据集的 差值编码切分成多个视频片段；以及
根据所述观影区域对应的区域格将所述多个视频片段中的一部分 划分到所述增强视频集中。
优选地，所述多个区域格大小相等。
优选地，还包括：获得多个分辨率和码率组合，每个分辨率和码率 组合包括基础分辨率、增强分辨率、基础码率和增强码率；
则所述将VR视频数据处理成基础视频集和增强视频集包括：
按照所述多个分辨率和码率组合将所述VR视频数据处理成基础视 频集和增强视频集。
优选地，所述下载所述基础视频片段和增强视频片段包括：
计算平均下载速度；
根据所述平均下载速度选择一个分辨率和码率组合；以及
根据选中的分辨率和码率组合下载相应的基础视频片段和增强视 频片段。
优选地，所述叠加播放所述基础视频片段和增强视频片段包括：
采用不同模式播放基础视频片段和增强视频片段，所述不同模式包 括全景模式和双目模式。
优选地，在全景模式下叠加播放所述基础视频片段和所述增强视频 片段包括：
分别创建基础视频模型与增强视频模型；
初始化所述基础视频模型和所述增强视频模型上的UV坐标；
根据用户当前的视场角度获得基础视频片段和增强视频片段；
解码获得所述基础视频片段和所述增强视频片段的像素信息；
分别根据所述基础视频片段的像素信息和所述基础视频模型的UV 坐标生成基础视频贴图，以及根据所述增强视频片段的像素信息和所述 增强视频模型的UV坐标生成增强视频贴图；以及
根据所述用户当前的视场角度确定所述增强视频贴图的UV对齐参 数；
根据所述UV对齐参数生成所述基础视频贴图与所述增强视频贴图 叠加后的像素信息；以及
根据叠加后的像素信息绘出图像。
优选地，在所述双目模式下叠加播放所述基础视频片段和所述增强 视频片段包括：
获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩 阵和透镜扭曲圆心位置；
创建三维模型，获得所述三维模型的的原始坐标数据；
根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标 数据；
基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获 得第二坐标数据；
像素化所述第二坐标数据，获得像素单元；以及
根据VR视频数据和所述像素单元绘制图像。
根据本发明的第二方面，提供一种VR视频播放方法，包括：
获取模块，获取用户的视场角度；
数据转码模块，用于根据所述用户的视场角度将VR视频数据处理成 基础视频集和增强视频集，所述基础视频集和所述增强视频集各包括多 个基础视频片段和多个增强视频片段，所述基础视频片段和所述增强视 频片段的叠加后的播放效果优于所述基础视频片段的播放效果；
下载模块，用于下载所述基础视频片段和增强视频片段；
播放模块，用于将所述基础视频片段和增强视频片段叠加后播放.
优选地，所述用户的视场角度和头显设备的规格参数相关。
优选地，所述数据转码模块包括：
划分单元，用于将所述VR视频数据的投影面积划分成多个区域格；
切割单元，用于根据所述用户的视场角度确定构成观影区域的区域 格；以及
处理单元，用于根据所述构成观影区域的区域格将所述VR视频数据 处理成基础视频集和增强视频集。
优选地，还包括：映射表生成单元，用于获得多个分辨率和码率组 合，每个分辨率和码率组合包括基础分辨率、增强分辨率、基础码率和 增强码率；
则处理单元包括：
按照所述多个分辨率和码率组合将所述VR视频数据处理成基础 视频集和增强视频集。
优选地，所述下载模块包括：
速度计算单元，用于计算平均下载速度；
选择单元，用于根据所述平均下载速度选择一个分辨率和码率组合；
执行单元，用于根据选中的分辨率和码率组合下载相应的基础视频 片段和增强视频片段。
优选地，播放模块包括全景模式和双目模式，在不同的模式采用不 同的方式叠加播放基础视频片段和增强视频片段。
本发明实施例根据用户的视场角度将VR视频数据处理成基础视频 集和增强视频集，并根据用户的视场角度将基础视频片段和增强视频片 段叠加播放，降低了数据下载量，提高了传输效果，同时能够保证观影 体验。
附图说明
通过参照以下附图对本发明实施例的描述，本发明的上述以及其它 目的、特征和优点将更为清楚，在附图中：
图1是VR播放系统的网络示意图；
图2是根据本发明实施例的VR视频播放方法的流程图；
图3是图2中的步骤S200的具体流程图；
图4是图3的步骤S203具体流程图；
图5是图2的步骤S300具体流程图；
图6是图2中的步骤S400的全景模式下视频播放的具体流程图；
图7是图2中的步骤S400的双目模式下视频播放的具体流程图；
图8是根据本发明实施例的VR视频播放装置的结构图；
图9是图6中的数据转码模块602的具体结构图；
图10是图6的下载模块603的具体结构图。
具体实施方式
以下将参照附图更详细地描述本发明。在各个附图中，相同的元件 采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按 比例绘制。此外，可能未示出某些公知的部分。
图1是VR播放系统的网络示意图。设备网络10包括通过网络110 耦接的服务器100和显示设备120以及VR设备。服务器100可以例如独 立的计算机服务器或者服务器集群，服务器100用于存储各种视频数据 以及存储处理这些视频数据的各种应用程序。服务器100上例如实时运 行着各种守护进程，一方面，用于处理服务器100上的各种视频数据， 另一方面，用于响应VR设备和显示设备120的各种请求。网络110可以 是任意(一个或多个)网络，例如因特网、局域网和物联网等。显示设 备120例如是一个具有独立显示屏的和一定处理能力的计算机设备，可 以是：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机 计算机、掌上电脑、个人数字助理、智能手机、智能电器、游戏控制台、 iPAD/iPhone、视频播放器、DVD刻录机/播放器、电视机、家庭娱乐 系统或任意其它合适的计算设备。显示设备120可以存储VR播放器软件， 当VR播放器启动后，播放器向服务器100请求和接收各种视频数据，并 且将下载到显示设备端的视频数据在播放器内进行渲染播放。在本例中， VR设备130是一个外接式头显设备，可以和显示设备120以及服务器100 进行各种交互，通过信号传递向显示设备120和/或服务器100传递一些 用户当前的相关信息，例如用户的视场角度，眼睛视线的变化等等，显 示设备120可以根据这些信息能够灵活处理当前播放的视频数据。在一 些实施例里，当用户的视场角度改变时，显示设备120判断用户的核心 观影区域发生改变，并在核心观影区域播放高分辨率的视频数据。
在上述实施例，VR设备130是一个外接式头显设备，但是本领域的 技术人员可以理解到，VR设备130不仅限于此，VR设备130还可以一体 式头显设备。一体式头显设备本身具有显示屏的功能，因此可以不需要 外部的显示设备，例如本例中，如果采用一体式头显设备，即可以省略 显示120。此时，一体式头显设备承担了从服务器100上获取视频数据 以及播放的工作，同时，一体式头显设备检测到用户当前的一些视场角 度并调整播放工作。
图2是根据本发明实施例的VR视频播放方法的流程图。该方法包括 以下步骤。
在步骤S100中，获取用户的视场角度。
在步骤S200中，根据用户的视场角度将VR视频数据处理成基础视 频集和增强视频集。所述基础视频集中包含基础视频片段，所述增强视 频集中包含增强视频片段。
在步骤S300中，根据用户的视场角度下载基础视频片段和增强视 频片段。
在步骤S400中，将基础视频片段和增强视频片段叠加后播放。
在用户使用VR头显设备的场景下，用户的视场角度可通过VR头显 设备的规格参数和屏幕参数获得。服务器端的VR视频数据一般采集的是 真实世界环境的360度全景图像，而对于一个具体的用户来说，看到的 是视场角度内的视频图像。由此，在本实施例中，根据视场角度将VR 视频数据处理成基础视频集和增强视频集，并根据用户的视场角度下载 基础视频片段和增强视频片段后叠加播放，从而，可在视场角度之内得 到更高分辨率的视频数据进行播放，以得到更好的观影体验，而在视场 角度之外采用基础视频片段进行播放，以减少数据下载量。
图3是图2中的步骤S200的具体流程图。具体包括以下步骤。
在步骤S201中，将VR视频数据的投影面积划分成多个区域格。一 般将投影面积平均划分成多个区域格。
在步骤S202中，根据用户的视场角度确定构成观影区域的区域格。
在步骤S203中，根据构成观影区域的区域格将VR视频数据处理成 基础视频集和增强视频集。
图4图3的步骤S203具体流程图。具体包括以下步骤。
在步骤S2031中，将VR视频数据解码得到音频数据集1和帧数据集 1。
在步骤S2032中，将帧数据集1无损缩小到目标分辨率得到帧数据 集2。
在步骤S2033中，将帧数据集1经过编码缩小和解码放大至目标分 辨率，得到帧数据集3
在步骤S2034中，将帧数据集2和帧数据集3相减得到目标分辨率 差值。
在步骤S2035中，将帧数据集2和音频数据集1合成切割得到基础 视频集。
在步骤S2036中，将目标分辨率差值进行编码压缩和切割得到视频 片段。
在步骤S2037中，根据观影区域对应的区域格将多个视频片段中的 一部分划分到增强视频集中。
上述实施例中具体描述了根据用户的视场角度将一个具体的VR视 频数据处理成基础视频集和增强视频集的过程。为了便于理解，可以通 过下述示例进一步说明。对应于原始分辨率为12,600×6,000像素的帧 数据集1，根据步骤S2032和S2033获得目标分辨率为6,300×3,000像 素的帧数据集2和帧数据集3，帧数据集2是将12,600×6,000像素的 帧数据集1无损缩减6,300×3,000像素后得到的视频数据，帧数据集3 是将12,600×6,000像素的帧数据集1缩减到例如798*1024像素再进行 插值放大获得。两者相减得到的差集合进行压缩，然后根据区域格的大 小对压缩后的数据进行切割，得到和区域格对应的多个视频片段，最终 根据观影区域和区域格的对应关系将部分视频片段划分到增强视频集中， 即增强视频集中包含是和和观影区域对应的视频片段。
当然，本发明不局限于此，其他方式也能够获得基础视频集和增强 视频集。
上述视频数据处理的步骤一般在服务器端执行。当服务器端对应多 个头显设备或显示设备时，相应地会根据多个用户的视场角度处理VR 视频数据。由此可以建立多个观影区域和区域格的对应关系。为了便于 处理，需要设置适当大小的区域格，以对应于多个不同的视场角度。
在上述实施例中，步骤S200可按照设定分辨率和码率处理视频数据， 即，处理后的基础视频集中的视频片段的分辨率和码率分别为设定的基 础分辨率和基础码率，处理后的增强视频集中的视频片段的分辨率和码 率分别为设定的增强分辨率和增强码率。由此，对应于一个具体的视频 数据，可以生成多个具有不同分辨率和码率组合的基础视频集和增强视 频集，而当显示设备或头显设备向服务器端请求视频数据时，可以根据 当前的网络状况选择合适的分辨率和码率的基础视频片段和增强视频片 段。
图5是图2的步骤S300具体流程图。
在步骤S301中，计算平均下载速度
在步骤S302中，根据平均下载速度选择一个分辨率和码率组合
在步骤S303中，根据选中的分辨率和码率组合下载对应的基础视频 片段和增强视频片段。
在本实施例中，通过平均下载速度确定一个分辨率和码率组合，进 而获得对应的基础视频片段和增强视频片段，从而达到优化传输的目的。 可选地，基于一个初始分辨率和码率构建多个分辨率和码率组合。例如 建立N个等级的分辨率和码率组合，每个等级的分辨率和码率具有设定 的对应关系，当平均下载速度位于某个区间时，选择对应等级的分辨率 和码率的基础视频片段和增强视频片段。
进一步地，步骤S400包括全景模式和双目模式。
图6是图2中的步骤S400的全景模式下视频播放的具体流程图。
在步骤S401中，解码获得基础视频和增强视频的像素信息。
在本步骤中，通过合适的解码器解码基础视频片段和增强视频片段， 获得各自的像素信息。解码器解码过程可能还包括解压缩过程，用于解 压缩压缩后的视频数据。对应于各个不同的颜色空间，解出不同的像素 分量，例如RGB颜色空间解出R、G、B分量。
在步骤S402中，分别创建基础视频模型与增强视频模型。
本步骤中，可以根据需求选择创建三维模型，例如，可以创建两个 多边形球面作为基础视频模型和增强视频模型。
在步骤S403中，初始化模型上的点UV坐标。
UV坐标这里指u,v纹理贴图坐标的简称,类似于空间模型的X,Y,Z 轴。它定义了和3D模型相互对应的平面上的每个点的位置信息。通过 UV坐标能够将图像上的每一点都精确对应到三维模型上。在本步骤中， 建立并初始化基础视频模型和增强视频模型上的每个UV坐标点。
在步骤S404中，生成基础视频贴图和增强视频贴图。
在本步骤中，根据基础视频片段的像素信息和基础视频模型的UV坐 标生成基础视频贴图，并且，根据增强视频片段的像素信息和增强视频 模型的UV坐标生成增强视频贴图。
在步骤S405中，确定增强视频模型的UV对齐坐标。
在本步骤中，可以通过用户当前的视场角度确定增强视频模型的UV 对齐坐标。
在步骤S406中，根据UV对齐参数生成基础视频贴图与增强视频贴 图叠加后的像素信息。
在本步骤中，基于基础视频片段和增强视频片段之间的关系，计算 获得叠加后的的像素信息。
为了便于理解，采用以下述示例进一步说明。
假设像素Px,yOriginal＝(r,g,b)T是视频数据中，坐标为x,y的像素， r,g,b∈[L,H]，Px,yScaledBase＝(r′,g′,b′)T是基础视频中，坐标为x,y 的像素，r′,g′,b′∈[L,H]，那么对于所有的x,y有以下差值生成方程 式(1)：
Px,yNormalizedResidual表示像素差值，
对于所有的像素x,y有以下的差值还原公式为：
在步骤S407，根据叠加后的像素信息绘出图像。
图7是图2中的步骤S400的双目模式下视频播放的具体流程图。
在步骤S411中，获得相关参数。
例如，根据头显设备和屏幕尺寸计算相关参数。该所述相关参数例 如包括左右透镜的视场角度、摄像机矩阵、投射矩阵和透镜扭曲圆心位 置等。头显设备包括支架和支架上的左右透镜，人眼通过左右透镜获得 左右可视区域的图像，由于左右可视区域提供的图像具有差异，人眼获 取这种带有差异的信息后在脑海中产生立体感。不同头显设备的规格参 数并不相同，一般检索网站或者查询内置的参数文件可获得规格参数， 进而根据这些规格参数计算渲染过程中所需得相关参数。
在步骤S412中，创建三维模型，获得三维模型的的原始坐标数据。
本步骤中，可以根据需求创建合适的三维模型，例如，可以创建多 边形球面作为三维模型，并且基于多边形球面得到原始坐标数据。
在步骤S413中，根据相关参数和三维模型的原始坐标数据获得第 一坐标数据。
在步骤S414中，基于透镜扭曲的圆心位置对第一坐标数据做透镜 扭曲，获得第二坐标数据。
步骤S413根据摄像机矩阵、投射矩阵和矩阵模型对原始坐标数据进 行矢量运算，获得运算后的坐标数据作为第一坐标数据，而步骤S414则 进一步扭曲第一坐标数据，得到第二坐标数据。
在步骤S415中，像素化处理第二坐标数据，获得像素单元。
在本步骤中，将第二坐标数据处理成一个二维平面上的像素单元。
在步骤S416中，根据VR视频数据和像素单元绘制图像。
在步骤中，将从服务器端下载的VR视频数据进行解码，获得其中 的像素信息，根据像素信息由第二坐标数据转化的像素单元进行赋值， 最终完成图像的绘制。
本实施例提供的VR视频播放提供全景模式和双目模式两种观影模 式。在全景模式下，创建三维模型，并根据用户当前的视场角度确定基 础视频片段和增强视频片段的UV对齐坐标，根据UV对齐坐标将叠加后 的像素赋值到三维模型中，从而达到三维全景观影效果。在双目模式下， 创建三维模型，对三维模型的坐标点进行透镜扭曲,并且将基础视频片段 和增强视频片段叠加到扭曲后的三维模型中显示，从而达到双目VR沉 浸式观影效果。在双目模式下，通过一次处理完成视频数据的渲染，提 高了渲染效率。
图8是根据本发明实施例的VR视频播放装置的结构图。VR视频播 放装置包括获取模块801、数据转码模块802、下载模块803和播放模块 804。
获取模块801获取用户的视场角度。
数据转码模块802用于根据用户的视场角度将VR视频数据处理成基 础视频集和增强视频集，基础视频集包括多个基础视频片段，增强视频 集包括多个增强视频片段，基础视频片段和增强视频片段的叠加后的播 放效果优于基础视频片段的播放效果。
下载模块803用于下载基础视频片段和增强视频片段。
播放模块804用于根据用户的视场角度将基础视频片段和增强视频 片段叠加后播放。
图9是图8中的数据转码模块802的具体结构图。
该数据转码模块包括：划分单元8021、切割单元8022和处理单元8023。划分单元8021将VR视频数据的投影面积划分成多个区域格。切 割单元8022用于根据用户的视场角度确定构成观影区域的区域格。处理 单元8023用于根据构成观影区域的区域格将VR视频数据处理成基础视 频集和增强视频集。
在一个可选的实施例中，还包括映射表生成单元，用于获得多个分 辨率和码率组合，每个分辨率和码率组合包括基础分辨率、增强分辨率、 基础码率和增强码率。基于此，处理单元8023按照多个分辨率和码率组 合将VR视频数据处理成基础视频集和增强视频集。优选地，可以基于一 个初始分辨率和码率组合获得多个等级下的分辨率和码率组合，其中， 相邻等级下的分辨率和码率具有特定的比例关系。
在另一个可选的实施例中，参考图10，下载模块803包括速度计算 单元8031、选择单元8032和执行单元8033。速度计算单元8031用于 计算平均下载速度。选择单元8032用于根据平均下载速度选择一个分辨 率和码率组合。执行单元8033用于根据选中的分辨率和码率组合下载相 应的基础视频片段和增强视频片段。
在本发明中，在服务器端，根据视场角度对VR视频数据处理成基础 视频集和增强视频集，在头显设备或显示设备端，下载基础视频片段和 增强视频片段，并根据用户的视场角度叠加播放，能够节省传输带宽， 降低显示装置的性能需求，同时能够保证观影体验。
在可选的实施例中，选择合适的分辨率和码率并下载对应的视频片 段，从而动态调整数据下载量，优化数据传输。
在另一个可选的实施例中，提供全景和双目观影模式，在不同的模 式下叠加视频片段实现视频播放。
本发明实施例虽然以较佳实施例公开如上，但其并不是用来限定权 利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以 做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求 所界定的范围为准。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本 领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神 和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (16)

1.一种VR视频播放方法，包括：
获取用户的视场角度；
根据所述用户的视场角度将VR视频数据处理成基础视频集和增强视频集，所述基础视频集包括多个基础视频片段，所述增强视频集包括多个增强视频片段，所述基础视频片段和所述增强视频片段的叠加后的播放效果优于所述基础视频片段的播放效果；
下载所述基础视频片段和所述增强视频片段；以及
根据所述用户的视场角度将所述基础视频片段和增强视频片段叠加播放。
2.根据权利要求1所述的VR视频播放方法，其中，所述用户的视场角度和头显设备的规格参数相关。
3.根据权利要求1所述的VR视频播放方法，其中，所述根据用户的视场角度将所述VR视频数据处理成基础视频集和增强视频集包括：
将所述VR视频数据的投影面积划分成多个区域格；
根据所述用户的视场角度确定构成观影区域的区域格；以及
根据所述构成观影区域的区域格将所述VR视频数据处理成所述基础视频集和所述增强视频集。
4.根据权利要求3所述的VR视频播放方法，其中，所述根据所述构成观影区域的区域格将所述VR视频数据处理成基础视频集和增强视频集包括：
解码所述VR视频数据，以获得音频数据集和第一帧数据集；
将所述第一帧数据集无损缩减到目标分辨率获得第二帧数据集；
将所述第一帧数据集缩减到基础分辨率再插值放大到所述目标分辨率获得第三帧数据集；
将所述音频数据集和所述第二帧数据集合成切割得到基础视频集；
根据所述多个区域格将所述第二帧数据集和所述第三帧数据集的差值编码切分成多个视频片段；
以及
根据所述观影区域对应的区域格将所述多个视频片段中的一部分划分到所述增强视频集中。
5.根据权利要求3所述的VR视频播放方法，其中，将所述投影面积平均划分成所述多个区域格。
6.根据权利要求1所述的VR视频播放方法，还包括：获得多个分辨率和码率组合，每个分辨率和码率组合包括基础分辨率、增强分辨率、基础码率和增强码率；
则所述将VR视频数据处理成基础视频集和增强视频集包括：
按照所述多个分辨率和码率组合将所述VR视频数据处理成多个基础视频集和多个增强视频集。
7.根据权利要求6所述的VR视频播放方法，其中，所述下载所述基础视频片段和增强视频片段包括：
计算平均下载速度；
根据所述平均下载速度选择一个分辨率和码率组合；以及
根据选中的分辨率和码率组合下载相应的基础视频片段和增强视频片段。
8.根据权利要求1所述的VR视频播放方法，其中，所述叠加播放所述基础视频片段和增强视频片段包括：
采用不同模式播放基础视频片段和增强视频片段，所述不同模式包括全景模式和双目模式。
9.根据权利要求8所述的VR视频播放方法，其中，在全景模式下叠加播放所述基础视频片段和所述增强视频片段包括：
分别创建基础视频模型与增强视频模型；
初始化所述基础视频模型和所述增强视频模型上的UV坐标；
获得基础视频片段和增强视频片段；
解码获得所述基础视频片段和所述增强视频片段的像素信息；
分别根据所述基础视频片段的像素信息和所述基础视频模型的UV坐标生成基础视频贴图，以及根据所述增强视频片段的像素信息和所述增强视频模型的UV坐标生成增强视频贴图；
根据所述用户的视场角度确定所述增强视频贴图的UV对齐参数；
根据所述UV对齐参数生成所述基础视频贴图与所述增强视频贴图叠加后的像素信息；以及
根据叠加后的像素信息绘出图像。
10.根据权利要求8所述的VR视频播放方法，其中，在所述双目模式下叠加播放所述基础视频片段和所述增强视频片段包括：
获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；
创建三维模型，获得所述三维模型的的原始坐标数据；
根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；
基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；
像素化所述第二坐标数据，获得像素单元；以及
根据VR视频数据和所述像素单元绘制图像。
11.一种VR视频播放方法，包括：
获取模块，获取用户的视场角度；
数据转码模块，用于根据所述用户的视场角度将VR视频数据处理成基础视频集和增强视频集，所述基础视频集和所述增强视频集各包括多个基础视频片段和多个增强视频片段，所述基础视频片段和所述增强视频片段的叠加后的播放效果优于所述基础视频片段的播放效果；
下载模块，用于下载所述基础视频片段和增强视频片段；
播放模块，用于所述用户的视场角度将所述基础视频片段和增强视频片段叠加播放。
12.根据权利要求11所述的VR视频播放装置，其中，所述用户的视场角度和头显设备的规格参数相关。
13.根据权利要求11所述的VR视频播放装置，其中，所述数据转码模块包括：
划分单元，用于将所述VR视频数据的投影面积划分成多个区域格；
切割单元，用于根据所述用户的视场角度确定构成观影区域的区域格；以及
处理单元，用于根据所述构成观影区域的区域格将所述VR视频数据处理成基础视频集和增强视频集。
14.根据权利要求13所述的VR视频播放装置，还包括：映射表生成单元，用于获得多个分辨率和码率组合，每个分辨率和码率组合包括基础分辨率、增强分辨率、基础码率和增强码率；
则处理单元包括：
按照所述多个分辨率和码率组合将所述VR视频数据处理成基础视频集和增强视频集。
15.根据权利要求14所述的VR视频播放装置，其中，所述下载模块包括：
速度计算单元，用于计算平均下载速度；
选择单元，用于根据所述平均下载速度选择一个分辨率和码率组合；
执行单元，用于根据选中的分辨率和码率组合下载相应的基础视频片段和增强视频片段。
16.根据权利要求11所述的VR视频播放装置，其中，播放模块包括全景模式和双目模式，在不同模式采用不同的方式叠加播放基础视频片段和增强视频片段。
CN201810005019.3A 2017-01-03 2018-01-03 Vr视频播放方法及装置 Pending CN108419142A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762441936P 2017-01-03 2017-01-03
USUS62/441,936 2017-01-03

Publications (1)

Publication Number Publication Date
CN108419142A true CN108419142A (zh) 2018-08-17

Family

ID=62711388

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201810005787.9A Pending CN108366272A (zh) 2017-01-03 2018-01-03 Vr视频渲染方法及装置
CN201810005392.9A Pending CN108366293A (zh) 2017-01-03 2018-01-03 Vr视频转码方法及装置
CN201810005019.3A Pending CN108419142A (zh) 2017-01-03 2018-01-03 Vr视频播放方法及装置
CN201810004987.2A Pending CN108419093A (zh) 2017-01-03 2018-01-03 Vr视频下载方法及装置
CN201810005788.3A Pending CN108391103A (zh) 2017-01-03 2018-01-03 Vr视频观影区域划分方法及装置
CN201810005786.4A Pending CN108377381A (zh) 2017-01-03 2018-01-03 沉浸式vr视频渲染方法及装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810005787.9A Pending CN108366272A (zh) 2017-01-03 2018-01-03 Vr视频渲染方法及装置
CN201810005392.9A Pending CN108366293A (zh) 2017-01-03 2018-01-03 Vr视频转码方法及装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201810004987.2A Pending CN108419093A (zh) 2017-01-03 2018-01-03 Vr视频下载方法及装置
CN201810005788.3A Pending CN108391103A (zh) 2017-01-03 2018-01-03 Vr视频观影区域划分方法及装置
CN201810005786.4A Pending CN108377381A (zh) 2017-01-03 2018-01-03 沉浸式vr视频渲染方法及装置

Country Status (2)

Country Link
US (6) US20180189980A1 (zh)
CN (6) CN108366272A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669666A (zh) * 2019-03-08 2020-09-15 北京京东尚科信息技术有限公司 模拟现实的方法、装置和系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10331862B2 (en) * 2017-04-20 2019-06-25 Cisco Technology, Inc. Viewport decryption
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN109343518B (zh) * 2018-09-03 2021-07-02 浙江大丰实业股份有限公司 万向车台现场驱动平台
US11128869B1 (en) * 2018-10-22 2021-09-21 Bitmovin, Inc. Video encoding based on customized bitrate table
CN109375369B (zh) * 2018-11-23 2021-05-18 国网天津市电力公司 一种vr巨幕影院模式下的畸变预处理方法
CN111510777B (zh) 2019-01-30 2021-11-23 上海哔哩哔哩科技有限公司 测量网速的方法、装置、计算机设备及可读存储介质
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
CN110336994B (zh) * 2019-07-04 2021-06-22 上海索倍信息科技有限公司 一种裸眼3d显示系统
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN110490962B (zh) * 2019-08-20 2023-09-15 武汉邦拓信息科技有限公司 一种基于视频流的远程渲染方法
CN110544425A (zh) * 2019-09-13 2019-12-06 广州城市职业学院 一种古建筑vr展示系统
CN111489428B (zh) * 2020-04-20 2023-06-30 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
US11245911B1 (en) * 2020-05-12 2022-02-08 Whirlwind 3D, LLC Video encoder/decoder (codec) for real-time applications and size/b and width reduction
CN111754614A (zh) * 2020-06-30 2020-10-09 平安国际智慧城市科技股份有限公司 基于vr视频渲染方法、装置、电子设备及存储介质
CN112468806B (zh) * 2020-11-12 2022-07-26 中山大学 一种用于云vr平台的全景视频传输优化方法
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN113347402A (zh) * 2021-06-28 2021-09-03 筑友建筑装饰装修工程有限公司 基于Unity的渲染沉浸式内容的改良方法、装置和存储介质
CN114466220A (zh) * 2022-01-29 2022-05-10 维沃移动通信有限公司 视频下载方法和电子设备
CN115396731A (zh) * 2022-08-10 2022-11-25 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质
CN116880723B (zh) * 2023-09-08 2023-11-17 江西格如灵科技股份有限公司 一种3d场景显示方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111421A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method of displaying a region of interest in a video stream
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20150346832A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统
US20170316753A1 (en) * 2016-04-29 2017-11-02 Immersive Enterprises, LLC Method and system for adaptively changing display parameters of virtual reality content

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3196889B2 (ja) * 1996-09-05 2001-08-06 株式会社アルファ 三次元画像処理方法および三次元画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI262725B (en) * 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
US8862763B2 (en) * 2011-03-30 2014-10-14 Verizon Patent And Licensing Inc. Downloading video using excess bandwidth
CN102971770B (zh) * 2011-03-31 2016-02-10 松下电器产业株式会社 进行全周围立体图像的描绘的图像描绘装置、图像描绘方法
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
WO2014025319A1 (en) * 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
US9196199B2 (en) * 2013-02-12 2015-11-24 Pixtronix, Inc. Display having staggered display element arrangement
CN103702139B (zh) * 2013-12-13 2017-02-01 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
CN105025351B (zh) * 2014-04-30 2018-06-29 深圳Tcl新技术有限公司 流媒体播放器缓冲的方法及装置
JP6337614B2 (ja) * 2014-05-23 2018-06-06 セイコーエプソン株式会社 制御装置、ロボット、及び制御方法
CN104268922B (zh) * 2014-09-03 2017-06-06 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
US10812546B2 (en) * 2014-12-24 2020-10-20 Intel IP Corporation Link-aware streaming adaptation
CN104616243B (zh) * 2015-01-20 2018-02-27 北京道和汇通科技发展有限公司 一种高效的gpu三维视频融合绘制方法
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
CN104717507A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种视频转码方法及装置
US10083363B2 (en) * 2015-05-26 2018-09-25 Nbcuniversal Media, Llc System and method for customizing content for a user
WO2016201423A1 (en) * 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
EP3360330B1 (en) * 2015-10-08 2021-03-24 Koninklijke KPN N.V. Enhancing a region of interest in video frames of a video stream
CN105916022A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于虚拟现实技术的视频图像处理方法及装置
CN105455285B (zh) * 2015-12-31 2019-02-12 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法
US10412130B2 (en) * 2016-04-04 2019-09-10 Hanwha Techwin Co., Ltd. Method and apparatus for playing media stream on web browser
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN105898565A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 一种视频处理方法及设备
CN106060515B (zh) * 2016-07-14 2018-11-06 腾讯科技（深圳）有限公司 全景媒体文件推送方法及装置
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US20180295375A1 (en) * 2017-04-05 2018-10-11 Lyrical Labs Video Compression Technology, LLC Video processing and encoding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014111421A1 (en) * 2013-01-18 2014-07-24 Canon Kabushiki Kaisha Method of displaying a region of interest in a video stream
US20150346832A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
US20170316753A1 (en) * 2016-04-29 2017-11-02 Immersive Enterprises, LLC Method and system for adaptively changing display parameters of virtual reality content
CN106060570A (zh) * 2016-06-30 2016-10-26 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111669666A (zh) * 2019-03-08 2020-09-15 北京京东尚科信息技术有限公司 模拟现实的方法、装置和系统

Also Published As

Publication number Publication date
CN108366272A (zh) 2018-08-03
US20180192044A1 (en) 2018-07-05
CN108377381A (zh) 2018-08-07
US20180192063A1 (en) 2018-07-05
US20180192022A1 (en) 2018-07-05
US20180192026A1 (en) 2018-07-05
US20180189980A1 (en) 2018-07-05
US10334238B2 (en) 2019-06-25
US20180191868A1 (en) 2018-07-05
CN108366293A (zh) 2018-08-03
CN108391103A (zh) 2018-08-10
CN108419093A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108419142A (zh) Vr视频播放方法及装置
CN110383346B (zh) 使用虚拟视图广播器云生成要流式传输到vr/ar平台的内容
US10049495B2 (en) System and method for providing virtual reality content
CN108282648B (zh) 一种vr渲染方法、装置、穿戴式设备及可读存储介质
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
JP2018523326A (ja) 全球状取込方法
JP2018511971A (ja) 解像度低下画像を生成および使用するならびに／またはそのような画像を再生デバイスまたはコンテンツ配布デバイスに通信するための方法および装置
CN108616557A (zh) 一种全景视频传输方法、装置、终端、服务器及系统
JP2004221700A (ja) 立体画像処理方法および装置
JP6384940B2 (ja) ３ｄ画像の表示方法及びヘッドマウント機器
JP2004007395A (ja) 立体画像処理方法および装置
JP2004007396A (ja) 立体画像処理方法および装置
CN107945101A (zh) 图像处理方法和装置
TW202029742A (zh) 影像合成
JP2020522801A (ja) バーチャル・リアリティ・メディア・コンテンツ内に含める目的での現実世界シーンのカスタマイズされるビューの仮想化プロジェクションを生成するための方法及びシステム
CN108043027A (zh) 存储介质、电子装置、游戏画面的显示方法和装置
WO2019128342A1 (zh) 视频处理方法及装置
CN106648067A (zh) 一种全景视频信息交互方法及系统
JP2004221699A (ja) 立体画像処理方法および装置
US11348252B1 (en) Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
JP2004220127A (ja) 立体画像処理方法および装置
US11315306B2 (en) Systems and methods for processing volumetric data
CN114208201A (zh) 用于传输和渲染3d场景的方法、用于生成补丁的方法以及对应的设备和计算机程序
CN111344744A (zh) 用于展示三维物体的方法以及相关计算机程序产品、数字存储介质和计算机系统
EP4030752A1 (en) Image generation system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180817

WD01 Invention patent application deemed withdrawn after publication