CN108419093A - Vr视频下载方法及装置 - Google Patents

Vr视频下载方法及装置 Download PDF

Info

Publication number
CN108419093A
CN108419093A CN201810004987.2A CN201810004987A CN108419093A CN 108419093 A CN108419093 A CN 108419093A CN 201810004987 A CN201810004987 A CN 201810004987A CN 108419093 A CN108419093 A CN 108419093A
Authority
CN
China
Prior art keywords
resolution
video
download
resolution ratio
code check
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810004987.2A
Other languages
English (en)
Inventor
王焯
唐泳滔
赵若熹
张家齐
祖浩焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sail Technology Co Ltd
Original Assignee
Black Sail Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sail Technology Co Ltd filed Critical Black Sail Technology Co Ltd
Publication of CN108419093A publication Critical patent/CN108419093A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

公开了一种VR视频下载方法，包括：接收第一视频的播放请求；计算平均下载速度；根据所述平均下载速度从所述第一视频对应多个具有不同分辨率和码率的视频片段中选中多个第一视频片段；以及根据所述多个第一视频片段确定所述下载链接；以及根据下载链接下载所述多个第一视频片段。通过平均下载速度确定待下载的视频片段，能够达到减少数据下载量，优化传输的目的。本发明同时提供一种VR视频下载装置。

Description

VR视频下载方法及装置
技术领域
本发明涉及视频处理技术，更具体地，涉及一种VR视频下载方法 及装置。
背景技术
虚拟现实(VR)技术是一种创建和体验虚拟世界的计算机仿系统， 例如，可以根据观察者头、眼和手的跟踪技术呈现相对应的三维实时图 像。在基于网络的虚拟现实技术中，预先将全视角的视频数据存储在服 务器上，然后将全视角的视频数据传送至诸如眼镜之类的显示装置上， 根据观察者的观看位置将相应视角的视频数据显示在显示装置上。
然而，高分辨率的视频数据需要占据大量的传输带宽，并且需要显 示装置具备强大的数据处理能力。由于数据传输带宽和显示装置处理能 力的需求高，因此，现有的视频处理技术对网络和终端设置的要求高， 并且难以实现高分辨率的实时图像显示。
在数据传输总量不变的情况下，如何通过网络预测实现最佳的传输 效果，是业界一直致力解决的问题。
发明内容
有鉴于此，本申请提供VR视频下载方法及装置，基于平均下载速度 和设定码率进行下载选择，以达到传输优化的效果。
根据本发明的第一方面，提供一种VR视频下载方法，包括：
接收第一视频的播放请求；
计算平均下载速度；
根据所述平均下载速度从所述第一视频对应多个具有不同分辨率 和码率的视频片段中选中多个第一视频片段；以及
根据所述多个第一视频片段确定所述下载链接；以及
根据下载链接下载所述多个视频片段。
优选地，还包括：在视频转码过程中生成分辨率与码率的映射表； 以及通过检索所述映射表确定多个第一视频片段。
优选地，所述在视频转码过程中生成所述分辨率与码率的映射表包 括：
定义多个分辨率等级，根据给定的目标分辨率计算所述多个分辨率 等级下的多个分辨率；以及
针对所述给定的目标分辨率的目标码率，计算所述多个分辨率等级 下的所述多个分辨率对应的码率。
优选地，所述定义多个分辨率等级，根据给定的目标分辨率计算所 述多个分辨率等级下的多个分辨率包括：
根据下述方程式计算多个分辨率等级下的多个分辨率，
其中，n表示分辨率等级，R0为最大分辨率，为对 应分辨率等级下的基础视频的分辨率,为对应分辨 率等级下的增强视频的分辨率,q为分辨率比例，Rn{Xn,,Yn}对应分辨率 等级下的分辨率；
所述针对所述给定的目标分辨率的目标码率，计算所述多个分辨率 等级下的所述多个分辨率对应的码率包括：
根据下述方程式计算所述多个分辨率等级下的所述多个分辨率对 应的码率，
对于bitraten，都有：
满足不等式：
其中，bitrate0为最大码率，bitraten，分 别表示对应分辨率等级下的码率、基础视频的码率和增强视频的码率，n 为大于等于1的正整数。
优选地，所述播放请求中包括用户的视场角度，所述多个第一视频 片段具有多个分辨率，所述用户的视场角度决定了所述多个第一视频片 段的分辨率分布。
优选地，位于所述视场角度内的第一视频片段的分辨率大于位于所 述视场角度之外的所述第一视频片段的分辨率。
优选地，所述平均下载速度和所述多个第一视频片段的分辨率分布 正相关。
根据本发明的第二方面，提供一种VR视频下载装置，包括：
请求接收模块，用于接收第一视频的播放请求；
速度计算模块，用于计算平均下载速度；
片段获取模块，用于根据所述平均下载速度从所述第一视频对应多 个具有不同分辨率和码率的视频片段中选中多个第一视频片段；以及
链接生成模块，用于根据所述多个第一视频片段确定所述下载链接； 以及
下载执行模块，用于根据下载链接下载所述多个视频片段。
优选地，还包括：映射表生成模块，用于在视频转码过程中生成分 辨率与码率的映射表，则所述片段获取模块通过检索所述映射表确定多 个第一视频片段。
优选地，所述映射表生成模块包括：
第一计算单元，用于定义多个分辨率等级，并根据给定的目标分辨 率计算所述多个分辨率等级下的多个分辨率；以及
第二计算单元，用于根据所述给定的目标分辨率的目标码率，计算 所述多个分辨率等级下的所述多个分辨率对应的码率。
本发明提供平均下载速度选择适当的分辨率和码率的视频片段用 于下载。由于平均下载速度反映了当前的网络状况，分辨率反映了图像 的精密度，码率反映了单位时间内传送的数据位数，将分辨率、码率和 平均下载速度综合，能够以最优策略选择合适的视频片段，从而达到优 化传输的效果。进一步地，根据用户当前的视场角度选择高分辨率和低 分辨率的视频片段，在降低数据传输量的同时，不会影响到用户的观影 需求。
附图说明
通过参照以下附图对本发明实施例的描述，本发明的上述以及其它 目的、特征和优点将更为清楚，在附图中：
图1是VR播放系统的网络示意图；
图2是适用于图1的VR播放系统的方法的流程图；
图3示出了本发明实施例的VR视频下载方法的流程图；
图4示出了本发明实施例的生成分辨率和码率的映射表的的具体流 程图；
图5示出了本发明实施例的VR视频下载装置的结构图。
具体实施方式
以下将参照附图更详细地描述本发明。在各个附图中，相同的元件 采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按 比例绘制。此外，可能未示出某些公知的部分。
图1是VR播放系统的网络示意图。设备网络10包括通过网络110 耦接的服务器100和显示设备120以及VR设备。服务器100可以例如独 立的计算机服务器或者服务器集群，服务器100用于存储各种视频数据 以及存储处理这些视频数据的各种应用程序。服务器100上例如实时运 行着各种守护进程，一方面，用于处理服务器100上的各种视频数据， 另一方面，用于响应VR设备和显示设备120的各种请求。网络110可以 是任意(一个或多个)网络，例如因特网、局域网和物联网等。显示设 备120例如是一个具有独立显示屏的和一定处理能力的计算机设备，可 以是：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机 计算机、掌上电脑、个人数字助理、智能手机、智能电器、游戏控制台、 iPAD/iPhone、视频播放器、DVD刻录机/播放器、电视机、家庭娱乐 系统或任意其它合适的计算设备。显示设备120可以存储VR播放器软件， 当VR播放器启动后，播放器向服务器100请求和接收各种视频数据，并 且将下载到显示设备端的视频数据在播放器内进行渲染播放。在本例中， VR设备130是一个外接式头显设备，可以和显示设备120以及服务器100 进行各种交互，通过信号传递向显示设备120和/或服务器100传递用户 的一些相关信息，例如，用户当前的视场角度，用户头盔位置的改变、 眼睛视线的变化等等，显示设备120可以根据这些信息能够灵活处理当 前播放的视频数据。在一些实施例里，当用户头盔位置发生改变时，显 示设备120判断用户的核心观影区域发生改变，并在核心观影区域播放 高分辨率的视频数据。
在上述实施例，VR设备130是一个外接式头显设备，但是本领域的 技术人员可以理解到，VR设备130不仅限于此，VR设备130还可以一体 式头显设备。一体式头显设备本身具有显示屏的功能，因此可以不需要 外部的显示设备，例如本例中，如果采用一体式头显设备，即可以省略 显示120。此时，一体式头显设备承担了从服务器100上获取视频数据 以及播放的工作，同时，一体式头显设备检测到用户当前的一些观影角 度变化信息并基于这些观影角度变化信息调整播放工作。
图2是适用于图1的VR播放系统的方法的流程图。该方法包括以下 步骤。
在步骤S10中，服务器端进行源视频数据处理。
在步骤S20中，显示设备端基于和VR设备的交互获得用户的一些相 关信息。
在步骤S30中，显示设备端根据这些相关信息向服务器端请求视频 数据以及接收视频数据。
在步骤S40中，显示设备端基于接收到的视频数据进行渲染处理。
其中，步骤S30完成视频数据的下载步骤。进一步地，本发明提供 一种VR视频下载方法，通过计算平均下载速度预测网络状况，根据码率 生成下载链接，以优化VR视频流的传输。
图3示出了本发明实施例的VR视频下载方法的流程图。具体包括以 下步骤。
在步骤S100中，接收第一视频的播放请求。
本步骤中的第一视频指一个具体视频。
在步骤S200中，计算平均下载速度。
通过统计下载数据量和下载时间，计算平均下载速度。一般地，实 时计算一次平均下载速度，例如，在第一视频的数据开始下载之前，计 算一次平均下载速度，或者，在第一视频的每个视频片段的开始下载之 前，计算一次平均下载速度。
在步骤S300中，根据平均下载速度从第一视频对应多个具有不同分 辨率和码率的视频片段中选中多个第一视频片段。
在服务端的源视频数据处理步骤中，可以将一个完整的源VR视频处 理成多个视频片段，例如，对于源视频进行时间和/或空间上的切割获得 多个视频片段。这些视频片段具有不同的分辨率和码率。当请求该视频 时，可以在不同的分辨率和码率的视频片段中选择出多个第一视频片段。 由此，在本步骤中，根据平均下载速度选择合适的分辨率和码率的视频 片段作为第一视频片段。例如，在平均下载速度较高时，选择分辨率和 码率较大的视频片段作为第一视频片段，在平均下载速度较低时，选择 分辨率和码率较小的视频片段作为第一视频片段。
在步骤S400中，根据多个第一视频片段确定下载链接。
在本步骤中，根据预定的下载策略，确定第一视频的下载链接，该 下载链接中指明待下载的第一视频片段以及下载顺序。例如，将需要下 载的第一视频片段按照码率从小到大的顺序排序进行下载。但本发明不 仅限于此。本领域的技术人员可以根据码率和平均下载速度确定下载策 略，以达到优化视频传输的目的。
在步骤S500中，根据下载链接下载多个第一视频片段。
在本步骤中，执行所述多个第一视频片段的下载操作。
在本实施例中，针对平均速度选择待下载的视频片段并完成下载， 以达到优化视频传输的目的。
在一个可选的实施例中，VR视频下载方法还包括：生成分辨率和码 率的映射表，并通过检索映射表确定多个第一视频片段。该映射表定义 了多个分辨率和码率的对应关系，检索该映射表，可获得视频片段的设 定码率，根据平均下载速度和设定码率确定所述多个第一视频片
段。进一步地，该映射表在视频转码阶段生成。在视频转码过程中， 将原始视频数据处理成多个视频片段，例如处理成需要叠加播放的基础 视频和增强视频。在此过程中，将每个视频片段的码率记录下来，汇总 成分辨率和码率的映射表。
在一个优选的实施例中，播放请求中包括用户的视场角度，多个第 一视频片段具有多个分辨率，用户的视场角度决定了多个第一视频片段 的分辨率分布。例如，假设全景360度的画面，用户的视场角度为135度， 和视场角度相对的画面上播放高分辨率的视频片段，以及位于视场角度 之外的画面上播放低分辨率的视频片段。通过减少高分辨率的视频片段 的下载，以降低数据下载量，达到优化传输的效果。用户的视场角度可 以通过头显设备上的陀螺仪参数获得。
图4示出了本发明实施例的在视频转码阶段，生成分辨率和码率的 映射表的的具体流程图。
在步骤S1001中，定义多个分辨率等级，根据给定的目标分辨率计 算多个分辨率等级下的多个分辨率。
在步骤S1002中，针对给定的目标分辨率的目标码率，计算多个分 辨率等级下的多个分辨率对应的码率。
在步骤S1003中，根据对应的分辨率和码率进行转码，以生成视频 数据的多个分辨率和码率的视频片段。
对于本实施例，通过下述例子加以理解。
假设分辨率等级定义为N,给定的目标分辨率为R0，给定的目标分辨 率的目标码率为bitrate0。对于分辨率等级为1,2,……,N-1级的分辨率， 可以通过Rn和Rn+1之间的比例关系计算获得，最终能够得到所有分辨率 等级下的分辨率：R1,……,RN-1。对于码率，可以通过bitraten和 bitraten+1之间的比例关系得到所有码率，从而获得目标分辨率和码率的映射表。最终在视频数据的转码阶段，使用对应的目标分辨率和码率 进行转码，获得视频数据的视频片段。
本领域的技术人员可以理解，获得分辨率和码率的映射表的方式不 限于此，其他方式，例如可以根据经验设定分辨率和码率之间的映射表。
在下面的示例中，给出了分辨率和码率的数学方程式以及数学方程 式的推导过程。在本示例中，假设视频数据被处理成多个分辨率等级下 的对应分辨率的视频数据，且对应分辨率的视频数据包括基础视频和增 强视频，播放时，叠加基础视频和增强视频。表格1给出了数学方程式 中的变量定义。
表格1
不失一般性我们定义最大分辨率为R0，由用户给定 bitrate0,q,
对应码率满足以下公式关系：
对于bitraten，都有：
有不等式
代入上式，
所以当用户输入bitrate0,q，而且 满足关系时，可生成分辨率与对应码率的映射表。
图5示出了本发明实施例的VR视频下载装置的结构图。该VR视频 下载装置500包括请求接收模块501、速度计算模块502、片段获取模块 503、链接生成模块504和下载执行模块505。
请求接收模块501用于接收第一视频的播放请求。播放请求来自显 示设备或VR设备。播放请求中可以包含当前播放的视频名称以及用户当 前的视场角度。这里第一视频用于泛指一个具体视频。
速度计算模块502用于计算平均下载速度。通过累计下载量和下载 时间计算平均下载速度。
片段获取模块503用于根据平均下载速度从第一视频对应多个具有 不同分辨率和码率的视频片段中选中多个第一视频片段。视频转码阶段 生成第一视频的多个具有不同分辨率和码率的视频片段，片段获取模块 503根据当前的平均下载速度选中其中的视频片段用于下载。一般地，下 载策略设定为在平均下载速度较低的时候选择低码率和分辨率的视频片 段用于下载，在平均下载速度较高时，选择高码率和分辨率的视频片段 用于下载。
链接生成模块504用于根据多个第一视频片段确定下载链接。具体 包括根据预定的下载策略确定视频片段的下载方式以及下载顺序，例如， 先下载分辨率高的视频片段后下载分辨率低的视频片段。
下载执行模块505用于根据下载链接下载多个视频片段。即按照链 接生成模块505输出的下载链接执行下载操作。
优选地，上述VR视频下载装置还包括：映射表生成模块，用于在根 据视频数据生成多个视频片段的过程中，生成分辨率与码率的映射表。 所述映射表生成模块包括：第一计算单元，用于定义多个分辨率等级， 并根据给定的目标分辨率计算多个分辨率等级下的多个分辨率；第二计 算单元，用于针对给定的目标分辨率的目标码率，计算多个分辨率等级 下的多个分辨率对应的码率。
在一个优选的实施例中，播放请求中包括用户的视场角度，多个第 一视频片段具有多个分辨率，用户的视场角度决定了多个第一视频片段 的分辨率分布。
在上述实施例中，通过平均下载速度确定待下载的视频片段，能够 达到减少数据下载量，优化传输的目的。应该指出的是，在VR视频播放 过程中需要不断地下载视频数据，由此，可以不断地根据当前的平均下 载速度选择合适的分辨率和码率的视频片段用于下载，通过动态选择实 现视频传输优化。
本发明实施例虽然以较佳实施例公开如上，但其并不是用来限定权 利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以 做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求 所界定的范围为准。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本 领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神 和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (10)

1.一种VR视频下载方法，包括：
接收第一视频的播放请求；
计算平均下载速度；
根据所述平均下载速度从所述第一视频对应多个具有不同分辨率和码率的视频片段中选中多个第一视频片段；
根据所述多个第一视频片段确定下载链接；以及
根据下载链接下载所述多个第一视频片段。
2.根据权利要求1所述的VR视频下载方法，还包括：在视频转码过程中生成分辨率与码率的映射表；以及通过检索所述映射表确定所述多个第一视频片段。
3.根据权利要求2所述的VR视频下载方法，其中，所述在视频转码过程中生成所述分辨率与码率的映射表包括：
定义多个分辨率等级，根据给定的目标分辨率计算所述多个分辨率等级下的多个分辨率；以及
针对所述给定的目标分辨率的目标码率，计算所述多个分辨率等级下的所述多个分辨率对应的码率。
4.根据权利要求3所述的VR视频下载方法，其中，所述定义多个分辨率等级，根据给定的目标分辨率计算所述多个分辨率等级下的多个分辨率包括：
根据下述方程式计算多个分辨率等级下的多个分辨率，
其中，n表示分辨率等级，R0为最大分辨率，为对应分辨率等级下的基础视频的分辨率,为对应分辨率等级下的增强视频的分辨率,q为分辨率比例，Rn{Xn,,Yn}对应分辨率等级下的分辨率；
所述针对所述给定的目标分辨率的目标码率，计算所述多个分辨率等级下的所述多个分辨率对应的码率包括：
根据下述方程式计算所述多个分辨率等级下的所述多个分辨率对应的码率，
对于bitraten，都有：
满足不等式：
其中，bitrate0为最大码率，bitraten，分别表示对应分辨率等级下的码率、基础视频的码率和增强视频的码率，n为大于等于1的正整数。
5.根据权利要求1所述的VR视频下载方法，其中，所述播放请求中包括用户的视场角度，所述多个第一视频片段具有多个分辨率，所述用户的视场角度决定了所述多个第一视频片段的分辨率分布。
6.根据权利要求5所述的VR视频下载方法，其中，位于所述视场角度内的第一视频片段的分辨率大于位于所述视场角度之外的所述第一视频片段的分辨率。
7.根据权利要求1所述的VR视频下载方法，其中，所述平均下载速度和所述多个第一视频片段的分辨率分布正相关。
8.一种VR视频下载装置，包括：
请求接收模块，用于接收第一视频的播放请求；
速度计算模块，用于计算平均下载速度；
片段获取模块，用于根据所述平均下载速度从所述第一视频对应多个具有不同分辨率和码率的视频片段中选中多个第一视频片段；
链接生成模块，用于根据所述多个第一视频片段确定所述下载链接；以及
下载执行模块，用于根据下载链接下载所述多个视频片段。
9.根据权利要求8所述的VR视频下载装置，还包括：映射表生成模块，用于在视频转码过程中生成分辨率与码率的映射表，则所述片段获取模块通过检索所述映射表确定多个第一视频片段。
10.根据权利要求9所述的VR视频下载装置，其中，所述映射表生成模块包括：
第一计算单元，用于定义多个分辨率等级，并根据给定的目标分辨率计算所述多个分辨率等级下的多个分辨率；以及
第二计算单元，用于根据所述给定的目标分辨率的目标码率，计算所述多个分辨率等级下的所述多个分辨率对应的目标码率。
CN201810004987.2A 2017-01-03 2018-01-03 Vr视频下载方法及装置 Pending CN108419093A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762441936P 2017-01-03 2017-01-03
USUS62/441,936 2017-01-03

Publications (1)

Publication Number Publication Date
CN108419093A true CN108419093A (zh) 2018-08-17

Family

ID=62711388

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201810005392.9A Pending CN108366293A (zh) 2017-01-03 2018-01-03 Vr视频转码方法及装置
CN201810005019.3A Pending CN108419142A (zh) 2017-01-03 2018-01-03 Vr视频播放方法及装置
CN201810005787.9A Pending CN108366272A (zh) 2017-01-03 2018-01-03 Vr视频渲染方法及装置
CN201810005786.4A Pending CN108377381A (zh) 2017-01-03 2018-01-03 沉浸式vr视频渲染方法及装置
CN201810004987.2A Pending CN108419093A (zh) 2017-01-03 2018-01-03 Vr视频下载方法及装置
CN201810005788.3A Pending CN108391103A (zh) 2017-01-03 2018-01-03 Vr视频观影区域划分方法及装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201810005392.9A Pending CN108366293A (zh) 2017-01-03 2018-01-03 Vr视频转码方法及装置
CN201810005019.3A Pending CN108419142A (zh) 2017-01-03 2018-01-03 Vr视频播放方法及装置
CN201810005787.9A Pending CN108366272A (zh) 2017-01-03 2018-01-03 Vr视频渲染方法及装置
CN201810005786.4A Pending CN108377381A (zh) 2017-01-03 2018-01-03 沉浸式vr视频渲染方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810005788.3A Pending CN108391103A (zh) 2017-01-03 2018-01-03 Vr视频观影区域划分方法及装置

Country Status (2)

Country Link
US (6) US20180192022A1 (zh)
CN (6) CN108366293A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155958A1 (zh) * 2019-01-30 2020-08-06 上海哔哩哔哩科技有限公司 测量网速的方法、装置、计算机设备及可读存储介质
CN114466220A (zh) * 2022-01-29 2022-05-10 维沃移动通信有限公司 视频下载方法和电子设备
CN115396731A (zh) * 2022-08-10 2022-11-25 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10331862B2 (en) * 2017-04-20 2019-06-25 Cisco Technology, Inc. Viewport decryption
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN109343518B (zh) * 2018-09-03 2021-07-02 浙江大丰实业股份有限公司 万向车台现场驱动平台
US11128869B1 (en) * 2018-10-22 2021-09-21 Bitmovin, Inc. Video encoding based on customized bitrate table
CN109375369B (zh) * 2018-11-23 2021-05-18 国网天津市电力公司 一种vr巨幕影院模式下的畸变预处理方法
CN111669666A (zh) * 2019-03-08 2020-09-15 北京京东尚科信息技术有限公司 模拟现实的方法、装置和系统
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
CN110336994B (zh) * 2019-07-04 2021-06-22 上海索倍信息科技有限公司 一种裸眼3d显示系统
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN110490962B (zh) * 2019-08-20 2023-09-15 武汉邦拓信息科技有限公司 一种基于视频流的远程渲染方法
CN110544425A (zh) * 2019-09-13 2019-12-06 广州城市职业学院 一种古建筑vr展示系统
CN111489428B (zh) * 2020-04-20 2023-06-30 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
US11245911B1 (en) * 2020-05-12 2022-02-08 Whirlwind 3D, LLC Video encoder/decoder (codec) for real-time applications and size/b and width reduction
CN111754614B (zh) * 2020-06-30 2024-07-02 平安国际智慧城市科技股份有限公司 基于vr视频渲染方法、装置、电子设备及存储介质
CN112468806B (zh) * 2020-11-12 2022-07-26 中山大学 一种用于云vr平台的全景视频传输优化方法
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
CN113347402A (zh) * 2021-06-28 2021-09-03 筑友建筑装饰装修工程有限公司 基于Unity的渲染沉浸式内容的改良方法、装置和存储介质
US11812146B2 (en) * 2021-12-02 2023-11-07 Fotonation Limited Method and system for camera motion blur reduction
CN115002519A (zh) * 2022-05-31 2022-09-02 北京势也网络技术有限公司 一种在低带宽网络下播放8k全景视频文件的方法
CN116880723B (zh) * 2023-09-08 2023-11-17 江西格如灵科技股份有限公司 一种3d场景显示方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120254455A1 (en) * 2011-03-30 2012-10-04 Verizon Patent And Licensing Inc. Downloading video using excess bandwidth
CN103702139A (zh) * 2013-12-13 2014-04-02 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
US20150208103A1 (en) * 2012-08-08 2015-07-23 National University Of Singapore System and Method for Enabling User Control of Live Video Stream(s)
CN105025351A (zh) * 2014-04-30 2015-11-04 深圳Tcl新技术有限公司 流媒体播放器缓冲的方法及装置
US20160191585A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Link-aware streaming adaptation

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3196889B2 (ja) * 1996-09-05 2001-08-06 株式会社アルファ 三次元画像処理方法および三次元画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI262725B (en) * 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
US8907968B2 (en) * 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9196199B2 (en) * 2013-02-12 2015-11-24 Pixtronix, Inc. Display having staggered display element arrangement
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
JP6337614B2 (ja) * 2014-05-23 2018-06-06 セイコーエプソン株式会社 制御装置、ロボット、及び制御方法
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
CN104268922B (zh) * 2014-09-03 2017-06-06 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
CN104616243B (zh) * 2015-01-20 2018-02-27 北京道和汇通科技发展有限公司 一种高效的gpu三维视频融合绘制方法
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN104717507A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种视频转码方法及装置
US10083363B2 (en) * 2015-05-26 2018-09-25 Nbcuniversal Media, Llc System and method for customizing content for a user
US10102666B2 (en) * 2015-06-12 2018-10-16 Google Llc Electronic display stabilization for head mounted display
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
US10674185B2 (en) * 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
CN105916022A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于虚拟现实技术的视频图像处理方法及装置
CN105455285B (zh) * 2015-12-31 2019-02-12 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法
US10412130B2 (en) * 2016-04-04 2019-09-10 Hanwha Techwin Co., Ltd. Method and apparatus for playing media stream on web browser
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN105898565A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 一种视频处理方法及设备
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
CN106060570B (zh) * 2016-06-30 2019-06-14 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106060515B (zh) * 2016-07-14 2018-11-06 腾讯科技（深圳）有限公司 全景媒体文件推送方法及装置
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US20180295375A1 (en) * 2017-04-05 2018-10-11 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
CN107087212B (zh) * 2017-05-09 2019-10-29 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
US20120254455A1 (en) * 2011-03-30 2012-10-04 Verizon Patent And Licensing Inc. Downloading video using excess bandwidth
US20150208103A1 (en) * 2012-08-08 2015-07-23 National University Of Singapore System and Method for Enabling User Control of Live Video Stream(s)
CN103702139A (zh) * 2013-12-13 2014-04-02 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
CN105025351A (zh) * 2014-04-30 2015-11-04 深圳Tcl新技术有限公司 流媒体播放器缓冲的方法及装置
US20160191585A1 (en) * 2014-12-24 2016-06-30 Intel Corporation Link-aware streaming adaptation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020155958A1 (zh) * 2019-01-30 2020-08-06 上海哔哩哔哩科技有限公司 测量网速的方法、装置、计算机设备及可读存储介质
US11374843B2 (en) 2019-01-30 2022-06-28 Shanghai Bilibili Technology Co., Ltd. Method for measuring network speed, computing device, and computer-program product
CN114466220A (zh) * 2022-01-29 2022-05-10 维沃移动通信有限公司 视频下载方法和电子设备
CN115396731A (zh) * 2022-08-10 2022-11-25 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20180192063A1 (en) 2018-07-05
CN108366272A (zh) 2018-08-03
US20180191868A1 (en) 2018-07-05
US20180192022A1 (en) 2018-07-05
CN108419142A (zh) 2018-08-17
CN108377381A (zh) 2018-08-07
CN108391103A (zh) 2018-08-10
US20180192044A1 (en) 2018-07-05
US20180192026A1 (en) 2018-07-05
CN108366293A (zh) 2018-08-03
US20180189980A1 (en) 2018-07-05
US10334238B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
CN108419093A (zh) Vr视频下载方法及装置
US11457263B2 (en) Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN111052750B (zh) 用于点云流传输的方法和装置
CN108156484B (zh) 利用自适应速率分配优先处理基于图块的虚拟现实视频流
CN104782136B (zh) 在云中处理视频数据
KR101732839B1 (ko) 컨텐츠 전달의 세그먼테이션
CN114040230B (zh) 视频码率确定方法、装置、电子设备及其存储介质
CN106709976B (zh) 骨骼动画的生成方法和装置
CN108810052A (zh) 直播服务器的选择方法及装置
CN111665940B (zh) 光标控件控制方法、装置以及相关设备
Forgione et al. DASH for 3D networked virtual environment
US20220254114A1 (en) Shared mixed reality and platform-agnostic format
CN108513090B (zh) 群组视频会话的方法及装置
CN114344898A (zh) 一种游戏中虚拟对象标记的方法和装置
CN116171421A (zh) 平视显示器基于注视跟踪的自动定位
Vats et al. Semantic-aware view prediction for 360-degree videos at the 5g edge
Noh et al. HA 2 RS: HTTP Adaptive Augmented Reality Streaming System
Chen et al. Motion-Prediction-Based Wireless Scheduling for Interactive Panoramic Scene Delivery
Chen et al. Edgevr360: Edge-assisted multiuser-oriented intelligent 360-degree video delivery scheme over wireless networks
Wang et al. Spatial Perceptual Quality Aware Adaptive Volumetric Video Streaming
CN113055721B (zh) 一种视频内容分发方法、装置、存储介质和计算机设备
Caruso et al. An Adaptive Closed-Loop Encoding VNF for Virtual Reality Applications
Athrij et al. Dynamic Load Distribution in web-based AR
Zhou et al. Federated Prompt-based Decision Transformer for Customized VR Services in Mobile Edge Computing System
CN116886952A (zh) 全景视频缓存方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180817

WD01 Invention patent application deemed withdrawn after publication