CN108377381A - 沉浸式vr视频渲染方法及装置 - Google Patents

沉浸式vr视频渲染方法及装置 Download PDF

Info

Publication number
CN108377381A
CN108377381A CN201810005786.4A CN201810005786A CN108377381A CN 108377381 A CN108377381 A CN 108377381A CN 201810005786 A CN201810005786 A CN 201810005786A CN 108377381 A CN108377381 A CN 108377381A
Authority
CN
China
Prior art keywords
matrix
immersion
coordinate data
data
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810005786.4A
Other languages
English (en)
Inventor
王焯
唐泳滔
赵若熹
张家齐
祖浩焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sail Technology Co Ltd
Original Assignee
Black Sail Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sail Technology Co Ltd filed Critical Black Sail Technology Co Ltd
Publication of CN108377381A publication Critical patent/CN108377381A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了一种沉浸式VR视频渲染方法，包括：获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；创建三维模型，获得所述三维模型的原始坐标数据；根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据；基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；像素化所述第二坐标数据，获得像素单元；以及根据VR视频数据和所述像素单元绘制图像。根据本发明，在三维模型中进行坐标点的透镜扭曲，可以在一次处理中实现画面渲染和沉浸式渲染效果，从而提高了渲染效率。同时公开一种沉浸式VR视频渲染装置。

Description

沉浸式VR视频渲染方法及装置
技术领域
本发明涉及视频处理技术，更具体地，涉及一种沉浸式VR视频渲染方法及及装置。
背景技术
虚拟现实(VR)技术是一种创建和体验虚拟世界的计算机仿系统，例如，可以根据观察者头、眼和手的跟踪技术呈现相对应的三维实时图像。在基于网络的虚拟现实技术中，预先将全视角的视频数据存储在服务器上，然后将全视角的视频数据传送至诸如眼镜之类的显示装置上，根据观察者的观看位置将相应视角的视频数据显示在显示装置上。
在显示装置播放时，由于处理高分辨率的VR视频数据需要占用大量的计算资源，由此要求显示装置具备强大的数据处理能力。然而目前市场上的不同型号的显示装置在性能上相差很大，为了兼容不同型号的显示装置，在软件方面应尽可能优化VR播放系统，在不降低用户的观影体验的前提下，降低对资源的耗用，提高处理效率。
发明内容
有鉴于此，本申请提供沉浸式VR视频渲染方法及装置，以解决上述问题。
根据本发明的第一方面，提供一种沉浸式VR视频渲染方法，包括：
获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；
创建三维模型，获得所述三维模型的的原始坐标数据；
根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；
基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；
像素化所述第二坐标数据，获得像素单元；以及
根据VR视频数据和所述像素单元绘制图像。
优选地，所述获得相关参数包括：
根据头显设备的规格和屏幕尺寸获得视场角度参数；
根据所述视场角度参数计算所述透镜扭曲圆心位置；以及
根据所述视场角度参数计算所述投射矩阵。
优选地，所述获得相关参数包括：
所述根据头显设备的规格获得眼距参数；以及
根据所述眼距参数计算所述摄像机矩阵。
优选地，通过调节所述摄像机矩阵和所述投影矩阵达到双目模式的效果。
优选地，所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：
所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：
通过方程式(1)–(4)计算双目模式下左右眼的摄像机矩阵：
left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4view (3)
right_view_matrix＝translate(half_eye_ipd,0,0)*mat4view (4)
left_view_matrix和right_view_matrix分别为左右眼的摄像机矩阵，mat4view表示摄像机矩阵，可根据陀螺仪的旋转角度直接生成， eye_ipd表示眼距参数；
通过方程式(5)计算双目模式下的投射矩阵mat4projection：
其中，fovleft，fovright，fovup，fovdown，far,near表示双目模式下的视场角度参数；
设定mat4model为单位矩阵；
通过方程式(6)计算第一坐标数据
其中，表示第一坐标数据，表示原始坐标数据， Mat4model表示所述模型矩阵，mat4projection表示投射矩阵，将左右眼的摄像机矩阵left_view_matrix和right_view_matrix分别代入到方程式(6)中，获得第一坐标数据
优选地，所述基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据包括以下步骤：
根据下方程式(7)和(8)获得扭曲参数：
K1,K2(7)
根据(9)和(10)和所述扭曲参数得到矫正后的像场坐标(xu,yu) 作为第二坐标数据，当不作切向畸变矫正，可去掉所有含p的项，
xu＝xd+(xd-xc)(K1r2+K2r4+…)+(P1(r2+2(xd-xc)2)+ 2P2(xd-xc)(yd-yc))(1+P3r2+P4r4…) (9)
yu＝yd+(yd-yc)(K1r2+K2r4+…)+(2P1(xd-xc)(yd-yc)+ P2(r2+2(yd-yc)2))(1+P3r2+P4r4…) (10)
其中，(xd,yd)为使用镜头投影的畸变像场坐标，即第一坐标数据， (xu,yu)为矫正后的像场坐标，(xc,yc)为透镜扭曲的圆心位置,Kn为第n个径向畸变系数，Pn为第n个切向畸变系数，r为像素到光轴的距离。
优选地，所述透镜扭曲圆心位置通过下述步骤获得，
运用公式lerp根据t获得两个向量之间的线性插值：
其中，(xl,yl)和(xh,yh)为平面上两点坐标；
根据投射矩阵mat4projection与屏幕尺寸widthwidow*heightwidow，计算所述透镜扭曲圆心位置的坐标
其中坐标为[-1,1]空间坐标轴内的点。
优选地，还包括：添加遮挡黑框。
优选地，还包括：实时获取陀螺仪数据，并在播放过程中进行数据平滑和转角预测以实现防抖。
优选地，数据平滑采用的方程式为：
其中，θt为时间t的融合转动角度，k为融合权重常量，ω为加速度计读出的角速度，为陀螺仪上读出的角度，Δt为输出的时间点和上一个时间点的差；
转角预测采用的方程式为：
θt+1＝θt+θΔ (15)
其中，θt为时间t的融合转动角度，angularSpeed为加速度计读出的角速度，predictionTimeS为常量的预测时间，β为转动预测阈值，所述陀螺仪和所述加速度计设置在头显设备上。
优选地，还包括：调用OpenGL和/或WebGL的相关接口以完成相应步骤。
根据本发明的第二方面，提供一种沉浸式VR视频渲染装置，包括：
参数计算单元，用于获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；
模型创建单元，用于创建三维模型，获得所述三维模型的的原始坐标数据；
坐标计算单元，用于根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据；
透镜扭曲单元，用于基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；
像素化单元，用于像素化所述第二坐标数据，获得像素单元；
图像绘制单元，用于根据VR视频数据和所述像素单元绘制图像。
根据本发明实施例，通过对三维模型的坐标点进行透镜扭曲达到了双目VR沉浸式观影效果，由于在三维模型中进行坐标点的透镜扭曲，可以在一次处理中实现画面渲染和沉浸式渲染效果，从而提高了渲染效率。
附图说明
通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是VR播放系统的网络示意图；
图2是适用于图1的VR播放系统的方法的流程图；
图3是本发明实施例的沉浸式VR视频渲染方法的流程图；
图4是一个头显设备的示例；
图5是图3所述的沉浸式VR视频渲染方法的获得相关参数的具体流程图；
图6是一个计算机处理器和显示器芯片的参数传输过程的示意图；
图7是本发明实施例的VR视频渲染装置的结构图。
具体实施方式
以下将参照附图更详细地描述本发明。在各个附图中，相同的元件采用类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。此外，可能未示出某些公知的部分。
图1是VR播放系统的网络示意图。设备网络10包括通过网络110 耦接的服务器100和显示设备120以及VR设备。服务器100可以例如独立的计算机服务器或者服务器集群，服务器100用于存储各种视频数据以及存储处理这些视频数据的各种应用程序。服务器100上例如实时运行着各种守护进程，一方面，用于处理服务器100上的各种视频数据，另一方面，用于响应VR设备和显示设备120的各种请求。网络110可以是任意(一个或多个)网络，例如因特网、局域网和物联网等。显示设备120例如是一个具有独立显示屏的和一定处理能力的计算机设备，可以是：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机计算机、掌上电脑、个人数字助理、智能手机、智能电器、游戏控制台、 iPAD/iPhone、视频播放器、DVD刻录机/播放器、电视机、家庭娱乐系统或任意其它合适的计算设备。显示设备120可以存储VR播放器软件，当VR播放器启动后，播放器向服务器100请求和接收各种视频数据，并且将下载到显示设备端的视频数据在播放器内进行渲染播放。在本例中， VR设备130是一个外接式头显设备，可以和显示设备120以及服务器100 进行各种交互，通过信号传递向显示设备120和/或服务器100传递当前的一些相关信息，例如，当前的视场角度等参数，用户头盔位置的改变、眼睛视线的变化等等，显示设备120可以根据这些信息能够灵活处理当前播放的视频数据。在一些实施例里，当用户转动头部时，显示设备120 判断用户的核心观影区域发生改变，并在核心观影区域播放高分辨率的视频数据。
在上述实施例，VR设备130是一个外接式头显设备，但是本领域的技术人员可以理解到，VR设备130不仅限于此，VR设备130还可以一体式头显设备。一体式头显设备本身具有显示屏的功能，因此可以不需要外部的显示设备，例如本例中，如果采用一体式头显设备，即可以省略显示120。此时，一体式头显设备承担了从服务器100上获取视频数据以及播放的工作，同时，一体式头显设备检测到用户当前的一些观影角度变化信息并基于这些观影角度变化信息调整播放工作。
图2是适用于图1的VR播放系统的方法的流程图。该方法包括以下步骤。
在步骤S10中，服务器端进行视频数据处理。
在步骤S20中，显示设备端基于和VR设备的交互获得一些相关信息。
在步骤S30中，显示设备端根据这些相关信息向服务器端请求视频数据以及接收视频数据。
在步骤S40中，显示设备端基于接收到的视频数据进行渲染处理.
其中，步骤S40将从服务器获取的视频数据绘制图像实现播放。
图3示出了本发明提供的一种适用于步骤S40的VR视频渲染方法。该沉浸式VR视频渲染方法实现了双目模式的VR播放，具体包括以下步骤。
在步骤S100中，获得相关参数。
例如，根据头显设备和屏幕尺寸计算相关参数。该所述相关参数包括左右透镜的视场角度、摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置等。参见图4，图4是一个头显设备的示例。如图所示，头显设备包括支架和支架上的左右透镜，人眼通过左右透镜获得左右可视区域的图像，由于左右可视区域提供的图像具有差异，人眼获取这种带有差异的信息后在脑海中产生立体感。不同头显设备的规格参数并不相同，一般检索网站或者查询内置的参数文件可获得规格参数，进而根据这些规格参数计算渲染过程中所需得相关参数。
在步骤S200中，创建三维模型，获得三维模型的的原始坐标数据。
本步骤中，可以根据需求创建合适的三维模型，例如，可以创建多边形球面作为三维模型，并且基于多边形球面得到原始坐标数据。
在步骤S300中，根据相关参数和三维模型的原始坐标数据获得第一坐标数据。
在步骤S400中，基于透镜扭曲的圆心位置对第一坐标数据做透镜扭曲，获得第二坐标数据。
步骤S300根据摄像机矩阵、投射矩阵和模型矩阵对原始坐标数据进行矢量运算，获得运算后的坐标数据作为第一坐标数据，而步骤S400则进一步扭曲第一坐标数据，得到第二坐标数据。
在步骤S500中，像素化处理第二坐标数据，获得像素单元。
在本步骤中，将第二坐标数据处理成平面上的像素单元。
在步骤S600中，根据VR视频数据和像素单元绘制图像。
在本步骤中，将从服务器端下载的VR视频数据进行解码，获得其中的像素信息，根据像素信息给像素单元赋值，最终完成图像的绘制。
在本实施例中，针对三维模型中的原始坐标点进行透镜扭曲，进而将像素信息赋值到扭曲后的三维坐标中，从而达到了双目模式下的观影效果，由于在模型处理阶段实现对三维坐标点的透镜扭曲，因而可以在一次处理中实现画面渲染和双目渲染效果，从而相当于现有做法提高了一倍的渲染效率。进一步地，由于根据头显设备的规格和屏幕尺寸等信息获得的相关参数实现对原始坐标点的透镜扭曲，由此，可通过调整这些相关参数调节透镜扭曲效果，达到更好的渲染效果。
在一个优选的实施例中，为了避免用户因为沉浸式观影出现眩晕，上述渲染方法还包括：实时获取陀螺仪数据，并在播放过程中进行数据平滑和转角预测以实现防抖。
在另一个优选的实施例中，上述渲染方法还包括：添加遮挡黑框。遮挡黑框可以参见如图6，添加遮挡黑框能够提高VR观影的沉浸效果。
应该指出的是，本发明实施例的一些步骤可以通过调用OpenGL和 /或WebGL的相关接口实现。然而，由于OpenGL和/或WebGL相应功能主要由显示器芯片实现，而如投射矩阵、摄像机矩阵等相关参数的计算在计算机处理器中完成，因此，当向openGL和/或WebGl传递投射矩阵、摄像机矩阵等相关参数时，需要进行数据传输。具体参见如图6的示意图。
图5是图3所述的沉浸式VR视频渲染方法的获得相关参数的具体流程图，具体包括以下步骤。
在步骤S101中，根据头显设备规格与屏幕尺寸获得视场角度等参数。
在步骤S102中，根据头显设备规格获得眼距参数。
在步骤S103中，获取模型矩阵。
在步骤S104中，计算摄像机矩阵。
在步骤S105中，计算透镜扭曲圆心位置。
在步骤S106中，计算投射矩阵。
其中，透镜扭曲圆心位置和眼距参数可以参见图4。
为了进一步说明上述步骤，在下述示例中提供了一具体的计算步骤。
表格1是变量定义表。
表格1
通过下述方程式能够计算获得第一坐标数据。
1)通过方程式(1)–(4)计算双目模式下左右眼的摄像机矩阵：
left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4view (3)
right_view_matrix＝translate(half_eye_ipd,0,0)*mat4view (4)
其中，mat4view表示摄像机矩阵，可根据陀螺仪的旋转角度直接生成，left_view_matrix和right_view_matrix分别为左右眼的摄像机矩阵，eye_ipd表示眼距参数；
2)通过方程式(5)计算双目模式下的投射矩阵mat4projection：
其中，fovleft，fovright，fovup，fovdown，far,near表示双目模式下的视场角度参数；
3)设定mat4model为单位矩阵；
4)通过方程式(6)计算第一坐标数据
其中，表示第一坐标数据，表示原始坐标数据， mat4model表示所述模型矩阵，mat4projection表示投射矩阵，将左右眼的摄像机矩阵left_view_matrix和right_view_matrix分别代入到方程式(6)中替换mat4view，获得第一坐标数据
对于上述的步骤S400，可以参考以下示例中的计算步骤。
表格2
变量 含义
(xd,yd) 使用镜头投影的畸变像场坐标
(xu,yu) 矫正后的像场坐标(即使用理想针孔相机)
(xc,yc) 畸变中心坐标(即本发明中的透镜扭曲圆心位置)
Kn 第n个径向畸变系数
Pn 第n个切向畸变系数
r 像素到光轴的距离
1)根据头显镜片规格得到扭曲参数：
K1,K2 (7)
配合辅助函数：
可得扭曲参数(K1,K2，…)与反扭曲参数
2)根据Brown模型实现透镜扭曲。
xu＝xd+(xd-xc)(K1r2+K2r4+…)+(P1(r2+2(xd-xc)2)+ 2P2(xd-xc)(yd-yc))(1+P3r2+P4r4…) (9)
yu＝yd+(yd-yc)(K1r2+K2r4+…)+(2P1(xd-xc)(yd-yc)+ P2(r2+2(yd-yc)2))(1+P3r2+P4r4…) (10)
当不作切向畸变矫正，可去掉所有含p的项。
其中，透镜扭曲圆心位置的坐标可通过下述公式进行求解。
对于平面上两点坐标(xl,yl)和(xh,yh)可运用公式lerp根据t获得两个向量之间的线性插值，
配合以下公式，可根据投射矩阵mat4projection与屏幕尺寸 widthwidow*heightwidow，求出透镜扭曲圆心位置的坐标其中坐标为[-1,1]空间坐标轴内的点，
而上述实施例中的数据平滑和转角预测的步骤可以参考以下内容。
表格3
平滑处理公式为：
表格4
变量 含义
θt 时间t的融合转动角度
angularSpeed 加速度计读出的角速度(例如设置在头显设备上)
predictionTimeS 预测时间，常量
β 转动预测阈值
转角预测的公式为：
θt+1＝θt+θΔ (15)
图7是本发明实施例的VR视频渲染装置的结构图。
该沉浸式VR视频渲染装置包括：参数计算单元701、模型创建单元 702、坐标计算单元703、透镜扭曲单元704、像素化单元705和图像绘制单元706。
参数计算单元701用于根据头显设备和屏幕尺寸计算相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置。
模型创建单元702用于创建三维模型，获得三维模型的的原始坐标数据。例如通过WebGL创建三维模型，并初始化UV坐标点。
坐标计算单元703用于根据相关参数和三维模型的原始坐标数据获得第一坐标数据。通过相关参数和三维模型的原始坐标数据的运算，获得第一坐标数据。
透镜扭曲单元704用于基于透镜扭曲的圆心位置对第一坐标数据做透镜扭曲，获得第二坐标数据。即，根据第一坐标数据和左右透镜的圆心位置进行透镜扭曲，得到扭曲后的坐标数据。
像素化单元705用于像素化处理第二坐标数据，获得像素单元。
图像绘制单元706用于根据VR视频数据和像素单元绘制图像。
在本实施例中，通过对三维模型的坐标点进行透镜扭曲达到了双目 VR沉浸式观影效果，在三维模型中进行坐标点的透镜扭曲，可以在一次处理中实现画面渲染和沉浸式渲染效果，从而提高了渲染效率。
本发明实施例虽然以较佳实施例公开如上，但其并不是用来限定权利要求，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种沉浸式VR视频渲染方法，包括：
获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵、模型矩阵和透镜扭曲圆心位置；
创建三维模型，获得所述三维模型的的原始坐标数据；
根据所述相关参数和所述三维模型的原始坐标数据获得第一坐标数据；
基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；
像素化所述第二坐标数据，获得像素单元；以及
根据VR视频数据和所述像素单元绘制图像。
2.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述获得相关参数包括：
根据头显设备的规格和屏幕尺寸获得视场角度参数；
根据所述视场角度参数计算所述透镜扭曲圆心位置；以及
根据所述视场角度参数计算所述投射矩阵。
3.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述获得相关参数包括：
所述根据头显设备的规格获得眼距参数；以及
根据所述眼距参数计算所述摄像机矩阵。
4.根据权利要求1所述的沉浸式VR视频渲染方法，其中，通过调节所述摄像机矩阵和所述投影矩阵达到双目模式的效果。
5.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据包括以下步骤：
通过方程式(1)–(4)计算双目模式下左右眼的摄像机矩阵：
left_view_matrix＝translate(-half_eye_ipd,0,0)*mat4view (3)
right_view_matrix＝translate(half_eye_ipd,0,0)*mat4view (4)
left_view_matrix和right_view_matrix分别为左右眼的摄像机矩阵，mat4view表示摄像机矩阵，可根据陀螺仪的旋转角度直接生成，eye_ipd表示眼距参数；
通过方程式(5)计算双目模式下的投射矩阵mat4projection：
其中，fovleft，fovright，fovup，fovdown，far,near表示双目模式下的视场角度参数；
设定模型矩阵mat4model为单位矩阵；
通过方程式(6)计算第一坐标数据
其中，表示第一坐标数据，表示原始坐标数据，mat4model表示所述模型矩阵，mat4projection表示投射矩阵，将左右眼的摄像机矩阵left_view_matrix和right_view_matrix分别代入到方程式(6)中，获得第一坐标数据
6.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据包括以下步骤：
根据下方程式(7)和(8)获得扭曲参数：
K1,K2 (7)
根据(9)和(10)和所述扭曲参数得到矫正后的像场坐标(xu,yu)作为第二坐标数据，当不作切向畸变矫正，可去掉所有含p的项，
xu＝xd+(xd-xc)(K1r2+K2r4+…)+(P1(r2+2(xd-xc)2)+2P2(xd-xc)(yd-yc))(1+P3r2+P4r4…)(9)
yu＝yd+(yd-yc)(K1r2+K2r4+…)+(2P1(xd-xc)(yd-yc)+P2(r2+2(yd-yc)2))(1+P3r2+P4r4…)(10)
其中，(xd,yd)为使用镜头投影的畸变像场坐标，即第一坐标数据，(xu,yu)为矫正后的像场坐标，(xc,yc)为透镜扭曲的圆心位置,Kn为第n个径向畸变系数，Pn为第n个切向畸变系数，r为像素到光轴的距离。
7.根据权利要求1所述的沉浸式VR视频渲染方法，其中，所述透镜扭曲圆心位置通过下述步骤获得，
运用下述方程式根据t获得两个向量之间的线性插值：
其中，(xl,yl)和(xh,yh)为平面上两点坐标；
采用下述方程式根据投射矩阵mat4projection与屏幕尺寸widthwidow*heightwidow，计算所述透镜扭曲圆心位置的坐标
其中，坐标为[-1,1]空间坐标轴内的点。
8.根据权利要求1所述的沉浸式VR视频渲染方法，还包括：添加遮挡黑框。
9.根据权利要求1所述的沉浸式VR视频渲染方法，还包括：实时获取陀螺仪数据，并在播放过程中进行数据平滑和转角预测以实现防抖。
10.根据权利要求9所述的沉浸式VR视频渲染方法，其中，数据平滑采用的方程式为：
其中，θt为时间t的融合转动角度，k为融合权重常量，ω为加速度计读出的角速度，为陀螺仪上读出的角度，Δt为输出的时间点和上一个时间点的差；
转角预测采用的方程式为：
θt+1＝θt+θΔ (15)
其中，θt为时间t的融合转动角度，angularSpeed为加速度计读出的角速度，predictionTimeS为常量的预测时间，β为转动预测阈值，所述陀螺仪和所述加速度计设置在头显设备上。
11.根据权利要求1所述的沉浸式VR视频渲染方法，还包括：调用OpenGL和/或WebGL的相关接口以完成相应步骤。
12.一种沉浸式VR视频渲染装置，包括：
参数计算单元，用于获得相关参数，所述相关参数包括摄像机矩阵、投射矩阵和透镜扭曲圆心位置；
模型创建单元，用于创建三维模型，获得所述三维模型的的原始坐标数据；
坐标计算单元，用于根据相关参数和所述三维模型的原始坐标数据获得第一坐标数据；
透镜扭曲单元，用于基于所述透镜扭曲的圆心位置对所述第一坐标数据做透镜扭曲，获得第二坐标数据；
像素化单元，用于像素化所述第二坐标数据，获得像素单元；
图像绘制单元，用于根据VR视频数据和所述像素单元绘制图像。
CN201810005786.4A 2017-01-03 2018-01-03 沉浸式vr视频渲染方法及装置 Pending CN108377381A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762441936P 2017-01-03 2017-01-03
USUS62/441,936 2017-01-03

Publications (1)

Publication Number Publication Date
CN108377381A true CN108377381A (zh) 2018-08-07

Family

ID=62711388

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201810005019.3A Pending CN108419142A (zh) 2017-01-03 2018-01-03 Vr视频播放方法及装置
CN201810005392.9A Pending CN108366293A (zh) 2017-01-03 2018-01-03 Vr视频转码方法及装置
CN201810005787.9A Pending CN108366272A (zh) 2017-01-03 2018-01-03 Vr视频渲染方法及装置
CN201810004987.2A Pending CN108419093A (zh) 2017-01-03 2018-01-03 Vr视频下载方法及装置
CN201810005788.3A Pending CN108391103A (zh) 2017-01-03 2018-01-03 Vr视频观影区域划分方法及装置
CN201810005786.4A Pending CN108377381A (zh) 2017-01-03 2018-01-03 沉浸式vr视频渲染方法及装置

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201810005019.3A Pending CN108419142A (zh) 2017-01-03 2018-01-03 Vr视频播放方法及装置
CN201810005392.9A Pending CN108366293A (zh) 2017-01-03 2018-01-03 Vr视频转码方法及装置
CN201810005787.9A Pending CN108366272A (zh) 2017-01-03 2018-01-03 Vr视频渲染方法及装置
CN201810004987.2A Pending CN108419093A (zh) 2017-01-03 2018-01-03 Vr视频下载方法及装置
CN201810005788.3A Pending CN108391103A (zh) 2017-01-03 2018-01-03 Vr视频观影区域划分方法及装置

Country Status (2)

Country Link
US (6) US20180191868A1 (zh)
CN (6) CN108419142A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109375369A (zh) * 2018-11-23 2019-02-22 国网天津市电力公司 一种vr巨幕影院模式下的畸变预处理方法
CN113347402A (zh) * 2021-06-28 2021-09-03 筑友建筑装饰装修工程有限公司 基于Unity的渲染沉浸式内容的改良方法、装置和存储介质
CN114302214A (zh) * 2021-01-18 2022-04-08 海信视像科技股份有限公司 一种虚拟现实设备及防抖动录屏方法
CN116880723A (zh) * 2023-09-08 2023-10-13 江西格如灵科技股份有限公司 一种3d场景显示方法及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10331862B2 (en) * 2017-04-20 2019-06-25 Cisco Technology, Inc. Viewport decryption
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) * 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN109343518B (zh) * 2018-09-03 2021-07-02 浙江大丰实业股份有限公司 万向车台现场驱动平台
US11128869B1 (en) * 2018-10-22 2021-09-21 Bitmovin, Inc. Video encoding based on customized bitrate table
CN111510777B (zh) * 2019-01-30 2021-11-23 上海哔哩哔哩科技有限公司 测量网速的方法、装置、计算机设备及可读存储介质
CN111669666A (zh) * 2019-03-08 2020-09-15 北京京东尚科信息技术有限公司 模拟现实的方法、装置和系统
CN111866485A (zh) * 2019-04-25 2020-10-30 中国移动通信有限公司研究院 立体画面投影和传输方法、装置和计算机可读存储介质
CN110336994B (zh) * 2019-07-04 2021-06-22 上海索倍信息科技有限公司 一种裸眼3d显示系统
CN110381331A (zh) * 2019-07-23 2019-10-25 深圳市道通智能航空技术有限公司 一种图像处理方法、装置、航拍设备及存储介质
CN110490962B (zh) * 2019-08-20 2023-09-15 武汉邦拓信息科技有限公司 一种基于视频流的远程渲染方法
CN110544425A (zh) * 2019-09-13 2019-12-06 广州城市职业学院 一种古建筑vr展示系统
CN111489428B (zh) * 2020-04-20 2023-06-30 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
US11245911B1 (en) * 2020-05-12 2022-02-08 Whirlwind 3D, LLC Video encoder/decoder (codec) for real-time applications and size/b and width reduction
CN111754614A (zh) * 2020-06-30 2020-10-09 平安国际智慧城市科技股份有限公司 基于vr视频渲染方法、装置、电子设备及存储介质
CN112468806B (zh) * 2020-11-12 2022-07-26 中山大学 一种用于云vr平台的全景视频传输优化方法
CN114466220A (zh) * 2022-01-29 2022-05-10 维沃移动通信有限公司 视频下载方法和电子设备
CN115396731A (zh) * 2022-08-10 2022-11-25 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
CN105455285A (zh) * 2015-12-31 2016-04-06 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法
US20160350609A1 (en) * 2015-05-26 2016-12-01 Nbcuniversal Media, Llc System and method for customizing content for a user
US20160364904A1 (en) * 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3196889B2 (ja) * 1996-09-05 2001-08-06 株式会社アルファ 三次元画像処理方法および三次元画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI262725B (en) * 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
US8862763B2 (en) * 2011-03-30 2014-10-14 Verizon Patent And Licensing Inc. Downloading video using excess bandwidth
US8907968B2 (en) * 2011-03-31 2014-12-09 Panasonic Corporation Image rendering device, image rendering method, and image rendering program for rendering stereoscopic panoramic images
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
SG11201500943PA (en) * 2012-08-08 2015-03-30 Univ Singapore System and method for enabling user control of live video stream(s)
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9196199B2 (en) * 2013-02-12 2015-11-24 Pixtronix, Inc. Display having staggered display element arrangement
CN103702139B (zh) * 2013-12-13 2017-02-01 华中科技大学 一种移动环境下基于可扩展编码的视频点播系统
US9398250B2 (en) * 2014-01-06 2016-07-19 Arun Sobti & Associates, Llc System and apparatus for smart devices based conferencing
CN105025351B (zh) * 2014-04-30 2018-06-29 深圳Tcl新技术有限公司 流媒体播放器缓冲的方法及装置
JP6337614B2 (ja) * 2014-05-23 2018-06-06 セイコーエプソン株式会社 制御装置、ロボット、及び制御方法
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
CN104268922B (zh) * 2014-09-03 2017-06-06 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置
US10812546B2 (en) * 2014-12-24 2020-10-20 Intel IP Corporation Link-aware streaming adaptation
CN104616243B (zh) * 2015-01-20 2018-02-27 北京道和汇通科技发展有限公司 一种高效的gpu三维视频融合绘制方法
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
CN104717507A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种视频转码方法及装置
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US9956054B2 (en) * 2015-06-25 2018-05-01 EchoPixel, Inc. Dynamic minimally invasive surgical-aware assistant
US10674185B2 (en) * 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
CN106919248A (zh) * 2015-12-26 2017-07-04 华为技术有限公司 应用于虚拟现实的内容传输方法以及设备
CN105916022A (zh) * 2015-12-28 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于虚拟现实技术的视频图像处理方法及装置
US10412130B2 (en) * 2016-04-04 2019-09-10 Hanwha Techwin Co., Ltd. Method and apparatus for playing media stream on web browser
US10313417B2 (en) * 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
CN105898565A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 一种视频处理方法及设备
US9721393B1 (en) * 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
CN106060570B (zh) * 2016-06-30 2019-06-14 北京奇艺世纪科技有限公司 一种全景视频图像播放、编码方法及装置
CN106060515B (zh) * 2016-07-14 2018-11-06 腾讯科技（深圳）有限公司 全景媒体文件推送方法及装置
CN106231317A (zh) * 2016-09-29 2016-12-14 三星电子（中国）研发中心 视频处理、解码方法和装置、vr终端、视频播放系统
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US20180295375A1 (en) * 2017-04-05 2018-10-11 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
CN107087212B (zh) * 2017-05-09 2019-10-29 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240281A (zh) * 2014-08-28 2014-12-24 东华大学 一种基于Unity3D引擎的虚拟现实头戴式设备
US20160350609A1 (en) * 2015-05-26 2016-12-01 Nbcuniversal Media, Llc System and method for customizing content for a user
US20160364904A1 (en) * 2015-06-12 2016-12-15 Google Inc. Electronic display stabilization for head mounted display
CN105455285A (zh) * 2015-12-31 2016-04-06 北京小鸟看看科技有限公司 一种虚拟现实头盔适配方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109375369A (zh) * 2018-11-23 2019-02-22 国网天津市电力公司 一种vr巨幕影院模式下的畸变预处理方法
CN114302214A (zh) * 2021-01-18 2022-04-08 海信视像科技股份有限公司 一种虚拟现实设备及防抖动录屏方法
CN113347402A (zh) * 2021-06-28 2021-09-03 筑友建筑装饰装修工程有限公司 基于Unity的渲染沉浸式内容的改良方法、装置和存储介质
CN116880723A (zh) * 2023-09-08 2023-10-13 江西格如灵科技股份有限公司 一种3d场景显示方法及系统
CN116880723B (zh) * 2023-09-08 2023-11-17 江西格如灵科技股份有限公司 一种3d场景显示方法及系统

Also Published As

Publication number Publication date
US20180192026A1 (en) 2018-07-05
US20180191868A1 (en) 2018-07-05
US20180192063A1 (en) 2018-07-05
US20180192022A1 (en) 2018-07-05
US20180189980A1 (en) 2018-07-05
CN108419142A (zh) 2018-08-17
US20180192044A1 (en) 2018-07-05
CN108366272A (zh) 2018-08-03
US10334238B2 (en) 2019-06-25
CN108366293A (zh) 2018-08-03
CN108419093A (zh) 2018-08-17
CN108391103A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN108377381A (zh) 沉浸式vr视频渲染方法及装置
JP7415931B2 (ja) 画像周辺領域内のリアルタイム圧縮による画像表示制御
US10460459B2 (en) Stitching frames into a panoramic frame
US20210075963A1 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US9911214B2 (en) Display control method and display control apparatus
WO2017110632A1 (ja) 情報処理装置および操作受付方法
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
CN105916060A (zh) 数据传输的方法、装置及系统
US20200404244A1 (en) Methods and Apparatus for Capturing Images of an Environment
CN107908278B (zh) 一种虚拟现实vr界面生成的方法和装置
GB2528699A (en) Image processing
CN108702454A (zh) 选择运载工具捕获的视频的部分以用于显示
CN108282694A (zh) 全景视频渲染方法、装置及电子设备
CN106291953B (zh) 显示控制方法和装置
CN112468796A (zh) 注视点生成方法、系统及设备
CN109978945B (zh) 一种增强现实的信息处理方法和装置
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
US11490129B2 (en) Creating multi-camera panoramic projections
CN106648067A (zh) 一种全景视频信息交互方法及系统
CN112788317A (zh) 一种播放全景视频的方法、系统、存储介质及播放设备
CN106210859B (zh) 全景视频渲染方法和装置
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
WO2023130809A1 (zh) 画面显示方法、装置、终端、存储介质及程序产品
CN107452045B (zh) 基于虚拟现实应用反畸变网格的空间点映射方法
JP7429515B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180807

WD01 Invention patent application deemed withdrawn after publication