CN107396081A - 针对全景视频的优化编码方法及装置 - Google Patents

针对全景视频的优化编码方法及装置 Download PDF

Info

Publication number
CN107396081A
CN107396081A CN201710464645.4A CN201710464645A CN107396081A CN 107396081 A CN107396081 A CN 107396081A CN 201710464645 A CN201710464645 A CN 201710464645A CN 107396081 A CN107396081 A CN 107396081A
Authority
CN
China
Prior art keywords
coding unit
panoramic video
video file
coding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710464645.4A
Other languages
English (en)
Other versions
CN107396081B (zh
Inventor
韩宇星
温江涛
唐敏豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Platinum Rock Technology Co Ltd
Original Assignee
Shenzhen Platinum Rock Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Platinum Rock Technology Co Ltd filed Critical Shenzhen Platinum Rock Technology Co Ltd
Priority to CN201710464645.4A priority Critical patent/CN107396081B/zh
Priority to US15/707,348 priority patent/US10499082B2/en
Publication of CN107396081A publication Critical patent/CN107396081A/zh
Application granted granted Critical
Publication of CN107396081B publication Critical patent/CN107396081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种针对全景视频的优化编码方法及装置，用以解决现有技术无法在较低码率下无法保证视频质量的技术问题。所述方法包括：获取全景视频文件的每一编码单元的属性信息，其中，编码单元是所述全景视频文件的存储以及编码单位；根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式；根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。

Description

针对全景视频的优化编码方法及装置
技术领域
本发明涉及视频领域，具体地，涉及一种针对全景视频的优化编码方法及装置。
背景技术
全景视频指的是超过一般视野的广角视频内容。例如，环形或者柱形360度视频，提供了水平方向360度的视野。全景视频具有立体感和真实感，能够很好的提供视觉体验。
全景视频的录制有多种方法，其中，采用多个镜头或者摄像机可以获得高视频质量，但生成的视频文件通常会是普通视频文件大小的三到四倍，甚至更多。这对存储和网络传输都带来巨大挑战，尤其在网络传输过程中过高的带宽需求往往无法达到。
实际上，随着VR(Virtual Reality，虚拟现实)技术的发展，“全景视频”这个词汇逐渐被很多人当作了虚拟现实内容具体呈现形式的主要代名词。而如何在保证视频质量的情况下，降低视频文件的大小，节省带宽，成为了VR技术的热门研究问题。
由于网络带宽限制以及网络传输的成本控制，全景视频需要被压缩至较低码率，但是，VR技术为了给用户沉浸式的体验，其对全景视频的质量要求很高，当前的视频编码标准将全景视频压缩至该码率时视频质量降低无法满足VR技术需求。
发明内容
本发明的目的是提供一种针对全景视频的优化编码方法及装置，用以解决现有技术在较低码率下无法保证视频质量的技术问题。
为了实现上述目的，本发明提供一种针对全景视频的优化编码方法，包括：
获取全景视频文件的每一编码单元的属性信息，其中，编码单元是所述全景视频文件的存储及编码单位；根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式；根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。
在结合第一方面的第一种可能的实现方式中，所述全景视频文件是根据立方体图像投影方式处理全景视频流得到并存储的视频文件，其中，所述全景视频文件包括多个独立存储的子视频文件，所述获取全景视频的每一编码单元的属性信息包括：采用预压缩方式获取所述子视频文件的每一编码单元的运动矢量信息，所述属性信息包括所述运动矢量信息。
在结合第一方面的第二种可能的实现方式中，所述全景视频文件是根据球面Equirectangular投影方式处理全景视频流得到并存储的视频文件，所述获取全景视频的每一编码单元的属性信息包括：根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，所述属性信息包括优化后的所述编码权重参数。
结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式包括：根据所述编码单元的运动矢量信息确定所述编码单元满足低运动强度条件，确定所述编码单元对应的编码方式为低码率的编码方式。
结合第一方面的第一或者第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述方法还包括：预测在播放所述全景视频时，观看者每一时刻的观看方向；在观看的任一时刻，根据第一流传输方式传输观看者下一时刻的观看方向上的子视频文件，并根据第二流传输方式传输观看者下一时刻的观看方向以外的子视频文件，其中，所述第一流传输方式的帧速率大于所述第二流传输方式。
结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述预测在观看所述全景视频时，每一时刻被观看到的子视频文件，包括：获取所述全景视频文件的历史观看信息；根据所述历史观看信息预测观看者每一时刻的观看方向。
结合第一方面的第二种可能的实现方式，在第一方面的第六种可能的实现方式中，所述根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，包括：通过以下计算优化所述编码权重参数：
Di表示第i个像素的失真度，Ri是第i个像素占用的比特数，是第i个像素的纬度，是所述编码单元中的每个像素的纬度的余弦值的平均值，R是所述编码单元占用的总的比特数，其中，上式的最优解对应的Di和Ri也是下式的解：
λ为分配给所述编码单元的编码权重参数，最小化J是率失真优化RDO的优化目标。
结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述根据所述编码单元的属性信息确定对应所述编码单元的编码方式，包括：根据优化后的所述编码权重参数通过以下算式计算所述编码单元的量化参数QP：其中，QP决定了所述编码单元在编码后的失真度；根据所述量化参数确定所述编码单元对应的编码方式。
本发明第二方面还提供一种针对全景视频的优化编码装置，包括：
第一获取单元，用于获取全景视频文件的每一编码单元的属性信息，其中，编码单元是所述全景视频文件的存储及编码单位；
确定单元，用于根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式；
编码单元，用于根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。
可选地，所述编码装置包括用于执行上述第一方面的任一种可能的实现方式中的方法的单元。
本发明第三方面还提供另一种全景视频的编码装置，包括：处理器、存储器、接口和通信总线；所述处理器、所述存储器和所述接口通过所述通信总线通信；所述存储器用于存储程序代码，所述处理器用于运行所述程序代码，以执行上述第一方面或第一方面的任一可能的实现方式中的方法。
通过上述技术方案，获取全景视频文件每一编码单元的属性信息，并根据不同的属性信息对编码单元采用不同的编码方式进行编码，这样，对于运动强度低或者用户观看视野范围边缘的编码单元，可以采用低码率的编码方式对其进行编码，对于运动强度高或者用户观看视野范围中心的编码单元，可以采用高码率的编码方式对其进行编码，从而保证了全景视频编码后的质量，同时降低了全景视频的编码率，降低了视频文件的大小，节省了视频流传输时占用的带宽。
具体地，本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明实施例提供的一种立方体图像投影的示意图；
图2是本发明实施例提供的一种球面投影的示意图；
图3是本发明实施例提供的一种针对全景视频的优化编码方法的流程示意图；
图4是本发明实施例提供的一种全景视频流的结构示意图；
图5是本发明实施例提供的另一种针对全景视频的优化编码方法的流程示意图；
图6A是本发明实施例提供的一种针对全景视频的优化编码装置的结构示意图；
图6B是本发明实施例提供的另一种针对全景视频的优化编码装置的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
为了使本领域的技术人员更容易理解本发明实施例提供的技术方案相较现有技术所具有的改进，下面首先对现有技术以及相关的技术术语进行简单介绍。
投影(Projection)是指能够正确地展开全物理视域的真实场景到一张二维图片上，并且能够还原到VR眼镜中实现沉浸式观看的数学过程。
立方体图像投影(Cube Map Projection)是把全景图像投影成正方体的六个面，每个面的水平和垂直视角均为90度，如图1所示，全景图像包括1至6共六幅图片，将该全景图像投影成六面正方体的过程即为立方体图像投影，这样，若观察者在立方体的中心点，则1至6共六幅图片分别为观察者前后左右以及上下六个方向的图像。采用立方体图像投影可以降低物体变形，提高压缩能力，并且，六个面是完全独立的，可以分别进行处理。
球面投影(Equirectangular Projection)：如图2所示，将球面的世界地图投影为二维的世界地图的过程即采用了球面投影。球面投影的特点是水平视角的图像尺寸可以得到很好的保持，而垂直视角上，尤其是接近两极的时候会发生无限的尺寸拉伸。
现有的HEVC编码通常使用下采样策略对全景视频的帧图像进行采样。其中，下采样需要首先确定全景视频的帧图像中的用户感兴趣区域RoI(region-of-interest)，其中，RoI是在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆或者不规则多边形等方式勾勒出的需要处理的区域。在机器视觉软件上常用到各种算法和函数来求得RoI，并进行图像的下一步处理。
具体地，现有的HEVC编码对感兴趣区域RoI内的像素以及RoI以外的像素采用不同的编码，与H.264/AVC压缩方式相比，大约能够节省50％的比特，但是，HEVC的编码效率仍然无法达到VR视频的要求。人类的视觉系统能够分辨每度60个像素，因此，若想要用户在显示器中看不到像素点，则该显示器至少需要16000×16000的分辨率，是目前4K视频的32倍，这是目前的HEVC编码无法达到的。
另外，由于不是所有图像均存在RoI，并且某些图像的RoI不断变化导致无法追踪，因此，下采样策略不适用于所有全景视频文件。
本发明实施例为了解决上述技术问题，提供了一种针对全景视频的优化编码方法，如图3所示，该方法包括：
S301、获取全景视频文件的每一编码单元的属性信息。
其中，编码单元是所述全景视频文件的存储及编码单位。
值得说明的是，所述全景视频文件可以全景视频流经过立方体图像投影得到并存储的视频文件，也可以是经过球面投影得到并存储的视频文件。
在所述全景视频文件是全景视频流经过立方体图像投影得到并存储的视频文件的情况下，所述属性信息可以包括编码单元的运动矢量信息；在所述全景视频文件是全景视频流经过球面投影得到并存储的视频文件的情况下，所述属性信息可以包括编码单元的编码权重参数，其中，所述编码权重参数与编码单元在播放时的实际显示面积相关，也可以认为是与编码单元在全景视频的球面上的维度相关。
S302、根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式。
值得说明的是，编码方式是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。目前，视频流传输中有多种编码方式，例如，国际电联的H.261、H.263、H.264等编码标准，每一种编码方式对视频的码率不同。
S303、根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。
采用上述技术方案，获取全景视频文件每一编码单元的属性信息，并根据不同的属性信息对编码单元采用不同的编码方式进行编码，这样，对于运动强度低或者用户观看视野范围边缘的编码单元，可以采用低码率的编码方式对其进行编码，对于运动强度高或者用户观看视野范围中心的编码单元，可以采用码率高的编码方式对其进行编码，从而保证了全景视频编码后的质量，同时降低了全景视频的编码率，降低了视频文件的大小，节省了视频流传输时占用的带宽。
为了使本领域技术人员更容易理解本发明实施例提供的技术方案，下面对上述步骤进行详细的说明。
在本发明实施例的一种可能的实现方式中，所述全景视频文件是根据立方体图像投影方式处理全景视频流得到并存储的视频文件，其中，所述全景视频文件包括多个独立存储的子视频文件，则上述步骤S301包括：采用预压缩方式获取所述子视频文件的每一编码单元的运动矢量信息，所述属性信息包括所述运动矢量信息。
以图1所示的全景视频进行举例说明，全景视频文件包括1至6共六个独立的子视频文件。运动强度高的视频需要高的帧速率以保证用户的观看效果。本发明实施例采用低复杂度的预压缩方式处理编码单元可以分析得到编码单元的运动矢量信息，根据运动矢量信息，可以确定编码单元的运动强度。
进一步地，上述步骤S302包括：根据所述编码单元的运动矢量信息确定所述编码单元满足低运动强度条件，确定所述编码单元对应的编码方式为低码率的编码方式。
示例地，在通过预压缩处理得到编码单元的运动矢量信息后，可以通过以下计算确定该编码单元的运动强度：
mean(abs(mv.x))＜0.1％FrameWidth；
mean(abs(mv.y))＜0.1％FrameHeight；
max(abs(mv.x))＜0.1％FrameWidth；
max(abs(mv.y))＜0.1％FrameHeight。
其中，mv.x是指像素在水平方向上的运动矢量，mv.y是指像素在垂直方向上的运动矢量，abs是指求绝对值，mean是指求平均值，max是指求最大值，FrameWidth是指帧图像的宽度，FrameHeight是指帧图像的高度。
也就是说，满足上述条件的编码单元的运动强度较低，可以采用较少的比特对其进行编码。
相比现有技术中基于RoI的编码方法，本发明提供的上述编码方法无需RoI，因此，适用范围更广，也就是说，对于不存在RoI，或者RoI无法跟踪的图像，本发明实施例同样适用。并且，由于只需要获取运动矢量信息，因此本发明实施例可以只对所有16×16的像素矩阵内的2N×2N模型进行预压缩，这样，预压缩的速度可以数百倍高于HEVC编码，不会影响到视频编码的效率。
为了进一步减少全景视频文件在流传输时占用的带宽，本发明实施例还可以预测用于在观看所述全景视频时，观察者在每一时刻的观看方向，并在观看的任一时刻，根据第一流传输方式传输观察者下一时刻的观看方向上的子视频文件，根据第二流传输方式传输观察者下一时刻的观看方向以外的子视频文件，其中，所述第一流传输方式的帧速率大于所述第二流传输方式。
示例地，图4示出了视频编码后POC(picture order count，图像序列号)为0至8的帧，其中，独立编码帧叫I帧(I-frame)，参考之前的I帧生成的单向预测帧叫P帧(P-frame)，还有一种参考前后的帧编码生成的双向预测帧叫B帧(B-frame)，而b帧(b-frame)不会被其他帧参考，也就是说，前一个b帧解码出错后，不会影响之后任一个帧的解码。这样，所述第二流传输方式即可以是在流传输时跳过b帧只传输I帧、P帧和B帧的方式。由图4所示，b帧占据了流传输帧接近一半的数量，因此，不传输b帧将节省接近一半的带宽。
可选地，本发明实施例可以获取所述全景视频文件的历史观看信息，并根据所述历史观看信息预测观看者每一时刻的观看方向。
具体地，用于观看全景视频的设备，例如VR眼镜或者VR头盔可以记录下每次用户的历史观看信息，基于该历史观看信息本发明实施例可以统计出用户在每一时刻的观看方向，进而预测用户下一次观看时，在每一时刻的观看方向。
示例地，根据历史观看信息，本发明实施例可以将用户的观看行为分为三类：四处张望，注视感兴趣区域，追随感兴趣区域。其中，用户在四处张望时，视野中心在一个大的区域内移动，在此种情况下，全景视频文件的每一子视频文件均可以采用上述第一流传输方式。而用户在注视感兴趣区域时，视野只会轻微的移动，因此，在此种情况下，感兴趣区域所在的子视频文件可以采用上述第一流传输方式，而其他子视频文件则可以采用上述第二流传输方式，以节省带宽。用户在追随感兴趣区域的情况下，下一时刻出现该感兴趣区域的子视频文件可以采用上述第一流传输方式，而下一时刻不存在感兴趣区域的子视频文件则可采用上述第二流传输方式。
上述只是举例说明，本发明实施例还可以采用其他方式预测每一时刻用户的观看方向。例如，在用户佩戴VR眼镜时，实时地判断当前处于用户视野正前方的子视频文件，并基于用户当前的观看行为对用户下一时刻观看的方向进行预测。本发明对此不做限定。
也就是说，如图5所示，针对立方体图像投影得到的全景视频文件，本发明实施例提供的全景视频编码可以包括以下步骤：
S501、获取全景视频文件每一子视频文件的编码单元的运动矢量信息。
参照上述对步骤S301的具体描述，此处不再赘述。
S502、根据所述运动矢量信息确定所述编码单元满足低运动强度条件。
S503、采用低码率的编码方式对所述编码单元进行编码。
具体参照上述对步骤S302的描述，此处不再赘述。
进一步地，本发明实施例还可以在对所述全景视频文件进行流传输时，执行步骤S504至S505。
S504、获取历史观看信息，并根据所述历史观看信息预测用户每一时刻的观看方向。
S505、在用户观看过程中的任一时刻，根据第一流传输方式传输用户下一时刻观看方向上的子视频文件，根据第二流传输方式传输用户下一时刻观看方向以外的子视频文件。
具体参照上述对图4的描述，此处不再赘述。
采用上述方法，通过在视频编码阶段针对编码单元的运动强度对编码单元采用不同的编码方式，以及在流传输阶段针对用户的观看行为对子视频文件采用不同的流传输方式，在保证视频质量不影响用户体验的前提下，降低了全景视频文件的大小以及传输带宽。
在本发明实施例的另一种可能的实现方式中，所述全景视频文件是根据球面投影方式处理全景视频流得到并存储的视频文件，则上述步骤S301包括：根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，所述属性信息包括优化后的所述编码权重参数。
值得说明的是，现有的HEVC编码方式，对于球面投影得到的全景视频文件，分配帧级别的量化参数QP，该量化参数QP基本决定了视频数据编码后的失真度D。并且，现有的HEVC编码方式综合考虑了视频失真度以及编码率，采用(D+λR)作为优化目标。其中，λ的取值是由QP决定的，当(D+λR)的值最小时，达到最优。但是，现有技术为每个编码单元分配QP是等权重的，位于两极的编码单元和零纬度的编码单元的QP相同。
本发明实施例中，质量参数QP的分配依据纬度进行，使得越靠近两极的数据占用的比特越少，纬度越低的数据占用的比特越多。
具体地，所述根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，包括：
通过以下计算优化所述编码权重参数：
其中，Di表示第i个像素的失真度，Ri是第i个像素占用的比特数，是第i个像素的纬度，是所述编码单元中的每个像素的纬度的余弦值的平均值，R是所述编码单元占用的总的比特数，其中，上式的最优解对应的Di和Ri也是下式的解：
λ为分配给所述编码单元的编码权重参数，最小化J是RDO(the rate constraineddistortion optimization，率失真优化)的优化目标。
由上述可知，本发明实施例分配的QP是编码单元级别的，优化目标J综合考虑了编码单元的失真度以及编码率。J取值越小，表明对该编码单元的编码最优，与现有技术分配帧级别的QP相比，本发明实施例中λ的最优值将增大倍。
进一步地，所述根据所述编码单元的属性信息确定对应所述编码单元的编码方式，包括：根据优化后的所述编码权重参数通过以下算式计算所述编码单元的量化参数QP：其中，QP直接决定了所述编码单元在编码后的失真度；根据所述量化参数确定所述编码单元对应的编码方式。
采用上述方法，对于经过球面投影得到的全景视频文件，越靠近两极的数据占用的比特越少，纬度越低的数据占用的比特越多，在保证视频质量不影响用户体验的前提下，降低了全景视频文件的大小以及传输带宽。
本发明实施例还提供一种针对全景视频的优化编码装置600，用于实施上述方法实施例提供针对全景视频的优化编码方法，如图6A所示，所述针对全景视频的优化编码装置600包括：
第一获取单元601，用于获取全景视频文件的每一编码单元的属性信息，其中，编码单元是所述全景视频文件的存储及编码单位；
确定单元602，用于根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式；
编码单元603，用于根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。
采用上述装置，该装置获取全景视频文件每一编码单元的属性信息，并根据不同的属性信息对编码单元采用不同的编码方式进行编码，这样，对于运动强度低或者用户观看视野范围边缘的编码单元，可以采用低码率的编码方式对其进行编码，对于运动强度高或者用户观看视野范围中心的编码单元，可以采用高码率的编码方式对其进行编码，从而保证了全景视频编码后的质量，同时降低了全景视频的编码率，降低了视频文件的大小，节省了视频流传输时占用的带宽。
可选地，所述全景视频文件是根据立方体图像投影方式处理全景视频流得到并存储的视频文件，其中，所述全景视频文件包括多个独立存储的子视频文件，所述第一获取单元601用于：采用预压缩方式获取所述子视频文件的每一编码单元的运动矢量信息，所述属性信息包括所述运动矢量信息。
可选地，所述确定单元602用于：根据所述编码单元的运动矢量信息确定所述编码单元满足低运动强度条件，确定所述编码单元对应的编码方式为低码率的编码方式。
可选地，如图6B所示，所述装置600还包括：
预测单元604，用于预测在播放所述全景视频时，观看者每一时刻的观看方向；流传输单元605，用于在观看的任一时刻，根据第一流传输方式传输观看者下一时刻的观看方向上的子视频文件，并根据第二流传输方式传输观看者下一时刻的观看方向以外的子视频文件，其中，所述第一流传输方式的帧速率大于所述第二流传输方式。
可选地，如图6B所示，所述装置600还包括：第二获取单元606，用于获取所述全景视频文件的历史观看信息；所述预测单元604用于，根据所述历史观看信息预测观看者每一时刻的观看方向。
可选地，所述全景视频文件是根据球面Equirectangular投影方式处理全景视频流得到并存储的视频文件，所述第一获取单元601用于：通过以下计算优化所述编码权重参数：
Di表示第i个像素的失真度，Ri是第i个像素占用的比特数，是第i个像素的纬度，是所述编码单元中的每个像素的纬度的余弦值的平均值，R是所述编码单元占用的总的比特数，其中，上式的最优解对应的Di和Ri也是下式的解：
λ为分配给所述编码单元的编码权重参数，最小化J是率失真优化RDO的优化目标。
可选地，所述确定单元602用于：
根据所述编码权重参数通过以下算式计算所述编码单元的量化参数QP：
其中，QP决定了所述编码单元在编码后的失真度；
根据所述量化参数确定所述编码单元对应的编码方式。
值得说明的是，以上对针对全景视频的优化编码装置600的单元划分，仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。并且，上述各功能单元的物理实现也可能有多种实现方式。
例如，该针对全景视频的优化编码装置600的硬件可以包括：处理器、存储器、接口和通信总线；所述处理器、所述存储器和所述接口通过所述通信总线通信；所述存储器用于存储程序代码，所述处理器用于运行所述程序代码，以执行上述方法实施例提供的针对全景视频的优化编码方法。
另外，所属本领域的技术人员应该清楚地了解到，为描述的方便和简洁，上述描述的装置的各单元的具体工作过程，可以参考前述方法实施例中的对应过程，此处不再赘述。
在本申请所提供的实施例中，应该理解到，所公开的装置和方法，可以通过其它的方式实现。例如，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储数据的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种针对全景视频的优化编码方法，其特征在于，包括：
获取全景视频文件的每一编码单元的属性信息，其中，编码单元是所述全景视频文件的存储及编码单位；
根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式；
根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。
2.根据权利要求1所述的方法，其特征在于，所述全景视频文件是根据立方体图像投影方式处理全景视频流得到并存储的视频文件，其中，所述全景视频文件包括多个独立存储的子视频文件，所述获取全景视频的每一编码单元的属性信息包括：
采用预压缩方式获取所述子视频文件的每一编码单元的运动矢量信息，所述属性信息包括所述运动矢量信息。
3.根据权利要求1所述的方法，其特征在于，所述全景视频文件是根据球面Equirectangular投影方式处理全景视频流得到并存储的视频文件，所述获取全景视频的每一编码单元的属性信息包括：
根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，所述属性信息包括优化后的所述编码权重参数。
4.根据权利要求2所述的方法，其特征在于，所述根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式包括：
根据所述编码单元的运动矢量信息确定所述编码单元满足低运动强度条件，确定所述编码单元对应的编码方式为低码率的编码方式。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
预测在播放所述全景视频时，观看者每一时刻的观看方向；
在观看的任一时刻，根据第一流传输方式传输观看者下一时刻的观看方向上的子视频文件，并根据第二流传输方式传输观看者下一时刻的观看方向以外的子视频文件，其中，所述第一流传输方式的帧速率大于所述第二流传输方式。
6.根据权利要求5所述的方法，其特征在于，所述预测在播放所述全景视频时，观看者每一时刻的观看方向，包括：
获取所述全景视频文件的历史观看信息；
根据所述历史观看信息预测观看者每一时刻的观看方向。
7.根据权利要求3所述的方法，其特征在于，所述根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，包括：
通过以下计算优化所述编码权重参数：
Di表示第i个像素的失真度，Ri是第i个像素占用的比特数，是第i个像素的纬度，是所述编码单元中的每个像素的纬度的余弦值的平均值，R是所述编码单元占用的总的比特数，其中，上式的最优解对应的Di和Ri也是下式的解：
λ为分配给所述编码单元的编码权重参数，最小化J是率失真优化RDO的优化目标。
8.根据权利要求7所述的方法，其特征在于，所述根据所述编码单元的属性信息确定对应所述编码单元的编码方式，包括：
根据优化后的所述编码权重参数通过以下算式计算所述编码单元的量化参数QP：
其中，QP决定了所述编码单元在编码后的失真度；
根据所述量化参数确定所述编码单元对应的编码方式。
9.一种针对全景视频的优化编码装置，其特征在于，包括：
第一获取单元，用于获取全景视频文件的每一编码单元的属性信息，其中，编码单元是所述全景视频文件的存储及编码单位；
确定单元，用于根据每一所述编码单元的属性信息确定每一所述编码单元对应的编码方式；
编码单元，用于根据每一所述编码单元对应的编码方式对每一所述编码单元进行编码。
10.根据权利要求9所述的装置，其特征在于，所述全景视频文件是根据立方体图像投影方式处理全景视频流得到并存储的视频文件，其中，所述全景视频文件包括多个独立存储的子视频文件，所述第一获取单元用于：
采用预压缩方式获取所述子视频文件的每一编码单元的运动矢量信息，所述属性信息包括所述运动矢量信息。
11.根据权利要求9所述的装置，其特征在于，所述全景视频文件是根据球面Equirectangular投影方式处理全景视频流得到并存储的视频文件，所述第一获取单元用于：
根据每一所述编码单元在播放时的实际显示面积优化编码权重参数，所述属性信息包括优化后的所述编码权重参数。
12.根据权利要求10所述的装置，其特征在于，所述确定单元用于：
根据所述编码单元的运动矢量信息确定所述编码单元满足低运动强度条件，确定所述编码单元对应的编码方式为低码率的编码方式。
13.根据权利要求10所述的装置，其特征在于，所述装置还包括：
预测单元，用于预测在播放所述全景视频时，观看者每一时刻的观看方向；
流传输单元，用于在观看的任一时刻，根据第一流传输方式传输观看者下一时刻的观看方向上的子视频文件，并根据第二流传输方式传输观看者下一时刻的观看方向以外的子视频文件，其中，所述第一流传输方式的帧速率大于所述第二流传输方式。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取所述全景视频文件的历史观看信息；
所述预测单元用于，根据所述历史观看信息预测观看者每一时刻的观看方向。
15.根据权利要求11所述的装置，其特征在于，所述第一获取单元用于：
通过以下计算优化所述编码权重参数：
Di表示第i个像素的失真度，Ri是第i个像素占用的比特数，是第i个像素的纬度，是所述编码单元中的每个像素的纬度的余弦值的平均值，R是所述编码单元占用的总的比特数，其中，上式的最优解对应的Di和Ri也是下式的解：
λ为分配给所述编码单元的编码权重参数，最小化J是率失真优化RDO的优化目标。
16.根据权利要求15所述的装置，其特征在于，所述确定单元用于：
根据优化后的所述编码权重参数通过以下算式计算所述编码单元的量化参数QP：
其中，QP决定了所述编码单元在编码后的失真度；
根据所述量化参数确定所述编码单元对应的编码方式。
CN201710464645.4A 2017-06-19 2017-06-19 针对全景视频的优化编码方法及装置 Active CN107396081B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710464645.4A CN107396081B (zh) 2017-06-19 2017-06-19 针对全景视频的优化编码方法及装置
US15/707,348 US10499082B2 (en) 2017-06-19 2017-09-18 Optimized coding method for omnidirectional video, computer readable storage medium and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710464645.4A CN107396081B (zh) 2017-06-19 2017-06-19 针对全景视频的优化编码方法及装置

Publications (2)

Publication Number Publication Date
CN107396081A true CN107396081A (zh) 2017-11-24
CN107396081B CN107396081B (zh) 2019-04-12

Family

ID=60333460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710464645.4A Active CN107396081B (zh) 2017-06-19 2017-06-19 针对全景视频的优化编码方法及装置

Country Status (2)

Country Link
US (1) US10499082B2 (zh)
CN (1) CN107396081B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108566554A (zh) * 2018-05-11 2018-09-21 北京奇艺世纪科技有限公司 一种vr全景视频处理方法、系统及电子设备
CN108737820A (zh) * 2018-05-21 2018-11-02 北京奇艺世纪科技有限公司 全景视频压缩方法及装置
CN109905424A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 无线数据均匀传输方法及其应用
CN110545429A (zh) * 2019-09-26 2019-12-06 福州大学 一种基于全景视频纬度特性的复杂度优化方法及设备
CN110602506A (zh) * 2019-09-25 2019-12-20 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
CN113099245A (zh) * 2021-03-04 2021-07-09 广州方硅信息技术有限公司 全景视频直播方法、系统和计算机可读存储介质
CN113747123A (zh) * 2021-08-24 2021-12-03 成都纵横自动化技术股份有限公司 航拍违法检测系统、视频处理装置和违法检测装置
WO2024164710A1 (zh) * 2023-02-10 2024-08-15 天翼云科技有限公司 一种帧间编码方法、装置、电子设备及计算机可读介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3039701A1 (en) * 2018-04-06 2019-10-06 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
EP3739880A1 (en) 2019-05-14 2020-11-18 Axis AB Method, device and computer program product for encoding a distorted image frame
US11533467B2 (en) 2021-05-04 2022-12-20 Dapper Labs, Inc. System and method for creating, managing, and displaying 3D digital collectibles with overlay display elements and surrounding structure display elements
CN113395505B (zh) * 2021-06-21 2022-06-17 河海大学 一种基于用户视场的全景视频编码优化方法
CN115529451A (zh) * 2021-06-25 2022-12-27 北京金山云网络技术有限公司 数据的传输方法及装置、存储介质、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024445A (zh) * 2012-12-13 2013-04-03 北京百度网讯科技有限公司 云端的视频转码方法和云服务器
CN104365095A (zh) * 2012-03-30 2015-02-18 阿尔卡特朗讯公司 用于对视频流的选定空间部分进行编码的方法和装置
CN106412594A (zh) * 2016-10-21 2017-02-15 乐视控股（北京）有限公司 全景图像编码方法和装置
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10754511B2 (en) * 2013-11-20 2020-08-25 Google Llc Multi-view audio and video interactive playback
FI20165256L (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
CN109891906B (zh) * 2016-04-08 2021-10-15 维斯比特股份有限公司 递送360°视频流的系统和方法
US10178394B2 (en) * 2016-06-10 2019-01-08 Apple Inc. Transcoding techniques for alternate displays
US10277914B2 (en) * 2016-06-23 2019-04-30 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
US10805592B2 (en) * 2016-06-30 2020-10-13 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
US11172208B2 (en) * 2017-02-28 2021-11-09 Nokia Technologies Oy Method and apparatus for improving the visual quality of viewport-based omnidirectional video streaming
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US20180295375A1 (en) * 2017-04-05 2018-10-11 Lyrical Labs Video Compression Technology, LLC Video processing and encoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104365095A (zh) * 2012-03-30 2015-02-18 阿尔卡特朗讯公司 用于对视频流的选定空间部分进行编码的方法和装置
CN103024445A (zh) * 2012-12-13 2013-04-03 北京百度网讯科技有限公司 云端的视频转码方法和云服务器
CN106412594A (zh) * 2016-10-21 2017-02-15 乐视控股（北京）有限公司 全景图像编码方法和装置
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KING-TO NG等: "Data Compression and Transmission Aspects of Panoramic Videos", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905424A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 无线数据均匀传输方法及其应用
CN108566554A (zh) * 2018-05-11 2018-09-21 北京奇艺世纪科技有限公司 一种vr全景视频处理方法、系统及电子设备
CN108737820A (zh) * 2018-05-21 2018-11-02 北京奇艺世纪科技有限公司 全景视频压缩方法及装置
CN110602506A (zh) * 2019-09-25 2019-12-20 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
CN110602506B (zh) * 2019-09-25 2023-04-28 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
CN110545429A (zh) * 2019-09-26 2019-12-06 福州大学 一种基于全景视频纬度特性的复杂度优化方法及设备
CN110545429B (zh) * 2019-09-26 2021-08-31 福州大学 一种基于全景视频纬度特性的复杂度优化方法及设备
CN113099245A (zh) * 2021-03-04 2021-07-09 广州方硅信息技术有限公司 全景视频直播方法、系统和计算机可读存储介质
CN113099245B (zh) * 2021-03-04 2023-07-25 广州方硅信息技术有限公司 全景视频直播方法、系统和计算机可读存储介质
CN113747123A (zh) * 2021-08-24 2021-12-03 成都纵横自动化技术股份有限公司 航拍违法检测系统、视频处理装置和违法检测装置
CN113747123B (zh) * 2021-08-24 2024-02-09 成都纵横自动化技术股份有限公司 航拍违法检测系统、视频处理装置和违法检测装置
WO2024164710A1 (zh) * 2023-02-10 2024-08-15 天翼云科技有限公司 一种帧间编码方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
US10499082B2 (en) 2019-12-03
US20180367802A1 (en) 2018-12-20
CN107396081B (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN107396081B (zh) 针对全景视频的优化编码方法及装置
Fan et al. A survey on 360 video streaming: Acquisition, transmission, and display
Ozcinar et al. Visual attention-aware omnidirectional video streaming using optimal tiles for virtual reality
US11653065B2 (en) Content based stream splitting of video data
Chiariotti A survey on 360-degree video: Coding, quality of experience and streaming
CN104096362B (zh) 基于游戏者关注区域改进视频流的码率控制比特分配
CN113170234B (zh) 多向视频的自适应编码和流式传输方法、系统和存储介质
Subramanyam et al. User centered adaptive streaming of dynamic point clouds with low complexity tiling
CN111615715A (zh) 编码/解码体积视频的方法、装置和流
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
CN109478312A (zh) 一种视频编解码的方法及装置
WO2013173670A2 (en) Processing panoramic pictures
US11202099B2 (en) Apparatus and method for decoding a panoramic video
CN112468806B (zh) 一种用于云vr平台的全景视频传输优化方法
Aksu et al. Viewport-driven rate-distortion optimized scalable live 360° video network multicast
CN103716643A (zh) 用于使用内容信息改进视频编码的系统和方法
CN110087081A (zh) 视频编码方法、装置、服务器及存储介质
CN102938840A (zh) 应用于多视点视频编码系统的关键帧量化参数选择方法
Sanchez et al. Random access point period optimization for viewport adaptive tile based streaming of 360° video
Hu et al. Mobile edge assisted live streaming system for omnidirectional video
Chen et al. Distributed rendering: Interaction delay reduction in remote rendering with client-end GPU-accelerated scene warping technique
Muñoz et al. Methodology for fine-grained monitoring of the quality perceived by users on 360VR contents
Xu et al. A flexible viewport-adaptive processing mechanism for real-time VR video transmission
Mohammadi et al. An object-based framework for cloud gaming using player's visual attention
Ozcinar et al. Viewport-aware omnidirectional video streaming using visual attention and dynamic tiles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant