CN109391827A - 全方位视频的解码方法、编码方法及电子设备 - Google Patents

全方位视频的解码方法、编码方法及电子设备 Download PDF

Info

Publication number
CN109391827A
CN109391827A CN201810892090.8A CN201810892090A CN109391827A CN 109391827 A CN109391827 A CN 109391827A CN 201810892090 A CN201810892090 A CN 201810892090A CN 109391827 A CN109391827 A CN 109391827A
Authority
CN
China
Prior art keywords
view
video
coding
decoding
omni
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810892090.8A
Other languages
English (en)
Inventor
林建良
林鸿志
张胜凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN109391827A publication Critical patent/CN109391827A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了全方位视频的解码方法、编码方法及电子设备。全方位视频的解码方法接收包括多个全方位影像的已编码序列的比特流，每个全方位影像具有多个视图，每个视图具有用于解码所述视图的视图特定数据集合。解码方法还接收视图的选择；对于序列中的全方位影像，解码全方位影像的选择视图的视图特定数据集合，其中至少一个其他视图的视图特定数据未被解码。解码方法还基于已解码的视图特定数据集合提供全方位影像的选择的视图，以供显示。

Description

全方位视频的解码方法、编码方法及电子设备
技术领域
本发明一般涉及视频处理。具体而言，本发明涉及全方位视频的解码方法、编码方法及其电子设备。
背景技术
此处提供的背景技术描述用作一般展现本发明的内容的目的。目前署名发明人的工作内容，既包含在本背景技术部分中所描述的工作的内容，也包含在申请时未被认为是现有技术的说明书的各方面，这些既不明确也不暗示地被承认是本发明的现有技术。
360度虚拟现实(360VR)是改变、增强或替代的视听模拟环境。虚拟现实视频环绕用户，允许用户以任何方向或任意视角观看，就像他或她在现实生活中一样。360VR视频可生成出色的高质量和高分辨率全景视频，可用于各种应用的打印和全景虚拟巡演，如娱乐、飞行员训练、手术以及太空或深水探索。
近年来，三维(3D)电视一直是一种技术趋势，其旨在于为观众带来令人惊艳的观看体验。为了实现3D收看，已经开发了各种技术。多视图视频是3D电视应用的关键技术之一。视频可以是二维(2D) 媒介，其仅从录像机的角度向观看者提供场景的单个视图。多视图视频能够提供动态场景的任意视点，并为观众提供真实感。3D视频格式还可以包括与对应的纹理图像相关联的深度图。深度图也可以被编解码来呈现三维视图或多视图。
作为高效视频编解码(HEVC)和下一代3D视频编解码标准的扩展，3D视频编解码扩展开发联合协作团队(JCT-3V)正式启动了 3D-HEVC视频编码标准的标准化。为了更实际地支持自动立体多视图显示屏幕，多视图视频加深度格式被引入作为3D-HEVC的新3D 视频格式。
发明内容
以下发明内容仅是说明性的，并不意图以任何方式进行限制。也就是说，以下发明内容介绍本文描述的新颖和非显而易见的技术的概念、要点、益处和优点。在下面的实施方式中，进一步描述所选择的、而非所有实现的内容。因此，以下发明内容并非意图标识所要求保护的实体内容，也不意图用于确定所要求保护的实体内容。
根据本发明的一个实施例，提供一种全方位视频的解码方法。全方位视频的解码方法包括：接收包括多个全方位影像的已编码序列的比特流，每个全方位影像具有多个视图，每个视图具有用于解码所述视图的视图特定数据集合；接收视图的选择；对于全方位影像，解码全方位影像的选择的视图的视图特定数据集合，其中至少一个其他视图的视图特定数据未被解码；以及基于已解码的视图特定数据集合提供所述全方位影像的选择的视图，以供显示。
根据本发明的另一个实施例，提供一种全方位视频的编码方法。全方位视频的编码方法包括：接收一系列的全方位影像，每个全方位影像具有多个视图；以及将全方位影像编码成比特流，每个视图在比特流中具有相应的视图特定数据集合，用于解码视图，其中每个视图特定数据集合能够独立于其他视图的视图特定数据被解码。
根据本发明的另一个实施例，提供一种电子设备。电子设备包括：视频解码电路和用户界面电路。视频解码电路能够：接收包括多个全方位影像的已编码序列的比特流，每个全方位影像具有多个视图，每个视图具有用于解码视图的视图特定数据集合；接收视图的选择；对于全方位影像，解码全方位影像的选择的视图的视图特定数据集合，其中至少一个其他视图的视图特定数据未被解码；以及基于已解码的视图特定数据集合显示全方位影像的所述选择的视图。用户界面电路，能够提供所述视图的所述选择。
根据本发明的又一个实施例，提供一种电子设备。电子设备包括：视频编码电路和储存器。视频编码电路能够：接收一系列全方位影像，每个全方位影像具有多个视图；以及将全方位影像序列编码成比特流，每个视图在比特流中具有相应的视图特定数据集合，用于解码视图，其中每个特定视图数据集合能够独立于其他视图的视图特定数据进行解码。储存器，能够储存比特流。
对于如360度虚拟现实(360VR)视频的全方位视频，本发明的一些实施例提供了支持全方位视频的不同视图的独立解码的系统。用于这种系统的解码器可以提取比特流的指定部分以解码全方位影像的期望的透视/表面/视图，而无需解码整个影像，同时编解码效率损失最小或没有损失。
附图说明
附图被包括在内，以提供对本发明的进一步理解，并且附图被并入并构成本发明的一部分。附图示出了本发明的实施方式，并且与说明书一起用于解释本发明的原理。可以理解的是，为了清楚地说明本发明的概念，附图不一定按比例绘制，一些部件可能被示出为与实际实施中的尺寸不成比例。
图1a与图1b概念性地示出了支持全方位视频中的不同视图的独立解码的视频编解码系统。
图2示出了基于球体的等距矩形投影的全方位影像。
图3示出了各种全方位影像，其为不同类型的柏拉图式固体的投影。
图4示出了全方位影像，其被分割为对应于立方体的面的多个视图。
图5示出了全方位影像，其中每个视图被编码为一个或多个切片。
图6概念性地示出了全方位视频的熵编码，以便促进对不同视图的独立解码。
图7示出了帧内预测编解码像素块，其被约束为视频图像的相同视图内的参考像素。
图8示出了被约束到相同视图的参考像素的帧间预测编解码像素块。
图9a至图9b示出了确保帧间预测的像素块仅参考相同视图的像素的运动向量剪辑操作。
图10a示出了HEVC的合并模式候选。
图10b示出了HEVC的运动向量预测候选。
图11示出了视频编码器，其被配置为将全方位视频编码为比特流，使得可以独立地解码全方位视频的不同视图。
图12示出了能够独立解码全方位视频的所选视图的视频解码器。
图13概念性地示出了根据分层预测结构编码的视频序列。
图14概念性地示出了用于对所选视图执行独立解码的流程。
图15概念性地示出了用于确保特定视图的参考元素不超过特定视图的边界的流程。
图16概念性地示出了编码器在将全方位视频编码成允许独立解码所选视图的比特流时执行的流程。
图17示出了将全方位视频编码为允许独立解码不同视图的比特流的视频编码器。
具体实施方式
在以下详细描述中，透过范例阐述了许多具体细节，以提供对相关教导的透彻理解。基于本文描述的教导的任何变化、衍生物和/或扩展都在本发明的保护范围内。在一些实例中，可以在没有细节的情况下以相对高阶的描述与本文发明的一个或多个范例实现有关的公知方法、流程、组件和/或电路，以避免不必要地模糊本发明各方面的教导。
对于如360度虚拟现实(360VR)视频的全方位视频，本发明的一些实施例提供了支持全方位视频的不同视图的独立解码的系统。用于这种系统的解码器可以提取比特流的指定部分以解码全方位影像的期望的透视/表面/视图，而无需解码整个影像并且不损失编解码效率。
图1a与图1b概念性地示出了支持全方位视频中的不同视图的独立解码的视频编解码系统。在一些实施例中，全方位视频编解码系统包括视频编码器系统和/或视频解码器系统，其编码视频图像或解码符合视频编解码标准的比特流，例如高阶视频编解码(H.264AVC)或高效视频编解码(H.265HEVC)。视频编解码标准可以指定语法元素以便支持全方位视频。
图1a示出了视频编码器1700，其将全方位视频编码为允许独立解码不同视图的比特流。如图所示，视频编码器1700接收具有全方位影像的全方位视频110，对全方位视频110进行编码并产生比特流190。
全方位视频110具有六个视图/表面/透视(以下称为视图)。全方位视频110的不同视图被编码到比特流190的不同部分中。在此范例中，全方位视频的视图1至视图6被编码成不同组的视图特定数据(视图1至6分别为视图特定数据191-196)。给定视图的一组视图特定数据包含用于重建对应于给定视图的影像的一部分(或多个影像的多个部分)的已编码信息。视图的一组视图特定数据不是指用于重建影像的像素的另一视图的视图特定数据，并且不依赖于从比特流190提取(如熵解码)另一视图的视图特定数据。
图1b示出了视频解码器1800，其对在全方位视频中的所选视图执行独立解码。如图所示，视频解码器1800接收并解码比特流190以重建全方位视频110。视频解码器1800将重建的全方位视频提供给虚拟现实(VR)设备150以供显示。VR设备150的范例是VR虚拟现实眼镜。在一些实施例中，VR设备是电子设备，其可以包括解码器1800、显示屏幕和用于接收来自用户的输入的用户接口设备或电路。在一些实施例中，解码器1800位于VR设备150外部，并且VR设备包括用于从解码器1800接收已解码影像/视频的输入接口。
VR设备150的用户可以仅查看全方位视频110的六个视图中的一个，而VR设备150(或VR设备内的用户接口电路或设备)选择全方位视频110的一个视图作为当前视图进行显示。VR设备150将当前视图的选择中继(relay)到视频解码器1800，而解码器1800仅解码当前视图的视图特定数据，并将当前视图的像素传送到VR设备150。其他视图的特定数据不会被解码。在所示意的范例中，VR设备150选择视图3作为当前视图，以及解码器解码视图3的视图特定数据。视图1、2、4、5 和6的视图特定数据并未被解码。因此，仅视图3的像素被重建并提供给VR设备150。
在一些实施例中，VR设备150可以显示与当前视图相关(如邻近或邻接)的其他视图的部分。在这些实例中，VR设备150选择要显示的视图，而解码器1800除了解码当前视图的视图特定数据之外，还解码相关视图的视图特定数据。在所示意的范例中，VR设备150显示视图2和视图4的部分，因为它们皆邻近视图3。除了视图3之外，解码器相应地解码视图2和视图4的视图特定数据。视图1、5和6的视图特定数据皆不被解码。在一些实施例中，VR设备将多个视图的选择中继到解码器1800，且解码器将解码所选择的多个视图的视图特定数据，而不解码未选择的视图。
在一些实施例中，全方位视频110是具有一系列全方位影像的 360VR视频。每个全方位影像被分成多个视图。全方位影像可以是不同类型的几何形状的表面区域的投影。图2示出了基于球体的等距矩形投影的全方位影像。图3示出了各种全方位影像，其为不同类型的柏拉图式固体的投影，包括立方体(6个面)、四面体(4个面)、八面体(8个面)、十二面体(12个面)或二十面体(20个面)。该图还包括它们与球形投影和等距矩形投影(ERP)相比的面积比。
在图1a至图1b所示意的范例中，全方位视频110的每个影像是具有六个视图的全方位影像，其对应于立方体的六个面。全方位影像的六个视图(或六个立方面)以6×1(1列)的格式排列。对于一些实施例，其视图对应于立方体的不同面的全方位影像可以具有其他类型的布置，如1×6(1行)、2×3、3×2或3×4(展开盒)等格式。
图4示出了全方位影像，其被分割为对应于立方体的面的多个视图。如图所示，等距矩形投影影像410被转换为六个立方面411-416。然后将这六个面布置在一起作为360VR全方位视频的全方位影像的不同视图。该图示出了基于六个立方面的不同排列的几个全方位影像，包括6×1单列格式(421)、3×2双列格式(422)、2×3三列格式(423)、 3×4展开盒格式(424)以及1x6单行格式(425)。六个面中的影像可以形成一个连续影像(如展开盒的情况)。六面中的影像也可以不相交。
在一些实施例中，每个视图或表面被编解码为独立区域。在一些实施例中，不同的独立区域被编解码为由编解码标准定义的不同数据片段，如切片、瓦片或其他类型的分段。视图的视图特定数据被编码为一个或多个切片(或一个或多个瓦片)，使得给定视图的视图特定切片中的数据在逻辑上独立于其他视图的视图特定切片(尽管给定视图的视图特定切片可能在逻辑上依赖于相同给定视图的另一视图特定切片)。换句话说，视频解码器可以在没有解码其他视图的视图特定切片的情况下，透过解码给定视图的视图特定切片来解码给定视图的影像内容。
图5示出了全方位影像，其中每个视图被编码为一个或多个切片。如图所示，全方位影像510(全方位视频110中的视频图像)被编码为切片511-518。切片511-518中的每一个切片是视图特定切片，其包含特定于影像510的一个视图的数据。如图所示，切片511包含特定于视图1的数据，切片512和513包含特定于视图2的数据，切片514包含特定于视图3的数据，切片515包含特定于视图4的数据，切片516和517 包含特定于视图5的数据，而切片518包含特定于视图6的数据。
如图所示，每个切片包括一个或多个像素块(如宏块、编码单元 (CU))。可以对像素块进行帧内编解码(不参考区块外部的像素)、帧内图像预测(参考相同影像或视频图像的像素)、或者帧间预测(透过如运动向量参考时间上不同的影像或视频图像的像素)。
不同视图的视图特定切片在逻辑上彼此独立。因此，举例而言，解码器1800可以解码切片514的像素块/CU(特定于视图3)，而不解码切片511-513和515-518中的任何切片。
在一些实施例中，为了确保给定视图的视图特定数据片段(切片、瓦片)可以被独立解码，每个视图特定数据段被独立地熵编码并且不依赖于其他片段的熵编码状态。具体而言，熵编解码依赖不允许跨越视图(或表面)的边界。针对每个表面或视图初始化在上下文自适应熵编解码中使用的统计。
图6概念性地示出了一全方位视频的熵编码，以便促进对不同视图的独立解码。该图示出了比特流190的熵编码，其包括不同数据片段601-609。片段602-607和609是对应至全方位视频110的不同视图的影像内容的片段(如诸如切片511-518的切片)。片段601和608是携带对所有视图共同的数据(如图像标题、序列标题等)的片段。
如图所示，比特流190的熵编码状态(如在上下文自适应熵编解码中使用的统计)在每个数据段的开始处重置，使得可以独立地提取每个数据片段并对其进行熵解码。这允许视频解码器1800在不需要对其他视图的数据段进行熵解码的情况下透过对该视图的数据段进行熵解码，来提取给定视图的影像内容。
在一些实施例中，为了确保可以独立地解码给定视图的视图特定数据片段(切片、瓦片)，每个数据片段的像素块在不参考任何其他视图的像素的情况下进行编码。具体而言，当对给定视图的像素块进行帧内图像预测编解码时，帧内图像预测被约束为参考同一视频图像中的相同视图的像素；当对给定视图的像素块进行帧间预测编解码时，帧间预测被约束为参考在时间上不同的视频图像中相同视图的像素。
图7示出了帧内预测编解码像素块，其被约束为参考视频图像的相同视图内的像素。该图示出了全方位视频的视频图像700。(为简单起见，该图仅描绘了四个视图)。视频图像700的每个视图包括一个或多个CU，其被帧内预测编解码为参考相同视频图像的像素。其中， CU 711、721、731、741和742与它们各自视图的顶部和左侧边界充分远离，而CU 719、728、729、739和749则位于他们各自视图边界靠近顶部或左侧的位置。
为了支持不同视图的独立解码，在一些实施例中，编码器1700被约束为仅使用不参考CU视图之外的像素的帧内预测模式。对于所示意的范例，CU 711、721、731、741和742可由任何帧内预测模式编解码，所述帧内预测模式将像素参考到那些CU的左侧或顶部，因为那些CU 的左侧或顶部的像素位于相同的视图内。另一方面，CU 719、728、 729、739和749不能透过至少一些帧内预测模式进行帧内预测编解码，因为这些CU的一些帧内预测模式参考了他们各自的视图的边界外的像素。因此，为了透过帧内预测对视图2的CU 729进行编码，编码器 1700被约束为仅使用参考CU 729左侧的像素的帧内预测模式，而不使用参考CU729顶部的像素的帧内预测模式，因为到CU 729顶部的像素可能属于另一个视图(视图1)。
在一些实施例中，当CU针对帧内预测参考在其相应视图的边界之外的像素时，所参考的像素被视为不可使用，并且可以基于位于各自视图内部的邻接参考像素的值来替换为默认值。
图8示出了被约束到参考相同视图(在时间上不同的视频图像中) 的像素的帧间预测编解码像素块。该图示出了具有几个视频图像 801-804的视频序列800，其被安排在不同的时间显示。视频序列800 是全方位视频的一部分，其视频图像包括多个视图(为简单起见，该图仅描绘了四个视图)。
该图描绘了帧间预测编解码的一些CU，包括CU 811、821、822、 831、832、841。帧间预测编解码的CU是视频图像802的一部分。每个帧间预测编解码CU包括参考其他视频图像(如801、803和804中的像素，其为具有与视频图像802不同的显示时间的视频图像)中的像素的一个或多个参考元素(如运动向量)。
为了使解码器能够独立地解码不同视图的影像内容，帧间预测编解码CU被约束为仅参考相同视图中的像素，而不参考其他视图中的像素。举例而言，CU 811位于视频图像802的视图1中。它具有参考视频图像801和804的视图1中的像素的运动向量。CU 821位于视频图像802 的视图2中。它具有参考视频图像801和803的视图2中的像素的运动向量。CU811、821、822、831、832和841中的任何一个都不具有参考其各自视图之外的像素的运动向量。
在一些实施例中，为了确保像素块的运动向量保持在同一视图内，编码器1700仅对停留在与像素块相同的视图内的运动向量(无论是透过合并模式、运动向量预测还是其他方法)进行编码。在一些实施例中，编码器1700和解码器1800执行运动向量剪辑(clip)操作。运动向量剪辑操作将参考视图外部的像素的运动向量修改为仅参考与像素块相同的视图内的像素而不参考视图外的任何像素剪辑的运动向量。
图9a至图9b示出了确保帧间预测的像素块仅参考相同视图的像素、而不参考视图边界外的运动向量剪辑或修改操作。图9a至图9b示出了编解码图像901(正被编码或解码的视频图像)的视图1中的CU 911。CU 911最初被分配了参考在参考图像902的视图2中的像素的运动向量921。运动向量剪辑或修改操作将运动向量921修改为剪辑或修改的运动向量922，其完全参考了参考图像902的视图1内的像素。
在一些实施例中，运动向量剪辑操作将运动向量的目标移动到最接近运动向量的原始目标的同一视图内的位置。在图9a的范例中，视图2在视图1的右侧，因此运动向量剪辑操作在纯x方向上将运动向量的目标移动到参考图像902的视图1内。在图9b的范例中，视图2是视图1的底部，因此运动向量剪辑操作在纯y方向上将运动向量的目标移回到参考图像902的视图1内。
在一些实施例中，为了确保像素块的运动向量保持在同一视图内，用于参考其相应视图之外的像素的运动向量的运动向量预测子候选被认为是不可使用的。在一些实施例中，以其相应视图外部的参考像素为目标的运动向量可以被替换为从参考图像列表或从空间邻接的参考区块或时间参考区块导出的另一运动向量。
在一些实施例中，编码器1700透过在编码运动向量之前修改超出边界的运动向量来执行运动向量剪辑操作。在一些实施例中，编码器 1700将运动向量编码到比特流中而不进行修改，同时让编码器1700和解码器1800都检测超出视图边界的运动向量。在检测超出边界的运动向量时，编码器1700和解码器1800将在执行运动补偿时将各自将运动向量的目标移动到同一视图内的相同位置。
一些视频编码标准提供了多种编码运动向量的方式。举例而言， H.265HEVC允许编码器透过合并模式或运动向量预测(MVP)对运动向量进行编码。合并模式允许运动向量继承自邻接预测区块，而运动向量预测使用基于邻接CU(特别是帧间预测编解解码的邻接CU) 的运动向量的差分编解码运动向量预测子。合并模式和运动向量预测两者都允许编码器1700在编码运动向量时，从候选列表中进行选择。
图10a示出了HEVC的合并模式候选，包括从正被编码的区块的空间和时间邻接区块导出的空间和时间候选。每个候选邻接区块可以是帧间预测编解码区块，其具有像素块可以继承的运动向量。
图10b说明HEVC的运动向量预测候选，包括从正被编码的区块的空间和时间邻接区块导出的空间和/或时间候选。每个候选邻接区块可以是帧间预测编解码区块，其具有编码器可以作为运动向量预测子的运动向量。
如前所述，在一些实施例中，不论运动向量是透过合并模式还是 MVP编码，视频编码器不编码参考其它视图中的像素的运动向量。为了确保编码的运动向量停留在其关联的像素块的视图内，在一些实施例中，编码器排除可能导致超出边界的运动向量的合并候选或MVP候选。在一些实施例中，编码器导出或选择另一运动向量以替换可导致超出边界的运动向量的合并候选或MPV候选。
在一些实施例中，编码器还排除属于另一视图的邻接像素块的合并候选或MVP候选。编码器可以透过识别这样的合并候选或MVP候选并且透过避免选择所识别的候选用于编码运动向量(如透过将这些候选视为不可使用的)来实现这一点。编码器还可以将从所选候选计算的运动向量(无论是从合并模式还是MVP)剪辑到当前视图内(如到视图的边界)，如上面参考图9a至图9b所描述的。透过比特流190将候选的选择作为运动向量信息集合的一部分传送给解码器，使得解码器可以执行相同的运动向量剪辑。
图11示出了视频编码器1700，其被配置为将全方位视频编码为比特流，使得全方位视频的不同视图可以独立地被解码。具体而言，该图示出了视频编码器1700的组件，其操作确保可以独立于其他视图提取和解码任何给定视图的编码影像内容。参考下面的图17更详细地描述视频编码器1700及其各种组件。
如图11所示，熵编码器1790维持用于上下文自适应熵编解码的状态和/或统计(CABAC状态和/或统计)1190。每当熵编码器1790接收到针对不同视图的数据(来自量化器1711)时，熵编码器1790就重置熵编码的状态，并且开始新的片段以将数据储存到比特流190中。
运动估计模块1735透过基于运动向量缓冲器1765和重建图像缓冲器1750的内容从合并模式和/或MVP中选择候选来执行运动估计。如图所示，运动估计模块1735包括运动向量候选模块1110、基于视图的候选滤波器1120、运动向量选择模块1130、运动向量剪辑模块1140和运动向量生成模块1150。这些模块可以是由计算设备或电子设备的一个或多个处理单元(如处理器)执行的软件指令的模块。这些模块也可以是由电子设备的一个或多个集成电路(IC)实现的硬件电路的模块。
运动向量候选模块1110基于储存在运动向量缓冲器1765中的时间和空间邻接像素块的运动向量，来识别并提供用于合并模式和/或 MVP的候选列表(原始候选列表1115)。基于视图的候选滤波器1120 检查(go through)候选列表，以识别可以参考当前视图之外的像素的合并模式候选和/或MVP候选。然后从候选列表中移除所识别的候选，以创建经修改的候选列表1125。运动向量选择模块1130从经修改的候选列表1125中选择候选。运动向量选择模块1130还可以从运动向量生成 (MV生成)模块1150接收所生成的运动向量1155，其可以基于搜索来生成所生成的运动向量(生成的MV)1155。这允许运动向量选择 (MV选择)模块1130基于邻接区块(合并模式和MVP)或生成的运动向量1155从候选中选择运动向量1135。
然后，运动估计模块1735将用于选择的运动向量的运动向量信息集合1165发送到熵编码器1790以编码到比特流190中。运动向量信息 1165可包括运动向量模式(如运动向量是否由合并模式或MVP编码)、候选选择索引和运动向量差值(或MVD，即所选候选运动向量与要使用的实际最终运动向量之间的差)。运动向量信息1165被编码到比特流190中，作为当前视图的数据的一部分。
运动向量剪辑模块1140接收选择的运动向量(选择的MV)1135，并将运动向量剪辑到当前视图的边界。在一些实施例中，所选择的运动向量在被运动向量剪辑模块1140剪辑之前被编码到比特流中。在一些实施例中，所选择的运动向量在被运动向量剪辑(MV剪辑)模块 1140剪辑之后被编码到比特流中。运动补偿模块1730使用剪辑的运动向量(剪辑的MV)1145来重建正被编码的像素块。运动向量剪辑模块1140可以是运动补偿模块1730或运动估计模块1735的一部分。
图12示出了能够独立解码全方位视频的所选视图的视频解码器。 具体而言，该图示出了视频解码器1800的组件，其操作提取和解码全 方位视频110的所选视图，而不解码其他视图。下面将更详细地描述 视频解码器1800及其各种组件。
如图12所示，熵解码器1890维持用于上下文自适应熵编解码的状态和/或统计1290。每当熵解码器1890从比特流190检测到用于不同视图的数据时，熵解码器1890就重置熵编码的状态。熵解码器1890还从 VR设备150接收视图选择讯号，使得熵解码器1890得知从比特流190 中提取哪个视图特定数据。
由熵解码器提取的所选视图的视图特定数据包括用于不同像素块的数据。该图示出了范例CU 1215，其包括量化的变换系数以及用于计算CU 1215的运动向量的运动向量信息1216。
运动向量信息1216被转发到运动补偿模块1835，其可包括运动向量剪辑模块1210。运动补偿模块1835基于运动向量信息1216和储存在运动向量信息缓冲器1865中的参考运动向量来重建运动向量。然后，如果需要的话，运动向量剪辑模块1210将重建的运动向量剪辑到由视图选择模块150选择的视图内。然后，运动补偿模块1835使用运动向量和/或剪辑的运动向量，从重建图像缓冲器1850获取像素数据。从重建图像缓冲器1850获取的数据与由逆变换模块1815提供的数据相加，并在被储存在重建图像缓冲器1850之前由环路滤波器1845进行滤波。
对于一些实施例，如解块、SAO或ALF的环路滤波器操作是不跨越面或视图之间的边界的。在一些实施例中，在边界上禁止使用滤波器。在一些实施例中，如果在滤波操作中使用的像素值位于另一个面或视图中，则可以将其视为不可使用，或者由默认值(如其邻接像素值或边界像素值)来替换。
为了允许视频解码器1800在执行对所选视图的独立解码的同时切换到另一表面/视图，在一些实施例中，视频系统使用分层预测结构。具体而言，允许视频解码器在基础层图像的解码期间切换到全方位视频的另一视图或表面。
图13概念性地示出了根据分层预测结构编码的视频序列1300。视频序列1300包括基础层图像1301-1303以及非基础层或增强层影像 1304-1317。基础层图像1301-1303可以彼此参考，但不参考任何非基础层图像。第一增强层图像1304-1305可以参考基础层图像，但不参考任何第二或第三层增强层图像。第二增强层图像1306-1309可以参考基础层图像1301-1303和第一增强层图像1304-1305，但不参考任何第三层增强图像。第三层增强层图像1310-1317可以参考任何下层图像 1301-1309。
为了允许视频解码器1800在执行对所选视图的独立解码的同时平滑地切换到另一表面/视图，当解码基础层图像1301-1303时，视频解码器解码所选视图的影像内容以及部分或全部未选择的视图。当解码非基础层(增强层)图像时，所选择的目标视图/表面被解码并显示，但是解码器可以切换到非基础层图像参考的在下层图像(包括基础层)处解码的另一个所选视图或表面。举例而言，第一增强层图像1304 参考基础层图像1301和1302，两者都解码所有可用视图(1到6)。因此，解码图像1304时解码器也可以解码并显示视图1到6中的任何一个，尽管它选择仅解码视图2到5而不解码其他视图。作为另一范例，第三层增强层图像1313参考第二增强层图像1307和基础层图像1302。由于解码器解码了图像1307的视图3到5，所以解码器可在解码图像 1313时解码并显示视图3到5中的任何一个，尽管它选择仅解码视图4 到5而不解码其他视图。
在一些实施例中，当对目前切片/视图/表面/瓦片进行编码时，邻接视图的至少一些信息被嵌入在比特流中的当前视图的视图特定数据中。举例而言，在一些实施例中，邻接视图/表面/图块/切片中的像素块或CU的运动向量信息被编码并嵌入比特流中的目前切片/视图/表面/图块的视图特定数据中，以提供更好的MVP预测。在一些实施例中，邻接切片/视图/表面/瓦片的边界像素被编码并嵌入到比特流中的目前切片/视图/面/瓦片的视图特定数据中，以在编解码目前切片/视图/面/ 瓦片时，为帧内预测提供边界参考像素(而不是上面参考图7所描述避免参考邻接视图中的像素的帧内预测模式)。
图14概念性地示出了用于对所选视图执行独立解码的流程1400。该流程接收一个或多个视图的选择，提取和解码所选择的视图，而不解码未选择的视图。
在一些实施例中，实现解码器1800的计算设备的一个或多个处理单元(如处理器)透过执行储存在计算机可读媒介中的指令来执行流程1400。在一些实施例中，实现解码器1800的电子设备执行流程1400。
解码器接收(在步骤1410)具有全方位影像的编码序列的比特流，每个全方位影像具有多个视图，每个视图具有用于解码视图的一组视图特定数据。不同视图的视图特定数据被编码在比特流的不同片段中，如切片或瓦片。
解码器识别(在步骤1420)全方位影像序列中的全方位影像，作为要解码的当前影像。然后，解码器确定(在步骤1425)要解码的当前影像是否在预测阶层的基础层。如果是，则流程进行到步骤1430。如果当前影像不在预测层级的基础层，则流程进行到步骤1450。
在步骤1430，解码器接收一个或多个视图的新选择。在一些实施例中，解码器接收一个视图的选择，并识别要与所选视图一起被解码和显示的与所选视图相关的一个或多个视图(如邻接视图)。
解码器还提取(在步骤1440)并解码当前影像的所选视图的视图特定数据。解码器还可以提取和解码影像的更多视图(如所有视图)，以允许在增强层图像的解码期间进行视图切换。然后该流程进行到步骤1460。
在步骤1450，解码器提取并解码当前影像的所选视图的视图特定数据。不提取或解码至少一个未选择视图的视图特定数据。
解码器显示(在步骤1460)当前影像的所选视图。对于显示设备不是解码器的一部分的一些实施例，解码器透过输入接口将所选视图的重建或解码像素发送到显示设备，该显示设备可以是VR设备。然后，流程1400结束，或返回到步骤1420以识别和解码视频序列中的另一影像。
图15概念性地示出了用于确保特定视图的参考元素不超过特定视图的边界的流程1500。当解码器1800解码属于当前影像的所选视图的像素块时(如当解码器正在执行流程1400的步骤1450时)，执行流程1500。
解码器从比特流接收(在1510处)所选视图的视图特定数据中的参考元素。参考元素可以被编码为运动向量信息集合，其可以包括运动向量、运动向量模式(如运动向量是否由合并模式或MVP编码)、候选选择和/或运动向量差值(或MVD，即所选候选运动向量与要使用的实际最终运动向量之间的差)。
然后，解码器确定(在1520处)参考元素是否参考所选视图之外的数据(如像素)。如果是，则解码器将参考元素(在步骤1530)修改以参考所选视图内的数据。举例而言，解码器可执行运动向量剪裁，以将运动向量剪辑到参考所选视图的边界内的像素。
图16概念性地示出了编码器1700在将全方位视频编码成允许独立解码所选视图的比特流时执行的流程1600。在一些实施例中，实现编码器1700的计算设备的一个或多个处理单元(如处理器)透过执行储存在计算机可读媒介中的指令来执行流程1600。在一些实施例中，实现编码器1700的电子设备执行流程1600。
当编码器接收(在步骤1610)全方位影像的视频序列时，流程1600 开始，其中每个全方位影像具有多个视图。然后，编码器将全方位影像序列(在步骤1620)编码为比特流，每个视图在比特流中具有对应的视图特定数据集合，用于解码视图的影像内容。每个视图的特定视图数据集合不依赖于任何其他视图的视图特定数据。这允许视图特定数据集合独立于其他视图的视图特定数据进行解码。
对于每个像素块或编码单元，编码器识别(在步骤1630)用于编解码像素块的一个或多个候选参考元素。这些候选参考元素可以包括邻接像素块的运动向量和/或基于搜索的新生成的运动向量。这些参考元素可以作为合并模式运动向量或MVP运动向量预测子。
编码器识别(在步骤1640)可导致运动向量参考像素块的视图之外的像素的候选参考元素。然后编码器识别(在步骤1650)最合适的候选参考元素和最合适的运动向量模式；标识为视图外部的参考像素的候选参考元素被排除在考虑范围之外。
然后，编码器确定(在步骤1655)所识别的最合适的参考元素是否参考所选视图之外的数据。如果最合适的参考元素没有参考视图之外的数据，则流程进行到步骤1670，以便编码器编码最合适的参考元素。如果最合适的参考元素确实参考视图之外的数据，则编码器修改 (在步骤1660)参考元素，以仅参考完全在视图内的数据(如用于运动补偿)。
在步骤1670，编码器将识别的最合适的参考元素编码到比特流中作为运动向量信息集合。该组运动向量信息可包括运动向量、运动向量模式(如运动向量是否透过合并模式或MVP编码)、候选选择和/ 或运动向量差值(或MVD，即所选候选运动向量与要使用的实际最终运动向量之间的差)。
视频编码器
图17示出了将全方位视频编码为允许独立解码不同视图的比特流的视频编码器1700或视频编码设备。
如图所示，视频编码器1700从视频源接收输入视频信号1705，并将讯号编码到比特流1795中。视频编码器1700具有用于编码视频信号 1705的一些组件或模块，包括变换模块1710、量化模块1711、逆变换模块1715、帧内图像估计模块1720、帧内图像预测模块1725、运动补偿模块1730、运动估计模块1735、环路滤波器1745、重建图像缓冲器1750、MV缓冲器1765和MV预测模块1775，以及熵编码器1790。
在一些实施例中，模块1710-1790是由计算设备或电子设备的一个或多个处理单元(如处理器)执行的软件指令的模块。在一些实施例中，模块1710-1790是由电子设备的一个或多个集成电路(IC)实现的硬件电路的模块。尽管模块1710-1790被图标为单独的模块，但是一些模块可以组合成单个模块。
视频来源1705提供原始视频信号，其呈现每个视频帧的像素数据而无需压缩。减法器1708计算视频来源1705的原始视频像素数据与来自运动补偿1730或帧内图像预测1725的预测像素数据1713之间的差值。变换模块1710将差值(或残差像素数据)转换为变换系数(如透过执行离散余弦变换或DCT)。量化器1711将变换系数量化为量化数据(或量化变换系数)1712，其由熵编码器1790编码到比特流1795中。
逆变换模块1715对量化的变换系数1712执行逆变换，并(在添加预测像素数据1713之后)产生重建像素数据。在一些实施例中，重建像素数据临时储存在线缓冲器(未示出)中，用于帧内图像预测和空间MV预测。重建的像素由环路滤波器1745滤波，并储存在重建图像缓冲器1750中。在一些实施例中，重建图像缓冲器1750是视频编码器 1700外部的储存器。在一些实施例中，重建图像缓冲器1750是视频编码器1700内部的储存器。
帧内图像估计模块1720基于重建像素数据执行帧内图像预测，以产生帧内图像预测数据。帧内图像预测数据被提供给熵编码器1790以被编码成比特流1795。帧内图像预测数据也被帧内图像预测模块1725 用来产生预测像素数据1713。
运动估计模块1735透过产生MV来参考储存在重建图像缓冲器 1750中的先前解码的帧的像素数据，来执行帧间预测。这些MV被提供给运动补偿模块1730以产生预测的像素数据。这些MV对于在单信道解码系统处重建视频帧也是必需的。视频编码器1700使用时间MV 预测来产生预测的MV，而不是对比特流中的完整实际MV进行编码，且用于运动补偿的MV与预测的MV之间的差值被编码为残余运动数据并储存在比特流1795中，以用于单信道解码系统。
视频编码器1700基于为对先前视频帧进行编码而生成的参考MV (即用于执行运动补偿的运动补偿MV)来生成预测的MV。视频编码器1700从来自MV缓冲器1765的先前视频帧中取得参考MV。视频编码器1700将针对目前视频帧生成的MV储存在MV缓冲器1765中，作为用于生成预测MV的参考MV。
MV预测模块1775使用参考MV来创建预测的MV。可以透过空间 MV预测或时间MV预测来计算预测的MV。预测的MV与当前帧的运动补偿MV(MC MV)之间的差值(残余运动数据)由熵编码器1790编码到比特流1795中。
熵编码器1790透过使用如上下文自适应二进制算术编解码 (CABAC)或霍夫曼编码的熵编码技术，将各种参数和数据编码到比特流1795中。熵编码器1790将如量化变换数据和残余运动数据的参数编码到比特流中。
环路滤波器1745对重建像素数据执行滤波或平滑操作以减少编码的假影，特别是在像素块的边界处。在一些实施例中，执行的滤波操作包括样本自适应偏移(SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(ALF)。
视频解码器
视频解码器1800或视频解码设备，在全方位视频中执行对所选视 图的独立解码。视频解码器1800是视频解码电路，其接收比特流1895 并将比特流的内容解码为视频帧的像素数据以供显示。视频解码器 1800具有用于解码比特流1895的一些组件或模块，包括逆量化模块 1805、逆变换模块1815、帧内图像预测模块1825、运动补偿模块1835、 环路滤波器1845、解码/重建图像缓冲器1850、MV缓冲器1865、MV 预测模块1875和比特流解析器(熵解码器)1890。
在一些实施例中，模块1810-1890是由计算设备的一个或多个处理单元(如处理器)执行的软件指令的模块。在一些实施例中，模块 1810-1890是由电子设备的一个或多个IC实现的硬件电路的模块。尽管模块1810-1890被图标为单独的模块，但是一些模块可以组合成单个模块。
解析器(熵解码器)1890接收比特流1895并根据由视频编码或影像编码标准定义的语法执行初始解析。经解析的语法元素包括不同标头元素、旗标以及量化的变换系数。解析器1890透过使用诸如上下文自适应二进制算术编解码(CABAC)或霍夫曼编码的熵编码技术来解析各种语法元素。
逆量化1805和逆变换模块1815对量化的变换系数1812执行逆量化和逆变换，并(在从帧内图像预测模块1825或运动补偿模块1835添加预测的像素数据1813之后)产生重建像素数据。重建像素数据储存在重建图像缓冲器1850中。重建像素数据由环路滤波器1845滤波，并储存在重建图像缓冲器1850中。在一些实施例中，重建图像缓冲器 1850是外部的储存器。在一些实施例中，重建图像缓冲器1850是视频编码器1800内部的储存器。
帧内图像预测模块1825从比特流1895接收帧内图像预测数据，并据此从储存在重建图像缓冲器1850中的重建像素数据产生预测像素数据1813。在一些实施例中，重建像素数据还储存在线缓冲器(未示出)中，用于帧内图像预测和空间MV预测。
在一些实施例中，解码/重建图像缓冲器1850的内容是用于显示。显示设备1855或者取得解码/重建图像缓冲器1850的内容以便直接显示，或者将解码的影像缓冲器的内容取到显示缓冲器。在一些实施例中，显示设备透过像素传输从解码图像缓冲器接收像素值。
运动补偿模块1835根据运动补偿MV(MC MV)从储存在解码/ 重建图像缓冲器1850中的解码像素数据来产生预测像素数据1813。这些运动补偿MV是透过将从比特流1895接收的残余运动数据与从MV 预测模块1875接收的预测MV相加来重建。
视频解码器1800基于先前已解码出的参考MV(即用于执行运动补偿的运动补偿MV)，来产生运动补偿的MV。视频解码器1800从 MV缓冲器1865取得先前已解码出的参考MV。视频解码器1800还将用于解码目前视频数据而生成的运动补偿MV储存在MV缓冲器1865中，作为用于产生预测MV的参考MV。
环路滤波器1845对重建像素数据执行滤波或平滑操作以减少编码的假影，特别是在像素块的边界处。在一些实施例中，执行的滤波操作包括样本自适应偏移(SAO)。在一些实施例中，滤波操作包括自适应环路滤波器(ALF)。
范例电子系统
许多上述特征和应用被实现为被指定为记录在计算机可读储存媒介(也称为计算机可读媒介)上的一组指令的软件流程。当这些指令由一个或多个计算或处理单元(如一个或多个处理器、处理器核或其他处理单元)执行时，它们使处理单元执行指令中指示的动作。计算机可读媒介的范例包括但不限于CD-ROM、快闪驱动程序、随机存取内存(RAM)芯片、碟驱动程序，抹除式可复写只读存储器 (EPROM)、电子抹除式可复写只读存储器(EEPROM)。计算机可读媒介不包括透过无线或有线连接传递的载波和电子讯号。
在本说明书中，术语「软件」旨在包括驻留在只读存储器中的韧体或储存在磁盘中的应用程序，其可被读入内存以供处理器处理。而且，在一些实施例中，多个软件发明可以实现为较大程序的子部分，同时保持不同的软件发明。在一些实施例中，多个软件发明也可以实现为单独的程序。最后，共同实现这里描述的软件发明的单独程序的任何组合都在本发明的范围内。在一些实施例中，当安装软件程序以在一个或多个电子系统上操作时，软件程序定义执行和执行软件程序的操作的一个或多个特定机器实现。
本发明的电子系统1900可以是计算机(如桌面计算机、个人计算 机、平板计算机等)、电话、PDA、VR设备或任何其他种类的电子设 备。这种电子系统包括各种类型的计算机可读媒介和用于各种其他类 型的计算机可读媒介的接口。电子系统1900包括总线1905、处理单元 1910、图形处理单元(GPU)1915、系统内存1920、网络1925、只读 存储器1930、永久储存设备1935、输入设备1940和输出设备1945。
总线1905共同表示在通讯上连接电子系统1900的众多内部设备的所有系统、外围设备和芯片组总线。举例而言，总线1905在通讯上连接处理单元1910与GPU 1915、只读存储器1930、系统内存1920和永久储存设备1935。
从这些各种内存单元、处理单元1910取得要执行的指令和要处理的数据，以便执行本发明的流程。在不同实施例中，处理单元可以是单个处理器或多核处理器。一些指令被传递到GPU 1915并由GPU 1915执行。GPU 1915可以卸除各种计算或补充由处理单元1910提供的图像处理。
只读存储器(ROM)1930储存处理单元1910和电子系统的其他模块所需的静态数据和指令。另一方面，永久储存设备1935是读写内存设备。该设备是非挥发性内存单元，即使在电子系统1900关闭时也储存指令和数据。本发明的一些实施例使用大容量储存设备(如磁盘或光盘及其相应的磁盘驱动程序)作为永久储存设备1935。
其他实施例使用可移动储存设备(如软盘、闪存设备等，以及其对应的磁盘驱动程序)作为永久储存设备。与永久储存设备1935类似，系统内存1920是读写储存设备。然而，与储存设备1935不同，系统内存1920是挥发性读写内存，如随机存取内存。系统内存1920储存处理器在运行时需要的一些指令和数据。在一些实施例中，根据本发明的流程储存在系统内存1920、永久储存设备1935和/或只读存储器1930 中。举例而言，在一些实施例中，各种内存单元包括用于按照处理多媒体剪辑的指令。处理单元1910从这些各种内存单元取得要执行的指令和要处理的数据，以便执行一些实施例的流程。
总线1905还连接到输入设备1940和输出设备1945。输入设备1940 让用户能够向电子系统传送信息和选择命令。输入设备1940包括字母数字键盘和指示设备(也称为「光标控制设备」)、相机(如网络摄影机)、麦克风或用于接收语音命令等的类似设备。输出设备1945显示由电子系统生成的影像，或以其他方式输出数据。输出设备1945包括打印机和显示设备，如阴极射线管(CRT)或液晶显示屏幕(LCD)，以及喇叭或类似的音频输出设备。一些实施例包括如触控屏幕之类的设备，其功能作为输入和输出设备两者。
最后，总线1905还透过网络适配器(未示出)将电子系统1900耦 合到网络1925。以这种方式，计算机可以是计算机网络的一部分(如 局域网络(「LAN」)、广域网(「WAN」)或内部网络、或网络的 网络，如因特网。电子系统1900的任何或所有组件皆可以与本发明结 合使用。
一些实施例包括电子组件，如微处理器、储存器和内存，其将计算机程序指令储存在机器可读或计算机可读媒介中(或者称为计算机可读储存媒介、机器可读媒介或机器-可读储存媒介)。这种计算机可读媒介的一些范例包括RAM、ROM、只读记忆光盘(CD-ROM)、可录光盘(CD-R)、可擦写光盘(CD-RW)，只读数字多功能光盘 (如DVD-ROM、双层DVD-ROM)、各种可记录/可复写DVD(如 DVD-RAM、DVD-RW、DVD+RW等)、闪存(如SD卡、mini-SD卡、 micro-SD卡等)，磁性和/或固态硬盘驱动程序、只读并可记录的光盘、超密度光盘、任何其他光学或磁性媒介以及软盘。计算机可读媒介可以储存可由至少一个处理单元执行的计算机程序，并且包括用于执行各种操作的指令集。计算机程序或计算机代码的范例包括如由编译程序产生的机器代码，以及包括由计算机、电子组件或使用直译器的微处理器执行的更高阶代码的档案。
虽然上述讨论主要涉及执行软件的微处理器或多核处理器，但许多上述特征和应用由一个或多个集成电路执行，如特殊应用集成电路 (ASIC)或现场可程序化逻辑门阵列(FPGA)。在一些实施例中，这种集成电路执行储存在电路自身上的指令。此外，一些实施例执行储存在可程序化逻辑设备(PLD)、ROM或RAM装置中的软件。
如在本说明书和本申请的权利要求书中所使用的，术语「计算机」、「服务器」、「处理器」和「内存」均指电子或其他技术设备。这些术语不包括人或人的群体。出于说明书的目的，术语显示或显示设备系指显示在电子设备上。如在本说明书和本申请的权利要求书中所使用的，术语「计算机可读媒介」、「计算机可读媒介」和「机器可读媒介」完全限于以计算机可读之格式储存信息的有形物理对象。这些术语不包括任何无线讯号、有线下载讯号和任何其他短暂讯号。
虽然已经参考许多具体细节描述了本发明，但是本领域通常技术人员将认识到，在不脱离本发明的精神的情况下，本发明可以以其他具体形式实施。此外，许多图(包括图14至图16)概念性地示意了流程。这些流程的具体操作可能不会按照显示和描述的确切顺序执行。可以不在一个连续的一系列操作中执行特定操作，并可以在不同的实施例中执行不同的特定操作。此外，该流程可以使用多个子流程来实现，或者作为更大的总体过程的一部分来实现。因此，本领域通常技术人员将理解，本发明不受前述说明性细节的限制，而是由所附之申请专利范围来限定。
补充说明
本文描述的实体事项有时示出包含在不同的其他组件内、或与不同的其他组件连接的不同组件。应理解的是，这样描绘的架构仅仅是范例，并且实际上可以由实现相同功能的许多其他架构来实现。在概念意义上，实现相同功能的任何组件布置有效地「关联」，使得期望的功能被实现。因此，这里组合以实现特定功能的任何两个组件可以被视为彼此「相关联」，使得期望的功能被实现，而不论架构或中间组件。同样地，如此关联的任何两个组件也可以被视为彼此「可操作地连接」或「可操作地耦合」以实现期望的功能，并且能够如此关联的任何两个组件也可以被视为「可操作地耦合」，以彼此实现所需的功能。可操作地耦合的具体范例包括但不限于物理上可配对和/或物理上相互作用的组件和/或可无线相互作用和/或无线相互作用的组件和/ 或逻辑上相互作用和/或逻辑上可相互作用的组件。
此外，关于本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以根据适当的上下文或申请从复数转换为单数和/或从单数转换为复数。为清楚起见，这里可以明确地阐述各种单数/复数置换。
此外，本领域技术人员将理解，通常而言，本文使用的术语，尤其是权利要求的范围，如所附权利要求的主体，通常旨在作为「开放」术语，如术语「包括」应解释为「包括但不限于」，术语「具有」应解释为「至少具有」，术语「包括」应解释为「包括但不限于」，本领域技术人员将进一步理解，如果有意在权利要求引入特定数量，则在权利要求中将明确地陈述这样的意图，并且在没有这样的叙述的情况下，不存在这样的意图。举例而言，为了帮助理解，所附权利要求书中可以将包含介绍性短语「至少一个」和「一个或多个」的使用引入权利要求项叙述。然而，这些短语的使用不应被解释为暗示由不定冠词「一」或「一个」介绍权利要求项，而限制了任何包含所介绍的权利要求项，即便是在相同权利要求项包含介绍性短语「至少一个」和「一个或多个」与不定冠词「一」或「一个」。举例而言，「一」和/或「一个」应该被解释为「至少一个」或「一个或多个」；同样情况适用于使用用于介绍权利要求项的定冠词。此外，即使明确地参考了特定数量的介绍的权利要求范围陈述，本领域技术人员将认识到，这种陈述应该被解释为至少表示所参考的数字，如仅仅「两个权利要求项」的叙述而无其他修饰语，表示至少两个权利要求项，或两个或多个权利要求项。此外，在使用类似于「A、B和C等中的至少一个」的约定的那些情况下，通常这样的结构有意在本领域技术人员将理解该惯例的意义上，如「具有A、B和C中的至少一个的系统」，会包括但不限于仅具有A、仅具有B、仅具有C、A和B一起、A和C一起、B 和C一起、和/或A、B、C一起的系统等情形。在使用类似于「A、B 或C等中的至少一个」的约定的那些情况下，通常这样的结构有意在本领域技术人员将理解该惯例的意义上，如「具有A、B或C中的至少一个的系统」将包括但不限于仅具有A、仅具有B、仅具有C、A和B 一起、A和C一起、B和C一起、和/或A、B和C一起的系统等情形。本领域技术人员将进一步理解，无论在说明书、权利要求书或附图中，实际上呈现两个或更多个替代术语的任何析取词和/或短语，应理解为可能包括术语中之一者、其中一个术语或术语两者。举例而言，短语「A或B」将被理解为可能包括「A」或「B」或「A和B」。
从前述内容可以理解，本文已经出于说明的目的描述了本发明的各种实施方式，并且在不脱离本发明的范围和精神的情况下可以进行各种修改。因此，本文发明的各种实施方式不意图作为限制性的，真正的范围和精神由所附权利要求书所指示。

Claims (20)

1.一种全方位视频的解码方法，包括：
接收包括多个全方位影像的已编码序列的比特流，每个全方位影像具有多个视图，每个视图具有用于解码所述视图的视图特定数据集合；
接收视图的选择；
对于所述全方位影像，解码所述全方位影像的选择的视图的所述视图特定数据集合，其中至少一个其他视图的视图特定数据未被解码；以及
基于已解码的视图特定数据集合提供所述全方位影像的所述选择的视图，以供显示。
2.如权利要求1中所述的全方位视频的解码方法，其特征在于，每个视图被编码为一组切片或一组瓦片。
3.如权利要求1中所述的全方位视频的解码方法，其特征在于，每个视图的所述视图特定数据集合被独立地熵编码，其中编码视图的视图特定数据集合包括重置熵编码状态。
4.如权利要求1中所述的全方位视频的解码方法，其特征在于，所述选择的视图的所述视图特定数据集合不依赖于另一视图的视图特定数据。
5.如权利要求1中所述的全方位视频的解码方法，其特征在于，所述选择的视图的所述视图特定数据集合包括与参考像素块外部的数据的所述像素块相关联的参考元素，所述解码方法并进一步包括在所述参考元素参考所述视图外部的数据时修改所述参考元素，其中修改的所述参考元素参考所述视图内的数据。
6.如权利要求5中所述的全方位视频的解码方法，其特征在于，所述参考元素是从包括与多个邻接像素块相关联的多个运动向量的一组候选列表中选择的。
7.如权利要求1中所述的全方位视频的解码方法，其特征在于，进一步包括：
当所述全方位影像是预测阶层中的基础层图像时：
解码所述全方位影像的所有视图的视图特定数据；以及
允许不同视图的选择。
8.一种全方位视频的编码方法，包括：
接收一系列的全方位影像，每个全方位影像具有多个视图；以及
将所述全方位影像编码成比特流，每个视图在所述比特流中具有相应的视图特定数据集合，用于解码所述视图，
其中每个视图特定数据集合能够独立于其他视图的视图特定数据被解码。
9.如权利要求8中所述的全方位视频的编码方法，其特征在于，每个视图被编码为一组切片或一组瓦片。
10.如权利要求8中所述的全方位视频的编码方法，其特征在于，编码所述全方位影像的特定视图包括：将所述特定视图的所述视图特定数据约束为不参考任何其他视图的视图特定数据，以进行编解码。
11.如权利要求8中所述的全方位视频的编码方法，其特征在于，编码所述全方位影像的特定视图包括：约束所述特定视图的参考元素仅参考所述特定视图的像素。
12.如权利要求11中所述的全方位视频的编码方法，其特征在于，约束所述特定视图的所述参考元素包括：确定基于运动向量预测子导出的运动向量是否超过所述特定视图的边界。
13.如权利要求8中所述的全方位视频的编码方法，其特征在于，编码所述全方位影像的特定视图包括：识别用于透过帧间预测对像素块进行编码的多个候选参考元素的列表，以及选择参考元素，所述参考元素不参考所述列表的所述特定视图之外的像素。
14.如权利要求8中所述的全方位视频的编码方法，其特征在于，编码所述全方位影像的特定视图包括：识别参考所述特定视图外的像素的参考元素，并将所述识别的参考元素修改为参考所述视图内的像素。
15.如权利要求8中所述的全方位视频的编码方法，其特征在于，每个视图的所述视图特定数据集合被独立地熵编码，其中编码视图的视图特定数据集合包括重置熵编码状态。
16.一种电子设备，包括：
视频解码电路，能够：
接收包括多个全方位影像的已编码序列的比特流，每个全方位影像具有多个视图，每个视图具有用于解码所述视图的视图特定数据集合；
接收视图的选择；
对于所述全方位影像，解码所述全方位影像的所述选择的视图的所述视图特定数据集合，其中至少一个其他视图的视图特定数据未被解码；以及
基于所述已解码的视图特定数据集合显示所述全方位影像的所述选择的视图；以及
用户界面电路，能够提供所述视图的所述选择。
17.如权利要求16中所述的所述的电子设备，其特征在于，所述选择的视图的所述视图特定数据集合包括与参考像素块外部数据的像素块相关联的参考元素，所述方法并进一步包括在所述参考元素参考所述视图外部的数据时，修改所述参考元素，其中所述修改的参考元素参考所述视图内的数据。
18.如权利要求16中所述的所述的电子设备，其特征在于，所述视频解码器电路进一步能够：
当所述全方位影像是预测阶层中的基础层图像时：
解码所述全方位影像的所有视图的视图特定数据；以及
允许不同视图的选择。
19.一种电子设备，包括：
视频编码电路，能够：
接收一系列全方位影像，每个全方位影像具有多个视图；以及
将所述全方位影像序列编码成比特流，每个视图在所述比特流中具有相应的视图特定数据集合，用于解码所述视图，
其中每个特定视图数据集合能够独立于其他视图的视图特定数据进行解码；以及
储存器，能够储存所述比特流。
20.如权利要求19中所述的电子设备，其特征在于，编码所述全方位影像的特定视图包括：约束所述特定视图的所述视图特定数据，以不参考任何其他视图的视图特定数据来进行编解码。
CN201810892090.8A 2016-08-08 2018-08-07 全方位视频的解码方法、编码方法及电子设备 Pending CN109391827A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662371878P 2016-08-08 2016-08-08
US15/671,070 US10771791B2 (en) 2016-08-08 2017-08-07 View-independent decoding for omnidirectional video
US15/671,070 2017-08-07

Publications (1)

Publication Number Publication Date
CN109391827A true CN109391827A (zh) 2019-02-26

Family

ID=61070165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810892090.8A Pending CN109391827A (zh) 2016-08-08 2018-08-07 全方位视频的解码方法、编码方法及电子设备

Country Status (3)

Country Link
US (1) US10771791B2 (zh)
CN (1) CN109391827A (zh)
TW (1) TWI690201B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109412A1 (en) * 2020-04-15 2021-06-10 Zte Corporation Volumetric visual media process methods and apparatus

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10743004B1 (en) 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743003B1 (en) 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10553029B1 (en) * 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10412412B1 (en) * 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
CN115022626A (zh) 2016-10-04 2022-09-06 有限公司B1影像技术研究所 图像数据编码/解码方法和计算机可读记录介质
US12035049B2 (en) 2016-10-06 2024-07-09 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
US10380715B2 (en) * 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US10609356B1 (en) 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
FR3072850B1 (fr) * 2017-10-19 2021-06-04 Tdf Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle
US11145108B2 (en) * 2018-03-21 2021-10-12 Nvidia Corporation Uniform density cube map rendering for spherical projections
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
EP3900360A4 (en) * 2018-12-20 2022-03-16 Telefonaktiebolaget Lm Ericsson (Publ) METHOD OF ENCODING AND/OR DECODING VIDEO WITH SYNTAX DISPLAY AND IMAGE HEADER
US11012710B2 (en) * 2019-03-06 2021-05-18 Tencent America LLC Techniques for intra prediction for 360 image and video coding
US11159822B2 (en) * 2019-07-11 2021-10-26 Qualcomm Incorporated Intra-prediction according to virtual boundaries for video coding
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1572115A (zh) * 2001-10-16 2005-01-26 皇家飞利浦电子股份有限公司 增强视频流的选择性解码
CN101383962A (zh) * 2007-09-07 2009-03-11 武汉大学 基于感兴趣区域的低码率空域增强层编解码方法
CN101496407A (zh) * 2006-07-06 2009-07-29 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
US20110181694A1 (en) * 2010-01-28 2011-07-28 Samsung Electronics Co., Ltd. Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
CN102450011A (zh) * 2009-04-10 2012-05-09 诺基亚公司 用于自由视点视频的高效流传输的方法和设备
US20130016771A1 (en) * 2011-07-11 2013-01-17 Sharp Laboratories Of America, Inc. Video decoder parallelization for tiles
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
CN106612426A (zh) * 2015-10-26 2017-05-03 华为技术有限公司 一种多视点视频传输方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3014513A1 (de) * 1980-04-16 1981-10-22 Scantron GmbH & Co Elektronische Lesegeräte KG, 6000 Frankfurt Verfahren und vorrichtung zum indentifizieren von gegenstaenden
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2004118786A (ja) * 2002-09-30 2004-04-15 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US8103111B2 (en) * 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
JPWO2013001941A1 (ja) * 2011-06-27 2015-02-23 日本電気株式会社 物体検知装置、物体検知方法および物体検知プログラム
CN110650336B (zh) * 2012-01-18 2022-11-29 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
EP3008896B1 (en) * 2013-07-15 2021-03-31 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
CN105554506B (zh) * 2016-01-19 2018-05-29 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
CN105681805B (zh) * 2016-01-19 2019-05-21 北京大学深圳研究生院 视频编码、解码方法及其帧间预测方法和装置
US10249019B2 (en) * 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1572115A (zh) * 2001-10-16 2005-01-26 皇家飞利浦电子股份有限公司 增强视频流的选择性解码
CN101496407A (zh) * 2006-07-06 2009-07-29 汤姆逊许可证公司 用于针对多视角视频编码和解码解耦合帧号和/或图像顺序计数（poc）的方法和装置
CN101383962A (zh) * 2007-09-07 2009-03-11 武汉大学 基于感兴趣区域的低码率空域增强层编解码方法
CN102450011A (zh) * 2009-04-10 2012-05-09 诺基亚公司 用于自由视点视频的高效流传输的方法和设备
US20110181694A1 (en) * 2010-01-28 2011-07-28 Samsung Electronics Co., Ltd. Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
US20130016771A1 (en) * 2011-07-11 2013-01-17 Sharp Laboratories Of America, Inc. Video decoder parallelization for tiles
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
US20160142697A1 (en) * 2014-11-14 2016-05-19 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
CN106612426A (zh) * 2015-10-26 2017-05-03 华为技术有限公司 一种多视点视频传输方法及装置
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109412A1 (en) * 2020-04-15 2021-06-10 Zte Corporation Volumetric visual media process methods and apparatus
US12101508B2 (en) 2020-04-15 2024-09-24 Zte Corporation Volumetric media process methods and apparatus

Also Published As

Publication number Publication date
TW201911869A (zh) 2019-03-16
TWI690201B (zh) 2020-04-01
US20180041764A1 (en) 2018-02-08
US10771791B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
CN109391827A (zh) 全方位视频的解码方法、编码方法及电子设备
CN104854866B (zh) 下一代视频的内容自适应、特性补偿预测
EP3926960A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN109716766B (zh) 一种滤波360度视频边界的方法及装置
CN104885470B (zh) 用于下一代视频的预测和编码的内容自适应划分
KR101662985B1 (ko) 3d 비디오 코딩을 위한 예측 파라미터 상속
CN103220518B (zh) 用于对运动矢量进行编码和解码的方法和设备
CN109792517A (zh) 用于编码和解码大视场视频的方法和装置
CN108141611A (zh) 任意观看角度的部分解码及虚拟现实视频的线帧缓存器降低
CN103260031A (zh) 用于对运动矢量进行编码/解码的方法和设备
CN109891893A (zh) 在流媒体中推导和用信号发送区域和视口
CN109922347A (zh) 视频编译码方法及其图像处理装置
CN110603809A (zh) 用于视频编码或解码的设备和方法
US8687686B2 (en) 3D contents data encoding/decoding apparatus and method
Chan et al. Overview of current development in depth map coding of 3D video and its future
US20140321757A1 (en) Extending prediction modes and performance of video codecs
CN101584220A (zh) 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统
CN107079159A (zh) 基于多核系统的并行视频解码的方法和设备
CN103237213B (zh) 视频编码方法和视频解码方法及相关装置
CN112640453A (zh) 帧内预测的方法和装置
CN111448799A (zh) 全向视频切片段
CN103248885B (zh) 帧内图像预测编解码方法及视频编解码器
WO2023039397A1 (en) 2d atlas adaptive sampling in 3d mesh compression
CN112425165B (zh) 基于邻块的帧内预测模式推导
EP3698543A1 (en) Stereo omnidirectional frame packing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226

RJ01 Rejection of invention patent application after publication