CN108293136A - 用于编码360度全景视频的方法、装置和计算机程序产品 - Google Patents

用于编码360度全景视频的方法、装置和计算机程序产品 Download PDF

Info

Publication number
CN108293136A
CN108293136A CN201680068065.7A CN201680068065A CN108293136A CN 108293136 A CN108293136 A CN 108293136A CN 201680068065 A CN201680068065 A CN 201680068065A CN 108293136 A CN108293136 A CN 108293136A
Authority
CN
China
Prior art keywords
sample
borderline region
picture
opposite side
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680068065.7A
Other languages
English (en)
Other versions
CN108293136B (zh
Inventor
M·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN108293136A publication Critical patent/CN108293136A/zh
Application granted granted Critical
Publication of CN108293136B publication Critical patent/CN108293136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

公开了用于视频编码的各种方法、设备和计算机程序产品。在一些实施例中，该方法包括：重建用于层间预测的360度全景源图片；从360度全景源图片得到层间参考图片，其中得到包括以下中的一个或两个：对360度全景源图片的至少一部分进行上采样，其中上采样包括至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来对360度全景源图片的边界区域的样本进行滤波；确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：相对侧边界区域的一个或多个样本值；与相对侧边界区域的一个或多个块相关联的一个或多个变量值。

Description

用于编码360度全景视频的方法、装置和计算机程序产品
技术领域
本实施例涉及360度全景视频的编码。
背景技术
本部分旨在提供权利要求中记载的发明的背景或上下文。本文的描述可以包括可能被寻求的概念，但不必然是之前已经被构想或寻求的概念。因此，除非本文另有指示，否则本部分中描述的内容不是本申请中的描述和权利要求的现有技术，并且不通过包括在本部分中而被承认为现有技术。
360度全景图像和视频水平覆盖捕获位置周围的完整的360度视场。例如，可以通过将多个相机传感器的图片拼接到单个360度全景图像中来获取360度全景视频内容。而且，单个图像传感器可以与光学布置一起使用，以生成360度全景图像。
发明内容
一些实施例提供了用于实现用于编码和解码360度全景视频的方法的方法和装置。
在具体实施方式中提供了本发明的示例的各个方面。
根据第一方面，提供了一种方法，包括：
-重建用于层间预测的360度全景源图像；
-从360度全景源图片得到层间参考图片，其中得到包括以下中的一个或两个：
○对360度全景源图片的至少一部分进行上采样，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对360度全景源图片的边界区域的样本进行滤波；
○确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第二方面，提供了一种方法，包括：
-对360度全景图片的边界区域的样本进行编码，其中编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第三方面，提供了一种方法，包括：
-对360度全景图片的边界区域的样本进行解码，其中解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第四方面，提供了一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为利用至少一个处理器，使得装置执行至少以下操作：
-重建用于层间预测的360度全景源图像；
-从360度全景源图片得到层间参考图片，其中得到包括以下中的一个或两个：
○对360度全景源图片的至少一部分进行上采样，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对360度全景源图片的边界区域的样本进行滤波；
○确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第五方面，提供了一种装置，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为利用至少一个处理器，使得装置执行至少以下操作：
-对360度全景图片的边界区域的样本进行编码，其中编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第六方面，提供了一种装置，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为利用至少一个处理器，使得装置执行至少以下操作：
-对360度全景图片的边界区域的样本进行解码，其中解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第七方面，提供了一种装置，包括：
-用于处理的器件；
-用于重建用于层间预测的360度全景源图像的器件；
-用于从360度全景源图片得到层间参考图片的器件，其中用于得到的器件被配置为执行以下中的一个或两个：
○对360度全景源图片的至少一部分进行上采样，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对360度全景源图片的边界区域的样本进行滤波；
○确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第八方面，提供了一种装置，包括：
-用于处理的器件；
-用于对360度全景图片的边界区域的样本进行编码的器件，其中用于编码的器件被配置为利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第九方面，提供了一种装置，包括：
-用于处理的器件；
-用于对360度全景图片的边界区域的样本进行解码的器件，其中用于解码的器件被配置为利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第十方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载在其中实施的、与计算机一起使用计算机程序代码，计算机程序代码包括：
-用于重建用于层间预测的360度全景源图像的代码；
-用于从360度全景源图片得到层间参考图片的代码，其中得到包括以下中的一个或两个：
○用于对360度全景源图片的至少一部分进行上采样的代码，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对360度全景源图片的边界区域的样本进行滤波；
○用于确定跨过360度全景源图片的图片边界的参考区域的代码，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第十一方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载在其中实施的、与计算机一起使用计算机程序代码，计算机程序代码包括：
-用于对360度全景图片的边界区域的样本进行编码的代码，其中编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○用于基于一个或多个样本值获得用于帧内预测的预测块的代码；
○用于基于以下中的一个或两个对边界区域的中间重建样本进行滤波的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○用于基于以下中的一个或两个来调整上下文自适应熵编码的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第十二方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载在其中实施的、与计算机一起使用计算机程序代码，计算机程序代码包括：
-用于对360度全景图片的边界区域的样本进行解码的代码，其中解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○用于基于一个或多个样本值获得用于帧内预测的预测块的代码；
○用于基于以下中的一个或两个对边界区域的中间重建样本进行滤波的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○用于基于以下中的一个或两个来调整上下文自适应熵解码的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
附图说明
为了更完整地理解本发明的示例实施例，现在参照结合附图所进行的以下描述，其中：
图1图示了根据一个实施例的视频编码系统的框图；
图2图示了根据一个实施例的装置的布局；
图3图示了根据一个示例实施例的用于视频编码的、包括多个装置、网络和网络元件的布置；
图4图示了根据一个实施例的视频编码器的框图；
图5图示了根据一个实施例的视频解码器的框图；
图6图示了图7和图8中使用的示例；
图7图示了在帧间预测过程中图片边界外的样本的处理的示例；
图8图示了访问图片边界外的样本或运动矢量的处理的示例(全景视频编码)；
图9图示了全样本位置处的亮度样本的示例，所述样本用于生成预测的亮度样本值；
图10图示了参考层位置偏移；
图11图示了具有参考区域的样本阵列的示例；
图12图示了在预测中使用的参考样本的示例；
图13是图示根据一个实施例的方法的流程图；以及
图14是图示根据另一实施例的方法的流程图。
具体实施方式
本申请涉及360全景视频内容，归因于用于捕获和/或创建360全景视频内容的专用设备和软件，360全景视频内容量正在迅速增加。
图1和图2图示了用于捕获和/或创建360全景视频内容的装置的实施例。装置50是电子设备，例如，无线通信系统的移动终端和用户设备、或相机设备。装置50可以包括用于集成和保护该设备的壳体30。装置50还可以包括显示器32，例如液晶显示器或能够显示图像和/或视频的任何其他显示器技术。装置50还可以包括小键盘34。根据另一实施例，可以采用任意合适的数据或用户接口机制。例如，用户接口可以被实现为作为触敏显示器的一部分的虚拟键盘或数据输入系统。该装置可以包括麦克风36或者可以是数字或模拟信号输入的任意合适的音频输入。装置50还可以包括音频输出设备，其可以是以下中的任何一个：耳机38，扬声器或模拟音频或数字音频输出连接。装置50还可以包括电池(根据另一实施例，该设备可以由诸如太阳能电池、燃料电池或发条发电机的任意合适的移动能量设备供电)。该装置可以包括能够记录或捕获图像和/或视频的相机42，或者可以连接到一个。相机42可以能够例如通过使用具有常规二维彩色图像传感器的抛物面镜布置、或者通过使用若干宽视场透镜和/或若干彩色图像传感器来水平和/或垂直地捕获360度视场。相机42或装置所连接到的相机本质上可以包括若干相机。根据一个实施例，装置50还可以包括用于到其他设备的短程视线通信的红外端口。根据一个实施例，装置50还可以包括任意合适的短程通信解决方案，诸如例如蓝牙无线连接或USB/火线有线解决方案。
装置50可以包括用于控制装置的控制器56或处理器。控制器56可以连接到存储器58，根据一个实施例，存储器58可以以图像数据和音频数据的形式存储两种数据和/或可以还存储用于在控制器56上实现的指令。控制器56可以进一步连接到视频编解码器电路54，编解码器电路54适于执行音频和/或视频数据的编码和解码或辅助由控制器56执行的编码和/或解码。
视频编解码器电路54可以包括编码器和解码器，编码器将输入视频转换成适于存储/传输的压缩表示，并且解码器能够将压缩的视频表示解压缩回可观看形式。编码器可以丢弃原始视频序列中的一些信息，以便以更紧凑的形式(即，以更低的比特率)表示视频。图4示出了视频编码器的示例，其中In：要编码的图像；P'n：图像块的预测表征；Dn：预测误差信号；D'n：重建的预测误差信号；I'n：初步重建图像；R'n：最终重建图像；T，T-1：变换和逆变换；Q，Q-1：量化和逆量化；E：熵编码；RFM：参考帧存储器；Pinter：帧间预测；Pintra：帧内预测；MS：模式选择；F：滤波。图5图示了视频解码器的框图，其中P'n：图像块的预测表示；D'n：重建的预测误差信号；I'n：初步重建图像；R'n：最终重建图像；T-1：逆变换；Q-1：逆量化；E-1：熵解码；RFM：参考帧存储器；P：预测(帧间或帧内)；F：滤波。在一些实施例中，装置50(图1和图2)仅包括编码器或解码器，在一些其他实施例中，装置50包括两者。
再次参考图1和图2。装置50可以还包括读卡器48和智能卡46，例如UICC和UICC读取器，用于提供用户信息并且适于提供用于在网络处对用户的认证和授权的认证信息。
装置50可以包括无线电接口电路52，无线电接口电路52连接到控制器并且适于生成无线通信信号，无线通信信号例如用于与蜂窝通信网络、无线通信系统、或无线局域网的通信。装置50还可以包括连接到无线电接口电路52的天线44，用于向(多个)其他装置传输在无线电接口电路52处生成的射频信号并且用于从(多个)其他装置接收射频信号。
根据一个实施例，装置50包括相机42，该相机42能够记录或检测单独的帧，单独的帧然后将被传送到编解码器54或控制器以进行处理。根据一个实施例，该装置可以在传输和/或存储之前从另一设备接收视频图像数据以进行处理。根据一个实施例，装置50可以无线地或通过有线连接来接收用于处理的图像。
图3示出了根据一个实施例的包括多个装置、网络和网络元件的系统配置。系统10包括可以通过一个或多个网络进行通信的多个通信设备。系统10可以包括有线或无线网络的任意组合，无线网络包括但不限于无线蜂窝电话网络(诸如GSM、UMTS、CDMA网络等)、诸如由IEEE 802.x标准中的任意一个定义的无线局域网(WLAN)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网、以及因特网。
系统10可以包括有线和无线通信设备或适于实现本实施例的装置50。例如，图3中所示的系统示出了移动电话网络11和因特网28的表示。到因特网28的连接可以包括但不限于长距离无线连接、短距离无线连接、以及包括但不限于电话线、电缆线、电力线和类似的通信路径的各种有线连接。
系统10中示出的示例通信设备可以包括但不限于电子设备或装置50、个人数字助理(PDA)和移动电话14的组合、PDA 16、集成消息传送设备(IMD)18、台式计算机20、笔记本计算机22、数字相机12。当由正在移动的个体携带时，装置50可以是固定的或移动的。装置50还可以位于运输模式中。
另外的装置中的一些可以发送和接收呼叫和消息，并且通过到基站24的无线连接25与服务提供商通信。基站24可以连接到网络服务器26，网络服务器26允许移动电话网络11和因特网28之间的通信。该系统可以包括附加的通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术进行通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动电话系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-因特网协议(TCP-IP)、短消息服务(SMS)、多媒体消息服务(MMS)、电子邮件、即时消息服务(IMS)、蓝牙、IEEE 802.11、以及任意类似的无线通信技术。涉及实现本发明的各种实施例的通信设备可以使用各种媒体进行通信，包括但不限于无线电、红外线、激光、电缆连接、或任意合适的连接。
如上所述，本实施例涉及360度全景图像和视频。这种360度全景内容水平覆盖成像设备(例如，图1的相机或装置)的捕获位置周围的完整的360度视场。垂直视场可以变化，并且例如可以是180度。水平覆盖360度视场和垂直覆盖180度视场的全景图像表示使用等距圆柱投影映射到二维图像平面的球体。在这种情况下，水平坐标可以被认为等同于经度，并且垂直坐标可以被认为等同于纬度，而不应用变换或缩放。在某些情况下，具有360度水平视场但具有小于180度的垂直视场的全景内容可以被认为是等距圆柱投影的特殊情况，其中球体的极性区域尚未映射到二维图像平面。
360度全景视频内容可以通过各种方式获取。例如，多个相机传感器的图片可以拼接成单个360度全景图像。市场上有专门的设备和相机来实现这一点。然而，作为另一个非限制性示例，360度全景视频内容可以通过具有光学布置的单个图像传感器来获取。
接下来描述相关技术的视频编码。
H.264/AVC标准是由国际电信联盟(ITU-T)的电信标准化部门的视频编码专家组(VCEG)的联合视频组(JVT)以及国际标准化组织(ISO)/国际电工委员会(IEC)的运动图片专家组(MPEG)开发的。H.264/AVC标准由两个母标准化组织公布，并且被称为ITU-T推荐H.264和ISO/IEC国际标准14496-10，也被称为MPEG-4第10部分高级视频编码(AVC)。H.264/AVC标准有多种版本，将新的扩展或特征集成到规范中。这些扩展包括可缩放视频编码(SVC)和多视图视频编码(MVC)。
高效视频编码(H.265/HEVC，又名HEVC)标准的版本1由VCEG和MPEG的联合协作小组-视频编码(JCT-VC)开发。该标准由两个母标准化组织公布，并且被称为ITU-T推荐H.265和ISO/IEC国际标准23008-2，也被称为MPEG-H第2部分高效视频编码(HEVC)。H.265/HEVC的版本2包括可缩放、多视图、以及保真度范围扩展，其可分别缩写为SHVC、MV-HEVC、以及REXT。H.265/HEVC的第2版已经作为ITU-T建议H.265(10/2014)和ISO/IEC 23008-2的第2版被发布。目前存在正在进行的标准化项目用以开发对H.265/HEVC的进一步扩展，包括三维和屏幕内容编码扩展，其可以分别缩写为3D-HEVC和SCC。
SHVC、MV-HEVC和3D-HEVC使用HEVC标准的版本2的附录F中规定的通用基础规范。该通用基础包括例如高级语法和语义，例如规定比特流的层的一些特性(诸如层间依赖性)以及解码过程，诸如包括层间参考图片的参考图片列表构建以及用于多层比特流的图片顺序计数得到。附录F也可用于HEVC潜在的后续多层扩展。应当理解，即使视频编码器、视频解码器、编码方法、解码方法、比特流结构和/或实施例可以在下文中参照诸如SHVC和/或MV-HEVC的特定扩展来描述，它们通常可应用于HEVC的任意多层扩展，甚至更一般地适用于任意多层视频编码方案。
许多混合视频编解码器(包括H.264/AVC和HEVC)以两个阶段来编码视频信息。在第一阶段中，预测性编码被应用，例如所谓的样本预测和/或所谓的语法预测。
在样本预测中，预测某个图片区域或“块”中的像素或样本值。例如，可以使用以下方式中的一个或多个来预测这些像素或样本值：
-运动补偿机制(其也可以称为时间预测或运动补偿时间预测或运动补偿预测或MCP或帧间预测)，其涉及在先前已编码视频帧之一中寻找和指示紧密对应于被编码的块的区域。
-帧内预测，其中可以通过涉及寻找和指示空间区域关系的空间机制来预测像素或样本值。更一般地，帧内预测可以在空间或变换域中执行，即，可以预测样本值或变换系数。帧内预测通常在帧内编码中被利用，其中不应用帧间预测。
在很多视频编解码器(包括H.264/AVC和HEVC)中，运动信息由与每个运动压缩图像块相关联的运动矢量来指示。这些运动矢量中的每个指示要(在编码器中)编码或(在解码器处)解码的图片中的图像块以及先前已编码或已解码图像(或图片)之一中的预测源块的位移。与很多其他视频压缩标准一样，H.264/AVC和HEVC将图片分为矩形网格，对于每个矩形，参考图片之一中的类似块被指示用于帧间预测。预测块的位置被编码为指示预测块相对于正在被编码的块的位置的运动矢量。
编码过程的一个结果是编码参数集，诸如运动矢量和量化的变换系数。如果首先从空间或时间上相邻的参数预测许多参数，则这些参数可以更有效地被熵编码。例如，可以从空间上相邻的运动矢量来预测运动矢量，并且可以仅编码相对于运动矢量预测符的差异。编码参数的预测和帧内预测可以统称为图片内预测。
在还可以称为参数预测的语法预测中，根据先前解码(编码)的语法元素和/或先前得到的变量来预测语法元素和/或语法元素值和/或根据语法元素得到的变量。下面提供语法预测的非限制性示例：
-在运动矢量预测中，可以关于块特定的预测运动矢量来差分地对例如帧间和/或视图间预测的运动矢量编码。在很多视频编解码器中，按照预定义的方式来创建预测运动矢量，例如通过计算相邻块的已编码或已解码运动矢量的中间矢量。创建运动矢量预测(有时称为高级运动矢量预测(AMVP))的另一方式是根据时间参考图片中的相邻块和/或并置(co-located)的块来生成候选预测的列表，并且将所选择的候选作为运动矢量预测符进行信号传输。除了预测运动矢量值，还可以预测先前编码/解码的图片的参考索引。参考索引通常根据时间参考图片中的相邻块和/或并置的块来预测。运动矢量的差分编码通常跨切片边界上被停用。
-可以预测例如从CTU到CU并且直至PU的块分割(partitioning)。
-在滤波参数预测中，可以预测例如样本自适应偏移的滤波参数。
使用来自先前已编码图像的图像信息的预测方法也可以称为帧间预测方法，其也可以称为时间预测和运动补偿。帧内预测有时可以被认为仅包括经运动补偿的时间预测，而其有时也被认为包括其中使用已重建/已解码样本块作为预测源的所有类型的预测(因此包括常规的视图间预测)。可以认为帧间预测仅包括样本预测，但是备选地可以认为其包括样本预测和语法预测二者。作为语法和样本预测的结果，可以获得样本的像素的预测块。将图像信息与相同图像一起使用的预测方法也可以称为帧内预测方法。
第二阶段是对像素的预测块与像素的原始块之间的误差进行编码或者对样本的预测块与样本的原始块之间的误差进行编码。这可以通过使用规定的变换来对像素或样本值的差异进行变换来实现。这一变换可以是例如离散余弦变换(DCT)或其变型。在对差异进行变换之后，对变换后的差异进行量化并且对其进行熵编码。在一些编码方案中，编码器可例如基于变换单元来指示绕过变换并对样本域中的预测误差块进行编码。
通过改变量化过程的保真度，编码器可以控制像素或样本表示的准确性(即图片的视觉质量)与所得到的已编码视频表示的大小(即文件大小或传输比特率)之间的平衡。
解码器通过应用类似于编码器所使用的机制的预测机制来重建输出视频，以便形成像素或样本块的预测表示(使用由编码器产生并且被包括在图像的压缩表示中的运动或空间信息)以及预测误差解码(预测误差编码在空间域中恢复量化后的预测误差信号的逆操作)。
在应用像素或样本预测和误差解码过程之后，解码器将预测和预测误差信号(像素或样本值)组合以形成输出视频帧。
解码器(和编码器)还可以应用额外的滤波处理，以便在传递输出视频用于显示和/或存储输出视频作为视频序列中即将到来的图片的预测参考之前改善输出视频的质量。例如，滤波可以包括以下中的一个或多个：去块(deblocking)、采样自适应偏移(SAO)和/或自适应环路滤波(ALF)。
基于块的编码可以在重建的或经解码的图片的块边界处产生可见的不连续性。当满足预定义(例如在编码标准中)和/或用信号发送的条件集时，由编码器和/或解码器确定在网格的边界(例如，4×4亮度样本的网格)上的滤波，条件诸如以下：
-该边界是块边界，诸如，例如被指定用于HEVC的预测单元边界或变换单元边界；
-边界强度(见下文)是显著的或相关的，例如大于零；以及
-边界两侧的样本值的变化低于指定阈值，其中阈值可以取决于例如在变换编码中使用的量化参数。
在去块环路滤波中使用的边界强度可以基于若干条件和规则来确定，诸如以下中的一个或多个或类似物：
-当与边界相邻的块中的至少一个块被帧内编码时，边界强度可以被设置为是显著的，诸如2；
-当与边界相邻的块中的至少一个块具有非零编码的残差系数并且边界是TU边界时，可以将边界强度设置为是相关的，诸如1；
-当与边界相邻的两个块的运动矢量之间的绝对差以整数亮度样本为单位大于或等于1时，可以将边界强度设置为是相关的，诸如1；
-当不同的参考图片被用于与边界相邻的两个块中的运动矢量时，可以将边界强度设置为是相关的，诸如1；
-当与边界相邻的两个块中的运动矢量的数目时，可以将边界强度设置为是相关的，诸如1；
-否则，可以将边界强度设置为不显著的(或不相关的)，诸如0。
去块环路滤波器可以包括多个滤波模式或强度，其可以基于与边界相邻的块的特征(诸如，量化参数值)和/或编码器在比特流中包括的信令来自适应地选择。例如，去块环路滤波器可以包括正常滤波模式和强滤波模式，二者在滤波器抽头的数目(即，在边界的两侧上被滤波的样本的数目)和/或滤波器抽头值方面不同。例如，当忽略限幅操作的潜在影响时，可以利用具有(379-3)/16的冲激响应的滤波器对沿边界两侧的两个样本进行滤波。
下面参考HEVC给出SAO的示例；然而，SAO也可以类似地应用于其他编码方案。在SAO中，图片被划分为区域，其中针对每个区域做出单独的SAO决定。在HEVC中，用于适配SAO参数的基本单元是CTU(因此，SAO区域是由对应的CTU覆盖的块)。
在SAO算法中，根据规则集对CTU中的样本进行分类，并且通过添加偏移值来增强每个分类的样本集。偏移值在比特流中用信号发送。存在两种类型的偏移：1)带偏移；2)边缘偏移。对于CTU，不使用SAO或带偏移或边缘偏移。编码器可以利用例如率失真优化(RDO)来决定是否不使用SAO或带偏移或边缘偏移的选择，并将选择发信号给解码器。
自适应环路滤波器(ALF)是提高重建样本的质量的另一种方法。这可以通过对环路中的样本值滤波来实现。在一些实施例中，编码器基于例如RDO来确定图片中的哪个区域将被滤波以及滤波器系数，并且该信息被用信号通知给解码器。
帧间预测过程可以使用以下因子中的一个或多个来表征：
-运动矢量表示的准确性。例如，运动矢量可以具有四分之一像素准确性，并且可以使用有限冲激响应(FIR)滤波器来获得分数像素位置的样本值。
-用于帧间预测的块分割。很多编码标准(包括H.264/AVC和HEVC)使得能够选择针对其在编码器中应用运动矢量以进行运动补偿预测的块的大小和形状，并且在比特流中指示所选择的大小和形状，使得解码器能够再现在编码器中进行的运动补偿预测。
-用于帧间预测的参考图片的数目。帧间预测的源是先前已解码的图片。很多编码标准(包括H.264/AVC和HEVC)使得能够存储用于帧间预测的多个参考图片并且使得能够基于块来选择所使用的参考图片。例如，在H.264/AVC中可以基于宏块或宏块分割并且在HEVC中可以基于PU或CU来选择参考图片。很多编码标准(诸如H.264/AVC和HEVC)在比特流中包括使得解码器能够创建一个或多个参考图片列表的语法结构。到参考图片列表的参考图片索引可以用于指示多个参考图片中的哪个用于特定块的帧间预测。参考图片索引在所选择的帧间编码模式下可以被编码器编码到比特流中，或者其在其他帧间编码模式下可以(由编码器和解码器)使用例如相邻块来得到。
-运动矢量预测。为了在比特流中高效地表示运动矢量，可以关于块特定的预测运动矢量对运动矢量差分编码。在很多视频编解码器中，以预定义的方式来创建预测运动矢量，例如通过计算相邻块的已编码或已解码的运动矢量的中间矢量。创建运动矢量预测(有时称为高级运动矢量预测(AMVP))的另一方式是从时间参考图片中的相邻块和/或并置的块来生成候选预测的列表，并且将所选择的候选作为运动矢量预测符进行信号传输。除了预测运动矢量值，可以预测先前编码/解码的图片的参考索引。参考索引通常从例如时间参考图片中的相邻块和/或并置的块来预测。运动矢量的差分编码通常跨切片边界上被停用。
-多假设运动补偿预测。H.264/AVC和HEVC使得能够使用P切片(本文中称为单向预测切片)中的单个预测块或者双向预测切片(其也称为B切片)的两个运动补偿预测块的线性组合。B切片中的个体块可以被双向预测、单向预测或者帧内预测，并且P切片中的个体块可以被单向预测或者帧内预测。双向预测图片的参考图片可以不限于按照输出顺序的在后的图片和在先的图片，而可以使用任何参考图片。在很多编码标准(诸如H.264/AVC和HEVC)中，针对P切片构造被称为参考图片列表0的一个参考图片列表，并且针对B切片构造2个参考图片列表——列表0和列表1。对于B切片，前向(forward)方向上的预测可以参考来自参考图片列表0中的参考图片的预测，并且后向(backward)方向上的预测可以参考来自参考图片列表1中的参考图片的预测，尽管用于预测的参考图片可以关于彼此或者关于当前图片具有任何解码或输出顺序。
-加权预测。很多编码标准使用预测权重1用于帧间(P)图片的预测块，并且使用预测权重0.5用于B图片的每个预测块(得到平均)。H.264/AVC允许对P和B切片二者进行加权预测。在隐式加权预测中，权重与图片顺序计数(POC)成比例，而在显式加权预测中，预测权重被显式地指出。
至少出于(但不一定限于)以下原因，帧间预测过程可以涉及参考图片边界外的样本位置：
-运动矢量可以指向图片边界外的预测块；
-运动矢量可以指向非整数样本位置，对于该位置，使用利用位于图片边界之外的位置处的输入样本的滤波来插值样本值。
一个运动矢量或一条运动信息可以被认为包括水平运动矢量分量和垂直运动矢量分量。有时，一个运动矢量或一条运动信息可以被认为还包括使用参考图片的信息或标识。
可以认为与图片相关联的运动场包括针对图片的每个已编码块产生的运动信息的集合。运动场例如可以通过块的坐标可访问。运动场例如可以用在HEVC的TMVP中或者其中使用用于预测而非当前已编码(已解码)图片的源或参考的任何其他运动预测机制中。
可以应用不同的空间粒度或单元以表示和/或存储运动场。例如，可以使用空间单元的规则网格。例如，可以将图片分为特定尺寸的矩形块(可能的例外的块在图片的边缘处，诸如在右侧边缘和底部边缘上)。例如，空间单元的尺寸可以等于编码器能够在比特流中指示的不同运动的最小尺寸，诸如亮度样本单元中的4x4的块。例如，可以使用所谓的已压缩运动场，其中空间单元可以等于预定义的或者所指示的大小，诸如亮度样本单元中的16×16的块，其尺寸可以大于用于指示不同运动的最小尺寸。例如，可以用如下方式来实现HEVC编码器和/或解码器：该方式使得能够针对每个已解码运动场执行运动数据存储减小(MDSR)或运动场压缩(先于使用运动场用于图片之间的任何预测)。在HEVC实现中，MDSR可以通过将运动保持可用于已压缩运动场中的16×16的块的左上侧样本来将运动数据的粒度减小为亮度样本单元中的16×16的块。编码器可以将与已压缩运动场的空间单元相关的指示编码为例如序列级语法结构中的一个或多个语法元素和/或语法元素值，诸如视频参数集合或序列参数集合。在一些编码(解码)方法和/或设备中，可以根据运动预测的块分割(例如根据HEVC标准的预测单元)来指示和/或存储运动场。在一些编码(解码)方法和/或设备中，可以应用规则网格和块分割的组合，使得与大于预定义的或者所指示的空间单元尺寸的分割相关联的运动能够与这些分割相关联地被指示和/或存储，而与小于预定义的或者所指示的空间单元尺寸或者未与其对准的分割相关联的运动能够针对预定义的或者所指示的单元被指示和/或存储。
视频编码器可以利用拉格朗日代价函数来寻找率失真(RD)最佳编码模式，例如，期望的宏块模式和相关联的运动向量。这种成本函数使用加权因子λ将归因于有损编码方法的(精确或估计的)图像失真与表示图像区域中的像素值所需的(确切或估计的)信息量结合在一起：
C＝D+λR， (1)
其中C是要被最小化的拉格朗日代价，D是考虑了模式和运动矢量的图像失真(例如均方误差)，R是表示重建解码器中的图像块要求的数据所需要的比特的数目(包括表示候选运动矢量的数据的量)。
本节中描述了H.264/AVC和HEVC的一些关键定义、比特流和编码结构、以及概念作为视频编码器、解码器、编码方法、解码方法和比特流结构的示例，其中实施例可以被实现。H.264/AVC的一些关键定义、比特位流和编码结构、以及概念与HEVC中的相同，因此下面将联合描述它们。本发明的各个方面不限于H.264/AVC或HEVC，而是对在其上本发明可部分或完全实现的一个可能的基础给出描述。
类似于许多较早的视频编码标准，在H.264/AVC和HEVC中规定比特流语法和语义以及用于无误差比特流的解码处理。编码过程没有规定，但编码器必须生成符合的比特流。比特流和解码器一致性可以用假想参考解码器(HRD)来验证。标准包含有助于应对传输误差和丢失的编码工具，但是编码中工具的使用是可选的，并且还没有规定针对误差的比特流解码过程。
在现有标准的描述以及示例实施例的描述中，可以将语法元素定义为在比特流中表示的数据的元素。语法结构可以被定义为以特定顺序一起存在于比特流中的零个或更多个语法元素。在现有标准的描述以及示例实施例的描述中，可以使用短语“由外部部件”或“通过外部部件”。例如，诸如解码处理中使用的语法结构或变量的值的实体可以“由外部部件”提供给解码处理。短语“由外部部件”可以指示该实体不包括在由编码器创建的比特流中，而是例如使用控制协议从比特流向外部传送。它可以替代地或附加地表示该实体不是由编码器创建的，而是可以例如在播放器或解码控制逻辑中或者正在使用解码器的类似物中创建。解码器可以具有用于输入外部部件(诸如变量值)的接口。
分别用于H.264/AVC或HEVC编码器的输入和H.264/AVC或HEVC解码器的输出的基本单元是图片。作为编码器的输入而给出的图片也可以被称为源图片，并且由解码器解码的图片可以被称为解码图片。
源图片和解码图片各自由一个或多个样本阵列组成，诸如以下样本阵列的集合中的一个：
-仅亮度(Y)(单色)。
-亮度和两个色度(YCbCr或YCgCo)。
-绿色、蓝色、以及红色(GBR，也称为RGB)。
-表示其他未规定的单色或三色激励样本的阵列(例如，YZX，也称为XYZ)。
在下文中，这些阵列可被称为亮度(或L或Y)和色度，其中两个色度阵列可被称为Cb和Cr；而不管使用中的实际颜色表示方法如何。例如使用H.264/AVC和/或HEVC的视频可用性信息(VUI)语法，可以例如在经编码比特流中指示正在使用的实际颜色表示方法。分量可以被定义为来自三个样本阵列(亮度和两个色度)之一的阵列或单个样本，或者构成单色格式图片的阵列或阵列的单个样本。
在H.264/AVC和HEVC中，图片可以是帧或场。帧包括亮度样本矩阵和可能的对应色度样本。场是帧的交替样本行集合，并且当源信号交错时可以用作编码器输入。色度样本阵列可能不存在(因此可能正在使用单色样本)，或者当与亮度样本阵列比较时，可以对色度样本阵列进行子采样。色度格式可以总结如下：
-在单色采样中，只有一个样本阵列，可能名义上被认为是亮度阵列。
-在4:2:0采样中，两个色度阵列中的每一个都具有亮度阵列的一半高度和一半宽度。
-在4:2:2采样中，两个色度阵列中的每一个具有亮度阵列的相同高度和一半宽度。
-在4:4:4采样中，当没有使用分离的颜色平面时，两个色度阵列中的每一个具有与亮度阵列相同的高度和宽度。
在H.264/AVC和HEVC中，可以将样本阵列作为单独的色彩平面编码到比特流中，并分别从比特流解码经单独编码的色彩平面。当使用分离的颜色平面时，它们中的每一个都被分离地处理(由编码器和/或解码器)作为具有单色采样的图片。
分割可以被定义为将一个集合划分为子集，使得该集合的每个元素恰好在这些子集中的一个子集中。
当描述HEVC编码和/或解码的操作时，可以使用以下术语。编码块可以被定义为对于某个N值的N×N个样本块，使得编码树块到编码块的划分是分割。编码树块(CTB)可以被定义为对于某个N值的N×N样本块，使得分量到编码树块的划分是分割。编码树单元(CTU)可以被定义为亮度样本的编码树块、具有三个样本阵列的图片的色度样本的两个对应的编码树块、或者单色图片或使用三个分离的颜色平面和用于对样本进行编码的语法结构而被编码的图片的样本的编码树块。编码单元(CU)可以被定义为亮度样本的编码块、具有三个样本阵列的图片的色度样本的两个对应编码块、或者单色图片或使用三个分离的颜色平面和用于对样本进行编码的语法结构而被编码的图片的样本的编码块。
在诸如高效率视频编码(HEVC)编解码器的一些视频编解码器中，视频图片被划分为覆盖图片区域的编码单元(CU)。CU由定义用于CU内的样本的预测过程的一个或多个预测单元(PU)和定义用于所述CU中的样本的预测误差编码过程的一个或多个变换单元(TU)组成。通常，CU包含方块样本，其大小可以从预定义的可能的CU大小集合中选择。具有最大允许大小的CU可以被命名为LCU(最大编码单元)或编码树单元(CTU)，并且视频图片被划分成不重叠的LCU。例如通过递归地分割LCU和所得到的CU，LCU可以被进一步分割成较小的CU的组合。每个所得的CU通常具有至少一个PU以及与其相关联的至少一个TU。每个PU和TU可以被进一步分割成更小的PU和TU，以便于分别增加预测和预测误差编码过程的粒度。每个PU具有与其关联的预测信息，该预测信息定义对该PU内的像素应用什么类型的预测(例如用于经帧间预测的PU的运动矢量信息和用于经帧内预测的PU的帧内预测方向性信息)。
每个TU可以与描述所述TU内的样本的预测误差解码过程的信息(包括例如DCT系数信息)相关联。通常在CU级上发信号通知针对每一个CU是否应用预测误差编码。在没有与CU相关联的预测误差残差的情况下，可以认为对于所述CU没有TU。通常在比特流中发信号通知将图片划分成CU并将CU划分为PU和TU，从而允许解码器再现这些单元的预期结构。
在HEVC中，可以将图片分割为图块(tile)，图块是矩形的并且包含整数个LCU。在HEVC中，向图块的分割形成规则的网格，其中图块的高度和宽度彼此最大相差一个LCU。在HEVC中，切片被定义为在一个独立切片分段中以及在相同访问单元内的下一个独立切片分段(如果有的话)之前的所有后续的从属(dependent)切片分段(如果有的话)中包含的整数个编码树单元。在HEVC中，切片分段被定义为在图块扫描中连续排列并且在单个NAL单元中包含的整数个编码树单元。每个图片到切片分段的划分是分割。在HEVC中，独立切片分段被定义为切片分段首部的语法元素的值不是从先前切片分段的值推断的切片分段，并且从属切片分段被定义为切片分段首部的一些语法元素的值是从按照解码顺序的先前独立切片分段的值推断的切片分段。在HEVC中，切片首部被定义为作为当前切片分段的独立切片分段的切片分段首部，或者在当前从属切片分段之前的独立切片分段的切片分段首部，并且切片分段首部被定义为包含属于切片分段中所表示的第一或全部编码树单元的数据元素的编码切片分段的一部分。如果图块没有被使用，则CU在图块内或图片内以LCU的光栅扫描顺序被扫描。在LCU内，CU具有特定的扫描顺序。
视频编码标准和规范可以允许编码器将编码图片划分为编码切片或类似物。图片内预测通常在切片边界上被禁用。因此，切片可以被认为是将编码图片分割成独立可解码片段的一种方式。在H.264/AVC和HEVC中，可以在跨切片边界上禁用图片内预测。因此，切片可以被认为是将编码图片分割为可独立可解码片段的一种方式，因而切片通常被认为是用于传输的基本单元。在许多情况下，编码器可以在比特流中指示哪些类型的图片内预测在切片边界上封闭，并且解码器操作例如在推断哪些预测源可用时考虑到该信息。例如，如果相邻宏块或CU驻留在不同的切片中，则来自相邻宏块或CU的样本可以被认为不可用于帧内预测。
分别用于H.264/AVC或HEVC编码器的输出以及H.264/AVC或HEVC解码器的输入的基本单元是网络抽象层(NAL)单元。为了通过面向分组的网络的传输或者到结构化文件中的存储，可以将NAL单元封装到分组或类似结构中。NAL单元可以被定义为包含要遵循的数据类型的指示的语法结构，以及包含根据需要散布有起始码仿真防止字节的RBSP形式的数据的字节。原始字节序列有效载荷(RBSP)可以被定义为包含封装在NAL单元中的整数个字节的语法结构。RBSP为空或具有包含语法元素的数据比特串的形式，数据比特串之后跟随有RBSP停止位并且随后有零或者等于0的多个后续比特。NAL单元包含头部和有效载荷。
在HEVC中，对于所有规定的NAL单元类型使用两个字节的NAL单元首部。NAL单元首部包含一个保留比特、六比特NAL单元类型指示、用于时间等级(可能需要大于或等于1)的三比特nuh_temporal_id_plus1指示、以及六比特nuh_layer_id语法元素。temporal_id_plus1语法元素可以被认为是针对NAL单元的时间标识符，并且可以如下得到基于零的TemporalId变量：TemporalId＝temporal_id_plus1-1。等于0的TemporalId对应于最低时间级别。为了避免涉及两个NAL单元首部字节的起始码仿真，temporal_id_plus1的值需要是非零的。通过排除具有大于或等于所选择的值的TemporalId的所有VCL NAL单元并且包括所有其他VCL NAL单元而创建的比特流保持一致。因此，具有等于TID的TemporalId的图片不使用具有大于TID的TemporalId的任意图片作为帧间预测参考。子层或时间子层可以被定义为时间可缩放比特流的时间可缩放层，其由具有TemporalId变量的特定值的VCLNAL单元和相关联的非VCL NAL单元组成。nuh_layer_id可以被理解为可缩放性层标识符。
NAL单元可以被分类为视频编码层(VCL)NAL单元和非VCL NAL单元。在H.264/AVC中，编码切片NAL单元包含表示一个或多个编码宏块的语法元素，其中的每一个对应于未经压缩图片中的样本块。在HEVC中，VCL NAL单元包含表示一个或多个CU的语法元素。
非VCL NAL单元可以是例如以下类型之一：序列参数集合、图片参数集合、补充增强信息(SEI)NAL单元、访问单元定界符、序列结尾NAL单元、比特流结尾NAL单元、或者填充数据NAL单元。可能需要参数集合用于解码图片的重建，而许多其他非VCL NAL单元对于经解码样本值的重建不是必需的。
通过编码视频序列保持不变的参数可被包括在序列参数集合中。除了解码过程可能需要的参数之外，序列参数集合可以替代地包含视频可用性信息(VUI)，其包括对于缓冲、图片输出定时、渲染、以及资源保留可能是重要的参数。在HEVC中，序列参数集合RBSP包括可由一个或多个图片参数集合RBSP或包含缓冲时段SEI消息的一个或多个SEI NAL单元参考的参数。图片参数集合包含在几个经编码图片中可能未改变的参数。图片参数集合RBSP可以包括可以由一个或多个编码图片的编码切片NAL单元参考的参数。
在HEVC中，可以将视频参数集合(VPS)定义为包含语法元素的语法结构，该语法元素应用于0个或更多个完整的编码视频序列，该0个或更多个完整的编码视频序列由在SPS中找到的语法元素的内容确定，SPS由在PPS中找到的语法元素参考，PPS由在每个切片分段首部中找到的语法元素参考。视频参数集合RBSP可以包括可以由一个或多个序列参数集合RBSP参考的参数。
视频参数集合(VPS)、序列参数集合(SPS)、以及图片参数集合(PPS)之间的关系和层次可以被描述如下。在参数集合层次结构和可缩放性和/或3D视频的上下文中，VPS位于SPS之上一级。VPS可以包括对整个编码视频序列中的所有(可缩放性或视图)层的所有切片通用的参数。SPS包括在整个编码视频序列中的特定(可缩放性或视图)层中的所有切片通用的、并且可以由多个(可缩放性或视图)层共享的参数。PPS包括对于特定层表示(一个访问单元中的一个可缩放性或视图层的表示)中的所有切片通用的、并且可能由多个层表示中的所有切片共享的参数。
H.264/AVC和HEVC语法允许参数集合的许多实例，并且每个实例用唯一的标识符来标识。为了约束参数集合所需的存储器使用量，参数集合标识符的取值范围受到约束。在H.264/AVC和HEVC中，每个切片首部包括对于包含切片的图片的解码活动的图片参数集合的标识符，并且每个图片参数集合包含活动序列参数集合的标识符。因此，图片和序列参数集合的传输不必与切片的传输精确地同步。相反，活动序列和图片参数集合在其被参考之前的任意时刻被接收就足够了，这允许使用与用于切片数据的协议相比更可靠的传输机制来传送“带外”参数集合。例如，参数集合可以作为参数包含在用于实时传输协议(RTP)会话的会话描述中。如果参数集合是在带内被传输的，则可以重复这些参数集合来提高误差鲁棒性。
带外传输、信令或存储可以附加地或替代地用于除对传输误差的容错之外的其他目的，诸如容易访问或会话协商。例如，符合ISOBMFF的文件中的轨道的样本条目可以包括参数集合，而比特流中的编码数据存储在文件中的其他地方或另一文件中。沿着比特流(例如沿着比特流指示)的短语可以在权利要求和所描述的实施例中用于指代以带外数据与比特流相关联的方式的带外传输、信令或存储。沿着比特流或者类似物的短语解码可以指代对与比特流相关联的所涉及的带外数据(其可以从带外传输、信令或者存储获得)进行解码。
编码方案中可以存在不同类型的可用的帧内预测模式，编码器可以从中选择，并指示所使用的一个模式，例如基于块或编码单元。解码器可以解码所指示的帧内预测模式，并且相应地重建预测块。例如，若干角度帧内预测模式可以是可用的，其中每个角度帧内预测模式针对不同的角度方向。角度帧内预测可以被认为是沿线性预测方向外推相邻块的边界样本。附加地或备选地，平面预测模式可以是可用的。平面预测可以被认为本质上形成预测块，其中预测块的每个样本可以被指定为当前块左边的相邻样本列中的垂直对准样本和在当前块上方相邻样本线上的水平对准样本的平均。附加地或备选地，DC预测模式可以是可用的，其中预测块实质上是相邻块或块的平均样本值。
H.265/HEVC包括两个运动矢量预测方案，即高级运动矢量预测(AMVP)和合并模式。在AMVP或合并模式下，针对PU得到运动矢量候选的列表。有两种候选：空间候选和时间候选，其中时间候选也可以称为TMVP候选。
用于AMVP的合并列表和/或候选列表或者任何类似运动矢量候选列表中的候选之一可以是TMVP候选或类似物，其可以从所指示或者所推断的参考图片(诸如例如在切片首部中指示的参考图片)内的并置的块来得到。在HEVC中，根据切片首部中的collocated_from_I0_flag语法元素来选择要用于获取并置的分割的参考图片列表。当标志等于1时，其规定从列表0来得到包含并置的分割的图片，否则从列表1来得到图片。当collocated_from_10_flag不存在时，推断其等于1。切片首部中的collocated_ref_idx规定包含并置的分割的图片的参考索引。在当前切片为P切片时，collocated_ref_idx指代列表0中的图片。在当前切片为B切片时，collocated_ref_idx在collocated_from_10为1的情况下指代列表0中的图片，否则指代列表1中的图片。collocated_ref_idx总是指代有效列表入口，并且所得到的图片对于已编码图片的所有切片而言相同。当collocated_ref_idx不存在时，推断其等于0。
在HEVC中，当运动编码模式是合并模式时，合并列表中的时间运动矢量预测的所谓的目标参考索引设置为0。当使用时间运动矢量预测的HEVC中的运动编码模式是高级运动矢量预测模式时，显式地指示目标参考索引值(例如，每个PU)。
在HEVC中，可以如下来确定候选预测运动矢量(PMV)的可用性(用于空间和时间候选二者)(SRTP＝短期参考图片，LRTP＝长期参考图片)：
在HEVC中，如果已经确定目标参考索引值，则可以如下来得到时间运动矢量预测的运动矢量值：获取与当前预测单元的右下侧邻居并置的块处的运动矢量PMV。例如可以根据切片首部中的用信号传输的参考索引来确定并置的块驻留于其中的图片，如以上所描述的。如果右下邻居处的PMV不可用，则获得并置图片的当前PU的位置处的运动矢量PMV。关于第一图片顺序计数差异和第二图片顺序计数差异的比例对并置的块处的所确定的可用运动矢量PMV进行分级。第一图片顺序计数差异(POC)在包含并置的块的图片与并置的块的运动矢量的参考图片之间被得到。第二图片顺序计数差异在当前图片与目标参考图片之间来得到。如果目标参考图片和并置的块的运动矢量的参考图片中的一者而非两者是长期参考图片(而另一者为短期参考图片)，则可以认为TMVP候选不可用。如果目标参考图片和并置的块的运动矢量的参考图片二者均为长期参考图片，则没有基于POC的运动矢量分级可以应用。
在诸如H.263、H.264/AVC和H.265/HEVC的若干视频编码标准中，运动矢量被允许指向图片边界之外的区域以获得预测块，并且分数样本插值可以使用图片边界外部的样本位置。为了获得图片边界外部的样本作为预测过程的一部分，图片边界的相应样本被有效地复制。这由图7使用图6中描述的图例来图示。在图6中，附图标记610定义了参考图片的样本阵列，并且附图标记620定义了样本阵列的位置(x，y)的样本。图7图示了在帧间预测过程中参考图像边界外的样本的常规处理。
在帧间预测过程中支持图像边界之外的样本位置的机制可以以多种方式实现。一种方式是分配比解码图片大小大的样本阵列，即在图像的上方、下方、右侧和左侧具有边距。附加于或者代替使用这样的边距，用于预测的样本的位置(作为用于预测块的分数样本插值的输入或者作为预测块本身中的样本)可以是饱和的，使得位置不超过图片边界(在有边距的情况下，如果使用的话)。一些视频编码标准以这种方式描述了在图像边界上对运动矢量的支持。
例如，在HEVC中使用以下等式来得到亮度样本(或参考图片)的给定阵列refPicLXL内部的位置(xAi,j，yAi,j)，用于生成(中间)预测块的分数样本插值：
xAi,j＝Clip3(0，pic_width_in_luma_samples_1，xIntL+i)
yAi,j＝Clip3(0，pic_height_in_luma_samples_1，yIntL+j)
其中
(xIntL，yIntL)是全样本单元中的亮度位置；
i和j是插值滤波器窗口内的相对位置；
pic_width_in_luma_samples是亮度样本中的图片宽度；
pic_height_in_luma_samples是亮度样本中的图片高度；以及
Clip3()如下指定：
可以观察到，如果样本位置具有负坐标(在Clip3操作之前)，则其将利用Clip3操作饱和到0。同样，如果样本位置的坐标大于宽度(对于水平位置)或高度(对于垂直位置)，则它将分别饱和到宽度-1或高度-1。
类似的等式也存在，用于将色度样本位置缝合在分数样本插值中的色度样本阵列边界内，用于色度分量的帧间预测。
当对360度全景视频进行编码和/或解码时，由于指向图像边界外的运动矢量和/或归因于使用图像边界外的样本值进行分数样本插值，所以图像边界外的样本可以用作参考，如前所述。由于整个360度的视场被表示，所以当在预测过程中需要水平地位于图片边界之外的样本时，可以使用来自图片的相对侧的样本值，而不是使用边界样本的常规方法。这在图8中图示。图8可以用于处理图片边界上的运动矢量(全景视频编码)。图像边界外的像素的这种处理可以通过将参考图片扩展到比编码图片更大(在宽度和/或高度上)来处理。如下所述的备选实现方式也是可能的。
代替使负的水平位置饱和到0并且使大于宽度-1的水平样本位置饱和到宽度-1(即图片的最右边样本列的水平样本位置)，图片边界外所参考的水平样本位置可以被包围。这意味着大于宽度-1的水平样本位置会被包围，以便它们参考图片左侧的样本列。反之亦然，小于0的水平样本位置被包围，以便它们参考图片右侧的样本列。
函数Wrap()如下指定：
当参考上面用于HEVC中的分数亮度样本插值的等式时，使用以下等式：
xAi,j＝Wrap(0，pic_width_in_luma_samples_1，xIntL+i)
而不是传统的等式：
xAi,j＝Clip3(0，pic_width_in_luma_samples_1，xIntL+i)
除了上述两种技术(即参考图片边界外部的样本以及包围用于所参考的样本的水平样本位置)之外，还可以使用这些技术的组合。边距可以被设置为例如覆盖参考解码图片边界内的样本和解码图片边界外的样本二者的最大值。样本位置包围被用于完全在解码图片边界外部的预测单元。这种组合方法可以比仅使用样本位置包围的方法实现更快的存储器访问。
如上所述，运动矢量可以参考参考图片中的非整数样本位置。非整数样本位置处的样本值可以通过分数样本插值过程获得。对于亮度样本阵列，可以使用与色度样本阵列不同的过程。根据一个示例，用于亮度的分数样本插值过程可以如以下描述地来操作。所呈现的过程来自HEVC，并且需要理解的是，它是为了示例性目的而提供的，并且可以例如通过改变滤波器抽头的数目来实现类似的过程。
这个过程的输入是：全样本单元中的亮度位置(xIntL，yIntL)；分数样本单元中的亮度位置(xFracL，yFracL)；以及亮度参考样本阵列refPicLXL。这个过程的输出是一个预测的亮度样本值predSampleLXL。
在图9中，用阴影块内的大写字母Ai,j标记的位置表示在亮度样本的给定二维阵列refPicLXL侧的全样本位置处的亮度样本。这些样本可以用于生成预测的亮度样本值predSampleLXL。对于亮度样本的给定阵列refPicLXL内的每个对应亮度样本Ai,j的位置(xAi,j，yAi,j)如下得到：
xAi,j＝Clip3(0，pic_width_in_luma_samples_1，xIntL+i)
yAi,j＝Clip3(0，pic_height_in_luma_samples_1，yIntL+j)
在非阴影块内用小写字母标记的位置代表四分之一像素样本分数位置处的亮度样本。分数样本单元中的亮度位置偏移(xFracL，yFracL)指定了在全样本位置处和分数样本位置处所生成的亮度样本中的哪个要被分配给预测的亮度样本值predSampleLXL。该分配在以下如表1所示。值predSampleLL是输出。
变量shift1、shift2和shift3如下得到：变量shift1被设置成等于Min(2，14-BitDepthY)，变量shift2被设置为等于6，并且变量shift3被设置为等于MAX(2，14-BitDepthY)。
给定全样本位置(xAi,j，yAi,j)处的亮度样本，在分数样本位置处的亮度样本a0,0至r0,0如下得到：
-通过将8抽头滤波器应用于最近的整数位置样本，标记为a0,0、b0,0、c0,0、d0,0、h0,0和n0,0的样本如下得到：
a0,0＝(-A-3,0+4*A-2,0-10*A-1,0+58*A0,0+17*A1,0-5*A2,0+A3,0)>>shift1
b0,0＝(-A-3,0+4*A-2,0-11*A-1,0+40*A0,0+40*A1,0-11*A2,0+4*A3,0-A4,0)>>shift1
c0,0＝(A-2,0-5*A-1,0+17*A0,0+58*A1,0-10*A2,0+4*A3,0-A4,0)>>shift1
d0,0＝(-A0,-3+4*A0,-2-10*A0,-1+58*A0,0+17*A0,1-5*A0,2+A0,3)>>shift1
h0,0＝(-A0,-3+4*A0,-2-11*A0,-1+40*A0,0+40*A0,1-11*A0,2+4*A0,3-A0,4)>>shift1
n0,0＝(A0,-2-5*A0,-1+17*A0,0+58*A0,1-10*A0,2+4*A0,3-A0,4)>>shift1
-通过将8抽头滤波器应用于在垂直方向上具有i＝-3..4的样本a0、i、b0、i和c0、i，标记为e0、0、i0、0、p0、0、f0、0、j0、0、q0、0、g0、0、k0、0和r0、0的样本如下得到：
e0,0＝(-a0,-3+4*a0,-2-10*a0,-1+58*a0,0+17*a0,1-5*a0,2+a0,3)>>shift2
i0,0＝(-a0,-3+4*a0,-2-11*a0,-1+40*a0,0+40*a0,1-11*a0,2+4*a0,3-a0,4)>>shift2
p0,0＝(a0,-2-5*a0,-1+17*a0,0+58*a0,1-10*a0,2+4*a0,3-a0,4)>>shift2
f0,0＝(-b0,-3+4*b0,-2-10*b0,-1+58*b0,0+17*b0,1-5*b0,2+b0,3)>>shift2
j0,0＝(-b0,-3+4*b0,-2-11*b0,-1+40*b0,0+40*b0,1-11*b0,2+4*b0,3-b0,4)>>shift2
q0,0＝(b0,-2-5*b0,-1+17*b0,0+58*b0,1-10*b0,2+4*b0,3-b0,4)>>shift2
g0,0＝(-c0,-3+4*c0,-2-10*c0,-1+58*c0,0+17*c0,1-5*c0,2+c0,3)>>shift2
k0,0＝(-c0,-3+4*c0,-2-11*c0,-1+40*c0,0+40*c0,1-11*c0,2+4*c0,3-c0,4)>>shift2
r0,0＝(c0,-2-5*c0,-1+17*c0,0+58*c0,1-10*c0,2+4*c0,3-c0,4)>>shift2
xFracL 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3
yFracL 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3
predSampleLXL A<<shift3 d h n a e i p b f j q c g k r
表1
可缩放视频编码可以指如下编码结构，其中一个比特流可以包含内容的多个表示，例如，以不同的比特率、分辨率或帧速率。在这些情况下，接收器可以根据其特性(例如，与显示设备最佳匹配的分辨率)来提取期望的表示。备选地，服务器或网络元件可以根据例如网络特性或接收器的处理能力来提取要传送给接收器的比特流的部分。可以通过仅解码可缩放比特流的特定部分来产生有意义的解码表示。可缩放比特流通常由提供可用的最低质量视频的“基本层”和一个或多个增强层组成，该增强层在与较低层一起被接收和解码时增强视频质量。为了改进增强层的编码效率，该层的编码表示通常取决于较低层。例如，可以从较低层预测增强层的运动和模式信息。类似地，可以使用较低层的像素数据来创建针对增强层的预测。
在一些可缩放视频编码方案中，可以将视频信号编码到基本层和一个或多个增强层中。例如，增强层可以增强时间分辨率(即，帧速率)、空间分辨率、或者简单地增强由另一层或其一部分表示的视频内容的质量。每层连同其所有依赖层是视频信号的例如以一定的空间分辨率、时间分辨率和质量级别的一种表示。在本文档中，我们将可缩放层连同其所有依赖层一起称为“可缩放层表示”。对应于可缩放层表示的可缩放比特流的部分可以被提取和解码以产生某种保真度的原始信号的表示。
可缩放性模式或可缩放性维度可以包括但不限于以下各项：
-质量可缩放性：基本层图片以比增强层图片低的质量被编码，这可以例如在基本层中使用比增强层大的量化参数值(即，用于变换系数量化的更大的量化步长大小)来实现。
-空间可缩放性：基本层图片以比增强层图片低的分辨率(即具有更少的样本)进行编码。空间可缩放性和质量可缩放性(特别是其粗略的可缩放性类型)有时可能被认为是相同类型的可缩放性。
-位深度可缩放性：基本层图片以比增强层图片(例如10或12比特)低的位深度(例如8位)进行编码。
-动态范围可缩放性：可缩放层表示使用不同的音调映射函数和/或不同的光学传递函数来获得的不同的动态范围和/或图像。
-色度格式可缩放性：基本层图片在色度样本阵列(例如，以4:2:0色度格式进行编码)中提供比增强层图片(例如4:4:4格式)低的空间分辨率。
-色域可缩放性：增强层图片具有比基本层图片更丰富/更宽的颜色表示范围——例如，增强层可以具有UHDTV(ITU-R BT.2020)色域，并且基本层可以具有ITU-R BT.709色域。
-视图可缩放性，其也可以被称为多视图编码。基本层表示第一视图，而增强层表示第二视图。
-深度可缩放性，其也可以被称为深度增强编码。比特流的一层或一些层可以表示纹理视图，而其他一个或多个层可以表示深度视图。
-感兴趣区域的可缩放性(如下所述)。
-隔行到逐行(Interlaced-to-progressive)可缩放性(也称为场到帧可缩放性)：利用增强层来增强基本层的编码隔行源内容资料以表示逐行源内容。
-混合编解码器可缩放性(也称为编码标准可缩放性)：在混合编解码器可缩放性中，基本层和增强层的比特流语法、语义和解码过程在不同的视频编码标准中被规定。因此，根据与增强层图片不同的编码标准或格式来对基本层图片进行编码。例如，基本层可以用H.264/AVC进行编码，增强层可以用HEVC多层扩展进行编码。外部基本层图片可以被定义为解码图片，其由用于增强层解码过程的外部部件提供，并且像用于增强层解码过程的经解码的基本层图片那样被处理。SHVC和MV-HEVC允许使用外部基本层图片。
应当理解，许多可缩放性类型可以被组合和应用在一起。例如色域可缩放性和位深度可缩放性可以被组合。
术语“层”可以在任意类型的可缩放性(包括视图可缩放性和深度增强)的情况下使用。增强层可以指任意类型的增强，诸如SNR、空间、多视图、深度、位深度、色度格式、和/或色域增强。基本层可以指任意类型的基本视频序列，诸如基本视图、用于SNR/空间可缩放性的基本层、或用于深度增强视频编码的纹理基本视图。
目前正在研究和开发用于提供三维(3D)视频内容的各种技术。可以认为，在立体或双视图视频中，针对左眼呈现一个视频序列或视图，同时针对右眼呈现并行视图。对于能够实现视点切换的应用或者可以同时呈现大量视图的自动立体显示器而言，可能需要多于两个并行视图，并且让观看者从不同视点观察内容。
视图可被定义为表示一个相机或视点的图片的序列。表示视图的图片也可以被称为视图分量。换句话说，视图分量可以被定义为单个访问单元中的视图的编码表示。在多视图视频编码中，多于一个视图被编码在比特流中。由于视图通常旨在被显示在立体或多视图自动立体显示器上或被用于其他3D布置，所以它们通常表示相同的场景并且在内容方面部分重叠，尽管它们表示内容的不同视点。因此，可以在多视图视频编码中利用视图间预测来利用视图间相关的优势并提高压缩效率。实现视图间预测的一种方式是在位于第一视图内的正被编码或解码的图片的(多个)参考图片列表中包括一个或多个其他视图的一个或多个解码图片。视图可缩放性可以参考这样的多视图视频编码或多视图视频比特流，其能够实现一个或多个编码视图的移除或省略，同时所得到的比特流保持一致并且表示具有比原始地更少数目的视图的视频。
感兴趣区域(ROI)编码可以被定义为指代以更高的保真度对视频内的特定区域进行编码。ROI可缩放性可以被定义为其中增强层(例如在空间上、质量上、在位深度上和/或沿着其他可缩放性维度)仅增强用于层间预测的源图像的部分的可缩放性类型。由于ROI可缩放性可以与其他类型的可缩放性一起使用，因此可以考虑形成可缩放性类型的不同分类。对于不同需求的ROI编码存在多种不同的应用，其可以通过ROI的可缩放性来实现。例如，可以传输增强层以提高基本层中的区域的质量和/或分辨率。接收增强层和基本层比特流的解码器可以解码这两个层，并且将解码图片彼此叠加并显示最终的图片。
可缩放性可以以两种基本方式实现。通过引入用于从可缩放表示的较低层执行像素值或语法的预测的新编码模式，或者通过将较低层图片放置到较高层的参考图片缓冲区(例如，解码图片缓冲区，DPB)。第一种方法可能更灵活，因此在大多数情况下可以提供更好的编码效率。然而，第二种方法可以利用对单层编解码器的最小改变来高效地实现，同时仍然实现可用的编码效率增益的大部分。第二种方法可以被称为例如基于参考帧的可缩放性或仅高级语法可缩放视频编码。基本上，基于参考帧的可缩放性编解码器可以通过对所有层利用相同的硬件或软件实现来实现，只是通过外部部件来关注DPB管理。
用于质量可缩放性(也称为信噪比或SNR)和/或空间可缩放性的可缩放视频编码器可以如下实现。对于基本层，可以使用传统的不可缩放视频编码器和解码器。基本层的重建/解码图片被包括在用于增强层的参考图片缓冲区和/或参考图片列表中。在空间可缩放性的情况下，可以在经重建/经解码的基本层图片被插入用于增强层图片的参考图片列表之前，经重建/经解码的基本层图片被上采样。类似于增强层的解码参考图片，可以将基本层解码图片插入用于增强层图片的编码/解码的参考图片列表中。因此，编码器可以选择基本层参考图片作为帧间预测参考，并且指示其与编码比特流中的参考图片索引一起使用。解码器从比特流中(例如从参考图片索引中)解码出基本层图片被用作增强层的帧间预测参考。当经解码的基本层图片被用作增强层的预测参考时，其被称为层间参考图片。
尽管前面的段落描述了具有具有增强层和基本层的两个可缩放性层的可缩放视频编解码器，但是需要理解的是，可以将该描述一般化为具有多于两层的可缩放性层次结构中的任意两个层。在这种情况下，第二增强层可以在编码和/或解码过程中依赖于第一增强层，并且因此第一增强层可以被视为用于第二增强层的编码和/或解码的基本层。此外，需要理解的是，可以存在来自参考图片缓冲区中的多于一个层的层间参考图片或增强层的参考图片列表，并且这些层间参考图片中的每一个可以被认为驻留在基本层或用于正在被编码和/或解码的增强层的参考层中。此外，需要理解的是，除参考层图片上采样以外的其他类型的层间处理可以替代地或附加地进行。例如，参考层图片的样本的位深度可以被转换为增强层的位深度和/或样本值可以经历从参考层的颜色空间到增强层的颜色空间的映射。
可缩放视频编码和/或解码方案可以使用多循环编码和/或解码，其可以被表征如下。在编码/解码中，基本层图片可以被重建/解码以用作在相同层内在编码/解码顺序中的后续图片的运动补偿参考图片，或者作为用于层间(或视图间或分量间)预测的参考。经重建/经解码的基本层图片可以存储在DPB中。类似地，增强层图片可以被重建/解码以被用作在相同层内在编码/解码顺序中的后续图片的运动补偿参考图片，或者作为用于更高的增强层(如果有的话)的层间(或者视图间或者分量间)预测的参考。除了经重建/经解码的样本值之外，可以在层间/分量间/视图间预测中使用基本/参考层的语法元素值或从基本/参考层的语法元素值得到的变量。
第一版高效视频编码(HEVC)标准的可缩放和多视图扩展已于2015年完成。可缩放视频编码扩展(SHVC)提供了一种机制，用于在利用层间冗余的同时提供空间、位深度、色域和质量可缩放性。多视图扩展(MV-HEVC)使得对多视图视频数据的编码适合于例如立体显示。对于MV-HEVC，用于编码的输入多视图视频序列通常由布置成一排的多个相机捕获。相机投影中心通常与每个邻居共线并且距离相同，并且相机通常指向相同的方向。SHVC和MV-HEVC共享相同的高级语法，其解码过程的大部分也是相同的，这使得能够引起以下兴趣：利用相同的编解码器实现来支持SHVC和MV-HEVC。HEVC版本2中包括SHVC和MV-HEVC。
在MV-HEVC中，视图间参考图片可以被包括在正被编码或解码的当前图片的(多个)参考图片列表中。SHVC使用多循环解码操作。SHVC可以被认为使用基于参考索引的方法，即，层间参考图片可以被包括在正被编码或解码的当前图片的一个或多个参考图片列表中(如以上描述的)。
对于增强层编码，可以在SHVC、MV-HEVC和/或类似物中使用HEVC基本层的概念和编码工具。然而，可以向SHVC、MV-HEVC和/或类似编解码器集成额外的层间预测工具，其在采用参考层中的已经编码的数据(包括经重建的图片样本和运动参数、又称运动信息)用于对增强层高效地编码。
如先前所描述的，应用于视频和/或图像编码和/或解码的预测方法可以被分类为样本预测和语法预测。一种对不同类型的预测分类的补充方式是：考虑预测跨哪些域或可缩放性类型。这一分类可以产生以下类型的预测中的一项或多项，其有时也可以称为预测方向：
-通常来自相同的可缩放性层、视图和分量类型(纹理或深度)的较早图片的例如样本值或运动矢量的时间预测。
-视图间预测(其也可以称为跨视图预测)，其指代通常在相同时刻或访问单元以及相同分量类型的视图分量之间进行的预测。
-层间预测，其指代通常在相同时刻、相同分量类型和相同视图的层之间进行的预测。
-分量间预测，其可以定义为包括从一种类型的组成图片到另一类型的组成图片预测语法元素值、样本值、在解码过程中使用的变量值等。例如，分量间预测可以包括根据深度视图分量预测纹理视图分量，反之亦然。在另一个示例中，从亮度分量(或样本阵列)到色度分量(或样本阵列)进行分量间预测。
层间预测可以以取决于来自与当前(被编码或解码)图片的层不同的层的参考图片的数据元素(例如，样本值或运动矢量)的方式被定义为预测。存在许多类型的层间预测，并且可以应用于可缩放视频编码器/解码器中。可用类型的层间预测可以例如取决于比特流或比特流内的特定层根据其正被编码的编码简档，或者取决于在解码时比特流或比特流内的特定层被指示符合的编码简档。替代地或另外地，可用类型的层间预测可以取决于可缩放性的类型或正在使用的可缩放编解码器或视频编码标准修改的类型(例如SHVC、MV-HEVC、或3D-HEVC)。
层间预测的类型可以包括但不限于以下一项或多项：层间样本预测、层间运动预测、层间残差预测。在层间样本预测中，用于层间预测的源图片的重建样本值的至少一个子集被用作用于预测当前图片的样本值的参考。在层间运动预测中，用于层间预测的源图片的运动矢量的至少一个子集被用作用于预测当前图片的运动矢量的参考。通常，关于哪些参考图片与运动向量相关联的预测信息也被包括在层间运动预测中。例如，用于运动矢量的参考图片的参考索引可以被层间预测，和/或图片顺序计数或参考图片的任意其它标识可以被层间预测。在一些情况下，层间运动预测还可以包括块编码模式、首部信息、块分割、和/或其它类似的参数的预测。在一些情况下，诸如块分割的层间预测这样的编码参数预测可以被认为是另一种类型的层间预测。在层间残差预测中，用于层间预测的源图片的所选块的预测误差或残差被用于预测当前图片。
视图间预测可以被认为与层间预测等效或相似，但适用于视图之间，而不是其他可缩放性类型或维度之间。有时，视图间预测可以仅指代视图间样本预测，其与运动补偿时间预测类似，但适用于视图之间。有时，视图间预测可以被认为包括可以在视图之间进行的所有类型的预测，诸如视图间样本预测和视图间运动预测二者。
在诸如3D-HEVC的多视图加深度编码中，可以应用交叉分量层间预测，其中第一类型的图片(诸如深度图片)可以影响第二类型的图片(诸如传统的纹理图片)的层间预测。举例来说，可以应用视差补偿的层间样本值及/或运动预测，其中视差可至少部分地从深度图片得到。当预测块至少部分地基于相关联的深度或视差信息来构造时，可以使用术语视图合成预测。
直接参考层可以被定义为如下层：该层可以用于另一层的层间预测，该层对于另一层是直接参考层。直接预测层可以被定义为另一层针对其是直接参考层的层。间接参考层可以被定义为不作为第二层的直接参考层而作为第三层的直接参考层的层，该第三层是第二参考层的直接参考层或第二参考层的直接参考层的间接参考层，该层对于第二层是间接参考层。间接预测层可以被定义为另一层针对其是间接参考层的层。独立层可以被定义为不具有直接参考层的层。换句话说，独立层不是使用层间预测而被预测的。非基本层可以被定义为除基本层以外的任意其他层，并且基本层可以被定义为比特流中的最低层。独立的非基本层可以被定义为既是独立层又是非基本层的层。
可以将用于层间预测的源图片定义为解码图片，该解码图片是层间参考图片或者被用于得到层间参考图片，该层间参考图片可以用作用于当前图片的预测的参考图片。在多层HEVC扩展中，层间参考图片被包括在当前图片的层间参考图片集合中。层间参考图片可被定义为可用于当前图片的层间预测的参考图片。在编码和/或解码过程中，层间参考图片可被视为长期参考图片。参考层图片可以被定义为特定层或特定图片的直接参考层中的图片，诸如当前层或当前图片(正被编码或解码)。参考层图片可以但不必用作用于层间预测的源图片。有时，术语“参考层图片”和“用于层间预测的源图片”可以互换使用。
用于层间预测的源图片可以被要求与当前图片处于相同的访问单元中。在一些情况下，例如当不需要重采样、运动场映射、或其他层间处理时，用于层间预测的源图片和相应的层间参考图片可以是完全相同的。在一些情况下，例如当需要重采样来将参考层的采样网格与当前图片(被编码或解码)的层的采样网格进行匹配时，应用层间处理来从用于层间预测的源图片得到层间参考图片。下面的段落描述了这种层间处理的示例。
层间样本预测可以包括对用于层间预测的源图片的(多个)样本阵列进行重采样。编码器和/或解码器可以例如基于针对一对增强层及其参考层的参考层位置偏移来为该一对增强层及其参考层得到水平缩放因子(例如存储在变量ScaleFactorHor中)和垂直缩放因子(例如存储在变量ScaleFactorVer中)。如果缩放因子中的任一个或两个不等于1，则可以对用于层间预测的源图片进行重采样以生成用于预测增强层图片的层间参考图片。用于重采样的过程和/或滤波器可以例如在编码标准中预定义、和/或由编码器在比特流中指示(例如，作为预定义的重采样过程或滤波器中的索引)、和/或由解码器从比特流进行解码。不同的重采样过程可由编码器指示、和/或由解码器解码、和/或由编码器和/或解码器根据缩放因子的值推断出。例如，当两个缩放因子都小于1时，可以推断出预定义的下采样过程；并且当两个缩放因子都大于1时，可以推断出预定义的上采样过程。另外地或备选地，取决于哪个样本阵列被处理，可以由编码器指示、和/或由解码器解码、和/或由编码器和/或解码器推断不同的重采样过程。例如，可以推断出用于亮度样本阵列的第一重采样过程，并且可以推断出用于色度样本阵列的第二重采样过程。
以下提供了用于获得重采样的亮度样本值的层间重采样过程的示例。输入亮度样本阵列(还可以被称为亮度参考样本阵列)通过变量rlPicSampleL被引用。得到重采样的亮度样本值，用于相对于增强层图片的左上角亮度样本的亮度样本位置(xP，yP)。因此，该过程生成重采样的亮度样本，通过变量rsLumaSample来访问。在这个示例中，以下具有系数fL[p,x]的8抽头滤波器用于亮度重采样过程，其中p＝0...15和x＝0...7。(在下文中，带或不带下标的记号可以互换解释。例如，fL可以被解释为与fL相同。)
插值的亮度样本rsLumaSample的值可以通过应用以下有序步骤来得到：
1.例如，可以基于参考层位置偏移来得到与(xP，yP)对应或与(xP，yP)并置的参考层样本位置。该参考层样本位置被称为(xRef16，yRef16)，以1/16样本为单位。随后提供用于基于参考层位置偏移来得到与(xP，yP)对应或与(xP，yP)并置的参考层样本位置的示例性方法。
2.变量xRef和xPhase如下得到：
xRef＝(xRef16>>4)
xPhase＝(xRef16)％16
其中“>>”是向右移位操作，即x的二进制补码整数表示的算术右移，移动y个二进制数字。这个函数仅针对y的非负整数值来定义。由于右移而移入MSB(最高有效位)的位具有等于移位操作之前x的MSB的值。“％”是模运算，即x被y除的余数，只针对x>＝0且y>0的整数x和y定义。
3.变量yRef和yPhase如下得到：
yRef＝(yRef16>>4)
yPhase＝(yRef16)％16
4.变量shift1，shift2和偏移如下得到：
shift1＝RefLayerBitDepthY-8
shift2＝20-BitDepthY
偏移＝1<<(shift2-1)
其中RefLayerBitDepthY是参考层中每个亮度样本的比特数目。BitDepthY是增强层中每个亮度样本的比特数目。“<<”是向左移位操作，即x的二进制补码整数表示的算术左移，移动y个二进制数字。这个函数仅针对y的非负整数值来定义。作为左移的结果而移位到LSB(最低有效位)的位具有等于0的值。
5.其中n＝0...7的样本值tempArray[n]如下得到：
yPosRL＝Clip3(0,RefLayerPicHeightInSamplesY-1,yRef+n-3)
refW＝RefLayerPicWidthInSamplesY
tempArray[n]＝(fL[xPhase,0]*rlPicSampleL[Clip3(0,refW-1,xRef-3),yPosRL]+
fL[xPhase,1]*rlPicSampleL[Clip3(0,refW-1,xRef-2),yPosRL]+
fL[xPhase,2]*rlPicSampleL[Clip3(0,refW-1,xRef-1),yPosRL]+
fL[xPhase,3]*rlPicSampleL[Clip3(0,refW-1,xRef),yPosRL]+
fL[xPhase,4]*rlPicSampleL[Clip3(0,refW-1,xRef+1),yPosRL]+
fL[xPhase,5]*rlPicSampleL[Clip3(0,refW-1,xRef+2),yPosRL]+
fL[xPhase,6]*rlPicSampleL[Clip3(0,refW-1,xRef+3),yPosRL]+
fL[xPhase,7]*rlPicSampleL[Clip3(0,refW-1,xRef+4),yPosRL])>>shift1
其中RefLayerPicHeightInSamplesY是亮度样本中用于层间预测的源图片的高度。RefLayerPicWidthInSamplesY是亮度样本中用于层间预测的源图片的宽度。
6.插值的亮度样本值rsLumaSample如下得到：
rsLumaSample＝(fL[yPhase,0]*tempArray[0]+
fL[yPhase,1]*tempArray[1]+
fL[yPhase,2]*tempArray[2]+
fL[yPhase,3]*tempArray[3]+
fL[yPhase,4]*tempArray[4]+
fL[yPhase,5]*tempArray[5]+
fL[yPhase,6]*tempArray[6]+
fL[yPhase,7]*tempArray[7]+offset)>>shift2
rsLumaSample＝Clip3(0,(1<<BitDepthY)-1,rsLumaSample)
用于获得重采样的色度样本值的层间重采样过程可以被指定为与用于亮度样本值的上述过程相同或类似。例如，具有不同抽头数目的滤波器除了可以用于亮度样本以外，还可以用于色度样本。
重采样可以例如以图片方式(针对用于层间预测的整个源图片或要被重采样的参考区域)执行、以切片方式(例如，针对与增强层切片对应的参考区域)、以块方式(例如，与增强层编码树单元对应的参考区域)。用于层间预测的源图片的所确定的区域(例如，增强层图片中的图片、切片、或编码树单元)的重采样可以例如通过在所确定的区域的所有样本位置上循环并且针对每个样本位置执行以样本方式重采样过程来执行。然而，应当理解，存在对所确定的区域进行重采样的其他可能性——例如，某个样本位置的滤波可以使用先前样本位置的变量值。
SVHC和MV-HEVC实现层间样本预测和层间运动预测。在层间样本预测中，使用层间参考(ILR)图片来获得预测块的样本值。在MV-HEVC中，用于层间预测的源图片在不修改的情况下用作ILR图片。在SHVC的空间和色域可缩放性中，诸如重采样的层间处理被应用于用于层间预测的源图片，以获得ILR图片。在SHVC的重采样过程中，可以对用于层间预测的源图片进行裁剪、上采样和/或填充，以获得ILR图片。经上采样的用于层间预测的源图片相对于增强层图片的相对位置通过所谓的参考层位置偏移来指示。该特征可以实现感兴趣区域(ROI)的可缩放性，其中基本层的图片区域的子集仅在增强层图片中被增强。
SHVC能够实现基于3D查找表(LUT)的加权预测或颜色映射过程的使用，用于(但不限于)色域可缩放性。3D LUT方案可以描述如下。每个颜色分量的样本值范围可以首先被分割成两个范围，形成2×2×2的八分圆，然后亮度范围可以被进一步分割成四个部分，得到高达8×2×2的八分圆。在每个八分圆内，应用十字(cross)颜色分量线性模型来执行颜色映射。对于每个八分圆，四个顶点被编码到比特流中和/或从比特流中解码以表示八分圆内的线性模型。颜色映射表针对每个颜色分量被分别编码到比特流中和/或从比特流中解码。颜色映射可以被认为涉及三个步骤：首先，确定给定的参考层样本三元组(Y、Cb、Cr)所属的八分圆。其次，可以通过应用颜色分量调整过程来对齐亮度和色度的样本位置。第三，应用为所确定的八分圆所指定的线性映射。映射可以具有交叉分量性质，即一个颜色分量的输入值可以影响另一颜色分量的映射值。此外，如果还需要层间重采样，则对重采样过程的输入是已被颜色映射的图片。颜色映射可以(但不需要)将第一位深度的样本映射到另一位深度的样本。
层间运动预测可以如下实现。诸如H.265/HEVC的TMVP的时间运动矢量预测过程可以用于利用不同层之间的运动数据的冗余。这可以按如下进行：当用于层间预测的源图片被上采样时，在可以被称为运动场映射(MFM)过程中，用于层间预测的源图片的运动数据还被映射到增强层的分辨率。如果增强层图片利用来自基本层图片的运动矢量预测，例如利用诸如H.265/HEVC的TMVP的时间运动矢量预测机制，则对应的运动矢量预测器来源于经映射的参考层运动字段。这种方式可以利用不同层的运动数据之间的相关性来提高可缩放视频编码器的编码效率。在SHVC和/或类似物中，层间运动预测可以通过将层间参考图片设置为用于得到TMVP的处于同一位置的参考图片而被执行。因此，在运动矢量预测过程中，映射运动场是TMVP候选的来源。在SHVC的空间可缩放性中，运动场映射(MFM)用于从基本层图片的运动信息获得ILR图片的运动信息，而如果无空间可缩放性适用于层之间，则映射的运动场与用于层间预测的源图片的运动场完全相同。在MFM中，用于层间预测的源图片中的预测依赖性被复制，以生成用于ILR图像的(多个)参考图片列表，而运动矢量(MV)根据ILR图片和基本层图片之间的空间分辨率之比而被重新缩放。相反，对于在层间运动预测过程期间要参考的参考视图图片，MFM不应用于MV-HEVC中。
利用一种或多种类型的所谓的参考层位置偏移，可以推断或可以指示参考层图片与增强层图片的空间对应性。可以允许指示两个层与参考层位置偏移的空间对应性，而不管层之间是否存在层间预测。在HEVC中，参考层位置偏移可以由编码器包括在PPS中并且由解码器从PPS解码。参考层位置偏移可以被用于但不限于实现ROI可缩放性。参考层位置偏移可以包括经缩放的参考层偏移、参考区域偏移和重采样相位集合中的一项或多项。经缩放的参考层偏移可以被考虑为指定当前图片中的与参考层中的经解码的图片中的参考区域的左上亮度样本相搭配的样本之间的水平偏移和垂直偏移、以及当前图片中的与参考层中的经解码的图片中的参考区域的右下亮度样本相搭配的样本之间的水平偏移和垂直偏移。另一方式是，考虑经缩放的参考层偏移为指定经上采样的参考区域的角落样本相对于增强层图片的相应角落样本的位置。经缩放的参考层偏移值可以是有符号的。参考区域偏移可以被考虑为指定参考层中的经解码的图片中的参考区域的左上亮度样本与相同的经解码的图片的左上亮度样本之间的水平偏移和垂直偏移、以及参考层中的经解码的图片中的参考区域的右下亮度样本与相同的经解码的图片的右下亮度样本之间的水平偏移和垂直偏移。参考区域偏移值可以是有符号的。重采样的相位集合可以被考虑为指定用于层间预测的源图片的重采样过程中使用的相位偏移。不同的相位偏移可以被提供用于亮度分量和色度分量。
HEVC标准指定与参考层位置偏移相关的语法元素的语义如下：
num_ref_loc_offsets指定PPS中存在的参考层位置偏移的数目。num_ref_loc_offsets的值应在0到vps_max_layers_minus1(含端值)的范围内。
ref_loc_offset_layer_id[i]指定nuh_layer_id值，针对该值指定第i个参考层位置偏移参数。要注意的是，ref_loc_offset_layer_id[i]不需要在直接参考层之中，例如，当辅助图片和与其关联的主图片的空间对应关系被指定时。第i个参考层位置偏移参数由第i个经缩放的参考层偏移参数、第i个参考区域偏移参数和第i个重采样相位集参数组成。
scaled_ref_layer_offset_present_flag[i]等于1，其指定在PPS中存在第i个经缩放的参考层偏移参数。scaled_ref_layer_offset_present_flag[i]等于0，指定在PPS中不存在第i个经缩放的参考层偏移参数。当不存在时，scaled_ref_layer_offset_present_flag[i]的值被推断为等于0。第i个经缩放的参考层偏移参数指定参考该PPS的图片相对于nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中的参考区域的空间对应关系。
scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]指定当前图片中的nuh_layer_id等于ref_loc_offset_layer_id[i]时与解码图片中的参考区域的左上亮度样本并置的样本与当前图片中以subWC亮度样本为单位的左上亮度样本之间的水平偏移，其中subWC等于参考该PPS的图片的SubWidthC。scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]指定当前图片中的nuh_layer_id等于ref_loc_offset_layer_id[i]时与解码图片中的参考区域的左上亮度样本并置的样本与当前图片中以subHC亮度样本为单位的左上亮度样本之间的垂直偏移，其中subHC等于参考该PPS的图片的SubHightC。scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]指定当前图片中的nuh_layer_id等于ref_loc_offset_layer_id[i]时与解码图片中的参考区域的右下亮度样本并置的样本与当前图片中以subWC亮度样本为单位的右下亮度样本之间的水平偏移，其中subWC等于参考该PPS的图片的SubWidthC。scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]指定当前图片中的nuh_layer_id等于ref_loc_offset_layer_id[i]时与解码图片中的参考区域的右下亮度样本并置的样本与当前图片中以subHC亮度样本为单位的右下亮度样本之间的垂直偏移，其中subHC等于参考该PPS的图片的SubHightC。scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
令currTopLeftSample、currBotRightSample、colRefRegionTopLeftSample和colRefRegionBotRightSample分别是当前图片的左上角亮度样本、当前图片的右下角亮度样本、当前图片中的nuh_layer_id等于ref_loc_offset_layer_id[i]时与解码图片中的参考区域的左上亮度样本并置的样本、和当前图片中的nuh_layer_id等于ref_loc_offset_layer_id[i]时与解码图片中的参考区域的右下亮度样本并置的样本。
当scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]的值大于0时，colRefRegionTopLeftSample定位在currTopLeftSample的右侧。当scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]的值小于0时，colRefRegionTopLeftSample定位在currTopLeftSample的左侧。
当scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]的值大于0时，colRefRegionTopLeftSample定位在currTopLeftSample下方。当scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]的值小于0时，colRefRegionTopLeftSample定位在currTopLeftSample上方。
当scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]的值大于0时，colRefRegionBotRightSample定位在currBotRightSample的左侧。当scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]的值小于0时，colRefRegionTopLeftSample定位在currBotRightSample的右侧。
当scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]的值大于0时，colRefRegionBotRightSample定位在currBotRightSample上方。当scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]的值小于0时，colRefRegionTopLeftSample定位在currBotRightSample下方。
ref_region_offset_present_flag[i]等于1，指定在PPS中存在第i个参考区域偏移参数。ref_region_offset_present_flag[i]等于0，指定在PPS中不存在第i个参考区域偏移参数。当不存在时，ref_region_offset_present_flag[i]的值被推断为等于0。第i个参考区域偏移参数指定nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中的参考区域相对于相同解码图片的空间对应关系。
ref_region_left_offset[ref_loc_offset_layer_id[i]]指定nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中的参考区域的左上亮度样本与相同解码图片中以subWC亮度样本为单位的左上亮度样本之间的水平偏移，其中subWC等于nuh_layer_id等于ref_loc_offset_layer_id[i]时层的SubWidthC。ref_region_left_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，ref_region_left_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
ref_region_top_offset[ref_loc_offset_layer_id[i]]指定nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中的参考区域的左上亮度样本与相同解码图片中以subHC亮度样本为单位的左上亮度样本之间的垂直偏移，其中subHC等于nuh_layer_id等于ref_loc_offset_layer_id[i]时层的SubHightC。ref_region_top_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，ref_region_top_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
ref_region_right_offset[ref_loc_offset_layer_id[i]]指定nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中的参考区域的右下亮度样本与相同解码图片中以subWC亮度样本为单位的右下亮度样本之间的水平偏移，其中subWC等于nuh_layer_id等于ref_loc_offset_layer_id[i]时层的SubWidthC。ref_region_right_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，ref_region_right_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
ref_region_bottom_offset[ref_loc_offset_layer_id[i]]指定nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中的参考区域的右下亮度样本与相同解码图片中以subHC亮度样本为单位的右下亮度样本之间的垂直偏移，其中subHC等于nuh_layer_id等于ref_loc_offset_layer_id[i]时层的SubHightC。ref_region_bottom_offset[ref_loc_offset_layer_id[i]]的值应在-214到214-1(含端值)的范围内。当不存在时，ref_region_bottom_offset[ref_loc_offset_layer_id[i]]的值被推断为等于0。
令refPicTopLeftSample、refPicBotRightSample、refRegionTopLeftSample和refRegionBotRightSample分别是nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片的左上亮度样本、nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片的右下亮度样本、nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中参考区域的左上亮度样本、nuh_layer_id等于ref_loc_offset_layer_id[i]时解码图片中参考区域的右下亮度样本。
当ref_region_left_offset[ref_loc_offset_layer_id[i]]的值大于0时，refRegionTopLeftSample定位在refPicTopLeftSample的右侧。当ref_region_left_offset[ref_loc_offset_layer_id[i]]的值小于0时，refRegionTopLeftSample定位在refPicTopLeftSample的左侧。
当ref_region_top_offset[ref_loc_offset_layer_id[i]]的值大于0时，refRegionTopLeftSample定位在refPicTopLeftSample下方。当ref_region_top_offset[ref_loc_offset_layer_id[i]]的值小于0时，refRegionTopLeftSample定位在refPicTopLeftSample上方。
当ref_region_right_offset[ref_loc_offset_layer_id[i]]的值大于0时，refRegionBotRightSample定位在refPicBotRightSample的左侧。当ref_region_right_offset[ref_loc_offset_layer_id[i]]的值小于0时，refRegionBotRightSample定位在refPicBotRightSample的右侧。
当ref_region_bottom_offset[ref_loc_offset_layer_id[i]]的值大于0时，refRegionBotRightSample定位在refPicBotRightSample上方。当ref_region_bottom_offset[ref_loc_offset_layer_id[i]]的值小于0时，refRegionBotRightSample定位在refPicBotRightSample下方。
resample_phase_set_present_flag等于1，指定在PPS中存在第i个重采样相位集。resample_phase_set_present_flag等于0，指定在PPS中不存在第i个重采样相位集。当不存在时，resample_phase_set_present_flag的值被推断为等于0。
第i个重采样相位集指定nuh_layer_id等于ref_loc_offset_layer_id[i]时直接参考层图片的重采样过程中使用的相位偏移。当由ref_loc_offset_layer_id[i]指定的层不是当前层的直接参考层时，语法元素phase_hor_luma[ref_loc_offset_layer_id[i]]、phase_ver_luma[ref_loc_offset_layer_id[i]]、phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]和phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]的值未指定，应被解码器忽略。
phase_hor_luma[ref_loc_offset_layer_id[i]]指定nuh_layer_id等于ref_loc_offset_layer_id时直接参考层图片的重采样过程中使用的在水平方向上的亮度相位偏移。phase_hor_luma[ref_loc_offset_layer_id[i]]的值应在0到31(含端值)的范围内。当不存在时，phase_hor_luma[ref_loc_offset_layer_id[i]]的值被推断为等于0。
phase_ver_luma[ref_loc_offset_layer_id[i]]指定nuh_layer_id等于ref_loc_offset_layer_id时直接参考层图片的重采样过程中使用的在垂直方向上的亮度相位偏移。phase_ver_luma[ref_loc_offset_layer_id[i]]的值应在0到31(含端值)的范围内。当不存在时，phase_ver_luma[ref_loc_offset_layer_id[i]]的值被推断为等于0。
phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]减8指定nuh_layer_id等于ref_loc_offset_layer_id时直接参考层图片的重采样过程中使用的在水平方向上的色度相位偏移。phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]的值应在0到63(含端值)的范围内。当不存在时，phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]的值被推断为等于8。
phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]减8指定nuh_layer_id等于ref_loc_offset_layer_id时直接参考层图片的重采样过程中使用的在垂直方向上的色度相位偏移。phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]的值应在0到63(含端值)的范围内。当不存在时，phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]的值被推断为等于(4*scaledRefRegHeight+refRegHeight/2)/refRegHeight+4，其中scaledRefRegHeight的值等于ScaledRefRegionHeightInSamplesY的值，ScaledRefRegionHeightInSamplesY的值针对直接参考层图片来得到，其中nuh_layer_id等于参考该PPS的图片的ref_loc_offset_layer_id[i]，并且refRegHeight的值等于RefLayerRegionHeightInSamplesY，RefLayerRegionHeightInSamplesY针对直接参考层图片来得到，其中nuh_layer_id等于参考该PPS的图片的ref_loc_offset_layer_id[i]。
图10示出了参考层位置偏移，其中使用经缩放的参考层偏移，而参考区域偏移不存在或等于0，并且重采样相位集不存在或相位值等于默认(推断)值。图10示出了增强层1030和基本层1020，以及经缩放/上采样的基本层1010。
对于nuh_layer_id等于rLId的特定的直接参考层，ScaledRefLayerLeftOffset，ScaledRefLayerTopOffset，ScaledRefLayerRightOffset和ScaledRefLayerBottomOffset可以设置为分别等于scaled_ref_layer_left_offset[rLId]，scaled_ref_layer_top_offset[rLId]，scaled_ref_layer_right_offset[rLId]和scaled_ref_layer_bottom_offset[rLId]，(必要时)进行缩放，以便以当前图片的亮度样本的单位来表示。变量ScaledRefRegionWidthInSamplesY和ScaledRefRegionHeightInSamplesY可以分别设置为当前图片内的参考区域的宽度和高度。然后，得到用于亮度样本阵列的水平和垂直缩放因子分别为：ScaledRefRegionWidthInSamplesY与参考区域宽度(在用于层间预测的源图片的亮度样本阵列中，这里表示为ScaledRefRegionWidthInSamplesY)的比率以及ScaledRefRegionHightInSamplesY与参考区域高度(在用于层间预测的源图片的亮度样本阵列中)的比率。在得到缩放因子的过程时，可以考虑重采样过程的子样本粒度。例如，当重采样过程以1/16样本粒度操作时，用于亮度样本阵列的水平缩放因子ScaleFactorHor可以被设置为等于((RefLayerRegionWidthInSamplesY<<16)+(ScaledRefRegionWidthInSamplesY>>1))/ScaledRefRegionWidthInSamplesY，其中“<<”是左移位操作，“>>”是向右移位操作，“/”是整数除法操作。色度样本阵列的缩放因子可以类似地得到。
可以基于参考层位置偏移，例如使用以下过程，针对亮度样本阵列得到与(xP，yP)对应或与之并置的参考层样本位置，在该过程中，样本位置(xP，yP)相对于亮度分量的左上角样本。因此，该过程生成指定参考层样本位置相对于亮度分量的左上角样本、以1/16样本为单位的样本位置(xRef16，yRef16)。xRef16被设置为等于(((xP-ScaledRefLayerLeftOffset)*ScaleFactorHor+addHor+(1<<11))>>12)+refOffsetLeft，其中addHor基于用于亮度的水平相位偏移来设置，并且refOffSetLeft是参考区域相对于用于层间预测的源图片的亮度样本阵列的左上样本、以1/16样本为单位的左偏移。yRef16被设置为等于(((yP-ScaledRefLayerTopOffset)*ScaleFactorVer+addVer+(1<<11))>>12)+refOffsetTop，其中addVer基于用于亮度的垂直相位偏移来设置，并且refOffSetTop是参考区域相对于用于层间预测的源图片的亮度样本阵列的左上样本、以1/16样本为单位的顶部偏移。对应于(xP，yP)或与之并置的参考层样本位置可以类似于以上、针对色度样本阵列来得到。
基于上下文的自适应二进制算术编码(CABAC)是一种熵编码器，它是用于对语法元素(SE)进行编码的无损压缩工具。SE是描述视频如何被编码以及如何解码的信息。SE通常针对所有预测方法(例如，CU/PU/TU分割、预测类型、帧内预测模式、运动向量等)和预测误差(残差)编码信息(例如，残余跳跃/分割、变换跳跃/分割、coefficient_last_x、coefficient_last_y、significant_coefficient等)来定义。例如，在HEVC标准中，不同CABAC的总量具有以下步骤：
-二进制化：语法元素被映射到二进制符号(bin)。基于语法元素的预期统计信息，可以使用若干不同的二进制化，例如一元、截断一元、指数哥伦布码和固定长度(等概率)二值化；
-上下文建模：每个二进制符号的概率基于其预期属性和先前编码的二进制符号，使用相同的上下文来估计。具有相同行为和分布的二进制符号可以共享相同的上下文。上下文通常基于语法元素、语法元素中的二进制符号、亮度/色度、块大小、预测模式和/或相邻信息来定义。HEVC标准中定义了大约200个上下文。在算术编码期间，每个上下文具有概率状态表，并确定用该上下文编码的二进制符号的概率。在HEVC标准的概率状态表中定义了约128个可能的概率状态；
-算术编码：根据相应的估计概率，通过算术编码对二进制符号进行编码。在特殊情况下，二进制符号可能以50％的相等概率来编码(也称为“旁路”编码)。
-概率更新：基于上下文的当前概率状态变量和编码比特的值，更新上下文的概率状态变量。为此，在HEVC标准中已经定义了预定义的更新表。
被称为块内复制(IBC)的编码工具或模式类似于帧间预测，但使用正在被编码或解码的当前图片作为参考图片。显然，只有在编码或解码当前块之前被编码或解码的块才可以用作预测的参考。HEVC的屏幕内容编码(SCC)扩展计划包括IBC。
本实施例用于360度全景图像和/或视频的编码和/或解码。这些实施例基于以下事实：完整的360度视场被水平覆盖，因此样本阵列的最右边的样本列可以被认为与样本阵列的左边样本列相邻。许多实施例可以被用来提高360度全景图像和/或视频编码的压缩效率，并且可以附加地或备选地提供随后描述的其他优点。
下面将提供一些示例。
1.层间预测
通过对重建的基本图片进行重采样以用作用于对增强层图片编码/解码(稍后称为编/解码)的参考图片，可以实现空间可缩放的图像和/或视频编码。备选地，可以通过重采样诸如帧内编码块的基本层图片的部分来实现空间可缩放视频编码，以用作用于对增强层图片编/解码的预测块。重采样可以包括滤波操作，其中对多个基本层样本进行滤波以获得参考样本。因此，这样的重采样可以访问图片边界外的样本位置。参考区域位置偏移或类似物可以用来指示增强层图片相对于参考层图片的空间对应关系，并且可以使得层间重采样过程参考参考层图片的图片边界之外的样本。注意，参考区域位置偏移可以例如用于组合质量和ROI可缩放性，即，也可以用于除了空间可缩放性之外的其他目的。一些实施例在以下呈现以访问360度全景图片的图片边界之外的样本位置。
根据一个实施例，编码器或解码器重建用于层间预测的360度全景源图像。备选地，编码器或解码器接收用作用于层间预测的360度全景源图片的外部基本图片。编码器或解码器然后从源图像中得到用于层间预测的层间参考图像，其中该得到包括层间重采样。所述层间重采样可以类似于之前所描述的来执行；然而，如下所述，得到重采样的样本值被不同地执行，在该得到过程中，图片边界外的样本位置用作滤波的输入。当在滤波处理中参考图片边界外的样本位置时，如图8所示，使用相对侧边界区域的样本值。换句话说，当在重采样的样本值的得到过程中需要水平位于图片边界外的样本时，使用来自图片的相对侧的样本值，而不是使用边界样本的常规方法。
对图片边界外的样本位置的参考可以通过延伸用于层间预测的源图片的样本阵列来处理，使得(多个)样本阵列还包含可以在层间重采样中使用的图片边界外的那些样本位置。所述延伸可以理解为由水平延伸图8中的图片的样本位置来表示。
备选地，对图像边界外的样本位置的参考可以通过包围所参考样本的水平样本位置来处理。代替将负的水平位置饱和到0以及大于宽度-1的水平样本位置饱和到宽度-1(即图片的最右边样本列的水平样本位置)，图片边界外的所参考的水平样本位置可以被包围。这意味着大于宽度-1的水平样本位置被包围，以便它们参考图片左侧的样本列。反之亦然，小于0的水平样本位置被包围，以便它们参考图片右侧的样本列。
在一个示例性实施例中，先前呈现的示例性层间重采样过程用于具有一个修改的所述层间重采样，该修改是：该过程的步骤5在参考水平样本位置时，使用Wrap函数(如前所述)而不是Clip3函数。因此，针对用于层间预测的360度全景源图像的步骤5如下：样本值tempArray[n]如下得到，其中n＝0...7：
yPosRL＝Clip3(0,RefLayerPicHeightInSamplesY-1,yRef+n-3)
refW＝RefLayerPicWidthInSamplesY
tempArray[n]＝(fL[xPhase,0]*rlPicSampleL[Wrap(0,refW-1,xRef-3),yPosRL]+
fL[xPhase,1]*rlPicSampleL[Wrap(0,refW-1,xRef-2),yPosRL]+
fL[xPhase,2]*rlPicSampleL[Wrap(0,refW-1,xRef-1),yPosRL]+
fL[xPhase,3]*rlPicSampleL[Wrap(0,refW-1,xRef),yPosRL]+
fL[xPhase,4]*rlPicSampleL[Wrap(0,refW-1,xRef+1),yPosRL]+
fL[xPhase,5]*rlPicSampleL[Wrap(0,refW-1,xRef+2),yPosRL]+
fL[xPhase,6]*rlPicSampleL[Wrap(0,refW-1,xRef+3),yPosRL]+
fL[xPhase,7]*rlPicSampleL[Wrap(0,refW-1,xRef+4),yPosRL])>>shift1
其中RefLayerPicHeightInSamplesY是亮度样本中用于层间预测的源图片的高度。RefLayerPicWidthInSamplesY是亮度样本中用于层间预测的源图片的宽度。
在一个实施例中，在比特流中指示在层间重采样中是如上所述那样还是常规地处理图片边界外的样本位置。编码器可以获得关于视频内容的类型的信息(例如，该内容是否是360度全景的)。备选地或附加地，编码器可以使用算法来检测内容是否是360度全景内容。作为处理图片边界外的样本位置的哪种方法用于层间重采样的结论的响应，编码器在比特流中指示该方法信令对于在层间重采样中图片边界外的样本位置的处理可以是明确的，或者可以与图片边界外的样本位置的处理进行组合以用于帧间预测。例如，编码器可以将一个或多个以下指示或类似内容包括到比特流中：
-在诸如序列参数集(SPS)的序列级语法结构中的hor_wraparound_flag。对于SPS为有效SPS的所有图片，hor_wraparound_flag指定：
○当hor_wraparound_flag等于0时，图片边界外的水平样本位置饱和，以处于图片边界内，
○当hor_wraparound_flag等于1时，图片边界外的水平样本位置被包围，以处于图片边界内。
-在诸如图片参数集(PPS)的图片级语法结构中的hor_wraparound_flag。在PPS中的hor_wraparound_flag与上面的SPS标志被类似地指定，但适用于PPS是活跃PPS的所有图片。当PPS标志被用作用于层间预测的源图片和/或用作用于帧间预测的参考图片时，PPS标志可被指定为应用于PPS是活跃PPS的图片。备选地或附加地，PPS标志可以被指定为应用于用于层间预测、PPS是活跃PPS的(多个)源图片，和/或用于帧间预测、PPS是活跃PPS的参考图片。备选地或附加地，PPS标志还可以被指示为在某些图片对之间应用，例如在PPS是活跃PPS的图片和用于层间预测的特定源图片，其可以利用例如直接参考层的nuh_layer_id，例如在参考层位置偏移内或与参考层位置偏移连接来指示。
-例如在预测单元语法结构中的图片级别之下的语法结构中的hor_wraparound_flag。hor_wraparound_flag可能有条件地存在于比特流中。在一个实施例中，hor_wraparound_flag存在于定位在距图片边界的预定义的、推断的或用信号传送(例如，在SPS中)范围内的PU中。该范围可例如基于层间重采样滤波器中的抽头的数目和/或最大预定义或指示的水平运动矢量长度来推断。在另一实施例中，hor_wraparound_flag是有条件地存在的：当在帧间预测过程中需要图片边界外的样本位置时。hor_wraparound_flag可以应用于帧间预测中使用的水平样本位置。编码器可以使用例如针对hor_wraparound_flag的值的速率-失真优化决定。hor_wraparound_flag可以利用上下文自适应熵编码器(诸如CABAC)进行编码，以便hor_wraparound_flag的其他值影响码字的编码。
在一些实施例中，等于1的序列级别hor_wraparound_flag可以指示图片级别hor_wrapaound_flag的存在。如果sequence_levelhor_wraparound_flag等于0，则图片边界外的水平样本位置饱和，以处于图片边界内。否则，图片级hor_wraparound_flag将按照以上所指定的来适用。
在一些实施例中，序列级别hor_wraparound_flag被指示符替换，其中值0和1可以按照如上所述的来指定，并且值2可以指示：饱和或包围可以被使用，如由图片级别hor_wraparound_flag所支配的。仅当序列级指示符等于2时，图片级hor_wraparound_flag才存在。
在一些实施例中，类似于利用序列级指示符或标志来门控(gating)图片级hor_wraparound_flag，图片级下的hor_wraparound_flag用图片级指示符或标志来门控。
在一个实施例中，解码器从比特流中解码一个或多个语法元素，指示在层间重采样中，图片边界外的样本位置是如上所述地被处理还是被常规地处理。例如，解码器可以从比特流中解码上述的一个或多个语法元素。解码器使用语法元素来推断处理图片边界外的样本位置的哪种方法正被用于层间重采样。信令对于在层间重采样中图片边界外的样本位置的处理可以是明确的，或者可以与图片边界外的样本位置的处理进行组合以用于帧间预测。
在一个实施例中，上述指示可以例如在编码标准中预定义，或者由编码器指示和/或由解码器解码，以仅应用于特定图片边界或诸如右图片边界这样的边界。在一些实施例中，将指示仅应用于特定图片边界或边界的约束仅可以应用于层间重采样，但不可以应用于层间预测。例如，独立于与图片右侧相关的信令，如下内容可以被预定义(例如在编码标准中)或者被指示：水平样本位置小于样本阵列的最左列的水平坐标饱和，以等于最左列的水平坐标。当样本位置饱和时，图片右侧的样本值不需要重采样，因此可以并行编/解码基本层和增强层图片，例如在光栅预测中逐编码单元，与基本层中的相应CTU行相比，增强层的编/解码可以例如延迟一个CTU行。
在一个示例中，基本层表示例如通过由若干图像传感器缝合捕获的视频而生成的360度全景视频。摄像机传感器可以固有地或可以被配置为使用不同的空间分辨率。备选地或附加地，可以选择全景视频的一个或多个区域以使用不同的空间分辨率。备选地或附加地，可以在编码器中和/或由视频处理单元和/或由用户使用检测算法和/或手动输入来选择全景视频的一个或多个区域作为感兴趣区域。因此，360度全景视频的一些但不是全部空间区域可用于以较高空间分辨率进行编码。在一个示例中，基本层以基本质量表示360度全景视频内容，并且增强层表示视频内容的水平子集的质量增强，诸如对于90度水平视场。在这个示例中，基本层和增强层的采样网格是相同的，即不发生空间缩放。
在可与其他实施例一起或独立于其他实施例应用的实施例中，增强层是感兴趣区域层，即表示其直接参考层的空间区域的子集。诸如参考层位置偏移的信令(例如，如针对HEVC的可缩放扩展所指定的)被编码器用来指定增强层图片相对于用于层间预测的相应源图片的空间对应性。在一个实施例中，参考区域由编码器指示以跨过图片边界，并且图片边界外的区域由图片的相对侧的样本值表示，类似于在其他实施例中描述的。这使得能够使用跨过360度全景基本层的图片边界的感兴趣区域增强层。
在一个示例中，参考区域右偏移(例如，如先前所述的ref_region_right_offset语法元素或类似的)由编码器设置为负值，以指示参考区域的右边界定位在用于层间预测的源图片的右边界的右侧。在此示例中，定位在用于层间预测的源图片的右边界的右侧的样本位置被包围在图片边界内。图11示出了这个示例，其中虚线框指示用于层间预测的源图片的样本阵列的图片边界1110，并且虚线框1120指示参考区域，并且小的实心框指示单个样本。在图11中，ref_region_right_offset或类似物等于-n(以用于层间预测的源图片的样本阵列的样本为单位)，因此参考区域跨过超过图片的右边界n个样本列。如图11所示，图片右边界右侧的这n个样本列的样本值从图片的n个最左侧样本列中复制而来。
在一个示例中，参考区域左偏移(例如，如之前描述的ref_region_left_offset语法元素或类似的)被设置为负值，指示参考区域的左边界定位在用于层间预测的源图片的左边界的左侧。在此示例中，定位在用于层间预测的源图片的左边界的左侧的样本位置被包围在图片边界内。
在一个示例中，经缩放的参考层偏移值替代或附加于参考区域偏移值由编码器来设置，以指示增强层图片对应于参考层图片中跨过图片边界到参考层图片的相对侧中的区域。类似地，解码器可以解码经缩放的参考层偏移值，替代或附加于参考区域偏移值，解码器可以解码经缩放的参考层偏移值，由此这些值指示增强层图片对应于参考层图片中跨过图片边界到参考层图片的相对侧的区域。例如，经缩放的参考层左偏移可以被设置为负值，并且经缩放的参考层右偏移可以被设置为正值，由此指示参考层图片的右边界对应于增强层图片的右边界的左侧的样本列。类似于其他实施例和示例，这样的布置可以表示当访问由经缩放的参考层右偏移所指示的样本列的右侧的样本位置时，参考层图片的相对边界区域的样本值被使用。在另一个示例中，经缩放的参考层左偏移可以被设置为正值，并且经缩放的参考层右偏移可以被设置为负值，由此指示参考层图片的左边界对应于增强层图片的左边界的右侧的样本列。类似于其他实施例和示例，这样的布置可以表示当访问由经缩放的参考层左偏移所指示的样本列的左侧的样本位置时，参考层图片的相对边界区域的样本值被使用。
在可与其他实施例一起或独立于其他实施例应用的实施例中，增强层是感兴趣区域层，即表示其(多个)直接参考层的空间区域的子集。诸如参考层位置偏移的信令，例如，如针对HEVC的可缩放扩展所指定的，由编码器用来指定增强层图片相对于用于层间预测的相应源图片的空间对应性。在一个实施例中，参考区域由编码器指示以跨过图片边界。图片边界外的区域的运动场由图片的相对侧的运动场表示。这使得能够实现跨过360度全景基本层的图片边界的感兴趣区域增强层中的层间运动预测。例如，图11可以被认为表示用于层间预测的源图片的运动场，其中虚线框指示用于层间预测的源图片的运动场的图片边界，并且虚线框指示参考区域，并且小的实体框指示运动场的粒度处的运动矢量(例如，在亮度样本的16×16块的网格处)。在图11中，ref_region_right_offset或类似物等于-n(以运动场网格为单位)，因此参考区域跨过超过图片的右边界n个运动场列。如图11所示，图片右边界右侧的这n个运动场列的运动矢量从图片的n个最左侧的运动场列中复制而来。
在可以与其他实施例一起或者独立于其他实施例地应用的实施例中，解码器对参考层位置偏移进行解码，例如，如针对HEVC的可缩放扩展所指定的，以推断增强层图片相对于用于层间预测的相应源图片的空间对应性。在一个实施例中，参考区域由解码器指示以跨过图片边界，并且图片边界外的区域由图片的相对侧的样本值表示，类似于在其他实施例中描述的。这使得能够使用跨过360度全景基本层的图片边界的感兴趣区域增强层。
在一个示例中，参考区域右偏移(例如，如先前所述的ref_region_right_offset语法元素或类似的)由解码器解码为负值，以指示参考区域的右边界定位在用于层间预测的源图片的右边界的右侧。在此示例中，定位在用于层间预测的源图片的右边界的右侧的样本位置被包围在图片边界内。
在一个示例中，参考区域左偏移(例如，如之前描述的ref_region_left_offset[]语法元素或类似的)由解码器解码为为负值，指示参考区域的左边界定位在用于层间预测的源图片的左边界的左侧。在此示例中，定位在用于层间预测的源图片的左边界的左侧的样本位置被包围在图片边界内。
在一个实施例中，如先前所述，跨越图片边界或用于层间预测的源图片的边界的参考区域通过扩展用于层间预测的源图片的(多个)样本阵列来处理。在一个实施例中，如先前所述，并且如在参考水平样本位置时使用Wrap函数而不是Clip3函数(在过程的步骤5中)的层间重采样过程所例示的，跨越图片边界或用于层间预测的源图片的边界的参考区域通过包围水平样本位置来处理。在一个实施例中，如图11所示，参考区域通过从用于层间预测的源图片复制样本值来生成。
在各种实施例中，可以使用上述两种技术的混合(即，扩展(多个)样本阵列和包围针对所参考样本的水平样本位置)。当参考区域在用于层间预测的源图片内时，(多个)经扩展的样本阵列的边距可以被扩展，以例如通过层间重采样过程来覆盖所参考的样本位置。样本位置包围用于至少部分地定位在用于层间预测的源图片的图片边界外的参考区域。这种组合方法可以比仅使用样本位置包围的方法实现更快的存储器访问。
根据图13所示的实施例，一种方法包括：重建用于层间预测的360度全景源图片；从360度全景源图片得到层间参考图片，其中所述得到包括以下中的一个或两个：对360度全景源图片的至少一部分进行上采样，其中所述上采样包括至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来对360度全景源图片的边界区域的样本进行滤波；确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括相对侧边界区域的一个或多个样本值，和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
2.图片内预测
2.1帧内预测
根据可以与其他实施例一起使用或与其他实施例独立使用的实施例，来自图片的相对侧的经重建或解码的样本值被用作帧内预测的源。所述帧内预测可以是对块或编码单元进行编码或解码的一部分。
图12示出了在预测中使用参考样本Rx,y以获得针对N×N个样本的块大小的经预测样本Px,y的示例，基于该示例描述了一些以下实施例。符号Rx,y和R(x,y)可以互换使用。同样，符号Px,y和P(x,y)可以互换使用。以下实施例中的任何一个或其组合可以在使用来自图片的相对侧的经重建或解码的样本值时用作用于帧内预测的源：
-图片的最右侧的块处(例如，最右侧的PU)的右上参考样本的包围。当当前N×N块的最右侧的样本列是图片中最右侧时：对于x＝1…N，将R(N+x,y)设置为Q(x-1，j)，其中Q(x,y)是当前解码图片的样本阵列(坐标系从0开始)，j是当前解码图片的坐标中上述块(例如PU)的最后一个样本行。换句话说，当用于帧内预测的参考样本位置在图片边界之外时，从图片的相对侧获得相应的样本值。
-使用图片的最左侧样本列来获取图片最右侧块处(例如，最右侧的PU)的右上参考样本。最左侧的样本列可以根据角度预测模式来选择。
-在块编码模式(例如，PU编码模式)中，对于y＝0…2N，使用图片的最左侧的图片列作为参考样本R(0，y)，用于对水平镜像块进行编/解码。在这种编码模式下，对于x＝0…2N，参考样本R(x，0)被设置为等于Q(w-x，j)，其中w是样本阵列的宽度，并且j是当前解码图片的坐标中上述块(例如，PU)的最后一个样本行。编码器可以例如执行是否使用该编码模式的RD最佳决定。当使用这种编码模式时，编码器可以如下操作：编码器首先镜像要被水平编码的未压缩块。编码器然后使用上文获得的可用参考样本R和镜像块来常规地选择帧内预测模式。编码器将镜像编码模式和帧内预测模式的一个或多个指示编码到比特流中；即，镜像编码的指示可以被编码为分离的语法元素，或者其可以作为一个或多个预测模式与(多个)帧内预测模式语法元素一起被包括。常规帧内预测模式的选择可以例如使用RD优化来执行。编码器根据所选择的帧内预测模式创建预测块，并且然后可以对预测误差块进行编码。编码器还从预测块和重建的预测误差块(如果有的话)重建镜像重建块。然后编码器水平镜像经镜像的重建块，然后将其存储在样本阵列Q中，并且可以用作用于预测的源。解码器可以如下操作：解码器首先解码来自比特流的镜像编码模式和帧内预测模式的一个或多个指示。当使用镜像编码模式时，解码器如上所述生成参考样本R。解码器然后基于帧内预测模式和参考样本R来重建预测块。当预测误差块在比特流中可用时，解码器对预测误差块进行解码。解码器还从预测块和经解码的预测误差块(如果有的话)重建经镜像的重建块。解码器然后水平镜像经镜像的重建块，然后将其存储在样本阵列Q中，并且可以用作用于预测的源。
-改变用于最右侧块(例如PU)的角度预测模式，以便在所指示的角度方向上执行被编/解码的块(例如PU)的左侧、顶部和右侧上的可用样本之间的内插。
-来自右侧和右下方的新的角度帧内预测方向，用于最右侧的块(例如，最右侧的PU)。这些新的角度帧内预测方向使用来自图片最左侧样本列的样本作为帧内预测的源。
在一个实施例中，在环路滤波之前，上述帧内预测实施例被应用于经重建或解码的样本值。在另一实施例中，上述帧内预测实施例被应用于已经经历环路滤波的经重建或解码的样本值。在又一个实施例中，上述帧内预测实施例被应用于已经经历某个环路滤波(诸如，去块)、但是在应用其他环路滤波(诸如，样本自适应偏移)之前的经重建或解码的样本值。在一些实施例中，例如在编码标准中预先定义了上述帧内预测相对于环路滤波的阶段的发生顺序，而在其他实施例中，编码器在比特流中指示，并且解码器从比特流中解码，上述帧内预测相对于环路滤波的阶段的发生顺序。
2.2.环路滤波
根据可以与其他实施例一起使用或与其他实施例独立使用的实施例，来自图片的相对侧的中间经重建的或解码的样本值和/或变量值被用于对图片的边界区域的中间经重建的或解码的样本值进行滤波。
在一个实施例中，去块滤波可以在图片的垂直边缘上被应用。为此目的，图片的最右侧块可以被认为与图片的最左侧块相邻(在块网格的相同垂直位置处)，并且图片的最右侧块可以被视为驻留在图片最左侧块的左侧。同样地，图片的最右N个样本列可以被视为与图片的最左N个样本列相邻，其中N可以是沿着垂直边界被去块滤波器影响的样本数目。去块滤波利用图片的左侧边界区域处和图片的右侧边界区域处的样本值，并且修改左侧边界区域和右侧边界区域中的一个或两个。附加地或备选地，去块滤波利用图片的左侧边界区域的变量值和图片的右侧边界区域的变量值，诸如编码模式和/或量化参数值。本实施例可以使用任何类型的去块滤波器，例如前面概述的去块滤波器。
在一个实施例中，例如当确定用于去块环路滤波的边界强度时，环路滤波利用在图像的相对侧的块的运动矢量值。在该实施例中，在滤波中(在块网格的相同垂直位置处)，在图片的相对侧处水平地使用两个块的运动矢量值之前，它们可以被有条件地归一化，以指向图像的圆柱体表示中的相同方向。例如，如果图片的最右侧的块具有指向图片左侧的负水平运动矢量分量，则它可以被归一化为：当如图8所示包围样本位置时指向相同位置的正水平运动矢量分量。例如当图片的相对侧处的块的水平运动矢量分量具有不同符号时，并且当归一化水平运动矢量分量的绝对值小于非归一化(原始)水平运动矢量分量的绝对值时，归一化可以发生。
在一个实施例中，替代或者附加于应用上述实施例中描述的环路滤波，类似地应用后置滤波，其中来自图片的相对侧的经重建或解码的样本值和/或变量值被用于滤波图片的边界区域的经重建或解码的样本值。滤波后的样本值例如用于显示过程，但不影响编/解码中使用的经解码的参考图片的样本值。
2.3.上下文感知的熵编/解码中的上下文自适应
根据可以与其他实施例一起使用或与其他实施例独立使用的实施例，来自图片的相对侧的信息以以下方式中的一种或两种来使用：
-在估计图片的最右侧块的一个或多个二进制符号的概率时，概率基于其预期属性和使用相同上下文的先前编码的二进制符号来估计。先前编码的二进制符号包括源自图片的相对侧的二进制符号。
-在更新上下文的概率状态变量和经编码的二进制符号的值时，上下文的概率状态变量至少部分地基于图片的相对侧的一个或多个上下文状态来更新。
在一个实施例中，编码器在比特流中指示和/或解码器从比特流解码以下内容：图片边界外的样本位置和/或与图片边界外的位置相关联的参数是否如以上描述的涉及图片内预测的实施例来处理。这些指示可以是特定于预测类型(例如，帧内预测、环路滤波、熵编码)，或者可以与(多个)其他预测类型组合(例如，可以存在一个指示，其联合指示图片边界外的样本从用于分数样本内插的图片的相对侧和/或图片边界上的运动矢量获得，并且指示去块环路滤波在图片的垂直边界上应用，如先前所述)。附加地或备选地，指示可以是特定于一个边界或多个边界，其可以是预定义的(例如在编码标准中)或所指示的。类似于以上针对与层间预测有关的实施例所描述的指示可以用于图片内预测。
根据图14所示的实施例，一种方法包括：对360度全景图片的边界区域的样本进行编码或解码；所述编码或解码利用在边界区域的样本的预测和/或重建中相对侧边界区域的一个或多个样本值，和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值，其中所述预测和/或重建包括以下中的一个或多个：
-基于一个或多个样本值获得用于帧内预测的预测块；
-基于相对侧边界区域的一个或多个样本值，和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来对边界区域的中间重建样本进行滤波；
-基于相对侧边界区域的一个或多个样本值，和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来调整上下文自适应熵编码或解码。
下面更详细地描述本实施例。
用于图片边界外的样本的补充实施例
利用有效的图片区域
经解码的图片的宽度和高度可以具有某些约束，例如，使得宽度和高度是(最小)编码单元大小的倍数。例如，在HEVC中，经解码的图片的宽度和高度是8个亮度样本的倍数。如果编码图片具有不满足这些约束的范围，则编/解码仍然可以以符合约束的图片大小来执行，但是输出可以通过裁剪不必要的样本行和列来执行。在HEVC中，这种裁剪可以由编码器使用所谓的一致性裁剪窗口特征来控制。一致性裁剪窗口在SPS中由编码器指定，并且当输出图片时，解码器需要根据一致性裁剪窗口裁剪经解码的图片。
在一个实施例中，上述实施例中的包围使用例如由一致性裁剪窗口而不是经解码的图片定义的有效图片区域。例如，替代使用0是最左侧的样本列的水平位置，一致性裁剪窗口的左侧在上述方法中被使用。类似地，替代使用pic_width_in_luma_samples，在上述方法中使用一致性裁剪窗口的最右侧样本列的水平样本位置。
在一个实施例中，编码器在比特流中指示和/或解码器从比特流中解码以下内容：上述实施例中的包围适用于有效图片区域。编码器指示和/或解码器从比特流解码以下内容：定义有效图像区域的指示，例如一致性裁剪窗口上的指示。
相移包围
360度全景内容可以通过拼接所捕获的多个图像传感器的图片来创建。因此，跨拼接接缝的信号可能并不代表一个完美的连续信号，而是可能会发生诸如相移等不完善处。在一个实施例中，编码器可以编码到比特流中并且解码器可以从比特流中解码关于整数和/或分数样本位置偏移的信息，以便在包围图片边界的样本位置时使用。例如，信息可以被编码到诸如SPS的序列级语法结构中和/或诸如PPS的图片级语法结构中和/或从其解码。分数样本位置处的样本值可以使用常规操作(即，饱和度)来生成，用于图片边界外的样本位置。生成这些样本值后，可以像使用全像素样本值一样使用它们来获取用于分数样本插值的输入样本值。
立体360度视频中的视图间预测
具有视图间的视差的360度全景视频的两个视图可被编码，以例如当在立体显示器(诸如，虚拟现实耳机)上观看内容时获得深度感觉。需要理解的是，即使已经参考帧间预测描述了实施例，但是实施例可以类似地应用于视图间预测。这对于利用视图之间的视图间预测来对360度全景视频的两个或更多个视图进行编码可以是有益的。此外，需要理解的是，关于ROI可缩放性描述的实施例可以被类似地应用于表示360度全景视频(例如，第二视图)的增强层，而不是基本层的区域，其中基本层可以表示例如第一视图。
块内复制
在可以与其他实施例一起使用或与其他实施例独立使用的实施例中，块内复制向量部分地或完全地指向图片边界之外和/或指向子像素样本位置，导致通过滤波来重建样本值，其中样本值的至少一部分源自图片边界外的位置。类似于其他实施例，图片边界外的样本值从图片的相对侧的边界区域获得。
在一个实施例中，用于IBC编码过程的参考块搜索被约束，使得当图片的相对侧处的相应样本位置尚未被编码或解码时，不参考图片边界外的样本位置。在视频编码规范中可能不允许将这样的IBC运动向量包括在比特流中，当位于图片的相对侧的相应样本位置尚未被编码或解码时，这样的IBC运动向量将导致参考图片边界外的样本位置。
在一个实施例中，图片边界外的样本位置的处理取决于图片的相对侧处的相应样本位置是否已被编码或解码。当在图片的相对侧的相应样本位置已被编码或解码时，在IBC中创建预测块的过程中当参考图片边界外的样本位置时，使用图片的相对侧处的样本值。当在图片的相对侧的相应样本位置尚未被编码或解码时，在IBC中创建预测块的过程中当参考图片边界外的样本位置时，使用常规方法，诸如，边界样本的扩展或样本位置的饱和，以在图片边界内)。
垂直样本位置的包围
需要理解的是，附加地或替代地，前面介绍的方法可以类似地应用于垂直方向。这对于以下情况可以是有用的，例如视频内容包括针对水平和垂直两个方向上的360度，或只针对垂直方向，例如，当水平轴表示360度，垂直轴表示180度。在这种情况下，实施例可以在水平方向和垂直方向二者上应用。在另一个示例中，捕获设备能够沿第一轴捕获360度，并且沿第二轴(与第一轴正交)捕获小于180度，并且捕获设备被倾斜，使得360度捕获发生在垂直方向上，在这种情况下，这些实施例可以应用于垂直方向而不是水平方向。
立体360度视频的视差补偿的视图间预测
接下来描述可以与其他实施例一起使用或与其他实施例独立使用的、用于视差补偿的视图间预测的实施例。当使得能够使用SHVC编码工具(或类似的)用于视图间预测时，可以如下实现视差补偿的视图间预测。更具体地说，SHVC的参考层位置偏移特征(或类似的)可用于实现视差补偿的视图间运动预测。偏移根据视图之间的差异来选择。
在根据实施例的编码器和/或解码器中，通过补偿视图之间的视差，一个视图中的图片的运动场被映射为用作另一视图中的图片的时间运动矢量预测器。编码器可以使用参考层位置偏移来指示映射。解码器可以解码：从比特流解析的来自参考层位置偏移的映射。在编码器和解码器中使用先前描述的、使用用于参考图片重采样和/或运动场映射的包围位置的层间预测的一个或多个实施例。
在可以与其他实施例一起使用或与其他实施例独立使用的实施例中，编码器可以执行以下步骤中的一个或多个：
-视差值可以被得到或估计。
-用于经缩放的参考层左偏移和/或经缩放的参考层右偏移的语法元素被设置为等于视差值，其中还考虑了正确的符号。
-用于经缩放的参考层顶部偏移和经缩放的参考层底部偏移的语法元素被设置为等于0。
在可以与其他实施例一起使用或与其他实施例独立使用的实施例中，编码器可以执行以下步骤中的一个或多个：
-视差值可以被得到或估计。
-用于参考区域左偏移和/或参考区域右偏移的语法元素被设置为等于视差值，其中还考虑了正确的符号。
-用于参考区域顶部偏移和参考区域底部偏移的语法元素被设置为等于0。
编码器可以使用但不限于以下一种或多种方式，例如从一个或多个访问单元的图片来得到视差值：
-从与所述图片相关联的一个或多个深度图得到的平均视差。
-从应用于所述图片的像机参数得到或估计的视差。
-视图之间的平均估计视差，其中估计可以例如使用立体匹配算法来执行。
-从在不同视图的所述图片之间应用的视图间运动矢量得到的平均视差。
在上文中，替代平均视差，可以使用另一数学和/或逻辑操作，诸如，中值或最大值。
在可以与其他实施例一起使用或与其他实施例独立使用的实施例中，编码器可以执行以下步骤中的一个或多个：
-针对一个或多个图片的平均视差可以被得到或估计。
-用于经缩放的参考层左偏移和/或经缩放的参考层右偏移的语法元素被设置为等于平均视差，其中还考虑了正确的符号。
-用于经缩放的参考层顶部偏移和经缩放的参考层底部偏移的语法元素被设置为等于0。
在可以与其他实施例一起使用或与其他实施例独立使用的实施例中，编码器可以执行以下步骤中的一个或多个：
-编码器可以在参考图片列表中创建层间参考图片(基本视图图片)的两次出现。一次出现是MV-HEVC中的常规层间参考图片(无重采样)。另一次出现是由参考层位置偏移确定的重采样。编码器可以通过使用参考图片列表重新排序语法或类似物来指示在比特流中两次出现的创建。编码器可以将第二次出现排序为在参考图片列表中的一个或两个中最后出现。
-编码器仅将重采样的参考图片用作用于TMVP的并置图片。例如，编码器可以指示片头中的并置图片。编码器不使用重采样的图片作为用于样本预测的参考。
在可以与其他实施例一起使用或与其他实施例独立使用的实施例中，编码器可以基于不同视图的图片之间的实际视差以及如下确定的并置预补偿偏移来得到视差值或参考层位置偏移。HEVC TMVP是这样的，使得并置图片中选择运动矢量的默认位置是当前(正在被编码或解码的)PU的位置的右下方。只有在默认TMVP候选位置中没有运动矢量可用的情况下，例如，当对应块被帧内编码时，才考虑当前PU的(空间并置)位置。TMVP候选的默认位置可以被认为会引起从实际视差向右下方的一种移位。编码器因此可以预补偿在生成的视差值或参考层位置偏移中的TMVP默认位置的选择。例如，编码器可以既水平预补偿，又垂直预补偿8个亮度样本，即，将由参考层位置偏移指定的窗口向左上方水平和垂直地“移动”8个亮度样本。
需要理解的是，上述实施例可以类似地应用于多视图视频，即也可以应用于多于两个视图。
本实施例提供了多个优点。例如，可以提高压缩效率。另外，在确定360度全景基本层内在增强层中被增强的参考区域时具有灵活性。例如，实施例实现跨过360度全景基本层的图片边界的感兴趣区域增强层。在另一示例中，360度全景图像的左边界和右边界之间的可见不连续性通过去块滤波被减小或隐藏，这可以在这些边界彼此相邻显示时改善主观质量。
在上文中，已经参考编码器描述了一些示例实施例，需要理解的是，所得到的比特流和解码器在其中具有对应的元素。类似地，在已经参考解码器描述了示例实施例的情况下，需要理解的是，编码器具有用于生成要由解码器解码的比特流的结构和/或计算机程序。
在上文中，已经关于术语基本层和/或基本层图片描述了一些实施例。需要理解的是，这些实施例分别类似地适用于任何直接参考层和/或参考层图片。
在上文中，已经关于两个层描述了一些实施例，诸如基本层和增强层。需要理解的是，这些实施例类似地适用于用于增强层的任何数目的直接参考层。还需要理解的是，这些实施例类似地适用于任何数目的增强层。例如，可以对(多个)ROI增强层进行编/解码。此外，每个ROI增强层可以对应于360度全景基本层的不同空间子集。
在上文中，已经关于层间运动预测描述了一些实施例。需要理解的是，这些实施例不限于运动预测，而是类似地适用于任何其他类型的层间参数预测。
在上文中，术语“经重建的样本”和“经重建的图片”主要与编码相关地被使用，其中样本和图片被重建为编码过程的一部分，并且分别具有与经解码的样本和经解码的图片相同的值，这些值由解码过程得到。术语“经重建的样本”可以与术语“解码样本”互换使用。术语“经重建的图片”可以与术语“解码图片”互换使用。
在上文中，已经关于视频编/解码方法描述了一些实施例。需要理解的是，这些实施例类似地适用于图像编/解码方法，其中单个图像被编码，和/或单个经编码的图像或访问单元(其可以包含不同可缩放层的几个经编码图像)被解码。
本发明的各种实施例可以借助驻留在存储器中、并且使相关装置执行本发明的计算机程序代码来实现。例如，设备可以包括用于处理、接收和传输数据和存储器中的计算机程序代码的电路和电子器件，以及处理器，该处理器在运行计算机程序代码时使该设备执行实施例的特征。更进一步地，像服务器这样的网络设备可以包括用于处理、接收和传输数据和存储器中的计算机程序代码的电路和电子器件，以及处理器，该处理器在运行计算机程序代码时使该设备执行实施例的特征。
显然，本发明不仅仅被限于上述实施例，而是可以在所附权利要求的范围内进行修改。
根据第一方面，提供了一种方法，包括：
-重建用于层间预测的360度全景源图像；
-从360度全景源图片得到层间参考图片，其中得到包括以下中的一个或两个：
○对360度全景源图片的至少一部分进行上采样，其中所述上采样包括至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来对360度全景源图片的边界区域的样本进行滤波；
○确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第二方面，提供了一种方法，包括：
-对360度全景图片的边界区域的样本进行编码，其中编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第三方面，提供了一种方法，包括：
-对360度全景图片的边界区域的样本进行解码，其中解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第四方面，提供了一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为利用至少一个处理器，使得装置执行至少以下操作：
-重建用于层间预测的360度全景源图像；
-从360度全景源图片得到层间参考图片，其中得到包括以下中的一个或两个：
○对360度全景源图片的至少一部分进行上采样，其中所述上采样包括至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来对360度全景源图片的边界区域的样本进行滤波；
○确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第五方面，提供了一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为：利用至少一个处理器，使得装置执行至少以下操作：
-对360度全景图片的边界区域的样本进行编码，其中编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第六方面，提供了一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为利用至少一个处理器，使得装置执行至少以下操作：
-对360度全景图片的边界区域的样本进行解码，其中解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第七方面，提供了一种装置，包括：
-用于处理的器件；
-用于重建用于层间预测的360度全景源图像的器件；
-用于从360度全景源图片得到层间参考图片的器件，其中用于得到的器件被配置为执行以下中的一个或两个：
○对360度全景源图片的至少一部分进行上采样，其中所述上采样包括至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来滤波360度全景源图片的边界区域的样本；
○确定跨过360度全景源图片的图片边界的参考区域，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第八方面，提供了一种装置，包括：
-用于处理的器件；
-用于对360度全景图片的边界区域的样本进行编码的器件，其中用于编码的器件被配置为利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第九方面，提供了一种装置，包括：
-用于处理的器件；
-用于对360度全景图片的边界区域的样本进行解码的器件，其中用于解码的器件被配置为利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○基于一个或多个样本值获得用于帧内预测的预测块；
○基于以下中的一个或两个对边界区域的中间重建样本进行滤波：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第十方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载在其中实施的、与计算机一起使用计算机程序代码，计算机程序代码包括：
-用于重建用于层间预测的360度全景源图像的代码；
-用于从360度全景源图片得到层间参考图片的代码，其中得到包括以下中的一个或两个：
○用于对360度全景源图片的至少一部分进行上采样的代码，其中所述上采样包括至少部分地使用相对侧边界区域的一个或多个样本值和/或与相对侧边界区域的一个或多个块相关联的一个或多个变量值来对360度全景源图片的边界区域的样本进行滤波；
○用于确定跨过360度全景源图片的图片边界的参考区域的代码，并且在参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第十一方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载在其中实施的、与计算机一起使用计算机程序代码，计算机程序代码包括：
-用于对360度全景图片的边界区域的样本进行编码的代码，其中编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○用于基于一个或多个样本值获得用于帧内预测的预测块的代码；
○用于基于以下中的一个或两个对边界区域的中间重建样本进行滤波的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○用于基于以下中的一个或两个来调整上下文自适应熵编码的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。
根据第十二方面，提供了一种包括计算机可读介质的计算机程序产品，计算机可读介质承载在其中实施的、与计算机一起使用计算机程序代码，计算机程序代码包括：
-用于对360度全景图片的边界区域的样本进行解码的代码，其中解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在边界区域的样本的处理中；
-其中样本的所述处理是以下中的一个或两个：边界区域的样本的预测，边界区域的样本的重建，并且其中处理包括以下中的一个或多个：
○用于基于一个或多个样本值获得用于帧内预测的预测块的代码；
○用于基于以下中的一个或两个对边界区域的中间重建样本进行滤波的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
○用于基于以下中的一个或两个来调整上下文自适应熵解码的代码：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值。

Claims (20)

1.一种方法，包括：
-重建用于层间预测的360度全景源图片；
-从所述360度全景源图片得到层间参考图片，其中所述得到包括以下中的一个或两个：
ο对所述360度全景源图片的至少一部分进行上采样，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对所述360度全景源图片的边界区域的样本进行滤波；
ο确定跨过所述360度全景源图片的图片边界的参考区域，并且在所述参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值。
2.根据权利要求1所述的方法，还包括以下中的一个或多个：
-得到视差值；
-将用于所述参考区域左偏移和右偏移的语法元素设置为等于所述视差值；以及
-将用于所述参考区域顶部偏移和底部偏移的语法元素设置为等于零。
3.根据权利要求2所述的方法，还包括使用以下中的一个或多个来从一个或多个存取单元的图片得到所述视差值：
-从与所述图片相关联的一个或多个深度图得到平均视差；
-从应用于所述图片的相机参数得到所述视差；
-使用立体匹配算法得到视图之间的平均视差；
-从在不同视图的图片之间应用的视图间运动矢量得到平均视差。
4.根据前述权利要求1至3中任一项所述的方法，还包括以下中的一个或多个：
-得到用于一个或多个图片的平均视差值；
-将用于经缩放的参考层左偏移和经缩放的参考层右偏移的语法元素设置为等于所述平均视差值；以及
-将用于经缩放的参考层顶部偏移和经缩放的参考层底部偏移的语法元素设置为等于零。
5.根据前述权利要求1至4中任一项所述的方法，还包括：
-在参考图片列表中创建基本视图图片的两次出现，其中第一次出现是常规层间参考图片并且第二次出现是重采样的图片，以及
-可选地在比特流中指示所述两次出现的创建。
6.一种方法，包括：
-对360度全景图片的边界区域的样本进行编码，其中所述编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο基于所述一个或多个样本值获得用于帧内预测的预测块；
ο基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的所述一个或多个变量值。
7.一种方法，包括：
-对360度全景图片的边界区域的样本进行解码，其中所述解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο基于所述一个或多个样本值获得用于帧内预测的预测块；
ο基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值。
8.一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器，使得所述装置执行至少以下操作：
-重建用于层间预测的360度全景源图片；
-从所述360度全景源图片得到层间参考图片，其中所述得到包括以下中的一个或两个：
ο对所述360度全景源图片的至少一部分进行上采样，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对所述360度全景源图片的边界区域的样本进行滤波；
ο确定跨过所述360度全景源图片的图片边界的参考区域，并且在所述参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值。
9.根据权利要求8所述的装置，还包括被配置为使所述装置执行至少以下操作的计算机程序代码：
-得到视差值；
-将用于所述参考区域左偏移和右偏移的语法元素设置为等于所述视差值；以及
-将用于所述参考区域顶部偏移和底部偏移的语法元素设置为等于零。
10.根据权利要求9所述的装置，还包括被配置为使所述装置执行至少以下操作的计算机程序代码：通过使用以下中的一个或多个来从一个或多个存取单元的图片得到所述视差值：
-从与所述图片相关联的一个或多个深度图得到平均视差；
-从应用于所述图片的相机参数得到所述视差；
-使用立体匹配算法得到视图之间的平均视差；
-从在不同视图的图片之间应用的视图间运动矢量得到平均视差。
11.根据前述权利要求8至10中任一项所述的装置，还包括被配置为使所述装置执行至少以下操作的计算机程序代码：
-得到用于一个或多个图片的平均视差值；
-将用于经缩放的参考层左偏移和经缩放的参考层右偏移的语法元素设置为等于所述平均视差值；以及
-将用于经缩放的参考层顶部偏移和经缩放的参考层底部偏移的语法元素设置为等于零。
12.根据前述权利要求8至11中任一项所述的装置，还包括被配置为使所述装置执行至少以下操作的计算机程序代码：
-在参考图片列表中创建基本视图图片的两次出现，其中第一次出现是常规层间参考图片并且第二次出现是重采样的图片，以及
-可选地在比特流中指示所述两次出现的创建。
13.一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器，使得所述装置执行至少以下操作：
-对360度全景图片的边界区域的样本进行编码，其中所述编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο基于所述一个或多个样本值获得用于帧内预测的预测块；
ο基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的所述一个或多个变量值。
14.一种装置，包括至少一个处理器；包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器，使得所述装置执行至少以下操作：
-对360度全景图片的边界区域的样本进行解码，其中所述解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο基于所述一个或多个样本值获得用于帧内预测的预测块；
ο基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值。
15.一种装置，包括：
-用于处理的部件；
-用于重建用于层间预测的360度全景源图片的部件；
-用于从所述360度全景源图片得到层间参考图片的部件，其中用于得到的所述部件被配置为执行以下中的一个或两个：
ο对所述360度全景源图片的至少一部分进行上采样，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对所述360度全景源图片的边界区域的样本进行滤波；
ο确定跨过所述360度全景源图片的图片边界的参考区域，并且在所述参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值。
16.一种装置，包括：
-用于处理的部件；
-用于对360度全景图片的边界区域的样本进行编码的部件，其中
用于编码的所述部件被配置为利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
ο在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο基于所述一个或多个样本值获得用于帧内预测的预测块；
ο基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο基于以下中的一个或两个来调整上下文自适应熵编码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的所述一个或多个变量值。
17.一种装置，包括：
-用于处理的部件；
-用于对360度全景图片的边界区域的样本进行解码的部件，其中用于解码的所述部件被配置为利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
ο在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο基于所述一个或多个样本值获得用于帧内预测的预测块；
ο基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο基于以下中的一个或两个来调整上下文自适应熵解码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值。
18.一种计算机程序产品，包括计算机可读介质，所述计算机可读介质承载在其中体现的与计算机一起使用的计算机程序代码，所述计算机程序代码包括：
-用于重建用于层间预测的360度全景源图片的代码；
-用于从所述360度全景源图片得到层间参考图片的代码，其中所述得到包括以下中的一个或两个：
ο用于对所述360度全景源图片的至少一部分进行上采样的代码，其中所述上采样包括：至少部分地使用相对侧边界区域的一个或多个样本值和/或与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值，来对所述360度全景源图片的边界区域的样本进行滤波；
ο用于确定跨过所述360度全景源图片的图片边界的参考区域的代码，并且在所述参考区域中包括以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值。
19.一种计算机程序产品，包括计算机可读介质，所述计算机可读介质承载在其中体现的与计算机一起使用的计算机程序代码，所述计算机程序代码包括：
-用于对360度全景图片的边界区域的样本进行编码的代码，其中所述编码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的一个或多个变量值；
ο在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο用于基于所述一个或多个样本值获得用于帧内预测的预测块的代码；
ο用于基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波的代码：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο用于基于以下中的一个或两个来调整上下文自适应熵编码的代码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的一个或多个块相关联的所述一个或多个变量值。
20.一种计算机程序产品，包括计算机可读介质，所述计算机可读介质承载在其中体现的与计算机一起使用的计算机程序代码，所述计算机程序代码包括：
-用于对360度全景图片的边界区域的样本进行解码的代码，其中所述解码包括利用以下中的一个或两个：
●相对侧边界区域的一个或多个样本值；
●与相对侧边界区域的一个或多个块相关联的一个或多个变量值；
在所述边界区域的所述样本的处理中；
-其中所述样本的所述处理是以下中的一个或两个：所述边界区域的所述样本的预测，所述边界区域的所述样本的重建，并且其中所述处理包括以下中的一个或多个：
ο用于基于所述一个或多个样本值获得用于帧内预测的预测块的代码；
ο用于基于以下中的一个或两个对所述边界区域的中间重建样本进行滤波的代码：
●所述相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值；
ο用于基于以下中的一个或两个来调整上下文自适应熵解码的代码：
●相对侧边界区域的所述一个或多个样本值；
●与所述相对侧边界区域的所述一个或多个块相关联的所述一个或多个变量值。
CN201680068065.7A 2015-09-23 2016-09-21 编码360度全景视频的方法、装置和计算机可读存储介质 Active CN108293136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562222366P 2015-09-23 2015-09-23
US62/222,366 2015-09-23
PCT/FI2016/050653 WO2017051072A1 (en) 2015-09-23 2016-09-21 A method, an apparatus and a computer program product for coding a 360-degree panoramic video

Publications (2)

Publication Number Publication Date
CN108293136A true CN108293136A (zh) 2018-07-17
CN108293136B CN108293136B (zh) 2022-12-30

Family

ID=58283646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068065.7A Active CN108293136B (zh) 2015-09-23 2016-09-21 编码360度全景视频的方法、装置和计算机可读存储介质

Country Status (6)

Country Link
US (3) US20170085917A1 (zh)
EP (1) EP3354029A4 (zh)
JP (1) JP6559337B2 (zh)
KR (2) KR102267922B1 (zh)
CN (1) CN108293136B (zh)
WO (1) WO2017051072A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889829A (zh) * 2019-01-23 2019-06-14 北方工业大学 360度视频的快速样点自适应补偿
CN110832877A (zh) * 2017-07-10 2020-02-21 高通股份有限公司 用于dash中的鱼眼虚拟实境视频的增强型高阶信号发送
CN111263191A (zh) * 2018-11-30 2020-06-09 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
CN111489383A (zh) * 2020-04-10 2020-08-04 山东师范大学 基于深度边缘点与彩色图像的深度图像上采样方法及系统
CN111586414A (zh) * 2020-04-07 2020-08-25 南京师范大学 一种基于svc和dash的360°视频流调度方法
CN112514388A (zh) * 2018-08-08 2021-03-16 富士通株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
WO2021078177A1 (en) * 2019-10-23 2021-04-29 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling
WO2021233403A1 (en) * 2020-05-21 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
TWI750560B (zh) * 2019-01-14 2021-12-21 聯發科技股份有限公司 虛擬邊緣的環內濾波的方法和設備
CN113994671A (zh) * 2019-06-14 2022-01-28 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
CN114731417A (zh) * 2019-11-22 2022-07-08 高通股份有限公司 交叉分量自适应环路滤波器
US11778175B2 (en) 2019-10-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd Calculation for multiple coding tools
US11800090B2 (en) 2019-08-23 2023-10-24 Beijing Bytedance Network Technology Co., Ltd Clipping in reference picture resampling
US11831869B2 (en) 2019-07-09 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017124305A1 (zh) * 2016-01-19 2017-07-27 北京大学深圳研究生院 基于多方式边界填充的全景视频编码、解码方法和装置
US20170214937A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Apparatus of Inter Prediction for Spherical Images and Cubic Images
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
WO2017205648A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
KR102383104B1 (ko) * 2016-06-24 2022-04-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
JP6983862B2 (ja) 2016-07-08 2021-12-17 ヴィド スケール インコーポレイテッド ジオメトリ投影を使用する３６０度ビデオ符号化
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
EP3301930A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
KR20190052128A (ko) * 2016-10-04 2019-05-15 김기백 영상 데이터 부호화/복호화 방법 및 장치
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10244215B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
US10244200B2 (en) * 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
JP6922215B2 (ja) * 2016-12-27 2021-08-18 富士通株式会社 動画像符号化装置
US20210243475A1 (en) * 2016-12-28 2021-08-05 Sony Corporation Image processing apparatus and method
KR102437108B1 (ko) * 2017-01-13 2022-08-26 삼성전자주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
US10623735B2 (en) 2017-01-21 2020-04-14 OrbViu Inc. Method and system for layer based view optimization encoding of 360-degree video
MX2019008789A (es) * 2017-01-31 2019-09-11 Sharp Kk Sistemas y metodos para particionar una imagen en bloques de video para codificacion de video.
US11049323B2 (en) 2017-03-24 2021-06-29 Mediatek Inc. Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling
US10819907B2 (en) * 2017-03-30 2020-10-27 Mediatek Inc. Method and apparatus for signaling spherical region information in ISOBMFF
US20200120359A1 (en) 2017-04-11 2020-04-16 Vid Scale, Inc. 360-degree video coding using face continuities
WO2018212582A1 (ko) * 2017-05-18 2018-11-22 에스케이텔레콤 주식회사 화면 내 예측 부호화 또는 복호화 방법 및 장치
WO2018233662A1 (en) * 2017-06-23 2018-12-27 Mediatek Inc. METHOD AND APPARATUS FOR MOTION VECTOR DERIVATIONS IN IMMERSIVE VIDEO CODING
EP3422724A1 (en) * 2017-06-26 2019-01-02 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US10764582B2 (en) * 2017-06-29 2020-09-01 Qualcomm Incorporated Reducing seam artifacts in 360-degree video
US10848735B2 (en) * 2017-06-30 2020-11-24 Sharp Kabushiki Kaisha Systems and methods for signaling information associated with constituent pictures in virtual reality applications
US10798417B2 (en) * 2017-07-05 2020-10-06 Qualcomm Incorporated Deblock filtering for 360-degree video coding
US10659760B2 (en) * 2017-07-10 2020-05-19 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video
EP3457698A1 (en) * 2017-09-18 2019-03-20 Thomson Licensing Method and apparatus for coding of omnidirectional video
US11418816B2 (en) 2017-09-20 2022-08-16 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
CN111713111B (zh) 2017-12-19 2024-04-09 Vid拓展公司 用于360度视频译码的面不连续性滤波
US10798455B2 (en) * 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US11212438B2 (en) * 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
EP3759928A1 (en) * 2018-02-26 2021-01-06 InterDigital VC Holdings, Inc. Gradient based boundary filtering in intra prediction
CN108347611B (zh) * 2018-03-02 2021-02-02 电子科技大学 用于经纬图的编码块级拉格朗日乘子的优化方法
KR102596104B1 (ko) 2018-06-11 2023-10-30 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 양방향 광학 흐름의 방법 및 장치
WO2019240425A1 (ko) 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 인터 예측 방법 및 영상 복호화 장치
KR20190140387A (ko) * 2018-06-11 2019-12-19 에스케이텔레콤 주식회사 360도 영상의 인터 예측 방법 및 이를 이용한 영상 복호화 장치
CN110636296B (zh) * 2018-06-22 2022-05-27 腾讯美国有限责任公司 视频解码方法、装置、计算机设备以及存储介质
CA3050147A1 (en) * 2018-07-17 2020-01-17 Comcast Cable Communications, Llc Systems and methods for deblocking filtering
BR112021002857A8 (pt) * 2018-08-17 2023-02-07 Mediatek Inc Métodos e aparelhos de processamento de vídeo com predição bidirecional em sistemas de codificação de vídeo
TWI822863B (zh) * 2018-09-27 2023-11-21 美商Ｖｉｄ衡器股份有限公司 360度視訊寫碼樣本導出
WO2020090841A1 (en) * 2018-11-02 2020-05-07 Sharp Kabushiki Kaisha Systems and methods for reference offset signaling in video coding
KR20210089131A (ko) 2018-11-06 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 위치 기반 인트라 예측
CN113424536B (zh) * 2018-11-30 2024-01-30 腾讯美国有限责任公司 用于视频编解码的方法和装置
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
AU2019391197B2 (en) 2018-12-07 2023-05-25 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN113498606A (zh) 2019-01-02 2021-10-12 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN113439437B (zh) * 2019-02-22 2023-11-24 北京字节跳动网络技术有限公司 用于帧内预测的邻近样点选择
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
CN113545064A (zh) 2019-03-04 2021-10-22 阿里巴巴集团控股有限公司 用于处理视频内容的方法和系统
EP3939271A1 (en) * 2019-03-11 2022-01-19 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with profile and level dependent coding options
JP2022525124A (ja) 2019-03-11 2022-05-11 華為技術有限公司 エンコーダ、デコーダ及び対応する方法
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
US11394990B2 (en) 2019-05-09 2022-07-19 Tencent America LLC Method and apparatus for signaling predictor candidate list size
EP3989547A4 (en) * 2019-06-21 2023-04-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE
US11277618B2 (en) * 2019-06-21 2022-03-15 Qualcomm Incorporated Increasing decoding throughput of intra-coded blocks
BR112022000542A2 (pt) 2019-07-11 2022-03-15 Beijing Bytedance Network Tech Co Ltd Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
MX2022000120A (es) 2019-07-15 2022-02-16 Beijing Bytedance Network Tech Co Ltd Clasificacion en filtrado de bucle adaptativo.
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
JP2022544157A (ja) 2019-08-06 2022-10-17 オーピー ソリューションズ， エルエルシー 適応分解能管理予測再スケーリング
WO2021026255A1 (en) * 2019-08-06 2021-02-11 Dolby Laboratories Licensing Corporation Canvas size scalable video coding
KR20220090493A (ko) 2019-08-06 2022-06-29 오피 솔루션즈, 엘엘씨 블록-기반 적응적 해상도 관리
EP4011067A4 (en) * 2019-08-06 2023-09-13 OP Solutions, LLC ADAPTIVE RESOLUTION MANAGEMENT SIGNALING
JP2022544164A (ja) 2019-08-06 2022-10-17 オーピー ソリューションズ， エルエルシー フレームタイプに基づく適応分解能管理の暗示的信号伝達
EP4030762A4 (en) * 2019-09-10 2023-09-06 Samsung Electronics Co., Ltd. IMAGE DECODING DEVICE USING A SET OF TOOLS AND CORRESPONDING IMAGE DECODING METHOD, AND IMAGE ENCODING DEVICE AND CORRESPONDING IMAGE ENCODING METHOD
EP4018658B1 (en) * 2019-09-17 2023-03-29 Huawei Technologies Co., Ltd. Signaling subpicture ids in subpicture based video coding
WO2021055699A1 (en) * 2019-09-19 2021-03-25 Vid Scale, Inc. Systems and methods for versatile video coding
CN114731409A (zh) * 2019-09-20 2022-07-08 韩国电子通信研究院 图像编码/解码方法和装置、以及存储比特流的记录介质
US11336894B2 (en) * 2019-09-20 2022-05-17 Tencent America LLC Signaling of reference picture resampling with resampling picture size indication in video bitstream
US11375238B2 (en) * 2019-09-20 2022-06-28 Tencent America LLC Method for padding processing with sub-region partitions in video stream
CN114503594B (zh) 2019-09-22 2024-04-05 北京字节跳动网络技术有限公司 自适应环路滤波中样点填充的选择性应用
CN117834924A (zh) 2019-09-27 2024-04-05 北京字节跳动网络技术有限公司 不同视频单元之间的自适应环路滤波
EP4029263A4 (en) 2019-10-10 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. FILLING PROCEDURE AT UNAVAILABLE SAMPLING POINTS IN AN ADAPTIVE LOOP FILTERING
WO2021071196A1 (ko) * 2019-10-10 2021-04-15 삼성전자 주식회사 툴 세트를 이용하는 영상 복호화 장치 및 이에 의한 영상 복호화 방법, 및 영상 부호화 장치 및 이에 의한 영상 부호화 방법
US20220400287A1 (en) * 2019-11-15 2022-12-15 Hfi Innovation Inc. Method and Apparatus for Signaling Horizontal Wraparound Motion Compensation in VR360 Video Coding
US20220408114A1 (en) * 2019-11-22 2022-12-22 Sharp Kabushiki Kaisha Systems and methods for signaling tiles and slices in video coding
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
CN111103829A (zh) * 2019-12-11 2020-05-05 旋智电子科技（上海）有限公司 一种电机控制装置和方法
EP4074042A4 (en) * 2019-12-17 2023-01-25 Alibaba Group Holding Limited METHODS OF ACHIEVING MOTION COMPENSATION WITH ENVELOPMENT
US11589037B2 (en) * 2019-12-20 2023-02-21 Qualcomm Incorporated Motion compensation using size of reference picture
WO2021138354A1 (en) * 2019-12-30 2021-07-08 Beijing Dajia Internet Information Technology Co., Ltd. Cross component determination of chroma and luma components of video data
US11445176B2 (en) 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
CN115211107A (zh) * 2020-02-14 2022-10-18 抖音视界有限公司 视频比特流中的子图片索引限制
KR20220160038A (ko) 2020-03-26 2022-12-05 알리바바 그룹 홀딩 리미티드 비디오 코딩 데이터를 시그널링하기 위한 방법들
CN115699755A (zh) * 2020-03-26 2023-02-03 Lg电子株式会社 基于卷绕运动补偿的图像编码/解码方法和装置及存储比特流的记录介质
JP7348411B2 (ja) 2020-03-26 2023-09-20 エルジー エレクトロニクス インコーポレイティド ラップアラウンド動き補償に基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存した記録媒体
JP2023524000A (ja) * 2020-05-19 2023-06-08 グーグル エルエルシー 品質正規化ビデオコード変換のための動的パラメータ選択
US11032546B1 (en) * 2020-07-20 2021-06-08 Tencent America LLC Quantizer for lossless and near-lossless compression
CN114697658A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 编解码方法、电子设备、通信系统以及存储介质
WO2023085181A1 (en) * 2021-11-09 2023-05-19 Sharp Kabushiki Kaisha Systems and methods for signaling downsampling offset information in video coding
JP2024006995A (ja) * 2022-07-05 2024-01-18 シャープ株式会社 動画像復号装置および動画像符号化装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030220971A1 (en) * 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US20060034374A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and device for motion estimation and compensation for panorama image
US20060034529A1 (en) * 2004-08-13 2006-02-16 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
JP4258879B2 (ja) * 1999-03-08 2009-04-30 パナソニック株式会社 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20120307904A1 (en) * 2011-06-04 2012-12-06 Apple Inc. Partial frame utilization in video codecs
US20130094773A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US20140241437A1 (en) * 2013-02-22 2014-08-28 Qualcomm Incorporated Device and method for scalable coding of video information
US20140328398A1 (en) * 2013-05-03 2014-11-06 Qualcomm Incorporated Conditionally invoking a resampling process in shvc
US20140355676A1 (en) * 2013-05-31 2014-12-04 Qualcomm Incorporated Resampling using scaling factor
CN104350745A (zh) * 2012-07-04 2015-02-11 英特尔公司 基于全景的3d视频译码
US20150130894A1 (en) * 2013-11-12 2015-05-14 Fyusion, Inc. Analysis and manipulation of panoramic surround views

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
US9648318B2 (en) * 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
EP2824885B1 (en) * 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US9906804B2 (en) * 2014-01-16 2018-02-27 Qualcomm Incorporated Reference layer sample position derivation for scalable video coding
EP3160141A4 (en) * 2014-06-18 2018-01-17 Samsung Electronics Co., Ltd Inter-layer video encoding method for compensating for luminance difference and device therefor, and video decoding method and device therefor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4258879B2 (ja) * 1999-03-08 2009-04-30 パナソニック株式会社 画像符号化方法とその装置、画像復号化方法とその装置、コンピュータに画像符号化方法および画像復号化方法を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20030220971A1 (en) * 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US20060034374A1 (en) * 2004-08-13 2006-02-16 Gwang-Hoon Park Method and device for motion estimation and compensation for panorama image
US20060034529A1 (en) * 2004-08-13 2006-02-16 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
US20120307904A1 (en) * 2011-06-04 2012-12-06 Apple Inc. Partial frame utilization in video codecs
US20130094773A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
CN104350745A (zh) * 2012-07-04 2015-02-11 英特尔公司 基于全景的3d视频译码
US20140241437A1 (en) * 2013-02-22 2014-08-28 Qualcomm Incorporated Device and method for scalable coding of video information
US20140328398A1 (en) * 2013-05-03 2014-11-06 Qualcomm Incorporated Conditionally invoking a resampling process in shvc
US20140355676A1 (en) * 2013-05-31 2014-12-04 Qualcomm Incorporated Resampling using scaling factor
US20150130894A1 (en) * 2013-11-12 2015-05-14 Fyusion, Inc. Analysis and manipulation of panoramic surround views

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JILL BOYCE等: "Draft high efficiency video coding (HEVC) version 2, combined format range extensions (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions（JCTVC-R1013_v6）", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 1118TH MEETING: SAPPORO, JP, 30 JUNE–9 JULY 2014》 *
LI CHEN等: "Disparity-compensated Inter-layer Motion Prediction Using Standardized HEVC Extensions", 《2015 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS(ISCAS)》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832877A (zh) * 2017-07-10 2020-02-21 高通股份有限公司 用于dash中的鱼眼虚拟实境视频的增强型高阶信号发送
CN112514388A (zh) * 2018-08-08 2021-03-16 富士通株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN111263191A (zh) * 2018-11-30 2020-06-09 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
TWI750560B (zh) * 2019-01-14 2021-12-21 聯發科技股份有限公司 虛擬邊緣的環內濾波的方法和設備
CN109889829B (zh) * 2019-01-23 2022-08-09 北方工业大学 360度视频的快速样点自适应补偿
CN109889829A (zh) * 2019-01-23 2019-06-14 北方工业大学 360度视频的快速样点自适应补偿
CN113994671A (zh) * 2019-06-14 2022-01-28 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
US11831869B2 (en) 2019-07-09 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11800090B2 (en) 2019-08-23 2023-10-24 Beijing Bytedance Network Technology Co., Ltd Clipping in reference picture resampling
US11778175B2 (en) 2019-10-23 2023-10-03 Beijing Bytedance Network Technology Co., Ltd Calculation for multiple coding tools
WO2021078177A1 (en) * 2019-10-23 2021-04-29 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling
US11706409B2 (en) 2019-10-23 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Signaling for reference picture resampling
US20220272324A1 (en) 2019-10-23 2022-08-25 Beijing Bytedance Network Technology Co., Ltd. Signaling for reference picture resampling
CN114731417B (zh) * 2019-11-22 2023-07-14 高通股份有限公司 交叉分量自适应环路滤波器
CN114731417A (zh) * 2019-11-22 2022-07-08 高通股份有限公司 交叉分量自适应环路滤波器
CN111586414B (zh) * 2020-04-07 2022-04-15 南京师范大学 一种基于svc和dash的360°视频流调度方法
CN111586414A (zh) * 2020-04-07 2020-08-25 南京师范大学 一种基于svc和dash的360°视频流调度方法
CN111489383B (zh) * 2020-04-10 2022-06-10 山东师范大学 基于深度边缘点与彩色图像的深度图像上采样方法及系统
CN111489383A (zh) * 2020-04-10 2020-08-04 山东师范大学 基于深度边缘点与彩色图像的深度图像上采样方法及系统
WO2021233403A1 (en) * 2020-05-21 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
US11825124B2 (en) 2020-05-21 2023-11-21 Beijing Bytedancet Network Technology Co., Ltd. Scaling window in video coding

Also Published As

Publication number Publication date
WO2017051072A1 (en) 2017-03-30
US20200154139A1 (en) 2020-05-14
US20210297697A1 (en) 2021-09-23
CN108293136B (zh) 2022-12-30
JP6559337B2 (ja) 2019-08-14
EP3354029A4 (en) 2019-08-21
KR102267922B1 (ko) 2021-06-22
US20170085917A1 (en) 2017-03-23
KR20210077006A (ko) 2021-06-24
EP3354029A1 (en) 2018-08-01
JP2018534827A (ja) 2018-11-22
KR20180056730A (ko) 2018-05-29
KR102432085B1 (ko) 2022-08-11

Similar Documents

Publication Publication Date Title
CN108293136A (zh) 用于编码360度全景视频的方法、装置和计算机程序产品
CN110447226B (zh) 用于对360度视频进行译码的自适应参数
AU2017204240B2 (en) Decoding device and decoding method, and encoding device and encoding method
CN105556965B (zh) 用于视频编码和解码的方法、装置和计算机程序产品
CN108886620A (zh) 用于视频编码和解码的装置、方法及计算机程序
CN104396244B (zh) 用于视频编码和解码的装置、方法和计算机可读存储介质
KR101662963B1 (ko) 3d 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US8532410B2 (en) Multi-view video coding with disparity estimation based on depth information
WO2017158236A2 (en) A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
CN110419219A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN112005551B (zh) 一种视频图像预测方法及装置
CN104604223A (zh) 用于视频编码和解码的装置、方法和计算机程序
US20140009574A1 (en) Apparatus, a method and a computer program for video coding and decoding
CN104604236A (zh) 用于视频编码的方法和装置
CN111491168A (zh) 视频编解码方法、解码器、编码器和相关设备
KR20150139940A (ko) 비디오 인코딩 및 디코딩을 위한 방법 및 기술 장비
CN115243049A (zh) 视频图像解码、编码方法及装置
CN111432219A (zh) 一种帧间预测方法及装置
CN111372086B (zh) 视频图像解码方法及装置
WO2019211514A1 (en) Video encoding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant