CN113302943A - 环绕视图视频编解码 - Google Patents

Abstract

用于环绕视图视频编码的编码和解码方法，其中，物理环境的环绕视图视频数据存储在立方体格式的图像图块中。指定了与捕获时的物理环境的图像的匹配边缘相对应的图像图块的匹配边缘。可选地，指定了上述匹配边缘的方向。在考虑指定的边缘和方向的情况下，例如在H.265中的环路滤波器中跨上述匹配边缘对图像进行处理，以改进图像质量。

Description

环绕视图视频编解码

技术领域

本公开涉及视频编码领域，尤其涉及对物理环境的多个方向的图像进行视频编码和解码，上述图像表示物理环境的环绕视图或360度视图，从而在进行解码和投影时提供虚拟现实或沉浸式视频。本公开还涉及指示捕获的图像的对应边缘以在视频编码或解码期间进行处理，每个捕获的图像与物理环境的特定方向视图对应。

背景技术

联合视频专家小组(joint video experts team，JVET)正在研究360度虚拟现实(virtual reality，VR)视频以及传统2D视频的高效编解码方法。在JVET的背景下，首先将360度VR视频投影成2D视频，然后对该2D视频进行编解码。研究了各种投影方法(包括立方体格式)。

因为立方体格式与其他格式相比较为简单，所以立方体格式是用于存储物理环境视图的常用格式。在立方体贴图格式中，物理环境的六个视图由安装在相对于物理环境的相同位置处的捕获设备捕获。通常，捕获设备位于概念立方体的中心位置。每个视图被捕获为二维图像。如果每个二维图像被赋予垂直于图像表面的单位向量，则沿每个垂直轴都有一个对齐的单位向量，使得存在单位向量x、-x、y、-y、z、-z。物理环境可以是具有捕获设备的任何真实世界三维环境。立方体的面构成多面体网，使得当具有对应的图像信息(例如二维图像)的立方体的面被重新组合时，可以创建当物理环境被捕获时的该物理环境的概念视图。

图1和图2示出了两种常用的立方体贴图格式。图1示出了一种T形立方体格式，其中，一行四个图像的公共末端图像上方有一个图像，该公共末端图像的下方有一个图像。图2示出了所谓的紧凑立方体贴图格式，其中，图像存储在平行的两行中，每行三个图像。在图1和图2中，参照捕获设备在物理环境中的定向，一个图像对应于右视图，一个图像对应于左视图，一个图像对应于顶视图，一个图像对应于底视图，一个图像对应于前视图，一个图像对应于后视图。尽管图像可以以其他非正方形形状捕获并处理以适应立方体贴图，但是通常捕获的图像和立方体贴图中定义的图像的尺寸是相同的，并且是一个规则的正方形。类似地，可以更改立方体贴图的尺寸。

高效视频编码(high efficiency video coding，HEVC)标准是一种已知的视频压缩标准，与诸如AVC等现有标准相比，HEVC提供了显著更高的压缩。HEVC也可以称为H.265。

HEVC标准的概述参见Sullivan等人在IEEE Transactions on Circuits andSystems for Video Technology，Vol.22，No.12，2012年12月12日发表的“Overview ofthe High Efficiency Video Coding(HEVC)Standard”，其内容以引用的方式并入本文。此外，上述发表的内容可以表示本领域技术人员关于HEVC的通用知识。

HEVC标准使用允许将图像划分为矩形相邻区域的网格的图块，如图4所示，图块可以被独立地编码或解码。图块被用于并行处理或感兴趣区域(region of interest，ROI)编解码。每个图块的图像通常是同一场景的二维图像的组成部分。

在H.265中使用的图像参数集中，如图5所示，用图像参数集中的特定语法指定图块，其中，语法元素loop_filter_across_tile_enabled_flag指定是否跨图块边界启用环路滤波。

上述环路滤波是HEVC视频标准中的一个处理步骤，并且用于去块滤波(de-blocking filtering，DBLK)和样本自适应偏移(sample adaptive offset，SAO)滤波，以移除视频编码期间的伪影(例如，块、蚊式(mosquito)、或轮廓)。

图6和图7分别示出了使用环路滤波的H.265的典型编码器和典型解码器。

发明内容

用于视频编码或解码的传统解决方案不能最佳地处理三维视频数据。在传统解决方案中，在假设视频数据是纯二维的并且不是三维视频的相关数据的情况下对视频数据应用任何滤波操作。在该假设下，如图3中的两个相邻边缘所示，图像图块的所有相邻边缘都默认被环路滤波。相反，同样如图3中的两个相邻边缘所示，本公开的实施例指定环路滤波应该跨指定边缘执行。在其他实施例中，可以指定上述指定边缘。在其他实施例中，可以提供上述指定边缘的方向指示。对于上述指定边缘，可以是相邻边缘也可以是不相邻边缘，或者是相邻边缘和不相邻边缘的混合。因此，本公开提供了一种适用于对三维360度视频数据进行编解码的改进的编解码器。

本公开的实施例提供了用于对物理环境的图像进行编码和/或解码的方法、装置、图像格式、以及计算机程序，其中，可以指示图像或其部分的至少两个对应边缘以在视频编码或解码期间进行处理。一些实施例还可以指示每个对应边缘的方向，使得在已知图像相对于物理环境的方向的情况下执行上述处理。

在本文中，“和/或”指示每个选项独立或两者一起的三种可能性。

尽管在H.265的背景下讨论了本公开的方法，但是上述方法可以容易地适用于其他编解码标准(例如，通用视频编码或AV1的扩展等)。

根据一个方面，本公开提供了一种由编码器执行的用于环绕视图编码的编码方法，包括：

-获得与环绕视图视频数据对应的数据，其中，环绕视图视频数据包括物理环境的多个二维图像，每个二维图像通过环绕视图到二维投影格式的图像图块存储；

-接收跨边缘滤波器投影格式指示，该跨边缘滤波器投影格式指示用于：

指示环绕视图视频数据为环绕视图到二维投影格式，

以及

指示在滤波操作中是否跨图像图块的指定边缘应用滤波器；

-根据上述跨边缘滤波器投影格式指示，确定是否跨图像图块的指定边缘执行滤波操作。

环绕视图编码可以指物理环境的多方面的编码。环绕视图编码也可以指沉浸式视频编码或360度视频编码。环绕视图编码的目的是在对应的视频捕获设备处捕获物理环境的视图，使得在观看时，人类观看者感觉到身临其境。上述观看可能是在虚拟现实应用中。

物理环境可以与当图像被捕获时在捕获位置处相对于视频捕获设备的真实世界环境对应。这可能是视频捕获设备周围的物理环境。可以在视频捕获设备或其相机旋转到不同方向的同时捕获图像。由捕获的二维图像表示的视图优选地包括相对于视频捕获设备的前、后、左、右、顶、以及底方向的视图，尽管不一定存在所有这些方向的视图(例如，如果预期的是局部环绕视图)。也不一定存在每个视图的单独的二维图像。二维图像的对应于特定视图的部分可以在较大图像(例如，全景图像)内标识。每个视图可以映射到不同的图像图块。上述多个图像还可能是当视频捕获设备在物理环境内移动时物理环境的不同角度的图像，而不是捕获关于视频捕获设备的固定位置的视图。

编码器可以由合适的专用硬件(例如，可以访问存储器的编码芯片上的处理器)提供，或者可以在提供对应功能的软件模块中实现，或是硬件和软件的混合。编码器可以具有用于接收数据和输出编码数据(例如，作为比特流)的输入和输出。尽管本领域技术人员将认识到这不是限制性的，但是优选地，编码器用于根据H.265标准进行编码。

数据可以通过作为环绕视图视频数据或其表示来与环绕视图视频数据对应。

环绕视图到二维投影格式可以包括能够在图像图块中存储二维图像的任何格式，每个二维图像与物理环境中的特定方向相关。上述边缘可以包括只存储属于同一图像集合的图像(即，那些与相对于捕获设备的同一物理环境相关的图像)的图块的边缘。该集合可以是包含前视图、后视图、左视图、右视图、顶视图、以及底视图的集合。

每个二维图像可以具有关于其对应视图的数据。数据可以包括方向。数据还可以是像素的数量、图像的尺寸、颜色深度、压缩格式(如果有的话)等，如本领域技术人员已知的，上述数据用于存储图像。

尽管本领域技术人员将认识到可以使用其他投影格式，但是优选地，如在背景技术中所讨论的，上述环绕视图到二维投影格式是立方体格式。优选地，上述图像图块是例如在背景技术中参照H.265所讨论的阵列中的图像图块。图像图块可以满足HEVC规范中的图块的定义，该定义是：在图像中的特定图块列和特定图块行内的编码树块的矩形区域。图块的尺寸和维度可以是统一的，即规则的。然而，图像图块可以包括存储图像的其他方式。

可以以各种方式(例如，在字段中、标志中、或其他方式)提供跨边缘滤波器投影格式指示。该投影格式指示可以包括组合的指示或单独的指示，例如，环绕视图视频数据为环绕视图到二维投影格式的指示，以及另一指示(例如，在滤波操作中跨参照一种环绕视图到二维投影格式的图像图块的边缘应用滤波器的指示)。优选地，跨边缘滤波器投影格式指示是H.265的图像参数集中的标志。

通过指示环绕视图视频数据为环绕视图到二维投影格式，编码器被告知该数据代表三维信息，并且因此触发进一步的处理或动作。

通过指示是否要在滤波操作中跨图像图块的指定边缘应用滤波器，编码器被告知要执行进一步的处理操作。滤波器可以是环路滤波器，例如H.265中的环内滤波器，或者后滤波器。上述多个指定边缘可以是与图像图块的对应边缘匹配的大于2的任何数量的边缘。

可以以各种方式指定上述指定边缘，不一定要通过跨边缘滤波器投影格式指定。通过指定两个对应的边缘，使两个图像的进一步处理更加精确。环路滤波器等操作可以跨指定边缘执行，从而减少编码伪影。在本文中，伪影可以是图像中的对象(特别是在边缘边界区域中靠近边缘的对象)的不连续。

因此可以看出，在接收到指示以执行视频处理(例如，跨存储在三维视频数据的二维投影格式的图块中的图像的指定边缘进行滤波)时，编码器或解码器能够跨指定边缘执行滤波。除了指定边缘以及跨这些指定边缘进行滤波之外，其他操作相比于传统解决方案可能不变。

上述滤波可以根据配置信息进行，其中，该配置信息指定上述指定边缘是二维投影格式的匹配边缘。编码器从配置信息获得图块的相对位置和相对定向，这相应地保持图像的相对位置和相对定向。这样的参考帧可以与当图块被标称投影以从三维视频数据形成三维视图(即，图块被组装成一种结构，其中，每个图像分别与从捕获位置向外观看物理环境的原始视图对应)时获得的参考帧对应。

在可能的设计中，上述编码方法还包括跨图像图块的指定边缘执行滤波操作。

与传统解决方案相比，滤波操作是跨指定边缘执行的，而不是跨所有边界(未指定)进行滤波。通常，在H.265中，对于与三维视频数据不对应的传统二维图像数据，在相邻的图像图块的所有边缘上执行滤波。

在可能的设计中，上述编码方法还包括不跨图像图块的指定边缘执行滤波操作。

根据可用的资源和配置，编码器可能决定不执行滤波操作。

是否执行滤波操作基于使用跨边缘滤波器投影格式指示的确定结果。

在可能的设计中，其中，在上述编码方法中，图像图块的指定边缘根据边缘信息确定，

其中，根据环绕视图到二维投影格式的特定类型在编码器预置边缘信息，该格式可以由跨边缘滤波投影格式指示指示，

或者

其中，从环绕视图到二维投影格式转换的过程中获得边缘信息，

或者

其中，在输入比特流中向编码器提供边缘信息。

可以以各种方式指定图像图块的指定边缘，例如，通过根据环绕视图到二维投影格式的类型在编码器预先配置，单独指示，或在提供给编码器的数据中指定。也可以使用指示或标志。

在可能的设计中，其中，在上述编码方法中，上述边缘信息包括一个或多个匹配边缘对信息，该匹配边缘对信息指示图像图块的特定边缘，该匹配边缘对信息例如从环绕视图视频数据的捕获中提供，其中，在每个匹配边缘对信息中，图像图块的指定边缘与捕获时的二维图像的两个相邻边缘对应。

例如，在立方体贴图格式中，立方体的前图像图块的一个边缘将与立方体的底图像图块对应。可以根据使用的格式导出其他对应的边缘。

上述匹配边缘对信息提供了标识形成匹配对的两个边缘的方法。匹配对与当由捕获设备捕获时图像的两个相邻边缘对应。这样，上述边缘被编码器清楚地标识。匹配边缘对信息还可以考虑图像或图像图块的任何旋转。

在可能的设计中，上述边缘信息还包括与每个匹配边缘对信息对应的一组方向指示，每个方向指示可以包括两个方向指示符，每个方向指示符与两个二维图像中的方向对应，该方向在捕获时是平行的，该方向指示例如从环绕视图视频数据的捕获提供，

其中，上述方法还包括根据方向指示符，跨图块的指定边缘执行滤波操作。

通过提供方向指示符，不仅标识了指定边缘，而且还保持了当捕获时图像的边缘的相对方向。因此，当处理时，每个图像图块的指定边缘可以是平行的。匹配边缘对信息还可以考虑图像或图像图块的任何旋转。提供方向指示符还改进了进一步的处理(例如，图像的滤波)，并且因此还减少了编码伪影。

在可能的设计中，跨图像图块的指定边缘执行滤波操作包括跨图像图块的指定边缘执行滤波操作；并且还包括执行以下中的一项或两项：

跨在存储布局中相邻的图像图块的边缘执行滤波操作，和/或不跨与另一图块的边缘共享的图像图块的边缘执行滤波操作。

该设计根据使用的存储布局的类型以及捕获的图像在存储布局中的相对位置来固有地确定进行滤波操作或不进行滤波操作的边缘，该存储布局是编解码器和捕获设备之间共享或预置的信息。

上述存储布局可以指图像存储布局格式，例如，图1和图2所示的立方体贴图。通过跨在图像存储布局格式中相邻的图块执行滤波操作，不需要单独指定边缘，而是由使用的图像存储布局格式固有地提供这些边缘。当在存储格式中相邻地存储的这些图像在捕获时也是相邻图像时，可能会出现上述情况。此外，在特定存储格式中，例如，图1的T形立方体贴图中，特定图块不包含图像数据，因此在与不包含图像数据或包含与另一物理环境(例如，不同相机位置)相关的图像数据的图块共享的图像图块边缘上，不执行滤波操作。特定图块可以是灰色图块。

在可能的设计中，上述滤波操作是环路滤波器操作，并且滤波器是环路滤波器。

优选地，上述滤波操作是基于H.265标准并与之兼容的环路滤波操作。优选地，上述环路滤波器是基于H.265标准并与之兼容的环路滤波器。滤波操作可以包括使用去块滤波器和样本自适应滤波器操作的环内滤波操作。或者，可以使用后滤波。优选地，由于运动补偿过程，伪影可能传播到图块边界以外的区域，所以使用环内滤波。

在可能的设计中，跨边缘滤波器投影格式指示是标志，其中，该标志的值指示是否要应用滤波器。

上述跨边缘滤波器投影格式指示可以采取例如在PPS中的标志的形式。该标志可以具有任何合适的名称。该标志可以具有值。例如，该标志的值可以等于1，参考PPS，这可以指示可以跨图像中的图块边界执行环内滤波操作。如果该标志的值等于0，参考PPS，这可以指示不跨图像中的图块边界执行环内滤波操作。当不存在时，loop_filter_across_tiles_enabled_flag的值可能被推断为等于1。

在可能的设计中，上述标志是例如在H.265视频编码的图像参数集中的loop_filter_across_tiles_cube_projection_flag。该标志可以指示使用了立方体贴图并且滤波用于指定边缘。该标志和前述标志可以组合或单独使用。

在可能的设计中，上述滤波操作是后滤波操作，并且上述跨边缘滤波器投影格式优选地作为补充增强信息(supplemental enhancement information，SEI)在元数据中传输。这可以基于H.265标准并与之兼容。

在可能的设计中，上述环绕视图到二维投影格式具有用于图块的存储布局并且基于柏拉图立体(platonic solid)，并且优选地，该环绕视图到二维投影格式是立方体格式或紧凑立方体格式。

柏拉图立体是规则的凸多面体。柏拉图立体可以适合作为投影格式。有些柏拉图立体比其他的柏拉图立体更合适。该多面体的每个组成部分多边形可以与图像的存储对应。上述存储布局可以包括上述组成部分多边形，以及关于组成部分多边形如何排列和/或连接的信息。

如背景技术中所讨论的，立方体贴图包括六个图块。在T形格式中，只有形成T的图块包含相关数据，即，构成在视频捕获设备的特定位置和定向处的特定物理环境的环绕视图视频数据的图像。环绕T形图块的其他环绕图块可能不包含相关数据，因此是灰色图块。此外，立方体贴图不限于T形，例如，立方体贴图可以是十字形。

可以根据环绕视频数据的内容、根据设备配置或预置、或根据与预先存在的(即，传统的)实施方式的兼容性来确定是否使用立方体贴图格式或紧凑立方体贴图格式。不同投影格式的编解码效率取决于内容。

对于立方体贴图，可能只有包括T形的图块的外部边缘属于上述指定边缘。换言之，包括T形的图块之间的内部边缘可以不是指定边缘。然而，根据布局，包括紧凑立方体贴图的图块的外部边缘和内部边缘都可以是指定边缘。一些内部边缘可能不被指定。

对于紧凑立方体贴图，可能只有构成紧凑立方体贴图的图块的外部边缘属于指定边缘。根据布局，包括紧凑立方体贴图的图块的外部边缘和内部边缘都可以是指定边缘。一些内部边缘可能不被指定。

在可能的设计中，环绕视图到二维投影格式的每个图像图块与三维组合对象的每个面一一对应，该三维组合对象是立方体，

其中，对于立方体贴图表示，有六个图像图块，包括：

与前方向对应的第一图像图块；

与后方向对应的第二图像图块；

与顶方向对应的第三图像图块；

与底方向对应的第四图像图块；

与左方向对应的第五图像图块；以及

与右方向对应的第六图像图块；

参照立方体

其中，图像图块的指定边缘包括以下中的至少一个或多个：

第一对指定边缘为第一图像图块的边缘和第五图像图块的边缘；

第二对指定边缘为第二图像图块的边缘和第五图像图块的边缘；

第三对指定边缘为第三图像图块的边缘和第五图像图块的边缘；

第四对指定边缘为第一图像图块的边缘和第六图像图块的边缘；

第五对指定边缘为第二图像图块的边缘和第六图像图块的边缘；

第六对指定边缘为第三图像图块的边缘和第六图像图块的边缘；以及

第七对指定边缘为第二图像图块的边缘和第四图像图块的边缘；

其中，对于紧凑立方体贴图表示，在可以由2行乘3列的图块网格表示的存储布局中，有六个图像图块，包括：

在第一行第一列中的第一图像图块；

在第一行第二列中的第二图像图块；

在第一行第三列中的第三图像图块；

在第二行第一列中的第四图像图块；

在第二行第二列中的第五图像图块；以及

在第二行第三列中的第六图像图块，

其中，图像图块的指定边缘包括以下中的一个或多个：

第一对指定边缘为第一图像图块的边缘和第五图像图块的边缘；

第二对指定边缘为第二图像图块的边缘和第四图像图块的边缘；

第三对指定边缘为第一图像图块的边缘和第六图像图块的边缘；

第四对指定边缘为第一图像图块的边缘和第四图像图块的边缘；

第五对指定边缘为第三图像图块的边缘和第四图像图块的边缘；

第六对指定边缘为第二图像图块的边缘和第六图像图块的边缘；

第七对指定边缘为第三图像图块的边缘和第五图像图块的边缘；以及

第八对指定边缘为第三图像图块的边缘和第六图像图块的边缘。

对于紧凑立方体贴图，有八对边缘。对于立方体贴图，有7对边缘。本领域技术人员将理解，可以调整边缘、图块、以及方向的编号和标签以匹配实际情况。匹配的边缘是互斥的，即，一个匹配对只能与来自一个图块的一个唯一的边缘和来自另一图块的另一个唯一的边缘对应。通过匹配指定的图块的边缘，可以跨指定边缘执行滤波器操作，从而整体上减少编码伪影。

无需指定所有的边缘对和方向。通过仅一对就可以减少编码伪影。通过逐步增加指定的边缘对，可以对应地减少跨指定边缘或指定边缘附近的编码伪影。

在使用紧凑立方体格式的可能设计中，图像图块的指定边缘由向量标识，其中，x-y轴坐标系适用于紧凑立方体贴图，x-y轴坐标系的单位向量与图块的网格对齐，并且一个单位向量与一个图块的边缘对应，原点在使得在y正轴上有两个图像图块、在x正轴上有三个图像图块的位置，并且图像图块的指定边缘是以下中的一个或多个：

第一对指定边缘在向量(0-0，2-1)和(2-1，0-0)之间；

第二对指定边缘在向量(0-0，1-0)和(2-1，1-1)之间；

第三对指定边缘在向量(1-0，2-2)和(3-2，0-0)之间；

第四对指定边缘在向量(1-0，1-1)和(0-1，0-0)之间；

第五对指定边缘在向量(1-0，1-1)和(3-2，1-1)之间；

第六对指定边缘在向量(2-1，2-2)和(3-3，0-1)之间；

第七对指定边缘在向量(2-1，1-1)和(3-3，2-1)之间；以及

第八对指定边缘在向量(3-2，2-2)和(2-3，1-1)之间。

这些向量可以包括方向指示符。

在使用立方体贴图格式的可能设计中，图像图块的指定边缘由向量标识，其中，x-y轴坐标系适用于立方体贴图，x-y轴坐标系的单位向量与图块的网格对齐，并且一个单位向量与一个图块的边缘对应，原点在使得在y正轴上有三个图像图块、在x正轴上有四个图像图块的位置，并且图像图块的指定边缘是以下中的一个或多个：

第一对指定边缘在向量(1-1，3-2)和(2-1，2-2)之间；

第二对指定边缘在向量(1-1，0-1)和(2-1，1-1)之间；

第三对指定边缘在向量(0-1，3-3)和(3-2，2-2)之间；

第四对指定边缘在向量(0-1，0-0)和(3-2，1-1)之间；

第五对指定边缘在向量(0-0，2-3)和(4-3，2-2)之间；

第六对指定边缘在向量(0-0，1-0)和(4-3，1-1)之间；以及

第七对指定边缘在向量(0-0，1-2)和(4-4，1-2)之间。

这些向量可以包括方向指示符。

应理解，可以不提供实际的x轴或y轴。

在上述编码方法的可能设计中，上述环绕视图到二维投影格式的每个图像图块表示三维组合对象的一个面，在该组合对象中共享公共边界的任何图像图块的每个边缘由对应的参考组合对象的坐标系的相应图块边缘向量来描述，并且在该组合对象中，共享公共边界的图像图块的边缘具有平行的图块边缘向量。

可选地，在存储布局中相邻的图块的边缘可以不具有相应的图块边缘向量。当存储布局中的那些相邻图像图块中的图像已经是相邻图像时，可能会出现上述情况。

公共边界可以指示与另一边缘相邻的边缘。图块边缘向量可以指定形成匹配对的边缘和边缘的方向。

通过具有平行的图块边缘向量，图像图块应当在组合对象中以其正确的定向布置，即，图块各自的图像应当与在捕获位置处捕获时的定向相同。

在上述编码方法的可能设计中，存储布局包括图像图块的T形多边形网，其中，在存储布局中，图像图块的一些边缘与其他图块相邻，并且执行上述滤波操作包括不跨与其他图块相邻的图块的边缘执行滤波操作。

在该可能的设计中，多边形网是连通的网，即，一些边缘相邻或被配置为相邻。然而，因为图像图块的特定布局可以以各种方式存储，所以这不是必需的。在本公开中，图像图块(或其表示)可以简单地指示为相邻，并且因此以任何合适的顺序存储。

其他图块可能是不需要被滤波的图块。这些图块可以存储相关数据(例如，不是图像数据，或者是其他物理环境的图像数据)。因此，跨图像图块和其他图块之间共享的相邻边缘进行滤波可能没用。在这种情况下，不进行滤波可以避免浪费处理资源，并且避免引入伪影。通常，如果例如通过标志loop_filter_tile_boundary_enabled_flag＝1指示了应该跨图块边界执行滤波，则应该跨在布局中相邻并且在捕获时相邻的图块的对应边缘执行滤波。参考图1，这将意味着应当跨前图块和左图块之间的相邻边缘进行滤波。在这种情况下，这两个图块都不是其他图块。

根据一个方面，本公开提供了一种由解码器执行的用于环绕视图视频解码的解码方法，包括：

-获得与环绕视图视频数据对应的数据，其中，环绕视图视频数据包括物理环境的多个二维图像，每个二维图像通过环绕视图到二维投影格式的图像图块存储；

-接收跨边缘滤波器投影格式指示，该跨边缘滤波器投影格式指示用于：

指示环绕视图视频数据为环绕视图到二维投影格式，

以及

指示在滤波操作中是否跨图像图块的指定边缘应用滤波器；

-根据跨边缘滤波器投影格式指示，确定是否跨图像图块的指定边缘执行滤波操作。

上述解码方法还可以适于执行如本文参考编码方法所公开的任何可能设计。

根据一个方面，本公开提供了一种用于环绕视图视频编码的图像处理设备，包括环路滤波器模块，该环路滤波器模块用于执行如本文所公开的方法。

上述图像处理设备可以是硬件或软件形式的编码器。上述编码器包括环路滤波器模块。

根据一个方面，本公开提供了一种用于环绕视图视频解码的图像处理设备，包括环路滤波器模块，该环路滤波器模块用于执行如本文所公开的方法。

上述图像处理设备可以是硬件或软件形式的解码器。上述解码器包括环路滤波器模块。

根据一个方面，本公开提供了一种视频捕获装置，包括：

-一个或多个相机，用于捕获物理环境的多个二维图像，上述相机或每个相机在相机的参考帧内定向，使得多个二维图像形成相机周围的物理环境的环绕视图；

-三维到二维投影转换模块，用于将二维图像以三维到二维投影格式进行转换/存储；以及

-定向记录模块，用于针对沿公共边缘互相邻的至少两个二维图像记录每个二维图像的方向指示。

上述视频捕获装置可以记录与关于相机位置的特定方向对应的图像。可以使用一个以上的相机，但这些相机基本上安装在同一位置，从而可以同时捕获形成环绕视图的图像。相机可以指示能够捕获图像(例如，数字图像)的任何装置。上述视频捕获装置可以是360度相机。

上述方向指示可以是参照相机位置周围的物理环境的定向。或者，该方向指示可以指示公共边缘的方向。

在可能的设计中，本公开提供了：上述视频捕获装置还包括如本文所公开的用于编码的图像处理设备。

在可能的设计中，本公开提供了一种用于观看环绕视图视频的观看器装置，该观看器装置还包括如本文所公开的用于解码的图像处理设备。

根据一个方面，本公开提供了一种映射用于物理环境的环绕视图表示的图像的方法，包括：

-从捕获设备获得物理环境的至少六个图像，每个图像与物理环境沿相对于捕获设备的坐标轴方向的透视图对应，其中，上述图像映射到组合对象的面，该组合对象的面是物理环境的二维投影，

-以与组合对象对应的二维阵列格式存储两个图像，包括：

将每个图像存储在图像图块中，以及

分配唯一地标识边缘的标识符以及所述图像图块相对于捕获设备的坐标轴的定向的方向。

上述物理环境的图像可以是最初捕获的图像，或者是从另一图像获得的图像。

上述获得可以包括映射。

上述组合对象可以是如本文所公开的组合对象。优选地，在该组合对象中，六个面中的两个面沿公共边缘彼此相邻，六个图像中的两个图像也跨该公共边缘彼此相邻并在同一方向上定向。

可以标识所有边缘和方向或仅一些边缘和方向。至少标识两个边缘，每个边缘具有方向。对于立方体贴图，可以标识十四个边缘和方向。对于紧凑立方体贴图，可以标识16个边缘和方向。

在从图像解码环绕视图表示(反之亦然)的过程中，将标识符和定向的方向作为输入，以确保只跨相对于捕获位置处记录的图像处于同一位置和定向的图像图块的边缘执行滤波。

存储的图像可以用于解码和解码以及进行环路滤波。

在上述映射图像方法的可能设计中，二维阵列格式是立方体格式或紧凑立方体格式。

在上述映射图像方法的可能设计中，对于上述二维阵列格式中共享公共边界的每个图像，上述存储包括不为每个公共边界的边缘分配标识符和方向。

如果上述图像按已知的方式以二维阵列格式存储，可以不指定某些边缘的标识符和方向，这是因为这些边缘可能已经相邻并且处于正确的相对定向，所以可以跨这些边缘执行滤波。或者，可以不指定图像图块的公共边界，其中，这样的图像图块不应该跨上述公共边界进行滤波。

根据一个方面，本公开提供了一种用于虚拟现实视频编码或解码的沉浸式视频记录格式，包括：

用于物理环境的投影格式，其中，该投影格式用于存储二维图像，每个二维图像与物理环境的相应图像捕获视图对应，上述二维图像用于沿二维图像的边缘拼接在一起以形成与物理环境的多方向表示对应的组合对象，

以及

边缘段指示信息，包括：

要拼接在一起的两个边缘的标识符；以及

与上述要拼接在一起的两个边缘的标识符对应的要拼接在一起的两个边缘中的每一个的方向的指示，方向的指示表示与物理环境坐标轴对应的每个二维图像中的坐标轴方向。

图像捕获视图可以是来自捕获设备在物理环境的一个方向上的视图。可能会捕获许多图像。每个图像被映射到二维图像。优选地，这些图像不重叠。

上述组合对象是一个对象(例如，多面体)，该多面体由多个组成部分组成，当这些组成部分组合在一起时就形成了上述对象。上述组成部分可以是正多边形。通过组合对象的每个面经由其相应的表面向量与相对于捕获设备的对应方向对应，该组合对象可以与多方向表示对应。为了简单起见，可以使用立方体贴图，使得该组合对象是立方体。

在编码或解码中可以以各种方式执行上述拼接，并且上述拼接可以意味着上述边缘是应该相邻的边缘(这些边缘在捕获时是相邻的)。上述拼接可以意味着当相邻时，不存在观看者能够感知到的间隙。

上述标识符可以经由映射指示上述两个边缘。可以使用多个标识符。上述方向的指示与上述标识符对应，使得该方向的指示以及该标识符用于标识的边缘。

如在背景技术的示例中所讨论的，为六个面提供向量x、-x、y、-y、z、以及-z，其中，存在相互垂直的向量的基准集。可以相对于这些向量来表述每个物理环境坐标轴方向。例如，对于具有前方向的图像，该前方向可以与物理环境坐标轴x对应。因此，前方向的图像垂直于x轴，并且具有平行于x轴的单位表面向量x。在该图像中，可以存在垂直于单位表面向量x的y轴和z轴，并且每个轴分别与图像的边缘平行对齐。沿这些轴中任一个轴的向量包括二维图像中的坐标轴方向。

在上述沉浸式视频格式的可能设计中，对于要拼接在一起以形成组合对象的边缘中的每一个，上述边缘段指示信息还包括：要拼接在一起的两个边缘的标识符，以及要拼接在一起的两个边缘中的每一个的方向的对应指示。

可以使用一个以上的标识符。每个要进行滤波的边缘(可以变化)可以具有该边缘自己的标识符。对应边缘可以经由这些边缘各自的标识符彼此映射。因此，在最小情况下，有两个边缘要进行滤波时，可以有两个标识符。

在上述沉浸式视频格式的可能设计中，上述组合对象包括柏拉图立体，并且优选地包括一种立方体贴图表示，该立方体贴图表示包括六个图块，每个图块用于存储相应的二维图像，其中，要拼接在一起以形成组合对象的边缘与立方体贴图表示中的每个图块的非连接边缘对应。

非连接边缘可以是每个二维图像的在组合对象中预期相邻的边缘。这些边缘可以是与一个物理环境的一组图像中的每个二维图像的另一边缘不相邻的边缘。因为默认可以跨连接边缘进行滤波，所以可以标识这些连接边缘，也可以不标识这些连接边缘。然而，如果二维图像已经旋转或者图像在存储格式中相对于彼此的位置是非标准的，则可以指定这些连接边缘。例如，如果在存储格式布局中，后方向图像与前方向图像相邻，那么在这种情况下，不应该跨该连接边缘进行滤波，因为该连接边缘在组合对象中不相邻。

在上述沉浸式视频格式的可能设计中，上述立方体贴图表示的类型包括立方体贴图表示或紧凑立方体贴图表示，其中，上述六个图块布置在网格中。

立方体贴图使处理变得容易，并且易于与H.265的图块兼容。

根据一个方面，本公开提供了一种物理环境的三维表示的图像数据格式，该图像数据格式用于图像或视频处理，包括：

多边形信息和匹配边缘对信息，

多边形信息表示包括至少第一多边形和第二多边形的多个多边形，每个多边形具有边缘部分，

每个多边形用于存储各自表示物理环境的视图的相应图像，其中，该多边形是具有面的多面体的组成部分，其中，每个面分别与物理环境的三维表示的视图对应，

其中，在多面体中，第一多边形的边缘的第一边缘部分和第二多边形的边缘的第二边缘部分相邻并且根据边缘部分的方向的指示定向对齐，从而形成匹配边缘对，

其中，第一边缘部分和第二边缘部分与第一多边形和第二多边形中的每一个的相应图像的相邻部分对应，

其中，对于每个匹配边缘对，匹配边缘对信息包括：

边缘部分的指示，包括形成相应的匹配边缘对的边缘部分中的每一个的指示，以及

边缘部分的方向的指示，包括形成相应的匹配边缘对的边缘部分中的每一个的方向的指示。

每个多边形可以是正方形，使得当组装时，得到的多面体是一个立方体(如在立方体贴图中)。

每个多边形将具有沿多边形的边缘的边缘部分。该边缘部分可以是整个边缘或边缘的一部分。当进行处理时，因为边缘部分的长度可能与要跨边缘进行环路滤波的图像的长度对应，所以指定部分可能需要的处理功率更少。

匹配边缘对与多面体中相邻且对齐的多边形对应。例如，在立方体贴图中，前方向图像应该与左方向图像相邻。前方向图像和左方向图像沿一个边缘相邻，当图像被捕获时，该边缘可以由同一向量描述。该向量在存储布局中可以不是同一向量(例如，可以变成两个不同的向量)。

如本文所公开的图像格式可以用于如本文所公开的编码方法和解码方法。

在上述图像格式的可能设计中，多边形的边缘部分的方向的指示与该多边形的相应图像的坐标轴方向对应，使得当边缘部分形成匹配边缘对时，边缘部分的方向的指示与多边形的相应图像的对应的坐标轴方向共平行。

在上述图像格式的可能设计中，对于匹配边缘对信息中包括的每个边缘部分的指示和边缘部分的方向的指示，边缘部分的指示和方向的指示包括向量表示。

在上述图像格式的可能设计中，每个边缘部分沿该边缘部分的相应多边形的边缘延伸，该边缘部分终止于或接近于每个多边形的顶点。

上述边缘部分可以与应该跨其执行处理的图像中的长度对应。

在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示例。例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元或组件可以结合或者可以集成到另一个系统，或者，可以忽略或不执行一些特征。此外，所显示或讨论的相互耦合或直接耦合或通信连接可以是通过一些接口、装置、以及单元的间接耦合或通信连接，或者可以以电子、机械、或其他形式实现。

描述为分离部件的单元可以是物理分离的，也可以不是物理分离的，并且显示为单元的部件可以是物理单元，也可以不是物理单元，可以位于一个位置，或者可以是分布的。可以根据实际需求选择部分或全部单元，以实现实施例的解决方案的目标。

此外，本发明实施例中的功能单元可以集成到一个处理单元中，或者每个单元可以物理上单独存在，或者两个或多于两个单元可以集成到一个单元中。集成单元可以以硬件的形式实现，或者除了软件功能单元之外，还可以以硬件的形式实现。

当前述集成单元以软件功能单元的形式实现时，集成单元可以存储在计算机可读存储介质中。软件功能单元存储在存储介质中，并且包括用于指示计算机设备(其可以是个人计算机、服务器、网络设备等)或处理器执行本发明实施例中描述的方法的一些步骤的若干指令。前述存储介质包括可以存储程序代码的任何介质，例如USB闪存驱动器、可移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁盘、或光盘。

本领域技术人员可以清楚地理解，为了方便和简要描述的目的，将前述功能模块的划分作为示例。在实际应用中，上述功能可以分配给不同的功能模块，并根据需要实现，即，将设备的内部结构划分为不同的功能模块，以实现全部或部分上述功能。前述装置的详细工作过程参见前述方法实施例中的对应过程，不再赘述。

最后，应注意，前述实施例仅旨在描述本发明的技术方案，而不是限制本发明。尽管参照前述实施例详细描述了本发明，但本领域普通技术人员应当理解，在不脱离本发明实施例的技术方案的范围的情况下，本领域普通技术人员仍然可以对前述实施例中描述的技术方案进行修改或对其部分或全部技术特征进行等价替换。

与现有技术相比，在本公开提供的解决方案中，可以在考虑当捕获时图像的相对位置的情况下对图像数据执行视频处理操作以用于环绕视图视频编码。通过提供标识匹配边缘和可选地标识这些边缘各自方向的方法，在环路滤波期间改善了编码伪影等。

附图说明

图1是物理环境的六个图像如何与T形立方体贴图格式表示对应以存储物理(3D)环境的二维图像的图示；

图2是用于存储物理(3D)环境的二维图像的紧凑立方体贴图格式表示以及物理环境的两个全景图像的图示；

图3是示出与根据本公开指定的两个边缘相比，根据常规解决方案进行滤波的两个边缘的立方体贴图表示；

图4是H.265视频编码标准中使用的图块格式的图示；

图5是如H.265视频编码标准中使用的示出各个标志的图像参数集语法的摘录；

图6是使用环路滤波的H.265的典型编码器；

图7是使用环路滤波的H.265的典型解码器；

图8a是可以根据本公开指定的T形立方体贴图格式表示中的边缘的图示；

图8b是可以根据本公开指定的紧凑立方体贴图格式表示中的边缘的图示；

图9a至图9g是图8a中所示边缘的方向指示符的图示；

图10a至图10h是图8b中所示边缘的方向指示符的图示；

图11是图10a至图10h中所示的所有边缘和方向指示符的表示；

图12是根据本公开的第一编码方法的流程图；

图13是根据本公开的第二编码方法的流程图；

图14是根据本公开的第一解码方法的流程图；

图15是根据本公开的第二解码方法的流程图；以及

图16是可以根据本公开的上述方法改善编码伪影的图示。

具体实施方式

为了使本发明实施例的目的、技术方案、以及优点更加清晰，下面参照本发明实施例中的附图，对本发明实施例中的技术方案进行清晰完整的描述。应理解，所描述的实施例是本发明的一些实施例但不是全部实施例。本领域普通技术人员在无需创造性努力的情况下基于本发明实施例获得的所有其他实施例都应落入本发明的保护范围内。

图1的左边是在立方体中心的球体，代表周围环境。视频捕获设备(未示出)可以位于立方体的中心。如在背景技术中所讨论的，立方体的每个正方形面与坐标方向对应。

图1的中间是从立方体展开成由连接的正方形组成的多面体网的T形立方体贴图表示100。如图3和图8a中的阴影线所示，在立方体贴图表示中，可能有其他相邻的图块。灰色阴影图块可以是其中所有像素都是灰色的图块。这些图块不显示，但是被用于编解码。在图1的右下部分是相同的T形立方体贴图表示，但是根据图像的相应方向标记了相应的图块，相应的图块保存在典型的布局方案中。其他布局也是可能的，即，在该T形立方体贴图布局中的图块可以用与不同方向的图像分别对应的这些不同方向来标记。

图1的右边是图像，这些图像可以通过T形立方体贴图表示存储。一个图像对应于右视图，一个图像对应于左视图，一个图像对应于顶视图，一个图像对应于底视图，一个图像对应于前视图，一个图像对应于后视图。如图1的右上部分和图2的上方部分所示，可以捕获图像作为给出完整的环绕视图的摇摄全景图，并且在捕获的图像中标识相应的视图并映射到对应的立方体贴图正方形。

图2的下面部分示出了其他立方体贴图，称为紧凑立方体贴图200。因为没有使用立方体贴图的灰色图块(图8a)，所以紧凑立方体贴图需要传输的数据更少。为了清楚起见，本文的紧凑立方体贴图示为独立的两行1x3图像图块，在内容方面与图1的立方体贴图类似。

图3示出了本公开与传统解决方案相比的差异。在传统解决方案中，环路滤波被应用于边缘B和边缘C之间，即，存储图像的图像图块和不存储图像的灰色图块之间。因此，由于灰色图块可能不携带对环路滤波有用的数据，因此该环路滤波操作是无益的。根据本公开，可以在作为指定边缘的边缘A和边缘C之间应用环路滤波。这些指定的边缘形成匹配对。

图4示出了一个2x2图像图块阵列，如在H.265标准中使用的，通过“TILE#数字”格式标记图像图块，以唯一标识每个图像图块。在本公开中，二维图像可以存储在这样的图像图块或其他几何形状的图块(例如，正方形图像图块)中。在实践中，可以使用6x6阵列。

图5示出了用于编码/解码指令的图像参数集(picture parameter set，PPS)语法的摘录。在这些参数中，存在参数tiles_enabled_flag和loop_filter_across_tiles_enabled_flag。tiles_enabled_flag的值通知编码器/解码器输入的数据使用图块。然后，指示对图块是否统一的检查和调整。loop_filter_across_tiles_enabled_flag的值通知编码器/解码器是否将跨相邻图块执行环路滤波。根据本公开，可以通过添加标志(例如，loop_filter_across_tiles_cube_projection_flag)来扩展PPS语法。

图6示出了接收输入视频的传统编码器600。根据本公开，可以修改该传统编码器的环路滤波器模块610，以在视频是环绕视图视频数据时跨图像图块的指定边缘执行环路滤波器操作。环路滤波器操作可以根据loop_filter_across_tiles_cube_projection_flag提供的指示进行。原始捕获数据为3D格式，并且为了压缩将该原始捕获数据转换为例如如图1所示的2D格式。“投影(projection)”意味着这种转换。环路滤波器的输入可以是像素。对于去块，使用块边界(不仅仅是图块边界)的所有像素。对于SAO，使用所有像素。本文不对由典型的传统编码器提供的其他动作进行修改，因为这些动作本领域技术人员所熟悉的，所以不描述。

图7示出了作用于输入视频比特流的传统解码器700。根据本公开，可以修改该传统解码器的环路滤波器模块710，以在视频是环绕视图视频数据时跨图像图块的指定边缘执行环路滤波器操作。环路滤波器操作可以根据loop_filter_across_tiles_cube_projection_flag提供的指示进行。参照图6中关于编码器的说明以获得进一步解释。本文不对由典型的传统解码器提供的其他动作进行修改，因为这些动作是本领域技术人员所熟悉的，所以不描述。

图8a是T形立方体贴图格式表示中可以被指定的边缘(即，指定边缘)的图示。

在图8a中，白色正方形800是环绕视频数据的图像图块。用点填充的阴影图块可以是灰色图块810，或者是与白色正方形无关的其他图像图块。

上述图像图块一个对应于右视图，一个对应于左视图，一个对应于顶视图，一个对应于底视图，一个对应于前视图，一个对应于后视图。这些图像图块可能对应于图1左下部分所示的图块。这可能会根据用户当前查看的图块而有所不同。这取决于用户的视角。可以以所示的方式或其他方式布置上述图像图块。

图块820的内部边缘(即，那些与另一图像图块相邻的边缘)以虚线示出。根据视图的布置，可以指定这些边缘，也可以不指定这些边缘。例如，底视图与前视图相邻则应该进行环路滤波。然而，底视图与顶视图相邻则不应该进行环路滤波。类似地，左视图与右视图相邻则不应跨该边缘进行滤波。类似地，前视图与后视图相邻则不应跨该边缘进行滤波。

以粗体示出的边缘是在本实施例中可以指定的边缘830。由于这些边缘形成在本实施例中形成T形的六个图像图块的外周边缘，所以这些边缘称为外部边缘。这些边缘中的一些或全部可以以匹配对的形式被指定。指定边缘的匹配对如图9a至图9g所示。

图8b是与图8a类似但是用于紧凑立方体贴图格式的图示。

图块的内部边缘(那些与另一图像图块相邻的边缘)以虚线示出。根据视图的布置，可以指定这些边缘，也可以不指定这些边缘。

以粗体示出的边缘是在本实施例中可以指定的边缘。由于这些边缘形成本实施例中的两行图像图块中的每一行图像图块的周边边缘，所以这些边缘称为外部边缘。这些边缘中的一些或全部可以以匹配对的形式被指定。指定边缘的匹配对如图10a至图10h所示。所有这些边缘的匹配对如图11所示。

图9a至图9h各自示出了立方体贴图表示的一个可能的匹配边缘对和方向指示。

图9a示出了指定边缘900a、910a的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示905a、915a。上述指定边缘以粗体黑线表示。为了清楚起见，只在图9a中示出参考符号。每个边缘只指定一次。

此外，还示出了x和y坐标轴，使得平移向量可以用于描述方向指示。为了清楚起见，方向指示(如箭头所示)稍微偏离边缘。在本文中，尽管下面用整数向量描述，但不一定要是这些精确的数字，例如，起点和终点可以变化，或者是非整数值，甚至偏离边缘，前提是平行于对应的指定边缘的方向可以用向量描述。

在图9a中，一个向量905a在坐标(1，2)处开始并且在坐标(1，3)处结束，因此是向量(1-1，3-2)。另一向量915a在坐标(1，2)处开始并且在坐标(2，2)处结束，因此是向量(2-1，2-2)。这两个向量可以形成第一对。

图9b示出了指定边缘的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示。使用与图9a相同的x和y坐标系(未示出)，一个向量在坐标(1，1)处开始，在坐标(1，0)处结束，因此是向量(1-1，0-1)。另一向量在坐标(1，1)处开始，在坐标(2，1)处结束，因此是向量(2-1，1-1)。这两个向量可以形成第二对。

图9c示出了指定边缘的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示。使用与图9a相同的x和y坐标系(未示出)，一个向量在坐标(1，3)处开始，在坐标(0，3)处结束，因此是向量(0-1，3-3)。另一向量在坐标(2，2)处开始，在坐标(3，2)处结束，因此是向量(3-2，2-2)。这两个向量可以形成第三对。

图9d示出了指定边缘的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示。使用与图9a相同的x和y坐标系(未示出)，一个向量在坐标(1，0)处开始，在坐标(0，0)处结束，因此是向量(0-1，0-0)。另一向量在坐标(2，1)处开始，在坐标(3，1)处结束，因此是向量(3-2，1-1)。这两个向量可以形成第四对。

图9e示出了指定边缘的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示。使用与图9a相同的x和y坐标系(未示出)，一个向量在坐标(0，3)处开始，在坐标(0，2)处结束，因此是向量(0-0，2-3)。另一向量在坐标(3，2)处开始，在坐标(4，2)处结束，因此是向量(4-3，2-2)。这两个向量可以形成第五对。

图9f示出了指定边缘的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示。使用与图9a相同的x和y坐标系(未示出)，一个向量在坐标(0，0)处开始，在坐标(0，1)处结束，因此是向量(0-0，1-0)。另一向量在坐标(3，1)处开始，在坐标(4，1)处结束，因此是向量(4-3，1-1)。这两个向量可以形成第六对。

图9g示出了指定边缘的一个匹配对，还示出了分别用于该匹配对的每个指定边缘的方向指示。使用与图9a相同的x和y坐标系(未示出)，一个向量在坐标(0，2)处开始，在坐标(0，1)处结束，因此是向量(0-0，1-2)。另一向量在坐标(4，2)处开始，在坐标(4，1)处结束，因此是向量(4-4，1-2)。这两个向量可以形成第七对。

类似于图9a至图9g，图10a至图10h各自示出了紧凑立方体贴图表示的一个可能的匹配边缘对和方向指示。使用了一种用于标识指定边缘和描述方向指示的类似方案。不同的是，对于每对方向指示，一个方向指示来自其中一行，另一方向指示来自另一行。每个边缘只指定一次。

在图10a中，一个向量在坐标(0，1)处开始，在坐标(0，2)处结束，因此是向量(0-0，2-1)。另一向量在坐标(1，0)处开始，在坐标(2，0)处结束，因此是向量(2-1，0-0)。这两个向量可以形成第一对。

在图10b中，一个向量在坐标(0，0)处开始，在坐标(0，1)处结束，因此是向量(0-0，1-0)。另一向量在坐标(1，1)处开始，在坐标(2，1)处结束，因此是向量(2-1，1-1)。这两个向量可以形成第二对。

在图10c中，一个向量在坐标(0，2)处开始，在坐标(1，2)处结束，因此是向量(1-0，2-2)。另一向量在坐标(2，0)处开始，在坐标(3，0)处结束，因此是向量(3-2，0-0)。这两个向量可以形成第三对。

在图10d中，一个向量在坐标(0，1)处开始，在坐标(1，1)处结束，因此是向量(1-0，1-1)。另一向量在坐标(1，0)处开始，在坐标(0，0)处结束，因此是向量(0-1，0-0)。这两个向量可以形成第四对。

在图10e中，一个向量在坐标(0，1)处开始，在坐标(1，1)处结束，因此是向量(1-0，1-1)。另一向量在坐标(2，1)处开始，在坐标(3，1)处结束，因此是向量(3-2，1-1)。这两个向量可以形成第五对。

在图10f中，一个向量在坐标(1，2)处开始，在坐标(2，2)处结束，因此是向量(2-1，2-2)。另一向量在坐标(3，1)处开始，在坐标(3，0)处结束，因此是向量(3-3，0-1)。这两个向量可以形成第六对。

在图10g中，一个向量在坐标(1，1)处开始，在坐标(2，1)处结束，因此是向量(2-1，1-1)。另一向量在坐标(3，1)处开始，在坐标(3，2)处结束，因此是向量(3-3，2-1)。这两个向量可以形成第七对。

在图10h中，一个向量在坐标(2，2)处开始，在坐标(3，2)处结束，因此是向量(3-2，2-2)。另一向量在坐标(3，1)处开始，在坐标(2，1)处结束，因此是向量(2-3，1-1)。这两个向量可以形成第八对。

图11示出了根据紧凑立方体贴图中与方向对应的图块的布局的紧凑立方体贴图的所有方向指示的一个可能集合。在图11中，有八个匹配对(1100，1110，1120，1130，1140，1150，1160，1170)。每一对都用不同的箭头来标识，因此每一行紧凑立方体贴图的外周有八个箭头。

图12示出了由编码器执行的用于环绕视图视频编码的编码方法的第一实施方式。

在第一步骤中，编码器接收1200跨边缘滤波器投影格式指示，该跨边缘滤波器投影格式指示用于指示环绕视图视频数据为环绕视图到二维投影格式，并且指示在滤波操作中是否跨图像图块的指定边缘应用滤波器。上述指示可以是PPS标志。

上述编码器可以由图6所示的编码器实现，该编码器用于接收输入视频数据。上述输入视频数据或经处理的输入视频数据可以是物理环境的二维图像。可以提供各自对应于一个视图的单独图像，或者在较大图像中标识视图。如图8a或图8b所示，输入数据可以以图块格式存储。

在第二步骤中，编码器根据接收到的跨边缘滤波器投影格式指示(例如，值为1)确定1210是否跨指定的图块边缘执行环路滤波操作。图块的指定边缘可以根据指示格式在编码器处指定，或者在输入数据中提供，或者在编码器的投影模块中确定。图块的指定边缘可以是形成匹配对的任何一对边缘。这些匹配对可以是图9a至图9g或图10a至图10h所示的匹配对中的一个或任何组合。也可以排除边缘。

在可以以任何顺序执行的可选步骤中，编码器获得1220关于图像图块的指定边缘的边缘信息。该边缘信息指定每个指定边缘的方向，使得指定边缘在处理时是平行的。边缘信息可以指定图9a至图9g或图10a至图10h所示的匹配对中的一个或任何组合的方向。获得的方向信息对应于指定边缘。

然后，上述编码器使用获得的跨边缘滤波器投影格式指示和可选的边缘信息执行滤波1230。这可以由图6的环路滤波器模块完成，然后输出。

图13示出了根据本公开的编码方法的第二实施方式，该第二实施方式与第一实施方式相关。

在第一步骤中，编码器根据指令或配置检查1300以确定是否要使用图块格式。这可以根据PPS中的tile_enabled_flag，tile_enabled_flag的值为0(1310)和1(1320)，分别指示不使用图块或使用图块。

如果要使用图块，则编码器根据指令或配置检查1330是否要使用环路滤波器。这可以根据PPS中的loop_filter_across_tiles_enabled_flag，loop_filter_across_tiles_enabled_flag的值为0(1340)和1(1350)，分别指示不使用环路滤波器或使用环路滤波器。

如果不使用图块，则环路滤波器不进行滤波，并且编码方法的该方面操作结束。仍然可以执行编码的其他步骤。

如果要执行环路滤波，则编码器根据指令或配置检查1360是否要使用立方体投影格式。这可以根据PPS中的loop_filter_across_tiles_cube_projection_flag，loop_filter_across_tiles_cube_projection_flag的值为0(1370)和1(1380)。上述值指示使用立方体格式或不使用立方体格式，同时指示是否跨指定边缘进行环路滤波。

如果不跨指定边缘执行环路滤波，则环路滤波器不跨指定边缘进行滤波。仍然可以执行编码的其他步骤。

如果指示编码器跨立方体投影格式的图块进行环路滤波，则编码器跨指定边缘执行1390环路滤波。

如果指示编码器不跨立方体投影格式的图块进行环路滤波，则环路滤波器不进行滤波，并且编码方法的该方面操作结束。仍然可以执行编码的其他步骤。

在否定确定(上述标志的值＝0)的情况下，上述方法可以直接结束。

图14示出了由解码器执行的用于环绕视图视频编码的解码方法的第一实施方式。该方法与图12描述的方法类似。

在第一步骤中，解码器接收1400跨边缘滤波器投影格式指示，该跨边缘滤波器投影格式指示用于指示环绕视图视频数据为环绕视图到二维投影格式，并且指示在滤波操作中是否跨图像图块的指定边缘应用滤波器。该指示可以是PPS的标志loop_filter_across_tiles_cube_projection_flag。

上述解码器可以由图7所示的解码器实现，该解码器用于接收具有环绕视图视频数据的输入比特流。该输入比特流或经处理的输入比特流可以是物理环境的二维图像。可以提供各自对应于一个视图的单独图像，或者在较大图像中标识视图。如图8a或图8b所示，输入数据可以以图块格式存储。

在第二步骤中，解码器根据接收到的跨边缘滤波器投影格式指示(例如，值为1)确定1410是否跨指定的图块边缘执行环路滤波。图块的指定边缘可以根据指示格式在编码器处指定，或者在输入数据中提供，或者在编码器的投影模块中确定。图块的指定边缘可以是形成匹配对的任何一对边缘。这些匹配对可以是图9a至图9g或图10a至图10h所示的匹配对中的一个或任何组合。也可以排除边缘。

在可以以任何顺序执行的可选步骤中，解码器获得1420关于图像图块的指定边缘的边缘信息。该边缘信息指定每个指定边缘的方向，使得指定边缘在处理时是平行的。边缘信息可以指定图9a至图9g或图10a至图10h所示的匹配对中的一个或任何组合的方向。获得的方向信息对应于指定边缘。

然后，上述解码器使用获得的跨边缘滤波器投影格式指示和可选的边缘信息执行滤波1430。这可以由图7的环路滤波器模块完成，然后输出到下一阶段。

图15示出了根据本公开的解码方法的第二实施方式，该第二实施方式与解码方法的第一实施方式相关。

在第一步骤中，解码器检查以确定例如在比特流或单独的指令或配置中是否已经接收到1500图块格式指示。这可以根据PPS中的tile_enabled_flag，tile_enabled_flag的值为0和1，分别指示不使用图块或使用图块。解码器检查图块的值。

如果要使用图块，即tile_enabled_flag的值＝1(1510)，则解码器根据指令或配置检查1520是否要使用环路滤波器。这可以根据接收到的PPS中的loop_filter_across_tiles_enabled_flag，loop_filter_across_tiles_enabled_flag的值为0和1，分别指示不使用环路滤波器或使用环路滤波器。

如果不使用图块，则环路滤波器不进行滤波，并且解码方法的该方面操作结束。仍然可以执行解码的其他步骤。

如果要执行环路滤波，则解码器根据指令或配置检查是否要使用立方体投影格式。这可以根据接收到1540的PPS中的loop_filter_across_tiles_cube_projection_flag，loop_filter_across_tiles_cube_projection_flag的值为0(1570)和1(1550)。上述值指示使用立方体格式或不使用立方体格式，同时指示是否跨指定边缘进行环路滤波。

如果不执行环路滤波，则环路滤波器不跨图块边界进行滤波。仍然可以执行解码的其他步骤。

如果指示解码器跨立方体投影格式的图块进行环路滤波，即，上述loop_filter_across_tiles_cube_projection_flag＝1(1560)，则解码器跨指定边缘执行1560环路滤波。

如果指示编码器不跨立方体投影格式的图块进行环路滤波，则因为视频数据不表示环绕视图数据，所以环路滤波器不跨指定边缘进行滤波，而是根据默认或标准设置(例如，相邻图像的图块边缘)进行滤波1570。然后，该解码方法的该方面操作结束。仍然可以执行解码的其他步骤。

在否定确定(例如，上述标志的值＝0)的情况下，上述方法可以直接结束。

图16是与环绕视图数据中的视图对应的图像1600。在左侧靠近左边缘示出了一棵树，其中，一截树枝悬挂在半空中(即，与该树枝的其余部分分开)。这是可以通过本文所公开的方法解决的伪影1610。

前述公开仅公开示例性实施例，并不旨在限制本发明的保护范围。本领域技术人员将理解，前述实施例以及可基于本公开的权利要求的范围导出的所有或一些其他实施例和修改当然将落在本公开的范围内。

Claims (34)

1.一种由编码器执行的用于环绕视图视频编码的编码方法，包括：

-接收跨边缘滤波器投影格式指示，所述跨边缘滤波器投影格式指示用于：

指示环绕视图视频数据为环绕视图到二维投影格式，

以及

指示在滤波操作中是否跨图像图块的指定边缘应用滤波器；

-根据所述跨边缘滤波器投影格式指示，确定是否跨所述图像图块的指定边缘执行滤波操作；

-其中，所述环绕视图视频数据包括物理环境的多个二维图像，每个二维图像通过环绕视图到二维投影格式的图像图块存储。

2.根据权利要求1所述的编码方法，包括：

跨所述图像图块的所述指定边缘执行所述滤波操作。

3.根据权利要求1或2所述的编码方法，包括：

不跨所述图像图块的所述指定边缘执行所述滤波操作。

4.根据前述权利要求中任一项所述的编码方法，其中，所述图像图块的指定边缘根据边缘信息确定，

其中，根据由所述跨边缘滤波投影格式指示所指示的所述环绕视图到二维投影格式的特定类型，在所述编码器预置边缘信息，

或者

其中，从环绕视图到二维投影格式转换的过程中获得边缘信息，

或者

其中，在输入比特流中向所述编码器提供边缘信息。

5.根据权利要求4所述的编码方法，其中，所述边缘信息包括一个或多个匹配边缘对信息，所述匹配边缘对信息指示图像图块的特定边缘，所述匹配边缘对信息例如从所述环绕视图视频数据的捕获提供，

其中，在每个匹配边缘对信息中，所述图像图块的指定边缘与捕获时的所述二维图像的两个相邻边缘对应。

6.根据权利要求4或5所述的编码方法，其中，所述边缘信息还包括与每个匹配边缘对信息对应的一组方向指示，每个方向指示包括两个方向指示符，每个所述方向指示符与两个所述二维图像中在捕获时是平行的方向对应，所述方向指示例如从所述环绕视图视频数据的捕获提供，

其中，所述方法还包括根据所述方向指示符跨所述图块的所述指定边缘执行所述滤波操作。

7.根据前述权利要求中任一项所述的编码方法，其中，所述跨所述图像图块的所述指定边缘执行所述滤波操作包括跨所述图像图块的所述指定边缘执行所述滤波操作；

并且还包括执行以下中的一项或两项：

跨在所述存储布局中相邻的图像图块的边缘执行所述滤波操作，和/或

不跨与另一图块的边缘共享的图像图块的边缘执行所述滤波操作。

8.根据前述权利要求中任一项所述的编码方法，其中，所述滤波操作是环路滤波器操作，并且所述滤波器是环路滤波器。

9.根据前述权利要求中任一项所述的编码方法，其中，所述跨边缘滤波器投影格式指示是标志，其中，所述标志的值指示是否要应用所述滤波器。

10.根据权利要求9所述的编码方法，其中，所述标志为例如在H.265视频编码的图像参数集中的loop_filter_across_tiles_cube_projection_flag。

11.根据权利要求1-7中任一项所述的编码方法，其中，所述滤波操作是后滤波操作，并且所述跨边缘滤波器投影格式指示在元数据中传输，优选地作为补充增强信息传输。

12.根据前述权利要求中任一项所述的编码方法，其中，所述环绕视图到二维投影格式具有用于所述图块的存储布局并且基于柏拉图立体，并且优选地，所述环绕视图到二维投影格式是立方体格式或紧凑立方体格式。

13.根据前述权利要求中任一项所述的编码方法，其中，所述环绕视图到二维投影格式的每个图像图块与三维组合对象的面一一对应，所述三维组合对象是立方体，

其中，对于立方体贴图表示，有六个图像图块，包括：

与前方向对应的第一图像图块；

与后方向对应的第二图像图块；

与顶方向对应的第三图像图块；

与底方向对应的第四图像图块；

与左方向对应的第五图像图块；以及

与右方向对应的第六图像图块；

参照所述立方体

其中，所述图像图块的指定边缘包括以下中的至少一个或多个：

第一对指定边缘为所述第一图像图块的边缘和所述第五图像图块的边缘；

第二对指定边缘为所述第二图像图块的边缘和所述第五图像图块的边缘；

第三对指定边缘为所述第三图像图块的边缘和所述第五图像图块的边缘；

第四对指定边缘为所述第一图像图块的边缘和所述第六图像图块的边缘；

第五对指定边缘为所述第二图像图块的边缘和所述第六图像图块的边缘；

第六对指定边缘为所述第三图像图块的边缘和所述第六图像图块的边缘；以及

第七对指定边缘为所述第二图像图块的边缘和所述第四图像图块的边缘；

其中，对于紧凑立方体贴图表示，在可以由2行乘3列的图块网格表示的所述存储布局中，有六个图像图块，包括：

在第一行第一列中的第一图像图块；

在第一行第二列中的第二图像图块；

在第一行第三列中的第三图像图块；

在第二行第一列中的第四图像图块；

在第二行第二列中的第五图像图块；以及

在第二行第三列中的第六图像图块，

其中，所述图像图块的指定边缘包括以下中的一个或多个：

第一对指定边缘为所述第一图像图块的边缘和所述第五图像图块的边缘；

第二对指定边缘为所述第二图像图块的边缘和所述第四图像图块的边缘；

第三对指定边缘为所述第一图像图块的边缘和所述第六图像图块的边缘；

第四对指定边缘为所述第一图像图块的边缘和所述第四图像图块的边缘；

第五对指定边缘为所述第三图像图块的边缘和所述第四图像图块的边缘；

第六对指定边缘为所述第二图像图块的边缘和所述第六图像图块的边缘；

第七对指定边缘为所述第三图像图块的边缘和所述第五图像图块的边缘；以及

第八对指定边缘为所述第三图像图块的边缘和所述第六图像图块的边缘。

14.根据权利要求13所述的编码方法，其中，对于紧凑立方体贴图表示，所述图像图块的指定边缘由向量标识，其中，x-y轴坐标系适用于紧凑立方体贴图，所述x-y轴坐标系的单位向量与所述图块网格对齐，并且一个单位向量与一个图块的边缘对应，原点是使得在y正轴上有两个图像图块、在x正轴上有三个图像图块的位置，并且所述图像图块的指定边缘是以下中的一个或多个：

第一对指定边缘在向量(0-0，2-1)和(2-1，0-0)之间；

第二对指定边缘在向量(0-0，1-0)和(2-1，1-1)之间；

第三对指定边缘在向量(1-0，2-2)和(3-2，0-0)之间；

第四对指定边缘在向量(1-0，1-1)和(0-1，0-0)之间；

第五对指定边缘在向量(1-0，1-1)和(3-2，1-1)之间；

第六对指定边缘在向量(2-1，2-2)和(3-3，0-1)之间；

第七对指定边缘在向量(2-1，1-1)和(3-3，2-1)之间；以及

第八对指定边缘在向量(3-2，2-2)和(2-3，1-1)之间。

15.根据权利要求13所述的编码方法，其中，对于立方体贴图表示，所述图像图块的指定边缘由向量标识，其中，x-y轴坐标系适用于立方体贴图，所述x-y轴坐标系的单位向量与所述图块网格对齐，并且一个单位向量与一个图块的边缘对应，原点是使得在y正轴上有三个图像图块、在x正轴上有四个图像图块的位置，并且所述图像图块的指定边缘是以下中的一个或多个：

第一对指定边缘在向量(1-1，3-2)和(2-1，2-2)之间；

第二对指定边缘在向量(1-1，0-1)和(2-1，1-1)之间；

第三对指定边缘在向量(0-1，3-3)和(3-2，2-2)之间；

第四对指定边缘在向量(0-1，0-0)和(3-2，1-1)之间；

第五对指定边缘在向量(0-0，2-3)和(4-3，2-2)之间；

第六对指定边缘在向量(0-0，1-0)和(4-3，1-1)之间；以及

第七对指定边缘在向量(0-0，1-2)和(4-4，1-2)之间。

16.根据前述权利要求中任一项所述的编码方法，

其中，环绕视图到二维投影格式的每个图像图块表示三维组合对象的一个面，

其中，在所述组合对象中共享公共边界的任何图像图块的每个边缘由对应的参考所述组合对象的坐标系的相应图块边缘向量来描述，

其中，在所述组合对象中，共享公共边界的图像图块的边缘具有平行的图块边缘向量。

17.根据权利要求13-16中任一项所述的编码方法，其中，所述存储布局包括所述图像图块的T形多边形网，其中，在所述存储布局中，所述图像图块的边缘与其他图块相邻，以及

执行所述滤波操作包括不跨与所述其他图块相邻的所述图块的边缘执行所述滤波操作。

18.一种由解码器执行的用于环绕视图视频解码的解码方法，包括：

-接收跨边缘滤波器投影格式指示，所述跨边缘滤波器投影格式指示用于：

指示所述环绕视图视频数据为环绕视图到二维投影格式，

以及

指示在滤波操作中是否跨图像图块的指定边缘应用滤波器；

其中，所述环绕视图视频数据包括物理环境的多个二维图像，每个二维图像通过环绕视图到二维投影格式的图像图块存储；

-根据所述跨边缘滤波器投影格式指示，确定是否跨所述图像图块的指定边缘执行滤波操作。

19.一种用于环绕视图视频编码的图像处理设备，包括：

-环路滤波器模块，用于执行根据权利要求1-17中任一项所述的方法。

20.一种用于环绕视图视频解码的图像处理设备，包括：

-环路滤波器模块，用于执行根据权利要求18所述的方法。

21.一种视频捕获装置，包括：

-一个或多个相机，用于捕获物理环境的多个二维图像，所述相机或每个相机在所述相机的参考帧内定向，使得所述多个二维图像形成所述相机周围的所述物理环境的环绕视图；

-三维到二维投影转换模块，用于将所述二维图像以三维到二维投影格式(立方体格式)进行(转换/存储)；以及

-定向记录模块，用于针对沿公共边缘相邻的至少两个所述二维图像记录每个所述二维图像的方向指示。

22.所述视频捕获装置还包括根据权利要求19所述的图像处理设备。

23.一种用于观看环绕视图视频的观看器装置，包括根据权利要求20所述的图像处理设备。

24.一种映射用于物理环境的环绕视图表示的图像的方法，包括：

-从捕获设备获得物理环境的至少六个图像，每个图像与所述物理环境沿相对于所述捕获设备的坐标轴方向的透视图对应，其中，所述图像映射到组合对象的面，所述组合对象的面是所述物理环境的二维投影，

-以与所述组合对象对应的二维阵列格式存储两个所述图像，包括：

将每个图像存储在图像图块中，以及

分配唯一地标识边缘的标识符以及所述图像图块相对于所述捕获设备的坐标轴的定向的方向。

25.根据权利要求24所述的方法，其中，二维阵列格式是立方体格式或紧凑立方体格式。

26.根据权利要求24或25所述的方法，其中，对于在二维阵列格式中共享公共边界的每个图像，所述存储包括不为每个公共边界的边缘分配标识符和方向。

27.一种用于虚拟现实视频编码或解码的沉浸式视频记录格式，包括：

用于物理环境的投影格式，其中，所述投影格式用于存储二维图像，每个二维图像与所述物理环境的相应图像捕获视图对应，所述二维图像用于沿所述二维图像的边缘拼接在一起以形成与所述物理环境的多方向表示对应的组合对象，

以及

边缘段指示信息，包括：

要拼接在一起的两个边缘的标识符；以及

与所述要拼接在一起的两个边缘的标识符对应的所述要拼接在一起的两个边缘中的每一个的方向的指示，所述方向的指示表示与物理环境坐标轴对应的每个二维图像中的坐标轴方向。

28.根据权利要求27所述的沉浸式视频格式，其中，对于要拼接在一起以形成所述组合对象的所述边缘中的每一个，所述边缘段指示信息还包括：所述要拼接在一起的两个边缘的标识符，以及所述要拼接在一起的两个边缘中的每一个的方向的对应指示。

29.根据权利要求27或28所述的沉浸式视频格式，其中，所述组合对象包括柏拉图立体，并且优选地包括一种立方体贴图表示，所述立方体贴图表示包括六个图块，每个所述图块用于存储相应的二维图像，其中，要拼接在一起以形成所述组合对象的所述边缘与所述立方体贴图表示中的每个图块的非连接边缘对应。

30.根据权利要求27-29中任一项所述的沉浸式视频格式，其中，所述立方体贴图表示的类型包括T形立方体贴图表示或紧凑立方体贴图表示，其中，所述六个图块布置在网格中。

31.一种物理环境的三维表示的图像数据格式，所述图像数据格式用于图像或视频处理，包括：

多边形信息和匹配边缘对信息，

所述多边形信息表示包括至少第一多边形和第二多边形的多个多边形，每个所述多边形具有边缘部分，

每个多边形用于存储各自表示所述物理环境的视图的相应图像，其中，所述多边形是具有面的多面体的组成部分，其中，每个面分别与所述物理环境的所述三维表示的所述视图对应，

其中，在所述多面体中，第一多边形的边缘的第一边缘部分和第二多边形的边缘的第二边缘部分相邻并且根据边缘部分的方向的指示定向对齐，从而形成匹配边缘对，

其中，所述第一边缘部分和所述第二边缘部分与所述第一多边形和所述第二多边形中的每一个的相应图像的相邻部分对应，

其中，对于每个匹配边缘对，所述匹配边缘对信息包括：

边缘部分的指示，包括形成相应的所述匹配边缘对的所述边缘部分中的每一个的指示，以及

边缘部分的方向的指示，包括形成相应的所述匹配边缘对的所述边缘部分中的每一个的方向的指示。

32.根据权利要求31所述的图像格式，其中，多边形的边缘部分的方向的指示与所述多边形的所述相应图像的坐标轴方向对应，使得当边缘部分形成匹配边缘对时，所述边缘部分的所述方向的指示与所述多边形的所述相应图像的对应的所述坐标轴方向共平行。

33.根据权利要求31或32所述的图像格式，其中，对于所述匹配边缘对信息中包括的每个边缘部分的指示和边缘部分的方向的指示，所述边缘部分的指示和所述方向的指示包括向量表示。

34.根据权利要求31-33中任一项所述的图像格式，其中，每个边缘部分沿所述边缘部分的相应多边形的所述边缘延伸，所述边缘部分终止于或接近于每个多边形的顶点。

Images