CN112602328A - 用于视频编解码中的虚拟边界的环路内滤波的方法和装置 - Google Patents

Abstract

公开了对视频序列进行编解码的方法和装置，其中，来自视频序列的图片包括一个或更多个不连续边缘。然后，将与环路滤波器相关联的环路滤波处理应用于当前重构像素，以生成经滤波的重构像素，其中，如果环路滤波处理跨当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于虚拟边界的与当前重构像素不同的一侧中的非预期参考像素，并且所述一个或更多个替代参考像素是根据虚拟边界的与当前重构像素相同的一侧中的第二重构像素生成的。根据另一方法，根据球面邻近参考像素获得参考像素，以进行环路滤波处理。

Description

用于视频编解码中的虚拟边界的环路内滤波的方法和装置

技术领域

本发明涉及用于包含一个或更多个虚拟边界的图片(诸如360度虚拟现实(VR360)图片)的图片处理。特别地，本发明涉及用于包含一个或更多个虚拟边界的图片的不连续边缘或虚拟边界处的环路内滤波处理，诸如VR360视频编解码。

背景技术

360度视频(也称为沉浸式视频)是一种新兴技术，其可以提供“身临其境的感觉”。通过利用对全景(特别是360度视野)进行覆盖的环绕场景围绕用户来实现沉浸感。可以通过立体渲染进一步改善“身临其境的感觉”。因此，全景视频被广泛用于虚拟现实(VR)应用中。

可以使用360度球面全景相机或者被布置成绕360度对所有视野进行覆盖的多个图片来捕获360度虚拟现实(VR)图片。三维(3D)球面图片很难使用常规图片/视频处理设备进行处理或存储。因此，通常使用3D到2D投影方法(诸如等角矩形投影(EquiRectangularProjection)(ERP)和立方体贴图投影(CubeMap Projection)(CMP))将360度VR图片转换为二维(2D)格式。除了ERP和CMP投影格式外，还有许多其它VR投影格式，诸如已在该领域中广泛使用的八面体投影(OHP)、二十面体投影(ISP)、分段球面投影(SSP)和旋转球面投影(RSP)。

与常规的2D视频序列相比，VR360视频序列通常需要更多的存储空间。因此，通常将视频压缩应用于VR360视频序列，以减少用于存储的存储空间或用于数据流/传输的比特率。

高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)标准化组织的联合视频项目下开发的，尤其是与被称为视频编解码联合协作团队(JCT-VC)具有合作伙伴关系。可以使用HEVC对VR360视频序列进行编解码。然而，本发明也可以适用于其它编解码方法。

在HEVC中，一个片(slice)被划分为多个编码树单元(CTU)。针对彩色图片，可以将彩色片划分为多个编解码树块(CTB)。CTU进一步被划分为多个编解码单元(CU)，以适应各种局部特征。HEVC支持多种帧内预测模式，并且针对帧内编解码CU，会发出信号通知选定的帧内预测模式。除了编解码单元的概念外，HEVC中还引入了预测单元(PU)的概念。一旦完成了CU分层树的分割，则根据预测类型和PU划分，将每个叶CU进一步分割为一个或更多个预测单元(PU)。预测后，与CU相关联的残差被划分为变换块(称为变换单元(TU))，以用于变换处理。

虽然编解码处理可以有效地减少传输所需的带宽或存储所需的容量，但是编解码处理通常会产生被称为编解码伪影的编解码噪声。为了减轻编解码伪影，已经引入了诸如去块滤波器、SAO(样本自适应偏移)和ALF(自适应环路滤波器)之类的各种滤波技术。滤波处理通常应用于重构图片，处理后的重构图片能用作后续的参考图片。换句话说，滤波处理在编解码环路内部。因此，这种滤波处理也被称为环路内滤波。

在HEVC中，在图片被重构后应用去块滤波器(de-blocking filter)。对编解码单元、预测单元或变换单元之间的边界进行滤波以减轻由基于块的编解码引起的块伪影。边界可以是垂直边界或水平边界。图1A和图1B中分别示出了针对垂直边界(110)和水平边界(120)的去块滤波处理中涉及的边界像素。针对垂直边界(即，图1A中的线110)，将水平滤波器应用于每条水平线中的一些边界样本。例如，可以将水平去块滤波器应用于垂直边界的左侧上的p00、p01和p02以及垂直边界的右侧上的q00、q01和q02。类似地，针对水平边界(即，图1B中的线120)，将垂直滤波器应用于每条垂直线中的一些边界样本。例如，可以将垂直去块滤波器应用于水平边界的顶侧上的p00、p01和p02以及水平边界的底侧上的q00、q01和q02。换句话说，在垂直于边界的方向上应用去块滤波器。

针对每个四样本长度边界计算边界强度值Bs，并且Bs可以取3个可能值。在去块处理中分别处理亮度分量和色度分量。针对亮度分量，只能对Bs值等于1或2的块边界进行滤波。在色度分量的情况下，只能对Bs值等于2的边界进行滤波。

针对亮度分量，针对每个四样本长度边界检查附加条件，以确定是否应当应用去块滤波，并且如果应用去块滤波，则进一步确定应当应用正常滤波器还是强滤波器。

针对正常滤波模式下的亮度分量，可以修改边界每一侧处的两个样本。在强滤波模式下，可以修改边界每一侧处的三个样本。

针对色度分量，当边界强度大于1时，只能修改边界每一侧处的一个样本。

开发了SAO处理以补偿由编解码处理引起的像素强度偏移。HEVC采用的SAO处理包含两种方法。一种方法是带偏移(BO)，并且另一种方法是边缘偏移(EO)。BO用于根据像素强度将像素分类为多个带，并且将偏移应用于一个或更多个带中的像素。EO用于根据当前像素与各邻近像素(neighbour)之间的关系将像素分类到类别中，并将偏移应用于每个类别中的像素。有4种EO模式(0°、90°、135°和45°)，以及不处理(OFF)。四种EO类型如图2所示。

在对区域中的所有像素进行分类时，针对每个类别中的像素获得并发送一个偏移。SAO处理应用于亮度分量和色度分量，并且该分量中的每个分量被独立处理。针对除了EO的类别4(其中类别4被迫使用零偏移)之外的每个类别的所有像素，都获得一个偏移。下面的表1列出了EO像素分类，其中“C”表示要被分类的像素。如表1所示，与确定类别相关联的条件涉及根据EO类型将当前像素值与两个相应的邻近者值进行比较。可以根据比较结果(即“>”，“<”或“＝”)来确定类别。每个类别在当前像素与邻近像素之间的相对强度方面具有特殊含义。例如，类别0与“谷”相对应，其中，中心像素的强度低于两个邻近像素。类别3与“峰”相对应，其中，中心像素的强度高于两个邻近像素。类别1和类别2与具有向上斜坡(类别2)或向下斜坡(类别1)的平坦段相对应。

表1

类别	条件
		0	C<两个邻近者
1	C<一个邻近者&&C＝＝一个邻近者
		2	C>一个邻近者&&C＝＝一个邻近者
3	C>两个邻近者
		4	以上都不是

自适应环路滤波器(ALF)是具有自我调整滤波器大小的滤波器，其被应用到重构像素。在HEVC标准发展期间对ALF进行了评估，但HEVC未采用ALF。然而，被称为VVC(多功能视频编解码)的新兴视频编解码标准正在考虑ALF。为了优化性能，ALF使用维纳滤波技术来获得滤波器系数。此外，针对不同的图片区域允许多个滤波器。例如，如图3所示，ALF可以是5×5滤波器或7×7滤波器，其中“C”指示正在被滤波的当前重构像素。

根据传统方法，在不考虑重构的VR360图片内的可能的不连续边缘的情况下，将诸如去块、SAO和ALF之类的环路滤波器应用于该VR360图片。例如，基于立方体贴图的投影使用立方体上的六个面来表示VR360视频中的一帧。这六个面与从立方体展开(lift off)并适合不同布局(诸如1×6、6×1、2×3或3×2布局)的面相对应。在各种立方体贴图布局中，由于编解码效率，经常使用3×2布局。图4例示了3×2立方体贴图布局形成的示例。布局410与从立方体展开的六个面相对应，其中图像412与正面相对应，连接到图像412左侧的三个图像414与在水平方向上连接到正面412的其它三个面相对应，图像416与立方体顶部的面相对应，并且图像418与立方体底部的面相对应。因此，包括图像414和图像412的四个图像在水平方向上是连续的，并且包括图像416、图像412和图像418的三个图像在垂直方向上是连续的。4×3布局410包含一些空白区域，这对于编解码是无效率的。布局420与3×2立方体贴图布局相对应，其中三个图像414和三个垂直连接的图像(图像416、412和418)邻接。与三个图像414相对应的顶部子帧在水平方向上是连续的。同样，与三个图像412、416和418相对应的底部子帧在水平方向上是连续的。然而，顶部子帧与底部子帧之间的边缘422是不连续的。换句话说，与来自3D投影的布局格式相对应的VR360图片可能在图片内包含不连续边缘。

除了VR360图片之外，其它图片格式也可能在图片内包含不连续边缘。例如，画中画(PIP)格式是一种流行的格式，其用于在同一屏幕上同时显示两个视频(例如，主视频和子视频)。因此，针对每个PIP帧，与两个视频相关联的图片之间可能存在不连续性。在VR360图片以及PIP帧中，存在跨不连续边缘的环路滤波处理的问题。

图5A至图5C例示了应用于重构的VR360图片的环路内滤波器的示例。图5A例示了去块滤波器的示例，其中，将去块滤波器应用于当前块510。将去块滤波器应用于当前块510与上方的邻近块512之间的水平边界516。去块滤波器还应用于当前块510与左侧的邻近块514之间的垂直边界518。

图5B例示了SAO处理的示例。基于每个编码树单元(CTU)520的统计来获得偏移补偿参数。在统计获得期间，将BO和EO分类应用于所有像素。针对每个BO和EO类别，确定偏移值。在收集了CTU的统计之后，可以将SAO应用于CTU中的重构像素。

图5C例示了用于重构的VR360图片的ALF处理的示例。可以通过5×5滤波器对重构像素530进行滤波，或者可以通过7×7滤波器对重构像素532进行滤波。如前所述，可以使用维纳滤波器技术来设计滤波器参数，以将原始图片与重构图片之间的误差最小化。针对每个重构像素，自我调整选择滤波器大小以实现最佳性能。

如图4中的布局420所示，立方体贴图的3×2布局包含顶部子帧与底部子帧之间的不连续边缘。边界422的一侧上的像素可能与边界422的另一侧上的像素完全不同。因此，当将环路内滤波器应用于紧邻边界或靠近边界的重构像素时，可能会导致不良结果。图6例示了应用于重构像素622的SAO滤波器的示例，其中指示了不连续边缘610。针对重构像素622例示了不连续边缘处的SAO操作620。虚线框624指示了3×3SAO窗口。对于水平边界610，90°、135°以及45°的SAO滤波处理将利用来自不连续边界的另一侧的参考像素。尽管不连续边缘的另一侧上的邻近像素626(被称为非预期像素)靠近正被滤波的重构像素622，但邻近像素626与重构像素622有很大不同。在这种情况下，用于边界像素的SAO处理可能会产生不良结果。

因此，期望开发出克服与用于VR360图片的环路内滤波器有关的问题的技术。

发明内容

公开了对视频序列进行编解码的方法和装置，其中，来自所述视频序列的图片包括一个或更多个不连续边缘。根据该方法，接收当前图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，所述第一重构像素用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素。然后，将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且所述一个或更多个替代参考像素是根据所述虚拟边界的与所述当前重构像素相同的一侧中的第二重构像素生成的。提供了包括所述经滤波的重构像素的经处理的当前图片。所述视频序列可以与360度虚拟现实(VR360)视频相对应。所述环路滤波器属于包括去块滤波器、SAO(样本自适应偏移)以及ALF(自适应环路滤波器)的组。

在一个实施方式中，所述替代参考像素是通过对所述虚拟边界的与所述当前重构像素相同的一侧中的最近的第二重构像素进行扩展来生成的。在另一实施方式中，所述替代参考像素是通过将位于所述虚拟边界的不同侧中的非预期参考像素的位置剪辑到位于所述虚拟边界的与所述当前重构像素相同的一侧中并且最靠近所述非预期参考像素的修改位置来生成的。

在一个实施方式中，所述替代参考像素是在将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素时实时生成的。

在另一实施方式中，所述替代参考像素是在将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素之前生成的。所生成的替代参考像素可以存储在一个或更多个额外的线缓冲区(line buffer)中。针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小与等于或小于最大滤波器大小的一半的最大整数相对应。例如，当所述环路滤波器与去块滤波器相对应时，对于所述当前图片的亮度分量，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小等于4。在另一示例中，当所述环路滤波器与SAO(样本自适应偏移)滤波器相对应时，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小等于1。在又一示例中，当所述环路滤波器与ALF(自适应环路滤波器)相对应时，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小小于或等于5，以用于对所述当前图片的亮度分量进行分类。

根据本发明的另一种方法，将与环路滤波器相关联的环路滤波处理应用于当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨VR360图片的虚拟边界，则使用一个或更多个球面邻近参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个球面邻近参考像素对应于与所述重构的经滤波的单元的包含所述当前重构像素的部分相邻的3D空间中的几何上连续的邻近参考像素，并且所述一个或更多个球面邻近参考像素以及所述重构的经滤波的单元的包含所述当前重构像素的部分位于所述VR360图片的不同面中。

可以发出信号通知控制标志，以指示是否允许跨片、图块或CTU(编码树单元)边界应用所述环路滤波处理。如果所述控制标志指示禁止跨片、图块或CTU边界应用所述环路滤波处理，则在所述当前重构像素以及所述一个或更多个球面邻近参考像素在同一片、图块或CTU边界中时，将所述环路滤波处理应用于所述当前重构像素。

附图说明

图1A例示了针对垂直边界的去块滤波处理中涉及的边界像素的示例。

图1B例示了针对水平边界的去块滤波处理中涉及的边界像素的示例。

图2标出了用于SAO(样本自适应偏移)的4个EO(边缘偏移)定向图案(0°、90°、135°和45°)。

图3例示了包括5×5滤波器和7×7滤波器的ALF的示例，其中，“C”指示正在被滤波的当前重构像素。

图4例示了4×3和3×2立方体贴图布局形成的示例。

图5A例示了应用于3×2布局的VR360图片的块的去块滤波器的示例。

图5B例示了应用于3×2布局的VR360图片的像素的SAO处理的示例。

图5C例示了针对重构的VR360图片使用5×5或7×7滤波器的ALF处理的示例。

图6例示了应用于不连续边缘处的重构像素的SAO滤波器的示例。

图7例示了根据本发明实施方式的用于跨不连续边缘或虚拟边界进行环路滤波处理的参考像素扩展710的示例。

图8例示了根据本发明实施方式的分配一个或更多个额外的线缓冲区以存储不连续边缘或虚拟边界(810a和810b)的两侧上的参考像素的示例。

图9例示了根据本发明实施方式的用于去块滤波处理的额外的线缓冲区的示例。

图10例示了根据本发明实施方式的用于SAO滤波处理的额外的线缓冲区的示例。

图11例示了亮度ALF处理和色度ALF处理的示例性处理流程。

图12例示了分类处理的示例，其中针对亮度分量中的每个CTB，首先执行分类方法，并且根据像素纹理特征和像素位置将像素分类为16个组。

图13A例示了在虚拟边界处以及在虚拟边界附近的ALF滤波处理的分类的示例。

图13B例示了针对7×7和5×5ALF的在虚拟边界处的ALF滤波处理的示例。

图14例示了来自用于SAO处理的球面邻近者的参考像素的示例。

图15A例示了用于3×2立方体贴图布局的VR360图片的常规检查处理的示例。

图15B例示了根据本发明实施方式的考虑了球面邻近者的检查处理的示例。

图16例示了根据本发明实施方式的用于VR360视频的编解码系统的示例性流程图，其中通过使用替代参考像素来跨虚拟边界应用环路滤波处理。

图17例示了根据本发明实施方式的用于VR360视频的编解码系统的示例性流程图，其中，通过使用球面邻近参考像素来跨虚拟边界应用环路滤波处理。

具体实施方式

以下描述是实施本发明的最佳构想模式。进行该描述是为了例示本发明的一般原理，并且不应被认为是限制性的。通过参考所附权利要求书来最佳确定本发明的范围。

将容易理解，如本文的附图中一般性描述和例示的，可以以各种不同的配置来布置和设计本发明的部件。因此，如附图所示的对本发明的系统和方法的实施方式的以下更详细的描述并非旨在限制本发明所要求保护的范围，而仅仅代表本发明的选定实施方式。

在整个说明书中，对“一个实施方式”、“实施方式”或类似语言的引用意味着结合该实施方式描述的特定特征、结构或特性可以被包括在本发明的至少一个实施方式中。因此，在整个说明书中，在各处出现的短语“在一个实施方式中”或“在实施方式中”并不一定都指同一实施方式。

此外，在一个或更多个实施方式中，所描述的特征、结构或特性可以以任何合适的方式组合。然而，相关领域的技术人员将认识到，可以在不具有特定细节中的一个或更多个的情况下，或者在具有其它方法、部件等的情况下实施本发明。在其它情况下，未示出或未详细描述公知的结构或操作，以避免模糊本发明的方面。

通过参考附图将最好地理解本发明的所示实施方式，其中，相似的部分始终由相似的数字表示。以下描述仅旨在作为示例，并且简单地例示了与本文所要求保护的本发明一致的装置和方法的某些选定实施方式。

在说明书中，出现在附图和说明书中的相似附图标记指定不同视图中的对应要素或相似要素。

如前所述，当将环路内滤波器应用于VR360视频中的不连续边界时，用于不连续边界一侧上的重构像素的滤波处理可能需要使用不连续边界另一侧上的一个或更多个重构像素(被称为非预期像素)。由于不连续边界两侧上的像素之间的不连续性，将非预期像素用于环路内滤波处理可能会引起明显的伪影。因此，根据本发明的方法，如果环路内滤波处理跨不连续边界，则修改环路内滤波处理。VR360视频或PIP中的不连续边界或边缘在本公开中也被称为虚拟边界。在本公开中，环路内滤波器可以被称为环路滤波器。在本公开中，环路内滤波处理可以被称为环路滤波处理。

当执行滤波处理时，如果参考像素和当前像素位于不同的子帧(即，不连续边缘/虚拟边界的不同侧)中，则将当前子帧(即，不连续边缘/虚拟边界的与当前像素相同的一侧)中的最近像素作为根据本发明实施方式的替代参考像素。

可以实时获得或预先获得替代参考像素。如果像素是预先获得的，则将需要额外的内存缓冲区来存储该像素。

该方法适用于去块滤波器、ALF和SAO滤波器以及其它类型的环路内滤波器。

图7例示了根据本发明实施方式的用于跨不连续边缘或虚拟边界进行环路滤波处理的参考像素扩展710的示例。在图7中，来自顶部子帧的像素被扩展以形成替代参考像素(被标记为点填充区域1)，并且来自底部子帧的像素被扩展以形成替代参考像素(被标记为点填充区域2)。在图7中，针对顶部子帧和底部子帧，示出了虚拟边界(712a和712b)。当虚拟边界的同一侧上的像素被扩展以形成替代参考像素时，使用当前子帧中的最近像素。换言之，顶部子帧的底线向下扩展以形成参考像素区域1，并且底部子帧的顶线向上扩展以形成参考像素区域2。当环路滤波处理需要来自不连续边缘或虚拟边界另一侧的参考像素时，当前子帧(即，在不连续边缘/虚拟边界的与当前像素相同的一侧上)中的最近像素被用作替代参考像素。在图7中，VR360图片由顶部子帧和底部子帧组成。正如所理解的，根据本发明实施方式，以3×2立方体贴图布局为例来例示参考像素扩展。参考像素扩展可以应用于其它VR360布局格式，诸如根据八面体投影(OHP)、二十面体投影(ISP)、分段球面投影(SSP)和旋转球面投影(RSP)获得的布局格式。VR360图片中可能有多于一个虚拟边界。此外，虚拟边界可以沿其它方向而不是垂直/水平方向。当环路滤波处理涉及非预期参考像素(即，虚拟边界另一侧上的参考像素)时，可以对与要被滤波的当前重构像素相同的一侧上的参考像素进行扩展，以形成替代参考像素。

如前所述，针对非VR360图片，也可能出现图片内的不连续边缘(即，虚拟边界)。例如，在画中画视频中，图片还包括图片内的不连续边缘。本发明的环路滤波处理也可以应用于PIP视频。

在另一实施方式中，当执行滤波处理时，如果参考像素(即，非预期参考像素)和当前像素位于虚拟边界的不同侧处，则可以将参考像素位置剪辑到位于虚拟边界的与当前像素相同的一侧并且最靠近参考像素(即，非预期参考像素)的位置。这种方法类似于从虚拟边界扩展像素。

在一个实施方式中，如果提前获得像素，则可以使用floor(max_filter_size_of_all_filters/2)*2个额外的线缓冲区来存储替代参考像素。floor(.)表示返回小于或等于其输入变量的最大整数的floor函数。额外的缓冲区由对应子帧(即，在不连续边缘/虚拟边界的与当前像素相同的一侧上)中的最近像素填补。在执行滤波处理时，将使用额外的缓冲区中的替代参考像素。

图8例示了根据本发明实施方式的分配一个或更多个额外的线缓冲区以存储不连续边缘或虚拟边界(810a和810b)的两侧上的参考像素的示例。如图8所示，多个额外的线缓冲区(即，floor(max_filter_size_of_all_filters/2))用于存储区域1中的参考像素，并且多个额外的线缓冲区(即，floor(max_filter_size_of_all_filters/2))用于存储区域2中的参考像素。当将环路滤波处理应用于顶部子帧中的重构像素时(该环路滤波处理需要来自不连续边缘或虚拟边界另一侧(即，底部子帧)的参考像素)，存储在额外的缓冲区1中的像素用作替代参考像素。类似地，当将环路滤波处理应用于底部子帧中的重构像素时(该环路滤波处理需要来自不连续边缘或虚拟边界的另一侧(即，顶部子帧)的参考像素)，存储在额外的缓冲区2中的像素用作替代参考像素。

图9例示了根据本发明实施方式的用于去块滤波处理的额外的线缓冲区的示例。示出了不连续边缘或虚拟边界(910a和910b)。正在被滤波的当前块912的块边缘与不连续边缘或虚拟边界910b对齐。去块滤波处理所需的在块边缘另一侧上的所有参考像素在不连续边缘或虚拟边界910b的另一侧上。因此，根据本发明的实施方式，存储在额外的线缓冲区2中的替代参考像素914被用于去块滤波处理。如图1所示，根据HEVC标准的用于亮度分量的去块滤波器利用了远离块边界的多达4个像素。因此，针对亮度分量，在虚拟边界的每一侧上可以有4排(line)用于去块处理的额外的线缓冲区。

图10例示了根据本发明实施方式的用于SAO滤波处理的额外的线缓冲区的示例。示出了不连续边缘或虚拟边界(1010a和1010b)。用于SAO滤波处理的中心像素位于不连续边缘或虚拟边界1010b附近。针对90°滤波器，顶部的邻近像素在不连续边缘或虚拟边界1010b的另一侧上。根据本发明的实施方式，存储在额外的线缓冲区2中的替代参考像素被用于SAO滤波处理。针对45°SAO滤波器，右上方参考像素在不连续边缘或虚拟边界1010b的另一侧上。根据本发明的实施方式，存储在额外的线缓冲区2中的替代参考像素被用于SAO滤波处理。针对135°SAO滤波器，左上方参考像素在不连续边缘或虚拟边界1010b的另一侧上。根据本发明的实施方式，存储在额外的线缓冲区2中的替代参考像素被用于SAO滤波处理。因此，针对亮度分量，在虚拟边界的每一侧上可以有1排用于SAO处理的额外的线缓冲区。

针对ALF滤波处理，图11示出了亮度ALF处理1110和色度ALF处理1120的处理流程。针对亮度ALF处理，如步骤1112所示，将每个处理单元输入到处理中。处理单元可以与图片、片、CTU行或CTU相对应。在步骤1114中执行分类。在步骤1116中获得滤波器，并且在步骤1118中应用滤波器处理。针对色度ALF处理，如步骤1122所示，将每个处理单元输入到处理中。在步骤1124中获得滤波器，并且在步骤1126中应用滤波器处理。图12例示了分类处理的示例。针对亮度分量中的每个CTB，首先执行分类方法，并且根据像素纹理特征和像素位置将像素分类为16个组。4×4块1220中的像素共享相同的分类结果。在8×8窗口1210内计算水平和垂直的一维拉普拉斯值。对8×8块内的水平方向和垂直方向的一维拉普拉斯值分别求和。

针对每个分类组，可以通过求解维纳-霍夫方程来获得一个滤波器。因此，在一种分类方法中可以获得16个滤波器(即，一组一个滤波器)。

维纳-霍夫方程：

在上式中，变量或参数描述如下：

1.像素位置r＝(x，y)属于分类R，并且||R||是R中的像素的数量。

2.s[r]：原始像素。

3.t[r]：图片缓冲区中的重构像素。

4.滤波器系数：c＝[c₀ c₁ … c₂₄]^T。

5.滤波器位置偏移：{p p₁ … p₂₄}，其中p_n表示第n个滤波器系数位置相对于r的像素位置偏移。

图13A例示了在虚拟边界处以及在虚拟边界附近的ALF滤波处理的分类的示例。示出了不连续边缘或虚拟边界(1310a和1310b)。针对分类A，8×8块的下5行在不连续边缘或虚拟边界1310a之外。根据本发明的实施方式，额外的线缓冲区1中的参考像素被用作用于分类处理的替代参考像素。针对分类B，8×8块的上2行在不连续边缘或虚拟边界1310b之外。根据本发明的实施方式，额外的线缓冲区2中的参考像素被用作用于分类处理的替代参考像素。在虚拟边界的每一侧中，ALF分类所需的额外的线缓冲区数小于或等于5排。

图13B例示了针对7×7和5×5ALF的在虚拟边界处的ALF滤波处理的示例。示出了不连续边缘或虚拟边界(1310a和1310b)。针对7×7滤波器A和5×5滤波器A，中心像素与不连续边缘或虚拟边界1310a相邻。根据本发明的实施方式，额外的线缓冲区1中的参考像素被用作用于ALF滤波处理的替代参考像素。针对7×7滤波器B和5×5滤波器B，中心像素与不连续边缘或虚拟边界1310b相邻。根据本发明的实施方式，额外的线缓冲区2中的参考像素被用作用于ALF滤波处理的替代参考像素。

尽管图13B中的示例例示了中心像素与虚拟边界相邻的情况，但是当中心像素靠近虚拟边界时，所需的参考像素可能是跨虚拟边界的。例如，如果选择了7×7滤波器并且中心像素距虚拟边界1个像素，则与虚拟边界相邻的3个参考像素以及来自虚拟边界另一侧的距虚拟边界1个像素距离处的1个参考像素将参与ALF处理。如果选择了7×7滤波器并且中心像素距虚拟边界2个像素，则来自虚拟边界另一侧的与虚拟边界相邻的1个参考像素将参与ALF处理。如果选择了7×7滤波器并且中心像素距虚拟边界3个像素，则将没有来自虚拟边界另一侧的参考像素参与ALF处理。

根据另一种方法，使用来自球面邻近者的参考像素。基于VR360图片的几何连续性，可以在同一图片中获得的球面邻近者被用于滤波处理。可以在3D视觉的对应面中获得对应邻近者。图14示出了来自用于SAO处理的球面邻近者的参考像素的示例。针对与虚拟边界1410相邻的中心像素1412，针对90°、135°或45°SAO处理，SAO涉及在当前像素下方的像素行1420中的1个像素。当邻近像素1420跨虚拟边界不连续时，与SAO滤波器的中心行1440相邻的像素来自底部子帧左边缘上的像素1430。可以通过将各个面映射到立方体贴图投影的立方体来感知这种连续性。换句话说，针对90°、135°或45°SAO处理，经滤波的单元的一部分(即，3×3窗口的顶行中的一个像素)位于虚拟边界的与正在被滤波的当前重构像素相同的一侧中，并且经滤波的单元的另一部分(即，3×3窗口的底行中的一个像素)位于虚拟边界的正在被滤波的当前重构像素的另一侧上。然而，球面邻近参考像素(即，像素1430)是与重构的经滤波的单元的包含当前重构像素的部分相邻的3D空间中的几何上连续的邻近参考像素。除了立方体投影外，还有许多其它VR360投影布局。可以通过将投影布局映射回对应多面体的表面来识别从该多面体展开的面之间的球面连续性。

在某些情况下，可以将滤波处理限制为不跨重构的图片中的片、图块或CTU边界进行处理。例如，针对去块滤波器，控制标志“m_bLFCrossSliceBoundaryFlag”可以用于控制是否可以跨片边界执行滤波处理。如果该控制设置为真，则可以跨片边界执行滤波处理。如果该控制设置为假，则无法跨片边界执行滤波处理。因此，它应该检查邻近块和当前块是否位于同一片中。如果它们位于同一片中，则可以执行滤波处理，否则，会禁用滤波处理。

图15A例示了用于3×2立方体贴图布局的VR360图片的常规检查处理的示例。顶部子帧与底部子帧之间的虚拟边界1510用白线指示。面边缘用黑色虚线指示。正在被滤波的CU 1520的顶部CU边缘与虚拟边界对齐。此外，CU也位于具有在垂直方向上穿过该CU中部的面边缘的两个面之间。由于两个子块的球面邻近子块来自3×2立方体贴图布局的不同位置，因此用于顶部CU边缘的去块处理被分为两个子块(即1522和1524)。根据传统方法，去块处理涉及来自其它面的两个块(即，1526和1528)。此外，块1526和1528属于不同的片。因此，控制标志被设置为禁用环路滤波处理(即，该示例中的去块处理)。

在去块滤波器的传统实现中，检查操作(即，检查当前块和邻近块是否位于同一片中)只能在CU的左上方的块处执行，因为CU中的其它块的所有邻近块位于同一片中。然而，在VR360图片中，考虑到球面邻近者，CU可以位于多个面中，并且邻近块可以位于不同的片中。图15B例示了考虑了球面邻近者的检查处理的示例。块1536的球面邻近者位于底部子帧的左上角处，其与当前块位于同一片中。因此，环路滤波处理可以应用于块1522，因为块1522的球面邻近者在同一片中。在这种情况下，即使将控制标志设置为禁用跨片边界的环路滤波处理，由于环路滤波处理不跨片边界，所以环路滤波处理仍可以应用于块1522。然而，针对块1524，其球面邻近者位于顶部子帧的右上角。因此，如果将控制标志设置为禁用跨片边界的环路滤波处理，则环路滤波处理不应用于块1524。

应该对每个块执行检查操作以确保编解码正确性。因此，如果诸如ALF、SAO或其它滤波器之类的滤波处理受到控制标志的限制，则应当在每个滤波器单元处执行检查操作以确保编解码正确性。

该方法适用于去块滤波器、ALF和SAO滤波器以及其它类型的环路滤波器。

图16例示了根据本发明实施方式的用于视频序列的编解码系统的示例性流程图，该视频序列包括视频序列的图片中的一个或更多个不连续边缘，其中，通过使用替代参考像素来跨虚拟边界应用环路滤波处理。流程图以及本公开的其它后续流程图中所示的步骤可以被实现为程序代码，该程序代码可在编解码器侧和/或解码器侧的一个或更多个处理器(例如，一个或更多个CPU)上执行。流程图中所示的步骤也可以基于硬件(诸如被布置成执行流程图中的步骤的一个或更多个电子设备或处理器)来实现。根据该方法，在步骤1610中，接收当前图片中的重构的经滤波的单元，其中，该重构的经滤波的单元与环路滤波器相关联，并且该重构的经滤波的单元包括第一重构像素，用于将与该环路滤波器相关联的环路滤波处理应用于当前重构像素。在步骤1620中，将与环路滤波器相关联的环路滤波处理应用于当前重构像素，以生成经滤波的重构像素，其中，如果环路滤波处理跨当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于虚拟边界的与当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个替代参考像素是根据虚拟边界的与当前重构像素相同的一侧中的第二重构像素生成的。在步骤1630中，提供包括经滤波的重构像素的经处理的当前图片。

图17例示了根据本发明实施方式的用于VR360视频的编解码系统的示例性流程图，其中通过使用球面邻近参考像素来跨虚拟边界应用环路滤波处理。根据该方法，在步骤1710中，接收VR360图片中的重构的经滤波的单元，其中，该重构的经滤波的单元与环路滤波器相关联，并且该重构的经滤波的单元包括第一重构像素，用于将与该环路滤波器相关联的环路滤波处理应用于当前重构像素。在步骤1720中，将与环路滤波器相关联的环路滤波处理应用于当前重构像素，以生成经滤波的重构像素，其中，如果环路滤波处理跨VR360图片的虚拟边界，则使用一个或更多个球面邻近参考像素来替换位于虚拟边界的与当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个球面邻近参考像素与3D空间中的几何上连续的邻近参考像素相对应，其中重构的经滤波的单元的部分包含当前重构像素，并且所述一个或更多个球面邻近参考像素和该重构的经滤波的单元的包含当前重构像素的部分位于VR360图片的不同面中。在步骤1730中，提供包括经滤波的重构像素的经处理的VR360图片。

上面所示的流程图旨在用作示例以例示本发明的实施方式。本领域技术人员可以在不脱离本发明的精神的情况下，通过修改各个步骤、拆分或组合步骤来实践本发明。

呈现以上描述是为了使本领域普通技术人员能够实践在特定应用及其要求的背景下提供的本发明。对所描述的实施方式的各种修改对于本领域技术人员将是显而易见的，并且本文中限定的一般原理可以应用于其它实施方式。因此，本发明并不旨在限于所示出和所描述的特定实施方式，而是符合与本文所公开的原理和新颖特征一致的最广范围。在以上详细描述中，例示了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解可以实践本发明。

如上所述的本发明的实施方式可以以各种硬件代码、软件代码或两者的组合来实现。例如，本发明的实施方式可以是被集成到视频压缩芯片中的一个或更多个电子电路或者被集成到视频压缩软件中以执行本文描述的处理的程序代码。本发明的实施方式还可以是要在数字信号处理器(DSP)上执行以执行本文描述的处理的程序代码。本发明还可以涉及要由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(FPGA)执行的许多功能。这些处理器可以被配置为通过执行对本发明体现的特定方法进行限定的机器可读软件代码或固件代码来执行根据本发明的特定任务。可以以不同的程序设计语言和不同的格式或样式来开发软件代码或固件代码。也可以针对不同的目标平台编译软件代码。然而，软件代码的不同代码格式、样式和语言以及将代码配置为执行根据本发明的任务的其它手段将不脱离本发明的精神和范围。

可以在不脱离本发明精神和实质特征的情况下以其它特定形式来具体实施本发明。所述示例在所有方面均作为示例而非限制来考虑。因此，通过所附权利要求而非前述描述来指示本发明的范围。落入权利要求的等同物的含义和范围内的所有改变将被涵盖在这些权利要求的范围内。

Claims (16)

1.一种对视频序列进行编解码的方法，其中，来自所述视频序列的图片包括一个或更多个不连续边缘，所述方法包括以下步骤：

接收当前图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素；

将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个替代参考像素是根据所述虚拟边界的与所述当前重构像素相同的一侧中的第二重构像素生成的；以及

提供包括所述经滤波的重构像素的经处理的当前图片。

2.根据权利要求1所述的方法，其特征在于，所述视频序列与360度虚拟现实(VR360)视频相对应。

3.根据权利要求1所述的方法，其特征在于，所述环路滤波器属于包括以下项的组：去块滤波器、SAO(样本自适应偏移)滤波器以及ALF(自适应环路滤波器)。

4.根据权利要求1所述的方法，其特征在于，所述替代参考像素是通过对所述虚拟边界的与所述当前重构像素相同的一侧中的最近的第二重构像素进行扩展来生成的。

5.根据权利要求1所述的方法，其特征在于，所述替代参考像素是通过将位于所述虚拟边界的不同侧中的非预期参考像素的位置剪辑到位于所述虚拟边界的与所述重构的经滤波的单元相同的一侧中并且最靠近所述非预期参考像素的修改位置来生成的。

6.根据权利要求1所述的方法，其特征在于，所述替代参考像素是在将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素时实时生成的。

7.根据权利要求1所述的方法，其特征在于，所述替代参考像素是在将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素之前生成的。

8.根据权利要求7所述的方法，其特征在于，所生成的替代参考像素存储在一个或更多个额外的线缓冲区中。

9.根据权利要求8所述的方法，其特征在于，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小与等于或小于最大滤波器大小的一半的最大整数相对应。

10.根据权利要求9所述的方法，其特征在于，当所述环路滤波器与去块滤波器相对应时，对于所述当前图片的亮度分量，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小等于4。

11.根据权利要求9所述的方法，其特征在于，当所述环路滤波器与SAO(样本自适应偏移)滤波器相对应时，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小等于1。

12.根据权利要求9所述的方法，其特征在于，当所述环路滤波器与ALF(自我调整环路滤波器)相对应时，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小小于或等于5，以用于对所述当前图片的亮度分量进行分类和滤波。

13.一种对视频序列进行编解码的装置，其中，来自所述视频序列的图片包括一个或更多个不连续边缘，所述装置包括被配置为执行以下项的一个或更多个电子设备或处理器：

接收当前图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素；

将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述当前图片的虚拟边界，则使用替代参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述替代参考像素是根据所述虚拟边界的与所述当前重构像素相同的一侧中的第二重构像素生成的；以及

提供包括所述经滤波的重构像素的经处理的当前图片。

14.一种对360度虚拟现实(VR360)视频进行编解码的方法，所述方法包括以下步骤：

接收VR360图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，所述第一重构像素用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素；

将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述VR360图片的虚拟边界，则使用一个或更多个球面邻近参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个球面邻近参考像素对应于与所述重构的经滤波的单元的包含所述当前重构像素的部分相邻的3D空间中的几何上连续的邻近参考像素，并且所述一个或更多个球面邻近参考像素以及所述重构的经滤波的单元的包含所述当前重构像素的部分位于所述VR360图片的不同面中；以及

提供包括所述经滤波的重构像素的经处理的VR360图片。

15.根据权利要求14所述的方法，其特征在于，所述环路滤波器属于包括以下项的组：去块滤波器、SAO(样本自适应偏移)和ALF(自适应环路滤波器)。

16.一种对360度虚拟现实(VR360)视频进行编解码的装置，所述装置包括被配置为执行以下项的一个或更多个电子设备或处理器：

接收VR360图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，所述第一重构像素用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素；

将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述VR360图片的虚拟边界，则使用一个或更多个球面邻近参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个球面邻近参考像素对应于与所述重构的经滤波的单元的包含所述当前重构像素的部分相邻的3D空间中的几何上连续的邻近参考像素，并且所述一个或更多个球面邻近参考像素以及所述重构的经滤波的单元的包含所述当前重构像素的部分位于所述VR360图片的不同面中；以及

提供包括所述经滤波的重构像素的经处理的VR360图片。

Images