CN112997500A - 对基于区域的自适应环路滤波器的改进 - Google Patents

对基于区域的自适应环路滤波器的改进 Download PDF

Info

Publication number
CN112997500A
CN112997500A CN201980072485.6A CN201980072485A CN112997500A CN 112997500 A CN112997500 A CN 112997500A CN 201980072485 A CN201980072485 A CN 201980072485A CN 112997500 A CN112997500 A CN 112997500A
Authority
CN
China
Prior art keywords
video
region
picture
filter coefficients
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980072485.6A
Other languages
English (en)
Other versions
CN112997500B (zh
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN112997500A publication Critical patent/CN112997500A/zh
Application granted granted Critical
Publication of CN112997500B publication Critical patent/CN112997500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了对基于区域的自适应环路滤波器的改进。在示例性方面中,一种用于视频处理的方法包括:基于与视频的当前区域并置的视频的第二区域的滤波器系数的第二集合,为视频的当前区域和视频的当前区域的比特流表示之间的转换确定视频的当前区域的滤波器系数的第一集合;以及通过使用滤波器系数的第一集合执行滤波操作来执行该转换。

Description

对基于区域的自适应环路滤波器的改进
根据适用的专利法和/或依照巴黎公约的规则,本申请是为了及时要求于2018年11月9日提交的国际专利申请No.PCT/CN2018/114834的优先权和权益。国际专利申请No.PCT/CN2018/114834的全部公开通过引用并入作为本申请的公开的一部分。
技术领域
本专利文档涉及视频编解码技术、设备和系统。
背景技术
尽管视频压缩有所进步,但是数字视频仍然占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加,预期对数字视频使用的带宽需求将继续增长。
发明内容
描述了涉及数字视频编解码,并且更具体地,涉及用于视频编解码的自适应环路滤波的设备、系统和方法。所描述的方法可以被应用于现有的视频编解码标准(例如,高效视频编解码(HEVC))和未来的视频编解码标准(例如,多功能视频编解码(VVC))或编解码器。
在一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:基于与视频的当前区域并置的视频的第二区域的滤波器系数的第二集合,确定视频的当前区域的滤波器系数的第一集合;以及基于使用滤波器系数的第一集合来执行滤波操作,从对应的比特流表示重构视频的当前区域。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:基于对应于另一色彩分量的值,为视频的当前区域的第一色度分量确定视频的当前区域的比特流表示中的一个或多个标志的值;基于一个或多个标志的值来配置滤波操作;以及使用滤波操作从比特流表示重构视频的当前区域。
在又一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:基于视频的当前区域的色彩格式,确定用于滤波操作的滤波器系数的集合;以及使用滤波操作从对应的比特流表示重构视频的当前区域。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:基于与视频的当前区域并置的视频的第二区域的滤波器系数的第二集合,为视频的当前区域和视频的当前区域的比特流表示之间的转换确定视频的当前区域的滤波器系数的第一集合;以及通过使用滤波器系数的第一集合执行滤波操作来执行该转换。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:基于与视频的当前处理单元并置的视频的第二处理单元,为视频的当前处理单元和视频的当前处理单元的比特流表示之间的转换确定第一标志,其中该第一标志指示视频的当前处理单元的自适应环路滤波器的开启或关闭状况;以及通过使用第一标志执行滤波操作来执行该转换。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:为视频的图片和视频的比特流表示之间的转换信令通知关于视频的图片的区域数量和/或尺寸的信息;基于该信息将图片划分为区域;以及基于划分的区域来执行该转换。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:为视频的图片和视频的比特流表示之间的转换解析视频的比特流表示,以获得关于视频的图片的区域数量和/或尺寸的信息;以及基于该信息来执行该转换。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:基于视频的第二区域的滤波器系数的第二集合以及滤波器系数的第一集合和滤波器系数的第二集合之间的差的集合,为视频的第一区域和视频的第一区域的比特流表示之间的转换确定视频的第一区域的滤波器系数的第一集合;以及通过使用滤波器系数的第一集合执行滤波操作来执行该转换。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:合并视频的至少两个不同区域,以获得合并区域;以及通过使用相同的所选择的滤波器系数执行滤波操作,执行视频的合并区域和该合并区域的比特流表示之间的转换,其中,视频的至少两个不同区域中的第一个区域的索引与视频的至少两个不同区域中的第二个区域的索引不连续。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:为视频的当前编解码树单元(CTU)做出关于与第一分量的自适应环路滤波器相关联的第一标志的值的决定;以及基于该决定来信令通知与第二分量的自适应环路滤波器相关联的第二标志。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:解析视频的当前编解码树单元(CTU)的比特流表示,以基于对应于CTU的第二分量的第二标志的值来确定视频的CTU的第一分量的第一标志的值;基于第一标志的值来配置滤波操作;以及使用滤波操作来执行视频的当前CTU和包括该当前CTU的视频的比特流表示之间的转换。
在另一个代表性方面中,所公开的技术可以用于提供一种用于视频处理的方法。该方法包括:做出关于视频的当前区域的色彩格式的确定;以及基于该确定来确定一个或多个色度分量的自适应环路滤波器。
在又一个代表性方面中,上述方法以处理器可执行代码的形式被体现并且被存储在计算机可读程序介质中。
在又一个代表性方面中,公开了被配置为或可操作来执行上述方法的设备。该设备可以包括被编程为实施该方法的处理器。
在又一个代表性方面中,视频解码器装置可以实施如本文所描述的方法。
在附图、说明书和权利要求中更详细地描述了所公开的技术的以上以及其他方面和特征。
附图说明
图1示出了用于视频编解码的编码器框图的示例。
图2A、图2B和图2C示出了基于几何变换的自适应环路滤波器(GALF)滤波器形状的示例。
图3示出了GALF编码器决定的流程图的示例。
图4A-图4D示出了自适应环路滤波器(ALF)分类的示例子采样拉普拉斯算子(Laplacian)计算。
图5示出了亮度滤波器形状的示例。
图6示出了宽视频图形阵列(WVGA)序列的区域划分的示例。
图7示出了根据所公开的技术的用于跨分量预测的线性模型推导的示例方法的流程图。
图8示出了根据所公开的技术的用于跨分量预测的线性模型推导的另一示例方法的流程图。
图9示出了根据所公开的技术的用于跨分量预测的线性模型推导的又一示例方法的流程图。
图10是视频处理的示例方法的流程图。
图11是视频处理的示例方法的流程图。
图12是视频处理的示例方法的流程图。
图13是视频处理的示例方法的流程图。
图14是视频处理的示例方法的流程图。
图15是视频处理的示例方法的流程图。
图16是视频处理的示例方法的流程图。
图17是视频处理的示例方法的流程图。
图18是视频处理的示例方法的流程图。
图19是用于实施在本文档中描述的可视媒体解码或可视媒体编码技术的硬件平台的示例的框图。
具体实施方式
由于对更高分辨率视频日益增长的需求,视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件,并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式,反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据丢失和误差的敏感性、编辑的简易性、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范,例如高效视频编解码(HEVC)标准(也被称为H.265或MPEG-H Part 2)、待完成的通用视频编解码(VVC)标准或其它当前和/或将来的视频编解码标准。
在一些实施例中,使用称为联合探索模型(JEM)的参考软件来探索未来的视频编解码技术。在JEM中,几种编解码工具采用了基于子块的预测,诸如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)、帧速率上转换(FRUC)、局部自适应运动矢量分辨率(LAMVR)、重叠块运动补偿(OBMC)、局部照明补偿(LIC)和解码器侧运动矢量细化(DMVR)。
本公开的技术的实施例可以被应用于现有的视频编解码标准(例如,HEVC,H.265)和未来的标准,以提高运行时性能。在本文档中使用章节标题来提高说明书的可读性,并且不以任何方式将讨论或实施例(和/或实施方式)仅限于相应章节。
1色彩空间和色度子采样的示例
色彩空间,也称为色彩模型(或色彩系统),是一种抽象的数学模型,其将色彩范围简单地描述为数的元组(tuple),典型地为3或4个值或色彩分量(例如,RGB)。基本上,色彩空间是对坐标系和子空间的详细说明。
对于视频压缩,最常用的色彩空间是YCbCr和RGB。
YCbCr、Y'CbCr或Y Pb/Cb Pr/Cr,也称为YCBCR或Y'CBCR,是在视频和数字摄影系统中用作色彩图像流水线(pipeline)一部分的一系列色彩空间。Y'是亮度分量,并且CB和CR是蓝差(blue-difference)和红差(red-difference)色度分量。Y'(带有质数(prime))与作为亮度的Y区分开,意味着基于伽玛校正的RGB原色对光强度进行非线性编码。
色度子采样是通过对色度信息实现比对亮度信息更低的分辨率来对图像进行编码的实践,利用了人类视觉系统对色差比对亮度的更低敏锐度。
1.1 4:4:4色彩格式
三个Y'CbCr分量中的每一个具有相同的采样率,因此不存在色度子采样。该方案有时用于高端胶片扫描仪和电影后期制作中。
1.2 4:2:2色彩格式
两个色度分量以亮度的采样率的一半采样,例如水平色度分辨率减半。这在几乎没有视觉差异的情况下将未压缩视频信号的带宽减少了三分之一。
1.3 4:2:0色彩格式
在4:2:0中,水平采样与4:1:1相比加倍,但是由于在该方案中Cb和Cr通道仅在每交替条线上采样,因此垂直分辨率减半。因此,数据率是相同的。Cb和Cr分别在水平和垂直方向上以2的因子进行子采样。存在4:2:0方案的三种变体,具有不同的水平和垂直位置。
○在MPEG-2中,Cb和Cr水平地同位(cosite)。Cb和Cr在垂直方向上位于像素之间(填隙地定位)。
○在JPEG/JFIF、H.261和MPEG-1中,Cb和Cr填隙地定位,在交替亮度样点之间的中间。
○在4:2:0中,DV、Cb和Cr在水平方向上同位。在垂直方向上,它们在交替线上同位。
2典型视频编解码器的编解码流程的示例
图1示出了VVC的编码器框图的示例,其包含三个环路滤波块:去方块滤波器(DF)、样点自适应偏移(SAO)和ALF。与使用预定滤波器的DF不同,SAO和ALF利用当前图片的原始样点并且通过分别添加偏移和应用有限脉冲响应(FIR)滤波器来减少原始样点与重构的样点之间的均方误差,且编解码的边信息(side information)信令通知偏移和滤波器系数。ALF位于每个图片的最后一个处理阶段,并且可以看作是试图捕获和修复由先前阶段产生的伪影的工具。
3 JEM中基于几何变换的自适应环路滤波器的示例
在JEM中,应用了具有基于块的滤波器自适应的基于几何变换的自适应环路滤波器(GALF)。对于亮度分量,基于局部梯度的方向和活动,为每个2×2块选择25个滤波器当中的一个。
3.1滤波器形状的示例
在JEM中,可以为亮度分量选择多至三个菱形滤波器形状(对于5×5菱形、7×7菱形和9×9菱形分别如图2A、2B和2C所示)。在图片级别信令通知索引,以指示用于亮度分量的滤波器形状。对于图片中的色度分量,始终使用5×5菱形。
3.1.1块分类
每个2×2块被分类为25个分类中的一个。基于方向性D和活动
Figure BDA0003049007210000063
的量化值推导分类索引C如下:
Figure BDA0003049007210000061
为了计算D和
Figure BDA0003049007210000062
首先使用1-D拉普拉斯算子计算水平、垂直和两个对角方向的梯度:
Figure BDA0003049007210000071
Figure BDA0003049007210000072
Figure BDA0003049007210000073
Figure BDA0003049007210000074
索引i和j指代2×2块中的左上方样点的坐标,并且R(i,j)指示坐标(i,j)处的重构的样点。
然后水平和垂直方向的梯度的D最大值和最小值被设置为:
Figure BDA0003049007210000075
并且两个对角方向的梯度的最大值和最小值被设置为:
Figure BDA0003049007210000076
为了推导方向性D的值,这些值被彼此比较并与两个阈值t1和t2比较:
步骤1.如果
Figure BDA0003049007210000077
Figure BDA0003049007210000078
都为真,则D被设置为0。
步骤2.如果
Figure BDA0003049007210000079
从步骤3继续;否则从步骤4继续。
步骤3.如果
Figure BDA00030490072100000710
则D被设置为2;否则D被设置为1。
步骤4.如果
Figure BDA00030490072100000711
则D被设置为4;否则D被设置为3。
活动值A被计算为:
Figure BDA00030490072100000712
A被进一步量化到0至4的范围(包括),并且量化的值指代为
Figure BDA00030490072100000713
对于图片中的两个色度分量,不应用分类方法,即,对每个色度分量应用ALF系数的单个集合。
3.1.2滤波器系数的几何变换
在滤波每个2×2块之前,取决于对该块计算的梯度值,将诸如旋转或对角和垂直翻转的几何变换应用于滤波器系数f(k,l)。这等同于将这些变换施加于滤波器支持区域中的样点。该思想是通过将它们的方向性对准,使应用ALF的不同块更类似。
引入三个几何变换,包括对角、垂直翻转和旋转:
对角:fD(k,l)=f(l,k),
垂直翻转:fV(k,l)=f(k,K-l-1), (9)
旋转:fR(k,l)=f(K-l-1,k).
本文中,K是滤波器的尺寸,并且0≤k,l≤K-1是系数坐标,使得位置(0,0)在左上角,并且位置(K-1,K-1)在右下角。根据为该块计算的梯度值,将变换应用于滤波器系数f(k,l)。变换和四个方向的四个梯度之间的关系概括在表1中。
表1:为一个块计算的梯度和变换的映射
梯度值 变换
g<sub>d2</sub>&lt;g<sub>d1</sub>且g<sub>h</sub>&lt;g<sub>v</sub> 没有变换
g<sub>d2</sub>&lt;g<sub>d1</sub>且g<sub>v</sub>&lt;g<sub>h</sub> 对角
g<sub>d1</sub>&lt;g<sub>d2</sub>且g<sub>h</sub>&lt;g<sub>v</sub> 垂直翻转
g<sub>d1</sub>&lt;g<sub>d2</sub>且g<sub>v</sub>&lt;g<sub>h</sub> 旋转
3.1.3滤波器参数的信令通知
在JEM中,对第一CTU信令通知GALF滤波器参数,即,在条带头之后且在第一CTU的SAO参数之前。可以信令通知多至亮度滤波器系数的25个集合。为了减少比特开销,可以合并不同分类的滤波器系数。另外,参考图片的GALF系数被存储并被允许重用作当前图片的GALF系数。当前图片可以选择使用为参考图片存储的GALF系数,并绕过GALF系数信令通知。在这种情况下,仅信令通知参考图片之一的索引,并且对当前图片继承所存储的所指示的参考图片的GALF系数。
为了支持GALF时域预测,维护GALF滤波器集合的候选列表。在开始解码新序列时,候选列表为空。在解码一个图片之后,可以将滤波器的对应集合添加到候选列表中。一旦候选列表的尺寸达到最大允许值(即,当前JEM中的6),滤波器的新集合就会按照解码顺序覆盖最旧集合,即应用先进先出(FIFO)规则以更新候选列表。为避免重复,可以仅当相应图片不使用GALF时域预测时,才将集合添加到列表中。为了支持时域可缩放性,存在滤波器集合的多个候选列表,并且每个候选列表都与时域层相关联。更具体地,由时域层索引(TempIdx)分配的每个阵列可以组成具有等于较低的TempIdx的先前解码图片的滤波器集合。例如,第k个阵列被分配为与等于k的TempIdx相关联,并且它仅包含来自TempIdx小于或等于k的图片的滤波器集合。在编解码某图片之后,与该图片相关联的滤波器集合将用于更新与相等或更高TempIdx相关联的那些阵列。
GALF系数的时域预测用于帧间编解码的帧,以最小化信令通知开销。对于帧内帧,时域预测不可用,并且为每个分类分配16个固定滤波器的集合。为了指示固定滤波器的使用,将信令通知每个分类的标志,并在必要时信令通知所选固定滤波器的索引。即使当为给定分类选择固定滤波器时,仍可以为该分类传送自适应滤波器的系数f(k,l),在这种情况下,将被应用于重构图像的滤波器的系数为系数的两个集合之和。
亮度分量的滤波过程可以在CU级别进行控制。信令通知标志以指示是否将GALF应用于CU的亮度分量。对于色度分量,仅在图片级别指示是否应用GALF。
3.1.4滤波过程
在解码器侧,当对块启用GALF时,滤波块内的每个样点R(i,j),产生样点值R′(i,j),如下所示,其中L表示滤波器长度,fm,n表示滤波器系数,并且f(k,l)表示解码的滤波器系数。
Figure BDA0003049007210000091
3.1.5编码器侧滤波器参数的确定过程
GALF的整体编码器决定过程在图3中示出。对于每个CU的亮度样点,编码器做出是否应用GALF的决定,并且适当信令通知标志被包括在条带头中。对于色度样点,基于图片级别而非CU级别进行应用滤波器的决定。此外,仅当对图片启用亮度GALF时才检查图片的色度GALF。
4 VVC中的基于几何变换的自适应环路滤波器的示例
VVC中的GALF的当前设计与JEM中相比具有以下主要改变:
1)自适应滤波器形状被移除。对亮度分量仅允许7x7滤波器形状,并且对色度分量允许5x5滤波器形状。
2)ALF参数的时域预测和从固定滤波器的预测都被移除。
3)对于每个CTU,信令通知ALF被启用还是禁用的一比特标志。
4)分类索引的计算在4x4级别而非2x2级别执行。此外,如JVET-L0147所提出,采用ALF分类的子采样的拉普拉斯算子计算方法。更具体地,不需要为一个块内的每个样点计算水平/垂直/45对角/135度梯度。反之,采用1:2子采样。
5 AVS2中的基于区域的自适应环路滤波器的示例
ALF是环路滤波的最后阶段。此过程分为两个阶段。第一阶段是滤波器系数推导。为了训练滤波器系数,编码器将亮度分量的重构像素分类为16个区域,并使用维纳-霍夫方程(wiener-hopf equations)对每个类别训练滤波器系数的一个集合,以最小化原始帧和重构帧之间的均方误差。为了减少这滤波器系数的16个集合之间的冗余,编码器将基于速率失真性能自适应地将它们合并。最多可以为亮度分量分配16个不同的滤波器集合,对于色度分量只分配一个滤波器集合。第二阶段是滤波器决定,其中包括帧级别和LCU级别。首先,编码器决定是否进行帧级别自适应环路滤波。如果帧级别ALF开启,则编码器进一步确定是否执行LCU级别ALF。
5.1滤波器形状
在AVS-2中采用的滤波器形状是叠加3×3正方形的7×7十字形,如图5对亮度和色度分量所示。图5中的每个正方形对应样点。因此,总共使用17个样点来推导位置C8的样点的滤波值。考虑到发送系数的开销,仅使用仅剩九个系数的点对称滤波器,{C0,C1,...,C8},其将滤波器系数的数量减少到一半,并且将滤波中的乘法运算的数量减少到一半。点对称滤波器还可减少一个滤波样点的一半计算,例如,一个滤波样点仅进行9次乘法和14次加法运算。
5.2基于区域的自适应合并
为了适应不同的编解码误差,AVS-2对亮度分量采用基于区域的多个自适应环路滤波器。亮度分量被划分为16个大致相等尺寸的基本区域,其中每个基本区域与最大编解码单元(LCU)边界对准,如图6所示,并且为每个区域推导一个Wiener滤波器。使用的滤波器越多,减少的失真就越多,但是用于编码这些系数的比特随着滤波器的数量而增加。为了获得最佳的速率失真性能,可以将这些区域合并为较少的较大区域,这些区域共享相同的滤波器系数。为了简化合并过程,基于图像先验相关性,根据修改的希尔伯特(Hilbert)顺序,为每个区域分配索引。可以基于速率失真成本合并具有连续索引的两个区域。
应该将区域之间的映射信息信令通知到解码器。在AVS-2中,基本区域的数量用于表示合并结果,并且滤波器系数根据其区域顺序依次压缩。例如,当{0,1}、{2,3,4}、{5,6,7,8,9}和其余基本区域分别合并为一个区域时,仅编解码三个整数来表示此合并映射,即2、3、5。
5.3边信息的信令通知
还使用了多个开关标志。序列开关标志adaptive_loop_filter_enable用于控制是否对整个序列应用自适应环路滤波器。图像开关标志picture_alf_enble[i]控制是否将ALF应用于对应的第i个图像分量。仅如果启用picture_alf_enble[i],才发送该色彩分量的对应的LCU级别标志和滤波器系数。LCU级别标志lcu_alf_enable[k]控制是否为对应的第k个LCU启用ALF,并被交织到条带数据中。不同级别的调节标志的决定全部基于速率失真成本。高灵活性进一步使ALF大大提高了编解码效率。
在一些实施例中,并且对于亮度分量,可能存在多至滤波器系数的16个集合。
在一些实施例中,并且对于每个色度分量(Cb和Cr),可以发送滤波器系数的一个集合。
6现有实施方式的缺点
在一些现有的实施方式中(例如,AVS-2中的基于区域的ALF设计),遇到了以下问题:
(1)对于基于区域的ALF设计,没有利用当前图片和先前编解码的图片中的区域之间的滤波器系数的相关性。
(2)不管视频分辨率如何,对于所有种类的视频,区域尺寸都是固定的。对于具有高分辨率(例如,4096x2048)的视频,划分为16个区域可能产生太大的区域。
(3)对于每个LCU,信令通知每个色彩分量的一比特标志,以指示是否应用ALF。但是,亮度和色度之间存在一定的相依性,当不将ALF应用于亮度时,通常不会将其应用于对应的色度块。
VVC中的GALF设计具有以下问题:
(1)它针对4:2:0色彩格式而设计。对于4:4:4色彩格式,亮度和色度分量可能具有类似的重要性。如何更好地应用GALF尚不清楚。
7自适应环路滤波中的改进的示例性方法
本公开的技术的实施例克服了现有实施方式的缺点,从而为视频编解码提供了更高的编解码效率。在针对各种实施方式描述的以下示例中,阐明了基于所公开的技术,自适应环路滤波的改进可以增强现有和未来的视频编解码标准。下面提供的所公开的技术的示例解释了一般构思,并且不意图着被解释为限制性的。在示例中,除非明确相反地指示,否则可以组合这些示例中描述的各种特征。
示例1.提出了可以从在不同图片中的(例如,并置的)区域中使用的滤波器系数来预测/推导当前条带/图片/片组内的一个区域的滤波器系数。
(a)在一个示例中,可以首先信令通知区域的一个标志以指示是否从在并置区域中使用的那些滤波器系数预测/推导滤波器系数。
(b)在一个示例中,并置区域应该位于当前图片的参考图片中。
(c)此外,替代地,可以信令通知索引以指示可以从哪个图片预测/推导滤波器系数。
(d)在一个示例中,可以信令通知区域的另一个标志以指示是否从与另一区域(例如,其临近区域)相同的图片预测/推导其滤波器系数。
(i)在一个示例中,信令通知附加信息以指示从哪个区域预测/推导滤波器系数。
示例2.可以以较高级别(即,视频数据的较大集合,诸如图片/条带/片组/片)信令通知一个标志,以指示是否从不同图片中的其对应并置区域预测/推导全部区域的滤波器系数。
(a)在一个示例中,不同图片应该是当前图片的参考图片。
(b)此外,可替代地,可以信令通知索引以指示可以从哪个图片预测/推导滤波器系数。
示例3.可以从不同图片中的(例如,并置的)区域/(例如,并置的)CTU继承区域或CTU的ALF开启/关闭标志。
(a)在一个示例中,并置区域应该位于当前图片的参考图片中。
(b)以较高级别(即,视频数据的较大集合,诸如图片/条带/片组/片)信令通知一个标志,以指示是否从不同图片中的其对应并置区域继承全部区域的开启/关闭标志。
(c)可以在图片/条带头/片组头中信令通知索引,以指示可以从哪个图片继承开启/关闭标志。
示例4.可以在SPS、VPS、PPS、图片头或条带头中信令通知区域尺寸或区域的数量。
(a)在一个示例中,可以预定义区域数量/尺寸的若干集合。可以信令通知对集合的索引。
(b)在一个示例中,区域的数量或区域尺寸可以取决于图片的宽度和/或高度、和/或图片/条带类型。
示例5.可以利用与两个区域相关联的滤波器系数的预测编解码。
(a)当信令通知第一区域的滤波器系数时,可以信令通知与第二区域的滤波器系数相比的差。
(i)第二区域可以是具有第一区域的连续索引的区域。
(ii)第二区域可以是在启用ALF的情况下先前编解码的区域中的具有最大索引值的区域。
示例6.提出了可以合并即使具有非连续索引的不同区域。
(a)合并区域可以共享所选择的滤波器的相同集合。
(b)在一个示例中,在图片头中信令通知合并哪些区域。
(c)在一个示例中,对于每个区域,可以发送所选择的滤波器系数的集合的索引。
示例7.对于给定的CTU,色度分量的ALF开启/关闭标志的信令通知可以取决于亮度分量的开启/关闭值。
(a)色度分量的ALF开启/关闭标志的信令通知可以取决于另一色度分量的开启/关闭值,例如,Cb取决于Cr,或者Cr取决于Cb。
(b)在一个示例中,当对色彩分量禁用ALF时,在没有任何信令通知的情况下对CTU的另外一个或多个色彩分量自动禁用ALF。
(c)在一个示例中,一个色彩分量的ALF开启/关闭值可以用作用于对另一个色彩分量的ALF开启/关闭值进行编解码的上下文。
示例8.如何处理色度色彩分量的ALF可以取决于色彩格式。
(a)是否应用色度分量的分类取决于色彩格式。例如,对于4:4:4,可以应用色度分量的基于块的分类,而对于4:2:0则不允许。
(b)是否允许色度分量的滤波器的多个集合取决于色彩格式。例如,对于4:4:4,可以应用色度分量的滤波器的多个集合,而对于4:2:0,滤波器的一个集合被应用于两个色彩分量。
(c)是否允许两个色度分量的不同滤波器取决于色彩格式。例如,对于4:4:4,可以应用色度分量的滤波器的至少两个集合,其中至少一个集合分别用于一个色彩分量。而对于4:2:0,则滤波器的一个集合被应用于两个色彩分量。
(d)在一个示例中,当色彩格式为4:4:4时,两个色度分量可以使用不同的滤波器或滤波器的不同集合,或者滤波器的选择基于每个色彩分量的分类结果。
上面描述的示例可以并入下面描述的可以在视频解码器或视频编码器处被实施的方法(例如,方法700、800和900)的上下文。
图7示出了用于视频处理的示例性方法的流程图。方法700包括,在步骤710,基于与视频的当前区域并置的视频的第二区域的滤波器系数的第二集合,确定视频的当前区域的滤波器系数的第一集合。
方法700包括,在步骤720,基于使用滤波器系数的第一集合来执行滤波操作,从对应的比特流表示重构视频的当前区域。在一些实施例中,滤波操作包括环路滤波(或自适应环路滤波)。
在一些实施例中,并且在示例1的上下文中,视频的第二区域来自与视频的当前区域的当前图片不同的图片。在其他实施例中,不同的图片是当前图片的参考图片。
在一些实施例中,并且在示例5的上下文中,滤波器系数的第一集合是使用预测操作从滤波器系数的第二集合预测的。在示例中,预测操作是基于比特流表示中的标志而控制的。
在一些实施例中,并且在示例5的上下文中,滤波器系数的第一集合基于滤波器系数的第二集合以及滤波器系数的第一集合和滤波器系数的第二集合之间的差的集合。在示例中,视频的第二区域的索引与视频的当前区域的索引连续。在另一示例中,视频的第二区域的索引对应于对其启用了滤波操作的先前编解码的区域的最大索引值。在示例6的上下文中,视频的第二区域的索引与视频的当前区域的索引不连续。
图8示出了用于视频处理的示例性方法的流程图。方法800包括,在步骤810,基于对应于另一色彩分量的值,为视频的当前区域的第一色度分量确定视频的当前区域的比特流表示中的一个或多个标志的值。在一些实施例中,色彩分量可以是亮度分量或另一色度分量,例如,YUV文件的Y、Cb和Cr。
方法800包括,在步骤820,基于一个或多个标志的值来配置滤波操作。在一些实施例中,滤波操作包括环路滤波(或自适应环路滤波)。
方法800包括,在步骤830,使用滤波操作从比特流表示重构视频的当前区域。
在一些实施例中,并且在示例7的上下文中,对应于第一色度分量的一个或多个标志的值基于对应于视频的当前区域的亮度分量的一个或多个标志的值。
在一些实施例中,并且在示例7的上下文中,对应于第一色度分量的一个或多个标志的值基于对应于视频的当前区域的第二色度分量的一个或多个标志的值。在示例中,第一色度分量是蓝差色度分量,并且第二色度分量是红差色度分量。在另一示例中,第一色度分量是红差色度分量,并且第二色度分量是蓝差色度分量。
在一些实施例中,并且在示例8的上下文中,对应于第一色度分量的一个或多个标志的值基于视频的当前区域的色彩格式。
图9示出了用于视频处理的示例性方法的流程图。方法900包括,在步骤910,基于视频的当前区域的色彩格式,确定用于滤波操作的滤波器系数的集合。在一些实施例中,滤波操作包括环路滤波(或自适应环路滤波)。
方法900包括,在步骤920,使用滤波操作从对应的比特流表示重构视频的当前区域。
在一些实施例中,并且在示例8的上下文中,滤波器系数的不同集合用于视频的当前区域的不同色度分量的滤波操作。在其他实施例中,滤波器系数的多个集合用于视频的当前区域的至少一个色度分量的滤波操作。在示例中,色彩格式为4:4:4。
图10示出了用于视频处理的示例性方法的流程图。方法1000包括:基于与视频的当前区域并置的视频的第二区域的滤波器系数的第二集合,为视频的当前区域和视频的当前区域的比特流表示之间的转换确定(1002)视频的当前区域的滤波器系数的第一集合;以及通过使用滤波器系数的第一集合执行滤波操作来执行(1004)该转换。
在一些示例中,滤波器系数的第一集合是从滤波器系数的第二集合预测或推导的。
在一些示例中,滤波操作包括环路滤波,并且滤波器系数的第一集合是环路滤波的自适应环路滤波器的滤波器系数。
在一些示例中,视频的当前区域来自视频数据的第一集合,视频的第二区域来自视频数据的第二集合,其中该视频数据的第二集合与视频数据的第一集合不同,视频数据的集合包括条带、片、片组、图片中的一个。
在一些示例中,视频的第二区域来自与视频的当前区域的当前图片不同的图片。
在一些示例中,不同的图片是当前图片的参考图片。
在一些示例中,方法1000还包括:对于视频的至少一个区域,信令通知区域的第一标志以指示区域的滤波器系数的集合是否是基于与区域并置的并置区域的滤波器系数的对应集合而预测/推导的。
在一些示例中,方法1000还包括:对于视频的至少一个区域,解析区域的比特流表示以获得区域的第一标志,以指示区域的滤波器系数的集合是否是基于与区域并置的并置区域的滤波器系数的对应集合而预测或推导的。
在一些示例中,方法1000还包括:对于视频的至少一个区域,信令通知图片的索引,以指示从哪个图片预测或推导区域的滤波器系数的集合。
在一些示例中,方法1000还包括:对于视频的至少一个区域,解析区域的比特流表示以获得图片的索引,以指示从哪个图片预测或推导区域的滤波器系数的集合。
在一些示例中,方法1000还包括:对于视频的至少一个区域,信令通知区域的第二标志,以指示区域的滤波器系数的集合是否是从与另一区域相同的图片预测或推导的。
在一些示例中,另一区域是区域的临近区域。
在一些示例中,方法1000还包括:信令通知区域的附加信息,以指示从哪个区域预测或推导滤波器系数的集合。
在一些示例中,方法1000还包括:对于视频的至少一个区域,解析区域的比特流表示以获得区域的第二标志,以指示区域的滤波器系数的集合是否是从与另一区域相同的图片预测或推导的。
在一些示例中,另一区域是区域的临近区域。
在一些示例中,方法1000还包括:解析区域的比特流表示以获得区域的附加信息,以指示从哪个区域预测或推导滤波器系数的集合。
在一些示例中,方法1000还包括:在视频数据的集合的级别信令通知第三标志,以指示视频数据的第一集合内的全部区域的滤波器系数是否是从不同图片中的其对应并置区域预测或推导的。
在一些示例中,不同图片是当前图片的参考图片。
在一些示例中,方法1000还包括:信令通知图片的索引,以指示从哪个图片预测或推导全部区域的滤波器系数。
在一些示例中,方法1000还包括:解析区域的比特流表示以在视频数据的集合的级别获得第三标志,以指示视频数据的第一集合内的全部区域的滤波器系数是否是从不同图片中的其对应并置区域预测或推导的。
在一些示例中,不同图片是当前图片的参考图片。
在一些示例中,方法1000还包括:解析区域的比特流表示以获得图片的索引,以指示从哪个图片预测或推导全部区域的滤波器系数。
图11示出了用于视频处理的示例性方法的流程图。方法1100包括:基于与视频的当前处理单元并置的视频的第二处理单元,为视频的当前处理单元和视频的当前处理单元的比特流表示之间的转换确定(1102)第一标志,其中该第一标志指示视频的当前处理单元的自适应环路滤波器的开启或关闭状况;以及通过基于第一标志执行滤波操作来执行(1104)该转换。
在一些示例中,视频的当前处理单元的第一标志是从视频的第二处理单元继承的。
在一些示例中,滤波操作包括环路滤波。
在一些示例中,处理单元包括区域和编解码树单元(CTU)中的一个。
在一些示例中,视频的当前处理单元来自视频数据的第一集合,视频的第二处理单元来自视频数据的第二集合,其中该视频数据的第二集合与视频数据的第一集合不同,视频数据的集合包括条带、片、片组、图片中的一个。
在一些示例中,视频的第二处理单元来自与视频的当前处理单元的当前图片不同的图片。
在一些示例中,不同的图片是当前图片的参考图片。
在一些示例中,方法1100还包括:在视频数据的集合的级别信令通知第二标志,以指示视频数据的集合内的全部处理单元的第一标志是否是从不同图片中的其对应并置处理单元继承的。
在一些示例中,方法1100还包括:解析区域的比特流表示以在视频数据的集合的级别获得第二标志,以指示视频数据的集合内的全部处理单元的第一标志是否是从不同图片中的其对应并置处理单元继承的。
在一些示例中,方法1100还包括:在图片头、条带头、片组头中信令通知图片的索引,以指示从哪个图片继承第一处理单元的第一标志。
在一些示例中,方法1100还包括:解析区域的比特流表示以在图片头、条带头、片组头中获得图片的索引,以指示从哪个图片继承第一处理单元的第一标志。
图12示出了用于视频处理的示例性方法的流程图。方法1200包括:为视频的图片和视频的比特流表示之间的转换信令通知(1202)关于视频的图片的区域数量和/或尺寸的信息;基于该信息将图片划分(1204)为区域;以及基于划分的区域来执行(1206)该转换。
在一些示例中,在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、图片头、条带头中的至少一个中信令通知关于区域数量和/或尺寸的信息。
在一些示例中,方法1200还包括:信令通知对区域数量和/或尺寸的多个集合中的至少一个的索引,其中,区域数量和/或尺寸的多个集合是预定义的。
在一些示例中,区域数量和/或尺寸取决于图片的宽度和/或高度、和/或条带类型。
图13示出了用于视频处理的示例性方法的流程图。方法1300包括:为视频的图片和视频的比特流表示之间的转换解析(1302)视频的比特流表示,以获得关于视频的图片的区域数量和/或尺寸的信息;以及基于该信息来执行(1304)该转换。
在一些示例中,解析视频的比特流表示,以在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、图片头、条带头中的至少一个中获得关于区域数量和/或尺寸的信息。
在一些示例中,方法1300还包括:解析视频的比特流表示,以获得对区域数量和/或尺寸的多个集合中的至少一个的索引,其中,区域数量和/或尺寸的多个集合是预定义的。
在一些示例中,区域数量和/或尺寸取决于图片的宽度和/或高度、和/或条带类型。
图14示出了用于视频处理的示例性方法的流程图。方法1400包括:基于视频的第二区域的滤波器系数的第二集合以及滤波器系数的第一集合和滤波器系数的第二集合之间的差的集合,为视频的第一区域和视频的第一区域的比特流表示之间的转换确定(1402)视频的第一区域的滤波器系数的第一集合;以及通过使用滤波器系数的第一集合执行滤波操作来执行(1404)该转换。
在一些示例中,当确定第二区域的滤波器系数的第一集合时,差的集合被信令通知。
在一些示例中,当确定第二区域的滤波器系数的第一集合时,解析视频的第一区域的比特流表示以获得差的集合。
在一些示例中,视频的第二区域的索引与视频的第一区域的索引连续。
在一些示例中,视频的第二区域的索引对应于对其启用了滤波操作的先前编解码的区域的最大索引值。
在一些示例中,滤波操作包括自适应环路滤波。
图15示出了用于视频处理的示例性方法的流程图。方法1500包括:合并(1502)视频的至少两个不同区域,以获得合并区域;以及通过使用相同的所选择的滤波器系数执行滤波操作,执行(1054)视频的合并区域和该合并区域的比特流表示之间的转换,其中,视频的至少两个不同区域中的第一个区域的索引与视频的至少两个不同区域中的第二个区域的索引不连续。
在一些示例中,合并区域共享所选择的滤波器系数的一个相同集合。
在一些示例中,方法1500还包括:在图片头中信令通知合并视频的哪些区域。
在一些示例中,方法1500还包括:对于每个区域,所选择的滤波器系数的集合的索引被发送。
图16示出了用于视频处理的示例性方法的流程图。方法1600包括:为视频的当前编解码树单元(CTU)做出关于与第一分量的自适应环路滤波器相关联的第一标志的值的决定(1602);以及基于该决定来信令通知(1604)与第二分量的自适应环路滤波器相关联的第二标志。
在一些示例中,第一分量包括亮度分量,并且第二分量包括一个或多个色度分量。
在一些示例中,响应于该决定指示亮度分量的自适应环路滤波器被禁用,在没有任何信令通知的情况下自动禁用CTU的一个或多个色度分量的自适应环路滤波器。
在一些示例中,第一分量是蓝差(Cb)色度分量,并且第二分量是红差(Cr)色度分量。
在一些示例中,第一分量是红差(Cr)色度分量,并且第二分量是蓝差(Cb)色度分量。
在一些示例中,响应于该决定指示一个色度分量的自适应环路滤波器被禁用,在没有任何信令通知的情况下自动禁用CTU的另外的一个或多个色彩分量的自适应环路滤波器。
在一些示例中,与一个色彩分量的自适应环路滤波器相关联的第一标志的值用作用于对与另一色彩分量的自适应环路滤波器相关联的第二标志的值进行编解码的上下文。
在一些示例中,方法1600还包括:使用第二标志来确定启用/禁用滤波操作,基于该确定来执行视频的当前CTU和包括当前CTU的视频的比特流表示之间的转换。
图17示出了用于视频处理的示例性方法的流程图。方法1700包括:解析(1702)视频的当前编解码树单元(CTU)的比特流表示,以基于对应于CTU的第二分量的第二标志的值来确定视频的CTU的第一分量的第一标志的值;基于第一标志的值来配置(1704)滤波操作;以及使用滤波操作来执行(1706)视频的当前CTU和包括该当前CTU的视频的比特流表示之间的转换。
在一些示例中,第二分量包括亮度分量,并且第一分量包括一个或多个色度分量。
在一些示例中,响应于第二标志的值指示亮度分量的自适应环路滤波器被禁用,自动禁用CTU的一个或多个色度分量的自适应环路滤波器。
在一些示例中,第二分量是蓝差(Cb)色度分量,并且第一色度分量是红差(Cr)色度分量。
在一些示例中,第二分量是红差(Cr)色度分量,并且第一色度分量是蓝差(Cb)色度分量。
在一些示例中,响应于第二标志的值指示一个色度分量的自适应环路滤波器被禁用,自动禁用CTU的另外的一个或多个色彩分量的自适应环路滤波器。
在一些示例中,与一个色彩分量的自适应环路滤波器相关联的第一标志的值用作用于对与另一色彩分量的自适应环路滤波器相关联的第一标志的值进行解码的上下文。
图18示出了用于视频处理的示例性方法的流程图。方法1800包括:做出关于视频的当前区域的色彩格式的确定(1802);以及基于该确定来确定(1804)一个或多个色度分量的自适应环路滤波器。
在一些示例中,是否使用应用一个或多个色度分量的分类基于该确定。
在一些示例中,是否使用一个或多个色度分量的滤波器的多个集合基于该确定。
在一些示例中,是否使用两个色度分量的滤波器的不同集合基于该确定。
在一些示例中,响应于确定色彩格式为4:4:4,两个色度分量使用不同的滤波器或滤波器的不同集合,或者滤波器的选择基于每个色彩分量的分类结果。
在一些示例中,方法1800还包括:通过使用一个或多个色度分量的自适应环路滤波器执行滤波操作,执行视频的当前区域和当前区域的比特流表示之间的转换。
在一些示例中,滤波操作包括环路滤波。
在一些示例中,该转换从比特流表示生成视频的区域。
在一些示例中,该转换从视频的区域生成比特流表示。
8所公开的技术的示例实施方式
图19是视频处理装置1900的框图。装置1900可以用于实施本文描述的方法中的一种或多种。装置1900可以体现在智能电话、平板电脑、计算机、物联网(Internet ofThings,IoT)接收器等中。装置1900可以包括一个或多个处理器1902、一个或多个存储器1904、以及视频处理硬件1906。(多个)处理器1902可以被配置为实施本文档中描述的一种或多种方法(包括但不限于方法700、800和900)。存储器(多个存储器)1904可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件1906可以用于以硬件电路实施本文档中描述的一些技术。
在一些实施例中,视频编解码方法可以使用关于图19描述的被实施在硬件平台上的装置来实施。
从前面可以理解,为了说明的目的,本文已经描述了当前公开的技术的特定实施例,但是在不脱离本发明的范围的情况下,可以进行各种修改。因此,当前公开的技术不受除了所附权利要求之外的限制。
本专利文档中描述的主题和功能操作的实施方式可以在各种系统、数字电子电路中被实施,或者在计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)中被实施,或者在它们中的一个或多个的组合中被实施。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序产品,即编码在有形和非暂时性计算机可读介质上的计算机程序指令的一个或多个模块,该计算机程序指令用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理单元”或“数据处理装置”包含用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写,并且其可以以任何形式部署,包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如,存储在标记语言文档中的一个或多个脚本)的文件的一部分中,存储在专用于所讨论的程序的单个文件中,或存储在多个协调文件中(例如,存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以被实施为专用逻辑电路,例如,FPGA(Field Programmable Gate Array,现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit,专用集成电路)。
适合于执行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备(例如,磁盘、磁光盘或光盘),或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而,计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
本说明书以及附图旨在被认为仅是示例性的,其中示例性意味着示例。如本文所使用的,单数形式“一”和“该”旨在也包括复数形式,除非上下文另有明确指示。可替代地,“或”的使用旨在包括“和/或”,除非上下文另外清楚地指示。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何发明或可能要求保护的范围的限制,而是作为特定于特定发明的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外,尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护,但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例,并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims (55)

1.一种用于视频处理的方法,包括:
基于与视频的当前区域并置的视频的第二区域的滤波器系数的第二集合,为视频的所述当前区域和视频的所述当前区域的比特流表示之间的转换确定视频的所述当前区域的滤波器系数的第一集合;以及
通过使用所述滤波器系数的第一集合执行滤波操作来执行所述转换。
2.根据权利要求1所述的方法,其中,所述滤波器系数的第一集合是从所述滤波器系数的第二集合预测或推导的。
3.根据权利要求1或2所述的方法,其中,所述滤波操作包括环路滤波,并且所述滤波器系数的第一集合是所述环路滤波的自适应环路滤波器的滤波器系数。
4.根据权利要求1至3中任一项所述的方法,其中,视频的所述当前区域来自视频数据的第一集合,视频的所述第二区域来自视频数据的第二集合,其中所述视频数据的第二集合与所述视频数据的第一集合不同,视频数据的集合包括条带、片、片组、图片中的一个。
5.根据权利要求4所述的方法,其中,视频的所述第二区域来自与视频的所述当前区域的当前图片不同的图片。
6.根据权利要求5所述的方法,其中,所述不同的图片是所述当前图片的参考图片。
7.根据权利要求1至6所述的方法,还包括:
对于所述视频的至少一个区域,信令通知所述区域的第一标志以指示所述区域的滤波器系数的集合是否是基于与所述区域并置的并置区域的滤波器系数的对应集合而预测或推导的。
8.根据权利要求1至6所述的方法,还包括:
对于所述视频的至少一个区域,解析所述区域的比特流表示以获得所述区域的第一标志,以指示所述区域的滤波器系数的集合是否是基于与所述区域并置的并置区域的滤波器系数的对应集合而预测或推导的。
9.根据权利要求1至6中任一项所述的方法,还包括:
对于所述视频的至少一个区域,信令通知图片的索引,以指示从哪个图片预测或推导所述区域的滤波器系数的集合。
10.根据权利要求1至6中任一项所述的方法,还包括:
对于所述视频的至少一个区域,解析所述区域的比特流表示以获得图片的索引,以指示从哪个图片预测或推导所述区域的滤波器系数的集合。
11.根据权利要求1至4中任一项所述的方法,还包括:
对于所述视频的至少一个区域,信令通知所述区域的第二标志,以指示所述区域的滤波器系数的集合是否是从与另一区域相同的图片预测或推导的。
12.根据权利要求11所述的方法,其中,所述另一区域是所述区域的临近区域。
13.根据权利要求11或12所述的方法,还包括:
信令通知所述区域的附加信息,以指示从哪个区域预测或推导滤波器系数的集合。
14.根据权利要求1至4中任一项所述的方法,还包括:
对于所述视频的至少一个区域,解析所述区域的比特流表示以获得所述区域的第二标志,以指示所述区域的滤波器系数的集合是否是从与另一区域相同的图片预测或推导的。
15.根据权利要求14所述的方法,其中,所述另一区域是所述区域的临近区域。
16.根据权利要求14或15所述的方法,还包括:
解析所述区域的比特流表示以获得所述区域的附加信息,以指示从哪个区域预测/推导滤波器系数的集合。
17.根据权利要求4所述的方法,还包括:
在视频数据的集合的级别信令通知第三标志,以指示所述视频数据的第一集合内的全部区域的滤波器系数是否是从不同图片中的其对应并置区域预测或推导的。
18.根据权利要求17所述的方法,其中,所述不同图片是当前图片的参考图片。
19.根据权利要求17至18中任一项所述的方法,还包括:
信令通知图片的索引,以指示从哪个图片预测或推导全部区域的滤波器系数。
20.根据权利要求4所述的方法,还包括:
解析所述区域的比特流表示以在视频数据的集合的级别获得第三标志,以指示所述视频数据的第一集合内的全部区域的滤波器系数是否是从不同图片中的其对应并置区域预测或推导的。
21.根据权利要求20所述的方法,其中,所述不同图片是当前图片的参考图片。
22.根据权利要求20至21中任一项所述的方法,还包括:
解析所述区域的比特流表示以获得图片的索引,以指示从哪个图片预测/推导全部区域的滤波器系数。
23.一种用于视频处理的方法,包括:
基于与视频的当前处理单元并置的视频的第二处理单元,为视频的所述当前处理单元和视频的所述当前处理单元的比特流表示之间的转换确定第一标志,其中所述第一标志指示视频的所述当前处理单元的自适应环路滤波器的开启/关闭状况;以及
通过基于所述第一标志执行滤波操作来执行所述转换。
24.根据权利要求23所述的方法,其中,视频的所述当前处理单元的第一标志是从视频的所述第二处理单元继承的。
25.根据权利要求23或24所述的方法,其中,所述滤波操作包括环路滤波。
26.根据权利要求23至25中任一项所述的方法,其中,所述处理单元包括区域和编解码树单元(CTU)中的一个。
27.根据权利要求23至26中任一项所述的方法,其中,视频的所述当前处理单元来自视频数据的第一集合,视频的所述第二处理单元来自视频数据的第二集合,其中所述视频数据的第二集合与所述视频数据的第一集合不同,视频数据的集合包括条带、片、片组、图片中的一个。
28.根据权利要求23所述的方法,其中,视频的所述第二处理单元来自与视频的所述当前处理单元的当前图片不同的图片。
29.根据权利要求28所述的方法,其中,所述不同的图片是所述当前图片的参考图片。
30.根据权利要求27所述的方法,还包括:
在视频数据的集合的级别信令通知第二标志,以指示视频数据的集合内的全部处理单元的第一标志是否是从不同图片中的其对应并置处理单元继承的。
31.根据权利要求27所述的方法,还包括:
解析所述区域的比特流表示以在视频数据的集合的级别获得第二标志,以指示视频数据的集合内的全部处理单元的第一标志是否是从不同图片中的其对应并置处理单元继承的。
32.根据权利要求27所述的方法,还包括:
在图片头、条带头或片组头中信令通知图片的索引,以指示从哪个图片继承所述第一处理单元的第一标志。
33.根据权利要求27所述的方法,还包括:
解析所述区域的比特流表示以在图片头、条带头或片组头中获得图片的索引,以指示从哪个图片继承所述第一处理单元的第一标志。
34.一种用于视频处理的方法,包括:
为视频的图片和所述视频的比特流表示之间的转换信令通知关于视频的所述图片的区域数量和/或尺寸的信息;
基于所述信息将所述图片划分为区域;以及
基于划分的区域来执行所述转换。
35.根据权利要求34所述的方法,其中,在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、图片头、条带头中的至少一个中信令通知关于区域数量和/或尺寸的所述信息。
36.根据权利要求34或35所述的方法,还包括:
信令通知对区域数量和/或尺寸的多个集合中的至少一个的索引,其中,区域数量和/或尺寸的多个集合是预定义的。
37.根据权利要求34所述的方法,其中,所述区域数量和/或尺寸取决于所述图片的宽度和/或高度、和/或条带类型。
38.一种用于视频处理的方法,包括:
为视频的图片和所述视频的比特流表示之间的转换解析所述视频的比特流表示,以获得关于视频的所述图片的区域数量和/或尺寸的信息;以及
基于所述信息来执行所述转换。
39.根据权利要求38所述的方法,其中,解析所述视频的比特流表示,以在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、图片头、条带头中的至少一个中获得关于区域数量和/或尺寸的所述信息。
40.根据权利要求38或39所述的方法,还包括:
解析所述视频的比特流表示,以获得对区域数量和/或尺寸的多个集合中的至少一个的索引,其中,区域数量和/或尺寸的多个集合是预定义的。
41.根据权利要求37所述的方法,其中,所述区域数量和/或尺寸取决于所述图片的宽度和/或高度、和/或条带类型。
42.一种用于视频处理的方法,包括:
基于视频的第二区域的滤波器系数的第二集合以及滤波器系数的第一集合和所述滤波器系数的第二集合之间的差的集合,为视频的第一区域和视频的所述第一区域的比特流表示之间的转换确定视频的所述第一区域的所述滤波器系数的第一集合;以及
通过使用所述滤波器系数的第一集合执行滤波操作来执行所述转换。
43.根据权利要求42所述的方法,其中,当确定所述第二区域的所述滤波器系数的第一集合时,所述差的集合被信令通知。
44.根据权利要求42所述的方法,其中,当确定所述第二区域的所述滤波器系数的第一集合时,解析视频的所述第一区域的比特流表示以获得所述差的集合。
45.根据权利要求43或44所述的方法,其中,视频的所述第二区域的索引与视频的所述第一区域的索引连续。
46.根据权利要求43-45中任一项所述的方法,其中,视频的所述第二区域的索引对应于对其启用了所述滤波操作的先前编解码的区域的最大索引值。
47.根据权利要求42所述的方法,其中,所述滤波操作包括自适应环路滤波。
48.一种用于视频处理的方法,包括:
合并视频的至少两个不同区域,以获得合并区域;以及
通过使用相同的所选择的滤波器系数执行滤波操作,执行视频的所述合并区域和所述合并区域的比特流表示之间的转换,其中,视频的所述至少两个不同区域中的第一个区域的索引与视频的所述至少两个不同区域中的第二个区域的索引不连续。
49.根据权利要求48所述的方法,其中,所述合并区域共享所选择的滤波器系数的一个相同集合。
50.根据权利要求48或49所述的方法,还包括:在图片头中信令通知合并视频的哪些区域。
51.根据权利要求48或49所述的方法,还包括:对于每个区域,所选择的滤波器系数的集合的索引被发送。
52.根据权利要求1至51中任一项所述的方法,其中,所述转换包括从所述比特流表示生成视频的所述区域。
53.根据权利要求1至51中任一项所述的方法,其中,所述转换包括从视频的所述区域生成所述比特流表示。
54.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器实施根据权利要求1至53中任一项所述的方法。
55.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于执行根据权利要求1至54中任一项所述的方法的程序代码。
CN201980072485.6A 2018-11-09 2019-11-11 对基于区域的自适应环路滤波器的改进 Active CN112997500B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2018114834 2018-11-09
CNPCT/CN2018/114834 2018-11-09
PCT/CN2019/117149 WO2020094154A1 (en) 2018-11-09 2019-11-11 Improvements for region based adaptive loop filter

Publications (2)

Publication Number Publication Date
CN112997500A true CN112997500A (zh) 2021-06-18
CN112997500B CN112997500B (zh) 2023-04-18

Family

ID=70610807

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980072485.6A Active CN112997500B (zh) 2018-11-09 2019-11-11 对基于区域的自适应环路滤波器的改进
CN201980072623.0A Active CN112997504B (zh) 2018-11-09 2019-11-11 基于分量的环路滤波器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980072623.0A Active CN112997504B (zh) 2018-11-09 2019-11-11 基于分量的环路滤波器

Country Status (2)

Country Link
CN (2) CN112997500B (zh)
WO (2) WO2020094154A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387192A (zh) * 2021-12-22 2022-04-22 广东中星电子有限公司 图像滤波方法、装置、电子设备和计算机可读介质
WO2023020309A1 (en) * 2021-08-14 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Advanced fusion mode for adaptive loop filter in video coding

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115104302A (zh) 2019-12-11 2022-09-23 抖音视界有限公司 跨分量适应性回路滤波的样点填充
JP2023531223A (ja) 2020-06-30 2023-07-21 北京字節跳動網絡技術有限公司 適応ループフィルタリングのための境界位置
CN117082239A (zh) * 2021-01-22 2023-11-17 Oppo广东移动通信有限公司 视频编解码方法与系统、及视频编码器与视频解码器
CN116433783A (zh) * 2021-12-31 2023-07-14 中兴通讯股份有限公司 用于视频处理的方法及装置、存储介质及电子装置
WO2024027808A1 (en) * 2022-08-04 2024-02-08 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049845A (zh) * 2012-04-16 2015-11-11 联发科技股份有限公司 视频解码器中用于视频数据的环路滤波器处理方法及装置
US20180139441A1 (en) * 2015-05-12 2018-05-17 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by using blocks determined by means of adaptive order
US20180192050A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
US20060013315A1 (en) * 2004-07-19 2006-01-19 Samsung Electronics Co., Ltd. Filtering method, apparatus, and medium used in audio-video codec
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
GB2500347B (en) * 2011-05-16 2018-05-16 Hfi Innovation Inc Apparatus and method of sample adaptive offset for luma and chroma components
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US10567806B2 (en) * 2013-11-15 2020-02-18 Mediatek Inc. Method of block-based adaptive loop filtering
US10382754B2 (en) * 2014-04-29 2019-08-13 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
US20180146213A1 (en) * 2015-06-05 2018-05-24 Telefonaktiebolaget Lm Ericsson (Publ) Filtering for video processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049845A (zh) * 2012-04-16 2015-11-11 联发科技股份有限公司 视频解码器中用于视频数据的环路滤波器处理方法及装置
US20180139441A1 (en) * 2015-05-12 2018-05-17 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by using blocks determined by means of adaptive order
US20180192050A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARTA KARCZEWICZ等: ""CE2-related: CTU Based Adaptive Loop Filtering"", 《JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 1111TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020309A1 (en) * 2021-08-14 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Advanced fusion mode for adaptive loop filter in video coding
CN114387192A (zh) * 2021-12-22 2022-04-22 广东中星电子有限公司 图像滤波方法、装置、电子设备和计算机可读介质
CN114387192B (zh) * 2021-12-22 2024-05-03 广东中星电子有限公司 图像滤波方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
WO2020094154A1 (en) 2020-05-14
CN112997504B (zh) 2023-04-18
CN112997504A (zh) 2021-06-18
CN112997500B (zh) 2023-04-18
WO2020094153A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
CN113632490B (zh) 视频处理中的非线性自适应环路滤波
CN112997500B (zh) 对基于区域的自适应环路滤波器的改进
CN113728651B (zh) 视频处理中的自适应环路滤波
US20240048775A1 (en) Using neural network filtering in video coding
CN113767632A (zh) 用于视频编解码的自适应环路滤波
US11968368B2 (en) Cross-component prediction with multiple-parameter model
JPWO2020192644A5 (zh)
JPWO2020192645A5 (zh)
US20230051066A1 (en) Partitioning Information In Neural Network-Based Video Coding
CN113728640A (zh) 帧内预测和残差编解码
US20230007246A1 (en) External attention in neural network-based video coding
RU2812618C2 (ru) Нелинейная адаптивная контурная фильтрация при обработке видеоданных
WO2022218285A1 (en) Guided filter usage
WO2024010860A1 (en) Geometric transform in neural network-based coding tools for video coding
CN114339221A (zh) 用于视频编解码的基于卷积神经网络的滤波器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant