CN114503594B - 自适应环路滤波中样点填充的选择性应用 - Google Patents

自适应环路滤波中样点填充的选择性应用 Download PDF

Info

Publication number
CN114503594B
CN114503594B CN202080067550.9A CN202080067550A CN114503594B CN 114503594 B CN114503594 B CN 114503594B CN 202080067550 A CN202080067550 A CN 202080067550A CN 114503594 B CN114503594 B CN 114503594B
Authority
CN
China
Prior art keywords
samples
video
block
current block
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080067550.9A
Other languages
English (en)
Other versions
CN114503594A (zh
Inventor
刘鸿彬
张莉
张凯
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN114503594A publication Critical patent/CN114503594A/zh
Application granted granted Critical
Publication of CN114503594B publication Critical patent/CN114503594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Abstract

一种视频处理的方法,包括:为视频的当前块与视频的比特流表示之间的转换,做出关于当前块的邻域块的样点是否在与当前块相同的视频区域中的第一确定,以及使用第一确定来做出关于使用当前块之外的样点的编解码工具对于当前块的转换的适用性的第二确定。编解码工具包括自适应环路滤波器(ALF)工具,ALF工具包括ALF分类过程和/或ALF滤波过程。方法还包括根据第一确定和第二确定执行转换。

Description

自适应环路滤波中样点填充的选择性应用
相关申请的交叉引用
根据适用的专利法和/或巴黎公约的规定,提出本申请是为了及时要求于2019年9月22日提交的国际专利申请第PCT/CN2019/107160号的优先权和权益。出于美国法律的所有目的,上述申请的全部公开内容通过引用并入作为本申请的公开内容的一部分。
技术领域
本专利文档总体上针对视频编码和解码技术。
背景技术
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而得以演进。ITU-T制作了H.261和H.263标准,ISO/IEC制作了MPEG-1和MPEG-4Visual标准,并且两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(Advanced VideoCoding,AVC)标准和H.265/高性能视频编解码(High Efficiency Video Coding,HEVC)标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。从那时起,JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。2018年4月,在VCEG(Q6/16)与ISO/IEC JTCl SC29/WG11(MPEG)之间的JVET创立,以致力于下一代通用视频编解码(VVC)标准,目标是与HEVC相比降低50%比特率。
发明内容
使用所公开的视频编码、转码或解码技术,视频编码器或解码器的实施例可以处理编解码树块的虚拟边界,以提供更好的压缩效率和编码或解码工具的更简单实现方式。
在一个示例方面,公开了一种视频处理的方法。该方法包括,为视频的当前块与视频的比特流表示之间的转换,确定视频在当前块之外的一个或多个样点对于转换的编解码过程不可用。编解码过程包括自适应环路滤波器(ALF)编解码过程。该方法包括基于确定,通过将填充样点用于视频的一个或多个样点来执行转换。填充样点通过按顺序检验样点的可用性来生成。
在另一个示例方面,公开了一种视频处理的方法。该方法包括为视频的当前块与视频的比特流表示之间的转换,做出关于当前块的邻域块中的样点是否在与当前块相同的视频区域中的第一确定。邻域块位于(1)当前块左上方,(2)当前块右上方,(3)当前块左下方,或(4)当前块右下方。该方法包括使用第一确定来做出关于使用当前块之外的样点的编解码工具对当前块的转换的适用性的第二确定。编解码工具包括自适应环路滤波器(ALF)工具,该ALF工具包括ALF分类过程和/或ALF滤波过程。该方法还包括根据第一确定和第二确定执行转换。
在另一个示例方面,公开了一种视频处理的方法。方法包括,为视频的当前块与视频的比特流表示之间的转换,确定视频在当前块之外的一个或多个样点对于转换的编解码过程不可用。方法还包括基于该确定,通过将填充样点用于视频的一个或多个样点来执行转换。填充样点通过按顺序检验样点的可用性来生成。
在另一个示例方面,公开了一种视频处理的方法。方法包括,执行在视频与视频的比特流表示之间的转换,该视频包括视频图片,该视频图片包括视频单元。语法元素的第一集合被包括在比特流表示中以指示跨视频单元的边界的样点是否在适用于视频单元的边界的滤波过程中可访问,并且语法元素的第一集合包含在不同级别中。
在另一个示例方面,公开一种视频处理的方法。方法包括,执行在视频图片的视频块与视频块的比特流表示之间的转换。在此,使用编解码树块的逻辑分组来处理视频块,并且基于底部编解码树块的底边界是否在视频图片的底边界之外来处理编解码树块。
在另一个示例方面,公开另一种视频处理方法。方法包括:基于当前视频块的编解码树块的条件,确定在环路滤波期间虚拟样点的使用状态;以及执行与虚拟样点的使用状态一致的在视频块与视频块的比特流表示之间的转换。
在又一个示例方面,公开另一种视频处理方法。该方法包括:在逻辑上分组为一个或多个视频条带或视频砖的视频图片与视频图片的比特流表示之间的转换期间,确定禁止在自适应环路滤波过程中使用另一个条带或砖中的样点,以及执行与确定一致的转换。
在又一个示例方面,公开另一种视频处理方法。方法包括:在视频图片的当前视频块与当前视频块的比特流表示之间的转换期间,确定当前视频块包括位于视频图片的视频单元的边界处的样点,以及基于确定执行转换,其中执行转换包括使用对于视频图片中的所有边界类型都相同的统一方法来生成用于环路滤波过程的虚拟样点。
在又一个示例方面,公开另一种视频处理的方法。方法包括:在视频图片的当前视频块与当前视频块的比特流表示之间的转换期间,确定在转换期间应用可用于视频图片的多个自适应环路滤波器(ALF)样点选择方法中的一个,以及通过应用多个ALF样点选择方法中的一个来执行转换。
在又一个示例方面,公开另一种视频处理的方法。方法包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间在视频图片的当前视频块的样点之上执行环路滤波操作;其中边界规则禁止使用跨视频图片的虚拟管线数据单元(VPDU)的样点,以及使用环路滤波操作的结果执行转换。
在又一个示例方面,公开另一种视频处理的方法。方法包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间在视频图片的当前视频块的样点之上执行环路滤波操作;其中边界规则指定对于跨视频图片边界的当前视频块的位置使用在不使用填充情况下所生成的样点,以及使用环路滤波操作的结果执行转换。
在又一个示例方面,公开另一种视频处理的方法。方法包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间在视频图片的当前视频块的样点之上执行环路滤波操作;其中边界规则指定对于环路滤波操作选择具有维度的滤波器使得在环路滤波期间所使用的当前视频块的样点不跨视频图片的视频单元的边界,以及使用环路滤波操作的结果执行转换。
在又一个示例方面,公开另一种视频处理的方法。方法包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间在视频图片的当前视频块的样点之上执行环路滤波操作;其中边界规则指定对于环路滤波操作基于环路滤波是否需要填充样点来选择修剪参数或滤波器系数,以及使用环路滤波操作的结果执行转换。
在又一个示例方面,公开另一种视频处理的方法。方法包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间在视频图片的当前视频块的样点之上执行环路滤波操作;其中边界规则取决于当前视频块的色彩分量标识,以及使用环路滤波操作的结果执行转换。
在又一个示例方面,公开了配置为执行上述方法的视频编码设备。
在又一个示例方面,公开了配置为执行上述方法的视频解码器。
在又一个示例方面,公开一种计算机可读介质。介质存储代码,该代码在执行时使得处理器实现上述方法中的一个或多个。
公开的技术的上述或其他方面和特征将在附图、说明书和权利要求书中更为详细地描述。
附图说明
图1示出了具有18乘12个亮度编解码树单元CTU的图片的示例,该图片被分割成12个片和3个栅格扫描条带。
图2示出了具有18乘12个亮度CTU的图片的示例,该图片被分割成12个片和9个矩形条带。
图3示出了被分割成4个片、11个砖和4个矩形条带的图片的示例。
图4A示出了当K=M,L<N时的跨图片边界的编解码树块CTB的示例。
图4B示出了当K<M,L=N时的跨图片边界的编解码树块CTB的示例。
图4C示出了当K<M,L<N时的跨图片边界的编解码树块CTB的示例。
图5示出了编码器块示意图的示例。
图6是图片样点及8×8网格上的水平和垂直块边界、以及8×8样点的非重叠块,其可以并行地去块化。
图7示出了滤波器开/关判定及强/弱滤波器选择中涉及的像素的示例。
图8示出了四个一维定向图案。
图9示出了几何自适应环路滤波(GALF)滤波器形状的示例(左:5×5菱形,中间:7×7菱形,右:9×9菱形)。
图10示出了5×5菱形滤波器支持相对坐标。
图11示出了5×5菱形滤波器支持相对坐标的示例。
图12A示出了子采样的拉普拉斯算符计算的示例布置。
图12B示出了子采样的拉普拉斯算符计算的另一个示例布置。
图12C示出了子采样的拉普拉斯算符计算的另一个示例布置。
图12D示出了子采样的拉普拉斯算符计算的又一个示例布置。
图13示出了VTM-4.0中亮度分量的环路滤波器线缓冲器需求的示例。
图14示出了VTM-4.0中色度分量的环路滤波器线缓冲器需求的示例。
图15A示出了当N=4时在虚拟边界处的ALF块分类的示例。
图15B示出了当N=4时在虚拟边界处的ALF块分类的另一个示例。
图16A图示了在虚拟边界处的修改的亮度ALF滤波的示例。
图16B图示了在虚拟边界处的修改的亮度ALF滤波的另一个示例。
图16C图示了虚拟边界处的修改的亮度ALF滤波的又一个示例。
图17A示出了虚拟边界处的修改的色度ALF滤波的示例。
图17B示出了虚拟边界处的修改的色度ALF滤波的另一个示例。
图18A示出了水平环绕运动补偿的示例。
图18B示出了水平环绕运动补偿的另一个示例。
图19图示了修改的自适应环路滤波器的示例。
图20示出了在视频图片中处理CTU的示例。
图21示出了修改的自适应环路滤波器边界的示例。
图22是视频处理设备的示例的框图。
图23是视频处理的示例方法的流程图。
图24示出了3x2布局中HEC的图像的示例。
图25示出了用于两种类型边界的样点的填充线的数量的示例。
图26示出了在图片中处理CTU的示例。
图27示出了在图片中处理CTU的另一个示例。
图28示出了当前样点和需要被访问的样点的另一个示例。
图29示出了填充“不可用”领域样点的另一个示例。
图30示出了需要在ALF分类过程中采用的样点的示例。
图31是其中可实现所公开的技术的示例视频处理系统的框图。
图32是根据本技术的用于视频处理的方法的流程表示。
图33是根据本技术的用于视频处理的另一个方法的流程表示。
图34是图示示例视频编解码系统的框图。
图35是图示根据本公开的一些实施例的编码器的框图。
图36是图示根据本公开的一些实施例的解码器的框图。
具体实施方式
本文档中使用章节标题以便于理解并且不将章节中公开的实施例仅限制于该章节。另外,尽管参考通用视频编解码或其他指定视频编解码器描述某些实施例,但是所公开的技术还适用于其他视频编解码技术。此外,尽管一些实施例详细描述视频编解码步骤,但是将理解还将由解码器实现解开编码的对应解码步骤。此外,术语“视频处理”涵盖视频编码或压缩、视频解码或解压缩和视频转码,其中视频像素从一个压缩格式表示成另一个压缩格式或者以不同压缩比特率表示。
1.概述
该文档涉及视频编解码技术。具体地,它涉及图片/条带/片/砖边界和虚拟边界编解码,特别是对于非线性自适应环路滤波器。可以应用于像HEVC此类现有视频编解码标准或者待最终确定的标准(通用视频编解码)。也可以适用于未来的视频标准或视频编解码器。
2.最初讨论
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展而得以演进。ITU-T制作了H.261和H.263标准,ISO/IEC制作了MPEG-1和MPEG-4 Visual标准,并且两个组织联合制作了H.262/MPEG-2视频标准和H.264/MPEG-4高级视频编解码(Advanced VideoCoding,AVC)标准和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中利用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,由VCEG和MPEG于2015年联合成立联合视频探索团队(JVET)。从那时起,JVET采用了许多新方法并将其纳入名为联合探索模型(JEM)的参考软件。2018年4月,在VCEG(Q6/16)与ISO/IEC JTC1SC29/WG11(MPEG)之间的JVET创立,以致力于VVC标准,目标是与HEVC相比降低50%比特率。
2.1色彩空间和色度子采样
色彩空间——也称为色彩模型(或色彩系统)——是抽象的数学模型,其简单地将色彩的范围描述为数字的元组,通常为3或4个值或色彩分量(例如RGB)。基本上,色彩空间是坐标系和子空间的详细阐述。
对于视频压缩,最频繁使用的色彩空间是YCbCr和RGB。
YCbCr、Y′CbCr或Y Pb/Cb Pr/Cr——也称为YCBCR或Y′CBCR——是一族色彩空间,用作视频和数字摄影系统中色彩图像管线的一部分。Y′是亮度分量,并且CB和CR是蓝差和红差色度分量。Y′(带撇号)与Y(亮度)区分开,意味着基于伽玛校正的RGB原色来非线性编码光强度。
色度子采样是一种通过对色度信息实现比对亮度信息更低的分辨率来编码图像的实践,利用了人类视觉系统对色差的敏锐度低于对亮度的敏锐度。
2.1.1色彩格式4:4:4
三个Y′CbCr分量中的每一个均具有相同的采样率,因此没有色度子采样。该方案有时用于高端胶片扫描仪和电影后期制作中。
2.1.2色彩格式4:2:2
两个色度分量以亮度采样率的一半来采样:水平色度分辨率减半。这将未压缩的视频信号的带宽降低三分之一,而几乎没有视觉差
2.1.3色彩格式4:2:0
在4:2:0中,水平采样是4:1:1的两倍,但是由于Cb和Cr通道仅在此方案中的每个交替线上采样,因此垂直分辨率减半。数据速率因此是相同的。Cb和Cr各自以2的因子水平地和垂直地子采样。4:2:0方案有三种变型,具有不同的水平和垂直选址。
在MPEG-2中,Cb和Cr水平地共址。Cb和Cr在垂直方向上选址在像素之间(间隙地选址)。
在JPEG/JFIF、H.261和MPEG-1中,Cb和Cr间隙地、中途地选址在交替的亮度样点之间。
在4:2:0 DV中,Cb和Cr在水平方向上共址。在垂直方向上,它们共址于交替的线上。
2.2各种视频单元
图片被分成一个或多个片行和一个或多个片列。片是CTU的序列,其覆盖图片的矩形区域。
片被分成一个或多个砖,每砖块由片内的许多CTU行构成。
未被分割成多个砖的片也被称为砖。但是,作为片的真子集的砖不称为片。
条带或是含有图片的若干片或是含有片的若干砖。
支持两种条带模式,即栅格扫描条带模式和矩形条带模式。在栅格扫描条带模式中,条带含有图片的片栅格扫描中的片的序列。在矩形条带模式中,条带含有图片的若干砖,这些砖统一形成图片的矩形区域。矩形条带内的砖按条带的砖栅格扫描的顺序排列。
图1示出了图片的栅格扫描条带分割的示例,其中图片被分成12个片和3个栅格扫描条带。
图2示出了图片的矩形条带分割的示例,其中图片被分成24个片(6个片列和4个片行)和9个矩形条带。
图3示出了被分割成片、砖和矩形条带的图片的示例,其中图片被分成4个片(2个片列和2个片行)、11个砖(左顶片含有1个砖,右顶片含有5个砖,左底片含有2个砖,并且右底片含有3个砖)和4个矩形条带。
2.2.1CTU/CTB大小
在VVC中,通过语法元素log2_ctu_size_minus2在SPS中信令通知的CTU大小可以小到4x4。
7.3.2.3序列参数集RBSP语法
log2_ctu_size_minus2加2指定每个CTU的亮度编解码树块大小。
log2_min_luma_coding_block_size_minus2加2指定最小亮度编解码块大小。
变量CtbLog2SizeY、CtbSizeY、MinCbLog2SizeY、MinCbSizeY、MinTbLog2SizeY、MaxTbLog2SizeY、MinTbSizeY、MaxTbSizeY、PicWidthInCtbsY、PicHeightInCtbsY、PicSizeInCtbsY、PicWidthInMinCbSYS导出如下:
CtbLog2SizeY=log2_ctu_size_minus2+2 (7-9)
CtbSizeY=1<<CtbLog2SizeY (7-10)
MinCbLog2SizeY=log2_min_luma_coding_block_size_minus2+2 (7-11)
MinCbSizeY=1<<MinCbLog2SizeY (7-12)
MinTbLog2SizeY=2 (7-13)
MaxTbLog2SizeY=6 (7-14)
MinTbSizeY=1<<MinTbLog2SizeY (7-15)
MaxTbSizeY=1<<MaxTbLog2SizeY (7-16)
PicWidthInCtbsY=Ceil(pic_width_in_luma_samples÷CtbSizeY) (7-17)
PicHeightInCtbsY=Ceil(pic_height_in_luma_samples÷CtbSizeY) (7-18)
PicSizeInCtbsY=PicWidthInCtbsY*PicHeightInCtbsY (7-19)
PicWidthInMinCbsY=pic_width_n_luma_samples/MinCbSizeY (7-20)
PicHeightInMinCbsY=pic_height_in_luma_samples/MinCbSizeY (7-21)
PicSizeInMinCbsY=PicWidthInMinCbsY*PicHeightInMinCbsY (7-22)
PicSizeInSamplesY=pic_width_in_luma_samples*pic_height_in_luma_samples (7-23)
PicWidthInSamplesC=pic_width_in_luma_samples/SubwidthC (7-24)
PicHeightInSamplesC=pic_height_in_luma_samples/SubHeightC (7-25)
2.2.2图片中的CTU
假设CTB/LCU的大小由MxN表示(典型地,M等于N,如HEVC/VVC中所定义),并且对于位于图片(或片或条带或其他类型,以图片边界为例)边界处的CTB,KxL个样点位于图片边界内,其中K<M或者L<N。对于图4A-4C中描绘的那些CTB,CTB的大小仍然等于M×N,然而CTB的底边界/右边界在图片之外。
图4A示出了跨底图片边界的CTB。图4B示出了跨右图片边界的CTB。图4C示出了跨右下图片边界的CTB
图4A-4C示出了跨图片边界的CTB的示例,(a)K=M,L<N;(b)K<M,L=N;(c)K<M,L<N
2.3典型视频编解码器的编解码流程
图5示出了VCC的编码器框图的示例,其含有三个环路滤波块:去块化滤波器(DF)、样点自适应偏移(SAO)和ALF。不同于使用预定义滤波器的DF,在编解码边信息信令通知偏移和滤波器系数的情况下,SAO和ALF分别通过添加该偏移和通过应用有限脉冲响应(FIR)滤波器,利用当前图片的原始样点来降低原始样点与重构样点之间的均方差。ALF被定位在每个图片的最后处理阶段并可以视为尝试捕捉和修复由先前阶段创建的伪影的工具。
2.4去块化滤波器(DB)
DB的输入是环路滤波器之前的重构样点。
首先滤波图片中的垂直边缘。然后,将图片中的水平边缘通过由垂直边缘滤波过程所修改的样点作为输入来滤波。每个CTU的CTB中的垂直边缘和水平边缘均以编解码单位为基础来处理。从编解码块的左手侧的边缘开始以其几何顺序穿过边缘朝向编解码块的右手侧行进,来滤波编解码单元中编解码块的垂直边缘。从编解码块顶部的边缘开始以其几何顺序穿过边缘朝向编解码块的底部行进,来滤波编解码单元中编解码块的水平边缘。
图6是图片样点及8×8网格上的水平和垂直块边界、以及8×8样点的非重叠块,其可以并行地去块化。
2.4.1.边界决定
将滤波应用于8x8的块边界。此外,它必须是变换块边界或编解码子块边界(例如,由于使用仿射运动预测ATMVP)。对于没有此类边界的那些滤波器,禁用滤波器。
2.4.1边界强度计算
对于变换块边界/编解码子块边界,如果它位于8x8网格中,则可以对其滤波并且该边缘的bS[xDi][yDj](其中[xDi][yDj]表示坐标)的设置分别定义在表1和表2中。
表1.边界强度(当禁用SPS IBC时)
表2.边界强度(当启用SPS IBC时)
2.4.3亮度分量的去块化决定
在本小节中描述了去块化决定过程。
图7示出了滤波器开/关判定及强/弱滤波器选择中涉及的像素的示例。
更宽更强的亮度滤波器是只有条件1、条件2和条件3都为真(TRUE)时才使用的滤波器。
条件1是“大块条件”。该条件检测P侧和Q侧的样点是否属于大块,该大块分别由变量bSidePisLargeBlk和bSideQisLargeBlk表示。bSidePisLargeBlk和bSideQisLargeBlk定义如下。
bSidePisLargeBlk=((边缘类型是垂直的且p0属于宽度>=32的CU)||(边缘类型是水平的且p0属于高度>=32的CU))?TRUE:FALSE
bSideQisLargeBlk=((边缘类型是垂直的且q0属于宽度>=32的CU)||(边缘类型是水平的且q0属于高度>=32的CU))?TRUE:FALSE
基于bSidePisLargeBlk和bSideQisLargeBlk,条件1定义如下。
Condition1=(bSidePisLargeBlk||bSidePisLargeBlk)?TRUE:FALSE
接下来,如果条件1为真,则将进一步检验条件2。首先,导出以下变量:
-如在HEVC中首先导出dp0、dp3、dq0、dq3
-如果(p侧大于或等于32)
dp0=(dp0+Abs(p50-2*p40+p30)+1)>>1
dp3=(dp3+Abs(p53-2*p43+p33)+1)>>1
-如果(q侧大于或等于32)
dq0=(dq0+Abs(q50-2*q40+q30)+1)>>1
dq3=(dq3+Abs(q53-2*q43+q33)+1)>>1
Condition2=(d<β)?TRUE:FALSE
其中d=dp0+dq0+dp3+dq3。
如果条件1和条件2有效,则进一步检验任何块是否使用子块:
最后,如果条件1和条件2两者有效,则所提出的去块化方法将检验条件3(大块强滤波器条件),其定义如下。
在条件3StrongFilterCondition中,导出以下变量:
dpq如在HEVC中导出。
sp3=Abs(p3-p0),如在HEVC中导出的
-如果(p侧大于或等于32)
sq3=Abs(q0-q3),如在HEVC中导出的
-如果(q侧大于或等于32)
如在HEVC中,StrongFilterCondition=(dpq小于(β>>2),sp3+sq3小于(3*β>>5),并且Abs(p0-q0)小于(5*tC+1)>>1)?TRUE:FALSE。
2.4.4用于亮度的更强的去块化滤波器(为更大的块设计)
当边界的任一侧的样点属于大块时,使用双线性滤波器。属于大块的样点定义为:垂直边缘的宽度>=32时和水平边缘的高度>=32时。
下面列出双线性滤波器。
将块边界样点pi(其中i=0至Sp-1)和qi(其中j=0至Sq-1)(在上述HEVC去块化中pi和qi是在用于滤波垂直边缘的行内第i个样点,或在用于滤波水平边缘的列内第i个的样点)然后替换为线性插值如下:
pi′=(fi*Middles,t+(64-fi)*Ps+32)>>6),clipped to pi±tcP Di
qj′=(gj*Middles,t+(64-gj)*Qs+32)>>6),clipped to qj±tcP Dj
其中tcPDi和tcPDj术语是第2.4.7节中描述的位置相关的裁剪,以及gj、fi、Middles,t、Ps和Qs给定如下:
2.4.5色度的去块化控制
色度强的滤波器用于块边界的两侧。此处,当色度边缘的两侧都大于或等于8(色度位置)时,选择色度滤波器,并且满足具有三个条件的以下决定:第一条件用于决定边界强度以及大块。当在色度样点域中正交跨块边缘的块宽度或高度等于或大于8时,可以应用提出的滤波器。第二条件和第三条件基本上与HEVC亮度去块化决定相同,分别是开/关决定和强滤波器决定。
在第一决定中,修改边界强度(bS)以用于色度滤波,并且顺序地检验条件。如果满足条件,则将跳过优先级较低的剩余条件。
当bS等于2时,执行色度去块化;或者当检测大块边界时,bS等于1。
第二条件和第三条件基本上与HEVC亮度强滤波器决定相同,如下。
在第二条件中:
然后如在HEVC亮度去块化中导出d。
当d小于β时,第二条件为TRUE。
在第三条件中,StrongFilterCondition的导出如下:
dpq如在HEVC中导出。
sp3=Abs(p3-p0),如在HEVC中导出的
sq3=Abs(q0-q3),如在HEVC中导出的
如在HEVC设计中,StrongFilterCondition=(dpq小于(β>>2),sp3+sq3小于(β>>3),并且Abs(p0-q0)小于(5*tC+1)>>1)
2.4.6用于色度的强去块化滤波器
以下用于色度的强去块化滤波器定义为:
p2′=(3*p3+2*p2+p1+p0+q0+4)>>3
p1′=(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0′=(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
提出的色度滤波器对4x4色度样点网格执行去块化。
2.4.7位置相关的裁剪
位置相关的裁剪tcPD应用于亮度滤波过程的输出样点,该过程涉及强和长滤波器,它们在边界处修改了7、5和3个样点。假设量化错误分布,提出为期望具有更高量化噪声的样点增加裁剪值,因此具有期望重构的样点值与真实样点值的较大偏离。
对于用非对称滤波器滤波的每个P或Q边界,根据第2.4.2节中做出决定的过程的结果,从两个表(例如,下面制表的Tc7和Tc3)中选择与位置相关的阈值表,其作为边信息提供给解码器:
Tc7={6,5,4,3,2,1,1};Tc3={6,4,2};
tcPD=(Sp==3)?Tc3:Tc7;
tcQD=(Sq==3)?Tc3:Tc7;
对于使用短对称滤波器滤波的P或Q边界,应用较低幅度的位置相关阈值:
Tc3={3,2,1};
以下定义阈值、滤波的p’i和q’i样点值根据TCP和TCQ裁剪值来裁剪:
p”i=Clip3(p’i+tcPi,p’i-tcPi,p’i);
q”j=Clip3(q’j+tcQj,q’j-tcQj,q’j);
其中p’i和q’i是滤波的样点值,p”i和q”j是裁剪后的输出样点值,并且tcPitcPi是被从VVC tc参数及tcPD和tcQD导出的裁剪阈值。函数Clip3是VVC中指定的裁剪函数。
2.4.8子块去块化调整
为了使用长滤波器和子块去块化两者来启用并行友好地去块化,长滤波器被限制为在使用子块去块化(AFFINE或ATMVP或DMVR)的一侧至多修改5个样点,如长滤波器的亮度控制所示。此外,调整子块去块化,使得在8x8网格上靠近CU或隐式TU边界的子块边界被限制为在每一侧至多修改两个样点。
以下应用于与CU边界不对准的子块边界。
其中等于0的边缘对应于CU边界,等于2或等于orthogonalLength-2的边缘对应于来自CU边界等的子块边界8个样点。如果使用TU的隐式划分,则隐式TU为真。
2.5 SAO
SAO的输入是DB之后的重构的样点。SAO的构思在于:通过首先使用选择的分类器将区域样点分类成多个类别,为每个类别获取偏移,然后将偏移添加到类别的每个样点,来减少区域的平均样点失真,其中分类器索引和区域的偏移被编解码在比特流中。在HEVC和VVC中,区域(用于SAO参数信令通知的单元)定义为CTU。
HEVC中采用可以满足低复杂度需求的两个SAO类型。这两个类型是边缘偏移(EO)和频带偏移(BO),下面将对其进一步详细地讨论。SAO类型的索引被编解码(其范围为[0,2])。对于EO,样点分类基于在当前样点与邻域样点之间的比较,该比较根据一维定向图案:水平、垂直、135°对角和45°对角。
图8示出了用于EO样点分类的四个一维定向图案:水平(EO类=0)、垂直(EO类=1)、135°对角(EO类=2)和45°对角(EO类=3)
对于给定的EO类,CTB内的每个样点都分类为五类别中的一个。将标记为“c”的当前样点值与其沿选择的一维图案的两个邻域进行比较。表I总结了每个样点的分类规则。类别1和4分别与沿选择的一维图案的局部谷值和局部峰值相关联。类别2和3分别与沿选择的一维图案的凹拐角和凸拐角相关联。如果当前样点不属于EO类别1-4,则它是类别0,并且不应用SAO。
表3:边缘偏移的样点分类规则
2.6基于几何变换的自适应环路滤波器
DB的输入是在DB和SAO后的重构的样点。样点分类和滤波过程是基于DB和SAO后的重构的样点。
在一些实施例中,应用具有基于块的滤波器适配的基于几何变换的自适应环路滤波器(GALF)。对于亮度分量,基于局部梯度的方向和活动,为每个2×2块选择25个滤波器中的一个。
2.6.1滤波器形状
在一些实施例中,可以为亮度分量选择多达三个菱形滤波器形状(如图9所示)。索引以图片级信令通知,以指示用于亮度分量的滤波器形状。每个正方形表示样点,并且Ci(i为(左),/>(中),/>(右))表示要应用于样点的系数。对于图片中的色度分量,始终使用5×5菱形形状。
2.6.1.1块分类
每个2×2块分类为25类中的一类。分类索引C是基于其方向性D和活动的量化值导出,如下:
为了计算D和首先使用一维拉普拉斯来计算水平、垂直和两个对角方向的梯度:
/>
索引i和j指代2×2块中左上样点的坐标,并且R(i,j)指示坐标(i,j)处的重构的样点。
然后水平和垂直方向的梯度的D最大值和最小值设置为:
两个对角方向的梯度的最大值和最小值设置为:
为了导出方向性D的值,将这些值相互比较并且与两个阈值t1和t2比较:
步骤1.如果和/>两者都为真,则D被设置为0。
步骤2.如果则从步骤3继续;否则,则从步骤4继续。
步骤3.如果D被设置为2;否则D被设置为1。
步骤4.如果D被设置为4;否则D被设置为3。
活动值A计算为:
A进一步量化到0至4的范围(含端值),并且量化值表示为
对于图片中的两个色度分量,不应用分类方法,例如,对每个色度分量应用ALF系数的单个集合。
2.6.1.2滤波器系数的几何变换
图10示出了5×5菱形滤波器支持的相对坐标:左:对角;中心:垂直翻转;右:旋转。
在对每个2×2块进行滤波之前,几何变换(诸如旋转或对角和垂直翻转)取决于为该块计算的梯度值来应用于滤波器系数f(k,l),该系数与坐标(k,l)相关联。这等效于将这些变换应用于滤波器支持区域中的样点。想法是通过对准它们的方向性来使得应用ALF的不同块更加相似。
引入三个几何变换,包括对角、垂直翻转和旋转:
对角:fD(k,l)=f(l,k),
垂直翻转:fV(k,l)=f(k,K-l-1), (9)
旋转:fR(k,l)=f(K-l-1,k)。
其中K是滤波器的大小,0≤k,l≤K-1是系数坐标,使得位置(0,0)在左上角和位置(K-1,K-1)在右下角。取决于为该块计算的梯度值,变换应用于滤波器系数f(k,l)。表4总结了变换与四个方向的四个梯度之间的关系。图9示出了基于5×5菱形的每个位置的变换系数。
表4:一个块所计算的梯度与变换的映射
梯度值 变换
gd2<gd1和gh<gv 没有变换
gd2<gd1和gv<gh 对角
gd1<gd2和gh<gv 垂直翻转
gd1<gd2和gv<gh 旋转
2.6.1.3滤波器参数信令
在一些实施例中,例如在条带头之后且在第一CTU的SAO参数之前,为第一CTU信令通知GALF滤波器参数。可以信令通知亮度滤波器系数的多达25个集合。为了减少比特开销,可以合并不同分类的滤波器系数。另外,参考图片的GALF系数被存储且允许重用作为当前图片的GALF系数。当前图片可以选择使用为参考图片所存储的GALF系数,并且绕过GALF系数信令。在这种情况下,仅信令通知对参考图片中的一个的索引,并且对于当前图片继承指示的参考图片的存储的GALF系数。
为了支持GALF时域预测,维持GALF滤波器集合的候选列表。在开始解码新序列时,候选列表为空。在解码一个图片之后,可以将滤波器的对应集合添加到候选列表。一旦候选列表的大小达到最大允许值(例如6),滤波器的新集合按解码顺序覆写最旧集合,就是说先进先出(FIFO)规则应用于更新候选列表。为避免重复,仅当对应图片不使用GALF时域预测时,才可以将集合添加到列表中。为了支持时域可缩放性,存在滤波器集合的多个候选列表,并且每个候选列表都与时域层相关联。更具体地,由时域层索引(TempIdx)分配的每个数组可以组成具有等于较低的TempIdx的先前解码图片的滤波器集合。例如,第k个数组分配为与等于k的TempIdx相关联,并且它仅含有来自TempIdx小于或等于k的图片的滤波器集合。在编解码某一图片之后,与图片相关联的滤波器集合将用于更新与相等或更高TempIdx相关联的那些数组。
GALF系数的时域预测用于帧间编解码的帧以最小化信令开销。对于帧内帧,时域预测不可用,并且16个固定滤波器的集合分配给每个类。为了指示固定滤波器的用法,将信令通知每个类的标志,并如果需要的话则信令通知选择的固定滤波器的索引。即使当为给定的种类选择固定滤波器时,仍然可以为该类发送自适应滤波器的系数f(k,l),在这种情况下,将应用于重构的图像的滤波器的系数是系数的两个集合的和。
亮度分量的滤波过程可以控制在CU级。信令通知标志,以指示GALF是否应用于CU的亮度分量。对于色度分量,仅在图片级指示是否应用GALF。
2.6.1.4滤波过程
在解码器侧,当为块启用GALF时,块内的每个样点R(i,j)被滤波,导致样点值R′(i,j)如下所示,其中L表示滤波器长度,fm,n表示滤波器系数,并且f(k,l)表示解码的滤波器系数。
图11示出了用于5x5菱形滤波器支持的相对坐标的示例,假设当前样点的坐标(i,j)为(0,0)。不同坐标中以相同色彩填充的样点将乘以相同的滤波器系数。
2.7基于几何变换的自适应环路滤波器(GALF)
2.7.1示例GALF
在一些实施例中,自适应环路滤波器的滤波过程执行如下:
O(x,y)=∑(i,j)w(i,j).I(x+i,y+j), (11)
其中样点I(x+i,y+j)是输入样点,O(x,y)是滤波的输出样点(例如滤波结果),并且w(i,j)表示滤波器系数。实际上,在VTM4.0中,它是使用整数算法实现定点精度计算的:
其中L表示滤波器长度,而其中w(i,j)是足点精度的滤波器系数。
VVC中GALF的当前设计具有以下主要改变:
(1)移除自适应滤波器形状。7x7滤波器形状仅允许用于亮度分量,并且5x5滤波器形状仅允许用于色度分量。
(2)从条带/图片级到CTU级的ALF参数的信令通知。
(3)类索引的计算以4x4级而不是2x2执行。此外,在一些实施例中,利用用于ALF分类的子采样的拉普拉斯算符计算方法。更具体地,不需要为一个块内的每个样点计算水平/垂直/45对角/135度梯度。替代地,采用1∶2子采样。
图12A-12D示出了对于CE2.6.2的子采样的拉普拉斯算符。图12A图示了用于垂直梯度的子采样的位置,图12B图示了用于水平梯度的子采样位置,图12C图示了对角梯度的子采样的位置,以及图12D图示了对角梯度的子采样的位置。
2.8非线性ALF
2.8.1滤波再形成
等式(11)可以再形成为以下表达式,而不影响编解码效率:
O(x,y)=I(x,y)+∑(i,j)≠(0,0)w(i,j).(I(x+i,y+j)-I(x,y)), (13)
其中w(i,j)与等式(11)中的滤波器系数相同[除了w(0,0)在等式(13)中等于1而在等式(11)中等于1-∑(i,j)≠(0,0)w(i,j)]。
使用该上述滤波器公式(13),通过使用简单的裁剪函数来降低邻域样点值(I(x+i,y+j))当它们与当前样点值(I(x,y))差异太大时被滤波的影响,VVC引入非线性以使ALF更加有效。
更具体地,ALF滤波器修改如下:
O′(x,y)=I(x,y)+∑(i,j)≠(0,0)w(i,j).K(I(x+i,y+j)-I(x,y),k(i,j)), (14)
其中K(d,b)=min(b,max(-b,d))是裁剪函数,并且k(i,j)是裁剪参数,其取决于(i,j)滤波器系数。编码器执行优化以找到最佳的k(i,j)。
在一些实施例中,为每个ALF滤波器指定裁剪参数k(i,j),每滤波器系数信令通知一个裁剪值。这意味着在比特流中可以信令通知每亮度滤波器多达12个裁剪值、以及色度滤波器的多达6个裁剪值。
为了限制信令成本和编码器复杂度,仅使用对于INTER和INTRA条带相同的4个固定值。
因为亮度的局部差异的方差通常比色度的局部差异的方差更高,所以应用对于亮度和色度滤波器的两个不同集合。还引入每个集合中的最大样点值(此处对于10比特的比特深度为1024),使得可以在不必要时禁用裁剪。
表5中提供一些实施例中使用的裁剪值的集合。通过在对数域中将亮度的采样值的整个范围(编解码在10比特上)和色度的从4到1024的范围大致等同地划分,已经选择4个值。
更确切地,裁剪值的亮度表已通过以下公式获得:
相似地,根据以下公式获得裁剪值的色度表:
表5:授权的裁剪值
通过使用与上表5中的裁剪值的索引对应的Golomb编码方案,在“alf_data”语法元素中编解码选择的裁剪值。该编码方案与滤波器索引的编码方案相同。
2.9虚拟边界
在硬件和嵌入式软件中,基于图片的处理由于其高的图片缓冲器需求而实际上是不可接受的。使用片上图片缓冲器非常昂贵,而使用片外图片缓冲器会显著地增加外部存储器存取、功耗和数据访存取时延。因此,在实际产品中,DF、SAO和ALF将从基于图片的解码改变为基于LCU的解码。当基于LCU的处理用于DF、SAO和ALF时,整个解码过程可以通过用于多个LCU的并行处理的LCU管线方式在栅格扫描中由LCU完成LCU。在这种情况下,DF、SAO和ALF需要线缓冲器,因为处理一个LCU行需要来自上述LCU行中的像素。如果使用片外线缓冲器(例如DRAM),则外部存储器带宽和功耗将增加;如果使用片上线缓冲器(例如SRAM),则芯片面积将增加。因此,尽管线缓冲器已经比图片缓冲器小得多,但是仍然希望减少线缓冲器。
在一些实施例中,如图13所示,所需的线缓冲器的总数为亮度分量的11.25线。线缓冲器需求的说明如下:无法执行对与CTU边缘重叠的水平边缘的去块化,因为决定和滤波需要来自第一个CTU的线K、L、M、M和来自底部CTU的线O、P。因此,与CTU边界重叠的水平边缘的去块化被推迟直到下部CTU到来。因此,对于线K、L、M、N,重构的亮度样点必须存储在线缓冲器(4线)中。然后可以对线A到J执行SAO滤波。因为去块化不会改变线K中的样点,所以线J可以被SAO滤波。对于线K的SAO滤波,边缘偏移分类决定仅存储在线缓冲器中(即0.25亮度线)。ALF滤波可以仅对线A-F执行。如图13所示,对每个4×4块执行ALF分类。每个4x4块分类都需要大小为8x8的活动窗口,其继而需要9x9窗口来计算一维拉普拉斯来确定梯度。
因此,对于与线G、H、I、J重叠的4x4块的块分类,需要在虚拟边界下方的SAO滤波的样点。此外,ALF分类需要线D、E、F的SAO滤波的样点。此外,线G的ALF滤波需要来自以上行中的三个SAO滤波的线D、E、F。因此,总的线缓冲器需求如下:
-线K-N(水平DF像素):4线
-线D-J(SAO滤波的像素):7线
-线J与线K之间的SAO边缘偏移分类器值:0.25线
因此,所需的亮度线的总数为7+4+0.25=11.25。
相似地,色度分量的线缓冲器要求在图14中图示。色度分量的线缓冲器需求评估为6.25线。
为了消除SAO和ALF的线缓冲器需求,最新VVC中引入虚拟边界(VB)的构思。如图13所示,VB是向移位了N个像素的水平LCU边界。对于每个LCU,SAO和ALF可以在下部LCU出现之前处理VB上方的像素,但是不能处理VB下方的像素直到下部LCU出现,这是由DF引起的。在考虑硬件实现成本的情况下,提出的VB与水平LCU边界之间的空间设置为用于亮度的四个像素(例如,图13中的N=4)以及用于色度的两个像素(例如,图9中的N=2)。
2.9.1当VB大小N为4时修改的ALF块分类
图15A-15B描绘了当虚拟边界是在CTU边界上方的4线(N=4)时的情况的修改的块分类。如图15A所描绘,对于从线G开始的4x4块,块分类仅使用线E到J。然而,对于属于线J的样点的拉普拉斯算符梯度计算需要下方的再一个线(线K)。因此,用行J填充行K。
相似地,如图15B所描绘,对于从线K开始的4x4块,块分类仅使用线K到P。然而,对于属于线K的样点的拉普拉斯算符梯度计算需要上方的再一个线(线J)。因此,用线K填充线J。
2.9.2样点的两侧填充跨虚拟边界
如图16A-16C所描绘的,滤波器的截断版本用于对属于靠近虚拟边界的线的亮度样点的滤波。采取图16A为例,当如图13中所示来滤波线M时,例如7x7菱形支持的中心样点在行M中,它需要访问VB上方的一个线(用粗线表示)。在这种情况下,从VB下方的右下样点被复制VB上方的样点,诸如实线中的P0样点被复制到上方虚线位置。对称地,即使该位置的样点可用,实线中的P3样点也被复制到右下虚线位置。复制的样点仅使用在亮度滤波过程中。
用于ALF虚拟边界的填充方法可以表示为“两侧填充”,其中如果位于(i,j)的一个样点(例如,图16B中带有虚线的POA)被填充,则即使样点是可用的,也将共享相同滤波器系数的位于(m,n)处的对应样点(例如,图16B中带有虚线的P3B)填充,如图16A-16C以及图17A-17B中描绘的。在图16A-16C,7x7菱形滤波器支持,中心是当前要滤波的样点。图16A示出了需要填充的VB上方/下方的一个需要的线。图16B示出了需要填充的VB上方/下方的2个需要的线。图16C示出了需要填充的VB上方/下方的3个需要的线。
相似地,如图17A-17B中所描绘的,两侧填充方法也用于色度ALF滤波。图17A-17B示出了在虚拟边界处的改进的色度ALF滤波(5×5菱形滤波器支持,中心是要被滤波的当前样点)。图17A示出了需要填充的VB上方/下方的1个需要的线。图17B示出了需要填充的VB上方/下方的2个需要的线。
2.9.3当禁用非线性ALF时实现两侧填充的替代方法
当为CTB禁用非线性ALF时,例如,裁剪参数k(i,j)在等式(14)中等于(1<<Bitdepth)时,可以通过修改滤波器系数(也称为基于修改系数的ALF、MALF)来替换填充过程。例如,当滤波线L/I中的样点时,将滤波器系数c5修改为c5′,在这种情况下,不需要将亮度样点从实线P0A复制到虚线P0A,将实线P3B复制到虚线P3B,见图18A。在这种情况下,假设要滤波的当前样点位于(x,y),则两侧填充和MALF将生成相同的结果。
c5.K(I(x-1,y-1)-I(x,y),k(-1,-1))+c1.K(I(x-1,y-2)-I(x,y),k(-1,-2))=(c5+c1).K(I(x-1,y-1)-I(x,y),k(-1,-1)) (17)
因为K(d,b)=d,并且由于填充而I(x-1,y-1)=I(x-1,y-2)。
但是,当启用非线性ALF时,MALF和两侧填充可能生成不同的滤波结果,因为非线性参数与每个系数相关联,诸如对于滤波器系数c5和c1,裁剪参数不同。因此,
c5.K(I(x-1,y-1)-I(x,y),k(-1,-1))+c1.K(I(x-1,y-2)-I(x,y),k(-1,-2))!=(c5+c1).K(I(x-1,y-1)-I(x,y),k(-1,-1)) (18)
因为K(d,b)!=d,甚至由于填充而I(x-1,y-1)=I(x-1,y-2)。
2.10 ALF滤波的规范
新添加的部分以粗斜体带下划线的文本指示。删除的部分用[[]]指示。
7.3.2.4图片参数集合RBSP语法
/>
/>
/>
loop_filter_across_bricks_enabled_flag等于1指定了可以在指代PPS的图片中跨砖边界执行环路滤波操作。loop_filter_across_bricks_enabled_flag等于0指定了在指代PPS的图片中不跨砖边界执行环路滤波操作。环路滤波操作包括去块化滤波器、样点自适应偏移滤波器以及自适应环路滤波器操作。如果不存在,则loop_filter_across_bricks_enabled_flag的值被推断为等于1。
loop_filter_across_slices_enabled_flag等于1指定了可以在指代PPS的图片中跨条带边界执行环路滤波操作。loop_filter_across_slices_enabled_flag等于0指定了在指代PPS的图片中不跨条带边界执行环路滤波操作。环路滤波操作包括去块化滤波器、样点自适应偏移滤波器以及自适应环路滤波器操作。如果不存在,则将loop_filter_across_slices_enabled_flag的值被推断为等于0。
pps_loop_filter_across_virtual_boundaries_disabled_flag等于1指定了在指代PPS的图片跨虚拟边界禁用环路滤波操作。pps_loop_filter_across_virtual_boundaries_disabled_flag等于0指定了在指代PPS的图片中不应用环路滤波操作的此类禁用。环路滤波操作包括去块化滤波器、样点自适应偏移滤波器以及自适应环路滤波器操作。如果不存在,则pps_loop_filter_across_virtual_boundaries_disabled_flag的值被推断为等于0。
pps_num_ver_virtual_boundaries指定了PPS中存在的pps_virtual_boundaries_pos_x[i]语法元素的数量。如果pps_num_ver_virtual_boundaries不存在,则其被推断为等于0。
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入是:
在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
滤波重构的亮度图片样点数组alfPictureL
指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb)。
该过程的输出是修改的滤波重构的亮度图片样点数组alfPictureL
使用以下调用章节8.8.5.3的滤波器索引的导出过程:位置(xCtb,yCtb)和重构的亮度图片样点数组recPictureL作为输入,而filtIdx[x][y]和transposeIdx[x][y],其中y=0..CtbSizeY-1,作为输出。
为了导出滤波重构的亮度样点alfPictureL[x][y],当前亮度编解码树块内的每个重构的亮度样点recPictureL[x][y]被滤波如下,其中x,y=0..CtbSizeY-1:
亮度滤波器系数f[j]的数组和与由filtIdx[x][y]指定的滤波器对应的亮度裁剪值c[j]的数组导出如下,其中j=0..11:
如果AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]小于16,则以下适用:
i=AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize] (8-1172)
f[j]=AlfFixFiltCoeff[AlfClassToFiltMap[i][filtidx]][j] (8-1173)
c[j]=2BitdepthY (8-1174)
否则(AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]大于或等于16,则以下适用:
i=slice_alf_aps id_luma[AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]-16](8-1175)
f[j]=AlfCoeffL[i][filtIdx[x][y]][j] (8-1176)
c[j]=AlfClipL[i][filtIdx[x][y]][j] (8-1177)
取决于transposeIdx[x][y]导出亮度滤波器系数和裁剪值索引idx,如下:
如果transposeIndex[x][y]等于1,则以下适用:
idx[]={9,4,10,8,1,5,11,7,3,0,2,6} (8-1178)
否则,如果transposeIndex[x][y]等于2,则以下适用:
idx[]={0,3,2,1,8,7,6,5,4,9,10,11} (8-1179)
否则,如果transposeIndex[x][y]等于3,则以下适用:
idx[]={9,8,10,4,3,7,11,5,1,0,2,6} (8-1180)
否则,如下适用:
idx[]={0,1,2,3,4,5,6,7,8,9,10,11} (8-1181)
亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-3...3,导出如下:
如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于3,其中任何n=0..pps_Bum_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i)(8-1182)
否则,如果pps_loop_filtef_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于4,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1183)
否则,如下适用:
hx+i=Clip3(0,pic_widt_in_luma_samples-1,xCtb+x+i) (8-1184)
如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j)(8-1185)
否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]-yCtb-y大于0且小于4,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1186)
否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j) (8-1187)
根据水平亮度样点的位置y和applyVirtualBoundary,表8-22中指定重构的样点偏移r1、r2和r3。
变量curr导出如下:
curr=recPictureL[hx,vy] (8-1188)
变量sum导出如下:
修改的滤波重构的亮度图像样点alfPictureL[xCtb+x][yCtb+y]导出如下:
如果pcm_loop_filter_disabled_flag和pcm_flag[xCtb+x][yCtb+y]两者都等于1,则以下适用:
alfPictureL[xCtb+x][yCtb+y]=recPictureL[hx,vy] (8-1191)
否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPictureL[xCtb+x][yCtb+y]=Clip3(0,(1<<BitDepthY)-1,sum) (8-1192)
表8-22-根据水平亮度样点位置y和applyVirtualBoundary的r1、r2和r3的规范
条件 r1 r2 r3
(y==CtbSizeY-5||y==CtbSizeY-4)&&(applyVirtualBoundary==1) 0 0 0
(y==CtbSizeY-6||y==CtbSizeY-3)&&(applyVirtualBoundary==1) 1 1 1
(y==CtbSizeY-7||y==CtbSizeY-2)&&(applyVirtualBoundary==1) 1 2 2
否则 1 2 3
8.8.5.4色度样点的编解码树块滤波过程
该过程的输入是:
在自适应环路滤波过程之前,重构的色度图片样点数组recPicture,
滤波重构的色度图片样点数组alfPicture,
指定当前色度编解码树块的左顶样点相对于当前图片的左顶样点的色度位置(xCtbC,yCtbC)。
该过程的输出是经修改滤波重构的色度图片样点数组alfPicture。
当前色度编解码树块的宽度ctbWidthC和高度ctbHeightC导出如下:
ctbWidthC=CtbSizeY/SubWidthC (8-1230)
ctbHeightC=CtbSizeY/SubHeightC (8-1231)
为了导出滤波重构的色度样点alfPicture[x][y],当前色度编解码树块recPicture[x][y]内的每个重构的色度样点被滤波如下,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
色度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2..2,导出如下:
如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthC大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-x大于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1233)
否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1234)
如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightC大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-y大于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1236)
否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1237)
变量applyVirtualBoundary导出如下:
根据水平亮度样点的位置y和applyVirtualBoundary,表8-22中指定重构的样点偏移r1和r2。
变量curr导出如下:
curr=recPicture[hx,vy] (8-1238)
色度滤波器系数f[j]的数组和色度裁剪值c[j]的数组导出如下,其中j=0..5:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1239)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1240)
变量sum导出如下:
经修改滤波重构的色度图片样点alfPicture[xCtbC+x][yCtbC+y]导出如下:
如果pcm_loop_filter_disabled_flag和pcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]两者都等于1,则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1243)
否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthc)-1,sum) (8-1244)
2.11 CTU处理的示例
根据当前VVC设计,如果一个CTB的底边界是条带/砖的底边界,则禁用ALF虚拟边界处理方法。例如,如图19描绘,一个图片划分成多个CTU和2个条带。
假设CTU大小为MxM(例如,M=64),则根据虚拟边界定义,在虚拟边界下方处理CTB内的最后4线。在硬件实现方式中,以下适用:
-如果CTB的底边界是图片(例如,CTU-D)的底边界,则处理(M+4)×M块,包括来自CTU行上方的4线和当前CTU中的所有线。
-否则,如果CTB的底边界是条带(或砖)(例如,CTU-C)的底边界,并且loop_filter_across_slice_enabled_flag(或loop_filter_across_bricks_enabled_flag)等于0,则处理(M+4)×M块,包括CTU行上方的4线和当前CTU中的所有线。
-否则,如果条带/砖/片中的第一CTU行中的CTU/CTB(例如,CTU-A),则处理除最后4线以外的M×(M-4)块。
-否则,如果CTU/CTB不在条带/砖/片的第一CTU行中(例如,CTU-B)且不在条带/砖/片的最后CTU行中,则处理M×M块,包括来自CTU行上方的4线且排除当前CTU中的最后4线。
图19示出了图片中处理CTU的示例。
2.12 360度视频编解码
VTM5中的水平环绕运动补偿是360专用的编解码工具,其设计为提高以等矩形(ERP)投影格式重构的360度视频的视觉质量。在常规的运动补偿中,当运动矢量指代超出参考图片的图片边界的样点时,应用重复填充以通过从对应的图片边界上最近的邻域复制来导出边界外的样点的值。对于360度视频,这种重复填充的方法不适合,并且可能在重构的视口(viewport)视频中引起叫做“接缝伪影”的视觉伪影。因为360度视频是在球面上捕获的且固有地没有“边界”,所以始终可以从球面域中的邻域样点中获得投影的域中参考图片的边界外的参考样点。对于一般的投影格式,可能难以在球面域中导出对应的邻域样点,因为它涉及二维到三维和三维到二维的坐标转换,以及分数样点位置的样点插值。该问题对于ERP投影格式的左边界和右边界要简单得多,因为可以从右图片边界内的样点获得左图片边界之外的球面邻域,并且反之亦然。
图20示出了VVC中水平环绕运动补偿的示例。
水平环绕运动补偿过程是如图20所描述。当参考块的一部分在投影的域中的参考图片的左(或右)边界之外时,代替重复填充,“边界外的”部分采取自属于朝向投影的域的右(或左)边界的参考图片的对应球面邻域。重复填充仅用于顶和底图片边界。如图21所描绘,水平环绕运动补偿可以与360度视频编解码中经常使用的非规范填充方法组合。在VVC中,这是通过信令通知高级别语法元素以指示环绕偏移来实现,该偏移应在填充之前设置为ERP图片宽度;该语法用于相应地调整水平环绕的位置。该语法不受左图片边界和右图片边界上特定填充量影响,并且因此自然地支持ERP图片的非对称填充,例如,当左填充和右填充不同时。当参考样点在参考图片的左边界和右边界之外时,水平环绕运动补偿为运动补偿提供了更加有意义的信息。
对于由多个面构成的投影格式,无论使用哪种紧凑的帧封装布置,在帧封装的图片中两个或更多个相邻面之间出现不连续性。例如,考虑图24中描绘的3×2帧封装配置,上半部的三个面在三维几何体中是连续的,下半部的三个面在三维几何体中是连续的,但是帧封装的图片的上半部和下半部在三维几何体中不连续。如果跨该不连续性执行环路滤波操作,则在重构的视频中面接缝伪影可以变得可见。
为缓解面接缝伪影,可以在帧封装的图片中跨不连续性禁用环路滤波操作。提出语法,以指示禁用环路滤波操作的垂直和/或水平虚拟边界。与使用两个片(一片用于连续面的每一集合)且与禁用跨片的环路滤波操作相比较,提出的信令方法更加灵活,因为它不需要面大小为CTU大小的倍数。
2.13示例基于子图片的运动受限独立区域
在一些实施例中,包括以下特征:
1)图片可分成子图片。
2)在SPS中指示子图片的存在的指示,以及子图片的其他序列级信息。
3)可以由比特流来控制在解码过程(排除环路滤波操作)中子图片是否被处理为图片。
4)可以由每个子图片的比特流来控制是否禁用跨子图片边界的环路滤波。更新DBF、SAO和ALF过程以控制跨子图片边界的环路滤波操作。
5)为简单起见,作为起点,以SPS中的亮度样点为单位信令通知子图片的宽度、高度、水平偏移和垂直偏移。子图片边界被限制为条带边界。
6)在解码过程(排除环路滤波操作)中将子图片处理为图片是通过略微更新coding_tree_unit()语法来指定的,并且更新至以下解码过程:
ο(高级)时域亮度运动矢量预测的导出过程
ο亮度样点双线性插值过程
ο亮度样点8抽头插值滤波过程
ο色度样点插值过程
7)子图片ID在SPS中明确指定且被包括在片组头中,以启用子图片序列的提取而无需改变VCL NAL单元。
提出了输出子图片集(OSPS),以指定子图片及其集合的规范提取和一致性点。
3.本文档中提供的方案所解决的技术问题
当前VVC设计具有以下问题:
1.启用ALF虚拟边界的当前设置取决于CTB的底边界是否是图片的底边界。如果为真,则禁用ALF虚拟边界,诸如图19中的CTU-D。然而,CTB的底边界可以在图片的底边界之外,诸如256x240图片被划分为4个128x128 CTU,在这种情况下,对于具有位于底图片边界之外的样点的最后2个CTU,ALF虚拟边界将错误地设置为真。
2.对于底图片边界和条带/片/砖边界,禁用用于处理ALF虚拟边界的方法。沿条带/砖边界禁用VB可以创建管线气泡或需要每虚拟管线数据单元(VPDU,VVC中64x64)处理68线,假设LCU大小为64x64。例如:
a.对于不知道前面的条带/砖/片边界的解码器(低延迟的应用),需要恢复ALF线缓冲器。线缓冲器中的内容是否用于ALF滤波取决于当前CTU是否也是条带/砖/片边界CTU,然而,该信息是未知的直到解码下一个条带/砖/片。
b.对于知道前面的条带/砖/片边界,解码器需要接收管线气泡(非常不可能),或者始终以每64x64 VDPU的68线的速度运行ALF(超额配置(overprovision)),以避免使用ALF线缓冲器。
3.存在用于处理虚拟边界和视频单元边界的不同方式,例如,不同的填充方法。同时,当线在多个边界处时,对于该线可以执行多于一个填充方法。
a.在一个示例中,如果块的底边界是360度虚拟边界,并且ALF虚拟边界也被应用于该块,则在这种情况下,用于360度虚拟边界的填充方法可以首先应用为生成360度虚拟边界下方的虚拟样点。然后,位于360度虚拟边界下方的这些虚拟样点处理为可用。并且,根据图16A-C可以进一步应用ALF 2侧填充方法。在图25中描绘一个示例。
4.用于处理虚拟边界的方法可以是次优的,因为采用填充的样点,这可能是低效的。
5.当禁用非线性ALF时,MALF和两侧填充方法将能够生成相同的结果,以用于滤波需要访问跨虚拟边界的样点的样点。然而,当启用非线性ALF时,两种方法将带来不同的结果。这有益于对准这两个情况。
6.条带可以是矩形条带,也可以是非矩形条带,如图28所描绘。在这种情况下,对于CTU,它可以不与任何边界(例如,图片/条带/片/砖)重合。但是,可以需要访问当前条带之外的样点。如果跨条带边界的滤波(例如,loop_filter_across_slices_enabled_flag为假)被禁用,则如何执行ALF分类和滤波过程是未知的。
7.子图片是图片内一个或多个条带的矩形区域。子图片含有一个或多个条带,该条带共同覆盖图片的矩形区域。语法表修改如下(粗体、斜体和下划线),以包括子图片的构思。
7.3.2.3序列参数集RBSP语法
注意到,为每个子图片控制启用跨子图片的滤波。然而,对启用跨条带/片/砖的滤波的控制是在图片级被控制,该图片级被信令通知一次以控制一个图片内的所有条带/片/砖。
8.ALF分类在4x4单位中执行,即,一个4x4单位内的所有样点共享相同的分类结果。但是,更准确地说,含有当前4x4块的8x8窗口中的样点需要计算它们的梯度。在这种情况下,如图30所描绘,需要访问10×10个样点。如果一些样点位在不同的视频单元中(例如,不同的条带/片/砖/子图片/上或左或右或底“360虚拟边界”/上或下“ALF虚拟边界”),如何计算分类需要被定义。
9.在VVC设计中,标识四个边界位置(例如,左垂直/右垂直/上水平/下水平)。如果样点位于四个边界位置内,则将其标记为可用。然而,在VVC中,条带可能会覆盖非矩形区域,如图28所示。通过检验这四个边界位置,可以标记错误的可用性结果。例如,对于图28中的蓝色位置(左顶点),如果loop_filter_across_slices_enabled_flag为假(例如,跨条带的样点不允许在ALF中使用),它在与当前块(例如,覆盖红色位置(右下点)的块)不同的条带中并且应当标记为“不可用”。但是,仅通过检验当前块的左垂直/右垂直/上水平/下水平边界,蓝色位置将被错误地标记为“可用”。
4.技术和实施例的示例
下面列出的应作为示例考虑以解释总体构思。这些列出技术不应以窄义方法解释。此外,这些技术可以以任意方式进行组合。
用于ALF虚拟边界的填充方法可以表示为“两侧填充”,其中如果填充位于(i,j)处的一个样点,则即使样点可用也填充位于(m,n)处的共享相同滤波器系数的对应样点,如图12-13所描绘。
用于图片边界/360度视频虚拟边界、普通边界(例如,顶边界和底边界)的填充方法可以表示为“一侧填充”,其中,如果要使用的一个样点在边界之外,则将该样点从图片中的可用图片复制。
用于360度视频左边界和右边界的填充方法可以表示为“基于围绕的填充”,其中,如果要使用的一个样点在边界之外,则将该样点使用运动补偿结果复制。
在以下讨论中,样点“在视频单元的边界处”可以意味着样点与视频单元的边界之间的距离小于或不大于阈值。“线”可以指在同一水平位置处的样点或在同一垂直位置处的样点。(例如,相同行中的样点和/或相同列中的样点)。函数Abs(x)定义如下:
在以下讨论中,“虚拟样点”指代生成的样点,该样点可以不同于重构的样点(可以通过去块化和/或SAO处理)。虚拟样点可以用于对另一个样点进行ALF。可以通过填充来生成虚拟样点。
“为一个块启用ALF虚拟边界处理方法”可以表示规范中的applyVirtualBoundary设置为真。“启用虚拟边界”可以指示当前块由虚拟边界划分成至少两个部分,并且位于一个部分中的样点在滤波过程中(例如,ALF)不允许采用另一个部分中的样点。虚拟边界可以是一个块的底边界上方的K行。
在以下描述中,邻域样点可以是滤波器分类和/或滤波过程所需的那些样点。
在本公开中,如果邻域样点在当前图片、或当前子图片、或当前片、或当前条带、或当前砖、或当前CTU、或当前CTU或当前处理单元(诸如ALF处理单元或窄ALF处理单元)或任何其他当前视频单元之外,则邻域样点“不可用”。
1.将“当前编解码树块的底边界是图片的底边界”的确定替换为“当前编解码树块的底边界是图片的底边界或在图片之外”。
a.替代地,另外,在这种情况下,可以禁用ALF虚拟边界处理方法。
2.在环路滤波过程中是否启用虚拟样点的使用(例如,是否启用虚拟边界(例如,将applyVirtualBoundary设置为真或假))可以取决于CTB大小。
a.在一个示例中,对于给定的CTU/CTB大小,例如对于等于KxL(例如,K=L=4)的CTU/CTB大小,applyVirtualBoundary始终设置为假。
b.在一个示例中,对于不大于或小于KxL(例如,K=L=8)的某些CTU/CTB大小,applyVirtualBoundary始终设置为假。
c.替代地,对于某些CTU/CTB大小(诸如4x4、8x8)禁用ALF。
3.在环路滤波过程(例如,ALF)中是否启用虚拟样点(例如,从重构的样点填充)的使用可以取决于块的底边界是视频单元的底边界或是虚拟边界,该视频单元是在与图片(例如,条带/片/砖)相比更细的粒度中。
a.在一个示例中,如果CTB的底边界是视频单元的边界或虚拟边界,则可以针对编解码树块(CTB)启用ALF虚拟边界处理方法(例如,applyVirtualBoundary设置为真)。
i.替代地,另外,如果底边界不是底图片边界,或者如果底边界在图片之外,则启用上述方法。
b.当当前编解码树块的底边界是图片的底虚拟边界中的一个并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1时,仍可以启用ALF虚拟边界处理方法(例如,applyVirtualBoundary设置为真)。
c.在一个示例中,是否为CTB启用ALF虚拟边界处理方法(例如,applyVirtualBoundary的值)可以仅取决于CTB的底边界与图片的底边界之间的关系。
i.在一个示例中,只有CTB的底边界是含有CTB的图片的底边界或只有底边界在图片之外,才将applyVirtualBoundary设置为假。
ii.在一个示例中,当CTB的底边界“不”是含有CTB的图片的底边界时,applyVirtualBoundary设置为true。
d.在一个示例中,当解码图18A-18C中的CTU-C时,可以用来自CTU上方的K个线且排除虚拟边界下方的K个线来滤波M×M个样点。
4.提出的是,即使当用于跨砖/条带边界的环路滤波器的信令通知的控制使用标志(例如,loop_filter_across_bricks_enabled_flag/loop_filter_across_slices_enabled_flag)为真时,也要在滤波过程(例如,ALF)中禁用跨砖/条带边界的样点的使用。
a.替代地,另外,信令通知的loop_filter_across_bricks_enabled_flag/loop_filter_across_slices_enabled_flag可以仅控制除ALF以外的SAO和去块化滤波器的滤波过程。
b.在一个示例中,可以使用虚拟样点代替在对应位置处的重构的样点来对另一个样点进行ALF。
5.当一个块(例如,CTB)含有位于视频单元的边界(诸如条带/砖/片/360度视频虚拟或法线边界/图片边界)的样点时,如何为诸如ALF的环路滤波在视频单元内部或外部生成虚拟样点(例如,填充方法)可以针对不同种类的边界被统一。
a.替代地,另外,可以将虚拟边界的方法(例如,两侧填充方法)应用于块,来为环路滤波处理边界处的样点。
b.替代地,另外,当块含有位于视频单元的底边界处的样点时,可以应用上述方法。
c.在一个示例中,当解码一个块的K个线时,如果在块的虚拟边界下方的K个线(例如,图17A-17B的CTU-B中的最后K个线),并且块的底边界是视频单元的底边界,可以在ALF分类/滤波过程中生成虚拟样点,以避免使用这些K个线之外的其他样点,例如,可以应用两侧填充方法。
i.替代地,可以针对那些最后K个线禁用ALF。
d.在一个示例中,当一个块位于多个边界时,用于ALF分类的像素/样点可以被限制为不跨这些多个边界中的任何一个。
i.在一个示例中,对于样点,如果它的某一邻域样点是“不可用”的(例如,跨多个边界中的任何一个),则可以不会为该样点计算单独的或所有种类的梯度/方向性。
1.在一个示例中,样点的梯度可以被视为零。
2.在一个示例中,样点的梯度可以被视为“不可用”,并且可以不被添加到在ALF分类过程中导出的活动(例如,第2.6.1.1节的等式(8)中定义的)。
ii.在一个示例中,当只有在ALF分类过程中使用的部分样点是“可用”的时(例如,没有跨这些边界中的任何一个),可以将在ALF分类过程中导出的活动/方向性按比例缩放。
iii.在一个示例中,对于边界块,假设在ALF分类过程中需要计算N个样点的梯度/方向性,并且只能计算M个样点的梯度(例如,如果样点的某一邻域样点不是“可用”的,则不能计算它的梯度),然后可以将活动乘以N/M。
1.替代地,它可以乘以与N/M相关的因子。例如,该数可以是MN(N是整数),例如M=2。
e.在一个示例中,可以将M×N(例如,在当前设计中,M=N=8,M个列和N个行)窗口中的部分样点的梯度用于分类。
i.例如,对于当前的N1*N2(当前设计中的N1=N2=4)块,M*N以N1*N2块为中心。
ii.在一个示例中,可以使用不需要跨任何边界访问样点的样点的梯度。
1.替代地,另外,当计算位于一个或多个边界处的样点的梯度时,如果当前样点的一些邻域样点是“不可用”的,则可以执行填充(例如,单侧填充)。
2.替代地,另外,如果当前样点位于视频单元的顶边界(诸如条带/砖/片/360度视频虚拟边界或ALF虚拟边界)处,则可以填充上方K(例如,K=1、2)个不可用线。
3.替代地,另外,如果当前样点位于视频单元的左边界处,则可以填充左方K(例如,K=1、2)个不可用列。
4.替代地,另外,如果当前样点位于视频单元的右边界处,则可以填充右方K(例如,K=1、2)个不可用列。
5.替代地,另外,如果当前样点位于视频单元的底边界处,则可以填充底部K(例如,K=1、2)个不可用线。
6.替代地,另外,如果当前样点位于视频单元的顶边界和左边界处,则可以首先填充上方K1(例如,K1=1、2)个不可用线以生成M*(N+K1)窗口,然后可以填充左方K2(例如,K2=1、2)个不可用列以生成(M+K2)*(N+K1)窗口。
a.替代地,可以首先填充左方K2(例如,K2=1、2)个不可用列以生成(M+K2)*N窗口,然后可以填充上方K1(例如,K1=1、2)个不可用线以生成(M+K2)*(N+K1)窗口。
7.替代地,另外,如果当前样点位于视频单元的顶边界和右边界处,则可以首先填充上方K1(例如,K1=1、2)个不可用线以生成M*(N+K1)窗口,然后可以填充右方K2(例如,K2=1、2)个不可用列以生成(M+K2)*(N+K1)窗口。
a.替代地,可以首先填充右方K2(例如,K2=1、2)个不可用列以生成(M+K2)*N窗口,然后可以填充上方K1(例如,K1=1、2)个不可用线以生成(M+K2)*(N+K1)窗口。
8.替代地,另外,如果当前样点位于视频单元的底边界和右边界,则可以首先填充底部K1(例如,K1=1、2)个不可用线以生成M*(N+K1)窗口,然后可以填充右方K2(例如,K2=1、2)个不可用列以生成(M+K2)*(N+K1)窗口。
a.替代地,可以首先填充右方K2(例如,K2=1、2)个不可用列以生成(M+K2)*N窗口,然后可以填充底部K1(例如,K1=1、2)个不可用线以生成(M+K2)*(N+K1)窗口。
9.替代地,另外,如果当前样点位于视频单元的底边界和左边界,则可以首先填充底部K1(例如,K1=1、2)个不可用线以生成M*(N+K1)窗口,然后可以填充左方K2(例如,K2=1、2)个不可用列以生成(M+K2)*(N+K1)窗口。
a.替代地,可以首先填充左方K2(例如,K2=1、2)个不可用列以生成(M+K2)*N窗口,然后可以填充底部K1(例如,K1=1、2)个不可用线以生成(M+K2)*(N+K1)窗口。
10.替代地,另外,填充样点可以用来计算梯度。
iii.在一个示例中,对于视频单元顶/底边界处的块(诸如条带/砖/片/360度视频虚拟边界或ALF虚拟边界),在M*(N-C1)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口的顶部/底部C1个线的梯度。
iv.在一个示例中,对于视频单元的左/右边界处的块,在(M-C1)*N窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口的左方/右方C1个列的梯度。
v.在一个示例中,对于视频单元的顶边界和底边界处的块,在M*(N-C1-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的顶部C1个线和底部C2个线的梯度。
vi.在一个示例中,对于视频单元的顶边界/左边界处的块,在(M-C1)*(N-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的顶部C1个线和左方C2个列的梯度。
vii.在一个示例中,对于视频单元的顶边界和右边界处的块,在(M-C1)*(N-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口的顶部C1个线和右方C2个列的梯度。
viii.在一个示例中,对于视频单元的底边界和左边界处的块,在(M-C1)*(N-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的底部C1个线和左方C2个列的梯度。
ix.在一个示例中,对于视频单元的底边界和右边界处的块,在(M-C1)*(N-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的底部C1个线和右方C2个列的梯度。
x.在一个示例中,对于视频单元的左边界和右边界处的块,在(M-C1-C2)*N窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的左方C1个线和右方C2个列的梯度。
xi.在一个示例中,对于视频单元顶边界、底边界和左边界处的块,在(M-C3)*(N-C1-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的顶部C1个线、底部C2个线和左方C3个列的梯度。
xii.在一个示例中,对于视频单元的顶边界、底边界和右边界处的块,在(M-C3)*(N-C1-C2)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的顶部C1个线、底部C2个线和右方C3个列的梯度。
xiii.在一个示例中,对于视频单元左边界、右边界和顶边界处的块,在(M-C1-C2)*(N-C3)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的左方C1个列、右方C2个列和顶部C3个线的梯度。
xiv.在一个示例中,对于视频单元的左边界、右边界和底边界处的块,在(M-C1-C2)*(N-C3)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的左方C1个列、右方C2个列和底部C3个线的梯度。
xv.在一个示例中,对于视频单元的左边界、右边界、顶边界和底边界处的块,在(M-C1-C2)*(N-C3-C4)窗口中的样点的梯度可以用于块的分类。
1.替代地,另外,在分类中不使用M*N窗口中的左方C1个列、右方C2个列、顶部C3个线和底部C4个线的梯度。
xvi.在一个示例中,C1、C2、C3和C4等于2。
xvii.在一个示例中,可以使用不具有在梯度计算中所需的任何“不可用”邻域样点的样点的梯度。
f.在一个示例中,当一个线位于多个边界处(例如,线与边界之间的距离小于阈值)时,无论该线可能属于多少个边界都仅执行一次填充过程。
i.替代地,另外,应填充多少邻域线可以取决于当前线相对于所有边界的位置。
ii.例如,诸如当当前线在两个边界内且两个边界在上方和下方时,可以由当前线与两个边界之间的距离来决定应填充多少邻域线。
iii.例如,诸如当当前线在两个边界内且两个边界在上方和下方时,可以由当前线与最近边界之间的距离来决定应填充多少邻域线。
iv.例如,可以为每个边界独立地计算应填充多少邻域线,并且选择最大值作为最终填充线数。
v.在一个示例中,可以为该线的每一侧(例如,上侧和下侧)决定应填充多少邻域线。
vi.在一个示例中,对于两侧填充方法,可以为两侧共同确定应填充多少邻域线。
vii.替代地,另外,应用由ALF使用的两侧填充方法。
g.在一个示例中,当一个线处于多个边界处并且在线的每一侧(例如,上侧和下侧)中存在至少一个边界时,可以为其禁用ALF。
h.在一个示例中,当由当前线所需的填充的线的数目大于阈值时,可以为当前线禁用ALF。
i.在一个示例中,当任一侧中的填充的线的数目大于阈值时,可以为当前线禁用ALF。
ii.在一个示例中,当两侧中的填充的线的总数大于阈值时,可以为当前线禁用ALF。
i.替代地,另外,当块含有位于视频单元的底边界处的样点并且为块启用诸如ALF的环路滤波时,可以应用上述方法。
j.替代地,另外,可以在某些条件下应用上述方法,诸如当块含有位于视频单元的底边界处的样点并且不允许跨边界的滤波时(例如,pps_loop_filter_across_virtual_boundaries_disabled_flag/loop_filter_across_slices_enabled_flag/loop_filter_across_slices_enabled_flag为真)。
k.提出的方法也可应用于位于垂直边界处的样点/块。
6.当样点位于一个块的至少两个边界处(例如,上方当前线的至少一个边界是ALF虚拟边界,并且下方是另一个边界)时,要填充多少个线并不仅仅由当前线相对于ALF虚拟边界之间的距离决定。代替地,这是由当前线相对于两个边界之间的距离确定。
a.在一个示例中,用于每侧填充的线数被设置为(M-min(D0,D1))。
b.在一个示例中,用于每侧填充的线数被设置为(M-max(D0,D1))。
c.对于上述示例,D0、D1表示当前线与上/下边界之间的距离。
d.对于上述示例,M表示ALF虚拟边界从一个CTU的底部开始的线数。
7.可以定义在ALF分类和/或ALF线性或非线性滤波过程中选择样点的至少两种方式,其中一种方法是在应用任何环路滤波方法之前选择样点,并且另一种方法是在应用一个或多个环路滤波方法之后但在应用ALF之前选择样点。
a.在一个示例中,不同方式的选择可以取决于要滤波的样点的位置。
b.在一个示例中,视频单元(诸如CTB)的底边界处的样点当其用在针对另一个样点的ALF中时可以使用第一种方法来选择。否则(不在边界处),选择第二种方法。
8.提出在滤波过程中禁用跨VPDU边界(例如,64x64区域)的样点的使用。
a.在一个示例中,当ALF分类过程所需的样点在VPDU边界之外或在虚拟边界下方时,它可以被替换为虚拟样点,或者该样点的分类结果可以从与其他样点相关联的分类结果复制,诸如从可用的样点填充。
b.在一个示例中,当滤波过程所需的样点在VPDU边界之外或在虚拟边界下方时,它可以被替换为虚拟样点,诸如从可用样点填充。
c.在一个示例中,如果块含有位于VPDU的边界处的样点,则可以为该块启用ALF虚拟边界处理方法(例如,applyVirtualBoundary设置为真)。
d.替代地,可以在滤波过程中禁用跨水平VPDU边界的样点的使用。
i.在一个示例中,当滤波过程所需的样点在水平VPDU边界下方或虚拟边界下方时,它可以由虚拟样点替换,诸如从可用样点填充。
e.替代地,可以在滤波过程中禁用跨垂直VPDU边界的样点的使用。
i.在一个示例中,当滤波过程所需的样点在垂直VPDU边界下方或虚拟边界下方时,它可以由虚拟样点替换,诸如从可用样点填充。
9.代替在ALF分类/滤波过程中使用填充的样点(例如,不可用的上方/下方虚拟边界、视频单元的上方/下方边界),提出使用所有环路滤波器之前重构的样点。
a.替代地,另外,经由从所有环路滤波器之前重构的样点填充样点来应用两侧填充的构思。
i.在一个示例中,如果滤波器支持中的样点来自所有环路滤波器之前重构的样点,则滤波器支持中的对称(例如,关于如当前样点的原点对称)样点也应使用所有环路滤波器之前重构的样点。
1.假设要滤波的当前样点的坐标为(0,0)并且位于(i,j)处的样点是在所有环路滤波器之前重构的样点,则位于(-i,-j)的样点为在所有环路滤波器之前重构的样点。
2.假设要滤波的当前样点的坐标为(x,y)并且位于(x+i,y+j)处的样点是在所有环路滤波器之前重构的样点,则位于(x-i,y-j)处的样点为在所有环路滤波器之前重构的样点。
b.替代地,另外,当启用环路整形(又称LMCS)时,在所有环路滤波器之前重构的样点都是从整形域转换而来的原始域中的样点。
10.代替在ALF滤波过程中使用填充的样点(例如,不可用的上方/下方虚拟边界、视频单元的上方/下方边界),提出采用不同的ALF滤波器支持。
a.在一个示例中,假设需要以上述方法填充样点,与该样点相关联的滤波器系数被设置为零,以代替执行该填充。
i.在这种情况下,可以通过排除需要填充的样点来修改滤波器支持。
ii.替代地,此外,应用于除当前样点以外的其他样点的滤波器系数保持不变,但是,可以修改应用于当前样点的滤波器系数,诸如((1<<C_BD)-应用于不需要填充的样点的所有滤波器系数之和),其中C_BD指示滤波器系数的比特深度。
1.以图18A-18B为例,当对线L和I进行滤波时,将应用于当前样点的滤波器系数c12修改为((1<<C_BD)-2*(c4+c5+c6+c7+c8+c9+c10+c11))。
b.在一个示例中,假设从(x2,y2)以上述方法填充样点(x1,y1),无论启用还是禁用非线性滤波器,都将与(x1,y1)相关联的滤波器系数添加到位置(x2,y2)的滤波器系数,以代替执行该填充。
i.替代地,另外,(x2,y2)的裁剪参数可以即时导出。
1.在一个示例中,可以设置为等于用于(x2,y2)的解码的裁剪参数。
2.替代地,可以设置为函数的返回值,其中(x1,y1)和(x2,y2)的解码的裁剪参数作为输入,诸如较大值或较小值。
11.裁剪参数/滤波器系数/滤波器支持的选择可以取决于滤波样点是否需要访问填充的样点(例如,不可用的上方/下方虚拟边界、视频单元的上方/下方边界)。
a.在一个示例中,对于具有相同类索引的样点可以采用不同的裁剪参数/滤波器系数/滤波器支持,但是对于样点中的一些需要访问填充的样点而其他不需要。
b.在一个示例中,可以在CTU/区域/条带/片级别中信令通知用于对需要访问填充的样点的样点进行滤波的裁剪参数/滤波器系数/滤波器支持。
c.在一个示例中,用于对需要访问填充的样点的样点进行滤波的裁剪参数/滤波器系数/滤波器支持可以从用于对不需要访问填充的样点的样点进行滤波的裁剪参数/滤波器系数/滤波器支持中导出。
i.在一个示例中,可以应用项目符号9a或9b。
12.如何为环路滤波(诸如ALF)处理边界处的样点可能取决于色彩分量和/或色彩格式。
a.例如,“边界处”的定义对于不同的色彩分量可以是不同的。在一个示例中,如果亮度样点与底边界之间的距离小于T1,则该亮度样点在底边界处;如果色度样点与底边界之间的距离小于T2,则该色度样点在底边界处。T1和T2可以不同。
i.在一个示例中,当色彩格式不是4:4:4时,T1和T2可以不同。
13.当一个CTU/VPDU的底/顶/左/右边界也是具有独立编解码的条带/片/砖/子区域的边界时,将应用多个填充过程的固定顺序。
a.在一个示例中,在第一步骤中,首先应用条带/片/砖的填充方法(例如,单侧填充)。然后,在第二步骤期间进一步应用用于处理ALF虚拟边界的填充方法(例如,两侧填充方法)。在这种情况下,第一步骤之后的填充的样点被标记为可用,并且可以用于决定在ALF虚拟边界过程中要填充多少个线。采用相同规则(例如,图16A-16C)以用于处理不在那些边界处的CTU。
14.提出的方法可以应用于两个子图片之间的一个或多个边界。
a.应用提出的方法的边界可以是水平边界。
b.应用提出的方法的边界可以是垂直边界。
15.以上提出的方法可以应用于垂直边界处的样点/块。
16.在“360虚拟边界”处是否应用或如何应用提出的方法可以取决于“360虚拟边界”的位置。
a.在一个示例中,当“360虚拟边界”与CTU边界重合时,可以应用所提出的方法。例如,对于“360虚拟边界”处的样点,在ALF中仅可以应用两侧填充。
b.在一个示例中,当“360虚拟边界”与CTU边界不重合时,可以不应用所提出的方法。例如,对于“360虚拟边界”处的样点,可以在ALF中仅应用1侧填充。
c.在一个示例中,对于“360虚拟边界”处的样点,可以在ALF中应用相同的填充方法,无论“360虚拟边界”的位置如何。
i.例如,对于“360虚拟边界”处的样点,可以在ALF中应用1侧填充。
ii.例如,对于“360虚拟边界”处的样点,可以在ALF中应用2侧填充。
d.在一个示例中,对于其中至少一个边界是“360虚拟边界”并且“360虚拟边界”中的至少一个与CTU边界不重合的多个边界处的样点,可以不应用所提出的方法。
i.例如,可以通过1侧填充来填充跨这些多个边界中的任何一个的样点。
1.替代地,另外,如果存在“虚拟边界”,则可以在1侧填充之后在ALF中应用2侧填充。
e.在一个示例中,对于位于两种边界之间的样点,如果这其中一种边界是“360虚拟边界”,而另一种不是,则在ALF过程中仅调用填充一次。
i.在一个示例中,可以调用用于处理ALF虚拟边界的填充方法(例如,2侧填充方法)。
1.替代地,可以调用用于处理图片(或条带/片/砖/子图片)边界的填充方法(例如,1侧填充)。
ii.替代地,可以依次应用两个或多个填充过程。
1.在一个示例中,可以首先应用用于处理图片(或条带/片/砖/子图片)边界的填充方法(例如,1侧填充),然后,还可以调用用于处理ALF虚拟边界的填充方法(例如,2侧填充方法)。
a.替代地,另外,第一填充之后的填充样点被视为可用在第二填充过程中。
iii.在一个示例中,对于位于两种或更多种边界(例如,条带边界/片边界/砖边界/“360虚拟边界”/“ALF虚拟边界”/子图片边界)之间的样点,只要其中一个边界是“360虚拟边界”(如图24所示,例如,第一边界是“360虚拟边界”,并且第二边界是“ALF虚拟边界”或条带/砖/片边界/子图片边界,或反之亦然),就可以应用所提出的方法。例如,对于这些样点,可以在ALF中只应用2侧填充。
1.替代地,如果这些多种边界是“360虚拟边界”或图片边界,则可以不应用所提出的方法。例如,对于这些样点,可以在ALF中只应用1侧填充。
f.在一个示例中,对于位于两种或更多种边界之间的样点,并且如果其中至少一个边界是“360虚拟边界”并且它与CTU边界不重合,则可以不应用所提出的方法。
i.在这种情况下,这可以认为仅在“360虚拟边界”处而不在其他种类的边界处处理样点的现有技术。
ii.在一个示例中,对于这些样点,可以在ALF中只应用1侧填充。
g.在一个示例中,对于位于两种或更多种边界之间的样点,并且如果其中至少一个边界是“360虚拟边界”,则可以不应用所提出的方法。
i.在这种情况下,这可以认为仅在“360虚拟边界”处而不在其他种类的边界处处理样点的现有技术。
ii.在一个示例中,对于这些样点,可以在ALF中只应用1侧填充。
17.当ALF滤波过程中所需的参考样点(例如P0i,其中图16C中在滤波当前样点P0时i为A/B/C/D)、或/和ALF分类过程“不可用”,例如,由于样点位于与当前样点不同的视频单元(例如,条带/砖/片/子图片)中并且不允许使用跨视频单元的样点(例如,条带/砖/片/子图片边界)进行滤波时,“不可用”的样点可以用“可用”样点(例如,与当前样点相同的条带/砖/片/子图片内的样点)进行填充。
a.在一个示例中,可以首先将“不可用”参考样点裁剪到其最近的“可用”水平位置,然后,如果需要,则将“不可用”参考样点裁剪到其最近的“可用”垂直位置。
b.在一个示例中,可以首先将“不可用”参考样点裁剪到其最近的“可用”垂直位置,然后,如果需要,则将“不可用”样点裁剪到其最近的“可用”水平位置。
c.在一个示例中,“不可用”参考样点的坐标在水平方向上被裁剪到其最接近的“可用”样点(例如,最小距离)的坐标。
i.在一个示例中,对于坐标为(x1,y1)和(x2,y2)的两个样点,它们之间的水平距离可以被计算为Abs(x1-x2)。
d.在一个示例中,“不可用”参考样点的坐标在垂直方向上被裁剪至其最近的“可用”样点(例如,最小距离)的坐标。
i.在一个示例中,对于坐标为(x1,y1)和(x2,y2)的两个样点,它们之间的垂直距离可以被计算为Abs(y1-y2)。
e.在一个示例中,“不可用”样点被裁剪至其最近的“可用”样点(例如,最小距离)。
i.在一个示例中,对于坐标为(x1,y1)和(x2,y2)的两个样点,它们之间的距离可以被计算为(x1-x2)*(x1-x2)+(y1-y2)*(y1-y2)。
ii.替代地,可以将两个像素之间的距离计算为Abs(x1-x2)+Abs(y1-y2)。
f.在一个示例中,可以以预定顺序填充“不可用”样点,直到找到“可用”样点为止。例如,如图31所示的示例,其中Cur是当前块/CU/PU/CTU。
i.例如,可以首先检验垂直的“可用”样点,然后可以检验水平的“可用”样点。
ii.例如,可以首先检验水平“可用”样点,然后可以检验垂直“可用”样点。
iii.例如,对于“不可用”的左上邻域样点(例如,区域“1”中),首先,检验当前块/CU/PU/CTU的左邻域样点(例如,区域“4”中),如果没有“可用”样点,则然后检验上邻域样点(例如,区域“2”中)。如果左邻域样点中或上邻域样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的左顶样点来填充“不可用”样点。
1.替代地,对于“不可用”的左上邻域样点,检验当前块/CU/PU/CTU的上邻域样点,如果没有“可用”样点,则然后检验左邻域样点。如果上邻域样点和左邻域样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的左顶样点来填充“不可用”样点。
iv.例如,对于“不可用”的右上邻域样点(例如,区域“3”中),首先,检验当前块/CU/PU/CTU的右邻域样点(例如,区域“5”中),如果没有“可用”样点,则然后检验上邻域样点(例如,区域“2”中)。如果右邻域样点或上邻域样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的右上样点来填充“不可用”样点。
1.替代地,对于“不可用”的右上邻域样点,首先,检验当前块/CU/PU/CTU的上邻域样点,如果没有“可用”样点,则然后检验右邻域样点。如果在上邻域样点和右邻域样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的右顶样点来填充“不可用”样点。
v.例如,对于“不可用”的左下邻域样点(例如,区域“6”中),首先,检验当前块/CU/PU/CTU的左邻域样点(例如,区域“4”中),如果没有“可用”样点,则然后检验下邻域样点(例如,区域“7”中)。如果左邻域样点或下邻域样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的左底样点来填充“不可用”样点。
1.替代地,对于“不可用”的左下邻域样点,首先,检验当前块/CU/PU/CTU的下邻域样点,如果没有“可用”样点,则然后检验左邻域样点。如果下邻域样点和左邻域样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的左底样点来填充“不可用”样点。
vi.例如,对于“不可用”的右下邻域样点,首先,检验当前块/CU/PU/CTU的右邻域样点(例如,区域“5”中),如果没有“可用”样点,则然后检验下邻域样点(例如,区域“7”中)。如果右邻域样点或下邻域样点都没有“可用”样点,则使用当前块/CU/PU/CTU的右底样点来填充“不可用”样点。
1.例如,对于“不可用”的右下邻域样点,首先,检验当前块/CU/PU/CTU的下邻域样点,如果不存在“可用”样点,则然后检验右邻域样点。如果下邻域样点和右邻样点中都没有“可用”样点,则使用当前块/CU/PU/CTU的右底样点来填充“不可用”样点。
vii.在一个示例中,对于每个邻域区域,可以依次检验一个或多个样点。替代地,可以只检验一个。
viii.替代地,另外,如果没有检验能找到可用的样点,则代替地可以使用要滤波的当前样点的值。
ix.在一个示例中,对于“不可用”的左上/右上/左下/右下邻域样点,它们总是可以用当前块/CU/PU/CTU内的样点进行填充。
1.在一个示例中,对于“不可用”的左上邻域样点(例如,图31中的区域“1”中),使用当前块/CU/PU/CTU的左顶样点来填充“不可用”样点。
2.在一个示例中,对于“不可用”的右上邻域样点(例如,图31中的区域“3”中),使用当前块/CU/PU/CTU的右顶样点来填充“不可用”样点。
3.在一个示例中,对于“不可用”的左下邻域样点(例如,图31中的区域“6”中),使用当前块/CU/PU/CTU的左底样点来填充“不可用”样点。
4.在一个示例中,对于“不可用”的右下邻域样点(例如,图31中的区域“8”中),使用当前块/CU/PU/CTU的右底样点来填充“不可用”样点。
g.替代地,对于当前样点禁用滤波过程。
h.替代地,可以不允许ALF中的分类过程(例如,对于当前样点的梯度计算)使用不可用的参考样点。
18.如何导出不可用参考样点的填充样点可以取决于CTU是否与任何边界重合。
a.在一个示例中,当当前CTU与任何种类的边界都不重合,但是当前样点的滤波过程(例如,ALF分类/ALF滤波过程)需要访问不同视频单元(例如,条带)中的参考样点时,可以应用项目符号16中描述的方法。
i.替代地,另外,当当前CTU与任何种类的边界都不重合,但是当前样点的滤波过程(例如,ALF分类/ALF滤波过程)需要访问不同视频单元(例如,条带)中的参考样点且不允许跨条带边界进行滤波时,可以应用项目符号16中描述的方法。
ii.替代地,另外,当当前CTU与任何种类的边界都不重合,但是当前样点的滤波过程(例如,ALF分类/ALF滤波过程)需要访问不同视频单元(例如,条带)中的参考样点及同一视频单元中的参考样点且不允许跨条带边界进行滤波时,则可以应用项目符号16中描述的方法。
b.在一个示例中,当当前CTU与至少一种边界重合时,可以应用统一的填充方法(例如2侧或1侧填充)。
i.替代地,当当前CTU与多种边界重合且不允许跨那些边界进行滤波时,可以应用统一填充方法(例如,2侧或1侧填充)。
c.在一个示例中,可以使用项目符号16中描述的方法来仅填充无法由2侧填充或/和1侧填充进行填充的“不可用”样点。
19.滤波过程(例如,去块化、SAO、ALF、双边滤波、Hadamard变换滤波等)是否可以访问跨视频单元的边界(例如,条带/砖/片/子图片边界)的样点可以以不同级进行控制,诸如由自身控制,而不是针对序列/图片中的所有视频单元进行控制。
a.替代地,可以在PPS/条带头中为条带信令通知一个语法元素,以指示滤波过程是否可以跨该条带的条带边界。
b.替代地,可以在PPS中为砖/片信令通知一个语法元素,以指示滤波过程是否可以跨砖/片的砖/片边界。
c.在一个示例中,可以在SPS/PPS中信令通知语法元素以指示滤波过程是否可以跨视频/图片的砖边界或/和片边界或/和条带边界或/和“360度虚拟边界”。
i.在一个示例中,可以为不同种类的边界信令通知分离的语法元素。
ii.在一个示例中,可以为所有种类的边界信令通知一个语法元素。
iii.在一个示例中,可以为几种边界信令通知一个语法元素。
1.例如,可以为砖边界和片边界信令通知1个语法元素。
d.在一个示例中,可以在SPS中信令通知语法元素以指示是否存在关于滤波过程的PPS/条带级别指示。
i.在一个示例中,可以为不同种类的边界信令通知分离的语法元素。
ii.在一个示例中,可以为所有种类的边界信令通知一个语法元素。
iii.在一个示例中,可以为几种边界信令通知一个语法元素。
1.例如,可以为砖边界和片边界信令通知1个语法元素。
iv.仅当SPS中的对应语法元素等于某个值时,才可以在PPS/条带头中信令通知关于滤波过程是否可以跨条带/砖/片/子图片边界的指示。
1.替代地,当SPS中的对应语法元素等于某些值时,可以在PPS/条带头中不信令通知关于滤波过程是否可以跨条带/砖/片/子图片边界的指示。
a.在这种情况下,如果SPS中的指示等于某个值,则可能不允许滤波过程跨条带/转/片/子图片边界。
b.在这种情况下,如果SPS中的指示等于某个值,则滤波过程可以跨条带/砖/片/子图片边界。
20.提出检验位于当前块的左上/右上/左下/右下邻域区域的样点是否在与ALF过程(例如,分类和/或滤波过程)中的当前块相同的视频单元(例如,条带/砖/片/子图片/360虚拟边界)中。由(x0,y0)表示当前亮度编解码树块的左顶样点相对于当前图片的左顶样点,分别将ctbXSize和ctbYSize表示为CTU宽度和高度。
a.在一个示例中,可以检验位于左上区域的代表性样点,诸如(x0-offsetX0,y0-offsetY0)。
i.在一个示例中,(offsetX0,offsetY0)可以等于(1,1)、(2,1)或(1,2)。
b.在一个示例中,可以检验位于右上区域的代表性样点,诸如(x0+offsetX1,y0-offsetY1)。
i.在一个示例中,(offsetXl,offsetY1)可以等于(ctbXSize,1)、(ctbXSize+1,1)或(ctbXSize,2)。
c.在一个示例中,可以检验位于左下区域的代表性样点,诸如(x0-offsetX2,y0+offsetY2)。
i.在一个示例中,(offsetX2,offsetY2)可以等于(1,ctbYSize)、(2,ctbYSize)或(1,ctbYSize+1)。
d.在一个示例中,可以检验位于右下区域的代表性样点,诸如(x0+offsetX3,y0+offsetY3)。
i.在一个示例中,(offsetX2,offsetY2)可以等于(ctbXSize,ctbYSize)、(ctbXSize+1,ctbYSize)或(ctbXSize,ctbYSize+1)。
e.在一个示例中,如果区域中的代表性样点在不同的视频单元中,并且不允许跨不同视频单元的滤波,则将该区域中要访问的样点标记为不可用。
i.在一个示例中,如果区域中的代表性样点在不同的条带中,并且loop_filter_across_slices_enabled_flag等于0,则该区域中要访问的样点被标记为不可用。
ii.在一个示例中,如果区域中的代表性样点位于不同的砖中,并且loop_filter_across_bricks_enabled_flag等于0,则该区域中要访问的样点被标记为不可用。
iii.在一个示例中,如果区域中的代表性样点在不同的子图片中,并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0,则该区域中要访问的样点被标记为不可用。在一个示例中,SubPicIdx是包括当前块的当前子图片的索引。
f.在上面的示例中,offsetXi/offsetYi(其中i为0...3)是整数。
i.替代地,另外,可以将offsetXi/offsetYi(其中i为0...3)设置为等于CTU宽度/高度。
21.以上提出的方法不仅可以应用于ALF,还可以应用于需要访问当前块之外的样点的其他种类的滤波方法。
a.替代地,以上提出的方法可以应用于需要访问当前块之外的样点的其他编解码工具(非滤波方法)。
22.是否和/或如何应用上述方法可以通过以下方式确定:
a.在DPS/SPS/VPS/PPS/APS/图片头/片头/片组头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU的组/TU/PU块/视频编解码单元中信令通知的消息
b.CU/PU/TU/块/视频编解码单元的位置
c.当前块和/或其邻域块的块维度
d.当前块和/或其邻域块的块形状
e.当前块和/或其邻域块的编解码信息
f.色彩格式指示(诸如4:2:0、4:4:4)
g.编解码树结构
h.条带/片组类型和/或图片类型
i.色彩分量(例如,可能仅应用于色度分量或亮度分量)
j.时域层ID
k.标准的配置文件/级别/层级
5.实施例
在下面的章节中,描述了如何修改VVC标准的当前版本以适应公开的技术的一些实施例的一些示例。新添加的部分以粗斜体带下划线的文本指示。删除的部分用[[]]指示。
5.1实施例#1
loop_filter_across_bricks_enabled_flag等于1指定了可以在指代PPS的图片中跨砖边界执行环路滤波操作。loop_filter_across_bricks_enabled_flag等于0指定了在指代PPS的图片中不跨砖边界执行环路滤波操作。环路滤波操作包括去块化滤波器、样点自适应偏移滤波器[[以及自适应环路滤波器]]操作。如果不存在,则loop_filter_across_bricks_enabled_flag的值被推断为等于1。
loop_filter_across_slices_enabled_flag等于1指定了可以在指代PPS的图片中跨条带边界执行环路滤波操作。loop_filter_across_slices_enabled_flag等于0指定了在指代PPS的图片中不跨条带边界执行环路滤波操作。环路滤波操作包括去块化滤波器、样点自适应偏移滤波器[[以及自适应环路滤波器]]操作。如果不存在,则将loop_filter_across_slices_enabled_flag的值被推断为等于0。
5.2实施例#2
图21示出了在图片中处理CTU的示例。与图19比较的差异用虚线突出显示。
5.3实施例#3
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
-滤波的重构的亮度图片样点数组alfPictureL
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb)。
该过程的输出是修改的滤波重构的亮度图片样点数组alfPictureL
使用以下调用章节8.8.5.3的滤波器索引的导出过程:位置(xCtb,yCtb)和重构的亮度图片样点数组recPictureL作为输入,而filtIdx[x][y]和transposeIdx[x][y],其中y=0..CtbSizeY-1,作为输出。
为了导出滤波重构的亮度样点alfPictureL[x][y],当前亮度编解码树块内的每个重构的亮度样点recPictureL[x][y]被滤波如下,其中x,y=0..CtbSizeY-1:
-亮度滤波器系数f[j]的数组和与由filtIdx[x][y]指定的滤波器对应的亮度裁剪值c[j]的数组导出如下,其中j=0..11:
-…
-取决于transposeIdx[x][y]导出亮度滤波器系数和裁剪值索引idx,如下:
-…
-亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-3...3,导出如下:
-…
变量applyVirtualBoundary导出如下:
-如果以下条件[[中的一个或多个]]为真,则applyVirtualBoundary设置为等于0:
-当前编解码树块的底边界是图片的底边界。
[[-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。]]
-否则,applyVirtualBoundary设置为等于1。
-根据水平亮度样点的位置y和applyVirtualBoundary,表8-22中指定重构的样点偏移r1、r2和r3。
-…
8.8.5.4色度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的色度图片样点数组recPicture,
-滤波重构的色度图片样点数组alfPicture,
-指定当前色度编解码树块的左顶样点相对于当前图片的左顶样点的色度位置(xCtbC,yCtbC)。
该过程的输出是经修改滤波重构的色度图片样点数组alfPicture。
当前色度编解码树块的宽度ctbWidthC和高度ctbHeightC导出如下:
ctbWidthC=CtbSizeY/SubWidthC (8-1230)
ctbHeightC=CtbSizeY/SubHeightC (8-1231)
为了导出滤波重构的色度样点alfPicture[x][y],当前色度编解码树块recPicture[x][y]内的每个重构的色度样点被滤波如下,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
-色度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2..2,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthC大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-x大于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1233)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1234)
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightC大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-y大于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1236)
-否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1237)
-变量applyVirtualBoundary导出如下:
--如果以下条件[[中的一个或多个]]为真,则applyVirtualBoundary设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-[[当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。]]
-否则,applyVirtualBoundary设置为等于1。
-根据水平亮度样点的位置y和applyVirtualBoundary,表8-22中指定重构的样点偏移r1和r2。
替代地,条件“当前编解码树块的底边界是图片的底边界”可以替换为“当前编解码树块的底边界是图片的底边界或在图片的外部。”
5.4实施例#4
该实施例示出了在ALF分类过程中不允许使用VPDU区域下方的样点的示例(对应于第4节中的项目符号7)。
8.8.5.3亮度样点的滤波器索引和ALF转置的导出过程
该过程的输入是:
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb),
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
该过程的输出是
-分类滤波器索引数组filtIdx[x][y],其中x,y=0..CtbSizeY-1,
-转置索引数组transposeIdx[x][y],其中x,y=0..CtbSizeY-1。
亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2...5,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i)(8-1193)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于6,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i) (8-1194)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1195)
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j)(8-1196)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]-yCtb-y大于0且小于6,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j) (8-1197)
-否则,以下适用:
-如果yCtb+CtbSizeY大于或等于pic_height_in_luma_samples,则以下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1198)
-否则,如果y小于CtbSizeY-4,则以下适用:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1199)
-否则,如下适用:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1200)
分类滤波器索引数组filtIdx和转置索引数组transposeIdx通过以下有序步骤导出:
1.变量filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y],其中x,y=-2..CtbSizeY+1,该变量导出如下:
-如果x和y两者都是偶数或者x和y两者都不是偶数,则以下适用:
filth[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx-1,vy]-recPicture[hx+1,vy]) (8-1201)
filtV[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx,vy-1]-recPicture[hx,vy+1]) (8-1202)
filtD0[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx-1,vy-1]-recPicture[hx+1,vy+1]) (8-1203)
filtD1[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx+1,vy-1]-recPicture[hx-1,vy+1]) (8-1204)
-否则,filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y]被设置为等于0。
2.变量minY、maxY和ac导出如下:
-如果(y<<2)等于[[(CtbSizeY-8)]]并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY设置为等于-2,maxY被设置为等于3,ac被设置为等于96。
-否则,(y<<2)等于[[(CtbSizeY-4)]]并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY设置为等于0,maxY被设置为等于5,将ac被设置为等于96。
-否则,minY被设置为等于-2,maxY被设置为等于5,ac被设置为等于64。
3.变量varTempH1[x][y]、varTempV1[x][y]、varTempD01[x][y]、varTempD11[x][y]和varTemp[x][y],其中x,y=0..(CtbSizeY-1)>>2,该变量导出如下:
sumH[x][y]=∑ijfiltH[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1205)
sumV[x][y]=∑ijfiltV[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1206)
sumD0[x][y]=∑ijfiltD0[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1207)
sumD1[x][y]=∑ijfiltD1[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1208)
sumOfHV[x][y]=sumH[x][y]+sumV[x][y] (8-1209)
4.变量dir1[x][y]、dir2[x][y]和dirS[x][y],其中x,y=0..CtbSizeY-1,该变量导出如下:
-变量hv1、hv0和dirHV导出如下:
-变量d1、d0和dirD导出如下:
5.变量avgVar[x][y],其中x,y=0..CtbSizeY-1,导出如下:varTab[]={0,1,2,2,2,2,2,3,3,3,3,3,3,3,3,4}(8-1227)
avgVar[x][y]=varTab[Clip3(0,15,(sumOfHV[x>>2][y>>2]*ac)>>(3+BitDepthY))](8-1228)
6.分类滤波器索引数组filtIdx[x][y]和转置索引数组transposeIdx[x][y],其中x=y=0..CtbSizeY-1,导出如下:
transposeTable[]={0,1,0,2,2,3,1,3}
transposeIdx[x][y]=transposeTable[dir1[x][y]*2+(dir2[x][y]>>1)]
filtIdx[x][y]=avgVar[x][y]
当dirS[x][y]不等于0时,filtIdx[x][y]被修改为如下:
filtIdx[x][y]+=(((dir1[x][y]&0x1)<<1)+dirS[x][y])*5(8-1229)
5.5实施例#5
对于位于多种边界(例如,条带/砖边界、360度虚拟边界)的样点,仅调用一次填充过程。并且每一侧要填充多少线取决于当前样点相对于边界的位置。
在一个示例中,应用ALF2侧填充方法。替代地,另外,在对称2侧填充方法中,当样点位于两个边界处时,例如,上侧的一个边界和下侧的一个边界,如图27所示填充多少个样点由较近的边界决定。同时,当导出分类信息时,仅使用图27中的两个边界之间的4线。
图26示出了在样点的4线属于两个边界的情况下的填充方法的示例。在一个示例中,图26中的第一边界可以是ALF虚拟边界;图25中的第二边界可以是条带/片/砖边界或360度虚拟边界。
5.6实施例#6
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
-滤波重构的亮度图片样点数组alfPictureL
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb)。
该过程的输出是修改的滤波重构的亮度图片样点数组alfPictureL
使用以下调用章节8.8.5.3的滤波器索引的导出过程:位置(xCtb,yCtb)和重构的亮度图片样点数组recPictureL作为输入,而filtIdx[x][y]和transposeIdx[x][y],其中y=0..CtbSizeY-1,作为输出。
-亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-3...3,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1197)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且对于任何n=0..pps_num_ver_virtual_boundaries-1,PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于4,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1198)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1199)
-[[如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1200)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]-yCtb-y大于0且小于4,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
Vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1201)]]
-[否则]]以下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1202)
-[[变量applyVirtualBoundary导出如下:
-如果以下条件中的一个或多个为真,则applyVirtualBoundary被设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。
-否则,applyVirtualBoundary被设置为等于1。]]
表8-24-根据水平亮度样点位置y和[[applyVirtualBoundary]]boundaryPos1和 bouRdaryPos2对r1、r2和r3的规范
8.8.5.3亮度样点的滤波器索引和ALF转置的导出过程
该过程的输入是:
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb),
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
该过程的输出是
-分类滤波器索引数组filtIdx[x][y],其中x,y=0..CtbSizeY-1,
-转置索引数组transposeIdx[x][y],其中x,y=0..CtbSizeY-1。
亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2...5,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1208)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于6,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1209)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i)(8-1210)
-[[如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1211)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]-yCtb-y大于0且小于6,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1212)
-否则,以下适用:
-如果yCtb+CtbSizeY大于或等于pic_height_in_luma_samples,则以下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1213)
-否则,如果y小于CtbSizeY-4,则以下适用:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1214)
-否则,如下适用:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1215)]]
分类滤波器索引数组tiltIdx和转置索引数组transposeIdx通过以下有序步骤导出:
1.变量filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y],其中x,y=-2..CtbSizeY+1,该变量导出如下:
-如果x和y两者都是偶数或者x和y两者都不是偶数,则以下适用:
-否则,filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y]被设置为等于0。
2.变量minY、maxY和ac被导出如下:
-如果(y<<2)等于(CtbSizeY-8)并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY被设置为-2,maxY被设置为等于3,ac被设置为等于96。
-否则,(y<<2)等于(CtbSizeY-4)并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY设置为等于0,maxY被设置为等于5,将ac被设置为等于96。
-[[否则,minY被设置为等于-2,且maxY被设置为等于5,且ac被设置为等于64。]]
3.变量sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]和sumOfHV[x][y],其中x,y=0..(CtbSizeY-1)>>2,该变量导出如下:
sumH[x][y]=∑ijfiltH[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1220)
sumV[x][y]=∑ijfiltV[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1221)
sumD0[x][y]=∑ijfiltD0[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1222)
sumD1[x][y]=∑ijfiltD1[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中i=-2..5,j=minY..maxY (8-1223)
sumOfHV[x][y]=sumH[x][y]+sumV[x][y] (8-1224)
8.8.5.4色度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的色度图片样点数组recPicture,
-滤波重构的色度图片样点数组alfPicture,
-指定当前色度编解码树块的左顶样点相对于当前图片的左顶样点的色度位置(xCtbC,yCtbC)。
该过程的输出是经修改滤波重构的色度图片样点数组alfPicture。
当前色度编解码树块的宽度ctbWidthC和高度ctbHeightC导出如下:
ctbWidthC=CtbSizeY/SubWidthC (8-1245)
ctbHeightC=CtbSizeY/SubHeightC (8-1246)
为了导出滤波重构的色度样点alfPicture[x][y],当前色度编解码树块recPicture[x][y]内的每个重构的色度样点被滤波如下,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
-色度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2..2,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且xCtbC+x-PpsVirtualBoundariesPosX[n]/SubWidthC大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop-filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-x大于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i)(8-1248)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1249)
-[[[如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightC大于或等于2且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-y大于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j)(8-1251)
-否则,]]以下适用:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1252)
-[[变量applyVirtualBoundary导出如下:
-如果以下条件中的一个或多个为真,则applyVirtualBoundary被设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。
-否则,applyVirtualBoundary被设置为等于1。]]
-通过调用8.8.5.5中指定的亮度样点的垂直边界位置导出过程来导出变量boundaryPos1和boundaryPos2,其中yCtb等于yCtb且y等于y。
-变量boundaryPos1被设置为等于boundaryPos1/SubWidthC。
-变量boundaryPos2被设置为等于boundaryPos2/SubWidthC。
-表8-24中根据水平亮度样点位置y和applyVirtualBoundary,指定了重构的样点偏移r1和r2。
-变量curr导出如下:
curr=recPicture[hx,vy] (8-1253)
-色度滤波器系数f[j]的数组和色度裁剪值c[j]的数组导出如下,其中j=0..5:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1254)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1255)
-变量sum导出如下:
-经修改滤波重构的色度图片样点alfPicture[xCtbC+x][yCtbC+y]导出如下:
-如果pcm_loop_filter_disabled_flag和pcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]两者都等于1,则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1258)
-否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1259)
[[表8-25-根据水平亮度样点位置y和applyVirtualBoundary对r1和r2的规范]]
表8-25-根据水平亮度样点位置y以及boundaryPos1和boundaryPos2对r1和r2的 规范
8.8.5.5亮度样点的垂直边界位置导出过程
/>
5.7实施例#7
对于CTU,它可以不与任何边界(例如,图片/条带/片/砖/子图片边界)重合。然而,可能需要访问当前单元之外的样点(例如,图片/条带/片/砖/子图片)。如果禁用了跨条带边界的滤波(例如loop_filter_across_slices_enabled_flag为假),则我们需要填充当前单位之外的样点。
例如,对于图28中的样点2801(例如,亮度样点),可以如图29那样填充ALF滤波过程中使用的样点。
5.8实施例#8
在该实施例中,应用了以下主要思想:
在启用ALF虚拟边界时:
-对于不在图片的最后一个CTU行中的CTU(例如,CTU的底边界不是图片的底边界或超过图片的底边界),启用ALF虚拟边界,即,一个CTU可以分为两个或更多个部分,并且一个部分中的样点不允许使用另一个部分中的样点。
-对于位于图片中最后一个CTU行中的CTU(例如,CTU的底边界是图片的底边界或超过图片的底边界),启用ALF虚拟边界,即,一个CTU可以分为两个或更多个部分,并且一个部分中的样点不允许使用另一个部分中的样点。
在分类过程中填充边界(包括ALF虚拟边界,条带/片/砖/子图片边界,“360虚拟边界”)时:
对于一种(或多种)边界处的样点,当不允许使用跨边界的邻域样点时,执行1侧填充以填充此类邻域样点。
在ALF滤波过程中填充边界(包括ALF虚拟边界,条带/片/砖/子图片边界,“360虚拟边界”)时:
-对于与CTU边界重合的、作为图片边界或“360虚拟边界”的一种(或多种)边界处的样点,当不允许使用跨边界的邻域样点时,执行2侧填充以填充此类邻域样点。
-对于不与CTU边界重合的、作为图片边界或“360虚拟边界”的一种(或多种)边界处的样点,当不允许使用跨边界的邻域样点时,执行1侧填充以填充此类邻域样点。
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
-滤波重构的亮度图片样点数组alfPictureL
-指定当前亮度编码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb)。
该过程的输出是修改的滤波重构的亮度图片样点数组alfPictureL
使用以下调用章节8.8.5.3的滤波器索引的导出过程:位置(xCtb,yCtb)和重构的亮度图片样点数组recPictureL作为输入,而filtIdx[x][y]和transposeIdx[x][y],其中y=0..CtbSizeY-1,作为输出。
为了导出滤波重构的亮度样点alfPictureL[x][y],当前亮度编码树块内的每个重构的亮度样点recPictureL[x][y]被滤波如下,其中x,y=0..CtbSizeY-1:
-亮度滤波器系数f[j]的数组和与由filtIdx[x][y]指定的滤波器对应的亮度裁剪值c[j]的数组导出如下,其中j=0..11:
-如果AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]小于16,则以下适用:
i=AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize](8-1187)
f[j]=AlfFixFiltCoeff[AlfClassToFiltMap[i][filtIdx[x][y]]][j](8-1188)
c[j]=2BitdepthY (8-1189)
-否则(AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]大于或等于16,则以下适用:
i=slice_alf_aps_id_luma[AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]-16] (8-1190)
f[j]=AlfCoeffL[i][filtIdx[x][y]][j] (8-1191)
c[j]=AlfClipL[i][filtIdx[x][y]][j] (8-1192)
-取决于transposeIdx[x][y]导出亮度滤波器系数和裁剪值索引idx,如下:
-如果transposeIndex[x][y]等于1,则以下适用:
idx[]={9,4,10,8,1,5,11,7,3,0,2,6} (8-1193)
-否则,如果transposeIndex[x][y]等于2,则以下适用:
idx[]={0,3,2,1,8,7,6,5,4,9,10,11} (8-1194)
-否则,如果transposeIndex[x][y]等于3,则以下适用:
idx[]={9,8,10,4,3,7,11,5,1,0,2,6} (8-1195)
-否则,如下适用:
idx[]={0,1,2,3,4,5,6,7,8,9,10,11} (8-1196)
-亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-3...3,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于3,其中任何n=0..pps_numver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i)(8-1197)
-否则,如果pps_loop-filter_across_virtual_boundaries_disabled-flag等于1并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于4,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1198)
-否则,以下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i)(8-1199)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
hx+i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,hx+i)(8-1184)]]
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1200)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且PpsVirtualBoundariesPosY[n]-yCtb-y是大于0且小于4,其中任何n=0..pps_num_hor_virtual_boundaries-1,以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1201)
-否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1202)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j)(8-1184)
-变量applyVirtualBoundary导出如下:
-如果以下条件中的一个或多个为真,则applyVirtualBoundary被设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是子图片的底边界,并且在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。
-否则,applyVirtualBoundary被设置为等于1。]]
-表8-24中根据水平亮度样点位置y以及 [[applyVirtualBoundary]],指定了重构的样点偏移r1、r2和r3。
-变量curr导出如下:
curr=recPictureL[hx,vy] (8-1203)
-变量sum导出如下:
-修改的滤波重构的亮度图像样点alfPictureL[xCtb+x][yCtb+y]导出如下:
-如果pcm_loop_filter_disabled_flag和pcm_flag[xCtb+x][yCtb+y]两者都等于1,则以下适用:
alfPictureL[xCtb+x][yCtb+y]=recPictureL[hx,vy] (8-1206)
-否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPictureL[xCtb+x][yCtb+y]=Clip3(0,(1<<BitDepthY)-1,sum)(8-1207)
表8-24-根据水平亮度样点位置y、clipTopPos和clipBottomPos[[和aDDlyVirtualBoundary]]对r1、r2和r3的规范
表8-24-根据垂直亮度样点位置x、clipLeftPos和clipRightPos对c1、c2和c3的规
8.8.5.3亮度样点的滤波器索引和ALF转置的导出过程
该过程的输入是:
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb),
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
该过程的输出是
-分类滤波器索引数组filtIdx[x][y],其中x,y=0..CtbSizeY-1,
-转置索引数组transposeIdx[x][y],其中x,y=0..CtbSizeY-1。
亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2...5,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_1uma_samples-1,xCtb+x+i) (8-1208)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于6,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1209)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i) (8-1210)
-[[当在位置(hx,vy)上含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
hx+i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,hx+i)(8-1184)]]
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1211)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且PpsVirtualBoundariesPosY[n]-yCtb-y是大于0且小于6,其中任何n=0..pps_num_hor_virtual_boundaries-1,以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1212)
-否则,以下适用:
-如果yCtb+CtbSizeY大于或等于pic_height_in_luma_samples,则以下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1213)
-[[否则,如果y小于CtbSizeY-4,则以下适用:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1214)
-否则,如下适用:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1215)
-当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j)(8-1184)]]
分类滤波器索引数组filtIdx和转置索引数组transposeIdx通过以下有序步骤导出:
1.变量filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y],其中x,y=-2..CtbSizeY+1,该变量导出如下:
-如果x和y两者都是偶数或者x和y两者都不是偶数,则以下适用:
-否则,filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y]被设置为等于0。
2.[[变量minY、maxY和ac导出如下:
-如果(y<<2)等于(CtbSizeY-8)并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY被设置为-2,maxY被设置为等于3,ac被设置为等于96。
-否则,(y<<2)等于(CtbSizeY-4)并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY设置为等于0,maxY被设置为等于5,将ac被设置为等于96。]]
3.变量sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]和sumOfHV[x][y],其中x,y=0..(CtbSizeY-1)>>2,该变量导出如下:
表8-24-根据minX、minY、maxX、maxY对ac的规范
sumH[x][y]=∑ijfiltH[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumV[x][y]=∑ijfiltV[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumD0[x][y]=∑ijfiltD0[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumD1[x][y]=∑ijfiltD1[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumOfHV[x][y]=sumH[x][y]+sumV[x][y] (8-1224)
4.变量dirl[x][y]、dir2[x][y]和dirS[x][y],其中x,y=0..CtbSizeY-1,该变量导出如下:
-变量hv1、hv0和dirHV导出如下:
-如果sumV[x>>2][y>>2]大于sumH[x>>2][y>>2],则以下适用:
hv1=sumV[x>>2][y>>2] (8-1225)
hv0=sumH[x>>2][y>>2] 8-1226)
dirHV=1 (8-1227)
-否则,如下适用:
hv1=sumH[x>>2][y>>2] (8-1228)
hv0=sumV[x>>2][y>>2] (8-1229)
dirHV=3 (8-1230)
-变量d1、d0和dirD导出如下:
-如果sumD0[x>>2][y>>2]大于sumD1[x>>2][y>>2],则以下适用:
d1=sumD0[x>>2][y>>2] (8-1231)
d0=sumD1[x>>2][y>>2] (8-1232)
dirD=0 (8-1233)
-否则,如下适用:
d1=sumDl[x>>2][y>>2] (8-1234)
d0=sumD0[x>>2][y>>2] (8-1235)
dirD=2 (8-1236)
-变量hvd1、hvd0导出如下:
hvd1=(d1*hv0>hv1*d0)?d1:hv1 (8-1237)
hvd0=(d1*hv0>hv1*d0)?d0。hv0 (8-1238)
-变量dirS[x][y]、dir1[x][y]和dir2[x][y]导出如下:
dir1[x][y]=(d1*hv0>hv1*d0)?dirD:dirHV (8-1239)
dir2[x][y]=(d1*hv0>hv1*d0)?dirHV:dirD (8-1240)
dirS[x][y]=(hvd1>2*hvd0)?1:((hvd1*2>9*hvd0)?2:0) (8-1241)
5.变量avgVar[x][y],其中x,y=0..CtbSizeY-1,导出如下:
varTab[]={0,1,2,2,2,2,2,3,3,3,3,3,3,3,3,4} (8-1242)
avgVar[x][y]=varTab[Clip3(0,15,(sumOfHV[x>>2][y>>2]*ac)>>(3+BitDepthY))] (8-1243)
6.分类滤波器索引数组filtIdx[x][y]和转置索引数组transposeIdx[x][y],其中x=y=0..CtbSizeY-1,导出如下:
transposeTable[]={0,1,0,2,2,3,1,3}
transposeIdx[x][y]=transposeTable[dir1[x][y]*2+(dir2[x][y]>>1)]
filtIdx[x][y]=avgVar[x][y]
当dirS[x][y]不等于0时,filtIdx[x][y]被修改为如下:
filtIdx[x][y]+=(((dir1[x][y]&0x1)<<1)+dirS[x][y])*5(8-1244)
8.8.5.4色度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的色度图片样点数组recPicture,
-滤波重构的色度图片样点数组alfPicture,
-指定当前色度编码树块的左顶样点相对于当前图片的左顶样点的色度位置(xCtbC,yCtbC)。
该过程的输出是经修改滤波重构的色度图片样点数组alfPicture。
当前色度编码树块的宽度ctbWidthC和高度ctbHeightC导出如下:
ctbWidthC=CtbSizeY/SubWidthC (8-1245)
ctbHeightC=CtbSizeY/SubHeightC (8-1246)
为了导出滤波重构的色度样点alfPicture[x][y],当前色度编解码树块recPicture[x][y]内的每个重构的色度样点被滤波如下,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
-色度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2..2,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且xCtbC+X-PpsVirtualBoundariesPosX[n]/SubWidthC大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1和PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-x大于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1248)
-否则,如下适用:
-hx+i=Clip3(0,pic_widt_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1249)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
hx+i=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,hx+i)(8-1184)]]
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightC大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1和PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-y大于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
Vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1251)
-否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1252)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
vy+j=Clip3(SubPicTopBoundaryPos/SubWidthC,SubPicBotBoundaryPos/SubWidthC,vy+j) (8-1184)
-变量applyVirtualBoundary导出如下:
-如果以下条件中的一个或多个为真,则applyVirtualBoundary被设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编码树块的底边界是子图片的底边界,并且在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0。
-当前编码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。
-否则,applyVirtualBoundary被设置为等于1。]]
-表8-27中根据水平亮度样点位置y [[applyVirtualBoundary]],指定了重构的样点偏移r1和r2。
/>
-变量curr导出如下:
curr=recPicture[hx,vy] (8-1253)
-色度滤波器系数f[j]的数组和色度裁剪值c[j]的数组导出如下,其中j=0..5:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1254)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1255)
-变量sum导出如下:
-经修改滤波重构的色度图片样点alfPicture[xCtbC+x][yCtbC+y]导出如下:
-如果pcm_loop_filter_disabled_flag和pcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]两者都等于1,则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1258)
-否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1259)
表8-2 7-根据水平亮度样点位置y、clipTopPos和clipBottomPos[[和applyVirtualBoundary]]对r1和r2的规范
/>
表8-28-根据垂直亮度样点位置x、clipLeftPos和clipRightPos对c1和c2的规范
8.8.5.5样点的ALF边界位置导出过程
/>
/>
在以上实施例中使用的特定值-128可以用其他值代替,诸如-K,其中例如K大于或不小于从CTU底边界移位的线数(例如K=-5)。
替代地,基于PpsVirtualBoundariesPosY[n]的范围在1到Ceil(pic_height_in_luma_samples÷8)-1(含端值)内,可以进一步删除“PpsVirtualBoundariesPosY[n]不等于pic_height_in_luma_samples-1或0”的条件检验。
替代地,如果每个样点位于视频单元边界,则可以使用一个标志来标记是否需要以不同的方式来处理每个样点。
5.9实施例#9
在该实施例中,应用了以下主要思想:
启用ALF虚拟边界时:
-对于不在图片的最后一个CTU行中的CTU(例如,CTU的底边界不是图片的底边界或超过图片的底边界),启用ALF虚拟边界,即,一个CTU可以分为两个或更多个部分,并且一个部分中的样点不允许使用另一个部分中的样点。
-对于位于图片中最后一个CTU行中的CTU(例如,CTU的底边界是图片的底边界或超过图片的底边界),启用ALF虚拟边界,即,一个CTU可以分为两个或更多个部分,并且一个部分中的样点不允许使用另一个部分中的样点。
在分类过程中填充边界(包括ALF虚拟边界,条带/片/砖/子图片边界,“360虚拟边界”)时:
-对于一种(或多种)边界处的样点,当不允许使用跨边界的邻域样点时,将执行1侧填充以填充此类邻域样点。
在ALF滤波过程中填充边界(包括ALF虚拟边界,条带/片/砖/子图片边界,“360虚拟边界”)时:
-对于与CTU边界重合的、作为条带/片/砖/子图片边界或“360虚拟边界”的一种(或多种)边界处的样点,当不允许使用跨边界的邻域样点时,执行2侧填充以填充这样的邻域样点。
-对于不与CTU边界重合的、作为图片边界或“360虚拟边界”的一种(或多种)边界处的样点,当不允许使用跨边界的邻域样点时,执行1侧填充以填充此类邻域样点。
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
-滤波重构的亮度图片样点数组alfPictureL
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb)。
该过程的输出是修改的滤波重构的亮度图片样点数组alfPictureL
使用以下调用章节8.8.5.3的滤波器索引的导出过程:位置(xCtb,yCtb)和重构的亮度图片样点数组recPictureL作为输入,而filtIdx[x][y]和transposeIdx[x][y],其中y=0..CtbSizeY-1,作为输出。
为了导出滤波重构的亮度样点alfPictureL[x][y],当前亮度编解码树块内的每个重构的亮度样点recPictureL[x][y]被滤波如下,其中x,y=0..CtbSizeY-1:
-亮度滤波器系数f[j]的数组和与由filtIdx[x][y]指定的滤波器对应的亮度裁剪值c[j]的数组导出如下,其中j=0..11:
-如果AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]小于16,则以下适用:
i=AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize](8-1187)
f[j]=AlfFixFiltCoeff[AlfClassToFiltMap[i][filtIdx[x][y]]][j](8-1188)
c[j]=2BitdepthY (8-1189)
-否则(AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]大于或等于16,则以下适用:
i=slice_alf_aps_id_luma[AlfCtbFiltSetIdxY[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]-16] (8-1190)
f[j]=AlfCoeffL[i][filtIdx[x][y]][j] (8-1191)
c[j]=AlfClipL[i][filtIdx[x][y]][j] (8-1192)
-取决于transposeIdx[x][y]导出亮度滤波器系数和裁剪值索引idx,如下:
-如果transposeIndex[x][y]等于1,则以下适用:
idx[]={9,4,10,8,1,5,11,7,3,0,2,6} (8-1193)
-否则,如果transposeIndex[x][y]等于2,则以下适用:
idx[]={0,3,2,1,8,7,6,5,4,9,10,11} (8-1194)
-否则,如果transposeIndex[x][y]等于3,则以下适用:
idx[]={9,8,10,4,3,7,11,5,1,0,2,6} (8-1195)
-否则,如下适用:
idx[]={0,1,2,3,4,5,6,7,8,9,10,11} (8-1196)
-亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-3...3,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1197)
-否则,如果pps_loop-filter_across_virtual_boundaries_disabled-flag等于1并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于4,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1198)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i)(8-1199)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
hx+i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,hx+i)(8-1184)]]
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1200)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且PpsVirtualBoundariesPosY[n]-yCtb-y是大于0且小于4,其中任何n=0..pps_num_hor_virtual_boundaries-1,以下适用:/>
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1201)
-否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1202)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j)(8-1184)
-变量applyVirtualBoundary导出如下:
-如果以下条件中的一个或多个为真,则applyVirtualBoundary被设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是子图片的底边界,并且在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。
-否则,applyVirtualBoundary被设置为等于1。]]
-表8-24中根据[[水平]]亮度样点位置y、/> [[applyVirtualBoundary]],指定了重构的样点偏移r1、r2和r3。
-变量curr导出如下:
curr=recPictureL[hx,vy] (8-1203)
变量sum导出如下:
/>
-修改的滤波重构的亮度图像样点alfPictureL[xCtb+x][yCtb+y]导出如下:
-如果pcm_loop_filter_disabled_flag和pcm_flag[xCtb+x][yCtb+y]两者都等于1,则以下适用:
alfPictureL[xCtb+x][yCtb+y]=recPictureL[hx,vy] (8-1206)
-否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPictureL[xCtb+x][yCtb+y]=Clip3(0,(1<<BitDepthY)-1,sum)(8-1207)
表8-24-对r1、r2和r3的规范,其根据[[水平]]垂直亮度样点位置y、clipTopPos和 clipBottomPos[[和applyVirtualBoundary
/>
]]
表8-25-根据水乎亮度样点位置x、clipLeftPos和clipRightPos对c1、c2和c3的规
8.8.5.3亮度样点的滤波器索引和ALF转置的导出过程
该过程的输入是:
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb),
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
该过程的输出是
-分类滤波器索引数组filtIdx[x][y],其中x,y=0..CtbSizeY-1,
-转置索引数组transposeIdx[x][y],其中x,y=0..CtbSizeY-1。
亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2...5,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1208)
-否则,如果pps_loop-filter_across_virtual_boundaries_disabled-flag等于1并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于6,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1209)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i)(8-1210)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
hx+i=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,hx+i)(8-1184)]]
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1211)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1并且PpsVirtualBoundariesPosY[n]-yCtb-y是大于0且小于6,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1212)
-否则,以下适用:
-[[如果yCtb+CtbSizeY大于或等于pic_height_in_luma_samples,则以下适用:]]
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1213)
-[[否则,如果y小于CtbSizeY-4,则以下适用:
vy+j=Clip3(0,yCtb+CtbSizeY-5,yCtb+y+j) (8-1214)
-否则,如下适用:
vy+j=Clip3(yCtb+CtbSizeY-4,pic_height_in_luma_samples-1,yCtb+y+j) (8-1215)
-当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
vy+j=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,vy+j)(8-1184)]]
分类滤波器索引数组filtIdx和转置索引数组transposeIdx通过以下有序步骤导出:
1.变量filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y],其中x,y=-2..CtbSizeY+1,该变量导出如下:
-如果x和y两者都是偶数或者x和y两者都不是偶数,则以下适用:
filtH[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx-1,vy]-(8-1216)
recPicture[hx+1,vy])
filtV[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx,vy-1]-(8-1217)
recPicture[hx,vy+1])
filtD0[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx-1,vy-1]- (8-1218)
recPicture[hx+1,vy+1])
filtD1[x][y]=Abs((recPicture[hx,vy]<<1)-recPicture[hx+1,vy-1]- (8-1219)
recPicture[hx-1,vy+1])
-否则,filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y]被设置为等于0。
2.[[变量minY、maxY和ac导出如下:
-如果(y<<2)等于(CtbSizeY-8)并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY被设置为-2,maxY被设置为等于3,ac被设置为等于96。
-否则,(y<<2)等于(CtbSizeY-4)并且(yCtb+CtbSizeY)小于pic_height_in_luma_samples-1,则minY设置为等于0,maxY被设置为等于5,将ac被设置为等于96。]]
-否则,minY被设置为等于-2,maxY被设置为等于5[[并且ac被设置为等于64]]。
表8-26-根据minX、minY、maxX、maxY对ac的规范
-[[变量sumH[x][y]、sumV[x][y]、sumD0[x][y]、sumD1[x][y]和sumOfHV[x][y],其中x,y=0..(CtbSizeY-1)>>2,导出如下:]]
sumH[x][y]=∑ijfiltH[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumV[x][y]=∑ijfiltV[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumD0[x][y]=∑ijfiltD0[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumD1[x][y]=∑ijfiltD1[h(x<<2)+i-xCtb][v(y<<2)+j-yCtb],其中
sumOfHV[x][y]=sumH[x][y]+sumV[x][y] (8-1224)
4.变量dir1[x][y]、dir2[x][y]和dirS[x][y],其中x,y=0..CtbSizeY-1,导出如下:
-变量hv1、hv0和dirHV导出如下:
-如果sumV[x>>2][y>>2]大于sumH[x>>2][y>>2],则以下适用:
hv1=sumV[x>>2][y>>2] (8-1225)
hv0=sumH[x>>2][y>>2] (8-1226)
dirHV=1 (8-1227)
-否则,如下适用:
hv1=sumH[x>>2][y>>2] (8-1228)
hv0=sumV[x>>2][y>>2] (8-1229)
dirHV=3(8-1230)
-变量d1、d0和dirD导出如下:
-如果sumD0[x>>2][y>>2]大于sumD1[x>>2][y>>2],则以下适用:
d1=sumD0[x>>2][y>>2] (8-1231)
d0=sumD1[x>>2][y>>2] (8-1232)
dirD=0 (8-1233)
-否则,如下适用:
d1=sumD1[x>>2][y>>2] (8-1234)
d0=sumD0[x>>2][y>>2] (8-1235)
dirD=2 (8-1236)
-变量hvd1、hvd0导出如下:
hvd1=(d1*hv0>hv1*d0)?d1:hv1 (8-1237)
hvd0=(d1*hv0>hv1*d0)?d0:hv0 (8-1238)
-变量dirS[x][y]、dir1[x][y]和dir2[x][y]导出如下:
dir1[x][y]=(d1*hv0>hv1*d0)?dirD:dirHV (8-1239)
dir2[x][y]=(d1*hv0>hv1*d0)?dirHV:dirD (8-1240)
dirS[x][y]=(hvd1>2*hvd0)?1:((hvd1*2>9*hvd0)?2:0) (8-1241)
5.变量avgVar[x][y],其中x,y=0..CtbSizeY-1,导出如下:
varTab[]={0,1,2,2,2,2,2,3,3,3,3,3,3,3,3,4} (8-1242)
avgVar[x][y]=varTab[Clip3(0,15,(sumOfHV[x>>2][y>>2]*ac)>>(3+BitDepthY))] (8-1243)
6.分类滤波器索引数组filtIdx[x][y]和转置索引数组transposeIdx[x][y],其中x=y=0..CtbSizeY-1,导出如下:
transposeTable[]={0,1,0,2,2,3,1,3}
transposeIdx[x][y]=transposeTable[dir1[x][y]*2+(dir2[x][y]>>1)]
filtIdx[x][y]=avgVar[x][y]
当dirS[x][y]不等于0时,filtIdx[x][y]被修改为如下:
filtIdx[x][y]+=(((dirl[x][y]&0x1)<<1)+dirS[x][y])*5(8-1244)
8.8.5.4色度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的色度图片样点数组recPicture,
-滤波重构的色度图片样点数组alfPicture,
-指定当前色度编解码树块的左顶样点相对于当前图片的左顶样点的色度位置(xCtbC,yCtbC)。
该过程的输出是经修改滤波重构的色度图片样点数组alfPicture。
当前色度编解码树块的宽度ctbWidthC和高度ctbHeightC导出如下:
ctbWidthC=CtbSizeY/SubWidthC (8-1245)
ctbHeightC=CtbSizeY/SubHeightC (8-1246)
为了导出滤波重构的色度样点alfPicture[x][y],当前色度编解码树块recPicture[x][y]内的每个重构的色度样点被滤波如下,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
-色度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2..2,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且xCtbC+X-PpsVirtualBoundariesPosX[n]/SubWidthC大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1和PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-x大于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i)(8-1248)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1249)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
hx+i=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,hx+i) (8-1184)]]
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1 并且yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightC大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1和PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-y大于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1251)
-否则,如下适用:
vy+j=Clip3(0,
pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1252)
-[[当在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0时,以下适用:
vy+j=Clip3(SubPicTopBoundaryPos/SubWidthC,SubPicBotBoundaryPos/SubWidthC,vy+j) (8-1184)
-变量applyVirtualBoundary导出如下:
-如果以下条件中的一个或多个为真,则applyVirtualBoundary被设置为等于0:
-当前编解码树块的底边界是图片的底边界。
-当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-当前编解码树块的底边界是子图片的底边界,并且在位置(hx,vy)处含有亮度样点的子图片的loop_filter_across_sub_pic_enabled_flag[SubPicIdx]等于0。
-当前编解码树块的底边界是图片的底虚拟边界中的一个,并且pps_loop_filter_across_virtual_boundaries_disabled_flag等于1。
-否则,applyVirtualBoundary被设置为等于1。]]
-表8-27中根据[[水平亮度]样点位置y/> [[和applyVirtualBoundary]指定了重构的样点偏移r1和r2。
-变量curr导出如下:
curr=recPicture[hx,vy] (8-1253)
-色度滤波器系数f[j]的数组和色度裁剪值c[j]的数组导出如下,其中j=0..5:
f[j]=AlfCoeffC[slice_alf_aps_id_chroma][j] (8-1254)
c[j]=AlfClipC[slice_alf_aps_id_chroma][j] (8-1255)
-变量sum导出如下:
-经修改滤波重构的色度图片样点alfPicture[xCtbC+x][yCtbC+y]导出如下:
-如果pcm_loop_filter_disabled_flag和pcm_flag[(xCtbC+x)*SubWidthC][(yCtbC+y)*SubHeightC]两者都等于1,则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=recPictureL[hx,vy] (8-1258)
-否则(pcm_loop_filter_disabled_flag等于0或者pcm_flag[x][y]等于0),则以下适用:
alfPicture[xCtbC+x][yCtbC+y]=Clip3(0,(1<<BitDepthC)-1,sum) (8-1259)
表8-27-对r1和r2的规范,其根据[[水平亮度]]垂直色度样点位置y、clipTopPos 和clipBottomPos[[和applyVirtualBoundary
]]
表8-28-根据水乎色度样点位置x、clipLeftPos和clipRightPos对c1和c2的规范
8.8.5.5ALF边界位置导出过程
/>
/>
在以上实施例中使用的特定值-128可以用其他值代替,诸如-K,其中例如K大于或不小于从CTU底边界移位的线数(例如K=-5)。
替代地,如果每个样点位于视频单元边界,则可以使用一个标志来标记是否需要以不同的方式来处理每个样点。
5.10实施例#10
8.8.5.2亮度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
-滤波重构的亮度图片样点数组alfPictureL
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb)。
该过程的输出是修改的滤波重构的亮度图片样点数组alfPictureL
使用以下调用章节8.8.5.3的滤波器索引的导出过程:位置(xCtb,yCtb)和重构的亮度图片样点数组recPictureL作为输入,而filtIdx[x][y]和transposeIdx[x][y],其中y=0..CtbSizeY-1,作为输出。
为了导出滤波重构的亮度样点alfPictureL[x][y],当前亮度编解码树块内的每个重构的亮度样点recPictureL[x][y]被滤波如下,其中x,y=0..CtbSizeY-1:
-亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-3...3,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY不等于0,并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1229)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY不等于0,并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于4,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1230)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i)(8-1231)
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosY[n]%CtbSizeY不等于0,并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1232)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosY[n]%CtbSizeY不等于0,并且PpsVirtualBoundariesPosY[n]-yCtb-y是大于0且小于4,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1233)
-否则,如下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1234)
-变量clipLeftPos、clipRightPos、clipTopPos[[和]]clipBottomPos 是通过调用章节8.8.5.5中指定的ALF边界位置导出过程来导出的,其中输出为(xCtb,yCtb)和(x,y)。
-表8-20中根据垂直亮度采样位置y、clipLeftPos和clipRightPos,指定了垂直样点位置偏移y1、y2和y3。
-表8-21中根据水平亮度样点位置x、clipLeftPos和clipRightPos,指定了水平样点位置偏移x1、x2和x3。
8.8.5.3亮度样点的滤波器索引和ALF转置的导出过程
该过程的输入是:
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb),
-在自适应环路滤波过程之前,重构的亮度图片样点数组recPictureL
该过程的输出是
-分类滤波器索引数组filtIdx[x][y],其中x,y=0..CtbSizeY-1,
-转置索引数组transposeIdx[x][y],其中x,y=0..CtbSizeY-1。
亮度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2...5,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY不等于0,并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(PpsVirtualBoundariesPosX[n],pic_width_in_luma_samples-1,xCtb+x+i) (8-1239)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY不等于0,并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于6,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]-1,xCtb+x+i)(8-1240)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples-1,xCtb+x+i)(8-1241)
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosY[n]%CtbSizeY不等于0,并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual-boundaries-1,则以下适用:
vy+j=Clip3(PpsVirtualBoundariesPosY[n],pic_height_in_luma_samples-1,yCtb+y+j) (8-1242)
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosY[n]%CtbSizeY不等于0,并且PpsVirtualBoundariesPosY[n]-yCtb-y是大于0且小于6,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]-1,yCtb+y+j)(8-1243)
-否则,以下适用:
vy+j=Clip3(0,pic_height_in_luma_samples-1,yCtb+y+j)(8-1244)
-变量clipLeftPos、clipRightPos、clipTopPOs、[[和]]clipBottomPos 是通过调用章节8.8.5.5中指定的ALF边界位置导出过程来导出的,其中输出为(xCtb,yCtb)和(x,y)。
-如果clipTopPos不等于-128,则以下适用:
vy+j=Clip3(clipTopPos,pic_height_in_luma_samples-1,yCtb+y+j) (8-1245)
-如果clipBottomPos等于-128,则以下适用:
vy+j=Clip3(0,clipBottomPos-1,yCtb+y+j) (8-1246)
-如果clipLeftPos不等于-128,则以下适用:
hx+i=Clip3(clipLeftPos,pic_width_in_luma_samples-1,xCtb+x+i) (8-1247)
-如果clipRightPos等于-128,则以下适用:
hx+i=Clip3(0,clipRightPos-1,xCtb+x+i) (8-1248)
分类滤波器索引数组filtIdx和转置索引数组transposeIdx通过以下有序步骤导出:
1.变量filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtDl[x][y],其中x,y=-2..CtbSizeY+1,该变量导出如下:
-如果x和y两者都是偶数,或者x和y两者都不是偶数,则以下适用:
-否则,filtH[x][y]、filtV[x][y]、filtD0[x][y]和filtD1[x][y]被设置为等于0。
8.8.5.3色度样点的编解码树块滤波过程
该过程的输入是:
-在自适应环路滤波过程之前,重构的色度图片样点数组recPicture,
-滤波重构的色度图片样点数组alfPicture,
-指定当前色度编解码树块的左顶样点相对于当前图片的左顶样点的色度位置(xCtbC,yCtbC)。
-替代色度滤波器索引altIdx。
该过程的输出是经修改滤波重构的色度图片样点数组alfPicture。
当前色度编解码树块的宽度ctbWidthC和高度ctbHeightC导出如下:
ctbWidthC=CtbSizeY/SubWidthC (8-1278)
ctbHeightC=CtbSizeY/SubHeightC (8-1279)
为了导出滤波重构的色度样点alfPicture[x][y],当前色度编解码树块recPicture[x][y]内的每个重构的色度样点被滤波如下,其中x=0..ctbWidthC-1,y=0..ctbHeightC-1:
-色度样点的给定数组recPicture内的每个对应亮度样点(x,y)的位置(hx+i,vy+j),其中i,j=-2..2,导出如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY不等于0并且xCtbC+X-PpsVirtualBoundariesPosX[n]/SubWidthC大于或等于0且小于2,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY不等于0,并且PpsVirtualBoundariesPosX[n]/SubWidthC-xCtbC-x大于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
hx+i=Clip3(0,PpsVirtualBoundariesPosX[n]/SubWidthC-1,xCtbC+x+i) (8-1281)
-否则,如下适用:
hx+i=Clip3(0,pic_width_in_luma_samples/SubWidthC-1,xCtbC+x+i) (8-1282)
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosY[n]%CtbSizeY不等于0并且yCtbC+y-PpsVirtualBoundariesPosY[n]/SubHeightC大于或等于0且小于2,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosY[n]%CtbSizeY不等于0,并且PpsVirtualBoundariesPosY[n]/SubHeightC-yCtbC-y大于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
vy+j=Clip3(0,PpsVirtualBoundariesPosY[n]/SubHeightC-1,yCtbC+y+j) (8-1284)
-否则,如下适用:
Vy+j=Clip3(0,pic_height_in_luma_samples/SubHeightC-1,yCtbC+y+j) (8-1285)
-变量clipLeftPos、clipRightPos、clipTopPos[[和]]clipBottomPos 是通过调用章节8.8.5.5中指定的ALF边界位置导出过程而导出,其中输入为(xCtbC*SubWidthC,yCtbC*SubHeightC)和(x*SubWidthC,y*SubHeightC)。
-变量clipLeftPos被设置为等于clipLeftPos/SubWidthC。
-变量clipRightPos被设置为等于clipRightPos/SubWidthC。
-变量clipTopPos被设置为等于clipTopPos/SubHeightC。
-变量clipBottomPos被设置为等于clipBottomPos/SubHeightC。
8.5.5.5ALF边界位置导出过程
该过程的输入是:
-指定当前亮度编解码树块的左顶样点相对于当前图片的左顶样点的亮度位置(xCtb,yCtb),
-指定当前样点相对于当前亮度编解码树块的左顶样点的的亮度位置(x,y)。
该过程的输出为:
-左垂直边界位置clipLeftPos,
-右垂直边界位置clipRightPos,
-上水平边界位置clipTopPos,
-下水平边界位置clipBottomPos。
变量clipLeftPos、clipRightPos、clipTopPos和clipBottomPos被设置为等于-128。
变量clipTopPos修改如下:
-如果当前编解码树块的底边界不是图片的底边界,并且y-(CtbSizeY-4)大于或等于0,则变量clipTopPos被设置为等于yCtb+CtbSizeY-4。
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosY[n]%CtbSizeY等于0,并且yCtb+y-PpsVirtualBoundariesPosY[n]大于或等于0且小于3,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
clipTopPos=PpsVirtualBoundariesPosY[n] (8-1292)
-否则,如果y小于3,并且当前编解码树块的顶边界不是图片的顶边界,并且以下条件中的一个或多个为真,则变量clipTopPos被设置为等于yCtb:
-如果当前编解码树块的顶边界是砖的顶边界,并且loop_filter_across_bricks_enabled_flag等于0。
-如果当前编解码树块的顶边界是条带的顶边界,并且loop_filter_across_slices_enabled_flag等于0。
-如果当前编解码树块的顶边界是子图片的顶边界,并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0。
变量clipBottomPos修改如下:
-如果当前编解码树块的底边界不是图片的底边界,并且CtbSizeY-4-y大于0且小于4,则变量clipBottomPos被设置为等于yCtb+CtbSizeY-4。
-否则,如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,则PpsVirtualBoundariesPosY[n]%CtbSizeY等于0,PpsVirtualBoundariesPosY[n]不等于pic_height_in_luma_samples-1或0,并且PpsVirtualBoundariesPoY[n]-yCtb-y大于0且小于4,其中任何n=0..pps_num_hor_virtual_boundaries-1,则以下适用:
clipBottomPos=PpsVirtualBoundariesPosY[n] (8-1293)
-否则,如果CtbSizeY-y小于4,且当前编解码树块的底边界不是图片的底边界,并且以下条件中的一个或多个是真,则变量clipBottomPos被设置为等于yCtb+CtbSizeY。
-如果当前编解码树块的底边界是砖的底边界,并且loop_filter_across_bricks_enabled_flag等于0。
-如果当前编解码树块的底边界是条带的底边界,并且loop_filter_across_slices_enabled_flag等于0。
-如果当前编解码树块的底边界是子图片的底边界,并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0。
变量clipLeftPos修改如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,并且PpsVirtualBoundariesPosX[n]%CtbSizeY等于0,并且xCtb+x-PpsVirtualBoundariesPosX[n]大于或等于0且小于3,其中任何n=0..pps_num_ver_virtual_boundaries-1,则以下适用:
clipLeftPos=PpsVirtualBoundariesPosX[n] (8-1294)
-否则,如果x小于3,当前编解码树块的左边界不是图片的左边界并且以下条件中的一个或多个为真,则变量clipLeftPos被设置为等于xCtb:
-如果当前编解码树块的左边界是砖的左边界,并且loop_filter_across_bricks_enabled_flag等于0。
-如果当前编解码树块的左边界是条带的左边界,并且loop_filter_across_slices_enabled_flag等于0。
-如果当前编解码树块的底边界是子图片的底边界,并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0。
变量clipRightPos修改如下:
-如果pps_loop_filter_across_virtual_boundaries_disabled_flag等于1,且PpsVirtualBoundariesPosX[n]%CtbSizeY等于0,并且PpsVirtualBoundariesPosX[n]-xCtb-x大于0且小于4,其中任何n=0..pps_Bum_ver_virtual_boundaries-1,则以下适用:
clipRightPos=PpsVirtualBoundariesPosX[n] (8-1295)
-否则,如果CtbSizeY-x小于4,并且当前编解码树块的右边界不是图片的右边界,并且以下条件中的一个或多个为真,则变量clipRightPos被设置为等于xCtb+CtbSizeY:
-如果当前编解码树块的右边界是砖的右边界,并且loop_filter_across_bricks_enabled_flag等于0。
-如果当前编解码树块的右边界是条带的右边界,并且loop_filter_across_slices_enabled_flag等于0。
-如果当前编解码树块的右边界是子图片的右边界,并且loop_filter_across_subpic_enabled_flag[SubPicIdx]等于0。
/>
图22是视频处理设备2200的框图。设备2200可以用于实现文中所述的方法中的一个或多个。设备2200可以实施为智能电话、平板计算机、物联网(IoT)接收器等。设备2200可以包括一个或多个处理器2202、一个或多个存储器2204和视频处理硬件2206。(一个或多个)处理器2202可以配置为实现本文档中所述的一个或多个方法。(一个或多个)存储器2204可以用于存储数据和代码,该代码用于实现本文所描述的方法和技术。视频处理硬件2206可以用于在硬件电路中实现本文档中所描述的一些技术。在一些实施例中,视频处理硬件2206可以在处理器2202(例如,图形处理器单元)的内部或部分地在其内部。
在一些实施例中,视频编解码方法可以使用如关于图22所描述的硬件平台上实现的设备来实现。
图23是视频处理的示例方法2300的流程图。该方法包括为在视频的当前视频块与当前视频块的比特流表示之间的转换,确定(2302)要在转换期间使用的一个或多个插值滤波器,其中一个或多个插值滤波器来自视频的多个插值滤波器,以及使用一个或多个插值滤波器执行(2304)转换。
使用解决方案的列表进一步描述本文档中描述的各种解决方案和实施例。
第4节第1项提供了以下解决方案的附加示例。
1.一种视频处理的方法,包括:执行视频图片的视频块与其比特流表示之间的转换,其中,视频块使用编解码树块的逻辑分组来处理视频块,其中,基于底部编解码树块的底边界是否在视频图片的底边界之外来处理编解码树块。
2.如解决方案1的方法,其中,处理编解码树块包括通过使用编解码树块内的样点,来对编解码树块的样点值执行自适应环路滤波。
3.如解决方案1的方法,其中,处理编解码树块包括通过禁止将编解码树块根据虚拟边界分成两部分,来对编解码树块的样点值执行自适应环路滤波。
第4节第2项提供了以下解决方案的附加示例。
4.一种视频处理方法包括:基于当前视频块的编解码树块的条件,在环路滤波期间确定虚拟样点的使用状态;以及执行与虚拟样点的使用状态一致的在视频块与视频块的比特流表示之间的转换。
5.如解决方案4的方法,其中,使用状态的逻辑真值指示当前视频块被虚拟边界划分成至少两个部分,并且对一个部分中的样点进行滤波不允许利用来自另一部分的信息。
6.如解决方案4的方法,其中,使用状态的逻辑真值指示在环路滤波期间使用虚拟样点,并且其中,使用当前视频块的重构样点的修改值来执行环路滤波。
7.如解决方案4的方法,其中,使用状态的逻辑假值指示对块中的样点进行滤波允许利用相同块中的信息。
8.如解决方案4的方法,其中,使用状态的逻辑真值指示对当前视频块的重构样点执行环路滤波,而不会进一步修改重构样点。
9.如解决方案4-8中的任何一项的方法,其中,由于编解码树块具有特定大小,所以条件指定将使用状态设置为逻辑假值。
10.如解决方案4-8中的任何一项的方法,其中,由于编解码树块的大小大于特定大小,所以条件指定将使用状态设置为逻辑假值。
11.如解决方案4-8中的任何一项的方法,编解码数块的大小小于特定大小。
第4节第3项提供了以下解决方案的附加示例。
12.如解决方案5的方法,其中,条件取决于当前视频块的底边界是小于视频图片的视频单元的底边界,还是当前视频块的底边界是虚拟边界。
13.如解决方案12的方法,其中,条件取决于当前视频块的底边界是条带或片或砖边界的底边界。
14.如解决方案12的方法,其中,当当前视频块的底边界是条带或片或砖边界的底边界时,条件指定将使用状态设置为逻辑真值。
15.如解决方案4-12的方法,其中,当当前视频块的底边界是图片边界的底边界或在图片边界的底边界之外时,条件指定将使用状态设置为逻辑假值。
第4节第4项提供了以下解决方案的附加示例。
16.一种视频处理的方法,包括:在逻辑上分组为一个或多个视频条带或视频砖的视频图片与视频图片的比特流表示之间的转换期间,确定禁止在自适应环路滤波过程中使用另一个条带或砖中的样点,以及执行与确定一致的转换。
第4节第5项提供了以下解决方案的附加示例。
17.一种视频处理的方法,包括:在视频图片的当前视频块与当前视频块的比特流表示之间的转换期间,确定当前视频块包括位于视频图片的视频单元的边界处的样点;以及基于确定执行转换,其中执行转换包括使用对于视频图片中的所有边界类型都相同的统一方法来生成用于环路滤波过程的虚拟样点。
18.如解决方案17的方法,其中,视频单元是条带或片或360度视频。
19.如解决方案17的方法,其中,环路滤波包括自适应环路滤波。
20.如解决方案17-19中任一项的方法,其中,统一方法是两侧填充方法。
21.如解决方案17-20中任一项的方法,其中,统一方法是当不允许访问第一线下方的样点并且利用填充来为第一线下方的样点生成虚拟样点时,然后访问第二线上方的样点也设置为不允许,并且利用填充来生成第二线上方的虚拟样点。
22.如解决方案17-20中的任一项的方法,其中,统一方法是当不允许访问第一线上方的样点并且利用填充来为第一线上方的样点生成虚拟样点时,然后访问第二线下方的样点也设置为不允许,并利用填充来为第二线下方的样点生成虚拟样点。
23.如解决方案21-22中的任一项的方法,其中,在第一线与要滤波的当前样点所位于的当前线之间的距离以及在第二线与第一线之间的距离相等。
第4节第6项提供了以下解决方案的附加示例。
24.一种视频处理的方法,包括:在视频图片的当前视频块与当前视频块的比特流表示之间的转换期间,确定在转换期间应用可用于视频图片的多个自适应环路滤波器(ALF)样点选择方法中的一个;并且通过应用多个ALF样点选择方法中的一个来执行转换。
25.如解决方案24的方法,其中,多个ALF样点选择方法包括:第一方法,其中在转换期间将环路滤波器应用于当前视频块之前选择样点;以及第二方法,其中,在转换期间将环路滤波器应用于当前视频块之后选择样点。
第4节第7项提供了以下解决方案的附加示例。
26.一种视频处理的方法,包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间对视频图片的当前视频块的样点执行环路滤波操作;其中,边界规则禁止使用跨视频图片的虚拟管线数据单元(VPDU)的样点,以及使用环路滤波操作的结果执行转换。
27.如解决方案26的方法,其中,VPDU对应于视频图片的具有固定大小的区域。
28.如解决方案26-27中的任一项的方法,其中,边界规则还指定使用虚拟样点代替禁用样点来进行环路滤波。
29.如解决方案28的方法,其中,通过填充生成虚拟样点。
第4节第8项提供了以下解决方案的附加示例。
30.一种视频处理的方法,包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间对视频图片的当前视频块的样点执行环路滤波操作;其中边界规则指定对于跨视频单元边界的当前视频块的位置使用在不使用填充情况下所生成的样点,以及使用环路滤波操作的结果执行转换。
31.如解决方案30的方法,其中,使用两侧填充技术生成样点。
32.如解决方案30的方法,其中,环路滤波操作包括在环路滤波操作期间对于对称定位的样点使用相同的虚拟样点生成技术。
33.如解决方案30-32中的任一项的方法,其中,对当前视频块的样点进行环路滤波操作包括在应用环路滤波之前对当前视频块的样点执行重整形。
第4节第9项提供了以下解决方案的附加示例。
34.一种视频处理的方法,包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间对视频图片的当前视频块的样点执行环路滤波操作;其中,边界规则指定对于环路滤波操作,选择具有这样的维度的滤波器,使得在环路滤波期间所使用的当前视频块的样点不跨视频图片的视频单元的边界,以及使用环路滤波操作的结果执行转换。
第4节第10项提供了以下解决方案的附加示例。
35.一种视频处理的方法,包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间对视频图片的当前视频块的样点执行环路滤波操作;其中,边界规则指定对于环路滤波操作基于环路滤波是否需要填充的样点来选择修剪参数或滤波器系数,以及使用环路滤波操作的结果执行转换。
36.如解决方案35的方法,其中,裁剪参数或滤波器系数包括在比特流表示中。
第4节第11项提供了以下解决方案的附加示例。
37.一种视频处理的方法,包括:基于边界规则,在当前视频块与当前视频块的比特流表示之间的转换期间对视频图片的当前视频块的样点执行环路滤波操作;其中,边界规则取决于当前视频块的色彩分量标识,以及使用环路滤波操作的结果执行转换。
38.如解决方案37的方法,其中对于亮度和/或不同的色彩分量,边界规则是不同的。
39.如解决方案1-38中的任一项的方法,其中,转换包括将当前视频块编码到比特流表示中。
40.如解决方案1-38中的任一项的方法,其中,转换包括解码比特流表示以生成当前视频块的样点值。
41.一种视频编码设备,包括被配置为实现如解决方案1-38中的任一项或多项所述的方法的处理器。
42.一种视频解码设备,包括被配置为实现如解决方案1-38中的任一项或多项所述的方法的处理器。
43.一种计算机可读介质,其上具有存储的代码,代码在由处理器执行时使得处理器实现如解决方案1-38中的任一项或多项所述的方法。
图31是可实现的本文中所公开的各种技术的示例视频处理系统3100的框图。各种实现方式可以包括系统3100中的一些或全部组件。系统3100可以包括用于接收视频内容的输入3102。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收,或者可以以压缩或编码的格式接收。输入3102可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统3100可以包括可以实现本文档中描述的各种编解码或编码方法的编解码组件3104。编解码组件3104可以减少从输入3102到编解码组件3104的输出的视频的平均比特率,以产生视频的编解码表示。因此,编解码技术有时称为视频压缩或视频转码技术。编解码组件3104的输出可以被存储或经由所连接的通信来发送,如组件3106所表示的。在输入3102处接收的视频的存储或通信的比特流(或编解码)表示可以由组件3108使用,以生成被发送到显示接口3110的像素值或可显示视频。从比特流表示中生成用户可见的视频的过程有时称为视频解压缩。此外,尽管某些视频处理操作被称为“编解码”操作或工具,但是应当理解,在编码器处使用编解码工具或操作,并且将由解码器执行反演编码结果的对应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子装置中,诸如移动电话、膝上型计算机、智能电话或其它能够执行数字数据处理和/或视频显示的装置。
图32是根据本技术的用于视频处理的方法3200的流程表示。本方法3200包括,在操作3210,为视频的当前块与视频的比特流表示之间的转换,确定视频在当前块之外的一个或多个样点对于转换的编解码过程不可用。编解码过程包括自适应环路滤波器(ALF)编解码过程。方法3200还包括,在操作3220,基于确定,通过将填充样点用于视频的一个或多个样点来执行转换。填充样点通过按顺序检验样点的可用性来生成。
在一些实施例中,当前块包括编解码单元、图片单元或编解码树单元。在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块左上方。该顺序指定(1)首先检验第二邻域块中的样点,该第二邻域块在当前块上方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块定位到当前块左方,并且(3)在第三邻域块中的样点也不可用的情况下,当前块的左顶样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块右下方。该顺序指定(1)首先检验第二邻域块中的样点,该第二邻域块在当前块下方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块定位到当前块右方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的右底样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块右上方。该顺序指定:(1)首先检验第二邻域块中的样点,该第二邻域块在当前块上方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块定位到当前块右方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的右顶样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块在当前块左下方。该顺序指定:(1)首先检验第二邻域块中的样点,该第二邻域块在当前块下方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块定位到当前块左方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的左顶样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块的左上方。该顺序指定(1)首先检验第二邻域块中的样点,该第二邻域块定位到当前块左方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块在当前块上方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的左顶样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块右上方。该顺序指定(1)首先检验第二邻域块中的样点,该第二邻域块定位到当前块右方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块在当前块右方的上方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的右顶样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块左下方。该顺序指定(1)首先检验第二邻域块中的样点,该第二邻域块定位到当前块左方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块在当前块左方的下方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的左顶样点用于生成填充样点。
在一些实施例中,不可用的在当前块之外的一个或多个样点包括位于第一邻域块中的样点,该第一邻域块位于当前块右下方。该顺序指定(1)首先检验第二邻域块中的样点,该第二邻域块定位到当前块右方,(2)在第二邻域块中的样点不可用的情况下,接下来检验第三邻域块中的样点,该第三邻域块在当前块右方的下方,以及(3)在第三邻域块中的样点也不可用的情况下,当前块的右底样点用于生成填充样点。
在一些实施例中,顺序指定(1)首先检验垂直可用样点,并且(2)可选地接下来检验水平可用样点。在一些实施例中,该顺序指定(1)首先检验水平可用样点,并且(2)可选地接下来检验垂直可用样点。在一些实施例中,按顺序检验当前块的每个邻域块中的样点。在一些实施例中,在当前块的每个邻域块中仅检查一个样点。
在一些实施例中,在没有找到用于生成填充样点的可用样点的情况下,在ALF编解码过程中使用当前块的当前样点。在一些实施例中,对于位于以下的邻域块中的不可用样点,样点使用当前块的一个或多个样点来填充:(1)当前块左上方、(2)当前块右上方、(3)当前块右下方,或(4)当前块右下方。在一些实施例中,当前块的左顶样点用于填充位于当前块左上方的邻域块中的样点。在一些实施例中,当前块的右顶样点用于填充位于当前块右上方的邻域块中的样点。在一些实施例中,当前块的左底样点用于填充位于当前块左下方的邻域块中的样点。在一些实施例中,当前块的右底样点用于填充位于当前块右下方的邻域块中的样点。在一些实施例中,编解码过程还包括访问当前块之外的一个或多个样点的另一种滤波编解码过程。
图33是根据本技术的用于视频处理的方法3300的流程表示。方法3300包括,在操作3310,为视频的当前块与视频的比特流表示之间的转换,做出关于当前块的邻域块的样点是否在与当前块相同的视频区域中的第一确定。邻域块位于(1)当前块左上方、(2)当前块右上方、(3)当前块左下方,或(4)当前块右下方。方法3300包括,在操作3320,使用第一确定来做出关于使用当前块之外的样点的编解码工具对于当前块的转换的适用性的第二确定。编解码工具包括自适应环路滤波器(ALF)工具,该自适应环路滤波器(ALF)工具包括ALF分类过程和/或ALF滤波过程。方法3300包括,在操作3330,根据第一确定和第二确定执行转换。
在一些实施例中,当前块包括编解码单元、图片单元或编解码树单元。在一些实施例中,视频区域包括条带、砖、片或子图片。在一些实施例中,在以下情况下,样点被认为不可用于编解码工具:(1)样点和当前块的当前样点是在不同视频区域,以及(2)对于编解码工具禁用对跨视频的不同视频区域的样点的访问。在一些实施例中,在编解码表示中信令通知语法元素,以指示是否禁用对跨视频的不同视频区域的样点的访问。在一些实施例中,该方法还包括响应于样点不可用于为编解码工具导出填充样点而应用填充过程。
在一些实施例中,当前块的左顶样点表示为(x0,y0),并且检验位于当前块左上方的邻域块中的样点(x0-offsetX0,y0-offsetY0),offsetX0和offsetY0为整数。在一些实施例中,(offsetX0,offsetY0)包括(1,1)、(2,1)或(1,2)。
在一些实施例中,当前块的左顶样点表示为(x0,y0),并且检验位于当前块右上方的邻域块中的样点(x0+offsetX1,y0-offsetY1),offsetX1和offsetY1为整数。在一些实施例中,(offsetX1,offsetY1)包括(BlockWidth,1)、(BlockWidth+1,1)或(BlockWidth,2),其中,BlockWidth是当前块的宽度。
在一些实施例中,当前块的左顶样点表示为(x0,y0),并且检验位于当前块左下方的邻域块中的样点(x0+offsetX2,y0+offsetY2),offsetX2和offsetY2为整数。在一些实施例中,(offsetX2,offsetY2)包括(1,BlockHeight)、(2,BlockHeight)或(1,BlockHeight+1),其中,BlockHeight是当前块的高度。
在一些实施例中,当前块的左顶样点表示为(x0,y0),并且检验位于当前块右上方的邻域块中的样点(x0+offsetX3,y0+offsetY3),offsetX3和offsetY3为整数。在一些实施例中,(offsetX3,offsetY3)包括(BlockWidth,BlockHeight)、(BlockWidth+1,BlockHeight)或(BlockWidth,BlockHeight+1),其中,BlockWidth是当前块的宽度并且BlockHeight是当前块的高度。
在一些实施例中,基于当前块的宽度或高度确定offsetXk或offsetYk,其中k=0、1或3。在一些实施例中,编解码工具还包括另一种滤波编解码工具。
在一些实施例中,基于视频的特性确定一种或多种方法对当前块的适用性。在一些实施例中,视频的特性包括在编解码表示中的以下内容中信令通知的信息:解码器参数集、条带参数集、视频参数集、图片参数集、自适应参数集、图片头、条带头、片组头、最大编解码单元(LCU)、编解码单元、LCU行、LCU的组、变换单元、图片单元或视频编解码单元。在一些实施例中,视频的特性包括视频内编解码单元、图片单元、变换单元、块、视频编解码单元的位置。在一些实施例中,视频的特性包括当前块的邻域块或当前块的特性。在一些实施例中,当前块的邻域块或当前块的特性包括当前块的邻域块的维度或当前块的维度。在一些实施例中,当前块的邻域块或当前块的特性包括当前块的邻域块的形状或当前块的形状。在一些实施例中,视频的特性包括视频的色彩格式的指示。在一些实施例中,视频的特性包括适用于视频的编解码树结构。在一些实施例中,视频的特性包括视频的条带类型、片组类型或图片类型。在一些实施例中,视频的特性是视频的色彩分量。在一些实施例中,视频的特性包括视频的时域层标识符。在一些实施例中,视频的特性包括视频标准的配置文件、级别或层级。
在一些实施例中,该转换包括将视频编码为比特流表示。在一些实施例中,该转换包括将比特流表示解码为视频。
图34是图示可利用本公开的技术的示例视频编解码系统100的框图。
如图34所示,视频编解码系统100可以包括源装置110和目的地装置120。源装置110生成编码的视频数据,其可以被称为视频编码装置。目的地装置120可以解码由源装置110生成的编码的视频数据,该目的地装置120可以被称为视频解码装置。
源装置110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获装置的源、从视频内容提供者接收视频数据的接口、和/或生成视频数据的计算机图形系统,或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法元素。I/O接口116包括调制器/解调器(调制解调器)和/或发送器。可以将编码的视频数据经由I/O接口116通过网络130a直接发送到目的地装置120。还可以将编码的视频数据存储到存储介质/服务器130b上,用于由目的地装置120存取。
目的地装置120可以包括I/O接口126、视频解码器124和显示装置122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源装置110或存储介质/服务器130b获取编码的视频数据。视频解码器124可以对编码的视频数据进行解码。显示装置122可以向用户显示解码的视频数据。显示装置122可以与目的地装置120集成,或可以在配置为与外置显示装置相接的目的地装置120外部。
视频编码器114和视频解码器124可以根据视频压缩标准(诸如,高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或其他标准)进行操作。
图35是图示视频编码器200的示例的框图,该视频编码器200可以是图34中图示的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或全部技术。在图9的示例中,视频编码器200包括多个功能组件。本公开所描述的技术可以在视频编码器200的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开的任何或全部技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202(其可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以用IBC模式执行预测,其中至少一个参考图片是当前视频块所位于的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以被高度集成,但是出于解释的目的在图5的示例中分开表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以例如基于错误结果选择帧内或帧间的编解码模式中的一个,并且将得到的帧内或帧间编解码块提供到残差生成单元207来生成残差块数据而且提供到重构单元212来重构编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合,其中预测是基于帧内预测信号和帧间预测信号。模式选择单元203还可以为帧间预测情况下的块选择运动矢量的分辨率(例如子像素或整个像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较,生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的图片(而不是与当前视频块相关联的图片)的运动信息和解码样点来为当前视频块确定预测的视频块。
运动估计单元204和运动补偿单元205可以为当前视频块执行不同操作,例如执行不同操作取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中,运动估计单元204可以执行当前视频块的单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在当前视频块与参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符、和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中,运动估计单元204可以执行当前视频块的双向预测,运动估计单元204可以在列表0的参考图片中搜索当前视频块的参考视频块并且还可以在列表1的参考图片中搜索当前视频块的另一个参考视频块。运动估计单元204然后可以生成指示列表0或列表1的参考图片中含有参考视频块的参考索引以及指示在参考视频块与当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引和当前视频块的运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出运动信息的全部集合,用于解码器的解码处理。
在一些示例中,运动估计单元204可以不输出当前视频的运动信息的全部集合。而是,运动估计单元204可以参考另一个视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与邻域视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示:向视频解码器300指示当前视频块具有与另一个视频块相同的运动信息的值。
在另一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一个视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与指示视频块的运动矢量之间的差。视频解码器300可以使用指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所讨论的,视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性的信令通知技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于相同图片中其他视频块的解码样点来生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如,由减号表示)当前视频块的(一个或多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中样点的不同样点分量的残差视频块。
在其他示例中,例如在跳过模式下,对于当前视频块可能不存在当前视频块的残差数据,并且残差生成单元207可以不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来生成当前视频块的一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以将逆量化和逆变换分别应用于变换系数视频块,来从变换系数视频块重构残差视频块。重构单元212可以将重构的残差视频块添加到来自由预测单元202生成的一个或多个预测视频块的对应样点,以产生与当前块相关联的重构视频块用于存储在缓冲器213中。
在重构单元212重构视频块之后,可以执行环路滤波操作以降低视频块中视频块化伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码数据并且输出包括熵编码数据的比特流。
图36是图示视频解码器300的示例的框图,该视频解码器300可以是图34中图示的系统100中视频解码器114。
视频解码器300可以被配置为执行本公开的任何或全部技术。在图36的示例中,视频解码器300包括多个功能组件。本公开所描述的技术可以在视频解码器300的各种组件之间共享。在一些示例中,处理器可以配置为执行本公开的任何或全部技术。
在图36的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重构单元306和缓冲器307。在一些示例中,视频解码器300可以执行与关于视频编码器200(例如,图35)所描述的编码过程总体反演的解码过程。
熵解码单元301可以撷取编码比特流。编码比特流可以包括熵编解码视频数据(例如,视频数据的编码块)。熵解码单元301可以对熵编解码视频进行解码,并且根据熵解码视频数据,运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。运动补偿单元302例如可以通过执行AMVP和Merge模式确定此类信息。
运动补偿单元302可以产生运动补偿块,可能地基于插值滤波器执行插值。要以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可以使用由视频编码器200在编码视频块的期间所使用的插值滤波器,来计算出参考块的子整数个像素的插值的值。运动补偿单元302可以根据接收的语法信息确定由视频编码器200所使用的插值滤波器并且使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定:用于对编码视频序列的(多个)帧和/或(多个)条带进行编码的块的大小,描述编码视频序列的图片的每个宏块如何被分割的分割信息,指示如何编码每个分割的模式,每个帧间编码块的一个或多个参考帧(和参考帧列表),以及对编码视频序列进行解码的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303逆量化(即去量化)在比特流中提供的且由熵解码单元301解码的量化的视频块系数。逆变换单元303应用逆变换。
重构单元306可以用由运动补偿单元202或帧内预测单元303生成的对应预测块求和残差块,以形成解码块。如所期望的,去块化滤波器还可以应用于滤波解码块以便移除块化伪影。解码视频块然后存储在缓冲器307中,该缓冲器307提供用于随后的运动补偿的参考块。
根据前述,将理解出于图示的目的已经描述本公开的技术的指定实施例,但是可以做出各种修改而不会偏离本发明的范围。相应地,本公开的技术不限于如所附权利要求所主张的。
本公开的技术的一些实施例包括决定或确定启用视频处理工具或模式。在示例中,当启用视频处理工具或模式时,编码器将使用或实现在视频块的处理过程中的工具或模式,但是不必基于工具或模式的使用来修改得到的比特流。换言之,当基于决定或确定启用视频处理工具或模式时,从视频块到视频的比特流的转换将使用视频处理工具或模式。在另一个示例中,当启用视频处理工具或模式时,解码器将利用已经基于视频处理工具或模式修改比特流的知识来处理比特流。换言之,使用基于决定或确定启用的视频处理工具或模式,将执行从视频的比特流到视频块的转换。
本公开的技术的一些实施例包括决定或确定禁用视频处理工具或模式。在示例中,当禁用视频处理工具或模式时,编码器在视频块到视频的比特流表示的转换中将不会使用工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将使用尚未基于决定或确定而启用的视频处理工具或模式来修改比特流的知识来处理比特流。
本专利文档中所描述的主题的实现方式和功能性操作可以被实现在各种系统、数字电子电路中或者在计算机软件、固件或硬件中,含有本说明书中所公开的结构以及其结构的等同物,或者它们中的一个或多个的组合。本说明书中所描述的主题的实现方式可以被实现为有形且非易失性计算机可读介质上所编码的一个或多个计算机程序产品,例如一个或多个计算机程序指令模块,用于由数据处理设备执行或者控制数据处理设备的操作。该计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储器装置、影响机器可读可传播信号的复合物,或其一个或多个的组合。术语“数据处理单元”或“数据处理设备”涵盖用于处理数据的所有设备、装置和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该设备还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言,并且可以以任何形式来部署计算机程序,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其它单元。计算机程序不必须对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的部分中(例如,在标记语言文档中存储的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行,该多个计算机位于一个站点处或者分布跨多个站点并由通信网络互连。
可以由执行一个或多个计算机程序的一个或多个可编程处理器来进行在本说明书中所描述的过程和逻辑流,以通过在输入数据上操作并且生成输出来进行功能。也可以由专用逻辑电路(例如,现场可编程门阵列(FPGA)或专用集成电路(ASIC))进行过程和逻辑流,并且设备可以实现为专用逻辑电路(例如FPGA或ASIC)。
适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者,以及任何类型的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的基本元件是用于进行指令的处理器和用于存储指令和数据的一个或多个存储装置。通常,计算机还将包括用于存储数据的一个或多个海量存储装置(例如磁、磁光盘或光盘),或者可操作地耦合以从海量存储装置(例如磁、磁光盘或光盘)接收数据或者将数据传输到海量存储装置(例如磁、磁光盘或光盘),或者以上两者。但是,计算机不必具有此类装置。适用于存储计算机程序指令和数据的计算机可读介质含有所有形式的非易失性存储器、介质和存储装置,含有例如半导体存储器装置(例如EPROM、EEPROM和闪速存储器装置)。处理器和存储器可以由专用逻辑电路补充,或者合并在专用逻辑电路中。
旨在说明书与附图一起仅被示例性地考虑,其中示例性意味着示例。如本文所使用的,除非上下文明确指示,否则“
虽然本专利文档含有许多细节,但这些细节不应被解释为对任何发明或可要求保护的范围的限制,而是作为指定于特定发明的特定实施例的特征的描述。在本专利文档中,在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中来实现或者以各种合适的子组合来实现。此外,尽管特征可以如上文描述为以某些组合起作用并且甚至最初同样地要求,但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除,并且所要求保护的组合可以针对子组合或子组合的变化。
类似地,尽管在附图中以特定顺序描绘了操作,但这不应当理解为要求按所示的特定次序或顺序次序进行此类操作或者进行所有示出的操作,以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分开不应被理解为在所有实施例中都要求这种分开。
仅描述了几个实现方式和示例,并且可以基于本专利文档中描述和示出的内容来作出其它实现方式、增强和变型。

Claims (40)

1.一种处理视频数据的方法,包括:
为视频的当前块与所述视频的比特流之间的转换,做出关于所述当前块的邻域块中的样点是否在与所述当前块相同的视频区域中的第一确定,其中,所述邻域块位于(1)所述当前块左上方、(2)所述当前块右上方、(3)所述当前块左下方或(4)所述当前块右下方;
基于所述第一确定,对所述邻域块中的所述样点是否可用于编解码工具进行所述当前块的转换做出第二确定,所述编解码工具使用所述当前块之外的样点,其中,所述编解码工具包括自适应环路滤波器工具,所述自适应环路滤波器工具包括自适应环路滤波器分类过程和/或自适应环路滤波过程;以及
根据所述第一确定和所述第二确定执行所述转换,
其中,在以下情况下,所述邻域块中的所述样点被认为不可用于所述编解码工具:(1)所述邻域块和所述当前块在不同视频区域中,以及(2)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点,
其中,在(1)所述邻域块中的所述样点位于所述当前块左上方,并且其中(2)左上方邻域块和所述当前块在不同视频区域中并且(3)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点的情况下,变量标志clipTopLeftFlag设置为等于真,并且基于所述clipTopLeftFlag的值为真,左上邻域块中的所述样点被认为不可用。
2.根据权利要求1所述的方法,其中,在(1)所述邻域块中的所述样点位于所述当前块右下方,并且其中(2)右下方邻域块和所述当前块在不同视频区域中并且(3)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点的情况下,变量标志clipBottomRightFlag设置为等于真,并且基于所述clipBottomRightFlag的值为真,右下邻域块中的所述样点被认为不可用。
3.根据权利要求1所述的方法,其中,在所述比特流中包括语法元素以指示是否禁用跨不同视频区域访问样点。
4.根据权利要求3所述的方法,其中,所述视频区域是条带,图片参数集中的所述语法元素指定是否允许跨图片中的条带边界执行环路滤波操作。
5.根据权利要求3所述的方法,还包括响应于所述邻域块中的所述样点对于所述编解码工具不可用而应用填充过程。
6.根据权利要求1所述的方法,其中,所述转换包括将所述视频编码到所述比特流中。
7.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述视频。
8.根据权利要求1所述的方法,其中,所述当前块包括编解码单元、图片单元或编解码树单元。
9.根据权利要求1所述的方法,其中,视频区域包括条带、砖、片或子图片。
10.根据权利要求7至9中的任一项所述的方法,其中,所述当前块的左顶样点表示为(x0, y0),并且检验位于所述当前块左上方的所述邻域块中的样点(x0 - offsetX0, y0 -offsetY0),offsetX0和offsetY0为整数。
11.根据权利要求10所述的方法,其中,(offsetX0, offsetY0)包括(1, 1)、(2, 1)或(1, 2)。
12.根据权利要求7至9中的任一项所述的方法,其中,所述当前块的左顶样点表示为(x0, y0),并且检验位于所述当前块右上方的所述邻域块中的样点(x0 + offsetX1, y0 -offsetY1),offsetX1和offsetY1为整数。
13.根据权利要求12所述的方法,其中,(offsetX1, offsetY1)包括(BlockWidth, 1)、(BlockWidth +1, 1)或(BlockWidth, 2),其中,BlockWidth是所述当前块的宽度。
14.根据权利要求7至9中的任一项所述的方法,其中,所述当前块的左顶样点表示为(x0, y0),并且检验位于所述当前块左下方的所述邻域块中的样点(x0 + offsetX2, y0 +offsetY2),offsetX2和offsetY2为整数。
15.根据权利要求14所述的方法,其中,(offsetX2, offsetY2)包括(1,BlockHeight)、(2, BlockHeight)或(1, BlockHeight+1),其中,BlockHeight是所述当前块的高度。
16.根据权利要求7至9中的任一项所述的方法,其中,所述当前块的左顶样点表示为(x0, y0),并且检验位于所述当前块右上方的所述邻域块中的样点(x0 + offsetX3, y0 +offsetY3),offsetX3和offsetY3为整数。
17.根据权利要求16所述的方法,其中,(offsetX3, offsetY3)包括(BlockWidth,BlockHeight)、(BlockWidth +1, BlockHeight)或(BlockWidth, BlockHeight+1),其中,BlockWidth是所述当前块的宽度并且BlockHeight是所述当前块的高度。
18.根据权利要求7至9中的任一项所述的方法,其中,基于所述当前块的宽度或高度确定offsetXk或offsetYk,其中k = 0、1或3。
19.根据权利要求7至9中的任一项所述的方法,其中,所述编解码工具还包括另一种滤波编解码工具。
20.根据权利要求7至9中的任一项所述的方法,其中,基于所述视频的特性来确定所述方法对于所述当前块的转换的适用性。
21.根据权利要求20所述的方法,其中,所述视频的特性包括在所述比特流中的以下内容中以信令通知的信息:解码器参数集、条带参数集、视频参数集、图片参数集、自适应参数集、图片头、条带头、片组头、最大编解码单元LCU、编解码单元、LCU行、LCU的组、变换单元、图片单元或视频编解码单元。
22.根据权利要求20所述的方法,其中,所述视频的特性包括所述视频内的以下的位置:编解码单元、图片单元、变换单元、块或视频编解码单元。
23.根据权利要求20所述的方法,其中,所述视频的特性包括当前块的邻域块或当前块的特性。
24.根据权利要求23所述的方法,其中,当前块的邻域块或当前块的所述特性包括所述当前块的邻域块的维度或所述当前块的维度。
25.根据权利要求23所述的方法,其中,当前块的邻域块或当前块的所述特性包括所述当前块的邻域块的形状或所述当前块的形状。
26.根据权利要求20所述的方法,其中,所述视频的特性包括所述视频的色彩格式的指示。
27.根据权利要求20所述的方法,其中,所述视频的特性包括适用于所述视频的编解码树结构。
28.根据权利要求20所述的方法,其中,所述视频的特性包括所述视频的条带类型、片组类型或图片类型。
29.根据权利要求20所述的方法,其中,所述视频的特性包括所述视频的色彩分量。
30.根据权利要求20所述的方法,其中,所述视频的特性包括所述视频的时域层标识符。
31.根据权利要求20所述的方法,其中,所述视频的特性包括视频标准的配置文件、级别或层级。
32.一种用于处理视频数据的装置,包括处理器和其上带有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使所述处理器:
为视频的当前块与所述视频的比特流之间的转换,做出关于所述当前块的邻域块中的样点是否在与所述当前块相同的视频区域中的第一确定,其中,所述邻域块位于(1)所述当前块左上方、(2)所述当前块右上方、(3)所述当前块左下方或(4)所述当前块右下方;
基于所述第一确定,对所述邻域块中的所述样点是否可用于编解码工具进行所述当前块的转换做出第二确定,所述编解码工具使用所述当前块之外的样点,其中,所述编解码工具包括自适应环路滤波器工具,所述自适应环路滤波器工具包括自适应环路滤波器分类过程和/或自适应环路滤波过程;以及
根据所述第一确定和所述第二确定执行所述转换,
其中,在以下情况下,所述邻域块中的所述样点被认为不可用于所述编解码工具:(1)所述邻域块和所述当前块在不同视频区域中,以及(2)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点,
其中,在(1)所述邻域块中的所述样点位于所述当前块左上方,并且其中(2)左上方邻域块和所述当前块在不同视频区域中并且(3)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点的情况下,变量标志clipTopLeftFlag设置为等于真,并且基于所述clipTopLeftFlag的值为真,左上邻域块中的所述样点被认为不可用。
33.根据权利要求32所述的装置,其中,所述视频区域包括条带。
34.根据权利要求33所述的装置,其中,
其中,在(1)所述邻域块中的所述样点位于所述当前块右下方,并且其中(2)右下方邻域块和所述当前块在不同视频区域中并且(3)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点的情况下,变量标志clipBottomRightFlag设置为等于真,并且基于所述clipBottomRightFlag的值为真,右下邻域块中的所述样点被认为不可用。
35.根据权利要求33所述的装置,其中,在所述比特流中包括语法元素以指示是否禁用跨不同视频区域访问样点;
其中,所述视频区域是条带,图片参数集中的所述语法元素指定是否允许跨图片中的条带边界执行环路滤波操作;以及
其中,所述处理器还使得响应于所述邻域块中的所述样点对于所述编解码工具不可用而应用填充过程。
36.一种存储指令的非暂时性计算机可读存储介质,所述指令使得处理器:
为视频的当前块与所述视频的比特流之间的转换,做出关于所述当前块的邻域块中的样点是否在与所述当前块相同的视频区域中的第一确定,其中,所述邻域块位于(1)所述当前块左上方、(2)所述当前块右上方、(3)所述当前块左下方或(4)所述当前块右下方;
基于所述第一确定,对所述邻域块中的所述样点是否可用于编解码工具进行所述当前块的转换做出第二确定,所述编解码工具使用所述当前块之外的样点,其中,所述编解码工具包括自适应环路滤波器工具,所述自适应环路滤波器工具包括自适应环路滤波器分类过程和/或自适应环路滤波过程;以及
根据所述第一确定和所述第二确定执行所述转换,
其中,在以下情况下,所述邻域块中的所述样点被认为不可用于所述编解码工具:(1)所述邻域块和所述当前块在不同视频区域中,以及(2)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点,
其中,在(1)所述邻域块中的所述样点位于所述当前块左上方,并且其中(2)左上方邻域块和所述当前块在不同视频区域中并且(3)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点的情况下,变量标志clipTopLeftFlag设置为等于真,并且基于所述clipTopLeftFlag的值为真,左上邻域块中的所述样点被认为不可用。
37.根据权利要求36所述的非暂时性计算机可读存储介质,其中,所述视频区域包括条带;
其中,在(1)所述邻域块中的所述样点位于所述当前块右下方,并且(2)其中右下方邻域块和所述当前块在不同视频区域中并且(3)对于所述编解码工具禁用跨所述视频的不同视频区域访问样点的情况下,变量标志clipBottomRightFlag设置为等于真,并且基于所述clipBottomRightFlag的值为真,右下邻域块中的所述样点被认为不可用。
38.根据权利要求37所述的非暂时性计算机可读存储介质,其中,在所述比特流中包括语法元素以指示是否禁用跨不同视频区域访问样点;
其中,所述视频区域是条带,图片参数集中的所述语法元素指定是否允许跨图片中的条带边界执行环路滤波操作;以及
其中,所述处理器还使得响应于所述邻域块中的所述样点对于所述编解码工具不可用而应用填充过程。
39.一种视频处理设备,包括被配置为实现如权利要求1至31中的任一项所述的方法的处理器。
40.一种计算机可读介质,具有其上存储的代码,所述代码在由处理器执行时使得所述处理器实现如权利要求1至31中的任一项所述的方法。
CN202080067550.9A 2019-09-22 2020-09-22 自适应环路滤波中样点填充的选择性应用 Active CN114503594B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019107160 2019-09-22
CNPCT/CN2019/107160 2019-09-22
PCT/CN2020/116708 WO2021052509A1 (en) 2019-09-22 2020-09-22 Selective application of sample padding in adaptive loop filtering

Publications (2)

Publication Number Publication Date
CN114503594A CN114503594A (zh) 2022-05-13
CN114503594B true CN114503594B (zh) 2024-04-05

Family

ID=74883940

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311227623.8A Pending CN117278747A (zh) 2019-09-22 2020-09-22 自适应环路滤波中的填充过程
CN202080066485.8A Active CN114430902B (zh) 2019-09-22 2020-09-22 自适应环路滤波中的填充过程
CN202080067550.9A Active CN114503594B (zh) 2019-09-22 2020-09-22 自适应环路滤波中样点填充的选择性应用

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202311227623.8A Pending CN117278747A (zh) 2019-09-22 2020-09-22 自适应环路滤波中的填充过程
CN202080066485.8A Active CN114430902B (zh) 2019-09-22 2020-09-22 自适应环路滤波中的填充过程

Country Status (6)

Country Link
US (3) US11652998B2 (zh)
EP (1) EP4018652A4 (zh)
JP (2) JP7318120B2 (zh)
KR (1) KR20220061980A (zh)
CN (3) CN117278747A (zh)
WO (2) WO2021052509A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
KR102578407B1 (ko) * 2020-03-31 2023-09-13 엘지전자 주식회사 레이어간 정렬된 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
US20220394309A1 (en) * 2021-05-20 2022-12-08 Lemon Inc. On Padding Methods For Neural Network-Based In-Loop Filter
US20230179763A1 (en) * 2021-12-06 2023-06-08 Tencent America LLC Interpolation Filters for Adaptive Motion Vector Difference Resolution

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109946A1 (en) * 2012-01-19 2013-07-25 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN104205829A (zh) * 2012-03-28 2014-12-10 高通股份有限公司 合并信令及环路滤波器开/关信令
WO2015165030A1 (en) * 2014-04-29 2015-11-05 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
CN107211154A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 译码树单元级自适应环路滤波器
CN108432247A (zh) * 2016-01-05 2018-08-21 韩国电子通信研究院 用于预测残差信号的方法和装置
CN109076218A (zh) * 2016-05-16 2018-12-21 高通股份有限公司 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN109792525A (zh) * 2016-10-04 2019-05-21 高通股份有限公司 峰值样本自适应偏移
CN109996070A (zh) * 2017-01-03 2019-07-09 联发科技股份有限公司 视频处理方法

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558320B2 (en) 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
CN101207812B (zh) 2007-12-10 2010-04-07 海信集团有限公司 一种视频环路滤波方法
JP2012517774A (ja) 2009-02-10 2012-08-02 シリコン イメージ,インコーポレイテッド ブロックノイズの検出及びフィルタ処理
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
CN102972028B (zh) * 2010-05-17 2015-08-12 Lg电子株式会社 新的帧内预测模式
CN105516722B (zh) 2010-09-30 2018-12-07 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
WO2012045269A1 (en) 2010-10-05 2012-04-12 Mediatek Inc. Method and apparatus of region-based adaptive loop filtering
US9525884B2 (en) 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
JP5689563B2 (ja) 2011-05-10 2015-03-25 メディアテック インコーポレイテッド インループフィルターバッファーの削減方法及び装置
KR101956284B1 (ko) 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
US9641866B2 (en) 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
AU2012327672B2 (en) * 2011-10-24 2015-09-03 Hfi Innovation Inc. Method and apparatus for non-cross-tile loop filtering
US9247258B2 (en) 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US20130128986A1 (en) * 2011-11-23 2013-05-23 Mediatek Inc. Method and Apparatus of Slice Boundary Padding for Loop Filtering
US8983218B2 (en) 2012-04-11 2015-03-17 Texas Instruments Incorporated Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding
US20130343447A1 (en) * 2012-06-25 2013-12-26 Broadcom Corporation Adaptive loop filter (ALF) padding in accordance with video coding
KR102070622B1 (ko) 2012-11-23 2020-01-29 삼성전자주식회사 동영상을 위한 양자화 테이블 추정 방법 및 장치
US9596461B2 (en) 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
EP2941871A2 (en) 2013-01-07 2015-11-11 VID SCALE, Inc. Enhanced deblocking filters for video coding
US9578339B2 (en) 2013-03-05 2017-02-21 Qualcomm Incorporated Parallel processing for video coding
US9648335B2 (en) 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US9578328B2 (en) 2013-07-15 2017-02-21 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
KR102135997B1 (ko) 2013-09-27 2020-07-20 퀄컴 인코포레이티드 심도 인트라 예측 모드들에 대한 잔차 코딩
WO2015070739A1 (en) 2013-11-15 2015-05-21 Mediatek Inc. Method of block-based adaptive loop filtering
US9807406B2 (en) 2014-03-17 2017-10-31 Qualcomm Incorporated Picture flushing and decoded picture buffer parameter inference for multi-layer bitstreams
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US20160227222A1 (en) 2015-02-02 2016-08-04 Mediatek Inc. Multi-Standard Video Decoder with Novel Intra Prediction Decoding
US20160241881A1 (en) 2015-02-13 2016-08-18 Mediatek Inc. Method and Apparatus of Loop Filters for Efficient Hardware Implementation
CN107646195B (zh) * 2015-06-08 2022-06-24 Vid拓展公司 用于屏幕内容译码的帧内块复制模式
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
US10531111B2 (en) 2015-11-06 2020-01-07 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
CN108605143A (zh) 2016-02-04 2018-09-28 联发科技股份有限公司 视频编码中的非局部自适应环内滤波器的方法和装置
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
US10264282B2 (en) 2016-06-27 2019-04-16 Mediatek Inc. Method and apparatus of inter coding for VR video using virtual reference frames
KR102521272B1 (ko) 2016-07-08 2023-04-12 브이아이디 스케일, 인크. 지오메트리 투영을 이용한 360도 비디오 코딩
US10841581B2 (en) 2016-07-14 2020-11-17 Arris Enterprises Llc Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding
US11095922B2 (en) 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
CN116634140A (zh) 2016-08-03 2023-08-22 株式会社Kt 用于对视频进行编码和解码的方法和装置
US20180048907A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Video coding tools for in-loop sample processing
US20180054613A1 (en) 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10419757B2 (en) 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10848758B2 (en) 2016-11-22 2020-11-24 Electronics And Telecommunications Research Institute Image encoding/decoding image method and device, and recording medium storing bit stream
CN108111851B (zh) 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10555006B2 (en) 2016-12-22 2020-02-04 Qualcomm Incorporated Deriving bilateral filter information based on a prediction mode in video coding
US20180184127A1 (en) 2016-12-22 2018-06-28 Qualcomm Incorporated Determining neighboring samples for bilateral filtering in video coding
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US11277635B2 (en) 2017-03-17 2022-03-15 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
KR102443959B1 (ko) 2017-03-22 2022-09-16 한양대학교 산학협력단 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
EP3539290A4 (en) 2017-03-30 2019-09-18 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PRODUCING 360-DEGREE IMAGE CONTENT ON RECTANGULAR PROJECTION BY SELECTIVELY APPLYING A LOOP FILTER
SG11201909450WA (en) 2017-04-11 2019-11-28 Vid Scale Inc 360-degree video coding using face continuities
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
US10728573B2 (en) * 2017-09-08 2020-07-28 Qualcomm Incorporated Motion compensated boundary pixel padding
EP3454556A1 (en) 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
EP3685585A1 (en) 2017-09-20 2020-07-29 Vid Scale, Inc. Handling face discontinuities in 360-degree video coding
US10965941B2 (en) 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
JP6956858B2 (ja) 2017-10-09 2021-11-02 キヤノン株式会社 画素ブロックをデブロッキングフィルタリングする方法および装置
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
JP7390300B2 (ja) 2017-11-01 2023-12-01 ヴィド スケール インコーポレイテッド ビデオコーディングにおける適応ループフィルタを簡略化する方法
CN111316649A (zh) 2017-11-01 2020-06-19 Vid拓展公司 重叠块运动补偿
US10728549B2 (en) 2017-11-06 2020-07-28 Dolby Laboratories Licensing Corporation Adaptive loop filtering for high-dynamic range video
CN107801024B (zh) 2017-11-09 2019-07-12 北京大学深圳研究生院 一种用于帧内预测的边界滤波方法
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
CN111615828B (zh) 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
WO2019126170A1 (en) 2017-12-19 2019-06-27 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
WO2019131400A1 (ja) 2017-12-26 2019-07-04 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
EP3732880A4 (en) 2017-12-29 2021-04-28 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING VIDEO BLOCKS TO ONE FRAME LIMIT FOR VIDEO ENCODING
CN109996069B (zh) 2018-01-03 2021-12-10 华为技术有限公司 视频图像编解码方法及设备
US10972729B2 (en) 2018-01-20 2021-04-06 Qualcomm Incorporated Deblocking filter selection and application in video coding
US20190238845A1 (en) * 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
CN110337811A (zh) 2018-02-14 2019-10-15 北京大学 运动补偿的方法、装置和计算机系统
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
US20190281273A1 (en) 2018-03-08 2019-09-12 Mediatek Inc. Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection
WO2019189279A1 (en) 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US10708592B2 (en) 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
WO2019208372A1 (ja) 2018-04-25 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10904576B2 (en) 2018-04-27 2021-01-26 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method for generating a prediction image using a plurality of pixels generated outside of a boundary of a reference picture on which smoothing has been performed
US20210314630A1 (en) 2018-05-31 2021-10-07 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data
MX2020013481A (es) 2018-06-18 2021-02-26 Interdigital Vc Holdings Inc Filtrado de limites para los modos planar y dc en la prediccion intra.
CN111819847B (zh) 2018-06-21 2022-08-09 瑞典爱立信有限公司 视频图片边界的编码、解码方法、编解码器及存储介质
US20210274223A1 (en) 2018-06-28 2021-09-02 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream
CN112385215A (zh) 2018-07-06 2021-02-19 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
US11094088B2 (en) 2018-08-31 2021-08-17 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries in video coding
KR20210057148A (ko) 2018-09-14 2021-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 슬라이싱 및 타일링
EP3868109A4 (en) 2018-10-23 2022-08-17 HFI Innovation Inc. METHOD AND APPARATUS FOR LOOP FILTER BUFFER REDUCTION
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
CN109600611B (zh) * 2018-11-09 2021-07-13 北京达佳互联信息技术有限公司 环路滤波方法、环路滤波装置、电子设备和可读介质
CN109660797A (zh) 2018-11-09 2019-04-19 北京达佳互联信息技术有限公司 自适应滤波方法、装置、电子设备及计算机可读介质
US11044473B2 (en) 2018-12-21 2021-06-22 Qualcomm Incorporated Adaptive loop filtering classification in video coding
WO2020135346A1 (en) 2018-12-23 2020-07-02 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods using an adaptive loop filter
WO2020146662A1 (en) 2019-01-09 2020-07-16 Futurewei Technologies, Inc. Sub-picture identifier signaling in video coding
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
BR112021016953A2 (pt) 2019-02-27 2021-11-23 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes
CN113545036B (zh) 2019-03-02 2023-11-28 北京字节跳动网络技术有限公司 对环路内滤波的限制
US11910024B2 (en) 2019-03-11 2024-02-20 Qualcomm Incorporated Boundary handling for adaptive loop filtering
KR20210135308A (ko) 2019-03-11 2021-11-12 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더, 및 대응하는 방법들
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
AU2020248837B2 (en) 2019-03-24 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Nonlinear adaptive loop filtering in video processing
US11546587B2 (en) * 2019-04-11 2023-01-03 Mediatek Inc. Adaptive loop filter with adaptive parameter set
CN113678462B (zh) 2019-04-15 2023-01-10 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
WO2020211809A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. On adaptive loop filtering for video coding
CN114424539A (zh) 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
CN113994671A (zh) 2019-06-14 2022-01-28 北京字节跳动网络技术有限公司 基于颜色格式处理视频单元边界和虚拟边界
KR20220030953A (ko) 2019-07-09 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 적응적 루프 필터링을 위한 샘플 결정
AU2020309443A1 (en) 2019-07-11 2022-02-10 Samsung Electronics Co., Ltd. Video decoding method and apparatus, and video encoding method and apparatus
AU2020309130B2 (en) 2019-07-11 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN114731419A (zh) 2019-09-05 2022-07-08 寰发股份有限公司 视频编解码中于画面和次画面边界的适应性环内滤波方法和装置
US11303890B2 (en) 2019-09-05 2022-04-12 Qualcomm Incorporated Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109946A1 (en) * 2012-01-19 2013-07-25 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
CN104205829A (zh) * 2012-03-28 2014-12-10 高通股份有限公司 合并信令及环路滤波器开/关信令
WO2015165030A1 (en) * 2014-04-29 2015-11-05 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
CN105409221A (zh) * 2014-04-29 2016-03-16 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
CN107211154A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 译码树单元级自适应环路滤波器
CN108432247A (zh) * 2016-01-05 2018-08-21 韩国电子通信研究院 用于预测残差信号的方法和装置
CN109076218A (zh) * 2016-05-16 2018-12-21 高通股份有限公司 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN109792525A (zh) * 2016-10-04 2019-05-21 高通股份有限公司 峰值样本自适应偏移
CN109996070A (zh) * 2017-01-03 2019-07-09 联发科技股份有限公司 视频处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AHG12: On turning off ALF filtering at brick and slice boundaries;Ye-Kui Wang;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothernburg, SE, 3–12 July 2019;全文 *
AHG16/HLS: A clean-up for the ALF sample padding;Minhua Zhou;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1–11 October 2019;全文 *

Also Published As

Publication number Publication date
CN114430902B (zh) 2023-11-10
JP2022548935A (ja) 2022-11-22
KR20220061980A (ko) 2022-05-13
US20230199190A1 (en) 2023-06-22
CN114503594A (zh) 2022-05-13
US11671594B2 (en) 2023-06-06
WO2021052509A1 (en) 2021-03-25
US20230080321A1 (en) 2023-03-16
JP2023139106A (ja) 2023-10-03
US11652998B2 (en) 2023-05-16
US20230081202A1 (en) 2023-03-16
EP4018652A4 (en) 2022-11-02
CN114430902A (zh) 2022-05-03
CN117278747A (zh) 2023-12-22
EP4018652A1 (en) 2022-06-29
WO2021052508A1 (en) 2021-03-25
JP7318120B2 (ja) 2023-07-31

Similar Documents

Publication Publication Date Title
CN114128278B (zh) 自适应环路滤波中的样点填充
CN114097225B (zh) 用于自适应环路滤波的样点确定
CN114503594B (zh) 自适应环路滤波中样点填充的选择性应用
CN114424539A (zh) 处理视频单元边界和虚拟边界
CN113994671A (zh) 基于颜色格式处理视频单元边界和虚拟边界
US11683488B2 (en) Adaptive loop filtering between different video units
JP7454042B2 (ja) 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
CN114175637B (zh) 自适应环路滤波中的分类
CN115104302A (zh) 跨分量适应性回路滤波的样点填充
CN116325728A (zh) 自适应环路滤波的边界位置
CN114128296A (zh) 自适应环路滤波中跨视频单元边界访问样点

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant