CN114586370B - 在视频编解码中使用色度量化参数的方法、装置及介质 - Google Patents

在视频编解码中使用色度量化参数的方法、装置及介质 Download PDF

Info

Publication number
CN114586370B
CN114586370B CN202080072432.7A CN202080072432A CN114586370B CN 114586370 B CN114586370 B CN 114586370B CN 202080072432 A CN202080072432 A CN 202080072432A CN 114586370 B CN114586370 B CN 114586370B
Authority
CN
China
Prior art keywords
chroma
video
block
codec
quantization parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080072432.7A
Other languages
English (en)
Other versions
CN114586370A (zh
Inventor
朱维佳
张莉
许继征
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Publication of CN114586370A publication Critical patent/CN114586370A/zh
Application granted granted Critical
Publication of CN114586370B publication Critical patent/CN114586370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

视频处理的示例方法包括:执行包括一个或多个编解码单元的视频与所述视频的比特流表示之间的转换。比特流表示符合格式规则,该格式规则指定根据所述格式规则将色度量化参数包括在所述比特流表示的编解码单元级或变换单元级。

Description

在视频编解码中使用色度量化参数的方法、装置及介质
相关申请的交叉参考
本申请是2020年10月13日提交的国际专利申请No.PCT/US2020/055332的中国国家阶段申请,本申请主张2019年10月14日提交的No.PCT/CN2019/111115国际专利申请的优先权和利益。将上述申请的全部公开通过参考的方式并入,作为本申请的公开的一部分。
技术领域
本专利文件涉及视频编解码技术、设备和系统。
背景技术
目前,正在努力提高当前视频编解码器技术的性能,以提供更好的压缩比,或者提供允许较低复杂度或并行实现的视频编码和解码方案。业内专家最近提出了几种新的视频编解码工具,目前正在进行测试以确定其有效性。
发明内容
描述了与数字视频编解码,特别是与运动矢量的管理有关的设备、系统和方法。所述方法可应用于现有视频编解码标准(例如,高效视频编解码(HEVC)或多功能视频编解码)和未来的视频编解码标准或视频编解码器。
在一个代表性方面,所公开的技术可用于提供用于视频处理的方法。该方法包括,对于视频的色度块和视频的比特流表示之间的转换,基于色度块的色度残差的联合编解码模式,确定去方块滤波处理对色度块边缘的至少一些样点的适用性。该方法还包括基于确定执行转换。
在另一代表性方面,所公开的技术可用于提供用于视频处理的方法。该方法包括,对于视频的当前块和视频的比特流表示之间的转换,基于当前块的对应变换块的信息,确定在应用于当前块边缘的至少一些样点的去方块滤波处理中使用的色度量化参数。该方法还包括基于确定执行转换。
在另一代表性方面,所公开的技术可用于提供用于视频处理的方法。该方法包括,在视频的当前块和视频的比特流表示之间执行转换。在转换期间,应用于沿着当前块的边缘的至少一些样点的去方块滤波处理中使用的第一色度量化参数基于在缩放处理中使用的第二色度量化参数和与比特深度相关联的量化参数偏移。
在另一代表性方面,所公开的技术可用于提供用于视频处理的方法。该方法包括,在包含一个或多个编解码单元的视频和该视频的比特流表示之间执行转换。比特流表示符合格式规则,该格式规则指定根据格式规则在编解码单元级或变换单元级将色度量化参数包括在比特流表示中。
在另一代表性方面,所公开的技术可用于提供用于视频处理的方法。该方法包括,在视频块和视频的比特流表示之间执行转换。比特流表示符合格式规则,该格式规则指定在比特流表示中的编解码单元级指示色度残差的联合编解码模式是否适用于块。
在另一代表性方面,所公开的技术可用于提供用于视频处理的方法。该方法包括,在视频单元和视频单元的编解码表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得当使用色度量化参数(QP)表来导出去方块滤波器的参数时,对单个色度QP值执行色度QP表的处理。
在另一个代表性方面,所公开的技术可用于提供用于视频处理的另一种方法。该方法包括,在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中色度QP偏移处于图片/条带/片/砖块/子图片级别。
在另一个代表性方面,所公开的技术可用于提供用于视频处理的另一种方法。该方法包括,在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,与相同亮度编解码单元相关的信息被用于去方块滤波器和用于导出色度QP偏移。
在另一个代表性方面,所公开的技术可用于提供用于视频处理的另一种方法。该方法包括,在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,在比特流表示中信令通知允许使用色度QP偏移的指示。
在另一个代表性方面,所公开的技术可用于提供用于视频处理的另一种方法。该方法包括,在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,不论在视频单元的边界上应用JCCR编解码方法还是在视频单元的边界上应用不同于JCCR编解码方法的方法,在去方块滤波器中使用的色度QP偏移都是相同的。
在另一个代表性方面,所公开的技术可用于提供用于视频处理的另一种方法。该方法包括,在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,在不将与P侧边界处的视频单元相关联的参考图片和/或数个运动矢量(MV)和与Q侧边界处的视频单元的参考图片相比较的情况下,计算去方块滤波器的边界强度(BS)。
此外,在一个代表性方面,公开了一种视频系统中的装置,该装置包括处理器和带有指令的非暂时性存储器。该指令在由处理器执行时使处理器实现所公开的方法中的任何一个或多个。
另外,在一个代表性方面,一种视频解码装置包括处理器,其被配置成实现所公开的方法中的任何一个或多个。
在另一个代表性方面中,一种视频编码装置包括处理器,其被配置成实现所公开的方法中的任何一个或多个。
此外,还公开了存储在非暂时性计算机可读介质上的计算机程序产品,该计算机程序产品包括用于执行所公开的方法中的任何一个或多个的程序代码。
在附图、说明书和权利要求中更详细地描述了所公开技术的上述和其他方面和特征。
附图说明
图1示出了块去方块滤波处理的总体处理流程的示例。
图2示出Bs计算的流程图的示例。
图3示出了在CTU边界处用于Bs计算的参考信息的示例。
图4示出了涉及滤波器开/关决策和强/弱滤波器选择的像素的示例。
图5示出了VVC中去方块滤波处理的整体处理流程的示例。
图6示出VVC中的亮度去方块滤波处理的示例。
图7示出了VVC中的色度去方块滤波处理的示例。
图8示出了用于子PU边界的滤波器长度确定的示例。
图9A示出色度块的中心位置的示例。
图9B示出色度块的中心位置的另一示例。
图10示出了P侧和Q侧的块的示例。
图11示出亮度块的解码信息的使用示例。
图12是用于实现本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。
图13示出用于视频编解码的示例方法的流程图。
图14A示出了CC-ALF相对于其他环路滤波器(b)菱形滤波器的放置示例。
图14B示出了CC-ALF相对于菱形滤波器的放置示例。
图15是示出示例性视频编解码系统的框图。
图16是示出根据本公开的一些实施例的编码器的框图。
图17是示出根据本公开的一些实施例的解码器的框图。
图18是其中可以实现所公开的技术的示例性视频处理系统的框图。
图19是根据本技术的用于视频处理的方法的流程图表示。
图20是根据本技术的用于视频处理的另一方法的流程图表示。
图21是根据本技术的用于视频处理的另一方法的流程图表示。
图22是根据本技术的用于视频处理的另一方法的流程图表示。
图23是根据本技术的另一种视频处理方法的流程图表示。
具体实施方式
1.HEVC/H.265中的视频编解码
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准的发展演化来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视觉,两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262以来,视频编解码标准基于混合视频编解码结构,其中使用时域预测加变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后,JVET采用了许多新的方法,并将其应用到参考软件JEM中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立,致力于VVC标准,目标是与HEVC相比比特率降低50%。
2.1.HEVC中的去方块方案
以与解码处理相同的顺序对每个CU执行去方块滤波处理。首先,滤波垂直边缘(水平滤波),然后滤波水平边缘(垂直滤波)。对于亮度分量和色度分量,对确定要滤波的8x8块边界应用滤波。不处理4x4块边界以降低复杂度。
图1示出了去方块滤波处理的总体处理流程。边界可以有三种滤波状态:无滤波、弱滤波和强滤波。每个滤波决策基于边界强度Bs和阈值β和tC
滤波处理中可能涉及三种边界:CU边界、TU边界和PU边界。由于CU边界同时也是TU边界或PU边界,因此,作为CU的外边缘的CU边界一直参与到滤波处理中。当PU形状为2NxN(N>4)且RQT深度等于1时,8x8块网格上的TU边界和CU内每个PU之间的PU边界参与滤波。一个例外是,当PU边界在TU内时,边界不被滤波。
2.1.1边界强度计算
一般来说,边界强度(Bs)反映了边界需要多强的滤波。如果Bs较大,则应考虑强滤波。
将P和Q定义为涉及滤波的块,其中P表示位于边界左侧(垂直边缘情况)或上方(水平边缘情况)的块,Q表示位于边界右侧(垂直边缘情况)或上方(水平边缘情况)的块。图2示出了如何基于帧内编解码模式、非零变换系数和运动信息的存在、参考图片、数个运动矢量和运动矢量差来计算Bs值。
Bs是基于4x4块计算的,但它会重新映射到8x8网格。对于8x8网格中的边界,选择对应于由4x4网格中的线组成的8个像素的两个Bs值的最大值。
为了减少行缓冲存储器需求,如图3所示,仅对于CTU边界,重复使用左侧或上方的每一个块(4x4网格)中的信息。
2.1.2β和tC决策
基于P块和Q块的亮度量化参数(QPP和QPQ)分别推导涉及滤波器开/关决策、强、弱滤波器选择和弱滤波处理的阈值β和tC。用于推导β和tC的Q计算如下。
Q=((QPP+QPQ+1)>>1)
如表1所示,基于Q导出变量β。如果Bs大于1,则变量tC如表1指定,输入为Clip3(0,55,Q+2)。否则(BS等于或小于1),变量tC如表1指定,Q作为输入。
表1从输入Q导出阈值变量β和tC
Q 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
β 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 6 7 8
tC 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1
Q 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37
β 9 10 11 12 13 14 15 16 17 18 20 22 24 26 28 30 32 34 36
tC 1 1 1 1 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4
Q 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
β 38 40 42 44 46 48 50 52 54 56 58 60 62 64 64 64 64 64
tC 5 5 6 6 7 8 9 9 10 10 11 11 12 12 13 13 14 14
2.1.3.针对4行的滤波器开/关决策
将四行为单位进行滤波开/关决策。图4示出了涉及滤波器开/关决策的像素。前4行的两个红色框中的6个像素用于确定4行的滤波器开/关。后4行的两个红框中的6个像素用于确定后4行的滤波器开/关。
如果dp0+dq0+dp3+dq3<β,则打开前四行的滤波,并应用强/弱滤波器选择处理。每个变量的推导如下。
dp0=|p2,0–2*p1,0+p0,0|,dp3=|p2,3–2*p1,3+p0,3|,dp4=|p2,4–2*p1,4+p0,4|,dp7=|p2,7–2*p1,7+p0,7|
dq0=|q2,0–2*q1,0+q0,0|,dq3=|q2,3–2*q1,3+q0,3|,dq4=|q2,4–2*q1,4+q0,4|,dq7=|q2,7–2*q1,7+q0,7|
如果不满足条件,则不对前4行进行滤波。另外,在满足条件的情况下,推导出弱滤波处理的dE、dEp1和dEp2。变量dE设置为1。如果dp0+dp3<(β+(β>>1))>>3,则变量dEp1设置为1。如果dq0+dq3<(β+(β>>1))>>3,则变量dEq1设置为1。
对于后四行,决策的方式与上述相同。
2.1.4.针对4行的强/弱滤波器选择
在滤波器开/关决策中,在前4行被确定为滤波开后,如果满足以下两个条件,则对前四行进行强滤波。否则,采用弱滤波器进行滤波。所涉及的像素与用于滤波器开/关决策的像素相同,如图4所示。
1)2*(dp0+dq0)<(β>>2),|p30–p00|+|q00–q30|<(β>>3)and|p00–q00|<(5*tC+1)>>1
2)2*(dp3+dq3)<(β>>2),|p33–p03|+|q03–q33|<(β>>3)and|p03–q03|<(5*tC+1)>>1
同样,如果满足以下两个条件,则使用强滤波器对后4行进行滤波。否则,采用弱滤波器进行滤波。
1)2*(dp4+dq4)<(β>>2),|p34–p04|+|q04–q34|<(β>>3)and|p04–q04|<(5*tC+1)>>1
2)2*(dp7+dq7)<(β>>2),|p37–p07|+|q07–q37|<(β>>3)and|p07–q07|<(5*tC+1)>>1
2.1.4.1强滤波
对于强滤波,滤波后的像素值通过以下公式获得。值得注意的是,使用四个像素作为每个P和Q块的输入来分别修改三个像素。
p0’=(p2+2*p1+2*p0+2*q0+q1+4)>>3
q0’=(p1+2*p0+2*q0+2*q1+q2+4)>>3
p1’=(p2+p1+p0+q0+2)>>2
q1’=(p0+q0+q1+q2+2)>>2
p2’=(2*p3+3*p2+p1+p0+q0+4)>>3
q2’=(p0+q0+q1+3*q2+2*q3+4)>>3
2.1.4.2弱滤波
让我们定义Δ如下。
Δ=(9*(q0–p0)–3*(q1–p1)+8)>>4
当abs(Δ)小于tC*10时,
Δ=Clip3(-tC,tC,Δ)
p0’=Clip1Y(p0+Δ)
q0’=Clip1Y(q0-Δ)
如果dEp1等于1,则
Δp=Clip3(-(tC>>1),tC>>1,(((p2+p0+1)>>1)–p1+Δ)>>1)
p1’=Clip1Y(p1+Δp)
如果dEq1等于1,则
Δq=Clip3(-(tC>>1),tC>>1,(((q2+q0+1)>>1)–q1–Δ)>>1)
q1’=Clip1Y(q1+Δq)
值得注意的是,对于每个P和Q块,分别使用三个像素作为输入来修改最大两个像素。
2.1.4.3色度滤波
色度滤波的Bs继承自亮度。如果Bs>1或如果存在编解码色度系数的情况,则执行色度滤波。没有其他滤波决策。只有一个滤波器用于色度。不使用色度的滤波器选择处理。滤波后的样点值p0’和q0’推导如下。
Δ=Clip3(-tC,tC,((((q0–p0)<<2)+p1–q1+4)>>3))
p0’=Clip1C(p0+Δ)
q0’=Clip1C(q0-Δ)
2.2VVC中的去方块方案
在VTM6中,去方块滤波处理与HEVC中的基本相同。但是,添加了以下修改。
A)去方块滤波器的滤波器强度与重构样点的平均亮度水平有关。
B)去方块tC表扩展并适配到和10比特视频。
C)亮度的4x4网格去方块。
D)更强的亮度去方块滤波器。
E)更强的色度去方块滤波器。
F)子块边界去方块滤波器。
G)去方块决策适适应于更小的运动差异。
图5示出了用于编解码单元的VVC中的去方块滤波器处理的流程图。
2.2.1取决于重构的平均亮度的滤波器强度
在HEVC中,去方块滤波器的滤波强度由平均量化参数qPL导出的变量β和tC控制。在VTM6中,如果该方法的SPS标志为真,则去方块滤波器通过根据重构样点的亮度水平向qPL添加偏移来控制去方块滤波器的强度。重构的亮度水平LL推导如下:
LL=((p0,0+p0,3+q0,0+q0,3)>>2)/(1<<bitDepth) (3-1)
其中,可以导出i=0..3和k=0和3的样点值pi,k和qi,k。然后根据SPS中发送的阈值来利用LL确定偏移qpOffset。然后,使用如下推导的qPL来推导β和tC
qPL=((QpQ+QpP+1)>>1)+qpOffset (3-2)
其中QpQ和QpP分别表示包含样点q0,0和p0,0的编解码单元的量化参数。在目前的VVC中,这种方法只适用于亮度去方块处理。
2.2.2亮度的4x4去方块网格
HEVC对亮度和色度都使用8x8去方块网格。在VTM6中,针对亮度边界引入了4x4网格上的去方块以处理矩形变换形状的方块效应。4x4网格上的并行友好亮度去方块是通过将要去方块的样点数量限制为垂直亮度边界每侧上的1个样点(其中一侧的宽度为4个或更少)或者在水平亮度边界的每一侧(其中一侧的高度为4个或更小)限制为1个样点获得的。
2.2.3亮度的边界强度推导
详细的边界强度推导见表2。按顺序检查表2中的条件。
表2边界强度推导
2.2.4更强的亮度去方块滤波器
当边界任一侧的样点属于大块时,该方案使用双线性滤波器。属于大块的样点定义为:对于垂直边,宽度>=32;对于水平边,高度>=32。
双线性滤波器如下所示。
然后用线性插值代替i=0到Sp-1的块边界样点pi和j=0到Sq-1的qi(pi和qi遵循上述HEVC去方块中的定义),如下所示:
—pi′=(fi*Middles,t+(64-fi)*Ps+32)>>6),裁剪到pi±tcPDi
—qj′=(gj*Middles,t+(64-gj)*Qs+32)>>6),裁剪到qj±tcPDj
其中tcPDi和tcPDj项是第2.2.5节所述的位置相关裁剪并且andgj,fi,Middles,t,Ps和Qs如下所示:
2.2.5亮度去方块控制
在本小节中描述去方块决策过程。
只有当条件1、条件2和条件3都为真时,才使用更宽更强的亮度滤波器。
条件1是“大块条件”。该条件检测P侧和Q侧的样点是否属于大块,它们分别由变量bSidePisLargeBlk和bSideQisLargeBlk表示。bSidePisLargeBlk和bSideQisLargeBlk的定义如下。
bSidePisLargeBlk=((边缘类型是垂直并且p0属于宽度>=32的CU)||(边缘类型是水平并且p0属于高度>=32的CU))?TRUE:FALSE
bSideQisLargeBlk=((边缘类型是垂直并且q0属于宽度>=32的CU)||(边缘类型是水平并且q0属于高度>=32的CU))?TRUE:FALSE
基于bSidePisLargeBlk和bSideQisLargeBlk,条件1定义如下。
条件1=(bSidePisLargeBlk||bSidePisLargeBlk)?TRUE:FALSE
接下来,如果条件1为真(TRUE),则将进一步检查条件2。首先,导出以下变量:
首先如在HEVC中一样导出dp0,dp3,dq0,dq3。
如果(p侧大于或等于32)
dp0=(dp0+Abs(p5,0-2*p4,0+p3,0)+1)>>1
dp3=(dp3+Abs(p5,3-2*p4,3+p3,3)+1)>>1
如果(q侧大于或等于32)
dq0=(dq0+Abs(q5,0-2*q4,0+q3,0)+1)>>1
dq3=(dq3+Abs(q5,3-2*q4,3+q3,3)+1)>>1
然后如在HEVC中一样导出dpq0,dpq3,dp,dq,d。
然后条件2定义如下。
条件2=((d<β)?TRUE:FALSE
其中d=dp0+dq0+dp3+dq3,如2.1.4节所示。
如果条件1和条件2有效,则检查是否有任何块使用子块:
最后,如果条件1和条件2都有效,建议的解块方法将检查条件3(大块强滤波器条件),其定义如下。
在条件3StrongFilterCondition中,推导以下变量:
如在HEVC中一样导出dpq。
如在HEVC中一样导出sp3=Abs(p3-p0)。
如在HEVC中一样导出sq3=Abs(q0-q3)。
如在HEVC中一样导出StrongFilterCondition=(dpq小于(β>>2),sp3+sq3小于(3*β>>5),并且Abs(p0-q0)小于(5*tC+1)>>1)?TRUE:FALSE
图6示出了亮度去方块滤波处理的流程图。
2.2.6色度的强去方块滤波器
定义了以下色度的强去方块滤波器:
p2′=(3*p3+2*p2+p1+p0+q0+4)>>3
p1′=(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0′=(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
提出的色度滤波器在4x4色度样点网格上执行去方块。
2.2.7色度去方块控制
上述色度滤波器在8x8色度样点网格上执行去方块。在块边界的两侧使用色度强滤波器。这里,当色度边缘的两侧大于或等于8(以色度样点为单位)时选择色度滤波器,并且满足以下三个条件的决策。第一是边界强度和大块决策。第二和第三与HEVC亮度决策基本相同,分别是开/关决策和强滤波决策。
图7示出了色度去方块滤波处理的流程图。
2.2.8位置相关剪裁
该方案还介绍了一种位置相关的剪裁tcPD方法,它适用于亮度滤波处理的输出样点,该滤波处理涉及在边界处修改7、5和3个样点的强、长滤波器。在假设量化误差分布的情况下,对于预计具有更高量化噪声的样点,建议增加剪裁值,从而期望重构样点值与真实样点值的偏差更大。
对于用所提出的非对称滤波器滤波的每个P或Q边界,根据第2.2节中描述的决策处理的结果,从作为边信息提供给解码器的Tc7和Tc3表中选择位置相关阈值表:
Tc7={6,5,4,3,2,1,1};
Tc3={6,4,2};
tcPD=(SP==3)?Tc3:Tc7;
tcQD=(SQ==3)?Tc3:Tc7;
对于用短对称滤波器滤波的P或Q边界,应用较小幅度的位置相关阈值:
Tc3={3,2,1};
定义阈值后,根据tcP和tcQ剪裁值剪裁滤波后的p'i和q'i样点值:
p”i=clip3(p’i+tcPi,p’i–tcPi,p’i);
q”j=clip3(q’j+tcQj,q’j–tcQj,q’j);
其中p'i和q'i是滤波后的样点值,p”i和q”j是剪裁后的输出样点值,并且tcPitcPi是从VVC tc参数和tcPD和tcQD导出的剪裁阈值。clip3项是如在VVC中指定的裁剪函数。
2.2.9子块去方块调整
为了使用长滤波器和子块去方块来启用并行友好去块,长滤波器被限制为在使用子块去方块(仿射或ATMVP)的一侧修改最多5个样点,如长滤波器的亮度控制中所示。此外,调整子块去方块以使8x8网格上靠近CU或隐式TU边界的子块边界限制为每侧最多修改两个样点。
以下适用于未与CU边界对齐的子块边界。
其中,等于0的边缘(edge)对应于CU边界,等于2或等于orthogonalLength-2的边缘对应于来自CU边界等的8个样点的子块边界。其中,如果使用TU的隐式划分,则隐式(implicit)TU为真。图8示出了TU边界和子PU边界的确定处理的流程图。
当水平边界与CTU边界对齐时,水平边界的滤波限制为亮度的Sp=3、色度的Sp=1并且Sq=1。
2.2.10适应较小运动差异的去方块决策
当边界的各侧上的块之间的至少一个运动矢量分量的差等于或大于1个样点的阈值时,HEVC启用预测单元边界的去方块。在VTM6中,引入了半亮度样点的阈值,以便也能够消除来自在运动矢量上有微小差异的帧间预测单元之间的边界产生的方块效应。
2.3组合帧间和帧内预测(CIIP)
在VTM6中,当CU在Merge模式下编解码时,如果CU包含至少64个亮度样点(即CU宽度乘以CU高度等于或大于64),并且如果CU宽度和CU高度都小于128个亮度样点,则会信令通知附加标志,以指示是否将组合帧间/帧内预测(CIIP)模式应用于当前CU。如其名称所示,CIIP预测将帧间预测信号与帧内预测信号组合。CIIP模式中的帧间预测信号Pinter是使用应用于常规Merge模式的相同帧间预测处理导出的;并且,帧内预测信号Pintra是在平面模式的常规帧内预测处理之后导出的。然后,使用加权平均来组合帧内和帧间预测信号,其中根据顶部和左侧相邻块的解编码模式计算权重值,如下所示:
–如果上方邻居可用并且是帧内编解码的,则将isIntraTop设为1,否则将isIntraTop设置为0;
–如果左侧邻居可用并且是帧内编解码的,则将isIntraLeft设为1,否则将isIntraLeft设置为0;
–如果(isIntraLeft+isIntraLeft)等于2,则将wt设为3;
–否则,如果(isIntraLeft+isIntraLeft)等于1,则将wt设为2;
–否则,将wt设为1。
CIIP预测形成如下:
PCIIP=((4-wt)*Pinter+wt*Pintra+2)>>2
2.4VTM-6.0中色度QP表的设计
在一些实施例中,使用色度QP表。在一些实施例中,对色度QP表使用信令机制,这使得它能够灵活地为编码器提供优化SDR和HDR内容的表的机会。它支持为Cb和Cr分量分别信令通知表。该机制将色度QP表作为分段线性函数信令通知。
2.5变换跳过(TS)
如在HEVC中,块的残差可以用变换跳过模式进行编解码。为了避免语法编解码的冗余,当CU级MTS_CU_flag不等于零时,不信令通知变换跳过标志。变换跳过的块大小限制与JEM4中MTS的块大小限制相同,这表明当块的宽度和高度都小于或等于32时,变换跳过适用于CU。请注意,当为当前CU激活LFNST或MIP时,隐式MTS变换设置为DCT2。此外,当对帧间编解码块启用MTS时,仍然可以启用隐式MTS。
另外,对于变换跳过块,最小允许量化参数(QP)定义为6*(internalBitDepth–inputBitDepth)+4。
2.6色度残差联合编解码(JCCR)
在一些实施例中,色度残差被联合编解码。联合色度编解码模式的使用(激活)由TU级标志tu_joint_cbcr_residual_flag指示,并且所选择的模式由色度CBF隐含地指示。如果TU的一个或两个色度CBF都等于1,则存在标志tu_joint_cbcr_residual_flag。在PPS和条带标头中,为联合色度残差编解码模式信令通知色度QP偏移值,以区别于为常规色度残差编解码模式信令通知的常规色度QP偏移值。这些色度QP偏移值用于导出使用联合色度残差编解码模式编解码的那些块的色度QP值。当对应的联合色度编解码模式(表3中的模式2)在TU中激活时,在该TU的量化和解码期间,将该色度QP偏移添加到应用的亮度导出的色度QP中。对于其他模式(表3中的模式1和3,表3色度残差的重构。值CSign是有符号值(+1或-1),其规定在条带标头中,resJointC[][]是传输的残差),以与传统Cb或Cr块相同的方式导出色度QP。从传输的变换块重构色度残差(resCb和resCr)的处理在表3中示出。当该模式被激活时,一个单联合色度残差块(表3中的resJointC[x][y])被信令通知,并且考虑诸如tu_cbf_cb、tu_cbf_cr和CSign(条带标头中指定的符号值)等信息导出Cb的残差块(resCb)和Cr的残差块(resCr)。
在编码器侧,如下所述导出联合色度分量。根据模式(在上表中列出),resJointC{1,2}由编码器生成,如下所示:
·如果模式等于2(单个残差,重构Cb=C,Cr=CSign*C),则根据以下确定联合残差
resJointC[x][y]=(resCb[x][y]+CSign*resCr[x][y])/2.
·否则,如果模式等于1(单个残差,重构Cb=C,Cr=(CSign*C)/2),则根据以下确定联合残差
resJointC[x][y]=(4*resCb[x][y]+2*CSign*resCr[x][y])/5.
·否则(模式等于3,即单个残差,重构Cr=C,Cb=(CSign*C)/2则根据以下确定联合残差
resJointC[x][y]=(4*resCr[x][y]+2*CSign*resCb[x][y])/5.
表3色度残差的重构。值CSign是有符号值(+1或-1),其规定在条带标头中,resJointC[][]是传输的残差
以上三种模式使用不同的QP。对于模式2,应用在PPS中针对JCCR编解码块信令通知的QP偏移,而对于其他两种模式,则不应用,而是应用PPS中针对非JCCR编解码块信令通知的QP偏移。
对应规范如下:
8.7.1量化参数的推导处理
变量QpY推导如下:
QpY=((qPY_PRED+CuQpDeltaVal+64+2*QpBdOffsetY)%(64+QpBdOffsetY))-QpBdOffsetY (8-933)
亮度量化参数Qp′Y推导如下:
Qp′Y=QpY+QpBdOffsetY (8-934)
当ChromaArrayType不等于0并且treeType等于SINGLE_TREE或DUAL_TREE_CHROMA时,以下适用:
–当treeType等于DUAL_TREE_CHROMA时,变量QpY被设置为等于
覆盖亮度位置(xCb+cbWidth/2,yCb+cbHeight/2)的亮度编解码单元的亮度量化参数QpY
–变量qPCb,qPCr和qPCbCr推导如下:
qPiChroma=Clip3(-QpBdOffsetC,63,QpY) (8-935)
qPiCb=ChromaQpTable[0][qPiChroma] (8-936)
qPiCr=ChromaQpTable[1][qPiChroma] (8-937)
qPiCbCr=ChromaQpTable[2][qPiChroma] (8-938)
–Cb和Cr分量的色度量化参数Qp′Cb和Qp′Cr以及联合Cb-Cr编解码Qp′CbCr推导如下:
Qp′Cb=Clip3(-QpBdOffsetC,63,qPCb+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb)+QpBdOffsetC (8-939)
Qp′Cr=Clip3(-QpBdOffsetC,63,qPCr+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffsetCr)+QpBdOffsetC (8-940)
Qp′CbCr=Clip3(-QpBdOffsetC,63,qPCbCr+pps_cbcr_qp_offset+slice_cbcr_qp_offset+CuQpOffsetCbCr)+QpBdOffsetC(8-941)
8.7.3变换系数的缩放处理
该处理的输入为:
–亮度位置(xTbY,yTbY),其指定指定当前亮度变换块相对于当前图片左上亮度样点的左上样点,
–变量nTbW,其指定变换块宽度,
–变量nTbH,其指定变换块高度,
–变量cIdx,其指定当前块的颜色分量,
–变量bitDepth,其指定当前颜色分量的比特深度。
该处理的输出是具有元素d[x][y]的缩放变换系数的(nTbW)x(nTbH)的阵列d。
量化参数qP推导如下:
–如果cIdx等于0并且transform_skip_flag[xTbY][yTbY]等于0,则以下适用:
qP=Qp′Y (8-950)
–否则,如果cIdx等于0(并且transform_skip_flag[xTbY][yTbY]等于1),则以下适用:
qP=Max(QpPrimeTsMin,Qp′Y) (8-951)
–否则,如果TuCResMode[xTbY][yTbY]等于2,则以下适用:
qP=Qp′CbCr (8-952)
–否则,如果cIdx等于1,以下适用:
qP=Qp′Cb (8-953)
–否则(cIdx等于2),以下适用:
qP=Qp′Cr (8-954)
2.7跨分量自适应环路滤波器(CC-ALF)
图14A示出了CC-ALF相对于其他环路滤波器的布置。CC-ALF通过对每个色度分量的亮度通道应用线性菱形滤波器(图14B)来操作,其表示为
其中
(x,y)是被细化的色度分量i位置
(xC,yC)是基于(x,y)的亮度位置
Si是色度分量i的亮度滤波器支持
ci(x0,y0)比奥斯滤波器系数
CC-ALF处理的主要特点包括:
-支持区域以其为中心的亮度位置(xC,yC),其基于亮度和色度平面之间的空域比例因子计算。
-所有滤波器系数都在APS中传输,并且具有8比特动态范围。
-可在条带标头中参考APS。
-用于条带的每个色度分量的CC-ALF系数也存储在对应于时域子层的缓冲器中。这些时域子层滤波器系数集的重用使用条带级标志来实现。
-CC-ALF滤波器的应用由可变块大小控制,并由由为每个样点的块接收的上下文编解码标志来信令通知。在每个色度分量的条带级别接收块大小和CC-ALF启用标志。
-水平虚拟边界的边界填充使用重复。对于其余边界,使用与常规ALF相同的填充类型。
3.现有实现的缺点
DMVR和BIO在细化运动矢量的过程中不涉及原始信号,这可能导致编解码块的运动信息不准确。另外,DMVR和BIO有时在运动细化后使用分数运动矢量,而屏幕视频通常是整数运动矢量,这使得当前的运动信息更加不准确,编解码性能更差。
1.色度QP表与色度去方块之间的交互可能存在问题,例如色度QP表应当应用于单个QP,而不是QP的加权和。
2.亮度去方块滤波处理的逻辑在硬件设计上比较复杂。
3.边界强度推导的逻辑过于复杂,无论是对于软件设计还是硬件设计。
4.在BS决策过程中,JCCR与未应用JCCT编解码的块分开处理。然而,JCCR只是对残差进行编解码的一种特殊方式。因此,这样的设计可能会带来额外的复杂度而没有明显的好处。
5.在色度边缘决策中,QpQ和QpP被设置为分别包括包含样点q0,0和p0,0的编解码块的编解码单元的QpY值。然而,在量化/去量化处理中,色度样点的QP由覆盖当前色度CU中心位置的对应亮度样点的亮度块的QP导出。当启用双树时,亮度块的不同位置可能导致不同的QP。因此,在色度去方块处理中,错误的QP可能用于滤波器决策。这种错位可能会导致视觉伪影。示例如图9A-B所示。图9A示出了亮度块的对应CTB分割,图9B示出了双树下的色度CTB分割。在确定色度块(表示为CUc1)的QP时,首先导出CUc1的中心位置。然后识别CUc1中心位置的对应的亮度样点,然后使用与覆盖对应的亮度样点的亮度CU(即,CUY3)相关联的亮度QP来推导CUc1的QP。然而,当对所描述的三个样点(带实心圆圈)进行滤波决策时,选择覆盖对应3个样点的CU的QP。因此,对于第一、第二和第三色度样点(在图9B中描绘),分别利用CUY2,CUY3,CUY4的QP。也就是说,相同个CU中的色度样点可能使用不同的QP进行滤波决策,这可能导致错误的决策。
6.不同的图片级QP偏移(即pps_joint_cbcr_qp_offset)应用于JCCR编解码块,其不同于应用于非JCCR编解码块的Cb/Cr的图片级偏移(例如pps_cb_qp_offset和pps_cr_qp_offset)。然而,在色度去方块滤波决策过程中,仅利用非JCCR编解码块的那些偏移。忽略编解码模式的考虑可能导致错误的滤波器决策。
7.TS和非TS编解码块在去量化过程中使用不同的QP,这也可以在去方块处理中考虑。
8.在不同模式的JCCR编解码块的缩放处理(量化/去量化)中使用了不同的QP。这样的设计是不一致的。
9.Cb/Cr的色度去方块针对并行设计不统一。
4.示例技术和实施例
下面描述的详细实施例应被视为解释一般概念的示例。不应狭义地解释这些实施例。此外,这些实施例可以以任何方式组合。
下面描述的方法也可以适用于除下面提到的DMVR和BIO之外的其他解码器运动信息推导技术。
在下面的示例中,MVM[i].x和MVM[i].y表示M(M是P或Q)侧的块的参考图片列表i(i为0或1)中运动矢量的水平和垂直分量。Abs表示获取输入的绝对值的操作,“&&”和“||”表示逻辑操作与(AND)和或(OR)。参照图10,P可以表示P侧的样点,Q可以表示Q侧的样点。P侧和Q侧的块可以表示用虚线标记的块。
关于去方块中的色度QP
1.当使用色度QP表导出控制色度去方块的参数时(例如,在色度块边缘的决策处理中),可以在应用色度QP表之后应用色度QP偏移。
a、在一个示例中,色度QP偏移可被添加到由色度QP表输出的值中。
b、或者,色度QP偏移可以不被视为色度QP表的输入。
c、在一个示例中,色度QP偏移可以是图片级或其他视频单元级(条带/片/砖块/子图片)色度量化参数偏移(例如,说明书中的 )。
2.QP剪裁可以不应用于色度QP表的输入。
3.提出了色度分量的去方块处理可以基于每侧的映射色度QP(通过色度QP表)。
a、在一个示例中,提出色度的去方块参数(例如,β和tC)可以基于从每侧的亮度QP导出的QP。
b、在一个示例中,色度去方块参数可以取决于以QpP作为表索引的色度QP表值,其中QpP是P侧的亮度QP值。
c、在一个示例中,色度去方块参数可以取决于以QpQ作为表索引的色度QP表值,其中QpQ是Q侧的亮度QP值。
4.提出了色度分量的去方块处理可以基于应用于色度块的量化/去量化的QP。
a、在一个示例中,用于去方块处理的QP可以等于去量化中的QP。
5.提出了在去方块滤波决策过程中考虑用于不同编解码方法的图片/条带/片/砖块/子图片级的量化参数偏移。
a、在一个示例中,用于滤波器决策(例如,去方块滤波处理中的色度边缘决策)的图片/条带/片/砖块/子图片级的量化参数偏移的选择可以取决于每侧的编解码方法。
b、在一个示例中,要求对色度块使用量化参数的滤波处理(例如,色度边缘决策处理)可以取决于块是否使用JCCR。
i.可选地,此外,在去方块滤波处理中,可以进一步考虑应用于JCCR编解码块的图片/条带级的QP偏移(例如)。
ii.在一个示例中,在特定条件下,用于确定Tc和β设置的可被设置为/>而不是pps_cb_qp_offset或pps_cr_qp_offset:/>
1.在一个示例中,当P或Q侧的块使用JCCR时。
2.在一个示例中,当P或Q两侧的块都使用JCCR时。
iii.或者,此外,滤波处理可取决于JCCR的模式(例如,模式是否等于2)。
6.需要访问亮度块的解码信息的色度滤波处理(例如,色度边缘决策处理)可以利用与在去量化/量化处理中用于导出色度QP的相同亮度编解码块相关联的信息。
a、在一个示例中,需要使用亮度块的量化参数的色度滤波处理(例如,色度边缘决策处理)可以利用覆盖当前色度CU中心位置的对应亮度样点的亮度编解码单元。
b、图9A-B中描绘了示例,其中CUY3的解码信息可用于图9B中的三个色度样点(第一,第二和第三)的滤波决策。
7.色度滤波处理(例如,色度边缘决策处理)可取决于应用于色度块的缩放处理(例如,量化/去量化)的量化参数。
a、在一个示例中,用于导出β和Tc的QP可以取决于应用于色度块的缩放处理的QP。
b、或者,此外,用于色度块的缩放处理的QP可以考虑色度CU级QP偏移。
8.是否调用上述项目可取决于要滤波的样点在P或Q侧的块中。
a、例如,是使用覆盖当前色度样点的对应亮度样点的亮度编解码块的信息,还是使用覆盖当前色度样点的色度编解码块中心位置的对应亮度样点的亮度编解码块的信息可以取决于块的位置。
i、在一个示例中,如果当前色度样点在Q侧的块中,则可以使用覆盖色度编解码块的中心位置的对应亮度样点的亮度编解码块的QP信息,所述色度编解码块覆盖当前色度样点。
ii.在一个示例中,如果当前色度样点在P侧的块中,则可以使用覆盖色度样点的对应亮度样点的亮度编解码块的QP信息。
9.用于去方块的色度QP可以取决于对应变换块的信息。
a、在一个示例中,用于在P侧去方块的色度QP可以取决于P侧的变换块的模式。
i.在一个示例中,用于在P侧去方块的色度QP可以取决于P侧的变换块是否使用JCCR进行编解码。
ii.在一个示例中,用于在P侧去方块的色度QP可以取决于P侧的变换块是否用joint_cb_cr模式编解码并且JCCR的模式等于2。
b、在一个示例中,用于在Q侧去方块的色度QP可以取决于Q侧的变换块的模式。
i.在一个示例中,用于在Q侧去方块的色度QP可以取决于Q侧的变换块是否应用JCCR进行编解码。
ii.在一个示例中,用于在Q侧去方块的色度QP可以取决于Q侧的变换块是否应用JCCR进行编解码并且JCCR的模式等于2。
10.色度QP的信令可以在编解码单元中。
a、在一个示例中,当编解码单元尺寸大于最大变换块尺寸(即maxTB)时,可以在CU级信令通知色度QP。或者,也可以在TU级信令通知。
b、在一个示例中,当编解码单元尺寸大于VPDU的尺寸时,色度QP可以在CU级信令通知。或者,也可以在TU级信令通知。
11.可以在编解码单元级信令通知块是否为joint_cb_cr模式。
a、在一个示例中,变换块是否为joint_cb_cr模式可以继承包含变换块的编解码单元的信息。
12.在去方块中使用的色度QP可以取决于在缩放处理中使用的色度QP减去由于比特深度而引起的QP偏移。
a、在一个示例中,当TuCResMode[xTb][yTb]等于2时,P侧去方块中使用的色度QP被设置为缩放处理中使用的JCCR色度QP(即Qp′CbCr)减去QpBdOffsetC,其中(xTb,yTb)表示在P侧包含第一个样点(即,p0,0)的变换块。
b、在一个示例中,当TuCResMode[xTb][yTb]等于2时,P侧去方块中使用的色度QP被设置为缩放处理中使用的Cb色度QP(即Qp′Cb)减去QpBdOffsetC,其中(xTb,yTb)表示在P侧包含第一个样点(即,p0,0)的变换块。
c、在一个示例中,当TuCResMode[xTb][yTb]等于2时,P侧去方块中使用的色度QP被设置为缩放处理中使用的Cr色度QP(即Qp′Cr)
减去QpBdOffsetC,其中(xTb,yTb)表示在P侧包含第一个样点(即,p0,0)的变换块。
d、在一个示例中,当TuCResMode[xTb][yTb]等于2时,Q侧去方块中使用的色度QP被设置为缩放处理中使用的JCCR色度QP(即Qp′CbCr)减去QpBdOffsetC,其中(xTb,yTb)表示在Q侧包含最后一个样点(即,q0,0)的变换块。
e、在一个示例中,当TuCResMode[xTb][yTb]等于2时,Q侧去方块中使用的色度QP被设置为缩放处理中使用的Cb色度QP(即Qp′Cb)减去QpBdOffsetC,其中(xTb,yTb)表示在Q侧包含最后一个样点(即,q0,0)的变换块。
13.在一个示例中,当TuCResMode[xTb][yTb]等于2时,Q侧去方块中使用的色度QP被设置为缩放处理中使用的Cr色度QP(即Qp′Cr)减去QpBdOffsetC,其中(xTb,yTb)表示在Q侧包含最后一个样点(即,q0,0)的变换块。
关于QP设置
14.建议在条带/片/砖块/子图片级别信令通知启用块级色度QP偏移的指示(例如,slice_cu_chroma_qp_offset_enabled_flag)。
a、或者,可以有条件地信令通知这种指示的信令。
i.在一个示例中,它可以在JCCR启用标志的条件下被信令通知。
ii.在一个示例中,它可以在块级色度QP偏移启用标志的条件下在图片级被信令通知。
iii.或者,可以推导出这种指示。
b、在一个示例中,仅当色度QP偏移的PPS标志(例如,slice_cu_chroma_qp_offset_enabled_flag)为真时,才可以信令通知slice_cu_chroma_qp_offset_enabled_flag。
c、在一个示例中,仅当色度QP偏移的PPS标志(例如,slice_cu_chroma_qp_offset_enabled_flag)为假时,才可以信令通知slice_cu_chroma_qp_offset_enabled_flag。
d、在一个示例中,是否在块上使用色度QP偏移可以基于PPS级别和/或条带级别的色度QP偏移的标志。
15.对于不同模式的JCCR编解码块,在缩放处理(量化/去量化)中使用相同的QP推导方法。
a、在一个示例中,对于模式1和3的JCCR,QP取决于在图片/条带级别中信令通知的QP偏移(例如,pps_cbcr_qp_offset,slice_cbcr_qp_offset)。
滤波处理
16.除第一颜色分量外的所有颜色分量的去方块可跟随第一颜色分量的去方块处理。
a、在一个示例中,当颜色格式为4:4:4时,第二和第三分量的去方块处理可以跟随第一分量的去方块处理。
b、在一个示例中,当RGB颜色空间中的颜色格式为4:4:4时,第二和第三分量的去方块处理可以跟随第一分量的去方块处理。
c、在一个示例中,当颜色格式为4:2:2时,第二和第三分量的垂直去方块处理可以跟随第一分量的垂直去方块处理。
d、在上述示例中,去方块处理可以参考去方块决策处理和/或去方块滤波处理。
17.如何计算在去方块滤波处理中使用的梯度可以取决于编解码模式信息和/或量化参数。
a、在一个示例中,梯度计算可以只考虑一侧的梯度,其中该侧的样点不是无损编解码的。
b、在一个示例中,如果两侧都是无损编解码或几乎无损编解码(例如,量化参数等于4),则梯度可以直接设置为0。
i.或者,如果两侧都是无损编解码或几乎无损编解码的(例如,量化参数等于4),则边界强度(例如BS)可以设置为0。
c、在一个示例中,如果P侧的样点是无损编解码的且Q侧的样点是有损编解码的,则去方块开/关决策和/或强滤波器开/关决策中使用的梯度可以仅包括Q侧的样点的梯度,反之亦然。
i.或者,此外,一侧的梯度可以按N来缩放。
1、N是一个整数(例如2),并且可能取决于
a、视频内容(如屏幕内容或自然内容)
b、在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息
c、CU/PU/TU/块/视频编解码单元的位置
d、包含沿边缘样点的块的编解码模式
e、应用于包含沿边缘样点的块的变换矩阵
f、当前块和/或其相邻块的块尺寸/块形状
g、颜色格式的指示(如4:2:0、4:4:4、RGB或YUV)
h、编解码树结构(如双树或单树)
i、条带/片组类型和/或图片类型
j、颜色分量(例如,仅适用于Cb或Cr)
k、时域层ID
l、档次/级别/水平
m、可选地,N可以被信令通知给解码器
关于边界强度推导
18.在边界强度决策处理中,提出了将JCCR编解码块视为非JCCR编解码块的方法。
a、在一个示例中,边界强度(BS)的确定可以独立于对P和Q侧的两个块使用JCCR的检查。
b、在一个示例中,可以不考虑块是否用JCCR编解码而确定块的边界强度(BS)。
19.建议在不将P侧块的参考图片和/或MV数量与Q侧块的参考图片进行比较的情况下导出边界强度(BS)。
a、在一个示例中,即使两个块具有不同的参考图片,也可以禁用去方块滤波器。
b、在一个示例中,即使两个块具有不同数量的MV(例如,一个是单向预测的,另一个是双向预测的),也可以禁用去方块滤波器。
c、在一个示例中,当P侧和Q侧的块之间的一个或所有参考图片列表的运动矢量差大于或等于阈值Th时,BS的值可以被设置为1。
i.或者,此外,当P侧和Q侧的块之间的一个或所有参考图片列表的运动矢量差小于或等于阈值Th时,BS的值可以被设置为0。
d、在一个示例中,两个块的运动矢量之差大于阈值Th可以定义为(Abs(MVP[0].x-MVQ[0].x)>Th||Abs(MVP[0].y-MVQ[0].y)>Th||Abs(MVP[1].x-MVQ[1].x)>Th)||Abs(MVP[1].y-MVQ[1].y)>Th)
ii.或者,两个块的运动矢量之差大于阈值Th的可以定义为(Abs(MVP[0].x-MVQ[0].x)>Th&&Abs(MVP[0].y-MVQ[0].y)>Th&&Abs(MVP[1].x-MVQ[1].x)>Th)&&Abs(MVP[1].y-MVQ[1].y)>Th)
iii.或者,在一个示例中,两个块的运动矢量之差大于阈值Th可以定义为(Abs(MVP[0].x-MVQ[0].x)>Th||Abs(MVP[0].y-MVQ[0].y)>Th)&&(Abs(MVP[1].x-MVQ[1].x)>Th)||Abs(MVP[1].y-MVQ[1].y)>Th)
iv.或者,在一个示例中,两个块的运动矢量之差大于阈值Th可以定义为(Abs(MVP[0].x-MVQ[0].x)>Th&&Abs(MVP[0].y-MVQ[0].y)>Th)||(Abs(MVP[1].x-MVQ[1].x)>Th)&&Abs(MVP[1].y-MVQ[1].y)>Th)
e、在一个示例中,在给定列表中没有运动矢量的块可以被视为在该列表中具有零运动矢量。
f、在上述示例中,Th是整数(例如4、8或16)。
g、在上面的示例中,Th可以取决于
v.视频内容(如屏幕内容或自然内容)
vi.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息
vii.CU/PU/TU/块/视频编解码单元的位置
viii.包含沿边缘样点的块的编解码模式
ix.应用于包含沿边缘的样点的块的变换矩阵
x.当前块和/或其相邻块的块尺寸/块形状
xi.颜色格式指示(如4:2:0、4:4:4、RGB或YUV)
xii.编解码树结构(如双树或单树)
xiii.条带/片组类型和/或图片类型
xiv.颜色分量(例如,仅适用于Cb或Cr)
xv.时域层ID
xvi.档次/级别/水平
xvii.替代地,可以向解码器信令通知Th。
h、上述示例可在特定条件下应用。
xviii.在一个示例中,条件是blkP和blkQ不是用帧内模式编解码的。
xix.在一个示例中,条件是blkP和blkQ在亮度分量上的具有零系数。
xx.在一个示例中,条件是blkP和blkQ没有用CIIP模式编解码。
xxi.在一个示例中,条件是blkP和blkQ使用相同的预测模式(例如IBC或帧间)进行编解码。
关于luma去方块滤波处理
20.去方块可以对TS编解码块和非TS编解码块使用不同的QP。
a、在一个示例中,用于TS的QP可用于TS编解码块,而用于非TS的QP可用于非TS编解码块。
21.亮度滤波处理(例如,亮度边缘决策处理)可取决于应用于亮度块的缩放处理的量化参数。
a、在一个示例中,用于导出β和Tc的QP可以取决于变换跳过的剪裁范围,例如,如QpPrimeTsMin所指示的。
22.提出了对大块边界和较小块边界使用等同的梯度计算。
a、在一个示例中,第2.1.4节中描述的去方块滤波器开/关决策也可应用于大块边界。
i.在一个示例中,可以针对大块边界修改决策中的阈值β。
1.在一个示例中,β可以取决于量化参数。
2.在一个示例中,用于大块边界的去方块滤波器开/关决策的β可以小于用于较小块边界的β。
a、或者,在一个示例中,用于大块边界的去方块滤波器开/关决策的β可以大于用于较小块边界的β。
b、或者,在一个示例中,用于大块边界的去方块滤波器开/关决策的β可以等于用于较小块边界的β。
3.在一个示例中,β是一个整数,可以基于
a、视频内容(如屏幕内容或自然内容)
b、在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息
c、CU/PU/TU/块/视频编解码单元的位置
d、包含沿边缘样点的块的编解码模式
e、应用于包含沿边缘样点的块的变换矩阵
f、当前块和/或其相邻块的块尺寸
g、当前块和/或其相邻块的块形状
h、颜色格式指示(如4:2:0、4:4:4、RGB或YUV)
i、编解码树结构(如双树或单树)
j、条带/片组类型和/或图片类型
k、颜色分量(例如,仅适用于Cb或Cr)
l、时域层ID
m、档次/级别/水平
n、或者,可以向解码器信令通知β。
关于缩放矩阵(去量化矩阵)
23.量化矩阵的特定位置的值可以设置为常量。
a、在一个示例中,位置可以是(x,y)的位置,其中x和y是两个整数变量(例如,x=y=0),(x,y)是相对于TU/TB/PU/PB/CU/CB的坐标。
i.在一个示例中,该位置可以是DC的位置。
b、在一个示例中,常数值可以是16。
c、在一个示例中,对于这些位置,可以不使用矩阵值的信令。
24.可以设置约束,使得量化矩阵的某些位置的平均值/加权平均值可以是常数。
a、在一个示例中,去方块处理可以取决于该常数值。
b、在一个示例中,常数值可以在DPS/VPS/SPS/PPS/条带/图片/片/砖块标头中信令通知。
25.可以在图片标头中被信令通知一个或多个指示,以通知要在与图片标头相关联的图片中选择的缩放矩阵。
关于跨分量自适应环路滤波器(CCALF)
26.CCALF可以在解码器的某些环路滤波处理之前应用
a、在一个示例中,CCALF可以在解码器处的去方块处理之前应用。
b、在一个示例中,CCALF可以在解码器处SAO之前应用。
c、在一个示例中,CCALF可以在解码器处ALF之前应用。
d、或者,不同滤波器(例如,CCALF、ALF、SAO、去方块滤波器)的顺序可以不固定。
i.在一个示例中,CCLAF的调用可以针对一个视频单元在一种滤波处理之前,或者针对另一个视频单元在另一种滤波处理之后。
ii.在一个示例中,视频单元可以是CTU/CTB/条带/片/砖块/图片/序列。
e、或者,不同滤波器(例如,CCALF、ALF、SAO、去方块滤波器)的顺序的指示可以被信令通知或动态地导出。
i.或者,调用CCALF的指示可以被信令通知或动态地导出。
f、关于如何控制CCALF的显式(例如,从编码器到解码器的信令)或隐式(例如在编码器和解码器处导出)指示可以针对不同的颜色分量(例如Cb和Cr)进行解耦。
g、是否和/或如何应用CCALF可取决于颜色格式(如RGB和YCbCr)和/或颜色采样格式(如4:2:0、4:2:2和4:4:4)和/或颜色下降采样位置或相位。
关于色度QP偏移列表
27.色度QP偏移列表的信令和/或选择可以取决于编解码预测模式/图片类型/条带或片或砖块类型。
h、色度QP偏移列表,例如cb_qp_offset_list[i],cr_qp_offset_list[i],和joint_cbcr_qp_offset_list[i],对于不同的编解码模式可能是不同的。
i、在一个示例中,是否以及如何应用色度QP偏移列表可以取决于当前块是否以帧内模式编解码。
g、在一个示例中,是否以及如何应用色度QP偏移列表可以取决于当前块是否以帧间模式编解码。
k、在一个示例中,是否以及如何应用色度QP偏移列表可以取决于当前块是否以调色板模式编解码。
l、在一个示例中,是否以及如何应用色度QP偏移列表可以取决于当前块是否以IBC模式编解码。
m、在一个示例中,是否以及如何应用色度QP偏移列表可以取决于当前块是否以变换跳过模式编解码。
n、在一个示例中,是否和如何应用色度QP偏移列表可以取决于当前块是否以BDPCM模式编解码。
o、在一个示例中,是否以及如何应用色度QP偏移列表可以取决于当前块是否以transform_quant_skip或无损模式编解码。
关于CTU边界处的色度去方块
28.如何选择在去方块滤波处理中使用的QP(例如,使用对应的亮度或色度去量化QP)可以取决于相对于CTU/CTB/VPDU边界的样点的位置。
29.如何选择在去方块滤波处理中使用的QP(例如,使用对应的亮度或色度去量化QP)可以取决于颜色格式(例如RGB和YCbCr)和/或颜色采样格式(例如4:2:0、4:2:2和4:4:4)和/或颜色下采样位置或相位。
30.对于CTU边界处的边缘,去方块可以基于对应块的亮度QP。
p、在一个示例中,对于CTU边界处的水平边缘,去方块可以基于对应块的亮度QP。
i.在一个示例中,去方块可以基于P侧对应块的亮度QP。
ii.在一个示例中,去方块可以基于Q侧对应块的亮度QP。
q、在一个示例中,对于CTU边界处的垂直边缘,去方块可以基于对应块的亮度QP。
i.在一个示例中,去方块可以基于P侧对应块的亮度QP。
ii.在一个示例中,去方块可以基于Q侧对应块的亮度QP。
r、在一个示例中,对于CTU边界处的边缘,去方块可以基于P侧的亮度QP和Q侧的色度QP。
s、在一个示例中,对于CTU边界处的边缘,去方块可以基于Q侧的亮度QP和P侧的色度QP。
t、在该项中,“CTU边界”可以是指特定的CTU边界,例如CTU的上边界或CTU的下边界。
31.对于CTU边界处的水平边缘,去方块可以基于P侧的色度QP的函数。
u、在一个示例中,去方块可以基于P侧的色度QP的平均函数。
i.在一个示例中,该函数可以基于每8个亮度样点的色度QP的平均值。
ii.在一个示例中,该函数可以基于每16个亮度样点的色度QP的平均值。
iii.在一个示例中,该函数可以基于每32个亮度样点的色度QP的平均值。
iv.在一个示例中,该函数可以基于每64个亮度样点的色度QP的平均值。
v.在一个示例中,该函数可以基于每个CTU的色度QP的平均值。
v、在一个示例中,去方块可以基于P侧的色度QP的最大值函数。
i.在一个示例中,该函数可以基于每8个亮度样点的色度QP的最大值。
ii.在一个示例中,该函数可以基于每16个亮度样点的色度QP的最大值。
iii.在一个示例中,该函数可以基于每32个亮度样点的色度QP的最大值。
iv.在一个示例中,该函数可以基于每64个亮度样点的色度QP的最大值。
v.在一个示例中,该功能可以基于每个CTU的色度QP的最大值。
w、在一个示例中,去方块可以基于P侧的色度QP的最小值函数。
i.在一个示例中,该函数可以基于每8个亮度样点的色度QP的最小值。
ii.在一个示例中,该函数可以基于每16个亮度样点的色度QP的最小值。
iii.在一个示例中,该函数可以基于每32个亮度样点的色度QP的最小值。
iv.在一个示例中,该函数可以基于每64个亮度样点的色度QP的最小值。
v.在一个示例中,该功能可以基于每个CTU的色度QP的最小值。
x、在一个示例中,去方块可以基于P侧的色度QP的子采样函数。
i.在一个示例中,该函数可以基于每8个亮度样点的第k个色度样点的色度QP。
1.在一个示例中,第k个样点可以是第一个样点。
2.在一个示例中,第k个样点可以是最后一个样点。
3.在一个示例中,第k个样点可以是第三个样点。
4.在一个示例中,第k个样点可以是第四个样点。
ii.在一个示例中,该函数可以基于每16个亮度样点的第k个色度样点的色度QP。
1.在一个示例中,第k个样点可以是第一个样点。
2.在一个示例中,第k个样点可以是最后一个样点。
3.在一个示例中,第k个样点可以是第7个样点。
4.在一个示例中,第k个样点可以是第8个样点。
iii.在一个示例中,该函数可以基于每32个亮度样点的第k个色度样点的色度QP。
1.在一个示例中,第k个样点可以是第一个样点。
2.在一个示例中,第k个样点可以是最后一个样点。
3.在一个示例中,第k个样点可以是第15个样点。
4.在一个示例中,第k个样点可以是第16个样点。
iv.在一个示例中,该函数可以基于每64个亮度样点的第k个色度样点的色度QP。
1.在一个示例中,第k个样点可以是第一个样点。
2.在一个示例中,第k个样点可以是最后一个样点。
3.在一个示例中,第k个样点可以是第31个样点。
4.在一个示例中,第k个样点可以是第32个样点。
v.在一个示例中,该函数可以基于每个CTU的第k个色度样点的色度QP。
y、可选地,上述项可应用于Q侧的色度QP以用于去方块处理。
32.可以限制,色度分量的QP可以与长度为4*m(相对于图片的左上角从(4*m*x,2y)开始)的色度行段的QP相同,其中x和y是非负整数;m是正整数。
z、在一个示例中,m可以等于1。
aa、在一个示例中,色度分量的量化组的宽度必须不小于4*m。
33.可以限制,色度分量的QP可以与长度为4*n(相对于图片的左上角从(2*x,4*n*y)开始)的色度列段的QP相同,其中x和y是非负整数;n是正整数。
bb、在一个示例中,n可以等于1。
cc、在一个示例中,色度分量的量化组的高度必须不小于4*n。
关于色度去方块滤波处理
34.取决于在第二视频单元(例如SPS或PPS,或VPS)中信令通知的第二语法元素,控制编解码工具X的使用的第一语法元素可以在第一视频单元(例如图片标头)中被信令通知。
a、在一个示例中,仅当第二语法元素指示编解码工具X被启用时,才信令通知第一语法元素。
b、在一个示例中,X是双向光流(BDOF)。
c、在一个示例中,X是预测细化光流(PROF)。
d、在一个示例中,X是解码器侧运动矢量细化(DMVR)。
e、在一个示例中,编解码工具X的使用的信令可以在条带类型(例如,P或B条带;非I条带)的条件检查下进行。
关于色度去方块滤波处理
35.两个色度块的去方块滤波决策处理可以统一为只调用一次,并且该决策被应用于两个色度块。
b、在一个示例中,对于Cb和Cr分量,是否执行去方块滤波的决定可以相同。
c、在一个示例中,如果确定要应用去方块滤波器,则对于Cb和Cr分量,是否执行更强的去方块滤波的决定可以相同。
d、在一个示例中,如第2.2.7节所述,去方块条件和强滤波器开/关条件只检查一次。然而,可以进行修改以检查两个色度分量的信息。
i.在一个示例中,Cb和Cr分量的梯度的平均值可用于Cb和Cr分量的上述决策中。
ii.在一个示例中,仅当Cb和Cr分量同时满足强滤波条件时,才可以执行色度更强的滤波。
1.或者,在一个示例中,仅当至少一个色度分量不满足强滤波条件时,才可以执行色度弱滤波。
综述
36.上述方法可在一定条件下应用。
a、在一个示例中,条件是颜色格式是4:2:0和/或4:2:2。
i.可选地,另外,对于4:4:4颜色格式,如何将去方块滤波器应用于两个颜色色度分量可以跟随当前的设计。
b、在一个示例中,可以在序列/图片/条带/片/砖块/视频区域级别(例如SPS/PPS/图片标头/条带标头)信令通知上述方法的用法。
c、在一个示例中,上述方法的使用可取决于
ii.视频内容(如屏幕内容或自然内容)
iii.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息
iv.CU/PU/TU/块/视频编解码单元的位置
a.在一个示例中,对于沿着CTU/CTB边界(例如,前K个(例如K=4/8)到顶部/左侧/右侧/底部边界)的滤波样点,可以应用现有设计。而对于其他样点,可采用提出的方法(例如,项目符号3/4)。
v.包含沿边缘样点的块的编解码模式
vi.应用于包含沿边缘的样点的块的变换矩阵
vii.当前块和/或其相邻块的块尺寸
viii.当前块和/或其相邻块的块形状
ix.颜色格式指示(如4:2:0、4:4:4、RGB或YUV)
x.编解码树结构(如双树或单树)
xi.条带/片组类型和/或图片类型
xii.颜色分量(例如,仅适用于Cb或Cr)
xiii.时域层ID
xiv.档次/级别/水平
xv.可选地,m和/或n可以被信令通知到解码器。
5.附加实施例
新添加的文本以带下划线的粗体斜体字体显示。删除的文本用[[]]标记。
5.1实施例#1关于去方块中的色度QP
8.8.3.6一个方向上的边缘滤波处理
–否则(cIdx不等于0),由cIdx指定的当前编解码单元的色度编解码块中的边缘的滤波处理包括以下顺序步骤:
1.变量cQpPicOffset推导如下:
cQpPicOffset=cIdx==1?pps_cb_qp_offset:pps_cr_qp_offset(8-1065)
8.8.3.6.3色度块边缘的决策处理
变量QpQ和QpP被设置为分别等于包括包含样点q0,0和p0,0的编解码块的编解码单元的值QpY
变量QpC推导如下:
[[qPi=Clip3(0,63,((QpQ+QpP+1)>>1)+cQpPicOffset) (8-1132)
QpC=ChromaQpTable[cIdx-1][qPi] (8-1133)]]
qPi=(QpQ+QpP+1)>>1 (8-1132)
QpC=ChromaQpTable[cIdx-1][qPi]+cQpPicOffset (8-1133)
注–根据滤波的色度分量是否是Cb或Cr分量,变量cQpPicOffset提供用于pps_cb_qp_offset或pps_cr_qp_offset的值的调整。然而,为了避免需要改变图片内的调整量,滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整,也不包括(当cu_chroma_qp_offset_enabled_flag等于1时)对CuQpOffsetCb,CuQpOffsetCr,或CuQpOffsetCbCr的值的调整。
基于如下导出的量化参数Q如表8-18所规定的来确定变量β′的值
Q=Clip3(0,63,QpC+(slice_beta_offset_div2<<1)) (8-1134)
其中slice_beta_offset_div2是包含样点q0,0的条带的法元素slice_beta_offset_div2的值。
变量β推导如下:
β=β′*(1<<(BitDepthC-8)) (8-1135)
基于如下导出的色度量化参数Q如表8-18所规定的来确定变量tC′的值:
Q=Clip3(0,65,QpC+2*(bS-1)+(slice_tc_offset_div2<<1))(8-1136)
其中slice_tc_offset_div2是包含样点q0,0的条带的语法元素slice_tc_offset_div2的值。
变量tC推导如下:
tC=(BitDepthC<10)?(tC′+2)>>(10-BitDepthC):tC′*(1<<(BitDepthC-8))(8-1137)
5.2.实施例#2关于边界强度推导
8.8.3.5边界滤波强度的推导处理
该处理的输入是:
–图片样点阵列recPicture,
–位置(xCb,yCb),其指定当前编码块的左上样点相对于当前图片的左上样点,
–变量nCbW,其指定当前编解码块的宽度
–变量nCbH,其指定当前编解码块的高度,
–变量edgeType,其指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘,
–变量cIdx,其指定当前编解码块的颜色分量,
–二维(nCbW)x(nCbH)阵列edgeFlags。
该处理的输出是二维(nCbW)x(nCbH)阵列bS,其指定边界滤波强度。
对于xDi,其中i=0..xN并且yDj其中j=0..yN,以下适用:
–如果edgeFlags[xDi][yDj]等于0,则变量bS[xDi][yDj]被设置为等于0。
–否则,以下适用:
–变量bS[xDi][yDj]推导如下:
–如果cIdx等于0并且p0和q0两个样点都在intra_bdpcm_flag等于1的编解码块中,则bS[xDi][yDj]被设置为等于0。
–否则,如果样点p0或q0
在使用帧内预测模式编解码的编解码单元的编解码块中,则bS[xDi][yDj]被设置为等于2.
–否则,如果块边缘也是变换块边缘并且样点p0或q0
在ciip_flag等于1的编解码块中,则bS[xDi][yDj]被设置为等于2。
–否则,如果块边缘也是变换块边缘并且样点p0或q0
在包含一个或多个非零变换系数水平的变换块中,则bS[xDi][yDj]被设置为等于1。
–否则,如果块边缘也是变换块边缘,cIdx大于0,并且样点p0或q0在tu_joint_cbcr_residual_flag等于1的变换单元中,则bS[xDi][yDj]被设置为等于1。
–否则,
如果包含样点p0的编解码子块的预测模式不同于包含样点q0的编解码子块的预测模式
(即,其中一个编解码子块用IBC预测模式编解码并且另一个用帧间预测模式编解码),则bS[xDi][yDj]被设置为等于1。
–否则,如果cIdx等于0并且以下一个或多个条件为真,则
bS[xDi][yDj]被设置为等于1:
–[[包含样点p0的编解码子块和包含样点q0的编解码子块均以IBC预测模式编解码,并且用于预测两个编解码子块的块矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–对于包含样点p0的编解码子块的预测,与用于预测包含样点q0的编解码子块相比,使用不同的参考图片或不同数量的运动矢量。
注1–用于两个编解码子块的参考图片是否相同或不同的确定仅基于参考的图片,而不考虑是否使用参考图片列表0的索引或参考图片列表1的索引来形成预测,并且也不考虑参考图片列表中的索引位置是否不同。
注2–用于预测左上样点覆盖(xSb,ySb)的编解码子块的运动矢量的数量等于PredFlagL0[xSb][ySb]+PredFlagL1[xSb][ySb]。
–一个运动矢量被用于预测包含样点p0的编解码子块,一个运动矢量被用于预测包含样点q0的编解码子块,并且所使用的运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–两个运动矢量和两个不同的参考图片被用于预测包含样点p0的编解码子块,使用相同的两个参考图片的两个运动矢量来预测包含样点q0的编解码子块,并且在预测相同参考图片的两个编解码子块中使用的两个运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–相同参考图片的两个运动矢量用于预测包含样点p0的编解码子块,相同参考图片的两个运动矢量用于预测包含样点q0的编解码子块,并且以下两个条件均为真:
–用于预测两个编解码子块的列表0运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位),或者用于预测两个编解码子块的列表1运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–用于预测包含样点p0的编解码子块的列表0运动矢量的水平或垂直分量与用于预测包含样点q0的编解码子块的列表1运动矢量之间的绝对差大于或等于8(以1/16亮度样点为单位),或者用于预测包含样点p0的编解码子块的列表1运动矢量的水平分量或垂直分量与用于预测包含样点q0的编解码子块的列表0运动矢量之间的绝对差大于或等于8(以1/16亮度样点为单位)。]]
–否则,变量bS[xDi][yDj]被设置为0。
5.3.实施例#3关于边界强度推导
8.8.3.5边界滤波强度的推导处理
该处理的输入是:
–图片样点阵列recPicture,
–位置(xCb,yCb),其指定当前编码块的左上样点相对于当前图片的左上样点,
–变量nCbW,其指定当前编解码块的宽度
–变量nCbH,其指定当前编解码块的高度,
–变量edgeType,其指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘,
–变量cIdx,其指定当前编解码块的颜色分量,
–二维(nCbW)x(nCbH)阵列edgeFlags。
该处理的输出是二维(nCbW)x(nCbH)阵列bS,其指定边界滤波强度。
对于xDi,其中i=0..xN并且yDj其中j=0..yN,以下适用:
–如果edgeFlags[xDi][yDj]等于0,则变量bS[xDi][yDj]被设置为等于0。
–否则,以下适用:
–变量bS[xDi][yDj]推导如下:
–如果cIdx等于0并且p0和q0两个样点都在intra_bdpcm_flag等于1的编解码块中,则bS[xDi][yDj]被设置为等于0。
–否则,如果样点p0或q0
在使用帧内预测模式编解码的编解码单元的编解码块中,则bS[xDi][yDj]被设置为等于2。
–否则,如果块边缘也是变换块边缘并且样点p0或q0
在ciip_flag等于1的编解码块中,则bS[xDi][yDj]被设置为等于2。
–否则,如果块边缘也是变换块边缘并且样点p0或q0
在包含一个或多个非零变换系数水平的变换块中,则bS[xDi][yDj]被设置为等于1。
–[[否则,如果块边缘也是变换块边缘,cIdx大于0,并且样点p0或q0
在tu_joint_cbcr_residual_flag等于1的变换单元中,则bS[xDi][yDj]
被设置为等于1。]]
–否则,
如果包含样点p0的编解码子块的预测模式不同于包含样点q0的编解码子块的预测模式
(即,其中一个编解码子块用IBC预测模式编解码并且另一个用帧间预测模式编解码),则bS[xDi][yDj]被设置为等于1。
–否则,如果cIdx等于0并且以下一个或多个条件为真,则
bS[xDi][yDj]被设置为等于1:
–包含样点p0的编解码子块和包含样点q0的编解码子块均以IBC预测模式编解码,并且用于预测两个编解码子块的块矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–对于包含样点p0的编解码子块的预测,与用于预测包含样点q0的编解码子块相比,使用不同的参考图片或不同数量的运动矢量。
注1–用于两个编解码子块的参考图片是否相同或不同的确定仅基于参考的图片,而不考虑是否使用参考图片列表0的索引或参考图片列表1的索引来形成预测,并且也不考虑参考图片列表中的索引位置是否不同。
注2–用于预测左上样点覆盖(xSb,ySb)的编解码子块的运动矢量的数量等于PredFlagL0[xSb][ySb]+PredFlagL1[xSb][ySb]。
–一个运动矢量被用于预测包含样点p0的编解码子块,一个运动矢量被用于预测包含样点q0的编解码子块,并且所使用的运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–两个运动矢量和两个不同的参考图片被用于预测包含样点p0的编解码子块,使用相同的两个参考图片的两个运动矢量来预测包含样点q0的编解码子块,并且在预测相同参考图片的两个编解码子块中使用的两个运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–相同参考图片的两个运动矢量用于预测包含样点p0的编解码子块,相同参考图片的两个运动矢量用于预测包含样点q0的编解码子块,并且以下两个条件均为真:
–用于预测两个编解码子块的列表0运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位),或者用于预测两个编解码子块的列表1运动矢量的水平或垂直分量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–用于预测包含样点p0的编解码子块的列表0运动矢量的水平或垂直分量与用于预测包含样点q0的编解码子块的列表1运动矢量之间的绝对差大于或等于8(以1/16亮度样点为单位),或者用于预测包含样点p0的编解码子块的列表1运动矢量的水平分量或垂直分量与用于预测包含样点q0的编解码子块的列表0运动矢量之间的绝对差大于或等于8(以1/16亮度样点为单位)。
–否则,变量bS[xDi][yDj]被设置为0。
5.4.实施例#4关于亮度去方块滤波处理
8.8.3.6.1亮度块边缘的决策处理
该处理的输入是:
–图片样点阵列recPicture,
–位置(xCb,yCb),
其指定当前编码块的左上样点相对于当前图片的左上样点,
–位置(xBl,yBl),其指定指定当前块的左上样点相对于当前编解码块的左上样点,
–变量edgeType,其指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘,
–变量bS,其指定边界滤波强度,
–变量maxFilterLengthP,其指定最大滤波器长度,
–变量maxFilterLengthQ,其指定最大滤波器长度,
该处理的输出是:
–包含决策的变量dE,dEp和dEq,
–修改的滤波器长度变量maxFilterLengthP和maxFilterLengthQ,
–变量tC
以下顺序步骤适用:
...
1.当sidePisLargeBlk或sideQisLargeBlk大于0时,则以下适用:
a.推导变量dp0L,dp3L并且如下修改maxFilterLengthP:
–[[如果sidePisLargeBlk等于1,则以下适用:
dp0L=(dp0+Abs(p5,0-2*p4,0+p3,0)+1)>>1 (8-1087)
dp3L=(dp3+Abs(p5,3-2*p4,3+p3,3)+1)>>1 (8-1088)
–否则,以下适用:]]
dp0L=dp0 (8-1089)
dp3L=dp3 (8-1090)
[[maxFilterLengthP=3 (8-1091)]]
b.变量dq0L和dq3L推导如下:
–[[如果sideQisLargeBlk等于1,以下适用:
dq0L=(dq0+Abs(q5,0-2*q4,0+q3,0)+1)>>1 (8-1092)
dq3L=(dq3+Abs(q5,3-2*q4,3+q3,3)+1)>>1 (8-1093)
–否则,以下适用:]]
dq0L=dq0 (8-1094)
dq3L=dq3 (8-1095)
2.变量dE,dEp和dEq推导如下:
5.5.实施例#5关于色度去方块滤波处理
8.8.3.6.3色度块边缘的决策处理
仅当ChromaArrayType不等于0时才调用该处理:
该处理的输入是:
–色度图片样点阵列recPicture,
–色度位置(xCb,yCb),
其指定相对于当前图片的左上色度样点的当前色度编解码块的左上样点,
–色度位置(xBl,yBl),
其指定相对于当前色度编解码块的左上样点的当前色度块的左上样点,
–变量edgeType,其指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘,
–变量cIdx,其指定颜色分量索引,
–变量cQpPicOffset,其指定图片级色度量化参数偏移,
–变量bS,其指定边界滤波强度,
–变量maxFilterLengthCbCr。
该处理的输出是:
–修改后的变量maxFilterLengthCbCr,
–变量tC
变量maxK推导如下:
–如果edgeType等于EDGE_VER,则以下适用:
maxK=(SubHeightC==1)?3:1 (8-1124)
–否则(edgeType等于EDGE_HOR),以下适用:
maxK=(SubWidthC==1)?3:1 (8-1125)
值pi和qi(其中i=0..maxFilterLengthCbCr和k=0..maxK)推导如下:
–如果edgeType等于EDGE_VER,则以下适用::
qi,k=recPicture[xCb+xBl+i][yCb+yBl+k] (8-1126)
pi,k=recPicture[xCb+xBl-i-1][yCb+yBl+k] (8-1127)
subSampleC=SubHeightC(8-1128)
–否则(edgeType等于EDGE_HOR),以下适用:
qi,k=recPicture[xCb+xBl+k][yCb+yBl+i] (8-1129)
pi,k=recPicture[xCb+xBl+k][yCb+yBl-i-1] (8-1130)
subSampleC=SubWidthC(8-1131)
/>
基于如下导出的量化参数Q如表t-18所规定的确定变量β′的值:
Q=Clip3(0,63,QpC+(slice_beta_offset_div2<<1)) (8-1134)
其中slice_beta_offset_div2是包含样点q0,0的条带的语法元素slice_beta_offset_div2的值。
变量β推导如下:
β=β′*(1<<(BitDepthC-8)) (8-1135)
基于如下导出的色度量化参数Q如表8-18所规定的确定变量tC′的值:
Q=Clip3(0,65,QpC+2*(bS-1)+(slice_tc_offset_div2<<1))(8-1136)
其中slice_tc_offset_div2是包含样点q0,0的条带的语法元素slice_tc_offset_div2的值。
变量tC推导如下:
tC=(BitDepthC<10)?(tC′+2)>>(10-BitDepthC):tC′*(1<<(BitDepthC-8)) (8-1137)
当maxFilterLengthCbCr等于1并且bS不等于2,maxFilterLengthCbCr被设置为等于0。
5.6.实施例#6关于去方块中的色度QP
8.8.3.6.3色度块边缘的决策处理
仅当ChromaArrayType不等于0时才调用该处理。
该处理的输入是:
–色度图片样点阵列recPicture,
–色度位置(xCb,yCb),
其指定相对于当前图片的左上色度样点的当前色度编解码块的左上样点,
–色度位置(xBl,yBl),
其指定相对于当前色度编解码块的左上样点的当前色度块的左上样点,
–变量edgeType,其指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘,
–变量cIdx,其指定颜色分量索引,
–变量cQpPicOffset,其指定图片级色度量化参数偏移,
–变量bS,其指定边界滤波强度,
–变量maxFilterLengthCbCr。
该处理的输出是:
–修改后的变量maxFilterLengthCbCr,
–变量tC
变量maxK推导如下:
–如果edgeType等于EDGE_VER,则以下适用:
maxK=(SubHeightC==1)?3:1 (8-1124)
–否则(edgeType等于EDGE_HOR),以下适用:
maxK=(SubWidthC==1)?3:1 (8-1125)
值pi和qi(其中i=0..maxFilterLengthCbCr并且k=0..maxK)推导如下:
–如果edgeType等于EDGE_VER,则以下适用::
qi,k=recPicture[xCb+xBl+i][yCb+yBl+k] (8-1126)
pi,k=recPicture[xCb+xBl-i-1][yCb+yBl+k] (8-1127)
subSampleC=SubHeightC(8-1128)
–否则(edgeType等于EDGE_HOR),以下适用:
qi,k=recPicture[xCb+xBl+k][yCb+yBl+i] (8-1129)
pi,k=recPicture[xCb+xBl+k][yCb+yBl-i-1] (8-1130)
subSampleC=SubWidthC(8-1131)
变量QpQ和QpP被设置为分别等于包括包含样点q0,0和p0,0的编解码块的编解码单元的值QpY
变量QpC推导如下:
[[qPi=Clip3(0,63,((QpQ+QpP+1)>>1)+cQpPicOffset)(8-1132)]]
QpC=ChromaQpTable[cIdx-1][qPi] (8-1133)
注–根据滤波的色度分量是否是Cb或Cr分量,变量cQpPicOffset提供用于
pps_cb_qp_offset或pps_cr_qp_offset的值的调整。然而,为了避免需要改变图片内的调整量,滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整,也不包括(当cu_chroma_qp_offset_enabled_flag等于1时)对CuQpOffsetCb,CuQpOffsetCr,
或CuQpOffsetCbCr的值的调整。
5.7.实施例#7关于去方块中的色度QP
8.8.3.6.3色度块边缘的决策处理
仅当ChromaArrayType不等于0时才调用该处理。
该处理的输入是:
–色度图片样点阵列recPicture,
–色度位置(xCb,yCb),
其指定相对于当前图片的左上色度样点的当前色度编解码块的左上样点,
该处理的输出是:
–修改后的变量maxFilterLengthCbCr,
–变量tC
变量maxK推导如下:
–如果edgeType等于EDGE_VER,则以下适用:
maxK=(SubHeightC==1)?3:1 (8-1124)
–否则(edgeType等于EDGE_HOR),以下适用:
maxK=(SubWidthC==1)?3:1 (8-1125)
值pi和qi(其中i=0..maxFilterLengthCbCr并且k=0..maxK)推导如下:
–如果edgeType等于EDGE_VER,则以下适用::
qi,k=recPicture[xCb+xBl+i][yCb+yBl+k] (8-1126)
pi,k=recPicture[xCb+xBl-i-1][yCb+yBl+k] (8-1127)
subSampleC=SubHeightC (8-1128)
–否则(edgeType等于EDGE_HOR),以下适用:
qi,k=recPicture[xCb+xBl+k][yCb+yBl+i] (8-1129)
pi,k=recPicture[xCb+xBl+k][yCb+yBl-i-1] (8-1130)
subSampleC=SubWidthC (8-1131)
[[变量QpQ和QpP被设置为分别等于包括包含样点q0,0和p0,0的编解码块的编解码单元的值QpY。]]
变量QpC推导如下:
qPi=Clip3(0,63,((QpQ+QpP+1)>>1)+cQpPicOffset)
(8-1132)
QpC=ChromaQpTable[cIdx-1][qPi] (8-1133)
注–根据滤波的色度分量是否是Cb或Cr分量,变量cQpPicOffset提供用于pps_cb_qp_offset或pps_cr_qp_offset的值的调整。然而,为了避免需要改变图片内的调整量,滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整,也不包括(当cu_chroma_qp_offset_enabled_flag等于1时)对CuQpOffsetCb,CuQpOffsetCr,或CuQpOffsetCbCr的值的调整。
基于如下导出的量化参数Q如表8-18所规定的来确定变量β′的值:
Q=Clip3(0,63,QpC+(slice_beta_offset_div2<<1)) (8-1134)
其中slice_beta_offset_div2是包含样点 q0,0的条带的语法元素slice_beta_offset_div2的值。
变量β推导如下:
β=β′*(1<<(BitDepthC-8)) (8-1135)
基于如下导出的色度量化参数Q如表8-18所规定的来确定变量变量tC′的值:
Q=Clip3(0,65,QpC+2*(bS-1)+(slice_tc_offset_div2<<1))(8-1136)
其中slice_tc_offset_div2是包含样点q0,0的条带的语法元素slice_tc_offset_div2的值。
5.8实施例8#关于去方块中的色度QP
当对所描绘的三个样点(具有实心圆)作出滤波决策时,选择覆盖包括这三个样点的色度CU的中心位置的亮度CU的QP。因此,对于第一、第二和第三色度样点(在图11中描绘的),分别仅利用CUY3的QP。
用这种方式,如何选择用于色度量化/去量化处理的亮度CU与用于色度滤波决策处理的亮度CU相对齐。
5.9实施例#9关于用于JCCR编解码块的QP
8.7.3变换系数的缩放处理
该处理的输入为:
–亮度位置(xTbY,yTbY),其指定指定当前亮度变换块相对于当前图片左上亮度样点的左上样点,
–变量nTbW,其指定变换块宽度,
–变量nTbH,其指定变换块高度,
–变量cIdx,其指定当前块的颜色分量,
–变量bitDepth,其指定当前颜色分量的比特深度。
该处理的输出是具有元素d[x][y]的缩放变换系数的(nTbW)x(nTbH)的阵列d。
量化参数qP推导如下:
–如果cIdx等于0并且transform_skip_flag[xTbY][yTbY]等于0,则以下适用:
qP=Qp′Y (8-950)
–否则,如果cIdx等于0(并且transform_skip_flag[xTbY][yTbY]等于1),则以下适用:
qP=Max(QpPrimeTsMin,Qp′Y) (8-951)
–否则,如果TuCResMode[xTbY][yTbY][[等于2]],则以下适用:
qP=Qp′CbCr (8-952)
–否则,如果cIdx等于1,以下适用:
qP=Qp′Cb (8-953)
–否则(cIdx等于2),以下适用:
qP=Qp′Cr (8-954)
5.10实施例#10关于用于JCCR编解码块的QP
8.8.3.2单向去方块滤波处理
该处理的输入包括:
–变量treeType,指定当前处理的是亮度(DUAL_TREE_LUMA)还是色度分量(DUAL_TREE_CHROMA),
–当treeType等于DUAL_TREE_LUMA时,去方块之前的重建图片,即阵列recPictureL
–当ChromaArrayType不等于0,并且treeType等于DUAL_TREE_CHROMA时,阵列recPictureCb和recPictureCr
–变量edgeType,指定滤波的是垂直(EDGE_VER)还是水平(EDGE_HOR)边缘。
该处理的输出是去方块后的修改后的重建图片,即:
–当treeType等于DUAL_TREE_LUMA时,阵列recPictureL
–当ChromaArrayType不等于0且treeType等于DUAL_TREE_CHROMA时,阵列recPictureCb和recPictureCr
变量firstCompIdx和lastCompIdx导出如下:
firstCompIdx=(treeType==DUAL_TREE_CHROMA)?1:0(8-1022)
lastCompIdx=(treeType==DUAL_TREE_LUMA||ChromaArrayType==0)?0:2(8-1023)
对于每个编解码单元和每个编解码单元的由颜色分量索引cIdx(范围从firstCompIdx到lastCompIdx,包括firstCompIdx和lastCompIdx)指示的每个颜色分量的每个编解码块,使用编解码块宽度nCbW、编解码块高度nCbH和编解码块左上样点位置(xCb,yCb),当cIdx等于0时,或者当cIdx不等于0且edgeType等于EDGE_VER且xCb%8等于0时,或者当cIdx不等于0且edgeType等于EDGE_HOR且yCb%8等于0时,按以下顺序步骤对边缘进行滤波:
[[5.图片样点阵列recPicture导出如下:
–如果cIdx等于0,则将recPicture设置为等于去方块之前的重建的亮度图片样点阵列recPictureL
–否则,如果cIdx等于1,将recPicture设置为等于去方块之前的重建的色度图片样点阵列recPictureCb
–否则(cIdx等于2),将recPicture设置为等于去方块之前的重建的色度图片样点阵列recPictureCr]]
以变量edgeType,变量cIdx,去方块前的重建图片recPicture,位置(xCb,yCb),编解码块宽度nCbW,编解码块高度nCbH,以及阵列bS,maxFilterLengthPs,和maxFilterLengthQs作为输入,对编解码块调用8.8.3.6条中规定的用于一个方向的边缘滤波处理,以修改后的重建图片recPicture作为输出。
8.8.3.5边界滤波强度推导处理
该处理的输入是:
–图片样点阵列recPicture,
–位置(xCb,yCb),其指定当前编码块的左上样点相对于当前图片的左上样点,
–变量nCbW,其指定当前编解码块的宽度
–变量nCbH,其指定当前编解码块的高度,
–变量edgeType,其指定是滤波垂直(EDGE_VER)还是水平(EDGE_HOR)边缘,
–变量cIdx,其指定当前编解码块的颜色分量,
–二维(nCbW)x(nCbH)阵列edgeFlags。
该处理的输出是二维(nCbW)x(nCbH)阵列bS,其指定边界滤波强度。
变量xDi,yDj,xN和yN推导如下:
对于xDi,其中i=0..xN并且yDj其中j=0..yN,以下适用:
–如果edgeFlags[xDi][yDj]等于0,则变量bS[xDi][yDj]被设置为等于0。
–否则,以下适用:
–样点值p0和q0推导如下:
-如果edgeType等于EDGE_VER,则p0设置为等于recPicturexCb+xDi-1][yCb+yDj]并且q0设置为等于recPicture/>[xCb+xDi][yCb+yDj]。
-否则(edgeType等于EDGE_HOR),p0设置为等于recPicture[xCb+xDi][yCb+yDj-1]并且q0设置为等于recPicture/>[xCb+xDi][yCb+yDj]。
..
8.8.3.6一个方向的边缘滤波处理
该处理的输入包括:
-变量edgeType,指定当前处理的是垂直边缘(EDGE_VER)还是水平边缘(EDGE_HOR),
-变量cIdx,指定当前颜色分量,
-在去方块之前的重建的图片recPicture,
-位置(xCb,yCb),其指定当前编码块的左上样点相对于当前图片的左上样点,
-变量nCbW,其指定当前编解码块的宽度
-变量nCbH,其指定当前编解码块的高度
–阵列bS,指定边界强度,
–阵列maxFilterLengthPs和maxFilterLengthQs。
该处理的输出是去方块后的修改后的重建图片recPicturei
–否则(cIdx不等于0),cIdx指定的当前编解码单元的色度编解码块中的边缘滤波处理包括以下顺序步骤:
1.变量cQpPicOffset推导如下:
3.以色度图片样点阵列recPicture,色度编解码块的位置(xCb,yCb),色度块的位置(xBl,yBl)设置为等于(xDk,yDm),边缘方向edgeType变量cIdx,变量cQpPicOffset,边界滤波强度bS[xDk][yDm],以及变量maxFilterLengthCbCr设置为等于maxFilterLengthPs[xDk][yDm]作为输入,调用第8.8.3.6.3条规定的色度块边缘的决策处理,并且以修改的变量maxFilterLengthCbCr和变量tC作为输出。
4.当maxFilterLengthCbCr大于0时,以色度图片样点阵列recPicture,色度编解码块的位置(xCb,yCb),块的色度位置(xBl,yBl)设置为等于(xDk,yDm),边缘方向edgeType,变量maxFilterLengthCbC作为输入,并且以变量tC作为输入,调用第8.8.3.6.4条规定的色度块边缘的滤波处理,以修改后的色度图片样点阵列recPicture作为输出。/>
8.8.3.6.3色度块边缘决策处理
仅当ChromaArrayType不等于0时调用此处理。
该处理的输入包括:
–色度图片样点阵列recPicture,
–色度位置(xCb,yCb),指定当前色度编解码块的左上样点相对于当前图片的左上色度样点,
–色度位置(xBl,yBl),指定当前色度块的左上样点相对于当前色度编解码块的左上样点,
–变量edgeType,指定滤波的是垂直边缘(EDGE_VER)还是水平边缘(EDGE_HOR),
–[[变量cIdx,指定颜色分量索引]]
–变量cQpPicOffset,指定图片级色度量化参数偏移,
–变量bS,指定边界滤波强度,
–变量maxFilterLengthCbCr。
该处理的输出是:
–修改后的变量maxFilterLengthCbCr,
–变量tC
变量maxK推导如下:
–如果edgeType等于EDGE_VER,则以下适用:
maxK=(SubHeightC==1)?3:1 (8-1124)
–否则(edgeType等于EDGE_HOR),以下适用:
maxK=(SubWidthC==1)?3:1 (8-1125)
值pi和qi(其中i=0..maxFilterLengthCbCr并且k=0..maxK)推导如下:
–如果edgeType等于EDGE_VER,则以下适用::
=recPicture/>xCb+xBl+i][yCb+yBl+k] (8-1126)
=recPicture/>[xCb+xBl-i-1][yCb+yBl+k] (8-1127)subSampleC=SubHeightC(8-1128)
–否则(edgeType等于EDGE_HOR),以下适用:
=recPicture/>[xCb+xBl+k][yCb+yBl+i] (8-1129)
=recPicture/>[xCb+xBl+k][yCb+yBl-i-1] (8-1130)subSampleC=SubWidthC(8-1131)
变量QpQ和QpP被设置为分别等于包括包含样点q0,0和p0,0的编解码块的编解码单元的值QpY
变量QpC推导如下:
(QpQ+QpP+1)>>1/> (8-1132)
注–根据滤波的色度分量是否是Cb或Cr分量,变量cQpPicOffset提供用于
pps_cb_qp_offset或pps_cr_qp_offset的值的调整。然而,为了避免需要改变图片内的调整量,滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整,也不包括(当cu_chroma_qp_offset_enabled_flag等于1时)对CuQpOffsetCb,CuQpOffsetCr,
或CuQpOffsetCbCr的值的调整。
基于如下导出的量化参数Q如表8-18所规定的来确定变量β′的值:
Q=Clip3(0,63,QpC+(slice_beta_offset_div2<<1)) (8-1134)
其中slice_beta_offset_div2是包含样点q0,0的条带的语法元素slice_beta_offset_div2的值。
变量β推导如下:
β=β′*(1<<(BitDepthC-8)) (8-1135)
基于如下导出的色度量化参数Q如表8-18所规定的来确定变量变量tC′的值:
Q=Clip3(0,65,QpC+2*(bS-1)+(slice_tc_offset_div2<<1))(8-1136)
其中slice_tc_offset_div2是包含样点q0,0的条带的语法元素slice_tc_offset_div2的值。
变量tC推导如下:
tC=(BitDepthC<10)?(tC′+2)>>(10-BitDepthC):tC′*(1<<(BitDepthC-8))(8-1137)
当maxFilterLengthCbCr等于1而bS不等于2时,maxFilterLengthCbCr设置为0。
当maxFilterLengthCbCr等于3时,以下顺序步骤适用:
1.变量n1、和/>推导如下:
n1=(subSampleC==2)?1:3 (8-1138)
/>
2.
3.变量dSam0和dSam1都设置为0。
4.当d小于β时,以下顺序步骤适用:
a、变量dpq设置为2*dpq0。
b、变量dSam0是通过对样点位置(xCb+xBl,yCb+yBl)调用第8.8.3.6.8条中规定的色度样点的决策处理得出的,以样点值p0,0,p3,0,q0,0,和q3,0,变量dpq,β和tC作为输入,输出被分配给决策dSam0。
c、变量dpq设置为2*dpq1。
d、变量dSam1修改如下:
-如果edgeType等于EDGE_VER,对于样点位置(xCb+xBl,yCb+yBl+n1),调用第8.8.3.6.8条中规定的色度样点的决策处理,以样点值p0,n1,p3,n1,q0,n1,和q3,n1,变量dpq,β和tC作为输入,输出被分配给决策dSam1。
-否则(edgeType等于EDGE_HOR),对于样点位置(xCb+xBl+n1,yCb+yBl),调用第8.8.3.6.8条中规定的色度样点的决策处理,以样点值p0,n1,p3,n1,q0,n1,和q3,n1,变量dpq,β和tC作为输入,输出被分配给决策dSam1。
5.变量maxFilterLengthCbCr修改如下:
–如果dSam0等于1并且dSam1等于1,则maxFilterLengthCbCr设置为等于3。
–否则,maxFilterLengthCbCr设置为等于1。
8.8.3.6.4色度块边缘的滤波处理
仅当ChromaArrayType不等于0时调用此处理。
该处理的输入是:
–色度图片样点阵列recPicture,
–色度位置(xCb,yCb),指定当前色度编解码块的左上样点相对于当前图片的左上角色度样点,
–色度位置(xBl,yBl),指定当前色度块的左上样点相对于当前色度编解码块的左上采样,
–变量edgeType,指定滤波的是垂直边缘(EDGE_VER)还是水平边缘(EDGE_HOR),
–变量maxFilterLengthCbCr,包含最大色度滤波器长度,
–变量tC。
这个处理的输出是修改后的色度图片样点阵列recPicture。
i=0..maxFilterLengthCbCr和k=0..maxK的值pi和qi推导如下:
–如果edgeType等于EDGE_VER,则适用以下:
qi,k=recPicture[xCb+xBl+i][yCb+yBl+k] (8-1150)
pi,k=recPicture[xCb+xBl-i-1][yCb+yBl+k] (8-1151)
–否则(edgeType等于EDGE_HOR),则适用以下:
qi,k=recPicture[xCb+xBl+k][yCb+yBl+i]/>
pi,k=recPicture[xCb+xBl+k][yCb+yBl-i-1] (8-1153)
取决于edgeType的值,以下适用:
–如果edgeType等于EDGE_VER,则对于每个样点位置(xCb+xBl,yCb+yBl+k),k=0..maxK,以下顺序步骤适用:
1.以变量maxFilterLengthCbCr,样点值pi,k,qi,k(i=0..maxFilterLengthCbCr),位置(xCb+xBl-i-1,yCb+yBl+k)和(xCb+xBl+i,yCb+yBl+k)(i=0..maxFilterLengthCbCr-1),以及变量tC作为输入,调用第8.8.3.6.9条中规定的色度样点的滤波处理,并且以滤波后的样点值pi′和qi′(i=0..maxFilterLengthCbCr-1)作为输出。
2.滤波后的样点值pi′和qi′(i=0..maxFilterLengthCbCr-1)替换样点阵列recPicture内的对应样点,如下所示:
recPicture[xCb+xBl+i][yCb+yBl+k]=qi′ (8-1154)
recPicture[xCb+xBl-i-1][yCb+yBl+k]=pi′ (8-1155)
–否则(edgeType等于EDGE_HOR),对于每个样点位置(xCb+xBl+k,yCb+yBl),k=0..maxK,以下顺序步骤适用:
1.以变量maxFilterLengthCbCr,样点值pi,k,qi,k(i=0..maxFilterLengthCbCr),位置(xCb+xBl+k,yCb+yBl-i-1)和(xCb+xBl+k,yCb+yBl+i),以及变量tC作为输入,调用第8.8.3.6.9条中规定的色度样点的滤波处理,并且以滤波后的样点值pi′和qi′作为输出。
2.滤波后的样点值pi′和qi′替换样点阵列recPicture中的对应样点,如下所示:
recPicture[xCb+xBl+k][yCb+yBl+i]=qi′ (8-1156)
recPicture[xCb+xBl+k][yCb+yBl-i-1]=pi
5.11实施例#11
8.8.3.6.3色度块边缘的决策处理
[[变量QpQ和QpP被设置为等于编解码单元的QpY值,所述编解码单元包括分别包含样点q0,0和p0,0的编解码块。
变量QpC推导如下:
qPi=Clip3(0,63,((QpQ+QpP+1)>>1)+cQpPicOffset) (8-1132)
QpC=ChromaQpTable[cIdx-1][qPi] (8-1133)]]
/>
5.12实施例#12
8.8.3.6.3色度块边缘的决策处理
[[变量QpQ和QpP被设置为等于编解码单元的QpY值,所述编解码单元包括分别包含样点q0,0和p0,0的编解码块。
变量QpC推导如下:
qPi=Clip3(0,63,((QpQ+QpP+1)>>1)+cQpPicOffset) (8-1132)
QpC=ChromaQpTable[cIdx-1][qPi] (8-1133)
注释–变量cQpPicOffset根据滤波的色度分量是Cb还是Cr分量,为pps_cb_qp_offset或pps_cr_qp_offset的值提供调整。然而,为了避免需要改变图片内的调整量,滤波处理不包括对slice_cb_qp_offset或slice_cr_qp_offset的值的调整,也不包括(当cu_chroma_qp_offset_enabled_flag等于1时)对CuQpOffsetCb,CuQpOffsetCr,orCuQpOffsetCbCr的值的调整。]]
6.公开技术的示例实现
图12是视频处理装置1200的框图。设备1200可用于实现本文所述的一种或多种方法。设备1200可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。设备1200可以包括一个或多个处理器1202、一个或多个存储器1204和视频处理硬件1206。处理器1202可以被配置成实现本文档中描述的一个或多个方法。存储器(多个存储器)1204可用于存储用于实现本文所述的方法和技术的数据和代码。视频处理硬件1206可用于在硬件电路中实现本文档中描述的一些技术,并且可以部分或完全是处理器1202的一部分(例如,图形处理器核心GPU或其他信号处理电路)。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示转换为对应的比特流表示期间应用,或反之亦然。例如,当前视频块的比特流表示可以对应于在比特流内的不同位置处共位或传播的比特,如由语法定义的那样。例如,宏块可以根据经过变换和编解码的误差残值来编解码,并且还可以使用比特流中的标头和其他字段中的比特。
应当理解,所公开的方法和技术通过允许使用在本文档中公开的技术,将有益于并入诸如智能手机、笔记本电脑、台式机和类似设备的视频处理设备中的视频编码器和/或解码器实施例。
图13是视频处理的示例方法1300的流程图。方法1300包括:在1310处,执行视频单元和视频单元的比特流表示之间的转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得当使用色度量化参数(QP)表来导出去方块滤波器的参数时,对各个色度QP值执行色度QP表的处理。
可以使用以下基于条款的格式来描述一些实施例。
1.一种视频处理方法,包括:
执行视频单元和视频单元的比特流表示之间的转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得当使用色度量化参数(QP)表来导出去方块滤波器的参数时,对各个色度QP值执行色度QP表的处理。
2.根据第1条所述的方法,其中色度QP偏移被加到色度QP表的处理之后的各个色度QP值中。
3.根据第1-2条中任一条所述的方法,其中,将色度QP偏移加到由色度QP表输出的值中。
4.根据第1-2条中任一条所述的方法,其中色度QP偏移不被视为色度QP表的输入。
5.根据第2条所述的方法,其中色度QP偏移在图片级或视频单元级。
6.一种视频处理方法,包括:
在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,色度QP偏移处于图片/条带/片/砖块/子图片级别。
7.根据第6条所述的方法,其中在去方块滤波器中使用的色度QP偏移与应用于视频单元边界的编解码方法相关联。
8.根据第7条所述的方法,其中编解码方法是色度残差联合编解码(JCCR)方法。
9.一种视频处理方法,包括:
在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中在去方块滤波器中使用与相同的亮度编解码单元相关的信息,并且用于导出色度QP偏移。
10.根据第9条所述的方法,其中相同的亮度编解码单元覆盖视频单元的中心位置的对应亮度样点,其中所述视频单元是色度编解码单元。
11.根据第9条所述的方法,其中将缩放处理应用于视频单元,并且其中去方块滤波器的一个或多个参数至少部分地取决于缩放处理的量化/去量化参数。
12.根据第11条所述的方法,其中缩放处理的量化/去量化参数包括色度QP偏移。
13.根据第9-12条中任一条所述的方法,其中视频单元中的亮度样点在P侧或Q侧。
14.根据第13条所述的方法,其中与相同的亮度编解码单元相关的信息取决于该编解码单元相对于相同的亮度编解码单元的相对位置。
15.一种视频处理方法,包括:
执行视频单元和视频单元的比特流表示之间的转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,在比特流表示中信令通知允许使用色度QP偏移的指示。
16.根据第15条所述的方法,其中响应于检测到一个或多个标志有条件地信令通知所述指示。
17.根据第16条所述的方法,其中一个或多个标志与JCCR启用标志或色度QP偏移启用标志相关。
18.根据第15条所述的方法,其中所述指示是基于推导信令通知的。
19.一种视频处理方法,包括:
执行视频单元和视频单元的比特流表示之间的转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,对于是在视频单元的边界上应用JCCR编解码方法还是在视频单元的边界上应用不同于JCCR编解码方法的方法,在去方块滤波器中使用的色度QP偏移都是相同的。
20.一种视频处理方法,包括:
在视频单元和视频单元的比特流表示之间执行转换,其中,在转换期间,在视频单元的边界上使用去方块滤波器,使得在去方块滤波器中使用色度QP偏移,其中,在不将与P侧边界处的视频单元相关联的参考图片和/或多个运动矢量(MV)和与Q侧边界处的视频单元相关联的参考图片和/或多个运动矢量(MV)进行比较的情况下计算去方块滤波器的边界强度(BS)。
21.根据第20条所述的方法,其中在一个或多个条件下禁用去方块滤波器。
22.根据第21条所述的方法,其中一个或多个条件与运动矢量(MV)的大小或阈值相关联。
23.根据第22条所述的方法,其中所述阈值与以下至少一个相关联:i.视频单元的内容,ii.在DPS/SPS/VPS/PPS/APS/图片标头/条带标头/片组标头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/LCU组/TU/PU块/视频编解码单元中信令通知的消息,iii.CU/PU/TU/块/视频编解码单元的位置,iv.具有沿边界的样点的块的编解码模式,v.应用于具有沿边界的样点的视频单元的变换矩阵,vi.视频单元的形状或尺寸,vii.颜色格式的指示,viii.编解码树结构,ix.条带/片组类型和/或图片类型,x.颜色分量,xi.时域层ID,或xii.标准的档次/水平/级别。
24.根据第20条所述的方法,其中不同的QP偏移用于TS编解码的视频单元和非TS编解码的视频单元。
25.根据第20条所述的方法,其中在亮度滤波步骤中使用的QP与在亮度块的缩放处理中使用的QP相关。
26.一种视频解码装置,包括处理器,所述处理器被配置成实现第1至25条中的一个或多个所述的方法。
27.一种视频编码装置,包括处理器,所述处理器被配置成实现第1至25条中的一个或多个所述的方法。
28.一种存储有计算机代码的计算机程序产品,当由处理器执行时,该代码使处理器实现第1至25条中任何一条所述的方法。
29.本文中描述的方法、装置或系统。
图15是示出可以利用本发明的技术的示例性视频编解码系统100的框图。
如图15所示,视频编解码系统100可以包括源设备110和目的地设备120。源设备110生成编码视频数据,源设备110可以被称为视频编码设备。目的地设备120可以对源设备110生成的编码视频数据进行解码,目的地设备120可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备的源、用于从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统,或这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发送器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的地设备120。编码视频数据还可以存储在存储介质/服务器130b上,以供目的地设备120访问。
目的地设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可解码编码的视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目的地设备120集成,或者可以在目的地设备120外部,该目的地设备120被配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作,例如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其他当前和/或进一步的标准。
图16是示出了可以是图15所示的系统100中的视频编码器114的视频编码器200的示例的框图。
视频编码器200可被配置为执行本公开的任何或所有技术。在图16的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中,处理器可被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201、预测单元202,预测单元202可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206,残差生成单元207、变换单元208、量化单元209,逆量化单元210、逆变换单元211、重建单元212、缓冲器213和熵编解码单元214。
在其他示例中,视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块所在的图片。
此外,一些组件,例如运动估计单元204和运动补偿单元205可以是高度集成的,但是为了解释的目的在图5的示例中分别表示。
分割单元201可以将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以例如基于错误结果选择一种编解码模式(帧内或帧间),并将得到的帧内或帧间编码块提供给残差生成单元207以生成残差块数据,并提供给重建单元212以重建编码块以用作参考图片。在一些示例中,模式选择单元203可以选择帧内和帧间预测的组合(CIIP)模式,其中预测基于帧间预测信号和帧内预测信号。模式选择单元203还可以在帧间预测的情况下为块选择运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的图片的解码样本(与当前视频块相关联的图片除外)来确定当前视频块的预测视频块。
例如,运动估计单元204和运动补偿单元205可以根据当前视频块是在I条带、P条带还是B条带中,对当前视频块执行不同的操作。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后,运动估计单元204可以生成参考索引,该参考索引指示包含参考视频块的列表0或列表1中的参考图片以及指示当前视频块和参考视频块之间的空间位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块生成当前块的预测视频块。
在其他示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可以在列表1中的参考图片中搜索当前视频块的另一参考视频块。然后,运动估计单元204可以生成指示包含参考视频块的列表0和列表1中的参考图片的参考索引和指示参考视频块和当前视频块之间的空间位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出用于解码器的解码处理的运动信息的完整集合。
在一些示例中,运动估计单元204可以不输出当前视频的运动信息的完整集合。相反,运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与相邻视频块的运动信息足够相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示向视频解码器300指示当前视频块与另一视频块具有相同的运动信息的值。
在另一示例中,运动估计单元204可以在与当前视频块相关联的语法结构中标识另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量与所指示视频块的运动矢量之间的差。视频解码器300可以使用所指示视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述,视频编码器200可以预测地信令通知运动矢量。可由视频编码器200实施的预测信令技术的两个示例包括高级运动矢量预测(AMVP)和合并模式信令。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于同一图片中其他视频块的解码样本生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块减去(例如,由减号指示)当前视频块的预测视频块(多个)来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样本的不同样本分量的残差视频块。
在其他示例中,例如在跳过模式下,对于当前视频块,可以没有当前视频块的残差数据,并且残差生成单元207可以不执行减法操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值对与当前视频块相关联的变换系数视频块进行量化。
逆量化单元210和逆变换单元211可分别对变换系数视频块应用逆量化和逆变换,以从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样本中,以产生与当前块相关联的重建视频块,以存储在缓冲器213中。
在重建单元212重建视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编解码单元214可以从视频编码器200的其他功能组件接收数据。当熵编解码单元214接收到数据时,熵编解码单元214可以执行一个或多个熵编码操作以生成熵编码数据并输出包括熵编码数据的比特流。
图17是示出了可以是图15所示的系统100中的视频解码器114的视频解码器300的示例的框图。
视频解码器300可被配置为执行本公开的任何或所有技术。在图17的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中,处理器可被配置为执行本公开中描述的任何或所有技术。
在图17的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、重建单元306和缓冲器307。在一些示例中,视频解码器300可以执行与关于视频编码器200(例如,图16)描述的编码过程大体相反的解码过程。
熵解码单元301可以检索编码比特流。编码比特流可包括熵编解码视频数据(例如,视频数据的编码块)。熵解码单元301可以解码熵编解码视频数据,并且运动补偿单元302可以从熵解码视频数据确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如,运动补偿单元302可以通过执行AMVP和合并模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块,可能基于插值滤波器执行插值。可以在语法元素中包括以子像素精度使用的插值滤波器的标识符。
运动补偿单元302可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可以根据接收到的语法信息确定视频编码器200使用的插值滤波器,并使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于编码编码视频序列的帧(多个)和/或条带(多个)的块的大小、描述如何对编码视频序列的图片的每个宏块进行分割的分区信息、指示如何对每个分区进行编码的模式、用于每个帧间编码块的一个或多个参考帧(和参考帧列表),以及用于解码编码视频序列的其他信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空域相邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化(即,去量化)。逆变换单元303应用逆变换。
重建单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的相应预测块相加,以形成解码块。如果需要,还可以应用去块滤波器对解码块进行滤波,以去除块性伪影。解码视频块随后存储在缓冲器307中,缓冲器307为后续运动补偿/帧内预测提供参考块,并且还产生解码视频以在显示设备上呈现。
图18是示出其中可以实现本文公开的各种技术的示例性视频处理系统1800的框图。各种实现可以包括系统1800的部分或全部组件。系统1800可以包括用于接收视频内容的输入1802。视频内容可以原始或未压缩格式(例如,8位或10位多分量像素值)接收,或者可以压缩或编码格式接收。输入1802可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(例如以太网、无源光网络(PON))和无线接口(例如Wi-Fi或蜂窝接口)。
系统1800可以包括编解码组件1804,其可以实现在本文档中描述的各种编解码或编码方法。编解码组件1804可以降低视频从输入1802到编解码组件1804的输出的平均比特率,以产生视频的编解码表示。因此,编解码技术有时被称为视频压缩或视频转码技术。编解码组件1804的输出可以被存储,或者通过由组件1806表示的连接的通信信令通知。组件1808可以使用在输入1802处接收到的视频的存储或通信比特流(或编解码的)表示来生成发送到显示接口1810的像素值或可显示视频。从比特流表示生成用户可见视频的处理有时称为视频解压缩。此外,虽然某些视频处理操作被称为“编解码”操作或工具,但是应当理解的是,在编码器处使用编解码工具或操作,并且将由解码器执行反转编码结果的对应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中,例如移动电话、笔记本电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。
图19是根据本技术的用于视频处理的方法的流程图表示。方法1900包括,在操作1910处,对于视频的色度块和视频的比特流表示之间的转换,基于色度块的色度残差的联合编解码模式,基于色度块的色度残差的联合编解码模式,确定去方块滤波处理对色度块边缘处的至少一些样点的适用性。方法1900还包括,在操作1920处,基于确定执行转换。
在一些实施例中,指示色度残差的联合编解码的模式的值等于2。在一些实施例中,去方块滤波处理进一步使用视频单元级的一个或多个量化参数偏移,该视频单元包括图片、条带、片、砖块或子图片。
图20是根据本技术的用于视频处理的方法的流程图表示。方法2000包括,在操作2010,对于视频的当前块和视频的比特流表示之间的转换,基于当前块的对应的变换块的信息,确定在应用于当前块边缘的至少一些样点的去方块滤波处理中使用的色度量化参数。方法2000还包括,在操作2020,基于确定执行转换。
在一些实施例中,色度量化参数用于沿着当前块的边缘的第一侧去方块样点,并且色度量化参数基于位于第一侧的变换块的模式。在一些实施例中,第一侧被称为P侧,在边缘是水平边界的情况下,P侧包括位于边缘上方的样点,或者在边缘是垂直边界的情况下,P侧则包括位于边缘左侧的样点。在一些实施例中,色度量化参数用于沿着当前块的边缘的第二侧去方块样点,并且色度量化参数基于位于第二侧的变换块的模式。在一些实施例中,第二侧被称为Q侧,在边缘是水平边界的情况下,Q侧包括位于边缘下方的样点;在边缘是垂直边界的情况下,Q侧则包括位于边缘右侧的样点。
在一些实施例中,基于是否应用色度残差的联合编解码模式来确定色度量化参数。在一些实施例中,基于色度残差的联合编解码的模式是否等于2来确定色度量化参数。
图21是根据本技术的用于视频处理的方法的流程图表示。方法2100包括:在操作2110处,执行视频的当前块和视频的比特流表示之间的转换。在转换期间,应用于沿当前块的边缘的至少一些样点的去方块滤波处理中使用的第一色度量化参数是基于在缩放处理中使用的第二色度量化参数和与比特深度相关联的量化参数偏移。
在一些实施例中,第一色度量化参数等于在缩放处理中使用的第二量化参数减去与比特深度相关联的量化参数偏移。在一些实施例中,第一色度量化参数被用于沿着当前块的边缘的第一侧的去方块样点。在一些实施例中,第一侧被称为P侧,在边缘是水平边界的情况下,P侧包括位于边缘上方的样点,或者在边界是垂直边界的情况下,P侧则包括位于边缘左侧的样点。在一些实施例中,第一色度量化参数被用于沿着当前块的边缘的第二侧的去方块样点。在一些实施例中,第二侧被称为Q侧,在边缘是水平边界的情况下,Q侧包括位于边缘下方的样点;在边缘是垂直边界的情况下,Q侧则包括位于边缘右侧的样点。
在一些实施例中,第一色度量化参数等于缩放处理中使用的色度残差的联合编解码的第二量化参数减去与比特深度相关联的量化参数偏移。在一些实施例中,第一色度量化参数等于缩放处理中使用的色度Cb分量的第二量化参数减去与比特深度相关联的量化参数偏移。在一些实施例中,第一色度量化参数等于缩放处理中使用的色度Cr分量的第二量化参数减去与比特深度相关联的量化参数偏移。
图22是根据本技术的用于视频处理的方法的流程图表示。方法2200包括,在操作2210处,执行包括一个或多个编解码单元的视频和视频的比特流表示之间的转换。比特流表示符合格式规则,该格式规则指定根据格式规则在编解码单元级或变换单元级将色度量化参数包括在比特流表示中。
在一些实施例中,格式规则指定在编解码单元的尺寸大于虚拟管道数据单元的情况下,在编解码单元级包括色度量化参数。在一些实施例中,格式规则指定在编解码单元的尺寸大于或等于虚拟管道数据单元的情况下,在变换单元级包括色度量化参数。在一些实施例中,格式规则指定在编解码单元的尺寸大于最大变换块尺寸的情况下,在编解码单元级包括色度量化参数。在一些实施例中,格式规则指定在编解码单元的尺寸大于或等于最大变换块尺寸的情况下,在变换单元级包括色度量化参数。在一些实施例中,格式规则进一步规定在编解码单元级指示色度残差的联合编解码模式是否适用于一个或多个编解码单元的第一编解码单元。在一些实施例中,第一编解码单元内的变换块继承关于色度残差的联合编解码模式是否适用于第一编解码单元级的信息。
图23是根据本技术的用于视频处理的方法的流程图表示。方法2300包括:在操作2310处,执行视频块和视频的比特流表示之间的转换。比特流表示符合格式规则,该格式规则指定在比特流表示中的编解码单元级指示色度残差的联合编解码模式是否适用于块。
在一些实施例中,在转换期间,编解码单元内的变换块继承关于色度残差的联合编解码模式是否适用于编解码单元级的信息。
在一些实施例中,转换包括将视频编码成比特流表示。在一些实施例中,转换包括将比特流表示解码为视频。
所公开技术的一些实施例包括作出决定或确定以启用视频处理工具或模式。在一个示例中,当视频处理工具或模式被启用时,编码器将在视频块的处理中使用或实现该工具或模式,但不一定基于工具或模式的使用来修改所得比特流。也就是说,当基于该决定或确定被启用时,从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一示例中,当视频处理工具或模式被启用时,解码器将在知道比特流已基于视频处理工具或模式被修改的情况下处理比特流。也就是说,将使用基于该决定或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括作出禁用视频处理工具或模式的决定或确定。在示例中,当视频处理工具或模式被禁用时,编码器将不在将视频块转换为视频的比特流表示时使用该工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将在知道比特流没有使用基于该决定或确定而被启用的视频处理工具或模式修改的情况下处理比特流。
本文档中描述公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现,包括本文档中所公开的结构及其结构等效体,或其中一个或多个的组合。所公开的和其它实施例可以实现为一个或多个计算机程序产品,即一个或多个编码在计算机可读介质上的计算机程序指令的模块,以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外,该装置还可以包括为计算机程序创建执行环境的代码,例如,构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号,例如,机器生成的电、光或电磁信号,其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行,这些计算机位于一个站点上或分布在多个站点上,并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行,该处理器执行一个或多个计算机程序,通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行,并且装置也可以实现为特殊用途的逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适于执行计算机程序的处理器包括通用和专用微处理器,以及任何类型数字计算机的任何一个或多个。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常,计算机还将包括一个或多个用于存储数据的大容量存储设备,例如,磁盘、磁光盘或光盘,或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备,或两者兼有。然而,计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如,内部硬盘或可移动硬盘;磁光盘;以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充,或合并到专用逻辑电路中。
虽然本专利文件包含许多细节,但不应将其解释为对任何主题或权利要求范围的限制,而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反,在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施,或在任何合适的子组合中实施。此外,尽管上述特征可以描述为在某些组合中起作用,甚至最初要求是这样,但在某些情况下,可以从组合中移除权利要求组合中的一个或多个特征,并且权利要求的组合可以指向子组合或子组合的变体。
同样,尽管附图中以特定顺序描述了操作,但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作,或执行所有说明的操作。此外,本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例,其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (18)

1.一种处理视频数据的方法,包括:
在包括一个或多个编解码单元的视频和所述视频的比特流之间执行转换,
其中,所述比特流符合格式规则,所述格式规则规定对于所述一个或多个编解码单元中的第一编解码单元的色度块,根据所述格式规则允许将色度量化参数包括在所述比特流的块级别中;并且
其中,所述格式规则还规定在变换单元级指示色度Cb残差和色度Cr残差的联合编解码模式是否适用于所述第一编解码单元。
2.根据权利要求1所述的方法,其中,所述格式规则规定,对于所述色度块,在所述编解码单元的高度或宽度大于虚拟管道数据单元的大小的情况下,允许将所述色度量化参数包括在所述块级别中。
3.根据权利要求2所述的方法,其中,所述块级别是编解码单元级或变换单元级。
4.根据权利要求1所述的方法,其中,基于缩放处理中使用的第二色度量化参数和与所述视频的比特深度相关联的量化参数偏移,确定应用于沿所述第一编解码单元的边缘的至少一些样点的去方块滤波处理中使用的第一色度量化参数,
其中所述缩放处理包括:
在编码期间对表示当前块的至少一些系数应用量化;或
在解码期间对来自所述比特流的至少一些系数应用去量化。
5.根据权利要求4所述的方法,其中,所述第一色度量化参数等于在所述缩放处理中使用的第二量化参数减去与所述视频的比特深度相关联的量化参数偏移。
6.根据权利要求4所述的方法,其中,在指示色度Cb残差和色度Cr残差的联合编解码模式的第一变量的值等于2的情况下,所述第一色度量化参数等于所述缩放处理中使用的色度Cb残差和色度Cr残差的联合编解码模式的第三量化参数减去与所述视频的比特深度相关联的量化参数偏移。
7.根据权利要求1所述的方法,其中,所述转换包括将所述视频编码到所述比特流中。
8.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述视频。
9.一种用于处理视频数据的装置,包括处理器和其上带有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使所述处理器:
在包括一个或多个编解码单元的视频和所述视频的比特流之间执行转换,
其中,所述比特流符合格式规则,所述格式规则规定对于所述一个或多个编解码单元中的第一编解码单元的色度块,根据所述格式规则允许将色度量化参数包括在所述比特流的块级别中;并且
其中,所述格式规则还规定在变换单元级指示色度Cb残差和色度Cr残差的联合编解码模式是否适用于所述第一编解码单元。
10.根据权利要求9所述的装置,其中,所述格式规则规定,对于所述色度块,在所述第一编解码单元的高度或宽度大于虚拟管道数据单元的大小的情况下,允许将所述色度量化参数包括在所述块级别中;并且
其中,所述块级别是编解码单元级或所述变换单元级。
11.根据权利要求10所述的装置,其中,基于缩放处理中使用的第二色度量化参数和与所述视频的比特深度相关联的量化参数偏移,确定应用于沿所述第一编解码单元的边缘的至少一些样点的去方块滤波处理中使用的第一色度量化参数,并且其中所述缩放处理包括:在编码期间对表示当前块的至少一些系数应用量化;或在解码期间对来自所述比特流的至少一些系数应用去量化;
其中,所述第一色度量化参数等于在所述缩放处理中使用的第二量化参数减去与所述视频的比特深度相关联的量化参数偏移;并且
其中,在指示色度Cb残差和色度Cr残差的联合编解码模式的第一变量的值等于2的情况下,所述第一色度量化参数等于所述缩放处理中使用的色度Cb残差和色度Cr残差的联合编解码模式的第三量化参数减去与所述视频的比特深度相关联的量化参数偏移。
12.一种存储指令的非暂时性计算机可读存储介质,所述指令使处理器:
在包括一个或多个编解码单元的视频和所述视频的比特流之间执行转换,
其中,所述比特流符合格式规则,所述格式规则规定对于所述一个或多个编解码单元中的第一编解码单元的色度块,根据所述格式规则允许将色度量化参数包括在所述比特流的块级别中;并且
其中,所述格式规则还规定在变换单元级指示色度Cb残差和色度Cr残差的联合编解码模式是否适用于所述第一编解码单元。
13.根据权利要求12所述的非暂时性计算机可读存储介质,其中,所述格式规则规定,对于所述色度块,在所述编解码单元的高度或宽度大于虚拟管道数据单元的大小的情况下,允许将所述色度量化参数包括在所述块级别中;并且
其中,所述格式规则还规定在块级别指示色度Cb残差和色度Cr残差的联合编解码模式是否适用于所述第一编解码单元;并且
其中,所述块级别是编解码单元级或所述变换单元级。
14.根据权利要求13所述的非暂时性计算机可读存储介质,其中,基于缩放处理中使用的第二色度量化参数和与所述视频的比特深度相关联的量化参数偏移,确定应用于沿所述第一编解码单元的边缘的至少一些样点的去方块滤波处理中使用的第一色度量化参数,并且其中所述缩放处理包括:在编码期间对表示当前块的至少一些系数应用量化;或在解码期间对来自所述比特流的至少一些系数应用去量化;
其中,所述第一色度量化参数等于在所述缩放处理中使用的第二量化参数减去与所述视频的比特深度相关联的量化参数偏移;并且
其中,在指示色度Cb残差和色度Cr残差的联合编解码模式的第一变量的值等于2的情况下,所述第一色度量化参数等于所述缩放处理中使用的色度Cb残差和色度Cr残差的联合编解码模式的第三量化参数减去与所述视频的比特深度相关联的量化参数偏移。
15.一种存储视频的比特流的非暂时性计算机可读记录介质,所述比特流由视频处理装置执行一种方法生成,其中所述方法包括:
为包括一个或多个编解码单元的视频生成所述比特流,
其中,所述比特流符合格式规则,所述格式规则规定对于所述一个或多个编解码单元中的第一编解码单元的色度块,根据所述格式规则允许将色度量化参数包括在所述比特流的块级别中;并且
其中,所述格式规则还规定在变换单元级指示色度Cb残差和色度Cr残差的联合编解码模式是否适用于所述第一编解码单元。
16.根据权利要求15所述的非暂时性计算机可读记录介质,其中,所述格式规则规定,对于所述色度块,在所述第一编解码单元的高度或宽度大于虚拟管道数据单元的大小的情况下,允许将所述色度量化参数包括在所述块级别中;并且
其中,所述块级别是编解码单元级或所述变换单元级。
17.根据权利要求16所述的非暂时性计算机可读记录介质,其中,基于缩放处理中使用的第二色度量化参数和与所述视频的比特深度相关联的量化参数偏移,确定应用于沿所述第一编解码单元的边缘的至少一些样点的去方块滤波处理中使用的第一色度量化参数,并且其中所述缩放处理包括:在编码期间对表示当前块的至少一些系数应用量化;或在解码期间对来自所述比特流的至少一些系数应用去量化;
其中,所述第一色度量化参数等于在所述缩放处理中使用的第二量化参数减去与所述视频的比特深度相关联的量化参数偏移;并且
其中,在指示色度Cb残差和色度Cr残差的联合编解码模式的第一变量的值等于2的情况下,所述第一色度量化参数等于所述缩放处理中使用的色度Cb残差和色度Cr残差的联合编解码模式的第三量化参数减去与所述视频的比特深度相关联的量化参数偏移。
18.一种用于存储比特流的方法,包括:
为包括一个或多个编解码单元的视频生成所述比特流;以及
将所述比特流存储在非暂时性计算机可读存储介质中,
其中,所述比特流符合格式规则,所述格式规则规定对于所述一个或多个编解码单元中的第一编解码单元的色度块,根据所述格式规则允许将色度量化参数包括在所述比特流的块级别中;并且
其中,所述格式规则还规定在变换单元级指示色度Cb残差和色度Cr残差的联合编解码模式是否适用于所述第一编解码单元。
CN202080072432.7A 2019-10-14 2020-10-13 在视频编解码中使用色度量化参数的方法、装置及介质 Active CN114586370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/111115 2019-10-14
CN2019111115 2019-10-14
PCT/US2020/055332 WO2021076478A1 (en) 2019-10-14 2020-10-13 Using chroma quantization parameter in video coding

Publications (2)

Publication Number Publication Date
CN114586370A CN114586370A (zh) 2022-06-03
CN114586370B true CN114586370B (zh) 2024-01-23

Family

ID=75538852

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080072268.XA Active CN114556924B (zh) 2019-10-14 2020-10-13 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
CN202311473550.0A Pending CN117528080A (zh) 2019-10-14 2020-10-13 视频处理中色度残差的联合编解码与滤波
CN202080072432.7A Active CN114586370B (zh) 2019-10-14 2020-10-13 在视频编解码中使用色度量化参数的方法、装置及介质

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202080072268.XA Active CN114556924B (zh) 2019-10-14 2020-10-13 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
CN202311473550.0A Pending CN117528080A (zh) 2019-10-14 2020-10-13 视频处理中色度残差的联合编解码与滤波

Country Status (6)

Country Link
US (3) US11622120B2 (zh)
EP (2) EP4029273A4 (zh)
JP (3) JP2022552338A (zh)
KR (2) KR20220073746A (zh)
CN (3) CN114556924B (zh)
WO (2) WO2021076478A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019188944A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
BR112021010416A2 (pt) * 2019-08-23 2021-08-24 Huawei Technologies Co., Ltd. Codificador, decodificador e métodos correspondentes para realizar desblocagem de croma para blocos que usam codificação de croma em conjunto
WO2021072177A1 (en) 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
CN114556924B (zh) 2019-10-14 2024-01-26 字节跳动有限公司 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
WO2021091214A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
KR20220106116A (ko) 2019-12-09 2022-07-28 바이트댄스 아이엔씨 비디오 코딩에서 양자화 그룹 사용
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
US11722675B2 (en) * 2020-12-29 2023-08-08 Qualcomm Incorporated Sign prediction for multiple color components in video coding
US11683530B2 (en) * 2021-03-19 2023-06-20 Tencent America LLC Adaptive non-linear mapping for sample offset
WO2023171940A1 (ko) * 2022-03-08 2023-09-14 현대자동차주식회사 적응적 크로마컨버전을 이용하는 비디오 코딩을 위한 방법과 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584560A (zh) * 2012-07-02 2015-04-29 微软公司 在去块时使用色度量化参数偏移
CN106105205A (zh) * 2014-03-14 2016-11-09 高通股份有限公司 用于颜色空间转换译码的量化参数
CN106416249A (zh) * 2014-06-11 2017-02-15 高通股份有限公司 在视频译码中确定用于经调色板译码块的量化参数(qp)值和差量qp值
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
CN108293124A (zh) * 2015-11-30 2018-07-17 瑞典爱立信有限公司 视频中画面的编码
CN109076210A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 视频编解码的当前图像参考的方法和装置
WO2019009776A1 (en) * 2017-07-05 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) DECODING VIDEO SAMPLE BLOCK

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512953A (en) * 1994-08-09 1996-04-30 At&T Corp. Method and apparatus for conversion of compressed bit stream representation of video signal
US7123655B2 (en) 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US7190723B2 (en) 2002-03-27 2007-03-13 Scientific-Atlanta, Inc. Digital stream transcoder with a hybrid-rate controller
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US20040146108A1 (en) 2003-01-23 2004-07-29 Shih-Chang Hsia MPEG-II video encoder chip design
US7227585B1 (en) 2003-12-30 2007-06-05 Conexant Systems, Inc. Luminance and chrominance separation system
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US9185426B2 (en) 2008-08-19 2015-11-10 Broadcom Corporation Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
JP2011259362A (ja) 2010-06-11 2011-12-22 Sony Corp 画像処理装置および方法
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
US8891617B2 (en) 2011-01-18 2014-11-18 Google Inc. Method and system for processing video data
US10409892B2 (en) * 2011-01-26 2019-09-10 Microsoft Technology Licensing, Llc Formatting data by example
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
JP5936939B2 (ja) 2011-07-14 2016-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像符号化方法および画像復号化方法
US8964833B2 (en) 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding
US9510020B2 (en) * 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US9161046B2 (en) 2011-10-25 2015-10-13 Qualcomm Incorporated Determining quantization parameters for deblocking filtering for video coding
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US20140321552A1 (en) 2011-11-18 2014-10-30 Dolby Laboratories Licensing Corporation Optimization of Deblocking Filter Parameters
CN108449602A (zh) * 2012-01-19 2018-08-24 寰发股份有限公司 编码块旗标的编码及视频比特流的解码方法与装置
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9451258B2 (en) * 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
EP2837186B1 (en) * 2012-04-12 2018-08-22 HFI Innovation Inc. Method and apparatus for block partition of chroma subsampling formats
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9414054B2 (en) * 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
GB2506852B (en) * 2012-09-28 2015-09-30 Canon Kk Method and device for determining the value of a quantization parameter
TWI610574B (zh) 2012-09-29 2018-01-01 微軟技術授權有限責任公司 於解塊中色度量化參數偏移之使用
JP2014116733A (ja) 2012-12-07 2014-06-26 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
EP2941871A2 (en) 2013-01-07 2015-11-11 VID SCALE, Inc. Enhanced deblocking filters for video coding
US9225991B2 (en) 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
US11323747B2 (en) 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
US20140376611A1 (en) 2013-06-21 2014-12-25 Qualcomm Incorporated Adaptive color transforms for video coding
US9294766B2 (en) * 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
CA2939434C (en) 2014-03-04 2021-02-16 Microsoft Techology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
WO2015139010A1 (en) 2014-03-14 2015-09-17 Vid Scale, Inc. Systems and methods for rgb video coding enhancement
AU2014202921B2 (en) 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US9924175B2 (en) * 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US20150373327A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
WO2016056977A1 (en) 2014-10-06 2016-04-14 Telefonaktiebolaget L M Ericsson (Publ) Coding and deriving quantization parameters
US10057578B2 (en) 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
CN107534783B (zh) * 2015-02-13 2020-09-08 联发科技股份有限公司 图像中区块的调色板索引图编解码方法
US20160286226A1 (en) 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP6651005B2 (ja) * 2015-09-23 2020-02-19 テレフオンアクチーボラゲット エルエム エリクソン(パブル) Qp値の決定
US20170105014A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Luma-driven chroma scaling for high dynamic range and wide color gamut contents
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
US10419755B2 (en) 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
CN112689147B (zh) * 2016-05-28 2023-10-13 寰发股份有限公司 视频数据处理方法以及装置
WO2018018486A1 (en) 2016-07-28 2018-02-01 Mediatek Inc. Methods of reference quantization parameter derivation for signaling of quantization parameter in quad-tree plus binary tree structure
US20180041778A1 (en) 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10419757B2 (en) 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
US10708591B2 (en) 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video
EP3643063A1 (en) 2017-06-21 2020-04-29 Vid Scale, Inc. Adaptive quantization for 360-degree video coding
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
US11019339B2 (en) 2017-07-12 2021-05-25 Futurewei Technologies, Inc. Fractional quantization parameter offset in video compression
GB2575090A (en) * 2018-06-28 2020-01-01 Canon Kk Method and apparatus for deblocking filtering a block of pixels
US10616577B2 (en) * 2017-10-16 2020-04-07 Intel Corporation Adaptive video deblocking
US10812798B2 (en) * 2017-10-19 2020-10-20 Qualcomm Incorporated Chroma quantization parameter (QP) offset
WO2019089695A1 (en) 2017-11-01 2019-05-09 Vid Scale, Inc. Methods for simplifying adaptive loop filter in video coding
US10972729B2 (en) 2018-01-20 2021-04-06 Qualcomm Incorporated Deblocking filter selection and application in video coding
US20190238845A1 (en) 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
MX2020007868A (es) * 2018-01-26 2020-09-07 Interdigital Vc Holdings Inc Metodo y aparato para codificacion y decodificacion de video basado en un modelo lineal receptivo a muestras vecinas.
WO2019188944A1 (en) 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
US10708592B2 (en) 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
EP3554074A1 (en) 2018-04-13 2019-10-16 Thomson Licensing Methods and apparatus for depth encoding and decoding
KR101997681B1 (ko) 2018-06-11 2019-07-08 광운대학교 산학협력단 양자화 파라미터 기반의 잔차 블록 부호화/복호화 방법 및 장치
US20200213570A1 (en) 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113508396A (zh) 2019-02-27 2021-10-15 华为技术有限公司 视频译码中的亮度映射与色度缩放自适应参数集
JP7288071B2 (ja) 2019-03-02 2023-06-06 北京字節跳動網絡技術有限公司 ビデオ処理方法、装置及び記憶媒体
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
AU2020248837B2 (en) 2019-03-24 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Nonlinear adaptive loop filtering in video processing
WO2020192726A1 (en) 2019-03-27 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. History-based motion vector prediction
US11546587B2 (en) 2019-04-11 2023-01-03 Mediatek Inc. Adaptive loop filter with adaptive parameter set
WO2020211769A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Clipping parameter derivation in adaptive loop filter
CN113767623B (zh) 2019-04-16 2024-04-02 北京字节跳动网络技术有限公司 用于视频编解码的自适应环路滤波
MX2021013065A (es) 2019-04-25 2022-04-12 Op Solutions Llc Vector de movimiento global restringido en la prediccion inter.
US11381819B2 (en) * 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
BR112021010416A2 (pt) 2019-08-23 2021-08-24 Huawei Technologies Co., Ltd. Codificador, decodificador e métodos correspondentes para realizar desblocagem de croma para blocos que usam codificação de croma em conjunto
WO2021041156A1 (en) * 2019-08-23 2021-03-04 Tencent America LLC Method and apparatus for video coding
CN114600466A (zh) 2019-08-29 2022-06-07 Lg电子株式会社 基于交叉分量滤波的图像编码设备和方法
US20210076032A1 (en) * 2019-09-09 2021-03-11 Qualcomm Incorporated Filter shapes for cross-component adaptive loop filter with different chroma formats in video coding
MX2022002815A (es) 2019-09-14 2022-04-06 Bytedance Inc Parametro de cuantificacion para filtrado de desbloqueo de croma.
WO2021061496A1 (en) 2019-09-24 2021-04-01 Futurewei Technologies, Inc. Sei message dependency simplification in video coding
CN114556924B (zh) 2019-10-14 2024-01-26 字节跳动有限公司 视频处理中色度残差的联合编解码与滤波的方法、装置及介质
CA3162821A1 (en) 2019-12-23 2021-07-01 Anand Meher Kotra Cross-component adaptive loop filtering for video coding
US11375200B2 (en) 2019-12-24 2022-06-28 Tencent America LLC Video coding method and device for controlling color component processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584560A (zh) * 2012-07-02 2015-04-29 微软公司 在去块时使用色度量化参数偏移
CN106105205A (zh) * 2014-03-14 2016-11-09 高通股份有限公司 用于颜色空间转换译码的量化参数
CN106416249A (zh) * 2014-06-11 2017-02-15 高通股份有限公司 在视频译码中确定用于经调色板译码块的量化参数(qp)值和差量qp值
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
CN108293124A (zh) * 2015-11-30 2018-07-17 瑞典爱立信有限公司 视频中画面的编码
CN109076210A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 视频编解码的当前图像参考的方法和装置
WO2019009776A1 (en) * 2017-07-05 2019-01-10 Telefonaktiebolaget Lm Ericsson (Publ) DECODING VIDEO SAMPLE BLOCK

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross等.Versatile Video Coding (Draft 6).Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 Document: JVET-O2001-vE.2019,摘要、第7.3.8.10、10.1.2.3、15.1.1.3节. *
Jie Zhao等.AHG15: On CU Adaptive Chroma QP Offset Signalling.Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 Document: JVET-P0436.2019,摘要、第1-4节. *
Jizheng Xu等.Non-CE5: Chroma QP derivation fix for deblocking filter (Combination of JVET-P0105 and JVET-P0539).Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 Document: JVET-P1002.2019,摘要、第1-3节. *
Yu Han.Cu level chroma QP control for VVC.Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 Document: JVET-O1168.2019,摘要、第2-3节. *

Also Published As

Publication number Publication date
JP7443509B2 (ja) 2024-03-05
JP2022552338A (ja) 2022-12-15
JP2024015130A (ja) 2024-02-01
US20240107038A1 (en) 2024-03-28
US20220264122A1 (en) 2022-08-18
CN114586370A (zh) 2022-06-03
US20220272347A1 (en) 2022-08-25
WO2021076478A1 (en) 2021-04-22
JP2022552339A (ja) 2022-12-15
KR20220073746A (ko) 2022-06-03
EP4029264A1 (en) 2022-07-20
WO2021076475A1 (en) 2021-04-22
CN117528080A (zh) 2024-02-06
KR20220073745A (ko) 2022-06-03
CN114556924A (zh) 2022-05-27
EP4029264A4 (en) 2022-11-23
EP4029273A4 (en) 2023-03-15
CN114556924B (zh) 2024-01-26
EP4029273A1 (en) 2022-07-20
US11622120B2 (en) 2023-04-04

Similar Documents

Publication Publication Date Title
CN114586370B (zh) 在视频编解码中使用色度量化参数的方法、装置及介质
CN114402601B (zh) 色度去块滤波的量化参数偏移的方法及装置
CN114902657A (zh) 视频编解码中的自适应颜色变换
WO2021110116A1 (en) Prediction from multiple cross-components
US20230300380A1 (en) Cross-component adaptive loop filtering in video coding
JP2024023426A (ja) ビデオコーディングにおける量子化グループの使用
CN117544777A (zh) 用于视频编解码的跨分量自适应环路滤波
CN114503597B (zh) 视频编解码中的色度去方块方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant