CN114072849A - 屏幕内容编解码中的色度帧内模式推导 - Google Patents

屏幕内容编解码中的色度帧内模式推导 Download PDF

Info

Publication number
CN114072849A
CN114072849A CN202080047877.XA CN202080047877A CN114072849A CN 114072849 A CN114072849 A CN 114072849A CN 202080047877 A CN202080047877 A CN 202080047877A CN 114072849 A CN114072849 A CN 114072849A
Authority
CN
China
Prior art keywords
mode
block
video
palette
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080047877.XA
Other languages
English (en)
Other versions
CN114072849B (zh
Inventor
朱维佳
张莉
许继征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ByteDance Inc
Original Assignee
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ByteDance Inc filed Critical ByteDance Inc
Priority to CN202311473526.7A priority Critical patent/CN117714698A/zh
Publication of CN114072849A publication Critical patent/CN114072849A/zh
Application granted granted Critical
Publication of CN114072849B publication Critical patent/CN114072849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了一种视频处理的方法。方法包含:为作为色度块且以色度DM模式编解码的视频的当前视频块,根据与当前视频块的编解码模式相关的规则推导当前视频块的帧内预测模式;以及进行所述当前视频块与所述视频的编解码表示之间的转换,其中规则指定基于用于推导色度DM模式且使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示编解码的对应的亮度块的帧内预测方向来推导帧内预测模式。

Description

屏幕内容编解码中的色度帧内模式推导
相关申请的交叉引用
根据适用于巴黎公约的适用专利法和/或细则,本申请及时要求2019年6月28日提交的国际专利申请号PCT/CN2019/093852和于2019年6月29日提交的国际专利申请号PCT/CN2019/093982的优先权和权益。出于法律的所有目的,上述申请的全部公开内容通过引用作为本申请的公开内容的一部分并入。
技术领域
本文档涉及视频和图像编解码和解码技术。
背景技术
数字视频占据互联网和其他数字通信网络上使用的最大带宽。随着所连接的能够接收和显示视频的用户装置的数目增大,期望对数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可以由视频或图像解码器或编码器实施例使用,其中调色板编解码模式被用于编解码或解码视频。
在一个示例性方面中,公开了一种视频处理方法。方法包含:为作为色度块且以色度DM模式编解码的视频的当前视频块,根据与所述当前视频块的编解码模式相关的规则,推导当前视频块的帧内预测模式;以及进行所述当前视频块与所述视频的编解码表示之间的转换,其中规则指定基于用于推导色度DM模式且使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示编解码的对应的亮度块的帧内预测方向来推导帧内预测模式。
在另一示例性方面中,公开了另一视频处理方法。方法包含:进行作为色度块的视频的当前视频块与视频的编解码表示之间的转换,其中由于当前视频块的对应的亮度视频块是以非帧内模式编解码的,因此使用用于生成当前视频块的预测块的帧内预测方法。
在又一示例性方面中,公开了另一视频处理方法。方法包含为视频的图片的当前视频块与视频的编解码表示之间的转换,基于当前视频块的特性,配置指示对当前视频块使用帧内块复制(IBC)模式的语法元素的一个或多个上下文;以及基于所述配置进行转换,并且其中使用IBC模式包含使用图片中的另一视频块的之前编解码的样点来预测当前视频块的样点值。
在又一示例性方面中,公开了另一视频处理方法。方法包含:为视频的当前视频块与视频的编解码表示之间的转换,基于与当前视频块的邻接块相关联的第二语法元素,配置用于编解码与第一语法元素相关联的二进制位的上下文模型;并且基于配置进行转换。
在又一示例性方面中,公开了另一视频处理方法。方法包含进行视频的当前视频块与视频的编解码表示之间的转换,其中标志被确定为指示所述编解码表示是否包含所述当前视频块的非零系数,所述当前视频块使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示以所述编解码表示来表示。
在又一示例性方面中,公开了另一视频处理方法。方法包含进行作为色度块的视频的当前视频块与视频的编解码表示之间的转换,其中由于用于推导色度DM模式的对应的亮度块且不是用帧内模式编解码的,因此禁用当前视频块的色度DM模式。
在又一示例性方面中,公开了另一视频处理方法。方法包含:根据规则进行作为色度块的视频的当前视频块与视频的编解码表示之间的转换,其中使用用推导的模式计算的预测块在所述编解码表示中表示所述当前视频块,其中所述预测块的模式是从对应的亮度块的编解码信息推导的;并且其中规则指定,由于推导的模式的使用,通过假设当前视频块具有无效块矢量而确定预测块。
在又一示例性方面中,公开了另一视频处理方法。方法包含:为视频的当前视频块与视频的编解码表示之间的转换,根据规则确定当前视频块的默认帧内模式;以及使用默认帧内模式进行转换。
在又一示例性方面中,公开了另一视频处理方法。方法包含:在构造最可能模式(MPM)列表期间,由于邻接块是以脉冲编解码调制(PCM)模式编解码的,因此确定视频的当前视频块是用直接当前(DC)预测模式编解码的,在脉冲编解码调制(PCM)模式中样点值被量化;以及进行当前视频块与视频的编解码表示之间的转换。
在又一示例性方面中,公开了视频处理的另一方法。方法包含:为视频的当前视频块与视频的编解码表示之间的转换,基于当前视频块的一个或多个邻接块的编解码信息,确定使用三角分割模式(TPM)的过程和/或运动储存过程的适用性;以及基于确定进行转换,并且其中使用TPM包含将视频块划分为包含至少一个非矩形分割的子分割。
在另一示例性方面中,上述方法可以由包括处理器的视频解码器设备实现。
在另一示例性方面中,上述方法可以由包括处理器的视频编码器设备实现。
在又一示例性方面中,这些方法可以实施为处理器可执行指令的形式,并且储存在计算机可读储存介质上。
在本文档中进一步描述了这些和其他方面。
附图说明
图1示出了帧内块复制的图示。
图2示出了空域邻接候选的示例。
图3示出了以调色板模式编解码的块的示例。
图4示出了调色板预测器对信令通知调色板条目的示例性用途。
图5示出了水平和垂直遍历扫描的示例。
图6示出了调色板索引的编解码的示例。
图7示出了多类型树划分模式的示例。
图8示出了滤波开/关决定和强/弱滤波选择中涉及的像素的示例。
图9示出了与帧内预测组合的调色板模式的示例性方法实现方式。
图10示出了复合调色板模式的示例性实现方式。
图11示出了帧内预测的67个模式(方向)的示例。
图12示出了当前视频块的左侧和上方邻接的示例。
图13示出了色度块的对应的亮度区域的示例。
图14示出了基于三角形分割的帧间预测的示例。
图15示出了用于构建单向预测候选列表的空域和时域邻接块的示例。
图16示出了混合过程中使用的权重的示例。
图17A和图17B是视频处理设备的示例的框图。
图18A至图18G是基于所公开的技术的一些实现方式的视频处理方法的示例的流程图。
具体实施方式
本文件提供了可由图像或视频比特流的解码器用来改善解压缩或解码的数字视频或图像的质量的各种技术。为了简洁起见,术语“视频”在本文中用于包括图片序列(传统上称为视频)和单个图像。此外,视频编码器还可在编码过程期间实现这些技术,以便重建用于进一步编码的解码帧。
在本文件中使用章节标题是为了易于理解,并且不将实施例和技术限于相应的章节。这样,一个部分的实施例可以与其他部分的实施例组合。
1概述
该专利文件涉及视频编解码技术。具体地,其涉及视频编解码中的调色板编解码。它可以应用于现有的视频编解码标准(例如HEVC),或者最终确定的标准(通用视频编解码)。它也可能适用于未来的视频编解码标准或视频编码器。
2初始讨论
视频编解码标准主要通过公知的ITU-T和ISO/IEC标准的发展而发展。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4Visual,这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4增强视频编解码(AVC)和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中利用了时域预测和变换编解码。为了探索HEVC之外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,JVET采纳了许多新方法并将其引入到名为“联合探索模型”(JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立,以致力于VVC标准,其目标是与HEVC相比降低50%比特率。
最新版本的VVC草案,即,多功能视频编解码(草案4)可以在以下地址找到:
phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755
VVC的最新参考软件,名为VTM,可以在以下地址找到:
vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0
2.1帧内块复制
HEVC屏幕内容编解码扩展(HEVC-SCC)和当前VVC测试模型(VTM-4.0)已采用了帧内块复制(IBC),又称当前图片参考。IBC将运动补偿的概念从帧间编解码扩展到了帧内编解码。如图1所示,当应用IBC时,当前块由同一图片中的参考块预测。在对当前块进行编解码或解码之前,必须已经重建了参考块中的样点。尽管IBC对于大多数相机捕获的序列而言效率不高,但它示出了屏幕内容的显着编解码增益。原因是屏幕内容图片中有很多重复的模式,诸如图标和文本字符。IBC可以有效地消除这些重复模式之间的冗余。在HEVC-SCC中,如果选择当前图片作为其参考图片,则帧间编解码的编解码单元(CU)可以应用IBC。在这种情况下,运动矢量MV被重命名为块矢量(BV),并且BV始终具有整数像素精度。为了与主配置文件HEVC兼容,当前图片在解码图片缓冲器(Decoded Picture Buffer,DPB)中被标记为“长期”参考图片。应当注意,类似地,在多视图/3D视频编解码标准中,视图间参考图片也被标记为“长期”参考图片。
在BV找到其参考块之后,可以通过复制参考块来生成预测。可以通过从原始信号中减去参考像素来获得残差。然后,可以像在其他编解码模式中一样应用变换和量化。
图1示出了帧内块复制的图示。
然而,当参考块在图片之外、或与当前块重叠、或在重建区域之外、或在受某些约束限制的有效区域之外时,未定义部分或全部像素值。基本上,有两种解决此问题的解决方案。一种是禁止这种情况,例如在比特流一致性中。另一种是对那些未定义的像素值应用填充。以下子章节详细描述了解决方案。一致性
2.2 HEVC屏幕内容编解码扩展中的IBC
在HEVC的屏幕内容编解码扩展中,当块使用当前图片作为参考时,应当确保整个参考块在可用重建区域内,如以下规范文本所指示:
变量offsetX和offsetY如下推导:
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (2-1)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (2-2)
比特流一致性要求为,当参考图片是当前图片时,亮度运动矢量mvLX应遵守以下约束:
–当用以下调用如条款6.4.1中指定的z扫描顺序块可用性的推导过程时,(xCurr,yCurr)设定为等于(xCb,yCb)且邻接亮度位置(xNbY,yNbY)设定为等于(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)作为输入,输出应等于TRUE。
–当用以下调用如条款6.4.1所指定的z扫描顺序块可用性的推导过程时,(xCurr,yCurr)设定为等于(xCb,yCb)且邻接亮度位置(xNbY,yNbY)设定为等于(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)作为输入,输出应等于TRUE。
–以下条件中的一个或两个应为真:
–(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。
–(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。
–以下条件应为真:
(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=
yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY (2-3)
因此,参考块与当前块重叠或参考块在图片之外的情况将不会发生。不需要填充参考或预测块。
2.3 VVC测试模式中的IBC
在当前的VVC测试模型(即VTM-4.0设计)中,整个参考块应与当前的编解码树单元(CTU)重叠,且不与当前块重叠。因此,不需要填充参考或预测块。IBC标志被编解码为当前CU的预测模式。因此,每个CU总共存在三种预测模式:MODE_INTRA\MODE_INTER和MODE_IBC。
2.3.1IBC Merge模式
在IBC Merge模式中,指向IBC Merge候选列表中的条目的索引被从比特流解析。IBC Merge列表的构建可以根据以下步骤序列概括:
●步骤1:推导空域候选
●步骤2:插入HMVP候选
●步骤3:插入成对平均候选
在空域Merge候选的推导中,在位于A1,B1,B0,A0和B2描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A1,B1,B0,A0和B2。仅当位置A1,B1,B0,A0的任何PU不可用(例如,因为它属于另一条带或区块)或者没有用IBC模式进行编解码时,才考虑位置B2。在添加位置A1处的候选之后,对剩余候选的插入进行冗余校验,其确保具有相同运动信息的候选被排除在列表之外,使得编解码效率提高。为了降低计算复杂度,在所提到的冗余校验中并未考虑所有可能的候选对。相反,仅考虑附图中描绘的用箭头连接的对,并且仅在用于冗余校验的对应候选具有不一样的运动信息时,才将候选添加到列表。
在插入空域候选之后,如果IBC Merge列表尺寸仍小于最大IBC Merge列表尺寸,则可以插入来自HMVP表的IBC候选。插入HMVP候选时执行冗余检查。
最后,将成对平均候选插入IBC Merge列表。
当由Merge候选标识的参考块在图片之外、或者与当前块重叠、或者在重建区域之外、或者在受某些约束限制的有效区域之外时,Merge候选被称为无效Merge候选。
注意,无效Merge候选可以被插入到IBC Merge列表中。
JVET-N0843被采用到VVC。在JVET-N0843中。IBC中的Merge模式和AMVP模式的BV预测器将共用共同的预测器列表,其由以下元素构成:
●2个空域邻接位置(如图2中的A1、B1)
●5个HMVP条目
●默认的零矢量
对于Merge模式,将使用该列表的多至最前6个条目;对于AMVP模式,将使用该列表的最前2个条目。并且该列表遵循共用的Merge列表区域要求(在SMR内共用相同列表)。
除上述BV预测器候选列表之外,JVET-N0843还提出简化HMVP候选与现有Merge候选(A1,B1)之间的修整操作。在简化中,将存在多至2个修整操作,因为其仅将第一HMVP候选与(多个)空域Merge候选作比较。
在最新VVC和VTM5中,提出显式地使用语法约束以在之前的VTM和VVC版本中的当前比特流约束上禁用128x128IBC模式,这使得IBC标志的存在取决于CU尺寸<128x128。
2.3.2IBC AMVP模式
在IBC AMVP模式中,AMVP索引指向被从比特流解析的IBC AMVP列表中的条目。IBCAMVP列表的构建可以根据以下步骤序列概括:
●步骤1:推导空域候选
○检查A0,A1,直到找到可用候选。
○检查B0,B1,B2,直到找到可用候选。
●步骤2:插入HMVP候选
●步骤3:插入零候选
在插入空域候选之后,如果IBC AMVP列表尺寸仍小于最大IBC AMVP列表尺寸,则可以插入来自HMVP表的IBC候选。
最终,零候选被插入到IBC AMVP列表中。
2.3.3色度IBC模式
在当前VVC中,色度IBC模式中的运动补偿在子块级进行。色度块将被分割为若干子块。每个子块确定对应的亮度块是否具有块矢量以及其有效性(如果存在)。当前VTM中存在编码器约束,其中如果当前色度CU中的全部子块具有有效亮度块矢量,则将测试色度IBC模式。例如,在YUV 420视频时,色度块为NxM,而并置的亮度区域则为2Nx2M。色度块的子块尺寸为2x2。存在若干步骤以进行色度mv推导,然后进行块复制过程。
1)色度块将首先被分割为(N>>1)*(M>>1)子块。
2)具有坐标在(x,y)的左上样点的每个子块取回覆盖坐标在(2x,2y)的相同左上样点的对应的亮度块。
3)编码器检查取回的亮度块的块矢量(bv)。如果满足以下条件之一,则bv被视为无效。
a.对应的亮度块的bv不存在。
b.由bv标识的预测块尚未重建。
c.由bv标识的预测块与当前块部分或完全重叠。
4)子块的色度运动矢量被设定为对应的亮度子块的运动矢量。
当全部子块找到有效bv时,在编码器处允许IBC模式。
IBC块的解码过程如下列出。关于IBC模式中的色度mv推导的部分突出显示为灰色。
8.6.1在IBC预测中编解码的编解码单元的总体解码过程
对该过程的输入为:
–亮度位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前编解码块的左上样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量treeType,指定使用单树还是双树,并且如果使用双树,则其指定当前树是否对应于亮度或色度分量。
该过程的输出是回路中滤波之前的修改的重建图片。
用以下调用如条款8.7.1所指定的量化参数的推导过程,亮度位置(xCb,yCb),亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight,并且变量treeType作为输入。
以ibc预测模式编解码的编解码单元的解码过程由以下顺序的步骤构成:
1.当前编解码单元的运动矢量分量如下推导:
1.如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA,则以下适用:
–用以下调用如条款8.6.2.1所指定的运动矢量分量的推导过程,亮度编解码块位置(xCb,yCb)、亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight作为输入,并且亮度运动矢量mvL[0][0]作为输出。
–当treeType等于SINGLE_TREE时,用以下调用条款8.6.2.9中的色度运动矢量的推导过程,亮度运动矢量mvL[0][0]作为输入,并且色度运动矢量mvC[0][0]作为输出。
–亮度编解码子块在水平方向上的数目numSbX和在垂直方向上的数目numSbY都设定为等于1。
1.否则,如果treeType等于DUAL_TREE_CHROMA,则以下适用:
–亮度编解码子块在水平方向上的数目numSbX和在垂直方向上的数目numSbY如下推导:
numSbX=(cbWidth>>2) (8-886)
numSbY=(cbHeight>>2) (8-887)
–对于xSbIdx=0..numSbX-1,ySbIdx=0..numSbY–1,色度运动矢量mvC[xSbIdx][ySbIdx]如下推导:
–亮度运动矢量mvL[xSbIdx][ySbIdx]如下推导:
–并置的亮度编解码单元的位置(xCuY,yCuY)如下推导:
xCuY=xCb+xSbIdx*4 (8-888)
yCuY=yCb+ySbIdx*4 (8-889)
–如果CuPredMode[xCuY][yCuY]等于MODE_INTRA,则以下适用。
mvL[xSbIdx][ySbIdx][0]=0 (8-890)
mvL[xSbIdx][ySbIdx][1]=0 (8-891)
predFlagL0[xSbIdx][ySbIdx]=0 (8-892)
predFlagL1[xSbIdx][ySbIdx]=0 (8-893)
–否则(CuPredMode[xCuY][yCuY]等于MODE_IBC),以下适用:
mvL[xSbIdx][ySbIdx][0]=MvL0[xCuY][yCuY][0] (8-894)
mvL[xSbIdx][ySbIdx][1]=MvL0[xCuY][yCuY][1] (8-895)
predFlagL0[xSbIdx][ySbIdx]=1 (8-896)
predFlagL1[xSbIdx][ySbIdx]=0 (8-897)
–用以下调用条款8.6.2.9中的色度运动矢量的推导过程,mvL[xSbIdx][ySbIdx]作为输入,并且mvC[xSbIdx][ySbIdx]作为输出。
–比特流一致性要求色度运动矢量mvC[xSbIdx][ySbIdx]应遵守以下约束:
–当用以下调用如条款6.4.X所指定的块可用性的推导过程[Ed.(BB):邻接块可用性检查过程tbd]时,当前色度位置(xCurr,yCurr)设定为等于(xCb/SubWidthC,yCb/SubHeightC)且邻接色度位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5),yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5))作为输入,输出应等于TRUE。
–当用以下调用如条款6.4.X所指定的块可用性的推导过程[Ed.(BB):邻接块可用性检查过程tbd]时,当前色度位置(xCurr,yCurr)设定为等于(xCb/SubWidthC,yCb/SubHeightC)且邻接色度位置(xCb/SubWidthC+(mvC[xSbIdx][ySbIdx][0]>>5)+cbWidth/SubWidthC-1,yCb/SubHeightC+(mvC[xSbIdx][ySbIdx][1]>>5)+cbHeight/SubHeightC-1)作为输入,输出应等于TRUE。
–以下条件之一或两者应为真:
–(mvC[xSbIdx][ySbIdx][0]>>5)+xSbIdx*2+2小于或等于0。
–(mvC[xSbIdx][ySbIdx][1]>>5)+ySbIdx*2+2小于或等于0。
2.当前编解码单元的预测样点如下推导:
–如果treeType等于SINGLE_TREE或DUAL_TREE_LUMA,则当前编解码单元的预测样点如下推导:
●用以下调用如条款8.6.3.1所指定的IBC块的解码过程,亮度编解码块位置(xCb,yCb),亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight,亮度编解码子块在水平方向上数量numSbX和在垂直方向上的数目numSbY,亮度运动矢量mvL[xSbIdx][ySbIdx]其中xSbIdx=0..numSbX–1且ySbIdx=0..numSbY-1,设定为等于0的变量cIdx作为输入,并且作为预测亮度样点的(cbWidth)x(cbHeight)阵列predSamplesL的ibc预测样点(predSamples)作为输出。
–否则,如果treeType等于SINGLE_TREE或DUAL_TREE_CHROMA,则当前编解码单元的预测样点如下推导:
●用以下调用如条款8.6.3.1所指定的IBC块的解码过程,亮度编解码块位置(xCb,yCb),亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight,亮度编解码子块在水平方向上的数目numSbX和在垂直方向上的数目numSbY,色度运动矢量mvC[xSbIdx][ySbIdx]其中xSbIdx=0..numSbX–1且ySbIdx=0..numSbY–1,并且设定为等于1的变量cIdx作为输入,并且作为色度分量Cb的预测色度样点的(cbWidth/2)x(cbHeight/2)阵列predSamplesCb的ibc预测样点(predSamples)作为输出。
●用以下调用如条款8.6.3.1所指定的IBC块的解码过程,亮度编解码块位置(xCb,yCb),亮度编解码块宽度cbWidth和亮度编解码块高度cbHeight,亮度编解码子块在水平方向上的数目numSbX和在垂直方向上的数目numSbY,色度运动矢量mvC[xSbIdx][ySbIdx]其中xSbIdx=0..numSbX–1且ySbIdx=0..numSbY–1,并且设定为等于2的变量cIdx作为输入,并且作为色度分量Cr的预测色度样点的(cbWidth/2)x(cbHeight/2)阵列predSamplesCr的ibc预测样点(predSamples)作为输出。
3.变量NumSbX[xCb][yCb]和NumSbY[xCb][yCb]分别设定为等于numSbX和numSbY。
4.当前编解码单元的残差样点如下推导:
–当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时,用以下调用如条款8.5.8所指定的在帧间预测模式中编解码的编解码块的残差信号的解码过程,设定为等于亮度位置(xCb,yCb)的位置(xTb0,yTb0),设定为等于亮度编解码块宽度cbWidth的宽度nTbW,设定为等于亮度编解码块高度cbHeight的高度nTbH,并且设定为等于0的变量cIdx作为输入,并且阵列resSamplesL作为输出。
–当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时,用以下调用如条款8.5.8所指定的在帧间预测模式中编解码的编解码块的残差信号的解码过程,设定为等于色度位置(xCb/2,yCb/2)的位置(xTb0,yTb0),设定为等于色度编解码块宽度cbWidth/2的宽度nTbW,设定为等于色度编解码块高度cbHeight/2的高度nTbH,并且设定为等于1的变量cIdx作为输入,并且阵列resSamplesCb作为输出。
–当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时,用以下调用如条款8.5.8所指定的在帧间预测模式中编解码的编解码块的残差信号的解码过程,设定为等于色度位置(xCb/2,yCb/2)的位置(xTb0,yTb0),设定为等于色度编解码块宽度cbWidth/2的宽度nTbW,设定为等于色度编解码块高度cbHeight/2的高度nTbH,并且设定为等于2的变量cIdx作为输入,并且阵列resSamplesCr作为输出。
5.当前编解码单元的重建的样点如下推导:
–当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时,用以下调用如条款8.7.5所指定的色彩分量的图片重建过程,设定为等于(xCb,yCb)的块位置(xB,yB),设定为等于cbWidth的块宽度bWidth,设定为等于cbHeight的块高度bHeight,设定为等于0的变量cIdx,设定为等于predSamplesL的(cbWidth)x(cbHeight)阵列predSamples和设定为等于resSamplesL的(cbWidth)x(cbHeight)阵列resSamples作为输入,并且输出是回路中滤波之前的修改的重建图片。
–当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时,用以下调用如条款8.7.5所指定的色彩分量的图片重建过程,设定为等于(xCb/2,yCb/2)的块位置(xB,yB),设定为等于cbWidth的块宽度bWidth/2,设定为等于cbHeight的块高度bHeight/2,设定为等于1的变量cIdx,设定为等于predSamplesCb的the(cbWidth/2)x(cbHeight/2)阵列predSamples和设定为等于resSamplesCb的(cbWidth/2)x(cbHeight/2)阵列resSamples作为输入,并且输出是回路中滤波之前的修改的重建图片。
–当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时,用以下调用如条款8.7.5所指定的色彩分量的图片重建过程,设定为等于(xCb/2,yCb/2)的块位置(xB,yB),设定为等于cbWidth的块宽度bWidth/2,设定为等于cbHeight的块高度bHeight/2,设定为等于2的变量cIdx,设定为等于predSamplesCr的(cbWidth/2)x(cbHeight/2)阵列predSamples和设定为等于resSamplesCr的(cbWidth/2)x(cbHeight/2)阵列resSamples作为输入,并且输出是回路中滤波之前的修改的重建图片。
2.4自适应运动矢量分辨率(AMVR)
在HEVC中,当条带头中的use_integer_mv_flag等于0时,(在运动矢量与CU的预测的运动矢量之间的)运动矢量差(MVD)在四分之一亮度样点的单元中被信令通知。在VVC中,引入CU级自适应运动矢量分辨率(AMVR)方案。AMVR允许CU的MVD以不同精度编解码。取决于当前CU的模式(普通AMVP模式或仿射AVMP模式),当前CU的MVD可以自适应地如下选择:
–普通AMVP模式:四分之一亮度样点,整数亮度样点或四亮度样点。
–仿射AMVP模式:四分之一亮度样点,整数亮度样点或1/16亮度样点。
如果当前CU具有至少一个非零MVD分量,则CU级MVD分辨率指示被有条件地信令通知。如果全部MVD分量(即,参考列表L0和参考列表L1的水平和垂直MVD两者)为零,则推断四分之一亮度样点MVD分辨率。
对于具有至少一个非零MVD分量的CU,信令通知第一标志以指示四分之一亮度样点MVD精度是否被用于CU。如果第一标志为0,则不需要进一步的信令通知,且四分之一亮度样点MVD精度被用于当前CU。否则,信令通知第二标志以指示整数亮度样点还是四亮度样点MVD精度被用于普通AMVP CU。相同的第二标志被用于指示整数亮度样点还是1/16亮度样点MVD精度被用于仿射AMVP CU。为了确保重建MV具有预期精度(四分之一亮度样点、整数亮度样点或四个亮度样点),CU的运动矢量预测器在与MVD一起添加之前将被取整到与MVD相同的精度。运动矢量预测器被朝零取整(即,负运动矢量预测器被朝向正无穷取整,并且正运动矢量预测器被朝向负无穷取整)。
编码器使用RD检查确定当前CU的运动矢量分辨率。为避免总是对每个MVD分辨率进行CU级RD检查三次,在VTM4中,除四分之一亮度样点之外的MVD精度的RD检查仅有条件地被调用。对于普通AVMP模式,四分之一亮度样点MVD精度和整数亮度样点MV精度的RD成本被首先计算。然后,整数亮度样点MVD精度的RD成本被与四分之一亮度样点MVD精度的RD成本作比较,以决定是否需要进一步检查四亮度样点MVD精度的RD成本。当四分之一亮度样点MVD精度的RD成本远小于整数亮度样点MVD精度的RD成本时,四亮度样点MVD精度的RD检查被跳过。对于仿射AMVP模式,如果在检查仿射Merge/跳过模式、Merge/跳过模式、四分之一亮度样点MVD精度普通AMVP模式和四分之一亮度样点MVD精度仿射AMVP模式的率失真成本之后不选择仿射帧间模式,则不检查1/16亮度样点MV精度和1-pel MV精度仿射帧间模式。此外,四分之一亮度样点MV精度仿射帧间模式中获得的仿射参数被用作1/16亮度样点和四分之一亮度样点MV精度仿射帧间模式中的起始搜索点。
2.5 HEVC屏幕内容编解码扩展中的调色板模式(HEVC-SCC)
调色板模式背后的基本思想是CU中的样点由一小组代表性色彩值表示。该组称为调色板。也可以通过信令通知在其后跟随(可能是量化的)分量值的逸出符号(escapesymbol)来指示在调色板之外的样点。这在图3中示出。
在HEVC-SCC中的调色板模式中,预测性方式被用于编解码调色板和索引映射。
2.5.1调色板条目的编解码
为了对调色板条目进行编解码,维护了调色板预测器。在SPS中信令通知调色板预测器以及调色板的最大尺寸。在HEVC-SCC中,在PPS中引入了palette_predictor_initializer_present_flag。当此标志为1时,在比特流中信令通知用于初始化调色板预测器的条目。在每个CTU行、每个条带和每个片的开始处初始化调色板预测器。根据palette_predictor_initializer_present_flag的值,将调色板预测器重置为0或使用PPS中信令通知的调色板预测器初始化器条目进行初始化。在HEVC-SCC中,启用了尺寸为0的调色板预测器初始化器,以允许在PPS级别上显式禁用调色板预测器初始化。
对于调色板预测器中的每个条目,信令通知重用标志以指示其是否是当前调色板的一部分。这在图4中示出。使用零的游程长度(run-length)编解码发送重用标志。此后,使用零阶的指数Golomb代码信令通知新调色板的数量。最后,信令通知新调色板条目的分量值(component value)。
2.5.2调色板索引的编解码
如图5所示,使用水平和垂直遍历扫描来对调色板索引进行编解码。使用palette_transpose_flag在比特流中显式地信令通知扫描顺序。对于本小节的其余部分,假定扫描是水平的。
使用两个主调色板样点模式(“INDEX”和“COPY_ABOVE”)对调色板索引进行编解码。如前所述,逸出符号也信令通知为“INDEX”模式,并被分配了等于最大调色板尺寸的索引。使用除顶部行以外的标志或在前一个模式为“COPY_ABOVE”时信令通知该模式。在“COPY_ABOVE”模式下,将复制上一行中样点的调色板索引。在“INDEX”模式下,显式地信令通知调色板索引。对于“INDEX”和“COPY_ABOVE”模式两者,都会信令通知运行值,该值指定了也使用相同模式进行编解码的后续样点数。当“INDEX”或“COPY_ABOVE”模式下逸出符号是运行的一部分时,将为每个逸出符号信令通知逸出分量值。调色板索引的编解码在图6中示出。
该语法顺序如下完成。首先,信令通知CU的索引值的数量。这之后是使用截断的二进制编解码来信令通知整个CU的实际索引值。索引数和索引值均以旁路模式进行编解码。这会将与索引相关的旁路二进制数组合在一起。然后以交错方式信令通知调色板样点模式(如果需要)和运行。最后,将与整个CU的逸出样点相对应的分量逸出值组合在一起,并以旁路模式进行编解码。
在信令通知索引值之后,信令通知了另外的语法元素last_run_type_flag。该语法元素与索引数量一起,消除了信令通知与块中最后一次运行相对应的运行值的需要。
在HEVC-SCC中,还为4:2:2、4:2:0和单色色度格式启用了调色板模式。对于所有色度格式,调色板条目和调色板索引的信令几乎相同。如果是非单色格式,则每个调色板条目均由3个分量组成。对于单色格式,每个调色板条目均由单个分量组成。对于子样点的色度方向,色度样点与可被2整除的亮度样点索引相关联。在为CU重建调色板索引之后,如果样点仅具有与其相关联的单个分量,则仅使用调色板条目的第一个分量。信令的唯一区别在于逸出分量值。对于每个逸出样点,信令通知的逸出分量值的数量可能会有所不同,具体取决于与该样点相关联的分量的数量。
在VVC中,双树编解码结构用于对帧内条带进行编解码,因此亮度分量和两个色度分量可能具有不同的调色板和调色板索引。另外,两个色度分量共享相同的调色板和调色板索引。
2.6变换跳过模式中的系数编解码
在JVET-M0464和JVET-N0280中,对变换跳过(TS)模式中的系数编解码提出若干修改,以便使残差编解码适应于变换跳过级的统计数据和信令通知特性。
提出的修改如下列出。
无最不重要扫描位置:由于残差信号反映预测之后的且不对TS进行通过变换的能量压实,不再给出变换块的右下角处的尾随零或不重要水平的较高可能性。因此,最不重要扫描位置信令通知在此情况下被忽略。
子块CBF:最不重要扫描位置信令通知的不存在要求具有coded_sub_block_flag的子块CBF信令通知对TS如下修改:
●由于量化,不重要的前述序列仍可能在变换块中局部地发生。因此,最不重要扫描位置如前述被移除,并且coded_sub_block_flag除了以下情况以外对于全部子块被编解码:除了最后之外的全部CG都具有零系数,因此,对最后的CG不需要编解码coded_sub_block_flag。
●覆盖DC频率位置的子块(左上子块)的coded_sub_block_flag表现特殊情况。在VVC草案3中,该子块的coded_sub_block_flag永不信令通知且总被推断为等于1。当最不重要扫描位置位于另一子块中时,意味着存在DC子块之外的至少一个重要水平。因此,DC子块可能仅含有零/非重要水平,虽然该子块的coded_sub_block_flag被推断为等于1。在TS中没有最后扫描位置信息的情况下,每个子块的coded_sub_block_flag被信令通知。这还包含DC子块的coded_sub_block_flag,除了当全部其他coded_sub_block_flag语法元素已经等于0时之外。在此情况下,DC coded_sub_block_flag被推断为等于1(推断DcSbCbf=1)。由于该DC子块中必须存在至少一个重要水平,如果该DC子块中的全部其他sig_coeff_flag语法元素都等于0,则替代地(0,0)处的第一位置的sig_coeff_flag语法元素不被信令通知且被推导为等于1(推断SbDcSigCoeffFlag=1)。
●coded_sub_block_flag的上下文建模被改变。上下文模型索引被计算为当前子块左侧的coded_sub_block_flag和上方的coded_sub_block_flag之和,而不是两者的逻辑析取。
sig_coeff_flag上下文建模:sig_coeff_flag上下文建模中的局部模板被修改为仅包含当前扫描位置的左侧的邻接(NB0)和上方的邻接(NB1)。上下文模型偏移仅是重要邻接位置的数目sig_coeff_flag[NB0]+sig_coeff_flag[NB1]。因此,取决于当前变换块内的对角d的不同上下文组的选择被移除。这导致用于编解码sig_coeff_flag标志的三个上下文模型和单个上下文模型组。
abs_level_gt1_flag and par_level_flag上下文建模:单个上下文模型被用于abs_level_gt1_flag和par_level_flag。
abs_remainder编解码:虽然变换跳过残差绝对水平的经验性分布典型地仍符合拉普拉斯或几何分布,但存在比变换系数绝对水平更大的不稳定性。特别地,连续实现的窗口内的方差对于残差绝对水平更高。这促使abs_remainder语法二值化和上下文建模的以下修改:
●在二值化中使用较高截断值,即,从用sig_coeff_flag,abs_level_gt1_flag,par_level_flag,和abs_level_gt3_flag编解码到用于abs_remainder的赖斯编解码的过渡点,并且对于每个二进制位位置的专用上下文模型获得更高压缩效率。增大截断将导致更多"大于X"标志,例如引入abs_level_gt5_flag,abs_level_gt7_flag等等,直到达到截断。截断自身固定为5(numGtFlags=5)。
●修改赖斯参数推导的模板,即,仅当前扫描位置左侧的邻接和上方的邻接被视为相似于sig_coeff_flag上下文建模的局部模板。
coeff_sign_flag上下文建模:由于符号的序列内的不稳定性以及预测残差经常偏置的事实,即使当全局经验性分布几乎均匀分布时,符号也可以使用上下文模型编解码。单个专用上下文模型被用于编解码符号,并且符号在sig_coeff_flag之后被解析,以将全部上下文编解码的二进制位保持在一起。
2.7量化残差块差分脉冲编解码调制(QR-BDPCM)
在JVET-M0413中,提出了量化残差块差分脉冲编解码调制(QR-BDPCM)以高效编解码屏幕内容。
QR-BDPCM中使用的预测方向看可以为垂直和水平预测模式。通过相似于帧内预测的预测方向(水平或垂直预测)上的样点复制,对整个块进行帧内预测。残差被量化并且量化的残差与其预测器(水平或垂直)量化值之间的差值被编解码。这可以由以下描述:对于尺寸M(行)×N(列)的块,使ri,j,0≤i≤M-1,0≤j≤N-1为使用来自上方或左侧块边界样点的未滤波样点水平地(在预测块上逐行复制左侧邻接像素值)或垂直地(将顶部邻接线复制到预测块中的每个线)编解码帧内预测之后的预测残差。使Q(ri,j),0≤i≤M-1,0≤j≤N-1指代量化版本的残差ri,j,其中残差是原始块与预测块值之间的差异。然后块DPCM被应用于量化的残差样点,导致修改的M×N阵列
Figure BDA0003437132840000201
其具有元素
Figure BDA0003437132840000202
当垂直BDPCM被信令通知时:
Figure BDA0003437132840000203
对于水平预测,适用相似规则,并且残差量化的样点由以下获得
Figure BDA0003437132840000204
Figure BDA0003437132840000211
残差量化的样点
Figure BDA0003437132840000212
被发送到解码器。
在解码器侧,以上计算被逆转以得到Q(ri,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况,
Figure BDA0003437132840000213
对于水平情况,
Figure BDA0003437132840000214
逆量化的残差,Q-1(Q(ri,j)),被添加到帧内块预测值以产生重建样点值。该方案的主要优点是逆DPCM在系数解析期间随着系数被解析通过添加预测器而运行中进行或其可以在解析后进行。
QR-BDPCM的草案文本改变如下示出。
7.3.6.5编解码单元语法
Figure BDA0003437132840000215
Figure BDA0003437132840000221
bdpcm_flag[x0][y0]等于1指定bdpcm_dir_flag存在于包含位置(x0,y0)处的亮度编解码块的编解码单元中
bdpcm_dir_flag[x0][y0]等于0指定bdpcm块中要使用的预测方向为水平,否则为垂直。
2.8分割结构
在HEVC中,通过使用指代为编解码树的四叉树结构将CTU划分为CU,以适应于各种局部特性。在叶CU级进行使用帧间图片(时域)还是帧内图片(空域)预测对图片区域进行编解码的决定。根据PU划分类型,每个叶CU还可以划分为一个、两个或四个PU。在一个PU内,应用相同预测过程,并且相关信息以PU为基础被传输到解码器。在通过基于PU划分类型应用预测过程获得残差块之后,叶CU可以根据相似于CU的编解码树的另一四叉树结构被分割为变换单元(TU)。HEVC结构的关键特征之一是其具有多个分割概念,包含CU、PU和TU。
在VVC中,使用二进制和三进制的具有嵌套多类型树的四叉树划分分隔结构代替多分割单元类型的概念,即其去除CU、PU和TU概念的分离,除了对具有对于最大变换长度过大的尺寸的CU需求之外,并且支持更灵活的CU分割形状。在编解码树结构中,CU可以具有正方形或长方形形状。编解码树单元(CTU)首先被四叉树(又称为四叉树)结构分割。然后四叉树叶节点还可以由多类型树结构分割。如图7所示,多类型树结构中存在四个划分类型,垂直二进制划分(SPLIT_BT_VER)、水平二进制划分(SPLIT_BT_HOR)、垂直三进制划分(SPLIT_TT_VER)和水平三进制划分(SPLIT_TT_HOR)。多类型树叶节点称为编解码单元(CU),并且除非CU对于最大变换长度过大,该分隔被用于预测和变换处理,而不进行任何进一步分割。这意味着,大多数情况下,CU、PU和TU在具有嵌套多类型树编解码块结构的四叉树中具有相同的块尺寸。例外发生在最大支持变换长度小于CU的色彩分量的宽度或高度时。此外,亮度和色度分量在I片上具有分开的分割结构。此外,JVET-K0353和JVET-K0354提出信令通知标志以确定是否在CTU/CU级使用分开的分割结构。
2.9 VTM-4.0中的解块方案
注意,在以下描述中,pNM表示相对于垂直边缘的第M行中的左侧第N个样点、或相对于水平边缘的第M列中的顶侧第N个样点,qNM表示相对于垂直边缘的第M行的右侧第N个样点、或相对于水平边缘的第M列的底侧第N个样点。pNM和qNM的示例在图8中示出。
注意,在以下描述中,pN表示相对于垂直边缘的行中的左侧第N个样点、或相对于水平边缘的列中的顶侧第N个样点,qN表示相对于垂直边缘的行中的右侧第N个样点、或者相对于水平边缘的行中的底侧第N个样点。
滤波开/关决策以四行为单元进行。图9示出了涉及滤波开/关决策的像素。前四行的两个红色框中的6个像素用于确定4行的滤波开/关。后四行的两个红色框中的6个像素用于确定后四行的滤波开/关。
在当前VTM(即,VTM-4.0)中,使用JVET-M0471中描述的解块方案。首先对图片中的垂直边缘进行滤波。然后,将图片中的水平边缘与通过垂直边缘滤波过程修改的样点作为输入进行滤波。每个CTU的CTB中的垂直边缘和水平边缘分别以编解码单元为基础进行处理。从编解码块左手侧的边缘开始以其几何顺序穿过边缘朝向编解码块的右手侧对编解码单元中的编解码块的垂直边缘进行滤波。从编解码块顶部的边缘开始以其几何顺序穿过边缘朝向编解码块的底部开始对编解码单元中的编解码块的水平边缘进行滤波。
2.9.1边界决定
滤波被应用于8x8的块边界。另外,它必须是变换块边界或编解码子块边界(例如,由于使用仿射运动预测(Affine motion prediction,ATMVP))。对于那些没有这种边界的将禁用滤波。
2.9.2边界强度计算
对于变换块边界/编解码子块边界,如果其位于8x8网格中,则可以对其进行滤波并且将对该边缘的bS[xDi][yDj](其中[xDi][yDj]表示坐标)的设置定义如下:
–如果样点p0或q0在以帧内预测模式进行编解码的编解码单元的编解码块中,则将bS[xDi][yDj]设置为等于2。
–否则,如果块边缘也是变换块边缘,并且样点p0或q0在包含一个或多个非零变换系数级别的变换块中,则将bS[xDi][yDj]设置为等于1。
–否则,如果包含样点p0的编解码子块的预测模式与包含样点q0的编解码子块的预测模式不同,则将bS[xDi][yDj]设置为等于1。
–否则,如果以下一个或多个条件为真,则将bS[xDi][yDj]设置为等于1:
–包含样点p0的编解码子块和包含样点q0的编解码子块均以IBC预测模式进行编解码,并且用于两个编解码子块的预测的运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位)。
–对于包含样点p0的编解码子块的预测,使用与包含样点q0的编解码子块的预测不同的参考图片或不同数量的运动矢量。
注1–确定用于两个编解码子块的参考图片是相同还是不同,仅取决于参考了哪些图片,而与使用参考图片列表0的索引还是使用参考图片列表1的索引来形成预测无关,并且也与参考图片列表中的索引位置是否不同无关。
注2–用于使用覆盖(xSb,ySb)的左上角样点预测编解码子块的运动矢量的数量等于PredFlagL0[xSb][ySb]+PredFlagL1[xSb][ySb]。
–使用一个运动矢量来预测包含样点p0的编解码子块,并且使用一个运动矢量来预测包含样点q0的编解码子块,并且所使用运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位)。
–使用两个运动矢量和两个不同的参考图片来预测包含样点p0的编解码子块,使用相同的两个参考图片的两个运动矢量来预测包含样点q0的编解码子块,并且对相同参考图片,用于两个编解码子块的预测的运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位)。
–使用相同参考图片的两个运动矢量来预测包含样点p0的编解码子块,使用相同参考图片的两个运动矢量来预测包含样点q0的编解码子块,并且以下两个条件均为真:
–用于两个编解码子块的预测中的列表0运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位),或者用于两个编解码子块的预测中的列表1的运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位)。
–用于预测包含样点p0的编解码子块的列表0运动矢量与用于预测包含样点q0的编解码子块的列表1运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位),或者,用于预测包含样点p0的编解码子块的列表1运动矢量与用于预测包含样点q0的编解码子块的列表0运动矢量的水平或垂直分量之间的绝对差大于或等于4(以四分之一亮度样点为单位)。
–否则,将变量bS[xDi][yDj]设置为等于0。
表1和表2总结了BS计算规则。
表1.边界强度(当SPS IBC禁用时)
Figure BDA0003437132840000261
表2.边界强度(当启用SPS IBC时)
Figure BDA0003437132840000262
2.9.3亮度分量的解块决定
在本小节中描述了解块(deblocking)决策过程。
更宽更强的亮度滤波是仅当条件1、条件2和条件3都为TRUE(真)时才使用的滤波。
条件1是“大块条件”。该条件检测P边(p side)和Q边(q side)的样点是否属于大块,分别由变量bSidePisLargeBlk和bSideQisLargeBlk表示。bSidePisLargeBlk和bSideQisLargeBlk定义如下。
bSidePisLargeBlk=((边缘类型为垂直并且p0属于宽度>=32的CU)
||(边缘类型为水平并且p0属于高度>=32的CU))?TRUE:FALSE
bSideQisLargeBlk=((边缘类型为垂直并且q0属于宽度>=32的CU)
||(边缘类型为水平并且q0属于高度>=32的CU))?TRUE:FALSE
基于bSidePisLargeBlk和bSideQisLargeBlk,条件1定义如下。
条件1=(bSidePisLargeBlk||bSidePisLargeBlk)?TRUE:FALSE
接下来,如果条件1为真,则将进一步检查条件2。首先,推导以下变量:
–如在HEVC中一样首先推导dp0、dp3、dq0、dq3
–如果p边大于或等于32
dp0=(dp0+Abs(p50-2*p40+p30)+1)>>1
dp3=(dp3+Abs(p53-2*p43+p33)+1)>>1
–如果q边大于或等于32
dq0=(dq0+Abs(q50-2*q40+q30)+1)>>1
dq3=(dq3+Abs(q53-2*q43+q33)+1)>>1
条件2=(d<β)?TRUE:FALSE
其中d=dp0+dq0+dp3+dq3,如第2.2.4节所示。
如果Condition1和Condition2有效,则进一步检查是否有任何块使用了子块:
Figure BDA0003437132840000271
Figure BDA0003437132840000281
最后,如果条件1和条件2均有效,则所提出的解块方法将检查条件3(大块强滤波条件),其定义如下。
在条件3 StrongFilterCondition中,推导以下变量:
如在HEVC中一样推导dpq。
sp3=Abs(p3-p0),如在HEVC中一样推导
如果p边大于或等于32
Figure BDA0003437132840000282
sq3=Abs(q0-q3),如在HEVC中一样推导
如果q边大于或等于32
Figure BDA0003437132840000283
如在HEVC中一样,StrongFilterCondition=(dpq小于(β>>2),sp3+sq3小于(3*β>>5),且Abs(p0-q0)小于(5*tC+1)>>1)?TRUE:FALSE。
2.9.4亮度的较强解块滤波(为较大块设计)
当边界任一边的样点属于大块时,使用双线性滤波。属于大块的样点定义为:垂直边缘的宽度>=32,并且水平边缘的高度>=32。
双线性滤波在下面列出。
在上述HEVC解块中,对于i=0到Sp-1的块边界样点pi和对于j=0到Sq-1的块边界样点qj(pi和qi是用于对垂直边缘进行滤波的行中的第i个样点,或者是用于对水平边缘进行滤波的列中的第i个样点)由如下线性插值替代:
-pi′=(fi*Middles,t+(64-fi)*Ps+32)>>6),修剪为pi±tcPDi
—qj′=(gj*Middles,t+(64-gj)*Qs+32)>>6),修剪为qj±tcPDj
其中tcPDi和tcPDj项是第2.9.7节中描述的与位置有关的修剪,表3中给出了gj、fi、Middles,t、Ps和Qs
表3:长抽头解块滤波
Figure BDA0003437132840000291
Figure BDA0003437132840000301
2.9.5色度的解块控制
在块边界的两边都使用了色度强滤波。此处,当色度边缘的两边都大于或等于8(色度位置)时,选择色度滤波,并满足以下具有三个条件的决策:第一个条件用于边界强度以及大块的决策。当在色度样点域中正交于块边缘的块宽度或高度等于或大于8时,可以应用所提出的滤波。第二个和第三个条件基本上与HEVC亮度解块决策相同,分别是开/关决策和强滤波决策。
在第一决策中,对于色度滤波,如表2中所示修改边界强度(bS)。依次检查表2-2中的条件。如果满足条件,则跳过优先级较低的剩余条件。
当检测到大块边界时,当bS等于2或bS等于1时,执行色度解块。
第二个和第三个条件基本上与HEVC亮度强滤波决策相同,如下。
在第二个条件中:
然后如在HEVC亮度解块中一样推导d。
当d小于β时,第二个条件为TRUE。
在第三个条件中,StrongFilterCondition推导如下:
如在HEVC中一样推导dpq。
sp3=Abs(p3-p0),如在HEVC中一样推导
sq3=Abs(q0-q3),如在HEVC中一样推导
如在HEVC设计中一样,StrongFilterCondition=(dpq小于(β>>2),sp3+sq3小于(β>>3),且Abs(p0-q0)小于(5*tC+1)>>1)
2.9.6用于色度的强解块滤波
定义了以下用于色度的强解块滤波:
p2′=(3*p3+2*p2+p1+p0+q0+4)>>3
p1′=(2*p3+p2+2*p1+p0+q0+q1+4)>>3
p0′=(p3+p2+p1+2*p0+q0+q1+q2+4)>>3
所提出的色度滤波对4x4色度样点网格执行解块。
2.6.7位置相关的修剪
将位置相关的修剪tcPD应用于涉及强滤波和长滤波的亮度滤波过程的输出样点,该强滤波和长滤波在边界处修改7、5和3个样点。假设量化误差分布,建议对期望具有更高量化噪声的样点增加修剪值,从而期望具有更大的相对于真实样点值的重建样点值的偏差。
对于用非对称滤波进行滤波的每个P或Q边界,取决于2.9.2节中的决策过程的结果,从作为辅信息为解码器提供的两个表(即,下面列出的Tc7和Tc3)中选择位置相关的阈值表:
Tc7={6,5,4,3,2,1,1};
Tc3={6,4,2};
tcPD=(Sp==3)?Tc3:Tc7;
tcQD=(Sq==3)?Tc3:Tc7;
对于用短对称滤波进行滤波的P或Q边界,应用较低幅度的位置相关的阈值:
Tc3={3,2,1};
在定义阈值之后,根据tcP和tcQ修剪值对滤波的p’i和q’i样点值进行修剪:
p”i=Clip3(p’i+tcPi,p’i–tcPi,p’i);
q”j=Clip3(q’j+tcQj,q’j–tcQj,q’j);
其中,p’i和q’i是滤波后的样点值,p”i和q”j是修剪之后的输出样点值,tcPi tcPi是从VVC tc参数以及tcPD和tcQD推导的修剪阈值。函数Clip3是如在VVC中指定的修剪函数
2.9.6子块解块调整
为了启用使用长滤波和子块解块二者的并行友好解块(friendly deblocking),如在对长滤波的亮度控制中所示,将长滤波限制为在使用子块解块(AFFINE或ATMVP或DMVR)的边最多修改5个样点。另外,调整子块解块,使得在8x8网格上接近CU或隐式TU边界的子块边界被限制为在每边最多修改两个样点。
以下适用于与CU边界不对齐的子块边界。
Figure BDA0003437132840000321
其中等于0的边缘对应于CU边界,等于2或等于orthogonalLength-2的边对应于来自CU边界等的子块边界8个样点等。如果使用TU的隐式划分,则隐式TU为真。
2.9.7对亮度/色度的4CTU/2CTU行缓冲器的限制
当水平边缘与CTU边界对齐时,对于亮度,水平边缘的滤波限制Sp=3,对于色度,水平边缘的滤波限制Sp=1且Sq=1。
2.10与帧内预测组合的调色板模式(PCIP)
在JVET-M0051中,提出了与帧内预测组合的调色板模式。在该方案中,解码器首先基于帧内预测方法推导预测块。然后,解码器解码调色板和索引映射。解码器使用解码调色板信息来细化预测块并重建块。
图9示出了组合调色板信息和帧内预测信息的示例。首先,解码器生成预测块(具有像素值A0~A15)。并且,解码器在调色板模式中解码索引映射。为重建块,如果解码的索引等于“0”,则对应的像素被标记为“P”,如图2-6所示。标记为“P”的像素由帧内预测块中的像素值重建。否则,像素由调色板色彩(例如C0,C1)重建。
2.11复合调色板模式(CPM)
如JVET-N0259中,在当前索引为0时,复合调色板模式中的样点可以通过复制IBC预测中的并置的样点而重建。否则,当前样点将由调色板色彩重建。图10图示了提出的调色板模式。
在复合调色板模式中,对亮度块,通过使用第一可用Merge候选生成IBC预测,因此IBC预测的运动信息不需要被信令通知。对色度块,CPM中的运动补偿与VTM4中的相同。
此外,还修改逸出像素的编解码。原始样点与并置的IBC预测样点之间的量化的残差被信令通知。在解码器处,提出的调色板模式中的每个逸出像素通过将解码的残差与IBC预测组合而重建。
2.12具有JVET-N0185中的67个帧内预测模式的帧内模式编解码
为了捕获自然视频中呈现的任意边缘方向,将VTM4中的定向帧内模式的数量从如在HEVC中使用的33扩展到65。在图11中用红色虚线箭头表示HEVC中不存在的新定向模式,而平面模式和DC模式保持相同。这些更密集的定向帧内预测模式适用于所有块尺寸并适用于亮度和色度帧内预测。
为帧内块提出统一6-MPM列表,而无关于是否应用MRL和ISP编解码工具。基于左侧和上方邻接块的帧内模式构建MPM列表,如VTM4.0中,如图12所示。
假设左侧的模式指代为Left,且上方块的模式指代为Above,统一MPM列表按顺序以以下步骤构建:
–当邻接块的帧内预测模式无效时,其帧内模式被默认设定为平面(Planar)。
–如果Left和Above相同且都为角度:
○MPM列表→{Planar,Left,Left-1,Left+1,DC,Left-2}
–如果Left和Above不同且都为角度:
○设定模式Max作为Left和Above中的较大模式
○如果模式Left和Above的差异在2至62的范围内,含端值
■MPM列表→{Planar,Left,Above,DC,Max-1,Max+1}
○否则
■MPM列表→{Planar,Left,Above,DC,Max-2,Max+2}
–如果Left和Above不同且模式Left和Above之一为角度模式,并且另一个为非角度:
○设定模式Max作为Left和Above中的较大模式
○MPM列表→{Planar,Max,DC,Max-1,Max+1,Max-2}
–如果模式Left和Above两者都为非角度模式:
○MPM列表→{Planar,DC,V,H,V-4,V+4}
注意到,当模式索引(例如,Max+2)超出范围[0,66]时,其可以被另一有效模式索引代替。
第一MPM候选,即,Planar模式与其余MPM候选被分开地信令通知。
更详细的语法、语意和解码过程如下所述:
7.3.6.5编解码单元语法
Figure BDA0003437132840000341
Figure BDA0003437132840000351
Figure BDA0003437132840000361
语法元素intra_luma_mpm_flag[x0][y0],
intra_luma_not_planar_flag[x0][y0],intra_luma_mpm_idx[x0][y0]和intra_luma_mpm_remainder[x0][y0]指定亮度样点的帧内预测模式。阵列索引x0,y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。当intra_luma_mpm_flag[x0][y0]等于1时,根据条款8.4.2从邻接帧内预测的编解码单元推断帧内预测模式。
当intra_luma_mpm_flag[x0][y0]不存在(例如,ISP启用,或MRL启用(参考索引>0))时,其被推断为等于1。
当intra_luma_not_planar_flag[x0][y0]不存在(例如,MRL启用)时,其被推断为等于1。
8.4.2亮度帧内预测模式的推导过程
该过程的输入为:
–亮度位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度。
在该过程中,推导亮度帧内预测模式IntraPredModeY[xCb][yCb]。表8-1指定帧内预测模式IntraPredModeY[xCb][yCb]的值和相关联的名称。
表8-1–帧内预测模式和相关联的名称的规范
Figure BDA0003437132840000371
注–:帧内预测模式INTRA_LT_CCLM,INTRA_L_CCLM和
INTRA_T_CCLM仅适用于色度分量。
IntraPredModeY[xCb][yCb]如下推导:
–如果intra_luma_not_planar_flag[xCb][yCb]等于1,以下按顺序步骤:
1.邻接位置(xNbA,yNbA)和(xNbB,yNbB)分别设定为等于(xCb-1,yCb+cbHeight-1)和(xCb+cbWidth-1,yCb-1)。
2.对于X被A或B代替,变量candIntraPredModeX如下推导:
–用以下调用如条款6.4.X[Ed.(BB):邻接块可用性检查过程tbd]所指定的块的可用性推导过程,设定为等于(xCb,yCb)的位置(xCurr,yCurr),并且设定为等于(xNbX,yNbX)的邻接位置(xNbY,yNbY)作为输入,并且输出被分配到availableX。
–候选帧内预测模式candIntraPredModeX如下推导:
–如果以下条件中的一个或多个为真,则candIntraPredModeX设定为等于INTRA_PLANAR。
–变量availableX等于FALSE。
–CuPredMode[xNbX][yNbX]不等于MODE_INTRA且ciip_flag[xNbX][yNbX]不等于1。
–pcm_flag[xNbX][yNbX]等于1。
–X等于B且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
–否则,candIntraPredModeX设定为等于IntraPredModeY[xNbX][yNbX]。
3.candModeList[x],其中x=0..4,如下推导:
–如果candIntraPredModeB等于candIntraPredModeA且candIntraPredModeA大于INTRA_DC,则candModeList[x],其中x=0..4,如下推导:
candModeList[0]=candIntraPredModeA (8-10)
candModeList[1]=2+((candIntraPredModeA+61)%64) (8-12)
candModeList[2]=2+((candIntraPredModeA-1)%64) (8-13)
candModeList[3]=INTRA_DC (8-11)
candModeList[4]=2+((candIntraPredModeA+60)%64) (8-14)
–否则,如果candIntraPredModeB不等于candIntraPredModeA且candIntraPredModeA或candIntraPredModeB大于INTRA_DC,以下适用:
–变量minAB和maxAB如下推导:
minAB=Min(candIntraPredModeA,candIntraPredModeB) (8-24)
maxAB=Max(candIntraPredModeA,candIntraPredModeB) (8-25)
–如果candIntraPredModeA和candIntraPredModeB都大于INTRA_DC,则candModeList[x],其中x=0..4,如下推导:
candModeList[0]=candIntraPredModeA (8-27)
candModeList[1]=candIntraPredModeB (8-29)
candModeList[2]=INTRA_DC (8-29)
–如果maxAB-minAB在2至62的范围内(含端值),以下适用:
candModeList[3]=2+((maxAB+61)%64) (8-30)
candModeList[4]=2+((maxAB-1)%64) (8-31)
–否则,以下适用:
candModeList[3]=2+((maxAB+60)%64) (8-32)
candModeList[4]=2+((maxAB)%64) (8-33)
–否则(candIntraPredModeA或candIntraPredModeB大于INTRA_DC),则candModeList[x],其中x=0..4,如下推导:
candModeList[0]=maxAB (8-65)
candModeList[1]=INTRA_DC (8-66)
candModeList[2]=2+((maxAB+61)%64) (8-66)
candModeList[3]=2+((maxAB-1)%64) (8-67)
candModeList[4]=2+((maxAB+60)%64) (8-68)
–否则,以下适用:
candModeList[0]=INTRA_DC (8-71)
candModeList[1]=INTRA_ANGULAR50 (8-72)
candModeList[2]=INTRA_ANGULAR18 (8-73)
candModeList[3]=INTRA_ANGULAR46 (8-74)
candModeList[4]=INTRA_ANGULAR54 (8-75)
4.IntraPredModeY[xCb][yCb]通过应用以下过程来推导:
–如果intra_luma_mpm_flag[xCb][yCb]等于1,则IntraPredModeY[xCb][yCb]设定为等于candModeList[intra_luma_mpm_idx[xCb][yCb]]。
–否则,IntraPredModeY[xCb][yCb]通过施加以下按顺序步骤推导:
1.当对于i=0..3且对于每个i,j=(i+1)..4,candModeList[i]大于candModeList[j],两个值如下调换:
(candModeList[i],candModeList[j])=Swap(candModeList[i],candModeList[j]) (8-94)
2.IntraPredModeY[xCb][yCb]由以下按顺序步骤推导:
i.IntraPredModeY[xCb][yCb]设定为等于intra_luma_mpm_remainder[xCb][yCb]。
ii.IntraPredModeY[xCb][yCb]的值增量一
iii.对于i等于0至4(含端值),当IntraPredModeY[xCb][yCb]大于或等于candModeList[i]时,IntraPredModeY[xCb][yCb]的值增量一。
–否则(intra_luma_not_planar_flag[xCb][yCb]等于0),IntraPredModeY[xCb][yCb]设定为等于INTRA_PLANAR。
变量IntraPredModeY[x][y],其中x=xCb..xCb+cbWidth–1且y=yCb..yCb+cbHeight–1,被设定为等于IntraPredModeY[xCb][yCb]。
对于色度帧内模式编解码,总共允许8个帧内模式用于色度帧内模式编解码。这些模式包括五个传统的帧内模式和三个跨分量线性模型模式(CCLM,LM_A和LM_L)。色度模式信令和推导过程在表3中示出。色度模式编解码直接取决于对应的亮度块的帧内预测模式。由于在I条带中对亮度和色度分量启用了单独的块分割结构,因此一个色度块可以对应于多个亮度块。因此,对于色度DM模式,覆盖当前色度块的中心位置的对应的亮度块的帧内预测模式被直接继承。
表4:当cclm_is启用时从亮度模式推导色度预测模式
Figure BDA0003437132840000411
2.13基于历史的Merge候选推导
基于历史的MVP(HMVP)Merge候选在空域MVP和TMVP之后被添加到Merge列表。在该方法中,之前编解码的块的运动信息储存在表中并且用作当前CU的MVP。具有多个HMVP候选的表在编码/解码过程期间被保持。表在遇到新的CTU行时被重置(清空)。只要存在非子块帧间编解码的CU,相关联的运动信息被添加到表的最后条目作为新的HMVP候选。
在VTM5中,HMVP表尺寸S被设定为5,其指示多至5个基于历史的MVP(HMVP)候选可以被添加到表。当插入新的运动候选到表时,采用约束的先进先出(FIFO)规则,其中首先应用冗余检查以寻找表中是否存在相同HMVP。如果找到,相同HMVP被从表移除,并且之后的全部HMVP候选被向前移动,
HMVP候选可以用于Merge候选列表构建过程中。表中的最新的若干HMVP候选被按顺序检查并在TMVP候选之后插入到候选列表中。在HMVP候选上对空域Merge候选应用冗余检查。
2.14缩放列表
缩放列表(参见,量化矩阵)可以在(逆)量化过程期间应用。在HEVC中,用户定义的缩放值在PPS中信令通知,并且每个可能的TB尺寸,色彩分量和预测类型(帧内/帧间)可以具有其自身的缩放列表,除了32x32色度块之外,其仅用于4:4:4RExt色度格式。对于16x16和32x32缩放列表,缩放列表指定为具有8x8值网格,其被值重复到所需尺寸,连同用于对应于DC频率位置的条目的值。
2.15帧间预测的三角形分割模式(TPM)
在VTM4中,对帧间预测支持三角形分割模式。三角形分割模式仅应用于8x8或更大的CU,且以跳过或Merge模式但不以MMVD或CIIP模式编解码。对于满足这些条件的,CU级标志被信令通知以指示是否应用三角形分割模式。
当使用该模式时,CU被均等划分为两个三角形分割,使用对角划分或反对角划分(图14)。CU中的每个三角形分割被使用其自身运动帧间预测;对于每个分割仅允许单向预测,即,每个分割具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保与常规双向预测相同,每个CU仅需要两个运动补偿的预测。对每个分割从使用3.4.10.1中的过程构建的单向预测候选列表推导单向预测运动。
如果CU级标志指示当前CU是使用三角形分割模式编解码的。如果使用三角形分割模式,则指示三角形分割的方向(对角或反对角)的标志,以及两个Merge索引(每个分割一个)被进一步信令通知。在预测三角形分割中的每一个之后,使用具有自适应权重的混合过程调整沿着对角或反对角边缘的样点值。这是整个CU的预测信令通知,并且变换和量化过程将如在其他预测模式中一样应用于整个CU。最终,使用三角形分割模式预测的CU的运动场被储存在4x4单元中,如2.16.3中。
2.15.1单向预测候选列表构建
单向预测候选列表由五个单向预测运动矢量候选构成。其从七个邻接块推导,包含五个空域邻接块(图15中的标记1至5)和两个时域并置的块(图15中的标记6至7)。根据以下顺序将七个邻接块的运动矢量收集并置入单向预测候选列表中:首先,单向预测的邻接块的运动矢量;然后,对于双向预测的邻接块,L0运动矢量(即,双向预测MV的L0运动矢量部分),L1运动矢量(即,双向预测MV的L1运动矢量部分),以及双向预测MV的L0和L1运动矢量的平均运动矢量。如果候选的数目小于五,则零运动矢量被添加到列表的末尾。
2.15.2混合沿着三角形分割边缘
在使用其自身的运动来预测每个三角形分割之后,混合被应用于两个预测信令通知以推导对角或反对角边缘周围的样点。在混合过程中使用以下权重:
○{7/8,6/8,5/8,4/8,3/8,2/8,1/8}用于亮度,且{6/8,4/8,2/8}用于色度,如图16所示。
2.15.3运动场储存
三角形分割模式编解码的CU的运动矢量储存在4x4单元中。取决于每个4x4单元的位置,储存任一单向预测或双向预测运动矢量。对于分割1和分割2分别将Mv1和Mv2指代为单向预测运动矢量。如果4x4单元位于非加权区域中,如图16的示例所示,对该4x4单元储存Mv1或Mv2。否则,如果4x4单元位于加权区域中,则储存双向预测运动矢量。根据以下过程从Mv1和Mv2推导双向预测运动矢量:
1)如果Mv1和Mv2来自不同参考图片列表(一个来自L0且另一个来自L1),则Mv1和Mv2被简单地组合以形成双向预测运动矢量。
2)否则,如果Mv1和Mv2来自相同的列表,并且在不失一般性的情况下,假设它们都来自L0。在此情况下,
a)如果任意Mv2(或Mv1)的参考图片出现在L1中,则该Mv2(或Mv1)被使用L1中的该参考图片转换为L1运动矢量。然后两个运动矢量被组合以形成双向预测运动矢量;
b)否则,替代双向预测运动,仅储存单向预测运动Mv1。
3常规技术的技术限制的示例
观察到用调色板模式或其变体(例如PCIP或CPM)编解码的块的若干问题。
1.调色板模式在解块过程中可能需要特别处理。
2.为了更好的编解码效率,CPM和/或PCIP可以被视为帧内预测模式。
3.为了编解码效率,用CPM编解码的块的MV/BV可以用作连续块的MV/BV预测。
4.为了编解码效率,用PCIP编解码的块的帧内预测方向可以用作连续块的帧内模式预测。
5.如VTM中,色度CPM需要在子块级处进行运动矢量推导,其增大复杂度。
6.色度PCIP的信令通知不考虑色度IBC模式的可用性。
7.当使用非变换模式(即,块不是用变换编解码的;或用身份变换编解码时)——例如变换跳过、bdpcm模式时,一些QP可能是低效的。
8.当用于推导模式的对应的亮度块是用IBC编解码时,不清楚如何对色度处理DM模式。
4示例性实施例
以下实施例的列举应视为解释总体概念的示例。这些实施例不应以狭窄方式解释。此外,列举的技术可以以任何方式组合,例如,以改善编解码效率并降低解码或编解码复杂度。
以下描述的方法可以应用于当前调色板模式、PCIP、CPM或其他编解码方法,其仅依赖于残差编解码的调色板。
1.调色板模式可以被视为解块过程中附加于现有编解码模式(例如,帧内、帧间、IBC)的分开的模式(例如MODE_PLT)。
a.在一个示例中,如果P侧和Q侧的块都用调色板模式编解码,则边界强度可以被设定为0。
b.在一个示例中,如果一侧的块A用调色板模式编解码而另一侧的块B不是用调色板模式编解码,则边界强度可以仅取决于块B的信息。
i.在一个示例中,块B用帧内模式编解码。在这种情况下,边界强度可以被设定为2。
ii.在一个示例中,块B用IBC模式编解码。在这种情况下,如果块B至少具有一个非零系数则边界强度可以被设定为1。
iii.在一个示例中,块B用IBC模式编解码。在这种情况下,如果块B中的全部系数为0则边界强度可以被设定为0。
c.在一个示例中,以上方法还可以应用于PCIP、CPM或其他调色板相关的方法。
2.CPM可以以与解块过程中的IBC模式相同的方式处理(例如,边界强度推导)。
a.替代地,CPM可以以与解块过程中的调色板模式相同的方式处理(例如,边界强度推导)。
b.替代地,CPM可以以与解块过程中的帧内模式相同的方式处理(例如,边界强度推导)。
c.替代地,如何应用解块滤波可以取决于CPM的使用。
3.PCIP可以以与解块过程中的帧内模式相同的方式处理(例如,边界强度推导)。
a.替代地,PCIP可以以与解块过程中的调色板模式相同的方式处理(例如,边界强度推导)。
b.替代地,如何应用解块滤波可以取决于PCIP的使用。
4.调色板编解码块/CPM/PCIP的编解码块标志可以被设定为固定值或取决于逸出像素在块中的存在。
a.在一个示例中,编解码块标志可以被设定为0。
b.在一个示例中,编解码块标志可以被设定为1。
c.在一个示例中,如果当前块不具有任何逸出像素,则编解码块标志可以被设定为0。
d.在一个示例中,如果当前块具有至少一个逸出像素,则编解码块标志可以被设定为1。
5.用调色板模式和/或CPM和/或PCIP编解码的样点可以不被解块。
a.在一个示例中,如果在P侧或Q侧的块是用CPM和/或PCIP编解码,在P侧和/或Q侧的样点可以不被解块。
b.在一个示例中,如果P侧的块是用CPM和/或PCIP编解码且在Q侧的块不是用这些模式编解码,则P侧的样点可以不被解块,反之亦然。
c.在一个示例中,对于CPM模式,解块滤波可以仅对从IBC预测复制的样点进行。来自调色板条目的其他样点可以不被解块。
d.在一个示例中,对于PCIP模式,解块滤波可以仅对从帧内预测复制的样点进行。来自调色板条目的其他样点可以不被解块。
6.对于变换单元/预测单元/编解码块/区使用CPM的指示可以与现有预测模式分开地编解码,现有预测模式可以包含帧内模式、帧间模式、IBC模式和调色板模式
a.在一个示例中,预测模式相关的语法元素(例如cu_skip_flag,pred_mode_flag,pred_mode_ibc_flag和cu_palette_flag)可以在使用CPM的指示之前编解码。
i.替代地,此外,可以基于预测模式有条件地信令通知使用CPM的指示。
1.在一个示例中,当预测模式是帧内块复制模式(即,MODE_IBC)时,使用CPM模式的指示的信令通知可以被跳过。此外,当当前预测模式为MODE_IBC时,使用CPM的指示可以被推断为伪(false)。
7.是否信令通知用于色彩分量的CPM和/或PCIP相关的语法可以取决于分割结构和/或色彩格式和/或分开的平面编解码。
a.在一个示例中,对于色度分量,如果应用单树,则CPM和/或PCIP相关的语法的信令通知可以被跳过。
b.替代地,对于色度分量,如果应用双树,则CPM和/或PCIP相关的语法可以被信令通知。
c.替代地,如果色彩格式是4:0:0,则CPM和/或PCIP相关的语法的信令通知可以对色度块跳过。
i.替代地,此外,它们可以仍被信令通知,但在解码过程中不被使用。
8.对色度块使用CPM模式的指示的信令通知可以基于对应的亮度块中的一个或多个所选择的块的编解码的信息(例如,预测模式)。
a.在一个示例中,当所选择的亮度块中的至少一个是用IBC模式编解码时,用于色度块的CPM的指示可以被信令通知。
i.替代地,当全部所选择的亮度块是用IBC模式编解码时,用于色度块的CPM的指示可以被信令通知。
ii.替代地,如果所选择的块不是用帧内块复制模式(即,MODE_IBC)编解码的,则使用色度CPM的指示可以不被信令通知,此外,当所选择的块的预测模式不是MODE_IBC时,使用CPM的指示可以被推断为默认值(例如,伪)。
iii.替代地,如果全部所选择的块不是用帧内块复制模式(即,MODE_IBC)编解码的,则使用色度CPM的指示可以不被信令通知,此外,当全部所选择的块不是用IBC模式编解码时,使用CPM的指示可以被推断为默认值(例如,伪)。
b.在一个示例中,所选择的亮度块的尺寸可以是最小CU/PU/TU尺寸或运动/模式储存的单元(诸如4×4)。
c.在一个示例中,所选择的亮度块可以是覆盖对应的亮度区域的中央、左上、右上、左下或右下位置的CU/PU/TU。图4-1中示出了对应的亮度区域的示例。
i.在一个示例中,假设当前色度块的左上坐标是(x0,y0),当前色度块的宽度和高度分别是w0和h0。左上样点在对应的亮度区域中的坐标,对应的亮度区域的宽度和高度可以根据色彩格式缩放。
a)对于4:2:0色彩格式,并置的亮度区域的左上坐标是(2*x0,2*y0),并且其宽度和高度分别是2*w0和2*h0。
b)对于4:4:4色彩格式,并置的亮度区域的左上坐标是(x0,y0),并且其宽度和高度分别是w0和h0。
ii.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则中央位置的坐标可以是:
a)(x+W/2,y+H/2)
b)(x+W/2-1,y+H/2-1)
c)(x+W/2,y+H/2-1)
d)(x+W/2-1,y+H/2)
iii.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则左上位置的坐标可以是(x,y)。
iv.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则右上位置的坐标可以是:
a)(x+W,y)
b)(x+W-1,y)
v.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则左下位置的坐标可以是:
a)(x,y+H)
b)(x,y+H-1)
vi.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则右下位置的坐标可以是:
a)(x+W,y+H)
b)(x+W,y+H-1)
c)(x+W-1,y+H)
d)(x+W-1,y+H-1)
图13示出了对应的亮度区域的示例。
9.使用色度PCIP模式的信令通知可以取决于一个或多个所选择的亮度块的编解码的信息。
a.在一个示例中,如果对应的亮度块中的所选择的块是用帧内块复制模式(即,MODE_IBC)编解码的,则使用色度PCIP的指示可以不被信令通知。此外,当对应的亮度块的所选择的块的预测模式是MODE_IBC时,使用PCIP的指示可以被推断为伪。
i.替代地,当全部所选择的亮度块是用IBC模式编解码时,用于色度块的PCIP的指示可以不被信令通知。
ii.替代地,当对应的亮度区域中的全部样点用IBC模式编解码时,用于色度块的PCIP的指示可以不被信令通知。
b.在一个示例中,所选择的亮度块的尺寸可以是最小CU/PU/TU尺寸或运动/模式储存的单元(诸如4×4)。
c.在一个示例中,所选择的亮度块可以是覆盖对应的亮度区域的中央,左上,右上,左下或右下位置的CU/PU/TU,如图4-1所示。
i.在一个示例中,假设当前色度块的左上坐标是(x0,y0),当前色度块的宽度和高度分别是w0和h0。对应的亮度区域中的左上样点的坐标,对应的亮度区域的宽度和高度可以根据色彩格式缩放。
a)对于4:2:0色彩格式,并置的亮度区域的左上坐标是(2*x0,2*y0),其宽度和高度分别是2*w0和2*h0。
b)对于4:4:4色彩格式,并置的亮度区域的左上坐标是(x0,y0),其宽度和高度分别是w0和h0。
ii.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则中央位置的坐标可以是:
a)(x+W/2,y+H/2)
b)(x+W/2-1,y+H/2-1)
c)(x+W/2,y+H/2-1)
d)(x+W/2-1,y+H/2)
iii.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则左上位置的坐标可以是(x,y)。
iv.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则右上位置的坐标可以是:
a)(x+W,y)
b)(x+W-1,y)
v.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则左下位置的坐标可以是:
a)(x,y+H)
b)(x,y+H-1)
vi.假设并置的亮度区域的左上坐标是(x,y)并且其宽度和高度是W和H,则右下位置的坐标可以是:
a)(x+W,y+H)
b)(x+W,y+H-1)
c)(x+W-1,y+H)
d)(x+W-1,y+H-1)
10.提出将CPM模式处理为附加于现有预测模式的分开的预测模式(例如,由MODE_PLT_IBC指代)。
a.在一个示例中,预测模式可以包含用于帧内条带/I图片/帧内片组的帧内、帧内块复制、调色板模式以及CPM模式。
b.替代地,预测模式可以包含用于帧内条带/I图片/帧内片组的帧内、调色板模式、CPM模式。
c.在一个示例中,预测模式可以包含用于帧间条带/P和/或B图片/帧间片组的帧内、帧间、帧内块复制、调色板模式和CPM模式。
d.替代地,预测模式可以包含帧内、帧间、帧内块复制、调色板模式和CPM模式中的至少两个。
e.在一个示例中,当预测模式是帧间模式(即,MODE_INTER)时,使用CPM模式的指示的信令通知可以被跳过。此外,当当前预测模式是MODE_INTER时,使用CPM模式的指示可以被推断为伪。
11.CPM可以被视为现有预测模式的特殊情况。在此情况下,在使用现有预测模式的某些条件下,CPM模式相关的语法可以被进一步信令通知。
a.在一个示例中,当预测模式是帧内模式(即,MODE_INTRA)时,CPM相关的语法的信令通知可以被跳过。此外,当当前预测模式是MODE_INTRA时,使用CPM模式的指示可以被推断为伪。
b.在一个示例中,当预测模式是跳过模式(即,跳过标志等于1)时,CPM相关的语法的信令通知可以被跳过。此外,当跳过模式在当前CU时被采用时,使用CPM的指示可以被推断为伪。
c.在一个示例中,当预测模式是调色板模式(例如MODE_PLT)时,使用CPM和CPM相关的语法的指示可以被信令通知。
d.替代地,当预测模式是帧内模式、帧间模式或帧内块复制模式时,CPM相关的语法可以被跳过。
e.替代地,当预测模式是帧内模式且不是脉冲编解码调制(PCM)模式时,CPM相关的语法可以被信令通知。
f.在一个示例中,当预测模式是调色板模式(例如MODE_PLT)时,使用CPM和CPM相关的语法的指示可以在使用PCM模式的指示之前或之后被信令通知。在一个示例中,当应用CPM模式时,CPM相关的语法的信令通知可以被信令通知。
g.当预测模式是帧内模式、帧间模式或帧内块复制模式时,CPM相关的语法的信令通知可以被跳过。
h.替代地,当预测模式是帧内模式且不是脉冲编解码调制(PCM)模式时,CPM相关的语法可以被信令通知。
i.在一个示例中,当预测模式是帧内块复制模式时,CPM相关的语法可以被信令通知。
j.替代地,当预测模式是调色板模式、帧间模式或帧内模式时,CPM相关的语法的信令通知可以被跳过。
k.以上方法还可以应用于PCIP或其他调色板相关的方法。
12.用CPM编解码的块的MV还可以用作后续块的MV预测。
a.在一个示例中,用CPM编解码的块的MV可以用作其他块的Merge候选。
b.在一个示例中,用CPM编解码的块的MV可以用作其他块的HMVP候选。
i.替代地,此外,HMVP表可以在编解码用CPM编解码的块之后被更新。
c.在一个示例中,用CPM编解码的块的MV可以用作其他块的AMVP候选。
d.替代地,HMVP表更新过程在编解码一个CPM编解码的块之后被禁止。
e.替代地,CPM编解码的块的BV可以被禁止用作后续块的运动矢量预测器。
13.用PCIP编解码的块的帧内预测方向还可以用作后续块的帧内模式预测器。
a.在一个示例中,用PCIP编解码的块的帧内预测方向可以用作后续块的MPM模式。
i.在一个示例中,如果用PCIP编解码的块选择水平方向,则帧内模式可以被设定为VER_IDX且可以用作后续块的MPM模式。
ii.在一个示例中,如果用PCIP编解码的块选择垂直方向,则帧内模式可以被设定为HOR_IDX且可以用作后续块的MPM模式。
b.替代地,CPM编解码的块的帧内预测方向可以被禁止用作后续块的MPM。
14.调色板中要使用的条目的最大数目可以从一个视频单元(例如,CTB、CU、PU、TU)到另一视频单元而变化。二值化可以根据调色板中要使用的条目的最大数目改变。
a.在一个示例中,其可以取决于编解码的信息。
i.在一个示例中,其可以取决于块维度。
a)在一个示例中,用调色板模式编解码的较大块的尺寸可能具有较大的条目的最大数目,而用调色板模式编解码的较小块的尺寸可以具有较小的条目的最大数目。
b)在一个示例中,对于4x4块,可以仅允许N0调色板条目。
c)在一个示例中,对于8x4块和/或4x8块,可以仅允许N1调色板条目。
d)在一个示例中,对于8x8块,可以仅允许N2调色板条目。
e)在一个示例中,对于16x16块,可以仅允许N3调色板条目。
f)在一个示例中,N0、N1、N2和N3是固定数目(例如3,7或15)并且它们可以相同或不同。
g)在一个示例中,调色板条目的最大值与块维度之间的关系列表如下,其中W和H分别指代当前块宽度和块高度,并且Max是得到两个输入之间的较大一个的运算。
表4-1最大调色板条目与块维度之间的关系的一个示例
Max(W,H) 调色板条目的最大值
4 3
8 7
16 15
32 31
64 31
128 31
h)在一个示例中,调色板条目的最大值与块维度之间的关系列表如下,其中W和H分别指代当前块宽度和块高度,并且Max是得到两个输入之间的较大一个的运算。
表4-2最大调色板条目与块维度之间的关系的一个示例
Figure BDA0003437132840000531
Figure BDA0003437132840000541
b.在一个示例中,其可以取决于色彩分量。
i.在一个示例中,用调色板模式编解码的亮度块可能具有较大的条目的最大数目,而用调色板模式编解码的色度块可以具有较小的条目的最大数目。
a)在一个示例中,亮度块的条目的最大数目可以为N,从而色度块的条目的最大数目可以为M。
i.在一个示例中,M是固定数目(例如3,7或15)并且M可以小于N。
c.在一个示例中,其可以取决于分割结构,诸如双树或单树。
15.提出禁止用于调色板/CPM/PCIP编解码的块的缩放矩阵(例如,用户定义的缩放矩阵)。
a.替代地,缩放矩阵可以应用于调色板/CPM/PCIP编解码的块。
b.在一个示例中,如何选择调色板/CPM/PCIP编解码的块的缩放矩阵可以以与变换跳过编解码的块相同的方式进行。
16.用于编解码IBC模式的使用的上下文建模(例如,cu_skip_flag和/或pred_mode_ibc_flag)可以取决于当前块的编解码的信息,诸如块维度/块形状/分割树深度(例如,QT/BT/TT/MTT深度)和/或条带类型。
a.在一个示例中,用于编解码IBC标志的指示的上下文可以基于块尺寸推导。
i.在一个示例中,不同块尺寸下的使用IBC模式的指示可以通过使用不同上下文被信令通知。
ii.替代地,具有小于或不大于T的块尺寸的块的使用IBC模式的指示可以使用一个上下文。具有其他块尺寸的块可以使用其他上下文(例如,仅一个)。
iii.替代地,具有大于或不小于T的块尺寸的块的使用IBC模式的指示可以使用一个上下文。具有其他块尺寸的块可以使用其他上下文(例如,仅一个)。
iv.在一个示例中,T可以是基于
1.视频内容(例如屏幕内容或自然内容)
2.在LCU/TU/PU的DPS/SPS/VPS/PPS/APS/图片头/条带头/片组头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/组中信令通知的消息
3.色彩格式(诸如4:2:0,4:4:4)的指示
4.编解码树结构
5.条带/片组类型和/或图片类型
6.色彩分量(例如可以仅应用于色度分量或亮度分量)
7.时域层ID
8.标准的配置/级/层级
9.被信令通知到解码器
b.在一个示例中,编解码IBC模式的使用的上下文建模可以基于块形状(例如,正方形或非正方形;宽度与高度之间的比例)推导。
i.替代地,不同块形状下的IBC标志的指示可以通过使用不同上下文被信令通知。
c.在一个示例中,对I条带的cu_skip_flag的上下文建模可以不同于P/B条带。
i.在一个示例中,cu_skip_flag的上下文建模可以取决于邻接块的cu_skip_flag信息。而对于PB条带,编解码cu_skip_flag可以使用仅一个上下文,或反之亦然。
d.在一个示例中,可以使用仅一个上下文来编解码IBC模式的使用。
e.以上方法可以仅应用于用于特定条带/图片类型的那些
17.cu_skip_flag的上下文建模可以取决于邻接块是否用IBC模式编解码。
a.在一个示例中,当邻接块中的至少一个或两个用IBC模式编解码时,可以使用上下文。
18.与第一语法元素相关联的二进制位的上下文编解码可以取决于与邻接块(相邻或不相邻)相关联的第二语法元素的值。
a.在一个示例中,第一语法元素可以是用于指示组合的帧内帧间预测模式/三角形预测模式的语法元素。
b.在一个示例中,第二语法元素可以是与IBC使用相关的语法元素,或与第一语法元素相关联的二进制位的上下文编解码可以取决于邻接块的IBC模式的使用。
c.替代地,消息可以指示当前条带/片/序列是否是屏幕内容。
19.对用QR-BDPCM模式编解码的块可以推断编解码块标志(cbf)而不信令通知。
a.替代地,在一个示例中,在用QR-BDPCM模式编解码的块上,cbf可以被推断为1
b.以上方法可以应用于亮度cbf和/或色度cbf。
20.当覆盖当前色度块的中央位置和/或用于推导DM模式的对应的亮度块不是用帧内模式编解码(例如MODE_INTRA)时,色度DM模式可以不被允许。使A为要在DM模式推导过程中使用的对应的亮度块(例如,覆盖对应的当前色度块的中央位置的一个亮度块)。
a.在一个示例中,当A用IBC和/或IBC模式的变化编解码时,色度DM模式可以不被允许。
b.在一个示例中,当A用调色板和/或调色板模式的变化编解码时,色度DM模式可以不被允许。
c.在一个示例中,当A用PCM和/或PCM模式的变化编解码时,色度DM模式可以不被允许。
d.以上示例中,如果色度DM模式不被允许(例如,由于对应的亮度块的预测模式等于某种模式),则色度DM模式的指示可以不被信令通知。
i.替代地,色度DM模式的指示可以被信令通知。然而,一致性比特流应满足,当色度DM模式不被允许时(例如,由于对应的亮度块的预测模式等于某种模式),解码的intra_chroma_pred_mode不等于特定值(例如,当CCLM关时的4;当CCLM开时的7)。
e.在一个示例中,如果A是用QR-BDPCM模式编解码的,则色度DM模式中的帧内预测模式可以基于A的帧内预测方向(例如,bdpcm_dir_flag)推导。
i.在一个示例中,如果A的帧内预测方向是垂直(例如,bdpcm_dir_flag等于1),则色度DM模式中的帧内预测模式可以是垂直模式(例如,VER_IDX)。
ii.在一个示例中,如果A的帧内预测方向是水平(例如,bdpcm_dir_flag等于0),则色度DM模式中的帧内预测模式可以是水平模式(例如,HOR_IDX)。
f.在一个示例中,色度DM模式中的帧内预测模式可以基于复合IBC和调色板模式的使用而推导。
i.在一个示例中,DM可以被设定为平面或水平/垂直预测模式。
21.当覆盖当前色度块的中央位置和/或用于推导DM模式的对应的亮度块不是用帧内模式编解码(例如MODE_INTRA)时,使用DM模式的色度块的预测块可以被从帧内预测方法生成的预测块填充。使A为要在DM模式推导过程中使用的对应的亮度块(例如,覆盖对应的当前色度块的中央位置的一个亮度块)。
a.在一个示例中,当A用调色板和/或调色板模式的变化编解码时,帧内预测方法可以是用于垂直帧内预测的方法。
i.替代地,在一个示例中,当A用调色板和/或调色板模式的变化编解码时,色度DM模式的预测可以被水平预测填充。
ii.替代地,在一个示例中,当A用调色板和/或调色板模式的变化编解码时,色度DM模式的预测可以被平面预测填充。
iii.替代地,在一个示例中,当A用调色板和/或调色板模式的变化编解码时,色度DM模式的预测可以被DC预测填充。
iv.替代地,在一个示例中,当A用调色板和/或调色板模式的变化编解码时,色度DM模式的预测可以被任意帧内预测模式填充。
b.在一个示例中,可以基于邻接(相邻或不相邻)亮度块的帧内预测模式和/或当前色彩分量或其他色彩分量中的邻接(相邻或不相邻)色度块的帧内预测模式而生成色度块的预测。
c.在一个示例中,帧内预测方法可以对应于在MPM列表构建期间分配给PCM块的帧内预测模式。
d.在一个示例中,帧内预测方法可以对应于分配给亮度PCM块的帧内预测模式。
e.在一个示例中,帧内预测方法可以对应于分配给色度PCM块的帧内预测模式。
f.在一个示例中,帧内预测方法可以对应于A的MPM列表中的第一帧内预测模式。
g.当A用IBC和/或IBC模式的变化编解码时,可以应用以上方法
i.替代地,当A用PCM和/或PCM模式的变化编解码时,可以应用以上方法
ii.替代地,当A用QR-BDPCM和/或QR-BDPCM模式的变化编解码时,可以应用以上方法
22.使用DM模式的色度块的预测块可以遵循处理具有无效块矢量的色度块的方式推导。
a.在一个示例中,使用DM模式的色度块的预测块可以用默认值填充。
i.替代地,此外,默认值可以固定为M。
ii.替代地,此外,默认值可以取决于输入和/或内部位深度。
b.在一个示例中,当对应的亮度块的预测模式不是帧内模式时,可以应用以上方法。
i.在一个示例中,当对应的亮度块的预测模式是IBC模式和/或IBC模式的变化时,可以应用以上方法。
ii.在一个示例中,当对应的亮度块的预测模式是调色板模式和/或调色板模式的变化时,可以应用以上方法。
23.块可以具有默认帧内模式。
a.在一个示例中,默认模式可以是DC/PLANAR/VER/HOR模式
b.在一个示例中,默认模式可以是任意帧内模式
c.在一个示例中,默认模式可以被用作帧内模式编解码过程中的最可能模式(MPM)。
i.替代地,在一个示例中,当从邻接块取回帧内模式,如果该块和当前块在不同视频编解码单元(例如片,条带和图块(brick))中,使用邻接块的默认模式
d.在一个示例中,在色度DM模式中,对应的亮度块的默认模式可以用于推导DM模式。
e.如果块不是用帧内模式编解码,则可以使用以上方法
i.替代地,如果块是用IBC/帧间/QRDPCM/PCM/调色板模式编解码的,则可以使用以上方法。
ii.替代地,如果当前块的帧内模式不被解码,则可以使用以上方法。
24.在MPM列表构建期间,如果邻接块是在PCM模式下编解码,其可以视为DC预测模式。
25.如何应用TPM和/或TPM混合过程和/或储存运动信息可以基于邻接块的编解码的信息。
a.在一个示例中,如果其邻接块(例如图12中的左侧和上方邻接块)是用IBC/调色板/TS/QR-BDPCM模式编解码的,TPM混合过程可以对当前块禁用。
b.在一个示例中,如果其邻接块(例如图12中的左侧和上方邻接块)是用IBC/调色板/TS/QR-BDPCM模式编解码的,可以应用当前块的不同混合过程/运动储存过程。
用身份变换编解码的块的量化参数(例如,变换跳过模式,QR-BDPCM等)
26.使用身份变换的编解码工具的指示的信令通知可以取决于来自比特流的解码的量化参数。
a.在一个示例中,transform_skip_flag对于一些QP可以不被信令通知;然后标志被推断为0。
i.在一个示例中,当QP小于(4+QpBdOffsetY),transform_skip_flag可以不被信令通知。
b.intra_bdpcm_flag对一些QP可以不被信令通知;然后标志被推断为0。
i.在一个示例中,当QP小于(4+QpBdOffsetY)时,intra_bdpcm_flag可以不被信令通知。
27.来自用身份变换编解码的块的比特流解码的量化参数可以根据亮度/色度量化参数范围偏移(QpBdOffsetY,QpBdOffsetC)来修改。
a.在一个示例中,如果transform_skip_flag等于1,则可以应用QP修剪
i.在一个示例中,当transform_skip_flag等于1时,QP值如果小于(4+QpBdOffsetY)则可以设定为(4+QpBdOffsetY)。
ii.在一个示例中,当transform_skip_flag等于1时,QP值如果小于QT则可以被设定为特定值QT。
b.如果transform_skip_flag等于1,则偏移可以被添加到解码的QP值,指代为QPdec。
i.在一个示例中,QPdec+4+QpBdOffsetY而非QPdec可以应用于其中transform_skip_flag为1的块。
c.以上方法还可以适用于QR-DPCM编解码的块,例如,当intra_bdpcm_flag等于1时。
d.在一个示例中,修改的量化参数可以用于后续块的差值(delta)QP信令通知的量化/去量化/滤波/预测中。
28.来自用身份变换编解码的块的比特流的解码的量化参数可以根据固定偏移修改。
a.在一个示例中,如果transform_skip_flag等于1,可以应用QP修剪
i.在一个示例中,当transform_skip_flag等于1时,QP值如果小于4时可以被设定为4。
ii.在一个示例中,当transform_skip_flag等于1时,QP值如果小于QT时可以被设定为特定值QT。
b.如果transform_skip_flag等于1,则偏移可以被添加到解码的QP值,指代为QPdec。
i.在一个示例中,QPdec+4而非QPdec可以应用于其中transform_skip_flag为1的块。
c.以上方法还可以适用于QR-DPCM编解码的块,例如,当intra_bdpcm_flag等于1时。
d.在一个示例中,修改的量化参数可以用于后续块的差值QP信令通知的量化/去量化/滤波/预测。
29.来自用身份变换编解码的块的比特流的解码的量化参数可以根据输入位深度修改,指代为bdi。
a.在一个示例中,如果transform_skip_flag等于1,可以应用QP修剪
i.在一个示例中,当transform_skip_flag等于1时,QP值如果小于(4+6*(bdi-8))则可以设定为(4+6*(bdi-8))。
b.如果transform_skip_flag等于1,则偏移可以被添加到解码的QP值,指代为QPdec。
i.在一个示例中,QPdec+(4+6*(bdi-8))而非QPdec可以应用于具有为1的transform_skip_flag的块。
c.以上方法还可以适用于QR-DPCM编解码的块,例如,当intra_bdpcm_flag等于1。
d.在一个示例中,修改的量化参数可以用于后续块的差值QP信令通知的量化/去量化/滤波/预测中。
30.来自用身份变换编解码的块的比特流的解码的量化参数可以根据内部位深度(bd)和指代为(bdi)的输入位深度修改。
a.在一个示例中,如果transform_skip_flag等于1,则可以应用QP修剪
i.在一个示例中,当transform_skip_flag等于1时,QP值如果小于(4+6*(bd-bdi))则可以设定为(4+6*(bd-bdi))。
b.如果transform_skip_flag等于1,则偏移可以被添加到解码的QP值,指代为QPdec。
i.在一个示例中,QPdec+(4+6*(bd-bdi))而非QPdec可以应用于其中transform_skip_flag为1的块。
c.以上方法还可以适用于QR-DPCM编解码的块,例如,当intra_bdpcm_flag等于1时。
d.在一个示例中,修改的量化参数可以用于后续块的差值QP信令通知的量化/去量化/滤波/预测中。
31.上述解码的量化参数可以是量化参数,而不考虑内部位深度QP偏移(例如,不添加QpBdOffsetY)。
a.替代地,上述解码的量化参数可以是量化参数,考虑内部位深度QP偏移
32.提出在比特流中指示输入位深度
a.在一个示例中,等于(input_bitdepth–8)的语法元素input_bitdepth_minus8可以在SPS/VPS被信令通知以指示输入视频的位深度。
i.在一个示例中,语法元素具有范围0..dQP,其中dQP是固定值。
b.在一个示例中,等于(internal_bitdepth–input_bitdepth)的语法元素bitdepth_minus_input_bitdepth可以在SPS/VPS中被信令通知以指示输入视频的位深度。
i.在一个示例中,语法元素具有范围0..dQP,其中dQP是固定值。
33.是否和/或如何应用以上方法可以基于:
a.视频内容(例如屏幕内容s或自然内容)
b.在LCU/TU/PU块/视频编解码单元的DPS/SPS/VPS/PPS/APS/图片头/条带头/片组头/最大编解码单元(LCU)/编解码单元(CU)/LCU行/组中信令通知的消息
c.CU/PU/TU/块/视频编解码单元的位置
d.当前块和/或其邻接块的块维度
i.在一个示例中,仅当当前块的宽度和高度小于T(例如32或64)时可以应用以上方法。
e.当前块和/或其邻接块的块形状
f.当前块和/或其邻接块的预测模式(例如pred_mode_ibc_flag)
g.当前块和/或其邻接块的帧内模式
h.当前块和/或其邻接块的运动/块矢量
i.色彩格式(诸如4:2:0,4:4:4)的指示
j.编解码树结构
k.条带/片组类型和/或图片类型
l.色彩分量(例如可以应用于色度分量或亮度分量)
m.时域层ID
n.标准的配置/级/层级
5 JVET-N1001-v6之上的实施例
JVET-N1001-v6提供的草案之上的以下改变以粗斜体突出显示。删除的文本标记有双括号(例如,[[a]]指代删除字符“a”)。
序列参数集RBSP语法
Figure BDA0003437132840000632
编解码单元语法
Figure BDA0003437132840000631
Figure BDA0003437132840000641
预测模式语法
之后整个文本和表格提出为对VVC的当前版本的新的添加。
Figure BDA0003437132840000642
Figure BDA0003437132840000651
调色板语法
之后整个文本和表格提出为对当前版本的新的添加。
Figure BDA0003437132840000652
Figure BDA0003437132840000661
Figure BDA0003437132840000671
Figure BDA0003437132840000681
调色板语意
在以下语意中,阵列索引x0,y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
cu_palette_flag指定调色板模式在当前编解码单元中的使用。cu_palette_flag==1指示调色板模式应用于当前编解码单元中。cu_palette_flag==0指示调色板模式不应用于当前编解码单元。
palette_predictor_run被用于确定阵列PalettePredictorEntryReuseFlags之前的非零条目之前的零的数目。
比特流一致性要求palette_predictor_run的值应在0至(PredictorPaletteSize-predictorEntryIdx)的值的范围内(含端值),其中predictorEntryIdx对应于阵列PalettePredictorEntryReuseFlags中的当前位置。变量NumPredictedPaletteEntries指定从预测器调色板重新使用的当前调色板中的条目的数目。NumPredictedPaletteEntries的值应在0至palette_max_size的范围中(含端值)。
num_signalled_palette_entries[startComp]指定当前调色板中的条目的数目,其对于当前调色板表startComp的第一色彩分量被显式地信令通知。
当num_signalled_palette_entries[startComp]不存在时,其被推断为等于0。
变量CurrentPaletteSize指定当前调色板的尺寸且如下推导:
CurrentPaletteSize[startComp]=NumPredictedPaletteEntries[startComp]+num_signalled_palette_entries[startComp](XX)
CurrentPaletteSize[startComp]的值应在0至palette_max_size的范围内(含端值)。
new_palette_entries[cIdx][i]指定色彩分量cIdx的第i个信令通知的调色板条目的值。
变量PredictorPaletteEntries[cIdx][i]指定色彩分量cIdx的预测器调色板中的第i个元素。
变量CurrentPaletteEntries[cIdx][i]指定色彩分量cIdx的当前调色板中的第i个元素且如下推导:
Figure BDA0003437132840000691
等于1的palette_escape_val_present_flag指定当前编解码单元含有至少一个逸出编解码样点。等于0的escape_val_present_flag指定当前编解码单元中不存在逸出编解码样点。当不存在时,palette_escape_val_present_flag的值被推断为等于1。
变量MaxPaletteIndex指定当前编解码单元的调色板索引的最大可能值。如果cu_palette_ibc_mode为0,则MaxPaletteIndex的值设定为等于CurrentPaletteSize+palette_escape_val_present_flag。否则,如果cu_palette_ibc_mode为1,则MaxPaletteIndex设定为等于CurrentPaletteSize+palette_escape_val_present_flag+1
num_palette_indices_minus1加1是当前块的显式地信令通知的或推断的调色板索引的数目。
当num_palette_indices_minus1不存在时,其被推断为等于0。
palette_index_idc是对由CurrentPaletteEntries表示的阵列的索引的指示。对于块中的第一索引,palette_index_idc的值应在0至MaxPaletteIndex的范围内(含端值),并且对于块中的其余索引,在0至(MaxPaletteIndex-1)的范围内(含端值)。
当palette_index_idc不存在时,其被推断为等于0。
变量PaletteIndexIdc[i]储存显式地信令通知的或推断的第i个palette_index_idc。阵列PaletteIndexIdc[i]的全部元素被初始化为0。
等于1的copy_above_indices_for_final_run_flag指定编解码单元中的最后位置的调色板索引如果使用水平遍历扫描则被从上方行中的调色板索引复制,或如果使用垂直遍历扫描则被从左侧列中的调色板索引复制。等于0的copy_above_indices_for_final_run_flag指定编解码单元中的最后位置的调色板索引被从PaletteIndexIdc[num_palette_indices_minus1]复制。
当copy_above_indices_for_final_run_flag不存在时,其被推断为等于0。
等于1的palette_transpose_flag指定垂直遍历扫描应用于扫描当前编解码单元中的像素的索引。等于0的palette_transpose_flag指定水平遍历扫描应用于扫描当前编解码单元中的像素的索引。
等于1的copy_above_palette_indices_flag指定调色板索引如果使用水平遍历扫描则等于上方行中的相同位置处的调色板索引,或如果使用垂直遍历扫描则等于左侧列中的相同位置处的调色板索引。等于0的copy_above_palette_indices_flag指定样点的调色板索引的指示被在比特流中编解码或被推断。
等于1的变量CopyAboveIndicesFlag[xC][yC]指定调色板索引是从上方行(水平扫描)或左侧列(垂直扫描)中的调色板索引复制的。等于0的CopyAboveIndicesFlag[xC][yC]指定调色板索引是被显式地编解码在比特流中或被推断。阵列索引xC,yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。
变量PaletteIndexMap[xC][yC]指定调色板索引,其是对由CurrentPaletteEntries表示的阵列的索引。阵列索引xC,yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。PaletteIndexMap[xC][yC]的值应在0至MaxPaletteIndex的范围内(含端值)。
当CopyAboveIndicesFlag[xC][yC]等于1时,变量PaletteRun指定具有与上方行中的(水平扫描)或左侧列中的(垂直扫描)相同调色板索引的连续位置的数目减1,或当CopyAboveIndicesFlag[xC][yC]等于0,变量PaletteRun指定具有相同的调色板索引的连续位置的数目减1。
变量PaletteMaxRun表示PaletteRun的最大可能值。比特流一致性要求PaletteMaxRun的值应大于或等于0。
palette_run_prefix指定PaletteRun的二值化中的前缀部分。
palette_run_suffix指定PaletteRun的二值化中的后缀部分。当palette_run_suffix不存在时,palette_run_suffix的值被推断为等于0。
PaletteRun的值如下推导:
–如果palette_run_prefix小于2,则以下适用:
PaletteRun=palette_run_prefix (XX)
–否则(palette_run_prefix大于或等于2),以下适用:
PrefixOffset=1<<(palette_run_prefix-1)
PaletteRun=PrefixOffset+palette_run_suffix
(XX)
palette_escape_val指定分量的量化的逸出编解码样点值。
变量PaletteEscapeVal[cIdx][xC][yC]指定PaletteIndexMap[xC][yC]等于(MaxPaletteIndex–1)且palette_escape_val_present_flag等于1的样点的逸出值。阵列索引cIdx指定色彩分量。阵列索引xC,yC指定样点相对于图片的左上亮度样点的位置(xC,yC)。
比特流一致性要求PaletteEscapeVal[cIdx][xC][yC]对于cIdx等于0应在0至(1<<(BitdepthY+1))-1的范围内(含端值),并且对于cIdx不等于0则应在0至(1<<(BitdepthC+1))-1的范围内(含端值)。
以帧内预测模式编解码的编解码单元的总体解码过程
该过程的输入为:
–亮度位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前编解码块的左上样点,
–变量cbWidth,指定亮度样点中的当前编解码块的宽度,
–变量cbHeight,指定亮度样点中的当前编解码块的高度,
–变量treeType,指定使用单树还是双树,以及如果使用双树,指定当前树对应于亮度还是色度分量。
该过程的输出是回路中滤波之前的修改的重建图片。
用以下调用如条款8.4.1所指定的量化参数的推导过程,亮度位置(xCb,yCb)、亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight,并且变量treeType作为输入。
当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_LUMA时,亮度样点的解码过程指定如下:
–如果pcm_flag[xCb][yCb]等于1,则重建图片被如下修改:
SL[xCb+i][yCb+j]=pcm_sample_luma[(cbHeight*j)+i]<<(BitdepthY-PcmBitdepthY),(8-1)
其中i=0..cbWidth-1,j=0..cbHeight-1
–否则,如果cu_palette_flag[xCb][yCb]等于1,则以下适用:
–如果treeType等于SINGLE_TREE,则以下适用
1.用以下调用如条款XXX所指定的调色板块的总体解码过程,亮度位置(xCb,yCb)、设定为等于0的变量startComp、设定为0的变量cIdx、设定为等于cbWidth的变量nTbW、设定为等于cbHeight的变量nTbH。
–否则,以下适用
1.用以下调用如条款XXX所指定的调色板块的总体解码过程,亮度位置(xCb,yCb)、设定为等于0的变量startComp、设定为0的变量cIdx、设定为等于cbWidth的变量nTbW、设定为等于cbHeight的变量nTbH。
2.用以下调用如条款8.X.X所指定的调色板块的总体调色板预测器更新过程,亮度位置(xCb,yCb)、设定为等于0的变量startComp、设定为等于1的变量numComps。
–否则,以下适用:
1.用以下调用如条款8.2.2所指定的亮度帧内预测模式的推导过程,亮度位置(xCb,yCb)、亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight作为输入。
2.用以下调用如条款8.2.4.1所指定的帧内块的总体解码过程,亮度位置(xCb,yCb)、树类型treeType、设定为等于cbWidth的变量nTbW、设定为等于cbHeight的变量nTbH、设定为等于IntraPredModeY[xCb][yCb]的变量predModeIntra,以及设定为等于0的变量cIdx作为输入,并且输出是回路中滤波之前的修改的重建图片。
当treeType等于SINGLE_TREE或treeType等于DUAL_TREE_CHROMA时,色度样点的解码过程指定如下:
–如果pcm_flag[xCb][yCb]等于1,则重建图片被如下修改:
SCb[xCb/SubWidthC+i][yCb/SubHeightC+j]=pcm_sample_chroma[(cbHeight/SubWidthC*j)+i]<<(BitdepthC-PcmBitdepthC),
其中i=0..cbWidth/SubWidthC–1且j=0..cbHeight/SubHeightC-1 (8-2)
SCr[xCb/SubWidthC+i][yCb/SubHeightC+j]=pcm_sample_chroma[(cbHeight/SubWidthC*(j+cbHeight/SubHeightC))+i]<<(BitdepthC-PcmBitdepthC),
其中i=0..cbWidth/SubWidthC–1且
j=0..cbHeight/SubHeightC-1 (8-3)
–否则,如果cu_palette_flag[xCb][yCb]等于1,则以下适用:
–如果treeType等于SINGLE_TREE,则以下适用
1.用以下调用如条款XXX所指定的调色板块的总体解码过程,亮度位置(xCb,yCb)、设定为等于0的变量startComp、设定为1的变量cIdx、设定为等于(cbWidth/2)的变量nTbW、设定为等于cbHeight的变量(cbHeight/2)。
2.用以下调用如条款XXX所指定的调色板块的总体解码过程,亮度位置(xCb,yCb)、设定为等于0的变量startComp、变量cIdx set to 2、设定为等于(cbWidth/2)的变量nTbW、设定为等于cbHeight的变量(cbHeight/2)。
3.用以下如条款8.X.X所指定的调色板块的总体调色板预测器更新过程,亮度位置(xCb,yCb)、设定为等于0的变量startComp、设定为等于3的变量numComps。
–否则,以下适用
1.用以下调用如条款XXX所指定的调色板块的总体解码过程,亮度位置(xCb,yCb)、设定为等于1的变量startComp、设定为1的变量cIdx、设定为等于(cbWidth/2)的变量nTbW、设定为等于cbHeight的变量(cbHeight/2)。
2.用以下调用如条款XXX所指定的调色板块的总体解码过程,亮度位置(xCb,yCb)、设定为等于1的变量startComp、设定为2的变量cIdx、设定为等于(cbWidth/2)的变量nTbW、设定为等于cbHeight的变量(cbHeight/2)。
3.用以下调用如条款XXX所指定的调色板块的总体调色板预测器更新过程,亮度位置(xCb,yCb)、设定为等于1的变量startComp、变量numComps设定为等于2。
–否则,以下适用:
1.用以下调用如条款8.2.3所指定的色度帧内预测模式的推导过程,亮度位置(xCb,yCb)、亮度样点中的当前编解码块的宽度cbWidth和亮度样点中的当前编解码块的高度cbHeight作为输入。
2.用以下调用如条款8.2.4.1所指定的帧内块的总体解码过程,色度位置(xCb/2,yCb/2)、树类型treeType、设定为等于(cbWidth/2)的变量nTbW、设定为等于(cbHeight/2)的变量nTbH、设定为等于IntraPredModeC[xCb][yCb]的变量predModeIntra,以及设定为等于1的变量cIdx,并且输出是回路中滤波之前的修改的重建图片。
3.用以下调用如条款8.2.4.1所指定的帧内块的总体解码过程,色度位置(xCb/2,yCb/2)、树类型treeType、设定为等于(cbWidth/2)的变量nTbW、设定为等于(cbHeight/2)的变量nTbH、设定为等于IntraPredModeC[xCb][yCb]的变量predModeIntra,以及设定为等于2的变量cIdx,并且输出是回路中滤波之前的修改的重建图片。
调色板模式的解码过程
该过程的输入为:
–位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前块的左上亮度样点,
–变量startComp,指定调色板表中的第一色彩分量,
–变量cIdx,指定当前块的色彩分量,
–两个变量nTbW和nTbH,分别指定当前块的宽度和高度。
该过程的输出是阵列recSamples[x][y],其中x=0..nTbW-1,y=0..nTbH–1,指定块的重建样点值。
取决于cIdx的值,变量nSubWidth和nSubHeight如下推导:
–如果cIdx等于0,则nSubWidth被设定为1且nSubHeight被设定为1。
–如果startComp等于1且如果cIdx>1,则nSubWidth被设定为1且nSubHeight被设定为1。
–否则,nSubWidth被设定为SubWidthC且nSubHeight被设定为SubHeightC。
–如果cu_palette_ibc_mode[xCb][yCb]等于1,则以下适用:
–用以下调用如条款8.6.2所指定的运动矢量的推导过程,相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点的亮度位置(xCb,yCb),指定亮度样点中的当前编解码块的宽度的变量cbWidth,以及指定亮度样点中的当前编解码块的高度的变量cbHeight。输出是1/16分数采样精度mvL下的亮度运动矢量。
–用以下调用如条款8.6.3所指定的总体IBC预测过程,指定相对于当前图片的左上亮度样点的当前编解码块的左上样点的亮度位置(xCb,yCb),指定亮度样点中的当前编解码块的宽度的变量cbWidth,指定亮度样点中的当前编解码块的高度的变量cbHeight,指定水平和垂直方向上的亮度编解码子块的数目的变量numSbX和numSbY,运动矢量mv[xSbIdx][ySbIdx],其中xSbIdx=0..numSbX–1且ySbIdx=0..numSbY-1,指定当前块的色彩分量索引的变量cIdx。输出是预测样点predSamples[x][y]的阵列predSamples。
位置(xCb,yCb)处的重建样点阵列recSamples的(nTbW x nTbH)块,表示为recSamples[x][y],其中x=0..nTbW–1且y=0..nTbH-1,并且对于从0至nTbW-1(含端值)范围内的每个x以及从0至nTbH-1(含端值)范围内的每个y的recSamples[x][y]的值,推导如下:
–变量xL和yL如下推导:
xL=palette_transpose_flag?x*nSubHeight:x*nSubWidth (5-4)
yL=palette_transpose_flag?y*nSubWidth:y*nSubHeight (5-5)
–变量bIsEscapeSample如下推导:
–如果PaletteIndexMap[xCb+xL][yCb+yL]等于MaxPaletteIndex且palette_escape_val_present_flag等于1,则bIsEscapeSample设定为等于1。
–否则,bIsEscapeSample设定为等于0。
–如果bIsEscapeSample等于0,则以下适用:
–如果cu_palette_ibc_mode[xCb][yCb]等于1,则以下适用:
–如果PaletteIndexMap[xCb+xL][yCb+yL]等于0,则以下适用:
recSamples[x][y]=predSamples[x][y]
–否则,以下适用:
recSamples[x][y]=CurrentPaletteEntries[cIdx][PaletteIndexMap[xCb+xL][yCb+yL]-1] (5-6)
–否则,以下适用:
recSamples[x][y]=CurrentPaletteEntries[cIdx][PaletteIndexMap[xCb+xL][yCb+yL]] (5-7)
–否则,如果cu_transquant_bypass_flag等于1,则以下适用:
recSamples[x][y]=PaletteEscapeVal[cIdx][xCb+xL][yCb+yL] (5-8)
–否则(bIsEscapeSample等于1且cu_transquant_bypass_flag等于0),应用以下顺序的步骤:
1.用以下调用量化参数的推导过程,位置(xCb,yCb),指定相对于当前图片的左上样点的当前块的左上样点。
2.量化参数qP如下推导:
–如果cIdx等于0,
qP=Max(0,Qp′Y) (5-9)
–否则,如果cIdx等于1,
qP=Max(0,Qp′Cb) (5-10)
–否则(cIdx等于2),
qP=Max(0,Qp′Cr) (5-11)
3.变量bitDepth如下推导:
bitDepth=(cIdx==0)?BitDepthY:BitDepthC (5-12)
4.列表levelScale[]被指定为levelScale[k]={40,45,51,57,64,72},其中k=0..5。
5.以下适用:
tmpVal=(PaletteEscapeVal[cIdx][xCb+xL][yCb+yL]*levelScale[qP%6])<<(qP/6)+32)>>6 (5-13)
recSamples[x][y]=Clip3(0,(1<<bitDepth)-1,tmpVal) (5-14)
调色板模式的调色板预测器更新过程
该过程的输入为:
–位置(xCb,yCb),指定相对于当前图片的左上亮度样点的当前块的左上亮度样点,
–变量startComp,指定调色板表中的第一色彩分量,
–变量numComps,指定调色板表中的色彩分量的数目,
该过程的输出是变量PredictorPaletteSize[startComp],指定更新的调色板预测器的尺寸,以及阵列PredictorPaletteEntries[cIdx][i],其中cIdx=startComp,…,startComp+numComps-1,i=0..PredictorPaletteSize-1,指定下一块的更新的调色板预测器。
变量PredictorPaletteSize和阵列PredictorPaletteEntries被推导或如下修改:
Figure BDA0003437132840000781
比特流一致性要求PredictorPaletteSize的值应在0至PaletteMaxPredictorSize的范围内(含端值)。
5.1实施例#2
5.1.1变换系数的缩放过程
该过程的输入为:
–亮度位置(xTbY,yTbY),指定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点,
–变量nTbW,指定变换块宽度,
–变量nTbH,指定变换块高度,
–变量cIdx,指定当前块的色彩分量,
–变量bitDepth,指定当前色彩分量的位深度。
该过程的输出是具有元素d[x][y]的缩放的变换系数的(nTbW)x(nTbH)阵列d。
量化参数qP如下推导:
–如果cIdx等于0,以下适用:
–如果transform_skip_flag[xTbY][yTbY]等于1或intra_bdpcm_flag[xTbY][yTbY]等于1,以下适用:
qP=Max(4+QpBdOffsetY,Qp′Y) (8-954)
–否则
qP=Qp′Y (8-954)
–否则,如果cIdx等于1且tu_joint_cbcr_residual[xTbY][yTbY]等于1,则以下适用:
qP=Qp′CbCr (8-955)
–否则,如果cIdx等于1,则以下适用:
qP=Qp′Cb (8-956)
–否则(cIdx等于2),以下适用:
qP=Qp′Cr
在一个示例中,突出显示条件可以进一步改变为:
如果transform_skip_flag[xTbY][yTbY]等于1,则以下适用:
5.2实施例#3
5.2.1变换系数的缩放过程
该过程的输入为:
–亮度位置(xTbY,yTbY),指定相对于当前图片的左上亮度样点的当前亮度变换块的左上样点,
–变量nTbW,指定变换块宽度,
–变量nTbH,指定变换块高度,
–变量cIdx,指定当前块的色彩分量,
–变量bitDepth,指定当前色彩分量的位深度。
该过程的输出是具有元素d[x][y]的缩放的变换系数的(nTbW)x(nTbH)阵列d。
量化参数qP如下推导:
–如果cIdx等于0,则以下适用:
–如果transform_skip_flag[xTbY][yTbY]等于1或intra_bdpcm_flag[xTbY][yTbY]等于1,则以下适用:
qP=Max(4+(6*(input_bit_depth-8)),Qp′Y) (8-954)
–否则
qP=Qp′Y (8-954)
–否则,如果cIdx等于1且tu_joint_cbcr_residual[xTbY][yTbY]等于1,则以下适用:
qP=Qp′CbCr (8-955)
–否则,如果cIdx等于1,则以下适用:
qP=Qp′Cb (8-956)
–否则(cIdx等于2),以下适用:
qP=Qp′Cr
在一个示例中,突出显示条件可以进一步改变为:
如果transform_skip_flag[xTbY][yTbY]等于1,则以下适用:
5.3实施例#4
5.3.1变换系数的缩放过程
该过程的输入为:
–亮度位置(xTbY,yTbY),指定当前亮度变换块的左上样点相对于当前图片的左上亮度样点,
–变量nTbW,指定变换块宽度,
–变量nTbH,指定变换块高度,
–变量cIdx,指定当前块的色彩分量,
–变量位深度,指定当前色彩分量的位深度。
该过程的输出是具有元素d[x][y]的缩放的变换系数的(nTbW)x(nTbH)阵列d。
量化参数qP如下推导:
–如果cIdx等于0,则以下适用:
–如果transform_skip_flag[xTbY][yTbY]等于1或intra_bdpcm_flag[xTbY][yTbY]等于1,则以下适用:
qP=Max(4,Qp′Y) (8-954)
–否则
qP=Qp′Y (8-954)
–否则,如果cIdx等于1且tu_joint_cbcr_residual[xTbY][yTbY]等于1,则以下适用:
qP=Qp′CbCr (8-955)
–否则,如果cIdx等于1,则以下适用:
qP=Qp′Cb (8-956)
–否则(cIdx等于2),以下适用:
qP=Qp′Cr
在一个示例中,突出显示条件可以进一步改变为:
如果transform_skip_flag[xTbY][yTbY]等于1,则以下适用:
图17A是视频处理设备1700的框图。设备1700可以用于实现本文中所描述的方法中的一个或多个。设备1700可以实施为智能电话、平板计算机、计算机、物联网(IoT)接收器,等等。设备1700可以包含一个或多个处理器1702、一个或多个存储器1704以及视频处理硬件1706。(多个)处理器1702可以配置为实现本文档中描述的一个或多个方法。(多个)存储器1704可以用于储存用于实现本文中所描述的方法和技术的数据和代码。视频处理硬件1706可以用于以硬件电路实现,本文档中描述的一些技术。视频处理硬件1706可以以专用硬件的形式部分或完全包含在(多个)处理器1702内,或图形处理单元(GPU)或专用信令通知处理块。
图17B是其中可以实现所公开的技术的视频处理系统的框图的另一示例。图17B是示出示例性视频处理系统1710的框图,其中可以实现本文所公开的各种技术。各种实现方式可以包含系统1710的组件中的一些或全部。系统1710可以包含输入1712,以接收视频内容。视频内容可以以原始或未压缩格式接收,例如,8或10比特多分量像素值,或可以以压缩或编码格式接收。输入1712可以表示网络接口、外围总线接口,或储存接口。网络接口的示例包含诸如以太网、无源光学网络(PON)的有线接口,以及诸如Wi-Fi或蜂窝接口的无线接口。
系统1710可以包含编解码组件1714,其可以实现本文档中所描述的各种编解码和编码方法。编解码组件1714可以将视频的平均比特率从输入1712降低到编解码组件1714的输出,以产生视频的编解码表示。编解码技术因此有时称为视频压缩或视频转码技术。编解码组件1714的输出可以被储存或经由连接的通信而传输,如组件1716所表示。输入1712处接收的视频的储存或通信的比特流(或编解码的)表示可以被组件1718使用以生成被发送到显示接口1720的像素值或可显示视频。从比特流表示生成用户可观看视频的过程有时称为视频解压缩。此外,尽管某些视频处理操作称为“编解码”操作或工具,应理解,编解码工具或操作在编码器处使用,并且将编解码的结果逆转的对应的解码工具或操作将由解码器进行。
外围总线接口或显示接口的示例可以包含通用串行总线(USB)或高分辨率多媒体接口(HDMI)或Displayport,等等。储存接口的示例包含SATA(串行先进技术附件)、PCI、IDE接口,等等。本文档中所描述的技术可以实施为各种电子装置,诸如移动电话、膝上式计算机、智能电话或能够进行数字数据处理和/或视频显示的其他装置。
图18A示出了视频处理的示例性方法1810。图18A示出了视频处理的示例性方法1810。方法1810包含,在步骤1812,为作为色度块且以色度DM模式编解码的视频的当前视频块,根据与所述当前视频块的编解码模式相关的规则,推导当前视频块的帧内预测模式。方法1810还包含,在步骤1814,进行所述当前视频块与所述视频的编解码表示之间的转换。在一些实现方式中,规则指定基于用于推导色度DM模式且使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示编解码的对应的亮度块的帧内预测方向来推导帧内预测模式。
图18B示出了视频处理的示例性方法1810。方法1810包含,在步骤1822,进行视频的当前视频块与视频的编解码表示之间的转换。在一些实现方式中,标志被确定为指示编解码表示是否包含当前视频块的非零系数,所述当前视频块使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示以编解码表示来表示。
在一些实现方式中,视频的当前视频块是色度块。在一些实现方式中,由于当前视频块的对应的亮度视频块是以非帧内模式编解码的,因此使用用于生成前视频块的预测块的帧内预测方法。在一些实现方式中,由于用于推导色度DM模式的对应的亮度块不是用帧内模式编解码的,因此当前视频块的色度DM模式被禁用。在一些实现方式中,根据规则进行转换,其中使用用推导的模式计算的预测块在所述编解码表示中表示所述当前视频块,其中所述预测块的模式是从对应的亮度块的编解码信息推导的;并且其中规则指定,由于推导的模式的使用,通过假设当前视频块具有无效块矢量而确定预测块。
图18C示出了视频处理的示例性方法1830。方法1830包含,在步骤1832,为视频的图片的当前视频块与视频的编解码表示之间的转换,基于当前视频块的特性,配置指示对当前视频块使用帧内块复制(IBC)模式的语法元素的一个或多个上下文。方法1830还包含,在步骤1834,基于所述配置,进行转换,并且其中使用IBC模式包含使用图片中的另一视频块的之前编解码的样点来预测当前视频块的样点值。
图18D示出了视频处理的示例性方法1840。方法1840包含,在步骤1842,为视频的当前视频块与视频的编解码表示之间的转换,基于与当前视频块的邻接块相关联的第二语法元素,配置用于编解码与第一语法元素相关联的二进制位的上下文模型。方法1840还包含,在步骤1844,基于所述配置进行转换。
图18E示出了视频处理的示例性方法1850。方法1850包含,在步骤1852,为视频的当前视频块与视频的编解码表示之间的转换,根据规则确定当前视频块的默认帧内模式。方法1850还包含,在步骤1854,使用默认帧内模式进行转换。
图18F示出了视频处理的示例性方法1860。方法1860包含,在步骤1862,在构造最可能模式(MPM)列表期间,由于邻接块是以脉冲编解码调制(PCM)模式编解码的,因此确定视频的当前视频块是用直接当前(DC)预测模式编解码的,在脉冲编解码调制(PCM)模式中样点值被量化。方法1860还包含,在步骤1864,进行当前视频块与视频的编解码表示之间的转换。
图18G示出了视频处理的示例性方法1870。方法1870包含,在步骤1872,为视频的当前视频块与视频的编解码表示之间的转换,基于当前视频块的一个或多个邻接块的编解码信息,确定使用三角分割模式(TPM)的过程和/或运动储存过程的适用性。方法1870包含,在步骤1874,基于所述确定进行转换,并且其中使用TPM包含将视频块划分为包含至少一个非矩形分割的子分割。
所公开技术的一些实施例包含进行决定或确定以启用视频处理工具或模式。在示例中,当视频处理工具或模式启用时,编码器将在视频的块的处理中使用或实现工具或模式,但不一定基于使用工具或模式修改所得的比特流。即,从视频的块到视频的比特流表示的转换将基于决定或确定在视频处理工具或模式启用时使用视频处理工具或模式。在另一示例中,当视频处理工具或模式启用时,解码器将在了解比特流已经基于视频处理工具或模式被修改的情况下处理比特流。即,从视频的比特流表示到视频的块的转换将使用基于决定或确定而启用的视频处理工具或模式进行。
所公开技术的一些实施例包含进行决定或确定以禁用视频处理工具或模式。在示例中,当视频处理工具或模式禁用时,编码器在视频的块到视频的比特流表示的转换中将不使用工具或模式。在另一示例中,当视频处理工具或模式被禁用时,解码器将在了解比特流未被使用基于决定或确定而禁用的视频处理工具或模式修改的情况下处理比特流。
在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间应用,或反之亦然。当前视频块的比特流表示可以例如对应于并置或分散在比特流内不同位置的比特,如语法所定义。例如,宏块可以就变换和编解码的误差残差值而言被编码,并且还使用头中的比特和比特流中的其他字段。
以下条款描述一些实施例和技术。条款的第一集合描述前述章节中所公开技术的某些特征和方面。
1.一种视频编解码的方法,包括:在视频的视频区域与视频区域的比特流表示之间的转换期间,基于与视频区域相关的调色板编解码模式条件,确定视频区域的解块过程的参数;以及,在使用所选的参数的转换期间使用解块过程。
2.如条款1所述的方法,其中解块过程的参数不同于用于使用帧内编解码模式或帧间编解码模式或帧内块复制编解码模式编解码的另一视频区域的转换的参数。
3.如条款1-2中任一项所述的方法,其中参数包含边界强度值,边界强度值基于P侧和Q侧上的视频区域的邻接视频区域是否是使用调色板模式编解码来编解码的而确定。
4.如条款3所述的方法,其中由于P侧和Q侧视频区域都是用调色板模式编解码的,边界强度等于零。
5.如条款1-4中任一项所述的方法,其中调色板模式对应于与帧内预测(PCIP)组合的调色板模式或复合调色板模式(CPM)。
章节4中的项目1提供上述方法的附加示例和实施例。
6.一种视频处理的方法,包括:在视频图片与视频图片的比特流表示之间的转换期间,基于邻接视频块的编解码模式为基础、基于分配规则,选择用于将解块过程应用到视频图片的视频块的解块滤波参数;以及,通过根据分配规则应用解块过程进行转换;其中分配规则指定对于复合调色板模式编解码或使用另一编解码模式编解码的邻接块的情况使用相同参数。
7.如条款6所述的方法,其中另一编解码模式对应于帧内块复制模式。
8.如条款6所述的方法,其中另一编解码模式对应于调色板编解码模式。
章节4中的项目2提供上述方法的附加示例和实施例。
9.一种视频处理的方法,包括:在视频图片与视频图片的比特流表示之间的转换期间,基于邻接视频块的编解码模式为基础、基于分配规则,选择用于将解块过程应用到视频图片的视频块的解块滤波参数;以及通过根据分配规则应用解块过程进行转换;其中分配规则指定对于与帧内预测组合的调色板模式(PCIP)模式编解码或使用另一编解码模式编解码的邻接块的情况使用相同参数。
10.如条款9所述的方法,其中另一编解码模式对应于帧内块复制模式。
11.如条款9所述的方法,其中另一编解码模式对应于调色板编解码模式。
章节4中的项目3提供上述方法的附加示例和实施例。
12.一种视频处理的方法,包括:使用调色板编解码模式,进行视频图片的视频块与视频块的比特流表示之间的转换,在调色板编解码模式中,分量值的调色板被用于编解码对应的视频块的像素,其中比特流表示中的标志提供对应的视频块中非零系数的存在的指示,并且该标志被用于信令通知使用调色板编解码模式、与帧内预测组合的调色板模式(PCIP)模式或复合调色板模式(CPM)编解码的视频块。
13.如条款12所述的方法,其中标志的值取决于对应的块是否具有逸出像素。
章节4中的项目4提供上述方法的附加示例和实施例。
14.一种视频处理的方法,包括:在包括多个视频块的视频图片与视频图片的比特流表示之间的转换期间,基于与多个视频块中的每一个相关的调色板编解码模式条件,确定解块过程对于多个视频块中的每一个的适用性;以及,基于适用性,在转换期间对多个块选择性地使用解块过程。
15.如条款14所述的方法,其中确定适用性确定解块过程不适用于使用调色板模式或与帧内预测组合的调色板(PCIP)模式或复合调色板模式(CPM)编解码的块。
16.如条款14所述的方法,其中确定适用性包含,在P侧块或Q侧块分别是使用调色板模式或PCIP模式或CPM模式编解码的情况下,确定P侧样点或Q侧样点不适用。
章节4中的项目5提供上述方法的附加示例和实施例。
17.一种视频处理的方法,包括:进行包括多个视频块的视频帧与使用复合调色板模式(CPM)编解码的视频帧的比特流表示之间的转换;其中比特流表示包含在视频区域级的CPM模式的指示,其与适用于视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示分开。
18.如条款17所述的方法,其中视频区域对应于变换单元或预测单元或编解码块单元。
19.如条款17-18中任一项所述的方法,其中比特流表示在适用于视频区域的帧内模式、帧间模式、帧内块复制模式或调色板模式的指示之后包含CPM模式的指示。
章节4中的项目6提供上述方法的附加示例和实施例。
20.一种视频处理的方法,包括:使用编解码模式进行视频图片的视频块与视频块的比特流表示之间的转换,在该编解码模式中,分量值的调色板被用于编解码对应的视频块的像素,其中基于给定视频块所属的色彩分量的特性,与调色板编解码模式相关的语法元素被选择性地包含在给定视频块的比特流表示中;其中编解码还包含调色板编解码模式、与帧内预测组合的调色板(PCIP)模式或复合调色板模式(CPM)。
21.一种视频处理的方法,其中还基于用于给定视频块的分割结构或平面编解码选择性地包含与调色板编解码模式相关的语法元素。
22.如条款20-21中任一项所述的方法,其中仅对于双树分割结构包含语法元素。
23.如条款20-21中任一项所述的方法,其中,由于视频图片为4:0:0格式,并且给定视频块为色度块,语法元素被跳过。
章节4中的项目7提供上述方法的附加示例和实施例。
24.如条款20所述的方法,其中给定视频块对应于色度分量,并且其中基于对应于给定视频块的亮度块的一个或多个所选择的块的编解码的信息,选择性地包含与调色板编解码模式相关的语法元素。
25.如权利要求24所述的方法,其中亮度块的一个或多个所选择的块对应于最小编解码单元或最小预测单元或最小变换单元尺寸。
章节4中的项目8提供上述方法的附加示例和实施例。
26.如条款20-25中任一项所述的方法,其中编解码模式是PCIP模式。
章节4中的项目9提供上述方法的附加示例和实施例。
27.一种视频处理的方法,包括:进行包括多个视频块的视频图片与视频图片的比特流表示之间的转换,其中多个块中的至少一些是使用预测性编解码模式编解码的,并且其中视频块是使用复合调色板模式(CPM)编解码的,复合调色板模式被与用于编解码视频图片的其他视频块的其他预测性编解码模式分开标识或标识为用于编解码视频图片的其他视频块的其他预测性编解码模式的特殊情况。
28.如条款27所述的方法,其中对于帧内条带或I图片或帧内片组,其他预测性编解码模式包含帧内模式、帧内块复制、调色板模式和CPM模式。
章节4的项目10提供上述方法的附加示例和实施例。
29.如条款27所述的方法,其中CPM在比特流表示中被标识为其他预测性编解码模式的特殊情况,并且基于CPM为特殊情况的其他预测性模式的类型选择性地信令通知CPM的语法元素。
30A.如条款29所述的方法,其中其他预测性模式的类型是帧内模式,并且其中CPM的语法元素的信令通知被跳过。
30B.如条款29所述的方法,其中其他预测性模式的类型是跳过模式,并且其中CPM的语法元素的信令通知被跳过。
章节4中的项目11提供上述方法的附加示例和实施例。
31.一种视频处理方法,包括:进行当前视频块与当前视频块的第一比特流表示之间的第一转换,其中使用复合调色板模式(CPM)编解码当前视频块,具有与当前视频块相关联的运动矢量的当前视频块;以及进行下一视频块与下一视频块的第二比特流表示之间的第二转换,其中在第二转换期间采用使用与当前视频块相关联的运动矢量的运动预测。
32.如条款31所述的方法,其中运动预测被用作第二转换的Merge候选。
33.如条款31或32所述的方法,其中运动预测被用作第二转换期间的基于历史的运动矢量预测器。
章节4中的项目12提供上述方法的附加示例和实施例。
34.一种视频处理方法,包括:进行当前视频块与当前视频块的第一比特流表示之间的第一转换,其中使用与帧内预测组合的调色板(PCIP)模式编解码当前视频块,当前视频块具有与当前视频块相关联的帧内预测方向;以及,进行下一视频块与下一视频块的第二比特流表示之间的第二转换,其中在第二转换期间使用基于与当前视频块相关联的帧内预测方向的帧内模式预测器。
35.如条款34所述的方法,其中与当前视频块相关联的帧内预测方向在第二转换期间被用作最可能模式候选。
章节4中的项目13提供上述方法的附加示例和实施例。
36.一种视频处理方法,包括:确定在视频的当前视频块与视频的比特流表示之间的转换期间使用的调色板的条目的最大数目,以及使用最大数目进行转换,其中比特流表示中的字段信令通知最大数目在视频单元上的改变。
37.如条款36所述的方法,其中视频单元对应于编解码树块或编解码单元或预测单元或变换单元。
38.如条款36-37所述的方法,其中最大数目是基于当前视频块的编解码的信息。
章节4中的项目14提供上述方法的附加示例和实施例。
39.一种视频处理方法,包括:由于在包括一个或多个视频块的视频图片与视频图片的比特流表示之间的转换期间使用调色板编解码模式,确定缩放矩阵的使用被禁用;以及,基于缩放矩阵的使用被禁用的确定进行所述转换。
40.一种视频处理方法,包括:由于在包括一个或多个视频块的视频图片与视频图片的比特流表示之间的转换期间使用调色板编解码模式,确定缩放矩阵的使用被允许;以及,基于缩放矩阵的使用被允许的确定进行所述转换。
章节4中的项目15提供上述方法的附加示例和实施例。
41.如条款1至40中任一项所述的方法,其中一经确定正进行转换的视频的特性,应用所述方法。
42.如条款41所述的方法,其中视频的特性包括视频的内容类型。
43.如条款41所述的方法,其中视频的特性包括用于转换的块维度。
44.如条款41所述的方法,其中视频的特性包括用于转换的分割树结构。
章节4中的项目25提供上述方法的附加示例和实施例。
46.一种视频处理方法,包括:基于当前视频块的一个或多个特性,配置用于编解码对当前视频块使用帧内块复制(IBC)模式的上下文;以及,基于所述配置进行当前视频块与当前视频块的比特流表示之间的转换。
47.如条款46所述的方法,其中一个或多个特性包括当前视频块的块尺寸。
48.如条款46所述的方法,其中一个或多个特性包括当前视频块的形状。
49.如条款48所述的方法,其中形状是正方形或非正方形。
章节4中的项目16提供上述方法的附加示例和实施例。
50.如条款46所述的方法,其中配置还基于当前视频块的邻接块的编解码模式。
章节4中的项目17提供上述方法的附加示例和实施例。
51.如条款46所述的方法,其中上下文包括第一语法元素,并且其中配置还基于与当前视频块的邻接块相关联的第二语法元素。
章节4中的项目18提供上述方法的附加示例和实施例。
52.一种视频处理方法,包括:对当前视频块,进行关于在当前视频块的比特流表示中选择性包含编解码模式的指示的决定,其中编解码模式使用身份变换;以及,基于所述决定,进行当前视频块与比特流表示之间的转换。
53.如条款52所述的方法,其中编解码模式是变换跳过模式或量化残差块差分脉冲编解码调制(QR-BDPCM)。
章节4中的项目23提供上述方法的附加示例和实施例。
54.如条款1-53中任一项所述的方法,其中转换包括从比特流表示生成视频区域的像素值。
55.如条款1-53中任一项所述的方法,其中转换包括从视频区域的像素值生成比特流表示。
56.一种视频处理设备,包括处理器,配置为实现条款1至55中的任意一个或多个中所述的方法。
57.一种计算机可读介质,储存程序代码,当执行程序代码时,使处理器实现条款1至55中的任意一个或多个中所述的方法。
条款的第二集合描述前述章节中所公开技术的某些特征和方面,例如,示例性实现方式16至25。
1.一种视频处理的方法,包括:
为作为色度块且以色度DM模式编解码的视频的当前视频块,根据与所述当前视频块的编解码模式相关的规则推导所述当前视频块的帧内预测模式;以及
进行所述当前视频块与所述视频的编解码表示之间的转换,
其中所述规则指定基于用于推导所述色度DM模式且使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示编解码的对应的亮度块的帧内预测方向来推导所述帧内预测模式。
2.根据条款1所述的方法,其中在所述对应的亮度块的帧内预测方向是垂直的情况下,在所述色度DM模式中使用的所述帧内预测模式是垂直模式。
3.根据条款1所述的方法,其中在所述对应的亮度块的帧内预测方向是水平的情况下,在所述色度DM模式中使用的所述帧内预测模式是水平模式。
4.根据条款1所述的方法,其中所述规则指定基于使用复合IBC和/或调色板来推导所述帧内预测模式。
5.根据条款4所述的方法,其中所述帧内预测模式是平面或水平或垂直预测模式。
6.一种视频处理的方法,包括:
进行作为色度块的视频的当前视频块与所述视频的编解码表示之间的转换,
其中由于所述当前视频块的对应亮度视频块是以非帧内模式编解码的,因此使用帧内预测方法以生成所述当前视频块的预测块。
7.根据条款6所述的方法,其中在所述对应的亮度块是用调色板模式和/或所述调色板模式的变体编解码的情况下,所述帧内预测方法对应于垂直帧内预测,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
8.根据条款6所述的方法,其中在所述对应的亮度块用调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由水平预测填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
9.根据条款6所述的方法,其中在所述对应的亮度块用调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由平面预测填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
10.根据条款6所述的方法,其中在所述对应的亮度块调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由DC预测填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
11.根据条款6所述的方法,其中在所述对应的亮度块调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由帧内预测模式填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
12.根据条款6所述的方法,其中基于邻接亮度块的帧内预测模式和/或邻接色度块的帧内预测模式来生成所述预测块。
13.根据条款6所述的方法,其中所述对应的亮度块是用IBC模式和/或所述IBC模式的变体编解码的,所述IBC模式允许使用另一视频块的之前编解码的样点来预测所述当前视频块的样点值。
14.根据条款6所述的方法,其中所述对应的亮度块用脉冲编解码调制(PCM)模式和/或所述PCM模式的变体编解码的,所述PCM模式允许数字地表示采样的模拟信号。
15.根据条款6所述的方法,其中所述对应的亮度块是用QR-BDPCM模式编解码的,在所述QR-BDPCM模式中,残差块中的残差样点被量化且将差分脉冲编解码调制应用于所量化的残差样点。
16.根据条款6所述的方法,其中所述帧内预测方法对应于在构造最可能模式(MPM)列表期间分配给PCM块的帧内预测模式。
17.根据条款6所述的方法,其中所述帧内预测方法对应于分配给亮度PCM块的帧内预测模式。
18.根据条款6所述的方法,其中所述帧内预测方法对应于分配给色度PCM块的帧内预测模式。
19.根据条款6所述的方法,其中所述帧内预测方法对应于所述对应的亮度块的MPM列表中的第一帧内预测模式。
20.一种视频处理的方法,包括:
为视频的图片的当前视频块与所述视频的编解码表示之间的转换,基于所述当前视频块的特性,配置指示所述当前视频块的帧内块复制(IBC)模式的使用的语法元素的一个或多个上下文;以及
基于所述配置,进行所述转换,并且
其中所述IBC模式的使用包含使用所述图片中的另一视频块的之前编解码的样点预测所述当前视频块的样点值。
21.根据条款20所述的方法,其中所述特性包含所述当前视频块的块尺寸。
22.根据条款20所述的方法,其中通过使用具有不同块尺寸的视频块的不同上下文来信令通知所述语法元素。
23.根据条款20所述的方法,其中通过使用块尺寸小于或不大于预定值的视频块的单个上下文来信令通知所述语法元素。
24.根据条款20所述的方法,其中通过使用块尺寸大于或不小于预定值的视频块的单个上下文来信令通知所述语法元素。
25.根据条款23或24所述的方法,其中基于以下中的至少一者确定所述预定值:i)所述视频的内容类型,ii)在参数集、报头、编解码单元、变换单元或预测单元中信令通知的消息,iii)所述视频的色彩格式的指示,iv)编解码树结构,v)条带、片组或图片的类型,vi)色彩分量,vii)时域层识别(ID),viii)关于标准的信息,或xi)信令通知到解码器的信息。
26.根据条款20所述的方法,其中所述特性包含所述当前视频块的块形状。
27.根据条款26所述的方法,其中通过使用具有不同块尺寸的视频块的不同上下文来信令通知所述语法元素。
28.根据条款20所述的方法,其中所述一个或多个上下文基于包含所述当前视频块的条带的类型是否是I条带而是不同的。
29.根据条款28所述的方法,其中配置所述一个或多个上下文还基于与所述当前视频块的邻接块相关联的另一语法元素。
30.根据条款20所述的方法,其中仅一个上下文被配置为编解码所述语法元素。
31.根据条款20所述的方法,其中所述当前视频块被包含在特定类型的条带或图片中。
32.根据条款20所述的方法,其中所述语法元素取决于所述当前视频块的一个或多个邻接块是否是用所述IBC模式编解码的。
33.根据条款32所述的方法,其中在所述邻接块中的至少一个是用所述IBC模式编解码的情况下,配置所述一个或多个上下文。
34.一种视频处理的方法,包括:
为视频的当前视频块与所述视频的编解码表示之间的转换,基于与所述当前视频块的邻接块相关联的第二语法元素配置用于编解码与第一语法元素相关联的二进制位的上下文模型;以及
基于所述配置进行所述转换。
35.根据条款34所述的方法,其中所述第一语法元素被用于指示组合帧内-帧间预测模式或三角预测模式(TPM)的使用,在组合帧内-帧间预测模式中,帧间预测和帧内预测被组合,在三角预测模式(TPM)中,视频块被划分为子分割且所述子分割中的至少一个是非矩形分割。
36.根据条款34所述的方法,其中所述第二语法元素与所述邻接块的IBC模式的使用有关。
37.一种视频处理方法,包括:
进行视频的当前视频块与所述视频的编解码表示之间的转换,
其中标志被确定为指示所述编解码表示是否包含所述当前视频块的非零系数,所述当前视频块使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示以所述编解码表示来表示。
38.根据条款37所述的方法,其中所述标志对于所述当前视频块被推断为1。
39.根据条款37或38所述的方法,其中所述标志是用于亮度分量和/或色度分量。
40.一种视频处理的方法,包括:
进行作为色度块的视频的当前视频块与所述视频的编解码表示之间的转换,
其中由于用于推导所述色度DM模式的对应的亮度块且不是用帧内模式编解码的,因此所述当前视频块的色度DM模式被禁用。
41.根据条款40所述的方法,其中在所述对应的亮度块不是用帧内模式编解码的情况下,不应用所述色度DM模式。
42.根据条款40所述的方法,其中在所述对应的亮度块是用IBC模式和/或所述IBC模式的变体编解码的情况下,不应用所述色度DM模式,所述IBC模式允许使用另一视频块的之前编解码的样点来预测所述当前视频块的样点值。
43.根据条款40所述的方法,其中在所述对应的亮度块是用调色板模式和/或所述调色板模式的变体编解码的情况下,不应用所述色度DM模式,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
44.根据条款40所述的方法,其中在所述对应的亮度块是用脉冲编解码调制(PCM)模式和/或所述PCM模式的变体编解码的情况下,不应用所述色度DM模式,所述PCM模式允许数字地表示采样的模拟信号。
45.根据条款40至44中任一项所述的方法,其中在对于所述当前视频块不允许所述色度DM模式的情况下,所述色度DM模式的指示不被包含在所述视频的编解码表示中。
46.根据条款40至44中任一项所述的方法,其中顺应性比特流满足对应的语法元素的解码的信息不等于特定值的情况下,所述色度DM模式的指示被包含在所述视频的编解码表示中。
47.一种视频处理方法,包括:
根据规则进行作为色度块的视频的当前视频块与所述视频的编解码表示之间的转换,
其中使用用推导的模式计算的预测块在所述编解码表示中表示所述当前视频块,其中所述预测块的模式是从对应的亮度块的编解码信息推导的;并且
其中所述规则指定,由于所述推导的模式的使用,因此通过假设所述当前视频块具有无效块矢量确定所述预测块。
48.根据条款47所述的方法,其中所述预测块填充有默认值。
49.根据条款48所述的方法,其中所述默认值取决于输入和/或内部比特深度。
50.根据条款47所述的方法,其中所述对应的亮度块的预测模式是非帧内模式。
51.根据条款50所述的方法,其中所述对应的亮度块的预测模式是IBC模式和/或所述IBC模式的变体,所述IBC模式允许使用另一视频块的之前编解码的样点来预测所述当前视频块的样点值。
52.根据条款50所述的方法,其中所述对应的亮度块的预测模式是调色板模式和/或所述调色板模式的变体,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
53.一种视频处理的方法,包括:
为视频的当前视频块与所述视频的编解码表示之间的转换,根据规则确定所述当前视频块的默认帧内模式;以及
使用所述默认帧内模式进行所述转换。
54.根据条款53所述的方法,其中,在没有附加信息的情况下,假设所述默认模式被用于将所述当前视频块表示为所述编解码表示。
55.根据条款53所述的方法,其中所述默认帧内模式是直接当前(DC)模式、平面模式、垂直模式或水平模式。
56.根据条款53所述的方法,其中所述默认帧内模式被用作帧内模式编解码过程中的最可能模式(MPM)。
57.根据条款53所述的方法,其中,对于作为用DM编解码的色度块的所述当前视频块,对应的亮度块的默认模式被用于推导所述当前视频块的DM模式。
58.根据条款53所述的方法,其中所述当前视频块是用非帧内模式编解码的。
59.根据条款53所述的方法,其中所述当前视频块是用IBC模式、帧间模式、QR-DPCM模式、PCM模式或调色板模式编解码的。
60.一种视频处理的方法,包括:
在构造最可能模式(MPM)列表期间,由于以脉冲编解码调制(PCM)模式编解码的邻接块,因此确定视频的当前视频块是用直接当前(DC)预测模式编解码的,在所述脉冲编解码调制(PCM)模式中,样点值被量化;以及
进行所述当前视频块与所述视频的编解码表示之间的转换。
61.一种视频处理的方法,包括:
为视频的当前视频块与所述视频的编解码表示之间的转换,基于所述当前视频块的一个或多个邻接块的编解码信息,确定使用三角分割模式(TPM)的过程和/或运动储存过程的适用性;以及
基于所述确定,进行所述转换,并且
其中使用所述TPM包含将视频块划分为包含至少一个非矩形分割的子分割。
62.根据条款61所述的方法,其中所述确定在所述邻接块是用IBC模式、调色板模式、TS模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式中的至少一者编解码的情况下,确定不应用所述使用所述TPM的过程。
63.根据条款61所述的方法,其中所述确定由于所述邻接块是用IBC模式、调色板模式、TS模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式中的至少一者编解码的而确定施加修改的TPM相关过程和/或运动储存过程。
64.如条款1至63中任一项所述的方法,其中进行所述转换包含从所述视频生成所述编解码表示。
65.如条款1至63中任一项所述的方法,其中进行所述转换包含从所述编解码表示生成所述视频。
66.一种视频处理设备,包括处理器,所述处理器配置为实现条款1至63中任意一项或多项所述的方法。
67.一种计算机可读介质,储存程序代码,当执行所述程序代码时,使处理器实现条款1至63中任意一项或多项所述的方法。
本文档中描述的公开的和其他解决方案、示例、实施例、模块和功能操作可以以数字电子电路或计算机软件、固件或硬件来实现,包括本文档中公开的结构及其结构等同,或其中一种或多种的组合。所公开的和其他实施例可以被实现为一个或多个计算机程序产品,即,在计算机可读介质上编码的计算机程序指令的一个或多个模块,以由数据处理设备执行或控制数据处理设备的操作。所述计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备,实现机器可读传播信号的物质组成或它们中的一个或多个的组合。术语“数据处理设备”涵盖用于处理数据的所有设备、装置和机器,例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统或它们一项或多项的组合。传播的信号是人工产生的信号,例如机器产生的电、光或电磁信号,其被产生以对信息进行编码以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言)编写,并且可以以任何形式进行部署,包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本),专用于所讨论程序的单个文件中或多个协调文件(例如,存储一个或多个模块、子程序或部分代码的文件)。可以将计算机程序部署为在一台计算机上执行,或者在位于一个站点上或分布在多个站点上并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流程可以由执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能的一个或多个可编程处理器来执行。处理和逻辑流程也可以由专用逻辑电路执行,并且装置也可以实现为专用逻辑电路,例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如,适合于执行计算机程序的处理器包括通用和专用微处理器,以及任何种类的数字计算机的任何一个或多个处理器。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储设备。通常,计算机还将包括或可操作地耦合以从一个或多个用于存储数据的大容量存储设备(例如,磁盘、磁光盘或光盘)接收数据或将数据传输到一个或多个大容量存储设备或将数据传输到这两个或多个存储设备。但是,计算机不必具有此类设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储设备,包括例如半导体存储设备,例如EPROM,EEPROM和闪存设备;磁盘,例如内部硬盘或可移动磁盘;磁光盘;以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
尽管该专利文件包含许多细节,但是这些细节不应被解释为对任何主题或所要求保护的范围的限制,而是对特定于特定技术的特定实施例的特征的描述。在单独的实施例的上下文中在本专利文件中描述的某些特征也可以在单个实施例中组合实现。相反,在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。而且,尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求保护,但是在某些情况下,可以从组合中剔除所要求保护的组合中的一个或多个特征,并且所要求保护的组合可能涉及子组合或子组合的变体。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求以所示的特定顺序或顺序执行这样的操作,或者执行所有示出的操作以实现期望的结果。此外,在该专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。仅描述了一些实施方式和示例,并且基于该专利文件中所描述和示出的内容可以进行其他实施方式、增强和变化。
仅示出了一些实施方式和示例,并且可以基于本专利文件中描述和示出的形成其它实现方式和变体。

Claims (67)

1.一种视频处理的方法,包括:
为作为色度块且以色度DM模式编解码的视频的当前视频块,根据与所述当前视频块的编解码模式相关的规则推导所述当前视频块的帧内预测模式;以及
进行所述当前视频块与所述视频的编解码表示之间的转换,
其中所述规则指定基于用于推导所述色度DM模式且使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示编解码的对应的亮度块的帧内预测方向来推导所述帧内预测模式。
2.根据权利要求1所述的方法,其中在所述对应的亮度块的帧内预测方向是垂直的情况下,在所述色度DM模式中使用的所述帧内预测模式是垂直模式。
3.根据权利要求1所述的方法,其中在所述对应的亮度块的帧内预测方向是水平的情况下,在所述色度DM模式中使用的所述帧内预测模式是水平模式。
4.根据权利要求1所述的方法,其中所述规则指定基于使用复合IBC和/或调色板来推导所述帧内预测模式。
5.根据权利要求4所述的方法,其中所述帧内预测模式是平面或水平或垂直预测模式。
6.一种视频处理的方法,包括:
进行作为色度块的视频的当前视频块与所述视频的编解码表示之间的转换,
其中由于所述当前视频块的对应亮度视频块是以非帧内模式编解码的,因此使用帧内预测方法以生成所述当前视频块的预测块。
7.根据权利要求6所述的方法,其中在所述对应的亮度块是用调色板模式和/或所述调色板模式的变体编解码的情况下,所述帧内预测方法对应于垂直帧内预测,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
8.根据权利要求6所述的方法,其中在所述对应的亮度块用调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由水平预测填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
9.根据权利要求6所述的方法,其中在所述对应的亮度块用调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由平面预测填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
10.根据权利要求6所述的方法,其中在所述对应的亮度块调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由DC预测填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
11.根据权利要求6所述的方法,其中在所述对应的亮度块调色板模式和/或所述调色板模式的变体编解码的情况下,所述预测块由帧内预测模式填充,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
12.根据权利要求6所述的方法,其中基于邻接亮度块的帧内预测模式和/或邻接色度块的帧内预测模式来生成所述预测块。
13.根据权利要求6所述的方法,其中所述对应的亮度块是用IBC模式和/或所述IBC模式的变体编解码的,所述IBC模式允许使用另一视频块的之前编解码的样点来预测所述当前视频块的样点值。
14.根据权利要求6所述的方法,其中所述对应的亮度块用脉冲编解码调制(PCM)模式和/或所述PCM模式的变体编解码的,所述PCM模式允许数字地表示采样的模拟信号。
15.根据权利要求6所述的方法,其中所述对应的亮度块是用QR-BDPCM模式编解码的,在所述QR-BDPCM模式中,残差块中的残差样点被量化且将差分脉冲编解码调制应用于所量化的残差样点。
16.根据权利要求6所述的方法,其中所述帧内预测方法对应于在构造最可能模式(MPM)列表期间分配给PCM块的帧内预测模式。
17.根据权利要求6所述的方法,其中所述帧内预测方法对应于分配给亮度PCM块的帧内预测模式。
18.根据权利要求6所述的方法,其中所述帧内预测方法对应于分配给色度PCM块的帧内预测模式。
19.根据权利要求6所述的方法,其中所述帧内预测方法对应于所述对应的亮度块的MPM列表中的第一帧内预测模式。
20.一种视频处理的方法,包括:
为视频的图片的当前视频块与所述视频的编解码表示之间的转换,基于所述当前视频块的特性,配置指示所述当前视频块的帧内块复制(IBC)模式的使用的语法元素的一个或多个上下文;以及
基于所述配置,进行所述转换,并且
其中所述IBC模式的使用包含使用所述图片中的另一视频块的之前编解码的样点预测所述当前视频块的样点值。
21.根据权利要求20所述的方法,其中所述特性包含所述当前视频块的块尺寸。
22.根据权利要求20所述的方法,其中通过使用具有不同块尺寸的视频块的不同上下文来信令通知所述语法元素。
23.根据权利要求20所述的方法,其中通过使用块尺寸小于或不大于预定值的视频块的单个上下文来信令通知所述语法元素。
24.根据权利要求20所述的方法,其中通过使用块尺寸大于或不小于预定值的视频块的单个上下文来信令通知所述语法元素。
25.根据权利要求23或24所述的方法,其中基于以下中的至少一者确定所述预定值:i)所述视频的内容类型,ii)在参数集、报头、编解码单元、变换单元或预测单元中信令通知的消息,iii)所述视频的色彩格式的指示,iv)编解码树结构,v)条带、片组或图片的类型,vi)色彩分量,vii)时域层识别(ID),viii)关于标准的信息,或xi)信令通知到解码器的信息。
26.根据权利要求20所述的方法,其中所述特性包含所述当前视频块的块形状。
27.根据权利要求26所述的方法,其中通过使用具有不同块尺寸的视频块的不同上下文来信令通知所述语法元素。
28.根据权利要求20所述的方法,其中所述一个或多个上下文基于包含所述当前视频块的条带的类型是否是I条带而是不同的。
29.根据权利要求28所述的方法,其中配置所述一个或多个上下文还基于与所述当前视频块的邻接块相关联的另一语法元素。
30.根据权利要求20所述的方法,其中仅一个上下文被配置为编解码所述语法元素。
31.根据权利要求20所述的方法,其中所述当前视频块被包含在特定类型的条带或图片中。
32.根据权利要求20所述的方法,其中所述语法元素取决于所述当前视频块的一个或多个邻接块是否是用所述IBC模式编解码的。
33.根据权利要求32所述的方法,其中在所述邻接块中的至少一个是用所述IBC模式编解码的情况下,配置所述一个或多个上下文。
34.一种视频处理的方法,包括:
为视频的当前视频块与所述视频的编解码表示之间的转换,基于与所述当前视频块的邻接块相关联的第二语法元素配置用于编解码与第一语法元素相关联的二进制位的上下文模型;以及
基于所述配置进行所述转换。
35.根据权利要求34所述的方法,其中所述第一语法元素被用于指示组合帧内-帧间预测模式或三角预测模式(TPM)的使用,在组合帧内-帧间预测模式中,帧间预测和帧内预测被组合,在三角预测模式(TPM)中,视频块被划分为子分割且所述子分割中的至少一个是非矩形分割。
36.根据权利要求34所述的方法,其中所述第二语法元素与所述邻接块的IBC模式的使用有关。
37.一种视频处理方法,包括:
进行视频的当前视频块与所述视频的编解码表示之间的转换,
其中标志被确定为指示所述编解码表示是否包含所述当前视频块的非零系数,所述当前视频块使用对应于当前视频块的量化残差块的块差分脉冲编解码调制表示以所述编解码表示来表示。
38.根据权利要求37所述的方法,其中所述标志对于所述当前视频块被推断为1。
39.根据权利要求37或38所述的方法,其中所述标志是用于亮度分量和/或色度分量。
40.一种视频处理的方法,包括:
进行作为色度块的视频的当前视频块与所述视频的编解码表示之间的转换,
其中由于用于推导所述色度DM模式的对应的亮度块且不是用帧内模式编解码的,因此所述当前视频块的色度DM模式被禁用。
41.根据权利要求40所述的方法,其中在所述对应的亮度块不是用帧内模式编解码的情况下,不应用所述色度DM模式。
42.根据权利要求40所述的方法,其中在所述对应的亮度块是用IBC模式和/或所述IBC模式的变体编解码的情况下,不应用所述色度DM模式,所述IBC模式允许使用另一视频块的之前编解码的样点来预测所述当前视频块的样点值。
43.根据权利要求40所述的方法,其中在所述对应的亮度块是用调色板模式和/或所述调色板模式的变体编解码的情况下,不应用所述色度DM模式,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
44.根据权利要求40所述的方法,其中在所述对应的亮度块是用脉冲编解码调制(PCM)模式和/或所述PCM模式的变体编解码的情况下,不应用所述色度DM模式,所述PCM模式允许数字地表示采样的模拟信号。
45.根据权利要求40至44中任一项所述的方法,其中在对于所述当前视频块不允许所述色度DM模式的情况下,所述色度DM模式的指示不被包含在所述视频的编解码表示中。
46.根据权利要求40至44中任一项所述的方法,其中顺应性比特流满足对应的语法元素的解码的信息不等于特定值的情况下,所述色度DM模式的指示被包含在所述视频的编解码表示中。
47.一种视频处理方法,包括:
根据规则进行作为色度块的视频的当前视频块与所述视频的编解码表示之间的转换,
其中使用用推导的模式计算的预测块在所述编解码表示中表示所述当前视频块,其中所述预测块的模式是从对应的亮度块的编解码信息推导的;并且
其中所述规则指定,由于所述推导的模式的使用,因此通过假设所述当前视频块具有无效块矢量确定所述预测块。
48.根据权利要求47所述的方法,其中所述预测块填充有默认值。
49.根据权利要求48所述的方法,其中所述默认值取决于输入和/或内部比特深度。
50.根据权利要求47所述的方法,其中所述对应的亮度块的预测模式是非帧内模式。
51.根据权利要求50所述的方法,其中所述对应的亮度块的预测模式是IBC模式和/或所述IBC模式的变体,所述IBC模式允许使用另一视频块的之前编解码的样点来预测所述当前视频块的样点值。
52.根据权利要求50所述的方法,其中所述对应的亮度块的预测模式是调色板模式和/或所述调色板模式的变体,所述调色板模式允许使用代表性样点值的调色板来表示或重建所述当前视频块。
53.一种视频处理的方法,包括:
为视频的当前视频块与所述视频的编解码表示之间的转换,根据规则确定所述当前视频块的默认帧内模式;以及
使用所述默认帧内模式进行所述转换。
54.根据权利要求53所述的方法,其中,在没有附加信息的情况下,假设所述默认模式被用于将所述当前视频块表示为所述编解码表示。
55.根据权利要求53所述的方法,其中所述默认帧内模式是直接当前(DC)模式、平面模式、垂直模式或水平模式。
56.根据权利要求53所述的方法,其中所述默认帧内模式被用作帧内模式编解码过程中的最可能模式(MPM)。
57.根据权利要求53所述的方法,其中,对于作为用DM编解码的色度块的所述当前视频块,对应的亮度块的默认模式被用于推导所述当前视频块的DM模式。
58.根据权利要求53所述的方法,其中所述当前视频块是用非帧内模式编解码的。
59.根据权利要求53所述的方法,其中所述当前视频块是用IBC模式、帧间模式、QR-DPCM模式、PCM模式或调色板模式编解码的。
60.一种视频处理的方法,包括:
在构造最可能模式(MPM)列表期间,由于以脉冲编解码调制(PCM)模式编解码的邻接块,因此确定视频的当前视频块是用直接当前(DC)预测模式编解码的,在所述脉冲编解码调制(PCM)模式中,样点值被量化;以及
进行所述当前视频块与所述视频的编解码表示之间的转换。
61.一种视频处理的方法,包括:
为视频的当前视频块与所述视频的编解码表示之间的转换,基于所述当前视频块的一个或多个邻接块的编解码信息,确定使用三角分割模式(TPM)的过程和/或运动储存过程的适用性;以及
基于所述确定,进行所述转换,并且
其中使用所述TPM包含将视频块划分为包含至少一个非矩形分割的子分割。
62.根据权利要求61所述的方法,其中所述确定在所述邻接块是用IBC模式、调色板模式、TS模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式中的至少一者编解码的情况下,确定不应用所述使用所述TPM的过程。
63.根据权利要求61所述的方法,其中所述确定由于所述邻接块是用IBC模式、调色板模式、TS模式、量化残差块差分脉冲编解码调制(QR-BDPCM)模式中的至少一者编解码的而确定施加修改的TPM相关过程和/或运动储存过程。
64.根据权利要求1至63中任一项所述的方法,其中进行所述转换包含从所述视频生成所述编解码表示。
65.根据权利要求1至63中任一项所述的方法,其中进行所述转换包含从所述编解码表示生成所述视频。
66.一种视频处理设备,包括处理器,所述处理器配置为实现权利要求1至65中任意一项或多项中所述的方法。
67.一种储存程序代码的计算机可读介质,当执行所述程序代码时,使处理器实现权利要求1至65中任意一项或多项中所述的方法。
CN202080047877.XA 2019-06-28 2020-06-28 屏幕内容编解码中的色度帧内模式推导 Active CN114072849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311473526.7A CN117714698A (zh) 2019-06-28 2020-06-28 屏幕内容编解码中的色度帧内模式推导

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2019093852 2019-06-28
CNPCT/CN2019/093852 2019-06-28
CNPCT/CN2019/093982 2019-06-29
CN2019093982 2019-06-29
PCT/US2020/040027 WO2020264456A1 (en) 2019-06-28 2020-06-28 Chroma intra mode derivation in screen content coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311473526.7A Division CN117714698A (zh) 2019-06-28 2020-06-28 屏幕内容编解码中的色度帧内模式推导

Publications (2)

Publication Number Publication Date
CN114072849A true CN114072849A (zh) 2022-02-18
CN114072849B CN114072849B (zh) 2023-12-15

Family

ID=74060670

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080047877.XA Active CN114072849B (zh) 2019-06-28 2020-06-28 屏幕内容编解码中的色度帧内模式推导
CN202311473526.7A Pending CN117714698A (zh) 2019-06-28 2020-06-28 屏幕内容编解码中的色度帧内模式推导

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311473526.7A Pending CN117714698A (zh) 2019-06-28 2020-06-28 屏幕内容编解码中的色度帧内模式推导

Country Status (7)

Country Link
US (2) US11445183B2 (zh)
EP (1) EP3973450A4 (zh)
JP (2) JP7328373B2 (zh)
KR (1) KR20220027851A (zh)
CN (2) CN114072849B (zh)
BR (1) BR112021025916A2 (zh)
WO (1) WO2020264456A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083090A1 (en) * 2022-10-17 2024-04-25 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7436519B2 (ja) 2019-05-31 2024-02-21 バイトダンス インコーポレイテッド イントラブロックコピー予測を備えたパレットモード
US11985307B2 (en) * 2021-04-09 2024-05-14 Qualcomm Incorporated Deriving a rice parameter for coding high bit depth video data
US20230113104A1 (en) * 2021-10-11 2023-04-13 Tencent America LLC On intra mode propagation
WO2023182698A1 (ko) * 2022-03-24 2023-09-28 현대자동차주식회사 복원 루마 정보 기반 크로마 성분 예측을 위한 방법
US20230396793A1 (en) * 2022-06-07 2023-12-07 Tencent America LLC Adjacent spatial motion vector predictor candidates improvement
WO2024080771A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 인트라 예측에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024077569A1 (zh) * 2022-10-13 2024-04-18 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140314142A1 (en) * 2011-11-04 2014-10-23 Infobridge Pte. Ltd. Apparatus of decoding video data
US20150358631A1 (en) * 2014-06-04 2015-12-10 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
CN105934948A (zh) * 2013-12-13 2016-09-07 高通股份有限公司 用于3d视频译码中的深度帧内和帧间预测模式的简化深度译码(sdc)的信令
CN107005717A (zh) * 2014-11-12 2017-08-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
US20170238001A1 (en) * 2014-09-30 2017-08-17 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
TW201806384A (zh) * 2011-11-25 2018-02-16 英孚布瑞智有限私人貿易公司 對色度圖像解碼的方法
US20180124398A1 (en) * 2015-04-27 2018-05-03 Lg Electronics Inc. Method for processing video signal and device for same
US20180205946A1 (en) * 2017-01-13 2018-07-19 Qualcomm Incorporated Coding video data using derived chroma mode
US20180241995A1 (en) * 2015-08-27 2018-08-23 Lg Electronics Inc. Method and device for chroma sample intra prediction in video coding system
CN109792516A (zh) * 2016-10-04 2019-05-21 联发科技股份有限公司 图像和视频编解码中用于帧内色度编解码的方法及装置
US20190166370A1 (en) * 2016-05-06 2019-05-30 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
WO2019112394A1 (ko) * 2017-12-07 2019-06-13 한국전자통신연구원 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006069510A1 (fr) 2004-12-28 2006-07-06 Ning Yuan Appareil de projection d'images video et son procede
US20130294524A1 (en) 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
CN104035684A (zh) 2013-03-06 2014-09-10 腾讯科技(深圳)有限公司 一种应用于移动终端上的动态截屏方法及系统
US9509999B2 (en) 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
CN105981385B (zh) 2014-01-02 2020-03-13 寰发股份有限公司 帧内预测编码方法及其装置
US10484721B2 (en) 2014-03-17 2019-11-19 Qualcomm Incorporated Method for motion estimation of non-natural video data
US9860559B2 (en) 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
KR102216600B1 (ko) 2014-03-27 2021-02-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컬러 공간 전환시의 양자화/스케일링 및 역 양자화/스케일링의 조정
US10264285B2 (en) 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
TW201626798A (zh) 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼
AU2015345649A1 (en) 2014-11-12 2017-06-08 Hfi Innovation Inc. Methods of escape pixel coding in index map coding
EP3219099B1 (en) 2014-12-19 2021-04-28 HFI Innovation Inc. Methods of palette based prediction for non-444 color format in video and image coding
US9986248B2 (en) 2015-01-29 2018-05-29 Qualcomm Incorporated Palette mode coding for video coding
CN107810637B (zh) 2015-05-27 2022-02-15 株式会社Kt 用于处理视频信号的方法和设备
US10334248B2 (en) 2015-05-29 2019-06-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
KR102216947B1 (ko) 2015-06-08 2021-02-18 브이아이디 스케일, 인크. 화면 내용 코딩을위한 인트라 블록 복사 모드
US10097842B2 (en) 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
US10750172B2 (en) * 2016-04-22 2020-08-18 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
CN113727109B (zh) 2016-05-28 2023-12-29 寰发股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
US20180213214A1 (en) 2017-01-25 2018-07-26 International Business Machines Corporation Protecting a display screen from prying eyes
US10694195B2 (en) 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding
US11025905B2 (en) 2018-09-14 2021-06-01 Tencent America LLC Method and device for decoding with palette mode
CN116916016A (zh) * 2018-11-23 2023-10-20 Lg电子株式会社 解码设备、编码设备以及用于图像的数据的发送设备
WO2020116848A1 (ko) * 2018-12-05 2020-06-11 엘지전자 주식회사 크로마 인트라 예측 모드를 도출하기 위한 영상 예측 방법 및 장치
WO2020172668A1 (en) * 2019-02-24 2020-08-27 Tencent America LLC Improved residual coding for transform skip mode and block differential pulse-code modulation
US11070812B2 (en) * 2019-03-12 2021-07-20 Qualcomm Incorporated Coefficient domain block differential pulse-code modulation in video coding
US20220210430A1 (en) * 2019-04-16 2022-06-30 Lg Electronics Inc. Method and device for coding/decoding image using differential coding of residual coefficient, and method for transmitting bitstream
US11368721B2 (en) 2019-04-30 2022-06-21 Tencent America LLC Method and apparatus for interaction between intra prediction mode and block differential pulse-code modulation mode
WO2020228578A1 (en) * 2019-05-10 2020-11-19 Mediatek Inc. Method and apparatus of luma most probable mode list derivation for video coding
JP7436519B2 (ja) 2019-05-31 2024-02-21 バイトダンス インコーポレイテッド イントラブロックコピー予測を備えたパレットモード
US20200404324A1 (en) * 2019-06-19 2020-12-24 Qualcomm Incorporated Signaling for intra coding of video data
US11330298B2 (en) * 2019-06-25 2022-05-10 Qualcomm Incorporated Simplified intra chroma mode coding in video coding
EP3970369A4 (en) 2019-06-28 2022-07-20 ByteDance Inc. TECHNIQUES FOR MODIFYING QUANTIZATION PARAMETERS IN TRANSFORM SKIP MODE
US11218700B2 (en) 2019-07-01 2022-01-04 Qualcomm Incorporated Minimum allowed quantization parameter for transform skip mode and palette mode in video coding

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140314142A1 (en) * 2011-11-04 2014-10-23 Infobridge Pte. Ltd. Apparatus of decoding video data
TW201806384A (zh) * 2011-11-25 2018-02-16 英孚布瑞智有限私人貿易公司 對色度圖像解碼的方法
CN105934948A (zh) * 2013-12-13 2016-09-07 高通股份有限公司 用于3d视频译码中的深度帧内和帧间预测模式的简化深度译码(sdc)的信令
US20150358631A1 (en) * 2014-06-04 2015-12-10 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US20170238001A1 (en) * 2014-09-30 2017-08-17 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN107005717A (zh) * 2014-11-12 2017-08-01 寰发股份有限公司 索引映射编解码中的跳出像素编解码方法
US20180124398A1 (en) * 2015-04-27 2018-05-03 Lg Electronics Inc. Method for processing video signal and device for same
US20180241995A1 (en) * 2015-08-27 2018-08-23 Lg Electronics Inc. Method and device for chroma sample intra prediction in video coding system
US20190166370A1 (en) * 2016-05-06 2019-05-30 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CN109792516A (zh) * 2016-10-04 2019-05-21 联发科技股份有限公司 图像和视频编解码中用于帧内色度编解码的方法及装置
US20180205946A1 (en) * 2017-01-13 2018-07-19 Qualcomm Incorporated Coding video data using derived chroma mode
WO2019112394A1 (ko) * 2017-12-07 2019-06-13 한국전자통신연구원 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: "Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, JVET-N1001-V8 *
LUONG PHAM VAN等: "Non-CE8: Intra prediction mode derivation for DM chroma block with corresponding IBC/PCM luma", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, JVET-O0651-V1, pages 1 - 2 *
MAN-SHU CHIANG等: "CE8-related: Intra prediction mode for BDPCM", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, JVET-O0296-V1, pages 1 - 5 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083090A1 (en) * 2022-10-17 2024-04-25 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
BR112021025916A2 (pt) 2022-02-15
EP3973450A4 (en) 2023-02-22
CN117714698A (zh) 2024-03-15
CN114072849B (zh) 2023-12-15
US20220400252A1 (en) 2022-12-15
WO2020264456A1 (en) 2020-12-30
EP3973450A1 (en) 2022-03-30
JP7328373B2 (ja) 2023-08-16
JP2023162203A (ja) 2023-11-08
US11445183B2 (en) 2022-09-13
KR20220027851A (ko) 2022-03-08
US20220078410A1 (en) 2022-03-10
JP2022538473A (ja) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114072849B (zh) 屏幕内容编解码中的色度帧内模式推导
KR102612765B1 (ko) 변환 스킵 모드에서 양자화 파라미터를 수정하는 기술
CN114208174B (zh) 预测过程中的调色板模式编解码
CN113273203B (zh) 两步交叉分量预测模式
CN114145013B (zh) 调色板模式编解码的模式确定
CN114175662B (zh) 调色板模式使用指示的条件相关编解码
US11765367B2 (en) Palette mode with intra block copy prediction
CN113475077B (zh) 调色板模式使用指示的独立编解码
CN113475062A (zh) 确定屏幕内容编解码的条件
CN118055248A (zh) 处理视频数据的方法、装置以及计算机可读记录介质
CN114556915A (zh) 几何分割模式中被编解码的块的去块
CN113615188A (zh) 调色板模式使用指示的联合编解码
CN113812160A (zh) 用于屏幕内容编解码的最大可能模式列表构建
CN113678448A (zh) 调色板模式编解码的条目构造
CN115362681A (zh) 视频编解码中的变换跳过块的最小允许量化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant