CN118055248A - 处理视频数据的方法、装置以及计算机可读记录介质 - Google Patents

处理视频数据的方法、装置以及计算机可读记录介质 Download PDF

Info

Publication number
CN118055248A
CN118055248A CN202311623364.0A CN202311623364A CN118055248A CN 118055248 A CN118055248 A CN 118055248A CN 202311623364 A CN202311623364 A CN 202311623364A CN 118055248 A CN118055248 A CN 118055248A
Authority
CN
China
Prior art keywords
chroma
block
video
equal
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311623364.0A
Other languages
English (en)
Inventor
许继征
邓智玭
张莉
刘鸿彬
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN118055248A publication Critical patent/CN118055248A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述了一种处理视频数据的方法、装置以及计算机可读记录介质。该方法包括:对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及基于所述确定进行所述转换,其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。

Description

处理视频数据的方法、装置以及计算机可读记录介质
本申请是申请日为2020年9月21日、申请号为202080066291.8、发明名称为“基于色度帧内模式的尺寸限制”的发明专利申请的分案申请。
相关申请的交叉引用
根据适用于巴黎公约的专利法和/或规则,提出本申请是为了及时要求2019年9月21日提交的国际专利申请No.PCT/CN2019/107139和2019年9月27日提交的国际专利申请No.PCT/CN2019/108760的优先权和权益。出于法律的所有目的,上述申请的全部公开通过引用并入为本申请的公开的一部分。
技术邻近
本文档涉及视频和图像编解码和解码技术。
背景技术
数字视频占互联网和其它数字通信网络上最大的带宽使用。随着能够接收和显示视频的连接的用户设备的数目增加,预计对数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可以由视频或图像解码器或编码器实施例使用,其中参考图片被用于视频编解码或解码。
在一个示例方面,公开了一种视频处理的方法。该方法包括:对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及基于所述确定进行所述转换,其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。
在一个示例方面,公开了一种视频处理的方法。该方法包括:根据规则,执行视频的视频图片的视频区域的色度块与视频的编解码表示之间的转换;其中,规则指定,由于色度块的尺寸为MxN,禁止使用帧内编解码模式在编解码表示中表示色度块,其中M和N是分别指示色度块的宽度和高度的整数,并且其中帧内编解码模式包括基于视频图片的先前编解码的视频区域对色度块进行编解码。
在另一示例方面,公开了另一种视频处理的方法。该方法包括:根据规则,执行视频的视频图片的视频区域的色度块与视频的编解码表示之间的转换;其中,规则指定,如果使用双树分割,则禁止使用帧内编解码模式在编解码表示中表示尺寸为MxN的色度块,其中M和N是分别指示色度块的宽度和高度的整数,并且其中帧内编解码模式包括基于视频图片的先前编解码的视频区域对色度块进行编解码。
在又一示例方面,公开了视频处理的另一种方法。该方法包括:根据规则,执行视频的视频图片的视频区域的色度块与视频的编解码表示之间的转换;其中,规则指定,如果使用单树分割,禁止使用帧内编解码模式在编解码表示中表示尺寸为MxN的色度块,其中M和N是分别指示色度块的宽度和高度的整数,并且其中,帧内编解码模式包括基于视频图片的先前编解码的视频区域对色度块进行编解码。
在又一示例方面,公开了视频处理的另一种方法。该方法包括:根据规则,执行视频的视频区域的色度块与视频的编解码表示之间的转换;其中,规则指定,禁止使用组合的帧间和帧内预测(CIIP)模式在编解码表示中表示尺寸为MxN的色度块,组合的帧间和帧内预测(CIIP)模式将帧间预测与帧内预测组合,其中M和N是分别指示色度块的宽度和高度的整数。
在又一示例方面,公开了视频处理的另一种方法。该方法包括:根据规则,执行视频的视频区域与视频的编解码表示之间的转换,其中,规则指定,是否以及如何信令通知适用于视频区域的最大变换尺寸取决于用于在编解码表示中表示视频区域的编解码模式类型,其中编解码模式类型是(i)接近无损编解码模式,其中应用于视频区域的量化参数(QP)小于阈值,(ii)无损编解码模式,其中旁路视频区域的残差数据的变换,或(iii)有损编解码模式,其中跳过视频区域的残差数据的变换。
在又一示例方面,上述方法可以由包括处理器的视频编码器装置实现。
在又一示例方面,上述方法可以由包括处理器的视频解码器装置实现。
在又一示例方面,这些方法可以以处理器可执行指令的形式实施并储存在计算机可读程序介质上。
本文档中进一步描述的这些和其它方面。
附图说明
图1示出了帧内块复制编解码工具的示例。
图2示出了以调色板模式编解码的块的示例。
图3示出了使用调色板预测器来信令通知调色板条目的示例。
图4示出了水平和垂直遍历扫描的示例中的示例。
图5示出了对调色板索引进行编解码的示例。
图6示出了67个帧内预测模式的示例。
图7示出了当前块的左邻域和上邻域的示例。
图8示出了ALF滤波器形状的示例(色度:5×5菱形,亮度:7×7菱形)。
图9示出了子采样的拉普拉斯计算的示例。
图10示出了在虚拟边界处的修改的块分类的示例。
图11是图示在虚拟边界处的用于亮度分量的修改的ALF滤波的示例。
图12示出了EO中的像素分类的四个1维3像素图案的示例。
图13示出了四个带被分组在一起并由其起始带位置表示。
图14示出了在CIIP权重导出中使用的顶邻近块和左邻近块。
图15示出了具有色度缩放架构的亮度映射。
图16示出了SCIPU的示例。
图17A和17B是用于实现本文档中所描述的技术的硬件平台的示例的框图。
图18是视频处理的示例方法的流程图。
图19示出了空域Merge候选的位置的示例。
图20示出了考虑用于空域Merge候选的冗余检查的候选对的示例。
图21示出了视频处理的示例方法的流程图。
图22是图示示例视频编解码系统的框图。
图23是图示根据本公开的一些实施例的编码器的框图。
图24是图示根据本公开的一些实施例的解码器的框图。
具体实施方式
本文档提供了可由图像或视频比特流的解码器使用的各种技术,以提高解压缩或解码的数字视频或图像的质量。为了简洁起见,术语“视频”在本文中用于包括图片序列(传统上称为视频)和各个图像。此外,视频编码器还可在编码过程期间实现这些技术,以便重建用于进一步编码的解码帧。
在本文档中使用章节标题是为了易于理解,并且不将实施例和技术限于对应的章节。这样,一个章节的实施例可以与其它章节的实施例组合。
1.概要
该文档与视频编解码技术有关。具体地,它涉及在视频编解码中采用基于基色的表示的调色板编解码。它可以应用于现有的视频编解码标准(例如HEVC)或要最终确定的标准(通用视频编解码)。它也可能适用于将来的视频编解码标准或视频编码器。
2.初步讨论
视频编解码标准主要通过公知的ITU-T和ISO/IEC标准的发展而演进。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4Visual,这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。从H.262开始,视频编解码标准基于混合视频编解码结构,其中利用了时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术,VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后,JVET采纳了许多新方法并将其引入到名为“联合探索模型”(JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IEC JTC1SC29/WG11(MPEG)之间的联合视频专家团队(JVET)创建,致力于VVC标准,目标是与HEVC相比降低50%的比特率。
2.1帧内块复制
帧内块复制(IBC),也称为当前图片参考,已在HEVC屏幕内容编解码扩展(HEVC-SCC)和当前VVC测试模型(通过VTM-4.0)中采用。IBC将运动补偿的概念从帧间编解码扩展到了帧内编解码。如图1所示,当应用IBC时,由在相同图片中的参考块预测当前块。在对当前块进行编解码或解码之前,必须已经重建了参考块中的样点。尽管IBC对于大多数相机捕获的序列而言效率不高,但它示出了对屏幕内容的显著编解码增益。原因是屏幕内容图片中存在许多重复图案,诸如图标和文本字符。IBC可以有效地移除这些重复图案之间的冗余。在HEVC-SCC中,如果选择当前图片作为其参考图片,则帧间编解码单元(CU)可以应用IBC。在这种情况下,MV被重命名为块矢量(BV),并且BV始终具有整数像素精度。为了与主配置文件HEVC兼容,当前图片在解码图片缓冲器(DPB)中被标记为“长期”参考图片。应当注意,类似地,在多视图/3D视频编解码标准中,视图间参考图片也被标记为“长期”参考图片。
在BV找到其参考块之后,可以通过复制参考块来生成预测。可以通过从原始信号中减去参考像素来获得残差。然后,可以像在其它编解码模式中一样应用变换和量化。
图1是帧内块复制的图示。
然而,当参考块在图片之外、或与当前块重叠、或在重建区域之外、或在受一些约束限制的有效区域之外时,未定义部分或所有像素值。基本上,存在两种解决方案来处理这样的问题。一种是禁止这样的情况,例如在比特流一致性中。另一种是对那些未定义的像素值应用填充。以下子章节详细描述解决方案。
2.2在HEVC屏幕内容编解码扩展中的IBC
在HEVC的屏幕内容编解码扩展中,当块使用当前图片作为参考时,应保证整个参考块在可用的重建区域内,如以下规范文本所指示:
变量offsetX和offsetY导出如下:
offsetX=(ChromaArrayType==0)?0:(mvCLX[0]&0x7?2:0) (8-104)
offsetY=(ChromaArrayType==0)?0:(mvCLX[1]&0x7?2:0) (8-105)
比特流一致性要求,当参考图片在当前图片中时,亮度运动矢量mvLX应遵循以下约束:
–当以将设置为(xCb,yCb)的(xCurr,yCurr)、将设置为等于(xPb+(mvLX[0]>>2)-offsetX,yPb+(mvLX[1]>>2)-offsetY)的相邻亮度位置(xNbY,yNbY)作为输入调用第6.4.1节中规定的z扫描顺序块可用性的导出过程时,输出应当为真(TRUE)。
–当以将设置为(xCb,yCb)的(xCurr,yCurr)、将设置为等于(xPb+(mvLX[0]>>2)+nPbW-1+offsetX,yPb+(mvLX[1]>>2)+nPbH-1+offsetY)的相邻亮度位置(xNbY,yNbY)作为输入调用第6.4.1节中规定的z扫描顺序块可用性的导出过程时,输出应当为真(TRUE)
–以下条件中的一个或两者应当为真:
–(mvLX[0]>>2)+nPbW+xB1+offsetX的值小于或等于0。
–(mvLX[1]>>2)+nPbH+yB1+offsetY的值小于或等于0。
–以下条件应当为真:
–(xPb+(mvLX[0]>>2)+nPbSw-1+offsetX)/CtbSizeY-xCurr/CtbSizeY<=yCurr/CtbSizeY-(yPb+(mvLX[1]>>2)+nPbSh-1+offsetY)/CtbSizeY(8-106)
因此,将不会发生参考块与当前块重叠或参考块在图片之外的情况。无需填充参考或预测块。
2.3在VVC测试模型中的IBC
在当前的VVC测试模型中,即VTM-4.0设计中,整个参考块应当与当前编解码树单元(CTU)在一起并且不与当前块重叠。因此,无需填充参考或预测块。IBC标志被编解码为当前CU的预测模式。因此,对于每个CU,总共存在三种预测模式:MODE_INTRA,MODE_INTER和MODE_IBC。
2.3.1IBC Merge模式
在IBC Merge模式中,从比特流中解析指向IBC Merge候选列表中的条目的索引。IBC Merge列表的构造可以根据以下步骤序列进行总结:
·步骤1:导出空域候选
·步骤2:插入HMVP候选
·步骤3:插入成对的平均候选
在空域Merge候选的导出中,在位于图19所示位置的候选中选择最多四个Merge候选。导出次序为A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任何PU不可用(例如,因为它属于另一个条带或片)或未使用IBC模式编解码时,才考虑位置B2。在位置A1的候选被添加之后,剩余候选的插入经历冗余检查,该冗余检查确保从列表中排除具有相同运动信息的候选,从而提高了编解码效率。为了降低计算复杂度,在提到的冗余检查中并未考虑所有可能的候选对。代替地,仅考虑图20中使用箭头链接的对,并且仅如果用于冗余检查的对应候选不具有相同的运动信息时,才将候选添加到列表中。
在插入空域候选之后,如果IBC Merge列表尺寸仍小于最大IBC Merge列表尺寸,则可以插入来自HMVP表的IBC候选。当插入HMVP候选时执行冗余检查。
最后,将成对的平均候选插入IBC Merge列表。
当由Merge候选标识的参考块在图片之外、或者与当前块重叠、或者在重建区域之外、或者在受一些约束限制的有效区域之外时,Merge候选被称为无效Merge候选。
注意,可以将无效Merge候选插入IBC Merge列表。
2.3.2IBC AMVP模式
在IBC AMVP模式中,从比特流解析指向IBC AMVP列表中的条目的AMVP索引。IBCAMVP列表的构造可以根据以下步骤序列进行总结:
·步骤1:导出空域候选
o检查A0、A1,直到找到可用候选。
o检查B0、B1、B2,直到找到可用候选。
·步骤2:插入HMVP候选
·步骤3:插入零候选
在插入空域候选之后,如果IBC AMVP列表尺寸仍小于最大IBC AMVP列表尺寸,则可以插入来自HMVP表的IBC候选。
最后,将零候选插入IBC AMVP列表。
2.4调色板模式
调色板模式背后的基本思想是CU中的样点由代表性颜色值的小集合表示。此集合称为调色板。而并且,也可能通过信令通知后跟(可能是量化的)分量值的逃逸(escape)符号来指示调色板之外的样点。这种样点称为逃逸样点。调色板模式如图2所示。
图2示出了以调色板模式编解码的块的示例。
2.5在HEVC屏幕内容编解码扩展(HEVC-SCC)中的调色板模式
在HEVC-SCC的调色板模式中,一种预测方法用于编解码调色板和索引图。
2.5.1调色板条目的编解码
为了对调色板条目进行编解码,维护调色板预测器。在SPS中信令通知调色板的最大尺寸以及调色板预测器。在HEVC-SCC中,在PPS中引入了palette_predictor_initializer_present_flag。当该标志为1时,在比特流中信令通知用于初始化调色板预测器的条目。在每个CTU行、每个条带和每个片的开始处初始化调色板预测器。取决于palette_predictor_initializer_present_flag的值,将调色板预测器重置为0或使用PPS中信令通知的调色板预测器初始化器条目进行初始化。在HEVC-SCC中,启用尺寸为0的调色板预测器初始化器,以允许在PPS级别显式禁用调色板预测器初始化。
对于调色板预测器中的每个条目,信令通知重用标志以指示其是否是当前调色板的一部分。这如图3所示。使用零的游程长度(run-length)编解码发送重用标志。此后,使用阶数为0的指数Golomb代码信令通知新调色板条目的数目。最后,信令通知新调色板条目的分量值。
图3示出了使用调色板预测器来信令通知调色板条目的示例。
2.5.2调色板索引编解码
如图4所示,使用水平和垂直遍历扫描对调色板索引进行编解码。使用palette_transpose_flag在比特流中显式信令通知扫描次序。对于子章节的其余部分,假定扫描是水平的。
图4示出了水平和垂直遍历扫描的示例。
使用两个主要调色板样点模式对调色板索引进行编解码:“INDEX”和“COPY_ABOVE”。如前所述,逃逸符号也信令通知为“INDEX”模式,并分配等于最大调色板尺寸的索引。使用除顶行以外的标志或当先前模式为“COPY_ABOVE”时信令通知该模式。在“COPY_ABOVE”模式下,复制上方行中样点的调色板索引。在“INDEX”模式下,显式信令通知调色板索引。对于“INDEX”和“COPY_ABOVE”模式,都信令通知游程值,该值指定也使用相同模式进行编解码的后续样点的数目。当“INDEX”或“COPY_ABOVE”模式下逃逸符号是游程的一部分时,为每个逃逸符号信令通知逃逸分量值。调色板索引的编解码如图5所示。
该语法次序如下完成。首先,信令通知CU的索引值的数目。这之后是使用截短的二进制编解码来信令通知整个CU的实际索引值。索引的数目以及索引值两者以旁路模式进行编解码。这将与索引相关的旁路二进制数(bin)分组在一起。然后以交错方式信令通知调色板样点模式(如果需要)和游程。最后,将与整个CU的逃逸样点相对应的分量逃逸值分组在一起,并以旁路模式进行编解码。
在信令通知索引值之后信令通知附加的语法元素,last_run_type_flag。该语法元素结合索引的数目,消除了信令通知与块中最后的游程相对应的游程值的需要。
在HEVC-SCC中,还对4:2:2、4:2:0和单色色度格式启用调色板模式。对于所有色度格式,调色板条目和调色板索引的信令通知几乎相同。在非单色格式的情况下,每个调色板条目由3个分量组成。对于单色格式,每个调色板条目均由单个分量组成。对于子采样的色度方向,色度样点与可被2整除的亮度样点索引相关联。在为CU重建调色板索引之后,如果样点仅具有与其相关联的单个分量,则仅适用调色板条目的第一分量。信令通知的唯一区别在于逃逸分量值。对于每个逃逸样点,取决于与该样点相关联的分量的数目,信号通知的逃逸分量值的数目可能不同。
在VVC,双树编解码结构用于基于对帧内条带进行编解码,因此亮度分量和两个色度分量可以具有不同的调色板和调色板索引。另外,两个色度分量共享相同的调色板和调色板索引。
图5示出了对调色板索引进行编解码的示例。
2.6在VVC中的帧内模式编解码
为了捕获自然视频中呈现的任意边缘方向,VTM5中的定向帧内模式的数目从HEVC中使用的33扩展到65。HEVC中没有的新定向模式在图6中用虚线箭头描绘,并且平面和DC模式保持相同。这些较密集的定向帧内预测模式应用于所有块尺寸以及亮度和色度帧内预测。
在VTM5中,对于非正方形块,使用广角帧内预测模式自适应地替换几种常规角度帧内预测模式。
在HEVC中,每个帧内编解码块具有正方形形状,并且其每侧的长度是2的幂。因此,使用DC模式生成帧内预测器不需要拆分操作。在VTM5中,块可以具有矩形形状,这通常情况下需要对每个块使用拆分操作。对于DC预测为了避免拆分操作,对于非正方形块仅使用较长侧来计算平均。
图6示出了67个帧内预测模式的示例。
为了保持最可能模式(MPM)列表生成的复杂度低,通过考虑两个可用的邻近帧内模式,使用具有6个MPM的帧内模式编解码方法。考虑以下三个方面来构建MPM列表:
-默认帧内模式
-邻近帧内模式
-导出帧内模式
不管是否应用MRL和ISP编解码工具,统一的6-MPM列表都用于帧内块。MPM列表是基于左邻近块和上邻近块的帧内模式构建的。假设左块的模式表示为Left,而上块的模式表示为Above,则统一的MPM列表的构建如下(左块和上块如图7所示):
图7是当前块的左邻域和上邻域的示例。
–当邻近块不可用时,其帧内模式默认设置为平面。
–如果Left和Above两者是非角度模式:
o MPM列表→{平面,DC,V,H,V-4,V+4}
–如果“Left”和“Above”中的一个是角度模式,而另一个是非角度模式:
o设置模式Max作为“Left”和“Above”中的最大模式
o MPM列表→{平面,Max,DC,Max-1,Max+1,Max-2}
–如果Left和Above都是角度并且它们是不同的:
o设置模式Max作为“Left”和“Above”中的最大模式
o如果模式“Left”和“Above”的差在2至62的范围(含端值)
■MPM列表→{平面,Left,Above,DC,Max-1,Max+1}
o否则
■MPM列表→{平面,Left,Above,DC,Max-2,Max+2}
–如果Left和Above都是角度并且它们是相同的:
o MPM列表→{平面,Left,Left-1,Left+1,DC,Left-2}
此外,mpm索引码字的第一二进制数是CABAC上下文编解码的。使用总共三种上下文,对应于当前帧内块是启用MRL、启用ISP还是正常帧内块。
在6个MPM列表生成过程期间,使用修剪来移除重复的模式,以便仅唯一模式可以包括在MPM列表中。对于61个非MPM模式的熵编解码,使用截短的二进制码(TBC)。
对于色度帧内模式编解码,总共允许8个帧内模式用于色度帧内模式编解码。这些模式包括5个传统帧内模式和3个跨分量线性模型模式(CCLM、LM_A和LM_L)。色度模式信令通知和导出过程如表2-4所示。色度模式编解码直接取决于对应亮度块的帧内预测模式。由于在I条带中启用用于亮度和色度分量的分开的块分割结构,所以一个色度块可以对应于多个亮度块。因此,对于色度DM模式,覆盖当前色度块的中心位置的对应亮度块的帧内预测模式被直接继承。
表2-4当启用cclm时从亮度模式导出色度预测模式
2.7量化残差块差分脉冲编解码调制(QR-BDPCM)
在JVET-M0413中,提出了一种量化残差块差分脉冲编解码调制(QR-BDPCM)以有效地对屏幕内容进行编解码。
在QR-BDPCM中使用的预测方向可以是垂直和水平预测模式。通过在类似于帧内预测的预测方向(水平或垂直预测)上进行样点复制来对整个块进行帧内预测。对残差进行量化,并对量化后的残差及其预测器(水平或垂直)量化后的值之间的增量进行编解码。这可以通过以下来描述:对于尺寸为M(行)×N(列)的块,令ri,j,0≤i≤M-1,0≤j≤N-1是使用来自上块或左块边界样点的未滤波样点水平(在预测块上逐线复制左邻近像素值)或垂直(将顶部邻近线复制到预测块中的每条线)执行帧内预测之后的预测残差。令Q(ri,j),0≤i≤M-1,0≤j≤N-1表示残差ri,j的量化后的版本,其中残差是原始块与预测块值之间的差。然后,将块DPCM应用于量化后的残差样点,得到具有元素的修改后的M×N数组/>当信令通知垂直BDPCM时:
对于水平预测,适用类似的规则,并且通过以下方式获得残差量化后的样点:
残差量化后的样点被发送到解码器。
在解码器侧,逆进行上述计算以产生Q(ri,j),0≤i≤M-1,0≤j≤N-1。对于垂直预测情况,
对于水平情况,
逆量化后的残差Q-1(Q(ri,j))被添加到帧内块预测值以产生重建的样点值。
该方案的主要优点在于,可以在系数解析期间即时完成逆DPCM,也可以在解析系数时简单地添加预测器,或者在解析后执行逆DPCM。
2.8自适应环路滤波器
在VTM5中,应用了具有基于块的滤波器自适应的自适应环路滤波器(ALF)。对于亮度分量,基于局部梯度的方向和活度,为每个4×4块选择25个滤波器中的一个。
2.8.1.1滤波器形状
在VTM5中,使用了两种菱形滤波器形状(如图8所示)。7×7菱形应用于亮度分量,而5×5菱形应用于色度分量。
图8示出了ALF滤波器形状的示例(色度:5×5菱形,亮度:7×7菱形)
2.8.1.2块分类
对于亮度分量,每个4×4块被归类为25类中的一个。分类索引C基于其方向性D和活度的量化值而导出,如下:
为了计算D和首先使用一维拉普拉斯计算计算水平、垂直和两个对角方向的梯度:
其中索引i和j指代4×4块内左上样点的坐标,而R(i,j)指示在坐标(i,j)处的重建样点。
为了降低块分类的复杂度,应用子采样的一维拉普拉斯计算。如图9所示,相同的子采样位置用于所有方向的梯度计算。
图9示出了子采样的拉普拉斯计算的示例。(a)垂直梯度的子采样位置(b)水平梯度的子采样位置(c)对角梯度的子采样位置(d)对角梯度的子采样位置。
然后,将水平方向和垂直方向的梯度的D最大值和最小值设置为:
两个对角方向的梯度的最大值和最小值设置为:
为了导出方向性D的值,将这些值彼此比较,并使用两个阈值t1和t2
步骤1.如果和/>都为真,则D设置为0。
步骤2.如果则从步骤3继续;否则,则从步骤4继续。
步骤3.如果则D设置为2;否则,则D设置为1。
步骤3.如果则D设置为4;否则,则D设置为3。
活度值A计算为:
A被进一步量化到0到4的范围(含端值),并且量化后的值表示为
对于图片中的色度分量,不应用分类方法,即,针对每个色度分量应用ALF系数的单个集合。
2.8.1.3滤波器系数和剪裁值的几何变换
在对每个4×4亮度块进行滤波之前,取决于针对该块计算的梯度值,将几何变换(诸如旋转或对角和垂直翻转)应用于滤波器系数f(k,l)以及对应的滤波器剪裁值c(k,l)。这等同于将这些变换应用于在滤波器支持区域中的点。想法是通过对齐方向性来使应用了ALF的不同块更加相似。
引入了三种几何变换,包括对角、垂直翻转和旋转:
对角:fD(k,l)=f(l,k),cD(k,l)=c(l,k)(2-9-9)
垂直翻转:fV(k,l)=f(k,K-l-1),cV(k,l)=c(k,K-l-1) (2-9-10)
旋转:fR(k,l)=f(K-l-1,k),cR(k,l)=c(K-l-1,k) (2-9-11)
其中,K是滤波器的尺寸,并且0≤k,l≤K-1是系数坐标,使得位置(0,0)在左上角而位置(K-1,K-1)在右下角。取决于针对该块计算的梯度值,将变换应用于滤波器系数f(k,l)和剪裁值c(k,l)。下表总结了变换与四个方向的四个梯度之间的关系。
表2-5针对一个块计算的梯度与变换的映射
梯度值 变换
gd2<gd1并且gh<gv 无变换
gd2<gd1并且gv<gh 对角
gd1<gd2并且gh<gv 垂直翻转
gd1<gd2并且gv<gh 旋转
2.8.1.4滤波器参数信令通知
在VTM5中,在自适应参数集(APS)中信令通知ALF滤波器参数。在一个APS中,最多可以信令通知25个亮度滤波器系数和剪裁值索引的集合,以及最多一个色度滤波器系数和剪裁值索引的集合。为了减少比特开销,可以合并不同分类的滤波器系数。在条带报头中,信令通知用于当前条带的APS的索引。
从APS解码的剪裁值索引允许使用剪裁值的亮度表和剪裁值的色度表来确定剪裁值。这些剪裁值取决于内部比特深度。更精确地,裁剪值的亮度表和裁剪值的色度表通过以下公式获得:
其中B等于内部比特深度,N等于4,这是VTM5.0中允许的剪裁值的数目。
可以在CTB级别控制滤波过程。始终信令通知标志,以指示是否将ALF应用于亮度CTB。亮度CTB可以从16个固定滤波器集合和来自APS的滤波器集合中选择滤波器集合。信令通知用于亮度CTB的滤波器集合索引,以指示应用了哪个滤波器集合。16个固定滤波器集合在编码器和解码器两者中是预定义和硬编解码的。
滤波器系数以等于128的范数进行量化。为了限制乘法复杂度,应用比特流一致性,使得非中心位置的系数值应在-27至27-1的范围内(含端值)。中心位置系数未在比特流中信令通知,并且被认为等于128。
2.8.1.5滤波过程
在解码器侧,当针对CTB启用ALF时,对CU内的每个样点R(i,j)进行滤波,得到样点值R′(i,j),如下所示,
R′(i,j)=R(i,j)+((∑k≠0l≠0f(k,l)×K(R(i+k,j+l)-R(i,j),c(k,l))+64)>>7) (2-9-14)
其中,f(k,l)表示解码的滤波器系数,K(x,y)是剪裁函数,并且c(k,l)表示解码的剪裁参数。变量k和1在和/>之间变化,其中L表示滤波器长度。裁剪函数K(x,y)=min(y,max(-y,x))对应于函数Clip3(-y,y,x)。
2.8.1.6减少线缓冲器的虚拟边界滤波过程
在VTM5中,为了减少ALF的线缓冲器要求,对水平CTU边界附近的样点采用修改的块分类和滤波。为此,通过移位具有“N”个样点的水平CTU边界将虚拟边界定义为线,如图10所示,其中对于亮度分量N等于4,而对于色度分量N等于2。
图10示出了在虚拟边界处的修改的块分类的示例。
如图11所示,将修改的块分类应用于亮度分量,通过考虑在一维拉普拉斯梯度计算中使用的样点的减少的数目,来相应地缩放活度值A。
对于滤波处理,在虚拟边界处的对称填充操作用于亮度和色度分量两者。如图11所示,当被滤波的样点位于虚拟边界下方时,填充位于虚拟边界上方的邻近样点。同时,也对称地填充另一侧处的对应样点。
图11示出了在虚拟边界处的用于亮度分量的修改的ALF滤波的示例。
2.9样点自适应偏移(SAO)
编码器通过使用为每个CTB指定的偏移,将样点自适应偏移(SAO)应用于在解块滤波器之后的重建信号。HM编码器首先决定是否将SAO过程应用于当前条带。如果将SAO应用于条带,则每个CTB被分类为表2-6中所示的五种SAO类型中的一种。SAO的概念是将像素分类到各类别,并通过向每个类别的像素添加偏移来减少失真。SAO操作包括边缘偏移(EdgeOffset,EO)和带偏移(Band Offset,BO),该边缘偏移(EO)对SAO类型1-4中的像素分类使用边缘属性,该带偏移(BO)对SAO类型5中的像素分类使用像素强度。每个适用的CTB具有SAO参数,包括sao_merge_left_flag、sao_merge_up_flag、SAO类型和四个偏移。如果sao_merge_left_flag等于1,则当前CTB将重用SAO类型和CTB向左的偏移。如果sao_merge_up_flag等于1,则当前CTB将重用SAO类型和CTB向上的偏移。
表2–6SAO类型的规定
SAO类型 要使用的样点自适应偏移类型 类别号
0 0
1 1维0度图案边缘偏移 4
2 1维90度图案边缘偏移 4
3 1维135度图案边缘偏移 4
4 1维45度图案边缘偏移 4
5 带偏移 4
2.9.1每种SAO类型的操作
边缘偏移通过考虑边缘定向信息对当前像素p的分类使用四个1维3像素图案,如图12所示。从左到右,它们分别是:0度、90度、135度和45度。
图12示出了EO中的像素分类的四个1维3像素图案的示例。
每个CTB根据表2–7分类为五个类别中的一个。
表2–7EO的像素分类规则
类别 条件 含义
0 以下都不是 大部分单调
1 p<2邻域 局部最小值
2 p<1邻域&&p==1邻域 边缘
3 p>1邻域&&p==1邻域 边缘
4 p>2邻域 局部最大值
带偏移(BO)通过使用像素值的五个最高有效比特作为带索引,将一个CTB区域中的所有像素分类为32个均匀带。换言之,像素强度范围被拆分为从零到最大强度值(例如,对于8比特像素为255)的32个相等的段。四个相邻的带被分组在一起,每个组由其最左边的位置指示,如图13所示。编码器搜索所有位置,以通过补偿每个带的偏移来获得具有最大失真减小的组。
图13示出了四个带被分组在一起并由其起始带位置表示的示例。
2.10组合的帧间和帧内预测(CIIP)
在VTM5中,当以Merge模式编解码CU时,如果CU包含至少64个亮度样点(即CU宽度乘以CU高度等于或大于64),并且如果CU宽度和CU高度都如果小于128个亮度样点,则信令通知附加标志以指示是否将组合的帧间/帧内预测(CIIP)模式应用于当前CU。顾名思义,CIIP预测将帧间预测信号与帧内预测信号进行组合。CIIP模式下的帧间预测信号Pinter是使用与应用于常规Merge模式相同的帧间预测过程导出的;并且帧内预测信号Pintra是在具有平面模式的常规帧内预测过程之后导出的。然后,使用加权平均对帧内和帧间预测信号进行组合,其中,取决于顶邻近块和左邻近块(如图14所示)的编解码模式来计算权重值,如下:
–如果顶邻近可用并且是帧内编解码的,则将isIntraTop设置为1,否则将isIntraTop设置为0;
–如果左邻近可用并且是帧内编解码的,则将isIntraLeft设置为1,否则将isIntraLeft设置为0;
–如果(isIntraLeft+isIntraLeft)等于2,则将wt设置为3;
–否则,如果(isIntraLeft+isIntraLeft)等于1,则将wt设置为2;
–否则,将wt设置为1。
CIIP预测被形成如下:
PCIIP=((4-wt)*Pinter+wt*Pintra+2)>>2 (3-2)
图14示出了在CIIP权重导出中使用的顶邻近块和左邻近块的示例。
2.11具有色度缩放的亮度映射(LMCS)
在VTM5中,在环路滤波器之前,将称为具有色度缩放的亮度映射(LMCS)的编解码工具添加为新的处理块。LMCS有两个主要组成部分:1)基于自适应分段线性模型的亮度分量的环路映射;2)对于色度分量,应用取决于亮度的色度残差缩放。图15从解码器的角度示出了LMCS架构。图15中的虚线块指示在映射的域中应用处理的位置,并且这些包括逆量化、逆变换、亮度帧内预测以及将亮度预测与亮度残差相加。图15中无阴影的块指示在原始(即,非映射)域中应用处理的位置;并且这些包括诸如去块、ALF和SAO的环路滤波器,运动补偿预测,色度帧内预测,将色度预测与色度残差相加,以及将解码的图片存储为参考图片。图15中的方格块示出了新的LMCS功能块,包括亮度信号以及取决于亮度的色度缩放过程的前向映射和逆映射。像VVC中的大多数其它工具一样,可以使用SPS标志在序列级别启用/禁用LMCS。
图15示出了具有色度缩放的亮度映射架构的示例。
2.12双树分割
在当前的VVC设计中,对于I条带,可以使用隐式四叉树划分将每个CTU划分为具有64x64亮度样点的编解码单元,并且这些编解码单元是用于亮度和色度的两个分开的coding_tree语法结构的根。
由于与亮度编解码树相比,帧内图片中的双树允许在色度编解码树中应用不同的分割,因此双树引入了更长的编解码管线,并且色度树中的QTBTMinQTSizeC值范围以及MinBtSizeY和MinTTSizeY允许较小的色度块,诸如2x2、4x2和2x4。这给实际的解码器设计带来了困难。此外,若干预测模式(诸如CCLM、平面和角度模式)需要乘法。为了减轻上述问题,在双树中限制小的色度块尺寸(2×2/2×4/4×2)作为分割限制。
2.13JVET-O0050中的最小色度帧内预测单元(SCIPU)
小色度尺寸对硬件实现方式不友好。在双树情况下,禁止具有过小尺寸的色度块。但是,在单树情况下,VVC草案5仍允许2x2、2x4、4x2色度块。为了限制色度块的尺寸,在单个编解码树中,SCIPU在JVET-O0050中定义为编解码树节点,该编解码树节点的色度块尺寸大于或等于TH色度样点并且具有至少一个小于4TH亮度样点的子亮度块,其中在此稿中TH设置为16。要求在每个SCIPU中,所有CB都是帧间的,或者所有CB是非帧间,即帧内或IBC。在非帧间SCIPU的情况下,进一步要求非帧间SCIPU的色度不应该被进一步划分并且SCIPU的亮度被允许进一步划分。这样,最小的色度帧内CB尺寸为16个色度样点,并移除2x2、2x4和4x2的色度CB。另外,在非帧间SCIPU的情况下,不应用色度缩放。
图16示出了两个SCIPU示例。在图16的左侧中,一个8x4色度样点的色度CB和三个亮度CB(4x8、8x8、4x8亮度CB)形成一个SCIPU,因为从8x4色度样点中划分的三叉树(TT)将导致色度CB小于16个色度样点。在图16的右侧中,一个4x4色度样点的色度CB(8x4色度样点的左侧)和三个亮度CB(8x4、4x4、4x4亮度CB)形成一个SCIPU,并且另一个4x4样点的色度CB(8x4色度样点的右侧)和两个亮度CB(8x4、8x4亮度CB)形成一个SCIPU,因为从4x4色度样点中划分的二叉树(BT)将导致色度CB小于16个色度样点。
图16示出了SCIPU示例。
如果当前条带是I条带或当前SCIPU在进一步划分一次之后其中具有4x4亮度分割,则将SCIPU的类型推断为非帧间的(因为在VVC中禁止帧间4x4);否则,在解析SCIPU中的CU之前,通过一个信令通知的标志来指示SCIPU的类型(帧间或非帧间)。
2.14VVC草案6中的小色度块约束
在VVC草案6(JVET-O2001-vE.docx)中,对小色度块的约束实现如下(有关的部分被标记为粗体斜体)。
/>
/>
2.14.1.1编解码单元语法
允许的四划分过程
此过程的输入是:
–亮度样点中的编解码块尺寸cbSize,
–多种类型的树深度mttDepth,
–变量treeType,其指定是使用单树(SINGLE_TREE)还是双树对CTU进行分割,并且在使用双树时,指定当前正在处理亮度(DUAL_TREE_LUMA)还是色度分量(DUAL_TREE_CHROMA),
此过程的输出是变量allowSplitQt。
变量allowSplitQt导出如下:
–如果以下条件中的一个或多个为真,则将allowSplitQt设置为等于假:
–treeType等于SINGLE_TREE或DUAL_TREE_LUMA,并且cbSize小于或等于MinQtSizeY
–treeType等于DUAL_TREE_CHROMA,并且cbSize/SubWidthC小于或等于MinQtSizeC
–mttDepth不等于0
–treeType等于DUAL_TREE_CHROMA,并且(cbSize/SubWidthC)小于或等于4
–否则,将allowSplitQt设置为等于真。
允许的二进制划分过程
此过程的输入是:
–二进制划分模式btSplit,
–亮度样点中的编解码块宽度cbWidth,
–亮度样点中的编解码块高度cbHeight,
–所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0),
–多种类型的树深度mttDepth,
–具有偏移的最大多种类型的树深度maxMttDepth,
–最大二叉树尺寸maxBtSize,
–最小四叉树尺寸minQtSize,
–分割索引partIdx,
–变量treeType,其指定是使用单树(SINGLE_TREE)还是双树对CTU进行分割,并且在使用双树时,指定当前正在处理亮度(DUAL_TREE_LUMA)还是色度分量(DUAL_TREE_CHROMA),
此过程的输出是变量allowBtSplit。
表6–2基于btSplit的parallelTtSplit和cbSize的规定
btSplit==SPLIT_BT_VER btSplit==SPLIT_BT_HOR
parallelTtSplit SPLIT_TT_VER SPLIT_TT_HOR
cbSize cbWidth cbHeight
变量parallelTtSplit和cbSize如表6–2中规定的被导出。
变量allowBtSplit导出如下:
–如果以下条件中一个或多个为真,则将allowBtSplit设置为等于假:
–cbSize小于或等于MinBtSizeY
–cbWidth大于maxBtSize
–cbHeight大于maxBtSize
–mttDepth大于或等于maxMttDepth
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于16
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–btSplit等于SPLIT_BT_VER
–y0+cbHeight大于pic_height_in_luma_samples
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–btSplit等于SPLIT_BT_VER
–cbHeight大于MaxTbSizeY
–x0+cbWidth大于pic_width_in_luma_samples
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–btSplit等于SPLIT_BT_HOR
–cbWidth大于MaxTbSizeY
–y0+cbHeight大于pic_height_in_luma_samples
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–cbWidth大于minQtSize
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–btSplit等于SPLIT_BT_HOR
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight小于或等于pic_height_in_luma_samples
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假:
–mttDepth大于0
–partIdx等于1
-MttSplitMode[x0][y0][mttDepth-1]等于parallelTtSplit
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–btSplit等于SPLIT_BT_VER
–cbWidth小于或等于MaxTbSizeY
–cbHeight大于MaxTbSizeY
–否则,如果以下所有条件为真,则将allowBtSplit设置为等于假
–btSplit等于SPLIT_BT_HOR
–cbWidth大于MaxTbSizeY
–cbHeight小于或等于MaxTbSizeY
–否则,将allowBtSplit设置为等于真。
允许的三元划分过程
此过程的输入是:
–三元划分模式ttSplit,
–亮度样点中的编解码块宽度cbWidth,
–亮度样点中的编解码块高度cbHeight,
–所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0),
–多种类型的树深度mttDepth
–具有偏移的最大多种类型的树深度maxMttDepth,
–最大三叉树尺寸maxTtSize,
–变量treeType,其指定是使用单树(SINGLE_TREE)还是双树对CTU进行分割,并且在使用双树时,指定当前正在处理亮度(DUAL_TREE_LUMA)还是色度分量(DUAL_TREE_CHROMA),
此过程的输出是变量allowTtSplit。
表6–3基于ttSplit的cbSize的规定
ttSplit==SPLIT_TT_VER ttSplit==SPLIT_TT_HOR
cbSize cbWidth cbHeight
变量cbSize如表6–3中规定的被导出。
变量allowTtSplit导出如下:
–如果以下条件中一个或多个为真,则将allowTtSplit设置为等于假:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于32
–否则,将allowTtSplit设置为等于真。
pred_mode_flag等于0指定当前编解码单元是以帧间预测模式编解码的。pred_mode_flag等于1指定当前编解码单元是以帧内预测模式编解码的。
当不存在pred_mode_flag时,推断如下:
-如果cbWidth等于4和cbHeight等于4,则推断pred_mode_flag等于1。
–否则,分别在解码I条带时推断pred_mode_flag等于1,在解码P或B条带时推断pred_mode_flag等于0。
对于x=x0..x0+cbWidth-1并且y=y0..y0+cbHeight-1,变量CuPredMode[chType][x][y]导出如下:
–如果pred_mode_flag等于0,则将CuPredMode[chType][x][y]设置为等于MODE_INTER。
–否则(pred_mode_flag等于1),将CuPredMode[chType][x][y]设置为等于MODE_INTRA。
pred_mode_ibc_flag等于1指定当前编解码单元是以IBC预测模式编解码的。pred_mode_ibc_flag等于0指定当前编解码单元不是以IBC预测模式编解码的。
当不存在pred_mode_ibc_flag时,推断如下:
–如果cu_skip_flag[x0][y0]等于1,并且cbWidth等于4,并且cbHeight等于4,则推断pred_mode_ibc_flag等于1。
–否则,如果cbWidth和cbHeight都等于128,则推断pred_mode_ibc_flag等于0。
–否则,分别在解码I条带时推断pred_mode_ibc_flag等于sps_ibc_enabled_flag的值,在解码P或B条带时推断pred_mode_ibc_flag等于0。
当pred_mode_ibc_flag等于1时,对于x=x0..x0+cbWidth–1并且y=y0..y0+cbHeight-1,将变量CuPredMode[chType][x][y]设置为等于MODE_IBC。
3.问题
1.当前,IBC被视为MODE_TYPE_INTRA,并且因此禁止小色度块,这导致不必要的编解码效率损失。
2.当前,调色板被视为MODE_TYPE_INTRA,并且因此禁止小色度块,这导致不必要的编解码效率损失。
3.当前,小色度块约束不考虑颜色子采样格式。
4.当前,对小块的相同分割和预测模式约束被应用于所有色度格式。然而,可能期望在4:2:0和4:2:2色度格式中对小块设计不同的约束机制。
5.当前,调色板模式标志信令通知取决于modeType,这是不期望的,因为调色板可能不应用小块约束。
6.当前,在cu_skip_flag等于1但MODE_TYPE等于MODE_TYPE_INTRA的情况下,对于P/B条带,推断IBC模式标志为0,这在语法解析中是不合法的。
7.当前,对于SCIPU亮度块不允许非4x4亮度IBC模式,这可能是不期望的,并且可能导致编解码效率损失。
8.仍然允许2x H色度块,这对硬件实现方式不友好。
9.尽管CIIP使用帧内预测,但CIIP被视为MODE_INTER,这在一些情况下打破了约束。
10.当应用SCIPU时,取决于亮度划分,可以信令通知色度的增量QP。例如,当在亮度样点中当前块维度是16×8并使用垂直TT划分时,可以应用局部双树。指定qgOnC=qgOnC&&(cbSubdiv+2<=cu_chroma_qp_offset_subdiv),因此,如果cbSubdiv+2<=cu_chroma_qp_offset_subdiv,则将qgOnC设置为零。此条件设置假设色度分量也由TT划分。在局部双树的情况下,色度分量可能不会被划分,因此cbSubdiv可能大于cu_chroma_qp_offset_subdiv。应当将IsCuChromaQpOffsetCoded设置为0以允许信令通知色度的QP。然而,因为将qgOnC设置为0,所以不将IsCuChromaQpOffsetCoded设置为0。
11.无损编解码的最大变换尺寸可以与有损编解码的最大变换尺寸不同地设置。
4.技术方案和实施例的示例
以下列出的应被视为示例。这些技术不应狭义地解释。此外,可以以任何方式组合这些技术。
在本文档中,“MxN编解码树节点”指示M×N块,在亮度样点中M是块宽度,N是块高度,其可以被进一步分割,诸如通过QT/BT/TT。例如,块可以是QT节点或BT节点或TT节点。编解码树节点可以是编解码单元(例如,对于单树具有三个颜色分量,对于双树色度编解码具有两个色度颜色分量,而对于双树亮度编解码仅具有亮度颜色分量),或亮度编解码块,或色度编解码块。“小编解码树节点单元”可以指示在亮度样点中块尺寸MxN等于32/64/128的编解码树节点。
如果没有特别提及,则在亮度样点中测量编解码块的宽度W和高度H。例如,MxN编解码块是指MxN亮度块,和/或两个(M/SubWidthC)x(N/SubHeightC)色度块,其中SubWidthC和SubHeightC由色度格式导出如下。
1.是否和/或如何分割为小块可以取决于颜色格式。
a.在一个示例中,对于4:4:4颜色格式,对色度块尺寸的约束可以遵循对亮度块的那些约束。
b.在一个示例中,对于4:2:2颜色格式,对色度块尺寸的约束可以遵循对于4:2:0颜色格式的那些约束。
c.在一个示例中,对于4:0:0和/或4:4:4色度格式,可以不应用对小块分割和/或预测模式的约束。
d.在一个示例中,对于不同的色度格式可以不同地应用对小块分割和/或预测模式的约束。
i.在一个示例中,对于具有水平BT划分的MxN(诸如8x8)编解码树节点,在4:2:2色度格式中,可以对于色度块和亮度块两者允许水平BT划分,而在4:2:0色度格式中,可以对于亮度块允许但对于色度块禁用水平BT划分。
ii.在一个示例中,对于具有垂直BT划分的MxN(诸如16x4)
编解码树节点,在4:2:2色度格式中,可以对于色度块和亮度块两者允许垂直BT划分,而在4:2:0色度格式中,可以对于亮度块允许但对于色度块禁用垂直BT划分。
iii.在一个示例中,对于具有水平TT划分的MxN(诸如8x16)
编解码树节点,在4:2:2色度格式中,可以对于色度块和亮度块两者允许水平TT划分,而在4:2:0色度格式中,可以对于亮度块允许但对于色度块禁用水平TT划分。
iv.在一个示例中,对于具有垂直TT划分的MxN(诸如32x4)
编解码树节点,在4:2:2色度格式中,可以对于色度块和亮度块两者允许垂直TT划分,而在4:2:0色度格式中,可以对于亮度块允许但对于色度块禁用垂直TT划分。
v.在一个示例中,对于4:0:0和/或4:4:4颜色格式,可以不应用小块约束。
e.在一个示例中,是否启用SCIPU取决于颜色格式。
i.在一个示例中,对于4:2:0和4:2:2颜色格式,启用SCIPU。
ii.在一个示例中,对于4:0:0和/或4:4:4颜色格式,禁用SCIPU。
1.在一个示例中,对于4:0:0和/或4:4:4颜色格式,modeType可以始终等于MODE_TYPE_ALL。
2.在一个示例中,对于4:0:0和/或4:4:4颜色格式,modeTypeCondition可以始终等于0。
2.如何确定用于编解码树节点的(子)块的预测模式(和/或modeType)可以取决于色度格式。
a.在一个示例中,如果以下条件中的一个为真,则对于4:2:2色度格式,由此编解码树节点分割的(子)块的modeType可以等于MODE_TYPE_ALL,而对于4:2:0色度格式,modeType可以等于MODE_TYPE_INTRA或MODE_TYPE_INTER。
i.具有水平BT划分的MxN(诸如8x8)编解码树节点
ii.具有垂直BT划分的MxN(诸如16x4)编解码树节点
iii.具有水平TT划分的MxN(诸如8x16)编解码树节点
iv.具有垂直TT划分的MxN(诸如32x4)编解码树节点
3.提出将MODE_TYPE_INTRA重命名为MODE_TYPE_NO_INTER,并限制MODE_INTER的使用。
a.在一个示例中,当编解码单元的modeType等于MODE_TYPE_NO_INTER时,可以禁止MODE_INTER。
4.提出将MODE_TYPE_INTER重命名为MODE_TYPE_NO_INTRA,并限制MODE_INTRA的使用。
a.在一个示例中,当编解码单元的modeType等于MODE_TYPE_NO_INTRA时,可以禁止MODE_INTRA。
5.可能永远不会以4:2:2和/或4:0:0和/或4:4:4色度格式信令通知模式约束标志。
a.在一个示例中,当不存在模式约束标志时,可以将其推断为等于1。
i.可替代地,当不存在模式约束标志时,可以将其推断为等于0。
6.是否和/或如何在块宽度为M且块高度为N的MxN编解码块上应用SCIPU可以取决于颜色格式是4:2:0还是4:2:2。
a.在一个示例中,在4:2:2颜色格式中,对于块宽度为M且块高度为N的MxN编解码块,仅如果M乘以N(表示为M*N)等于64或32,才可以启用SCIPU。
b.在一个示例中,具有M*N=128的编解码树节点可能永远不会被视为4:2:2颜色格式的SCIPU块。
c.在一个示例中,具有BT划分并且M*N=64的编解码树节点可能永远不会被视为4:2:2颜色格式的SCIPU块。
d.在一个示例中,具有split_qt_flag等于1并且M*N=64的编解码树节点可以是4:2:2颜色格式的SCIPU块。
e.在一个示例中,具有TT划分并且M*N=64的编解码树节点可以被视为4:2:2颜色格式的SCIPU块。
f.在一个示例中,具有BT划分并且M*N=32的编解码树节点可以被视为4:2:2颜色格式的SCIPU块。
g.在以上描述中,对于4:2:2颜色格式的SCIPU块,modeTypeCondition可以始终等于1。
h.在以上描述中,对于4:2:2颜色格式的SCIPU块,父节点中的当前块和子叶节点下的所有子块均仅可以允许MODE_TYPE_INTRA。
7.在4:2:2颜色格式中,SCIPU块的modeTypeCondition可以始终等于1。
a.在一个示例中,对于4:2:2颜色格式,modeTypeCondition可以等于0或1。
b.在一个示例中,对于4:2:2颜色格式的SCIPU块,modeTypeCondition可能永远不等于2。
8.在4:2:2颜色格式中,SCIPU块的modeType可以始终等于MODE_TYPE_INTRA。
a.在一个示例中,在4:2:2颜色格式中,modeType可以等于MODE_TYPE_ALL或MODE_TYPE_INTRA。
b.在一个示例中,对于4:2:2颜色格式的SCIPU块,可以禁用MODE_TYPE_INTER。
9.是否允许块分割可以取决于modeType和/或块尺寸。
a.在一个示例中,对于块是否允许BT和/或TT划分可以取决于modeType。
i.在一个示例中,如果modeType等于MODE_TYPE_INTER,则对于当前编解码块可以禁止BT划分(例如,将allowBtSplit设置为等于假)。
ii.在一个示例中,如果modeType等于MODE_TYPE_INTER,则对于当前编解码块可以禁止TT划分(例如,将allowTtSplit设置为等于假)。
b.在一个示例中,对于块是否允许BT和/或TT划分可以取决于modeType和块尺寸。
i.在一个示例中,对于块宽度为M且块高度为N的MxN编解码块,当M*N小于或等于32并且modeType等于MODE_TYPE_INTER时,可以禁止BT划分(例如,将allowBtSplit设置为假)。
ii.在一个示例中,对于块宽度为M且块高度为N的MxN编解码块,当M*N小于或等于64并且modeType等于MODE_TYPE_INTER时,可以禁止TT划分(例如,将allowTtSplit设置为假)。
10.当编解码树的modeTypeCurr等于MODE_TYPE_INTER时,编解码树的划分可能受限制
a.在一个示例中,当编解码树的modeTypeCurr等于MODE_TYPE_INTER时,可以禁止BT划分。
b.在一个示例中,当编解码树的modeTypeCurr等于MODE_TYPE_INTER时,可以禁止TT划分。
c.在一个示例中,当编解码树的modeTypeCurr等于MODE_TYPE_INTER时,可以禁止QT划分。
d.在一个示例中,当编解码树的modeTypeCurr等于MODE_TYPE_INTER并且亮度块尺寸小于或等于32时,可以禁止BT划分。
e.在一个示例中,当编解码树的modeTypeCurr等于MODE_TYPE_INTER并且亮度块尺寸小于或等于64时,可以禁止TT划分。
11.可以以帧间模式对treeType为DUAL_TREE_LUMA的编解码单元进行编解码。
a.在一个示例中,即使对于具有多个颜色分量的颜色格式,以帧间编解码模式(即,MODE_INTER)编解码的编解码单元也可以仅包含亮度分量。
b.在一个示例中,对于DUAL_TREE_LUMA块可能需要解析pred_mode_flag。
c.在一个示例中,对于以帧间模式编解码的DUAL_TREE_LUMA块,也可以应用对于SINGLE_TREE的帧间模式的相同约束。
i.在一个示例中,可以禁止4x4DUAL_TREE_LUMA帧间块。
12.可以不允许块宽度等于M(诸如,M=2)色度样点的色度帧内(和/或IBC)块。
a.在一个示例中,在双树中可以不允许2×N(诸如N≤64)色度帧内块。
i.在一个示例中,当treeType等于DUAL_TREE_CHROMA并且块宽度等于4个色度样点时,可以禁用垂直BT划分。
ii.在一个示例中,当treeType等于DUAL_TREE_CHROMA并且块宽度等于8个色度样点时,可以禁用垂直TT划分。
b.在一个示例中,在单树中可以不允许2xN(诸如N<=64)色度帧内(和/或IBC)块。
i.在一个示例中,对于具有垂直BT划分的M×N(诸如M=8和N<=64)编解码树节点,可以应用以下过程中的一个。
1.对于4xN或4x(N/2)色度块,可以禁止垂直BT划分,但对于8xN亮度块,可以允许垂直BT划分。
2. 4xN或4x(N/2)色度块可以不是垂直BT划分,并且它可以由MODE_INTRA或MODE_IBC编解码。
3.对于8xN亮度块和4xN或4x(N/2)色度块两者可以允许垂直BT划分,但是亮度块和色度块两者不以MODE_INTRA编解码(例如,可以以MODE_INTER或MODE_IBC编解码)。
ii.在一个示例中,对于具有垂直TT划分的M×N(诸如M=16和N<=64)编解码树节点,可以应用以下过程中的一个。
1.对于8xN或8x(N/2)色度块,可以禁止垂直TT划分,但对于16xN亮度块,可以允许垂直TT划分。
2. 8xN或8×(N/2)色度块可以不是垂直TT划分,并且以MODE_INTRA或MODE_IBC编解码。
3.对于16xN亮度块和8xN或8×(N/2)色度块两者可以允许垂直TT划分,但是亮度块和色度块两者可以不以MODE_INTRA编解码(例如,可以以MODE_INTER或MODE_IBC编解码)。
13.无论亮度块和/或色度块是否为小块尺寸,对于亮度块和/或色度块都可以允许IBC模式。
a.在一个示例中,对于亮度块——包括8×4/8×8/16×4和4xN(诸如N<=64)亮度块——可以允许IBC模式,即使modeType等于MODE_TYPE_INTRA。
b.在一个示例中,对于色度块可以允许IBC模式,即使modeType等于MODE_TYPE_INTRA。
14.IBC预测模式标志的信令通知可以取决于预测模式类型(例如,MODE_TYPE_INTRA)。
a.在一个示例中,当treeType不等于DUAL_TREE_CHROMA并且modeType等于MODE_TYPE_INTRA时,可以在比特流中显式信令通知用于非SKIP块(例如,不以跳过模式编解码的编解码块)的IBC预测模式标志。
15.可以取决于CU SKIP标志和模式类型(例如,modeType)来推断IBC预测模式标志。
a.在一个示例中,如果当前块以跳过模式编解码(诸如cu_skip_flag等于1),并且modeType等于MODE_TYPE_INTRA,则IBC预测模式标志(诸如pred_mode_ibc_flag)可以推断为等于1。
16.调色板模式标志的显式信令通知可以不取决于modeType。
a.在一个示例中,无论modeType是什么,调色板模式标志(诸如pred_mode_plt_flag)信令通知都可以取决于条带类型、块尺寸、预测模式等。
b.在一个示例中,当modeType等于MODE_TYPE_INTER或
MODE_TYPE_INTRA时,将调色板模式标志(诸如pred_mode_plt_flag)推断为0。
17.当modeType等于MODE_TYPE_INTER时可以允许使用IBC模式
a.在一个示例中,当modeType等于MODE_TYPE_INTRA时,可以禁止色度IBC。
b.在一个示例中,当modeType等于MODE_TYPE_INTRA或
MODE_TYPE_INTER时,可以允许使用IBC模式。
c.在一个示例中,无论modeType是什么,都可以允许使用IBC模式。
d.在一个示例中,在一个SCIPU内,可以允许IBC和帧间模式两者。
e.在一个示例中,IBC色度块的尺寸可以总是对应于对应的亮度块的尺寸。
f.在一个示例中,当modeType等于MODE_TYPE_INTER并且亮度中编解码单元尺寸为4x4时,可以跳过pred_mode_ibc_flag的信令通知并且可以推断pred_mode_ibc_flag等于1。
18.当modeType为MODE_TYPE_INTER时,可以允许使用调色板模式
a.在一个示例中,当modeType为MODE_TYPE_INTRA时,可以禁止色度调色板。
b.在一个示例中,当modeType等于MODE_TYPE_INTRA或
MODE_TYPE_INTER时,可以允许使用IBC模式。
c.在一个示例中,不管modeType是什么,可以允许使用IBC模式。
d.在一个示例中,当modeType等于MODE_TYPE_INTRA或
MODE_TYPE_INTER时,可以允许使用调色板模式。
e.在一个示例中,不管modeType是什么,可以允许使用调色板模式。
f.在一个示例中,在一个SCIPU内,可以允许调色板和帧间模式二者。
g.在一个示例中,在一个SCIPU内,可以允许调色板、IBC和帧间模式全部。
h.在一个示例中,调色板色度块的尺寸可以总是对应于对应的亮度块的尺寸。
i.在一个示例中,当modeType等于MODE_TYPE_INTER并且在亮度中编解码单元尺寸为4x4时,可以跳过pred_mode_plt_flag的信令通知并且可以推断pred_mode_plt_flag等于1。
j.在一个示例中,当modeType等于MODE_TYPE_INTER并且亮度中编解码单元尺寸为4×4时,可以发送一条消息来指示当前预测模式是IBC还是调色板。
k.在一个示例中,是否启用/禁用调色板模式可以取决于条带类型和
modeType。
i.在一个示例中,对于具有MODE_TYPE_INTRA的I条带,可以启用调色板模式。
ii.在一个示例中,对于具有MODE_TYPE_INTER的P/B条带,
可以启用调色板模式。
19.当启用调色板模式时,可以禁止局部双树。
i.在一个示例中,当启用调色板模式时,modeTypeCondition可以始终设置为等于0。
20.对于宽度等于M(例如,M=2)或高度等于N(例如,N=2)的小色度块,被允许的帧内预测模式可以被限制为与大色度块所允许的帧内预测模式不同。
a.在一个示例中,可以仅使用可用色度帧内预测模式的帧内预测模式的子集。
b.在一个示例中,可以仅使用INTRA_DC模式。
c.在一个示例中,可以仅使用INTRA_PLANAR模式。
d.在一个示例中,可以仅使用INTRA_ANGULAR18模式。
e.在一个示例中,可以仅使用INTRA_ANGULAR50模式。
f.在一个示例中,可以禁止CCLM模式。
21.对于宽度等于M(例如,M=2)或高度等于N(例如,N=2)的小色度块,变换类型可以被限制为与大色度块所允许的变换类型不同。
a.在一个示例中,可以仅使用变换跳过。
b.在一个示例中,可以仅使用一维变换。
c.在一个示例中,禁止支持多种类型变换的编解码工具。
i.可替代地,省略支持多种类型变换的编解码工具的信令通知。
22.CIIP可以被视为MODE_TYPE_INTRA。
a.在一个示例中,当使用双树分割时,可以允许CIIP模式。
i.在一个示例中,当CU类型为DUAL_TREEE_CHROMA时,可以允许CIIP模式。
b.可替代地,CIIP可以被视为MODE_TYPE_INTER
i.在一个示例中,当色度块宽度等于M(例如,M=2)时,可以禁止CIIP模式。
ii.在一个示例中,当色度块宽度等于M(例如,M=2)时,CIIP中用于色度的帧内预测模式可以被限制为简单帧内预测模式。
1.在一个示例中,当色度块宽度等于M(例如,M=2)时,可以将INTRA_DC用于色度帧内预测。
2.在一个示例中,当色度块宽度等于M(例如,M=2)时,可以将INTRA_ANGULAR18用于色度帧内预测。
3.在一个示例中,当色度块宽度等于M(例如,M=2)时,
可以将INTRA_ANGULAR50用于色度帧内预测。
iii.在一个示例中,CIIP中用于色度的帧内预测模式可以被限制为简单的帧内预测模式。
1.在一个示例中,可以将INTRA_DC用于色度帧内预测。
2.在一个示例中,可以将INTRA_ANGULAR18模式用于色度帧内预测。
3.在一个示例中,可以将INTRA_ANGULAR50模式用于色度帧内预测。
23.对于以上项目符号,变量M和/或N可以是预定义的或信令通知的。
a.在一个示例中,M和/或N可以进一步取决于颜色格式(例如4:2:0、
4:2:2、4:4:4)。
24.modeType可以扩展为覆盖更多类型。
a.在一个示例中,modeType可以为MODE_TYPE_IBC。当modeType等于MODE_TYPE_IBC时,将预测模式推断为IBC。
i.在一个示例中,在这种情况下,不信令通知pred_mode_flag。
ii.在一个示例中,在这种情况下,不信令通知pred_mode_ibc_flag。iii.在一个示例中,在这种情况下,不信令通知pred_mode_plt_flag。
b.在一个示例中,modeType可以为MODE_TYPE_PALETTE。当modeType等于MODE_TYPE_PALETTE时,将预测模式推断为调色板模式。
i.在一个示例中,在这种情况下,不信令通知pred_mode_flag。
ii.在一个示例中,在这种情况下,不信令通知pred_mode_ibc_flag。iii.在一个示例中,在这种情况下,不信令通知pred_mode_plt_flag。
c.在一个示例中,可以由索引来替换mode_constraint_flag以表明使用哪一个允许的modeType。
25.在一个示例中,对于维度为W×H的块是否允许QT划分可以取决于modeType连同维度。
a.例如,如果modeType等于MODE_TYPE_INTER并且W等于8且H等于8,则禁止QT划分。
26.在一个示例中,对于维度为W×H的块是否允许垂直TT划分可以取决于modeType连同维度。
a.例如,如果modeType等于MODE_TYPE_INTER并且W等于16且H等于4,则禁止垂直TT划分。
27.在一个示例中,对于维度为W×H的块是否允许水平TT划分可以取决于modeType连同维度。
a.例如,如果modeType等于MODE_TYPE_INTER并且W等于4且H等于16,则禁止水平TT划分。
28.在一个示例中,对于维度为W×H的块是否允许垂直BT划分可以取决于modeType连同维度。
a.例如,如果modeType等于MODE_TYPE_INTER并且W等于8且H等于4,则禁止垂直BT划分。
29.在一个示例中,对于维度为W×H的块是否允许水平TT划分可以取决于modeType连同维度。
a.例如,如果modeType等于MODE_TYPE_INTER并且W等于4且H等于8,则禁止水平BT划分。
30.在一个示例中,是否由modeType推断CU的预测模式可以取决于颜色分量和/或块维度W×H。
a.例如,由modeType推断色度CU的预测模式;但是信令通知而不是由modeType推断亮度CU的预测模式。
i.例如,如果W>4或H>4,则信令通知而不是由modeType推断亮度CU的预测模式。
31.当应用SCIPU时,是否和/或如何信令通知与第一分量的增量QP有关的信息可以取决于第一分量的划分方式。
a.在一个示例中,当应用SCIPU时,是否和/或如何信令通知与第一分量的增量QP有关的信息可以取决于第一分量的划分方式并且与第二分量的划分方式解耦。
b.在一个示例中,第一分量是亮度,第二分量是色度。
c.在一个示例中,第一分量是色度,第二分量是亮度。
32.当应用双树和/或局部双树编解码结构时,在第二分量的解码或解析过程期间不能修改与第一分量的增量QP有关的任何变量。
a.在一个示例中,可以根据SCIPU来使用局部双树编解码结构。
b.在一个示例中,第一分量是亮度,第二分量是色度。
i.变量可以是IsCuQpDeltaCoded。
c.在一个示例中,第一分量是色度,第二分量是亮度。
i.变量可以是IsCuChromaQpOffsetCoded。
33.当应用SCIPU时,在具体区域中与分量(诸如亮度或色度)的增量QP有关的信息最多信令通知一次,在该具体区域中亮度分量和色度分量必须共享相同的模式类型(诸如MODE_TYPE_INTER或MODE_TYPE_INTRA)。
a.在一个示例中,具体区域被视为量化组。
34.可以不允许块宽度为M且块高度为N的MxN色度帧内块。
a)在一个示例中,DC预测可以用于M×N色度帧内预测,例如,M=2个色度样点,N=8和/或16和/或32个色度样点。
i.在一个示例中,重建的邻近像素可以不用于DC预测。
ii.在一个示例中,可以将邻近参考像素设置为等于1<<(bitDepth-1)以用于DC预测。
iii.在一个示例中,PDPC可以不应用于DC预测。
iv.在一个示例中,DC模式信息可以不针对MxN色度帧内块进行编解码而是被导出。
b)在一个示例中,CCLM预测可以用于M×N色度帧内预测,例如,M=2个色度样点,N=8和/或16和/或32个色度样点。
i.在一个示例中,重建的邻近像素可以不用于CCLM预测。
ii.在一个示例中,对于从色度重建值recL导出色度预测值predC的CCLM预测predC=a*recL+b,在诸如SPS/VPS/PPS/图片/子图片/条带/片/砖块/CTU行/CTU/VPDU/CU/PU/TU的视频单元的开始,可以将参数a和b初始化为默认固定值(诸如a=0,b=512)。
1.在一个示例中,可以即时维护先进先出表以更新CCLM参数a和b。
iii.在一个示例中,PDPC可以不应用于CCLM预测。
iv.在一个示例中,CCLM模式信息可以不针对MxN色度帧内块进行编解码而是被导出。
v.可替代地,所提出的方法可以应用于宽度不等于M或高度不等于N的其它种类的CCLM编解码的色度块。
1.在一个示例中,先前编解码的块的CCLM参数可以用于当前块,而不是基于当前块的邻近块的重建信息来导出。
2.在一个示例中,CCLM参数可以存储在表中并且诸如使用FIFO来即时更新。
c)在一个示例中,在双树中可以不允许MxN色度帧内块,例如,M=2个色度样点,N=8和/或16和/或32个色度样点。
i.在一个示例中,当treeType等于DUAL_TREE_CHROMA时,对于维度等于(M*a)x(N*b)的编解码树节点,可以禁用X划分,其中M*a为色度样点中的编解码树节点的宽度,N*b为色度样点中的编解码树节点的高度。
1.在一个示例中,X是垂直BT划分,a=2,b=1
2.在一个示例中,X是水平BT划分,a=1,b=2
3.在一个示例中,X是垂直TT划分,a=4,b=1
4.在一个示例中,X是水平TT划分,a=1,b=4d)在一个示例中,在单树中可以不允许MxN色度帧内块,例如M=
2个色度样点,N=8个和/或16个和/或32个色度样点。
i.在一个示例中,在单树中,对于维度等于(M*a*subWidthC)
x(N*b*subHeightC)的编解码树节点的色度分量,可以禁用X划分,其中M*a为亮度样点中的编解码树节点的宽度,N*b为亮度样点中的编解码树节点的高度,subWidthC和subHeightC为宽度和高度维度上的色度子采样率,例如,对于4:2:0色度格式,subWidthC和subHeightC等于2。
1.在一个示例中,X=垂直BT划分,a=2,b=1
2.在一个示例中,X=垂直TT划分,a=4,b=1
3.在一个示例中,X=水平BT划分,a=1,b=2
4.在一个示例中,X=水平TT划分,a=1,b=2
5.在一个示例中,X=水平TT划分,a=1,b=4
6.在一个示例中,非划分色度块的维度可以等于(M*a)×(N*d)。
7.在一个示例中,可以将非划分色度块确定为MODE_TYPE_INTRA,并且可以仅对于该色度块允许帧内预测(和/或IBC和/或PLT模式)。
8.在一个示例中,对于该编解码树节点的亮度分量可以允许X划分,例如,可以将亮度编解码树节点进一步划分为多个亮度子节点,并且可以将每个亮度子节点确定为MODE_TYPE_INTER,同时可以仅允许帧间预测(和/或IBC模式)。
9.可替代地,色度分量可以与并置的亮度分量一起被进一步划分,但是模式类型可以等于MODE_TYPE_INTER,并且可以仅允许帧间预测(和/或IBC模式)。
ii.在一个示例中,CIIP中可以不允许M×N色度帧内块。
1.在一个示例中,对于亮度样点中维度等于(M*subWidthC)x(N*subHeightC)的编解码块,可以不允许CIIP。
a)当不允许CIIP时,相关联的语法元素(诸如CIIP标志)可能未编解码在比特流中。
2.在一个示例中,CIIP中的色度混合过程可以仅填充有来自帧间部分的预测。
a)在一个示例中,仅亮度帧内预测可以应用于CIIP编解码的块,而色度帧内预测可以不应用于在亮度样点中维度等于(M*subWidthC)x(N*subHeightC)的CIIP
编解码的块。
3.在一个示例中,DC预测可以用于CIIP块的M×N色度帧内预测,如项目符号34(a)中所述。
4.在一个示例中,CCLM预测可以用于CIIP块的M×N色度帧内预测,如项目符号34(b)中所述。
lesslessSizeY和maxCTB/maxTBsize/maxTS尺寸之间的关系35.对于无损(和/或接近无损编解码)和有损编解码,可以以不同的方式信令通知和/或推断最大变换尺寸。
a.在一个示例中,由于不涉及变换,因此无损和/或接近无损编解码的最大变换尺寸可以称为其它术语,诸如“最大残差尺寸”或“最大表示尺寸”。在本公开中,可以称为“maxLosslessTbSizeY”。
b.在一个示例中,块的无损编解码可以称为对于块等于1的cu_transquant_bypass_flag。
c.在一个示例中,块的接近无损编解码可以称为具有小于给定阈值的QP的编解码。
i.在一个示例中,可以在DPS/VPS/SPS/PPS/片/条带/砖块报头中指示阈值。
d.在一个示例中,块的接近无损编解码可以称为具有小于给定阈值的QP的编解码,并且对个该块transform_skip_flag等于1。
i.在一个示例中,可以在DPS/VPS/SPS/PPS/片/条带/砖块报头中指示阈值。
e.可以以可用于有损编解码的第二最大变换尺寸和/或最大编解码树单元尺寸和/或最大变换跳过尺寸为条件,设置无损和/或接近无损编解码的第一最大变换尺寸(例如,maxLosslessTbSizeY)。
f.可以在诸如SPS/VPS/PPS/子图片/条带/片/砖块/CTU/VPDU的语法元素(SE)的视频单元级别信令通知无损和/或接近无损编解码的最大变换尺寸。
i.在一个示例中,可以取决于最大CTB尺寸(例如,log2_ctu_size_minus5、CtbSizeY等)来信令通知SE。
1.例如,当log2_ctu_size_minus5大于N(诸如,N=0)时,可以信令通知标志。
ii.在一个示例中,可以取决于最大变换尺寸(例如,sps_max_luma_transform_size_64_flag、MaxTbSize等)来信令通知SE。
1.例如,当sps_max_luma_transform_size_64_flag等于M(诸如M=1)时,可以信令通知SE。
iii.在一个示例中,可以取决于最大变换跳过尺寸(例如,log2_transform_skip_max_size_minus2、MaxTsSize等)来信令通知SE。
1.例如,当log2_transform_skip_max_size_minus2大于K(诸如K=3)时,可以信令通知SE。
iv.在一个示例中,可以信令通知log(maxLosslessTbSizeY)和X之间的增量值。
1.例如,X可以等于log2_ctu_size_minus5
2.例如,X可以等于sps_max_luma_transform_size_64_flag
3.例如,X可以等于log2_transform_skip_max_size_minus2
4.例如,X可以等于固定整数。
5.在一个示例中,可以信令通知delta–K,其中K是整数,诸如1。
v.在一个示例中,可以信令通知maxLosslessTbSizeY和X之间的增量值。
1.例如,X可以等于CtbSizeY
2.例如,X可以等于MaxTbSize
3.例如,X可以等于MaxTsSize
4.例如,X可以等于固定整数。
5.在一个示例中,可以信令通知delta–K,其中K是整数,诸如1。
vi.在一个示例中,可以从SE导出视频单元(诸如序列/图片/子图片/条带/片/CTU/VPDU/CU/PU/TU)的maxLosslessTbSizeY。
vii.SE可以是标志。
viii.当标志不存在时,可以推断它等于正整数N。
g.在一个示例中,如果将无损和/或接近无损编解码应用于视频单元(诸如cu_transquant_bypass_flag等于1),则可以将视频单元的最大变换尺寸设置为等于maxLosslessTbSizeY,而不是maxTbSizeY。
h.可替代地,可以导出而不是信令通知视频单元(诸如,序列/图片/子图片/条带/片/CTU/VPDU/CU/PU/TU)的无损和/或接近无损编解码的最大变换尺寸。
i.例如,可以将其设置为等于固定整数值M(诸如在亮度样点中M=32)。
ii.例如,可以将其设置为等于可用于有损编解码的第二最大变换尺寸
iii.例如,可以将其设置为等于最大编解码树单元尺寸,
iv.例如,可以将其设置为等于VPDU尺寸,
v.例如,可以将其设置为等于最大变换跳过块尺寸。
vi.例如,可以将其设置为等于最大残差编解码块尺寸。
36.对于通过无损编解码(和/或接近无损编解码)的MxN残差块,取决于maxLosslessTbSizeY,可以拆分为多于一个较小残差子块。
a.拆分之后,所有子块的宽度和高度不大于maxLosslessTbSizeY。
b.在一个示例中,可以以递归的方式将它拆分为子块,直到所有子块的宽度和高度不大于maxLosslessTbSizeY。
5.实施例
新添加的部分以粗体和斜体突出显示,并且从VVC工作草案中删除的部分使用双括号标记(例如,[[a]]表示删除字符“a”)。修改基于最新的VVC工作草案(JVET-O2001-v11)
5.1示例实施例#1
以下实施例关于:对小块分割和预测模式的约束仅应用于4:2:0和4:4:4色度格式(不应用于4:0:0和4:4:4色度格式)。
7.4.9.4编解码树语义
变量modeTypeCondition导出如下:
–如果以下条件中的一个为真,则将modeTypeCondition设置为等于0
–slice_type==I,并且qtbtt_dual_tree_intra_flag等于1
–modeTypeCurr不等于MODE_TYPE_ALL
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1
–cbWidth*cbHeight等于64,并且split_qt_flag等于1
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–cbWidth*cbHeight等于32,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1+(slice_type!=I?1:0)
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–cbWidth*cbHeight等于128,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–否则,将modeTypeCondition设置为等于0
5.2示例实施例#2
以下实施例关于:调色板模式标志的信令通知不取决于modeType。
7.3.8.5编解码单元语法
/>
5.3示例实施例#3
以下实施例关于:取决于CU SKIP标志和modeType来推断IBC预测模式标志。
pred_mode_ibc_flag等于1指定当前编解码单元是以IBC预测模式下编解码的。pred_mode_ibc_flag等于0指定当前编解码单元不是以IBC预测模式编解码的。
当不存在pred_mode_ibc_flag时,推断如下:
–如果cu_skip_flag[x0][y0]等于1,并且cbWidth等于4,并且cbHeight等于4,则推断pred_mode_ibc_flag等于1。
–否则,如果cbWidth和cbHeight都等于128,则推断pred_mode_ibc_flag等于0。
–否则,如果modeType等于MODE_TYPE_INTER,则推断pred_mode_ibc_flag等于0。
–否则,如果treeType等于DUAL_TREE_CHROMA,则推断pred_mode_ibc_flag等于0。
–否则,分别在解码I条带时推断pred_mode_ibc_flag等于sps_ibc_enabled_flag的值,在解码P或B条带时推断pred_mode_ibc_flag等于0。
当pred_mode_ibc_flag等于1时,对于x=x0..x0+cbWidth–1并且y=y0..y0+cbHeight-1,将变量CuPredMode[chType][x][y]设置为等于MODE_IBC。
5.4示例实施例#4
以下实施例关于:IBC预测模式标志的信令通知取决于MODE_TYPE_INTRA,和/或对于亮度块允许IBC模式,而无论亮度块是否为小块尺寸。
7.3.8.5编解码单元语法
5.5示例实施例#5
以下实施例关于:对于4:2:0和4:2:2颜色格式应用不同的帧内块约束。
7.4.9.4编解码树语义
变量modeTypeCondition导出如下:
–如果以下条件中的一个为真,则将modeTypeCondition设置为等于0
–slice_type==I,并且qtbtt_dual_tree_intra_flag等于1
–modeTypeCurr不等于MODE_TYPE_ALL
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1
–cbWidth*cbHeight等于64,并且split_qt_flag等于1
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–cbWidth*cbHeight等于32,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1+(slice_type!=I?1:0)
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER,并且
–cbWidth*cbHeight等于128,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER,并且/>
–否则,将modeTypeCondition设置为等于0
5.6示例实施例#6
以下实施方式关于:在单树中禁止2×N色度帧内块。
7.4.9.4编解码树语义
变量modeTypeCondition导出如下:
–如果以下条件中的一个为真,则将modeTypeCondition设置为等于0
–slice_type==I,并且qtbtt_dual_tree_intra_flag等于1
–modeTypeCurr不等于MODE_TYPE_ALL
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1
–cbWidth*cbHeight等于64,并且split_qt_flag等于1
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–cbWidth*cbHeight等于32,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1+(slice_type!=I?1:0)
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–cbWidth*cbHeight等于128,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
/>
–否则,将modeTypeCondition设置为等于0
5.7示例实施例#7
以下实施例关于:在双树中禁止2×N色度帧内块。
6.4.2允许的二进制划分过程
变量allowBtSplit导出如下:
–如果以下条件中一个或多个为真,则将allowBtSplit设置为等于假:
–cbSize小于或等于MinBtSizeY
–cbWidth大于maxBtSize
–cbHeight大于maxBtSize
–mttDepth大于或等于maxMttDepth
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于16
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
6.4.3允许的三元划分过程
变量allowTtSplit导出如下:
–如果以下条件中的一个或多个为真,则将allowTtSplit设置为等于假:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于32
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
–否则,将allowTtSplit设置为等于真。
5.8示例实施例#8
以下实施例关于:对于SCIPU色度块启用MODE_IBC。
7.3.8.5编解码单元语法
/>
5.9示例实施例#9,当modeType为MODE_TYPE_INTER时禁止块分割(解决方案1)
6.4.2允许的二进制划分过程
变量allowBtSplit导出如下:
–如果以下条件中一个或多个为真,则将allowBtSplit设置为等于假:
–cbSize小于或等于MinBtSizeY
–cbWidth大于maxBtSize
–cbHeight大于maxBtSize
–mttDepth大于或等于maxMttDepth
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于16
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
6.4.3允许的三元划分过程
变量allowTtSplit导出如下:
–如果以下条件中的一个或多个为真,则将allowTtSplit设置为等于假:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于32
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
–否则,将allowTtSplit设置为等于真。
5.10示例实施例#10,当modeType为MODE_TYPE_INTER时禁止块分割(解决方案2)
6.4.2允许的二进制划分过程
变量allowBtSplit导出如下:
–如果以下条件中一个或多个为真,则将allowBtSplit设置为等于假:
–cbSize小于或等于MinBtSizeY
–cbWidth大于maxBtSize
–cbHeight大于maxBtSize
–mttDepth大于或等于maxMttDepth
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于16
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
6.4.3允许的三元划分过程
变量allowTtSplit导出如下:
–如果以下条件中的一个或多个为真,则将allowTtSplit设置为等于假:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于32
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
–否则,将allowTtSplit设置为等于真。
5.11示例实施例#11
以下实施例是关于当导出MODE_TYPE_INTER时对编解码树的进一步分割的约束。
7.3.8.4编解码树语法
5.12示例实施例#12
以下实施例是关于小块分割的约束,并且当启用调色板模式时不应用预测模式。
7.4.9.4编解码树语义
变量modeTypeCondition导出如下:
–如果以下条件中的一个为真,则将modeTypeCondition设置为等于0
–slice_type==I,并且qtbtt_dual_tree_intra_flag等于1
–modeTypeCurr不等于MODE_TYPE_ALL
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1
–cbWidth*cbHeight等于64,并且split_qt_flag等于1
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–cbWidth*cbHeight等于32,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1+(slice_type!=I?1:0)
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–cbWidth*cbHeight等于128,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–否则,将modeTypeCondition设置为等于0
5.13示例实施例#13
以下实施例是关于4:2:2颜色格式的小色度帧内块约束。
7.4.9.4编解码树语义
变量modeTypeCondition导出如下:
–如果以下条件中的一个为真,则将modeTypeCondition设置为等于0
–slice_type==I,并且qtbtt_dual_tree_intra_flag等于1
–modeTypeCurr不等于MODE_TYPE_ALL
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1
–cbWidth*cbHeight等于64,并且split_qt_flag等于1
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–cbWidth*cbHeight等于32,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–否则,如果并且以下条件中的一个为真,则将modeTypeCondition设置为等于1+(slice_type!=I?1:0)
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–cbWidth*cbHeight等于128,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–否则,将modeTypeCondition设置为等于0
5.14SCIPU中的增量QP信令通知的示例#1
/>
/>
5.15SCIPU中的增量QP信令通知的示例#2
/>
/>
5.16SCIPU中的增量QP信令通知的示例#3
/>
/>
5.17SCIPU中的增量QP信令通知的示例#4
/>
/>
5.18禁用2x8色度帧内块的示例#14
6.4.2允许的二进制划分过程
变量allowBtSplit导出如下:
–如果以下条件中一个或多个为真,则将allowBtSplit设置为等于假:–cbSize小于或等于MinBtSizeY
–cbWidth大于maxBtSize
–cbHeight大于maxBtSize
–mttDepth大于或等于maxMttDepth
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于16
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
6.4.3允许的三元划分过程
变量allowTtSplit导出如下:
–如果以下条件中的一个或多个为真,则将allowTtSplit设置为等于假:
–cbSize小于或等于2*MinTtSizeY
–cbWidth大于Min(MaxTbSizeY,maxTtSize)
–cbHeight大于Min(MaxTbSizeY,maxTtSize)
–mttDepth大于或等于maxMttDepth
–x0+cbWidth大于pic_width_in_luma_samples
–y0+cbHeight大于pic_height_in_luma_samples
–treeType等于DUAL_TREE_CHROMA,并且(cbWidth/SubWidthC)*(cbHeight/SubHeightC)小于或等于32
–treeType等于DUAL_TREE_CHROMA,并且modeType等于MODE_TYPE_INTRA
–否则,将allowTtSplit设置为等于真。
7.4.9.4编解码树语义
变量modeTypeCondition导出如下:
–如果以下条件中的一个为真,则将modeTypeCondition设置为等于0
–slice_type==I,并且qtbtt_dual_tree_intra_flag等于1
–modeTypeCurr不等于MODE_TYPE_ALL
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1
–cbWidth*cbHeight等于64,并且split_qt_flag等于1
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–cbWidth*cbHeight等于32,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–否则,如果以下条件中的一个为真,则将modeTypeCondition设置为等于1+(slice_type!=I?1:0)
–cbWidth*cbHeight等于64,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_BT_HOR或SPLIT_BT_VER
–cbWidth*cbHeight等于128,并且MttSplitMode[x0][y0][mttDepth]等于SPLIT_TT_HOR或SPLIT_TT_VER
–否则,将modeTypeCondition设置为等于0
7.4.9.7Merge数据语义
ciip_flag[x0][y0]指定是否将组合的帧间图片Merge和帧内图片预测应用于当前编解码单元。数组索引x0、y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0,y0)。
当不存在ciip_flag[x0][y0]时,推断如下:
–如果以下所有条件为真,则推断ciip_flag[x0][y0]等于1:
–sps_ciip_enabled_flag等于1。
–general_merge_flag[x0][y0]等于1。
–merge_subblock_flag[x0][y0]等于0。
–regular_merge_flag[x0][y0]等于0。
–cbWidth小于128。
–cbHeight小于128。
–cbWidth*cbHeight大于或等于64。
–否则,推断ciip_flag[x0][y0]等于0。
7.3.8.7Merge数据语法
图17A是视频处理装置1700的框图。装置1700可以用于实现一个或多个本文所述的方法。装置1700可以实施在智能电话、平板计算机、计算机、物联网(IoT)接收器等中。装置1700可以包括一个或多个处理器1702,一个或多个存储器1704和视频处理硬件1706。(一个或多个)处理器1702可以被配置为实现本文档中描述的一个或多个方法。(一个或多个)存储器1704可以用于储存用于实现本文描述的方法和技术的数据和代码。视频处理硬件1706可以用于以硬件电路实现本文档中描述的一些技术。
图17B是可以实现所公开的技术的视频处理系统的框图的另一示例。图17B是示出可以实现本文中所公开的各种技术的示例视频处理系统1710的框图。各种实现方式可以包括系统1710的一些或所有组件。系统1710可以包括用于接收视频内容的输入1712。视频内容可以以原始或未压缩的格式(例如8或10比特多分量像素值)接收,或者可以以压缩或编码的格式接收。输入1712可以表示网络接口、外围总线接口或储存接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统1710可以包括编解码组件1714,其可以实现本文档中描述的各种编解码或编码方法。编解码组件1714可以将来自输入1712的视频的平均比特率降低到编解码组件1714的输出,以产生视频的编解码表示。因此,编解码技术有时称为视频压缩或视频转码技术。如组件1716所表示的,编解码组件1714的输出可以被储存或经由所连接的通信来发射。在输入1712处接收的视频的储存或传送的比特流(或编解码)表示可以由组件1718使用,以生成像素值或可显示视频,该像素值或可显示视频被发送到显示接口1720。从比特流表示中生成用户可见视频的过程有时称为视频解压缩。此外,虽然某些视频处理操作称为“编解码”操作或工具,但是应当理解,在编码器处使用编解码工具或操作,并且将使编解码结果相反的对应解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口(Displayport)等。储存接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以实施在各种电子设备中,诸如移动电话、膝上型计算机、智能电话或其它能够执行数字数据处理和/或视频显示的设备。
图22是图示可以利用本公开的技术的示例视频编解码系统100的框图。
如图22所示,视频编解码系统100可以包括源设备110和目标设备120。源设备110生成编码视频数据,该源设备110可以称为视频编码设备。目标设备120可以对由源设备110生成的编码视频数据进行解码,该目标设备120可以称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备的源,从视频内容提供商接收视频数据的接口和/或用于生成视频数据的计算机图形系统,或者这些源的组合。视频数据可以包括一个或多个图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的比特序列。比特流可以包括编解码图片和相关联的数据。编解码图片是图片的编解码表示。相关联的数据可以包括序列参数集合、图片参数集合和其它语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射机。编码的视频数据可以通过网络130a经由I/O接口116直接发射到目标设备120。编码视频数据也可以储存在储存介质/服务器130b上,以供目标设备120访问。
目标设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收机和/或调制解调器。I/O接口126可以从源设备110或储存介质/服务器130b获得编码视频数据。视频解码器124可以对编码视频数据进行解码。显示设备122可以将解码视频数据显示给用户。显示设备122可以与目标设备120集成在一起,或者可以在被配置为与外部显示设备接口的目标设备120外部。
视频编码器114和视频解码器124可以根据诸如高效视频编解码(HEVC)标准、通用视频编解码(VVC)标准和其它当前和/或将来标准的视频压缩标准来操作。
图23是图示视频编码器200的示例的框图,视频编码器200可以是图22所示的系统100中的视频编码器114。
视频编码器200可以被配置为执行本公开的任何或所有技术。在图9的示例中,视频编码器200包括多个功能组件。本公开中描述的技术可以在视频编码器200的各个组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分割单元201,可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206的预测单元202,残差生成单元207,变换单元208,量化单元209,逆量化单元210,逆变换单元211,重建单元212,缓冲器213和熵编码单元214。
在其它示例中,视频编码器200可以包括更多、更少或不同的功能组件。在一个示例中,预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测,其中至少一个参考图片是当前视频块位于的图片。
此外,诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成,但是为了解释的目的,在图5的示例中分开表示。
分割单元201可以将图片分割为一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块尺寸。
模式选择单元203可以例如基于错误结果而选择帧内或帧间编解码模式之一,并将所得到的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据,并且将所得到的帧内或帧间编解码块提供给重建单元212以重建编码块从而用作参考图片。在一些示例中,模式选择单元203可以选择帧间和帧间预测(CIIP)模式的组合,其中,预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下,模式选择单元203还可为该块选择运动矢量的分辨率(例如,子像素或整数像素精度)。
为了对当前视频块执行帧间预测,运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于运动信息和来自缓冲器213的除与当前视频块相关联的图片之外的图片的解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以例如取决于当前视频块是I条带、P条带还是B条带来对当前视频块执行不同的操作。
在一些示例中,运动估计单元204可以对当前视频块执行单向预测,并且运动估计单元204可以在列表0或列表1的参考图片中搜索当前视频块的参考视频块。然后,运动估计单元204可以生成指示列表0或列表1中的参考图片的参考索引,该列表0或列表1包含参考视频块以及指示当前视频块和参考视频块之间的空域位移的运动矢量。运动估计单元204可以输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其它示例中,运动估计单元204可以对当前视频块执行双向预测,运动估计单元204可以在列表0中的参考图片中搜索当前视频块的参考视频块,并且还可以在列表1的参考图片中搜索当前视频块的另一参考视频块。然后,运动估计单元204可以生成指示列表0和列表1中的参考图片的参考索引,该列表0和列表1包含参考视频块以及指示参考视频块和当前视频块之间的空域位移的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中,运动估计单元204可以输出运动信息的完整集合以用于解码器的解码过程。
在一些实例中,运动估计单元204可以不输出当前视频的运动信息的完整集合。而是,运动估计单元204可以参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如,运动估计单元204可以确定当前视频块的运动信息与邻近视频块的运动信息充分相似。
在一个示例中,运动估计单元204可以在与当前视频块相关联的语法结构中指示向视频解码器300指示当前视频块具有与另一视频块相同的运动信息的值。
在另一示例中,运动估计单元204可以在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(MVD)。运动矢量差指示当前视频块的运动矢量和指示的视频块的运动矢量之间的差。视频解码器300可以使用指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上所述,视频编码器200可以预测性地信令通知运动矢量。可以由视频编码器200实现的预测性信令通知技术的两个示例包括高级运动矢量预测(AMVP)和Merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时,帧内预测单元206可以基于相同图片中其它视频块的解码样点来生成针对当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可以通过从当前视频块中减去(例如,由负号指示)当前视频块的(一个或多个)预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括对应于当前视频块中的样点的不同样点分量的残差视频块。
在其它示例中,对于当前视频块,例如在跳过模式下,可能不存在当前视频块的残差数据,并且残差生成单元207可以不执行减去操作。
变换处理单元208可以通过将一个或多个变换应用于与当前视频块相关联的残差视频块来为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后,量化单元209可以基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别将逆量化和逆变换应用于变换系数视频块,以从变换系数视频块重建残差视频块。重建单元212可以将重建的残差视频块添加到由预测单元202生成的一个或多个预测视频块的对应样点中,以产生与当前块相关联的重建的视频块,以储存在缓冲器213中。
在重建单元212重建视频块之后,可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其它功能组件接收数据。当熵编码单元214接收数据时,熵编码单元214可以执行一个或多个熵编码操作以生成熵编码的数据并输出包括熵编解码的数据的比特流。
图24是图示视频解码器300的示例的框图,视频解码器300可以是图22所示的系统100中的视频解码器114。
视频解码器300可以被配置为执行本公开的任何或所有技术。在图24的示例中,视频解码器300包括多个功能组件。本公开中描述的技术可以在视频解码器300的各个组件之间共享。在一些示例中,处理器可以被配置为执行本公开中描述的任何或所有技术。
在图24的示例中,视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305以及重建单元306和缓冲器307。在一些示例中,视频解码器300可以执行一般与相对于视频编码器200(例如,图23)描述的编解码遍历相反的解码遍历。
熵解码单元301可以检索编码的比特流。编码的比特流可以包括熵编解码的视频数据(例如,视频数据的编码的块)。熵解码单元301可以对熵编解码的视频数据进行解码,并且运动补偿单元302可以从熵解码的视频数据中确定包括运动矢量、运动矢量精度、参考图片列表索引和其它运动信息的运动信息。运动补偿单元302可以例如通过执行AMVP和Merge模式来确定这样的信息。
运动补偿单元302可以产生运动补偿块,可能基于插值滤波器执行插值。语法元素中可以包括要与子像素精度一起使用的插值滤波器的标识符。
运动补偿单元302可以使用在视频块的编码期间由视频编码器20使用的插值滤波器,以计算参考块的子整数像素的插值。运动补偿单元302可根据接收到的语法信息确定由视频编码器200使用的插值滤波器,并使用插值滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码的视频序列的(一个或多个)帧和/或(一个或多个)条带进行编码的块的尺寸,描述如何对编码视频序列的图片的每个宏块进行分割的分割信息,指示如何对每个分割进行编码的模式,每个帧间编码块的一个或多个参考帧(和参考帧列表),以及用于解码编码的视频序列的其它信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式,以从空域上相邻的块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化的视频块系数进行逆量化,即,去量化。逆变换单元303应用逆变换。
重建单元306可以将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块加和,以形成解码的块。如果需要,还可以应用去块滤波器来对解码的块进行滤波,以移除块状伪影。然后,将解码的视频块储存在缓冲器307中,该缓冲器307为后续的运动补偿提供参考块。
图18是用于处理视频的方法1800的流程图。方法1800包括:1802,对于视频的视频区域与视频区域的编解码表示之间的转换,根据语法规则解析编解码表示,该语法规则定义色度块尺寸和视频区域的颜色格式之间的关系;1804,通过根据语法规则执行解析来进行转换。
所公开技术的一些实施例包括做出决定或确定以启用视频处理工具或模式。在一个示例中,当启用视频处理工具或模式时,编码器将在视频块的处理中使用或实现该工具或模式,但是不一定基于工具或模式的使用来修改所得到的比特流。换言之,当基于决定或确定而启用视频处理工具或模式时,从视频块到视频的比特流表示的转换将使用视频处理工具或模式。在另一示例中,当启用视频处理工具或模式时,解码器将在知道比特流已经基于视频处理工具或模式被修改的情况下处理比特流。换言之,从视频的比特流表示到视频块的转换将使用基于决定或确定而启用的视频处理工具或模式来执行。
所公开技术的一些实施例包括做出决定或确定以禁用视频处理工具或模式。在一个示例中,当禁用视频处理工具或模式时,编码器将在视频块和视频的比特流表示之间不使用该工具或模式。在另一示例中,当禁用视频处理工具或模式时,解码器将在知道比特流没有使用基于决定或确定而禁用的视频处理工具或模式被修改的情况下处理比特流。
在本文档中,术语“视频处理”可以指代视频编码、视频解码、视频压缩或视频解压缩。例如,可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法,反之亦然。如语法所定义,当前视频块的比特流表示可以例如对应于位于比特流内的不同位置中并置或散布的比特。例如,可以根据变换和编解码的误差残差值并且还使用报头中的比特和比特流中的其它字段来对宏块进行编码。
以下条款可以被实现为所公开技术的示例实现方式。条款的第一集合可以包括以下关于在先前章节的项目1中所描述的技术的条款。
1.一种视频处理的方法,包括:对于视频的视频区域与所述视频区域的编解码表示之间的转换,根据语法规则解析所述编解码表示,所述语法规则定义色度块尺寸与所述视频区域的颜色格式之间的关系;以及通过根据所述语法规则执行所述解析来执行所述转换。
2.根据条款1所述的方法,其中,所述颜色格式为4:4:4,并且其中所述语法规则指定,所述色度块受到与亮度块的尺寸约束相同的尺寸约束。
3.根据条款1所述的方法,其中,所述颜色格式为4:2:2,并且其中所述语法规则指定,所述色度块受到与4:2:0颜色格式的尺寸约束相同的尺寸约束。
4.根据条款1-3中任一项所述的方法,其中,所述语法指定以取决于色度格式的方式使用预测模式和小块分割。
5.根据条款1所述的方法,其中,所述语法规则定义基于所述视频区域的颜色格式对于所述视频区域的转换启用最小允许尺寸特征。
以下条款可以与在先前章节的项目2中所描述的附加技术一起实现。
6.一种视频处理的方法,包括:基于视频的属性和所述视频的色度格式,确定所述视频的编解码树节点的编解码模式;以及使用所确定的编解码模式执行在所述视频的编解码表示与所述编解码树节点的视频块之间的转换。
7.根据条款6所述的方法,其中,在所述属性为以下的情况下,对于所述色度格式为4:2:2,所述编解码模式被确定为MODE_TYPE_ALL,对于所述色度格式为4:2:0,所述编解码模式被确定为MODE_TYPE_INTRA或MODE_TYPE_INTER:
i.所述编解码节点是具有水平二叉树划分的MxN编解码树节点;
ii.所述编解码节点是具有垂直二叉树划分的MxN编解码树节点;
iii.所述编解码节点是具有水平三叉树划分的MxN编解码树节点;或者
iv.所述编解码节点是具有垂直三叉树划分的MxN编解码树节点。
8.根据条款7所述的方法,其中,M=8或16或32,并且N=4或8或16。
以下条款可以与先前章节的项目12中所描述的附加技术一起实现。
9.一种视频处理的方法,包括:基于规则确定在视频的视频区域中是否允许特定尺寸的色度块;以及基于所述确定来执行在所述视频区域与所述视频区域的编解码表示之间的转换。
10.根据条款9所述的方法,其中,所述规则指定,由于所述视频区域包括双树分割而禁止2xN色度块。
11.根据条款9所述的方法,其中,所述规则指定,由于所述视频区域包括单树分割而禁止2N色度块。
12.根据条款10或11所述的方法,其中,N≤64。
以下条款可以与先前章节的项目13、14和15中所描述的附加技术一起实现。
13.一种视频处理的方法,包括:基于规则确定对于视频区域准许编解码模式,所述规则允许对于视频条件使用编解码模式;以及基于所述确定来执行在所述视频区域中的像素的编解码表示与所述视频区域的像素之间的转换。
14.根据条款13所述的方法,其中,所述视频条件是块尺寸,并且其中所述规则允许对于小块尺寸亮度块使用帧内块复制模式。
15.根据条款14所述的方法,其中,所述小块尺寸包括8x4、8x8、16x4或4xN亮度块尺寸。
16.根据条款13所述的方法,其中,所述规则允许对于使用MODE_TYPE_INTER模式进行编解码的所述视频区域的转换使用帧内块复制模式。
17.根据条款13所述的方法,其中,所述规则允许对于使用MODE_TYPE_INTER模式进行编解码的所述视频区域的转换使用调色板编解码模式。
以下条款可以与先前章节的项目16、17和18中所描述的附加技术一起实现。
18.一种视频处理的方法,包括:使用视频编解码模式执行在视频的视频块与所述视频块的编解码表示之间的转换,其中,基于规则将信令通知所述编解码模式的语法元素选择性地包括在所述编解码表示中。
19.根据条款18所述的方法,其中,所述视频编解码模式是帧内块编解码模式,并且其中所述规则指定,使用所述视频编解码模式的类型来控制所述语法元素包括在所述编解码表示中。
20.根据条款19所述的方法,其中,所述规则指定,显式信令通知非SKIP块。
21.根据条款18所述的方法,其中,所述规则指定,基于跳过标志和所述视频块的模式类型隐式信令通知帧内块复制标志。
22.根据条款18所述的方法,其中,所述编解码模式是调色板编解码模式,并且其中所述规则指定,基于所述视频块的模式类型选择性地包括调色板编解码指示符。
以下条款可以与先前章节的项目21中所描述的附加技术一起实现。
23.一种视频处理的方法,包括:由于色度块具有小于阈值尺寸的尺寸,确定在所述色度块与所述色度块的编解码表示之间的转换期间使用的变换类型与用于对应的亮度块转换的变换类型不同;以及基于所述确定来执行所述转换。
24.根据条款23所述的方法,其中,所述阈值尺寸为MxN,其中M是2。
以下条款可以与先前章节的项目22中所描述的附加技术一起实现。
25.根据条款1至24中任一项所述的方法,其中,所述转换使用组合的帧间和帧内预测模式作为MODE_TYPE_INTRA模式。
26.根据条款18至22中任一项所述的方法,其中,所述转换使用组合的帧间和帧内预测模式作为MODE_TYPE_INTER模式。例如,当将CIIP视为MODE_TYPE_INTER时,可以应用先前章节的项目14-17中所描述的方法。或者,当应用项目14-16中所描述的方法时,CIIP可以被视为MODE_TYPE_INTER。
以下条款可以与先前章节的项目3-6中所描述的附加技术一起实现。
27.一种视频处理的方法,包括:基于视频区域的编解码条件,确定在所述视频区域的编解码表示与所述视频区域的像素值之间的转换期间是否实行最小色度块规则;以及基于所述确定来执行所述转换。
28.根据条款17所述的方法,其中,所述编解码条件包括所述视频区域的颜色格式。
29.根据条款18所述的方法,其中,所述视频区域具有M个像素的宽度和N个像素的高度,并且其中所述编解码条件还取决于M和/或N的值。
30.根据条款29所述的方法,其中,由于所述视频区域具有4:2:2的颜色格式并且M*N=32或M*N=64,启用所述最小色度块规则。
以下条款可以与先前章节的项目7-11中所描述的附加技术一起实现。
31.一种视频处理的方法,包括:对于4:2:2格式的视频区域的编解码表示与所述视频区域的像素值之间的转换,基于对于所述视频区域是否启用最小色度块规则,确定将用于所述转换的模式类型;以及基于所述确定来执行所述转换。
32.根据条款31所述的方法,其中,由于所述视频区域具有4:2:2格式并且启用所述最小色度块规则,将所述视频区域的模式类型设置为1。
33.根据条款31所述的方法,其中,确定所述模式类型包括:由于对于所述视频区域启用所述最小色度块规则,将所述模式类型确定为INTRA类型。
34.根据条款31所述的方法,其中,确定所述模式类型包括:由于对于所述视频区域启用所述最小色度块规则,确定禁用所述模式类型INTER。
以下条款可以与先前章节的项目7-11中所描述的附加技术一起实现。
35.一种视频处理的方法,包括:对于视频块的编解码表示与视频的视频块之间的转换,基于在所述转换期间使用的模式类型或所述视频块的维度,确定在所述转换期间是否允许块分割;以及使用所述确定来执行所述转换。
36.根据条款35所述的方法,其中,所述块分割包括二叉树分割或三叉树分割。
37.根据条款35-36中的任一项所述的方法,其中,如果所述模式类型是INTER模式,则所述块分割基于允许或禁止分割类型的限制规则。
以下条款可以与先前章节的项目34中所描述的附加技术一起实现。
38.一种视频处理的方法,包括:对于视频的视频段的编解码表示与所述视频段之间的转换,确定对于尺寸为MxN的色度块应用特殊处理模式,其中M乘N是整数;以及基于所述确定来执行所述转换。
39.根据条款38所述的方法,其中,所述特殊处理模式在所述转换期间禁用色度块的使用。
40.根据条款38所述的方法,其中,所述特殊处理模式将DC预测用于所述色度块的帧内预测。
41.根据条款38所述的方法,其中,所述特殊处理模式包括使用跨分量线性模型,用于从对应的下采样亮度系数中预测所述色度块的帧内系数。
42.根据条款38-41中任一项所述的方法,其中,由于所述视频段使用双树分割,所述特殊处理模式禁用所述色度块的使用。
43.根据条款38-41中任一项所述的方法,其中,由于所述视频段使用单树分割,所述特殊处理模式禁用所述色度块的使用。
44.根据条款1至43中任一项所述的方法,其中,所述转换包括将所述视频编码为所述编解码表示。
45.根据条款1至43中任一项所述的方法,其中,所述转换包括解码所述编解码表示以生成所述视频的像素值。
46.一种视频解码装置,包括处理器,所述处理器被配置为实现条款1至45中的一项或多项所述的方法。
47.一种视频编码装置,包括处理器,所述处理器被配置为实现条款1至45中的一项或多项所述的方法。
48.一种其上存储有计算机代码的计算机程序产品,所述代码在由处理器执行时使得所述处理器实现条款1至45中任一项所述的方法。
49.本文档中描述的方法、装置或系统。
条款的第二集合可以与先前章节的项目34-36中所描述的附加技术一起实现。
1.一种视频处理的方法(例如,图21中所示的方法2100),包括:2102,根据规则,执行视频的视频图片的视频区域的色度块与所述视频的编解码表示之间的转换;其中,所述规则指定,由于所述色度块的尺寸为MxN,禁止使用帧内编解码模式在所述编解码表示中表示所述色度块,其中M和N是分别指示所述色度块的宽度和高度的整数,并且其中所述帧内编解码模式包括基于所述视频图片的先前编解码的视频区域对所述色度块进行编解码。
2.根据条款1所述的方法,其中,所述规则还指定,DC预测模式用于所述色度块,并且其中所述DC预测模式基于所述色度块的邻近块的平均来导出色度分量的预测值。
3.根据条款1所述的方法,其中,所述规则还指定,跨分量线性模型(CCLM)预测模式用于所述色度块,其中所述CCLM预测模式使用线性模式来从另一分量导出色度分量的预测值。
4.根据条款2或3所述的方法,其中,M=2个色度样点且N=8、16或32个色度样点。
5.根据条款2或3所述的方法,其中,所述规则还指定,重建的邻近像素不用于所述DC预测模式或所述CCLM预测模式。
6.根据条款2所述的方法,其中,所述规则还指定,对于所述DC预测模式,将邻近参考像素设置为等于1<<(bitDepth-1)。
7.根据条款2或3所述的方法,其中,所述规则还指定,位置相关帧内预测组合(PDPC)方法不应用于所述DC预测模式或所述CCLM预测模式,并且其中所述PDPC方法将邻近样点与所述视频区域的预测信号组合,以生成所述视频区域的细化的预测信号。
8.根据条款2或3所述的方法,其中,所述规则还指定,关于所述DC预测模式或所述CCLM预测模式的信息被导出而无需对于所述色度块进行编解码。
9.根据条款8所述的方法,其中,所述规则还指定,对于满足predC=a*recL+b的所述CCLM预测模式,从亮度重建值recL导出色度预测值predC,并且在所述视频区域的开始将参数a和b初始化为默认固定值。
10.根据条款9所述的方法,其中,维护先进先出表以更新所述参数a和b。
11.根据条款1至10中任一项所述的方法,其中,将所述规则应用于另一色度块,所述另一色度块使用所述CCLM预测进行编解码并且宽度不等于M或者高度不等于N。
12.根据条款11所述的方法,其中,先前编解码的视频区域的CCLM参数用于所述视频区域,而不是基于所述视频区域的邻近块的重建信息导出。
13.根据条款11所述的方法,其中,所述CCLM参数储存在表中,并且使用先进先出表进行更新。
14.一种视频处理的方法,包括:根据规则,执行视频的视频图片的视频区域的色度块与所述视频的编解码表示之间的转换;其中,所述规则指定,如果使用双树分割,则禁止使用帧内编解码模式在所述编解码表示中表示尺寸为MxN的所述色度块,其中M和N是分别指示所述色度块的宽度和高度的整数,并且其中所述帧内编解码模式包括基于所述视频图片的先前编解码的视频区域对所述色度块进行编解码。
15.根据条款14所述的方法,其中,M=2个色度样点且N=8、16或32个色度样点。
16.根据条款14所述的方法,其中,所述规则还指定,由于所述双树分割,对于所述视频区域禁用特定分割方案,所述视频区域是维度等于(M*a)x(N*b)的编解码树节点,其中M*a是所述编解码树节点的宽度上的色度样点的数目,N*b是所述编解码树节点的高度上的色度样点的数目。
17.根据条款16所述的方法,其中,所述特定分割方案是垂直二叉树(BT)划分,其中所述视频区域沿垂直方向被划分为两部分,并且其中a=2且b=1。
18.根据条款16所述的方法,其中,所述特定分割方案是水平二叉树(BT)划分,其中所述视频区域沿水平方向被划分为两部分,并且其中a=1且b=2。
19.根据条款16所述的方法,其中,所述特定分割方案是垂直三叉树(TT)划分,其中所述视频区域沿垂直方向被划分为三部分,并且其中a=4且b=1。
20.根据条款16所述的方法,其中,所述特定分割方案是水平三叉树(TT)划分,其中所述视频区域沿水平方向被划分为三部分,并且其中a=1且b=4。
21.一种视频处理的方法,包括:
根据规则,执行视频的视频图片的视频区域的色度块与所述视频的编解码表示之间的转换;
其中,所述规则指定,如果使用单树分割,禁止使用帧内编解码模式在所述编解码表示中表示尺寸为MxN的所述色度块,其中M和N是分别指示所述色度块的宽度和高度的整数,并且
其中,所述帧内编解码模式包括基于所述视频图片的先前编解码的视频区域对所述色度块进行编解码。
22.根据条款21所述的方法,其中,M=2个色度样点且N=8、16或32个色度样点。
23.根据条款21或22所述的方法,其中,所述规则还指定,由于所述单树分割,对于所述视频区域的色度分量禁用特定分割方案,所述视频区域是维度等于(M*a*subWidthC)x(N*b*subHeightC)的编解码树节点,其中M*a是所述编解码树节点的宽度上的亮度样点的数目,并且N*b是所述编解码树节点的高度上的亮度样点的数目,并且subWidthC和subHeightC分别指示宽度和高度维度上的色度子采样率。
24.根据条款23所述的方法,其中,所述特定分割方案是垂直二叉树(BT)划分,其中所述视频区域沿垂直方向被划分为两部分,并且其中a=2且b=1。
25.根据条款23所述的方法,其中,所述特定分割方案是垂直三叉树(TT)划分,其中所述视频区域沿垂直方向被划分为三部分,并且其中a=4且b=1。
26.根据条款23所述的方法,其中,所述特定分割方案是水平二叉树(BT)划分,其中所述视频区域沿水平方向被划分为两部分,并且其中a=1且b=2。
27.根据条款23所述的方法,其中,所述特定分割方案是水平三叉树(TT)划分,其中所述视频区域沿水平方向被划分为三部分,并且其中a=1且b=2。
28.根据条款23所述的方法,其中,所述特定分割方案是水平三叉树(TT)划分,其中所述视频区域沿水平方向被划分为三部分,并且其中a=1且b=4。
29.根据条款23所述的方法,其中,所述色度块的维度等于(M*a)x(N*d)。
30.根据条款23所述的方法,其中,所述色度块的编解码类型是MODE_TYPE_INTRA,所述MODE_TYPE_INTRA允许对于所述转换使用帧内模式、调色板模式和帧内块复制模式。
31.根据条款23所述的方法,其中,所述规则还指定,对于所述编解码树节点的亮度分量允许所述特定分割方案。
32.根据条款31所述的方法,其中,所述编解码树节点被划分为子节点,并且对于子节点允许帧间模式和/或帧内块复制模式。
33.根据条款22所述的方法,其中,所述规则还指定,沿并置的亮度分量划分色度分量,并且对于所述色度分量允许帧间模式和/或帧内块复制模式。
34.一种视频处理的方法,包括:根据规则,执行视频的视频区域的色度块与所述视频的编解码表示之间的转换;其中,所述规则指定,禁止使用组合的帧间和帧内预测(CIIP)模式在所述编解码表示中表示尺寸为MxN的所述色度块,所述组合的帧间和帧内预测(CIIP)模式将帧间预测与帧内预测组合,其中M和N是分别指示所述色度块的宽度和高度的整数。
35.根据条款34所述的方法,其中,所述规则还指定,对于所述视频区域的色度分量不允许所述CIIP模式,所述视频区域是维度等于(M*subWidthC)x(N*subHeightC)的编解码树节点,其中subWidthC和subHeightC分别指示宽度和高度维度上的色度子采样率。
36.根据条款34所述的方法,其中,如果使用所述CIIP模式对所述视频区域进行编解码,则执行所述转换包括色度混合过程,所述色度混合过程通过使用所述帧间预测来混合所述色度块的预测,从而确定所述色度块的色度预测块。
37.根据条款36所述的方法,其中,所述规则还指定,亮度帧内预测应用于所述视频区域并且色度帧内预测不应用于维度等于(M*subWidthC)X(N*subHeightC)的所述视频区域,其中subWidthC和subHeightC分别指示宽度和高度维度上的色度子采样率。
38.根据条款34所述的方法,其中,所述规则还指定,如果使用所述CIIP模式对所述视频区域进行编解码,则DC预测用于尺寸为M×N的所述色度块。
39.根据条款34所述的方法,其中,所述规则还指定,如果使用所述CIIP模式对所述视频区域进行编解码,则CCLM预测用于尺寸为M×N的所述色度块,所述CCLM预测使用线性模式从另一分量导出色度分量的预测值。
40.一种视频处理的方法,包括:根据规则,执行视频的视频区域与所述视频的编解码表示之间的转换,其中,所述规则指定,是否以及如何信令通知适用于所述视频区域的最大变换尺寸取决于用于在所述编解码表示中表示所述视频区域的编解码模式类型,其中所述编解码模式类型是(i)接近无损编解码模式,其中应用于所述视频区域的量化参数(QP)小于阈值,(ii)无损编解码模式,其中旁路所述视频区域的残差数据的变换,或(iii)有损编解码模式,其中跳过所述视频区域的残差数据的变换。
41.根据条款40所述的方法,其中,所述规则还指定,所述无损编解码模式和/或所述接近无损编解码模式的最大变换尺寸等于maxLosslessTbSizeY。
42.根据条款40所述的方法,其中,使用语法元素cu_transquant_bypass_flag在编解码单元级别信令通知所述无损编解码模式。
43.根据条款40所述的方法,其中,在解码器参数集(DPS)、视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、片、条带或砖块报头中信令通知所述阈值。
44.根据条款40所述的方法,其中,对于所述视频区域的接近无损编解码模式transform_skip_flag等于1。
45.根据条款40所述的方法,其中,所述规则还指定,基于以下来设置所述视频区域的无损编解码模式和/或接近无损编解码模式的第一最大变换尺寸:i)用于所述有损编解码模式的另一最大变换尺寸,ii)最大编解码树单元尺寸,和/或iii)最大变换跳过尺寸。
46.根据条款40所述的方法,其中,在对应于在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、子图片、条带、片、砖块、编解码树单元(CTU)或虚拟管线数据单元(VPDU)处的语法元素(SE)的视频单元级别处信令通知所述视频区域的无损编解码模式或接近无损编解码模式的最大变换尺寸。
47.根据条款46所述的方法,其中,取决于最大编解码树块(CTB)尺寸、所述最大变换尺寸和/或最大变换跳过尺寸信令通知所述SE。
48.根据条款47所述的方法,其中,如果log2_ctu_size_minus5大于N,其中N是整数,则信令通知所述SE。
49.根据条款47所述的方法,其中,如果sps_max_luma_transform_size_64_flag等于M,其中M是整数,则信令通知所述SE。
50.根据条款47所述的方法,其中,如果log2_transform_skip_max_size_minus2大于K,则信令通知所述SE。
51.根据条款47所述的方法,其中,信令通知log(maxLosslessTbSizeY)与X之间的差,并且其中maxLosslessTbSizeY指示所述视频区域的接近无损编解码模式或无损编解码模式的最大变换尺寸。
52.根据条款51所述的方法,其中,X等于log2_ctu_size_minus5、sps_max_luma_transform_size_64_flag、log2_transform_skip_max_size_minus2或固定整数。
53.根据条款47所述的方法,其中,信令通知maxLosslessTbSizeY与X之间的差,并且其中maxLosslessTbSizeY指示所述视频区域的接近无损编解码模式或无损编解码模式的最大变换尺寸。
54.根据条款47所述的方法,其中,信令通知对应于maxLosslessTbSizeY与X之间的所述差减去K的值,其中maxLosslessTbSizeY指示所述视频区域的接近无损编解码模式或无损编解码模式的最大变换尺寸且K是整数。
55.根据条款53或54的方法,其中,X等于CtbSizeY、MaxTbSize、MaxTsSize或固定整数。
56.根据条款46所述的方法,其中,所述视频区域的maxLosslessTbSizeY从所述SE导出,并且其中maxLosslessTbSizeY指示所述视频区域的接近无损编解码模式或无损编解码模式的最大变换尺寸。
57.根据条款46所述的方法,其中,所述语法元素对应于标记。
58.根据条款57所述的方法,其中,如果不存在标志,推断为正整数的值。
59.根据条款40所述的方法,其中,所述规则还指定,对于所述视频区域的无损编解码模式和/或接近无损编解码模式导出所述最大变换尺寸。
60.根据条款59所述的方法,其中,所述最大变换尺寸设置为等于:i)固定整数值,ⅱ)用于所述有损编解码模式的另一最大变换尺寸,ⅲ)最大编解码树单元尺寸,iv)VPDU尺寸,v)最大变换跳过块尺寸,或vi)最大残差编解码块尺寸。
61.一种视频处理的方法,包括:根据规则,执行视频的视频区域与所述视频的编解码表示之间的转换,其中,所述规则指定,基于应用无损编解码和/或接近无损编解码的视频区域的最大变换尺寸,所述视频区域的残差块被拆分为一个或多个残差子块以进行所述无损编解码和/或所述接近无损编解码,并且其中所述无损编解码包括旁路所述视频区域的残差块的变换,并且所述接近无损编解码使用小于阈值的量化参数(QP)。
62.根据条款61所述的方法,其中,所述规则还指定,所述拆分之后获得的所述一个或多个残差子块的宽度和高度不大于所述最大变换尺寸。
63.根据条款62所述的方法,其中,所述规则还指定,重复拆分所述残差块,直到所述一个或多个残差子块的宽度和高度不大于所述最大变换尺寸。
64.根据条款1至63中任一项所述的方法,其中,所述转换包括将所述视频编码为所述编解码表示。
65.根据条款1至63中任一项所述的方法,其中,所述转换包括解码所述编解码表示以生成所述视频。
66.一种视频处理装置,其包括处理器,所述处理器被配置为实现条款1至65中任一项或多项所述的方法。
67.一种储存程序代码的计算机可读介质,所述程序代码在被执行时使得处理器实现条款1至65中任一项或多项所述的方法。
68.一种计算机可读介质,其储存根据任何上述方法生成的编解码表示或比特流表示。
本文档中描述的公开的和其它的解决方案、示例、实施例、模块和功能操作可以在数字电子电路中或者在计算机软件、固件或硬件(包括本文档中公开的结构以及其结构的等同)中,或者在其一个或多个的组合中实现。所公开的和其它的实施例可以实现为一个或多个计算机程序产品,即,在计算机可读介质上编码的一个或多个计算机程序指令模块,用于由数据处理装置执行或控制数据处理装置的操作。该计算机可读介质可以是机器可读储存设备、机器可读储存基板、存储器设备、影响机器可读可传播信号的物质组分、或其一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器,包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外,该装置还可以包括为所讨论的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、或者其一个或多个的组合的代码。传播信号是人工生成的信号,例如机器生成的电信号、光信号或电磁信号,其被生成以对信息进行编码以便传输到合适的接收机装置。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言来编写,包括编译或解释语言,并且计算机程序可以以任何形式来部署,包括作为独立程序或作为模块、组件、子例程或其它适合在计算环境中使用的单元。计算机程序不一定对应于文件系统中的文件。程序可以储存在文件的保存其它程序或数据的一部分中(例如,储存在标记语言文档中的一个或多个脚本)、在专用于所讨论的程序的单个文件中、或在多个协同文件中(例如储存一个或多个模块、子程序或代码的一部分的文件)。计算机程序可以部署为在一个计算机上或者在多个计算机上执行,该多个计算机位于一个站点处或者分布跨越多个站点并由通信网络互连。
可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行在本文档中所描述的过程和逻辑流,以通过对输入数据进行操作并且生成输出来执行功能。也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行过程和逻辑流,并且装置可以实现为专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))。
适合于计算机程序的执行的处理器包括例如通用和专用微处理器两者,以及任何种类的数字计算机的任何一个或多个处理器。一般,处理器将从只读存储器或随机存取存储器或者该两者接收指令和数据。计算机的必要元件是用于执行指令的处理器和用于储存指令和数据的一个或多个存储器设备。一般,计算机还将包括用于储存数据的一个或多个大容量储存设备(例如磁、磁光盘或光盘),或者可操作地耦接以从一个或多个大容量储存设备(例如磁、磁光盘或光盘)接收数据或者将数据传输到一个或多个大容量储存设备(例如磁、磁光盘或光盘),或者以上两者。然而,计算机不需要具有这样的设备。适用于储存计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪速存储器设备)、磁盘(例如内置硬盘或可移除磁盘)、磁光盘,以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充,或者并入专用逻辑电路。
虽然本专利文档包含许多细节,但这些细节不应被解释为对任何主题或可要求保护的范围的限制,而是作为特定于特定技术的特定实施例的特征的描述。在本专利文档中,在分开的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反地,在单个实施例的上下文中所描述的各种特征还可以分别在多个实施例中实现或者以各种合适的子组合实现。此外,尽管特征可以如上文描述为以某些组合起作用并且甚至最初这样要求,但是在某些情况下来自所要求保护的组合的一个或多个特征可以从组合中去除,并且所要求保护的组合可以针对子组合或子组合的变型。
类似地,尽管在附图中以特定次序描绘了操作,但这不应当理解为要求按所示的特定次序或顺序次序执行这样的操作或者执行所有示出的操作,以实现期望的结果。此外,在本专利文档中描述的实施例中的各种系统组件的分开不应被理解为在所有实施例中都要求这种分开。
仅描述了几个实现方式和示例,并且可以基于本专利文档中描述和图示的内容来作出其它实现方式、增强和变型。

Claims (21)

1.一种处理视频数据的方法,包括:
对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及
基于所述确定进行所述转换,
其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。
2.根据权利要求1所述的方法,其中,所述规则指定当所述色度块的树类型等于DUAL_TREE_CHROMA并且所述色度块的宽度等于4时,所述色度块不允许垂直二叉划分。
3.根据权利要求1所述的方法,其中,所述规则指定当所述色度块的树类型等于DUAL_TREE_CHROMA并且所述色度块的宽度等于8时,所述色度块不允许垂直三叉划分。
4.根据权利要求1所述的方法,其中,当所述色度块的模式类型为MODE_TYPE_INTRA时,所述规则还指定划分所述色度块以生成具有宽度为4和高度为2的色度子块也不被允许。
5.根据权利要求4所述的方法,其中,所述规则还指定划分对应于所述色度块的亮度块以生成亮度子块是允许的。
6.根据权利要求5所述的方法,其中,所述规则还指定当对应于所述色度块的亮度块具有64个亮度样点并且所述色度块的色度格式是4:2:0时,所述色度块不允许二叉划分并且所述亮度块允许所述二叉划分。
7.根据权利要求5所述的方法,其中,所述规则还指定当对应于所述色度块的亮度块具有128个亮度样点并且所述色度块的色度格式是4:2:0时,所述色度块不允许三叉划分并且所述亮度块允许所述三叉划分。
8.根据权利要求1所述的方法,其中,组合帧间帧内预测模式不被允许应用于具有宽度小于4的色度块。
9.根据权利要求8所述的方法,其中,组合帧间帧内预测模式不被允许应用于具有宽度等于4且高度等于16的亮度块。
10.根据权利要求1所述的方法,其中,所述转换包括将所述色度块编码为所述比特流。
11.根据权利要求1所述的方法,其中,所述转换包括从所述比特流解码所述色度块。
12.一种处理视频数据的装置,包括处理器和其上具有指令的非瞬时性存储器,其中,所述指令当由所述处理器执行时,使得所述处理器:
对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及
基于所述确定进行所述转换,
其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。
13.根据权利要求12所述的装置,其中,所述规则指定当所述色度块的树类型等于DUAL_TREE_CHROMA并且所述色度块的宽度等于4时,所述色度块不允许垂直二叉划分。
14.根据权利要求12所述的装置,其中,所述规则指定当所述色度块的树类型等于DUAL_TREE_CHROMA并且所述色度块的宽度等于8时,所述色度块不允许垂直三叉划分。
15.根据权利要求12所述的装置,其中,当所述色度块的模式类型为MODE_TYPE_INTRA时,所述规则还指定划分所述色度块以生成具有宽度为4和高度为2的色度子块也不被允许。
16.根据权利要求15所述的装置,其中,所述规则还指定划分对应于所述色度块的亮度块以生成亮度子块是允许的。
17.根据权利要求16所述的装置,其中,所述规则还指定当对应于所述色度块的亮度块具有64个亮度样点并且所述色度块的色度格式是4:2:0时,所述色度块不允许二叉划分并且所述亮度块允许所述二叉划分。
18.根据权利要求16所述的装置,其中,所述规则还指定当对应于所述色度块的亮度块具有128个亮度样点并且所述色度块的色度格式是4:2:0时,所述色度块不允许三叉划分并且所述亮度块允许所述三叉划分。
19.一种非瞬时性计算机可读储存介质,存储使得处理器进行以下的指令:
对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及
基于所述确定进行所述转换,
其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。
20.一种非瞬时性计算机可读记录介质,储存视频的比特流,所述比特流由视频处理装置进行的方法生成,其中所述方法包括:
对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及
基于所述确定生成所述比特流,
其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。
21.一种储存视频的比特流的方法,包括:
对于视频的色度块和所述视频的比特流之间的转换,确定是否根据与所述色度块的树类型和所述色度块的维度有关的规则划分所述色度块;以及
基于所述确定生成所述比特流,
将所述比特流存储在非瞬时性计算机可读储存介质中,
其中,所述规则指定划分具有DUAL_TREE_CHROMA的树类型的色度块以生成具有宽度为2的色度子块是不允许的。
CN202311623364.0A 2019-09-21 2020-09-21 处理视频数据的方法、装置以及计算机可读记录介质 Pending CN118055248A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN2019107139 2019-09-21
CNPCT/CN2019/107139 2019-09-21
CNPCT/CN2019/108760 2019-09-27
CN2019108760 2019-09-27
PCT/CN2020/116472 WO2021052494A1 (en) 2019-09-21 2020-09-21 Size restriction based for chroma intra mode
CN202080066291.8A CN114424565A (zh) 2019-09-21 2020-09-21 基于色度帧内模式的尺寸限制

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080066291.8A Division CN114424565A (zh) 2019-09-21 2020-09-21 基于色度帧内模式的尺寸限制

Publications (1)

Publication Number Publication Date
CN118055248A true CN118055248A (zh) 2024-05-17

Family

ID=74883922

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080066291.8A Pending CN114424565A (zh) 2019-09-21 2020-09-21 基于色度帧内模式的尺寸限制
CN202311623364.0A Pending CN118055248A (zh) 2019-09-21 2020-09-21 处理视频数据的方法、装置以及计算机可读记录介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080066291.8A Pending CN114424565A (zh) 2019-09-21 2020-09-21 基于色度帧内模式的尺寸限制

Country Status (8)

Country Link
US (2) US11575893B2 (zh)
EP (1) EP4018662A4 (zh)
JP (2) JP7332795B2 (zh)
KR (1) KR102649584B1 (zh)
CN (2) CN114424565A (zh)
BR (1) BR112022005109A2 (zh)
MX (1) MX2022003122A (zh)
WO (1) WO2021052494A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3509302A4 (en) * 2016-10-10 2019-09-25 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ENCODING OR DECODING AN IMAGE USING A BLOCK CARD
US11570428B2 (en) * 2018-09-19 2023-01-31 Electronics And Telecommunications Research Institute Intra prediction mode encoding/decoding method and device, and recording medium in which bitstream is stored
BR112022003656A2 (pt) 2019-09-02 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
US20230049298A1 (en) * 2019-12-31 2023-02-16 Lg Electronics Inc. Image encoding/decoding method and apparatus for performing prediction on basis of reconfigured prediction mode type of leaf node, and bitstream transmission method
US20230217030A1 (en) * 2022-01-04 2023-07-06 Alibaba (China) Co., Ltd. Decoder-side chroma intra prediction mode gradient-based derivation
WO2023249901A1 (en) * 2022-06-21 2023-12-28 Beijing Dajia Internet Information Technology Co., Ltd. Improved cross-component prediction for video coding

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422803B2 (en) 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8526495B2 (en) 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
WO2013109123A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
KR101628797B1 (ko) 2012-04-20 2016-06-09 후아웨이 테크놀러지 컴퍼니 리미티드 Hevc에서 무손실 코딩의 개선된 인트라 예측
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US20130294524A1 (en) * 2012-05-04 2013-11-07 Qualcomm Incorporated Transform skipping and lossless coding unification
US9549182B2 (en) * 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
US9332257B2 (en) 2012-10-01 2016-05-03 Qualcomm Incorporated Coded black flag coding for 4:2:2 sample format in video coding
CN104782125B (zh) 2012-11-08 2019-03-15 佳能株式会社 对编码单位的变换单位编码和解码的方法、设备和系统
WO2015005132A1 (ja) 2013-07-08 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
WO2015011752A1 (ja) 2013-07-22 2015-01-29 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
SG11201605410UA (en) 2014-01-02 2016-07-28 Vid Scale Inc Two-demensional palette coding for screen content coding
CN105981385B (zh) 2014-01-02 2020-03-13 寰发股份有限公司 帧内预测编码方法及其装置
US9883197B2 (en) 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US10230992B2 (en) 2014-03-03 2019-03-12 Sony Corporation Strong intra smoothing for in RExt
US9860559B2 (en) 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
US10136140B2 (en) 2014-03-17 2018-11-20 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
US10327002B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
WO2015192800A1 (en) 2014-06-20 2015-12-23 Mediatek Inc. Method of palette predictor signaling for video coding
CN105491379A (zh) 2014-10-01 2016-04-13 财团法人工业技术研究院 解码器、编码器、解码方法、编码方法与编解码系统
TW201626798A (zh) 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼
US9883184B2 (en) 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
CN107211121B (zh) 2015-01-22 2020-10-23 联发科技(新加坡)私人有限公司 视频编码方法与视频解码方法
US20160234494A1 (en) 2015-02-10 2016-08-11 Qualcomm Incorporated Restriction on palette block size in video coding
KR102216947B1 (ko) 2015-06-08 2021-02-18 브이아이디 스케일, 인크. 화면 내용 코딩을위한 인트라 블록 복사 모드
US10148977B2 (en) 2015-06-16 2018-12-04 Futurewei Technologies, Inc. Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
EP3357245A4 (en) 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
US11032550B2 (en) 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
EP3449630A4 (en) 2016-05-28 2019-11-27 MediaTek Inc. METHOD AND APPARATUS FOR CURRENT IMAGE REFERENCING FOR VIDEO CODING
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN117354517A (zh) 2016-10-04 2024-01-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
KR20180039323A (ko) 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US11025903B2 (en) 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
EP3383045A1 (en) 2017-03-27 2018-10-03 Thomson Licensing Multiple splits prioritizing for fast encoding
CN107071494B (zh) 2017-05-09 2019-10-11 珠海市杰理科技股份有限公司 视频图像帧的二进制语法元素的生成方法和系统
JP2021010046A (ja) 2017-10-06 2021-01-28 シャープ株式会社 画像符号化装置及び画像復号装置
CN111919446B (zh) 2018-04-02 2022-10-28 夏普株式会社 解码视频图片中的当前视频块的方法
US10834396B2 (en) 2018-04-12 2020-11-10 Qualcomm Incorporated Bilateral filter for predicted video data
PT3738315T (pt) 2018-04-19 2022-03-30 Huawei Tech Co Ltd Particionamento de blocos de luminância e crominância
TWI729422B (zh) 2018-06-21 2021-06-01 大陸商北京字節跳動網絡技術有限公司 色彩分量間的子區塊移動向量繼承
CN112369022A (zh) 2018-06-27 2021-02-12 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
BR112021000667A8 (pt) 2018-07-14 2023-02-07 Mediatek Inc Método e aparelho de processamento de vídeo em um sistema de codificação de vídeo para codificar ou decodificar imagens de vídeo com uma restrição de partição e meio legível por computador não transitório
AU2018233042A1 (en) 2018-09-21 2020-04-09 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
US10939118B2 (en) 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
CN109819264B (zh) 2018-12-28 2020-05-12 杭州海康威视数字技术股份有限公司 编码方法、解码方法及装置
BR122021012448B1 (pt) 2019-01-15 2022-03-22 Lg Electronics Inc Método de decodificação de uma imagem realizado por um aparelho de decodificação, método de codificação de uma imagem realizado por um aparelho de codificação, aparelho de decodificação para decodificação de imagem, aparelho de codificação para codificação de imagem e mídia de armazenamento digital legível por computador não transitória
US11153591B2 (en) 2019-03-12 2021-10-19 Tencent America LLC Method and apparatus for color transform in VVC
AU2020262284B2 (en) 2019-04-24 2023-09-21 Bytedance Inc. Constraints on quantized residual differential pulse code modulation representation of coded video
CN117615130A (zh) 2019-05-02 2024-02-27 字节跳动有限公司 基于编解码树结构类型的编解码模式
US11330298B2 (en) 2019-06-25 2022-05-10 Qualcomm Incorporated Simplified intra chroma mode coding in video coding
CN110381311B (zh) 2019-07-01 2023-06-30 腾讯科技(深圳)有限公司 视频帧的编码方法、装置、计算机可读介质及电子设备
EP4358514A2 (en) 2019-07-19 2024-04-24 Wilus Institute of Standards and Technology Inc. Video signal processing method and device
US11399199B2 (en) 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
MX2022001244A (es) 2019-08-06 2022-02-22 Beijing Bytedance Network Tech Co Ltd Restricción de tamaño basada en formato de color.
WO2021030747A1 (en) 2019-08-15 2021-02-18 Beijing Dajia Internet Information Technology Co., Ltd. Small chroma block size restriction in video coding
US20220286714A1 (en) 2019-08-23 2022-09-08 Hfi Innovation Inc. Method and Apparatus of Partitioning Small Size Coding Units with Partition Constraints
BR112022003656A2 (pt) 2019-09-02 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
KR20220054360A (ko) 2019-09-25 2022-05-02 엘지전자 주식회사 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Also Published As

Publication number Publication date
WO2021052494A1 (en) 2021-03-25
BR112022005109A2 (pt) 2023-03-14
US11575893B2 (en) 2023-02-07
US20220248009A1 (en) 2022-08-04
CN114424565A (zh) 2022-04-29
EP4018662A1 (en) 2022-06-29
KR20220064961A (ko) 2022-05-19
JP2023155275A (ja) 2023-10-20
US20230217024A1 (en) 2023-07-06
JP7332795B2 (ja) 2023-08-23
MX2022003122A (es) 2022-04-06
KR102649584B1 (ko) 2024-03-21
JP2022549185A (ja) 2022-11-24
EP4018662A4 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
CN114208174B (zh) 预测过程中的调色板模式编解码
CN114208189B (zh) 使用屏幕内容编码工具进行视频编码和解码
CN114145013B (zh) 调色板模式编解码的模式确定
JP7332795B2 (ja) クロマ・イントラモードのベースとなるサイズ制約
CN114175662B (zh) 调色板模式使用指示的条件相关编解码
CN117714683A (zh) 基于色彩格式的视频区分割
CN113475077B (zh) 调色板模式使用指示的独立编解码
CN113475062A (zh) 确定屏幕内容编解码的条件
CN113785306A (zh) 基于编解码树结构类型的编解码模式
CN113615188A (zh) 调色板模式使用指示的联合编解码
CN113678448A (zh) 调色板模式编解码的条目构造
JP7442673B2 (ja) ビデオコーディングにおけるスキップブロックの変換のための最小許容量子化
RU2807441C2 (ru) Ограничение размера на основе внутрикадрового режима цветности

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination