CN113812155B - 多种帧间编解码方法之间的交互 - Google Patents

多种帧间编解码方法之间的交互 Download PDF

Info

Publication number
CN113812155B
CN113812155B CN202080035376.XA CN202080035376A CN113812155B CN 113812155 B CN113812155 B CN 113812155B CN 202080035376 A CN202080035376 A CN 202080035376A CN 113812155 B CN113812155 B CN 113812155B
Authority
CN
China
Prior art keywords
block
intra
codec
codec mode
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080035376.XA
Other languages
English (en)
Other versions
CN113812155A (zh
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202311244758.5A priority Critical patent/CN117176965A/zh
Publication of CN113812155A publication Critical patent/CN113812155A/zh
Application granted granted Critical
Publication of CN113812155B publication Critical patent/CN113812155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了用于视频处理的技术、设备和系统。在一个示例方面，对于在视频的块和视频的比特流表示之间的转换，确定在所述比特流表示中对基于矩阵的帧内预测(MIP)编解码技术的信息进行编码的方式。使用MIP编解码技术、基于对所述视频的先前编码样点执行矩阵矢量乘法运算来确定所述块的预测块。该方法还包括基于所述确定执行所述转换。

Description

多种帧间编解码方法之间的交互
相关申请的交叉引用
本申请是2020年5月11日提交的国际申请专利No.PCT/CN2020/089559的国家阶段申请，本申请及时要求2019年5月11日提交的国际专利申请No.PCT/CN2019/086489的优先权和权益。通过引用将上述申请的全部公开并入，作为本申请公开的一部分。
技术领域
本专利文档涉及编解码技术、设备和系统。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其他数字通信网络上仍占最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用所需的带宽将继续增长。
发明内容
本文档描述了其中在视频或图像的解码或编码期间使用二次变换的各种实施例和技术。
在一个示例方面，公开了视频处理方法。该方法包括对于在视频的块和视频的比特流表示之间的转换，确定在所述比特流表示中对基于矩阵的帧内预测(MIP)编解码技术的信息进行编解码的方式。使用MIP编解码技术，使用MIP编解码技术、基于对所述视频的先前编解码样点执行矩阵矢量乘法运算来确定所述块的预测块。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了视频处理方法。该方法包括对于在视频的块和视频的比特流表示之间的转换，确定在使用特定编解码技术对所述块进行编解码的情况下，允许恰好两种帧内预测模式。该方法还包括基于所述确定来执行所述转换。
在另一个示例方面，公开了视频处理方法。该方法包括对于视频的块和视频的比特流表示之间的转换，确定使用所述块的样点或所述块的一个或多个先前编解码的子分割的样点，来执行对所述块的子分割的预测。使用其中将所述块分割为多个子分割的帧内子块分割(ISP)编解码技术对所述块进行编解码，并且基于先前重构的子分割确定每个子分割的预测。多个子分割包括第一子分割和一个或多个内部子分割。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了视频处理方法。该方法包括对于视频的当前块与视频的比特流表示之间的转换，确定在最可能模式(MPM)候选列表的构造过程中要检查的所述当前块的第一组临近块与先前编解码的块的第二组临近块不同。所述当前块是被分割为多个子块的父块的子块。该方法还包括基于所述确定执行所述转换。
在另一个示例方面，公开了视频处理方法。该方法包括对于视频的条带的视频块和视频的比特流表示之间的转换，基于是否对所述条带启用帧内子块分割工具，来确定所述视频块允许的分割类型。该方法还包括基于所述确定来执行所述转换。
在一个示例方面，公开了视频处理方法。该方法包括生成或接收代表视频数据块的比特流。视频数据块是基于仿射线性加权帧内预测(ALWIP)进行编解码的。在比特流中以第一顺序顺序地编解码ALWIP的边信息和量化残差块差分脉冲编解码调制(QR-BDPCM)的边信息。
在另一个示例方面，公开了视频处理方法。该方法包括生成或接收表示视频数据的块的比特流，其中使用仅具有两种帧内预测模式的帧内预测方法对视频数据的块进行编解码。
在另一个示例方面，公开了视频处理方法。该方法包括通过检查当前块的临近块的集合，为视频数据的多个块中的当前块构造最可能模式(MPM)列表。通过使用分割模式对视频单元进行分割来生成多个块，并基于分割模式来确定临近块的集合。该方法还包括，使用来自MPM列表的候选对视频数据的当前块进行编解码，以及生成表示视频数据的当前块的比特流。
在另一个示例方面，公开了视频处理方法。该方法包括接收表示视频数据的多个块的比特流。使用来自最可能模式(MPM)列表中的候选，在比特流中对视频数据的当前块进行编解码，并通过检查当前块的临近块的集合来构造MPM列表。通过使用分割模式对视频单元进行分割来生成多个块。基于该分割模式来确定临近块的集合。该方法还包括，使用比特流来重构视频数据的当前块。
在又一个示例方面，公开了视频编码器。视频编码器包括处理器，该处理器被配置为实现一种或多种上述方法。
在又一个示例方面，公开了视频解码器。视频解码器包括处理器，该处理器被配置为实现一种或多种上述方法。
在又一个示例方面，公开了一种计算机可读介质。该介质包括用于实现存储在该介质上的一种或多种上述方法的代码。
在本文档中描述了这些以及其他方面。
附图说明
图1示出了编解码器框图的示例。
图2示出了67种帧内预测模式的示例。
图3描绘了四个参考行的示例。
图4是4×8和8×4块的划分(division)的示例。
图5是除4×8、8×4和4×4以外的所有块的划分的示例。
图6是用于4×4块的仿射线性加权帧内预测(ALWIP)的示例。
图7是用于8×8块的ALWIP的示例。
图8是用于8×4块的ALWIP的示例。
图9是用于16×16块的ALWIP的示例。
图10示出了JEM中的二次变换的示例。
图11示出了所提出的简化的二次变换(RST)的示例。
图12是子块变换模式SBT-V和SBT-H的图示。
图13示出了67种帧内预测模式的另一示例。
图14示出了当前块的左侧邻居和上方邻居的示例。
图15示出了示例性多类型树划分(splitting)模式。
图16示出了具有嵌套的多类型树编解码树结构的四叉树中的示例划分标志信令。
图17示出了具有嵌套的多类型树编解码块结构的四叉树的示例。
图18示出了用于128×128编解码块的示例划分。
图19是用于实现本文档中描述的技术的示例硬件平台的框图。
图20是根据本技术的一个或多个示例的视频处理方法的流程图。
图21是根据本技术的一个或多个示例的视频处理方法的另一流程图。
图22示出了将块的参考样点复制到内部子分割(sub-partition)的参考样点的示例。
图23示出了使用块的参考样点来预测内部子分割的参考样点的示例。
图24是根据本技术的一个或多个示例的视频处理方法的另一流程图。
图25是根据本技术的一个或多个示例的视频处理方法的另一流程图。
图26是其中可以实现所公开的技术的示例视频处理系统的框图。
图27是表示根据本技术的用于视频处理的方法的流程图。
图28是表示根据本技术的用于视频处理的另一种方法的流程图。
图29是表示根据本技术的用于视频处理的另一种方法的流程图。
图30是表示根据本技术的用于视频处理的另一种方法的流程图。
图31是表示根据本技术的用于视频处理的又一方法的流程图。
具体实施方式
在本文档中使用章节标题是为了易于理解，并且并不将部分中公开的实施例仅限于该部分。此外，尽管参考通用视频编解码或其他特定视频编解码器描述了某些实施例，但是所公开的技术也适用于其他编解码技术。此外，尽管一些实施例详细描述了视频编码步骤，但是将理解的是，将通过解码器来实现撤销编码的对应步骤解码。此外，术语视频处理涵盖视频编码或压缩、视频解码或解压缩以及视频转码(其中视频像素从一种压缩格式表示为另一种压缩格式或以不同的压缩比特率表示)。
1.综述
该专利文档涉及编解码技术。具体地，它涉及图像/视频编解码中的帧内和变换编解码。这里所公开的技术可以应用于现有的视频编解码标准(例如HEVC)，或者标准(多功能视频编解码)。该技术也可能适用于未来的视频编解码标准或视频编解码器。
2.初步讨论
视频编解码标准主要通过公知的ITU-T和ISO/IEC标准的发展而发展。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4 Visual，这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4增强视频编解码(AVC)和H.265/HEVC标准。从H.262开始，视频编解码标准基于混合视频编解码结构，其中利用了时域预测和变换编解码。为了探索HEVC之外的未来编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。此后，JVET采纳了许多新方法并将其引入到名为“联合探索模型”(JEM)[2]的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的多功能视频编解码(VVC)标准。
2.1典型视频编解码器的编解码流程
图1示出了VVC的编解码器框图的示例，其中包括三个环路滤波块：去方块滤波器(DF)、采样自适应偏移(SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点分别通过增加偏移量和应用有限脉冲响应(FIR)滤波器来减少原始样点与重构样点之间的均方差，其中编解码的边信息用信令通知偏移量和滤波器系数。ALF位于每个图片的最后一个处理阶段，可以看作是试图捕获和修复由先前阶段创建的伪像的工具。
2.2具有67个帧内预测模式的帧内模式编码
为了捕获自然视频中呈现的任意边缘方向，定向帧内模式的数量从HEVC中使用的33个扩展到65个。附加的定向模式在图2中用红色虚线箭头表示，平面和DC模式保持不变。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测两者。
如图2所示，沿顺时针方向将常规的角度帧内预测方向定义为从45度到-135度。在VTM2中，几种常规的角度帧内预测模式被自适应地替换为用于非正方形块的广角帧内预测模式。使用原始方法用信令通知替换的模式，并在解析后将替换的模式重新映射到广角模式的索引。帧内预测模式的总数不变，例如67，并且帧内模式编码不变。
在HEVC中，每个帧内编解码块均具有正方形形状，并且其每侧的长度是2的幂。因此，不需要除法运算即可使用DC模式生成帧内预测器。在VVV2中，块可以具有矩形形状，在通常情况下，必须对每个块使用除法运算。为了避免针对DC预测使用除法运算，仅将较长的一侧用于计算非正方形块的平均。
2.3多参考行
多参考行(Multiple reference line，MRL)帧内预测使用更多参考行进行帧内预测。在图3中，描绘了4个参考行的示例，其中段A和F的样点不是从重构的临近样点中获取的，而是分别填充有来自段B和E的最接近的样点。HEVC帧内图片预测使用最近的参考行(例如，参考行0)。在MRL中，使用了2个附加行(参考行1和参考行3)。
用信令通知所选的参考行的索引(mrl_idx)，并将其用于生成帧内预测器。对于大于0的参考行索引，仅在MPM列表中包括其他参考行模式，并且仅用信令通知MPM索引而不用信令通知其余模式。在帧内预测模式之前用信令通知参考行索引，并且在用信令通知非零参考行索引的情况下，从帧内预测模式中排除平面模式和DC模式。
CTU内第一行块的MRL被禁用，以防止在当前CTU线外使用扩展的参考样点。同样，当使用附加行时，PDPC被禁用。
2.4帧内子块分割(ISP)
在一些实施例中，如表1所示，ISP用于将亮度帧内预测的块根据块的尺寸维度垂直或水平地划分为2或4个子分割。图4和图5示出了两种可能性的示例。图4示出了4×8和8×4块的划分的示例。图5示出除4×8、8×4和4×4以外的所有块的划分的示例。所有子分割均满足具有至少16个样点的条件。对于块尺寸4×N或N×4(N>8)，如果允许,则可能存在1×N或N×1子分割。
表1：取决于块尺寸的子分割数量
对于这些子分割中的每个，通过对由编码器发送的系数进行熵解码，然后对它们进行逆量化和逆变换来生成残差信号。然后，对该子分割进行帧内预测，并最终通过将残差信号与预测信号相加来获得相应的重构样点。因此，每个子分割的重构值将可用于生成下一个的预测，重复该处理，依此类推。所有子分割共享相同的帧内模式。
表2示出了基于帧内预测模式的示例变换类型。
表2：取决于predModeIntra的trTypeHor和trTypeVer的规范
2.4.1示例语法和语义
下面以粗体和下划线表示的部分表示对标准的建议修改。
7.3.7.5编码单位语法
7.3.7.10变换单位语法
intra_subpartitions_mode_flag[x0][y0]等于1指定当前帧内编码单元被分割为NumIntraSubPartitions[x0][y0]个矩形变换块子分割。
intra_subpartitions_mode_flag[x0][y0]等于0指定当前帧内编码单元未被分割为矩形变换块子分割。
当intra_subpartitions_mode_flag[x0][y0]不存在时，将其推断为等于0。
intra_subpartitions_split_flag[x0][y0]指定帧内子分割的划分类型是水平还是垂直。当intra_subpartitions_split_flag[x0][y0]不存在时，可以将其推断如下：
–如果cbHeight大于MaxTbSizeY，则将intra_subpartitions_split_flag[x0][y0]推断为等于0。
–否则(cbWidth大于MaxTbSizeY)，则将intra_subpartitions_split_flag[x0][y0]推断为等于1。
变量IntraSubPartitionsSplitType指定用于当前亮度编解码块的划分类型。IntraSubPartitionsSplitType的推导如下：
–如果intra_subpartitions_mode_flag[x0][y0]等于0，则将IntraSubPartitionsSplitType设置为等于0。
–否则，将IntraSubPartitionsSplitType设置为等于1+intra_subpartitions_split_flag[x0][y0]。
表7-9与IntraSubPartitionsSplitType的名称关联
IntraSubPartitionsSplitType IntraSubPartitionsSplitType的名称
0 ISP_NO_SPLIT
1 ISP_HOR_SPLIT
2 ISP_VER_SPLIT
变量NumIntraSubPartitions指定将帧内亮度编解码块划分为的变换块子分割的数量。NumIntraSubPartitions的推导如下：
–如果IntraSubPartitionsSplitType等于ISP_NO_SPLIT，则NumIntraSubPartitions设置为等于1。
–否则，如果满足以下条件之一，则将NumIntraSubPartitions设置为等于2：
–cbWidth等于4，且cbHeight等于8
–cbWidth等于8，且cbHeight等于4。
–否则，将NumIntraSubPartitions设置为等于4。
2.5.仿射线性加权帧内预测的示例(ALWIP，又名基于矩阵的帧内预测)
2.5.1通过矩阵矢量乘法生成简化的预测信号
首先经由平均(averaging)对临近的参考样点进行下采样，以生成简化的参考信号bdryred。然后，通过计算矩阵矢量乘积并加上偏移，来计算出简化的预测信号predred。
predred＝A·bdryred+b
这里，A是具有Wred·Hred列的矩阵，并且如果W＝H＝4，则A具有4列，并且在所有其他情况下A具有8列。b是尺寸Wred·Hred的矢量。
2.5.2整个ALWIP处理的说明
在图6-9中针对不同的形状示出了平均、矩阵矢量乘法和线性插值的整个处理。注意，其余形状按所示情况之一处理。
如图6所示，给定4×4的块，ALWIP沿边界的每个轴取两个平均。所得的四个输入样点进入矩阵矢量乘法。矩阵取自集合S0。添加偏移后，将得出16个最终预测样点。线性插值对于生成预测信号不是必需的。因此，每个样点总共执行(4·16)/(4·4)＝4次乘法。
如图7所示，给定8×8的块，ALWIP沿边界的每个轴取四个平均。所得的八个输入样点进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数位置上生成16个样点。因此，每个样点总共执行(8·16)/(8·8)＝2次乘法。添加偏移后，通过使用简化的顶部边界对这些样点进行垂直插值。通过使用原始的左边界进行水平插值。
如图8所示，给定8×4的块，ALWIP沿边界的水平轴取四个平均以及在左边界取四个原始边界值。所得的八个输入样点进入矩阵矢量乘法。矩阵取自集合S1。这在预测块的奇数水平和每个垂直位置上生成16个样点。因此，每个样点总共执行(8·16)/(8·4)＝4个乘法。添加偏移后，通过使用原始的左边界对这些样点进行水平插值。相应地处理转置(transposed)后的情况。
如图9所示，给定16×16的块，ALWIP沿边界的每个轴取四个平均。所得的八个输入样点进入矩阵矢量乘法。矩阵取自集合S2。这在预测块的奇数位置上生成64个样点。因此，每个样点总共执行(8·64)/(16·16)＝2次乘法。添加偏移后，通过使用顶部边界的八个平均对这些样点进行垂直插值。通过使用原始的左边界进行水平插值。在这种情况下，插值处理不会添加任何乘法。因此，总的来说，每个样点需要两次乘法才能计算ALWIP预测。
对于较大的形状，该处理本质上是相同的，并且很容易检查每个样点的乘法次数是否少于四个。
对于W>8的W×8块，仅需要水平插值，因为在奇数水平和每个垂直位置都给出了样点。
最后，对于W>8的W×4块，令Ak为矩阵，它通过舍弃与沿着下采样块水平轴的奇数项相对应的每一行而生成。因此，输出尺寸为32，再次，仅需执行水平插值。
相应地处理转置(transposed)后的情况。
2.5.3用于常规亮度和色度帧内预测模式的自适应MPM列表推导
如下所述，一些ALWIP模式与常规帧内预测模式的基于MPM的编码相协调。用于常规帧内预测模式的亮度和色度MPM列表推导过程使用固定表map_alwip_to_angularidx，idx∈{0，1，2}，将给定PU上的ALWIP模式predmodeALWIP映射到常规帧内预测模式中的一个predmodeAngular＝map_alwip_to_angularidx(PU)[predmodeALWIP]。
对于亮度MPM列表推导，只要遇到临近亮度块使用ALWIP模式predmodeALWIP，就如同使用常规帧内预测模式predmodeAngular一样对待该块。对于色度MPM列表推导，每当当前亮度块使用LWIP模式时，都将使用相同的映射将ALWIP模式转换为常规帧内预测模式。
2.5.4示例语法和语义
下面以粗体和下划线表示的部分表示对标准的建议修改。
7.3.6.5编码单位语法
/>
2.6量化的残差块差分脉冲编解码调制(QR-BDPCM)
在一些实施例中，量化的残差块差分脉冲编解码调制(QR-BDPCM)可以用于有效地对屏幕内容进行编解码。
QR-BDPCM中使用的预测方向可以是垂直和水平预测模式。通过在类似于帧内预测的预测方向(水平或垂直预测)上进行样点复制，来对整个块进行帧内预测。对残差进行量化，并对量化后的残差及其预测器(水平或垂直)的预测值之间的增量(delta)进行编解码。这可以通过以下进行描述：对于尺寸为M(行)×N(列)的块，令ri，j，0≤i≤M-1，0≤j≤N-1是使用来自上方或左侧块边界样点的未经滤波的样点、水平(逐行跨越预测块复制左侧邻居像素值)或垂直(在预测块中将顶部邻居行复制到每一行)地执行帧内预测之后的预测残差。令Q(ri，j)，0≤i≤M-1，0≤j≤N-1表示残差ri，j的量化形式，其中残差是原始块与预测块值之间的差。然后，将块DPCM应用于量化后的残差样点，得到具有元素的修改后的M×N数组/>。当用信令通知垂直BDPCM时：
对于水平预测，适用类似的规则，并且通过以下获得残差量化样点：
残差量化样点被发送到解码器。
在解码器侧，将上述计算取反以生成Q(ri，j)，0≤i≤M-1,0≤j≤N-1。对于垂直预测的情况，
对于水平情况，
逆量化残差Q-1(Q(ri，j))被添加到帧内块预测值，以生成重构样点值。
该方案的主要好处是，逆DPCM可以在系数解析过程中即时完成，只需在解析系数时添加预测器即可，或者可以在解析后执行。
QR-BDPCM的草案文本如下所示：
7.3.6.5编码单位语法
/>
bdpcm_flag[x0][y0]等于1指定在位置(x0，y0)包括亮度编解码块的编码单元中存在bdpcm_dir_flag。
bdpcm_dir_flag[x0][y0]等于0指定bdpcm块中使用的预测方向是水平的，否则是垂直的。
2.7多重变换集(MTS)的示例
2.7.1显式多重变换集(MTS)
在一些实施例中，启用了最大为64×64的大块尺寸的变换，这主要用于分辨率更高的视频，例如1080p和4K序列。对于尺寸(宽度或高度，或者宽度和高度两者)等于64的变换块，将高频变换系数归零，以便仅保留低频系数。例如，对于M×N的变换块，其中M为块宽度，N为块高度，当M等于64时，仅保留左32列的变换系数。类似地，当N等于64时，仅保留前32行的变换系数。将变换跳过模式用于大块时，将使用整个块而不将任何值归零。
除了已在HEVC中采用的DCT-II之外，还使用多重变换选择(MultipleTransformSelection，MTS)方案对帧间和帧内编解码块进行残差编码。它使用了DCT8/DST7的多个选定变换。新引入的变换矩阵是DST-VII和DCT-VIII。下表显示了所选DST/DCT的基本函数。
/>
为了保持变换矩阵的正交性，与HEVC中的变换矩阵相比，对变换矩阵进行更精确的量化。为了将变换后的系数的中间值保持在16位范围内，在水平和垂直变换之后，所有系数都应具有10位。
为了控制MTS方案，在SPS级别分别为帧内和帧间指定了单独的启用标志。在SPS上启用MTS时，会用信令通知CU级别标志，以指示是否应用MTS。这里，MTS仅适用于亮度。当满足以下条件时，将用信令通知MTS CU级别标志。
-宽度和高度均小于或等于32
-CBF标志等于1
如果MTS CU标志等于零，则在两个方向上都应用DCT2。但是，如果MTS CU标志等于1，则另外会用信令通知另外两个标志，以分别指示水平方向和垂直方向的变换类型。变换和信令映射表如表3所示。当涉及变换矩阵精度时，使用8位主变换核心。因此，HEVC中使用的所有变换核心都保持相同，包括4点DCT-2和DST-7、8点、16点和32点DCT-2。此外，其他变换核心(包括64点DCT-2、4点DCT-8、8点、16点、32点DST-7和DCT-8)都使用8位主变换核心。
表3：针对水平和垂直方向的tu_mts_idx的解码值和对应的变换矩阵的映射的示例
为了降低大尺寸DST-7和DCT-8的复杂性，将尺寸(宽度或高度，或者宽度和高度两者)等于32的DST-7和DCT-8的高频变换系数归零。仅保留16x16低频区域内的系数。
除了应用不同变换的情况外，VVC还支持称为变换跳过(TS)的模式，其类似于HEVC中的TS概念。TS被视为MTS的特例。
2.7.1.1示例语法和语义
可以在比特流中用信令通知MTS索引，并且这种设计称为显式MTS。另外，还支持根据变换块尺寸直接导出矩阵的替代方法，即隐式MTS。
对于显式MTS，它支持所有编码模式。对于隐式MTS，仅支持帧内模式。
下面以粗体和下划线表示的部分表示对标准的建议修改。
7.3.2.4图片参数集RBSP语法
/>
7.3.7.10变换单位语法
transform_skip_flag[x0][y0]指定是否将变换应用于亮度变换块。数组索引x0，y0指定所考虑的变换块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。transform_skip_flag[x0][y0]等于1指定没有将变换应用于亮度变换块。transform_skip_flag[x0][y0]等于0指定是否将变换应用于亮度变换块的决策取决于其他语法元素。当transform_skip_flag[x0][y0]不存在时，将其推断为等于0。
tu_mts_idx[x0][y0]指定将沿相关联的亮度变换块的水平和垂直方向的哪些变换内核应用于残差样点。数组索引x0，y0指定所考虑的变换块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。
当tu_mts_idx[x0][y0]不存在时，将其推断为等于0。
在CABAC解码过程中，一个上下文用于对transform_skip_flag进行解码，一元截断用于对tu_mts_idx进行二值化。tu_mts_idx的每个二进制数(bin)均经过上下文编码，对于第一个二进制数，使用四叉树深度(例如cqtDepth)来选择一个上下文；对于其余的二进制数，使用一个上下文。
表9-15利用上下文编解码的二进制数将ctxInc分配给语法元素
2.7.2隐式多重变换集(MTS)
注意，启用了ISP、SBT和MTS，但具有隐式信令的都被视为隐式MTS。implicitMtsEnabled用于定义是否启用隐式MTS。
8.7.4缩放变换系数的变换处理
8.7.4.1概述
变量implicitMtsEnabled导出如下：
–如果sps_mts_enabled_flag等于1，并且满足以下条件之一，则将implicitMtsEnabled设置为等于1：
–IntraSubPartitionsSplitType不等于ISP_NO_SPLIT
–cu_sbt_flag等于1且Max(nTbW，nTbH)小于或等于32
–sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag都等于0，并且CuPredMode[xTbY][yTbY]等于MODE_INTRA
–否则，将implicitMtsEnabled设置为等于0。
指定水平变换内核的变量trTypeHor和指定垂直变换内核的变量trTypeVer如下得出：
–如果cIdx大于0，则将trTypeHor和trTypeVer设置为等于0。
–否则，如果implicitMtsEnabled等于1，则以下适用：
–如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，则根据intraPredMode在表8-15中指定trTypeHor和trTypeVer。
–否则，如果cu_sbt_flag等于1，则根据cu_sbt_horizontal_flag和cu_sbt_pos_flag在表8-14中指定trTypeHor和trTypeVer。
–否则(sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag等于0)，trTypeHor和trTypeVer导出如下：
trTypeHor＝(nTbW>＝4&&nTbW<＝16&&nTbW<＝nTbH)？1:0 (8-1030)
trTypeVer＝(nTbH>＝4&&nTbH<＝16&&nTbH<＝nTbW)？1:0 (8-1031)
–否则，根据tu_mts_idx[xTbY][yTbY]在表8-13中指定trTypeHor和trTypeVer。
表8-13–根据tu_mts_idx[x][y]的trTypeHor和trTypeVer的规范
tu_mts_idx[x0][y0] 0 1 2 3 4
trTypeHor 0 1 2 1 2
trTypeVer 0 1 1 2 2
表8-14–根据cu_sbt_horizontal_flag和cu_sbt_pos_flag的trTypeHor和trTypeVer的规范
cu_sbt_horizontal_flag cu_sbt_pos_flag trTypeHor trTypeVer
0 0 2 1
0 1 1 1
1 0 1 2
1 1 1 1
2.8简化的二次变换(RST)
2.8.1不可分二次变换(NSST)
在一些实施例中，在前向主变换和量化之间(在编码器处)、以及在反量化和反向主变换之间(在解码器侧)应用二次变换。如图10所示，根据块尺寸执行4x4(或8x8)二次变换。例如，每8x8块将4x4二次变换应用于较小的块(例如，min(宽度，高度)<8)，将8x8二次变换应用于较大的块(例如，min(宽度，高度)>4)。
下面以输入为例描述不可分的变换的应用。要应用不可分的变换，首先将以下4x4输入块X表示为矢量
不可分的变换的计算为其中/>指示变换系数矢量，T为16x16变换矩阵。随后使用该块的扫描顺序(水平、垂直或对角线)将16x1系数矢量/>重新组织为4x4块。索引较小的系数将以较小的扫描索引放置在4x4系数块中。总共有35个变换集，每个变换集使用3个不可分的变换矩阵(内核)。预先定义从帧内预测模式到变换集的映射。对于每个变换集，所选择的不可分的二次变换候选进一步由显式地用信令通知的二次变换索引指定。在变换系数之后，每个帧内CU在比特流中用信令通知一次索引。
2.8.2简化的二次变换(RST)的示例
在一些实施例中，RST使用4个变换集(而不是35个变换集)进行映射。在一些实施例中，可以将16×64(可以进一步减少到16×48)和16×16矩阵分别用于8×8和4×4块。为方便起见，将16x64(可能进一步减少为16x48)变换表示为RST8x8，将16x16变换表示为RST4x4。图11示出了所提出的简化的二次变换(RST)的示例。
2.9.子块变换
对于cu_cbf等于1的帧间预测的CU，可以用信令通知cu_sbt_flag以指示是对整个残差块还是残差块的子部分进行了解码。在前一种情况下，进一步解析帧间MTS信息以确定CU的变换类型。在后一种情况下，残差块的一部分通过推断的自适应变换进行编解码，而残差块的另一部分被清零。SBT不适用于组合的帧间-帧内模式。
在子块变换中，将与位置有关的变换应用于SBT-V和SBT-H(始终使用DCT-2的色度TB)中的亮度变换块。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，在图12中指定每个SBT位置的水平和垂直变换。例如，SBT-V位置0的水平和垂直变换分别是DCT-8和DST-7。当残差TU的一侧大于32时，将相应的变换设置为DCT-2。因此，子块变换共同指定残差块的TU片、cbf以及水平和垂直变换，对于块的主要残差在块的一侧的情况，可以将其视为语法快捷方式。
2.9.1示例语法和语义
下面以粗体和下划线表示的部分表示对标准的建议修改。
7.3.7.5编码单位语法
/>
7.3.7.11残差编码语法
/>
sps_sbt_max_size_64_flag等于0指定允许子块变换的最大CU宽度和高度为32个亮度样点。sps_sbt_max_size_64_flag等于1指定允许子块变换的最大CU宽度和高度为64个亮度样点。
MaxSbtSize＝sps_sbt_max_size_64_flag？64:32.
2.10用于帧内模式编解码的最可能模式(MPM)列表
为了捕获自然视频中呈现的任意边缘方向，VTM4中的定向帧内模式的数量从HEVC中使用的33扩展到65。图13示出了67种帧内预测模式的另一示例。HEVC中没有的新的定向模式在图13中以虚线箭头示出，且平面模式和DC模式保持相同。这些更密集的定向帧内预测模式适用于所有块尺寸以及亮度和色度帧内预测。
不管是否应用了MRL和ISP编码工具，都为帧内块提出了统一的6-MPM列表。图14示出了当前块的左邻居和上邻居的示例。如图14所示，基于VTM4.0中的左和上临近块的帧内模式来构造MPM列表。
假设将左侧的模式表示为“左(Left)”，并将上侧块的模式表示为“上(Above)”，则按照以下步骤依次构造统一的MPM列表：
-当临近块的帧内预测模式无效时，默认情况下将其帧内模式设置为平面。
-如果“左”和“上”相同且都为角度，则：
*MPM→列表{平面，左，左-1，左+1，DC，左-2}
-如果“左”和“上”不同且都为角度，则：
*将模式最大(Max)设置为“左”和“上”中的较大模式
*如果左”和“上”模式的差的范围在2到62之间(包括2和62)，则：MPM→列表{平面，左，上，DC，最大-1，最大+1}
*否则：MPM列表→{平面，左，上，DC，最大-2，最大+2}
-如果“左”和“上”是不同的，且“左”和“上”模式之一是角度模式，另一个是非角度模式，则：
*将模式最大设置为“左”和“上”中的较大模式
*MPM列表→{平面，最大，DC，最大-1，最大+1，最大-2}
-如果“左”和“上”两种模式均为非角度模式，则：
*MPM列表→{平面，DC，V，H，V-4，V+4}
注意，当模式索引(例如，最大+2)超出范围[0，66]时，可以用另一个有效的模式索引来代替。
与其余的MPM候选分开用信令通知第一个MPM候选，例如，平面模式。
更详细的语法、语义和解码过程描述如下。下面以粗体和下划线表示的部分表示对标准的建议修改。
7.3.6.5编码单位语法
/>
/>
语法元素intra_luma_mpm_flag[x0][y0]、intra_luma_not_planar_flag[x0][y0]、intra_luma_mpm_idx[x0][y0]和intra_luma_mpm_remainder[x0][y0]指定亮度样点的帧内预测模式。数组索引x0，y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当intra_luma_mpm_flag[x0][y0]等于1时，根据在4.1节中描述的条款8.4.2，从临近的帧内预测编码单元推断出帧内预测模式。
当intra_luma_mpm_flag[x0][y0]不存在时(例如，启用ISP或启用MRL(参考索引>0))，则将其推断为等于1。
当intra_luma_not_planar_flag[x0][y0]不存在时(例如，启用了MRL)，则将其推断为等于1。
intra_luma_not_planar_flag被上下文编码，并且上下文选择基于当前块是否未以ISP模式进行编解码(例如，！intra_subpartitions_mode_flag)。
intra_luma_mpm_idx在没有上下文的情况下被旁路编码。
8.4.2亮度帧内预测模式的推导过程
该过程的输入是：
-亮度位置(xCb，yCb)，其指定当前亮度编解码块的左上样点相对于当前图片的左上亮度样点的位置，
-变量cbWidth，其指定亮度样点中当前编解码块的宽度，
-变量cbHeight，其指定亮度样点中当前编解码块的高度。
在该过程中，推导出亮度帧内预测模式IntraPredModeY[xCb][yCb]。
表8-1帧内预测模式和相关名称的规范
帧内预测模式 相关名称
0 INTRA_PLANAR
1 INTRA_DC
2..66 INTRA_ANGULAR2..INTRA_ANGULAR66
81..83 INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM
注意：帧内预测模式INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。
IntraPredModeY[xCb][yCb]的推导如下：
–如果intra_luma_not_planar_flag[xCb][yCb]等于1，则进行以下有序步骤：
1.将临近位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为(xCb-1，yCb+cbHeight-1)和(xCb+cbWidth-1，yCb-1)。
2.对于由A或B替换的X，变量candIntraPredModeX的推导如下：
–调用条款6.4.X指定的块的可用性推导过程[Ed.(BB)：临近块可用性检查过程tbd]，以设置为等于(xCb，yCb)的位置(xCurr，yCurr)和设置为等于(xNbX，yNbX)的临近位置(xNbY，yNbY)作为输入，并将输出分配给availableX。
–候选帧内预测模式candIntraPredModeX的推导如下：
–如果满足以下一个或多个条件，则candIntraPredModeX被设置为等于INTRA_PLANAR。
–变量availableX等于假(FALSE)。
–CuPredMode[xNbX][yNbX]不等于MODE_INTRA，并且ciip_flag[xNbX][yNbX]不等于1。
–pcm_flag[xNbX][yNbX]等于1。
–X等于B并且yCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)。
–否则，将candIntraPredModeX设置为等于IntraPredModeY[xNbX][yNbX]。
3.x＝0..4的candModeList[x]的推导如下：
–如果candIntraPredModeB等于candIntraPredModeA，并且candIntraPredModeA大于INTRA_DC，则x＝0..4的candModeList[x]的推导如下：
candModeList[0]＝candIntraPredModeA (8-10)
candModeList[1]＝2+((candIntraPredModeA+61)％64) (8-12)
candModeList[2]＝2+((candIntraPredModeA-1)％64) (8-13)
candModeList[3]＝INTRA_DC (8-11)
candModeList[4]＝2+((candIntraPredModeA+60)％64) (8-14)
–否则，如果candIntraPredModeB不等于candIntraPredModeA，并且candIntraPredModeA或candIntraPredModeB大于INTRA_DC，则适用以下：
–变量minAB和maxAB的推导如下：
minAB＝Min(candIntraPredModeA，candIntraPredModeB) (8-24)
maxAB＝Max(candIntraPredModeA，candIntraPredModeB) (8-25)
–如果candIntraPredModeA和candIntraPredModeB均大于INTRA_DC，则x＝0..4的candModeList[x]的推导如下：
candModeList[0]＝candIntraPredModeA (8-27)
candModeList[1]＝candIntraPredModeB (8-28)
candModeList[2]＝INTRA_DC (8-29)
–如果maxAB-minAB的范围为2到62(包括2和62)，则适用以下：
candModeList[3]＝2+((maxAB+61)％64) (8-30)
candModeList[4]＝2+((maxAB-1)％64) (8-31)
–否则，适用以下：
candModeList[3]＝2+((maxAB+60)％64) (8-32)
candModeList[4]＝2+((maxAB)％64) (8-33)
–否则(candIntraPredModeA或candIntraPredModeB大于INTRA_DC)，则x＝0..4的candModeList[x]的推导如下：
candModeList[0]＝maxAB (8-65)
candModeList[1]＝INTRA_DC (8-66)
candModeList[2]＝2+((maxAB+61)％64) (8-66)
candModeList[3]＝2+((maxAB-1)％64) (8-67)
candModeList[4]＝2+((maxAB+60)％64) (8-68)
–否则，适用以下：
candModeList[0]＝INTRA_DC (8-71)
candModeList[1]＝INTRA_ANGULAR50 (8-72)
candModeList[2]＝INTRA_ANGULAR18 (8-73)
candModeList[3]＝INTRA_ANGULAR46 (8-74)
candModeList[4]＝INTRA_ANGULAR54 (8-75)
4.通过应用以下过程可以推导IntraPredModeY[xCb][yCb]：
–如果intra_luma_mpm_flag[xCb][yCb]等于1，则将IntraPredModeY[xCb][yCb]设置为等于candModeList[intra_luma_mpm_idx[xCb][yCb]]。
–否则，通过应用以下有序步骤来推导IntraPredModeY[xCb][yCb]：
1.对于i＝0..3且对于每个i，j＝(i+1)..4，当candModeList[i]大于candModeList[j]时，两个值将按以下方式交换：
(candModeList[i]，candModeList[j])＝Swap(candModeList[i]，candModeList[j])(8-94)
2.通过应用以下有序步骤来推导IntraPredModeY[xCb][yCb]：
i.将IntraPredModeY[xCb][yCb]设置为等于intra_luma_mpm_remainder[xCb][yCb]。
ii.IntraPredModeY[xCb][yCb]的值加1。
iii.对于等于0到4的i(包括0和4)，当IntraPredModeY[xCb][yCb]大于或等于candModeList[i]时，IntraPredModeY[xCb][yCb]的值加1。
–否则(intra_luma_not_planar_flag[xCb][yCb]等于0)，将IntraPredModeY[xCb][yCb]设置为等于INTRA_PLANAR。
将变量IntraPredModeY[x][y](其中x＝xCb..xCb+cbWidth-1且y＝yCb..yCb+cbHeight–1)设置为等于IntraPredModeY[xCb][yCb])。
2.11分割树
在HEVC中，通过使用表示为编解码树的四叉树结构将CTU划分为CU，以适应各种局部特性。在叶CU级别上做出是否使用帧间图片(时域)或帧内图片(空域)预测对图片区域进行编解码的决策。可以根据PU划分类型将每个叶CU进一步划分为一个、两个或四个PU。在一个PU内，将应用相同的预测过程，并将相关信息以PU为基础传输到解码器。在通过应用基于PU划分类型的预测处理而获得残差块之后，可以根据类似于用于CU的编解码树的另一四叉树结构将叶CU分割为变换单元(TU)。HEVC结构的关键特征之一是它具有多个分割概念，包括CU、PU和TU。
在VVC中，具有使用二叉和三叉划分分段结构的嵌套的多类型树的四叉树替换了多个分割单元类型的概念，例如，它消除了CU、PU和TU概念的区分(但对于尺寸超出最大变换长度过多的CU则需要CU、PU和TU概念的区分)，并且其为CU分割形状提供了更大的灵活性。在编解码树结构中，CU可以具有正方形或矩形形状。首先由四叉树(quaternary tree)(也称为四叉树(quadtree))结构对编解码树单元(CTU)进行分割。然后，可以通过多类型树结构进一步分割四叉树叶子节点。如图15所示，多类型树结构中有四种划分类型：垂直二叉划分(SPLIT_BT_VER)、水平二叉划分(SPLIT_BT_HOR)、垂直三叉划分(SPLIT_TT_VER)和水平三叉划分(SPLIT_TT_HOR)。多类型树叶子节点称为编码单元(CU)，除非CU对于最大变换长度而言太大，否则该分段将用于预测和变换处理而无需任何进一步的分割。这意味着，在大多数情况下，CU、PU和TU在具有嵌套的多类型树编解码块结构的四叉树中具有相同的块尺寸。但是当最大支持的变换长度小于CU的颜色分量的宽度或高度时，会发生例外。
图16示出了在具有嵌套的多类型树编解码树结构的四叉树中的分割划分信息的信令机制。编解码树单元(CTU)被视为四叉树的根，并且首先被四叉树结构分割。然后，每个四叉树叶子节点(当足够大时允许它)被多类型树结构进一步分割。在多类型树结构中，用信令通知第一标志(mtt_split_cu_flag)，以指示是否进一步对节点进行了分割；当进一步对节点进行分割时，会用信令通知第二标志(mtt_split_cu_vertical_flag)，以指示划分方向，然后用信令通知第三标志(mtt_split_cu_binary_flag)，以指示划分是二叉划分还是三叉划分。基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推导出CU的多类型树分割模式(MttSplitMode)，如表4所示。
表4基于多类型树语法元素的MttSplitMode推导
图17示出了被划分为具有四叉树和嵌套的多类型树编解码块结构的多个CU的CTU，其中粗体块边缘代表四叉树分割，且其余边缘代表多类型树分割。具有嵌套的多类型树分割的四叉树提供了包括CU的内容自适应编解码树结构。CU的尺寸可以与CTU一样大，或者以亮度样点为单位小至4×4。对于4：2：0色度格式的情况，最大色度CB尺寸为64×64，且最小色度CB尺寸为2×2。
在VVC中，最大支持的亮度变换尺寸是64×64，且最大支持的色度变换尺寸是32×32。当CB的宽度或高度大于最大变换宽度或高度时，CB会在水平和/或垂直方向上自动划分，以满足该方向上的变换尺寸限制。
以下参数由针对具有嵌套的多类型树编解码树方案的四叉树的SPS语法元素定义和指定。
–CTU尺寸：四叉树的根节点尺寸
–MinQTSize：允许的最小四叉树叶子节点尺寸
–MaxBtSize：允许的最大二叉树根节点尺寸
–MaxTtSize：允许的最大三叉树根节点尺寸
–MaxMttDepth：从四叉树叶子中划分出的多类型树的允许的最大层次深度
–MinBtSize：允许的最小二叉树叶子节点尺寸
–MinTtSize：允许的最小三叉树叶子节点尺寸
在具有嵌套的多类型树编解码树结构的四叉树的一个示例中，将CTU尺寸设置为具有两个相应的4：2：0色度样点的64×64块的128×128亮度样点，将MinQTSize设置设置为16×16，将MaxBtSize设置为128×128，将MaxTtSize设置为64×64，将MinBtSize和MinTtSize(宽度和高度两者)设置为4×4，将MaxMttDepth设置为4。首先将四叉树分割应用于CTU，以生成四叉树叶子节点。四级树叶节点的尺寸可以从16×16(例如，MinQTSize)到128×128(例如，CTU尺寸)。如果叶子QT节点为128×128，则由于尺寸超过MaxBtSize和MaxTtSize(例如，64×64)，因此其不会被二叉树进一步划分。否则，叶子四叉树节点可能会被多类型树进一步分割。因此，四叉树叶子节点也是多类型树的根节点，它的多类型树深度(mttDepth)为0。当多类型树深度达到MaxMttDepth(例如4)时，不再考虑进一步的划分。当多类型树节点的宽度等于MinBtSize且小于或等于2*MinTtSize时，不再考虑进一步的水平划分。类似地，当多类型树节点的高度等于MinBtSize且小于或等于2*MinTtSize时，不再考虑进一步的垂直划分。
为了允许在VVC硬件解码器中进行64×64亮度块和32×32色度流水线设计，当亮度编解码块的宽度或高度大于64时，禁止三叉树(TT)划分，如图18所示。当色度编解码块的宽度或高度大于32时，也禁止TT划分。
在VTM3中，编解码树方案支持亮度和色度具有单独的块树结构的能力。当前，对于P和B条带，一个CTU中的亮度CTB和色度CTB必须共享相同的编解码树结构。但是，对于I条带，亮度和色度可以具有单独的块树结构。当应用单独的块树模式时，通过一种编解码树结构将亮度CTB分割为CU，并且通过另一编解码树结构将色度CTB分割为色度CU。这意味着I条带中的CU可能由亮度分量的编解码块或两个色度分量的编解码块组成，而P或B条带中的CU总是由所有三种颜色分量的编解码块组成，除非视频是单色的。
3.示例问题
当前的设计具有以下问题：
1.ISP编解码块以相同的帧内预测模式将一个块划分为两个或四个子分割，而一个块可以被划分为两个或四个分割，并且每个块可以以相同的帧内预测模式进行编解码。因此，存在一些冗余。
2.此外，MPM列表构造过程使用固定的临近块(上方和左侧)，其不考虑分割方向。例如，对于水平BT，如果上方分割以帧内模式进行编解码，则底部的分割通常倾向于使用不同的帧内预测模式，而上方块的帧内预测模式包括在MPM列表中。
3.内部子分割的一些临近样点总是不可用。例如，对于沿垂直(水平)方向划分的ISP块，左下(右上)的临近样点不可用。
4.用于ALWIP编解码的块的帧内模式的信令与用于使用常规方式、MRL或ISP的其他帧内编解码的块的信令不同。
4.示例实施例和技术
以下实施例的列表应被视为示例以解释一般概念。这些实施例不应以狭义的方式解释。此外，这些实施例可以以任何方式组合。
用W*H表示一个块尺寸，其中W是块宽度，且H是块高度。最大变换块尺寸由MaxTbW*MaxTbH表示，其中MaxTbW和MaxTbH分别是最大变换块的宽度和高度。最小变换块尺寸用MinTbW*MinTbH表示，其中MinTbW和MinTbH分别是最小变换块的宽度和高度。注意，MRL可以代表可以使用当前图片中的非相邻参考行来预测当前块的那些技术，ALWIP可以代表可以使用基于矩阵的帧内预测方法的那些技术。
关于ALWIP和QR-BDPCM：
1.可以在QR-BDPCM的边信息(例如，开/关使用标志和/或预测方向)之后对ALWIP的边信息(例如，开/关使用标志、帧内预测模式、和/或关于输入矢量的信息(诸如，是否对亮度样点的输入矢量进行转置))进行编解码。
a.在一个示例中，ALWIP和QR-BDPCM无法应用于一个块。
i.当将ALWIP应用于该块时，将不应用QR-BDPCM，并且其边信息也不会被编码。
ii.当将QR-BDPCM应用于该块时，将不应用ALWIP，并且其边信息也不会被编码。
iii.可替代地，它们可以应用于其中帧内预测方法使用ALWIP的方式并且残差的信令遵循QR-BDPCM的方式的一个块，例如，不进行变换、对残差块内的某些位置的残差差分进行编解码。
b.可替代地，此外，是否用信令通知ALWIP的边信息可以取决于QR-BDPCM的使用。
i.如果将QR-BDPCM应用于一个块，则可以跳过ALWIP的边信息的信令。
ii.如果未将QR-BDPCM应用于一个块，则仍可用信令通知ALWIP的边信息。
iii.如果将QR-BDPCM应用于一个块，则可用信令通知ALWIP的使用的信令，而可以跳过ALWIP模式的信令。
iv.在一个示例中，如果将QR-BDPCM应用于一个块，则仍可以用信令通知ALWIP的使用的信令。但是，ALWIP不应应用于一致性比特流中的块。
c.可替代地，此外，可以在ALWIP的边信息之后对QR-BDPCM的边信息进行编解码。
i.是否用信令通知QR-BDPCM的边信息可能取决于ALWIP的使用。
ii.如果将ALWIP应用于一个块，则跳过QR-BDPCM边信息的信令。
iii.如果将ALWIP应用于一个块，并且相关联的ALWIP模式对应于常规的水平/垂直模式，则仍可以用信令通知QR-BDPCM的使用，但是，跳过预测方向的信令(例如，bdpcm_dir_flag)。
iv.在一个示例中，如果将ALWIP应用于一个块，则仍然可以用信令通知QR-BDPCM的使用。但是，QR-BDPCM不应应用于一致性比特流中的块。
2.可以在与一个或多个帧内相关编码工具有关的信息之后(而不是作为第一个)，用信令通知ALWIP编解码的块的帧内预测模式。
a.在一个示例中，帧内相关编码工具可以包括QR-BDPCM/PCM/MRL/ISP/广角帧内预测/常规的帧内编解码方法。
3.提出ALWIP仅适用于用来自MPM列表中的候选编解码的块；或从MPM列表包括的候选中映射或转换的一个候选编解码的块。
a.可替代地，此外，对于ALWIP编解码的块，可以跳过MPM标志的信令和/或其余编码模式的信令。
4.提出了使用常规的帧内预测方法/广角帧内预测/MRL/或ISP，将用于ALWIP编解码的块的帧内预测模式的信令与用于对其他帧内编解码的块进行编解码的信令对准。
a.在一个示例中，用于ALWIP编解码的块的帧内预测模式的信令可以包括以下部分：
i.可以首先对它是否是MPM候选之一进行编解码(由语法元素A表示)。
ii.如果它是MPM候选，则可以按顺序进一步编码以下内容：
1)它是否是MPM列表中的第一个MPM候选(由语法元素B表示)；
2)其余MPM列表中的MPM索引(由语法元素C表示)；
iii.如果它不是MPM候选，则可以进一步编码其余的允许帧内模式中的帧内模式索引(由语法元素D表示)。
b.可替代地，用于ALWIP编解码的块的帧内预测模式的信令可以包括以下部分：
i.可以首先对它是否是MPM候选之一进行编解码(由语法元素A表示)。
ii.如果它是MPM候选，则可以按顺序进一步编码以下内容：
1)它是否不是平面模式(由语法元素B表示)；
2)其余MPM列表中的MPM索引(由语法元素C表示)；
iii.如果它不是MPM候选，则可以进一步编码其余的允许帧内模式中的帧内模式索引(由语法元素D表示)。
c.对于特定语法元素，例如上述语法元素A/B/C/D，可以有条件地用信令通知。
i.在一个示例中，当仅MPM被允许用于ALWIP时，当使用ALWIP时，可以跳过语法元素A的信令。
ii.可替代地，此外，可以有条件地用信令通知语法元素A(例如，intra_luma_mpm_flag)。例如，语法元素A的信令(例如，intra_luma_mpm_flag)可以在intra_luma_ref_idx[x0][y0]＝＝0&&intra_subpartitions_mode_flag[x0][y0]＝＝0&&intra_lwip_flag[x0][y0]＝＝0的条件下。
d.以上语法元素的允许值范围可以取决于帧内编解码方法和/或块维度。
i.在一个示例中，对于ALWIP，语法元素C(例如，intra_luma_mpm_idx)可以是[0，1]，而对于其他则是[0，4]。
ii.在一个示例中，对于非ALWIP，语法元素D(例如，intra_luma_mpm_remainder)可以在[0，60]的范围内；对于4x4 ALWIP块可以在[0，31]范围内，对于W<＝8&&H<＝8ALWIP块可以在[0，15]范围内，对于其他ALWIP块可以在[0，7]范围内，其中W和H分别代表块宽度和高度。
e.语法元素A/B/C/D可以在算术编码中被上下文编码或旁路编码。
i.可替代地，此外，可以根据诸如ALWIP/MRL/ISP/广角帧内预测的帧内编解码方法来选择上下文。
1)在一个示例中，当对二进制化的MPM索引(例如，intra_luma_not_planar_flag)的第一个二进制数进行编解码时，可以使用两个上下文，其中一个用于常规的帧内和ALWIP；另一个用于ISP；或一个用于ISP或ALWIP，另一个用于其余方法。
2)在一个示例中，当对二进制化的MPM索引(例如，intra_luma_not_planar_flag)的第一个二进制数进行编解码时，可以利用三个上下文，其中一个用于ALWIP，一个用于ISP，另一个用于其他。
关于用于非ALWIP方法的帧内模式编码：
5.提出用于对非ALWIP编解码的帧内预测模式(诸如使用常规的帧内预测方法/广角帧内预测/MRL/或ISP)进行编解码的语法元素的上下文/允许范围可以取决于帧内预测方法。
a.在一个示例中，不同的帧内预测方法可以具有不同尺寸的MPM列表。
b.在一个示例中，不同的帧内预测方法可以具有不同数目的非MPM候选。
关于ISP
6.提出对于ISP编解码块仅允许两种帧内预测模式。
a.在一个示例中，允许使用MPM列表中的前两种模式。
b.在一个示例中，允许的两种模式中的一种是平面模式，另一种是MPM列表中的一种，诸如MPM列表中的第一或第二种或不是平面模式第一种。
c.可替代地，此外，对于ISP编解码块，跳过MPM索引(例如，intra_luma_mpm_idx)的信令。
d.在一个示例中，以上方法也可以适用于其他帧内编解码方法，例如MRL、ALWIP。
7.提出可以将ISP编解码块的参考样点(或临近样点)和/或先前编解码的子分割的临近样点用于预测该块的当前子分割。
a.在一个示例中，如果ISP编解码块在水平方向上被划分，则该块的右上参考样点可以用于预测内部子分割。
b.在一个示例中，如果ISP编解码块在垂直方向上被划分，则该块的左下参考样点可以用于预测内部子分割。
c.在一个示例中，ISP编解码块的右上或/和左下参考样点可以直接用作内部子分割的右上或/和左下参考样点。在图22中示出了示例。
d.在一个示例中，可以使用ISP编解码块的右上或/和左下参考样点来预测内部子分割的右上或/和左下参考样点。在图23中示出了示例。
i.在一个示例中，帧内预测方法可用于预测内部子分割的参考样点。
ii.在一个示例中，当内部子分割的参考样点被投影到块的参考样点的分数位置时，可以将双线性插值用于插值。
iii.在一个示例中，当内部子分割的参考样点被投影到块的参考样点的分数位置时，可以将分数位置取整到整数位置。例如，最接近的整数位置或最接近的可用整数位置。
e.在一个示例中，内部子分割的右上或/和左下参考样点可以在通过以上方法生成之后、但在用于预测内部子分割之前被滤波。
8.在MPM列表构造过程中要检查的临近块可以从一个视频单元到另一视频单元改变。例如，视频单元可以是CU。
a.在MPM列表构造过程中，可能不允许访问同一父节点中的子节点。
b.在一示例中，其可取决于父节点的划分方向/分割树类型。
i.在一个示例中，如果当前块(例如，底部的子节点)是从水平BT和/或TT划分出来的，并且不是该划分中的第一个子节点，则要检查的上方块可以由不同父节点中的右上或任何块替换。
1)可替代地，可以将上方块的帧内预测模式替换为转换后的模式。例如，可以将其替换为X+off或(X+off)％T，其中X是上方块的帧内预测模式，并且off和T是整数。
ii.在一个示例中，如果当前块(例如，右侧的子节点)是从垂直BT和/或TT中划分出来的，并且不是该划分中的第一个子节点，则要检查的左块可以由不同父节点中的左上或任何块替换。
1)可替代地，可以将左块的帧内预测模式替换为转换后的模式。例如，可以将其替换为X+off或(X+off)％T，其中X是上方块的帧内预测模式，并且off和T是整数。
c.可替代地，可以以相同的方式来构造MPM列表，但是可以从MPM列表中排除同一父节点中的其他子节点的帧内预测模式。
d.可替代地，同一父节点中的其他子节点的帧内预测模式可以被其他模式替换。如何用信令通知帧内预测模式可以取决于分割类型。
i.在一个示例中，如果一个父节点被水平/垂直BT和/或TT划分，第一个子节点以平面模式进行编解码，第二个子节点以帧内进行编解码，则第二个子节点的intra_luma_not_planar_flag的信令可以被跳过并推断为1。
9.提出当为条带启用ISP时，可以禁用用于某些块维度(诸如，4x8、8x4)的水平和/或垂直BT和/或TT。
a.提出当为条带启用用于某些块维度(诸如，4x8、8x4)的水平和/或垂直BT和/或TT时，可以禁用ISP。
i.当禁用ISP时，跳过ISP边信息的相关信令。
b.可替代地，此外，当启用双树时，可以应用以上方法。
c.可替代地，此外，当启用单树时，可以应用以上方法。
4.1示例实施例
示例改变如下所示。带下划线和粗体的部分表示对工作草案的补充，而删除线部分表示建议的删除。
/>
/>
/>
语法元素intra_luma_mpm_flag[x0][y0]、intra_luma_not_planar_flag[x0][y0]、intra_luma_mpm_idx[x0][y0]和intra_luma_mpm_remainder[x0][y0]指定亮度样点的帧内预测模式。数组索引x0，y0指定所考虑的编解码块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。当intra_luma_mpm_flag[x0][y0]等于1时，当intra_lwip_ flag[x0][y0]等于0时，根据条款8.4.2从临近的帧内预测编码单元推断出帧内预测模式；当intra_lwip_flag[x0][y0]等于1时，根据条款8.4.2从临近的帧内预测编码单元推断出 帧内预测模式。
当intra_luma_mpm_flag[x0][y0]不存在时，将其推断为等于1。
当intra_luma_not_planar_flag[x0][y0]不存在时，将其推断为等于1。
8.4.2亮度帧内预测模式的推导过程
该过程的输入是：
-亮度位置(xCb，yCb)，其指定当前亮度编解码块的左上样点相对于当前图片的左上亮度样点的位置，
-变量cbWidth，其指定亮度样点中当前编解码块的宽度，
-变量cbHeight，其指定亮度样点中当前编解码块的高度。
在该过程中，导出亮度帧内预测模式IntraPredModeY[xCb][yCb]。
表8-1帧内预测模式和相关名称的规范
帧内预测模式 相关名称
0 INTRA_PLANAR
1 INTRA_DC
2..66 INTRA_ANGULAR2..INTRA_ANGULAR66
81..83 INTRA_LT_CCLM,INTRA_L_CCLM,INTRA_T_CCLM
注–：帧内预测模式INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM仅适用于色度分量。
IntraPredModeY[xCb][yCb]的推导如下：
–如果intra_luma_not_planar_flag[xCb][yCb]等于1，则适用以下有序步骤：
1.将临近位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为(xCb-1，yCb+cbHeight-1)和(xCb+cbWidth-1，yCb-1)。
…
–否则(intra_luma_not_planar_flag[xCb][yCb]等于0)，将IntraPredModeY[xCb][yCb]设置为等于INTRA_PLANAR。
将变量IntraPredModeY[x][y](其中x＝xCb..xCb+cbWidth-1且y＝yCb..yCb+cbHeight–1)设置为等于IntraPredModeY[xCb][yCb])。
8.4.X仿射线性加权帧内预测模式的推导过程
该过程的输入是：
-亮度位置(xCb，yCb)，其指定当前亮度编解码块的左上样点相对于当前图片的左上亮度样点的位置，
-变量cbWidth，其指定亮度样点中当前编解码块的宽度，
-变量cbHeight，其指定亮度样点中当前编解码块的高度。
在该过程中，推导出仿射线性加权帧内预测模式IntraPredModeY[xCb][yCb]。
通过以下有序步骤导出IntraPredModeY[xCb][yCb]：
1.将临近位置(xNbA，yNbA)和(xNbB，yNbB)分别设置为(xCb-1，yCb)和(xCb，yCb-1)。
2.对于被A或B替换的X，变量candLwipModeX的推导如下：
-...
3.使用表8-X2中指定的lwipMpmCand[sizeId]，以如下方式推导x＝0..2时的candLwipModeList[x]：
…
4.通过应用以下过程可以推导出IntraPredModeY[xCb][yCb]：
–如果intra_lwip_mpm_flag[xCb][yCb]等于1，则将IntraPredModeY[xCb][yCb]设置为等于candLwipModeList[intra_luma_not_planar_flag[x0][y0]＝＝0？0：(intra_ luma_mpm_idx+1) ]。
–否则，通过应用以下有序步骤来推导出IntraPredModeY[xCb][yCb]：
1.对于i＝0..1且对于每个i，j＝(i+1)..2，当candLwipModeList[i]大于candLwipModeList[j]时，两个值交换如下：
(candLwipModeList[i],candLwipModeList[j])＝Swap(candLwipModeList[i],candLwipModeList[j]) (8-X14)
2.通过以下有序步骤导出IntraPredModeY[xCb][yCb]：
i.将IntraPredModeY[xCb][yCb]设置为等于intra_lwip_mpm_remainder[xCb][yCb]。
ii.对于等于0到2的i(包括0和2)，当IntraPredModeY[xCb][yCb]大于或等于candLwipModeList[i]时，将IntraPredModeY[xCb][yCb]的值增加1。
将变量IntraPredModeY[x][y](其中x＝xCb..xCb+cbWidth-1且y＝yCb..yCb+cbHeight–1)设置为等于IntraPredModeY[xCb][yCb]。
表9-9语法元素和相关的二值化
表9-9–语法元素和相关的二值化
图19是视频处理装置1900的框图。装置1900可以用于实现本文描述的一种或多种方法。装置1900可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置1900可以包括一个或多个处理器1902、一个或多个存储器1904和视频处理硬件1606。(一个或多个)处理器1902可以被配置为实现本文档中描述的一种或多种方法。存储器(一个或多个存储器)1904可以用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件1606可以用于在硬件电路中实现本文档中描述的一些技术。
图20是根据本技术的一个或多个示例的视频处理方法2000的流程图。方法2000包括，在操作2002，生成或接收表示视频数据的块的比特流。视频数据的块是基于仿射线性加权帧内预测(ALWIP)进行编解码的。在比特流中以第一顺序顺序地对ALWIP的边信息和量化残差块差分脉冲编解码调制(QR-BDPCM)的边信息进行编解码。
图21是根据本技术的一个或多个示例的视频处理的方法2100的流程图。方法2100包括，在操作2102，生成或接收表示视频数据的块的比特流，其中使用仅具有两种帧内预测模式的帧内预测方法对视频数据的块进行编解码。
图24是根据本技术的一个或多个示例的视频处理的方法2400的流程图。方法2400包括，在操作2402，通过检查当前块的临近块的集合，为视频数据的多个块中的当前块构造最可能模式(MPM)列表。通过使用分割模式对视频单元进行分割来生成多个块。基于分割模式来确定临近块的集合。方法2400包括，在操作2404，使用来自MPM列表的候选对视频数据的当前块进行编解码。方法2400还包括，在操作2406，生成或接收表示视频数据的当前块的比特流。
图25是根据本技术的一个或多个示例的视频处理的方法2500的流程图。方法2500包括，在操作2502，接收表示视频数据的多个块的比特流。使用来自最可能模式(MPM)列表中的候选，在比特流中对视频数据的当前块进行编解码，并通过检查当前块的临近块的集合来构造MPM列表。通过使用分割模式对视频单元进行分割来生成多个块，并且基于该分割模式来确定临近块的集合。方法2500还包括，在操作2504，使用比特流来重构视频数据的当前块。
在以下实施例中描述了另外的实施方案和技术。
1.一种视频处理方法，包括：生成或接收表示视频数据的块的比特流，其中，所述视频数据的块是基于仿射线性加权帧内预测(ALWIP)进行编解码的，并且其中，在比特流中以第一顺序顺序地对ALWIP的边信息和量化残差块差分脉冲编解码调制(QR-BDPCM)的边信息进行编解码。
2.根据示例1的方法，其中，第一顺序指示ALWIP的边信息在QR-BDPCM的边信息之后被编码。
3.根据示例2的方法，其中，在视频数据的块的处理中基于QR-BDPCM的使用对ALWIP的边信息进行编解码。
4.根据示例1的方法，其中，第一顺序指示在ALWIP的边信息之后对QR-BDPCM的边信息进行编解码。
5.根据示例4的方法，其中，在视频数据的块的处理中基于ALWIP的使用对QR-BDPCM的边信息进行编解码。
6.根据示例1至5中的任一项的方法，其中，QR-BDPCM被应用于用信令通知视频数据的块的残差值。
在第4节的项目1中描述了示例1-6的其他实施例。
7.根据示例1至6中的任一项的方法，其中，在关于一种或多种预测方法的信息之后，在比特流中对视频数据的块的帧内预测模式进行编解码。
8.根据示例7的方法，其中，一种或多种编解码方法包括以下至少一种：QR-BDPCM、多参考行(MRL)帧内预测、帧内子块分割(ISP)或广角帧内预测。
在第4节的项目2中描述了示例7-8的其他实施例。
9.根据示例1到8中的任一项的方法，其中，基于来自最可能模式(MPM)列表的候选来对视频数据的块进行编解码。
10.根据示例9的方法，其中比，特流包括以下至少一种：指示来自MPM列表中的候选是否首先被编解码的第一语法元素、指示候选是否为所述MPM列表中的第一候选或候选是否是处于平面模式的第二语法元素、指示MPM列表中剩余候选的MPM索引的第三语法元素、或指示允许的帧内预测模式列表中的帧内预测模式索引的第四语法元素。
11.根据示例10的方法，其中，第一、第二、第三或第四语法元素的值范围是基于帧内预测方法或块维度来确定的。
在第4节的项目3-4中描述了示例9-11的其他实施例。
12.一种视频处理方法，包括：生成或接收表示视频数据的块的比特流，其中，使用仅具有两种帧内预测模式的帧内预测方法对视频数据的块进行编解码。
13.根据示例12的方法，其中，基于最可能模式(MPM)列表的前两个模式来确定两个帧内预测模式。
14.根据示例12的方法，其中，帧内预测方法包括以下各项中的至少一项：多参考行(MRL)帧内预测、仿射线性加权帧内预测(ALWIP)、帧内子块分割(ISP)或广角帧内预测。
在第4节的项目6中描述了示例12-13的其他实施例。
15.根据示例12的方法，其中，帧内预测方法是子块内分割(ISP)，并且其中，将视频数据的块的参考样点用于预测块的当前子分割。
16.根据示例15的方法，其中，通过在水平方向上对块进行分割来获得当前子分割，并且其中，参考样点包括该块的右上方参考样点。
17.根据示例15的方法，其中，通过在垂直方向上对块进行分割来获得当前子分割，并且其中，参考样点包括该块的左下方参考样点。
18.根据示例15至17中的任一项的方法，其中，块的参考样点被用作当前子分割的参考样点。
19.根据示例15至17中的任一项的方法，其中，基于块的参考样点的分数位置来确定当前子分割的参考样点。
在第4节的项目7中描述了示例14-19的其他实施例。
20.一种视频处理方法，包括：通过检查当前块的临近块的集合，为视频数据的多个块中的当前块构造最可能模式(MPM)列表，其中通过使用分割模式对视频单元进行分割而生成多个块，其中，基于该分区模式确定临近块的集合；使用MPM列表中的候选来对视频数据的当前块进行编解码；以及生成表示视频数据的当前块的比特流。
21.一种视频处理方法，其包括：接收表示视频数据的多个块的比特流，其中，使用来自最可能模式(MPM)列表的候选在比特流中对视频数据的当前块进行编解码，其中通过检查当前块的临近块的集合来构造MPM列表，其中通过使用分割模式对视频单元进行分割来生成多个块，并且其中基于该分割模式来确定临近块的集合；以及使用比特流重构视频数据的当前块。
22.根据示例20或21的方法，其中，临近块的集合具有与当前块不同的父块。
23.根据示例20或21的方法，其中，分割模式包括以下至少一种：垂直二元划分模式、水平二元划分模式、垂直三元划分模式或水平三元划分模式。
在第4节的项目8中描述了示例20-23的其他实施例。
24.一种视频处理装置，其包括被配置为实现示例1至示例23中的一个或多个的处理器。
25.一种其上存储有代码的计算机可读介质，该代码在由处理器执行时使处理器实现示例1至23中的任何一个或多个方法。
图26是示出其中可实现本文中所公开的各种技术的示例视频处理系统2600的框图。各种实施方式可以包括系统2600的一些或全部组件。系统2600可以包括用于接收视频内容的输入2602。视频内容可以以原始或未压缩的格式(例如8或10位多分量像素值)接收，或者可以以压缩或编解码的格式接收。输入2602可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。
系统2600可以包括可以实现本文中描述的各种编码或编解码方法的编码组件2604。编码组件2604可以减少从编码组件2604的输入2602到输出的视频的平均比特率，以生成视频的编码表示。因此，编解码技术有时称为视频压缩或视频转码技术。如组件2606所表示的，编码组件2604的输出可以被存储或经由所连接的通信来发送。在输入2602处接收的视频的存储或传送的比特流(或编码)表示可以被组件2608使用，以生成被发送到显示接口2610的像素值或可显示视频。从比特流表示中生成用户可见视频的过程有时称为视频解压缩。此外，尽管某些视频处理操作被称为“编码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由编码器执行反向编码结果的相应解码工具或操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或Displayport等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型计算机、智能电话或其他能够执行数字数据处理和/或视频显示的设备。
图27是表示根据本技术的用于视频处理的方法2700的流程图。方法2700包括，在操作2710，对于在视频的块和视频的比特流表示之间的转换，确定在所述比特流表示中对基于矩阵的帧内预测(MIP)编解码技术的信息进行编解码的方式。使用MIP编解码技术，使用MIP编解码技术、基于对所述视频的先前编解码样点执行矩阵矢量乘法运算来确定所述块的预测块。该方法2700还包括，在操作2720，基于所述确定执行所述转换。
在一些实施例中，所述方式指定所述MIP编解码技术的信息是相对于量化残差块差分脉冲编解码调制(QR-BDPCM)编解码技术进行编解码的，其中所在述QR-BDPCM编解码技术中，不将变换应用于预测误差，并且使用包括所述块的图片内的样点来生成预测。在一些实施例中，MIP编解码技术或QR-BDPCM编解码技术中的一种仅适用于所述块。在一些实施例中，在将MIP编解码技术应用于所述块的情况下，在所述比特流表示中省略所述QR-BDPMC编解码技术的边信息。在一些实施例中，在将QR-BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中省略所述MIP编解码技术的边信息。
在一些实施例中，所述MIP编解码技术和所述QR-BDPCM编解码技术均适用于所述块。在一些实施例中，所述转换包括在帧内预测处理中使用所述MIP编解码技术，并且，根据所述QR-BDPCM编解码技术，在所述比特流表示中对所述块的残差信息进行编解码。
在一些实施例中，所述方式指定在用于所述QR-BDPCM编解码技术的边信息之后对用于所述MIP编解码技术的边信息进行编解码。在一些实施例中，基于所述QR-BDPCM编解码技术的使用对所述MIP编解码技术的边信息进行编解码。在一些实施例中，在将所述QR-BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中省略所述MIP编解码技术的边信息。在一些实施例中，在未将所述QR-BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中存在所述MIP编解码技术的边信息。
在一些实施例中，在将所述QR-BDPCM编解码技术应用于所述块的情况下，在所述比特流表示中省略所述MIP编解码技术的边信息的第一部分，并在所述比特流表示中对所述MIP编解码技术的边信息的第二部分进行编解码。在一些实施例中，所述第一部分包括所述MIP编解码技术的一个或多个预测模式。在一些实施例中，所述第二部分包括关于所述MIP编解码技术的使用的信息。在一些实施例中，在将所述QR-BDPCM编解码技术应用于所述块的情况下，关于所述MIP编解码技术的使用的信息被包括在所述比特流表示中，并且所述MIP编解码技术不适用于所述块。
在一些实施例中，所述方式指定在所述QR-BDPCM编解码技术的边信息之前对所述MIP编解码技术的边信息进行编解码。在一些实施例中，所述方式指定基于用于所述块的所述MIP编解码技术的使用来对所述QR-BDPCM编解码技术的边信息进行编解码。在一些实施例中，在将所述MIP编解码技术应用于所述块的情况下，在所述比特流表示中省略所述QR-BDPCM的边信息。在一些实施例中，在将所述MIP编解码技术应用于所述块并且所述MIP编解码技术的预测模式对应于水平或垂直模式的情况下，在所述比特流表示中省略所述QR-BDPCM编解码技术的边信息的第一部分，并且在所述比特流表示中对用于所述QR-BDPCM编解码技术的边信息的第二部分进行编解码。在一些实施例中，所述用于所述QR-BDPCM编解码技术的边信息的第一部分包括所述QR-BDPCM编解码技术的预测方向。在一些实施例中，所述用于所述QR-BDPCM编解码技术的边信息的第二部分包括所述QR-BDPCM编解码技术的使用。
在一些实施例中，所述QR-BDPCM编解码技术的边信息包括以下中的至少一个：对所述QR-BDPCM编解码技术的使用的指示或预测方向。在一些实施例中，所述MIP编解码技术的边信息包括以下中的至少一个：对所述MIP编解码技术的使用的指示、所述MIP编解码技术是否转置针对亮度样点的输入矢量的指示、或预测模式的指示。在一些实施例中，在将所述MIP编解码技术应用于所述块的情况下，将关于所述QR-BDPCM编解码技术的使用的信息包括在所述比特流表示中，并且所述QR-BDPCM编解码技术不适用于所述块。
在一些实施例中，所述方式指定相对于一种或多种帧内编解码技术对所述MIP编解码技术的信息进行编解码。在一些实施例中，所述方式指定：在使用所述MIP编解码技术对所述块进行编解码的情况下，在与所述一种或多种帧内编解码技术有关的信息之后对所述块的帧内预测模式进行编解码。在一些实施例中，所述一种或多种帧内编解码技术包括以下至少一种：QR-BDPCM编解码技术、脉冲编解码调制(PCM)编解码技术、多参考行(MRL)编解码技术、帧内子块分割(ISP)编解码技术、广角帧内预测编解码技术或常规的帧内编解码技术。在一些实施例中，所述方式指定针对所述块的所述MIP编解码技术的帧内预测模式的编码与针对使用所述一种或多种帧内编解码技术进行编解码的另一块的帧内预测模式的编码一致。
在一些实施例中，所述MIP编解码技术的帧内预测模式的编码包括确定所述帧内预测模式是否是最可能模式(MPM)候选列表中的一个。在一些实施例中，所述帧内预测模式是否是最可能模式(MPM)候选列表中的一个被表示为所述比特流表示中的第一语法元素。在一些实施例中，所述MIP编解码技术的帧内预测模式的编码还包括：在所述帧内预测模式是最可能模式(MPM)候选列表中的一个的情况下，确定所述帧内预测模式是否为MPM候选列表中的第一候选。在一些实施例中，所述帧内预测模式是否是MPM候选列表中的第一候选被表示为所述比特流表示中的第二语法元素。
在一些实施例中，所述MIP编解码技术的帧内预测模式的编码还包括：在所述帧内预测模式不是MPM候选列表中的第一候选的情况下，将所述帧内预测模式的MPM索引编码为所述比特流表示中的第三语法元素。在一些实施例中，所述MIP编解码技术的帧内预测模式的编码还包括：在所述帧内预测模式是最可能模式(MPM)候选列表中的一个的情况下，确定所述帧内预测模式是否为平面模式。在一些实施例中，所述帧内预测模式是否为平面模式被表示所述比特流表示中的第四语法元素。在一些实施例中，所述MIP编解码技术的帧内预测模式的编码还包括：在所述帧内预测模式不是平面模式的情况下，将所述帧内预测模式的MPM索引编码为所述比特流表示中的第五语法元素。在一些实施例中，所述MIP编解码技术的帧内预测模式的编码还包括：在所述帧内预测模式不是最可能模式(MPM)候选列表中的一个的情况下，将所允许的帧内模式集合中的所述帧内预测模式的帧内模式索引编码为所述比特流表示中的第六语法元素。
在一些实施例中，在所述比特流表示中有条件地编码所述第一、第二、第三、第四、第五或六语法元素。在一些实施例中，在将所述MIP编解码技术应用于所述块的情况下，在所述比特流表示中省略所述第一语法元素。在一些实施例中，在intra_luma_ref_idx[x0][y0]＝＝0并且没有使用所述ISP编解码技术或所述MIP编解码技术对所述块进行编解码的情况下，将所述第一语法元素包括在所述比特流表示中。在一些实施例中，所述第一、第二、第三、第四、第五或六元素的值基于所述块的维度或适用于所述块的编解码技术。在一些实施例中，在将所述MIP编解码技术应用于所述块的情况下，所述第三或第五语法元素的值是0或1，并且在将另一编解码技术应用于所述块的情况下，所述第三或第五语法元素的值在[0，4]的范围内，包括0和4。在一些实施例中，在未将所述MIP编解码技术应用于所述块的情况下，所述第六语法元素的值在[0，60]的范围内，包括0和60，在将所述MIP编解码技术应用于所述块、所述块的维度为4x4的情况下，所述第六语法元素的值在[0，31]的范围内，包括0和31，在将所述MIP编解码技术应用于所述块、所述块的宽度小于或等于8且高度小于或等于8的情况下，所述第六语法元素的值在[0，15]的范围内，包括0和15，以及在将所述MIP编解码技术应用于具有不同维度的块的情况下，所述第六语法元素的值在[0，8]的范围内，包括0和8。
在一些实施例中，在所述一种或多种帧内编解码技术的帧内编解码技术中使用的上下文或语法元素的值基于所述帧内编解码技术。在一些实施例中，不同的帧内编解码技术使用不同尺寸的多个MPM列表。在一些实施例中，不同的帧内编解码技术使用不同数量的MPM候选。在一些实施例中，在所述比特流表示中，对所述第一、第二、第三、第四、第五或第六元素进行上下文编码或旁路编码。
在一些实施例中，基于所述一种或多种帧内编解码技术来选择一个或多个上下文。在一些实施例中，使用两个上下文来对所述比特流表示中的语法元素进行编解码。在一些实施例中，第一上下文用于所述常规的帧内预测编解码技术和所述MIP编解码技术，并且第二上下文用于所述ISP编解码技术。在一些实施例中，第一上下文用于所述ISP编解码技术和所述MIP编解码技术，并且第二上下文用于一种或多种其他编解码技术。在一些实施例中，使用三个上下文来对所述比特流表示中的语法元素进行编解码。在一些实施例中，第一上下文用于所述MIP编解码技术，第二上下文用于所述ISP编解码技术，并且第三上下文用于一种或多种其他编解码技术。
图28是表示根据本技术的用于视频处理的方法2800的流程图。方法2800包括，在操作2810，对于在视频的块和视频的比特流表示之间的转换，确定在使用特定编解码技术对所述块进行编解码的情况下，允许恰好两种帧内预测模式。该方法2800还包括，在操作2820，基于所述确定来执行所述转换。
在一些实施例中，所述特定编解码技术包括帧内子块分割(ISP)编解码技术、多参考行(MRL)编解码技术或基于矩阵的帧内预测(MIP)编解码技术。在一些实施例中，恰好两种帧内预测模式包括在最可能模式(MPM)候选列表中的前两种模式。在一些实施例中，所述恰好两种帧内预测模式的第一模式是平面模式，并且所述恰好两种帧内预测模式的第二模式是从最可能模式(MPM)候选列表中选择的模式。在一些实施例中，所述第二模式是从MPM候选列表中选择的非平面模式。在一些实施例中，在使用所述ISP编解码技术对所述块进行编解码的情况下，在所述比特流表示中省略指示MPM候选列表中的预测模式的索引。
图29是表示根据本技术的用于视频处理的方法2900的流程图。方法2900包括，在操作2910，对于视频的块和视频的比特流表示之间的转换，确定使用所述块的样点或所述块的一个或多个先前编解码的子分割的样点，来执行对所述块的子分割的预测。使用其中将所述块分割为多个子分割的帧内子块分割(ISP)编解码技术对所述块进行编解码，并且基于先前重构的子分割确定每个子分割的预测。多个子分割包括第一子分割和一个或多个内部子分割。该方法2900还包括，在操作2920，基于所述确定执行所述转换。
在一些实施例中，在水平方向上分割所述块，并且，使用位于所述内部子分割的上方和右侧的样点来预测所述一个或多个内部子分割的内部子分割。在一些实施例中，在垂直方向上分割所述块，并且，使用位于所述内部子分割的下方和左侧的样点来预测所述一个或多个内部子分割的内部子分割。在一些实施例中，将所述块的样点复制以用作内部子分割的样点。在一些实施例中，基于所述块的样点来推导内部子分割的样点。在一些实施例中，使用帧内预测编解码技术来推导所述内部子分割的样点。在一些实施例中，在将所述内部子分割的样点投影到所述块的样点的分数位置的情况下，应用双线性插值。在一些实施例中，在将所述内部子分割的样点投影到所述块的样点的分数位置的情况下，将所述分数位置取整到是最接近所述分数位置的可用位置的整数位置。在一些实施例中，在用于预测所述内部子分割之前，对位于所述内部子分割的上方和右侧、或位于所述内部子分割的下方和左侧的样点进行滤波。
图30是表示根据本技术的用于视频处理的方法3000的流程图。方法3000包括，在操作3010，对于视频的当前块与视频的比特流表示之间的转换，确定在最可能模式(MPM)候选列表的构造过程中要检查的所述当前块的第一组临近块与先前编解码的块的第二组临近块不同。所述当前块是被分割为多个子块的父块的子块。该方法3000还包括，在操作3020，基于所述确定执行所述转换。
在一些实施例中，所述当前块包括编码单元。在一些实施例中，基于所述父块被分割的方式来确定所述第一组临近块。在一些实施例中，所述父块被水平划分，并且，在所述当前块不是所述父块的第一子块的情况下，在所述构造过程中检查是另一父块的子块、或位于所述当前块的上方和右侧的临近块。在一些实施例中，所述父块被水平划分，并且，在所述当前块不是所述父块的第一子块的情况下，位于所述当前块上方的临近块的帧内预测模式X在所述比特流表示中表示为(X+off)或(X+off)％T，off和T为整数。
在一些实施例中，所述父块被垂直分割，并且，在所述当前块不是所述父单元的第一子块的情况下，在所述构造过程中检查是另一父块的子块、或位于所述当前块的左右的临近块。在一些实施例中，所述父块被垂直分割，并且，在所述当前块不是所述父块的第一子块的情况下，在所述比特流表示中将位于所述当前块的左侧的临近块的帧内预测模式X表示为(X+off)或(X+off)％T，off和T为整数。
在一些实施例中，在所述MPM候选列表的构造过程中，不可访问所述父块的多个子块。在一些实施例中，从所述MPM候选列表中排除所述父单元的多个子块的帧内预测模式。在一些实施例中，所述父块的所述多个子块的帧内预测模式被不同的模式代替。
在一些实施例中，所述父块的所述多个子块的帧内预测模式的信令基于对所述父块进行分割的方式。在一些实施例中，在所述比特流表示中省略了使用帧内预测编解码技术编解码的子块的帧内预测模式，并且，所述子块的帧内预测模式被认为是非平面模式。
图31是表示根据本技术的用于视频处理的方法3100的流程图。方法3100包括，在操作3110，对于视频的条带的视频块和视频的比特流表示之间的转换，基于是否对所述条带启用帧内子块分割工具，来确定所述视频块允许的分割类型。该方法3100还包括，在操作3120，基于所述确定来执行所述转换。
在一些实施例中，所述分割类型基于所述块的尺寸，并且，在启用所述ISP编解码技术的情况下，禁用所述分割类型。在一些实施例中，所述分割类型基于所述块的尺寸，并且，在启用所述类型分割的情况下，禁用所述ISP技术。
在一些实施例中，所述块的分割包括所述块的水平或垂直分割。在一些实施例中，所述块的分割包括所述块的二元或三元分割。在一些实施例中，所述块的维度是4×8或8×4。在一些实施例中，在禁用所述ISP编解码技术的情况下，在所述比特流表示中省略所述ISP编解码技术的边信息。在一些实施例中，为所述块启用双树分割。在一些实施例中，为所述块启用单树分割。
在一些实施例中，执行所述转换包括基于所述视频的块来生成所述比特流表示。在一些实施例中，执行所述转换包括从所述比特流表示生成所述视频的块。
所公开技术的一些实施例包括做出决策或确定以启用视频处理工具或模式。在示例中，当启用视频处理工具或模式时，编码器将在视频块的处理中使用或实现该工具或模式，但是不一定基于该工具或模式的使用来修改结果比特流。也就是说，从视频块到视频的比特流表示的转换将在基于决策或确定启用视频处理工具或模式时使用视频处理工具或模式。在另一示例中，当启用视频处理工具或模式时，解码器将基于视频处理工具或模式已经知道比特流已被修改的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括作出决策或确定以禁用视频处理工具或模式。在示例中，当禁用视频处理工具或模式时，编码器将在视频块到视频的比特流表示的转换中不使用该工具或模式。在另一示例中，当禁用视频处理工具或模式时，解码器将在知道尚未使用基于决策或确定启用的视频处理工具或模式修改比特流的情况下处理比特流。
本文档中描述公开和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路、或计算机软件、固件或硬件中实现，包括本文档中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明中描述的主题的实现可以实现为一个或多个计算机程序产品，例如，一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标志语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
虽然本专利文件包括许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (18)

1.一种处理视频数据的方法，包括：
对于视频的块和所述视频的比特流之间的转换，确定所述比特流中仅包括与第一编解码模式相关的第一信息和与第二编解码模式相关的第二信息中的一个；以及
基于所述确定执行所述转换，
其中，在所述第一编解码模式中，基于执行矩阵向量乘法操作导出预测样点，
其中，在所述第二编解码模式中，在所述比特流中呈现由所述块的帧内预测导出的量化残差之间的差异，
其中，在所述第一编解码模式中，基于矩阵向量乘法操作之前的所述块的大小，确定将边界下采样操作应用于所述块的相邻样点，并且在所述矩阵向量乘法操作之后选择性地执行上采样操作，并且
其中，所述第一编解码模式包括多种类型，并且在不构建候选列表的情况下确定要使用的类型。
2.根据权利要求1所述的方法，其中在所述第二编解码模式中，跳过变换操作。
3.根据权利要求2所述的方法，其中在所述第二编解码模式中，基于水平帧内编解码模式或垂直帧内编解码模式导出预测样点。
4.根据权利要求3所述的方法，其中在所述第二编解码模式中，使用脉冲编解码调制表示在所述比特流中表示量化残差和所述量化残差的预测器之间的差异。
5.根据权利要求1所述的方法，其中，响应于所述比特流中包括所述第二信息，所述第一信息被从所述比特流中排除。
6.根据权利要求5所述的方法，其中所述第一编解码模式不应用于所述块。
7.根据权利要求1所述的方法，其中只有所述第一编解码模式或所述第二编解码模式中的一种适用于所述块。
8.根据权利要求1所述的方法，其中如何对所述第一信息进行编解码是基于abs( Log2( cbWidth ) – Log2( cbHeight )，其中cbWidth表示所述块的宽度，cbHeight表示所述块的高度，并且abs是绝对值的算法符号。
9.根据权利要求8所述的方法，其中如何对所述第一信息进行编解码是基于abs( Log2( cbWidth ) – Log2( cbHeight )是否大于固定值。
10.根据权利要求1所述的方法，其中所述转换包括将所述块编码到所述比特流中。
11.根据权利要求1所述的方法，其中所述转换包括从所述比特流解码所述块。
12. 一种用于处理视频数据的装置，包括处理器和其上带有指令的非暂时性存储器，其中在所述处理器执行所述指令时，使所述处理器：
对于视频的块和所述视频的比特流之间的转换，确定所述比特流中仅包括与第一编解码模式相关的第一信息和与第二编解码模式相关的第二信息中的一个；以及
根据所述确定执行所述转换，
其中，在所述第一编解码模式中，基于执行矩阵向量乘法操作导出预测样点，
其中，在所述第二编解码模式中，在所述比特流中呈现由所述块的帧内预测导出的量化残差之间的差异，
其中，在所述第一编解码模式中，基于矩阵向量乘法操作之前的所述块的大小，确定将边界下采样操作应用于所述块的相邻样点，并且在所述矩阵向量乘法操作之后选择性地执行上采样操作，并且
其中，所述第一编解码模式包括多种类型，并且在不构建候选列表的情况下确定要使用的类型。
13.根据权利要求12所述的装置，其中，在所述第二编解码模式中，跳过变换操作，其中在所述第二编解码模式中，基于水平帧内编解码模式或垂直帧内编解码模式导出预测样点，并且其中在所述第二编解码模式中，使用脉冲编解码调制表示在所述比特流中表示量化残差和所述量化残差的预测器之间的差异。
14.根据权利要求13所述的装置，其中响应于所述比特流中包括所述第二信息，将所述第一信息从所述比特流中排除，并且所述第一编解码模式不应用于所述块。
15.一种非暂时性计算机可读存储介质，用于存储使处理器执行以下操作的指令：
对于视频的块和所述视频的比特流之间的转换，确定所述比特流中仅包括与第一编解码模式相关的第一信息和与第二编解码模式相关的第二信息中的一个；以及
根据所述确定执行所述转换，
其中，在所述第一编解码模式中，基于执行矩阵向量乘法操作导出预测样点，
其中，在所述第二编解码模式中，在所述比特流中呈现由所述块的帧内预测导出的量化残差之间的差异，
其中，在所述第一编解码模式中，基于矩阵向量乘法操作之前的所述块的大小，确定将边界下采样操作应用于所述块的相邻样点，并且在所述矩阵向量乘法操作之后选择性地执行上采样操作，并且
其中，所述第一编解码模式包括多种类型，并且在不构建候选列表的情况下确定要使用的类型。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，其中，在所述第二编解码模式中，跳过变换操作，其中在所述第二编解码模式中，基于水平帧内编解码模式或垂直帧内编解码模式导出预测样点，并且其中在所述第二编解码模式中，使用脉冲编解码调制表示在所述比特流中表示量化残差和所述量化残差的预测器之间的差异。
17.根据权利要求15所述的非暂时性计算机可读存储介质，其中响应于所述比特流中包括所述第二信息，将所述第一信息从所述比特流中排除，并且所述第一编解码模式不应用于所述块。
18.一种用于存储比特流的方法，包括：
确定所述比特流中仅包括与第一编解码模式相关的第一信息和与第二编解码模式相关的第二信息中的一个；
根据所述确定生成所述比特流；以及
将所述比特流存储在非暂时性计算机可读介质中，
其中，在所述第一编解码模式中，基于执行矩阵向量乘法操作导出预测样点，
其中，在所述第二编解码模式中，在所述比特流中呈现由所述块的帧内预测导出的量化残差之间的差异，
其中，在所述第一编解码模式中，基于矩阵向量乘法操作之前的所述块的大小，确定将边界下采样操作应用于所述块的相邻样点，并且在所述矩阵向量乘法操作之后选择性地执行上采样操作，并且
其中，所述第一编解码模式包括多种类型，并且在不构建候选列表的情况下确定要使用的类型。
CN202080035376.XA 2019-05-11 2020-05-11 多种帧间编解码方法之间的交互 Active CN113812155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311244758.5A CN117176965A (zh) 2019-05-11 2020-05-11 用于视频处理的方法、设备和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019086489 2019-05-11
CNPCT/CN2019/086489 2019-05-11
PCT/CN2020/089559 WO2020228663A1 (en) 2019-05-11 2020-05-11 Interactions among multiple intra coding methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311244758.5A Division CN117176965A (zh) 2019-05-11 2020-05-11 用于视频处理的方法、设备和系统

Publications (2)

Publication Number Publication Date
CN113812155A CN113812155A (zh) 2021-12-17
CN113812155B true CN113812155B (zh) 2023-10-27

Family

ID=73289833

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080035376.XA Active CN113812155B (zh) 2019-05-11 2020-05-11 多种帧间编解码方法之间的交互
CN202311244758.5A Pending CN117176965A (zh) 2019-05-11 2020-05-11 用于视频处理的方法、设备和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311244758.5A Pending CN117176965A (zh) 2019-05-11 2020-05-11 用于视频处理的方法、设备和系统

Country Status (6)

Country Link
US (2) US11509904B2 (zh)
EP (1) EP3949403A4 (zh)
JP (1) JP2022531435A (zh)
KR (1) KR20220006055A (zh)
CN (2) CN113812155B (zh)
WO (1) WO2020228663A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365051B (zh) * 2019-03-09 2022-04-08 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
EP3977732A1 (en) * 2019-05-31 2022-04-06 InterDigital VC Holdings, Inc. Transform selection for implicit multiple transform selection
BR112021025591A2 (pt) * 2019-06-19 2022-02-01 Lg Electronics Inc Codificação de informação sobre conjunto de núcleo de transformada
EP3886435A4 (en) 2019-06-25 2022-01-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. MAPPING PROCESS, ENCODER, DECODER AND COMPUTER STORAGE MEDIA
US11863752B2 (en) * 2020-12-28 2024-01-02 Qualcomm Incorporated Most probable modes for intra prediction for video coding
US20220337875A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Low memory design for multiple reference line selection scheme
WO2023193806A1 (en) * 2022-04-08 2023-10-12 Mediatek Inc. Method and apparatus using decoder-derived intra prediction in video coding system
WO2024039209A1 (ko) * 2022-08-17 2024-02-22 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN103765892A (zh) * 2011-06-28 2014-04-30 三星电子株式会社 使用帧内预测对视频编码的方法和设备及对视频解码的方法和设备
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
CN107087197A (zh) * 2010-08-17 2017-08-22 M&K控股株式会社 用于编码运动图片的设备
CN107787583A (zh) * 2015-06-23 2018-03-09 高通股份有限公司 在块内复制模式中的参考图片列表构建
CN112956195A (zh) * 2018-09-25 2021-06-11 数字洞察力有限公司 用于基于帧间模式对图像进行编码或解码的方法和装置
CN113678440A (zh) * 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测与其它编码工具之间的交互

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311095B2 (en) * 2002-07-17 2012-11-13 Onmobile Global Limited Method and apparatus for transcoding between hybrid video codec bitstreams
KR101091792B1 (ko) 2007-04-17 2011-12-08 노키아 코포레이션 피드백 기반 스케일러블 비디오 코딩
US8693795B2 (en) * 2010-10-01 2014-04-08 Samsung Electronics Co., Ltd. Low complexity secondary transform for image and video compression
CN102075763A (zh) * 2010-12-31 2011-05-25 北京大学深圳研究生院 用于视频编码器的帧内子块预测电路及其实现方法
US9894353B2 (en) * 2011-06-13 2018-02-13 Sun Patent Trust Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US9479778B2 (en) * 2012-08-13 2016-10-25 Qualcomm Incorporated Device and method for coding video information using base layer motion vector candidate
EP2932472B1 (en) 2012-12-14 2018-07-18 Qualcomm Incorporated Inside view motion prediction among texture and depth view components with asymmetric spatial resolution
US9615090B2 (en) 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
WO2014110452A1 (en) * 2013-01-11 2014-07-17 Futurewei Technologies Co., Ltd. Method and apparatus of depth prediction mode selection
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9369708B2 (en) 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10097839B2 (en) * 2014-12-19 2018-10-09 Qualcomm Incorporated Palette mode for subsampling format
EP3254463A4 (en) 2015-02-06 2018-02-21 Microsoft Technology Licensing, LLC Skipping evaluation stages during media encoding
CN108353193B (zh) * 2015-08-19 2022-07-15 Lg 电子株式会社 基于多个基于图的模型处理视频数据的方法和设备
KR20190015216A (ko) * 2016-05-05 2019-02-13 브이아이디 스케일, 인크. 인트라 코딩을 위한 제어 포인트 기반의 인트라 방향 표현
US11722677B2 (en) 2016-05-06 2023-08-08 Interdigital Madison Patent Holdings, Sas Method and system for decoder-side intra mode derivation for block-based video coding
US10462462B2 (en) * 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
US11356693B2 (en) * 2016-09-29 2022-06-07 Qualcomm Incorporated Motion vector coding for video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10805641B2 (en) * 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
JP7168593B2 (ja) * 2017-07-03 2022-11-09 ヴィド スケール インコーポレイテッド 双方向オプティカルフローに基づいた動き補償予測
CN116744017A (zh) * 2017-08-29 2023-09-12 Sk电信有限公司 视频编码装置、视频解码装置和存储比特流的方法
CA3210247A1 (en) * 2017-12-15 2019-06-20 Lg Electronics Inc. Image coding method on basis of transformation and device therefor
SG11202104480RA (en) * 2018-11-05 2021-05-28 Beijing Bytedance Network Technology Co Ltd Interpolation for inter prediction with refinement
JP7267461B2 (ja) * 2019-05-10 2023-05-01 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
CN114073087A (zh) * 2019-05-10 2022-02-18 弗劳恩霍夫应用研究促进协会 基于矩阵的内预测

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN107087197A (zh) * 2010-08-17 2017-08-22 M&K控股株式会社 用于编码运动图片的设备
CN103765892A (zh) * 2011-06-28 2014-04-30 三星电子株式会社 使用帧内预测对视频编码的方法和设备及对视频解码的方法和设备
CN107483932A (zh) * 2011-06-28 2017-12-15 三星电子株式会社 对视频数据进行编码的方法和设备
CN107787583A (zh) * 2015-06-23 2018-03-09 高通股份有限公司 在块内复制模式中的参考图片列表构建
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
CN112956195A (zh) * 2018-09-25 2021-06-11 数字洞察力有限公司 用于基于帧间模式对图像进行编码或解码的方法和装置
CN113678440A (zh) * 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测与其它编码工具之间的交互
CN113678453A (zh) * 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CE3: Affine linear weighted intra prediction;Jonathan Pfaff.etal;《Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20190327;第1-2节 *
CE8-related: Quantized residual BDPCM;Marta Karczewicz etal;《Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20190327;第1节 *
Encoding algorithm optimizations (AHG10);Alberto Duenas;Joint Video Experts Team (JVET);全文 *

Also Published As

Publication number Publication date
JP2022531435A (ja) 2022-07-06
US20220038706A1 (en) 2022-02-03
WO2020228663A1 (en) 2020-11-19
EP3949403A1 (en) 2022-02-09
EP3949403A4 (en) 2022-06-22
CN113812155A (zh) 2021-12-17
US20230096273A1 (en) 2023-03-30
US11876971B2 (en) 2024-01-16
KR20220006055A (ko) 2022-01-14
US11509904B2 (en) 2022-11-22
CN117176965A (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN113812162B (zh) 视频中的简化二次变换的上下文建模
CN113812155B (zh) 多种帧间编解码方法之间的交互
CN114208190B (zh) 视频编解码中缩减二次变换的矩阵的选择
CN113875233B (zh) 使用上采样的基于矩阵的帧内预测
CN113785588A (zh) 基于矩阵的帧内预测的色度编解码模式确定
CN113711597B (zh) 上下文建模和多重变换矩阵的选择
CN113728647A (zh) 基于矩阵的帧内预测的上下文编码
CN113812150A (zh) 使用滤波的基于矩阵的帧内预测
CN113950828A (zh) 视频比特流中的简化二次变换的有条件信令
CN113853791B (zh) 数字视频中的变换旁路编解码残差块
CN114641997A (zh) 基于颜色分量的语法信令通知和解析
TW202023279A (zh) 與擴展四叉樹相關的分割的二值化
CN117319649A (zh) 经变换跳过的块的残差编解码
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
CN113728631B (zh) 帧内子块分割和多变换选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant