CN113728641B - 在视频编解码中有条件地使用多重变换矩阵 - Google Patents

在视频编解码中有条件地使用多重变换矩阵 Download PDF

Info

Publication number
CN113728641B
CN113728641B CN202080030895.7A CN202080030895A CN113728641B CN 113728641 B CN113728641 B CN 113728641B CN 202080030895 A CN202080030895 A CN 202080030895A CN 113728641 B CN113728641 B CN 113728641B
Authority
CN
China
Prior art keywords
transform
block
mts
mode
current video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080030895.7A
Other languages
English (en)
Other versions
CN113728641A (zh
Inventor
张莉
张凯
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202311108576.5A priority Critical patent/CN116896634A/zh
Publication of CN113728641A publication Critical patent/CN113728641A/zh
Application granted granted Critical
Publication of CN113728641B publication Critical patent/CN113728641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

描述了包括上下文建模和多重变换矩阵的选择的用于数字视频编解码的设备、系统和方法。用于视频处理的示例性方法包括：为视频的当前视频块和所述视频的比特流表示之间的转换，确定从所述比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示，并且其中，所述当前视频块使用帧内块复制模式编解码；以及执行所述转换，其中，所述指示位于序列参数集、图片参数集、片组标头、条带标头、图片标头、片标头、编解码树单元行、或视频数据单元中，并且其中，所述MTS操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。

Description

在视频编解码中有条件地使用多重变换矩阵
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2019年4月23日提交的国际专利申请号No.PCT/CN2019/083844的优先权和利益。根据法律规定的目的，将上述申请的全部公开以参考方式并入本文，作为本申请公开的一部分。
技术领域
本专利文件涉及视频编解码技术、设备和系统。
背景技术
尽管在视频压缩方面取得了进步，但在互联网和其他数字通信网络中，数字视频仍然是使用带宽最多的。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
发明内容
描述了与数字视频编解码相关的设备、系统和方法，特别是与用于视频编解码的上下文建模和多重变换矩阵的选择相关的设备、系统和方法。所述方法可应用于现有视频编码标准(例如，高效视频编码(HEVC))和未来视频编码标准(例如，多功能视频编码(VVC))或编解码器。
在一个代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：为视频的当前视频块和视频的比特流表示之间的转换，确定从比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示，并且其中，当前视频块使用帧内块复制(IBC)模式编解码；以及执行所述转换，其中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，并且其中，MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
在另一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：基于视频的当前视频块的所述编解码模式，做出关于多重变换选择(MTS)操作的选择性应用的决定；以及基于所述决定执行当前视频块与视频的比特流表示之间的转换，其中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：基于当前视频块的特性，配置用于对多重变换选择(MTS)操作的至少一个指标进行编解码的上下文模型；以及基于所述配置执行当前视频块和包含当前视频块的视频的比特流表示之间的转换，其中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：在当前视频块和包含当前视频块的视频的比特流表示之间的转换期间，确定所述转换包括多重变换选择(MTS)操作；以及基于所述确定，对MTS操作的矩阵的一个或多个水平指标和一个或多个垂直指标进行独立编解码，其中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：为视频的当前视频块和视频的比特流表示之间的转换，配置使用帧内块复制(IBC)模式编解码的当前视频块的多重变换选择(MTS)操作中的变换类型的指示；以及执行所述转换，其中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行或视频数据单元中，并且其中，MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：为视频的当前视频块和视频的比特流表示之间的转换，确定是否从当前视频块的比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示；以及执行所述转换，其中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，其中，所述确定基于非零编解码系数的最后位置，并且其中，MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：为视频的当前视频块和视频的比特流表示之间的转换，配置将多重变换选择(MTS)操作用于当前视频块的色度分量的指示；以及执行所述转换，其中，所述配置基于当前视频块的颜色格式，并且其中，MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：为视频的当前视频块和视频的比特流表示之间的转换，确定将子块变换(SBT)操作应用于当前视频块；以及通过使用多重变换选择(MTS)操作来执行所述转换，其中，SBT操作包括位置相关的变换操作，并且其中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
在又一代表性方面，所公开的技术可用于提供一种用于视频处理的方法。该方法包括：基于视频的当前视频块的颜色格式，做出关于对当前视频块的色度分量选择性地应用帧内子块分割(ISP)操作的决定；以及基于所述决定执行当前视频块与视频的比特流表示之间的转换，其中，ISP操作包括：垂直或水平地将块划分为具有至少预定数量的样点的子分割。
在又一代表性方面，上述方法以处理器可执行代码的形式实施，并且存储在计算机可读的程序介质中。
在又一代表性方面，公开了一种设备，其被配置为或可操作以执行上述方法。该设备可以包括被编程以实现该方法的处理器。
在又一代表性方面，一种视频解码器装置，其可以实现如本文所述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述方面、以及其他方面和特征。
附图说明
图1示出了JEM中的次级变换的示例。
图2示出了提出的缩减的次级变换(RST)的示例。
图3示出了子块变换模式SBT-V和SBT-H的示例。
图4示出了4×8和8×4块的划分的示例。
图5示出了4×8、8×4和4×4之外的所有块划分的示例。
图6示出了将4×8样点的块划分为两个独立可解码区域的示例。
图7示出了使用垂直预测器最大化4×N块的吞吐量的像素行的处理顺序的示例。
图8A-8I示出了视频处理的示例方法的流程图。
图9是用于实现本文中描述的视觉媒体解码或视觉媒体编解码技术的硬件平台的示例的框图。
图10是可以实现所公开的技术的示例性视频处理系统的框图。
具体实施方式
所公开技术的实施例可以应用于现有的视频编解码标准(例如，HEVC，H.265)和未来的标准，以提高压缩性能。为了提高描述的可读性，在本文中使用了章节标题，并且不以任何方式将讨论或实施例(和/或实现)仅限于各个章节。
2.视频编解码介绍
由于对高分辨率视频的需求持续增长，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且正在不断改进以提供更高的编解码效率。视频编解码器将未压缩的视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率决定)、编码和解码算法的复杂度、对数据丢失和错误的敏感度、易于编辑、随机访问和端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定的多功能视频编码(VVC)标准，或其他当前和/或未来的视频编码标准。
视频编码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262开始，视频编码标准基于混合视频编码结构，其中利用了时域预测加变换编码。为探索HEVC之外的未来视频编码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的多功能视频编码(VVC)标准。
2.1离散正弦变换族
离散正弦变换家族包括著名的离散傅里叶(Fourier)、余弦(cosine)、正弦(sine)和Karhunen-Loeve(在一阶Markov条件下)变换。在所有成员中，有8种基于余弦函数的变换和8种基于正弦函数的变换，分别是DCT-I、II、…、VIII和DST-I、II、…、VIII。离散余弦和正弦变换的这些变体源于它们对应的对称周期序列的不同对称性。提出的方法中使用的选定类型的DCT和DST的变换基础函数如下表1所示。
表1：N点输入的DCT-II/V/VIII和DST-I/VII的变换基础函数
2.2 HEVC/H.265中的变换设计
HEVC标准指定了尺寸为4×4、8×8、16×16和32×32的核心变换矩阵，其用于基于块的运动补偿视频压缩的上下文中的二维变换。与先前的视频编码标准一样，HEVC为所有变换尺寸指定了类似于逆离散余弦变换(IDCT)的二维变换。多重变换尺寸提高了压缩性能，但也增加了实现的复杂性。
众所周知，离散正弦变换VII(DST-VII)在预测方向上比DCT-II更接近最优变换。在HEVC中，采用4×4DST-VII对亮度帧内预测残差进行编解码。
使用双黑体括号来标注与标准(例如，VTM-2标准)相比的差异，即((a))表示添加了“a”。
7.3.2.3.1通用图片参数集RBSP语法
7.3.2.3.2图片参数集范围扩展语法
7.3.8.11残差编码语法
transform_skip_rotation_enabled_flag等于1指定对使用变换跳过操作编码的帧内4x4块的残差数据块应用旋转。transform_skip_rotation_enabled_flag等于0指定不应用旋转。当不存在时，将transform_skip_rotation_enabled_flag的值推断为等于0。
transform_skip_context_enabled_flag等于1指定将特定上下文用于使用跳过变换的变换块的sig_coeff_flag的解析。
transform_skip_context_enabled_flag等于0指定在该标志的上下文选择中不使用变换块的变换跳过或变换旁路的存在或不存在。当不存在时，将transform_skip_context_enabled_flag的值推断为等于0。
2.3 VVC工作草案3中的MTS
在多重变换选择(MTS)技术中，预先定义了一组可供选择的变换。编解码器被授权从多个预定义候选中选择变换，并显式地将选择信令通知到比特流中。这是由即使对于单一的预测方向残差统计仍然会显著变化的观察驱动的。
2.3.1 VTM3中的多重变换选择
在当前的VVC设计中，MTS适用于宽度和高度都小于或等于64的亮度编解码单元(CU)，并且MTS是否适用由名为tu_mts_flag的CU级标志控制。当CU级标志等于0时，在CU中应用默认变换DCT-II来对残差进行编解码。对于启用MTS的CU内的亮度编解码块，信令通知两个附加标志来分别标识要使用的水平和垂直变换。每个标志用一比特编解码，以指示是使用DST-VII还是DCT-VIII。
除DCT-2变换外，还可以采用DST-7和DCT-8变换。对于水平或垂直变换，将名为mts_idx的1比特标志发送到解码器侧。mts_idx与变换矩阵之间的映射如表2所示。
表2：允许的变换矩阵列表
2.3.2 MTS的语法元素
7.3.2.1序列参数集RBSP语法
7.3.4.10变换单元语法
7.3.4.11残差编解码语法
2.3.3 MTS语法元素的语义
sps_mts_intra_enabled_flag等于1指定tu_mts_flag可以存在于帧内编解码单元的残差编解码语法中。sps_mts_intra_enabled_flag等于0指定帧内编解码单元的残差编解码语法中不存在tu_mts_flag。
sps_mts_inter_enabled_flag等于1指定tu_mts_flag可以存在于帧间编解码单元的残差编解码语法中。sps_mts_inter_enabled_flag等于0指定帧间编解码单元的残差编解码语法中不存在tu_mts_flag。
tu_mts_flag[x0][y0]等于1指定将多重变换选择应用于相关联的亮度变换块的残差样点。tu_mts_flag[x0][y0]等于0指定不将多重变换选择应用于相关联的亮度变换块的残差样点。数组索引x0，y0指定所考虑的变换块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)。
当tu_mts_flag[x0][y0]不存在时，将其推断为等于0。
mts_idx[x0][y0][cIdx]指定将哪些变换内核应用于沿当前变换块的水平和垂直方向的残差样点。数组索引x0，y0指定所考虑的变换块的左上亮度样点相对于图片的左上亮度样点的位置(x0，y0)，数组索引cIdx指定颜色分量的指示符；对于亮度它等于0，对于Cb它等于1，并且对于Cr它等于2。
当mts_idx[x0][y0][cIdx]不存在时，将其推断为等于-1。
表8-9取决于mts_idx[x][y][cIdx]的trTypeHor和trTypeVer的规范
2.4 MTS的新进展(根据VVC工作草案4)
2.4.1 JVET-L0134
由于帧内预测误差信号的分布似乎与块的形状相关，因此提出了基于变换块的宽度和高度来为不同方向选择变换。更准确地说，提出了对变换块的较短边使用DST7，并且对块的较长边使用DCT2。对于正方形块，提出了对水平和垂直变换都使用DCT2。
表3：提出的变换推导和信令表(其中使用粗体双括号标注了与VTM-2的差异)
2.4.2 JVET-M0464
新的联合语法元素tu_mts_idx使用截断的一元二值化，而不是先分析MTS标志、然后分析变换跳过(TS)标志、然后使用2个二进制数对MTS指标进行固定长度编解码。第一个二进制数指示TS，第二个二进制数指示MTS标志并且全部遵循MTS指标。完整的语义和二值化如下表所示：
上下文模型的数量没有改变，并且将上下文索引增量ctxInc如下分配给tu_mts_idx的每个二进制数如下：
2.4.3 JVET-M0303中的隐式MTS
由于帧内预测误差信号的分布似乎与块的形状相关，因此提出了基于变换块的宽度和高度来为不同方向选择变换。更准确地说，提出了对变换块的较短边使用DST7，并且对块的较长边使用DCT2。对于正方形块，当对序列启用MTS时，提出了对水平和垂直变换都使用DCT2；如果对序列禁用MTS，则都使用DST7。形状自适应性仅用于用空域预测模式预测的帧内块。
2.4.4最新VVC工作草案中的语法、语义和解码处理
2.4.4.1语法设计
7.3.2.1序列参数集RBSP语法
7.3.6.10变换单元语法
/>
2.4.4.2语义
sps_mts_enabled_flag等于1指定序列参数集RBSP语法中存在sps_explicit_mts_intra_enabled_flag，并且序列参数集RBSP语法中存在sps_explicit_mts_inter_enabled_flag。sps_mts_enabled_flag等于0指定序列参数集RBSP语法中不存在sps_explicit_mts_intra_enabled_flag，并且序列参数集RBSP语法中不存在sps_explicit_mts_inter_enabled_flag。
sps_explicit_mts_intra_enabled_flag等于1指定用于帧内编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_intra_enabled_flag等于0指定用于帧内编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_intra_enabled_flag的值等于0。
sps_explicit_mts_inter_enabled_flag等于1指定用于帧间编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_inter_enabled_flag等于0指定用于帧间编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_inter_enabled_flag的值等于0。
2.4.4.3解码处理
根据以下规则来确定是否启用隐式MTS：
变量implicitMtsEnabled导出如下：
-如果sps_mts_enabled_flag等于1且下列条件之一为真，则将implicitMtsEnabled设置为1：
-IntraSubPartitionsSplitType不等于ISP_NO_SPLIT；
-cu_sbt_flag等于1且Max(nTbW,nTbH)小于或等于32；
-sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag都等于0且CuPredMode[xTbY][yTbY]等于MODE_INTRA；
-否则，将implicitMtsEnabled设置为等于0。
指定水平变换内核的变量trTypeHor和指定垂直变换内核的变量trTypeVer导出如下：
-如果cIdx大于0，则将trTypeHor和trTypeVer设置为等于0。
-否则，如果implicitMtsEnabled等于1，则以下适用：
-如果IntraSubPartitionsSplitType不等于ISP_NO_SPLIT，则在表8-15中取决于intraPredMode来指定trTypeHor和trTypeVer；
-否则，如果cu_sbt_flag等于1,则在表8-14取决于cu_sbt_horizontal_flag和cu_sbt_pos_flag来指定trTypeHor和trTypeVer；
-否则(sps_explicit_mts_intra_enabled_flag和sps_explicit_mts_inter_enabled_flag都等于0),则trTypeHor和trTypeVer导出如下：
trTypeHor＝(nTbW>＝4&&nTbW<＝16&&nTbW<＝nTbH)？1:0 (8-1030)
trTypeVer＝(nTbH>＝4&&nTbH<＝16&&nTbH<＝nTbW)？1:0 (8-1031)
-否则，在表8-13中取决于tu_mts_idx[xTbY][yTbY]来指定trTypeHor和trTypeVer。
表8-13取决于tu_mtsi_idx[x][y]的trTypeHor和trTypeVer的规范
tu_mts_idx[x0][y0] 0 1 2 3 4
trTypeHor 0 1 2 1 2
trTypeVer 0 1 1 2 2
2.4.5缩减的次级变换
在JEM中，在正向初级变换和量化(在编码器处)之间、以及去量化和逆向主变换(在解码器侧)之间应用次级变换。如图1所示，根据块尺寸执行4x4(或8x8)次级变换。例如，对于小块(即min(宽度，高度)<8)，应用4x4次级变换；对于较大块(即min(宽度，高度)>4)，每个8x8块应用8x8次级变换。
对于次级变换，应用不可分离变换，因此也被称为不可分离次级变换(NSST)。总共有35个变换集，并且每个变换集使用3个不可分离变换矩阵(内核，每个内核具有16x16的矩阵)。
在JVET-K0099中引入了缩减的次级变换(RST)，并且在JVET-L0133中，根据帧内预测方向引入了4个变换集(而不是35个变换集)映射。在该贡献中，将16x48和16x16矩阵分别用于8x8和4x4块。为了便于标注，将16x48变换表示为RST8x8，并且将16x16变换表示为RST4x4。这种方法最近被VVC采用。
次级正向和逆向变换是与初级变换分离的处理步骤。
对于编码器，首先执行初级正向变换，然后执行次级正向变换和量化，以及CABAC比特编码。对于解码器，首先进行CABAC比特解码和逆量化，然后进行次级逆变换，然后进行初级逆变换。
RST仅适用于帧内编码TU。
2.5 VVC工作草案5中的MTS
在最新的VVC工作草案中，语义和语法表未对准。
7.3.2.3序列参数集RBSP语法
/>
/>
7.3.7.10变换单元语法
/>
sps_explicit_mts_intra_enabled_flag等于1指定用于帧内编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_intra_enabled_flag等于0指定用于帧内编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_intra_enabled_flag的值等于0。
sps_explicit_mts_inter_enabled_flag等于1指定用于帧间编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_inter_enabled_flag等于0指定用于帧间编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_inter_enabled_flag的值等于0。
pred_mode_flag等于0指定当前编解码单元以帧间预测模式编解码。pred_mode_flag等于1指定当前编解码单元以帧内预测模式编解码。变量CuPredMode[x][y](x＝x0..x0+cbWidth-1和y＝y0..y0+cbHeight-1)导出如下：
-如果pred_mode_flag等于0，则将CuPredMode[x][y]设置为等于MODE_INTER。
-否则(pred_mode_flag等于1)，将CuPredMode[x][y]设置为等于MODE_INTRA。
当pred_mode_flag不存在时，在解码I条带时，它被推断为等于1，并且在解码P条带或B条带时，它被推断为等于0。
pred_mode_ibc_flag等于1指定当前编解码单元以IBC预测模式编解码。pred_mode_ibc_flag等于0指定当前编解码单元不以IBC预测模式编解码。当pred_mode_ibc_flag不存在时，在解码I条带时，它被推断为等于sps_ibc_enabled_flag的值，并且在解码P条带或B条带时，它被推断为等于0。
当pred_mode_ibc_flag等于1时，将变量CuPredMode[x][y](x＝x0..x0+cbWidth-1和y＝y0..y0+cbHeight-1)设置为等于MODE_IBC。
2.6子块变换
对于cu_cbf等于1的帧间预测CU，可以信令通知cu_sbt_flag，以指示是否解码整个残差块或残差块的子部分。在前一种情况下，进一步解析帧间MTS信息以确定CU的变换类型。在后一种情况下，用推断出的自适应变换对残差块的部分进行编解码，并将残差块的其它部分归零。不将SBT应用于组合帧间帧内模式。
在子块变换中，将位置相关变换应用于SBT-V和SBT-H中的亮度变换块(色度TB始终使用DCT-2)。SBT-H和SBT-V的两个位置与不同的核心变换相关联。更具体地，图3指定了每个SBT位置的水平和垂直变换。例如，SBT-V位置0的水平和垂直变换分别为DCT-8和DST-7。当残差TU的一侧大于32时，将相应的变换设置为DCT-2。因此，子块变换共同指定残差块的TU片、cbf以及水平和垂直变换，对于块的主要残差在块的一侧的情况，这可以被视为语法快捷方式。
2.7仿射线性加权帧内预测(ALWIP或基于矩阵的帧内预测)
在JVET-N0217提出了仿射线性加权帧内预测(ALWIP，又称基于矩阵的帧内预测(MIP))。
在JVET-N0217中，进行了两次测试。在测试1中，将ALWIP设计为8K字节的内存限制，并且每个样点最多4次乘法。测试2与测试1类似，但在内存需求和模型架构方面进一步缩减了设计。
ο所有块形状的单个模型集合和偏置矢量。
ο所有块形状的模式数量减少至19个。
ο将内存需求减少到5760个10比特值，即720个千字节。
ο在每个方向的单个步骤中执行预测样点的线性插值，替代第一测试中的迭代插值。
2.8帧内子分割(ISP)
在JVET-M0102中提出了ISP，它取决于块尺寸维度将亮度帧内预测块垂直或水平划分为2个或4个子分割，如表4所示。图4和图5示出了这两种可能性的示例。所有子分割满足具有至少16个样点的条件。
表4：取决于块尺寸的子分割的数量
块尺寸 子分割的数量
4×4 不划分
4×8和8×4 2
所有其它情况 4
对于这些子分割中的每一个，通过对编码器发送的系数进行熵解码，然后对其进行逆量化和逆变换来生成残差信号。然后，对子分割进行帧内预测，最后通过将残差信号添加到预测信号中来得到相应的重构样点。因此，每个子分割的重构值将可用于生成下一个子分割的预测，将以此类推重复该处理。所有子分割共享相同的帧内模式。
基于帧内模式和使用的划分，使用两种不同的处理顺序，称为正常顺序和逆向顺序。在正常顺序中，要处理的第一个子分割是包含CU左上角样点的分割，然后继续向下(水平划分)或向右(垂直划分)。结果，用于生成子分割预测信号的参考样点仅位于行的左侧和上方。另一方面，逆向处理顺序要么从包含CU的左下样点的子分割开始并向上继续，要么从包含CU的右上样点的子分割开始并向左继续。
2.9块差分脉冲编解码调制编码(BDPCM)
在JVET-M0057中提出了BDPCM。由于使用左侧(A)(或顶部(B))像素进行当前像素的预测的水平(或垂直)预测器的形状，以最有效的吞吐量处理该块的方式是并行处理一列(或行)的所有像素。并且顺序地处理这些列(或行)。为了提高吞吐量，我们引入了以下处理：当在这个块上选择的预测器是垂直的时，用水平沿将宽度为4的块划分为两半；当在这个块上选择的预测器是水平的时，用垂直沿将高度为4的块划分为两半。
当划分块时，不允许来自一个区域的样点使用来自另一个区域的像素来计算预测：如果发生这种情况，则预测像素将被预测方向上的参考像素替换。这如图6所示，其中4x8块中当前像素X的不同位置被垂直地预测。
由于这个特性，现在可以在2个周期中处理4x4块，并且可以在4个周期中处理4x8或8x4块，依此类推，如图7所示。
2.10量化残差域BDPCM
在JVET-N0413中提出了量化残差域BDPCM(以下表示为RBDPCM)。通过在与帧内预测类似的预测方向(水平或垂直预测)上进行样点复制而在整个块上完成帧内预测。对残差进行量化，并对量化残差与其预测器(水平或垂直)量化值之间的差值进行编解码。
对于尺寸为M(行)×N(列)的块，设ri，j，0≤i≤M-1，0≤j≤N-1为使用来自上方或左侧块边界样点的未滤波样点执行水平(逐行复制预测块中的左侧邻近像素值)或垂直(将顶部邻近行复制到预测块中的每一行)帧内预测之后的预测残差。设Q(ri，j)，0≤i≤M-1，0≤j≤N-1表示残差ri，j的量化版本，其中残差是原始块和预测块值之间的差。然后对量化后的残差样点应用块DPCM，得到修正的M×N阵列当信令通知垂直BDPCM信号时，元素/>为：
对于水平预测，应用类似的规则，并且通过以下获得残差量化样点：
/>
将残差量化样点发送到解码器。
在解码器侧，将上述计算倒推以产生Q(ri，j)，0≤i≤M-1，0≤j≤N-1，对于垂直预测情况，
对于水平情况，
将倒置的量化残差Q-1(Q(ri，j))添加到帧内块预测值中以生成重构样点值。
该方案的一个优点是，在系数解析期间可以仅通过将预测器添加为解析的系数来动态地进行DPCM的倒置，或者也可以在解析后执行。
在量化残差域BDPCM中，始终采用变换跳过。
3.现有实现的缺陷
在VVC的当前设计中，用不同的过程采用了三种不同的Merge列表，这增加了硬件实现成本。
(1)MTS仅适用于亮度块，对于颜色丰富的序列(诸如对于4:4:4或者启用了其他颜色格)来说可能是次优的。
(2)帧内、帧间和IBC支持MTS。并且对IBC-MTS的控制是在对帧间编码块是否启用MTS的条件检查下进行的。因为IBC被定义为第三种模式，所以最好单独控制IBC MTS的使用。
(3)用于编码MTS指标的上下文取决于CU深度。然而，变换指标与所述编解码模式之间存在一定的相关性。使用这种相关性可以带来额外的编解码收益。
(4)当IBC被视为帧间模式时，用于信令通知MTS指标的条件检查没有问题。然而，现在IBC被视为与帧内和帧间模式并行的新的模式，条件检查和语义现在也存在问题。
4.用于上下文建模和多重变换矩阵选择的示例方法
本公开技术的实施例克服了现有实现的缺陷，从而提供具有更高编解码效率的视频编解码。在以下针对各种实现描述的示例中阐述了可以增强现有和未来的视频编码标准的基于所公开的技术的上下文建模和多重变换矩阵选择的方法。下面提供的公开技术的示例解释了一般概念，并不意味着被解释为限制性的。在示例中，除非明确表示相反，否则可以组合这些示例中描述的各种特征。
1.是否和/或如何应用隐式MTS(即，不显式地信令通知变换指标的变换矩阵选择)可取决于块是否用模式X编码和/或编码残差信息。
a.在一个示例中，模式X可以是IBC模式。
b.在一个示例中，当一个块用IBC模式编解码时，可以自动启用隐式MTS。
c.在一个示例中，IBC编解码块的变换矩阵的选择可以与帧内编解码块的选择相同。
i.在一个示例中，对于正方形块，应用DCT-2。
ii.在一个示例中，对于非正方形块，将DST-7应用于较短的一侧，并且将DCT-2应用于较长的一侧。
d.在一个示例中，变换矩阵的选择可以取决于所述编解码模式信息，诸如块是用帧内还是IBC编解码的。
i.在一个示例中，对于IBC编码的方形块，应用DST-7。
ii.在一个示例中，对于IBC编码的非方形块，可以将变换跳过应用于较短的一侧。
iii.在一个示例中，对于IBC编码的非形块，可以将变换跳过或
DST7应用于较长的一侧。
e.在其他示例中，模式X可以是次级变换。
f.在其他示例中，模式X可以是BDPCM模式或/和DPCM模式或/和RBDPCM模式或/和ALWIP模式。
g.在其他示例中，模式X可以是任何特定的角度帧内预测模式(诸如DC、平面(Planar)、垂直、水平等)。
2.可以根据块是否用模式X编码来确定允许的变换的集合。
a.在一个示例中，模式X可以是IBC模式。
b.在一个示例中，模式X可以是组合帧内帧间预测模式(CIIP)。
c.在一个示例中，IBC编解码块的允许变换矩阵的集合可以与帧内编解码块的相同。
d.可选地，IBC编解码块的不同的允许变换矩阵的集合可以与帧内编解码块的相同，诸如对于IBC编解码块，可以允许变换跳过、DCT-2、DCT-8、DST-7。
e.在其他示例中，模式X可以是BDPCM模式或/和DPCM模式或/和RBDPCM模式或/和ALWIP模式。
f.在其他示例中，模式X可以是任何特定的角度帧内预测模式(诸如DC、平面(Planar)、垂直、水平等)。
g.在其他示例中，模式X可以是次级变换。
3.提出了用于编码MTS指标的上下文建模可取决于所述编解码模式信息。
a.所述编解码模式信息可以包括：帧内或非帧内。
i.可选地，所述编解码模式信息可以包括：帧内或帧间或IBC。
ii.可选地，所述编解码模式信息可以包括：帧间或非帧间。
b.可选地，用于编解码MTS指标的上下文建模可以取决于块形状信息。
i.在一个示例中，块形状信息可以包括：块是正方形还是非正方形；
ii.在一个示例中，块形状信息可以包括：宽度是否不大于高度；
iii.在一个示例中，块形状信息可以包括：宽度是否不小于高度；
iv.在一个示例中，块形状信息可以包括：宽度和高度的比率。
4.提出了对水平和垂直变换矩阵指标进行单独编解码。
a.在一个示例中，变换跳过标志不是单独编解码的。相反，它被视为水平和垂直变换矩阵指标中的一个。
i.在一个示例中，变换跳过只能应用于一个方向(诸如水平或垂直)。
b.垂直变换矩阵指标的上下文建模可以取决于水平变换矩阵指标。可选地，水平变换矩阵指标的上下文建模可以取决于垂直变换矩阵指标。
c.在一个示例中，可以首先对一个标志进行编解码，以指示水平和垂直变换矩阵是否相同。
5.可以在序列/图片/片组/条带/CTU行/任何视频数据单元级中信令通知IBC编解码块的MTS的使用指示。
a.在一个示例中，可以在SPS/PPS/条带标头/图片标头/片组标头/片标头等中信令通知是否为IBC编解码块启用MTS(例如，一个标志)。
i.另外，可选地，可以有条件地对诸如标志进行编解码，例如基于是否在SPS/PPS/条带标头/图片标头等中启用显式MTS和IBC。
b.可选地，可以从是否为帧间编解码块启用MTS中导出是否为IBC编解码块启用MTS(例如，一个标志)。
i.在这种情况下，可以只信令通知一个SPS标志来同时控制IBC
和帧内MTS。
c.在一个示例中，可以始终不允许IBC编解码块的MTS。
d.在一个示例中，是否和/或如何应用MTS可取决于多个非零编解码系数的数目。
e.在一个示例中，是否和/或如何应用MTS可取决于非零编解码系数的绝对值之和。
f.在一个示例中，是否和/或如何应用MTS可以取决于非零系数的最后位置。
6.是否和/或如何对色度分量应用MTS取决于颜色格式。
a.在一个示例中，当颜色子采样格式为4:4:4时，可以启用色度分量(或诸如B/R颜色分量的从属分量)的MTS。
b.在一个示例中，当启用色度分量的MTS时，可以强制颜色分量的两个对应块应用相同的变换矩阵。
i.可以为一个颜色分量中的一个块信令通知所选变换矩阵的指示，而另一个颜色分量中的另一个块遵循相同的矩阵。
ii.可从用于对应亮度块或主分量(诸如G颜色分量)的变换矩阵导出应用于色度分量的变换矩阵。
c.在一个示例中，当启用色度分量的MTS时，颜色分量的两个对应块可以使用不同的变换矩阵。
i.可以单独地信令通知两个块的所选变换矩阵的指示。
1.另外，可选地，还可以应用两个颜色分量之间的变换矩阵指标的预测编解码。
2.另外，可选地，还可以应用一个颜色分量和亮度/主分量之间的变换矩阵指标的预测编解码。
3.可选地，一个颜色分量和/或亮度/主分量的变换矩阵可用于对另一颜色分量的指标进行编解码的上下文建模。
d.是否信令通知色度分量的MTS指标可取决于颜色格式和/或是否启用单独的平面编解码。
i.在一个示例中，如果是4:0:0和/或启用了单独的平面(Planar)编解码，则无需为色度分量发送MTS指标信号。
7.上述适用于隐式MTS的方法也可适用于SBT，SBT也动态地导出变换矩阵。
8.是否和/或如何对色度分量应用ISP取决于颜色格式。
a.在一个示例中，当颜色子采样格式为4:4:4时，可以启用色度分量(或诸如B/R颜色分量的从属分量)的ISP。另外，可选地，当颜色子采样格式不是4:4:4时，可以禁用色度分量(或诸如B/R颜色分量等的从属分量)的ISP。
b.当对色度分量启用ISP时，可以对色度块的ISP使用指示和/或其他相关信息(诸如ISP分割)进行编解码。
i.在一个示例中，可以根据块维度对其进行条件编解码。
ii.在一个示例中，可以根据帧内预测方法对其进行条件编解码，诸如是否应用了交叉分量线性模型预测方法。
iii.在一个示例中，可以根据帧内预测方法对其进行条件编解码，诸如是否应用联合色度残差编解码。
iv.在一个示例中，可以根据帧内预测方向对其进行条件编解码。
v.在一个示例中，可以根据是否使用DM(即，从亮度分量导出帧内预测模式)来对其进行条件编解码。
c.当对色度分量启用ISP时，可以动态地导出色度块的ISP使用指示和/或其他相关信息(诸如ISP分割)。
i.在一个示例中，可以根据邻近色度块的重构样点/编解码信息将其导出。
ii.在一个示例中，可以根据并置亮度块内的一个或多个选择块将其导出。
iii.在一个示例中，可以根据并置亮度块的邻近信息将其导出。
可将上述示例并入下述方法(例如，方法810、820、830、840、850、860、870、880和890)的上下文中，这些方法可以在视频解码器或视频编码器处实现。
图8A示出了用于视频处理的示例性方法的流程图。方法810包括：在步骤812处，为视频的当前视频块和视频的比特流表示之间的转换，确定从比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示，并且其中，当前视频块使用帧内块复制(IBC)模式编解码。
方法810包括：在步骤814处，执行所述转换。在一些实施例中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，并且MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
图8B示出了用于视频处理的示例性方法的流程图。方法820包括：在步骤822处，基于视频的当前视频块的所述编解码模式，做出关于多重变换选择(MTS)操作的选择性应用的决定。
方法820包括：在步骤824处，基于所述决定执行当前视频块与视频的比特流表示之间的转换。在一些实施例中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
图8C示出了用于视频处理的示例性方法的流程图。方法830包括：在步骤832处，基于当前视频块的特性，配置用于对多重变换选择(MTS)操作的至少一个指标进行编解码的上下文模型。
方法830包括：在步骤834处，基于所述配置执行当前视频块和包含当前视频块的视频的比特流表示之间的转换。在一些实施例中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
图8D示出了用于视频处理的示例性方法的流程图。方法840包括：在步骤842处，在当前视频块和包含当前视频块的视频的比特流表示之间的转换期间，确定所述转换包括多重变换选择(MTS)操作。
方法840包括：在步骤844处，基于所述确定，对MTS操作的矩阵的一个或多个水平指标和一个或多个垂直指标进行独立编解码。在一些实施例中，MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
图8E示出了用于视频处理的示例性方法的流程图。方法850包括：在步骤852处，为视频的当前视频块和视频的比特流表示之间的转换，配置使用帧内块复制(IBC)模式编解码的当前视频块的多重变换选择(MTS)操作中的变换类型的指示。
方法850包括：在步骤854处，执行所述转换。在一些实施例中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行或视频数据单元中，并且MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
图8F示出了用于视频处理的示例性方法的流程图。方法860包括：在步骤862处，为视频的当前视频块和视频的比特流表示之间的转换，确定是否从当前视频块的比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示。
方法860包括：在步骤864处，执行所述转换。在一些实施例中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，所述确定基于非零编码系数的最后位置，并且MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
图8G示出了用于视频处理的示例性方法的流程图。方法870包括：在步骤872处，为视频的当前视频块和视频的比特流表示之间的转换，配置将多重变换选择(MTS)操作用于当前视频块的色度分量的指示。
方法870包括：在步骤874处，执行所述转换。在一些实施例中，所述配置基于当前视频块的颜色格式，并且MTS操作包括：使用来自多个预定变换候选的变换来在转换期间变换当前视频块的预测误差。
图8H示出了用于视频处理的示例性方法的流程图。方法880包括：在步骤882处，为视频的当前视频块和视频的比特流表示之间的转换，确定将子块变换(SBT)操作应用于当前视频块。
方法880包括：在步骤884处，通过使用多重变换选择(MTS)操作来执行所述转换。在一些实施例中，SBT操作包括位置相关的变换操作，并且MTS操作包括：使用来自多个预定义变换候选的变换来在转换期间变换当前视频块的预测误差。
图8I示出了用于视频处理的示例性方法的流程图。方法890包括：在步骤892处，基于视频的当前视频块的颜色格式，做出关于对当前视频块的色度分量选择性地应用帧内子块分割(ISP)操作的决定。
方法890包括：在步骤894处，基于所述决定执行当前视频块与视频的比特流表示之间的转换。在一些实施例中，ISP操作包括：垂直或水平地将块划分为具有至少预定数量的样点的子分割。
5.公开技术的实施例
图9是视频处理装置900的框图。装置900可用于实现本文所述的一种或多种方法。装置900可以被实现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置900可以包括一个或多个处理器902、一个或多个存储器904和视频处理硬件906。处理器902可以被配置成实现本文中描述的一个或多个方法(包括但不限于方法800、810、820、830和840)。存储器904可用于存储用于实现本文描述的方法和技术的数据和代码。视频处理硬件906可用于在硬件电路中实现本文中描述的一些技术。
在一些实施例中，可以使用如关于图9所述的在硬件平台上实现的装置来实现视频编解码方法。
所公开技术的一些实施例包括：做出启用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被启用时，编码器将在视频块的处理中使用或实现该工具或模式，但不一定基于该工具或模式的使用来修改产生的比特流。也就是说，当基于决策或确定启用视频处理工具或模式时，从视频块到视频的比特流表示的转换将使用该视频处理工具或模式。在另一示例中，当视频处理工具或模式被启用时，解码器将在知晓已经基于视频处理工具或模式修改了比特流的情况下处理比特流。也就是说，将使用基于决策或确定而启用的视频处理工具或模式来执行从视频的比特流表示到视频块的转换。
所公开技术的一些实施例包括：做出禁用视频处理工具或模式的决策或确定。在一个示例中，当视频处理工具或模式被禁用时，编码器将不在将视频块转换到视频的比特流表示的转换中使用该工具或模式。在另一示例中，当视频处理工具或模式被禁用时，解码器将在知晓未使用基于所述决策或确定而启用的视频处理工具或模式修改比特流的情况下来处理比特流。
图10是示出其中可以实现本文公开的各种技术的示例性视频处理系统1000的框图。各种实现可以包括系统1000的部分或全部组件。系统1000可以包括用于接收视频内容的输入1002。视频内容可以原始或未压缩格式(例如，8或10比特多分量像素值)接收，或者可以压缩或编码格式接收。输入1002可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括诸如以太网、无源光网络(PON)等有线接口和诸如Wi-Fi或蜂窝接口的无线接口。
系统1000可以包括编解码组件1004，其可以实现本文中描述的各种编解码或译码方法。编解码组件1004可以降低从输入1002到编解码组件1004的输出的视频的平均比特率，以产生视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1004的输出可以存储，或者通过由组件1006表示的连接的通信来发送。组件1008可以使用在输入1002处接收的视频的存储或通信比特流(或编解码)表示来生成发送到显示接口1010的像素值或可显示视频。从比特流表示生成用户可视视频的处理有时称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，在编码器处使用编码工具或操作，并且将由解码器执行相应的解码工具或反转编码结果的操作。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清晰度多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文中描述的技术可以实施在各种电子设备中，例如能够执行数字数据处理和/或视频显示的移动电话、膝上型计算机、智能手机或其他设备。
在以下实施例中，使用粗体双大括号来显示添加，例如，{{a}}表示添加“a”，并且使用双粗体括号来显示删除，例如，[[b]]表示删除“b”。
5.1实施例1
本节示出了对IBC和帧内编解码块的MTS单独控制的示例。
7.3.2.3序列参数集RBSP语法
可选地，可以使用条件信令。
7.3.7.10变换单元语法
/>
sps_explicit_mts_intra_enabled_flag等于1指定用于帧内编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_intra_enabled_flag等于0指定用于帧内编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_intra_enabled_flag的值等于0。
sps_explicit_mts_inter_enabled_flag等于1指定用于帧间编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_inter_enabled_flag等于0指定用于帧间编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_inter_enabled_flag的值等于0。
{{sps_explicit_mts_ibc_enabled_flag等于1指定在IBC编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_ibc_enabled_flag等于0指定在IBC编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_ibc_enabled_flag的值等于0。}}
5.2实施例2
本节示出了对IBC和帧内编码块的MTS联合控制的示例。
当前语法设计保持不变，然而，对语义进行如下修改：
sps_explicit_mts_intra_enabled_flag等于1指定用于帧内编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_intra_enabled_flag等于0指定用于帧内编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_intra_enabled_flag的值等于0。
sps_explicit_mts_inter_enabled_flag等于1指定用于{{非帧内}}[[帧间]]编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_inter_enabled_flag等于0指定用于帧间编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_inter_enabled_flag的值等于0。
可选地，语义可以修改如下：
sps_explicit_mts_inter_enabled_flag等于1指定用于帧间{{和IBC}}编解码单元的变换单元语法中可以存在tu_mts_idx。sps_explicit_mts_inter_enabled_flag等于0指定用于帧间编解码单元的变换单元语法中不存在tu_mts_idx。如果不存在，则推断sps_explicit_mts_inter_enabled_flag的值等于0。
在一些实施例中，可以实现以下技术解决方案：
A1.一种用于视频处理的方法，包括：为视频的当前视频块和所述视频的比特流表示之间的转换，确定从所述比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示，并且其中，所述当前视频块使用帧内块复制(IBC)模式编解码；以及执行所述转换，其中，所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，并且其中，所述MTS操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
A2.一种用于视频处理的方法，包括：基于视频的当前视频块的所述编解码模式，做出关于多重变换选择(MTS)操作的选择性应用的决定；以及基于所述决定，执行所述当前视频块和所述视频的比特流表示之间的转换，其中所述MTS操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
A3.根据解决方案A2所述的方法，其中，所述MTS操作是隐式MTS操作，并且其中，从所述比特流表示中排除所述MTS操作的变换指标。
A4.根据解决方案A2或A3所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式。
A5.根据解决方案A2或A3所述的方法，其中，当所述编解码模式是帧内块复制模式或帧内模式时，相同地应用所述MTS操作。
A6.根据解决方案A5所述的方法，其中，所述当前视频块是正方形块，并且其中，应用离散余弦变换类型II(DCT-II)。
A7.根据解决方案A5所述的方法，其中，所述当前视频块是非正方形块，其中将离散余弦变换类型II(DCT-II)应用于所述当前视频块的较长边，并且其中，将DCT-VII应用于所述当前视频块的较短边。
A8.根据解决方案A2或A3所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，其中所述当前视频块是正方形块，并且其中，应用离散余弦变换类型VII(DCT-VII)。
A9.根据解决方案A2或A3所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，其中，所述当前视频块是非方形块，并且其中，将变换跳过应用于所述当前视频块的较短边。
A10.根据解决方案A2或A3所述的方法，其中，所述编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
A11.根据解决方案A2或A3所述的方法，其中，所述编解码模式是角度帧内预测模式。
A12.根据解决方案A2所述的方法，其中，所述比特流表示包括允许变换的集合的指示，所述指示是基于所述当前视频块的所述编解码模式确定的。
A13.根据解决方案A12所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式。
A14.根据解决方案A12所述的方法，其中，所述编解码模式是组合帧内帧间预测(CIIP)模式。
A15.根据解决方案A12所述的方法，其中，所述编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
A16.根据解决方案A12所述的方法，其中，所述编解码模式是角度帧内预测模式。
A17.一种用于视频处理的方法，包括：基于当前视频块的特性，配置用于对多重变换选择(MTS)操作的至少一个指标进行编解码的上下文模型；以及基于所述配置，执行所述当前视频块和包含所述当前视频块的视频的比特流表示之间的转换，其中所述MTS操作包括：使用来自多个预定义变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
A18.根据解决方案A17所述的方法，其中，所述特性包括所述当前视频块的所述编解码模式。
A19.根据解决方案A18所述的方法，其中，所述编解码模式包括帧内编解码模式、或帧间编解码模式、或帧内块复制(IBC)。
A20.根据解决方案A18所述的方法，其中，所述编解码模式包括帧间编解码模式、或非帧间编解码模式。
A21.根据解决方案A17所述的方法，其中，所述特性包括与所述当前视频块相关联的形状信息。
A22.根据解决方案A21所述的方法，其中，所述形状信息包括所述当前视频块为正方形或非正方形。
A23.根据解决方案A21所述的方法，其中，所述形状信息包括所述当前视频块的宽度小于所述当前视频块的高度。
A24.根据解决方案A21所述的方法，其中，所述形状信息包括所述当前视频块的宽度大于所述当前视频块的高度。
A25.根据解决方案A21所述的方法，其中，所述形状信息包括所述当前视频块的宽度与所述当前视频块的高度的比率。
A26.一种用于视频处理的方法，包括：在当前视频块和包含所述当前视频块的视频的比特流表示之间的转换期间，确定所述转换包括多重变换选择(MTS)操作；以及基于所述确定，对所述MTS操作的矩阵的一个或多个水平指标和一个或多个垂直指标进行独立编解码，其中所述MTS操作包括：使用来自多个预定义变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
A27.根据解决方案A26所述的方法，其中，所述一个或多个水平指标和/或所述一个或多个垂直指标包括变换跳过操作。
A28.根据解决方案A26所述的方法，其中，所述一个或多个水平指标的上下文模型基于所述一个或多个垂直指标。
A29.根据解决方案A26所述的方法，其中，所述一个或多个垂直指标的上下文模型基于所述一个或多个水平指标。
A30.一种用于视频处理的方法，包括：为视频的当前视频块和所述视频的比特流表示之间的转换，配置使用帧内块复制(IBC)模式编解码的所述当前视频块的多重变换选择(MTS)操作中的变换类型的指示；以及执行所述转换，其中所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行或视频数据单元中，并且其中，所述MTS操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
A31.根据解决方案A30所述的方法，其中，基于所述MTS操作和所述IBC模式是否在所述SPS、所述PPS、所述片组标头、所述条带标头、所述图片标头、所述片标头、所述编解码树单元(CTU)行或所述视频数据单元中显式编解码，在所述比特流表示中有条件地对所述指示进行编解码。
A32.根据解决方案A30所述的方法，其中，基于是否对帧间编解码视频块启用所述MTS操作，在所述比特流表示中有条件地对所述指示进行编解码。
A33.根据解决方案A30所述的方法，其中，所述SPS包括所述指示，并且其中，所述指示还使用帧间编解码视频块的所述MTS操作进行配置。
A34.根据解决方案A30所述的方法，其中，所述指示基于非零编解码系数的数目。
A35.根据解决方案A30所述的方法，其中，所述指示基于非零编解码系数的绝对值之和。
A36.根据解决方案A1至A35中任一项所述的方法，其中，所述变换从所述比特流表示生成所述当前视频块。
A37.根据解决方案A1到A35中任一项所述的方法，其中，所述变换从所述当前视频块生成所述比特流表示。
A38.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案A1至A37中任一项所述的方法。
A39.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案A1至A37中任一项所述的方法的程序代码。
在一些实施例中，可以实现以下技术解决方案：
B1.一种用于视频处理的方法，包括：为视频的当前视频块和所述视频的比特流表示之间的转换，确定是否从所述当前视频块的所述比特流表示中排除多重变换选择(MTS)操作中的变换类型的指示；以及执行所述转换，其中所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，其中所述确定基于非零编解码系数的最后位置，并且其中，所述MTS操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
B2.一种用于视频处理的方法，包括：为视频的当前视频块和所述视频的比特流表示之间的转换，配置将多重变换选择(MTS)操作用于所述当前视频块的色度分量的指示；以及执行所述转换，其中所述配置基于所述当前视频块的颜色格式，并且其中，所述MTS操作包括：使用来自多个预定义变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
B3.根据解决方案B2所述的方法，其中，在确定所述颜色格式为4:4:4时，将所述MTS操作应用于所述色度分量。
B4.根据解决方案B2所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，颜色分量的两个块使用相同的变换矩阵。
B5.根据解决方案B2所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，颜色分量的两个块使用不同的变换矩阵。
B6.根据解决方案B2所述的方法，其中，在所述比特流表示中包含所述指示基于所述颜色格式或单独平面编解码的使用。
B7.一种用于视频处理的方法，包括：为视频的当前视频块和所述视频的比特流表示之间的转换，确定对所述当前视频块应用子块变换(SBT)操作；以及通过使用多重变换选择(MTS)操作来执行所述转换，其中所述SBT操作包括位置相关变换操作，并且其中，所述SBT操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
B8.根据解决方案B7所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式。
B9.根据解决方案B7所述的方法，其中，当所述编解码模式是帧内块复制模式或帧内模式时，相同地应用所述SBT操作。
B10.根据解决方案B7所述的方法，其中，所述编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
B11.根据解决方案B7所述的方法，其中，所述编解码模式是角度帧内预测模式。
B12.一种用于视频处理的方法，包括：基于视频的当前视频块的颜色格式，做出关于对所述当前视频块的色度分量选择性地应用帧内子块分割(ISP)操作的决定；以及基于所述决定，执行所述当前视频块和所述视频的比特流表示之间的转换，其中所述ISP操作包括：垂直或水平地将块划分为具有至少预定数量的样点的子分割。
B13.根据解决方案B12所述的方法，其中，将所述ISP操作应用于所述色度分量，其中所述颜色格式为4:4:4。
B14.根据解决方案B12所述的方法，其中，将所述ISP操作应用于所述色度分量，并且其中，所述ISP操作的配置基于以下的一个或多个：(i)所述当前视频块的高度或宽度，(ii)是否将交叉分量线性模型(CCLM)预测方法应用于所述当前视频块，(iii)是否将联合色度残差编解码应用于所述当前视频块，(iv)帧内预测方向，或(v)帧内预测模式是否是从所述当前视频块的亮度分量导出的。
B15.根据解决方案B12所述的方法，其中，将所述ISP操作应用于所述色度分量，并且其中，所述ISP操作的配置基于一个或多个邻近块的色度分量的重构样点或编解码信息。
B16.根据解决方案B11至B15中任一项所述的方法，其中，所述转换从所述比特流表示生成所述当前视频块。
B17.根据解决方案B11至B15中任一项所述的方法，其中，所述转换从所述当前视频块生成所述比特流表示。
B18.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案B1至B17中任一项所述的方法。
B19.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案B1至B17中任一项所述的方法的程序代码。
在一些实施例中，可以实现以下技术解决方案：
C1.一种用于视频处理的方法，包括：基于当前视频块的所述编解码模式，做出关于多重变换选择(MTS)操作的选择性应用的决定；以及基于所述决定，执行所述当前视频块和包含所述当前视频块的视频的比特流表示之间的转换，其中所述MTS操作包括：使用来自多个预定义变换候选的变换。
C2.根据解决方案C1所述的方法，其中，所述MTS操作包括所述MTS操作中的一个或多个变换指标的隐式信令。
C3.根据解决方案C2所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式。
C4.根据解决方案C2所述的方法，其中，当所述编解码模式是帧内块复制模式或帧内模式时，相同地应用所述MTS操作。
C5.根据解决方案C4所述的方法，其中，所述当前视频块是正方形块，并且其中，应用离散余弦变换类型II(DCT-II)。
C6.根据解决方案C4所述的方法，其中，所述当前视频块是非正方形块，其中将离散余弦变换类型II(DCT-II)应用于所述当前视频块的较长边，并且将DCT-VII应用于所述当前视频块的较短边。
C7.根据解决方案C2所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，其中所述当前视频块是正方形块，并且其中，应用离散余弦变换类型VII(DCT-VII)。
C8.根据解决方案C2所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，其中所述当前视频块是非正方形块，并且其中，将变换跳过应用于所述当前视频块的较短边。
C9.根据解决方案C2所述的方法，其中，所述编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
C10.根据解决方案C2所述的方法，其中。所述编解码模式是角度帧内预测模式。
C11.根据解决方案C1所述的方法，其中，所述MTS操作包括：基于所述当前视频块的所述编解码模式确定允许变换的集合。
C12.根据解决方案C11所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式。
C13.根据解决方案C11所述的方法，其中，所述编解码模式是组合帧内帧间预测(CIIP)模式。
C14.根据解决方案C11所述的方法，其中，所述编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
C15.根据解决方案C11所述的方法，其中，所述编解码模式是角度帧内预测模式。
C16.一种用于视频处理的方法，包括：基于当前视频块的特性，配置用于对多重变换选择(MTS)操作的指标进行编解码的上下文模型；以及基于所述配置，执行所述当前视频块和包含所述当前视频块的视频的比特流表示之间的转换，其中所述MTS操作包括：使用来自多个预定义变换候选的变换。
C17.根据解决方案C16所述的方法，其中，所述特性包括所述当前视频块的编解码模式信息。
C18.根据解决方案C17所述的方法，其中，所述编解码模式信息包括帧内、或帧间、或帧内块复制(IBC)。
C19.根据解决方案C17所述的方法，其中，所述编解码模式信息包括帧间或非帧间。
C20.根据解决方案C16所述的方法，其中，所述图像包括所述当前视频块的形状信息。
C21.根据解决方案C20所述的方法，其中，所述形状信息包括所述当前视频块是正方形还是非正方形。
C22.根据解决方案C20所述的方法，其中，所述形状信息包括所述当前视频块的宽度是否小于所述当前视频块的高度。
C23.根据解决方案C20所述的方法，其中，所述形状信息包括所述当前视频块的宽度是否大于所述当前视频块的高度。
C24.根据解决方案C20所述的方法，其中，所述形状信息包括所述当前视频块的宽度与所述当前视频块的高度的比率。
C25.一种用于视频处理的方法，包括：在当前视频块和包含所述当前视频块的视频的比特流表示之间的转换期间，确定所述转换包括多重变换选择(MTS)操作；以及对所述MTS操作的矩阵的一个或多个水平指标和一个或多个垂直指标进行独立编解码，其中所述MTS操作包括：使用来自多个预定义变换候选的变换。
C26.根据解决方案C25所述的方法，其中，所述一个或多个水平指标或所述一个或多个垂直指标包括变换跳过标志。
C27.根据解决方案C25所述的方法，其中，所述一个或多个水平指标的上下文模型基于所述一个或多个垂直指标。
C28.根据解决方案C25所述的方法，其中，所述一个或多个垂直指标的上下文模型基于所述一个或多个水平指标。
C29.根据解决方案C1所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，并且其中，所述决定基于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行或视频数据单元中的信令。
C30.根据解决方案C1所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，并且其中，所述决定基于非零编解码系数的数目。
C31.根据解决方案C1所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，并且其中，所述决定基于非零编解码系数的绝对值之和。
C32.根据解决方案C1所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式，并且其中，所述决定基于非零编解码系数的最后位置。
C33.根据解决方案C1所述的方法，其中，所述MTS操作的所述选择性应用包括对所述当前视频块的色度分量的选择性应用，并且其中，所述决定基于所述当前视频块的颜色格式。
C34.根据解决方案C33所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，所述颜色格式为4:4:4。
C35.根据解决方案C33所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，所述颜色分量的两个块使用相同的变换矩阵。
C36.根据解决方案C33所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，所述颜色分量的两个块使用不同的变换矩阵。
C37.根据解决方案C33所述的方法，还包括：基于所述当前视频块的所述颜色格式，做出信令通知所述色度分量的所述MTS操作的指标的决定。
C38.一种用于视频处理的方法，包括：基于当前视频块的编解码模式，做出关于子块变换(SBT)操作的选择性应用的决定；以及基于所述决定，执行所述当前视频块和包含所述当前视频块的视频的比特流表示之间的转换，其中，所述SBT操作包括：对与所述当前视频块相关联的亮度变换块使用位置相关变换。
C39.根据解决方案C38所述的方法，其中，所述编解码模式是帧内块复制(IBC)模式。
C40.根据解决方案C38所述的方法，其中，当所述编解码模式是帧内块复制模式或帧内模式时，相同地应用所述SBT操作。
C41.根据解决方案C38所述的方法，其中，所述编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
C42.根据解决方案C38所述的方法，其中，所述编解码模式是角度帧内预测模式。
C43.一种用于视频处理的方法，包括：基于当前视频块的颜色格式，做出关于对所述当前视频块的色度分量选择性地应用帧内子块分割(ISP)操作的决定；以及基于所述决定，执行所述当前视频块和包含所述当前视频块的视频的比特流表示之间的转换，其中所述ISP操作包括：垂直或水平地将块划分为具有至少预定数量的样点的子分割。
C44.根据解决方案C43所述的方法，其中，对所述色度分量应用所述ISP操作，并且其中，所述颜色格式为4:4:4。
C45.根据解决方案C43所述的方法，其中，将所述ISP操作应用于所述色度分量，并且其中，所述ISP操作的配置基于以下的一个或多个：(i)所述当前视频块的高度或宽度，(ii)是否将交叉分量线性模型(CCLM)预测方法应用于所述当前视频块，(iii)是否将联合色度残差编解码应用于所述当前视频块，(iv)帧内预测方向，或(v)帧内预测模式是否是从所述当前视频块的亮度分量导出的。
C46.根据解决方案C43所述的方法，其中，将所述ISP操作应用于所述色度分量，并且其中，所述ISP操作的配置基于一个或多个邻近块的色度分量的重构样点或编解码信息。
C47.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现解决方案C1至C46中任一项所述的方法。
C48.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于实现解决方案C1至C46中任一项所述的方法的程序代码。
综上所述，应当理解的是，为了说明的目的，本文描述了本公开技术的具体实施例，但是可以在不偏离本发明的范围的情况下进行各种修改。因此，除了所附权利要求外，本公开的技术不受限制。
本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编解码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
本说明书和附图仅被视为示例性的，其中示例性是指示例。如本文所用，“或”的使用意欲包括“和/或”，除非上下文另有明确指示。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (20)

1.一种用于视频处理的方法，包括：
为视频的当前视频块和所述视频的比特流之间的转换，确定是否从所述当前视频块的所述比特流中排除多重变换选择(MTS)操作中的变换类型的指示；以及
执行所述转换，
其中所述指示位于序列参数集(SPS)、图片参数集(PPS)、片组标头、条带标头、图片标头、片标头、编解码树单元(CTU)行、编解码单元或视频数据单元中，
其中所述确定基于非零编解码系数的最后位置，并且
其中，所述MTS操作包括：使用来自多个预定变换候选的变换，以在所述转换期间变换所述当前视频块的预测误差。
2.根据权利要求1所述的方法，还包括：
为所述转换配置将所述多重变换选择(MTS)操作用于所述当前视频块的色度分量的指示；
其中所述配置基于所述当前视频块的颜色格式。
3.根据权利要求2所述的方法，其中，在确定所述颜色格式为4:4:4时，将所述MTS操作应用于所述色度分量。
4.根据权利要求2所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，颜色分量的两个块使用相同的变换矩阵。
5.根据权利要求2所述的方法，其中，将所述MTS操作应用于所述色度分量，并且其中，颜色分量的两个块使用不同的变换矩阵。
6.根据权利要求2所述的方法，其中，在所述比特流中包含所述指示基于所述颜色格式或单独平面编解码的使用。
7.根据权利要求1所述的方法，还包括：
为所述转换确定对所述当前视频块应用子块变换(SBT)操作；以及
通过使用所述多重变换选择(MTS)操作来执行所述转换，
其中所述SBT操作包括位置相关变换操作。
8.根据权利要求7所述的方法，其中，编解码模式是帧内块复制(IBC)模式。
9.根据权利要求7所述的方法，其中，当编解码模式是帧内块复制模式或帧内模式时，相同地应用所述SBT操作。
10.根据权利要求7所述的方法，其中，编解码模式是块差分脉冲编解码调制(BDPCM)模式、DPCM模式、残差BDPCM(RBDPCM)模式或仿射线性加权帧内预测(ALWIP)模式。
11.根据权利要求7所述的方法，其中，编解码模式是角度帧内预测模式。
12.根据权利要求1所述的方法，还包括：
基于所述视频的所述当前视频块的颜色格式，做出关于对所述当前视频块的色度分量选择性地应用帧内子块分割(ISP)操作的决定；以及
基于所述决定，执行所述当前视频块和所述视频的比特流之间的转换，
其中所述ISP操作包括：垂直或水平地将块划分为具有至少预定数量的样点的子分割。
13.根据权利要求12所述的方法，其中，将所述ISP操作应用于所述色度分量，其中所述颜色格式为4:4:4。
14.根据权利要求12所述的方法，其中，将所述ISP操作应用于所述色度分量，并且其中，所述ISP操作的配置基于以下的一个或多个：(i)所述当前视频块的高度或宽度，(ii)是否将交叉分量线性模型(CCLM)预测方法应用于所述当前视频块，(iii)是否将联合色度残差编解码应用于所述当前视频块，(iv)帧内预测方向，或(v)帧内预测模式是否是从所述当前视频块的亮度分量导出的。
15.根据权利要求12所述的方法，其中，将所述ISP操作应用于所述色度分量，并且其中，所述ISP操作的配置基于一个或多个邻近块的色度分量的重构样点或编解码信息。
16.根据权利要求1至15中任一项所述的方法，其中，所述转换从所述比特流生成所述当前视频块。
17.根据权利要求1至15中任一项所述的方法，其中，所述转换从所述当前视频块生成所述比特流。
18.根据权利要求17所述的方法，还包括：
将所述比特流存储在非暂时性计算机可读存储介质中。
19.一种视频系统中的装置，其包括处理器和其上具有指令的非暂时性存储器，其中，在所述处理器执行所述指令时，所述指令使所述处理器实现权利要求1至18中任一项所述的方法。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令使处理器实现权利要求1至18中任一项所述的方法。
CN202080030895.7A 2019-04-23 2020-04-23 在视频编解码中有条件地使用多重变换矩阵 Active CN113728641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311108576.5A CN116896634A (zh) 2019-04-23 2020-04-23 在视频编解码中有条件地使用多重变换矩阵

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019083844 2019-04-23
CNPCT/CN2019/083844 2019-04-23
PCT/CN2020/086370 WO2020216288A1 (en) 2019-04-23 2020-04-23 Conditional use of multiple transform matrices in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311108576.5A Division CN116896634A (zh) 2019-04-23 2020-04-23 在视频编解码中有条件地使用多重变换矩阵

Publications (2)

Publication Number Publication Date
CN113728641A CN113728641A (zh) 2021-11-30
CN113728641B true CN113728641B (zh) 2023-09-15

Family

ID=72940829

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202080030909.5A Active CN113711597B (zh) 2019-04-23 2020-04-23 上下文建模和多重变换矩阵的选择
CN202311108576.5A Pending CN116896634A (zh) 2019-04-23 2020-04-23 在视频编解码中有条件地使用多重变换矩阵
CN202080030895.7A Active CN113728641B (zh) 2019-04-23 2020-04-23 在视频编解码中有条件地使用多重变换矩阵

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202080030909.5A Active CN113711597B (zh) 2019-04-23 2020-04-23 上下文建模和多重变换矩阵的选择
CN202311108576.5A Pending CN116896634A (zh) 2019-04-23 2020-04-23 在视频编解码中有条件地使用多重变换矩阵

Country Status (6)

Country Link
US (1) US11930176B2 (zh)
EP (1) EP3939282A4 (zh)
JP (2) JP7277608B2 (zh)
KR (1) KR20210154157A (zh)
CN (3) CN113711597B (zh)
WO (2) WO2020216282A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113950834A (zh) * 2019-05-31 2022-01-18 交互数字Vc控股公司 用于隐式多变换选择的变换选择
EP4068783A4 (en) * 2019-11-26 2023-12-13 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIUM WITH RECORDED BIT STREAM
CN115633172A (zh) * 2020-12-06 2023-01-20 浙江大华技术股份有限公司 基于ibc模式编码方法、电子设备及存储介质
WO2022197139A1 (ko) * 2021-03-19 2022-09-22 현대자동차주식회사 크로마 블록의 인트라 서브블록 예측을 이용하는 비디오 코딩방법 및 장치
WO2023191404A1 (ko) * 2022-03-27 2023-10-05 엘지전자 주식회사 적응적 mts에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024020117A1 (en) * 2022-07-19 2024-01-25 Google Llc Dependent context model for transform types
WO2024050099A1 (en) * 2022-09-02 2024-03-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for intra block copy

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219915B1 (en) * 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
WO2017162068A1 (zh) * 2016-03-25 2017-09-28 阿里巴巴集团控股有限公司 一种视频转码方法、装置和系统
CN108419077A (zh) * 2017-02-10 2018-08-17 三星电子株式会社 用于执行样本自适应偏移处理的图像处理方法和设备
WO2018161954A1 (en) * 2017-03-10 2018-09-13 Mediatek Inc. Method and apparatus of implicit intra coding tool settings with intra directional prediction modes for video coding
TW201842770A (zh) * 2017-04-14 2018-12-01 聯發科技股份有限公司 二次轉換核心尺寸選擇
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置
WO2019074291A1 (ko) * 2017-10-11 2019-04-18 엘지전자 주식회사 분리 변환 기반 영상 코딩 방법 및 그 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087808A1 (en) * 2009-01-27 2010-08-05 Thomson Licensing Methods and apparatus for transform selection in video encoding and decoding
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
GB2519070A (en) * 2013-10-01 2015-04-15 Sony Corp Data encoding and decoding
US9906813B2 (en) * 2013-10-08 2018-02-27 Hfi Innovation Inc. Method of view synthesis prediction in 3D video coding
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
US10230983B2 (en) 2013-12-30 2019-03-12 Qualcomm Incorporated Simplification of delta DC residual coding in 3D video coding
CN103780910A (zh) * 2014-01-21 2014-05-07 华为技术有限公司 视频编码中的块分割方式和最佳预测模式确定方法及相关装置
US11070810B2 (en) * 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
EP3120556B1 (en) * 2014-03-17 2021-01-13 Microsoft Technology Licensing, LLC Encoder-side decisions for screen content encoding
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
AU2015328326B2 (en) 2014-10-06 2018-05-31 Vid Scale, Inc. Improved palette coding for screen content coding
WO2016081939A1 (en) * 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2017041271A1 (en) 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
US10440399B2 (en) 2015-11-13 2019-10-08 Qualcomm Incorporated Coding sign information of video data
CN108886613B (zh) * 2016-03-28 2022-04-19 株式会社Kt 用于处理视频信号的方法和装置
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US20210243475A1 (en) * 2016-12-28 2021-08-05 Sony Corporation Image processing apparatus and method
WO2018143496A1 (ko) * 2017-02-03 2018-08-09 엘지전자(주) 예측 모드를 유도하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US11405645B2 (en) * 2017-02-28 2022-08-02 Google Llc Transform kernel selection and entropy coding
US11284112B2 (en) * 2018-12-06 2022-03-22 Tencent America LLC Method and apparatus for a primary transform using an 8-bit transform core

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219915B1 (en) * 2013-01-17 2015-12-22 Google Inc. Selection of transform size in video coding
WO2017162068A1 (zh) * 2016-03-25 2017-09-28 阿里巴巴集团控股有限公司 一种视频转码方法、装置和系统
CN108419077A (zh) * 2017-02-10 2018-08-17 三星电子株式会社 用于执行样本自适应偏移处理的图像处理方法和设备
WO2018161954A1 (en) * 2017-03-10 2018-09-13 Mediatek Inc. Method and apparatus of implicit intra coding tool settings with intra directional prediction modes for video coding
TW201842770A (zh) * 2017-04-14 2018-12-01 聯發科技股份有限公司 二次轉換核心尺寸選擇
CN109089117A (zh) * 2017-05-11 2018-12-25 联发科技股份有限公司 编码或解码视频数据的方法及装置
WO2019074291A1 (ko) * 2017-10-11 2019-04-18 엘지전자 주식회사 분리 변환 기반 영상 코딩 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CE6: Shape adaptive transform selection (Test 3.1);Jani Lainema;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019，JVET-M0303;全文 *
CE6-related: Shape adaptive transform selection;Jani Lainema;Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3–12 Oct. 2018， JVET-L0134-v2;全文 *

Also Published As

Publication number Publication date
CN113711597B (zh) 2022-11-25
JP2023103327A (ja) 2023-07-26
EP3939282A4 (en) 2022-11-16
EP3939282A1 (en) 2022-01-19
JP7277608B2 (ja) 2023-05-19
US11930176B2 (en) 2024-03-12
CN113728641A (zh) 2021-11-30
WO2020216282A1 (en) 2020-10-29
KR20210154157A (ko) 2021-12-20
CN113711597A (zh) 2021-11-26
US20220295061A1 (en) 2022-09-15
CN116896634A (zh) 2023-10-17
WO2020216288A1 (en) 2020-10-29
JP2022531553A (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
CN113728641B (zh) 在视频编解码中有条件地使用多重变换矩阵
JP7267461B2 (ja) ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
TWI816858B (zh) 用於變換矩陣選擇的隱式編碼
JP2022526991A (ja) ビデオ処理方法、装置、記憶媒体、及び記録媒体
CN113812155B (zh) 多种帧间编解码方法之间的交互
WO2020244656A1 (en) Conditional signaling of reduced secondary transform in video bitstreams
EP3994887A1 (en) Selection of matrices for reduced secondary transform in video coding
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
JP2024010156A (ja) イントラコーディングにおけるサブパーティショニング
CN117296323A (zh) 基于特征的变换选择
CN116601953A (zh) 编解码视频中的位置相关系数重新排序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant