CN117596400A - 编解码块的缩放过程 - Google Patents

编解码块的缩放过程 Download PDF

Info

Publication number
CN117596400A
CN117596400A CN202311559171.3A CN202311559171A CN117596400A CN 117596400 A CN117596400 A CN 117596400A CN 202311559171 A CN202311559171 A CN 202311559171A CN 117596400 A CN117596400 A CN 117596400A
Authority
CN
China
Prior art keywords
block
video
chroma
scaling
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311559171.3A
Other languages
English (en)
Inventor
范逵
张莉
张凯
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN117596400A publication Critical patent/CN117596400A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了编解码块的缩放过程，具体公开了视频和图像编解码的带有色度缩放的亮度映射的方法、系统和设备。视频处理的示例方法包括，对于包括亮度块、第一色度块和第二色度块的当前区域，根据规则执行在视频的当前区域和视频的比特流表示之间的转换，该规则规定在解码期间基于亮度块的映射样点值处理第一色度块和第二色度块的顺序。

Description

编解码块的缩放过程
本申请是申请日为2020年9月21日、申请号为202080066256.6、发明名称为“编解码块的缩放过程”的发明专利申请的分案申请。
技术领域
本专利文档涉及视频编解码和解码。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其他数字通信网络上仍占最大的带宽使用量。随着能够接收和显示视频的连接用户设备的数量增加，预计数字视频使用所需的带宽将继续增长。
发明内容
本公开描述了装置、系统和方法，其涉及数字视频编解码，以及尤其是，使用亮度映射和色度缩放的视频和图像编解码和解码。
在一个示例方面中，公开了一种视频处理方法。该方法包括，对于包含亮度块、第一色度块和第二色度块的当前区域，根据规则执行在视频的当前区域和视频的比特流表示之间的转换，该规则规定在解码过程中基于亮度块的映射样点值处理第一色度块和第二色度块的顺序。
在另一个示例方面中，公开了一种视频处理方法。该方法包括，对于包含亮度块、第一色度块和第二色度块的当前区域，执行视频的当前区域和视频的比特流表示之间的转换，其中，该转换包括色度残差的联合编解码(joint coding of chroma residuals，JCCR)操作，其中第一色度块和第二色度块分别对应于视频的第一色度颜色分量和视频的第二色度颜色分量，并且其中JCCR操作包括残差或系数缩放过程，该过程使用移位操作，该移位操作的输入对应于第一色度颜色分量的值，并且输出对应于第二色度颜色分量的推导值。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(virtual pipeline data unit，VPDU)(表示为VpduSize)的尺寸以及为当前块配置的变换块的最大尺寸(表示为MaxTbSize)，确定垂直二叉树分割是否适用于当前块，并基于上述确定进行转换。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)(表示为VpduSize)的尺寸以及为当前块配置的变换块的最大尺寸(表示为MaxTbSize)，确定水平二叉树分割是否适用于当前块，并基于上述确定进行转换。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)(表示为VpduSize)的尺寸、为当前块配置的变换块的最大尺寸(表示为MaxTbSize)以及为当前块配置的最大三叉树尺寸(表示为maxTtSize)，确定垂直三叉树分割是否适用于当前块，并基于上述确定进行转换。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)(表示为VpduSize)的尺寸、为当前块配置的变换块的最大尺寸(表示为MaxTbSize)以及为当前块配置的最大三叉树尺寸(表示为maxTtSize)，确定水平三叉树分割是否适用于当前块，并基于上述确定进行转换。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，执行在视频的当前区域和视频的比特流表示之间的转换，其中色度块的残差由缩放因子缩放，该缩放因子根据规则确定，该规则规定该缩放因子在不访问特定亮度区域信息的情况下确定。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，对于包括色度编解码单元(coding unit，CU)的当前块，根据规则执行在视频的当前块和视频的比特流表示之间的转换，其中该规则规定多个缩放因子的推导方法，上述多个缩放因子应用于色度CU的多个色度样点的残差，并且其中该推导方法与色度CU是否被进一步划分为多个变换单元(transform unit，TU)以进行转换无关。
在又一个示例方面中，公开了一种视频处理方法。该方法包括，对于包括色度编解码单元(CU)的当前块，根据规则执行在视频的当前块和视频的比特流表示之间的转换，其中，该规则规定当色度CU被划分为多个变换单元(TU)时，是否启用色度残差缩放操作。
在又一个示例方面中，上述方法以处理器可执行代码的形式体现并存储在计算机可读程序介质中。
在又一个示例方面中，公开了一种被配置为或可操作以执行上述方法的设备。该设备可以包括经编程以实现该方法的处理器。
在又一个示例方面中，视频解码器设备可以实现本公开所描述的方法。
附图、说明书和权利要求中更详细描述了本公开技术的以上和其他方面和特征。
附图说明
图1示出了编码器框图的示例。
图2示出了多类型树划分模式的示例。
图3示出了在嵌套多类型树的四叉树编解码树结构中信令通知的划分标志的示例。
图4示出了嵌套多类型树的四叉树编解码块结构的示例。
图5示出了对于128×128编码块没有三叉树(ternary tree，TT)划分的示例。
图6示出了在VTM6中不允许三叉树(TT)和二叉树(binary tree，BT)分割的示例。
图7示出了具有色度缩放架构的亮度映射的示例。
图8示出了JEM中二次变换的示例。
图9示出了提出的缩减二次变换(Reduced Secondary Transform，RST)的示例。
图10示出了视频处理的解码流程的示例。
图11示出了对两个色度块应用一次LMCS的解码流程(JCCR应用于第一个颜色分量块的最终残差)的示例。
图12示出了将JCCR应用于第一个颜色分量的系数的解码流程的示例。
图13是视频系统的框图。
图14是视频处理装置的示例的框图。
图15-图23是视频处理示例方法的流程图。
图24是说明示例视频编解码系统的框图。
图25是示出根据本公开一些实施例的编码器的框图。
图26是示出根据根据本公开一些实施例的解码器的框图。
具体实施方式
所公开技术的实施例可以应用于现有视频编解码标准(例如，HEVC、H.265)和未来标准以改进压缩性能。在本文档中使用章节标题以提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实施方式)限制于仅相应的部分。
1概要
本文档涉及视频编解码技术。具体来说，涉及视频编解码中的色度缩放。可以应用于现有的视频编解码标准，如HEVC，或即将最终确定的标准(通用视频标准)。也可以应用于未来的视频编解码标准或视频编解码器。
2背景
视频编解码标准主要是通过众所周知的ITU-T和ISO/IEC标准发展而来的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4视觉，这两个组织联合制定了H.262/MPEG-2视频标准、H.264/MPEG-4高级视频编解码(AVC)标准和H.265/HEVC标准。从H.262开始，视频编解码标准是基于混合视频编解码结构，其中使用了时间预测加变换编解码。为了探索HEVC之外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索团队(JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)成立了联合视频专家团队(JVET)，致力于VVC标准的研究，目标是比HEVC降低50％的比特率。
VVC草案的最新版本，即通用视频编解码(草案6)可在以下网址找到：
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip
VVC的最新参考软件，名为VTM，可在以下网址找到：
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-2.1
2.1典型视频编解码器的编解码流程
图1示出了VVC的编码器框图的示例，其包含三个环路滤波块：去区块滤波器(deblocking filter，DF)、样点自适应偏移(sample adaptive offset，SAO)和ALF。与使用预定义滤波器的DF不同，SAO和ALF利用当前图片的原始样点，分别通过添加偏移和应用有限脉冲响应(finite impulse response，FIR)滤波器来减少原始样点和重建样点之间的均方误差，用编解码的边信息信令通知偏移量和滤波器系数。ALF位于每张图片的最后一个处理阶段，可以看作是一个试图捕捉和修复前一个阶段产生的伪像的工具。
2.2颜色空间和色度子采样
颜色空间，也称为颜色模型(或颜色系统)，是一种抽象的数学模型，它简单地将颜色范围描述为数字元组，通常为3或4个值或颜色分量(例如RGB)。基本上来说，颜色空间是坐标系和子空间的细化。
对于视频压缩，最常用的是YCbCr和RGB。
YCbCr、Y'CbCr或YPb/CbPr/Cr，也写作YCBCR或Y'CBCR，是一系列颜色空间，用作视频和数字摄影系统中颜色图像流水线(pipeline)的一部分。Y'是亮度分量，CB和CR是蓝色差和红色差色度分量。Y'(带上标符号)与Y不同(Y是亮度)，这意味着光强度是基于伽马校正的RGB原色非线性编码的。
色度子采样是利用人类视觉系统对色差的敏锐度低于对亮度的敏锐度，通过对色度信息实施比对亮度信息更低的精度来对图像进行编码的做法。
2.2.1 4:4:4
三个Y'CbCr分量中的每一个都具有相同的采样率，因此没有色度子采样。这种方案有时用于高端胶片扫描仪和电影后期制作。
2.2.2 4:2:2
两个色度分量以亮度采样率的一半进行采样：水平色度精度减半。这将未压缩视频信号的带宽减少了三分之一，几乎没有视觉差异。
2.2.3 4:2:0
在4:2:0中，水平采样比4:1:1翻倍，但由于Cb和Cr通道仅在此方案中的每条交替线上采样，因此垂直精度减半。因此数据速率是相同的。Cb和Cr分别在水平和垂直方向以因子2进行二次采样。4:2:0方案有三种变体，具有不同的水平和垂直定位。
·在MPEG-2中，Cb和Cr是水平共位的。Cb和Cr位于垂直方向的像素之间(位于间隙)。
·在JPEG/JFIF、H.261和MPEG-1中，Cb和Cr位于交替亮度样点的中间位置。
·在4:2:0中，DV、Cb和Cr共同位于水平方向。在垂直方向，它们共同位于交替线上。
2.3分割
2.3.1使用树结构对CTU进行分割
在HEVC中，通过使用表示为编解码树的四叉树结构，将一个CTU划分为多个CU，以适应各种局部特征。在叶CU级别决定是否使用帧内图片预测(时域)或帧间图片预测(空域)对图片区域进行编码。每个叶CU可以根据PU划分类型进一步划分成一个、两个或四个PU。在一个PU内部，应用相同的预测过程，并在PU的基础上将相关信息传输到解码器。通过应用基于PU划分类型的预测过程获得残差块后，可以根据类似于CU的编解码树的另一种四叉树结构将叶CU分割为变换单元(TU)。HEVC结构的关键特征之一是它具有多个分割概念，包括CU、PU和TU。
在VVC中，使用二元和三元划分分割(segmentation)结构的嵌套多类型树的四叉树代替了多分割单元类型的概念，即它消除了CU、PU和TU概念的分离，除非CU的尺寸对于最大变换长度而言太大，并支持CU分割形状的更大灵活性。在编码树结构中，CU可以具有正方形或矩形形状。编码树单元(CTU)首先由四叉树(quaternary tree，又称quadtree)结构进行分割。然后可以通过多类型树结构进一步分割四叉树的叶节点。如图2所示，多类型树结构中有四种划分类型，垂直二元划分(SPLIT_BT_VER)、水平二元划分(SPLIT_BT_HOR)、垂直三元划分(SPLIT_TT_VER)和水平三元划分(SPLIT_TT_HOR)。多类型叶节点被称为编码单元(CU)，除非CU对于最大变换长度来说太大，否则这种分割(segmentation)用于预测和变换处理时无需进一步分割。这意味着，在大多数情况下，CU、PU和TU在嵌套多类型树的四叉树编解码块结构中具有相同的块尺寸。当支持的最大变换长度小于CU颜色分量的宽度或高度时，会发生异常。
图3示出了在嵌套多类型树的四叉树编解码树结构中分割划分信息的信令通知机制。编码树单元(CTU)被视为四叉树的根，并首先由四叉树结构进行分割。每个四叉树的叶节点(当足够大以允许它时)然后由多类型树结构进一步分割。在多类型树结构中，发送第一标志(mtt_split_cu_flag)以指示节点是否进一步分割；当节点被进一步分割时，信令通知第二个标志(mtt_split_cu_vertical_flag)以指示划分方向，然后信令通知第三个标志(mtt_split_cu_binary_flag)以指示划分是二元划分还是三元划分。根据mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag的值，推导出CU的多类型树划分模式(MttSplitMode)，如表2-1所示。
图3示出了在嵌套多类型树的四叉树编解码树结构中划分标志信令通知的示例。
表2：基于多类型树语法元素的MttSplitMode推导
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图4示出了一个CTU被分成多个CU，具有四叉树和嵌套多类型树编解码块结构，其中粗体块边缘表示四叉树分割，其余边缘表示多类型树分割。嵌套多类型树分割的四叉树提供了由CU组成的内容自适应编解码树结构。CU的尺寸可以与CTU一样大，也可以以亮度样点为单位小至4×4。对于4:2:0色度格式，最大色度CB尺寸为64×64，最小色度CB尺寸为2×2。
在VVC中，支持的最大亮度变换尺寸为64×64，支持的最大色度变换尺寸为32×32。当CB的宽度或高度大于最大变换宽度或高度时，CB会在水平和/或垂直方向自动划分以满足该方向的变换尺寸限制。
–CTU尺寸：四叉树的根节点尺寸
–MinQTSize：允许的最小四叉树叶节点尺寸
–MaxBtSize：允许的最大二叉树根节点尺寸
–MaxTtSize：允许的最大三叉树根节点尺寸
–MaxMttDepth：从四叉树叶划分的多类型树的最大允许层次深度
–MinBtSize：允许的最小二叉树叶节点尺寸
–MinTtSize：允许的最小三叉树叶节点尺寸
在嵌套多类型树的四叉树编解码树结构的一个示例中，CTU尺寸设置为128×128亮度样点，其具有两个对应的4:2:0色度样点的64×64块。MinQTSize设置为16×16，MaxBtSize设置为128×128，MaxTtSize设置为64×64，MinBtSize和MinTtSize(宽度和高度)设置为4×4，MaxMttDepth设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点的尺寸可以从16×16(即MinQTSize)到128×128(即CTU尺寸)。如果叶节点QT为128×128，则由于其尺寸超过MaxBtSize和MaxTtSize(即64×64)，因此不会被二叉树进一步划分。否则，叶节点qdtree可以通过多类型树进一步分割。因此，四叉树的叶节点也是多类型树的根节点，其多类型树的深度(mttDepth)为0。当多类型树深度达到MaxMttDepth(即4)时，不再考虑进一步划分。当多类型树节点的宽度等于MinBtSize且小于或等于2*MinTtSize时，不再考虑进一步的水平划分。同理，当多类型树节点的高度等于MinBtSize且小于或等于2*MinTtSize时，不再考虑进一步的垂直划分。
为了在VVC硬件解码器中允许64×64亮度块和32×32色度流水线设计，当亮度编码块的宽度或高度大于64时，TT划分被禁止，如图5所示。当色度编码块的宽度或高度大于32时，也禁止TT划分。
在VTM6中，编解码树方案支持亮度和色度具有单独(separate)的块树结构的能力。目前，对于P和B条带，一个CTU中的亮度和色度CTB必须共享相同的编解码树结构。但是，对于I条带，亮度和色度可以具有单独的块树结构。当应用单独的块树模式时，亮度CTB被一个编解码树结构分割为CU，色度CTB被另一编解码树结构分割为色度CU。这意味着I条带中的一个CU可以由一个亮度分量的编解码块或两个色度分量的编解码块组成。除非视频是黑白的，否则P或B条带中的CU总是由所有三种颜色分量的编解码块组成。
2.3.2虚拟流水线数据单元(VPDU)
虚拟流水线数据单元(VPDU)被定义为图片中的非重叠单元。在硬件解码器中，连续的VPDU由多个流水线级同时处理。在大多数流水线级，VPDU尺寸与缓冲区尺寸大致成正比，因此保持VPDU尺寸较小很重要。在大多数硬件解码器中，VPDU尺寸可以设置为最大变换块(transform block，TB)尺寸。然而，在VVC中，三叉树(TT)和二叉树(BT)分割可能会导致VPDU尺寸的增加。
为了保持VPDU尺寸为64×64亮度样点，在VTM6中应用了以下规范的分割限制(具有语法信令通知修改)，如图6所示：
–对于宽度或高度，或宽度和高度都等于128的CU，不允许进行TT划分。
–对于N≤64(即宽度等于128且高度小于128)的128×N CU，不允许水平BT。
–对于N≤64(即高度等于128，宽度小于128)的N×128CU，不允许垂直BT。
VPDU尺寸设置为min(64,CTU size)，其中CTU尺寸是亮度CTB的宽度/高度。
2.4带有色度缩放的亮度映射(Luma mapping with chroma scaling，LMCS)
在VTM6中，添加被称为带有色度缩放的亮度映射(LMCS)的编解码工具作为环路滤波器之前的新处理块。LMCS有两个主要组件：1)基于自适应分段线性模型的亮度分量的环内映射；2)对于色度分量，应用依赖于亮度的色度残差缩放。
图7从解码器的角度示出了LMCS架构。图7中的斜线阴影块表示在映射域中应用处理的位置；这些包括逆量化、逆变换、亮度帧内预测以及将亮度预测与亮度残差相加。图7中的无阴影块表示在原始(即非映射)域中应用处理的位置；这些包括诸如去方块滤波、ALF和SAO之类的环路滤波器，运动补偿预测，色度帧内预测，色度预测与色度残差的相加，以及将解码图片存储为参考图片。图7中的阴影块是新的LMCS功能块，包括亮度信号的正向和反向映射以及依赖于亮度的色度缩放过程。与VVC中的大多数其他工具一样，可以使用SPS标志在序列级别启用/禁用LMCS。
2.4.1具有分段线性模型的亮度映射
亮度分量的环路映射通过在动态范围内重新分配码字来调整输入信号的动态范围，以提高压缩效率。亮度映射使用了正向映射函数FwdMap和相应的反向映射函数InvMap。使用具有16个相等片段(pieces)的分段线性模型来信令通知FwdMap函数。不需要信令通知InvMap函数，InvMap函数是从FwdMap函数推导而来。
在条带级别信令通知亮度映射模型。首先信令通知存在标志。如果当前条带中存在亮度映射模型，则信令通知相应的分段线性模型参数。分段线性模型将输入信号的动态范围划分为16个相等的片段。对于每个片段，使用分配给该片段的码字数表示其线性映射参数。以10位输入为例。默认情况下，该16个片段中的每个都将具有分配给其的64个码字。信令通知的码字数用于计算缩放因子并相应地为该片段调整映射函数。在条带级别，会发送另一个LMCS启用标志以指示LMCS过程是否应用于当前条带。
FwdMap分段线性模型的每个第i片段(i＝0…15)由两个输入轴心点InputPivot[]和两个输出(映射)轴心点MappedPivot[]定义。InputPivot[]和MappedPivot[]计算如下(假设为10位视频)：
1)OrgCW＝64
2)对于i＝0:16，InputPivot[i]＝i*OrgCW
3)对于i＝0:16，MappedPivot[i]计算如下：
MappedPivot[0]＝0；
for(i＝0；i<16；i++)
MappedPivot[i+1]＝MappedPivot[i]+SignalledCW[i]
其中，SignalledCW[i]是第i个片段的信令通知的码字数。
如图7所示，对于帧间编解码块，在映射域中进行运动补偿预测。换句话说，在基于DPB中的参考信号计算出运动补偿预测块Ypred之后，FwdMap函数用于将原始域中的亮度预测块映射到映射域，Y′pred＝FwdMap(Ypred)。对于帧内编码块，不应用FwdMap函数，因为帧内预测是在映射域中执行的。在计算出重建块Yr后，应用InvMap函数将映射域中的重建亮度值转换回原始域中的重建亮度值InvMap函数适用于帧内编解码和帧间编解码的亮度块。
亮度映射过程(正向和/或逆向映射)可以使用查找表(look-up-table，LUT)或应用即时(on-the-fly)计算来实现。如果使用LUT，那么FwdMapLUT和InvMapLUT就可以预先计算并预存到条带级别使用，前向映射和逆向映射可以分别简单地实现为FwdMap(Ypred)＝FwdMapLUT[Ypred]和InvMap(Yr)＝InvMapLUT[Yr]。或者，可以应用即时计算。以正向映射函数FwdMap为例。为了找出一个亮度样点所属的片段，样点值右移6位(对应于16个相等的片段)。然后，该片段的线性模型参数被检索并应用即时计算映射的亮度值。设i为片段索引，a1、a2分别为InputPivot[i]和InputPivot[i+1]，b1、b2分别为MappedPivot[i]和MappedPivot[i+1]。FwdMap函数的计算方式如下：
FwdMap(Ypred)＝((b2-b1)/(a2-a1))*(Ypred-a1)+b1
由于映射域中的片段尺寸不相等，InvMap函数可以以类似的方式即时计算，除了在计算样点值所属的片段时需要应用条件检查而不是简单的右移位。
2.4.2依赖于亮度的色度残差缩放
色度残差缩放旨在补偿亮度信号与其对应色度信号之间的相互作用。也在条带级别信令通知是否启用色度残差缩放。如果启用了亮度映射并且如果双树分割(也称为单独的色度树)未应用于当前条带，则信令通知附加标志以指示是否启用了与亮度相关的色度残差缩放。当不使用亮度映射时，或者在当前条带中使用双树分割时，禁用与亮度相关的色度残差缩放。此外，对于面积小于或等于4的色度块，始终禁用与亮度相关的色度残差缩放。
色度残差缩放取决于相应亮度预测块的平均值(对于帧内和帧间编解码块)。avgY′表示为亮度预测块的平均值。CScaleInv的值按以下步骤计算：
1)根据InvMap函数查找avgY′所属分段线性模型的索引YIdx。
2)CScaleInv＝cScaleInv[YIdx]，其中cScaleInv[]是预先计算的16片段LUT。
如果当前块被编解码为帧内、CIIP或帧内块(IBC，又名当前图片参考或CPR)复制模式，则avgY′被计算为帧内、CIIP或IBC预测亮度值的平均值；否则，avgY′被计算为前向映射帧间预测亮度值的平均值(2.4.1中的Y′pred)。与基于样点执行的亮度映射不同，CScaleIn是整个色度块的恒定值。
使用CScaleInv，对色度残差缩放进行如下处理：
编码器侧：CResScale＝CRes*CScale＝CRes/CscaleInv
解码器侧：CRes＝CResScale/CScale＝CResScale*CScaleInv
2.5色度残差的联合编解码(Joint coding of chroma residuals，JCCR)
VVC草案6支持色度残差联合编解码的模式。联合色度编解码模式的使用(激活)由TU级标志指示，
tu_joint_cbcr_residual_flag以及所选模式由色度CBF隐含指示。如果TU的一个或两个色度CBF等于1，则存在标志tu_joint_cbcr_residual_flag。在PPS和条带标头中，针对联合色度残差编解码模式信令通知色度QP偏移值，以区别于针对常规色度残差编解码模式信令通知的通常色度QP偏移值。这些色度QP偏移值用于推导使用联合色度残差编解码模式编解码的那些块的色度QP值。当相应的联合色度编解码模式(表3中的模式2)在TU中处于有效状态时，该色度QP偏移会在该TU的量化和解码期间添加到应用的亮度推导的色度QP。对于其他模式(表3中的模式1和3，表2-2：色度残差的重建。值CSign是符号值(+1或–1)，在条带标头中指定，resJointC[][]是传输的残差)，色度QP的推导方式与传统Cb或Cr块相同。来自传输的变换块的色度残差(resCb和resCr)的重建过程如表3所示。当此模式有效时，一个单一的联合色度残差块(表3中的resJointC[x][y])被信令通知，Cb的残差块(resCb)和Cr的残差块(resCr)是考虑到诸如tu_cbf_cb、tu_cbf_cr和CSign等信息而推导的，CSign是在条带标头中指定的符号值。
在编码器端，联合色度分量的推导如下所述。根据模式(在上表中列出)，resJointC由编码器生成，如下所示：
–如果模式等于2(具有重建Cb＝C,Cr＝CSign*
C的单个残差)，联合残差根据以下公式确定
■resJointC[x][y]＝(resCb[x][y]+CSign*resCr[x][y])/2。
–否则，如果模式等于1(具有重建Cb＝C，Cr＝(CSign*C)/2的单个残差)，则联合残差根据以下公式确定
■resJointC[x][y]＝(4*resCb[x][y]+2*CSign*resCr[x][y])/5。
–否则(模式等于3，即单个残差，重建Cr＝C，Cb＝(CSign*C)/
2)，联合残差根据以下公式确定
■resJointC[x][y]＝(4*resCr[x][y]+2*CSign*resCb[x][y])/5。
表2-2：色度残差的重建。值CSign是符号值(+1或–1)，在条带标头中指定，resJointC[][]是传输的残差。
该解码过程的对应规范如下：
tu_joint_cbcr_residual_flag[x0][y0]指定是否将色度分量Cb和Cr的残差样点编解码为单个变换块。数组索引x0,y0指定所考虑的变换块的左上亮度样点相对于图片左上亮度样点的位置(x0,y0)。
tu_joint_cbcr_residual_flag[x0][y0]等于1指定变换单元语法包括单个变换块的变换系数级别，从中推导Cb和Cr的残差样点。tu_joint_cbcr_residual_flag[x0][y0]等于0指定色度分量的变换系数级别按照语法元素tu_cbf_cb[x0][y0]和tu_cbf_cr[x0][y0]的指示进行编解码。
当tu_joint_cbcr_residual_flag[x0][y0]不存在时，推断为等于0。
根据tu_joint_cbcr_residual_flag[x0][y0]、tu_cbf_cb[x0][y0]和tu_cbf_cr[x0][y0]，变量TuCResMode[x0][y0]推导如下：
–如果tu_joint_cbcr_residual_flag[x0][y0]等于0，则变量TuCResMode[x0][y0]设置为等于0；
–否则，如果tu_cbf_cb[x0][y0]等于1并且tu_cbf_cr[x0][y0]等于0，则变量TuCResMode[x0][y0]设置为等于1；
–否则，如果tu_cbf_cb[x0][y0]等于1，则变量TuCResMode[x0][y0]设置为等于2；
–否则，变量TuCResMode[x0][y0]设置为等于3。
8.7.2缩放和变换过程
4.残差样点resSamples[x][y]其中x＝0..nTbW-1,y＝0..nTbH-1推导如下：
–如果cIdx等于codedCIdx，则以下适用：
resSamples[x][y]＝res[x][y] (8-947)
–否则，如果TuCResMode[xTbY][yTbY]等于2，则以下适用：
resSamples[x][y]＝cSign*res[x][y] (8-948)
–否则，以下适用：
resSamples[x][y]＝(cSign*res[x][y])>>1 (8-949)
2.6变换
可以对一个变换块应用两级变换，包括主变换和二次变换。
对于主变换，使用DCT-II。此外，当对SPS启用MTS时，可以根据编解码信息/信令通知信息应用其他类型的变换矩阵。变换跳过模式可以被视为仅应用主变换的特殊情况，其中变换矩阵是恒等变换。
对于二次变换，使用不可分变换矩阵。
变换相关部分的细节描述如下。
2.6.1VVC中的多重变换集(Multiple Transform Set，MTS)
2.6.1.1显式多重变换集(MTS)
在VTM4中，启用了最大尺寸为64×64的大块尺寸变换，这主要用于更高分辨率的视频，例如1080p和4K序列。对于尺寸(宽度或高度，或宽度和高度两者)等于64的变换块，高频变换系数被置零，从而仅保留低频系数。例如，对于一个M×N的变换块，M为块宽，N为块高，当M等于64时，只保留左边32列变换系数。类似地，当N等于64时，只保留前32行变换系数。当对大块使用变换跳过模式时，将使用整个块而不将任何值置零。
除了已在HEVC中采用的DCT-II之外，多重变换选择(MTS)方案还用于帧间和帧内编解码块的残差编解码。其使用来自DCT8/DST7的多个选定变换。新引入的变换矩阵是DST-VII和DCT-VIII。如下表2-3示出了所选DST/DCT的基函数。
表2-3：VVC中使用的变换矩阵的基函数。
为了保持变换矩阵的正交性，变换矩阵的量化比HEVC中的变换矩阵更准确。为了将变换后的系数的中间值保持在16位范围内，水平和垂直变换后的所有系数都应为10位。
为了控制MTS方案，在SPS级别分别为帧内和帧间指定了单独的启用标志。当在SPS启用MTS时，会发出一个CU级别标志来指示是否应用了MTS。这里，MTS仅应用于亮度。当满足以下条件时，会信令通知MTS CU级别标志。
-宽高都小于等于32
-CBF标志等于一
如果MTS CU标志等于0，则DCT2应用于两个方向。然而，如果MTS CU标志等于1，则另外信令通知两个其他标志以分别指示水平和垂直方向的变换类型。变换与信令通知映射表如表2-4所示。在变换矩阵精度方面，使用了8位主变换核。因此，HEVC中使用的所有变换核都保持不变，包括4点DCT-2和DST-7、8点、16点和32点DCT-2。此外，包括64点DCT-2、4点DCT-8、8点、16点、32点DST-7和DCT-8在内的其他变换核使用8位主变换核。
表2-4：tu_mts_idx解码值与对应的水平和垂直方向变换矩阵的映射。
为了降低大尺寸DST-7和DCT-8的复杂性，对于尺寸(宽度或高度，或宽度和高度)等于32的DST-7和DCT-8块，高频变换系数被置零。仅保留16×16低频区域内的系数。
除了应用不同变换的情况外，VVC还支持一种称为变换跳过(TS)的模式，类似于HEVC中的TS概念。TS被视为MTS的一个特例。
2.6.2LFNST(low frequence non-separable transform，又名RST/NSST)
在JEM中，二次变换应用于正向主变换和量化(在编码器)之间以及逆量化和逆向主变换(在解码器端)之间。如图8所示，执行4×4(或8×8)二次变换取决于块尺寸。例如，4×4二次变换适用于小块(即min(width，height)<8)，8×8二次变换适用于每个8×8块的较大块(即min(width，height)>4)。
对于二次变换，应用了不可分变换，因此，其也被称为不可分二次变换(Non-Separable Secondary Transform，NSST)。每个变换集总共使用35个变换集和3个不可分变换矩阵(内核，每个具有16×16矩阵)。
在JVET-K0099中引入了缩减二次变换(RST，也称为低频不可分变换，LFNST)，在JVET-L0133中引入了根据帧内预测方向的4个变换集(而不是35个变换集)映射。在此贡献中，16×48和16×16矩阵分别用于8×8和4×4块。为方便起见，16×48变换表示为RST 8×8，16×16变换表示为RST 4×4。VVC近来采用了这种方法。
图9示出了提出的缩减二次变换(RST)。
二次正向和逆变换是与主变换不同的处理步骤。
对于编码器，首先进行主正向变换，然后进行二次正向变换和量化，以及CABAC比特编码。对于解码器，CABAC比特解码和逆量化，首先进行二次逆变换，然后进行主逆变换。RST仅适用于帧内编解码的TU。
2.7编解码工具之间的交互
在当前的VVC中，解码顺序如图10所示。
3本公开描述的技术方案解决的技术问题
目前的设计存在以下问题：
1.当前的解码顺序有两个缺点：
a.一方面，将色度残差缩放过程应用于两个色度块中的每一
个，即使是JCCR编解码，也是对计算复杂性的浪费。
b.另一方面，如果想要获得更高的中间值精度，则应将JCCR直接应用于解码后的系数，而不是逆向量化/变换后的残差。
2.JCCR模式1和模式3中的残差取整是次优的，因为它没有考虑残差的符号信息。
3.当亮度样点中的最大变换尺寸等于32时，从BT或TT生成的分割可能会违反VPDU限制。
4.BT和TT分割可以优化。
5.当亮度样点中的最大变换尺寸等于32时，LMCS可能无法正常工作。
6.亮度和色度重建过程之间的依赖性增加了编码器和解码器的延迟。
4技术和实施例的示例
下面的列表应被视为解释一般概念的示例。不应狭隘地解释这些项目。此外，这些项目可以以任何方式组合。
在以下讨论中，CU可以包括与具有单树编解码结构的所有三色分量相关联的信息。或者，CU可以包括仅与具有单色编解码的亮度颜色分量相关联的信息。或者，CU可以包括仅与具有双树编解码结构的亮度颜色分量(例如，YCbCr格式的Y分量或GBR格式的G分量)相关联的信息。或者，CU可以包括仅与具有双树编解码结构的两个色度分量(例如，YCbCr格式的Cb和Cr分量或GBR格式的B和R分量)相关联的信息。
在以下描述中，“块”可以指代编解码单元(CU)或变换单元(TU)或视频数据的任何矩形区域。“当前块”可以指当前正在解码/编解码的编解码单元(CU)或当前正在解码/编解码的变换单元(TU)或视频数据的任何正在解码/编解码的编解码矩形区域。“CU”或“TU”也可以称为“编解码块”和“变换块”。
在以下描述中，“当前块”可以指当前正在解码/编解码的编解码单元(CU)或当前正在解码/编解码的变换单元(TU)。
在以下描述中，编码信息可以包括预测模式(例如，帧内/帧间/IBC模式)，运动矢量、参考图片、帧间预测方向、帧内预测模式、CIIP(组合帧内帧间预测)模式、ISP模式、仿射帧内模式、采用的变换核、变换跳过标志等，即编码块时所需的信息。
Shift(x,s)定义为：
Shift(x,s)＝(x+off)＞＞s，其中，变量off为不等于0的整数，例如设为1<<(s-1)。
SignShift(x,s)定义为：
其中，变量off为整数，例如0或1<<(s-1)。
1.解码过程修改为按以下顺序调用：
a.在一个示例中，LMCS中的色度残差缩放过程仅应用于对应于同一变换单元中的两个色度颜色分量的两个色度块之一。
i.在一个示例中，将色度残差缩放过程应用于第一颜色分量以推导第一颜色分量的缩放色度残差(例如，第一颜色分量的最终残差)。并且，第一颜色分量的缩放色度残差(例如，LMCS应用于色度块)可用于推导第二颜色分量的缩放色度残差(例如，第一颜色分量的最终残差)。
1)或者，此外，如何导出第二颜色分量的缩放色度残差可以取决于解码信息，例如与JCCR相关的边信息。
2)在一个示例中，将JCCR应用于第一颜色分量的缩放色度残差，其中表2-2的输入(即resJointC)是第一颜色分量的缩放色度残差。
ii.或者，此外，如果需要，首先对第一颜色分量应用逆量化和逆变换；然后，如果需要，将色度残差缩放应用于第一个颜色分量，以推导第一个颜色分量的最终残差；最后，将JCCR应用于第一个颜色分量的最终残差，以推导第二个颜色分量的残差。
1)或者，此外，在上述处理之后，还可以对第二颜色分量的残差进行限幅(clipping)。
a.在一个示例中，可以将残差限幅到范围，该范围可以取决于第二颜色分量/色度分量的位深度。
i.在一个示例中，范围可以定义为：[-(1<<
BitDepthC),(1<<BitDepthC)-1]。
iii.图11中描绘了解码流程的示例。注意，对于某些过程(例如，逆变换)，可以根据解码信息跳过。
b.在一个示例中，LMCS中的色度残差缩放过程分为两个步骤：第一步是计算输入值(用A表示)或绝对输入值(用abs(A)表示)与缩放因子(用S表示)之间的乘积；第二步是计算移位(例如，Shift(A,S)或SignShift(A,S))。
i.建议将第一步仅应用于与同一变换单元中的两个色度颜色分量对应的两个色度块中的一个。
1)或者，此外，对于第一颜色分量，在逆量化、逆变换处理后，如果需要，则应用第一步生成第一颜色分量的临时色度残差块。
a.或者，此外，第一颜色分量的临时色度残差块可用于生成第一颜色分量的最终残差块，例如，通过调用色度残差缩放过程中的第二步，例如Shift(A,S)或SignShift(A,S)。
b.或者，此外，可以利用第一颜色分量的临时色度残差块来生成第二颜色分量的最终残差块。例如，
根据JCCR边信息，如果JCCR模式不等于2，则使用cSign*Shift(A,S+1)或cSign*SignShift(A,S+1)，
其中，cSign是是否将反转符号应用于JCCR编解码块的指示。
c.在一个示例中，第一颜色分量的解码系数(例如，从比特流中解析的那些系数)可用于推导第二颜色分量的系数。
i.或者，此外，如何推导第二颜色分量的系数可以取决于解码信息，例如与JCCR相关的边信息。
1)在一个示例中，JCCR应用于第一颜色分量的缩放色度残差，其中表2-2的输入(即resJointC)是第一颜色分量的解码系数。
ii.在一个示例中，可以首先将JCCR应用于与第一颜色分量相关联的解码系数以推导第二颜色分量的系数。
1)或者，进一步地，在JCCR之后，如果需要，可以分别对双色分量应用逆量化和逆变换；最后，将色度残差缩放应用于每个双色分量。
iii.图12中描绘了解码流程的示例。注意，对于某些过程(例如，
逆变换)，可以根据解码信息跳过。
d.在一个示例中，如果Cb颜色分量的编解码块标志(CBF)(例如，tu_cbf_cb)等于1，或者双色分量的两个CBF(例如，tu_cbf_cb和tu_cbf_cr)都为真，“第一颜色分量”可以定义为Cb(或B)颜色分量。
i.或者，“第二颜色分量”可以定义为Cr(或R)颜色分量。
e.在一个示例中，如果Cr颜色分量的编解码块标志(CBF)(例如，tu_cbf_cr)等于1，则“第一颜色分量”可以定义为Cr(或R)颜色分量。
i.或者，“第二颜色分量”可以定义为Cb(或B)颜色分量。
2.JCCR中的残差/系数缩放过程(例如，对于模式1和/或模式3)从(x>>s)修改为Shift(x，s)，其中变量x是第一个颜色分量的值，函数的输出是相应的第二个颜色分量的推导值。
a.或者，该过程被修改为SignShift(x,s)。
3.JCCR可以应用于某些编解码模式，而不是应用于所有具有非零系数的块。
a.在一个示例中，JCCR可以应用于以跨分量线性预测方法编解码的色度块，跨分量线性预测方法利用来自不同颜色分量的解码信息。
b.在一个示例中，可以应用于以直接模式编解码的色度块，该直接模式从亮度块中推导色度块的帧内预测模式。
c.或者，此外，进一步跳过JCCR边信息(例如，是否对块应用JCCR，由tu_joint_cbcr_residual_flag表示)的信令通知。
4.JCCR可以应用于某些块维度而无需信令通知。用W×H表示块尺寸，其中W和H是色度样点中的宽度和高度。
a.在一个示例中，当W<＝T1和/或H<＝T2时，可以直接应用JCCR。
b.在一个示例中，当W<T1和/或H<T2时，可以直接应用JCCR。
c.在一个示例中，当W×H<＝T3时，可以直接应用JCCR。
d.在一个示例中，当W>＝T1和/或H>＝T2时，可以直接应用JCCR。
e.在一个示例中，当W>T1和/或H>T2时，可以直接应用JCCR。
f.在一个示例中，当W×H<＝T3时，可以直接应用JCCR。
g.在以上示例中，T1和/或T2和/或T3是整数，其可以是预先定义的或信令通知的或即时(例如，根据图片/条带量化参数)推导的。
i.在上述示例中，T1和/或T2和/或T3可以设置为4、8、32、16、128。
h.或者，此外，W和H可以表示对应于当前色度块的亮度块中的亮度样点的宽度和高度。
5.是否允许SPLIT_BT_VER(allowSplitBtVer)可以取决于当前块的尺寸、VPDU尺寸(VpduSize)和最大变换块尺寸(MaxTbSize)。
a.在一个示例中，当块宽度小于或等于VpduSize并且块高度大于VpduSize时，allowSplitBtVer可以被设置为等于FALSE。
i.在一个示例中，VpduSize设置为64。。
b.在一个示例中，当块宽度小于或等于Max(VpduSize,MaxTbSize)并且块高度大于Max(VpduSize,MaxTbSize)时，allowSplitBtVer可以设置为等于FALSE。
i.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为64。
ii.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为32。
6.是否允许SPLIT_BT_HOR(allowSplitBtHor)可以取决于当前块的尺寸、VPDU尺寸(VpduSize)和最大变换块尺寸(MaxTbSize)。
a.在一个示例中，当块高度小于或等于VpduSize并且块宽度大于VpduSize时，allowSplitBtHor可以被设置为等于FALSE。
i.在一个示例中，VpduSize设置为64。
b.在一个示例中，当块高度小于或等于Max(VpduSize,MaxTbSize)并且块宽度大于Max(VpduSize,MaxTbSize)时，allowSplitBtHor可以设置为等于FALSE。
i.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为64。
ii.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为32。
7.是否允许SPLIT_TT_VER(allowSplitTtVer)可能取决于当前块的尺寸、VPDU尺寸(VpduSize)、最大变换块尺寸(MaxTbSize)和最大三叉树尺寸(maxTtSize)。
a.在一个示例中，当块宽度或块高度大于Min(VpduSize,maxTtSize)时，allowSplitTtVer可以设置为等于FALSE。
i.在一个示例中，VpduSize设置为64。
b.在一个示例中，当块宽度或块高度大于Min(Max(VpduSize,MaxTbSize),maxTtSize)时，allowSplitTtVer可以设置为等于FALSE。
i.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为64。
ii.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为32。
8.是否允许SPLIT_TT_HOR(allowSplitTtHor)可以取决于当前块的尺寸、VPDU尺寸(VpduSize)、最大变换块尺寸(MaxTbSize)和最大三叉树尺寸(maxTtSize)。
a.在一个示例中，当块宽度或块高度大于Min(VpduSize,maxTtSize)
时，allowSplitTtHor可以设置为等于FALSE。
i.在一个示例中，VpduSize设置为64。
b.在一个示例中，当块宽度或块高度大于Min(Max(VpduSize，MaxTbSize)，maxTtSize)时，allowSplitTtHor可以设置为等于FALSE。
i.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为64。
ii.在一个示例中，VpduSize设置为64，并且MaxTbSize设置为32。9.在LMCS过程中从亮度块推导色度缩放因子时，不允许从亮度编解码单元(CU)中获取信息。亮度CU是对应的10.在LMCS过程中从亮度块推导色度缩放因子时，不允许从亮度编解码单元(CU)中获取信息。亮度CU是覆盖当前色度块中代表性色度样点的对应亮度样点的对应亮度CU。
a.或者，亮度CU是覆盖当前色度块中任何色度样点的对应亮度样点的对应亮度CU。
11.提出对一个色度CU内的所有色度样点使用相同的缩放因子，无论色度CU是否被划分为多个TU。
a.或者，此外，可以访问相同的亮度重建样点以推导一个色度CU内的所有色度样点的缩放因子，而不管色度CU是否被划分为多个TU。
b.或者，此外，可以访问相同的亮度重建样点以推导所有色度样点的缩放因子，并且这些亮度重建样点是当前色度CU的对应亮度CU之外的那些。
c.或者，当一个色度CU被划分为多个TU时，色度残差缩放可以仅应用于部分TU，例如，位于CU顶部边界的TU。
d.或者，当一个色度CU被划分为多个TU时，可以禁用色度残差缩放。
e.在一个示例中，可以在当前CU尺寸大于最大TB尺寸时调用上述方法。
12.是否启用所提出的方法和/或要应用哪些项目符号的指示可以在视频单元级别中信令通知。
a.在一个示例中，视频单元可以是片/图块/条带/图片/子图片/序列/视图等。
b.在一个示例中，是否启用所提出的方法和/或如何启用所提出的方法可以在序列参数集/视图参数集/自适应参数集/图片参数集/图片标头/条带标头中信令通知。
c.或者，是否启用所提出的方法和/或如何启用所提出的方法可以由其他语法元素控制。
i.在一个示例中，可以通过是否启用JCCR来控制(例如，
sps_joint_cbcr_enabled_flag)。
ii.在一个示例中，可以通过两个色度分量的并置的残差样点是否具有反转符号(例如，slice_joint_cbcr_sign_flag)来控制。
iii.在一个示例中，可以通过当前块是否以帧间模式编解码来控制。
d.是否启用所提出的方法和/或如何启用所提出的方法可能取决于当前块和/或临近(紧邻或非紧邻)块的编解码信息，如块维度、条带类型/图片类型/时域层索引/视频内容/颜色分量/分割树类型/编解码模式/变换信息等。
i.在一个示例中，对于宽度不大于T1且高度不大于T2的块，可以应用所提出的方法。
ii.在一个示例中，对于宽度不大于T1或高度不大于T2的块，可以应用所提出的方法。
iii.在一个示例中，对于宽度乘以高度不大于T3的块，可以应用所提出的方法。
iv.在一个示例中，可以通过当前块是否以等于或不等于K的JCCR模式编解码(例如，K＝2)来控制。
图13示出了示例视频处理系统1300的框图，其可以实施本公开的各种技术。各种实施可以包括系统1300的一些或所有组件。系统1300可以包括用于接收视频内容的输入1302。视频内容可以以原始或未压缩格式(例如，8或10位多分量像素值)接收，或者可以以压缩或编码格式接收。输入1302可以表示网络接口、外围总线接口或存储接口。网络接口的示例包括例如以太网、无源光网络(PON)等的有线接口和例如Wi-Fi或蜂窝接口的无线接口。
系统1300可以包括编解码组件1304，其可以实现本文档中描述的各种编解码或编码方法。编解码组件1304可以降低从输入1302到编解码组件1304输出的视频平均比特率以生成视频的编解码表示。因此，编解码技术有时被称为视频压缩或视频转码技术。编解码组件1304的输出可以被存储或通过连接的通信传输，如组件1306所示。在输入1302处接收的视频的存储或传送的比特流(或编解码)表示可以被组件1308用于生成发送到显示接口1310的像素值或可显示视频。从比特流表示生成用户可见视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，还应认识到，编解码工具或操作用于编码器，且相应的将编解码结果反转的解码工具或操作将由解码器执行。
外围总线接口或显示接口的示例可以包括通用串行总线(USB)或高清多媒体接口(HDMI)或显示端口等。存储接口的示例包括SATA(串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，例如移动电话、笔记本电脑、智能电话或能够执行数字数据处理和/或视频显示的其他设备。
图14是视频处理装置1400的框图。装置1400可用于实施本文档所述的一种或多种方法。装置1400可以体现在智能电话、平板电脑、计算机、物联网(IoT)接收器等中。装置1400可以包括一个或多个处理器1402、一个或多个存储器1404和视频处理硬件1406。处理器1402可以被配置为实施本文档中描述的一种或多种方法。存储器(存储器)1404可用于存储用于实施在此描述的方法和技术的数据和代码。视频处理硬件1406可用于在硬件电路中实施本文档中描述的一些技术。在一些实施例中，硬件1406可以至少部分地在处理器1402(例如，图形处理器)中。
图15是视频处理的示例方法1500的流程图。方法1500包括，在操作1510中，对于包括亮度块、第一色度块和第二色度块的当前区域，根据规定顺序的规则执行视频的当前区域和视频的比特流表示之间的转换，在该规则规定的顺序(order)中，在解码时，第一色度块和第二色度块基于亮度块的映射样点值进行处理。
图16是视频处理的示例方法1600的流程图。方法1600包括，在操作1610中，对于包括亮度块、第一色度块和第二色度块的当前区域，执行视频的当前区域和视频的比特流表示之间的转换，使得该转换包括色度残差操作的联合编解码，该操作包括残差或系数缩放过程，该过程使用与第一色度颜色分量的值对应的输入和与第二色度颜色分量的推导值对应的输出的移位操作。
图17是视频处理的示例方法1700的流程图。方法1700包括，在操作1710中，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)以及为当前块配置的变换块的最大尺寸(表示为MaxTbSize)确定垂直二叉树分割是否适用于当前块。
方法1700包括，在操作1720中，基于上述确定执行转换。
图18是视频处理的示例方法1800的流程图。方法1800包括，在操作1810中，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)以及为当前块配置的变换块的最大尺寸(表示为MaxTbSize)确定水平二叉树分割是否适用于当前块。
方法1800包括，在操作1820，基于上述确定执行转换。
图19是视频处理的示例方法1900的流程图。方法1900包括，在操作1910中，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)、为当前块配置的变换块的最大尺寸(表示为MaxTbSize)以及为当前块配置的最大三叉树尺寸(表示为maxTtSize)确定垂直三叉树分割是否适用于当前块。
方法1900包括，在操作1920，基于上述确定执行转换。
图20是视频处理的示例方法2000的流程图。方法2000包括，在操作2010中，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)、为当前块配置的变换块的最大尺寸(表示为MaxTbSize)以及为当前块配置的最大三叉树尺寸(表示为maxTtSize)确定水平三叉树分割是否适用于当前块。
方法2000包括，在操作2020，基于上述确定执行转换。
图21是视频处理的示例方法2100的流程图。方法2100包括，在操作2110中，执行视频的色度块和视频的比特流表示之间的转换，使得色度块的残差被缩放因子缩放，该缩放因子根据规则确定，该规则规定在不访问特定亮度区域的信息的情况下确定缩放因子。
图22是视频处理的示例方法2200的流程图。方法2200包括，在操作2210中，对于包括色度编解码单元(CU)的当前块，根据规则执行视频的当前块和视频的比特流表示之间的转换，该规则规定应用于色度CU的多个色度样点的残差的多个缩放因子的推导方法，该推导方法与是否将色度CU进一步划分为多个变换单元(TU)进行转换无关。
图23是视频处理的示例方法2300的流程图。方法2300包括，在操作2310中，针对包括色度编解码单元(CU)的当前块，根据规则执行视频的当前块和视频的比特流表示之间的转换，该规则规定当色度CU被拆分为多个变换单元(TU)时是否启用色度残差缩放操作。
图24是描述可以利用本公开的技术的示例视频编解码系统100的框图。
如图24所示，视频编解码系统100可以包括源设备110和目的设备120。源设备110生成可以被称为视频编码设备的编码视频数据。目的设备120可以解码由源设备110生成的编码视频数据，可以被称为视频解码设备。
源设备110可以包括视频源112、视频编码器114和输入/输出(I/O)接口116。
视频源112可以包括诸如视频捕获设备、从视频内容提供者接收视频数据的接口、和/或用于生成视频数据的计算机图形系统之类的源，或这些源的组合。视频数据可以包括一幅或多幅图片。视频编码器114对来自视频源112的视频数据进行编码以生成比特流。比特流可以包括形成视频数据的编解码表示的位序列。比特流可以包括编解码图片和相关数据。编解码图片是图片的编解码表示。关联数据可以包括序列参数集、图片参数集和其他语法结构。I/O接口116可以包括调制器/解调器(调制解调器)和/或发射器。编码的视频数据可以通过网络130a经由I/O接口116直接发送到目的设备120。编码的视频数据也可以存储在存储介质/服务器130b上以供目的设备120访问。
目的设备120可以包括I/O接口126、视频解码器124和显示设备122。
I/O接口126可以包括接收器和/或调制解调器。
I/O接口126可以从源设备110或存储介质/服务器130b获取编码视频数据。视频解码器124可解码经编码视频数据。显示设备122可以向用户显示解码的视频数据。显示设备122可以与目标设备120集成，或者可以在目标设备120外部，目标设备120配置为与外部显示设备接口。
视频编码器114和视频解码器124可以根据视频压缩标准操作，例如高效视频编码(HEVC)标准、通用视频编码(VVC)标准和其他当前和/或进一步的标准。
图25是说明视频编码器200的示例的框图，视频编码器200可以是在图24中说明的系统100中的视频编码器114。
视频编码器200可经配置以执行本公开的任何或所有技术。在图25的示例中，视频编码器200包括多个功能组件。本公开中描述的技术可在视频编码器200的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
视频编码器200的功能组件可以包括分区单元201、预测单元202(可以包括模式选择单元203、运动估计单元204、运动补偿单元205和帧内预测单元206)、残差生成单元207、变换单元208、量化单元209、逆量化单元210、逆变换单元211、重构单元212、缓冲器213和熵编码单元214。
在其他示例中，视频编码器200可包括更多、更少或不同的功能组件。在一个示例中，预测单元202可以包括帧内块复制(IBC)单元。IBC单元可以在IBC模式下执行预测，其中至少一个参考图片是当前视频块所在的图片。
此外，诸如运动估计单元204和运动补偿单元205的一些组件可以高度集成，但是为了解释的目的而在图5的示例中单独表示。
分割单元201可将图片分割成一个或多个视频块。视频编码器200和视频解码器300可以支持各种视频块大小。
模式选择单元203可以选择编解码模式之一(帧内或帧间，例如基于错误结果)，并且将得到的帧内或帧间编解码块提供给残差生成单元207以生成残差块数据，并提供给重构单元212以重构编码块以用作参考图片。在一些示例中，模式选择单元203可以选择帧内和帧间预测(CIIP)模式的组合，其中预测基于帧间预测信号和帧内预测信号。在帧间预测的情况下，模式选择单元203还可以为块选择运动矢量(例如，子像素或整数像素精度)的分辨率。
为了对当前视频块执行帧间预测，运动估计单元204可以通过将来自缓冲器213的一个或多个参考帧与当前视频块进行比较来生成当前视频块的运动信息。运动补偿单元205可以基于来自缓冲器213的除了与当前视频块相关联的图片之外的图片的运动信息和解码样点来确定当前视频块的预测视频块。
运动估计单元204和运动补偿单元205可以对当前视频块执行不同的操作，例如，取决于当前视频块是在I条带、P条带还是B条带中。
在一些示例中，运动估计单元204可为当前视频块执行单向预测，且运动估计单元204可搜索列表0或列表1的参考图片以寻找当前视频块的参考视频块。运动估计单元204可接着生成指示列表0或列表1中包含参考视频块的参考图片的参考索引和指示当前视频块与参考视频块之间的空间移位的运动矢量。运动估计单元204可输出参考索引、预测方向指示符和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前块的预测视频块。
在其他示例中，运动估计单元204可为当前视频块执行双向预测，运动估计单元204可在列表0中的参考图片中搜索当前视频块的参考视频块，并且还可在列表1中的参考图片中搜索当前视频块的另一参考视频块。运动估计单元204可接着生成指示列表0和列表1中的参考图片的参考索引，其包含参考视频块和指示参考视频块与当前视频块之间的空间移位的运动矢量。运动估计单元204可以输出当前视频块的参考索引和运动矢量作为当前视频块的运动信息。运动补偿单元205可以基于由当前视频块的运动信息指示的参考视频块来生成当前视频块的预测视频块。
在一些示例中，运动估计单元204可以输出完整的运动信息集以用于解码器的解码处理。
在一些示例中，运动估计单元204可以不输出当前视频的完整的运动信息集。相反，运动估计单元204可参考另一视频块的运动信息来信令通知当前视频块的运动信息。例如，运动估计单元204可确定当前视频块的运动信息与临近视频块的运动信息足够相似。
在一个示例中，运动估计单元204可在与当前视频块相关联的句法结构中指示一个值，该值向视频解码器300指示当前视频块具有与另一视频块相同的运动信息。
在另一示例中，运动估计单元204可在与当前视频块相关联的语法结构中识别另一视频块和运动矢量差(motion vector difference，MVD)。运动矢量差表示当前视频块的运动矢量与指示的视频块的运动矢量之间的差。视频解码器300可以使用所指示的视频块的运动矢量和运动矢量差来确定当前视频块的运动矢量。
如上文所讨论，视频编码器200可预测性地信令通知运动矢量。可由视频编码器200实施的预测信令通知技术的两个示例包括高级运动矢量预测(advanced motionvector predication，AMVP)和merge模式信令通知。
帧内预测单元206可以对当前视频块执行帧内预测。当帧内预测单元206对当前视频块执行帧内预测时，帧内预测单元206可以基于同一图片中的其他视频块的解码样点生成当前视频块的预测数据。当前视频块的预测数据可以包括预测视频块和各种语法元素。
残差生成单元207可通过从当前视频块减去(例如，由负号指示)当前视频块的预测视频块来生成当前视频块的残差数据。当前视频块的残差数据可以包括残差视频块，该残差视频块对应于当前视频块中样点的不同样点分量。
在其他示例中，对于当前视频块可能不存在当前视频块的残差数据，例如在跳过模式中，并且残差生成单元207可能不执行减法运算。
变换处理单元208可以通过对与当前视频块相关联的残差视频块应用一个或多个变换，为当前视频块生成一个或多个变换系数视频块。
在变换处理单元208生成与当前视频块相关联的变换系数视频块之后，量化单元209可基于与当前视频块相关联的一个或多个量化参数(QP)值来量化与当前视频块相关联的变换系数视频块。
逆量化单元210和逆变换单元211可以分别对变换系数视频块应用逆量化和逆变换，以从变换系数视频块重构残差视频块。重构单元212可将重构的残差视频块添加到来自预测单元202生成的一个或多个预测视频块的对应样点中，以生成与当前块相关联的重构视频块以存储在缓冲器213中。
在重构单元212重构视频块之后，可以执行环路滤波操作以减少视频块中的视频块伪影。
熵编码单元214可以从视频编码器200的其他功能组件接收数据。当熵编码单元214接收数据时，熵编码单元214可执行一个或多个熵编码操作以产生熵编码数据并输出包括熵编码数据的比特流。
图26是说明视频解码器300的示例框图，视频解码器300可以是图24中说明的系统100中的视频解码器114。
视频解码器300可经配置以执行本公开任何或所有技术。在图26的示例中，视频解码器300包括多个功能组件。本公开中描述的技术可在视频解码器300的各种组件之间共享。在一些示例中，处理器可以被配置为执行本公开中描述的任何或所有技术。
在图26的示例中，视频解码器300包括熵解码单元301、运动补偿单元302、帧内预测单元303、逆量化单元304、逆变换单元305、以及重构单元306和缓冲器307。在一些示例中，视频解码器300可以执行通常与关于视频编码器200(例如，图25)描述的编码通道(pass)相反的解码通道。
熵解码单元301可以检索编码比特流。编码比特流可以包括熵编解码的视频数据(例如，编码的视频数据块)。熵解码单元301可以解码熵编解码的视频数据，并且根据熵解码的视频数据，运动补偿单元302可以确定包括运动矢量、运动矢量精度、参考图片列表索引和其他运动信息的运动信息。例如，运动补偿单元302可以通过执行AMVP和merge模式来确定该信息。
运动补偿单元302可以生成运动补偿块，可能基于插值滤波器执行插值。以子像素精度使用的插值滤波器的标识符可以包括在语法元素中。
运动补偿单元302可使用视频编码器20在对视频块进行编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元302可根据接收的语法信息来确定由视频编码器200使用的内插滤波器并且使用内插滤波器来产生预测块。
运动补偿单元302可以使用一些语法信息来确定用于对编码视频序列的帧和/或条带进行编码的块的尺寸、描述编码视频序列的图片的每个宏块如何分割的分割信息、指示每个分割如何编码的模式、每个帧间编码块的一个或多个参考帧(和参考帧列表)以及其他解码编码的视频序列的信息。
帧内预测单元303可以使用例如在比特流中接收的帧内预测模式来从空间紧邻块形成预测块。逆量化单元303对在比特流中提供并由熵解码单元301解码的量化视频块系数进行逆量化，即反量化。逆变换单元303应用逆变换。
重建单元306可将残差块与由运动补偿单元202或帧内预测单元303生成的对应预测块相加以形成解码块。如果需要，还可以应用去方块滤波器来过滤解码的块，以便去除块状伪影。然后将解码的视频块存储在缓冲器307中，缓冲器307为随后的运动补偿提供参考块。
以下方案可以作为一些实施例中的优选技术方案来实施。
A1.一种视频处理方法，包括对于包括亮度块、第一色度块和第二色度块的当前区域，根据规则执行在视频的当前区域和视频的比特流表示之间的转换，该规则规定在解码期间基于亮度块的映射样点值处理第一色度块和第二色度块的顺序。
A2.方案A1的方法，其中，第一色度块和第二色度块分别对应于视频的第一色度颜色分量和视频的第二色度颜色分量，其中，第一色度颜色分量和第二色度颜色分量在同一个变换单元中，并且其中，该规则规定与处理第一色度块和第二色度块相关联的色度残差缩放过程应用于第一色度块或第二色度块。
A3.方案A2的方法，其中，该规则规定与处理第一色度块和第二色度块相关联的色度残差缩放过程，应用于第一色度颜色分量以导出第一色度颜色分量的缩放色度残差。
A4.方案A3的方法，其中，该规则进一步规定第一色度颜色分量的缩放色度残差用于推导第二色度颜色分量的缩放色度残差。
A5.方案A3的方法，其中，该规则进一步规定第二色度颜色分量的缩放色度残差是基于与色度残差联合编解码(JCCR)操作相关的边信息推导的。
A6.方案A3的方法，其中，该规则进一步规定对第一色度颜色分量的缩放色度残差应用色度残差联合编解码(JCCR)操作。
A7.方案A5的方法，其中，该规则进一步规定在应用色度残差缩放处理之前对第一色度颜色分量应用逆量化操作和逆变换。
A8.方案A7的方法，其中，该规则进一步规定对第二色度颜色分量的缩放色度残差应用限幅操作。
A9.方案A8的方法，其中，限幅操作的输出范围基于第二色度颜色分量的位深度。
A10.方案A9的方法，其中，输出范围被确定为[-(1<<BitDepthC),(1<<BitDepthC)-1]，其中，BitDepthC为第二色度颜色分量的位深度。
A11.方案A1的方法，其中，第一色度块和第二色度块分别对应于视频的第一色度颜色分量和视频的第二色度颜色分量，并且其中，该规则规定与处理第一色度块和第二色度块相关联的色度残差缩放过程包括确定输入和缩放因子之间的乘积的第一步骤，其中，输入包括输入值或输入值的绝对值以及对输入应用移位操作的第二步骤，其中，移位操作使用缩放因子。
A12.方案A11的方法，其中，移位操作定义为Shift(x,s)＝(x+off)＞＞s，其中，x是输入，s是缩放因子，off是非零整数。
A13.方案A12的方法，其中，off＝(1<<(s-1))。
A14.方案A11的方法，其中，移位操作定义为 其中，x是输入，s是缩放因子，off是整数。
A15.方案A14的方法，其中，off＝0或off＝(1<<(s-1))。
A16.方案A11至A15中任一项的方法，其中，第一色度颜色分量和第二色度颜色分量在同一个变换单元中，并且其中，该规则规定将第一步骤应用于第一色度块或第二色度块。
A17.方案A16的方法，其中，该规则进一步规定在应用第一步骤之前对第一色度颜色分量应用逆量化操作和逆变换以生成第一色度颜色分量的临时色度残差块。
A18.方案A17的方法，其中，该规则进一步规定应用第二步骤，基于第一色度颜色分量的临时色度残差块生成第一色度颜色分量的最终残差块。
A19.方案A17的方法，其中，该述规则进一步规定根据第一色度颜色分量的临时色度残差块生成第二色度颜色分量的最终残差块。
A20.方案A19的方法，其中，进一步基于与色度残差联合编解码(JCCR)操作相关的边信息生成第二色度颜色分量的最终残差块。
A21.方案A20的方法，其中，边信息包括是否将反转符号应用于以JCCR操作编解码的视频块的指示。
A22.方案A1的方法，其中，第一色度块和第二色度块分别对应视频的第一色度颜色分量和视频的第二色度颜色分量，并且其中，该规则规定第二色度颜色分量的推导系数是基于第一色度颜色分量的解码系数。
A23.方案A22的方法，其中，推导第二色度颜色分量的系数进一步基于与色度残差联合编解码(JCCR)操作相关的边信息。
A24.方案A22的方法，其中，在将色度残差联合编解码(JCCR)操作应用于第一色度颜色分量的解码系数之后，推导第二色度颜色分量的系数。
A25.方案A1至A24中任一项的方法，其中，第一色度颜色分量是Cb颜色分量，并且其中第二色度颜色分量是Cr颜色分量。
A26.方案A1至A24中任一项的方法，其中，第一色度颜色分量是Cr颜色分量，并且其中第二色度颜色分量是Cb颜色分量。
A27.一种视频处理方法，包括对包括亮度块、第一色度块和第二色度块的当前区域执行视频的当前区域与视频的比特流表示之间的转换，其中，该转换包括色度残差联合编解码(JCCR)操作，其中，第一色度块和第二色度块分别对应于视频的第一色度颜色分量和视频的第二色度颜色分量，并且其中，JCCR操作包括残差或系数缩放过程，其使用移位操作，输入对应于第一色度颜色分量的值，输出对应于第二色度颜色分量的推导值。
A28.方案A27的方法，其中，移位操作定义为Shift(x,s)＝(x+off)＞＞s，其中x是输入，s是缩放因子，off是非零整数。
A29.方案A27的方法，其中，移位操作定义为 其中x是输入，s是缩放因子，off是整数。
A30.方案A27的方法，其中，该规则进一步规定将JCCR操作应用于以预定模式编解码的色度块。
A31.方案A30的方法，其中，预定模式是跨分量线性模型(cross-componentlinear model，CCLM)预测模式。
A32.方案A30的方法，其中，预定模式是直接模式，其基于对应的亮度块推导色度块的帧内预测模式。
A33.方案A30的方法，其中，从比特流表示中排除用于JCCR操作的边信息的信令通知。
A34.方案A27的方法，其中，将JCCR操作应用于在色度样点中具有高度(H)和宽度(W)的视频块，尽管从比特流表示中排除了应用JCCR操作的指示。
A35.方案A34的方法，其中，W≤T1且H≤T2，其中T1和T2为整数阈值。
A36.方案A34的方法，其中，W×H≤T3，其中T3为整数阈值。
A37.方案A34的方法，其中，W≥T1且H≥T2，其中T1和T2为整数阈值。
A38.方案A34的方法，其中，W×H≥T3，其中T3为整数阈值。
A39.方案A35或A37的方法，其中，T1和T2是预定义的，在比特流表示中信令通知，或者即时确定。
A40.方案A35或A37的方法，其中，T1＝4、8、16、32或128，并且T2＝4、8、16、32或128。
A41.方案A36或A38的方法，其中，T3＝4、8、16、32或128。
A42.一种视频处理方法，包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)以及为当前块配置的变换块的最大尺寸(表示为MaxTbSize)确定垂直二叉树分割是否适用于当前块；并且基于确定执行转换。
A43.方案A42的方法，其中，当当前块的宽度小于或等于VpduSize且当前块的高度大于VpduSize时，不对当前块应用垂直二叉树分割。
A44.方案A43的方法，其中，VpduSize＝64。
A45.方案A42的方法，其中，当当前块的宽度小于或等于max(VpduSize，MaxTbSize)且当前块的高度大于max(VpduSize,MaxTbSize)时，不对当前块应用垂直二叉树分割。
A46.方案A45的方法，其中，VpduSize＝64，MaxTbSize＝64。
A47.方案A45的方法，其中，VpduSize＝64，MaxTbSize＝32。
A48.一种视频处理方法，包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)以及为当前块配置的变换块的最大尺寸(表示为MaxTbSize)确定水平二叉树分割是否适用于当前块；并且基于确定执行转换。
A49.方案A48的方法，其中，当当前块的高度小于或等于VpduSize且当前块的宽度大于VpduSize时，不对当前块应用水平二叉树分割。
A50.方案A49的方法，其中，VpduSize＝64。
A51.方案A48的方法，其中，当当前块的高度小于或等于max(VpduSize,MaxTbSize)且当前块的宽度大于max(VpduSize,MaxTbSize)时，不对当前块应用水平二叉树分割。
A52.方案A51的方法，其中，VpduSize＝64，MaxTbSize＝64。
A53.方案A51的方法，其中，VpduSize＝64，MaxTbSize＝32。
A54.一种视频处理方法，包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)、为当前块配置的变换块的最大尺寸(表示为MaxTbSize)以及为当前块配置的最大三叉树尺寸(表示为maxTtSize)确定垂直三叉树分割是否适用于当前块；并且基于确定执行转换。
A55.方案A54的方法，其中，当当前块的宽度或当前块的高度大于min(VpduSize，maxTtSize)时，不对当前块应用垂直三叉树分割。
A56.方案A55的方法，其中，VpduSize＝64。
A57.方案A54的方法，其中，当当前块的宽度或当前块的高度大于min(max(VpduSize,MaxTbSize),maxTtSize)时，不对当前块应用垂直三叉树分割。
A58.方案A57的方法，其中，VpduSize＝64，MaxTbSize＝64。
A59.方案A57的方法，其中，VpduSize＝64，MaxTbSize＝32。
A60.一种视频处理方法，包括，对于视频的当前块和视频的比特流表示之间的转换，基于当前块的尺寸、为当前块配置的虚拟流水线数据单元(VPDU)的尺寸(表示为VpduSize)、为当前块配置的变换块的最大尺寸(表示为MaxTbSize)以及为当前块配置的最大三叉树尺寸(表示为maxTtSize)确定水平三叉树分割是否适用于当前块；并且基于确定执行转换。
A61.方案A60的方法，其中，当当前块的宽度或当前块的高度大于min(VpduSize，maxTtSize)时，不对当前块应用水平三叉树分割。
A62.方案A61的方法，其中，VpduSize＝64。
A63.方案A60的方法，其中，当当前块的宽度或当前块的高度大于min(max(VpduSize,MaxTbSize),maxTtSize)时，不对当前块应用水平三叉树分割。
A64.方案A63的方法，其中，VpduSize＝64，MaxTbSize＝64。
A65.方案A63的方法，其中，VpduSize＝64，MaxTbSize＝32。
A66.一种视频处理方法，包括，执行视频的色度块和视频的比特流表示之间的转换，其中，色度块的残差被缩放因子缩放，该缩放因子根据规则确定，该规则规定在不访问特定亮度区域的信息的情况下确定缩放因子。
A67.方案A66的方法，其中，该特定亮度区域对应于亮度编解码单元，该亮度编解码单元覆盖色度块的代表性色度样点的相应亮度样点。
A68.方案A66的方法，其中，该特定亮度区域对应于亮度编解码单元该亮度编解码单元覆盖与色度块的所有色度样点相对应的亮度样点。
A69.方案A1至A68中任一项的方法，其中，执行转换包括从当前块或当前区域生成比特流表示。
A70.方案A1至A68中任一项的方法，其中，执行转换包括从比特流表示中生成当前块或当前区域。
A71.一种视频系统中的装置，包括处理器和带有指令的非暂态存储器，其中，指令在被处理器执行时，使处理器实施方案A1至A70中的一个或多个所述的方法。
A72.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于实施方案A1至A70中的一个或多个所述的方法的程序代码。
A73.一种计算机可读介质，其存储根据方案A1至A70中的一个或多个所述的方法生成的比特流表示。
以下附加方案可以作为一些实施例中的优选技术方案来实施。
B1.一种视频处理方法，包括，对于包括色度编解码单元(CU)的当前块，根据规则执行视频的当前块和视频的比特流表示之间的转换，其中，该规则规定应用于色度CU的多个色度样点的残差的多个缩放因子的推导方法，并且其中，该推导方法与是否将色度CU进一步划分为多个变换单元(TU)以进行转换无关。
B2.方案B1的方法，其中，该规则规定无论色度CU是否被划分为多个变换单元(TU)，多个缩放因子相同。
B3.方案B1的方法，其中，该规则规定无论色度CU是否被划分为多个变换单元(TU)，多个缩放因子中的每一个的推导方法基于相同的亮度重建样点集。
B4.方案B1的方法，其中，该规则规定用于多个缩放因子中的每一个的推导方法基于相同的一组亮度重建样点，该样点不是对应于色度CU的亮度CU的一部分。
B5.一种视频处理方法，包括，针对包括色度编解码单元(CU)的当前块，根据规则执行视频的当前块和视频的比特流表示之间的转换，其中，该规则规定当色度CU被拆分为多个变换单元(TU)时是否启用色度残差缩放操作。
B6.方案B5的方法，其中，该规则规定色度残差缩放操作应用于多个TU的子集。
B7.方案B6的方法，其中，多个TU的子集包括色度CU的顶部边界处的TU。
B8.方案B5的方法，其中，该规则规定色度残差缩放操作被禁用。
B9.方案B1至B8中任一项的方法，其中，该规则进一步规定色度CU的尺寸大于最大变换块(TB)的尺寸。
B10.方案B1至B9中任一项的方法，其中，在比特流表示中信令通知该规则的应用的指示。
B11.方案B10的方法，其中，在片级别、图块级别、条带级别、图片级别、子图片级别、序列级别或视图级别上信令通知该指示。
B12.方案B10的方法，其中，在序列参数集(SPS)、视图参数集、自适应参数集(APS)、图片参数集(PPS)、图片报头或条带报头中信令通知该指示。
B13.方案B1至B9中任一项的方法，其中，该规则的应用是基于比特流表示中的一个或多个语法元素。
B14.方案B13的方法，其中，该规则的应用是基于色度残差联合编解码(JCCR)操作是否被启用，并且其中，一个或多个语法元素包括sps_joint_cbcr_enabled_flag。
B15.方案B13的方法，其中，该规则的应用是基于视频的两个色度分量的位于同一位置的残差样点是否具有反转符号，并且其中，一个或多个语法元素包括slice_joint_cbcr_sign_flag。
B16.方案B13的方法，其中，该规则的应用是基于当前块是否以帧间模式编解码。
B17.方案B1至B9中任一项的方法，其中，该规则的应用是基于当前块或临近块的编解码信息。
B18.方案B17的方法，其中，编解码信息包括图块维度、条带类型、图片类型、时域层索引、视频内容、视频颜色分量、当前块的分割树类型、编解码模式或变换信息中的至少一种。
B19.方案B17或B18的方法，其中，当当前块的宽度小于或等于T1或当前块的高度小于或等于T2时应用该规则，并且其中，T1和T2为整数阈值。
B20.方案B17或B18的方法，其中，当当前块的宽度与当前块的高度的乘积小于或等于T3时应用该规则，其中，T3为整数阈值。
B21.方案B17或B18的方法，其中，该规则的应用是基于是否以等于K的色度残差联合编解码(JCCR)模式对当前块进行编解码，其中K为整数。
B22.方案B21的方法，其中，K＝2。
B23.方案B21的方法，其中，K≠2。
B24.方案B1至B23中任一项的方法，其中，执行转换包括从当前块生成比特流表示。
B25.方案B1至B23中任一项的方法，其中，执行转换包括从比特流表示中生成当前块。
B26.一种视频系统中的装置，包括处理器和带有指令的非暂态存储器，其中，指令在被处理器执行时，使处理器实施方案B1至B25中的一个或多个所述的方法。
B27.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于实施方案B1至B25中的一个或多个所述的方法的程序代码。
B28.一种计算机可读介质，其存储根据方案B1至B25中的一个或多个所述的方法生成的比特流表示。
在上述方案中，进行转换包括在编码或解码操作期间使用先前决策步骤(例如，使用或不使用某些编解码或解码步骤)的结果来得出转换结果。在上述方案中，视频处理可以包括视频编解码或编码，或压缩或转码(从一种格式或码率变为另一种格式或码率)、解码或解压。此外，这些解决方案可以应用于其他视觉数据，例如图像。
本文档中所公开的和其他解决方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文档中公开的结构及其结构等效物，或其中的一种或多种的组合。所公开的和其他实施例可以实施为一个或多个计算机程序产品，即，在计算机可读介质上编码的一个或多个计算机程序指令模块，由数据处理设备执行或控制操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合物，或者其中的一个或多个的组合。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组合，或其中一项或多项的组合。术语“数据处理装置”涵盖处理数据的所有装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合代码。传播的信号是人工生成的信号，例如机器生成的电、光或电磁信号，其被生成是为了对信息进行编码以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且可以以任何形式进行部署，包括独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定与文件系统中的文件相对应。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论程序的单个文件中或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序，以在一台计算机或位于一个位置上或分布在多个位置上并通过通信网络互连的多台计算机上执行。
本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器来执行，以执行一个或多个计算机程序，从而通过对输入数据进行操作并生成输出来执行功能。处理和逻辑流程也可以由专用逻辑电路执行，并且也可以实现为专用逻辑电路，例如FPGA(fieldprogrammable gate array，现场可编程门阵列)或ASIC(application specificintegrated circuit，应用专用集成电路)。
例如，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器装置。通常，计算机还将包括或可操作地耦合到一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，以从中接收数据，或将数据传输到一个或多个大容量存储设备，或两者。但是，计算机不必具有这样的装置。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置，包括例如半导体存储设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内置硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
尽管本专利文档包含许多细节，但是这些细节不应解释为对任何发明或可要求保护的范围的限制，而应解释为对特定发明的特定实施例可能特定的特征的描述。在单独的实施例的上下文中在本专利文档中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。此外，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求保护，但是在某些情况下，可以从组合中剔除所要求保护的组合中的一个或多个特征，并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应理解为要求以所示的特定顺序或以连续的顺序执行这样的操作，或者执行所有示出的操作以实现期望的效果。此外，在该专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容进行其他实施方式、增强和变化。

Claims (42)

1.一种处理视频数据的方法，包括：
对于视频的第一块和所述视频的比特流之间的转换，基于所述第一块的尺寸和尺寸阈值，确定是否允许对所述第一块进行第一分割过程，所述第一分割过程在水平方向或垂直方向上将所述第一块划分成两个子块；以及
基于所述确定执行所述转换。
2.根据权利要求1所述的方法，其中，在(i)所述第一块的宽度小于或等于所述尺寸阈值以及(ii)所述第一块的高度大于所述尺寸阈值的情况下，禁用在所述垂直方向上的所述第一分割过程。
3.根据权利要求1所述的方法，其中，在(i)所述第一块的高度小于或等于所述尺寸阈值以及(ii)所述第一块的宽度大于所述尺寸阈值的情况下，禁用在所述水平方向上的所述第一分割过程。
4.根据权利要求1所述的方法，其中，所述尺寸阈值等于为所述第一块配置的虚拟流水线数据单元的尺寸。
5.根据权利要求4所述的方法，其中，所述虚拟流水线数据单元的尺寸等于64。
6.根据权利要求1所述的方法，其中，所述尺寸阈值等于64。
7.根据权利要求1所述的方法，其中，所述第一分割过程包括二叉树(BT)分割。
8.根据权利要求1所述的方法，还包括：
对于所述视频的第二块，基于所述第二块的尺寸、所述尺寸阈值和所述第二块的最大三叉树尺寸，确定是否允许对所述第二块进行第二分割过程，所述第二分割过程在水平方向或垂直方向上将所述第二块划分成三个子块。
9.根据权利要求8所述的方法，其中，在(i)所述第二块的宽度大于所述尺寸阈值和所述最大三叉树尺寸的最小值或者(ii)所述第二块的高度大于所述最小值的情况下，所述第二分割过程被禁用。
10.根据权利要求1所述的方法，其中，所述转换包括将所述视频编码成所述比特流。
11.根据权利要求1所述的方法，其中，所述转换包括从所述比特流中解码所述视频。
12.一种处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：
对于视频的第一块和所述视频的比特流之间的转换，基于所述第一块的尺寸和尺寸阈值，确定是否允许对所述第一块进行第一分割过程，所述第一分割过程在水平方向或垂直方向上将所述第一块划分成两个子块；以及
基于所述确定执行所述转换。
13.根据权利要求12所述的装置，其中，在(i)所述第一块的宽度小于或等于所述尺寸阈值以及(ii)所述第一块的高度大于所述尺寸阈值的情况下，禁用在所述垂直方向上的所述第一分割过程；并且
在(i)所述第一块的高度小于或等于所述尺寸阈值以及(ii)所述第一块的宽度大于所述尺寸阈值的情况下，禁用在所述水平方向上的所述第一分割过程。
14.根据权利要求12所述的装置，其中，所述尺寸阈值等于为所述第一块配置的虚拟流水线数据单元的尺寸；
其中，所述虚拟流水线数据单元的尺寸等于64。
15.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
对于视频的第一块和所述视频的比特流之间的转换，基于所述第一块的尺寸和尺寸阈值，确定是否允许对所述第一块进行第一分割过程，所述第一分割过程在水平方向或垂直方向上将所述第一块划分成两个子块；以及
基于所述确定执行所述转换。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中，在(i)所述第一块的宽度小于或等于所述尺寸阈值以及(ii)所述第一块的高度大于所述尺寸阈值的情况下，禁用在所述垂直方向上的所述第一分割过程；并且
在(i)所述第一块的高度小于或等于所述尺寸阈值以及(ii)所述第一块的宽度大于所述尺寸阈值的情况下，禁用在所述水平方向上的所述第一分割过程。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述尺寸阈值等于为所述第一块配置的虚拟流水线数据单元的尺寸；
其中，所述虚拟流水线数据单元的尺寸等于64。
18.一种存储视频的比特流的非暂时性计算机可读记录介质，所述比特流由视频处理装置执行的方法生成，其中，所述方法包括：
对于所述视频的第一块，基于所述第一块的尺寸和尺寸阈值，确定是否允许对所述第一块进行第一分割过程，所述第一分割过程在水平方向或垂直方向上将所述第一块划分成两个子块；以及
基于所述确定生成所述比特流。
19.根据权利要求18所述的非暂时性计算机可读记录介质，其中，在(i)所述第一块的宽度小于或等于所述尺寸阈值以及(ii)所述第一块的高度大于所述尺寸阈值的情况下，禁用在所述垂直方向上的所述第一分割过程；并且
在(i)所述第一块的高度小于或等于所述尺寸阈值以及(ii)所述第一块的宽度大于所述尺寸阈值的情况下，禁用在所述水平方向上的所述第一分割过程。
20.根据权利要求19所述的非暂时性计算机可读记录介质，其中，所述尺寸阈值等于为所述第一块配置的虚拟流水线数据单元的尺寸；
其中，所述虚拟流水线数据单元的尺寸等于64。
21.一种存储视频的比特流的方法，包括：
对于所述视频的第一块，基于所述第一块的尺寸和尺寸阈值，确定是否允许对所述第一块进行第一分割过程，所述第一分割过程在水平方向或垂直方向上将所述第一块划分成两个子块；
基于所述确定生成所述比特流；以及
将所述比特流存储到非暂时性计算机可读记录介质中。
22.一种处理视频数据的方法，包括：
对于视频的当前视频块和所述视频的比特流之间的转换，确定缩放过程应用于所述当前视频块的色度残差样点；以及
通过对所述色度残差样点应用所述缩放过程来执行所述转换，
其中，在所述缩放过程中，基于重建的亮度样点导出第一缩放因子，并且基于所述第一缩放因子缩放所述色度残差样点；
其中，所述缩放过程包括：
第一步骤，确定所述色度残差样点的输入和所述第一缩放因子之间的乘积，其中所述输入包括输入值或所述输入值的绝对值，以及
第二步骤，对所述乘积应用移位操作，以获得带符号的移位值。
23.根据权利要求22所述的方法，其中，用于所述当前视频块的所有色度残差样点的多个缩放因子与所述第一缩放因子相同，与所述当前视频块是否被进一步划分成多个变换单元(TU)无关，其中，所述当前视频块是色度编解码块。
24.根据权利要求23所述的方法，还包括：
不管所述当前视频块是否被划分成多个TU，基于相同的一组重建亮度样点来导出所述多个缩放因子。
25.根据权利要求24所述的方法，其中，所述重建的亮度样点在所述当前视频块的对应亮度编解码单元之外。
26.根据权利要求22所述的方法，其中，对于所述视频的面积小于或等于4的色度块，所述缩放过程被禁用。
27.根据权利要求22所述的方法，其中，是否启用所述缩放过程是基于条带级语法元素，所述条带级语法元素指示对于所述条带是否启用带有色度缩放的亮度映射。
28.根据权利要求22所述的方法，其中，导出所述第一缩放因子包括：
基于所述重建的亮度样点，执行平均操作以导出平均值；
确定所述平均值所属的分段线性模型的索引；
基于所述索引确定所述第一缩放因子。
29.根据权利要求22所述的方法，其中，所述转换包括将所述当前视频块编码成所述比特流。
30.根据权利要求22所述的方法，其中，所述转换包括从所述比特流中解码所述当前视频块。
31.一种处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中，所述指令在由所述处理器执行时使得所述处理器：
对于视频的当前视频块和所述视频的比特流之间的转换，确定缩放过程应用于所述当前视频块的色度残差样点；以及
通过对所述色度残差样点应用所述缩放过程来执行所述转换，
其中，在所述缩放过程中，基于重建的亮度样点导出第一缩放因子，并且基于所述第一缩放因子缩放所述色度残差样点；
其中，所述缩放过程包括：
第一步骤，确定所述色度残差样点的输入和所述第一缩放因子之间的乘积，其中所述输入包括输入值或所述输入值的绝对值，以及
第二步骤，对所述乘积应用移位操作，以获得带符号的移位值。
32.根据权利要求31所述的装置，其中，用于所述当前视频块的所有色度残差样点的多个缩放因子与所述第一缩放因子相同，与所述当前视频块是否被进一步划分成多个变换单元TU无关，其中，所述当前视频块是色度编解码块。
33.根据权利要求32所述的装置，其中，所述指令进一步使得所述处理器：
不管所述当前视频块是否被划分成多个TU，基于相同的一组重建亮度样点来导出所述多个缩放因子。
34.根据权利要求33所述的装置，其中，所述重建的亮度样点在所述当前视频块的对应亮度编解码单元之外。
35.根据权利要求31所述的装置，其中，对于所述视频的面积小于或等于4的色度块，所述缩放过程被禁用。
36.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
对于视频的当前视频块和所述视频的比特流之间的转换，确定缩放过程应用于所述当前视频块的色度残差样点；以及
通过对所述色度残差样点应用所述缩放过程来执行所述转换，
其中，在所述缩放过程中，基于重建的亮度样点导出第一缩放因子，并且基于所述第一缩放因子缩放所述色度残差样点；
其中，所述缩放过程包括：
第一步骤，确定所述色度残差样点的输入和所述第一缩放因子之间的乘积，其中所述输入包括输入值或所述输入值的绝对值，以及
第二步骤，对所述乘积应用移位操作，以获得带符号的移位值。
37.根据权利要求36所述的非暂时性计算机可读存储介质，其中，用于所述当前视频块的所有色度残差样点的多个缩放因子与所述第一缩放因子相同，与所述当前视频块是否被进一步划分成多个变换单元(TU)无关，其中，所述当前视频块是色度编解码块。
38.根据权利要求37所述的非暂时性计算机可读存储介质，其中，所述指令还使得所述处理器：
不管所述当前视频块是否被划分成多个TU，基于相同的一组重建亮度样点来导出所述多个缩放因子。
39.一种存储视频的比特流的非暂时性计算机可读记录介质，所述比特流由视频处理装置执行的方法生成，其中，所述方法包括：
对于所述视频的当前视频块，确定缩放过程应用于所述当前视频块的色度残差样点；以及
通过对所述色度残差样点应用所述缩放过程来生成所述比特流，
其中，在所述缩放过程中，基于重建的亮度样点导出第一缩放因子，并且基于所述第一缩放因子缩放所述色度残差样点；
其中，所述缩放过程包括：
第一步骤，确定所述色度残差样点的输入和所述第一缩放因子之间的乘积，其中所述输入包括输入值或所述输入值的绝对值，以及
第二步骤，对所述乘积应用移位操作，以获得带符号的移位值。
40.根据权利要求39所述的非暂时性计算机可读记录介质，其中，用于所述当前视频块的所有色度残差样点的多个缩放因子与所述第一缩放因子相同，与所述当前视频块是否被进一步划分成多个变换单元(TU)无关，其中，所述当前视频块是色度编解码块。
41.根据权利要求40所述的非暂时性计算机可读记录介质，其中，所述方法还包括：
不管所述当前视频块是否被划分成多个TU，基于相同的一组重建亮度样点来导出所述多个缩放因子。
42.一种存储视频的比特流的方法，包括：
对于所述视频的当前视频块，确定缩放过程应用于所述当前视频块的色度残差样点；
通过对所述色度残差样点应用所述缩放过程来生成所述比特流；以及
将所述比特流存储到非暂时性计算机可读记录介质中，
其中，在所述缩放过程中，基于重建的亮度样点导出第一缩放因子，并且基于所述第一缩放因子缩放所述色度残差样点；
其中，所述缩放过程包括：
第一步骤，确定所述色度残差样点的输入和所述第一缩放因子之间的乘积，其中所述输入包括输入值或所述输入值的绝对值，以及
第二步骤，对所述乘积应用移位操作，以获得带符号的移位值。
CN202311559171.3A 2019-09-20 2020-09-21 编解码块的缩放过程 Pending CN117596400A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/106925 2019-09-20
CN2019106925 2019-09-20
CN202080066256.6A CN114424574A (zh) 2019-09-20 2020-09-21 编解码块的缩放过程
PCT/CN2020/116471 WO2021052493A1 (en) 2019-09-20 2020-09-21 Scaling process for coding block

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080066256.6A Division CN114424574A (zh) 2019-09-20 2020-09-21 编解码块的缩放过程

Publications (1)

Publication Number Publication Date
CN117596400A true CN117596400A (zh) 2024-02-23

Family

ID=74883709

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311559171.3A Pending CN117596400A (zh) 2019-09-20 2020-09-21 编解码块的缩放过程
CN202080066209.1A Pending CN114430901A (zh) 2019-09-20 2020-09-21 带有色度缩放的亮度映射
CN202080066256.6A Pending CN114424574A (zh) 2019-09-20 2020-09-21 编解码块的缩放过程

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202080066209.1A Pending CN114430901A (zh) 2019-09-20 2020-09-21 带有色度缩放的亮度映射
CN202080066256.6A Pending CN114424574A (zh) 2019-09-20 2020-09-21 编解码块的缩放过程

Country Status (6)

Country Link
US (3) US11523126B2 (zh)
EP (2) EP4014502A4 (zh)
JP (3) JP7479456B2 (zh)
KR (2) KR20220065758A (zh)
CN (3) CN117596400A (zh)
WO (2) WO2021052492A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7479456B2 (ja) 2019-09-20 2024-05-08 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法及び装置並びに記憶媒体及び方法
US20210314567A1 (en) * 2020-04-04 2021-10-07 Qualcomm Incorporated Block partitioning for image and video coding
WO2023219290A1 (ko) * 2022-05-13 2023-11-16 현대자동차주식회사 크로마 성분별 인트라 예측모드의 부호화를 위한 방법 및 장치

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
AU2011201344B2 (en) * 2011-03-23 2013-06-13 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data
KR20140018873A (ko) * 2011-04-07 2014-02-13 엘지전자 주식회사 영상 정보 부호화 방법 및 복호화 방법
US8917336B2 (en) * 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9648330B2 (en) * 2013-07-15 2017-05-09 Qualcomm Incorporated Inter-color component residual prediction
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US9860540B2 (en) 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US10469847B2 (en) * 2014-09-12 2019-11-05 Vid Scale, Inc. Inter-component de-correlation for video coding
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
US9883184B2 (en) 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US9838662B2 (en) 2014-10-10 2017-12-05 Qualcomm Incorporated Harmonization of cross-component prediction and adaptive color transform in video coding
US20170374384A1 (en) 2015-01-14 2017-12-28 Vid Scale, Inc. Palette coding for non-4:4:4 screen content video
AU2016212243B2 (en) * 2015-01-30 2020-11-26 Interdigital Vc Holdings, Inc. A method and apparatus of encoding and decoding a color picture
EP3107300A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
CN113810691A (zh) 2015-07-08 2021-12-17 交互数字麦迪逊专利控股公司 用于使用交叉平面滤波的增强色度编码的方法和装置
US10200719B2 (en) 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
WO2017139937A1 (en) 2016-02-18 2017-08-24 Mediatek Singapore Pte. Ltd. Advanced linear model prediction for chroma coding
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
WO2017173593A1 (en) * 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
WO2017188779A2 (ko) * 2016-04-29 2017-11-02 인텔렉추얼디스커버리 주식회사 영상 신호 부호화/복호화 방법 및 장치
WO2017205648A1 (en) 2016-05-26 2017-11-30 Vid Scale, Inc. Geometric conversion for 360-degree video coding
US20200322599A1 (en) * 2016-05-28 2020-10-08 Mediatek Inc. Method and apparatus of current picture referencing for video coding using affine motion compensation
US10484712B2 (en) 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
WO2018045332A1 (en) * 2016-09-02 2018-03-08 Vid Scale, Inc. Methods and apparatus for coded block flag coding in quad-tree plus binary-tree block partitioning
US10652575B2 (en) 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
CN109792522B (zh) * 2016-09-30 2021-10-15 索尼公司 图像处理装置和方法
EP4075798A1 (en) * 2016-10-04 2022-10-19 HFI Innovation Inc. Method and apparatus for intra chroma coding in image and video coding
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
EP3544299A4 (en) * 2016-11-21 2019-09-25 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD
CN116684602A (zh) * 2017-03-31 2023-09-01 松下电器（美国）知识产权公司 图像编码装置及方法、图像解码装置及方法、存储介质
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
JP2021518077A (ja) * 2018-04-01 2021-07-29 エルジー エレクトロニクス インコーポレイティド 映像の処理方法、及びこのための装置
AU2019308493B2 (en) * 2018-07-17 2023-04-20 Huawei Technologies Co., Ltd. Constrained coding tree for video coding
WO2020094059A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Complexity reduction in parameter derivation for intra prediction
AU2020226565C1 (en) 2019-02-22 2024-01-11 Beijing Bytedance Network Technology Co., Ltd. Neighbouring sample selection for intra prediction
WO2020169102A1 (en) 2019-02-24 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
KR102661416B1 (ko) 2019-02-27 2024-04-25 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법
BR112021013611A2 (pt) * 2019-02-28 2021-09-14 Interdigital Vc Holdings, Inc. Método e dispositivo para codificação e decodificação de imagens
CN113519164A (zh) * 2019-03-02 2021-10-19 北京字节跳动网络技术有限公司 对分割结构的限制
US11516512B2 (en) 2019-03-04 2022-11-29 Alibaba Group Holding Limited Method and system for processing video content
WO2020197038A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 영상 코딩 시스템에서 인트라 서브 파티션 기반의 인트라 예측 방법 및 장치
US11032543B2 (en) * 2019-03-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
US11451826B2 (en) * 2019-04-15 2022-09-20 Tencent America LLC Lossless coding mode and switchable residual coding
US11399199B2 (en) * 2019-08-05 2022-07-26 Qualcomm Incorporated Chroma intra prediction units for video coding
JP7479456B2 (ja) 2019-09-20 2024-05-08 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法及び装置並びに記憶媒体及び方法

Also Published As

Publication number Publication date
US11523126B2 (en) 2022-12-06
CN114424574A (zh) 2022-04-29
JP7479456B2 (ja) 2024-05-08
EP4014502A1 (en) 2022-06-22
EP4014502A4 (en) 2022-11-09
US20220210453A1 (en) 2022-06-30
KR20220065758A (ko) 2022-05-20
US20230345056A1 (en) 2023-10-26
JP2022549607A (ja) 2022-11-28
US20220210481A1 (en) 2022-06-30
EP4014486A4 (en) 2023-03-01
CN114430901A (zh) 2022-05-03
US11716491B2 (en) 2023-08-01
JP2022548936A (ja) 2022-11-22
WO2021052492A1 (en) 2021-03-25
EP4014486A1 (en) 2022-06-22
KR20220066041A (ko) 2022-05-23
JP7479457B2 (ja) 2024-05-08
WO2021052493A1 (en) 2021-03-25
JP2024028787A (ja) 2024-03-05

Similar Documents

Publication Publication Date Title
CN113711604B (zh) 视频编解码中色度和亮度语法元素的信令
CN117528097A (zh) 跨分量自适应环路滤波器
CN113785574B (zh) 色度分量的自适应环路滤波
US20220272335A1 (en) Cross-component adaptive loop filter
US11716491B2 (en) Scaling process for coding block
WO2020253861A1 (en) Adaptive in-loop color-space transform for video coding
WO2021027928A1 (en) Weighting factors for prediction sample filtering in intra mode
WO2021088951A1 (en) Quantization properties of adaptive in-loop color-space transform for video coding
US11825123B2 (en) Interplay between in-loop filtering and video tiles
CN113853798B (zh) 根据色度格式信令通知语法元素
US20230328294A1 (en) Filter parameter signaling in video picture headers
CN118120232A (zh) 视频编解码中的双边滤波
CN117716690A (zh) 自适应双边滤波器的使用条件
CN117769833A (zh) 视频编解码中的自适应双边滤波器
CN117597928A (zh) 视频编解码中的高级双边滤波器
CN117813823A (zh) 视频编解码中自适应环路滤波器的改进融合模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination