CN117528074A - 用于从多个交叉分量进行预测的视频编码、解码方法和设备 - Google Patents

用于从多个交叉分量进行预测的视频编码、解码方法和设备 Download PDF

Info

Publication number
CN117528074A
CN117528074A CN202311716387.6A CN202311716387A CN117528074A CN 117528074 A CN117528074 A CN 117528074A CN 202311716387 A CN202311716387 A CN 202311716387A CN 117528074 A CN117528074 A CN 117528074A
Authority
CN
China
Prior art keywords
linear model
coefficient
component
sample value
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311716387.6A
Other languages
English (en)
Inventor
陈杰
廖如伶
叶琰
李新伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Publication of CN117528074A publication Critical patent/CN117528074A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了用于处理视频数据的方法、设备和非暂时性计算机可读介质。根据某些公开的实施例，一种方法包括：从多个参数集中确定参数集，其中，该参数集包括缩放因子；基于该参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及在位流中用信号发送与该参数集相关联的索引。

Description

用于从多个交叉分量进行预测的视频编码、解码方法和设备
相关申请的交叉引用
本公开是对应于国际申请号为PCT/CN2021/109408，国际申请日为2021年7月29，发明名称为“用于从多个交叉分量进行预测的方法和系统”的PCT申请于2022年12月5日进入中国国家阶段后申请号为2021800406244的中国国家阶段专利申请的分案申请。
技术领域
本公开总体上涉及视频处理，并且更具体地，涉及用于从多个交叉分量进行预测的视频编码、解码方法和设备。
背景技术
视频是捕获视觉信息的一组静态图像(或“帧”)。为了减少存储内存和传输带宽，可在存储或传输之前对视频进行压缩，然后在显示之前对视频进行解压缩。压缩过程通常被称为编码，解压缩过程通常被称为解码。存在各种使用标准化视频编码技术的视频编码格式，最常见的是基于预测、变换、量化、熵编码和环路滤波。指定特定视频编码格式的视频编码标准，诸如高效视频编码(HEVC/H.265)标准、通用视频编码(VVC/H.266)标准和AVS标准是由标准化组织制定的。随着越来越多的先进视频编码技术在视频标准中被采用，新的视频编码标准的编码效率也越来越高。
发明内容
本公开的实施例提供了一种视频编码方法。所述方法包括：从多个参数集中确定参数集，其中，所述参数集包括缩放因子；基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及在位流中用信号发送与所述参数集相关联的索引。
本公开的实施例提供了一种视频解码方法。所述方法包括：从视频位流解码索引；基于所述索引从多个参数集中确定参数集，其中，所述参数集包括缩放因子；以及基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值。
本公开的实施例提供了一种用于执行视频数据处理的设备，所述设备包括：存储器，所述存储器被配置为存储指令；以及一个或更多个处理器，所述一个或更多个处理器被配置为执行所述指令以使所述设备执行：从多个参数集中确定参数集，其中，所述参数集包括缩放因子；基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及在位流中用信号发送与所述参数集相关联的索引。
本公开的实施例提供了一种用于执行视频数据处理的设备，所述设备包括：存储器，所述存储器被配置为存储指令；以及一个或更多个处理器，所述一个或更多个处理器被配置为执行所述指令以使所述设备执行：从视频位流解码索引；基于所述索引从多个参数集中确定参数集，其中，所述参数集包括缩放因子；以及基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值。
本公开的实施例提供了一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储有指令集，所述指令集能够由设备的一个或更多个处理器执行以使所述设备启动用于执行视频数据处理的方法，所述方法包括：从多个参数集中确定参数集，其中，所述参数集包括缩放因子；基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及在位流中用信号发送与所述参数集相关联的索引。
本公开的实施例提供了一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储有指令集，所述指令集能够由设备的一个或更多个处理器执行以使所述设备启动用于执行视频数据处理的方法，所述方法包括：从视频位流解码索引；基于所述索引从多个参数集中确定参数集，其中，所述参数集包括缩放因子；以及基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值。
附图说明
在以下详细描述和附图中示出了本公开的实施例和各个方面。图中所示的各种特征未按比例绘制。
图1是示出了根据本公开的一些实施例的示例性视频序列的结构的示意图。
图2A是示出了与本公开的实施例一致的混合视频编码系统的示例性编码过程的示意图。
图2B是示出了与本公开的实施例一致的混合视频编码系统的另一示例性编码过程的示意图。
图3A是示出了与本公开的实施例一致的混合视频编码系统的示例性解码过程的示意图。
图3B是示出了与本公开的实施例一致的混合视频编码系统的另一示例性解码过程的示意图。
图4是根据本公开的一些实施例的用于对视频进行编码或解码的示例性设备的框图。
图5A是示出了根据本公开的一些实施例的从多个交叉分量(PMC)进行预测的示例性流程图的示意图。
图5B是示出了根据本公开的一些实施例的两步交叉分量预测模式(TSCPM)的示例性流程图的示意图。
图6示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图7示出了根据本公开的一些实施例的用于多模型处理的示例性方法的流程图。
图8示出了根据本公开的一些实施例的用于在两个级别进行多模型处理的示例性方法的流程图。
图9示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图10示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图11示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图12示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图13示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图14示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
图15示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，示例性实施例的示例在附图中示出。以下描述参考附图，其中，除非另有说明，否则不同附图中相同的数字表示相同或相似的元件。在示例性实施例的以下描述中阐述的实现方式并不表示与本公开一致的所有实现方式。相反，它们仅仅是与如所附的权利要求中所记载的本发明相关的方面一致的设备和方法的示例。下面更详细地描述本公开的特定方面。如果与通过引用并入的术语和/或定义相冲突，则以本文提供的术语和定义为准。
业界正在开发新的视频编码标准。例如，音频视频编码标准(“AVS”)工作组正在开发第三代AVS视频标准，即AVS3。该工作组已选择高性能模型(“HPM”)作为AVS3的新参考软件平台。AVS3标准的第一阶段能够实现比其前身AVS2超过20％的编码性能增益，而AVS3标准的第二阶段仍在开发中。
视频是按时间顺序排列以存储视觉信息的一组静态图像(或“帧”)。视频捕获装置(例如，相机)可用于按时间顺序捕获并存储这些图像，并且视频播放装置(例如，电视、计算机、智能电话、平板计算机、视频播放器或具有显示功能的任何终端用户终端)都可用于按时间顺序显示此类图像。此外，在一些应用中，视频捕获装置可将捕获的视频实时传输至视频播放装置(例如，具有监视器的计算机)，诸如用于监控、会议或直播。
为了减少此类应用所需的存储空间和传输带宽，可在存储和传输之前对视频进行压缩并在显示之前对其进行解压缩。压缩和解压缩可通过由处理器(例如，通用计算机的处理器)或专用硬件执行的软件来实现。用于压缩的模块通常被称为“编码器”，并且用于解压缩的模块通常被称为“解码器”。编码器和解码器可被统称为“编解码器”。编码器和解码器可被实现为多种合适的硬件、软件或其组合中的任何一种。例如，编码器和解码器的硬件实现可包括电路系统，诸如一个或更多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、或其任何组合。编码器和解码器的软件实现可包括程序代码、计算机可执行指令、固件、或者固定在计算机可读介质中的任何合适的计算机实现的算法或过程。视频压缩和解压缩可通过各种算法或标准(诸如MPEG-1、MPEG-2、MPEG-4、H.26x系列等)来实现。在一些应用中，编解码器可从第一编码标准来解压缩视频并使用第二编码标准来重新压缩经解压缩的视频，在这种情况下，编解码器可被称为“转码器”。
视频编码过程可识别并保留可用于重建图像的有用信息，而忽略对于重建不重要的信息。如果无法完全重建被忽略的、不重要的信息，则这种编码过程可被称为“有损的”。否则，它可被称为“无损的”。大多数编码过程都是有损的，这是为了减少所需的存储空间和传输带宽而做出的权衡。
正在被编码的图像(被称为“当前图像”)的有用信息包括相对于参考图像(例如，先前编码和重建的图像)的变化。这种变化可包括像素的位置变化、亮度变化或颜色变化，其中，最受关注的是位置变化。表示对象的一组像素的位置变化可反映对象在参考图像与当前图像之间的运动。
未参考另一个图像而编码的图像(即，它是它自己的参考图像)被称为“I图像”。如果图像中的一些或所有块(例如，通常指代视频图像的部分的块)是用一个参考图像使用帧内预测或帧间预测预测的(例如，单向预测)，则该图像被称为“P图像”。如果图像中的至少一个块是用两个参考图像预测的(例如，双向预测)，则该图像被称为“B图像”。
图1示出了根据本公开的一些实施例的示例性视频序列100的结构。视频序列100可以是实况视频或已被捕获和存档的视频。视频100可以是现实生活中的视频、计算机生成的视频(例如，计算机游戏视频)或它们的组合(例如，具有增强现实效果的现实生活中的视频)。视频序列100可从视频捕获装置(例如，相机)、包含先前捕获的视频的视频存档(例如，存储在存储装置中的视频文件)或用于从视频内容提供商接收视频的视频馈送接口(例如，视频广播收发器)输入。
如图1所示，视频序列100可包括沿时间线按时间排列的一系列图像，包括图像102、104、106和108。图像102至106是连续的，并且图像106与108之间存在多个图像。在图1中，图像102是I图像，其参考图像是图像102本身。图像104是P图像，其参考图像是图像102，如箭头所指示的。图像106是B图像，其参考图像是图像104和108，如箭头所指示的。在一些实施例中，图像(例如，图像104)的参考图像可以不紧接在该图像之前或之后。例如，图像104的参考图像可以是图像102之前的图像。应当注意，图像102至106的参考图像仅仅是示例，并且本公开并不将参考图像的实施例限制为图1所示的示例。
通常，由于此类任务的计算复杂性，视频编解码器不会一次对整个图像进行编码或解码。实际上，它们可将图像分割成基本段，并逐段对图像进行编码或解码。此类基本段在本公开中被称为基本处理单元(“BPU”)。例如，图1中的结构110示出了视频序列100的图像(例如，图像102至108中的任一个)的示例性结构。在结构110中，图像被划分为4×4个基本处理单元，其边界用虚线表示。在一些实施例中，基本处理单元在一些视频编码标准(例如，MPEG家族、H.261、H.263或H.264/AVC)中可被称为“宏块”，或在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中被称为“编码树单元”(“CTU”)。图像中的基本处理单元可具有不同的大小，诸如128×128、64×64、32×32、16×16、4×8、16×32，或者任意形状和大小的像素。可基于编码效率和要保留在基本处理单元中的细节水平的平衡来为图像选择基本处理单元的大小和形状。
基本处理单元可以是逻辑单元，所述逻辑单元可包括存储在计算机存储器中(例如，视频帧缓冲区中)的一组不同类型的视频数据。例如，彩色图像的基本处理单元可包括表示消色差亮度信息的亮度分量(Y)、表示颜色信息的一个或更多个色度分量(例如，Cb和Cr)以及相关联的语法元素，其中，亮度分量和色度分量可具有相同大小的基本处理单元。在一些视频编码标准(例如，H.265/HEVC或H.266/VVC)中，亮度分量和色度分量可被称为“编码树块”(“CTB”)。对基本处理单元执行的任何操作都可对其亮度分量和色度分量中的每一个重复执行。
视频编码具有多个操作级，它们的示例在图2A至图2B和图3A至图3B中示出。对于每个级，基本处理单元的大小仍然可能太大而无法处理，因此可被进一步划分为在本公开中被称为“基本处理子单元”的段。在一些实施例中，基本处理子单元在一些视频编码标准(例如，MPEG家族、H.261、H.263或H.264/AVC)中可被称为“块”，或在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中被称为“编码单元”(“CU”)。基本处理子单元可具有与基本处理单元相同或更小的大小。与基本处理单元类似，基本处理子单元也是逻辑单元，所述逻辑单元可包括存储在计算机存储器(例如，在视频帧缓冲区中)的一组不同类型的视频数据(例如，Y、Cb、Cr和相关联的语法元素)。对基本处理子单元执行的任何操作都可对其亮度分量和色度分量中的每一个重复执行。应当注意，可取决于处理需要将这种划分执行到其他级别。还应当注意，不同的级可使用不同的方案来划分基本处理单元。
例如，在模式决策级(其示例如图2B所示)，编码器可决定将什么预测模式(例如，图像内预测或图像间预测)用于基本处理单元，基本处理单元可能太大而无法做出这种决定。编码器可将基本处理单元分割成多个基本处理子单元(例如，像在H.265/HEVC或H.266/VVC中的CU)，并为每个单独的基本处理子单元决定预测类型。
又例如，在预测级(其示例在图2A至图2B中示出)，编码器可在基本处理子单元(例如，CU)级别执行预测操作。然而，在一些情况下，基本处理子单元仍然可能太大而无法处理。编码器可进一步将基本处理子单元分割成更小的段(例如，在H.265/HEVC或H.266/VVC中被称为“预测块”或“PB”)，可在其级别执行预测操作。
又例如，在变换级(其示例在图2A至图2B中示出)，编码器可对残差基本处理子单元(例如，CU)执行变换操作。然而，在一些情况下，基本处理子单元仍然可能太大而无法处理。编码器可进一步将基本处理子单元分割成更小的段(例如，在H.265/HEVC或H.266/VVC中被称为“变换块”或“TB”)，可在其级别执行变换操作。应当注意，同一基本处理子单元的划分方案在预测级和变换级可不同。例如，在H.265/HEVC或H.266/VVC中，同一CU的预测块和变换块可具有不同的大小和数量。
在图1的结构110中，基本处理单元112被进一步划分为3×3个基本处理子单元，其边界用虚线表示。同一个图像的不同基本处理单元可被划分为不同方案的基本处理子单元。
在一些实现方式中，为了提供并行处理能力和对视频编码和解码的容错能力，可将图像划分为区(region)进行处理，使得对于图像的区，编码过程或解码过程可不依赖于来自图像的任何其他区的任何信息。换句话说，图像的每个区都可独立处理。通过这样做，编解码器可并行处理图像的不同区，从而提高编码效率。此外，当一个区的数据在处理过程中被破坏或在网络传输中丢失时，编解码器可正确地对同一图像的其他区进行编码或解码，而不依赖于被破坏或丢失的数据，从而提供容错能力。在一些视频编码标准中，可将图像划分为不同类型的区。例如，H.265/HEVC和H.266/VVC提供了两种类型的区：“条带(slice)”和“分块(tile)”。还应当注意，视频序列100的不同图像可具有用于将图像划分为区的不同划分方案。
例如，在图1中，结构110被划分为三个区114、116和118，它们的边界在结构110内部用实线示出。区114包括四个基本处理单元。区116和118中的每一个包括六个基本处理单元。应当注意，图1中的结构110的基本处理单元、基本处理子单元和区仅仅是示例，并且本公开不对其实施例进行限制。
图2A示出了与本公开的实施例一致的示例性编码过程200A的示意图。例如，编码过程200A可由编码器执行。如图2A所示，编码器可根据过程200A来将视频序列202编码成视频位流228。类似于图1中的视频序列100，视频序列202可包括按时间顺序排列的一组图像(被称为“原始图像”)。类似于图1中的结构110，视频序列202的每个原始图像可被编码器划分为基本处理单元、基本处理子单元或区，以用于处理。在一些实施例中，编码器可针对视频序列202的每个原始图像在基本处理单元级别执行过程200A。例如，解码器可以迭代方式执行过程200A，其中，编码器可在过程200A的一次迭代中对基本处理单元进行编码。在一些实施例中，编码器可针对视频序列202的每个原始图像的区(例如，区114至区118)并行执行过程200A。
在图2A中，编码器可将视频序列202的原始图像的基本处理单元(被称为“原始BPU”)馈送至预测级204，以生成预测数据206和预测BPU 208。编码器可从原始BPU减去预测BPU 208，以生成残差BPU 210。编码器可将残差BPU 210馈送至变换级212和量化级214，以生成量化的变换系数216。编码器可将预测数据206和量化的变换系数216馈送至二进制编码级226，以生成视频位流228。分量202、204、206、208、210、212、214、216、226和228可被称为“正向路径”。在过程200A期间，在量化级214之后，编码器可将量化的变换系数216馈送至逆量化级218和逆变换级220，以生成重建的残差BPU 222。编码器可将重建的残差BPU 222添加至预测BPU 208，以生成预测参考224，所述预测参考224在预测级204中用于过程200A的下一次迭代。过程200A的分量218、220、222和224可被称为“重建路径”。重建路径可用于确保编码器和解码器二者都使用相同的参考数据进行预测。
编码器可迭代地执行过程200A以对原始图像的每个原始BPU进行编码(在正向路径中)，并且生成预测参考224以用于对原始图像的下一个原始BPU进行编码(在重建路径中)。在对原始图像的所有原始BPU进行编码之后，编码器可继续对视频序列202中的下一个图像进行编码。
参考过程200A，编码器可接收由视频捕获装置(例如，相机)生成的视频序列202。此处使用的术语“接收”可指接收、输入、获取、检索、获得、读取、访问或以任何方式用于输入数据的任何动作。
在预测级204，在当前迭代中，编码器可接收原始BPU和预测参考224，并执行预测操作以生成预测数据206和预测BPU 208。可从过程200A的先前迭代的重建路径生成预测参考224。预测级204的目的是通过提取预测数据206来减少信息冗余，其可用于从预测数据206和预测参考224将原始BPU重建为预测BPU 208。
理想情况下，预测BPU 208可与原始BPU相同。然而，由于非理想的预测和重建操作，预测BPU 208通常与原始BPU略有不同。为了记录这种差异，在生成预测BPU 208之后，编码器可将其从原始BPU减去以生成残差BPU 210。例如，编码器可从原始BPU的对应像素的值减去预测BPU 208的像素的值(例如，灰度值或RGB值)。残差BPU 210的每个像素可具有残差值，该残差值是在原始BPU和预测BPU 208的对应像素之间进行这种减法的结果。与原始BPU相比，预测数据206和残差BPU 210可具有更少的位，但是它们可用于重建原始BPU而不会显著降低质量。因此，原始BPU被压缩。
为了进一步压缩残差BPU 210，在变换级212，编码器可通过将残差BPU 210分解为二维“基本图案”的集合来减少其空间冗余，每个基本图案与一个“变换系数”相关联。基本图案可具有相同的大小(例如，残差BPU 210的大小)。每个基本图案可表示残差BPU 210的变化频率(例如，亮度变化的频率)分量。不能从任何其他基本图案的任何组合(例如，线性组合)再现基本图案。换句话说，分解可将残差BPU 210的变化分解成频域。这种分解类似于函数的离散傅里叶变换，其中，基本图案类似于离散傅里叶变换的基本函数(例如，三角函数)，并且变换系数类似于与基本函数相关联的系数。
不同的变换算法可使用不同的基本图案。在变换级212可使用各种变换算法，诸如例如离散余弦变换、离散正弦变换等。变换级212的变换是可逆的。也就是说，编码器可通过变换的逆运算(被称为“逆变换”)来恢复残差BPU 210。例如，为了恢复残差BPU 210的像素，逆变换可以是将基本图案的对应像素的值乘以相应的关联系数并且将乘积相加以产生加权和。对于视频编码标准，编码器和解码器都可使用相同的变换算法(因此使用相同的基本图案)。因此，编码器可仅记录变换系数，解码器可从变换系数重建残差BPU 210而无需从编码器接收基本图案。与残差BPU 210相比，变换系数可具有更少的位，但是它们可用于重建残差BPU 210而不会显著降低质量。因此，残差BPU 210被进一步压缩。
编码器可在量化级214进一步压缩变换系数。在变换过程中，不同的基本图案可表示不同的变化频率(例如，亮度变化频率)。由于人眼通常更擅长识别低频变化，因此编码器可忽略高频变化的信息，而不会导致解码质量显著下降。例如，在量化级214，编码器可通过将每个变换系数除以整数值(被称为“量化缩放因子”)并将商取整(round)到其最接近的整数来生成量化的变换系数216。在这种操作之后，高频基本图案的一些变换系数可被转换为零，并且低频基本图案的变换系数可被转换为更小的整数。编码器可忽略零值量化的变换系数216，通过它进一步压缩变换系数。量化过程也是可逆的，其中，量化的变换系数216可在量化的逆运算(被称为“逆量化”)中被重建为变换系数。
因为编码器在取整运算中忽略了这种除法的余数，因此量化级214可能是有损的。通常，量化级214可在过程200A中造成最大的信息损失。信息损失越大，量化的变换系数216可能需要的位就越少。为了获得不同程度的信息损失，编码器可使用不同的量化参数值或量化过程的任何其他参数。
在二进制编码级226，使用二进制编码技术，诸如例如熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码或任何其他无损或有损压缩算法，编码器可对预测数据206和量化的变换系数216进行编码。在一些实施例中，除了预测数据206和量化的变换系数216之外，编码器可在二进制编码级226对其他信息进行编码，诸如例如在预测级204使用的预测模式、预测操作的参数、变换级212的变换类型、量化过程的参数(例如，量化参数)、编码器控制参数(例如，位率控制参数)等。编码器可使用二进制编码级226的输出数据来生成视频位流228。在一些实施例中，视频位流228可被进一步打包以进行网络传输。
参考过程200A的重建路径，在逆量化级218，编码器可对量化的变换系数216执行逆量化以生成重建的变换系数。在逆变换级220，编码器可基于重建的变换系数来生成重建的残差BPU 222。编码器可将重建的残差BPU 222添加至预测BPU 208以生成将在过程200A的下一次迭代中使用的预测参考224。
应当注意，过程200A的其他变体可用于对视频序列202进行编码。在一些实施例中，过程200A的级可由编码器以不同的顺序执行。在一些实施例中，过程200A的一个或更多个级可被组合成单个级。在一些实施例中，过程200A的单个级可被划分为多个级。例如，变换级212和量化级214可被组合成单个级。在一些实施例中，过程200A可包括附加级。在一些实施例中，过程200A可省略图2A中的一个或更多个级。
图2B示出了与本公开的实施例一致的另一示例性编码过程200B的示意图。可从过程200A修改过程200B。例如，过程200B可由符合混合视频编码标准(例如，H.26x系列)的编码器使用。与过程200A相比，过程200B的正向路径附加地包括模式决策级230并将预测级204划分为空间预测级2042和时间预测级2044。过程200B的重建路径附加地包括环路滤波器级232和缓冲区234。
通常，预测技术可分为两种类型：空间预测和时间预测。空间预测(例如，图像内预测或“帧内预测”)可使用来自同一图像中的一个或更多个已编码相邻BPU的像素来预测当前BPU。也就是说，空间预测中的预测参考224可包括相邻的BPU。空间预测可减少图像的固有空间冗余。时间预测(例如，图像间预测或“帧间预测”)可使用来自一个或更多个已编码图像的区来预测当前BPU。也就是说，时间预测中的预测参考224可包括已编码的图像。时间预测可减少图像的固有时间冗余。
参考过程200B，在正向路径中，编码器在空间预测级2042和时间预测级2044执行预测操作。例如，在空间预测级2042，编码器可执行帧内预测。对于正被编码的图像的原始BPU，预测参考224可包括已经在同一图像中编码(在正向路径中)和重建(在重建路径中)的一个或更多个相邻BPU。编码器可通过外插相邻BPU来生成预测BPU 208。外插技术可包括例如线性外插或内插、多项式外插或内插等。在一些实施例中，编码器可在像素级别执行外插，诸如通过针对BPU 208的每个像素外插预测对应像素的值。用于外插的相邻BPU可相对于原始BPU从各种方向(诸如在垂直方向(例如，在原始BPU的顶部)、水平方向(例如，在原始BPU的左侧)、对角线方向(例如，原始BPU的左下、右下、左上或右上)或在使用的视频编码标准中定义的任何方向上)定位。对于帧内预测，预测数据206可包括例如使用的相邻BPU的位置(例如，坐标)、使用的相邻BPU的大小、外插的参数、所使用的相邻BPU相对于原始BPU的方向等。
又例如，在时间预测级2044，编码器可执行帧间预测。对于当前图像的原始BPU，预测参考224可包括已编码(在正向路径中)和重建(在重建路径中)的一个或更多个图像(被称为“参考图像”)。在一些实施例中，可按照BPU对参考图像进行编码和重建。例如，编码器可将重建的残差BPU 222添加至预测BPU 208以生成重建的BPU。当生成同一图像的所有重建的BPU时，编码器可生成重建的图像作为参考图像。编码器可执行“运动估计”操作以在参考图像的范围(被称为“搜索窗口”)中搜索匹配区。参考图像中的搜索窗口的位置可基于当前图像中的原始BPU的位置确定。例如，搜索窗口可以参考图像中与当前图像中的原始BPU具有相同坐标的位置居中并可延伸预定距离。当编码器在搜索窗口中识别(例如，通过使用像素递归算法、块匹配算法等)与原始BPU类似的区时，编码器可将这种区确定为匹配区。匹配区可具有与原始BPU不同的尺寸(例如，更小、等于、更大或具有不同的形状)。因为参考图像和当前图像在时间线上是时间分离的(例如，如图1所示)，因此可认为匹配区随时间推移而“移动”至原始BPU的位置。编码器可将这种运动的方向和距离记录为“运动矢量”。当使用多个参考图像(例如，如图1中的图像106)时，编码器可搜索匹配区并为每个参考图像确定其相关联的运动矢量。在一些实施例中，编码器可将权重指配给相应匹配参考图像的匹配区的像素值。
运动估计可用于识别各种类型的运动，诸如例如平移、旋转、缩放等。对于帧间预测，预测数据206可包括例如匹配区的位置(例如，坐标)、与匹配区相关联的运动矢量、参考图像的数量、与参考图像相关联的权重等。
为了生成预测BPU 208，编码器可执行“运动补偿”操作。运动补偿可用于基于预测数据206(例如，运动矢量)和预测参考224来重建预测BPU 208。例如，编码器可根据运动矢量来移动参考图像的匹配区，在其中编码器可预测当前图像的原始BPU。当使用多个参考图像(例如，如图1中的图像106)时，编码器可根据匹配区的相应运动矢量和平均像素值来移动参考图像的匹配区。在一些实施例中，如果编码器已将权重指配给相应匹配参考图像的匹配区的像素值，则编码器可将移动的匹配区的像素值的加权和相加。
在一些实施例中，帧间预测可以是单向的或双向的。单向帧间预测可使用相对于当前图像在相同时间方向上的一个或更多个参考图像。例如，图1中的图像104是单向帧间预测图像，其中，参考图像(例如，图像102)在图像104之前。双向帧间预测可在关于当前图像的两个时间方向上使用一个或更多个参考图像。例如，图1中的图像106是双向帧间预测图像，其中，参考图像(例如，图像104和108)相对于图像104在两个时间方向上。
仍然参考过程200B的正向路径，在空间预测级2042和时间预测级2044之后，在模式决策级230，编码器可为过程200B的当前迭代选择预测模式(例如，帧内预测或帧间预测中的一者)。例如，编码器可执行速率失真优化技术，其中，编码器可取决于候选预测模式的位率和重建参考图像在候选预测模式下的失真来选择预测模式，以使成本函数的值最小化。取决于所选择的预测模式，编码器可生成对应的预测BPU 208和预测数据206。
在过程200B的重建路径中，如果已经在正向路径中选择了帧内预测模式，则在生成预测参考224(例如，已在当前图像中编码并重建的当前BPU)之后，编码器可将预测参考224直接馈送至空间预测级2042供以后使用(例如，用于外插当前图像的下一个BPU)。编码器可将预测参考224馈送至环路滤波器级232，在此编码器可将环路滤波器应用于预测参考224以减少或消除在预测参考224的编码期间引入的失真(例如，块伪影)。编码器可在环路滤波器级232应用各种环路滤波器技术，诸如例如去块效应、采样自适应偏移、自适应环路滤波器等。经环路滤波的参考图像可存储在缓冲区234(或“解码图像缓冲区”)中以供以后使用(例如，用作视频序列202的未来图像的帧间预测参考图像)。编码器可将一个或更多个参考图像存储在缓冲区234中以在时间预测级2044使用。在一些实施例中，编码器可在二进制编码级226对环路滤波器的参数(例如，环路滤波器强度)以及量化的变换系数216、预测数据206和其他信息进行编码。
图3A示出了与本公开的实施例一致的示例性解码过程300A的示意图。过程300A可以是对应于图2A中的压缩过程200A的解压缩过程。在一些实施例中，过程300A可类似于过程200A的重建路径。解码器可根据过程300A来将视频位流228解码成视频流304。视频流304可非常类似于视频序列202。然而，由于压缩过程和解压缩过程(例如，图2A至图2B中的量化级214)中的信息丢失，视频流304通常与视频序列202不同。类似于图2A至图2B中的过程200A和200B，解码器可在基本处理单元(BPU)的级别上对在视频位流228中编码的每个图像执行过程300A。例如，解码器可以迭代方式执行过程300A，其中，解码器可在过程300A的一次迭代中对基本处理单元进行解码。在一些实施例中，解码器可对在视频位流228中编码的每个图像的区(例如，区114至区118)并行执行过程300A。
在图3A中，解码器可将与编码图像的基本处理单元(被称为“编码BPU”)相关联的视频位流228的一部分馈送至二进制解码级302。在二进制解码级302，解码器可将所述部分解码为预测数据206和量化的变换系数216。解码器可将量化的变换系数216馈送至逆量化级218和逆变换级220以生成重建的残差BPU 222。解码器可将预测数据206馈送至预测级204以生成预测BPU 208。解码器可将重建的残差BPU 222添加至预测BPU 208以生成预测参考224。在一些实施例中，预测参考224可存储在缓冲区(例如，计算机存储器中的解码图像缓冲区)中。解码器可将预测参考224馈送至预测级204以在过程300A的下一次迭代中执行预测操作。
解码器可迭代地执行过程300A以对编码图像的每个编码BPU进行解码并生成预测参考224以用于对编码图像的下一个编码BPU进行编码。在对编码图像的所有编码BPU进行解码后，解码器可将图像输出至视频流304以供显示，并继续对视频位流228中的下一个编码图像进行解码。
在二进制解码级302，解码器可执行由编码器使用的二进制编码技术(例如，熵编码、可变长度编码、算术编码、霍夫曼编码、上下文自适应二进制算术编码或任何其他无损压缩算法)的逆运算。在一些实施例中，除了预测数据206和量化的变换系数216之外，解码器还可在二进制解码级302对其他信息进行解码，诸如例如预测模式、预测操作的参数、变换类型、量化过程的参数(例如，量化参数)、编码器控制参数(例如，位率控制参数)等。在一些实施例中，如果视频位流228通过网络在包中传输，则解码器可在将视频位流228馈送至二进制解码级302之前对其进行解包。
图3B示出了与本公开的实施例一致的另一示例性解码过程300B的示意图。可从过程300A修改过程300B。例如，过程300B可由符合混合视频编码标准(例如，H.26x系列)的解码器使用。与过程300A相比，过程300B附加地将预测级204划分为空间预测级2042和时间预测级2044，并附加地包括环路滤波器级232和缓冲区234。
在过程300B中，对于正被解码的编码图像(被称为“当前图像”)的编码基本处理单元(被称为“当前BPU”)，由解码器从二进制解码级302解码的预测数据206可包括各种类型的数据，这取决于编码器使用什么预测模式来对当前BPU进行编码。例如，如果编码器使用帧内预测来对当前BPU进行编码，则预测数据206可包括指示帧内预测的预测模式指示符(例如，标志值)、帧内预测操作等的参数。帧内预测操作的参数可包括例如用作参考的一个或更多个相邻BPU的位置(例如，坐标)、相邻BPU的大小、外插参数、相邻BPU相对于原始BPU的方向等。又例如，如果编码器使用帧间预测来对当前BPU进行编码，则预测数据206可包括指示帧间预测的预测模式指示符(例如，标志值)、帧间预测操作的参数等。帧间预测操作的参数可包括例如与当前BPU相关联的参考图像的数量、分别与参考图像相关联的权重、相应参考图像中的一个或更多个匹配区的位置(例如，坐标)、分别与匹配区相关联的一个或更多个运动矢量等。
基于预测模式指示符，解码器可决定是在空间预测级2042执行空间预测(例如，帧内预测)还是在时间预测级2044执行时间预测(例如，帧间预测)。执行这种空间预测或时间预测的细节在图2B中描述并将在下文中不再重复。在执行这种空间预测或时间预测之后，解码器可生成预测BPU 208。解码器可添加预测BPU 208和重建的残差BPU 222以生成预测参考224，如图3A中所描述的。
在过程300B中，解码器可将预测参考224馈送至空间预测级2042或时间预测级2044，以用于在过程300B的下一次迭代中执行预测操作。例如，如果在空间预测级2042使用帧内预测来对当前BPU进行解码，则在生成预测参考224(例如，解码的当前BPU)之后，解码器可将预测参考224直接馈送至空间预测级2042以供以后使用(例如，用于外插当前图像的下一个BPU)。如果当前BPU在时间预测级2044使用帧间预测被解码，则在生成预测参考224(例如，其中所有BPU已被解码的参考图像)之后，解码器可将预测参考224馈送至环路滤波器级232以减少或消除失真(例如，块伪影)。解码器可以如图2B中描述的方式将环路滤波器应用于预测参考224。经环路滤波的参考图像可存储在缓冲区234(例如，计算机存储器中的解码图像缓冲区)中以供以后使用(例如，用作视频位流228的未来编码图像的帧间预测参考图像)。解码器可将一个或更多个参考图像存储在缓冲区234中以在时间预测级2044使用。在一些实施例中，预测数据还可包括环路滤波器的参数(例如，环路滤波器强度)。在一些实施例中，当预测数据206的预测模式指示符指示帧间预测被用于对当前BPU进行编码时，预测数据包括环路滤波器的参数。
图4是与本公开的实施例一致的用于对视频进行编码或解码的示例性设备400的框图。如图4所示，设备400可包括处理器402。当处理器402执行本文描述的指令时，设备400可成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型的电路系统。例如，处理器402可包括任何数量的中央处理单元(或“CPU”)、图形处理单元(或“GPU”)、神经处理单元(“NPU”)、微控制器单元(“MCU”)、光处理器、可编程逻辑控制器、微控制器、微处理器、数字信号处理器、知识产权(IP)内核、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)、通用阵列逻辑(GAL)、复杂可编程逻辑器件(CPLD)、现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)等的任何组合。在一些实施例中，处理器402也可以是被分组为单个逻辑组件的处理器集合。例如，如图4所示，处理器402可包括多个处理器，包括处理器402a、处理器402b和处理器402n。
设备400还可包括被配置为存储数据(例如，指令集、计算机代码、中间数据等)的存储器404。例如，如图4所示，所存储的数据可包括程序指令(例如，用于实现过程200A、200B、300A或300B中的级的程序指令)和用于处理的数据(例如，视频序列202、视频位流228或视频流304)。处理器402可访问程序指令和用于处理的数据(例如，经由总线410)，并执行程序指令以对用于处理的数据执行操作或操纵。存储器404可包括高速随机存取存储装置或非易失性存储装置。在一些实施例中，存储器404可包括任何数量的随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁盘、硬盘驱动器、固态驱动器、闪存驱动器、安全数字(SD)卡、记忆棒、紧凑型闪存(CF)卡等的任何组合。存储器404也可以是被分组为单个逻辑组件的存储器集合(图4中未示出)。
总线410可以是在设备400内部的组件之间传送数据的通信装置，诸如内部总线(例如，CPU-存储器总线)、外部总线(例如，通用串行总线端口、外围组件互连快速端口)等。
为了便于解释而不引起歧义，在本公开中将处理器402和其他数据处理电路统称为“数据处理电路”。数据处理电路可被完全实现为硬件、或者实现为软件、硬件或固件的组合。此外，数据处理电路可以是单个独立模块，或可完全或部分地组合至设备400的任何其他组件中。
设备400还可包括网络接口406以提供与网络(例如，因特网、内联网、局域网、移动通信网络等)的有线或无线通信。在一些实施例中，网络接口406可包括任何数量的网络接口控制器(NIC)、射频(RF)模块、转发器、收发器、调制解调器、路由器、网关、有线网络适配器、无线网络适配器、蓝牙适配器、红外适配器、近场通信(“NFC”)适配器、蜂窝网络芯片等的任何组合。
在一些实施例中，可选地，设备400还可包括外围接口408以提供与一个或更多个外围装置的连接。如图4所示，外围装置可包括但不限于光标控制装置(例如，鼠标、触摸板或触摸屏)、键盘、显示器(例如，阴极射线管显示器、液晶显示器或发光二极管显示器)、视频输入装置(例如，相机或耦合至视频存档的输入接口)等。
应当注意，视频编解码器(例如，执行过程200A、200B、300A或300B的编解码器)可被实现为设备400中的任何软件或硬件模块的任何组合。例如，过程200A、200B、300A或300B中的一些或所有级可被实现为设备400的一个或更多个软件模块，诸如可被加载至存储器404中的程序指令。又例如，过程200A、200B、300A或300B中的一些或所有级可被实现为设备400的一个或更多个硬件模块，诸如专用数据处理电路(例如，FPGA、ASIC、NPU等)。
交叉分量预测可利用不同颜色分量之间的相关性。交叉分量预测可去除两个颜色分量之间的冗余，以提高压缩比。由于亮度分量在与自然视频中的色度相比时具有更多的纹理信息，因此通常首先对亮度分量进行编码，然后基于重建的亮度分量来预测色度分量。以AVS3为例，采用两步交叉分量预测模式(TSCPM)，其中，基于同一CU的重建亮度样本使用线性模型来预测色度样本，如下所示：
pred_C(i,j) ＝ α·rec_L'(i,j) + β (式1)
其中，pred_C(i,j)表示当前CU中的未下采样的预测色度样本，rec L'(i,j)表示同一CU的重建亮度样本，α是第一参数，并且β是第二参数。对于4:2:0彩色格式视频，其中，两个色度分量中的每个色度分量在水平和垂直维度上都具有亮度分量的一半样本数，pred_C(i,j)在两个维度上进行下采样以产生预测的色度样本pred_C'(i,j)。
参数α和β是从当前CU的重建的相邻亮度样本和色度样本推导出的。首先基于相邻的重建亮度样本与对应的相邻重建色度样本之间的关系推导线性模型，然后将线性模型应用于当前CU的重建亮度样本，以预测当前CU的色度样本值。为了简化α和β的推导，以AVS3为例，只使用由一个相邻的重建亮度样本和对应的相邻重建色度样本组成的4个样本对。通常，有三种不同的方法来获得这4个样本对。在第一种方法中，当上相邻块和左相邻块都可用时，样本对中的两个来自上述相邻重建样本，而样本对中的另外两个来自左相邻重建样本。如果只有上相邻块可用，则这4个样本对都来自上相邻重建样本。如果只有左相邻块可用，则所有这4个样本对都来自左相邻重建样本。如果上相邻块和左相邻块都不可用，则α被设置为0并且β被设置为1<<(Bitdepth–1)，并且不需要得到这4个样本对。
在第二种方法中，如果上相邻块可用，则这4个样本对全部都来自上相邻重建样本。如果上相邻块不可用，则α被设置为0并且β被设置为1<<(Bitdepth–1)，并且不需要得到4个样本对。
在第三种方法中，如果左相邻块可用，则这4个样本对全部都来自左相邻重建样本。如果左相邻块不可用，则α被设置为0并且β被设置为1<<(Bitdepth–1)，并且不需要得到4个样本对。
当获得相邻的重建亮度样本时，对于4:2:0颜色格式，由于亮度数和色度数不相等，对相邻的重建亮度样本进行下采样以生成下采样亮度样本，其对应于色度样本。在获得这4个样本对之后，根据亮度样本的值来对这4个样本对进行排序，然后分别对较大的两个样本对和较小的两个样本对求平均，以生成两个平均样本对。这两个平均样本对被用于推导线性模型参数α和β。
在TSCPM中，两个色度分量Cb和Cr都是基于线性模型从亮度分量Y预测的，如下所示：
pred_Cb ＝ α1·rec_L' + β1 (式2)
pred_Cr ＝ α2·rec_L' + β2 (式3)
然而，对于帧内预测，块内的三个分量的样本的重建通常是顺序执行的。因此，当正在重建Cr分量时，Y分量和Cb分量都已经被重建。因此，Cr的预测不仅可基于Y分量，而且可基于Cb分量。
在AVS3中，来自多个交叉分量(PMC)的预测可利用Y分量和Cb分量的信息来改进Cr预测。Cr的预测如下所示：
pred_C' ＝ fdownsample(pred_C) ＝ fdownsample(A × rec_L' + B) (式4)
pred_Cr' ＝ pred_C' – rec_Cb' (式5)
其中，rec_L'表示Y分量的重建样本并且pred_C是具有与亮度编码块相同的维度的中间样本块(例如，推导中的中间变量)，pred_C'表示pred_C的下采样样本，rec_Cb'是Cb分量的重建样本，并且pred_Cr'是Cr分量的预测样本。fdownsample()是下采样滤波器，其下采样率取决于视频的颜色格式。在颜色格式为4:2:0的视频中，fdownsample在水平和垂直维度上都执行2:1的下采样；在颜色格式为4:2:2的视频中，fdownsample在水平维度上执行2:1的下采样并且在垂直维度上执行1:1的下采样；在颜色格式为4:4:4的视频中，fdownsample在水平和垂直维度上都执行1:1的下采样。A和B是基于TSCPM的线性模型参数推导的两个参数，如下所示：
A ＝ α1 + α2 (式6)
B ＝ β1 + β2 (式7)
由于TSCPM中有3种方法得到相邻重建样本来推导线性模型参数，因此PMC中也有3种方法来推导参数A和B。
图5A是示出了根据本公开的一些实施例的从多个交叉分量(PMC)进行预测的示例性流程图的示意图。如图5A所示，在PMC中，pred_Cr'505A是通过从pred_C'503A减去rec_Cb'504A而得到的。pred_C'503A是基于pred_C 502A得到的，并且pred_C 502A是使用rec_L'501A计算出的。
图5B是示出了根据本公开的一些实施例的两步交叉分量预测模式(TSCPM)的示例性流程图的示意图。如图5B所示，在TSCPM中，pred_Cr'503B和pred_Cr'505B分别是从获得自rec_L'501B的pred_Cb 502B和pred_Cr 504B而得到的。
在预测之后，在编码器侧计算残差并在变换(例如，图2A和图2B中的变换212)和量化(例如，图2A和图2B中的量化214)之后在位流中传输。在解码器侧，通过对从位流解析出的残差进行逆量化和逆变换(例如，图3A和图3B中的逆量化218和逆变换220)来产生重建残差。并且可通过将重建残差添加至预测值来生成重建样本值。在样本重建之后，样本值可通过像去块效应滤波器、样本自适应偏移和自适应环路滤波器一样的环路滤波器进一步滤波，以得到最终的输出样本值。
为了对色度分量的残差进行编码，针对每个色度分量在位流中用信号发送称为经编码的变换块模式(ctp)的标志，以指示当前色度分量的当前块是否具有非零残差。当标志等于0而指示当前色度分量的当前块不具有非零残差(即，当前色度分量的当前块没有残差)时，则跳过残差编码。当标志等于1而指示当前色度分量的当前块具有非零残差时，对残差信息进行编码。
对于Cr块，当应用PMC时，也用信号发送ctp标志。对于使用PMC预测的块的残差，用信号发送ctp标志以指示当前Cr块是否具有非零残差。
对于PMC，例如在AVS3中，通过结合式4至式7，Cr样本的预测值推导如下：
pred_Cr' ＝ fdownsample[(α1 + α2 )·rec_L' + (β1 + β2)] – rec_Cb' (式8)
通过用式2替换，
pred_Cr'＝fdownsample[(α2·rec_L'+β2)+(α1·rec_L'+β1)]–rec_Cb'
＝fdownsample[(α2·rec_L'+β2)]+pred_Cb'–rec_Cb'＝fdownsample[(α2·rec_L'+β2)]–(rec_Cb'–pred_Cb') ＝ fdownsample[(α2·rec_L' + β2)] – resi_Cb' (式9)
其中，resi_Cb'是Cb分量的残差，其值等于Cb样本的重建值与预测值之间的差(例如，rec_Cb'–pred_Cb')，并且(α2·rec_L'+β2)是TSCPM中的Cr样本的预测值。因此，在TSCPM之上，PMC通过从Cr分量的原始预测值减去Cb的残差来进一步地改进Cr分量的预测。PMC的假设是Cr样本的残差与Cb样本的残差相反。
然而，这种假设并不总是适用。取决于视频的内容，图像的颜色特性有所不同。对于一些块，Cr分量的残差与Cb分量的残差正相关，而对于一些块，Cr分量的残差与Cb分量的残差负相关。并且即使对于Cb残差和Cr残差是负相关的块，Cr残差的平均幅度也可能不等于Cb分量的平均幅度。因此，PMC在这些情况下可能不起作用。
为了克服假设的不足，在本公开的一些实施例中，针对PMC使用了多个模型。
图6示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法600的流程图。方法600可由编码器(例如，由图2A的过程200A或图2B的过程200B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法600。在一些实施例中，方法600可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图6，方法600可包括以下步骤602和604。
在步骤602处，通过将两个模型与缩放因子组合来确定用于从多个交叉分量(PMC)进行预测的模型。例如，在组合模型参数A和B的计算中引入缩放因子，以更好地拟合Cb分量与Cr分量之间的相关性。因此，用于PMC的模型可能会随着因子的不同值而变化，并且可应用适当的模型。
在一些实施例中，可如下推导A和B：
A ＝ k1 × α1 + k2 × α2 (式10)
B ＝ k1 × β1 + k2 × β2 (式11)
其中，k1和k2是模型的缩放因子。例如，k1可设置为0.75并且k2可设置为0.5。k1和k2用于表示α1与α2、β1与β2之间的关系。α1和β1可以是第一线性模型的参数，而α2和β2可以是第二线性模型的参数。
在一些实施例中，进一步对A和B进行归一化，因此，可将k2设置为1。因此，可如下推导A和B：
A＝k×α1+α2 (式10a)
B＝k×β1+β2 (式11a)
通过引入缩放因子k，如下基于组合线性模型来得到Cr的预测：
pred_Cr' ＝ fdownsample(A × rec_L' + B) – k × rec_Cb' (式12)
为简化k为非整数(诸如0.5、0.75等)时的情况的计算复杂度，式10a和式11a可被推导为式10b和式11b：
A＝(m×α1+p)/n+α2 (式10b)
B＝(m×β1+p)/n+β2 (式11b)
并且式12可被推导为式13：
pred_Cr' ＝ fdownsample(A × rec_L' + B) – (m × rec_Cb' + p)/n (式13)
其中，m和n是两个整数，并且m除以n的商接近或等于k。“/”是整数除法并且p是值等于n的一半的取整偏移量。在一些实施例中，当n是2的幂时，“/”可由右移运算代替。
在一些实施例中，为了降低计算复杂度，参数A和B也被推导为整数，从而可引入位移运算。式12和式13可被重新格式化为式12a和式13a：
pred_Cr'＝fdownsample((A×rec_L'>>ishift)+B)–k×rec_Cb' (式12a)
pred_Cr'＝fdownsample((A×rec_L'>>ishift)+B)–(m×rec_Cb'+p)/n (式13a)
其中，ishift为位移数，并且ishift的值为非负整数。
在一些实施例中，可获得预测值，而不进行下采样。也就是说，fdownsample()可从式12、式13、式12a和式13a去除。
在一个示例中，k1等于0.75并且k2等于1。考虑取整计算，A等于((3α1+2)/4+α2)并且B等于((3β1+2)/4+β2)。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，然后对pred_C'进行下滤波。Cr样本的预测值pred_Cr'可根据Cb样本rec_Cb'和pred_C'的重建值推导出。在本示例中，pred_Cr'等于pred_C'–(3rec_Cb'+2)/4。
在一些实施例中，因子k1和k2可被设置为其他值以确定适当的模型。
在步骤604处，基于所确定的模型来执行色度分量Cb和Cr的预测。
图7示出了根据本公开的一些实施例的用于多模型处理的示例性方法700的流程图。应当了解，方法700可以是图6的方法600中的步骤602的一部分。在一些实施例中，方法700还可包括以下步骤702至706。
在步骤702，通过具有不同值的因子获得多个模型。例如，通过将设置k1为1并将k2设置为–1来获得第一模型；通过将设置k1为0.5并将k2设置为1来获得第二模型；并且通过将设置k1为0.75并将k2设置为2来获得第三模型。模型的数量不受限制。
在步骤704，从多个模型确定要用于PMC的模型。换句话说，PMC的多个模型(例如，多种方法)可用于推导PMC参数A和B。在一些实施例中，可基于率失真成本确定要使用的模型以获得更好的性能。在其他实施例中，也可通过预设规则确定要使用的模型。例如，编码器选择第一模型作为要使用的模型。模型确定的方式可基于编码器的性能。
在步骤706，在位流中用信号发送所确定的模型的模型索引，并且模型索引指示所使用的模型，因此模型索引对应于所使用的模型的某些因子。因此，可通过位流中的索引来指示用于PMC的模型，这将有利于解码器侧的处理。
然后，可在编码器侧使用所确定的模型来预测Cr样本。
在一些实施例中，每个块(或编码单元)具有多个模型以推导参数A和B。编码器基于率失真成本来选择模型中的一个。例如，A和B可被推导为式10a和式11a：
A＝k×α1+α2 (式10a)
B＝k×β1+β2 (式11a)
其中，k是模型的缩放因子。
在一些实施例中，可应用两个模型。在第一示例中，k可以为负值或正值。例如，k可以为+1或–1。也就是说，A等于(α1+α2)并且B等于(β1+β2)，或者A等于(–α1+α2)并且B等于(–β1+β2)。本示例中支持两种模型。k的值可由编码器确定并且在位流中用信号发送并由解码器解码。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，然后对pred_C'进行下采样。Cr样本的预测值pred_Cr'可根据Cb样本的重建值rec_Cb'和k的值推导出。当k等于1时，pred_Cr'等于pred_C'–rec_Cb'；并且当k等于–1时，pred_Cr'等于pred_C'+rec_Cb'。
在第二示例中，k可能小于或大于1。例如，k可以为0.5或2。也就是说，A等于((α1+1)/2+α2)并且B等于((β1+1)/2+β2)，或者A等于(2α1+α2)并且B等于(2β1+β2)。本示例中支持两种模型。k的值可由编码器确定，然后在位流中用信号发送并由解码器解码。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'可根据Cb样本的重建值rec_Cb'和k的值推导出。当k等于0.5时，pred_Cr'等于pred_C'–(rec_Cb'+1)/2；当k等于2时，pred_Cr'等于pred_C'–2×rec_Cb'。
在第三示例中，k可小于1。例如，k可以为0.75或0.25。也就是说，A等于((3α1+2)/4+α2)并且B等于((3β1+2)/4+β2)，或者A等于((α1+2)/4+α2)并且B等于((β1+2)/4+β2)。本示例中支持两种模型。k的值可由编码器确定，然后在位流中用信号发送并由解码器解码。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'可根据Cb样本的重建值rec_Cb'和k的值推导出。当k等于0.75时，pred_Cr'等于pred_C'–(3·rec_Cb'+2)/4；当k等于0.25时，pred_Cr'等于pred_C'–(rec_Cb'+2)/4。
在第四示例中，k可小于1或等于1。例如，k可以为0.5或1。也就是说，A等于((α1+1)/2+α2)并且B等于((β1+1)/2+β2)，或者A等于(α1+α2)并且B等于(β1+β2)。本示例中支持两种模型。k的值可由编码器确定，然后在位流中用信号发送并由解码器解码。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'可根据Cb样本的重建值rec_Cb'和k的值推导出。当k等于0.5时，pred_Cr'等于pred_C'–(rec_Cb'+1)/2；并且当k等于1时，pred_Cr'等于pred_C'–rec_Cb'。
在一些实施例中，可应用三个或更多个模型，并且k可具有三个或更多个值。在第五示例中，k可以为0.5、1或2。也就是说，A等于((α1+1)/2+α2)并且B等于((β1+1)/2+β2)，或者A等于(α1+α2)并且B等于(β1+β2)，或者A等于(2α1+α2)并且B等于(2β1+β2)。本示例中支持三种模型。k的值可由编码器确定，并且对应模型索引在位流中用信号发送并由解码器解码。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'可根据Cb样本的重建值rec_Cb'和k的值推导出。当k等于0.5时，pred_Cr'等于pred_C'–(rec_Cb'+1)/2；当k等于1时，pred_Cr'等于pred_C'–rec_Cb'；并且当k等于2时，pred_Cr'等于pred_C'–2·rec_Cb'。
在第六示例中，k可以为0.5、1或–0.5。也就是说，A等于((α1+1)/2+α2)并且B等于((β1+1)/2+β2)，或者A等于(α1+α2)并且B等于(β1+β2)，或者A等于(–(α1+1)/2+α2)并且B等于(–(β1+1)/2+β2)。本示例中支持三种模型。k的值可由编码器确定，然后在位流中用信号发送并由解码器解码。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'可根据Cb样本的重建值rec_Cb和k的值推导出。当k等于0.5时，pred_Cr'等于pred_C'–(rec_Cb'+1)/2；当k等于1时，pred_Cr'等于pred_C'–rec_Cb'；并且当k等于–0.5时，pred_Cr'等于pred_C'+(rec_Cb'+1)/2。
在一些实施例中，模型选择是在块级别执行的，这可使得编码器能够选择最佳的模型以适合当前块的内容，从而提高编码性能。然而，块级别多模型请求每个块的模型索引的信令，这是大的信令开销并可能降低编码性能。
为了减少信令量，在一些实施例中，可跳过在位流中用信号发送所确定的模型的模型索引的步骤706。在这种情况下，模型索引不在位流中显式地用信号发送，而是由编码器和解码器隐式地推导出。例如，根据Y分量和Cb分量的重建值的统计信息或者相邻编码块的模型索引，解码器直接确定模型索引，而不从位流解码模型信息。因此，可减少信令开销。
在本公开的一些实施例中，在高级别中，例如在片(patch)级别、条带(slice)级别、图像级别或序列级别中，可选择多个模型。编码器确定当前片、条带、图像或序列的最佳模型，并用信号发送片头、条带、图像头或序列头中的模型索引。解码器使用由在位流中用信号发送的索引所指示的模型来对Cr样本进行解码。以上描述的所有模型和Cr样本的预测都可在此处使用。
为了进一步提高多模型处理的效率，在本公开的一些实施例中，可使用在两个级别进行多模型处理来在模型的定位与模型索引的信令开销之间取得良好的权衡。所支持的模型由编码器在两个不同的级别上选择并用信号发送。然后，在解码器侧，解码器可通过这两个不同级别的语法元素的联合指示来推导模型。
图8示出了根据本公开的一些实施例的用于在两个级别进行多模型处理的示例性方法800的流程图。应当了解，方法800可以是图7的方法700中的步骤704的一部分。在一些实施例中，方法800还可包括以下步骤802至810。
在步骤802，将多个模型分组成两个或更多个组。模型可被均匀地划分为多个组，然后每个组具有相同数量的模型。模型可被不均匀地划分，然后每个组具有不同数量的模型。每组中的模型的数量不受限制。划分可基于因子(例如，k)的值。例如，k大于某个值(例如，1)的一组模型，k小于某个值(例如，1)的另一组模型。一个模型也可能只在一个组中或在多个组中，但不限于此。
在步骤804，执行第一级别确定以确定要使用的组。第一级别确定是在组级别进行的，确定要使用的组。例如，如果在k大于1的情况下确定要使用的模型，则确定k大于1的一组模型。
在步骤806，执行第二级别确定以从所确定的组确定要使用的模型。第二级别确定是在模型级别进行的，从所确定的组确定要使用的模型。在第一级别确定之后，针对第二确定选择较少的模型。可提高模型确定的效率，并且可减少模型索引信令开销。如果所确定的组中只存在一个模型，则将所述模型确定为要使用的模型。因此，可跳过第二级别确定，并且还可跳过模型索引的信令。
在步骤808，在第一级别用信号发送标志以指示所确定的组。使用标志，解码器能够很容易地定位所确定的组以进行处理。标志可在图像级别、条带级别、片级别或序列级别用信号发送。对于被划分为多于两个组的情况，可用信号发送索引以指示选择哪个组。
在步骤810(例如，在步骤706)，在第二级别用信号发送所确定的模型的模型索引。用于PMC的模型可以由位流中的索引指示，这将有利于解码器侧的处理。可在块级别用信号发送模型索引。
通过两级别处理，提高了模型定位的效率，同时用信号发送仅一个标志/索引。
在一些实施例中，两个或更多个组是两个或更多个子集。一个模型只能包含在一个子集中。每个子集至少包含一个模型。例如，在第一示例中，存在6个模型，其中，k等于–0.5、–1、–2、0.5、1和2。模型的集合被划分为2个子集。第一子集包含–0.5、–1、–2，并且第二子集包含0.5、1和2。在图像/片/条带级别确定并用信号发送子集，并且在块级别确定并用信号发送用于子集内的每个块的模型。因此，在图像头/片头/条带头处用信号发送标志以指示选择正子集还是负子集。然后对于每个块，用信号发送模型索引以指示所确定的子集中的三个模型中的哪一个用于当前块。如上所述，参数A和B的推导以及Cr样本的预测过程基于k的值。
在第二示例中，存在4个模型，其中，k等于0.5、1、1.5和2。模型的集合被划分为2个子集。第一子集包含0.5、1，并且第二子集包含1.5和2。在图像/片/条带级别确定并用信号发送子集，并且在块级别确定并用信号发送用于子集内的每个块的模型。因此，在图像头/片头/条带头处用信号发送标志以指示是选择k小于或等于1的第一子集还是选择k大于1的第二子集。然后对于每个块，用信号发送模型索引以指示所确定的子集中的两个模型中的哪一个用于当前块。如上所述，参数A和B的推导以及Cr样本的预测基于k的值。
在第三示例中，存在3个模型，其中，k等于0.25、0.75和–0.5。模型的集合被划分为2个子集。第一子集包含0.25、0.75，并且第二子集包含–0.5。在图像/片/条带级别确定并用信号发送子集，并且在块级别确定并用信号发送用于子集内的每个块的模型。因此，在图像头/片头/条带头处用信号发送标志以指示选择第一子集还是第二子集。然后对于每个块，如果选择第一子集，则用信号发送模型索引以指示所确定的子集中的两个模型中的哪一个用于当前块。如果选择了第二子集，则可跳过执行第二级别确定以从所确定的组确定要使用的模型的步骤806。由于第二子集中只存在一个模型，因此无需用信号发送模型索引。也可跳过在块级别用信号发送模型索引的步骤810。如上所述，参数A和B的推导以及Cr样本的预测基于k的值。在此示例中，每个子集中的模型的数量并不相同。
在一些实施例中，两个或更多个组可以是两个或更多个类别。一个模型可分为多个类别。例如，在第四示例中，存在2个模型，其中，k等于0.5和1。模型分为2个类别。第一类别包含0.5和1，并且第二类别包含1。在条带级别、片级别或图像级别确定并用信号发送类别，并且如果当前确定的类别中的模型的数量大于1，则在块级别上确定并用信号发送用于类别内的每个块的模型。因此，在条带头、片头或图像头处用信号发送标志以指示选择第一类别还是第二类别。如果选择了第一类别，则对于每个块，用信号发送模型索引以指示两个模型中的哪一个用于当前块。如果选择了第二类别，则可跳过执行第二级别确定以从所确定的组确定要使用的模型的步骤806。由于第二类别中只存在一个模型，因此无需用信号发送模型索引。可跳过在块级别用信号发送模型索引的步骤810。如上所述，参数A和B的推导以及Cr样本的预测过程基于k的值。一个模型可能包括在多于一种类别中。
在一些实施例中，根据图像类型在图像级别上确定两个或更多个组。例如，在第五示例中，存在有4个模型，其中，k等于0.5、0.75、1和–0.25。模型的集合被划分为2个子集。第一子集包含0.75和–0.25，并且第二子集包含0.5和1。根据图像类型在图像级别上确定子集。第一子集用于I图像，并且第二子集用于P和B图像。因此，在此示例中，在图像头中未用信号发送标志以确定用于当前图像的子集。可跳过在图像级别用信号发送标志以指示所确定的组的步骤808。在块级别确定并用信号发送用于子集内的每个块的模型。如上所述，参数A和B的推导以及Cr样本的预测基于k的值。
在一些实施例中，可使用其他组合。
图9示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法900的流程图。方法900可由解码器(例如，由图3A的过程300A或图3B的过程300B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法900。在一些实施例中，方法900可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图9，方法900可包括以下步骤902至906。
在步骤902，接收在PMC中编码的位流。
在步骤904，确定要用于PMC的模型，其中，要使用的模型带有因子。例如，在PMC参数A和B的计算中引入因子，以更好地拟合Cb分量与Cr分量之间的相关性。在一些实施例中，如果在位流中用信号发送模型索引，则步骤904还可包括通过从位流解码模型索引来确定要使用的模型的步骤。在解码模型索引之后，可确定因子的值，然后可推导要使用的模型的参数。
在一些实施例中，未在位流中用信号发送索引，并且步骤904还可包括根据Y分量和Cb分量的重建值的统计信息或相邻编码块的模型索引确定所使用的模型的步骤。在这种情况下，可根据其他分量的值或从相邻编码块推导要使用的模型的因子。
在一些实施例中，步骤904可包括根据片或图像的类型来确定模型的步骤。例如，可预先设置不同类型的图像的k值，并将其与编码器和解码器共享。在一些实施例中，对于I图像，将k设置为1，并且对于P或B图像，将k设置为0.5。然后，如果当前图像是仅用帧内预测编码的I图像，则k等于1。A等于(α1+α2)并且B等于(β1+β2)。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'等于pred_C'–rec_Cb'。如果当前图像是用帧内预测和帧间预测编码的P或B图像，则k为0.5。A等于((α1+1)/2+α2)并且B等于((β1+1)/2+β2)。在推导A和B之后，通过使用参数A和B用线性模型计算来产生pred_C'，如式4所示，并对pred_C'进行下采样。Cr样本的预测值pred_Cr'等于pred_C'–(rec_Cb'+1)/2。在其他实施例中，对于I图像以及对于P和B图像，k可被设置为其他值。
可根据所确定的模型索引来推导模型的参数。
在一些实施例中，模型由编码器在两个不同的级别选择并用信号发送。然后，方法900中的步骤904还包括通过两个不同级别的语法元素的联合指示来确定模型的步骤。在这种情况下，通过首先对在图像级别用信号发送的标志或索引进行解码来确定要使用的组。然后，通过在块级别对模型索引进行解码来确定要使用的模型。
在步骤906，基于所确定的模型确定色度分量的预测值。例如，可用所使用的模型对Cr样本进行解码。
由于PMC改进了Cr分量的预测，因此Cr块的残差减少。然而，在当前AVS3中，仍在位流中用信号发送ctp标志。如果大多数的Cr块不具有非零残差，则针对每个块用信号发送ctp标志本身会消耗不可忽略的位量。在本公开的一些实施例中，提议用于减少信令量的方法。
图10示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法1000的流程图。方法1000可由编码器(例如，由图2A的过程200A或图2B的过程200B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法1000。在一些实施例中，方法1000可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图10，方法1000可包括以下步骤1002和1004。
在步骤1002，通过从多个交叉分量(PMC)模式进行预测来预测Cr块。
在步骤1004，将Cr块的所有残差强制为零。由于Cr分量的残差已经减少，因此如果将所有残差Cr块强制为零，则不会存在太大的失真，特别是对于预测样本值接近原始样本值的块。在一些实施例中，通过从多个交叉分量(PMC)模式进行预测来预测Cb块，并且Cb块的所有残差都被强制为零。
因此，跳过针对Cr块用信号发送ctp标志和残差的步骤。由于所有残差都被强制为零，因此对于通过PMC模式预测的Cr块，不用信号发送ctp标志和残差。因此，进一步节省了信令。
将Cr块的残差强制为零可节省针对Cr分量的ctp标志和残差的信令，但是对于预测样本值与原始样本值不接近的块，它会产生较大的失真。在本公开的一些实施例中，可使用高级别ctp指示来保存每个块的ctp信令。
例如，在条带头、片头或图像头中用信号发送通过PMC模式预测的Cr块的ctp标志。图11示出了根据本公开的一些实施例的用于在两个级别上用信号发送ctp标志的示例性方法1100的流程图。方法1100可由编码器(例如，由图2A的过程200A或图2B的过程200B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法1100。在一些实施例中，方法1100可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图11，方法1100可包括以下步骤1102至1114。
在步骤1102，用信号发送通过PMC模式预测的Cr块的第一级别ctp标志。ctp标志可在图像头、片头或条带头处，用于指示当前图像、当前片或当前条带中是否存在非零残差。
在步骤1104，确定第一级别(例如，图像级别)ctp标志的值。如果第一级别ctp标志等于0，则通过PMC模式预测的当前图像/片/条带中的每个Cr块都不具有非零残差。因此，在步骤1106，不用信号发送每个Cr块的第二级别(例如，块级别)ctp标志和残差。
如果根据步骤1104该第一级别ctp标志等于1，则在步骤1108，对于每个Cr块，用信号发送第二级别(例如，块级别)ctp标志以指示当前Cr块是否具有非零残差。在步骤1110，确定第二级别ctp标志的值。如果根据步骤1110第二级别ctp标志等于0，则在步骤1112，不用信号发送当前Cr块的残差。如果根据步骤1110第二级别ctp标志等于1，则在步骤1114，在位流中用信号发送当前Cr块的残差。第二级别ctp标志可以是块级别ctp标志，用于指示当前块中是否存在非零残差。
通过在两个级别用信号发送ctp标志，则可显著地减少块级别标志信令和残差信令。
在一些实施例中，方法1100可与方法700、方法800或方法900组合，其中，支持具有不同k值的多个模型。
在一些实施例中，对于不存在残差(即，未用信号发送残差)的情况，Cr样本的重建值被推导为等于Cr样本的改进预测值。因此，可通过节省信令来提高编码性能。
图12示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法1200的流程图。方法1200可由解码器(例如，由图3A的过程300A或图3B的过程300B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法1200。在一些实施例中，方法1200可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图12，方法1200可包括以下步骤1202和1204。
在步骤1202，确定Cr块的预测模式。在解码器处，根据接收到的位流确定Cr块的预测模式。因此，当当前Cr块的预测模式采用PMC模式编码时，跳过对ctp标志和残差的解码。由于根据本公开的实施例改进了Cr分量的预测，并且在一些实施例中，不在位流中用信号发送ctp标志和残差，因此可跳过对ctp标志和残差的解码以提高处理性能。
在步骤1204，确定Cr分量的重建值等于Cr分量的改进预测值。也就是说，rec_Cr'＝pred_Cr'。
PMC改进了Cr块的预测。但是，它位于TSCPM之上。因此，只有当Cb块采用TSCPM模式编码时，才能启用PMC以改进对Cr块的预测。对于其他模式，无法使用PMC。
在本公开的一些实施例中，基于Cb分量的重建值的Cr预测的改进不限于TSCPM模式，而是扩展至所有模式。
图13示出了根据本公开的一些实施例的用于视频处理的示例性方法1300的流程图。方法1300可由编码器(例如，由图2A的过程200A或图2B的过程200B)、解码器(例如，由图3A的过程300A或图3B的过程300B)执行或者由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法1300。在一些实施例中，方法1300可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图13，方法1300可包括以下步骤1302。
在步骤1302，通过定义Cr分量的初始预测值与Cb分量的残差值之间的线性关系来确定Cr分量的更新预测值。Cb分量的残差值等于Cb分量的初始预测值与Cb分量的重建值之间的差。用任何预测模式生成Cr分量的初始预测值和Cb分量的初始预测值。例如，根据式9，可如下推导Cr样本的改进预测值：
pred_Cr'＝ pred_Cr0' + k × (pred_Cb0' – rec_Cb') ＝ pred_Cr0' + k ×resi_Cb' (式14)
其中，pred_Cr'是Cr样本的最终改进预测值，pred_Cr0'是Cr样本的初始预测值，pred_Cb0'是Cb样本的预测值，rec_Cb'是Cb样本的重建值，并且k是模型因子。通过定义pred_Cr0'与resi_Cb0'之间的线性关系来计算Cr分量的改进预测值，其中，resi_Cb'是Cb分量的残差，其值等于pred_Cb0'与rec_Cb'之间的差。
在一些实施例中，可采用任何预测模式生成pred_Cr0'和pred_Cb0'。例如，pred_Cr0'和pred_Cb0'可以是对于正常帧间模式、跳过模式、直接模式或任何其他帧间模式的帧间预测值。此外，pred_Cr0'和pred_Cb0'可以是对于角度帧内模式、双线性帧内模式、直流(DC)模式、平面模式或任何其他帧内模式的帧内预测值。如果应用帧间预测滤波或帧内预测滤波，则pred_Cr0'和pred_Cb0'可以是滤波之后或滤波之前的值。
在推导出Cr样本的改进预测值之后，将重建的残差值与改进预测值相加得到Cr样本的重建值。在一些实施例中，对于不存在残差的情况，Cr样本的重建值等于Cr样本的改进预测值。
方法1300可与方法700、方法800或方法900的实施例结合，其中，支持具有不同k值的多个模型。方法1300也可与未用信号发送ctp标志和Cr块的残差的实施例结合。方法1300还可与方法1100的实施例结合，其中，用信号发送高级别ctp标志以指示存在Cr块的残差。
在PMC中，基于Y分量和Cb分量的重建值来改进Cr的预测。但是，Cb分量不能通过Y分量和Cr分量的重建值来改进。因此，两个色度分量的质量是不平衡的。
在本公开的一些实施例中，可基于Cr分量的重建值来改进Cb的预测。
图14示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法1400的流程图。方法1400可由编码器(例如，由图2A的过程200A或图2B的过程200B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法1400。在一些实施例中，方法1400可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图14，方法1400可包括以下步骤1402至1406。
在步骤1402，确定Cr样本的改进预测值和Cb样本的改进预测值。例如，Cr样本的改进预测值可被推导为式14，并且Cb样本的改进预测值可以被推导如下：
pred_Cb' ＝ pred_Cb0' + k × (pred_Cr0' – rec_Cr') ＝ pred_Cb0' + k ×res_Cr' (式15)
其中，pred_Cb'是Cb样本的最终改进预测值，pred_Cb0'是Cb样本的初始预测值，pred_Cr0'是Cr样本的预测值，rec_Cr'是Cr样本的重建值，resi_Cr'是Cr分量的残差，其值等于pred_Cr0'与rec_Cr'之间的差，k是模型因子。又例如，Cr样本的改进预测值可以被推导为式16，并且Cb样本的改进预测值可以被推导为式17：
pred_Cr' ＝ fdownsample[(kα1 + α2)× rec_L' + (kβ1 + β2)] – k× rec_Cb'(式16)
pred_Cb' ＝ fdownsample[(α1 + kα2)× rec_L' + (β1 + kβ2)] – k× rec_Cr'(式17)
其中，pred_Cr'和pred_Cb'是Cr和Cb的改进预测值，rec_Cb'和rec_Cr'是Cb和Cr的重建值，rec_L'是Y的重建值，k是要组合两个线性模型的缩放因子。α1和β1是用于基于亮度样本来推导Cb预测样本值的线性模型的参数，并且α2和β2是用于基于亮度样本来推导Cr预测样本值的线性模型的参数。
在步骤1404，确定是基于Cb样本的重建值来改进Cr预测还是基于Cr样本的重建值来改进Cb预测。如式14至式17所示，可基于其他色度分量来改进Cr预测或Cb预测。
应当了解，在一些实施例中，可在步骤1402之前执行步骤1404，使得在步骤1402中只需要确定改进的Cr预测值和改进的Cb预测值中的一者。如果在步骤1404中确定要基于Cb样本的重建值来改进Cr预测，则在步骤1402确定Cr样本的改进预测值；如果在步骤1404确定要基于Cr样本的重建值来改进Cb预测，则在步骤1402确定Cb样本的改进预测值。
在步骤1406，用信号发送标志以指示是改进Cr预测还是改进Cb预测。如果标志指示改进Cr预测，则参考式14或式16；如果标志指示改进Cb预测，则参考式15或式17。因此，可改进Cr预测或Cb预测。
在一些实施例中，在块级别切换Cb预测和Cr预测的改进。并且针对每个块在位流中用信号发送标志。
在一些实施例中，在条带级别/片级别/图像级别切换Cb预测和Cr预测的改进。并且Cr预测或Cb预测的改进的确定是基于当前条带/片/图像的内容特征的。内容特征可以是Cr分量与Cb分量之间的相关系数。对于一些视频内容，Cr分量与Cb分量可以是正相关的。对于一些视频内容，Cr分量与Cb分量可以是负相关的。由于标志是在高级别(例如，在图像级别或片级别)用信号发送的，因此节省了标志信令。
在一些实施例中，类似于方法1300，可通过定义Cb分量的预测值和Cr分量的残差之间的线性关系来确定Cb分量的改进预测值，其中，Cb分量的预测值和Cr分量的预测值是用任何预测模式生成的。
图15示出了根据本公开的一些实施例的用于在PMC中进行视频处理的示例性方法1500的流程图。方法1500可由解码器(例如，由图3A的过程300A或图3B的过程300B)执行或由设备(例如，图4的设备400)的一个或更多个软件或硬件组件执行。例如，一个或更多个处理器(例如，图4的处理器402)可执行方法1500。在一些实施例中，方法1500可由包含在计算机可读介质中的计算机程序产品(包括由计算机(例如，图4的设备400)执行的计算机可执行指令，诸如程序代码)实现。参考图15，方法1500可包括以下步骤1502至1506。
在步骤1502，接收包括用于指示改进Cr预测或改进Cb预测的标志的位流。
在步骤1504，基于标志确定改进Cr预测或改进Cb预测。例如，标志等于1可指示改进Cr预测，而标志等于0可指示改进Cb预测。
在步骤1506，响应于在步骤1504的标志等于1，改进Cr预测。然后，例如用式14或式16改进Cr预测。
在步骤1508，响应于在步骤1504的标志等于0，改进Cb预测。然后，例如用式15或式17改进Cb预测。
可理解，尽管本公开涉及基于值等于0或1来提供推断的各种语法元素，但是可以任何方式(例如，1或0)来对这些值进行配置以提供适当的推断。
还可使用以下条项来描述实施例：
1.一种视频编码方法，包括：
从多个参数集中确定参数集，其中，所述参数集包括缩放因子；
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及
在位流中用信号发送与所述参数集相关联的索引。
2.根据条项1所述的方法，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所述缩放因子、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一参数和第二参数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
3.根据条项2所述的方法，其中，基于所述缩放因子、所述第一线性模型和所述第二线性模型确定所述组合线性模型包括：
将所述组合线性模型的第一参数确定为所述第一线性模型的第一参数和所述第二线性模型的第一参数与所述缩放因子的线性组合；以及
将所述组合线性模型的第二参数确定为所述第一线性模型的第二参数和所述第二线性模型的第二参数与所述缩放因子的线性组合。
4.根据条项3所述的方法，其中，基于下式确定所述组合线性模型的第一参数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二参数：B＝k×β2+β1，其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，并且k是所述缩放因子。
5.根据条项3所述的方法，其中，基于下式确定所述组合线性模型的第一参数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二参数：B＝(m×β2+p)/m+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，m和1/n是两个缩放因子，并且p是取整偏移量。
6.根据条项2至5中的任一项所述的方法，其中，确定所述第一色度分量的预测样本值还包括：
通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二参数相加来确定第一中间变量；
通过用所述缩放因子缩放第二色度分量的重建样本值来确定第二中间变量；以及
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
7.根据条项6所述的方法，还包括：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
8.根据条项6或7所述的方法，其中，通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的所述乘积与所述组合线性模型的第二参数相加来确定所述第一中间变量还包括：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二参数相加来确定的。
9.根据条项6至8中的任一项所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所述缩放因子，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
10.根据条项6至8中的任一项所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m和1/n是两个缩放因子，p是取整偏移量，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
11.根据条项3或4所述的方法，其中，所述缩放因子等于1、0.5或2。
12.根据条项1至11中的任一项所述的方法，其中，在所述位流中用信号发送与所述参数集相关联的所述索引还包括：
用信号发送第一级别中的第一索引和第二级别中的第二索引，其中，所述参数集由所述第一索引和所述第二索引联合指示。
13.根据条项12所述的方法，其中，所述第一级别是图像级别，并且所述第二级别是编码单元(CU)级别。
14.根据条项12或13所述的方法，还包括：
通过所述第一索引从所述多个参数集中指示所述多个参数集的子集；以及
通过所述第二索引从所述多个参数集的所述子集中指示所述参数集。
15.根据条项1至14中的任一项所述的方法，还包括：
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不用信号发送所述第一色度分量的预测残差和编码变换块模式(CTP)标志。
16.根据条项1至15中的任一项所述的方法，还包括：
在所述位流中用信号发送标志，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不用信号发送所述第一色度分量的预测残差和编码变换块模式(CTP)标志；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
确定当前块的所述第一色度分量的所述预测残差是否全为零，
响应于所述当前块的所述第一色度分量的所述预测残差全为零，
确定所述第一色度分量的重建样本值等于所述当前块的所述第一色度分量的预测样本值；以及
用信号发送所述当前块的所述第一色度分量的、值等于第一值的编码变换块模式(CTP)标志，其中，所述CTP标志的所述第一值指示所述当前块的所述第一色度分量的所述预测残差全为零；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差；
用信号发送所述当前块的所述第一色度分量的、值等于第二值的编码变换块模式(CTP)标志，其中，所述CTP标志的所述第二值指示所述当前块的所述第一色度分量的所述预测残差不全为零；以及
用信号发送所述当前块的所述第一色度分量的所述预测残差。
17.根据条项1至16中的任一项所述的方法，还包括：
用信号发送标志，以指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
18.一种视频解码方法，包括：
从视频位流解码索引；
基于所述索引从多个参数集中确定参数集，其中，所述参数集包括缩放因子；以及
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值。
19.根据条项18所述的方法，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所述缩放因子、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一参数和第二参数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
20.根据条项19所述的方法，其中，基于所述缩放因子、所述第一线性模型和所述第二线性模型确定所述组合线性模型包括：
将所述组合线性模型的第一参数确定为所述第一线性模型的第一参数和所述第二线性模型的第一参数与所述缩放因子的线性组合；以及
将所述组合线性模型的第二参数确定为所述第一线性模型的第二参数和所述第二线性模型的第二参数与所述缩放因子的线性组合。
21.根据条项20所述的方法，其中，基于下式确定所述组合线性模型的第一参数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二参数：B＝k×β2+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，并且k是所述缩放因子。
22.根据条项20所述的方法，其中，基于下式确定所述组合线性模型的第一参数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二参数：B＝(m×β2+p)/m+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，m和1/n是缩放因子，并且p是取整偏移量。
23.根据条项19至22中的任一项所述的方法，其中，确定所述第一色度分量的预测样本值还包括：
通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二参数相加来确定第一中间变量；
通过用所述缩放因子缩放第二色度分量的重建样本值来确定第二中间变量；
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
24.根据条项23所述的方法，还包括：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
25.根据条项23或24所述的方法，其中，通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的所述乘积与所述组合线性模型的第二参数相加来确定所述第一中间变量还包括：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二参数相加来确定的。
26.根据条项23至25中的任一项所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所述缩放因子，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
27.根据条项23至25中的任一项所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m和1/n是两个缩放因子，p是取整偏移量，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
28.根据条项20或21所述的方法，其中，所述缩放因子等于1、0.5或2。
29.根据条项18至28中的任一项所述的方法，其中，从所述视频位流解码所述索引还包括：
对第一级别中的第一索引和第二级别中的第二索引进行解码；以及
基于所述第一索引和所述第二索引从所述多个参数集确定所述参数集。
30.根据条项29所述的方法，其中，所述第一级别是图像级别，并且所述第二级别是编码单元(CU)级别。
31.根据条项29或30所述的方法，还包括：
基于所述第一索引从所述多个参数集确定所述多个参数集的子集；以及
基于所述第二索引从所述多个参数集的所述子集确定所述参数集。
32.根据条项18至31中的任一项所述的方法，还包括：
对于当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式(CTP)标志进行解码。
33.根据条项18至32中的任一项所述的方法，还包括：
从所述位流解码标志，其中，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式(CTP)标志进行解码；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
对所述当前块的所述第一色度分量的所述CTP标志进行解码；以及
基于所述CTP标志确定所述当前块的所述第一色度分量的所述预测残差是否全为零，响应于所述CTP标志指示所述当前块的所述第一色度分量的所述预测残差全为零，
对于所述当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述当前块的所述第一色度分量的所述预测残差进行解码；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
对所述当前块的所述第一色度分量的所述预测残差进行解码；以及确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差。
34.根据条项18至33中的任一项所述的方法，还包括：
从所述位流解码标志，其中，所述标志指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；以及
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
35.一种用于执行视频数据处理的设备，所述设备包括：
存储器，所述存储器被配置为存储指令；以及
一个或更多个处理器，所述一个或更多个处理器被配置为执行所述指令以使所述设备执行：
从多个参数集中确定参数集，其中，所述参数集包括缩放因子；
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及
在位流中用信号发送与所述参数集相关联的索引。
36.根据条项35所述的设备，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所述缩放因子、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一参数和第二参数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
37.根据条项36所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
将所述组合线性模型的第一参数确定为所述第一线性模型的第一参数和所述第二线性模型的第一参数与所述缩放因子的线性组合；以及
将所述组合线性模型的第二参数确定为所述第一线性模型的第二参数和所述第二线性模型的第二参数与所述缩放因子的线性组合。
38.根据条项36所述的设备，其中，基于下式确定所述组合线性模型的第一参数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二参数：B＝k×β2+β1，其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，并且k是所述缩放因子。
39.根据条项36所述的设备，其中，基于下式确定所述组合线性模型的第一参数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二参数：B＝(m×β2+p)/m+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，m和1/n是两个缩放因子，并且p是取整偏移量。
40.根据条项36至39中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二参数相加来确定第一中间变量；
通过用所述缩放因子缩放第二色度分量的重建样本值来确定第二中间变量；以及
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
41.根据条项36所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
42.根据条项40或41所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二参数相加来确定的。
43.根据条项40至42中的任一项所述的设备，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所述缩放因子，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
44.根据条项40至42中的任一项所述的设备，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m和1/n是两个缩放因子，p是取整偏移量，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
45.根据条项37或38所述的设备，其中，所述缩放因子等于1、0.5或2。
46.根据条项35至45中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
用信号发送第一级别中的第一索引和第二级别中的第二索引，其中，所述参数集由所述第一索引和所述第二索引联合指示。
47.根据条项46所述的设备，其中，所述第一级别是图像级别，并且所述第二级别是编码单元(CU)级别。
48.根据条项46或47所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
通过所述第一索引从所述多个参数集中指示所述多个参数集的子集；以及
通过所述第二索引从所述多个参数集的所述子集中指示所述参数集。
49.根据条项35至48中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不用信号发送所述第一色度分量的预测残差和编码变换块模式(CTP)标志。
50.根据条项35至49中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
在所述位流中用信号发送标志，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不用信号发送所述第一色度分量的预测残差和编码变换块模式(CTP)标志；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
确定当前块的所述第一色度分量的所述预测残差是否全为零，
响应于所述当前块的所述第一色度分量的所述预测残差全为零，
确定所述第一色度分量的重建样本值等于所述当前块的所述第一色度分量的预测样本值；以及
用信号发送所述当前块的所述第一色度分量的、值等于第一值的编码变换块模式(CTP)标志，其中，所述CTP标志的所述第一值指示所述当前块的所述第一色度分量的所述预测残差全为零；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差；
用信号发送所述当前块的所述第一色度分量的、值等于第二值的编码变换块模式(CTP)标志，其中，所述CTP标志的所述第二值指示所述当前块的所述第一色度分量的所述预测残差不全为零；以及
用信号发送所述当前块的所述第一色度分量的所述预测残差。
51.根据条项35至50中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
用信号发送标志，以指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
52.一种用于执行视频数据处理的设备，所述设备包括：
存储器，所述存储器被配置为存储指令；以及
一个或更多个处理器，所述一个或更多个处理器被配置为执行所述指令以使所述设备执行：
从视频位流解码索引；
基于所述索引从多个参数集中确定参数集，其中，所述参数集包括缩放因子；以及基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值。
53.根据条项52所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
基于所述缩放因子、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一参数和第二参数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
54.根据条项53所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
将所述组合线性模型的第一参数确定为所述第一线性模型的第一参数和所述第二线性模型的第一参数与所述缩放因子的线性组合；以及
将所述组合线性模型的第二参数确定为所述第一线性模型的第二参数和所述第二线性模型的第二参数与所述缩放因子的线性组合。
55.根据条项54所述的设备，其中，基于下式确定所述组合线性模型的第一参数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二参数：B＝k×β2+β1，其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，并且k是所述缩放因子。
56.根据条项54所述的设备，其中，基于下式确定所述组合线性模型的第一参数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二参数：B＝(m×β2+p)/m+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，m和1/n是缩放因子，并且p是取整偏移量。
57.根据条项53至56中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二参数相加来确定第一中间变量；
通过用所述缩放因子缩放第二色度分量的重建样本值来确定第二中间变量；
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
58.根据条项57所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
59.根据条项57或58所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二参数相加来确定的。
60.根据条项57至59中的任一项所述的设备，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所述缩放因子，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
61.根据条项57至59中的任一项所述的设备，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m和1/n是两个缩放因子，p是取整偏移量，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
62.根据条项54或55所述的设备，其中，所述缩放因子等于1、0.5或2。
63.根据条项52至62中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对第一级别中的第一索引和第二级别中的第二索引进行解码；以及
基于所述第一索引和所述第二索引从所述多个参数集确定所述参数集。
64.根据条项63所述的设备，其中，所述第一级别是图像级别，并且所述第二级别是编码单元(CU)级别。
65.根据条项63或64所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
基于所述第一索引从所述多个参数集确定所述多个参数集的子集；以及
基于所述第二索引从所述多个参数集的所述子集确定所述参数集。
66.根据条项52至65中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对于当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式(CTP)标志进行解码。
67.根据条项52至66中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
从所述位流解码标志，其中，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式(CTP)标志进行解码；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
对所述当前块的所述第一色度分量的所述CTP标志进行解码；以及
基于所述CTP标志确定所述当前块的所述第一色度分量的所述预测残差是否全为零，响应于所述CTP标志指示所述当前块的所述第一色度分量的所述预测残差全为零，确定所述第一色度分量的重建样本值等于所述当前块的所述第一色度分量的预测样本值，而不对所述当前块的所述第一色度分量的所述预测残差进行解码；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
对所述当前块的所述第一色度分量的所述预测残差进行解码；以及
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差。
68.根据条项52至67中的任一项所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
从所述位流解码标志，其中，所述标志指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
69.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有指令集，所述指令集能够由设备的一个或更多个处理器执行以使所述设备启动用于执行视频数据处理的方法，所述方法包括：
从多个参数集中确定参数集，其中，所述参数集包括缩放因子；
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及
在位流中用信号发送与所述参数集相关联的索引。
70.根据条项69所述的非暂时性计算机可读介质，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所述缩放因子、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一参数和第二参数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
71.根据条项70所述的非暂时性计算机可读介质，其中，基于所述缩放因子、所述第一线性模型和所述第二线性模型确定所述组合线性模型包括：
将所述组合线性模型的第一参数确定为所述第一线性模型的第一参数和所述第二线性模型的第一参数与所述缩放因子的线性组合；以及
将所述组合线性模型的第二参数确定为所述第一线性模型的第二参数和所述第二线性模型的第二参数与所述缩放因子的线性组合。
72.根据条项71所述的非暂时性计算机可读介质，其中，基于下式确定所述组合线性模型的第一参数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二参数：B＝k×β2+β1，其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，并且k是所述缩放因子。
73.根据条项72所述的非暂时性计算机可读介质，其中，基于下式确定所述组合线性模型的第一参数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二参数：B＝(m×β2+p)/m+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，m和1/n是两个缩放因子，并且p是取整偏移量。
74.根据条项70至73中的任一项所述的非暂时性计算机可读介质，其中，确定所述第一色度分量的预测样本值还包括：
通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二参数相加来确定第一中间变量；
通过用所述缩放因子缩放第二色度分量的重建样本值来确定第二中间变量；以及
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
75.根据条项74所述的非暂时性计算机可读介质，所述方法还包括：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
76.根据条项74或75所述的非暂时性计算机可读介质，其中，通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的所述乘积与所述组合线性模型的第二参数相加来确定所述第一中间变量还包括：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二参数相加来确定的。
77.根据条项74至76中的任一项所述的非暂时性计算机可读介质，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所述缩放因子，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
78.根据条项74至76中的任一项所述的非暂时性计算机可读介质，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m和1/n是两个缩放因子，p是取整偏移量，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
79.根据条项71或72所述的非暂时性计算机可读介质，其中，所述缩放因子等于1、0.5或2。
80.根据条项69至79中的任一项所述的非暂时性计算机可读介质，其中，在所述位流中用信号发送与所述参数集相关联的所述索引还包括：
用信号发送第一级别中的第一索引和第二级别中的第二索引，其中，所述参数集由所述第一索引和所述第二索引联合指示。
81.根据条项80所述的非暂时性计算机可读介质，其中，所述第一级别是图像级别，并且所述第二级别是编码单元(CU)级别。
82.根据条项80或81所述的非暂时性计算机可读介质，其中，所述方法还包括：
通过所述第一索引从所述多个参数集中指示所述多个参数集的子集；以及
通过所述第二索引从所述多个参数集的所述子集中指示所述参数集。
83.根据条项69至82中的任一项所述的非暂时性计算机可读介质，其中，所述方法还包括：
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不用信号发送所述第一色度分量的预测残差和编码变换块模式(CTP)标志。
84.根据条项69至83中的任一项所述的非暂时性计算机可读介质，其中，所述方法还包括：
在所述位流中用信号发送标志，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不用信号发送所述第一色度分量的预测残差和编码变换块模式(CTP)标志；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
确定当前块的所述第一色度分量的所述预测残差是否全为零，
响应于所述当前块的所述第一色度分量的所述预测残差全为零，
确定所述第一色度分量的重建样本值等于所述当前块的所述第一色度分量的预测样本值；以及
用信号发送所述当前块的所述第一色度分量的、值等于第一值的编码变换块模式(CTP)标志，其中，所述CTP标志的所述第一值指示所述当前块的所述第一色度分量的所述预测残差全为零；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差；
用信号发送所述当前块的所述第一色度分量的、值等于第二值的编码变换块模式(CTP)标志，其中，所述CTP标志的所述第二值指示所述当前块的所述第一色度分量的所述预测残差不全为零；以及
用信号发送所述当前块的所述第一色度分量的所述预测残差。
85.根据条项69至84中的任一项所述的非暂时性计算机可读介质，其中，所述方法还包括：
用信号发送标志，以指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
86.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有指令集，所述指令集能够由设备的一个或更多个处理器执行以使所述设备启动用于执行视频数据处理的方法，所述方法包括：
从视频位流解码索引；
基于所述索引从多个参数集中确定参数集，其中，所述参数集包括缩放因子；以及
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值。
87.根据条项86所述的非暂时性计算机可读介质，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所述缩放因子、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一参数和第二参数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
88.根据条项87所述的非暂时性计算机可读介质，其中，基于所述缩放因子、所述第一线性模型和所述第二线性模型确定所述组合线性模型包括：
将所述组合线性模型的第一参数确定为所述第一线性模型的第一参数和所述第二线性模型的第一参数与所述缩放因子的线性组合；以及
将所述组合线性模型的第二参数确定为所述第一线性模型的第二参数和所述第二线性模型的第二参数与所述缩放因子的线性组合。
89.根据条项88所述的非暂时性计算机可读介质，其中，基于下式确定所述组合线性模型的第一参数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二参数：B＝k×β2+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，并且k是所述缩放因子。
90.根据条项88所述的非暂时性计算机可读介质，其中，基于下式确定所述组合线性模型的第一参数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二参数：B＝(m×β2+p)/m+β1；其中，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，α1、α2是所述第一线性模型的第一参数和所述第二线性模型的第一参数，β1、β2是所述第一线性模型的第二参数和所述第二线性模型的第二参数，m和1/n是缩放因子，并且p是取整偏移量。
91.根据条项87至90中的任一项所述的非暂时性计算机可读介质，其中，确定所述第一色度分量的预测样本值还包括：
通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二参数相加来确定第一中间变量；
通过用所述缩放因子缩放第二色度分量的重建样本值来确定第二中间变量；
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
92.根据条项91所述的非暂时性计算机可读介质，其中，所述方法还包括：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
93.根据条项91或92所述的非暂时性计算机可读介质，其中，通过将所述组合线性模型的第一参数与所述亮度分量的重建样本值相乘的所述乘积与所述组合线性模型的第二参数相加来确定所述第一中间变量还包括：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二参数相加来确定的。
94.根据条项91至93中的任一项所述的非暂时性计算机可读介质，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所述缩放因子，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
95.根据条项91至93中的任一项所述的非暂时性计算机可读介质，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一参数，B是所述组合线性模型的第二参数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m和1/n是两个缩放因子，p是取整偏移量，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
96.根据条项88或89所述的非暂时性计算机可读介质，其中，所述缩放因子等于1、0.5或2。
97.根据条项86至96中的任一项所述的非暂时性计算机可读介质，其中，从所述视频位流解码所述索引还包括：
对第一级别中的第一索引和第二级别中的第二索引进行解码；以及
基于所述第一索引和所述第二索引从所述多个参数集确定所述参数集。
98.根据条项97所述的非暂时性计算机可读介质，其中，所述第一级别是图像级别，并且所述第二级别是编码单元(CU)级别。
99.根据条项97或98所述的非暂时性计算机可读介质，其中，所述方法还包括：
基于所述第一索引从所述多个参数集确定所述多个参数集的子集；以及
基于所述第二索引从所述多个参数集的所述子集确定所述参数集。
100.根据条项86至99中的任一项所述的非暂时性计算机可读介质，其中，所述方法还包括：
对于当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式(CTP)标志进行解码。
101.根据条项86至100中的任一项所述的非暂时性计算机可读介质，其中，所述方法还包括：
从所述位流解码标志，其中，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式(CTP)标志进行解码；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
对所述当前块的所述第一色度分量的所述CTP标志进行解码；以及
基于所述CTP标志确定所述当前块的所述第一色度分量的所述预测残差是否全为零，响应于所述CTP标志指示所述当前块的所述第一色度分量的所述预测残差全为零，
对于所述当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述当前块的所述第一色度分量的所述预测残差进行解码；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
对所述当前块的所述第一色度分量的所述预测残差进行解码；以及确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差。
102.根据条项86至101中的任一项所述的非暂时性计算机可读介质，其中，所述方法还包括：
从所述位流解码标志，其中，所述标志指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；以及
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
在一些实施例中，还提供了一种包含指令的非暂时性计算机可读存储介质，并且指令可由装置(诸如所公开的编码器和解码器)执行，以用于执行上述方法。非暂时性介质的常见形式包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM、EPROM、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储芯片或盒式存储器以及它们的网络版本。装置可包括一个或更多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。
应当注意，本文中的诸如“第一”、“第二”这样的关系术语仅用于区分一个实体或操作与另一个实体或操作，并不要求或暗示这些实体或操作之间的任何实际的关系或顺序。此外，词语“包括”、“具有”和“包含”等词语以及其他类似形式旨在具有相同的含义并且是开放式的，因为这些词语中的任何一个之后的一个或更多个项都不是旨在详尽列出此类项，或仅限于列出的项。
如本文所使用的，除非另有明确说明，否则术语“或”涵盖所有可能的组合，除非不可行。例如，如果规定数据库可包括A或B，则除非另有明确规定或不可行，否则数据库可包括A、或B、或A和B。作为第二示例，如果规定数据库可包括A、B或C，则除非另有明确规定或不可行，否则数据库可包括A、或B、或C、或A和B、或A和C、或B和C、或A和B和C。
应当了解，上述实施例可通过硬件、软件(程序代码)或硬件与软件的组合实现。如果通过软件实现，则它可存储在上述计算机可读介质中。软件在由处理器执行时可执行所公开的方法。本公开中描述的计算单元和其他功能单元可通过硬件、或软件、或硬件和软件的结合来实现。本领域普通技术人员也将理解，上述模块/单元中的多个模块/单元可被组合为一个模块/单元，并且上述模块/单元中的每个模块/单元可被进一步划分为多个子模块/子单元。
在前述说明书中，实施例已经参考了许多具体细节进行了描述，这些细节可随实现方式而变化。可对所描述的实施例进行某些调整和修改。考虑到本文中公开的本发明的说明书和实践，其他实施例对于本领域技术人员来说是显而易见的。希望将说明书和实施例仅视为示例性的，本发明的真实范围和精神由所附的权利要求指示。图中所示的步骤的顺序也旨在仅用于说明目的，而不旨在限制于任何特定的步骤顺序。如此，本领域技术人员可理解，这些步骤可以不同的顺序执行，同时实现相同的方法。
在附图和说明书中，已经公开了示例性实施例。然而，可对这些实施例进行许多变化和修改。因此，尽管采用特定术语，但是它们仅在一般和描述性的意义上使用而非出于限制的目的。

Claims (37)

1.一种视频编码方法，包括：
从多个参数集中确定参数集；
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；以及
在位流中用信号发送与所述参数集相关联的索引；其中，所述第一色度分量的预测样本值根据组合线性模型计算得到，所述组合线性模型基于确定的参数集、第一线性模型和第二线性模型确定，所述组合线性模型的第一系数根据所述第一线性模型的第一系数、所述第二线性模型的第一系数以及所确定的参数集中的参数确定，所述组合线性模型的第二系数根据所述第一线性模型的第二系数、所述第二线性模型的第二系数以及所确定的参数集中的参数确定。
2.根据权利要求1所述的方法，其中，基于所述参数集确定所述第一色度分量的预测样本值包括：
基于所确定的参数集、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一系数和第二系数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
3.根据权利要求2所述的方法，其中，基于所确定的参数集、所述第一线性模型和所述第二线性模型确定所述组合线性模型包括：
将所述组合线性模型的第一系数确定为所述第一线性模型的第一系数和所述第二线性模型的第一系数与所确定的参数集的线性组合；以及
将所述组合线性模型的第二系数确定为所述第一线性模型的第二系数和所述第二线性模型的第二系数与所确定的参数集的线性组合。
4.根据权利要求3所述的方法，其中，基于下式确定所述组合线性模型的第一系数：A＝(m×α2+p)/n+α1；并且通过下式确定所述组合线性模型的第二系数：B＝(m×β2+p)/n+β1；其中，A是所述组合线性模型的第一系数，B是所述组合线性模型的第二系数，α1、α2是所述第一线性模型的第一系数和所述第二线性模型的第一系数，β1、β2是所述第一线性模型的第二系数和所述第二线性模型的第二系数，m、n和p是所述确定的参数集中的三个参数。
5.根据权利要求2所述的方法，其中，确定所述第一色度分量的预测样本值还包括：
通过将所述组合线性模型的第一系数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二系数相加来确定第一中间变量；
通过用所确定的参数集缩放第二色度分量的重建样本值来确定第二中间变量；以及
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
6.根据权利要求5所述的方法，还包括：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值被确定为所述第二中间变量与下采样后的第一中间变量的线性组合。
7.根据权利要求5所述的方法，其中，通过将所述组合线性模型的第一系数与所述亮度分量的重建样本值相乘的所述乘积与所述组合线性模型的第二系数相加来确定所述第一中间变量还包括：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二系数相加来确定的。
8.根据权利要求5所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一系数，B是所述组合线性模型的第二系数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m、n和p是所确定的参数集中的三个参数，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
9.根据权利要求4所述的方法，其中，所确定的参数集中m、n和p的数值满足：m＝1、n＝2且p＝1；或，m＝1、n＝1且p＝0；或，m＝2、n＝1且p＝0。
10.根据权利要求1所述的方法，其中，在所述位流中用信号发送与所述参数集相关联的所述索引还包括：
用信号发送第一级别中的第一索引和第二级别中的第二索引，其中，所述参数集由所述第一索引和所述第二索引联合指示。
11.根据权利要求10所述的方法，其中，所述第一级别是图像级别，并且所述第二级别是编码单元CU级别。
12.根据权利要求10所述的方法，还包括：
通过所述第一索引从所述多个参数集中指示所述多个参数集的子集；以及
通过所述第二索引从所述多个参数集的所述子集中指示所述参数集。
13.一种视频解码方法，包括：
从视频位流解码索引；
基于所述索引从多个参数集中确定参数集；以及
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；其中，所述第一色度分量的预测样本值根据组合线性模型计算得到，所述组合线性模型基于确定的参数集、第一线性模型和第二线性模型确定，所述组合线性模型的第一系数根据所述第一线性模型的第一系数、所述第二线性模型的第一系数以及所确定的参数集中的参数确定，所述组合线性模型的第二系数根据所述第一线性模型的第二系数、所述第二线性模型的第二系数以及所确定的参数集中的参数确定。
14.根据权利要求13所述的方法，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所确定的参数集、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一系数和第二系数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
15.根据权利要求14所述的方法，其中，基于所确定的参数集、所述第一线性模型和所述第二线性模型确定所述组合线性模型包括：
将所述组合线性模型的第一系数确定为所述第一线性模型的第一系数和所述第二线性模型的第一系数与所确定的参数集的线性组合；以及
将所述组合线性模型的第二系数确定为所述第一线性模型的第二系数和所述第二线性模型的第二系数与所确定的参数集的线性组合。
16.根据权利要求15所述的方法，其中，基于下式确定所述组合线性模型的第一系数：A＝k×α2+α1；并且基于下式确定所述组合线性模型的第二系数：B＝k×β2+β1；其中，A是所述组合线性模型的第一系数，B是所述组合线性模型的第二系数，α1、α2是所述第一线性模型的第一系数和所述第二线性模型的第一系数，β1、β2是所述第一线性模型的第二系数和所述第二线性模型的第二系数，并且k是所确定的参数集中的参数。
17.根据权利要求15所述的方法，其中，基于下式确定所述组合线性模型的第一系数：A＝(m×α2+p)/n+α1；并且基于下式确定所述组合线性模型的第二系数：B＝(m×β2+p)/n+β1；其中，A是所述组合线性模型的第一系数，B是所述组合线性模型的第二系数，α1、α2是所述第一线性模型的第一系数和所述第二线性模型的第一系数，β1、β2是所述第一线性模型的第二系数和所述第二线性模型的第二系数，m、n和p是所述确定的参数集中的三个参数。
18.根据权利要求14所述的方法，其中，确定所述第一色度分量的预测样本值还包括：
通过将所述组合线性模型的第一系数与所述亮度分量的重建样本值相乘的乘积与所述组合线性模型的第二系数相加来确定第一中间变量；
通过用所确定的参数集缩放第二色度分量的重建样本值来确定第二中间变量；以及
将所述第一色度分量的预测样本值确定为所述第一中间变量与所述第二中间变量的线性组合。
19.根据权利要求18所述的方法，还包括：
对所述第一中间变量执行下采样；并且所述第一色度分量的预测样本值是通过所述第二中间变量与下采样后的第一中间变量的线性组合来确定的。
20.根据权利要求18所述的方法，其中，通过将所述组合线性模型的第一系数与所述亮度分量的重建样本值相乘的所述乘积与所述组合线性模型的第二系数相加来确定所述第一中间变量还包括：
对所述乘积执行位右移处理；并且所述第一中间变量是通过将所执行的位右移处理的结果与所述组合线性模型的第二系数相加来确定的。
21.根据权利要求18所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–k×rec_Cb'；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一系数，B是所述组合线性模型的第二系数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，k是所确定的参数集中的参数，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
22.根据权利要求18所述的方法，其中，基于下式确定所述第一色度分量的预测样本值：
pred_Cr'＝fdownsample((A×rec_L'>>i)+B)–(m×rec_Cb'+p)/n；其中，pred_Cr'是所述第一色度分量的预测样本值，A是所述组合线性模型的第一系数，B是所述组合线性模型的第二系数，rec_L'是所述亮度分量的重建样本值，rec_Cb'是所述第二色度分量的重建样本值，m、n和p是所确定的参数集中的三个参数，i是指示位右移数的非负整数值，并且fdownsample()表示执行下采样处理。
23.根据权利要求17所述的方法，其中，所确定的参数集中m、n和p的数值满足：m＝1、n＝2且p＝1；或，m＝1、n＝1且p＝0；或，m＝2、n＝1且p＝0。
24.根据权利要求13所述的方法，其中，从所述视频位流解码所述索引还包括：
对第一级别中的第一索引和第二级别中的第二索引进行解码；以及
基于所述第一索引和所述第二索引从所述多个参数集确定所述参数集。
25.根据权利要求24所述的方法，其中，所述第一级别是图像级别，并且所述第二级别是编码单元CU级别。
26.根据权利要求24所述的方法，还包括：
基于所述第一索引从所述多个参数集确定所述多个参数集的子集；以及
基于所述第二索引从所述多个参数集的所述子集确定所述参数集。
27.根据权利要求13所述的方法，还包括：
对于当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式CTP标志进行解码。
28.根据权利要求13所述的方法，还包括：
从所述位流解码标志，其中，所述标志指示所述第一色度分量的重建样本值是否等于所述第一色度分量的预测样本值；
响应于所述标志指示所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式CTP标志进行解码；以及
响应于所述标志指示所述第一色度分量的重建样本值不等于所述第一色度分量的预测样本值，
对当前块的所述第一色度分量的所述CTP标志进行解码；以及
基于所述CTP标志确定所述当前块的所述第一色度分量的所述预测残差是否全为零，响应于所述CTP标志指示所述当前块的所述第一色度分量的所述预测残差全为零，
确定所述第一色度分量的重建样本值等于所述当前块的所述第一色度分量的预测样本值，而不对所述当前块的所述第一色度分量的所述预测残差进行解码；
响应于所述当前块的所述第一色度分量的所述预测残差不全为零，
对所述当前块的所述第一色度分量的所述预测残差进行解码；以及
确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值加上所述当前块的所述第一色度分量的重建残差。
29.根据权利要求13所述的方法，还包括：
从所述位流解码标志，其中，所述标志指示是基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，还是基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值；
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第二色度分量的重建样本值确定所述第一色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第二色度分量的重建样本值；以及
接着确定所述第一色度分量的预测样本值；以及
响应于所述标志指示基于所述参数集、所述亮度分量的重建样本值和所述第一色度分量的重建样本值确定所述第二色度分量的预测样本值，
首先确定所述亮度分量的重建样本值和所述第一色度分量的重建样本值；以及
接着确定所述第二色度分量的预测样本值。
30.一种用于执行视频数据处理的设备，所述设备包括：
存储器，所述存储器被配置为存储指令；以及
一个或更多个处理器，所述一个或更多个处理器被配置为执行所述指令以使所述设备执行：
从视频位流解码索引；
基于所述索引从多个参数集中确定参数集；以及
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；其中，所述第一色度分量的预测样本值根据组合线性模型计算得到，所述组合线性模型基于确定的参数集、第一线性模型和第二线性模型确定，所述组合线性模型的第一系数根据所述第一线性模型的第一系数、所述第二线性模型的第一系数以及所确定的参数集中的参数确定，所述组合线性模型的第二系数根据所述第一线性模型的第二系数、所述第二线性模型的第二系数以及所确定的参数集中的参数确定。
31.根据权利要求30所述的设备，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所确定的参数集、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一系数和第二系数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
32.根据权利要求30所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对第一级别中的第一索引和第二级别中的第二索引进行解码；以及
基于所述第一索引和所述第二索引从所述多个参数集确定所述参数集。
33.根据权利要求30所述的设备，其中，所述一个或更多个处理器还被配置为执行所述指令以使所述设备执行：
对于当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式CTP标志进行解码。
34.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有指令集，所述指令集能够由设备的一个或更多个处理器执行以使所述设备启动用于执行视频数据处理的方法，所述方法包括：
从视频位流解码索引；
基于所述索引从多个参数集中确定参数集；以及
基于所述参数集、亮度分量的重建样本值和第二色度分量的重建样本值确定第一色度分量的预测样本值；其中，所述第一色度分量的预测样本值根据组合线性模型计算得到，所述组合线性模型基于确定的参数集、第一线性模型和第二线性模型确定，所述组合线性模型的第一系数根据所述第一线性模型的第一系数、所述第二线性模型的第一系数以及所确定的参数集中的参数确定，所述组合线性模型的第二系数根据所述第一线性模型的第二系数、所述第二线性模型的第二系数以及所确定的参数集中的参数确定。
35.根据权利要求34所述的非暂时性计算机可读介质，其中，基于所述参数集确定所述第一色度分量的预测样本值还包括：
基于所确定的参数集、第一线性模型和第二线性模型确定组合线性模型，其中，所述第一线性模型、所述第二线性模型和所述组合线性模型分别包括第一系数和第二系数；以及
基于所述组合线性模型确定所述第一色度分量的预测样本值。
36.根据权利要求34所述的非暂时性计算机可读介质，其中，从所述视频位流解码所述索引还包括：
对第一级别中的第一索引和第二级别中的第二索引进行解码；以及
基于所述第一索引和所述第二索引从所述多个参数集确定所述参数集。
37.根据权利要求34所述的非暂时性计算机可读介质，其中，所述指令集能够由设备的一个或更多个处理器执行以使所述设备还执行：
对于当前块，确定所述第一色度分量的重建样本值等于所述第一色度分量的预测样本值，而不对所述第一色度分量的预测残差和编码变换块模式CTP标志进行解码。
CN202311716387.6A 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备 Pending CN117528074A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063057956P 2020-07-29 2020-07-29
US63/057,956 2020-07-29
US17/387,242 2021-07-28
US17/387,242 US11638019B2 (en) 2020-07-29 2021-07-28 Methods and systems for prediction from multiple cross-components
PCT/CN2021/109408 WO2022022655A1 (en) 2020-07-29 2021-07-29 Methods and systems for prediction from multiple cross-components
CN202180040624.4A CN115836525B (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202180040624.4A Division CN115836525B (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备

Publications (1)

Publication Number Publication Date
CN117528074A true CN117528074A (zh) 2024-02-06

Family

ID=80004682

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202311716387.6A Pending CN117528074A (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备
CN202180040624.4A Active CN115836525B (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备
CN202311716762.7A Pending CN117692633A (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202180040624.4A Active CN115836525B (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备
CN202311716762.7A Pending CN117692633A (zh) 2020-07-29 2021-07-29 用于从多个交叉分量进行预测的视频编码、解码方法和设备

Country Status (4)

Country Link
US (1) US11638019B2 (zh)
EP (1) EP4189959A4 (zh)
CN (3) CN117528074A (zh)
WO (1) WO2022022655A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11638019B2 (en) * 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
WO2024008993A1 (en) * 2022-07-05 2024-01-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805442B2 (en) 2012-10-03 2017-10-31 Avago Technologies General Ip (Singapore) Pte. Ltd. Fine-grained bit-rate control
CN106134201B (zh) * 2014-05-23 2019-10-25 华为技术有限公司 在块预测技术中使用的预处理预测滤波的方法和装置
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
JP6822123B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822122B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822121B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CA3059870A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
WO2020108591A1 (en) * 2018-12-01 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN113366836A (zh) * 2019-01-11 2021-09-07 北京字节跳动网络技术有限公司 尺寸相关的跨分量线性模型
WO2020192614A1 (en) * 2019-03-23 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Restrictions on adaptive-loop filtering parameter sets
US11259016B2 (en) * 2019-06-30 2022-02-22 Tencent America LLC Method and apparatus for video coding
WO2021247883A1 (en) * 2020-06-03 2021-12-09 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component correlation
US11638019B2 (en) 2020-07-29 2023-04-25 Alibaba Group Holding Limited Methods and systems for prediction from multiple cross-components
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter

Also Published As

Publication number Publication date
US20220038722A1 (en) 2022-02-03
WO2022022655A1 (en) 2022-02-03
CN115836525B (zh) 2023-12-22
EP4189959A1 (en) 2023-06-07
EP4189959A4 (en) 2024-04-10
CN117692633A (zh) 2024-03-12
CN115836525A (zh) 2023-03-21
US11638019B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US11838541B2 (en) Matrix weighted intra prediction of video signals
CN114902670B (zh) 用信号通知子图像划分信息的方法和装置
CN115836525B (zh) 用于从多个交叉分量进行预测的视频编码、解码方法和设备
CN117897952A (zh) 用于执行组合帧间和帧内预测的方法和系统
CN114731440A (zh) 视频数据的无损编码
CN116746145A (zh) 用于几何划分模式运动矢量细化的方法、装置和非暂时性计算机可读存储介质
CN115152236A (zh) 处理色度信号的方法
CN115398897B (zh) 用于导出时间运动信息的方法和装置
US20220060702A1 (en) Systems and methods for intra prediction smoothing filter
CN116918333A (zh) 用于跨分量样值偏移补偿的方法、装置和非暂时性计算机可读介质
CN116418983B (zh) 用于在调色板模式下对视频数据进行编码的方法和装置
CN117296312A (zh) 用于交叉分量样本自适应偏移的方法和系统
CN118511507A (zh) 视频预测模式的加权
CN116114246B (zh) 帧内预测平滑滤波器系统及方法
CN115699744B (zh) 双向预测校正系统和方法
CN118044184A (zh) 用于执行组合帧间预测和帧内预测的方法和系统
CN116601960A (zh) 使用自适应环路滤波器的方法及其系统
CN115552900A (zh) 用信号通知最大变换大小和残差编码的方法
CN116438567A (zh) 用于视频编码的基于神经网络的环内滤波
WO2023236965A1 (en) Cross component prediction of chroma samples
US20210385491A1 (en) Method for processing adaptive color transform and low-frequency non-separable transform in video coding
CN117941351A (zh) 跨分量自适应环路滤波器的方法和系统
JP2024523435A (ja) クロスコンポーネント適応ループフィルタのための方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination