CN116405698A - 用于色度采样的方法和装置 - Google Patents

用于色度采样的方法和装置 Download PDF

Info

Publication number
CN116405698A
CN116405698A CN202310148028.9A CN202310148028A CN116405698A CN 116405698 A CN116405698 A CN 116405698A CN 202310148028 A CN202310148028 A CN 202310148028A CN 116405698 A CN116405698 A CN 116405698A
Authority
CN
China
Prior art keywords
sub
sequence
flag
chroma
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310148028.9A
Other languages
English (en)
Other versions
CN116405698B (zh
Inventor
廖如伶
陈杰
叶琰
罗健聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202310148028.9A priority Critical patent/CN116405698B/zh
Publication of CN116405698A publication Critical patent/CN116405698A/zh
Application granted granted Critical
Publication of CN116405698B publication Critical patent/CN116405698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种用于处理色度采样图像的方法和装置。一种示例性视频处理方法，包括:确定色度分量是否包括在帧序列中；以及响应于确定所述色度分量包括在所述序列中，激活用于处理所述序列的子过程，其中，所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式或自适应颜色变换(ACT)中的一个或多个。

Description

用于色度采样的方法和装置
相关申请的交叉引用
本公开要求申请号为62/944,345、于2019年12月5日提交的美国临时申请的优先权，其全文通过引用并入本文。
技术领域
本公开总体上涉及视频处理，并且更具体地，涉及用于处理色度采样图像的方法和装置。
背景技术
视频是采集视觉信息的一组静态图像(或“帧”)。为了减少存储内存和传输带宽，可以在存储或传输之前对视频进行压缩，然后在显示之前对视频进行解压缩。压缩过程通常称为编码，解压缩过程通常称为解码。有多种使用标准视频编码技术的视频编码格式，最常见的是基于预测、变换、量化、熵编码和环路滤波。视频编码标准，例如高效视频编码(HEVC/H.265)标准、通用视频编码(VVC/H.266)标准AVS标准，指定了特定的视频编码格式，由标准化组织开发。随着视频标准中越来越多的采用先进的视频编码技术，新的视频编码标准的编码效率越来越高。
发明内容
在一些实施例中，示例性视频处理方法包括:确定色度分量是否包括在帧序列中；以及响应于确定所述色度分量包括在所述序列中，激活用于处理所述序列的子过程，其中所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式、或自适应颜色变换(ACT)中的一个或多个。
在一些实施例中，示例性视频处理装置包括用于存储指令集至少一个存储器和至少一个处理器。所述至少一个处理器被配置为执行所述指令以使所述装置执行:确定色度分量是否包括在帧序列中；以及响应于确定所述色度分量包括在所述序列中，激活用于处理所述序列的子过程，其中，所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式或自适应颜色变换(ACT)中的一个或多个。
在一些实施例中，示例性非暂时性计算机可读存储介质存储指令集。所述指令集可由一个或多个处理设备执行以使视频处理设备执行:确定色度分量是否包括在帧序列中；以及响应于确定所述色度分量包括在所述序列中，激活用于处理所述序列的子过程；其中，所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式或自适应颜色变换(ACT)中的一个或多个。
附图说明
在下面的详细描述和附图中示出了本公开的实施例和各个方面。图中所示的各种特征没有按比例绘制。
图1是根据本公开的一些实施例的示例性视频序列的示意图。
图2示出了根据本公开的一些实施例的混合视频编码系统中的示例性编码器的示意图。
图3示出了根据本公开的一些实施例的混合视频编码系统中的示例性解码器的示意图。
图4示出了根据本公开的一些实施例的用于对视频进行编码或解码的示例性装置的框图。
图5示出了根据本公开的一些实施例的示出了多功能视频编码(VVC)中的示例性色度格式的示例性表1。
图6示出了根据本公开的一些实施例的与色度格式相关的语法的示例性表2。
图7示出了根据本公开的一些实施例的示出示例性色度残差的重建的示例性表3。
图8示出了根据本公开的一些实施例的示例性表4，其示出了针对色度残差(JCCR)模式相关语法的示例性联合编码。
图9示出了根据本公开的一些实施例的的示例性表5，其示出了示例性块差分脉冲编码调制(BDPCM)相关语法。
图10示出了根据本公开的一些实施例的以调色板模式编码的示例性块的示意图。
图11示出了根据本公开的一些实施例的示例性表格6，其示出了示例性调色板模式相关语法。
图12示出了根据本公开的一些实施例的自适应颜色变换(ACT)的示例性解码过程的示意图。
图13示出了根据本公开的一些实施例的示例性表格7，其示出了示例性调色板模式相关语法。
图14示出了根据本公开的一些实施例的示例性表8，其示出了用于用信号通知是否启用编码工具的示例性语法。
图15示出了根据本公开的一些实施例的示例性表9，其示出了用于是否启用编码工具的用信号通知的示例性语法。
图16示出了根据本公开的一些实施例的示例性表10，其示出了用于用信号通知是否启用编码工具的示例性语法。
图17示出了根据本公开的一些实施例的示例性表11，其示出了用于用信号通知是否启用编码工具的示例性语法。
图18示出了根据本公开的一些实施例的示例性视频处理方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。以下描述参照附图，除非另有表示，其中不同附图中的相同数字表示相同或相似的元件。在示例性实施例的以下描述中阐述的实施方式并不代表与本公开一致的所有实施方式。相反，它们仅是与如所附权利要求中所述的与本公开相关的方面一致的装置和方法的示例。下面更详细地描述本公开的特定方面。如果与通过引用并入的术语和/或定义相冲突的话，以本文提供的术语和定义为准。
ITU-T视频编码专家组(ITU-T VCEG)和ISO/IEC运动图像专家组(ISO/IEC MPEG)的联合视频专家小组(JVET)目前正在开发通用视频编码(VVC/H.266)标准。VVC标准旨在将其前身高效视频编码(HEVC/H.265)标准的压缩效率提高一倍。换句话说，VVC的目标是使用一半的带宽实现与HEVC/H.265相同的主观质量。
为了使用一半带宽实现与HEVC/H.265相同的主观质量，JVET一直在使用联合探索模型(JEM)参考软件开发HEVC以外的技术。随着编码技术被纳入JEM，JEM实现了比HEVC更高的编码性能。VCEG和MPEG已正式开始开发HEVC以外的下一代视频压缩标准。
VVC标准是最近开发的，并且继续包括提供更好的压缩性能的更多编码技术。VVC基于与诸如HEVC，H.264/AVC，MPEG2，H.263等现代视频压缩标准中一直使用的混合视频编码系统。
视频是按时间序列排列以存储视觉信息的一组静态图像(或“帧”)。可以使用视频采集设备(例如，相机)以时间顺序采集和存储这些图像，并且可以使用视频回放设备(例如，电视，计算机，智能手机，平板计算机，视频播放器，或任何具有显示功能的最终用户终端)显示时间序列中的此类图像。此外，在一些应用中，视频采集设备可以实时地将采集的视频发送到视频回放设备(例如，具有监视器的计算机)，例如用于监视、会议或现场广播。
为了减少此类应用所需的存储空间和传输带宽，可以在存储和传输之前对视频进行压缩，在显示之前进行解压缩。可以通过由处理器(例如，通用计算机的处理器)或专用硬件执行的软件来实现压缩和解压缩。用于压缩的模块通常被称为“编码器”，并且用于解压缩的模块通常被称为“解码器”。编码器和解码器可以统称为“编解码器”。编码器和解码器可以实现为各种合适的硬件、软件、或其组合中的任何一种。例如，编码器和解码器的硬件实现可以包括电路，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑或其任何组合。编码器和解码器的软件实现可以包括固定在计算机可读介质中的程序代码、计算机可执行指令、固件或任何合适的计算机实现的算法或过程。视频压缩和解压缩可以通过各种算法或标准来实现，例如MPEG-1、MPEG-2、MPEG-4、H.26x系列等。在一些应用中，编解码器可以从第一编码标准解压缩视频，并且使用第二编码标准对解压缩的视频重新压缩，在这种情况下，编解码器可以被称为“转码器”。
视频编码过程可以识别并保持可用于重建图像的有用信息，并且忽略不重要的用于重建的信息。如果忽略的不重要的信息不能被完全重建，则这样的编码过程可以被称为“有损”。否则，它可以被称为“无损”。大多数编码过程都是有损的，这是为了减少所需的存储空间和传输带宽的权衡。
被编码的图像(称为“当前图像”)的有用信息包括相对于参考图像(例如，先前编码和重建的图像)的变化。这样的变化可以包括像素的位置变化、亮度变化或颜色变化，其中位置变化最受关注。代表对象的一组像素的位置变化可以反映对象在参考图像和当前图像之间的运动。
在不参考另一图像的情况下编码的图像(即，它是自己的参考图像)被称为“I-图像”。使用先前图像作为参考图像编码的图像被称为“P-图像”。使用先前图像和将来图像作为参考图像编码的图像(即，参考是“双向”的)被称为“B-图像”。
图1示出了根据本公开的一些实施例的示例视频序列100的结构。视频序列100可以是实况视频或已被采集和存档的视频。视频100可以是现实生活视频、计算机生成的视频(例如，计算机游戏视频)或其组合(例如，具有增强现实效果的现实生活视频)。视频序列100可以从视频采集设备(例如，相机)、包含先前采集的视频档案(例如，存储在存储设备中的视频文件)或用于视频内容提供商接收视频的视频提供接口(例如，视频广播收发器)输入。
如图1所示，视频序列100可以包括沿时间轴在时间上布置的一系列图像，包括图像102、104、106和108。图像102-106是连续的，图像106和108之间有更多的图像。在图1中，图像102是I-图像，其参考图像是图像1 02本身。图像104是P-图像，其参考图像是图像102，如箭头所示。图像106是B图像，其参考图像是图像104和108，如箭头所示。在一些实施例中，图像的参考图像(例如，图像104)可以不紧接在图像之前或之后。例如，图像104的参考图像可以是图像102之前的图像。需要说明的是，图像102-106的参考图像仅是示例，本公开并不限定参考图像的为图1所示的实施例。
通常，由于编解码任务的计算复杂性，视频编解码器不会一次对整个图像进行编码或解码。相反，他们可以将图像分割成基本段，并逐段对图像进行编码或解码。在本公开中，这样的基本段被称为基本处理单元(“BPU”)。例如，图1中的结构110示出了视频序列100的图像(例如，图像102-108中的任何图像)的示例结构。在结构110中，图像被划分为4x4基本处理单元，其边界以虚线示出。在一些实施例中，基本处理单元在一些视频编码标准(例如，MPEG家族、H.261、H.263或H.264/AVC)中可以被称为“宏块”，或者在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中作为“编码树单元”(“CTU”)。基本处理单元在图像中可以具有可变的大小，例如128x128、64x64、32x32、16x16、4x8、16x32或任意形状和大小的像素。可以基于编码效率和要保持在基本处理单元中的细节水平的平衡来为图像选择基本处理单元的尺寸和形状。
基本处理单元可以是逻辑单元，其可以包括存储在计算机存储器中(例如，在视频帧缓冲区中)的一组不同类型的视频数据。例如，彩色图像的基本处理单元可以包括表示无色差亮度信息的亮度分量(Y)、一个或多个表示颜色信息的色度分量(例如，Cb和Cr)，以及相关联的语法元素，其中亮度和色度分量可以具有基本处理单元的相同大小。在一些视频编码标准(例如，H.265/HEVC或H.266/VVC)中，亮度和色度分量可以被称为“编码树块”(“CTB”)。对基本处理单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。
视频编码具有多个操作阶段，其示例在图2和图3中示出。对于每个阶段，基本处理单元的大小在处理中仍然可能太大，因此可以进一步划分为在本公开中称为“基本处理子单元”的段。在一些实施例中，基本处理子单元可以在一些视频编码标准(例如，MPEG家族、H.261、H.263或H.264/AVC)中被称为“块”，或者在一些其他视频编码标准(例如，H.265/HEVC或H.266/VVC)中的“编码单元”(“CU”)。基本处理子单元可以具有与基本处理单元相同的大小或比基本处理单元更小的大小。与基本处理单元类似，基本处理子单元也是逻辑单元，其可以包括存储在计算机存储器(例如，在视频帧缓冲区中)中的一组不同类型的视频数据(例如，Y、Cb、Cr和相关联的语法元素)。对基本处理子单元执行的任何操作都可以对其亮度和色度分量中的每一个重复执行。应该注意的是，可以根据处理需要在进一步的级别执行这种划分。还应注意，不同阶段可以使用不同的方案来划分基本处理单元。
例如，在模式决策阶段(其示例在图2中示出)。编码器可以决定对于基本处理单元使用什么预测模式(例如，帧内预测或帧间预测)，该基本处理单元可能太大而无法做出这样的决定。编码器可以将基本处理单元分割成多个基本处理子单元(例如，如H.265/HEVC或H.266/VVC中的CU)，并且决定每个单独的基本处理子单元的预测类型。
另一个示例，在预测阶段(其示例在图2中示出)，编码器可以在基本处理子单元(例如，CU)的级别执行预测操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元分成更小的段(例如，在H.265/HEVC或H.266/VVC中称为“预测块”或“PB”)，在该级别上可以执行预测操作。
另一个示例，在变换阶段(其示例在图2中示出)，编码器可以对残差基本处理子单元(例如，CU)执行变换操作。但是，在某些情况下，基本处理子单元仍然可能太大而无法处理。编码器可以进一步将基本处理子单元分成更小的段(例如，在H.265/HEVC或H.266/VVC中称为“变换块”或“TB”)，在该级别上可以执行变换操作。需要说明的是，同一基本处理子单元的划分方案在预测阶段和变换阶段可以不同。例如，在H.265/HEVC或H.266/VVC中，相同CU的预测块和变换块可以具有不同的大小和数量。
在图1的结构110中。基本处理单元1 1 2进一步划分为3x3个基本处理子单元，其边界以虚线示出。同一图像的不同基本处理单元可以在不同的方案中划分为基本处理子单元。
在一些实施方式中，为了向视频编码和解码提供并行处理和容错能力，可以将图像划分为用于处理的区域，使得对于图像的一区域，编码或解码过程可以不依赖于来自图像的任何其他区域的信息。换句话说，可以独立处理图像的每个区域。通过这样做，编解码器可以并行处理图像的不同区域，从而提高了编码效率。此外，当一区域的数据在处理中被损坏或在网络传输中丢失时，编解码器可以正确地编码或解码相同图像的其他区域而不依赖于被损坏或丢失的数据，从而容错能力。在某些视频编码标准中，可以将图像划分为不同类型的区域。例如，H.265/HEVC和H.266/VVC提供两种类型的区域:“条带(slice)”和“块片(tile)”。还应注意的是，视频序列100的不同图像可以具有用于将图像划分为区域的不同划分方案。
例如，在图1中，结构110被划分为三个区域114、116和118，其边界在结构1 1 0内被示为实线。区域114包括四个基本处理单元。每个区域116和118包括六个基本处理单元。应当注意，图1中的基本处理单元、基本处理子单元和结构区域110仅是示例，本公开并不限定其实施例。
图2示出了根据本公开的一些实施例的混合视频编码系统中的示例性编码器200的示意图。视频编码器200可以执行视频帧内的块(包括视频块)或视频块的分区或子分区的帧内或帧间编码。帧内编码可以依靠空间预测来减少或消除给定视频中视频帧内的空间冗余。帧间编码可以依靠时间预测来减少或消除视频中视频序列的相邻帧内的的时间冗余。帧内模式可以指许多基于空间的压缩模式。帧间模式(例如单向预测或双向预测)可以指许多基于时间的压缩模式。
如图2所示，可以逐块处理输入视频信号202。例如，视频块单元可以是16x16像素块(例如，宏块(MB))。取决于所使用的编码技术以及所需的精度和效率，视频块单元的大小可能会有所不同。在HEVC中，扩展块大小(例如，编码树单元(CTU))可用于压缩分辨率的视频信号，例如，1080p及以上。在HEVC中，CTU可以包括多达64x64亮度样本、对应色度样本以及相关的语法元素。在VVC中，CTU的大小可以进一步增加以包括128x128亮度样本、对应的色度样本和相关的语法元素。可以使用例如四叉树、二叉树或三元树将CTU进一步划分为编码单元(CU)。可以进一步将CU划分为预测单元(PU)，对于该预测单元，可以应用单独的预测方法。每个输入视频块可以通过使用空间预测单元260或时间预测单元262来处理。
空间预测单元260使用关于包含当前块的相同图像/条带的信息对当前块/CU执行空间预测(例如，帧内预测)。空间预测可以使用来自相同视频图像帧/条带中的已经编码的相邻块的像素来预测当前视频块。空间预测可以减少视频信号中固有的空间冗余。
时间预测单元262使用来自与包含当前块的图像/条带不同的图像/条带的信息对当前块执行时间预测(例如，帧间预测)。可以通过一个或多个运动矢量用信号通知视频块的时间预测。在单向方向时间预测中，仅使用指示一个参考图像的一个运动矢量来生成当前块的预测信号。另一方面，在双向时间预测中，可以使用两个运动矢量(每个运动矢量指示相应的参考图像)来生成用于当前块的预测信号。运动矢量可以指示当前块与参考帧中的一个或多个相关联的块之间的运动的量和方向。如果支持多个参考图像，则可以为视频块发送一个或多个参考图像索引。该一个或多个参考索引可以用于识别时间预测信号可以来自存储或解码图像缓冲区(DPB)264中的哪个或哪些参考图像。
编码器中的模式决策和编码器控制单元280可以例如基于速率失真优化来选择预测模式。基于所确定的预测模式，可以获得预测块。可以在加法器216从当前视频块减去预测块。预测残差可以由变换单元204变换并且由量化单元206量化。可在逆量化单元210处对经量化的残差系数进行逆量化，并在逆变换单元212处进行逆变换以形成经重建的残差。可在加法器226处将重建的残差添加到预测块以形成重建视频块。可以在环路滤波之前使用重建的视频块来提供用于帧内预测的参考样本。
重建的视频块可以在环路滤波器266处经过环路滤波。例如，可以应用诸如去块滤波器、样本自适应补偿(SAO)和自适应环路滤波器(ALF)的环路滤波器。环路滤波后的重建块可以存储在参考图像存储264中，并且可以用于提供帧间预测参考样本以用于编码其他视频块。为了形成输出视频位流220，在数据被压缩和打包以形成位流220之前，可以将编码模式(例如，帧间或帧内)、预测模式信息、运动信息和量化残差系数发送到熵编码单元208以进一步降低比特率。
图3示出了根据本公开的一些实施例的混合视频编码系统中的示例性解码器300的示意图。如图3所示，视频位流302可以在熵解码单元308处被解包或熵解码。编码模式信息可用于确定要选择空间预测单元360还是时间预测单元362。可以将预测模式信息发送到相应的预测单元以生成预测块。例如，可以由时间预测单元362应用运动补偿预测以形成时间预测块。
可以将残差系数发送到逆量化单元310和逆变换单元312以获得重建残差。可以在326处将预测块和重建残差相加，以在环路滤波之前形成重建块。然后，重建块可以在环路滤波器366处经过环路滤波。例如，可以应用诸如去块滤波器、SAO和ALF的环路滤波。然后可以将环路滤波后的重建块存储在参考图像存储364中。参考图像存储364中的重建数据可用于获得解码视频320，或用于预测未来视频块。解码的视频320可以显示在显示设备(诸如TV、PC、智能手机或平板电脑)上，以供终端用户观看。
图4是根据本公开的一些实施例的用于对视频进行编码或解码的示例性装置400的框图。如图4所示，装置400可以包括处理器402。当处理器402执行本文所述的指令(集)时，装置400可以成为用于视频编码或解码的专用机器。处理器402可以是能够操纵或处理信息的任何类型的电路。例如，处理器402可以包括任何数量的中央处理单元(或“CPU”)、图形处理单元(或“GPU”)、神经处理单元(“NPU”)、微控制器单元(“MCU”)、光学处理器、可编程逻辑控制器、微处理器、数字信号处理器、知识产权(IP)核心、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)、通用阵列逻辑(GAL)、复杂可编程逻辑器件(CPLD)、现场可编程门阵列(FPGA)、片上系统(SoC)、专用集成电路(ASIC)等中的任何组合。在一些实施例中，处理器402还可以是被分组为单个逻辑组件的一组处理器。例如，如图4所示，处理器402可以包括多个处理器，包括处理器402a、处理器402b和处理器402n。
装置400还可以包括被配置为存储数据(例如，一组指令、计算机代码、中间数据等)的存储器404。例如，如图4所示，所存储的数据可以包括程序指令(例如，用于实现图2或图3中的阶段的程序指令)和用于处理的数据。处理器402可以访问用于处理的程序指令和数据(例如，经由总线410)，并且执行程序指令以对用于处理的数据执行操作或操纵。存储器404可以包括高速随机存取存储设备或非易失性存储设备。在一些实施例中，存储器404可以包括任意数量的随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁盘、硬盘驱动器、固态驱动器、闪存驱动器、安全数字(SD)卡、记忆棒、紧凑型闪存(CF)卡等的任意组合。存储器404也可以是被分组为单个逻辑组件的一组存储器(图4中未示出)。
总线410可以是在装置400内部的组件之间传输数据的通信设备，诸如内部总线(例如，CPU-内存总线)、外部总线(例如，通用串行总线端口、外围组件互连快速端口)，或者类似物。
为了便于解释而不引起歧义，在本公开中，处理器402和其他数据处理电路统称为“数据处理电路”。数据处理电路可以完全实现为硬件，或者实现为软件、硬件或固件的组合。此外，数据处理电路可以是单个独立模块，或者可以完全或部分地组合到装置400的任何其他部件中。
装置400还可以包括网络接口406，以提供与网络(例如，因特网、内联网、局域网、移动通信网络等)的有线或无线通信。在一些实施例中，网络接口406可以包括任何数量的网络接口控制器(NIC)、射频(RF)模块、应答器、收发器、调制解调器、路由器、网关、有线网络适配器、无线网络适配器、蓝牙适配器、红外适配器、近场通信(“NFC”)适配器、蜂窝网络芯片等的任意组合。
在一些实施例中，可选地，装置400可以进一步包括外围接口408以提供到一个或多个外围设备的连接。如图所示。如图4所示，外围设备可以包括但不限于光标控制设备(例如，鼠标、触摸板或触摸屏)、键盘、显示器(例如，阴极射线管显示器、液晶显示器、或发光二极管显示器)、视频输入设备(例如，相机或耦合到视频档案的输入接口)等。
应当注意，视频编解码器可以被实现为装置400中的任何软件或硬件模块的任何组合。例如，图2的编码器200或图3的解码器300的一些或所有阶段可以被实现为装置400的一个或多个软件模块，诸如可以被加载到存储器404中的程序指令。对于另一个示例，图2的编码器200或图3的解码器300的一些或所有阶段可以被实现为装置400的一个或多个硬件模块，诸如专用数据处理电路(例如，FPGA、ASIC、NPU等)。
在量化和逆量化功能块(例如，图2的量化单元206和逆量化单元210，图3的逆量化单元310)中，量化参数(QP)用于确定应用于预测残差的量化(和逆量化)量。用于对图像或条带进行编码的初始QP值可以在高级别用信号通知，例如，在图像参数集(PPS)中使用语法元素init_qp_minus26并且在条带头中使用语法元素slice_qp_delta。此外，可以使用以量化组的粒度发送的Delta QP值在本地级别针对每个CU适配QP值。
在本公开的一些实施例中，支持四种色度采样格式，即单色、4:2:0、4:2:2和4:4:4。在单色采样中，只有一个样本数组，名义上被认为是亮度数组。在4:2:0采样中，两个色度数组中的每一个都具有亮度数组的高度的一半和宽度的一半。在4:2:2采样中，两个色度数组中的每一个都具有与亮度数组相同的高度并具有亮度数组宽度的一半。在4:4:4采样中，根据高级别标志(例如，图5的表1中的语法元素sepatate_color_plane_flag)设置，可以将三个颜色平面分别处理为单色采样图像，或者两个色度数组中的每一个都具有与亮度数组相同的高度和宽度。图5示出了根据本发明的一些实施例的示例性表1，其示出了VVC中的示例性色度格式。如图5的表1所示，SubWidthC和SubHeightC分别表示色度数组的宽度和高度。
图6示出了根据本发明的一些实施例的示例性表2，其示出了与色度格式相关的语法。如图6的表2所示(以斜体突出显示)，序列的色度格式在序列参数集(SPS)中以信号通知。可以使用以下规则使用以信号通知的色度格式导出可变的ChromaArrayType。根据语法元素sepatate_color_plane_flag的值，变量ChromaArrayType的值分配如下:
-如果语法元素sepatate_color_plane_flag等于0，则将ChromaArrayType设置为等于chroma_format_idc；
-否则，设置ChromaArrayType等于0
注意，ChromaArrayType等于0表示单色格式，其中不存在色度分量。
与本公开的实施例一致，可以支持各种编码工具以提高色度编码性能，包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、自适应颜色变换(ACT)和调色板模式。在本公开中，这些工具被称为子过程。
本公开的实施例可以支持色度残差被联合编码的模式。当使用该模式对变换单元(TU)进行编码时，仅用信号通知单个联合色度残差块，而不是单独发送Cb和Cr色度残差。图7示出了根据本发明的一些实施例的示例性表3，其示出了色度残差的示例性重建。如图7的表3所示，使用传输的联合色度残差块(resJointC)、tu_cbf_cb、tu_cbf_cr和CSign导出两个色度残差(resCb和resCr)块。语法元素tu_cbf_cb和tu_cbf_cr是在TU级别发出信号的两个标志，用于指示是否存在残差。CSign是在条带头中指定的符号值。
标志(例如，图8的表4中的语法元素sps_joint_cbcr_enabled_flag)首先在SPS中发出信号，以指示当前序列是否支持JCCR模式。图8示出了根据本公开的一些实施例的示出了示例性JCCR模式相关语法的示例性表4。如表4所示(以斜体突出显示)，当语法元素sps_joint_cbcr_enabled_flag为真时，进一步用信号通知图像头、条带头和变换单元中的标志。
本公开的实施例可以支持用于屏幕内容编码的块差分脉冲编码调制。对于大小为M(高)x N(宽)的块，令ri,j、0≤i≤M-1、0≤j≤N-1为预测残差。设Q(ri,j)、0≤i≤M-1、0≤j≤N-1表示残差ri,j的量化版本。BDPCM应用于量化的残差值，从而得到一个修改的M x N的具有元素
Figure BDA0004091598700000134
数组/>
Figure BDA0004091598700000135
其中元素/>
Figure BDA0004091598700000136
从其相邻的量化残值预测并发送到解码器。对于垂直BDPCM预测模式，对于0≤j≤(N-1)，下式公式(1)可以用来推导/>
Figure BDA0004091598700000137
Figure BDA0004091598700000131
对于水平BDPCM预测模式，对于0≤i≤(M-1)，以下公式(2)可以用来推导
Figure BDA0004091598700000138
Figure BDA0004091598700000132
在解码器侧，上述过程反向计算Q(ri,j)，0≤i≤M-1，0≤j≤N-1，如下:
Figure BDA0004091598700000133
若使用垂直BDPCM 公式(3)
Figure BDA0004091598700000141
若使用水平BDPCM公式(4)
图9示出了根据本公开的一些实施例的示出了示例性BDPCM相关语法的示例性表格5。在序列级别，在SPS中用信号发送BDPCM使能标志(例如，语法元素sps_bdpcm_enabled_flag)。仅当在SPS中启用了变换跳过模式时才发出该标志，如图9的表5所示(斜体突出显示)。当启用BDPCM时，在CU级别发送一个标志(例如，语法元素intra_bdpcm_luma_flag或intra_bdpcm_chroma_flag)。此标志指示是否使用常规帧内编码或BDPCM。如果使用BDPCM，则发送BDPCM预测方向标志(例如，语法元素intra_bdpcm_luma_dir_flag或intra_bdpcm_chroma_dir_flag)以指示预测是水平的还是垂直的。
本公开的实施例支持将调色板模式用于4:4:4色度格式的屏幕内容编码的。图10示出了根据本公开的一些实施例的以调色板模式编码的示例性块的示意图。如图10所示，如果使用调色板模式，则CU(例如，块1000)中的样本值(例如，位置1001-1004)由一小组代表性颜色值表示。该集合被称为调色板(例如，调色板1010)。对于值接近调色板颜色的像素，将发出调色板索引的信号。还可以通过发送逃逸符号后跟量化的分量值来指定调色板之外的样本。
图11示出了根据本公开的一些实施例的示例性表6，其示出了用于用信号通知是否启用调色板模式的示例性调色板模式相关语法。如图11的表6所示(以斜体突出示出)中，当序列的色度格式为4:4:4时，用信号通知SPS中的标志(例如，语法元素sps_palette_enab1ed_flag)以指示在该序列中是否启用了调色板模式。启用调色板模式时，如果CU大小小于或等于64x64，则在CU级别发送指示是否使用调色板模式的标志。
本公开的实施例支持4:4:4色度格式的自适应颜色变换。颜色空间转换是在残差域中进行的。图12示出了根据本公开的一些实施例的自适应颜色变换(ACT)的示例性解码过程1200的示意图。如图12所示，逆ACT模块1204用于将来自YCgCo域的残差转换回到原始域。具体地，在以下公式(5)和公式(6)中，分别应用正向和反向YCgCo颜色变换矩阵。C0，C1和C2表示原始域中的像素值，而C'0，C'1和C'2表示YCgCo域中的像素值。
Figure BDA0004091598700000151
Figure BDA0004091598700000152
图13示出了根据本公开的一些实施例的示例性表7，其示出了示例性调色板模式相关语法。如表所示图13中的表7，当序列的色度格式是4:4:4时，用信号通知SPS中的标志(例如，语法元素sps_act_enabled_flag)以指示ACT是否在此序列中被启用。当启用ACT时，在CU级别发送一个标志，指示是否应用ACT。
在本公开的一些实施例中，支持上述色度编码工具中的一些并将其应用于色度组件以提高编码效率。然而，由于上面描述的色度格式的设置，应用这些工具可能没有可用的色度分量。特别地，当序列为4:4:4色度格式并且语法元素separate_colour_plane_flag等于“真”时，所有三个色度分量都被视为单色，并且实际上没有用于编码该序列的色度分量。在这种情况下，JCCR、BDPCM和ACT标志仍然在SPS中发出信号，这是多余的。此外，调色板模式设计存在不一致。调色板模式不能针对单色情况(例如，4:0:0颜色格式)启用，但可以针对4:4:4色度格式启用，其中语法元素separate_colour_plane_flag等于“真”。
本公开提供了用于提高编码效率的装置和方法，用于将JCCR、BDPCM、调色板模式和ACT应用于色度分量。根据所公开的实施例，视频编解码器基于是否存在色度分量来确定是否启用JCCR、BDPCM、调色板模式和/或ACT。
在一些实施例中，SPS中的JCCR、BDPCM和ACT标志仅在色度分量存在时才发出信号。图14示出了根据本公开的一些实施例的示例性表8，其示出了对现有语法的建议改变。图15示出了根据本公开的一些实施例的示例性表9，其示出了对现有语法的建议改变。如图14的表8所示和图15的表，对现有语法的建议改变分别以斜体和方框1401-1405和方框1505-1505示出。
在图14的表8和图15的表9，条件“ChromaArrayType！＝0”可以等效地替换为“separate_colour_plane_flag！＝1&&chroma_format_idc！＝0。”
图16示出了根据本公开的一些实施例的示例性表10，其示出了对现有语法的建议改变。如图16的表10所示，以斜体和方框1601-1604示出了对现有语法的建议改变。当色度格式为4:4:4且存在色度分量时(例如，语法元素separate_colour_plane_flag等于0)，将用信号通知SPS中的调色板标志(例如，语法元素sps_palette_enabled_flag)。在图16的表10中，条件“ChromaArrayType！＝0”可以替换为“separate_colour_plane_flag！＝1&&chroma_format_idc！＝0。”
图17示出了根据本公开的一些实施例的示例性表11，其示出了对现有语法的建议改变。如图17的表11所示，以斜体和方框1701-1705示出了对现有语法的建议改变。如图17的表11所示，为4:4:4和4:0:0色度格式启用调色板模式。条件“ChromaArrayType！＝0”可以替换为“separate_colour_plane_flag！＝1&&chroma_format_idc！＝0。”
在一些实施例中，不是在色度分量不存在时不向SPS中的JCCR、BDPCM和ACT标志发信号，而是将位流一致性添加到这些标志。
语法元素sps_joint_cbcr_enabled_flag等于“0”指定色度残差的联合编码被禁用。语法元素sps_joint_cbcr_enabled_flag等于“1”，指定启用色度残差的联合编码。位流一致性的要求是，当ChromaArrayType等于0时，sps_joint_cbcr_enabled_flag的值等于0。
语法元素sps_bdpcm_chroma_enabled_flag等于“1”指定intra_bdpcm_chroma_flag可以存在于帧内编码单元的编码单元语法中。语法元素sps_bdpcm_chroma_enabled_flag等于“0”指定intra_bdpcm_chroma_flag不存在于帧内编码单元的编码单元语法中。当不存在时，sps_bdpcm_chroma_enabled_flag的值被推断为等于0。位流一致性的要求是当ChromaArrayType等于0时，sps_bdpcm_chroma_enabled_flag等于0。
语法元素sps_act_enabled_flag等于1指定可以使用自适应颜色变换并且cu_act_enabeled_flag启用标志可以存在于编码单元语法中。语法元素sps_act_enabled_flag等于0表示未使用自适应颜色变换，并且编码单元语法中不存在cu_act_enabeled_flag。当sps_act_enabled_flag不存在时，推断其等于0。位流一致性的要求是，当ChromaArrayType等于0时，sps act_enabled_flag的值等于0。
在上述位流一致性条件下，条件“ChromaArrayType！＝0”可以替换为“separate_colour_plane_flag！＝1&&chroma_format_idc！＝0。”
图18示出了根据本公开的一些实施例的示例性视频处理方法1800的流程图。方法1800可以由编码器(例如，图2的编码器200)、解码器(例如，图3的解码器300)执行，或装置(例如，图4的装置400)的一个或多个软件或硬件组件。例如，处理器(例如，图4的处理器402)可以执行方法1800。在一些实施例中，方法1800可以由包含在计算机可读介质中的计算机程序产品来实现，所述计算机程序产品包括由计算机(例如，图4的装置400)执行的计算机可执行指令，诸如程序代码。
在步骤1801，可以确定色度分量是否包括在帧序列中。例如，帧序列可以是输入视频(例如，图2的输入视频202)或位流(例如，图2的位流220或图3的位流302)。在一些实施例中，方法1800可以包括基于色度格式和单独的颜色平面标志来确定色度分量被包括在序列中。色度格式包括单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型。例如，变量ChromaArrayType可以确定如下:
-如果语法元素separate_colour_plane_flag等于0，则将ChromaArrayType设置为等于chroma_format_idc；
-否则，ChromaArrayType设置为等于0
可以根据图5的表1确定语法元素separate_colour_plane_flag和chroma_format_idc。ChromaArrayType等于0表示序列中没有色度分量，而ChromaArrayType不等于0表示序列中存在色度分量。
在一些实施例中，方法1 800可以包括:确定是否有单独的颜色平面标志(例如，图5的表1或图6的表2中的语法元素separate_colour_plane_flag)是真或假，并且响应于所述单独颜色平面标志被确定为假，确定色度分量被包括在所述序列中。
在步骤1803，响应于确定色度分量被包括在序列中，可以激活子过程以处理色度分量。子过程可以包括JCCR、BDPCM、调色板模式或ACT中的一个或多个。在一些实施例中，方法1800可以包括在SPS中发信号通知子过程启用标志，其指示子过程是否被启用。例如，语法元素sps_joint_cbcr_enabled_flag(例如，如图14的表8、图15的表9、图16的表10或图17的表11所示)可以被发信号通知以指示是否启用JCCR。语法元素sps_bdpcm_enabled_flag(例如，如图14的表8、图15的表9、图16的表10或图17的表11所示)可以被发信号通知以指示是否启用BDPCM。语法元素sps_palette_enable_flag(例如，如图16的表10所示)可以被发信号通知以指示是否启用调色板模式。语法元素sps_act_enabled_flag(例如，如图14的表8、图15的表9所示、图16的表10或图17的表11所示)可以发出信号以指示是否启用了ACT。在一些实施例中，方法1800还可以包括响应于指示子过程被启用的子过程启用标志，激活用于处理色度分量的子过程。在一些实施例中，响应于确定色度分量不包括在序列中，子过程启用标志指示子过程未被启用。例如，如果ChromaArrayType等于0，则语法元素sps_joint_cbcr_enabled_flag，sps_bdpcm_chroma_enabled_flag，sps_palette_enabled_flag或sps_act_enabled_flag可以等于0。
在一些实施例中，可以使用激活的子过程来处理序列。例如，可以基于图8的表4、图9的表5、图11的表6、图8的表4、图13的表7、图14的表8、图15的表9、图16的表10或图17的表11来处理序列。
可以理解的是，本公开的实施例可以与另一实施例或一些其他实施例组合。
可以使用以下条款进一步描述实施例:
1.一种视频处理方法，包括:
确定色度分量是否包括在帧序列中；以及
响应于确定所述色度分量包括在所述序列中，激活用于处理所述序列的子过程，
其中，所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式或自适应颜色变换(ACT)中的一个或多个。
2.根据条款1所述的方法，其中确定所述色度分量是否包括在所述序列中包括:
基于色度格式和单独的颜色平面标志确定色度分量包括在序列中。
3.根据条款2所述的方法，其中所述色度格式包括单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型。
4.根据条款1-3中任一项所述的方法，其中确定所述色度分量是否包括在所述序列中包括:
确定单独颜色平面标志的值；以及
响应于所述单独颜色平面标志被确定为具有第一值，确定所述色度分量包括在所述序列中。
5.根据条款1-4中任一项所述的方法，其中激活用于处理色度分量的子过程包括:
在序列参数集(SPS)中用信号通知指示是否启用子过程的标志。
6.根据条款5所述的方法，其中激活用于处理所述色度分量的所述子过程包括:
响应于所述标志具有指示所述子过程被启用的值，激活所述子过程以处理所述色度分量。
7.根据条款5和6中任一项所述的方法，还包括:
其中，响应于确定所述色度分量不包括在所述序列中，将所述标志设置为指示所述子过程被禁用的值。
8.根据条款1-7中任一项所述的方法，还包括:
使用激活的子过程处理所述序列。
9.一种视频处理装置，包括:
至少一个用于存储指令集的存储器；以及
至少一个处理器，被配置为执行所述指令集以使所述装置执行以下操作:
确定色度分量是否包括在帧序列中；以及
响应于确定所述色度分量包括在序列中，激活用于处理所述色度分量的子过程，
其中所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式、或自适应颜色变换(ACT)中的一个或多个。
10.根据条款9所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
基于色度格式和单独颜色平面标志确定所述色度分量包括在序列中。
11.根据条款10所述的装置，其中所述色度格式包括单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型。
12.根据条款9-11中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
确定单独颜色平面标志的值；以及
响应于所述单独颜色平面标志被确定为具有第一值，确定所述色度分量被包括在所述序列中。
13.根据条款9-12中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
在序列参数集(SPS)中用信号通知指示是否启用子过程的标志。
14.根据条款13所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
响应于所述标志具有指示所述子过程被启用的值，激活所述子过程以处理所述色度分量。
15.根据条款13和14中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
响应于确定色度分量不包括在序列中，将标志设置为指示子过程被禁用的值。
16.根据条款9-15中任一项所述的装置，其中所述至少一个处理器被配置为执行所述指令以使所述装置执行:
使用激活的子过程处理所述序列。
17.一种非暂时性计算机可读存储介质，存储有指令集，所述指令集可由一个或多个处理设备执行以使视频处理装置执行以下操作:
确定色度分量是否包括在帧序列中；以及
响应于确定色度分量包括在所述序列中，激活用于处理所述序列的子过程，
其中，所述子过程包括色度残差联合编码(JCCR)、块差分脉冲编码调制(BDPCM)、调色板模式或自适应颜色变换(ACT)中的一个或多个。
18.根据条款17所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
基于色度格式和单独颜色平面标志确定所述色度分量包括在序列中。
19.如条款18所述的非暂时性计算机可读存储介质，其中所述色度格式包括单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型。
20.根据条款17-19中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
确定单独颜色平面标志的值；以及
响应于所述单独颜色平面标志被确定为具有第一值，确定所述色度分量被包括在所述序列中。
21.根据条款17-20中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
在序列参数集(SPS)中用信号通知指示是否启用子过程的标志。
22.根据条款21所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
响应于所述标志具有指示所述子过程被启用的值，激活所述子过程以处理所述色度分量。
23.根据条款21和22中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
响应于确定色度分量不包括在序列中，将标志设置为指示子过程被禁用的值。
24.根据条款17-23中任一项所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
使用激活的子过程处理所述序列。
在一些实施例中，还提供了包括指令集非暂时性计算机可读存储介质，并且所述集可以由设备(诸如所公开的编码器和解码器)执行，用于执行上述方法。非暂时性介质的常见形式包括，例如，软盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、任何具有孔图案的物理介质、RAM、PROM、和EPROM、FLASH-EPROM或任何其他闪存、NVRAM、高速缓存、寄存器、任何其他存储芯片或盒式存储以及它们的联网版本。该设备可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和/或存储器。
应当注意的是，本文中的诸如“第一”和“第二”的关系术语仅用于将实体或操作与另一实体或操作区分开来，并且不要求或暗示这些实体或操作之间的任何实际关系或顺序。此外，词语“包括”、“具有”、“包含”和“包括”和其他类似的形式在含义上是等效的，并且是开放式的，因为在这些单词中的任何一个后面的一个或多个项目并不意味着是这样一个或多个项目的详尽列表，或者意味着仅限于列出的一个或多个项目。
如本文所用，除非另有特别说明，否则术语“或”涵盖所有可能的组合，除非在不可行的情况下。例如，如果声明数据库可包括A或B，则除非另有明确声明或不可行，否则数据库可包括A、或B、或A和B。作为第二示例，如果声明数据库可以包括A、B或C，则除非另有明确说明或不可行，否则数据库可以包括A、或B、或C、或A和B、或A和C、或B和C、或A和B和C。
应当理解，上述实施例可以通过硬件、或软件(程序代码)、或硬件和软件的组合来实现。如果通过软件实现，可以将其存储在上述计算机可读介质中。该软件在由处理器执行时可以执行所公开的方法。本公开中描述的计算单元和其他功能单元可以通过硬件、或软件、或硬件和软件的组合来实现。本领域普通技术人员还将理解，可以将上述多个模块/单元组合为一个模块/单元，并且可以将上述模块/单元中的每一个进一步划分为多个子模块/子单元。
在前述说明书中，已经参考众多具体细节描述了实施例，这些具体细节可以随实现而变化。可以对所描述的实施例进行某些修改和修改。通过考虑本文公开的本发明的说明书和实践，其他实施例对于本领域技术人员来说是显而易见的。本说明书和实施例仅被认为是示例性的，本发明的真正范围和精神由所附的权利要求指示。附图所示的步骤序列仅用于说明目的，而不旨在限于任何特定的步骤序列。因此，本领域技术人员可以理解，这些步骤可以在实施相同方法的同时以不同的顺序执行。
在附图和说明书中，已经公开了示例性实施例。然而，可以对这些实施例进行许多变化和修改。因此，尽管采用了特定的术语，但它们仅在通用和描述性的意义上使用，而不是出于限制的目的。

Claims (20)

1.一种视频处理方法，应用于包括编码器的装置，包括:
基于色度格式确定色度分量是否包括在帧序列中；
响应于确定所述色度分量包括在所述序列中，在序列参数集(SPS)中发送第一标志用信号通知是否激活用于处理所述序列的子过程，所述子过程包括色度残差联合编码(JCCR)、调色板模式或自适应颜色变换(ACT)中的一个或多个；以及
响应于确定所述色度分量不包括在所述序列中，确定用于处理所述序列的子过程被停用，其中，当确定所述色度分量不包括在所述序列中时，不发送所述第一标志。
2.根据权利要求1所述的方法，其中确定所述色度分量是否包括在所述序列中包括:
基于单独颜色平面标志确定所述色度分量包括在序列中。
3.根据权利要求2所述的方法，其中，所述色度格式包括单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型。
4.根据权利要求1所述的方法，其中确定所述色度分量是否包括在所述序列中包括:
确定单独颜色平面标志的值；以及
响应于所述单独颜色平面标志被确定为具有第一值，确定所述色度分量包括在所述序列中。
5.根据权利要求1所述的方法，其中激活用于处理所述色度分量的所述子过程包括:
对于所述子过程JCCR，确定所述色度格式为单色类型；
和
响应于所述色度格式为单色类型，停止发送所述子过程JCCR启用的标志，以指示所述子过程JCCR启用的标志等于零。
6.根据权利要求3所述的方法，其中激活用于处理所述色度分量的所述子过程包括:
对于所述子过程ACT，确定所述色度格式是4:4:4采样类型；以及
响应于所述色度格式是4:4:4采样格式，发送所述子过程ACT启用的标志。
7.根据权利要求3所述的方法，还包括:
对于所述子过程调色板模式，确定所述色度格式是单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型中的一种；
和
响应于所述色度格式是单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型中的一种，发送所述子过程调色板模式启用的标志。
8.根据权利要求1所述的方法，还包括:
使用激活的子过程处理所述序列。
9.一种视频处理装置，包括解码器，包括:
至少一个用于存储指令集的存储器；以及
至少一个处理器，所述至少一个处理器被配置为执行所述指令集以使所述装置执行以下操作:
基于色度格式确定色度分量是否包括在帧序列中；
响应于确定所述色度分量包括在所述序列中，在序列参数集(SPS)中发送第一标志以确定是否激活用于处理所述序列的子过程，所述子过程包括色度残差联合编码(JCCR)、调色板模式或自适应颜色变换(ACT)中的一个或多个以及
响应于确定所述色度分量不包括在所述序列中，确定用于处理所述序列的子过程被停用，其中，当确定所述色度分量不包括在所述序列中时，不发送所述第一标志。
10.如权利要求9所述的装置，其特征在于，所述至少一个处理器被配置为执行所述指令集以使所述装置执行:
基于单独颜色平面标志确定所述色度分量包括在所述序列中。
11.如权利要求9所述的装置，其特征在于，所述至少一个处理器被配置为执行所述指令集以使所述装置执行:
确定单独颜色平面标志的值；以及
响应于所述单独颜色平面标志被确定为具有第一值，确定所述色度分量被包括在所述序列中。
12.根据权利要求9所述的装置，其中，所述至少一个处理器被配置为执行所述指令集以使所述装置执行:
对于所述子过程JCCR，确定所述色度格式为单色类型；
响应于所述色度格式为单色类型，停止发送所述子过程JCCR启用的标志，以指示所述子过程JCCR启用的标志等于零；
对于所述子过程ACT，确定所述色度格式是4:4:4采样类型；以及
响应于所述色度格式是4:4:4采样格式，发送所述子过程ACT启用的标志。
13.根据权利要求9所述的装置，其中，所述至少一个处理器被配置为执行所述指令集以使所述装置执行:
对于所述子过程调色板模式，确定所述色度格式是单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型中的一种；和
响应于所述色度格式是单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型中的一种，发送所述子过程调色板模式启用的标志。
14.如权利要求9所述的装置，其特征在于，所述至少一个处理器被配置成执行所述指令集以使所述装置执行:
使用激活的子过程处理所述序列。
15.一种非暂时性计算机可读存储介质，存储有运行指令集产生的视频位流，所述指令集可由一个或多个处理设备执行以使视频处理装置执行以下操作:
基于色度格式确定色度分量是否包括在帧序列中；
响应于确定所述色度分量包括在所述序列中，在序列参数集(SPS)中发送第一标志以确定是否激活用于处理所述序列的子过程，所述子过程包括色度残差联合编码(JCCR)、调色板模式或自适应颜色变换(ACT)中的一个或多个以及
响应于确定所述色度分量不包括在所述序列中，确定用于处理所述序列的子过程被停用，其中，当确定所述色度分量不包括在所述序列中时，不发送所述第一标志。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
基于色度格式和单独颜色平面标志确定色度分量包括在序列中。
17.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
确定单独颜色平面标志的值；以及
响应于所述单独颜色平面标志被确定为具有第一值，确定所述色度分量被包括在所述序列中。
18.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
对于所述子过程JCCR，确定所述色度格式为单色类型；
响应于所述色度格式为单色类型，停止发送所述子过程JCCR启用的标志，以指示所述子过程JCCR启用的标志等于零；
对于所述子过程ACT，确定所述色度格式是4:4:4采样类型；以及
响应于所述色度格式是4:4:4采样格式，发送所述过程ACT启用的标志。
19.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
对于所述子过程调色板模式，确定所述色度格式是单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型中的一种；和
响应于所述色度格式是单色类型、4:2:0采样类型、4:2:2采样类型或4:4:4采样类型中的一种，发送所述子过程调色板模式启用的标志。
20.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述指令集可由所述一个或多个处理设备执行以使所述视频处理装置执行:
使用激活的子过程处理所述序列。
CN202310148028.9A 2019-12-05 2020-10-05 用于色度采样的方法和装置 Active CN116405698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310148028.9A CN116405698B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962944345P 2019-12-05 2019-12-05
US62/944,345 2019-12-05
PCT/US2020/054238 WO2021112950A1 (en) 2019-12-05 2020-10-05 Method and apparatus for chroma sampling
CN202310148028.9A CN116405698B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置
CN202080084239.5A CN114830670B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080084239.5A Division CN114830670B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置

Publications (2)

Publication Number Publication Date
CN116405698A true CN116405698A (zh) 2023-07-07
CN116405698B CN116405698B (zh) 2023-11-24

Family

ID=76210765

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202310128712.0A Active CN116260981B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置
CN202310148028.9A Active CN116405698B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置
CN202310138885.0A Active CN116260982B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置
CN202080084239.5A Active CN114830670B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310128712.0A Active CN116260981B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202310138885.0A Active CN116260982B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置
CN202080084239.5A Active CN114830670B (zh) 2019-12-05 2020-10-05 用于色度采样的方法和装置

Country Status (6)

Country Link
US (2) US11356679B2 (zh)
EP (1) EP4070555A4 (zh)
JP (1) JP2023504408A (zh)
KR (1) KR20220104052A (zh)
CN (4) CN116260981B (zh)
WO (1) WO2021112950A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
TW202130170A (zh) * 2019-12-20 2021-08-01 日商索尼股份有限公司 影像處理裝置及影像處理方法
US11375200B2 (en) * 2019-12-24 2022-06-28 Tencent America LLC Video coding method and device for controlling color component processing
US11563980B2 (en) * 2020-04-02 2023-01-24 Qualcomm Incorporated General constraint information syntax in video coding
US11700386B2 (en) * 2020-06-10 2023-07-11 Tencent America LLC Adaptive colour transform related signalling for both of CU level and TU level
CN113422961A (zh) * 2021-07-21 2021-09-21 杭州当虹科技股份有限公司 视频编码方法、视频解码方法、编码器以及解码器
WO2023024712A1 (en) * 2021-08-27 2023-03-02 Mediatek Inc. Method and apparatus of joint coding for multi-colour components in video coding system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100175A1 (en) * 2014-10-06 2016-04-07 Canon Kabushiki Kaisha Residual colour transform signalled at sequence level for specific coding modes
WO2016120468A1 (en) * 2015-01-29 2016-08-04 Canon Kabushiki Kaisha Palette predictor initializer when encoding or decoding self-contained coding structures
US20160261875A1 (en) * 2015-03-06 2016-09-08 Ali Corporation Video stream processing method and video processing apparatus thereof
US20160309177A1 (en) * 2013-12-10 2016-10-20 Canon Kabushiki Kaisha Improved palette mode in hevc
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
CN107431795A (zh) * 2014-12-19 2017-12-01 寰发股份有限公司 视频和图像编码中非444颜色格式的调色板预测方法
US20180041757A1 (en) * 2015-02-17 2018-02-08 Hfi Innovation Inc. Method and Apparatus for Palette Coding of Monochrome Contents in Video and Image Compression
CN109479137A (zh) * 2016-05-28 2019-03-15 联发科技股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
US20190297350A1 (en) * 2018-03-22 2019-09-26 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160973B (zh) * 2005-04-13 2011-08-17 汤姆逊许可公司 利用一个公共的或三个不同的空间预测器的亮度-色度编码
EP1761069A1 (en) * 2005-09-01 2007-03-07 Thomson Licensing Method and apparatus for encoding video data using block skip mode
JP5509390B2 (ja) * 2010-09-03 2014-06-04 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化および処理のための照明補償および遷移のための方法およびシステム
US8896652B2 (en) * 2011-02-28 2014-11-25 Soryn Technologies Llc System and method for real-time video communications
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
CN103918269B (zh) * 2012-01-04 2017-08-01 联发科技（新加坡）私人有限公司 色度帧内预测方法及装置
US9185456B2 (en) * 2012-03-27 2015-11-10 The Nielsen Company (Us), Llc Hybrid active and passive people metering for audience measurement
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
PL3022902T3 (pl) * 2013-07-16 2020-06-29 Koninklijke Philips N.V. Sposób i urządzenie do tworzenia funkcji eotf dla uniwersalnego odwzorowywania kodu dla obrazu hdr
BR112016012417B1 (pt) * 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
WO2015103980A1 (en) * 2014-01-07 2015-07-16 Mediatek Inc. Method and apparatus for color index prediction
CN106256125B (zh) * 2014-05-05 2019-11-19 联发科技（新加坡）私人有限公司 确定残余转换树表达的方法及装置
US10091512B2 (en) * 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US9883184B2 (en) * 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
JP6532222B2 (ja) * 2014-11-28 2019-06-19 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN105791866B (zh) * 2014-12-24 2018-10-30 北京数码视讯科技股份有限公司 视频编码中间数据获取方法、设备及系统
US10425659B2 (en) * 2015-01-30 2019-09-24 Qualcomm Incorporated Coding escape pixels for palette coding
US10212434B2 (en) * 2015-01-30 2019-02-19 Qualcomm Incorporated Palette entries coding in video coding
US20160345014A1 (en) * 2015-05-20 2016-11-24 Sharp Laboratories Of America, Inc. Systems and methods for coding a number of palette indices
WO2016184705A1 (en) * 2015-05-21 2016-11-24 Koninklijke Philips N.V. Determining a pulse signal from a video sequence
US10242441B2 (en) * 2015-05-21 2019-03-26 Koninklijke Philips N.V. Identifying living skin tissue in a video sequence using color and spatial similarities
JP6343107B1 (ja) * 2015-05-21 2018-06-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ビデオ・シーケンスにおける生体皮膚組織の識別
WO2016197314A1 (en) * 2015-06-09 2016-12-15 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
US10356432B2 (en) * 2015-09-14 2019-07-16 Qualcomm Incorporated Palette predictor initialization and merge for video coding
US10277896B2 (en) * 2016-01-22 2019-04-30 Apple Inc. Intra-frame prediction systems and methods
WO2018090367A1 (en) * 2016-11-21 2018-05-24 Intel Corporation Method and system of video coding with reduced supporting data sideband buffer usage
EP3410723A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing A method and a device for picture encoding and decoding
US10200687B2 (en) * 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US10819965B2 (en) * 2018-01-26 2020-10-27 Samsung Electronics Co., Ltd. Image processing device and method for operating image processing device
US10694195B2 (en) * 2018-03-07 2020-06-23 Tencent America LLC Methods and apparatus for palette coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160309177A1 (en) * 2013-12-10 2016-10-20 Canon Kabushiki Kaisha Improved palette mode in hevc
CN107079157A (zh) * 2014-09-12 2017-08-18 Vid拓展公司 用于视频编码的分量间去相关
US20160100175A1 (en) * 2014-10-06 2016-04-07 Canon Kabushiki Kaisha Residual colour transform signalled at sequence level for specific coding modes
CN107431795A (zh) * 2014-12-19 2017-12-01 寰发股份有限公司 视频和图像编码中非444颜色格式的调色板预测方法
WO2016120468A1 (en) * 2015-01-29 2016-08-04 Canon Kabushiki Kaisha Palette predictor initializer when encoding or decoding self-contained coding structures
KR20170107503A (ko) * 2015-01-29 2017-09-25 캐논 가부시끼가이샤 자족식 코딩 구조를 인코딩 또는 디코딩할 때의 팔레트 예측자 초기화기
US20180041757A1 (en) * 2015-02-17 2018-02-08 Hfi Innovation Inc. Method and Apparatus for Palette Coding of Monochrome Contents in Video and Image Compression
US20160261875A1 (en) * 2015-03-06 2016-09-08 Ali Corporation Video stream processing method and video processing apparatus thereof
CN109479137A (zh) * 2016-05-28 2019-03-15 联发科技股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
US20190297350A1 (en) * 2018-03-22 2019-09-26 Mediatek Inc. Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS: "JVET-P2001：Versatile Video Coding (Draft 7)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
王淑慧;: "基于AVS2的色度扩展视频编码的设计和实现", 电子与信息学报, no. 12 *

Also Published As

Publication number Publication date
CN116260981B (zh) 2024-01-30
EP4070555A1 (en) 2022-10-12
CN114830670B (zh) 2023-03-31
KR20220104052A (ko) 2022-07-25
WO2021112950A1 (en) 2021-06-10
US11356679B2 (en) 2022-06-07
CN114830670A (zh) 2022-07-29
CN116405698B (zh) 2023-11-24
US20220295081A1 (en) 2022-09-15
CN116260982A (zh) 2023-06-13
CN116260982B (zh) 2023-11-24
EP4070555A4 (en) 2023-01-25
JP2023504408A (ja) 2023-02-03
US20210176479A1 (en) 2021-06-10
CN116260981A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN116405698B (zh) 用于色度采样的方法和装置
US11889091B2 (en) Methods for processing chroma signals
US20230011928A1 (en) Video processing method and apparatus for using palette mode
US20230055802A1 (en) High level syntax control of loop filter
US11765361B2 (en) Method and apparatus for coding video data in palette mode
WO2021061318A1 (en) Lossless coding of video data
US20230156211A1 (en) Method for apparatus for deriving maximum sub-block transform size
WO2021237128A1 (en) High level control of pdpc and intra reference sample filtering of video coding
CN115552900A (zh) 用信号通知最大变换大小和残差编码的方法
CN115443655A (zh) 用于处理视频编码中自适应颜色变换和低频不可分离变换的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant