CN109196862B - 视频数据处理方法、装置及相应可读存储介质 - Google Patents

视频数据处理方法、装置及相应可读存储介质 Download PDF

Info

Publication number
CN109196862B
CN109196862B CN201780031613.3A CN201780031613A CN109196862B CN 109196862 B CN109196862 B CN 109196862B CN 201780031613 A CN201780031613 A CN 201780031613A CN 109196862 B CN109196862 B CN 109196862B
Authority
CN
China
Prior art keywords
current
depth
information
partition
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780031613.3A
Other languages
English (en)
Other versions
CN109196862A (zh
Inventor
黄晗
陈庆晔
刘杉
许晓中
庄子德
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
联发科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2016/087005 external-priority patent/WO2017219342A1/en
Application filed by 联发科技股份有限公司 filed Critical 联发科技股份有限公司
Priority to CN202011549243.2A priority Critical patent/CN112689147B/zh
Publication of CN109196862A publication Critical patent/CN109196862A/zh
Application granted granted Critical
Publication of CN109196862B publication Critical patent/CN109196862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

切片中的当前编解码块(CB)相关联的输入数据，其中视频数据根据分区方法分成多个CB。确定量化参数(QP)最小块区域或深度语法元素，并且根据当前CB的宽度和高度或组合深度计算当前CB的区域，并将其与QP最小块区域或深度语法元素相比较。对当前CB的QP信息的信令由比较结果调节。当前CB的QP信息用于量化当前CB的残差信号或恢复当前CB的量化残差信号。

Description

视频数据处理方法、装置及相应可读存储介质
交叉引用
本发明要求如下优先权：编号为62/342,884，申请日为2016年5 月28日，名称为“Methods of signaling delta QP for Quad-tree Plus binary tree structure”的美国临时专利申请、编号为62/343,042，申请日为2016年5月30日，名称为“Methods ofsignaling quantization parameter for Quad-tree Plus binary tree structure”的美国临时专利申请、编号为PCT/CN2016/087005，申请日为2016年6月24日，名称为“Methodsof signaling quantization parameter for Quad-tree plus binary tree structure”的PCT专利申请。上述美国专利临时申请与PCT专利申请在此作为参考。
技术领域
本发明有关于视频数据处理方法和装置编码或解码视频数据。更具体而言，本发明有关于依据条件性的标记于视频比特流中的量化参数信息的视频数据处理方法和装置编码或解码视频数据。
背景技术
高效视频编解码(High-Efficiency Video Coding,简写为HEVC)标准是由ITU-T研究组的视频编解码专家组的视频编解码联合协作小组 (Joint Collaborative Team onVideo Coding，简写为JCT-VC)开发的最新视频编解码标准。HEVC标准依赖于基于块的编解码结构，其将每个片(slice)分成多个编解码树单元(CTU)。在HEVC主配置文件中， CTU的最小和最大大小由序列参数集(Sequence Parameter Set，简写为SPS)中指示的语法元素指定。使用光栅扫描顺序处理切片中的CTU。使用四叉树分区(quad-tree partitioning)方法将每个CTU进一步递归地分成一个或多个编解码单元(Coding Unit，简写为CU)。CU尺寸被限制在小于或等于SPS中指定的最小允许CU尺寸。图1中示出了四叉树块分割结构的示例，其中实线表示CTU 100中的CU边界。
在CU级进行预测判定，其中每个CU使用画面间预测(Inter picture prediction)或画面内预测(Intra picture prediction)进行编码。一旦完成了CU分层树的分割，则根据用于预测的PU分区类型，每个CU 进一步分为一个或多个预测单元(Prediction Unit，简写为PU)。图2 显示了在HEVC标准中定义的八种PU分区类型。根据图2所示的八个 PU分区类型中的一个，每个CU被分成一个、两个或者四个PU。因为将相同的预测处理应用于PU中的所有像素，PU作为用于共享预测信息的基本代表性块。预测信息以PU为基础传送给解码器。在获得由预测处理产生的残差(residual)信号之后，根据用于将残差数据变换为变换系数用于紧凑的数据表示的另一四叉树块分割结构，属于CU的残差信号的残差数据被分为一个或多个变换单元(Transform Unit，简写为 TU)。图1中的虚线表示TU边界。TU是对残差信号进行变换和量化的基本代表性块。对于每个TU，将具有与TU相同大小的变换矩阵应用于残差信号以产生变换系数，并且这些变换系数被量化并以TU为基础传送到解码器。
术语编解码树块(Coding Tree Block，简写为CTB)、编解码块 (Coding block，简写为CB)、预测块(Prediction Block，简写为PB) 和变换块(Transform Block，简写为TB)被定义为指定与CTU、CU、 PU和TU分别相关联的一个颜色分量的二维样本数组。例如，CTU由一个亮度CTB，两个色度CTB及其相关联的语法元素组成。在HEVC 系统中，通常将相同的四叉树块分割结构应用于亮度和色度分量，除非达到色度块的最小尺寸。
另一分区方法被称为二叉树块分区方法，其中块被递归地分成两个较小的块。图3示出二叉树分区方法的一些拆分类型。最简单的二叉树分区方法仅允许对称的水平分割和对称的垂直分割。对于尺寸为 MxN的给定块，标示第一个标志，以指示该块是否被划分成两个较小的块，之后是指示第一个标志指示分割时的分割类型的第二个标志。若分割类型是对称的水平分割，则该MxN块被分成两个大小为MxN/ 2的块，而若分割类型是对称的垂直分割，则该MxN块被分割成两个大小为M/2xN的块。分割过程可以重复，直到分割块的大小、宽度或高度达到最小允许的大小、宽度或高度。若块高度小于最小高度，则隐式地不允许水平分割，同样，若块宽度小于最小宽度，则隐式地不允许垂直分割。
图4A和图4B示出了根据二叉树分区方法及其对应的编解码树结构的块分割的示例。在图4B中，二叉树(binary-tree)编解码树的每个分割节点(即非叶)处的一个标志用于指示分割类型，标志值等于0表示水平分割，而标志值等于1表示垂直分割。可以在编码或解码过程中将二叉树分区方法应用于块分割的任何级别，例如，二叉树分区方法可用于将片分割成CTU、将CTU分割成CU、将CU分割成PU、或将CU分割成TU。亦可以通过省略从CU到PU和CU到TU的分割来简化分割过程，因为二叉树块分割结构的叶节点是预测和变换编解码的基本代表性块。
尽管二叉树分区方法支持更多的分区结构，因此比四叉树分区方法更加灵活，但编解码复杂度增加，用于选择所有可能形状中的最佳分区形状。称为四叉树二叉树(Quad-Tree-Binary-Tree，简写为QTBT) 结构的组合分区方法将四叉树分区方法与二叉树分区方法相结合，平衡了两种分区方法的编解码效率和编解码复杂度。在图5A中示出了示例性的QTBT结构，其中首先通过四叉树分区方法随后通过二叉树分区方法分割大块。图5A示出了根据QTBT分区方法的块分割结构的示例，图5B示出了图5A所示的QTBT块分割结构的编解码树图。图5A 和图5B中的实线表示四叉树分区，而虚线表示二叉树分割。与图4B 类似，在二叉树结构的每个分割(即非叶)节点中，一个标志指示使用哪种分割类型(对称水平分割或对称垂直分割)，0表示水平分割，而1表示垂直分裂。图5A中的QTBT结构将大块分割成多个较小的块，并且这些较小的块可以通过预测和变换编解码进行处理，而不进一步分割。在一个示例中，图5A中的大块是大小为128×128的编解码树单元(CTU)，最小允许四叉树叶节点大小为16×16，最大允许二叉树根节点大小为64×64，最小允许二叉树叶节点宽度或高度为4，且最小允许二叉树深度为4。在此示例中，叶四叉树块(leaf quad-tree block is128x128)的大小可能为16x16到128x128，若叶四叉树块是128x128，它不能被二叉树结构进一步拆分，因为其大小超过允许的最大二叉树根节点大小64x64。叶四叉树块被用作二叉树深度等于0的根二叉树块。当二叉树深度达到4时，阴式地不再分割；当二叉树节点的宽度等于4 时，阴式地不再垂直分割；并且当二叉树节点的高度等于4时，阴式地不再水平分割。对于在I片中编解码的CTU，用于色度编解码树块 (CTB)的QTBT块分割结构可以与用于对应的亮度CTB的QTBT块分割结构不同。对于以P或B切片编解码的CTU，相同的QTBT块分割结构可以应用于色度CTB和亮度CTB。
引入另一种称为三叉树(triple-tree)分区(Partition)方法的分区方法来捕获位于块中心的对象，而四叉树分区方法和二叉树分区方法总是沿块中心分割。图6示出了三叉树分区方法中的两个示例性三叉树分区类型，其包括水平中心侧三叉树分割60和垂直中心侧三叉树分割62。三叉树分区方法可以通过允许垂直或水平四分之一分区来提供沿着块边界更快地定位小对象的能力。由于三叉树分区块602、604、606、 622、624和626的宽度或高度总是2的幂，所以不需要额外的变换来变换这些三叉树分区块。
发明内容
公开了在具有调节量化参数(QP)信息信令的视频编解码系统中处理视频数据的方法和装置。视频编解码系统的实施例接收与当前切片中的当前编解码块(CB)相关联的输入数据。根据分区方法对当前切片中颜色分量的视频数据进行分区。分区方法可以是四叉树、二叉树、QTBT和三叉树分区方法中的一个或多个。在一些实施例中，确定量化参数最小块大小并将其与当前CB的区域进行比较。当前CB的区域根据当前CB的宽度和高度计算。当前切片中当前CB的QP信息的信令由区域的比较结果来调节。如果当前CB的区域大于或等于QP最小块区域，则确定当前CB的QP信息并将其合并到视频比特流中，或者从视频比特流中解析当前CB的QP信息。视频编解码系统根据当前 CB的QP信息量化当前CB的残差信号或者恢复当前CB的量化残差信号。
在一个实施例中，如果当前CB的区域小于QP最小块区域，则由当前CB组共享的共享QP信息导出当前CB的QP信息。在本公开中共享共享QP信息的一组CB也被称为量化组。视频比特流不为在量化组中的每个CB标示独立的QP。当处理共享共享QP信息的一组CB的第一已编解码的CB时，可以将共享QP信息并入视频比特流中或从视频比特流解析。根据具有至少一个非零残差变换系数的编码或解码顺序在组中首先处理第一已编解码的CB。共享共享QP信息的CB组的总区域大于或等于QP最小块区域。
在一些其他实施例中，根据组合分区方法将每个切片中的颜色分量的视频数据划分为编解码块(CB)，其中组合分区方法根据第一分区方法然后是第二分区方法分区视频数据。组合分区方法的一个例子是 QTBT分区方法。视频编解码系统的实施例接收与当前切片中的当前 CB相关联的输入数据，并确定深度语法元素。根据与第一分区方法相对应的第一分区深度和对应于第二分区方法的第二分区深度来计算当前CB的组合深度。将当前CB的组合深度与深度语法元素进行比较，并且通过深度比较结果对当前CB的QP信息的信令进行调节。如果当前CB的组合深度小于或等于深度语法元素，则确定当前CB的QP信息并将其合并到视频比特流中或从视频比特流解析。视频编解码系统根据当前CB的QP信息量化当前CB的残差信号，或根据当前CB的QP信息恢复当前CB的量化残差信号。
在一个实施例中，根据第一分区深度和第二分区深度的加权和来计算组合深度。例如，组合分区方法是四叉树二叉树(QTBT)分区方法，其中第一分区深度是当前CB的四叉树深度，第二分区深度是当前 CB的二叉树深度。通过将四叉树深度加到当前CB的二叉树深度的一半来计算组合深度。深度语法元素指定编解码树块(CTB)大小和QP 信息信令的最小块大小之间的深度差的差异。
在一些实施例中，如果当前CB的组合深度大于深度语法元素，则由一组CB共享的QP信息导出当前CB的QP信息。视频比特流中不为组中的每个CB标示单独的QP信息。当处理共享共享QP信息的一组CB的第一已编解码的CB时，可以将共享QP信息并入视频比特流中或从视频比特流解析。第一已编解码的CB在具有至少一个非零残差变换系数的组中首先进行编解码。
在视频比特流中标示当前CB的QP信息的实施例与ΔQP、QP偏移或最终QP相关联，例如与视频比特流相结合的与ΔQP相关的语法元素或从视频比特流解析的语法元素包括ΔQP绝对值和ΔQP正负号标志，与QP偏移相关的语法元素包括QP偏移绝对值和QP偏移正负号标志。
在一个实施例中，在当前CB中承载的颜色分量是亮度分量，如果用于亮度分量和色度分量的块分区结构被单独确定，针对亮度分量的 QP信息的标示单独地标示用于该色度分量的QP信息。
在另一个实施例中，当前CB中携带的颜色分量是色度分量，并且如果亮度分量和色度分量的块分区结构被单独确定，当前CB的QP信息通过对当前CB的同位置亮度块重新使用QP信息来确定。在序列级别、图像级别或切片级别标示重用标志，以自适应地赋能或禁能该同位置亮度块的QP信息的重用。
实施例的变型分别编解码语法元素，用于确定序列级别、图像级别或切片级别中亮度和色度分量的QP最小块区域。在另一个变型中，用于色度分量的QP最小块区域由亮度分量的QP最小块区域确定。可以标示一个标志以指示用于色度分量的QP最小块区域是否根据与取样亮度分量和色度分量的颜色取样比率相同的比率来确定。
本公开的方面还提供了一种用于视频编解码系统的装置，根据在视频比特流中有条件地标示的QP信息的具有自适应量化。该装置的实施例确定最小QP块区域，并将最小QP块区域与通过分区方法划分的每个CB的区域进行比较。如果当前CB的区域大于或等于最小QP块区域，则在视频比特流中标示当前CB的QP信息。该装置的一些其他实施例确定深度语法元素，并将深度语法元素与通过组合分区方法划分的每个CB的组合深度进行比较。如果当前CB的组合深度小于或等于深度语法元素，则在视频比特流中标示当前CB的QP信息。
本公开的方面进一步提供了一种非挥发性计算器可读介质，其存储用于使装置的处理电路根据视频比特流中有条件地标示的QP信息进行自适应量化的视频编解码处理的程序指令。视频编解码处理的一个实施例确定最小QP块区域或深度语法元素，并且根据比较结果有条件地标示由分区方法分割的每个块的QP信息。通过对具体实施方式的以下描述进行回顾，本发明的其他方面和特征对于本领域具有普通知识者将变得显而易见。
附图说明
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中相同的附图标记表示相同的组件，并且其中：
图1标出了用于将编解码树单元(CTU)分割成编解码单元(CU) 并将每个CU分割成HEVC标准中的一个或多个变换单元(TU)的示例性编解码树。
图2示出了根据HEVC标准将CU分成一个或多个PU的八种不同的PU分区类型。
图3示出了二叉树分割方法的六个示例性分割类型。
图4A示出了根据二叉树分割方法的示例性块分区结构。
图4B示出了对应于图4A所示的块分区结构的编解码树结构。
图5A示出了根据四叉树二叉树(QTBT)分区方法的示例性块分区结构。
图5B示出了对应于图5A的块分区结构的编解码树结构。
图6示出了三叉树分区方法中的两个示例性三叉树分区类型。
图7A示出了根据QTBT分割方法将64×64编解码树块分割为多个编解码块的示例性块分区结构。
图7B示出了当根据本发明的实施例的QP最小块区域是256像素时，对应于图7A中的64×64编解码树块的量化组。
图8A示出了根据QTBT分区方法的块分区结构的示例。
图8B示出了根据本发明的实施例的图8A相应的四叉树叶块，其中针对每个四叉树叶块标示QP信息。
图9示出根据本发明的实施例的示例性视频数据处理方法的流程图。
图10是示出根据本发明另一实施例的示例性视频数据处理方法的流程图。
图11示出了结合根据本发明的实施例的视频数据处理方法的视频编码系统的示例性系统框图。
图12示出了结合根据本发明的实施例的视频数据处理方法的视频解码系统的示例性系统框图。
具体实施方式
将容易理解，如本文中的图中一般描述和示出的本发明的组件可以以各种各样的不同配置来布置和设计。因此，如附图所示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制本发明所要求保护的范围，而是仅代表本发明的选定实施例。
贯穿本说明书对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方的短语“在一个实施例中”或“在一些实施例中”的出现不一定全部指代相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实现。此外，所描述的特征、结构或特征可以以任何合适的方式组合在一个或多个实施例中。然而，本领域技术人员将认识到，可以在没有一个或多个具体细节，或其他方法、组件等的情况下实现本发明。在其他情况下，未示出已知的结构或操作的详细描述以避免模糊本发明的方面。
在HEVC标准中，大于或等于ΔQP信令(signaling)的最小块大小的每个编解码块(Coding Block,简写为CB)具有其自己的量化参数 (QP)，并且QP信息被传送到解码器侧，使得解码器将使用相同的 QP用于合适的解码过程。发送由当前编解码QP和参考QP之间的差导出的ΔQP以减少QP信息所需的比特率(bit rate)。亮度分量的ΔQP 信令由两个标志cu_qp_delta_enabled_flag和diff_cu_qp_delta_depth控制。赋能(enable)标志cu_qp_delta_enabled_flag用于指示ΔQP信令被赋能或禁能(disable)，深度语法元素diff_cu_qp_delta_depth用于设置Δ QP信令的最小块大小。若赋能标志cu_qp_delta_enabled_flag指示ΔQP 信令被赋能，则图像参数集(Picture Parameter Set,简写为PPS)中呈现深度语法元素diff_cu_qp_delta_depth，并可在变换单元(TU)语法中呈现语法元素cu_qp_delta_abs。若cu_qp_delta_abs存在且不为零，则 TU语法中可能存在正负号(sign)标志cu_qp_delta_sign_flag以指示ΔQP 的正负号。深度语法元素diff_cu_qp_delta_depth指定亮度CTB大小和用于传送包括cu_qu_delta_abs和cu_qp_delta_sign_flag的ΔQP信息的最小亮度CB大小之间的深度差。解码器根据深度语法元素确定来自亮度CTB大小的ΔQP信号的最小块大小。该深度语法元素diff_cu_qp_ delta_depth的值被设置在零到 Log2_diff_max_min_luma_coding_block_size的范围内。如果深度语法元素不存在，则深度语法元素diff_cu_qp_delta_depth的值被推断为0，并且当深度语法元素为0时，ΔQP信令的最小块大小等于亮度CTB 大小。Log2_diff_max_min_luma_coding_block_size指定最大和最小亮度CB大小之间的深度差异，当深度语法元素等于 Log2_diff_max_min_luma_coding_block_size时，ΔQP信令的最小块大小等于最小亮度CB大小。若当前CB大小大于或等于ΔQP信令的最小块大小，编码器将视频比特流中当前CB的ΔQP信息并入。解码器基于深度语法元素diff_cu_qp_delta_depth的值来确定ΔQP信令的最小块大小，并且为了解码每个CB，若CB大小大于或等于ΔQP信令的最小块大小，则解码器从视频比特流解析ΔQP信息。
若赋能标志cu_qp_delta_enabled_flag指示赋能并且检查标志IsCuQpdeltaCoded指示为零，则语法元素cu_qp_delta_abs和 cu_qp_delta_sign_flag被并入在TU级的视频比特流中。若赋能标志 cu_qp_delta_enabled_flag指示赋能且当前log2的CB大小大于或等于变量Log2MinCuQpdeltaSize，则在编解码CU时，检查标志IsCuQpdeltaCoded被设置为零。变量Log2MinCuQpdeltaSize由 CtbLog2SizeY与深度语法元素diff_cu_qp_Δdelta_depth之间的差异导出，其中CtbLog2SizeY是亮度log 2的CTB大小，例如，若亮度CTB 大小为64，则为CtbLog2SizeY＝6。
基于用于当前CB和参考QP的标示的ΔQP导出当前CB的最终 QP，其中参考QP导出基于当前CB的相邻编解码量化组的QP。量化组是共享QP信息的基本单元。相邻编解码量化组包括具有QP值 qP_A的上述相邻编解码量化组和具有QP值qP_L的左邻近编Δ码量化组。参考QP等于(qP_L+qP_A+1)>>1。若qP_A或qP_L不可用，则使用QP值qP_prev，其中qP_prev是解码顺序中先前量化组的QP值。若此qP_prev也不可用，则使用切片QP值。
在HEVC标准范围扩展中，色度QP偏移信令由两个标志：色度赋能标志cu_chroma_qp_offset_enabled_flag和色度偏移标志 Log2MinCuChromaQpOffsetSize控制，其中色度赋能标志指示色度QP 偏移信令是赋能还是禁能，而色度偏移大小标志用于设置色度QP偏移信令的最小大小。色度偏移大小变量Log2MinCuChromaQpOffsetSize 由CtbLog2SizeY和色度深度语法元素diff_cu_chroma_qp_offset_depth 之间的差异导出，其中色度深度语法元素指定亮度CTB大小和传达色度QP偏移的最小编解码单元的亮度CB大小之间的差异。若色度赋能标志cu_chroma_qp_offset_enabled_flag和cbf标志cbfChroma均指示一，则与色度QP偏移相关联的语法元素cu_chroma_qp_offset_flag和 cu_chroma_qp_offset_idx被并入TU级的视频比特流中，并且旁路标志 cu_transquant_bypass和检查标志IsCuChromaQpOffsetCoded都指示为零。若色度赋能标志cu_chroma_qp_offset_enabled_flag表示赋能，并且当前CB大小的log 2大于或等于色度偏移大小变量Log2MinCuChromaQpOffsetSize，则在编码CU时，检查标志 IsCuChromaQpOffsetCoded设置为零。
HEVC中的编解码块(CB)的形状在四叉树分区之后始终是正方形，因为CB的块宽度等于CB的块高度，用于传送ΔQP或色度QP 偏移的最小块大小由诸如深度值或宽度值的一维度量确定。在一个示例中，当亮度CTB大小为64×64时，深度值0表示QP信息信令的最小块大小为64×64，深度值1表示QP信息信令的最小块大小为32× 32，深度值2表示QP信息信令的最小块大小为16×16。但是，二叉树、QTBT和三叉树分区方法等其他分区方法的分区块并不都为正方形。本申请描述了具有用于正方形和非正方形编解码块的调节的(conditioned)QP信息信令的各种视频数据处理方法。用于分割编解码块的分区方法可是四叉树、二叉树、三叉树，分区方法中包括某些分割类型的受限分区方法，或组合诸如QTBT的多种分区方法的组合分区方法。
由块的区域调节的QP信息信号。在本发明的一些实施例中，不使用诸如分区深度值或块宽度的一维度量来确定QP信息信令的最小块大小，而是使用诸如块的区域的二维度量。仅针对大于或等于QP最小块区域的编解码块发送诸如ΔQP或色度QP偏移的QP信息。根据实施例的实现，将变量MinCuQpdeltaArea或Log2MinCuQpdeltaArea定义为表示用于传送ΔQP信息的QP最小块区域。变量MinCuQpdeltaArea 或Log2MinCuQpdeltaArea可以在视频比特流中以高级语法发送，或者可以从一个或多个其他语法元素导出。若赋能标志 cu_qp_delta_enabled_flag表示对当前CU赋能了QP信息信令，并且当前亮度CB的块区域大于或等于表示QP最小块区域的变量 MinCuQpdeltaArea，则在编解码当前CU时将校验标志IsCuQpdeltaCoded设置为零。通过将当前亮度CB的块宽度CbWidth和块高度CbHeight相乘来计算块区域。以下伪代码说明了设置检查标志所需的条件：
Figure GDA0002718972170000121
变量CuQpdeltaVal指定包含cu_qp_delta_abs的编解码单元的亮度量化参数与其预测之间的差。若显示cu_qu_delta_abs，则 CuQpdeltaVal＝cu_qp_delta_abs*(1-2*cu_qp_delta_sign_flag)。
若检查标志IsCuQpdeltaCoded为零，则标示用于当前编解码块的与QP信息相关联的语法元素，例如表示ΔQP绝对值cu_qu_delta_abs 和ΔQP正负号标志cu_qp_delta_sign_flag的语法元素。在一个实施例中，若当前编解码块的校验标志为零并且当前编解码块的赋能标志指示ΔQP信令被赋能，则针对当前编解码块标志与QP信息相关联的语法元素。在与QP信息相关联的语法元素被标示之后，将检查标志设置为1。
用于标示QP信息的一般规则描述如下。对于具有大于或等于QP 最小块区域的区域的编解码块，针对编解码块标示QP信息，例如Δ QP或QP偏移。对于编解码块组中的每个具有小于QP最小块区域的单独区域，但是组中的编解码块的总区域大于或等于QP最小块区域的编解码块组，发送或导出共享QP信息用于多个编解码块共享。共享共享QP信息的编解码块组在本公开中也被称为量化组。
在一些实施例中，若当前CB的区域小于QP最小块区域，则由一组CB共享的共享QP信息被用于当前CB。不是为组中的每个CB标示单独的QP信息，而是组中的所有CB重用共享的QP信息。共享共享QP信息的组的总区域大于或等于QP最小块区域。在一个实施例中，当处理具有至少一个非零残差变换系数的量化组中的第一已编解码的 CB时，将共享QP信息并入视频比特流中或从视频比特流解析。第一已编解码的CB是根据编码顺序或解码顺序共享共享QP信息的量化组中第一处理CB。在第一个CB之后编解码的量化组中的随后之CB重用从第一已编解码的CB确定的共享QP信息。当量化组中的所有残差变换系数为零时，不需要标示QP信息。例如，若编解码块标志cbf为零，则量化组的QP信息不被并入视频比特流中，也不从视频比特流解析。在量化组中的所有CB不具有任何非零残差变换系数的情况下，在视频比特流中不标示诸如ΔQP的QP信息。当省略用于量化组的Δ QP 的标示时，Δ QP可被推定为零。该量化组的QP被设置为等于参考QP，并且尽管该QP不用于量化当前量化组的残差信号，但是可以由随后的量化组参考。在一些其他实施例中，从参考QP、默认QP或先前QP 导出共享QP信息。
或者，当Log 2变量Log 2MinCuQpdeltaArea用于与当前亮度CB 的块区域进行比较时，通过将当前亮度CB的块宽度的Log 2值与块宽度的Log 2值加总计算块区域。以下伪代码说明了设置检查标志所需的条件：
Figure GDA0002718972170000131
Figure GDA0002718972170000141
类似地，将变量MinCuChromaQpOffsetArea或 Log2MinCuChromaQpOffsetArea定义为表示用于传送色度QP信息的最小块区域。若赋能标志cu_chroma_qp_offset_enabled_flag表示色度QP 信息信令被赋能且当前色度CB的块区域大于或等于变量MinCuChromaQpOffsetArea，则对编码当前CU时的检查标记 IsCuChromaQpOffsetCoded设置为零。通过将当前色度CB的块宽度和块高度相乘来计算当前色度CB的块区域。色度检查标志可以根据以下条件设置：
Figure GDA0002718972170000142
若检查标志IsCuChromaQpOffsetCoded为零，则与色度QP信息相关联的语法元素，例如表示色度QP偏移或色度QPΔ的语法元素被标示用于当前编解码块。在一个实施例中，若当前编解码块的检查标志为零并且当前编解码块的赋能标志指示色度QP信息信令被赋能，则针对当前编解码块标示与色度QP信息相关联的语法元素。在标示语法元素之后，将检查标志设置为1。
或者，当Log 2变量Log2MinCuChromaQpOffsetArea用于与当前色度CB的块区域进行比较时，通过将当前色度CB的块宽度的Log 2 值和块高度的Log 2值相加来计算块区域。色度检查标志可以根据以下条件设置：
Figure GDA0002718972170000143
以下等式示出了导出表示亮度和色度分量的QP最小块区域的变量的示例。变量Log2MinCuQpdeltaArea包括计算CtbLog2SizeY和深度语法元素diff_cu_qp_delta_depth之间的差值，然后乘以2(times by two)。导出变量Log2MinCuChromaQpOffsetArea的示例包括计算 CtbLog2SizeY和色度深度语法元素diff_cu_chroma_qp_offset_depth之间的差，然后乘以2。
Log2MinCuQpdeltaArea＝2*(CtbLog2SizeY- diff_cu_qp_delta_depth)
Log2MinCuChromaQpOffsetArea＝2*(CtbLog2SizeY- diff_cu_chroma_qp_offset_depth)
图7A示出了根据QTBT分区方法将64×64编解码树块分割为多个编解码块的示例性块分割结构。图7A中的实线是四叉树分区之后的块边界，并且图7A中的虚线是二叉树分割之后的块边界。图7B示出了当根据本发明的实施例的QP信息信令的QP最小块区域是256像素 (即，16×16)时，对应于图7A中的64×64编解码树块的量化组，其中每个量化组中的一个或多个编解码块共享相同的QP信息。在图 7B中，若这些量化组中的每个编解码块的块区域小于256个像素，则一些量化组包含多于一个的编解码块。量化组中的编解码块共享在视频比特流中发送的相同的QP信息，并且不对量化组中的每个编解码块发送单独的QP信息。
若当前CB的区域大于或等于QP最小块区域，则当前CB的QP 信息被并入编码器侧的视频比特流中，或者自解码器侧的视频比特流解析出当前CB的QP信息。若当前CB的区域小于QP最小块区域，则从共享QP信息导出当前CB的QP信息。例如，当处理共享共享QP 信息的一组CB的第一已编解码的CB或最后编解码CB时，共享QP 信息被并入视频比特流中或从视频比特流解析。第一已编解码的CB根据编码或解码顺序在组内的其他CB之前被编解码，而最后编解码的 CB根据编码或解码顺序编码在组中的所有其他CB之后被编解码。一些实施例中的共享QP信息被标示在具有至少一个非零残差变换系数的CB中，例如，共享QP信息被标示在包含至少一个非零残差变换系数的第一CB中。共享共享QP信息的CB组的总区域大于或等于QP最小块区域。在比特流中不标示具有小于QP最小块区域的区域的CB的单独QP信息。在一个实施例中，当前CB重新使用针对位于当前CB 上方或当前CB左侧的先前编解码的CB标示的共享QP信息，并且这两个CB的总区域等于QP最小块区域。
由块的组合深度(combined depth)调节的QP信息信令具有调节QP 信息信令的视频数据处理方法的一些实施例定义当分区结构组合两个或多个分区方法,例如QTBT分区方法时,基于组合深度传送QP信息的最小块大小。在一个实施例中，对于通过QTBT分区方法分区的块，通过由CB的四叉树深度和二叉树深度导出的组合深度确定是否标示 CB的QP信息。计算组合深度的一示例是通过四叉树深度加上一半的二叉树深度。当计算出的组合深度小于或等于深度语法元素 diff_cu_qp_delta_depth时，标示编解码块的QP信息。在本实施例中，若赋能标志cu_qp_delta_enabled_flag指示QP信令信令被赋能并且组合深度小于或等于深度语法元素diff_cu_qp_delta_depth，则设置检查标志 IsCuQpdeltaCoded，如下所示：
Figure GDA0002718972170000161
深度语法元素diff_cu_qp_delta_depth指定诸如CTB大小的最大编解码块大小与用于传送QP信息的最小块大小之间的深度差的差异。解码器根据深度语法元素从CTB大小确定QP信息信令的最小块大小。若深度语法元素不存在，则深度语法元素diff_cu_qp_delta_depth的值可以推定为零，并且当深度语法元素为零时，QP信息信令的最小块大小等于CTB大小。当深度语法元素diff_cu_qp_delta_depth的值是有效范围内的最大值时，QP信息信令的最小块大小等于最小CB大小。
若色度赋能标志cu_chroma_qp_offset_enabled_flag指示色度QP信息信令被赋能且组合深度小于或等于色度深度语法元素 diff_cu_chroma_qp_offset_depth，则设置色度检查标志 IsCuChromaQpOffsetCoded，如下所示：
if(cu_chroma_qp_offset_enabled_flag&&quadTreeDepth+ (binaryTreeDepth>>1)<＝diff_cu_chroma_qp_offset_depth){
IsCuChromaQpOffsetCoded＝0
}.
在另一示例中，组合深度通过以下等式计算：
quadTreeDepth+((binaryTreeDepth+1)>>1)
在前述实施例的变型中，通过将四叉树深度乘以2加上二叉树深度来计算组合深度，并将该组合深度与深度语法元素的两倍进行比较。
以下伪代码演示了此示例：
Figure GDA0002718972170000171
由组合深度调节的QP信息信令的上述实施例仅描述根据QTBT分区方法分区的块的情况，然而，QP信息信令方法不限于QTBT分区方法。由组合深度调节的QP信息信令方法可以应用于通过组合两种或更多种分区方法的任何组合分区方法分割的块。在另一个实施例中，基于第一分区方法的第一分区深度和第二分区方法的第二分区深度来计算组合深度。在计算组合深度时，可能会对不同分区方法的分区深度应用不同的加权。对于使用四叉树分区方法拆分块，然后使用三叉树分区方法拆分块的组合分区方法，基于四叉树深度和三叉树深度计算组合深度。用于计算组合深度的权重对于四叉树深度可以是1，对于三叉树深度可以是3/4。
在四叉树叶块处的QP信息信令具有调节的QP信息信令的视频数据处理方法的一些实施例设置约束,使得QP信息信令的单位是QTBT 块分区结构中的四叉树叶块。QTBT分区方法首先根据四叉树分区递归分块，然后从四叉树叶块开始进行二叉树分区。图8A示出了根据 QTBT分区方法的块分区结构的示例，其中实线是四叉树分区边界，虚线是二叉树分区边界。图8B示出了图8A的相应的四叉树叶块，其中针对每个四叉树叶块标示QP信息，例如亮度块或色度块的ΔQP，或亮度块或色度块的QP偏移,且每个四叉树叶块中的一个或多个二叉树编解码块共享相同的QP信息。该QP信息信令方法也可以应用于根据两个或更多个分区方法一个接一个地分割块的其他分区方法。例如，分区方法首先根据第一分区方法递归地分块，然后从第一分区方法的叶块开始第二分区方法。QP信息信令方法将第一分区方法的叶块设置为QP信息信令的单位，并且第一分区方法的叶块中通过第二分区方法分割的所有较小块共享相同的QP信息。
用于亮度和色度分量的单独的块分区结构在HEVC中，块分区结构对于亮度和色度分量是相同的，除非块分区结构导致一个或多个色度块小于最小色度编解码块大小。仅针对亮度分量标示ΔQP，而根据针对共位的亮度块和色度QP偏移的ΔQP导出色度块的QP。本发明的一些实施例允许亮度和色度分量的单独的块分区结构为编解码色度分量提供更大的灵活性。在一个实施例中，用于亮度和色度分量的两个独立的深度语法元素被标示，而在另一个实施例中，在亮度和色度分量之间共享相同的深度语法元素。在另一个实施例中，色度分量的深度语法元素diff_cu_qp_delta_depth_c被设置为取决于亮度分量的深度语法元素diff_cu_qp_delta_depth的值。例如，色度分量的深度语法元素的值由亮度分量减去n的深度语法元素导出，其中n是大于零的整数。可以标示用于色度分量的深度语法元素diff_cu_qp_delta_depth_c，以指定色度编解码树块(CTB)尺寸和最小色度编解码块(CB)尺寸之间的差异，用于传送包括ΔQP cu_qp_delta_abs的绝对值的QP信息和ΔQP cu_qp_delta_sign_flag的正负号用于色度分量。该深度语法元素diff_cu_qp_delta_depth_c的值被限制在零至Log2值的最大和最小编解码块大小之间的差Log2_diff_max_min_luma_coding_block_size(包含) 的范围内。当该深度语法元素不存在时，深度语法元素 diff_cu_qp_delta_depth_c的默认值可以被推断为零。
当分别确定亮度和色度分量的块分区结构时，可以分别针对亮度和色度分量标示两个ΔQP。用于确定ΔQP信令(诸如 MinCuQpdeltaArea、Log2MinCuQpdeltaArea或Log2MinCuQpdeltaSize 之类)的最小块大小的语法元素也可以针对序列级别，图像级别或切片级别中的亮度和色度分量被分别编解码。一些实施例中的色度ΔQP可以从共位的亮度块的ΔQP或最终QP来预测。
在一些实施例中，用于色度分量的QP最小块区域由亮度分量的 QP最小块区域确定。标示一个实施例中的标志，以指示用于ΔQP信号的最小色度块大小的语法元素(例如MinCuQpdeltaAreaC或 Log2MinCuQpdeltaAreaC)是否根据与取样亮度和色度分量的颜色取样比率相同的比例来确定。例如，对于4：2：0取样格式，该标志用于指示色度分量MinCuQpdeltaAreaC的语法元素的值是否在亮度分量的语法元素MinCuQpdeltaArea中指示的值的四分之一。若语法元素在 Log 2值中表示，则该标志用于指示色度分量Log2MinCuQpdeltaAreaC 的语法元素的值是否等于亮度分量的语法元素的值减去2(即Log2MinCuQpdeltaArea-2)。
在一个实施例中，当对多于一个颜色分量进行编解码时，例如当语法元素ChromaArrayType大于零时，为三个颜色分量分别标示三个ΔQP，针对每个亮度分量Y、色度分量Cb和Cr分别标示ΔQP。在本实施例中，用于亮度和色度分量的ΔQP信息被单独标示，并且针对色度分量省略了色度QP偏移的信令。
当分隔块分区结构用于亮度和色度分量时，另一个实施例重新使用色度分量的亮度ΔQP。在该实施例中，由于色度块的色度ΔQP可以由共位(co-located)的亮度块的ΔQP和色度QP偏移导出，所以仅信令一个亮度分量的ΔQP和色度QP偏移。表示在视频比特流中标示的色度QP偏移量的语法元素可以包括色度QP偏移标志 cu_chroma_qp_offset_flag和色度QP偏移指数 (Index)cu_chroma_qp_offset_idx。指示ΔQP是否被色度分量重新使用的重用标志可以在序列级别、图像级别或切片级别被标示以自适应地赋能或禁能ΔQP的重用。若重用标志指示ΔQP的重用被禁能，则标示两个或更多个ΔQP用于亮度和色度分量。
图9是示出根据区域的比较结果有条件地标示QP信息的视频数据处理方法的实施例的流程图。图9中描述的视频数据处理方法可以应用于亮度分量和色度分量中的一个或多个。在步骤S902中确定QP最小块区域，例如，自视频比特流中标示的一个或多个语法元素中导出。在步骤S904中接收当前切片中的当前CB的输入数据，并且在步骤 S906中根据当前CB的宽度和高度来计算当前CB的区域。在步骤908 中，将当前CB的区域与QP最小块区域进行比较，若当前CB的区域大于或等于QP最小块区域，则视频数据处理方法进行到步骤S910，否则，视频数据处理方法进行到步骤S912。在步骤S910中确定当前 CB的QP信息并将其合并到视频比特流中或从视频比特流解析当前CB 的QP信息，而在步骤S912中，从共享QP信息导出当前CB的QP信息。在步骤S912中，由于当前CB没有单独的QP信息被标示，包括当前CB的一组CB共享共享QP信息。然后，在步骤S914中，将当前 CB的QP信息用于量化残差信号或恢复量化残差信号。步骤S916检查当前CB是否是当前切片中的最后一个CB，若当前CB不是最后一个 CB，则视频数据处理方法重复步骤S904至步骤S916；否则视频数据处理在步骤S918中结束当前切片的量化或逆量化。根据一些实施例，比较步骤S908还可以确定当前CB中是否存在任何非零残差变换系数，并且当至少一个非零残差变换系数存在于当前CB时，编码器或解码器仅进行到步骤S910或步骤S912。若当前CB中没有非零残差变换系数，这意味着所有系数都为零，因为当前CB的量化或反量化可能被跳过，则不需要当前CB的QP信息的信令。
图10是示出根据本发明的另一实施例的示例性视频数据处理方法的流程图。代替比较多个区域，图10所示的实施例将组合深度与深度语法元素进行比较。图10所示的视频数据处理方法也可以应用于一个或多个亮度分量和色度分量。在流程图中，在步骤S1002中确定深度语法元素，例如，深度语法元素是从视频比特流中标示的一个或多个语法元素导出。在步骤S1004中接收当前切片中当前CB的输入数据。在步骤S1006中计算当前CB的组合深度，其中根据第一分区深度和第二分割深度计算组合深度。根据首先使用第一分区方法分区，然后分割第二分区方法的组合分区方法，对当前切片中的CB进行分区。步骤 S1008检查当前CB的组合深度是否小于或等于深度语法元素，若是，则视频数据处理进行到步骤1010，否则进入步骤1012。在步骤S1010 中确定当前CB的QP信息并将其合并到视频比特流中或从视频比特流解析当前CB的QP信息；而在步骤S1012中从共享QP信息确定当前 CB的QP信息。在步骤S1014中，使用从步骤S1010或S1012确定的 QP信息量化残差信号或恢复量化残差信号。步骤S1016检查当前CB 是否为当前切片中的最后一个CB，并且若当前CB并非当前切片中的最后一个CB，则视频数据处理方法重复步骤S1004至步骤S1016，否则，对于当前切片的量化或逆量化操作在步骤S1018中结束。类似于图9，比较步骤S1008还可以确定当前CB中是否存在任何非零残差变换系数，并且仅当当前CB中存在至少一个非零残差变换系数时，才执行步骤S1010或步骤S1012中的QP信息确定或信令。当当前CB中的所有残差变换系数为零时，因为跳过当前CB的量化或逆量化，不需要 QP信息信令。
图11示出了实现本发明的实施例的视频编码器1100的示例性系统框图。帧内预测1110基于当前图像的重构视频数据提供帧内预测值。帧间预测1112执行运动估计(motionestimation,简写为ME)和运动补偿(motion compensation,简写为MC)，以基于来自其他一个或多个图像的视频数据提供预测值。帧内预测1110或帧间预测1112都将选定的预测值提供给加法器1116，以形成预测误差，也称为残差。当前块的残差通过变换(T)1118进一步处理，随后进行量化(Q)1120处理。然后，经熵编码器1134对经变换和量化的残差信号进行编码以形成视频比特流。在Q 1120中，根据区域的比较结果或深度的比较结果，确定当前CB的QP信息并有条件地标示在视频比特流中。根据实施例，若当前CB的区域大于或等于最小QP块区域，则确定当前CB的各 (Individual)QP信息并标示在视频比特流中。根据另一实施例，若当前 CB的组合深度小于或等于深度语法元素，当前CB的各QP信息被确定并标示在视频比特流中。然后，利用包括QP信息的边信息来打包视频比特流。通过逆量化(IQ)1122和逆变换(IT)1124处理当前块的经变换和量化的残差信号，以恢复预测残差。根据本发明的实施例，当前CB的QP信息也用于恢复IQ 1122中的量化残差信号。如图11所示，通过在重构(REC)1126处加回所选择的预测值来恢复残差，以产生重建的视频数据。重建的视频数据可以存储在参考图像缓冲器 (Reference Picture Buffer)1132中，并用于预测其它图像。由于编码处理，来自REC 1126的重构的视频数据可能会受到各种损害，因此，在将重建的视频数据存储在参考图像缓冲器1132中之前,将环路处理滤波器(In-loop ProcessingFilter)1128应用于重建的视频数据，以进一步提高图像质量。与QP信息相关联的语法元素被提供给熵编码器1134，用于并入到视频比特流中。
在图12中示出了图11的视频编码器1100的对应视频解码器1200。由视频编码器编码的视频比特流是视频解码器1200的输入，并由熵解码器1210解码以解析和恢复经变换和量化的残差信号等系统信息。根据一个实施例,若当前CB的区域大于或等于最小QP块区域，则熵解码器1210解析当前CB的QP信息。根据另一实施例，若当前CB的组合深度小于或等于深度语法元素，则熵解码器1210解析当前CB的QP 信息。解码器1200的解码处理类似于编码器1100处的重建循环，除了解码器1200仅需要帧间预测1214中的运动补偿预测。每个块由帧内预测1212或帧间预测1214进行解码。切换1216根据解码模式信息，从帧内预测1212选择帧内预测或从帧间预测1214选择帧间预测。通过逆量化(IQ)1220和逆变换(IT)1222恢复与每个块相关联的经变换和量化的残差信号。IQ 1220根据由熵解码器1210解析的QP信息来恢复量化的残差信号。恢复的残差信号是通过在REC 1218中加回预测值来重构，以产生重建的视频。重建的视频由环路处理滤波器(滤波器)1224进一步处理，以生成最终解码的视频。若当前解码的图像是参考图像，则当前解码图像的重构视频也存储在参考图像缓冲器1228 中用于解码顺序中的后续图像。
图11和图12中的视频编码器1100和视频解码器1200的各种组件可以由硬件组件、被配置为执行存储在内存中的程序指令的一个或多个处理器或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制与当前图像相关联的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器1100和解码器1200中的一些组件中执行功能，并且与处理器电耦合的内存用于存储程序指令、对应于块的重建图像的信息和/或编码或解码过程中的中间数据。在一些实施例中的内存包括非挥发性计算器可读介质，诸如半导体或固态内存、随机存取内存(RAM)、只读内存(ROM)、硬盘、光盘或其他合适的记忆介质。内存还可以是上面列出的两个或更多个非挥发性计算器可读介质的组合。如图11和图12所示，编码器1100和解码器1200可以在相同的电子设备中实现，因此若在相同的电子设备中实现，则编码器1100和解码器1200的各种功能组件可以被共享或重用。例如，图11中的重构1126、逆变换1124、逆量化 1122、环路处理滤波器1128和参考图像缓冲器1132中的一个或多个也可以用作图12中的重构1218、逆变换1222、逆量化1220、环路处理滤波器1224和参考图像缓冲器1228。
具有用于视频编解码系统的经调整的QP信息信令的视频数据处理方法的实施例可以在集成到视频压缩软件中的视频压缩芯片或程序代码中的电路中实现，以执行上述处理。例如，可以在要在计算器处理器、数字信号处理器(DSP)、微处理器或现场可编程门阵列(FPGA) 上执行的程序代码中实现对当前块设置的当前模式的确定。可以通过执行定义本发明所体现的特定方法的机器可读软件代码或固体代码来将这些处理器配置成执行根据本发明的特定任务。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其它具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求书而不是前面的描述来指示。属于专利申请范围的等同物的含义和范围内的所有变化将被包括在其范围内。

Claims (12)

1.一种视频数据处理方法，处理视频编解码系统中多个切片，其中根据组合分区方法将每个切片中的颜色分量的视频数据分成多个编解码块(CB)，并且该组合分区方法根据第一分区方法，然后根据第二分区方法分区该视频数据，该方法包括：
接收与当前切片中的当前CB相关联的输入数据；
确定深度语法元素，其中该深度语法元素指定编解码树块(CTB)大小和QP信息信令的最小块大小之间的深度值的差异；
根据该当前CB的第一分区深度和第二分区深度计算该当前CB的组合深度，其中该第一分区深度对应于该第一分区方法，该第二分区深度对应于该第二分区方法；
将该当前CB的该组合深度与该深度语法元素进行比较；
如果该当前CB的该组合深度小于或等于该深度语法元素，则确定并合并该当前CB的QP信息于视频比特流中或从该视频比特流解析该当前CB的该QP信息；以及
根据该当前CB的该QP信息来量化该当前CB的残差信号或者恢复该当前CB的量化残差信号。
2.根据权利要求1所述的方法，其中根据该第一分区深度和该第二分区深度的加权和来计算该组合深度。
3.根据权利要求2所述的方法，其中该组合分区方法是四叉树二叉树(QTBT)分区方法，该第一分区深度是该当前CB的四叉树深度，该第二分区深度是该当前CB的二叉树深度，并且通过该当前CB的该四叉树深度加上该二叉树深度的一半来计算该组合深度。
4.根据权利要求1所述的方法，其中，如果该当前CB的该组合深度大于该深度语法元素，则该当前CB的该QP信息是由一组CB共享的共享QP信息导出的，并且在该视频比特流中不标示该组中的每个CB单独的QP信息。
5.根据权利要求4所述的方法，其中，当处理共享该共享QP信息的该组CB的第一已编解码的CB时，该共享QP信息被并入该视频比特流中或从该视频比特流解析，并且该第一已编解码的CB根据编码或解码顺序在该组中首先被编解码，该第一已编解码的CB具有至少一个非零残差变换系数。
6.根据权利要求1所述的方法，其中该当前CB的该QP信息与ΔQP、QP偏移或最终QP相关联。
7.根据权利要求1所述的方法，其中在该当前CB中携带的颜色分量是亮度分量，并且该方法还包括：
如果用于该亮度分量和色度分量的多个块分组结构被分别确定，分别标示该亮度分量的QP信息以及该色度分量的QP信息。
8.根据权利要求7所述的方法，其中由于该色度分量的该QP信息与色度ΔQP相关联，该亮度分量的该QP信息与ΔQP相关联。
9.根据权利要求1所述的方法，其中在该当前CB中携带的颜色分量是色度分量，并且如果亮度分量和该色度分量的块分区结构被分别确定，该当前CB的该QP信息通过对该当前CB的共位亮度块重新使用QP信息来确定。
10.根据权利要求9所述的方法，其中在序列级别、图像级别或切片级别标示重用标志，以自适应地赋能或禁能用于该共位亮度块的QP信息的重用。
11.一种视频数据处理装置，处理视频编解码系统中的切片，其中根据组合分区方法将每个切片中的颜色分量的视频数据分成多个编解码块(CB)，并且该组合分区方法根据第一分区方法，然后根据第二分区方法分区该视频数据，该装置包括：
用于接收与当前切片中的当前CB相关联的输入数据的装置；
量化器或逆量化器，确定深度语法元素，其中由多个深度的比较结果调节该当前切片中的每个CB的QP信息的信令；
根据该当前CB的第一分区深度和第二分区深度计算该当前CB的组合深度，其中该第一分区深度对应于该第一分区方法，该第二分区深度对应于该第二分区方法；
将该当前CB的该组合深度与该深度语法元素进行比较；
如果该当前CB的该组合深度小于或等于该深度语法元素，则确定并合并该当前CB的QP信息于视频比特流中或从该视频比特流解析该当前CB的该QP信息；以及
根据该当前CB的该QP信息来量化该当前CB的残差信号或者恢复该当前CB的量化残差信号。
12.一种计算器可读存储介质，存储导致装置的处理电路执行视频处理方法的程序指令，该方法包括：
接收与当前切片中的当前CB相关联的输入数据，其中根据组合分区方法将该当前切片中的颜色分量的视频数据分成多个编解码块(CB)，并且该组合分区方法根据第一分区方法，然后根据第二分区方法分区该视频数据；
确定深度语法元素，其中由多个深度的比较结果调节该当前切片中的每个CB的QP信息的信令；
根据该当前CB的第一分区深度和第二分区深度计算该当前CB的组合深度，其中该第一分区深度对应于该第一分区方法，该第二分区深度对应于该第二分区方法；
将该当前CB的该组合深度与该深度语法元素进行比较；
如果该当前CB的该组合深度小于或等于该深度语法元素，则确定并合并该当前CB的QP信息于视频比特流中或从该视频比特流解析该当前CB的该QP信息；以及
根据该当前CB的该QP信息来量化该当前CB的残差信号或者恢复该当前CB的量化残差信号。
CN201780031613.3A 2016-05-28 2017-05-27 视频数据处理方法、装置及相应可读存储介质 Active CN109196862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011549243.2A CN112689147B (zh) 2016-05-28 2017-05-27 视频数据处理方法以及装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662342884P 2016-05-28 2016-05-28
US62/342,884 2016-05-28
US201662343042P 2016-05-30 2016-05-30
US62/343,042 2016-05-30
PCT/CN2016/087005 WO2017219342A1 (en) 2016-06-24 2016-06-24 Methods of signaling quantization parameter for quad-tree plus binary tree structure
CNPCT/CN2016/087005 2016-06-24
PCT/CN2017/086267 WO2017206826A1 (en) 2016-05-28 2017-05-27 Methods and apparatuses of video data processing with conditionally quantization parameter information signaling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011549243.2A Division CN112689147B (zh) 2016-05-28 2017-05-27 视频数据处理方法以及装置

Publications (2)

Publication Number Publication Date
CN109196862A CN109196862A (zh) 2019-01-11
CN109196862B true CN109196862B (zh) 2021-01-22

Family

ID=60479119

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780031613.3A Active CN109196862B (zh) 2016-05-28 2017-05-27 视频数据处理方法、装置及相应可读存储介质
CN202011549243.2A Active CN112689147B (zh) 2016-05-28 2017-05-27 视频数据处理方法以及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011549243.2A Active CN112689147B (zh) 2016-05-28 2017-05-27 视频数据处理方法以及装置

Country Status (6)

Country Link
US (1) US10904580B2 (zh)
EP (1) EP3453172B1 (zh)
CN (2) CN109196862B (zh)
RU (1) RU2718164C1 (zh)
TW (1) TWI642297B (zh)
WO (1) WO2017206826A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10944976B2 (en) 2016-07-22 2021-03-09 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
US10779004B2 (en) 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
GB2557430B (en) * 2016-10-12 2020-01-15 Mediatek Inc Methods and apparatuses of constrained multi-type-tree block partition for video coding
CN110178372B (zh) * 2016-12-16 2023-06-27 夏普株式会社 图像解码装置
KR20200044967A (ko) * 2017-09-18 2020-04-29 인텔렉추얼디스커버리 주식회사 블록 분할에 따른 병합 후보 리스트를 사용하는 비디오 코딩 방법 및 장치
EP3763128A4 (en) * 2018-03-14 2022-04-06 Mediatek Inc. METHOD AND APPARATUS PROVIDING AN OPTIMIZED DIVISION STRUCTURE FOR VIDEO CODING
EP3777151A1 (en) 2018-03-30 2021-02-17 InterDigital VC Holdings, Inc. Chroma quantization parameter adjustment in video encoding and decoding
CN116320456A (zh) * 2018-04-01 2023-06-23 Lg电子株式会社 编解码设备的画面编解码方法、存储介质及数据发送方法
EP3777172A4 (en) * 2018-04-02 2022-01-19 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DRIVING QUANTIFICATION PARAMETERS FOR VIDEO BLOCKS DURING VIDEO CODING
WO2019244116A1 (en) * 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Border partition in video coding
JP7278719B2 (ja) * 2018-06-27 2023-05-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN112534813B (zh) * 2018-08-16 2023-04-14 寰发股份有限公司 视频处理系统中色度量化参数导出的方法以及装置
WO2020056757A1 (en) * 2018-09-21 2020-03-26 Alibaba Group Holding Limited Method, apparatus, and computer-readable storage medium for block partitioning tree separation under separation node
EP3641312A1 (en) * 2018-10-18 2020-04-22 InterDigital VC Holdings, Inc. Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
US20220038704A1 (en) * 2018-09-24 2022-02-03 Interdigital Vc Holdings, Inc. Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
US11303904B2 (en) * 2018-09-28 2022-04-12 Qualcomm Incorporated Rectangular block transform scaling
CN113228650B (zh) * 2018-11-08 2024-03-19 交互数字Vc控股公司 基于块的表面的视频编码或解码的量化
WO2020111981A1 (en) 2018-11-26 2020-06-04 Huawei Technologies Co., Ltd. Apparatus and method for chrominance quantization parameter derivation
CN116668674A (zh) * 2018-12-07 2023-08-29 华为技术有限公司 视频译码的约束预测模式
WO2020177702A1 (en) * 2019-03-04 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Two-level signaling of filtering information in video processing
CN113632493A (zh) * 2019-03-13 2021-11-09 北京字节跳动网络技术有限公司 变换跳过模式中的子块变换
BR112021016410A2 (pt) * 2019-03-21 2021-11-09 Samsung Electronics Co Ltd Método de decodificação de vídeo, aparelho de decodificação de vídeo, e método de codificação de vídeo
WO2020216176A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma syntax elements in video coding
KR102641796B1 (ko) * 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
WO2020239119A1 (en) 2019-05-30 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering for chroma components
US11418787B2 (en) * 2019-06-28 2022-08-16 Qualcomm Incorporated Chroma delta QP in video coding
US11381819B2 (en) 2019-07-05 2022-07-05 Qualcomm Incorporated Chroma delta quantization parameter (QP) in video coding
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
CN114258684A (zh) * 2019-08-22 2022-03-29 Lg 电子株式会社 图像解码方法及其设备
US11356684B2 (en) 2019-08-30 2022-06-07 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter table
BR112022003656A2 (pt) 2019-09-02 2022-05-24 Beijing Bytedance Network Tech Co Ltd Método e aparelho de processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
KR20220073745A (ko) * 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 잔차 및 필터링의 공동 코딩
US11399195B2 (en) * 2019-10-30 2022-07-26 Tencent America LLC Range of minimum coding block size in video coding
WO2021170036A1 (en) * 2020-02-26 2021-09-02 Mediatek Inc. Methods and apparatuses of loop filter parameter signaling in image or video processing system
US11381820B2 (en) * 2020-04-13 2022-07-05 Tencent America LLC Method and apparatus for video coding
AU2021202140A1 (en) * 2021-04-07 2022-10-27 Canon Kabushiki Kaisha Grouped feature map quantisation

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978697B (zh) * 2008-01-25 2013-02-13 惠普开发有限公司 针对基于块的编码的编码模式选择
KR101785666B1 (ko) 2010-01-12 2017-10-16 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR20120016980A (ko) * 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
US20120114034A1 (en) 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
CN102685478B (zh) 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US20140205007A1 (en) * 2011-08-31 2014-07-24 Sony Corporation Image processing devices and methods
BR112014007494B1 (pt) * 2011-09-29 2022-05-31 Sharp Kabushiki Kaisha Dispositivo de decodificação de imagem, método de decodificação de imagem, e dispositivo de codificação de imagem
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
CN104094600B (zh) 2012-01-30 2017-10-03 三星电子株式会社 用于包括量化参数预测的基于分层数据单元的视频编码和解码的方法和设备
US9565450B2 (en) * 2012-03-07 2017-02-07 Lg Electronics Inc. Method and device for processing video signal
US9330475B2 (en) * 2012-05-01 2016-05-03 Qualcomm Incorporated Color buffer and depth buffer compression
CN102801976B (zh) 2012-08-03 2014-10-22 山东省科学院情报研究所 基于三维小波视频编码的帧间块模式选择方法
US10271034B2 (en) * 2013-03-05 2019-04-23 Qualcomm Incorporated Simplified depth coding
KR102136913B1 (ko) * 2013-03-15 2020-07-22 퀄컴 인코포레이티드 심도 맵 인트라 코딩을 위한 예측자
WO2014146219A1 (en) * 2013-03-22 2014-09-25 Qualcomm Incorporated Depth modeling modes for depth map intra coding
JP6154643B2 (ja) * 2013-03-29 2017-06-28 Kddi株式会社 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム
US9641853B2 (en) * 2013-04-15 2017-05-02 Futurewei Technologies, Inc. Method and apparatus of depth prediction mode selection
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
US9571858B2 (en) * 2013-07-19 2017-02-14 Futurewei Technologies, Inc. Method and apparatus of derivation for a binary partition pattern
JP6069128B2 (ja) * 2013-08-08 2017-02-01 日本電信電話株式会社 変換量子化方法、変換量子化装置及び変換量子化プログラム
KR102254118B1 (ko) * 2013-10-12 2021-05-20 삼성전자주식회사 인트라 블록 복사 예측을 이용한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9648332B2 (en) * 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
WO2015123806A1 (en) * 2014-02-18 2015-08-27 Mediatek Singapore Pte. Ltd. Methods for depth based block partitioning
KR102399593B1 (ko) * 2014-06-18 2022-05-18 삼성전자주식회사 다 시점 영상 부호화/복호화 방법 및 장치
WO2015199376A1 (ko) * 2014-06-26 2015-12-30 주식회사 케이티 다시점 비디오 신호 처리 방법 및 장치
US20170164004A1 (en) * 2014-07-04 2017-06-08 Kt Corporation Method and device for processing multi-view video signal
EP3206402A4 (en) * 2014-10-08 2018-03-21 LG Electronics Inc. Depth picture coding method and device in video coding
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
EP3276566A1 (en) 2016-07-26 2018-01-31 Gemalto Sa Method, device, server and system for securing a transaction relating to a device

Also Published As

Publication number Publication date
RU2718164C1 (ru) 2020-03-30
EP3453172A1 (en) 2019-03-13
US10904580B2 (en) 2021-01-26
CN112689147B (zh) 2023-10-13
WO2017206826A1 (en) 2017-12-07
CN109196862A (zh) 2019-01-11
TWI642297B (zh) 2018-11-21
TW201804797A (zh) 2018-02-01
CN112689147A (zh) 2021-04-20
EP3453172B1 (en) 2023-08-09
EP3453172A4 (en) 2019-08-28
US20200322602A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN109196862B (zh) 视频数据处理方法、装置及相应可读存储介质
CN109479139B (zh) 视频处理系统中参考量化参数推导的方法与装置
CN108713320B (zh) 视频编码中限制块尺寸的视频数据处理方法与装置
KR102585509B1 (ko) 비디오 프로세싱 시스템에서 크로마 양자화 파라미터 도출의 방법 및 장치
CN112385220B (zh) 对具有分割约束的视频图像进行编码或解码的方法和装置
CN111742554B (zh) 具有视频数据自适应量化的视频编码或解码方法和装置
CN111602394A (zh) 视频编码解系统中的视频处理方法及装置
US11483549B2 (en) Methods and apparatuses for transform skip mode information signaling
US20210377519A1 (en) Intra prediction-based video signal processing method and device
US20220312033A1 (en) Video signal processing method and device using block dpcm prediction method
CN113796075A (zh) 视频编码系统中语法传讯和参照限制的方法和装置
CN113796074A (zh) 用于视频编解码的量化矩阵计算和表示的方法和装置
US11962777B2 (en) Inverse quantization device and method used in video decoding device
CN113632479B (zh) 越界节点视频数据的处理方法及装置
KR20210037506A (ko) 크로마블록의 잔차블록 복원 방법 및 영상 복호화 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220425

Address after: Hsinchu County, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Patentee before: MEDIATEK Inc.