CN114786009A - 视频编码中限制块尺寸的视频数据处理方法与装置 - Google Patents

视频编码中限制块尺寸的视频数据处理方法与装置 Download PDF

Info

Publication number
CN114786009A
CN114786009A CN202210472310.8A CN202210472310A CN114786009A CN 114786009 A CN114786009 A CN 114786009A CN 202210472310 A CN202210472310 A CN 202210472310A CN 114786009 A CN114786009 A CN 114786009A
Authority
CN
China
Prior art keywords
current block
current
unit
height
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210472310.8A
Other languages
English (en)
Inventor
黄晗
庄子德
陈庆晔
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN114786009A publication Critical patent/CN114786009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频数据处理方法。该方法包括：接收与当前图像相关联的输入数据，确定当前编码树单元或当前编码树单元中的当前编码单元(CU)的尺寸，以及如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值时，编码器或解码器将当前编码树单元或当前编码单元分割成多个块，直到每个块不大于阈值为止。当前编码树单元或当前编码单元被处理以用于预测或补偿，和变换或逆变换。根据在视频比特流中发送当前编码树单元层级语法处理当前编码树单元。编码器或解码器对当前编码树单元进行编码或解码。阈值对应于编码器或解码器的最大支持变换单元尺寸。

Description

视频编码中限制块尺寸的视频数据处理方法与装置
交叉引用
本发明主张在2016年3月16日提出的申请号为62/309,001，标题为“Methods forpattern-based MV derivation for Video Coding”的美国临时专利申请的优先权，主张在2016年10月15日提出的申请号为62/408,724，标题为“Methods of coding unitcoding”的美国临时专利申请的优先权，主张在2017年01月12日提出的申请号为62/445,284，标题为“Methods of coding unit coding”的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
技术领域
本发明涉及视频编码中的基于块的视频数据处理。具体而言，本发明涉及具有限制块尺寸的视频编码和视频解码的技术。
背景技术
在高效率视频编码(High Efficiency Video Coding,HEVC)标准中编码的视频图像可以被划分成一个或多个切片(slice)，并且每个切片被划分成多个编码树单元(codingtree units，CTU)。在HEVC的主要配置文件中，编码树单元的最小尺寸和最大尺寸由序列参数集(sequence parameter set,SPS)中的语法元素指定。每个编码树单元包括亮度编码树块(coding tree block,CTB)、对应的色度编码树块和语法元素。亮度编码树块的尺寸选自16x16,32x32或64x64，其中较大的尺寸通常能够提供更好的压缩率以简化或平滑纹理区域。依据光栅扫描顺序处理切片内的编码树单元。
HEVC支持将编码树单元划分为多个编码单元(coding unit,CU)，以使用四叉树(quadtree)分割处理来适应各种局部特征。对于2Nx2N编码树单元，它可以是单个编码单元，或者可以分成四个相同大小的较小的块(即NxN)。四叉树分割过程将每个编码树单元递归地分割成更小的块，直到到达四叉树编码树的叶节点。四叉树编码树的叶节点称为HEVC中的编码单元。在编码单元层级进行使用帧间(时间)预测或帧内(空间)预测对图像区域进行编码的决定。由于最小编码单元尺寸可以为8x8，所以在不同的基本预测类型之间切换的最小间隔尺寸(granularity)是8×8。
依据如图1所示的预测单元(prediction units,PU)分割类型之一，为每个编码单元指定一个，两个或四个预测单元。其中预测单元作为共享预测信息的基本代表性块。图1示出了在HEVC中支持的八种不同的预测单元分割类型，包括对称和非对称分割类型。在每个预测单元内部，应用相同的预测处理，并且基于预测单元将相关预测信息发送到解码器。在通过在预测单元上应用预测处理来获得预测残差后，依据另一个四叉树结构将编码单元划分为变换单元(transform unit,TU)，其类似于用于从最大编码单元获得编码单元的四叉编码树(quadtree coding tree)。变换单元是用于应用变换和量化的残差或变换系数的基本代表性块。变换单元的已变换和已量化残差信号在变换单元基础上进行变换和量化之后被编码并被传送到解码器。
与编码树块的定义类似，编码块(coding block,CB)，预测块(prediction block,PB)和变换块(transform block,TB)被定义为分别指定与编码单元、预测单元和变换单元相关的亮度分量或色度分量的采样数组。四叉树分割过程通常同时应用于亮度和色度分量，尽管当达到色度分量的某些最小尺寸时有异常情况。
发明内容
本发明公开了一种在编码系统和解码系统中处理视频数据的方法和装置。编码系统的实施例接收与视频数据的当前图像相关联的输入数据，并且确定用于发送一个或多个当前编码树单元层级语法的当前编码树单元的尺寸。在一些实施例中，当前编码树单元包括一个或多个当前编码单元。使用阈值检查当前编码树单元或当前编码单元的尺寸，宽度或高度，如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则编码系统将当前编码树单元或当前编码单元强制分成多个块，直到当前编码树单元或当前编码单元中的每个块的尺寸，宽度或高度不大于阈值。编码系统通过预测和变换处理当前编码树单元或当前编码单元。编码系统还确定当前编码树单元的编码树单元层级语法，并依据编码树单元层级语法处理当前编码树单元。当前编码树单元被编码以形成视频比特流，并且编码树单元层级语法在视频比特流中被发送。
视频解码系统的实施例接收与当前图像中的当前编码树单元相关联的视频比特流，并从视频比特流解析当前编码树单元的一个或多个编码树单元层级语法和残差。当前编码树单元可以包括一个或多个当前编码单元。确定当前编码树单元或当前编码单元的尺寸并将其与阈值进行比较，并且如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则解码系统推断将当前编码树单元或当前编码单元分割为多个块，直到当前编码树单元或当前编码单元中的每个块的尺寸，宽度或高度不大于阈值为止。通过预测和逆变换处理当前编码树单元或当前编码单元，并且依据从视频比特流解析的一个或多个编码树单元层级语法对当前编码树单元进行解码。
用于确定当前编码树单元或当前编码单元是否需要进一步分割的阈值的实施例，对应于最大支持变换单元尺寸，并且最大支持变换单元尺寸的示例是128×128。最大支持变换单元尺寸可以在视频比特流中的序列层级，图像层级或切片层级中被发送，以通知解码器侧。在一些实施例中，如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则使用四叉树分割或二叉树分割来分割当前编码树单元或当前编码单元。在一个实施例中，当使用二叉树分割对当前编码树单元或当前编码单元进行分割时，如果当前编码树单元或当前编码单元的宽度或尺寸大于阈值，则当前编码树单元或当前编码单元通过垂直分割而被分割；如果当前编码树单元或当前编码单元的高度或尺寸大于阈值，则当前编码树单元或当前编码单元通过水平分割而被分割。在一个实施例中，在视频比特流中发送分割标志，以指示当前编码树单元或当前编码单元的分割。
编码树单元层级语法的一些实施例是用于例如采样自适应偏移(SAO)，自适应环路滤波(ALF)和去块滤波之类的环路滤波处理的各种语法，并且如果相应的环路滤波处理应用于当前编码树单元，则编码系统可以发送当前编码树单元的一个或多个编码树单元层级语法。如果将相应的采样自适应偏移，自适应环路滤波，和/或去块滤波器处理应用于当前编码树单元，解码系统可以解析当前编码树单元的一个或多个编码树单元层级语法。
在一个实施例中，当前图像被分成编码树单元组，并且当前编码树单元的编码树单元层级语法与相同编码树单元组中的其他编码树单元共享。编码树单元组的示例包括MxN编码树单元，其中M和N是正整数，并且编码树单元组的尺寸是预定义值，或者在视频比特流中的序列层级，图像层级或切片层级中被发送。编码树单元组共享的编码树单元级语法可以是采样自适应偏移，自适应环路滤波和去块滤波的语法中的一个或组合。
在另一个实施例中，依据当前编码树单元的位置，当前编码树单元或当前编码单元的宽度和高度，以及当前图像的宽度和高度，使用四叉树分割，垂直二叉树分割或水平二叉树分割来分割当前编码树单元或图像边界处的当前编码单元。
如果尺寸，宽度或高度大于阈值，则视频编码或解码系统的一些实施例将当前编码树单元或当前编码单元隐含地分割成多个块，然后视频编码或解码系统依据分割决定，确定是否进一步分割当前编码树单元或当前编码单元。分割决定可以依据编码器侧的速率和失真优化(Rate and Distortion Optimization,RDO)来确定，并且视频编码系统发送与视频比特流中的分割决定相关联的信息信号，以指示当前编码树单元或当前编码单元的分割。视频解码系统解码分割决定，并依据已解码的分割决定来分割当前编码树单元或当前编码单元。由分割决定生成的块通过预测和变换进行处理。
在一些其他实施例中，如果尺寸，宽度或高度不大于阈值，则当前编码树单元或当前编码单元被作为一个块来处理，并且对当前编码树单元或当前编码单元中的每个块执行预测处理和变换处理，无需进一步分割。在另一个实施例中，视频编码系统依据分割决定确定当前编码单元的尺寸，并且如果尺寸，宽度或高度大于阈值，则将当前编码单元分割成多个块。如果当前编码单元被分割成多个块，则对当前编码单元执行预测处理，并且对当前编码单元中的每个块执行变换处理。
本公开的一方面进一步提供用于视频编码系统的装置和用于视频解码系统的装置，以处理具有受限块尺寸的视频数据。该装置将当前编码树单元或当前编码单元的尺寸与阈值进行比较，并且如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则分割当前编码树单元或当前编码单元。
本公开的一方面还提供了一种非暂时性计算器可读介质，其存储用于使装置的处理电路执行视频编码方法或视频解码方法的程序指令。视频编码或解码方法包括检查当前编码树单元或当前编码单元是否具有大于阈值的尺寸，宽度或高度，并依据生成尺寸不大于阈值的块，来分割当前编码树单元或当前编码单元。例如采样自适应偏移(SAO)，自适应环路滤波(ALF)和去块滤波的编码树单元层级语法被发送，以用于当前编码树单元或包括多个编码树单元的编码树单元组。在阅读本发明实施方式的以下详细描述之后，本发明的其他方面和特征对于本技术领域技术人员来说是清楚的。
附图说明
将参考以下图式详细描述作为示例提出的本公开的各种实施例，其中相同的图式标记表示相同的组件，并且其中：
图1标出了在高效率视频编码(HEVC)中支持的八个预测单元(PU)分割类型。
图2A示出了依据四叉树-二进制树(Quad-Tree-Binary-Tree,QTBT)结构的示例性块分割。
图2B示出了对应于图2A的块分区的编码树结构。
图3示出依据本发明的实施例的示例性视频编解码(coding)系统的流程图。
图4示出依据本发明的实施例的示例性视频编码(encoding)系统的流程图。
图5示出依据本发明的实施例的示例性视频解码系统的流程图。
图6示出了依据本发明的实施例的用于图像边界处的块的块分割方法。
图7示出了依据本发明的实施例的用于视频编码系统的示例性系统框图。
图8示出了依据本发明的实施例的用于视频解码系统的示例性系统框图。
具体实施方式
将容易理解的是，本发明的组件，如本文图中一般描述和示出的，可以以各种各样的不同配置进行布置和设计。因此，如附图所示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表本发明的选定实施例。
整个说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征，结构或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方的短语“在一个实施例中”或“在一些实施例中”的出现不一定全部指代相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实现。
此外，所描述的特征，结构或特性可以以任何合适的方式组合在一个或多个实施例中。然而，本领域技术人员将认识到，可以在没有一个或多个具体细节，或其他方法，组件等的情况下实现本发明。在其他情况下，已知的结构或操作，未示出或详细描述以避免模糊本发明。
与例如HEVC的常规视频编码标准支持的四叉树结构不同，二进制树块分割结构可以用于分割视频图像或视频数据切片。依据分割类型，例如对称水平分割和对称垂直分割，块可以递归地分割成更小的块。对于正在考虑的块，使用标志来指示是否将块分割成两个较小的块。如果标志指示分割，则发出另一个语法元素以指示使用哪种分割类型，例如垂直分割或水平分割。可以重复二叉树分割过程，直到分割块的尺寸(宽度或高度)达到允许的最小块尺寸(宽度或高度)为止。
二叉树块分割结构比四叉树结构更灵活，因为允许更多的分割形状。然而，编码复杂度也将随着选择最佳分区形状而增加。为了平衡复杂度和编码效率，二叉树结构与四叉树结构组合，称为四叉树-二进制树(Quad-Tree-Binary-Tree,以下简称为QTBT)结构。与HEVC中的四叉树结构相比，QTBT结构显示出满意的编码性能。
示例性QTBT结构在图2A中示出。其中较大块首先被四叉树结构分割，然后被二叉树结构分割。图2A标出了依据QTBT结构的块分割的示例，图2B示出了对应于图2A所示的块分割的QTBT结构的树形图。图2A和2B中的实线表示四叉树分割。图2A和2B中的虚线表示二叉树分割。在二叉树结构的每个分割(即非叶)节点中，一个标志指示使用哪种分割类型(水平或垂直)，0表示水平分割，1表示垂直分割。QTBT结构分割图2A中的较大块为多个较小的块，并且这些较小的块通过预测和变换编码被进一步处理。对这些较小的块不进行进一步划分，以形成不同大小的预测单元和变换单元。换句话说，由QTBT分割结构生成的每个块是用于预测和变换处理的基本单元。例如，图2A中的大块是尺寸为128x128的CTU，最小允许的四叉树叶节点尺寸为16x16，最大允许二叉树根节点尺寸为64x64，最小允许二叉树叶节点宽度或高度为4，最小允许二进制树深度为4.在该示例中，CTU首先被四叉树结构划分，并且叶四叉树块可以具有从16×16到128×128的尺寸。如果叶四叉树块是128×128，则由于二进制树结构的尺寸超过允许的最大二叉树根节点尺寸64x64，所以不能被二进制树结构进一步分割。叶四叉树块被用作二进制树深度等于0的根二叉树块。当二叉树深度达到4时，不分割是隐含的；当二叉树节点的宽度等于4时，非垂直分割是隐含的；并且当二叉树节点的高度等于4时，非水平分割是隐含的。该QTBT结构可以分别应用于I切片(即，帧内已编码的切片)的亮度和色度分量，并同时应用于P切片和B切片的亮度和色度分量。在I切片中编码块时，亮度分量和两个色度分量的QTBT结构块分割可能全部不同。
为了有效地编码和解码高分辨率视频数据，例如使用8000像素×4000像素的8K×4K视频来表示每个图像，下一代视频编码允许用于视频编码处理的较大的基本代表块，例如预测，变换，和环路滤波器。HEVC递归地将每个编码树单元分解成编码单元，预测单元和变换单元分别依据预测单元分割类型和四叉树分割结构从相应的编码单元而被分割。为了简化HEVC的块分割方法，将四叉树结构或QTBT分割结构等分割结构的每个叶节点设置为预测和变换处理的基本代表块，因此不需要进一步分割。在这种情况下，编码单元等于预测单元，也等于变换单元。在一些实施例中，编码树单元等于编码单元，预测单元和变换单元。增加编码树单元和编码单元的尺寸意味着预测和转换支持的尺寸也需要增加。例如，当编码树单元的大小为256×256时，预测单元尺寸和变换单元尺寸也为256×256，然而，随着变换单元尺寸线性增加，变换逻辑的硅栅极(silicon gates)数呈指数增长。变换单元尺寸等于256x256的变换逻辑的硅栅极数量太大，实现起来成本太高。以下实施例提供了通过允许用于视频编码的大块尺寸而引起的问题的一些解决方案。本发明的一些实施例被应用于处理具有用于预测和变换处理的统一块分割的视频数据和具有用于变换和逆变换的限制块尺寸的视频数据。一些其他实施例被应用于具有用于预测和变换处理的、但简化了块分割的单独的块分割来处理视频数据。
第一实施例第一实施例是一个编码器，其仅限制调节编码器以产生具有支持尺寸的变换单元，以用于变换逻辑硬件实现。第一实施例的编码器确定用于预测处理和变换处理的每个编码单元(CU)或预测单元(PU)的尺寸。编码单元或预测单元尺寸确定的示例包括使用例如四叉树分割，二进制树分割或QTBT分割的分割方法来执行速率和失真优化(rate-distortion optimization,RDO)以选择最佳大小。根据本发明的一实施方式，确定分割决定，以进一步依据速率和失真优化结果来分割当前编码树单元或当前编码单元，以及发送以及与视频比特流中的分割决定相关联的信息，以指示分割当前编码树单元或当前编码单元。编码器然后用阈值检查当前编码单元或预测单元的尺寸MxN，宽度M或高度N是否大于阈值。例如，尺寸的阈值为128×128，并且M或N的阈值为128。阈值可以是预定义的或用户定义的，并且阈值可以依据最大支持变换单元尺寸来确定。编码器的示例在视频比特流的序列层级(sequence-level)，图像层级(picture-level)或切片层级(slice-level)中发送最大支持的变换单元尺寸，例如在序列参数集(Sequence Parameter Set,SPS)、图像参数集(Picture Parameter Set,PPS)或切片头(slice header)中发送的最大支持的变换单元尺寸。如果尺寸，宽度M或高度N大于阈值，则编码器依据四叉树分割或二叉树分割器强制当前编码单元或预测单元分成多个变换单元。当尺寸，宽度M或高度N大于阈值时，编码器可以跳过将视频比特流中的变换单元分割标志信号发送到解码器，因为解码器也强制分割当前编码单元或预测单元。在另一示例中，编码器可以在视频比特流中发送变换单元分割标志，但是变换单元分割标志被限制为1，指示在编码器侧执行分割。如果编码单元或预测单元的尺寸大于阈值，则在本实施例中变换单元的尺寸不同于编码单元或预测单元的尺寸；如果编码单元或预测单元的尺寸不大于阈值，变换单元的尺寸与编码单元或预测单元的尺寸相同。在一个示例中，如果当前编码单元或预测单元的尺寸，M或N大于阈值并且使用四叉树分割，则将当前编码单元或预测单元分成四个变换单元，并且编码器可以发送或可以不发送变换单元分割标志。在另一个示例中，如果宽度M大于阈值并且使用二叉树分割，则当前编码单元或预测单元通过垂直分割被分割成两个变换单元，并且编码器可以发送或可以不发送指示垂直分割的变换单元分割标志或者编码器可以发送垂直变换单元分割标志。如果高度N大于阈值并且使用二叉树分割，则通过水平分割将当前编码单元或预测单元分成两个变换单元，并且编码器可以发送或可以不发送指示使用水平分割的变换单元分割标志，或者编码器可以发送水平变换单元分割标志。与用于编码单元和变换单元的两个单独的块分割结构的HEVC标准相比，本发明的第一实施例仅向编码单元和变换单元发送一个块分割结构。
第二实施例第二实施例是解码器解碼具有较大块尺寸的视频数据的规范解决方案。依据第二实施例的解码器解码视频比特流，并依据例如在视频比特流中发送的分割标志的信息来确定当前图像的块分割。依据本发明的一实施方式，依据在视频比特流中发送的已解码的分割标志，进一步分割当前编码树单元或当前编码单元中的每个块。当解码器正在处理当前的编码单元或预测单元时，它检查当前编码单元或预测单元的尺寸MxN，如果尺寸大于阈值，或者如果宽度M或高度N大于阈值，则推断变换单元要被分割而不涉及分割标志。阈值的示例是尺寸128x128、或宽度或高度128。阈值可以通过解析视频比特流中的相关信息来确定，或者阈值可以是预定义的或用户定义的。在一个示例中，如果四叉树分割被应用于分割，则如果当前编码单元或预测单元的尺寸，宽度M或高度N，大于阈值，则因为变换单元分割标志被推定为1，当前编码单元或预测单元分割为四个变换单元。在另一个例子中，如果二进制树分割分被应用于分割，则如果宽度M或高度N大于阈值，则因为垂直或水平变换单元拆分标志被推断为1,将当前编码单元或预测单元分为两个变换单元。
在第一和第二实施例中，如果当前编码单元或预测单元的尺寸、宽度或高度大于阈值，则编码器或解码器仅强制分割变换单元而不是当前的编码单元或预测单元。换句话说，如果当前编码单元或预测单元的尺寸、宽度或高度不大于阈值，则当前编码单元或预测单元的尺寸与当前编码单元或预测单元对应的当前变换单元的尺寸相同。如果当前编码单元或预测单元的尺寸、宽度或高度大于阈值，则当前编码单元或预测单元的尺寸与当前编码单元或预测单元对应的当前变换单元的尺寸不同。
图3示出了结合本发明的第一或第二实施例的示例性视频编解码系统的流程图。在步骤S31中，视频编码系统接收与当前图像中的当前块相关联的输入数据，并且当前块可以是当前编码单元或当前预测单元。步骤S32确定当前块的尺寸，并且步骤S33检查当前块的尺寸，宽度或高度是否大于阈值。阈值的示例对应于最大支持的变换单元尺寸。如果当前块的尺寸、宽度或高度大于阈值，则在步骤S34中视频编码系统将当前块分割成具有不大于阈值、宽度或高度的尺寸的多个块。在步骤S35中通过变换或逆变换处理从当前块分割的块，并且通过预测来处理当前块。如果当前块的尺寸、宽度或高度不大于阈值，则步骤S36通过预测、和变换或逆变换处理当前块。在步骤S37中，视频编码系统对当前块进行编码或解码。
第三实施例第三实施例不仅迫使编码器将较大编码单元或预测单元分割成多个变换单元，而且还迫使编码树单元或编码单元依据比较结果进行分割。第三实施例的编码器首先确定用于发送编码单元层级语法的每个编码树单元的尺寸。为每个编码树单元确定一个或多个编码树单元层级语法，并在视频比特流的编码树单元层级中发送。编码树单元层级语法的一些示例包括为例如采样自适应偏移(sample adaptive offset,SAO)，自适应环路滤波(adaptive loop filter,ALF)和去块滤波的环路滤波器指定的语法。例如，编码树单元层级语法可以包括SAO类型，SAO参数，ALF参数和去块滤波的边界强度之一或组合。编码树单元中的视频数据共享编码树单元层级语法中的信息。然后，编码器通过将尺寸、宽度或高度与阈值进行比较，来检查当前编码树单元中的当前编码单元或当前编码树单元的尺寸MxN、宽度M或高度N。如果尺寸、宽度或高度大于阈值，则视频编码器将当前编码树单元或编码单元分割成更小的块，直到较小块的尺寸、宽度或高度不大于阈值。阈值可以由预定义或用户定义的最大支持的变换单元尺寸来确定。可以在视频比特流中发送阈值，以在对应的编码树单元或编码单元大于阈值时通知解码器强制分割。例如，最大支持的变换单元尺寸在视频比特流的序列层级，图像层级或切片层级中发送。当尺寸、宽度或高度大于阈值时，将当前编码树单元或编码单元分割的示例依据四叉树分割将当前编码树单元或编码单元分成四个块。当尺寸或宽度大于阈值时，将当前编码树单元或编码单元分割的示例依据垂直分割将当前编码树单元或编码单元分割成两个块，或者当尺寸或高度大于阈值时，将当前编码树单元或编码单元分割的示例依据水平分割将当前编码树单元或编码单元分割成两个块。视频编码器通过执行RDO来确定是否进一步分割当前编码树单元或编码单元或较小的块，以决定用于预测和变换处理的最佳块尺寸。视频编码器对当前编码树单元或编码单元中的每个块执行预测处理和变换处理，并且发送视频比特流中的分割决定。
图4示出了依据本发明第三实施例的用于处理具有受限块尺寸的视频数据的示例性视频编码系统的流程图。在步骤S41中视频编码系统接收与当前图像相关联的输入数据，并且在步骤S42中确定用于发送一个或多个编码树单元层级语法的当前编码树单元的尺寸。在步骤43中，检查当前编码树单元中的当前编码单元或当前编码树单元的尺寸、宽度或高度，以确定其是否大于阈值。如果步骤S43的检查结果肯定的，则在步骤S44中当前编码树单元或当前编码单元被分割成块，直到每个块的尺寸、宽度或高度不大于的阈值。如果步骤S43的检查结果示出当前编码树单元或当前编码单元的尺寸、宽度或高度不大于阈值，则视频编码系统进行步骤S46。在步骤S46中，视频编码系统确定分割决定以进一步分割当前编码树单元或当前编码单元，并且通过预测和变换处理当前编码树单元或编码单元中的每个块。分割决定可以由RDO结果来确定，其选择最佳块分割以用于预测和变换处理。在步骤S47中视频编码系统确定编码树单元层级语法并将其应用于当前编码树单元，并在步骤S48对当前编码树单元进行编码以形成视频比特流并在视频比特流中发送编码树单元层级语法。
第四实施例当当前编码树单元或编码单元的尺寸MxN、宽度M或高度N大于阈值时，第四实施例迫使解码器将当前编码树单元或编码单元分割成更小的块。解码器解码与分割决定相关的信息，例如来自视频比特流的分割标志，并且依据分割决定进一步分割当前编码树单元或编码单元或较小的块。然后在本实施例的解码器中通过预测和逆变换来处理当前编码树单元或编码单元中的每个块。阈值可以是预定义的或用户定义的，并且在一个实施例中，通过解析视频比特流中的相关信息来确定阈值。阈值对应于最大支持的变换单元尺寸，并且阈值的一些示例对于变换单元尺寸为128×128，对于变换单元宽度或变换单元高度为128，对于变换单元尺寸为64x64，对于变换单元宽度或变换单元高度为64。当解码器确定当前编码树单元或编码单元的尺寸MxN、宽度M或高度N大于阈值时，推断当前编码树单元或编码单元被分割而不解码分割标志。换句话说，当尺寸，宽度或高度大于阈值时，当使用四叉树分割来分割当前编码树单元或编码单元为四个较小的块时，当前编码树单元或编码单元的四叉分割标志被推断为1(即分割)。在另一示例中，当尺寸或宽度大于阈值时，当使用二叉树分割来将当前编码树单元或编码单元分割成两个较小块时，垂直分割标志被推断为1(即，分割)。当尺寸或高度大于阈值时，当使用二叉树分割来将当前编码树单元或编码单元分割成两个较小的块时，水平分割标志被推断为1(即分割)。虽然解码器在当前编码树单元的每个块中执行例如预测和逆变换的解码处理，但是从当前编码树单元中的所有块使用从视频比特流解析的编码树单元层级语法。
第三和第四实施例在根层级(root-level)分割当前编码树单元，或分割当前编码单元，直到当前编码树单元或编码单元不大于阈值。在这两个实施例中，用于应用预测和变换处理的基本代表块总是相同的。依据第三和第四实施例的编码器和解码器允许大编码树单元(例如256×256)用于发送编码树单元层级语法，同时将用于变换或逆变换处理的块尺寸限制为小于或等于阈值(例如128×128)。在一些实施例中，分割标志不在视频比特流中发送，以指定大于阈值的编码树单元或编码单元的分割，编码器和解码器推断为分割大编码树单元或编码单元，因此节省了用于发送分割标志所需的比特，从而实现更好的编码效率。
图5示出了依据本发明的第四实施例的包含具有受限块尺寸的视频数据处理方法的示例性视频解码系统的流程图。在步骤S51中，视频解码系统接收包含当前图像的视频比特流，并且在步骤S52中从视频比特流解析当前图像中的当前编码树单元的编码树单元层级语法和残差。在步骤S53中，确定当前编码树单元中的当前编码单元或当前编码树单元的尺寸，并且在步骤S54中将当前编码树单元或当前编码单元的尺寸，宽度或高度与阈值进行比较。如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则步骤S55将当前编码树单元或当前编码单元分割成块，直到每个块的尺寸，宽度或高度不大于阈值。如果当前编码树单元或当前编码单元的尺寸，宽度或高度不大于阈值，则视频解码系统进行步骤S57。在步骤S57中，视频解码系统解码与自视频比特流的分割决定相关联的信息，并依据分割决定进一步分割当前编码树单元或编码单元。步骤S57还包括通过预测和逆变换处理当前编码树单元或当前编码单元的每个块。在步骤S58中，视频解码系统依据解析编码树单元层级语法解码当前编码树单元。
第五实施例第五实施例与一个或多个其他编码树单元共享当前编码树单元的一个或多个编码树单元层级语法。与编码工具相关联的编码树单元层级语法有时在多个编码树单元中非常相似，为了进一步减少比特流携带的位，第五实施例引入了称为编码树单元组(CTU group)的概念。同一编码树单元组中的编码树单元共享一些或所有编码树单元层级语法，其可以包括SAO，ALF和去块滤波的一种或一组语法或参数的组合。编码树单元组的尺寸可以是预定义的值，或者尺寸可以在例如SPS，PPS或切片文件头中的视频比特流的序列层级，图片层级或切片层级中被发送。在一个实施例中，SAO，ALF，解块或其他环路滤波器中的任何两个的编码树单元组尺寸可以相同或不同。例如，编码树单元组尺寸由M×N编码树单元表示，其中M和N都是正整数，M+N>2。第五实施例中的图片被分成编码树单元组，同一编码树单元组中的编码树单元共享一个或多个编码树单元层级语法。这种共享编码树单元层级语法的想法也可以被扩展以共享编码单元，预测单元或变换单元级层语法，例如，一个编码树单元中的编码单元层级或变换单元层级变换语法被发送一次，并且这些变换语法被属于同一编码树单元组的编码树单元中的所有编码单元或变换单元重用或共享。
第六实施例第六实施例提供了一种HEVC中的块分割方法的替代解决方案以用于在图像边界分割当前编码树单元或当前编码单元。在HEVC中，图像边界处的编码单元被推断为被四叉树分割为四个子编码单元。本发明的第六实施例依据当前编码树单元或当前编码单元的边界条件确定将四叉树分割或二叉树分割应用于当前编码树单元或当前编码单元。也就是说，依据该当前编码树单元或该当前编码单元的位置，该当前编码树单元或该当前编码单元的宽度和高度，以及该当前图像的宽度和高度，使用四叉树分割，垂直二叉树分割或水平二叉树分割来分割该当前编码树单元或该当前编码单元。令(x0，y0)指定当前图像中当前编码树单元或当前编码单元的上左采样的亮度位置，cuWidth和cuHeight指定当前编码树单元或当前编码单元的宽度和高度，picWidth和picHeight指定当前图像的宽度和高度。如果两个值(x0+cuWidth)和(y0+cuHeight)分别大于picWidth和picHeight，则推断当前编码树单元或当前编码单元被四叉树分割。推断当前的编码树单元或当前编码单元被四叉树分为四个相同尺寸cuWidth/2xcuHeight/2的子编码单元。
如果只有值(x0+cuWidth)大于picWidth，则依据垂直二叉树分割推断当前编码树单元或当前编码单元被划分成两个子编码单元，并且两个子编码单元的尺寸是cuWidth/2xcuHeight。如果只有值(y0+cuHeight)大于picHeight，则依据水平二叉树分割推断当前编码树单元或当前编码单元被分割为两个子编码单元，并且两个子编码单元的尺寸为cuWidth x cuHeight/2。
依据第六实施例的编码器或解码器，依据当前块的位置，当前块的宽度和高度，以及当前图像的宽度和高度，使用四叉树分割，垂直二叉树分割和水平二叉树分割之一分割当前图像的图像边界处的当前编码树单元或当前编码单元。图6示出了依据第六实施例的图像边界处块的可能的分割类型。视频编码器或解码器接收与视频图像60相关联的输入数据，并且视频图像60被划分为包括块602,604和606的多个块。块602,604和606可以是编码树单元或编码单元。视频图像60的右边界处的块602被强制使用垂直二叉树分割来分割，并且使用水平二叉树分割，在视频图像60的底部边界处的块604被强制分割。视频图像60的底部靠右边界处的块606使用四叉树分割进行分割。
图7示出了实现本发明实施例的视频编码器700的示例性系统框图。帧内预测710基于当前图像的已重构视频数据提供帧内预测，而运动预测712执行运动估计(ME)和运动补偿(MC)，以基于来自其他图像的视频数据提供预估器。将当前图像中的当前编码树单元或当前编码单元的尺寸，宽度或高度与阈值进行比较，如果尺寸，宽度或高度为大于阈值，则当前编码树单元或当前编码单元被分割成多个块。在一些实施例中，当前编码树单元或当前编码单元可以依据分割决定被进一步分割。当前编码树单元或当前编码单元中的每个块可以由帧内预测710或运动预测712来预测。由运动预测712处理的块选择由帧间预测7122以帧间模式进行编码，或由合并预测7124以合并模式进行编码。开关714从帧内预测710和运动预测712中选择一个输出，并将所选择的预估器提供给加法器716以形成预测误差，也称为预测残差。
每个块的预测残差通过变换(T)718进一步处理，随后进行量化(Q)720。然后，已变换和已量化的残差信号由熵编码器734编码以形成已编码的视频比特流。然后，已编码的视频比特流包装有例如编码树单元层级语法之类的边信息(side information)。与边信息相关联的数据也被提供给熵编码器734。每个块的经变换和量化的残差信号由逆量化(IQ)722和逆变换(IT)724处理以恢复预测残差。如图7所示，通过在重建(REC)726处添加回所选择的预估器来恢复预测残差，以产生已重建的视频数据。已重建的视频数据可以存储在参考图像缓冲器(即，Ref.Pict.缓冲器)732中，并用于预测其它图像。由于编码处理，来自重建726的已重建的视频数据可能受到各种损害，因此，在存储于参考图像缓冲器732之前，环路内处理去块滤波(DF)728和采样自适应偏移(SAO)730被应用于已重建的视频数据的每个编码树单元，以进一步提高图像质量。与用于环路内处理去块滤波728和采样自适应偏移730的信息相关联的语法是编码树单元层级语法，并且被提供给熵编码器734以合并到编码视频比特流中。
用于图7的视频编码器700的相应视频解码器800如图8所示。已编码视频比特流是视频解码器800的输入，并由熵解码器810解碼，以解析和恢复已变换和已量化残差信号，编码树单元级语法，例如每个编码树单元的DF和SAO信息，以及其他系统信息。解码器800的解码过程类似于编码器700处的重建环路，除了解码器800仅需要运动预测814中的运动补偿预测之外。运动预测814包括帧间预测8142和合并预测8144。解码器800确定当前编码树单元的尺寸或当前编码树单元中的当前编码单元的尺寸，如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则解码器800迫使将当前编码树单元或当前编码单元分成块，直到每个块具有尺寸，宽度或高度不大于阈值为止。依据一些实施例，当前编码树单元或当前编码单元可以依据与从视频比特流解码的与分割决定相关联的信息而被进一步分割。当前编码树单元中的每个块或当前编码单元通过帧内预测812或运动预测814进行解码。以帧间模式编码的块由帧间预测8142解码，并且以合并模式编码的块由合并预测8144解码。开关816依据已解码的模式信息，选择来自帧内预测812的帧内预测子或来自帧间预测814的帧间预测子。通过逆量化(IQ)820和逆变换(IT)822来恢复与每个块相关联的已变换和已量化的残差信号。通过在重建818中加回预估器，已恢复的、已变换的、和已量化的残差信号被重建，以产生已重建的视频。每个编码树单元的重建视频由去块滤波824和采样自适应偏移826进一步处理，以依据编码树单元层级语法产生最终已解码的视频。如果当前已解码的图像是参考图像，则当前已解码图像的重构视频也存储在参考图像缓冲器中，以用于解码顺序的后续图像。
图7和图8中的视频编码器700和视频解码器800的各种组件可以由硬件组件实现，被配置为执行存储在存储器中的程序指令的一个或多个处理器，或硬件和处理器的组合。例如，处理器执行程序指令以控制与当前图像相关联的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器700和解码器800中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程序指令，对应于块的已重建图像的信息，和/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算器可读介质，例如半导体或固态存储器，随机存取存储器(RAM)，只读存储器(ROM)，硬盘，光盘或其他合适的存储介质。存储器还可以是上面列出的两个或更多个非暂时性计算器可读介质的组合。如图7和8所示，编码器700和解码器800可以在相同的电子设备中实现，因此如果在相同的电子设备中实现，则编码器700和解码器800的各种功能组件可以被共享或重用。例如，图7中的重建726，转换718，量化720，去块滤波728，采样自适应偏移730和参考图像缓冲器732中的一个或多个，也可以分别用于实现图8中的重建818，变换822，量化820，去块滤波824，采样自适应偏移826和参考图像缓冲器828的功能。
用于视频编码系统的块分割方法的实施例可以在集成到视频压缩芯片中的电路中实现，或者集成到视频压缩软件中以执行上述处理的程序代码来实现。例如，可以在计算器处理器，数字信号处理器(DSP)，微处理器或现场可编程门数组(FPGA)上执行的程序代码中实现块划分的决定。可以通过执行定义本发明所体现的特定方法的机器可读软件代码或韧体代码来将这些处理器配置成执行依据本发明的特定任务。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由权利要求而不是前面的描述来指示。属于权利要求的等同的含义和范围内的所有变化将被包括在其范围内。

Claims (16)

1.一种图像或视频编码系统中的块分割方法，包括：
接收与当前图片中的当前块相关联的输入数据，其中该当前图片被划分成多个非重叠块；
根据该当前块在该当前图片中的位置，递归地将该当前块分割为多个叶块，包括：
基于该当前块的上左采样的位置、该当前块和该当前图片各自的宽度、该当前块和该当前图片的各自高度，确定是否满足第一条件或第二条件；
当该当前块的位置满足该第一条件时，按照四叉树分割递归地分割该当前块；以及
当该当前块的位置满足该第二条件时，根据从垂直二叉树分割和水平二叉树分割组成的群组中确定的选择的分割，递归地分割该当前块；以及
通过分别处理该当前块中的每个叶块来对该当前块进行编码或解码，以进行预测和变换处理。
2.如权利要求1中所述的图像或视频编码系统中的块分割方法，其特征在于，仅当该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度以及该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该当前块的位置才满足该第一条件。
3.根据权利要求1所述的图像或视频编码系统中的块分割方法，其特征在于，如果该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度且该当前块上左采样的y分量加上该当前块的高度不大于该当前图片的高度，或者该当前块的上左采样的x分量加上该当前块的宽度不大于该当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度，该当前块的位置满足该第二条件。
4.根据权利要求3所述的图像或视频编码系统中的块分割方法，其特征在于，当该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度且该当前块的上左采样的的y分量加上该当前块的高度不大于该当前图片的高度时，该选择的分割对应于垂直二叉树分割。
5.如权利要求3所述的图像或视频编码系统中的块分割方法，其特征在于，当该当前块的上左采样的x分量加上该当前块的宽度不大于当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该选择的分割对应于水平二叉树分割。
6.根据权利要求1所述的图像或视频编码系统中的块分割方法，其特征在于，该第一条件对应于该当前块在该当前图片中的位置、该当前块的宽度、该当前块的高度、该当前图片的宽度和该当前图片的高度中的一个或组合。
7.根据权利要求1所述的图像或视频编码系统中的块分割方法，其特征在于，该第二条件对应于该当前块在该当前图片中的位置、该当前块的宽度、该当前块的高度、该当前图片的宽度和该当前图片的高度中的一个或组合。
8.根据权利要求1所述的图像或视频编码系统中的块分割方法，其特征在于，该多个非重叠块中的每一个对应于编码树单元，并且该多个叶块中的每一个对应于叶编码单元。
9.一种图像或视频编码系统中的块分割装置，该装置一个或多个电子电路，被配置为：
接收与当前图片中的当前块相关联的输入数据，其中该当前图片被划分成多个非重叠块；
根据该当前块在该当前图片中的位置，递归地将该当前块分割为多个叶块，包括：
基于该当前块的上左采样的位置、该当前块和该当前图片各自的宽度、该当前块和该当前图片的各自高度，确定是否满足第一条件或第二条件；
当该当前块的位置满足该第一条件时，按照四叉树分割递归地分割该当前块；以及
当该当前块的位置满足该第二条件时，根据从垂直二叉树分割和水平二叉树分割组成的群组中确定的选择的分割，递归地分割该当前块；以及
通过分别处理该当前块中的每个叶块来对该当前块进行编码或解码，以进行预测和变换处理。
10.如权利要求9中所述的图像或视频编码系统中的块分割装置，其特征在于，仅当该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度以及该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该当前块的位置才满足该第一条件。
11.根据权利要求9所述的图像或视频编码系统中的块分割装置，其特征在于，如果该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度且该当前块上左采样的y分量加上该当前块的高度不大于该当前图片的高度，或者该当前块的上左采样的x分量加上该当前块的宽度不大于该当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度，该当前块的位置满足该第二条件。
12.根据权利要求11所述的图像或视频编码系统中的块分割装置，其特征在于，当该当前块的上左采样的x分量加上该当前块的宽度大于该当前图片的宽度且该当前块的上左采样的的y分量加上该当前块的高度不大于该当前图片的高度时，该选择的分割对应于垂直二叉树分割。
13.如权利要求11所述的图像或视频编码系统中的块分割装置，其特征在于，当该当前块的上左采样的x分量加上该当前块的宽度不大于当前图片的宽度且该当前块的上左采样的y分量加上该当前块的高度大于该当前图片的高度时，该选择的分割对应于水平二叉树分割。
14.根据权利要求9所述的图像或视频编码系统中的块分割装置，其特征在于，该第一条件对应于该当前块在该当前图片中的位置、该当前块的宽度、该当前块的高度、该当前图片的宽度和该当前图片的高度中的一个或组合。
15.根据权利要求9所述的图像或视频编码系统中的块分割装置，其特征在于，该第二条件对应于该当前块在该当前图片中的位置、该当前块的宽度、该当前块的高度、该当前图片的宽度和该当前图片的高度中的一个或组合。
16.根据权利要求9所述的图像或视频编码系统中的块分割装置，其特征在于，该多个非重叠块中的每一个对应于编码树单元，并且该多个叶块中的每一个对应于叶编码单元。
CN202210472310.8A 2016-03-16 2017-03-10 视频编码中限制块尺寸的视频数据处理方法与装置 Pending CN114786009A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201662309001P 2016-03-16 2016-03-16
US62/309,001 2016-03-16
US201662408724P 2016-10-15 2016-10-15
US62/408,724 2016-10-15
US201762445284P 2017-01-12 2017-01-12
US62/445,284 2017-01-12
PCT/CN2017/076321 WO2017157249A1 (en) 2016-03-16 2017-03-10 Method and apparatus of video data processing with restricted block size in video coding
CN201780015844.5A CN108713320B (zh) 2016-03-16 2017-03-10 视频编码中限制块尺寸的视频数据处理方法与装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780015844.5A Division CN108713320B (zh) 2016-03-16 2017-03-10 视频编码中限制块尺寸的视频数据处理方法与装置

Publications (1)

Publication Number Publication Date
CN114786009A true CN114786009A (zh) 2022-07-22

Family

ID=59850581

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210472310.8A Pending CN114786009A (zh) 2016-03-16 2017-03-10 视频编码中限制块尺寸的视频数据处理方法与装置
CN201780015844.5A Active CN108713320B (zh) 2016-03-16 2017-03-10 视频编码中限制块尺寸的视频数据处理方法与装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780015844.5A Active CN108713320B (zh) 2016-03-16 2017-03-10 视频编码中限制块尺寸的视频数据处理方法与装置

Country Status (6)

Country Link
US (2) US10542294B2 (zh)
EP (2) EP3758377B1 (zh)
CN (2) CN114786009A (zh)
MX (2) MX2018011198A (zh)
TW (1) TWI653883B (zh)
WO (1) WO2017157249A1 (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567808B2 (en) * 2016-05-25 2020-02-18 Arris Enterprises Llc Binary ternary quad tree partitioning for JVET
EP3306938A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
US20190260992A1 (en) * 2016-10-10 2019-08-22 Samsung Electronics Co., Ltd. Method and device for encoding or decoding luma block and chroma block
CN117156143A (zh) 2016-10-10 2023-12-01 三星电子株式会社 对画面轮廓线的编码单元进行编码或解码的方法和装置
FI20175006A1 (en) 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
EP3606077A4 (en) 2017-03-22 2021-01-06 Industry - University Cooperation Foundation Hanyang University LOOP FILTERING PROCESS ACCORDING TO AN ADAPTIVE PIXEL CLASSIFICATION STANDARD
EP3383043A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Methods and apparatus for picture encoding and decoding
CN110999295B (zh) * 2017-07-04 2024-03-26 华为技术有限公司 边界强制分区的改进
MX2020003813A (es) * 2017-10-20 2020-08-13 Fujitsu Ltd Dispositivo de codificacion de imagenes en movimiento, metodo de codificacion de imagenes en movimiento, programa de computadora de codificacion de imagenes en movimiento, dispositivo de descodificacion de imagenes en movimiento, metodo de descodificacion de imagenes en movimiento y programa de computadora de descodificacion de imagenes en movimiento.
US11750832B2 (en) * 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
WO2019118097A1 (en) * 2017-12-14 2019-06-20 Interdigital Vc Holdings, Inc. Method and apparatus for encoding a picture block
CN111527751A (zh) * 2017-12-29 2020-08-11 夏普株式会社 用于在用于视频编码的图片的边界处划分视频块的系统和方法
WO2019141012A1 (en) * 2018-01-18 2019-07-25 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units
KR20200112945A (ko) 2018-01-29 2020-10-05 인터디지털 브이씨 홀딩스 인코포레이티드 재구성된 픽처의 정제를 갖는 인코딩 및 디코딩
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
US10735730B2 (en) * 2018-03-07 2020-08-04 Tencent America LLC Flexible tree structure
WO2019174594A1 (en) * 2018-03-14 2019-09-19 Mediatek Inc. Method and apparatus of optimized splitting structure for video coding
WO2019174567A1 (zh) 2018-03-16 2019-09-19 华为技术有限公司 划分标志位的上下文建模方法及装置
CN110278443B (zh) * 2018-03-16 2022-02-11 华为技术有限公司 划分标志位的上下文建模方法及装置
CN112204968B (zh) * 2018-03-29 2024-03-15 弗劳恩霍夫应用研究促进协会 使用图片边界处理对图片进行编码和解码的装置和方法
US11233992B2 (en) 2018-04-01 2022-01-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image encoding/decoding method and device using intra prediction
CN111937391B (zh) * 2018-04-02 2024-03-29 寰发股份有限公司 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
CN111971958B (zh) * 2018-04-18 2023-01-13 华为技术有限公司 视频编码中的块分割方法和设备
CN118101936A (zh) 2018-04-19 2024-05-28 Oppo广东移动通信有限公司 用于处理图像的方法及其设备
WO2019210829A1 (en) * 2018-04-30 2019-11-07 Mediatek Inc. Signaling for illumination compensation
EP3785433A4 (en) * 2018-04-30 2022-02-23 MediaTek Inc. SYNTAX INTERLACE METHOD AND APPARATUS FOR A SEPARATE CODING TREE IN A VIDEO CODING SYSTEM
WO2019212230A1 (ko) * 2018-05-03 2019-11-07 엘지전자 주식회사 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
CN110505482B (zh) * 2018-05-16 2021-10-26 华为技术有限公司 一种编解码方法及装置
CN112119632A (zh) * 2018-05-17 2020-12-22 瑞典爱立信有限公司 对隐式变换单元边界的去块
EP3804314B1 (en) * 2018-05-29 2024-01-17 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with partially shared luma and chroma coding trees
CA3103003A1 (en) 2018-06-21 2019-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking of video picture boundaries
US11973944B2 (en) * 2018-06-27 2024-04-30 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored for block division at picture boundary
US10542260B1 (en) * 2018-07-02 2020-01-21 Tencent America LLC Method and apparatus for video coding
WO2020007362A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Inherited motion information for decoding a current coding unit in a video coding system
KR20230106707A9 (ko) 2018-07-09 2024-03-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 코딩된 화상의 다양한 공간 분할을 위한 인코더 및 디코더, 인코딩 방법 및 디코딩 방법
JP7193610B2 (ja) * 2018-07-12 2022-12-20 華為技術有限公司 ビデオ符号化における境界ブロックのパーティション分割
JP2021532643A (ja) * 2018-07-17 2021-11-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディング用の制約付きコーディングツリー
AU2018217336A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
AU2018217333A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
EP3846473A4 (en) * 2018-08-28 2022-05-25 Samsung Electronics Co., Ltd. VIDEO CODING METHOD AND CODING DEVICE, AND VIDEO DECODING METHOD AND HARDWARE MODEL TAKING ACCOUNT OF THE CODING DEVICE
KR20240133764A (ko) 2018-09-03 2024-09-04 후아웨이 테크놀러지 컴퍼니 리미티드 파티션 제한 요소들 간의 관계
MX2021002487A (es) * 2018-09-03 2021-07-16 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y métodos correspondientes.
CN118175342A (zh) 2018-09-05 2024-06-11 华为技术有限公司 视频解码方法及视频解码器
WO2020056757A1 (en) * 2018-09-21 2020-03-26 Alibaba Group Holding Limited Method, apparatus, and computer-readable storage medium for block partitioning tree separation under separation node
US10893286B2 (en) * 2018-10-09 2021-01-12 Tencent America LLC Methods and apparatus for low-complexity MTS
MX2021005255A (es) * 2018-11-06 2021-09-08 Interdigital Vc Holdings Inc Agrupamiento de parametros entre varias unidades de codificacion para codificacion y decodificacion de video.
EP3864851B1 (en) * 2018-11-12 2023-09-27 Huawei Technologies Co., Ltd. Video encoder, video decoder and method
US11102513B2 (en) * 2018-12-06 2021-08-24 Tencent America LLC One-level transform split and adaptive sub-block transform
CN116668674A (zh) * 2018-12-07 2023-08-29 华为技术有限公司 视频译码的约束预测模式
CN115834904A (zh) * 2018-12-13 2023-03-21 华为技术有限公司 一种帧间预测的方法及装置
WO2020125595A1 (zh) * 2018-12-16 2020-06-25 华为技术有限公司 视频译码器及相应方法
CN115714861A (zh) 2018-12-16 2023-02-24 华为技术有限公司 视频译码器及相应方法
CN111355959B (zh) * 2018-12-22 2024-04-09 华为技术有限公司 一种图像块划分方法及装置
MX2021008343A (es) * 2019-01-10 2021-08-05 Hfi Innovation Inc Metodos y aparatos de procesamiento de datos de video de nodos fuera de limites.
US11272198B2 (en) * 2019-01-30 2022-03-08 Tencent America LLC Method and apparatus for improved sub-block partitioning intra sub-partitions coding mode
JP7106689B2 (ja) * 2019-03-03 2022-07-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 変換プロセスのために使用されるエンコーダ、デコーダ、および対応する方法
US20200288130A1 (en) * 2019-03-07 2020-09-10 Qualcomm Incorporated Simplification of sub-block transforms in video coding
ES2980868T3 (es) 2019-03-11 2024-10-03 Huawei Tech Co Ltd Direcciones de segmento basadas en sub-imagen en codificación de vídeo
TWI738248B (zh) 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
CN114727104B (zh) * 2019-03-22 2023-03-24 华为技术有限公司 对经编码视频码流进行编/解码的方法及相关设备
US11677969B2 (en) 2019-03-22 2023-06-13 Tencent America LLC Method and apparatus for video coding
KR102627821B1 (ko) 2019-06-04 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 이웃 블록 정보를 사용한 모션 후보 리스트 구성
WO2020244661A1 (en) 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Implicit selection of transform candidates
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
CN113950829A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 简化的变换编解码工具
CN112087624A (zh) * 2019-06-13 2020-12-15 深圳市中兴微电子技术有限公司 基于高效率视频编码的编码管理方法
EP3989555A4 (en) 2019-06-19 2023-05-10 LG Electronics Inc. IMAGE ENCODING/DECODING METHOD AND APPARATUS FOR LIMITING THE SIZE OF A CHROMA BLOCK, AND BIT-STREAM TRANSMISSION METHOD
WO2020252726A1 (zh) * 2019-06-20 2020-12-24 富士通株式会社 图像编码和解码方法、装置以及视频编解码设备
JP7403245B2 (ja) 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
JP7403246B2 (ja) * 2019-06-21 2023-12-22 キヤノン株式会社 画像復号装置、画像復号方法
CN114175636B (zh) * 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
EP4447450A1 (en) * 2019-07-19 2024-10-16 Wilus Institute of Standards and Technology Inc. Method and device for processing video signal
CN117499659A (zh) * 2019-07-25 2024-02-02 北京字节跳动网络技术有限公司 帧内块复制虚拟缓冲区的尺寸限制
WO2021018084A1 (en) * 2019-07-26 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Interdependence of transform size and coding tree unit size in video coding
MX2022000716A (es) * 2019-07-26 2022-02-23 Beijing Bytedance Network Tech Co Ltd Determinación del modo de particionado de imagen con base en el tamaño de bloque.
EP3991435A4 (en) * 2019-08-07 2022-08-31 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ADAPTIVE SCANNING OFFSET LOOP FILTER WITH APPLICATION AREA SIZE LIMITATION
CN116193131B (zh) 2019-08-15 2023-10-31 北京达佳互联信息技术有限公司 一种用于视频编码的方法、电子装置及存储介质
WO2021037258A1 (en) * 2019-08-30 2021-03-04 Beijing Bytedance Network Technology Co., Ltd. Sub-partitioning in intra coding
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
WO2021052505A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
US11589044B2 (en) 2019-10-14 2023-02-21 Hfi Innovation Inc. Video encoding and decoding with ternary-tree block partitioning
KR102192631B1 (ko) * 2019-11-28 2020-12-17 주식회사우경정보기술 병렬 포렌식 마킹 장치 및 방법
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
US11363285B2 (en) * 2020-02-20 2022-06-14 Tencent America LLC Block partitioning at picture boundaries
WO2021196231A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN111510742B (zh) * 2020-04-21 2022-05-27 北京仁光科技有限公司 用于至少两个视频信号的传输和显示的系统和方法
CN111510741A (zh) * 2020-04-21 2020-08-07 北京仁光科技有限公司 用于至少两个视频信号的传输和分布式显示的系统和方法
AU2020203330B2 (en) * 2020-05-21 2022-12-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
TWI743919B (zh) * 2020-08-03 2021-10-21 緯創資通股份有限公司 視訊處理裝置及視訊串流的處理方法
EP4254949A1 (en) * 2022-03-31 2023-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture partitionned in ctu grids
WO2024042098A1 (en) * 2022-08-23 2024-02-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding a picture using filtering blocks
EP4395324A1 (en) * 2022-12-28 2024-07-03 Beijing Xiaomi Mobile Software Co., Ltd. Signaling coded blocks data and in-loop filtering parameters of a video sequence

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9167253B2 (en) 2011-06-28 2015-10-20 Qualcomm Incorporated Derivation of the position in scan order of the last significant transform coefficient in video coding
EP2737707A4 (en) 2012-01-13 2016-04-06 Mediatek Inc METHOD AND APPARATUS FOR UNIFYING COEFFICIENT SCANNING OF 8X8 TRANSFORMATION UNITS OF HEVC CODING
KR102470694B1 (ko) * 2012-02-04 2022-11-25 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
WO2013144144A1 (en) * 2012-03-30 2013-10-03 Panasonic Corporation Syntax and semantics for adaptive loop filter and sample adaptive offset
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
CN103024389B (zh) * 2012-12-24 2015-08-12 芯原微电子(北京)有限公司 一种用于hevc的解码装置和方法
CN105230020A (zh) 2013-07-15 2016-01-06 联发科技股份有限公司 用于视频编码的采样自适应偏移处理的方法
CN103957415B (zh) 2014-03-14 2017-07-11 北方工业大学 基于屏幕内容视频的cu分割方法和装置
CN104125469B (zh) 2014-07-10 2017-06-06 中山大学 一种用于hevc的快速编码方法
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2016182298A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 적응적인 순서로 결정되는 블록을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US10003807B2 (en) * 2015-06-22 2018-06-19 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
CN107040787B (zh) * 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法

Also Published As

Publication number Publication date
CN108713320B (zh) 2022-05-17
US20190075328A1 (en) 2019-03-07
TWI653883B (zh) 2019-03-11
EP3430808A4 (en) 2020-01-15
MX2021012481A (es) 2022-05-30
US10542294B2 (en) 2020-01-21
US20200112750A1 (en) 2020-04-09
WO2017157249A1 (en) 2017-09-21
US11064220B2 (en) 2021-07-13
EP3430808A1 (en) 2019-01-23
EP3758377B1 (en) 2023-10-25
EP3758377A1 (en) 2020-12-30
CN108713320A (zh) 2018-10-26
TW201739260A (zh) 2017-11-01
MX2018011198A (es) 2019-05-20

Similar Documents

Publication Publication Date Title
CN108713320B (zh) 视频编码中限制块尺寸的视频数据处理方法与装置
US11051009B2 (en) Video processing methods and apparatuses for processing video data coded in large size coding units
US10911757B2 (en) Methods and apparatuses of processing pictures in an image or video coding system
CN109479139B (zh) 视频处理系统中参考量化参数推导的方法与装置
CN112385220B (zh) 对具有分割约束的视频图像进行编码或解码的方法和装置
KR102585509B1 (ko) 비디오 프로세싱 시스템에서 크로마 양자화 파라미터 도출의 방법 및 장치
CN112689147A (zh) 视频数据处理方法以及装置
US11792388B2 (en) Methods and apparatuses for transform skip mode information signaling
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
CN113632479B (zh) 越界节点视频数据的处理方法及装置
US20230328250A1 (en) Method for processing image providing improved arithmetic encoding, method for decoding and encoding image using same, and apparatus for same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination