CN110999297A - 在图像或视频编码系统中处理图像的方法和装置 - Google Patents

在图像或视频编码系统中处理图像的方法和装置 Download PDF

Info

Publication number
CN110999297A
CN110999297A CN201880052313.8A CN201880052313A CN110999297A CN 110999297 A CN110999297 A CN 110999297A CN 201880052313 A CN201880052313 A CN 201880052313A CN 110999297 A CN110999297 A CN 110999297A
Authority
CN
China
Prior art keywords
boundary
coding
current
coding unit
partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880052313.8A
Other languages
English (en)
Other versions
CN110999297B (zh
Inventor
向时达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110999297A publication Critical patent/CN110999297A/zh
Application granted granted Critical
Publication of CN110999297B publication Critical patent/CN110999297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种图像或视频编码或解码系统中的图像处理方法和装置，用于处理分割一个图像为多个非重叠编码树单元(CTU)。接收当前CTU的输入数据并将其分成一个或多个CU。完全在图像边界内的CU被从第一分割类型集合中选择的分割类型分割，并且不完全在图像边界内的CU被从第二分割类型集合中选择的分割类型分割。第二分割类型集合包括至少两种不同的分割类型，以为每个跨界CU选择分割类型提供灵活性。当当前CTU被分割为叶CU以用于预测和变换处理时，对当前CTU进行编码或解码。

Description

在图像或视频编码系统中处理图像的方法和装置
交叉申请
本申请主张在2017年9月8日提出的申请号为62/555,687、标题为“Methods andapparatus for coding units of image and video data”的美国专利申请的优先权，以及在2018年4月13日提出的申请号为62/557,102、标题为“Methods and apparatus forcoding units of image and video data”的美国专利申请的优先权。上述申请的内容以引用方式并入本文中。
技术领域
本发明涉及在图像或视频编码系统中编码或解码图像的图像处理方法和装置。具体而言，本发明涉及一种用于不完全在图像边界内的块的块分割方法。
背景技术
高效视频编码(HEVC)标准是由ITU-T研究组的视频编码联合协作小组(JCT-VC)组开发的最新视频编码标准。HEVC标准依赖于基于块的编码结构，将每个图像分成多个非重叠的方形编码树单元(CTU)，也称为最大编码单元(LCU)。以光栅扫描顺序处理图像或切片中的每个单独CTU。在HEVC主配置文件中，CTU的最大和最小大小由序列参数集(SPS)中用信号通知的语法元素指定。使用四叉树(QT)分割结构将每个CTU进一步递归地分割为一个或多个非重叠编码单元(CU)，以便适应各种局部特性。CTU的大小选自64x64，32x32和16x16像素样本。在QT分割结构的每个深度处，N×N块是单个叶CU或分成具有相等的大小为N/2×N/2的四个较小块。具有M×M像素样本大小的CTU是四叉树编码树的根节点，并且四个M/2xM/2块是从根节点分离的子四叉树节点。四个M/2xM/2块中的每一个可以成为另一个母节点以用于另一个分割而被分割为四个子节点，以进一步在每个空间维度中减小一半的大小。如果没有进一步分割编码树节点，则它是叶CU。叶CU大小被限制为大于或等于最小允许CU大小，其也在SPS中指定。图1中示出了递归四叉树分割结构的示例，其中实线指示CTU 100中的CU边界。
一旦CTU被分割为叶CU，每个叶CU依据用于预测的PU分割类型进一步分成一个或多个预测单元(PU)。图2示出了HEVC标准中定义的八种不同的PU分割类型。依据图2中所示的八个PU分割类型之一将每个CU分成一个，两个或四个PU。与CU的递归四叉树分割不同，每个叶CU可以仅被分割一次以形成PU。当相同的预测过程应用于PU中的所有像素时，PU用作用于共享预测信息的基本代表性块。预测信息以PU为基础传送给解码器。在基于PU分割类型获得由预测过程生成的残差数据之后，属于叶CU的残差数据依据另一四叉树分割结构被分割为一个或多个变换单元(TU)，用于将残差数据变换为变换系数以用于紧凑的数据表示。图1中的虚线表示CTU 100中的TU边界。TU是用于对残差数据或变换系数应用变换和量化的基本代表性块。对于每个TU，将具有与TU相同大小的变换矩阵应用于残差数据以生成变换系数，并且这些变换系数被量化并且以TU为基础传送到解码器。
术语编码树块(CTB)，编码块(CB)，预测块(PB)和变换块(TB)被定义为分别与CTU，CU，PU和TU相关的一个颜色分量的二维采样数组。例如，CTU由一个亮度CTB，两个色度CTB及其相关的语法元素组成。类似的关系对CU，PU和TU有效。在HEVC系统中，相同的四叉树分割结构通常应用于亮度和色度分量，除非达到色度块的最小尺寸。
二叉树(BT)分割结构是四叉树分割结构的替代结构，其递归地将块分成两个较小的块。图3标出了二叉树分割结构的六种示例性分割类型，其包括对称分割类型31和32以及非对称分割类型33,34,35和36。最简单的二叉树分割结构仅允许对称水平分割类型32以及对称垂直分割类型31。对于具有大小为MxN的给定块，发信号通知第一标志以指示该块是否被分割为两个较小的块，如果第一标志指示分割则随后由第二标志指示分割类型。如果分割类型是对称水平分割，则该M×N块被分成大小为M×N/2的两个块，以及如果分割类型是对称垂直分割，则该M×N块被分成大小为M/2×N的两个块。可以迭代分割过程，直到分割块的大小，宽度或高度达到由视频比特流中的高级语法定义的最小允许大小，宽度或高度。需要指示最小允许宽度和高度，因为二叉树分割结构能够水平或者垂直分割一个块。
图4A和图4B示出了依据二叉树分割结构及其对应的编码树结构的块分割的示例。在图4B中，位于二叉树编码树的每个分割节点(即，非叶子)处的一个标志用于指示分割类型，标志值等于0表示水平对称分割，而标志值等于1表示垂直对称分割。二进制树分割可以在编码或解码期间应用于块分割的任何级别，例如，二叉树分割可以用于将切片分成CTU，将CTU分成CU，将CU分成PU，或将CU分成TU。可以透过省略从CU到PU以及从CU到TU的分割来简化分割过程，因为二叉树分割结构的叶节点是用于预测和变换编码的基本代表性块。
ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的联合视频专家组(JVET)目前正在建立下一代视频编码标准。一些有前途的新编码工具已被采用到通用视频编码(VVC)工作草案(WD)1中以供进一步研究。在VVC WD 1中采用称为四叉树加二叉树(QuadTree plusBinary Tree，QTBT)结构的新分割结构，以平衡四叉树分割结构和二叉树分割结构的编码效率和编码复杂度。示例性QTBT结构如图5A所示，其中CTU首先由四叉树结构分割，然后是二叉树分割结构。可以透过四叉树分割来递归地分割CU，直到当前CU大小达到允许的最小四叉树叶节点大小。如果叶四叉树块大小不大于最大允许二叉树根节点大小，则每个叶四叉树块可以由二叉树结构分割。可以递归地应用二叉树分割，直到当前CU大小，宽度或高度达到最小允许二进制树叶节点大小，宽度或高度或二叉树深度达到最大允许二叉树深度。只有水平对称分割和垂直对称分割是VVC WD 1中允许的两个二叉树分割类型。来自QTBT分割的所得叶CU用于预测和变换处理而无需任何进一步的分割。
图5A标出了依据QTBT分离结构的块分割结构的示例，图5B示出了用于图5A中示出的QTBT分离结构的对应编码树图。图5A和图5B中的实线表示四叉树分割，而虚线表示二叉树分割。类似于图4B，在二叉树结构的每个分割节点(即，非叶子)中，一个标志指示使用哪种分割类型，0表示水平对称分割，1表示垂直对称分割。对于在I型(I-type)切片中编码的CTU，用于色度编码树块(CTB)的QTBT编码树表示可以与用于对应的亮度CTB的QTBT编码树表示不同。对于以P型和B型切片编码的CTU，相同的QTBT编码树表示应用于色度CTB和亮度CTB。在QTBT分割结构中，允许的最小四叉树叶节点大小，允许的最大二叉树根节点大小，允许的最小二叉树叶节点宽度和高度，以及允许的最大二叉树深度和高度在高级语法，例如在SPS中被表示。
多类型树(Multi-Type-Tree,MTT)分割结构透过允许MTT分割结构的第二层中的二叉树分割和三树分割来扩展QTBT分割结构中的两级树结构的概念。MTT中的两层树分别称为区域树(region tree,RT)和预测树(prediction tree,PT)。第一层RT总是四叉树(quadtree,QT)分割，而第二层PT是二叉树(二元码ary-tree,BT)分割或三叉树(triple-tree,TT)分割。例如，首先透过RT对CTU进行分割，即QT分割；并且每个RT叶节点可以进一步由PT分割，PT是BT或TT分割。由PT分割的块可以进一步利用PT分开，直到达到最大PT深度。PT叶节点是用于预测和变换的叶编码单元(CU)，并且将不被进一步分割。图6标出了在MTT分割结构中使用的五种分割类型，其中分割类型包括QT分割类型61，BT分割类型62和63，以及TT分割类型64和65。垂直中心侧TT分割类型64和水平中心侧-TT分割类型65将块分成三个较小的块，所有块在一个空间维度上具有减小的尺寸，同时在另一个空间维度中保持相同的尺寸。针对MTT发信号通知的一些参数包括QT的根节点大小CtuSize，最小允许QT叶节点大小MinQTSize，用于BT/TT分割的最大允许根节点大小MaxCTSize，BT/TT分割中的最大允许树深度MaxCTDepth，以及BT/TT，中允许的最小叶节点大小MinCTSize。
图7标出了依据MTT分割结构的用于块分割的树型信令的示例。RT信令可以类似于QTBT分割结构中的四叉树信令。为了用信号通知PT节点，一个附加二元码(bin)被发送以指示它是二进制树分割还是三树分割。对于透过RT分割的块，第一二元码被发送以指示是否存在另一个RT分割，如果该块未被RT进一步分割(即，第一二元码为0)，则第二二元码被发送以指示是否存在PT拆分。如果块也没有被PT进一步分割(即第二二元码是0)，则该块是叶节点。如果然后透过PT分割块(即第二个二元码是1)，则发送第三二元码以指示水平或垂直分割，接着是第四二元码，用于区分二叉树(BT)分割或三重树(TT)分割。
发明内容
图像或视频编码系统中的图像处理的方法和装置包括：接收与当前图像中的当前编码树单元(CTU)相关联的输入数据，将当前CTU分成一个或多个非重叠的编码单元(CU)。确定每个CU是否完全在当前图像的边界内，依据递归分割结构将完全在图像边界内的CU分割为叶CU，并透过选自第二分割类型集合的分割类型递归地分割不完全在图像边界内的Cu为叶CU。完全在该当前图像的边界内的编码单元称为界内编码单元以及不完全在该当前图像的边界内的编码单元称为跨界编码单元。
当当前CTU至少包含至少一界内CU并且确定界内CU被进一步分割时，自与递归分割结构相关的第一分割类型集合中选择分割类型。如果没有进一步分割，则界内CU为叶CU。当当前CTU包含至少一跨界CU时，透过从第二分割类型集合中选择的分割类型递归地分割跨界CU，其中第二分割类型集合包括至少两种不同的分割类型以用于分割跨界CU。透过单独处理当前CTU中的每个叶CU来对当前CTU进行编码或解码，以用于预测和变换处理。
在一些实施例中，推断出指示是否进一步分割每个跨界CU的信息，而没有在视频比特流中明确地发送。指示选择哪个分割类型以用于分割每个跨界CU的信息可以在没有明确信令的情况下被推断。在一个实作中，推断所有跨界CU被进一步分割，并且基于边界条件和跨界CU的尺寸来选择每个跨界CU的分割类型。
用于跨界CU的第二分割类型集合的实施例包括至少两个一维(one-dimensional,1-D)分割类型；例如，选择水平分割类型用于分割跨过当前图像的底部边界的跨界CU，并且选择垂直分割类型用于分割跨过当前图像的右边界的跨界CU。第二分割类型集合还可以包括至少一个二维(two-dimensional,2-D)分割类型，用于分割同时跨越底部和右侧边界的跨界CU。一维分割类型的一些示例是二叉树水平对称分割，二叉树垂直对称分割，水平中心侧三叉树分割和垂直中心侧三树分割，以及二维分割类型的示例是四叉树分割。当跨界CU的空间维度大于第一阈值时，可以针对跨界CU禁用1-D分割类型，并且当跨界CU的空间维度小于第二阈值时，可以针对跨界CU禁用二维分割类型。在第二分割类型集合的示例中，包括四叉树分割和二叉树分割，第二阈值是第一阈值的两倍。当递归分割结构是QTBT分割结构或MTT分割结构时，可以将第一阈值设置为等于最大允许二叉树或三叉树根节点尺寸或者从最大允许二叉树或三叉树根节点尺寸导出，并且可以将第二阈值设置为等于最小允许的四叉树叶节点尺寸或者从最小允许的四叉树叶节点尺寸导出。在一个实施例中，当跨界CU的空间维度小于第二阈值并且跨界CU不位于当前图像的右下角时，禁用2-D分割类型以分割跨界CU。在另一实施例中，禁用2-D分割类型以用于分割利用一维分割类型自母CU分割的跨界编码单元。当跨界CU仅跨越一个图像边界并且1-D和2-D分割类型都被启用时，一个标志可以被发送以指示用于跨界CU的所选分割类型。该标志可以具体指示分割类型，或者该标志可以仅指示透过1-D分割类型还是2-D分割类型分割跨界CU，因为当一维分割类型被选择时，分割方向是跨界CU的边界条件而被推断。
在特定实施例中，当递归分割结构是QTBT结构或MTT结构时，第二分割类型集合包括四叉树分割，二叉树水平对称分割和二叉树垂直对称分割。该实施例中的跨界CU不能使用三叉树分割来分割，因此如果跨界CU被1-D分割类型分割，则推断使用二叉树对称分割来分割。
图像处理方法的另一实施例利用2-D分割类型来分割界内CU，但是利用1-D分割类型来分割跨界CU。依据诸如QTBT或MTT的递归分割结构将界内CU分割为叶CU，并且递归地分割每个跨界CU，直到从母跨界CU分割的所有子CU均是界内CU为止。关于是否进一步分割跨界CU的信息可以被推断而不需要明确发信号通知，以及关于1-D分割类型的分割方向的信息也可被推断而不需要在比特流中明确地发信号通知。当推断出分割方向时，如果跨界CU跨过底部图像边界，则透过水平分割来分割跨界CU，并且如果跨界CU跨过右图像边界则透过垂直分割进行分割跨界CU。用于分割跨界CU的1-D分割类型可以是二叉树分割，三叉树分割或两者的组合。
本公开的各方面还提供了一种用于图像或视频编码系统的装置，其透过从包括至少两种不同分割类型的分割类型集合中选择的分割类型来分割跨界CU。该装置透过1-D分割类型分割跨界CU，以允许围绕图像边界进行更灵活的块分割，从而提高编码效率。该装置的实施例接收当前图像中的当前CTU的输入数据，依据递归分割结构将当前CTU中的每个界内CU分割为叶CU，并且依据边界条件和跨界CU的大小选择的分割类型，将当前CTU中的每个跨界CU进行分割。在预测和变换过程中，该装置透过单独处理当前CTU中的每个叶CU来对当前CTU进行编码或解码。
本公开的各方面还提供了一种存储程序指令的非暂时性计算器可读介质，所述程序指令用于使装置的处理电路执行图像或视频编码处理以对当前CTU进行编码或解码，这使得不完全在图像边界内的块的分割更灵活。透过阅读以下具体实施方案的描述，本发明的其他方面和特征对于本领域通常知识者将变得显而易见。
附图说明
将参考以下附图详细描述作为示例提出的本公开的各种实施例，其中相同的附图标记表示相同的组件，并且其中：
图1示出了用于依据四叉树分割结构将编码树单元(CTU)分割成编码单元(CU)并将每个CU分成一个或多个变换单元(TU)的示例性编码树。
图2示出了用于将CU分割为HEVC标准中定义的一个或多个PU的八种不同PU分割类型。
图3标出了二叉树分割结构的六种示例性分割类型。
图4A示出了依据二叉树分割结构的示例性块分割结构。
图4B示出了对应于图4A中所示的二叉树分割结构的编码树结构。
图5A示出了依据四树加二叉树(QTBT)分割结构的示例性块分割结构。
图5B示出了对应于图5A的QTBT分割结构的编码树结构。
图6示出了在示例性多类型树(MTT)分割结构中使用的五种分割类型。
图7标出了依据MTT分割结构的用于块分割的树型信令的示例。
图8A示出了依据HEVC标准透过两级四叉树分割来分割跨越底部图像边界的跨界CU的示例。
图8B示出了图8A中所示的跨界CU中的块分割的对应编码树表示。
图9A示出了依据本发明实施例的透过两级二叉树水平对称分割分割跨越底部图像边界的跨界CU的示例。
图9B示出了图9A中所示的跨界CU中的块分割的对应编码树表示方式。
图10是示出用于对当前图像中的当前CTU进行编码或解码的图像处理方法的实施例的流程图。
图11是示出用于对当前图像中的当前CTU进行编码或解码的图像处理方法的另一实施例的流程图。
图12示出了结合依据本发明实施例的图像处理方法的视频编码系统的示例性系统框图。
图13示出了结合依据本发明实施例的图像处理方法的视频解码系统的示例性系统框图。
具体实施方式
容易理解的是，如本文附图中一般描述和说明的本发明的组件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制本发明的所要求保护的范围，而仅仅代表本发明的所选实施例。
本说明书中对“实施例”，“一些实施例”或类似语言的引用的意思是结合实施例描述的特定特征，结构或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，这些实施例可以单独实作或与一个或多个其他实施例结合实作。此外，所描述的特征，结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的通常知识者将认识到，可以在没有一个或多个具体细节的情况下或者利用其他方法，组件等可以实作本发明。在其他情况下，未示出公知的结构或操作或详细描述以避免模糊本发明的特征。
本发明的实施例涉及沿着图像边界的块分割，以实作更好的图像或视频编码效率。将要编码或解码的图像分割为非重叠的CTU，并且可以使用递归分割结构将每个CTU进一步分割为多个非重叠的叶CU。HEVC标准中的递归分割结构透过递归四叉树分割来分割每个CTU，并且VVC WD 1中的递归分割结构透过先递归四叉树分割然后递归二叉树分割来分割每个CTU。对于从当前图像中的CTU分割的每个块，其中块区域完全在当前图像的边界内，编码器或解码器决定是否进一步将块分割成更小的块。对于从当前图像中的CTU分割的块，其中块区域不完全在当前图像的边界内，依据HEVC标准的文本规范和VVC的实作，强制该块透过四叉树分割进一步分割。在本公开中，具有完全在图像边界内部的块区域的块被称为界内CU(in-bounds CU)，而在本公开中，具有不完全在图像边界内的块区域的块被称为跨界CU(out-of-bounds CU)。跨界CU的四叉树分割导致四个子节点；如果子节点的块区域完全在当前图像边界之外，则不进一步处理该子节点；如果子节点的块区域完全在当前图像边界内，则该子节点变为界内CU，其可以是叶CU或者进一步分成更小的块；并且如果子节点的块区域仍然不完全在当前图像边界内，则该子节点是跨界CU，并且被迫透过四叉树分割进一步分割。由于跨界CU总是被四叉树分割，因此不用信号通知指示是否分割跨界CU的语法信息。迫使当前图像中的每个跨界CU被递归地分割为四个较小的CU，直到每个CU完全在当前图像内部或完全在当前图像之外。对于具有不能被CTU的长度或宽度整除的至少一个空间维度的图像，依据HEVC标准和VVC WD 1中的实作，透过四叉树分割迫使图像边界区域分割为许多小方形CU。为了压缩具有低运动内容或平滑纹理的区域，图像中小CU数量的增加通常会降低帧编码效率并且需要更多的计算时间。
图8A示出了依据HEVC和VVC WD 1中采用的分割算法的沿着底部图像边界的跨界CU的示例性分割结构。图8B示出了图8A所示的分割结构的对应编码树表示方式。图8B中的编码树表示方式示出了四叉树分割的两个阶段，其中仅从第一阶段的四叉树分割中分离出的两个顶部块被第二阶段四叉树分割进一步分割。在图8A中，根跨界CU 82具有顶部四分之一区域在当前图像内，而根跨界CU 82的剩余区域在当前图像之外。当前图像的边界由虚线84示出，并且用于根跨界CU 82内的分割结果由在根跨界CU 82中的虚线来描述。根跨界CU82透过两级四叉树分割来分割，以使所有得到的子CU 821,822,823和824完全在当前图像内。
本发明的实施例允许使用从至少两种不同分割类型中选择的分割类型来分割跨界CU，而不是总是使用四叉树分割来分割跨界CU。可以透过考虑诸如边界条件，跨界CU的位置和跨界CU的空间维度之类的上下文信息来选择用于在当前编码树节点处分割跨界CU的分割类型。特别地，一些一维(1-D)分割类型是用于将跨界CU分割成仅在一个空间维度中具有减小的大小而在另一个空间维度中保持相同大小的较小块的更好选项，一些示例1-D分割类型包括对称和非对称二叉树分割类型和三叉树分割类型。
图9A示出了依据本发明实施例的沿着底部图像边界的跨界CU的示例性分割结构。根跨界CU 92类似于图8A中的根跨界CU 82，其中只有根跨界CU 92的顶四分之一区域在当前图像内。当前图像的边界由虚线94示出，并且用于跨界CU 92的分割结果用根跨界CU 92内的虚线来描述。不是在如图8A所示的四叉树分割的两个阶段之后将顶部四分之一区域分割为四个小方块821,822,823和824，而是在如图9A所示的二位树水平对称分割的两个阶段之后，顶部四分之一区域仅包含一个矩形分割921。图9B示出了用于图9A中所示的两级水平分割(-)的分割结构的相应编码树表示方式，其比图8B中所示的编码树表示简单得多。
用于跨界CU的分割类型选择编码器或解码器以光栅扫描顺序处理图像或切片的CTU。编码器或解码器中的CU分割模块确定每个CTU的分割结构，并依据递归分割结构将每个CTU分割为一个或多个非重叠叶CU，然后透过预测、变换或逆变换来单独处理CTU中的每个叶CU。在当前图像中分割当前CTU的过程中，本发明实施例确定当前CTU是否包含任何跨界CU，并且透过检测当前块是否整个在当前图像的边界内来确定当前CTU中的当前块是界内CU还是跨界CU。依据递归分割结构，例如四叉树分割，QTBT或MTT，将当前CTU中的界内CU分割叶CU。依据一些实施例，当前CTU中的跨界CU被从两个或更多个分割类型中选择的分割类型分割。在一个示例中，当前CTU位于当前图像的最后CTU行中并且仅具有图像边界内的顶部，并且CU分割模块从至少一个1-D分割类型(1-D splitting type)和一个2D分割类型(2-D splitting type)中选择分割类型，以将当前CTU分割为子CU。在另一示例中，迫使相同的当前CTU被预定义的分割类型(例如2-D分割类型)分割，直到子CU小于阈值或者直到达到预定的分割深度为止。
当前CTU中的每个子CU可以透过一个或多个分割阶段进一步分割为较小的子CU，并且在每个分割阶段之前，每个CU被分类为界内CU或跨界CU。对于界内CU，编码器中的CU分割模块决定是否进一步分割界内CU并且如果进一步分割则从第一组分割类型确定分割类型。第一组分割类型对应于递归分割结构，例如四叉树分割，QTBT或MTT。分割决策可以由编码器依据诸如速率-失真-优化(RDO)的编码算法来确定，并且解码器透过解析视频比特流中的对应语法信息来确定相同的分割决策。例如，当递归分割结构是QTBT时，第一组分割类型包括四叉树分割，二叉树水平对称分割和二叉树垂直对称分割。在另一个例子中，当递归分割结构是MTT时，第一组分割类型包括四叉树分割，二叉树水平对称分割，二叉树垂直对称分割，水平中心侧三叉树分割，以及垂直中心侧三叉树分割。
跨界CU并不总是被相同的分割类型分割，CU分割模块的实施例透过从包含至少两种不同的分割类型的第二组分割类型中选择的分割类型将每个跨界CU分割成多个子CU。例如，第二组分割类型包括两个1-D分割类型，或者至少一个1-D分割类型和一个2-D分割类型。1-D分割类型的示例包括二叉树水平对称分割，二叉树垂直对称分割，二叉树水平不对称分割，二叉树垂直非对称分割，水平中心侧三叉树分割，以及垂直中心侧三叉树分割。
用于分割类型选择的推断信息在一些实施例中，编码器可以跳过指示是否进一步分割每个跨界CU的信令信息，因为在没有明确信令的情况下推断出所有跨界CU被进一步分割。类似地，编码器可以跳过指示每个跨界CU的分割方向或分割类型的信令信息，因为分割方向或分割类型的推断不需要在视频比特流中明确地发信号。在跳过信号通知分割方向的实施例中，当标志指示使用1-D分割类型分割跨界CU时，如果横跨底部图像边界，则分割方向被推断为水平方向，以及如果横跨右侧图像边界，则分割方向被推断为垂直方向。
在跳过信令分割类型的实施例中，当当前跨界CU跨过当前图像的右边界时，编码器或解码器隐含地选择预定义的垂直分割类型，例如二叉树垂直对称分割或垂直中心侧三叉树分割以将当前跨界CU分割为多个子CU。每个子CU将具有与其父CU相同的CU高度，但具有减小的CU宽度。当当前跨界CU跨过当前图像的底部边界时，编码器或解码器隐式地选择预定义的水平分割类型，例如二叉树水平对称分割或水平中心侧三叉树分割以分割当前跨界CU为多个子CU。每个子CU将具有与其父CU相同的CU宽度，但具有降低的CU高度。在当前跨界CU跨越当前图像的右边界和底边界的情况下，编码器或解码器隐含地选择预定义的2-D分割类型，例如四叉树分割以分割当前跨界CU成为多个子CU，每个子CU在两个空间维度上都具有减小的CU大小。
在跳过用信号通知用于分割跨界CU的分割类型的另一实施例中，依据当前跨界CU的大小，推断出当前跨界CU的分割类型。例如，为有效地将这些大的跨界CU分割为较小的子CU，总是选择四叉树分割作为分割类型，以用于CU尺寸的空间维度大于阈值的跨界CU。在另一示例中，总是选择1-D分割类型作为用于CU尺寸的的空间维度小于阈值跨界CU的分割类型，以便跨界CU被分割为更小的子CU，其中每个都仅在一个空间维度上具有缩小的尺寸。
在采用VVC WD 1中指定的QTBT结构的实施例中，当当前跨界CU穿过右侧和底部图像边界时或当前跨界CU的尺寸大于最大二叉树边界CU尺寸(称为max_BT_bdy_CU_size)，则总是选择四叉树分割作为预定义和推断的分割类型。当当前跨界CU跨越底部图像边界时，推断的分割类型是在水平方向上的二叉树分割，并且当当前跨界CU跨越右侧图像边界时，推断的分割类型是在垂直方向上的二叉树分割。
重新使用分割类型实作用于跨界CU的分割方法的一个方面涉及重使用用于分割常规界内CU的所有或部分分割类型，以用于分割跨界CU。
视频编码器或解码器中的CU分割模块可有效地重用现有系统模块和语法集以用于对跨界CU进行编解码。在重新使用所有分割类型的一些实施例中，依据VVC WD 1中指定的QTBT分割结构来分割常规界内CU，并且还使用四叉树分割，二叉树水平对称分割，以及二叉树垂直对称分割中的一个来分割每一个跨界CU。在一个实施例中，跨界CU的分割遵循与QTBT分割结构相同的规则，即，在四叉树分割之后选择二叉树分割，因此在二叉树分割之后不允许四叉树分割。例如，如果透过来自母跨界CU的二叉树分割来分割跨界CU，则不能选择四叉树分割。QTBT分割结构还定义了四叉树分割的最小尺寸和二叉树分割的最大尺寸，如果跨界CU的尺寸小于最小允许的四叉树叶节点尺寸，则重新使用用于跨界CU的这些限制禁用四边形分割的实施例，并且如果跨界CU的尺寸大于允许的最大二叉树根节点尺寸，则禁用用于跨界CU的二叉树分割。
分割类型的预定义子集在使用MTT结构来分割常规界内CU的情况下，MTT结构中可用的所有分割类型可以被重用以分割跨界CU，即每个跨界CU透过四叉树分割，二叉树水平对称分割，二叉树垂直对称分割，水平中心侧三叉树分割(horizontal center-sidetriple-tree splitting)和垂直中心侧三叉树分割(vertical center-side triple-treesplitting)中的一个而被分割。
由于每个空间方向存在多个1-D分割类型，因此实施例透过在用于分割跨界CU的每个分割类型中仅允许一个1-D分割类型的一个预定义子集，来限制用于分割跨界CU的1-D分割类型。例如，尽管在MTT结构中使用四叉树分割，二叉树分割和三叉树分割来分割常规界内CU，但是仅使用四叉树分割和二叉树分割来分割跨界CU。以这种方式，当确定透过1-D分割类型分割跨界CU并且导出或发信号通知相应的分割方向时，视频编码器或视频解码器选择分割类型而无需进一步发信号它是二叉树分割或三叉树分割。可以依据当前跨界CU的边界条件来调整用于分割当前跨界CU的1-D分割类型的预定义子集。例如，当采用MTT结构来分割常规界内CU时，如果当前跨界CU仅跨越图像边界的一侧以及CU块不到一半的区域在图像边界中，则视频编码器或视频解码器总是为当前跨界CU选择三叉树分割。
在这样的边界条件下，三叉树分割更有效，因为三叉树分割的一个阶段和相同方向的递归二叉树分割的两阶段在图像边界内具有相同CU分割。因此，视频编码器或视频解码器明确地跳过发信号通知用于当前跨界CU的所选1-D分割类型，因为当少于一半的CU块区域在图像边界的内部时，三树分割是推断的1-D分割类型；以及当一半或多于一半的CU块区域在图像边界的内部时，二叉树分割是推断的1-D分割类型。
关于选择分割类型的约束对于常规界内CU的分割类型的选择的某些约束可以应用于跨界CU，以降低编码器和解码器的实作成本。例如，QTBT结构首先透过递归四叉树分割来对CTU进行分割，然后在四叉树叶子节点之后依次地执行二叉树分割。为了控制QTBT结构的复杂性，一些参数限制了四叉树分割和二叉树分割的深度，并且一些参数限制了四叉树叶节点和二叉树根节点允许的块大小。允许的最小四叉树叶节点的尺寸意味着如果块的尺寸达到此特定大小，则必须终止四叉树分割。允许的最大二叉树根节点的尺寸意味着如果块的尺寸小于或等于该特定大小，则二叉树分割可能开始分割。最大四叉树深度定义了来自CTU的递归四叉树分割的最大级数。这些参数也可以应用于分割跨界CU。跨界CU的尺寸超过最大允许二叉树根节点大小，则将将始终使用四叉树分割进行分割。跨界CU的尺寸等于或小于最小允许四叉树叶节点大小或具有大于或等于最大四叉树深度的四叉树深度，则跨界CU将始终使用二叉树分割来分割。在一些实施例中可以应用一些例外，例如，CU分割模块仍然允许透过1-D分割类型递归地分割跨界CU，而忽略对最大1-D树深度的约束，并且允许不考虑最大四叉树深度的约束，透过四叉树分割递归地分割的右下跨界CU(bottom-rightout-of-bounds CU)。
本发明的实施例设置不同的约束参数值，用于分割从跨界CU分割的界内CU。例如，用于分割从跨界CTU分离的界内CU的最大允许二叉树深度被设置为大于在QTBT或MTT分割结构中自界内CTU分割的界内CU的最大允许二叉树深度，其允许透过更多的二叉树分割阶段分割从跨界CTU分离的界内CU。在另一个实施例中，相同的约束参数值被设置以用于从界内CTU或从跨界CTU分离的界内CU，例如，无论其根CU对应于界内CTU还是跨界CTU。
明确地发信号通知所选择的分割类型在本发明的一些实施例中，使用从当前编码上下文导出的相关分割参数来明确地用信号通知用于分割跨界CU的所选择的分割类型。当采用为VVC WD 1指定的QTBT结构将CTU分割为多个叶CU时，示例性视频编码器明确地发信号通知标志以指示是否选择四叉树分割或二叉树分割用于分割当前跨界CU；以及相应的视频解码器基于所发信号通知的标志确定透过四叉树分割或二叉树分割来分割当前跨界CU。当选择二叉树分割作为分割类型时，可以明确地发信号通知或推断相应的分割方向，如果推断分割方向，则当当前跨界CU穿过底部图像边界时选择水平分割，当当前跨界CU跨过右侧图像边界时选择垂直分割。在另一实施例中，首先用信号通知标志以指示当前跨界CU的分割类型是1-D分割类型还是2-D分割类型，并且如果选择1-D分割类型，发信号通知另一个标志以指示1-D分割类型是二叉树分割还是三树分割。当针对当前跨界CU选择1-D分割类型时，也可以用信号通知或推断该实施例中的分割方向。
分割类型选择示例在确定当前跨界CU的分割类型的示例中，令picWidth和picHeight分别表示由多个CTU组成的当前图像的宽度和高度，并且CTU是透过QTBT分割结构分割为叶CU。坐标(x，y)表示左上样本位置，cuWidth和cuHeight分别表示当前跨界CU的宽度和高度，并且当((x+cuWidth)>picWidth||(y+cuHeight)>picHeight满足时，当前跨界CU跨越一个或两个图像边界。当前跨界CU的所选分割类型可以透过检查一个或多个标准(例如边界条件，尺寸，分割深度)来隐式导出，或分割类型被显示地发送。在此示例中，当禁用二叉树分割或当前跨界CU满足当前条件((x+cuWidth)>picWidth&&(y+cuHeight)>picHeight)时，分割类型被推断为四叉树分割。当cuWidth大于预定义的最大二叉树边界CU尺寸max_BT_bdy_CU_size时，可以对当前跨界CU禁用二叉树分割。当四叉树分割被禁用于当前跨界CU时，二叉树分割被推断为选择的分割类型，并且当当前跨界CU的二叉树深度大于0或当前跨界CU的宽度cuWidth小于或等于预定义的最小四叉树边界CU大小min_QT_bdy_CU_size时，禁用四叉树分割。如果没有满足任何条件，则指示当前跨界CU是透过四叉树分割还是二叉树分割的标志被发送。当当前跨界CU透过二叉树分割被推断或发信号通知时，如果(y+cuHeight)大于picHeight，则推断分割方向为水平，否则推断分割方向为垂直。
分割类型的约束以避免冗余的编码树表示QTBT分割结构允许不同的编码树表示对应于相同的分割。本发明的一个方面还对与跨界CU的分割类型选择相对应的语法值施加一些约束，以便去除冗余编码树表示。为分割类型设置约束的实施例透过以下方式来显示跨界CU的分割：限制透过二叉树水平对称分割之后立即二叉树垂直对称分割；或限制透过二叉树垂直分割之后立即二叉树水平分割。例如，对于当前跨界CU分别在底部图像边界的内部和外部具有上半部分和下半部分的情况，透过四叉树分割分割当前跨界CU的方式和透过二叉树水平分割之后跟随二叉树垂直分割来分割当前跨界CU的方式在图像边界内具有相同的分割。当启用四叉树分割并且选择当前跨界CU的分割类型作为二叉树水平分割时，当前跨界CU被完全分割成图像边界内的顶部子CU(top child CU)。如果进一步分割顶部子CU，则视频编码器或解码器限制用于分割顶部子CU的分割方向，以便移除冗余编码树表示。用于分割顶部子CU的分割方向必须是水平的；因此，可以推断该示例中的分割方向是水平的而没有明确地发信号。在另一示例中，当前跨界CU在右图像边界的内部和外部分别具有左半部分和右半部分。当使用四叉树分割来分割当前跨界CU并且最终选择二叉树垂直分割作为分割类型时，当前跨界CU被完全分割为图像边界内的左子CU。视频编码器或解码器仅允许左侧子CU的分割方向是垂直的，以便去除冗余编码树表示。在该示例中用于分割左侧子CU的分割方向可以被推断为是垂直的而没有明确地发信号。
示例性流程图图10是示出在图像或视频编码或解码系统中实作的图像处理方法的示例性实施例的流程图。首先将图像分割为多个非重叠块，例如编码树单元(CTU)，并且透过递归分割结构将每个块进一步分割为一个或多个非重叠叶块，例如叶编码单元(CU)。递归分割结构的一些示例是先前描述的QTBT和MTT分割结构。该示例性实施例中的编码或解码系统透过在步骤S1002中首先接收与当前CTU相关联的输入数据来处理当前图像中的当前CTU。与当前CTU相关联的输入数据包括编码系统处的一组像素，或者与当前CTU相关联的输入数据是与包括解码系统处的当前CTU的压缩数据相对应的视频比特流。在步骤S1004中将当前CTU分割为一个或多个CU，并且编码或解码系统在步骤S1006中确定当前CU是界内CU还是跨界CU。界内CU是完全在当前图像的边界内的CU，并且跨界CU是不完全在当前图像边界内的CU。如果当前CU是界内CU，则编码或解码系统在步骤S1012中确定当前CU是否被进一步分割为多个子CU，并且若当前CU进一步分割，则当前编码单元在步骤S1014中被进一步自第一分割类型集合选择的分割类型而被分割。第一分割类型集合对应于递归分割结构中允许的分割类型。在步骤S1012中确定从当前CU分割的每个子CU是否被进一步分割，并且如果结果是肯定的，则在步骤S1014中分割子CU。在步骤S1012中当当前CU未被进一步分割时，步骤S1016检查当前CU是否是当前CTU中的最后CU。如果当前CU是跨界CU，则在步骤S1008中透过从第二分割类型集合中选择的分割类型来分割当前CU。第二分割类型集合包括至少两种不同的分割类型。例如，一组第二分割类型包括两种分割类型，例如两种1-D分割类型，另一第二分割类型包括三种分割类型，例如两个1-D分割类型和一个二维分割类型，另一第二分割类型包括五种分割类型，例如四种1-D分割类型和一种2-D分割类型。从当前跨界CU分割的每个子CU可以是界内CU或跨界CU，因此在步骤S1010中将每个子CU顺序地设置为当前CU并且在步骤S1006中检查它是否是跨界CU。该分割过程递归地分割出跨界CU，直到所有子CU都是界内CU。当在步骤S1012中不进一步分割当前CU时，编码或解码系统在步骤S1016中检查该当前CU是否是当前CTU中的最后CU。如果当前CU不是当前CTU中的最后CU，则在步骤S1018中将下一个CU设置为当前CU，并且流程进行到步骤S1006。在将当前CTU分割为多个叶CU之后，透过单独处理用于预测和变换的每一个叶CU，当前CTU在步骤S1020中被编码或解码。
图11是示出可以在图像或视频编码或解码系统中实作的图像处理方法的另一示例性实施例的流程图。图11所示的处理方法类似于图10中的处理方法。编码或解码系统在步骤S1102中接收当前CTU的输入数据，并在步骤S1104中将当前CTU分成一个或多个CU。与当前CTU相关联的输入数据包括编码系统处的一组像素，或者与当前CTU相关联的输入数据是与包括解码系统处的当前CTU的压缩数据相对应的视频比特流。在步骤S1106中确定当前CU是界内CU或跨界CU，并且在步骤S1112中将界内CU确定为叶CU或者进一步分割。如果界内CU被进一步分割，则在步骤S1114中透过与递归分割结构相关联的分割类型将其分割。分割类型包括2-D分割类型。递归地执行步骤S1112和S1114，直到将界内CU分割为多个非重叠叶CU为止。透过在步骤S1110中设置子CU为当前CU，在步骤1106中每一个结果子CU被检测为界内CU或跨界CU，以及在步骤S1108中跨界CU被1-D分割类型分割。1-D分割类型的示例是二叉树水平对称分割和二叉树垂直对称分割。1-D分割类型的一些其他示例是非对称二叉树分割，对称三叉树分割和不对称三叉树分割。编码或解码系统的实施例透过依据跨界CU的边界条件，位置和空间维度中的一个或多个隐式地导出来为用于跨界CU的选择1-D分割类型。编码或解码系统的另一实施例透过在视频比特流中明确地发信号通知所选择的分割类型来选择1-D分割类型。在步骤S1116中，编码或解码系统检查当前CTU中的所有CU是否被分割成叶CU，如果步骤S1116的结果是否定的，则在步骤S1118中将下一个CU设置为当前CU，并且如果步骤S1116的结果是肯定的，则在步骤S1120中编码或解码当前CTU。
示例性系统框图图12标出了用于实作本发明的各种实施例的视频编码器1200的示例性系统框图。CU结构分割模块1210接收视频图像的输入数据，并确定要编码的每个图像的块分割结构。首先将当前图像分割为非重叠块，并且透过递归分割结构将每个块进一步分割为CU结构分割模块1210中的叶块，例如，依据QTBT分割结构将图像中的多个CTU分割为叶CU。依据本发明的实施例，CU结构分割模块1210检查当前块是否完全在图像边界内，然后如果当前块完全位于图像边界内并且被确定为进一步分割，则透过从与递归分割结构相关联的第一分割类型集合中选择的分割类型来分割当前块，或者如果当前块不完全在图像边界内，则透过从第二组分割类型中选择的分割类型来分割当前块。完全在图像边界内的块称为界内CU，跨越图像边界的块称为跨界CU。第二分割类型集合包括至少两种不同的分割类型。CU结构分割模块1210的一些实施例依据它们的边界条件，位置，空间维度或其组合隐含地选择那些跨界CU的分割类型；CU结构分割模块1210的一些其他实施例系统地测试若干分割类型并依据速率失真优化(RDO)结果选择分割类型。对应于每个跨界CU的所选分割类型的信息可以在视频比特流中用信号通知，以便解码器解码所选择的分割类型。透过画面内预测模块1212中的画面内预测或画面间预测模块1214中的画面间预测来预测当前图像中的每个叶CU，以移除空间冗余或时间冗余。画面内预测模块1212基于当前图像的重建视频数据提供当前叶CU的画面内预测器。画面间预测模块1214执行运动估计(ME)和运动补偿(MC)以基于来自其他图像或图像的视频数据提供当前叶CU的预测器。交换机1216选择画面内预测模块1212或画面间预测模块1214以将预测器提供给加法器1218以形成预测误差，也称为残差。当前CU的残差由变换模块(T)1220进一步处理，随后是量化模块(Q)1222。然后，变换和量化的残差信号由熵编码器1234编码以形成视频比特流。然后，视频比特流被打包有辅助信息(side information)。当前CU的变换和量化的残差信号由逆量化模块(IQ)1224和逆变换模块(IT)1226处理以恢复预测残差。如图12所示，透过在重建模块(REC)1228处添加回所选择的预测器来恢复残差，以产生重建的视频数据。重建的视频数据可以存储在参考图像缓冲器1232中，并由画面间预测模块1214用于预测其他图像。来自REC 1228的重建视频数据可能由于编码处理而受到各种损害，因此，在存储在参考图像缓冲器1232中之前，将环路处理滤波器1230应用于重建的视频数据，以进一步提高图像质量。
用于解码由图12的视频编码器1200产生的视频比特流对应视频解码器1300在图13中示出。视频解码器1300的输入由熵解码器1310解码以解析和恢复经变换的和量化残差信号和其他系统信息。CU结构分割模块1312依据本发明的各种实施例确定每个视频图像的块分割。在CU结构分割模块1312的一些实施例中，透过从包括至少两种不同分割类型的第二分割类型集合中选择的分割类型来分割跨界CU，并且在一些其他实施例中，边界CU由1-D分割类型分割。解码器1300的解码过程类似于编码器1200处的重建环路(reconstructionloop)，除了解码器1300仅需要画面间预测模块1316中的运动补偿预测。每个CU由画面内预测模块1314或画面间预测模块1316解码，并且开关1318依据解码的模式信息选择画面内预测器或画面间预测器。透过逆量化(IQ)模块1322和逆变换(IT)模块1324恢复与每个CU相关联的变换和量化的残差信号。透过在REC 1320中加回预测器来重建恢复的残差信号以产生重构视频。透过环路处理滤波器1326进一步处理重构的视频以生成最终的解码视频。如果当前解码的图像是参考图像，则当前解码的图像的重建视频也存储在参考图像缓冲器1328以用于解码顺序中的后续图像。
图12和图13中的视频编码器1200和视频解码器1300的各种组件可以由硬件组件，被配置为执行存储在存储器中的程序指令的一个或多个处理器，或者硬件和该处理器的组合来实作。例如，处理器执行程序指令以控制与当前图像相关联的输入数据的接收。处理器配备单个或多个处理核心。在一些示例中，处理器执行程序指令以执行编码器1200和解码器1300中的一些组件中的功能，并且与处理器电耦合的存储器用于存储程序指令，对应于CU的重建图像的信息，和/或编码或解码过程中的中间数据。在一些实施例中，存储器包括非暂时性计算器可读介质，诸如半导体或固态存储器，随机存取存储器(RAM)，只读存储器(ROM)，硬盘，光盘或其他合适的存储介质。存储器还可以是上面列出的两个或更多个非暂时性计算器可读介质的组合。如图12和13所示，编码器1200和解码器1300可以在同一电子设备中实作，因此如果在同一电子设备中实作，则可以共享或重用编码器1200和解码器1300的各种功能组件。
具有针对跨界CU的更有效分割的图像处理方法的实施例可以在整合到视频压缩芯片中的电路或整合到视频压缩软件中的程序代码中实作，以执行上述处理。例如，确定为当前块设置的当前模式可以在程序代码中实作，以在计算器处理器，数字信号处理器(DSP)，微处理器或现场可编程门数组(FPGA)上执行。这些处理器可以被配置为透过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行依据本发明的特定任务。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由权利要求书而不是前面的描述表示。在请求项的含义和等同范围内的所有变化都包含在其范围内。

Claims (23)

1.一种图像处理方法，该方法用于图像或视频编码系统中，其中，该方法包括：
接收与当前图像中的当前编码树单元相关联的输入数据，其中，该当前图像被分割为多个非重叠当前编码树单元；
将该当前编码树单元分成一个或多个非重叠编码单元，并确定该当前编码树单元中的每个编码单元是否完全在该当前图像的边界内，其中完全在该当前图像的边界内的编码单元称为界内编码单元，以及不完全在该当前图像的边界内的编码单元称为跨界编码单元；
如果该当前编码树单元包含至少一界内编码单元，则确定是否进一步分割该当前编码树单元中的每个界内编码单元，并且若该界内编码单元被进一步分割，则透过自与递归分割结构相关的第一分割类型集合选择的分割类型来分割该界内编码单元，其中若该界内编码单元不需要被进一步分割，则该界内编码单元是叶编码单元；
如果该当前编码树单元包含至少一跨界编码单元，则递归地将该当前编码树单元中的每个跨界编码单元分割成多个叶编码单元，其中从第二分割类型集合中选择分割类型以将每个跨界编码单元进行分割，该第二组分割类型集合包括至少两种不同的分割类型；以及
透过单独处理用于预测和变换处理的该当前编码树单元中的每个叶编码单元来编码或解码该当前编码树单元。
2.根据权利要求1所述的图像处理方法，其特征在于，在没有明确地发信号通知的情况下，指示是否在该当前编码树单元中分割每个跨界编码单元的信息被推断。
3.根据权利要求1所述的图像处理方法法，其特征在于，在没有明确地发信号通知的情况下，指示选择哪个分割类型用于分割该当前编码树单元中的跨界编码单元的信息被推断。
4.根据权利要求1所述的图像处理方法，其特征在于，该第二分割类型集合包括至少两个一维分割类型，该一维分割类型包括水平分割类型和垂直分割类型，该水平分割类型将一个大块分成具有块高度减小和块宽度相同的多个较小块，以及该垂直分割类型将一个大块分成具有块高度相同和块宽度减小的多个较小块。
5.根据权利要求4所述的图像处理方法，其特征在于，该第二分割类型集还包括至少一个二维分割类型，该至少一个二维分割类型将一个大块分成具有块高度减小和块宽度减小的多个较小块。
6.根据权利要求5所述的图像处理方法，其特征在于，如果该跨界编码单元仅跨过该当前图像的一个边界，则该一维分割类型中的一个被选择以用于分割该跨界编码单元；如果该跨界编码单元跨过该当前图像的底部边界，则该边界编码单元被该水平分割类型分割，并且如果该跨界编码单元跨过该当前图像的右边界，则该跨界编码单元被垂直分割类型分割。
7.根据权利要求5所述的图像处理方法，其特征在于，如果该跨界编码单元跨过该当前图像的底部边界和右边界，则该二维分割类型被选择以用于分割该跨界编码单元。
8.根据权利要求5所述的图像处理方法，其特征在于，该递归分割结构是使用递归四叉树分割然后递归二叉树分割的四叉树加二叉树结构来分割该当前编码树单元，并且该水平分割类型是二叉树水平对称分割、该垂直分割类型是二叉树垂直对称分割，该二维分割类型是四叉树分割。
9.根据权利要求5所述的图像处理方法，其特征在于，该递归分割结构是使用递归四叉树分割然后递归二叉树分割或三叉树分割的多类型树结构来分割该当前编码树单元，并且该第一分割类型集合和第二分割类型集合包括四叉树分割，二叉树水平对称分割，二叉树垂直对称分割，水平中心侧三叉树分割和垂直中心侧三叉树分割。
10.根据权利要求5所述的图像处理方法，其特征在于，该递归分割结构是使用递归四叉树分割然后递归二叉树分割或三树分割的多类型树结构来分割该当前编码树单元，并且该第二分割类型集合仅包括四叉树分割，二叉树水平对称分割和二叉树垂直对称分割。
11.根据权利要求1所述的图像处理方法，其特征在于，该第二分割类型集合包括二维分割类型和至少一一维分割类型，当禁用该二维分割类型时，跨界编码单元被推断为利用一维分割类型来分割，当禁用该至少一一维分割类型时，跨界编码单元被推断为利用该二维分割类型来分割。
12.根据权利要求11所述的图像处理方法，其特征在于，当该跨界编码单元的空间维度大于第一阈值时，该至少一一维分割类型被禁用于分割跨界编码单元。
13.根据权利要求12所述的图像处理方法，其特征在于，该二维分割类型是四叉树分割，并且该至少一一维分割类型是二叉树分割，当跨界编码单元的空间维度小于第二阈值时，该二维分割类型被禁用于分割跨界编码单元，并且该第二阈值是该第一阈值的两倍。
14.根据权利要求12所述的图像处理方法，其特征在于，该递归分割结构是四叉树加二叉树结构或多类型树结构，当跨界编码单元的空间维度小于第二阈值时，该二维分割类型被禁用于分割跨界编码单元，其中该第一阈值被设置为等于最大允许二叉树或三叉树根节点尺寸或从最大允许二叉树或三叉树根节点尺寸导出，并且该第二阈值被设置为等于最小允许的四叉树叶节点尺寸或从最小允许的四叉树叶节点尺寸导出。
15.根据权利要求11所述的图像处理方法，其特征在于，当该跨界编码单元的空间维度小于第二阈值以及该跨界编码单元不位于当前图像的右下角时，该二维分割类型被禁用于分割该跨界编码单元。
16.根据权利要求11所述的图像处理方法，其特征在于，当该跨界编码单元的空间维度小于第二阈值时，该二维分割类型被禁用于分割该跨界编码单元，或者该二维分割类型被禁用于分割利用该一维分割类型自母编码单元分割得到的跨界编码单元。
17.根据权利要求11所述的图像处理方法，其特征在于，当该跨界编码单元仅跨越该当前图像的一个边界以及该一维分割类型和该二维分割类型均被使能以用于分割该跨界编码单元时，一个标志被发送以指示该跨界编码单元的分割是利用该一维分割类型还是该二维分割类型。
18.根据权利要求17所述的图像处理方法，其特征在于，当该标志指示该跨界编码单元被该一维分割类型分割时，该跨界编码单元的分割方向被推断出，其中如果该跨界编码单元跨过该当前图像的底部边界，则该跨界编码单元以水平分割方向被分割，或者如果该跨界编码单元跨过该当前图像的右边界，则该跨界编码单元以垂直分割方向被分割。
19.根据权利要求1所述的图像处理方法，其特征在于，递归地将该当前编码树单元中的每个跨界编码单元分割成多个叶编码单元的步骤包括，确定从该跨界编码单元分割的每个子编码单元是界内编码单元还是跨界编码单元，并且使用从第二分割类型集合中选择的分割类型以进一步分割每个跨界编码单元，直到所有子编码单元是界内编码单元为止。
20.根据权利要求1所述的图像处理方法，其特征在于，用于分割自一个跨界编码单元分割的多个界内编码单元的最大允许二叉树深度被设置为大于用于分割自一个界内编码单元分割的多个界内编码单元的最大允许二叉树深度。
21.根据权利要求1所述的图像处理方法，其特征在于，用于分割自一个跨界编码单元分割的多个界内编码单元的最大允许二叉树深度被设置为等于用于分割自一个界内编码单元分割的多个界内编码单元的最大允许二叉树深度。
22.一种在图像或视频编码系统中处理图像的装置，其中，该装置包括一个或多个电子电路，被配置用于：
接收与当前图像中的当前编码树单元相关联的输入数据，其中，该当前图像被分割为多个非重叠当前编码树单元；
将该当前编码树单元分成一个或多个非重叠编码单元，并确定该当前编码树单元中的每个编码单元是否完全在该当前图像的边界内，其中完全在该当前图像的边界内的编码单元称为界内编码单元以及不完全在该当前图像的边界内的编码单元称为跨界编码单元；
如果该当前编码树单元包含至少一个界内编码单元，则确定是否进一步分割该当前编码树单元中的每个界内编码单元，并且若该界内编码单元被进一步分割，则透过自与递归分割结构相关的第一分割类型集合选择的分割类型来分割该界内编码单元，其中若该界内编码单元不需要被进一步分割，则该界内编码单元是叶编码单元；
如果该当前编码树单元包含至少一跨界编码单元，则递归地将该当前编码树单元中的每个跨界编码单元分割成多个叶编码单元，其中从第二分割类型集合中选择分割类型以将每个跨界编码单元进行分割，该第二组分割类型集合包括至少两种不同的分割类型；以及
透过单独处理用于预测和变换处理的该当前编码树单元中的每个叶编码单元来编码或解码当前编码树单元。
23.一种存储程序指令的非暂时性计算器可读介质，该程序指令使得装置的处理电路执行图像处理方法，其中，该方法包括：
接收与当前图像中的当前编码树单元相关联的输入数据，其中，该当前图像被分割为多个非重叠当前编码树单元；
将该当前编码树单元分成一个或多个非重叠编码单元，并确定该当前编码树单元中的每个编码单元是否完全在该当前图像的边界内，其中完全在该当前图像的边界内的编码单元是界内编码单元以及不完全在该当前图像的边界内的编码单元是跨界编码单元；
如果该当前编码树单元包含至少一个界内编码单元，则确定是否进一步分割该当前编码树单元中的每个界内编码单元，并且若该界内编码单元被进一步分割，则透过自与递归分割结构相关的第一分割类型集合选择的分割类型来分割该界内编码单元，其中若该界内编码单元不需要被进一步分割，则该界内编码单元是叶编码单元；
如果该当前编码树单元包含至少一跨界编码单元，则递归地将该当前编码树单元中的每个跨界编码单元分割成多个叶编码单元，其中从第二分割类型集合中选择分割类型以将每个跨界编码单元进行分割，该第二组分割类型集合包括至少两种不同的分割类型；以及
透过单独处理用于预测和变换处理的该当前编码树单元中的每个叶编码单元来编码或解码该当前编码树单元。
CN201880052313.8A 2017-09-08 2018-08-30 在图像或视频编码系统中处理图像的方法和装置 Active CN110999297B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762555687P 2017-09-08 2017-09-08
US62/555,687 2017-09-08
US201862657102P 2018-04-13 2018-04-13
US62/657,102 2018-04-13
PCT/CN2018/103213 WO2019047763A1 (en) 2017-09-08 2018-08-30 METHODS AND APPARATUSES FOR PROCESSING IMAGES IN AN IMAGE OR VIDEO ENCODING SYSTEM

Publications (2)

Publication Number Publication Date
CN110999297A true CN110999297A (zh) 2020-04-10
CN110999297B CN110999297B (zh) 2021-11-02

Family

ID=65633595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880052313.8A Active CN110999297B (zh) 2017-09-08 2018-08-30 在图像或视频编码系统中处理图像的方法和装置

Country Status (5)

Country Link
US (1) US10911757B2 (zh)
EP (1) EP3662666A4 (zh)
CN (1) CN110999297B (zh)
TW (1) TWI695619B (zh)
WO (1) WO2019047763A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022218322A1 (en) * 2021-04-13 2022-10-20 Beijing Bytedance Network Technology Co., Ltd. Boundary handling for coding tree split

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11259021B2 (en) * 2017-12-29 2022-02-22 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
WO2019203610A1 (ko) * 2018-04-19 2019-10-24 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치
WO2019234613A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with partition into 3 sub-blocks by horizontal and vertical splits
BR112020024082A2 (pt) * 2018-06-18 2021-02-09 Interdigital Vc Holdings, Inc. método e aparelho para codificar e decodificar vídeo com base em particionamento binário assimétrico de blocos de imagem
CN112673626B (zh) * 2018-09-03 2024-04-26 华为技术有限公司 各分割约束元素之间的关系
WO2020061949A1 (en) * 2018-09-27 2020-04-02 Huawei Technologies Co., Ltd. Encoding method, decoding method, encoder, and decoder
JP6835177B2 (ja) * 2018-11-30 2021-02-24 株式会社Ｊｖｃケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
WO2020149783A1 (en) 2019-01-16 2020-07-23 Telefonaktiebolaget Lm Ericsson (Publ) Video coding comprising uniform tile split with remainder
MX2021012503A (es) * 2019-06-21 2021-11-12 Panasonic Ip Corp America Sistema y metodo de codificacion de video.
US11412222B2 (en) 2020-02-12 2022-08-09 Tencent America LLC Flexible picture partitioning
US11206416B2 (en) 2020-02-21 2021-12-21 Tencent America LLC Method and apparatus for video coding
US20230269372A1 (en) * 2020-03-18 2023-08-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium having stored bitstream
CN112601087B (zh) * 2020-11-23 2022-10-18 郑州轻工业大学 一种针对h.266/vvc的快速cu分裂模式决策方法
WO2023081280A1 (en) * 2021-11-04 2023-05-11 Op Solutions, Llc Systems and methods for video encoding using image segmentation
US11842429B2 (en) 2021-11-12 2023-12-12 Rockwell Collins, Inc. System and method for machine code subroutine creation and execution with indeterminate addresses
US11954770B2 (en) 2021-11-12 2024-04-09 Rockwell Collins, Inc. System and method for recreating graphical image using character recognition to reduce storage space
US11915389B2 (en) 2021-11-12 2024-02-27 Rockwell Collins, Inc. System and method for recreating image with repeating patterns of graphical image file to reduce storage space
US11887222B2 (en) 2021-11-12 2024-01-30 Rockwell Collins, Inc. Conversion of filled areas to run length encoded vectors
US12002369B2 (en) 2021-11-12 2024-06-04 Rockwell Collins, Inc. Graphical user interface (GUI) for selection and display of enroute charts in an avionics chart display system
US11748923B2 (en) 2021-11-12 2023-09-05 Rockwell Collins, Inc. System and method for providing more readable font characters in size adjusting avionics charts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283228A (zh) * 2011-01-07 2013-09-04 索尼公司 图像处理装置和方法
CN103597827A (zh) * 2011-06-10 2014-02-19 联发科技股份有限公司 可伸缩视频编码方法及其装置
WO2016209757A1 (en) * 2015-06-22 2016-12-29 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI508534B (zh) * 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
US20160065959A1 (en) * 2014-08-26 2016-03-03 Lyrical Labs Video Compression Technology, LLC Learning-based partitioning for video encoding
AU2013228045A1 (en) * 2013-09-13 2015-04-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US9667996B2 (en) 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
CN105637872B (zh) 2013-10-16 2019-01-01 夏普株式会社 图像解码装置、图像编码装置
CN103957415B (zh) 2014-03-14 2017-07-11 北方工业大学 基于屏幕内容视频的cu分割方法和装置
WO2017142262A1 (ko) 2016-02-16 2017-08-24 삼성전자 주식회사 적응적인 블록 파티셔닝 방법 및 장치
WO2017205704A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103283228A (zh) * 2011-01-07 2013-09-04 索尼公司 图像处理装置和方法
CN103597827A (zh) * 2011-06-10 2014-02-19 联发科技股份有限公司 可伸缩视频编码方法及其装置
WO2016209757A1 (en) * 2015-06-22 2016-12-29 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022218322A1 (en) * 2021-04-13 2022-10-20 Beijing Bytedance Network Technology Co., Ltd. Boundary handling for coding tree split

Also Published As

Publication number Publication date
EP3662666A4 (en) 2021-03-03
TW201921953A (zh) 2019-06-01
US10911757B2 (en) 2021-02-02
US20200195924A1 (en) 2020-06-18
CN110999297B (zh) 2021-11-02
EP3662666A1 (en) 2020-06-10
WO2019047763A1 (en) 2019-03-14
TWI695619B (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
CN110999297B (zh) 在图像或视频编码系统中处理图像的方法和装置
US11064220B2 (en) Method and apparatus of video data processing with restricted block size in video coding
TWI666927B (zh) 用於四叉樹加二叉樹拆分塊的候選集決定的方法與裝置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
CN109479139B (zh) 视频处理系统中参考量化参数推导的方法与装置
CN112534813B (zh) 视频处理系统中色度量化参数导出的方法以及装置
US11051009B2 (en) Video processing methods and apparatuses for processing video data coded in large size coding units
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
CN113632479B (zh) 越界节点视频数据的处理方法及装置
KR20210134555A (ko) 인트라 예측 기반의 영상 부호화 또는 복호화 장치 및 방법
WO2023198013A1 (en) Methods and apparatus of cu partition using signalling predefined partitions in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220429

Address after: Hsinchu County, Taiwan, China

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road, Taiwan city of Hsinchu China Dusing 1

Patentee before: MEDIATEK Inc.