CN104285444B - 视频编码方法、视频解码方法和使用其的设备 - Google Patents

Abstract

本发明涉及视频编码方法、视频解码方法和使用其的设备，并且根据本发明的视频编码方法包括步骤：通过分割输入的图片指定贴片和片；基于贴片和片执行编码；以及发送编码的视频信息，其中图片被分割为一个或多个贴片和一个或多个片，并且用于并行处理的限制可以应用于贴片和片。

Description

视频编码方法、视频解码方法和使用其的设备

技术领域

本发明涉及视频压缩技术，尤其是，涉及指定图片区域的方法。

背景技术

近来，对高分辨率和高质量图像的需求已经在各种应用领域中增长。由于图像具有更高的分辨率和更高的质量，有关图像的数据量进一步增长。

因此，当图像数据使用介质，诸如现有的有线或者无线宽带线路传输，或者图像数据存储在现有的存储介质中的时候，信息传输成本和信息存储成本增长。

高效率的图像压缩技术可用于有效地传输、存储和再现有关高分辨率和高质量图像的信息。

帧间预测和帧内预测可用于提高图像压缩效率。在帧间预测中，当前图片的像素值参考其它的图片的信息预测。在帧内预测中，当前图片的像素值使用在同一图片中的像素间关系预测。

用于使图像等于原始图像的各种方法可以应用于预测的图片的处理单元，例如块。因此，解码器可以更加准确(更加接近原始图像)地解码图像，并且编码器可以编码图像以更加准确地重建图像。

因此，必须研究如何去限定在图片中的处理单元，例如，如何去限定有关处理单元的约束，或者有关处理单元使用的约束。

发明内容

技术问题

本发明的一个目的是提供一种适当的约束，其可以施加于编码/解码以便提高压缩效率和降低复杂度。

本发明的另一个目的是提供一种用于表示对于非方形四树变换(NSQT)的使用和非对称运动分割(AMP)的使用的约束的方法和设备。

本发明的再一个方面是提供一种方法和设备，其可以通过对图片的处理单元施加适当的约束，提高压缩效率并且降低复杂度。

本发明的再一个方面是提供一种方法和设备，其可以通过对图片中的片和贴片之间的关系设置预先确定的约束来平滑地执行并行处理。

问题的解决方案

根据本发明的一个方面，提供了一种视频编码方法，包括步骤：分割输入图片，并且指定贴片和片；基于贴片和片执行编码操作；以及发送编码的视频信息，其中图片被分割为一个或多个贴片和一个或多个片，并且其中用于并行处理的约束被应用于一个或多个贴片和一个或多个片。

根据本发明的另一个方面，提供了一种视频解码方法，包括步骤：接收视频信息；基于接收的视频信息指定在当前图片中的贴片和片；以及基于指定的贴片和指定的片执行解码操作，其中当前图片被分割为一个或多个贴片和一个或多个片，并且其中用于并行处理的约束被应用于一个或多个贴片和一个或多个片。

发明的有益效果

根据本发明，能够通过对编码/解码施加适当的约束提高压缩效率。

根据本发明，视频编码器可以对NSQT的使用和AMP的使用施加约束，并且发送其指示符，并且视频解码器可以根据指示符的指示使用NSQT和AMP，从而降低复杂度和提高压缩效率。

根据本发明，能够通过对图片的处理单元施加适当的约束，提高压缩效率和降低复杂度。

根据本发明，能够通过对图片中的片和贴片之间的关系设置预先确定的约束，平滑地执行并行处理和降低复杂度。

附图说明

图1是示意地图示根据本发明的一个实施例的视频编码器的方框图。

图2是示意地图示根据本发明的一个实施例的视频解码器的方框图。

图3是示意地图示AMP示例的示意图。

图4是示意地图示在NSQT中使用的非方形块示例的示意图。

图5是示意地图示在NSQT中使用的非方形块的另一个示例的示意图。

图6是示意地图示片(slice)示例的示意图。

图7是示意地图示贴片(tile)和片示例的示意图。

图8是示意地图示贴片和片的另一个示例的示意图。

图9是示意地图示在并行处理中出现的问题示例的示意图。

图10至20是示意地图示根据本发明的贴片和片的示例的示意图。

图21至23是示意地图示因为根据本发明的约束不满足，所以不允许的片和贴片示例的示意图。

图24是示意地图示根据本发明的编码方法的流程图。

图25是示意地图示根据本发明的解码方法的流程图。

具体实施方式

本发明可以以各种形式不同地修改，并且其特定的实施例将在附图中描述和示出。但是，实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施例，但是，不意欲限制本发明。单数的表示包括复数表示，只要其清楚不同地解读。诸如“包括”和“具有”的术语意欲表示存在在以下的描述中使用的特点、数目、步骤、操作、元件、组件，或者其组合，并且因此，应该理解，不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、元件、组件，或者其组合的可能性。

另一方面，在本发明描述的附图中的元件为解释在图像编码/解码装置中不同的特定功能的便利的目的被独立地绘制，并且不意味该元件由单独的硬件或者单独的软件实施。例如，元件的两个或更多个元件可以合并以形成单个元件，或者一个元件可以被分成多个元件。不脱离本发明的概念，元件被合并和/或分解的实施例属于本发明的范围。

在下文中，本发明示例性实施例将参考附图详细描述。在附图中类似的组成将由类似的附图标记引用，并且不会重复地描述。

图1是示意地图示根据本发明的一个实施例的视频编码器的方框图。参考图1，视频编码器100包括图片分割模块105、预测模块110、变换模块115、量化模块120、重排列模块125、熵编码模块130、去量化模块135、反变换模块140、滤波模块145，和存储器150。

图片分割模块105可以将输入图片分割为至少一个处理单元块。在这里，作为处理单元的块可以是预测单元(在下文中，称为“PU”)，变换单元(在下文中，称为“TU”)，或者编译单元(在下文中，称为“CU”)。

由图片分割模块105分割的处理单元块可以具有四树结构。

如稍后将描述的，预测模块110包括执行帧间预测处理的帧间预测模块，和执行帧内预测处理的帧内预测模块。预测模块110对由图片分割模块105划分的图片的处理单元执行预测处理以生成预测块。在预测模块110中，图片的处理单元可以是CU、TU或者PU。预测模块110可以确定对相应的处理单元执行的预测是帧间预测还是帧内预测，并且可以确定预测方法的特定细节(例如，预测模式)。经历预测处理的处理单元可以不同于确定预测方法和特定细节的处理单元。例如，预测方法和预测模式可以以PU为单位确定，并且预测处理可以以TU为单位执行。

在帧间预测中，预测处理可以基于有关当前图片的先前图片和/或后续图片的至少一个的信息执行以生成预测块。在帧内预测中，预测处理可以基于当前图片的像素信息执行以生成预测块。

在帧间预测中，可以使用跳跃模式、合并模式、MVP(运动矢量预测)模式等等。在帧间预测中，参考图片可以选择用于PU，并且具有与PU相同的大小的参考块可以通过整数像素采样选择。然后，生成预测块，在预测块中，来自当前PU的残留信号被最小化，并且运动矢量幅值被最小化。

预测块可以以整数像素采样为单位，或者以小于整数像素的像素采样为单位构造。在这里，运动矢量也可以以小于整数像素的像素采样为单位表示。

信息，诸如经由帧间预测选择的参考图片的索引、运动矢量(例如，运动矢量预测器)，和残留信号被熵编码，并且被发送给解码器。当应用跳过模式的时候，预测块可以用作重建的块，并且因此，残留信号可以完全不被生成、变换、量化和发送。

当执行帧内预测的时候，预测模式可以以PU为单位确定，并且预测处理可以以PU为单位执行。做为选择，预测模式可以以PU为单位确定，并且帧间预测可以以TU为单位执行。

在帧内预测中，预测模式可以包括33个方向预测模式，和至少2个无方向模式。无方向模式可以包括DC预测模式和平面模式。

在帧内预测中，预测块可以在滤波应用于参考采样之后构造。此时，取决于当前块的帧内预测模式和/或大小，可以确定是否将滤波应用于参考采样。

PU可以是具有各种大小和形状的块。例如，在帧间预测的情况下，PU可以是具有，诸如2N×2N、2N×N、N×2N和N×N大小的块(这里N是整数)。在帧内预测的情况下，PU可以是具有诸如2N×2N和N×N大小的块(这里N是整数)。具有N×N大小的PU可以被设置为仅仅应用于特定的情形。例如，具有N×N大小的PU可以被设置为仅仅用于最小CU，或者可以被设置为仅仅用于帧内预测。除了具有以上提及的大小的PU之外，PU，诸如N×mN块、mN×N块、2N×mN块，和mN×2N块(这里m<1)可以另外定义和使用。

在构造的预测块和初始块之间的残留值(残留块或者残留信号)被输入给变换模块115。用于预测的预测模式信息、运动矢量信息等等通过熵编码模块130与残值一起编码，并且发送给解码器。

变换模块115以TU为单位对残留块执行变换处理并且生成变换系数。

变换块是采样的矩形块，并且是相同的变换被应用到的块。变换块可以是TU，并且可以具有四树结构。

变换模块115可以取决于应用于残留块的预测模式和块的大小执行变换处理。

例如，当帧内预测应用于残留块，并且残留块具有4×4阵列的时候，使用离散正弦变换(DST)变换残留块。否则，可以使用离散余弦变换(DCT)变换残留块。

变换模块115可以经由变换构造变换系数的变换块。

量化模块120可以量化残留值，也就是说，由变换模块115变换的变换系数，并且可以生成量化系数。由量化模块120计算的值可以被提供给去量化模块135和重排列模块125。

重排列模块125可以重新排列从量化模块120提供的变换系数。通过重新排列量化系数，能够提高在熵编码模块130中的编码效率。

重排列模块125可以通过使用系数扫描方法以二维块的形式到一维矢量的形式重新排列量化的变换系数。

熵编码模块130可以对通过重排列模块125重新排列的量化系数执行熵编码操作。熵编码方法的示例包括指数golomb方法、CAVLC(上下文自适应可变长度编译)方法，和CABAC(上下文自适应的二进制运算编译)方法。熵编码模块130可以编码各种信息，诸如从重排列模块125和预测模块110发送的CU的量化系数信息和块类型信息、预测模式信息、分割单元信息、PU信息、传输单元信息、运动矢量信息、参考图片信息、块内插信息，和滤波信息。

熵编码模块130必要时可以将预先确定的变化给予要发送的参数集或者语法。

去量化模块135去量化由量化模块120量化的值(变换系数)。反变换模块140反向地变换由去量化模块135去量化的值。

由去量化模块135和反变换模块140生成的残留值可以与由预测模块110预测的预测块合并以构造重建的块。

在图1中，残留块和预测块由加法器相加以生成重建的块。此时，加法器可以被认为是生成重建的块的特定模块(重建的块生成模块)。

滤波模块145对重建的图片应用去块滤波、ALF(自适应循环滤波)、SAO(采样自适应偏移)。

去块滤波在重建的图片中除去在块之间的边界上产生的块失真。ALF基于将原始图片与其块由去块滤波器滤波的重建的图片比较的结果值执行滤波处理。只有当需要高效率时可以使用ALF。SAO重建在向其应用去块滤波的残留块和原始图片之间的偏移差值，并且以带偏移、边缘偏移等等的形式应用。

另一方面，滤波模块145可以不必对在帧间预测中使用的重建的块执行滤波操作。

存储器150可以存储重建的块或者由滤波模块145计算的图片。存储在存储器150中的重建的块或者图片可以被提供给执行帧间预测的预测模块110。

图2是示意地图示根据本发明的一个实施例的视频解码器的方框图。参考图2，视频解码器200可以包括熵解码模块210、重排列模块215、去量化模块220、反变换模块225、预测模块230、滤波模块235，和存储器240。

当视频比特流被从编码器输入的时候，输入的比特流可以基于视频信息由视频编码器处理的顺序被解码。

例如，当视频编码器使用可变长度编译(在下文中，称为“VLC”)方法，诸如CAVLC方法，执行熵编码操作的时候，熵解码模块210可以实现与在视频编码器中使用的VLC表相同的VLC表，并且可以执行熵解码操作。当视频编码器使用CABAC方法执行熵编码处理的时候，熵解码模块210可以使用与其对应的CABAC方法执行熵解码操作。

在由熵解码模块210解码的信息之中用于构造预测块的信息可以提供给预测模块230，并且由熵解码模块210熵解码的残留值，即，量化的变换系数，可以输入给重排列模块215。

重排列模块215可以基于在视频编码器中的重新排列方法重新排列由熵解码模块210熵解码的比特流信息，即，量化的变换系数。

重排列模块215可以将以一维矢量的形式表示的系数重建和重新排列为以二维块的形式的系数。重排列模块215可以基于应用于当前块(变换块)的预测模式和变换块的大小扫描系数，并且可以以二维块的形式生成系数(量化的变换系数)的阵列。

去量化模块220可以基于从视频编码器提供的量化参数和重新排列的块的系数值执行去量化。

反变换模块225可以对来自视频编码器的量化结果执行已经由视频编码器的变换模块执行的DCT和/或DST的反DCT和/或反DST。反变换可以基于由视频编码器确定的图片的传输单元或者分割单元执行。视频编码器的变换模块可以取决于多条信息，诸如预测方法、当前块的大小，和预测方向有选择地执行DCT和/或DST，并且视频解码器的反变换模块225可以基于有关由视频编码器的变换模块执行的变换的变换信息执行反变换。

预测模块230可以基于从熵解码模块210提供的预测块构造信息，和从存储器240提供的先前解码的块和/或图片信息构造预测块。

在当前CU和/或PU的预测模式是帧内预测模式的时候，预测模块230可以基于当前图片的像素信息执行构造预测块的帧内预测操作。

当用于当前PU的预测模式是帧间预测模式的时候，预测模块230可以基于在当前图片的先前图片和后续图片的至少一个中包括的信息对当前PU执行帧间预测操作。此时，用于当前PU的帧间预测的运动信息，例如，从视频编码器提供的有关运动矢量和参考图片索引的信息可以从接收自视频编码器的跳越标记、合并标记等等中导出。

可以使用由预测模块230构造的预测块和从反变换模块225提供的残留块构造重建的块。图2图示残留块和预测块通过加法器相加以构造重建的块。在这里，加法器可以被认为是构造重建的块的特定模块(重建的块构造模块)。

当使用跳跃模式的时候，残留信号可以不被发送，并且预测块可以用作重建块。

重建的块和/或图片可以提供给滤波模块235。滤波模块235可以对重建的块和/或图片执行去块滤波操作、SAO操作和/或ALF操作。

存储器240可以存储用作参考图片或者参考模块的重建的图片或者块，并且可以将重建的图片提供给输出模块。

另一方面，为了有效地执行编码和解码和提高编译效率，预先确定的约束可以施加于编码处理和解码处理。

例如，有关非对称运动分割(在下文中，称为“AMP”)和/或非方形四树变换(在下文中，称为“NSQT”)的约束和有关片和贴片的约束可以被施加。视频编码器可以用信号通知表示是否将约束施加给视频解码器的信息。

当使用AMP的时候，可以以矩形预测块(预测单元)为单位执行帧间预测。因此，可以以不对称矩形的形式从编译块分割预测块。例如，具有2N×2N(这里N是像素的数目)大小的编译块可以被分割为具有2N×3N/2大小的块和具有2N×N/4大小的块，或者可以被分割为具有3/2N×2N大小的块，和具有N/4×2N大小的块，而不是被分割为对称块，诸如具有N×N大小的四个块、具有2N×N大小的三个块，或者具有N×2N大小的两个块。

图3是示意地图示AMP示例的示意图。图3图示用于具有64×64像素大小的编译块(编译单元)的AMP的示例。

可以从图3中看到具有64×64像素大小的编译块被以不对称形式分割为预测块的示例。

在图3(a)图示的示例中，具有64×64像素大小的编译块300可以被分割为具有64×16像素大小的预测块305和具有64×48像素大小的预测块310。在图3(b)图示的示例中，具有64×64像素大小的编译块320可以被分割为具有64×48像素大小的预测块325和具有64×16像素大小的预测块330。在图3(c)图示的示例中，具有64×64像素大小的编译块340可以被分割为具有16×64像素大小的预测块345和具有48×64像素大小的预测块350。在图3(d)图示的示例中，具有64×64像素大小的编译块360可以被分割为具有48×64像素大小的预测块365和具有16×64像素大小的预测块370。

当使用NSQT的时候，残留值可以以非方形变换块(变换单元)为单位变换。在这种情况下，当变换块具有四树结构的时候，可以执行如下变换。也就是说，当在最高级执行变换的时候，可以以方形变换块为单位执行变换，当在第二最高级执行变换的时候，可以以非方形变换块为单位执行变换。当预测块是不对称分割的时候，可以使用NSQT。

图4是示意地图示在NSQT中使用的非方形块示例的示意图。

在图4图示的示例中，具有2N×2N大小的编译块400可以被以四树结构分割为变换块。当预测块是在水平方向的块，诸如2N×N、2N×nU和2N×nD的时候，编译块400可以在图中图示的水平方向被分割为非方形变换块。

在图4图示的示例中，编译块400被分割为具有2N×N/2像素大小的非方形变换块410、420、430和440。变换块可以取决于四树结构被另外分割。因此，例如，当块420被另外分割用于变换的时候，该块可以被分割为具有N×N/4大小的非方形变换块450、460、470和480。

图5是示意地图示在NSQT中使用的非方形的另一个示例的示意图。

在图5图示的示例中，具有2N×2N大小的编译块500可以被以四树结构分割为变换块。当预测块是在垂直方向的块，诸如N×2N、nL×2N和nR×2N的时候，编译块500可以在图中图示的垂直方向被分割为非方形变换块。

在图5图示的示例中，编译块500被分割为具有N/2×2N像素大小的非方形变换块510、520、530和540。变换块可以取决于四树结构被另外分割。因此，例如，当块520被另外分割用于变换的时候，该块可以被分割为具有N/4×N大小的非方形变换块550、560、570和580。

如上所述，可以对AMP和NSQT的使用施加约束。换句话说，根据需要可以或者可以不使用AMP和NSQT。

例如，取决于视频编码/解码所应用的技术领域、产品规格、服务领域，NSQT和AMP可以或者可以不使用。

因此，视频编码器可以将表示是否使用AMP或者NSQT的信息用信号通知给视频解码器。

表1示出用于用信号通知表示是否使用AMP或者NSQT的信息的参数语法的示例。

<表1>

参考表2，取决于视频编码/解码所应用的技术领域、产品规格、服务领域，profile_idc被作为表示可用的技术类别的信息发送。

在帧间预测中，通过使用序列参数集用信号通知作为表示是否使用AMP的标记的asymmetric_motion_partition_enable_flag，和作为表示是否使用NSQT的标记的non_square_quadtree_transform_enable_flag。

当non_square_quadtree_transform_enable_flag的值是0的时候，其表示不使用NSQT。因此，在这种情况下，不使用如上所述用于非方形变换块的扫描/重新排列方法。

当non_square_quadtree_transform_enable_flag的值是1的时候，其表示使用NSQT。因此，在这种情况下，可以使用如上所述用于非方形变换块的扫描/重新排列方法。

另一方面，是否使用NSQT可以取决于属性。

当asymmetric_motion_partition_enable_flag的值是0(在帧间预测中)的时候，不使用AMP。当asymmetric_motion_partition_enable_flag的值是0的时候，part_mode可以具有大于3的值，其是对应于AMP的值。当asymmetric_motion_partition_enable_flag的值是1的时候，可以使用AMP。

表2示出在分割类型和预测模式之间的关系。

<表2>

如可以从表2中看到的，大于3的part_mode的值对应于具有2N×nU大小的分割、具有2N×nD大小的分割、具有nL×2N大小的分割，和具有nR×2N大小的分割，它们是不对称分割(AMP)。

具有2N×nU大小的分割是通过以不对称形式分割方形块获得的分割，以便生成在上端在水平方向窄的矩形块。具有2N×nD大小的分割是通过以不对称形式分割方形块获得的分割，以便生成在下端在水平方向窄的矩形块。具有nL×2N大小的分割是通过以不对称形式分割方形块获得的分割，以便生成在左侧在垂直方向窄的矩形块。具有nR×2N大小的分割是通过以不对称形式分割方形块获得的分割，以便生成在右侧在垂直方向窄的矩形块。

如上所述，当asymmetric_motion_partition_enable_flag的值是0的时候，不使用具有2N×nU大小的分割、具有2N×nD大小的分割、具有nL×2N大小的分割，和具有nR×2N大小的分割。

在表1中，在帧间预测中，通过使用序列参数集(SPS)用信号通知表示是否使用AMP的标记asymmetric_motion_partition_enable_flag，和表示是否使用NSQT的标记non_square_quadtree_transform_enable_flag，但是，本发明不局限于这个示例。例如，可以通过使用图片参数集(PPS)或者适配参数集(APS)用信号通知asymmetric_motion_partition_enable_flag和/或non_square_quadtree_transform_enable_flag。

另一方面，为了提高编码效率，预先确定的约束可以施加于如上所述的片和贴片。

视频编码器和视频解码器可以将图片分割为预先确定的单元，并且可以处理(编码/解码)分割的单元。例如，图片可以被分割为片和贴片。

片是一个或多个片分段的序列。片序列从独立片分段开始。当在相同的接入单元中存在在下一个独立片分段之前的从属片分段的时候，片包括片序列从其开始的独立片分段，和在下一个独立片分段之前的从属片分段。

片分段可以是编译树单元(CTU)或者编译树块(CTB)的序列，其以贴片扫描顺序连续地排列，并且包括在单个网络提取层(NAL)单元中。编译树单元可以是具有四树结构的编译单元，并且可以是最大编译单元(LCU)。在本说明书中，为了容易理解本发明的目的，必要时，编译树单元和最大编译单元可以混用。

在片分段中，片分段的包括第一编译树块(编译树单元)或者所有编译树块(编译树单元)的数据元的部分称为片分段头部。在这里，独立片分段的片分段头部称为片头部。

片可以是NAL单元的传输单元。例如，NAL单元可以包括片或者片分段。

图6是示意地图示片示例的示意图。

当前图片可以通过片边界分割为多个片。图6图示当前图片600通过片边界650分割为两个片的示例。

片包括其包含编译树单元的片分段。包括在片中的片分段可以包括独立片分段，并且当存在从属片分段的时候，也可以包括从属片分段。

在图6中，第一片包括独立片分段610以及在片分段边界630前和后的第二从属片分段620和第二从属片分段640，独立片分段610包括4个编译树单元，第二从属片分段620包括32个编译树单元，第二从属片分段640包括24个编译树单元。在图6中，一个独立片分段660包括28个编译树单元。

贴片可以是编译树单元、编译树块，或者最大编译单元的序列。编译树单元可以是具有四树结构的编译单元，并且可以是最大编译单元(LCU)。如上所述中，在本说明书中，为了容易理解本发明的目的，必要时，编译树单元和最大编译单元可以混用。

特别地，贴片可以包括共同出现在由一行和一列限定的区域中的自然数个编译树块或者最大编译单元。在这里，编译树块以编译树块扫描顺序，例如，以光栅扫描顺序，连续地排列。

贴片可以是在图片中的扫描单元。因此，贴片可以在图片中以图片扫描顺序，例如，以光栅扫描顺序，连续地排列。

对于片和贴片建立以下两个条件的两个或者一个。(1)在片中所有编译树单元或者最大编译单元属于同一贴片。(2)在贴片中所有编译树单元或者最大编译单元属于同一片。

因此，包括多个贴片的片和包括多个片的贴片可以存在于相同的图片中。

对于片分段和贴片建立以下两个条件的两个或者一个。(1)在片分段中所有编译树单元或者最大编译单元属于同一贴片。(2)在贴片中所有编译树单元或者最大编译单元属于同一片分段。

图7是示意地图示贴片和片示例的示意图。

在图片中的贴片可以通过贴片边界被分割为多个贴片。在图7中，当前图片700仅仅包括一个片，并且在右侧和左侧上通过贴片边界710被分割为两个贴片。

贴片和片可以共同存在。在图7中，当前图片700的片包括独立片分段720和由片分段边界730、740和750分割的四个从属片分段。

图8是示意地图示贴片和片的另一个示例的示意图。

在图8中，当前图片800在右侧和左侧上通过贴片边界810被分割为两个贴片。

在图8图示的示例中，贴片边界810的左侧贴片包括由片边界850分割的两个片。

如上所述，片可以包括独立片，并且当从属片存在的时候，也可以包括从属片。在图8中，片边界850的上层片包括独立片分段820和从属片分段840，并且片边界850的下层片包括独立片分段830和从属片分段860。在图8图示的示例中，挨着片边界890的片，即，在第二贴片中的片，包括独立片分段870和从属片分段880。

贴片和片可以是独立的解码处理单元。例如，当执行并行解码的时候，贴片可以由单个处理核心解码，并且片可以由单个处理核心解码。

在这点上，如可以从图7和8中看到的，片和贴片可以是连续的编译树块(编译树单元)的序列，但是，贴片可以具有特定的形状。例如，考虑到由图片中的垂直边界分割并且包括编译树块的列，和由图片中水平边界分割的并且包括编译树块的行，贴片可以包括存在于一行和一列之中的自然数个编译块。因此，与片不同，贴片可以是矩形区域。

以这种方法，在片和贴片之间不同地执行解码处理。

例如，在片的情况下，每个片分段包括片分段头部，片分段头部包括数据元。如上所述，独立片分段的片分段头部称为片头部。

相反地，在贴片中，片头部不存在。

因此，在贴片的情况下，在由编译树块的行或者列边界所引起的中断中不出现贴片间相关性。相反地，在片的情况下，在解码的时候的相关性可能在编译树块的行或者列边界中导致问题。换句话说，当片与作为边界的行或者列并行处理的时候，可能很难解码不包括片头部信息的部分。

因此，如上所述，有关贴片和片的预先确定的约束可能是必需的。

在贴片和片之间的关系或者约束将在下面参考附图具体描述。

对于在当前片和当前贴片之间的关系不施加精确的约束。基于一个或多个贴片可以存在于片中，并且一个或多个片可以存在于贴片中前提，在当前片和当前贴片之间的关系可以由松散关系表示。

这种松散关系可以给出解码处理设计的灵活性，但是，可能导致(1)并行处理的程度被约束的问题，并且(2)计算复杂度增加的问题。

图9是示意地图示在并行处理中可能出现的问题示例的示意图。

假设视频编码器如在图9中图示的分割图片。参考图9，图片的区域900包括贴片1910和贴片2920。在图片中的区域900包括两个片。在图片中的区域900可以是图片中的部分区域，或者在图片中的整个区域。

第一片包括10个编译树块(1，1)至(1，10)，并且第二片包括6个编译树块(2，1)至(2，6)。

假设作为解码处理的主体的处理核心1和处理核心2并行处理不同的贴片。例如，在图9图示的示例中，处理核心1处理贴片1910，并且处理核心2处理贴片2920。在图9中可能出现的一个问题是处理核心2无法执行解码处理。

这是因为贴片2920的第一LCU(编译树块)不是片的开始部分，并且因此，不包括片头部的信息。因此，在图9图示的示例中，处理核心在使用片头部的信息执行解码处理中有困难。

在图9图示的示例中，当贴片是独立的，并且LCU(1，9)和LCU(1，10)被解码的时候，可能出现另一个问题。例如，当使用独立贴片的时候，在贴片边界处不允许帧内预测，并且因此，LCU(1，9)和LCU(1，10)无法参考LCU(1，5)和LCU(1，6)。但是，因为LCU(1，9)、LCU(1，10)、LCU(1，5)和LCU(1，6)包括在同一片中，并且在帧内预测中在图9图示的示例的片中没有可应用于参考像素的约束，所以可能在解码处理中出现混乱。

因此，为了降低在并行处理中可能出现的混乱和复杂度，可以施加以下的约束。

在图片中，贴片不能穿过片边界，并且片不能穿过贴片边界。换句话说，当片包括贴片的时候，在片之中必须存在自然数个贴片，并且当贴片包括片的时候，在贴片中必须存在自然数个片。

具体地，

(1)图片可以被分割为一个或多个片和/或一个或多个贴片。

(2)当贴片包括片的时候，在贴片中必须存在自然数个完整的片。

(3)当片包括贴片的时候，在片之中必须存在自然数个完整的贴片。

在这里，完整的贴片是一个贴片，并且指的是没有分割为许多部分的整个贴片区域。完整的片是一个片，并且指的是没有分割为许多部分的整个片区域。

根据本发明基于有关在贴片和片之间关系的约束可容许的情形和不可容许的情形将在下面参考附图描述。

有关在贴片和片之间关系的约束如下：(1)图片可以包括一个或多个贴片和/或一个或多个片；(2)当贴片包括片的时候，贴片可以包括自然数个完整的片；和(3)当片包括贴片的时候，片可以包括自然数个完整的贴片。

甚至当图片没有被分割为两个或更多个片或者两个或更多个贴片时，根据本发明的约束也可以满足。

图10是示意地图示根据本发明的贴片和片示例的示意图。在图10图示的示例中，图片1010具有4×4大小的LCU(编译树块)。

参考图10，图片1010没有被分割，并且包括一个片和一个贴片。可以说，一个贴片存在于一个片中，并且一个片存在于一个贴片中。因此，在图10图示的示例不违反根据本发明的约束，并且因此是可容许的。

当图片被分割为两个或更多个片的时候，可以通过使一个片仅属于一个贴片来满足根据本发明的约束。

图11是示意地图示根据本发明的贴片和片的另一个示例的示意图。在图11图示的示例中，图片1110具有4×4大小的LCU(编译树块)。

参考图11，图片1110包括一个贴片和两个片，并且贴片包括两个完整的片。因此，在图11中图示的示例不违反根据本发明的约束，并且因此是可容许的。

图12是示意地图示根据本发明的贴片和片的再一个示例的示意图。在图12图示的示例中，图片1210具有6×6大小的LCU(编译树块)。

参考图12，图片1210包括三个贴片和三个片。在图12图示的示例中，可以说，每个贴片包括一个片，并且每个片包括一个贴片。因此，在图12中图示的示例不违反根据本发明的约束，并且因此是可容许的。

当图片被分割为两个或更多个贴片，但是包括一个片时，根据本发明的约束可以满足。

图13是示意地图示根据本发明的贴片和片的再一个示例的示意图。在图13图示的示例中，图片1310具有6×6大小的LCU(编译树块)。

参考图13，图片1310包括三个贴片和三个片。在图13图示的示例中，可以说，每个贴片包括一个片，并且每个片包括一个贴片。因此，在图13中图示的示例不违反根据本发明的约束，并且因此是可容许的。

图14是示意地图示根据本发明的贴片和片的再一个示例的示意图。在图14图示的示例中，图片1410具有4×4大小的LCU(编译树块)。

参考图14，图片1410包括两个贴片和一个片。在图14图示的示例中，片包括两个完整的贴片。因此，在图14中图示的示例不违反根据本发明的约束，并且因此是可容许的。

图15是示意地图示根据本发明的贴片和片的再一个示例的示意图。在图15图示的示例中，图片1510具有4×4大小的LCU(编译树块)。

参考图15，图片1510包括两个贴片和一个片。在图15图示的示例中，片包括两个完整的贴片。因此，在图15中图示的示例不违反根据本发明的约束，并且因此是可容许的。

图16是示意地图示根据本发明的贴片和片的再一个示例的示意图。在图16图示的示例中，图片1610具有6×6大小的LCU(编译树块)。

参考图16，图片1610包括三个贴片和一个片。在图16图示的示例中，片包括三个完整的贴片。因此，在图16中图示的示例不违反根据本发明的约束，并且因此是可容许的。

图17是示意地图示根据本发明的贴片和片的再一个示例的示意图。在图17图示的示例中，图片1710具有6×6大小的LCU(编译树块)。

参考图17，图片1710包括三个贴片和一个片。在图17图示的示例中，片包括三个完整的贴片。因此，在图17中图示的示例不违反根据本发明的约束，并且因此是可容许的。

甚至当一个图片被分割为两个或更多个贴片，并且每个贴片包括一个片时，根据本发明的约束也可以满足。

图18是示意地图示根据本发明的贴片和片示例的示意图。在图18图示的示例中，图片1810具有6×6大小的LCU(编译树块)。

参考图18，图片1810包括六个贴片和六个片。在图18图示的示例中，可以说，每个片包括一个贴片，并且每个贴片包括一个片。因此，在图18中图示的示例不违反根据本发明的约束，并且因此是可容许的。

图19是示意地图示根据本发明的贴片和片示例的示意图。在图19图示的示例中，图片1910具有6×6大小的LCU(编译树块)。

参考图19，图片1910包括六个贴片和六个片。在图19图示的示例中，可以说，每个片包括一个贴片，并且每个贴片包括一个片。因此，在图19中图示的示例不违反根据本发明的约束，并且因此是可容许的。

甚至当一个图片被分割为多个片和多个贴片，并且每个片包括一个或多个贴片时，根据本发明的约束也可以满足。

图20是示意地图示根据本发明的贴片和片示例的示意图。在图20图示的示例中，图片2010具有6×6大小的LCU(编译树块)。

参考图20，图片2010包括三个贴片和两个片。在图20图示的示例中，可以说，第一片包括两个贴片，并且第二片包括一个贴片。因此，在图20中图示的示例不违反根据本发明的约束，并且因此是可容许的。

不满足根据本发明的约束的示例将在下面参考附图描述。

图21是示意地图示因为不满足根据本发明的约束，所以片和贴片是不可容许的示例的示意图。在图21图示的示例中，图片2110具有4×4大小的LCU(编译树块)。

参考图21，图片2110包括两个贴片和两个片。

从贴片包括片的视点来看，第一贴片(上层贴片)包括一个完整的片和片的一部分，并且第二贴片(下层贴片)包括片的一部分。

从片包括贴片的视点来看，第一片包括一个完整的贴片和贴片的一部分，并且第二片包括贴片的一部分。

因此，在图21中图示的示例违反了以上提及的根据本发明的有关片和贴片的约束之中的(2)当贴片包括片的时候，在贴片中必须存在自然数个完整的片，和(3)当片包括在的贴片的时候，在片中必须存在自然数个完整的贴片，并且因此，是不可容许的。

图22是示意地图示因为不满足根据本发明的约束，所以片和贴片是不可容许的另一个示例的示意图。在图22图示的示例中，图片2210具有4×4大小的LCU(编译树块)。

参考图22，图片2210包括两个贴片和两个片。

从贴片包括片的视点来看，第一贴片(上层贴片)包括片的一部分，而不是一个完整的片，并且第二贴片(下层贴片)包括一个完整的片和片的一部分。

从片包括贴片的视点来看，第一片包括贴片的一部分，而不是一个完整的贴片，并且第二片包括一个完整的贴片和贴片的一部分。

因此，在图22中图示的示例违反在以上提及的根据本发明的有关片和贴片的约束之中的(2)当贴片包括片的时候，在贴片中必须存在自然数个完整的片，和(3)当片包括贴片的时候，在片中必须存在自然数个完整的贴片，并且因此，是不可容许的。

图23是示意地图示因为不满足根据本发明的约束，所以片和贴片是不可容许的再一个示例的示意图。在图23图示的示例中，图片2310具有6×6大小的LCU(编译树块)。

参考图23，图片2310包括两个贴片和三个片。

从贴片包括片的视点来看，第一贴片(上层贴片)包括一个完整的片和片的一部分，而不是两个完整的片，并且第二贴片(下层贴片)包括一个完整的片和片的一部分。第二片穿过两个贴片，而不是一个贴片。

从片包括贴片的视点来看，三个片的每个包括贴片的一部分，而不是一个完整的贴片。

因此，在图23中图示的示例违反在以上提及的根据本发明的有关片和贴片的约束之中的(2)当贴片包括片的时候，在贴片中必须存在自然数个完整的片，和(3)当片包括的贴片的时候，在片中必须存在自然数个完整的贴片，并且因此，是不可容许的。

图24是示意地图示根据本发明视频编码方法的流程图。

参考图24，视频编码器可以分割输入图片(S2410)。视频编码器可以分割输入图片以指定贴片和片。图片可以被分割为一个或多个贴片和一个或多个片，并且用于并行处理的约束可以施加于贴片和片。当确定使用NSQT或者AMP的时候，图片可以被分割为非方形变换块或者不对称预测块。

例如，在输入图片中的贴片必须不穿过片边界，并且片必须不穿过贴片边界。

当贴片包括片的时候，贴片可以包括自然数个完整的片，并且当片包括贴片的时候，片可以包括自然数个完整的贴片。

视频编码器可以基于贴片和片执行编码处理(S2420)。因为图片可以被分割为一个或多个贴片以及一个或多个片，并且用于并行处理的约束被施加于贴片和片，所以视频编码器可以通过使用处理核心并行编码贴片和/或片。

当使用NSQT的时候，视频编码器可以对相应的非方形块执行变换，并且视频编码器可以对相应的不对称块执行预测。

视频编码器可以发送编码的视频信息(S2430)。此时，视频信息可以包括基于用于并行处理的约束指定的有关片和贴片的信息。换句话说，在视频信息中包括的有关贴片和片的信息可以是基于约束指定的有关贴片和片的信息，约束是指当贴片包括片的时候，贴片可以包括自然数个完整的片，并且当片包括贴片的时候，片可以包括自然数个完整的贴片。

视频信息可以包括用于约束是否使用NSQT和AMP的信息。例如，视频信息可以包括表示是否使用NSQT的信息。视频信息可以包括表示是否使用AMP的信息。

为了解释便利的目的，如上参考图24所述，视频编码器执行步骤，但是，本发明不受这种配置的约束。例如，步骤S2410可以由图1的图片分割模块105执行，步骤S2420可以由除在图1中的图片分割模块105以外的功能块执行，并且步骤S2430可以由特定的传输模块或者熵编码模块130执行。在这里，传输模块可以不必分开地提供，而是可以包括在熵编码模块130中。

图25是示意地图示根据本发明的视频解码方法的流程图。

参考图25，视频解码器可以接收视频信息(S2510)。视频解码器可以接收从视频编码器发送的视频信息，并且视频信息可以包括用于在当前图片中指定贴片和片的信息。

视频信息可以包括用于约束是否使用NSQT和AMP的信息。例如，视频信息可以包括表示是否使用NSQT的信息。视频信息可以包括表示是否使用AMP的信息。

视频解码器可以基于接收的视频信息指定当前图片的分割(S2520)。视频解码器基于在视频信息中包括的用于指定贴片和片的信息指定在当前图片中的片和贴片。此时，当前图片可以被分割为一个或多个贴片以及一个或多个片，并且用于并行处理的约束可以施加于贴片和片。

例如，在输入图片中，贴片必须不穿过片边界，并且片必须不穿过贴片边界。

当贴片包括片的时候，贴片可以包括自然数个完整的片，并且当片包括贴片的时候，片可以包括自然数个完整的贴片。

当视频信息表示使用NSQT或者AMP的时候，图片可以被分割为非方形变换块或者不对称预测块，然后可以被处理。

视频解码器可以基于指定的贴片和片执行解码处理(S2530)。因为图片可以被分割为一个或多个贴片以及一个或多个片，并且用于并行处理的约束被施加于贴片和片，所以视频解码器可以通过使用处理核心并行解码贴片和/或片。

当使用NSQT的时候，视频解码器可以对相应的非方形块执行变换，并且视频解码器可以对相应的不对称块执行预测。

在这里，如上所述，视频解码器执行图25的步骤，但是，这是为了解释便利的目的，并且本发明不局限于这种配置。例如，特别地，步骤S2510可以由接收模块或者熵解码模块执行。接收模块可以不必分开地提供，而是可以包括在熵解码模块中。步骤S2520和步骤S2530可以由图2的功能块执行。例如，当执行除接收功能以外功能的模块称为解码模块的时候，步骤S2520和S2530可以由解码模块执行。当熵解码模块包括接收模块的时候，步骤S2510可以由在解码模块中的接收模块执行。

虽然在以上提及的示例性系统中的方法已经基于包括一系列的步骤或者模块的流程图描述，但是本发明不局限于该步骤顺序，并且某个步骤可以以除如上所述的之外的步骤或顺序或者与如上所述同时地执行。以上提及的实施例可以包括各种示例。因此，本发明包括属于所附权利要求的所有的替换、修正和改进。

Claims (16)

1.一种通过编码装置视频编码方法，包括步骤：

分割输入图片，并指定贴片和片；

基于所述贴片和所述片执行编码操作；以及

发送编码的视频信息，

其中，所述图片被分割为一个或多个贴片和一个或多个片，

其中，在当前图片中的每个片和贴片满足1)在片中的每个贴片不越过所述片的边界，2)在贴片中的每个片不越过所述贴片的边界，当中的一个或多个约束。

2.根据权利要求1所述的视频编码方法，其中，发送编码的视频信息的步骤包括发送基于所述约束中的至少一个指定的有关所述贴片和所述片的信息。

3.根据权利要求1所述的视频编码方法，其中，当在所述片中存在一个或多个整数个完整的贴片时，满足所述约束1)。

4.根据权利要求1所述的视频编码方法，其中，当在所述贴片中存在一个或多个整数个完整的片时，满足所述约束2)。

5.根据权利要求1所述的视频编码方法，其中，当在每个贴片中的所有编译树单元属于同一片时，满足所述约束1)。

6.根据权利要求1所述的视频编码方法，其中，当在每个片中的所有编译树单元属于同一贴片时，满足所述约束2)。

7.根据权利要求1所述的视频编码方法，其中，当在片中的所有编译树单元属于所述贴片并且在所述贴片中的所有编译树单元属于所述片时，满足所述约束1)和2)二者。

8.一种通过解码装置视频解码方法，包括步骤：

接收视频信息；

基于接收的视频信息指定在当前图片中的贴片和片；以及

基于指定的贴片和指定的片执行解码操作，

其中，所述当前图片被分割为一个或多个贴片和一个或多个片，并且

其中，在当前图片中的每个片和贴片满足1)在片中的每个贴片不越过所述片的边界，2)在贴片中的每个片不越过所述贴片的边界，当中的一个或多个约束。

9.根据权利要求8所述的视频解码方法，其中，所述视频信息包括基于所述约束中的至少一个指定的有关所述贴片和所述片的信息。

10.根据权利要求8所述的视频解码方法，其中，当在所述片中存在一个或多个整数个完整的贴片时，满足所述约束1)。

11.根据权利要求8所述的视频解码方法，其中，当在所述贴片中存在一个或多个整数个完整的片时，满足所述约束2)。

12.根据权利要求8所述的视频解码方法，其中，当在每个贴片中的所有编译树单元属于同一片时，满足所述约束1)。

13.根据权利要求8所述的视频解码方法，其中，当在每个片中的所有编译树单元属于同一贴片时，满足所述约束2)。

14.根据权利要求8所述的视频解码方法，其中，当在片中的所有编译树单元属于所述贴片并且在所述贴片中的所有编译树单元属于所述片时，满足所述约束1)和2)二者。

15.一种视频编码器，包括：

图片分割模块，所述图片分割模块分割输入图片并且指定贴片和片；

编码模块，所述编码模块基于所述贴片和所述片执行编码操作；以及

传输模块，所述传输模块发送编码的视频信息，

其中，所述图片被分割为一个或多个贴片和一个或多个片，并且

其中，在当前图片中的每个片和贴片满足1)在片中的每个贴片不越过所述片的边界，2)在贴片中的每个片不越过所述贴片的边界，当中的一个或多个约束。

16.一种视频解码器，包括：

接收模块，所述接收模块接收视频信息；和

解码模块，所述解码模块基于在接收的视频信息中包括的有关贴片和片的信息对当前图片执行解码操作，

其中，所述当前图片被分割为一个或多个贴片和一个或多个片，并且

其中，在当前图片中的每个片和贴片满足1)在片中的每个贴片不越过所述片的边界，2)在贴片中的每个片不越过所述贴片的边界，当中的一个或多个约束。