CN111279698B - 图像编码的非对称划分装置和方法 - Google Patents

Abstract

本发明公开了一种使用非对称划分进行图像编解码的装置和方法。取代使用QTBT和多类型树(Multi‑Type Tree，MTT)等划分机制的传统方法，本发明引入了能够平衡良好性能与复杂度的非对称划分机制。这允许约束所述非对称划分机制的参数以排除不经常出现的模式，从而允许将编码器端的复杂度保持在较低水平并避免产生信令开销。

Description

图像编码的非对称划分装置和方法

技术领域

本发明涉及图像编码领域。本发明尤其涉及使用非对称划分改进静止图像和视频的编码和解码。

背景技术

数字视频通信和存储应用由各种各样的数字设备实现，例如数码相机、蜂窝式无线电话、笔记本电脑，广播系统，视频电话会议系统等。这些应用中最重要和最具挑战性的任务之一是视频压缩。视频压缩任务通常比较复杂，并且受到两个相互矛盾的参数约束：压缩效率和计算复杂度。当前的视频编码标准，如ITU-T H.264(或高级视频编码(AdvancedVideo Coding，AVC))和ITU-T H.265(或高效视频编码(High Efficiency Video Coding，HEVC))旨在提供这些参数之间的良好平衡。

目前的视频编码标准是基于将源图像划分为块。这里，划分是指用块集合来覆盖图像。这些块的处理依赖于其大小、空间位置和编码器指定的编码方式。根据预测类型，编码模式可以分为帧内预测模式和帧间预测模式。帧内预测模式使用同一图像的像素来生成参考像素点，以计算正在重构的块的像素的预测值。帧内预测也被称为空间预测。帧间预测模式用于时间预测，使用前一张或后一张图像的参考像素点来预测当前图像块的像素。在预测阶段之后，对原始信号与其预测值之间的差值即预测误差进行变换编码。然后，使用熵编码器对变换系数和边信息进行编码。

然而，存在不能进行对称划分的情况，例如，沿着图像包含的边缘将块精确地划分为子块。这可能会降低视频编解码器中使用的划分机制的压缩效率。此外，引入非对称划分可能会产生信令开销。例如，四叉树二叉树(Quad-Tree Binary Tree，QTBT)划分可以提供正方形和矩形块，但代价是产生了信令开销且增加了编码器端的计算复杂度。

发明内容

本发明内容以简化形式介绍了一些方案的选择，这些方案将在下面的具体实施方式中进一步描述。本发明内容不旨在标识专利申请所要求保护的主题的关键特征或基本特征，也不旨在用于限制本专利申请所要求保护的主题范围。

本发明的目的是提供一种使用非对称划分改进静止图像和视频的编码和解码。通过独立权利要求的特征来实现上述和其他目的。进一步的实施方式在从属权利要求、具体说明和附图中显而易见。

第一方面，提供了一种图像编解码装置。该图像编解码装置用于：接收当前图像数据块的划分信息。该图像编解码装置还用于：对所述当前图像数据块确定或执行划分处理。所述划分过程包括：响应于所述接收到的指示所述当前图像数据块将被划分的划分信息，将所述当前图像数据块非对称划分为第一第一级子图像数据块和第二第一级子图像数据块，所述第一第一级子块小于所述第二第一级子块。所述划分过程还包括：响应于所述接收到的进一步指示所述第一第一级子图像数据块或第二第一级子所述图像数据块中的至少一个第一级子图像数据块将被划分的划分信息，进一步将所指示的所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块对称划分为至少两个第二级子图像数据块。所述对称划分的方向依赖于所述非对称划分的方向，以及所述第一第一级子图像数据块和所述第二第一级子图像数据块中的哪一个为所述对称划分的对象。

在所述第一方面的另一实现方式中，所述划分过程还包括：避免对所述第一级或第二级子图像数据块中的任何子图像数据块进一步划分。

在所述第一方面的另一实现方式中，所述第一第一级子块小于所述第二第一级子块包括：在垂直于所述非对称划分方向的方向上，所述第一第一级子图像数据块的边长小于所述第二第一级子图像数据块的边长。

在所述第一方面的另一实现方式中，所述第一第一级子图像数据块的所述对称划分包括：在垂直于所述非对称划分方向的方向上，将所述第一第一级子图像数据块对称划分为所述至少两个第二级子图像数据块。

在所述第一方面的另一实现方式中，所述第二第一级子图像数据块的所述对称划分包括：在平行于所述非对称划分方向的方向上，将所述第二第一级子图像数据块对称划分为所述至少两个第二级子图像数据块。

在所述第一方面的另一实现方式中，所述第二第一级子图像数据块在垂直于所述非对称划分方向的方向上的边长可划分为三个部分，每一个部分的边长都为2的幂次方。

在所述第一方面的另一实现方式中，所述非对称划分包括非对称二叉树划分。

在所述第一方面的另一实现方式中，所述对称划分包括对称二叉树划分或对称三叉树划分。

在所述第一方面的另一实现方式中，所述划分信息包括关于所述当前图像数据块的划分配置的信息。

在所述第一方面的另一实现方式中，所述图像编解码装置包括图像编码装置。

在所述第一方面的另一实现方式中，所述图像编解码装置包括图像解码装置。

在所述第一方面的另一实现方式中，所述当前图像数据块包括在视频序列图像或静止图像中。

根据第二方面，提供了一种图像编码的方法。所述方法包括：在图像编解码装置处接收当前图像数据块的划分信息。所述方法还包括：所述图像编解码装置对所述当前图像数据块确定或执行划分过程。所述划分过程包括：响应于接收到的指示所述当前图像数据块将被划分的划分信息，将所述当前图像数据块非对称划分为第一第一级子图像数据块和第二第一级子图像数据块，所述第一第一级子块小于所述第二第一级子块。所述划分过程还包括：响应于所述接收到的进一步指示所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块将被划分的划分信息，进一步将所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块所指示的第一级子块对称划分为至少两个第二级子图像数据块。所述对称划分的方向依赖于所述非对称划分的方向，以及所述第一第一级子图像数据块和所述第二第一级子图像数据块中的哪一个为所述对称划分的对象。

在所述第二方面的另一实现方式中，所述划分过程还包括：避免对所述第一级或第二级子图像数据块中的任何子图像数据块进一步划分。

在所述第二方面的另一实现方式中，所述第一第一级子块小于所述第二第一级子块包括：在垂直于所述非对称划分方向的方向上，所述第一第一级子图像数据块的边长小于所述第二第一级子图像数据块的边长。

在所述第二方面的另一实现方式中，所述第一第一级子图像数据块的所述对称划分包括：在垂直于所述非对称划分方向的方向上，将所述第一第一级子图像数据块对称划分为所述至少两个第二级子图像数据块。

在所述第二方面的另一实现方式中，所述第二第一级子图像数据块的所述对称划分包括：在平行于所述非对称划分方向的方向上，将所述第二第一级子图像数据块对称划分为所述至少两个第二级子图像数据块。

在所述第二方面的另一实现方式中，所述第二第一级子图像数据块在垂直于所述非对称划分方向的方向上的边长可划分为三个部分，每一个部分的边长都为2的幂次方。

在所述第二方面的另一实现方式中，所述非对称划分包括非对称二叉树划分。

在所述第二方面的另一实现方式中，所述对称划分包括对称二叉树划分或对称三叉树划分。

在所述第二方面的另一实现方式中，所述划分信息包括关于所述当前图像数据块的划分配置的信息。

在所述第二方面的另一实现方式中，所述图像编解码装置包括图像编码装置。

在所述第二方面的另一实现方式中，所述图像编解码装置包括图像解码装置。

在所述第二方面的另一实现方式中，所述当前图像数据块包括在视频序列图像或静止图像中。

第三方面，提供了一种计算机程序。所述计算机程序包含程序代码，当所述计算机程序在计算设备上执行时，所述程序代码用于执行根据第二方面所述的方法。

通过参考以下详细描述并结合附图，将更好地了解许多附带特征，因为它们将变得更容易理解。

附图说明

在下文中，将参考附图更详细地描述示例实施例，其中：

图1是示出视频编码装置的示例性实施例的框图；

图2为示出视频解码装置的示例性实施例的框图；

图3A是示出视频编码装置的另一示例性实施例的另一框图；

图3B是示出视频解码装置的另一示例性实施例的另一框图；

图4是涉及使用非对称划分的图像编码的示例方法的流程图；

图5A至图5G是示出各种划分方案的图；

图6是示出根据一个示例性实施例的显示两级划分的示意图；

图7A至图7B是根据示例性实施例进一步显示两级划分的示意图；

图8是根据又一个示例性实施例进一步显示两级划分的示意图；

图9是根据一个示例性实施例显示划分决策的流程图；

图10是根据一个示例性实施例显示解码过程的流程图；

图11是示出与各种划分相关的典型统计数据的示意图；

图12A至图12B是示出各种信令方案的示意图；以及

图13是进一步显示划分决策示例的另一示意图。

在下文中，相同参考符号是指相同或至少在功能上等效的特征。

具体实施方式

在以下描述中，参考形成本发明一部分并以说明的方式示出本发明可放置的具体方面的附图。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细描述不应以限制性的意义来理解，本发明的范围由所附权利要求书界定。

例如，可以理解的是，结合所描述的方法的揭示内容可以对用于执行所述方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，则对应的设备可以包括用于执行所描述的方法步骤的单元，即使此类单元并未在附图中详细描述或说明。另一方面，例如，如果基于功能单元描述具体的装置，则相应方法可以包括执行所述功能的步骤，即使所述步骤未在附图中明确描述或说明。此外，应理解的是，除非另外明确指出，否则本文中所描述的各种示例性方面的特征可彼此组合。

视频编码通常是指对构成视频或视频序列的图像序列的处理。在视频编码领域，术语“图像(picture)”，“影像(image)”或“帧(frame)”可以用作/用作同义词。每个图像通常划分为不重叠的块集合。通常在块级上对所述视频进行编码/编码，例如，使用帧间预测或帧内预测来生成预测块，从所述当前块(当前正在处理的块/待处理的块)中减去所述预测块，得到残差块，然后进一步将所述残差块进行转换和量化以减少待传输的数据量(压缩)，而在解码器端，对所述编码/压缩块进行逆处理，以重构用于表示的块(视频块)。

在下文中，基于图5A至图5G描述了在HEVC中使用的划分方案。

在HEVC标准中，图像通常被划分为最大编码单元(largest coding unit，LCU)。这些单元中的每一个单元可以进一步分层划分。所述分层划分块的编码和解析过程是递归过程，其中递归步骤可以由树结构的节点来表示。

例如，如图5A的图510所示，正方形块X可划分为四个正方形子块A₀至A₃。在本示例中，子块A₁进一步划分为四个子块B₀至B₃。图511所示的树的节点中的每一个节点对应于所述分层划分块X中的相应的正方形块。只有一种可能的方法，是用4个同样大小的正方形块覆盖一个正方形块。因此，针对该树的每个节点的编码划分决策足以恢复所述解码器端上的划分结构。基于树的表示中的每个节点都有其相关联的划分深度，即，从该节点到树根的路径中的节点的数量。例如，节点B0至B3中的每一个节点的划分深度为2，而节点A0至A3中的每一个节点的划分深度为1。通常，所述划分深度受称为最大划分深度的参数的限制，该参数通常在编码器端和解码器端都预先定义。当达到所述最大划分深度时，当前块不再进一步划分。没有进一步划分的节点称为叶子。

从所述HEVC/H.265标准开始，附图5A中所示的四叉树(Quad-Tree，QT)划分主要用于将图像划分为始终具有正方形形状的块。除了QT之外，附图5B的520中所示的短距离帧内预测(short-distance intra-prediction，SDIP)和附图5C的530中所示的非对称运动划分(asymmetric motion partition，AMP)被视为候选待，将纳入到所述HEVC/H.265标准中，分别用于帧内和帧间编码机制。然而，只有AMP被采用到所述HEVC/H.265标准中。如图5B和图5C所示，应用这两种辅助划分机制中的任一种均可导致生成矩形块。但是，非对称划分仅在AMP中可用。

对于联合探索模型(Joint Exploration Model，JEM)，从软件版本3.0开始，引入了一种基于QT和BT的新的划分机制，称为四叉树二叉树(Quad-Tree Binary-Tree，QTBT)。如图5D的540所示，QTBT划分可以提供正方形和矩形块。然而，与在所述HEVC/H.265标准中使用的基于QT的先前划分相比，所述QTBT划分在所述编码器端增加了信令开销且增加了计算复杂度。

多类型树(Multi-type tree，MTT)结合了QT、BT和TT划分机制，如图5E中的550所示。分别如图5F到图5G中的550至570所示，TT是一种划分机制，它将一个块划分为三个分区，每个分区的大小可以相等，也可以不等。根据所选择的划分选项，TT可以提供对称和非对称划分。

然而，图5A到图5G的实施例存在一些问题。例如，可能存在对称划分无法执行的情况，例如，无法沿着图像包含的边缘将块精确地划分为子块。这可能会降低视频编解码器中使用的划分机制的压缩效率。此外，根据附图5A至5G的实施例引入非对称划分可能产生信令开销。

在下文中，在视频编码中描述了非对称划分，然而，所论述的方法和装置也可以应用于需要划分的单个图像或图像。在下文中，所述非对称划分可能涉及二叉树(binarytree，BT)和/或三叉树(triple tree，TT)划分。代替使用诸如QTBT和多类型树(multi-typetree，MTT)之类的划分机制的常规方法，下面介绍一种可以平衡良好性能与复杂度的非对称划分机制。这允许约束所述非对称划分机制的参数以排除不经常出现的模式，从而允许将编码器端的复杂度保持在较低水平并避免产生信令开销。

所揭示的方案提供了一种非对称划分机制，至少具有以下一些特征：

1、限制最大划分深度等于2；

2、预定义进行所述第二层划分决策的划分方向(例如，垂直或水平)；以及

3、在所述先前(即，第一)级上所做出的划分决策确定在所述第二级上可用的预定义划分方向。

因此，所揭示的方案例如有以下优势：

-当将这些方案整合到编解码器中时，提高了压缩性能；

-它们可用于混合视频编码范式中的几种潜在应用中，该混合视频编码范式与例如HEVC参考模型(HEVC Reference Model，HM)软件，VPx(例如VP9)视频编解码器家族，JEM软件以及VPx/AV1视频编解码器家族兼容；

-所述解码器端的硬件和计算复杂度保持在较低水平；

-例如，易于与QTBT和MTT等划分机制集成。

在下文中，基于图1和图2描述了编码器100和解码器200的示例性实施例。

图1示出了编码器100，所述编码器100包括输入端102、残差计算单元104、变换单元106、量化单元108、反量化单元110和反变换单元112、重构单元114、环路滤波器120、帧缓冲器130、帧间估计单元142、帧间预测单元144、帧内估计单元152、帧内预测单元154、模式选择单元160、熵编码单元170和输出端172。

所述输入端102用于接收图像的图像块101(例如，构成视频或视频序列的静止图像或图像序列)。所述图像块也可以称为当前图像块或待编码图像块，所述图像为当前图像或待编码图像。

所述残差计算单元104用于基于所述图像块101和预测块165(关于所述预测块165的更多细节稍后提供)来计算残差块105，例如，通过逐像素点(逐像素)地将所述图像块101的像素值减去所述预测块165的像素值，获得所述像素域中的残差块。

所述变换单元106用于对所述残差块105应用变换，例如，离散余弦变换(discretecosine transform，DCT)或离散正弦变换(discrete sine transform，DST)，以获得变换域中的变换系数107。所述变换系数107也可以称为变换残差系数，表示所述变换域中的所述残差块105。

所述量化单元108用于对所述变换系数107进行量化以获得量化系数109，例如，应用标量量化或矢量量化。所述量化系数109也可以称为量化残差系数109。

所述反量化单元110用于对所述量化系数应用所述量化单元108的所述反量化以获得或重新获得反量化系数111。所述反量化系数111也可以称为反量化残差系数111。

所述反变换单元112用于应用由所述变换单元106所应用的所述变换的所述反变换，例如，反离散余弦变换(discrete cosine transform，DCT)或反离散正弦变换(discrete sine transform，DST)，以获得所述像素域中的反变换块113。所述反变换块113也可以称为反变换反量化块113或反变换残差块113。

所述重构单元114用于组合所述反变换块113和所述预测块165以获得所述像素域中的重构块115，例如，通过将所述已解码残差块113的所述像素值和所述预测块165的所述像素值进行像素级相加。

所述缓冲器单元116(或简称为“缓冲器”116)，例如，行/列缓冲器116用于缓存或存储所述重构的块，例如，用于帧内估计和/或帧内预测。

所述环路滤波器单元120(或简称为“环路滤波器”120)用于对所述重构块115进行滤波以获得滤波块121，例如，通过应用去块像素点自适应偏移量(sample-adaptiveoffset，SAO)滤波器或其他滤波器。所述滤波块121也可以称为滤波重构块121。

所述环路滤波器单元120的实施例可以包括(图1中未示出)滤波器分析单元和所述实际滤波器单元，其中所述滤波器分析单元用于为实际滤波器单元确定环路滤波器参数。

所述环路滤波器单元120的实施例可以包括(图1中未示出)一个或多个滤波器，例如，一个或多个不同种类或类型的滤波器，例如，串联连接或并联连接或以任意组合连接，其中每个所述滤波器可包括单独或与所述多个滤波器中的其它滤波器联合的滤波器分析单元，以确定所述相应环路滤波器参数。

所述环路滤波器单元120的实施例可用于向所述熵编码单元170提供所述环路滤波器参数，例如用于熵编码和传输。

所述解码图像缓冲器130用于接收并存储同一当前图像或例如之前的重构图像等不同图像的滤波块121和例如之前重构和滤波的块221的其它之前的滤波块，例如，用于帧间估计和/或帧间预测。

所述帧间估计单元142，也称为帧间图像估计单元142，用于接收所述图像块101(当前图像的当前图像块)和一个或多个先前已重构的块，例如，一个或多个其它/不同的先前的解码图像231的重构块，用于帧间估计(或“帧间图像估计”)。例如，视频序列可以包括所述当前图像和所述先前的解码图像231，或者换句话说，所述当前图像和所述先前的解码图像231可以是构成视频序列的图像序列的一部分或形成视频序列的图像序列。

例如，所述编码器100可以用于从所述多个其它图像的所述相同或不同图像的多个参考块中获取参考块，并向帧间预测单元144提供参考图像(或例如参考图像索引)和/或所述参考块的位置(x、y坐标)与所述当前块的位置之间的偏移(空间偏移)作为帧间估计参数143。这个偏移量也称为运动矢量(motion vector，MV)。所述帧间估计也称为运动估计(motion estimation，ME)，所述帧间预测也称为运动预测(motion prediction，MP)。

所述帧间预测单元144用于接收帧间预测参数143，并基于/使用帧间预测参数143执行帧间估计以获得帧间预测块145。

所述帧内估计单元152用于接收相同的图像的所述图像块101(当前图像块)和一个或多个先前重构的块，例如，重构的相邻块，以进行帧内估计。例如，所述编码器100可以，例如，用于从多个帧内预测模式中获取帧内预测模式并将其作为帧内估计参数153提供给所述帧内预测单元154。

所述编码器100的实施例可用于基于优化标准选择所述帧内预测模式，例如，最小残差(例如，提供与所述当前图像块101最相似的所述预测块155的帧内预测模式)或最小速率失真。

所述帧内预测单元154用于基于所述帧内预测参数153，例如，所述选择的帧内预测模式153，确定所述帧内预测块155。

模式选择单元160可用于执行帧间估计/预测和帧内估计/预测，或者控制所述帧间估计/预测和所述帧内估计/预测，以及选择参考块和/或预测模式(帧内或帧间预测模式)用做预测块165，以用于计算所述残差块105以及用于重构所述重构块115。

所述模式选择单元160的实施例可用于选择所述预测模式，所述预测模式提供最小残差(最小残差意味着更好的压缩)或最小信令开销，或两者兼而有之。所述模式选择单元160可用于基于速率失真优化(rate distortion optimization，RDO)来确定所述预测模式。

所述熵编码单元170用于对所述量化后的残差系数109，帧间预测参数143，帧内预测参数153，和/或环路滤波器参数单独或联合(或根本不)应用熵编码算法，获得可由输出端172，例如，以编码比特流171的形式输出的所述编码图像数据171。

所述编码器100的实施例可以用于使得，例如，所述缓冲器单元116不仅用于存储用于帧内估计152和/或帧内预测154的所述重构块115，而且还用于所述环路滤波单元120(附图1中未示出)，和/或使得例如，所述缓冲器单元116与所述解码图像缓冲器单元130构成一个缓冲器。进一步的实施例可用于使用滤波块121和/或来自所述解码图像缓冲器130的块或像素(两者均未在附图1中示出)作为帧内估计152和/或帧内预测154的输入或基础。

所述编码器100的实施例可以包括图像划分单元，用于在进一步处理图像之前将图像划分为通常不重叠的块集。因此，所述编码器100的实施例可以包括输入端102，用于接收视频序列(视频流)的图像的块(视频块)。图像可以包括M×N个像素(水平尺寸×垂直尺寸)，所述块可以包括m×n个像素(水平尺寸×垂直尺寸)，并且所述图像可以具有m×n个像素的正方形尺寸。

所述术语“像素”对应于图像像素点，其中每个像素/c可包括一个或多个颜色分量。为简单起见，以下描述中均指像素/像素点，即亮度的像素点。然而，应注意的是，本发明的编码块的所述处理可以应用于包括色度的任何颜色分量或诸如RGB等颜色空间的分量。另一方面，仅针对一个分量执行运动矢量估计以及将处理所述结果应用于多个(或所有)分量可能是有益的。

所述编码器100的实施例可用于对视频序列的所有图像使用相同的块尺寸，或者更改所述块尺寸和定义所述块尺寸的对应网格，以及将所述图像划分为每张图像或图像子集的所述对应块。

为了将所述图像划分为块，所述编码器100的实施例可以包括图像划分单元(附图1中未示出)。

图2示出了用于接收编码图像数据(比特流)171的示例视频解码器200，例如，所述编码图像数据171由编码器100编码得到解码图像231。

所述解码器200包括输入端202、熵解码单元204、反量化单元110、反变换单元112、重构单元114、缓冲器116、环路滤波器120、解码图像缓冲器130、帧间预测单元144、帧内预测单元154、模式选择单元160和输出端232。此处，相同参考符号是指图1的所述视频编码器100和图2的所述视频解码器200之间的相同或至少功能上等效的特征。

因此，图1和图2示出了图像编解码装置的示例。所述图像编解码装置可以是图像编码装置，例如图1中的所述视频编码器100，或者所述图像编解码装置可以是图像解码装置，例如图2中的所述视频解码器200。

所述图像编解码装置100或200用于接收当前图像数据块的划分信息。如上所述，所述当前图像数据块可以包括在视频序列图像或静止图像中。所述划分信息包括描述如何将图像划分(partition或split)为块的数据，以及可选地包括描述如何将所述块划分为子块的数据。也就是说，所述划分信息包括关于划分配置的数据，所述划分配置是块和所得子块上的划分操作的集合。对于所述图像解码装置200，所述划分信息可以包括例如，输入比特流包含的语法元素。该语法元素可以包括例如，划分标志。对于所述图像编码装置100，可以通过，例如，执行速率失真(rate-distortion，RD)优化，即，通过预定义一组划分配置，来确定所述划分信息，并选择提供最小RD开销的所述划分配置。换句话说，所述划分信息包括关于所述当前图像数据块的划分配置的信息。

所述图像编解码装置100或200还用于确定所述当前图像数据块的划分过程。所述划分过程可以由图像划分单元(未在附图1和2中示出)实现，该图像划分单元包含在所述图像编解码装置100或200中。

在所述划分过程中，当所述接收到的划分信息指示所述当前图像数据将被划分时，将所述当前图像数据块非对称划分为两个子块，即第一第一级子图像数据块和第二第一级子图像数据块，使得所述第一第一级子块小于所述第二第一级子块。所述第一第一级子块和第二第一级子块中的术语“第一”和“第二”不表示所述第一级子块彼此之间的顺序或位置。所述非对称划分可以包括非对称BT划分。这里，“非对称”表示所述生成的第一级子块相对于所述当前图像数据块的中心线在垂直于或正交于所述非对称划分方向的方向上处于非对称位置。方向可包括例如，垂直和水平方向。例如，当所述非对称划分的方向为垂直方向时，所得到的第一级子块相对于所述当前图像数据块的所述中心线在所述水平方向上处于非对称位置。

这里，所述第一第一级子块小于所述第二第一级子块表示在垂直于或正交于所述非对称划分方向的方向上，所述第一第一级子图像数据边长小于所述第二第一级子图像数据块的边长。例如，当垂直进行所述非对称划分时，所述第一第一级子块的边长在水平方向上小于第二第一级子块的边长；当水平进行所述非对称划分时，所述第一第一级子块的边长在垂直方向上小于所述第二第一级子块的边长。“第一级”表示仅由所述当前图像数据块的所述第一次划分产生的子块。子图像数据块的所述“边长”表示子图像数据块的边的长度，该子图像数据块的形状为矩形。

此外，在进行所述非对称划分时，可以选择第二第一级子图像数据块在与非对称划分方向垂直或正交方向上的边长，使得可以将其划分为三个部分，每一个部分的边长都为2的幂次方。例如，可以将24个单位(例如，像素)的边长分成三个部分，每个部分的边长为4(即2的2次方)个单位，16个(即2的4次方)个单位，以及4个(即2的2次方)个单位。换句话说，第二第一级子图像数据块在垂直于非对称划分方向上的边长可划分为三个部分，每一个部分的边长都为2的幂次方。

当所述接收到的划分信息还指示所述第一第一级子图像数据块和/或所述第二第一级子图像数据块将被划分时，将所述第一第一级子图像数据块和/或所述第二第一级子图像数据块中的所指示的第一级子块对称划分为例如，两个或三个第二级子图像数据块。所述对称划分可以包括例如，对称BT划分或对称TT划分。“第二级”表示所述当前图像数据块的第一和第二划分产生的子块。这里，“对称”表示在垂直于或正交于所述各自对称划分方向的方向上，所产生的第二级子块相对于其起始第一级图像数据块的中心线对称地定位。

每个对称划分的所述方向依赖于先前的所述非对称划分的方向。另外，每个对称划分的所述方向依赖于所述第一第一级子图像数据块和所述第二第一级子图像数据块中的哪一个为所述对称划分的当前对象。

例如，在垂直地执行所述先前的非对称划分时，所述第一第一级子块可以水平对称地划分为，例如，两个或三个第二级子图像数据块；或者在水平地执行所述先前的非对称划分时，所述第一第一级子块可以垂直对称地划分为，例如，两个或三个第二级子图像数据块。换句话说，在所述第一第一级子块的情况下，所述对称划分可包括：在垂直于或正交于所述非对称划分方向的方向上，将所述第一第一级子块对称地划分为至少两个第二级子图像数据块。

在另一示例中，在垂直地执行所述先前的非对称划分时，第二第一级子块可以垂直对称地划分为，例如，两个或三个第二级子图像数据块；或者在水平地执行所述先前的非对称划分时，所述第二第一级子块可以水平对称地划分为，例如，两个或三个第二级子图像数据块。换句话说，在所述第二第一级子块的情况下，所述对称划分可包括：在平行于所述非对称划分方向的方向上，将所述第二第一级子图像数据块对称划分为至少两个第二级子图像数据块。

最后，可选地，所述划分过程可以停止前进到子图像数据块的任何其他级别。换句话说，所述确定的划分过程可以包括避免对所述第一级或第二级子图像数据块中的任何子图像数据块进一步划分。

附图3A示出了图1的所述图像编码装置100的另一示例。所述图像编码装置100可包括处理器180、存储器185和/或输入/输出接口190。所述处理器180可用于执行所述残差计算单元104、变换单元106、量化单元108、反量化单元110、反变换单元112、重构单元114、环路滤波器120、帧间估计单元142、帧间预测单元144、帧内估计单元152、帧内预测单元154、模式选择单元160或熵编码单元170中的一个或多个的所述功能。所述输入/输出接口190可用于执行所述输入端102或输出端172中的一个或多个的所述功能。所述存储器185可用于执行所述缓冲器116或所述帧缓冲器130中的一个或多个的所述功能。

附图3B示出了图2的所述图像解码装置200的另一示例。所述图像解码装置200可包括处理器280、存储器285和/或输入/输出接口290。所述处理器280可用于执行所述熵解码单元204、反量化单元110、反变换单元112、重构单元114、环路滤波器120、帧间预测单元144、帧内预测单元154或模式选择单元160中的一个或多个的所述功能。所述输入/输出接口290可用于执行所述输入端202或输出端232中的一个或多个的所述功能。所述存储器285可用于执行所述缓冲器116或解码图像缓冲器130中的一个或多个的所述功能。

附图4示出了涉及具有非对称划分图像编码的示例方法400的流程图。

所述方法400包括在图像编解码装置处接收当前图像数据块的划分信息，即步骤410。在步骤420中，所述图像编解码装置确定所述接收到的划分信息是否指示所述当前图像数据块将被划分。若是，则进入步骤430(即初始划分：所述当前图像数据块被非对称划分为第一第一级子图像数据块和第二第一级子图像数据块，使得所述第一第一级子块小于所述第二第一级子块。

在步骤440中，所述图像编解码装置接收所述第一第一级子图像数据块的划分信息。在步骤450中，所述图像编解码装置确定所述接收到的划分信息是否指示所述第一第一级子图像数据块将被划分。若是，则进入步骤460：所述第一第一级子图像数据块被对称划分为，例如，在垂直于或正交于所述非对称划分方向的方向上，两个或三个第二级子图像数据块。

在步骤470中，所述图像编解码装置接收所述第二第一级子图像数据块的划分信息。在步骤480中，所述图像编解码装置确定所述接收到的划分信息是否指示所述第二第一级子图像数据块将被划分。若是，则进入步骤490：所述第二第一级子图像数据块被对称划分为，在平行于所述非对称划分方向的方向上，两个或三个所述第二级子图像数据块。

接下来，该方法结束，避免对所述一级或二级子图像数据块中的任何子图像数据块进一步划分。

所述方法400可以由所述装置100或所述装置200执行，例如，由包括在所述装置100或所述装置200中的图像划分单元(图1和2中未示出)执行。所述方法400的其它特征直接由所述装置100和所述装置200的所述功能而产生。所述方法400可以由计算机程序执行。

图6至图8示出了根据进一步示例的两级划分。本实施例旨在约束所述二进制非对称划分机制的参数以排除不经常出现的模式。这些参数中的第一个参数是所述最大划分深度，该最大划分深度可以等于，例如，2，即，一个块最多可以在两个划分级别上进行划分，如图6的600所示。此外，在图6的示例中，由于应用非对称划分而获得的块的进一步划分只能为二进制且只能为对称的。一般而言，可以为每个划分预定义进一步划分的方向(即，在所述非对称划分之后的划分)。此外，这些指示依赖于所述前一级别所作出的决策。如图6中的示例所示，第一(SP)和第二(LP)划分只能在水平和垂直方向上分别进行划分。

虽然SP和LP划分的所述方向是固定的，但可能不是二进制划分。图7A的710示出了与所述基本思想相比，划分SP和LP的附加选项。可以将TT划分应用于所述SP，从而将其划分为三个子部分。然而，在这种情况下，划分方向与所述非对称划分的方向正交。在本示例实施例中，LP的所述可能划分类型仍限于所述二进制类型。

图7A所示情况的另一个扩展是将TT划分应用于所述LP。所得到的划分情况如图7B的720所示。针对所述LP，划分方向不会更改，但会为此划分启用其他划分类型。

如果所述LP的进一步划分的边长的大小不是2的幂次方，则划分所述LP的潜在问题可能会进一步增加。因此，如果TT划分比率按照传统TT划分的方式定义，则所生成的划分也将具有其一侧边长不等于2的幂次方，如图8的800的右侧所示。由于所述硬件限制，最好不要使用边长不为2的幂次方的小块。

附图9所示为根据一个示例性实施例的图示划分决策过程的流程图900。可以在考虑所述重构图像产生的失真和在所述解码器端恢复所述图像所需的所述比特流中的比特数量的情况下，在所述编码器端进行划分决策。该速率失真优化过程要求在所述编码阶段估计编码划分信息的比特数量。附图9说明了这一方案。

执行该附图中所示的步骤以获得子块的各种列表并估计每个所生成的列表的成本值。该过程的第一步910是使用子块覆盖最大编码单元，即生成由子块列表表示的划分结构。对于这些子块中的每个子块，在步骤920中生成预测信号。还可以根据基于速率失真优化(Rate-Distortion Optimization，RDO)的方法执行所述预测模式的选择。通过从所述预测信号中减去原始图像信号并对结果应用以下步骤来获得残差信号(步骤930)：变换、量化、反量化和反变换。然后，将该残差信号添加到所述预测信号中，从而生成用于估计其失真(步骤940)的重构信号。

在所述速率估计步骤950中估计获得所述重构信号所需的所述比特数量。该步骤中可以执行熵编码和上下文建模，类似于在比特流生成过程中的熵编码和上下文建模。但是，在本步骤中，不生成输出比特流信号。

成本计算步骤960中使用估计失真值和速率值以将其组合为单个度量值，这使得可以使用值比较操作来选择所述最佳划分结构。最后，选择提供所述成本函数的所述最小值的变量，以信号形式在比特流中发送。

附图10为示出针对每个LCU迭代执行的解码过程的流程图1000，所述解码过程可以包括以下步骤。使用推导出的(步骤1010)熵模型对比特流进行解码。在步骤1020的划分标志解析期间使用该步骤的结果。根据已解析的划分标志值，决定是否将已解码块进一步划分为子块。在划分结构恢复的步骤1030中，确定用于划分块的所述划分类型。所述步骤1030中可以使用预先定义的划分和对应比特流语法元素限制。最后的步骤1040是更新需要重构的子块列表。然后，对LCU的下一个块进行解码。当一个LCU的最后一个块被处理时，下一个LCU将按照图10进行解码。

附图11示出了与各种划分决策相关的典型统计数据。更具体地，图11涉及所述第一第一级子图像数据块和第二第一级子图像数据块的所述对称BT划分决策。图中1110示出了完整伪叶节点(full pseudo-leaf node，FPLN)子模式，在该子模式下，可以使用所述第一第一级子图像数据块和第二第一级子图像数据块的所有四个划分决策组合。图中1110还示出了视频序列的I片和B片的典型出现频率。

当所述第一第一级子块和所述第二第一级子块均未被划分时，I片出现的频率通常为66％，B片出现的频率通常为85％。当仅划分所述第一第一级子块时，I片出现的频率通常为15％，B片出现的频率通常为6％。当仅划分所述第二第一级子块时，I片出现的频率通常为15％，B片出现的频率通常为9％。当所述第一第一级子块和所述第二第一级子块均被划分时，I片出现的频率通常为4％，B片出现的频率通常为0％。

图中1120示出了一种约束伪叶节点(constrained pseudo-leaf node，CPLN)子模式。在该子模式下，可以使用所述第一第一级子图像数据块和所述第二第二级子图像数据块的三个最频繁出现的划分决策组合。换句话说，基于图中1110的所述统计数据，划分图中1110的第一第一级子块和第二第一级子块的所述划分决策组合已被丢弃，因为其出现次数最少。

附图12A所示为图1210，其示出了一个信令方案的示例，可用于例如图11中的1110的所述划分决策。在图11中，使用具有固定长度编码的上下文自适应二进制算术编码(Context-Adaptive Binary Arithmetic Coding，CABAC)的二进制化器进行图中1110的划分决策。‘00’可用于表示所述第一第一级子块和所述第二第一级子块都不进行划分。‘10’可用于表示仅将所述第一第一级子块进行划分。‘01’可用于表示仅将所述第二第一级子块进行划分。‘11’可用于表示所述第一第一级子块和所述第二第一级子块均待划分。

图12B所示的1220示出了可与，例如，图11的1120的划分决策，一起使用的信令方案的的两个变体示例。这里，将截断的一元代码用作二进制化器。

在所述第一变体中，‘00’可以用于表示所述第一第一级子块和所述第二第一级子块都将不进行划分。“1”可用于表示仅所述第一第一级子块将进行划分。‘01’可用于表示仅所述第二第一级子块将进行划分。根据图中1110的所述统计数据来看，该变体针对很少发生的划分允许较少的信令开销。

在所述第二变体中，‘0’可用于表示所述第一第一级子块和所述第二第一级子块均将不进行划分。‘10’可用于表示仅所述第一第一级子块将进行划分。‘11’可用于表示仅所述第二第一级子块将进行划分。根据图中1110的所述统计数据来看，该变体针对频繁发生的划分允许较少的信令开销。

附图13示出的1300进一步示出了所述划分决策的示例。这里，将所述第二第一级子块的对称BT划分替换为所述第二第一级子块的对称TT划分。此外，如上所述，在垂直于所述非对称划分方向的方向上，可以选择所述第二第一级子图像数据块的边长，使得可以将它分为三个部分，每一个部分的边长都为2的幂次方，例如，可以将24个单位的边长可以分成三个部分，其中，每个部分的边长分别为4个(即2的2次方)单位，16个(即2的4次方)单位，以及4个(即2的2次方)单位。

本文结合各种实施例描述了所述图像编解码装置和所述相应的方法。但本领域技术人员通过实践本发明，研究附图、本发明以及所附的权利要求，能够理解并获得公开实施例的其他变体。在权利要求书中，词语“包括”不排除其它元素或步骤，不定冠词“a”或者“an”不排除多个。

本发明的实施例包括或是一种计算机程序，该计算机程序包括程序代码，当所述计算机程序在计算机上执行时，所述程序代码用于执行本文描述的任何方法。

本发明的实施例包括或是一种计算机可读介质，该计算机可读介质包括程序代码，当所述计算机可读介质由处理器执行时，所述程序代码使得计算机系统执行本文描述的任何方法。

本领域技术人员将理解，所述各个附图的“块”(“单元”)表示或描述了本发明的实施例的功能(而不一定是硬件或软件中的各个“单元”)，因此同等地描述装置实施例以及方法实施例的功能或特征(“单元”等同“步骤”)。

如上所述，用于图像编码的布置可以在硬件中实现，例如如上所述的视频编码装置或视频解码装置，或者作为方法来实现。该方法可以实施为计算机程序。然后，在计算设备中执行计算机程序。

所述装置，例如视频解码装置、视频编码装置或任何其它相应的图像编解码装置，用于执行上述方法之一。所述装置包括任何必要的硬件组件。这些可以包括至少一个处理器、至少一个存储器、至少一个网络连接、总线和类似设备。例如，可以与其他组件共享存储器或处理器，或者访问云服务、集中式计算单元或其他可以通过网络连接使用的资源，而不是专用硬件组件。

根据本发明方法的某些实施要求，本发明方法可以以硬件或软件或其任何组合来实施。

所述实施方案可以使用数字存储介质来执行，特别是软盘、CD、DVD或蓝光光盘、ROM、PROM、EPROM、EEPROM、或者其上存储具有电子可读控制信号的闪存，配合或能够配合可编程计算机系统以执行至少一种发明方法的实施例。

因此，本发明的另一实施例是或包括一种计算机程序产品，其程序代码存储在机器可读载体上，当所述计算机程序产品在计算机上运行时，所述程序代码用于执行至少一种所述发明方法。

换句话说，本发明方法的实施例因此是或包括具有程序代码的计算机程序，当所述计算机程序在计算机、处理器或类似设备上运行时，所述程序代码用于执行至少一种所述发明方法。

因此，本发明的另一实施例是或包括一种机器可读数字存储介质，其包括存储在其上的所述计算机程序，当所述计算机程序产品在计算机上、处理器上或类似设备上运行时，所述计算机程序用于执行至少一种所述发明方法。

因此，本发明的另一实施例是或包括表示所述计算机程序的数据流或信号序列，当所述计算机程序产品在计算机、处理器或类似设备上运行时，所述计算机程序用于执行至少一种所述发明方法。

因此，本发明的另一实施例是或包括用于执行至少一种所述发明方法的计算机、处理器或任何其它可编程逻辑设备。

因此，本发明的另一实施例是或包括计算机、处理器或其上存储有所述计算机程序的任何其它可编程逻辑设备，当所述计算机程序产品在所述计算机、处理器或任何其它可编程逻辑设备上运行时，例如，现场可编程门阵列(Field Programmable Gate Array，FPGA)或专用集成电路(Application Specific Integrated Circuit，ASIC)，所述计算机程序可操作用于执行至少一种所述发明方法。

虽然前述内容是参照其特定实施例而特别示出和描述的，但是本领域技术人员应理解的是，在不脱离其精神和范围的情况下，可以对所述形式和细节进行各种其它更改。因此，应理解的是，在不脱离本文所公开和所附权利要求书所理解的更广泛方案的情况下，可以在适应不同实施例的过程中进行各种更改。

Claims (15)

1.一种图像编解码装置（100, 200），其特征在于，所述图像编解码装置用于：

接收当前图像数据块的划分信息；以及

对所述当前图像数据块执行划分过程，包括：

响应于接收到的指示所述当前图像数据块将被划分的划分信息，将所述当前图像数据块非对称划分为第一第一级子图像数据块和第二第一级子图像数据块，所述第一第一级子块小于所述第二第一级子块；

响应于所述接收到的进一步指示所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块将被划分的划分信息，将所指示的所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块对称划分为至少两个第二级子图像数据块，

其中，若所述对称划分的对象为所述第一第一级子图像数据块，所述对称划分包括：在垂直于或正交于所述非对称划分方向的方向上，将所述第一第一级子图像数据块对称划分为至少两个第二级子图像数据块；若所述对称划分对象为所述第二第一级子图像数据块，所述对称划分包括：在平行于所述非对称划分方向上，将所述第二第一级子图像数据块对称划分为至少两个第二级子图像数据块。

2.根据权利要求1所述的图像编解码装置（100，200），其特征在于，所述当前图像数据块的待确定划分过程还包括：避免对所述第一级或第二级子图像数据块中的任何子图像数据块进一步划分。

3.根据权利要求1或2所述的图像编解码装置（100, 200），其特征在于，所述第一第一级子块小于所述第二第一级子块包括：在垂直于所述非对称划分方向的方向上，所述第一第一级子图像数据块的边长小于所述第二第一级子图像数据块的边长。

4.根据权利要求3所述的图像编解码装置（100, 200），其特征在于，所述第二第一级子图像数据块在垂直于所述非对称划分方向的方向上的边长可划分为三个部分，每一个部分的边长都为2的幂次方。

5.根据权利要求1或2所述的图像编解码装置（100, 200），其特征在于，所述非对称划分包括非对称二叉树划分。

6.根据权利要求1或2所述的图像编解码装置（100, 200），其特征在于，所述对称划分包括对称二叉树划分或对称三叉树划分。

7.根据权利要求1或2所述的图像编解码装置（100），其特征在于，所述划分信息包括关于所述当前图像数据块的划分配置的信息。

8.根据权利要求1或2所述的图像编解码装置（100），其特征在于，所述图像编解码装置包括图像编码装置（100）。

9.根据权利要求1或2所述的图像编解码装置（200），其特征在于，所述图像编解码装置包括图像解码装置（200）。

10.根据权利要求1或2所述的图像编解码装置（200），其特征在于，所述当前图像数据块包括在视频序列图像或静止图像中。

11.一种图像编码的方法（400），其特征在于，包括：

图像编解码装置接收（410、440、470）当前图像数据块的划分信息；以及

所述图像编解码装置对所述当前图像数据块执行划分过程，包括：

响应于接收到的指示（420）所述当前图像数据块将被划分的划分信息，将所述当前图像数据块非对称划分（430）为第一第一级子图像数据块和第二第一级子图像数据块，所述第一第一级子块小于所述第二第一级子块；

响应于所述接收到的进一步指示（450）所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块将被划分的划分信息，将所指示的所述第一第一级子图像数据块或所述第二第一级子图像数据块中的至少一个第一级子图像数据块对称划分（460、490）为至少两个第二级子图像数据块；

其中，若所述对称划分的对象为所述第一第一级子图像数据块，所述对称划分包括：在垂直于或正交于所述非对称划分方向的方向上，将所述第一第一级子图像数据块对称划分为至少两个第二级子图像数据块；若所述对称划分对象为所述第二第一级子图像数据块，所述对称划分包括：在平行于所述非对称划分方向上，将所述第二第一级子图像数据块对称划分为至少两个第二级子图像数据块。

12.根据权利要求11所述的方法（400），其特征在于，所述当前图像数据块的待确定划分过程还包括：避免对所述第一级或第二级子图像数据块中的任何子图像数据块进一步划分。

13.根据权利要求11或12所述的方法（400），其特征在于，所述第一第一级子块小于所述第二第一级子块包括：在垂直于所述非对称划分方向的方向上，所述第一第一级子图像数据块的边长小于所述第二第一级子图像数据块的边长。

14.根据权利要求11或12所述的方法（400），其特征在于，所述第二第一级子图像数据块在垂直于所述非对称划分方向的方向上的边长可划分为三个部分，每一个部分的边长都为2的幂次方。

15.一种包含程序代码的计算机可读介质，其特征在于，当所述程序代码在计算设备上执行时，所述程序代码用于执行根据权利要求11至14中任一项所述的方法。

Images