CN114616833A - 用于图像/视频压缩和处理的灵活块分配结构 - Google Patents

Abstract

用于编码和解码视频的技术可以包括预测由时变图案镶嵌和/或由画面内在空间上变化的图案镶嵌限定的画面区域。这些技术例如通过减少基于块的视觉伪影来改善解码视频质量。图案镶嵌图案在空间上可以是不规则的，以防止画面内的一些预测区域边界的对准。图案镶嵌图案可以基于空间偏移值随时间推移而变化，并且可以通过模数函数确定该空间偏移值。图案镶嵌图案可以包括重叠形状，例如当与重叠块运动补偿结合使用时。

Description

用于图像/视频压缩和处理的灵活块分配结构

相关申请的交叉引用

根据35 USC 119(e)的规定，本申请要求于2019年10月31日提交的美国临时申请第62/929,045号的优先权。

背景技术

本公开涉及视频编码，并且更具体地，涉及基于块的预测编码。

传统的图像和视频编码方案通常采用预测、计算来自预测的残差、残差的变换和量化、环路滤波和熵编码以产生压缩比特流。

在预测中，使用先前编码的样本(在空间上和/或在时间上)(如果可用)或使用一些“预定义”预测方法或值预测待编码的图像的区域(例如，大小为MxN的块区域)。此类区域通常放置在不随时间变化的固定网格上，该固定网格具有限定该网格的边界的大的固定大小超级分区，例如，宏块(MB)或编码树单元(CTU)。然而，通常允许此类超级分区可进一步细分为与超级分区相比较小大小和不同形状的子分区。较小的子分区可以包括例如编码单元(CU)、预测单元(PU)、子宏块、变换单元(TU)等。

通常通过将预测与对应于各单个预测区域的源视频信号(可能在预滤波之后)进行比较来计算预测之后剩余的任何残差。

然后可以使用特定变换(诸如离散余弦变换(DCT))对此残差进行变换，然后将其量化以去除通常被感知为对图像的可视化不太重要的信息。

也可在此类块上以及其相邻块上应用环内滤波(诸如去块、样本自适应偏移处理、自适应环路滤波等)，以减少编码过程可能已引入的可能编码伪影。

然后将构建此块所需要的任何信息(诸如块分配、预测模式和其相关信息(例如运动向量和参考索引)、所使用的一种变换或多种变换的类型、量化参数以及任何剩余量化系数等)进行熵编码并且添加到压缩比特流中。

对块的压缩比特流进行解码将在一定程度上逆反上述过程。解码器可以首先对压缩比特流进行熵解码以导出编码信息(分区、模式、运动向量(MV)、量化系数等)，并且熵解码之后可以是预测过程。逆量化和变换步骤可以并行执行，然后将重构的残差添加到预测信息上。给定由底层编解码器支持和使用的适当的环内滤波机构，该重构的块然后可以被环内滤波。

发明内容

用于编码和解码视频的技术可以包括预测由时变图案镶嵌和/或由画面内在空间上变化的图案镶嵌限定的画面区域。这些技术例如通过减少基于块的视觉伪影来改善解码视频质量。

在一方面，编码技术可以包括确定第一空间分配；预测性地编码源视频画面的序列的第一画面，包括根据该第一空间分配预测该第一画面的分区；确定与该第一空间分配不同的第二空间分配；预测性地编码这些源视频画面的序列的第二画面，包括根据该第二空间分配预测该第二画面的分区；以及发送包括第一编码画面、第二编码画面和对第一空间分配及第二空间分配的指示的编码视频序列。

在另一方面，解码技术可以包括一种解码视频的方法，该方法包括：从编码视频序列中提取对第一空间分配的指示；预测性地解码该编码视频序列的第一画面，包括根据该第一空间分配预测该第一画面的分区；从该编码视频序列中提取对与该第一空间分配不同的第二空间分配的指示；预测性地解码该编码视频序列的第二画面，包括根据该第二空间分配预测该第二画面的分区；以及发送包括第一编码画面、第二编码画面和对第一空间分配及第二空间分配的指示的编码视频序列。

在另一方面，编码技术可以包括确定针对源视频的每个对应部分的图案镶嵌，其中该图案镶嵌针对该对应部分限定预测区域，并且其中该图案镶嵌在该部分之间变化；预测性地编码该部分，包括预测由部分的对应图案镶嵌限定的该预测区域；以及存储包括编码部分和对变化的图案镶嵌的指示的编码视频。

在另一方面，解码技术可以包括从编码视频流中提取将对针对该编码视频流中的视频的每个对应部分图案镶嵌成预测区域的指示，其中该图案镶嵌在该部分之间变化；用预测解码技术对该部分进行解码，包括预测由部分的对应图案镶嵌限定的该预测区域；以及输出解码部分。

如本文所用，“图案镶嵌”可以指对覆盖被图案镶嵌的区域的重叠或非重叠形状，例如结合重叠块运动补偿。

附图说明

图1示出了视频递送系统的示例性简化框图。

图2是示出示例性编码终端的部件的功能框图。

图3是示出示例性解码终端的部件的功能框图。

图4A是示例性编码流程图400。

图4B是示例性解码流程图450。

图5A示出了示例性常规分配网格。

图5B示出了示例性水平移位的分配网格。

图5C示出了示例性垂直移位及水平移位的分配网格。

图5D示出了具有可变大小分区的示例性分配网格。

图5E示出了示例性分配网格。

图5F示出了示例性分配网格。

图5G示出了示例性分配网格。

图5H示出了示例性分配网格。

图6示出了示例性分配网格。

图7示出了随时间推移的分配变化的时间线。

图8A示出了与重叠块运动补偿(OBMC)一起使用的示例性分配网格。

图8B示出了与OBMC一起使用的示例性分配网格。

图8C示出了与OBMC一起使用的示例性分配网格。

图9是示例性编码系统900的示例性功能框图。

图10是示例性解码系统1000的示例性功能框图。

具体实施方式

图1示出了根据本公开的方面的视频递送系统100的简化框图。系统100可包括经由网络互连的多个终端110、120。终端110、120可编码视频数据以用于经由网络传输给其对应终端。因此，第一终端110可本地捕获视频数据，对视频数据进行编码并经由信道将经编码的视频数据传输至对应终端120。接收终端120可接收经编码的视频数据，对其解码，并将其本地呈现，例如在终端120处的显示器上。如果在视频数据的双向交换中接合终端，则终端120可本地捕获视频数据，对视频数据进行编码并经由另一信道将经编码的视频数据传输至对应终端110。接收终端110可接收从终端120传输的经编码视频数据，对其解码，并且例如在其自己的显示器上本地呈现。本文所述的过程可操作帧画面和交错的场画面编码两者，但为简单起见，本讨论将描述在整体帧的上下文中的技术。

视频编码系统100可在多种应用中使用。在第一应用中，终端110、120可支持编码视频的实时双向交换以在它们之间建立视频会议会话。在另一应用中，终端110可编码预先产生的视频(例如电视或电影节目)并存储经编码的视频用于递送给一个或者经常递送给多个进行下载的客户端(例如，终端120)。因此，正在编码的视频可以是实时的或预先产生的，并且终端110可以充当媒体服务器，根据一到一或一到多分发模型来递送经编码的视频。出于本论述的目的，除非另外指明，视频的类型和视频发布方案是无关紧要的。

在图1中，终端110、120被分别例示为个人计算机和智能电话，但本公开的原理并不限于此。本公开的方面还应用于各种类型的计算机(台式计算机、膝上型计算机和平板电脑)、计算机服务器、媒体播放器、专用视频会议装备和/或专用视频编码装备。

网络130表示在终端110,120之间传递已编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非另外指明，否则网络的体系结构和拓扑结构对本发明的操作是无关紧要的。

图2是示出了根据本公开的一个方面的编码终端200的部件的功能框图。编码终端可包括视频源210、图像处理器220、编码系统230和发射器240。视频源210可供应要编码的视频。视频源210可被提供为捕获本地环境的图像数据的相机，存储来自一些其他来源的视频的存储设备，或藉以接收源视频数据的网络连接。图像处理器220可对要编码的视频执行信号调节操作以准备用于编码的视频数据。例如，预处理器220改变源视频的帧速率、帧分辨率和/或其他特性。图像处理器220还可对源视频执行滤波操作。

编码系统230可对视频执行编码操作以减小其带宽。通常，编码系统230利用源视频内的时间和/或空间冗余。例如，编码系统230可执行运动补偿预测编码，其中视频帧或场画面被解析为子单元(为方便起见称为“像素块”)，并且各个像素块相对于预测像素块进行差分编码，所述预测像素块来源于先前编码的视频数据。给定像素块可根据多种预测编码模式中的任一种来编码，诸如：

·帧内编码，其中输入像素块相对于共同帧的先前编码/解码数据差分编码；

·单预测帧间编码，其中输入像素块相对于先前编码/解码的帧的数据差分编码；以及

·多假设运动补偿预测编码，其中输入像素块经由时间或空间预测使用来自两个或更多个来源的解码的数据预测性地编码。

预测编码模式可与其他编码技术(诸如变换跳过编码、降低分辨率更新(RRU)编码、预测源的缩放、调色板编码等等)协作使用。

编码系统230可包括向前编码器232、解码器233、回路滤波器234、画面缓冲器235和预测器236。编码器232可使用由预测器236提供的预测像素块数据将差分编码技术应用于输入像素块。解码器233可将编码器232所应用的差分编码技术反转为被指定为参考帧的编码帧的子集。回路滤波器234可将滤波技术应用于由解码器233生成的重构参考帧。画面存储库235可存储用于预测操作的重构参考帧。预测器236可从存储在画面存储库中的参考帧内预测输入像素块的数据。

发射器240可通过信道将经编码的视频数据传输至解码终端。

图3是示出了根据本公开的一个方面的解码终端300的部件的功能框图。解码终端可包括用于接收来自信道的经编码视频数据的接收器310、解码经编码数据的视频解码系统320、后处理器330，以及消耗输出视频数据的视频宿340。

接收器310可从网络接收数据流，并且可将数据流的分量路由至终端300内的适当单元。虽然图2和图3示出了用于视频编码和解码的功能单元，但是终端110、120(图1)通常将包括用于与视频相关联的音频数据的编码/解码系统，以及可能包括其他处理单元(未示出)。因此，接收器310可解析来自数据流的其他元素的经编码视频数据并将其路由至视频解码器320。

视频解码系统320可执行反转由编码系统230执行的编码操作的解码操作。视频解码器可包括解码器322、回路滤波器324、画面缓冲器326和预测器328。解码器322可将编码器232所应用的差分编码技术反转为编码帧。回路滤波器324可将滤波技术应用于由解码器322生成的重构帧数据。例如，回路滤波器324可执行各种滤波操作(例如，去块、去振铃滤波、样本自适应偏移处理等等)。滤波的帧数据可从解码系统输出。画面存储库326可存储用于预测操作的重构参考帧。预测器328可根据在经编码视频数据中提供的预测参考数据，从由画面存储库存储的参考帧内预测输入像素块的数据。

后处理器330可执行操作来调节用于显示的重构视频数据。例如，后处理器330可执行各种滤波操作(例如，去块、去振铃滤波等)，这可模糊由编码/解码过程生成的输出视频中的视觉伪影。后处理器330还可改变重构视频的分辨率、帧速率、色彩空间等以使其符合视频宿340的要求。

视频宿340表示解码终端中可消耗重构视频的各种硬件和/或软件部件。视频宿340通常可包括可呈现重构视频的一个或多个显示设备。另选地，视频宿340可由存储重构视频以供稍后使用的存储器系统来表示。视频宿340还可包括根据应用程序中提供的控件来处理重构视频数据的一个或多个应用程序。在一些方面，视频宿可表示传输系统，该传输系统将重构视频传输至与解码终端分开的另一设备上的显示器；例如，笔记本计算机生成的重构视频可被传输到大型平板显示器以用于观看。

对编码终端和解码终端(图2和图3)的上述讨论示出了执行来编码和解码终端之间在单一方向上的视频数据的操作，诸如从终端110至终端120(图1)。在将在终端110、120之间执行视频双向交换的应用中，每个终端110、120将具有与编码终端(图2)相关联的功能单元以及每个终端110、120将具有与解码终端(图3)相关联的功能单元。实际上，在某些应用中，终端110、120可在单个方向上交换编码视频的多个流，在这种情况下，单个终端(例如终端110)将具有其中提供的编码终端(图2)的多个实例。此类具体实施完全符合本讨论。

图4A是示例性编码流程图400。图4A包括确定预测区域的初始图案镶嵌(框412)。接着，对于待编码的视频的各部分，预测性地编码由图案镶嵌限定的图像区域(框414)，并且将编码视频部分与对图案镶嵌的指示一起存储或发送。如果存在待编码的更多视频部分(框418)，则可以改变图案镶嵌(框422)，并且重复部分编码过程。

图案镶嵌(如框412和422中所确定)可以是紧密配合在一起的二维形状的布置，该二维形状覆盖帧(或视频的其它部分)的区域，例如，该形状可以是多边形的，并且该布置可以是不具有任何间隙的一个或多个多边形的重复图案。图案镶嵌可以限定图像数据的分配。如本文所用，“图案镶嵌”可以指覆盖被图案镶嵌的区域的重叠或非重叠形状。例如，可以与重叠块运动补偿(OBMC)使用重叠图案镶嵌。图案镶嵌可以基于规则或均匀的块结构，其中所有块是相同的形状和大小，或者可以是不规则的，其中块大小或形状在帧(或小于帧的视频的另一部分)的图案镶嵌图案内变化。不规则空间图案可以允许相邻块的一些块边界不对准。这种空间不规则可以减少视觉块状化伪影。用于对预测区域进行分配的空间图案镶嵌图案的示例在下文中关于图5A至图5H、图6和图8A至图8C来给出。

视频的一部分的预测编码(框414)可以包括针对由图案镶嵌限定的各空间区域，根据所选择的预测模式(诸如帧间或帧内预测模式)预测该区域中的像素。可以将对图案镶嵌的指示与编码视频部分一起存储(框416)在单个编码比特流中，该编码比特流包括图案镶嵌以及例如其它预测参数(诸如运动向量和编码残差)。可以针对视频的单独部分改变图案镶嵌(框422)，使得图案镶嵌图案可以随时间移位或可以以其它方式随时间变化。在一些方面，可以选择图案镶嵌的改变以减少或最小化视频的部分之间重叠或重合区域边界的数量。随时间推移而发生的此类移位或其它图案镶嵌图案改变可以减少块状化伪影。

在任选的方面，图案镶嵌可以基于空间偏移值，并且图案镶嵌可以通过改变偏移值而随时间变化。在任选的框410中，可以确定初始一维或二维偏移，然后将其用于确定框412中的初始图案镶嵌。在任选的框420中，可以确定新的偏移，然后将其用于确定框422中改变的图案镶嵌。

图4B是示例性解码流程图450。图4B包括确定预测区域的初始图案镶嵌(框464)。然后对于待解码的视频的各部分，预测由图案镶嵌限定的图像区域以便解码视频部分(框466)，并且输出解码视频部分(框468)。若要对更多视频部分进行解码(框470)，则可以改变图案镶嵌(框474)，然后重复该部分解码过程。

在框412和框422中确定的图案镶嵌可以类似于上文关于图4A中的编码所描述的那些图案镶嵌。框466的预测解码可以包括上文关于图4A中的编码描述的预测编码的对应部分。

在任选的方面，可以从编码视频流中提取一个或多个图案镶嵌参数(框469)。可以确定初始一维或二维偏移(任选的框462)，然后可将其用于确定框464中的初始图案镶嵌。可以确定新的偏移(任选的框420)，然后将其用于确定框422中的改变的图案镶嵌。图案镶嵌参数的示例可以是初始偏移值、用于改变部分之间的图案镶嵌的Δ偏移值或对用于确定改变偏移值的函数的指示。

非静态分配

如上所讨论，传统基于块的编码系统可以在具有由静态网格限定的形状和大小的块上操作。遗憾的是，将编码区域放置在固定网格上的事实可能对编码质量具有不利影响。具体地，此类网格可以导致压缩伪影，并且更具体地，尤其是可以在某些质量/压缩水平下的块状化/分块伪影变得相当分散和可见。由于此类网格不会随时间变化，因此分块伪影可能聚积并且随时间恶化。可以从许多编解码器采用用于减轻此类伪影的某些方法，包括使用环内或环外去块、自适应环路滤波(ALF)以及甚至重叠块预测。在后一种情况下，允许多个块重叠，并且通过对从每个块贡献的预测进行加权平均来执行对区域的预测。这可以帮助减少块状化伪影中的一些块状化伪影。然而，此类方法也可以对编码器和解码器两者增加相当大的复杂性。其他方法还可以减轻伪影中的一些伪影，但是不总是有效的，因为它们由编码过程的某些特性控制，该特性不保证所有块状化伪影将被辨别并因此通过此类方案解决。应当注意，本文所描述的技术适用于帧内预测方法和帧间预测方法两者，包括定向帧内预测、调色板模式、帧内块复制预测、分形预测、平移或仿射预测、加权预测、扭曲预测等等。

改进的编码方案可以通过在时间上更好地分布块分区并且因此减少块状化传播而进一步减轻此类编码伪影。图5A示出了用于将图像帧分配到编码区域中的示例性常规分配网格510。如先前所提及的现有方案使用固定块分区方案，诸如图5A所示。在本公开的一个方面，使用自适应/非固定块分区方案，其目标是减少围绕边缘的分块传播。在该方案中，并且对于画面的每个不同帧、画面、切片或图块，基本上预期或指示不同的分配方案。特别地，在现有方案中，通常使用相等大小的方形分区(例如MxM个像素)来执行图像或切片/图块的分配，如图5A所示，从待编码的图像或切片/图块的左上角开始。如果图像或切片/图块的分辨率不是M的倍数，则可以在该分区的右侧或底部边界上应用适当的填补。与此类传统方法不同，改进的技术允许在同一区域内使用不同大小的分区，并且不同大小的分区可以使得布置覆盖整个图像的方式在空间上布置。此类分配的示例示于图5B和图5C中，其中在图5B中，分配网格520朝向左侧移位，而在图5C中，分配网格530朝向左侧和顶侧两个方向移位。图5B和图5C的分配方案使用规则矩形网格，然而该网格包括控制其起始位置的水平和/或垂直偏移。

具有水平和/或垂直偏移起始位置的单个规则网格的单个分配(诸如如在图5B和图5C中)可充分减少编码伪影。可以通过允许分配在画面的各不同帧、画面、切片或图块之间变化来实现伪影的额外减少。在一些方面，用于预测的分配可以独立于用于基于块的残差编码(其可以包括基于块的变换和量化)的分配。如果预测分配在时间上足够变化，并且避免了大多数(如果不是全部)残差编码器超级分区(例如MB或CTU级别)和子分区(子宏块、CU、PU等)在时间上对准，则可以减少此类伪影。举例来说，超级分区通常以分层方式被细分为子分区，并且主要使用两个子划分的幂来细分。例如，MxM的分区通常被细分为大小(M/2)xM、Mx(M/2)、(M/2)x(M/2)、(M/4)x(M/2)、(M/4)x(M/4)等的分区。使用预测分区的水平和/或垂直偏移可能是有利的，这将导致与先前编码的帧中使用的预测分区发生尽可能小的冲突。应注意，由于最常用的图像格式是4:2:0YUV格式，因此奇数移位/偏移值可能是不可取的，该图像格式指定在编码之前在垂直方向和水平方向上对色度/颜色分量进行下采样。在这种情况下，奇数值偏移将导致色度分量的不当/不期望的分配，即，在子像素位置处这可能影响编解码器的操作。因此，在一个优选的实施方案中，仅允许对偏移进行偶数赋值。

时变分配可以由空间偏移确定。在一个方面，偏移值可以是隐含的，例如基于编码或时间次序，并且不需要显式信令。例如，对于在显示或编码顺序t处的帧并且假设仅水平偏移，该偏移可以计算为2*模数(t,N)，其中N是编码器和解码器两者都已知的预先确定的数。如果对于两个维度，我们可以使用不同的函数来针对水平偏移x_offset和垂直偏移y_offset计算偏移，如下所示：

x_offset＝f0(t,N)

y_offset＝f1(t,M)

其中f0()和f1()是两个函数，并且M和N可以是一些常数。f0()和f1()可以是取模运算或某一其他函数。其它控制参数也可以用于确定分配偏移的函数。

分配偏移函数和控制参数(例如M和N)可以是固定的，或者可以在比特流中发信号通知。在一个方面，信令在流的序列参数集(SPS)中可能是足够的，即对于整个流是恒定的。另选地，它们也可以每帧变化。在这种情况下，可能无法保证偏移以从一个帧变为下一个帧，但在一些应用中可能仍然是期望的。然而，在另一方面，可以直接按照画面的每个帧、每个切片或每个图块发信号通知分配偏移，而无需解码器需要偏移函数来确定偏移。这种显式信令对于压缩效率和解码器计算来说可能更有效。在此类情况下，编码器可以根据编码目标质量、图像中区域的特性、复杂性和其它因素，智能地决定每个帧(或切片或图块)使用什么偏移。例如，如果图像相当静态并且编码质量相当高，则可能优选的是不从一个帧到另一帧改变分配方案，因为在场景中将存在很大分块效应。

在另一方面，分配可以基于图像内容分析。例如，可以基于内容中边缘的存在和特性、纹理的特性以及被编码的图像内的其它重要特征(包括运动、颜色和对象形状等)来对准预测分配。在这种情况下保持分配一致将使编码器操作更容易，因为来自先前编码帧的信息可以被重复使用。然而，如果图像或编码质量下降，则从一个帧下一个帧调整所使用的偏移可能是优选的。

空间不均匀分配

上文讨论的图5B和5C的分配示例包括规则但移动的矩形网格，其中网格中的所有矩形具有均匀的形状和大小(在图像的边缘处填补分区区域之后)。在另一方面，分配可能不是规则的，并且可能不是基于均匀的块大小和形状。例如，在特定情况下，在一个帧中，在偶数垂直索引位置上的所有CTU都可以具有大小MxM，而所有奇数垂直索引位置可以具有大小NxN。在另一帧中，可以使用逆反次序。在另一种情况下，同一行内的分区可以具有不同的大小或形状，而布置可以从一行到下一行以及从画面的一个帧、切片或图块到另一帧、切片或图块变化。此类示例性分配540示于图5D中。

图5E和图5F分别示出了示例性分配网格550和560。这些图示出了将大小为MxM和(M/2)x(M/2)的两个超级分区组合的分配方案。此类分配减少了分区边缘中的一些分区边缘，并且对于硬件实施方式可能是友好的。分配网格550和560包括具有各种分区区域大小的方形分区区域形状。图5E的网格550包括具有MxM起始偏移的MxM和(M/2)x(M/2)超级分区的混合分配。图5F的网格560包括具有(M/2)x(M/2)起始偏移的MxM和(M/2)x(M/2)超级分区的混合分配。

图5G和图5H示出了示例性分配网格570和580，并且是图5E和图5F的变型形式。图5G示出了MxM和(M/2)x(M/2)超级分区的混合分配。图5H示出MxM和(M/2)x(M/2)超级分区的混合分配，但其具有与图5G中的超级分区不同的次序。

在一个方面，例如如上关于图5B和图5C所描述的，可以结合时变空间偏移使用例如图5D至图5H的空间非均匀分配。

在其它方面，“基于块的”分配不需要限于矩形分区区域。菱形、三角形、梯形或其它多边形分区也可以用于支持此类分区类型的编解码器中。如果利用此类分配模式，根据本发明，将期望分配模式从一帧到下一个帧变化，以便避免在每个分区的边缘处累积误差。

图6示出了示例性分配网格600。分配网格600包括分区区域的形状(方形和非方形矩形)以及大小两者的空间变化。分区区域可以等同于HEVC/VVC中的CTU概念，并且可以进一步分割成子分区。在此方面，最大分区受到限制。还应注意，大型分区仍然可以以仍然创建单个长线的方式“分割”(例如，大方形(绿色)分区可以在中间分割成两个垂直分区)，但是这种分割可以在编码器处决定，并且希望编码器在模式决策期间避免(或被反对)使用此类分配。

在一个方面，其中分区边界跨图像(或跨视频的切片或其它部分)不连续的空间分配网格可以减少人类感知的视觉块状化伪影。例如，不连续块状化伪影的结构可以具有较少的视觉结构，并且因此可能不太可能被感知。在图6的示例中，每个(绿色)大方形分区的右侧和左侧上的垂直分区边界不与垂直相邻的大方形分区的垂直分区边界相交。以此方式，相邻的大方形分区的垂直分区边界是不连续的。

图7示出了随时间推移的分配变化的时间线700。例如，时间可以按照帧以编码或呈现次序来测量。另选地，图7中的时间可以是视频序列的切片或其它部分的序列。

在一个方面，一组固定的已知分配可以随时间推移而交替(或者在视频流的切片或其它部分上交替)。例如，基于输入帧序号的模数函数可以确定哪一组固定的已知分配。如图7中所示出并且假设分配每帧变化，用于第一帧的模数函数可以确定使用已知分配0，并且然后对于以下五个帧，已知分配按照次序1、2、3、0、4来使用。可以任意确定一组此类预先确定的已知分配。或者，预先确定的已知分配可以彼此相关，例如它们可以全部从带有变化的空间偏移的一个空间分配导出。

重叠块运动补偿

图8A、图8B和图8C分别示出了与重叠块运动补偿(OBMC)一起使用的示例性分配网格810、820和830。上述各种分配方案可以通过将这些方案与概念(诸如OBMC)组合来一般化。在此方面，分区区域可以重叠(图8A)。在预测分区重叠的情况下，各预测像素可以被确定为由各相邻预测区域预测的对应像素的加权组合。例如，图8A、图8B、图8C中的区域A可以对应于可以从单个参考预测的区域，而区域B可以从两个相邻区域A中使用的参考的加权组合来预测，并且区域C可以从四个相邻区域A中使用的参考的加权组合来预测。在一个方面，可以仅调整预测分区的大小，同时将重叠的大小维持为恒定的(图8B)。网格820包括在偶数和奇数水平位置处具有不同CTU大小的OBMC。在另一方面，相邻分区区域之间的重叠量也可以从一个分区区域到下一个分区区域改变(图8C)。在网格830中，示出了具有利用不同大小加权区域(仅水平变化)的分区的OBMC。

可以在压缩比特流中发信号通知分配。同样，在比特流中可以存在关于如何布置此类分区的信令。这种信令可以存在于比特流的各种级别中，例如，序列参数集(SPS)、图像参数集(PPS)、切片或图块标头等，这取决于可能期望的对分配或由此产生的开销的控制(SPS和PPS信息被不太频繁地用信号通知，并且在多个画面上被共享；通常针对流中的每个切片或图块发信号通知切片和/或图块标头)。

在其它方面，各种编码操作可以基于本文描述的各种分区方案来调整。例如，去块和自适应环路滤波可以基于各不同帧(或视频的其它部分)使用的分配方案来调整。这对于编码操作可能是有益的，具有减少由分配产生的分块效应的效果。在这些方面，这些操作的类型或位置(诸如去块)可以部分地基于分配来确定。

通过限制大小可以减轻通过处理不同大小的分区而导致的任何复杂性。预测和变换块可以被限制为可能由系统支持的某些大小，例如，4x4、8x8、16x16、32x32、64x64等。通过将非支持分区大小填补到支持大小而创建的幻象分区区域可以降低复杂性。例如，可以通过允许边界(在图像、切片或图块的每一行和列上的第一个和最后一个分区)采用更灵活的大小来处理更灵活的分配。那些可以通过支持该分区大小的编码器进行显式编码，或者另选地，那些分区可以通过将非支持大小填补到最接近的支持大小(诸如编码树单元大小)来处理。例如，如果在水平方向上使用10的偏移，并且假设CTU大小为64，则不必处理图像左侧的10x64的块分区，而是可以通过在该分区的左侧上添加样本来将该分区填补到16x64或64x64的分辨率，然后使用常规的预测和变换方法进行编码。在解码期间，将块首先以填补的分辨率(即16x64或64x64)进行解码，并且然后通过丢弃左侧上的填补样本将其修整到期望的大小。可以在图像、切片或图块组的右侧、顶侧或底侧上的非CTU大小分区上完成类似的方法。

在一个方面，基于块的方法也用于视频处理，诸如去隔行和运动补偿去噪(例如，运动补偿时间滤波/MCTF)。本文所讨论的分配方法也可以应用于此类操作的上下文中，因为如果操作网格保持固定，则这些基于块的方法可能导致块状化伪影。类似于本文针对图像/视频压缩系统所描述的调整执行此类操作的每区域或帧的操作网格可以有助于减少块状化伪影。

利用图案镶嵌进行编码

图9是根据本公开的一个方面的编码系统900的功能框图。系统900可包括像素块编码器910、像素块解码器920、画面存储库930、回路滤波器系统930、参考帧存储库950、预测器960、控制器970和语法单元980。预测器960可生成供像素块编码器910和像素块解码器920使用的预测块

预测块

可以是对输入源视频的新呈现的块s的预测，且预测块

可以基于存储在参考帧存储库950中的先前解码的图像数据。像素块编码器910可通过预测编码技术对新像素块进行编码，并将经编码像素块数据呈现给语法单元980。像素块解码器920可解码经编码像素块数据，由此产生解码像素块数据。回路滤波器940可对重构帧执行一个或多个滤波操作。例如，回路滤波器940可执行去块滤波、样本自适应偏移(SAO)滤波、自适应环路滤波(ALF)、基于最大似然(ML)的滤波方案、去振铃(eranging)、除带、锐化、分辨率缩放等等。参考帧存储库950可存储经滤波的帧，在此其可用作稍后接收的像素块的预测源。语法单元980可组合来自符合管理编码协议的经编码像素块数据的数据流。

像素块编码器910可包括减法器912、变换单元914、量化器916和熵编码器918。像素块编码器910可以在减法器912处接受输入数据的像素块s。减法器912可接收来自预测器960的预测像素块

并由此生成表示输入像素块s与预测像素块

之间的差异的像素残差阵列。变换单元914可以对从减法器912输出的样本数据应用变换，以将数据从像素域转换到变换系数域。量化器916可对由变换单元914输出的变换系数执行量化。量化器916可为均匀或非均匀量化器。熵编码器918可通过例如通过可变长度码字或使用上下文自适应二进制算术编码器对输出进行无损编码来减小系数量化器的输出带宽。

变换单元914可以在控制器970所确定的多种变换模式中操作。例如，变换单元914可以应用离散余弦变换(DCT)、离散正弦变换(DST)、Walsh-Hadamard变换、Haar变换、Daubechies小波变换等。在一个方面，控制器970可以选择变换单元915要应用的编码模式M，可以相应地配置变换单元915，并且可以显式地或隐式地在经编码的视频数据中以信号通知编码模式M。

量化器916可以根据控制器970所提供的量化参数QP来操作。在一个方面，量化参数QP可以作为多值量化参数被应用于变换系数，多值量化参数例如在变换域像素块内的不同系数位置上可以改变。因此，量化参数QP可以被提供成量化参数阵列。

熵编码器918如其名称所暗示的，可以执行从量化器916输出的数据的熵编码。例如，熵编码器918可执行运行长度编码、霍夫曼编码、哥伦布编码、上下文自适应二进制算术编码等等。熵编码器918还可以对各种编码参数(诸如量化参数QP或对用于预测的帧图案镶嵌的指示)进行熵编码。

像素块解码器920可反转像素块编码器910的编码操作，并且可对与像素块编码器910具有相同形状和大小的块进行操作。例如，像素块解码器920可以包括去量化器922、逆变换单元924和加法器926。像素块解码器920可从量化器916的输出获取其输入数据。尽管允许，像素块解码器920不必执行熵编码数据的熵解码，因为熵编码是无损事件。去量化器922可反转像素块编码器910的量化器916的操作。去量化器922可执行均匀或非均匀去量化。类似地，逆变换单元924可以反转变换单元914的操作。去量化器922和逆变换单元924可以使用与像素块编码器910中其对应部件相同的量化参数QP和变换模式M。量化操作可能将在各个方面截断数据，并且因此，在与被呈现给像素块编码器910中的量化器916的数据相比时，去量化器922所恢复的数据可能将具有编码误差。

加法器926可以反转减法器912所执行的操作。它可以接收与减法器912在生成残差信号中所使用相同的来自预测器960的预测像素块

加法器926可以将预测像素块添加到逆变换单元924所输出的重构残差值，并且可以输出重构的像素块数据。

回路滤波器930可对所恢复的像素块数据执行各种滤波操作。例如，回路滤波器940可包括去块滤波器932和样本自适应偏移(“SAO”)滤波器934和/或其它类型的回路滤波器(未示出)。

参考帧存储库950可以存储经滤波的帧数据以供在其他像素块的后续预测中使用。使不同类型的预测数据可供预测器960使用以用于不同预测模式。例如，对于输入像素块，帧内预测器963从相同帧的解码数据获得预测参考，该输入像素块定位在该相同帧中。因此，参考帧存储库950可以存储在编码时每个帧的经解码像素块数据。对于相同的输入像素块，帧间预测器962可采用来自先前编码和解码帧的预测参考，所述帧被指定为参考帧。因此，参考帧存储库950可以存储这些经解码的参考帧。

在一个方面，预测器960可操作于与块编码器910和块编码器920不同类型的块上。预测画面存储库(未示出)可收集由预测器960输出的多个预测块，以供像素块编码器910和解码器920使用。这可使得编码器910和解码器920能够对帧内与预测器960所预测的不同形状、大小或偏移的块进行操作。在一个方面，预测器660可以预测像素数据的块，其中块形状由视频帧的图案镶嵌来确定。预测的块形状可以根据图案镶嵌在帧内变化，并且图案镶嵌可在帧之间随时间推移而变化。同样，预测块形状不必为矩形块，并且可以包括用于对二维图像进行图案镶嵌的任何块形状。例如，除了方形和非方形矩形块之外，预测块形状还可以包括六边形、八边形、三角形和L形块。

在另一方面，回路滤波器930可以一次操作多个像素块。解码画面存储库(未示出)可以收集自像素块解码器920输出的多个解码像素块，以供回路滤波器930使用。这可以实现例如回路滤波器930跨像素块边界进行滤波。

控制器970可以控制编码系统900的整个操作。控制器970可基于输入像素块的分析以及还有外部约束(诸如编码比特率目标和其他操作参数)来选择像素块编码器910和预测器960的操作参数。与本讨论相关，在选择量化参数QP、均匀或非均匀量化处理器的使用、变换模式M和/或用于预测的帧图案镶嵌时，可以将那些参数提供给熵编码器918或语法单元980，该熵编码器或语法单元可以将表示那些参数的数据包括在系统900所输出的经编码的视频数据的数据流中。控制器970也可以在系统可以用以生成参考图像的不同操作模式之间进行选择，并且可以包括标识为经编码数据的每个部分选择的模式的元数据。另外，控制器970可以控制回路滤波器930和预测单元960的操作。对于预测单元960，此类控制可包括帧图案镶嵌、模式选择(λ、待测模式、搜索窗口、失真策略等)，并且对于回路滤波器940，包括选择滤波器参数、重新排序参数、加权预测等。

在操作期间，控制器970可以以图像数据的不同粒度，要么以每个像素块为基础要么在更大粒度(例如，每帧，每片，每个最大编码单元(“LCU”)或编码树单元(CTU)，或另一区域)，来修改操作参数(诸如QP、M及用于预测的帧图案镶嵌)。在一个方面，量化参数可以在经编码的帧内以每像素为基础进行修改。类似地，语法单元980输出的压缩比特流可以包括语法分级结构中不同级别的操作参数的指示，诸如对应于像素块、帧、片段、LCU、CTU、CU或压缩比特流的其它部分的语法级别。

利用图案镶嵌进行解码

图10是根据本公开的一个方面的解码系统1000的功能框图。解码系统1000可包括语法单元1010，像素块解码器1020，回路滤波器1030，参考帧存储库1050，预测器1060，和控制器1070。与编码器(图9)一样，预测器1060与像素块解码器1020之间的帧存储库(未示出)可以允许预测与编码之间不同的块形状、大小或偏移。

语法单元1010可以接收经编码的视频数据流，并且可以将经编码的数据解析成其组成部分。表示编码参数的数据可被提供给控制器1070，而表示编码残差的数据(由图9的像素块编码器910输出的数据)可被提供给其相应的像素块解码器1020。预测器1060可根据在经编码视频数据中提供的编码参数数据来从参考帧存储库1050中可用的参考数据生成预测块。它可将预测块

提供给像素块解码器。像素块解码器1020可反转由像素块编码器910应用的编码操作(图9)。回路滤波器1040可对重构的帧数据进行滤波。经滤波的图像数据可以是源视频数据的重构近似值s’并且可以从解码系统1000输出作为输出视频。被指定用作参考帧的经滤波的帧也可以存储在参考帧存储库1050中，以供预测器1060稍后使用。

像素块解码器1020可包括熵解码器1022、去量化器1024、逆变换单元1026和加法器1028。熵解码器1022可执行熵解码以反转由熵编码器918执行的过程(图9)。去量化器1024可反转像素块编码器910的量化器1016的操作(图9)。类似地，逆变换单元1026可以反转变换单元914的操作(图9)。它们可以使用在经编码的视频数据流中提供的量化参数QP和变换模式M。因为量化可能截断数据，所以当与呈现给编码器的像素块编码器910的输入像素块s进行比较时，由去量化器1024恢复的像素块s’很可能具有编码误差(图9)。

加法器1028可反转减法器910所执行的操作(图9)。它可以接收来自预测器1060的预测像素块，该预测像素块由经编码的视频数据流中的预测参考所确定。加法器1028可以将预测像素块加到由逆变换单元1026输出的重构残差值，并且可以输出重构像素块数据。

回路滤波器1040可对由经编码视频数据标识的恢复像素块数据执行各种滤波操作。例如，回路滤波器1040可以包括去块滤波器1032，样本自适应偏移(SAO)滤波器1034，和/或其他类型的回路滤波器。这样，回路滤波器1030的操作模拟编码器900的对应回路滤波器930的操作(图9)。

参考帧存储库1050可以存储经滤波的帧数据以供在其他像素块的后续预测中使用。参考帧存储库1050可以存储整个经解码参考帧，并且它可以存储部分解码的帧，因为它被解码用于帧内预测。

在一个方面，如同编码器，预测器1060可以在与块解码器1020使用的块类型不同类型的块上操作。预测画面存储库(未示出)可收集由预测器1060输出的多个预测块，以供像素块解码器1020使用。这可使得块解码器1020能够在帧内与预测器1060所预测的不同形状、大小或偏移的块上操作。在一个方面，预测器1060可以预测像素数据的块，其中预测块的块形状由视频帧的图案镶嵌来确定。预测的块形状可以根据图案镶嵌在帧内变化，并且图案镶嵌可在帧之间随时间推移而变化。同样，预测块形状不必为矩形块，并且可以包括用于对二维图像进行图案镶嵌的任何块形状。例如，除了方形和非方形矩形块之外，预测块形状还可以包括六边形、八边形、三角形和L形块。

在另一方面，回路滤波器1030可以一次在多个像素块上操作。解码画面存储库(未示出)可以收集自像素块解码器1020输出的多个解码像素块，以供回路滤波器1030使用。这可以实现例如回路滤波器930跨像素块边界进行滤波。

控制器1070可以控制编码系统1000的整个操作。控制器1070可以基于在经编码的视频数据流中接收的参数来设定像素块解码器1020和预测器1060的操作参数。与本论述相关，这些操作参数可以包括用于预测1060的图案镶嵌参数、去量化器1024的量化参数QP和逆变换单元1010的变换模式M。如所讨论的，所接收的参数可以以图像数据的各种粒度变化，并且可以例如基于每个像素块、每帧、每切片、每LCU/CTU或基于视频的部分的其它类型以各种级别的压缩比特流语法进行传送。

前述讨论已在视频编码器和解码器的上下文中描述了本公开各个方面的操作。这些部件常常作为电子设备来提供。视频解码器和/或控制器可以被嵌入在集成电路中，诸如专用集成电路、现场可编程门阵列和/或数字信号处理器。另选地，它们可以被嵌入到在相机设备、个人计算机、笔记本电脑、平板电脑、智能电话或计算机服务器上执行的计算机程序中。此类计算机程序通常包括存储在物理存储介质诸如电子、磁性和/或基于光学的存储设备中的指令，在那里它们被处理器读取并且被执行。解码器常常被封装在消费电子设备中，诸如智能电话、平板电脑、游戏系统、DVD播放器、便携式媒体播放器等；并且，它们也可以被封装在消费软件应用中，诸如视频游戏、媒体播放器、媒体编辑器等。并且，当然，这些部件可被提供作为根据需要在专用硬件部件和经编程的通用处理器上分配功能的混合系统。

视频编码器和解码器可以多种方式通过信道来交换视频。它们可以经由通信和/或计算机网络彼此通信，如图1所示。在其他应用中，视频编码器可以将视频数据输出给存储设备，诸如电、磁和/或光学存储介质，所述存储设备可以在稍后某个时候被提供给解码器。在此类应用中，解码器可以从存储设备检索所编码的视频数据并对其进行解码。

本文具体示出和/或描述了本发明的若干实施方案。然而，应当理解，在不脱离本发明的实质和预期范围的情况下，本发明的修改和变型由上述教导内容涵盖并且在所附权利要求的范围内。

Claims (20)

1.一种编码视频的方法，包括：

确定第一空间分配；

预测性地编码源视频画面的序列的第一画面，包括根据所述第一空间分配预测所述第一画面的分区；

确定与所述第一空间分配不同的第二空间分配；

预测性地编码所述源视频画面的所述序列的第二画面，包括根据所述第二空间分配预测所述第二画面的分区；以及

发送包括所述第一编码画面、所述第二编码画面和对所述第一空间分配及所述第二空间分配的指示的编码视频序列。

2.根据权利要求1所述的方法，其中所述第一空间分配包括使分区重叠，并且所述预测编码包括使块运动补偿重叠。

3.根据权利要求1所述的方法，其中所述第二空间分配被确定为带有空间偏移的所述第一空间分配，并且其中对所述第二空间分配的所述指示包括所述空间偏移。

4.根据权利要求1所述的方法，其中对所述第一空间分配和所述第二空间分配的所述指示包括对用于计算空间偏移的偏移函数的指示，并且通过以从所述偏移函数确定的所述空间偏移使所述第一分配在空间上移位来确定所述第二空间分配。

5.根据权利要求4所述的方法，其中所述偏移函数是模数函数，并且来自所述偏移函数的所述空间偏移输出随时间重复。

6.根据权利要求1所述的方法，其中所述第一空间分配中的分区的大小在所述第一空间分配内变化。

7.根据权利要求1所述的方法，其中所述第一空间分配包括至少一对具有不连续分区边界的相邻分区。

8.一种解码视频的方法，包括：

从编码视频序列中提取对第一空间分配的指示；

预测性地解码所述编码视频序列的第一画面，包括根据所述第一空间分配预测所述第一画面的分区；

从所述编码视频序列中提取对与所述第一空间分配不同的第二空间分配的指示；

预测性地解码所述编码视频序列的第二画面，包括根据所述第二空间分配预测所述第二画面的分区；以及

发送包括所述第一编码画面、所述第二编码画面和对所述第一空间分配及所述第二空间分配的指示的编码视频序列。

9.根据权利要求8所述的方法，其中所述第一空间分配包括使分区重叠，并且所述预测解码包括使块运动补偿重叠。

10.根据权利要求8所述的方法，其中所述第二空间分配被确定为带有空间偏移的所述第一空间分配，并且其中对所述第二空间分配的所述指示包括所述空间偏移。

11.根据权利要求8所述的方法，其中对所述第一空间分配和所述第二空间分配的所述指示包括对用于计算空间偏移的偏移函数的指示，并且通过以从所述偏移函数确定的所述空间偏移使所述第一分配在空间上移位来确定所述第二空间分配。

12.根据权利要求11所述的方法，其中所述偏移函数是模数函数，并且来自所述偏移函数的所述空间偏移输出随时间重复。

13.根据权利要求8所述的方法，其中所述第一空间分配中的分区的大小在所述第一空间分配内变化。

14.根据权利要求8所述的方法，其中所述第一空间分配包括至少一对具有不连续分区边界的相邻分区。

15.一种计算机可读介质，所述计算机可读介质包括指令，所述指令在处理器上执行时使得：

从编码视频序列中提取对第一空间分配的指示；

预测性地解码所述编码视频序列的第一画面，包括根据所述第一空间分配预测所述第一画面的分区；

从所述编码视频序列中提取对与所述第一空间分配不同的第二空间分配的指示；

预测性地解码所述编码视频序列的第二画面，包括根据所述第二空间分配预测所述第二画面的分区；以及

发送包括所述第一编码画面、所述第二编码画面和对所述第一空间分配及所述第二空间分配的指示的编码视频序列。

16.一种视频解码器，包括：

解码画面缓冲器(DPB)，

解码器，所述解码器用于解码压缩视频并将参考画面存储在所述DPB中，

预测器，所述预测器用于从所述DPB中的参考画面进行预测，和

控制器，所述控制器用于执行指令使得：

从编码视频序列中提取对第一空间分配的指示；

预测性地解码所述编码视频序列的第一画面，包括根据所述第一空间分配预测所述第一画面的分区；

从所述编码视频序列中提取对与所述第一空间分配不同的第二空间分配的指示；

预测性地解码所述编码视频序列的第二画面，包括根据所述第二空间分配预测所述第二画面的分区；以及

发送包括所述第一编码画面、所述第二编码画面和对所述第一空间分配及所述第二空间分配的指示的编码视频序列。

17.一种编码视频的方法，包括：

确定针对源视频的每个对应部分的图案镶嵌，其中所述图案镶嵌针对所述对应部分限定预测区域，并且其中所述图案镶嵌在所述部分之间变化；

预测性地编码所述部分，包括预测由部分的对应图案镶嵌限定的所述预测区域；以及

存储包括所述编码部分和对所述变化的图案镶嵌的指示的编码视频。

18.根据权利要求17所述的方法，其中所述图案镶嵌包括使预测区域重叠，并且所述预测技术包括使块运动补偿重叠。

19.一种解码视频的方法，包括：

从编码视频流中提取对针对所述编码视频流中的视频的每个对应部分图案镶嵌成预测区域的指示，其中所述图案镶嵌在所述部分之间变化；

用预测解码技术对所述部分进行解码，包括预测由部分的对应图案镶嵌限定的所述预测区域；以及

输出所述解码部分。

20.根据权利要求19所述的方法，其中所述图案镶嵌包括使预测区域重叠，并且所述预测技术包括使块运动补偿重叠。

Images