CN113612994B

CN113612994B - 具有仿射运动补偿的视频编解码的方法

Info

Publication number: CN113612994B
Application number: CN202110949285.3A
Authority: CN
Inventors: 庄子德; 陈庆晔; 黄晗; 许晓中; 刘杉
Original assignee: MediaTek Inc
Current assignee: MediaTek Inc
Priority date: 2016-03-15
Filing date: 2017-03-13
Publication date: 2023-10-27
Anticipated expiration: 2037-03-13
Also published as: SG11201806865YA; CN108781284A; EP3414900A1; CN113612994A; US20190082191A1; CN108781284B; RU2696551C1; US20200228821A1; EP3414900A4; WO2017157259A1; US11375226B2; US10638152B2

Abstract

本发明供开了具有仿射运动补偿的视频编码以及解码的方法及装置。所述方法的一实施例接收与在仿射模式中进行编码或将要进行编码的当前块有关的输入数据。从缓冲器中检索相邻块的两个或多个运动向量，其中至少一个已检索的运动向量不对应于第一相邻块行或第一相邻块列的子块。所述方法使用已检索的两个或多个运动向量导出包括多个仿射运动向量的仿射候选，以及通过使用由已导出的仿射候选导出的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码。用于仿射候选导出的缓冲器存储少于所述当前图像中已编码块的所有运动向量的选择运动向量。

Description

具有仿射运动补偿的视频编解码的方法

相关引用

本发明要求递交于2016年3月15日，号码为PCT/CN2016/076360，标题为“AffinePrediction for Video Coding”的PCT专利申请以及递交于2016年12月22日，号码为US62/437,757，标题为“Affine Prediction Buffer Management for Video Coding”的美国临时专利申请案的优先权。所述PCT专利申请以及美国临时专利申请整体通过引用纳入其中。

技术领域

本发明涉及具有仿射运动补偿(affine motion compensation)的视频编解码，特别地，本发明涉及用于实施仿射运动补偿的视频编解码系统的缓冲器管理以及来启用用于仿射运动管理的适应性运动向量分辨率的技术。

背景技术

在编码以及解码过程中，视频数据需要大的存储空间来缓冲中间数据(intermediatedata)。随着越来越高的分辨率与越来越高的帧率，以及开发了更有力的编解码技术来实现更好的编解码性能，用于视频编码器以及视频解码器的存储需求显著地增长。最近开发的一个编解码技术是仿射运动预测以及补偿，其有效地追踪更复杂的运动，例如旋转、缩放以及运动对象的变形(deformation)。应用于最近开发的编解码标准，如高效视频编解码(HEVC)的帧间运动预测方法仅考虑二维(two-deimensional，2D)平移运动，其中兴趣区域中的所有像素遵循相同的运动方向以及幅度(magnitude)。仿射运动预测可根据四参数仿射模型(four-parameter affine model)描述2D块旋转以及缩放。仿射运动预测也可以根据将正方形或矩形变换为平行四边形的六参数仿射模型来捕获2D变形。文献中提出的仿射运动预测有两种主要模式，包括仿射合并模式(affine Merge mode)以及仿射帧间模式(affine Inter mode)。仿射合并模式允许从空间相邻块继承仿射运动信息，然而仿射帧间模式通过组合空间相邻块的运动信息来构造若干最可能的候选。仿射帧间模式也被称作仿射高级运动向量预测(advance motion vector prediction，AMVP)模式。

沿着时间轴穿过图像的运动可由如等式(1)所示的四参数仿射运动模型来描述。假设A(x,y)是所考虑的位于位置(x,y)的原始像素，且A’(x’,y’)是用于原始像素A(x,y)的参考图像的位置(x’,y’)的对应的参考像素。

x’＝a0*x+a1*y+a2,以及

y’＝-a1*x+a0*y+a3. (1)

其中，a0、a1、a2以及a3为四参数仿射运动模型中的四个参数。

在仿射模式中编码的块内的此原始像素A(x，y)与对应参考像素A’(x’,y’)之间的运动向量(v_x,v_y)可被描述为：

v_x＝(1–a0)*x–a1*y–a2,以及

v_y＝(1–a0)*y+a1*x–a3. (2)

图1A示出了示例性四参数仿射运动模型。两个角落像素110以及112位于当前块102的左上角以及右上角，且在四参数仿射运动模型中，这两个角落像素也被称为当前块102的控制点。两个控制点110以及112的运动向量Mv0以及Mv1将当前块102映像到参考图像中的参考块104。根据等式(3)，基于控制点110以及112的运动向量Mv0以及Mv1，可以导出当前块102中的每个像素A(x,y)的运动向量场。

其中，(v_0x,v_0y)表示左上角110的运动向量Mv0，(v_1x,v_1y)表示右上角112的运动向量Mv1，且w表示当前块的宽度。对于基于块的仿射运动补偿，当两个控制点的运动向量Mv0以及Mv1被解码时，可根据等式(3)来确定当前块102的每个4x4块的运动向量。换句话说，用于当前块102的四参数仿射运动模型可由在两个控制点的两个运动向量Mv0以及Mv1来指定。此外，当块的左上角以及右上角被用作两个控制点时，其它两个控制点也可被使用

六参数仿射运动模型可由等式(4)来描述。于此模型中，总共使用了六个参数a0、a1、a2、b0、b1以及b2以及三个控制点。对于每个像素A(x,y)，此像素A(x,y)以及其对应参考像素A’(x’,y’)之间的运动向量(v_x,v_y)如等式(5)所示。

x’＝a0+a1*x+a2*y,以及

y’＝b0+b1*x+b2*y (4)

v_x＝(a1-1)*x+a2*y+a0,以及

v_y＝(b2-1)*y+b1*x+b0 (5)

由六参数仿射运动模型预测的每个像素的运动向量也是位置相关的。图1B所示为根据六参数仿射运动模型的仿射运动补偿的示例，其中，当前块122被映像到参考图像中的参考块124。当前块122的三个角落像素130、132、以及134以及参考块124的三个角落像素之间的对应关系可由如图1B所示的三个箭头来确定。用于仿射运动模型的六个参数可基于当前块122的左上、右上、以及左下控制点的三个已知运动向量Mv0、Mv1、Mv2来导出。用于仿射运动模型的参数导出在本领域中是公知的，在此不再赘述。

已经讨论了仿射帧间模式以及仿射合并模式的各种实施方式，例如，仿射旗标(affine flag)被用于指示是否应用仿射帧间模式，且当CU等于或大于16×16时，此仿射旗标被发信以用于每个帧间编码的编码单元(coding unit，CU)。如果当前CU被编码或将被编码于仿射帧间模式，则使用有效的相邻已编码块来为当前CU构造候选运动向量预测子(motion vector predictor，MVP)对(pair)列表。图2所示为在仿射帧间模式或仿射合并模式中编码的当前块20的候选MVP对导出的示例。如图2所示，用于当前块20的左上控制点的运动向量Mv0的MVP是从左上相邻已编码块A0、A1、或A2的运动向量中选择；以及用于当前块20的右上控制点的运动向量Mv1的MVP是从右上相邻已编码块B0以及B1的运动向量中选择。在视频比特流中发信用于候选MVP对列表的MVP索引，且在视频比特流中对两个控制点的运动向量差(motion vector difference，MVD)进行编码。

对于在合并模式中编码的当前块20，图2中的5个相邻已编码子块C0(被称为左底部块)、B0(被称为右上块)、B1(被称为右上角块)、C1(被称为左下角块)、以及A0(被称为左上角块)被依次地检查以决定相邻已编码子块中的任何一个是否编码于仿射帧间模式或仿射合并模式。在此示例中，当前块20为预测单元(prediction unit，PU)。只有在相邻已编码子块中的任何一个在仿射帧间模式或仿射合并模式中进行编码时，仿射旗标被发信来指示是否在仿射合并模式中对当前块20进行编码。当根据仿射合并模式对当前块20进行编码或解码时，第一可用的仿射已编码相邻块(affine-coded neighboring block)是通过从5个相邻已编码子块中选择来决定的。包括已选择的相邻编码子块的第一可用的仿射已编码相邻块被用于导出仿射合并候选。仿射合并候选被用于导出当前块的参考图像中的预测子。如图2所示，用于选择相邻已编码子块中的一个的选择顺序是从左底部块、右上块、右上角块、左下角块、到左上角块(C0→B0→B1→C1→A0)。用于当前块20的仿射合并候选是从第一可用的仿射已编码相邻块的控制点的MV导出的，例如，如果应用了四参数仿射运动模型，则第一可用的仿射已编码相邻块的左上N×N子块以及右上N×N子块的MV被用于导出仿射合并候选。当包括第三控制点用于六参数仿射运动模型时，第一可用的仿射已编码相邻块的左底部N×N子块的MV也被用于导出仿射合并候选。

发明内容

本发明公开了视频编解码系统中具有仿射运动补偿的用于视频编码或解码的方法及装置。根据本发明的视频编码器的实施例接收与当前图像中当前块有关的输入数据以及根据本发明的视频解码器的实施例接收对应于包括所述当前图像中所述当前块的压缩数据的视频比特流。根据仿射运动模型在仿射模式中对所述当前块进行编码或将要进行编码。本发明的各种实施例减少用于仿射候选导出的时间缓冲器的缓存需求。所述时间缓冲器存储少于所述当前图像中先前已编码块的所有运动向量的选择运动向量。本发明的实施例从所述时间缓冲器检索相邻块的两个或多个运动向量(MV)，其中已检索的运动向量的至少一个不对应于第一相邻N×N块行或者第一相邻N×N块列中的子块，所述第一相邻N×N块行最接近所述当前块的上边界，所述第一相邻N×N块列最接近于所述当前块的左边界，以及N×N是在所述时间缓冲器中存储一个运动向量的块尺寸。所述方法使用已检索的所述相邻块的两个或多个运动向量进一步导出包括多个仿射运动向量的仿射候选，以及通过使用由已导出的仿射候选导出的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码。每一所述仿射运动向量预测所述当前块的点与所述一个或多个运动补偿块的对应点之间的运动。

在一些实施例中，所述时间缓冲器存储最接近与所述当前块的所述上边界的所述第一相邻N×N块行以及第二相邻N×N块行的运动向量，以及所述时间缓冲器存储最接近与所述当前块的所述左边界的所述第一相邻N×N块列以及第二相邻N×N块列的运动向量。

在一个实施例中，已检索的MV包括用于四参数仿射运动模型的第一以及第二MV，例如，如果所述相邻块在所述当前块的上方或邻近于所述当前块的左上角，所述第一以及第二MV分别是替代所述相邻块的左上角以及右上角的原始MV的替代MV。如果所述相邻块位于所述当前块的左侧，所述第一MV是替代所述相邻块的左上角的原始MV的替代MV，以及所述第二MV是所述相邻块的右上角的原始MV。在一实施例中，所述第一以及第二MV对应于所述相邻块中的第一以及第二子块，使用所述第一以及第二MV、与所述当前图像有关的所述当前块的像素位置、与所述当前图像有关的所述第一子块的像素位置以及所述相邻块的宽度导出所述仿射MV的第一仿射MV。使用所述第一以及第二MV、所述相邻块的宽度以及所述当前块的宽度导出所述仿射MV的第二仿射MV。

在另一个实施例中，已检索的MV包括用于六参数仿射运动模型的第一、第二以及第三MV，例如，用于向量块中第一、第二以及第三子块的三个MV，以及使用所述三个MV、与所述当前图像有关的所述当前块的像素位置、与所述当前图像有关的所述第一子块的像素位置以及所述相邻块的宽度中的至少两个导出第一仿射MV。使用所述第一以及第二运动向量、所述相邻块的宽度以及所述当前块的宽度导出第一仿射MV。以及使用所述第一以及第三运动向量以及所述相邻块的高度与所述当前块高度中的至少一个导出第三仿射MV。在这一实施例中，如果所述相邻块在所述当前块上方，所述第一、第二MV是替代所述相邻块的左上角以及右上角的原始MV的替代MV，以及所述第三MV是所述相邻块的左下角的原始MV。如果所述相邻块邻近于所述当前块的左上角，所述第一、第二以及第三MV是替代所述相邻块的左上角、右上角以及左下角的原始MV的替代MV。如果所述相邻块在所述当前块的左侧，所述第一以及第三MV是替代所述相邻块左上角以及左下角的原始MV的替代MV，以及所述第二MV是所述相邻块的右上角的原始MV

根据具有两个控制点的四参数仿射运动模型或者具有三个控制点的六参数仿射运动模型，由所述仿射候选中所述多个仿射运动向量导出的所述运动补偿块预测所述当前块。所述时间缓冲器存储选择运动向量，例如，所述时间缓冲器存储所述当前块上方的M个N×N块行的MV，以及M小于最大编码单元高度除以N(CTU_height/N)。在另一个实施例中，所述时间缓冲器存储所述当前块左侧的K个N×N块列的MV，以及K等于最大编码单元宽度除以N(CTU_width/N)。

在本发明的一些实施例中，已检索的MV是在所述相邻块的两个或多个控制点的原始MV。所述控制点包括所述相邻块的左上角、右上角、右下角以及左下角中的至少两个。在一个实施例中，所述时间缓冲器存储2个N×N块行以及2个N×N块列的MV，包括第一相邻N×N块行、第一相邻N×N块列、顶N×N块行集合以及最左N×N块列集合的原始MV。所述第一相邻N×N块行是最接近于所述当前块所述上边界的上方相邻块中的最后一行，所述第一相邻N×N块列是最接近与所述当前块的所述左边界的左相邻块中的最后一列，所述顶N×N块行集合是所述上方相邻块的第一行，以及所述最左N×N块列集合是所述左相邻块的第一列。

在又一实施例中，所述方法包括包括接收与在仿射模式中进行编码或将要进行编码的当前块有关的输入数据，计算以及存储用于所述当前图像中多个已编码块的仿射参数，从所述时间缓冲器中检索对应于所述当前块的相邻块的一个或多个已编码块的仿射参数来导出包括仿射MV的仿射候选。通过使用由已导出的仿射候选导出的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码。每一所述仿射运动向量预测所述当前块的点与所述一个或多个运动补偿块的对应点之间的运动。

在一个实施例中，当所述仿射运动模型是使用左上角、右下角、右上角以及右下角的两个座位控制点的四参数仿射运动模型时，所述仿射参数包括所述相邻块中的水平方向运动向量(MV)偏移以及一个运动向量，或者当所述仿射运动模型是使用左上角、右下角、右上角以及右下角的两个座位控制点的四参数仿射运动模型时，所述仿射参数包括所述相邻块中的垂直方向运动向量(MV)偏移以及一个运动向量。在另一个实施例中，当所述仿射运动模型是六参数仿射运动模型的时，所述仿射参数包括所述相邻块在的水平方向运动向量(MV)偏移、垂直方向运动向量(MV)偏移以及一个运动向量。相邻块中运动向量的示例是在所述相邻块中左上角、右下角、右上角以及右下角的运动向量。在另一实施例中，所述仿射参数包括用于每一已编码块的已缩放的MV偏移。在又一实施例中，所述仿射参数包括表示两个或三个控制点的运动向量的两个或三个仿射运动向量，以及所述时间缓冲器存储用于每一已编码块的所述两个或三个仿射运动向量。

本发明的另一实施例包括接收与在仿射模型中进行编码或将要进行编码的当前块有关的输入数据，从时间缓冲器中检索用于所述当前块的有效相邻块的两个或多个MV，使用所述有效相邻块的已检索的两个或多个MV导出包括仿射MV的仿射候选，以及通过使用由已导出仿射候选导出的一个或多个补偿块预测所述当前块来对所述当前块进行编码或解码。所述有效相邻块不包括邻近于所述当前块的左上角的相邻块。所述时间缓冲器存储所述当前块的一个相邻NXN块行以及一个相邻NXN块列的MV，其中NXN是存储所述时间缓冲器中一个MV的块尺寸。所述仿射MV预测所述当前块的点与所述一个或多个运动补偿块的对应点之间的运动。

本发明公开的多个方面进一步提供了一种包括配置以执行具有仿射运动补偿的视频编码方法的一个或多个电子电路的装置。通过对具体实施例的以下描述进行回顾，本发明的其他方面和特征对于本领域普通技术人员将是显而易见的。

本发明仅使用相邻两个MV行/列来导出仿射参数，从而降低仿射模式预测所需要的存储空间。

附图说明

图1A示出了根据两个控制点将当前块映射到一个或多个补偿块的四参数仿射预测。

图1B示出了根据三个控制点将当前块映射到一个或多个补偿块的六参数仿射预测。

图2示出了基于相邻已编码块的仿射候选导出用于仿射帧间模式或仿射合并模式的示例。

图3示出了根据仿射合并模式的使用来自相邻块的信息来对当前块进行编码或解码的示例。

图4A以及图4B示出了根据本发明实施例的储存用于仿射候选导出的两个相邻块行以及两个相邻块列的MV的两个示例。

图5示出了结合本发明实施例的具有仿射运动补偿的视频编解码系统的示例性流程图。

图6示出了根据本发明实施例的储存用于仿射候选导出的相邻块的控制点的原始MV的示例。

图7示出了结合本发明实施例的具有仿射运动补偿的视频编解码系统的示例性流程图。

图8示出了根据本发明实施例的储存用于仿射候选导出的最接近相邻块行以及最接近相邻块列的MV的示例。

图9示出了根据本发明各实施例的用于实施仿射运动预测以及补偿的视频编码器的示例性系统框图。

图10所示为根据本发明各实施例的用于实施仿射运动补偿的视频解码器的示例性系统框图。

具体实施方式

可以容易地理解，如本文附图中描述以及所所示的本发明的元件可以以各种各样的不同配置来布置和设计。因此，如附图所示的本发明的系统以及方法的实施例的以下更详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表本发明的可选择的实施例。

参考遍及本说明书的“一实施例”、“一些实施例”、或类似语言意味着结合实施例描述的特定特征、结构、或特性可被包括于本发明的至少一个实施例中。因此，遍及本说明书中各处的短语“在一实施例中”或“在一些实施例中”的出现不一定全指代相同的实施例，这些实施例可以单独地或结合一个或多个其它实施例来实现。此外，所描述的特征、结构、或特性可以任何合适的方式组合于一个或多个实施例中。然而，相关领域的技术人员将认识到，本发明可在没有一个或多个具体细节、或具有其它方法、元件等情况下实施。于其它情况下，已知的结构或操作未被示出或作详细的描述以避免模糊本发明的各方面。

符合HEVC标准的解码器采用16：1的比率对每个PU的已解码运动向量进行降采样(down-sample)，这些PU由包括AMVP模式以及合并模式的帧间预测所编码，且解码器将降采样的运动向量储存于缓冲器中以用于当前图像中后续块(following block)以及以及后续图像的MVP导出。每16×16块中左上4×4块的运动向量被储存于缓冲器中，且已储存的运动向量代表整个16×16块的运动向量。运动向量精度可为1/64像素精度且通过应用高精度离散余弦变换插值滤波器(Discrete Cosine Transform Interpolation Filter，DCTIF)来产生预测子。接着，在储存到缓冲器之前，高精度运动向量场被剪切至1/8像素精度。

为了处理在仿射合并模式中进行编码的块，根据如图3所示的相邻已编码子块A、B、C、D以及E的选择顺序，决定第一可用的仿射已编码相邻块。图3示出了根据仿射合并模式的使用相邻块的信息来编码或解码当前块30的示例。在此示例中，当前块30的两个相邻已编码子块B以及E在仿射模式中进行编码。包括相邻已编码子块B的相邻块32可以是仿射帧间已编码块或者仿射合并已编码块，类似地，包括相邻已编码子块E的相邻块34可以是仿射帧间已编码块或者仿射合并已编码块。在此示例中，第一可用的仿射已编码相邻块是相邻块32。如果仿射模式中使用了两个控制点，则用于预测当前块30的仿射合并候选从第一可用的仿射已编码相邻块32的左上N×N块322的运动向量V_B0以及右上N×N块324的运动向量V_B1导出。如果仿射模式中使用了三个控制点，则仿射合并候选进一步从第一可用的仿射已编码相邻块32的左底部N×N块326的运动向量V_B2导出。N×N是用于储存时间MV缓冲器中MV的最小块尺寸，例如，N等于4。在HEVC系统中，只有当前编码单元(coding unit，CU)或编码树单元(coding tree unit，CTU)的相邻4x4块行以及相邻4x4块列的运动向量以及当前CTU的运动向量被储存。CTU也是定义视频编码系统中所允许的最大编码单元(largest codingunit，LCU)的术语。所有其它运动向量被丢弃或以16：1的比率降采样并储存于缓冲器中。具有仿射运动补偿的视频编码系统需要额外的MV缓冲器来储存用于仿射候选导出的相邻已编码块的运动向量。

以下描述了用于视频编码系统的缓冲器管理的实施例，其在减少缓冲器要求的情况下实施仿射运动补偿。

第一实施例。在第一实施例中，根据包括多个仿射运动向量的仿射候选，由仿射运动补偿来对当前图像的当前块进行编码或解码。每个仿射运动向量预测当前块的控制点的运动向量来作为仿射运动向量，所述仿射运动向量被用于预测当前块的点与仿射运动补偿块的对应点之间的运动。第一实施例中的时间MV缓冲器储存当前块的单个相邻N×N块行以及单个相邻N×N块列的运动向量。N×N表示最小块尺寸来存储时间MV缓冲器中的运动向量，例如，N等于4。在本实施例中，储存于时间MV缓冲器中的MV的数量与用于MVP导出的传统的HEVC时间MV缓冲器的数量相同。当用于当前块的仿射候选的导出需要仿射已编码相邻块的控制点的运动向量，且控制点并不在当前CTU内也不在当前块的相邻N×N块行或相邻N×N块列内时，从缓冲器检索替代运动向量来导出对应仿射运动向量而不是仿射已编码相邻块的控制点的原始运动向量。替代运动向量是储存于缓冲器的降采样的运动向量，且此替代运动向量表示整个16×16块的运动。替代运动向量可以是仅由控制点附近的子块所使用的运动向量。例如，替代运动向量对应于子块，所述子块属于与控制点相同的16×16块。因为降采样的运动向量有时不反映相邻块的控制点的真实运动，根据第一实施例导出的仿射候选中的多个仿射运动向量通常不是精确的运动向量预测子。

第二实施例。第二实施例通过存储M个相邻N×N块行的MV以及K个相邻N×N块列的MV，来在时间MV缓冲器中存储更多运动向量。在本实施例中，M以及K为大于或等于2的整数，且N为大于1的整数。储存少于当前图像中已编码块的所有运动向量的选择运动向量，而不是在时间MV缓冲器中储存当前图像中已编码块的所有运动向量。选择运动向量为M个块行以及K个块列的MV，其中块行的数量M应当小于最大编码树单元的高度除以N(1<M<CTU_height/N)。N×N块是指在时间MV缓冲器中用于储存MV的最小块尺寸。于第二实施例的示例中，如图4A以及图4B所示，M以及K均等于2。在此示例中，时间缓冲器储存最接近当前块的上边界的第一以及第二相邻N×N块列的运动向量，以及时间缓冲器也储存最接近当前块的左边界的第一以及第二相邻N×N块行的运动向量。图4A以及图4B示出了使用两个相邻块行以及两个相邻块列的用于在仿射模式中进行编码的当前块的仿射候选导出的两个示例。如果因为对应子块不在两个相邻块行中也不在两个相邻块列中，相邻块的控制点的运动向量不储存于时间MV缓冲器中，检索一些替代运动向量来导出仿射候选中的多个仿射运动向量。

在图4A示出的示例中，当前块40的相邻已编码块41、42以及43均在仿射模式中进行编码。使用当前块40上方的第二相邻块行中的子块423以及425的替代运动向量V_B0’以及V_B1’来导出仿射候选中的多个仿射运动向量，而不是使用相邻已编码块42的第一行中子块422以及424的原始运动向量V_B0以及V_B1。位于使用当前块40上边的第二相邻块行或者位于当前块40左边的第二相邻块列中的子块433、435、437的替代运动向量V_E0’、V_E1’、以及V_E2’来导出仿射运动向量，而不是使用子块432、434以及436的原始运动向量V_E0、V_E1以及V_E2。使用当前块40左侧的第二相邻块列中的子块413以及415的替代运动向量V_A0’以及V_A2’来导出仿射运动向量，而不是使用相邻已编码块41的第一列中的子块412以及416的原始运动向量V_A0以及V_A2。因为这两个子块426以及414位于当前块40的第一以及第二相邻块行或者第一以及第二相邻块列中，使用子块426以及414的原始运动向量V_B2以及V_A1来导出当前块40的仿射运动向量。仿射候选中导出的多个仿射运动向量用于预测当前块40的点与使用仿射运动模型的一个或多个补偿块的点之间的运动。

图4B是图4A所示的仿射候选导出方法的备选解决方案。在图4B中，当导出用于对当前块44进行编码或解码的仿射候选时，相邻仿射已编码块的控制点的所有原始运动向量由当前块44的第一以及第二相邻块行以及第一以及第二相邻块列的其它子块的运动向量所替代。由六参数仿射运动模型所预测的仿射已编码块的控制点包括仿射已编码块的左上角、右上角、以及左下角。使用相邻仿射已编码块46中子块463、465以及467中的替代运动向量V_B0’、V_B1’以及V_B2’来导出仿射运动向量，而不是使用子块462、464以及466的原始运动向量V_B0，V_B1以及V_B2。使用相邻仿射已编码块47中的子块473、475以及477中的替代运动向量V_E0’、V_E1’以及V_E2’来导出仿射运动向量，而不是使用代子块472、474以及476的原始运动向量V_E0，V_E1以及V_E2。使用相邻仿射已编码块45中的子块453、455以及457的替代运动向量V_A0’、V_A1’以及V_A2’来导出仿射运动向量，而不是使用子块452、454以及456的原始运动向量V_A0，V_A1以及V_A2。一般而言，在本实施例中，M个相邻块行以及K个块列中的其他位置可以用于仿射候选导出。

在不失一般性的情况下，仅图4A示出的仿射候选导出方法进一步被描述如下。在第一示例中，包括三个仿射运动向量Mv0、Mv1以及Mv2的仿射候选被导出用于使用六参数仿射运动模型来预测当前块40。在第一示例中，从相邻仿射已编码块42导出仿射候选的多个仿射运动向量。用于左上角的第一控制点的仿射运动向量Mv0＝(V0_x，V0_y)由等式(6)来导出：

V_{0_x}＝V_{B0’_x}+(V_{B2_x}–V_{B0’_x})*(posCurPU_Y–posB0’_Y)/(2*N)+(V_{B1’_x}–V_{B0’_x})*(posCurPU_X–posB0’_X)/RefPU_width,

V_{0_y}＝V_{B0’_y}+(V_{B2_y}–V_{B0’_y})*(posCurPU_Y–posB0’_Y)/(2*N)+(V_{B1’_y}–V_{B0’_y})*(posCurPU_X–posB0’_X)/RefPU_width； (6)

其中，运动向量V_B0’＝(V_{B0’_x}，V_{B0’_y})，V_B1’＝(V_{B1’_x}，V_{B1’_y})，以及V_B2＝(V_{B2_x}，V_{B2_y})是从M个相邻N×N块行以及K个相邻N×N块列检索的的三个运动向量。还应理解，这些运动向量可由当前块的M个相邻N×N块行以及K个相邻N×N块列中的其它的已选择子块的对应运动向量所替代。坐标(posCurPU_X，posCurPU_Y)表示与当前图像的左上角取样相关的当前块40的左上角取样的像素位置。坐标(posB0’_X，posB0’_Y)表示与当前图像的左上角取样相关的子块422的左上角取样的像素位置。RefPU_width表示相邻块42的宽度。用于位于右上以及左下角的第二以及第三控制点的仿射运动向量Mv1＝(V_{1_x}，V_{1_y})以及Mv2＝(V_{2_x},V_{2_y})分别由等式(7)导出。

V_{1_x}＝V_{0_x}+(V_{B1’_x}–V_{B0’_x})*PU_width/RefPU_width,

V_{1_y}＝V_{0_y}+(V_{B1’_y}–V_{B0’_y})*PU_width/RefPU_width；

V_{2_x}＝V_{0_x}+(V_{B2_x}–V_{B0’_x})*PU_height/(2*N),

V_{2_y}＝V_{0_y}+(V_{B2_y}–V_{B0’_y})*PU_height/(2*N)； (7)

其中，PU_width以及PU_height表示当前块40的宽度以及高度。

于第二示例中，包括两个仿射运动向量Mv0以及Mv1的仿射候选被导出用于使用四参数仿射运动模型来预测当前块40。第二示例也使用来自相邻仿射已编码块42的运动向量来导出仿射候选。用于分别位于左上以及右上角的第一以及第二控制点的仿射运动向量Mv0＝(V_{0_x}，V_{0_y})以及Mv1＝(V_{1_x}，V_{1_y})分别由等式(8)导出。

V_{0_x}＝V_{B0’_x}–(V_{B1’_y}–V_{B0’_y})*(posCurPU_Y–posB0’_Y)/RefPU_width+(V_{B1’_x}–V_{B0’_x})*(posCurPU_X–posB0’_X)/RefPU_width,

V_{0_y}＝V_{B0’_y}+(V_{B1’_x}–V_{B0’_x})*(posCurPU_Y–posB0’_Y)/RefPU_width+(V_{B1’_y}–V_{B0’_y})*(posCurPU_X–posB0’_X)/RefPU_width；

V_{1_x}＝V_{0_x}+(V_{B1’_x}–V_{B0’_x})*PU_width/RefPU_width,

V_{1_y}＝V_{0_y}+(V_{B1’_y}–V_{B0’_y})*PU_width/RefPU_width. (8)

考虑到储存顶部CTU的运动向量的行缓冲器比储存左侧CTU的运动向量的行缓冲器大很多，在一个示例中，于此第二实施例中不需要约束K的值，通过将K设置为等于最大编码单元的宽度除以N(K＝CTU_width/N)，储存左侧CTU的所有运动向量。

第三实施例。在第三实施例中，用于每个固定尺寸块或每个CU的仿射参数或控制点被有意储存。在等式(3)中，左上N×N子块的运动向量Mv0＝(V_0x，V_0y)以及右上N×N子块的运动向量Mv1＝(V_1x，V_1y)被用于导出当前块中所有N×N子块的运动向量。当前块为CU或预测单元(prediction unit，PU)。已导出的运动向量可由运动向量Mv0加上位置相关MV偏移来表示。在等式(3)中，为了导出位于位置(x，y)的N×N子块的运动向量，水平方向MV偏移H_MV_offset以及垂直方向MV偏移V_MV_offset如等式(9)所示。

H_MV_offset＝(V_1x–V_0x)*N/w,(V_1y–V_0y)*N/w；

V_MV_offset＝–(V_1y–V_0y)*N/w,(V_1x–V_0x)*N/w. (9)

对于六参数仿射运动模型，左上N×N子块的运动向量Mv0＝(V_0x，V_0y)、右上N×N子块的运动向量Mv1＝(V_1x，V_1y)、以及左底部N×N子块的运动向量Mv2＝(V_2x，V_2y)被用于导出当前块中所有N×N子块的运动向量。可根据等式(10)基于三个运动向量Mv0、Mv1以及Mv2导出当前块中每个像素A(x，y)的运动向量场。

类似地，为了根据六参数仿射运动模型导出位于位置(x，y)的N×N子块的运动向量(V_x，V_y)，水平方向MV偏移H_MV_offset以及垂直方向MV偏移H_MV_offset如等式(11)所示。

H_MV_offset＝(v_1x–v_0x)*N/w,(v_1y–v_0y)*N/w；

V_MV_offset＝(v_2x–v_0x)*N/h,(v_2y–v_0y)*N/h； (11)

其中，等式(9)以及(11)中的w以及h是在仿射模式中进行编码的当前块的宽度以及高度。

在将N×N子块的中心像素的运动向量分配为控制点的运动向量的情况下，等式(6)以及(8)中的分母(denominator)减少N。例如，等式(6)可被重写如下。

V_{0_x}＝V_{B0’_x}+(V_{B2_x}–V_{B0’_x})*(posCurPU_Y–posB0’_Y)/(N)+(V_{B1’_x}–V_{B0’_x})*(posCurPU_X–posB0’_X)/(RefPU_width–N)

V_{0_y}＝V_{B0’_y}+(V_{B2_y}–V_{B0’_y})*(posCurPU_Y–posB0’_Y)/(N)+(V_{B1’_y}–V_{B0’_y})*(posCurPU_X–posB0’_X)/(RefPU_width–N) (12)

第三实施例储存仿射参数，例如：用于每一已编码块的水平以及垂直方向的MV偏移。已编码块可以是固定尺寸M×M块或编码单元(CU)。固定尺寸M×M块的尺寸可取决于允许应用仿射运动预测的最小尺寸。在一示例中，如果最小仿射帧间模式或仿射合并模式的块尺寸为8x8，则M等于8。对于每个M×M块或对于每个CU，包括水平方向MV偏移(V_1x–V_0x)*N/w，(V_1y–V_0y)*N/w以及N×N子块的一个运动向量例如Mv0(V_0x，V_0y)的仿射参数被储存以用于四参数仿射运动模型，所述四参数仿射运动模型使用左上以及右上控制点。包括垂直方向MV偏移(V_2x–V_0x)*N/h，(V_2y–V_0y)*N/h以及N×N子块的一个运动向量例如Mv0(V_0x，V_0y)的仿射参数被储存以用于四参数仿射运动模型，所述四参数仿射运动模型使用左上以及左下控制点。如果应用了使用左上、右上、以及左下控制点的六参数仿射运动模型，则储存包括水平方向MV偏移(V_1x–V_0x)*N/w，(V_1y–V_0y)*N/w以及垂直方向MV偏移(V_2x–V_0x)*N/h，(V_2y–V_0y)*N/h，以及N×N子块的一个运动向量例如Mv0(V_0x，V_0y)的仿射参数。仿射候选中的多个仿射运动向量可由对应于相邻块的一个或多个M×M块或CU的已储存的仿射参数来导出。

为了保持精度，水平或垂直MV偏移乘以缩放数(scale number)，其中，缩放数可以是预定义的数或缩放数可被设置为等于最大编码单元或CTU尺寸。例如，储存已缩放水平方向MV偏移((V_1x–V_0x)*S/w，(V_1y–V_0y)*S/w)以及已缩放垂直方向MV偏移((V_2x–V_0x)*S/h，(V_2y–V_0y)*S/h)。缩放数S的某些示例被设置为等于CTU尺寸或CTU尺寸的四分之一。

在另一示例中，储存每个M×M块或每个CU的两个或三个控制点的运动向量。运动向量可被储存于行缓冲器中。由对应于相邻块的控制点的已储存运动向量导出用于预测当前块的仿射候选中的多个仿射运动向量。

图5示出了结合本发明的第三实施例的具有仿射运动补偿的视频编解码系统的示例性流程图。在步骤S50中，视频编解码系统接收与在仿射模式中进行编码或将进行编码的当前块相关的输入数据。在步骤S52中，所述视频编解码系统计算以及储存用于相邻块的仿射参数，以及在步骤S54中，检索对应于所述当前块的相邻块的仿射参数。在步骤S56中，根据所检索的仿射参数，导出包括多个仿射运动向量的仿射候选。接着，在步骤S58中，视频编解码系统使用所述仿射候选在仿射模式中对当前块进行编码或解码。

第四实施例。在第四实施例中，相比于用于HEVC的传统时间MV缓冲器，又一N×N块行以及又一N×N块列中的运动向量被储存于用于仿射运动补偿的时间MV缓冲器中。第四实施例的概念类似于第二实施例，但是储存位于一个或多个相邻已编码块的顶部行以及最左列的子块的原始运动向量，而不是位于接近当前块的子块的替代运动向量。在本实施例中，时间缓冲器储存第一相邻N×N块行、第一相邻N×N块列、顶部N×N块行集合、以及最左N×N块列集合的原始运动向量。第一相邻N×N块行是最接近当前块的上边界的一个或多个上相邻块中的最后一行，且第一相邻N×N块列是最接近当前块的左边界的一个或多个左相邻块的的最后一列。顶N×N块行集合包括一个或多个上相邻块的第一行，以及最左N×N块列集合包括一个或多个左相邻块的第一列。

图6示出了通过储存2个N×N块行以及2个N×N块列的运动向量的仿射候选导出的示例。如图6所示，邻近当前块60的左块边界的第一N×N块列以及当前块60上方的第一N×N块行的子块614以及626的原始运动向量V_A1以及V_B2被储存于缓冲器中。相邻块61、62以及63中的第一N×N块列以及第一N×N块行为最接近当前块60的列以及行。相邻块61以及62的最左N×N块列或相邻块62以及63的顶NxN块行中的子块616、612、636、632、634、622以及624的原始运动向量V_A2、V_A0、V_E2、V_E0、V_E1、V_B0、以及V_B1也被储存于缓冲器。例如，相邻块的最左N×N块列或顶N×N块行的这些原始运动向量V_A2、V_A0、V_E2、V_E0、V_E1、V_B0、以及V_B1覆盖了用于储存第二N×N块行以及第二N×N块列中子块615、613、637、633、635、623以及625的运动向量的缓冲器空间。在本实施例中，相邻块的控制点的原始运动向量被储存于时间MV缓冲器中，所述时间MV缓冲器仅有一个额外的MV行以及一个额外的MV列的开销(overhead)。

图7所示为结合本发明的第二或第四实施例的用于具有仿射运动补偿的视频编解码系统的示范性流程图。在步骤S70中，在视频编码器侧接收与当前图像中当前块有关的输入数据或者在视频解码器侧接收对应于包括所述当前块的压缩数据的视频比特流。在步骤S72中，从时间缓冲器中检索相邻块的两个或者多个运动向量，其中，至少一个已检索的运动向量不对应于所述当前块的第一相邻N×N块行或第一相邻N×N块列中的子块。在步骤S74中，视频编解码系统使用已检索的运动向量导出仿射候选，以及在步骤S76中，通过使用由已导出的仿射候选导出的一个或多个运动补偿块来预测当前块，对所述当前块进行编码或解码。仿射运动向量预测当前块的点以及一个或多个运动补偿块的对应点之间的运动。时间缓冲器储存少于当前图像中已编码块的所有运动向量的选择运动向量。根据第二实施例，已检索的运动向量的至少一个是替代运动向量，以及根据第四实施例，所有已获取的运动向量是相邻块的控制点的原始运动向量。

第五实施例。在第五实施例中，具有仿射运动补偿的视频编解码系统重用HEVC标准所需要的传统的时间MV缓冲器，因此，不需要额外的缓冲器。换句话说，在本实施例中，仿射运动预测仅需要一个相邻N×N块行以及一个相邻N×N块列的运动向量。图8示出了使用一个相邻N×N块行以及一个相邻N×N块列的运动向量的仿射候选导出的示例。如图8所示，当前块80的相邻块中最接近的N×N块行或最接近的N×N块列中的两个运动向量被用于导出用于当前块的仿射候选。例如，当选择位于当前块80上方的相邻块82用于导出仿射候选时，则检索子块826以及828中的运动向量V_B2以及V_B3来根据四参数仿射运动模型导出仿射候选中的多个仿射运动向量；当选择位于当前块80的左侧的相邻块81用于导出仿射候选，则检索子块814以及818中的运动向量V_A1以及V_A3来根据四参数仿射运动模型导出仿射候选中的多个仿射运动向量。在本实施例中，邻近当前块80的左上角的相邻块83不是用于仿射候选导出的有效相邻块。

等式(13)演示了根据四参数仿射运动模型修改等式(8)的示例来用于导出来自相邻块82的运动向量V_B2以及V_B3的仿射候选中的仿射运动向量Mv0以及Mv1。

V_{0_x}＝V_{B2_x}–(V_{B3_y}–V_{B2_y})*(posCurPU_Y–posB2_Y)/RefPU_B_width+(V_{B3_x}–V_{B2_x})*(posCurPU_X–posB2_X)/RefPU_B_width,

V_{0_y}＝V_{B2_y}+(V_{B3_x}–V_{B2_x})*(posCurPU_Y–posB2_Y)/RefPU_B_width+(V_{B3_y}–V_{B2_y})*(posCurPU_X–posB2_X)/RefPU_B_width；

V_{1_x}＝V_{0_x}+(V_{B3_x}–V_{B2_x})*PU_width/RefPU_B_width,

V_{1_y}＝V_{0_y}+(V_{B3_y}–V_{B2_y})*PU_width/RefPU_B_width； (13)

其中，(V_{0_x}，V_{0_y})表示当前块80的左上角的运动向量Mv0，以及(V_{1_x}，V_{1_y})表示当前块80的右上角的运动向量Mv1。坐标(posCurPU_X，posCurPU_Y)表示与当前图像的左上角取样有关的当前块80的左上角取样的像素位置。坐标(posB2_X，posB2_Y)表示与当前图像的左上角取样有关的子块826的左上取样的像素位置。RefPU_B_width表示相邻块82的宽度以及PU_width表示当前块80的宽度。

以下描述的第六到第九实施例是关于实施具有仿射运动补偿的适应性运动向量分辨率(Adaptive Motion Vector Resolution，AMVR)。AMVR提供一种灵活的方案，通过适应性地将MVD限制到整数像素分辨率来减少运动向量差(motion vector difference，MVD)传输开销。发信AMVR旗标用于CU或PU，来指示是否使用整数像素分辨率或使用分数像素分辨率。文献中揭露的仿射运动补偿的实施例提出对用在仿射模式中进行编码的CU或PU的AMVR旗标不发信，因此，AMVR总是被禁用于仿射已编码块。默认情况下，用于仿射已编码块中所有控制点的仿射运动向量都是分数像素分辨率。

第六实施例。于第六实施例中，使用仿射运动补偿来启用适应性运动向量分辨率，以及发信AMVR旗标用于每个仿射已编码块。在一个示例中，AMVR旗标仅控制用于仿射已编码块的MVD的分辨率是整数像素分辨率或分数像素分辨率。于另一示例中，AMVR旗标控制MVD的分辨率以及用于仿射已编码块的运动向量预测子(motion vector predictor，MVP)的分辨率，因此，如果AMVR旗标指示使用了整数像素分辨率，则最终运动向量是整数分辨率。对于在仿射模式(例如仿射帧间模式)中编码的当前块，存在从M个对应MVP中计算的M个MVD，其中，M表示用于当前块的控制点的数量。在此示例中，M是从0、1、2、3、以及4中选择的。M个对应MVP是仿射候选中的多个仿射运动向量，以及每个仿射运动向量是用于仿射已编码块的一个控制点的运动向量的预测子。如果在仿射帧间模式中对当前块进行编码以及AMVR旗标为真，则指示整数像素分辨率被用于当前块，控制点的MVD是整数像素分辨率。在AMVR旗标也用于调节MVP的分辨率的情况下，如果AMVR旗标为真，则与控制点的MVD有关的所有MVP也被四舍五入成整数像素分辨率。在AMVR旗标仅用于调节MVD的分辨率的情况下，当AMVR旗标为真时，与控制点的MVD有关的MVP可以是分数像素分辨率。对于没有相关MVD的那些控制点，也就是说当MVD被推定为零时，用于控制点的MVP可以仍然是分数像素分辨率。

第七实施例。在第七实施例中，语法设计中在对应AMVR旗标之前发信MVD，以及对于仿射已编码块，如果存在至少一个非零MVD用于仿射已编码块的控制点，则根据AMVR旗标来决定至少一个非零MVD或至少一个已解码运动向量的像素分辨率。通过对选择用于仿射已编码块的仿射候选中的MVD以及对应MVP进行求和来导出已解码运动向量。如果用于仿射已编码块的所有控制点的MVD是零，则控制点的MVP可保持是分数像素分辨率，以及不需要在视频比特流中发信AMVR旗标。

第八实施例。在本实施例中，通过禁用双向预测来将在仿射帧间模式中编码的块限制为单向预测，来减少系统复杂性以及MVD开销。例如，如果仿射旗标指示在仿射帧间模式中对当前块进行编解码或将进行编解码，用于当前块的帧间预测方向interDir被设置为0或1，其中，0指示List0单向预测以及1指示Lsit1单向预测。在第八实施例的一个示例中，仅当仿射帧间已编码块的MVD为整数像素分辨率时，双向预测被允许用于仿射帧间已编码块。换句话说，用于仿射帧间已编码块的双向预测的启用或禁用取决于用于仿射帧间已编码块的AMVR旗的值。当AMVR旗标指示仿射帧间已编码块的MVD是整数像素分辨率时，MVD开销相对小，因此，双向预测被允许用于仿射帧间已编码块。

第九实施例。实施第九实施例的视频编解码方法或者视频编解码系统根据当前块的帧间预测方向interDir以及是否在仿射帧间模式中对当前块进行编码，决定用于当前块的运动向量分辨率。在本实施例中，在CU语法结构中，在用于当前块的AMVR旗标之前发信用于当前块的帧间预测方向interDir以及仿射旗标，因此，当interDir等于2时，指示双向预测被应用于当前块，以及仿射旗标为真，指示使用了仿射帧间模式，AMVR旗标被推定为真且不需要为当前块发信。

图9示出了根据本发明实施例的基于具有仿射运动补偿的HEVC的视频编码器900的示例性系统框图。帧内预测910基于当前图像的重构视频数据提供帧内预测子，其中，仿射预测912根据仿射运动模型执行运动估计(motion estimation，ME)以及运动补偿(motion compensation，MC)来基于来自其它图像的视频数据提供预测子。由仿射预测912处理的当前图像的每个块选择将由仿射帧间预测9122在仿射帧间模式中进行编码或将由仿射合并预测9124在仿射合并模式中进行编码。对于在仿射帧间模式或仿射合并模式中进行编码的块，使用由最终仿射候选导出的仿射运动模型来从一个或多个仿射候选中选择最终仿射候选来导出一个或多个补偿块，以及一个或多个补偿块被用于预测块。仿射候选可以使用具有时间MV缓冲器的一个实施例来导出，时间MV缓冲器储存少于当前图像中已编码块的所有运动向量的选择运动向量。仿射合并预测9124根据一个或多个相邻已编码块的运动向量构造一个或多个仿射合并候选以及将一个或多个仿射合并候选插入合并候选列表。仿射合并模式允许来自相邻已编码块的控制点的仿射运动向量的继承；因此，运动信息仅由合并索引来发信。接着，在已编码的视频比特流中发信用于选择最终仿射候选的合并索引。仿射合并候选可以使用本发明的一个实施例来导出。对于在仿射帧间模式中编码的块，最终仿射候选中的多个仿射运动向量与位于块的控制点的运动向量之间的运动信息如运动向量差异(MVD)在已编码视频比特流在进行编码。根据本发明的实施例，用于在仿射帧间模式编码的块的MVD的分辨率是整数像素分辨率或分数像素分辨率。开关914从帧内预测910以及仿射预测912的输出中选择一个，以及将已选择的预测子提供到加法器916以形成预测误差，也叫预测残差信号。

预测残差信号通过变换(Transformation，T)918接着进行量化(Quantization，Q)920进一步处理。变换以及量化的残差信号接着由熵编码器934进行编码来形成已编码视频比特流。然后已编码视频比特流与边信息如合并索引以及MVD一起被封装。与边信息有关的数据也被提供到熵编码器934。当使用运动补偿预测模式时，一个或多个参考图像也必须于编码器侧被重构。变换以及量化的残差信号通过逆量化(Inverse Quantization，IQ)922以及逆变换(Inverse Transformation，IT)924来处理以恢复一个或多个参考图像的预测残差信号。如图9所示，通过在重构(Reconstruction，REC)926加回所选择的预测子来恢复预测残差信号，来产生重构视频数据。重构视频数据可被储存于参考图像缓冲器(Ref.Pict.Buffer)932中并被用于其它图像的预测。由于编码处理，来自REC 926的重构视频数据可能受到各种损害(impairment)，因此，在储存于参考图像缓冲器932之前，对重构视频数据应用环路处理去块滤波(Deblocking Filter，DF)928以及取样自适应偏移(Sample Adaptive Offset，SAO)930，以进一步增强图像质量。来自DF 928的DF信息以及来自SAO 930的SAO信息也被提供到熵编码器934用于合并到已编码视频比特流。用于仿射候选导出的储存运动向量的时间MV缓冲器可以实施于参考图像缓冲器932或耦合于仿射预测912的任何其它内存中。

图10示出了图9的视频编码器900的对应视频解码器1000。已编码视频比特流是视频解码器1000的输入，以及由熵解码器1010进行解码来恢复变换以及量化的残差信号、DF以及SAO信息，以及其它系统信息。解码器1000的解码进程类似于编码器900的重构环路，除了解码器1000在仿射预测1014中仅需要运动补偿(MC)1014。仿射预测1014包括仿射帧间预测10142以及仿射合并预测10144。在仿射帧间模式中编码的块通过仿射帧间预测10142来解码，以且在仿射合并模式中编码的块通过仿射合并预测10144来解码。选择最终仿射候选以用于在仿射帧间模式或仿射合并模式中编码的块，以及根据最终仿射候选导出一个或多个补偿块。最终仿射候选可根据具有时间MV缓冲器的本发明实施例中的一个被导出，时间MV缓冲器储存少于当前图像的已编码块的所有MV的选择MV。开关1016根据解码模式信息选择来自帧内预测10512的帧内预测子或来自仿射预测1014的仿射预测子。变换以及量化的残差信号通过逆量化(Inverse Quantization，IQ)1020以及逆转换(InverseTransformation，IT)1022来恢复。已恢复的变换以及量化的残差信号通过在REC 1018加回预测子来重构，以产生重构视频。重构视频进一步由DF 1024以及SAO 1026来处理以产生最终已解码的视频。如果当前已解码图像是参考图像，则当前已解码图像的重构视频也被储存于参考图像缓冲器(Ref.Pict.Buffer)1028。用于储存仿射候选导出的运动向量的时间MV缓冲器可以实施于参考图像缓冲器1028中或耦接于仿射预测1014的任何其它内存中。

图9以及图10中视频编码器900以及视频解码器1000的各种组件，以及所描述的实施例中描述的各种视频编解码进程可通过硬件组件、用于执行储存于内存的程序指令的一个或多个处理器、或硬件以及处理器的组合来实施。例如，处理器执行程序指令以控制与当前块相关联的输入数据的接收。处理器配备单个或多个处理核心。在一些示例中，处理器执行程序指令以执行编码器900以及解码器1000中某些组件的功能，且电耦接于处理器的内存被用于储存程序指令、对应于仿射模式的信息、块的重构图像、和/或编码或解码过程中的中间数据。于某些实施例中，内存包括非暂态计算机可读介质，例如：半导体或固态内存、随机存取内存(RAM)、只读存储器(ROM)、硬盘、光盘、或其它合适的存储介质。内存还可是以上列出的非暂态计算机可读介质的两个或者更多的组合。如图9以及图10所示，编码器900以及解码器1000可由相同的电子装置来实施，因此，如果实施于相同的电子装置，则编码器900以及解码器1000的各种功能的组件可被共享或重用。例如，图9中的重构926、变换918、量化920、解块滤波928、取样自适应偏移930、以及参考图像缓冲器932中的一个或多个也可分别被用于图10中的重构1018、变换1022、量化1020、解块滤波1024、取样自适应偏移1026、以及参考图像缓冲器1028的功能。于某些示例中，图9中帧内预测910以及仿射预测912的一部份可共享或重用图10中帧内预测1012以及仿射预测1014的一部份。

虽然描述了具有仿射运动补偿的视频编码方法的第一实施例到第九实施例，但本发明不限于这些实施例。在每个实施例中，具有仿射运动补偿的视频编码方法的选择是示出各实施例的示例，且不应被理解为对本发明的任何实施例的限制或要求。呈现上述描述是为了使本领域普通技术人员能够在特定应用及其要求的上下文中实施本发明。对所描述的实施例的各种修改对本领域技术人员来说将是显而易见的，且本公开定义的原理可以被应用到其它实施例。因此，本发明不限于所示以及所描述的特定实施例，而是旨在符合与本公开的原理和新颖特征一致的最广范围。在以上详细描述中，各种具体细节被示出以提供本发明的透彻理解。然而，本领域技术人员将理解本发明可被实现。

在不脱离本发明的精神或基本特征的情况下，本发明可以由其它具体形式实施。所描述的示例在所有方面仅被认为是说明性的而不是限制性的。因此，本发明的范围由所附权利要求而不是以上的描述来指示。在权利要求的等同物的含义和范围内的所有变化都包括在其范围内。

Claims

1.一种具有仿射运动补偿的视频编解码的方法，用于视频编解码系统中，其特征在于，所述方法包括：

在视频编码器接收与当前图像中当前块有关的输入数据或者在视频解码器接收对应于包括所述当前图像中所述当前块的压缩数据的视频比特流，其中所述当前块是根据仿射运动模型在仿射模式中被编解码或待被编解码；

从时间缓冲器中检索同一有效相邻块的两个或多个运动向量用于所述当前块，其中所述有效相邻块不包括邻近于所述当前块左上角的相邻块，其中所述时间缓冲器存储所述当前块的一个相邻N×N块行以及一个相邻N×N块列的运动向量，以及N×N是在所述时间缓冲器中存储一个运动向量的块尺寸；

使用所述同一有效相邻块的已检索的两个或多个运动向量导出包括多个仿射运动向量的仿射候选；以及

通过使用由已导出仿射候选导出的一个或多个运动补偿块预测所述当前块来对所述当前块进行编码或解码，其中所述多个仿射运动向量是所述当前块的控制点的运动向量。