CN110958457B

CN110958457B - 模式依赖的仿射继承

Info

Publication number: CN110958457B
Application number: CN201910919456.0A
Authority: CN
Inventors: 张凯; 张莉; 刘鸿彬; 王悦
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2018-09-26
Filing date: 2019-09-26
Publication date: 2023-05-12
Anticipated expiration: 2039-09-26
Also published as: TW202037156A; TWI826542B; WO2020065570A1; WO2020065569A1; CN110958456B; TW202037157A; CN110958456A; TWI829769B; CN110958457A

Abstract

本公开涉及一种模式依赖的仿射继承，具体涉及一种视频处理的方法，包括：确定与当前块相邻的邻近块的仿射模型；基于邻近块的仿射模型和邻近块相对于当前块的位置中的至少一个，从邻近块中导出当前块的控制点运动矢量；基于控制点运动矢量在当前块和当前块的比特流表示之间进行视频处理。

Description

模式依赖的仿射继承

相关申请的交叉引用

根据适用的专利法和/或根据巴黎公约的规则，本申请及时要求2018年9月26日提交的国际专利申请No.PCT/CN2018/107629和2018年9月27日提交的国际专利申请No.PCT/CN2018/107869的优先权和权益。国际专利申请No.PCT/CN2018/107629和国际专利申请No.PCT/CN2018/107869的全部公开内容通过引用结合在此作为本申请公开内容的一部分

技术领域

本专利文档涉及视频编码技术、装置和系统。

背景技术

运动补偿(MC)是视频处理中的技术，在给定之前和/或未来的帧的情况下，其通过考虑到相机和/或视频中的对象的运动来预测视频中的帧。运动补偿可以用于视频数据的编码中以用于视频压缩。

发明内容

本文档公开了涉及在视频编码和解码中使用仿射运动补偿的方法、系统和装置。

在一个示例性方面中，公开了一种视频处理的方法。该方法包括：确定与当前块相邻的邻近块的仿射模型；基于邻近块的仿射模型和邻近块相对于当前块的位置中的至少一个，从邻近块中导出当前块的控制点运动矢量；基于控制点运动矢量在当前块和当前块的比特流表示之间进行视频处理。

一个示例性方面中，公开了一种视频处理设备，包括处理器，该处理器被配置为实现本文所述的方法。

在又一代表性方面中，本文中描述的各种技术可以实施为储存在非瞬态计算机可读介质上的计算机程序产品。计算机程序产品包含程序代码，以执行本文中描述的方法。

在又一代表性方面中，视频解码器设备可以实现如本文中描述的方法。

所附附件、附图和以下说明书中提出了一个或多个实现方式的细节。其他特征将从说明书和附图以及权利要求变得明显。

附图说明

图1示出了基于子块的预测计算的示例。

图2A-2B示出了简化的仿射运动模型的示例(a)4参数仿射模型；(b)6参数仿射模型。

图3示出了每个子块的仿射运动矢量场(MVF)的示例。

图4A-4B示出了AF_MERGE模式的候选。

图5示出了仿射merge模式的示例性候选位置。

图6示出了具有四个子块(A-D)的编码单元(CU)及其邻近块(a–d)的示例。

图7示出了由邻近块的两个右侧CP推导的仿射继承的示例。

图8通过由邻近块的两个右CP推导的仿射继承。

图9示出了由仿射编码的上方邻近块的底行中储存的MV推导的6参数仿射继承的示例。

图10示出了可以储存辅助MV的基本单元块的底行(阴影的)的示例。

图11示出由仿射编码的左侧邻近块的右列中储存的MV推导的6参数仿射继承的示例。

图12示出了可以储存辅助MV的基本单元块的右列(阴影的)的示例。

图13示出了所使用的MV储存体的示例。

图14是图示了可以用于形成实现本公开技术的各部分的计算机系统或其他控制装置的架构的示例的框图。

图15示出了可以用于实现本公开技术的各部分移动装置的示例性实施例的框图。

图16是视觉媒体处理示例性方法的流程图。

具体实施方式

本文档提供若干技术，其可以被实施为数字视频编码器和解码器。本文档中使用了章节标题以便于理解，并且不将每个章节中公开的技术和实施例的范围仅限制在该章节。

在本文档中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，在视频的像素表示到对应的比特流表示的转换期间，可以应用视频压缩算法，或反之亦然。

1.概述

本发明涉及视频/图像编码技术。具体地，其涉及视频/图像编码中的仿射预测。其可以应用到现有视频编码标准中，例如HEVC，或尚待敲定的标准(多功能视频编码)。其还可以应用于未来视频/图像编码标准或视频/图像编解码器。

2.介绍

基于子块的预测首先由HEVC Annex I(3D-HEVC)引入到视频编码标准中。利用基于子块的预测，诸如编码单元(CU)或预测单元(PU)的块被分为若干不重叠的子块。可以为不同的子块分配不同的运动信息，诸如参考索引或运动矢量(MV)，并且对每个子块单独地执行运动补偿(MC)。图1示出了基于子块的预测的概念。

为了探索HEVC之外的未来视频编码技术，联合视频探索团队(Joint VideoExploration Team，JVET)由VCEG和MPEG于2015年共同创立。从那时起，JVET采用了许多新方法，并将其纳入名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。

在JEM中，在若干编码工具中采用基于子块的预测，例如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)和帧速率上转换(FRUC)。仿射预测也被采用到VVC中。

2.1仿射预测

在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。而在现实世界中，存在多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，应用简化的仿射变换运动补偿预测。如图2A-2B所示，块的仿射运动场由两个(在4参数仿射模型中)或三个(在6参数仿射模型中)控制点运动矢量描述。

图2A-2B示出了简化的仿射运动模型(a)4参数仿射模型；(b)6参数仿射模型。

块的运动矢量场(MVF)由具有4参数仿射模型的以下等式描述

和6参数仿射模型：

其中(mv^h ₀，mv^v ₀)是左上角控制点的运动矢量，并且(mv^h ₁，mv^v ₁)是右上角控制点的运动矢量，并且(mv^h ₂，mv^v ₂)是左下角控制点的运动矢量。点(x，y)表示相对于当前块内的左上样本的代表性点的坐标。CP运动矢量可以被信令通知(如仿射AMVP模式中一样)或on-the-fly推导(如仿射merge模式中一样)。w和h是当前块的宽度和高度。实践中，除法通过带有舍入运算的右移实现。在VTM中，代表性点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上样本的坐标是(xs，ys)时，代表性点的坐标被定义为(xs+2，ys+2)。

在无除法设计中，(1)和(2)实现为

对于(1)中所示的4参数仿射模型：

对于(2)中所示的6参数仿射模型：

最终，

其中S表示计算精度，例如在VVC中，S＝7。在VVC中，左上样本在(xs，ys)处的子块的MC中使用的MV通过(6)计算，其中x＝xs+2且y＝ys+2。

为了推导每个4×4子块的运动矢量，根据等式(1)或(2)计算每个子块的中心样本的运动矢量，如图3所示，并舍入到1/16分数精度。然后，应用运动补偿内插滤波器以用推导的运动矢量生成每个子块的预测。

仿射模型可以从空域邻近的仿射编码块继承，诸如左、上、右上、左下和左上邻近块，如图4A中所示。例如，如果图4A中的邻近左块A以仿射模式编码，如图4B中的A0所表示，则获取含有块A的邻近CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv₀ ^N、mv₁ ^N和mv₂ ^N。并且基于mv₀ ^N、mv₁ ^N和mv₂ ^N计算当前CU/PU上的左上角/右上/左下的运动矢量mv₀ ^C、mv₁ ^C和mv₂ ^C(其仅用于6参数仿射模型)。应注意，在VTM-2.0中，如果当前块是仿射编码的，则子块(例如VTM中的4×4块)LT储存mv0，RT储存mv1。如果当前块是用6参数仿射模型编码的，则LB储存mv2；否则(在4参数仿射模型的情况下)，则LB储存mv2’。其他子块储存用于MC的MV。

应当注意，当用仿射merge模式编码CU时，即，在AF_MERGE模式中，它从有效的邻近重构块获得用仿射模式编码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图4A所示。

当前块的推导的CP MV mv₀ ^C、mv₁ ^C和mv₂ ^C可以用作仿射merge模式中的CP MV。或者它们可以在VVC中用作仿射帧间模式的MVP。应当注意，对于merge模式，如果当前块用仿射模式编码，则在推导当前块的CP MV之后，可以将当前块进一步划分为多个子块，并且每个块将基于当前块的推导的CP MV推导其运动信息。

2.2 JVET-K0186

不同于其中仅一个仿射空域邻近块可以用于推导块的仿射运动的VTM，在JVET-K0186中，提出了为AF_MERGE模式构建仿射候选的单独列表。进行以下步骤。

1)插入继承的仿射候选到候选列表中

图5示出了仿射merge模式的候选位置的示例。

继承的仿射候选是指由用仿射模式编码的有效邻近重构块推导的候选。

如图5中所示，候选块的扫描顺序是A₁，B₁，B₀，A₀和B₂。当选择块(例如，A1)时，应用两步过程：

a)首先，使用覆盖块的CU的三个角部运动矢量，以推导当前块的两个/三个控制点。

b)基于当前块的控制点，以推导当前块内的每个子块的子块运动。

2)插入构建的仿射候选

如果仿射merge候选列表中的候选的数目少于MaxNumAffineCand，则构建的仿射候选被插入到候选列表中。

构建的仿射候选是指通过组合每个控制点的邻近运动信息构建的候选。

首先从指定的空域邻域和时域邻域推导控制点的运动信息，如图5中所示。CPk(k＝1，2，3，4)表示第k个控制点。A₀，A₁，A₂，B₀，B₁，B₂和B₃是预测CPk(k＝1，2，3)的空域位置；T是预测CP4的时域位置。

CP1，CP2，CP3和CP4的坐标分别是(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。

每个控制点的运动信息根据以下优先级顺序获得：

-对于CP1，检查优先级是B₂->B₃->A₂。如果B₂可用则使用B₂。否则，如果B₂不可用，则使用B₃。如果B₂和B₃都不可用，则使用A₂。如果全部三个候选不可用，则CP1的运动信息无法获得。

-对于CP2，检查优先级是B1->B0；

-对于CP3，检查优先级是A1->A0；

-对于CP4，使用T。

其次，控制点的组合用于构建运动模型。

需要三个控制点的运动矢量来计算6参数仿射模型中的变换参数。可以从以下四个组合之一选择三个控制点：({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。例如，使用CP1，CP2和CP3控制点来构建6参数仿射运动模型，表示为仿射(CP1，CP2，CP3)。

需要两个控制点的运动矢量来计算4参数仿射模型中的变换参数。可以从以下六个组合之一选择两个控制点({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。例如，使用CP1和CP2控制点来构建4参数仿射运动模型，表示为仿射(CP1，CP2)。

构建的仿射候选的组合被以如下顺序插入到候选列表中：

{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}

3)插入零运动矢量

如果仿射merge候选列表中的候选的数目少于MaxNumAffineCand，则将零运动矢量插入到候选列表中，直到列表充满。

2.3 ATMVP(高级时域运动矢量预测)

在第10次JVET会议上，高级时域运动矢量预测(ATMVP)被包含在基准集(BMS)-1.0参考软件中，其基于来自时域邻近图片的共位(collocated)块的运动信息推导一个编码单元(CU)的子块的多个运动。虽然它提高了时域运动矢量预测的效率，但是对现有的ATMVP设计识别出以下复杂度问题：

如果使用多个参考图片，则不同ATMVP CU的共位图片可能不相同。这意味着需要取回多个参考图片的运动场。

每个ATMVP CU的运动信息总是基于4×4单元推导，导致对一个ATMVP CU内的每个4×4子块的运动推导和运动补偿的多次调用。

提出了对ATMVP的一些进一步简化，并且已经在VTM2.0中采用。

2.3.1使用一个固定共位图片的简化的共位块推导

在该方法中，提出了一种简化设计以使用与在HEVC中相同的共位图片，其在条带报头处信令通知，作为用于ATMVP推导的共位图片。在块级，如果邻近块的参考图片与该共位图片不同，则使用HEVC时域MV缩放方法来缩放块的MV，并且在ATMVP中使用缩放的MV。

表示用于取回共位图片R_col中的运动场的运动矢量作为MV_col。为了最小化由于MV缩放引起的影响，用于推导MV_col的空域候选列表中的MV以如下方式选择：如果候选MV的参考图片是共位图片，则选择该MV并将其用作MV_col，而不使用任何缩放。否则，选择具有最接近共位图片的参考图片的MV以利用缩放来推导MV_col。

2.3.2自适应ATMVP子块大小

在该方法中，提出支持用于ATMVP运动推导的子块尺寸的条带级适配。具体地，在序列级信令通知用于ATMVP运动推导的一个默认子块尺寸。另外，在条带级信令通知一个标志以指示默认子块尺寸是否用于当前条带。如果该标志为伪，则在条带的条带报头中进一步信令通知对应的ATMVP子块尺寸。

2.4 STMVP(空时运动矢量预测)

STMVP在JEM中被提出并被采用，但尚未在VVC中被采用。在STMVP中，按照光栅扫描顺序递归地推导子CU的运动矢量。图6说明了这个概念。让我们考虑含有四个4×4子CU A，B，C和D的8×8CU。当前帧中的邻近4×4块标记为a，b，c和d。

子CU A的运动推导以识别其两个空间邻域开始。第一邻域是子CU A上方的N×N块(块c)。如果该块c不可用或者是帧内编码的，则检查子CU A上方的其他N×N块(从左到右，始于块c)。第二邻域是子CU A左侧的块(块b)。如果块b不可用或者是帧内编码的，则检查子CU A左侧的其他块(从上到下，始于块b)。从每个列表的邻近块获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过按照与HEVC中指定的TMVP推导相同的过程来推导子块A的时域运动矢量预测符(TMVP)。取回位置D处的共位块的运动信息并相应地缩放。最后，在检索和缩放运动信息之后，对于每个参考列表分开地平均全部可用的运动矢量(最多3个)。平均的运动矢量被指定为当前子CU的运动矢量。

图6示出了具有四个子块(A-D)的一个CU及其邻近块(a-d)的示例。

2.5示例性仿射继承方法

为了降低仿射模型继承的存储要求，一些实施例可以实现一种方案，其中通过仅访问当前块左侧一行的MV和当前块上方的一行的MV来继承仿射模型。

可以通过由仿射编码的邻近块的左下MV和右下MV推导当前块的CP MV来进行仿射模型继承，如图7中所示。

a.在一个示例中，mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)和mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)由mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)和mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)推导如下：

其中w和w’分别是当前块的宽度和邻近块的宽度。(x₀，y₀)是当前块的左上角的坐标，并且(x’₀，y’₀)是邻近块的左下角的坐标。

替代地，此外，a和b计算过程中的除法运算可以由有或没有加法运算的移位替代。

b.例如，通过由来自图4A中的“B”和“C”的仿射编码的邻近块的左下MV和右下MV推导当前块的CP MV来进行仿射模型继承。

i.替代地，通过由来自图4A中的“B”，“C”和“E”的仿射编码的邻近块的左下MV和右下MV推导当前块的CP MV来进行仿射模型继承。

c.例如，仅当邻近块在含有当前块的M×N区域的上方(或右上，或左上)的M×N区域中，才通过由仿射编码的邻近块的左下MV和右下MV推导当前块的CP MV来进行仿射模型继承。

d.例如，y₀＝y’₀。

i.替代地，y₀＝1+y₀’。

e.例如，如果当前块通过由仿射编码的邻近块的左下MV和右下MV推导当前块的CPMV来继承仿射模型，则将当前块视为使用4参数仿射模型。

图7示出了通过由邻近块的两个底CP推导来仿射继承的示例。

可以通过由仿射编码的邻近块的右上MV和右下MV推导当前块的CP MV进行仿射模型继承，如图8中所示。

a.例如，mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)和mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)可以由mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)和mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)推导如下：

其中h’是邻近块的高度。w是当前块的宽度。(x₀，y₀)是当前块的左上角的坐标，并且(x’₀，y’₀)是邻近块的右上角的坐标。

b.例如，通过由来自图4A中的中“A”和“D”的仿射编码的邻近块的右上MV和右下MV推导当前块的CP MV进行仿射模型继承。

i.替代地，通过由来自图4A中的“A”，“D”和“E”的仿射编码的邻近块的右上MV和右下MV推导当前块的CP MV进行仿射模型继承。

c.例如，仅当邻近块在含有当前块的M×N区域的左侧(或左上、或左下)的M×N区域中，才通过由仿射编码的邻近块的右上MV和右下MV推导当前块的CP MV进行仿射模型继承。

d.例如，x₀＝x’₀。

i.替代地，x₀＝1+x’₀。

e.例如，如果当前块通过由仿射编码的邻近块的右上MV和右下MV推导当前块的CPMV继承仿射模型，则将当前块视为使用4参数仿射模型。

如果当前块不使用6参数仿射模型，则可以推导更多的CP MV并储存以用于运动矢量预测和/或滤波过程。

a.在一个示例中，储存的左下MV可以用于运动预测，包含之后编码的PU/CU的仿射模型继承。

b.在一个示例中，储存的左下MV可以用于随后的图片的运动预测中。

c.在一个示例中，储存的左下MV可以用于去块滤波过程。

d.如果仿射编码的块不使用6参数仿射模型，则为仿射编码的块推导左下角的CPMV并储存在左下MV单元中，其在VVC中是4×4。

i.左下角的CP MV(记为mv₂＝(mv₂ ^h，mv₂ ^v))对于4参数仿射模型推导如下

e.对于仿射编码块推导右下角的CP MV并储存在右下MV单元中，其在VVC中是4×4。储存的右下MV可以用于运动预测，包含用于之后编码的PU/CU的仿射模型继承，或随后的图片的运动预测或去块滤波过程。

i.右下角的CP MV(记为mv₃＝(mv₃ ^h，mv₃ ^v))对于4参数仿射模型推导如下

ii.右下角CP MV对于6参数仿射模型推导如下

iii.右下角的CP MV对于4参数仿射模型和6参数仿射模型两者推导如下

b.如果4参数模型中的mv₂＝(mv₂ ^h，mv₂ ^v)如(10)计算。

图8示出了通过由邻近块的两个右侧CP推导来仿射继承的示例。

3.由实施例解决的问题

一些之前的设计仅可以支持4参数仿射模型的继承，其可能导致当启用6参数仿射模型时的编码性能损失。

4.示例性实施例

我们提出若干方法来在降低存储要求的情况下继承6参数仿射模型。

以下详细的描述发明应被视为示例来解释一般概念。这些发明不应狭义地解释。此外，这些发明可以任何方式组合。本发明和其他发明之间的组合也是适用的。

在以下的讨论中，假设仿射编码的上方或左侧邻近CU的左上角/右上角/左下角/右下角的坐标分别是(LTNx，LTNy)/(RTNx，RTNy)/(LBNx，LBNy)/(RBNx，RBNy)；当前CU的左上角/右上角/左下角/右下角的坐标分别是(LTCx，LTCy)/(RTCx，RTCy)/(LBCx，LBCy)/(RBCx，RBCy)；仿射编码的上方或左侧邻近CU的宽度和高度分别是w’和h’；仿射编码的当前CU的宽度和高度分别是w和h。

1.通过以不同方式使用直接在当前块上方的行中的MV(例如，与当前块相邻的块相关联的MV)来进行仿射模型继承，所述方式取决于仿射编码的上方邻近块采用4参数仿射模型还是6参数仿射模型。

a.在一个示例中，当仿射编码的上方邻近CU采用4参数仿射模型时，应用继承方法。

b.在一个示例中，如果仿射编码的上方邻近块采用6参数仿射模型，则可以通过从如图9中所示的仿射编码的上方邻近块的左下MV和右下MV以及一个辅助MV(即，mv₀ ^N、mv₁ ^N和与辅助点相关联的辅助MV)推导当前块的CPMV而进行6参数仿射模型继承。

i.在一个示例中，仅当仿射编码的上方邻近块采用6参数仿射模型且w’>Th0(例如，Th0为8)，才进行所提出的6参数仿射模型继承

ii.替代地，当上方块是用仿射模式编码的，无论其是4或6参数仿射模式，都可以调用提出的6参数仿射模型继承。

c.在一个示例中，利用辅助位置，通过仿射编码的上方邻近块的仿射模型，推导辅助MV。

i.辅助位置是预定的；

ii.替代地，辅助位置是自适应性的。例如，辅助位置取决于上方邻近块的尺寸。

iii.替代地，辅助位置在VPS/SPS/PPS/条带报头/CTU/CU中被从编码器信令通知到解码器。

iv.替代地，辅助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)。Offset是整数。例如，Offset＝2^K。在另一示例中，Offset＝-2^K。在一些示例中，K可以是1、2、3、4或5。具体地，辅助位置是(LTNx+(w’>>1)，LTNy+h’+8)。

v.辅助MV被储存在仿射编码的上方邻近块的底行基本单元块(例如VVC中的4x4块)中的一个中，如图10中所示。要储存辅助MV的基本单元块被命名为辅助块。

(a)在一个示例中，辅助MV无法储存在仿射编码的上方邻近块的左下和右下角基本单元块中。

(b)基本单元块的底行从左至右表示为B(0)，B(1)，…，B(M-1)。在一个示例中，辅助MV储存在基本单元块B(M/2)中。

a.替代地，辅助MV储存在基本单元块B(M/2+1)中；

b.替代地，辅助MV储存在基本单元块B(M/2-1)中；

(c)在一个示例中，储存的辅助MV可以用于之后编码的PU/CU的运动预测或merge中。

(d)在一个示例中，储存的辅助MV可以用于后续图片的运动预测或merge中。

(e)在一个示例中，储存的辅助MV可以用于滤波过程(例如，去块滤波)中。

(f)替代地，附加缓冲器可以用于储存辅助MV，而不是将它们储存在基本单元块中。在此情况下，储存的辅助MV可以仅用于仿射运动继承，而不用于编码当前条带/片或不同图片中的之后编码的块，并且不用于滤波过程(例如，去块滤波)

vi.在解码仿射编码的上方邻近块之后，辅助位置的坐标作为输入(x，y)，由Eq.(2)计算辅助MV。并且然后辅助MV储存在辅助块中。

(a)在一个示例中，储存在辅助块中的MV不用于为辅助块进行MC。

d.在图9中所示的一个示例中，当前块的三个CPMV，表示为mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)和mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，被从作为仿射编码的上方邻近块的左下角处的MV的mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)、作为仿射编码的上方邻近块的右下角处的MV的mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)以及作为辅助MV的mv_A＝(mv_A ^h，mv_A ^v)推导如下

其中(x0，y0)是当前块的左上角的坐标，并且(x’0，y’0)是邻近块的左下角的坐标。

替代地，此外，(14)中的除法运算可以由右移替代，在移位之前可以添加或不添加偏移。

i.例如，等式(14)中的数字K取决于如何定义辅助位置以得到辅助MV。在1.c.iv所公开的示例中，辅助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)，其中Offset＝2^K。在示例中，K＝3。

e.例如，仅当邻近块在含有当前块的M×N区域上方(或右上，或左上)的M×N区域中，才通过从仿射编码的邻近块的左下MV和右下MV推导当前块的CP MV来进行仿射模型继承。

i.例如，M×N区域是CTU，例如128×128区域；

ii.例如，M×N区域是流水线尺寸，例如64×64区域。

f.例如，y₀＝y’₀。

i.替代地，y₀＝1+y’₀。

图9示出了通过从储存在仿射编码的上方邻近块的底行中的MV推导的6参数仿射继承的示例。

2.通过使用当前块左侧的行中的MV以不同方式进行仿射模型继承，所述方式取决于仿射编码的左侧邻近CU采用4参数仿射模型还是6参数仿射模型。

a.在一个示例中，当仿射编码的左侧邻近CU采用4参数仿射模型时，应用之前公开的方法。

b.在一个示例中，如果仿射编码的左侧邻近块采用6参数仿射模型，则可以通过从图11中所示的仿射编码的左侧邻近块的右上MV和右下MV以及一个辅助MV推导当前块的CPMV，进行6参数仿射模型继承。

i.在一个示例中，仅当仿射编码的左侧邻近块采用6参数仿射模型且h’>Th1(例如，Th1为8)，才可以进行6参数仿射模型继承。

ii.替代地，当左侧块是用仿射模式编码时，无论其是4还是6参数仿射模式，都可以调用提出的6参数仿射模型继承。

c.在一个示例中，利用辅助位置，通过仿射编码的左侧邻近块的仿射模型推导辅助MV。

i.在一个示例中，辅助位置是预定的；

ii.在一个示例中，辅助位置是自适应性的。例如，辅助位置取决于左侧邻近块的尺寸。

iii.在一个示例中，辅助位置在VPS/SPS/PPS/条带报头/CTU/CU中被从编码器信令通知到解码器。

iv.在一个示例中，辅助位置是(LTNx+w’+Offset)，LTNy+(h’>>1))。Offset是整数。例如，Offset＝2^K。在另一示例中，Offset＝-2^K。在一些示例中，K可以是1、2、3、4或5。特别地，辅助位置是(LTNx+w’+8，LTNy+(h’>>1))。

v.辅助MV储存在仿射编码的左侧邻近块的基本单元块(例如VVC中的4x4块)的右列之一中，如图12中所示。要储存辅助MV的基本单元块命名为辅助块。

(a)在一个示例中，辅助MV无法储存在仿射编码的左侧邻近块的右上和右下角基本单元块中。

(b)基本单元块的右列从顶至底表示为B(0)，B(1)，…，B(M-1)。在一个示例中，辅助MV储存在基本单元块B(M/2)中。

a.替代地，辅助MV储存在基本单元块B(M/2+1)中；

b.替代地，辅助MV储存在基本单元块B(M/2-1)中；

(c)在一个示例中，储存的辅助MV可以用于之后编码的PU/CU的运动预测或merge。

(d)在一个示例中，储存的辅助MV可以用于后续图片的运动预测或merge。

(e)在一个示例中，储存的辅助MV可以用于滤波过程(例如，去块滤波)。

vi.在解码仿射编码的左侧邻近块之后，辅助位置的坐标作为输入(x，y)，由等式(2)计算辅助MV。并且然后辅助MV储存在辅助块中。

(a)在一个示例中，储存在辅助块中的MV不用于进行用于辅助块的MC。

d.在如图11中所示的一个示例中，当前块的三个CPMV，表示为mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)和mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，被从作为仿射编码的左侧邻近块的右上角处的MV的mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)、作为仿射编码的左侧邻近块的右下角处的MV的mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)以及作为辅助MV的mv_A＝(mv_A ^h，mv_A ^v)，推导如下

其中(x0，y0)是当前块的左上角的坐标，(x’0，y’0)是邻近块的右上角的坐标。

替代地，此外，(15)中的除法运算可以被有或没有加法运算的移位替代。

i.例如，等式(15)中的数字K取决于如何定义辅助位置以得到辅助MV。在2.c.iv所公开的示例中，辅助位置是(LTNx+w’+Offset)，LTNy+(h’>>1))其中Offset＝2^K。在示例中，K＝3。

e.例如，仅当邻近块在含有当前块的M×N区域左侧(或左上、或左下)的M×N区域中，才通过从仿射编码的邻近块的右上MV和右下MV推导当前块的CP MV来进行仿射模型继承。

i.例如，M×N区域是CTU，例如128×128区域；

ii.例如，M×N区域是流水线尺寸，例如64×64区域。

f.例如，x₀＝x’₀。

i.替代地，x₀＝1+x’₀。

3.在一个示例中，当前块仅需要访问储存在当前块上方的行中的和当前块左侧的列中的基本单元(例如VVC中的4×4块)中的MV，如图13中所示。当前块的左上位置的坐标表示为(x0，y0)。当前块可以访问当前块上方的开始于具有左上坐标(xRS，yRS)的基本单元并且结束于具有左上坐标(xRE，yRE)的基本单元的基本单元行(表示为所需的上方的行)中的MV。相似地，当前块可以访问当前块左侧的开始于具有左上坐标(xCS，yCS)的基本单元并且结束于具有左上坐标(xCE，yCE)的基本单元的基本单元列(表示为所需的左侧的列)中的MV。当前块的宽度和高度分别表示为W和H。假设基本单元尺寸是B×B(例如在VVC中4×4)，则yRS＝yRE＝y0-B且xCS＝xCE＝x0-B。

a.所需的上方的行和所需的左侧的列的范围可以受限。

i.在一个示例中，xRS＝x0-n×W-m。n和m是整数，诸如n＝0，m＝0，n＝0，m＝1，n＝1，m＝1，或n＝2，m＝1；

ii.在一个示例中，xRE＝x0+n×W+m。n和m是整数，诸如n＝1，m＝-B，n＝1，m＝B，n＝2，m＝-B，或n＝3，m＝-B；

iii.在一个示例中，yCS＝y0-n×H-m。n和m是整数，诸如n＝0，m＝0，n＝0，m＝1，n＝1，m＝1，或n＝2，m＝1；

iv.在一个示例中，yCE＝y0+n×H+m。n和m是整数，诸如n＝1，m＝-B，n＝1，m＝B，n＝2，m＝-B，或n＝3，m＝-B；

v.在一个示例中，当前块不需要所需的上方的行；

vi.在一个示例中，当前块不需要所需的左侧的列；

vii.在一个示例中，xRS，xRE，yCS和yCE的选择可以取决于辅助块的位置。

(a)在一个示例中，辅助块总是被所选的上方的行或左侧的列覆盖。

(b)替代地，此外，(xRS，yRS)，(xRE，yRE)，(xCS，yCS)和(xCE，yCE)不应与辅助块重叠。

viii.在一个示例中，所需的上方的行和所需的左侧的列的范围取决于当前块的位置。

(a)如果当前块在P×Q区域的顶部边界处，即当y0％Q＝＝0时，其中Q可以是128(CTU区域)或64(流水线区域)

a.在一个示例中，当前块不需要所需的上方的行；

b.在一个示例中，xRS＝x0；

(b)如果当前块在P×Q区域的左边界处，即当x0％P＝＝0时，其中P可以是128(CTU区域)或64(流水线区域)

a.在一个示例中，当前块不需要所需的左侧的列；

b.在一个示例中，yCS＝y0；

4.作为示例2.d的替代方法，当前块的三个CPMV，表示为mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)and mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，被从作为仿射编码的左侧邻近块的右上角处的MV的mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)、作为仿射编码的左侧邻近块的右下角处的MV的mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)以及作为辅助MV的mv_A＝(mv_Ah，mv_Av)，推导如下

其中(x0，y0)是当前块的左上角的坐标，并且(x’0，y’0)是邻近块的右上角的坐标。

替代地，此外，(16)中的除法运算可以被有或没有加法运算的移位替代。

5.在示例1.c.v中，仅当仿射编码的上方邻近块是用6参数仿射模型编码的，才将辅助MV储存在仿射编码的上方邻近块的底行基本单元块(例如VVC中的4x4块)中的一个(诸如中间的一个)中。

a.替代地，辅助MV储存在仿射编码的上方邻近块的底行基本单元块(例如VVC中的4x4块)中的一个(诸如中间的一个)中，无论仿射编码的上方邻近块是用4参数仿射模型还是6参数仿射模型编码的。

6.在示例2.c.v中，仅当仿射编码的左侧邻近块是用6参数仿射模型编码的，才将辅助MV储存在仿射编码的左侧邻近块的右列基本单元块(例如VVC中的4x4块)中的一个(诸如中间的一个)中。

a.替代地，将辅助MV储存在仿射编码的左侧邻近块的右列基本单元块(例如VVC中的4x4块)中的一个(诸如中间的一个)中，无论仿射编码的左侧邻近块是用4参数仿射模型还是6参数仿射模型编码的。

7.在一个示例中，当前块的左下基本单元块总是储存左下角处的CPMV，无论当前块采用4参数模型还是6参数模型。例如在图3中，块LB总是储存mv2。

8.在一个示例中，当前块的右下基本单元块总是储存右下角处的CPMV，无论当前块采用4参数模型还是6参数模型。例如在图3中，块RB总是储存mv3。

9.无论仿射编码的邻近块采用4参数模型还是6参数模型，以相同方式进行仿射继承。

a.以6参数仿射模型继承方式，从储存在仿射编码的邻近块的左上基本块、右上基本块和左下基本单元中的MV推导当前块在左上角、右上角和左下角处的CPMV(例如图4(b)中的mv₀ ^C，mv₁ ^C和mv₂ ^C)。

i.例如，储存在仿射编码的邻近块的左上基本块、右上基本块和左下基本单元中的MV是仿射编码的邻近块的左上角、右上角和右下角处的CPMV。

b.以示例1中限定的方式从储存在仿射编码的上方邻近块的基本单元的底行的左下基本单元、右下基本单元和额外基本单元中的MV推导当前块在左上角、右上角和左下角处的CPMV(例如图4(b)中的mv₀ ^C，mv₁ ^C和mv₂ ^C)。

i.例如，储存在仿射编码的上方邻近块的基本单元的底行中的左下基本单元、右下基本单元和额外基本单元中的MV是仿射编码的邻近块的左下角处的CPMV、右下角处的CPMV和辅助MV。

c.以示例2中限定的方式从储存在仿射编码的左侧邻近块的基本单元的右列中的右上基本单元、右下基本单元和额外基本单元中的MV推导当前块在左上角、右上角和左下角处的CPMV(例如图4(b)中的mv₀ ^C，mv₁ ^C和mv₂ ^C)。

i.例如，储存在仿射编码的左侧邻近块的基本单元的右列中的右上基本单元、右下基本单元和额外基本单元中的MV是仿射编码的邻近块的右上角处的CPMV、右下角处的CPMV和辅助MV。

d.继承的仿射merge块总是标记为“使用6参数”

e.当从上方邻近块继承仿射模型，并且上方邻近块的宽度不大于8时，则将辅助MV计算为储存在左下基本单元和右下基本单元中的MV的平均。

i.例如，储存在仿射编码的上方邻近块的左下基本单元、右下基本单元中的MV是仿射编码的上方邻近块的左下角处的CPMV和右下角处的CPMV。

f.当从左侧邻近块继承仿射模型，并且左侧邻近块的高度不大于8时，则将辅助MV计算为储存在右上基本单元和右下基本单元中的MV的平均。

i.例如，储存在仿射编码的左侧邻近块的右上基本单元、右下基本单元中的MV是仿射编码的左侧邻近块的右上角处的CPMV和右下角处的CPMV。

10.在一个示例中，以储存在子块中的MV进行子块的MC。

a.例如，储存的MV是CPMV；

b.例如，储存的MV是辅助MV。

11.无论仿射编码的邻近块采用4参数模型还是6参数模型，以相同方式进行仿射继承。

12.每个编码块要储存的辅助MV可以多于1。

a.辅助MV的使用可以与上述方式相同。

图11示出了通过从储存在仿射编码的左侧邻近块的右列中的MV推导的6参数仿射继承的示例。

图13示出了MV储存体的示例。

5.其他实施例

本章节公开了所提出的本发明的实施例的示例。应注意，其仅是所提出的方法的全部可能实施例之一，并且不应以狭隘方式理解。

归一化(a，b)如等式(7)中定义。

输入：

当前块到左上角的坐标，记为(posCurX，posCurY)；

邻近块的左上角的坐标，记为(posLTX，posLTY)；

邻近块的右上角的坐标，记为(posRTX，posRTY)；

邻近块的左下角的坐标，记为(posLBX，posLBY)；

邻近块的右下角的坐标，记为(posRBX，posRBY)；

当前块的宽度和高度，记为W和H；

邻近块的宽度和高度，记为W’和H’；

邻近块的左上角处的MV，记为(mvLTX，mvLTY)；

邻近块的右上角处的MV，记为(mvRTX，mvRTY)；

邻近块的左下角处的MV，记为(mvLBX，mvLBY)；

邻近块的右下角处的MV，记为(mvRBX，mvRBY)；

常数：移位，其可以为任意正整数，诸如7或8。

输出：

当前块的左上角处的MV，记为(MV0X，MV0Y)；

当前块的右上角处的的MV，记为(MV1X，MV1Y)；

当前块的右下角处的MV，记为(MV2X，MV2Y)；

仿射模型继承的例程：

图14是示出可用于实现本公开技术的各部分的计算机系统或其他控制装置2600的架构的示例的框图。在图14中，计算机系统2600包含经由互连2625连接的一个或多个处理器2605和存储器2610。互连2625可以表示由适当的桥接器、适配器或控制器连接的任何一个或多个单独的物理总线、点对点连接或两者。因此，互连2625可以包含例如系统总线、外围组件互连(PCI)总线、HyperTransport或行业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气和电子工程师协会(IEEE)标准674总线，有时也称为“Firewire”。

(多个)处理器2605可以包含中央处理单元(CPU)，以控制例如主机计算机的整体操作。在某些实施例中，(多个)处理器2605通过执行存储在存储器2610中的软件或固件来实现此目的。(多个)处理器2605可以是或可包含一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、应用专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些器件的组合。

存储器2610可以是或包含计算机系统的主存储器。存储器2610表示任何合适形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，除其他之外，存储器2610可以包含一组机器指令，当由处理器2605执行时，使得处理器2605执行操作以实现本公开技术的实施例。

还通过互连2625连接到(多个)处理器2605的是(可选的)网络适配器2615。网络适配器2615向计算机系统2600提供与远程设备(例如存储客户端)和/或其他存储服务器通信的能力，并且可以是例如以太网适配器或光纤信道适配器。

图15示出了可用于实现本公开技术的各部分的装置2700的示例实施例的框图。移动装置2700可以是膝上型电脑，智能电话，平板电脑，摄录机或能够处理视频的其他类型的设备。移动装置2700包含用于处理数据的处理器或控制器2701，以及与处理器2701通信以存储和/或缓冲数据的存储器2702。例如，处理器2701可以包含中央处理单元(CPU)或微控制器单元(MCU)。在一些实现方式中，处理器2701可以包含现场可编程门阵列(FPGA)。在一些实现方式中，移动装置2700包含用于智能手机装置的各种视觉和/或通信数据处理功能的图形处理单元(GPU)、视频处理单元(VPU)和/或无线通信单元或与之通信。例如，存储器2702可以包含并存储处理器可执行代码，当由处理器2701执行时，将移动装置2700配置为执行各种操作，例如接收信息、命令和/或数据，处理信息和数据，以及将处理过的信息/数据发送或提供给另一个设备，例如致动器或外部显示器。为了支持移动装置2700的各种功能，存储器2702可以存储信息和数据，例如指令、软件、值、图像以及由处理器2701处理或引用的其他数据。例如，各种类型的随机存取存储器(RAM)设备、只读存储器(ROM)设备、闪存设备和其他合适的存储介质可用于实现存储器2702的存储功能。在一些实现方式中，移动装置2700包含输入/输出(I/O))单元2703，用于将处理器2701和/或存储器2702连接到其他模块、单元或装置。例如，I/O单元2703可以与处理器2701和存储器2702相接，以利用与典型数据通信标准兼容的各种类型的无线接口，例如，在云中的一个或多个计算机与用户设备之间。在一些实现方式中，移动装置2700可以经由I/O单元2703使用有线连接与其他设备接口。移动装置2700还可以与其他外部接口(例如数据存储器)和/或视觉或音频显示设备2704相接，以检索和传输可由处理器处理、存储在存储器中或在显示设备2704的输出单元或外部装置上展示的数据和信息。例如，显示设备2704可以显示基于根据所公开的技术的MVP修改的视频帧。

图16是用于视频或图像处理的方法1600的流程图。方法1600包含：确定(1602)与当前块相邻的邻近块的仿射模型；基于邻近块的仿射模型和邻近块相对于当前块的位置中的至少一个，从邻近块中导出(1604)当前块的控制点运动矢量；基于控制点运动矢量在当前块和当前块的比特流表示之间进行视频处理(1606)。

本文档中公开的各种实施例和技术可以在以下示例的列表中描述。

1.一种用于视频处理的方法，包括：

确定与当前块相邻的邻近块的仿射模型；

基于邻近块的仿射模型和邻近块相对于当前块的位置中的至少一个，从邻近块中导出当前块的控制点运动矢量；以及

基于控制点运动矢量在当前块和当前块的比特流表示之间进行视频处理。

2.如示例1所述的方法，其中所述邻近块的仿射模型是6参数仿射模型。

3.如示例2所述的方法，包括：

通过使用所述邻近块中的两个MV和从所述邻近块推导的辅助MV，推导所述当前块的控制点(CP)运动矢量(MV)。

4.如示例3所述的方法，其中，所述辅助MV是从所述邻近块的仿射模型利用辅助位置推导的。

5.如示例4所述的方法，其中所述辅助位置是预定的或取决于所述邻近块的尺寸。

6.如示例5所述的方法，其中所述辅助位置在视频参数集(VSP)、序列参数集(SPS)、图片参数集(PPS)、条带报头、编码树单元(CTU)和编码单元(CU)中的至少一个中信令通知。

7.如示例4所述的方法，其中如果所述邻近块位于所述当前块上方，则所述邻近块中的两个MV包括所述邻近块的左下角处的MV和右下角处的MV。

8.如示例4所述的方法，其中如果所述邻近块位于所述当前块左侧，则所述邻近块中的两个MV包括所述邻近块的右上角处的MV和右下角处的MV。

9.如示例7所述的方法，其中所述邻近块是用6参数仿射模型编码的并且具有大于第一阈值的宽度。

10.如示例9所述的方法，其中所述第一阈值等于8。

11.如示例8所述的方法，其中所述邻近块是用6参数仿射模型编码的并且具有大于第二阈值的高度。

12.如示例11所述的方法，其中所述第二阈值等于8。

13.如示例7所述的方法，其中所述辅助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)，其中(LTNx，LTNy)表示所述邻近块的左上角的坐标，w’表示所述邻近块的宽度，h’表示所述邻近块的高度，并且Offset是整数。

14.如示例8所述的方法，其中所述辅助位置是(LTNx+w’+Offset)，LTNy+(h’>>1))，其中(LTNx，LTNy)表示所述邻近块的左上角的坐标，w’表示所述邻近块的宽度，h’表示所述邻近块的高度，并且Offset是整数。

15.如示例13或14所述的方法，其中Offset＝2^K或Offset＝-2^K，并且K是1、2、3、4或5。

16.如示例7所述的方法，其中所述辅助MV储存在所述邻近块的底行的基本单元块之一中，所述邻近块的底行的基本单元块从左至右表示为B(0)，B(1)，…，B(M-1)。

17.如示例8所述的方法，其中所述辅助MV储存在所述邻近块的最右列的基本单元块之一中，所述邻近块的最右列的基本单元块从顶至底表示为B(0)，B(1)，…，B(M-1)。

18.如示例16或17所述的方法，其中所述基本单元块中的每一个具有4×4的尺寸。

19.如示例16或17所述的方法，其中所述辅助MV储存在所述基本单元块B(M/2)、B(M/2+1)和B(M/2-1)之一中。

20.如示例16-19中任一项所述的方法，其中所述邻近块是用6参数仿射模型或4参数仿射模型编码的。

21.如示例16或17所述的方法，其中所述辅助MV不储存在基本单元块B(0)和B(M-1)中的任一个中。

22.如示例16-21中任一项所述的方法，其中所储存的辅助MV还用于后续预测单元(PU)、后续编码单元(CU)以及后续图片中的至少一个的运动预测或merge。

23.如示例16-22中任一项所述的方法，其中所储存的辅助MV还用于所述当前块的滤波过程。

24.如示例7所述的方法，其中所述辅助MV储存在附加缓冲器中，而不储存在所述邻近块的底行的任何基本单元块中。

25.如示例8所述的方法，其中所述辅助MV储存在附加缓冲器中，而不储存在所述邻近块的最右列的任何基本单元块中。

26.如示例24或25所述的方法，其中所储存的辅助MV既不用于后续预测单元(PU)、后续编码单元(CU)和后续图片中的至少一个的运动预测或merge，也不用于所述当前块的滤波过程。

27.如示例14所述的方法，其中所述辅助MV从所述所述邻近块的仿射模型推导如下：

其中(mv^h ₀，mv^v ₀)是所述邻近块的左上角的运动矢量，并且(mv^h ₁，mv^v ₁)是其右上角的运动矢量，并且(mv^h ₂，mv^v ₂)是其左下角的运动矢量，(x，y)表示所述辅助位置的坐标。

28.如示例27所述的方法，其中所述辅助MV储存在辅助块中并且不用于所述辅助块的运动补偿。

29.如示例7所述的方法，其中所述当前块的CPMV矢量(MV)推导如下：

其中mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，表示所述当前块的左上角处的CPMV，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)，表示所述当前块的右上角处的CPMV，并且mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，表示所述当前块的左下角处的CPMV，mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)，表示所述邻近块的左下角处的MV，mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)，表示所述邻近块的右下角处的MV，并且mv_A＝(mv_A ^h，mv_A ^v)，表示所述辅助MV，(x₀，y₀)是所述当前块的左上角的坐标，并且其(x’₀，y’₀)是所述邻近块的左下角的坐标。

30.如示例8所述的方法，其中所述当前块的CPMV矢量(MV)推导如下：

其中mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，表示所述当前块的左上角处的CPMV，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)，表示所述当前块的右上角处的CPMV，并且mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，表示所述当前块的左下角处的CPMV，mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)，表示所述邻近块的右上角处的MV，mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)，表示所述邻近块的右下角处的MV，并且mv_A＝(mv_A ^h，mv_A ^v)，表示所述辅助MV，(x₀，y₀)是所述当前块的左上角的坐标，并且(x’₀，y’₀)是所述邻近块的右上角的坐标。

31.如示例8所述的方法，其中所述当前块的CPMV矢量(MV)推导如下：

其中mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，表示所述当前块的左上角处的CPMV，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)，表示所述当前块的右上角处的CPMV，and mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，表示所述当前块的左下角处的CPMV，mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)，表示所述邻近块的右上角处的MV，mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)，表示所述邻近块的右下角处的MV，并且mv_A＝(mv_A ^h，mv_A ^v)，表示所述辅助MV，(x₀，y₀)是所述当前块的左上角的坐标，并且(x’₀，y’₀)是所述邻近块的右上角的坐标。

32.如示例29-31中任一项所述的方法，其中等式(14)-(16)中任一项中的除法运算可以由在移位之前添加或不添加偏移的右移替代。

33.如示例29所述的方法，其中等式(14)中的K取决于如何定义所述辅助位置以获得所述辅助MV。

34.如示例33所述的方法，其中所述辅助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)其中Offset＝2^K。

35.如示例30所述的方法，其中等式(15)中的K取决于如何定义所述辅助位置以得到所述辅助MV。

36.如示例35所述的方法，其中所述辅助位置是(LTNx+w’+Offset，LTNy+(h’>>1))其中Offset＝2^K。

37.如示例34或36所述的方法，其中K＝3。

38.如示例7所述的方法，其中所述邻近块在位于含有所述当前块的M×N区域的上方、右上或左上的M×N区域中。

39.如示例8所述的方法，其中所述邻近块在位于含有所述当前块的M×N区域的左、左上或左下的M×N区域中。

40.如示例38或39所述的方法中，其中所述M×N区域具有编码树单元(CTU)的尺寸或流水线尺寸。

41.如示例40所述的方法，其中所述M×N区域具有128×128或64×64的尺寸。

42.如示例7所述的方法，其中y₀＝y’₀或y₀＝1+y’₀，(x₀，y₀)表示所述当前块的左上角的坐标，并且(x’₀，y’₀)表示所述邻近块的左下角的坐标。

43.如示例8所述的方法，其中x₀＝x’₀或x₀＝1+x’₀，(x₀，y₀)表示所述当前块的左上角的坐标，并且(x’₀，y’₀)表示所述邻近块的左下角的坐标。

44.如示例2所述的方法，包括：

以统一方式通过所述邻近块中的MV推导所述当前块的控制点(CP)运动矢量(MV)，其中所述邻近块是用4参数仿射模型或6参数仿射模型编码的。

45.如示例44所述的方法，其中以6参数仿射模型继承的方式从分别储存在所述邻近块的左上、右上和左下基本单元块中的MV推导分别位于当前块的左上、右上和左下角处的当前块的CPMV。

46.如示例45所述的方法，其中储存在所述邻近块的左上基本单元块、右上基本单元块和左下基本单元块中的MV分别是所述邻近块的左上角、右上角和右下角处的CPMV。

47.如示例44所述的方法，其中如果所述邻近块位于所述当前块上方，则从分别储存在所述邻近块的底行中的左下，右下和额外基本单元块中的MV推导分别位于所述当前块的左上、右上和左下角处的当前块的CPMV。

48.如示例47所述的方法，其中储存在所述邻近块的左下基本单元块、右下基本单元块和额外基本单元块中的MV分别是所述邻近块的左下和右下角处的CPMV和所述邻近块的辅助MV。

49.如示例44所述的方法，其中如果所述邻近块位于所述当前块左侧，则从分别储存在所述邻近块的最右列中的右上、右下和额外基本单元块中的MV推导分别位于所述当前块的左上、右上和左下角处的当前块的CPMV。

50.如示例49所述的方法，其中储存在所述邻近块的右上基本单元块、右下基本单元块和额外基本单元块中的MV分别是所述邻近块的右上和右下角处的CPMV和所述邻近块的辅助MV。

51.如示例45-50中任一项所述的方法，其中所述当前块被指示为使用6参数仿射模型的继承的块。

52.如示例47或48所述的方法，其中所述邻近块的宽度不大于8，并且将所述辅助MV计算为储存在所述邻近块的左下基本单元块和右下基本单元块中的MV的平均值。

53.如示例49或50所述的方法，其中所述邻近块的高度不大于8，并且将所述辅助MV计算为储存在所述邻近块的右上基本单元块和右下基本单元块中的MV的平均值。

54.如示例48或50所述的方法，其中为所述当前块储存不止一个辅助MV。

55.如示例1-54中任一项所述的方法，其中所述视频处理包括将所述视频块编码为所述视频块的比特流表示和从所述视频块的比特流表示解码所述视频块中的至少一个。

56.一种视频处理设备，包括处理器，配置为实现示例1至55中任一项所述的方法。

57.一种计算机程序产品，储存在非瞬态计算机可读介质时，所述计算机程序产品包含用于执行示例1至55中任一项所述的方法的程序代码。

本文档中描述的公开的和其他实施例、模块和功能操作可以实现为数字电子电路，或者实现为计算机软件、固件或硬件，包含本文档中公开的结构及其结构等同，或者它们中的一个或多个的组合。所公开的和其他实施例可以实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理设备执行或控制数据处理设备的操作。计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储器装置、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理设备”涵盖用于处理数据的全部设备、装置和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该设备还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统的代码，或者它们中的一个或多个的组合。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成以对信息进行编码以便传输到合适的接收器设备。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括如独立程序或适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在包含其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。

本文档中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(应用专用集成电路))执行，并且设备也可以实现为专用逻辑电路(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))。

作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个大容量存储设备或可操作地耦接到一个或多个大容量存储设备，以从一个或多个大容量存储设备接收数据或将数据传输到一个或多个大容量存储设备或两者，例如，磁盘、磁光盘或光盘。然而，计算机不一定需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括全部形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

虽然本专利文档包含许多细节，但这些细节不应被解释为对任何发明或可要求保护的范围的限制，而是作为特定于特定发明的特定实施例的特征的描述。在本专利文件中单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上面的特征可以描述为以某些组合起作用并且甚至最初如此要求保护，但是在某些情况下可以从组合中移除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为实现期望的结果要求以所示的特定顺序或按顺序执行这样的操作，或者执行全部示出的操作。此外，在本专利文件中描述的实施例中的各种系统部件的分离不应被理解为在全部实施例中都需要这种分离。

仅描述了几个实现方式和示例，并且可以基于本专利文档中描述和示出的内容来做出其他实现、增强和变化。

Claims

1.一种用于视频处理的方法，包括：

确定与当前块相邻的邻近块的仿射模型；

基于邻近块的仿射模型和邻近块相对于当前块的位置中的至少一个，从邻近块中导出当前块的控制点CP运动矢量MV；以及

基于控制点运动矢量在当前块和当前块的比特流表示之间进行视频处理；

其中，通过使用所述邻近块中的两个MV和从所述邻近块推导的辅助MV，推导所述当前块的控制点运动矢量；

其中，所述辅助MV是从所述邻近块的仿射模型利用辅助位置推导的；

其中，所述辅助位置是预定的或取决于所述邻近块的尺寸；

其中所述辅助MV储存在包括所述邻近块的底行的基本单元块之一中或所述邻近块的最右列的基本单元块之一中。

2.如权利要求1所述的方法，其中所述邻近块的仿射模型是6参数仿射模型。

3.如权利要求2所述的方法，其中所述辅助位置在视频参数集VSP、序列参数集SPS、图片参数集PPS、条带报头、编码树单元CTU和编码单元CU中的至少一个中被信令通知。

4.如权利要求2所述的方法，其中如果所述邻近块位于所述当前块上方，则所述邻近块中的两个MV包括所述邻近块的左下角处的MV和右下角处的MV。

5.如权利要求2所述的方法，其中如果所述邻近块位于所述当前块左侧，则所述邻近块中的两个MV包括所述邻近块的右上角处的MV和右下角处的MV。

6.如权利要求4所述的方法，其中所述邻近块是用6参数仿射模型编码的并且具有大于第一阈值的宽度。

7.如权利要求6所述的方法，其中所述第一阈值等于8。

8.如权利要求5所述的方法，其中所述邻近块是用6参数仿射模型编码的并且具有大于第二阈值的高度。

9.如权利要求8所述的方法，其中所述第二阈值等于8。

10.如权利要求4所述的方法，其中所述辅助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)，其中(LTNx，LTNy)表示所述邻近块的左上角的坐标，w’表示所述邻近块的宽度，h’表示所述邻近块的高度，并且偏移Offset是整数。

11.如权利要求5所述的方法，其中所述辅助位置是((LTNx+w’+Offset)，LTNy+(h’>>1))，其中(LTNx，LTNy)表示所述邻近块的左上角的坐标，w’表示所述邻近块的宽度，h’表示所述邻近块的高度，并且偏移Offset是整数。

12.如权利要求10或11所述的方法，其中Offset＝2^K或Offset＝-2^K，并且K是1、2、3、4或5。

13.如权利要求4所述的方法，其中所述邻近块在位于含有所述当前块的M×N区域的上方、右上或左上的M×N区域中。

14.如权利要求5所述的方法，其中所述邻近块在位于含有所述当前块的M×N区域的左、左上或左下的M×N区域中。

15.如权利要求13或14所述的方法，其中所述M×N区域具有编码树单元CTU的尺寸或流水线尺寸。

16.如权利要求15所述的方法，其中所述M×N区域具有128×128或64×64的尺寸。

17.如权利要求16所述的方法，其中所述辅助MV储存在所述邻近块的底行的基本单元块之一中，所述邻近块的底行的基本单元块从左至右表示为B(0)，B(1)，…，B(M-1)。

18.如权利要求16所述的方法，其中所述辅助MV储存在所述邻近块的最右列的基本单元块之一中，所述邻近块的最右列的基本单元块从顶至底表示为B(0)，B(1)，…，B(M-1)。

19.如权利要求17或18所述的方法，其中所述基本单元块中的每一个具有4×4的尺寸。

20.如权利要求17或18所述的方法，其中所述辅助MV储存在所述基本单元块B(M/2)、B(M/2+1)和B(M/2-1)之一中。

21.如权利要求1中所述的方法，其中所述邻近块是用6参数仿射模型或4参数仿射模型编码的。

22.如权利要求17或18所述的方法，其中所述辅助MV不储存在基本单元块B(0)和B(M-1)中的任一个中。

23.如权利要求1中所述的方法，其中所储存的辅助MV还用于后续预测单元、后续编码单元以及后续图片中的至少一个的运动预测或merge。

24.如权利要求1中所述的方法，其中所储存的辅助MV还用于所述当前块的滤波过程。

25.如权利要求4所述的方法，其中所述辅助MV储存在附加缓冲器中，而不储存在所述邻近块的底行的任何基本单元块中。

26.如权利要求5所述的方法，其中所述辅助MV储存在附加缓冲器中，而不储存在所述邻近块的最右列的任何基本单元块中。

27.如权利要求25或26所述的方法，其中所储存的辅助MV既不用于后续预测单元、后续编码单元和后续图片中的至少一个的运动预测或merge，也不用于所述当前块的滤波过程。

28.如权利要求11所述的方法，其中所述辅助MV从所述邻近块的仿射模型推导如下：

其中(mv^h ₀，mv^v ₀)是所述邻近块的左上角的运动矢量，并且(mv^h ₁，mv^v ₁)是其右上角的运动矢量，并且(mv^h ₂，mv^v ₂)是其左下角的运动矢量，(x，y)表示所述辅助位置的坐标，w表示所述当前块的宽度，h表示所述当前块的高度。

29.如权利要求28所述的方法，其中所述辅助MV储存在辅助块中并且不用于所述辅助块的运动补偿。

30.如权利要求11所述的方法，其中所述当前块的CPMV推导如下：

其中mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，表示所述当前块的左上角处的CPMV，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)，表示所述当前块的右上角处的CPMV，并且mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，表示所述当前块的左下角处的CPMV，mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)，表示所述邻近块的左下角处的MV，mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)，表示所述邻近块的右下角处的MV，并且mv_A＝(mv_A ^h，mv_A ^v)，表示所述辅助MV，(x₀，y₀)是所述当前块的左上角的坐标，并且其(x’₀，y’₀)是所述邻近块的左下角的坐标，w表示所述当前块的宽度，h表示所述当前块的高度。

31.如权利要求11所述的方法，其中所述当前块的CPMV推导如下：

其中mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，表示所述当前块的左上角处的CPMV，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)，表示所述当前块的右上角处的CPMV，并且mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，表示所述当前块的左下角处的CPMV，mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)，表示所述邻近块的右上角处的MV，mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)，表示所述邻近块的右下角处的MV，并且mv_A＝(mv_A ^h，mv_A ^v)，表示所述辅助MV，(x₀，y₀)是所述当前块的左上角的坐标，并且(x’₀，y’₀)是所述邻近块的右上角的坐标，w表示所述当前块的宽度，h表示所述当前块的高度。

32.如权利要求11所述的方法，其中所述当前块的CPMV推导如下：

其中mv₀ ^C＝(mv₀ ^Ch，mv₀ ^Cv)，表示所述当前块的左上角处的CPMV，mv₁ ^C＝(mv₁ ^Ch，mv₁ ^Cv)，表示所述当前块的右上角处的CPMV，and mv₂ ^C＝(mv₂ ^Ch，mv₂ ^Cv)，表示所述当前块的左下角处的CPMV，mv₀ ^N＝(mv₀ ^Nh，mv₀ ^Nv)，表示所述邻近块的右上角处的MV，mv₁ ^N＝(mv₁ ^Nh，mv₁ ^Nv)，表示所述邻近块的右下角处的MV，并且mv_A＝(mv_A ^h，mv_A ^v)，表示所述辅助MV，(x₀，y₀)是所述当前块的左上角的坐标，并且(x’₀，y’₀)是所述邻近块的右上角的坐标，w表示所述当前块的宽度，h表示所述当前块的高度。

33.如权利要求30-32中任一项所述的方法，其中等式(14)-(16)中任一项中的除法运算可以由右移替代，在移位之前添加或不添加偏移。

34.如权利要求30所述的方法，其中等式(14)中的K取决于如何定义所述辅助位置以获得所述辅助MV。

35.如权利要求34所述的方法，其中所述辅助位置是(LTNx+(w’>>1)，LTNy+h’+Offset)其中Offset＝2^K。

36.如权利要求31所述的方法，其中等式(15)中的K取决于如何定义所述辅助位置以得到所述辅助MV。

37.如权利要求36所述的方法，其中所述辅助位置是((LTNx+w’+Offset，LTNy+(h’>>1))其中Offset＝2^K。

38.如权利要求35或37所述的方法，其中K＝3。

39.如权利要求4所述的方法，其中y₀＝y’₀或y₀＝1+y’₀，(x₀，y₀)表示所述当前块的左上角的坐标，并且(x’₀，y’₀)表示所述邻近块的左下角的坐标。

40.如权利要求5所述的方法，其中x₀＝x’₀或x₀＝1+x’₀，(x₀，y₀)表示所述当前块的左上角的坐标，并且(x’₀，y’₀)表示所述邻近块的左下角的坐标。

41.如权利要求2所述的方法，包括：

以统一方式通过所述邻近块中的MV推导所述当前块的控制点运动矢量，其中所述邻近块是用4参数仿射模型或6参数仿射模型编码的。

42.如权利要求41所述的方法，其中以6参数仿射模型继承的方式从分别储存在所述邻近块的左上、右上和左下基本单元块中的MV推导分别位于当前块的左上、右上和左下角处的当前块的CPMV。

43.如权利要求42所述的方法，其中储存在所述邻近块的左上基本单元块、右上基本单元块和左下基本单元块中的MV分别是所述邻近块的左上角、右上角和右下角处的CPMV。

44.如权利要求41所述的方法，其中如果所述邻近块位于所述当前块上方，则从分别储存在所述邻近块的底行中的左下，右下和额外基本单元块中的MV推导分别位于所述当前块的左上、右上和左下角处的当前块的CPMV。

45.如权利要求44所述的方法，其中储存在所述邻近块的左下基本单元块、右下基本单元块和额外基本单元块中的MV分别是所述邻近块的左下和右下角处的CPMV和所述邻近块的辅助MV。

46.如权利要求41所述的方法，其中如果所述邻近块位于所述当前块左侧，则从分别储存在所述邻近块的最右列中的右上、右下和额外基本单元块中的MV推导分别位于所述当前块的左上、右上和左下角处的当前块的CPMV。

47.如权利要求46所述的方法，其中储存在所述邻近块的右上基本单元块、右下基本单元块和额外基本单元块中的MV分别是所述邻近块的右上和右下角处的CPMV和所述邻近块的辅助MV。

48.如权利要求42-47中任一项所述的方法，其中所述当前块被指示为使用6参数仿射模型的继承的块。

49.如权利要求44或45所述的方法，其中所述邻近块的宽度不大于8，并且将所述辅助MV计算为储存在所述邻近块的左下基本单元块和右下基本单元块中的MV的平均值。

50.如权利要求46或47所述的方法，其中所述邻近块的高度不大于8，并且将所述辅助MV计算为储存在所述邻近块的右上基本单元块和右下基本单元块中的MV的平均值。

51.如权利要求45或47所述的方法，其中为所述当前块储存不止一个辅助MV。

52.如权利要求1中所述的方法，其中所述视频处理包括将视频块编码为所述视频块的比特流表示和从所述视频块的比特流表示解码所述视频块中的至少一个。

53.一种视频处理设备，包括处理器，配置为实现权利要求1至52中任一项所述的方法。

54.一种非瞬态计算机可读介质，其上储存有包含用于执行权利要求1至52中任一项所述的方法的程序代码的计算机程序产品。