CN113170111A - 减少仿射继承所需的线缓冲器存储 - Google Patents

减少仿射继承所需的线缓冲器存储 Download PDF

Info

Publication number
CN113170111A
CN113170111A CN201980080547.8A CN201980080547A CN113170111A CN 113170111 A CN113170111 A CN 113170111A CN 201980080547 A CN201980080547 A CN 201980080547A CN 113170111 A CN113170111 A CN 113170111A
Authority
CN
China
Prior art keywords
block
basic block
basic
offset
xlt0
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980080547.8A
Other languages
English (en)
Other versions
CN113170111B (zh
Inventor
张凯
张莉
刘鸿彬
许继征
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN113170111A publication Critical patent/CN113170111A/zh
Application granted granted Critical
Publication of CN113170111B publication Critical patent/CN113170111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了减少仿射继承所需的线缓冲器存储。一种示例方法包括：为视频的当前块和当前块的比特流表示之间的转换，基于第一存储运动矢量(MV)和不同于第一存储MV的第二存储MV，推导当前块的仿射继承运动矢量(MV)，其中，第一存储MV被存储在与当前块临近的第一基本块中，并且第二存储MV被存储在与第一基本块有一偏移的第二基本块中；以及通过使用当前块的仿射继承MV来执行转换。

Description

减少仿射继承所需的线缓冲器存储
根据巴黎公约适用的专利法和/或规则，本申请旨在及时要求2018年12月8日提交的国际专利申请No.PCT/CN2018/119946、2018年12月14日提交的国际专利申请号PCT/CN2018/121118、2019年2月14日提交的国际专利申请No.PCT/CN2019/075094以及2019年2月22日提交的国际专利申请No.PCT/CN2019/075846的优先权和利益。国际专利申请No.PCT/CN2018/119946、PCT/CN2018/121118、PCT/CN2019//075094和PCT/CN2019/075846的全部公开内容作为本申请公开内容的一部分通过引用而并入。
技术领域
该专利文档涉及图像和视频编解码(coding)和解码。
背景技术
数字视频在互联网和其他数字通信网络中占据最大的带宽使用。随着能够接收和显示视频的联网用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。
发明内容
所公开的技术可以由视频解码器或编码器实施例在使用控制点运动矢量和仿射编解码的视频解码或编码期间使用。
在一个示例方面，公开了一种处理视频方法。该方法包括：将用于确定其他视频块的继承运动信息的第一组运动矢量(MV)、用于推导当前视频块的子块的MV的第二组MV以及包括在当前视频块的比特流表示中的第三组MV与当前视频块相关联；以及使用第一组MV、第二组MV或第三组MV来执行当前视频块和比特流表示之间的转换。
在另一示例方面，公开了另一种视频处理方法。该方法包括：使用当前块的仿射继承运动矢量(motion vector，MV)来执行当前块和当前块的比特流表示之间的转换，其中，仿射继承MV是从(1)为相邻的临近基本块(表示为Badj)而存储的MV或者(2)仿射历史列表中推导出的。
在又一示例方面，公开了另一种视频处理的方法。该方法包括：使用当前块的仿射继承运动矢量(MV)来执行当前块和当前块的比特流表示之间的转换，其中，仿射继承MV是从存储在与当前块相邻地临近的第一基本块中的第一MV和存储在与第一构建块有一偏移的第二基本块中的第二MV中推导出的。
在又一示例方面，公开了另一种视频处理的方法。该方法包括：将用于确定在第一块之后编解码的块的继承运动信息的第一组控制点运动矢量(control point motionvector，CPMV)与用于推导第一块的子块的MV的第二组CPMV或为第一块信令通知的第三组CPMV相关联，其中第一组CPMV与第二组CPMV或第三组CPMV不相同；基于第一组CPMV来确定在第一块之后编解码的第二块的继承运动信息；以及通过使用继承运动信息来执行第二块和第二块的比特流表示之间的转换。
在又一示例方面，公开了另一种视频处理的方法。该方法包括：为视频的第一块和第一块的比特流表示之间的转换，基于存储的运动矢量(MV)来推导视频的第一块的仿射继承运动矢量(MV)；以及通过使用仿射继承MV来执行转换。
在又一示例方面，公开了另一种视频处理的方法。该方法包括：为视频的当前块和当前块的比特流表示之间的转换，基于第一存储运动矢量(MV)和与第一存储MV不同的第二存储MV来推导当前块的仿射继承运动矢量(MV)，其中第一存储MV存储在与当前块临近的第一基本块中，并且第二存储MV存储在与第一基本块有一偏移的第二基本块中；以及通过使用当前块的仿射继承MV来执行转换。
在又一示例方面，公开了另一种视频处理方法。该方法包括：为当前块和当前块的比特流表示之间的转换，推导与当前块的仿射模型相关联的仿射模型参数集的一个或多个参数；移位一个或多个参数；以及存储所移位的一个或多个参数。
在又一示例方面，公开了一种视频编码器装置。视频编码器装置包括处理器，该处理器被配置为实施本文描述的方法。
在又一示例方面，公开了一种视频解码器装置。视频解码器装置包括处理器，该处理器被配置为实施本文描述的方法。
在又一方面，公开了一种其上存储有代码的计算机可读介质。当由处理器执行时，该代码使得处理器实施本文档中描述的方法。
本文档中描述了这些和其他方面。
附图说明
图1示出了Merge候选列表构造的推导过程的示例。
图2示出了空域Merge候选的示例位置。
图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。
图4A-图4B示出了N×2N和2N×N分割的第二PU的示例位置。
图5是时域Merge候选的运动矢量缩放的图示。
图6示出了时域Merge候选C0和C1的候选位置。
图7示出了组合双向预测Merge候选的示例。
图8总结了运动矢量预测候选的推导过程。
图9是空域运动矢量候选的运动矢量缩放的示例图示。
图10示出了编解码单元CU的可选运动矢量预测值(alternative motion vectorpredictor，ATMVP)运动预测的示例。
图11示出了具有四个子块(A-D)及其临近块(a-d)的一个CU的示例。
图12示出了用于以不同的MV精度进行编码的示例流程图。
图13A-图13B分别示出了4和6参数简化仿射运动模型。
图14示出了每一子块的仿射MVF的示例。
图15A示出了4参数仿射模型的示例。
图15B示出了6参数仿射模型的示例。
图16示出了用于继承仿射候选的AF_INTER的MVP的示例。
图17示出了用于所构造的仿射候选的AF_INTER的示例MVP。
图18A示出了在五个临近块场景中的AF_MERGE的候选的示例。
图18B示出了CPMV预测值推导过程的示例流程。
图19示出了仿射Merge模式的示例候选位置。
图20示出了在CTU行的仿射继承的示例。
图21示出了存储在相邻的临近基本块中的MV的示例
图22示出了4×4基本块中的位置。
图23示出了两个相邻的临近块的MV的示例。
图24示出了用于跨越CTU行的仿射继承的MV的示例。
图25是视频处理方法的示例的流程图。
图26是视频处理装置的示例的框图。
图27示出了找到第一基本块和第二基本块的示例性流程图(矩形块指示整个过程的终止)。
图28示出了找到第一基本块和第二基本块的另一示例性流程图(矩形块指示整个过程的终止)。
图29是视频处理方法的示例的流程图。
图30是视频处理方法的示例的流程图。
图31是视频处理方法的示例的流程图。
图32是视频处理方法的示例的流程图。
具体实施方式
本文档提供了各种技术，视频比特流的解码器可以使用这些技术来提高解压缩或解码的数字视频或图像的质量。此外，视频编码器还可以在编码过程中实施这些技术，以便重新构造用于进一步编码的解码帧。
为了便于理解，在本文档中使用了章节标题，并且不将实施例和技术限制到相应的章节。这样，来自一个章节的实施例可以与来自其他章节的实施例相结合。
1.概述
该专利文档涉及视频编解码技术。具体地，它涉及视频编解码中的运动矢量编解码。它可以应用于现有的视频编解码标准，如HEVC，或待定稿的标准(通用视频编解码)。它也可能适用于未来的视频编解码标准或视频编解码器。
2.导论
视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展演变而来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视觉，并且这两个组织联合制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(AVC)和H.265/HEVC标准。自H.262年以来，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，由VCEG和MPEG于2015年联合成立了联合视频探索组(JVET)。此后，JVET采用了许多新方法，并将其输入到名为联合探索模型(JEM)的参考软件中。2018年4月，在VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创建了联合视频专家组(JVET)，致力于目标是与HEVC相比比特率降低50％的VVC标准。
2.1 HEVC/H.265中的帧间预测
每个帧间预测的PU(prediction unit，预测单元)具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可以被显式地编解码为相对于预测值的增量。
当以跳过模式对CU进行编解码时，一个PU与CU相关联，并且没有显著的残差系数，没有编解码的运动矢量增量或参考图片索引。指定了Merge模式，由此从临近PU获得当前PU的运动参数，包括空域和时域候选。Merge模式不仅应用于跳过模式，还可以应用于任何帧间预测PU。Merge模式的可选方案是运动参数的显式地传输，其中运动矢量(更准确地，与运动矢量预测值相比的运动矢量差(motion vector difference，MVD))、每个参考图片列表的对应参考图片索引和参考图片列表的使用按每一PU显式地信令通知。在本公开中，这种模式被命名为高级运动矢量预测(Advanced motion vector prediction，AMVP)。当信令指示要使用两个参考图片列表之一时，从一个样点块中产生PU。这被称为“单向预测”。单向预测可用于P条带和B条带。
当信令指示要使用参考图片列表两者时，从两个样点块中产生PU。这被称为“双向预测”。双向预测仅可用于B条带。
下文提供了在HEVC指定的帧间预测模式的细节。描述将以Merge模式开始。
2.1.1参考图片列表
在HEVC中，术语帧间预测被用于表示从除当前解码图片之外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。像在H.264/AVC中一样，可以从多个参考图片中预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引识别列表中的哪个参考图片应该用于创建预测信号。
单个参考图片列表(列表0)被用于P条带，并且两个参考图片列表(列表0和列表1)被用于B条带。应该注意，就捕获/显示顺序而言，列表0/1中包括的参考图片可以来自过去和未来的图片。
2.1 Merge模式
2.1.2.1 Merge模式的候选的推导
当使用Merge模式预测PU时，从比特流中解析指向Merge候选列表中的条目的索引并将其用于检索运动信息。该列表的构造在HEVC标准中被指定，并且可以根据以下一系列步骤进行概述：
·步骤1：初始候选推导
ο步骤1.1：空域候选推导
ο步骤1.2：空域候选的冗余检查
ο步骤1.3：时域候选推导
·步骤2：附加候选插入
ο步骤2.1：创建双向预测候选
ο步骤2.2：插入零运动候选
在图1中也示意性地描绘了这些步骤。对于空域Merge候选推导，在位于五个不同位置的候选当中选择最多四个Merge候选。对于时域Merge候选推导，在两个候选当中选择最多一个Merge候选。由于在解码器处假设每个PU的恒定数量的候选，因此当从步骤1获得的候选的数量未达到在条带头中信令通知的Merge候选的最大数量(MaxNumMergeCand)时，生成附加候选。由于候选的数量是恒定的，因此使用截断一元二值化(Truncated Unarybinarization，TU)对最佳Merge候选的索引进行编码。如果CU的尺寸等于8，则当前CU的所有PU共享单个Merge候选列表，其与2N×2N预测单元的Merge候选列表相同。
下面，详细描述与前述步骤相关联的操作。
2.1.2.2空域候选推导
在空域Merge候选的推导中，在位于图2中描绘的位置的候选当中选择最多四个Merge候选。推导的顺序是A1、B1、B0、A0和B2。仅当位置A1、B1、B0、A0的任何PU不可用(例如，因为它属于另一条带或片)或者是帧内编解码的时，才考虑位置B2。在添加位置A1处的候选之后，对剩余候选的添加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算复杂度，在所提到的冗余检查中不考虑所有可能的候选对。相反，只考虑与图3中的箭头链接的对，并且如果用于冗余检查的对应候选没有相同的运动信息，则候选仅被添加到列表中。重复运动信息的另一源是与不同于2N×2N的分割相关联的“第二PU”。作为示例，图4A-图4B分别描绘了N×2N和2N×N的情况下的第二PU。当当前PU被分割为N×2N时，位置A1处的候选不被考虑用于列表构造。实际上，通过添加该候选将导致两个预测单元具有相同的运动信息，这对于在编解码单元中只具有一个PU是冗余的。类似地，当当前PU被分割为2N×N时，不考虑位置B1。
图2示出了空域Merge候选的位置。
图3示出了考虑用于空域Merge候选的冗余检查的候选对。
图4A-图4B示出了N×2N和2N×N分割的第二PU的位置。
2.1.2.3时域候选推导
在该步骤中，仅一个候选被添加到列表。具体地，在该时域Merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小POC(Picture Order Count，图片顺序计数)差的图片的并置(co-located)PU来推导缩放运动矢量。在条带头中显式地信令通知要用于推导并置PU的参考图片列表。在图5中，如虚线所示的获得用于时域Merge候选的缩放运动矢量，该缩放运动矢量是使用POC距离tb和td从并置PU的运动矢量进行缩放的，其中tb被定义为当前图片的参考图片与当前图片之间的POC差，并且td被定义为并置图片的参考图片与并置图片之间的POC差。时域Merge候选的参考图片索引被设置为等于零。HEVC规范中描述了缩放过程的实际实现。对于B条带，两个运动矢量(一个用于参考图片列表0，另一个用于参考图片列表1)被获得并组合，以生成双向预测Merge候选。
图5是时域Merge候选的运动矢量缩放的示例图示。
在属于参考帧的并置PU(Y)中，在候选C0和C1之间选择时域候选的位置，如图6所描绘的。如果位置C0处的PU不可用、是帧内编解码的、或者在当前编解码树单元(Coding TreeUnit，CTU，又称最大编解码单元(largest coding unit，LCU))行的外部，则使用位置C1。否则，在时域Merge候选的推导中使用位置C0。
图6示出了时域Merge候选的候选位置C0和C1的示例。
2.1.2.4附加候选插入
除了空域和时域的Merge候选之外，还存在两种附加类型的Merge候选：组合双向预测Merge候选和零Merge候选。通过利用空时Merge候选来生成组合双向预测Merge候选。组合双向预测Merge候选仅用于B条带。通过将初始候选的第一参考图片列表运动参数与另一初始候选的第二参考图片列表运动参数组合来生成组合双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图7描绘了当原始列表(在左边)中的两个候选(其具有mvL0和refIdxL0或mvL1和refIdxL1)用于创建被添加到最终列表(在右边)的组合双向预测Merge候选的情况。有许多关于组合的规则被考虑以生成这些附加Merge候选。
插入零运动候选以填充Merge候选列表中的剩余条目，并因此达到MaxNumMergeCand容量。这些候选具有零空域位移和参考图片索引，该索引从零开始并且在每次向列表中添加新的零运动候选时增加。最终，不对这些候选执行冗余检查。
2.1.3 AMVP
AMVP利用运动矢量与临近PU的空时相关性，该空时相关性用于运动参数的显式传输。对于每个参考图片列表，通过首先检查左边、上方的时域临近的PU位置的可用性、移除冗余候选并添加零矢量以使候选列表为恒定长度，来构造运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测值，并发送指示所选候选的对应索引。与Merge索引信令类似，使用截断一元对最佳运动矢量候选的索引进行编码。在这种情况下，要编码的最大值是2(见图8)。在接下来的章节中，将提供关于运动矢量预测候选的推导过程的细节。
2.1.3.1推导AMVP候选
图8概述了运动矢量预测候选的推导过程。
在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，最终基于位于如图2所描绘的五个不同位置的每个PU的运动矢量来推导两个运动矢量候选。
对于时域运动矢量候选推导，从基于两个不同并置位置而推导的两个候选中选择一个运动矢量候选。在产生第一空时候选列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表内其参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二，则将附加的零运动矢量候选添加到列表。
2.1.3.2构造空域运动矢量候选
在空域运动矢量候选的推导中，在从位于如图2所描绘的位置的PU推导的五个潜在候选当中考虑最多两个候选，那些位置与运动Merge的位置相同。当前PU的左侧的推导顺序被定义为A0、A1、以及缩放A0、缩放A1。当前PU的上侧的推导顺序被定义为B0、B1、B2、缩放B0、缩放B1、缩放B2。因此对于每一侧，存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。四种不同的情况概述如下：
·没有空域缩放
-(1)相同的参考图片列表，以及相同的参考图片索引(相同的POC)
-(2)不同的参考图片列表，但是相同的参考图片(相同的POC)
·空域缩放
-(3)相同的参考图片列表，但是不同的参考图片(不同的POC)
-(4)不同的参考图片列表，以及不同的参考图片(不同的POC)
首先检查非空域缩放情况，然后是空域缩放的情况。当不管参考图片列表如何POC在临近PU的参考图片与当前PU的参考图片之间都不同时，考虑空域缩放。如果左边候选的所有PU都不可用或者都是帧内编解码的，则允许针对上方运动矢量的缩放以帮助对左边和上方MV候选的并行推导。否则，针对上方运动矢量不允许空域缩放。
图9是空域运动矢量候选的运动矢量缩放的图示。
在空域缩放过程中，以与时域缩放类似的方式来缩放临近PU的运动矢量，如图9所描绘的。主要差异在于参考图片列表和当前PU的索引被给定作为输入；实际缩放过程与时域缩放的过程相同。
2.1.3.3时域运动矢量候选
除了参考图片索引推导之外，用于推导时域Merge候选的所有过程与用于推导空域运动矢量候选的过程相同(参见图6)。参考图片索引被信令通知给解码器。
2.2 JEM中基于子CU的运动矢量预测方法
在具有QTBT(quadtrees plus binary trees，四叉树加二叉树)的JEM中，每个CU对于每个预测方向最多可以有一个运动参数集。通过将大CU划分为子CU并且推导大CU的所有子CU的运动信息，在编码器中考虑两个子CU级别运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从比并置参考图片中的当前CU小的多个块中提取多个运动信息集。在空时运动矢量预测(Spatial-Temporal Motion Vector Prediction，STMVP)方法中，通过使用时域运动矢量预测量和空域临近运动矢量来递归地推导子CU的运动矢量。
为了保持对于子CU运动预测的更准确的运动场，当前禁用参考帧的运动压缩。
图10示出了针对CU的ATMVP运动预测的示例。
2.2.1可选时域运动矢量预测
在可选时域运动矢量预测(ATMVP)方法中，通过从比当前CU小的块提取多个运动信息(包括运动矢量和参考索引)集来修改运动矢量时域运动矢量预测(Temporal MotionVector Prediction，TMVP)。子CU是正方形的N×N块(N默认设置为4)。ATMVP分两个步骤来预测CU内的子CU的运动矢量。第一步骤是用所谓的时域矢量来识别参考图片中的对应块。参考图片被称为运动源图片。第二步骤是将当前CU划分为子CU，并从与每个子CU相对应的块中获得运动矢量以及每个子CU的参考索引。
在第一步骤中，参考图片和对应块由当前CU的空域临近块的运动信息确定。为了避免临近块的反复的扫描过程，使用当前CU的Merge候选列表中的第一Merge候选。第一可用运动矢量以及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在ATMVP中，与TMVP相比，可以更准确地识别对应块，其中对应块(有时称为并置块)总是相对于当前CU处于右下或中心位置。
在第二步骤中，通过向当前CU的坐标添加时域矢量，通过运动源图片中的时域矢量来识别子CU的对应块。对于每个子CU，其对应块的运动信息(覆盖中心样点的最小运动网格)用于推导子CU的运动信息。在识别对应的N×N块的运动信息之后，以与HEVC的TMVP相同的方式将其转换成当前子CU的运动矢量和参考索引，其中运动缩放和其它过程适用。例如，解码器检查是否满足低延迟条件(即，当前图片的所有参考图片的POC小于当前图片的POC)，并且可能使用运动矢量MVx(与参考图片列表X相对应的运动矢量)来预测每个子CU的运动矢量MVy(其中X等于0或1，并且Y等于1-X)。
2.2.2空时运动矢量预测
在该方法中，按照光栅扫描顺序递归地推导子CU的运动矢量。图11示出了该概念。让我们考虑8×8的CU，它包含4个4×4的子CU：A、B、C和D。当前帧中的临近的4×4块被标记为a、b、c和d。
子CU A的运动推导通过识别其两个空域邻居(neighbour)开始。第一邻居是子CUA上方的N×N块(块c)。如果这个块c不可用或是帧内编解码的，则检查子CU A上方的其它N×N块(从左到右，从块c开始)。第二邻居是子CU A左边的块(块b)。如果块b不可用或是帧内编解码的，则检查子CU A左边的其它块(从上到下，从块b开始)。从每个列表的临近块中获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循如HEVC指定的TMVP推导的相同过程来推导子块A的时域运动矢量预测量(TMVP)。在位置D处的并置块的运动信息被相应地提取和缩放。最后，在检索和缩放运动信息之后，对每个参考列表单独地平均所有可用的运动矢量(多达3个)。平均运动矢量被分配为当前子CU的运动矢量。
图11示出了具有4个子块(A-D)及其临近块(a-d)的一个CU的示例。
2.2.3子CU运动预测模式信令
子CU模式被启用作为附加Merge候选，并且不需要附加语法元素来信令通知这些模式。两个附加Merge候选被添加到每个CU的Merge候选列表以表示ATMVP模式和STMVP模式。如果序列参数集指示启用了ATMVP和STMVP，则使用多达七个Merge候选。附加Merge候选的编码逻辑与HM中的Merge候选的编码逻辑相同，这意味着，对于P条带或B条带中的每个CU，针对两个附加Merge候选还需要两次RD(Rate Distortion，率失真)检查。
在JEM中，Merge索引的所有二进制数都由CABAC进行上下文编解码。而在HEVC中，只对第一个二进制数进行上下文编解码，对其余的二进制数进行上下文旁路编解码。
2.3 VVC中的帧间预测方法
有几种用于帧间预测改进的新的编解码工具，诸如用于信令通知MVD的自适应运动矢量差分辨率(Adaptive Motion Vector difference Resolution，AMVR)、仿射预测模式、三角形预测模式(TPM)、ATMVP、广义双向预测(Generalized Bi-Prediction，GBI)、双向光流(BIO)。
2.3.1 VVC中的编解码块结构
在VVC中，采用四叉树/二叉树/多叉树(QT/BT/TT)结构将图片划分成正方形或矩形块。
在VVC中，除了QT/BT/TT之外，对于I帧，还可以采用单独的树(也称为双重编解码树(dual coding tree))。对于单独的树，针对亮度分量和色度分量单独地信令通知编解码块结构。
2.3.2自适应运动矢量差分辨率
在HEVC中，当在条带头中的use_integer_mv_flag等于0时，以四分之一(quarter)亮度样点为单位信令通知(PU的运动矢量和预测运动矢量之间的)运动矢量差(MotionVector Difference，MVD)。在VVC中，引入了局部自适应运动矢量分辨率(LAMVR)。在VVC中，可以以四分之一亮度样点、整数亮度样点或四亮度样点为单位(即1/4像素、1像素、4像素)对MVD进行编解码。以编解码单元(CU)级别控制MVD分辨率，并且对于具有至少一个非零MVD分量的每个CU，有条件地信令通知MVD分辨率标志。
对于具有至少一个非零MVD分量的CU，信令通知第一标志以指示在CU中是否使用四分之一亮度样点MV精度。当第一标志(等于1)指示未使用四分之一亮度样点MV精度时，信令通知另一个标志以指示使用整数亮度样点MV精度还是四亮度样点MV精度。
当CU的第一MVD分辨率标志为零或未针对CU进行编解码(意味着CU中的所有MVD均为零)时，对于CU使用四分之一亮度样点MV分辨率。当CU使用整数亮度样点MV精度或四亮度样点MV精度时，将CU的AMVP候选列表中的MVP取整到对应的精度。在编码器中，CU级别的RD检查用于确定哪个MVD分辨率要用于CU。也就是说，对于每个MVD分辨率，执行三次CU级别的RD检查。为了加快编码器速度，在JEM中应用以下编码方案：
·在对具有正常四分之一亮度样点MVD分辨率的CU的RD检查期间，存储当前CU(整数亮度样点准度)的运动信息。存储的运动信息(取整之后)被用作在针对具有整数亮度样点和4亮度样点MVD分辨率的相同CU的RD检查期间的进一步的小范围运动矢量细化的起点，使得耗时的运动估计过程不会重复三次。
·有条件地调用对具有4亮度样点MVD分辨率的CU的RD检查。对于CU，当整数亮度样点MVD分辨率的RD成本远大于四分之一亮度样点MVD分辨率的RD成本时，跳过对于CU的4亮度样点MVD分辨率的RD检查。
编码过程如图12所示。首先，测试1/4像素MV，计算RD成本并表示为RDCost0，然后测试整数MV，RD成本表示为RDCost1。如果RDCost1<th*RDCost0(其中th是正值)，则测试4像素MV；否则，跳过4像素MV。基本上，当检查整数或4像素MV时，对于1/4像素MV已知运动信息和RD成本等，可以将其重用(reuse)以加速整数或4像素MV的编码过程。
图12是以不同MV精度进行编码的流程图。
2.3.3仿射运动补偿预测
在HEVC中，只有平移运动模型被应用于运动补偿预测(Motion CompensationPrediction，MCP)。而在现实世界中，存在多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，用4参数仿射模型和6参数仿射模型应用简化的仿射变换运动补偿预测。如图13A和图13B所示，块的仿射运动场由4参数仿射模型的两个控制点运动矢量(control point motion vector，CPMV)和6参数仿射模型的3个CPMV来描述。
块的运动矢量场(MVF)由以下等式描述，分别为等式(1)的4参数仿射模型(其中4参数仿射模型被定义为变量a、b、e和f)和等式(2)的6参数仿射模型(其中4参数仿射模型被定义为变量a、b、c、d、e和f)：
Figure BDA0003101304560000131
其中，(mvh 0,mvh 0)是左上角控制点的运动矢量，并且(mvh 1,mvh 1)是右上角控制点的运动矢量，并且(mvh 2,mvh 2)是左下角控制点的运动矢量，所有3个运动矢量被称为控制点运动矢量(CPMV)，(x,y)表示当前块内代表点(representative point)相对于左上样点的坐标，并且(mvh(x,y),mvv(x,y))是针对位于(x,y)处的样点而推导出的运动矢量。CP运动矢量可以被信令通知(像在仿射AMVP模式下那样)或者动态推导(像在仿射Merge模式下那样)。w和h是当前块的宽度和高度。实际上，除法是通过右移和四舍五入操作来实施的。在VTM中，代表点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上样点的坐标是(xs,ys)时，代表点的坐标被定义为(xs+2,ys+2)。对于每个子块(即VTM中的4×4)，利用代表点来推导整个子块的运动矢量。
为了进一步简化运动补偿预测，应用了基于子块的仿射变换预测。为了推导每个M×N子块的运动矢量(在当前VVC中M和N都设置为4)，可以根据等式(1)和(2)计算每个子块的中心样点的运动矢量(如图14所示)，并取整到1/16分数精度。然后，针对1/16像素应用运动补偿插值滤波器，以生成具有推导出的运动矢量的每个子块的预测。仿射模式引入了1/16像素的插值滤波器。
图14示出了每个子块的仿射MVF的示例。
在MCP之后，每个子块的高精度运动矢量被取整并保存为与正常运动矢量相同的精度。
2.3.3.1仿射预测的信令
类似于平移运动模型，也有两种模式用于信令通知由于仿射预测而产生的边信息(side information)。它们是AFFINE_INTER和AFFINE_MERGE模式。
2.3.3.2 AF_INTER模式的示例
对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级别的仿射标志，以指示是否使用AF_INTER模式。
在这种模式下，对于每个参考图片列表(列表0或列表1)，仿射AMVP候选列表按以下顺序用三种类型的仿射运动预测值构造，其中每个候选包括当前块的估计CPMV。在编码器侧(诸如图17中的mv0 mv1 mv2)发现的最佳CPMV和估计的CPMV的差被信令通知。另外，进一步信令通知从其中推导估计的CPMV的仿射AMVP候选的索引。
1)继承仿射运动预测值
检查顺序类似于HEVC AMVP列表构造中的空域MVP的顺序。首先，从{A1,A0}中的被仿射编解码并且具有与当前块中相同的参考图片的第一块推导的左边的继承仿射运动预测值。第二，从{B1,B0,B2}中的被仿射编解码并且具有与当前块中相同的参考图片的第一块推导上方的继承仿射运动预测值。图16中描绘了五个块A1、A0、B1、B0、B2。
一旦发现临近块是用仿射模式进行编解码的，覆盖临近块的编解码单元的CPMV被用于推导当前块的CPMV的预测值。例如，如果A1是用非仿射模式进行编解码的，并且A0是用4参数仿射模式进行编解码的，则左边的继承仿射MV预测值将从A0推导。在这种情况下，覆盖A0的CU的CPMV(如图18B所示，对于左上的CPMV表示为
Figure BDA0003101304560000151
对于右上的CPMV表示为
Figure BDA0003101304560000152
)用于推导当前块的估计CPMV(对于当前块的左上位置(坐标(x0,y0))、右上位置(坐标(x1,y1))和右下位置(坐标(x2,y2))表示为
Figure BDA0003101304560000153
Figure BDA0003101304560000154
)。
2)构造的仿射运动预测值
如图17所示，构造的仿射运动预测值包括从具有相同参考图片的临近帧间编解码块推导的控制点运动矢量(CPMV)。如果当前仿射运动模型是4参数仿射，则CPMV的数量是2，否则如果当前仿射运动模型是6参数仿射，则CPMV的数量是3。左上的CPMV
Figure BDA0003101304560000155
是由组{A,B,C}中被仿射编解码并且具有与当前块中相同的参考图片的第一块处的MV推导的。右上的CPMV
Figure BDA0003101304560000156
是由组{D,E}中的被帧间编解码并且具有与当前块中相同的参考图片的第一第一块处的MV推导的。左下的CPMV
Figure BDA0003101304560000157
是由组{F,G}中的被帧间编解码并且具有与当前块中相同的参考图片的第一块处的MV推导的。
-如果当前仿射运动模型是4参数仿射，则只有当
Figure BDA0003101304560000158
和
Figure BDA0003101304560000159
两者都被建立时，构造的仿射运动预测值才被插入候选列表，也就是说，
Figure BDA00031013045600001510
和
Figure BDA00031013045600001511
被用作当前块的左上(坐标(x0,y0))、右上(坐标(x1,y1))位置的估计CPMV。
-如果当前仿射运动模型是6参数仿射，则只有当
Figure BDA00031013045600001512
和
Figure BDA00031013045600001513
都被建立时，构造的仿射运动预测值才被插入候选列表，也就是说，
Figure BDA00031013045600001514
Figure BDA00031013045600001515
和
Figure BDA00031013045600001516
被用作当前块的左上(坐标(x0,y0))、右上(坐标(x1,y1))和右下(坐标(x2,y2))位置的估计CPMV。
当将构造的仿射运动预测值插入候选列表时，不应用修剪过程。
3)正常AMVP运动预测值
在仿射运动预测值的数量达到最大值之前，以下条件适用。
1)通过将所有CPMV设置为等于
Figure BDA0003101304560000161
(如果可用)，推导仿射运动预测值。
2)通过将所有CPMV设置为等于
Figure BDA0003101304560000162
(如果可用)，推导仿射运动预测值。
3)通过将所有CPMV设置为等于
Figure BDA0003101304560000163
(如果可用)，推导仿射运动预测值。
4)通过将所有CPMV设置为等于HEVC TMVP(如果可用)，推导仿射运动预测值。
5)通过将所有CPMV设置为零MV，推导仿射运动预测值。
注意，已经在构造的仿射运动预测值推导出
Figure BDA0003101304560000164
图15A示出了4参数仿射模型的示例。图15B示出了6参数仿射模型的示例。
图16示出了继承仿射候选的AF_INTER的MVP的示例。
图17示出了构造的仿射候选的AF_INTER的MVP的示例。在AF_INTER模式下，当使用4/6参数仿射模式时，需要2/3个控制点，并且因此需要为这些控制点编解码2/3个MVD，如图15A和图15B所示。提出了如下推导MV，即从mvd0中预测mvd1和mvd2。
Figure BDA0003101304560000165
Figure BDA0003101304560000166
Figure BDA0003101304560000167
其中，
Figure BDA0003101304560000168
mvdi和mv1分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图15B所示。请注意，两个运动矢量(例如，mvA(xA,yA)和mvB(xB,yB))的相加等于两个分量的分别总和，也就是说，newMV＝mvA+mvB，并且newMV的两个分量分别设置为(xA+xB)和(yA+yB)。
2.3.3.3 AF_Merge模式
当在AF_MERGE模式下应用CU时，它从有效的临近重构块中获得用仿射模式编解码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图18A所示(依次由A、B、C、D、E表示)。例如，如果临近的左下块如图18B中A0所示以仿射模式进行编解码，则提取包含块A的临近的CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv0 N、mv1 N和mv2 N。并且基于mv0 N、mv1 N和mv2 N计算当前CU/PU上的左上角/右上/左下的运动矢量mv0 C、mv1 C和mv2 C(仅用于6参数仿射模型)。应该注意，如果当前块是仿射编解码的，则位于左上角的子块(例如，VTM的4×4块)存储mv0，位于右上角的子块可以存储mv1。如果当前块用6参数仿射模型进行编解码，则位于左下角的子块存储mv2；否则(在4参数仿射模型的情况下)，LB存储mv2'。其他子块存储用于MC的MV。
在根据等式(1)和(2)中的简化仿射运动模型推导出当前CU的CPMV mv0 C、mv1 C和mv2 C之后，生成当前CU的MVF。为了识别当前CU是否以AF_MERGE模式进行编解码，当有至少一个临近块以仿射模式进行编解码时，在比特流中信令通知仿射标志。
图18A示出了在5个临近块的情况下的AF_MERGE的示例候选。
图18B示出了CPMV预测值推导过程的示例。
提出了用以下步骤来构造仿射Merge候选列表：
1)插入继承的仿射候选
继承仿射候选是指候选是从其有效临近仿射编解码块的仿射运动模型推导的。从临近块的仿射运动模型中推导出最多两个继承仿射候选，并将其插入候选列表。对于左边的预测值，扫描顺序为{A0,A1}；对于上方的预测值，扫描顺序是{B0,B1,B2}。
2)插入构造的仿射候选
如果仿射Merge候选列表中的候选数量小于MaxNumAffineCand(例如，5)，则将构造的仿射候选插入候选列表。构造仿射候选是指通过组合每个控制点的临近运动信息来构造候选。
A)控制点的运动信息首先从图19所示的指定的空域邻居和时域邻居中推导。CPk(k＝1,2,3,4)代表第k个控制点。A0、A1、A2、B0、B1、B2和B3是用于预测CPk(k＝1,2,3)的空域位置；T是用于预测CP4的时域位置。
CP1、CP2、CP3和CP4的坐标分别是(0,0)、(W,0)、(H,0)和(W,H)，其中W和H是当前块的宽度和高度。
图19示出了仿射Merge模式的候选位置的示例。
根据以下优先级顺序获得每个控制点的运动信息：
-对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。
否则，如果B2可用，则使用B3。如果B2和B3都不可用，则使用A2。
如果三个候选都不可用，则无法获得CP1的运动信息。
-对于CP2，检查优先级为B1->B0。
-对于CP3，检查优先级为A1->A0。
-对于CP4，使用T。
B)其次，使用控制点的组合来构造仿射Merge候选。
I.构造6参数仿射候选需要三个控制点的运动信息。三个控制点可以从以下四个组合中选择一个：{CP1,CP2,CP4}、{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}。组合{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}将被转换为由左上、右上和左下控制点表示的6参数运动模型。
II.构造4参数仿射候选需要两个控制点的运动信息。这两个控制点可以从两个组合({CP1,CP2}、{CP1,CP3})中选择一个。这两个组合将被转换为由左上和右上控制点表示的4参数运动模型。
III.按以下顺序将构造的仿射候选的组合插入候选列表：
{CP1,CP2,CP3}、{CP1,CP2,CP4}、{CP1,CP3,CP4}、{CP2,CP3,CP4},{CP1,CP2}、{CP1,CP3}
i.对于每个组合，针对每个CP来检查列表X的参考索引，如果它们全部相同，则该组合对于列表X具有有效的CPMV。如果该组合对于列表0和列表1都没有有效的CPMV，则该组合被标记为无效。否则，它是有效的，并且将CPMV放入子块Merge列表中。
3)用零运动矢量进行填充
如果仿射Merge候选列表中的候选的数量小于5，则将具有零参考索引的零运动矢量插入到候选列表中，直到列表满为止。
更具体地，对于子块Merge候选列表，有4参数Merge候选，其中MV设置为(0,0)并且预测方向设置为来自列表0的单向预测(对于P条带)和双向预测(对于B条带)。
2.3.3.4仿射模型继承所需的存储
CTU内部所需的内存
为了进行如图18B所示的仿射模型继承，将附加信息存储在CTU内部的每个8×8块中。
1)两个参考列表有三个CPMV，需要2(2个参考列表)×2(x和y分量)×16(一个分量16比特)×3(3个CPMV)＝192比特(或软件设计中的24字节)。
2)CU的左上角的坐标，需要2×13＝26比特(或软件设计中的4字节)。
3)CU的宽度和高度，要求2×7＝14比特(或软件设计中的2字节)。
因此，针对每个8×8块总共需要存储232比特(或30字节)的边信息。我们应该注意到，在HEVC中，需要存储在每个8×8块中的运动信息的总量是2(2个参考列表)×2(x和y分量)×16(一个分量16比特)×4(4个4×4块的4个MV)＝256比特(或软件设计中的32字节)。
因此，在软件设计中，运动信息所需的CTU内部的内存增加了232/256＝90％或30/32＝94％。这极大地增加了高速缓冲存储器的需求。
线缓冲器所需的内存
对于在CTU行边界处的块，提出减少仿射继承所需的线缓冲内存。图20示出了当当前CU处于CTU行边界时的示例。假设选择从覆盖(xLE1,yLE1)的4×4块继承仿射模型，然后找到覆盖(xLE1,yLE1)的临近CU。找到临近CU的左下4×4块和右下块的MV(在图中标记为vLE0和vLE1)。当前块的CPMV计算如下：
通过使用4参数模型以及通过下式来推导出当前CU的控制点矢量
Figure BDA0003101304560000191
和
Figure BDA0003101304560000197
Figure BDA0003101304560000193
Figure BDA0003101304560000194
并且如果当前CU使用6参数仿射运动模型，则通过下式推导出控制点矢量
Figure BDA0003101304560000195
Figure BDA0003101304560000196
Figure BDA0003101304560000201
因为不需要当前CTU行之外的临近块的CPMV，所以不需要将CPMV存储在线缓冲器中。此外，高度和左上角坐标的y分量不需要存储在线缓冲器中。然而，宽度和左上角坐标的x分量仍然需要存储在线缓冲器中。
图20示出了在CTU行处的仿射继承的示例。
对于仿射继承，提出对于仿射继承而存储仿射参数a、b、c和d，而不是存储CPMV。对于历史运动矢量预测(HMVP)，提出可以存储仿射参数a、b、c和d，以生成用于仿射Merge或仿射帧间编解码的历史运动矢量预测(HMVP)。用于存储基于历史的仿射模型的缓冲器/表/列表被称为仿射HMVP缓冲器/表/列表。
3.由本文描述的实施例和技术解决的问题的示例
在当前的设计中，仿射继承所需的额外存储仍然是一个大问题。
此外，在跨越CTU行的仿射继承的当前设计中，关于与一个位置相关联但被假设与另一个位置相关联的MV，存在未对准(misalignment)。
如图20所示，通过使用4参数模型以及通过下式来推导出当前CU的控制点矢量
Figure BDA0003101304560000202
和
Figure BDA0003101304560000203
Figure BDA0003101304560000208
Figure BDA0003101304560000204
并且如果当前CU使用6参数仿射运动模型，则通过下式推导出控制点矢量
Figure BDA0003101304560000205
Figure BDA0003101304560000206
Figure BDA0003101304560000207
在上述等式中，(xLE1,yLE1)和(xLE0,yLE0)分别用作以仿射模式的编解码单元的右下和左下样点坐标的代表位置。
假设将vLE0分配给临近CU的左下位置(表示为(xE0,y0))。然而，将vLE0分配给临近CU的左下子块的中心位置。
另外，需要知道仿射编解码的CU的坐标以及CU的宽度，因为需要识别覆盖CU的左下和右下样点的两个代表子块。在以上示例中，覆盖(xLE0,yLE0)的子块被称为第一代表子块，并且覆盖(xLE1,yLE1)的子块被称为第二代表子块。因此，需要附加的线缓冲器来存储CU宽度、坐标等。
4.实施例和技术的示例
以下项目的详细列表应被视为解释一般概念的示例。这些实施例不应被狭义地解释。此外，这些发明可以以任何方式进行组合。
在以下讨论中，SatShift(x,n)被定义为
Figure BDA0003101304560000211
Shift(x,n)被定义为Shift(x,n)＝(x+offset0)>>n。
在一个示例中，offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))。在另一示例中，offset0和/或offset1被设置为0。
Clip3(min,max,x)被定义为
Figure BDA0003101304560000212
减少仿射继承所需的CTU内存储。
1.用于对后续块进行仿射继承的块的第一组CPMV(分别位于代表点(xF0,yF0)、(xF1,yF1)和(xF2,yF2)，表示为MVF0、MVF1和MVF2)可以不同于用于推导每个子块的MV的块的第二组CPMV(分别位于代表点(xS0,yS0)、(xS1,yS1)和(xS2,yS2)，表示为MVS0、MVS1和MVS2)或从编码器信令通知给解码器的第三组CPMV(分别位于代表点(xT0,yT0)、(xT1,yT1)和(xT2,yT2)，表示为MVT0、MVT1和MVT2)。
a)在一个示例中，第二组CPMV与第三组CPMV相同。
b)在一个示例中，第一组CPMV是从第二组或第三组CPMV推导出的。
c)在一个示例中，在对块进行编解码/解码之后存储第一组CPMV。
d)在一个示例中，代表点的坐标(诸如(xFi,yFi)、(xSi,ySi)、(xTi,yTi))被定义为相对于在仿射运动补偿过程中使用的一个子块的坐标。
2.第一组中的两个CPMV的代表点之间的相对偏移可能不取决于块的宽度或高度。
a)在一个示例中，对分别位于代表点(xF0,yF0)、(xF1,yF1)和(xF2,yF2)的块B的CPMV(表示为MVF0、MVF1和MVF2)进行存储。在另一示例中，对分别位于位置(xF0,yF0)和(xF1,yF1)的块B的CPMV(表示为MVF0和MVF1)进行存储。(xF0,yF0)、(xF1,yF1)和(xF2,yF2)可以在块B内部，或者它们在其外部。
b)在一个示例中，yF1＝yF0，xF1＝xF0+PW。
c)在一个示例中，xF1＝xF0，yF1＝yF0+PH。
d)在一个示例中，yF2＝yF0，xF2＝xF0+PW。
e)在一个示例中，xF2＝xF0，yF2＝yF0+PH。
f)在一个示例中，yF2＝yF1，xF2＝xF1+PW。
g)在一个示例中，xF2＝xF1，yF2＝yF1+PH。
h)PW和PH是整数。
i.在一个示例中，PW＝2M。例如，PW可以等于4、8、16、32、64或128。
ii.在一个示例中，PW＝-2M。例如，PW可以等于-4、-8、-16、-32、-64或-128。
iii.在一个示例中，PH＝2M。例如，PH可以等于4、8、16、32、64或128。
iv.在一个示例中，PH＝-2M。例如，PH可以等于-4、-8、-16、-32、-64或-128。
v.不存储PW和PH。
1.在一个示例中，它们是固定的。
2.在另一示例中，它们在VPS/SPS/PPS/条带头/片组头/片/CTU中被信令通知。
3.在另一示例中，它们在不同的标准等级(profile)/级别/层级中可能不同。
4.在另一示例中，它们可以取决于条带/图片的最大CU尺寸或/和最小CU尺寸。
i)在一个示例中，MVF0＝MVS0，(xF0,yF0)＝(xS0,yS0)，或MVF0＝MVT0，(xF0,yF0)＝(xT0,yT0)；
j)在一个示例中，MVF0＝MVS1，(xF0,yF0)＝(xS1,yS1)，或MVF0＝MVT1，(xF0,yF0)＝(xT1,yT1)；
k)在一个示例中，MVF0＝MVS2，(xF0,yF0)＝(xS2,yS2)，或MVF0＝MVT2，(xF0,yF0)＝(xT2,yT2)；
l)在一个示例中，以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为输入坐标，通过等式(1)从MVS0和MVS1中推导出MVF0、MVF1和MVF2。
m)在一个示例中，以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为输入坐标，通过等式(2)从MVS0、MVS1和MVS2中推导出MVF0、MVF1和MVF2。
n)在一个示例中，以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为输入坐标，通过等式(1)从MVT0和MVT1中推导出MVF0、MVF1和MVF2。
o)在一个示例中，以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为输入坐标，通过等式(2)从MVT0、MVT1和MVT2中推导出MVF0、MVF1和MVF2。
p)在一个示例中，仅当用6参数仿射模型对当前块进行编解码时，才计算MVF2。
i.可替换地，不管是用6参数仿射模型还是用6参数仿射模型对当前块进行编解码，都计算MVF2。
3.存储CPMV之间的差，而不是存储CPMV本身。
a)在一个示例中，存储D1＝MVF1-MVF0；
b)在一个示例中，存储D2＝MVF2-MVF0；
c)在一个示例中，D1和D2都被存储；
i.在一个示例中，仅当用6参数仿射模型对当前块进行编解码时，才存储D2。
ii.可替换地，不管是用6参数仿射模型还是用6参数仿射模型对当前块进行编解码，都存储D2。
d)在一个示例中，CPMV和CPMV之间的差可以存储在一起。例如，存储MVF0、D1和D2。
4.可以在存储之前对所存储的CPMV或CPMV之间的差进行移位。假设MV是要存储的CPMV或CPMV之间的差，则
a)例如，MV’x＝SatShift(MVx,n)，并且MV’y＝SatShift(MVy,n)。存储MV’＝(MV’x,MV’y)而不是MV。
b)例如，MV’x＝Shift(MVx,n)，并且MV’y＝Shift(MVy,n)。存储MV’＝(MV’x,MV’y)而不是MV。
c)例如，n是整数，诸如2或4；
i.在一个示例中，n取决于运动精度。
ii.当存储CPMV或存储CPMV之间的差时，n可能不同。
d)在一个示例中，在用于仿射继承之前，存储的MV’首先左移。
5.可以在存储之前对要存储的CPMV或CPMV之间的差进行限幅。假设MV是要存储的CPMV或CPMV之间的差，则
a)MV’x＝Clip3(MinV,MaxV,MVx)，并且MV’y＝Clip3(MinV,MaxV,MVy)。存储MV’＝(MV’x,MV’y)而不是MV。
b)在一个示例中，用K个比特来存储MV，则MinV＝-2K-1，MaxV＝2K-1-1。例如，当K＝8时，MinV＝-128，MaxV＝127。
i.K可能取决于MV是CPMV还是CPMV之间的差而不同。
c)在一个示例中，首先对所存储的MV’进行移位，然后在它用于仿射继承之前对其进行限幅。
6.存储在表示为Badj的相邻的临近基本块中的MV被用于推导当前块的仿射继承MV。
a)图21示出了存储在相邻的临近基本块中的MV的示例：L、A、LB、AR和AL。在VTM中，基本块是4×4块。
b)存储在相邻的临近基本块Badj中的MV被表示为MVa＝(mvh a,mvv a)，则将表示为(mvh(x,y),mvv(x,y))的、位于位置(x,y)的当前块的仿射继承MV被推导为
Figure BDA0003101304560000241
或者
Figure BDA0003101304560000242
其中，(x0,y0)是MVa的代表点。
i.(x0,y0)可以是基本块Badj内部的任何位置。图22示出了一个示例。(x0,y0)可以是Pij中的任何一个(i＝0…Wb-1，j＝0…Hb-1)，其中Wb和Hb是基本块的宽度和高度。在该示例中，Wb＝Hb＝4。在一个示例中，假设Badj中左上角样点的坐标是(xTL,yTL)，则(x0,y0)可以是(xTL+i,yTL+j)中的任何一个(i＝0…Wb-1，j＝0…Hb-1)。
1.例如，(x0,y0)可以是图22中的P22。
2.假设当前块的左上样点的坐标是(xPos00,yPos00)，当前块的右上样点的坐标是(xPos10,yPos00)，当前块的右上样点的坐标是(xPos00,yPos01)，则在图21中：
a.相邻的临近基本块L的(x0,y0)为(xPos00-2,yPos01-1)；
b.相邻的临近基本块LB的(x0,y0)为(xPos00-2,yPos01+3)；
c.相邻的临近基本块A的(x0,y0)为(xPos10-1,yPos00-2)；
d.相邻的临近基本块AR的(x0,y0)为(xPos10+3,yPos00-2)；
e.相邻的临近基本块AL的(x0,y0)为(xPos00-2,yPos00-2)。
ii.(x0,y0)可以是基本块Badj的外部或边界处的任何位置。
1.例如，假设Badj中左上角样点的坐标是(xTL,yTL)，则(x0,y0)可以是(xTL+i,yTL+j)中的任何一个，其中i可以是-1、0、Wb-1或Wb；j可以是-1、0、Hb-1或Hb。
iii.假设Badj中左上角样点的坐标是(xTL,yTL)，并且(x0,y0)＝(xTL+i,yTL+j)。
1.i和j可以取决于Badj的位置。例如，如果Badj是图21中的块L，则i＝0，j＝Hb-1，但是如果Badj是图21中的块A，则i＝Wb-1，j＝0。
2.i和j可以取决于当前块的宽度和高度。
3.i和j可以在VPS/SPS/PPS/条带头/片组头/片/CTU/CU中被信令通知。
4.在另一示例中，i和j在不同的标准等级/级别/层级中可能不同。
iv.位置(x,y)可以在当前块的子块中，则取决于MVa来继承子块的MV。
v.位置(x,y)可以是当前块的一个角，则取决于MVa来继承当前块的CPMV。
1.在一个示例中，继承的CPMV可以用于预测仿射帧间编解码的当前块的所信令通知的CPMV。
2.在一个示例中，继承的CPMV可以直接用作仿射Merge编解码的当前块的CPMV。
vi.在一个示例中，如果当前块使用4参数仿射模型，则应用等式(3)。如果当前块使用6参数仿射模型，则应用等式(4)。
vii.可替换地，不管当前块使用4参数仿射模型还是6参数仿射模型，都应用等式(4)。
c)等式(3)和等式(4)中的a、b、c和d计算如下
Figure BDA0003101304560000261
i.在一个示例中，a、b、c和d是从覆盖相邻的临近基本块Badj的CU的第二组或第三组中存储的CPMV中推导出的，如项目符号1中所声明的。假设覆盖相邻的临近基本块Badj的CU是块Z，则mvt0＝(mvh t0,mvv t0)，mvt1＝(mvh t1,mvv t1)，mvt2＝(mvh t2,mvv t2)是块Z的第二组或第三组中的CPMV。wt和ht是块Z的宽度和高度。
ii.在一个示例中，a、b、c和d是从覆盖相邻的临近基本块Badj的CU的第一组中存储的CPMV中推导出的，如项目符号1中所声明的。假设覆盖相邻的临近基本块Badj的CU是块Z，则mvt0＝(mvh t0,mvv t0)、mvt1＝(mvh t1,mvv t1)和mvt2＝(mvh t2,mvv t2)是块Z的第一组中的CPMV。wt和ht是项目符号2中声明的PW和PH。
iii.在一个示例中，直接从存储装置中提取mvh t1-mvh t0、mvv t1-mvv t0、mvh t2-mvh t0、mvv t2-mvv t0，如项目符号3中所声明的。
图21示出了存储在相邻的临近基本块中的MV的示例。
图22示出了4×4基本块中的位置。
减少仿射继承所需的线缓冲存储。
7.存储在与当前块相邻地临近的第一基本块中的第一MV和存储在与第一基本块具有已知偏移的第二基本块中的第二MV被用于推导当前块的CPMV。
a)在一个示例中，存储在第一相邻的临近基本块中的MV被表示为MVa＝(mvh a,mvv a)，然后通过等式(3)推导出表示为(mvh(x,y),mvv(x,y))的、位于位置(x,y)的当前块的仿射继承MV，并且通过等式(5)推导出a、b。
i.在一个示例中，等式(5)中的mvt0和mvt1分别被设置为等于存储在第一基本块中的MV和存储在第二基本块中的MV。wt被设置为两个基本块之间的水平偏移。
b)可替换地，a、b可以推导为
Figure BDA0003101304560000271
其中，ht被设置为两个基本块之间的水平偏移。
c)例如，wt和ht必须是2N的形式，诸如4、8、16……
d)假设(xLT0,yLT0)和(xLT1,yLT1)分别表示第一基本块和第二基本块的左上角样点的坐标，则
i.第一基本块和第二基本块之间的水平偏移被定义为xLT1-xLT0；
ii.第一基本块和第二基本块之间的垂直偏移被定义为yLT1-yLT0；
e)在一个示例中，当第一基本块在当前块(诸如图23中的块A、AL和AR)的上方时，yLT1-yLT0必须等于0。
f)在一个示例中，当第一基本块在当前块的左边时(诸如图23中的块L、LB和AL)，xLT1-xLT0必须等于0。
g)如何选择第二基本块取决于第一块的位置。
i.例如，如果xLT0％M不等于0，则yLT1＝yLT0且xLT1＝xLT0–offset，其中offset是诸如4、8或16的正数，例如，M＝8且offset＝4。
ii.例如，如果xLT0％M等于0，则yLT1＝yLT0且yLT1＝yLT0+offset，其中offset是诸如4、8或16的正数，例如，M＝8且offset＝4。iii.例如，如果xLT0％M等于0，则yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是诸如4、8或16的正数，例如，M＝8且offset＝4。iv.例如，如果xLT0％M不等于0，则xLT1＝xLT0且yLT1＝yLT0–offset，其中offset是诸如4、8或16的正数，例如，M＝8且offset＝4。
v.例如，如果xLT0％M等于0，则xLT1＝xLT0且yLT1＝yLT0+offset，其中offset是诸如4、8或16的正数，例如，M＝8且offset＝4。
vi.图23示出了成对的第一基本块和第二基本块的示例：AL和AL’、A和A’、AR和AR’、L和L’、LB和LB’。
vii.例如，如果第一块在当前块的左上方(诸如图23中的块AL)，则yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是诸如4、8或16的正数。
viii.例如，如果第一块在当前块的右上方(诸如图23中的块AR)，则yLT1＝yLT0且xLT1＝xLT0-offset，其中offset是诸如4、8或16的正数。
ix.例如，如果第一块在当前块的左上方(诸如图23中的块AL)，并且当前块的左边界也是CTU的左边界，则yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是诸如4、8或16的正数。
x.例如，如果第一块在当前块的右上方(诸如图23中的块AR)，并且当前块的右边界也是CTU的右边界，则yLT1＝yLT0且xLT1＝xLT0-offset，其中offset是诸如4、8或16的正数。
xi.例如，如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块(诸如图23中的块AL)的左上坐标，则yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是诸如4、8或16的正数。
xii.例如，如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块(诸如图23中的块AR)的右上坐标，则yLT1＝yLT0且xLT1＝xLT0-offset，其中offset是诸如4、8或16的正数。
xiii.例如，如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块(诸如图23中的块AL)的左上坐标，并且当前块的左边界也是CTU的左边界，则yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是诸如4、8或16的正数。
xiv.例如，如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块(诸如图23中的块AR)的右上坐标，并且当前块的右边界也是CTU的右边界，则yLT1＝yLT0且xLT1＝xLT0-offset，其中offset是诸如4、8或16的正数。
h)第二基本块可以从若干个候选基本块中选择。
i.例如，M个候选基本块的左上位置被表示为(xC0,yC0)、(xC1yC1)、……、(xCM-1,yCM-1)。按顺序检查M个候选基本块，以找到一个候选基本块，该候选基本块是帧间编解码的并且具有参考与第一基本块的MV所参考的参考图片相同的MV。所找到的候选被选为第二基本块。
1.在一个示例中，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0–offset，其中offset是诸如4、8或16的正数。
2.在一个示例中，M＝2。xC0＝xLT0，yC0＝yLT0–offset，xC1＝xLT0,yC1＝yLT0–offset，其中offset是诸如4、8或16的正数。
3.在一个示例中，M＝2。yC0＝yLT0,xC0＝xLT0–offset,yC1＝yLT0,xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
4.在一个示例中，M＝2。xC0＝xLT0，yC0＝yLT0–offset，xC1＝xLT0，yC1＝yLT0+offset，其中offset是诸如4、8或16的正数。
ii.是否和/或如何从候选基本块中选择第二基本块可以取决于第一基本块的位置和/或当前块的位置。
1.例如，M＝1。如果第一块在当前块的左上方(诸如图23中的块AL)，则yC0＝yLT0，xC0＝xLT0+offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
2.例如，M＝1。如果第一块在当前块的右上方(诸如图23中的块AR)，则yC0＝yLT0，xC0＝xLT0-offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
3.例如，M＝1。如果第一块在当前块的左上方(诸如图23中的块AL)，并且当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0+offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
4.例如，M＝1。如果第一块在当前块的右上方(诸如图23中的块AR)，并且当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0-offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
5.例如，M＝1。如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块(诸如图23中的块AL)的左上坐标，则yC0＝yLT0，xC0＝xLT0+offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
6.例如，M＝1。如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块(诸如图23中的块AR)的右上坐标，则yC0＝yLT0，xC0＝xLT0-offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
7.例如，M＝1。如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块(例如图23中的块AL)的左上坐标，并且当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0+offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
8.例如，M＝1。如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块(诸如图23中的块AR)的右上坐标，并且当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0-offset，其中offset是诸如4、8或16的正数。
a.例如，在其他情况下，M＝2。yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是诸如4、8或16的正数。
i)如果不能找到第二基本块，则不能从第一基本块进行仿射继承，该第二基本块是帧间编解码的并且具有参考与第一基本块的MV所参考的参考图片相同的MV。
j)在一个示例中，是否以及如何应用该项目符号中的方法可以取决于当前块的位置。
i.例如，该项目符号中的方法仅在仿射模型从上方的临近块继承并且其不在当前CTU或CTU行中时应用。
ii.例如，该项目符号中的方法仅在仿射模型从上方或左边的临近块继承并且其不在当前CTU时应用。
k)提出了通过从其推导出仿射模型继承的子块来识别第一代表子块。在这种情况下，与从其推导出仿射模型继承的一个块相关联的运动矢量被用作等式(3)中的(mvh a,mvv a)。
l)提出了如图24所示的实施例。
i.如果当前块从基本块BB继承仿射模型(BB可以是A、AR或AL，BB的左上位置是(xBB,yBB)，BB必须是仿射编解码的)，则BB被视为第一相邻的临近基本块。并且以下过程适用于找到第二相邻的临近基本块。
如果xBB％8＝＝0，则首先检查BB右边的基本块BBR(如果BB是A，则BBR是AR；如果BB是AR，则BBR是AR’；如果BB是AL，则BBR是AL”)；否则(xBB％8！＝0)，则首先检查BB左边的基本块BBL(如果BB是A，则BBL是A’；如果BB是AR，则BBL是A；如果BB是AL，则BBL是AL’)。
ii.当首先检查BBR时，如果BBR是仿射编解码的，并且它具有给定的参考列表的与BB相同的参考索引，则BBR被视为第二相邻的临近基本块。否则，BBL将被视为第二相邻的临近基本块。
iii.当首先检查BBL时，如果BBL是仿射编解码的，并且它具有给定的参考列表的与BB相同的参考索引，则BBL被视为第二相邻的临近基本块。否则，BBR将被视为第二相邻的临近基本块。
m)例如，是从多个候选中还是从预定义的偏移中找到第二块取决于第一块的位置和/或当前块的位置。
i.提出了如图24所示的实施例。
1.如果当前块从基本块BB继承仿射模型(BB可以是A、AR或AL，BB的左上位置是(xBB,yBB)，BB必须是仿射编解码的)，则BB被视为第一相邻的临近基本块。并且以下过程适用于找到第二相邻的临近基本块。
a.如果BB是AL，并且当前块的左边界是CTU的左边界，则仅检查BB右边的基本块BBR(AL”)。如果BBR是仿射编解码的，并且它具有给定的参考列表的与BB相同的参考索引，则BBR被视为第二相邻的临近基本块。否则，从BB继承的仿射模型不可用。
b.否则，如果xBB％S＝＝0，则首先检查BB右边的基本块BBR(如果BB是A，则BBR是AR；如果BB是AR，则BBR是AR’；如果BB是AL，则BBR是AL”)；否则(xBB％S！＝0)，首先检查BB左边的基本块BBL(如果BB是A，则BBL是A’；如果BB是AR，则BBL是A；如果BB是AL，则BBL是AL’)。例如，S等于8。
i.当首先检查BBR时，如果BBR是仿射编解码的，并且它具有给定的参考列表的与BB相同的参考索引，则BBR被视为第二相邻的临近基本块。否则，BBL将被视为第二相邻的临近基本块。
ii.当首先检查BBL时，如果BBL是仿射编解码的，并且它具有给定的参考列表的与BB相同的参考索引，则BBL被视为第二相邻的临近基本块。否则，BBR将被视为第二相邻的临近基本块。
n)在本文档中公开的第一基本单元和第二基本单元之间的offset是正整数。
i.在一个示例中，offset必须是2K的形式。
ii.在一个示例中，offset可以取决于最小允许的CU宽度。
iii.在一个示例中，offset可以取决于最小允许的CU高度。
iv.在一个示例中，offset可以取决于基本块宽度。
v.在一个示例中，offset可能取决于基本块高度。
vi.在一个示例中，offset可以取决于仿射编解码适用的CU的最小允许宽度。
vii.在一个示例中，offset可以取决于仿射编解码适用的CU的最小允许高度。
viii.在一个示例中，offset可以从编码器信令通知给解码器。
o)如果当基本块Q是第一块时，基本块P被选择作为第二块，则当P是第一块时，不允许选择Q作为第二块。
i.在一个示例中，不允许P是第一块。
ii.在一个示例中，当P是第一块时，如果Q在P的右边，则第二块只能从P的左边的基本单元中选择。
iii.在一个示例中，当P是第一块时，如果Q在P的左边，则第二块只能从P的右边的基本单元中选择。
iv.在一个示例中，当P是第一块时，如果Q在P的下方，则第二块只能从P的上方的基本单元中选择。
v.在一个示例中，当P是第一块时，如果Q在P的上方，则第二块只能从P的下方的基本单元中选择。
p)在一个示例中，相邻的临近基本块可以在与当前块相邻的行或列上。例如，在图23中，AL’、AR’、LB’也可以被视为相邻的临近块。
q)在一个示例中，如果第一基本块满足以下条件中的一个、几个或全部，则认为它是“有效的”：
i.它是帧间编解码的；
ii.它不是帧内块复制编解码的；
iii.它是仿射编解码的；
iv.它是仿射Merge编解码的；
v.它是仿射帧间编解码的；
r)在一个示例中，第二基本块是否被认为是“有效的”可以取决于第一基本块的信息。
s)在一个示例中，如果第二基本块满足以下条件中的一个、几个或全部，则认为它是“有效的”：
i.它是帧间编解码的；
ii.它不是帧内块复制编解码的；
iii.它是仿射编解码的；
iv.它是仿射Merge编解码的；
v.它是仿射帧间编解码的；
vi.它具有与第一基本块相同的帧间预测方向；
vii.它具有与第一基本块相同的参考列表0的参考索引；
viii.它具有与第一基本块相同的参考列表1的参考索引；
ix.它具有与第一基本块相同的帧间预测方向和相同的参考索引；
x.它具有与第一基本块相同的参考列表X(X是0和/或1)中参考图片的图片顺序计数(POC)值；
t)在一个示例中，检查临近基本块(诸如图24中的AR、A和AL1)上方的每个候选，以便确定它是否是有效的第一基本块。例如，顺序可以是AR、A、AL1或A、AR、AL1。
i.在一个示例中，如果检查一个基本块BB(BB可以是AR、A或AL1)，并且BB是有效的第一基本块，则检查其左边的基本块和/或其右边的基本块，以便找到对应的第二基本块。
1.在一个示例中，首先检查BB右边的基本块BBR。如下给出用于确定第一基本块和第二基本块的详细步骤的示例：
-如果BBR是有效的第二基本块，则输出BB和BBR作为第一基本块和第二基本块；
-否则(BBR无效)，检查BB左边的基本块BBL；
i.如果BBL是有效的第二基本块，则输出BB和BBL作为第一基本块和第二基本块；
ii.否则(BBL无效)，则按顺序检查下一个基本块是第一基本块。在替代示例中，不能输出有效的第一基本块和第二基本块。
2.可替换地，首先检查BB左边的基本块BBL。如下给出用于确定第一基本块和第二基本块的详细步骤的示例：
-如果BBL是有效的第二基本块，则输出BB和BBL作为第一基本块和第二基本块；
-否则(BBL无效)，检查BB右边的基本块BBR；
i.如果BBR是有效的第二基本块，则输出BB和BBR作为第一基本块和第二基本块；
ii.否则(BBR无效)，则按顺序检查下一个基本块，确定它是否是有效的第一基本块。
1.可替换地，没有有效的第一基本块和第二基本块可以从上方临近基本块输出。
ii.在一个示例中，如果检查一个基本块BB(BB可以是AR、A或AL1)，并且BB是有效的第一基本块，则仅检查其左边的基本块BBL，以找到对应的第二基本块。如下给出用于确定第一基本块和第二基本块的详细步骤的示例：
-如果BBL是有效的第二基本块，则输出BB和BBL作为第一基本块和第二基本块；
-否则(BBL无效)，则输出BB和BB右边的基本块BBR作为第一基本块和第二基本块；
a.可替换地，BB不被用作第一基本块，并且按顺序检查下一个基本块以确定它是否是有效的第一基本块。
b.可替换地，没有有效的第一基本块和第二基本块可以从上方临近基本块输出。
iii.可替换地，如果检查基本块BB(BB可以是AR、A或AL1)，并且BB是有效的第一基本块，则仅检查其右边的基本块BBR以找到对应的第二基本块。如下给出用于确定第一基本块和第二基本块的详细步骤的示例：
-如果BBR是有效的第二基本块，则输出BB和BBR作为第一基本块和第二基本块；
-否则(BBR无效)，则输出BB和BB左边的基本块BBL作为第一基本块和第二基本块；
a.可替换地，BB不被用作第一基本块，并且按顺序检查下一个基本块以确定它是否是有效的第一基本块。
b.可替换地，没有有效的第一基本块和第二基本块可以从上方临近基本块输出。
图27和图28示出了如何选择第一基本块和第二基本块的两个示例性流程图。
iv.在一个示例中，可以检查哪个上方临近基本块来确定第一基本块可以取决于当前块的位置和/或仿射运动补偿的子块尺寸。
1.例如，如果当前块在CTU的左边界，则候选基本块是图24中的AR、A和AL”。例如，如果xPos00％CTU_W＝＝0(xPos00是当前块的左上坐标，CTU_W是CTU的宽度)，则当前块位于CTU的左边界。
a.例如，如果当前块位于CTU的左边界，则候选基本块是AR、A和AL”；否则，候选是AR、A和AL1。
v.基本块是否可以用作第一基本块可以取决于当前块的位置。
1.例如，如果当前块位于CTU的左边界，则图24中的基本块AL1不能用作第一基本块。
2.例如，如果当前块位于CTU的左边界，则图24中的基本块AL’不能用作第一基本块。
3.例如，如果当前块位于CTU的右边界，则图24中的基本块AR不能用作第一基本块。例如，如果(xPos00+W)％CTU_W＝＝0(xPos00是当前块的左上坐标，W是当前块的宽度，CTU_W是CTU的宽度)，则当前块位于CTU的右边界。
4.例如，如果当前块位于CTU的右边界，则图24中的基本块AR’不能用作第一基本块。
vi.基本块是否可以用作第二基本块可以取决于当前块的位置。
1.例如，如果当前块位于CTU的左边界，则图24中的基本块AL1不能用作第二基本块。
2.例如，如果当前块位于CTU的左边界，则图24中的基本块AL’不能用作第二基本块。
3.例如，如果当前块位于CTU的右边界，则图24中的基本块AR不能用作第二基本块。
4.例如，如果当前块位于CTU的右边界，则图24中的基本块AR’不能用作第二基本块。
u)在一个示例中，可以交换第一基本块和第二基本块。
i.在一个示例中，首先交换输出的第一基本块和第二基本块，然后将其用于对一个块进行解码。
ii.可替换地，可以交换上述第一基本块和第二基本块的确定过程。
图23示出了两个相邻的临近块的MV的示例。
对所存储的仿射参数的扩展
8.可以在存储之前对所存储的仿射参数进行移位。假设要存储m(m可以是a、b、c或d)，则
a)例如，m’＝SatShift(m,n)。存储m’而不是m。
b)例如，m’＝Shift(m,n)。存储m’而不是m。
c)例如，n是整数，诸如2或4；
i.在一个示例中，n取决于运动精度。
ii.在一个示例中，对于不同的仿射参数，n可以不同。
i.在一个示例中，n可以在VPS/SPS/PPS//条带头/片组头/片/CTU/CU中被信令通知。
ii.在另一示例中，n在不同的标准等级/级别/层级中可能不同。
d)在一个示例中，所存储的仿射参数在用于仿射继承之前首先左移。
e)在一个示例中，首先对所存储的m’进行移位，然后在其用于仿射继承之前对其进行限幅。
对仿射HMVP的扩展
9.在一个示例中，如项目符号1和项目符号2中公开的第一组中的CPMV可以存储在仿射HMVP缓冲器/表/列表中，以表示一个基于历史的候选仿射模型。
10.在一个示例中，如项目符号3中公开的CPMV之间的差可以存储在仿射HMVP缓冲器/表/列表中，以表示一个基于历史的候选仿射模型。
11.本文中提出的诸如项目符号4和项目符号5的所有方法都可以应用于仿射HMVP缓冲器/表/列表中存储的CPMV或CPMV之间的差。
12.当CPMV或CPMV之间的差不是来自临近块而是来自仿射历史缓冲器/表/列表时，可以应用项目符号6中公开的所有方法。
更精确的MV位置
13.提出了用于从一个块进行仿射继承的MV的位置应该与用于推导出该块的MV的位置对齐。
a)在如图20所示的一个示例中，通过使用4参数模型以及通过下式来推导出当前CU的控制点矢量
Figure BDA0003101304560000381
和
Figure BDA0003101304560000382
Figure BDA0003101304560000383
Figure BDA0003101304560000384
并且如果当前CU使用6参数仿射运动模型，则通过下式推导出控制点矢量
Figure BDA0003101304560000385
Figure BDA0003101304560000386
Figure BDA0003101304560000387
i.例如，offx＝1且offy＝-1；
ii.例如，offx＝2且offy＝-2；
iii.例如，offx＝1且offy＝-2；
iv.例如，offx＝2且offy＝-1；
v.例如，offx＝1且offy＝-3；
vi.例如，offx＝2且offy＝-3；
b)在如图20所示的一个示例中，通过使用4参数模型以及通过下式来推导出当前CU的控制点矢量
Figure BDA0003101304560000388
和
Figure BDA0003101304560000389
Figure BDA00031013045600003810
Figure BDA00031013045600003811
并且如果当前CU使用6参数仿射运动模型，则通过下式推导出控制点矢量
Figure BDA0003101304560000391
Figure BDA0003101304560000392
Figure BDA0003101304560000393
i.例如，offx＝-1和offy＝-1；
ii.例如，offx＝-2和offy＝-2；
iii.例如，offx＝-1和offy＝-2；
iv.例如，offx＝-2和offy＝-1；
v.例如，offx＝-1和offy＝-3；
vi.例如，offx＝-2和offy＝-3；
5.实施例
在一个实施例中，项目符号6被应用于不在CTU行边界处进行仿射继承。示例性解码过程被指定为(这里的章节编号是指VVC标准的当前版本)：
8.3.3.2子块Merge模式下运动矢量和参考索引的推导过程
……
2.当sps_affine_enabled_flag等于1时，样点位置(xNbA0,yNbA0)、(xNbA1,yNbA1)、(xNbA2,yNbA2)、(xNbB0,yNbB0)、(xNbB1,yNbB1)、(xNbB2,yNbB2)、(xNbB3,yNbB3)以及变量numSbX和numSbY的推导如下：
(xA0,yA0)＝(xCb-2,yCb+cbHeight+2) (8-309)
(xA1,yA1)＝(xCb-2,yCb+cbHeight-2) (8-310)
(xA2,yA2)＝(xCb-1,yCb) (8-311)
(xB0,yB0)＝(xCb+cbWidth+2,yCb-2) (8-312)
(xB1,yB1)＝(xCb+cbWidth-2,yCb-2) (8-313)
(xB2,yB2)＝(xCb-2,yCb-2) (8-314)
(xB3,yB3)＝(xCb,yCb-1) (8-315)
numSbX＝cbWidth>>2 (8-316)
numSbY＝cbHeight>>2 (8-317)
3.当sps_affine_enabled_flag等于1时，变量availableFlagA被设置为等于FALSE，并且以下内容适用于从(xNbA0,yNbA0)到(xNbA1,yNbA1)的(xNbAk,yNbAk)：
-以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)和临近亮度位置(xNbAk,yNbAk)作为输入，调用如条款6.4.X中指定的块的可用性推导过程，并且将输出分配给块可用性标志availableAk。
-当availableAk等于TRUE且MotionModelIdc[xNbAk][yNbAk]大于0且availableFlagA等于FALSE时，以下情况适用：
-变量availableFlagA被设置为等于TRUE，motionModelIdcA被设置为等于MotionModelIdc[xNbAk][yNbAk]，(xNb,yNb)被设置为等于(CbPosX[xNbAk][yNbAk],CbPosY[xNbAk][yNbAk])，nbW被设置为等于CbWidth[xNbAk][yNbAk]，nbH被设置为等于CbHeight[xNbAk][yNbAk]，并且numCpMv被设置为等于MotionModelIdc[xNbAk][yNbAk]+1。
-对于被0或1替换的X，以下情况适用：
-当PredFlagLX[xNbAk][yNbAk]等于1时，以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度和高度(cbWidth,cbHeight)、临近亮度编解码块位置(xNb,yNb)、临近子块中心位置(xNbAk,yNbAk)、临近亮度编解码块宽度和高度(nbW,nbH)以及控制点运动矢量的数量numCpMv作为输入，以控制点运动矢量预测值候选cpMvLXA[cpIdx](其中cpIdx＝0..numCpMv-1)作为输出，调用如条款8.3.3.5中指定的从临近块推导出亮度仿射控制点运动矢量的推导过程。
-进行以下分配：
predFlagLXA＝PredFlagLX[xNbAk][yNbAk] (8-318)
refIdxLXA＝RefIdxLX[xNbAk][yNbAk] (8-319)
4.当sps_affine_enabled_flag等于1时，变量availableFlagB被设置为等于FALSE，并且以下内容适用于从(xNbB0,yNbB0)到(xNbB2,yNbB2)的(xNbBk,yNbBk)：
-以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)和临近亮度位置(xNbBk,yNbBk)作为输入，调用如条款6.4.X中指定的块的可用性推导过程，并且将输出分配给块可用性标志availableBk。
-当availableBk等于TRUE且MotionModelIdc[xNbBk][yNbBk]大于0且availableFlagB等于FALSE时，以下情况适用：
-变量availableFlagB被设置为等于TRUE，motionModelIdcB被设置为等于MotionModelIdc[xNbBk][yNbBk]，(xNb,yNb)被设置为等于(CbPosX[xNbAB][yNbBk],CbPosY[xNbBk][yNbBk])，nbW被设置为等于CbWidth[xNbBk][yNbBk]，nbH被设置为等于CbHeight[xNbBk][yNbBk]，并且numCpMv被设置为等于MotionModelIdc[xNbBk][yNbBk]+1。
-对于被0或1替换的X，以下情况适用：
-当PredFlagLX[xNbBk][yNbBk]等于TRUE时，以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度和高度(cbWidth,cbHeight)、临近亮度编解码块位置(xNb,yNb)、临近子块中心位置(xNbBk,yNbBk)、临近亮度编解码块宽度和高度(nbW,nbH)以及控制点运动矢量的数量numCpMv作为输入，以控制点运动矢量预测值候选cpMvLXB[cpIdx](其中cpIdx＝0..numCpMv-1)作为输出，调用如条款8.3.3.5中指定的从临近块推导出亮度仿射控制点运动矢量的推导过程。
-进行以下分配：
8.3.3.5从临近块推导亮度仿射控制点运动矢量的推导过程
该过程的输入为：
-亮度位置(xCb,yCb)，指定相对于当前图片的左上亮度样点的当前亮度编解码块的左上样点，
-两个变量cbWidth和cbHeight，指定当前亮度编解码块的宽度和高度，
-亮度位置(xNb,yNb)，指定相对于当前图片的左上亮度样点的临近亮度编解码块的左上样点，
-亮度位置(xNbC,yNbC)，指定相对于当前图片的左上亮度样点的临近亮度编解码子块的中心样点，
-两个变量nNbW和nNbH，指定临近亮度编解码块的宽度和高度，
-控制点运动矢量的数量numCpMv。
该过程的输出是亮度仿射控制点矢量cpMvLX[cpIdx]，其中cpIdx＝0..numCpMv–1，并且X为0或1。
变量isCTUboundary被推导如下：
-如果以下所有条件均为真，则isCTUboundary被设置为等于TRUE：
-((yNb+nNbH)％CtbSizeY)等于0
-yNb+nNbH等于yCb
-否则，isCTUboundary被设置为等于FALSE。
变量log2NbW和log2NbH推导如下：
log2NbW＝Log2(nNbW) (8-369)
log2NbH＝Log2(nNbH) (8-370)
变量mvScaleHor、mvScaleVer、dHorX和dVerX的推导如下：
-如果isCTUboundary等于TRUE，则以下情况适用：
mvScaleHor＝MvLX[xNb][yNb+nNbH-1][0]<<7 (8-371)
mvScaleVer＝MvLX[xNb][yNb+nNbH-1][1]<<7 (8-372)
dHorX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][0]-MvLX[xNb][yNb+nNbH-1][0])<<(7-log2NbW) (8-373)
dVerX＝(MvLX[xNb+nNbW-1][yNb+nNbH-1][1]-MvLX[xNb][yNb+nNbH-1][1])<<(7-log2NbW) (8-374)
-否则(isCTUboundary等于FALSE)，以下情况适用：
mvScaleHor＝MvLX[xNbC][yNbC][0][0]<<7 (8-375)
mvScaleVer＝MvLX[xNbC][yNbC][0][1]<<7 (8-376)
dHorX＝(CpMvLX[xNb+nNbW-1][yNb][1][0]-CpMvLX[xNb][yNb][0][0])<<(7-log2NbW) (8-377)
dVerX＝(CpMvLX[xNb+nNbW-1][yNb][1][1]-CpMvLX[xNb][yNb][0][1])<<(7-log2NbW) (8-378)
变量dHorY和dVerY推导如下：
-如果isCTUboundary等于FALSE，并且MotionModelIdc[xNb][yNb]等于2，则以下情况适用：
dHorY＝(CpMvLX[xNb][yNb+nNbH-1][2][0]-CpMvLX[xNb][yNb][2][0])<<(7-log2NbH) (8-379)
dVerY＝(CpMvLX[xNb][yNb+nNbH-1][2][1]-CpMvLX[xNb][yNb][2][1])<<(7-log2NbH) (8-380)
-否则(isCTUboundary等于TRUE或MotionModelIdc[xNb][yNb]等于1)，以下情况适用：
dHorY＝-dVerX (8-381)
dVerY＝dHorX (8-382)
亮度仿射控制点运动矢量cpMvLX[cpIdx](其中cpIdx＝0..numCpMv–1，并且X为0或1)推导如下：
-当isCTUboundary等于TRUE时，yNb被设置为等于yCb。然后xNbC被设置为等于xNb，yNbC被设置为等于yNb。
-前两个控制点运动矢量cpMvLX[0]和cpMvLX[1]推导如下：
cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb-xNbC)+dHorY*(yCb-yNbC)) (8-383)
cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb-xNbC)+dVerY*(yCb-yNbC)) (8-384)
cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth-xNbC)+dHorY*(yCb-yNbC)) (8-385)
cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth-xNbC)+dVerY*(yCb-yNbC)) (8-386)
-如果numCpMv等于3，则第三控制点矢量cpMvLX[2]推导如下：
cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb-xNbC)+dHorY*(yCb+cbHeight-yNbC)) (8-387)
cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb-xNbC)+dVerY*(yCb+cbHeight-yNbC)) (8-388)
-以设置为等于cpMvLX[cpIdx]的mvX、设置为等于7的rightShift、以及设置为等于0的leftShift作为输入，并且以取整的cpMvLX[cpIdx]作为输出(其中X为0或1，并且cpIdx＝0..numCpMv-1)，调用如条款8.3.2.12中指定的运动矢量的取整过程。
……
8.3.3.7亮度仿射控制点运动矢量预测值的推导过程
该过程的输入为：
……
1.列表numCpMvpCandLX中的控制点运动矢量预测值候选的数量被设置为等于0。
2.变量availableFlagA和availableFlagB都被设置为等于FALSE。
3.样点位置(xNbA0,yNbA0)、(xNbA1,yNbA1)、(xNbA2,yNbA2)、(xNbB0,yNbB0)、(xNbB1,yNbB1)和(xNbB2,yNbB2)推导如下：
(xA0,yA0)＝(xCb-2,yCb+cbHeight+2) (8-440)
(xA1,yA1)＝(xCb-2,yCb+cbHeight-2) (8-441)
(xB0,yB0)＝(xCb+cbWidth+2,yCb-2) (8-442)
(xB1,yB1)＝(xCb+cbWidth-2,yCb-2) (8-443)
(xB2,yB2)＝(xCb-2,yCb-2) (8-444)
4.以下内容适用于从(xNbA0,yNbA0)到(xNbA1,yNbA1)的(xNbAk,yNbAk)：
-以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)和临近亮度位置(xNbAk,yNbAk)作为输入，调用如条款6.4.X[Ed.(BB):Neighbouring blocks availabilitychecking process tbd]中指定的块的可用性推导过程，并且将输出分配给块可用性标志availableAk。
-当availableAk等于TRUE且MotionModelIdc[xNbAk][yNbAk]大于0且availableFlagA等于FALSE时，以下情况适用：
-变量(xNb,yNb)被设置为等于(CbPosX[xNbAk][yNbAk],CbPosY[xNbAk][yNbAk])，nbW被设置为等于CbWidth[xNbAk][yNbAk]，并且nbH被设置为等于CbHeight[xNbAk][yNbAk]。
-如果PredFlagLX[xNbAk][yNbAk]等于1，并且DiffPicOrderCnt(RefPicListX[RefIdxLX[xNbAk][yNbAk]],RefPicListX[refIdxLX])等于0，则以下情况适用：
-变量availableFlagA被设置为真
-以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度和高度(cbWidth,cbHeight)、临近亮度编解码块位置(xNb,yNb)、临近亮度编解码块宽度和高度(nbW,nbH)以及控制点运动矢量的数量numCpMv作为输入，以控制点运动矢量预测值候选cpMvpLX[cpIdx](其中cpIdx＝0..numCpMv-1)作为输出，调用如条款8.3.3.5中指定的从临近块推导出亮度仿射控制点运动矢量的推导过程。
-以设置为等于cpMvpLX[cpIdx]的mvX、设置为等于2的rightShift、以及设置为等于2的leftShift作为输入，并且以取整的cpMvpLX[cpIdx]作为输出(其中cpIdx＝0..numCpMv-1)，调用如条款8.3.2.12中指定的运动矢量的取整过程。
-进行以下分配：
cpMvpListLX[numCpMvpCandLX][0]＝cpMvpLX[0] (8-445)
cpMvpListLX[numCpMvpCandLX][1]＝cpMvpLX[1] (8-446)
cpMvpListLX[numCpMvpCandLX][2]＝cpMvpLX[2] (8-447)
numCpMvpCandLX＝numCpMvpCandLX+1 (8-448)
-否则如果PredFlagLY[xNbAk][yNbAk](其中Y＝！X)等于1且DiffPicOrderCnt(RefPicListY[RefIdxLY[xNbAk][yNbAk]],RefPicListX[refIdxLX])等于0，则以下情况适用：
-变量availableFlagA被设置为TRUE
-以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度和高度(cbWidth,cbHeight)、临近亮度编解码块位置(xNb,yNb)、临近子块中心位置(xNbAk,yNbAk)、临近亮度编解码块宽度和高度(nbW,nbH)以及控制点运动矢量的数量numCpMv作为输入，以控制点运动矢量预测值候选cpMvpLY[cpIdx](其中cpIdx＝0..numCpMv-1)作为输出，调用如条款8.3.3.5中指定的从临近块推导出亮度仿射控制点运动矢量的推导过程。
-以设置为等于cpMvpLY[cpIdx]的mvX、设置为等于2的rightShift、以及设置为等于2的leftShift作为输入，并且以取整的cpMvpLY[cpIdx]作为输出(其中cpIdx＝0..numCpMv-1)，调用如条款8.3.2.12中指定的运动矢量的取整过程。
-进行以下分配：
cpMvpListLX[numCpMvpCandLX][0]＝cpMvpLY[0] (8-449)
cpMvpListLX[numCpMvpCandLX][1]＝cpMvpLY[1] (8-450)
cpMvpListLX[numCpMvpCandLX][2]＝cpMvpLY[2] (8-451)
numCpMvpCandLX＝numCpMvpCandLX+1 (8-452)
5.以下内容适用于从(xNbB0,yNbB0)到(xNbB2,yNbB2)的(xNbBk,yNbBk)：
-以设置为等于(xCb,yCb)的当前亮度位置(xCurr,yCurr)和临近亮度位置(xNbBk,yNbBk)作为输入，调用如条款6.4.X[Ed.(BB):Neighbouring blocks availabilitychecking process tbd]中指定的块的可用性推导过程，并且将输出分配给块可用性标志availableBk。
-当availableBk等于TRUE且MotionModelIdc[xNbBk][yNbBk]大于0且availableFlagB等于FALSE时，以下情况适用：
-变量(xNb,yNb)被设置为等于(CbPosX[xNbBk][yNbBk],CbPosY[xNbBk][yNbBk])，nbW被设置为等于CbWidth[xNbBk][yNbBk]，并且nbH被设置为等于CbHeight[xNbBk][yNbBk]。
-如果PredFlagLX[xNbBk][yNbBk]等于1，并且DiffPicOrderCnt(RefPicListX[RefIdxLX[xNbBk][yNbBk]],RefPicListX[refIdxLX])等于0，则以下情况适用：
-变量availableFlagB被设置为TRUE
-以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度和高度(cbWidth,cbHeight)、临近亮度编解码块位置(xNb,yNb)、临近子块中心位置(xNbBk,yNbBk)、临近亮度编解码块宽度和高度(nbW,nbH)以及控制点运动矢量的数量numCpMv作为输入，以控制点运动矢量预测值候选cpMvpLX[cpIdx](其中cpIdx＝0..numCpMv-1)作为输出，调用如条款8.3.3.5中指定的从临近块推导出亮度仿射控制点运动矢量的推导过程。
-以设置为等于cpMvpLX[cpIdx]的mvX、设置为等于2的rightShift、以及设置为等于2的leftShift作为输入，并且以取整的cpMvpLX[cpIdx]作为输出(其中cpIdx＝0..numCpMv-1)，调用如条款8.3.2.12中指定的运动矢量的取整过程。
-进行以下分配：
cpMvpListLX[numCpMvpCandLX][0]＝cpMvpLX[0] (8-453)
cpMvpListLX[numCpMvpCandLX][1]＝cpMvpLX[1] (8-454)
cpMvpListLX[numCpMvpCandLX][2]＝cpMvpLX[2] (8-455)
numCpMvpCandLX＝numCpMvpCandLX+1 (8-456)
-否则，如果PredFlagLY[xNbBk][yNbBk](其中Y＝！X)等于1且DiffPicOrderCnt(RefPicListY[RefIdxLY[xNbBk][yNbBk]],RefPicListX[refIdxLX])等于0，则以下情况适用：
-变量availableFlagB被设置为TRUE
-以亮度编解码块位置(xCb,yCb)、亮度编解码块宽度和高度(cbWidth,cbHeight)、临近亮度编解码块位置(xNb,yNb)、临近亮度编解码块宽度和高度(nbW,nbH)、以及控制点运动矢量的数量numCpMv作为输入，以控制点运动矢量预测值候选cpMvpLY[cpIdx](其中cpIdx＝0..numCpMv-1)作为输出，调用如条款8.3.3.5中指定的从临近块推导出亮度仿射控制点运动矢量的推导过程。
-以设置为等于cpMvpLY[cpIdx]的mvX、设置为等于2的rightShift、以及设置为等于2的leftShift作为输入，并且以取整的cpMvpLY[cpIdx]作为输出(其中cpIdx＝0..numCpMv-1)，调用如条款8.3.2.12中指定的运动矢量的取整过程。
-进行以下分配：
cpMvpListLX[numCpMvpCandLX][0]＝cpMvpLY[0] (8-457)
cpMvpListLX[numCpMvpCandLX][1]＝cpMvpLY[1] (8-458)
cpMvpListLX[numCpMvpCandLX][2]＝cpMvpLY[2] (8-459)
numCpMvpCandLX＝numCpMvpCandLX+1 (8-460)
图24是视频处理装置2600的框图。装置2600可以用于实施本文描述的一种或多种方法。装置2600可以体现在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置2600可以包括一个或多个处理器2602、一个或多个存储器2604和视频处理硬件2606。(多个)处理器2602可以被配置为实施本文档中描述的一种或多种方法。存储器(多个存储器)2604可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件2606可以用于在硬件电路中实施本文档中描述的一些技术。
图25是视频处理的示例方法2500的流程图。方法2500包括：将用于确定其他视频块的继承运动信息的第一组运动矢量(MV)、用于推导当前视频块的子块的MV的第二组MV、以及包括在当前视频块的比特流表示中的第三组MV与当前视频块相关联(2502)；以及使用第一组MV、第二组MV或第三组MV来执行(2504)当前视频块和比特流表示之间的转换。
应当理解，已经公开了几种技术，这些技术通过允许在基于仿射编解码的视频编码和解码期间减少用于存储CPMV的内存量，将有益于结合在诸如智能手机、膝上型电脑、台式机和类似设备的视频处理设备内的视频编码器和解码器实施例。可以使用以下基于子句的描述来描述各种实施例和技术。
1.一种视频处理的方法，包括：
将用于确定其他视频块的继承运动信息的第一组运动矢量(MV)、用于推导当前视频块的子块的MV的第二组MV、以及包括在当前视频块的比特流表示中的第三组MV与当前视频块相关联；以及
使用第一组MV、第二组MV或第三组MV来执行当前视频块和比特流表示之间的转换。
2.根据条款1所述的方法，其中，第一组MV包括分别位于代表点(xF0,yF0)、(xF1,yF1)和(xF2,yF2)的控制点MV(CPMV)MVF0、MVF1和MVF2。
3.根据条款1-2中任一项所述的方法，其中，第二组MV包括分别位于代表点(xS0,yS0)、(xS1,yS1)和(xS2,yS2)的控制点MV(CPMV)，表示为MVS0、MVS1和MVS2。
4.根据条款1-3中任一项所述的方法，其中，第三组MV包括分别位于代表点(xT0,yT0)、(xT1,yT1)和(xT2,yT2)的控制点MV(CPMV)，表示为MVT0、MVT1和MVT2。
5.根据条款1-4中任一项所述的方法，其中，第二组MV与第三组MV相同。
6.根据条款1-5中任一项所述的方法，其中，第一组MV是从第二组MV或第三组MV推导出的。
7.根据条款1-2中任一项所述的方法，其中，第一组中两个控制点MV的代表点之间的相对偏移独立于当前视频块的宽度或高度。
8.根据条款2所述的方法，其中：
yF1＝yF0，xF1＝xF0+PW，或
xF1＝xF0，yF1＝yF0+PH，或
yF2＝yF0，xF2＝xF0+PW，或
xF2＝xF0，yF2＝yF0+PH，或
yF2＝yF1，xF2＝xF1+PW，或
xF2＝xF1，yF2＝yF1+PH，或
其中，PW和PH是整数。
8.根据条款4-7中任一项所述的方法，其中
MVF0＝MVS0，(xF0,yF0)＝(xS0,yS0)，或MVF0＝MVT0，(xF0,yF0)＝(xT0,yT0)；或者
MVF0＝MVS1，(xF0,yF0)＝(xS1,yS1)，或MVF0＝MVT1，(xF0,yF0)＝(xT1,yT1)；或者
MVF0＝MVS2，(xF0,yF0)＝(xS2,yS2)，或MVF0＝MVT2，(xF0,yF0)＝(xT2,yT2)。
9.根据条款2-8中任一项所述的方法，还包括存储差值D1＝MVF1-MVF0。
10.根据条款2-9中任一项所述的方法，还包括存储差值D2＝MVF2-MVF0。
11.根据条款9-10中任一项所述的方法，其中，存储包括存储运动矢量值的比特移位版本。
12.根据条款11所述的方法，其中，存储还包括在存储之前对运动矢量值进行限幅。
条款1-12的其他示例和实施例在第4节中描述，例如，第1-3项。
13.一种视频处理的方法，包括：使用当前块的仿射继承运动矢量(MV)来执行当前块和当前块的比特流表示之间的转换，其中，仿射继承MV是从(1)为相邻的临近基本块(表示为Badj)而存储的MV或者(2)仿射历史列表中推导出的。
14.根据条款13所述的方法，其中，为Badj存储的MV包括：L(左)、A(上)、LB(左下)、AR(右上)和AL(左上)，并且其中，Badj是4×4尺寸的块。
15.根据条款13-14中任一项所述的方法，其中，使用位置(x0,y0)处的Badj的运动矢量MVa来计算当前块中位置(x,y)处的MV，其中(x0,y0)是以下之一：(a)Badj内部的位置，或(b)Badj的外部或边界上的位置。
16.根据条款15所述的方法，其中，位置(x,y)是(1)在当前块的子块中，或(2)在当前块的角。
17.根据条款13-16中任一项所述的方法，其中，当前块使用4参数仿射模型。
18.根据条款13-16中任一项所述的方法，其中，当前块使用6参数仿射模型。
条款13-18的其他示例和实施例在第4节中描述，例如，第3-6项。
19.一种视频处理的方法，包括：使用当前块的仿射继承运动矢量(MV)来执行当前块和当前块的比特流表示之间的转换，其中，仿射继承MV是从存储在与当前块相邻地临近的第一基本块中的第一MV和存储在与第一构建块有一偏移的第二基本块中的第二MV中推导出的。
20.根据条款19所述的方法，其中，仿射继承MV是使用利用系数a和b加权的运动矢量之间的x差和y差的线性加权而推导的，其中a和b是从偏移中推导出的。
21.根据条款19-20中任一项所述的方法，其中，该偏移的值是第一基本块的位置的函数。
22.根据条款19-21中任一项所述的方法，其中，通过按顺序检查M个候选基本块，从M个候选基本块中选择第二基本块，其中M是整数。
23.根据条款19-22中任一项所述的方法，其中，第一构建块和第二基本构建块是帧间编解码的，并且参考相同的参考图片。
24.根据条款1-23中任一项所述的方法，其中，当前块的仿射参数在存储之前进行移位。
25.根据条款24所述的方法，其中，比特移位量(1)随着转换期间使用的运动精度而变化，或者(2)对于不同的仿射参数是不同的。
26.根据条款24所述的方法，其中，仿射参数在存储之前进行限幅。
27.根据条款1-12中任一项所述的方法，其中，第一组MV中的MV被存储并用于当前块的基于历史的候选仿射模型的基于历史的运动矢量预测值表中。
28.根据条款9-10所述的方法，其中，D1和D2被存储并用于当前块的基于历史的候选仿射模型的基于历史的运动矢量预测值表中。
29.根据条款19所述的方法，其中，与当前块相邻地临近的第一基本块是A(上)、AR(右上)或AL(左上)中的一个，并且其中，第一基本块的左上样点被表示为xBB。
30.根据条款29所述的方法，其中(xBB％8＝0)，其中第一基本块右边的块是仿射编解码的，并且具有给定的参考列表的与第一基本块的参考索引相同的参考索引，并且其中第二基本块是第一基本块右边的块。
31.根据条款29所述的方法，其中(xBB％8＝0)，其中第一基本块右边的块不是仿射编解码的，或者具有给定的参考列表的与第一基本块的参考索引不同的参考索引，并且其中第二基本块是第一基本块左边的块。
32.根据条款29所述的方法，其中(xBB％8≠0)，其中第一基本块左边的块是仿射编解码的，并且具有给定的参考列表的与第一基本块的参考索引相同的参考索引，并且其中第二基本块是第一基本块的左边的块。
33.根据条款29所述的方法，其中(xBB％8≠0)，其中第一基本块左边的块不是仿射编解码的，或者具有给定的参考列表的与第一基本块的参考索引不同的参考索引，并且其中第二基本块是第一基本块右边的块。
34.根据条款19所述的方法，其中，与当前块相邻地临近的第一基本块位于与当前块相邻的行或列中。
35.根据条款19所述的方法，其中，至少一个仿射继承MV与第一MV或第二MV对准。
36.根据条款19所述的方法，其中，取决于第一基本块的位置来选择第二基本块，其中第一基本块的位置在当前块的左上、右上、左边界或右边界，并且取决于该位置，基于该位置来选择对应的偏移。
37.根据条款19所述的方法，其中，使用取决于第一基本块的位置或当前块的位置的技术从多个候选块中选择第二基本块。
38.根据条款19-37中任一项所述的方法，其中，基于第一块的位置或当前块的位置做出从多个候选或从预定偏移中找到第二块的决定。
39.根据条款38所述的方法，其中，在当前块从基本块继承仿射模型的情况下，然后将基本块视为第一临近基本块，并根据基于基本块的位置的规则来确定第二临近基本块。
40.根据条款19-39中任一项所述的方法，其中，在基本块P被选择作为第二块并且基本块Q被选择作为第一块的情况下，则该方法不包括在另一视频块的转换期间使用基本块P作为第一块并且使用基本块Q作为第二块。
41.根据条款41所述的方法，其中，另一视频块与当前视频块处于相同编解码树单元行或相同条带中。
条款36-41中描述的技术的其他特征和示例在第4节第7(g)、7(h)、7(m)、7(n)和7(o)项中提供。
42.根据条款1-41中任一项所述的方法，其中，该转换包括从当前块的像素值生成比特流表示。
43.根据条款1-41中任一项所述的方法，其中，该转换包括从比特流表示生成当前块的像素值。
44.一种视频编码器装置，包括被配置为实施根据条款1-43中的任何一项或多项所述的方法的处理器。
45.一种视频解码器装置，包括被配置为实施根据条款1-43中的任何一项或多项所述的方法的处理器。
46.一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行根据条款1至43中任一项所述的方法的程序代码。
图29是处理视频的方法2900的流程图。方法2900包括，将用于确定在第一块之后编解码的块的继承运动信息的第一组控制点运动矢量(CPMV)与用于推导第一块的子块的MV的第二组CPMV或为第一块信令通知的第三组CPMV相关联(2902)，其中第一组CPMV与第二组CPMV或第三组CPMV不相同；基于第一组CPMV来确定(2904)在第一块之后编解码的第二块的继承运动信息；通过使用继承运动信息来执行(2906)第二块和第二块的比特流表示之间的转换。
在一些示例中，第一组CPMV是从第二组CPMV或第三组CPMV推导出的。
在一些示例中，该方法还包括：在第一块的转换之后存储第一组CPMV。
在一些示例中，第二组CPMV与第三组CPMV相同。
在一些示例中，第一组CPMV的多个代表点坐标、第二组CPMV的多个代表点坐标和/或第三组CPMV的多个代表点坐标被定义为相对于在仿射运动补偿过程中使用的一个块或子块的坐标。
在一些示例中，第一组CPMV中的两个CPMV的代表点之间的相对偏移独立于第一块的宽度或高度。
在一些示例中，第一组CPMV的代表点在第一块的内部或第一块的外部。
在一些示例中，yF1＝yF0，xF1＝xF0+PW，或xF1＝xF0，yF1＝yF0+PH，或yF2＝yF0，xF2＝xF0+PW，或xF2＝xF0，yF2＝yF0+PH，或yF2＝yF1，xF2＝xF1+PW，或xF2＝xF1，yF2＝yF1+PH，其中(xF0,yF0)、(xF1,yF1)、(xF2,yF2)是第一组的多个代表点的坐标，并且PW和PH是整数。
在一些示例中，PW＝2M，或PW＝-2M，或PH＝2M，或PH＝-2M，M是2至7范围内的整数。
在一些示例中，不存储PW和PH。
在一些示例中，PW和PH是固定的。
在一些示例中，PW和PH是在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带头、片组头、片或CTU中的至少一个中被信令通知的。
在一些示例中，PW和PH在不同的标准等级或级别或层级中是不同的。
在一些示例中，PW和PH取决于条带或图片的最大编解码单元(CU)尺寸或/和最小CU尺寸。
在一些示例中，在第一组CPMV中，MVF0＝MVS0，(xF0,yF0)＝(xS0,yS0)，或MVF0＝MVT0，(xF0,yF0)＝(xT0,yT0)；或MVF0＝MVS1，(xF0,yF0)＝(xS1,yS1)，或MVF0＝MVT1，(xF0,yF0)＝(xT1,yT1)；或MVF0＝MVS2，(xF0,yF0)＝(xS2,yS2)，或MVF0＝MVT2，(xF0,yF0)＝(xT2,yT2)；其中，运动矢量MVF0、MVF1、MVF2是第一组CPMV的在多个代表点坐标(xF0,yF0)、(xF1,yF1)、(xF2,yF2)处的多个CPMV，运动矢量MVS0、MVS1、MVS2是第二组CPMV的在多个代表点坐标(xS0,yS0)、(xS1,yS1)、(xS2,yS2)处的多个CPMV，并且运动矢量MVT0、MVT1、MVT2是在第三组CPMV的在多个代表点坐标(xT0,yT0)、(xT1,yT1)、(xT2,yT2)处的多个CPMV。
在一些示例中，通过使用以坐标(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为仿射模型的输入坐标的4参数仿射模型，从第二组CPMV中的运动矢量MVS0和MVS1中推导出第一组CPMV中的运动矢量MVF0、MVF1和MVF2。
在一些示例中，通过使用以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为仿射模型的输入坐标的6参数仿射模型，从第二组CPMV中的运动矢量MVS0、MVS1和MVS2中推导出第一组CPMV中的运动矢量MVF0、MVF1和MVF2。
在一些示例中，通过使用以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为仿射模型的输入坐标的4参数仿射模型，从第三组CPMV中的运动矢量MVT0和MVT1中推导出第一组CPMV中的运动矢量MVF0、MVF1和MVF2。
在一些示例中，通过使用以(xF0,yF0)、(xF1,yF1)和(xF2,yF2)作为仿射模型的输入坐标的6参数仿射模型，从第三组CPMV中的运动矢量MVT0、MVT1和MVT2中推导出第一组CPMV中的运动矢量MVF0、MVF1和MVF2。
在一些示例中，仅当第一块是用6参数仿射模型进行编解码的时，才计算包括运动矢量MVF0、MVF1和MVF2的第一组CPMV中的运动矢量MVF2，或者不管第一块是用4参数仿射模型还是6参数仿射模型进行编解码的，都计算包括运动矢量MVF0、MVF1和MVF2的第一组CPMV中的运动矢量MVF2。
在一些示例中，该方法还包括：存储第一组CPMV中的CPMV之间的一个或多个差(D1、D2)。
在一些示例中，第一组MV包括运动矢量MVF0、MVF1和MVF2，存储D1＝MVF1-MVF0，或者存储D2＝MVF2-MVF0，或者存储D1和D2两者。
在一些示例中，仅当第一块是用6参数仿射模型进行编解码的时，才存储D2。
在一些示例中，当第一块是用6参数仿射模型或6参数仿射模型进行编解码的时，存储D2。
在一些示例中，该方法还包括：一起存储第一组CPMV和第一组CPMV中的CPMV之间的一个或多个差(D1、D2)。
在一些示例中，利用移位函数来移位第一组CPMV中的多个CPMV和/或第一组CPMV中的CPMV之间的一个或多个差，并且存储移位的CPMV和/或差。
在一些示例中，移位函数SatShift(x,n)被定义为：其中n是整数，并且offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))或((1<<n)>>1)-1，或者offset0和/或offset1被设置为0。
在一些示例中，移位函数SatShift(x,n)被定义为：Shift(x,n)＝(x+offset0)>>n，其中n是整数，并且offset0被设置为(1<<n)>>1或(1<<(n-1))或((1<<n)>>1)-1，或者offset0被设置为0。
在一些示例中，n是2或4，或者n取决于运动精度。
在一些示例中，在存储第一组CPMV中的CPMV的情况下的n不同于在存储第一组CPMV中的CPMV之间的差的情况下的n。
在一些示例中，所存储的CPMV在用于在第一块之后编解码的块的仿射继承之前首先左移。
在一些示例中，用限幅函数对第一组CPMV中的多个CPMV和/或第一组CPMV中的CPMV之间的一个或多个差进行限幅，并且存储限幅后的CPMV和/或差。
在一些示例中，限幅函数Clip3(min,max,x)被定义为：
Figure BDA0003101304560000551
其中，Min是限幅函数的较低阈值，Max是限幅函数的较高阈值。
在一些示例中，当用K个比特存储CPMV或差时，Min＝-2K-1，并且Max＝2K-1-1，K是整数。
在一些示例中，K取决于要存储的是CPMV还是差而不同。
在一些示例中，用移位函数和限幅函数顺序地处理第一组CPMV中的多个CPMV和/或第一组CPMV中的CPMV之间的一个或多个差，并且存储经处理的CPMV和/或差。
在一些示例中，第一组CPMV中的多个CPMV被存储到仿射(历史运动矢量预测)HMVP缓冲器或表或列表中，以表示一个基于历史的候选仿射模型。
在一些示例中，第一组CPMV中的CPMV之间的一个或多个差被存储到仿射(历史运动矢量预测)HMVP缓冲器或表或列表中，以表示一个基于历史的候选仿射模型。
在一些示例中，用移位函数移位和/或用限幅函数限幅存储在HMVP缓冲器或表或列表中的一个或多个CPMV或一个或多个差。
图30是处理视频的方法3000的流程图。方法3000包括：为视频的第一块和第一块的比特流表示之间的转换，基于存储的运动矢量(MV)来推导(3002)视频的第一块的仿射继承运动矢量(MV)；通过使用仿射继承MV来执行(3004)转换。
在一些示例中，MV被存储在相邻的临近基本块中。
在一些示例中，MV被存储在仿射(历史运动矢量预测)HMVP缓冲器或表或列表中。
在一些示例中，存储在相邻的临近基本块中的MV至少包括：存储在左边相邻的临近基本块(L)中的MV、存储在上方相邻的临近基本块(A)中的MV、存储在左下相邻的临近基本块(LB)中的MV、存储在右上相邻的临近基本块(AR)中的MV以及存储在左上相邻的临近基本块(AL)中的MV。
在一些示例中，相邻的临近基本块是4×4块。
在一些示例中，基于以(x-x0,y-y0)作为仿射模型的输入坐标的仿射模型，通过使用在代表点(x0,y0)处的相邻的临近基本块的第一MV(MVa＝(mvh a,mvv a))，推导第一块中的在位置(x,y)处的仿射继承MV。
在一些示例中，代表点(x0,y0)是基本块内部的任何位置。
在一些示例中，代表点(x0,y0)是基本块外部或边界处的任何位置。
在一些示例中，代表点(x0,y0)的坐标是基于相邻的临近基本块中左上角样点的坐标(xTL,yTL)和包括两个变量(i,j)的附加信息来确定的。
在一些示例中，两个变量中的第一变量(i)取决于基本块的宽度，并且两个变量中的第二变量(j)取决于基本块的高度。
在一些示例中，变量(i,j)取决于临近基本块的位置。
在一些示例中，代表点(x0,y0)的坐标是基于第一块的左上样点的坐标(xPos00,yPos00)、第一块的右上样点的坐标(xPos10,yPos00)和第一块的右上样点的坐标(xPos00,yPos01)来确定的。
在一些示例中，左边相邻的临近基本块L的代表点(x0,y0)的坐标是(xPos00-2,yPos01-1)；左下相邻的临近基本块(LB)的代表点(x0,y0)的坐标是(xPos00-2,yPos01+3)；上方相邻的临近基本块(A)的代表点(x0,y0)的坐标是(xPos10-1,yPos00-2)；右上相邻的临近基本块(AR)的代表点(x0,y0)的坐标是(xPos10+3,yPos00-2)；左上相邻的临近基本块(AL)的代表点(x0,y0)的坐标是(xPos00-2,yPos00-2)。
在一些示例中，附加信息取决于相邻的临近基本块的位置或相邻的临近基本块，或者在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带头、片组头、片、编解码树单元(CTU)、CU中的至少一个中信令通知附加信息。
在一些示例中，附加信息在不同的标准等级或级别或层级中是不同的。
在一些示例中，基于以(x-x0,y-y0)作为仿射模型的输入坐标的仿射模型，通过使用在代表点(x0,y0)处的相邻的临近基本块的第一MV(MVa)，推导第一块的子块中的在位置(x,y)处的仿射继承MV。
在一些示例中，子块中的在位置(x,y)处的仿射继承MV被用于对子块执行运动补偿。
在一些示例中，基于以(x-x0,y-y0)作为仿射模型的输入坐标的仿射模型，通过使用在代表点(x0,y0)处的相邻的临近基本块的第一MV(MVa)，推导在作为第一块的角的位置(x,y)处的仿射继承MV，以作为第一块的继承控制点运动矢量(CPMV)。
在一些示例中，继承CPMV被用于预测仿射帧间编解码的第一块的所信令通知的CPMV。
在一些示例中，继承CPMV被直接用作仿射Merge编解码的第一块的CPMV。
在一些示例中，当第一块使用4参数仿射模型时，用于推导第一块中的在位置(x,y)处的仿射继承MV的仿射模型是：
Figure BDA0003101304560000571
其中，a和b是仿射模型的变量。
在一些示例中，当第一块使用6参数仿射模型时，用于推导第一块中的在位置(x,y)处的仿射继承MV的仿射模型是：
Figure BDA0003101304560000572
其中，a、b、c和d是仿射模型的变量。
在一些示例中，变量a、b或变量a、b、c、d计算如下：
Figure BDA0003101304560000581
其中，mvt0＝(mvh t0,mvv t0)、mvt1＝(mvh t1,mvv t1)、mvt2＝(mvh t2,mvv t2)分别是在覆盖相邻的临近基本块的第二块的第一组CPMV中的在三个代表点处的CPMV，并且wt和ht取决于第二块的代表点之间的相对偏移，其中，第一组CPMV被用于确定在第二块之后编解码的块的继承运动信息。
在一些示例中，变量a、b或变量a、b、c、d计算如下：
Figure BDA0003101304560000582
其中，mvt0＝(mvh t0,mvv t0)、mvt1＝(mvh t1,mvv t1)、mvt2＝(mvh t2,mvv t2)分别是在覆盖相邻的临近基本块的第二块的第二组CPMV或第三组CPMV中的在三个代表点处的CPMV，并且wt和ht是第二块的宽度和高度，其中，第二组CPMV被用于推导第二块的每个子块的MV，并且第三组CPMV从编码器信令通知给解码器。
在一些示例中，变量a、b或变量a、b、c、d计算如下：
Figure BDA0003101304560000583
其中，mvt0＝(mvh t0,mvv t0)、mvt1＝(mvh t1,mvv t1)、mvt2＝(mvh t2,mvv t2)分别是在覆盖相邻的临近基本块的第二块的在三个代表点处的CPMV，并且wt和ht是第二块的宽度和高度，其中，mvh t1-mvh t0、mvv t1-mvv t0、mvh t2-mvh t0、mvv t2-mvv t0是直接从用于存储块的CPMV之间的差的存储装置中取出的。
在一些示例中，该转换从比特流表示生成视频的第一/第二块。
在一些示例中，该转换从视频的第一/第二块生成比特流表示。
图31是处理视频的方法3100的流程图。方法3100包括：为视频的当前块和当前块的比特流表示之间的转换，基于第一存储运动矢量(MV)和与第一存储MV不同的第二存储MV来推导(3102)当前块的仿射继承运动矢量(MV)，其中第一存储MV被存储在与当前块临近的第一基本块中，并且第二存储MV被存储在与第一基本块有一偏移的第二基本块中；以及通过使用当前块的仿射继承MV来执行(3104)转换。
在一些示例中，与当前块临近的第一基本块包括以下中的至少一个：左边的临近基本块(L)、上方的临近基本块(A)、左下的临近基本块(LB)、右上的临近基本块(AR，AR’)和左上的临近基本块(AL，AL’，AL1，AL”)。
在一些示例中，基于具有参数a和b的仿射模型，通过使用存储在点(x0,y0)处第一基本块中的第一存储MV(MVa＝(mvh a,mvv a))或与在点(x0,y0)处第一基本块的子块相关联的第一存储MV(MVa＝(mvh a,mvv a))，推导当前块中的在位置(x,y)处的仿射继承MV((mvh(x,y),mvv(x,y))，运动矢量((mvh(x,y),mvv(x,y))通过下式来推导：
Figure BDA0003101304560000591
在一些示例中，参数a和b计算如下：
Figure BDA0003101304560000592
其中，mvt0＝(mvh t0,mvv t0)和mvt1＝(mvh t1,mvv t1)分别被设置为等于存储在第一基本块中的MV和存储在第二基本块中的MV，并且wt是第一基本块和第二基本块之间的水平偏移。
在一些示例中，参数a和b计算如下：
Figure BDA0003101304560000593
其中，mvt0＝(mvh t0,mvv t0)和mvt1＝(mvh t1,mvv t1)分别被设置为等于存储在第一基本块中的MV和存储在第二基本块中的MV，并且ht是第一基本块和第二基本块之间的垂直偏移。
在一些示例中，wt＝2N且ht＝2M，其中N和M是整数。
在一些示例中，当第一基本块和第二基本块的左上样点的坐标分别是(xLT0,yLT0)和(xLT1,yLT1)时，第一基本块和第二基本块之间的水平偏移被定义为xLT1-xLT0，和/或第一基本块和第二基本块之间的垂直偏移被定义为yLT1-yLT0。
在一些示例中，当第一基本块在当前块的上方时，垂直偏移为0。
在一些示例中，当第一基本块在当前块的左边时，水平偏移为0。
在一些示例中，第二基本块是取决于第一基本块的位置而选择的。
在一些示例中，第一基本块和第二基本块的左上样点的坐标分别是(xLT0,yLT0)和(xLT1,yLT1)，并且
其中，当xLT0％M不等于0时，M是整数，yLT1＝yLT0且xLT1＝xLT0–offset，或者xLT1＝xLT0且yLT1＝yLT0–offset，其中offset是正数。
在一些示例中，第一基本块和第二基本块的左上样点的坐标分别是(xLT0,yLT0)和(xLT1,yLT1)，并且
其中，当xLT0％M等于0时，M是整数，yLT1＝yLT0且xLT1＝xLT0+offset，或xLT1＝xLT0且yLT1＝yLT0+offset，其中offset是正数。
在一些示例中，第一基本块和第二基本块的左上样点的坐标分别是(xLT0,yLT0)和(xLT1,yLT1)，并且当第一块在当前块的左上方时，或者当第一块在当前块的左上方并且当前块的左边界也是CTU的左边界时，或者当xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块的左上坐标时，或者当xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块的左上坐标，并且当前块的左边界也是CTU的左边界时，
yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是正数。
在一些示例中，第一基本块和第二基本块的左上样点的坐标分别是(xLT0,yLT0)和(xLT1,yLT1)，并且当第一块在当前块的右上方时，或者当第一块在当前块的右上方，并且当前块的右边界也是CTU的右边界时，或者当xLT0+offset>xRT_AR，其中xLT_AR是当前块的右上方的临近基本块的右上坐标时，或者当xLT0+offset>xRT_AR，其中xLT_AR是当前块的右上方的临近基本块的右上坐标，并且当前块的右边界也是CTU的右边界时，yLT1＝yLT0且xLT1＝xLT0-offset，其中offset是正数。
在一些示例中，第二基本块是从M个候选基本块中选择的，M是整数。
在一些示例中，通过按顺序检查M个候选基本块以便确定M个候选基本块中的一个，其是帧间编解码的并且具有参考与第一基本块的MV所参考的相同的参考图片的MV，作为第二基本块来选择第二基本块。
在一些示例中，第一基本块的左上样点的坐标是(xLT0,yLT0)，并且M个候选基本块的左上位置的坐标分别是(xC0,yC0)、(xC1 yC1)、…、(xCM-1,yCM-1)，并且当M是2时，yC0＝yLT0，xC0＝xLT0–offset，且yC1＝yLT0，xC1＝xLT0+offset，或者xC0＝xLT0，yC0＝yLT0–offset，且xC1＝xLT0，yC1＝yLT0+offset，或者yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者xC0＝xLT0，yC0＝yLT0–offset，xC1＝xLT0，yC1＝yLT0+offset，其中offset是正数。
在一些示例中，是否和/或如何从M个候选基本块中选择第二基本块取决于第一基本块的位置和/或当前块的位置。
在一些示例中，第一基本块的左上样点的坐标是(xLT0,yLT0)，并且M个候选基本块的左上位置的坐标分别是(xC0,yC0)、(xC1 yC1)、…、(xCM-1,yCM-1)，并且当M为1时，如果第一基本块在当前块的左上方，则yC0＝yLT0，xC0＝xLT0+offset，或者如果第一块在当前块的右上方，则yC0＝yLT0，xC0＝xLT0-offset，或者如果第一块在当前块的左上方，并且当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0+offset，或者如果第一块在当前块的右上方，并且当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0-offset，或者如果xLT0–offset<xLT_AL，其中xLT_AL是当前块左上的临近基本块的左上坐标，则yC0＝yLT0，xC0＝xLT0+offset，或者如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块的右上坐标，则yC0＝yLT0，xC0＝xLT0-offset，或者如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块的左上坐标，并且当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0+offset，或者如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块的右上坐标，并且当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0-offset，其中offset是正数。
在一些示例中，第一基本块的左上样点的坐标是(xLT0,yLT0)，并且M个候选基本块的左上位置的坐标分别是(xC0,yC0)、(xC1 yC1)、…、(xCM-1,yCM-1)，并且当M为2时，如果第一基本块在当前块的左上方，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果第一基本块在当前块的右上方，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果第一基本块在当前块的左上方，并且当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果第一基本块在当前块的右上方，并且当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块的左上坐标，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块的右上坐标，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果xLT0–offset<xLT_AL，其中xLT_AL是当前块的左上方的临近基本块的左上坐标，并且当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者如果xLT0+offset>xRT_AR，其中xRT_AR是当前块的右上方的临近基本块的右上坐标，并且当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，其中offset是正数。
在一些示例中，当不能找到帧间编解码的并且具有参考与第一基本块的MV所参考的参考图片相同的MV的第二基本块时，不能从第一基本块中推导出当前块的仿射继承运动矢量(MV)。
在一些示例中，是否和/或如何推导当前块的仿射继承运动矢量(MV)取决于当前块的位置。
在一些示例中，根据当前块中的临近块是否位于当前块所在的编解码树单元(CTU)或CTU行中，以不同方式从当前块的上方临近块继承当前块的仿射模型。
在一些示例中，当从不位于当前块所在的CTU或CTU行中的、当前块的上方或左边临近块继承当前块的仿射模型时，基于第一存储运动矢量(MV)和第二存储MV，推导出当前块的仿射继承运动矢量(MV)。
在一些示例中，是否和/或如何从多个候选或根据预定义偏移选择第二基本块取决于第一块的位置和/或当前块的位置，并且其中第二基本块是第二临近基本块。
在一些示例中，从与当前块临近的第一基本块继承当前块的仿射模型，该第一基本块是仿射编解码的，并且包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和左上的临近基本块(AL)，并且其中第一基本块的左上位置是(xBB,yBB)。
在一些示例中，当xBB％8＝0时，通过以下方式选择第二临近基本块：
检查第一基本块右边的基本块是否是被仿射编解码的并且具有给定的参考列表的与第一基本块相同的参考索引；并且如果是，则选择第一基本块右边的基本块作为第二临近基本块，否则，选择第一基本块左边的基本块作为第二临近基本块。
在一些示例中，当xBB％8！＝0时，通过以下方式选择第二临近基本块：
检查第一基本块左边的基本块是否是被仿射编解码的并且具有给定的参考列表的与第一基本块相同的参考索引；并且如果是，则选择第一基本块左边的块作为第二临近基本块，否则，选择第一基本块右边的块作为第二临近基本块。
在一些示例中，当第一基本块是AL并且当前块的左边界是CTU的左边界时，通过以下方式选择第二临近基本块：仅检查第一基本块右边的基本块是否是仿射编解码的并且具有给定的参考列表的与第一基本块相同的参考索引；并且如果是，则选择第一基本块右边的基本块作为第二临近基本块，否则，不能从第一基本块继承当前块的仿射模型。
在一些示例中，当xBB％S＝0时，通过以下方式选择第二临近基本块：检查第一基本块右边的基本块是否是仿射编解码的并且具有给定的参考列表的与第一基本块相同的参考索引；并且如果是，则选择第一基本块右边的基本块作为第二临近基本块，否则，选择第一基本块左边的基本块作为第二临近基本块。
在一些示例中，当xBB％S！＝0时，通过以下方式选择第二临近基本块：检查第一基本块左边的基本块是否是仿射编解码的并且具有给定的参考列表的与第一基本块相同的参考索引；并且如果是，则选择第一基本块左边的块作为第二临近基本块，否则，选择第一基本块右边的块作为第二临近基本块。
在一些示例中，S等于8。
在一些示例中，第一基本块和第二基本块之间的偏移是正整数。
在一些示例中，偏移是2K的形式，K是整数，或取决于最小允许的CU宽度和/或高度，或取决于基本块的宽度和/或高度，或取决于适用仿射编解码的CU的最小允许的宽度和/或高度，或从编码器信令通知给解码器。
在一些示例中，在第一仿射继承过程中当基本块P被选择作为第二基本块并且当基本块Q是第一基本块时，当基本块P是第二仿射继承过程中的第一基本块时，不允许基本块Q被选择作为第二基本块。
在一些示例中，在第一仿射继承过程中当基本块P被选择作为第二基本块并且当基本块Q是第一基本块时，不允许基本块P作为第二仿射继承过程中的第一基本块。
在一些示例中，当基本块P是第二仿射继承过程中的第一块时，如果基本块Q在基本块P的右边，则第二仿射继承过程中的第二基本块只能从基本块P左边的基本块中选择，或者如果基本块Q在基本块P的左边，则第二基本块只能从基本块P右边的基本块中选择，或者如果基本块Q在基本块P的下方，则第二基本块只能从基本块P上方的基本块中选择，或者如果基本块Q在基本块P的上方，则第二基本块只能从基本块P下方的基本块中选择。
在一些示例中，临近基本块在与当前块相邻的行或列上。
在一些示例中，如果第一基本块满足以下条件中的至少一个，则第一基本块被确定为有效：i.它是帧间编解码的；ii.它不是帧内块复制编解码的；iii.它是仿射编解码的；iv.它是仿射Merge编解码的；v.它是仿射帧间编解码的。
在一些示例中，第二基本块是否被确定为有效取决于第一基本块的信息。
在一些示例中，如果第二基本块满足以下条件中的至少一个，则第二基本块被确定为有效：i.它是帧间编解码的；ii.它不是帧内块复制编解码的；iii.它是仿射编解码的；iv.它是仿射Merge编解码的；v.它是仿射帧间编解码的；vi.它具有与第一基本块相同的帧间预测方向；vii.它具有与第一基本块相同的参考列表0的参考索引；viii.它具有与第一基本块相同的参考列表1的参考索引；ix.它具有与第一基本块相同的帧间预测方向和相同的参考索引；x.它在参考列表X中具有与第一基本块相同的参考图片的图片顺序计数(POC)值，其中X是0和/或1。
在一些示例中，按预定顺序检查当前块的上方临近基本块的每个基本块，以确定它是否是有效的第一基本块。
在一些示例中，按从左到右或从右到左的顺序检查当前块的上方临近基本块。
在一些示例中，上方临近基本块包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和第一左上的临近基本块(AL1)。
在一些示例中，当上方临近基本块中的一个基本块(BB)是有效的第一基本块时，检查有效的第一基本块(BB)的左边和/或右边的基本块以确定对应的第二基本块。
在一些示例中，首先检查有效的第一基本块(BB)右边的基本块(BBR)以确定它是否是有效的第二基本块，并且当基本块(BBR)是有效的第二基本块时，输出有效的第一基本块(BB)和有效的第二基本块(BBR)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBR)是无效的时，检查有效的第一基本块(BB)左边的基本块(BBL)以确定它是否是有效的第二基本块，并且当基本块(BBL)是有效的第二基本块时，输出有效的第一基本块(BB)和有效的第二基本块(BBL)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBL)是无效的时，按顺序检查一个基本块(BB)左边的下一个基本块以确定它是否是有效的第一基本块。
在一些示例中，当基本块(BBL)是无效的时，没有有效的第一基本块和有效的第二基本块从上方临近基本块中输出。
在一些示例中，首先检查有效的第一基本块(BB)左边的基本块(BBL)以确定它是否是有效的第二基本块，并且当基本块(BBL)是有效的第二基本块时，输出有效的第一基本块(BB)和有效的第二基本块(BBL)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBL)是无效的时，检查有效的第一基本块(BB)右边的基本块(BBR)以确定它是否是有效的第二基本块，并且当基本块(BBR)是有效的第二基本块时，输出有效的第一基本块(BB)和有效的第二基本块(BBR)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBR)是无效的时，按顺序检查一个基本块(BB)右边的下一个基本块以确定它是否是有效的第一基本块。
在一些示例中，当基本块(BBR)是无效的时，没有有效的第一基本块和有效的第二基本块从上方临近基本块中输出。
在一些示例中，仅检查有效的第一基本块(BB)右边的基本块(BBR)以确定它是否是有效的第二基本块，并且当基本块(BBR)是有效的第二基本块时，输出有效的第一基本块(BB)和有效的第二基本块(BBR)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBR)是无效的时，输出有效的第一基本块(BB)和有效的第一基本块左边的基本块(BBL)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBR)是无效的时，按顺序检查一个基本块(BB)右边的下一个基本块以确定它是否是有效的第一基本块。
在一些示例中，当基本块(BBL)是无效的时，没有有效的第一基本块和有效的第二基本块从上方临近基本块中输出。
在一些示例中，仅检查有效的第一基本块(BB)左边的基本块(BBL)以确定它是否是有效的第二基本块，并且当基本块(BBL)是有效的第二基本块时，输出有效的第一基本块(BB)和有效的第二基本块(BBL)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBL)是无效的时，输出有效的第一基本块(BB)和有效的第一基本块右边的基本块(BBR)作为第一基本块和第二基本块。
在一些示例中，当基本块(BBL)是无效的时，按顺序检查一个基本块(BB)左边的下一个基本块以确定它是否是有效的第一基本块。
在一些示例中，当基本块(BBL)是无效的时，没有有效的第一基本块和有效的第二基本块从上方临近基本块中输出。
在一些示例中，从上方临近基本块中选择要检查以用于确定第一基本块的候选基本块取决于当前块的位置和/或仿射运动补偿的子块尺寸。
在一些示例中，当当前块位于CTU的左边界时，候选基本块包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和第一左上的临近基本块(AL1)，并且当当前块不位于CTU的左边界时，候选基本块包括以下中的至少一个：上方临近基本块(A)、右上临近基本块(AR)和第二左上相邻的临近基本块(AL”)。
在一些示例中，来自上方临近基本块的候选基本块是否可以用作第一基本块取决于当前块的位置。
在一些示例中，当当前块位于CTU的左边界时，左上的临近基本块(AL1、AL”)不能用作第一基本块。
在一些示例中，当当前块位于CTU的右边界时，右上的临近基本块(AR、AR’)不能用作第一基本块。
在一些示例中，来自上方临近基本块的候选基本块是否可以用作第二基本块取决于当前块的位置。
在一些示例中，当当前块位于CTU的左边界时，左上的临近基本块(AL1、AL’)不能用作第一基本块。
在一些示例中，当当前块位于CTU的右边界时，右上的临近基本块(AR、AR’)不能用作第一基本块。
在一些示例中，第一基本块和第二基本块是可交换的。
在一些示例中，首先交换第一基本块和第二基本块，并且通过使用交换的第一基本块和第二基本块来执行当前块的转换。
在一些示例中，第一基本块和第二基本块的确定过程是可交换的。
在一些示例中，该转换从比特流表示生成当前视频块。
在一些示例中，该转换从当前视频块生成比特流表示。
图32是处理视频的方法3200的流程图。方法3200包括：为视频的当前块和当前块的比特流表示之间的转换，推导(3202)与当前块的仿射模型相关联的仿射模型参数集的一个或多个参数；移位(3204)一个或多个参数；以及存储(3206)所移位的一个或多个参数。
在一些示例中，移位一个或多个参数还包括利用第一移位函数SatShift(x,n)来移位一个或多个参数，第一移位函数被定义为：
Figure BDA0003101304560000671
其中，x是一个或多个参数中的一个，n是整数，并且offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))或((1<<n)>>1)-1，或者offset0和/或offset1被设置为0。
在一些示例中，移位一个或多个参数还包括利用第二移位函数Shift(x,n)来移位一个或多个参数，第二移位函数Shift(x,n)被定义为：
Shift(x,n)＝(x+offset0)>>n，
其中，x是一个或多个参数中的一个，n是整数，并且offset0被设置为(1<<n)>>1或(1<<(n-1))或((1<<n)>>1)-1，或者offset0被设置为0。
在一些示例中，n是2或4。
在一些示例中，n取决于运动精度，或者n对于仿射模型参数集中的不同参数是不同的。
在一些示例中，n是在序列参数集(SPS)、视频参数集(VPS)、图片参数集(PPS)、条带头、片组头、片、编解码树单元(CTU)、编解码单元(CU)中的至少一个中被信令通知的。
在一些示例中，n在不同的标准等级或级别或层级中是不同的。
在一些示例中，所存储的参数在用于在当前块之后编解码的块的仿射继承之前首先左移。
在一些示例中，将所存储的参数在用于在当前块之后编解码的块的仿射继承之前，顺序地利用移位函数来移位和利用限幅函数来限幅。
在一些示例中，仿射模型参数集的参数a通过
Figure BDA0003101304560000681
来计算，其中mvh 0是当前块的左上角控制点的水平运动矢量分量，mvh 1是当前块的右上角控制点的水平运动矢量分量，并且w是当前块的宽度。
在一些示例中，仿射模型参数集的参数b通过
Figure BDA0003101304560000682
来计算，其中mvv 0是当前块的左上角控制点的垂直运动矢量分量，mvv 1是当前块的右上角控制点的垂直运动矢量分量，并且w是当前块的宽度。
在一些示例中，仿射模型参数集的参数c通过
Figure BDA0003101304560000683
来计算，其中mvh 0是当前块的左上角控制点的水平运动矢量分量，mvh 2是当前块的左下角控制点的水平运动矢量分量，并且h是当前块的高度。
在一些示例中，仿射模型参数集的参数d通过
Figure BDA0003101304560000684
来计算，其中mvv 0是当前块的左上角控制点的垂直运动矢量分量，mvv 2是当前块的左下角控制点的垂直运动矢量分量，并且h是当前块的高度。
在一些示例中，仿射模型参数集的参数e通过
Figure BDA0003101304560000685
来计算，其中mvh 0是当前块的左上角控制点的水平运动矢量分量。
在一些示例中，仿射模型参数集的参数f通过
Figure BDA0003101304560000686
来计算，其中mvv 0是当前块的左上角控制点的垂直运动矢量分量。
在一些示例中，仿射模型参数集的参数e和f通过(e,f)＝(mvxi,mvyi)来计算，其中(mvxi,mvyi)是任何点的运动矢量。
在一些示例中，当前块的宽度和高度被标注为w和h，w和h等于2WB和2HB，其中WB和HB是大于1的整数。
在一些示例中，仿射模型参数集的参数a通过
Figure BDA0003101304560000691
来计算，其中P是整数并且表示计算精度，mvh 0是当前块的左上角控制点的水平运动矢量分量，并且mvh 1是当前块的右上角控制点的水平运动矢量分量。
在一些示例中，其中仿射模型参数集的参数b通过
Figure BDA0003101304560000692
来计算，其中P是整数并且表示计算精度，mvv 0是当前块的左上角控制点的垂直运动矢量分量，并且mvv 1是当前块的右上角控制点的垂直运动矢量分量。
在一些示例中，仿射模型参数集的参数c通过
Figure BDA0003101304560000693
来计算，其中P是整数并且表示计算精度，mvh 0是当前块的左上角控制点的水平运动矢量分量，并且mvh 2是当前块的左下角控制点的水平运动矢量分量。
在一些示例中，仿射模型参数集的参数d通过
Figure BDA0003101304560000694
来计算，其中P是整数并且表示计算精度，mvv 0是当前块的左上角控制点的垂直运动矢量分量，并且mvv 2是当前块的左下角控制点的垂直运动矢量分量。
在一些示例中，P被设置为7。
在一些示例中，该方法还包括：在存储一个或多个参数之前，对一个或多个参数进行限幅。
在一些示例中，如果用K个比特来存储一个或多个参数中的一个参数X，则X＝Clip3(-2K-1,2K-1-1,X)，其中X＝a或b或c或d，并且K是大于1的整数。
在一些示例中，X是a、b、c、d、e或f。
在一些示例中，K等于8。
在一些示例中，仿射模型参数集包括与由下式给出的6参数仿射模型相对应的6个变量(a、b、c、d、e、f)
Figure BDA0003101304560000701
其中，mvh(x,y)是当前块的运动矢量的水平分量，mvv(x,y)是当前块的运动矢量的垂直分量，并且(x,y)表示代表点相对于当前块内左上样点的坐标；，(mvh 0,mvv 0)是当前块的左上角控制点(CP)的运动矢量，并且(mvh 1,mvv 1)是当前块的右上角控制点的运动矢量，并且(mvh 2,mvv 2)是当前块的左下角控制点的运动矢量。
在一些示例中，一个或多个参数包括a、b、c和d。
在一些示例中，仿射模型参数集包括与由下式给出的4参数仿射模型相对应的4个变量(a、b、e、f)
Figure BDA0003101304560000702
其中，mvh(x,y)是当前块的运动矢量的水平分量，mvv(x,y)是当前块的运动矢量的垂直分量，并且(x,y)表示代表点相对于当前块内左上样点的坐标；(mvh 0,mhv 0)是当前块的左上角控制点(CP)的运动矢量，并且(mvh 1,mvv 1)是当前块的右上角控制点的运动矢量。
在一些示例中，一个或多个参数包括a和b。
在一些示例中，一个或多个参数包括a、b、e和f。
在一些示例中，一个或多个参数包括a、b、c、d、e和f，并且其中，当用4参数仿射模型来执行当前块和当前块的比特流表示之间的转换时，限制c＝-b和d＝a。
在一些示例中，一个或多个参数包括a、b、c和d，并且其中，当用4参数仿射模式来执行当前块和当前块的比特流表示之间的转换时，限制c＝-b和d＝a。
在一些示例中，当用4参数仿射模式来执行当前块和当前块的比特流表示之间的转换时，参数c＝-b。
在一些示例中，当用4参数仿射模式来执行当前块和当前块的比特流表示之间的转换时，参数d＝a。
在一些示例中，该方法还包括：基于所存储的移位的一个或多个参数，执行在当前块之后编解码的块和在当前块之后编解码的块的比特流表示之间的转换。
在一些示例中，该方法还包括：基于所存储的一个或多个参数，执行当前块和当前块的比特流表示之间的转换。
在一些示例中，该转换从比特流表示中生成在当前块之后编解码的块。
在一些示例中，该转换从在当前块之后编解码的块生成比特流表示。
本领域技术人员将理解，公开了用于在各种视频编解码场景下使用运动候选列表的技术。视频块可以被编码成比特流表示，该比特流表示包括放置在各种头或网络适配层等中的非连续比特，等等。
本文档中描述的所公开的以及其他的解决方案、示例、实施例、模块和功能操作的实施方式可以在数字电子电路中被实施，或者在计算机软件、固件或硬件(包括本文档中公开的结构及其结构等同物)中被实施，或者在它们中的一个或多个的组合中被实施。所公开的以及其他的实施例可以被实施为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，该计算机程序指令用于由数据处理装置运行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质的组合、或它们中的一个或多个的组合。术语“数据处理装置”包含用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电、光或电磁信号，其被生成来对信息进行编码以传输到合适的接收器装置。
计算机程序(也已知为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言)编写，并且其可以以任何形式部署，包括作为独立程序或作为适合在计算环境中使用的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署以在一个计算机上或在位于一个站点上或跨多个站点分布并通过通信网络互连的多个计算机上运行。
本文档中描述的过程和逻辑流程可以由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以被实施为专用逻辑电路，例如，FPGA(FieldProgrammable Gate Array，现场可编程门阵列)或ASIC(专用集成电路)。
适合于运行计算机程序的处理器包括例如通用和专用微处理器、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从该一个或多个大容量存储设备接收数据或向该一个或多个大容量存储设备传递数据、或者从其接收数据并向其传递数据。然而，计算机不需要这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
虽然本专利文档包含许多细节，但这些细节不应被解释为对任何主题或可能要求保护的范围的限制，而是作为特定于特定技术的特定实施例的特征的描述。在本专利文档中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合实施。此外，尽管特征可以在上面描述为以某些组合起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合排除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为需要以所示的特定顺序或以先后顺序执行这样的操作或者执行所有示出的操作以实现期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这样的分离。
仅描述了一些实施方式和示例，并且可以基于本专利文档中描述和示出的内容来进行其他实施方式、增强和变化。

Claims (76)

1.一种视频处理方法，包括：
为视频的当前块和所述当前块的比特流表示之间的转换，基于第一存储运动矢量(MV)和不同于第一存储MV的第二存储MV，推导所述当前块的仿射继承运动矢量(MV)，其中，第一存储MV被存储在与所述当前块临近的第一基本块中，并且第二存储MV被存储在与第一基本块有一偏移的第二基本块中；以及
通过使用所述当前块的仿射继承MV来执行所述转换。
2.根据权利要求1所述的方法，其中，与所述当前块临近的第一基本块包括以下中的至少一个：左边的临近基本块(L)、上方的临近基本块(A)、左下的临近基本块(LB)、右上的临近基本块(AR、AR’)和左上的临近基本块(AL、AL’、AL1、AL”)。
3.根据权利要求1或2所述的方法，其中，基于具有参数a和b的仿射模型，通过使用存储在点(x0,y0)处第一基本块中的第一存储MV(MVa＝(mvh a,mvv a))或与在点(x0,y0)处第一基本块的子块相关联的第一存储MV(MVa＝(mvh a,mvv a))，推导所述当前块中在位置(x,y)处的仿射继承MV((mvh(x,y),mvv(x,y))，所述运动矢量((mvh(x,y),mvv(x,y))通过下式被推导出：
Figure FDA0003101304550000011
4.根据权利要求3所述的方法，其中，所述参数a和b被计算为：
Figure FDA0003101304550000012
其中，mvt0＝(mvh t0,mvv t0)和mvt1＝(mvh t1,mvv t1)分别被设置为等于存储在第一基本块中的MV和存储在第二基本块中的MV，并且wt是第一基本块和第二基本块之间的水平偏移。
5.根据权利要求3所述的方法，其中，所述参数a和b被计算为：
Figure FDA0003101304550000013
其中，mvt0＝(mvh t0,mvv t0)和mvt1＝(mvh t1,mvv t1)分别被设置为等于存储在第一基本块中的MV和存储在第二基本块中的MV，并且ht是第一基本块和第二基本块之间的垂直偏移。
6.根据权利要求4或5所述的方法，其中，wt＝2N且ht＝2M，其中N和M是整数。
7.根据权利要求1-6中任一项所述的方法，其中，当第一基本块和第二基本块的左上样点的坐标分别为(xLT0,yLT0)和(xLT1,yLT1)时，第一基本块和第二基本块之间的水平偏移被定义为xLT1-xLT0，和/或第一基本块和第二基本块之间的垂直偏移被定义为yLT1-yLT0。
8.根据权利要求7所述的方法，其中，当第一基本块在所述当前块的上方时，所述垂直偏移为0。
9.根据权利要求7所述的方法，其中，当第一基本块在所述当前块的左边时，所述水平偏移为0。
10.根据权利要求1-9中任一项所述的方法，其中，第二基本块是取决于第一基本块的位置而选择的。
11.根据权利要求10所述的方法，其中，第一基本块和第二基本块的左上样点的坐标分别为(xLT0,yLT0)和(xLT1,yLT1)，并且
其中，当xLT0％M不等于0时，M是整数，yLT1＝yLT0且xLT1＝xLT0–offset，或xLT1＝xLT0且yLT1＝yLT0–offset，其中offset是正数。
12.根据权利要求10所述的方法，其中，第一基本块和第二基本块的左上样点的坐标分别为(xLT0,yLT0)和(xLT1,yLT1)，并且
其中，当xLT0％M等于0时，M是整数，yLT1＝yLT0且xLT1＝xLT0+offset，或xLT1＝xLT0且yLT1＝yLT0+offset，其中offset是正数。
13.根据权利要求10所述的方法，其中，第一基本块和第二基本块的左上样点的坐标分别为(xLT0,yLT0)和(xLT1,yLT1)，并且
当第一块在所述当前块的左上方时，或者
当第一块在所述当前块的左上方，并且所述当前块的左边界也是CTU的左边界时，或者
当xLT0–offset<xLT_AL，其中xLT_AL是所述当前块左上方的临近基本块的左上坐标时，或者
当xLT0–offset<xLT_AL，其中xLT_AL是所述当前块左上方的临近基本块的左上坐标，并且所述当前块的左边界也是CTU的左边界时，
yLT1＝yLT0且xLT1＝xLT0+offset，其中offset是正数。
14.根据权利要求10所述的方法，其中，第一基本块和第二基本块的左上样点的坐标分别为(xLT0,yLT0)和(xLT1,yLT1)，并且
当第一块在所述当前块的右上方时，或者
当第一块在所述当前块的右上方，并且所述当前块的右边界也是CTU的右边界时，或者
当xLT0+offset>xRT_AR，其中xLT_AR是所述当前块右上的临近基本块的右上角坐标时，或者
当xLT0+offset>xRT_AR，其中xLT_AR是所述当前块右上的临近基本块的右上坐标，并且所述当前块的右边界也是CTU的右边界时，
yLT1＝yLT0且xLT1＝xLT0-offset，其中offset是正数。
15.根据权利要求1-9中任一项所述的方法，其中，第二基本块是从M个候选基本块中选择的，M是整数。
16.根据权利要求15所述的方法，其中，通过按顺序检查所述M个候选基本块以便将所述M个候选基本块中的一个确定为第二基本块来选择第二基本块，所述M个候选基本块中的一个是被帧间编解码的并且具有参考与第一基本块的MV所参考的相同的参考图片的MV。
17.根据权利要求16所述的方法，其中，第一基本块的左上样点的坐标是(xLT0,yLT0)，并且所述M个候选基本块的左上位置的坐标分别是(xC0,yC0)、(xC1 yC1)、……、(xCM-1,yCM-1)，并且
当M为2时，
yC0＝yLT0，xC0＝xLT0–offset，且yC1＝yLT0，xC1＝xLT0+offset，或者
xC0＝xLT0，yC0＝yLT0–offset，且xC1＝xLT0，yC1＝yLT0+offset，或者
yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
xC0＝xLT0，yC0＝yLT0–offset，xC1＝xLT0，yC1＝yLT0+offset，其中offset是正数。
18.根据权利要求15所述的方法，其中，是否和/或如何从所述M个候选基本块中选择第二基本块取决于第一基本块的位置和/或所述当前块的位置。
19.根据权利要求18所述的方法，其中，第一基本块的左上样点的坐标是(xLT0,yLT0)，并且所述M个候选基本块的左上位置的坐标分别是(xC0,yC0)、(xC1 yC1)、……、(xCM-1,yCM-1)，并且
当M为1时，
如果第一基本块在所述当前块的左上方，则yC0＝yLT0，xC0＝xLT0+offset，或者
如果第一块在所述当前块的右上方，则yC0＝yLT0，xC0＝xLT0-offset，或者
如果第一块在所述当前块的左上方，并且所述当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0+offset，或者
如果第一块在所述当前块的右上方，并且所述当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0-offset，或者
如果xLT0–offset<xLT_AL，其中xLT_AL是所述当前块左上方的临近基本块的左上坐标，则yC0＝yLT0，xC0＝xLT0+offset，或者
如果xLT0+offset>xRT_AR，其中xRT_AR是所述当前块右上方的临近基本块的右上坐标，则yC0＝yLT0，xC0＝xLT0-offset，或者
如果xLT0–offset<xLT_AL，其中xLT_AL是所述当前块左上的临近基本块的左上坐标，并且所述当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0+offset，或者
如果xLT0+offset>xRT_AR，其中xRT_AR是所述当前块右上的临近基本块的右上坐标，并且所述当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0-offset，
其中offset是正数。
20.根据权利要求18所述的方法，其中，第一基本块的左上样点的坐标是(xLT0,yLT0)，并且所述M个候选基本块的左上位置的坐标分别是(xC0,yC0)、(xC1 yC1)、……、(xCM-1,yCM-1)，并且
当M为2时，
如果第一基本块在所述当前块的左上方，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果第一基本块在所述当前块的右上方，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果第一基本块在所述当前块的左上方，并且所述当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果第一基本块在所述当前块的右上方，并且所述当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果xLT0–offset<xLT_AL，其中xLT_AL是所述当前块左上方的临近基本块的左上坐标，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果xLT0+offset>xRT_AR，其中xRT_AR是所述当前块右上方的临近基本块的右上坐标，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果xLT0–offset<xLT_AL，其中xLT_AL是所述当前块左上方的临近基本块的左上坐标，并且所述当前块的左边界也是CTU的左边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，或者
如果xLT0+offset>xRT_AR，其中xRT_AR是所述当前块右上方的临近基本块的右上坐标，并且所述当前块的右边界也是CTU的右边界，则yC0＝yLT0，xC0＝xLT0–offset，yC1＝yLT0，xC1＝xLT0+offset，
其中offset是正数。
21.根据权利要求1-20中任一项所述的方法，其中，当不能找到帧间编解码的并且具有参考与第一基本块的MV所参考的相同的参考图片MV的第二基本块时，不能从第一基本块中推导出所述当前块的仿射继承运动矢量(MV)。
22.根据权利要求1-21中任一项所述的方法，其中，是否和/或如何推导所述当前块的仿射继承运动矢量(MV)取决于所述当前块的位置。
23.根据权利要求1-22中任一项所述的方法，其中，根据所述当前块的上方临近块是否在所述当前块所在的编解码树单元(CTU)或CTU行中，以不同的方式从所述当前块的上方临近块继承所述当前块的仿射模型。
24.根据权利要求1-23中任一项所述的方法，其中，当从不位于所述当前块所在的CTU或CTU行中的、所述当前块的上方或左边临近块继承所述当前块的仿射模型时，基于第一存储运动矢量(MV)和第二存储MV，推导所述当前块的仿射继承运动矢量(MV)。
25.根据权利要求1-9中任一项所述的方法，其中，是否和/或如何从多个候选中或根据预定义偏移选择第二基本块取决于第一块的位置和/或所述当前块的位置，并且其中，第二基本块是第二临近基本块。
26.根据权利要求25所述的方法，其中，所述当前块的仿射模型是从与所述当前块临近的第一基本块继承的，所述第一基本块是被仿射编解码的并且包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和左上的临近基本块(AL)，并且其中，第一基本块的左上位置是(xBB,yBB)。
27.根据权利要求26所述的方法，其中，当xBB％8＝0时，通过以下步骤选择第二临近基本块：
检查第一基本块的右边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引；并且
如果是，则选择第一基本块的右边的基本块作为第二临近基本块，或者
否则，选择第一基本块的左边的基本块作为第二临近基本块。
28.根据权利要求26所述的方法，其中，当xBB％8！＝0时，通过以下步骤选择第二临近基本块：
检查第一基本块的左边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引；并且
如果是，则选择第一基本块的左边的块作为第二临近基本块，或者
否则，选择第一基本块的右边的块作为第二临近基本块。
29.根据权利要求26所述的方法，其中，当第一基本块是AL并且所述当前块的左边界是CTU的左边界时，通过以下步骤选择第二临近基本块：
仅检查第一基本块的右边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引；并且
如果是，则选择第一基本块的右边的基本块作为第二临近基本块，或者
否则，不能从第一基本块继承所述当前块的仿射模型。
30.根据权利要求26所述的方法，其中，当xBB％S＝0时，通过以下步骤选择第二临近基本块：
检查第一基本块的右边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引；并且
如果是，则选择第一基本块的右边的基本块作为第二临近基本块，或者
否则，选择第一基本块的左边的基本块作为第二临近基本块。
31.根据权利要求26所述的方法，其中，当xBB％S！＝0时，通过以下步骤选择第二临近基本块：
检查第一基本块的左边的基本块是否是被仿射编解码的以及是否具有给定的参考列表的与第一基本块相同的参考索引；并且
如果是，则选择第一基本块的左边的块作为第二临近基本块，或者
否则，选择第一基本块的右边的块为第二临近基本块。
32.根据权利要求30或31所述的方法，其中，S等于8。
33.根据权利要求1-32中任一项所述的方法，其中，第一基本块和第二基本块之间的偏移是正整数。
34.根据权利要求33所述的方法，其中，所述偏移是2K的形式，K是整数，或者取决于最小允许的CU宽度和/或高度，或者取决于基本块的宽度和/或高度，或者取决于适用仿射编解码的CU的最小允许的宽度和/或高度，或者从编码器信令通知给解码器。
35.根据权利要求1-32中任一项所述的方法，其中，在第一仿射继承过程中当基本块P被选择作为第二基本块并且当基本块Q是第一基本块时，当基本块P是第二仿射继承过程中的第一基本块时不允许基本块Q被选择作为第二基本块。
36.根据权利要求1-35所述的方法，其中，在第一仿射继承过程中当基本块P被选择作为第二基本块并且当基本块Q是第一基本块时，不允许基本块P是第二仿射继承过程中的第一基本块。
37.根据权利要求35所述的方法，其中，当基本块P是第二仿射继承过程中的第一块时，
如果所述基本块Q在所述基本块P的右边，则第二仿射继承过程中的第二基本块只能从所述基本块P的左边的基本块中选择，或者
如果所述基本块Q在所述基本块P的左边，则第二基本块只能从所述基本块P的右边的基本块中选择，或者
如果所述基本块Q在所述基本块P的下方，则第二基本块只能从所述基本块P的上方的基本块中选择，或者
如果所述基本块Q在所述基本块P的上方，则第二基本块只能从所述基本块P的下方的基本块中选择。
38.根据权利要求1-37中任一项所述的方法，其中，所述临近基本块在与所述当前块相邻的行或列上。
39.根据权利要求1-38中任一项所述的方法，其中，如果第一基本块满足以下条件中的至少一个，则第一基本块被确定为有效：
i.它是帧间编解码的；
ii.它不是帧内块复制编解码的；
iii.它是仿射编解码的；
iv.它是仿射Merge编解码的；
v.它是仿射帧间编解码的。
40.根据权利要求1-39中任一项所述的方法，其中，第二基本块是否被确定为有效取决于第一基本块的信息。
41.根据权利要求1-40中任一项所述的方法，其中，如果第二基本块满足以下条件中的至少一个，则第二基本块被确定为有效：
i.它是帧间编解码的；
ii.它不是帧内块复制编解码的；
iii.它是仿射编解码的；
iv.它是仿射Merge编解码的；
v.它是仿射帧间编解码的；
vi.它具有与第一基本块相同的帧间预测方向；
vii.它具有与第一基本块相同的参考列表0的参考索引；
viii.它具有与第一基本块相同的参考列表1的参考索引；
ix.它具有与第一基本块相同的帧间预测方向和相同的参考索引；
x.它在参考列表X中具有与第一基本块相同的参考图片的图片顺序计数(POC)值，其中X是0和/或1。
42.根据权利要求1-41中任一项所述的方法，其中，按预定顺序检查所述当前块的上方临近基本块中的每个基本块，以确定它是否是有效的第一基本块。
43.根据权利要求42所述的方法，其中，按从左到右或从右到左的顺序检查所述当前块的上方临近基本块。
44.根据权利要求42或43所述的方法，其中，所述上方临近基本块包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和第一左上的临近基本块(AL1)。
45.根据权利要求42-44中任一项所述的方法，其中，当所述上方临近基本块中的一个基本块(BB)是有效的第一基本块时，检查有效的第一基本块(BB)的左边和/或右边的基本块，以确定对应的第二基本块。
46.根据权利要求45所述的方法，其中，首先检查所述有效的第一基本块(BB)右边的基本块(BBR)以确定它是否是有效的第二基本块，并且当所述基本块(BBR)是有效的第二基本块时，输出所述有效的第一基本块(BB)和所述有效的第二基本块(BBR)作为第一基本块和第二基本块。
47.根据权利要求46所述的方法，其中，当所述基本块(BBR)是无效的时，检查所述有效的第一基本块(BB)左边的基本块(BBL)以确定它是否是有效的第二基本块，并且当所述基本块(BBL)是有效的第二基本块时，输出所述有效的第一基本块(BB)和所述有效的第二基本块(BBL)作为第一基本块和第二基本块。
48.根据权利要求47所述的方法，其中，当基本块(BBL)是无效的时，按顺序检查一个基本块(BB)左边的下一个基本块，以确定它是否是有效的第一基本块。
49.根据权利要求47所述的方法，其中，当所述基本块(BBL)是无效的时，没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。
50.根据权利要求45所述的方法，其中，首先检查所述有效的第一基本块(BB)左边的基本块(BBL)以确定它是否是有效的第二基本块，并且当所述基本块(BBL)是有效的第二基本块时，输出所述有效的第一基本块(BB)和所述有效的第二基本块(BBL)作为第一基本块和第二基本块。
51.根据权利要求50所述的方法，其中，当所述基本块(BBL)是无效的时，检查所述有效的第一基本块(BB)右边的基本块(BBR)以确定它是否是有效的第二基本块，并且当所述基本块(BBR)是有效的第二基本块时，输出所述有效的第一基本块(BB)和所述有效的第二基本块(BBR)作为第一基本块和第二基本块。
52.根据权利要求51所述的方法，其中，当所述基本块(BBR)是无效的时，按顺序检查一个基本块(BB)右边的下一个基本块，以确定它是否是有效的第一基本块。
53.根据权利要求51所述的方法，其中，当所述基本块(BBR)是无效的时，没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。
54.根据权利要求45所述的方法，其中，仅检查所述有效的第一基本块(BB)右边的基本块(BBR)以确定它是否是有效的第二基本块，并且当所述基本块(BBR)是有效的第二基本块时，输出所述有效的第一基本块(BB)和所述有效的第二基本块(BBR)作为第一基本块和第二基本块。
55.根据权利要求54所述的方法，其中，当所述基本块(BBR)是无效的时，输出所述有效的第一基本块(BB)和所述有效的第一基本块左边的基本块(BBL)作为第一基本块和第二基本块。
56.根据权利要求54所述的方法，其中，当所述基本块(BBR)是无效的时，按顺序检查一个基本块(BB)右边的下一个基本块，以确定它是否是有效的第一基本块。
57.根据权利要求54所述的方法，其中，当所述基本块(BBL)是无效的时，没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。
58.根据权利要求45所述的方法，其中，仅检查所述有效的第一基本块(BB)左边的基本块(BBL)以确定它是否是有效的第二基本块，并且当所述基本块(BBL)是有效的第二基本块时，输出所述有效的第一基本块(BB)和所述有效的第二基本块(BBL)作为第一基本块和第二基本块。
59.根据权利要求58所述的方法，其中，当所述基本块(BBL)是无效的时，输出所述有效的第一基本块(BB)和所述有效的第一基本块右边的基本块(BBR)作为第一基本块和第二基本块。
60.根据权利要求58所述的方法，其中，当所述基本块(BBL)是无效的时，按顺序检查一个基本块(BB)左边的下一个基本块，以确定它是否是有效的第一基本块。
61.根据权利要求58所述的方法，其中，当所述基本块(BBL)是无效的时，没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。
62.根据权利要求42所述的方法，其中，从所述上方临近基本块中选择要检查以用于确定第一基本块的候选基本块取决于所述当前块的位置和/或仿射运动补偿的子块尺寸。
63.根据权利要求62所述的方法，其中，当所述当前块位于CTU的左边界时，所述候选基本块包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和第一左上的临近基本块(AL1)，并且
当所述当前块不位于CTU的左边界时，所述候选基本块包括以下中的至少一个：上方的临近基本块(A)、右上的临近基本块(AR)和第二左上相邻的临近基本块(AL”)。
64.根据权利要求42所述的方法，其中，来自所述上方临近基本块的候选基本块是否可以用作第一基本块取决于所述当前块的位置。
65.根据权利要求64所述的方法，其中，当所述当前块位于CTU的左边界时，左上的临近基本块(AL1、AL”)不能用作第一基本块。
66.根据权利要求64所述的方法，其中，当所述当前块位于CTU的右边界时，右上的临近基本块(AR、AR’)不能用作第一基本块。
67.根据权利要求42所述的方法，其中，来自所述上方基本块的候选基本块是否可以用作第二基本块取决于所述当前块的位置。
68.根据权利要求67所述的方法，其中，当所述当前块位于CTU的左边界时，左上的临近基本块(AL1、AL’)不能用作第一基本块。
69.根据权利要求67所述的方法，其中，当所述当前块位于CTU的右边界时，右上的临近基本块(AR、AR’)不能用作第一基本块。
70.根据权利要求2-69中任一项所述的方法，其中，第一基本块和第二基本块是可交换的。
71.根据权利要求70所述的方法，其中，首先交换第一基本块和第二基本块，并且通过使用交换的第一基本块和第二基本块来执行所述当前块的转换。
72.根据权利要求42-69中任一项的方法，其中，第一基本块和第二基本块的确定过程是可交换的。
73.根据权利要求1至72中任一项所述的方法，其中，所述转换从比特流表示生成视频的当前块。
74.根据权利要求1至72中任一项所述的方法，其中，所述转换从视频的当前块生成比特流表示。
75.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时，使所述处理器实施根据权利要求1至74中任一项所述的方法。
76.一种存储在非暂时性计算机可读介质上的计算机程序产品，所述计算机程序产品包括用于执行根据权利要求1至74中任一项所述的方法的程序代码。
CN201980080547.8A 2018-12-08 2019-12-09 视频处理方法、装置和计算机可读存储介质 Active CN113170111B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/119946 2018-12-08
CN2018119946 2018-12-08
CNPCT/CN2018/121118 2018-12-14
CN2018121118 2018-12-14
CNPCT/CN2019/075094 2019-02-14
CN2019075094 2019-02-14
CN2019075846 2019-02-22
CNPCT/CN2019/075846 2019-02-22
PCT/CN2019/124046 WO2020114516A1 (en) 2018-12-08 2019-12-09 Reducing the line-buffer storage required by affine inheritance

Publications (2)

Publication Number Publication Date
CN113170111A true CN113170111A (zh) 2021-07-23
CN113170111B CN113170111B (zh) 2024-03-08

Family

ID=70974031

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980080547.8A Active CN113170111B (zh) 2018-12-08 2019-12-09 视频处理方法、装置和计算机可读存储介质
CN201980079467.0A Active CN113170148B (zh) 2018-12-08 2019-12-09 减少仿射继承所需的ctu内存储
CN201980080911.0A Active CN113170159B (zh) 2018-12-08 2019-12-09 对仿射参数的移位

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980079467.0A Active CN113170148B (zh) 2018-12-08 2019-12-09 减少仿射继承所需的ctu内存储
CN201980080911.0A Active CN113170159B (zh) 2018-12-08 2019-12-09 对仿射参数的移位

Country Status (2)

Country Link
CN (3) CN113170111B (zh)
WO (3) WO2020114517A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174776A1 (en) * 1997-06-25 2003-09-18 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
KR20090083290A (ko) * 2008-01-29 2009-08-03 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
CN107925758A (zh) * 2015-08-04 2018-04-17 Lg 电子株式会社 视频编译系统中的帧间预测方法和设备
WO2018169923A1 (en) * 2017-03-14 2018-09-20 Qualcomm Incorporated Affine motion information derivation
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置
CN108702509A (zh) * 2016-02-25 2018-10-23 株式会社Kt 用于处理视频信号的方法和设备
CN108781284A (zh) * 2016-03-15 2018-11-09 联发科技股份有限公司 具有仿射运动补偿的视频编解码的方法及装置
CN108886619A (zh) * 2016-01-07 2018-11-23 联发科技股份有限公司 用于视频编解码系统的仿射合并模式预测的方法及装置
CN109076214A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 使用仿射运动补偿的视频编码的当前图像参考的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2495941B (en) * 2011-10-25 2015-07-08 Canon Kk Method and apparatus for processing components of an image
US10582215B2 (en) * 2015-08-07 2020-03-03 Lg Electronics Inc. Inter prediction method and apparatus in video coding system
CN108965869B (zh) * 2015-08-29 2023-09-12 华为技术有限公司 图像预测的方法及设备
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
KR102715635B1 (ko) * 2016-03-28 2024-10-11 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
EP3306928A1 (en) * 2016-10-07 2018-04-11 Thomson Licensing Method and apparatus for encoding a video
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US20180199057A1 (en) * 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US10805630B2 (en) * 2017-04-28 2020-10-13 Qualcomm Incorporated Gradient based matching for motion search and derivation
US11700391B2 (en) * 2017-05-18 2023-07-11 Hfi Innovation Inc. Method and apparatus of motion vector constraint for video coding
US10757417B2 (en) * 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174776A1 (en) * 1997-06-25 2003-09-18 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
KR20090083290A (ko) * 2008-01-29 2009-08-03 한국전자통신연구원 어파인 변환 기반의 움직임 보상을 이용한 비디오 부호화 및 복호화 방법 및 장치
CN107925758A (zh) * 2015-08-04 2018-04-17 Lg 电子株式会社 视频编译系统中的帧间预测方法和设备
CN108886619A (zh) * 2016-01-07 2018-11-23 联发科技股份有限公司 用于视频编解码系统的仿射合并模式预测的方法及装置
CN108702509A (zh) * 2016-02-25 2018-10-23 株式会社Kt 用于处理视频信号的方法和设备
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置
CN108781284A (zh) * 2016-03-15 2018-11-09 联发科技股份有限公司 具有仿射运动补偿的视频编解码的方法及装置
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
CN109076214A (zh) * 2016-05-28 2018-12-21 联发科技股份有限公司 使用仿射运动补偿的视频编码的当前图像参考的方法和装置
WO2018169923A1 (en) * 2017-03-14 2018-09-20 Qualcomm Incorporated Affine motion information derivation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG等: "CE4-related: Affine model inheritance from single-line motion vectors", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, DOCUMENT: JVET-L0330-V1 *

Also Published As

Publication number Publication date
CN113170148A (zh) 2021-07-23
CN113170159B (zh) 2022-09-27
CN113170159A (zh) 2021-07-23
CN113170111B (zh) 2024-03-08
CN113170148B (zh) 2024-10-01
WO2020114515A1 (en) 2020-06-11
WO2020114516A1 (en) 2020-06-11
WO2020114517A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
US11284068B2 (en) Indication method of maximum number of candidates
US11095917B2 (en) Affine inheritance method in intra block copy mode
US20230353737A1 (en) Table maintenance for hmvp candidate storage
US11770540B2 (en) Multiple hypothesis for sub-block prediction blocks
WO2019234671A1 (en) Improved pmmvd
WO2020084511A1 (en) Simplified entropy coding for sub-block based motion information list
WO2020084474A1 (en) Gradient computation in bi-directional optical flow
WO2020164543A1 (en) Motion prediction based on shared merge list
WO2020098752A1 (en) Improvements of affine prediction mode
CN113170159B (zh) 对仿射参数的移位
CN113196750B (zh) Mv位置的高准确度

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant