CN110944207A - 仿射模型的表示 - Google Patents

仿射模型的表示 Download PDF

Info

Publication number
CN110944207A
CN110944207A CN201910901072.6A CN201910901072A CN110944207A CN 110944207 A CN110944207 A CN 110944207A CN 201910901072 A CN201910901072 A CN 201910901072A CN 110944207 A CN110944207 A CN 110944207A
Authority
CN
China
Prior art keywords
affine
current block
parameters
affine model
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910901072.6A
Other languages
English (en)
Other versions
CN110944207B (zh
Inventor
张凯
张莉
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN110944207A publication Critical patent/CN110944207A/zh
Application granted granted Critical
Publication of CN110944207B publication Critical patent/CN110944207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及仿射模型的表示。一种视频处理方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，存储当前块的仿射模型参数；以及使用仿射模型参数执行转换，其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。

Description

仿射模型的表示
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2018年9月23日提交的国际专利申请号PCT/CN2018/107167的优先权和利益。将国际专利申请号PCT/CN2018/107167的全部公开以引用方式并入本文，作为本申请公开的一部分。
技术领域
本专利文件涉及视频编码技术、设备和系统。
背景技术
运动补偿(MC)是一种视频处理中的技术，给出先前的和/或将来的帧，通过考虑相机和/或视频中的对象的运动来预测视频中的帧。运动补偿可以用于视频数据的编码以实现视频压缩。
发明内容
本文件公开了与视频编码和解码中的仿射运动补偿的使用相关的方法、系统和设备。
在一个示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，存储当前块的仿射模型参数；以及使用仿射模型参数执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用原始仿射模型的控制点运动矢量(CPMV)导出当前块的新仿射模型；以及使用新仿射模型执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用来自N1个仿射预测和N2个非仿射预测的组合预测，其中N1和N2是整数；以及使用组合预测执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用当前块的基于子块的Merge列表；以及使用基于子块的Merge列表执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，存储当前块的仿射模型参数；以及使用仿射模型参数执行转换,其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，信令通知当前块的仿射模型参数；以及使用仿射模型参数执行转换,其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用具有参数的多个原始仿射模型导出组合仿射模型；以及使用组合仿射模型执行转换,其中，至少从所述当前块的控制点运动矢量导出所述仿射模型的参数。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用具有控制点运动矢量的多个原始仿射模型导出新仿射模型；以及使用新仿射模型执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，通过组合当前块的多个临时预测导出当前块的最终组合预测；以及通过使用最终组合预测执行转换。
在另一示例方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，导出当前块的多个组合仿射模型；以及使用多个组合仿射模型执行转换。
在又一典型方面，本文描述的各种技术可以被实现为存储在非暂时性计算机可读介质上的计算机程序产品。计算机程序产品包括用于执行本文所述方法的程序代码。
在又一典型方面，视频解码器装置可以实现本文所述的方法。
在另一方面，公开了一种包括处理器的视频编码器装置。该视频编码器装置实现本文所述的方法。
在附件、附图、和下面的说明书中描述了一个或多个实现的细节。其它特征将从描述和附图、以及从权利要求书中显而易见。
附图说明
图1示出了基于子块的预测计算的示例。
图2A-2B示出了简化仿射运动模型的示例。2A：4参数仿射模型；2B：6参数仿射模型。
图3示出了每个子块的仿射运动矢量场(MVF)的示例。
图4A-4B显示AF_Merge模式的候选。
图5示出仿射Merge模式的示例候选位置。
图6示出了具有四个子块(A-D)及其相邻块(a-d)的编码单元(CU)的示例。
图7示出了运动矢量(MV)平面预测算法的示例。
图8是示出可用于实现本公开技术的各个部分的计算机系统或其他控制设备的架构的示例的框图。
图9示出了可用于实现本公开技术的各个部分的移动设备的示例性实施例的框图。
图10是视频处理的示例方法的流程图。
图11是视频处理的另一示例方法的流程图。
图12是视频处理的另一示例方法的流程图。
图13是视频处理的另一示例方法的流程图。
图14是视频处理的另一示例方法的流程图。
图15是视频处理的另一示例方法的流程图。
图16是视频处理的另一示例方法的流程图。
图17示出了典型的高效视频编码(HEVC)视频编码器和解码器的示例框图。
具体实施方式
本文提供了几种可实施在数字视频编码器和解码器中的技术。为了清晰理解，在本文中使用了章节标题，并且不将每个章节中描述的技术和实施例的范围仅限于该章节。
由于对更高分辨率视频的需求的增加，视频编码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断被改进以提供更高的编码效率。视频编解码器将未压缩视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的简易性、随机访问、以及端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定案的多功能视频编码标准(VVC)、或其他当前和/或未来的视频编码标准。
1.总结
本发明涉及视频/图像编码技术。具体来说，涉及视频/图像编码中的仿射预测。它可以应用于如HEVC的现有的视频编码标准，或待定案的标准(多功能视频编码)。它也可适用于未来的视频/图像编码标准或视频/图像编解码器。
2.介绍
基于子块的预测由HEVC附件I(3D-HEVC)首次引入到视频编码标准中。利用基于子块的预测，将诸如编码单元(CU)或预测单元(PU)的块划分为几个不重叠的子块。不同的子块可以被分配不同的运动信息，例如参考索引或运动矢量(MV)，并且对每个子块分别执行运动补偿(MC)。图1示出了基于子块的预测的概念。
为探索HEVC之外的未来视频编码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。
在JEM中，诸如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)和帧速率上转换(FRUC)的多种编码工具中都采用了基于子块的预测。在VVC中也采用了仿射预测。
2.1仿射预测的示例
在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。而在现实世界中，存在很多种运动，例如，放大/缩小、旋转、透视以及其它不规则运动。在VVC中，应用了简化的仿射变换运动补偿预测。如图2A-2B所示，块的仿射运动场由两个(在4参数仿射模型中)或三个(在6参数仿射模型中)控制点运动矢量描述。
图2A-2B示出了简化的仿射运动模型。(a)4参数仿射模型；(b)6参数仿射模型。
块的运动矢量场(MVF)用以下等式描述，其中4参数仿射模型：
Figure BDA0002211825070000051
和六参数仿射模型：
Figure BDA0002211825070000052
其中(mvh 0,mvh 0)为左上角控制点的运动矢量，(mvh 1,mvh 1)为右上角控制点的运动矢量，并且(mvh 2,mvh 2)为左下角控制点的运动矢量。
为了导出每个4×4子块的运动矢量，如图3所示，根据等式(1)或等式(2)计算每个子块的中心样本点的运动矢量，并四舍五入到1/16分数精度。然后应用运动补偿插值滤波器，以利用导出的运动矢量生成每个子块的预测。
在VVC测试模式(VTM)中，有两种仿射运动模式：AF_INTER模式和AF_MERGE模式。对于宽度和高度都大于8的CU，可以应用AF_INTER模式。在比特流中信令通知CU级的仿射标志，以指示是否使用AF_INTER模式。在此模式下，构造具有两个候选的CP MVP候选列表。
可以从如图4A所示的诸如左、上、右上、左下和左上相邻块的空间相邻仿射编码块继承仿射模型。例如，如果图4A中的相邻左下块A如图4B中的A0所示的以仿射模式编码，则获取包含块A的相邻CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv0 N,mv1 N和mv2 N。基于mv0 N,mv1 N和mv2 N计算当前CU/PU的左上角/右上角/左下角的运动矢量mv0 C,mv1 C和mv2 C(其仅用于6参数仿射模型)。
应当注意的是，当CU使用仿射Merge模式编码时，即在AF_Merge模式下，它从有效的相邻重构块中获得使用仿射模式编码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图4A所示。
导出的当前块的CP MV mv0 C,mv1 C和mv2 C可以用作仿射Merge模式下的CP MV。或者它们可以用作VVC中仿射帧间模式的MVP。应当注意的是，对于Merge模式，如果当前块是用仿射模式编码的，则在导出当前块的CP MV之后，可以将当前块进一步划分为多个子块，并且每个块将基于当前块的导出的CP MV导出其运动信息。
与其中可以仅使用一个仿射空间相邻块来导出块的仿射运动的VTM中不同，在其他实施例中，其建议为AF_MERGE模式构造单独的仿射候选列表。
1)将继承的仿射候选插入候选列表
图5示出了仿射Merge模式的候选位置的示例。
继承的仿射候选是指该候选是从由仿射模式编码的有效相邻重构块导出的。
如图5所示，候选块的扫描顺序为A1、B1、B0、A0和B2。当块被选择时(例如，A1)，采用两步程序：
a)首先，使用覆盖块的CU的三个角运动矢量来导出当前块的两个/三个控制点。
b)基于当前块的控制点来导出当前块内每个子块的子块运动。
2)插入构造的仿射候选
如果仿射Merge候选列表中的候选数目小于MaxNumAffineCand，则将构造的仿射候选插入候选列表中。
构造的仿射候选是指通过组合每个控制点的相邻运动信息构造的候选。
首先从图5所示的指定的空间邻居和时域邻居导出控制点的运动信息。CPk(k＝1,2,3,4)表示第k个控制点。A0,A1,A2,B0,B1,B2和B3是用于预测CPk的空间位置(k＝1,2,3)；T是用于预测CP4的时域位置。
CP1、CP2、CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。
按照以下优先顺序获得每个控制点的运动信息：
-对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。
-对于CP2，检查优先级为B1->B0；
-对于CP3，检查优先级为A1->A0；
-对于CP4，使用T。
其次，使用控制点的组合来构造运动模型。
在6参数仿射模型中，需要三个控制点的运动矢量来计算变换参数。这三个控制点可以从以下四个组合中的一个来选择({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。例如，使用CP1、CP2和CP3控制点来构造6参数仿射运动模型，表示为仿射(CP1、CP2、CP3)。
在4参数仿射模型中，需要两个控制点的运动矢量来计算变换参数。这两个控制点可以从以下六个组合中的一个来选择({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。例如，使用CP1和CP2控制点来构造4参数仿射运动模型，表示为仿射(CP1，CP2)。
构造的仿射候选的组合按以下顺序插入到候选列表中：
{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}。
3)插入零运动矢量
如果仿射Merge候选列表中的候选数目小于MaxNumAffineCand，则在候选列表中插入零运动矢量，直到列表满为止。
2.2ATMVP(高级时域运动矢量预测)的示例
在第十届JVET会议上，将高级时域运动矢量预测(ATMVP)包含在了基准集(BMS)-1.0参考软件中，ATMVP基于来自时域相邻图片的共位块的运动信息导出一个编码单元(CU)的子块的多个运动。虽然它提高了时域运动矢量预测的效率，但对于现有的ATMVP设计来说，仍然存在以下复杂度问题：
如果使用多个参考图片，则不同ATMVP CU的共位图片可能不相同。这意味着需要获取多个参考图片的运动场。
每个ATMVP CU的运动信息总是基于4x4单元导出的，导致多次调用一个ATMVP CU内的每个4x4子块的运动推导和运动补偿。
对ATMVP提出了一些进一步的简化，并在VTM2.0中被采用。
2.2.1具有一个固定共位图片的简化共位块推导的示例
在这种方法中，提出了一种简化的设计，以将与HEVC中相同的共位图片(其在条带报头中信令通知)用作ATMVP推导的共位图片。在块级别上，如果相邻块的参考图片与该共位图片不同，则使用HEVC时域MV缩放方法缩放块的MV，并且在ATMVP中使用缩放的MV。
将用于获取共位图片Rcol中的运动场的运动矢量表示为MVcol。为了最小化MV缩放造成的影响，用于推导MVcol的空间候选列表中MV按以下方式选择：如果候选MV的参考图片是共位图片，则选择该MV并在不进行任何缩放的情况下将其用作MVcol。否则，选择具有最接近共位图片的参考图片的MV来使用缩放以导出MVcol。
2.2.2适应性的ATMVP子块尺寸的示例
在该方法中，提出对于ATMVP运动推导支持子块尺寸的条带级的适应。具体地，在序列级信令通知用于ATMVP运动推导的一个默认子块尺寸。另外，在条带级信令通知一个标志以指示当前条带是否使用默认子块尺寸。如果标志为假(false)，则在该条带的条带报头中进一步信令通知对应的ATMVP子块尺寸。
2.3STMVP(空时运动矢量预测)的示例
STMVP在JEM中被提出和采用，但在VVC中尚未被采用。在STMVP中，子CU的运动矢量是按照光栅扫描顺序递归推导的。图6说明了该概念。我们来考虑包含四个4×4的子CU A、B、C和D的8×8的CU。当前帧中相邻的4×4的块标记为a、b、c和d。
子CU A的运动推导由识别其两个空间邻居开始。第一个邻居是子CU A上方的N×N块(块c)。如果该块c不可用或内部编码，则检查子CU A上方的其它N×N块(从左到右，从块c处开始)。第二个邻居是子CU A左侧的一个块(块b)。如果块b不可用或是内部编码，则检查子CU A左侧的其它块(从上到下，从块b处开始)。每个列表从相邻块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照HEVC中规定的与TMVP相同的程序，推推导子块A的时域运动矢量预测(TMVP)。提取位置D处的共位块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量指定为当前子CU的运动矢量。
图6示出了具有四个子块(A-D)和相邻块(a-d)的一个CU的示例。
2.4MVPlanar(JVET-K0349)的示例
MVPlanar预测引入子块级运动矢量推导。如图7所示，所提出的方案通过对上、右上、左上和左下相邻块的运动矢量的加权平均插值运动矢量而生成运动矢量场，与帧内平面预测相同。如果相邻块不可用或者是帧内编码的CU，则以与帧内参考样本点替换相同的方式执行替换处理。
对于MVPlanar模式，在CU级信令通知附加的语法mv_planar_flag。如果mv_planar_flag设置为等于1，则额外地信令通知inter_pred_idc和ref_idx。
2.5基于历史的运动矢量预测的示例
本文提出了一种用于帧间编码的基于历史的运动矢量预测(HMVP)方法。在HMVP中，动态地维护和更新HMVP候选表。在解码非仿射帧间编码块之后，通过将相关联的运动信息作为新的HMVP候选添加到表的最后一条来更新表。先入先出(FIFO)或限制的FIFO规则被应用于移除条目和向表中添加条目。HMVP候选可以应用于Merge候选列表或AMVP候选列表。
仿射模式的当前设计存在以下问题：
仿射模式的当前设计，块只能应用一个仿射模型。然而，如果运动是复杂的，则单个仿射模型可能无法精确地描述运动。
对于基于子块的候选，仍然不清楚应当将哪些候选放入单独的Merge列表中。此外，这些候选应该按何种顺序放入单独的Merge列表也不清楚。
3.示例技术
提出了几种提高基于仿射模式的视频编码的增益的方法。
下面的详细发明应被视为解释一般概念的示例。这些发明不应被狭隘地解释。此外，这些发明可以以任何方式组合。本发明与其他发明之间的组合同样适用。
在没有说明的情况下，以下描述以采用一个参考图片列表为例。对于双向预测仿射模式，每个参考图片列表都可以遵循以下描述的方法。
对于仿射编码块，建议存储仿射模型参数，而不是控制点运动矢量。
a).在一个示例中，等式(1)中4参数仿射模型的参数(a、b、c、d)
存储在仿射编码块中；等式(2)中6参数仿射模型的参数(a、b、c、d、e、f)存储在仿射编码块中。
b).或者，等式(1)中4参数仿射模型的参数(a，b)存储在仿射编码块中；等式(2)中6参数仿射模型的参数(a，b，c，d)存储在仿射编码块中。
c).或者，另外，多个CPMV(如图3所示的mv0、mv1、mv2或mv3)中的一个也存储在仿射编码块中。
d).在存储器中，一个参数表示为一个K位的整数。例如，K＝8或12。
可以从仿射参数而不是单纯地基于CPMV推导出块的仿射运动。
a).例如，仿射编码块中子块的MV可以计算为：
i.
Figure BDA0002211825070000101
或者
ii.
Figure BDA0002211825070000102
或者
iii.
Figure BDA0002211825070000103
或者
iv.
Figure BDA0002211825070000104
v.在一个示例中,
vi.
Figure BDA0002211825070000105
其中P是定义精度的整数(例如P＝8)，并且Off是整数取整偏移量。(例如，Off＝2P -1)。
仿射块的参数可以从编码器信令通知到解码器。
a).相邻仿射编码块的参数可以用作预测，来编码当前仿射编码块的参数。
b).对于放射编码块，也可以信令通知一个CPMV(如图3中的mv0、mv1、mv2或mv3)。在一个示例中，CPMV可以由MVP来预测，并且被MVD作为正常的MV信令通知。
c).可以从空间或时域相邻的仿射编码块继承仿射块的参数。
i.可以从相邻的仿射编码块导出一个CPMV(诸如图3中的mv0、mv1、mv2或mv3)。例如，可应用等式(5)至等式(6)来推导它，其中x＝x'-x0，y＝y'-y0，其中(x'，y')是当前块的CPMV所在位置的坐标；(x0，y0)是相邻块的左上角的坐标。
在一个示例中，存在具有参数(a1,b1,c1,d1,e1,f1)…(aN,bN,cN,dN,eN,fN)的N个(N>＝2)原始仿射模型。可以从这些仿射模型导出组合仿射模型(a’,b’,c’,d’,e’,f’)，并且可以通过组合仿射模型预测当前块。
a).例如，可以从当前块的仿射编码的空间或时域相邻块导出原始仿射模型；
i.在一个示例中，一些仿射编码的空间相邻块的仿射模型不被用来导出当前块要使用的新仿射模型。
b).例如，可以从构造仿射模型导出原始仿射模型；
i.在一个示例中，一些构造仿射模型不用于导出要被当前块使用的新仿射模型。
c).例如(a’,b’,c’,d’,e’,f’)＝(Fa(a1,…,aN),Fb(b1,…,bN),Fc(c1,…,cN),Fd(d1,…,dN),Fe(e1,…,eN),Ff(f1,…,fN))；Fa,Fb,Fc,Fd,Fe和Ff是函数。
i.函数定义为平均值。例如，(a’,b’,c’,d’,e’,f’)＝(Average(a1,…,aN)，Average(b1,…,bN)，Average(c1,…,cN)，Average(d1,…,dN)，Average(e1,…,eN)，Average(f1,…,fN))；
ii.例如,
Figure BDA0002211825070000111
Figure BDA0002211825070000112
iii.在一个示例中,
Figure BDA0002211825070000113
Figure BDA0002211825070000114
Figure BDA0002211825070000115
其中
Figure BDA0002211825070000116
iv.在一个示例中，对于所有i，
Figure BDA0002211825070000117
v.在一个示例中，N＝2并且对于i＝1和2，
Figure BDA0002211825070000121
vi.在一个示例中，一些参数可不存在。例如，ci,di不存在，则将
Figure BDA0002211825070000122
和
Figure BDA0002211825070000123
和置为0。
d).在一个示例中，只有具有4个参数的原始仿射模型被用来导出组合仿射模型。
e).在一个示例中，只有具有6个参数的原始仿射模型被用来导出组合仿射模型。
f).在一个示例中，在被用于导出组合仿射模型之前，首先将具有4个参数的原始仿射模型转换成具有6个参数的仿射模型。
i.4参数仿射模型(ak,bk,ek,fk)可以转换为如(ak,-bk,bk,ak,ek,fk)的6参数仿射模型。
提出基于CPMV导出新仿射模型。
a).在一个示例中，有N个(N>＝2)具有CPMV(MV0 1,MV1 1,MV2 1)…(MV0 N,MV1 N,MV2 N)的原始仿射模型(例如，那些与相邻块相关联的仿射模型)。从这些仿射模型可以导出具有CPMV(MV’0,MV’1,MV’2)的组合仿射模型，并且通过新仿射模型预测当前块。(MV0,MV1,MV2)分别表示左上角、右上角和左下角的CPMV。在下面的讨论中，MV是二维矢量，表示为(MVx,MVy)。MV1+MV2＝MV3表示MV1x+MV2x＝MV3x且MV1y+MV2y＝MV3y，k×MV1＝MV2表示k×MV1x＝MV2x且k×MV1y＝MV2y。
b).例如，可以从当前块的仿射编码的空间或时域相邻块导出原始仿射模型的CPMV；
i.在一个示例中，从一些仿射编码的空间相邻块导出的仿射模型的CPMV不用于导出要被当前块使用的新仿射模型。
c).例如，可从构造仿射模型导出原始仿射模型的CPMV；
i.在一个示例中，一些构造仿射模型的CPMV不用于导出要被当前块使用的新仿射模型。
d).例如(MV’0,MV’1,MV’2)＝(F0(MV0 1,…,MV0 N),F1(MV1 1,…,MV1 N),F2(MV2 1,…,MV2 N))；F0,F1和F2是函数。
i.在一个示例中，Fi可以定义为平均函数。
ii.例如(MV’0,MV’1,MV’2)＝(Average(MV0 1,…,MV0 N),Average
(MV1 1,…,MV1 N),Average(MV2 1,…,MV2 N))；
iii.例如
Figure BDA0002211825070000131
Figure BDA0002211825070000132
Figure BDA0002211825070000133
v.在一个示例中，对于所有i，
Figure BDA0002211825070000134
vi.在一个示例中，N＝2并且对于i＝1和2，
Figure BDA0002211825070000135
vii.在一个示例中，一些CPMV可以不存在。例如,MV2 i不存在,则将
Figure BDA0002211825070000136
设为0。
e).在一个示例中，只有具有4个参数的原始仿射模型被用来导出组合仿射模型的CPMV。
f).在一个示例中，只有具有6个参数的原始仿射模型被用来导出组合仿射模型的CPMV。
g).在一个示例中，在被用于导出组合仿射模型的CPMV之前，首先将具有4个参数的原始仿射模型转换成具有6个参数的仿射模型。
i.具有两个CPMV(MV0 k,MV1 k)的4参数仿射模型可转换为具有三个CPMV(MV0 k,MV1 k,MV2 k)的6参数仿射模型，其中MV2 k可由等式(1)导出，其中x＝0且y＝h，其中h是具有4参数仿射模型的仿射编码块的高度。
h).在一个示例中，可以从N(N>＝2)个原始仿射模型导出DiffMV’1＝MV’1-MV’0和DiffMV’2＝MV’2-MV’0。假设DiffMVk 1＝MVk 1-MVk 0且DiffMVk 2＝MVk 2-MVk 2：
i.例如，(DiffMV’1,DiffMV’2)＝(F1(DiffMV 1 1,…,DiffMV 1 N),F2(DiffMV2 1,…,DiffMV2 N))；F1和F2是函数。
ii.例如，(DiffMV’1,DiffMV’2)＝(Average(DiffMV1 1,…,DiffMV1 N),Average(DiffMV2 1,…,DiffMV2 N))；
Figure BDA0002211825070000137
Figure BDA0002211825070000141
其中
Figure BDA0002211825070000142
v.在一个示例中，对于所有i，
Figure BDA0002211825070000143
i).在一个示例中，以一种方式从一些原始CPMV导出DiffMV’1和/或DiffMV’2。以另一种方式导出MV’0；并且(MV’0,MV’0+DiffMV’1)或(MV’0,MV’0+DiffMV’1,MV’0+DiffMV’2)被视为组合仿射模型的CPMV。
i.例如，通过组合两个仿射编码的空间相邻块导出DiffMV’1和/或DiffMV’2。从图5中的块A2、块B2或块B3复制或缩放MV’0。
j).在一个示例中，只能组合参考相同参考图片的原始CPMV。
i.或者，在组合之前，参考不同参考图片的CPMV应缩放到相同的参考图片。
可以首先由N个仿射模型生成N(N>＝2)个当前块的临时预测，并且最终预测可以是临时预测的组合。假设当前块的N个原始预测表示为P1(x,y),….,PN(x,y)。最终预测表示为P’(x,y)。
a).例如，P’(x,y)＝Fx,y(P1(x,y),….,PN(x,y))，Fx,y是取决于样本点位置(x，y)的函数束；
b).例如，P’(x,y)＝Average(P1(x,y),….,PN(x,y))；
Figure BDA0002211825070000144
e).在一个示例中，对于所有(x，y)，
Figure BDA0002211825070000145
都相同。
f).在一个示例中，对于所有i，
Figure BDA0002211825070000146
都相同。
g).在一个示例中，N＝2并且对于所有(x，y)，
Figure BDA0002211825070000147
h).在一个示例中，,P1(x,y),….,PN(x,y)应由参考相同参考图片的仿射模型生成。
i).或者，,P1(x,y),….,PN(x,y)应由参考相同参考列表中的参考图片的仿射模型生成。
j).在一个示例中，如果P1(x,y)和P2(x,y)是参考已在候选列表中的双向预测候选的参考列表0和参考列表1的两个预测，则它们不能被组合为组合候选。
提出对一个块联合使用仿射运动和非仿射运动。
a).在一个示例中，存在由N1个仿射模型生成的当前块的N1(N1>＝1)个临时预测，以及由N2个非仿射预测生成的当前块的N2(N2>＝1)个临时预测，最终预测可以是仿射预测和非仿射预测的组合。假设当前块的N1个原始仿射预测表示为P1(x,y),….,PN1(x,y)。当前块的N1个原始非仿射预测表示为Q1(x,y),….,QN2(x,y)。最终预测表示为P’(x,y)。
b).非仿射预测包括：非仿射帧间预测、帧内预测、帧内块复制、可缩放视频编码中的层间预测、多视图视频编码或3D视频编码中的视图间预测。
i.具体地，非仿射帧间预测包括其它基于子块的预测，诸如ATMVP、STMVP和MVPlanar预测。
ii.或者，N1＝0，并且诸如ATMVP、STMVP和MVPlanar预测的其他基于子块的预测可以相互组合。
c).例如，P’(x,y)＝Fx,y(P1(x,y),….,PN1(x,y),Q1(x,y),….,QN2(x,y)),Fx,y是取决于于样本点位置(x，y)的函数束；
i.例如，P’(x,y)＝Average(P1(x,y),….,PN1(x,y)),Q1(x,y),….,QN2(x,y))；
ii.例如，
Figure BDA0002211825070000151
iii.在一个示例中，
Figure BDA0002211825070000152
Figure BDA0002211825070000153
iv.在一个示例中，对于所有(x，y)，
Figure BDA0002211825070000154
都相同。
v.在一个示例中，对于所有i，
Figure BDA0002211825070000155
都相同。
vi.在一个示例中，对于所有(x，y)，
Figure BDA0002211825070000156
都相同。
vii.在一个示例中，对于所有i，
Figure BDA0002211825070000157
都相同。
viii.在一个示例中，对于所有(x，y)，
Figure BDA0002211825070000158
ix.在一个示例中，对于所有i，
Figure BDA0002211825070000159
x.在一个示例中，N1＝1，N2＝1，并且对于所有(x，y)，
Figure BDA00022118250700001510
d).在一个示例中，对于一个预测方向(一个参考图片列表)，使用仿射运动来导出临时预测块，并且对于另一个预测方向，使用非仿射运动来导出临时预测块。
i.或者，此外，可以为每个参考图片列表信令通知仿射标志。
e).在一个示例中，对于一个预测方向(一个参考图片列表)，使用仿射运动和非仿射运动二者来导出临时预测块。
可以导出多于一个组合仿射模型，并且作为仿射MVP候选或Merge候选
a).在一个示例中，将每两个仿射编码的空间相邻块的仿射参数或CPMV组合以生成新仿射模型的具有仿射参数或CPMV的组合候选，并将该组合仿射模型添加到仿射MVP候选列表或仿射Merge列表中。
i.在另一示例中，将从每两个仿射编码的空间相邻块的仿射模型生成的临时预测组合，以生成具有组合预测的组合候选。
ii.可将组合候选放入候选列表中正常仿射AMVP或从空间相邻块继承的Merge候选之后。
iii.放入候选列表的组合候选的数目不可超过固定数目(例如，5)。
在对仿射编码块进行编码/解码之后，可以将两个或三个CPMV放入HMVP中的查找表中。
a).在一个示例中，使用单独的查找表(命名为CPMV查找表)来存储CPMV。CPMV查找表中的条目存储来自仿射编码块的两个或三个CPMV。
b).用于编码仿射编码块的HMVP候选的数目可以是固定的，或者是适应性地改变的(诸如基于包括块尺寸、块形状、条带类型的编码信息；或者基于在添加HMVP候选之前可用候选的数目)。
有几种可能的顺序将基于子块的Merge候选放入基于子块的Merge候选列表(其可以与普通Merge候选者列表不同)。表示为：
ATMVP候选：AT；STMVP候选：ST；
从仿射编码相邻块继承的仿射Merge候选：Aff；
构造仿射Merge候选：vAff；
组合Merge候选：cAff(在包括仿射或非仿射的任何子块Merge候选之间组合)；
零候选：Z；
提出对基于子块的Merge候选列表使用以下顺序：
a.AT->ST->Aff->vAff->Z；
b.AT->Aff->ST->vAff->Z；
c.Aff->AT->ST->vAff->Z；
d.Aff->ST->AT->vAff->Z；
e.ST->AT->Aff->vAff->Z；
f.ST->Aff->AT->vAff->Z；
g.AT->ST->Aff->cAff->vAff->Z；
h.AT->Aff->ST->cAff->vAff->Z；
i.Aff->AT->ST->cAff->vAff->Z；
j.Aff->ST->AT->cAff->vAff->Z；
k.ST->AT->Aff->cAff->vAff->Z；
l.ST->Aff->AT->cAff->vAff->Z；
m.AT->ST->Aff->vAff->cAff->Z；
n.AT->Aff->ST->vAff->cAff->Z；
o.Aff->AT->ST->vAff->cAff->Z；
p.Aff->ST->AT->vAff->cAff->Z；
q.ST->AT->Aff->vAff->cAff->Z；
r.ST->Aff->AT->vAff->cAff->Z；
s.AT->ST->Aff->cAff->Z；
t.AT->Aff->ST->cAff->Z；
u.Aff->AT->ST->cAff->Z；
v.Aff->ST->AT->cAff->Z；
w.ST->AT->Aff->cAff->Z；
x.ST->Aff->AT->cAff->Z；
y.该顺序可从块到块适应性地改变。
添加到列表中的一种基于子块的候选的数目不可超过一个数目。
a).例如，从仿射编码的相邻块继承的仿射Merge候选的数目不可超过N，例如2、3、4、5、6；
b).例如，构造仿射Merge候选的数目不可超过N，例如0、1、2、3、4、5、6；
c).例如，组合Merge候选的数目不可超过N，例如0、1、2、3、4、5、6；
d).用于编码仿射编码块的一种基于子块的候选的数目可以是固定的，或者是适应性地改变的(诸如基于包括块尺寸、块形状、条带类型的编码信息；或者基于在添加这种候选之前可用候选的数目)。
图8是说明可以用于实现本公开技术的各个部分的计算机系统或其他控制设备2600的结构的示例的示意图。在图8中，计算机系统2600包括通过互连2625连接的一个或多个处理器2605和存储器2610。互连2625可以表示由适当的桥、适配器或控制器连接的任何一条或多条单独的物理总线、点对点连接或两者。因此，互连2625可以包括例如系统总线、外围组件互连(PCI)总线、超传输或工业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。
处理器2605可以包括中央处理器(CPU)，来控制例如主机的整体操作。在一些实施例中，处理器2605通过执行存储在存储器2610中的软件或固件来实现这一点。处理器2605可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些器件的组合。
存储器2610可以是或包括计算机系统的主存储器。存储器2610表示任何适当形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，存储器2610除其他外可包含一组机器指令，当处理器2605执行该指令时，使处理器2605执行操作以实现本公开技术的实施例。
通过互连2625连接到处理器2605的还有(可选的)网络适配器2615。网络适配器2615为计算机系统2600提供与远程设备(诸如存储客户机和/或其他存储服务器)通信的能力，并且可以是例如以太网适配器或光纤通道适配器。
图9示出了可以用于实施本公开技术的各个部分的移动设备2700的示例实施例的框图。移动设备2700可以是笔记本电脑、智能手机、平板电脑、摄像机或其他能够处理视频的设备。移动设备2700包括处理器或控制器2701来处理数据，以及与处理器2701通信的存储器2702来存储和/或缓冲数据。例如，处理器2701可以包括中央处理器(CPU)或微控制器单元(MCU)。在一些实现中，处理器2701可以包括现场可编程门阵列(FPGA)。在一些实现中，移动设备2700包括或与图形处理单元(GPU)、视频处理单元(VPU)和/或无线通信单元通信，以实现智能手机设备的各种视觉和/或通信数据处理功能。例如，存储器2702可以包括并存储处理器可执行代码，当处理器2701执行该代码时，将移动设备2700配置为执行各种操作，例如接收信息、命令和/或数据、处理信息和数据，以及将处理过的信息/数据发送或提供给另一个数据设备，诸如执行器或外部显示器。为了支持移动设备2700的各种功能，存储器2702可以存储信息和数据，诸如指令、软件、值、图像以及处理器2701处理或引用的其他数据。例如，可以使用各种类型的随机存取存储器(RAM)设备、只读存储器(ROM)设备、闪存设备和其他合适的存储介质来实现存储器2702的存储功能。在一些实现中，移动设备2700包括输入/输出(I/O)单元2703，来将处理器2701和/或内存2702与其他模块、单元或设备进行接口。例如，I/O单元2703可以与处理器2701和内存2702进行接口，以利用与典型数据通信标准兼容的各种无线接口，例如，在云中的一台或多台计算机和用户设备之间。在一些实现中，移动设备2700可以通过I/O单元2703使用有线连接与其他设备进行接口。I/O单元2703可以包括无线传感器，例如用于检测远程控制信号的红外探测器，或其他合适的无线人机界面技术。移动设备2700还可以与其他外部接口(例如数据存储器)和/或可视或音频显示设备2704连接，以检索和传输可由处理器处理、由存储器存储或由显示设备2704或外部设备的输出单元上显示的数据和信息。例如，显示设备2704可以根据所公开的技术显示基于MVP修改的视频帧。
图10是视频编码的方法1000的流程图表示。方法1000包括：在视频的当前块和当前块的比特流表示之间的转换期间，存储(1002)当前块的仿射模型参数；以及使用仿射模型参数执行(1004)转换。
视频处理的另一种方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用原始仿射模型的控制点运动矢量(CPMV)导出当前块的新仿射模型；以及使用新仿射模型执行转换。
视频处理的另一种方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用来自N1个仿射预测和N2个非仿射预测的组合预测，其中N1和N2是整数；以及使用组合预测执行转换。
视频处理的另一种方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用当前块的基于子块的Merge列表；以及使用基于子块的Merge列表执行转换。
在又一典型方面，本文描述的各种技术可以被实现为存储在非暂时性计算机可读介质上的计算机程序产品。计算机程序产品包括用于执行本文所述方法的程序代码。
在又一典型方面，视频解码器装置可以实现本文所述的方法。
在另一方面，公开了一种包括处理器的视频编码器装置。该视频编码器装置实现本文所述的方法。
可以用以下条款来描述这些方法：
1.一种视频处理方法，包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，存储所述当前块的仿射模型参数；以及使用所述仿射模型参数执行所述转换。
2.根据条款1所述的方法，其中所述转换包括：从所述比特流表示重构所述当前块。
3.根据条款1所述的方法，其中所述转换包括：从所述当前块生成所述比特流表示。
4.根据条款1至3中任一项所述的方法，其中在不存储所述当前块的控制点运动矢量的情况下执行所述转换。
5.根据条款1至4中任一项所述的方法，存储所述仿射模型参数包括：存储4参数仿射模型的4个参数。
6.根据条款1至4中任一项所述的方法，其中，存储所述仿射模型参数包括：存储4参数仿射模型的2个参数和6参数仿射模型的4个参数。
7.根据条款1至3中任一项所述的方法，其中执行所述转换包括：在不使用控制点运动矢量的情况下，从所述仿射模型参数导出所述当前块的仿射运动。
8.根据条款1至3中任一项所述的方法，其中所述比特流表示包括所述仿射模型参数的值。
9.根据条款8所述的方法，其中所述比特流表示还包括所述当前块的控制点运动矢量值。
10.根据条款1至3中任一项所述的方法，其中执行所述转换包括：通过从所述当前块的多个仿射模型导出的组合仿射模型来预测所述当前块的预测。
在章节4的技术1中提供了条款1至10的其他示例。
11.一种视频处理方法，包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用原始仿射模型的控制点运动矢量(CPMV)导出当前块的新仿射模型；以及使用新仿射模型执行转换。
12.根据条款11所述的方法，其中所述转换包括：从所述比特流表示重构所述当前块。
13.根据条款11所述的方法，其中所述转换包括：从所述当前块生成所述比特流表示。
14.根据条款11至13中任一项所述的方法，其中组合N个原始仿射模型，其中N是大于1的整数。
15.根据条款11至14中任一项所述的方法，其中执行所述转换包括：从所述新仿射模型确定预测的当前块。
16.根据条款11至15中任一项所述的方法，其中从另一仿射编码的空间或时域相邻块导出原始仿射模型的CPMV。
17.根据条款15所述的方法，其中确定预测的当前块包括：从所述原始仿射模型生成所述当前块的临时预测，并且从作为所述临时预测的组合的最终预测确定预测的当前块。
在章节4的技术2中提供了条款11至17中所述方法的附加示例。
18.一种视频编码方法，包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用来自N1个仿射预测和N2个非仿射预测的组合预测，其中N1和N2是整数；以及使用组合预测执行转换。
19.根据条款18所述的方法，其中所述转换包括：从所述比特流表示重构所述当前块。
20.根据条款18所述的方法，其中所述转换包括：从所述当前块生成所述比特流表示。
21.根据条款18至21中任一项所述的方法，其中执行所述转换包括：从N1个仿射预测生成N1个临时预测；并且将N1个临时预测与从N2个非仿射预测生成的N2个预测组合。
22.根据条款18至21中任一项所述的方法，其中N2个非仿射预测包括以下的一个或多个：非仿射帧间预测、帧内预测、帧内块复制、可缩放视频编码中的层间预测、多视图视频编码或3D视频编码中的视图间预测。
23.根据条款18至21中任一项所述的方法，还包括：生成附加组合预测，以及在所述转换期间将所述组合预测和所述附加组合预测用作仿射候选或Merge候选。
关于章节4的技术3-6描述了技术18至23的实施例的附加示例。
24.一种视频处理方法，包括：在视频的当前块和当前块的比特流表示之间的转换期间，使用当前块的基于子块的Merge列表；以及使用基于子块的Merge列表执行转换
25.根据条款24所述的方法，其中所述转换包括：从所述比特流表示重构所述当前块。
26.根据条款24所述的方法，其中所述转换包括：从所述当前块生成所述比特流表示。
27.根据条款24至26中任一项所述的方法，其中，生成基于子块的Merge列表的顺序包括以下中的至少一个：
AT->ST->Aff->vAff->Z；
AT->Aff->ST->vAff->Z；
Aff->AT->ST->vAff->Z；
Aff->ST->AT->vAff->Z；
ST->AT->Aff->vAff->Z；
ST->Aff->AT->vAff->Z；
AT->ST->Aff->cAff->vAff->Z；
AT->Aff->ST->cAff->vAff->Z；
Aff->AT->ST->cAff->vAff->Z；
Aff->ST->AT->cAff->vAff->Z；
ST->AT->Aff->cAff->vAff->Z；
ST->Aff->AT->cAff->vAff->Z；
AT->ST->Aff->vAff->cAff->Z；
AT->Aff->ST->vAff->cAff->Z；
Aff->AT->ST->vAff->cAff->Z；
Aff->ST->AT->vAff->cAff->Z；
ST->AT->Aff->vAff->cAff->Z；
ST->Aff->AT->vAff->cAff->Z；
AT->ST->Aff->cAff->Z；
AT->Aff->ST->cAff->Z；
Aff->AT->ST->cAff->Z；
Aff->ST->AT->cAff->Z；
ST->AT->Aff->cAff->Z；
ST->Aff->AT->cAff->Z；
从块到块适应性地改变；
其中AT表示高级时域运动矢量预测候选，ST表示空时运动矢量预测候选，Aff表示从仿射编码相邻块继承的仿射Merge候选，vAff表示构造的仿射Merge候选，cAff表示组合Merge候选，并且Z表示零候选。
28.根据条款24至27中任一项所述的方法，其中所述基于子块的Merge列表的长度小于N，其中N是0到6之间的整数。
在章节4的技术7中描述这些技术的一些实施例。
在上述条款中，转换操作可以是例如视频压缩或解压缩操作。
图11是视频编码的方法1100的流程图表示。方法1100包括：在视频的当前块和当前块的比特流表示之间的转换期间，存储(1102)当前块的仿射模型参数；以及使用仿射模型参数执行(1104)转换,其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
在一些实施例中，在不存储所述当前块的控制点运动矢量的情况下执行所述转换。
在一些实施例中，存储的仿射模型参数的数目基于所述仿射模型。
在一些实施例中，存储所述仿射模型参数包括：存储4参数仿射模型的2个或4个参数。
在一些实施例中，存储所述仿射模型参数包括：存储6参数仿射模型的4个或6个参数。
在一些实施例中，所述方法还包括：存储所述当前块的多个控制点运动矢量中的一个。
在一些实施例中，一个参数在存储器中表示为K位的整数，K为8或12。
在一些实施例中，执行所述转换包括：从所述仿射模型参数导出所述当前块的子块的仿射运动。
在一些实施例中，执行所述转换包括：从所述仿射模型参数和多个控制点运动矢量中的一个导出所述当前块的子块的仿射运动。
在一些实施例中，用于导出所述当前块的所述子块的所述仿射运动的所述仿射模型参数的数目基于所述仿射模型。
在一些实施例中，基于所述仿射模型参数将所述当前块的所述子块的所述仿射运动作为归一化函数导出。
在一些实施例中，基于所述仿射模型参数外加多个控制点运动矢量中的一个将所述当前块的所述子块的所述仿射运动作为归一化函数导出。
图12是视频编码的方法1200的流程图表示。方法1200包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，信令通知(1202)所述当前块的仿射模型参数；以及使用所述仿射模型参数执行(1204)所述转换。
在一些实施例中，从相邻仿射块的参数预测所述当前块的所述仿射模型参数。
在一些实施例中，为所述当前块信令通知多个控制点运动矢量中的一个。
在一些实施例中，通过运动矢量预测对所述一个控制点运动矢量进行预测，并且将运动矢量差(MVD)信令通知为正常运动矢量。
在一些实施例中，从所述当前块的空间或时域相邻块导出所述当前块的所述参数。
在一些实施例中，从所述当前块的所述空间或时域相邻块导出多个控制点运动矢量中的一个。
图13是视频编码的方法1300的流程图表示。方法1300包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，使用(1302)具有参数的多个原始仿射模型导出组合仿射模型；以及使用所述组合仿射模型执行(1304)所述转换，其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
在一些实施例中，从所述当前块的仿射编码的空间或时域相邻块导出所述原始仿射模型。
在一些实施例中，从一个或多个构造仿射模型导出所述原始仿射模型。
在一些实施例中，所述组合仿射模型具有第一参数集，并且所述多个原始仿射模型分别具有多个第二参数集，所述第一参数集中的每个参数是所述多个第二参数集的每个中的对应参数的函数。
在一些实施例中，所述函数是平均函数、加权平均函数或归一化函数。
在一些实施例中，所述加权平均函数中使用的所述运动矢量的加权值相同。
在一些实施例中，所述第二参数集中的一些参数不存在，并且所述对应的加权值被设置为0。
在一些实施例中，仅使用具有4个参数的原始仿射模型来导出所述组合仿射模型。
在一些实施例中，仅使用具有6个参数的原始仿射模型来导出所述组合仿射模型。
在一些实施例中，所述方法还包括：将具有4个参数的原始仿射模型转换为具有6个参数的仿射模型；以及使用所述转换的具有6个参数的仿射模型导出所述组合仿射模型。
在一些实施例中，将具有4个参数的原始仿射模型转换为具有6个参数的仿射模型包括：添加第一参数，所述第一参数是所述4个参数中的一个参数的负数；以及添加第二参数，所述第二参数与所述4个参数中的另一个参数相同。
在一些实施例中，所述转换包括：从所述比特流表示重构所述当前块。
在一些实施例中，所述转换包括：从所述当前块生成所述比特流表示。
图14是视频编码的方法1400的流程图表示。方法1400包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，使用具有控制点运动矢量的多个原始仿射模型导出(1402)新仿射模型；以及使用所述新仿射模型执行(1404)所述转换。
在一些实施例中，至少一个所述多个原始仿射模型是与所述当前块的相邻块相关联的仿射模型。
在一些实施例中，从所述当前块的仿射编码的空间或时域相邻块导出所述原始仿射模型的所述控制点运动矢量。
在一些实施例中，从一些仿射编码的空间相邻块导出的所述仿射模型的所述控制点运动矢量不用于导出要被所述当前块使用的所述新仿射模型。
在一些实施例中，从一个或多个构造仿射模型导出所述原始仿射模型的所述控制点运动矢量。
在一些实施例中，一些构造仿射模型的所述控制点运动矢量不用于导出要被所述当前块使用的所述新仿射模型。
在一些实施例中，所述新仿射模型具有第一控制点运动矢量集，并且所述多个原始仿射模型分别具有多个第二控制点运动矢量集，所述第一控制点运动矢量集中的每个控制点运动矢量是所述多个第二控制点运动矢量集的每个中的对应控制点运动矢量的函数。
在一些实施例中，所述函数是平均函数、加权平均函数或归一化函数。
在一些实施例中，所述加权平均函数中使用的所述控制点运动矢量的加权值相同。
在一些实施例中，所述第二控制点运动矢量集中的一些运动矢量不存在，并且所述对应的加权值被设置为0。
在一些实施例中，仅使用具有4个参数的原始仿射模型来导出所述新仿射模型。
在一些实施例中，仅使用具有6个参数的原始仿射模型来导出所述新仿射模型。
在一些实施例中，所述方法还包括：具有4个参数的原始仿射模型转换为具有6个参数的仿射模型；以及使用所述转换的具有6个参数的仿射模型导出所述新仿射模型的控制点运动矢量。
在一些实施例中，将具有4个参数的原始仿射模型转换为具有6个参数的仿射模型包括：通过添加新控制点运动矢量，将具有两个控制点运动矢量的4参数仿射模型转换为具有三个控制点运动矢量的6参数仿射模型。
在一些实施例中，从所述多个原始仿射模型导出所述新仿射模型的控制点运动矢量之间的运动矢量差，所述新仿射模型的控制点运动矢量之间的运动矢量差的每一个是原始仿射模型的每一个的控制点运动矢量之间的对应运动矢量差的函数。
在一些实施例中，所述函数是平均函数、加权平均函数或归一化函数。
在一些实施例中，所述加权平均函数中使用的所述控制点运动矢量差的加权值相同。
在一些实施例中，以第一方式导出所述新仿射模型的控制点运动矢量之间的运动矢量差，并且以第二方式导出所述新仿射模型的第一控制点运动矢量，基于所述第一控制点运动矢量和对应的运动矢量差导出所述新仿射模型的所述控制点运动矢量。
在一些实施例中，通过组合两个仿射编码的空间相邻块导出所述新仿射模型的控制点运动矢量之间的运动矢量差，并且从特定块复制或缩放所述新仿射模型的所述第一控制点运动矢量。
在一些实施例中，仅组合参考相同参考图片的所述原始仿射模型的所述控制点运动矢量。
在一些实施例中，在被组合之前将参考不同参考图片的所述原始仿射模型的所述控制点运动矢量缩放到相同的参考图片。
图15是视频编码的方法1500的流程图表示。方法1500包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，通过组合所述当前视频块的多个临时预测导出(1502)所述当前块的最终组合预测；以及通过使用所述最终组合预测执行(1504)所述转换。
在一些实施例中，通过使用多个仿射模型首先生成所述当前块的所述多个临时预测。
在一些实施例中，通过使用第一多个仿射模型生成所述当前块的所述多个临时预测的第一子集，并且通过使用第二多个非仿射预测生成所述当前块的所述多个临时预测的与所述第一子集不同的第二子集。
在一些实施例中，所述最终组合预测是所述多个临时预测的函数。
在一些实施例中，所述函数是取决于相同位置的函数束，所述函数包括平均函数、加权平均函数或归一化函数。
在一些实施例中，所述加权平均函数中使用的所述多个临时预测的加权值对于所有位置都相同，或者所述加权平均函数中使用的所述多个临时预测的加权值对于所有所述多个临时预测都相同。
在一些实施例中，所述加权平均函数中使用的所述多个临时预测的所述第一子集的加权值对于所述第一子集中的至少一个临时预测的所有位置都相同，或者所述加权平均函数中使用的所述多个临时预测的所述第一子集的至少一个位置中的加权值对于所述多个临时预测的所述第一子集的所有都相同，或者所述加权平均函数中使用的所述多个临时预测的所述第二子集的加权值对于所述第二子集中的至少一个临时预测的所有位置都相同，或者所述加权平均函数中使用的所述多个临时预测的所述第二子集的至少一个位置中的加权值对于所述多个临时预测的所述第二子集的所有都相同。
在一些实施例中，通过使用参考相同参考图片的仿射模型生成所述多个临时预测。
在一些实施例中，通过使用参考相同参考列表中的参考图片的仿射模型生成所述多个临时预测。
在一些实施例中，参考已在候选列表中的双向预测候选的参考列表0和参考列表1的两个临时预测不能被组合为组合候选。
在一些实施例中，所述第二多个非仿射预测包括以下的一个或多个：非仿射帧间预测、帧内预测、帧内块复制、可缩放视频编码中的层间预测、多视图视频编码或3D视频编码中的视图间预测。
在一些实施例中，所述非仿射帧间预测包括其它基于子块的预测，包括ATMVP、STMVP和MVPlanar预测。
在一些实施例中，在所述当前块的所述第一多个临时预测的数目为零的情况下，包括ATMVP、STMVP和MVPlanar预测的其他基于子块的预测可以相互组合。
在一些实施例中，对于一个预测方向，使用仿射运动来导出临时预测块，并且对于另一个预测方向，使用非仿射运动来导出临时预测块。
在一些实施例中，为每个预测方向信令通知仿射标志。
在一些实施例中，对于一个预测方向，使用仿射运动和非仿射运动二者来导出临时预测块。
图16是视频编码的方法1600的流程图表示。方法1600包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，导出(1602)所述当前块的多个组合仿射模型；以及使用所述多个组合仿射模型执行(1604)所述转换。
在一些实施例中，所述多个组合仿射模型被用作仿射运动矢量预测候选或Merge候选，并且被添加到仿射运动矢量预测候选列表或仿射Merge列表中。
在一些实施例中，将所述当前块的每两个仿射编码的空间相邻块的仿射参数或控制点运动矢量组合，以导出具有所述组合仿射模型的所述仿射参数或控制点运动矢量的组合候选。
在一些实施例中，将从每两个仿射编码的空间相邻块的所述仿射模型生成的临时预测组合，以生成具有所述组合预测的所述组合候选。
在一些实施例中，将所述组合候选添加到所述候选列表中正常仿射AMVP或从空间相邻块导出的Merge候选之后。
在一些实施例中，添加到所述候选列表中的所述组合候选的数目不可超过预定阈值数目。
在一些实施例中，所述方法还包括：在对所述当前块执行转换之后，将所述仿射模型的控制点运动矢量添加到历史运动矢量预测中的查找表中。
在一些实施例中，使用单独的控制点运动矢量查找表来存储所述控制点运动矢量，并且所述控制点运动矢量查找表中的条目存储来自仿射编码块的两个或三个控制点运动矢量。
在一些实施例中，用于编码仿射编码块的历史运动矢量预测候选的数目是固定的。
在一些实施例中，基于包括块尺寸、块形状、条带类型的编码信息或者基于在添加历史运动矢量预测候选之前可用候选的数目适应性地改变用于编码仿射编码块的历史运动矢量预测候选的数目。
在一些实施例中，将基于子块的Merge候选添加到基于子块的Merge列表中的顺序包括以下中的至少一个：
a.AT->ST->Aff->vAff->Z；
b.AT->Aff->ST->vAff->Z；
c.Aff->AT->ST->vAff->Z；
d.Aff->ST->AT->vAff->Z；
e.ST->AT->Aff->vAff->Z；
f.ST->Aff->AT->vAff->Z；
g.AT->ST->Aff->cAff->vAff->Z；
h.AT->Aff->ST->cAff->vAff->Z；
i.Aff->AT->ST->cAff->vAff->Z；
j.Aff->ST->AT->cAff->vAff->Z；
k.ST->AT->Aff->cAff->vAff->Z；
l.ST->Aff->AT->cAff->vAff->Z；
m.AT->ST->Aff->vAff->cAff->Z；
n.AT->Aff->ST->vAff->cAff->Z；
o.Aff->AT->ST->vAff->cAff->Z；
p.Aff->ST->AT->vAff->cAff->Z；
q.ST->AT->Aff->vAff->cAff->Z；
r.ST->Aff->AT->vAff->cAff->Z；
s.AT->ST->Aff->cAff->Z；
t.AT->Aff->ST->cAff->Z；
u.Aff->AT->ST->cAff->Z；
v.Aff->ST->AT->cAff->Z；
w.ST->AT->Aff->cAff->Z；
x.ST->Aff->AT->cAff->Z；
y.从块到块适应性地改变；
其中AT表示高级时域运动矢量预测候选，ST表示空时运动矢量预测候选，Aff表示从仿射编码相邻块继承的仿射Merge候选，vAff表示构造的仿射Merge候选，cAff表示组合Merge候选，并且Z表示零候选。
在一些实施例中，从块到块适应性地改变所述顺序。
在一些实施例中，添加到所述基于子块的Merge列表中的所述基于子块的Merge候选的数目不超过预定数目。
在一些实施例中，从仿射编码相邻块继承的所述仿射Merge候选的数目不超过在2到6的范围内的所述预定数目。
在一些实施例中，所述构造的仿射Merge候选的数目不超过在0到6的范围内的所述预定数目。
在一些实施例中，所述组合Merge候选的数目不超过在0到6范围内的所述预定数目。
在一些实施例中，用于编码仿射编码块的一种基于子块的候选的数目是固定的。
在一些实施例中，基于包括块尺寸、块形状、条带类型的编码信息或者基于在添加历史运动矢量预测候选之前可用候选的数目适应性地改变用于编码仿射编码块的一种基于子块的候选的数目。
在一些实施例中，所述转换包括：从所述比特流表示重构所述当前块。
在一些实施例中，所述转换包括：从所述当前块生成所述比特流表示。
图17示出了典型HEVC视频编码器和解码器1700的示例性框图。产生符合HEVC的比特流的编码算法通常如下进行。每个图片被划分为块状区域，精确的块划分被传送到解码器。视频序列的第一图片(以及进入视频序列的每个干净的随机访问点处的第一图片)仅使用帧内预测(其使用同一帧内区域到区域的空间数据预测，但不依赖其他图片)进行编码。对于序列的或随机访问点之间的所有剩余图片，帧间时间预测编码模式通常用于大多数块。用于帧间预测的编码处理包括选择包括所选参考图片的运动数据和要应用于预测每个块的样本点的运动矢量(MV)。编码器和解码器通过使用MV和模式决策数据应用运动补偿(MC)来生成相同的帧间预测信号，其作为辅助信息被传输。
通过线性空间变换来变换帧内或帧间预测的残差信号，其是原始块与其预测之间的差。然后对变换系数进行缩放，量化，熵编码，并与预测信息一起传输。
编码器复制解码器处理循环(参见图17中的灰色阴影框)，使得两者都将为后续数据生成相同的预测。因此，通过逆缩放来构造量化的变换系数，然后对其进行逆变换以复制残差信号的解码近似。然后将残差添加到预测，然后可以将该相加的结果馈送到一个或两个环路滤波器中以平滑由逐块处理和量化引起的伪像。最终图片表示(即解码器输出的副本)存储在解码图片缓冲器中以用于后续图片的预测。通常，图片的编码或解码处理的顺序通常不同于它们从源到达的顺序；需要区分解码器的解码顺序(即比特流顺序)和输出顺序(即显示顺序)。
通常期望由HEVC编码的视频材料作为逐行扫描图像输入(由于源视频源自该格式或者由编码之前的去交错产生)。HEVC设计中不存在明确的编码特征以支持隔行扫描的使用，因为隔行扫描不再用于显示器，并且对于分发而言变得非常不常见。然而，在HEVC中已提供了元数据语法以允许编码器通过将隔行扫描视频的每个区(即，每个视频帧的偶数或奇数行)编码为单独的图片来指示已发送隔行扫描视频或通过将每个隔行扫描帧编码为HEVC编码图片指示它已被发送。这提供了一种对隔行扫描视频进行编码的有效方法，而不需要支持用于它的特殊解码处理。
本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (33)

1.一种视频处理方法，包括：
在视频的当前块和所述当前块的比特流表示之间的转换期间，存储所述当前块的仿射模型参数；以及
使用所述仿射模型参数执行所述转换，
其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
2.根据权利要求1所述的方法，其中在不存储所述当前块的控制点运动矢量的情况下执行所述转换。
3.根据权利要求1至2中任一项所述的方法，其中，存储的仿射模型参数的数目基于所述仿射模型。
4.根据权利要求1至3中任一项所述的方法，其中，存储所述仿射模型参数包括：存储4参数仿射模型的2个或4个参数。
5.根据权利要求1至3中任一项所述的方法，其中，存储所述仿射模型参数包括：存储6参数仿射模型的4个或6个参数。
6.根据权利要求1所述的方法，还包括：存储所述当前块的多个控制点运动矢量中的一个。
7.根据权利要求1至6中任一项所述的方法，其中一个参数在存储器中表示为K位的整数，K为8或12。
8.根据权利要求1所述的方法，其中执行所述转换包括：从所述仿射模型参数导出所述当前块的子块的仿射运动。
9.根据权利要求1所述的方法，其中，执行所述转换包括：从所述仿射模型参数和多个控制点运动矢量中的一个导出所述当前块的子块的仿射运动。
10.根据权利要求8至9中任一项所述的方法，其中，用于导出所述当前块的所述子块的所述仿射运动的所述仿射模型参数的数目基于所述仿射模型。
11.根据权利要求10所述的方法，其中，基于所述仿射模型参数将所述当前块的所述子块的所述仿射运动作为归一化函数导出。
12.根据权利要求10所述的方法，其中，基于所述仿射模型参数外加多个控制点运动矢量中的一个将所述当前块的所述子块的所述仿射运动作为归一化函数导出。
13.一种视频处理方法，包括：
在视频的当前块和所述当前块的比特流表示之间的转换期间，信令通知所述当前块的仿射模型参数；以及
使用所述仿射模型参数执行所述转换，
其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
14.根据权利要求13所述的方法，其中，从相邻仿射块的参数预测所述当前块的所述仿射模型参数。
15.根据权利要求13所述的方法，其中，为所述当前块信令通知多个控制点运动矢量中的一个。
16.根据权利要求15所述的方法，其中通过运动矢量预测对所述一个控制点运动矢量进行预测，并且将运动矢量差(MVD)信令通知为正常运动矢量。
17.根据权利要求13所述的方法，其中，从所述当前块的空间或时域相邻块导出所述当前块的所述参数。
18.根据权利要求17所述的方法，其中，从所述当前块的所述空间或时域相邻块导出多个控制点运动矢量中的一个。
19.一种视频处理方法，包括：
在视频的当前块和所述当前块的比特流表示之间的转换期间，使用具有参数的多个原始仿射模型导出组合仿射模型；以及
使用所述组合仿射模型执行所述转换，
其中，至少从所述当前块的控制点运动矢量导出所述仿射模型参数。
20.根据权利要求19所述的方法，其中，从所述当前块的仿射编码的空间或时域相邻块导出所述原始仿射模型。
21.根据权利要求20所述的方法，其中，从一个或多个构造仿射模型导出所述原始仿射模型。
22.根据权利要求21所述的方法，其中，所述组合仿射模型具有第一参数集，并且所述多个原始仿射模型分别具有多个第二参数集，所述第一参数集中的每个参数是所述多个第二参数集的每个中的对应参数的函数。
23.根据权利要求22所述的方法，其中，所述函数是平均函数、加权平均函数或归一化函数。
24.根据权利要求23所述的方法，其中，所述加权平均函数中使用的所述运动矢量的加权值相同。
25.根据权利要求22所述的方法，其中，所述第二参数集中的一些参数不存在，并且所述对应的加权值被设置为0。
26.根据权利要求19所述的方法，其中，仅使用具有4个参数的原始仿射模型来导出所述组合仿射模型。
27.根据权利要求19所述的方法，其中，仅使用具有6个参数的原始仿射模型来导出所述组合仿射模型。
28.根据权利要求19所述的方法，所述方法还包括：
将具有4个参数的原始仿射模型转换为具有6个参数的仿射模型；以及
使用所述转换的具有6个参数的仿射模型导出所述组合仿射模型。
29.根据权利要求28所述的方法，其中，将具有4个参数的原始仿射模型转换为具有6个参数的仿射模型包括：
添加第一参数，所述第一参数是所述4个参数中的一个参数的负数；以及
添加第二参数，所述第二参数与所述4个参数中的另一个参数相同。
30.根据权利要求1至29中任一项所述的方法，其中所述转换包括：从所述比特流表示重构所述当前块。
31.根据权利要求1至29中任一项所述的方法，其中所述转换包括：从所述当前块生成所述比特流表示。
32.一种视频处理装置，其包括处理器，所述处理器被配置为实现权利要求1至31中任一项或多项所述的方法。
33.一种其上存储了代码的计算机可读程序介质，所述代码包括指令，当所述指令被处理器执行时，使所述处理器实现权利要求1至31中任一项或多项所述的方法。
CN201910901072.6A 2018-09-23 2019-09-23 仿射模型的表示 Active CN110944207B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018107167 2018-09-23
CNPCT/CN2018/107167 2018-09-23

Publications (2)

Publication Number Publication Date
CN110944207A true CN110944207A (zh) 2020-03-31
CN110944207B CN110944207B (zh) 2023-12-08

Family

ID=68069839

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910901060.3A Active CN110944181B (zh) 2018-09-23 2019-09-23 仿射模型的多个假设
CN201910901072.6A Active CN110944207B (zh) 2018-09-23 2019-09-23 仿射模型的表示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910901060.3A Active CN110944181B (zh) 2018-09-23 2019-09-23 仿射模型的多个假设

Country Status (4)

Country Link
US (2) US11870974B2 (zh)
CN (2) CN110944181B (zh)
TW (2) TWI833811B (zh)
WO (2) WO2020058954A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020058954A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Representation of affine model
WO2020073920A1 (en) * 2018-10-10 2020-04-16 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
GB2595054B (en) * 2018-10-18 2022-07-06 Canon Kk Video coding and decoding
WO2020084470A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
JP2022523350A (ja) * 2019-03-11 2022-04-22 アリババ グループ ホウルディング リミテッド マージモードのための予測重み付けを決定する方法、装置及びシステム
EP3954119A4 (en) 2019-05-21 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. SYNTAX SIGNALING IN A SUBBLOCK MERGE MODE
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
CN112565770B (zh) * 2020-12-08 2022-08-12 深圳万兴软件有限公司 一种视频编码方法、装置、计算机设备及存储介质
US20230079743A1 (en) * 2021-09-16 2023-03-16 Qualcomm Incorporated Multiple inter predictors with decoder side motion vector derivation for video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037859A2 (en) * 2000-11-03 2002-05-10 Compression Science Video data compression system
US20050265453A1 (en) * 2004-05-07 2005-12-01 Yasushi Saito Image processing apparatus and method, recording medium, and program
CN106537915A (zh) * 2014-07-18 2017-03-22 联发科技（新加坡）私人有限公司 用于视频编码的运动向量导出的方法
WO2017157259A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
WO2018126163A1 (en) * 2016-12-29 2018-07-05 Qualcomm Incorporated Motion vector generation for affine motion model for video coding

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6643387B1 (en) 1999-01-28 2003-11-04 Sarnoff Corporation Apparatus and method for context-based indexing and retrieval of image sequences
WO2004030369A1 (en) 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
US8457203B2 (en) 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
EP3490259B1 (en) 2013-04-02 2021-10-13 InterDigital Madison Patent Holdings, SAS Enhanced temporal motion vector prediction for scalable video coding
CN104769947B (zh) 2013-07-26 2019-02-26 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法
WO2015010317A1 (zh) 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
EP4033766A1 (en) * 2014-06-19 2022-07-27 VID SCALE, Inc. Methods and systems for intra block copy coding with block vector derivation
WO2017045101A1 (en) 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
GB2561507B (en) 2016-01-07 2021-12-22 Mediatek Inc Method and apparatus for affine merge mode prediction for video coding system
WO2017130696A1 (ja) 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2018061563A1 (ja) 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
KR102523619B1 (ko) 2016-11-25 2023-04-20 엘티소재주식회사 헤테로고리 화합물 및 이를 이용한 유기 발광 소자
US20180176582A1 (en) 2016-12-21 2018-06-21 Qualcomm Incorporated Low-complexity sign prediction for video coding
CN108271023B (zh) * 2017-01-04 2021-11-19 华为技术有限公司 图像预测方法和相关设备
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
EP3422720A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Multiple predictor candidates for motion compensation
CN118233624A (zh) * 2017-06-26 2024-06-21 交互数字Vc控股公司 用于视频编码和解码的方法及设备
US20190116376A1 (en) 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction
KR20190134521A (ko) 2018-05-24 2019-12-04 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3794822A4 (en) 2018-05-25 2022-09-28 HFI Innovation Inc. METHOD AND APPARATUS FOR DERIVING AFFINE MODE MOTION VECTOR PREDICTION FOR A VIDEO CODING SYSTEM
EP3744099A4 (en) 2018-05-31 2021-03-10 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR RESTRICTED LONG-DISTANCE MOTION VECTOR PREDICTION
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
US11303923B2 (en) * 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
TWI723430B (zh) 2018-06-19 2021-04-01 大陸商北京字節跳動網絡技術有限公司 不同精度的多個候選
CN117834910A (zh) 2018-07-02 2024-04-05 英迪股份有限公司 对视频进行解码的方法和对视频进行编码的方法
US10805624B2 (en) * 2018-07-16 2020-10-13 Tencent America LLC Determination of parameters of an affine model
US11032563B2 (en) 2018-07-17 2021-06-08 Tencent America LLC Method and apparatus for affine model prediction
US10958934B2 (en) 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
CN116546213A (zh) 2018-09-19 2023-08-04 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的仿射模式的语法重用
CN110944195B (zh) 2018-09-23 2023-05-09 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的运动矢量的修改
WO2020058954A1 (en) 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Representation of affine model
WO2020084460A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation in the presence of multi-hypothesis prediction
WO2020084470A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
WO2020084510A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Adaptive control point selection for affine coding
CN117241017A (zh) 2018-11-05 2023-12-15 北京字节跳动网络技术有限公司 数字视频编解码的方法、设备和系统
US10904550B2 (en) 2019-01-12 2021-01-26 Tencent America LLC Method and apparatus for video coding
CN113439444A (zh) * 2019-02-02 2021-09-24 北京字节跳动网络技术有限公司 用于仿射的多hmvp
US11146813B2 (en) 2019-05-23 2021-10-12 Tencent America LLC Method and apparatus for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037859A2 (en) * 2000-11-03 2002-05-10 Compression Science Video data compression system
US20050265453A1 (en) * 2004-05-07 2005-12-01 Yasushi Saito Image processing apparatus and method, recording medium, and program
CN106537915A (zh) * 2014-07-18 2017-03-22 联发科技（新加坡）私人有限公司 用于视频编码的运动向量导出的方法
WO2017157259A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
WO2018126163A1 (en) * 2016-12-29 2018-07-05 Qualcomm Incorporated Motion vector generation for affine motion model for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG等: "CE4-related: Interweaved Prediction for Affine Motion Compensation", <JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018> *
KAI ZHANG等: "CE4-related: Interweaved Prediction for Affine Motion Compensation", <JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018>, 18 July 2018 (2018-07-18) *

Also Published As

Publication number Publication date
TW202017383A (zh) 2020-05-01
US20210195177A1 (en) 2021-06-24
CN110944181A (zh) 2020-03-31
WO2020058955A1 (en) 2020-03-26
US11909953B2 (en) 2024-02-20
CN110944207B (zh) 2023-12-08
CN110944181B (zh) 2023-03-10
WO2020058954A1 (en) 2020-03-26
US11870974B2 (en) 2024-01-09
US20210211714A1 (en) 2021-07-08
TW202017389A (zh) 2020-05-01
TWI831837B (zh) 2024-02-11
TWI833811B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN110944181B (zh) 仿射模型的多个假设
CN110636300B (zh) 颜色分量之间的子块运动矢量继承
CN112868240A (zh) 并置的局部照明补偿和修改的帧间预测编解码
CN113287317A (zh) 并置的局部照明补偿和修改的帧间编解码工具
CN113316935A (zh) 使用局部照明补偿的运动候选列表
CN111010571B (zh) 组合仿射Merge候选的生成和使用
CN110944183B (zh) 在帧间模式下利用非子块空时运动矢量预测
US11805259B2 (en) Non-affine blocks predicted from affine motion
CN111131830A (zh) 重叠块运动补偿的改进
CN110944208A (zh) 仿射模式的复杂度降低

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant