CN111010571B - 组合仿射Merge候选的生成和使用 - Google Patents

组合仿射Merge候选的生成和使用 Download PDF

Info

Publication number
CN111010571B
CN111010571B CN201910951151.8A CN201910951151A CN111010571B CN 111010571 B CN111010571 B CN 111010571B CN 201910951151 A CN201910951151 A CN 201910951151A CN 111010571 B CN111010571 B CN 111010571B
Authority
CN
China
Prior art keywords
merge candidate
affine
affine merge
list
cpmv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910951151.8A
Other languages
English (en)
Other versions
CN111010571A (zh
Inventor
张凯
张莉
刘鸿彬
王悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of CN111010571A publication Critical patent/CN111010571A/zh
Application granted granted Critical
Publication of CN111010571B publication Critical patent/CN111010571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

描述了组合仿射Merge候选的生成和使用。在典型方面，视频处理方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，通过将至少一个组合Merge候选添加到第一Merge候选列表，生成更新的Merge候选列表；以及使用更新的Merge候选列表执行转换。

Description

组合仿射Merge候选的生成和使用
相关申请的交叉引用
根据适用的《专利法》和/或《巴黎公约》的规定，本申请及时要求于2018年10月8日提交的国际专利申请号PCT/CN2018/109329的优先权和利益。将国际专利申请号PCT/CN2018/109329的全部公开以引用方式并入本文，作为本申请公开的一部分。
技术领域
本专利文件通常针对图像和视频编解码技术。
背景技术
尽管视频压缩有所进步，数字视频在互联网和其它数字通信网络上使用的带宽仍然最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
发明内容
描述了涉及数字视频编解码、特别是涉及视觉媒体编解码的组合仿射Merge候选相关的设备、系统和方法。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC))和未来的视频编解码标准或视频编解码器。
在一个典型方面，所公开的技术可用于提供用于视频编解码的方法。该方法包括：通过将至少一个组合Merge候选添加到Merge候选列表，为当前块的比特流表示生成更新的Merge候选列表；以及基于更新的Merge候选列表，在比特流表示和当前块之间执行转换。
在另一典型方面，公开了一种视频处理方法。该方法包括：在视频的当前块和当前块的比特流表示之间的转换期间，通过将至少一个组合Merge候选添加到第一Merge候选列表中，生成更新的Merge候选列表；以及使用更新的Merge候选列表执行转换。
在另一典型方面，上述方法以处理器可执行代码的形式实施并存储在计算机可读程序介质中。
在另一典型方面，公开了一种配置或可操作以执行上述方法的设备。该设备可以包括被编程以实现该方法的处理器。
在另一典型方面，视频解码器装置可以实现如本文所述的方法。
在附图、说明书和权利要求书中更详细地描述了所公开技术的上述和其他方面及特征。
附图说明
图1示出了基于子块的预测的示例。
图2A和2B分别示出了简化的4参数仿射模型和简化的6参数仿射模型的示例。
图3示出了每个子块的仿射运动矢量场(MVF)的示例。
图4A和4B示出了AF_Merge仿射运动模式的示例候选。
图5示出了仿射Merge模式的候选位置的示例。
图6示出了具有编解码单元(CU)的子块和临近块的CU的示例。
图7是示出可用于实现本公开技术的各个部分的计算机系统或其他控制设备的架构的示例的框图。
图8示出了可用于实现本公开技术的各个部分的移动设备的示例性实施例的框图。
图9是视频处理的示例方法的流程图。
图10是视频处理的另一示例方法的流程图。
图11示出了典型的高效视频编码(HEVC)视频编码器和解码器的示例框图。
具体实施方式
由于对更高分辨率视频的需求的增加，视频编解码方法和技术在现代技术中无处不在。视频编解码器通常包括压缩或解压缩数字视频的电子电路或软件，并且不断被改进以提供更高的编解码效率。视频编解码器将未压缩视频转换为压缩格式，反之亦然。视频质量、用于表示视频的数据量(由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的简易性、随机访问、以及端到端延迟(时延)之间存在复杂的关系。压缩格式通常符合标准视频压缩规范，例如，高效视频编解码(HEVC)标准(也称为H.265或MPEG-H第2部分)、待定案的多功能视频编解码(VVC)标准、或其他当前和/或未来的视频编解码标准。
高效视频编解码(HEVC)标准首次将基于子块的预测引入到视频编解码标准中。利用基于子块的预测，诸如编解码单元(CU)或预测单元(PU)的块被划分成若干个非重叠子块。可以给不同的子块分配不同的运动信息，例如参考索引或运动矢量(MV)，并且分别对每个子块执行运动补偿(MC)。图1示出了基于子块的预测的示例。
所公开的技术的实施例可应用于现有视频编解码标准(例如，HEVC、H.265)和未来标准，以提高运行时性能。在本文中使用章节标题来提高描述的可读性，并且不以任何方式将讨论或实施例(和/或实现)仅限于各个章节。
1.联合探索模型(JEM)的示例
在一些实施例中，使用称为联合探索模型(JEM)的参考软件来探索未来的视频编解码技术。在JEM中，在多个编解码工具采用了基于子块的预测，如仿射预测、可选时域运动矢量预测(ATMVP)、空时运动矢量预测(STMVP)、双向光流(BIO)和帧速率上转换(FRUC)。在VVC中也采用了仿射预测。
1.1仿射预测的示例
在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。而在现实世界中，存在很多种运动，例如，放大/缩小、旋转、透视以及其它不规则运动。在VVC中，应用了简化的仿射变换运动补偿预测。如图2A和2B所示，块的仿射运动场分别由两个(在4参数仿射模型中)或三个(在6参数仿射模型中)控制点运动矢量描述。
块的运动矢量场(MVF)用以下等式描述，其中4参数仿射模型和6参数仿射模型分别为：
Figure GDA0003803866530000031
Figure GDA0003803866530000041
其中，(mvh 0,mvh 0)为左上角控制点(CP)的运动矢量，并且(mvh 1,mvh 1)为右上角控制点的运动矢量，并且(mvh 2,mvh 2)为左下角控制点的运动矢量，(x，y)表示代表点相对于当前块内的左上角样本点的坐标。CP运动矢量可以被信令通知(例如，在仿射AMVP模式中)或者是动态地导出(例如，在仿射Merge模式中)。w和h是当前块的宽度和高度。实际上，除法是通过右移和取整操作来实现的。在VVC测试模型(VTM)中，代表点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上角样本点的坐标为(xs，ys)时，代表点的坐标被定义为(xs+2，ys+2)。
在免于除法的设计中，等式(1)和(2)实现为：
Figure GDA0003803866530000042
对于等式(1)中示出的4参数仿射模型：
Figure GDA0003803866530000043
对于等式(2)中示出的6参数仿射模型：
Figure GDA0003803866530000044
并且因此，运动矢量可导出为：
Figure GDA0003803866530000045
Figure GDA0003803866530000046
其中，S表示计算精度。例如，在VVC中，S＝7。在VVC中，MC中使用的左上角样本点在(xs,ys)处的子块的MV通过等式(6)计算(其中x＝xs+2且y＝ys+2)。
为了导出每个4×4子块的运动矢量，如图3所示，根据等式(1)或等式(2)计算如图3所示的每个子块的中心样本点的运动矢量，并四舍五入到1/16分数精度。然后应用运动补偿插值滤波器，以利用导出的运动矢量生成每个子块的预测。
可以从如图4A所示的诸如左、上、右上、左下和左上临近块的空域临近仿射编解码块继承仿射模型。例如，如果图4A中的临近左下块A如图4B中A0所示以仿射模式编解码，则获取包含块A的临近CU/PU的左上角、右上角和左下角的控制点(CP)运动矢量mv0 N,mv1 N和mv2 N。基于mv0 N,mv1 N和mv2 N计算当前CU/PU的左上角/右上角/左下角的运动矢量mv0 C,mv1 C和mv2 C(其仅用于6参数仿射模型)。
在一些实施例(例如，VTM-2.0)中，如果当前块是仿射编解码的，则子块(例如，VTM中的4x4的块)LT存储mv0，RT存储mv1。如果当前块使用6参数仿射模型编解码，LB存储mv2；否则(使用4参数仿射模型)，LB存储mv2'。其他子块存储用于MC的MV。
在一些实施例中，当用仿射Merge模式对CU进行编解码时(例如，在AF_Merge模式中)，从有效的临近重构块获得用仿射模式编解码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图4A所示。
导出的当前块的CP MV mv0 C,mv1 C和mv2 C可以用作仿射Merge模式下的CP MV。或者它们可以用作VVC中仿射帧间模式的MVP。应当注意的是，对于Merge模式，如果当前块是用仿射模式编解码的，则在导出当前块的CP MV之后，可以将当前块进一步划分为多个子块，并且每个块将基于当前块的导出的CP MV导出其运动信息。
2.其它示例实施例
与其中可以仅使用一个仿射空域临近块来导出块的仿射运动的VTM不同，在其他实施例中，建议为AF_MERGE模式构造单独的仿射候选列表。
(1)将继承仿射候选插入候选列表
在示例中，继承仿射候选是指该候选是从由仿射模式编解码的有效临近重构块导出的。
如图5所示，候选块的扫描顺序为A1、B1、B0、A0和B2。当块被选择时(例如，A1)，采用两步程序：
(a)首先，使用覆盖块的CU的三个角运动矢量来导出当前块的两个/三个控制点。
(b)基于当前块的控制点来导出当前块内每个子块的子块运动。
(2)插入构造仿射候选
在一些实施例中，如果仿射Merge候选列表中的候选数目小于MaxNumAffineC并且，则将构造仿射候选插入候选列表中。
构造仿射候选是指该候选是通过组合每个控制点的临近运动信息构造的。
首先从图5所示的指定的空域邻居和时域邻居导出控制点的运动信息。CPk(k＝1,2,3,4)表示第k个控制点。A0,A1,A2,B0,B1,B2和B3是用于预测CPk的空域位置(k＝1,2,3)；T是用于预测CP4的时域位置。
CP1、CP2、CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。
按照以下优先顺序获得每个控制点的运动信息：
-对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。
-对于CP2，检查优先级为B1->B0；
-对于CP3，检查优先级为A1->A0；
-对于CP4，使用T。
其次，使用控制点的组合来构造运动模型。
在6参数仿射模型中，需要三个控制点的运动矢量来计算变换参数。这三个控制点可以从以下四个组合中的一个来选择({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。例如，使用CP1、CP2和CP3控制点来构造6参数仿射运动模型，表示为仿射(CP1、CP2、CP3)。
在4参数仿射模型中，需要两个控制点的运动矢量来计算变换参数。这两个控制点可以从以下六个组合中的一个来选择({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。例如，使用CP1和CP2控制点来构造4参数仿射运动模型，表示为仿射(CP1，CP2)。
构造仿射候选的组合按以下顺序插入到候选列表中：
{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}。
(3)插入零运动矢量
如果仿射Merge候选列表中的候选数目小于MaxNumAffineC并且，则在候选列表中插入零运动矢量，直到列表满为止。
3.高级时域运动矢量预测(ATMVP)的示例
在一些现有的实现中(例如，在第十届JVET会议上)，将高级时域运动矢量预测(ATMVP)包含在了基准集(BMS)-1.0参考软件中，ATMVP基于来自时域临近图片的并置块的运动信息导出一个编解码单元(CU)的子块的多个运动。虽然它提高了时域运动矢量预测的效率，但对于现有的ATMVP设计来说，仍然存在以下复杂度问题：
-如果使用多个参考图片，则不同ATMVP CU的并置图片可能不相同。这意味着需要获取多个参考图片的运动场。
-每个ATMVP CU的运动信息总是基于4x4单元导出的，导致多次调用一个ATMVP CU内的每个4x4子块的运动推导和运动补偿。
对ATMVP提出了一些进一步的简化，并在VTM2.0中被采用。
3.1具有一个固定并置图片的简化并置块推导的示例
在这种示例方法中，提出了一种简化的设计，以将与HEVC中相同的并置图片(其在条带报头中信令通知)用作ATMVP推导的并置图片。在块级别上，如果临近块的参考图片与该并置图片不同，则使用HEVC时域MV缩放方法缩放块的MV，并且在ATMVP中使用缩放的MV。
将用于获取并置图片Rcol中的运动场的运动矢量表示为MVcol。为了最小化MV缩放造成的影响，用于推导MVcol的空域候选列表中MV按以下方式选择：如果候选MV的参考图片是并置图片，则选择该MV并在不进行任何缩放的情况下将其用作MVcol。否则，选择具有最接近并置图片的参考图片的MV来使用缩放以导出MVcol。
3.2自适应ATMVP子块尺寸的示例
在该示例方法中，提出对于ATMVP运动推导支持子块尺寸的条带级的自适应。具体地，在序列级信令通知用于ATMVP运动推导的一个默认子块尺寸。另外，在条带级信令通知一个标志以指示当前条带是否使用默认子块尺寸。如果标志为假(false)，则在该条带的条带报头中进一步信令通知对应的ATMVP子块尺寸。
4.空时运动矢量预测(STMVP)的示例
在STMVP方法中，子CU的运动矢量是按照光栅扫描顺序递归推导的。图6示出了具有四个子块和临近块的一个CU的示例。考虑包含四个4×4的子CU A、B、C和D的8×8的CU。当前帧中临近的4×4的块标记为a、b、c和d。
子CU A的运动推导由识别其两个空域邻居开始。第一个邻居是子CU A上方的N×N块(块c)。如果该块c不可用或帧内编解码，则检查子CU A上方的其它N×N块(从左到右，从块c处开始)。第二个邻居是子CU A左侧的块(块b)。如果块b不可用或是帧内编解码，则检查子CU A左侧的其它块(从上到下，从块b处开始)。每个列表从临近块获得的运动信息被缩放到给定列表的第一个参考帧。接下来，按照HEVC中规定的与TMVP相同的程序，推推导子块A的时域运动矢量预测(TMVP)。提取位置D处的并置块的运动信息并进行相应的缩放。最后，在检索和缩放运动信息后，对每个参考列表分别平均所有可用的运动矢量(最多3个)。将平均运动矢量指定为当前子CU的运动矢量。
5.仿射Merge候选列表的示例实施例
5.1JVET-L0366中的实施例
在VTM-2.0.1的仿射Merge模式中，仅使用第一个可用的仿射邻居来导出仿射Merge模式的运动信息，在JVET-L0366中，通过搜索有效仿射邻居并组合每个控制点的临近运动信息来构造仿射Merge模式的候选列表。
按照以下步骤构造仿射Merge候选列表：
(1)插入继承仿射候选
继承仿射候选是指该候选是从其有效的邻域仿射编解码块的仿射运动模型导出的。在通用依据中，如图5所示，候选位置的扫描顺序为：A1、B1、B0、A0和B2。
在导出候选之后，执行完整的修剪处理，以检查是否已将相同候选插入到列表中。如果存在相同的候选，则丢弃导出的候选。
(2)插入构造仿射候选
如果仿射Merge候选列表中的候选数目小于MaxNumAffineC并且(在该示例中设置为5)，则将构造仿射候选插入候选列表中。构造仿射候选是指该候选是通过组合每个控制点的临近运动信息构造的。
首先从图5所示的指定的空域邻居和时域邻居导出控制点的运动信息。CPk(k＝1,2,3,4)表示第k个控制点。A0,A1,A2,B0,B1,B2和B3是用于预测CPk的空域位置(k＝1,2,3)；T是用于预测CP4的时域位置。
CP1、CP2、CP3和CP4的坐标分别为(0，0)，(W，0)，(H，0)和(W，H)，其中W和H是当前块的宽度和高度。
按照以下优先顺序获得每个控制点的运动信息：
-对于CP1，检查优先级为B2->B3->A2。如果B2可用，则使用B2。否则，如果B2不可用，则使用B3。如果B2和B3都不可用，则使用A2。如果三个候选都不可用，则无法获得CP1的运动信息。
-对于CP2，检查优先级为B1->B0；
-对于CP3，检查优先级为A1->A0；
-对于CP4，使用T。
其次，使用控制点的组合来构造运动模型。
需要三个控制点的运动信息来构造6参数仿射候选。这三个控制点可以从以下四个组合中的一个来选择({CP1，CP2，CP4}，{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4})。组合{CP1，CP2，CP3}，{CP2，CP3，CP4}，{CP1，CP3，CP4}将被转换成由左上、右上和左下控制点表示的6参数运动模型。
需要两个控制点的运动信息来构造4参数仿射候选。这两个控制点可以从以下六个组合中的一个来选择({CP1，CP4}，{CP2，CP3}，{CP1，CP2}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4})。组合{CP1，CP4}，{CP2，CP3}，{CP2，CP4}，{CP1，CP3}，{CP3，CP4}将被转换成由左上和右上控制点表示的4参数运动模型。
构造仿射候选的组合按以下顺序插入候选列表：
{CP1，CP2，CP3}，{CP1，CP2，CP4}，{CP1，CP3，CP4}，{CP2，CP3，CP4}，{CP1，CP2}，{CP1，CP3}，{CP2，CP3}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}
对于组合的参考列表X(X为0或1)，选择控制点中使用率最高的参考索引作为列表X的参考索引，并将运动矢量点缩放到不同的参考图片。
在导出候选后，执行完全的修剪处理，以检查是否已将相同候选插入到列表中。如果存在相同的候选，则丢弃导出的候选。
(3)填充零运动矢量
如果仿射Merge候选列表中的候选数目小于5，则将具有零参考索引的零运动矢量插入候选列表，直到列表满为止。
5.2JVET-L0368中仿射Merge模式的实施例
在现有的实现中，JVET-L0368对JVET-L0366中的仿射Merge模式提出以下简化：
(1)通过比较覆盖临近位置的编解码单元，而不是比较VTM-2.0.1中导出的仿射候选来简化继承仿射候选的修剪处理。在仿射Merge列表中插入多达2个继承仿射候选。完全移除构造仿射候选的修剪处理。
(2)移除构造仿射候选中的MV缩放操作。如果控制点的参考索引不同，则丢弃所构造的运动模型。
(3)构造仿射候选的数目从10个减少到6个。
(4)还提出了将具有子块预测的其他Merge候选(如ATMVP)也放入仿射Merge候选列表中。在这种情况下，可以用诸如子块Merge候选列表的其他名称对仿射Merge候选列表进行重命名。
6.JVET-L0090中成对平均候选的示例
通过对当前Merge候选列表中预定的候选对进行平均，生成成对平均候选，并且预定对定义为{(0，1)，(0，2)，(1，2)，(0，3)，(1，3)，(2，3)}，其中数字表示Merge候选列表的Merge索引。为每个参考列表分别计算平均运动矢量。如果在一个列表中的两个运动矢量都可用，则即使它们指向不同的参考图片，也平均这两个运动矢量；如果只有一个运动矢量可用，则直接使用这一个矢量；如果没有运动矢量可用，则保持这个列表无效。在HEVC标准中，成对的平均候选替换组合候选。
7.JVET-L0389中控制点运动矢量(CPMV)偏移的示例
基于第一仿射Merge候选的CPMV偏移生成新的仿射Merge候选。如果第一仿射Merge候选允许4参数仿射模型，则通过偏移第一仿射Merge候选的2个CPMV导出每个新仿射Merge候选的2个CPMV；否则(允许6参数仿射模型)，通过偏移第一仿射Merge候选的3个CPMV导出每个新仿射Merge候选的3个CPMV。在双向预测中，CPMV偏移被应用于第一候选的CPMV。在列表0和列表1在相同方向的双向预测中，按照如下将CPMV偏移应用于第一候选：
MVnew(L0),i＝MVold(L0)+MVoffset(i)
MVnew(L1),i＝MVold(L1)+MVoffset(i)
在列表0和列表1在相反方向的双向预测中，按照如下将CPMV偏移应用于第一候选：
MVnew(L0),i＝MVold(L0)+MVoffset(i)
MVnew(L1),i＝MVold(L1)-MVoffset(i)
在本实施例中，使用具有各种偏移幅度的各种偏移方向来生成新仿射Merge候选。测试了两种实现：
(1)生成了16个新仿射Merge候选，其具有8个不同偏移方向2个不同偏移幅度，如下面的偏移集所示：
偏移集＝{(4，0)，(0，4)，(-4，0)，(0，-4)，(4，-4)，(4，4)，(-4，4)，(8，0)，(0，8)，(-8，0)，(0，-8)，(8，-8)，(8，-8)，(8，8)，(-8，8)}。
此设计的仿射Merge列表增加到20。可能的仿射Merge候选总数为31个。
(2)生成了4个新仿射Merge候选，其具有4个不同偏移方向1个偏移幅度，如下面的偏移集所示：
偏移集＝{(4，0)，(0，4)，(-4，0)，(0，-4)}。
仿射Merge列表与VTM-2.0.1一样保持为5。移除四个时域构造仿射Merge候选以保持可能的仿射Merge候选数目不变，即总共15个。假设CPMV1，CPMV2，CPMV3和CPMV4的坐标是(0，0)，(W，0)，(H，0)和(W，H)。注意，如图5所示，CPMV4是从时域MV导出的。移除的候选是以下四个时域相关的构造仿射Merge候选：{CP2，CP3，CP4}，{CP1，CP4}，{CP2，CP4}，{CP3，CP4}。
8.仿射模型的多个假设的示例
关于CPMV的多个假设。在一个示例中，存在具有CPMV(MV0 1,MV1 1,MV2 1)…(MV0 N,MV1 N,MV2 N)的N(N>＝2)个原始仿射模型(例如，这些仿射模型与临近块相关联)。可以从这些仿射模型中导出具有CPMV(MV’0,MV’1,MV’2)的组合仿射模型，并且用新仿射模型预测当前块。(MV0,MV1,MV2)分别表示左上角、右上角和左下角的CPMV。在下面的讨论中，MV是表示为(MVx,MVy)的二维矢量。MV1+MV2＝MV3表示MV1x+MV2x＝MV3x并且MV1y+MV2y＝MV3y。k×MV1＝MV2表示k×MV1x＝MV2x并且k×MV1y＝MV2y。
例如，可以从当前块的仿射编解码的空域或时域临近块导出原始仿射模型的CPMV。
在一个示例中，从一些仿射编解码的空域临近块导出的仿射模型的CPMV不用于导出当前块要使用的新仿射模型。
例如，可以从如JVET-K0186中提出的构造仿射模型导出原始仿射模型的CPMV。
在一个示例中，一些构造仿射模型的CPMV不用于导出当前块要使用的新仿射模型。
例如，(MV’0,MV’1,MV’2)＝(F0(MV0 1,…,MV0 N),F1(MV1 1,…,MV1 N),F2(MV2 1,…,MV2 N)),其中F0,F1和F2是函数。
在一个示例中，可以将Fi定义为平均函数。
例如，(MV’0,MV’1,MV’2)＝(Average(MV0 1,…,MV0 N),Average(MV1 1,…,MV1 N),Average(MV2 1,…,MV2 N))。
例如，
Figure GDA0003803866530000121
Figure GDA0003803866530000122
在一个示例中，
Figure GDA0003803866530000123
Figure GDA0003803866530000124
其中
Figure GDA0003803866530000125
Figure GDA0003803866530000126
并且
Figure GDA0003803866530000127
在一个示例中，对于所有i，
Figure GDA0003803866530000128
在一个示例中，对于i＝1和2，N＝2并且
Figure GDA0003803866530000129
在一个示例中，一些CPMV可以不存在，例如，MV2 i不存在，则将
Figure GDA00038038665300001210
设为0。
在一个示例中，仅使用具有4个参数的原始仿射模型来导出组合仿射模型的CPMV。
在一个示例中，仅使用具有6个参数的原始仿射模型来导出组合仿射模型的CPMV。
在一个示例中，在用于导出组合仿射模型的CPMV之前，首先将具有4个参数的原始仿射模型转换为具有6个参数的仿射模型。
具有两个CPMV(MV0 k,MV1 k)的4参数仿射模型可以转换为具有三个CPMV(MV0 k,MV1 k,MV2 k)的6参数仿射模型，其中MV2 k可以由式(1)导出(其中x＝0，y＝h)，其中h是具有4参数仿射模型的仿射编解码块的高度。
在一个示例中，DiffMV’1＝MV’1-MV’0和DiffMV’2＝MV’2-MV’0可以从N(N>＝2)个原始仿射模型导出。假设DiffMVk 1＝MVk 1-MVk 0并且DiffMVk 2＝MVk 2-MVk 2。
例如，(DiffMV’1,DiffMV’2)＝(F1(DiffMV1 1,…,DiffMV1 N),F2(DiffMV2 1,…,DiffMV2 N))，其中F1和F2是函数。
例如，(DiffMV’1,DiffMV’2)＝(Average(DiffMV1 1,…,DiffMV1 N),Average(DiffMV2 1,…,DiffMV2 N))。
例如，
Figure GDA0003803866530000131
Figure GDA0003803866530000132
在一个示例中，
Figure GDA0003803866530000133
Figure GDA0003803866530000134
其中
Figure GDA0003803866530000135
并且
Figure GDA0003803866530000136
Figure GDA0003803866530000137
在一个示例中，对于所有i，
Figure GDA0003803866530000138
在一个示例中，用一种方法从一些原始CPMV中导DiffMV’1和/或DiffMV’2。用另一种方法导出MV’0；并且(MV’0,MV’0+DiffMV’1)或(MV’0,MV’0+DiffMV’1,MV’0+DiffMV’2)被视为组合仿射模型的CPMV。
例如，通过组合两个仿射编解码的空域临近块导出DiffMV’1和/或DiffMV’2的。从图5中的块A2、块B2或块B3复制或缩放出MV’0。
在一个示例中，只能组合参考相同参考图片的原始CPMV。
或者，在组合之前应当把参考不同参考图片的CPMV缩放到相同的参考图片。
可以导出多于一个组合仿射模型，并且用作仿射MVP候选或Merge候选。
在一个示例中，将每两个仿射编解码的空域临近块的仿射参数或CPMV组合，以生成具有新仿射模型的仿射参数或CPMV的组合候选，并将该组合仿射模型添加到仿射MVP候选列表或仿射Merge列表中。
在另一个示例中，将从每两个仿射编解码的空域临近块的仿射模型生成的临时预测组合，以生成具有组合预测的组合候选。
可以将组合候选放入候选列表中的普通仿射AMVP、或者从空域临近块继承的Merge候选之后。
放入候选列表的组合候选的数目不可超过固定数字，诸如5。
关于仿射预测的多个假设。在一些实施例中，可以用N个仿射模型首先生成当前块的N(N>＝2)个临时预测，并且最终预测可以是临时预测的组合。假设当前块的N个原始预测表示为P1(x,y),…,PN(x,y)。最终预测表示为P’(x,y)。
(a)例如，P’(x,y)＝Fx,y(P1(x,y),…,PN(x,y))，Fx,y是取决于样本点位置(x，y)的函数束。
(b)例如，P’(x,y)＝Average(P1(x,y),…,PN(x,y))。
(c)例如，
Figure GDA0003803866530000141
(d)例如，
Figure GDA0003803866530000142
其中
Figure GDA0003803866530000143
(e)在一个示例中，对于所有(x，y)，wi (x,y)都相同。
(f)在一个示例中，对于所有i，wi (x,y)都相同。
(g)在一个示例中，对于所有(x，y)，N＝2并且w1 (x,y)＝w2 (x,y)＝1。
(h)在一个示例中，P1(x,y),…,PN(x,y)应由参考相同参考图片的仿射模型生成。
(i)或者，P1(x,y),…,PN(x,y)应由参考相同参考列表中的参考图片的仿射模型生成。
(j)在一个示例中，如果P1(x，y)和P2(x，y)是参考已经在候选列表中的双向预测候选的参考列表0和参考列表1的两个预测，则它们不可组合为组合候选。
9.组合仿射Merge候选的现有方法的缺点
在一些现有实现中，成对平均候选只适用于普通Merge候选列表。
在其他现有实现中，仿射模型的多个假设不适用于仿射Merge候选列表。
10.视频编解码中组合仿射Merge候选的示例方法
在以下对各种实现描述的示例中，阐明了继承具有降低的存储器需求的6参数仿射模型、并且可以提高视频编解码效率并增强现有和未来视频编解码标准的所公开技术的实施例。在以下示例中(不应将其解释为限制性的)，仿射编解码的上方或左侧临近CU的左上角/右上角/左下角/右下角的坐标分别为(LTNx，LTNy)/(RTNx，RTNy)/(LBNx，LBNy)/(RBNx，RBNy)；当前CU的左上角/右上角/左下角/右下角的坐标分别为(LTCx，LTCy)/(RTCx，RTCy)/(LBCx，LBCy)/(RBCx，RBCy)；仿射编解码的上方或左侧临近CU的宽度和高度分别为w’和h’；仿射编解码的当前CU的宽度和高度分别为w和h。
此外，MV是表示为(MVx，MVy)的二维矢量。MV1+MV2＝MV3是指MV1x+MV2x＝MV3x并且MV1y+MV2y＝MV3y。k×MV1＝MV2是指k×MV1x＝MV2x并且k×MV1y＝MV2y。Average(MV1,MV2)＝((MV1x+MV2x)>>1,(MV1y+MV2y)>>1)或Average(MV1,MV2)＝((MV1x+MV2x+1)>>1,(MV1y+MV2y+1)>>1)。
尽管以下示例是在“仿射Merge候选列表”的上下文中描述的，但是当诸如ATMVP候选的其他种类的子块Merge候选也被放入Merge候选列表时，它们同样适用于其他Merge候选列表，例如，“子块Merge候选列表”。
示例1。在一些实施例中，将X(例如，X＝6)个组合仿射Merge候选放入仿射Merge候选列表中。
(a)在一个示例中，在将临近的继承仿射Merge候选已经放入列表之后，将组合仿射Merge候选放入仿射Merge候选列表中。
(b)或者，在将构造仿射Merge候选已经放入列表之后，将组合仿射Merge候选放入仿射Merge候选列表中。
示例2。假设在仿射候选列表中已经存在具有CPMV(MV0 1,MV1 1,MV2 1)…(MV0 N,MV1 N,MV2 N)的N(N>＝2)个仿射Merge候选。应当注意的是，如果仿射Merge候选S利用4参数模型，则可以从MV1 S和MV2 S导出MV0 S。在下面的讨论中，C1，C2…CK表示K个仿射Merge候选的索引。
(a)在一个示例中，组合仿射Merge候选的仿射模型被生成为多假设仿射模型。
(i)可以从已经在仿射Merge候选列表中的前K个(例如，4个)仿射Merge候选中的M个(例如，2个)仿射Merge候选的仿射模型导出具有CPMV(MV’0,MV’1,MV’2)的组合仿射模型。
(ii)可以从已经在仿射Merge候选列表中的最后K个(例如，4个)仿射Merge候选中的M个(例如，2个)仿射Merge候选的仿射模型导出具有CPMV(MV’0,MV’1,MV’2)的组合仿射模型。
(iii)在一个示例中，将组合仿射Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C1,MV0 C2),Average(MV1 C1,MV1 C2),Average(MV2 C1,MV2 C2))。或者，(MV’0,MV’1)＝(Average(MV0 C1,MV0 C2),Average(MV1 C1,MV1 C2))，并且当前块采用4参数仿射模型。
(iv)在一个示例中，DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MVC2 2-MVC2 0。则(MV’0,MV’1,MV’2)＝(MV0 C1,MV0 C1+Average(DiffMVC1 1,DiffMVC2 1),MV0 C1+Average(DiffMVC1 2,DiffMVC2 2))。或者,(MV’0,MV’1)＝(MV0 C1,MV0 C1+Average(DiffMVC1 1,DiffMVC2 1))并且当前块应用4参数仿射模型。
(v)在一个示例中，DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MVC2 2-MVC2 0。则(MV’0,MV’1,MV’2)＝(MV0 C3,MV0 C3+Average(DiffMVC1 1,DiffMVC2 1),MV0 C3+Average(DiffMVC1 2,DiffMVC2 2))。或者,(MV’0,MV’1)＝(MV0 C3,MV0 C3+Average(DiffMVC1 1,DiffMVC2 1))并且当前块应用4参数仿射模型。
(vi)在一个示例中，DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0。则(MV’0,MV’1,MV’2)＝(Average(MV0 C1,MV0 C2),Average(MV0 C1,MV0 C2)+DiffMVC1 1,Average(MV0 C1,MV0 C2)+DiffMVC1 2)。或者,(MV’0,MV’1)＝(Average(MV0 C1,MV0 C2),Average(MV0 C1,MV0 C2)+DiffMVC1 1,并且当前块应用4参数仿射模型。
(vii)在一个示例中，DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0。则(MV’0,MV’1,MV’2)＝(Average(MV0 C2,MV0 C3),Average(MV0 C2,MV0 C3)+DiffMVC1 1,Average(MV0 C2,MV0 C3)+DiffMVC1 2)。或者，(MV’0,MV’1)＝(Average(MV0 C2,MV0 C3),Average(MV0 C2,MV0 C3)+DiffMVC1 1,并且当前块应用4参数仿射模型。
(viii)如果(MV0 C1,MV1 C1,MV2 C1)和(MV0 C2,MV1 C2,MV2 C2)参考不同的参考图片，则：
(1)例如，在组合处理之前将它们缩放到相同的参考图片。相同的参考图片可以是两个不同参考图片中的一个，例如参考索引较小的一个，或到当前图片的POC距离较小的一个，或者可以是固定参考图片，例如参考索引等于0的参考图片。
(2)或者，在没有任何缩放的情况下将他们组合。
(3)或者，它们不可被组合。
(ix)可以使用若干对C1、C2以上述一种或一些方法来导出组合仿射Merge候选，并且以预定顺序将这些候选放入仿射Merge候选列表中。例如，使用对{(0，1)，(0，2)，(1，2)，(0，3)，(1，3)，(2，3)}来导出组合仿射Merge候选，并且然后按顺序放入仿射Merge候选列表中。
(1)如果索引在对中的一个候选不可用，则跳过该对并且不导出组合仿射Merge候选。
(2)如果索引在对中的一个候选是组合仿射Merge候选，则跳过该对并且不导出组合仿射Merge候选。
(3)如果索引在对中的一个候选是构造仿射Merge候选，则跳过该对并且不导出组合仿射Merge候选。
(4)如果索引在对中的一个候选是ATMVP(或空域TMVP)Merge候选，则跳过该对并且不导出组合仿射Merge候选。
(5)如果索引在对中的一个候选是零仿射Merge候选，则跳过该对并且不导出组合仿射Merge候选。
(x)可以使用若干组C1、C2和C3以上述一种或一些方法来导出组合仿射Merge候选，并且以预定顺序将这些候选放入仿射Merge候选列表中。例如，使用组{(0，1，2)，(1，2，3)，(0，1，3)，(0，2，3)，(1，0，2)，(1，0，3)}来导出组合仿射Merge候选，然后按顺序放入仿射Merge候选列表中。
(1)如果索引在组中的一个候选不可用，则跳过该组并且不导出组合仿射Merge候选。
(2)如果索引在组中的一个候选是组合仿射Merge候选，则跳过该组并且不导出组合仿射Merge候选。
(3)如果索引在组中的一个候选是构造仿射Merge候选，则跳过该组并且不导出组合仿射Merge候选。
(4)如果索引在组中的一个候选是ATMVP(或空域TMVP)Merge候选，则跳过该组并且不导出组合仿射Merge候选。
(5)如果索引在组中的一个候选是零仿射Merge候选，则跳过该组并且不导出组合仿射Merge候选。
(xi)可以使用任何其他方法(例如，关于仿射预测方法的多个假设)来生成组合仿射Merge候选。
示例3。在一个示例中，将组合仿射Merge候选与已经在列表中的现有仿射Merge候选进行比较。如果与现有仿射Merge候选相同，则不将其放入列表中。该过程被称为“修剪”。或者，不将组合仿射Merge候选与现有仿射Merge候选进行比较。换言之，无修剪处理。
示例4。在一个示例中，是否以及如何生成组合仿射Merge候选可以取决于用于生成组合仿射Merge候选的仿射Merge候选X0和X1的帧间方向(列表0预测，列表1预测或双向预测)。
(a)在一个示例中，如果X0应用列表0预测并且X1应用列表1预测，则组合仿射Merge候选将应用双向预测，其在列表0中的CPMV等于X0的CPMV，并且在列表1中的CPMV等于X1的CPMV。
(b)在一个示例中，如果X0应用列表1预测并且X1应用列表0预测，则组合仿射Merge候选将应用双向预测，其在列表0中的CPMV等于X1的CPMV，并且在列表1中的CPMV等于X0的CPMV。
(c)在一个示例中，如果X0应用列表0预测并且X1应用列表0预测，则组合仿射Merge候选将应用列表0预测，其在列表0中的CPMV等于用示例2中所述的组合方法对X0的CPMV和X1的CPMV的组合。
(d)在一个示例中，如果X0应用列表0预测并且X1应用列表0预测，则组合仿射Merge候选将应用双向预测，其在列表0中的CPMV等于用示例2中所述的组合方法对X0的CPMV和X1的CPMV的组合。
(e)在一个示例中，如果X0应用列表1预测而X1应用列表1预测，则组合仿射Merge候选将应用列表1预测，其在列表1中的CPMV等于用示例2中所述的组合方法对X0的CPMV和X1的CPMV的组合。
(f)在一个示例中，如果X0应用列表0预测并且X1应用双向预测，则组合仿射Merge候选将应用双向预测，其在列表0中的CPMV等于用示例2中所述的组合方法对X0的CPMV和X1的列表0中的CPMV的组合，并且在列表1中的CPMV等于X1的列表1中的CPMV。
(g)在一个示例中，如果X0应用列表1预测并且X1应用双向预测，则组合仿射Merge候选将应用双向预测，其在列表1中的CPMV等于用示例2中所述的组合方法对X0的CPMV和X1的列表1中的CPMV的组合，并且在列表0中的CPMV等于X1的列表0中的CPMV。
(h)在一个示例中，如果X1应用列表0预测并且X0应用双向预测，则组合仿射Merge候选将应用双向预测，其在列表0中的CPMV等于用示例2中所述的组合方法对X1的CPMV和X0的列表0中的CPMV的组合，并且在列表1中的CPMV等于X0的列表1中的CPMV。
(i)在一个示例中，如果X1应用列表1预测并且X0应用双向预测，则组合仿射Merge候选将应用双向预测，其在列表1中的CPMV等于用示例2中所述的组合方法对X1的CPMV和X0的列表1中的CPMV的组合，并且在列表0中的CPMV等于X0的列表0中的CPMV。
图7是说明可以用于实现本公开技术的各个部分的计算机系统或其他控制设备2600的结构的示例的示意图。在图7中，计算机系统2600包括通过互连2625连接的一个或多个处理器2605和存储器2610。互连2625可以表示由适当的桥、适配器或控制器连接的任何一条或多条单独的物理总线、点对点连接或两者。因此，互连2625可以包括例如系统总线、外围组件互连(PCI)总线、超传输或工业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或电气与电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。
处理器2605可以包括中央处理器(CPU)，来控制例如主机的整体操作。在一些实施例中，处理器2605通过执行存储在存储器2610中的软件或固件来实现这一点。处理器2605可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些器件的组合。
存储器2610可以是或包括计算机系统的主存储器。存储器2610表示任何适当形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，存储器2610除其他外可包含一组机器指令，当处理器2605执行该指令时，使处理器2605执行操作以实现本公开技术的实施例。
通过互连2625连接到处理器2605的还有(可选的)网络适配器2615。网络适配器2615为计算机系统2600提供与远程设备(诸如存储客户机和/或其他存储服务器)通信的能力，并且可以是例如以太网适配器或光纤通道适配器。
图8示出了可以用于实施本公开技术的各个部分的移动设备2700的示例实施例的框图。移动设备2700可以是笔记本电脑、智能手机、平板电脑、摄像机或其他能够处理视频的设备。移动设备2700包括处理器或控制器2701来处理数据，以及与处理器2701通信的存储器2702来存储和/或缓冲数据。例如，处理器2701可以包括中央处理器(CPU)或微控制器单元(MCU)。在一些实现中，处理器2701可以包括现场可编程门阵列(FPGA)。在一些实现中，移动设备2700包括或与图形处理单元(GPU)、视频处理单元(VPU)和/或无线通信单元通信，以实现智能手机设备的各种视觉和/或通信数据处理功能。例如，存储器2702可以包括并存储处理器可执行代码，当处理器2701执行该代码时，将移动设备2700配置为执行各种操作，例如接收信息、命令和/或数据、处理信息和数据，以及将处理过的信息/数据发送或提供给另一个数据设备，诸如执行器或外部显示器。为了支持移动设备2700的各种功能，存储器2702可以存储信息和数据，诸如指令、软件、值、图像以及处理器2701处理或引用的其他数据。例如，可以使用各种类型的随机存取存储器(RAM)设备、只读存储器(ROM)设备、闪存设备和其他合适的存储介质来实现存储器2702的存储功能。在一些实现中，移动设备2700包括输入/输出(I/O)单元2703，来将处理器2701和/或内存2702与其他模块、单元或设备进行接口。例如，I/O单元2703可以与处理器2701和内存2702进行接口，以利用与典型数据通信标准兼容的各种无线接口，例如，在云中的一台或多台计算机和用户设备之间。在一些实现中，移动设备2700可以通过I/O单元2703使用有线连接与其他设备进行接口。I/O单元2703可以包括无线传感器，例如用于检测远程控制信号的红外探测器，或其他合适的无线人机界面技术。移动设备2700还可以与其他外部接口(例如数据存储器)和/或可视或音频显示设备2704连接，以检索和传输可由处理器处理、由存储器存储或由显示设备2704或外部设备的输出单元上显示的数据和信息。例如，显示设备2704可以根据所公开的技术显示基于MVP修改的视频帧。
上述示例可以并入下面描述的可以在视频解码器/编码器处实现的方法(例如，方法900)的上下文中。
图9示出了用于视频编解码的示例方法的流程图。方法900包括：在步骤910中，通过将至少一个组合Merge候选添加到Merge候选列表中，为当前块的比特流表示生成更新的Merge候选列表。在一些实施例中，至少一个组合Merge候选可包括一个或多个组合仿射Merge候选。
在一些实施例中，将至少一个组合Merge候选添加到包括基于子块预测的Merge候选(如仿射或ATMVP Merge候选)的第一Merge候选列表。第一Merge候选列表不同于包括普通Merge候选(例如，HEVC Merge候选)的第二Merge候选列表。换言之，至少一个组合Merge候选可以与普通HEVC Merge候选分开、并且与其他基于子块预测的Merge候选一起存储。
在一些实施例中，并且在示例1的上下文中，方法900还包括步骤：紧接生成之前，将一个或多个临近的继承仿射Merge候选添加到Merge候选列表。
在一些实施例中，并且在示例1的上下文中，方法900还包括步骤：紧接生成之前，将一个或多个构造仿射Merge候选添加到Merge候选列表。
在下面的实施例和示例(在示例2的上下文中描述的)中，Merge候选列表包括N≥2个仿射Merge候选。
在一些实施例中，至少一个组合Merge候选基于N个仿射Merge候选中的M个，其中从N个仿射Merge候选的前K个中选择N个仿射Merge候选中的M个，并且其中M和K是整数。
在一些实施例中，至少一个组合Merge候选基于N个仿射Merge候选中的M个，其中从N个仿射Merge候选的最后K个中选择N个仿射Merge候选中的M个，并且其中M和K是整数。
在一些实施例中，M＝2并且K＝4。
在一些实施例中,至少一个组合Merge候选包括具有表示为(MV'0,MV'1,MV'2)的控制点运动矢量(CPMV)的第一组合Merge候选，并且其中N个Merge候选包括具有表示为(MV0 C1,MV1 C1,MV2 C1)的CPMV的第一仿射Merge候选和具有表示为(MV0 C2,MV1 C2,MV2 C2)的CPMV的第二仿射Merge候选。在一个示例中，MV'0＝Average(MV0 C1,MV0 C2),MV'1＝Average(MV1 C1,MV1 C2)并且MV'2＝Average(MV2 C1,MV2 C2)。在另一示例在,MV'0＝MV0 C1,MV'1＝MV0 C1+Average(DiffMVC1 1,DiffMVC2 1)并且MV'2＝MV0 C1+Average(DiffMVC1 2,DiffMVC2 2),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MVC2 2-MVC2 0。
在一些实施例中，第一仿射Merge候选与第一参考图片相关联，并且第二仿射Merge候选与不同于第一参考图片的第二参考图片相关联。
在一些实施例中，并且在示例3的上下文中，生成更新的Merge候选列表的步骤还可以包括：确定至少一个组合Merge候选的第一组合Merge候选与Merge候选列表中的任何Merge候选不相同，并且将第一组合Merge候选添加到Merge候选列表中。
在一些实施例中，并且在示例3的上下文中，方法900可以包括步骤：确定至少一个组合Merge候选的第二组合Merge候选与Merge候选列表中的至少一个Merge候选相同，并且将第二组合Merge候选排除在Merge候选列表之外。
在一些实施例中，并且在示例4的上下文中，方法900还可以包括：基于Merge候选列表中两个仿射Merge候选的帧间方向，生成至少一个组合Merge候选。
方法900包括：在步骤920中，基于更新的Merge候选列表，在比特流表示和当前块之间执行转换。在一些实施例中，转换从比特流表示生成当前块(例如，如可在视频解码器中实现的)。在其他实施例中，转换从当前块生成比特流表示(例如，如可在视频编码器中实现的)。
图10是视频编解码方法1000的流程图表示。方法1000包括：在视频的当前块和所述当前块的比特流表示之间的转换期间，通过将至少一个组合Merge候选添加到第一Merge候选列表中，生成(1010)更新的Merge候选列表；以及通过使用所述更新的Merge候选列表执行(1020)所述转换。
在一些实施例中，所述第一Merge候选列表包括一个或多个基于子块预测的Merge候选。
在一些实施例中，所述一个或多个基于子块预测的Merge候选包括仿射Merge候选或高级时域运动矢量预测(ATMVP)Merge候选。
在一些实施例中，所述转换从所述比特流表示生成所述当前块。
在一些实施例中，所述转换从所述当前块生成所述比特流表示。
在一些实施例中，所述至少一个组合Merge候选包括一个或多个组合仿射Merge候选。
在一些实施例中，所述方法还包括：紧接所述生成之前，将一个或多个临近的继承仿射Merge候选添加到所述第一Merge候选列表。
在一些实施例中，所述方法还包括：紧接所述生成之前，将一个或多个构造仿射Merge候选添加到所述第一Merge候选列表。
在一些实施例中，所述第一Merge候选列表包括第一仿射Merge候选列表，包括具有控制点运动矢量的多个仿射Merge候选，并且基于所述多个仿射Merge候选导出所述至少一个组合Merge候选的具有控制点运动矢量(CPMV)的组合仿射模型。
在一些实施例中，从K个仿射Merge候选中的M个仿射Merge候选的仿射模型导出所述至少一个组合Merge候选的具有控制点运动矢量(CPMV)的所述组合仿射模型，其中所述K个仿射Merge候选是所述第一仿射Merge候选表中的所述多个仿射Merge候选的前K个仿射Merge候选，并且其中M和K是整数，K大于或等于M。
在一些实施例中，从K个仿射Merge候选中的M个仿射Merge候选的仿射模型导出所述至少一个组合Merge候选的具有控制点运动矢量(CPMV)的所述组合仿射模型，其中所述K个仿射Merge候选是所述第一仿射Merge候选表中的所述至少一个组合Merge候选之前的最后K个仿射Merge候选，并且其中M和K是整数，K大于或等于M。
在一些实施例中，当所述当前块应用6参数仿射模型时，所述至少一个组合Merge候选包括具有表示为(MV'0,MV'1,MV'2)的控制点运动矢量(CPMV)的第一组合Merge候选，并且其中所述多个仿射Merge候选包括具有表示为(MV0 C1,MV1 C1,MV2 C1)的CPMV的第一仿射Merge候选、具有表示为(MV0 C2,MV1 C2,MV2 C2)的CPMV的第二仿射Merge候选和/或具有表示为(MV0 C3,MV1 C3,MV2 C3)的CPMV的第三仿射Merge候选，C1、C2、C3表示所述多个仿射Merge候选的索引。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C1,MV0 C2),Average(MV1 C1,MV1 C2),Average(MV2 C1,MV2 C2)),并且其中Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(MV0 C1,MV0 C1+Average(DiffMVC1 1,DiffMVC2 1),MV0 C1+Average(DiffMVC1 2,DiffMVC2 2)),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MVC2 2-MVC2 0,并且其中Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(MV0 C3,MV0 C3+Average(DiffMVC1 1,DiffMVC2 1),MV0 C3+Average(DiffMVC1 2,DiffMVC2 2)),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MVC2 2-MVC2 0,并且其中Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C1,MV0 C2),Average(MV0 C1,MV0 C2)+DiffMVC1 1,Average(MV0 C1,MV0 C2)+DiffMVC1 2),并且其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0并且Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C2,MV0 C3),Average(MV0 C2,MV0 C3)+DiffMVC1 1,Average(MV0 C2,MV0 C3)+DiffMVC1 2),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0并且Average(A,B)是A和B的平均。
在一些实施例中，当所述当前块应用4参数仿射模型时，所述至少一个组合Merge候选包括具有表示为(MV’0,MV’1)的控制点运动矢量(CPMV)的第一组合Merge候选，并且其中所述多个仿射Merge候选包括具有表示为(MV0 C1,MV1 C1)的CPMV的第一仿射Merge候选、具有表示为(MV0 C2,MV1 C2)的CPMV的第二仿射Merge候选和/或具有表示为(MV0 C3,MV1 C3,MV2 C3)的CPMV的第三仿射Merge候选，C1、C2、C3表示所述多个仿射Merge候选的索引。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(Average(MV0 C1,MV0 C2),Average(MV1 C1,MV1 C2)),并且其中Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(MV0 C1,MV0 C1+Average(DiffMVC1 1,DiffMVC2 1)),其中DiffMVC1 1＝MVC1 1-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0,并且其中Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(MV0 C3,MV0 C3+Average(DiffMVC1 1,DiffMVC2 1)),其中DiffMVC1 1＝MVC1 1-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0,并且其中Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(Average(MV0 C1,MV0 C2),Average(MV0 C1,MV0 C2)+DiffMVC1 1),并且其中DiffMVC1 1＝MVC1 1-MVC1 0并且Average(A,B)是A和B的平均。
在一些实施例中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(Average(MV0 C2,MV0 C3),Average(MV0 C2,MV0 C3)+DiffMVC1 1),其中DiffMVC1 1＝MVC1 1-MVC1 0并且Average(A,B)是A和B的平均。
在一些实施例中，所述第一仿射Merge候选的所述CPMV与第一参考图片相关联，并且其中所述第二仿射Merge候选的所述CPMV与不同于所述第一参考图片的第二参考图片相关联。
在一些实施例中，所述第一仿射Merge候选的所述CPMV和所述第二仿射Merge候选的所述CPMV在其被组合之前被缩放到相同的参考图片，其中所述相同的参考图片是所述第一参考图片和所述第二参考图片中的一个或固定参考图片。
在一些实施例中，所述第一仿射Merge候选的所述CPMV和所述第二仿射Merge候选的所述CPMV在没有任何缩放的情况下被组合。
在一些实施例中，所述第一仿射Merge候选的所述CPMV和所述第二仿射Merge候选的所述CPMV不可组合。
在一些实施例中，通过使用所述多个仿射Merge候选的仿射Merge候选对来导出所述至少一个组合Merge候选，并且以预定的顺序将所述仿射Merge候选对放入所述第一仿射Merge候选列表中。
在一些实施例中，如果索引在仿射Merge候选对中的一个仿射Merge候选不可用、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是组合仿射Merge候选、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是构造仿射Merge候选、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是高级时域运动矢量预测(ATMVP)Merge候选、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是零仿射Merge候选，则跳过这个对并且不使用这个对来导出所述至少一个组合仿射Merge候选。
在一些实施例中，通过使用所述多个仿射Merge候选的仿射Merge候选组导出所述至少一个组合Merge候选，并且按预定的顺序将所述仿射Merge候选组放入所述第一仿射Merge候选列表中。
在一些实施例中，如果索引在仿射Merge候选组中的一个仿射Merge候选不可用、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是组合仿射Merge候选、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是构造仿射Merge候选、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是高级时域运动矢量预测(ATMVP)Merge候选、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是零仿射Merge候选，则跳过这个组并且不使用这个组来导出所述至少一个组合仿射Merge候选。
在一些实施例中，生成所述更新的Merge候选包括：确定所述至少一个组合Merge候选的第一组合Merge候选是否与所述第一Merge候选列表中的任何Merge候选相同；如果否，则将所述第一组合Merge候选添加到所述第一Merge候选列表中，并且如果是，则丢弃所述第一组合Merge候选。
在一些实施例中，所述方法还包括：基于所述第一Merge候选列表中的第一仿射Merge候选和第二仿射Merge候选的帧间方向，生成所述至少一个组合Merge候选。
在一些实施例中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用列表1预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表0中的CPMV等于所述第一仿射Merge候选的CPMV并且列表1中的CPMV等于所述第二仿射Merge候选的CPMV。
在一些实施例中，如果所述第一仿射Merge候选应用列表1预测并且所述第二仿射Merge候选应用列表0预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表0中的CPMV等于所述第二仿射Merge候选的CPMV并且列表1中的CPMV等于所述第一仿射Merge候选的CPMV。
在一些实施例中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用列表0预测，则所述至少一个组合仿射Merge候选应用列表0预测，其中列表0中的CPMV等于所述第一仿射Merge候选的CPMV和所述第二仿射Merge候选的CPMV的组合。
在一些实施例中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用列表0预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表0中的CPMV等于所述第一仿射Merge候选的CPMV和所述第二仿射Merge候选的CPMV的组合。
在一些实施例中，如果所述第一仿射Merge候选应用列表1预测并且所述第二仿射Merge候选应用列表1预测，则所述至少一个组合仿射Merge候选应用列表1预测，其中列表1中的CPMV等于所述第一仿射Merge候选的CPMV和所述第二仿射Merge候选的CPMV的组合。
在一些实施例中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表0中的CPMV等于所述第一仿射Merge候选的列表0中的CPMV和所述第二仿射Merge候选的列表0中的CPMV的组合，并且列表1中的CPMV等于所述第二仿射Merge候选的列表1中的CPMV。
在一些实施例中，如果所述第一仿射Merge候选应用列表1预测并且所述第二仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表1中的CPMV等于所述第一仿射Merge候选的列表1中的CPMV和所述第二仿射Merge候选的列表1中的CPMV的组合，并且列表0中的CPMV等于所述第二仿射Merge候选列表0中的CPMV。
在一些实施例中，如果所述第二仿射Merge候选应用列表0预测并且所述第一仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表0中的CPMV等于所述第二仿射Merge候选的列表0中的CPMV和所述第一仿射Merge候选的列表0中的CPMV的组合，并且列表1中的CPMV等于所述第一仿射Merge候选的列表1中的CPMV。
在一些实施例中，如果所述第二仿射Merge候选应用列表1预测并且所述第一仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其中列表1中的CPMV等于所述第二仿射Merge候选的列表1中的CPMV和所述第一仿射Merge候选的列表1中的CPMV的组合，并且列表0中的CPMV等于所述第一仿射Merge候选列表0中的CPMV和所述第二仿射Merge候选的列表0中的CPMV的组合。
在一些实施例中，所述第一Merge候选列表是仿射Merge候选列表或子块Merge候选列表。
图11示出了典型HEVC视频编码器和解码器1100的示例性框图。产生符合HEVC的比特流的编解码算法通常如下进行。每个图片被划分为块状区域，精确的块划分被传送到解码器。视频序列的第一图片(以及进入视频序列的每个干净的随机访问点处的第一图片)仅使用帧内预测(其使用同一帧内区域到区域的空域数据预测，但不依赖其他图片)进行编解码。对于序列的或随机访问点之间的所有剩余图片，帧间时间预测编解码模式通常用于大多数块。用于帧间预测的编解码处理包括选择包括所选参考图片的运动数据和要应用于预测每个块的样本点的运动矢量(MV)。编码器和解码器通过使用MV和模式决策数据应用运动补偿(MC)来生成相同的帧间预测信号，其作为辅助信息被传输。
通过线性空域变换来变换帧内或帧间预测的残差信号，其是原始块与其预测之间的差。然后对变换系数进行缩放，量化，熵编码，并与预测信息一起传输。
编码器复制解码器处理循环(参见图11中的灰色阴影框)，使得两者都将为后续数据生成相同的预测。因此，通过逆缩放来构造量化的变换系数，然后对其进行逆变换以复制残差信号的解码近似。然后将残差添加到预测，然后可以将该相加的结果馈送到一个或两个环路滤波器中以平滑由逐块处理和量化引起的伪像。最终图片表示(即解码器输出的副本)存储在解码图片缓冲器中以用于后续图片的预测。通常，图片的编码或解码处理的顺序通常不同于它们从源到达的顺序；需要区分解码器的解码顺序(即比特流顺序)和输出顺序(即显示顺序)。
通常期望由HEVC编码的视频材料作为逐行扫描图像输入(由于源视频源自该格式或者由编码之前的去交错产生)。HEVC设计中不存在明确的编码特征以支持隔行扫描的使用，因为隔行扫描不再用于显示器，并且对于分发而言变得非常不常见。然而，在HEVC中已提供了元数据语法以允许编码器通过将隔行扫描视频的每个区(即，每个视频帧的偶数或奇数行)编码为单独的图片来指示已发送隔行扫描视频或通过将每个隔行扫描帧编码为HEVC编码图片指示它已被发送。这提供了一种对隔行扫描视频进行编码的有效方法，而不需要支持用于它的特殊解码处理。
本专利文件中描述的主题的实现和功能操作可以在各种系统、数字电子电路、或计算机软件、固件或硬件中实现，包括本说明书中所公开的结构及其结构等效体，或其中一个或多个的组合。本说明说中描述的主题的实现可以实现为一个或多个计算机程序产品，即一个或多个编码在有形的且非易失的计算机可读介质上的计算机程序指令的模块，以供数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质组成或其中一个或其中多个的组合。术语“数据处理单元”或“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多处理器或计算机组。除硬件外，该装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件的代码、协议栈、数据库管理系统、操作系统或其中一个或多个的组合。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器设备。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
本说明书中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动硬盘；磁光盘；以及CD ROM和DVD ROM盘。处理器和存储器可以由专用逻辑电路来补充，或合并到专用逻辑电路中。
虽然本专利文件包含许多细节，但不应将其解释为对任何发明或权利要求范围的限制，而应解释为对特定发明的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
同样，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文件所述实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
仅描述了一些实现和示例，其他实现、增强和变体可以基于本专利文件中描述和说明的内容做出。

Claims (43)

1.一种视频处理方法，包括：
在视频的当前块和所述当前块的比特流之间的转换期间，通过将具有控制点运动矢量的至少一个组合Merge候选添加到第一Merge候选列表中，生成更新的Merge候选列表；以及
通过使用所述更新的Merge候选列表执行所述转换；
其中所述至少一个组合Merge候选是基于所述第一Merge候选列表中的具有控制点运动矢量的多个仿射Merge候选导出的，
其中，当所述当前块应用6参数仿射模型时，所述至少一个组合Merge候选包括具有表示为(MV’0,MV’1,MV’2)的控制点运动矢量(CPMV)
的第一组合Merge候选，并且其中所述多个仿射Merge候选包括具有表示为(MV0 C1,MV1 C1,MV2 C1)的CPMV的第一仿射Merge候选、具有表示为(MV0 C2,MV1 C2,MV2 C2)的CPMV的第二仿射Merge候选和/或具有表示为(MV0 C3,MV1 C3,MV2 C3)的CPMV的第三仿射Merge候选，C1、C2、C3表示所述多个仿射Merge候选的索引，其中，所述第一组合Merge候选的MV’0是基于MV0 C1、MV0 C2和MV0 C3中的至少两个导出的，所述第一组合Merge候选的MV’1是基于MV1 C1、MV1 C2和MV1 C3中的至少两个导出的，所述第一组合Merge候选的MV’2是基于MV2 C1、MV2 C2和MV2 C3中的至少两个导出的；或者
其中，当所述当前块应用4参数仿射模型时，所述至少一个组合Merge候选包括具有表示为(MV’0,MV’1)的CPMV的第一组合Merge候选，并且其中所述多个仿射Merge候选包括具有表示为(MV0 C1,MV1 C1)的CPMV的第一仿射Merge候选、以及具有表示为(MV0 C2,MV1 C2)的CPMV的第二仿射Merge候选和/或具有表示为(MV0 C3,MV1 C3,MV2 C3)的CPMV的第三仿射Merge候选，C1、C2、C3表示所述多个仿射Merge候选的索引，其中，所述第一组合Merge候选的MV’0是基于MV0 C1、MV0 C2和MV0 C3中的至少两个导出的，所述第一组合Merge候选的MV’1是基于MV1 C1、MV1 C2和MV1 C3中的至少两个导出的。
2.根据权利要求1所述的方法，其中，所述第一Merge候选列表包括一个或多个基于子块预测的Merge候选。
3.根据权利要求2所述的方法，其中，所述一个或多个基于子块预测的Merge候选包括所述仿射Merge候选或高级时域运动矢量预测(ATMVP)Merge候选。
4.根据权利要求1至3中任一项所述的方法，其中，所述转换从所述比特流生成所述当前块。
5.根据权利要求1至3中任一项所述的方法，其中，所述转换从所述当前块生成所述比特流。
6.根据权利要求1至5中任一项所述的方法，其中，所述至少一个组合Merge候选包括一个或多个组合仿射Merge候选。
7.根据权利要求6所述的方法，还包括：
紧接所述生成之前，将一个或多个临近的继承仿射Merge候选添加到所述第一Merge候选列表。
8.根据权利要求6所述的方法，还包括：
紧接所述生成之前，将一个或多个构造仿射Merge候选添加到所述第一Merge候选列表。
9.根据权利要求1至5中任一项所述的方法，其中，所述第一Merge候选列表包括第一仿射Merge候选列表，包括具有控制点运动矢量的多个仿射Merge候选，并且基于所述多个仿射Merge候选导出具有控制点运动矢量(CPMV)的所述至少一个组合Merge候选的组合仿射模型。
10.根据权利要求9所述的方法，其中，从K个仿射Merge候选中的M个仿射Merge候选的仿射模型导出具有控制点运动矢量(CPMV)的所述至少一个组合Merge候选的所述组合仿射模型，其中所述K个仿射Merge候选是所述第一仿射Merge候选表中的所述多个仿射Merge候选的前K个仿射Merge候选，并且其中M和K是整数，K大于或等于M。
11.根据权利要求9所述的方法，其中，从K个仿射Merge候选中的M个仿射Merge候选的仿射模型导出具有控制点运动矢量(CPMV)的所述至少一个组合Merge候选的所述组合仿射模型，其中所述K个仿射Merge候选是所述第一仿射Merge候选表中的在所述至少一个组合Merge候选之前的最后K个仿射Merge候选，并且其中M和K是整数，K大于或等于M。
12.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C1,MV0 C2),Average(MV1 C1,MV1 C2),Average(MV2 C1,MV2 C2)),并且其中Average(A,B)是A和B的平均。
13.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(MV0 C1,MV0 C1+Average(DiffMVC1 1,DiffMVC2 1),MV0 C1+Average(DiffMVC1 2,DiffMVC2 2)),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MV C2 2-MV C2 0,并且其中Average(A,B)是A和B的平均。
14.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(MV0 C3,MV0 C3+Average(DiffMVC1 1,DiffMVC2 1),MV0 C3+Average(DiffMVC1 2,DiffMVC2 2)),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0并且DiffMVC2 2＝MV C2 2-MV C2 0,并且其中Average(A,B)是A和B的平均。
15.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C1,MV0 C2),Average(MV0 C1,MV0 C2)+DiffMVC1 1,Average(MV0 C1,MV0 C2)+DiffMVC1 2),并且其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0并且Average(A,B)是A和B的平均。
16.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1,MV’2)＝(Average(MV0 C2,MV0 C3),Average(MV0 C2,MV0 C3)+DiffMVC1 1,Average(MV0 C2,MV0 C3)+DiffMVC1 2),其中DiffMVC1 1＝MVC1 1-MVC1 0并且DiffMVC1 2＝MVC1 2-MVC1 0并且Average(A,B)是A和B的平均。
17.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(Average(MV0 C1,MV0 C2),Average(MV1 C1,MV1 C2)),并且其中Average(A,B)是A和B的平均。
18.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(MV0 C1,MV0 C1+Average(DiffMVC1 1,DiffMVC2 1)),其中DiffMVC1 1＝MVC1 1-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0,并且其中Average(A,B)是A和B的平均。
19.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(MV0 C3,MV0 C3+Average(DiffMVC1 1,DiffMVC2 1)),其中DiffMVC1 1＝MVC1 1-MVC1 0,DiffMVC2 1＝MVC2 1-MVC2 0,并且其中Average(A,B)是A和B的平均。
20.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(Average(MV0 C1,MV0 C2),Average(MV0 C1,MV0 C2)+DiffMVC1 1),并且其中DiffMVC1 1＝MVC1 1-MVC1 0，并且Average(A,B)是A和B的平均。
21.根据权利要求1所述的方法，其中，所述至少一个组合Merge候选导出为(MV’0,MV’1)＝(Average(MV0 C2,MV0 C3),Average(MV0 C2,MV0 C3)+DiffMVC1 1),其中DiffMVC1 1＝MVC1 1-MVC1 0,并且Average(A,B)是A和B的平均。
22.根据权利要求12至21中任一项所述的方法，其中，所述第一仿射Merge候选的所述CPMV与第一参考图片相关联，并且其中所述第二仿射Merge候选的所述CPMV与不同于所述第一参考图片的第二参考图片相关联。
23.根据权利要求22所述的方法，其中，所述第一仿射Merge候选的所述CPMV和所述第二仿射Merge候选的所述CPMV在其被组合之前被缩放到相同的参考图片，其中所述相同的参考图片是所述第一参考图片和所述第二参考图片中的一个或固定参考图片。
24.根据权利要求22所述的方法，其中，所述第一仿射Merge候选的所述CPMV和所述第二仿射Merge候选的所述CPMV在没有任何缩放的情况下被组合。
25.根据权利要求22所述的方法，其中，所述第一仿射Merge候选的所述CPMV和所述第二仿射Merge候选的所述CPMV不可组合。
26.根据权利要求9至25中任一项所述的方法，其中，通过使用所述多个仿射Merge候选的仿射Merge候选对来导出所述至少一个组合Merge候选，并且以预定的顺序将所述至少一个组合Merge候选放入所述第一仿射Merge候选列表中。
27.根据权利要求26所述的方法，其中，如果索引在仿射Merge候选对中的一个仿射Merge候选不可用、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是组合仿射Merge候选、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是构造仿射Merge候选、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是高级时域运动矢量预测(ATMVP)Merge候选、或者如果索引在仿射Merge候选对中的一个仿射Merge候选是零仿射Merge候选，则跳过这个对并且不使用这个对来导出所述至少一个组合仿射Merge候选。
28.根据权利要求9至25中任一项所述的方法，其中，通过使用所述多个仿射Merge候选的仿射Merge候选组导出所述至少一个组合Merge候选，并且按预定的顺序将所述至少一个组合Merge候选放入所述第一仿射Merge候选列表中。
29.根据权利要求28所述的方法，其中，如果索引在仿射Merge候选组中的一个仿射Merge候选不可用、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是组合仿射Merge候选、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是构造仿射Merge候选、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是高级时域运动矢量预测(ATMVP)Merge候选、或者如果索引在仿射Merge候选组中的一个仿射Merge候选是零仿射Merge候选，则跳过这个组并且不使用这个组来导出所述至少一个组合仿射Merge候选。
30.根据权利要求1至5中任一项所述的方法，其中，生成所述更新的Merge候选表包括：
确定所述至少一个组合Merge候选的第一组合Merge候选是否与所述第一Merge候选列表中的任何Merge候选相同；
如果否，则将所述第一组合Merge候选添加到所述第一Merge候选列表中，并且如果是，则丢弃所述第一组合Merge候选。
31.根据权利要求1至5中任一项所述的方法，还包括：
基于所述第一Merge候选列表中的第一仿射Merge候选和第二仿射Merge候选的帧间方向，生成所述至少一个组合Merge候选。
32.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用列表1预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表0中的CPMV等于所述第一仿射Merge候选的CPMV并且在列表1中的CPMV等于所述第二仿射Merge候选的CPMV。
33.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表1预测并且所述第二仿射Merge候选应用列表0预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表0中的CPMV等于所述第二仿射Merge候选的CPMV，并且在列表1中的CPMV等于所述第一仿射Merge候选的CPMV。
34.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用列表0预测，则所述至少一个组合仿射Merge候选应用列表0预测，其在列表0中的CPMV等于所述第一仿射Merge候选的CPMV和所述第二仿射Merge候选的CPMV的组合。
35.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用列表0预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表0中的CPMV等于所述第一仿射Merge候选的CPMV和所述第二仿射Merge候选的CPMV的组合。
36.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表1预测并且所述第二仿射Merge候选应用列表1预测，则所述至少一个组合仿射Merge候选应用列表1预测，其在列表1中的CPMV等于所述第一仿射Merge候选的CPMV和所述第二仿射Merge候选的CPMV的组合。
37.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表0预测并且所述第二仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表0中的CPMV等于所述第一仿射Merge候选的列表0中的CPMV和所述第二仿射Merge候选的列表0中的CPMV的组合，并且在列表1中的CPMV等于所述第二仿射Merge候选的列表1中的CPMV。
38.根据权利要求31所述的方法，其中，如果所述第一仿射Merge候选应用列表1预测并且所述第二仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表1中的CPMV等于所述第一仿射Merge候选的列表1中的CPMV和所述第二仿射Merge候选的列表1中的CPMV的组合，并且在列表0中的CPMV等于所述第二仿射Merge候选列表0中的CPMV。
39.根据权利要求31所述的方法，其中，如果所述第二仿射Merge候选应用列表0预测并且所述第一仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表0中的CPMV等于所述第二仿射Merge候选的列表0中的CPMV和所述第一仿射Merge候选的列表0中的CPMV的组合，并且在列表1中的CPMV等于所述第一仿射Merge候选的列表1中的CPMV。
40.根据权利要求31所述的方法，其中，如果所述第二仿射Merge候选应用列表1预测并且所述第一仿射Merge候选应用双向预测，则所述至少一个组合仿射Merge候选应用双向预测，其在列表1中的CPMV等于所述第二仿射Merge候选的列表1中的CPMV和所述第一仿射Merge候选的列表1中的CPMV的组合，并且在列表0中的CPMV等于所述第一仿射Merge候选的列表0中的CPMV和所述第二仿射Merge候选的列表0中的CPMV的组合。
41.根据权利要求1至40中任一项所述的方法，其中，所述第一Merge候选列表是仿射Merge候选列表或子块Merge候选列表。
42.一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器，其中当所述指令被所述处理器执行时，使所述处理器实现权利要求1至41中任一项所述的方法。
43.一种在其上存储有指令的非暂时性计算机可读介质，所述指令被处理器处理器执行时，使得所述处理器实现权利要求1至41中任一项所述的方法。
CN201910951151.8A 2018-10-08 2019-10-08 组合仿射Merge候选的生成和使用 Active CN111010571B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/109329 2018-10-08
CN2018109329 2018-10-08

Publications (2)

Publication Number Publication Date
CN111010571A CN111010571A (zh) 2020-04-14
CN111010571B true CN111010571B (zh) 2023-05-16

Family

ID=68296562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910951151.8A Active CN111010571B (zh) 2018-10-08 2019-10-08 组合仿射Merge候选的生成和使用

Country Status (3)

Country Link
US (1) US11825074B2 (zh)
CN (1) CN111010571B (zh)
WO (1) WO2020075053A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235822A1 (ko) * 2018-06-04 2019-12-12 엘지전자 주식회사 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
MX2021007018A (es) * 2018-12-13 2021-07-21 Beijing Dajia Internet Information Tech Co Ltd Metodo para derivar candidatos de fusion afin construidos.
EP3905688A4 (en) * 2018-12-28 2022-09-28 JVCKENWOOD Corporation DYNAMIC IMAGE CODING DEVICE, DYNAMIC IMAGE CODING METHOD, DYNAMIC IMAGE CODING PROGRAM, DYNAMIC IMAGE DECODING DEVICE, DYNAMIC IMAGE DECODING METHOD AND DYNAMIC IMAGE DECODING PROGRAM
CN117321994A (zh) * 2021-04-09 2023-12-29 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023051600A1 (en) * 2021-09-28 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964845B2 (en) 2011-12-28 2015-02-24 Microsoft Corporation Merge mode for motion information prediction
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US10200709B2 (en) 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US20130336406A1 (en) 2012-06-14 2013-12-19 Qualcomm Incorporated Redundancy removal for merge/skip mode motion information candidate list construction
WO2014053086A1 (en) 2012-10-05 2014-04-10 Mediatek Singapore Pte. Ltd. Method and apparatus of motion vector derivation 3d video coding
WO2014107853A1 (en) 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
KR101804652B1 (ko) 2013-04-02 2017-12-04 브이아이디 스케일, 인크. 스케일러블 비디오 코딩용의 향상된 시간적 움직임 벡터 예측
US9609347B2 (en) 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
WO2014166104A1 (en) 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US9800895B2 (en) 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
WO2015003383A1 (en) 2013-07-12 2015-01-15 Mediatek Singapore Pte. Ltd. Methods for inter-view motion prediction
US10045014B2 (en) 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
WO2015006984A1 (en) 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Reference view selection for 3d video coding
US9432685B2 (en) 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
CN108965888B (zh) * 2014-03-19 2021-05-04 株式会社Kt 针对多视图视频信号生成合并候选列表的方法及解码装置
CN107005708A (zh) 2014-09-26 2017-08-01 Vid拓展公司 使用时间块向量预测的块内复制译码
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
WO2017147765A1 (en) 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
US10382766B2 (en) 2016-05-09 2019-08-13 Qualcomm Incorporated Signalling of filtering information
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
EP3738310A4 (en) 2018-01-11 2021-08-11 Qualcomm Incorporated VIDEO ENCODING USING LOCAL LIGHTING COMPENSATION
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
TWI704803B (zh) 2018-06-29 2020-09-11 大陸商北京字節跳動網絡技術有限公司 運動信息共享的限制
CN114374850A (zh) 2018-07-01 2022-04-19 北京字节跳动网络技术有限公司 高效的仿射Merge运动矢量推导的方法、装置及存储介质
GB2589241B (en) 2018-07-02 2023-06-07 Beijing Bytedance Network Tech Co Ltd Update of look-up tables

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE4: Common base for affine merge mode (Test 4.2.1);Huanbang Chen 等;《Joint Video Experts Team (JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1112th Meeting: Macao 》;20180925;section 1 *

Also Published As

Publication number Publication date
CN111010571A (zh) 2020-04-14
US11825074B2 (en) 2023-11-21
WO2020075053A1 (en) 2020-04-16
US20210227207A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
CN110636297B (zh) 分量相关的子块分割
CN110636298B (zh) 对于Merge仿射模式和非Merge仿射模式的统一约束
CN111010571B (zh) 组合仿射Merge候选的生成和使用
CN110944207B (zh) 仿射模型的表示
CN112868240A (zh) 并置的局部照明补偿和修改的帧间预测编解码
TW202019185A (zh) 非對稱加權雙向預測Merge
CN112868238A (zh) 局部照明补偿和帧间预测编解码之间的并置
CN110944182B (zh) 仿射模式中的子块的运动矢量推导
CN113316935A (zh) 使用局部照明补偿的运动候选列表
CN110944204B (zh) 简化的空时运动矢量预测
US11805259B2 (en) Non-affine blocks predicted from affine motion
CN110662073B (zh) 子块的边界滤波
CN110958457B (zh) 模式依赖的仿射继承

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant