CN112514383B - 用于视频编解码的利用运动向量差的合并方法和装置 - Google Patents

用于视频编解码的利用运动向量差的合并方法和装置 Download PDF

Info

Publication number
CN112514383B
CN112514383B CN201980050635.3A CN201980050635A CN112514383B CN 112514383 B CN112514383 B CN 112514383B CN 201980050635 A CN201980050635 A CN 201980050635A CN 112514383 B CN112514383 B CN 112514383B
Authority
CN
China
Prior art keywords
inter
prediction
candidate
umve
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980050635.3A
Other languages
English (en)
Other versions
CN112514383A (zh
Inventor
赖贞延
陈庆晔
庄子德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202311630050.3A priority Critical patent/CN117692632A/zh
Publication of CN112514383A publication Critical patent/CN112514383A/zh
Application granted granted Critical
Publication of CN112514383B publication Critical patent/CN112514383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了利用UMVE(最终运动向量表达)进行视频编码的帧间预测的方法和装置。根据该方法，从原始帧间候选列表中选择基础候选，其中，基础候选具有基础预测方向。通过向基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选具有与基础预测方向相同的预测方向。然后将扩展候选插入到原始帧间候选清单中以形成用于编码或解码的扩展帧间候选列表。根据另一方法，UMVE模式被视为附加AMVP(高级运动向量预测)模式。

Description

用于视频编解码的利用运动向量差的合并方法和装置
技术领域
本发明涉及用于利用UMVE(最终运动向量表达(Ultimate Motion VectorExpression))的视频编码的帧间(Inter)预测。具体地，本发明公开了多种对UMVE展开(expansion)进行扩展的方法，以便改进编码性能和/或降低复杂度。
背景技术
高效视频编码(HEVC)是由视频编码联合协作小组(JCT-VC)开发的新的国际视频编码标准。HEVC依据基于混合块的运动补偿的类DCT变换编码架构。用于压缩的基本单元(称为编码单元(CU))是2N×2N方块，并且各个CU可以被递归地分成四个较小的CU，直到达到预定义的最小尺寸为止。各个CU包含一个或多个预测单元(PU)。
为了实现HEVC中的混合编码架构的最佳编码效率，针对各个PU存在两种预测模式(即，帧内预测和帧间预测)。对于帧内预测模式，可以利用空域相邻重建像素来生成方向预测。在HEVC中有多达35个方向。对于帧间预测模式，可以利用时域重建参考帧来生成运动补偿预测。有三种不同的模式，包括跳过(Skip)、合并(Merge)和帧间高级运动向量预测(AMVP)模式。
当以帧间AMVP模式对PU进行编码时，利用传输的运动向量差(MVD)来执行运动补偿预测，该运动向量差可以与运动向量预测子(Motion Vector Predictor，MVP)一起使用来推导运动向量(MV)。在帧间AMVP模式中为了决定MVP，使用高级运动向量预测(AMVP)方案来在包括两个空域MVP和一个时域MVP的AMVP候选集中选择运动向量预测子。因此，在AMVP模式中，需要对MVP的MVP索引和相应的MVD进行编码和传输。另外，还应当对用于指定双向预测与单向预测(其为列表0(即，L0)和列表1(即，L1))中的预测方向的、伴随有针对各个列表的参考帧索引的帧间预测方向进行编码和传输。
当以跳过或合并模式对PU进行编码时，因为跳过和合并模式利用运动推断方法，所以除了所选择的候选的合并索引之外，不传输运动信息。由于跳过和合并模式的运动向量差(MVD)为零，所以针对跳过或合并编码块的MV与运动向量预测子(MVP)相同(即，MV＝MVP+MVD＝MVP)。因此，跳过或合并编码块从位于同位置(co-located)图像中的空域相邻块(空域候选)或时域块(时域候选)获得运动信息。同位置图像是列表0或列表1中的第一参考图像，其在片头(slice header)中用信号发送(signalled)。在跳过PU的情况下，也省略残余信号。为了确定跳过和合并模式的合并索引，使用合并方案以在包含四个空域MVP和一个时域MVP的合并候选集中选择运动向量预测子。
图1示出了针对AMVP和合并方案的用于推导空域MVP和时域MVP的相邻PU的示例。在AMVP中，左侧MVP是来自A0、A1的第一个可用的MVP，顶部MVP是来自B0、B1、B2的第一个可用的MVP，时域MVP是来自TBR或TCTR的第一个可用的MVP(首先使用TBR，如果TBR不可用，则使用TCTR代替)。如果左侧MVP不可用且顶部MVP是非缩放的MVP，则如果在B0、B1和B2中存在缩放的MVP，就可以推导出第二顶部MVP。在HEVC中，AMVP的MVP的列表大小是2。因此，在两个空域MVP和一个时域MVP的推导过程之后，只有前两个MVP可以包括在MVP列表中。如果在去除冗余之后，可用MVP的数量小于2，则将零向量候选添加到候选列表。
如图1所示，对于跳过模式和合并模式，从A0、A1、B0和B1推导出多达四个空域合并索引，并且从TBR或TCTR推导出一个时域合并索引(首先使用TBR，如果TBR不可用，则使用TCTR代替)。注意，如果四个空域合并索引中的任何一个不可用，则使用位置B2作为替换以推导出合并索引。在四个空域合并索引和一个时域合并索引的推导过程之后，应用去除冗余来去除冗余合并索引。如果在去除冗余之后，可用的合并索引的数量小于5，则推导出三种类型的附加候选并将其添加到候选列表。
通过使用原始合并候选来创建附加双向预测合并候选。附加候选被分成三种候选类型：
1.组合的双向预测合并候选(候选类型1)
2.缩放的双向预测合并候选(候选类型2)
3.零向量合并/AMVP候选(候选类型3)
在候选类型1中，通过对原始合并候选进行组合来创建组合的双向预测合并候选。具体地，使用原始候选中具有mvL0(列表0中的运动向量)和refIdxL0(列表0中的参考图像索引)或mvL1(列表1中的运动向量)和refIdxL1(列表1中的参考图像索引)的两个候选来创建双向预测合并候选。
图2例示了组合的双向预测合并候选的推导过程的示例。候选集210对应于原始候选列表，其包括L0中的mvL0_A,ref0(231)和L1中的mvL1_B,ref(232)。可以通过组合L0和L1中的候选来形成双向预测MVP 233。
在候选类型2中，通过对原始合并候选进行缩放来创建缩放的双向预测合并候选。具体地，使用原始候选中具有mvLX(列表X中的运动向量)和refIdxLX(列表X中的参考图像索引)(X可以是0或1)的一个候选来创建双向预测合并候选。例如，一个候选A是具有mvL0_A和ref0的单向预测的列表0，首先将ref0复制到列表1中的参考索引ref0'。之后，通过利用ref0和ref0'对mvL0_A进行缩放来计算mvL0'_A。然后，创建在列表0中具有mvL0_A和ref0并且在列表1中具有mvL0'_A和ref0'的双向预测合并候选，并将其添加到合并候选列表中。在图3中示出了缩放的双向预测合并候选的推导过程330的示例，其中，候选列表310对应于原始候选列表，候选列表320对应于包括两个生成的双向预测MVP的展开候选列表。
在候选类型3中，通过对零向量和参考索引(其可以被参考)进行组合来创建零向量合并/AMVP候选。图4A例示了添加零向量合并候选的示例，其中，候选列表410对应于原始合并候选列表，候选列表420对应于通过添加零候选而扩展的合并候选列表。图4B例示了添加零向量AMVP候选的示例，其中，候选列表430(L0)和432(L1)对应于原始AMVP候选列表，候选列表440(L0)和442(L1)对应于通过添加零候选而扩展的AMVP候选列表。如果零向量候选不重复，则将其添加到合并/AMVP候选列表中。
在JVET-K0115(S.Jeong,et al.,CE4 Ultimate motion vector expression inJ0024(Test 4.2.9),in Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3andISO/IEC JTC 1/SC 29/WG 11,11th Meeting:Ljubljana,SI,10–18July 2018,Document:JVET-K0115)中呈现了在JVET-J0024(S.Akula,et.Al.,Description of SDR,HDR and360°video coding technology proposal considering mobile application scenario bySamsung,Huawei,GoPro,and HiSilicon,in Joint Video Exploration Team(JVET)ofITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 11,10th Meeting:San Diego,US,10–20Apr.2018,Document:JVET-J0024)中提出的最终运动向量表达(UMVE)。图5A例示了针对当前帧510中的当前块512的UMVE搜索过程的示例。参考列表L0中的帧520和参考列表L1中的帧530对应于双向预测的两个参考。线540对应于穿过当前块512的中心以及帧520和帧530中的两个对应的像素的线。围绕与线540相关联的中心点执行搜索(例如，线542和544)。为了简化搜索过程，如图5B所示，对于L0参考(550)和L1参考(552)，将仅搜索垂直地和水平地绕中心点的特定位置。利用提出的运动向量表达方法，将UMVE用于跳过模式或合并模式。UMVE重新使用与正在开发的VVC(通用视频编码)标准相同的合并候选。在合并候选中，可以选择候选，并且通过所提出的运动向量表达方法进一步展开该候选。UMVE提供具有简化信令的新运动向量表达。该表达方法包括预测方向信息、起始点、运动幅度和运动方向。
该技术按原样使用合并候选列表。然而，只有默认合并类型(MRG_TYPE_DEFAULT_N)的候选才会被考虑用于UMVE的展开。预测方向信息表示L0、L1以及L0和L1预测当中的预测方向。在B片段中，所提出的方法可以通过使用镜像技术从具有单向预测的合并候选生成双向预测候选。例如，如果合并候选是具有L1的单向预测，则通过搜索列表0中的参考图像来决定L0的参考索引，该参考图像与列表1的参考图像是镜像的。如果没有对应的图像，则使用到当前图像最近的参考图像。通过对L1的MV进行缩放推导出L0的MV。通过POC(图像顺序计数)距离计算缩放因子。
如果UMVE候选的预测方向与原始合并候选中的一个相同，则将值为0的索引作为UMVE预测方向用信号发送。然而，如果UMVE候选的预测方向不与原始合并候选中的一个相同，则用信号发送值为1的索引。在用信号发送第一位之后，基于UMVE预测方向的预定义优先级用信号发送剩余预测方向。优先级是L0/L1预测、L0预测和L1预测。如果合并候选的预测方向是L1，则针对UMVE的预测方向L1用信号发送代码0。针对UMVE的预测方向L0和L1，用信号发送代码“10”。针对UMVE的预测方向L0，用信号发送代码“11”。如果L0和L1预测清单相同，则不用信号发送UMVE的预测方向信息。
基础候选索引定义起始点。如表1所示，基础候选索引表示列表中的候选中的最佳候选。
表1
基础候选索引 0 1 2 3
表2中示出了多种距离的距离索引。
表2
方向索引表示MVD相对于起始点的方向。如表3所示，方向索引可以表示四个方向。
表3
方向索引 00 01 10 11
x-轴 + – N/A N/A
y-轴 N/A N/A + –
为了降低编码器复杂度，应用块限制。如果CU的宽度或高度小于4，则不执行UMVE。
期望进一步改进性能和/或降低与UMVE相关的复杂度。
发明内容
公开了用于视频编解码的帧间预测的方法和装置。根据该方法，在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流。从原始帧间候选列表中选择基础候选，其中，基础候选具有基础预测方向。通过向基础候选添加一个或更多个偏移得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选具有与基础预测方向相同的预测方向。然后将扩展候选插入到原始帧间候选列表中以形成扩展帧间候选列表。在视频编码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行编码，或者在视频解码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行解码。
在多个方向上将偏移添加到基础候选，并且所述多个方向包括一个非水平也非垂直的目标方向。在一个实施方式中，多个方向由包括四个水平和垂直方向以及四个对角线方向的八个方向组成。在一个实施方式中，偏移对应于一组偏移。
在一个实施方式中，从一组偏移中选择偏移。例如，根据将所述一个或更多个偏移添加到基础候选的目标方向来选择偏移的值。在另一示例中，要添加到基础候选的偏移的目标方向取决于基础候选的目标运动向量。在另一示例中，偏移的数量取决于基础候选的目标运动向量或者所述一个或更多个偏移被添加到基础候选的目标方向。在另一示例中，当AMVR(自适应运动向量分辨率)被应用于当前块时，偏移被选择成具有与由AMVR选择的精度不同的幅度。
在一个实施方式中，将扩展候选插入到扩展帧间候选列表中，并且以先进先出(FIFO)的方式更新扩展帧间候选列表。
在一个实施方式中，仅选择原始帧间候选列表中的目标单向预测候选作为基础候选，并且使用镜像技术将目标单向预测候选转换成双向预测候选，以得出所述一个或更多个扩展候选。
在一个实施方式中，有条件地在x方向或y方向上将偏移添加到基础候选。
在一个实施方式中，针对跳过、合并、AMVP、仿射合并模式、仿射AMVP模式或子块合并模式得出原始帧间候选列表。
根据本发明的另一方法，在视频编码器侧用信号发送当前块的当前模式标志，或者在视频解码器侧解析当前块的当前模式标志，其中，通过与附加的AMVP(高级运动向量预测)模式相对应的UMVE(最终运动向量表达)模式标志来表示UMVE模式。如果当前模式标志表示针对当前块正在使用UMVE模式，则：从原始帧间候选列表确定基础候选；通过向基础候选添加一个或更多个偏移来得出一个或更多个扩展候选；将扩展候选插入到原始帧间候选列表中以形成扩展帧间候选列表；以及，在视频编码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行编码，或者在视频解码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行解码。扩展候选在AMVP模式中被视为MVD(运动向量差)。
在一个实施方式中，在当前块的仿射标志之前用信号发送UMVE模式标志。在这种情况下，如果UMVE模式标志表示针对当前块启用了UMVE模式，则不用信号发送当前块的仿射标志，并且仿射标志被推断成预定义值。
在另一实施方式中，在当前块的仿射标志之后用信号发送UMVE模式标志。在这种情况下，如果仿射标志表示针对当前块启用了仿射模式，则不针对当前块用信号发送UMVE模式标志。
在另一实施方式中，如果UMVE模式标志表示针对当前块启用了UMVE模式，则针对基础候选用信号发送附加运动信息。该附加运动信息可以包括预测方向、参考帧索引、MVP(运动向量预测子)索引，或针对基础候选用信号发送预测方向、参考帧索引、MVP索引的组合。根据一个实施方式，如果基础候选是单向预测，则通过镜像技术将基础候选转换成双向预测，并且附加运动信息仅与一个参考清单相关联。根据另一实施方式，如果基础候选是单向预测，则通过对称MVD(运动向量差)技术将基础候选转换成双向预测，并且附加运动信息仅与一个参考清单相关联。
在另一实施方式中，如果UMVE模式标志表示针对当前块启用了UMVE模式，则针对基础候选仅用信号发送MVP(运动向量预测子)索引作为运动信息。
附图说明
图1示出了针对AMVP和合并方案的用于推导空域和时域MVP的相邻PU。
图2例示了组合的双向预测合并候选的推导过程的示例。
图3例示了缩放的双向预测合并候选的推导过程的示例，其中，左侧的候选列表对应于原始候选列表，右侧的候选列表对应于包括两个生成的双向预测MVP的展开候选列表。
图4A例示了添加零向量合并候选的示例，其中，左侧的候选列表对应于原始合并候选列表，右侧的候选列表对应于通过添加零候选而扩展的合并候选列表。
图4B例示了添加零向量AMVP候选的示例，其中，顶部的候选列表对应于原始AMVP候选列表(左侧的L0和右侧的L1)，底部的候选列表对应于通过添加零候选而扩展的AMVP候选列表(左侧的L0和右侧的L1)。
图5A例示了针对以双向预测进行编码的当前块的UMVE搜索过程的示例。
图5B例示了针对附加搜索候选的简化的搜索过程的示例，其中，将仅搜索垂直地和水平地绕中心点的特定位置。
图6A例示了第一UMVE的示例，其中，通过方向2MVD来扩展UMVE。
图6B例示了第二UMVE的示例，其中，通过方向1MVD来扩展UMVE。
图7A例示了第一UMVE的展开的示例，其中，在八个方向上扩展展开。
图7B例示了第二UMVE的展开的示例，其中，利用方向1MVD来扩展展开。
图7C例示了第二UMVE的展开的示例，其中，利用方向2MVD来扩展展开。
图8A例示了第一UMVE的展开的示例，其中，利用MVD组1来扩展展开。
图8B例示了第二UMVE的展开的示例，其中，利用MVD组2来扩展展开。
图9A例示了UMVE的展开的示例，其中，通过一组MVD在方向2上利用16个附加MV来扩展展开。
图9B例示了第二UMVE的展开的示例，其中，通过一组MVD在方向1上利用16个附加MV来扩展展开。
图10例示了根据本发明实施方式的用于视频编码的示例性帧间预测的流程图，其中，扩展候选具有与基础预测方向相同的预测方向。
图11例示了根据本发明实施方式的用于视频编码的示例性帧间预测的流程图，其中，将UMVE展开作为附加AMVP模式用信号发送。
具体实施方式
以下描述是实现本发明的最佳预期方式。进行该描述是为了例示本发明的一般原理，而不应被视为具有限制意义。通过参照所附权利要求最佳地确定本发明的范围。
UMVE展开的预测方向
尽管最终运动向量表达(UMVE)已经被证明改进编码性能，但是期望进一步改进性能。因此，公开了几种进一步改进最终运动向量表达的方法。在一个实施方式中，预测方向被固定成与所选择的、作为基础候选的合并候选的预测方向相同。基于合并候选列表中的所选择的合并候选，可以通过简单地向对应的MV添加偏移并将其插入到合并候选列表或AMVP候选列表或任何其它原始帧间候选列表中来生成若干新的MV候选(或称为扩展候选)，使得可以形成扩展帧间候选列表以用于编码或解码。例如，基于所选择的具有相对于列表0的预测方向单向预测的合并候选(MVx，MVy)的对应的MV，可以通过分别向其x方向和y方向添加偏移来生成四个不同的MV，例如(MVx+Δ，MVy)、(MVx-Δ，MVy)、(MVx，MVy+Δ)、(MVx，MVy-Δ)。这些新候选的预测方向仍然是相对于列表0的单向预测，其与所选择的合并候选的预测方向(或称为基础候选的基础预测方向)相同。如果所选择的合并候选是双向预测，则插入的合并候选都是双向预测候选。
在另一实施方式中，基于在合并候选列表中所选择的具有单向预测的合并候选，可以通过将MV预测方向从单向预测改变成双向预测并且将具有双向预测的新候选插入到合并候选列表或AMVP候选列表或任何其它原始帧间候选列表中来生成若干新的MV候选。换句话说，新的MV候选总是双向预测候选。例如，基于合并候选列表中所选择的具有单向预测的合并候选，使用镜像技术以在具有相同时域距离的另一列表中生成MV，或者通过参考可用的MV生成具有最近参考帧的另一列表中的MV。接下来，将具有双向预测的新候选插入到合并候选列表或AMVP列表中作为新候选。在另一实施方式中，通过将候选从单向预测改变成双向预测，可以通过向该改变的MV添加偏移来生成一组新候选(或称为扩展候选)。可以将所有扩展候选插入到合并候选列表或AMVP列表中。例如，基于所选择的具有相对于L0的单向预测的常规合并候选，我们首先通过镜像技术将MV从单向预测改变成双向预测，生成了新候选。此外，可以通过利用双向预测向该MV添加偏移来生成更多候选。
在另一实施方式中，基于所选择的合并候选(MVx，MVy)，通过有条件地向其x方向或y方向添加偏移Δ来生成两个不同的MV。Δ的值可以作为值被预先定义或从集合中选择。例如，[1/4，1/2，1，2，4，8，16，32，64]可以是Δ的集合，并且Δ也可以选择成1/2。如果MVx的幅度大于或等于MVy的幅度，则将偏移添加到MVx。否则，将偏移添加到MVy(例如，“MVy+偏移和/或MVy-偏移”)以成为两个不同的MV。在一个实施方式中，如果MVx的幅度大于或等于MVy的幅度，则将偏移添加到MVy。否则，将偏移添加到MVx以成为两个不同的MV。在另一实施方式中，进一步将具有不同步长的偏移分成两组。一组是针对具有较大幅度的MV分量而设计的。另一组是针对具有较小幅度的MV分量设计的。例如，具有小步长的偏移被应用到具有大幅度的MV分量。在另一示例中，具有大步长的偏移被应用到具有大幅度的MV分量。分类可以取决于步长大小、分数像素、整数像素，或者乘以某些特定值。分类可以交错。在另一实施方式中，进一步将具有不同步长的偏移分成几组。可以根据MV的幅度来选择偏移。
由于偏移添加操作非常类似于AMVP模式中的多MVD编码，所以可以将偏移值Δ的集合定义成使它们的重迭最小。AMVP模式中的多MVD编码与AMVR有关。与AMVR相比，最终运动向量表达(UMVE)的优点是UMVE不需要为各个列表编码参考索引和MVP索引，因为新的扩展候选被视为合并候选。在一个实施方式中，可以将偏移值Δ的集合预定义成对于AMVR MV分辨率是不同的。在由ITU-T VCEG和ISO/IEC MPEG的联合视频探索小组(JVET)开发的JEM(联合探索模型)中，AMVR被设计成具有包括四分之一像素、整像素和四像素的MV分辨率。偏移值集合可以被定义成1/2像素、2像素和8像素，它们与AMVR MV分辨率是互相排斥的(或称为不同于AMVR MV分辨率)。例如，[1/2，2，8，16，32，64]也可以被预定义成偏移值的集合。
在另一实施方式中，可以在合并列表中使用先前解码的运动信息并且以先进先出(FIFO)方式对其进行更新。上述方法可以应用于这些新的合并候选。
将UMVE视为AMVP模式
在最终运动向量表达(UMVE)的当前设计中，UMVE被认为是合并模式。只有在启用合并标志或跳过标志时才会用信号发送。然而，UMVE的MVD修改技术与应用了针对不同MVD分辨率编码的AMVR的AMVP非常类似。因此，我们提出将UMVE作为附加AMVP模式用信号发送。在一个实施方式中，可以在仿射标志之前用信号发送UMVE标志。例如，如果未启用合并标志，则将用信号发送UMVE标志。如果在当前CU上启用了UMVE，则仿射标志不会被推断成一个预定义值并且不用信号发送。在另一实施方式中，还可以在仿射标志之后用信号发送UMVE标志。如果启用了仿射标志，则将不会用信号发送UMVE标志。
UMVE基础运动向量的不同选择
在UMVE的当前设计中，合并候选列表用于选择UMVE的展开。只有具有默认合并类型(MRG_TYPE_DEFAULT_N)的合并候选才会被考虑用于UMVE的展开。与常规合并编码过程类似，仅需要用信号发送合并候选索引，并且解码器可以通过参考相邻块的MV信息来重建MV信息(例如，interDir)、参考索引和MVP索引。尽管对于语法信令来说这是有效的方式，但由于合并候选列表中有限的候选，所以所参考的MV是有限的。因此，除了使用合并候选作为UMVE的展开之外，我们提出用信号发送更多运动信息，如在AMVP模式中用信号发送的那些运动信息。在一个实施方式中，当启用UMVE时，用信号发送运动信息的interDir、参考帧索引和MVP索引以用于UMVE的展开。例如，来自参考清单0的具有参考帧索引1的MV被用作UMVE的展开。在另一实施方式中，可以通过使用镜像技术并且向解码器用信号发送具有单向预测的MV的参考列表、参考帧索引和MVP索引来将该MV变换(或称为转换)成双向预测。在一些实施方式中，镜像技术还可以包括缩放操作。在另一实施方式中，可以通过对称MVD(运动向量差)技术(该技术将MVD对称地添加到单向预测MV(例如，单向预测MV+MVD和单向预测MV-MVD))以及向解码器用信号发送具有单向预测的MV的参考列表、参考帧索引和MVP索引来将该MV转换成双向预测。在另一实施方式中，我们可以仅用信号发送MVP索引以供UMVE的展开。
UMVE的多个MVD方向
对于与四个方向索引相对应的当前UMVE设计，存在四个MVD方向(例如，[MVDx，0]、[-MVDx，0]、[0，MVDy]、[0，-MVDy])。我们提出将MVD扩展到八个方向。可以向MV的x方向(或称为水平方向)或y方向(或称为垂直方向)或同时在x和y方向上(或称为对角线方向)添加MVD。在一个实施方式中，固定的MVD值可以用于所有方向。例如，可以利用1像素MVD将等于[2，3]的MV的UMVE展开扩展到8个附加MV，包括[3，3]、[2，4]、[1，3]、[2，2]、[3，4]、[1，2]、[1，4]、[3，2]。在另一实施方式中，一组MVD值可以用于所有方向，并且添加的MVD值对于各个方向是相同的。例如，可以利用MVD组[1像素，2像素]将UMVE展开[2，3]扩展到16个附加MV，并分别通过1像素MVD和2像素MVD生成[3，3]、[2，4]、[1，3]、[2，2]、[3，4]、[1，2]、[1，4]、[3，2]和[4，3]、[2，5]、[0，3]、[2，1]、[4，5]、[0，1]、[4，1]、[0，5]。在另一实施方式中，一组MVD值可以用于所有方向，此外，可以根据不同的方向来设计MVD值。例如，一组MVD(例如[2像素，8像素])用于在顶部、左侧、底部和右侧的MV扩展。另一组MVD(例如[1像素，4像素])用于x方向和y方向上的MV扩展。利用这两个MVD组，等于[2，3]的MV的UMVE展开可以被扩展到16个附加MV，包括由MVD组1生成的8个MV(例如[4，3]、[2，5]、[0，3]、[2，1]、[10，3]、[2，11]、[-6，3]、[2，-5])以及由MVD组2生成的8个MV(例如[3，4]、[1，2]、[1，4]、[3，2]、[6，7]、[-2，-1]、[6，-1]、[-2，7])。在另一实施方式中，一组MVD值可以用于所有方向，并且可以根据不同的方向来设计MVD值。通过应用多组MVD，可以使用菱形图案进行扩展。用于顶部、左侧、底部和右侧扩展的MVD值被设计成大于其它方向。例如，由顶部、左侧、底部和右侧扩展组成的MVD组可以总是比由其它方向组成的另一MVD组大两倍。等于[2，3]的MV的UMVE展开可以通过等于2像素的MVD在顶部、左侧、底部和右侧方向上扩展，以生成4个附加MV(例如[4，3]、[2，5]、[0，3]、[2，1])。等于1像素的MVD可以用于左上、右上、左下和右下方向以生成另外4个MV(即，[3，4]、[1，2]、[1，4]、[3，2])。
为了进一步减少MVD语法编码，在另一实施方式中，可以从IMV标志得出MVD，其中，IMV标志用于表示MV分辨率。例如，如果IMV标志被编码成4像素分辨率，则UMVE的MVD被设置成4像素，并且可以通过4像素MVD生成四个或八个附加MV。例如，如果IMV标志被编码成4像素分辨率，则针对顶部、左侧、底部和右侧方向，UMVE的MVD被设置成4像素。此外，2像素MVD可以用于将UMVE的展开扩展到包括右上、左上、右下和左下在内的其它四个方向。然而，可以使用四个、八个或更多个扩展方向，并且MVD值是有限的。因此，在另一实施方式中，我们提出将UMVE的MVD值作为AMVP模式用信号发送。以这种方式，需要用信号发送包括参考列表、参考帧索引和MVP索引在内的MV的信息。在另一实施方式中，为了减少语法开销并对L0和L1应用不同的MVD值，我们提出用信号发送用于L0的MVD值并且通过相对于L0应用镜像技术来得出用于L1的另一MVD值。或者，可以用信号发送用于L1的MVD值，并且可以通过相对于L1应用镜像技术来得出用于L0的另一MVD值。例如，用信号发送L0的MVD与其参考帧索引和MVP索引。可以使用镜像技术得出L1的MVD，并且仅需要用信号发送其MVP索引。在另一示例中，用信号发送L0的MVD与其参考帧索引和MVP索引。可以通过使用镜像技术得出L1的MVD，并且不需要用信号发送其参考帧索引或其MVP索引。
组合以上技术
可以组合上述方法。例如，将UMVE模式作为附加AMVP模式用信号发送，并在仿射标志后用信号发送该UMVE模式。此外，仅当禁用仿射标志时，才会用信号发送UMVE标志，或者将UMVE标志推断成预定义值而不用信号发送。UMVE索引用于表示来自常规合并候选列表的哪个合并候选被应用成UVME。此外，将用信号发送MVD以及包括interDir、参考列表、参考帧索引和MVP索引在内的所有MV信息。在另一示例中，将UMVE模式作为附加AMVP模式用信号发送并且在仿射标志之后用信号发送该UMVE模式。此外，仅当禁用仿射标志时，才会用信号发送UMVE标志，或者将UMVE标志推断成预定义值而不用信号发送。如果启用UMVE标志，则将针对UMVE展开用信号发送包括interDir、参考列表、参考帧索引和MVP索引在内的MV信息。可以从IMV标志得出MVD。如果IMV标志用信号发送为4像素分辨率，则使用等于4像素的MVD针对顶部、左侧、底部和右侧方向来扩展UMVE的展开。可以使用等于2像素的MVD针对右上、左上、右下和左下方向来扩展UMVE的展开。在另一示例中，仅当启用跳过或合并标志时，才用信号发送UMVE模式。如果启用UMVE模式，则需要用信号发送UMVE索引以表示合并候选列表中的哪个合并候选被用作UMVE展开。将用信号发送用于UMVE展开的MVD以及与MV有关的包括interDir、参考列表、参考帧索引和MVP索引在内的所有信息。
在另一示例中，仅当启用跳过或合并标志时才用信号发送UMVE模式。如果启用UMVE模式，则预定义或用信号发送UMVE索引，以表示合并候选列表中的哪个合并候选被用作UMVE展开。将仅用信号发送用于UMVE展开的MVD。与MV有关的包括interDir、参考列表、参考帧索引和MVP索引在内的所有其它信息与合并候选相同。在另一示例中，仅当启用跳过或合并标志时才用信号发送UMVE模式。如果启用UMVE模式，则预定义或用信号发送UMVE索引，以表示合并候选列表中的哪个合并候选被用作UMVE。将仅用信号发送用于UMVE展开的MVD以及针对不同MVD方向的不同MVD值。与MV有关的包括interDir、参考列表、参考帧索引和MVP索引在内的所有其它信息与合并候选相同。当应用菱形图案MVD时，针对顶部、左侧、底部和右侧扩展的MVD是针对右上、左上、右下和左下扩展的MVD的两倍。
在UMVE的当前设计中，合并候选列表用于选择UMVE的展开。在选择多个合并候选作为UMVE的展开后，可以将一组预定义的MVD用于UMVE。预定义的MVD具有四个不同的方向和多个幅度。此外，可以将MVD添加至列表0、列表1或两者中的MV。因此，如果UMVE的展开是单向预测MV，则可以在UMVE展开之前应用镜像技术。为了增加MV的扩展多样性，公开了如下几种方法。
用于UMVE的展开的多个MVD
我们提出在八个方向上扩展MV。可以在x方向或y方向上将MVD添加到MV(例如[MVx+MVDx，MVy]、[MVx-MVDx，MVy]、[MVx，MVy+MVDy]、[MVx，MVy-MVDy])并且这种MVD称为方向1MVD。可以同时在x和y方向上将MVD添加到MV(例如[MVx+MVDx，MVy+MVDy]、[MVx-MVDx，MVy-MVDy]、[MVx+MVDx，MVy-MVDy]、[MVx-MVDx，MVy-MVDy])并且这种MVD称为方向2MVD。在一个实施方式中，可以将不同的UMVE的展开与MVD一起以不同方向添加到MV。例如，应用两个合并候选(例如[1，2]、[3，4])作为UMVE的展开。通过在方向2上添加一组MVD(例如，[1像素，2像素])来扩展第一MV(例如[1，2])，并且将通过每个MVD生成4个附加MV。例如，值为1像素的MVD可以生成四个MV，包括[0(即，1-1)，3(即，2+1)]、[2(即，1+1)，3(即，2+1)]、[0(即1-1)，1(即2-1)]、[2(即1+1)，1(即2+1)]。通过在方向1上添加一组MVD(例如[1像素，2像素])来扩展第二MV(例如[3，4])，并且将通过每个MVD生成四个附加MV。例如，值为1像素的MVD可以生成四个MV，包括[2，4]、[3，5]、[4，4]、[3，3]。然而，如图6A和图6B所示，第一MV可以是UMVE的展开的预定义顺序或展开候选列表中的第一UMVE的展开。图6A例示了第一UMVE的示例，其中，通过方向2MVD来扩展UMVE。图6B例示了第二UMVE的示例，其中通过方向1MVD来扩展UMVE。
在另一实施方式中，可以在不同数量的方向上将不同的UMVE的展开添加到MVD。例如，应用两个合并候选(例如[1，2]、[3，4])作为UMVE的展开。可以通过在方向1MVD和方向2MVD上都添加MVD(例如，1像素)来扩展第一MV(例如[1，2])。将生成八个附加MV，包括[2，2]、[1，3]、[0，2]、[1，1]、[2，3]、[0，1]、[2，1]、[0，3](如图7A所示)。可以通过在方向1MVD或方向2MVD上添加MVD(例如，1像素)来扩展第二MV(例如[3，4])。如果应用方向2MVD，将生成四个附加MV，包括[2，3]、[4，5]、[2，5]、[4，3](如图7C所示)，如果应用方向1MVD，将生成[4，4]、[3，5]、[2，4]、[3，3](如图7B所示)。然而，第一MV可以是UMVE的展开的预定义顺序或展开候选列表中的第一UMVE的展开。
在另一实施方式中，可以利用不同的MVD组来添加不同的UMVE的展开。例如，应用两个合并候选作为UMVE的展开(例如[1，2]、[3，4])。可以通过在方向2上添加一组MVD(例如[1像素，2像素])来扩展第一MV(例如[1，2])。将生成八个附加MV，包括[2，3]、[0，1]、[2，1]、[0，3]、[3，4]、[-1，0]、[3，0]、[-1，4](图8A所示)。通过在方向2上添加另一组MVD(例如，[1像素])来扩展第二MV，使得将生成四个附加MV，包括[4，5]、[2，3]、[2，5]、[4，3](如图8B所示)。然而，第一MV可以是UMVE的展开的预定义顺序或展开候选列表中的第一UMVE的展开。
在另一实施方式中，可以在不同方向上将具有不同幅度的MVD添加到UMVE的展开。例如，如图9所示，可以通过在方向1MVD或方向2MVD上添加一组MVD(例如[1像素，2像素，4像素])来扩展UMVE的展开(例如[1，2])。如在图9A中内部正方形910内或图9B中的内部正方形940内的小三角形所示，在第一轮中，可以在八个方向上为UMVE的展开(例如[1，2])添加值为1像素的MVD，并且将生成八个附加MV，包括[2，2]、[1，3]、[0，2]、[1，1]、[2，3]、[0，1]、[2，1]、[0，3]。如图9A中的中间正方形920内的小实心方块所示，在第二轮中，使用值为2像素的MVD在方向2的四个方向上添加UMVE的展开，并且将生成四个附加MV，包括[3，4]、[-1，0]、[3，0]、[-1，4]。在另一示例中，如图9B中的中间正方形950内的小实心方块所示，在第二轮中，可以使用值为2像素的MVD在方向1的四个方向上添加UMVE的展开，并且将生成四个附加MV，包括[3，2]、[1，0][1，4]、[-1，2]。如图9A中的外部正方形930内的小圆圈所示，在第三轮中，使用值为4像素的MVD在方向2的四个方向上添加UMVE的展开，然后将生成四个附加MV，包括[5，6]、[-3，-2]、[-3，6]、[5，-2]。在另一示例中，如图9B中的外部正方形960内的小圆圈所示，在第三轮中，使用值为4像素的MVD在方向1的四个方向上添加UMVE的展开，然后将生成四个附加MV，包括[5，2]、[-3，2]、[1，6]、[1，-2]。
在JEM中，对于不同的MVD分辨率，MV预测子(MVP)在AMVP模式中的生成使用相同的过程。在插入所有空域MVP候选之后，在最后步骤中执行MV舍入(rounding)和MV修剪(pruning)。提出了在修剪过程之前针对各个预期添加的MVP执行MV舍入(取决于MV/MVD分辨率)。在一个实施方式中，对于四分之一亮度样本MVD，MVP被舍入到四分之一样本精度，对于整数亮度样本MVD，MVP被舍入到整数样本精度，对于四亮度样本MVD，MVP被舍入到四样本精度。
关于仿射模式，取决于仿射模式中的控制点的数量，在一个MVP候选中有两个或三个MV。还提出了在仿射模式中的修剪过程之前执行MV舍入。在另一实施方式中，对于四分之一亮度样本MVD，MVP被舍入到四分之一样本精度，对于整数亮度样本MVD，MVP被舍入到整数样本精度，对于四亮度样本MVD，MVP被舍入到四样本精度。
可以在编码器和/或解码器中实现任何前述所提出的方法。例如，可以在解码器和/或编码器的帧间编码中实现任何所提出的方法。或者，任何所提出的方法可以被实现为联接到编码器和/或解码器的帧间编码的电路，以便提供帧间编码所需的信息。
图10例示了根据本发明的实施方式的用于视频编码的示例性帧间预测的流程图，其中扩展候选具有与基础预测方向相同的预测方向。流程图中示出的步骤以及本公开中的其它后续流程图可以被实现为可以在编码器侧和/或解码器侧的一个或更多个处理器(例如，一个或更多个CPU)上执行的程序代码。还可以基于诸如被配置成执行流程图中的步骤的一个或更多个电子器件或处理器的硬件来实现流程图中示出的步骤。根据该方法，在步骤1010中，在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流。在步骤1020中，从原始帧间候选列表中选择基础候选，其中，基础候选具有基础预测方向。在步骤1030中，通过向基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选具有与基础预测方向相同的预测方向。在步骤1040中，将所述一个或更多个扩展候选插入到原始帧间候选列表中以形成扩展帧间候选列表。在步骤1050中，在视频编码器侧利用扩展帧间候选列表来对与当前块相关联的当前运动信息进行编码，或者在视频解码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行解码。
图11例示了根据本发明实施方式的用于视频编码的示例性帧间预测的流程图，其中，作为附加AMVP模式用信号发送UMVE展开。根据该方法，在步骤1110中，在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流。在步骤1120中，在视频编码器侧用信号发送当前块的当前模式标志，或者在视频解码器侧解析当前块的当前模式标志，其中，通过与附加的AMVP(高级运动向量预测)模式相对应的UMVE(最终运动向量表达)模式标志来表示UMVE模式。在步骤1130中，检查当前模式标志是否表示针对当前块正在使用UMVE模式。如果当前模式标志表示针对当前块正在使用UMVE模式(即，步骤1130的“是”路径)，则执行步骤1140至步骤1170。否则(即，步骤1130的“否”路径)，跳过步骤1140至步骤1170。在步骤1140中，确定来自原始帧间候选列表的基础候选。在步骤1150中，通过向基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选被视为在AMVP模式中MVD(运动向量差)。在步骤1160中，将所述一个或更多个扩展候选插入到原始帧间候选列表中以形成扩展帧间候选列表。在步骤1170中，在视频编码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行编码，或者在视频解码器侧利用扩展帧间候选列表对与当前块相关联的当前运动信息进行解码。
所示的流程图旨在例示根据本发明的视频编码的示例。在不脱离本发明的精神的情况下，本领域技术人员可以修改各个步骤、重新安排步骤、拆分步骤、或组合步骤以实践本发明。在本公开中，已经使用特定语法和语义来例示用于实现本发明的实施方式的示例。本领域技术人员可以在不脱离本发明的精神的情况下，通过用等同的语法和语义替换语法和语义来实践本发明。
呈现以上描述是为了使得本领域技术人员能够如同在特定应用及其要求的背景下提供的那样实践本发明。对所描述的实施方式的各种修改对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以应用于其它实施方式。因此，本发明不旨在限于所示出和所描述的特定实施方式，而是符合与本文所公开的原理和新颖特征相一致的最宽范围。在以上详细的描述中，例示了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实践本发明。
可以以各种硬件、软件代码或两者的组合来实现如上所述的本发明的实施方式。例如，本发明的实施方式可以是集成到视频压缩芯片中的一个或更多个电子电路或者集成到视频压缩软件中的程序代码，以执行本文所描述的处理。本发明的实施方式还可以是要在数字信号处理器(DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(FPGA)执行的许多功能。这些处理器可以被配置成通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。可以以不同的程序设计语言和不同的格式或形式来开发该软件代码或固件代码。还可以针对不同的目标平台编译软件代码。然而，执行根据本发明的任务的软件代码和其它类型配置代码的不同代码格式、形式和语言将不脱离本发明的精神和范围。
在不脱离本发明的精神或实质特征的情况下，可以以其它特定形式实施本发明。所描述的示例在所有方面都应被视为仅是例示性的而非限制性的。因此，由所附权利要求而不是前面的描述来表示本发明的范围。在权利要求的含义和等同范围内的所有变化都落在其范围内。

Claims (28)

1.一种用于视频编解码的帧间预测的方法，所述方法包括以下步骤：
在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流；
从原始帧间候选列表中选择基础候选，其中，所述基础候选具有基础预测方向；
通过向所述基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选具有与所述基础预测方向相同的预测方向，其中所述一个或更多个偏移取决于语法元素；
将所述一个或更多个扩展候选插入所述原始帧间候选列表中，以形成扩展帧间候选列表；以及
在所述视频编码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行编码，或者在所述视频解码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行解码。
2.根据权利要求1所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移是在多个方向上添加到所述基础候选的，并且所述多个方向包括一个非水平也非垂直的目标方向。
3.根据权利要求2所述的用于视频编解码的帧间预测的方法，其特征在于，所述多个方向由八个方向组成，所述八个方向包括四个水平和垂直方向以及四个对角线方向。
4.根据权利要求2所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移对应于固定偏移。
5.根据权利要求2所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移对应于一组偏移。
6.根据权利要求1所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移是从一组偏移中选择的。
7.根据权利要求6所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移的值是根据所述一个或更多个偏移被添加到所述基础候选的目标方向来选择的。
8.根据权利要求6所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移被添加到所述基础候选的目标方向取决于所述基础候选的目标运动向量。
9.根据权利要求6所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移的数量取决于所述基础候选的目标运动向量。
10.根据权利要求6所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个偏移的数量取决于所述一个或更多个偏移被添加到所述基础候选的目标方向。
11.根据权利要求6所述的用于视频编解码的帧间预测的方法，其特征在于，当AMVR(自适应运动向量分辨率)被应用于所述当前块时，所述一个或更多个偏移被选择成具有与按照所述AMVR选择的精度不同的幅度。
12.根据权利要求11所述的用于视频编解码的帧间预测的方法，其特征在于，当所述AMVR被应用于所述当前块时，所述一个或更多个偏移是根据表示按照所述AMVR选择的精度的标志来选择的。
13.根据权利要求1所述的用于视频编解码的帧间预测的方法，其特征在于，所述一个或更多个扩展候选被插入所述扩展帧间候选列表中，并且所述扩展帧间候选列表按照先进先出(FIFO)方式更新。
14.根据权利要求1所述的用于视频编解码的帧间预测的方法，其特征在于，仅选择所述原始帧间候选列表中的目标单向预测候选作为所述基础候选，并且使用镜像技术将所述目标单向预测候选转换成双向预测基础候选，以得出所述一个或更多个扩展候选。
15.根据权利要求1所述的用于视频编解码的帧间预测的方法，其特征在于，有条件地在x方向或y方向上将所述一个或更多个偏移添加到所述基础候选。
16.根据权利要求1所述的用于视频编解码的帧间预测的方法，其特征在于，针对跳过、合并、AMVP、仿射合并模式、仿射AMVP模式或子块合并模式得出所述原始帧间候选列表。
17.一种用于视频编解码的帧间预测的装置，所述装置包括一个或更多个电子电路或处理器，所述一个或更多个电子电路或处理器被配置成：
在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流；
从原始帧间候选列表中选择基础候选，其中，所述基础候选具有基础预测方向；
通过向所述基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选具有与所述基础预测方向相同的预测方向，其中所述一个或更多个偏移取决于语法元素；
将所述一个或更多个扩展候选插入到所述原始帧间候选列表中，以形成扩展帧间候选列表；以及
在所述视频编码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行编码，或者在所述视频解码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行解码。
18.一种用于视频编解码的帧间预测的方法，所述方法包括以下步骤：
在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流；
在所述视频编码器侧用信号发送所述当前块的当前模式标志，或者在所述视频解码器侧解析所述当前块的当前模式标志，其中，通过与附加的AMVP(高级运动向量预测)模式相对应的UMVE(最终运动向量表达)模式标志来表示UMVE模式；
如果所述当前模式标志表示针对所述当前块正在使用所述UMVE模式，则：
从原始帧间候选列表确定基础候选；
通过向所述基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选被视为在所述AMVP模式中的MVD(运动向量差)；
将所述一个或更多个扩展候选插入所述原始帧间候选列表中，以形成扩展帧间候选列表；以及
在所述视频编码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行编码，或者在所述视频解码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行解码。
19.根据权利要求18所述的用于视频编解码的帧间预测的方法，其特征在于，在所述当前块的仿射标志之前，用信号发送所述UMVE模式标志。
20.根据权利要求19所述的用于视频编解码的帧间预测的方法，其特征在于，如果所述UMVE模式标志表示针对所述当前块启用了所述UMVE模式，则不用信号发送所述当前块的所述仿射标志，并且将所述仿射标志推断为预定义值。
21.根据权利要求19所述的用于视频编解码的帧间预测的方法，其特征在于，在所述当前块的仿射标志之后，用信号发送所述UMVE模式标志。
22.根据权利要求21所述的用于视频编解码的帧间预测的方法，其特征在于，如果所述仿射标志表示针对所述当前块启用了仿射模式，则不针对所述当前块用信号发送所述UMVE模式标志。
23.根据权利要求18所述的用于视频编解码的帧间预测的方法，其特征在于，如果所述UMVE模式标志表示针对所述当前块启用了所述UMVE模式，则针对所述基础候选用信号发送附加运动信息。
24.根据权利要求23所述的用于视频编解码的帧间预测的方法，其特征在于，所述附加运动信息包括预测方向、参考帧索引、MVP(运动向量预测子)索引，或针对所述基础候选用信号发送所述预测方向、参考帧索引、MVP索引的组合。
25.根据权利要求23所述的用于视频编解码的帧间预测的方法，其特征在于，如果所述基础候选是单向预测，则通过镜像技术将所述基础候选转换成双向预测，并且所述附加运动信息仅与一个参考清单相关联。
26.根据权利要求23所述的用于视频编解码的帧间预测的方法，其特征在于，如果所述基础候选是单向预测，则通过对称MVD(运动向量差)技术将所述基础候选转换成双向预测，并且所述附加运动信息仅与一个参考清单相关联。
27.根据权利要求18所述的用于视频编解码的帧间预测的方法，其特征在于，如果所述UMVE模式标志表示针对所述当前块启用了所述UMVE模式，则针对所述基础候选仅用信号发送MVP(运动向量预测子)索引作为运动信息。
28.一种用于视频编解码的帧间预测的装置，所述装置包括一个或更多个电子电路或处理器，所述一个或更多个电子电路或处理器被配置成：
在视频编码器侧接收与当前图像中的当前块有关的输入数据，或者在视频解码器侧接收与包括当前图像中的当前块的压缩数据相对应的视频比特流；
在所述视频编码器侧用信号发送所述当前块的当前模式标志，或者在所述视频解码器侧解析所述当前块的当前模式标志，其中，通过与附加的AMVP(高级运动向量预测)模式相对应的UMVE(最终运动向量表达)模式标志来表示UMVE模式；
如果所述当前模式标志表示针对所述当前块正在使用所述UMVE模式，则：
从原始帧间候选列表确定基础候选；
通过向所述基础候选添加一个或更多个偏移来得出一个或更多个扩展候选，其中，所述一个或更多个扩展候选在所述AMVP模式中被视为MVD(运动向量差)；
将所述一个或更多个扩展候选插入所述原始帧间候选列表中，以形成扩展帧间候选列表；以及
在所述视频编码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行编码，或者在所述视频解码器侧利用所述扩展帧间候选列表对与所述当前块相关联的当前运动信息进行解码。
CN201980050635.3A 2018-07-31 2019-07-31 用于视频编解码的利用运动向量差的合并方法和装置 Active CN112514383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311630050.3A CN117692632A (zh) 2018-07-31 2019-07-31 用于视频编解码的利用运动向量差的合并方法和装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862712288P 2018-07-31 2018-07-31
US62/712,288 2018-07-31
US201862717980P 2018-08-13 2018-08-13
US62/717,980 2018-08-13
US201862728131P 2018-09-07 2018-09-07
US62/728,131 2018-09-07
PCT/CN2019/098522 WO2020024966A1 (en) 2018-07-31 2019-07-31 Method and apparatus of merge with motion vector difference for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311630050.3A Division CN117692632A (zh) 2018-07-31 2019-07-31 用于视频编解码的利用运动向量差的合并方法和装置

Publications (2)

Publication Number Publication Date
CN112514383A CN112514383A (zh) 2021-03-16
CN112514383B true CN112514383B (zh) 2023-12-19

Family

ID=69231409

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311630050.3A Pending CN117692632A (zh) 2018-07-31 2019-07-31 用于视频编解码的利用运动向量差的合并方法和装置
CN201980050635.3A Active CN112514383B (zh) 2018-07-31 2019-07-31 用于视频编解码的利用运动向量差的合并方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311630050.3A Pending CN117692632A (zh) 2018-07-31 2019-07-31 用于视频编解码的利用运动向量差的合并方法和装置

Country Status (5)

Country Link
US (1) US11539977B2 (zh)
CN (2) CN117692632A (zh)
CA (1) CA3107531A1 (zh)
TW (1) TWI734158B (zh)
WO (1) WO2020024966A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317099B2 (en) * 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
CN113039801B (zh) 2018-11-17 2023-12-19 北京字节跳动网络技术有限公司 用运动矢量差候选构建Merge
CN113196773B (zh) * 2018-12-21 2024-03-08 北京字节跳动网络技术有限公司 具有运动矢量差的Merge模式中的运动矢量精度
WO2020141928A1 (ko) * 2019-01-04 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 mmvd 에 따른 예측에 기반한 영상 디코딩 방법 및 장치
WO2020143774A1 (en) * 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Merge with mvd based on geometry partition
CN111885389B (zh) * 2020-07-24 2021-08-24 腾讯科技（深圳）有限公司 一种多媒体数据编码方法、装置及存储介质
US12120293B2 (en) 2021-12-16 2024-10-15 Mediatek Inc. Mmvd mode separation and interpolation reordering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
CN104126302A (zh) * 2011-11-07 2014-10-29 高通股份有限公司 产生额外合并候选者
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8804831B2 (en) * 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
EP2424243B1 (en) * 2010-08-31 2017-04-05 OCT Circuit Technologies International Limited Motion estimation using integral projection
US9288501B2 (en) * 2011-03-08 2016-03-15 Qualcomm Incorporated Motion vector predictors (MVPs) for bi-predictive inter mode in video coding
US9264725B2 (en) * 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
JPWO2013111596A1 (ja) * 2012-01-26 2015-05-11 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法および動画像符号化装置
WO2013149307A1 (en) * 2012-04-05 2013-10-10 Newsouth Innovations Pty Limited Method and apparatus for coding of spatial data
US20130294513A1 (en) * 2012-05-07 2013-11-07 Qualcomm Incorporated Inter layer merge list construction for video coding
CN104704837A (zh) * 2012-10-03 2015-06-10 联发科技股份有限公司 三维视频编码中的元素间运动预测的方法及装置
US9774879B2 (en) * 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
US10531116B2 (en) * 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN114554199B (zh) * 2014-09-30 2023-11-10 寰发股份有限公司 用于视频编码的自适应运动向量分辨率的方法
WO2016061132A1 (en) * 2014-10-13 2016-04-21 Huawei Technologies Co., Ltd. System and method for depth map coding for smooth depth map area
CN107113424B (zh) * 2014-11-18 2019-11-22 联发科技股份有限公司 以帧间预测模式编码的块的视频编码和解码方法
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10187653B2 (en) * 2015-05-18 2019-01-22 Avago Technologies International Sales Pte. Limited Motor vector prediction using co-located prediction units
CN117499646A (zh) * 2016-04-29 2024-02-02 英迪股份有限公司 图像解码方法、图像编码方法和用于发送比特流的方法
CN116614638A (zh) * 2016-07-12 2023-08-18 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
US11128862B2 (en) * 2016-09-13 2021-09-21 Research and Telecommunications Research Insitute Video encoding/decoding method and device, and recording medium having bitstream stored therein
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
CN118660159A (zh) * 2016-10-04 2024-09-17 Lx 半导体科技有限公司 图像编码/解码方法和图像数据的发送方法
WO2018066863A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN117440151A (zh) * 2017-07-06 2024-01-23 Lx 半导体科技有限公司 图像解码方法、图像编码方法、发送方法和数字存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
CN104126302A (zh) * 2011-11-07 2014-10-29 高通股份有限公司 产生额外合并候选者
TW201739252A (zh) * 2016-03-15 2017-11-01 聯發科技股份有限公司 具有仿射運動補償的視訊編碼的方法以及裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高效视频编码的Merge模式候选决策研究与改进;杨静;孙煜;;计算机工程(第12期);全文 *

Also Published As

Publication number Publication date
CN117692632A (zh) 2024-03-12
WO2020024966A1 (en) 2020-02-06
US11539977B2 (en) 2022-12-27
US20210306659A1 (en) 2021-09-30
CA3107531A1 (en) 2020-02-06
CN112514383A (zh) 2021-03-16
TWI734158B (zh) 2021-07-21
TW202021349A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
CN112514383B (zh) 用于视频编解码的利用运动向量差的合并方法和装置
CN112544082B (zh) 一种视频编解码的帧间预测方法及装置
CN110651474B (zh) 用于视频编解码的运动向量限制方法和装置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
TWI738248B (zh) 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
US20190028731A1 (en) Method and apparatus for affine inter prediction for video coding system
CN118354099A (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
CN110662041B (zh) 视频比特流处理的方法和装置，存储视频比特流的方法和非暂时性计算机可读记录介质
CN110662077B (zh) 用于视频编解码的对称性双向预测模式
US11381838B2 (en) Method and apparatus of improved merge with motion vector difference for video coding
TWI720753B (zh) 簡化的三角形合併模式候選列表導出的方法以及裝置
CN112970250B (zh) 视频编码的多重假设方法和装置
CN117546464A (zh) 视频处理的方法、设备和介质
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
WO2024078331A1 (en) Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220505

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant