CN112042196A - 在视频编解码中具有高级控制的候选重组 - Google Patents

在视频编解码中具有高级控制的候选重组 Download PDF

Info

Publication number
CN112042196A
CN112042196A CN201980026238.2A CN201980026238A CN112042196A CN 112042196 A CN112042196 A CN 112042196A CN 201980026238 A CN201980026238 A CN 201980026238A CN 112042196 A CN112042196 A CN 112042196A
Authority
CN
China
Prior art keywords
candidate
initial
motion vector
current block
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026238.2A
Other languages
English (en)
Inventor
陈俊嘉
徐志玮
庄子德
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112042196A publication Critical patent/CN112042196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

应用一种基于初始MV的候选特性来选择性地精化初始MV的编解码系统的方法与装置。该初始MV的候选特性对应于在该候选列表的候选位置、在该候选列表中的候选形成的交错的候选组合之间的联系、或者将候选限制为属于从初始候选组合中移除一或多个空间候选或所选择的候选类型的候选之后的候选组合。依据另一方法，候选精化的搜寻限制为在目标初始MV的周围的8‑连接位置。在另一实施例中，该候选精化使用该当前区块的缩减模板以及该参考区块的缩减的对应的模板。在另一实施例中，该候选精化的搜寻使用适应性搜寻窗口。

Description

在视频编解码中具有高级控制的候选重组
交叉申请
本发明请求申请日为2018年4月18日的申请号为62/659，176的美国临时申请与2018年5月17日的申请号为62/672，615的美国临时申请的优先权。上述申请在此全文引用。
技术领域
本发明是有关于使用解码器端运动向量获取的视频编解码。具体来说，本发明是有关于候选运动向量精化(candidate motion-vector refinement)技术来减少所需的计算量以及提高编解码效率。
背景技术
适应性基于块的帧内/帧间编解码是在多种视频编解码系统中广泛应用，例如高效视频编解码HEVC(high efficiency video coding)。当使用帧间模式时，区块可通过一或多个参考区块来预测。运动向量(MV)是与每一参考区块相关，以识别参考区块。在解码器端，需要获取与运动向量相关的信息来获取参考区块。信号传输所述运动信息需要额外的带宽。多种编解码技术是关于高效信号传输运动信息。其中一部分MV编解码技术如下所述。
混合模式
为了增加HEVC中运动向量(MV)编解码的编解码效率，HEVC具有跳过与混合模式(Skip and Merge modes)。跳过与混合模式从空间相邻区块(空域候选)或者时间同位区块(时域候选)获取运动信息。当PU是跳过或混合模式时，没有运动信息被编解码。代替地，仅仅所选择的候选的索引被编解码。对于跳过模式(Skip mode)，残余信号被强制为0并且不被编解码。在HEVC，如果特定区块被编码为跳过或者混合，候选索引被信号传输来指示在候选集合中哪一候选被用于混合。每一混合的PU重新使用所选择的候选的MV、预测方向以及参考图像索引。
对于在HEVC参考软件HM-4.0中的混合模式，如图1所示，最高四个空间MV候选是从A0、A1、B0与B1获取，以及一个时间MV候选是从TBR或TCTR获取(首先使用TBR，如果TBR不可用，则使用TCTR)。需注意的是，如果四个空间MV候选中的任一个不可用，则使用位置B2来获取MV候选作为一个替代。在获取四个空间MV候选与一个时间MV候选之后，应用消除残余(剪枝(pruning))来去除多余的MV候选。如果在除去残余(剪枝(pruning))之后，可用MV候选的数量小于5，则获取三种类型额外候选，并加入候选集合(即候选列表)。编码器基于率失真最优化(rate-distortion optimization，RDO)决策针对跳过、或混合模式来在候选集合中选择最终候选，并传输索引至解码器。
之后，跳过与混合模式可皆称为“混合模式”以简述。换言之，本发明中所述的“混合模式”可为跳过与混合模式。
混合模式与AMVP模式
HEVC是一新型由视频编解码联合工作组(Joint Collaborative Team on videocoding(JCT-VC))开发的国际视频编解码标准。HEVC是基于混合的基于区块的运动补偿DCT-相似编解码架构。压缩的基本单元，称为编码单元(coding unit，CU)，是一2Nx2N方形区块，并且每一CU可递归地分割为四个更小CU，直到达到预先定义的最小尺寸。每一CU包含一个或者多个预测单元(PU)。
为了在HEVC中混合编解码架构获得最佳编解码效率，针对每一PU具有两种预测模式(即帧内预测与帧间预测)。对于帧内预测模式，可使用空间相邻像素来产生方向性预测。在HEVC中，最多具有35个方向。针对帧间预测模式，可使用时间重建帧来产生运动补偿预测。具有三种模式，包含跳过、混合以及帧间高级(Inter Advanced motion vectorPrediction(AMVP))模式。
当一个PU是使用帧间AMVP模式时，以传输的运动向量差(MVD)来执行运动补偿预测，MVD可与运动向量预测(Motion Vector Predictors(MVPs))一同使用来获取运动向量(MV)。为了决定帧间AMVP模式中的MVP，使用AMVP架构来选择在AMVP候选集合中的运动向量预测子，所述AMVP候选集合包含两个空间MVP以及一个时间MVP。因此，在AMVP模式中，需要编码以及传输MVP的MVP索引以及对应的MVD。此外，也需要编码以及传输所述帧间预测方向，所述帧间预测方向说明在双向与单向中的预测方向，单向为列表0(即L0)与列表1(即L1)中的预测方向，每一列表相关的参考图像索引也须被编码与传输。
当一个PU以跳过或者混合模式来编码时，由于跳过与混合模式利用运动推断方法(motion inference methods),除了所选择的候选的混合索引，没有运动信息被传输。由于针对跳过与混合模式，MVD为0，对于跳过或者混合编解码的区块的MV与MVP相同(即MV＝MVP+MVD＝MVP)。据此，跳过或者混合编解码区块从位于一同位图像中空间相邻区块(空域候选)或者时间区块(时域候选)获取运动信息。同位图像是在列表0或者列表1中的第一个参考图像，其在条带头(slice header)中信号传输。针对跳过PU的情形，残余信号也被省略。为了决定针对跳过与混合模式的混合索引，使用混合机制来在混合候选集合中选择一个运动向量预测子，混合候选集包含四个空间MVP与一个时间MVP。
图1是针对AMVP与混合机制，用于获取空间与时间MVP的相邻PU的举例说明。在AMVP中，左MVP是A0、A1中第一可用的一个，上MVP是B0、B1、B2中第一可用的一个，并且时间MVP是TBR或TCTR中第一可用的一个(先使用TBR，如果TBR不可用，则使用TCTR)。如果左MVP不可用并且上MVP并非已缩放MVP，如果在B0、B1、与B2中存在一个已缩放MVP，则可获取第二上MVP。在HEVC中AMVP的MVP的列表尺寸是2。因此，在两个空间MVP与一个时间MVP获取处理之后，仅仅两个第一MVP可被包含在MVP列表中。如果在移除残余之后，可用MVP的数量小于2，零向量候选被加入候选列表。
对于跳过与混合模式，如图1所示，最多四个空间混合索引从A0、A1、B0与B1中获取，以及一个时间索引从TBR或TCTR中获取(TBR被首先使用，如果TBR不可用，则使用TCTR)。需注意，如果四个空间混合索引中任一个不可用，则使用位置B2来获取混合索引作为一个替代。在四个空间混合索引与一个时间混合索引获取处理之后，应用移除残余来移除残余混合索引。如果在移除残余之后，可用混合索引的数量小于5，则获取三种类型的额外候选，并将其加入候选列表。
额外双向混合候选是通过使用初始混合候选来创造。额外候选被划分为三种候选类型：
1.组合的双向预测混合候选(候选类型1)
2.缩放的双向预测混合候选(候选类型2)
3.0向量混合/AMVP候选(候选类型3)
在候选类型1中，组合的双向预测混合候选是通过组合初始混合候选创造。具体来说，在初始候选中的两个候选，其具有mvL0(在列表0中运动向量)与refIdxL0(在列表0中参考图像索引)或者mvL1(在列表1中运动向量)与refIdxL1(在列表1中参考图像索引)，被用来创造双向混合候选。图2是组合的双向预测混合候选的获取过程的举例说明。候选集合210对应于初始候选列表，其包含在L0中的mvL0_A、ref0(231)以及在L1中的mvL1_B、ref(232)。双向MVP233可通过组合在L0与L1中的候选而形成。
在候选类型2中，已缩放的双向预测混合候选是通过缩放初始混合候选而产生。具体来说，在初始候选中的一个候选，其具有mvLX(在列表X中的运动向量)与refIdxLX(在列表X中的参考图像索引)，X可为0或者1，是用来产生双向预测混合候选。举例来说，候选A是列表0双向预测，其具有mvL0_A与ref0，ref0是首先复制至在列表1中的参考索引ref0’。之后，mvL0’_A是通过以ref0与ref0’来缩放mvL0_A来计算。然后，双向预测混合候选，其具有在列表0中的mvL0_A与ref0以及在列表1中的mvL0’_A与ref0’，被创造并添加至混合候选列表。图3是缩放的双向预测混合候选的获取过程的举例说明，其中候选列表310对应于初始候选列表以及候选列表320对应于扩展的候选列表，该扩展候选列表包含两个产生的双向预测MVP。
在候选类型3中，0向量混合/AMVP候选是通过组合0向量与可被参考的参考索引而产生。图4A是增加0向量混合候选的举例说明，其中候选列表410对应于初始混合候选列表并且候选列表420对应于通过增加0候选的扩展混合候选列表。图4B是增加0向量AMVP候选的举例说明，其中候选列表430(L0)与432(L1)对应于初始AMVP候选列表以及候选列表440(L0)与442(L1)对应于通过增加0候选的扩展的AMVP候选列表。如果0向量候选没有被复制，其加入混合/AMVP候选列表。
统一混合列表
在现代编解码技术中，在混合/跳过模式中，具有超出HEVC的多种候选。举例来说，在档案JVET-J0018(Description of SDR video coding technology proposal byMediaTek,Joint Video Experts Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 11,10th Meeting:San Diego,US,10–20Apr.,2018)中，在混合列表中具有多种类型的混合候选，例如仿射-继承(affine-inherited)、仿射-角落(affine-corner)、空域、时域、中-空域等等。
双线性模板(Bilateral Template)MV精化或者解码器端MV精化(DMVR)
双向时域运动向量精化(Bilateral Template MV精化,BTMVR)也被用于解码器端MV精化(DMVR)。举例来说，在JVET-D0029(Xu Chen,et al.,“Encoder Side MV精化Basedon Bilateral Template Matching”,Joint Video Exploration Team(JVET)of ITU-T SG16WP 3and ISO/IEC JTC1/SC 29/WG 11,4th Meeting:Chengdu,CN,15–21October 2016,Document:JVET-D0029)，记载了基于双向时域匹配的解码器端运动向量精化(DMVR)。BTMVR的处理是在图5中显示，其中区块510是当前区块。决定当前区块510的初始运动向量MV0520a与MV1520b。举例来说，初始运动向量可从混合候选中获取。BTMVR过程是应用于双向预测区块。换言之，MV0指向L0参考图像570a并且MV1指向L1参考图像570b。在L0参考图像570a中的L0参考区块530a是通过在L0参考图像570a中当前区块对应位置510a与MV0520a来定位。相似地，在L1参考图像570b中的L1参考区块530b是通过在L1参考图像570b中当前区块对应位置510b与MV1520b来定位。模板540是通过使用分别由MV0520a与MV1520b指向的两个参考区块(530a与530b)的双向预测来产生，如图5所示。在一个实施例中，双向模板540是作为L0区块530a与L1区块530b的平均来计算，但其并非本实施例的限制。在下一步骤中，其使用双向模板来实现整数运动估计ME(Motion Estimation)与分数ME搜寻，该分数ME搜寻是在L0参考图像的L0参考区块周围以P像素xQ像素为搜寻范围，并且寻找最小ME成本的位置。该ME成本具有多种实施例，一个实施例是SAD(绝对差之和，Sum of AbsoluteDifference)，但并不限于该实施例。最小ME成本的最终位置被设为L0的精化MV。相似的步骤是应用于定位L1的精化MV。举例来说，使用该模板作为一新当前区块并且执行运动估计来搜寻分别在L0参考图像560a与L1参考图像560b中最佳匹配区块(即精化的参考区块550a与精化的参考区块550b)，如图5所示。精化的MV称为MV0’560a与MV1’560b，如图5所示。然后，精化的MV(MV0’与MV1’)被用来产生当前区块的最终双向预测区块。
PMVD模式或者FRUC模式
PMVD(基于模型的运动向量获取，Pattern-based MV Derivation)模式，也称为PMMVD(模型匹配的运动向量获取，Pattern Matched MV Derivation)或者FRUC(帧-率上-变换，Frame-Rate Up-Conversion)模式是在JVET测试模型3(Joint Video ExplorationTeam(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11:3rd Meeting:Geneva,CH,26May–1June 2016,Document Title:Algorithm Description of Joint ExplorationTest Model 3)中公开的一编解码工具，其可使用L-型模板或者双向模板来精化混合模式的MV并且节约MVD的位。
发明内容
一种视频编解码方法与装置。依据该方法：接收在当前图像中的当前区块的相关数据；从候选列表决定该当前区块的一或多个初始运动向量，其中基于该当前区块的一或多个相邻区块的运动信息来决定至少一个候选；选择性地基于至少一个初始运动向量的候选特性精化该至少一个初始运动向量，来形成至少一个精化的运动向量，以及使用包含该至少一个修正运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
在一个实施例中，该至少个一初始运动向量的该候选特性对应于在该候选列表中的候选位置。举例来说，如果该至少一个初始运动向量是在后部候选列表中，该至少一初始运动向量是被精化。在另一实施例中，该至少一个初始运动向量的该候选特性对应于在该候选列表中的多个候选形成的多个交错的候选组合之间的联系。举例来说，如果该至少一个初始运动向量是在第一交错的组合或者第二交错的组合中，该至少一初始运动向量被精化，其中该第一交错组合具有偶数数值的候选，该第二交错的组合具有奇数数值的候选。在另一实施例中，该至少一个初始运动向量的该候选特性对应于属于候选组合的限制的候选，该候选组合是通过从初始候选组合中移除一或多个空间候选、或一或多个选择的类型的候选来形成的。
依据另一方法，针对当前区块决定一或多个初始运动向量，其中从一个候选列表决定该当前区块的一或多个初始运动向量，其中基于该当前区块的一或多个相邻区块的运动信息来决定至少一个候选。通过搜寻在目标初始运动向量周围的8-连接位置，来精化该目标初始运动向量，来形成精化的目标运动向量，其中该8-连接位置对应于在水平方向以及/或者垂直方向距离该目标初始运动向量1-像素距离的多个相邻位置；以及使用包含该精化的目标运动向量的修正的候选列表，来编码或者解码该当前区块或者一或多个该当前区块的当前运动向量。在实施例中，如果该目标初始运动向量具有分数部分，该目标初始运动向量精化为整数像素值。在另一实施例中，该精化目标初始运动向量的步骤是通过使用在当前迭代中的精化的目标运动向量作为在下一次迭代中的目标初始运动向量来迭代执行。
依据另一方法，决定该当前区块的第一初始运动向量与第二初始运动，其中该第一运动向量指向在列表0中的第一图像中的第一参考区域，并且该第二运动向量指向在列表1中的第二图像中的第二参考区域；依据双线性搜寻来分别精化该第一初始运动向量与该第二初始运动向量为第一精化运动向量与第二精化运动向量，该双线性搜寻使用从该第一初始参考区域获取的修正的第一参考区域以及从该第二初始参考区域获取的修正的第二参考区域；以及使用包含对应于该第一精化运动向量与该第二精化运动向量的解码器端获取运动向量，来编码或者解码该当前区块或者一或多个该当前区块的当前运动向量。
在一实施例中，该第一初始参考区域与该第二初始参考区域分别对应第一参考区块与第二参考区块，并且该修正第一参考区域与该修正第二参考区域分别对应于该第一参考区块与该第二参考区块中的多个部分像素或者子-采样像素。在另一实施例中，该第一初始参考区域与该第二初始参考区域分别对应第一参考区块与第二参考区块，并且该修正的第一参考区域对应于该第一参考区块的第一扩展区域并且该修正的第二参考区域对应于该第二参考区块的第二扩展区域。在另一实施例中，双线性模板是基于该修正的第一参考区域与该修正的第二参考区域来获取，其中该双线性搜寻使用该双线性模板与该第一初始参考区域周围的第一候选精化参考区域之间的绝对差之和作为成本标准来获取该第一精化运动向量，以及该双线性搜寻使用该双线性模板与该第一初始参考区域周围的第一候选精化参考区域之间的绝对差之和作为成本标准来获取该第二精化运动向量。
依据另一实施例，决定该当前区块的一或多个初始运动向量，其中至少一个初始运动是基于该当前区块的一或多个相邻区块的运动信息来决定；通过在搜寻窗口中搜寻多个位置来精化目标初始运动向量以形成精化目标运动向量，其中该搜寻窗口的搜寻范围是适应性决定的；以及使用包含该精化目标运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
在一个实施例中，该搜寻窗口的搜寻范围是依据该当前区块的区块大小决定的。在另一实施例中，该搜寻窗口的搜寻范围是依据该初始目标运动向量的候选类型来适应性决定的。
附图说明
图1显示了针对AMVP与混合机制用于获取空间与时间MVP的相邻PU。
图2显示了组合的双向预测混合候选的获取处理的举例说明；
图3显示了根据本发明一实施例的缩放的双向预测混合候选的获取处理的举例说明，其中左侧的候选列表对应于初始候选列表并且右侧的候选列表对应于扩展的候选列表，该扩产的候选列表包含两个产生的双向预测MVP；
图4A显示了增加0向量混合候选的举例说明，其中左侧的候选列表对应于初始候选列表并且右侧的候选列表对应于扩展的候选列表，该扩产的候选列表增加0向量候选；
图4B显示了增加0向量AMVP候选的举例说明，其中上部的候选列表对应于初始AMVP候选列表(左侧为L0，右侧为L1)并且底部的候选列表对应于扩展的AMVP候选列表(左侧为L0，右侧为L1)，该扩产的候选列表增加0向量候选；
图5显示了双线性模板MV精化(即解码器端运动向量精化(DMVR))处理的举例说明；
图6显示了根据本发明一实施例的依据该初始MV的候选特性来选择性精化初始MV的编解码系统的示例性流程图；
图7显示了根据本发明一实施例的通过在初始MV的8-连接位置搜寻的编解码系统的示例性流程图；
图8显示了根据本发明一实施例的使用基于在L0图像中修正的第一参考区域与在L1图像中的修正的第二参考区域来双线性搜寻来精化初始L0 MV与初始L1 MV的编解码系统的示例性流程图；
图9显示了根据本发明实施例的使用适应性搜寻窗口的编解码系统的示例性流程图。
具体实施方式
以下实施例为实现本发明的最佳实施例。以下描述是用于举例说明本发明的通用精神，而并非是本发明的限制。本发明的范围是由申请专利范围决定。
在本发明中，PMVD模式并非限制在之前所述的JVET档案的特定PMVD，任意的使用基于模型精化作为一种PMVD类型的帧间模式工具可视为PMVD或者FRUC模式。具有多种类型PMVD或者FRUC。在一实施例中，PMVD发送PMVD混合索引来指示哪一个混合候选被选择来进行MV精化，其中基于原始PMVD，解码器必须尝试多有的混合候选来选择最佳开始MV。在另一实施例中，针对模板模式MPMVD(template mode PMVD),PMVD禁用(disable)该子-CU精化，但依然允许PMVD双向模式。在本发明中，提供了PMVD的多种改进。具体来说，本发明如下所述提供多种候选精化技术。
通常“预测+索引”算法架构
本发明可投射至具有两部分处理的架构。第一部分是关于预测子(predictor)的候选列表(或集合)，通过继承相邻信息或者处理相邻信息。第二部分是发送一或者多个索引(例如混合索引或者AMVP索引)来指示在候选列表中的相邻区块的候选被选择来继承(inheritance)。本档案中所述的候选是定义为通常“预测+索引”算法架构的候选。在一些情形下，第二部分是发送有关于所述索引的边侧信息(side information)。该边侧信息可以是MVD(Motion Vector Difference)或者一些其他信息。所述边侧信息对于一些实施例是可选择的。如果在该列表中总是选择固定的索引，该索引可不需发送。
该混合/跳过模式与AMVP模式属于“预测+索引”架构。该架构可使用其他编解码工具。举例来说，其可结合两个或者更多个候选至一个候选。在另一举例中，初始候选可视为初始MV预测子并且运动估计搜寻使用当前区块像素来寻找最终MVD。在这一举例，边侧信息是MVD。在另一举例中，初始候选可视为初始MV预测子并且运动估计搜寻使用当前区块像素来寻找针对L0的最终MVD。对于L1预测子，L1预测子可使用初始候选。在又一举例说明中，初始候选可视为初始MV预测子并且运动估计搜寻使用当前区块像素来寻找针对L1的最终MVD，L0预测子可使用初始候选。在又一举例说明中，初始候选可为初始MV预测子并且MV精化搜寻使用上或者左相邻像素作为搜寻模板来找到最终预测子。在又一举例说明中，该初始后续可用作初始MV预测子并且MV精化搜寻使用双向模板(例如由候选MV或者镜像MV指示的，在L0与L1参考图像中的像素)作为搜寻模板来寻找最终预测子。
在本申请中，术语“候选”可表达混合/跳过候选、AMVP候选与通常的“预测+索引”算法架构。该“预测+索引”算法架构在上述举例中并没有限制。
为了增进编解码效率，揭露一种命名为候选重组(Candidate Reorganizing)的方法。候选重组包含两个处理：其一是候选精化(Candidate Refinement)，其二是候选重排序(Candidate Reorder)。该候选重排序简要说明如下。
该候选重排序重新布置在候选列表中的候选的顺序，来达到更佳的编解码效率。该重排序规则依据针对当前候选的一些预先计算，例如当前CU的上相邻条件(例如模式或者MV)或者左相邻条件(例如模式或者MV)、当前CU的形状、或者上/左L-型模板匹配、或者双向模板。
候选精化
该候选精化过程精化该多个候选的多个MV。其首先选择一些候选，接着针对一目标候选，其使用一些信息来精化该当前候选的MV。精化所使用的该些信息包含当前CU的上相邻条件(例如模式或者MV)或者左相邻条件(例如模式或者MV)、当前CU的形状、或者上/左L-型模板匹配、或者双向模板。
候选选择的一些实施例如下所示。
·在该候选列表中仅仅选择一个候选。该选择的候选的位置可为第一候选、第二候选或者其他在候选列表中的固定位置。
·在候选列表中仅仅选择一个候选。该选择的候选的位置可在比特流头中信号发送、或在序列层级、图像层级、条带层级或者CU层级来编解码。
·在候选列表中选择N个候选，其中N是整数。所选择的候选的位置可为在该候选列表中的预先定义的位置。在另一举例说明中，所选择的后续的位置可在比特流头中信号发送、或者在序列层级、图像层级、条带层级或者CU层级来编解码。在另一实施例中，所选择的候选的位置可限制为具有小于阈值THD的索引。
·在候选列表中选择一个或者多个候选。
所选择的候选的精化处理
精化的信息包含当前CU的上相邻条件(例如模式或者MV)或者左相邻条件(例如模式或者MV))、当前CU的形状、或者上/左L-型模板匹配、或者双向模板。在一实施例中，解码器计算MV精化，该计算规则必须在编码器与解码器之间匹配。在另一实施例中，解码器不需要计算MV精化。可替代地，编码器计算MV精化并且将其信号发送至解码器。在一实施例中，该编码器以固定的精化MV步长(refined MV step)插入新的候选，例如MVX±1、MVY±1至候选列表，并且发送所选择的候选的索引至该解码器。可替代的，该编码器可判断搜寻范围或者搜寻步骤的数量，并且信号通知该解码器来帮助减少解码器复杂度。其他的编码器预计算精化的部分并且发送信号至解码器来帮助解码器节省运动时间的方法也可被使用。
在后续部分，提供针对L-型模板匹配与双向模板匹配的一些候选精化情形的实施例。
实施例：基于L-型模板匹配的候选精化
L-型模板包含多个包围L-型像素。多个包围L-型像素是当前CU的左与/或上相邻像素(标识为当前L-型)与参考CU的左与/或上相邻像素(标识为参考L-型)。
在一些模板匹配方法中，使用在参考L-型与当前L-型之间的SAD(Sum ofAbsolute Differences)或SSD(Sum of Squared Differences)的匹配准则来精化当前候选的多个MV。该精化处理搜寻当前候选的多个精化MV，计算对应的模板匹配，并且使用基于当前候选的多个不同精化MV的模板匹配的最终值作为该精化的MV。该精化的MV可具有一分数MV部分。在此情形下，需要双向或者N-抽头插值来获取像素值作为当前与参考L-型的分数像素。
实施例：基于双向模板的候选精化
依据该实施例，双向像素被用于模板匹配。举例来说，双向模板作为双向候选。对于当前候选，L0 MV参考区块与L1 MV参考区块是双向-模板。
除了用于精化的信息(例如L-型模板、双向模板或者其他信息)，该搜寻精化的MV的过程可通常使用WxH搜寻窗口(W:搜寻窗口宽度，H:搜寻窗口高度)。该基于精化的搜寻范围需要大量计算。因此，为了减少计算量，以下提供减少精化搜寻的计算的技术。
实施例:基于模板的整-像素
在该实施例中，不具有针对参考模板的双线性或者N-抽头插值。尽管来自精化搜寻的该精化的MV可具有分数部分，该实施例可将该精化的MV视为整数MV来获取该参考L-型或者获取该双-方向模板或其他信息用于精化。可通过四舍五入(rounding)至整数来将该分数MV转化为最近的整数MV。在该实施例中，该MV精化是基于整数-MV的途径。因此，该精化差(例如MV差，以精化该初始MV)也是整数MV。在另一实施例中，其精化该初始MV至整数MV，其中该初始MV可具有分数部分。该实施例可应用至L-型模板或双-方向模板。
实施例:1-D的搜寻模型(仅仅水平方向)
在该实施例中，不使用WxH搜寻窗口，所提出的精化仅仅在水平方向精化该MV。在该实施例中，该MV精化可为基于整数MV的，其中该精化差是整数MV或者该MV是精化至整数MV。该初始MV可具有分数部分。
实施例:1-D的搜寻模型(仅仅垂直方向)
在该实施例中，不使用WxH搜寻窗口，所提出的精化仅仅在垂直方向精化该MV。在该实施例中，该MV精化可为基于整数MV的，其中该精化差是整数MV或者该MV是精化至一数MV。该初始MV可具有分数部分。
实施例:仅1-D的搜寻模型(混合水平与垂直方向)
在该实施例中，不使用WxH搜寻窗口，所提出的精化仅仅针对一些候选在水平方向精化该MV，而针对其他候选在垂直方向精化。在该实施例中，该MV精化可为基于整数MV的，其中该精化差是整数MV或者该MV是精化至整数MV。该初始MV可具有分数部分。
实施例:简化搜寻模型I
在该实施例中，不使用WxH搜寻窗口，所提出的精化仅仅具有一十分简化的精化模型，例如4-连接模型(即(MVx-1,MVy)、(MVx+1,MVy)、(MVx,MVy-1)与(MVx,MVy+1))仅仅具有1-像素差的精化。在另一举例说明中，该十分简化精化模型对应8-连接模型(即(MVx-1,MVy-1)、(MVx-1,MVy)、(MVx-1,MVy+1)、(MVx,MVy-1)、(MVx,MVy+1)、(MVx+1,MVy-1)、(MVx+1,MVy)与(MVx+1,MVy+1))仅仅具有1-像素差的精化。在该实施例中，该MV精化可为基于整数MV的，其中该精化差是整数MV或者该MV是精化至整数MV。该初始MV可具有分数部分。
实施例:简化搜寻模型II
在该实施例中，不使用WxH搜寻窗口，所提出的精化仅仅具有十分简化的精化模型，例如顶-底(即(MVx,MVy-1)与(MVx,MVy+1))，或者左-右(即(MVx-1,MVy)与(MVx+1,MVy))仅仅具有1-像素差的精化。在该实施例中，该MV精化可为基于整数MV的，其中该精化差是整数MV或者该MV是精化至整数MV。该初始MV可具有分数部分。
实施例:2步骤搜寻
在该实施例中，不使用WxH搜寻窗口，所提出的精化使用两步骤的精化。在步骤1，其仅仅精化水平方向。在水平方向找到最优精化MV的后，其仅仅精化垂直方向。
在另一实施例中，在步骤1，其仅仅精化垂直方向。在垂直方向找到最优精化MV之后，其仅仅精化水平方向。
在该实施例中，该MV精化可为基于整数MV的，其中该精化差是整数MV或者该MV是精化至整数MV。该初始MV可具有分数部分。
实施例:适应性搜寻范围
在该实施例中，不使用在传统的候选精化的固定的WxH搜寻窗口，所提出的精化使用适应性搜寻范围。不同的候选的搜寻范围可依据CU大小、图像大小、候选类型或者其他信息来适应性选择。在另一实施例中，所选择的范围具有M类型(M是大于或者等于1的整数)并且M可从编码器至解码器信号发送。
在另一实施例中，不同的候选的搜寻范围可依据角落空间相邻MV的多样性(diversity)来选择。举例来说，如果左-底角落空间相邻以及顶-右角落空间相邻的MV差是高(例如高于预先定义阈值)，该搜寻范围调整为较高。在另一举例说明中，如果左-底角落空间相邻以及顶-右角落空间相邻的MV差是低(例如低于预先定义阈值)，该搜寻范围调整为较低。
实施例:精化的开-关控制
在该实施例中，并非精化每一CU，当当前CU大于预先定义阈值时，关闭该精化。在另一实施例中，当当前CU小于预先定义阈值时，关闭该精化。
上述实施例关注于减少精化搜寻范围的计算量。也提供与模板结构改进相关的实施例。与L-型模板以及双向模板改进相关的实施例提供如下。
L-型模板匹配的适应性模板
L-型模板包含多个围绕L-型像素。该多个围绕L-型像素是当前CU的左与/或上相邻像素(标识为当前L-型)以及参考CU的左与/或上相邻像素(标识为参考L-型)。候选精化可依据该L-型模板匹配，以在编码器端以及/或者解码器端精化该MV。一些基于L-型模板的增进候选精化的技术提供如下。
实施例:模板的整数像素
针对具有分数部分的MV，针对参考CU的左与/或上相邻像素，并非使用双向或者N-抽头插值，来获取分数像素的像素值，而是MV的整数部分可用于获取参考CU的L-型模板的整数像素，而不使用双-线性插值或者N-抽头插值。在另一实施例中，具有分数部分的该MV四舍五入取整至最接近的整数MV，来获取参考CU的L-型模板的整数像素，而不使用双-线性插值或者N-抽头插值。
实施例:仅仅L-型的上部
传统L-型模板通常包含上相邻像素与左相邻像素。然而，依据本实施例，该模板仅仅使用上相邻像素作为当前CU与参考CU的模板，以节省存储器带宽。
实施例:仅仅L-型的左部
传统L-型模板通常包含上相邻像素与左相邻像素。然而，依据本实施例，该模板仅仅使用左相邻像素作为当前CU与参考CU的模板，以节省存储器带宽。
实施例:适应性使用上或左部
传统L-型模板通常包含上相邻像素与左相邻像素。然而，依据本实施例，该模板适应性仅仅使用上相邻想做或者仅仅使用左相邻像素。在一实施例中，针对宽度大于(或大于等于)高度的CU，该模板仅仅使用上相邻像素。在另一实施例中，针对宽度小于(或小于等于)高度的CU，该模板仅仅使用左相邻像素。在另一实施例中，该模板针对一些CU适应性使用上相邻像素，而针对其他CU使用左相邻像素。
实施例:模板的适应性厚度
针对L-型模板，提供一种适应性厚度模式。该厚度定义为该L-型模板的上部分的像素列(row)的数量或者该L-型模板的左部分的像素行(column)的数量。该适应性厚度模式基于一些条件(例如当前PU大小或者当前PU形状(宽度或高度)或当前条带的QP(量化参数quantization parameter))来改变上厚度或者左厚度。举例来说，如果当前PU高度大于或者等于32，该上厚度可等于2，如果该当前PU高度小于或者等于32，该上厚度等于1。
实施例:模板的子-采样(Sub-Sampling of Template)
在该实施例中，其子-采样该L-型模板。换言之，其针对该L-型模板的上部分以及/或者左部分的部分像素以子-采样方式丢弃。对于2:1子-采样，举例来说，其可水平子-采样该L-型模板的上部分，例如丢弃L-型模板的上部分的奇水平位置像素或者偶水平位置像素。
双向模板MV精化的适应性模板
在该部分中，如下所示为与双向模板MV精化的适应性模板。
针对当前候选，该L0 MV参考区块与该L1 MV参考区块被用于双向模板推导。在一实施例中，该模板是通过平均L0 MV参考区块与L1 MV参考区块来推导。在该L0参考图像中，围绕L0 MV参考CU附近，使用该模板来精化该L0 MV，以执行运动估计。在该L1参考图像中，围绕L1 MV参考CU附近，使用该模板来精化该L1 MV，以执行运动估计。该推导处理可在编码器端与解码器端中完成。
在MV精化的一实施例中，该L0 MV镜像至L1，并且L0 MV精化是精化至找到L0 MV参考区块与镜像L1 MV参考区块之间的最佳匹配。在另一方式中，该L1 MV是镜像至L0，并且L1MV是镜像至找到L1 MV参考区块与镜像L0 MV参考区块之间的最佳匹配。
如下详述双向模板MV精化的增进性能或者减少计算。
实施例:模板的整数像素
在双向模板中，不针对参考CU的L0(或L1)MV参考区块应用双-线性插值或者N-抽头插值来针对具有分数部分的MV获取在分数像素的像素值，该MV的整数部分是用来获得该参考CU的整数像素而不使用双-线性插值或者N-抽头插值。在另一实施例中，该MV四舍五入取整为最接近的整数MV，并且用于获取参考CU的整数像素而不使用任何的双线性插值或N-抽头插值。
实施例:子-采样
该双向模板可针对精化处理进行子-采样。
实施例:使用模板的部分像素
双向模板的部分像素可用于该精化处理。举例来说，该双向模板的上部一半像素可用于该精化处理。
组合的MV精化与候选重排序
候选重排序
候选重排序是通过重新排序在候选列表中的候选顺序来获取更佳的编解码效率。该重排序规则是基于针对当前候选的一些预先计算，例如当前CU的上相邻条件(例如模式或者MV)或者左相邻条件(例如模式或者MV)、当前CU的大小、当前CU形状或者上/左L-型模板匹配。一些候选被选择用来重新排序，并且该些候选的成本被预先计算。该成本被称为该后续的猜测-成本，并且较低的成本意味着较好的候选。最终，该选择的候选是基于该预先计算的成本被重新排序，其中具有最低成本的候选是布置在列表中的前列。
如下一些实施例提供组合的MV候选精化与候选重排。
实施例:重排之后精化
在该实施例中，候选重排是在候选精化之前应用。在该情形下，该候选精化可选择具有高匹配成本的候选进行精化，其中该匹配成本是在候选重排处理过程中被储存。
实施例:精化之后重排
在该实施例中，候选精化是在候选重排之前应用。
实施例:重排与精化之间的匹配结果共享
在该实施例中，该模板数据可在MV候选精化与候选重排之间重复使用。举例来说，候选重排的该L-型模板匹配结果可被储存并被MV候选精化共享。在另一举例中，MV候选精化的该L-型模板匹配结果可被储存并且由候选重排共享。
实施例:重排或者精化的适应性选择
在该实施例中，其依据在当前CU的一或多个条件来适应性应用候选精化或者候选重排。举例来说，如果在当前CU候选列表的多个候选的“某候选类型”的数量小于一阈值，则选择候选精化。否则，选择候选重排。在另一举例说明中，如果在当前CU候选列表的“某候选类型”的多个候选的具有相似的MV，则选择候选精化。否则，选择候选重排。
实施例:重排与精化的混合结果
在该实施例中，联合应用了候选精化与候选重排。该处理选择N个候选来计算重排成本，并且选择M个候选来计算精化搜寻成本。每一精化搜寻成本对应于在一选择的位置的成本。该N个针对重排的候选可被重排。然而，其中一些(例如N2，N2<N)可被精化的候选(即从用于精化的M个候选获得的精化结果)来替代。
举例来说，依据本实施例的方法可选择在混合列表中的5个空间候选(标识为S0、S1、S2、S3、S4)来重排，并且选择一个(例如S0)来精化。然后，在混合列表中的S0、S1、S2、S3与S4的位置可被重排，之后，一个候选(例如S4)可被精化的S0结果替代。
上述提供的方法可在编码器以及/或者解码器中实现。举例来说，所提出的方法可在编码器的帧间预测模块以及/或者帧内预测模块、以及/或者解码器的帧间预测模块(以及/或者帧内预测模块)中实现。
后部候选(Latter Candidates)的候选精化
在该方法中，候选精化可代表DMVR、PMVD-基于模板、PMVD-基于双线性、混合精化。
本发明的主要精神是针对在候选列表中的后部候选执行候选精化，而针对前部候选(例如在候选列表中的候选0与候选1)不精化。后部候选是接近候选列表结尾的候选。该方法是针对通常“预测+索引”算法架构可用。举例来说，针对候选精化，仅仅后部候选执行精化，而前部候选(例如候选列表中的候选0与候选1)不执行精化。
在一实施例中，可预先定义阈值THD。如果候选具有等于或者小于该预先定义的阈值的索引，该候选将不执行精化。如果该候选具有大于该预先定义的阈值的索引，该候选将被精化。
在另一实施例中，该处理可首先移除一或多个其索引等于或者小于该预先定义的阈值的候选。剩余候选形成新的候选列表，以执行候选精化功能(例如DMVR、或PMVD-基于模板、或PMVD-基于双线性、或混合精化)。
在另一实施例中，该阈值是预先定义的，具有等于或者小于该预先定义的阈值的索引的候选将不执行精化。对于具有大于阈值的索引的候选，该处理比较当前候选的运动信息与具有等于或者小于阈值的索引的当前候选之间的相似性。如果相似性为高(即十分相似)，当前候选将不执行精化。
在另一个实施例中，该处理首先移除一或多个其索引等于或者小于该预先定义的阈值的候选，并且移除具有大于该阈值的索引并且具有运动信息高相似度的候选。剩余候选形成新的候选列表，以执行候选精化功能。
针对交错候选的候选精化
该方法的基本精神在于针对以交错顺序(Interleaved order)的候选执行候选精化。举例来说，该交错顺序对应于奇数顺序(即m,候选排序为1,3,5,7,...)或者偶数顺序(即，候选顺序0、2、4、6、....)。在一实施例中，该偶数顺序候选(即候选0、2、4、6、....)可被精化，而该奇数顺序候选(即候选1、3、5、7…)不被精化。在另一实施例中，仅仅具有索引(K*I+M)的候选被精化，其中K与M是预先定义的整数，并且I是一整数大于或者等于0。在另一实施例中，具有索引(K*I+M)的候选不被精化，其中K与M是预先定义整数，并且I是大于或者等于0的整数。
在精化后续的交错规则中，该非-精化的候选被移除并且剩余候选形成新的候选列表，以候选精化。
针对候选精化，排除空间候选或者一些候选类型
依据该方法，一些候选类型可被选择进行精化，另一些候选类型不进行精化。举例来说，空间候选总是不进行精化。
在另一实施例中，可排除一些候选类型并且形成新后续列表以候选精化。举例来说，其排除空间候选并且形成新的候选列表以候选精化。
上述方法可在编码器以及/或者解码器中实现。举例来说，所提出的方法可在编码器的帧间预测模块，以及/或者解码器的帧间预测模块中实现。
图6是依据本发明的实施例的基于初始MV的候选特性选择性精化初始候选的编解码系统的流程的举例说明。流程图所示的步骤，以及后续其他实施例中其他流程图，以可在编码器端以及/或者解码器端的一或多个处理器(例如一或多个CPU)执行的程序代码来实现。该流程图所示的步骤，也可基于硬件(例如一或多个配置为执行所属流程图的多个步骤的电子装置或者处理器)实现。依据该方法，在步骤610，接收在当前图像中与当前区块相关的输入数据。在步骤620，从候选列表决定当前区块的一或多个初始MV，其中至少一个候选是基于当前区块的一或多个相邻区块的运动信息来决定。在步骤630，基于至少一个初始MV的候选特征，选择性针对该至少一个初始MV执行候选精化来形成至少一个精化MV。在步骤640，使用包含该至少一个初始MV的修正候选列表，来编码或者解码该当前区块或该当前区块的一或多个MV。
图7是依据本发明的实施例通过搜寻在初始MV周围的8-连接位置的示例性编解码系统的举例流程图。依据该方法，在步骤710，接收与当前图像的当前区块相关的输入数据。在步骤720，决定当前区块的一或多个初始MV，以形成候选列表，其中至少一个候选是基于当前区块的一或多个相邻区块的运动信息来决定。在步骤730中，通过搜寻在该目标初始MV的周围的8-连接位置，精化目标初始MV来形成目标精化的初始MV，其中该8-连接位置对应于在水平方向以及/或者垂直方向的距离目标初始MV的1-像素距离的相邻位置。在步骤740，该当前区块或该当前区块的一或多个MV是使用包含该目标精化的初始MV的修正的候选列表来编码或者解码。
图8是依据本发明的实施例的使用双线性搜寻的编解码系统的举例说明，其中该双线性搜寻是基于在L0图像的修正的第一参考区域与在L1图像的修正的第二参考区域来精化初始L0 MV与初始的L1 MV。依据该方法，在步骤810，接收当前图像的当前区块的相关数据。在步骤820，决定当前区块的第一初始MV与第二初始MV，其中该第一MV指向在列表L0中的第一图像的第一初始参考区域，并且该第二MV指向在列表L1中的第二图像的第二初始参考区域。在步骤830，基于双线性搜寻，该第一初始MV与该第二初始MV是分别被精化为精化的第一MV与精化的第二MV，该双线性搜寻是使用从该第一初始参考区域获取的一修正的第一参考区域与从该第二初始参考区域获取的修正的第二参考区域。在步骤840，使用修正的候选列表来编码或者解码当前区块或者该当前区块的一或多个MV，该修改的候选列表包含对应于该第一精化MV与该第二精化MV的一解码器端获取MV。
图9是依据本发明的实施例的使用适应性搜寻窗口的实例性编解码系统的流程图。依据该方法，在步骤910，接收与当前图像的当前区块相关的输入数据。在步骤920，从候选列表，决定该当前区块的一或多个初始MV，其中至少一个候选是基于该当前区块的一或多个相邻区块的运动信息来决定的。在步骤930，通过搜寻在搜寻窗口内的多个位置，精化目标初始MV，以形成精化的目标初始MV，其中该搜寻窗口的候选范围是适应性决定的，其中该8-连接位置对应于在水平方向以及/或者垂直方向的距离目标初始MV的1-像素距离的相邻位置。在步骤940，使用修正的候选列表来编码或者解码当前区块或者该当前区块的一或多个MV，该修改的候选列表包含该精化的目标初始MV。
所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属领域中具有习知技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，透过用等同的语法和语义来替换该语法和语义，具有习知技术者可以实施本发明。
上述说明，使得所属领域中具有习知技术者能够在特定应用程序的内容及其需求中实施本发明。对所属领域中具有习知技术者来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的具有习知技术者理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (20)

1.一种视频编解码方法，该方法包含：
接收在当前图像中的当前区块的相关数据；
从候选列表决定该当前区块的一或多个初始运动向量，其中基于该当前区块的一或多个相邻区块的运动信息来决定至少一个候选；
选择性地基于至少一个初始运动向量的候选特性精化该至少一个初始运动向量，来形成至少一个精化的运动向量，以及
使用包含该至少一个初始运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
2.根据权利要求1所述的方法，其特征在于，该至少一个初始运动向量的该候选特性对应于在该候选列表中的候选位置。
3.根据权利要求2所述的方法，其特征在于，如果该至少一个初始运动向量是在后部候选列表中，该至少一初始运动向量是被精化。
4.根据权利要求1所述的方法，其特征在于，该至少一个初始运动向量的该候选特性对应于在该候选列表中的多个候选形成的多个交错的候选组合之间的联系。
5.根据权利要求4所述的方法，其特征在于，如果该至少一个初始运动向量是在第一交错的组合或者第二交错的组合中，该至少一个初始运动向量被精化，其中该第一交错组合具有偶数数值的候选，该第二交错的组合具有奇数数值的候选。
6.根据权利要求1所述的方法，其特征在于，该至少一个初始运动向量的该候选特性对应于属于候选组合的限制的候选，该候选组合是通过从初始候选组合中移除一或多个空间候选、或一或多个选择的类型的候选来形成的。
7.一种视频编解码装置，该装置包含一或多个电子电路或处理器，用于：
接收在当前图像中的当前区块的相关数据；
从候选列表决定该当前区块的一或多个初始运动向量，其中基于该当前区块的一或多个相邻区块的运动信息来决定至少一个候选；
选择性地基于至少一个初始运动向量的候选特性精化该至少一个初始运动向量，来形成至少一个精化的运动向量，以及
使用包含该至少一个初始运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
8.一种视频编解码方法，该方法包含：
接收在当前图像中的当前区块的相关数据；
从候选列表决定该当前区块的一或多个初始运动向量，其中基于该当前区块的一或多个相邻区块的运动信息来决定至少一个候选；
通过搜寻在目标初始运动向量周围的8-连接位置，来精化该目标初始运动向量，来形成精化的目标运动向量，其中该8-连接位置对应于在水平方向以及/或者垂直方向距离该目标初始运动向量1-像素距离的多个相邻位置；以及
使用包含该精化的目标运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
9.根据权利要求8所述的方法，其特征在于，如果该目标初始运动向量具有分数部分，该目标初始运动向量精化为整数像素值。
10.根据权利要求8所述的方法，其特征在于，该精化目标初始运动向量的步骤是通过使用在当前迭代中的精化的目标运动向量作为在下一次迭代中的目标初始运动向量来迭代执行。
11.一种视频编解码装置，该装置包含一或多个电子电路或处理器，用于：
接收在当前图像中的当前区块的相关数据；
从候选列表决定该当前区块的一或多个初始运动向量，其中基于该当前区块的一或多个相邻区块的运动信息来决定至少一个候选；
通过搜寻在目标初始运动向量周围的8-连接位置，来精化该目标初始运动向量，来形成精化的目标运动向量，其中该8-连接位置对应于在水平方向以及/或者垂直方向距离该目标初始运动向量1-像素距离的多个相邻位置；以及
使用包含该精化的目标运动向量的修正的候选列表，来编码或者解码该当前区块或者一或多个该当前区块的当前运动向量。
12.一种视频编解码方法，该方法包含：
接收在当前图像中的当前区块的相关数据；
决定该当前区块的第一初始运动向量与第二初始运动，其中该第一运动向量指向在列表0中的第一图像中的第一参考区域，并且该第二运动向量指向在列表1中的第二图像中的第二参考区域；
依据双线性搜寻来分别精化该第一初始运动向量与该第二初始运动向量为第一精化运动向量与第二精化运动向量，该双线性搜寻使用从该第一初始参考区域获取的修正的第一参考区域以及从该第二初始参考区域获取的修正的第二参考区域；以及
使用包含对应于该第一精化运动向量与该第二精化运动向量的解码器端获取运动向量，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
13.根据权利要求12所述的方法，其特征在于，该第一初始参考区域与该第二初始参考区域分别对应第一参考区块与第二参考区块，并且该修正第一参考区域与该修正第二参考区域分别对应于该第一参考区块与该第二参考区块中的多个部分像素或者子-采样像素。
14.根据权利要求12所述的方法，其特征在于，该第一初始参考区域与该第二初始参考区域分别对应第一参考区块与第二参考区块，并且该修正的第一参考区域对应于该第一参考区块的第一扩展区域并且该修正的第二参考区域对应于该第二参考区块的第二扩展区域。
15.根据权利要求12所述的方法，其特征在于，双线性模板是基于该修正的第一参考区域与该修正的第二参考区域来获取，其中该双线性搜寻使用该双线性模板与该第一初始参考区域周围的第一候选精化参考区域之间的绝对差之和作为成本标准来获取该第一精化运动向量，以及该双线性搜寻使用该双线性模板与该第一初始参考区域周围的第一候选精化参考区域之间的绝对差之和作为成本标准来获取该第二精化运动向量。
16.一种视频编解码装置，该装置包含一或多个电子电路或处理器，用于：
接收在当前图像中的当前区块的相关数据；
决定该当前区块的第一初始运动向量与第二初始运动，其中该第一运动向量指向在列表0中的第一图像中的第一参考区域，并且该第二运动向量指向在列表1中的第二图像中的第二参考区域；
依据双线性搜寻来分别精化该第一初始运动向量与该第二初始运动向量为第一精化运动向量与第二精化运动向量，该双线性搜寻使用修正的第一参考区域以及修正的第二参考区域；以及
使用包含对应于该第一精化运动向量与该第二精化运动向量的解码器端获取运动向量，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
17.一种视频编解码方法，该方法包含：
接收在当前图像中的当前区块的相关数据；
决定该当前区块的一或多个初始运动向量，其中至少一个初始运动是基于该当前区块的一或多个相邻区块的运动信息来决定；
通过在搜寻窗口中搜寻多个位置来精化目标初始运动向量以形成精化目标运动向量，其中该搜寻窗口的搜寻范围是适应性决定的；以及
使用包含该精化目标运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
18.根据权利要求17所述的方法，其特征在于，该搜寻窗口的搜寻范围是依据该当前区块的区块大小决定的。
19.根据权利要求17所述的方法，其特征在于，该搜寻窗口的搜寻范围是依据该初始目标运动向量的候选类型来适应性决定的。
20.一种视频编解码装置，该装置包含一或多个电子电路或处理器，用于：
接收在当前图像中的当前区块的相关数据；
从该当前区块的候选列表决定该当前区块的一或多个初始运动向量，其中至少一个候选是基于该当前区块的一或多个相邻区块的运动信息来决定；
通过在搜寻窗口中搜寻多个位置来精化目标初始运动向量以形成精化目标运动向量，其中该搜寻窗口的搜寻范围是适应性决定的；以及
使用包含该精化目标运动向量的修正的候选列表，来编码或者解码该当前区块或者该当前区块的一或多个当前运动向量。
CN201980026238.2A 2018-04-18 2019-04-17 在视频编解码中具有高级控制的候选重组 Pending CN112042196A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862659176P 2018-04-18 2018-04-18
US62/659,176 2018-04-18
US201862672615P 2018-05-17 2018-05-17
US62/672,615 2018-05-17
PCT/CN2019/082979 WO2019201264A1 (en) 2018-04-18 2019-04-17 Candidate reorganizing with advanced control in video coding

Publications (1)

Publication Number Publication Date
CN112042196A true CN112042196A (zh) 2020-12-04

Family

ID=68240129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026238.2A Pending CN112042196A (zh) 2018-04-18 2019-04-17 在视频编解码中具有高级控制的候选重组

Country Status (4)

Country Link
US (1) US20210120262A1 (zh)
CN (1) CN112042196A (zh)
TW (1) TWI720460B (zh)
WO (1) WO2019201264A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301349A (zh) * 2021-07-27 2021-08-24 杭州博雅鸿图视频技术有限公司 运动矢量选择方法、装置、电子设备及存储介质
WO2022214087A1 (en) * 2021-04-09 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023284817A1 (en) * 2021-07-15 2023-01-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116668678A (zh) * 2018-05-10 2023-08-29 Lg电子株式会社 图像编解码方法、计算机可读存储介质和数据发送方法
TWI729483B (zh) * 2018-09-04 2021-06-01 聯發科技股份有限公司 視訊編解碼系統的運動向量湊整統一的方法以及裝置
CN114287135A (zh) * 2019-08-23 2022-04-05 北京字节跳动网络技术有限公司 参考图片重采样中的剪切
EP4035356A4 (en) 2019-10-23 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SIGNALING FOR RE-SAMPLING REFERENCE IMAGE
EP4035379A4 (en) 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
US11895321B2 (en) 2021-03-29 2024-02-06 Qualcomm Incorporated Template matching based advanced motion vector predictor (AMVP) candidate list construction with non-adjacent candidates and AMVP index signaling
EP4315858A2 (en) * 2021-03-29 2024-02-07 Qualcomm Incorporated Template matching-based advanced motion vector predictor (amvp) candidate list construction with non-adjacent candidates and amvp index signaling
WO2023020446A1 (en) * 2021-08-16 2023-02-23 Mediatek Inc. Candidate reordering and motion vector refinement for geometric partitioning mode
US20230075788A1 (en) * 2021-09-01 2023-03-09 Tencent America LLC Template matching on ibc merge candidates
WO2023051645A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023052489A1 (en) * 2021-09-29 2023-04-06 Canon Kabushiki Kaisha Video coding and decoding
WO2023051646A1 (en) * 2021-09-30 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023098899A1 (en) * 2021-12-03 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023179783A1 (en) * 2022-03-25 2023-09-28 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
GB2617569A (en) * 2022-04-11 2023-10-18 Canon Kk Data coding and decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131091A (zh) * 2010-01-15 2011-07-20 联发科技股份有限公司 解码端运动向量导出方法
WO2018002021A1 (en) * 2016-06-30 2018-01-04 Thomson Licensing Video coding with adaptive motion information refinement
WO2018028559A1 (en) * 2016-08-08 2018-02-15 Mediatek Inc. Pattern-based motion vector derivation for video coding

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131091A (zh) * 2010-01-15 2011-07-20 联发科技股份有限公司 解码端运动向量导出方法
WO2018002021A1 (en) * 2016-06-30 2018-01-04 Thomson Licensing Video coding with adaptive motion information refinement
WO2018028559A1 (en) * 2016-08-08 2018-02-15 Mediatek Inc. Pattern-based motion vector derivation for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN XU 等: "Decoder-Side Motion Vector Refinement Based on Bilateral Template Matching", JVET OF ITU-T SG 16 WP3 AND ISO/IEC JTC I/SC 29/WG 11, pages 1 - 3 *
KAMP STEFFEN 等: "Decoder-Side Motion Vector Derivation for Block-Based Video Coding", IEEE, vol. 22, no. 12, XP011487149, DOI: 10.1109/TCSVT.2012.2221528 *
XIAOYU XIU 等: "Description of SDR, HDR, and 360° video coding technology proposal by InterDigital Communications and Dolby Laboratories", JVET OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018，JVET-J0015-V1, 14 April 2018 (2018-04-14), pages 2 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022214087A1 (en) * 2021-04-09 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023284817A1 (en) * 2021-07-15 2023-01-19 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
CN113301349A (zh) * 2021-07-27 2021-08-24 杭州博雅鸿图视频技术有限公司 运动矢量选择方法、装置、电子设备及存储介质
CN113301349B (zh) * 2021-07-27 2021-12-03 杭州博雅鸿图视频技术有限公司 运动矢量选择方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3769529A1 (en) 2021-01-27
WO2019201264A1 (en) 2019-10-24
US20210120262A1 (en) 2021-04-22
TWI720460B (zh) 2021-03-01
TW202002642A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
TWI720460B (zh) 在視訊編解碼中具有高級控制之候選重組
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
TWI720492B (zh) 使用雙向cu加權的視訊編解碼的方法和裝置
CN110651474B (zh) 用于视频编解码的运动向量限制方法和装置
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US11985324B2 (en) Methods and apparatuses of video processing with motion refinement and sub-partition base padding
US11218721B2 (en) Method and apparatus of motion compensation bandwidth reduction for video coding system utilizing multi-hypothesis
US11889099B2 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
EP3915261A1 (en) Method and apparatus of combined inter and intra prediction for video coding
CN111466116A (zh) 用于视频编解码系统的仿射帧间预测的方法和装置
WO2024078331A1 (en) Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding
WO2024027784A1 (en) Method and apparatus of subblock-based temporal motion vector prediction with reordering and refinement in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination