CN109964484B - 视频编码中用于运动向量符号预测的方法及装置 - Google Patents
视频编码中用于运动向量符号预测的方法及装置 Download PDFInfo
- Publication number
- CN109964484B CN109964484B CN201780069192.3A CN201780069192A CN109964484B CN 109964484 B CN109964484 B CN 109964484B CN 201780069192 A CN201780069192 A CN 201780069192A CN 109964484 B CN109964484 B CN 109964484B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- candidate
- current block
- template
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种运动向量重构的方法及装置,其基于一个运动向量预测子和一个运动向量差值。根据本方法,推导出对应于运动向量差值的所有候选符号对的候选重构运动向量位置,其中利用运动向量差值的一个候选符号对,每个候选重构运动向量位置被推导为运动向量预测子与运动向量差值的第一幅度和第二幅度的向量和。评估用于当前块的模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配。选择目标候选运动向量位置。使用对应于目标候选运动向量位置的目标候选运动向量,对当前块进行编码或者解码。
Description
交叉引用
本发明主张在2016年11月22日提出的申请号为62/425,172的美国临时专利申请的优先权,其内容以引用方式整体并入本文中。
技术领域
本发明涉及用于视频编码的运动向量预测。具体而言,本发明涉及一种运动向量符号推导或者预测,以提高运动向量编码的编码效率。
背景技术
高效视频编码(High-Efficiency Video Coding,HEVC)是一种由关于视频编码的联合合作小组(Joint Collaborative Team on Video Coding,JCT-VC)所开发的新的国际视频编码准则。HEVC是基于混合基于块运动补偿DCT样变换的编码结构。用于压缩的基础单元,称为编码单元(coding unit,CU),是2Nx2N方块,并且每个编码单元可以被递归分割成四个更小编码单元,直到达到预定义的最小尺寸。每个编码单元包含一个或多个预测单元(prediction unit,PU)。
为了实现HEVC中混合编码结构的最佳编码效率,存在两种预测模式以用于每个预测单元,其是帧内预测和帧间预测。对于帧内预测模式,空间相邻重构像素可以用于生成方向预测。HEVC中存在多达35种方向。对于帧间预测模式,时间重构参考信息框可以用于生成运动补偿预测。存在三种不同的模式,包括跳跃(Skip)模式、合并(Merge)模式和帧间高级运动向量预测(Advanced Motion Vector Prediction,AMVP)模式。
当以帧间高级运动向量预测模式编码预测单元时,利用可以与用于推导出运动向量的运动向量预测子(Motion Vector Predictor,MVP)一起使用的传输运动向量差值(motion vector difference,MVD),运动补偿预测被执行。为了帧间高级运动向量预测模式中的运动向量预测子,高级运动向量预测方案用于在包括两个空间运动向量预测子和一个时间运动向量预测子的高级运动向量预测候选集中选择运动向量预测子。因此,在高级运动向量预测模式中,用于运动向量预测子的运动向量预测子索引和相应的运动向量差值被需要以被编码和传输。另外,用来指定双向预测(bi-prediction)与列表0和列表1相关的单预测(uni-prediction)的预测方向和用于每个列表的参考信息框索引一起,也应被编码和传输。
当以跳跃模式或者合并模式编码预测单元时,除了所选择的候选的合并索引之外,没有运动信息被传输。这是因为跳跃模式和合并模式使用运动推理(motioninference)方法(即MV=MVP+MVD,其中MVD为0),以获得来自于位于同位(co-located)图像中的空间相邻块(空间候选)或者时间块(时间候选)的运动信息,其中,同位图像是列表0或列表1中的第一参考图像,其被发信在切片头中。在跳跃预测单元的情况中,参考发信也被忽略。为了确定跳跃模式和合并模式的合并索引,合并方案用于在包括四个空间运动向量预测子和一个时间运动向量预测子的合并候选集中选择运动向量预测子。
发明内容
本发明公开了一种运动向量重构的方法及装置,其在视频编码系统中基于一个运动向量预测子和一个运动向量差值。根据本方法,接收与包括当前图像中的当前块的视频序列相关的输入数据。自输入数据确定运动向量预测子以用于当前块。也确定与当前块相关的运动向量差值的第一幅度和第二幅度。推导出对应于运动向量差值的所有候选符号对的多个候选重构运动向量位置,其中利用运动向量差值的一个候选符号对,每个候选重构运动向量位置被推导为运动向量预测子与运动向量差值的第一幅度和第二幅度的向量和。确定用于当前块的模板,其中模板自当前块的多个相邻重构像素形成。评估用于当前块的模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配。基于包括所有候选重构运动向量位置中的最佳模板匹配的一个或多个性能准则,在所有候选重构运动向量位置中选择目标候选运动向量位置。使用对应于模板候选运动向量位置的模板候选运动向量,对当前块进行编码或者解码。
基于包括绝对差之和或者平方差之和的默认准则,评估范本匹配。性能准则还包括包括先前选择符号对或者先前运动向量预测子的统计的其他解码器侧的信息。在一个实施例中,若运动向量预测子或者运动向量差值具有分数像素精度,则基于相应模板的多个附近整数像素位置,评估用于当前块的模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配。在这种情况中,若用于两个候选重构运动向量位置的两个相应模板落入一相同位置,则两个相应模板的位置被修改以变成分开的。此外,两个相应模板的位置可以被修改以位于运动向量预测子的左边和右边,或者运动向量预测子的上端和下端。
本方法可以包括:基于一个运动向量预测子与一个候选重构运动向量位置之间的距离,修剪一个或多个候选重构运动向量位置,其中若特定候选重构运动向量位置相比于运动向量预测子更靠近候选运动向量预测子集中的另一个运动向量预测子,则特定候选重构运动向量位置被修剪,并不被评估以用于范本匹配。
通过发信一控制标志,是否使用目标候选运动向量编码或者解码当前块可以被显性地开启或者关闭。可选地,是否使用目标候选运动向量编码或者解码当前块也可以被隐性地开启或者关闭。例如,基于应用到运动向量差值的第一幅度和第二幅度的互斥或操作的结果,是否使用目标候选运动向量编码或者解码当前块可以被开启或者关闭。
对应于目标候选运动向量位置的所选择符号对可以用作一个预测子以用于编码或者解码运动向量差值的多个符号。使用单个二进制位或者最短码字,可以编码对应于运动向量差值的多个符号等于所选择符号对的预测命中条件。使用两个或以上二进制位,可以编码对应于运动向量差值的多个符号不等于所选择符号对的其他预测条件,其中其他预测条件包括水平翻转条件、垂直翻转条件和对角线翻转条件。生成以用于与当前图像中的多个块相关的多个预测条件的二值化位(bins)可以被上下文编码。
在另一实施例中,若运动向量差值的第一幅度和第二幅度中的任何一个为0,则来自于当前块的第一单符号可以与来自于另一块或者来自于另一预测列表中当前块的第二单符号组合在一起,以形成联合符号对,并且使用单个二进制位或者最短码字,可以编码对应于第一单符号和第二单符号均被正确预测的预测命中条件。使用两个或以上二进制位,可以编码对应于联合符号对中的至少一个不被正确预测的多个其他预测条件,其中多个其他预测条件包括第一单符号命中且第二单符号没命中的条件、第一单符号没命中且第二单符号命中的条件以及第一单符号和第二单符号均没命中的条件。
本发明的方面还提供了一种非暂时性计算机可读介质,存储有多个程序指令,使得装置的处理电路执行基于一个运动向量预测子和一个运动向量差值的运动向量重构的方法。在一些实施例中,接收与包括当前图像中的当前块的视频序列相关的输入数据。自输入数据确定运动向量预测子以用于当前块。也确定与当前块相关的运动向量差值的第一幅度和第二幅度。推导出对应于运动向量差值的所有候选符号对的多个候选重构运动向量位置,其中利用运动向量差值的一个候选符号对,每个候选重构运动向量位置被推导为运动向量预测子与运动向量差值的第一幅度和第二幅度的向量和。确定用于当前块的模板,其中模板自当前块的多个相邻重构像素形成。评估用于当前块的模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配。基于包括所有候选重构运动向量位置中的最佳模板匹配的一个或多个性能准则,在所有候选重构运动向量位置中选择目标候选运动向量位置。使用对应于模板候选运动向量位置的模板候选运动向量,对当前块进行编码或者解码。
附图说明
图1是基于运动向量预测子和运动向量差值的幅度的运动向量(motion vector,MV)重构的示例。
图2是根据本发明的使用模板匹配的用于运动向量差值的符号推导的示例。
图3是解码器侧使用例如候选符号位置与包括当前运动向量预测子和来自于候选运动向量预测子集的另一运动向量预测子的运动向量预测子之间的距离的可用信息修剪(prun)一个或多个候选符号位置的示例。
图4是根据本发明实施例的视频编码系统的示例性流程图,其中使用模板匹配推导出或者预测出运动向量差值的符号。
具体实施方式
以下描述为实施本发明的较佳实施例。本描述用于示出本发明的一般原理,并非用以限定作用。本发明的保护范围当视所附上的权利要求所界定为准。
当以帧间高级运动向量预测模式编码当前块(或者预测单元)时,运动向量预测子索引和用于X分量和Y分量的两个运动向量差值被编码,以表示运动向量。根据HEVC,对于每个运动向量差值,使用上下文自适应二进制算术编码(Context-Adaptive BinaryArithmetic Coding,CABAC)熵编码,单独编码幅度和符号。由于不同的统计,总是对幅度部分使用上下文位进行编码,而对符号部分使用旁路位(bypass bin)进行编码(即具有均等概率)。在本发明中,公开了一种方案,以更有效地编码运动向量差值符号(MVD signs)。
当使用运动向量预测子时,在解码器侧,使用运动向量预测子和运动向量差值重构运动向量。如图1所示,由于运动向量差值的符号未知,每个运动向量存在四种可能性。如图1所示,absMvdHor和absMvdVer分别是运动向量差值110的X分量和Y分量的绝对值(即幅度)。如本示例所示,如图1所示,如果运动向量差值的X分量和Y分量的符号均为正,则使用运动向量预测子加运动向量差值(即MV=MVP+MVD),可以推导出运动向量。如果解码器可以推断出正确的符号,则无需在比特流中编码这些符号。为了正确地执行解码流程,在编码器侧,也将执行相同的符号推导流程。在图1中,标记为运动向量预测子的圆圈表示运动向量预测子所指向的位置。用不同的符号对(即(+,+),(+,-),(-,+),(-,-))标记的四个圆圈对应于重构运动向量所指向的四个可能的符号位置。在本发明中,为求方便,运动向量差值也可以指具有运动向量差值X分量和运动向量差值Y分量的向量。
在一个实施例中,模板匹配方法用于解码器推导出正确的符号位置。推导出正确的符号位置的示例如图2所示,其中当前块(即214)的运动向量待解碼。当前块214的相邻重构像素用于形成范本(即210)。根据运动向量预测子索引,在解码器侧,可以推导出运动向量预测子。在编码器侧,运动向量预测子将自一个候选列表选择,并且所选择的运动向量预测子的索引被发信在比特流中。当在解码器侧解碼absMvdHor和absMvdVer时,如用不同符号对标记的四个圆圈所示,重构运动向量的四个可能位置可以被确定。位于每个可能重构运动向量位置(在本发明中也称为“候选重构运动向量位置”)处的相应模板可以被形成。在图2中,示出了用于对应于(-,+)的可能位置的相应模板(即220)。同样地,用于三个其他可能位置的模板可以被确定。用与用于当前块的范本相同数量的像素、形状和距离,相应范本被形成,以为了执行范本匹配。例如,模板210与模板220匹配。在用于所有四个可能位置的匹配结果被确定之后,基于预定准则(例如,绝对值差之和(sum of absolutiondifferences,SAD)或者平方差之和(sum of squared differences,SSD))的最佳匹配位置可以被推断成最终运动向量差值符号位置。在解码器侧可用的任何其他信息也可以用于辅助符号推导流程,并提高正确性。例如,符号位置、运动向量预测子位置等的先前统计可以被使用。
在另一实施例中,用于四个可能符号位置的模板可以被推导出,而无需使用正确的运动向量精度(MV precision)。例如,如果使用四分之一像素精度编码运动向量,则使用最接近整数位置,可以推导出模板位置。然而,与X方向或Y方向上的“-”符号和“+”符号相关的两个基于整数的模板位置可以落入到相同位置,特别对于较小的absMvdHor或absMvdVer可能会发生这种情况。如果这些基于整数的模板中的任意两个落入相同的位置,则约束或者规则可以被使用,以确保两个模板相互分开的。例如,如果两个模板落入相同的位置,则一个应位于运动向量预测子的左手边,另一个应位于运动向量预测子的右手边。可选地,一个应位于运动向量预测子上端处,另一个应位于运动向量预测子的下端处。
在另一实施例中,解码器处的可用信息可以用于提高符号预测推导流程的正确性。图3示出了一种示例,其中共存在两个运动向量预测子(MVP 1和MVP 2),且MVP 1由编码器使用以用于当前块。换言之,MVP 2在候选运动向量预测子集中,但不由编码器选择以作为用于当前块的运动向量预测子。在解码器侧,根据自符号位置到这两个运动向量预测子的相应距离,四个可能运动向量差值符号位置中的一个或多个可以被修剪。如本示例所示,如果(-,+)位置用于重构运动向量,则得到的运动向量位置将更靠近MVP 2位置,而不是MVP1位置。因此,符号位置可以被修剪,由于编码器将偏向符号位置与运动向量预测子位置之间的更短距离(即更小运动向量差值幅度)。如果(-,+)位置是正确位置,则编码器将选择MVP 2而非MVP 1。通过修剪一些符号位置,其可以降低选择错误符号位置的可能性,也降低所需计算,以用于评估范本匹配。
在另一实施例中,使用一个显性标志以开启或者关闭,可以发信符号推导流程。
在另一实施例中,使用隐性方法以开启或者关闭,可以确定符号推导流程。例如,当运动向量差值的X分量与运动向量差值的Y分量之间的XOR(即互斥或操作)导致偶数数字(即“0”)时,以开启本流程,否则以关闭。
在另一实施例中,推导符号位置可以使用预测子。使用残差,真实运动向量差值符号可以被编码。表1示出了码字表以使用符号预测子编码符号残差的示例。根据码字表,如果由推导符号流程推断的预测子与真实运动向量差值符号位置匹配,则仅一个二值化位(bins)或者二进制位(即表1中的“0”)需要被编码。另一方面,原始方法将需要两个二值化位(bins)或者二进制位(bit)(一个用于每个符号)以用于运动向量差值。如果预测子是错误的,且真实运动向量差值符号位置与推导符号位置的对角线符号位置匹配(称为本条件的对角线翻转(Diagonal flipping)),则需要更多二值化位或者二进制位(本示例中的三个)。然而,无论在本符号残差编码中使用多少二值化位或者二进制位,编码符号将不再使用具有等概率的旁路位(bypass bin)。相反,其可以使用具有更有效的自适应概率更新的上下文编码。表1也包括水平翻转预测条件和垂直翻转预测条件。水平翻转预测条件指的是真实运动向量差值符号位置与推导的符号位置的水平方向上其他符号位置匹配的条件。垂直翻转预测条件指的是真实运动向量差值符号位置与推导的符号位置的垂直翻转方向上其他符号位置匹配的条件。在表1所示的示例中,使用最短码字,与真实运动向量差值符号位置匹配(即对应于运动向量差值的符号的预测命中条件)的预测子被编码。
表1
码字 | |
预测命中 | 0 |
水平翻转 | 10 |
垂直翻转 | 110 |
对角线翻转 | 111 |
在另一实施例中,当运动向量差值的X分量和Y分量中的任何一个为0时,存在仅一个运动向量差值符号和用于非0分量的两个可能符号位置。在这种情况中,在表1中,仅一个码字被需要,以指示预测是命中还是没命中(即错过)。表1中的码字表仍然是可使用的。但是更有效的变形可以被使用。来自于不同预测列表或者不同块的两个单符号(singlesign)残差可以被组合成一个,然后使用表2中的码字表。在这种情景中,如表2所示,码字表将表示不同的语义。
表2
码字 | |
均命中 | 0 |
第一个命中,第二个错过 | 10 |
第一个错过,第二个命中 | 110 |
均错过 | 111 |
在另一实施例中,在编码器侧,在模式决策期间,自符号残差得到的二进制位可以被考虑,以为了选择最佳模式。此外,在用于搜索运动向量的运动估计期间,其也可以考虑用于每个运动向量位置的符号残差二进制位。换句话说,运动向量不仅生成最佳预测子以用于当前块,而且形成更少已编码二值化位以用于运动向量差值符号残差。
图4示出了根据本发明实施例的视频编码系统的示例性流程图,其中使用模板匹配推导出或者预测运动向量差值的符号。本流程图以及本发明中的其他流程图中所示的步骤可以被实现为编码器侧和/或解码器侧的一个或多个处理器(例如一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤也可以基于硬件被实现,例如用于执行该流程图中步骤的一个或者多个电子设备或者处理器。根据本方法,在步骤410中,接收与包括当前图像中的当前块的视频序列相关的输入数据。在解码器侧,输入数据可以对应于视频比特流或者用于视频序列的已压缩数据。在步骤420中,自输入数据确定用于当前块的运动向量预测子。在视频编码中已知的是,编码器可以自候选运动向量预测子集中选择运动向量预测子并发信与所选择的运动向量预测子相关的运动向量预测子索引。解码器可以根据运动向量预测子索引自候选运动向量预测子集中选择运动向量预测子。在步骤430中,确定与当前块相关的运动向量差值的第一幅度和第二幅度。编码可以自当前运动向量与运动向量预测子之间的差获得运动向量差值。运动向量差值的幅度被发信在比特流中。解码器可以自比特流中恢复运动向量差值的幅度。在步骤440中,推导出对应于运动向量差值的所有候选符号对的候选重构运动向量位置,其中每个候选重构运动向量位置利用运动向量差值的一个候选符号对,而被推导为运动向量预测子与运动向量差值的第一幅度和第二幅度的向量和。此相同步骤在编码器侧和解码器侧被执行。在步骤450中,确定用于当前块的模板,其中模板自当前块的相邻重构像素形成。随后,在步骤460中,执行用于当前块的范本与用于每个候选重构运动向量位置之间的模板匹配。在步骤470中,基于包括所有候选重构运动向量位置中的最佳目标匹配的一个或多个性能准则,在所有候选候选重构运动向量位置中选择目标候选运动向量位置。随后,在步骤480中,使用对应于目标候选运动向量位置的目标候选运动向量,将编码和解码应用到当前块。
本发明所示的流程图用于示出根据本发明的视频编码的示例。在不脱离本发明的精神的情况下,本领域的技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤来实施本发明。在本发明中,已经使用特定语法和语义来示出不同示例,以实施本发明的实施例。在不脱离本发明的精神的情况下,通过用等价的语法和语义来替换该语法和语义,本领域的技术人员可以实施本发明。
上述说明,使得本领域的普通技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说,所描述的实施例的各种变形将是显而易见的,并且本文定义的一般原则可以应用于其他实施例中。因此,本发明不限于所示和描述的特定实施例,而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中,说明了各种具体细节,以便透彻理解本发明。尽管如此,将被本领域的技术人员理解的是,本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如,本发明的实施例可以是集成在视频压缩芯片内的电路,或者是集成到视频压缩软件中的程序代码,以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor,DSP)上执行的程序代码,以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array,FPGA)所执行的若干函数。根据本发明,通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码,这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以被编译以用于不同的目标平台。然而,执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码,不会背离本发明的精神和范围。如上所述的本发明的实施例可以在视频编码器和视频解码器中实施。视频编码器和视频解码器的组件可以通过硬件组件、被配置为执行存储在内存中的程序指令的一个或多个处理器或者硬件与处理器的组合来实施。例如,一处理器执行程序指令,以控制接收与包括当前图像中的当前块的视频序列相关的输入数据。处理器被配置有单个处理核或者多个处理核。在一些示例中,处理器执行程序指令以执行编码器和解码器中一些组件中的功能,以及与处理器电耦接的内存用于存储程序指令,对应于块的重构图像的信息和/或编码流程或解码流程期间的中间数据。一些实施例中的内存包括非暂时性计算机可读介质,例如,半导体内存或者固态内存、随机访问内存(random access memory,RAM)、只读存储器(read-only memory,ROM)、硬盘、光盘或者其他适当的存储介质。内存也可以是上述列出的非暂时性计算机可读存储介质中的两个或者以上的组合。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的,而非限制性的。因此,本发明的范围由附加的权利要求来表示,而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。
Claims (20)
1.一种运动向量重构方法,该方法用于视频编码系统,其特征在于,基于一个运动向量预测子和一个运动向量差值,该方法包括:
接收与包括当前图像中的当前块的视频序列相关的输入数据;
自输入数据确定运动向量预测子以用于该当前块;
确定与该当前块相关的运动向量差值的第一幅度和第二幅度;
推导出对应于该运动向量差值的所有候选符号对的多个候选重构运动向量位置,其中利用该运动向量差值的一个候选符号对,每个候选重构运动向量位置被推导为该运动向量预测子与该运动向量差值的该第一幅度和该第二幅度的向量和;
确定用于该当前块的模板,其中该模板自该当前块的多个相邻重构像素形成;
评估用于该当前块的该模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配;
基于包括所有候选重构运动向量位置中的最佳模板匹配的一个或多个性能准则,在所有候选重构运动向量位置中选择目标候选运动向量位置;以及
使用对应于该目标候选运动向量位置的目标候选运动向量,对该当前块进行编码或者解码。
2.如权利要求1所述的运动向量重构方法,其特征在于,
基于包括绝对差之和或者平方差之和的默认准则,评估该模板匹配。
3.如权利要求1所述的运动向量重构方法,其特征在于,
该一个或多个性能准则还包括先前选择符号对或者先前运动向量预测子的统计的其他解码器侧的信息。
4.如权利要求1所述的运动向量重构方法,其特征在于,
若该运动向量预测子或者该运动向量差值具有分数像素精度,则基于该相应模板的多个附近整数像素位置,评估用于该当前块的该模板与用于每个候选重构运动向量位置的该相应模板之间的该模板匹配。
5.如权利要求4所述的运动向量重构方法,其特征在于,
若用于两个候选重构运动向量位置的两个相应模板落入相同位置,则该两个相应模板的位置被修改以变成分开的。
6.如权利要求5所述的运动向量重构方法,其特征在于,
该两个相应模板的位置被修改以位于该运动向量预测子的左边和右边,或者该运动向量预测子的上端和下端。
7.如权利要求1所述的运动向量重构方法,其特征在于,还包括:
基于一个运动向量预测子与一个候选重构运动向量位置之间的距离,修剪一个或多个候选重构运动向量位置,其中若特定候选重构运动向量位置相比于该运动向量预测子更靠近候选运动向量预测子集中的另一个运动向量预测子,则该特定候选重构运动向量位置被修剪,并不被评估以用于该模板匹配。
8.如权利要求1所述的运动向量重构方法,其特征在于,
通过发信一控制标志,是否使用该目标候选运动向量编码或者解码该当前块被显性地开启或者关闭。
9.如权利要求1所述的运动向量重构方法,其特征在于,
是否使用该目标候选运动向量编码或者解码该当前块被隐性地开启或者关闭。
10.如权利要求9所述的运动向量重构方法,其特征在于,
基于应用到该运动向量差值的该第一幅度和该第二幅度的互斥或操作的结果,是否使用该目标候选运动向量编码或者解码该当前块被开启或者关闭。
11.如权利要求1所述的运动向量重构方法,其特征在于,
对应于该目标候选运动向量位置的所选择符号对用作一预测子以用于编码或者解码该运动向量差值的多个符号。
12.如权利要求11所述的运动向量重构方法,其特征在于,
使用最短码字,对应于该运动向量差值的该多个符号等于该所选择符号对的预测命中条件被编码。
13.如权利要求11所述的运动向量重构方法,其特征在于,
使用单个二进制位,对应于该运动向量差值的该多个符号等于该所选择符号对的预测命中条件被编码。
14.如权利要求13述的运动向量重构方法,其特征在于,
使用两个或以上二进制位,对应于该运动向量差值的该多个符号不等于该所选择符号对的多个其他预测条件被编码,其中该多个其他预测条件包括水平翻转条件、垂直翻转条件和对角线翻转条件。
15.如权利要求14所述的运动向量重构方法,其特征在于,
生成以用于与该当前图像中的多个块相关的多个预测条件的二值化位被上下文编码。
16.如权利要求1所述的运动向量重构方法,其特征在于,
若该运动向量差值的该第一幅度和该第二幅度中的任何一个为0,则来自于该当前块的第一单符号与来自于另一块或者来自于另一预测列表中该当前块的第二单符号组合在一起,以形成联合符号对。
17.如权利要求16述的运动向量重构方法,其特征在于,
使用单个二进制位或者最短码字,对应于该第一单符号和该第二单符号均被正确预测的预测命中条件被编码。
18.如权利要求16所述的运动向量重构方法,其特征在于,
使用两个或以上二进制位,对应于该联合符号对中的至少一个不被正确预测的多个其他预测条件被编码,其中该多个其他预测条件包括第一单符号命中且第二单符号没命中的条件、第一单符号没命中且第二单符号命中的条件以及该第一单符号和该第二单符号均没命中的条件。
19.一种运动向量重构的装置,该装置用于视频编码系统,其特征在于,基于一个运动向量预测子和一个运动向量差值,该装置包括一个或多个电子设备或者处理器,其中,
第一处理器,用于:
接收与包括当前图像中的当前块的视频序列相关的输入数据;
自输入数据确定运动向量预测子以用于该当前块;
确定与该当前块相关的运动向量差值的第一幅度和第二幅度;
推导出对应于该运动向量差值的所有候选符号对的多个候选重构运动向量位置,其中利用该运动向量差值的一个候选符号对,每个候选重构运动向量位置被推导为该运动向量预测子与该运动向量差值的该第一幅度和该第二幅度的向量和;
确定用于该当前块的模板,其中该模板自该当前块的多个相邻重构像素形成;
评估用于该当前块的该模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配;
基于包括所有候选重构运动向量位置中的最佳模板匹配的一个或多个性能准则,在所有候选重构运动向量位置中选择目标候选运动向量位置;以及
第二处理器,使用对应于该目标候选运动向量位置的目标候选运动向量,对该当前块进行编码或者解码。
20.一种非暂时性计算机可读介质,其特征在于,存储有多个程序指令,使得一装置的处理电路执行基于一个运动向量预测子和一个运动向量差值的运动向量重构的方法,且该方法包括:
接收与包括当前图像中的当前块的视频序列相关的输入数据;
自输入数据确定运动向量预测子以用于该当前块;
确定与该当前块相关的运动向量差值的第一幅度和第二幅度;
推导出对应于该运动向量差值的所有候选符号对的多个候选重构运动向量位置,其中利用该运动向量差值的一个候选符号对,每个候选重构运动向量位置被推导为该运动向量预测子与该运动向量差值的该第一幅度和该第二幅度的向量和;
确定用于该当前块的模板,其中该模板自该当前块的多个相邻重构像素形成;
评估用于该当前块的该模板与用于每个候选重构运动向量位置的相应模板之间的模板匹配;
基于包括所有候选重构运动向量位置中的最佳模板匹配的一个或多个性能准则,在所有候选重构运动向量位置中选择目标候选运动向量位置;以及
使用对应于该目标候选运动向量位置的目标候选运动向量,对该当前块进行编码或者解码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662425172P | 2016-11-22 | 2016-11-22 | |
US62/425,172 | 2016-11-22 | ||
PCT/CN2017/112140 WO2018095313A1 (en) | 2016-11-22 | 2017-11-21 | Method and apparatus for motion vector sign prediction in video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109964484A CN109964484A (zh) | 2019-07-02 |
CN109964484B true CN109964484B (zh) | 2021-11-09 |
Family
ID=62196152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780069192.3A Active CN109964484B (zh) | 2016-11-22 | 2017-11-21 | 视频编码中用于运动向量符号预测的方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10701392B2 (zh) |
CN (1) | CN109964484B (zh) |
TW (1) | TWI655864B (zh) |
WO (1) | WO2018095313A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10701391B2 (en) * | 2017-03-23 | 2020-06-30 | Qualcomm Incorporated | Motion vector difference (MVD) prediction |
JP7159354B2 (ja) | 2018-06-07 | 2022-10-24 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | 適応的動きベクトル解像度を用いるビデオ信号処理方法及び装置 |
TWI706670B (zh) * | 2018-06-19 | 2020-10-01 | 大陸商北京字節跳動網絡技術有限公司 | 廣義運動向量差解析度 |
CN116033150A (zh) | 2018-09-08 | 2023-04-28 | 北京字节跳动网络技术有限公司 | 不同视频块尺寸的仿射模式计算 |
TWI827681B (zh) | 2018-09-19 | 2024-01-01 | 大陸商北京字節跳動網絡技術有限公司 | 具有自適應運動矢量分辨率的仿射模式的語法重用 |
CN117676134A (zh) | 2019-04-25 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 对运动矢量差的约束 |
CN114026861B (zh) | 2019-06-25 | 2023-11-17 | 北京字节跳动网络技术有限公司 | 对运动矢量差的约束 |
CN113676737A (zh) * | 2021-08-02 | 2021-11-19 | 上海影谱科技有限公司 | 一种基于gpu的高效视频编码器及编码方法 |
US20230094825A1 (en) * | 2021-09-28 | 2023-03-30 | Qualcomm Incorporated | Motion vector difference sign prediction for video coding |
US20230128313A1 (en) * | 2021-10-21 | 2023-04-27 | Tencent America LLC | Adaptive Resolution for Single-Reference Motion Vector Difference |
WO2023131546A1 (en) * | 2022-01-04 | 2023-07-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Motion vector difference derivation |
WO2023207649A1 (en) * | 2022-04-29 | 2023-11-02 | Mediatek Inc. | Method and apparatus for decoder-side motion derivation in video coding system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102714720A (zh) * | 2009-11-18 | 2012-10-03 | Sk电信有限公司 | 通过选择一组预测候选运动向量来对运动向量进行编码/解码的方法和装置以及使用所述方法和装置进行图像编码/解码的方法和装置 |
CN104519363A (zh) * | 2013-09-26 | 2015-04-15 | 汤姆逊许可公司 | 视频编/解码方法、对应计算机程序及视频编/解码设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10536701B2 (en) * | 2011-07-01 | 2020-01-14 | Qualcomm Incorporated | Video coding using adaptive motion vector resolution |
US20140078249A1 (en) * | 2012-09-20 | 2014-03-20 | Qualcomm Incorporated | Indication of frame-packed stereoscopic 3d video data for video coding |
US20140092962A1 (en) * | 2012-10-01 | 2014-04-03 | Sony Corporation | Inter field predictions with hevc |
WO2015033510A1 (ja) * | 2013-09-09 | 2015-03-12 | 日本電気株式会社 | 映像符号化装置、映像符号化方法及びプログラム |
US10462462B2 (en) * | 2016-09-29 | 2019-10-29 | Qualcomm Incorporated | Motion vector difference coding technique for video coding |
US10979732B2 (en) * | 2016-10-04 | 2021-04-13 | Qualcomm Incorporated | Adaptive motion vector precision for video coding |
-
2017
- 2017-11-21 US US16/462,559 patent/US10701392B2/en active Active
- 2017-11-21 WO PCT/CN2017/112140 patent/WO2018095313A1/en active Application Filing
- 2017-11-21 TW TW106140281A patent/TWI655864B/zh active
- 2017-11-21 CN CN201780069192.3A patent/CN109964484B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102714720A (zh) * | 2009-11-18 | 2012-10-03 | Sk电信有限公司 | 通过选择一组预测候选运动向量来对运动向量进行编码/解码的方法和装置以及使用所述方法和装置进行图像编码/解码的方法和装置 |
CN104519363A (zh) * | 2013-09-26 | 2015-04-15 | 汤姆逊许可公司 | 视频编/解码方法、对应计算机程序及视频编/解码设备 |
Also Published As
Publication number | Publication date |
---|---|
TWI655864B (zh) | 2019-04-01 |
WO2018095313A1 (en) | 2018-05-31 |
TW201826799A (zh) | 2018-07-16 |
US10701392B2 (en) | 2020-06-30 |
CN109964484A (zh) | 2019-07-02 |
US20190289317A1 (en) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109964484B (zh) | 视频编码中用于运动向量符号预测的方法及装置 | |
US11503333B2 (en) | Unified merge candidate list usage | |
CN110169061B (zh) | 编解码电子装置与方法 | |
US10412406B2 (en) | Method and apparatus for deriving temporal motion vector prediction | |
CN108781295B (zh) | 视频编码的样式基础的运动向量推导之方法及装置 | |
US10412407B2 (en) | Method and apparatus of inter prediction using average motion vector for video coding | |
US10257536B2 (en) | Method of temporal derived bi-directional motion vector for motion vector prediciton | |
US10097850B2 (en) | Method and apparatus for removing redundancy in motion vector predictors | |
CN110278437B (zh) | 一种视频数据块的编码方法 | |
US20210136400A1 (en) | Method and apparatus of merge mode derivation for video coding | |
US20170223379A1 (en) | Method of Block Vector Clipping and Coding for Screen Content Coding and Video Coding | |
WO2020038349A1 (en) | Methods and apparatus for generating affine candidates | |
CN111418214B (zh) | 使用重建像素点的语法预测 | |
US10298951B2 (en) | Method and apparatus of motion vector prediction | |
US11805271B2 (en) | Decoupled mode inference and prediction | |
KR102463478B1 (ko) | 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치 | |
RU2795830C2 (ru) | Способ и устройство для видеокодирования c использованием улучшенного режима слияния с разностью векторов движения | |
CN117643054A (zh) | 具有运动矢量细化的几何分区模式 | |
CN117321990A (zh) | 具有运动矢量细化的几何分区模式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |