CN110691248A - 在视频编解码系统中生成平均候选用于帧间图像预测的方法以及装置 - Google Patents

在视频编解码系统中生成平均候选用于帧间图像预测的方法以及装置 Download PDF

Info

Publication number
CN110691248A
CN110691248A CN201910605315.1A CN201910605315A CN110691248A CN 110691248 A CN110691248 A CN 110691248A CN 201910605315 A CN201910605315 A CN 201910605315A CN 110691248 A CN110691248 A CN 110691248A
Authority
CN
China
Prior art keywords
candidate
block
current
motion
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910605315.1A
Other languages
English (en)
Inventor
萧裕霖
庄子德
徐志玮
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110691248A publication Critical patent/CN110691248A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频处理方法以及装置通过构造包括至少一个运动候选以及至少一个平均候选的候选集用于对当前块进行编解码。从相邻块的运动信息推导所述平均候选，以及用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块。每一所述相邻块是当前图像中的空间相邻块或者时间同位图像中的时间块。从所述候选集确定所选择的候选作为运动向量预测子用于对所述当前块的运动向量进行编码或解码。

Description

在视频编解码系统中生成平均候选用于帧间图像预测的方法 以及装置
相关引用
本发明要求于2018年7月6日递交的，号码为62/694,557，标题为“Method ofAveraged MV in Inter Mode and Merge Mode Coding”的美国临时专利申请案，于2018年10月3日递交的，号码为62/740,568，标题为“Average MVPs or Average MergeCandidates Pruning in Video Coding”的美国临时专利申请案以及于2018年10月4日递交的，号码为62/741,246，标题为“Method of Averaged MV and sub-block mode inInter Mode and Merge Mode Coding”的美国临时专利申请案的优先权。临时专利申请案在本文通过引用纳入其中。
技术领域
本发明涉及视频编码以及解码系统中视频处理方法以及装置。具体地，本发明涉及从相邻块的运动信息生成平均候选用于帧间图像预测。
背景技术
高效视频编解码(HEVC)标准是来自ITU研究小组的视频编解码专家的联合视频编码小组(JCT-VC)开发的最新的视频编解码标准。HEVC标准改善了它延续的标准H.264/AVC的压缩性能来满足更高图像分辨率、更高帧率以及更好视频质量的需求。HEVC标准依赖于基于块的编解码结构，将每一视频切片(slice)拆分成多个正方形编解码树单元(CTU)，其中CTU是HEVC中视频压缩的基本单元。在HEVC的主规格中，通过在序列参数集(SequenceParameter Set，SPS)中发信的语法元素指定CTU的最小以及最大尺寸。光栅扫描次序用于编码或解码每一切片中的CTU。每一CTU可以包含一个编码单元(CU)或根据四叉树分割结构递归地被拆分成四个更小的CU直到达到预定的最小CU尺寸。在四叉树分割结构的每一深度，NxN块是单个叶CU或者被拆分成四个尺寸为N/2xN/2的块，其是编码树节点。如果编码树节点不被进一步拆分，它是叶CU。叶CU尺寸被限制为大于或等于预定最小CU尺寸，其也在SPS中指定。
预测决定在CU级做出，其中每一CU使用帧间图像预测(inter pictureprediction)或帧内图像预测(intra picture prediction)进行编码。一旦完成了CU分层树的拆分，每一CU根据用于预测的PU分割类型，进一步被拆分成一个或多个预测单元(prediction unit，PU)。因为对PU中的所有像素应用相同的预测进程，PU作为用于共享预测信息的基础代表块。预测信息在PU的基础上被传达到解码器。帧间图像预测中的运动估计识别一个或两个参考图像中用于当前块的一个(单向预测)或两个(双向预测)最佳参考块，以及帧间图像预测中的运动补偿根据一个或两个运动向量(MV)定位一个或多个两个最佳参考块。当前块与对应的预测子之间的差异称为预测残差。当使用单向预测时，对应的预测子是最佳参考块。当使用双向预测时，两个参考块被组合来形成预测子。根据另一个四叉树块分割结构，预测残差属于被拆分成一个或多个转换单元的CU，用于将残差数据转换成转换系数用于紧凑的数据表示。TU是用于对残差数据应用转换以及量化的基础代表块。对于每一CU，具有与TU相同尺寸的转换矩阵被应用于残差数据来生成转换系数，以及这些转换系数在TU的基础上被量化并传达到解码器。
术语编码树块(CTB)、编码块(CB)、预测块(PB)以及转换块(TB)分别被定义来指定与CTU、CU、PU以及TU有关的一个色彩分量的二维样本阵列。例如，一个CTU包括一个亮度CTB、两个对应的色度CTB以及它相关的语法元素。
帧间图像预测模式在HEVC中有三个帧间图像预测模式，包括帧间、跳过以及合并模式。在这些帧间图像预测模式中使用运动向量预测来减少运动信息编解码所需要的比特。运动向量预测进程包括生成包含多个空间以及时间运动候选的候选集，以及修剪候选集来移除冗余。应用运动向量竞争(Motion Vector Competition，MVC)方案来在候选集中选择最终运动候选。帧间模式也称为高级运动向量预测(AMVP)，其中当在帧间模式中编码PU时，帧间预测指示符、参考图像索引、运动向量差(MVD)以及预测残差被传输。PU的帧间预测指示符描述预测方向，如list 0预测、list 1预测或者双向预测。索引也被传输用于每一预测方向以从候选集选择一个运动候选。用于帧间模式的默认候选集包括两个空间运动候选以及一个时间运动候选。图1示出了用于为在帧间模式、跳过模式或合并模式中编码的PB10推导候选集的多个运动候选的位置。用于帧间模式的候选集中两个空间运动候选包括左边候选以及上方候选。从左下方到左边，从块A0 111到块A1 112搜索用于当前PB 10的左边候选，以及第一可用块的MV被选为左边候选，而从右上方到左边，从块B0 113到块B1 114然后块B2 115搜索上方候选，以及第一可用块的MV被选为上方候选。具有运动信息的块，或换言之，在帧间图像预测中编码的块，被定义为可用块。时间运动候选是第一可用块的MV，第一可用块是从邻近于同位块12的右下角的块TBR 121以及参考图像中同位块12内部的块TCTR122选择的。通过在切片数据头中发信旗标以及参考索引来指定使用哪一参考图像列表以及参考图像列表中的哪一参考图像，参考图像被指示。
为了增加在帧间模式中运动信息编解码的编解码效率，跳过以及合并模式被提出并在HEVC标准中被采用，通过从空间相邻块或时间同位块继承运动信息来进一步减少发信运动信息所需要的数据比特。对于在跳过或合并模式中编码的PU，因为PU再使用所选择最终候选的运动信息，仅所选择的最终候选的索引被编码而不是运动信息。由PU再使用的运动信息包括运动向量、帧间预测指示符以及所选择最终候选的参考图像索引。注意到，如果所选择最终候选是时间运动候选，参考图像索引总是被设置为0。当PU在合并模式中编码时，预测残差被编码，然而，因为跳过模式中编码的PU的残差数据被强制为0，跳过模式进一步跳过预测残差的信令。
合并候选集由至多四个空间运动候选以及一个时间运动候选组成。如图1所述，第一合并候选是左边块A1 112的运动信息，第二合并候选是上方块B1 114的运动信息，第三合并候选是右上方块B0 113的运动信息以及第四合并候选是左下块A0 111的运动信息。左上方块B2 115的运动信息被包括于合并候选集中来替代不可用空间块的候选。第五合并候选是第一可用时间块TBR 121以及TCTR 122的时间块的运动信息。编码器基于MVC(如通过率失真优化(RDO)决定)从用于在跳过或合并模式中编码的每一PU选择一个最终候选，以及表示所选择最终候选的索引被发信到解码器。解码器根据在视频比特流中传输的索引从候选集中选择相同的最终候选。
在推导用于帧间、合并或跳过模式的候选集后执行修剪进程来检查候选集中候选之间的冗余。在移除一个或多个冗余或不可用候选后，可以在编码器或解码器侧两者动态地调整候选集的尺寸，以及用于指示所选择最终候选的索引可以使用截断一元二进制(truncated unary binarization)进行编码来减少所需要的数据比特。然而，虽然候选集的动态尺寸带来了编码增益，它也引入了潜在的解析问题。当先前图像的MV未被正确地解码并且这一MV被选择为时间运动候选时，可能会发生编码器侧与解码器侧之间推导的候选集的不匹配。因此在候选集中存在解析错误并且它会严重地传播。解析错误可能传播到其余的当前图像以及甚至到后续允许时间运动候选的帧间编码的图像。为了阻止这种解析错误传播，使用用于帧间模式、跳过模式或者合并模式的固定候选集尺寸来分离在编码器以及解码器侧的候选集构造与索引解析。为了补偿由固定候选集尺寸造成的编解码损失，在修剪进程后，额外的候选被分配到候选集中的空白位置。用于指示所选择最终候选的索引被用最大长度的阶段一元码进行编码，例如，最大长度在切片数据头中被发信用于跳过以及合并模式，以及对于HEVC中的AMVP模式，固定为2。
对于为在帧间模式中编码的块构造的候选集，在根据当前HEVC标准推导以及修剪两个空间运动候选以及一个时间运动候选后，0运动向量候选被添加来填充候选集中的空白位置。对于HEVC中的跳过以及合并模式，在推导以及修剪四个空间运动候选以及一个时间运动候选后，如果可用候选的数目小于固定候选集尺寸，两种类型的额外候选被推导以及添加来填充候选集中的空白位置。用于填充候选集的两种类型的额外候选包括组合的双向预测运动候选以及0运动向量候选。通过根据预定次序组合已包括在候选集中的两个原始运动候选创造组合的双向预测运动候选。图2示出了推导组合的双向预测运动候选用于合并候选集的示例。图2中的合并候选集22在修剪进程后，仅包含list 0中具有ref0的mvL0_A以及list 1中具有ref0的mvL1_B两个运动候选，以及这两个运动候选都是单向预测运动候选，第一运动候选mvL0_A从过去图像L0R0 264(list 0中的参考图像0)预测当前图像262中的当前块以及第二运动候选mvL1_B从未来图像L1R0 266(list 1中的参考图像0)预测当前图像262中的当前块。组合的双向预测运动候选组合第一以及第二运动候选来形成双向预测运动向量，其运动向量指向每一列表的参考块。通过对由两个运动向量指出的两个参考块求平均推导这一组合的双向预测运动候选的预测子。图2中更新的候选集24包括这一组合的双向预测运动候选作为第三运动候选(MergeIdx＝2)。在候选集中添加组合的双向预测运动候选用于跳过或合并模式后，当仍有一个或多个空白位置时，一个或多个0运动候选可以被添加到候选集。
非邻近合并候选非邻近合并候选推导方法被提出来将来自当前块的相邻4x4块的空间运动候选的位置扩展到左边96像素以及上方96像素范围内的非邻近4x4块。图3示出了推导空间运动候选用于合并候选集的构造的各种可能位置，其中位置包括邻近以及非邻近空间相邻块。用于当前块30的合并候选集中的空间运动候选可以从邻近空间4x4块A、B、C、D以及E的运动信息，以及左边96像素以及上方96像素范围内的非邻近4x4块(如A’、B’、C’、D’以及E’)的运动信息中推导。相比于传统的合并候选推导方法，非邻近合并候选推导方法需要更多的存储器来存储运动信息，例如，左边96像素以及上方96像素范围内的非邻近空间4x4块的运动信息被存储用于推导非邻近合并候选。
子块时间运动向量预测在许多最近开发的编解码工具中采用了子块运动补偿来增加预测进程的精确性。通过子块运动补偿编码的CU或PU被拆分成多个子块，以及CU或PU内的这些子块可能具有不同的参考图像以及不同的MV。子块时间运动向量预测(子块TMVP，SbTMVP)是通过包括至少一个SbTMVP候选作为合并候选集中的候选，应用到合并模式的子块运动补偿。当前PU被分割成较小的多个子PU，以及搜索多个子PU的对应的时间同位运动向量。图4中示出了SbTMVP的示例，其中尺寸为MxN的当前PU 41被拆分成(M/P)x(N/Q)个子PU，每一子PU的尺寸是PxQ，其中M被P整除以及N被Q整除。SbTMVP模式的具体算法可以以三个步骤描述如下：
步骤1：初始运动向量被分配给当前PU 41，标记为vec_init。初始运动向量通常是多个空间相邻块中的第一可用候选。例如，List X是用于搜索同位信息的第一列表，以及vec_init被设置为第一可用空间相邻块的List X MV，其中X是0或1。X的值(0或1)取决于哪一列表更适合继承运动信息，例如，当参考图像与当前图像之间的图像次序计算(POC)比Lsit 1中的POC距离更近时，List 0是用于搜索的第一列表。List X分配可以在切片级或图像级执行。在获得初始运动向量后，“同位图像搜索进程”开始为当前PU中的所有子PU寻找主要同位图像，标记为main_colpic。由第一可用空间相邻块选择的参考图像被首先搜索，之后，当前图像的所有参考图像被顺序地搜索。对于B切片，在搜索由第一可用空间相邻块选择的参考图像后，搜索从第一列表(List 0或List 1)参考索引0开始，然后索引1，然后索引2，直到第一列表中的最后一个参考图像，当第一列表中参考图像都被搜索后，第二列表中的参考图像被逐一地搜索。对于P切片，由第一可用空间相邻块选择的参考图像被首先搜索，紧接着从参考索引0，然后索引1，然后索引2以及等等的列表中所有参考图像。在同位图像搜索进程期间，“可用性检查”检查通过由vec_init_scaled指出的当前块的中心位置周围的同位子PU是由帧间或帧内模式编码用于每一已搜索的图像。vec_init_scaled是具有来自vec_init适当MV缩放的MV。确定“中心位置周围”的一些示例是尺寸为MxN的PU的中心像素(M/2，N/2)，当前子PU的中心像素，或者取决于当前PU的形状的中心像素或中心子PU的中心像素的混合。当由vec_init_scaled定位的中心位置周围的同位子PU是由帧间模式编码时，可用性检查结果为真。当用于当前已搜索图像的可用性检查结果为真时，当前已搜索图像被记录为主同位图像main_colpic以及完成同位图像搜索进程。如果可用性检查结果为真，中心位置周围的MV被使用以及被缩放用于当前块来推导默认MV。如果可用性检查结果为假，即当由vec_init_scaled定位的中心位置周围的同位子PU由帧内模式编码时，其继续搜索下一个参考图像。当vec_init的参考图像不等于原始参考图像时，在同位图像搜索进程期间需要MV缩放。取决于当前图像与vec_init的参考图像以及已搜索参考图像之间的时间距离分别对MV进行缩放。在MV缩放后，已缩放的MV被标记为vec_init_scaled。
在步骤2中：为每一子PU定位main_colpic中的同位位置。例如，在时间同位图像42(main_colpic)中首先定位用于子PU 411以及子PU 412的对应的位置421以及位置422。用于当前子PU i的同位位置计算如下：
同位位置x＝Sub-PU_i_x+vec_init_scaled_i_x(整数部分)+shift_x,
同位位置y＝Sub-PU_i_y+vec_init_scaled_i_y(整数部分)+shift_y,
其中Sub_PU_i_x表示当前图像中子PU i的水平的左上方位置，Sub_PU_i_y表示当前图像中子PU i的垂直的左上方位置，vec_init_scaled_i_x表示用于子PU i的已缩放的初始运动向量(vec_init_scaled_i)的水平分量，vec_init_scaled_i_y表示vec_init_scaled_i的垂直分量，以及shift_x以及shift_y分别表示水平移位(shift)值以及垂直移位值。为了减少计算复杂度，仅Sub_PU_i_x与Sub_PU_i_y的整数位置，以及vec_init_scaled_i_x与vec_init_scaled_i_y的整数部分被用于计算。在图4中，同位位置425是由来自子PU 411的位置421的vec_init_sub_0 423定位以及同位位置426是由来自子PU 412的位置422的vec_init_sub_1 424定位。
在SbTMVP模式的步骤3中，从同位位置x以及同位位置y上的collocated_picture_i_L0以及collocated_picture_i_L1获得每一子PU的运动信息(MI)，标记为SubPU_MI_i。MI被定义为一组{MV_x、MV_y、参考列表、参考索引以及其他合并模式敏感信息(如局部亮度补偿旗标)}。此外，MV_x以及MV_y可以根据同位图像、当前图像以及同位MV的参考图像之间的距离关系进行缩放。如果MI对于一些sub_PU不可用，中心位置周围的sub_PU的MI将被使用，或者换言之，默认MV将被使用。如图4所示，从同位位置425获得的subPU0_MV 427以及从同位位置426获得的subPU1_MV 428分别用于推导子PU 411以及子PU 412的预测子。当前PU41中的每一子PU根据在对应的同位位置上获得的MI推导它自己的预测子。
空间-时间运动向量预测在JEM-3.0中，空间-时间运动向量预测(STMVP)技术被用于推导将被包含在跳过或合并模式的候选集中的新的候选。使用时间以及空间运动向量预测子遵循光栅扫描次序递归地推导子块的运动向量。图5示出了具有四个子块的CU以及其相邻块用于推导STMVP候选的示例。图5中的CU是包含四个4x4子块A、B、C以及D的8x8块，以及当前图像中相邻NxN块被标记为a、b、c以及d。通过识别子块A的两个空间相邻块开始子块A的STMVP候选推导。第一相邻块c是子块A上方的NxN块，以及第二相邻块b是子块A的左边的NxN块。如果块c不可用或者块c是帧内编码，从块c开始，子块A上方的其他NxN块从左到右被检查。如果块b不可用或者块b是帧内编码，从块b开始，子块A左边的其他NxN块从上到下被检查。针对每一列表从两个相邻块获得的运动信息被缩放为给定列表的第一参考图像。通过遵循与HEVC标准中指定的相同的时间运动向量预测子(TMVP)推导进程，然后推导子块A的TMVP。在位置D的同位块的运动信息被提取以及被相应地缩放。最后，针对每一参考列表分别对所有可用运动向量求平均。平均的运动向量被分配作为当前子块的运动向量。
仿射MCP仿射运动补偿预测(仿射MCP)是为预测除平移运动(translationmotion)之外的各种类型运动开发的技术。例如，旋转、放大、缩小，透视运动以及其他不规则运动。如图6A所示，示例性简化的仿射转换MCP被应用于联合勘探测试模型(JEM-3.0)来改善编解码效率。由两个控制点611以及612的运动向量613以及614描述当前块61的仿射运动场。块的运动向量场(Motion Vector Field，MVF)由如下等式进行描述：
Figure BDA0002120502860000101
其中(v0x,v0y)表示左上角控制点611的运动向量613，以及(v1x,v1y)表示右上角控制点612的运动向量614。
应用基于块的仿射转换预测而不是基于像素仿射转换预测来进一步简化仿射运动补偿预测。图6B示出了将当前块62分成多个子块以及将仿射MCP应用于每一子块。如图6B所示，根据上述等式计算每一4x4子块的中心样本的运动向量，以及然后被四舍五入到1/16分数精度，其中(v0x,v0y)表示左上角控制点621的运动向量623，(v1x,v1y)表示右上角控制点622的运动向量624。根据推导的运动向量应用运动补偿插值(interpolation)来为每一子块生成预测子。在执行运动补偿预测后，每一子块的高精度运动向量被四舍五入以及用相同的精度存储为正常的运动向量。
通过从对应于仿射编码的相邻块的候选集中选择候选或者从候选集中选择仿射候选，仿射MCP被应用于在合并模式或AMVP模式中编码的块。然后通过集成所选择仿射编码的相邻块或仿射候选的仿射参数，在仿射MCP中对块进行编码。例如，当前块上方的块由仿射MCP进行编码以及当前块由合并模式进行编码。如图1所示，在这一示例中，当前块的空间相邻块B1以及B0是仿射编码的块而其他空间相邻块A1、A0以及时间块TBR是传统的帧间预测编码的块。仿射编码的块可以由仿射合并模式或仿射AMVP模式进行编码，以及传统的帧间预测编码的块可以由常规的合并模式或常规的AMVP模式进行编码。一个或多个先前已编码块的仿射参数可以被存储以及用于生成一个或多个仿射候选。
发明内容
视频编解码系统中视频处理的方法利用运动向量预测子(MVP)用于编解码在帧间图像预测(如帧间、合并、跳过模式)中编码的当前块的当前MV，包括接收与当前图像中所述当前块有关的输入数据，将一个或多个运动候选包括在用于所述当前块的当前候选集中，从所述当前块的两个或多个相邻块的MV推导平均候选，将所述平均候选包括在所述当前候选集中，从所述当前候选集确定一个所选择的候选作为MVP用于当前MV，以及利用所述MVP在帧间图像预测中对所述当前块进行编码或解码。用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块。所述当前候选集中的每一运动候选或平均候选包括指向与list 0或list 1有关的参考图像的一个MV用于单向预测，或者包括指向与list 0有关的参考图像以及与list 1有关的参考图像的两个MV用于双向预测。
在一些实施例中，每一所述相邻块是所述当前图像中所述当前块的空间相邻块或所述时间同位图像中的时间块。所述空间相邻块是所述当前块的邻近相邻块或非邻近相邻块。根据一个实施例从一个时间块以及两个空间相邻块的运动信息推导所述平均候选。在其他实施例中，从一个时间块以及一个空间相邻块的运动信息、从两个时间块以及一个空间相邻块的运动信息、从三个时间块以及一个空间相邻块的运动信息、从两个时间块以及两个空间块的运动信息、一个时间块以及三个空间相邻块的运动信息或者三个时间块以及一个空间相邻块的运动信息推导所述平均候选。
视频处理方法可以进一步检查用于推导平均候选的所述相邻块的任一所述运动信息是否是不可用的。在一些实施例中，当所述相邻块的任一所述运动信息不可用时，确定替换块来替换具有不可用运动信息的所述相邻块。使用所述替换块以及其他具有可用运动信息的所述相邻块推导修正的平均候选来替换所述平均候选。如果具有不可用运动信息的所述相邻块是空间相邻块，所述替换块是预定时间块、与具有不可用运动信息的相邻块同位的时间块、预定的邻近空间相邻块或者预定的非邻近空间相邻块。在另一个实施例中，当所述相邻块的任一所述运动信息不可用时，所述平均候选被设置为不可用并且从所述当前候选集中排除。在又一实施例中，当任一所述运动信息不可用时，仅使用所述相邻块的剩余可用运动信息推导修正的平均候选，以及所述修正的平均候选替换将被包含在所述当前候选集中的所述平均候选。因为所述修正的平均候选可能是不可靠的，相比用于所述平均候选的预定位置，所述当前候选集中所述修正的平均候选的位置向后移动。
在一些实施例中，用于推导所述平均候选的至少一个相邻块的运动信息不是已包含在所述当前候选集中的运动候选的一个，例如，用于推导所述平均候选的所有运动信息不与已在所述当前候选集中的任一运动候选相同。在一些实施例中，已存在于所述当前候选集的一个或多个运动候选用于推导所述平均候选。根据一个实施例，已包含在所述当前候选集中的所述运动候选被限制为空间运动候选。
根据一些示例性实施例，两个或多个运动候选可以被包含在所述当前候选集，以及所述平均候选被插入到所述当前候选集中的邻近位置或非邻近位置。
在一个实施例中，因为所有相邻块的多个MV指向给定参考图像，用于推导所述平均候选的所有所述相邻块的参考图像索引等于给定参考图像索引。所述给定参考图像的所述给定参考图像索引是预定的、在视频比特流中明确地传输的或者从用于生成所述平均候选的相邻块的所述运动信息隐含推导的。在另一个实施例中，从一个或多个已缩放的MV推导所述平均候选，以及通过缩放所述相邻块的一个MV到所述给定参考图像计算每一已缩放的MV。由总缩放计数约束用于推导所述平均候选的已缩放MV的数目。在另一个实施例中，不管所述相邻块的参考图像索引是相同或不同，在没有缩放的情况下，通过直接对所述相邻块的MV求平均推导所述平均候选。在又一实施例中，如果所述相邻块的参考图像索引或图像次序计算是不同的，使用所述相邻块的一个直接推导所述平均候选。
视频处理方法可以被简化来减少计算复杂度。在一个实施例中，通过对相邻块的所述运动信息的仅一个水平分量或垂直分量求平均简化所述视频处理方法，以及所述平均候选的另一个分量被直接设置为所述相邻块的所述运动信息的一个的另一个分量。在另一个实施例中，通过对相邻块的仅一个列表MV求平均简化所述视频处理方法，以及直接将所述平均候选的另一个列表MV设置为另一个列表中一个相邻块的MV。
在一些实施例中，执行修剪进程来将所述平均候选与已存在于所述当前候选集中的一个或多个运动候选进行比较，以及如果所述平均候选等于一个运动候选，从所述当前候选集移除所述平均候选或者所述当前候选集不包括所述平均候选。所述修剪进程可以是完整的修剪进程或部分修剪进程。在一个实施例中，所述平均候选仅与用于推导所述平均候选的所述当前候选集中的部分或所有运动候选进行比较，以及在另一个实施例中，所述平均候选仅与不用于推导所述平均候选的所述当前候选集中的部分或所有运动候选进行比较。
视频处理方法的一个实施例通过对所述相邻块的多个MV求加权平均推导平均候选。如果所述当前块在子块模式中编码，所述当前候选集可以由所述当前块的多个子块共享。
本发明的一方面进一步提供了视频编解码系统中的视频处理装置，利用MVP用于在帧间图像预测中编码的当前块的当前MV。所述装置包括一个或多个电子电路，用于接收当前图像中所述当前块的输入数据，推导运动候选并且将所述运动候选包括在用于所述当前块的当前候选集中，从所述当前块的相邻块的预定集合的运动信息推导平均候选，将所述平均候选包括在所述当前候选集中，以及利用所述MVP在帧间图像预测中对所述当前块进行编码或解码。用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块。
本发明的另一方面进一步提供了存储程序指令的非暂态计算机可读媒介，使得装置的处理电路执行视频处理方法来利用从当前候选集中选择的MVP对当前块进行编码或解码，其中所述当前候选集包括一个或多个平均候选。所述平均候选是从相邻块的预定集合的运动信息推导的，以及至少一个所述相邻块是时间同位图像中的时间块。在阅读以下具体实施例的描述后，本发明的其他方面以及特征对本领域技术人员将是显而易见的。
本发明的视频处理方法通过推导平均候选，从包含已推导的平均候选的当前候选集中确定运动向量预测子，利用运动向量预测子对当前块进行编码或解码，可以有效改善编解码效率。
附图说明
作为示例提出的本发明的各种实施例将参考后续附图详细描述，以及其中：
图1示出了用于为在HEVC标准中定义的帧间模式、跳过模式或合并模式构造合并候选的空间候选以及时间候选的位置。
图2示出了从已存在于候选集中的两个现有单向预测运动候选推导组合的双向预测运动候选的示例。
图3示出了用于当前块的合并候选集的构造的一些邻近以及非邻近合并候选的位置。
图4示出了根据SbTMVP编解码工具的为当前PU的子块确定子块运动向量的示例。
图5示出了根据STMVP编解码工具为拆分成四个子块的CU确定合并候选的示例。
图6A示出了应用于JEM-3.0中的示例性简化的仿射转换运动补偿预测。
图6B示出了示例性子块仿射转换运动补偿预测。
图7A示出了根据本发明一些实施例的用于为当前块推导平均候选的当前块的示例性邻近空间相邻块。
图7B示出了根据本发明一些实施例的用于为当前块推导平均候选的时间同位参考图像中的示例性时间块。
图8示出了根据本发明一些实施例的用于为当前块推导平均候选的当前块的示例性邻近以及非邻近空间相邻块。
图9是通过从相邻块的运动信息推导平均候选用于处理在AMVP、合并、跳过或直接(Direct)模式中编码的当前块的视频编解码系统的实施例的流程图。
图10示出了根据本发明实施例的合并视频处理方法的视频编码系统的示例性系统框图。
图11示出了根据本发明实施例的合并视频处理方法的视频编解码系统的示例性系统框图。
具体实施方式
将容易理解，本发明的元件，如通常在本文的图示中描述以及示出的，可以以各种不同的配置来排列以及设计。因此，如在图示中示出的，生成一个或多个平均候选用于在帧间图像预测的当前块的系统以及方法的实施例的后续更详细的描述不旨在限制本发明的范围，如所要求的，只是本发明所选择实施例的表示。
本发明的实施例提供了生成将被添加到候选集的一个或多个平均候选的新方法用于对在帧间图像预测中编码的当前块进行编码或解码。当前块是各种不同实施例中的PU、叶CU或子块。在后文中，候选集用于表示AMVP候选集或合并候选集，其被构造用于对在帧间图像预测(如AMVP(即帧间模式)模式、合并模式、跳过模式或直接模式)中编码的块进行编码或解码。本发明的一个或多个平均候选可以根据预定次序被包括于候选集中。在候选集中可能有一个或多个重复的候选，以及在一些实施例中可以执行修剪进程来移除候选集中一个或多个冗余的候选。在修剪进程之前或之后，使用本发明的实施例推导的平均候选可以被插入候选集中。例如，在修剪四个空间运动候选以及一个时间运动候选后，平均候选被添加到合并候选集的空白位置中。如果在添加第一平均候选后合并候选集还未满，另一个平均候选或0运动向量候选可以被添加到合并候选集中。通过运动向量竞争(MVC)(如在编码器侧或在解码器侧通过在视频比特流中的索引传输的率失真优化(RDO)决定)，从候选集中选择一个最终候选作为运动向量预测子(MVP)，以及通过根据MVP的运动信息推导预测子对当前块进行编码或解码。MVP与当前MV之间的MV差(MVD)分别与指示MVP的索引以及当前块的预测残差一起被发信用于在帧间模式编码的当前块。指示MVP的索引与当前块的预测残差一起被发信用于在合并模式中编码的当前块，以及仅指示MVP的索引被发信用于在跳过模式中编码的当前块。
平均候选推导方法在本发明的一些示例性实施例中，用于编解码当前块的当前候选集包括平均候选，以及平均候选通过对相邻块的预定集合的MV求平均生成。用于推导平均候选的每一相邻块是空间相邻块或时间相邻块，其中至少一个相邻块是时间同位图像中的时间块。图7A示出了根据本发明一些实施例中可以用于推导平均候选的当前图像70中当前块702的空间相邻块的一些示例。在这一实施例中，通过如图7A示出的一个或多个空间相邻块的运动信息生成用于当前块702的平均候选。空间相邻块包括在当前块702左侧的相邻块A0、A1、ML以及C2，当前块702上方的相邻块B0、B1、MT以及C1，以及邻近当前块702的左上角的相邻块C0。为当前块构造合并候选集的实施例包括相邻块A1、B1、B0以及A0的空间运动候选，以及TBR的时间候选，以及合并候选集中的平均候选。通过对相邻块的预定集合的MV求平均推导平均候选，以及相邻块的预定集合的实施例包含时间同位图像中的至少一个时间块。
在一个实施例中，当合并候选集已包含相邻块A1、B1、B0以及A0的运动候选时，用于推导平均候选的至少一个相邻块不是相邻块A1、B1、B0与A0以及TBR的任何一个。一个示例性平均候选从相邻块A0、B0以及C0的运动信息来推导，以及另一个示例性平均候选从相邻块ML、MT、C0以及TCTR的运动信息来推导。
图7B示出了根据本发明一些实施例的可以被用于为当前块生成平均候选的当前块702的时间相邻块的一些示例。如图7B示出的时间相邻块包括在当前块702的同位块722的中心的四个时间块Col-CTL、Col-CTR、Col-CBL以及Col-CBR，在同位块722的四个角落的四个时间块CoL-TL、CoL-TR、CoL-BL以及Col-BR以及邻近同位块722的边界或邻近同位块722的角落的十二个时间块Col-A0、Col-A1、Col-ML、Col-C2、Col-C0、Col-C1、Col-MT、Col-B1、Col-B0、Col-MR、Col-H以及、Col-MB。图7B中示出的时间相邻块位于时间同位图像72。一个示例性平均候选是通过对两个时间块Col-TL以及Col-H的MV求平均来推导，以及另一个示例性平均候选是通过对两个时间块Col-CBL与Col-A1以及一个空间相邻块A1求平均来推导。
在一些实施例中，用于生成平均候选的相邻块也包括一个或多个非邻近空间相邻块。图8示出了根据本发明一些实施例的可以用于推导平均候选的当前块80的非邻近空间相邻块的一些示例。非邻近空间相邻块可以包括ML’、A0’、MT’以及B0’，其中非邻近空间相邻块ML’与对应的空间相邻块ML之间的垂直位移以及非邻近空间相邻块A0’与对应的空间相邻块A0之间的垂直位移等于当前块80的CU高度。非邻近空间相邻块MT’与对应的空间相邻块MT之间的水平位移以及非邻近空间相邻块B0’与对应的空间相邻块B0之间的水平位移等于当前块80的CU宽度。从非邻近空间相邻块ML’以及MT’的平均MV推导示例性平均候选，以及从邻近空间相邻块A0和B0以及非邻空间相邻块A0’和B0’的平均MV推导另一个示例性平均候选。
在一个实施例中，一个时间块以及三个空间相邻块的运动信息被平均来生成平均候选用于对当前块进行编解码。空间相邻块可以是如图7A示出的任何相邻块或者如图3或者图8示出的任何非邻近空间相邻块。例如，相邻块{A0、B0、C0、Col-X}{A1、B1、C0、Col-X}或者{C0、MT、ML、Col-X}的MV被平均。Col-X是同位参考图像中的时间块，以及时间块可以邻近或者在同位块的边界或角落内，图7B中示出了时间块Col-X的一些示例。在一些实施例中，如果时间块的运动信息是不可用的，替代地使用另一个时间块的运动信息来生成平均候选，或者如果预定序列中的优先时间块的运动信息不可用，可能有由预定序列的时间块，使用预定序列中的时间块的运动信息来替代不可用运动信息。例如，使用Col-CBR、Col-CTL、Col-TR、Col-BR、Col-BL或者Col-TL的运动信息来替代预定时间块的不可用运动信息。在另一个示例中，预定序列包含Col-CBR、Col-CTL以及Col-BR，其中如果预定时间块不在帧间图像预测中编码，使用Col-CBR，如果Col-CBR不在帧间图像预测中编码，使用Col-CTL，以及如果Col-CTL不在帧间图像预测中编码，使用Col-BR。在合并候选集或者AMVP MVP候选集构造中利用平均候选用于编码或解码当前块。
在一些实施例中，当前块的一个时间块或两个空间相邻块的运动信息被平均来生成平均候选用于构造当前块的候选集。例如，相邻块{MT,ML,Col-X}、{MT’,ML’,Col-X}、{B1,A1,Col-X}、{B0,A0,Col-X}或者{B0’,A0’Col-X}的MV被平均来生成平均候选。当从三个MV生成平均候选时，除以4而不是除以3更容易实现，为了简化计算，一个实施例在求平均之前调整权重因子来避免复杂计算。例如，用于时间块的MV的权重因子是2而用于空间相邻块的MV的权重因子是1，在这种情况下，通过将时间块的加权MV和空间块的加权MV的和移位两个比特计算平均候选。在这一示例中，其等同于从相邻块{MT,ML,Col-X,Col-X}、{MT’,ML’,Col-X,Col-X}、{B1,A1,Col-X,Col-X}、{B0,A0,Col-X,Col-X}或者{B0’,A0’,Col-X,Col-X}的MV计算平均候选。
在又一实施例中，当前块的一个时间块以及一个空间相邻块的运动信息被求平均来生成平均候选用于构造当前块的候选集。时间块以及空间相邻块对的一些示例是{Col-X,B0},{Col-X,B1},{Col-X,MT},{Col-X,C0},{Col-X,C1},{Col-X,C2},{Col-X,ML},{Col-X,A1}以及{Col-X,A0}。由示例性对的运动信息生成的一个或多个平均候选用于合并候选集或AMVP MVP候选集生成。例如，从{Col-H,MT}的运动信息生成的第一平均候选以及从{Col-H,ML}的运动信息生成的第二平均候选都包括于合并候选集或者AMVP MVP候选集中用于编码或解码当前块。
通常，预定数目的时间块以及预定数目的空间相邻块用于推导一个或多个平均候选用于候选集构造。例如，从两个时间块的运动信息以及一个空间相邻块的运动信息推导平均候选，从三个时间块的运动信息以及一个空间相邻块的运动信息推导平均候选，或者从两个时间块的运动信息以及两个空间相邻块的运动信息推导平均候选。或者，当前块的一个时间块以及三个空间相邻块可以用于生成平均候选用于当前块，或者当前块的三个时间块以及一个空间相邻块可以用于生成平均候选用于当前块。
修正的平均候选用于生成平均候选的相邻块的预定集合可以包含具有不可用运动信息的一个或多个相邻块，例如，预定集合中的一个相邻块以帧内模式中编码因此没有与这一相邻块有关的运动信息。在一些实施例中，视频编码器或解码器在生成平均候选之前检查用于生成平均候选的任一MV是否是不可用的，以及如果用于推导平均候选的相邻块的MV是不可用的，使用替换块来替换这一相邻块来推导修正的平均候选。如果用于推导平均候选的空间相邻块的运动信息是不可用的，根据一些实施例，预定的时间块或与空间相邻块同位的时间块被选择为替换块来替换空间相邻块来生成修正的平均候选。例如，平均候选意味着通过两个空间相邻块以及一个时间块的MV生成，以及如果第一空间相邻块的MV是不可用的，相同时间块的MV或另一个时间块的MV用于替换与第一空间相邻块有关的不可用MV。与第一空间相邻块同位的时间块的MV可以用于替换不可用MV，例如，当空间相邻块ML的MV不可用时，Col-ML的MV用于替换不可用MV以便生成修正的平均候选。根据一些其他实施例，如图8示出的预定空间相邻块(如空间相邻块B0，B1，MT’,B0’,A0’,A1’ML’或A0’)或者预定非邻近空间块的MV用于替换具有不可用MV的相邻块。
在一些其他实施例中，当检查结果显示存在用于生成平均候选的至少一个MV是不可用的，没有额外的MV用于替换不可用MV，在一个实施例中，平均候选设置为不可用以致它不被生成或者不包含在候选集中，在另一个实施例中，通过对剩余的可用MV求平均生成修正的平均候选。
生成修正的平均候选来替换平均候选的实施例进一步改变候选集中修正的平均候选的位置。在当用于生成平均候选的至少一个MV不可用以及由剩余可用MV或者通过用替换块的MV替换每一不可用MV推导修正的平均候选的情况下，相比于普通的平均候选，修正的平均候选被插入候选集中的不同位置。因为相比于普通的平均候选，修正的平均候选是较不可靠的，相比于用于平均候选的预定位置，修正的平均候选的位置可以在候选集中向后移动。例如，如果用于生成平均候选的所有MV是可用的，平均候选被插入在时间同位候选之前的位置，如果用于生成平均候选的至少一个MV是不可用的，修正的平均候选被插入在时间同位候选之后的位置。
已在候选集中的MV根据本发明的各种实施例，从当前块的相邻块的预定集合的运动信息推导将包含在当前候选集中的平均候选，以及至少一个相邻块是时间同位图像中时间块。在一些实施例中，已在用于编解码当前块的当前候选集中的一个或多个运动候选用于生成平均候选。已在候选集中的一个或多个运动候选包括一个或多个空间候选和/或一个或多个时间候选。例如，通过不在候选集中的一个时间MV以及已在候选集中的一个或多个运动候选生成在预定位置的平均候选，如在ATMVP候选之前、在ATMVP候选之后或者在时间MV候选之前。在一个实施例中，被用于生成平均候选的已在候选集中的一个或多个运动候选可以被限制为候选集中的空间候选。例如，通过对不在候选集中的时间MV以及已在候选集中的前两个空间运动候选的求平均来推导在预定位置的平均候选。
在一个实施例中，从已在候选集中的两个或多个运动候选生成平均候选，如果候选集中仅有一个可用运动候选，平均候选不被添加到候选集中。在另一个实施例中，如果在候选集中仅有一个可用运动候选以及该可用运动候选是空间候选，本应从两个或多个运动候选推导的平均候选不被添加到候选集中。在又一实施例中，如果候选集中仅一个可用运动候选以及该运动候选是时间候选，本应从已在候选集中的两个或多个运动候选推导的平均候选不被添加到候选集中。
候选集中平均候选的位置根据本发明各种实施例之一推导的每一平均候选被插入合并候选集或AMVP候选集中的预定位置。例如，预定位置可以是第一候选位置、在时间同位候选之前的位置、在空间运动候选C0之前的位置、在空间运动候选A1之后的位置、在空间运动候选B1之后的位置、在候选B0之后的位置、在空间运动候选A0之后的位置、在ATMVP候选之前的位置、在ATMVP候选之后的位置、在空间运动候选C0之后的位置。在一个实施例中，从相邻块的不同集合的运动信息推导的两个或多个平均候选被插入候选集以及这些平均候选被放到一起，例如，两个平均候选被插入候选集中的第N个位置以及第N+1个位置，在另一个实施例中，这些平均候选被放入非邻近位置。
指向目标参考图像的约束MV在一个实施例中，仅指向给定目标参考图像的MV用于推导平均候选。平均候选被推导为指向给定目标参考图像的多个MV的平均MV，以及给定目标参考图像索引是预定的、在视频比特流中明确发信的或者从用于生成平均候选的多个MV隐含推导的。隐含地推导目标参考图像索引的一个示例首先识别相邻块的参考图像索引以及然后计算这些相邻块的参考图像索引的众数、最小值或最大值作为目标参考图像索引。预定目标参考图像索引的示例是给定参考列表中参考图像索引0。
在推导平均候选的一个实施例中，用于list 0或list 1的平均候选被推导为有限的list 0或list 1多个MV的平均MV，其中有限的list 0或list 1多个MV是指向给定目标参考图像的多个MV。换言之，仅具有与给定目标参考图像相同的参考图像索引的MV被平均用于推导平均候选。根据从指向给定目标参考图像的有限个MV推导平均候选的实施例，仅当相邻块的预定集合的的任一MV指向在至少一个列表或两个列表中给定目标参考图像时，推导平均候选，否则不推导平均候选。
从指向不同参考图像的多个MV推导平均候选在后续实施例中，当相邻块的预定集合的多个MV指向不同参考图像时，可以推导平均候选。在从相邻块的预定集合的多个MV推导平均候选的一个实施例中，指向给定目标参考图像的任一MV被缩放到给定目标参考图像，以及平均候选被推导为指向给定目标参考图像的所有缩放或未缩放MV的平均MV。例如，通过首先将相邻块的预定集合的所有MV缩放到list 0中的目标参考图像以及然后对已缩放的list 0 MV求平均，推导平均候选的list 0 MV。用于参考列表的目标参考图像的目标参考图像索引是预定的、在视频比特流中明确发信的或从相邻块的预定集合的MV隐含推导的。例如，参考列表的目标参考图像索引被推导为与参考列表有关的相邻块的预定集合的参考图像索引的众数、最小值或最大值。在这一实施例中，指向参考列表中目标参考图像的所有MV被缩放到目标参考图像以及然后与原始指向目标参考图像的MV一起被平均来推导平均候选。在推导平均候选的list 0 MV的一个实施例中，如果相邻块的预定集合中的任何相邻块不具有在list 0中的MV，list 1的MV被缩放到list 0的目标参考图像，以及已缩放的MV用于生成平均候选的list 0 MV。或者，如果相邻块的预定集合中任何相邻块的list1MV是不可用的，list 0 MV被缩放到list 1的目标参考图像用于推导平均候选的list 1MV。
在一个实施例中，使用总缩放计数来约束用于推导平均候选的已缩放MV的数目，例如，相邻块的预定集合的至少0个MV、一个MV或者两个MV可以被缩放用于生成平均候选。在应用总缩放计数的这一实施例中，从部分缩放的输入MV或未缩放的输入MV推导平均候选。在约束总缩放计数为0的情况下，在没有缩放的情况下通过直接对相邻块的预定集合的所有输入MV求平均来推导平均候选，即使相邻块的预定集合的多个MV指向不同的参考图像。平均候选的参考图像索引可以被设置为相邻块的预定集合的参考索引之一。在约束总缩放计数为1的情况下，如果存在超过1个输入MV指向不同于给定目标参考图像的参考图像，通过已缩放MV以及至少一个未缩放MV推导平均候选。
在另一个实施例中，为了从当前块的相邻块的预定集合生成用于当前块的平均候选的MV，如果相邻块的预定集合的参考索引或PoC(图像次序计数)是不同的，参考索引之一以及相关的MV被直接用作平均候选而没有平均。例如，选择具有最小参考索引的相邻块的预定集合中相邻块的参考索引以及MV，以及在另一示例中，选择具有最大参考索引的相邻块的预定集合中相邻块的参考索引以及MV。用于参考列表0以及参考列表1的MV平均进程可以被分别执行，以及不同的参考列表可以采用不同的选择行为，例如，对于平均候选的list0，选择相邻块的预定集合中具有最小参考索引的相邻块的MV以及参考索引。对于平均候选的list 1，选择相邻块的预定集合中具有最大参考索引的相邻块的MV以及参考索引。在另一个示例中，选择相邻块的预定集合中具有最大参考索引的相邻块的MV以及参考索引用于平均候选的list 0，而选择具有最小参考索引的相邻块的MV以及参考索引用于平均候选的list 1。如果相邻块的预定集合中的一个相邻块是仅用第一列表中一个MV单向预测的，根据一个实施例，第二列表中平均候选的MV可以被设置为0运动向量，或者根据另一个实施例，通过对0运动向量与相邻块的预定集合的其他相邻块的第二列表MV求平均推导第二列表中的平均候选的MV。例如，单向预测相邻块不具有list 1 MV，0向量可被直接用作平均候选的list 1 MV，或者0向量可与相邻块的预定集合的其他相邻块的list 1 MV求平均来推导平均候选的list 1 MV。
适应性推导平均候选在一些实施例中，根据当前块的相邻块的预定集合的运动信息适应性地推导用于当前块的平均候选。例如，如果预定集合中相邻块的任一MV指向至少一个列表或者两个列表中的给定目标参考图像，通过相邻块的预定集合的运动信息推导平均候选，否则，不从相邻块的预定集合的运动信息推导平均候选。在另一个实施例中，仅当相邻块的预定集合的所有MV指向相同的参考图像时，推导平均候选。
减少复杂度MV描述从一个二维视频图像到另一个二维视频图像的转换，其在两个方向进行测量。当前块的MV包括水平分量以及垂直分量，表示当前块与其对应的参考块之间的二维位移。为了简化平均候选的推导进程，一些实施例仅在一个维度对MV求平均。例如，通过对与当前块的相邻块的预定集合有关的MV的水平分量求平均计算用于当前块的平均候选的水平分量，而平均候选的垂直分量被直接地设置为与相邻块的预定集合有关的多个MV之一的垂直分量。在用于平均候选推导进程的复杂度减少的另一个实施例中，仅通过对与相邻块的预定集合有关的多个第一列表MV求平均计算第一列表(即，list 0或list 1)中的MV，而第二列表(即list 1或list 0)中的MV直接被设置为预定集合中一个相邻块的第二列表MV。通过在一个先前段落提到的将总缩放计数设定为0或1，也减少平均候选推导进程的复杂度。
舍入机制用于从与相邻块的预定集合有关的MV推导平均候选的平均进程可以使用常规的舍入机制之一来实施，例如，“向上舍入一半(rounding half up)”、“向下舍去一半(rounding half down)”、“向0舍入(rounding toward zero)”、“远离0舍入(roundingaway from zero)”以及以另一个表示替代平均值的任何其他方式来适合有限的比特深度表示。
冗余检查根据本发明的实施例生成的一个或多个平均候选可以与已存在于候选集中的一个或多个运动候选进行比较用于冗余检查。在冗余检查后，如果平均候选与多个运动候选之一相同，平均候选将不被添加到候选集中。通过从候选集中移除一个或多个冗余候选，这一修剪进程可以提升编解码效率。通过比较候选集中每一对候选，可以执行完整的修剪进程来从候选集移除每一单个冗余候选。为了减少候选集构造复杂度，可以执行部分修剪进程。在部分修剪进程的一些实施例中，将通过已存在于候选集中的一个或多个运动候选推导的平均候选仅与用于生成平均候选的部分或所有平均候选进行比较来用于冗余检查，或者，平均候选仅与未用于生成这一运动候选的部分或所有运动候选进行比较。例如，已存在于候选集中的候选-A、候选-B以及候选-C用于生成平均候选以及一个或多个MV不在候选集中，以及这一新生成的平均候选仅与候选-A、候选-B或候选-C进行比较，或者与候选-A以及候选-B两者、或者与候选-B以及候选-C两者、或者与候选-A以及候选-C两者进行比较，或者与所有三个输入候选候选-A、候选-B以及候选-C进行比较。在另一个示例中，在生成平均候选之前，候选集包括候选-A、候选-B、候选-C、候选-D以及候选-E，以及这一新生成的平均候选仅与候选-C或候选-D，或候选-C与候选-D两者进行比较用于冗余检查。
在一些实施例中，平均候选与候选集中的部分候选进行比较用于冗余检查。例如，平均候选与已存在于候选集中的前一个、两个或三个候选进行比较，以及如果平均候选与已存在于候选集中的候选相同，这一平均候选不被插入候选集中。
在一个实施例中，如果有不只一个平均候选被插入候选集中，仅头一个、两个或三个平均候选与已在候选集中的候选进行比较，因为剩余的平均候选被直接添加到候选集而没有修剪，不对剩余的平均候选执行修剪进程。在另一个实施例中，对平均候选彼此进行修剪以及不对已存在于候选集中的候选进行修剪。例如，第三平均候选与第一平均候选以及第二平均候选进行比较。在一些实施例中，前N个平均候选与已存在于候选集中的前M个候选进行比较，以及剩余的平均候选仅与候选集中的第一或最后一个候选进行比较，或者剩余的平均候选仅与生成的平均候选进行比较。
在又一个实施例中，在没有执行任何完整或部分修剪进程的情况下将平均候选直接添加到候选集中。
加权平均可以通过偶数的加权平均计算或者不同的加权平均计算来计算根据本发明实施例生成的一个或多个平均候选。在不同加权平均计算的示例中，当用于计算平均候选的MV的数目是3时，MV的一个可以乘以2以及MV的总数被4整除。在偶数加权平均计算的示例中，当用于计算平均候选的MV的数目是2时，用于这两个MV的权重都是1，以及MV的总数被2整除。在另一个示例中，用于两个MV的权重可以是2以及-1或者-1以及2，以及两个加权MV的和是没有除法的平均候选。更普遍地，用于多个MV的权重是N1、N2……Nn以及加权MV的和被(N1+N2+……+Nn)整除。在另一个实施例中，用于与相邻块有关的每一MV的权重因子取决于当前块与相邻块之间的距离，例如，较大的权重因子被分配给与当前块更近的相邻块的MV。
子块候选集包括ATMVP、SbTMVP以及仿射MCP的各种子块模式在最新的视频编解码标准会议中被提出来改善编解码效率，以及对于在子块模式中编码的当前块，根据一些实施例，可以收集当前块中的子块来共享候选集。由当前块的多个子块共享的候选集被称为子块模式候选集。对于在跳过模式、合并模式或者AMVP模式中编码的每一块，旗标可以被发信来指示是否使用了子块模式。如果旗标指示使用了子块模式，候选索引被发信或者被推断选择子块模式候选集中的子块候选之一。子块模式候选集可以包括子块时间合并候选、仿射候选和/或平面MV模式候选。子块时间合并候选可以放在仿射候选或者仿射集成候选之后，以及平面MV模式候选可以被放在仿射候选之后或者仿射候选之前。根据本发明一个实施例推导的一个或多个平均候选可以被包含于子块模式候选集中。
根据当前块的CU尺寸、面积、宽度、高度、形状、深度或CU模式，可以对当前块使能或禁用子块模式。根据一个实施例取决于当前块的CU尺寸、面积、宽度、高度、形状、深度或者CU模式，具体的子块候选可以适应性地包含于用于编解码当前块的候选集中。例如，当CU宽度或高度小于(或小于或等于)阈值(如8或16)时，子块模式被禁用，或者当CU宽度或高度大于(或大于或等于)阈值(如16)时，子块模式被使能。在另一个示例中，如果当前块的CU宽度或高度小于(或小于或等于)阈值(如8或16)，仿射模式不包含在用于编解码当前块的候选集中。在另一个示例中，当当前CU模式是跳过模式时，仿射模式不被添加到用于编解码当前块的候选集。在一个具体的实施例中，当仿射候选不被添加到候选集并且列表仅包含一个候选(例如，子块时间合并候选)时，候选索引的信令被跳过。在另一个实施例中，根据当前块的CU尺寸、面积、宽度、高度、深度或CU模式，或者当子块候选可用时，子块候选被适应性地插入用于合并模式或AMVP模式的普通候选集中。例如，当当前块在跳过模式中进行编码或者当当前块的CU宽度或高度小于或等于8时，子块候选(如，子块时间合并候选)被添加到用于当前块的普通合并候选集中。
在一个实施例中，对于相同候选集中所有子块候选，子块尺寸是相同的。子块尺寸的一些示例是4x4、8x8或者任何非正方形尺寸MxN。使用固定的子块尺寸而不管从候选集中选择哪一候选。子块尺寸可以根据CU模式、CU尺寸、面积、宽度、高度、深度或预测方向适应性地确定。
在另一个实施例中，对于ATMVP候选推导，仅将由仿射候选推导的MV被用于推导ATMVP候选，因此可以减少MV参考复杂度。
示例性流程图图9示出了用于处理由帧间图像预测编码的当前块的视频编码或解码系统的示例性流程图。通过从当前候选集中选择的运动向量预测子(MVP)对与当前块以及给定参考列表中给定参考图像中对应的参考块有关的当前MV进行编码。在步骤S910中，视频编码或解码系统接收当前图像中当前块的输入数据，以及在步骤S920中，推导将包含在用于AMVP、合并、跳过或者直接模式的当前候选集的一个或多个运动候选。当前候选集中每一运动候选包括用于单向预测的一个MV或者用于双向预测的两个MV。在步骤S930中，从当前块的相邻块的预定集合的多个MV中推导平均候选，其中用于推导平均候选的至少一个相邻块是时间同位图像中的时间块。平均候选包括指向与list 0或list 1有关的参考图像的一个MV用于单向预测，或者平均候选包括指向与list 0有关的参考图像的一个MV以及指向与list 1有关的参考图像的另一个MV用于双向预测。在步骤S940中，通过检查平均候选是否与存在于当前候选集中的一个或多个运动候选的一个相同，视频编码或解码系统对平均候选执行完整的或部分修剪进程。在一个实施例中，将平均候选与存在于当前候选集中的所有运动候选进行比较，以及在另一个实施例中，将平均候选仅与存在于当前候选集中的一个或一些运动候选进行比较，以及在又一实施例中，因为平均候选不与存在于当前候选集中的任何运动候选进行比较，步骤S940的修剪进程被跳过。如果平均候选与存在于当前候选集中的运动候选相同，平均候选不被添加到当前候选集中，否则，在步骤S950中，平均候选被包含于当前候选集中。在步骤S960中，视频编码系统或解码系统从当前候选集中确定一个已选择候选作为MVP用于当前块的当前MV，以及在步骤S970中，利用所述MVP在帧间图像预测中对当前块进行编码或解码。
示例性视频编码器以及视频解码器用于生成将被添加到候选集中的一个或多个平均候选的前述提出的视频处理方法可以在视频编码器或解码器中实施。例如，提出的视频处理方法在编码器的帧间预测模块，和/或解码器的帧间预测模块中实施。或者，任何提出的方法被实施为与编码器的帧间预测模块和/或解码器的帧间预测模块耦合的电路，以致提供帧间预测模块所需要的信息。图10示出了能够实施本发明各种实施例的视频编码器1000的示例性系统框图。帧内预测1010基于当前图像的重构视频数据提供帧内预测子。帧间预测1012基于来自一个或多个参考图像的视频数据执行运动估计(motion estimation，ME)以及运动补偿(motion compensation，MC)来提供帧间预测子。根据本发明一些实施例，为了在帧间图像预测(如帧间、合并、跳过或直接模式)中编码当前块，通过包括平均候选来构造用于编码当前块的当前候选集。在推导平均候选之前，当前候选集包括一个或多个运动候选，其中每一运动候选具有用于单向预测的一个MV或用于双向预测的两个MV。从当前块的至少两个相邻块的MV推导平均候选，以及至少一个相邻块是时间同位图像中的时间块。每一相邻块可以是当前图像中的空间相邻块或时间同位图像中的时间块，以及空间相邻块可以是当前块的邻近空间相邻块或者非邻近空间相邻块。帧间预测1012从候选集确定所选择候选作为MVP用于预测当前块的当前MV。当前块的当前MV定位给定参考图像中的预测子。帧内预测1010或帧间预测1012提供预测子到加法器1016来形成预测误差，预测误差也称为预测残差。如果当前块在跳过模式中进行编码，预测残差被设置为0。当当前块不以跳过模式进行编码时，当前块的预测残差进一步由转换(T)1018紧接着量化(Q)1020处理。已转换以及已量化的残差信号然后由熵编码器1032进行编码来形成视频比特流。视频比特流然后与边信息(side information)一起打包。当前块的已转换以及已量化的残差信号由逆量化(IQ)1022以及逆转换(IT)1024处理来恢复预测残差。如图10所示，通过在重构(REC)1026添加回所选择的预测子恢复预测残差来生成重构的视频数据。重构的视频数据可以被存储在参考图像缓冲器(Ref.Pict.Buffer)1030并且用于其他图像的预测。由于编码处理，从REC 1026恢复的重构的视频数据可能受到各种损害；因此，在存储到参考图像缓冲器1030之前，将环路处理滤波器1028应用于重构的视频数据来进一步增强图像质量。
在图11中示出了用于解码来自图10的视频编码器1000的视频比特流的对应的视频解码器1100。视频比特流是到视频解码器1100的输入并且由熵解码器1110进行解码来解析以及恢复已转换以及已量化的残差信号以及其他系统信息。解码器1100的解码进程类似于在编码器1000的重构环路，除了解码器1100仅需要帧间预测1114中的运动补偿预测子。每一块由帧内预测1112或帧间预测1114进行解码。开关1116根据已解码模式信息选择来自帧内预测1112的帧内预测子或者来自帧间预测1114的帧间预测子。一些实施例的帧间预测1114构造用于当前块的当前候选集，包括一个或多个运动候选以及平均候选。从当前块的多个相邻块的两个或多个MV推导平均候选，以及用于推导平均候选至少一个相邻块是时间同位图像中的时间块。可以应用修剪进程来检查与存在于当前候选集中的一个或多个运动候选相比，平均候选是否是冗余的。通过从当前候选集选择一个最终候选，帧间预测1114推导用于当前块的预测子。通过逆量化(IQ)1120以及逆转换(IT)1122恢复与当前块有关的已转换以及已量化的残差信号。通过在REC 1118添加回预测子来重构已恢复的残差信号来生成重构的视频。重构的视频进一步由环路处理滤波器(滤波器)1124处理来生成最终的已解码视频。如果当前已解码图像是解码次序中后续图像的参考图像，当前已解码图像的重构视频也存储在参考图像缓冲器1126中。
图10以及图11中视频编码器1000以及视频解码器1100的各种元件可以由硬件元件、用于执行存储在存储器中程序指令的一个或多个处理器，或硬件与处理器的组合来实施。例如，处理器执行程序指令来控制与当前图像有关的是输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令来执行编码器1000以及解码器1100中一些元件的功能，以及电性地与处理器耦合的存储器用于存储程序指令、对应于块的重构图像的信息和/或在编码或解码期间的中间数据。一些实施例中的存储器包括非暂态计算机可读媒介，例如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储媒介。存储器也可以是以上列出的两个或多个非暂态计算机可读媒介的组合。如图10以及图11所示，编码器1000以及解码器1100可以在相同的电子装置中实施，如果在相同的电子装置中实施，可以共享或者重用编码器1000以及解码器1100的各种功能元件。
用于编码或解码的视频处理方法的实施例可以在集成到视频压缩芯片的电路或者集成到视频压缩软件的程序代码中实施来执行以上描述的处理。例如，包括用于编码当前块的平均候选的候选集的确定可以于将在计算机处理器、数字信号处理器(DSP)、微处理器或现场可编程门阵列(FPGA)上执行的程序代码中实现。这些处理器可以用于执行根据本发明的具体任务，通过执行定义由本发明实施特定方法的机器可读软件代码或固件代码。
贯穿本说明书对“一个实施例”、“一些实施例”或类似的语言的引用意味着结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。因此，贯穿本说明书在各个位置中的短语“一个实施例中”或“一些实施例中”的出现并非都指相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实施。此外，在一个或多个实施例中，所描述的特征、结构或特性可以以任何合适的方式进行组合。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者利用其他方法、元件等来实践本发明。在其它实例中，公知的结构或操作未被详细示出或描述以避免模糊本发明的各方面。
在不背离本发明精神或基本特征的情况下，可以以其他特定的形式实施本发明。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前述的描述来指示。在权利要求的等同含义以及范围内的所有变化都包括在其范围内。

Claims (23)

1.一种视频编解码系统中的视频处理方法，利用运动向量预测子用于编解码由帧间图像预测编码的当前块的当前运动向量，其中所述当前运动向量与所述当前块以及给定参考列表中给定参考图像中一个对应的参考块有关，所述方法包括：
接收与当前图像中所述当前块有关的输入数据；
将一个或多个运动候选包括在用于所述当前块的当前候选集中，其中所述当前候选集中每一运动候选包括用于单向预测的一个运动向量或者用于双向预测的两个运动向量；
通过对所述当前块的相邻块的预定集合的运动信息求平均推导平均候选，其中所述平均候选包括指向与list0或list1有关的参考图像的一个运动向量用于单向预测，或者所述平均候选包括指向与list0有关的参考图像的一个运动向量以及与指向list1有关的参考图像的另一个运动向量用于双向预测，其中用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块；
将所述平均候选包括在所述当前候选集中；
从所述当前候选集确定一个所选择的候选作为运动向量预测子用于所述当前块的所述当前运动向量；以及
利用所述运动向量预测子在帧间图像预测中对所述当前块进行编码或解码。
2.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，每一所述相邻块是所述当前图像中所述当前块的空间相邻块或者所述时间同位图像中的时间块，以及其中所述空间相邻块是所述当前块的邻近空间相邻块或非邻近空间相邻块。
3.如权利要求2所述的视频编解码系统中的视频处理方法，其特征在于，所述平均候选是通过对一个时间块以及两个空间相邻块的运动向量、一个时间块以及一个空间相邻块的运动向量、两个时间块以及一个空间相邻块的运动向量、三个时间块以及一个空间相邻块的运动向量、两个时间块以及两个空间相邻块块的运动向量、一个时间块以及三个空间相邻块的运动向量或者三个时间块以及一个时间相邻块的MV求平均来推导。
4.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，通过对所述相邻块的运动信息求平均推导所述平均候选进一步包括检查所述相邻块的任一所述运动信息是否是不可用的，确定替换块来替换具有不可用运动信息的所述相邻块，以及使用所述替换块推导修正的平均候选来替换所述平均候选。
5.如权利要求4所述的视频编解码系统中的视频处理方法，其特征在于，如果具有不可用运动信息的所述相邻块是空间相邻块，所述替换块是预定时间块、与所述空间相邻块同位的时间块、预定的邻近空间相邻块或预定的非邻近空间相邻块。
6.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，通过对所述相邻块的运动信息求平均推导所述平均候选进一步包括检查所述相邻块的任一所述运动信息是否是不可用的，以及如果任一所述运动信息是不可用的，设置所述平均候选为不可用的，或者仅用剩余可用的运动信息推导修正的平均候选，以及用所述修正的平均候选替换所述平均候选。
7.如权利要求6所述的视频编解码系统中的视频处理方法，其特征在于，相比于用于所述平均候选的预定位置，在所述当前候选集中所述修正的平均候选的位置向后移动。
8.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，当所述当前块的所述相邻块的预定集合的所述运动信息已包括在所述当前候选集的一个或多个运动候选中，通过已包括在所述当前候选集中的所述一个或多个运动候选推导所述平均候选。
9.如权利要求8所述的视频编解码系统中的视频处理方法，其特征在于，用于推导所述平均候选的已在所述当前候选集中的每一所述一个或多个运动候选被限制为空间运动候选。
10.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，进一步包括推导另一个平均候选以及将所述另一个平均候选包括在所述当前候选集中，以及两个平均候选被插入所述当前候选集中的相邻位置或非相邻位置。
11.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，用于推导所述平均候选的所有所述相邻块的参考图像索引等于给定参考图像索引，以及所述给定参考图像的所述给定参考图像索引是预定的、在视频比特流中明确传输的或者从用于生成所述平均候选的所述相邻块的所述运动信息隐含推导的。
12.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，所述平均候选是通过对一个或多个已缩放的运动向量求平均来推导，每一已缩放的运动向量是通过将所述相邻块的一个运动向量缩放到所述给定参考图像来计算，以及所述给定参考图像的给定参考图像索引是预定的、在视频比特流中明确传输的或者从用于生成所述平均候选的所述运动向量隐含推导的。
13.如权利要求12所述的视频编解码系统中的视频处理方法，其特征在于，用于推导所述平均候选的已缩放的运动向量的数目由总缩放计数约束。
14.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，通过对所述相邻块的运动信息求平均推导所述平均候选进一步包括检查参考图像索引或者所述相邻块的图像次序计数是否是不同的，以及如果所述参考图像索引或所述图像次序计数是不同的，在没有求平均的情况下直接使用所述相邻块的一个来推导所述平均候选。
15.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，所述平均候选的仅一个水平或垂直分量是通过对所述相邻块的所述运动信息的对应的水平或垂直分量求平均来计算，以及所述平均候选的另一个水平或垂直分量被直接地设置为所述相邻块的所述运动信息的另一个水平或垂直分量。
16.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，仅所述平均候选的第一列表运动向量是通过对两个或多个相邻块的第一列表运动向量求平均来计算，以及所述平均候选的第二列表运动向量被直接地设置为一个相邻块的第二列表运动向量，其中所述第一列表以及所述第二列表是list0以及list1或者list1以及list0。
17.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，进一步包括将所述平均候选与已存在于所述当前候选集中的一个或多个运动候选进行比较，以及如果所述平均候选与一个运动候选相同，从所述当前候选集移除所述平均候选或者所述当前候选集不包括所述平均候选。
18.如权利要求17所述的视频编解码系统中的视频处理方法，其特征在于，已存在于所述当前候选集的一个或多个运动候选被用来推导所述平均候选，以及所述平均候选仅与用于推导所述平均候选的部分或全部运动候选进行比较，或者所述平均候选仅与不用于推导所述平均候选的部分或全部运动候选进行比较。
19.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，所述平均候选是通过对所述多个相邻块的运动向量进行加权平均来推导，以及用于所述相邻块的所述运动向量的权重因子是预定的或隐含推导的。
20.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，所述当前块在子块模式中进行编码，以及所述当前候选集由所述当前块中的多个子块共享。
21.如权利要求1所述的视频编解码系统中的视频处理方法，其特征在于，用于推导所述平均候选的至少一个相邻块的所述运动信息不是已包含于所述当前候选集中的所述一个或多个运动候选的一个。
22.一种视频编解码系统中视频处理的装置，利用运动向量预测子用于编解码由帧间图像预测编码的当前块的当前运动向量，其中所述当前运动向量与所述当前块以及给定参考列表中给定参考图像中的对应参考块有关，所述装置包括一个或多个电子电路用于：
接收与当前图像中所述当前块有关的输入数据；
推导一个或多个运动候选以及将所述一个或多个运动候选包括在用于所述当前块的当前候选集中，其中所述当前候选集中每一运动候选包括用于单向预测的一个运动向量或者用于双向预测的两个运动向量；
通过对所述当前块的相邻块的预定集合的运动信息求平均推导平均候选，其中所述平均候选包括指向与list0或list1有关的参考图像的一个运动向量用于单向预测，或者所述平均候选包括指向与list0有关的参考图像的一个运动向量以及与指向list1有关的参考图像的另一个运动向量用于双向预测，其中用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块；
将所述平均候选包括所述当前候选集中；
从所述当前候选集确定一个所选择的候选作为运动向量预测子用于所述当前块的所述当前运动向量；以及
利用所述运动向量预测子在帧间图像预测中对所述当前块进行编码或解码。
23.一种存储程序指令的非暂态计算机可读媒介，使得装置的处理电路在视频编解码系统中执行视频处理方法，利用运动向量预测子用于编解码由帧间图像预测编码的当前块的当前运动向量，其中所述当前运动向量与所述当前块以及给定参考列表中给定参考图像中一个对应的参考块有关，以及所述方法包括：
接收与当前图像中所述当前块有关的输入数据；
推导一个或多个运动候选以及将所述一个或多个运动候选包括在用于所述当前块的当前候选集中，其中所述当前候选集中每一运动候选包括用于单向预测的一个运动向量或者用于双向预测的两个运动向量；
通过对所述当前块的相邻块的预定集合的运动信息求平均推导平均候选，其中所述平均候选包括指向与list0或list1有关的参考图像的一个运动向量用于单向预测，或者所述平均候选包括指向与list0有关的参考图像的一个运动向量以及与指向list1有关的参考图像的另一个运动向量用于双向预测，其中用于推导所述平均候选的至少一个相邻块是时间同位图像中的时间块；
将所述平均候选包括所述当前候选集中；
从所述当前候选集确定一个所选择的候选作为运动向量预测子用于所述当前块的所述当前运动向量；以及
利用所述运动向量预测子在帧间图像预测中对所述当前块进行编码或解码。
CN201910605315.1A 2018-07-06 2019-07-05 在视频编解码系统中生成平均候选用于帧间图像预测的方法以及装置 Withdrawn CN110691248A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862694557P 2018-07-06 2018-07-06
US62/694,557 2018-07-06
US201862740568P 2018-10-03 2018-10-03
US62/740,568 2018-10-03
US201862741246P 2018-10-04 2018-10-04
US62/741,246 2018-10-04
US16/503,575 2019-07-04
US16/503,575 US20200014931A1 (en) 2018-07-06 2019-07-04 Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems

Publications (1)

Publication Number Publication Date
CN110691248A true CN110691248A (zh) 2020-01-14

Family

ID=69102428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910605315.1A Withdrawn CN110691248A (zh) 2018-07-06 2019-07-05 在视频编解码系统中生成平均候选用于帧间图像预测的方法以及装置

Country Status (3)

Country Link
US (1) US20200014931A1 (zh)
CN (1) CN110691248A (zh)
TW (1) TWI720532B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11089317B2 (en) * 2017-08-03 2021-08-10 Lg Electronics Inc. Method and apparatus for processing video signal using affine prediction
CN111869214A (zh) * 2018-03-19 2020-10-30 高通股份有限公司 对高级时间运动矢量预测的改进
US11368702B2 (en) * 2018-06-04 2022-06-21 Lg Electronics, Inc. Method and device for processing video signal by using affine motion prediction
JP2022503464A (ja) * 2018-07-17 2022-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ビデオコーディング用動きベクトル予測
US11539958B2 (en) 2018-07-17 2022-12-27 Lg Electronics Inc. Method for predicting subblock-based temporal motion vector and apparatus therefor
WO2020061395A1 (en) * 2018-09-21 2020-03-26 Interdigital Vc Holdings, Inc. Motion vector prediction in video encoding and decoding
US11032541B2 (en) * 2018-10-22 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN112997487A (zh) * 2018-11-15 2021-06-18 北京字节跳动网络技术有限公司 仿射模式与其他帧间编解码工具之间的协调
US10958900B2 (en) * 2018-12-06 2021-03-23 Qualcomm Incorporated Derivation of spatial-temporal motion vectors prediction in video coding
US11902566B2 (en) * 2018-12-28 2024-02-13 Telefonaktiebolaget Lm Ericsson (Publ) Generating a motion vector predictor list
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
US11582474B2 (en) * 2020-08-03 2023-02-14 Alibaba Group Holding Limited Systems and methods for bi-directional gradient correction
KR20240072202A (ko) * 2021-09-29 2024-05-23 캐논 가부시끼가이샤 비디오 코딩 및 디코딩
WO2023185824A1 (en) * 2022-03-28 2023-10-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20240089487A1 (en) * 2022-09-09 2024-03-14 Tencent America LLC Systems and methods for subblock motion vector coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130003850A1 (en) * 2011-06-30 2013-01-03 Toshiyasu Sugio Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US20130107958A1 (en) * 2011-10-31 2013-05-02 Fujitsu Limited Video decoding apparatus and method
US20150249838A1 (en) * 2012-09-21 2015-09-03 Mediatek Inc. Method and apparatus of virtual depth values in 3d video coding
CN107105270A (zh) * 2010-12-13 2017-08-29 韩国电子通信研究院 帧间预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI3554079T1 (sl) * 2011-01-07 2023-01-31 Lg Electronics Inc. Postopek za kodiranje video informacij, postopek za dekodiranje video informacij in dekodirna naprava za dekodiranje video informacij
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105270A (zh) * 2010-12-13 2017-08-29 韩国电子通信研究院 帧间预测方法
US20130003850A1 (en) * 2011-06-30 2013-01-03 Toshiyasu Sugio Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US20130107958A1 (en) * 2011-10-31 2013-05-02 Fujitsu Limited Video decoding apparatus and method
US20150249838A1 (en) * 2012-09-21 2015-09-03 Mediatek Inc. Method and apparatus of virtual depth values in 3d video coding

Also Published As

Publication number Publication date
TW202019172A (zh) 2020-05-16
TWI720532B (zh) 2021-03-01
US20200014931A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
TWI720532B (zh) 在視訊編解碼系統中視訊處理的方法以及裝置
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
KR102344430B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
JP6679782B2 (ja) 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
TWI702834B (zh) 視訊編解碼系統中具有重疊塊運動補償的視訊處理的方法以及裝置
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
TW201904284A (zh) 用於視訊編解碼的子預測單元時間運動向量預測
CN110326296B (zh) 用于对运动信息进行编码和解码的方法和装置
US11240524B2 (en) Selective switch for parallel processing
TWI738081B (zh) 視訊編碼系統中結合多重預測子用於區塊預測之方法和裝置
KR20120016991A (ko) 인터 프리딕션 방법
US11394992B2 (en) Methods and apparatuses of generating average candidates in video coding systems
CN112689998B (zh) 在视频编解码系统中处理视频数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200114