CN111989927A - 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置 - Google Patents

视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置 Download PDF

Info

Publication number
CN111989927A
CN111989927A CN201980026329.6A CN201980026329A CN111989927A CN 111989927 A CN111989927 A CN 111989927A CN 201980026329 A CN201980026329 A CN 201980026329A CN 111989927 A CN111989927 A CN 111989927A
Authority
CN
China
Prior art keywords
block
motion compensation
overlapped
mvs
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980026329.6A
Other languages
English (en)
Other versions
CN111989927B (zh
Inventor
林芷仪
庄子德
陈俊嘉
陈庆晔
徐志玮
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202310421614.6A priority Critical patent/CN116456080A/zh
Priority to CN202210092778.4A priority patent/CN114554197A/zh
Publication of CN111989927A publication Critical patent/CN111989927A/zh
Application granted granted Critical
Publication of CN111989927B publication Critical patent/CN111989927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于编解码当前块的示例性视频处理方法以及装置通过重叠的子块运动补偿将所述当前块拆分成多个重叠的子块，确定用于每一重叠的子块的子块MV，通过使用所述子块MV的运动补偿推导原始预测子用于每一子块，通过混合所述重叠区域的原始预测子推导最终预测子用于每一重叠区域，以及基于所述最终预测子对所述当前块进行编码或解码。用OBMC编解码块的示例性视频处理方法以及装置通过将MV改变成整数MV或者将MV分量改变成整数分量生成已转换的MV，通过使用所述已转换的MV的运动补偿推导OBMC区域，以及通过混合OBMC预测子与原始预测子对块进行编码或解码。

Description

视频编解码系统中具有重叠块运动补偿的视频处理的方法及 装置
相关引用
本发明要求于2018年4月16日提交的，美国临时专利申请案，案号62/657,995，标题为“Simplified overlapped block motion compensation for subblock mode”、于2018年10月25日提交的，美国临时专利申请案，案号62/750,279，标题为“Methods ofOverlapped Blocks Motion Compensation with modified MV”，以及于2018年10月29日提交的，美国临时专利申请案，案号62/751,755，标题为“Method of Overlapped BlocksMotion Compensation with modified MV and MV constraints”的优先权。所述多个美国临时专利申请案在此通过参考纳入其中。
技术领域
本发明涉及视频编码以及解码系统中的视频处理方法以及装置，特别地，本发明涉及重叠的子块运动补偿或简化的重叠块运动补偿。
背景技术
高效视频编解码(High-Efficiency Video Coding，HEVC)是由来自TTU-T研究组的视频编解码专家的视频编解码联合组(JCT-VC)开发的最新的视频编解码标准。HEVC标准改善了它前身标准H.264/AVC视频压缩性能来满足更高图像分辨率、更高帧率以及更好视频质量的需求。在HEVC标准的发展过程中，提出了与重叠块运动补偿(Overlapped BlockMotion Compensation，OBMC)有关的许多提案来改善编解码效率。
OBMC OBMC的基本原理是基于从它附近的块运动向量推导的运动补偿信号找到像素强度值的线性最小均方误差(Linear Minimum Mean Squared Error，LMMSE)估计。从估计理论的角度来看，这些MV被认为是它真实运动的不同的似然假设，以及为了最大化编解码效率，MV的权重被确定以使受单元增益约束的均方预测误差最小化。OBMC被提出来改善重构的视频的视觉质量，同时为边界像素提供编解码增益。在应用OBMC到几何分区的示例中，因为两个不同的MV用于运动补偿，在分区边界的像素通常有大的不连续性并导致如块伪影(block artifact)的视觉伪影。这些不连续性降低了转换效率。例如，由几个分区创建的两个区域被标记为区域1以及区域2，如果来自区域1像素的四个相连的相邻像素(即，左边、顶部、右边以及底部像素)的任何一个属于区域2，它被定义为边界像素，以及如果来自区域2像素的四个相邻的相邻像素的任一个属于区域1，它被定义为边界像素。图1标出了在块的两个区域之间的边界像素的示例。灰色阴影像素122属于在块的左上半部分的第一区域12的边界，以及白色阴影像素142属于在块的右下半部分的第二区域14的边界。对于每一边界像素，使用根据第一区域12以及第二区域14的MV检索的运动预测子的加权和执行运动补偿。对于使用包含边界像素的区域的MV检索的预测子，权重是3/4，以及对于使用其他区域的MV检索的预测子，权重是1/4。
OBMC也用于使对称运动分区的边界像素光滑，如从2N×2N编码单元(codingunit,CU)分割的两个2N×N或N×2N预测单元(prediction unit,PU)。OBMC被应用于两个2N×N PU的水平边界以及两个N×2N PU的垂直边界。因为分区是使用不同的MV重构的，在分区边界的像素可能具有大的不连续性，OBMC被应用来减轻视觉伪影以及改善转换/编解码效率。图2A示出了应用OBMC到两个2N×N块的示例以及图2B示出了应用OBMC到两个N×2N块的示例。图2A或图2B中的灰色像素是属于分区0的像素以及白色像素是属于分区1的像素。亮度(luma)分量中的重叠区域被定义为水平边界的每一侧上的两行像素以及垂直边界的每一侧上的两列像素。对于分区边界之外的一行或者一列的像素，即在图2A以及图2B中标记为A的像素，分别用于原始预测子以及OBMC预测子的OBMC权重因子是(3/4,1/4)。对于分区边界之外的两行或者两列的像素，即标记为B的像素，分别用于原始预测子以及OBMC预测子的OBMC权重因子是(7/8,1/8)。对于色度(chroma)分量，重叠区域被定义为在水平边界的每一侧上的一行(row)像素以及在垂直边界的每一侧上的一列(column)像素，以及分别用于原始预测子以及OBMC预测子的权重因子是(3/4,1/4)。
跳过以及合并跳过以及合并模式被提出并在HEVC标准中被采用来通过从空间相邻块或时间同位块继承运动信息以增加运动信息的编解码效率。为了在跳过或合并模式中编码PU，仅表示从候选集选择的最终候选的索引被发信，而不发信运动信息。由在跳过或合并模式中编码的PU再使用的运动信息包括运动向量(MV)、帧间预测指示符以及所选的最终候选的参考图像索引。注意到，如果所选择的最终候选是时间运动候选，参考图像索引通常设置为0。当PU在合并模式中编码时，预测残差被编码，然而，因为在跳过模式中编码的PU的残差数据被强制为0，跳过模式进一步跳过预测残差的信令。
用于当前PU 30的HEVC标准中合并候选集包含与当前PU 30的相邻块有关的四个空间运动候选以及与当前PU 30的同位PU 32有关的一个时间运动候选。如图3所示，第一合并候选是左边预测子A1 312，第二合并候选是顶部预测子B1 314，第三合并候选是右上方预测子B0 313，以及第四合合并候选是左下方预测子A0 311。左上方预测子B2 315被包含在合并候选集中来替换不可用的空间预测子。第五合并候选是第一可用时间预测子TBR321以及TCTR 322的时间预测子。基于如通过率失真优化(RDO)决定的运动向量补偿，编码器从候选集选择一个最终候选用于在跳过或合并模式中编码的每一PU，以及表示所选择的最终候选的索引被发信到解码器。解码器根据在视频比特流中传输的索引从候选集中选择相同的最终候选。因为跳过以及合并候选的推导是类似的，为了方便起见，下文中提到的“合并”模式可以对应于合并模式以及跳过模式。
在许多最近开发的编解码工具，如子块时间运动向量预测(subblock TemporalMotion Vector Prediction，sbTMVP)、空间时间运动向量预测(Spatial-Temporal MotionVector Prediction，STMVP)、基于模式的运动向量推导(Pattern-based Motion VectorDerivation，PMVD)以及仿射运动补偿预测(Affine Motion Compensation Prediction，MCP)，采用了子块运动补偿来增加预测进程的准确性。子块运动补偿中的CU或PU被分成多个子块，以及CU或PU中的这些子块可能具有不同的参考图像以及不同的MV。因此，对于子块运动补偿，尤其当每一子块的MV非常多样化时，需要高带宽。在下文的段落中描述一些子块运动补偿编解码工具。
Sub-PU TMVP。通过包括至少一个SbTMVP候选作为候选集中的合并候选，子块时间运动向量预测(Subblock Temporal Motion Vector Prediction，子块TMVP，SbTMVP)被应用到合并模式。SbTMVP也称为可替换的时间运动向量预测(Alternative Temporal MotionVector Prediction，ATMVP)。当前PU被分成多个较小的子PU，以及搜索所述多个子PU的对应的时间同位运动向量。在图4中示出了SbTMVP技术的示例，其中尺寸为M×N的当前PU 41被分成(M/P)×(N/Q)个子PU，每一子PU的尺寸为P×Q，其中M可被P整除以及N可被Q整除。SbTMVP模式的具体算法可以在下文的三个步骤中描述。
在步骤1中，初始运动向量被分配给当前PU 41，标记为vec_init。所述初始运动向量通常是多个空间相邻块中第一可用候选。例如，List X是用于搜索同位信息的第一列表，以及vec_init被设置为第一可用空间相邻块的List X MV，其中X是0或1。X的值(0或1)取决于哪一列表更适合用于继承运动信息，例如，当参考图像与当前图像之间的图像次序计数(POC)距离比List 1中的POC距离更近时，List 0是用于搜索的第一列表。可以在条带(slice)级或图像级执行List X分配。在获得初始运动向量后，开始“同位图像搜索进程”来找到用于当前PU中所有子PU的主同位图像，标记为main_colpic。首先搜索由第一可用空间相邻块所选择的参考图像，之后，当前图像的所有参考图像被顺序地搜索。对于B条带，在搜索由第一可以空间相邻块选择的参考图像后，所述搜索从第一列表(List 0或List 1)参考索引0开始，然后索引1，然后索引2，直到所述第一列表中的最后一个参考图像，当第一列表中的参考图像都被搜索后，逐一地搜索第二列表中的参考图像。对于P条带，首先搜索由第一可用空间相邻块选择的参考图像，紧接着搜索列表中从参考索引0，然后索引1，然后索引2以及等等开始的所有参考图像。在同位图像搜索过程中，对于每一搜索的图像，“可用性检查”检查由vec_init_scaled指出的当前PU的中心位置周围的同位子PU是由帧间或帧内模式进行编码。Vec_init_scaled是从vec_init适当缩放的MV。确定“中心位置周围”的一些实施例是尺寸为M×N PU的中心像素(M/2,N/2)，中心子PU中的中心像素，或者取决于当前PU的形状的中心像素或者当前子PU的中心像素的混合。当由vec_init_scaled指出的中心位置周围的同位子PU由帧间模式编码时，可用性检查结果为真。当前所搜索的图像被记录为主同位图像main_colpic以及当用于当前所搜索图像的可用性检查结果为真时，完成同位图像搜索进程。如果可用性检查结果为真，中心像素周围的MV被使用并缩放用于当前块来推导默认MV。如果可用性检查结果为假，那么当由vec_init_scaled指出的中心位置周围的同位子PU由帧内模式编码时，它继续搜索下一个参考图像。当vec_init的参考图像不等于原始参考图像时，在同位图像搜索进程中需要MV缩放。分别基于当前图像与vec_init的参考图像以及所搜索的参考图像之间的时间距离缩放MV。在MV缩放后，已缩放的MV被定义为vec_init_scaled。
在步骤2中，为每一子PU定位main_colpic中的同位位置。例如，在时间同位图像42(main_colpic)中首先定位用于子PU 411以及子PU 412的对应的位置421以及位置422。在下文中计算用于当前子PU i的同位位置：
同位位置x＝Sub-PU_i_x+vec_init_scaled_i_x(整数部分)+shift_x,
同位位置y＝Sub-PU_i_y+vec_init_scaled_i_y(整数部分)+shift_y,
其中Sub-PU_i_x表示当前图像中sub-PU i的水平的左上方位置，Sub-PU_i_y表示当前图像内容sub-PU i的垂直的左上方位置，vec_init_scaled_i_x表示用于sub-PU i(vec_init_scaled_i)的缩放的初始运动向量的水平分量，vec_init_scaled_i_y表示vec_init_scaled_i的缩放的垂直分量，以及shift_x以及shift_y分别表示水平移位值以及垂直移位值。为了减少计算复杂度，仅Sub-PU_i_x以及Sub-PU_i_y的整数位置，以及vec_init_scaled_i_x的整数部分，以及vec_init_scaled_i_y用于计算。在图4中，由来自子PU411的位置421的vec_init_sub_0 423定位的同位位置425以及由来自sub-PU 412的位置422的vec_init_sub_1 424定位的同位位置426。
在SbTMVP的步骤3中，从在同位位置x以及同位位置y上的collocated_picture_i_L0以及collocated_picture_i_L1获得用于每一子PU的运动信息(MI)，标记为SubPU_MI_i。MI被定义为一组{MV_x,MV_y,参考列表，参考索引以及其他合并模式敏感信息，如局部亮度补偿旗标}。此外，MV_x以及MV_y可以根据同位图像、当前图像以及同位MV的参考图像之间的时间距离关系进行缩放。如果MI对于一些子PU是不可用的，将使用中心位置周围近的子PU的MI，或换言之，将使用默认MV。如图4所示，从同位位置425获得的subPU0_MV 427以及从同位位置426获得的subPU1_MV 428分别被用于推导子PU 411以及子PU 412的预测子。当前PU 41中的每一子-PU根据在对应同位位置上获得的MI，推导它自己的预测子。
STMVP在JEM-3.0中，空间时间运动向量预测(STMVP)用于推导将包含在用于跳过或合并模式的候选集中的新的候选。使用时间以及空间运动向量预测子遵循光栅扫描顺序递归地推导子块的运动向量。图5示出了具有四个子块的CU及其相邻块用于推导STMVP候选的的示例。图5中的CU是包含四个4×4子块A、B、C以及D的8×8块，以及当前图像中相邻N×N块被标记为a、b、c以及d。通过识别子块A的两个空间相邻块开始用于子块A的STMVP候选推导。第一相邻块c是子块A上方的N×N块，以及第二相邻块b是子块A左边的N×N块。如果块c是不可用的或者块c是帧内编码的，从左到右，从块c开始，检查子块A上方的其他N×N块。如果块b是不可用的或者块b是帧内编码的，从上到下，从块b开始，检查子块A左边的其他N×N块。针对每一列表从两个相邻块获得的运动信息被缩放成给定列表的第一参考图像。然后通过后续的与HEVC标准中指定的TMVP推导的相同进程推导子块A的时间运动相邻预测子(TMVP)。在位置D的同位块的运动信息被相应地提取以及缩放。最终，针对每一参考列表分别对所有可用的运动相邻求平均。平均的运动向量被分配为当前子块的运动向量。
PMVD基于模式的MV推导(PMVD)方法，也称为FRUC(Frame Rate Up Conversion，帧率上转换)或DMVR(Decoder-side MV Refinement，解码器侧MV细化)，包含用于双向预测块的双向匹配以及用于单向块的范本(template)匹配。当合并或跳过旗标为真时，发信FRUC_mrg_flag，以及如果FRUC_mrg_flag为真时，FRUC_merge_mode被发信来指示双向匹配(双向匹配合并模式以及模板匹配合并模式两者)是否包含两阶段匹配：第一阶段是PU级匹配，以及第二阶段是子PU级匹配。在PU级匹配中，分别选择LIST_0以及LIST_1中的多个初始MV。这些MV包括来自合并候选的多个MV(即，如这些在HEVC标准中指定的传统合并候选)以及来自时间推导的MVP的多个MV。生成两个不同的起始MV集用于两个列表。对于一个列表中的每一MV，通过合成这一MV以及由缩放所述MV到另一个列表推导的镜像MV生成MV对。对于每一MV对，通过使用这一MV对补偿两个参考块。计算这两个块的绝对差的和(SAD)。具有最小SAD的MV对被选择为最佳MV对。然后执行菱形搜索来细化所述MV对。细化精度是1/8像素。细化搜索范围被限制在±8像素内。最终MV对是PU级推导的MV对。
第二阶段的子PU级搜索为每一子PU搜索最佳MV对。当前PU被分成多个子PU，其中在具有4×4的最小子PU尺寸的序列参数集中发信子PU的深度。List 0以及List 1中的几个起始MV被选择用于每一子PU，其包括PU级推导的MV对、0MV、当前子PU的HEVC同位TMVP以及右下块、当前子PU的时间推导的MVP以及左边以及上方PU或子PU的MV。通过使用PU级搜索中类似的机制，为每一子PU选择最佳MV对。然后执行菱形搜索来细化所述最佳MV对。然后执行用于每一子PU的运动补偿来生成每一子PU的预测子。
仿射MCP仿射运动补偿预测(仿射MCP)是为预测除平移运动外各种类型的运动开发的技术。例如，旋转、放大、缩小、透视运动以及其他不规则运动。如图6A所示，示例性简化的仿射变换MCP被应用于JEM-3.0来改善编解码效率。当前块61的仿射运动场由两个控制点611以及612的运动向量613以及614进行描述。块的运动向量场(Motion Vector Field，MVF)由如下等式描述：
Figure BDA0002727757180000091
其中(V0x,V0y)表示左上角控制点611的运动向量613，以及(V1x,V1y)表示右上角控制点612的运动向量614。
应用基于块的仿射变换预测而不是基于像素的仿射变换预测以便于进一步简化仿射运动补偿预测。图6B示出了将当前块62分成多个子块以及将MCP应用于每一子块。如图6B所示，根据上述等式计算每一4×4子块的中心样本的运动向量，以及然后被舍入到1/16分数精度，其中(V0x,V0y)表示左上角控制点621的运动向量623，以及(V1x,V1y)表示右上角控制点622的运动向量624。根据推导的运动向量应用运动补偿插值来为每一子块生成预测子。在执行运动补偿预测后，每一子块的高精度运动向量被舍入以及用相同的精度存储为正常运动向量。
当在多个子块运动补偿编解码工具之一中进行编码时，CU或PU被分成多个子块，以及这些子块可具有不同的参考图像以及不同的MV。子块运动补偿需要高带宽以及应用OBMC到在子块运动补偿中编码的块需要高计算复杂度。图7A示出了对没有采用子块运动补偿模式编码的CU应用OBMC的示例，以及图7B示出了对采用子块运动补偿模式编码的CU应用OBMC的示例。当OBMC应用于当前子块时，除了当前运动向量，如果四个连接的相邻子块的运动向量可用并且不等于当前运动向量，也被用于推导当前子块的最终预测子。基于多个运动向量推导的多个预测子被组合来生成最终预测子。在图7A中，通过使用由当前MV推导的当前运动补偿预测子C、从上方相邻块A的MV推导的OBMC预测子A’，以及从左边相邻块B的MV推导的OBMC预测子B’的加权和计算当前CU的最终预测子。在图7B中，通过使用由当前MV推导的当前运动补偿预测子C、从上方相邻块的MV推导的OBMC预测子A’、从左边相邻块的MV推导的OBMC预测子B’、从右边子块D的MV推导的OBMC预测子D’以及从下方子块E的MV推导的OBMC预测子E’的加权和计算当前子块的最终预测子。
基于相邻块/子块的MV的OBMC预测子被标记为PN，N指示上方、下方、左边以及右边相邻块/子块的索引。基于当前块/子块的MV的原始预测子被标记为PC。如果PN是基于包含与当前块/子块相同的运动信息的相邻块/子块的运动信息，这一PN不执行PBMC。否则，PN的每一样本被添加到PC中相同的样本。在JEM中，PN的四个列或四个行被添加到PC，以及用于PN的权重因子是{1/4,1/8,1/16,1/32}以及用于PC的权重因子分别是{3/4,7/8,15/16,31/32}。在小MC块中应用OBMC的情况中，当编解码块的高度或宽度等于4或者当用子CU模式对CU进行编码时，仅PN的两行或者两列被添加到PC。用于PN以及PC的权重因子分别是{1/4,1/8}以及{3/4,7/8}。对于基于垂直(水平)相邻子块的运动向量生成的PN，将PN的相同列(行)中的样本添加到具有相同的权重因子的PC。通过加权和生成最终预测子的OBMC过程被逐一的顺序执行，这引入了高的计算复杂度与数据依赖性。
当CU尺寸小于或等于JEM中的256亮度样本时，OBMC可以根据CU级旗标开启与关闭。对于尺寸大于256亮度样本或者不用AMVP模式编码的CU，默认应用OBMC。当OBMC是使能的时候，除了CU的右边已经底部边界，对所有运动补偿(MC)块边界执行OBMC。OBMC被应用于亮度以及色度分量两者。如果不用子块MC对CU进行编码，MC块对应于编码块，或者如果用子块MC进行编码，MC块对应于CU中的子块。
在编码器，当OBMC被应用于CU时，在运动估计阶段考虑影响。使用顶部以及左边相邻块推导的OBMC预测子用于补偿当前CU的原始预测子的顶部边界以及左边边界，以及然后应用正常的运动估计进程。
可以在正常的运动补偿(MC)后执行OBMC。如果在正常MC后执行OBMC，分别在OBMC以及正常MC两者中应用双向光流(BDOF)。即，通过OBMC进程而不是在正常的MC进程中生成用于两个CU或PU之间重叠区域的MC结果。BDOF被应用于细化这两个MC结果。当两个相邻MV是相同的时，可以跳过冗余的OBMC以及BDOF进程。然而，相比于将OBMC进程整合到正常的MC进程，增加了重叠区域所需要的带宽以及MC操作。因为在新的编解码标准中支持分数像素运动向量，根据用于插值计算的插值抽头的数量检索参考块周围的额外参考像素。在一个示例中，当前PU尺寸是16×8，OBMC区域是16×2，以及在MC中使用8抽头的插值滤波器。如果在正常的MC后执行OBMC，每一参考列表需要(16+7)×(8+7)+(16+7)×(2+7)＝522个参考像素用于生成当前PU以及相关的OBMC区域。如果OBMC操作与正常MC被组合到一个阶段，每一参考列表仅需要(16+7)×(8+2+7)＝391个参考像素用于当前PU以及相关的OBMC。
在普通MC中整合OBMC有两种不同的实现方案：预生成以及实时。当由OBMC处理当前块时，第一方案是预生成OBMC区域以及在用于相邻块的局部缓冲器中存储OBMC区域的OBMC预测子。因此在处理相邻块时局部缓冲器中对应的OBMC预测子是可用的。图8A示出了用于生成当前块的预测子而没有生成OBMC区域的参考块提取。图8B示出了用于生成当前块预测子以及OBMC区域的参考块提取。根据当前块的运动向量(图8A以及图8B中的MV1)定位参考块。在这一示例中，当前块的尺寸是W×H，8抽头插值滤波器用于运动补偿，右边OBMC区域的宽度是W’，以及底部OBMC区域的高度是H’。一个示例中W’是四个像素以及H’也是四个像素，在这种情况中，四个额外的行(column)被提取来生成右边OBMC区域以及四个额外的列(row)被提取来生成底部OBMC区域。如图8A所示，需要从存储器中提取的参考块中参考样本的数目是(3+W+4)×(3+H+4)。如图8B所示，从存储器中提取的参考块中参考样本的数目用于生成当前块的预测子以及两个OBMC区域增加到(3+W+W’+4)×(3+H+H’+4)。右边的OBMC区域以及底部的OBMC区域被存储在缓冲器中用于右边以及底部相邻块的OBMC进程。穿过编码树单元(CTU)的额外的线性缓冲器需要存储底部OBMC区域的MC结果。第二实施方案就在混合OBMC预测子以及当前块的原始预测子之前，生成用于当前块的OBMC区域。例如，当对当前子块应用OBMC时，在局部缓冲器中OBMC预测子还不是可用的，因此根据当前子块的MV推导原始预测子，还根据一个或多个相邻块的MV推导一个或多个OBMC预测子，以及随后将原始预测子与一个或多个OBMC预测子混合。
发明内容
视频编解码系统中视频处理的示例性方法执行重叠的子块运动补偿。示例性视频处理方法接收与当前图像中当前块有关的输入视频数据，根据重叠的子块分区将所述当前块拆分成多个重叠的子块，以及确定一个或多个子块MV用于每一子块。根据所述重叠的子块分区，所述当前块中每一子块在水平方向、垂直方向或所述水平及垂直方向两者上与一个或多个其他子块重叠。所述重叠的子块分区的选择是预定义的、在视频比特流的序列级、图像级、图块组(tile group)级或条带级明确发信的或根据所述当前块运动信息、子块尺寸或预测模式隐含地决定。所述示例性视频处理方法通过使用所述一个或多个子块MV的运动补偿推导原始预测子用于所述当前块中的每一子块。在一些实施例中，所述当前块仅包含重叠区域，以及在一些其他实施例中，所述当前块包含重叠区域以及非重叠区域两者。通过混合所述重叠区域的所述多个原始预测子推导最终预测子用于每一重叠区域。对于所述非重叠区域，因为仅存在一个原始预测子与每一非重叠区域有关，使用所述原始预测子。基于所述重叠区域的所述最终预测子以及所述非重叠区域的所述原始预测子(如果可用)对所述当前块进行编码或解码。
在一些实施例中，通过使用加权和混合所述重叠区域的所述多个原始预测子推导所述最终预测子。用于所述多个原始预测子的权重因子可以是基于位置的或者可以基于重叠块的数目。
用于在视频编解码系统中用重叠的块运动补偿(OBMC)处理块的一些示例性视频处理方法接收与当前图像中当前块有关的输入视频数据，确定一个或多个MV，例如用于单向预测的一个MV或用于双向预测的两个MV，通过将所述一个或多个MV改变成一个或多个整数MV或者将所述一个或多个MV的一MV分量改变成整数分量，生成一个或多个已转换的MV，以及通过使用所述一个或多个已转换的MV的运动补偿推导OBMC区域。所述示例性视频处理方法通过将所述OBMC区域中的OBMC预测子与原始预测子进行混合应用OBMC，以及编码或解码所述当前块。
当处理所述当前块时，第一OBMC实施方案预生成至少一个OBMC区域用于至少一个相邻块，因此所述OBMC区域是由从所述当前块的一个或多个当前MV生成的已转换MV来推导的。在一些实施例中，所述已转换的MV用于预生成右边或底部OBMC区域用于所述当前块的右边或底部相邻块，当处理所述右边或底部相邻块时，所述OBMC区域中OBMC预测子与所述右边或底部相邻块的所述原始预测子混合。根据一个实施例，所述已转换的MV可以用于预生成所述右边以及底部OBMC区域两者用于所述右边以及底部相邻块。在另一个实施例中，为了推导用于所述右边相邻块的所述右边OBMC区域，通过将所述当前块的所述MV的水平分量改变成整数生成所述已转换的MV，为了推导用于所述底部相邻块的所述底部OBMC区域，通过将所述当前块的所述MV的一垂直分量改变成整数生成所述已转换的MV。
在一些其他实施例中，基于所述当前块、相邻块或其两者的预测方向使用已转换的MV或原始MV推导所述OBMC区域。例如，如果所述当前块的所述预测方向是双向预测，通过使用所述已转换的MV的运动补偿推导所述OBMC区域，否则如果所述当前块是单向预测，在没有转换的情况下使用所述MV推导所述OBMC区域。在另一个示例中，如果所述当前块或者相邻块是双向预测，通过使用所述已转换的MV的运动补偿推导所述OBMC区域，否则如果所述当前块以及所述相邻块两者是单向预测，在没有转换的情况下使用所述MV推导所述OBMC区域。根据一些实施例中的一个或多个标准，OBMC区域的预生成可以是适应性的。在一个实施例中，仅当所述当前块的所述MV的水平以及垂直分量两者不是整数时，预生成所述OBMC区域，或者在另一个实施例中，仅当所述当前块的所述MV的所述水平以及垂直分量的一个不是整数，预生成所述OBMC区域。在又一个实施例中，仅当所述当前块的所述MV的一预定分量不是整数时，预生成所述OBMC区域，以及所述预定分量取决于所述OBMC区域是否用于所述右边或底部相邻块。在又一个实施例中，当所述当前块是用一个整数MV以及一个分数MV双向预测时，由List 0以及List 1MV的一个预生成所述OBMC区域，以及所述OBMC区域由从所述分数MV生成的已转换的MV预生成。所述分数MV的水平以及垂直分量都是分数或者仅所述分数MV的预定分量是分数。当将所述OBMC预测子与所述右边或底部相邻块的所述原始预测子混合时，减少所述预生成OBMC区域中所述OBMC预测子的权重因子。例如，所述权重因子减少到原始权重因子的一半，其中当所述当前块不是用一个整数MV以及一个分数MV双向预测时，所述原始权重因子用于预生成OBMC区域中的OBMC预测子。
在处理所述当前块的时候，第二OBMC实施方案生成所述OBMC区域中的所述OBMC预测子与用于所述当前块的原始预测子两者。所述OBMC区域由从相邻块的一个或多个相邻MV生成的已转换的MV来推导，所述OBMC区域被推导用于当前块，以及所述OBMC区域与所述当前块的所述原始预测子混合。如果相邻块的预测方向是双向预测，所述第二OBMC实施方案的一些实施例使用所述已转换的MV推导所述OBMC区域，或者如果所述相邻块的所述预测方向是单向预测，在没有转换的情况下使用所述MV。如果所述当前块或相邻块是双向预测，一些其他实施例使用所述已转换的MV推导所述OBMC区域，或者如果所述当前块以及相邻块都是单向预测，在没有转换的情况下使用所述MV。在又一个实施例中，仅当所述当前块是用一个整数MV双向预测并且所述相邻块是双向预测时，使用所述已转换的MV推导所述OBMC区域。
将MV改变成整数MV的一些示例是截断或舍入成整数MV。在一些示例性实施例中，所述方法检查所述当前块与相邻块的多个MV的相似性，以及根据所述多个MV的所述相似性适应性跳过混合所述OBMC区域中的所述OBMC预测子与原始预测子。所述MV相似性检查可以在生成所述已转换的MV之前或之后执行。
在视频处理方法的一个变化中，当所述当前块是亮度(luma)块时，一个实施例设置所述OBMC区域中OBMC混合线的最大数目是3，以及当所述当前块是色度(chroma)块时，设置OBMC混合线的最大数目是1或2。如果所述MV的绝对值的分数部分大于0.5或者大于等于0.5，所述视频处理方法的另一个实施例设置用于亮度分量的所述OBMC区域中OBMC混合线的数目为3，否则设置用于所述亮度分量的所述OBMC区域中所述OBMC混合线的数目为4。如果所述MV的绝对值的分数部分大于0.5或者大于等于0.5，视频处理方法的一个实施例设置用于色度分量的所述OBMC区域中OBMC混合的数目为1，否则设置用于所述色度分量的所述OBMC区域中所述OBMC混合线的数目为2。在视频处理方法的又一个实施例中，如果用于所述亮度分量的所述OBMC区域中所述OBMC混合线的数目减少到3，设置用于色度分量的所述OBMC区域中OBMC混合线的数目为1，否则设置用于所述色度分量的所述OBMC区域中所述OBMC混合线的数目为2。在又一个实施例中，当所述OBMC区域由一顶部相邻块的所述已转换MV来推导时，仅当垂直方向上所述MV的绝对值的分数部分大于0.5或者大于等于0.5时，用于亮度分量的所述OBMC区域中OBMC混合线的数目是3，否则，用于所述亮度分量的所述OBMC混合线的数目是4。当由一左边相邻块的已转换的MV推导所述OBMC区域时，仅当水平方向上所述MV的绝对值的分数部分大于0.5或者大于等于0.5时，用于亮度分量的所述OBMC区域中OBMC混合线的数目是3否则用于所述亮度分量的所述OBMC区域中所述OBMC混合线的数目是4。类似地，当所述OBMC区域由一顶部相邻块的已转换的MV来推导时，仅当垂直方向上所述MV的绝对值的分数部分大于0.5或者大于等于0.5，或者用于所述亮度分量的所述OBMC混合线的数目被减少到3时，用于色度分量的所述OBMC区域中OBMC混合线的数目是1，否则，用于所述色度分量的所述OBMC混合线的数目是2。当所述OBMC区域由左边相邻块的已转换的MV来推导时，仅当水平方向上所述MV的绝对值的分数部分大于0.5或者大于等于0.5，或者用于所述亮度分量的所述OBMC混合线的数目被减少到3时，用于色度分量的所述OBMC区域中OBMC混合线的数目是1，否则用于所述色度分量的所述OBMC混合线的数目是2。
应用OBMC的一些实施例适应性确定OBMC混合线的数目用于将原始预测子与当前块的OBMC预测子进行混合。在一个实施例中，根据所述当前块的宽度决定用于当前块的左边边界的所述OBMC混合线的数目，与/或根据所述当前块的高度决定用于所述当前块的顶部边界的所述OBMC混合线的数目。通过使用所述当前块的一个或多个当前MV的运动补偿推导所述当前块的所述原始预测子。通过使用所述当前块的左边相邻块的一个或多个MV的运动补偿推导用于左边边界的具有所述OBMC混合线的数目的左边OBMC区域的所述OBMC预测子。通过使用所述当前块的顶部相邻块的一个或多个MV的运动补偿推导用于顶部边界的具有所述OBMC混合线的数目的顶部OBMC区域的所述OBMC预测子。通过针对所述OBMC混合线的数目混合所述OBMC预测子与所述当前块的所述原始预测子，所述视频编码或解码系统将OBMC应用于所述当前块，以及编码或解码所述当前块。例如，将亮度块的宽度与预定阈值进行比较来决定在所述当前块的所述左边边界使用2个OBMC混合线或4个OBMC混合线。将所述亮度的高度与预定阈值进行比较来决定在所述当前块的所述顶部边界使用2个OBMC混合线或4个OBMC混合线。用于左边或顶部边界的较少OBMC混合线用于宽度或长度短于所述预定阈值的块。类似地，色度块的宽度可以用于决定OBMC混合线的数目，例如，如果所述色度块的所述宽度小于预定阈值，在左边边界使用1个OBMC混合线，否则使用2个OBMC混合线；与/或如果所述色度块的宽度小于预定阈值，在所述顶部边界使用1个OBMC混合线，否则使用2个OBMC混合线。根据在运动补偿中使用的插值滤波器的长度适应性决定所述OBMC混合线的数目，例如，当采用更长的插值滤波器时，需要更多的OBMC混合线。
根据旗标，适应性确定所述OBMC混合线的数目的方法可被启用或者禁用，例如，如果旗标指示适应性OBMC混合线的数目是禁用的，4个OBMC混合线用于亮度分量以及2个OBMC混合线用于色度分量。在一个实施例中，根据所述当前块的宽度或长度适应性决定用于所述亮度分量的所述OBMC混合线的数目，以及根据用于所述亮度分量的所述OBMC混合线的数目决定用于色度分量的所述OBMC混合线的数目。
本发明的一个方面进一步提供了在视频编解码系统中处理视频数据的装置的实施例。装置的一个实施例包括一个或多个电子电路用于接收当前图像中当前块的输入资料，根据重叠的子块分区将所述当前块分割成多个重叠的子块，确定用于每一子块的一个或多个子块MV；通过使用所述一个或多个子块MV的运动补偿推导用于每一子块的原始预测子，通过混合所述重叠区域中的原始预测子推导用于每一重叠区域的最终预测子，以及基于所述最终预测子对所述当前块进行编码或解码。装置的另一个实施例包括一个或多个电子电路用于接收当前块的输入视频数据，决定一个或多个MV，通过将所述一个或多个MV改变成一个或多个整数MV或者将所述一个或多个MV的MV分量改变成整数分量生成一个或多个已转换的MV，通过使用所述一个或多个已转换的MV的运动补偿推导OBMC区域，通过将所述OBMC区域中OBMC预测子与原始预测子进行混合应用OBMC，以及编码或解码当前块。
本发明的一个方面进一步提供了存储程序指令的非瞬时计算机可读媒介，使得装置的处理电路执行视频处理方法，来根据一些实施例利用重叠的子块对当前块进行编码或解码，或者根据一些实施例用使用整数MV推导的OBMC以及OBMC区域对当前块进行编码或解码。在阅读特定实施例的后续描述后，本发明的其他方面以及特征对本领域普通技术人员将是显而易见的。
附图说明
以示例提出的本发明的各种实施例将参考后文图式进行详细描述，以及其中：
图1示出了几何分割的重叠的运动补偿的示例。
图2A以及图2B示出了边界像素具有不同权重的2N×N块以及N×2N块的OBMC覆盖区(footprint)的示例。
图3示出了用于重构合并候选集的空间以及时间MV候选的位置。
图4示出了根据SbTMVP技术的确定当前PU中子块的子块运动向量的示例。
图5示出了根据STMVP技术的确定具有四个子块的CU的合并候选的示例。
图6A示出了对具有两个控制点的当前块应用仿射运动向量补偿预测的示例。
图6B示出了应用具有两个控制点的基于块的仿射运动补偿预测的示例。
图7A示出了没有采用子块运动补偿模式的情况下应用OBMC到块的示例。
图7B示出了采用子块运动补偿模式的情况下应用OBMC到的块的示例。
图8A标出了从存储器中提取参考块用于生成当前块的预测子的示例。
图8B标出了从存储器中提取参考块用于生成当前块的预测子以及用于相邻块的两个OBMC预测子的示例。
图9A示出了示例性非重叠的子块分区。
图9B示出了具有位于水平方向的重叠区域的示例性重叠的子块分区。
图9C示出了具有位于垂直方向的重叠区域的示例性重叠的子块分区。
图9D示出了具有位于水平以及垂直方向两者的示例性重叠的子块分区。
图10是示出了用重叠的子块运动补偿处理当前块的示例性实施例的流程图。
图11示出了当当前MV被舍入到整数MV用于生成OBMC预测子时，从存储器中提出参考块用于生成用于当前块的预测子以及用于相邻块的两个OBMC预测子的示例。
图12A是示出了用使用第一OBMC实施方案的OBMC处理当前块的示例性实施例的流程图。
图12B是示出了用使用第二OBMC实施方案的OBMC处理当前块的示例性实施例的流程图。
图13示出了根据本发明实施例的结合视频处理方法的视频编码系统的示例性系统框图。
图14示出了根据本发明实施例的结合视频处理方法的视频解码系统的示例性系统框图。
具体实施方式
将容易理解，本发明的元件，如通常在本文的图示中描述以及示出的，可以以多种多样的不同配置进行安排以及设计。因此，如图示中示出的本发明的系统以及方法的实施例的后续更详细的描述，并不旨在限制本发明所要求保护的范围，而仅表示本发明所选择实施例。在本发明中，系统以及方法被描述用于具有重叠的子块分区的运动补偿或者重叠块运动补偿(OBMC)，以及方法的每一个或其组合可以在视频编码器或视频解码器中实施。实施方法的一个或其组合的示例性视频编码器以及解码器分别在图13以及图14中示出。本发明的各种实施例减少了计算复杂度，尤其对于在运动补偿中应用插值滤波，以及减少一个或OBMC实施方案两者中OBMC所需要的额外带宽。本文描述的系统以及方法被组织成如下部分。部分“重叠的子块分区”示出了重叠的子块运动补偿的示例性方法，其实现如OBMC技术的减少伪影的类似效果。部分“定向OBMC”描述了仅在一个或多个特定方向应用OBMC的示例性方法。部分“用于OBMC区域的短抽头插值滤波器”描述了当生成一个或多个OBMC区域时，采用短抽头插值滤波器的示例性方法。部分“使用整数MV用于生成OBMC区域”，之后是部分“有条件的改变成整数MV”、“有条件的预生成OBMC区域”、“有条件的跳过OBMC混合”、“有条件的生成OBMC区域”以及“减少用于OBMC的混合线”描述了当生成OBMC区域时，将MV或MV分量转换成整数MV或整数MV分量的各种示例性方法。部分“OBMC混合线的适应性数目”示出了生成具有适应性确定OBMC混合线的数目的OBMC区域的示例性方法。部分“示例性流程图”描述了使用一个或多个已转换的MV生成OBMC区域的示例性方法，其中已转换的MV是整数MV或具有整数分量的MV。部分“具有BiCW的OBMC交互”以及“具有BDOF的OBMC交互”描述了OBMC与具有CU权重的双预测(BiCW)技术与BDOF技术一起实施的一些示例。部分“视频编码器以及解码器实施”与图13以及图14一起示出了结合所描述的视频处理方法的一个或其组合的视频编码系统以及视频解码系统。
重叠的子块分区为了减少对非重叠的子块应用OBMC、仿射预测模式或其他基于子块的预测模式的计算复杂度，本发明的实施例应用重叠的子块运动补偿而不是OBMC。图9A示出了将CU分割成16个非重叠的子块的示例。图9B示出了将CU分割成6个重叠的子块的示例以及图9C示出了将CU分割成6个重叠的子块的另一个示例。在图9B的示例中，子块0与子块1部分地重叠，子块1与子块2部分地重叠，子块3与子块4部分地重叠以及子块4与子块5部分地重叠。图9B中重叠的子块仅具有位于每一子块的右边与/或左边边界的重叠区域。视频编码器或解码器根据子块的一个或多个对应的MV推导子块0、1、2、3、4、5的每一子块的原始预测子，然后视频编码器或解码器通过混合后组合6个原始预测子推导用于CU的最终预测子。例如，子块1左边部分的原始预测子与子块0的右边部分的原始预测子混合，以及子块1的右边部分的原始预测子与子块2的左边部分的原始预测子混合。每一非重叠区域的原始预测子是用于非重叠区域的最终预测子，例如，子块0的左边部分的原始预测子也是用于子块0的左边部分的最终预测子。
在图9C中，子块0与子块2部分地重叠，子块2与子块4部分地重叠，子块1与子块3部分地重叠，以及子块3与子块5部分地重叠。图9C中重叠的子块仅具有位于每一子块的顶部与/或底部边界的重叠区域。为每一子块推导原始预测子，以及子块2的顶部分的原始预测子与子块0的底部分的原始预测子混合，以及子块2的底部分的原始预测子与子块4的顶部分的原始预测子混合。类似地，子块3的顶部分的原始预测子与子块1的底部分的原始预测子混合，以及子块3的底部分的原始预测子与子块5的顶部分的原始预测子混合。
在一些其他实施例中，在图9D中示出了位于顶部边界、底部边界、左边边界以及右边边界的重叠区域。如图9D所示，CU首先被分割成16个子块以及为每一子块推导一个或多个对应的MV。根据一个或多个对应的MV为16个子块分区的每一子块定位第一原始预测子。相同的CU也被分割成25个子块，以及25个子块的每一个在水平以及垂直方向两者与16个子块的一个或多个子块重叠。为25个子块推导新的MV用于定位第二原始预测子。通过混合或组合两个对应原始预测子的像素值计算用于重叠区域的最终预测子的每一像素，其中一个预测子是由16个子块分区推导的第一原始预测子以及另一个预测子是由25个子块分区推导的第二原始预测子。
用于拆分块的重叠的子块分区可以被明确地发信、隐含地决定或预定义。例如，在视频比特流的序列级、图像级、分块组级或条带级发信重叠的子块分区的选择。隐含地决定的一个示例根据当前块的运动信息、子块的尺寸或当前块的预测模式的一个或组合确定重叠的子块分区。使用加权和可以组合或混合由当前块中重叠区域生成的原始预测子来生成用于当前块的最终预测子。根据一个实施例，用于生成重叠区域中最终预测子的权重可以是取决于位置的，或者根据其他实施例，原始预测子的每一权重取决于重叠的子块的数目。
示例性流程图图10标出了视频编码或解码系统通过重叠的子块运动补偿处理视频数据的示例性流程图。在步骤S1010中，视频编码或解码系统接收与当前图像中当前块有关的输入视频数据。在编码器侧，所述输入视频数据对应于将被编码的像素数据。在解码器侧，输入数据对应于将被解码的已编码数据或预测残差。在步骤S1020，视频编码或解码系统根据重叠的子块分区，将所述当前块分割成重叠的多个子块。当前块中的每一子块与在左边与/或右边边界、在顶部与/或底部边界、或在左边、右边、顶部以及底部边界的一个或其组合的一个或多个其他子块重叠。重叠的子块分区可以被预定义、在视频比特流中的序列级、图像级、图块组级或条带级中明确发信或根据运动信息、子块尺寸以及当前块的预测模式的一个或其组合隐含地决定。在步骤S1030中，如果在单向预测中预测子块，为每一重叠的子块确定子块MV，如果在双向预测中预测子块，为每一重叠的子块确定List 0以及List 1子块MV。在步骤S1040中，通过子块MV对所述当前块中的每一重叠的子块进行运动补偿来从参考图像中推导原始预测子。在步骤S1050中，视频编码或解码系统然后通过将重叠区域的原始预测子混合来推导最终预测子用于每一重叠区域。根据各种重叠的子块分区，在当前块中可以有非重叠区域以及重叠区域，或者在当前块中仅有重叠区域。在步骤1060中，视频编码或解码系统基于重叠区域的最终预测子对当前块进行编码或解码。如果在当前块中也有非重叠区域，视频编码或解码系统基于重叠区域的最终预测子以及非重叠区域的原始预测子对当前块进行编码或解码。
定向OBMC对于子块模式中编码的CU，在四个方向将传统的OBMC应用于每一子块。定向OBMC的一些实施例在OBMC子块进程中减少方向的数量。例如，仅从左边块生成的OBMC预测子用于与当前子块的原始预测子混合。在另一个实施例中，仅使用从上方块生成的OBMC预测子。用于应用OBMC进程的所选择的一个或多个方向可以被隐含地推导或明确地发信。隐含地选择OBMC方向的一个示例基于当前块以及相邻块的运动信息决定方向。运动信息包括运动向量、参考帧索引、预测方向、预测模式、CU尺寸以及子块尺寸的一个或其组合。在一个实施例中，基于在当前块与相邻块之间的运动向量差的大小(magnitude)应用OBMC的方向。在当前块与相邻块之间的具有较大MVD的方向被选择。在另一个实施例中，具有较小但非0MVD的方向被选择。在一个实施例中，具有相邻块的较小平均CU尺寸的方向被选择。所述选择可以在序列级、图像级、CTU级、CU级或块级被明确地发信到解码器。本发明的当前块以及相邻块可以分别是当前块或当前子块以及相邻块块或相邻子块。
用于OBMC区域的短抽头插值滤波器为了减少OBMC进程的计算复杂度，可以减少在OBMC进程的运动补偿中使用的插值滤波器的插值滤波器长度。在OBMC进程中使用的插值滤波器的长度比在正常MC进程中使用的插值滤波器的长度短。通常，在正常的MC进程中，8抽头插值滤波器用于亮度样本以及4抽头插值滤波器用于色度样本，本发明的实施例使用4抽头插值滤波器用于对亮度样本执行OBMC以及2抽头插值滤波器用于对色度样本执行OBMC。在另一个示例中，1抽头插值滤波器用于亮度样本而2抽头插值滤波器用于色度样本。在又一示例中，在OBMC进程中使用1抽头插值滤波器用于亮度以及色度样本两者。通过减少插值滤波器抽头的数目，可以减少OBMC的计算复杂度以及节省最坏情况中用于OBMC区域的额外存储器带宽。
使用整数MV用于生成OBMC区域在后续描述中，当前块可以是当前CU、PU或子块，以及相邻块可以是相邻CU、PU或子块。本发明的一些实施例在OBMC进程中仅允许整数MV来进一步简化计算以及减少OBMC进程中运动补偿的存储器带宽。相当于在OBMC进程中采用了1抽头插值滤波器。示例性实施例确定用于生成OBMC区域的一个或多个MV，通过将一个或多个MV改变成一个或多个整数MV生成一个或多个已转换的MV。每一相邻块的一个或多个已转换的MV被对齐到实时OBMC进程中的整数样本，或者当前块的一个或多个已转换的MV被对齐到预生成OBMC进程中的整数样本来避免分数运动补偿计算以及在OBMC进程中存取额外的参考样本。一个或多个已转换的MV用于通过运动补偿推导OBMC区域。OBMC区域中的OBMC预测子与OBMC进程中的原始预测子混合。例如，OBMC预测子与预生成OBMC进程中的相邻块的原始预测子混合，而OBMC预测子与实时OBMC进程中的当前块的原始预测子混合。
将MV改变成整数MV用于生成OBMC区域的一些示例包括将MV截断或舍入成整数MV。例如，通过丢弃MV的分数部分改变MV，将MV舍入到最接近的整数，当舍入偏移等于0.5时(如，偏移＝(1<<(shift_bit-1)，其中shift_bit是舍入位)，舍入为整数MV，或者当舍入偏移小于0.5时(如，偏移＝(1<<(shift_bit-1)-1))，舍入为整数MV。如果原始MV与两个整数MV之间的距离是相同的，可以选择更接近于0的整数MV，或者在另一个示例中，可以选择更接近于无限的整数MV。
在一些实施例中，仅亮度分量的MV被转换成整数MV，以及在另一个实施例中，色度分量的MV也被舍入或者截断成整数MV。
在对当前块执行运动补偿时预生成OBMC区域用于相邻块的第一实施方案下，根据一个实施例，用于推导右边OBMC区域的仅水平方向中的MV被改变成整数MV。在生成右边OBMC区域用于当前块的右边相邻块之前，将MV的水平分量截断或舍入为整数值。即，仅当前块的MV中的水平分量被转换成整数用于推导右边OBMC区域。在另一个实施例中，用于推导底部OBMC区域的仅垂直方向中的MV被改变成整数MV。在生成底部OBMC区域用于底部相邻块之前，MV的垂直分量被截断或舍入为整数值。仅当前块的MV中的垂直分量被转换成整数用于推导底部OBMC区域。在又一个实施例中，用于推导右边OBMC块的水平方向中的MV被改变成整数MV以及用于推导底部OBMC区域的垂直方向中的MV被改变成整数MV。
有条件地改变成整数MV在一些实施例中，当应用第一实施方案时，即OBMC区域的预生成，如果当前块与/或相邻块的运动信息满足某些标准，通过将当前MV或当前MV的MV分量改变成整数MV或整数来推导OBMC区域。在第一实施方案中，通过当前块的运动信息生成的每一OBMC区域用于与相邻块的一个或多个预测子混合。
例如，如果当前块的预测方向是双向预测，在生成OBMC区域之前，当前块的当前MV被改变成整数MV。如果当前块的预测方向是单向预测，当前MV在没有转换的情况下用于生成相邻块的OBMC区域。在另一个示例中，也考虑相邻块的运动信息，如果当前块或相邻块的预测方向是双向预测，那么当前块的当前MV被转换成整数MV。即，仅当当前块以及相邻块是单向预测时，当前MV没有被转换来生成用于相邻块的OBMC区域。
当应用第二实施方案时，如果相邻块与/或当前块的运动信息满足特定标准，相邻块的MV或MV分量被转换成整数MV或整数MV分类来生成用于当前块的OBMC区域。在第二实施方案中，通过将一个或多个OBMC区域与当前预测子进行混合，由一个或多个相邻块的运动信息生成的一个或多个OBMC区域用来处理当前块。在一些实施例中，取决于相邻块与/或当前块的运动信息，相邻块的MV被有条件地修正成整数精度。在一个实施例中，如果相邻块的预测方向是双向预测，相邻块的MV被改变成整数MV。例如，当当前块以及相邻块两者都由单向预测进行预测时，来自相邻块的MV不被转换成整数MV；当当前块是单向预测以及相邻块是双向预测时，来自相邻块的MV被转换成整数MV；以及当当前块是用整数MV进行双向预测并且相邻块是双向预测时，来自相邻块的MV被转换成整数MV。在另一个实施例中，如果当前块或相邻块的预测方向是双向预测，相邻块的MV被转换成整数MV来生成用于当前块的OBMC区域。在又一个实施例中，仅当当前块是用整数MV进行双向预测以及相邻块也是双向预测时，相邻块的MV被转换成整数MV来生成用于当前块的OBMC区域。
有条件地预生成OBMC区域第一实施方案的一些实施例总是在生成一个或多个OBCM区域之前，将MV转换成整数MV，然而，用于一个或多个相邻块的一个或多个OBMC区域可有条件地预生成。在一个实施例中，仅当当前MV的MV分量在水平以及垂直方向两者上不是整数时，预生成右边OBMC以及底部OBMC区域，以及如果当前MV的MV分量在两个方向不是整数，当前MV被改变成整数MV来用于生成OBMC区域。在这一实施例中，在预生成右边OBMC区域用于右边相邻块之前，首先检查当前块的MV分量，如果水平以及垂直方向上的MV分量之一是整数，将不预生成右边OBMC区域。类似地，在预生成底部OBMC区域之前检查MV分量，如果水平以及垂直方向上MV分量之一是整数，将不会预生成底部OBMC区域。在另一个实施例中，当水平或垂直方向上当前MV的MV分量不是整数时，预生成右边以及底部OBMC区域。当水平或垂直方向上MV分量不是整数，通过将MV分量或当前MV改变成整数或整数MV预生成OBMC区域。在这一实施例中，首先检查当前块的当前MV，以及如果水平以及垂直方向上的MV分量都是整数，不预生成右边OBMC区域。类似地，如果水平以及垂直方向上的MV分量都是整数，不生成底部OBMC区域。
有条件地预生成OBMC区域的另一个实施例在预定方向检查当前MV用于右边或底部OBMC区域，以及当预定方向中的当前MV不是整数时，将当前MV改变成整数MV。例如，仅当MV的水平分量不是整数时生成右边OBMC区域，以及当生成右边OBMC区域时，所有方向上的水平MV分量或MV分量被改变成整数。在另一个示例中，仅当MV的垂直分量不是整数时，生成底部OBMC区域，以及当生成底部OBMC区域时，垂直MV分量或所有MV分量被改变成整数。在又一示例中，仅当水平以及垂直方向上的MV分量分别不是整数时，生成每一右边以及底部OBMC区域。当生成右边或底部OBMC区域时，对应的MV分量或MV被改变成整数或整数MV以用于生成右边或底部OBMC区域。
在一些实施例中，当前块是双向预测的以及List 0以及List 1中的多个MV的仅一个在水平以及垂直方向两者是整数MV，而其他MV在至少一个方向是分数MV，或者List 0以及List 1中的多个MV的仅一个MV在预定方向具有整数MV分量，而其他MV在预定方向具有分数MV分量。通过将分数MV改变成整数MV，将使用分数MV预生成OBMC区域，或者通过将分数MV分量改变成整数或者将所有MV分量改变成整数，将在预定方向使用分数MV分量预生成OBMC区域。例如，用于当前块的预测方向是双向预测，以及List 0中的MV在水平以及垂直方向两者是整数MV，而List 1中MV在两个方向不是整数MV。List 1中的MV被选择并被改变成整数MV用于生成OBMC区域。当这些OBMC区域之一由相邻块使用时，它与根据相邻块的运动信息推导的原始预测子混合，以及可以减少用于OBMC区域的OBMC预测子的权重因子，例如。权重因子可以被减少到原始权重因子的一半。在另一个示例中，List 0以及List 1中多个当前MV的仅一个在水平方向具有整数MV分量，使用在水平方向具有分数MV分量的MV生成右边OBMC区域。在生成右边OBMC区域之前，MV被改变成在水平方向具有整数MV分量或被改变成在所有方向具有整数MV分量。当这一右边OBMC区域的OBMC预测子与另一个预测子混合时，用于OBMC预测子的权重因子可能低于原始权重因子，例如，权重因子被减少到原始权重因子的一半。对于根据当前块的双向预测运动信息生成底部OBMC区域，如果Lsit 0以及List1中多个MV的仅一个在垂直方向具有整数MV分量，使用在垂直方向具有分数MV分量的MV生成底部OBMC区域。在生成底部OBMC区域之前，MV在垂直方向被改变成整数MV分量或者在两个方向被改变成整数MV分量。用于这一类型的底部OBMC区域的OBMC预测子的权重因子可能会降低，例如，减少到用于正常底部OBMC区域的原始权重因子的一半。
有条件地跳过OBMC混合在一些实施例中，OBMC混合取决于当前块与相邻块的MV的相似性。例如，通过计算当前块与相邻块的MV之间的MV差异并与预定阈值进行比较来检查MV。如果MV差异大于预定阈值，跳过在当前块与相邻块之间的OBMC混合。在一个实施例中，在将MV改变成用于生成OBMC区域的整数MV之前执行MV相似性检查。在另一个实施例中，在将MV改变成用于生成OBMC区域的整数MC之后执行MV相似性检查。在第一实施方案中用于生成OBMC区域的MV是当前块的MV，以及在第二实施方案中用于生成OBMC区域的MV是相邻块的MV。在又一个实施例中，跳过OBMC混合根据MV相似性被禁用，以及在生成OBMC区域之前将MV改变成整数MV。
有条件地生成OBMC区域在第一实施方案的一些实施例中，仅当当前块的尺寸、宽度或高度大于或等于预定阈值时，生成OBMC区域。用于尺寸的预定阈值的一些示例是16、32、64、128、256、512、1024、2048、4096、8192以及16384。例如，仅当当前块具有大于或等于64的尺寸时，生成OBMC区域。在一个实施例中，仅当当前块的宽度大于或等于第一预定阈值，以及当前块的高度大于或等于第二预定阈值时，生成OBMC区域。第一以及第二预定阈值的组合的一些示例是(4,4)、(4,8)、(4,16)、(4,32)、(4,64)、(4,128)、(8,4)、(8,8)、(8,16)、(8,32)、(8,64)、(8,128)、(16,4)、(16,8)、(16,16)、(16,32)、(16,64)、(16,128)、(32,4)、(32,8)、(32,16)、(32,32)、(32,64)、(32,128)、(64,4)、(64,8)、(64,16)、(64,32)、(64,64)、(64,128)、(128,4)、(128,8)、(128,16)、(128,32)、(128,64)以及(128,128)。例如，仅当当前块的宽度大于或等于8以及高度大于或等于16时，生成OBMC区域。
在第二实施方案的一些实施例中，用于决定是否生成OBMC区域的一些约束被应用于一个或多个相邻块。例如，仅当相邻块的宽度大于或等于8以及相邻块的高度大于或等于16时，生成OBMC区域。
附条件的OBMC区域生成方法可以仅应用于亮度分量，或者可以应用于亮度以及色度分量两者。
减少用于OBMC的混合线用于OBMC的混合线的数目是右边OBMC区域中水平方向上像素的数目或者底部OBMC区域中垂直方向上像素的数目。用于OBMC的混合线的数目也被定义为由OBMC混合处理的水平边界上的像素列的数目或者垂直边界上像素行的数目。在将分数MV转换成整数MV的一些实施例中，当分数部分大于0.5时或者当分数部分大于或等于0.5时，分数MV被舍入到整数MV。图11标出了从参考图像中提取参考样本用于当前块以及两个OBMC区域的示例。这一示例中，当前块的尺寸是W×H，以及用于OBMC的混合线的数目是4。因为分数当前MV被舍入成整数MV，用于右边以及底部OBMC区域的OBMC预测子(OBMC R 1120以及OBMC B 1130)距离用于参考图像中当前块的当前预测子1110有1像素间隔。在这种情况中，用于当前块以及两个OBMC区域的需要提取的参考样本是较大的参考块(W+8)×(H+8)而不是(W+7)×(H+7)。为了将用于当前块以及OBMC区域的提取参考像素的最大参考块尺寸保持在一定范围内，OBMC进程在块边界可以仅应用3个像素线而不是4个。一个实施例通过当由整数MV预生成OBMC区域时将MV舍入到整数MV，减少了OBMC混合线的最大数目以致最坏情况下带宽将不会增加。例如，用于亮度分量的OBMC混合线的最大数目从4减少到3。根据一个实施例，用于色度分量的OBMC混合线的最大数目从2减少到1，或者根据另一个实施例，保持为2。在一个实施例中，用于亮度以及色度分量的混合线的最大数目分别从4减少到3以及从2减少到1。
一些其他实施例根据一个或多个预定标准决定用于每一块的OBMC混合线的数目。示例性系统根据用于生成一个或多个OBMC区域的MV确定OBMC混合线的数目。例如，示例性系统检查list 0或list 1中MV的绝对值的分数部分是否大于0.5，以及仅当分数部分大于0.5时，将用于亮度分量的OBMC混合线的数目从4减少到3。如果MV是整数MV或者如果分数部分小于或等于0.5，混合线的数目保持为4。在一个考虑亮度以及色度分量两者的实施中，仅当亮度MV的绝对值的分数部分大于0.5时，用于亮度分量的混合线的数目从4减少到3，以及仅当色度MV的绝对值的分数部分大于0.5时，用于色度分量的混合线的数目从2减少到1。在考虑亮度以及色度分量两者的一个实施例中，仅当亮度MV的绝对值的分数部分大于0.5时，用于亮度分量的混合线的数目从4减少到3，以及如果用于亮度分量的混合线的数目从4减少到3，用于色度分量的混合线的数目从2减少到1。在另一个实施例中，仅当list 0或list1中亮度MV的绝对值的分数部分大于或等于0.5时，用于亮度分量的OBMC混合线的数目从4减少到3。在一个实施例中，仅当亮度MV的绝对值的分数部分大于或等于0.5时，用于亮度分量的OBMC混合线的数目从4减少到3，以及仅当色度MV的绝对值的分数部分大于或等于0.5时，用于色度分量的OBMC混合线的数目从2减少到1。在一个实施例中，仅当亮度MV的绝对值的分数部分大于或等于0.5时，用于亮度分量的OBMC混合线额数目从4减少到3，以及如果用于亮度分量的OBMC混合线的数目从4减少到3，用于色度分量的OBMC混合线的数目从2减少到1。
在第二实施方案下，仅在当前块的OBMC混合进程之前生成OBMC区域。减少OBMC混合线的数目的实施例首先分别检查相邻块的亮度或色度MV，以分别针对亮度分量或色度分量推导OBMC区域。例如，仅当垂直方向上亮度MV的绝对值的分数部分大于0.5时，示例性系统将用于亮度分量的在顶部块边界的混合线的数目从4减少到3，否则用于亮度分量的在顶部块边界的混合线的数目是4。类似地，仅当水平方向上亮度MV的绝对值的分数部分大于0.5时，用于亮度分量的在左边块边界的OBMC混合线的数目是3。在另一个示例中，仅当垂直或水平方向上亮度MV的绝对值的分数部分大于0.5时，用于亮度分量的在顶部或左边块边界的OBMC混合线的数目从4减少到3，以及仅当在垂直或水平方向上的色度MV的绝对值的分数部分大于0.5时，用于色度分量的在顶部或左边块边界的OBMC混合线的数目从2减少到1。在另一个示例中，仅当在垂直或水平方向上亮度MV的绝对值的分数部分大于0.5时，用于亮度分量的在顶部或左边块边界的OBMC混合线的数目从4减少到3，以及如果用于亮度分量的在顶部或左边块边界的OBMC混合线的数目从4减少到3，用于色度分量的在顶部或左边块边界的OBMC混合线的数目从2减少到1。类似地，上述实施例可以被修正来确定当亮度或色度MV的绝对值的分数部分大于或等于0.5时是否减少OBMC混合线。
适应性的OBMC混合线的数目本发明的一些实施例根据取决于OBMC混合的方向的当前块的宽度或高度适应性确定用于当前块的OBMC混合线的数目。例如，用于当前块的左边边界的OBMC混合线的数目取决于当前块的宽度，以及用于当前块的顶部边界的OBMC混合线的数目取决于当前块的高度。在一个示例性实施例中，如果当前块的宽度或高度小于预定阈值，用于亮度分量的OBMC混合线的数目从4减少到2。例如，如果当前块的宽度小于第一预定阈值，用于在左边块边界的亮度分量的OBMC混合线的数目从4减少到2，以及如果当前块的宽度大于或等于第一预定阈值，所述OBMC混合线的数目是4。如果当前块的高度小于第二预定阈值，用于在顶部块边界的亮度分量的OBMC混合线的数目从4减少到2，以及如果当前块的高度大于或等于第二预定阈值，所述OBMC混合线的数目是4。第一或以及第二预定阈值可以是相同的或不同的。在后续示例中，第一以及第二预定阈值都是8。在一个示例中，如果当前块的宽度小于8以及当前块的高度大于或等于8，用于在左边边界的亮度分量的混合线的数目从4减少到2，然而，用于在顶部边界的亮度分量的混合线的数目保持为4。在另一个示例中，如果当前块的宽度小于8以及当前块的高度也小于8，在用于左边以及顶部边界的亮度分量的混合线的数目从4减少到2。在另一个示例中，如果当前块的高度小于8以及当前块的宽度大于或等于8，用于在顶部边界的亮度分量的OBMC混合线的数目从4减少到2，以及用于在左边边界的混合线的数目保持为4。
适应性确定OBMC混合线的数目的一些其他实施例根据运动补偿中使用的插值滤波器的长度确定OBMC混合线的数目。插值滤波器的长度也称为插值滤波器中抽头的数目。例如，当采用更长的插值滤波器时，混合更多的OBMC混合线。在一个特定实施例中，当插值滤波器的长度是L时，使用(L/2)-1个OBMC混合线。
在一个实施例中，适应性确定OBMC混合线的数目可根据旗标被使能或禁用，以及当旗标指示OBMC混合线的适应性数目被禁用时，用于亮度分量的混合线的数目总是等于4以及用于色度分量的是2。
在一个实施例中，根据亮度分量减少用于色度分量的OBMC混合线的数目。例如，当亮度分量中混合线的数目从4减少到2时，色度分量中混合线的数目从2减少到1；否则用于亮度分量的混合线的数目是4以及用于色度分量的是2。
上述OBMC混合线减少或确定方法可以与通过整数MV生成OBMC区域的方法之一组合。例如，当OBMC区域是通过舍入到最近整数转换的整数MV生成时，OBMC混合线的数目从4减少到3。在一些实施例中，在生成OBMC区域前，所有MV被转换成整数MV，在一些其他实施例中，当当前块或相邻块满足预定标准时，用于生成OBMC区域的MV被转换成整数MV。预定标准可以与当前或相邻块的尺寸、当前块或相邻块的宽度、当前或相邻块的高度、当前或相邻块的预测方向、当前或相邻块的MV的分数部分以及当前/相邻块的MV的一个或其组合有关。有条件地将MV改变成整数MV用于色度分量的实施例取决于用于亮度分量的对应MV是否被改变成整数MV。例如，如果用于亮度分量的MV被转换成整数MV，用于色度分量的MV被转换成整数MV。在另一个实施例中，当亮度MV被改变成整数MV，从亮度分量的整数MV中推导用于色度分量的MV。在又一个实施例中，当亮度MV被改变成整数MV时，用于色度分量的MV也被改变成整数MV，以及用于亮度分量的OBMC混合线的数目从4减少到3以及用于色度分量的OBMC混合线的数目从2减少到1。
示例性流程图图12A以及图12B示出了用于用重叠块运动补偿对块进行编码或解码的视频编码或解码系统的两个示例性流程图。图12A示出了根据第一OBMC实施方案的处理当前块的示例，以及图12B示出了根据第二OBMC实施方案的处理当前块的示例。在图12A的步骤S1210中，视频编码或解码系统接收与当前图像中当前块有关的输入数据。在编码器侧，输入数据对应于将被编码的像素数据。在解码器侧，输入数据对应于将被解码的已编码数据或预测残差。在步骤S1212中，确定生成至少一个OBMC区域用于一个或多个相邻块的当前MV，其中当当前块是双向预测时，所述当前MV可以具有List 0MV以及List 1MV。在步骤S1214中，通过舍入或者截断成整数MV或者将MV分量改变成整数分量将所述当前MV改变成已转换的MV。在步骤S1216中，视频编码或解码系统通过使用当前MV的运动补偿推导用于当前块的原始预测子以及通过使用已转换的MV的运动补偿推导用于一个或多个相邻块的一个或多个OBMC区域。为一个或多个相邻块块预生成所述一个或多个OBMC区域。例如，已转换的MV用于为右边OBMC区域以及底部OBMC区域定位OBMC预测子，以及右边以及底部OBMC区域后续用于处理右边以及底部相邻块。视频编码或解码系统从存储器中检索与当前块有关的一个或多个OBMC区域中的一个或多个OBMC预测子，以及存储所述一个或多个OBMC区域用于所述存储器中的一个或多个相邻块。在步骤S1218中，通过将用于当前块的原始预测子与所述当前块有关的一个或多个OBMC预测子混合来对所述当前块进行编码或解码。
在图12B的步骤S1220中，接收当前图像中当前块的输入视频数据。在步骤S1222中，确定用于生成所述当前块的OBMC区域的相邻块的MV。在图12B示出的这一示例中，OBMC仅应用于当前块的一侧，因此仅需要由一个相邻块生成的一个OBMC区域，然而，当OBMC被应用于当前块的一个或多个侧时，可以生成一个或多个OBMC区域。在步骤S1224中，通过将相邻块的MV改变成整数MV或者通过将MV的MV分量改变成整数分量，视频编码或解码系统生成已转换的MV。在步骤S1226中，通过使用当前块的当前MV的运动补偿推导用于当前块的原始预测子，以及通过使用已转换的MV的运动补偿推导用于当前块的OBMC区域中的OBMC预测子。在步骤S1228中，通过将用于当前块的原始预测子与用于当前块的OBMC预测子混合，视频编码或解码系统对当前块进行编码或解码。
OBMC与BiCW的交互具有CU权重的双向预测(Bi-prediction with CU weights，BiCW)也称为广义双向预测(Generalized Bi-prediction，GBI)，是一种使用从第一参考图像中选择的第一参考块以及从第二参考图像中选择的第二参考块来编码当前块的技术。每一参考块与权重相关，以及当前块由两个参考块的权重和进行预测。在将OBMC应用于具有以BiCW编码的相邻块的当前块的实施例中，通过相等的权重生成OBMC区域，而不管相邻块的实际BiCW权重。在将OBCM应用于具有以BiCW编码的相邻块的当前块的另一实施例中，相邻块的BiCW权重被存储以及根据相邻块的实际BiCW权重生成OBMC区域。
OBMC与BDOF的交互通常，视频编解码系统在运动补偿期间执行双向光流(Bidirectional Optical Flow，BDOF)。一般地，当前块的运动向量识别参考图像中参考块相对于当前块的位置。当BDOF被应用于当前块时，视频编解码系统在每一像素基础上修正运动向量以用于当前块。即，根据BDOF，视频编解码系统确定用于当前块的运动向量的每一像素修改，而不是检索参考块的每一像素作为块单元，以及重构参考块以致所述参考块包括由当前块的对应像素的运动向量以及每一像素修改识别的参考像素。在应用BDOF来生成OBMC区域的一个实施例中，视频编解码系统检索由原始MV识别的参考像素以及用于OBMC区域的对应像素的每一像素修正。在另一个实施例中，BDOF技术被禁止用于生成OBMC区域。
视频编码器以及解码器实施方式前述描述的视频处理方法可以在视频编码器或解码器中实施。例如，提出的视频处理方法被实施于编码器的预测子推导模块与/或解码器的预测子推导模块。在另一个示例中，提出的视频处理方法被实施于编码器的运动补偿模块与/或解码器的运动补偿模块。或者，任何提出的方法被实施为与编码器的预测子推导或运动补偿模块与/或解码器的预测子推导模块或运动补偿模块耦合的电路，以便提供预测子推导模块或运动补偿模块所需要的信息。
图13示出了用于实施本发明各种实施例的视频编码器1300的示例性系统框图。帧内预测1310基于当前图像的重构视频数据提供帧内预测子。帧间预测1312基于来自其他一个或多个图像的视频数据执行运动估计(ME)以及运动补偿(MC)来提供帧间预测子。根据本发明一些实施例，为了通过重叠的子块运动补偿编解码工具来编码当前块，通过混合由重叠区域对应的子块MV推导的两个或多个原始预测子来预测当前块中的每一重叠区域。在一些其他实施例中，帧间预测1312通过使用已转换的MV的运动补偿推导OBMC区域中的OBMC预测子，其中通过将MV改变成整数MV或者将MV分量改变成整数分量生成所述已转换的MV。通过在帧间预测中将一个或多个OBMC预测子与原始预测子混合生成用于每一块的最终预测子。帧内预测1310或帧间预测1312提供所选择的预测子到加法器1316来形成预测误差，也称为预测残差。当前块的预测残差由变换(T)1318紧接着量化(Q)1320进一步处理。已变换以及已量化的残差信号然后由熵编码器1332进行编码来形成视频比特流。视频比特流然后与边信息包装在一起。当前块的已变换以及已量化的残差信号由逆量化(IQ)1322以及逆变换(IT)1324处理来恢复预测残差。如图13所示，通过在重构(REC)1326添加回所选择的预测子恢复预测残差来生成重构的视频数据。重构的视频数据可以被存储在参考图像缓冲器(Ref.Pict.Buffer)1330中并用于其他图像的预测。由于编码处理，从REC 1326恢复的重构的视频数据可能遭受各种损害，因此，在存储到参考图像缓冲器1330之前将环路处理滤波器(滤波器)1328应用于重构的视频数据来进一步增强图像质量。
图14中示出了用于解码来自图13中的视频编码器1300的视频比特流的对应的视频解码器1400。视频比特流被输入到视频解码器1400并由熵解码器1410解码来解析以及恢复已变换以及已量化的残差信号以及其他系统信息。解码器1400的解码进程类似于在编码器1300的重构回路，除了解码器1400仅需要帧间预测1414中的运动补偿预测子。每一块由帧内预测1412或者帧间预测1414进行解码。开关1416根据已解码的模式信息选择来自帧内预测1412的帧内预测子或来自帧间预测1414的帧间预测子。通过根据一些示例性实施例混合从重叠的子块MV推导的原始预测子，帧间预测1414对当前块执行重叠的子块运动补偿。根据一些其他示例性实施例，帧间预测1414使用一个或多个已推导的MV生成的OBMC区域，用于与原始预测子混合。通过将一个或多个MV改变成一个或多个整数MV或者将一个或多个MV的MV分量改变成整数分量，生成一个或多个已推导的MV。通过逆量化(IQ)1420以及逆变换(IT)1422恢复与每一块有关的已变换以及已量化的残差信号。通过在REC 1418中添加回预测子重构恢复的残差信号来生成重构的视频。重构的视频由环路处理滤波器(滤波器)1424进一步处理来生成最终的已解码视频。如果当前已解码图像是用于解码次序中后续图像的参考图像，当前已解码图像的重构视频也存储在参考图像缓冲器1426中。
图13以及图14中视频编码器1300以及视频解码器1400的各种元件可以由硬件元件、用于执行存储在存储器中程序指令的一个或多个处理器，或者硬件与处理的组合来实施。例如，处理器执行程序指令来控制与当前图像有关的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令来执行编码器1300以及解码器1400中一些元件的功能，以及与处理器电性耦合的存储器用于存储程序指令、对应于块的重构图像的信息与/或编码或解码进程期间的中间数据。一些实施例中的存储器包括非瞬时计算机可读媒介，如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或其他合适的存储媒介。存储器也可以是上述列出的两个或多个非瞬时计算机可读媒介的组合。如图13以及图14所示出的，编码器1300以及解码器1400可以在相同的电子装置中实施，因此如果在相同的电子装置中实施，编码器1300与解码器1400的各种功能元件可以共享或者重用。
用于编码或解码的视频处理方法的实施例可以在整合到视频压缩芯片的电路或者整合到视频压缩软件的程序代码中实施来执行以上描述的处理。例如，包括用于编码当前块的平均候选的候选集的确定可以在将在计算机处理器、数字信号处理器(DSP)、微处理器或现场可程序设计门阵列(FPGA)上执行的程序代码中实现。这些处理器可以被配置为执行根据本发明的特定任务，通过执行定义由本发明实施特定方法的机器可读软件代码或固件代码。
贯穿本说明书的对“一个实施例”、“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征、结构或特性可以被包含在本发明的至少一个实施例中。因此，贯穿本说明书在各个位置中的短语“一个实施例中”或“一些实施例中”的出现并非都指相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实施。此外，在一个或多个实施例中，所描述的特征、结构或特性可以以任何合适的方式进行组合。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者利用其他方法、元件等来实践本发明。在其它实例中，公知的结构或操作未被详细示出或描述以避免模糊本发明的各方面。
在不背离本发明精神或基本特征的情况下，可以以其他特定的形式实施本发明。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前述描述来指示。在权利要求的等同含义以及范围内的所有变化都包括在其范围内。

Claims (37)

1.一种视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入视频数据；
根据重叠的子块分区将所述当前块分割成多个重叠的子块，其中每一子块在水平方向、垂直方向或水平与垂直方向两者与一个或多个其他子块重叠；
确定与所述当前块中所述多个重叠的子块的每一子块有关的一个或多个子块运动向量(MV)；
通过使用所述一个或多个子块MV的运动补偿推导用于所述多个重叠的子块的每一子块的原始预测子；
通过混合重叠区域的原始预测子推导用于每一所述重叠区域的最终预测子；以及
基于所述重叠区域的所述最终预测子编码或解码所述当前块。
2.如权利要求1所述的视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，其中所述重叠的子块分区在视频比特流的序列级、图像级、图块组级或条带级被明确地发信。
3.如权利要求1所述的视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，其中所述重叠的子块分区根据所述当前块的运动信息、所述子块的尺寸以及所述当前块的预测模式中的一个或其组合来隐含地决定。
4.如权利要求1所述的视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，其中所述重叠的子块分区是预定义的并且在不在视频比特流中被发信。
5.如权利要求1所述的视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，通过使用加权和来混合所述重叠区域的所述多个原始预测子来推导所述最终预测子。
6.如权利要求5所述的视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，其中用于所述多个原始预测子的权重因子取决于位置或取决于所述多个重叠的子块的数目。
7.如权利要求1所述的视频编解码系统中的子块运动补偿的视频处理方法，其特征在于，其中所述当前块包括所述重叠区域以及非重叠区域，以及所述当前块根据所述重叠区域的所述最终预测子以及所述非重叠区域的原始预测子进行编码或解码。
8.一种视频编解码系统中用重叠块运动补偿(OBMC)处理块的视频处理方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入视频数据；
确定用于生成重叠块运动补偿区域的一个或多个运动向量(MV)；
通过将所述一个或多个MV改变成一个或多个整数MV或将所述一个或多个MV的MV分量改变成整数分量来生成一个或多个已转换的MV；
通过使用所述一个或多个已转换的MV的运动补偿来推导所述重叠块运动补偿区域；
通过将所述重叠块运动补偿区域中的重叠块运动补偿预测子与原始预测子混合来应用重叠块运动补偿；以及
编码或解码所述当前块。
9.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中所述重叠块运动补偿区域由从所述当前块的一个或多个当前MV生成的所述一个或多个已转换的MV来推导，所述重叠块运动补偿区域是预生成的用于所述当前块的右边或底部相邻块，以及当处理所述右边或底部相邻块时，所述重叠块运动补偿区域与所述右边或底部相邻块的所述原始预测子混合。
10.如权利要求9所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中当所述一个或多个已转换的MV用于推导所述右边相邻块的右边重叠块运动补偿区域时，通过将所述一个或多个MV的水平分量改变成整数来生成所述一个或多个已转换的MV，或者当所述一个或多个已转换的MV用于推导所述底部相邻块的底部重叠块运动补偿区域时，通过将所述一个或多个MV的垂直分量改变成整数来生成所述一个或多个已转换的MV。
11.如权利要求9所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果所述当前块的预测方向是双向预测，所述重叠块运动补偿区域通过使用所述一个或多个已转换的MV的运动补偿来推导，以及如果所述当前块的所述预测方向是单向预测，所述重叠块运动补偿区域通过在没有转换的情况下使用所述一个或多个MV的运动补偿来推导。
12.如权利要求9所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果所述当前块或相邻块是双向预测，所述重叠块运动补偿区域通过使用所述一个或多个已转换的MV的运动补偿来推导，以及如果所述当前块以及相邻块两者都是单向预测，所述重叠块运动补偿区域通过在没有转换的情况下使用所述一个或多个MV的运动补偿来推导。
13.如权利要求9所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中仅当所述一个或多个MV的水平分量以及垂直分量两者都不是整数时，所述重叠块运动补偿区域被预生成，或者仅当所述一个或多个MV的所述水平分量或所述垂直分量的任一个不是整数时，所述重叠块运动补偿区域被预生成。
14.如权利要求9所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中仅当所述当前块的所述一个或多个MV的预定分量不是整数时，所述重叠块运动补偿区域被预生成，以及所述预定分量取决于所述重叠块运动补偿区域是否用于所述右边或底部相邻块。
15.如权利要求9所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中当所述当前块是用一个整数MV以及一个分数MV来双向预测时，通过List0以及List 1中多个MV中的一个来预生成所述重叠块运动补偿区域，以及所述重叠块运动补偿区域通过从所述分数MV生成的所述已转换的MV来预生成，其中所述分数MV的水平以及垂直分量都是分数或者仅所述分数MV的预定分量是分数。
16.如权利要求15所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中当与所述右边或底部相邻块的所述原始预测子混合时，预生成的所述重叠块运动补偿区域中的所述重叠块运动补偿预测子被分配低于原始权重因子的权重因子，其中当所述当前块不是用一个整数MV以及一个分数MV来双向预测时，所述原始权重因子用于预生成的重叠块运动补偿区域中的重叠块运动补偿预测子。
17.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中所述重叠块运动补偿区域由从相邻块的一个或多个相邻MV生成的所述一个或多个已转换的MV来推导，所述重叠块运动补偿区域被推导用于所述当前块，以及所述重叠块运动补偿区域与所述当前块的所述原始预测子混合。
18.如权利要求17所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果所述相邻块的预测方向是双向预测，所述重叠块运动补偿区域通过使用所述一个或多个已转换的MV的运动补偿来推导，以及如果所述相邻块的所述预测方向是单向预测，所述重叠块运动补偿区域通过在没有转换的情况下使用所述一个或多个MV的运动补偿来推导。
19.如权利要求17所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果所述当前块或相邻块是双向预测的，所述重叠块运动补偿区域通过使用所述一个或多个已转换的MV的运动补偿来推导，以及如果所述当前块以及所述相邻块两者都是单向预测的，所述重叠块运动补偿区域通过在没有转换的情况下使用所述一个或多个MV来推导。
20.如权利要求17所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中仅当所述当前块是用整数MV双向预测并且所述相邻块是双向预测时，所述重叠块运动补偿区域通过使用所述一个或多个已转换的MV的运动补偿来推导，否则所述重叠块运动补偿区域通过在没有转换的情况下使用所述一个或多个MV的运动补偿来推导。
21.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中所述一个或多个已转换的MV通过截断或舍入成一个或多个整数MV来生成。
22.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，进一步包括检查所述当前块的MV与相邻块的MV的相似性，以及根据所述多个MV的所述相似性，适应性地跳过混合所述重叠块运动补偿区域中的所述重叠块运动补偿预测子与所述原始预测子。
23.如权利要求22所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中在所述生成所述一个或多个已转换的MV之前或之后执行所述检查所述多个MV的所述相似性。
24.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中当所述当前块是亮度(luma)块时，重叠块运动补偿混合线的最大数目是3，以及当所述当前块是色度(chroma)块时，重叠块运动补偿混合线的最大数目是1或2。
25.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果所述一个或多个MV的绝对值的分数部分大于0.5或大于等于0.5时，用于亮度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是3，否则用于所述亮度分量的所述重叠块运动补偿区域中所述重叠块运动补偿混合线的数目是4；或者如果所述一个或多个MV的绝对值的分数部分大于0.5或大于等于0.5或者如果用于亮度分量的所述重叠块运动补偿区域中所述重叠块运动补偿混合线的数目是3，用于色度分量的所述重叠块运动补偿区域中的重叠块运动补偿混合线的数目是1，否则用于所述色度分量的所述重叠块运动补偿区域中所述重叠块运动补偿混合线的数目是2。
26.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中所述重叠块运动补偿区域通过顶部相邻块的所述一个或多个已转换的MV来推导，以及仅当垂直方向上所述一个或多个MV的绝对值的分数部分大于0.5或大于等于0.5，用于亮度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是3，否则用于所述亮度分量的所述重叠块运动补偿混合线的数目是4；所述或者重叠块运动补偿区域通过左边相邻块的一个或多个已转换的MV来推导，以及仅当水平方向上所述一个或多个MV的绝对值的分数部分大于0.5或大于等于0.5时，用于亮度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是3，否则用于所述亮度分量的所述重叠块运动补偿混合线的数目是4。
27.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中所述重叠块运动补偿区域通过一顶部相邻块的所述一个或多个已转换的MV来推导，以及仅当一垂直方向上的所述一个或多个MV的绝对值的分数部分大于0.5或大于等于0.5或者用于亮度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是3时，用于色度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是1，否则用于所述色度分量的所述重叠块运动补偿混合线的数目是2；或者所述重叠块运动补偿区域通过左边相邻块的所述一个或多个已转换的MV来推导，仅当水平方向上的所述一个或多个MV的绝对值的分数部分大于0.5或者大于等于0.5时，用于色度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是1，否则用于所述色度分量的所述重叠块运动补偿混合线的数目是2；或者所述重叠块运动补偿区域通过左边相邻块的所述一个或多个已转换的MV来推导，以及如果用于亮度分量的所述重叠块运动补偿区域的重叠块运动补偿混合线的数目是3，用于色度分量的所述重叠块运动补偿区域中重叠块运动补偿混合线的数目是1，否者用于所述色度分量的所述重叠块运动补偿混合线的数目是2。
28.如权利要求8所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中重叠块运动补偿混合线的数目是根据在运动补偿中使用的插值滤波器的长度来适应性地确定。
29.一种视频编解码系统中用重叠块运动补偿(OBMC)处理块的视频处理方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入视频数据；
根据所述当前块的宽度确定用于所述当前块的左边边界的重叠块运动补偿混合线的数目，或者根据所述当前块的高度确定所述当前块的顶部边界的重叠块运动补偿混合线的数目；
通过使用所述当前块的一个或多个MV的运动补偿推导所述当前块的原始预测子；
通过使用所述当前块的左边相邻块的一个或多个MV的运动补偿推导具有用于所述左边边界的所述运动补偿混合线的数目的左边重叠块运动补偿区域的重叠块运动补偿预测子，或者通过使用所述当前块的顶部相邻块的一个或多个MV的运动补偿推导具有用于所述顶部边界的所述重叠块运动补偿混合线的数目的顶部重叠块运动补偿区域的重叠块运动补偿预测子；
通过针对所述重叠块运动补偿混合线的数目将所述重叠块运动补偿预测子与所述当前块的所述原始预测子混合来将重叠块运动补偿应用到所述当前块；以及
编码或解码所述当前块。
30.如权利要求29所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果所述当前块的所述宽度小于预定阈值，在亮度(luma)分量的所述左边边界的所述重叠块运动补偿混合线的数目是2，以及如果所述当前块的所述宽度大于或等于所述预定阈值，在所述亮度分量的所述左边边界的所述重叠块运动补偿混合线的数目是4；或者如果所述当前块的所述高度小于预定阈值，在所述亮度分量的所述顶部边界的所述重叠块运动补偿混合线的数目是2，以及如果所述当前块的所述高度大于或等于所述预定阈值，在所述亮度分量的所述顶部边界的所述重叠块运动补偿混合线的数目是4。
31.如权利要求29所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中如果当前块的所述宽度小于预定阈值，在色度(chroma)分量的所述左边边界的所述重叠块运动补偿混合线的数目是1，以及如果所述当前块的所述宽度大于或等于所述预定阈值，在所述色度分量的所述左边边界的所述重叠块运动补偿混合线的数目是2；或者如果所述当前块的所述高度小于预定阈值，在所述色度分量的所述顶部边界的所述重叠块运动补偿混合线的数目是1，以及如果所述当前块的所述高度大于或等于所述预定阈值，在所述色度分量的所述顶部边界的所述重叠块运动补偿混合线的数目是2。
32.如权利要求29所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，进一步包括确定指示适应性重叠块运动补偿混合线的数目是启用的或禁用的旗标，如果所述旗标指示所述适应性重叠块运动补偿混合线的数目是禁用的，用于亮度分量的所述重叠块运动补偿混合线的数目总是4以及用于色度分量的所述重叠块运动补偿混合线的数目总是2。
33.如权利要求29所述的视频编解码系统中用重叠块运动补偿处理块的视频处理方法，其特征在于，其中亮度分量的所述重叠块运动补偿混合线的数目是根据所述宽度或所述高度确定，以及色度分量的所述重叠块运动补偿混合线的数目是根据用于所述亮度分量的所述重叠块运动补偿混合线的数目确定。
34.一种视频编解码系统中处理视频数据的装置，所述装置包括一个或多个电子电路用于：
接收与当前图像中当前块有关的输入视频数据；
根据重叠的子块分区将所述当前块分割成多个重叠的子块，其中每一子块在水平方向、垂直方向或水平与垂直方向两者与一个或多个其他子块重叠；
确定与所述当前块中所述多个重叠的子块的每一子块有关的一个或多个子块运动向量(MV)；
通过使用所述一个或多个子块MV的运动补偿推导用于所述多个重叠的子块的每一子块的原始预测子；
通过混合重叠区域的原始预测子推导用于每一所述重叠区域的最终预测子；以及
基于所述重叠区域的所述最终预测子编码或解码所述当前块。
35.一种存储程序指令的非瞬时计算机可读媒介，所述程序指令使得装置的处理电路来执行视频处理方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入视频数据；
根据重叠的子块分区将所述当前块分割成多个重叠的子块，其中每一子块在水平方向、垂直方向或水平与垂直方向两者与一个或多个其他子块重叠；
确定与所述当前块中所述多个重叠的子块的每一子块有关的一个或多个子块运动向量(MV)；
通过使用所述一个或多个子块MV的运动补偿推导用于所述多个重叠的子块的每一子块的原始预测子；
通过混合重叠区域的原始预测子推导用于每一所述重叠区域的最终预测子；以及
基于所述重叠区域的所述最终预测子编码或解码所述当前块。
36.一种在视频编解码系统中用重叠块运动补偿(OBMC)处理块的装置，所述装置包括一个或多个电子电路，用于：
接收与当前图像中当前块有关的输入视频数据；
确定用于生成重叠块运动补偿区域的一个或多个运动向量(MV)；
通过将所述一个或多个MV改变成一个或多个整数MV或者将所述一个或多个MV的MV分量改变成整数分量，生成一个或多个已转换的MV；
通过使用所述一个或多个已转换的MV的运动补偿推导所述重叠块运动补偿区域；
通过将所述重叠块运动补偿区域中的重叠块运动补偿预测子与原始预测子混合来应用重叠块运动补偿；以及
编码或解码所述当前块。
37.一种存储程序指令的非瞬时计算机可读媒介，所述程序指令使得装置的处理电路来执行视频处理方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入视频数据；
确定用于生成重叠块运动补偿(OBMC)区域的一个或多个运动向量(MV)；
通过将所述一个或多个MV改变成一个或多个整数MV或者将所述一个或多个MV的MV分量改变成整数分量，生成一个或多个已转换的MV；
通过使用所述一个或多个已转换的MV的运动补偿推导所述重叠块运动补偿区域；
通过将所述重叠块运动补偿区域中的重叠块运动补偿预测子与原始预测子混合来应用重叠块运动补偿；以及
编码或解码所述当前块。
CN201980026329.6A 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置 Active CN111989927B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310421614.6A CN116456080A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
CN202210092778.4A CN114554197A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862657995P 2018-04-16 2018-04-16
US62/657,995 2018-04-16
US201862750279P 2018-10-25 2018-10-25
US62/750,279 2018-10-25
US201862751755P 2018-10-29 2018-10-29
US62/751,755 2018-10-29
PCT/CN2019/082675 WO2019201203A1 (en) 2018-04-16 2019-04-15 Methods and apparatuses of video processing with overlapped block motion compensation in video coding systems

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202310421614.6A Division CN116456080A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
CN202210092778.4A Division CN114554197A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置

Publications (2)

Publication Number Publication Date
CN111989927A true CN111989927A (zh) 2020-11-24
CN111989927B CN111989927B (zh) 2023-05-09

Family

ID=68240454

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202310421614.6A Pending CN116456080A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
CN201980026329.6A Active CN111989927B (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
CN202210092778.4A Pending CN114554197A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310421614.6A Pending CN116456080A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210092778.4A Pending CN114554197A (zh) 2018-04-16 2019-04-15 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置

Country Status (4)

Country Link
US (2) US11109057B2 (zh)
CN (3) CN116456080A (zh)
TW (1) TWI702834B (zh)
WO (1) WO2019201203A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207511A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus of adaptive weighting for overlapped block motion compensation in video coding system
WO2024019742A1 (en) * 2022-07-21 2024-01-25 Tencent America LLC Motion vector prediction fusion for subblock-based temporal motion vector prediction (sbtmvp) and temporal motion vector prediction (tmvp)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11310520B2 (en) * 2018-09-04 2022-04-19 Hfi Innovation Inc. Method and apparatus of motion-vector rounding unification for video coding system
CN112956202A (zh) 2018-11-06 2021-06-11 北京字节跳动网络技术有限公司 利用几何分割的帧间预测的扩展
US11025947B2 (en) * 2018-11-29 2021-06-01 Mediatek Inc. Method and apparatus for generating motion field motion vectors for blocks of current frame in on-the-fly manner
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
WO2020251319A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 Sbtmvp를 이용한 인터 예측 기반 영상 또는 비디오 코딩
CN114342406A (zh) * 2019-06-28 2022-04-12 Sk电信有限公司 用于推导双向预测权重索引的方法及图像解码设备
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
WO2021104309A1 (en) 2019-11-27 2021-06-03 Mediatek Inc. Method and apparatus of unified weight and motion indexes derivation for geometric merge mode in video coding
CN114902663A (zh) 2019-12-30 2022-08-12 鸿颖创新有限公司 用于编码视频数据的设备和方法
CN115361550A (zh) * 2021-02-22 2022-11-18 北京达佳互联信息技术有限公司 用于帧间预测的改进重叠块运动补偿

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999465A (zh) * 2011-11-18 2014-08-20 高通股份有限公司 自适应性重叠块运动补偿
CN104335586A (zh) * 2012-04-11 2015-02-04 高通股份有限公司 运动向量舍入
US20150163509A1 (en) * 2013-12-06 2015-06-11 Mediatek Inc. Method and Apparatus for Fine-grained Motion Boundary Processing
US20160330475A1 (en) * 2015-05-05 2016-11-10 Broadcom Corporation Apparatus and method for overlapped motion compensation for video coding
CN106464863A (zh) * 2014-04-01 2017-02-22 联发科技股份有限公司 视频编码中自适应内插滤波的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100215101A1 (en) * 2007-04-09 2010-08-26 Yong Joon Jeon Method and an apparatus for processing a video signal
CN101222636B (zh) * 2008-01-24 2011-05-11 杭州华三通信技术有限公司 图像编解码方法和图像编解码装置
CN101237581B (zh) * 2008-02-29 2010-11-17 上海大学 基于运动特征的h.264压缩域实时视频对象分割方法
US8638079B2 (en) * 2010-02-27 2014-01-28 Infineon Technologies Ag Pulse modulation control in a DC-DC converter circuit
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
EP3879829A1 (en) * 2012-01-13 2021-09-15 InterDigital Madison Patent Holdings Method and device for coding an image block, corresponding method and decoding device
US10009612B2 (en) * 2012-04-12 2018-06-26 Hfi Innovation Inc. Method and apparatus for block partition of chroma subsampling formats
WO2014072571A1 (en) * 2012-10-01 2014-05-15 Nokia Corporation Method and apparatus for scalable video coding
US9554141B2 (en) * 2013-11-18 2017-01-24 Arris Enterprises, Inc. Intra block copy for intra slices in high efficiency video coding (HEVC)
CN104754362B (zh) * 2014-01-01 2021-11-02 上海天荷电子信息有限公司 使用精细划分块匹配的图像压缩方法
US10230980B2 (en) * 2015-01-26 2019-03-12 Qualcomm Incorporated Overlapped motion compensation for video coding
US20190191171A1 (en) * 2016-05-13 2019-06-20 Sharp Kabushiki Kaisha Prediction image generation device, video decoding device, and video coding device
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
CN106713918A (zh) * 2017-01-17 2017-05-24 燕山大学 图像压缩方法
US10523964B2 (en) * 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999465A (zh) * 2011-11-18 2014-08-20 高通股份有限公司 自适应性重叠块运动补偿
CN104335586A (zh) * 2012-04-11 2015-02-04 高通股份有限公司 运动向量舍入
US20150163509A1 (en) * 2013-12-06 2015-06-11 Mediatek Inc. Method and Apparatus for Fine-grained Motion Boundary Processing
CN106464863A (zh) * 2014-04-01 2017-02-22 联发科技股份有限公司 视频编码中自适应内插滤波的方法
US20160330475A1 (en) * 2015-05-05 2016-11-10 Broadcom Corporation Apparatus and method for overlapped motion compensation for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "Coding tools investigation for next generation video coding based on HEVC", 《RESEARCHGATE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207511A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus of adaptive weighting for overlapped block motion compensation in video coding system
WO2024019742A1 (en) * 2022-07-21 2024-01-25 Tencent America LLC Motion vector prediction fusion for subblock-based temporal motion vector prediction (sbtmvp) and temporal motion vector prediction (tmvp)

Also Published As

Publication number Publication date
US20210360280A1 (en) 2021-11-18
US20210076061A1 (en) 2021-03-11
CN116456080A (zh) 2023-07-18
CN114554197A (zh) 2022-05-27
US11109057B2 (en) 2021-08-31
TWI702834B (zh) 2020-08-21
WO2019201203A1 (en) 2019-10-24
CN111989927B (zh) 2023-05-09
TW201944781A (zh) 2019-11-16

Similar Documents

Publication Publication Date Title
CN111989927B (zh) 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
KR102344430B1 (ko) 다중 참조 예측을 위한 움직임 벡터 개선
CN110115032B (zh) 用于视频编解码的运动细化的方法以及装置
CN108781284B (zh) 具有仿射运动补偿的视频编解码的方法及装置
US20200014931A1 (en) Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
US11985324B2 (en) Methods and apparatuses of video processing with motion refinement and sub-partition base padding
WO2017148345A1 (en) Method and apparatus of video coding with affine motion compensation
TW202002642A (zh) 在視訊編解碼中具有高級控制之候選重組
US11889099B2 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
CN110832862A (zh) 解码端运动矢量导出的容错与并行处理
CN112514383A (zh) 用于视频编解码的利用运动向量差的合并方法和装置
CN115086675A (zh) 运动候选推导
WO2024078331A1 (en) Method and apparatus of subblock-based motion vector prediction with reordering and refinement in video coding
WO2024027784A1 (en) Method and apparatus of subblock-based temporal motion vector prediction with reordering and refinement in video coding
CN113545081B (zh) 视频编解码系统中的处理视频数据的方法以及装置
US20230328278A1 (en) Method and Apparatus of Overlapped Block Motion Compensation in Video Coding System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant