CN111937391A - 用于视频编解码系统中的子块运动补偿的视频处理方法和装置 - Google Patents

用于视频编解码系统中的子块运动补偿的视频处理方法和装置 Download PDF

Info

Publication number
CN111937391A
CN111937391A CN201980021937.8A CN201980021937A CN111937391A CN 111937391 A CN111937391 A CN 111937391A CN 201980021937 A CN201980021937 A CN 201980021937A CN 111937391 A CN111937391 A CN 111937391A
Authority
CN
China
Prior art keywords
block
sub
current block
current
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980021937.8A
Other languages
English (en)
Other versions
CN111937391B (zh
Inventor
庄子德
陈庆晔
赖贞延
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111937391A publication Critical patent/CN111937391A/zh
Application granted granted Critical
Publication of CN111937391B publication Critical patent/CN111937391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于编解码当前块的视频处理方法和装置，包括接收当前块的输入数据，将所述当前块划分为多个子块，根据子块运动补偿编解码工具导出所述当前块的多个子块运动向量，约束所述多个子块运动向量用于形成多个受约束的子块运动向量，并使用所述多个受约束的子块运动向量对所述当前块进行编码或解码。所述多个子块的运动向量可以根据所述当前块或子块的大小、宽度或高度、所述当前块的控制点运动向量之一、所述当前块或所述当前子块的帧间预测方向、所述控制点运动向量、或者以上的结合来被约束。

Description

用于视频编解码系统中的子块运动补偿的视频处理方法和 装置
相关引用
本发明要求在2018年4月2日提出的申请号为62/651,333，标题为“Method ofSub-block Motion Vector Refinement”，在2018年4月11日提出的申请号为62/655,870，标题为“Improvement of Adaptive Motion Vector Difference Resolution”，以及在2018年5月2日提出的申请号62/665,581，标题为“Method of Motion Vector Constraintfor Sub-block Motion Compensation”的美国临时申请的优先权。上述列出的申请案内容以引用方式并入本文中。
技术领域
本公开涉及视频编码和视频解码系统的视频处理方法和装置，更具体地说，本公开涉及自适应地确定用于子块运动补偿的子块大小。
背景技术
高效率视频编解码(High-Efficiency Video Coding，HEVC)是由国际电讯联盟电讯标准分局(International Telecommunication Union-Telecommunication Sector，简称ITU-T)研究组的视频编解码专家组成的视频编解码联合协作小组(JointCollaborative Team on Video Coding，JCT-VC)开发的最新视频编解码标准。HEVC标准提高了其接续之标准H.264/AVC的视频压缩性能，以满足更高图像解析率、更高帧速率和更好视频质量的需求。HEVC标准依赖于基于块的编解码结构，其将每个视频片段划分为多个正方形编解码树单元(Coding Tree Unit,简称CTU)，其中CTU是HEVC中的视频压缩的基本单元。光栅扫描顺序(raster scan order)用于对每个片段中的CTU进行编码或解码。每个CTU可包含一个编解码单元(Coding Unit，简称CU)或者根据四叉树分区结构递归地分成四个较小的CU，直到达到预定义的最小CU大小。预测决策在CU级进行，其中使用帧间图像预测或帧内图像预测对每个CU进行编码。一旦CU分层树的分割完成，根据用于预测的PU分区类型每个CU进一步被分成一个或多个预测单元(Prediction Unit，简称PU)。PU用作用于共享预测信息的基本代表块，因为相同的预测过程被应用于PU中的所有像素。预测信息以PU为基础传送给解码器。帧间图像预测中的运动估计识别一个或两个参考图像中的当前块的一个(单预测)或两个(双向预测)最佳参考块，并且帧间图像预测中的运动补偿根据一个或两个运动向量(motion vector，简称MV)来定位该一个或两个最佳参考块。当前块与相应预测子之间的差值被称为预测残差。当使用单预测时，相应的预测子是最佳参考块。当使用双向预测时，两个参考块被结合以形成预测子。
跳跃和合并跳跃模式和合并模式在HEVC标准中被提出和采用，以通过从空间相邻块或时间同位块之一中继承运动信息来提高MV的编解码效率。为了在跳跃模式或合并模式中对PU进行编解码，不发送运动信息，而是仅发送表示从候选者集合中选择的最终候选者的索引。在跳跃模式或合并模式编码的PU重复使用的运动信息包括MV、帧间预测指示符和选择的最终候选者的参考图像索引。注意，如果选择的最终候选者是时间运动候选者，则参考图像索引总是被设置为零。当在合并模式对PU进行编解码时，预测残差被编解码，然而，由于在跳跃模式中编码的PU的残差数据被强制设为零时，跳跃模式进一步跳过发送预测残差。
合并候选者集合由四个空间运动候选者和一个时间运动候选者组成。如图1所示，第一合并候选者是左预测子A1 112，第二合并候选者是顶部预测子B1114，第三合并候选者是右上预测子B0 113，第四合并候选者是左下预测子A0111。左上预测子B2 115被包括在合并候选者集合中以替换不可用的空间预测子。第五合并候选者是从TBR 121和TCTR 122中选择的第一可用时间预测子。编码器基于运动向量补偿(例如通过速率-失真优化(Rate-Distortion Optimization，简称RDO))从候选者集合中选择一个最终候选者用于在跳跃或合并模式中被编解码的每个PU，并且代表选择的最终候选者的索引将被发送给解码器。解码器根据在视频比特流中发送的索引从候选者集合中选择相同的最终候选者。由于跳跃和合并候选者的推导是相似的，因此为了方便起见，下文中提到的“合并”模式可以对应于合并模式以及跳跃模式。
子块时间运动向量预测(Temporal Motion Vector Prediction,简称TMVP)通过在候选者结合中包括至少一个子块TMVP候选者作为合并候选者，子块TMVP模式被应用于合并模式。子块TMVP也被称为替代时间运动向量预测(Alternative Temporal MotionVector,简称ATMVP)。当前PU被划分为较小的子PU，并且子PU的对应的时间同位运动向量被搜索。图2中示出了子块TMVP技术的示例，其中大小为MxN的当前PU 21被划分为(M/P)x(N/Q)个子PU，每个子PU的大小为PxQ，其中M可以被P整除，N可以被Q整除。子块TMVP模式的具体算法可以用如下三个步骤来描述。
在步骤1中，初始运动向量被分配给当前PU 21，表示为vec_init。初始运动向量通常是空间相邻块中的第一个可用候选者。例如，列表X是用于搜索同位信息的第一个列表，并且vec_init被设置为第一个可用空间相邻块的列表X MV，其中X是0或1。X(0或1)的值取决于哪个列表更好地继承运动信息，例如，当列表0中参考图像和当前图像之间的图像顺序计数(Picture Order Count,简称POC)距离比列表1中的POC距离更近时，列表0是第一个搜索列表。列表X分配可在片段级别或图像级别执行。在获得初始运动向量之后，“同位图像搜索处理”开始找到表示为main_colpic的主同位图像用于当前PU中的所有子PU。由第一可用空间相邻块选择的参考图像首先被搜索，之后，当前图像的所有参考图像被依序搜索。对于B片段，在由第一可用空间相邻块选择的参考图像被搜索之后，从第一列表(列表0或列表1)参考索引0开始搜索，接着是索引1，索引2，直到在第一列表中的最后参考图像，当第一列表中的参考图像被全部搜索到时，第二列表中的参考图像被一个接一个地搜索。对于P片段，由第一可用空间相邻块选择的参考图像被首先搜索；接着是列表中的所有参考图像，从参考索引0开始，然后是索引1，索引2，依此类推。在同位图像搜索处理期间，针对每个被搜索的图像，“可用性检查”检查由vec_init_scaled指向的当前PU的中心位置周围的同位子PU，是通过帧间图像预测模式或帧内图像预测模式被编解码。Vec_init_scaled是vec_init的MV进行适当缩放得到的MV。在一些实施例中，确定“中心位置周围”比如说：大小为MxN的PU的中心像素(M/2，N/2)，中心子PU的中心像素，或中心像素或中心子PU的中心像素的混合，取决于当前PU的形状。当vec_init_scaled指向的中心位置周围的同位子PU通过帧间图像预测模式被编解码时，可用性检查结果为真。当前搜索到的图像被记录为主同位图像main_colpic，并且当当前搜索到的图像的可用性检查结果为真时，同位图像搜索处理结束。如果可用性检查结果为真，则中心位置周围的MV被使用并缩放以导出当前块的默认MV。如果可用性检查结果为假，即当vec_init_scaled指向的中心位置周围的同位子PU是通过帧内图像预测模式进行编解码时，则搜索下一参考图像。当vec_init的参考图像不等于原始参考图像时，在同位图像搜索过程期间需要MV缩放。根据当前图像与vec_init的参考图像和搜索的参考图像之间的时间距离MV分别被缩放。在MV缩放之后，缩放的MV被表示为vec_init_scaled。
在步骤2中，针对每个子PU定位main_colpic中的同位位置。例如，图2中的子PU211和子PU 212的对应位置221和位置222首先定位在时间同位图像22(main_colpic)中。当前子PU i的同位位置计算如下：
collocated location x＝Sub-PU_i_x+vec_init_scaled_i_x(integer part)+shift_x,
collocated location y＝Sub-PU_i_y+vec_init_scaled_i_y(integer part)+shift_y,
其中Sub-PU_i_x表示当前图像内的子PU i的水平左上位置，Sub-PU_i_y表示当前图像内的子PU i的垂直左上位置，vec_init_scaled_i_x表示子PU i(vec_init_scaled_i)的缩放后的初始运动向量的水平分量，vec_init_scaled_i_y表示vec_init_scaled_i的垂直分量，shift_x和shift_y分别表示水平位移值和垂直位移值。为了降低计算复杂度，在计算中仅使用Sub-PU_i_x和Sub-PU_i_y的整数位置，以及vec_init_scaled_i_x和vec_init_scaled_i_y的整数部分。在图2中，vec_init_sub_0 223从子PU 211的位置221指向同位位置225，并且vec_init_sub_1224从子PU 212的位置222指向同位位置226。
在子块TMVP的步骤3中，每个子PU的运动信息(Motion Information，简称MI)，表示为SubPU_MI_i，从同位位置x和同位位置y上的collocated_picture_i_L0和collocated_picture_i_L1获得。MI被定义为集合{MV_x，MV_y，参考列表，参考索引和其他合并模式敏感信息，例如本地照明补偿标志}。此外，MV_x和MV_y可根据同位图像，当前图像和同位MV的参考图像之间的时间距离关系来缩放。如果MI不可用于某些子PU，则将使用中心位置周围的子PU的MI，或者更具体地，将使用默认MV。如图2所示，从同位位置225获得的subPU0_MV227，从同位位置226获得的subPU1_MV 228分别用于导出子PU 211和子PU 212的预测子。当前PU 21中的每个子PU根据在对应的同位位置上获得的MI来导出其自己的预测子。
空间-时间运动向量预测(Spatial-Temporal Motion Vector Prediction,简称STMVP)在JEM-3.0中，STMVP用于导出要包括在用于合并模式的候选者集合中的新候选者。使用时间和空间运动向量预测子，子块的运动向量遵循光栅扫描顺序被递归地导出。图3示出了用于导出STMVP候选者的具有四个子块的一个CU及其相邻块的示例。图3中的CU是8×8，包含四个4×4子块A，B，C和D，并且当前图像中的相邻N×N块标记为a，b，c和d。子块A的STMVP候选者的推导是通过识别其两个空间相邻块开始。第一相邻块c是子块A上方的NxN块，第二相邻块b是子块A左侧的NxN块。如果块c是不可用或块c是帧内编解码，则检查从块c开始从左到右的在子块A上方的其他NxN块。如果块b不可用或块b是帧内编解码，则检查从块b开始的从上到下的子块A左侧的其他N×N块。针对每个列表从两个相邻块获得的运动信息被缩放到给定列表的第一参考图像。然后通过遵循HEVC标准中规定的相同的TMVP推导过程，子块A的时间运动向量预测子(Temporal Motion Vector Predictor,简称TMVP)被导出。例如，位置D处的同位块的mtion信息被获取并被相应地缩放。最后，针对每个参考列表当前子块的所有可用运动向量被单独平均。平均运动向量被指定为当前子块的运动向量。
基于模式的运动向量推导(Pattern-based MV derivation,简称PMVD)一种PMVD方法，也被称为帧率提升转换(Frame Rate Up Conversion,简称FRUC)或解码器侧MV细化(Decoder-side MV Refinement,简称DMVR)，包括用于双预测块的双边匹配和用于单预测块的范本匹配。当合并或跳跃标志为真时FRUC_mrg_flag被发送，并且如果FRUC_mrg_flag为真，则FRUC_merge_mode被发送以指示是否选择如图4所示的双边匹配合并模式或如图5所示的模板匹配合并模式。双边匹配合并模式和模板匹配合并模式都包括两阶段匹配：第一阶段是PU级匹配，第二阶段是子PU级匹配。在PU级匹配中，LIST_0和LIST_1中的多个初始MV被分别选择。这些MV包括来自合并候选者的MV(即，诸如HEVC标准中指定的常规合并候选者)和来自时间导出的MVP的MV。针对两个列表产生两个不同的凝视MV集合。对于一个列表中的每个MV，MV对是通过组合此MV和通过将MV缩放到另一列表而导出的镜像MV来生成的。对于每个MV对，两个参考块是通过该MV对来补偿的。这两个块的绝对差值和(Sum ofAbsolutely Differences,简称SAD)被计算。具有最小SAD的MV对被选择作为最佳MV对。然后菱形搜索(diamond search)被执行以细化MV对。细化精度为1/8像素。细化搜索范围被限制在±8像素内。最后的MV对是PU级导出的MV对。
第二阶段中的子PU级搜索针对每个子PU搜索最佳MV对。当前PU被划分为子PU，其中子PU的深度在序列参数集(Sequence Parameter Set,简称SPS)中被发送，其中最小子PU大小为4×4。针对每个子PU选择列表0和列表1中的几个起始MV，其包括当前子PU和右下块的PU级导出的MV对，零MV，HEVC同位TMVP，当前子PU的时间导出的MVP，以及左侧和上方PU或子PU的MV。通过在PU级搜索中使用类似机制，每个子PU的最佳MV对被选择。然后菱形搜索被执行以细化最佳MV对。然后每个子PU的运动补偿被执行以生成每个子PU的预测子。
对于如图4所示的双边匹配合并模式，当前图像中的当前块410的运动信息基于两个参考图像Ref 0和Ref 1被导出。当从合并模式导出的运动向量是指向与当前图像具有相等距离的两个参考图像(即，时间距离TD0＝TD1)的双预测时，双边匹配被应用。当前块410的运动信息是通过在两个不同的参考图像Ref 0和Ref 1中沿着当前块的运动轨迹440搜索两个块420和430之间的最佳匹配来导出的。在连续运动轨迹的假设下，指向两个参考块的与Ref 0相关联的运动向量MV0和与Ref 1相关联的运动向量MV1应当与当前图像和两个参考图像Ref 0和Ref 1之间的时间距离TD0和TD1成比例。
图5标出了模板匹配合并模式的示例。当前块的上四行和左四列的已重建像素用于形成模板，例如，当前图像中当前块510的两个相邻区域520a和520b被用作范本。模板匹配被执行以找到具有其对应MV的最佳匹配模板，例如，参考图像Ref 0中的最佳匹配模板530a和530b及其对应的运动向量540被找到。在两阶段匹配的PU级匹配中，列表0和列表1中的若干起始MV被选择，诸如来自合并候选者的MV和来自时间导出的MVP的MV。针对两个列表两个不同的起始MV集合被生成。对于一个列表中的每个MV，具有MV的范本的SAD成本被计算。具有最小SAD成本的MV是最佳MV。菱形搜索被执行以细化精度为1/8像素的最佳MV，并且细化搜索范围被限制在±8像素内。最终的MV是PU级导出MV。列表0和列表1中的MV是独立生成的。对于子PU级搜索，当前PU被划分为子PU。对于左侧或顶部PU边界处的每个子PU，列表0和列表1中的若干起始MV被选择，并且通过使用PU级搜索中的类似机制，针对左侧或顶部PU边界处的每个子PU的最佳MV对被选择。菱形搜索被执行以细化MV对。运动补偿被执行以根据细化MV对生成每个子PU的预测子。对于那些不在左边或顶部PU边界的PU，不应用子PU级搜索，并且相应的MV被设置为第一阶段中的MV。虽然列表0参考图像(Ref 0)如图5所示，但列表1参考图像(Ref 1)也可以被用作模板匹配搜索的参考图像。
仿射运动补偿预测(Affine Motion Compensation Prediction，简称仿射MCP)仿射MCP是开发用于预测除平移运动之外的各种类型的运动的技术。例如，仿射MCP更准确地预测旋转，放大，缩小，透视运动和其他不规则运动。在JEM-3.0中应用如图6所示的示例性简化的四参数仿射MCP以提高编码效率。块的四参数仿射运动场是通过两个控制点611和612的运动向量613和614描述的。两个MV613和614被称为控制点MV。块的四参数仿射运动向量场(Motion Vector Field,简称MVF)由以下等式描述：
Figure BDA0002699431330000081
其中(v0x,v0y)表示左上角控制点611的运动向量613，(v1x,v1y)表示右上角控制点612的运动向量614，并且w表示块宽度。示例性简化的六参数仿射MCP如图6C所示。块的六参数仿射运动场是通过三个控制点631，632和633的运动向量634，635和636描述的。三个MV634，635和636被称为控制点MV。块的六参数仿射MVF由以下等式描述：
Figure BDA0002699431330000082
其中(v0x,v0y)表示左上角控制点631的运动向量634，(v1x,v1y)表示右上角控制点632的运动向量635，(v2x,v2y)表示左下角控制点633的运动向量636，w表示块宽度，h表示块高度。一般仿射运动模型可以通过以下等式定义：
Figure BDA0002699431330000083
基于块的仿射运动补偿预测而不是基于像素的仿射运动补偿预测被应用以进一步简化计算。图6B示出了将块分割成子块并且将仿射MCP应用于每个子块。如图6B所示，每个4×4子块的中心样本的运动向量根据上述等式被计算，然后被舍入到1/16分数精度。运动补偿内插被应用以根据导出的运动向量针对每个子块生成预测子。在执行运动补偿预测之后，每个子块的高精度运动向量被舍入并以与正常运动向量相同的精度存储。
子块运动补偿被应用在许多最近开发的编码工具中，例如子块TMVP，STMVP，PMVD和仿射MCP。CU或PU被划分为多个子块，并且这些子块可具有不同的参考图像和不同的MV。特别是当每个子块的MV非常多样化时，需要高带宽用于子块运动补偿。
在由视频编码器或视频解码器执行的运动补偿过程期间，一个或多个参考块必须根据运动信息被恢复以用于每个块。由于在诸如HEVC的较新编码标准中可支持分数像素运动向量，因此参考块周围的额外参考像素必须被恢复以用于插值计算。对于所有块大小，在小数像素位置处插值所需的行数或列数是相同的。因此，较小块大小的带宽增加比率大于较大块大小。当子块运动补偿编解码工具被使用时，与子块相关联的运动向量可以是不同的，并且由子块MV指向的子块的参考像素可以被展开。这将进一步增加所需的系统带宽。因此，开发用于减少子块运动补偿所需的带宽和计算复杂度的方法是众望所归。
发明内容
在用于子块运动补偿的视频处理方法的示例性实施例中，视频编解码系统接收与当前图像中的当前块相关联的输入视频数据，将当前块划分为多个子块，根据子块运动补偿工具导出与当前块中的子块相关联的子块MV，通过限制主MV和每个子块MV之间的差值于一个或多个阈值之间来约束子块MV以形成受约束子块MV，并且使用受约束的子块MV将运动补偿应用于当前块以对当前块进行编码或解码。根据当前块或子块的大小，宽度或高度，控制点MV、当前块或当前子块的帧间预测方向，当前块的一个或多个控制点MV，或者上述组合，阈值可被自适应地确定。在一个实施例中，如果第一列表中的对应子块MV在该范围之外，则从第二列表中的范围内的子块MV中选择受约束的子块MV。第一和第二列表分别对应于列表0和列表1或列表1和列表0。根据一个实施例，每个子块MV被限制在从(主MV-阈值)到(主MV+阈值)的范围内，其中阈值对应于阈值的一个值，并且如果子块MV在该范围之外，则子块MV被剪切到该范围。阈值可针对由子块运动补偿工具编解码的每个块或针对每个子块被自适应地确定。在一个示例性实施例中，阈值被自适应地确定为零或无限。如果阈值为零，则所有子块MV被剪切到主MV，并且如果阈值是无限的，则约束子块MV不被应用于当前块。根据一实施例，阈值取决于控制点MV的多样性。根据控制点MV，控制点MV的帧间预测方向，以及当前块的宽度和高度导出控制点MV的多样性。如果控制点MV的多样性相对多样则阈值为零，或者如果控制点MV的多样性不太多样则阈值是无限的。在一些实施例中，主MV是当前块的控制点MV之一，当前块中的子块MV之一，当前块的中心MV，使用当前块的中心位置样本的导出MV，或导出MV。通过具有自适应阈值的子块运动补偿编解码工具对块进行编解码的视频处理方法可以在视频编码和解码系统中实现，或者仅在视频编码系统中实现。当视频处理方法仅应用于视频编码系统时，受约束的子块MV有关的信息在视频比特流中被发送。编码或解码系统导出主MV并且在主MV周围加载所需的参考数据以用于运动补偿。
在用于子块运动补偿的视频处理方法的变型中，该方法包括接收与当前图像中的当前块相关联的输入视频数据，将当前块划分为多个子块，导出主参考块，根据子块运动补偿编解码工具导出与子块相关联的子块MV，并使用主参考块内的参考子块的一个或多个参考像素将运动补偿应用于当前块，并排除主参考块外部的参考子块的任一参考像素。参考子块由导出的子块MV指向。根据当前块或子块中的子块的大小、面积、形状、宽度或高度，子块MV、主MV或当前块的控制点MV之一的帧间预测方向，当前块的控制点MV，或其组合，自适应地确定主参考块的大小或形状。主参考块的大小或形状可以通过当前块的大小，面积，形状，宽度或高度来归一化。当子块运动补偿工具是仿射运动补偿预测时，主参考块或归一化主参考块的大小或形状可根据当前块的控制点MV或仿射参数自我调整地确定。在一些实施例中，主参考块覆盖由主MV指向的参考块。主参考块外部的参考子块的任一参考像素被替换为伪参考像素或仿射模型被设置为不可用，并且伪参考像素的示例包括主参考块的预定义像素值或填充像素，以及将仿射模型设置为不可用的示例包括将所有子块MV设置为相同的值。在一个实施例中，内插滤波器系数被修改以排除主参考块外部的参考子块的任一参考像素。根据另一实施例，如果参考子块的任一参考像素在主参考块之外，则子块运动补偿编解码工具不被应用并且子块MV全部被设置为相同值。
在一些示例性实施例中，当子块运动补偿编解码工具是仿射MCP时，主参考块或归一化主参考块的大小或形状可根据当前块的控制点MV或仿射参数自适应确定。主参考块或归一化主参考块的大小或形状可根据控制点MV与当前块的宽度和高度之间的MV差值导出，并且大小或形状将与预定义值比较。如果主参考块或归一化主参考块的大小或形状大于该预定义值，则仿射MCP不被应用于当前块。在一个实施例中，预定义值是根据帧间预测方向选择的。
视频编解码系统中的视频处理方法的一些实施例接收与当前块相关联的输入视频数据，检查子块运动补偿编解码工具是否应用于当前块，以及根据检查结果通过子块运动补偿编解码工具或其他编解码工具对当前块进行编码或解码。应用子块运动补偿编解码工具的有效性可根据当前块的宽度或高度、从当前块划分的子块的大小、面积、形状、宽度或高度，当前块的控制点MV、子块MV或主MV的帧间预测方向，诸如主MV或控制点MV的运动信息，仿射参数，或以上的组合来确定。在一个实施例中，如果检查结果为假，则MV剪切处理被应用于当前块中的每个子块，指示有效性无效。
在通过子块运动补偿编解码工具对块进行编码或解码的视频编解码系统中实现的视频处理方法的一些其他实施例包括接收当前图像中的当前块的输入视频数据，确定子块大小用于分割当前块，根据子块大小将当前块划分为多个子块，根据子块运动补偿编解码工具导出子块的子块MV，并通过子块MV将运动补偿应用于当前块。子块大小可自适应地被确定，即，用于划分当前块的子块大小可以与由相同子块运动补偿编解码工具编解码的用于划分另一块的子块大小不同。子块运动补偿编解码工具选自子块TMVP，STMVP，仿射运动补偿预测和子块细化PMVD模式。用于划分当前块的子块大小可以由编码器和解码器隐式地确定，或者由编码器明确地以发送与视频比特流中的子块大小有关的信息。
在自适应地确定子块大小的实施例中，子块大小是根据当前块的导出MV或导出的子块MV确定，例如，如果导出的MV或导出的子块MV是双预测或多假设预测时，则第一子块大小被用来划分当前块，并且如果导出的MV或导出的子块MV是单一预测，则第二子块大小被用来划分当前块。在该实施例中，第一子块大小被设置为大于第二子块大小。在另一示例中，如果导出的MV或子块MV是双预测的或多个假设预测，则子块大小被限制为大于或等于最小子块大小。在又一示例中，用于双预测或多假设预测子块的第一最小子块大小被设置为大于用于单预测子块的第二最小子块大小。
当当前块在仿射运动补偿预测中被编解码时，视频编解码系统的一些实施例根据控制点MV确定或限制当前块的子块大小。例如，控制点MV的多样性用于确定子块大小。多样性可通过控制点MV与当前块的宽度和高度之间的MV差来测量。在一个示例中，当控制点MV差值相对较大时选择大的子块大小，而当控制点MV差值相对较小时选择小的子块大小。
本公开的各方面还提供了一种用于视频编解码系统中的视频处理的装置，该装置通过子块运动补偿编解码工具对块进行编码或解码。该装置包括一个或多个电子电路，用于接收当前图像中当前块的输入视频数据，将当前块划分为多个子块，根据子块运动补偿编解码工具导出当前块中与子块相关联的子块MV，通过限制主MV和每个子块MV之间的差值于一个或多个阈值内来约束子块MV以形成受约束子块MV，并且通过应用使用受约束的子块MV的运动补偿对当前块进行编码或解码。根据当前块或子块的大小、宽度或高度，当前块的控制点MV、当前块或当前子块的帧间预测方向，运动信息例如控制点MV，或以上的组合，阈值可被自适应地确定。
本公开的各方面还提供了一种存储程序指令的非暂时性计算机可读介质，该程序指令用于使装置的处理电路执行视频处理方法，以通过子块运动补偿编解码工具对当前块进行编码或解码。与当前图像中的当前块相关联的输入视频数据被接收，当前块被划分为多个子块，并且与子块相关联的子块MV根据子块运动补偿编码工具被导出。根据当前块或子块的大小，宽度或高度，帧间预测方向，控制点MV，或上述的组合子块MV被约束。通过应用使用受约束的子块MV的运动补偿当前块被编码或解码。
通过阅读以下具体实施例的描述，本发明的其他方面和特征对于所属技术领域中具有通常知识者将变得显而易见。
附图说明
作为示例提出的本公开的各种实施例将参考以下附图详细描述，并且其中：
图1是示出用于构建HEVC标准中定义的跳跃或合并模式的候选者集合的空间预测子和时间预测子的图。
图2是示出根据子块TMVP技术确定当前PU中的子块的运动向量的示例的图。
图3是示出根根据STMVP技术确定合并候选者的示例的图。
图4是示出对当前图像中的当前块应用双边匹配以搜索两个等距参考图像中的参考块的示例的图。
图5是示出对当前图像中的当前块应用范本匹配以搜索指向具有最佳匹配范本的参考块的MV的示例的图。
图6A是示出对具有两个控制点的当前块应用仿射运动补偿预测的示例的图。
图6B是示出应用具有两个控制点的基于块的仿射运动补偿预测的示例的图。
图6C是示出对具有三个控制点的当前块应用仿射运动补偿预测的示例的图。
图7是示出跟本发明实施例的自适应子块尺寸用于将当前块划分为多个子块的示例的流程图。
图8是示出根据本发明实施例的通过限制主MV周围的子块MV来减少用于加载参考子块的带宽的MV约束概念的图。
图9是示出根据本发明实施例的限制主参考块内的所有子块的运动补偿的参考块约束的示例的图。
图10是示出结合根据本发明实施例的视频处理方法的视频编码系统的示例性系统框图。
图11是示出结合根据本发明实施例的视频处理方法的视频解码系统的示例性系统框图。
具体实施方式
容易理解的是，如本文附图中一般描述和说明的本发明的组件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而是仅代表本发明的所选实施例。
在HEVC标准中，为了减少帧间预测的带宽需求，4×4帧间块被禁止，并且最小帧间块8x4和4x8被限制为仅单预测。由于不允许对大小等于4×8或8×4的块进行双预测，因此在处理8×8双预测块时，带宽方面的情况更糟。用L-tap插值滤波器来对8×8双预测块进行运动补偿的每个像素的最坏情况带宽由(8+L-1)(8+L-1)*2/64计算，在8抽头插值滤波器的示例中，每个像素的最坏情况带宽是(8+7)(8+7)*2/64＝7.03。然而，在下一代视频编解码标准中提出若干子块运动补偿编解码工具，如果尺寸小于8×8的子块是通过双预测编解码，则这些子块运动补偿编解码工具的最坏情况带宽要求将超过HEVC标准。例如，仿射编码子块的最小尺寸是4×4，并且用8抽头插值滤波器来对4×4双预测块进行运动补偿的每个像素的最坏情况带宽是(4+7)(4+7)*2/16＝15.13，这是HEVC中每个像素的最坏情况带宽的两倍多。在子块TMVP，STMVP，仿射运动补偿预测或子块细化PMVD模式中处理4×4子块的带宽要求甚至大于运动补偿4×4双预测块所需的带宽。本发明的实施例提供各种新方法以降低子块运动补偿的带宽要求或系统复杂度。本发明可被应用于一个或多个子块运动补偿编解码工具，例如子块TMVP，STMVP，仿射运动补偿预测和子块细化PMVD模式。
自适应子块大小当当前块通过子块运动补偿编解码工具来被编解码时，用于划分当前块的子块大小可被自适应地确定。当前块是当前CU或当前PU。在一些实施例中，子块大小是根据当前块的导出MV或子块MV确定的。例如，如果当前块在双预测或多假设预测中被编解码，则更大的子块大小被分配给要在子块运动补偿中编解码的当前块。如果预测方向是单预测，则较小的子块大小被分配给当前块。子块大小可以由编码器和解码器隐式地导出，或者子块大小由编码器确定，并且与子块大小有关的信息在视频比特流中被明确地发送给解码器。在一个实施例中，在子块运动补偿中要编解码的当前块的子块大小受最小子块大小的限制，因为当前块的子块大小必须大于或等于最小子块大小。每个块的最小子块大小可被自适应地确定，例如，用于双预测子块或多假设预测子块的最小子块大小被设置为大于用于单预测子块的最小子块大小。在另一示例中，仅用于双预测子块或多假设预测子块的子块大小受最小子块大小的限制，而单预测子块的子块大小不受限制。最小子块大小可由编码器和解码器针对每个块隐式地导出，或者可以由编码器在视频比特流中显式地发送与最小子块大小相关的信息。
在仿射运动补偿预测中的自适应子块大小的一些实施例中，当前块的子块大小是根据当前块的控制点MV确定的。例如，视频编解码系统首先检查当前块的控制点MV是否是多样的。当控制点MV不太多样时，控制点MV指向的参考块或从控制点MV导出的子块MV相对接近。在检查控制点MV是否多样的示例中，控制点MV与当前块宽度和/或高度之间的一个或多个MV差值被计算，并且将与一个或多个阈值进行比较，并且如果一个或多个MV差值小于一个或多个阈值，这些控制点MV被认为是不太多样的，否则因为对应的参考块彼此相对较远则控制点MV是多样的。阈值可根据当前块是单预测块，双预测块还是多假设预测块来选择。MV差值和阈值可通过分离水平分量和垂直分量来计算和比较。在检查控制点MV是否多样的另一示例中，一个或多个变量是根据包括控制点MV与当前块宽度和/或高度之间的MV差的信息来计算的，并且如果一个或多个变量小于一个或多个阈值，则这些控制点MV被认为是不太多样的，否则因为相应的参考块彼此相对较远则控制点MV被认为是多样的，其中阈值可以取决于当前块是否是单预测块，双预测块或多假设预测块。对于不太多样的控制点MV，由子块MV指向的参考块通常接近或甚至重迭，因此相对小的参考块范围被加载以处理当前块。因为子块MV指向的参考块通常彼此远离，则具有多样控制点MV的当前块需要相对大的参考块范围。在一个实施例中，因此对具有多样控制点MV的块选择大的子块大小，否则对块选择小的子块大小。在另一实施例中，在仿射运动补偿预测中被编解码的当前块的子块大小可受最小子块大小的限制，其中最小子块大小是根据当前块的控制点MV导出的。例如，最小子块大小设置用于具有多样控制点MV的块。在另一示例中，具有大控制点MV差的块的第一最小子块大小被设置为大于具有小控制点MV差的块的第二最小子块大小。每个块的子块大小或最小子块大小可以由编码器和解码器隐式地导出，或者可以由编码器在视频比特流中显式地发送与子块大小有关的信息。
在自我适应子块大小的一些其他实施例中，子块大小由当前图像与参考图像之间的距离确定。针对子块运动补偿编解码工具中被编解码的每个块，子块大小可根据其参考图像自适应地被选择。测量两个图像之间的距离的示例是通过从当前图像的图像顺序计数(Picture Order Count，简称POC)中减去参考图像的POC。POC差值或所谓的ΔPOC被接着与阈值比较，并且小的子块大小可用于具有较小的ΔPOC的块，而较大的子块大小可用于具有较大的ΔPOC的块。在另一实施例中，大的子块大小被选择用于具有小于或等于阈值的ΔPOC的块，而小的子块大小被选择用于具有大于阈值的ΔPOC的块。子块大小可以由编码器和解码器隐式地导出，或者子块大小由编码器确定并且在视频比特流中明确地发送给解码器。或者，当前块的子块大小可根据当前图像和参考图像之间的ΔPOC被限制。例如，具有大ΔPOC的块的子块大小受第一最小子块大小的限制，具有小ΔPOC的块的子块大小受第二最小子块大小的限制。第一最小子块大小和第二最小子块大小是不同的，并且由编码器和解码器隐式地确定或者显式地发送给解码器。在另一示例中，最小子块大小仅用于限制具有大ΔPOC的块或具有小ΔPOC的块。
自适应子块大小的另一实施例根据列表0和列表1中的MV之间的MV差来确定或限制子块大小。例如，列表1的MV首先被缩放到列表0参考图像，并且运动向量差(MotionVector Difference,简称MVD)在缩放的列表1的MV和列表0的MV之间被计算。然后MVD将与阈值进行比较。在一个示例中，大的子块大小被选择用于具有大MVD的块，而小的子块大小被选择具有小MVD的块。在另一示例中，大的子块大小被选择用于具有小MVD的块，而小的子块大小被选择用于具有大MVD的块。如果当前块的两个MV之间的MVD大于阈值，则最小子块大小可被设置以限制子块大小。或者，第一最小子块大小用于限制具有大MVD的块的子块大小，而第二最小子块大小用于限制具有小MVD的块的子块大小。第一最小子块大小和第二最小子块大小是不同的。子块大小或最小子块大小可以由编码器和解码器隐式地导出或者显式地发送给解码器。
在又一实施例中，当前块的子块大小可根据当前块的宽度、高度、大小、面积或形状来确定或限制。例如，如果宽度或高度大于预定义值，则大的子块大小被选择用于当前块；如果宽度或高度小于或等于预定义值，则小的子块大小被选择。在另一示例中，如果当前块的大小小于阈值，则当前块的子块大小被限制为小于最小子块大小。或者，两个或更多个最小子块大小被设置以限制不同大小的当前块的子块大小。子块大小或最小子块大小可由编码器和解码器隐式地导出或者显式地发送给解码器。
自适应子块大小的示例性流程图图7示出了根据本发明实施例的用于处理由子块运动补偿编解码工具编码或解码的块的视频编码或解码系统的示例性流程图。在步骤S710中，视频编码或解码系统接收当前图像中的与当前块相关联的输入数据，当前块是通过子块运动补偿编解码工具被编解码。子块运动补偿编解码工具的一些示例是子块TMVP，STMVP，仿射运动补偿预测和子块细化PMVD模式。在编码器侧，输入数据对应于要编码的像素数据；在解码器侧，输入数据对应于要解码的已编解码数据或预测残差。在步骤S720中，子块大小被自适应地确定以便划分当前块。由相同的子块运动补偿编解码工具编解码的两个块可以具有不同的子块大小。在一些实施例中，子块大小可根据当前块的导出MV，导出的子块MV，预测方向，控制点MV，当前图像与参考图像之间的距离，列表0的MV和列表1的MV之间的MVD，或当前块的大小、宽度或高度来确定。在一些其他实施例中，子块大小受最小子块大小限制，并且最小子块大小与当前块的导出MV，导出子块MV，预测方向，控制点MV，当前图像与参考图像之间的距离，列表0的MV和列表1的MV之间的MVD，或当前块的大小、宽度或高度有关。在步骤S730中，视频编码或解码系统根据确定的子块大小将当前块划分为多个子块。在步骤S740中，子块运动补偿编解码工具导出当前块中的子块的子块MV。在步骤750中，视频编码或解码系统通过子块MV将运动补偿应用于当前块来对当前块进行编码或解码。
用于MV约束的自适应阈值在本发明的一些实施例中，MV约束被应用于限制主MV和当前块的每一个子块MV之间的差值于一个或多个阈值之间。限制范围可由设置该主MV的范围来定义。比如说，参考列表中的主MV可首先被导出，然后根据当前块的控制点MV、当前块或当前子块的帧间预测方向，当前块的控制点MV，当前块或当前子块的大小、宽度或高度，以上的一个或多个阈值被自适应地确定。参考列表中的所有子块MV都限制在主MV±阈值的限制范围内(即，从主MV-阈值到主MV+阈值或从主MV-阈值1到主MV+阈值2)，其中阈值，阈值1和阈值2对应于一个阈值。在一个示例中，阈值是0或不受限制，当阈值是0时，当前块中的所有子块MV被剪切到主MV，并且当阈值不受限制时，所有子块MV都在当前块保持不变。主MV的一些示例包括控制点MV之一，当前块中的子块MV之一，当前块的中心MV或导出MV。当前块的中心MV可以通过仿射方程使用当前块的中心像素导出。在一些实施例中，如果子块MV在限制范围之外，则子块MV被剪切到限制范围内或者由默认MV替换。默认MV的一个示例是主MV。例如，主MV是控制点MV之一或子块MV之一。在另一示例中，对于仿射运动补偿预测，主MV是控制点MV之一，当前块中的子块MV之一，当前块的中心MV，使用当前块的中心位置样本的导出MV，或导出MV。在另一示例中，如果列表0或列表1之一的MV在限制范围之外而另一列表的MV在限制范围内，则仅另一列表的MV被使用。超出限制范围的列表的MV被修改为无效。图8示出了应用MV约束的概念，该MV约束限制主MV周围的子块MV以限制由子块MV指向的所有参考子块在一定范围内。传统上，解码器加载包含用于补偿子块的运动的由原始子块MV指向的原始参考子块810、812、814和816的单独块820、822、824和826，或者解码器加载包括所有块820、822、824和826的大块82。在解码器将阈值MV限制在由阈值限定的限制范围内之后，解码器仅需要加载包含由约束子块MV指向的参考子块830、832、834和836的块83用于这些子块。
用于定义限制范围的阈值是由当前块的大小，当前块的宽度或高度，当前子块的大小、面积、形状、宽度或高度、当前块的控制点MV、当前块、当前子块、主MV或当前块的控制点MV的帧间预测方向，或者上述的组合确定的自适应值。阈值可以设置为无限制，这意味着子块MV约束不被应用于当前块。在一个示例中，阈值取决于控制点MV的多样性，并且控制点MV的多样性是根据控制点MV，控制点MV的帧间预测方向以及当前块的宽度和高度导出的。一个或多个变量可根据包括控制点MV之间的MV差值和当前块的宽度和高度的信息计算。然后一个或多个变量与预定值比较以检查多样性程度。如果一个或多个变量小于预定义值，则认为这些控制点MV不太多样，否则控制点MV相对多样，因为当前块中的子块的对应参考子块相对较远远离彼此。用于评估这些变量的预定义值可根据当前块是单预测块，双预测块还是多假设预测块来选择。例如，如果当前块是单预测块，则较大的预定义值被选择，而如果当前块是双预测块或多假设预测块，则较小的预定义值被选择。在另一示例中，如果当前块是单预测块，则较小的预定义值被选择，而如果当前块是双预测块或多假设预测块，则较大的预定义值被选择。当当前块是单预测块时用于比较一个或多个阈值的变量可以与当当前块是双预测块或多假设预测块时用于比较一个或多个阈值的变量不同。在一个实施例中，如果控制点MV被认为不太多样，则用于定义限制范围的阈值被设置为不受限制。否则，如果控制点MV被认为更加多样，则用于定义限制范围的阈值被设置为0。
在一些实施例中，阈值与子块大小和/或帧间预测方向有关。例如，当子块MV是单预测MV时，用于限制子块MV的阈值被设置为大值或被设置为不受限制；当子块MV是双预测MV时，阈值被设置为小值。在另一示例中，用于限制与当前块相关联的所有子块MV的阈值被设置为大值，或者当当前块的主MV是单预测MV时被设置为不受限制。当主MV是双预测MV时，小阈值被分配用于限制子块MV。阈值可根据当前块中的子块的大小、宽度、高度或形状中的一个或组合自适应地确定。在一个实施例中，如果子块大小小于预定义大小(例如，8×8)，则小阈值被应用来限制子块MV。在本实施例中，阈值可以根据子块大小而不同，例如，第一阈值被选择用于较大的子块大小，而第二阈值被选择用于较小的子块大小，其中第一阈值比第二个阈值大。比如，较大子块大小包括大于或等于8×8的大小(即8×8、16×8、8×16)，并且较小的子块大小包括小于8×8的大小(即4×8、8×4、4×4)。不同的阈值或MV限制范围可被设置用于不同的子块设置。在另一示例中，当子块宽度或高度大于预定值并且通过单向预测来预测时更大的阈值被应用，并且对于具有更小子块宽度或高度的子块或者通过双预测预测的子块更小的阈值被应用。
多个阈值可被使用来在各种子块运动补偿编解码工具中定义MV限制范围。例如，一个阈值用于MV的水平分量，另一个阈值用于MV的垂直分量。MV的水平分量可根据当前块的大小或宽度来确定，并且MV的垂直分量可根据当前块的大小或高度来确定。在一些实施例中，垂直或水平MV的阈值对于正方向和负方向可以是不同的。例如，当前块的水平分量MV被限制在(primary_MVx-thresholdX1，primary_MVx+thresholdX2)的范围内。两个阈值thresholdX1和thresholdX2可根据当前块的大小，当前块的宽度和/或高度或主MV来设置。
对于子块TMVP，主MV可以是默认MV，初始MV(即vec_init)，缩放初始MV(即vec_init_scaled)，当前块中的子块MV之一或导出MV。可以用作主MV的子块MV的一些示例是角落子块的MV和中心子块的MV。导出MV的一些示例是使用当前块的中心像素或中心块导出的MV，或者使用围绕中心位置的子PU导出的MV。
对于STMVP，主MV可以是第一导出子块MV，诸如图3中的子块A的MV，相邻块的MV，时间同位MV或导出MV。在一个示例中，导出MV是通过使用当前块的中心像素或中心子块导出的MV。
对于仿射运动补偿预测，主MV可以是控制点MV之一，当前块中的子块MV之一，由当前块的中心像素或中心子块导出的当前块的中心MV，或导出MV。用作主MV的子块MV的一些示例是角落子块的MV和中心子块的MV。用作主MV的导出MV的示例是使用当前块的中心像素或中心块导出的MV。在一个实施例中，如果在仿射运动补偿预测中被编解码的当前块的控制点的MV位于限制范围之外，则控制点的MV被剪切在限制范围内或由主MV替换。在MV剪切或替换之后，当前块中的子块的MV通过新控制点MV被导出。
对于子块细化的PMVD合并模式，主MV可以是PU初始MV或CU/PU细化的MV。子块细化MV在主MV周围受到限制。
在一个实施例中，对于不同的子块，MV阈值可以是不同的。例如，子块1的水平MV被限制在(primary_MVx-thresholdX1，primary_MVx+thresholdX2)的范围内，并且子块2的水平MV被限制在(primary_MVx-threshold X3，primary_MVx+threshold X4)的范围内。阈值X1可以与阈值X3不同，并且阈值X2可以与阈值X4不同。例如，如果子块1的位置在子块2的位置的左边，则阈值X1可以小于阈值X3。
所提出的MV约束方法可被规范地应用，或者被应用为编码器侧约束。如果它是规范性的，则使用如上所述的规则生成所有子块的MV，即，所有MV将在主MV周围的限制范围内。对于编码器约束，比特流一致性的要求为所有子块的MV应遵循之前描述的规则。子块的所有MV都应在主MV的限制范围内。如果不是，则该模式或该合并候选者不应在编码器侧被选择。
在解码器侧，当当前块在子块运动补偿模式被编解码时，首先主MV被导出。解码器可以在主MV周围加载参考数据。例如，大小为(thresholdX1+blockWidth+interpolationFilterTapLength-1+thresholdX2)*(thresholdX1+blockHeight+interpolationFilterTapLength-1+thresholdX2)的参考块被载入用于当前块中的所有子块的运动补偿。
参考块约束在一些实施例中，每个子块的MV是在限制范围之内还是之外是根据参考块范围确定的，其中参考块范围是根据MV或任何其他MV相关信息确定的。如果由子块MV指向的参考块被主参考块覆盖，则子块MV被认为在限制范围内。例如，覆盖由主MV指向的块的主参考块被用于所有子块的运动补偿。在子块运动补偿中，如果由子块MV指向的子块的所有所需参考像素都在主参考块内，则主参考块中的原始参考像素被使用。如果任一所需的参考像素不在主参考块内，则伪参考像素被使用。伪参考像素可具有预定义的像素值，例如128,512或(1<<(bit_depth-1))，或者可以是主参考块的填充像素。在另一示例中，如果任一所需参考像素不在主参考块内，则子块模式是当前块的不可用模式。主参考块的大小或形状可以自适应地取决于当前块的大小或形状，当前块的宽度或高度，子块的大小，面积，形状，宽度或高度，子块MV、当前块的控制点MV之一或主MV的帧间预测方向，当前块的控制点MV，或者上述的组合。例如，用于单预测CU或子块的主参考块的大小或形状大于用于双预测或多预测CU或子块的主参考块的大小或形状。在一个实施例中，主参考块的大小或形状是根据当前块的子块MV或主MV确定的。当当前块通过仿射运动补偿预测被编解码时，子块MV从当前块的控制点MV被导出，因此主参考块的大小或形状可基于当前块控制点MV来确定。由于仿射参数由控制点MV导出，因此主参考块的大小或形状可基于当前块的仿射参数来确定。在一个示例中，主参考块大小或当前块的形状取决于控制点MV的多样性，并且控制点MV的多样性是根据控制点MV，控制点MV的帧间预测方向，以及当前块的宽度和高度导出的。一个以上的变量包括控制点MV以及当前块的宽度和高度的MV差值的信息来计算的。两个变量的相乘结果表示主参考块的大小或形状。主参考块大小或形状可通过当前块的宽度或高度来归一化导出。主参考块大小或形状或归一化的主参考块大小或形状与预定义值比较以检查多样性程度。如果主参考块的大小或形状或归一化的主参考块大小或形状小于预定义值，则控制点MV被认为是不太多样，否则因为相应的参考子块距离彼此较远，控制点MV相对多样。用于评估主参考块大小或形状或归一化主参考块大小或形状的预定义值可根据当前块是单预测块，双预测块还是多假设预测块来选择。例如，如果当前块是单预测块，则较大的预定义值被选择，而如果当前块是双预测块，则较小的预定义值被选择。又例如，如果当前块是单预测块，则较小的预定义值被选择，而如果当前块是双预测块，则较大的预定义值被选择。在一个实施例中，如果主参考块大小或归一化主参考块大小大于预定义值，则子块模式是当前块的不可用模式，例如，仿射MCP不被应用于当前块。因此，子块MV被设置为相同的值，并且平移运动模型应用于当前块。
图9示出了在由子块运动补偿编解码工具编解码的当前块中应用参考块约束的示例。主MV912首先被导出用于8x8大小的CU910。在参考图像92中的由主MV912指向的主参考块920用于8x8大小的CU910中的子块的运动补偿。如果子块的所有参考像素在主参考块920内(例如，块A，其所有参考像素在主参考块920内)，参考块中的原始像素被使用。如果子块的参考像素不在主参考块920内(例如，块C，其参考像素不在主参考块920内)，则根据主参考块920的填充像素被使用。如果子块的参考像素的一部分在主参考块内并且参考像素的一部分不在(例如，块B，其具有部分参考像素在主参考块920内并且具有一部分参考像素不在主参考块920内)，主参考块920中的部分原始像素和部分填充像素被使用。在另一实施例中，内插滤波器系数被修改以排除主参考块外部的参考子块的任一参考像素。在另一示例中，如果子块的参考像素的一部分不在主参考块内，则子块模式是当前块的不可用模式，例如，如果子块模式设置为不可用模式，则子块MV都被设置为相同的值。
所提出的参考块约束方法可被规范地应用，或者可被应用为编码器侧约束。如果是规范性的，则所有子块的参考像素可利用如上所述的规则生成，即，使用主参考块内的参考子块的像素，而不使用主参考块外的像素。在参考块约束方法的规范实现的另一示例中，如果子块的参考像素的一部分不在主参考块内，则子块模式是当前块的不可用模式，例如，如果使用仿射模式，则子块MV都被设置为相同的值。对于编码器约束，比特流一致性的要求是所有子块的参考像素应遵循如前所述的规则。编码器通过子块运动补偿编解码工具使用主参考块内的参考子块的参考像素对当前块进行编解码。如果由子块MV指向的任何参考子块不在主参考块内，则在编码器侧该子块运动补偿编解码工具不被选择。例如，如果子块运动补偿编解码工具是仿射运动补偿预测，则仿射运动补偿预测技术不被应用于具有主参考块之外的一个或多个参考子块的块。在另一示例中，如果子块运动补偿编解码工具是子块TMVP或STMVP，则如果当前块的任一参考子块在对应的主参考块之外，则由子块TMVP或STMVP生成的相关候选者不被选择。
检查子块运动补偿编解码工具的有效性如前面一些段落中所述，一些实施例实现MV约束或参考块约束以限制子块MV或限制参考图像。如果子块MV是在MV限制范围之外或参考子块在主参考块之外，则视频编码或解码系统可以决定不使用子块运动补偿编解码工具来处理当前块，而不是剪切或替换子块MV或替换参考子块的参考图像。在一个示例中，视频编码器或解码器根据当前块的宽度或高度，从当前块划分出的子块的大小、面积、形状、宽度或高度，子块MV、一个或多个控制点MV或主MV的帧间预测方向，控制点MV，仿射参数或以上的组合，来检查将子块运动补偿编解码工具应用于当前块的有效性。如果检查结果显示子块运动补偿编解码工具有效，则子块运动补偿编解码工具仅可用于编码或解码当前块，否则当前块通过另一编码工具进行编码。在一个实施例中，当检查结果显示子块运动补偿编解码工具无效时，MV剪切处理应用于当前块中的每个子块。例如，当前块中的所有子块MV被剪切为相同的值。
在一个实施例中，当前块的宽度或高度，子块的大小，面积，形状，宽度或高度，子块MV、主MV或控制点MV的帧间预测方向，控制点MV，仿射参数或以上的组合可用于判断当前块的一个或多个子块MV是否在MV限制范围之外。它一个或多个子块MV在MV限制范围之外，模式(例如，仿射运动补偿预测或子块细化PMVD模式)或与子块运动补偿编解码工具相关联的合并候选者(例如，仿射候选者，子块TMVP候选者或STMVP候选者)不被编码器选择来对当前块进行编码。编码器使用另一种编码工具对当前块进行编码。
PMVD的子块候选者本发明的一个实施例通过发送起始MV候选者来减少PMVD过程的需求带宽以及提高编解码效率。PMVD的第二阶段(PU级匹配)首先确定多个起始MV，例如来自合并候选者的MV和来自时间导出MVP的MV，然后从每个起始MV生成MV对以导出两个参考块。这两个参考块的SAD被计算，以及具有最小SAD的MV对被选择。菱形搜索被执行以细化所选择的MV对。在PU级匹配之后，子PU级匹配被执行。在该实施例中，视频解码器仅需要解析起始MV并细化从解析的起始MV导出的MV对。因此评估PU级匹配中的所有起始MV的整个过程被避免了。于是带宽要求可显著降低。在一个实施例中，为了降低PU级匹配中的搜索复杂度，子块MV候选者诸如仿射候选者，ATMVP和STMVP候选者不包括在候选者列表中。在另一实施例中，子块MV候选者包括在候选者列表中。如果非子块MV候选被选择，则包括PU级匹配和子PU级匹配的原始两阶段处理被应用。如果子块MV候选者被选择，则PU级匹配被跳过，仅子PU级匹配被执行。在一个实施例中，对于子块MV候选者，如果子块MV候选者被选中用于当前块，则针对当前块中的每个子块一个MV候选者被导出。在子PU级匹配中，解码器仅细化发送的每个子块的MV。为了进一步降低带宽要求，上面提到的MV约束或参考块约束可进一步被应用。主MV可被设置为当前CU中的子块之一的MV，例如，左上子块的MV，或者当前CU的中心子块的MV。
视频编码器和解码器实施方式前述提出的用于子块运动补偿的视频处理方法可以在视频编码器或解码器中实现。例如，所提出的视频处理方法在编码器的帧间预测模块和/或解码器的帧间预测模块中实现。在另一示例中，所提出的视频处理方法在编码器的子块分区模块或MV推导模块，和/或解码器的子块分区模块或MV推导模块中实现。或者，任何所提出的方法被实现为耦合到编码器的帧间预测模块，子块分区模块或MV推导模块，和/或解码器的帧间预测模块，子块分区模块或MV推导模块的电路，以提供帧间预测模块，子块分区模块或MV推导模块所需的信息。图10示出了用于实现本发明的各种实施例的视频编码器1000的示例性系统框图。帧内预测1010基于当前图像的重建视频数据提供帧内预测子。帧间预测1012执行运动估计(motion estimation,简称ME)和运动补偿(motioncompensation,简称MC)以基于来自其他图像的视频数据提供帧间预测子。为了通过根据本发明的一些实施例的子块运动补偿编解码工具对当前块进行编码，用于定义MV限制范围，子块大小或主参考块的大小或形状的阈值是自适应确定的。主参考块的阈值，子块大小，或主参考块的大小或形状可由当前块或子块的大小、高度或宽度，帧间预测方向，当前块的控制点MV，或上述的组合来确定或限制。然后当前块被划分为多个子块，并且子块MV根据用于运动补偿的子块运动补偿编解码工具被导出。帧间预测1012根据对应的子块MV确定每个子块的预测子。根据一些实施例，每个子块MV受阈值限制。根据一些其他实施例，每个子块的预测子被限制在主参考块内。帧内预测1010或帧间预测1012将所选择的预测子提供给加法器1016以形成预测误差，也称为预测残差。当前块的预测残差通过变换(Transformation,简称T)1018进一步被处理，然后是量化(Quantization,简称Q)1020。然后，变换和量化后的残差信号由熵编码器1032编码以形成视频比特流。然后，视频比特流被打包有辅助信息。然后，当前块的变换和量化后的残差信号通过逆量化(Inverse Quantization,简称IQ)1022和逆变换(Inverse Transformation,简称IT)1024处理，以恢复预测残差。如图10所示，预测残差是通过在重建(Reconstruction,简称REC)1026处加回到所选择的预测子来恢复，以产生重建的视频数据。重建的视频数据可存储在参考图像缓冲器(Reference PictureBuffer,简称Ref.Pict.缓冲器)1030中并用于预测其他图像。从REC1026恢复的重建视频数据可能由于编码处理而受到各种损害；因此，在重建视频数据被存储在参考图像缓冲器1030中之前，环路处理滤波器1028被应用于重建视频数据，以进一步提高图像质量。
用于解码从图10的视频编码器1000生成的视频比特流的对应视频解码器1100在图11中示出。视频比特流是视频解码器1100的输入，并且由熵解码器1110解码以解析和恢复变换和量化后的残差信号和其他系统信息。解码器900的解码过程类似于编码器1000处的重建环路，除了解码器1100仅需要帧间预测1114中的运动补偿预测。每个块由帧内预测1112或帧间预测1114解码。开关1116根据解码后的模式信息从帧内预测1112选择帧内预测子，或从帧间预测器1114选择帧间预测子。帧间预测1114基于子块MV在当前块上执行子块运动补偿编解码工具。根据一些实施例，用于限制子块MV，子块大小或主参考块的大小或形状的阈值由帧间预测1114自适应地确定。根据另一实施例，帧间预测1114通过解析所接收的视频比特流来确定用于由子块运动补偿编解码工具进行编解码的块来限制子块MV，子块大小或主参考块的大小或形状的阈值。与每个块相关联的变换和量化后的残差信号通过逆量化(IQ)1120和逆变换(IT)1122恢复。通过在REC1118中加回预测子来重建恢复的残差信号以产生重构视频。环路处理滤波器(In-loop Processing Filter)1124进一步处理重构的视频以生成最终的解码视频。如果当前解码的图像是用于解码顺序的后续图像的参考图像，则当前解码的图像的重建视频也存储在Ref.Pict.缓冲器1126。
图10和图11中的视频编码器1000和视频解码器1100的各种组件可以由硬件组件，被配置为执行存储在内存中的程序指令的一个或多个处理器，或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制与当前图片相关联的输入数据的接收。处理器配备单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器1000和解码器1100中的一些组件中执行功能，并且与处理器电耦合的内存用于存储程序指令，对应于块的重建图像的信息，和/或编码或解码过程中的中间数据。在一些实施例中，内存包括非暂时性计算机可读介质，诸如半导体或固态内存，随机存取内存(RAM)，只读存储器(ROM)，硬盘，光盘或其他合适的存储介质。内存还可以是上面列出的两个或更多个非暂时性计算机可读介质的组合。如图10和图11所示，编码器11000和解码器110可以在同一电子设备中实现，因此如果在同一电子设备中实现，则编码器1000和解码器1100的各种功能组件可被共享或重复使用。
AMVR自适应运动向量差分分辨率(Adaptive Motion Vector differenceResolution，简称AMVR)支持三种运动向量分辨率，包括四分之一亮度样本，整数亮度样本和四亮度样本，以减少运动向量差值(Motion Vector Difference,简称MVD)的辅助信息。在序列参数集合(Sequence Parameter Set，简称SPS)级别和CU级别中发送的标志用于指示是否启用AMVR以及选择哪个运动向量分辨率用于当前CU。对于以高级运动向量预测(Advanced Motion Vector Prediction,简称AMVP)模式编解码的块，一个或两个运动向量通过单预测或双预测生成，然后一个或一组运动向量预测子(Motion Vector Predictor,简称MVP)同时生成。与相应的MV相比具有最小MVD的最佳MVP被选择用于有效编解码。通过AMVR使能，MV和MVP都根据所选择的运动向量分辨率进行调整，并且MVD将对齐到相同的分辨率。
有条件地扩展AMVR更大的AMVR分辨率，例如八亮度样本，16个亮度样本等，可以使用视频比特流中的额外的AMVR标志信令进一步被测试。编解码效率可通过允许更大的MVD分辨率提高。为了进一步提高编解码效率，更大的分辨率可被测试而不发送任何额外的AMVR标志。例如，当满足特殊条件时，用于指示四亮度样本的分辨率的AMVR标志可以表示更大的分辨率，例如八亮度样本或十六亮度样本。特殊条件的一个实施例是当前帧和参考帧之间的POC差值大于阈值时。在该实施例中，当前帧和参考帧之间的POC差值大于预设阈值时，如果AMVR被使能并且被推断为第一分辨率，例如四亮度样本，则MVD的分辨率变为第二分辨率，例如八亮度样本。用于生成MV和MVP的以下AMVP过程将使用八亮度样本分辨率来计算。此外，MVD将同时被与分辨率对齐。此处的阈值可以明确地发送或隐式预定义。阈值可以在序列级别，图像级别，片段级别，CTU级别，或CU级别，或块级别来发送。
特殊条件的另一实施例与当前片段的时间层相关联。在一个示例中，对于AMVR被使能并且MVD分辨率被推断为四亮度样本的当前片段，如果当前片段在小于阈值(例如1或2)的时间层上，则意味着该片段的可用的参考帧在时间在线彼此远离，最初指示四亮度样本的AMVR标志现在将指示为八亮度样本。用于生成MV和MVP的以下AMVP过程将使用八亮度样本分辨率而不是四亮度样本来计算。阈值可以是发送的值或预定义的值，并且该发送的值可在序列级别，图像级别，片段级别，CTU级别，CU级别或块级别中定义。
AMVR标志和MVP索引的组合AMVP模式使用一个MVP索引来根据HEVC标准在MVP候选列表中选择MVP。如果AMVR被使能，则AMVR标志和MVP索引需要被发送。在一些实施例中，多个分辨率可以进一步被测试而不用发送另外的AMVR标志以便进一步提高编解码效率。在一个实施例中，具有不同MVP索引的MVP可以在相同AMVR标志下被生成为不同分辨率，而MV的产生不变。MV以基于AMVR标志的精度产生。表1和表2中示出了具有针对MV，MVP和MVD的不同分辨率的实施例。表1显示了MV和MVD的不同运动向量分辨率，而表2显示了MVP的不同运动向量分辨率。例如，具有MVP索引0和MVP索引1的两个MVP在AMVP模式中生成。如果AMVR被使能并被推断为四分之一亮度样本，则具有MVP索引0的MVP将被生成为四分之一亮度样本，并且具有MVP索引1的MVP将被生成为半亮度样本。这两个MVP候选者可以分别在相同的过程或不同的过程中生成。相应的MV基于AMVR标志生成作为四分之一亮度样本。由于MV和MVP分辨率未对齐，因此关于MVD计算不同分辨率可被应用。在一个示例中，具有不同索引的MVP在相同AMVR标志下被生成为不同分辨率，并且MVD被舍入到与MVP精度相同的相应分辨率。在另一示例中，具有不同索引的MVP在相同AMVR标志下由不同分辨率生成，并且MVD将舍入到与基于AMVR标志的MV精度相同的相应分辨率。
Figure BDA0002699431330000301
表1
Figure BDA0002699431330000311
表2
在另一实施例中，MVP和MV以基于AMVR标志的精度产生。基于不同的MVP指数对应的MVD被指示为不同的分辨率。表3和表4中示出了一个示例，其具有针对MV，MVP和MVD的不同分辨率。表3示出了MV和MVP的不同运动向量分辨率，而表4示出了MVD的不同运动向量分辨率。例如，如果AMVR被使能并且推断为四分之一亮度样本，则在AMVP模式中MV和具有MVP索引0和MVP索引1的两个MVP被生成具有四分之一亮度样本。如果具有索引为0的MVP被选择作为最佳MVP，则相应的MVD将被指示为四分之一亮度样本。否则，如果具有索引1的MVP作为最佳MVP被选择，则相应的MVD将被指示为半亮度样本。
Figure BDA0002699431330000312
表3
Figure BDA0002699431330000321
表4
AMVR的自适应语法设计表5显示了传统AMVR语法设计中不同运动向量分辨率的二进制化。在一些实施例中，基于某些条件MV分辨率被自适应地发送。根据一个实施例，不同的二进制化表被应用于具有不同大小的CU，用于多个MV分辨率编解码。例如，如果CU大小小于阈值，则1二进制符号(bin)用于整数亮度样本，并且2bin用于剩余分辨率；否则，1bin用于四分之一亮度样本，而2bin用于剩余分辨率。这里的阈值可以被明确地发送或隐式地被预定义，并且阈值可以在序列级别，图像级别，片段级别，CTU级别，CU级别或块级别中发送。表6中示出了针对不同运动向量分辨率的编码二进制化。
MV分辨率 二进制化
四分之一亮度样本 0
整数亮度样本 10
四亮度样本 11
表5
MV分辨率 二进制化
整数像素(pel) 0
四分之一像素(pel) 10
4像素(pel) 11
表6
用于编码或解码的视频处理方法的实施例可在集成到视频压缩芯片中的电路或集成到视频压缩软件中的程序代码中实现，以执行上述处理。例如，确定包括用于编解码当前块的平均候选者的候选者集合可在计算机处理器执行的程序代码中实现，比如，数字信号处理器(Digital Signal Processor,简称DSP)，微处理器或现场可程序设计门阵列(field programmable gate array,简称FPGA)。这些处理器可被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。
本说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征，结构或特性可包括在本发明的至少一个实施例中。因此，贯穿本说明书在各个地方出现的短语“在实施例中”或“在一些实施例中”不一定都指代相同的实施例，这些实施例可以单独实现或与一个或多个其他实施例结合实现。此外，所描述的特征，结构或特性可以在一个或多个实施例中以任何合适的方式组合。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下或者利用其他方法，组件等来实现本发明。在其他情况下，公知的结构或操作没有被示出或被详细描述以避免模糊本发明的各方面。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由权利要求而不是前面的描述来指示。属于权利要求的等同物的含义和范围的所有变化将被包括在其范围内。

Claims (28)

1.一种在视频编解码系统中用于子块运动补偿的视频处理方法，包括：
接收与当前图像中当前块相关联的输入视频数据；
将所述当前块划分为多个子块；
根据子块运动补偿编解码工具导出与在所述当前块中的所述多个子块相关联的多个子块运动向量；
通过限制主运动向量和所述多个子块运动向量中的每个子块运动向量之间的差值于一个或多个阈值之中，约束所述多个子块运动向量以形成多个受约束的子块运动向量，其中所述一个或多个阈值可依据所述当前块或子块的大小、宽度和高度、所述当前块的多个控制点运动向量之一、所述当前块或当前子块的帧间预测方向、所述当前块的所述多个控制点运动向量、或以上的组合来被自适应地确定；以及
使用所述多个受约束子块运动向量来将运动补偿应用于所述当前块以编码或解码所述当前块。
2.如权利要求1所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述多个子块运动向量的每个子块运动向量被限制到从(主运动向量-阈值)到(主运动向量+阈值)的范围，其中阈值对应于阈值的值，并且如果子块运动向量在所述范围之外，所述子块运动向量被剪切到所述范围。
3.如权利要求1所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述阈值被自适应地确定为零或者无限制，其中如果所述阈值是零，所有的所述子块运动向量都被剪切到所述主运动向量，并且如果所述阈值是无限制，所述约束所述多个子块运动向量的操作不被应用于所述当前块。
4.如权利要求3所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述阈值取决于所述多个控制点运动向量的多样性，所述多个控制点运动向量的多样性是根据所述多个控制点运动向量、所述多个控制点运动向量的所述帧间预测方向以及所述当前块的所述宽度和所述高度导出的，其中如果所述多个控制点运动向量的所述多样性是相对多样的，所述阈值是零，或者如果所述多个控制点运动向量的所述多样性是相对不多样的，所述阈值是无限制。
5.如权利要求1所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述主运动向量是所述当前块的所述多个控制点运动向量之一，所述当前块的所述多个子块运动向量之一，所述当前块的中心运动向量，使用所述当前块的中心位置样本的导出运动向量，或导出运动向量。
6.如权利要求1所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述主运动向量被导出，并且所述主运动向量周围的所需参考数据被加载用于运动补偿。
7.一种在视频编解码系统中用于子块运动补偿的视频处理方法，包括：
接收在当前图像中与当前块相关联的输入视频数据；
将所述当前块划分为多个子块；
根据子块运动补偿编解码工具导出与在所述当前块中的所述多个子块相关联的多个子块运动向量；
导出主参考块，其中所述主参考块的大小或形状是根据所述当前块或所述当前块中的所述多个子块的大小、面积、形状、宽度或高度，所述当前块的多个控制点运动向量之一、子块运动向量或主运动向量的帧间预测方向、所述当前块的所述多个控制点运动向量、或以上的组合来被自适应地确定；以及
使用在所述主参考块中的多个参考子块的一个或多个参考像素将运动补偿应用于所述当前块，排除在所述主参考块之外的所述多个参考子块的任一参考像素，其中所述多个参考子块由所述多个导出子块运动向量指向。
8.如权利要求7所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述主参考块覆盖由所述主运动向量指向的参考块。
9.如权利要求7所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，在所述主参考块之外的所述多个参考子块的任一参考像素被伪参考像素替代，或者仿射模型被设置为不可用，并且所述伪参考像素对应于预定义像素值或所述主参考块的填充像素。
10.如权利要求7所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，如果所述多个参考子块的任一参考像素在所述主参考块之外，所述子块运动补偿编解码工具不被应用，并且所述多个子块运动向量全部被设置为相同值。
11.如权利要求7所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述主参考块的所述大小或所述形状被所述当前块的所述大小、所述面积、所述形状、所述宽度或所述高度归一化。
12.如权利要求11所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，当所述子块运动补偿编解码工具是仿射运动补偿预测时，所述主参考块或所述归一化主参考块的所述大小或所述形状是根据所述当前块的所述多个控制点运动向量或仿射参数来自适应确定的。
13.如权利要求11所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述主参考块或所述归一化主参考块的所述大小或所述形状是根据所述多个控制点运动向量和所述当前块的所述宽度和所述高度之间的运动向量差值来导出的，并且所述主参考块或所述归一化主参考块的所述大小或所述形状与预定义值相比较，如果所述主参考块或所述归一化主参考块的所述大小或所述形状比所述预定义值大，所述仿射运动补偿预测不被应用于所述当前块。
14.如权利要求13所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述预定义值是根据所述帧间预测方向选择的。
15.一种在视频编解码系统中用于子块运动补偿的视频处理方法，包括：
接收与将被编码的当前图像中的当前块相关联的输入数据；
根据所述当前块的大小、宽度或高度、从所述当前块划分出的多个子块的大小、面积、形状、宽度或高度、子块运动向量、主运动向量或所述当前块的多个控制点运动向量之一的帧间预测方向、所述主运动向量、所述多个控制点运动向量、多个仿射参数、或以上的组合来检查子块运动补偿编解码工具是否应用于所述当前块；以及
根据所述检查结果使用所述子块运动补偿编解码工具或另一编解码工具来对所述当前块进行编码或解码。
16.如权利要求15所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述子块运动补偿编解码工具选自包括子块时间运动向量预测，空间-时间运动向量预测，仿射运动补偿预测以及子块细化基于模式运动向量预测模式的组合。
17.如权利要求15所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，当所述检查结果是假，运动向量剪切过程被应用于所述当前块的每个子块。
18.一种在视频编解码系统中用于子块运动补偿的视频处理方法，包括：
接收与当前图像中当前块相关联的输入视频数据；
自适应地决定子块大小用于划分所述当前块，其中用于划分所述当前块的所述子块大小与用于划分使用同一子块运动补偿编解码工具进行编解码的另一块的子块大小不同；
根据所述子块大小将所述当前块划分为多个子块；
根据所述子块运动补偿编解码工具导出在所述当前块中与所述多个子块相关联的多个子块运动向量；以及
使用所述多个子块运动向量将运动补偿应用于所述当前块以对所述当前块进行编码或解码。
19.如权利要求18所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述子块大小是根据所述当前块的导出运动向量，所述当前块的一个或多个控制点运动向量，或导出子块运动向量来确定。
20.如权利要求19所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，如果所述导出运动向量，所述当前块的所述一个或多个控制点的运动向量，或所述导出子块运动向量是双预测或多假设预测则第一子块大小被使用，如果所述导出运动向量，所述当前块的所述一个或多个控制点运动向量或所述导出子块运动向量是单预测，则第二子块大小被使用，并且所述第一子块大小比所述第二子块大小大。
21.如权利要求19所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述子块大小被限制在大于或等于最小子块大小，并且用于使用双预测或多假设预测的多个子块的第一最小子块大小大于用于使用单预测的多个子块的第二最小子块大小。
22.如权利要求18所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，当所述子块运动补偿编解码工具是仿射运动补偿预测时，所述子块大小是根据所述当前块的多个控制点运动向量来被确定或限制的。
23.如权利要求18所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述子块大小是根据所述当前块中所述当前图像和参考图像之间的距离来被确定或限制的。
24.如权利要求18所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述子块大小是根据所述当前块的大小，宽度或高度，所述当前块划分的多个子块的大小，面积，形状，宽度或高度，子块运动向量、控制点运动向量或当前运动向量的帧间预测方向，多个控制点运动向量，仿射参数，或以上的组合来被确定或限制的。
25.如权利要求18所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，所述子块运动补偿编解码工具选自包括子块时间运动向量预测，空间-时间运动向量预测，仿射运动补偿预测，以及子块细化基于模式运动向量导出模式的组合。
26.如权利要求18所述的在视频编解码系统中用于子块运动补偿的视频处理方法，其特征在于，还包括：发送与所述子块大小相关的信息，用于通过视频编码器在视频比特流中划分所述当前块。
27.一种在视频编解码系统中用于处理视频数据的装置，所述装置包括一个或多个电子电路被设置用于：
接收与当前图像中当前块相关联的输入视频数据；
将所述当前块划分为多个子块；
根据子块运动补偿编解码工具导出与所述当前块的多个子块相关联的多个子块运动向量；
通过将主运动向量和所述多个子块运动向量的每个子块运动向量之间的差值限制于一个或多个阈值之间，约束所述多个子块运动向量以形成多个受约束的子块运动向量，其中所述一个或多个阈值是根据所述当前块或子块的大小、宽度或高度、所述当前块的多个控制点运动向量之一、所述当前块或当前子块的帧间预测方向、所述当前块的多个控制点运动向量、或以上的组合来自适应地确定的；以及
使用所述受约束的子块运动向量来将运动补偿应用于所述当前块以对所述当前块进行编码或解码。
28.一种存储程序指令的非暂时性计算机可读介质，所述程序指令使得装置的处理电路执行视频处理方法，并且所述方法包括：
接收与当前图像中当前块相关联的输入视频数据；
将所述当前块划分为多个子块；
根据子块运动补偿编解码工具导出与所述当前块的多个子块相关联的多个子块运动向量；
通过将主运动向量和所述多个子块运动向量的每个子块运动向量之间的差值限制于一个或多个阈值之间，约束所述多个子块运动向量以形成多个受约束的子块运动向量，其中所述一个或多个阈值是根据所述当前块或子块的大小、宽度或高度、所述当前块的多个控制点运动向量之一、所述当前块或当前子块的帧间预测方向、所述当前块的多个控制点运动向量、或以上的组合来自适应地确定的；以及
使用所述受约束的子块运动向量来将运动补偿应用于所述当前块以对所述当前块进行编码或解码。
CN201980021937.8A 2018-04-02 2019-04-02 用于视频编解码系统中的子块运动补偿的视频处理方法和装置 Active CN111937391B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862651333P 2018-04-02 2018-04-02
US62/651,333 2018-04-02
US201862655870P 2018-04-11 2018-04-11
US62/655,870 2018-04-11
US201862665581P 2018-05-02 2018-05-02
US62/665,581 2018-05-02
PCT/CN2019/081061 WO2019192491A1 (en) 2018-04-02 2019-04-02 Video processing methods and apparatuses for sub-block motion compensation in video coding systems

Publications (2)

Publication Number Publication Date
CN111937391A true CN111937391A (zh) 2020-11-13
CN111937391B CN111937391B (zh) 2024-03-29

Family

ID=68101090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980021937.8A Active CN111937391B (zh) 2018-04-02 2019-04-02 用于视频编解码系统中的子块运动补偿的视频处理方法和装置

Country Status (5)

Country Link
US (2) US11381834B2 (zh)
EP (1) EP3766247A4 (zh)
CN (1) CN111937391B (zh)
TW (1) TWI700922B (zh)
WO (1) WO2019192491A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024064421A1 (en) * 2022-09-21 2024-03-28 Tencent America LLC Method and apparatus for motion vector prediction based on subblock motion vector

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3616406B1 (en) * 2017-05-18 2024-03-20 HFI Innovation Inc. Method and apparatus of motion vector constraint for video coding
WO2019066574A1 (ko) * 2017-09-28 2019-04-04 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN118075486A (zh) * 2018-06-04 2024-05-24 华为技术有限公司 获取运动矢量的方法和装置
CA3105072A1 (en) * 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
GB2589769B (en) 2018-07-15 2023-02-15 Beijing Bytedance Network Tech Co Ltd Cross-component coding order derivation
WO2020017840A1 (ko) * 2018-07-16 2020-01-23 엘지전자 주식회사 Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
WO2020017892A1 (ko) * 2018-07-17 2020-01-23 엘지전자 주식회사 서브블록 단위의 시간적 움직임 벡터 예측을 위한 방법 및 그 장치
WO2020050281A1 (ja) * 2018-09-06 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN117560487A (zh) * 2018-09-12 2024-02-13 Lg电子株式会社 解码设备、编码设备及发送图像的数据的设备
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
WO2020089822A1 (en) * 2018-10-31 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation with derived motion information from neighbors
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
CN112970258B (zh) * 2018-11-13 2023-08-18 北京字节跳动网络技术有限公司 用于子块预测块的多假设
WO2020103870A1 (en) * 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
MX2021005170A (es) * 2018-12-31 2021-07-15 Panasonic Ip Corp America Dispositivo de codificacion, dispositivo de decodificacion, metodo de codificacion y metodo de decodificacion.
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
TWI738292B (zh) * 2019-04-12 2021-09-01 聯發科技股份有限公司 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
WO2020244658A1 (en) * 2019-06-06 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Sub-block based intra block copy
WO2020251321A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 Sbtmvp 기반 영상 또는 비디오 코딩
CN114080812A (zh) * 2019-06-13 2022-02-22 Lg 电子株式会社 使用sbtmvp的基于帧间预测的图像或视频编译
US11582475B2 (en) * 2019-09-24 2023-02-14 Qualcomm Incorporated History-based motion vector prediction
CN115349257B (zh) * 2019-09-30 2024-04-09 华为技术有限公司 基于dct的内插滤波器的使用
CN114651444A (zh) * 2019-11-11 2022-06-21 寰发股份有限公司 视频编解码中发信可适性运动向量差值解析度的方法和装置
WO2023141177A1 (en) * 2022-01-18 2023-07-27 Beijing Dajia Internet Information Technology Co., Ltd. Motion compensation considering out-of-boundary conditions in video coding
WO2023171912A1 (ko) * 2022-03-07 2023-09-14 현대자동차주식회사 비디오 프레임 경계에서의 예측블록 생성
WO2023220444A1 (en) * 2022-05-13 2023-11-16 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024010831A1 (en) * 2022-07-05 2024-01-11 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448154A (zh) * 2007-11-27 2009-06-03 联发科技股份有限公司 运动补偿方法及可执行运动补偿的集成电路
US20140044171A1 (en) * 2011-03-08 2014-02-13 JVC Kenwood Corporation Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US20160286232A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841476A (en) * 1995-03-03 1998-11-24 Kokusai Denshin Denwa Co. Ltd. Coding apparatus for encoding motion picture
FR2742902B1 (fr) * 1995-12-22 1998-01-23 Thomson Multimedia Sa Procede d'estimation de mouvement
US5990955A (en) * 1997-10-03 1999-11-23 Innovacom Inc. Dual encoding/compression method and system for picture quality/data density enhancement
US7039221B1 (en) * 1999-04-09 2006-05-02 Tumey David M Facial image verification utilizing smart-card with integrated video camera
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US7164800B2 (en) * 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
US9743078B2 (en) * 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
EP1809041A1 (en) * 2006-01-11 2007-07-18 Mitsubishi Electric Information Technology Centre Europe B.V. Error concealement for scalable video coding
KR20090004661A (ko) * 2007-07-04 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
KR101479130B1 (ko) * 2010-10-18 2015-01-07 에스케이 텔레콤주식회사 차분 움직임벡터 부호화/복호화 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
US8891831B2 (en) * 2010-12-14 2014-11-18 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for conservative motion estimation from multi-image sequences
JP2013165485A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置およびコンピュータブログラム
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
JP5761162B2 (ja) * 2012-11-30 2015-08-12 トヨタ自動車株式会社 車両位置推定装置
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
KR102070719B1 (ko) * 2013-01-23 2020-01-30 한국전자통신연구원 인터 예측 방법 및 그 장치
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
EP2981089B1 (en) * 2013-03-29 2019-07-10 Fujitsu Limited Encoding device, computer system, encoding method, encoding program, and recording medium
JP2015019204A (ja) * 2013-07-10 2015-01-29 ソニー株式会社 画像処理装置および画像処理方法
CN104539962B (zh) * 2015-01-20 2017-12-01 北京工业大学 一种融合视觉感知特征的可分层视频编码方法
US9232118B1 (en) * 2015-01-23 2016-01-05 Interra Systems, Inc Methods and systems for detecting video artifacts
WO2016119046A1 (en) 2015-01-29 2016-08-04 Ecole De Technologie Superieure Methods and systems for determining motion vectors in a motion estimation process of a video encoder
MX2017011558A (es) * 2015-03-10 2018-03-21 Huawei Tech Co Ltd Método de predicción de imagen y aparato relacionado.
US10194436B2 (en) * 2015-04-07 2019-01-29 Qualcomm Incorporated Wi-Fi frames including frame extensions
CN109417620B (zh) * 2016-03-25 2021-04-27 松下知识产权经营株式会社 用于使用信号依赖型自适应量化将运动图像编码及解码的方法及装置
CN109417625B (zh) * 2016-05-05 2023-02-28 交互数字麦迪逊专利控股公司 编码或解码视频的装置及方法
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
BR112018077435A8 (pt) * 2016-07-07 2023-03-14 Univ California Implantes utilizando retroespalhamento ultrassônico para detecção de condições fisiológicas
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US20190273943A1 (en) * 2016-10-10 2019-09-05 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US10701391B2 (en) * 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
US11212521B2 (en) 2018-11-07 2021-12-28 Avago Technologies International Sales Pte. Limited Control of memory bandwidth consumption of affine mode in versatile video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448154A (zh) * 2007-11-27 2009-06-03 联发科技股份有限公司 运动补偿方法及可执行运动补偿的集成电路
US20140044171A1 (en) * 2011-03-08 2014-02-13 JVC Kenwood Corporation Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US20160286232A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Deriving motion information for sub-blocks in video coding
WO2017157249A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING: TORINO, IT, 13–21 JULY 2017 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024064421A1 (en) * 2022-09-21 2024-03-28 Tencent America LLC Method and apparatus for motion vector prediction based on subblock motion vector

Also Published As

Publication number Publication date
US20210160527A1 (en) 2021-05-27
US20220094966A1 (en) 2022-03-24
US11381834B2 (en) 2022-07-05
EP3766247A1 (en) 2021-01-20
CN111937391B (zh) 2024-03-29
EP3766247A4 (en) 2022-01-19
WO2019192491A1 (en) 2019-10-10
TWI700922B (zh) 2020-08-01
TW202005392A (zh) 2020-01-16
US11956462B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
JP7358436B2 (ja) マルチリファレンス予測のための動きベクトルの精密化
US11876932B2 (en) Size selective application of decoder side refining tools
US20210360280A1 (en) Overlapped block motion compensation based on blended predictors
US20190387251A1 (en) Methods and Apparatuses of Video Processing with Overlapped Block Motion Compensation in Video Coding Systems
US20200014931A1 (en) Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems
KR20210107897A (ko) 비디오 코딩에서 장기 참조 픽처에 대한 제한받는 움직임 벡터 도출
CN113519160B (zh) 视频编码中具有运动微调的双向预测视频处理方法和装置
TWI702828B (zh) 在視訊編碼系統中生成平均候選的方法和裝置
CN113545081A (zh) 运动细化以及子分区基础填充的视频处理的方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220526

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Applicant after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant