CN113965762A - 在视频编解码中预测子细化的候选跳过的方法和装置 - Google Patents

在视频编解码中预测子细化的候选跳过的方法和装置 Download PDF

Info

Publication number
CN113965762A
CN113965762A CN202111162152.8A CN202111162152A CN113965762A CN 113965762 A CN113965762 A CN 113965762A CN 202111162152 A CN202111162152 A CN 202111162152A CN 113965762 A CN113965762 A CN 113965762A
Authority
CN
China
Prior art keywords
motion
motion vector
block
target
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111162152.8A
Other languages
English (en)
Inventor
庄子德
徐志玮
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113965762A publication Critical patent/CN113965762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了使用具有降低带宽的运动细化的方法和装置。根据本发明一方法，通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用预测子细化流程以生成当前块的运动细化，其中如果目标运动向量候选需要来自于位于有效参考块外部的目标运动补偿参考块的目标参考数据，则将目标运动向量候选从在多个运动向量候选进行搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作目标运动向量候选的替换。在另一方法中，如果目标运动向量候选属于一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。

Description

在视频编解码中预测子细化的候选跳过的方法和装置
分案说明
本发明为申请号为201880006552.X，发明名称为在视频编解码中预测子细化的候选跳过的方法和装置的发明专利申请的分案申请。
交叉引用
本发明要求于2017年01月12日提交的申请号为62/445,287美国临时专利申请案的优先权。此美国临时专利申请案以引用方式包含在本文中。
技术领域
本发明涉及使用预测子细化(predictor refine)流程的运动补偿，例如基于模型的运动向量推导(Pattern-based MV Derivation，PMVD)，双向光流(Bi-directionalOptical flow，BIO)或者解码器侧运动向量细化(Decoder-side MV Refinement，DMVR)，以细化预测块的运动。特别地，本发明涉及与解码器侧运动向量细化流程相关的降低带宽。
背景技术
基于模型的运动向量推导
在VCEG-AZ07(Jianle Chen,et al.,Further improvements to HMKTA-1.0,ITU-Telecommunications Standardization Sector,Study Group 16Question 6,VideoCoding Experts Group(VCEG),52nd Meeting:19–26June 2015,Warsaw,Poland)中公开了一种基于模型的运动向量推导方法。根据VCEG-AZ07，解码器侧运动向量推导方法使用两个帧率向上转换(Frame Rate Up-Conversion，FRUC)模式。帧率向上转换模式中的一个被称为双边匹配,以用于B片段，且帧率向上转换模式中的另一个被称为模板匹配，以用于P片段或B片段。图1示出了帧率向上转换双边匹配模式的示例，其中当前块110的运动信息是基于两个参考图像被推导出。当前块的运动信息是通过在两个不同参考图像(即Ref0和Ref1)中沿着当前块110的运动轨迹查找两个块(即120和130)之间的最佳匹配而被推导出。在连续运动轨迹的假设下，指向参考块120和参考块130的与Ref0相关的运动向量MV0以及与Ref1相关的运动向量MV1应该与当前图像(即Cur pic)和两个参考图像(Ref0和Ref1)之间的时间距离，即TD0与TD1成比例。
图2示出了帧率向上转换模板匹配模式的示例。将当前图像(即Cur pic)中的当前块210的相邻区域(即220a和220b)用作模板，以与参考图像(即图2中的Ref0)中的相应模板(即230a和230b)匹配。模板220a/模板220b与模板230a/模板230b之间的最佳匹配将确定解码器推导运动向量240。虽然图2中只呈现Ref0，Ref1也可用作参考图像。
根据VCEG-AZ07，当merge_flag或skip_flag为真时，FRUC_mrg_flag被发信(signaled)。如果FRUC_mrg_flag为1，那么FRUC_merge_mode被发信以指示双边匹配合并模式或模板匹配合并模式是否被选择。如果FRUC_mrg_flag为0，意味着在此情况下常规合并模式被使用，且一合并索引被发信。在视频编解码中，为了提高编解码效率，会使用运动向量预测(motion vector prediction，MVP)去预测块的运动向量，过程中会生成候选列表。合并候选列表可以用于合并模式编解码块。当合并模式用于编解码块时，块的运动信息(如运动向量(motion vector，MV))可以由合并运动向量列表中的一个候选运动向量来表示。因此，不是直接传输块的运动信息，而是将合并索引传输至解码器侧。解码器维持相同的合并列表且使用合并索引检索(retrieve)出由合并索引发信的合并候选。一般而言，合并候选列表包括少量候选，且传输合并索引比传输运动信息有效得多。当块以合并模式被编解码时，通过发信合并索引，而不是显性地传输，其运动信息与相邻块的运动信息“合并”。可是，预测残差仍被传输。在预测残差为零或非常小的情况下，预测残差被“跳过(skipped)”(即跳过模式)，且块采用具有合并索引的跳过模式被编解码，以识别出合并列表中的合并运动向量。
虽然术语FRUC是指帧率向上转换的运动向量推导，但底层技术旨在用于解码器推导一个或多个合并运动向量候选而无需显性地传输运动信息。因此，在本申请中帧率向上转换也被称为解码器推导运动向量。由于模板匹配方法是一种基于模型的运动向量推导技术，故在本发明中帧率向上转换的模板匹配方法也被称为基于模型的运动向量推导。
在解码器侧运动向量推导方法中，通过扫描所有参考图像中的所有运动向量，称为时间推导运动向量预测的新时间运动向量预测被推导。为了推导LIST_0时间推导运动向量预测，对于LIST_0参考图像中的每个LIST_0运动向量，此运动向量被缩放以指向当前图像。当前图像中被已缩放运动向量指向的4x4块是目标当前块。此运动向量进一步被缩放以指向用于目标当前块的LIST_0中refldx等于0的参考图像。该进一步缩放的运动向量被存储于LIST_0运动向量场中以用于目标当前块。图3A和图3B示出了分别推导LIST_0和LIST_1的时间推导运动向量预测的示例。在图3A和图3B中，每个小正方形块对应4x4块。时间推导运动向量预测流程扫描所有参考图像中所有4x4块内的所有运动向量，以生成当前图像的时间推导LIST_0运动向量预测和时间推导LIST_1运动向量预测。例如，在图3A中，块310、块312以及块314分别对应于当前图像(即Cur.pic)、索引等于0(即refidx＝0)的LIST_0参考图像以及索引等于1(即refidx＝1)的LIST_0参考图像的4x4块。索引等于1的LIST_0参考图像中的两个块的运动向量320和运动向量330是已知的。然后，分别通过缩放运动向量320和运动向量330，时间推导运动向量预测322和时间推导运动向量预测332可以被推导出。已缩放运动向量预测接着被分配给相应块。类似地，在图3B中，块340、块342以及块344分别对应于当前图像(Cur.pic)、索引等于0(即refidx＝0)的LIST_1参考图像以及索引等于1(即refidx＝1)的LIST_1参考图像的4x4块。索引等于1的LIST_1参考图像中的两个块的运动向量350和运动向量360是已知的。然后，分别通过缩放运动向量350和运动向量360，时间推导运动向量预测352和时间推导运动向量预测362可以被推导出。
对于双边匹配合并模式和模板匹配合并模式，采用双阶段匹配(two-stagematching)。第一阶段为预测单元层(PU-level)匹配，且第二阶段为子预测单元层匹配。在预测单元层匹配中，LIST_0和LIST_1中的多个初始运动向量被分别选择。这些运动向量包括来自于合并候选的运动向量(即常规合并候选，例如HEVC标准中指定的那些)和来自于时间推导运动向量预测的运动向量。两个不同的起始运动向量集被生成以用于两个列表。对于一个列表中的每个运动向量，通过包括此运动向量以及通过缩放此运动向量到另一列表而推导出的镜像运动向量，一个运动向量对被生成。对于每个运动向量对，使用此运动向量对，两个参考块被补偿。这两个块的绝对差之和(sum of absolutely differences，SAD)被计算出。具有最小绝对差之和的运动向量对被选择作为最佳运动向量对。
在最佳运动向量被推导出以用于预测单元之后，菱形搜索(diamond search)被执行以细化运动向量对。细化精度为1/8像素。细化搜索范围被限制在±1像素内。最终运动向量对是预测单元层推导的运动向量对。菱形搜索是一种视频编解码领域所熟知的快速块匹配运动估计算法。因此，菱形搜索算法的细节在此不做赘述。
对于第二阶段的子预测单元层搜索，当前预测单元被分割成子预测单元。子预测单元的深度(例如3)被发信在序列参数集(sequence parameter set，SPS)中。最小子预测单元尺寸为4x4块。对于每个子预测单元，在LIST_0和LIST_1中多个起始运动向量被选择，其包括预测单元层推导运动向量的运动向量、零运动向量、当前子预测单元和右下块的HEVC同位(collocated)TMVP、当前子预测单元的时间推导运动向量预测、以及左侧预测单元/子预测单元和上方预测单元/子预测单元的运动向量。通过使用如预测单元层搜索类似的机制，子预测单元的最佳运动向量对被确定。菱形搜索被执行以细化运动向量对。子预测单元的运动补偿被执行以生成此子预测单元的预测子。
对于模板匹配合并模式，上方4列和左侧4行的重建(reconstructed)像素用于形成模板。模板匹配被执行以找到最佳匹配的模板及其相应运动向量。双阶段匹配也被应用于模板匹配。在预测单元层匹配中，LIST_0和LIST_1中的多个起始运动向量被分别选择。这些运动向量包含来自于合并候选的运动向量(即常规合并候选，例如HEVC标准中指定的那些)和来自于时间推导运动向量预测的运动向量。两个不同的起始运动向量集被生成以用于两个列表。对于一个列表中的每个运动向量，具有此运动向量的模板的绝对差之和成本被计算。具有最小成本的运动向量为最佳运动向量。接着菱形搜索被执行以细化此运动向量。细化精度为1/8像素。细化搜索范围被限制在±1像素内。最终运动向量是预测单元层推导的运动向量。LIST_0和LIST_1中的运动向量被分别生成。
对于第二阶段子预测单元层搜索，当前预测单元被分割成子预测单元。子预测单元的深度(例如3)被发信在序列参数集中。最小子预测单元尺寸为4x4块。对于位于左侧预测单元分界线处或顶部预测单元分界线处的每个子预测单元，在LIST_0和LIST_1中多个起始运动向量被选择，其包括预测单元层推导运动向量的运动向量、零运动向量、当前子预测单元和右下块的HEVC同位TMVP、当前子预测单元的时间推导的运动向量预测、以及左侧预测单元/子预测单元和上方预测单元/子预测单元的运动向量。通过使用如预测单元层搜索类似的机制，子预测单元的最佳运动向量对被确定。菱形搜索被执行以细化此运动向量对。此子预测单元的运动补偿被执行以生成此子预测单元的预测子。对于不位于左侧预测单元分界线或顶部预测单元分界线处的预测单元，第二阶段子预测单元层搜索不被使用，且相应运动向量被设为等于第一阶段中的运动向量。
在此解码器运动向量推导方法中，模板匹配也用于生成用于帧间模式编解码的运动向量预测。当参考图像被选择时，模板匹配被执行以在所选择的参考图像上查找最佳模板。其相应运动向量是推导运动向量预测。此运动向量预测被插入到AMVP的第一位置。AMVP表示高级运动向量预测，其中使用候选列表，当前运动向量被预测性编解碼(codedpredictively)。当前运动向量与候选列表中所选择的运动向量候选之间的运动向量差被编解碼。
双向光流(Bi-directional Optical Flow,BIO)
双向光流是JCTVC-C204(E.Alshina,et al.,Bi-directional optical flow,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,3rd Meeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C204)和VCEG-AZ05(E.Alshina,et al.,Known tools performance investigation fornext generation video coding,ITU-T SG 16Question 6,Video Coding Experts Group(VCEG),52nd Meeting:19–26June 2015,Warsaw,Poland,Document:VCEG-AZ05)中公开的运动估计/运动补偿技术。双向光流基于如图4中所示的光流和稳态运动的假设推导出样本层运动细化，其中B片段(slice)(即双向预测片段)420中当前像素422由参考图像0中一个像素和参考图像1中的一个像素进行预测。如图4所示，当前像素422由参考图像1(即410)中的像素B(即412)和参考图像0(即430)中的像素A(即432)进行预测。在图4中，vx和vy是在x方向和y方向上的像素位移向量，其是使用双向光流模型被推导出。其仅适用于真实双向预测块，其由对应于先前信息框和后续信息框的两个参考图像预测而来。在VCEG-AZ05中，双向光流使用5x5窗口以推导出每个样本的运动细化。因此，对于NxN块，(N+4)x(N+4)块的运动补偿结果和相应的梯度信息被需要以推导出NxN块的基于样本的运动细化。根据VCEG-AZ05，6抽头梯度滤波器(6-Tap gradient filter)和6抽头插值滤波器被使用，以生成双向光流的梯度信息。因此，双向光流的计算复杂度远远高于传统的双向预测的计算复杂度。为了进一步提高双向光流的性能，提出了以下方法。
在VCEG-AZ05中，双向光流是在HEVC参考软件上实现的，并且其总是适用于以真实双向预测的块。在HEVC中，用于亮度分量的一个8抽头插值滤波器和用于色度分量的一个4抽头插值滤波器被用于执行分数(fractional)运动补偿。考虑到双向光流中一个8×8编码单元(coding unit，CU)中的一个待处理像素的一个5×5窗口，在最坏情况下所需带宽从每个当前像素的(8+7)x(8+7)x 2/(8x8)＝7.03个参考像素增加到(8+7+4)x(8+7+4)x 2/(8x8)＝11.288个参考像素。
解码器侧运动向量细化
在JVET-D0029(Xu Chen,et al.,“Decoder-Side Motion Vector RefinementBased on Bilateral Template Matching”,Joint Video Exploration Team(JVET)ofITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting:Chengdu,CN,15–21October 2016,Document:JVET-D0029)中，公开了基于双边模板匹配的解码器侧运动向量细化。如图5所示，通过使用来自于MV0和MV1的参考块(即510和520)的双向预测，一个模板被生成。如图6所示，使用此模板作为新的当前块并执行运动估计以分别在参考图像0和参考图像1中查找更好的匹配块(即分别为610和620)。细化运动向量是MV0'和MV1'。然后，细化运动向量(即MV0'和MV1')用于生成当前块的最终双向预测预测块。
在解码器侧运动向量细化中，其使用双阶段搜索(two-stage search)细化当前块的运动向量。如图7所示，对于当前块，当前运动向量候选(在由方形符号710表示的当前像素位置处)的成本先被评估。在第一阶段搜索中，在当前像素位置周围，整数像素(integer-pixel)搜索被执行。八个候选(由图7中的八个大圆圈720表示)被评估。两个相邻大圆圈之间或方形符号与其相邻大圆圈之间的水平距离和垂直距离中至少一个为一个像素。在第一阶段中，具有最低成本的最佳候选被选择为最佳运动向量候选(例如，在由圆圈730表示的位置处的候选)。在第二阶段，如图7中的八个小圆圈所示，在第一阶段中的最佳运动向量候选周围，二分之一像素正方形搜索被执行。具有最低成本的最佳运动向量候选被选择为最终运动补偿的最终运动向量。
为了补偿分数运动向量，在HEVC和JEM-4.0(即，用于JVET的参考软件)中，8抽头插值滤波器被使用。在JEM-4.0中，运动向量精度为1/16像素。16个8抽头滤波器被使用。滤波器系数如下。
0/16-像素:{0,0,0,64,0,0,0,0}
1/16-像素:{0,1,-3,63,4,-2,1,0}
2/16-像素:{-1,2,-5,62,8,-3,1,0}
3/16-像素:{-1,3,-8,60,13,-4,1,0}
4/16-像素:{-1,4,-10,58,17,-5,1,0}
5/16-像素:{-1,4,-11,52,26,-8,3,-1}
6/16-像素:{-1,3,-9,47,31,-10,4,-1}
7/16-像素:{-1,4,-11,45,34,-10,4,-1}
8/16-像素:{-1,4,-11,40,40,-11,4,-1}
9/16-像素:{-1,4,-10,34,45,-11,4,-1}
10/16-像素:{-1,4,-10,31,47,-9,3,-1}
11/16-像素:{-1,3,-8,26,52,-11,4,-1}
12/16-像素:{0,1,-5,17,58,-10,4,-1}
13/16-像素:{0,1,-4,13,60,-8,3,-1}
14/16-像素:{0,1,-3,8,62,-5,2,-1}
15/16-像素:{0,1,-2,4,63,-3,1,0}
需要降低带宽需求以用于采用基于模型的运动向量推导、双向光流、解码器侧运动向量细化或其他运动细化流程的系统。
发明内容
根据本发明的一方法，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的相应块周围以用于执行当前块的任意分数运动向量所需的插值滤波器的额外周围像素。选择一个或多个目标分数像素位置。通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程以生成当前块的运动细化，其中如果目标运动向量候选属于一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。一个或多个目标分数像素位置对应于从(1/filter_precision)到((filter_precision/2)/filter_precision)的多个像素位置和从((filter_precision/2+1)/filter_precision)到((filter_precision-1)/filter_precision)的多个像素位置，其中，filter_precision对应于运动向量精度。
根据本发明的另一方法，基于与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成多个子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程。确定与多个子块相关的运动信息。根据与多个子块相关的运动信息，使用运动补偿预测对多个子块进行编码或解码。用于双向预测的多个子块的最小块尺寸大于用于单向预测的多个子块中的最小块尺寸。
附图说明
图1示出了使用双边匹配技术的运动补偿的示例，其中当前块由两个参考块沿运动轨迹进行预测。
图2示出了使用模板匹配技术的运动补偿的示例，其中，当前块的模板与参考图像中的参考模板匹配。
图3A标出了LIST_0参考图像的时间运动向量预测的推导流程的示例。
图3B标出了LIST_1参考图像的时间运动向量预测的推导流程的示例。
图4示出了推导出用于运动细化的偏移运动向量的双向光流的示例。
图5示出了解码器侧运动向量细化的示例，其中，模板通过使用来自MV0和MV1的参考块的双向预测而先被生成。
图6示出了通过使用图5中生成的模板作为新当前块并执行运动评估以分别从参考图像0和参考图像1中查找更好的匹配块的解码器侧运动向量细化的示例。
图7示出了用于细化解码器侧运动向量细化的当前块的运动向量的双阶段搜索的示例。
图8示出了具有分数运动向量的MxN块的解码器侧运动向量细化所需的参考数据的示例，其中(M+L-1)*(N+L-1)参考块是运动补偿所需。
图9示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用降低的系统带宽细化运动的视频编解码系统的示例性流程图。
图10示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用降低的系统带宽细化运动的视频编解码系统的示例性流程图，其中如果目标运动向量候选属于一个或多个指定的目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。
图11示出了根据本发明实施例的使用包含具有降低系统带宽的基于子块的运动估计/运动补偿的所选择运动估计/运动补偿流程以细化运动的视频编解码系统的示例性流程图，其中基于与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成多个子块。
具体实施方式
以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求所界定为准。
如前所述，不同预测子细化技术，例如基于模式的运动向量推导、双向光流或解码器侧运动向量细化，需要访问额外的参考数据，其导致增加系统带宽。例如，如图8所示，对于具有分数运动向量的MxN块810，运动补偿需要(M+L-1)*(N+L-1)参考块825，其中L是插值滤波器抽头长度。在HEVC中，L等于8。对于解码器侧运动向量细化搜索，位于参考块825外部具有一个像素宽度的环形区域820被需要以用于(M+L-1)*(N+L-1)参考块825加上环形区域820内的第一阶段搜索。对应于参考块825加上环形区域820的区域被称为参考像素区域830。如果最佳候选位于左上侧而不是中心候选，则环形区域820外部的额外数据可以被需要。例如，额外的L形区域840(即额外的一个(M+L-1)像素列和(N+L-1)像素行)被需要。支持预测子细化工具所需的额外参考像素意味着额外的带宽。在本发明中，公开了降低与基于模型的运动向量推导、双向光流和解码器侧运动向量细化相关的系统带宽的技术。
在JEM-4.0中，当8抽头滤波器被使用时，并非每个滤波器都具有8个系数。例如，在3/16像素滤波器中，滤波器只有7个系数，在1/16像素滤波器中，滤波器只有6个系数。因此，对于一些运动向量候选，实际所需的参考像素小于图8中提到的参考像素。例如，如果中心运动向量候选位于(11/16,11/16)处，则其需要(M+7)*(N+7)像素块。对于第一阶段搜索，八个运动向量候选位于(11/16±1,11/16±1)(即(11/16,11/16+1)、(11/16,11/16-1)、(11/16+1,11/16+1)、(11/16+1,11/16)、(11/16+1,11/16-1)、(11/16-1,11/16+1)、(11/16-1,11/16)、(11/16-1,11/16-1))，并且其需要(M+7+1+1)*(N+7+1+1)像素块(即，图8中的参考区域830)。如果最佳候选是(11/16+1,11/16)，则第二阶段搜索的八个候选是(11/16+1±8/16,11/16±8/16)(即，(11/16+1,11/16)、(11/16+1,11/16-8/16)、(11/16+1+8/16,11/16+8/16)、(11/16+1+8/16,11/16)、(11/16+1+8/16,11/16-8/16)、(11/16+1-8/16,11/16+8/16)、(11/16+1-8/16,11/16)、(11/16+1-8/16,11/16-8/16))。对于(11/16+1+8/16,11/16)候选，则3/16像素滤波器被使用。该3/16像素滤波器只有7个系数，其中只有3个系数位于当前像素的右边，这意味着不存在(11/16+1+8/16,11/16)候选的运动补偿所需的额外参考像素。因此，分数运动向量位置和滤波器系数将影响细化所需的像素数量。为了降低带宽，下面公开了三种方法。
方法-1：候选跳过
为了降低带宽需求，提出了跳过搜索需要额外内存访问的候选。一表格被创建以列出右边和左边中多少像素用于滤波器。例如，表1显示了当前像素左侧和右侧所需的像素。对于预测子细化工具(例如，基于模型的运动向量推导、解码器侧运动向量细化和双向光流)，有效的参考块先被定义。例如，有效参考块可以是(M+(L-1))*(N+(L-1))块(即图8中的参考区域825)或(M+L+1)*(N+L+1)块(即，图8中的参考区域830)以用于解码器侧运动向量细化情况。在细化流程中，如果候选需要位于有效块外部的参考像素，则此候选被跳过。在解码器侧运动向量细化的情况中，跳过决策可以基于如表1中所列的滤波器的分数运动向量位置和像素要求而被做出。例如，如果一维插值被使用并且(M+(L-1)+1+1)*(N+(L-1)+1+1)像素块被定义为有效块，则这意味着有效块包括当前像素的左侧(L/2)+1像素至右侧(L/2)+1像素。在JEM-4.0中，L为8，其意味着存在当前像素左侧的5个像素和当前像素右侧的5个像素。对于左边和右边的所需像素，我们可以使用下面的等式。
左：
integer_part_of(refine_offset+fractional_part_of_org_MV)+Filter_required_pixel_left[(fractional_part_of(refine_offset+fractional_part_of_org_MV)％filter_precision] (1)
右：
integer_part_of(refine_offset+fractional_part_of_org_MV)+Filter_required_pixel_right[(fractional_part_of(refine_offset+fractional_part_of_org_MV)％filter_precision) (2)
表1.JEM-4.0亮度插值滤波器的像素要求
左 右
Filter_required_pixel_left Filter_required_pixel_right
0/16-像素: 1 0
1/16-像素: 3 3
2/16-像素: 4 3
3/16-像素: 4 3
4/16-像素: 4 3
5/16-像素: 4 4
6/16-像素: 4 4
7/16-像素: 4 4
8/16-像素: 4 4
9/16-像素: 4 4
10/16-像素: 4 4
11/16-像素: 4 4
12/16-像素: 3 4
13/16-像素: 3 4
14/16-像素: 3 4
15/16-像素: 3 3
例如，从表1中，如果中心MV_x候选为3/16，则左边需要4个像素，右边需要3个像素。对于第一阶段搜索，对应于(3/16+1)候选和(3/16–1)候选的MV_x需要被搜索。对于对应于(3/16–1)候选的MV_x，其需要多于一个像素用于左边像素，即5个像素。对于(3/16+1)候选的MV_x，其需要多于一个像素用于右边像素，即4个像素。因此，(3/16+1)候选和(3/16–1)候选均可用于搜索。如果最佳MV_x候选为(3/16–1)，则距离最佳MV_x候选二分之一像素距离处的候选(即(3/16–1+8/16)候选和(3/16–1-8/16)候选)需要被搜索。对于对应(3/16–1-8/16)候选的MV_x，MV_x相当于(–2+11/16)。根据等式(1)和等式(2)，integer_part_of(refine_offset+fractional_part_of_org_MV)是2，且(fractional_part_of(refine_offset+fractional_part_of_org_MV)％filter_precision是11，其中filter_precision是16。其需要2+4个像素用于左边，其中2是来自于该“-2”，而4是来自于“11/16像素滤波器”，因此对应于(3/16–1–8/16)候选的MV_x需要比有效块更多的参考像素，并且对应于(3/16–1–8/16)候选者的MV_x应该被跳过。
方法-2：候选替换
类似于方法-1，有效块先被定义，并根据等式(1)和(2)，所需的像素被计算出。然而，如果候选是无效的，则不是跳过此候选，而是提出移动此候选以更靠近中心(原始)运动向量。例如，如果候选的MV_x为(X–1)并且是无效的，其中X是原始运动向量并且“-1”是细化偏移，则候选位置被平移到(X–8/16)或(X–12/16)或X至(X–1)之间的任意候选(例如最接近(X–1)的有效候选)。这样，在不需要额外带宽的情况下，可以检查相似数量的候选。在一个实施例中，对于第二阶段搜索，如果其第一阶段候选是一替换候选，则参考第一阶段偏移应该使用未替换的偏移。例如，如果第一阶段搜索的原始候选为(X–1)并且不是有效候选，则其由(X–12/16)替换。对于第二阶段候选，其仍然可以使用(X–1±8/16)以用于第二阶段搜索。在另一个实施例中，对于第二阶段搜索，如果第一阶段候选是一替换候选，则参考第一阶段偏移应该使用已替换偏移。例如，如果第一阶段搜索的原始候选为(X–1)并且不是有效候选，则其被替换为(X–12/16)。对于第二阶段候选，其可以使用(X–12/16±8/16)以用于第二阶段搜索。在另一个实施例中，如果第一阶段候选是一替换候选，则第二阶段搜索的偏移可以被降低。
在方法-1和方法-2中，不同的编解碼工具可以具有不同的有效参考块设置。例如，对于解码器侧运动向量细化，有效块可以是(M+L-1)*(N+L-1)块。对于基于模型的运动向量推导，有效块可以是(M+L-1+O)*(N+L-1+P)块，其中O和P可以为4。
在基于模型的运动向量推导中，双阶段搜索被执行。第一阶段是预测单元层搜索。第二阶段是子预测单元层搜索。在所提出的方法中，有效参考块约束被使用以用于第一阶段搜索和第二阶段搜索。这两个阶段的有效参考块可以相同。
所提出的方法-1和方法-2可以被限定为被应用于某些编码单元或预测单元。例如，所提出的方法可以被应用于编码单元面积大于64或256的编码单元，或者被应用于双向预测块。
方法-3：更短的滤波器抽头设计
在方法-3中，提出了减少从(1/filter_precision)至((filter_precision/2-1)/filter_precision)的滤波器位置和从((filter_precision/2+1)/filter_precision)至((filter_precision-1)/filter_precision)的滤波器位置所需的像素。例如，在JEM-4.0中，提出了降低对应于1/16像素至7/16像素的滤波器所需的像素以及对应于9/16像素至15/16像素的滤波器所需的像素。如果将6抽头滤波器用于对应于1/16像素至7/16像素的滤波器以及对应于9/16像素至15/16像素的滤波器，则解码器侧运动向量细化的第二阶段搜索不需要额外的带宽。
基于预测方向的预测单元分割
在一些编解码工具中，如果某些约束条件被满足，则当前预测单元将被分割成多个子预测单元。例如，在JEM-4.0中，高级TMVP(advance TMVP，ATMVP)、基于模型的运动向量推导、双向光流和仿射预测/补偿将把当前预测单元分割成子预测单元。为了降低最坏情况带宽，提出了根据预测方向将当前预测单元分割成不同尺寸。例如，最小尺寸/面积/宽度/高度为M以用于双向预测块，最小尺寸/面积/宽度/高度为N以用于单向预测块。例如，双向预测的最小面积可以为64，单向预测的最小面积可以为16。又例如，双向预测的最小宽度/高度可以为8，单向预测的最小宽度/高度可为是4。
在另一示例中，对于ATMVP合并模式，如果运动向量候选是双向预测，则最小子预测单元面积为64。如果运动向量候选是单向预测，则最小子预测单元面积可以为16。
图9示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用降低系统带宽细化运动/预测的视频编解码系统的示例性流程图。本流程图中所示的步骤以及本发明中的其他流程图可以被实现为在编码器侧和/或解码器侧处的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤还可以基于硬件被实现，例如用于执行本流程图中的步骤的一个或多个电子设备或处理器。根据本方法，在步骤910中，接收与当前图像中的当前块相关的输入数据。在步骤920中，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的相应块周围以用于执行当前块的任意分数运动向量所需的插值滤波器的额外周围像素。在步骤930中，指定与目标运动补偿参考块相关的有效参考块。在步骤940中，通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用例如基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程的预测子细化流程以生成当前块的运动细化，其中如果目标运动向量候选需要来自于位于有效参考块外部的目标运动补偿参考块的目标参考数据，则将目标运动向量候选从在多个运动向量候选中进行搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作为目标运动向量候选的替换。在步骤950中，根据运动细化，基于运动补偿预测对当前块进行编码或解码。
图10示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用于降低系统带宽细化运动的视频编解码系统的示例性流程图，其中如果目标运动向量候选属于一个或多个指定的目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。根据本方法，在步骤1010中，接收与当前图像中的当前块相关的输入数据。在步骤1020中，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的对应块周围的额外周围像素以用于执行当前块的任意分数运动向量所需的插值滤波器。在步骤1030中，选择一个或多个目标分数像素位置。在步骤1040中，通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用例如基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程的预测子细化流程以生成当前块的运动细化，其中如果目标运动向量候选属于一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。在步骤1050中，根据运动细化，基于运动补偿预测对当前块进行编码或解码。
图11示出了根据本发明实施例的使用包含例如高级时间运动向量预测、基于模型的运动向量推导、双向光流或仿射预测/补偿且具有降低系统带宽的基于子块的运动估计/运动补偿的所选择运动估计/运动补偿流程以细化运动的视频编解码系统的示例性流程图，其中根据与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成子块。根据本方法，在步骤1110中，接收与当前图像中的当前块相关的输入数据。在步骤1120中，基于与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成多个当前子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程。在步骤1130中，确定与多个子块相关的运动信息。在步骤1140中，根据与多个子块相关的运动信息，使用运动补偿预测对多个子块进行编码或解码。
所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属领域中技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，通过用等同的语法和语义来替换该语法和语义，技术人员可以实施本发明。
上述说明，使得所属领域中技术人员能够在特定应用程序的内容及其需求中实施本发明。对所属领域中技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是整合在视频压缩芯片内的电路，或者是整合到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由权利要求来表示，而不是前述的描述来表示。请求项的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (12)

1.一种视频编解码方法，其特征在于，使用预测子细化流程以细化块的运动，该方法包括：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
选择一个或多个目标分数像素位置；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用该预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选属于该一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于该目标运动向量候选；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
2.如权利要求1所述的视频编解码方法，其特征在于，该预测子细化流程技术对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
3.如权利要求1所述的视频编解码方法，其特征在于，该一个或多个目标分数像素位置对应于从(1/filter_precision)到((filter_precision/2)/filter_precision)的多个像素位置和从((filter_precision/2+1)/filter_precision)到((filter_precision-1)/filter_precision)的多个像素位置，其中，该filter_precision对应于运动向量精度。
4.一种视频编解码装置，其特征在于，使用预测子细化流程以细化块的运动，该视频编解码装置包括一个或多个电子电路或处理器，其中包含：
第一电子电路或处理器，用于接收与当前图像中的当前块相关的输入数据；
第二电子电路或处理器，用于在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
选择一个或多个目标分数像素位置；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用该预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选属于该一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于该目标运动向量候选；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
5.如权利要求4所述的视频编解码装置，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
6.一种非暂时性计算机可读介质，其特征在于，存储有多个程序指令，使得装置的处理电路执行视频编解码方法，且该方法包括：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
选择一个或多个目标分数像素位置；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用解码器侧预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选属于该一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于该目标运动向量候选；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
7.如权利要求6所述的非暂时性计算机可读介质，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
8.一种视频编解码方法，其特征在于，使用子块分割以细化当前块的预测子，该方法包括：
接收与当前图像中的当前块相关的输入数据；
基于与该当前块相关的预测方向是双向预测还是单向预测，将该当前块分割成多个子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程；
确定与该多个子块相关的运动信息；以及
根据与该多个子块相关的运动信息，使用运动补偿预测对该多个子块进行编码或解码。
9.如权利要求8所述的视频编解码方法，其特征在于，用于双向预测的该多个子块的最小块尺寸大于用于单向预测的该多个子块中的最小块尺寸。
10.如权利要求8所述的视频编解码方法，其特征在于，所选择的运动估计/运动补偿流程属于包括高级时间运动向量预测、基于模型运动向量推导、双向光流或仿射预测/补偿的组。
11.一种视频编解码装置，其特征在于，使用子块分割以细化当前块的运动，该视频编解码装置包括一个或多个电子电路或处理器，其中包含：
第一电子电路或接收器，用于接收与当前图像中的当前块相关的输入数据；
第二电子电路或接收器，用于基于与该当前块相关的预测方向是双向预测还是单向预测，将该当前块分割成多个子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程；
确定与该多个子块相关的运动信息；以及
根据与该多个子块相关的运动信息，使用运动补偿预测对该多个子块进行编码或解码。
12.一种非暂时性计算机可读介质，其特征在于，存储有多个程序指令，使得装置的处理电路执行视频编解码方法，且该方法包括：
接收与当前图像中的当前块相关的输入数据；
基于与该当前块相关的预测方向是双向预测还是单向预测，将该当前块分割成多个当前子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程；
确定与该多个子块相关的运动信息；以及
根据与该多个子块相关的运动信息，使用运动补偿预测对该多个当前子块进行编码或解码。
CN202111162152.8A 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置 Pending CN113965762A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762445287P 2017-01-12 2017-01-12
US62/445,287 2017-01-12
US15/868,995 2018-01-11
US15/868,995 US20180199057A1 (en) 2017-01-12 2018-01-11 Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
CN201880006552.XA CN110169070B (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880006552.XA Division CN110169070B (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Publications (1)

Publication Number Publication Date
CN113965762A true CN113965762A (zh) 2022-01-21

Family

ID=62781940

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880006552.XA Active CN110169070B (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置
CN202111162152.8A Pending CN113965762A (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880006552.XA Active CN110169070B (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Country Status (6)

Country Link
US (1) US20180199057A1 (zh)
EP (1) EP3566446A4 (zh)
CN (2) CN110169070B (zh)
PH (1) PH12019501634A1 (zh)
TW (1) TWI670970B (zh)
WO (1) WO2018130206A1 (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
KR20210084691A (ko) * 2018-01-15 2021-07-07 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
GB2588004B (en) 2018-06-05 2023-03-01 Beijing Bytedance Network Tech Co Ltd Interaction between IBC and affine
WO2019234674A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
US10863190B2 (en) * 2018-06-14 2020-12-08 Tencent America LLC Techniques for memory bandwidth optimization in bi-predicted motion vector refinement
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
CN112313956A (zh) * 2018-06-22 2021-02-02 索尼公司 图像处理装置和方法
US10965951B2 (en) 2018-06-22 2021-03-30 Avago Technologies International Sales Pte. Limited Memory latency management for decoder-side motion refinement
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
JP2022503464A (ja) * 2018-07-17 2022-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ビデオコーディング用動きベクトル予測
CN110809165B (zh) 2018-08-04 2022-07-26 北京字节跳动网络技术有限公司 仿射的运动矢量差精度
CN110881124B (zh) * 2018-09-06 2023-07-25 北京字节跳动网络技术有限公司 两步帧间预测
EP3841751B1 (en) 2018-09-19 2024-04-17 Huawei Technologies Co., Ltd. Method for skipping refinement based on patch similarity in bilinear interpolation based decoder-side motion vector refinement
CN110933419B (zh) * 2018-09-20 2022-07-01 杭州海康威视数字技术股份有限公司 一种运动矢量确定、边界强度确定方法和设备
WO2020060374A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN114727114B (zh) * 2018-09-21 2024-04-09 华为技术有限公司 运动矢量的确定方法和装置
EP3834418A1 (en) * 2018-09-23 2021-06-16 Beijing Bytedance Network Technology Co. Ltd. Modification of motion vector with adaptive motion vector resolution
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
US20210400298A1 (en) * 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
CN118175301A (zh) * 2018-10-08 2024-06-11 Lg电子株式会社 图像解码方法、图像编码方法、存储介质和发送方法
WO2020084476A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084462A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
WO2020084461A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
CN111357294B (zh) * 2018-10-23 2022-12-30 北京字节跳动网络技术有限公司 基于子块的运动信息列表的简化熵编解码
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
WO2020093999A1 (en) * 2018-11-05 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
CN111418207B (zh) * 2018-11-06 2024-04-19 北京字节跳动网络技术有限公司 依赖块尺寸的对运动信息的存储
WO2020094150A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in current picture referencing
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN112997493B (zh) * 2018-11-13 2024-01-05 北京字节跳动网络技术有限公司 用于单一类型运动候选列表的构建方法
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113170171B (zh) * 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
KR102660160B1 (ko) 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
CN111010572A (zh) * 2018-12-04 2020-04-14 北京达佳互联信息技术有限公司 一种视频编码方法和装置及设备
CN113170159B (zh) * 2018-12-08 2022-09-27 北京字节跳动网络技术有限公司 对仿射参数的移位
CN111327907B (zh) * 2018-12-13 2022-11-22 华为技术有限公司 一种帧间预测的方法、装置、设备及存储介质
CN113196771B (zh) * 2018-12-21 2023-12-22 北京字节跳动网络技术有限公司 基于运动矢量精度的运动矢量范围
BR112021007949A2 (pt) 2019-01-02 2021-07-27 Huawei Technologies Co., Ltd. sistema e método de fácil utilização com hardware e software para refinamento de vetor de movimento do lado do decodificador com correção por pixel baseada em fluxo óptico bipreditivo no lado do decodificador para compensação de movimento bipreditivo
WO2020140243A1 (zh) 2019-01-03 2020-07-09 北京大学 视频图像处理方法与装置
CN113302938B (zh) * 2019-01-11 2024-08-16 北京字节跳动网络技术有限公司 整数mv运动补偿
CN113302918A (zh) * 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
BR112021015598A2 (pt) * 2019-02-07 2021-10-05 Vid Scale, Inc. Métodos de decodificação e codificação, para decodificar um conteúdo de vídeo e para codificar um conteúdo de vídeo, decodificador, e, codificador
MX2021009529A (es) * 2019-02-08 2021-09-23 Beijing Dajia Internet Information Tech Co Ltd Metodos y dispositivos para aplicar de forma selectiva el flujo optico bidireccional y el refinamiento del vector de movimiento en el decodificador para la codificacion de video.
CN118612432A (zh) * 2019-02-08 2024-09-06 松下电器（美国）知识产权公司 编码装置、解码装置以及非暂时性计算机可读介质
WO2020164580A1 (en) * 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
HUE064569T2 (hu) * 2019-02-20 2024-03-28 Beijing Dajia Internet Information Korlátozott mozgásvektor származtatás hosszútávú referenciaképhez videó kódolásnál
BR112021016270A2 (pt) * 2019-02-22 2021-10-13 Huawei Technologies Co., Ltd. Método de codificação de vídeo e codificador, decodificador, meio legível por computador
WO2020177727A1 (en) 2019-03-05 2020-09-10 Huawei Technologies Co., Ltd. Dmvr using decimated prediction block
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11930184B2 (en) * 2019-03-08 2024-03-12 Interdigital Ce Patent Holdings, Sas Motion vector derivation in video encoding and decoding
CN117834906A (zh) * 2019-03-08 2024-04-05 华为技术有限公司 运动矢量细化的搜索区域
CN112954331B (zh) * 2019-03-11 2022-07-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20230025509A (ko) * 2019-03-12 2023-02-21 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 결합된 인터 및 인트라-예측 모드의 제한되고 조정된 적용
WO2020185034A1 (ko) * 2019-03-13 2020-09-17 현대자동차주식회사 델타 움직임벡터를 유도하는 방법 및 영상 복호화 장치
TWI738248B (zh) * 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
KR102659481B1 (ko) * 2019-03-17 2024-04-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 광학 흐름에 기초한 예측 정제의 계산
WO2020191034A1 (en) 2019-03-18 2020-09-24 Tencent America LLC Method and apparatus for video coding
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
WO2020197085A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Bdof 기반의 인터 예측 방법 및 장치
CN118118658A (zh) * 2019-03-22 2024-05-31 罗斯德尔动力有限责任公司 基于dmvr和bdof的帧间预测方法及其设备
MX2021011619A (es) * 2019-04-01 2021-10-13 Beijing Bytedance Network Tech Co Ltd Uso de filtros de interpolacion para la prediccion de vector de movimiento basada en historia.
KR102609947B1 (ko) 2019-04-02 2023-12-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN113796084B (zh) * 2019-04-14 2023-09-15 北京字节跳动网络技术有限公司 运动矢量和预测样点细化
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
CN113711608B (zh) 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
CN116389765B (zh) * 2019-04-25 2024-01-30 北京达佳互联信息技术有限公司 对视频数据编码的利用光流的预测细化方法、设备和介质
WO2020221256A1 (en) * 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding
EP3932070A4 (en) 2019-04-28 2022-06-15 Beijing Bytedance Network Technology Co., Ltd. SYMMETRICAL MOTION VECTOR DIFFERENCE CODING
CN113853792A (zh) * 2019-05-11 2021-12-28 北京字节跳动网络技术有限公司 带有参考图片重采样的编解码工具
WO2020228836A1 (en) 2019-05-16 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Sub-region based determination of motion information refinement
KR102548345B1 (ko) 2019-06-07 2023-06-28 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미 티드 비디오 코딩을 위한 서브-블록 시간적 움직임 벡터 예측
EP3970376A4 (en) * 2019-06-17 2022-11-09 Beijing Dajia Internet Information Technology Co., Ltd. METHODS AND DEVICES FOR DECODER-SIDE MOTION VECTOR REFINING IN VIDEO CODING
CN114009021A (zh) * 2019-06-20 2022-02-01 北京达佳互联信息技术有限公司 用于视频编解码的预测相关残差缩放的方法和装置
CN114051732A (zh) * 2019-07-27 2022-02-15 北京达佳互联信息技术有限公司 用于视频编解码中的解码器侧运动矢量细化的方法和装置
KR20220042125A (ko) 2019-08-10 2022-04-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처 디코딩에서의 버퍼 관리
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
BR112022002480A2 (pt) 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória
US11736720B2 (en) * 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
JP7321364B2 (ja) 2019-09-14 2023-08-04 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータ
JP2021052225A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP2021052241A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114402618A (zh) * 2019-09-27 2022-04-26 北京达佳互联信息技术有限公司 用于视频编解码中的解码器端运动矢量细化的方法和装置
WO2021072177A1 (en) * 2019-10-09 2021-04-15 Bytedance Inc. Cross-component adaptive loop filtering in video coding
JP7443509B2 (ja) 2019-10-14 2024-03-05 バイトダンス インコーポレイテッド ビデオコーディングにおけるクロマ量子化パラメータの使用
JP7482220B2 (ja) 2019-10-18 2024-05-13 北京字節跳動網絡技術有限公司 サブピクチャのパラメータセットシグナリングにおける構文制約
JP7508558B2 (ja) 2019-12-09 2024-07-01 バイトダンス インコーポレイテッド ビデオコーディングにおける量子化グループの使用
CN114902657A (zh) 2019-12-31 2022-08-12 字节跳动有限公司 视频编解码中的自适应颜色变换
JP2023518494A (ja) * 2020-03-23 2023-05-01 北京字節跳動網絡技術有限公司 アフィンマージおよびアフィン動きベクトル予測モードの予測微調整
CN112218075B (zh) * 2020-10-17 2022-10-28 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质
CN112383677B (zh) * 2020-11-04 2023-04-28 三星电子（中国）研发中心 视频处理方法及装置
CN117616754A (zh) * 2021-06-15 2024-02-27 抖音视界有限公司 用于视频处理的方法、设备和介质
CN118285095A (zh) * 2021-09-16 2024-07-02 抖音视界有限公司 视频处理方法、设备和介质
CN118525516A (zh) * 2021-10-15 2024-08-20 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023116778A1 (en) * 2021-12-22 2023-06-29 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230362403A1 (en) * 2022-05-04 2023-11-09 Mediatek Inc. Methods and Apparatuses of Sharing Preload Region for Affine Prediction or Motion Compensation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307122B2 (en) * 2006-09-27 2016-04-05 Core Wireless Licensing S.A.R.L. Method, apparatus, and computer program product for providing motion estimation for video encoding
US9794561B2 (en) * 2006-11-21 2017-10-17 Vixs Systems, Inc. Motion refinement engine with selectable partitionings for use in video encoding and methods for use therewith
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US10757437B2 (en) * 2014-07-17 2020-08-25 Apple Inc. Motion estimation in block processing pipelines
US20170208341A1 (en) * 2014-08-12 2017-07-20 Intel Corporation System and method of motion estimation for video coding
CN114449287A (zh) * 2016-03-16 2022-05-06 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT

Also Published As

Publication number Publication date
EP3566446A1 (en) 2019-11-13
CN110169070B (zh) 2021-11-09
US20180199057A1 (en) 2018-07-12
EP3566446A4 (en) 2021-02-10
CN110169070A (zh) 2019-08-23
PH12019501634A1 (en) 2020-02-24
WO2018130206A1 (en) 2018-07-19
TW201832557A (zh) 2018-09-01
TWI670970B (zh) 2019-09-01

Similar Documents

Publication Publication Date Title
CN110169070B (zh) 在视频编解码中预测子细化的候选跳过的方法和装置
US10965955B2 (en) Method and apparatus of motion refinement for video coding
EP3616406B1 (en) Method and apparatus of motion vector constraint for video coding
CN112544082B (zh) 一种视频编解码的帧间预测方法及装置
WO2019223746A1 (en) Method and apparatus of video coding using bi-directional cu weight
WO2019192491A1 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
US11985324B2 (en) Methods and apparatuses of video processing with motion refinement and sub-partition base padding
US20210120262A1 (en) Candidate Reorganizing with Advanced Control in Video Coding
WO2018171796A1 (en) Method and apparatus of bi-directional optical flow for overlapped block motion compensation in video coding
WO2017036414A1 (en) Method and apparatus of decoder side motion derivation for video coding
CN110662041B (zh) 视频比特流处理的方法和装置，存储视频比特流的方法和非暂时性计算机可读记录介质
WO2020177665A1 (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
US11985330B2 (en) Method and apparatus of simplified affine subblock process for video coding system
WO2020125752A1 (en) Method and apparatus of simplified triangle merge mode candidate list derivation
WO2020098653A1 (en) Method and apparatus of multi-hypothesis in video coding
CN112514383A (zh) 用于视频编解码的利用运动向量差的合并方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination