CN110169070A - 在视频编解码中预测子细化的候选跳过的方法和装置 - Google Patents

在视频编解码中预测子细化的候选跳过的方法和装置 Download PDF

Info

Publication number
CN110169070A
CN110169070A CN201880006552.XA CN201880006552A CN110169070A CN 110169070 A CN110169070 A CN 110169070A CN 201880006552 A CN201880006552 A CN 201880006552A CN 110169070 A CN110169070 A CN 110169070A
Authority
CN
China
Prior art keywords
block
motion
motion vector
current block
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880006552.XA
Other languages
English (en)
Other versions
CN110169070B (zh
Inventor
庄子德
徐志玮
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202111162152.8A priority Critical patent/CN113965762A/zh
Publication of CN110169070A publication Critical patent/CN110169070A/zh
Application granted granted Critical
Publication of CN110169070B publication Critical patent/CN110169070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

本发明公开了使用具有降低带宽的运动细化的方法和装置。根据本发明一方法，通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用预测子细化流程以生成当前块的运动细化，其中如果目标运动向量候选需要来自于位于有效参考块外部的目标运动补偿参考块的目标参考数据，则将目标运动向量候选从在多个运动向量候选进行搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作目标运动向量候选的替换。在另一方法中，如果目标运动向量候选属于一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。

Description

在视频编解码中预测子细化的候选跳过的方法和装置
交叉引用
本发明要求于2017年01月12日提交的申请号为62/445,287美国临时专利申请案的优先权。此美国临时专利申请案以引用方式包含在本文中。
技术领域
本发明涉及使用预测子细化(predictor refine)流程的运动补偿，例如基于模型的运动向量推导(Pattern-based MV Derivation，PMVD)，双向光流(Bi-directionalOptical flow，BIO)或者解码器侧运动向量细化(Decoder-side MV Refinement，DMVR)，以细化预测块的运动。特别地，本发明涉及与解码器侧运动向量细化流程相关的降低带宽。
背景技术
基于模型的运动向量推导
在VCEG-AZ07(Jianle Chen,et al.,Further improvements to HMKTA-1.0,ITU-Telecommunications Standardization Sector,Study Group 16Question 6,VideoCoding Experts Group(VCEG),52nd Meeting:19–26June 2015,Warsaw,Poland)中公开了一种基于模型的运动向量推导方法。根据VCEG-AZ07，解码器侧运动向量推导方法使用两个帧率向上转换(Frame Rate Up-Conversion，FRUC)模式。帧率向上转换模式中的一个被称为双边匹配,以用于B片段，且帧率向上转换模式中的另一个被称为模板匹配，以用于P片段或B片段。图1示出了帧率向上转换双边匹配模式的示例，其中当前块110的运动信息是基于两个参考图像被推导出。当前块的运动信息是通过在两个不同参考图像(即Ref0和Ref1)中沿着当前块110的运动轨迹查找两个块(即120和130)之间的最佳匹配而被推导出。在连续运动轨迹的假设下，指向参考块120和参考块130的与Ref0相关的运动向量MV0以及与Ref1相关的运动向量MV1应该与当前图像(即Cur pic)和两个参考图像(Ref0和Ref1)之间的时间距离，即TD0与TD1成比例。
图2示出了帧率向上转换模板匹配模式的示例。将当前图像(即Cur pic)中的当前块210的相邻区域(即220a和220b)用作模板，以与参考图像(即图2中的Ref0)中的相应模板(即230a和230b)匹配。模板220a/模板220b与模板230a/模板230b之间的最佳匹配将确定解码器推导运动向量240。虽然图2所示，Ref1也可用作参考图像。
根据VCEG-AZ07，当merge_flag或skip_flag为真时，FRUC_mrg_flag被发信(signaled)。如果FRUC_mrg_flag为1，那么FRUC_merge_mode被发信以指示双边匹配合并模式或模板匹配合并模式是否被选择。如果FRUC_mrg_flag为0，意味着在此情况下常规合并模式被使用，且一合并索引被发信。在视频编解码中，为了提高编解码效率，会使用运动向量预测(motion vector prediction，MVP)去预测块的运动向量，过程中会生成候选列表。合并候选列表可以用于合并模式编解码块。当合并模式用于编解码块时，块的运动信息(如运动向量(motion vector，MV))可以由合并运动向量列表中的一个候选运动向量来表示。因此，不是直接传输块的运动信息，而是将合并索引传输至解码器侧。解码器维持相同的合并列表且使用合并索引检索(retrieve)出由合并索引发信的合并候选。一般而言，合并候选列表包括少量候选，且传输合并索引比传输运动信息有效得多。当块以合并模式被编解码时，通过发信合并索引，而不是显性地传输，其运动信息与相邻块的运动信息“合并”。可是，预测残差仍被传输。在预测残差为零或非常小的情况下，预测残差被“跳过(skipped)”(即跳过模式)，且块采用具有合并索引的跳过模式被编解码，以识别出合并列表中的合并运动向量。
虽然术语FRUC是指帧率向上转换的运动向量推导，但底层技术旨在用于解码器推导一个或多个合并运动向量候选而无需显性地传输运动信息。因此，在本申请中帧率向上转换也被称为解码器推导运动向量。由于模板匹配方法是一种基于模型的运动向量推导技术，故在本发明中帧率向上转换的模板匹配方法也被称为基于模型的运动向量推导。
在解码器侧运动向量推导方法中，通过扫描所有参考图像中的所有运动向量，称为时间推导运动向量预测的新时间运动向量预测被推导。为了推导LIST_0时间推导运动向量预测，对于LIST_0参考图像中的每个LIST_0运动向量，此运动向量被缩放以指向当前图像。当前图像中被已缩放运动向量指向的4x4块是目标当前块。此运动向量进一步被缩放以指向用于目标当前块的LIST_0中refldx等于0的参考图像。该进一步缩放的运动向量被存储于LIST_0运动向量场中以用于目标当前块。图3A和图3B示出了分别推导LIST_0和LIST_1的时间推导运动向量预测的示例。在图3A和图3B中，每个小正方形块对应4x4块。时间推导运动向量预测流程扫描所有参考图像中所有4x4块内的所有运动向量，以生成当前图像的时间推导LIST_0运动向量预测和时间推导LIST_1运动向量预测。例如，在图3A中，块310、块312以及块314分别对应于当前图像(即Cur.pic)、索引等于0(即refidx＝0)的LIST_0参考图像以及索引等于1(即refidx＝1)的LIST_0参考图像的4x4块。索引等于1的LIST_0参考图像中的两个块的运动向量320和运动向量330是已知的。然后，分别通过缩放运动向量320和运动向量330，时间推导运动向量预测322和时间推导运动向量预测332可以被推导出。已缩放运动向量预测接着被分配给相应块。类似地，在图3B中，块340、块342以及块344分别对应于当前图像(Cur.pic)、索引等于0(即refidx＝0)的LIST_1参考图像以及索引等于1(即refidx＝1)的LIST_1参考图像的4x4块。索引等于1的LIST_1参考图像中的两个块的运动向量350和运动向量360是已知的。然后，分别通过缩放运动向量350和运动向量360，时间推导运动向量预测352和时间推导运动向量预测362可以被推导出。
对于双边匹配合并模式和模板匹配合并模式，采用双阶段匹配(two-stagematching)。第一阶段为预测单元层(PU-level)匹配，且第二阶段为子预测单元层匹配。在预测单元层匹配中，LIST_0和LIST_1中的多个初始运动向量被分别选择。这些运动向量包括来自于合并候选的运动向量(即常规合并候选，例如HEVC标准中指定的那些)和来自于时间推导运动向量预测的运动向量。两个不同的起始运动向量集被生成以用于两个列表。对于一个列表中的每个运动向量，通过包括此运动向量以及通过缩放此运动向量到另一列表而推导出的镜像运动向量，一个运动向量对被生成。对于每个运动向量对，使用此运动向量对，两个参考块被补偿。这两个块的绝对差之和(sum of absolutely differences，SAD)被计算出。具有最小绝对差之和的运动向量对被选择作为最佳运动向量对。
在最佳运动向量被推导出以用于预测单元之后，菱形搜索(diamond search)被执行以细化运动向量对。细化精度为1/8像素。细化搜索范围被限制在±1像素内。最终运动向量对是预测单元层推导的运动向量对。菱形搜索是一种视频编解码领域所熟知的快速块匹配运动估计算法。因此，菱形搜索算法的细节在此不做赘述。
对于第二阶段的子预测单元层搜索，当前预测单元被分割成子预测单元。子预测单元的深度(例如3)被发信在序列参数集(sequence parameter set，SPS)中。最小子预测单元尺寸为4x4块。对于每个子预测单元，在LIST_0和LIST_1中多个起始运动向量被选择，其包括预测单元层推导运动向量的运动向量、零运动向量、当前子预测单元和右下块的HEVC同位(collocated)TMVP、当前子预测单元的时间推导运动向量预测、以及左侧预测单元/子预测单元和上方预测单元/子预测单元的运动向量。通过使用如预测单元层搜索类似的机制，子预测单元的最佳运动向量对被确定。菱形搜索被执行以细化运动向量对。子预测单元的运动补偿被执行以生成此子预测单元的预测子。
对于模板匹配合并模式，上方4列和左侧4行的重建(reconstructed)像素用于形成模板。模板匹配被执行以找到最佳匹配的模板及其相应运动向量。双阶段匹配也被应用于模板匹配。在预测单元层匹配中，LIST_0和LIST_1中的多个起始运动向量被分别选择。这些运动向量包含来自于合并候选的运动向量(即常规合并候选，例如HEVC标准中指定的那些)和来自于时间推导运动向量预测的运动向量。两个不同的起始运动向量集被生成以用于两个列表。对于一个列表中的每个运动向量，具有此运动向量的模板的绝对差之和成本被计算。具有最小成本的运动向量为最佳运动向量。接着菱形搜索被执行以细化此运动向量。细化精度为1/8像素。细化搜索范围被限制在±1像素内。最终运动向量是预测单元层推导的运动向量。LIST_0和LIST_1中的运动向量被分别生成。
对于第二阶段子预测单元层搜索，当前预测单元被分割成子预测单元。子预测单元的深度(例如3)被发信在序列参数集中。最小子预测单元尺寸为4x4块。对于位于左侧预测单元分界线处或顶部预测单元分界线处的每个子预测单元，在LIST_0和LIST_1中多个起始运动向量被选择，其包括预测单元层推导运动向量的运动向量、零运动向量、当前子预测单元和右下块的HEVC同位TMVP、当前子预测单元的时间推导的运动向量预测、以及左侧预测单元/子预测单元和上方预测单元/子预测单元的运动向量。通过使用如预测单元层搜索类似的机制，子预测单元的最佳运动向量对被确定。菱形搜索被执行以细化此运动向量对。此子预测单元的运动补偿被执行以生成此子预测单元的预测子。对于不位于左侧预测单元分界线或顶部预测单元分界线处的预测单元，第二阶段子预测单元层搜索不被使用，且相应运动向量被设为等于第一阶段中的运动向量。
在此解码器运动向量推导方法中，模板匹配也用于生成用于帧间模式编解码的运动向量预测。当参考图像被选择时，模板匹配被执行以在所选择的参考图像上查找最佳模板。其相应运动向量是推导运动向量预测。此运动向量预测被插入到AMVP的第一位置。AMVP表示高级运动向量预测，其中使用候选列表，当前运动向量被预测性编解碼(codedpredictively)。当前运动向量与候选列表中所选择的运动向量候选之间的运动向量差被编解碼。
双向光流(Bi-directional Optical Flow,BIO)
双向光流是JCTVC-C204(E.Alshina,et al.,Bi-directional optical flow,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,3rd Meeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C204)和VCEG-AZ05(E.Alshina,et al.,Known tools performance investigation fornext generation video coding,ITU-T SG 16Question 6,Video Coding Experts Group(VCEG),52nd Meeting:19–26June 2015,Warsaw,Poland,Document:VCEG-AZ05)中公开的运动估计/运动补偿技术。双向光流基于如图4中所示的光流和稳态运动的假设推导出样本层运动细化，其中B片段(slice)(即双向预测片段)420中当前像素422由参考图像0中一个像素和参考图像1中的一个像素进行预测。如图4所示，当前像素422由参考图像1(即410)中的像素B(即412)和参考图像0(即430)中的像素A(即432)进行预测。在图4中，vx和vy是在x方向和y方向上的像素位移向量，其是使用双向光流模型被推导出。其仅适用于真实双向预测块，其由对应于先前信息框和后续信息框的两个参考图像预测而来。在VCEG-AZ05中，双向光流使用5x5窗口以推导出每个样本的运动细化。因此，对于NxN块，(N+4)x(N+4)块的运动补偿结果和相应的梯度信息被需要以推导出NxN块的基于样本的运动细化。根据VCEG-AZ05，6抽头梯度滤波器(6-Tap gradient filter)和6抽头插值滤波器被使用，以生成双向光流的梯度信息。因此，双向光流的计算复杂度远远高于传统的双向预测的计算复杂度。为了进一步提高双向光流的性能，提出了以下方法。
在VCEG-AZ05中，双向光流是在HEVC参考软件上实现的，并且其总是适用于以真实双向预测的块。在HEVC中，用于亮度分量的一个8抽头插值滤波器和用于色度分量的一个4抽头插值滤波器被用于执行分数(fractional)运动补偿。考虑到双向光流中一个8×8编码单元(coding unit，CU)中的一个待处理像素的一个5×5窗口，在最坏情况下所需带宽从每个当前像素的(8+7)x(8+7)x 2/(8x8)＝7.03个参考像素增加到(8+7+4)x(8+7+4)x 2/(8x8)＝11.288个参考像素。
解码器侧运动向量细化
在JVET-D0029(Xu Chen,et al.,“Decoder-Side Motion Vector RefinementBased on Bilateral Template Matching”,Joint Video Exploration Team(JVET)ofITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting:Chengdu,CN,15–21October 2016,Document:JVET-D0029)中，公开了基于双边模板匹配的解码器侧运动向量细化。如图5所示，通过使用来自于MV0和MV1的参考块(即510和520)的双向预测，一个模板被生成。如图6所示，使用此模板作为新的当前块并执行运动估计以分别在参考图像0和参考图像1中查找更好的匹配块(即分别为610和620)。细化运动向量是MV0'和MV1'。然后，细化运动向量(即MV0'和MV1')用于生成当前块的最终双向预测预测块。
在解码器侧运动向量细化中，其使用双阶段搜索(two-stage search)细化当前块的运动向量。如图7所示，对于当前块，当前运动向量候选(在由方形符号710表示的当前像素位置处)的成本先被评估。在第一阶段搜索中，在当前像素位置周围，整数像素(integer-pixel)搜索被执行。八个候选(由图7中的八个大圆圈720表示)被评估。两个相邻大圆圈之间或方形符号与其相邻大圆圈之间的水平距离和垂直距离中至少一个为一个像素。在第一阶段中，具有最低成本的最佳候选被选择为最佳运动向量候选(例如，在由圆圈730表示的位置处的候选)。在第二阶段，如图7中的八个小圆圈所示，在第一阶段中的最佳运动向量候选周围，二分之一像素正方形搜索被执行。具有最低成本的最佳运动向量候选被选择为最终运动补偿的最终运动向量。
为了补偿分数运动向量，在HEVC和JEM-4.0(即，用于JVET的参考软件)中，8抽头插值滤波器被使用。在JEM-4.0中，运动向量精度为1/16像素。16个8抽头滤波器被使用。滤波器系数如下。
0/16-像素:{0,0,0,64,0,0,0,0}
1/16-像素:{0,1,-3,63,4,-2,1,0}
2/16-像素:{-1,2,-5,62,8,-3,1,0}
3/16-像素:{-1,3,-8,60,13,-4,1,0}
4/16-像素:{-1,4,-10,58,17,-5,1,0}
5/16-像素:{-1,4,-11,52,26,-8,3,-1}
6/16-像素:{-1,3,-9,47,31,-10,4,-1}
7/16-像素:{-1,4,-11,45,34,-10,4,-1}
8/16-像素:{-1,4,-11,40,40,-11,4,-1}
9/16-像素:{-1,4,-10,34,45,-11,4,-1}
10/16-像素:{-1,4,-10,31,47,-9,3,-1}
11/16-像素:{-1,3,-8,26,52,-11,4,-1}
12/16-像素:{0,1,-5,17,58,-10,4,-1}
13/16-像素:{0,1,-4,13,60,-8,3,-1}
14/16-像素:{0,1,-3,8,62,-5,2,-1}
15/16-像素:{0,1,-2,4,63,-3,1,0}
需要降低带宽需求以用于采用基于模型的运动向量推导、双向光流、解码器侧运动向量细化或其他运动细化流程的系统。
发明内容
本发明公开了使用预测子细化流程以细化运动的方法及装置，例如基于模型的运动向量推导、双向光流或者解码器侧运动向量细化。根据本发明的一个方法，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的相应块周围以用于执行当前块的任意分数运动向量所需的插值滤波器的额外周围像素。指定与目标运动补偿参考块相关的有效参考块。通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程以生成当前块的运动细化，其中如果目标运动向量候选需要来自于位于有效参考块外部的目标运动补偿参考块的目标参考数据，则将目标运动向量候选从在多个运动向量候选搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作为目标运动向量候选的替换。根据运动细化，基于运动补偿预测对当前块进行编码或解码。
在一个实施例中，解码器侧运动向量细化流程用于生成运动细化，有效参考块等于目标运动补偿参考块。在另一个实施例中，解码器侧运动向量细化流程用于生成运动细化，有效参考块对应于目标运动补偿参考块加上位于目标运动补偿参考块周围的像素环。一表格根据位于与每个分数像素位置的插值滤波器相关的当前块的相应块的每侧周围的周围像素的数量来指定有效参考块。
在一个实施例中，两个不同的有效参考块用于两个不同的运动细化流程，其中两个不同的运动细化流程从包括基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程的组中选择。与在目标运动向量候选需要来自于位于有效参考块外部的目标运动补偿参考块的目标参考数据的情况下将目标运动向量候选从在多个运动向量候选搜索中排除或者将更靠近当前块的相应块的中心的替换运动向量候选用作目标运动向量候选的替换相关的流程仅被应用到大于一个阈值的当前块或者以双向预测编解码的当前块。
在一个实施例中，当双阶段运动细化流程被使用时，在第二阶段运动细化流程期间待搜索的多个第二阶段运动向量候选对应于将偏移添加到第一阶段运动细化流程中推导出的相应非替换运动向量候选。在另一个实施例中，当双阶段运动细化流程被使用时，在第二阶段运动细化流程期间待搜索的多个第二阶段运动向量候选对应于将偏移添加到第一阶段运动细化流程中推导出的替换运动向量候选。
根据本发明的另一方法，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的相应块周围以用于执行当前块的任意分数运动向量所需的插值滤波器的额外周围像素。选择一个或多个目标分数像素位置。通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程以生成当前块的运动细化，其中如果目标运动向量候选属于一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。一个或多个目标分数像素位置对应于从(1/filter_precision)到((filter_precision/2)/filter_precision)的多个像素位置和从((filter_precision/2+1)/filter_precision)到((filter_precision-1)/filter_precision)的多个像素位置，其中，filter_precision对应于运动向量精度。
根据本发明的另一方法，基于与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成多个子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程。确定与多个子块相关的运动信息。根据与多个子块相关的运动信息，使用运动补偿预测对多个子块进行编码或解码。用于双向预测的多个子块的最小块尺寸大于用于单向预测的多个子块中的最小块尺寸。
附图说明
图1示出了使用双边匹配技术的运动补偿的示例，其中当前块由两个参考块沿运动轨迹进行预测。
图2示出了使用模板匹配技术的运动补偿的示例，其中，当前块的模板与参考图像中的参考模板匹配。
图3A标出了LIST_0参考图像的时间运动向量预测的推导流程的示例。
图3B标出了LIST_1参考图像的时间运动向量预测的推导流程的示例。
图4示出了推导出用于运动细化的偏移运动向量的双向光流的示例。
图5示出了解码器侧运动向量细化的示例，其中，模板通过使用来自MV0和MV1的参考块的双向预测而先被生成。
图6示出了通过使用图5中生成的模板作为新当前块并执行运动评估以分别从参考图像0和参考图像1中查找更好的匹配块的解码器侧运动向量细化的示例。
图7示出了用于细化解码器侧运动向量细化的当前块的运动向量的双阶段搜索的示例。
图8示出了具有分数运动向量的MxN块的解码器侧运动向量细化所需的参考数据的示例，其中(M+L-1)*(N+L-1)参考块是运动补偿所需。
图9示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用降低的系统带宽细化运动的视频编解码系统的示例性流程图。
图10示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用降低的系统带宽细化运动的视频编解码系统的示例性流程图，其中如果目标运动向量候选属于一个或多个指定的目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。
图11示出了根据本发明实施例的使用包含具有降低系统带宽的基于子块的运动估计/运动补偿的所选择运动估计/运动补偿流程以细化运动的视频编解码系统的示例性流程图，其中基于与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成多个子块。
具体实施方式
以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求所界定为准。
如前所述，不同预测子细化技术，例如基于模式的运动向量推导、双向光流或解码器侧运动向量细化，需要访问额外的参考数据，其导致增加系统带宽。例如，如图8所示，对于具有分数运动向量的MxN块810，运动补偿需要(M+L-1)*(N+L-1)参考块825，其中L是插值滤波器抽头长度。在HEVC中，L等于8。对于解码器侧运动向量细化搜索，位于参考块825外部具有一个像素宽度的环形区域820被需要以用于(M+L-1)*(N+L-1)参考块825加上环形区域820内的第一阶段搜索。对应于参考块825加上环形区域820的区域被称为参考像素区域830。如果最佳候选位于左上侧而不是中心候选，则环形区域820外部的额外数据可以被需要。例如，额外的L形区域840(即额外的一个(M+L-1)像素列和(N+L-1)像素行)被需要。支持预测子细化工具所需的额外参考像素意味着额外的带宽。在本发明中，公开了降低与基于模型的运动向量推导、双向光流和解码器侧运动向量细化相关的系统带宽的技术。
在JEM-4.0中，当8抽头滤波器被使用时，并非每个滤波器都具有8个系数。例如，在3/16像素滤波器中，滤波器只有7个系数，在1/16像素滤波器中，滤波器只有6个系数。因此，对于一些运动向量候选，实际所需的参考像素小于图8中提到的参考像素。例如，如果中心运动向量候选位于(11/16,11/16)处，则其需要(M+7)*(N+7)像素块。对于第一阶段搜索，八个运动向量候选位于(11/16±1,11/16±1)(即(11/16,11/16+1)、(11/16,11/16-1)、(11/16+1,11/16+1)、(11/16+1,11/16)、(11/16+1,11/16-1)、(11/16-1,11/16+1)、(11/16-1,11/16)、(11/16-1,11/16-1))，并且其需要(M+7+1+1)*(N+7+1+1)像素块(即，图8中的参考区域830)。如果最佳候选是(11/16+1,11/16)，则第二阶段搜索的八个候选是(11/16+1±8/16,11/16±8/16)(即，(11/16+1,11/16)、(11/16+1,11/16-8/16)、(11/16+1+8/16,11/16+8/16)、(11/16+1+8/16,11/16)、(11/16+1+8/16,11/16-8/16)、(11/16+1-8/16,11/16+8/16)、(11/16+1-8/16,11/16)、(11/16+1-8/16,11/16-8/16))。对于(11/16+1+8/16,11/16)候选，则3/16像素滤波器被使用。该3/16像素滤波器只有7个系数，其中只有3个系数位于当前像素的右边，这意味着不存在(11/16+1+8/16,11/16)候选的运动补偿所需的额外参考像素。因此，分数运动向量位置和滤波器系数将影响细化所需的像素数量。为了降低带宽，下面公开了三种方法。
方法-1：候选跳过
为了降低带宽需求，提出了跳过搜索需要额外内存访问的候选。一表格被创建以列出右边和左边中多少像素用于滤波器。例如，表1显示了当前像素左侧和右侧所需的像素。对于预测子细化工具(例如，基于模型的运动向量推导、解码器侧运动向量细化和双向光流)，有效的参考块先被定义。例如，有效参考块可以是(M+(L-1))*(N+(L-1))块(即图8中的参考区域825)或(M+L+1)*(N+L+1)块(即，图8中的参考区域830)以用于解码器侧运动向量细化情况。在细化流程中，如果候选需要位于有效块外部的参考像素，则此候选被跳过。在解码器侧运动向量细化的情况中，跳过决策可以基于如表1中所列的滤波器的分数运动向量位置和像素要求而被做出。例如，如果一维插值被使用并且(M+(L-1)+1+1)*(N+(L-1)+1+1)像素块被定义为有效块，则这意味着有效块包括当前像素的左侧(L/2)+1像素至右侧(L/2)+1像素。在JEM-4.0中，L为8，其意味着存在当前像素左侧的5个像素和当前像素右侧的5个像素。对于左边和右边的所需像素，我们可以使用下面的等式。
左：
integer_part_of(refine_offset+fractional_part_of_org_MV)+Filter_required_pixel_left[(fractional_part_of(refine_offset+fractional_part_of_org_MV)％filter_precision] (1)
右：
integer_part_of(refine_offset+fractional_part_of_org_MV)+Filter_required_pixel_right[(fractional_part_of(refine_offset+fractional_part_of_org_MV)％filter_precision) (2)
表1.JEM-4.0亮度插值滤波器的像素要求
左 右
Filter_required_pixel_left Filter_required_pixel_right
0/16-像素: 1 0
1/16-像素: 3 3
2/16-像素: 4 3
3/16-像素: 4 3
4/16-像素: 4 3
5/16-像素: 4 4
6/16-像素: 4 4
7/16-像素: 4 4
8/16-像素: 4 4
9/16-像素: 4 4
10/16-像素: 4 4
11/16-像素: 4 4
12/16-像素: 3 4
13/16-像素: 3 4
14/16-像素: 3 4
15/16-像素: 3 3
例如，从表1中，如果中心MV_x候选为3/16，则左边需要4个像素，右边需要3个像素。对于第一阶段搜索，对应于(3/16+1)候选和(3/16–1)候选的MV_x需要被搜索。对于对应于(3/16–1)候选的MV_x，其需要多于一个像素用于左边像素，即5个像素。对于(3/16+1)候选的MV_x，其需要多于一个像素用于右边像素，即4个像素。因此，(3/16+1)候选和(3/16–1)候选均可用于搜索。如果最佳MV_x候选为(3/16–1)，则距离最佳MV_x候选二分之一像素距离处的候选(即(3/16–1+8/16)候选和(3/16–1-8/16)候选)需要被搜索。对于对应(3/16–1-8/16)候选的MV_x，MV_x相当于(–2+11/16)。根据等式(1)和等式(2)，integer_part_of(refine_offset+fractional_part_of_org_MV)是2，且(fractional_part_of(refine_offset+fractional_part_of_org_MV)％filter_precision是11，其中filter_precision是16。其需要2+4个像素用于左边，其中2是来自于该“-2”，而4是来自于“11/16像素滤波器”，因此对应于(3/16–1–8/16)候选的MV_x需要比有效块更多的参考像素，并且对应于(3/16–1–8/16)候选者的MV_x应该被跳过。
方法-2：候选替换
类似于方法-1，有效块先被定义，并根据等式(1)和(2)，所需的像素被计算出。然而，如果候选是无效的，则不是跳过此候选，而是提出移动此候选以更靠近中心(原始)运动向量。例如，如果候选的MV_x为(X–1)并且是无效的，其中X是原始运动向量并且“-1”是细化偏移，则候选位置被平移到(X–8/16)或(X–12/16)或X至(X–1)之间的任意候选(例如最接近(X–1)的有效候选)。这样，在不需要额外带宽的情况下，可以检查相似数量的候选。在一个实施例中，对于第二阶段搜索，如果其第一阶段候选是一替换候选，则参考第一阶段偏移应该使用未替换的偏移。例如，如果第一阶段搜索的原始候选为(X–1)并且不是有效候选，则其由(X–12/16)替换。对于第二阶段候选，其仍然可以使用(X–1±8/16)以用于第二阶段搜索。在另一个实施例中，对于第二阶段搜索，如果第一阶段候选是一替换候选，则参考第一阶段偏移应该使用已替换偏移。例如，如果第一阶段搜索的原始候选为(X–1)并且不是有效候选，则其被替换为(X–12/16)。对于第二阶段候选，其可以使用(X–12/16±8/16)以用于第二阶段搜索。在另一个实施例中，如果第一阶段候选是一替换候选，则第二阶段搜索的偏移可以被降低。
在方法-1和方法-2中，不同的编解碼工具可以具有不同的有效参考块设置。例如，对于解码器侧运动向量细化，有效块可以是(M+L-1)*(N+L-1)块。对于基于模型的运动向量推导，有效块可以是(M+L-1+O)*(N+L-1+P)块，其中O和P可以为4。
在基于模型的运动向量推导中，双阶段搜索被执行。第一阶段是预测单元层搜索。第二阶段是子预测单元层搜索。在所提出的方法中，有效参考块约束被使用以用于第一阶段搜索和第二阶段搜索。这两个阶段的有效参考块可以相同。
所提出的方法-1和方法-2可以被限定为被应用于某些编码单元或预测单元。例如，所提出的方法可以被应用于编码单元面积大于64或256的编码单元，或者被应用于双向预测块。
方法-3：更短的滤波器抽头设计
在方法-3中，提出了减少从(1/filter_precision)至((filter_precision/2-1)/filter_precision)的滤波器位置和从((filter_precision/2+1)/filter_precision)至((filter_precision-1)/filter_precision)的滤波器位置所需的像素。例如，在JEM-4.0中，提出了降低对应于1/16像素至7/16像素的滤波器所需的像素以及对应于9/16像素至15/16像素的滤波器所需的像素。如果将6抽头滤波器用于对应于1/16像素至7/16像素的滤波器以及对应于9/16像素至15/16像素的滤波器，则解码器侧运动向量细化的第二阶段搜索不需要额外的带宽。
基于预测方向的预测单元分割
在一些编解码工具中，如果某些约束条件被满足，则当前预测单元将被分割成多个子预测单元。例如，在JEM-4.0中，高级TMVP(advance TMVP，ATMVP)、基于模型的运动向量推导、双向光流和仿射预测/补偿将把当前预测单元分割成子预测单元。为了降低最坏情况带宽，提出了根据预测方向将当前预测单元分割成不同尺寸。例如，最小尺寸/面积/宽度/高度为M以用于双向预测块，最小尺寸/面积/宽度/高度为N以用于单向预测块。例如，双向预测的最小面积可以为64，单向预测的最小面积可以为16。又例如，双向预测的最小宽度/高度可以为8，单向预测的最小宽度/高度可为是4。
在另一示例中，对于ATMVP合并模式，如果运动向量候选是双向预测，则最小子预测单元面积为64。如果运动向量候选是单向预测，则最小子预测单元面积可以为16。
图9示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用降低系统带宽细化运动/预测的视频编解码系统的示例性流程图。本流程图中所示的步骤以及本发明中的其他流程图可以被实现为在编码器侧和/或解码器侧处的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤还可以基于硬件被实现，例如用于执行本流程图中的步骤的一个或多个电子设备或处理器。根据本方法，在步骤910中，接收与当前图像中的当前块相关的输入数据。在步骤920中，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的相应块周围以用于执行当前块的任意分数运动向量所需的插值滤波器的额外周围像素。在步骤930中，指定与目标运动补偿参考块相关的有效参考块。在步骤940中，通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用例如基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程的预测子细化流程以生成当前块的运动细化，其中如果目标运动向量候选需要来自于位于有效参考块外部的目标运动补偿参考块的目标参考数据，则将目标运动向量候选从在多个运动向量候选中进行搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作为目标运动向量候选的替换。在步骤950中，根据运动细化，基于运动补偿预测对当前块进行编码或解码。
图10示出了根据本发明实施例的使用例如基于模型的运动向量推导、双向光流或解码器侧运动向量细化的预测子细化流程以用于降低系统带宽细化运动的视频编解码系统的示例性流程图，其中如果目标运动向量候选属于一个或多个指定的目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。根据本方法，在步骤1010中，接收与当前图像中的当前块相关的输入数据。在步骤1020中，在来自于参考图像列表的目标参考图像中确定与当前块相关的目标运动补偿参考块，其中目标运动补偿参考块包括位于目标参考图像中当前块的对应块周围的额外周围像素以用于执行当前块的任意分数运动向量所需的插值滤波器。在步骤1030中，选择一个或多个目标分数像素位置。在步骤1040中，通过使用包括目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用例如基于模型的运动向量推导流程、双向光流流程或解码器侧运动向量细化流程的预测子细化流程以生成当前块的运动细化，其中如果目标运动向量候选属于一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于目标运动向量候选。在步骤1050中，根据运动细化，基于运动补偿预测对当前块进行编码或解码。
图11示出了根据本发明实施例的使用包含例如高级时间运动向量预测、基于模型的运动向量推导、双向光流或仿射预测/补偿且具有降低系统带宽的基于子块的运动估计/运动补偿的所选择运动估计/运动补偿流程以细化运动的视频编解码系统的示例性流程图，其中根据与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成子块。根据本方法，在步骤1110中，接收与当前图像中的当前块相关的输入数据。在步骤1120中，基于与当前块相关的预测方向是双向预测还是单向预测，将当前块分割成多个当前子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程。在步骤1130中，确定与多个子块相关的运动信息。在步骤1140中，根据与多个子块相关的运动信息，使用运动补偿预测对多个子块进行编码或解码。
所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，所属领域中技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，通过用等同的语法和语义来替换该语法和语义，技术人员可以实施本发明。
上述说明，使得所属领域中技术人员能够在特定应用程序的内容及其需求中实施本发明。对所属领域中技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是整合在视频压缩芯片内的电路，或者是整合到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由权利要求来表示，而不是前述的描述来表示。请求项的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (25)

1.一种视频编解码方法，使用预测子细化流程以细化块的运动，其特征在于，该方法包括：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
指定与该目标运动补偿参考块相关的有效参考块；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选需要来自于位于该有效参考块外部的该目标运动补偿参考块的目标参考数据，则将该目标运动向量候选从在多个运动向量候选搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作为该目标运动向量候选的替换；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
2.如权利要求1所述的视频编解码方法，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
3.如权利要求2所述的视频编解码方法，其特征在于，该解码器侧运动向量细化用于生成该运动细化，该有效参考块等于该目标运动补偿参考块。
4.如权利要求2所述的视频编解码方法，其特征在于，该解码器侧运动向量细化用于生成该运动细化，该有效参考块对应于该目标运动补偿参考块加上位于该目标运动补偿参考块周围的像素环。
5.如权利要求1所述的视频编解码方法，其特征在于，一个表格根据位于与每个分数像素位置的该插值滤波器相关的该当前块的该相应块的每侧周围的周围像素的数量来指定该有效参考块。
6.如权利要求1所述的视频编解码方法，其特征在于，两个不同的有效参考块用于两个不同的运动细化流程，其中该两个不同的运动细化流程自包括基于模型运动向量推导、双向光流或解码器侧运动向量细化的组选择。
7.如权利要求1所述的视频编解码方法，其特征在于，与在该目标运动向量候选需要来自于位于有效参考块外部的该目标运动补偿参考块的目标参考数据的情况下，将该目标运动向量候选从在多个运动向量候选搜索中排除或者将更靠近该当前块的该相应块的中心的替换运动向量候选用作该目标运动向量候选的替换相关的一流程仅被应用到大于一个阈值的该当前块或者以双向预测编解码的该当前块。
8.如权利要求1所述的视频编解码方法，其特征在于，当双阶段运动细化流程被使用时，在第二阶段运动细化流程期间待搜索的多个第二阶段运动向量候选对应于将偏移添加到第一阶段运动细化流程中推导出的相应非替换运动向量候选。
9.如权利要求1所述的视频编解码方法，其特征在于，当双阶段运动细化流程被使用时，在第二阶段运动细化流程期间待搜索的多个第二阶段运动向量候选对应于将偏移添加到第一阶段运动细化流程中推导出的该替换运动向量候选。
10.一种视频编解码装置，其特征在于，使用预测子细化流程以细化块的运动，该视频编解码装置包括一个或多个电子电路或处理器，被配置为：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
指定与该目标运动补偿参考块相关的有效参考块；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选需要来自于位于该有效参考块外部的该目标运动补偿参考块的目标参考数据，则将该目标运动向量候选从在多个运动向量候选搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作为该目标运动向量候选的替换；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
11.如权利要求10所述的视频编解码装置，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
12.一种非暂时性计算机可读介质，其特征在于，存储有多个程序指令，使得装置的处理电路执行视频编解码方法，且该方法包括：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
指定与该目标运动补偿参考块相关的有效参考块；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用该预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选需要来自于位于该有效参考块外部的该目标运动补偿参考块的目标参考数据，则将该目标运动向量候选从在多个运动向量候选搜索中排除，或者将更靠近当前块的相应块的中心的替换运动向量候选用作为该目标运动向量候选的替换；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
13.如权利要求12所述的非暂时性计算机可读介质，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
14.一种视频编解码方法，其特征在于，使用预测子细化流程以细化块的运动，该方法包括：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
选择一个或多个目标分数像素位置；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用该预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选属于该一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于该目标运动向量候选；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
15.如权利要求14所述的视频编解码方法，其特征在于，该预测子细化流程技术对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
16.如权利要求14所述的视频编解码方法，其特征在于，该一个或多个目标分数像素位置对应于从(1/filter_precision)到((filter_precision/2)/filter_precision)的多个像素位置和从((filter_precision/2+1)/filter_precision)到((filter_precision-1)/filter_precision)的多个像素位置，其中，该filter_precision对应于运动向量精度。
17.一种视频编解码装置，其特征在于，使用预测子细化流程以细化块的运动，该视频编解码装置包括一个或多个电子电路或处理器，被配置为：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
选择一个或多个目标分数像素位置；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用该预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选属于该一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于该目标运动向量候选；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
18.如权利要求17所述的视频编解码装置，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
19.一种非暂时性计算机可读介质，其特征在于，存储有多个程序指令，使得装置的处理电路执行视频编解码方法，且该方法包括：
接收与当前图像中的当前块相关的输入数据；
在来自于参考图像列表的目标参考图像中确定与该当前块相关的目标运动补偿参考块，其中该目标运动补偿参考块包括位于该目标参考图像中该当前块的相应块周围的额外周围像素以用于执行该当前块的任意分数运动向量所需的插值滤波器；
选择一个或多个目标分数像素位置；
通过使用包括该目标运动补偿参考块的参考数据在多个运动向量候选中进行搜索，使用解码器侧预测子细化流程以生成该当前块的运动细化，其中如果目标运动向量候选属于该一个或多个目标分数像素位置，则将缩短抽头长度的插值滤波器应用于该目标运动向量候选；以及
根据该运动细化，基于运动补偿预测对该当前块进行编码或解码。
20.如权利要求19所述的非暂时性计算机可读介质，其特征在于，该预测子细化流程对应于基于模型运动向量推导、双向光流或解码器侧运动向量细化。
21.一种视频编解码方法，其特征在于，使用子块分割以细化当前块的预测子，该方法包括：
接收与当前图像中的当前块相关的输入数据；
基于与该当前块相关的预测方向是双向预测还是单向预测，将该当前块分割成多个子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程；
确定与该多个子块相关的运动信息；以及
根据与该多个子块相关的运动信息，使用运动补偿预测对该多个子块进行编码或解码。
22.如权利要求21所述的视频编解码方法，其特征在于，用于双向预测的该多个子块的最小块尺寸大于用于单向预测的该多个子块中的最小块尺寸。
23.如权利要求21所述的视频编解码方法，其特征在于，所选择的运动估计/运动补偿流程属于包括高级时间运动向量预测、基于模型运动向量推导、双向光流或仿射预测/补偿的组。
24.一种视频编解码装置，其特征在于，使用子块分割以细化当前块的运动，该视频编解码装置包括一个或多个电子电路或处理器，被配置为：
接收与当前图像中的当前块相关的输入数据；
基于与该当前块相关的预测方向是双向预测还是单向预测，将该当前块分割成多个子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程；
确定与该多个子块相关的运动信息；以及
根据与该多个子块相关的运动信息，使用运动补偿预测对该多个子块进行编码或解码。
25.一种非暂时性计算机可读介质，其特征在于，存储有多个程序指令，使得装置的处理电路执行视频编解码方法，且该方法包括：
接收与当前图像中的当前块相关的输入数据；
基于与该当前块相关的预测方向是双向预测还是单向预测，将该当前块分割成多个当前子块，以用于包含基于子块的运动估计/运动补偿的所选择的运动估计/运动补偿流程；
确定与该多个子块相关的运动信息；以及
根据与该多个子块相关的运动信息，使用运动补偿预测对该多个当前子块进行编码或解码。
CN201880006552.XA 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置 Active CN110169070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111162152.8A CN113965762A (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762445287P 2017-01-12 2017-01-12
US62/445,287 2017-01-12
US15/868,995 US20180199057A1 (en) 2017-01-12 2018-01-11 Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
US15/868,995 2018-01-11
PCT/CN2018/072419 WO2018130206A1 (en) 2017-01-12 2018-01-12 Method and apparatus of candidate skipping for predictor refinement in video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111162152.8A Division CN113965762A (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Publications (2)

Publication Number Publication Date
CN110169070A true CN110169070A (zh) 2019-08-23
CN110169070B CN110169070B (zh) 2021-11-09

Family

ID=62781940

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880006552.XA Active CN110169070B (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置
CN202111162152.8A Pending CN113965762A (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111162152.8A Pending CN113965762A (zh) 2017-01-12 2018-01-12 在视频编解码中预测子细化的候选跳过的方法和装置

Country Status (6)

Country Link
US (1) US20180199057A1 (zh)
EP (1) EP3566446A4 (zh)
CN (2) CN110169070B (zh)
PH (1) PH12019501634A1 (zh)
TW (1) TWI670970B (zh)
WO (1) WO2018130206A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010572A (zh) * 2018-12-04 2020-04-14 北京达佳互联信息技术有限公司 一种视频编码方法和装置及设备
CN112449193A (zh) * 2019-09-03 2021-03-05 腾讯美国有限责任公司 对视频数据进行编解码的方法、装置、计算机设备和存储介质
WO2023116778A1 (en) * 2021-12-22 2023-06-29 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
KR102207258B1 (ko) * 2018-01-15 2021-01-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
WO2019234673A1 (en) * 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Chroma dmvr
US10863190B2 (en) * 2018-06-14 2020-12-08 Tencent America LLC Techniques for memory bandwidth optimization in bi-predicted motion vector refinement
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
US10965951B2 (en) 2018-06-22 2021-03-30 Avago Technologies International Sales Pte. Limited Memory latency management for decoder-side motion refinement
WO2019244669A1 (ja) * 2018-06-22 2019-12-26 ソニー株式会社 画像処理装置および方法
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
CN112514394A (zh) * 2018-07-17 2021-03-16 松下电器（美国）知识产权公司 用于视频编码的系统和方法
CN110809159B (zh) 2018-08-04 2022-06-07 北京字节跳动网络技术有限公司 更新的mv或推导的mv的裁剪
TW202025743A (zh) * 2018-09-06 2020-07-01 大陸商北京字節跳動網絡技術有限公司 兩步幀間預測
MX2021000686A (es) 2018-09-19 2021-03-25 Huawei Tech Co Ltd Metodo para omitir refinamiento con base en la similitud de parches en el refinamiento de vector de movimiento del lado del decodificador basado en interpolacion bilineal.
CN110933419B (zh) * 2018-09-20 2022-07-01 杭州海康威视数字技术股份有限公司 一种运动矢量确定、边界强度确定方法和设备
CN114727114B (zh) * 2018-09-21 2024-04-09 华为技术有限公司 运动矢量的确定方法和装置
US11595639B2 (en) 2018-09-21 2023-02-28 Lg Electronics Inc. Method and apparatus for processing video signals using affine prediction
WO2020058962A1 (en) * 2018-09-23 2020-03-26 Beijing Bytedance Network Technology Co., Ltd. Signaling of motion vector precision indication with adaptive motion vector resolution
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US20210400298A1 (en) * 2018-09-28 2021-12-23 Lg Electronics Inc. Method and apparatus for processing video signal by using affine prediction
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
WO2020076066A1 (ko) 2018-10-08 2020-04-16 엘지전자 주식회사 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
WO2020084476A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN112956197A (zh) * 2018-10-22 2021-06-11 北京字节跳动网络技术有限公司 基于编解码信息的解码器侧运动矢量推导的限制
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
CN111357294B (zh) * 2018-10-23 2022-12-30 北京字节跳动网络技术有限公司 基于子块的运动信息列表的简化熵编解码
CN112970259A (zh) * 2018-11-05 2021-06-15 北京字节跳动网络技术有限公司 视频处理中具有细化的帧间预测
CN112219400B (zh) * 2018-11-06 2024-03-26 北京字节跳动网络技术有限公司 依赖位置的对运动信息的存储
CN112970262B (zh) * 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
EP3861744A4 (en) * 2018-11-13 2021-12-08 Beijing Bytedance Network Technology Co. Ltd. CREATION OF LIST OF MOVEMENT CANDIDATES BASED ON A HISTORY, FOR AN IN-BLOCK COPY
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
JP7319365B2 (ja) * 2018-11-22 2023-08-01 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測のための調整方法
US11146810B2 (en) * 2018-11-27 2021-10-12 Qualcomm Incorporated Decoder-side motion vector refinement
WO2020114516A1 (en) * 2018-12-08 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Reducing the line-buffer storage required by affine inheritance
CN115834903A (zh) * 2018-12-13 2023-03-21 华为技术有限公司 一种帧间预测的方法及装置
CN113273205A (zh) * 2018-12-21 2021-08-17 北京字节跳动网络技术有限公司 使用更高比特深度精度的运动矢量推导
WO2020140874A1 (en) 2019-01-02 2020-07-09 Huawei Technologies Co., Ltd. A hardware and software friendly system and method for decoder-side motion vector refinement with decoder-side bi-predictive optical flow based per-pixel correction to bi-predictive motion compensation
CN111357290B (zh) 2019-01-03 2023-08-22 北京大学 视频图像处理方法与装置
WO2020143830A1 (en) * 2019-01-11 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Integer mv motion compensation
WO2020147747A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
EP3909247B1 (en) * 2019-02-08 2024-04-10 Beijing Dajia Internet Information Technology Co., Ltd. Method and device for selectively applying decoder-side motion vector refinement for video coding
TW202041026A (zh) * 2019-02-08 2020-11-01 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
CN117336505A (zh) * 2019-02-14 2024-01-02 北京字节跳动网络技术有限公司 解码器侧细化工具的尺寸选择性应用
FI3912357T3 (fi) * 2019-02-20 2023-12-19 Beijing Dajia Internet Information Tech Co Ltd Rajoitettu liikevektorin derivaatio pitkän aikavälin referenssikuville videokoodauksessa
SG11202107970QA (en) * 2019-02-22 2021-08-30 Huawei Tech Co Ltd Early termination for optical flow refinement
CN113615194B (zh) * 2019-03-05 2023-06-06 华为技术有限公司 使用抽取预测块的dmvr
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CN113508595B (zh) * 2019-03-08 2023-11-28 华为技术有限公司 运动矢量细化的搜索区域
CN112468812B (zh) 2019-03-11 2022-07-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP7092951B2 (ja) * 2019-03-12 2022-06-28 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム
WO2020185034A1 (ko) * 2019-03-13 2020-09-17 현대자동차주식회사 델타 움직임벡터를 유도하는 방법 및 영상 복호화 장치
TWI738248B (zh) * 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
CN113597766B (zh) * 2019-03-17 2023-11-10 北京字节跳动网络技术有限公司 基于光流的预测细化的计算
SG11202109031TA (en) 2019-03-18 2021-09-29 Tencent America LLC Method and apparatus for video coding
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
JP7058329B2 (ja) * 2019-03-22 2022-04-21 エルジー エレクトロニクス インコーポレイティド Ｄｍｖｒおよびｂｄｏｆベースのインター予測方法および装置
WO2020197085A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 Bdof 기반의 인터 예측 방법 및 장치
JP7307191B2 (ja) * 2019-04-01 2023-07-11 北京字節跳動網絡技術有限公司 履歴に基づく動きベクトル予測のための補間フィルタの使用
KR102609947B1 (ko) 2019-04-02 2023-12-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
CN113796084B (zh) * 2019-04-14 2023-09-15 北京字节跳动网络技术有限公司 运动矢量和预测样点细化
WO2020211866A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
WO2020220048A1 (en) * 2019-04-25 2020-10-29 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for prediction refinement with optical flow
JP7303330B2 (ja) * 2019-04-28 2023-07-04 北京字節跳動網絡技術有限公司 対称動きベクトル差分符号化
WO2020221256A1 (en) * 2019-04-28 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Symmetric motion vector difference coding
SG11202112279WA (en) * 2019-05-11 2021-12-30 Beijing Bytedance Network Technology Co Ltd Selective use of coding tools in video processing
KR102647582B1 (ko) * 2019-05-16 2024-03-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 정보 개선의 서브영역 기반 결정
CN116156199B (zh) * 2019-06-07 2023-10-03 北京达佳互联信息技术有限公司 用于视频解码、视频编码的方法、计算设备和存储介质
MX2021015811A (es) * 2019-06-17 2022-02-03 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparatos para el refinamiento del vector de movimiento en el decodificador en la codificacion de video.
WO2020257785A1 (en) * 2019-06-20 2020-12-24 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for prediction dependent residual scaling for video coding
CN114051732A (zh) * 2019-07-27 2022-02-15 北京达佳互联信息技术有限公司 用于视频编解码中的解码器侧运动矢量细化的方法和装置
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
CN114270856A (zh) 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用
WO2021051047A1 (en) 2019-09-14 2021-03-18 Bytedance Inc. Chroma quantization parameter in video coding
JP2021052225A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP2021052241A (ja) * 2019-09-20 2021-04-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7267885B2 (ja) * 2019-09-20 2023-05-02 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2021062283A1 (en) * 2019-09-27 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for decoder-side motion vector refinement in video coding
CN114651442A (zh) * 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
KR20220073746A (ko) 2019-10-14 2022-06-03 바이트댄스 아이엔씨 비디오 처리에서 크로마 양자화 파라미터 사용
KR20220078600A (ko) 2019-10-18 2022-06-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브픽처들의 파라미터 세트 시그널링에서의 신택스 제약들
CN114788279A (zh) 2019-12-09 2022-07-22 字节跳动有限公司 视频编解码中使用的量化组
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
CN115349254A (zh) * 2020-03-23 2022-11-15 抖音视界有限公司 控制编解码视频中不同级别的去块滤波
CN112218075B (zh) * 2020-10-17 2022-10-28 浙江大华技术股份有限公司 候选列表的填充方法、电子设备、计算机可读存储介质
CN112383677B (zh) * 2020-11-04 2023-04-28 三星电子（中国）研发中心 视频处理方法及装置
CN117616754A (zh) * 2021-06-15 2024-02-27 抖音视界有限公司 用于视频处理的方法、设备和介质
WO2023040993A1 (en) * 2021-09-16 2023-03-23 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023060912A1 (en) * 2021-10-15 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325709A (zh) * 2006-11-21 2008-12-17 Vixs系统公司 用于视频编码的具有可选择分割的运动细化引擎及其方法
CN103688541A (zh) * 2011-07-20 2014-03-26 高通股份有限公司 在视频译码中缓冲预测数据
WO2016024142A1 (en) * 2014-08-12 2016-02-18 Intel Corporation System and method of motion estimation for video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307122B2 (en) * 2006-09-27 2016-04-05 Core Wireless Licensing S.A.R.L. Method, apparatus, and computer program product for providing motion estimation for video encoding
US9078007B2 (en) * 2008-10-03 2015-07-07 Qualcomm Incorporated Digital video coding with interpolation filters and offsets
US10757437B2 (en) * 2014-07-17 2020-08-25 Apple Inc. Motion estimation in block processing pipelines
CN108781295B (zh) * 2016-03-16 2022-02-18 联发科技股份有限公司 视频编码的样式基础的运动向量推导之方法及装置
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325709A (zh) * 2006-11-21 2008-12-17 Vixs系统公司 用于视频编码的具有可选择分割的运动细化引擎及其方法
CN103688541A (zh) * 2011-07-20 2014-03-26 高通股份有限公司 在视频译码中缓冲预测数据
WO2016024142A1 (en) * 2014-08-12 2016-02-18 Intel Corporation System and method of motion estimation for video coding

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111010572A (zh) * 2018-12-04 2020-04-14 北京达佳互联信息技术有限公司 一种视频编码方法和装置及设备
CN112449193A (zh) * 2019-09-03 2021-03-05 腾讯美国有限责任公司 对视频数据进行编解码的方法、装置、计算机设备和存储介质
CN112449193B (zh) * 2019-09-03 2023-03-31 腾讯美国有限责任公司 对视频数据进行编解码的方法、装置、计算机设备和存储介质
US11736720B2 (en) 2019-09-03 2023-08-22 Tencent America LLC Motion vector refinement methods for video encoding
WO2023116778A1 (en) * 2021-12-22 2023-06-29 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
TW201832557A (zh) 2018-09-01
PH12019501634A1 (en) 2020-02-24
EP3566446A4 (en) 2021-02-10
WO2018130206A1 (en) 2018-07-19
US20180199057A1 (en) 2018-07-12
CN110169070B (zh) 2021-11-09
CN113965762A (zh) 2022-01-21
TWI670970B (zh) 2019-09-01
EP3566446A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
CN110169070A (zh) 在视频编解码中预测子细化的候选跳过的方法和装置
TWI711299B (zh) 利用部分成本計算的視頻解碼方法和裝置
US10965955B2 (en) Method and apparatus of motion refinement for video coding
TWI735172B (zh) 用於多個工具的互相排斥設定
TWI731363B (zh) 高效的仿射Ｍｅｒｇｅ運動向量推導
TWI670966B (zh) 用於視訊編解碼的適應性雙預測的方法及裝置
EP3632104B1 (en) Motion vector refinement for multi-reference prediction
TWI720551B (zh) 一種視訊編解碼的幀間預測方法及裝置
JP7324841B2 (ja) ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
US10511835B2 (en) Method and apparatus of decoder side motion derivation for video coding
WO2019223746A1 (en) Method and apparatus of video coding using bi-directional cu weight
US20220166989A1 (en) Method and apparatus for estimating optical flow for motion compensation
CN108781295A (zh) 视频编码的样式基础的运动向量推导之方法及装置
TWI738236B (zh) 視訊編碼中具有運動精化的雙向預測視訊處理方法和裝置
TWI734254B (zh) 視訊編碼之多重假設方法和裝置
CN112292861B (zh) 用于解码端运动矢量修正的基于误差面的子像素精确修正方法
CN112514383A (zh) 用于视频编解码的利用运动向量差的合并方法和装置
TW202007154A (zh) 交織預測的改善
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant