CN112272952B - 用于视频编解码的双向光流的方法以及装置 - Google Patents

用于视频编解码的双向光流的方法以及装置 Download PDF

Info

Publication number
CN112272952B
CN112272952B CN201980039186.2A CN201980039186A CN112272952B CN 112272952 B CN112272952 B CN 112272952B CN 201980039186 A CN201980039186 A CN 201980039186A CN 112272952 B CN112272952 B CN 112272952B
Authority
CN
China
Prior art keywords
gradients
gradient
block
range
bit depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980039186.2A
Other languages
English (en)
Other versions
CN112272952A (zh
Inventor
苏郁琪
陈庆晔
庄子德
赖贞延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN112272952A publication Critical patent/CN112272952A/zh
Application granted granted Critical
Publication of CN112272952B publication Critical patent/CN112272952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种使用双向光流(BIO)用于真实双向预测块的方法以及装置。根据本发明的一个方法，梯度被限制于预定比特深度以减少计算复杂度。根据另一方法，梯度和与/或L0与L1插值像素之间的差值的数据范围由预定比特深度进行移位(shift)。所述预定比特深度可以被隐式决定或在序列级、图像级或条带级在比特流中发信。所述预定比特深度也可基于输入比特深度决定。

Description

用于视频编解码的双向光流的方法以及装置
相关引用
本发明要求于2018年6月11日提交的，美国临时专利申请案62/683,098、2018年7月27日提交的，美国临时专利申请案62/703,959、2018年8月13日提交的美国临时专利申请案62/717,982以及2018年8月17日提交的，美国临时专利申请案62/719,186的优先权。这些美国临时专利申请案的内容在此通过引用纳入其中。
技术领域
本发明涉及使用双向光流(Bi-directional Optical flow，BIO)来细化双向预测块的运动补偿。特别地，本发明涉及与BIO处理有关的计算复杂度减少。
背景技术
双向光流(BIO)
双向光流(BIO或BDOF)是在JCTVC-C204(E.Alashina等人，Bi-directionaloptical flow，2010年10月7-15日，中国广州举行的ITU-T SG 16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的视频编解码联合协作小组第三次会议，文献：JCTVC-C204)以及VCEG-AZ05(E.Alashina等人，Known tools performance investigation for next generationvideo coding，2015年6月19-26日，波兰华沙举行的ITU-T SG 16问题6，视频编解码专家组(VCEG)，第52次会议，文献：VCEG-AZ05)中公开的运动估计/补偿技术。基于如图1示出的光流以及稳定运动的假设，BIO推导样本级(sample-level)运动细化(motion refinement)，其中B条带120(双向预测条带(slice))中当前像素122由参考图像0(130)中的一个像素以及参考图像1(110)中的一个像素预测。如图1所示，当前像素122由参考图像1(110)中的像素B(112)以及参考图像0(130)中的像素A(132)预测。在图1中，vx以及vy是x方向以及y方向上的像素位移向量，其使用双向光流(BIO)模型来推导。其仅被应用于真实的双向预测块，所述双向预测块根据对应于先前图像以及后续图像的两个参考图像来预测。在VCEG-AZ05中，BIO利用5×5窗口(window)来推导每一样本的运动细化。因此，对于N×N块，需要(N+4)×(N+4)块的运动补偿结果以及对应的梯度信息来推导N×N块的基于样本的运动细化。根据VCEG-AZ05，6抽头梯度滤波器以及6抽头插值滤波用于生成BIO的梯度信息。因此，BIO的计算复杂度远高于传统的双向预测。为了进一步改善BIO的性能，提出了后续的方法。
在HEVC传统的双向预测中，使用等式(1)生成预测子，其中P(0)以及P(1)分别是列表0以及列表1的预测子。
PConventional[i,j]＝(P(0)[i,j]+P(1)[i,j]+1)＞＞1 (1)
在JCTVC-C204以及VECG-AZ05中，使用等式(2)生成BIO预测子。
POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix (0)-Ix (1)[i,j])+vy[i,j](Iy (0)-Iy (1)[i,j])+1)＞＞1 (2)
在等式(2)中，Ix (0)以及Ix (1)分别表示列表0以及列表1预测子在x方向上的梯度；Iy (0)以及Iy (1)分别表示列表0以及列表1预测子在y方向上的梯度；vx以及vy分别表示在x以及y方向上的偏移(offset)或位移(displacement)。vx以及vy的推导过程在下文中示出。首先，成本函数被定义为diffCost(x,y)来找到最佳值vx以及vy。为了找到最佳值vx以及vy来最小化成本函数diffCost(x,y)，使用了一个5×5窗口。vx以及vy的求解可以通过使用S1、S2、S3、S5以及S6来表示。
Figure GDA0003554437170000031
最小成本函数mindiffCost(x,y)可以根据以下来推导：
Figure GDA0003554437170000032
通过求解等式(3)以及(4)，可以根据等式(5)来求解vx以及vy：
Figure GDA0003554437170000033
其中：
Figure GDA0003554437170000034
Figure GDA0003554437170000035
Figure GDA0003554437170000036
在上述等式中，
Figure GDA0003554437170000037
对应于列表0图像中在(x,y)处像素的x方向上的梯度，
Figure GDA0003554437170000038
对应于列表1图像中在(x,y)处像素的在x方向上的梯度，
Figure GDA0003554437170000039
对应于列表0图像中在(x,y)处像素的y方向上的梯度，
Figure GDA00035544371700000310
对应于列表1图像中在(x,y)处像素的在y方向上的梯度。
在一些相关领域中，S2可以被忽略，以及vx以及vy可以根据以下等式来求解：
Figure GDA00035544371700000311
其中：
Figure GDA0003554437170000041
Figure GDA0003554437170000042
Figure GDA0003554437170000043
在上述等式中，参数S1、S2、S3、S5以及S6与x方向上的梯度以及y方向上的梯度有关。例如，S1根据列表0中参考块的x方向上的梯度与列表1中参考块的x方向上的梯度之和来计算。所述和的平方被用作S1。S5根据列表0中参考块的y方向上的梯度与列表1中参考块的y方向上的梯度之和来计算。所述和的平方用作S5。为了简便，参数S1、S2、S3、S5以及S6在本公开中被称为梯度参数(gradient parameter)。实际上，梯度参数S1、S2、S3、S5以及S6通常使用具有预定比特深度(pre-defined bit-depth)的固定点表示。vx以及vy的推导将需要乘法、加法以及除法操作。其中，除法操作的实施成本更高。
我们可以发现在BIO进程中所需要的比特深度较大，尤其是计算S1、S2、S3、S5以及S6时。例如，如果视频序列中像素值的比特深度是10位并且梯度的比特深度由分数插值滤波器或梯度滤波器而增加，那么需要16位来表示x方向上的梯度或y方向上的梯度。这16位可以进一步由等于4的梯度偏移来减小，使得一个梯度需要12个位来表示值。即使梯度的量级(magntitude)可以由梯度偏移减少到12位，所需要的BIO操作的比特深度仍很大。需要一个13位乘13位的乘法器来计算S1、S2以及S5。需要另一个13位乘17位的乘法器来获得S3以及S6。当窗口尺寸大时，需要超过32个位来表示S1、S2、S3、S5以及S6。为了减少所需要的比特深度，本发明中公开了各种方法。
广义双向预测(Generalized bi-prediction，GBi)
在JVET-C0047(C.Chen等人，2016年5月26日-6月1日，瑞士加内瓦举行的ITU-T SG16 WP3以及ISO/IEC JTC 1/SC 29/WG 11的联合视讯勘探小组(JVET)第三次会议，“Generalized bi-prediction for inter coding”，文献：JVET-C0047)中公开了广义双向预测(GBi)。GBi的概念是允许使用不同的权重分别用于来自L0到L1的预测子，而不是传统双向预测中使用相等的权重。预测子生成可以被概括在等式(7)以及等式(8)中。
PTraditionalBiPred＝(PL0+PL1+RoundingOffset)>>shiftNum (7)
PGBi＝(w0*PL0+w1*PL1+RoundingOffsetGBi)>>shiftNumGBi. (8)
在上述等式中，PTraditionalBiPred以及PGBi分别是传统双向预测以及GBi的最终预测子，PL0以及PL1是来自L0以及L1的预测子，w0以及w1是为L0以及L1选择的GBi权重，以及RoundingOffset,shiftNum,RoundingOffset1以及shiftNum1用于分别归一化(normalize)传统双向预测与GBi中最终预测子。对于AMVP模式(即，正常的帧间预测模式)，如果一个CU在双向预测模式中被编解码，GBi的权重选择被显式发信用于这个CU。对于合并(Merge)模式，权重选择从合并候选中继承。
发明内容
公开了一种使用双向光流(BIO)用于真实双向预测块的方法以及装置。根据本发明的一个方法，接收与当前图像中当前块有关的输入数据，其中所述当前块使用双向预测进行编解码。决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块，以及决定来自参考图像列表1的第二参考图像中与所述当前块有关的第二参考块，其中所述第一参考块与所述第二参考块由真实双向运动向量指出。基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，以及基于所述第二参考块推导多个第二x梯度以及多个第二y梯度。将与所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度有关的数据范围限制到预定比特深度来生成多个范围受限的第一x梯度、多个范围受限的第一y梯度、多个范围受限的第二x梯度以及多个范围受限的第二y梯度。基于第一信息推导一组梯度参数，其中所述第一信息包括所述多个范围受限的第一x梯度、所述多个范围受限的第一y梯度、所述多个范围受限的第二x梯度以及所述多个范围受限的第二y梯度。基于所述组梯度参数推导x运动偏移以及y运动偏移。基于第二信息生成用于所述当前块的已细化预测子，其中所述第二信息包括所述x运动偏移以及所述y运动偏移。基于所述已细化预测子对所述当前块进行编码或解码。
在一个实施例中，如果所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度大于最大值或小于最小值，所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度被剪切到由所述预定比特深度指示的允许值。
根据另一个方法，基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，以及基于所述第二参考块推导多个第二x梯度以及多个第二y梯度。基于所述多个第一x梯度以及所述多个第二x梯度推导多个x梯度和；基于所述多个第一y梯度以及所述多个第二y梯度推导多个y梯度和；推导所述第一参考块与所述第二参考块中插值像素之间的像素差值，以及其中用于所述多个x梯度和与所述多个y梯度和、所述像素差值或其两者的数据范围由第一预定比特深度进行移位。使用第一信息推导x运动偏移以及y运动偏移，其中所述第一信息包括所述多个x梯度和、所述多个y梯度和以及所述像素差值。基于第二信息生成所述当前块的已细化预测子，其中所述第二信息包括x运动偏移以及所述y运动偏移。基于所述已细化预测子对所述当前块进行编码或解码。
在一个实施例中，在由所述第一预定比特深度移位之前，用于所述多个x梯度和与所述多个y梯度和、所述像素差值或其两者的所述数据范围被限制于第二预定比特深度。在另一个实施例中，在由所述第一预定比特深度移位之后，用于所述多个x梯度和与所述多个y梯度和、所述像素差值或其两者的所述数据范围被限制于第二预定比特深度。
在上述方法中，所述第一预定比特深度可以被隐式地决定。所述第一预定比特深度可以根据输入比特深度来决定。所述第一预定比特深度可以在序列级、图像级或条带级在比特流中被发信。
通过本发明的方法，可以减少使用双向光流时所需要的比特宽度。
附图说明
图1示出了双向光流(BIO)的示例来推导运动细化的偏移运动向量。
图2示出了根据本发明实施例的使用双向光流(BIO)来细化双向预测块的运动的视频编解码系统的示例性流程图，其中梯度的数据范围(data range)被限制于预定比特深度。
图3示出了根据本发明实施例的使用双向双流(BIO)来细化双向预测块的预测子的视频编解码系统的示例性流程图，其中梯度和(gradient sum)与/或L0与L1插值像素之间的差值的数据范围被移位。
具体实施方式
后续的描述是实施本发明的最佳实施方式。所作之描述是出于说明本发明一般原理的目的因此不应做限制性理解。本发明的范围由参考所附权利要求最佳决定。
如之前所提到的，双向光流(BIO或BDOF)技术细化双向运动向量来改善运动补偿性能。然而，BIO或BDOF进程涉及复杂的操作。此外，这些操作涉及高精度的乘法器。为了减少复杂度，在实际中可以使用一些复杂度减少技术。例如，在一个应用中，根据下列等式，与梯度有关的资料范围通过右移位L0与L1插值像素之间的差值以及和，来减少数据范围：
Figure GDA0003554437170000081
Figure GDA0003554437170000082
Figure GDA0003554437170000083
Figure GDA0003554437170000084
Figure GDA0003554437170000085
在上述等式中：
shift＝max(4,(bitDepth-8)),以及
shiftA＝max(1,(bitDepth-11)).
方法1：限制梯度的数据范围
虽然梯度移位可以减少梯度的资料范围以及控制梯度的精度，仅通过使用梯度移位不足以限制梯度的数据范围。因此，公开了一种方法来限制梯度的数据范围到预定比特深度。如果梯度大于所允许的最大值或小于所允许的最小值，梯度被剪切到所允许的值。例如，我们可以限制梯度的数据范围到10比特，以致乘法器可以被减少到11比特乘11比特以及11比特乘17比特。在另一个实施例中，梯度的数据范围被限制到8比特，以致乘法器可以被减少到9比特乘9比特以及9比特乘17比特。根据输入比特深度，数据范围可以是被隐式定义的值，或者在序列级、图像级或条带级在比特流中被显式发信到解码器。在另一个实施例中，当梯度大于所允许的最大值或小于所允许的最小值时，BIO进程被跳过。
方法2：限制梯度和与/或L0与L1插值像素之间的差值的数据范围
BIO进程中乘法器的输入是L0与L1梯度之和或者L0与L1插值像素之间的差值。根据这一方法，限制被强加于L0与L1梯度之和或者L0与L1插值像素之间的差值的数据范围，而不是直接强加于梯度以及插值像素。在一个实施例中，限制以某个预定比特深度被强加到L0与L1梯度之和与/或L0与L1插值像素之间差值的数据范围。例如，我们可以分别限制L0与L1梯度之和与/或L0与L1插值像素的差值的数据范围到10比特，以致乘法器可以减少到10比特乘10比特以及10比特乘10比特。在另一个实施例中，梯度的数据范围被限制到8比特，以致乘法器可以被减少到8比特乘8比特以及8比特乘8比特。资料范围约束可以仅被应用于L0与L1梯度之和，仅被应用于L0与L1插值像素之间的差值，或者应用于两者。L0与L1梯度之和与在L0与L1插值像素之间的差值的数据范围可以是相同的或者可以是不同的。根据输入比特深度，数据范围可以是隐式预定的值，或者在序列级、图像级或条带级在比特流中被显式发信到解码器。在另一个实施例中，当L0与L1梯度之和或者在L0与L1插值像素之间的差值大于所允许的最大值或者小于所允许的最小值时，BIO进程可以被跳过。
在一个实施例中，超出所允许范围的这些数据不被用于推导BIO进程中的位移。在另一个实施例中，超出所允许范围的这些数据不被用于推导BIO进程中的位移并且这些数据不被BIO细化。
在一个实施例中，方法1与方法2被组合到一起来减少到所需要的比特深度。例如，我们限制梯度的数据范围以及在L0与L1插值像素之间的差值的数据范围到10比特。因此，乘法器可以被减少到11比特乘11比特以及11比特乘10比特。在另一个实施例中，当梯度的数据范围或者在L0与L1插值像素之间的差值大于所允许的最大值或小于所允许的最小值时，BIO进程可以被跳过。
方法3：移位梯度和与/或在L0与L1插值像素之间的差值的数据范围
在一个实施例中，我们提出以某个预定比特深度移位梯度和的数据范围。例如，我们可以将梯度和的数据范围右移位4比特以致乘法器可以被减少到8比特乘8比特以及8比特乘15比特。在另一个实施例中，我们也可以将L0与L1插值像素之间的差值的数据范围右移位。例如，L0与L1插值像素之间的差值的数据范围可以被右移位4比特以致乘法器可以被减少到12比特乘12比特以及12比特乘11比特。在一个实施例中，梯度和以及L0与L1插值像素之间的差值的数据范围两者都可以被移位。例如，梯度和以及L0与L1插值像素之间的差值的数据范围两者都可以被右移位4比特以致乘法器可以被减少到8比特乘8比特以及8比特乘11比特。在另一个示例中，我们将梯度和右移位4比特以及将L0与L1插值像素之间的差值右移位7比特。这样，乘法器可以被减少到8比特乘8比特以及8比特乘8比特。根据输入比特深度，用于梯度和/或L0与L1之间差值的移位数可以是隐式预定的值，或者可以在序列级、图像级或条带级在比特流中被显式发信到解码器。
方法4：限制以及移位梯度和的数据范围与/或限制以及移位L0与L1插值像素之间的差值
在一个实施例中，我们提出以某个预定比特深度限制梯度和的数据范围并且随后将其移位。剪切以及移位操作的顺序可以被切换以及剪切值与移位值可以根据应用的需求被设置为任意数。例如，我们可以限制梯度和的数据范围到10比特并且随后将所述梯度和右移位2比特。因此，乘法器可以被减少到8比特乘8比特以及8比特乘15比特。在另一个实施例中，L0与L1之间的差值的数据范围可以被剪切到12比特并且随后将所生成的值右移位1比特。乘法器变成12比特乘12比特以及12比特乘11比特。在一个实施例中，我们可以限制以及移位梯度和以及L0与L1插值像素之间的差值。例如，我们可以限制梯度和的数据范围到10比特并且随后将梯度后右移位2比特。接下来，我们限制L0与L1插值像素之间的差值的数据范围到12比特并且随后将其右移位1比特。这样，乘法器被减少到8比特乘8比特以及8比特乘11比特。此外，所有参数S1、S2、S3、S5以及S6可以以32比特来表示。用于限制数据范围以及移位梯度和以及L0与L1插值像素之间差值的操作的组合的更多示例被示于表1中。根据输入比特，用于梯度和的数据范围或者L0与L1之间差值的所限制的范围以及移位值可以是隐式预定的值，或者在序列级、图像级或者条带级的比特流中被显式发信到解码器。
表1
Figure GDA0003554437170000111
Figure GDA0003554437170000121
方法5：直接计算参考像素的梯度
根据现行惯例，通过使用两种不同的方法计算梯度。第一个方法是将一个运动相位相关的滤波器(motion-phase-dependent filter)应用到参考像素。根据这一方法，需要一组额外的梯度滤波器以及一组额外的插值滤波器来执行梯度计算。另一个方法是应用一个固定滤波器(如3抽头滤波器或5抽头滤波器)来插值像素。这样，不需要额外的滤波器组用于梯度计算。然而，引入了插值像素与梯度计算之间的数据相关性。为了移除这一数据相关性，我们提出直接将一个固定滤波器应用到参考像素。在一个实施例中，MV首先被舍入(rounded)到整数MV。梯度通过直接将一个固定滤波器(如3-抽头滤波器或5抽头滤波器)应用到参考像素而不先考虑MV的分数部分来导出。例如，如果MV是(0.25,-0.25)，那么舍入的MV变成(0,0)。如果滤波系数等于[-1,0,1]的3抽头滤波器被用于计算梯度，水平梯度通过使用在位置(1,0)以及(-1,0)的参考像素计算，以及垂直梯度通过使用在位置(0,1)以及(0,-1)的参考像素计算。通过使用这一方法，插值像素与梯度计算之间的数据相关性被移除。
在另一个实施例中，在由MV指出的位置附近的四个最近的整数参考像素被用于计算梯度。例如，如果MV是(0.25,-0.25)，那么在位置(0,0)、(1,0)、(0,-1)以及(1,-1)的参考像素被用于计算梯度。通过平均在位置(0,0)以及(1,0)的参考像素之间的差值以及在位置(0,-1)以及(1,-1)的参考像素之间的差值推导水平梯度。通过平均在位置(0,-1)以及(0,0)的参考像素之间的差值以及在位置(1,-1)以及(1,0)的参考像素之间的差值推导垂直梯度。在另一个实施例中，由MV指出的位置周围的三个最近的整数参考像素被用于计算梯度。例如，如果MV是(0.25,-0.25)，那么在位置(0,0)、(1,0)以及(0,-1)的参考像素被用于计算梯度。通过计算在位置(0,0)与(1,0)的参考像素之间的差值推导水平梯度。通过计算在位置(0,-1)以及(0,0)的参考像素之间的差值推导垂直梯度。
在另一个实施例中，预定权重对(predefined weighting pair)可以被应用于计算梯度。例如，如果MV是(0.25,-0.25)，那么在位置(0,0)、(1,0)、(0,-1)以及(1,-1)的参考像素被用于计算梯度。通过在位置(0,0)与(1,0)参考像素之间的差值乘以权重(如0.25)与在位置(0,-1)与(1,-1)的参考像素之间的差值乘以权重(如，0.75)之和来推导水平梯度。通过在位置(0,-1)与(0,0)的参考像素之间的差值乘以权重(如，0.25)以及在位置(1,-1)与(1,0)的参考像素之间的差值乘以权重(如，0.75)之和来推导垂直梯度。权重对的值可以是其和等于1的任意两个数(如，[0.25,0.75])。
方法6：在水平插值滤波器后计算梯度
在方法5中，通过直接应用一个固定滤波器到参考像素我们可以完全移除数据相关性。同时分数MV的梯度精度将被忽略。例如，即使多个MV具有不同的分数部分，所述些MV将被首先舍入到整数MV以及所述些舍入的MV变成指向相同参考像素。为了减少数据相关性并保留分数MV的一些梯度精度，我们提出将一个固定滤波器应用到在水平插值滤波器后生成的输出像素，在其中考虑MV的水平分数部分。例如，参考像素将由水平插值滤波器来生成，其中通过考虑MV的水平分数部分，应用一个固定滤波器(如，3抽头滤波器或5抽头滤波器)到输出像素来推导梯度。
方法7：GBi与BIO之间的交互
在BIO中，L0与L1插值像素将基于光流的理论更新，而GBi允许L0与L1插值像素的不同权重用于预测块的最终混合。两个编解码工具均旨在增强双向预测模式中的预测性能。我们可以使能两个编解码工具之一来避免性能受到另一个影响同时节省运行时间。在一个实施例中，当BIO启用时，GBi可以被禁用。这样，L0与L1的相等权重某种程度上满足BIO中L0与L1局部运动向量的相等偏移的假设。
在一些情况中，当前图像与来自L0的参考图像之间的POC差值以及当前图像与来自L1的参考图像之间的POC差值是不同。这样，在BIO中来自L0与L1的局部运动向量的相等移动的假设是不正确的。在一个实施例中，我们可以同时禁用GBi以及BIO来从这两个编解码工具中获得额外的编解码增益(coding gain)。在另一个实施例中，当BIO被禁用时，仅部分权重选择可以被使用。在另一个实施例中，当BIO被启用时的所支持的GBi权重可以与当BIO被禁用时的GBi权重不同。当BIO被启用时，所支持的GBi权重可以是预定的或者被发信到解码器。选择方法可以基于当前图像与来自L0与L1的参考图像之间的图像计数(pictureof count，POC)差值。例如，如果来自L0参考图像、当前图像以及来自L1的参考图像的POC分别是1、2以及7，那么当前图像与来自L0的参考图像之间的POC的差值(称为diff_POC0)以及当前图像与来自L1的参考图像之间的POC的差值(称为diff_POC1)分别是1和5。diff_POC0与diff_POC1之间的差值是4，称为diff_POC0_POC1。如果diff_POC0_POC1大于预定阈值，BIO可以用来自GBi的某个所选择的权重来启用。决定所选择权重的条件可以由QP(量化参数)、POC、时间层ID或这些因素的任何组合有关的信息来决定。
前述提出的任何方法可以在编码器或解码器中实施。例如，任何提出的方法可以在编码器的帧间预测模块或重构进程，与/或解码器的帧间预测模块或重构进程中实施。或者，任何提出的方法可以被实施为耦合到编码器的帧间预测模块或重构进程与/或解码器的帧间预测模块或重构进程的电路。
图2示出了根据本发明实施例的使用双向光流(BIO)来细化双向预测块运动的视频编解码(例如，编码与/或解码)系统的示例性流程图，其中梯度的数据范围被限制为预定比特深度。流程图以及本公开其他流程图示出的步骤可以被实施为可在编码器侧与/或解码器侧的一个或多个个处理器(如，一个或多个CPU)上可执行的程序代码。流程图中所示出的步骤也可以基于硬件来实施，如被安排来执行流程图中步骤的一个或多个电子装置或处理器。根据这一方法，在步骤210，接收与当前图像中当前块有关的输入数据，其中所述当前块使用双向预测进行编解码(例如，编码或解码)。在步骤220中，决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块以及决定来自参考图像列表1的第二参考图像中与所述当前块有关的第二参考块，其中所述第一参考块与所述第二参考块由真实的双向运动向量指出。在步骤230中，基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，以及基于所述第二参考块推导多个第二x梯度以及多个第二y梯度。在步骤240中，与所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度有关的数据范围被限制为预定比特深度来生成多个范围受限的第一x梯度、多个范围受限的第一y梯度、多个范围受限的第二x梯度以及多个范围受限的第二y梯度。在步骤250中，基于第一信息生成一组梯度参数，其中所述第一信息包括所述多个范围受限的第一x梯度、所述多个范围受限的第一y梯度、所述多个范围受限的第二x梯度以及所述多个范围受限的第二y梯度。在步骤260，基于所述组梯度参数推导x运动偏移以及y运动偏移。在步骤270，基于第二信息生成用于所述当前块的已细化预测子，其中所述第二信息包括所述x运动偏移以及所述y运动偏移。在步骤280中，基于所述已细化预测子对所述当前块进行编码或解码。
图3示出了根据本发明实施例的使用双向光流(BIO)来细化双向预测块的预测子的视频编解码(例如，编码与/或解码)系统的示例性流程图，其中梯度和的数据范围与/或L0与L1插值像素之间的差值的数据范围被移位。根据这一方法，在步骤310，接收与当前图像中当前块有关的输入数据，其中所述当前块使用双向预测进行编解码(例如，编码与/或解码)。在步骤320，决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块以及决定来自参考图像列表1的第二参考图像中与所述当前块有关的第二参考块，其中所述第一参考块与所述第二参考块由真实的双向运动向量指出。在步骤330，基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，基于所述第二参考块推导多个第二x梯度以及多个第二y梯度。在步骤340，基于所述多个第一x梯度以及所述多个第二x梯度推导多个x梯度和，基于所述多个第一y梯度以及所述多个第二y梯度推导多个y梯度和；以及推导所述第一参考块与所述第二参考块中插值像素之间的像素差值；其中用于所述多个x梯度和与所述多个y梯度和、所述像素差值或其两者的数据范围由第一预定比特深度进行移位。在步骤350中，使用第一信息推导x运动偏移以及y运动偏移，其中所述第一信息包括所述多个x梯度和、所述多个y梯度和以及所述像素差值。在步骤360，基于第二信息生成用于所述当前块的已细化预测子，其中所述第二信息包括x运动偏移以及y运动偏移。在步骤370，基于所述已细化预测子对所述当前块进行编码或解码。
上述示出的流程图旨在说明根据本发明的视频编解码的示例。在不背离本发明的精神的情况下，本领域普通技术人员可以修正每一步骤、重新排列多个步骤、拆分部分或组合步骤来实施本发明。在本公开中，已经使用了特定的语法与语义来说明示例来实施本发明的实施例。在不背离本发明精神的情况下，本领域习知技术者可以通过用相等的语法与语义替换所述语义与语义来实施本发明。
上述描述被提出来使能本领域普通技术人员来以特定应用的上下文中所提供的以及其需求来实施本发明。对所描述实施例的各种修正对本领域技术人员将是显而易见的，以及本文定义的一般原则可以被应用于其他实施例。因此，本发明不旨在限制于所示出以及所描述的特定实施例，而是与本文公开的原理以及新颖特征的最宽范围一致。在上述细节描述中，各种具体细节被示出以提供本发明的透彻理解。然而，本领域技术人员将能理解，可以实施本发明。
如上所描述的本发明的实施例可以以各种硬件、软件代码或其两者组合的方法来实施。例如，本发明的实施例可以是整合到视频压缩芯片的一个或多个电子电路或者整合到视频压缩软件来执行本文所描述的处理的程序代码。本发明的实施例也可以是将在数字信号处理器(DSP)上执行本文所描述的处理的程序代码。本发明也涉及由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(FPGA)执行的许多功能。这些处理器可以用于执行根据本发明的特定人物，通过执行定义由本发明实施的特定方法的机器可读软件代码或固体代码。软件代码或固体代码可以以不同的程序语言以及不同的格式或风格进行开发。软件代码也可以被编译以用于不同的目标平台。然而，软件代码不同的代码格式、风格以及语言以及配置代码来执行根据本发明任务的其他方式将不背离本发明的精神以及范围。
在不背离本发明精神或基本特征的情况下，可以以其他具体的形式实施。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前述的描述来指示。权利要求的等同含义以及范围内的所有变化都包括在其范围内。

Claims (13)

1.一种使用双向光流用于真实双向预测块的视频编解码方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入数据，其中所述当前块使用双向预测进行编解码；
决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块以及决定来自参考图像列表1的第二参考图像中与所述当前块有关的第二参考块，其中所述第一参考块以及所述第二参考块由真实的双向运动向量指出；
基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，以及基于所述第二参考块推导多个第二x梯度以及多个第二y梯度；
限制与所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度有关的数据范围于预定比特深度来生成多个范围受限的第一x梯度、多个范围受限的第一y梯度、多个范围受限的第二x梯度以及多个范围受限的第二y梯度；
基于第一信息推导一组梯度参数S1、S2、S3、S5以及S6，其中所述第一信息包括所述多个范围受限的第一x梯度、所述多个范围受限的所述第一y梯度、所述多个范围受限的第二x梯度、所述多个范围受限的第二y梯度；
基于所述组梯度参数推导x运动偏移以及y运动偏移；
基于第二信息生成用于所述当前块的已细化预测子，其中所述第二信息包括所述x运动偏移以及所述y运动偏移；以及
基于所述已细化预测子编码或解码所述当前块。
2.如权利要求1所述的使用双向光流用于真实双向预测块的视频编解码方法，其特征在于，其中如果所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度大于最大值或小于最小值，所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度被剪切到由所述预定比特深度指示的允许值。
3.如权利要求1所述的使用双向光流用于真实双向预测块的视频编解码方法，其特征在于，其中所述预定比特深度被隐式决定。
4.如权利要求1所述的使用双向光流用于真实双向预测块的视频编解码方法，其特征在于，其中所述预定比特深度是根据输入比特深度来决定。
5.如权利要求1所述的使用双向光流用于真实双向预测块的视频编解码方法，其特征在于，其中所述预定比特深度在序列级、图像级或条带级比特流中被发信。
6.一种使用双向光流用于真实双向预测块的视频编解码的装置，其特征在于，所述视频编解码装置包括一个处理器，包含：
用于接收与当前图像中当前块有关的输入数据的装置，其中所述当前块使用双向预测进行编解码；
用于决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块以及决定来自参考图像列表1的第二参考图像中与所述当前块有关的第二参考块的装置，其中所述第一参考块以及所述第二参考块由真实的双向运动向量指出；
用于基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，以及基于所述第二参考块推导多个第二x梯度以及多个第二y梯度的装置；
用于限制与所述多个第一x梯度、所述多个第一y梯度、所述多个第二x梯度以及所述多个第二y梯度有关的数据范围于预定比特深度来生成多个范围受限的第一x梯度、多个范围受限的第一y梯度、多个范围受限的第二x梯度以及多个范围受限的第二y梯度的装置；
用于基于第一信息推导一组梯度参数S1、S2、S3、S5以及S6的装置，其中所述第一信息包括所述多个范围受限的第一x梯度、所述多个范围受限的所述第一y梯度、所述多个范围受限的第二x梯度、所述多个范围受限的第二y梯度；
用于基于所述组梯度参数推导x运动偏移以及y运动偏移的装置；
用于基于第二信息生成用于所述当前块的已细化预测子的装置，其中所述第二信息包括所述x运动偏移以及所述y运动偏移；以及
用于基于所述已细化预测子编码或解码所述当前块的装置。
7.一种使用双向双流用于真实双向预测块的视频编解码方法，其特征在于，所述方法包括：
接收与当前图像中当前块有关的输入数据，其中所述当前块使用双向预测进行编解码；
决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块以及决定来自参考图像列表1中第二参考图像中与所述当前块有关的第二参考块，其中所述第一参考块与所述第二参考块由真实的双向运动向量指出；
基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，基于所述第二参考块推导多个第二x梯度以及多个第二y梯度；
基于所述多个第一x梯度以及所述多个第二x梯度推导多个x梯度和，基于所述多个第一y梯度以及所述多个第二y梯度推导多个y梯度和；以及推导在所述第一参考块与所述第二参考块中多个插值像素之间的多个像素差值；其中用于所述多个x梯度和与所述多个y梯度和、所述多个像素差值或其两者的数据范围由第一预定比特深度进行移位；
使用第一信息推导x运动偏移以及y运动偏移，其中所述第一信息包括所述多个x梯度和、所述多个y梯度和以及所述多个像素差值；
基于第二信息生成用于所述当前块的已细化预测子，其中所述第二信息包括所述x运动偏移以及所述y运动偏移；以及
基于所述已细化预测子编码或解码所述当前块。
8.如权利要求7所述的使用双向双流用于真实双向预测块的视频编解码方法，其特征在于，其中所述第一预定比特深度被隐式地决定。
9.如权利要求7所述的使用双向双流用于真实双向预测块的视频编解码方法，其特征在于，其中所述第一预定比特深度是基于输入比特深度来决定。
10.如权利要求7所述的使用双向双流用于真实双向预测块的视频编解码方法，其特征在于，其中所述第一预定比特深度在序列级、图像级或条带级比特流中被发信。
11.如权利要求7所述的使用双向双流用于真实双向预测块的视频编解码方法，其特征在于，其中在由所述第一预定比特深度移位之前，用于所述多个x梯度和与所述多个y梯度和、所述多个像素差值或其两者的所述数据范围被限制于第二预定比特深度。
12.如权利要求7所述的使用双向双流用于真实双向预测块的视频编解码方法，其特征在于，其中在由所述第一预定比特深度移位之后，用于所述x梯度和与所述y梯度和、所述像素差值或其两者的所述数据范围被限制于第二预定比特深度。
13.一种使用双向光流用于真实双向预测块的视频编解码的装置，其特征在于，所述视频编解码装置包括一个处理器，包含：
用于接收与当前图像中当前块有关的输入数据的装置，其中所述当前块使用双向预测进行编解码；
用于决定来自参考图像列表0的第一参考图像中与所述当前块有关的第一参考块以及决定来自参考图像列表1中第二参考图像中与所述当前块有关的第二参考块的装置，其中所述第一参考块与所述第二参考块由真实的双向运动向量指出；
用于基于所述第一参考块推导多个第一x梯度以及多个第一y梯度，基于所述第二参考块推导多个第二x梯度以及多个第二y梯度的装置；
用于基于所述多个第一x梯度以及所述多个第二x梯度推导多个x梯度和，基于所述多个第一y梯度以及所述多个第二y梯度推导多个y梯度和；以及推导在所述第一参考块与所述第二参考块中多个插值像素之间的多个像素差值的装置；其中用于所述多个x梯度和与所述多个y梯度和、所述多个像素差值或其两者的数据范围由第一预定比特深度进行移位；
用于使用第一信息推导x运动偏移以及y运动偏移的装置，其中所述第一信息包括所述多个x梯度和、所述多个y梯度和以及所述多个像素差值；
用于基于第二信息生成用于所述当前块的已细化预测子的装置，其中所述第二信息包括所述x运动偏移以及所述y运动偏移；以及
用于基于所述已细化预测子编码或解码所述当前块的装置。
CN201980039186.2A 2018-06-11 2019-06-10 用于视频编解码的双向光流的方法以及装置 Active CN112272952B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862683098P 2018-06-11 2018-06-11
US62/683,098 2018-06-11
US201862703959P 2018-07-27 2018-07-27
US62/703,959 2018-07-27
US201862717982P 2018-08-13 2018-08-13
US62/717,982 2018-08-13
US201862719186P 2018-08-17 2018-08-17
US62/719,186 2018-08-17
PCT/CN2019/090560 WO2019238008A1 (en) 2018-06-11 2019-06-10 Method and apparatus of bi-directional optical flow for video coding

Publications (2)

Publication Number Publication Date
CN112272952A CN112272952A (zh) 2021-01-26
CN112272952B true CN112272952B (zh) 2022-07-01

Family

ID=68842690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039186.2A Active CN112272952B (zh) 2018-06-11 2019-06-10 用于视频编解码的双向光流的方法以及装置

Country Status (7)

Country Link
US (1) US11153599B2 (zh)
EP (1) EP3804324A4 (zh)
KR (1) KR102596104B1 (zh)
CN (1) CN112272952B (zh)
MX (1) MX2020013386A (zh)
TW (1) TWI717753B (zh)
WO (1) WO2019238008A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615147A (zh) * 2016-07-14 2024-02-27 三星电子株式会社 视频解码方法及其装置以及视频编码方法及其装置
US11310520B2 (en) * 2018-09-04 2022-04-19 Hfi Innovation Inc. Method and apparatus of motion-vector rounding unification for video coding system
KR20210071958A (ko) 2018-09-21 2021-06-16 브이아이디 스케일, 인크. 양방향 옵티컬 플로우를 위한 복잡도 감소 및 비트 폭 제어
MX2021004715A (es) 2018-11-05 2021-06-04 Beijing Bytedance Network Tech Co Ltd Interpolacion para interprediccion con refinamiento.
KR20210091304A (ko) * 2018-11-21 2021-07-21 인터디지털 브이씨 홀딩스 인코포레이티드 화상 인코딩 및 디코딩을 위한 방법 및 디바이스
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof
WO2021050234A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for signaling video coding information
WO2021050226A1 (en) * 2019-09-12 2021-03-18 Alibaba Group Holding Limited Method and apparatus for encoding or decoding video

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475365B1 (ko) 2007-04-09 2014-12-23 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
EP2557795A4 (en) 2010-04-06 2015-07-08 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING A VIDEO AND METHOD AND APPARATUS FOR DECODING A VIDEO
KR101770317B1 (ko) 2013-04-08 2017-09-05 지이 비디오 컴프레션, 엘엘씨 성분-간 예측
WO2015015058A1 (en) 2013-07-31 2015-02-05 Nokia Corporation Method and apparatus for video coding and decoding
WO2017036399A1 (en) 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
KR102432085B1 (ko) 2015-09-23 2022-08-11 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
KR20170058838A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN114827599A (zh) * 2016-02-03 2022-07-29 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
WO2017197146A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
JP6938612B2 (ja) 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
WO2018054269A1 (en) 2016-09-22 2018-03-29 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10880570B2 (en) 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
WO2018070632A1 (ko) 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US10986367B2 (en) 2016-11-04 2021-04-20 Lg Electronics Inc. Inter prediction mode-based image processing method and apparatus therefor
CN110115032B (zh) 2016-12-22 2021-07-20 联发科技股份有限公司 用于视频编解码的运动细化的方法以及装置
US10750203B2 (en) 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10931969B2 (en) 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
WO2018166357A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of motion refinement based on bi-directional optical flow for video coding
US20180332298A1 (en) 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
CN117478884A (zh) * 2017-07-03 2024-01-30 Vid拓展公司 用于视频编解码的设备、方法
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
US11523109B2 (en) * 2019-05-02 2022-12-06 Tencent America LLC Method and apparatus for improvements of affine prof

Also Published As

Publication number Publication date
US11153599B2 (en) 2021-10-19
KR20210018942A (ko) 2021-02-18
EP3804324A4 (en) 2022-08-03
TW202002645A (zh) 2020-01-01
TWI717753B (zh) 2021-02-01
EP3804324A1 (en) 2021-04-14
CN112272952A (zh) 2021-01-26
US20210250604A1 (en) 2021-08-12
WO2019238008A1 (en) 2019-12-19
MX2020013386A (es) 2021-03-09
KR102596104B1 (ko) 2023-10-30

Similar Documents

Publication Publication Date Title
CN112272952B (zh) 用于视频编解码的双向光流的方法以及装置
US11109062B2 (en) Method and apparatus of motion refinement based on bi-directional optical flow for video coding
US11109061B2 (en) Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
CN110115032B (zh) 用于视频编解码的运动细化的方法以及装置
WO2017036399A1 (en) Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
US11470348B2 (en) Methods and apparatuses of video processing with bi-direction prediction in video coding systems
JP2023164833A (ja) インター－イントラ複合予測の簡単化
US11985330B2 (en) Method and apparatus of simplified affine subblock process for video coding system
CN116320473A (zh) 光流预测细化的方法和装置
US20150358644A1 (en) Video encoding apparatus and method, video decoding apparatus and method, and programs therefor
US20230232012A1 (en) Method and Apparatus Using Affine Non-Adjacent Candidates for Video Coding
WO2023221993A1 (en) Method and apparatus of decoder-side motion vector refinement and bi-directional optical flow for video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant