CN108781294A - 用于视频编解码的基于双向预测光流技术的运动补偿方法及装置 - Google Patents

用于视频编解码的基于双向预测光流技术的运动补偿方法及装置 Download PDF

Info

Publication number
CN108781294A
CN108781294A CN201780008566.0A CN201780008566A CN108781294A CN 108781294 A CN108781294 A CN 108781294A CN 201780008566 A CN201780008566 A CN 201780008566A CN 108781294 A CN108781294 A CN 108781294A
Authority
CN
China
Prior art keywords
current block
decoding
video
encoding
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780008566.0A
Other languages
English (en)
Other versions
CN108781294B (zh
Inventor
陈庆晔
庄子德
黄毓文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Priority to CN202110887967.6A priority Critical patent/CN113612993B/zh
Publication of CN108781294A publication Critical patent/CN108781294A/zh
Application granted granted Critical
Publication of CN108781294B publication Critical patent/CN108781294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明公开了一种运动补偿方法及装置，其使用双向光流技术。根据本发明的一方法，双向光流流程被应用以仅以合并模式或仅以高级运动矢量预测模式编码或解码双向当前块。根据另一方法，如果当前块是使用双向预测模式编解码的，基于联合编解码标志，双向光流流程有条件地编码或解码当前块。根据又一方法，当前块的x偏移值vx和y偏移值vy被添加到当前运动矢量以形成最终运动矢量。随后最终运动矢量用作候选块的参考运动矢量。在又一方法中，双向光流流程被应用于色度分量。

Description

用于视频编解码的基于双向预测光流技术的运动补偿方法及 装置
优先权声明
本发明要求在2016年02月05日提出的申请号为62/291,588的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明涉及运动补偿，以用于使用双向光流(bi-directional optical flow，BIO)技术的视频编解码。具体地，本发明涉及在一些条件下选择性地使用BIO，以提高性能或者降低使用BIO技术的复杂度。
背景技术
双向光流是JCTVC-C204(E.Alshina,et al.,Bi-directional optical flow,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IECJTC 1/SC 29/WG 11,3rd Meeting:Guangzhou,CN,7-15October,2010,Document:JCTVC-C204)和VCEG-AZ05(E.Alshina,et al.,Known tools performance investigation fornext generation video coding,ITU-T SG 16Question 6,Video Coding Experts Group(VCEG),52nd Meeting:19–26June 2015,Warsaw,Poland,Document:VCEG-AZ05)中公开的运动估计/运动补偿技术。双向光流基于光流和稳定运动的假设推导出样本层运动细分(refinement)。双向光流仅被使用以用于真实双向预测块，其可以自对应于先前帧和后续帧的两个参考帧预测。在VCEG-AZ05中，双向光流采用5x5窗口以推导出每个样本的运动细分。因此，对于NxN块，(N+4)x(N+4)块的运动补偿结果和相应的梯度信息被需要，以推导出用于NxN块的基于样本的运动细分。根据VCEG-AZ05，6抽头(Tap)梯度滤波器和6抽头插值滤波器用于生成用于双向光流的梯度信息。因此，双向光流的计算复杂度比传统的双向预测的计算复杂度高得多。为了进一步提高双向光流的性能，提出了如下方法。
在HEVC中的传统的双向预测中，使用等式(1)，生成预测子，其中P(0)和P(1)分别是列表0预测子和列表1预测子。
PConventional[i,j]＝(P(0)[i,j]+P(1)[i,j]+1)>>1 (1)
在JCTVC-C204和VECG-AZ05中，使用等式(2)，生成双向光流预测子。
POpticalFlow＝(P(0)[i,j]+P(1)[i,j]+vx[i,j](Ix (0)-Ix (1)[i,j])+
vy[i,j](Iy (0)-Iy (1)[i,j])+1)>>1 (2)
在等式(2)中，Ix (0)和Ix (1)分别表示列表0预测子和列表1预测子中的x方向梯度；Iy (0)和Iy (1)分别表示列表0预测子和列表1预测子中的y方向梯度；vx和vy分别表示x方向的偏移和y方向的偏移。图1示出了使用双向光流技术的运动补偿的示例，其中参考图像0(130)和参考图像1(110)用于推导用于B切片(120)的运动矢量。偏移Vx和偏移Vy被推导出，并在等式(2)中使用。如等式(3a)和等式(3b)所示，使用差分技术以自图像强度(intensity)的时空导数(derivatives)计算速度，上述等式被推导出，I(x,y,t)表示时空坐标系中图像强度。
I(x,y,t)＝I(x+MV0x+vx,y+MV0y+vy,t-Δt) (3a)
＝I(x+MV1x-vx,y+MV1y-vy,t+Δt) (3b)
等式(3a)可以被进一步推导成如下：
同理，等式(3b)可以被进一步推导成如下：
因此，双向光流被推导成如下，其等价于等式(2)，其中和
根据如下，两点的值之间的差Δ[i,j]可以被推导成：
在本发明中，两点的值之间的差Δ[i,j]称为位于两点处的流差(flowdifference)。在等式(6)中，vx[i,j]和vy[i,j]是像素方向(pixel-wise)运动矢量细分分量，其中仅微运动(fine motion)被考虑，并且主运动(major motion)由运动补偿而进行补偿。相应地，和也是列表0参考帧和列表1参考帧的位置[i,j]处的亮度I的梯度。在本发明中，运动矢量细分分量，即vx[i,j]和vy[i,j]，也称为x偏移值和y偏移值。
为了解出vx[i,j]和vy[i,j]，一个包括正在被处理的像素和(2M+1)×(2M+1)相邻像素的窗口被使用。像素集Ω表示窗口中的像素，即当且仅当i-M≤i'≤i+M和j-M≤j’≤j+M，[i',j’]∈Ω。基于减少的值，vx[i,j]和vy[i,j]被选择。
用于整数像素分辨率的梯度计算如下所示：
对于分数像素分辨率，插值先被执行，并且梯度被计算为：
在上述等式中，α是块运动矢量，R(k)[i,j]是位于整数位置[i,j]的参考图像值，其中k＝0或1，Fn(α)是用于分数MV的插值滤波器的滤波器。
对于x方向梯度，如果y位置是整数，则亮度梯度滤波器被使用。如果y位置是分数，则y方向中的插值被执行，并且亮度梯度滤波器在x方向中被使用。对于y方向梯度，如果x位置是整数，则亮度梯度滤波器被使用。如果x位置是分数，则亮度梯度滤波器在y方向中被使用，并且x方向中的插值被执行。
在现有的双向光流实施方式中，用于vx[i,j]和vy[i,j]的窗口尺寸是5x5，并且双向光流仅被应用到仅具有真实双向预测2N×2N编码单元(coding unit，CU)的亮度分量。对于位于分数像素分辨率处的梯度计算，额外的6抽头插值滤波器/6抽头梯度滤波器被使用。另外，垂直流程先被执行，然后水平流程被执行。
发明内容
本发明公开了一种运动补偿方法及装置，其使用双向光流技术。根据本发明的一方法，如果当前块是使用双向预测模式编解码的，则基于用于编码或解码当前块的当前模式，将有条件地应用双向光流流程以编码或解码当前块。如果当前模式等于一个或多个所选择的模式，则具有双向光流流程的当前模式用于编码或解码当前块，以及如果当前模式不等于一个或多个所选择的模式，则没有双向光流流程的当前模式用于编码或解码当前块。在一个实施例中，所选择的模式仅包括合并模式。在另一实施例中，所选择的模式仅包括高级运动矢量预测模式。
根据另一方法，如果当前块是使用双向预测模式编解码的，则基于联合编解码标志，将有条件地应用双向光流流程以编码或解码当前块。如果联合编解码标志具有第一值，则具有双向光流流程的当前模式用于编码或解码当前块，以及如果联合编解码标志具有第二值，则没有双向光流流程的当前模式用于编码或解码当前块。当当前块不是以双向预测模式编解码的时，联合编解码标志可以用于指示另一流程是否是被开启还是被关闭以用于当前块。另一流程可以对应于低通滤波器流程、尖锐滤波器流程或偏移流程，以修改多个运动补偿结果。
根据又一方法，双向光流流程被应用以推导出当前块的x偏移值vx和y偏移值vy。x偏移值vx和y偏移值vy被添加到一个或多个原始运动矢量，以获得当前块的一个或多个最终运动矢量。基于当前块的最终运动矢量，多个双向预测子被生成，并且使用双向预测子的双向模式用于编码或解码当前块。当前块的最终运动矢量被存储以由一个或多个后续块参考。在最终运动矢量被存储之前，x偏移值vx和y偏移值vy可以被裁剪到预定义范围。预定义范围可以对应于[-16,16]。x偏移值vx和y偏移值vy可以在一个整数像素内被裁剪。
在又一实施例中，如果当前色度块是使用双向预测模式编解码的，则双向光流流程被应用以编码或解码当前色度块。用于当前色度块的与双向光流流程相关的色度x偏移值vx和色度y偏移值vy可以是仅基于一个或多个色度分量推导出的。用于当前色度块的与双向光流流程相关的色度x偏移值vx和色度y偏移值vy也可以重新使用仅基于亮度分量推导出的与双向光流流程相关的亮度x偏移值vx和亮度y偏移值vy。在这种情况中，色度x偏移值vx和色度y偏移值vy可以是基于亮度分量与一个或多个色度分量的分辨率之比进行缩放的。用于当前色度块的与双向光流流程相关的x偏移值vx和y偏移值vy也可以是基于亮度分量和一个或多个色度分量推导出的。
附图说明
图1是使用双向光流技术的运动补偿的示例。
图2是根据本发明一实施例的视频编解码系统的示例性流程图，其中BIO的使用仅被应用于所选择的编解码模式。
图3是根据本发明一实施例的视频编解码系统的示例性流程图，其中，如果当前块是以双向预测模式进行编解码的，则BIO的使用是根据联合编解码的标志的。
图4是根据本发明一实施例的视频编解码系统的示例性流程图，其中当前块的x偏移值vx和y偏移值vy被细分且添加到当前运动矢量，作为由后续块参考的最终运动矢量。
图5是根据本发明一实施例的视频编解码系统的示例性流程图，其中BIO被应用于色度分量。
具体实施方式
以下描述为实施本发明的较佳方式。本描述的目的在于阐释本发明的一般原理，并非起限定意义。本发明的保护范围当视权利要求书所界定为准。
在VCEG-AZ05中，双向光流被实现为对HEVC参考软件中所指定的流程而言的额外流程。如等式(1)所示，根据传统的HEVC，运动补偿预测被生成。另一方面，根据双向光流的运动补偿预测如等式(2)所示，其中额外参数被确定以修改传统的运动补偿预测。BIO总是被应用到用真实双向预测的这些块。
本发明公开了不同的方法以降低与BIO流程相关的复杂度或成本。下面公开了每种方法。
仅用于合并模式或高级运动矢量预测(advanced motion vector prediction，AMVP)模式的BIO
在VECG-AZ05中，BIO流程总是被应用于所有真实双向预测的CU。如前面所述，真实双向预测的块是自对应于先前帧和后续帧的两个参考帧预测的。然而，并不是所有真实双向预测的CU可以通过BIO流程来改善。因此，根据本发明的方法公开了有条件地将BIO应用于真实双向预测的CU。例如，BIO流程仅被应用于由合并模式编解码的真实预测的CU。又例如，BIO流程仅被应用于由AMVP模式编解码的真实预测的CU。如果BIO流程被使能以用于合并模式，并被禁能以用于AMVP模式，则在当前CU需要BIO流程时，合并模式可以被使用。当BIO流程不能实现当前CU的一些编解码增益时，我们可以使用AMVP模式以编码当前CU。通过使用这种方式，我们可以通过使用不同语法，禁能或使能BIO以用于具有相同运动信息的一个帧间CU。
如高级视频编解码标准所知，例如HEVC，对于以合并模式编解码的块，运动信息是自一个或多个相邻块的运动信息继承的。当BIO流程被应用到以合并模式编解码的块时，两个参考块的运动信息是自相邻块继承的。基于合并模式的预测子与BIO预测子组合以形成已组合预测子。对于以AMVP模式编解码的块，当前运动矢量(motionvector，MV)与运动矢量预测子(MV predictor，MVP)之间的运动矢量差(motion vector difference，MVD)被编解码。在MV使用MVD和MVP被解码之后，根据AMVP模式的预测子可以被生成。当BIO流程被应用到以AMVP模式编解码的块时，AMVP模式的预测子与BIO预测子进行组合，以形成已组合预测子。
在常规的视频编码器中，率失真优化流程通常用于在允许的编解码模式集中选择最佳编解码模式。当BIO被使能以用于合并模式和AMVP模式时，与每个编解码模式相关的成本函数将被评估。BIO使能的合并模式和BIO使能的AMVP模式所涉及的计算将相当地复杂。根据本方法，BIO流程仅被允许用于合并模式或者AMVP模式。因此，BIO使能的帧间模式的复杂度本质上被降低。此外，并不是所有真实双向预测的CU可以通过BIO流程来改善。通过使用这种方式，我们可以使能BIO流程以用于这些CU，其可以仅通过BIO流程而被改善。因此，与使能以仅用于合并模式的BIO或使能以仅用于AMVP模式的BIO相关的编解码性能非常靠近具有使能以用于合并模式和AMVP模式的BIO的系统。换句话说，具有使能以仅用于合并模式的BIO或使能以仅用于AMVP模式的BIO的系统可以本质上降低复杂度，同时，关于编解码性能的惩罚非常小。因此，相比于具有使能以用于合并模式和AMVP模式的BIO的系统，更需要具有使能以仅用于合并模式的BIO或使能以仅用于AMVP模式的BIO的系统。
BIO开启/关闭标志
根据本发明的另一方法，不是隐性指示BIO流程是否被有条件地使能，而是开启/关闭标志被显性发信以用于每个帧间编解码的CU。然而，BIO可以仅被应用于真实双向预测的CU。因此，与任何真实双向预测的CU的开启/关闭标志相关的码元是冗余的。如果一个开启/关闭标志总是被发信以用于每个CU，则冗余的码元将发生。如果一个开启/关闭标志被有条件地发信，则其可能引起解析问题，因为在解析阶段中比较难验证当前CU是否由真实双向预测编解码。为了解决此问题，公开了联合编解码标志。根据此方法，一个开启/关闭标志总是被编解码以用于每个帧间CU。当当前CU由真实双向预测编解码时，则此标志用于指示BIO流程是被使能还是禁能以用于当前CU。例如，另一功能可以是一个额外的流程，其被应用到运动补偿结果。一个额外的流程可以是一个低通滤波器，一个锐化滤波器或者一些偏移流程，以修改运动补偿结果。在另一实施例中，公开了视频编解码的多意义(multi-meaning)语法。对于具有第一条件的块，多意义语法被发信。当第二条件被满足时，多意义语法是用于第一功能的开启-关闭标志，模式或参数。否则(即第二条件不被满足)，多意义语法是用于第二功能的开启-关闭标志，模式或参数。例如，对于帧间模式CU，当当前CU是由真实双向预测预测的时，多意义语法是用于BIO流程的开启/关闭标志；以及当当前CU不是由真实双向预测预测的时，多意义语法是用于低通运动补偿滤波器的开启/关闭标志。
当将vx和vy存储为MV时限制vx和vy
在VECG-AZ05的BIO流程中，位移，即x偏移值vx和y偏移值vy被推导出且仅用于细分运动补偿结果。根据本发明的一方法，x偏移值vx和y偏移值vy被添加到当前块的原始运动矢量。x偏移值vx和y偏移值vy可以被检索到并添加到原始MV，以形成最终运动矢量，其由后续CU参考。当存储最终MV时，vx和vy的范围还被限制在一个整数像素内。整数vx和vy的限制可以帮助降低存储器带宽。例如，当运动补偿流程被应用于重叠的CU或PU时，限制的vx和vy可以降低重叠区域的数据范围。在另一实施例中，当x偏移值vx和y偏移值vy将被添加到原始MV时，vx和vy的范围被限制在预定义范围内(例如，被裁剪到预定义范围，例如[-16,16])，以降低运动补偿的存储器带宽。
色度分量的BIO
在VECG-AZ05中，BIO流程仅被应用于亮度分量。为了提高BIO性能，根据本发明的一方法，BIO流程被应用于色度分量。当将BIO流程应用于色度分量时，x偏移值vx和y偏移值vy可以仅基于色度分量而被推导出。可选地，亮度分量的x偏移值vx和y偏移值vy可以用于色度BIO流程。当x偏移值vx和y偏移值vy在亮度分量与色度分量之间分享时，位移可以仅由亮度分量推导出，或者由亮度分量和色度分量联合确定。如果亮度分量的x偏移值vx和y偏移值vy被直接重新使用，则基于亮度分量和色度分量的分辨率之比，x偏移值vx和y偏移值vy还可以而被平移或缩放，这相似于亮度分量与色度分量之间的运动矢量缩放。例如，对于YUV420，亮度平移将被右移一个码元(即除以2)，随后用于色度BIO。
图2是根据本发明一实施例的视频编解码系统的示例性流程图，其中BIO的使用仅被应用于所选择的编解码模式。本流程图中所示的步骤可以被实现为编码器侧或解码器侧处的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤也可以基于硬件而被实现，例如，用于执行本流程图中的步骤的一个或多个电子电路或处理器。根据该方法，在步骤210中，在编码器侧处，接收与当前图像中的当前块相关的数据，或者在解码器侧处，接收包括当前块的已压缩数据的视频比特流。在步骤220中，如果当前块是使用双向预测模式编解码的，则基于用于编码或解码当前块的当前模式，将有条件地应用BIO流程以编码或解码当前块。如果当前模式等于一个或多个所选择的模式，则具有BIO流程的当前模式用于编码或解码当前块，以及如果当前模式不等于一个或多个所选择的模式，则没有BIO流程的当前模式用于编码或解码当前块。例如，一个或多个所选择的模式仅包括合并模式。又例如，一个或多个所选择的模式仅包括AMVP模式。在步骤230中，在编码器侧处，输出包括当前块的已压缩数据的视频比特流，或者在解码器侧处，输出包括当前块的已重构块的已重构数据。
图3是根据本发明一实施例的视频编解码系统的示例性流程图，其中，如果当前块是以双向预测模式进行编解码的，则BIO的使用是根据联合编解码标志的。同样地，本流程图中所示的步骤可以被实现为编码器侧或解码器侧处的一个或多个处理器(例如，一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤也可以基于硬件而被实现，例如，用于执行本流程图中的步骤的一个或多个电子电路或处理器。根据该方法，在步骤310中，在编码器侧处，接收与当前图像中的当前块相关的数据，或者在解码器侧处，接收包括当前块的已压缩数据的视频比特流。在步骤320中，如果当前块是使用双向预测模式编解码的，则基于联合编解码标志，将有条件地应用BIO流程以编码或解码当前块。如果联合编解码标志具有第一值，则具有BIO流程的当前模式用于编码或解码当前块，以及如果联合编解码标志具有第二值，则没有BIO流程的当前模式用于编码或解码当前块。例如，第一值可以对应于“1”，以指示使能，以及对应于“0”以指示禁能。在步骤330中，在编码器侧处，输出包括当前块的已压缩数据的视频比特流，或者在解码器侧处，输出包括当前块的已重构块的已重构数据。
图4是根据本发明一实施例的视频编解码系统的示例性流程图，其中当前块的x偏移值vx和y偏移值vy被细分且添加到当前运动矢量，作为由后续块参考的最终运动矢量。根据该方法，在步骤410中，在编码器侧处，接收与当前图像中的当前块相关的数据，或者在解码器侧处，接收包括当前块的已压缩数据的视频比特流。在步骤420中，通过应用BIO流程，推导出当前块的x偏移值vx和y偏移值vy。在步骤430中，将x偏移值vx和y偏移值vy添加到一个或多个原始运动矢量，以生成当前块的一个或多个最终运动矢量。x偏移值vx和y偏移值vy被限制到预定义范围或一个整数像素内被裁剪。在步骤440中，基于当前块的最终运动矢量，生成双向预测子。在步骤450中，使用双向预测子，以双向模式编码或解码当前块。在步骤460中，将当前块的最终运动矢量进行存储以由一个或多个后续块参考。在步骤470中，在编码器侧处，输出包括当前块的已压缩数据的视频比特流，或者在解码器侧处，输出包括当前块的已重构块的已重构数据。
图5是根据本发明一实施例的视频编解码系统的示例性流程图，其中BIO被应用于色度分量。根据该方法，如步骤510所示，在编码器侧处，接收与当前图像中的当前块相关的数据，或者在解码器侧处，接收包括当前块的已压缩数据的视频比特流。当前图像包括亮度分量和一个或多个色度分量。在步骤520中，如果当前色度块是使用双向预测模式编解码的，则应用BIO流程以编码或解码当前色度块。在步骤530中，在编码器侧处，输出包括当前块的已压缩数据的视频比特流，或者在解码器侧处，输出包括当前块的已重构块的已重构数据。
本发明所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，本领域的技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中，已经使用特定语法和语义来示出不同的示例，以实施本发明的实施例。在不脱离本发明的精神的情况下，通过用等价的语法和语义来替换该语法和语义，本领域的技术人员可以实施本发明。
上述说明，使得本领域的普通技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域的技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，通过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的编程语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (19)

1.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前色度块相关的输入数据，或者在解码器侧处，接收包括所述当前色度块的已压缩数据的视频比特流，其中所述当前图像包括一亮度分量和一个或多个色度分量；
如果所述当前色度块是使用双向预测模式编解码的，则将应用双向光流流程以编码或解码所述当前色度块；以及
在所述编码器侧处，输出包括所述当前色度块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前色度块的已重构块的已重构数据。
2.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于所述当前色度块的与所述双向光流流程相关的色度x偏移值vx和色度y偏移值vy是仅基于一个或多个色度分量推导出的。
3.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于所述当前色度块的与所述双向光流流程相关的色度x偏移值vx和色度y偏移值vy重新使用仅基于所述亮度分量推导出的与所述双向光流流程相关的亮度x偏移值vx和亮度y偏移值vy。
4.如权利要求3中所述的视频数据的运动补偿方法，其特征在于，所述色度x偏移值vx和所述色度y偏移值vy是基于所述亮度分量与所述一个或多个色度分量的分辨率之比进行缩放的。
5.如权利要求1中所述的视频数据的运动补偿方法，其特征在于，用于所述当前色度块的与所述双向光流流程相关的x偏移值vx和y偏移值vy是基于所述亮度分量和所述一个或多个色度分量推导出的。
6.一种视频数据的运动补偿装置，其特征在于，由视频编码器或视频解码器执行，该装置包括一个或多个电子电路或处理器，用于：
在编码器侧处，接收与当前图像中的当前色度块相关的输入数据，或者在解码器侧处，接收包括所述当前色度块的已压缩数据的视频比特流，其中所述当前图像包括一亮度分量和一个或多个色度分量；
如果所述当前色度块是使用双向预测模式编解码的，则将应用双向光流流程以编码或解码所述当前色度块；以及
在所述编码器侧处，输出包括所述当前色度块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前色度块的已重构块的已重构数据。
7.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；
如果所述当前块是使用双向预测模式编解码的，则基于用于编码或解码所述当前块的当前模式，有条件地应用双向光流流程以编码或解码所述当前块，其中如果所述当前模式等于一个或多个所选择的模式，则具有所述双向光流流程的所述当前模式用于编码或解码所述当前块，以及如果所述当前模式不等于所述一个或多个所选择的模式，则没有所述双向光流流程的所述当前模式用于编码或解码所述当前块；以及
在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。
8.如权利要求7中所述的视频数据的运动补偿方法，其特征在于，所述一个或多个所选择的模式仅包括合并模式。
9.如权利要求7中所述的视频数据的运动补偿方法，其特征在于，所述一个或多个所选择的模式仅包括高级运动矢量预测模式。
10.一种视频数据的运动补偿装置，其特征在于，由视频编码器或视频解码器执行，该装置包括一个或多个电子电路或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；
如果所述当前块是使用双向预测模式编解码的，则基于用于编码或解码所述当前块的当前模式，有条件地应用双向光流流程以编码或解码所述当前块，其中如果所述当前模式等于一个或多个所选择的模式，则具有所述双向光流流程的所述当前模式用于编码或解码所述当前块，以及如果所述当前模式不等于所述一个或多个所选择的模式，则没有所述双向光流流程的所述当前模式用于编码或解码所述当前块；以及
在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。
11.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；
如果所述当前块是使用双向预测模式编解码的，则基于联合编解码标志，有条件地应用双向光流流程以编码或解码所述当前块，其中如果所述联合编解码标志具有第一值，则具有所述双向光流流程的当前模式用于编码或解码所述当前块，以及如果所述联合编解码标志具有第二值，则没有所述双向光流流程的当前模式用于编码或解码所述当前块；以及
在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。
12.如权利要求11中所述的视频数据的运动补偿方法，其特征在于，当所述当前块不是以所述双向预测模式编解码的时，所述联合编解码标志用于指示另一流程是否是被开启还是被关闭以用于所述当前块。
13.如权利要求12中所述的视频数据的运动补偿方法，其特征在于，所述另一流程对应于低通滤波器流程、尖锐滤波器流程或偏移流程，以修改多个运动补偿结果。
14.一种视频数据的运动补偿装置，其特征在于，由视频编码器或视频解码器执行，该装置包括一个或多个电子电路或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；
如果所述当前块是使用双向预测模式编解码的，则基于联合编解码标志，有条件地应用双向光流流程以编码或解码所述当前块，其中如果所述联合编解码标志具有第一值，则具有所述双向光流流程的当前模式用于编码或解码所述当前块，以及如果所述联合编解码标志具有第二值，则没有所述双向光流流程的当前模式用于编码或解码所述当前块；以及
在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。
15.一种视频数据的运动补偿方法，其特征在于，由视频编码器或视频解码器执行，该方法包括：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；
应用双向光流流程，以推导出所述当前块的x偏移值vx和y偏移值vy；
将所述x偏移值vx和所述y偏移值vy添加到一个或多个原始运动矢量，以生成所述当前块的一个或多个最终运动矢量；
基于所述当前块的所述一个或多个最终运动矢量，生成多个双向预测子；
使用所述多个双向预测子，以双向模式编码或解码所述当前块；
将所述当前块的一个或多个最终运动矢量进行存储以由一个或多个后续块参考；以及
在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。
16.如权利要求15中所述的视频数据的运动补偿方法，其特征在于，在所述一个或多个最终运动矢量被存储之前，所述x偏移值vx和所述y偏移值vy被裁剪到预定义范围。
17.如权利要求16中所述的视频数据的运动补偿方法，其特征在于，所述预定义范围对应于[-16,16]。
18.如权利要求15中所述的视频数据的运动补偿方法，其特征在于，所述x偏移值vx和所述y偏移值vy在一个整数像素内被裁剪。
19.一种视频数据的运动补偿装置，其特征在于，由视频编码器或视频解码器执行，该装置包括一个或多个电子电路或处理器，用于：
在编码器侧处，接收与当前图像中的当前块相关的输入数据，或者在解码器侧处，接收包括所述当前块的已压缩数据的视频比特流；
应用双向光流流程，以推导出所述当前块的x偏移值vx和y偏移值vy；
将所述x偏移值vx和所述y偏移值vy添加到一个或多个原始运动矢量，以生成所述当前块的一个或多个最终运动矢量；
基于所述当前块的所述一个或多个最终运动矢量，生成多个双向预测子；
使用所述多个双向预测子，以双向模式编码或解码所述当前块；
将所述当前块的一个或多个最终运动矢量进行存储以由一个或多个后续块参考；以及
在所述编码器侧处，输出包括所述当前块的已压缩数据的视频比特流，或者在所述解码器侧处，输出包括所述当前块的已重构块的已重构数据。
CN201780008566.0A 2016-02-05 2017-02-03 视频数据的运动补偿方法及装置 Active CN108781294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110887967.6A CN113612993B (zh) 2016-02-05 2017-02-03 视频数据的运动补偿方法及装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662291588P 2016-02-05 2016-02-05
US62/291,588 2016-02-05
PCT/CN2017/072826 WO2017133661A1 (en) 2016-02-05 2017-02-03 Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110887967.6A Division CN113612993B (zh) 2016-02-05 2017-02-03 视频数据的运动补偿方法及装置

Publications (2)

Publication Number Publication Date
CN108781294A true CN108781294A (zh) 2018-11-09
CN108781294B CN108781294B (zh) 2021-08-31

Family

ID=59500322

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780008566.0A Active CN108781294B (zh) 2016-02-05 2017-02-03 视频数据的运动补偿方法及装置
CN202110887967.6A Active CN113612993B (zh) 2016-02-05 2017-02-03 视频数据的运动补偿方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110887967.6A Active CN113612993B (zh) 2016-02-05 2017-02-03 视频数据的运动补偿方法及装置

Country Status (5)

Country Link
US (2) US11109061B2 (zh)
EP (2) EP4138392A1 (zh)
CN (2) CN108781294B (zh)
MY (1) MY201069A (zh)
WO (1) WO2017133661A1 (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031318A (zh) * 2019-06-21 2020-04-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN111131837A (zh) * 2019-12-30 2020-05-08 浙江大华技术股份有限公司 运动补偿修正方法、编码方法、编码器及存储介质
CN111405277A (zh) * 2019-01-02 2020-07-10 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
WO2020200269A1 (en) * 2019-04-02 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation
WO2020211866A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
WO2020233662A1 (en) * 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
WO2020253853A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Early termination for optical flow refinment
CN112468817A (zh) * 2019-09-06 2021-03-09 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113170097A (zh) * 2018-11-20 2021-07-23 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
CN113170176A (zh) * 2019-06-24 2021-07-23 华为技术有限公司 视频编码器、视频解码器及相应方法
CN113228681A (zh) * 2018-12-21 2021-08-06 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
CN113228677A (zh) * 2018-12-27 2021-08-06 高通股份有限公司 用于照度补偿模式的修剪
CN113424530A (zh) * 2018-12-28 2021-09-21 索尼集团公司 图像处理装置和方法
CN113519160A (zh) * 2019-03-05 2021-10-19 联发科技股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
CN113545069A (zh) * 2019-03-03 2021-10-22 北京字节跳动网络技术有限公司 解码器侧运动矢量细化的运动矢量管理
CN113676733A (zh) * 2019-01-09 2021-11-19 北京达佳互联信息技术有限公司 用于改进帧间帧内联合预测的系统和方法
CN113940078A (zh) * 2019-05-22 2022-01-14 高通股份有限公司 视频编解码中的双向光流计算的简化
CN114143558A (zh) * 2019-03-12 2022-03-04 北京达佳互联信息技术有限公司 组合帧间和帧内预测模式的受约束和调节的应用
CN114270855A (zh) * 2019-09-20 2022-04-01 Kddi 株式会社 图像解码装置、图像解码方法及程序
CN114363612A (zh) * 2019-03-15 2022-04-15 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的方法和设备
US11356697B2 (en) 2019-04-19 2022-06-07 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
US11509929B2 (en) 2018-10-22 2022-11-22 Beijing Byedance Network Technology Co., Ltd. Multi-iteration motion vector refinement method for video processing
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
WO2022257954A1 (en) * 2021-06-10 2022-12-15 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
US11641467B2 (en) 2018-10-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
US11985347B2 (en) 2022-05-17 2024-05-14 Beijing Dajia Internet Information Technology Co., Ltd. System and method for combined inter and intra prediction

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10531085B2 (en) * 2017-05-09 2020-01-07 Futurewei Technologies, Inc. Coding chroma samples in video compression
WO2018221631A1 (ja) * 2017-06-02 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
CN110832858B (zh) * 2017-07-03 2023-10-13 Vid拓展公司 用于视频编解码的设备、方法
US10659788B2 (en) 2017-11-20 2020-05-19 Google Llc Block-based optical flow estimation for motion compensated prediction in video coding
KR102295520B1 (ko) * 2017-08-22 2021-08-27 구글 엘엘씨 비디오 코딩에서 모션 보상 예측을 위한 광흐름 추정
US11284107B2 (en) 2017-08-22 2022-03-22 Google Llc Co-located reference frame interpolation using optical flow estimation
US11917128B2 (en) 2017-08-22 2024-02-27 Google Llc Motion field estimation based on motion trajectory derivation
CN117998098A (zh) * 2018-02-06 2024-05-07 松下电器（美国）知识产权公司 编码装置、解码装置和计算机可读取介质
US11575933B2 (en) 2018-04-06 2023-02-07 Vid Scale, Inc. Bi-directional optical flow method with simplified gradient derivation
GB2588003B (en) 2018-06-05 2023-04-19 Beijing Bytedance Network Tech Co Ltd Interaction between pairwise average merging candidates and IBC
WO2019244118A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN110809159B (zh) 2018-08-04 2022-06-07 北京字节跳动网络技术有限公司 更新的mv或推导的mv的裁剪
US11184635B2 (en) * 2018-08-31 2021-11-23 Tencent America LLC Method and apparatus for video coding with motion vector constraints
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
DE102018133693B3 (de) 2018-12-28 2020-06-04 Volkswagen Aktiengesellschaft Verfahren zur Kalibrierung der Ausrichtung eines sich bewegenden Objektsensors
SG11202107970QA (en) * 2019-02-22 2021-08-30 Huawei Tech Co Ltd Early termination for optical flow refinement
CN113597766B (zh) * 2019-03-17 2023-11-10 北京字节跳动网络技术有限公司 基于光流的预测细化的计算
SG11202109031TA (en) * 2019-03-18 2021-09-29 Tencent America LLC Method and apparatus for video coding
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
CN117615155A (zh) 2019-09-19 2024-02-27 北京字节跳动网络技术有限公司 视频编解码中的参考样点位置推导
WO2021052490A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
CN110572677B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
JP7391203B2 (ja) 2019-10-12 2023-12-04 北京字節跳動網絡技術有限公司 ビデオコーディングツールを洗練する使用およびシグナリング
MX2022004200A (es) 2019-10-13 2022-05-02 Beijing Bytedance Network Tech Co Ltd Interaccion entre remuestreo de imagen de referencia y herramientas de codificacion de video.
CN115349254A (zh) * 2020-03-23 2022-11-15 抖音视界有限公司 控制编解码视频中不同级别的去块滤波
WO2022257953A1 (en) * 2021-06-10 2022-12-15 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330609A (zh) * 2008-07-31 2008-12-24 南京大学 一种多路径无线视频传输方法和系统
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20040186813A1 (en) * 2003-02-26 2004-09-23 Tedesco Daniel E. Image analysis method and apparatus in a network that is structured with multiple layers and differentially weighted neurons
KR101261525B1 (ko) * 2005-07-15 2013-05-06 삼성전자주식회사 영상 부호화 및 복호화 방법과 장치
JP5367237B2 (ja) 2007-06-18 2013-12-11 ソニー株式会社 サーバ
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
US9621917B2 (en) * 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
EP3107298A4 (en) * 2014-03-14 2017-10-11 Samsung Electronics Co., Ltd. Image encoding method for sample value compensation and apparatus therefor, and image decoding method for sample value compensation and apparatus therefor
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101330609A (zh) * 2008-07-31 2008-12-24 南京大学 一种多路径无线视频传输方法和系统
CN102934444A (zh) * 2010-04-06 2013-02-13 三星电子株式会社 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ELENA ALSHINA，ALEXANDER ALSHIN: "Bi-directional optical flow", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 3RD MEETING: GUANGZHOU，CN，7-15 OCTOBER，2010，DOCUMENT: JCTVC-C204》 *

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11509929B2 (en) 2018-10-22 2022-11-22 Beijing Byedance Network Technology Co., Ltd. Multi-iteration motion vector refinement method for video processing
US11641467B2 (en) 2018-10-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11632566B2 (en) 2018-11-20 2023-04-18 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
CN113170097B (zh) * 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
CN113170097A (zh) * 2018-11-20 2021-07-23 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
CN113170171A (zh) * 2018-11-20 2021-07-23 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN113170171B (zh) * 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
US11558634B2 (en) 2018-11-20 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Prediction refinement for combined inter intra prediction mode
CN113228681A (zh) * 2018-12-21 2021-08-06 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
CN113228677A (zh) * 2018-12-27 2021-08-06 高通股份有限公司 用于照度补偿模式的修剪
CN113424530A (zh) * 2018-12-28 2021-09-21 索尼集团公司 图像处理装置和方法
CN111405277B (zh) * 2019-01-02 2022-08-09 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
CN111405277A (zh) * 2019-01-02 2020-07-10 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
CN116347102A (zh) * 2019-01-09 2023-06-27 北京达佳互联信息技术有限公司 视频编码方法、设备、非暂时性计算机可读存储介质
CN113676733A (zh) * 2019-01-09 2021-11-19 北京达佳互联信息技术有限公司 用于改进帧间帧内联合预测的系统和方法
CN113676733B (zh) * 2019-01-09 2023-02-24 北京达佳互联信息技术有限公司 视频解码方法、设备、非暂时性计算机可读存储介质
CN116347102B (zh) * 2019-01-09 2024-01-23 北京达佳互联信息技术有限公司 视频编码方法、设备、非暂时性计算机可读存储介质
CN116800962A (zh) * 2019-01-09 2023-09-22 北京达佳互联信息技术有限公司 视频编解码方法、设备和非暂时性计算机可读存储介质
CN113545069A (zh) * 2019-03-03 2021-10-22 北京字节跳动网络技术有限公司 解码器侧运动矢量细化的运动矢量管理
CN113519160B (zh) * 2019-03-05 2023-09-05 寰发股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
CN113519160A (zh) * 2019-03-05 2021-10-19 联发科技股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
CN114143558B (zh) * 2019-03-12 2024-01-30 北京达佳互联信息技术有限公司 组合帧间和帧内预测模式的受约束和调节的应用
CN114143558A (zh) * 2019-03-12 2022-03-04 北京达佳互联信息技术有限公司 组合帧间和帧内预测模式的受约束和调节的应用
US11979583B2 (en) 2019-03-15 2024-05-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for bit-width control for bi-directional optical flow
CN114363612B (zh) * 2019-03-15 2024-05-03 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的方法和设备
CN114363612A (zh) * 2019-03-15 2022-04-15 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的方法和设备
WO2020200269A1 (en) * 2019-04-02 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation
US11553201B2 (en) 2019-04-02 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion vector derivation
US11516497B2 (en) 2019-04-02 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Bidirectional optical flow based video coding and decoding
US11356697B2 (en) 2019-04-19 2022-06-07 Beijing Bytedance Network Technology Co., Ltd. Gradient calculation in different motion vector refinements
US11368711B2 (en) 2019-04-19 2022-06-21 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
WO2020211866A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
US11924463B2 (en) 2019-04-19 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Gradient calculation in different motion vector refinements
CN113711608A (zh) * 2019-04-19 2021-11-26 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
US11570462B2 (en) 2019-04-19 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Delta motion vector in prediction refinement with optical flow process
CN113711608B (zh) * 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
CN113853793A (zh) * 2019-05-21 2021-12-28 北京字节跳动网络技术有限公司 基于光流的帧间编码的语法信令
WO2020233662A1 (en) * 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
US11627313B2 (en) 2019-05-21 2023-04-11 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling in sub-block merge mode
US11496733B2 (en) 2019-05-21 2022-11-08 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
CN113853793B (zh) * 2019-05-21 2023-12-19 北京字节跳动网络技术有限公司 基于光流的帧间编码的语法信令
US11470309B2 (en) 2019-05-21 2022-10-11 Beijing Bytedance Network Technology Co., Ltd. Adaptive motion vector difference resolution for affine mode
CN113940078B (zh) * 2019-05-22 2023-01-10 高通股份有限公司 用于视频编解码中的双向光流计算的简化的方法和设备
CN113940078A (zh) * 2019-05-22 2022-01-14 高通股份有限公司 视频编解码中的双向光流计算的简化
CN113411596B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411603A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411608A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411608B (zh) * 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113411596A (zh) * 2019-06-21 2021-09-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN111031318A (zh) * 2019-06-21 2020-04-17 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN111031318B (zh) * 2019-06-21 2020-12-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020253853A1 (en) * 2019-06-21 2020-12-24 Huawei Technologies Co., Ltd. Early termination for optical flow refinment
CN113411603B (zh) * 2019-06-21 2022-03-25 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN113170176B (zh) * 2019-06-24 2022-04-26 华为技术有限公司 视频编码器、视频解码器及相应方法
CN113170176A (zh) * 2019-06-24 2021-07-23 华为技术有限公司 视频编码器、视频解码器及相应方法
CN112468817B (zh) * 2019-09-06 2022-07-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN112468817A (zh) * 2019-09-06 2021-03-09 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
CN114270855A (zh) * 2019-09-20 2022-04-01 Kddi 株式会社 图像解码装置、图像解码方法及程序
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US11962771B2 (en) 2019-10-18 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Syntax constraints in parameter set signaling of subpictures
CN111131837B (zh) * 2019-12-30 2022-10-04 浙江大华技术股份有限公司 运动补偿修正方法、编码方法、编码器及存储介质
CN111131837A (zh) * 2019-12-30 2020-05-08 浙江大华技术股份有限公司 运动补偿修正方法、编码方法、编码器及存储介质
WO2022257954A1 (en) * 2021-06-10 2022-12-15 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
US11985347B2 (en) 2022-05-17 2024-05-14 Beijing Dajia Internet Information Technology Co., Ltd. System and method for combined inter and intra prediction

Also Published As

Publication number Publication date
CN113612993A (zh) 2021-11-05
WO2017133661A1 (en) 2017-08-10
EP4138392A1 (en) 2023-02-22
EP3398331A1 (en) 2018-11-07
US20210368204A1 (en) 2021-11-25
EP3398331A4 (en) 2019-04-10
US11765384B2 (en) 2023-09-19
MY201069A (en) 2024-02-01
US11109061B2 (en) 2021-08-31
CN113612993B (zh) 2023-06-09
CN108781294B (zh) 2021-08-31
US20190045215A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
CN108781294A (zh) 用于视频编解码的基于双向预测光流技术的运动补偿方法及装置
CN113039796B (zh) 视频处理中的广义双向预测模式
CN107925775A (zh) 基于双向预测光流技术的视频编解码的运动补偿方法及装置
TWI674794B (zh) 用於視訊編解碼的運動細化的方法以及裝置
TWI670966B (zh) 用於視訊編解碼的適應性雙預測的方法及裝置
CN105915914B (zh) 移除运动向量预测子中冗余的方法与装置
CN110169070A (zh) 在视频编解码中预测子细化的候选跳过的方法和装置
CN105284117B (zh) 根据运动信息压缩方案通过层间运动信息预测对图像进行编码或解码的方法和设备
CN110476424A (zh) 用于视频编解码的基于双向光流的运动细化的方法及装置
CN106797229A (zh) 运动向量和块向量分辨率控制方法
CN117499668A (zh) 具有运动矢量差的Merge模式中的运动矢量精度
TW202101986A (zh) 視頻編解碼之亮度mpm列表導出的方法及裝置
JP2004519167A (ja) 動き情報の符号化及び復号化方法
CN108632616A (zh) 一种基于参考质量做帧间加权预测的方法
TWI738292B (zh) 用於視頻編解碼系統的簡化仿射子塊處理的方法及裝置
CN113826394A (zh) 帧内块复制模式下自适应运动矢量差分辨率的改进
US11985330B2 (en) Method and apparatus of simplified affine subblock process for video coding system
TWI768475B (zh) 視訊資料預測方法和裝置
TW202406349A (zh) 視訊編解碼方法和裝置
RU2020138539A (ru) Взаимодействие между lut и amvp

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220601

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Patentee before: MEDIATEK Inc.

TR01 Transfer of patent right