CN112154667A - 视频的编码和解码 - Google Patents

视频的编码和解码 Download PDF

Info

Publication number
CN112154667A
CN112154667A CN201980033993.3A CN201980033993A CN112154667A CN 112154667 A CN112154667 A CN 112154667A CN 201980033993 A CN201980033993 A CN 201980033993A CN 112154667 A CN112154667 A CN 112154667A
Authority
CN
China
Prior art keywords
samples
compensated prediction
motion compensated
parameters
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980033993.3A
Other languages
English (en)
Other versions
CN112154667B (zh
Inventor
马泰奥·纳卡里
玛塔·姆拉克
赛维里奥·布拉西
安德烈·塞沙斯·迪亚斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Broadcasting Corp
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Publication of CN112154667A publication Critical patent/CN112154667A/zh
Application granted granted Critical
Publication of CN112154667B publication Critical patent/CN112154667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本发明涉及一种解码视频比特流的方法，该方法包括以下步骤：接收比特流，该比特流表示：通过从图像样本中减去编码器滤波的运动补偿预测样本而产生的残差样本，和用于形成运动补偿预测样本的运动向量，在具有至少一个参数的编码器处对运动补偿预测样本进行的编码器滤波过程；使用所述运动向量从先前重建的图像中提供运动补偿预测样本；解码器根据所述至少一个参数对所述运动补偿预测样本进行滤波；以及将所述滤波的运动补偿预测样本添加到所述残差样本以重建图像。还公开了对应于该方法的系统和装置。

Description

视频的编码和解码
技术领域
本发明涉及视频的编码和解码，特别是在使用运动补偿预测的情况下。
背景
通过从当前帧减去基于先前(或后续)帧的预测来形成残差是视频编码中众所周知的原理。在这种所谓的“帧间”编码技术中，编码效率要求对预测进行运动补偿。时间上间隔的帧中对应块之间的运动向量在编码器处进行测量，并在比特流中被输送到解码器。在解码器那里，被解码的运动向量用于从先前解码的帧中导出运动补偿预测，然后该运动补偿预测被添加到解码的残差中。
在待编码的视频包含运动模糊的情况下遇到了困难，也就是说，底层场景(underlying scene)中的运动足够快，以至于相机快门光圈内的位移显著。众所周知，这种现象可以被建模为针对相机快门的整个光圈应用于原始图像的低通滤波器。在平移运动的假设下，运动模糊滤波器的脉冲响应与沿水平和垂直方向的运动分量成比例。因此，如果给定帧中出现运动模糊，则对于每个编码块，(解码器)用于运动补偿的参考帧将包含当前块的更清晰版本。总体结果在于，参考帧中更清晰的边缘仍将存在于残差中，导致更宽的频谱和更低效的编码。
在美国专利申请2006/0171569中讨论了解决这个问题的一种尝试，其中建议在测量运动向量之前对“更清晰”的帧应用模糊滤波器。由于运动向量随后将在运动模糊帧中的块与合成模糊帧中(而不是清晰帧中)的相应块之间被识别，因此期望具有更小残差的更好的运动补偿预测。现在通常允许编码器从多个不同的帧中进行选择，用于形成运动补偿预测，并且在US2006/0171569中建议将合成模糊帧包括在编码器进行选择的帧列表中。将模糊帧的使用发信号通知给解码器，并且由于可能存在编码器使用的模糊滤波器形式的选项，因此也有必要向解码器提供关于所使用的模糊滤波器的信息。
虽然模糊滤波器的这种现有技术的使用具有一些优点，但仍有改进的空间。
发明概述
根据一个方面，一种解码视频比特流的方法包括以下步骤：接收比特流，该比特流表示：通过从图像样本中减去编码器滤波的运动补偿预测样本而产生的残差样本，和用于形成运动补偿预测样本的运动向量，在具有至少一个参数的编码器处对运动补偿预测样本进行的编码器滤波过程；使用所述运动向量从先前重建的图像中提供运动补偿预测样本；解码器根据所述至少一个参数对所述运动补偿预测样本进行滤波；以及将所述滤波的运动补偿预测样本添加到所述残差样本以重建图像。
有利地，该方法包括分析运动补偿预测样本(或先前重建的图像)以推断编码器滤波过程的至少一个参数的步骤，所述解码器根据所述至少一个推断的参数对运动补偿预测样本进行滤波。
在另一方面中，一种编码视频的方法包括以下步骤：使用运动向量和重建的图像形成运动补偿预测样本；对运动补偿预测样本进行编码器滤波过程；从图像样本中减去运动补偿预测样本以形成残差样本；以及形成表示残差样本、运动向量和可选的编码器滤波过程的至少一个参数的比特流。
有利地，该方法还包括分析运动补偿预测样本(或先前重建的图像)以确定编码器滤波过程的至少一个参数的步骤。
优选地，分析的步骤包括确定运动补偿预测样本或先前重建的图像中的任何主导方向的存在，以推断与编码器滤波过程中的任何各向异性的存在或细节相关的一个参数或多个参数。
编码器和解码器滤波可以使用滤波器孔径，该滤波器孔径定义来自运动补偿预测样本的块或其他集合中的当前运动补偿预测样本和相邻运动补偿预测样本的加权贡献。所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，可以与滤波器孔径的各向异性相关，并且可以是表示滤波器孔径的各向同性或各向异性的二进制标志，和/或可以表示各向异性滤波器孔径的主导方向，并且优选地表示一组量化方向之一。所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，可以表示所述滤波器孔径中的样本数量和/或当前运动补偿预测样本的贡献的权重。
在另一方面中，一种解码视频比特流的方法包括以下步骤：接收比特流，该比特流表示：通过从图像样本中减去运动补偿预测样本而产生的残差样本，和用于形成运动补偿预测样本的运动向量，在具有至少一个参数的编码器处进行的编码器滤波过程；使用所述运动向量从先前重建的图像样本中提供运动补偿预测样本；以及将所述运动补偿预测样本添加到所述残差样本以重建图像；其特征在于，在解码器处进行分析以推断编码器滤波过程的至少一个参数；以及解码器根据所述至少一个推断的参数，并且可选地根据比特流中表示的至少一个参数，对所述运动补偿预测样本或所述先前重建的图像样本进行滤波。
有利地，分析的步骤包括确定样本阵列中任何主导方向的存在和/或方向，以推断与所述编码器滤波过程中的任何各向异性相关的一个参数或多个参数。
在另一方面中，编码视频比特流的方法包括以下步骤：使用运动向量和重建的图像样本形成运动补偿预测样本；从图像样本中减去运动补偿预测样本以形成残差样本；以及形成表示残差样本和运动向量的比特流；其特征在于：进行分析以确定未在比特流中表示的编码器滤波过程的至少一个参数；以及编码器根据所述至少一个参数对所述运动补偿预测样本或所述先前重建的图像样本进行滤波。
有利地，分析的步骤包括确定样本阵列中任何主导方向的存在和/或方向，以确定与任何各向异性相关的一个参数或多个参数。
样本阵列可以包括运动补偿预测样本或先前重建的图像。
编码器或解码器滤波可以使用滤波器孔径，该滤波器孔径定义来自样本的块或其他集合中的当前样本和相邻样本的加权贡献，其中所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，涉及滤波器孔径的各向异性，并且可以是表示滤波器孔径的各向同性或各向异性的二进制标志。所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，可以表示各向异性滤波器孔径的主导方向，并且优选地表示一组量化方向之一。所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，可以表示所述滤波器孔径中的样本数量和/或当前运动补偿预测样本的贡献的权重。
可以提供计算机程序产品，其适于使可编程装置实施这些方法中的任何一种。
可以提供装置，其被配置成实施根据这些方法中的任何一种的方法。
附图简述
现在将参考附图通过示例来描述本发明，其中：
图1是编码器的框图；
图2示出了可以使用的滤波器内核的表格；和
图3示出了检测图像的梯度主导方向(GDD)的方法；以及
图4是解码器的框图。
特定实施例的详细描述
图1中示出了编码器，其中从当前帧中减去运动补偿预测以提供残差，该残差被变换14、量化16和熵编码18，以形成编码的比特流。在变换14和量化16之后，当前输入帧经历逆量化42和逆变换44(如本领域已知的)。所得帧是将在解码器处获得的帧；这随后可用作后续帧的基础帧。该帧与当前MC预测帧组合，以获得参考帧(解码图片缓冲器46)，对于该参考帧，可以为后续帧确定合适的运动补偿预测。
当接收到后续输入帧时，该后续输入帧与(来自解码图片缓冲器46的)参考帧组合，以获得运动估计48。这确定了合适的运动向量，以将参考帧内的块映射到(后续)输入帧内的相应块。然后，(来自解码图片缓冲器46的)参考帧和来自运动估计48的向量用于获得运动补偿预测12。
然后，从后续输入帧中减去最优MC预测，以形成残差，该残差被变换14、量化16、熵编码18和传输。
就这一点而言，图1的编码器是常规的。
根据本公开的一个方面，运动补偿预测被传递到平滑滤波器，该平滑滤波器提供可替代的平滑的运动补偿预测。
因此，通过添加平滑滤波器来修改混合运动补偿预测视频编码器的一般块模式。平滑滤波器对(由运动补偿提供的)预测器(predictor)P进行操作，以获得可替代的预测器PMCPS。假设所应用的平滑可能不是对所有编码块都有利，例如因为P已经提供了良好的编码效率，所以需要在比特流中存在标志来对其正确解码。因此，在编码器侧，对于每个编码块，在进行平滑和不进行平滑的情况下计算残差，并且最终选择使率失真拉格朗日代价(ratedistortion Lagrangian cost)最小化的模式。编码器工作流程的这一方面的步骤如下阐述，为了提高效率，使用伪代码，其中MCPS表示平滑过程。
Foreach帧间编码模式m do
将P设置成等于如由m指定的计算的预测器
将MCPS应用于P，并将获得的预测器设置为PMCPS
计算与P相关联的残差R
计算与PMCPS相关联的残差RMCPS
编码(即，应用频率变换、量化和熵编码)R和RMCPS
分别测量与R和RMCPS相关联的速率r和rMCPS
分别计算R和RMCPS的失真D和DMCPS
计算拉格朗日代价J和JMCPS
如果J≤JMCPS，则向比特流中写入值为零的标志，否则写入值为一的标志
Endfor
平滑过程可以由具有孔径或内核的空间滤波器来表示，该孔径或内核定义了哪些样本对输出有贡献以及权重。
在一个示例中，平滑过程MCPS使用了两种类型的移动平均(MA)，类似(MA)？]和对称内核。第一种类型是2D和十字形滤波器，而第二种对应于沿四个方向应用的1D滤波器：水平、竖直、45度和135度。也可以使用其他尺寸以及其他滤波器和其他方向。由于第一种类型的滤波器是沿水平和竖直方向操作的2D滤波器，因此它在下文中表示为各向同性的，而第二种类型的内核在下文中表示为方向性的。如上提到的，模糊量取决于不同图像区域的运动活动。因此，所使用的不同内核的尺寸可以变化，以进一步提高编码效率。对于MCPS方法，针对核使用了两种示例尺寸：3和5，其中色度分量仅使用尺寸3。总的来说，图2中列出了在MCPS中指定的(示例性)内核。
平滑使用内部精度为6比特的整数算法，其使得每个内核的增益等于64。应该注意的是，在这个示例中选择了用于内部精度的6比特的值，以便与用于表示在HEVC中对运动补偿指定的内核系数的相同精度一致。其他值可能适用于未来的标准。
总共有八个不同的内核，并且如果编码器要在率失真优化期间执行对最佳模式的穷举搜索，则除了没有平滑的情况之外，还应该评估所得残差的八个完整编码。然而，在某些应用中，由此产生的复杂性可能令人望而却步。为了减轻计算负担，和/或提供下面详述的优点，根据该示例的编码器仅在滤波器类型(即，各向同性或方向性)和相关尺寸(即，3或5)中进行选择。剩余的参数，也就是说方向性，是通过对在这种情况中的运动补偿预测的初步分析来确定的，以识别主导方向。这可以通过测量和分析梯度来实现。
例如，且如图3中所示，当选择方向性平滑时，基于预测块P的梯度主导方向(GDD)来决定应该应用内核的方向。GDD被定义为四个指定方向(即，水平、竖直、对角线45°和对角线135°)中在属于给定运动补偿预测器P的所有样本中具有最高出现率的方向。假设预测器的尺寸为N×N，则3×3索贝尔算子对所有样本P(x，y)应用32，其中x，y＝1,…,N-1。算子优选地不在P的四个外部边界(即，顶部、底部、左侧和右侧)计算，从而避免填充，并且可以省略4×N-4运算。算子被水平和竖直地应用以获得Gx和Gy。梯度向量指向的方向与水平面形成角度α，如下所示：
Figure BDA0002788884950000071
其中，符号“-”表示关于笛卡尔2D平面的图像中使用的不同参考系。反正切函数采用整数算法和10比特精度进行近似。然后，角度α被均匀量化34成前述方向，其中量化步长为45度，并且死区范围设置为22.5度。在量化34之后，计算36四元直方图，并且GDD由直方图的峰值确定38。对于图3中描绘的示例，水平方向被选为主导方向。
随着方向和可变大小核的引入，上述一般工作流程扩展如下：
Figure BDA0002788884950000072
Figure BDA0002788884950000081
在解码器处，用信号通知的元数据指定是否应用平滑的信息，以及如果是这种情况，则选择了哪种类型和尺寸。在HEVC示例中，元数据可以在编码单元(CU)的基础上传输，并且涉及三个颜色分量：因此，如果元数据发出使用了MCPS的信号，则它将被应用于Y、Cb和Cr。与MCPS相关联的信息由三个二进制标志传达，如下表1所示：
标志名 描述
use_mcps_flag 指定是否使用了MCPS
mcps_type 指定使用哪种类型的滤波器(各向同性或方向性)
mcps_size 指定用于平滑的尺寸(3或5)
表1：发信号表示MCPS所需元数据的标志
在HEVC示例中，每个标志用CABAC编码，每个标志使用一个背景(contex)。最后，MCPS的使用可以在序列参数集(SPS)和滑动头部(slide header)中发出信号。仅当在SPS级别启用MCPS时，才会发送宏块条级别标志(slice level flag)。宏块条级别标志的值是在属于该宏块条的所有CTU的压缩完成后决定的。如果没有CU具有等于1的标志use_mcps_flag，则宏块条头部标志被设置为零或一。值得注意的是，宏块条级别标志的值应该在RDO意义上决定，但是这将需要压缩宏块条两次，这在编码器复杂性方面可能是禁止的。本领域技术人员将理解，可以采用不同的信令技术，尤其是在未来标准的背景下。
考虑到整数运算和短尺寸内核的使用，由MCPS带来的额外复杂性(核心MCPS算法所需的处理)是相当有限的。
在解码器处，例如如图4所示，对应的平滑滤波器64对运动补偿预测62进行操作，以提供可替代的平滑预测，用于添加到逆量化和逆变换的残差。
解码器根据所描述的二进制标志确定：是否要使用平滑；滤波器是各向同性的还是方向性的；以及滤波器尺寸是多少。然而，在使用方向性平滑滤波器的情况下，解码器可以推断要使用滤波器的哪个方向。这是通过对运动补偿预测应用基本相同的GDD过程来实现的。
所实现的重要优点在于，对于解码器处复杂性的微小增加，通过该技术施加在比特流上的开销在该示例中被限制为三个二进制标志。
应当理解，可以用更多数量的滤波器内核来更精细地量化滤波的方向。由于滤波的方向是在解码器处推断的，而不是在比特流中发信号通知的。
在修改时，其他滤波器参数可以通过编码器处的测量来推导或确定，然后在解码器处推断，从而进一步减少需要在比特流中发信号通知的信息量。
例如，可以使用类似于GDD过程的过程来确定样本中的各向异性程度，从而确定是使用各向同性还是方向性滤波器。更具体地，所描述的直方图可以用于推断要使用的滤波器的类型。类似的过程将在解码器处进行，以推断使用哪种类型的滤波器。
在另一个示例中，要使用的滤波器的尺寸可以基于以下因素：序列的空间分辨率；滤波器的方向；或者梯度方向的直方图，特别是方向的相对量。
可以扩展使用的滤波器的数量和质量，例如，扩展成包括附加的方向并且包括更复杂形状的内核。系数的权重，特别是滤波器内核中的中心系数，可以根据例如内容的视觉特征来选择。
在适当的情况下，解码器能够推断编码滤波过程的所有相关参数(包括编码滤波过程的存在与否)。这样就没有必要在比特流中表示参数。
还有其他可能有有用应用的修改，特别是在计算资源有限的情况下。这种限制当然更通常地适用于解码器。
例如，假设MCPS是级联到运动补偿的附加滤波，则可以假设通过对相关联的内核进行卷积来组合运动补偿和平滑的可能性。特别地，假设有许多离散的、不同的MCPS模式，一些预先计算的内核可以存储在内存中，供以后使用。然而，通过前面章节的描述并参考图1，可以注意到，在方向性滤波的情况下，运动补偿和MCPS不能彼此耦合，因为GDD是在运动补偿后获得的样本上计算的。为了解决这种交织依赖性，MCPS可以使用通过假设整数像素运动向量精度获得的帧作为预测器P，而不是使用子像素插值获得的帧。然后，通过对相关联的内核进行卷积来组合平滑和子像素运动补偿。在这种情况下，可以在整数精度运动补偿之后但在应用子像素运动补偿之前使GDD可用，因此可以在一个单独的滤波步骤之后使PMCPS可用。
然后，在编码器处，GDD过程将从平滑滤波器分离，并且将对解码图片缓冲器的输出进行操作。类似地，在解码器处，GDD过程将对先前解码的图片进行操作。
应当认识到，当前和建议的标准允许逐块选择参考帧以及运动向量。因此，可以对每个运动向量或每个运动向量和参考帧组合单独执行MCPS。
各种其他修改对于本领域技术人员来说是明显的，例如，虽然详细描述主要考虑了用于模糊的方法，但是该方法也可以用于去模糊帧。这可能涉及使用已知的模糊检测技术而不是GDD，以及去模糊滤波器而不是平滑滤波器。更一般地，本发明可用于减少任何一组图像中的残差，其中某个效果仅出现在图像之一中。
对该方法的扩展(例如，用于去模糊)可能涉及所发送标志的改变，其中根据要应用的滤波器，可以发送不同的标志。对应于去模糊示例，可以存在对于以下项的标志的选择：没有滤波器；模糊滤波器；去模糊滤波器(当然，这可以扩展到包括更多的标志)。滤波器应用的特征(例如，梯度主导方向的计算)可以保持由解码器计算，以最小化传输成本。
可替代地，待应用滤波器的类型可以从被滤波的图像中推断出来，例如模糊图像可以导致应用去模糊滤波器。可能存在一个标志，该标志仅在将要应用异常滤波器时设置，例如在已经模糊的图像上使用模糊滤波器。
该滤波器还可以依赖于历史数据，例如，如果滤波器已经被应用于先前的块或帧，则可以相应地选择所应用滤波器的方向或幅度。
应当注意，本文中描述的平滑和相关决策可以应用于编码循环期间的任何粒度级别，可以是编码单元或预测单元(在HEVC标准的情况下)或其他可能的未来标准中的任何种类的划分。
虽然到目前为止，在本公开中注意力已经集中在运动补偿预测的平滑或其他滤波上，但是在运动补偿之前在参考帧上进行平滑或其他滤波的情况下，在宽范围的滤波器之间进行选择的能力——而不会相应地增加比特流上的信令负担——可能是有利的，例如如US2006/0171569中所示。

Claims (41)

1.一种解码视频比特流的方法，包括以下步骤：
接收比特流，所述比特流表示：通过从图像样本中减去编码器滤波的运动补偿预测样本而产生的残差样本；和用于形成所述运动补偿预测样本的运动向量；在具有至少一个参数的编码器处对所述运动补偿预测样本进行的编码器滤波过程；
使用所述运动向量从先前重建的图像中提供运动补偿预测样本；
解码器根据所述至少一个参数对所述运动补偿预测样本进行滤波；以及
将所述滤波的运动补偿预测样本添加到所述残差样本以重建图像。
2.根据权利要求1所述的方法，还包括分析所述运动补偿预测样本以推断所述编码器滤波过程的至少一个参数的步骤，所述解码器根据所述至少一个推断的参数对运动补偿预测样本进行滤波。
3.根据权利要求1所述的方法，还包括分析所述先前重建的图像以推断所述编码器滤波过程的至少一个参数的步骤，所述解码器根据所述至少一个推断的参数对运动补偿预测样本进行滤波。
4.根据权利要求2或3所述的方法，其中，分析的步骤包括确定所述运动补偿预测样本或所述先前重建的图像中的任何主导方向的存在，以推断与所述编码器滤波过程中的任何各向异性相关的一个参数或多个参数。
5.根据权利要求2、3和4中任一项所述的方法，其中，分析的步骤包括确定所述运动补偿预测样本或所述先前重建的图像中的任何主导方向的方向，以推断与所述编码器滤波过程中的任何各向异性的存在或细节相关的一个参数或多个参数。
6.根据前述权利要求中任一项所述的方法，其中，所述解码器滤波使用滤波器孔径，所述滤波器孔径定义来自运动补偿预测样本的块或其他集合中的当前运动补偿预测样本和相邻运动补偿预测样本的加权贡献。
7.根据权利要求6所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，与所述滤波器孔径的各向异性相关。
8.根据权利要求6或权利要求7所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，是表示所述滤波器孔径的各向同性或各向异性的二进制标志。
9.根据权利要求6至权利要求8中任一项所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，表示各向异性滤波器孔径的主导方向，并且优选地表示一组量化方向之一。
10.根据权利要求6至权利要求9中任一项所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，表示所述滤波器孔径中的样本数量。
11.根据权利要求6至权利要求10中任一项所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，表示当前运动补偿预测样本的贡献的权重。
12.一种编码视频的方法，所述方法包括以下步骤：
使用运动向量和重建的图像形成运动补偿预测样本；
对所述运动补偿预测样本进行编码器滤波过程；
从图像样本中减去运动补偿预测样本以形成残差样本；以及
形成表示所述残差样本、所述运动向量和可选的所述编码器滤波过程的至少一个参数的比特流。
13.根据权利要求12所述的方法，还包括分析所述运动补偿预测样本以确定所述编码器滤波过程的至少一个参数的步骤。
14.根据权利要求12所述的方法，还包括分析先前重建的图像以确定所述编码器滤波过程的至少一个参数的步骤。
15.根据权利要求13或14所述的方法，其中，分析的步骤包括确定所述运动补偿预测样本或所述先前重建的图像中的任何主导方向的存在，以确定与所述编码器滤波过程中的任何各向异性相关的一个参数或多个参数。
16.根据权利要求13、14和15中任一项所述的方法，其中，分析的步骤包括确定所述运动补偿预测样本或所述先前重建的图像中的任何主导方向的方向，以确定与所述编码器滤波过程中的任何各向异性的存在或细节相关的一个参数或多个参数。
17.根据权利要求12至16中任一项所述的方法，其中，所述编码器滤波使用滤波器孔径，所述滤波器孔径定义来自运动补偿预测样本的块或其他集合中的当前运动补偿预测样本和相邻运动补偿预测样本的加权贡献。
18.根据权利要求17所述的方法，其中，所述参数或所述参数之一与所述滤波器孔径的各向异性相关。
19.根据权利要求17至权利要求18中任一项所述的方法，其中，所述参数或所述参数之一表示各向异性滤波器孔径的主导方向，并且优选地表示一组量化方向之一。
20.根据权利要求17至权利要求19中任一项所述的方法，其中，所述参数或所述参数之一表示所述滤波器孔径中的样本数量。
21.根据权利要求17至权利要求20中任一项所述的方法，其中，所述参数或所述参数之一表示当前运动补偿预测样本的贡献的权重。
22.一种解码视频比特流的方法，包括以下步骤：
接收比特流，所述比特流表示：通过从图像样本中减去运动补偿预测样本而产生的残差样本；和用于形成所述运动补偿预测样本的运动向量；在具有至少一个参数的编码器处进行的编码器滤波过程；
使用所述运动向量从先前重建的图像样本中提供运动补偿预测样本；以及
将所述运动补偿预测样本添加到所述残差样本以重建图像；
其特征在于，
在所述解码器处进行分析以推断所述编码器滤波过程的至少一个参数；以及
解码器根据所述至少一个推断的参数，并且可选地根据所述比特流中表示的至少一个参数，对所述运动补偿预测样本或所述先前重建的图像样本进行滤波。
23.根据权利要求22所述的方法，其中，分析的步骤包括确定样本阵列中任何主导方向的存在和/或方向，以推断与所述编码器滤波过程中的任何各向异性相关的一个参数或多个参数。
24.根据权利要求23所述的方法，其中，所述样本阵列包括所述运动补偿预测样本或所述先前重建的图像。
25.根据权利要求22至24中任一项所述的方法，其中，所述解码器滤波使用滤波器孔径，所述滤波器孔径定义来自样本的块或其他集合中的当前样本和相邻样本的加权贡献。
26.根据权利要求25所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，与所述滤波器孔径的各向异性相关。
27.根据权利要求25或权利要求26所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，是表示所述滤波器孔径的各向同性或各向异性的二进制标志。
28.根据权利要求25至权利要求27中任一项所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，表示各向异性滤波器孔径的主导方向，并且优选地表示一组量化方向之一。
29.根据权利要求25至权利要求28中任一项所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，表示所述滤波器孔径中的样本数量。
30.根据权利要求25至权利要求29中任一项所述的方法，其中，所述参数或所述参数之一，并且优选地所述推断的参数或所述推断的参数之一，表示当前运动补偿预测样本的贡献的权重。
31.一种编码视频比特流的方法，包括以下步骤：
使用运动向量和重建的图像样本形成运动补偿预测样本；
从图像样本中减去运动补偿预测样本以形成残差样本；以及
形成表示所述残差样本和所述运动向量的比特流；
其特征在于，
进行分析以确定编码器滤波过程的、未在所述比特流中表示的至少一个参数；以及
编码器根据所述至少一个参数对所述运动补偿预测样本或所述先前重建的图像样本进行滤波。
32.根据权利要求31所述的方法，其中，分析的步骤包括确定样本阵列中任何主导方向的存在和/或方向，以确定与任何各向异性相关的一个参数或多个参数。
33.根据权利要求32所述的方法，其中，所述样本阵列包括所述运动补偿预测样本或所述先前重建的图像。
34.根据权利要求31至33中任一项所述的方法，其中，所述编码器滤波使用滤波器孔径，所述滤波器孔径定义来自样本的块或其他集合中的当前样本和相邻样本的加权贡献。
35.根据权利要求34所述的方法，其中，所述参数或所述参数之一与所述滤波器孔径的各向异性相关。
36.根据权利要求31至权利要求35中任一项所述的方法，其中，所述参数或所述参数之一表示各向异性滤波器孔径的主导方向，并且优选地表示一组量化方向之一。
37.根据权利要求31至权利要求36中任一项所述的方法，其中，所述参数或所述参数之一表示所述滤波器孔径中的样本数量。
38.根据权利要求31至权利要求37中任一项所述的方法，其中，所述参数或所述参数之一表示当前运动补偿预测样本的贡献的权重。
39.一种计算机程序产品，所述计算机程序产品适于使可编程装置实施根据前述权利要求中任一项所述的方法。
40.一种被配置成实施根据权利要求1至38中的任一项所述的方法的装置。
41.一种包括被配置成实施根据权利要求12至21或31至38中任一项的方法的装置的系统，所述系统与被配置成实施根据权利要求1至11或22至30中任一项的方法的多个装置通信。
CN201980033993.3A 2018-04-04 2019-03-20 视频的编码和解码 Active CN112154667B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1805569.9A GB2572595B (en) 2018-04-04 2018-04-04 Video encoding and decoding
GB1805569.9 2018-04-04
PCT/GB2019/050776 WO2019193313A1 (en) 2018-04-04 2019-03-20 Video encoding and decoding

Publications (2)

Publication Number Publication Date
CN112154667A true CN112154667A (zh) 2020-12-29
CN112154667B CN112154667B (zh) 2023-05-23

Family

ID=62142172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033993.3A Active CN112154667B (zh) 2018-04-04 2019-03-20 视频的编码和解码

Country Status (7)

Country Link
US (1) US11317102B2 (zh)
EP (1) EP3777193A1 (zh)
KR (1) KR20200134318A (zh)
CN (1) CN112154667B (zh)
EA (1) EA202092359A1 (zh)
GB (1) GB2572595B (zh)
WO (1) WO2019193313A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523922A (zh) * 2006-10-13 2009-09-02 高通股份有限公司 具有用于经运动补偿预测的自适应滤波的视频编码
CN102308579A (zh) * 2009-02-03 2012-01-04 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
US20120320973A1 (en) * 2010-03-09 2012-12-20 Thomson Licensing Methods and apparatus for a classification-based loop filter
US20150382003A1 (en) * 2014-06-26 2015-12-31 Sony Corporation Data encoding and decoding apparatus, method and storage medium
WO2017091001A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8914843D0 (en) * 1989-06-28 1989-08-16 British Aerospace A method of processing video image data for use in the storage or transmission of moving digital images
US7764572B2 (en) * 2004-12-08 2010-07-27 Schlumberger Technology Corporation Methods and systems for acoustic waveform processing
US20060171569A1 (en) 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523922A (zh) * 2006-10-13 2009-09-02 高通股份有限公司 具有用于经运动补偿预测的自适应滤波的视频编码
CN102308579A (zh) * 2009-02-03 2012-01-04 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
US20120320973A1 (en) * 2010-03-09 2012-12-20 Thomson Licensing Methods and apparatus for a classification-based loop filter
US20150382003A1 (en) * 2014-06-26 2015-12-31 Sony Corporation Data encoding and decoding apparatus, method and storage medium
WO2017091001A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 픽셀의 기울기에 기초하여 인트라 또는 인터 예측 블록을 후처리하는 방법 및 장치

Also Published As

Publication number Publication date
EA202092359A1 (ru) 2021-06-30
KR20200134318A (ko) 2020-12-01
GB2572595A (en) 2019-10-09
WO2019193313A1 (en) 2019-10-10
GB201805569D0 (en) 2018-05-16
CN112154667B (zh) 2023-05-23
GB2572595B (en) 2023-03-22
US11317102B2 (en) 2022-04-26
US20210168378A1 (en) 2021-06-03
EP3777193A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
JP6929907B2 (ja) 省略符号化を用いた映像符号化及び復号化装置及びその方法
CN107396105B (zh) 图像编解码方法和装置、以及计算机可读介质
EP2157799A1 (en) Interpolation filter with local adaptation based on block edges in the reference frame
US20140321552A1 (en) Optimization of Deblocking Filter Parameters
KR20090116655A (ko) 비디오 신호의 디코딩 방법 및 장치
JP6592086B2 (ja) 一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置
US11202082B2 (en) Image processing apparatus and method
CN112154667B (zh) 视频的编码和解码
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법
EA041592B1 (ru) Кодирование и декодирование видео
KR20130098121A (ko) 적응적 보간 필터를 이용하는 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
US20240031612A1 (en) Method and apparatus for video coding using pre-processing and post-processing
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
EP4268460A1 (en) Temporal filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant