CN108353171B - 视频编码样本自适应滤波的方法和装置 - Google Patents

视频编码样本自适应滤波的方法和装置 Download PDF

Info

Publication number
CN108353171B
CN108353171B CN201580084551.3A CN201580084551A CN108353171B CN 108353171 B CN108353171 B CN 108353171B CN 201580084551 A CN201580084551 A CN 201580084551A CN 108353171 B CN108353171 B CN 108353171B
Authority
CN
China
Prior art keywords
filter
parameters
interpolation
parameter
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580084551.3A
Other languages
English (en)
Other versions
CN108353171A (zh
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110376955.7A priority Critical patent/CN113301334B/zh
Publication of CN108353171A publication Critical patent/CN108353171A/zh
Application granted granted Critical
Publication of CN108353171B publication Critical patent/CN108353171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码装置，包含可由一个或多个主要参数和一个或多个辅助参数配置的滤波器列，以及用于基于所述一个或多个主要参数和所述滤波器列的强度标准调整所述一个或多个辅助参数的滤波器控制器。

Description

视频编码样本自适应滤波的方法和装置
技术领域
本发明涉及视频编码设备和用于配置用于视频编码的滤波器列的方法。
本发明还涉及存储程序代码的计算机可读存储介质，所述程序代码包括用于执行配置用于视频编码的滤波器列的方法的指令。
背景技术
数字视频通信和存储应用由各种各样的数字设备来实现，例如数码相机、蜂窝无线电话、笔记本电脑、广播系统、视频会议系统等。这些应用中最重要且最具挑战性的任务之一为视频压缩。视频压缩任务复杂，并且受到两个相互冲突的参数的限制：压缩效率和计算复杂度。ITU-T H.264/AVC或ITU-T H.265/HEVC等视频编码标准提供了良好的参数折衷。
现有视频编码标准主要基于源图像分块。这些块的处理取决于它们的大小、空间位置和编码器指定的编码模式。编码模式可根据预测类型分为两类：帧内预测模式和帧间预测模式。帧内预测模式使用相同图片的像素来产生参考样本，以计算被重构块的像素的预测值，帧内预测也可以称为空间预测。帧间预测模式设计用于时间预测，并使用先前或后续图像的参考样本来预测当前图像的块的像素。
由于不同类型的冗余，帧内编码和帧间编码的预测过程也不相同。帧内预测通常构建参考样本的一维缓冲区，帧间预测通常使用二维参考像素矩阵的子像素插值。为提升预测结果，可以帧内编码和帧间编码进行额外处理(例如，用于帧内预测的参考样本的平滑，用于帧间预测的参考块的锐化)。
最近通过的ITU-T H.265/HEVC标准(ISO/IEC 23008-2：2013，“信息技术—异构环境中的高效率编码和媒体传送—第2部分：高效率视频编码”，2013年11月)宣布了一套最先进的视频编码工具，提供了编码效率和计算复杂度之间的合理折衷。
类似于ITU-T H.264/AVC视频编码标准，HEVC/H.265视频编码标准提供源图像分块，例如编码单元(coding unit，简称CU)。每个CU可以进一步分为更小的CU或预测单元(prediction unit，简称PU)。PU可以根据应用于PU的像素的处理类型进行帧内或帧间预测。在帧间预测的情况下，PU表示通过使用为PU指定的运动向量的运动补偿进行处理的像素的面积区域。对于帧内预测，PU指定一组变换单元(transform unit，简称TU)的预测模式。TU可具有不同尺寸(例如，4×4、8×8、16×16和32×32像素)，并且可以以不同方式进行处理。对于正在执行TU变换的编码，即预测误差正使用离散余弦变换(discrete cosinetransform，简称DCT)进行变换和量化。因此，重构的像素包括量化噪声和阻碍人为因素，可能会影响预测的准确性。
为减少这种对帧内预测的影响，HEVC/H.265已采用参考像素滤波。对于帧间预测，参考像素使用子像素插值来计算。在运动补偿的情况下，参考像素平滑可与子像素插值过程的抗混叠滤波相结合。
模式自适应帧内预测平滑技术已经提出。平滑滤波取决于所选择的帧内预测模式和在视频比特流中编码的标志。根据定义的块的帧内预测模式，参考样本可以通过滤波器平滑或者在不被修改的情况下使用。在参考样本平滑的情况下，平滑滤波器的选择也可以基于帧内预测模式。另外，该选择可根据从比特流中重构的标志的值执行。
目前的HEVC/H.265标准部分使用这种技术。具体而言，在一些帧内模式和块大小的组合种，滤波器平滑被关闭。
已提出参考样本自适应滤波器(reference sample adaptive filter，简称RSAF)，作为HEVC/H.265标准所采用的参考样本滤波器的扩展。该自适应滤波器在平滑之前对参考样本进行分段，以将不同的滤波器应用于不同的分段。另外，采用数据隐藏程序来信号通知平滑标志。联合探索模型1(Joint Exploration Model 1，简称JEM1)采用简化版的参考样本自适应滤波器，包括其他几种采用平滑的工具，包括：
-四抽头内插滤波器；
-边界预测滤波器；和/或
-多参数帧内预测(multi-parameter intra prediction，简称MPI)，可以用位置相关帧内预测组合(position dependent intra prediction combination，简称PDPC)。
上述方法的问题包括在编码或解码期间的高信号耗费和视频过度平滑。
发明内容
本发明的目的在于提供一种视频编码装置和配置视频编码的滤波器列的方法，其中，视频编码装置和配置所述滤波器列的方法克服了上述一个或多个问题。
本发明第一方面提供了一种视频编码设备，包括：
-可由一个或多个主要参数和一个或多个辅助参数配置的滤波器列；
-滤波器控制器，用于基于所述一个或多个主要参数和基于所述滤波器列的强度标准来调整所述一个或多个辅助参数。
第一方面的视频编码设备可以调整一个或多个辅助参数，使得满足滤波器列的强度准则。例如，如下所述，强度标准可涉及总体平滑度，且滤波器控制器可以设置辅助参数，使得滤波步骤中滤波器列的整体平滑度不会过高也不会过低。换句话说，滤波器控制器可用于确保滤波器列的强度标准在预定范围内。
第一方面的视频编码设备可用于视频编码和/或解码。
滤波器控制器可以用于仅部分地设置一个或多个辅助参数。例如，可以从比特流或用户设置读取辅助参数并进行调整，例如在一定范围内，由滤波器控制器进行。在其他实施例中，滤波器控制器也可以用于覆盖例如已经获得的辅助参数的值，例如从比特流或用户设置中获得。在现有技术中，包括RSAF在内的视频编码工具的不协调工作可能导致过度平滑，从而
-由于下一个滤波器未考虑到先前的滤波器造成的影响，降低了整体编码性能；和/或
-由于所有上述滤波器都不断打开，增加了整体的计算复杂度。
这可以通过第一方面的视频编码设备来避免。此外，由于辅助参数不需要存储在比特流中，因此在某些实施例中可以减少信令耗费。
在优选实施例中，第一方面的视频编码设备可以通过调整使用平滑的滤波器列的参数来解决所提到的过度平滑问题。例如可以通过为使用平滑的滤波器引入一个标志或一些条件来实现这种调整。所述标志和/或条件可以为：
-打开和关闭工具的平滑机制；和/或
-更改滤波器的平滑强度(例如，从强滤波器切换到弱滤波器)。
第一方面的视频编码设备的滤波器控制器可以用于不仅控制单个滤波器而且控制多个滤波器。可以认为是协调影响帧内预测结果的不同滤波器的机制，例如，通过平滑实现。具体地，可以对滤波器控制器进行配置，进行以下调整：
-样本处理机制可以改变，因为一些滤波器模块可以根据标志值和/或满足一些条件而关闭；
-可以引入新的滤波器模块来控制可以通过对其进行平滑来影响帧内预测的结果的所有滤波器。
根据第一方面，在所述视频编码设备的第一种实现方式中，所述强度标准包括：
-平滑度标准；
-高频域的放大系数与低频域的放大系数之比；和/或
-滤波之前的对比度值与滤波之后的对比度值之比。
这允许针对上述一个或多个标准优化所述滤波器列。如上所述，优选地，可以执行滤波器控制器的调整，使得所述滤波器列的强度标准在一定范围内，例如，预定的范围。
根据第一方面，在所述视频编码设备的第二种实现方式中，所述一个或多个主要参数为预先确定的参数，具体地，为从编码位流、用户设置和/或编码设备上的参数搜索循环中预先确定的参数。
从主要参数确定辅助参数可以减少信令耗费，其中仅主要参数为预先确定的。例如，若辅助参数未存储在比特流中，则可以减少比特率，但可以从比特流中的主要参数获得比特率。
根据第一方面，在所述视频编码设备的第三种实现方式中，所述滤波器列包括可由一个或多个主要参数配置的一个或多个主要滤波器和可由一个或多个辅助参数配置的一个或多个辅助滤波器，其中所述一个或多个主要滤波器位于所述一个或多个辅助滤波器之前的滤波器列中。在后期调整滤波器的参数具有的优点是，前阶段滤波器的效果可能无法完成或者至少不会被进一步强化。例如，若前滤波器具有一定的平滑强度，则可以保证后阶段的滤波器不会增加该平滑效果。例如，后阶段的滤波器的平滑标志可以被关闭。
在本发明的其他实施例中，主要参数可以与后阶段的滤波器相关，辅助参数可以与前阶段的滤波器相关。
根据第一方面，在所述视频编码设备的第四种可能的实现方式中，所述滤波器列包括：
-参考样本滤波器，用于自适应地滤波当前视频块的一个或多个相邻样本以获得一个或多个参考样本；
-内插滤波器，用于使用所述一个或多个参考样本的插值来预测所述当前视频块的一个或多个样本，其中，
所述一个或多个主要参数包括所述参考样本滤波器的参考参数，所述一个或多个辅助参数包括所述内插滤波器的选择参数，其中所述内插滤波器用于根据所述选择参数使用内插方法。第四种实现方式中的视频编码设备的滤波器列可以为例如用于帧内预测的滤波器列。
优选地，滤波器控制器用于基于参考参数确定选择参数。这已被证实为是提高总体滤波强度标准的有效方法。
根据第一方面，在所述视频编码设备的第五种实施方式中，所述一个或多个主要参数包括参考样本滤波器的参考样本滤波器标志，所述一个或多个辅助参数包括帧内预测内插滤波器的滤波强度参数。
优选地，滤波器控制器用于基于参考样本滤波标识确定滤波强度参数。这已被证实为是提高总体滤波强度标准的有效方法。
根据第一方面，在所述视频编码设备的第六种实施方式中，所述滤波器列包括边界平滑滤波器，用于对属于满足尺寸限制的一个或多个预测单元的一个或多个变换单元进行边界平滑。这具有如下优点：边界平滑滤波器降低了重构块的分块伪影的可见性。预测单元通常包含某种类型的图片区域：边缘、纹理、平滑区域等。然而，对于较大的PU，平滑区域的概率较高。对于平滑区域，伪像更为重要，因此，大PU的边界平滑比小的更为可取。因此，建议用PU尺寸(例如，32×32像素的尺寸)来限制边界平滑。通过这一限制，一方面可以避免在较小PU的非平滑区域产生不必要的模糊，另一方面可以减少较大PU的分块伪影。
与边界平滑被预定义用于帧内预测的情况相比，这样可以改进客观和主观质量。
根据第一方面，在所述视频编码设备的第七种实现方式中，所述一个或多个主要参数包括预测块滤波器的方向参数，所述一个或多个辅助参数包括边界平滑滤波器的开关参数。
优选地，滤波器控制器用于基于预测块滤波器的方向参数确定边界平滑滤波器的开关参数。这已被证实为是提高总体滤波强度标准的有效方法。
根据第一方面，在所述视频编码设备的第八种可能的实现方式中，所述滤波器列包括：
-子像素内插滤波器，用于自适应地对参考块的样本进行滤波以获得内插参考块；
-低通和/或高通滤波器，用于平滑和/或锐化所述内插参考块以获得滤波参考块，其中，所述一个或多个主要参数包括所述内插滤波器的内插参数，所述一个或多个辅助参数包括所述锐化和/或平滑滤波器的选择参数，其中所述辅助参数根据所述内插滤波器的内插参数获得。
第八种实现方式中的视频编码设备的滤波器列可以为例如用于帧间预测的滤波器列。
优选地，滤波器控制器用于基于内插参数来确定锐化和/或平滑滤波器的选择参数。这已被证实为是提高总体平滑标准的有效方法。
需要说明的是，所述滤波器列的平滑度准则也可以取决于位置。例如，一个滤波器可能在一个区域引入强平滑度，在另一个区域引入强锐化度。因此，滤波器控制器可以用于针对视频的一个或多个图像帧的不同区域设置不同的辅助参数。
根据第一方面，在所述视频编码设备的第九种实现方式中，所述滤波器列包括自适应环路滤波器，用于使用选择的码本来指示比特流中的一个或多个滤波器系数，其中所述滤波器控制器用于基于所述一个或多个主要参数从多个码本中选择所述码本。
由多个码本编码的自适应环路滤波器系数利用了应用于自适应环路滤波器的输入信号的处理的先验信息。若已经对自适应环路滤波器正在处理的信号应用了平滑，则应知自适应环路滤波器只能引入高通滤波。因此，自适应环路滤波器的一些系数组合变得不可用。该特征用于至少在两种情况下相应地保留两个或更多个码本：当自适应环路滤波器应用于已经平滑的输入信号和当自适应环路滤波器的输入不应用平滑时。
例如，多个码本可以包括第一码本和第二码本，其中第一码本仅包括用于高通滤波和低通滤波的系数，第二码本仅包括用于低通滤波的系数。
在优选实施例中，多个码本包括多于两个码本，其中优选地，多个码本的不同码本对应于在ALF之前应用的滤波器的不同滤波强度。
根据第一方面的所述视频编码设备，在第十种可能的实现方式中，所述滤波器列包括：
-解块滤波器，用于基于垂直滤波器强度参数处理垂直边缘，和/或基于水平滤波器强度参数处理水平边缘；
-样本自适应偏移SAO滤波器，用于根据SAO类别参数将像素分类并向像素添加偏移值；所述一个或多个主要参数包括所述SAO滤波器的SAO类别参数和SAO类型参数，所述一个或多个辅助参数包括所述水平滤波器强度参数和所述垂直强度参数，其中，所述滤波控制器用于基于所述SAO滤波器的SAO类别参数和/或SAO类型参数来获得辅助参数，和/或所述滤波控制器用于基于所述SAO类型参数来从所述多个码本中选择所述码本。
第十种实现方式中的视频编码设备的滤波器列可以为例如环路滤波器列。
根据上述第一方面相关的实现方式之一所述的视频编码设备，在进一步的实现方式中，垂直和水平边缘的解块滤波器强度的辅助参数不同，其中垂直解块滤波器强度和水平解块滤波器强度基于所述SAO类别来调整。
根据上述第一方面相关的实现方式之一所述的视频编码设备，在进一步的实现方式中，所述滤波器列不包括自适应环路滤波器，或者滤波器控制器不调整环路滤波器的参数。
根据上述第一方面相关的实现方式之一所述的视频编码设备，在进一步的实现方式中，所述滤波器列不包括解块滤波器，或者滤波器控制器不调整解块滤波器的参数。
本发明的第二方面涉及一种配置用于视频编码的滤波器列的方法，所述方法包括：
-基于一个或多个主要参数和基于所述滤波器列的强度标准来调整一个或多个辅助参数；
-利用主要和辅助参数配置所述滤波器列。
根据第二方面，在所述方法的第一种实现方式中，所述方法还包括初始步骤：从比特流中确定一个或多个主要参数。
本发明第二方面所述的方法可由视频编码设备根据本发明第一方面执行。本发明第二方面的方法的其他特征或实现方式中，可以执行根据本发明的第一方面的视频编码设备的功能及其不同的实现形式。
本发明的第三方面涉及一种存储程序代码的计算机可读存储介质，所述程序代码包括用于执行第三方面或第三方面的实现方式之一的方法的指令。
附图说明
为了更清楚地说明本发明实施例中的技术特征，下面将对实施例描述中所需要使用的附图作简单地介绍。下面描述中的附图仅仅是本发明的一些实施例。这些实施例在不违背本发明如权利要求书中所定义的保护范围的情况下，可以进行修改。
图1为示出根据本发明实施例的视频编码设备的框图；
图2为根据本发明另一实施例的配置用于视频编码的滤波器列的方法的流程图；
图3为根据本发明另一实施例的用于帧内预测的滤波器列的结构图；
图4为根据本发明另一实施例的配置用于受控参考样本自适应滤波的滤波器列的方法的流程图；
图5为根据本发明另一实施例的配置用于帧内预测的滤波器列的方法的流程图；
图6为根据本发明另一实施例的配置用于边界滤波的滤波器列的方法的流程图；
图7为根据本发明另一实施例的用于帧内预测的滤波器列的结构图；
图8为根据本发明另一实施例的配置用于帧内预测的滤波器列的方法的流程图；
图9为根据本发明另一实施例的在解码器侧使用滤波器控制模块进行帧内预测的方法的流程图；
图10为根据本发明另一实施例的利用滤波器控制模块进行帧间预测的串并行实施例的结构图；
图11为根据本发明另一实施例的在解码器侧使用滤波器控制模块配置用于进行帧间预测的滤波器列的方法的流程图；
图12为根据本发明另一实施例的环路滤波器链的结构图；
图13为根据本发明另一实施例的用于配置滤波器列的方法的流程图，其中解块滤波取决于一个或多个SAO参数；
图14为根据本发明另一实施例的用于配置滤波器列的另一方法的流程图，其中解块滤波取决于SAO参数，且滤波发生在解码器侧；
图15为根据本发明另一实施例的用于配置滤波器列的方法的流程图，其中该方法根据解码器侧的一个或多个SAO参数来调整一个或多个ALF参数；
图16为根据本发明另一实施例的用于配置滤波器列的方法的流程图，其中该方法根据编码器侧的一个或多个SAO参数来调整一个或多个ALF参数。
具体实施方式
图1示出了一种视频编码设备100，包括滤波器列110和滤波器控制器120。
所述滤波器列110可由一个或多个主要参数和一个或多个辅助参数来配置。例如，所述滤波器列的第一组滤波器可以由主要参数配置，所述滤波器列的第二组滤波器可以由辅助参数配置。所述第一和第二组滤波器可重叠。
滤波器控制器120用于基于一个或多个主要参数和基于滤波器列110的强度标准来调整一个或多个辅助参数。具体地，滤波器控制器120可用于基于一个或多个主要参数部分调整一个或多个辅助参数。例如，辅助参数值可以部分地依据预确定值，例如，来自比特流，部分依据基于主要参数的调整。
图2示出了配置用于视频编码的滤波器列的方法200。所述方法200包括第一步骤210：基于一个或多个主要参数和基于所述滤波器列的强度标准来调整一个或多个辅助参数。该方法进一步包括第二步骤220：利用主要和辅助参数配置所述滤波器列。
帧内预测过程可以为编码器侧和/或解码器侧的混合视频编码工具链的一部分。类似地，帧间预测过程可包括滤波器列(例如，内插滤波器和所谓的预测滤波器)，这些滤波器可能导致参考块的过度平滑或过度锐化，实际为一种用于帧间预测的帧内预测块的类似物。
滤波器列可包括，如以下滤波器的一个或多个：
-参考样本平滑(例如RSAF)；
-用于帧内预测的内插滤波；
-帧内预测块滤波(例如MPI或PDPC)；和/或
-边界平滑。
这些滤波器会影响平滑帧内预测的结果。
图3示出了滤波器列300，包括用于在帧内预测的不同阶段调整滤波参数的滤波器控制模块360。所述滤波器控制模块360为滤波器控制器。
帧内预测的参数可包括但不限于：
-预测单元的尺寸；
-被预测块的尺寸；
-帧内预测模式；
-多参数帧内模式索引；和/或
-参考样本滤波标识。
以上参数的一个或多个可以为主要和辅助参数。
除滤波器控制模块360之外，所述滤波器列300包括参考样本平滑单元310、帧内预测单元320、预测块滤波单元330和边界平滑单元340。参考样本平滑单元310用于提供一个或多个相邻样本302作为输入。参考样本平滑单元310用于平滑和/或进一步处理一个或多个相邻样本302，以获得一个或多个参考样本312，提供给帧内预测单元320作为输入。帧内预测单元320包括内插滤波器322。帧内预测单元320将其输出324作为输入提供给预测块滤波器330。预测块滤波器330用于计算一个或多个预测块332，提供给边界平滑单元340作为输入。边界平滑单元340生成一个或多个帧内预测块350作为输出342。
包括滤波器列300的视频编码设备可用于选择性地使用参考样本的隐式或显式信令进行滤波，即仅用于符合特定条件的TU。
滤波器控制模块360可用于读取帧内预测参数362，作为主要参数。滤波器控制模块360可用于基于这些主要参数获得辅助参数。
四叉树分割结果可用作使用显式或隐式信令的参考样本滤波器选择的指示。具体地，若PU的尺寸大于阈值(例如32×32)，则参考样本滤波器标志设为零。这种分配覆盖了现有技术的条件。若PU尺寸条件满足，则根据PU大小和/或帧内模式条件仅可以选择“无滤波器”和“应用弱滤波器”选项。
图4为配置用于受控参考样本自适应滤波的滤波器列的方法400的流程图。
方法400包括第一步骤402：评估预测单元尺寸的相关条件。若条件评估为满足，该方法继续执行步骤404，获得参考样本滤波器标志。若与预测单元尺寸的相关条件评估为不满足，则该方法继续执行步骤406，将参考样本滤波器标志设置为不满足。步骤404或步骤406之后为步骤408，评估帧内模式相关的一个或多个条件和块的尺寸。
若步骤408的结果评估为满足，该方法继续执行步骤410，评估参考样本滤波器标志。若步骤408的结果评估为不满足，该方法继续执行步骤414，参考样本滤波器标志设置为不采用滤波器。若在步骤410中所属标志评估为满足，则在步骤416中采用弱滤波器。或者，若步骤408中的条件评估被评估为满足，则该方法继续执行步骤412，评估参考样本滤波器标志。若评估为不满足，则在步骤416中采用弱滤波器。若步骤412中参考样本滤波器标识被评估为满足，则在步骤418中采用强滤波器。
一旦从集合中选择的特定的滤波器被映射到帧内模式，以及预测了块的尺寸，则“应用弱滤波器”和“应用强滤波器”阶段中可以从预定义的一组滤波器中选择滤波器。该特定实施例中，仅具有3个滤波器并不意味着滤波器组内的滤波器的数量不能扩展到任意数量(例如，五个状态表示包括状态“无滤波器”、“弱滤波器”、“强力滤波器”和两个中间滤波器)。在定向帧内预测中，计算预测块的像素值和左上块边界上的投影。然而，投影可能具有分段位置，即它可能落在边界上的参考样本的实际位置之间。计算相邻参考样本值的加权和以确定帧内预测块样本的值。该过程实际上是一个双抽头线性内插滤波器，可进一步扩展为一个四抽头内插滤波器。
可使用四抽头内插滤波器以提高定向帧内预测准确度。在HEVC中，已使用双抽头线性内插滤波器在定向预测模式(即除平面和DC预测器外)中生成帧内预测块。或者可以使用两种类型的四抽头内插滤波器：用于4×4和8×8块的立方体内插滤波器和用于16×16和更大块的高斯内插滤波器。滤波器的参数是根据块大小确定的，并且在所有的定向模式下对于所有的预测像素使用相同的滤波器。
在HEVC中，在针对VER和HOR帧内模式生成帧内预测块之后，分别进一步调整预测样本的最左列和最顶行。这可以进一步扩展为几个对角内部模式，并使用二抽头(对于帧内模式2和34)或三抽头滤波器(对于帧内模式3–6和30–33)进一步调整到四列或四行的边界样本。
图4图5示出了内插滤波器类型选择与参考样本滤波处理同步的两个实施例。两个实施例中可以应用两种内插滤波器类型：弱和强。例如，高斯滤波器用于16×16和更大的预测块，其他大小的块选择立方体滤波器。对于这两个实施例，内插滤波器选择可以与参考样本滤波处理协调。
图5为配置用于帧内预测的内插滤波器的方法500的流程图。
方法500包括第一步骤502：获得参考样本滤波器标志。步骤504中，对参考样本滤波器标志进行评估。若评估为满足，则该方法继续执行步骤506，评估变换块大小的相关条件。若该条件评估为不满足，则该方法继续执行步骤508，应用弱内插滤波器。类似地，若在步骤504中参考样本滤波器标志评估为不满足，则该方法也继续执行步骤508。若在步骤506中变换块尺寸的相关条件评估为满足，则该方法继续执行步骤510，应用强内插滤波器。
图4和图5的实施例在获得参考样本滤波器标志方面存在差异。在图4的实施例中，若根据条件，预测块选择不同的参考样本滤波器，则参考样本滤波器标志满足。该滤波器选择可以通过显式地或隐式地发信号通知(即，通过映射到预测模式或使用隐藏在量化的残差数据中的数据)。对于图4的实施例，在获得参考样本滤波器标志时不考虑实际选择的参考滤波器值。但若在编码器侧对预测块执行参考样本滤波器选择，并将该选择显式地或隐含地用信号通知给解码器，则参考样本标志值满足。否则，若预测块有预定义的参考滤波器或没有参考样本对参考样本进行滤波，则标志值不满足。
图5实施例中，使用参考滤波器选择值作为参考样本标志值。若为参考样本(如{12 1}或五抽头滤波器)选择强滤波器，则将参考样本标志值指定为满足。类似于第一实施例，对于没有参考滤波或者选择弱参考样本滤波器的预测块，参考样本标志值不满足。
通过协调参考样本滤波和帧内预测内插处理来实现上述实施例的有益效果。可以看出，这些实施例防止预测块过于平滑。
图6为配置用于边界滤波的滤波器列的方法600的流程图。
方法600包括第一步骤602：确定预测块滤波器是否定向。若是，该方法继续执行步骤604，评估块尺寸条件。若块大小条件被评估为不满足或者预测块滤波器定向性被评估为不满足，则该方法继续执行步骤606，评估帧内模式条件。若帧内模式条件评估为满足，则该方法继续执行步骤608，应用边界平滑。否则，若步骤604中的块大小条件被评估为满足，则不应用边界平滑。
若帧内预测模式选择为DC、水平、垂直或对角，则可以应用边界平滑。所提出的发明将边界平滑与用于预测块的滤波器的选择同步。具体而言，预测块滤波器的方向性用来来决定是否应用边界平滑。定向性是指示滤波方向之间的滤波强度差异的空间滤波器的特征。例如，若二维滤波器在垂直和水平方向上强度相同，则该滤波器为非定向。特别是对于非定向滤波器，不应用边界平滑。多参数帧内预测可以为预测块滤波器的示例。若这种技术被用于预测块滤波器，则图6中的第一个条件可以为“MPI索引大于1”。
相反情况下，当预测块滤波器为定向，本发明考虑另一个约束条件。若滤波块的大小小于32个像素，则尽管预测块滤波器具有方向性，但是避免对该块执行边界平滑。
图7为用于帧内预测的滤波器列700的结构图。所述滤波器列700可以用于对视频进行编码或解码。
所述滤波器列700包括用于调整一些滤波器的参数的滤波器控制模块760。具体地，所述滤波器列700接收一个或多个相邻样本702作为输入。这些相邻样本702被提供为参考样本自适应滤波器SAF 710的输入，表示所述滤波器列700的第一滤波器。参考样本自适应滤波器710产生一个或多个参考样本712，作为输入提供至帧内预测单元720中。帧内预测单元720包括一组四抽头内插滤波器722，其可由一个或多个的内插滤波参数进行配置。
将帧内预测单元的输出724提供作为边界预测滤波器730的输入。将边界预测滤波器的输出732提供作为多参数帧内预测/位置相关帧内预测组合单元740的输入。单元740产生一个或多个帧内预测块750作为输出742。
参考样本自适应滤波器710、帧内预测单元720、边界预测滤波器730以及多参数帧内预测/位置相关帧内预测组合单元740中的每一个可以由一个或多个参数配置，可以由滤波器控制模块760设置。
多参数帧内预测(multi-parameter intra prediction，简称MPI)为一种帧内预测后处理，调用具有解码边界的附加平滑。可实现为：
PMPI[i，J]＝(αPHEVC[i，j]+βPMPI[i-1，j]+γPMPI[i，j-1]+δPMPI[i-1，j-1]+4)＞＞3
超出块PMPI[i，j]之外的等同于重构信号。
PMPI[i，j]＝REC[i，j]，若i＜0||j＜0。
后处理(参数α+β+γ+δ＝8)的强度可以在CU层上进行控制，并用最多两位来表示。
可替换MPI的位置相关帧内预测组合(position dependent intra predictioncombination，简称PDPC)为用于帧内预测的内容自适应后处理，调用上述帧内预测与未滤波边界的组合。可实现为：
pred(i，J)＝(α·temp(i，J)+β·temp(i-1，j)+γ·temp(i，j-1)+4)>>3
这里(i，j)表示相对于左上角的采样位置，i≥0，j≥0时，temp(i，j)等于上述帧内预测，i＝-1，j＝-1时，temp(i，j)等于未滤波参考。
后处理强度可以通过参数α+β+γ＝8来控制。不同的{α，β，γ}组构成表1中总结的字典。后处理平滑的强度对于编码的块，如2N×2N和N×N是不同的。CU内部的亮度和色度块都可以采用相同的后处理。
表1：组合帧内预测中的后处理参数字典
Figure GDA0001659032950000101
确定后处理的组合帧内索引在CU层上用两个比特来信号通知。若CU的左边界或上边界是图片边界，则不发送该语法单元。此索引的值为零表示不使用后处理。
若每个工具都有一个标志来打开和关闭，且对于所有使用平滑的工具共同执行RDO程序而不是分别对每个工具执行RDO程序，则可以克服过度平滑的问题。然而，该解决方案可能具有冗余信令的缺点，可能降低整体编码性能。
图8为配置用于帧内预测的滤波器列的方法800的流程图。
方法800包括第一步骤810：确定参考样本自适应滤波RSAF是否正在使用。例如，可通过评估RASF标志来确定。若确定RSAF正在使用，在步骤812中，应用参考样本自适应滤波。然后，在步骤814中，应用四抽头立方体滤波器进行内插。这可以通过将用于帧内预测的滤波器列的内插滤波器的内插模式参数设置为四抽头立方体滤波器来实现。
若在步骤810中确定RSAF未在使用，在步骤816中，应用一组四抽头滤波器进行内插。具体地，可以为预先确定的一组四抽头滤波器。通过设置内插滤波器，可以实现使用该组四抽头滤波器，例如通过将内插滤波器的内插参数设置为“一组四抽头滤波器”。
在进一步的步骤820中，MPI索引变量i设置为0。随然后，在步骤822中，确定该变量是否大于1。若是，则在步骤824中确定当前预测单元PU的尺寸大于32。若是，则在步骤826中，应用边界预测滤波。若在步骤822中确定i不大于1，则还应用边界预测滤波。若在步骤824中确定当前PU尺寸不大于32，则该方法在步骤828中将多参数帧内预测/位置相关帧内预测组合。
然后，在步骤830中，计算当前配置的速率失真成本RD成本Ji。具体地，当前配置可对应于MPI索引i的当前值。在其他实施例中，其他参数也是变化的，且可以确定不同参数设置的RD成本。
在步骤832中，确定MPI索引i是否大于等于3。若不是，则在步骤834中将MPI索引增加1，且该方法在继续执行步骤822。若MPI索引大于或等于3，则该方法继续执行步骤836，选择最佳MPI索引。这可以通过选择对应于最低RD成本Ji的MPI索引来实现。
图9为用于利用解码器侧的滤波器控制模块来配置用于帧内预测的滤波器列的方法900的流程图。
帧间预测机制可以包括例如以下滤波器：
-基于拉格朗日算符插值的正则滤波器；
-使用基于DCT插值的锐化滤波器(大部分围绕更锐利的边缘)；和/或
-平滑非内插滤波器。
优选地，可以仅选择一个滤波器。对于四分之一像素插值，默认情况下可以启用锐化滤波器，即通过在解码器侧解析比特流来检索其参数，而无需获取其他任何标志和参数。对于半像素插值，可以关闭锐化。对于三分之一像素插值，启用锐化和平滑滤波器，因此可以根据需要关闭滤波器。但是，若其中一个开启，则应在执行滤波前从比特流中检索其参数。
方法900包括第一步骤910：确定参考样本自适应滤波RSAF是否正在使用。例如，可通过评估RASF标志来确定。若确定RSAF正在使用，在步骤912中应用参考样本自适应滤波。然后，在步骤914中，应用四抽头立方体滤波器进行内插。这可以通过将用于帧内预测的滤波器列的内插滤波器的内插模式参数设置为四抽头立方体滤波器来实现。
若在步骤910中确定RSAF未在使用，在步骤916中，应用一组四抽头滤波器进行内插。具体地，可以为预先确定的一组四抽头滤波器。通过设置内插滤波器，可以实现使用该组四抽头滤波器，例如通过将内插滤波器的内插参数设置为“一组四抽头滤波器”。
在步骤920中，确定MPI索引是否大于1。MPI索引可以已经被确定，例如通过解析或以从比特流中确定MPI索引值。若MPI索引大于1，则该方法继续执行步骤924，评估当前PU尺寸是否大于32。若是，且若MPI索引不大于1，则该方法继续执行步骤926，应用边界预测滤波。然而，若当前的PU尺寸不大于32，则该方法继续执行步骤928，将多参数帧内预测/位置相关帧内预测组合。
图10为滤波器列1000的结构图，其中滤波器列1000具有串行/并行结构。
所述滤波器列1000用于处理样本块1002以获得参考(预测)块1040。所述滤波器列1000包括一个或多个子像素内插滤波器1010，用于在样本块1002之间进行内插。将子像素插值的结果1012提供给平滑滤波器1020和/或锐化滤波器1030作为输入。优选地，可使用平滑滤波器1020或锐化滤波器1030。
平滑滤波器1020和/或锐化滤波器1030的输出为参考(预测)块1040。所述滤波器列1000由滤波器控制模块1050控制，滤波器控制模块1050用于设置子像素内插滤波器1010、平滑滤波器1020和/或锐化滤波器1030的参数。
图11为用于利用解码器侧的滤波器控制模块来配置用于帧间预测的滤波器列的方法的流程图。
方法1100包括第一步骤：确定是否正在使用1/4或3/4像素插值。若未使用，则该方法继续执行步骤1104：确定是否正在使用1/2像素插值。若是，则该方法继续执行步骤1106：解析比特流以检索一个控制标志的一个或多个值。然后，在步骤1112中，确定是否启用锐化滤波器。具体地，可以根据在步骤1106中确定的控制标志的一个或多个值来确定。或者，若在步骤1104中，已经确定1/2像素插值未使用，则该方法继续执行步骤1108：解析比特流以检索一个或多个控制标志的一个或多个值。然后，在步骤1110中，确定是否启用平滑滤波器。具体地，可以根据一个或多个控制标志的一个或多个值确定。
若平滑滤波器启用，则该方法继续执行步骤1116：解析比特流以检索平滑滤波器强度参数的一个或多个值，并相应地执行滤波。或者，若在步骤1110中确定，例如，从比特流中确定平滑滤波器未启用，则该方法继续执行步骤1112：确定锐化滤波器是否启用。若锐化滤波器启用，则该方法继续执行步骤1114：解析比特流以检索锐化滤波器强度参数的一个或多个值，并相应地执行滤波。
现有技术的视频编码还提供编码器和解码器最后阶段的滤波步骤。一旦处理的输出数据被传送到运动补偿环路，该滤波就被称为环路滤波。
一些滤波器列既可以在编码器上使用，也可以在解码器上使用。优选地，所述滤波器列的第一阶段为使用解块滤波器去除分块伪影。根据一组预定规则将低通滤波器应用于TU的边缘。这些规则包括称为解锁参数的参数，其可以针对整个滤波器列或针对每个帧分别指定。
优选地，第二阶段用于通过样本自适应偏移滤波器来去除量化噪声。可以将帧分为具有SAO参数的像素区域，分配给各个区域。SAO参数可包括：
●控制分类器类型的SAO类型：
o BO(带偏移)：该SAO类型选择将偏移添加到具有由SAO类别指定范围内的值的像素；
o EO(边缘偏移)：该SAO类型根据SAO类别选择为像素添加不同的偏移量。
●SAO类别：指定用来获得SAO类别的像素图形；
●SAO偏移量：查询分配给各个SAO类别的偏移量的表。根据像素类别，应添加相应的偏移量。
优选地，这些SAO参数中的一个或多个是在编码侧获得的并被编码到比特流中，使得解码器可以对其进行解析。
下一阶段为应用与威纳滤波器相当接近的自适应环路滤波器(adaptive loopfilter，简称ALF)。在编码器端获得这样的滤波器系数，提供在重构像素滤波之后的最小均方误差。这些系数进一步量化，并在比特流中用信号发送给解码器。
优选地，用于匹配环路滤波链的不同阶段的滤波器强度的滤波器控制模块用于根据在其他阶段的参数的值来调整在滤波阶段的处理。
图12为环路滤波器链1200的结构图，即滤波器列。
环路滤波器链1200用于处理重构帧1202，以获得参考图片缓冲器1240。重构帧1202作为输入提供给解块滤波器1210。解块滤波器的输出提供给样本自适应偏移滤波器1220作为输入1212。样本自适应偏移滤波器1220的输出提供给自适应环路滤波器1230作为输入1222。自适应环路滤波器1230的输出提供给参考图片缓冲器1240作为输入1232。
解块滤波器1210、样本自适应偏移滤波器1220和自适应环路滤波器1230可由滤波器控制模块1250设置的参数来配置。滤波器控制模块1250用于基于输入参数来确定这些参数，其包括一个或多个解块滤波器参数1252、一个或多个SAO参数1254以及一个或多个ALF参数1256。例如，这些参数可由用户定义或从比特流获得。
解块滤波器1210可取决于一个或多个SAO参数。优选地，在编码器侧，若SAO类型被选择为EO(边缘偏移)，且像素图形(SAO类别)对齐为水平或垂直方向，则对于与选择的像素图形方向正交的方向的边缘，禁用解块操作。
图13为用于配置滤波器列的方法1300的流程图，其中解块滤波取决于一个或多个SAO参数。方法1300包括第一步骤1302：估计一个或多个SAO参数。SAO参数可包括边缘偏移参数和SAO类别。
步骤1304中，确定边缘偏移参数是否设置为满足。若是，步骤1306中，确定SAO类别参数。若SAO类别参数设置为垂直，则该方法继续执行步骤1308，禁止水平边缘的解块。若SAO类别参数设置为水平，则该方法继续执行步骤1310，禁止垂直边缘的解块。若SAO类别设置为另一个值，或者若在步骤1304中确定边缘偏移参数为不满足，则该方法继续执行步骤1312，根据上述确定的配置应用解块滤波器。然后，该方法继续执行步骤1314，进行样本自适应偏移滤波以及可能的其他滤波步骤。
图14为用于配置滤波器列的另一方法1400的流程图，其中解块滤波取决于SAO参数，滤波在解码器侧进行。
在第一步骤1402中，从比特流中检索一个或多个SAO参数。
步骤1404中，确定边缘偏移参数是否设置为满足。若是，步骤1406中，确定SAO类别参数。若SAO类别参数设置为垂直，则该方法继续执行步骤1408，禁止水平边缘的解块。若SAO类别参数设置为水平，则该方法继续执行步骤1410，禁止垂直边缘的解块。若SAO类别设置为另一个值，或者若在步骤1404中确定边缘偏移参数不满足，则该方法继续执行步骤1412，根据上述确定的配置应用解块滤波器。然后，该方法继续执行步骤1414，进行样本自适应偏移滤波以及可能的其他滤波步骤。
图15为用于配置滤波器列的方法1500的流程图，其中方法1500根据解码器侧的一个或多个SAO参数调整一个或多个自适应环路滤波器参数。
具体地，该方法1500包括第一步骤1502：估计SAO参数。在第二步骤1504中，确定是否设置了边缘偏移标志。若设置了边缘偏移标志，则在步骤1506中，自适应环路滤波器ALF中的平滑滤波器被禁用。
然后，在步骤1508至1514中，应用解块、样本自适应偏移滤波、自适应环路滤波器参数估计以及自适应环路滤波。
与例如图13和图14中说明的方法相比，对ALF参数进行编码和解码的码本选择具体对于边缘偏移和带偏移SAO情况不同。
图16为根据编码器侧的一个或多个SAO参数来调整一个或多个ALF参数的方法1600的流程图。
在第一步骤1602中，从比特流中获得SAO参数。在第二步骤1604中，确定是否设置了边缘偏移标志。若未设置，则在步骤1606中，选择第一ALF参数码本。若未设置边缘偏移标志，则在步骤1608中，选择第二ALF参数码本。
然后，在步骤1610至1616中，从比特流中检索ALF参数，应用解块滤波器，应用样本自适应偏移滤波，并应用自适应环路滤波。
本发明的实施例可进一步涉及以下方面：
1.一种视频数据编码和解码方法，包括帧内预测过程，包括：
a.根据帧内预测参数配置以下给出的步骤的滤波器参数；
b.通过自适应地将滤波器应用到正在预测的块的相邻样本来准备参考样本；
c.使用参考样本的内插值计算正在预测的块的每个样本的预测值；
d.将滤波器应用于预测块；
e.进行边界平滑。
2.根据第一方面的方法，四叉树分割结果用作使用显式或隐式信令的参考样本滤波器选择的指示。
3.根据第一方面的方法，使用根据参考样本滤波过程选择的内插滤波器来计算正被预测的块的每个样本的预测值。
4.根据第三方面的方法，针对被预测的块执行内插滤波器选择，其中，所述预测的块没有参考样本滤波器选择的隐式或显式信令。
5.根据第三方面的方法，对从被弱参考样本滤波器滤波的参考样本中获得的预测的块执行内插滤波器选择。
6.根据第一方面的方法，对属于满足尺寸限制的PU的TU执行边界平滑。
7.根据第六方面的方法，预测块滤波器定向性影响应用边界平滑的决定。
8.一种视频数据编码和解码方法，包括帧间预测过程，包括：
a.根据帧间预测参数配置以下给出的步骤的滤波器参数；
b.通过自适应地将滤波器应用于搜索区域来准备参考样本，该搜索区域用于寻找内插和预测滤波器处理之后被用作参考的块；
c.将内插滤波器应用于当前正在处理的块；
d.将预测滤波器应用于当前正在处理的块。
9.根据第八方面的方法，步骤d在步骤c之前。
10.信号滤波方法，包括：
a.一些迭代滤波步骤，其中滤波器强度取决于附加条件；
b.一些滤波步骤的相关指示，在相关联的步骤中指定滤波强度；
c.在取决于与前述步骤相关联的指示的情况下，在滤波步骤a中覆盖附加条件的控制单元。
11.根据第十方面的方法，在滤波步骤i中强滤波器的指示覆盖附加条件时，在步骤k>i中进行检查以选择较弱的滤波器。
本发明实施例具有以下优势中的一个或多个：
-混合视频编码框架中的许多潜在应用与作为下一代视频编码标准基础的JEM兼容；
-与JEM 1相比，降低了BD率和改进了主观质量；
-与集成RSAF的JEM 1相比，降低了编码器和解码器的计算复杂度，使得本发明对于许多移动应用具有潜在的吸引力；
-避免多余的信号(语法)。
上文描述仅仅为本发明的实施方式，本发明的范围并不仅限于此。本领域技术人员可以容易地做出任何变化或替换。因此，本发明的保护范围应以所附权利要求的保护范围为准。

Claims (13)

1.一种视频编码设备，其特征在于，包括：
-由一个或多个主要参数和一个或多个辅助参数配置的滤波器列，所述滤波器列包括由一个或多个主要参数配置的一个或多个主要滤波器和由一个或多个辅助参数配置的一个或多个辅助滤波器，其中所述一个或多个主要滤波器位于所述一个或多个辅助滤波器之前的滤波器列中，所述滤波器列包括：
-参考样本滤波器，用于自适应地滤波当前视频块的一个或多个相邻样本以获得一个或多个参考样本；
-内插滤波器，用于使用所述一个或多个参考样本的插值来预测所述当前视频块的一个或多个样本，其中，所述一个或多个主要参数包括所述参考样本滤波器的参考参数，所述一个或多个辅助参数包括所述内插滤波器的选择参数，其中所述内插滤波器用于根据所述选择参数使用内插方法；
-滤波器控制器，用于基于所述一个或多个参考参数来确定所述一个或多个选择参数。
2.根据权利要求1所述的视频编码设备，其特征在于，所述滤波器控制器，用于基于所述一个或多个参考参数和基于所述滤波器列的强度标准来确定所述一个或多个选择参数。
3.根据权利要求2所述的视频编码设备，其特征在于，所述强度标准包括：
-平滑度标准；
-高频域的放大系数与低频域的放大系数之比；和/或
-滤波之前的对比度值与滤波之后的对比度值之比。
4.根据上述权利要求之一所述的视频编码设备，其特征在于，所述一个或多个主要参数为预先确定的参数，具体地，为从编码位流、用户设置和/或编码设备上的参数搜索循环中预先确定的参数。
5.根据权利要求1所述的视频编码设备，其特征在于，所述一个或多个主要参数包括参考样本滤波器的参考样本滤波器标志，所述一个或多个辅助参数包括帧内预测内插滤波器的滤波强度参数。
6.根据权利要求1所述的视频编码设备，其特征在于，所述滤波器列包括边界平滑滤波器，用于对属于符合尺寸限制的一个或多个预测单元的一个或多个变换单元执行边界平滑。
7.根据权利要求1所述的视频编码设备，其特征在于，所述一个或多个主要参数包括预测块滤波器的方向参数，所述一个或多个辅助参数包括边界平滑滤波器的开关参数。
8.根据权利要求1所述的视频编码设备，其特征在于，所述滤波器列包括：
-子像素内插滤波器，用于自适应地对参考块的样本进行滤波以获得内插参考块；
-低通和/或高通滤波器，用于平滑和/或锐化所述内插参考块以获得滤波参考块，其中，所述一个或多个主要参数包括所述子像素内插滤波器的内插参数，所述一个或多个辅助参数包括所述锐化和/或平滑滤波器的选择参数，其中所述滤波器控制器用于基于子像素内插滤波器的内插参数获得所述辅助参数。
9.根据权利要求1所述的视频编码设备，其特征在于，所述滤波器列包括自适应环路滤波器，用于使用选择的码本来指示比特流中的一个或多个滤波器系数，其中所述滤波器控制器用于基于所述一个或多个主要参数从多个码本中选择所述码本。
10.根据权利要求1所述的视频编码设备，其特征在于，所述滤波器列还包括：
-解块滤波器，用于基于垂直滤波器强度参数处理垂直边缘，和基于水平滤波器强度参数处理水平边缘；
-样本自适应偏移SAO滤波器，用于根据SAO类别参数将像素分类并向像素添加偏移值；
-自适应环路滤波器，用于使用两个或多个码本来指示比特流中的一个或多个滤波器系数，其中，
所述一个或多个主要参数包括所述SAO滤波器的SAO类别参数和SAO类型参数，所述一个或多个辅助参数包括所述水平滤波器强度参数和垂直强度参数，其中，所述滤波器控制器用于基于所述SAO滤波器的SAO类别参数和/或SAO类型参数来获得辅助参数，和/或所述滤波器控制器用于基于所述SAO类型参数来选择所述两个或多个码本。
11.一种配置用于视频编码的滤波器列的方法，其特征在于，所述滤波器列包括由一个或多个主要参数配置的一个或多个主要滤波器和由一个或多个辅助参数配置的一个或多个辅助滤波器，其中所述一个或多个主要滤波器位于所述一个或多个辅助滤波器之前的滤波器列中，所述滤波器列包括：参考样本滤波器，用于自适应地滤波当前视频块的一个或多个相邻样本以获得一个或多个参考样本；内插滤波器，用于使用所述一个或多个参考样本的插值来预测所述当前视频块的一个或多个样本，其中，所述一个或多个主要参数包括所述参考样本滤波器的参考参数，所述一个或多个辅助参数包括所述内插滤波器的选择参数，其中所述内插滤波器用于根据所述选择参数使用内插方法，所述方法包括：
-基于一个或多个参考参数来确定一个或多个选择参数；
-利用所述一个或多个参考参数和所述一个或多个选择参数配置所述滤波器列。
12.根据权利要求11 所述的方法，其特征在于，还包括从比特流中确定所述一个或多个主要参数的初始步骤。
13.一种视频编码设备，包括处理器和存储程序代码的计算机可读存储介质，其特征在于，所述处理器用于读取并执行所述计算机可读存储介质中的程序代码，所述程序代码包括用于执行权利要求11和12中一项所述的方法的指令。
CN201580084551.3A 2015-11-17 2015-11-17 视频编码样本自适应滤波的方法和装置 Active CN108353171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110376955.7A CN113301334B (zh) 2015-11-17 2015-11-17 视频编码样本自适应滤波的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2015/000796 WO2017086823A1 (en) 2015-11-17 2015-11-17 Method and apparatus of adaptive filtering of samples for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110376955.7A Division CN113301334B (zh) 2015-11-17 2015-11-17 视频编码样本自适应滤波的方法和装置

Publications (2)

Publication Number Publication Date
CN108353171A CN108353171A (zh) 2018-07-31
CN108353171B true CN108353171B (zh) 2021-04-20

Family

ID=56108686

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110376955.7A Active CN113301334B (zh) 2015-11-17 2015-11-17 视频编码样本自适应滤波的方法和装置
CN201580084551.3A Active CN108353171B (zh) 2015-11-17 2015-11-17 视频编码样本自适应滤波的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110376955.7A Active CN113301334B (zh) 2015-11-17 2015-11-17 视频编码样本自适应滤波的方法和装置

Country Status (13)

Country Link
US (2) US11102481B2 (zh)
EP (2) EP3363198B1 (zh)
JP (1) JP6700391B2 (zh)
KR (3) KR102201051B1 (zh)
CN (2) CN113301334B (zh)
AU (3) AU2015415109B2 (zh)
CA (2) CA3005417A1 (zh)
MX (1) MX2018006091A (zh)
MY (1) MY201173A (zh)
RU (1) RU2696552C1 (zh)
SG (1) SG11201804135XA (zh)
WO (1) WO2017086823A1 (zh)
ZA (1) ZA201803953B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567759B2 (en) * 2016-03-21 2020-02-18 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding
KR20180080115A (ko) * 2017-01-02 2018-07-11 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
AU2018276649B2 (en) * 2017-05-31 2020-12-24 Lg Electronics Inc. Method and device for performing image decoding on basis of intra prediction in image coding system
WO2018236133A1 (ko) * 2017-06-19 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
SG11202003260WA (en) 2017-11-07 2020-05-28 Huawei Tech Co Ltd Interpolation filter for an inter prediction apparatus and method for video coding
KR20190090731A (ko) * 2018-01-25 2019-08-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US20200007872A1 (en) 2018-06-29 2020-01-02 Industrial Technology Research Institute Video decoding method, video decoder, video encoding method and video encoder
HUE063986T2 (hu) * 2018-09-16 2024-02-28 Huawei Tech Co Ltd Eljárás és berendezés predikcióhoz
JP2020053724A (ja) * 2018-09-21 2020-04-02 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
US11438583B2 (en) * 2018-11-27 2022-09-06 Tencent America LLC Reference sample filter selection in intra prediction
WO2020130887A1 (en) 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Method and apparatus of interpolation filtering for predictive coding
CN113196753B (zh) * 2018-12-28 2023-05-12 华为技术有限公司 用于预测译码的插值滤波锐化方法和装置
CN109889852B (zh) * 2019-01-22 2021-11-05 四川大学 一种基于邻近值的hevc帧内编码优化方法
WO2020221374A1 (en) * 2019-05-02 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Intra video coding using multiple reference filters
CN113632464B (zh) * 2019-05-21 2023-04-28 华为技术有限公司 分量间预测的方法和设备
US10708624B1 (en) * 2019-05-30 2020-07-07 Ati Technologies Ulc Pre-processing for video compression
WO2021141519A2 (en) * 2020-05-26 2021-07-15 Huawei Technologies Co., Ltd. Method and apparatus of high-level syntax for smoothing intra-prediction techniques

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1500289B1 (en) 2002-01-16 2009-08-19 Broca Communications Limited Secure messaging via a mobile communications network
EP2082585A2 (en) * 2006-10-18 2009-07-29 Thomson Licensing Method and apparatus for video coding using prediction data refinement
US20080118070A1 (en) 2006-11-20 2008-05-22 6580874 Canada Inc. Open and distributed systems to provide secure email service
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
JP5232854B2 (ja) * 2007-04-26 2013-07-10 ポリコム，インク． デブロッキング・フィルタ配列
CN101188496B (zh) 2007-12-10 2010-09-29 中兴通讯股份有限公司 一种短信加密传输方法
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
CN101616142A (zh) 2008-06-24 2009-12-30 香港城市大学 实现信息加密传输的方法和系统
EP2375747B1 (en) * 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
JP5875979B2 (ja) * 2010-06-03 2016-03-02 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
RS56473B1 (sr) * 2010-09-30 2018-01-31 Samsung Electronics Co Ltd Postupak za interpolaciju slika pomoću filtera za interpolaciju i uglačavanje
US9008175B2 (en) 2010-10-01 2015-04-14 Qualcomm Incorporated Intra smoothing filter for video coding
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US20130294705A1 (en) * 2010-11-10 2013-11-07 Sony Corporation Image processing device, and image processing method
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
KR102295680B1 (ko) * 2010-12-08 2021-08-31 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
US10142630B2 (en) 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
US20120183041A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Interpolation filter for intra prediction of hevc
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
JP2013093792A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置および方法
US9282344B2 (en) * 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
US9538200B2 (en) * 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
KR101620619B1 (ko) * 2012-01-30 2016-05-12 한국전자통신연구원 인트라 예측 모드 부호화/복호화 방법 및 장치
US9596463B2 (en) * 2012-02-22 2017-03-14 Qualcomm Incorporated Coding of loop filter parameters using a codebook in video coding
KR101530758B1 (ko) * 2012-07-04 2015-07-20 한양대학교 산학협력단 적응적 필터링을 이용하는 인트라 예측 방법 및 장치
US20150172677A1 (en) * 2012-07-06 2015-06-18 Telefonaktiebolaget L M Ericsson (Publ) Restricted Intra Deblocking Filtering For Video Coding
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
CN103297225B (zh) 2013-05-14 2016-05-11 河南省躬行信息科技有限公司 一种基于身份的单播保密通信方法和多播保密通信方法
US9854252B2 (en) * 2013-05-20 2017-12-26 Texas Instruments Incorporated Method and apparatus of HEVC de-blocking filter
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
WO2015057947A1 (en) * 2013-10-17 2015-04-23 Huawei Technologies Co., Ltd. Improved reference pixel selection and filtering for intra coding of depth map
BR112016022870B8 (pt) 2014-04-01 2024-01-23 Huawei Tech Co Ltd Métodos e aparelhos para ocultar e reconstruir dados em unidades de codificação estruturadas de múltiplas camadas
JP6324510B2 (ja) 2014-05-23 2018-05-16 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． ブロック予測技法での使用のための事前予測フィルタリングのための方法及び装置
JP2020080446A (ja) 2017-03-24 2020-05-28 パナソニックＩｐマネジメント株式会社 カメラ側装置及び情報通知方法

Also Published As

Publication number Publication date
CN108353171A (zh) 2018-07-31
BR112018009921A2 (pt) 2018-11-13
EP3363198B1 (en) 2020-09-16
US11902515B2 (en) 2024-02-13
AU2020203726A1 (en) 2020-06-25
JP6700391B2 (ja) 2020-05-27
KR20210135371A (ko) 2021-11-12
MY201173A (en) 2024-02-08
US20210385447A1 (en) 2021-12-09
CN113301334A (zh) 2021-08-24
AU2022202896A1 (en) 2022-05-26
JP2018534870A (ja) 2018-11-22
MX2018006091A (es) 2018-11-09
KR20210003965A (ko) 2021-01-12
RU2696552C1 (ru) 2019-08-02
KR102201051B1 (ko) 2021-01-08
KR102367708B1 (ko) 2022-02-24
WO2017086823A1 (en) 2017-05-26
AU2020203726B2 (en) 2022-02-03
ZA201803953B (en) 2019-04-24
AU2015415109B2 (en) 2020-03-05
EP3363198A1 (en) 2018-08-22
US20180262756A1 (en) 2018-09-13
AU2022202896B2 (en) 2023-09-28
SG11201804135XA (en) 2018-06-28
CN113301334B (zh) 2023-11-03
CA3113488A1 (en) 2017-05-26
KR20180083389A (ko) 2018-07-20
KR102325395B1 (ko) 2021-11-10
CA3005417A1 (en) 2017-05-26
US11102481B2 (en) 2021-08-24
EP3767947A1 (en) 2021-01-20
AU2015415109A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN108353171B (zh) 视频编码样本自适应滤波的方法和装置
JP5763210B2 (ja) 改良されたループ型フィルタリング処理のための方法と装置
WO2017084577A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
CN108632619A (zh) 视频编码方法和装置以及相关的视频解码方法和装置
CN109644273B (zh) 用于视频编码的设备和方法
CN113796086A (zh) 帧内预测中利用模式相关的帧内平滑滤波器进行编码或解码的方法和装置
JP2022186730A (ja) ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置
CN114640847B (zh) 编解码方法、装置及其设备
CN114339223B (zh) 解码方法、装置、设备及机器可读存储介质
CN114125445A (zh) 解码方法、装置、设备及机器可读存储介质
WO2022140905A1 (zh) 预测方法、编码器、解码器以及存储介质
TW202335495A (zh) 視頻編解碼系統中多假設幀內模式的方法和裝置
TW202335496A (zh) 用於視頻編解碼系統幀間預測的方法和装置
BR122020024442B1 (pt) Dispositivo de codificação de vídeo e método para configurar uma sequência de filtros para codificação de vídeo
BR112018009921B1 (pt) Dispositivo e método para configurar uma sequência de filtros para codificação de vídeo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant