CN113906762B - 用于视频压缩的预处理 - Google Patents

Abstract

一种处理系统[100]对图片的块[105]进行滤波以在编码之前将块的大小和误差最小化。处理系统的预处理模块[110]测量多个块的特性，并评估在编码之前将多个滤波器[102]中的每一者应用于块的影响，以便预测具有类似特性的块的可压缩性的增加，所述块在被编码之前用每个滤波器进行滤波，使得对质量的影响最小。预处理模块训练模型以基于块特性预测用每个滤波器进行滤波的块的大小和误差。预处理模块使用所述模型来根据大小和误差计算将每个滤波器应用于具有某些特性的给定块的成本。然后，预处理模块将被预测导致最佳成本的滤波器应用于块。

Description

用于视频压缩的预处理

技术背景

多媒体服务器生成表示多媒体流(例如，用户已请求的多媒体流)中的图片的数据。多媒体服务器的编码器对每个图片的数据进行编码以形成位流，所述位流通过网络传输到解码器，所述解码器对位流进行解码并将解码后的视频信息提供给多媒体应用程序或任何其他应用程序以供显示给用户。此类多媒体编码器和解码器用于多种应用程序，以促进以压缩方式存储和传递多媒体流。

为了压缩多媒体流，常规的编码器实施视频压缩算法，其中压缩程度部分地取决于质量参数，诸如量化参数。量化参数是数字，所述数字可以用于导出用于量化编解码器中的变换后数据的标准矩阵。较高的量化参数通常导致图片的位使用率较低，而较低的量化参数通常导致图片的位使用率较高。压缩算法使用不同的量化参数，所述量化参数影响对标题、帧、切片和图片块的位分配。然而，使用过低的量化参数导致在图片的编码、传输和解码过程中不必要地消耗计算资源和带宽，而没有任何相称的益处。另一方面，使用太高的量化参数导致不必要地(或不可接受地)降低编码后图片的质量。另外，改变图片的量化参数可能导致不可预测的质量损失。

附图说明

通过参考附图，可以更好地理解本公开，并且本公开的众多特征和优点对于本领域技术人员而言是显而易见的。在不同附图中使用相同附图标记来指示相似或相同项。

图1是根据一些实施方案的处理系统的框图，所述处理系统包括预处理模块以基于成本分析来选择预处理滤波器并将预处理滤波器应用于要编码的图片块。

图2是根据一些实施方案的改变两个样本块的空间尺度的影响的图示。

图3是根据一些实施方案的改变两个样本块的动态范围的影响的图示。

图4是根据一些实施方案的将具有不同设置的滤波器应用于图片的一部分的预处理模块的滤波器控件的框图。

图5是示出根据一些实施方案的用于训练模型以预测用不同滤波器进行滤波的块的大小和失真的方法的流程图。

图6是示出根据一些实施方案的用于使用对于每个块具有最低成本的滤波器来对图片的块进行滤波的方法的流程图。

具体实施方式

图1至图6示出了用于在对多媒体流进行编码之前使用滤波器来预处理图片的一部分或块以将块的大小和误差最小化的处理系统和技术。处理系统的预处理模块使用多个度量测量多个块的特性，并评估在编码之前将多个滤波器中的每一者(或具有多个设置的滤波器)应用于块的影响，以便预测具有类似特性的块的可压缩性的增加，所述块在使用给定的量化参数进行编码之前用每个滤波器进行滤波，使得对质量的影响最小。预处理模块基于块的特性开发并训练模型以预测用多个滤波器中的每一者进行滤波的块的大小和误差。预处理模块基于图片的给定块的特性使用模型来根据大小和误差计算由于将每个滤波器应用于所述块的成本。预处理模块然后将滤波器应用于块，所述滤波器被预测为导致最佳成本(例如，大小最小(即，最低位使用率)，同时对质量的影响最小)。通过应用被计算为导致低成本的滤波器来预处理图片的块，预处理模块在使用给定的量化参数以可预测的质量损失量对图片编码时增加了图片的可压缩性。

当使用给定的滤波器进行滤波时，具有不同特性的块将受到不同影响。预处理模块通过测量块的多个特性(诸如色彩度、对比度或噪声度)来表征图片的每个块。在一些实施方案中，预处理模块通过在每个空间尺度和/或动态范围下计算块的梯度以生成块的“多尺度度量”来在多个空间压缩尺度和/或动态范围尺度下表征块。每个块包括一定程度的精细或粗糙细节、对比度、结构、颜色、亮度。像素活动(诸如一部分内的像素强度的变化)可以用于检测图像中的边缘、重复图案和其他结构或对象。像素活动可以使用各种度量(例如诸如使用灰度共生矩阵、二维空间均值梯度、小波或其他变换、离散余弦函数或一部分内的平均值)来测量。

对像素活动的单个测量(诸如2D空间梯度或小波变换)可以导致对实际上不同的块进行类似测量，诸如包括地毯的块与包括普通白纸的块。通过分析在多个空间尺度和/或动态范围下每个块的像素活动水平，预分析模块生成块的稳健表征，所述稳健表征间接地指示给定QP的位分配或分派将如何影响块的感知质量。在一些实施方案中，多尺度度量包括对块内存在肤色的指示。具有类似多尺度度量的块(如通过例如多尺度度量之间的笛卡尔差异测量的)有可能在视觉上类似并且类似地受到具有特定控件设置的给定滤波器的应用的影响。

在一些实施方案中，不是将所有N个滤波器应用于每个块然后选择具有最低成本的滤波器，而是预处理模块使用来自选定的训练视频的大量块来训练模型以预测每个滤波器应用于特定块时的成本。为了训练模型，预处理模块使用多尺度度量或来自训练视频的块中的每一者的另一个特性量度来表征每个块。预处理模块将具有第一控件设置的第一滤波器应用于训练视频的每个块，并使用目标编码器以特定量化参数对滤波后的块进行编码。预处理模块计算大小(即，位使用率)和误差度量，以测量通过对训练视频的每个编码后的滤波块进行滤波而引入的失真。基于块中的每一者的特性、计算的大小和计算的误差，预处理模块开发回归模型，诸如最小二乘法、随机森林回归器或其他机器学习模型，以预测在使用第一滤波器进行滤波并使用特定量化参数进行编码时具有特定特性的给定块的大小。预处理模块类似地开发回归模型以预测在使用第一滤波器进行滤波并使用特定量化参数进行编码时具有特定特性的给定块的误差。然后预处理模块重复应用滤波器、编码、计算大小和误差以及为剩余N-1个滤波器中的每一者开发回归模型的过程。在一些实施方案中，预处理模块还重复应用滤波器、编码、计算大小和误差以及为可以用于对块进行编码的任何附加量化参数开发回归模型的过程。

一旦预处理模块为每个感兴趣的滤波器和/或量化参数开发了模型，预处理模块就应用所述模型并计算每个滤波器选项的成本，以选择成本最低的滤波器用于预处理感兴趣的图片的块。对于图片的每个块，预处理模块表征块，然后基于块的特性和大小模型来计算用N个滤波器中的每一者进行滤波时块的预测大小，并基于块的特性和误差模型来计算用N个滤波器中的每一者进行滤波时块的预测误差。对于N个滤波器中的每一者，预处理模块基于块的特性计算作为预测大小和误差的函数的成本，所述成本是将滤波器应用于块引起的。在一些实施方案中，预处理模块响应于滤波器的成本低于阈值而将所述滤波器应用于块。在一些实施方案中，预处理模块将滤波器中的每一者的计算成本进行比较并选择具有最佳(最小)成本的滤波器来应用于当前块。预处理模块重复应用模型和计算成本的过程，以为图片的每个块选择成本最低的滤波器。在通过对图片的每个块应用最低成本滤波器来预处理图片之后，预处理模块将滤波后图片提供给编码器以进行编码。编码器使用指定的量化参数对图片的每个块进行编码。编码器通过网络将编码后图片传输到解码器，所述解码器对位流进行解码并将解码后的视频信息提供给多媒体应用程序以显示给用户。使用低成本滤波器预处理图片减少了位使用量(即，增加可压缩性)，而影响很小或没有明显影响。

图1示出了根据一些实施方案的处理系统100的框图，所述处理系统包括预处理模块110以基于成本分析来选择预处理滤波器120并将预处理滤波器应用于图片块。预处理模块110可以被实施为硬编码逻辑、可编程逻辑、由处理器执行的软件或其组合。在一些实施方案中，处理系统100分布在各种电子装置上，诸如服务器、个人计算机、平板计算机、机顶盒、游戏系统、移动电话等。

预处理模块110包括表征模块115、多个滤波器120、滤波器控件125、预测器130、成本计算器135和滤波器选择器140，它们中的每一者都可以被实施为硬编码逻辑、可编程逻辑、由处理器执行的软件或其组合。处理系统100接收表示多媒体流中的图片流或序列的数字信息。术语“多媒体”是指包括视频数据、音频数据等或其组合的数据流，并且在一些实施方案中还包括控制数据、元数据等或其任何组合。处理系统100将每个图片划分为提供给预处理模块110的编码单元，诸如宏块、编码树块(CTB)、标题和切片，在本文中称为“块”。

表征模块115分析每个块并根据诸如空间梯度、色彩度、对比度或噪声等度量来表征块。在一些实施方案中，表征模块115使用指示在多个空间尺度和动态范围下测量的块的像素活动的多尺度度量来表征块。在此类实施方案中，表征模块115采用调整每个块的空间尺度的视频/图像缩放器(未示出)和在表征模块115计算在每个空间尺度和动态范围设置下每个块的像素活动时调整每个块的动态范围的动态范围调制器(未示出)。“空间尺度”是指由块表示的像素的数量，并且像素是显示装置中的最小可寻址元件。例如，在一些实施方案中，视频/图像缩放器将每个块重新缩放到多个空间尺度设置，诸如1:1、2:1、4:1和8:1，使得对于具有16x16个像素的块(即，宏块)，在1:1空间尺度下，块没有改变(16x16个像素)，在2:1空间尺度下，原始的16x16块被压缩为8x8个像素，在4:1空间尺度下，块被压缩到4x4个像素，并且在8:1空间尺度下，块被压缩到2x2个像素。“动态范围”是指像素的色调值的数量。例如，在一些实施方案中，动态范围调制器应用多个动态范围设置，诸如1:1、2:1、4:1和8:1，使得对于原始动态范围为0→255个灰度值的块，在1:1动态范围下，块具有0→255个灰度值，在2:1动态范围下，块具有0→127个灰度值，在4:1动态范围下，块具有0→63个灰度值，并且在8:1的动态范围下，块具有0→31个灰度值。

在一些实施方案中，表征模块115在缩放过程之前或期间对每个块的信号进行低通滤波以防止混叠。例如，在一些实施方案中，表征模块115采用4抽头或8抽头有限脉冲响应(FIR)滤波器，所述FIR滤波器在抽取之前使用对应数量的适当系数有效地执行低通滤波。滤波导致模糊，这可能会或可能不会导致信息丢失，这取决于块中的细节量。在一些实施方案中，表征模块115使用递归方法，其中每个块内的图像针对每个连续的空间尺度设置进行缩放，就如同它在前一空间尺度设置中一样。

在每个空间尺度设置和动态范围设置下，表征模块115使用像素活动度量来计算块的像素活动水平。在一些实施方案中，表征模块115使用2维空间均值梯度计算每个块的像素活动。2维空间均值梯度捕获竖直和水平边缘。在一些实施方案中，表征模块115使用小波变换或其他变换来计算每个块的像素活动以测量给定块的活动参数。因此，表征模块115测量在空间缩放的每个渐进水平下和每个动态范围设置下丢失的信息量(如果有)。

在一些实施方案中，表征模块115为每个块生成多尺度度量，所述多尺度度量是N元组数，诸如表示由表征模块115在空间缩放的每个渐进水平下和在每个动态范围设置下计算的N个像素活动水平的矩阵。在一些实施方案中，多尺度度量计算器135使用归一化像素活动水平值(例如，相对于最大像素活动值归一化的值)，其可以由浮点数或定点数表示。在一些实施方案中，多尺度度量计算器135基于不同空间尺度和/或动态范围下的值的差异生成多尺度度量。

因此，对于表示在四个空间尺度设置和四个动态范围设置下为块测量的像素活动水平的16元组多尺度度量，一些实施方案中的多尺度度量表示下表1中描述的信息。

表1：

从左到右，如表1中描绘的多尺度度量的组成部分反映从精细到粗糙的细节贡献。从上到下，如表1中描绘的多尺度度量的组成部分仅反映从所有对比度水平到仅高对比度的细节贡献。从精细到粗糙以及从所有对比度水平到高对比度的细节贡献仅与作为许多视频和图像压缩算法的基础的离散余弦变换(DCT)和直接正弦变换(DST)或小波变换直接相关。预处理模块110使用多尺度度量或块的另一块特性量度来训练回归模型或机器学习模型以基于预算或感知目标选择用于预处理每个块的滤波器。

多个滤波器120中的每一者从它们所应用到的块中选择性地删除信息。在一些实施方案中，多个滤波器120中的每一者是相同类型的滤波器，但是被调整为与多个滤波器120中的其他滤波器不同的设置。在一些实施方案中，每个滤波器是与其他滤波器不同类型的滤波器。例如，在一些实施方案中，多个滤波器120中的每一者是具有不同控件设置的双边模糊滤波器。在其他实施方案中，多个滤波器120中的第一滤波器是双边模糊滤波器、时间滤波器、时空滤波器、运动补偿滤波器或其他类型的滤波器中的一者，并且多个滤波器中的第二滤波器120是双边模糊滤波器、时间滤波器、时空滤波器、运动补偿滤波器或其他类型的滤波器中的不同滤波器。双边模糊滤波器是一种非线性、边缘保留、降噪的平滑滤波器，其用来自附近像素的强度值的加权平均值替换每个像素的强度。时间滤波器对连续帧执行加权平均。时空滤波器通过删除空间、时间和视觉冗余来压缩图像和视频。运动补偿滤波器通过考虑相机或视频中的对象的运动来在给定先前的或未来帧的情况下预测视频中的帧。

在一些实施方案中，多个滤波器120中的每一者是在给定半径内应用高斯模糊的双边模糊滤波器。每个滤波器120具有可由滤波器控件125调整的控件设置，以设置样本像素(也称为正研究的像素)与附近候选像素之间的值(诸如亮度)的差异的阈值，以使候选像素与正研究的像素一起包括在模糊区中。滤波器控件125进一步调整每个滤波器120的控件设置，以设置用于包括在模糊区中的正研究的像素与候选像素(也满足差异阈值)之间的阈值距离。因此，每个滤波器120是对于差异阈值和距离阈值具有不同的控件设置的双边模糊滤波器。例如，在一些实施方案中，第一滤波器120是双边模糊滤波器，其针对值的阈值差异的控件设置允许用于包括在模糊区中的像素之间的值的差异相对较小(例如，小于5％)，并且其针对像素之间的距离阈值的控件设置允许将在距样本像素X个像素的半径内(并且也满足差异阈值)的像素包括在模糊区中。在一些实施方案中，第二滤波器120是双边模糊滤波器，其针对像素之间的值的阈值差异(例如，小于25％)的控件设置允许用于包括在模糊区中的像素之间的值的差异相对较大，并且其针对像素之间的阈值距离的控件设置允许将在距样本像素Y个像素的半径内(并且也满足差异阈值)的像素包括在模糊区中。在一些实施方案中，滤波器控件125将不同的控件设置应用于滤波器120以有效地将N个滤波器应用于每个块。在一些实施方案中，N个滤波器中的每一者的控件设置的差异是单调的，并且在其他实施方案中，N个滤波器中的每一者的控件设置的差异不是单调的。

在预处理模块110将滤波器120中的第一滤波器应用于块105以生成滤波块145之后，预处理模块110使用预处理模块的编码器(未示出)或通过将滤波块提供给预处理模块110外部的编码器150来对滤波块145进行编码。编码器150使用特定量化参数对滤波块145进行编码(压缩)以生成编码后的滤波块155。预测器130收集已使用第一滤波器进行滤波并使用特定量化参数进行编码的编码后的滤波块155的压缩大小(位使用率)，并计算编码后的滤波块的误差度量，诸如均方误差(MSE)155。

在一些实施方案中，预处理模块110在训练时使用N个滤波器120中的每一者来对大量块(例如，数百万个块)的大小和误差进行表征、滤波、编码和测量。基于每个块的特性以及在用N个滤波器中的每一者进行滤波和编码时收集到的每个块的大小和误差，预测器130基于块的特性使用最小二乘法、随机森林回归器或其他机器学习技术开发回归模型以输出在用N个滤波器120中的每一者进行滤波并使用给定的量化参数进行编码时块的预测大小。预测器130还基于块的特性使用最小二乘法、随机森林回归器或其他机器学习技术开发回归模型以输出在用N个滤波器120中的每一者进行滤波并使用给定的量化参数进行编码时块的预测误差。预处理模块110针对N个滤波器120中的每一者和每个感兴趣的量化参数训练大小和误差模型。

在训练模型之后，为了预处理感兴趣的图片，处理系统100将图片划分成块。表征模块115表征图片的每个块，并且在给定每个块的表征的情况下，预测器130为N个滤波器120中的每一者计算块的大小模型和误差模型。在给定块的特性的情况下，成本计算器135基于块的预测大小和误差为每个块的N个滤波器中的每一者计算成本函数。例如，在其中n是特定滤波器120、多尺度度量系数是正研究的块的多尺度度量结果并且QP是量化参数的一些实施方案中，成本函数是

基于N个滤波器120中的每一者(并且在一些实施方案中，感兴趣的每个量化参数)的成本函数，滤波器选择器140基于块的表征选择具有将被应用于每个块的最佳(最低)成本的滤波器。预处理模块110对图片的每个块重复预处理，从而将选定的滤波器120应用于图片的每个块。预处理模块110将滤波后的图片提供给编码器150以进行编码。

图2示出了根据一些实施方案的为了计算多尺度度量的目的而改变两个样本块205和255的空间尺度的影响。块205和255以1:1空间尺度示出。块205是具有四个方格的棋盘图案，其中左上象限和右下象限为黑色方格，并且右上象限和左下象限为浅灰色方格。块255是具有256个方格的棋盘图案，其中16列和16行为交替黑色和浅灰色方格。

当将块205和255的空间尺度调整为2:1空间尺度从而分别产生块210和260时，块210保留块205的感知特性，因为块210也表现为具有四个方格的棋盘图案，其中左上象限和右下象限为黑色方格，并且右上象限和左下象限为浅灰色方格。相比之下，在空间尺度缩小2:1时，块260的棋盘图案在块255中不再明显。

当将块205和255的空间尺度进一步调整到4:1空间尺度从而分别产生块215和265时，块215仍然保留块205的感知特性，而块265表现为平坦的灰色方格。类似地，当将块205和255的空间尺度调整为8:1空间尺度从而产生块220和270时，仍然可以在块220中看到棋盘图案，而块270表现为平坦的灰色方格，不保留块255的任何细节。

用于反映图2中所示的四种空间尺度设置(1:1、2:1、4:1和8:1)的多尺度度量在单个动态范围设置下是4元组。假设像素活动是值在0至1之间的2维空间梯度，其中0指示没有竖直或水平边缘，并且1指示最大数量的竖直和水平边缘，则块205的像素活动值(其是8x8像素棋盘图案)是0.125，因为所述图案对于其大小具有最大转换次数的1/8。块210(其是按2:1缩放的块205的8x8棋盘图案)的像素活动值是0.25，因为所述图案对于其大小具有最大转换次数的1/4。块215(其是按4:1缩放的块205的8x8棋盘图案)的像素活动值是0.5，因为所述图案对于其大小具有最大转换次数的一半。块220(其是按8:1缩放的块205的8x8棋盘图案)的像素活动值是1.0，因为所述图案对于其大小具有最大转换次数。因此，在示出为块205、210、215和220的空间尺度下，块205的多尺度度量被表示为[0.125、0.25、0.5、1]。

相比之下，块255是1x1像素棋盘图案，其像素活动值为1.0，因为所述图案对于其大小具有最大转换次数。块260(具有按2:1缩放的块255的1x1棋盘图案)的像素活动值为0，因为缩放的低通滤波在信号中不存在活动的程度上影响块260的图案。块265和270(分别具有按4:1和8:1缩放的块255的1x1棋盘图案)的像素活动值也为0，因为信号中不存在活动。因此，在示出为块255、260、265和270的空间尺度下，块255的多尺度度量被表示为[1、0、0、0]。[0.125、0.25、0.5、1]的多尺度度量指示块205的空间梯度在每个空间尺度下加倍，因此主要是粗糙细节，所述粗糙细节不会因空间尺度的减小而减少。相比之下，[1、0、0、0]的多尺度度量指示块255的梯度受空间尺度变化的影响，因此包括大量的精细细节。因此，通过结合2维空间梯度的量度或在多个空间尺度下像素活动的其他度量，多尺度度量提供对精细和粗略细节对块的贡献的指示。

图3示出了根据一些实施方案的为了计算多尺度度量的目的而改变两个样本块305和355的动态范围的影响。块305和355是以具有0→255的256个灰度值的1:1动态范围示出。块305是具有四个方格的棋盘图案，其中左上象限和右下象限为黑色方格，并且右上象限和左下象限为浅灰色方格。块355是具有四个方格的棋盘图案，其中左上象限和右下象限为黑色方格，并且右上象限和左下象限为暗灰色方格。

当将块305和355的动态范围调整为具有0→127的128个灰度值的2:1动态范围尺度从而分别产生块310和360时，块310的浅灰色方格变得相对较亮，而黑色方格保持黑色。因此，随着动态范围缩小2:1，块310的梯度高于块305的梯度。相比之下，在动态范围缩小2:1时，块360的梯度低于块355的梯度，尽管仍然可以辨别块360的棋盘图案。

当将块305和355的动态范围进一步调整为具有0→63的64个灰度值的4:1动态范围尺度从而分别产生块315和365时，块305的灰色方格如块315中所示变得接近白色，而块方格保持黑色。在动态范围缩小4:1时，块355的灰色方格在块365中基本上变成黑色，使得块365的梯度接近零。类似地，当将块305和355的动态范围调整到具有0→31的32个灰度值的8:1空间尺度从而产生块320和370时，块320的梯度增加到最大值，而块370表现为零梯度的平坦黑色方格。

用于反映图3中所示的四种动态范围设置(1:1、2:1、4:1和8:1)的多尺度度量在单个空间尺度设置下是4元组。假设像素活动是值介于0和1之间的2D空间梯度，其中0指示没有竖直或水平边缘，并且1指示最大数量的竖直和水平边缘，则块305的多尺度度量(在示出为块305、310、315和320的空间尺度下)被表示为[0.8、0.9、1.0、1.0]，并且块355的多尺度度量(在示出为块355、360、365和370的空间尺度下)被表示为[0.2、0.1、0、0]。[0.8、0.9、1.0、1.0]的多尺度度量指示高频的衰减对于块305而言更可能被注意到，而[0.2、0.1、0、0]的多尺度度量指示对于块355而言不太可能注意到高频衰减。因此，通过结合2D空间梯度的量度或在多个动态范围下像素活动的其他度量，多尺度度量提供对来自所有对比度水平的细节贡献相比于来自仅高对比度水平的细节贡献的指示。

图4示出了根据一些实施方案的将具有不同设置的N个双边模糊滤波器120应用于图片的一部分的预处理模块110的滤波器控件125。滤波器控件125包括距离选择器440和差异选择器445，它们中的每一者都可以被实施为硬编码逻辑、可编程逻辑、由处理器执行的软件或其组合。通过用距离选择器440调整双边模糊滤波器120的距离阈值以及用差异选择器445调整双边模糊滤波器120的差异阈值，滤波器控件125有效地为每一组距离阈值和差异阈值设置生成不同的滤波器120。其他实施方案采用具有附加或不同参数的其他类型的滤波器。

在表征模块115表征块之后，滤波器控件125将多个滤波器120应用于块。为了说明，对于包括像素400至424的块425(其中的像素412是正研究的像素(即，将潜在地导致块中的其他像素模糊的像素))，滤波器控件125应用具有第一距离阈值和第一差异阈值的第一滤波器120。当被预处理模块110应用于块225时，第一滤波器120用正研究的像素412使区域435中的像素406、407、408、411、413、416、417和418模糊。当滤波器控件125将具有第二距离阈值和第二差异阈值的第二滤波器120应用于块425时，第二滤波器120用正研究的像素412使区域430中的像素402、403、404、407、408、409、413和414模糊。

图5是示出根据一些实施方案的用于训练模型以预测用不同滤波器进行滤波的块的大小和失真(称为误差)的方法500的流程图。方法500在图1所示的处理系统100的一些实施方案中实施。在框502处，表征模块115表征多个块中的每个块。在一些实施方案中，表征模块115使用多尺度度量来表征块。在其他实施方案中，表征模块115基于诸如色彩、对比度或噪声等其他度量来表征块。在框504处，滤波器控件125将第一滤波器120应用于每个块。在框506处，预处理模块110使用量化参数对滤波块进行编码。在框508处，预测器130收集(或计算)每个编码后的滤波块的大小和误差。在框510处，预测器130开发用于预测在用第一滤波器进行滤波并使用量化参数进行编码时块的大小的回归模型，以及用于预测在用第一滤波器进行滤波并使用量化参数进行编码时块的误差的回归模型。在框512处，预处理模块110确定预测器130是否已经为被评估的所有N个滤波器开发了大小和误差模型。

如果在框512处，预处理模块110确定预测器130没有为被评估的每个滤波器开发大小和误差模型，则所述方法流继续到框514。在框514处，滤波器控件125将下一个滤波器120应用于多个块中的每一者。所述方法流从那里继续回到框506。如果在框512处，预处理模块110确定预测器130已为被评估的N个滤波器中的每一者开发了大小和误差模型，则所述方法流继续到框516。在框516处，预处理模块110使用为N个滤波器120中的每一者开发的大小和误差模型来预处理图片或视频，如图6中进一步描述的。

图6是示出根据一些实施方案的用于使用对于每个块具有最低成本的滤波器来对图片的块进行滤波的方法600的流程图。方法600在图1中所示的处理系统100的一些实施方案中实施。在框602处，处理系统100将图片划分成块。在框604处，表征模块115使用在训练步骤中用于训练回归模型的相同表征方法来表征图片的第一块，如参考图5所讨论的。在框606处，预测器130通过将第一块的表征输入到N个大小模型中的每一者(为N个滤波器120中的每一者开发的一个大小模型)来计算在使用N个滤波器120中的每一者进行滤波时第一块的预测大小。预测器130还通过将第一块的表征输入到N个误差模型中的每一者(为N个滤波器120中的每一者开发的一个误差模型)来计算在使用N个滤波器120中的每一者进行滤波时第一块的预测误差。

在框608处，成本计算器135基于在使用每个滤波器120进行滤波时具有第一块的特性的块的预测大小和预测误差来计算与应用N个滤波器120中的每一者相关联的成本。在一些实施方案中，所述成本是基于成本函数，所述成本函数是大小模型的平方与误差模型的平方根的乘积。在框610处，滤波器选择器140选择被预测为对于第一块产生最低成本的滤波器。在框612处，预处理模块110将最低成本滤波器应用于第一块。在框614处，预处理模块110确定感兴趣的图片(或视频)的每个块是否都已被滤波。如果在框614处，预处理模块110确定图片的每个块都尚未被滤波，则所述方法流继续到框616。在框616处，预处理模块110继续到图片的下一个块，并且所述方法流继续回到框604。如果在框614处，预处理模块110确定图片的每个块都已被滤波，则所述方法流继续到框618。在框618，预处理模块将滤波后图片提供给编码器150。

如本文所述，在一些实施方案中，一种方法包括：基于包括空间梯度、色彩度、对比度或噪声中的至少一者的度量来表征一个或多个图片的多个块中的每个块；应用第一滤波器以对所述多个块中的每个块进行滤波；使用第一量化参数对用所述第一滤波器进行滤波的所述多个块中的每一者进行编码；计算用所述第一滤波器进行编码和滤波的所述多个块中的每一者的大小和误差；基于第一图片的第一块的表征以及所述多个块中的每一者的所述表征和所述大小和误差来预测所述第一块的大小和误差，其中所述第一块用所述第一滤波器进行滤波并使用所述第一量化参数进行编码；以及响应于所述第一滤波器的成本低于阈值而将所述第一滤波器应用于所述第一块，所述成本是基于所述预测大小和误差。在一方面，所述方法包括：应用第二滤波器以对所述一个或多个图片的所述多个块进行滤波；使用所述第一量化参数对用所述第二滤波器进行滤波的所述多个块中的每一者进行编码；计算用所述第二滤波器进行编码和滤波的所述多个块中的每一者的大小和误差；基于所述第一图片的所述第一块的表征以及所述多个块中的每一者的所述表征和所述大小和误差来预测所述第一块的大小和误差，其中所述第一块用所述第二滤波器进行滤波并使用所述第一量化参数进行编码；以及响应于所述第一滤波器的所述成本超过所述第二滤波器的成本而将所述第二滤波器应用于所述第一块，所述第二滤波器的所述成本是基于所述第一块的所述预测大小和误差，其中所述第一块用所述第二滤波器进行滤波。

在一方面，所述第一滤波器和所述第二滤波器是模糊滤波器，并且应用所述第一滤波器包括：调制第一控件设置，所述第一控件设置指示所述第一块的样本像素与所述第一块的用于包括在包括所述样本像素的模糊区中的候选像素之间的值的差异；并且其中应用所述第二滤波器包括：调制第二控件设置，所述第二控件设置指示所述样本像素与用于包括在包括所述样本像素的所述模糊区中的所述候选像素之间的距离，其中所述第一滤波器的所述第一控件设置和所述第二控件设置中的至少一者不同于所述第二滤波器的所述第一控件设置和所述第二控件设置。在另一方面，所述第一滤波器包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中的一者，并且所述第二滤波器包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中与所述第一滤波器不同的一者。在又一方面中，所述方法包括将用所述第一滤波器或所述第二滤波器进行滤波的所述第一块提供给编码器。

在一方面，所述第一滤波器的成本函数是基于所述多个块中的每一者的所述表征、所述计算大小和所述计算误差，其中所述多个块用所述第一滤波器进行滤波并使用所述第一量化参数进行编码，并且所述第二滤波器的成本函数是基于所述多个块中的每一者的所述表征、所述计算大小和所述计算误差，其中所述多个块用所述第二滤波器进行滤波并使用所述第一量化参数进行编码。在另一方面，表征是基于所述多个块中的每一者的多尺度度量，所述多尺度度量包括基于在多个空间压缩尺度和多个动态范围尺度中的至少一者下块的像素活动的估计水平的系数，所述多尺度度量指示量化参数的位分配或分派被预测如何影响块的感知质量。

在一些实施方案中，一种方法包括：计算将第一滤波器应用于图片的第一块的成本和将与所述第一滤波器不同的第二滤波器应用于所述图片的所述第一块的成本，其中所述第一滤波器的所述成本是基于表征，所述表征基于度量，所述度量包括空间梯度、色彩度、对比度或噪声、所述第一块的第一预测大小和第一预测误差中的至少一者，其中所述第一块使用所述第一滤波器进行滤波并使用第一量化参数进行编码，并且所述第二滤波器的所述成本是基于所述表征、所述第一块的第二大小和第二误差，其中所述第一块使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码；基于所述第一滤波器的所述成本和所述第二滤波器的所述成本，选择所述第一滤波器或所述第二滤波器；应用所选择的滤波器以对所述第一块进行滤波；以及将所述滤波后的第一块提供给编码器以对所述滤波后的第一块进行编码。在一方面，所述第一滤波器和所述第二滤波器是模糊滤波器，所述模糊滤波器包括：第一控件设置，所述第一控件设置指示所述第一块的样本像素与所述第一块的包括在包括所述样本像素的模糊区中的候选像素之间的值的差异；以及第二控件设置，所述第二控件设置指示所述样本像素与用于包括在包括所述样本像素的所述模糊区中的所述候选像素之间的距离，其中所述第一滤波器的所述第一控件设置和所述第二控件设置中的至少一者不同于所述第二滤波器的所述第一控件设置和所述第二控件设置。

在一方面，所述第一滤波器和所述第二滤波器中的每一者包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中的一者。另一方面，所述方法包括：表征所述第一图片的所述第一块。在又一方面中，所述方法包括：预测所述第一块的所述第一大小和所述第一误差，其中所述第一块使用所述第一滤波器进行滤波并使用所述第一量化参数进行编码；以及预测所述第一块的所述第二大小和所述第二误差，其中所述第一块使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码。在再一方面中，所述方法包括：基于所述第一滤波器和所述第一量化参数来训练用于预测所述第一块的所述第一大小的模型和用于预测所述第一块的所述第一误差的模型；以及基于所述第二滤波器和所述第一量化参数来训练用于预测所述第一块的所述第二大小的模型和用于预测所述第一块的所述第二误差的模型。在又一方面中，所述表征是基于所述第一块的多尺度度量，所述多尺度度量包括基于在多个空间压缩尺度和多个动态范围尺度中的至少一者下所述第一块的像素活动的估计水平的系数，所述多尺度度量指示量化参数的位分配或分派被预测如何影响所述第一块的感知质量。

在一些实施方案中，一种装置包括：成本计算器，所述成本计算器用于估计将第一滤波器应用于图片的第一块和将与所述第一滤波器不同的第二滤波器应用于所述图片的所述第一块的成本，其中所述第一滤波器的所述成本是基于所述第一块的表征，所述表征基于度量，所述度量包括空间梯度、色彩度、对比度或噪声以及所述第一块的第一预测大小和第一预测误差中的至少一者，其中所述第一块使用所述第一滤波器进行滤波并使用第一量化参数进行编码，并且所述第二滤波器的所述成本是基于所述第一块的所述表征以及所述第一块的第二大小和第二误差，其中所述第一块使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码；滤波器选择器，所述滤波器选择器用于基于所述第一滤波器的所述成本和所述第二滤波器的所述成本来选择所述第一滤波器或所述第二滤波器，并应用所选择的滤波器以对所述第一块进行滤波；以及编码器，所述编码器用于对所述滤波后的第一块进行编码。

在一方面，所述第一滤波器和所述第二滤波器是模糊滤波器，所述模糊滤波器包括：第一控件设置，所述第一控件设置指示所述第一块的样本像素与所述第一块的包括在包括所述样本像素的模糊区中的候选像素之间的值的差异；以及第二控件设置，所述第二控件设置指示所述样本像素与用于包括在包括所述样本像素的所述模糊区中的所述候选像素之间的距离，其中所述第一滤波器的所述第一控件设置和所述第二控件设置中的至少一者不同于所述第二滤波器的所述第一控件设置和所述第二控件设置。在另一方面，所述第一滤波器和所述第二滤波器中的每一者包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中的一者。

在一方面，所述装置包括：表征模块，所述表征模块用于表征所述第一图片的所述第一块。在另一方面，所述表征模块用于基于所述第一块的多尺度度量来表征所述第一块，所述多尺度度量包括基于在多个空间压缩尺度和多个动态范围尺度中的至少一者下块的像素活动的估计水平的系数，所述多尺度度量指示量化参数的位分配或分派被预测如何影响块的感知质量。在另一方面，所述装置包括：预测器，所述预测器被配置为：基于使用所述第一滤波器进行滤波并使用所述第一量化参数进行编码的多个块的表征来训练用于预测所述第一块的所述第一大小的模型和用于预测所述第一块的所述第一误差的模型；以及基于使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码的所述多个块的表征来训练用于预测所述第一块的所述第二大小的模型和用于预测所述第一块的所述第二误差的模型。

计算机可读存储介质可以包括在使用期间可由计算机系统访问以将指令和/或数据提供给计算机系统的任何非暂时性存储介质或者非暂时性存储介质的组合。此类存储介质可包括但不限于光学介质(例如，压缩光盘(CD)、数字通用光盘(DVD)、蓝光光盘)、磁性介质(例如，软盘、磁带或磁性硬盘)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存存储器)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统中(例如，系统RAM或ROM)、固定地附接到计算系统(例如，磁性硬盘驱动器)、可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存存储器)，或者经由有线或无线网络耦合到计算机系统(例如，网络可存取存储装置(NAS))。

在一些实施方案中，上文所描述的技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实施。软件包括被存储或以其他方式有形地体现在非暂时性计算机可读存储介质上的一个或多个可执行指令集。软件可以包括在由一个或多个处理器执行时操纵一个或多个处理器以执行上文所描述的技术的一个或多个方面的指令和某些数据。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储装置、固态存储装置，诸如闪存存储器、高速缓冲存储器、随机存取存储器(RAM)或一个或多个其他非易失性存储器装置等。被存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或可由一个或多个处理器解译或以其他方式执行的其他指令格式。

应注意，并非需要上文在一般描述中所描述的所有活动或元件，可以不需要特定活动或装置的一部分，并且除了所描述的活动或元件之外，还可以执行一个或多个另外的活动或包括一个或多个另外的元件。更进一步地，列出活动的顺序不一定是执行所述活动的顺序。另外，已经参考具体实施方案描述了概念。然而，本领域普通技术人员应当理解，在不脱离所附权利要求书中阐述的本公开的范围的情况下，可以做出各种修改和改变。因此，说明书和附图应被视为说明性的而非限制性的，并且所有这样的修改都意图包括在本公开的范围内。

上面已经关于具体实施方案描述了益处、其他优点和问题的解决方案。然而，这些益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案发生或变得更明显的任何功能均不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上文所公开的特定实施方案仅是说明性的，因为所公开的主题可以通过对于受益于本文教导的本领域技术人员显而易见的不同但等效的方式来修改和实践。除了如所附权利要求书中所描述的之外，并不意图限制本文所示的构造或设计的细节。因此，显而易见的是，可以更改或修改上文所公开的特定实施方案，并且所有这样的变化都被认为在所公开的主题的范围内。因此，本文所寻求的保护如同在所附权利要求书中所阐述的一样。

Claims (20)

1.一种处理方法，其包括：

基于包括空间梯度、色彩度、对比度或噪声中的至少一者的度量来表征一个或多个图片的多个块中的每个块；

应用第一滤波器以对所述多个块中的每个块进行滤波；

使用第一量化参数对用所述第一滤波器进行滤波的所述多个块中的每一者进行编码；

计算用所述第一滤波器进行编码和滤波的所述多个块中的每一者的计算大小和计算误差；

基于所述一个或多个图片中的第一图片的第一块的表征以及所述多个块中的每一者的所述表征和所述大小和误差来预测所述第一块的大小和误差，其中所述第一块用所述第一滤波器进行滤波并使用所述第一量化参数进行编码；以及

响应于所述第一滤波器的成本低于阈值而将所述第一滤波器应用于所述第一块，所述成本是基于预测的所述大小和误差。

2.根据权利要求1所述的处理方法，其进一步包括：

应用第二滤波器以对所述一个或多个图片的所述多个块进行滤波；

使用所述第一量化参数对用所述第二滤波器进行滤波的所述多个块中的每一者进行编码；

计算用所述第二滤波器进行编码和滤波的所述多个块中的每一者的大小和误差；

基于所述第一图片的所述第一块的表征以及所述多个块中的每一者的所述表征和所述大小和误差来预测所述第一块的大小和误差，其中所述第一块用所述第二滤波器进行滤波并使用所述第一量化参数进行编码；以及

响应于所述第一滤波器的所述成本超过所述第二滤波器的成本而将所述第二滤波器应用于所述第一块，所述第二滤波器的所述成本是基于所述第一块的预测的所述 大小和误差，其中所述第一块用所述第二滤波器进行滤波。

3.根据权利要求2所述的处理方法，其中所述第一滤波器和所述第二滤波器是模糊滤波器，其中应用所述第一滤波器包括：

调制第一控件设置，所述第一控件设置指示所述第一块的样本像素与所述第一块的用于包括在包括所述样本像素的模糊区中的候选像素之间的值的差异；并且其中应用所述第二滤波器包括：

调制第二控件设置，所述第二控件设置指示所述样本像素与用于包括在包括所述样本像素的所述模糊区中的所述候选像素之间的距离，其中

所述第一滤波器的所述第一控件设置和所述第二控件设置中的至少一者不同于所述第二滤波器的所述第一控件设置和所述第二控件设置。

4.根据权利要求2所述的处理方法，其中所述第一滤波器包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中的一者，并且所述第二滤波器包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中与所述第一滤波器不同的一者。

5.根据权利要求2所述的处理方法，其进一步包括：

将用所述第一滤波器或所述第二滤波器进行滤波的所述第一块提供给编码器。

6.根据权利要求5所述的处理方法，其中所述第一滤波器的成本函数是基于所述多个块中的每一者的所述表征、所述计算大小和所述计算误差，其中所述多个块用所述第一滤波器进行滤波并使用所述第一量化参数进行编码，并且所述第二滤波器的成本函数是基于所述多个块中的每一者的所述表征、所述计算大小和所述计算误差，其中所述多个块用所述第二滤波器进行滤波并使用所述第一量化参数进行编码。

7.根据权利要求1所述的处理方法，其中表征是基于所述多个块中的每一者的多尺度度量，所述多尺度度量包括基于在多个空间压缩尺度和多个动态范围尺度中的至少一者下每个块的像素活动的估计水平的系数，所述多尺度度量指示量化参数的位分配或分派被预测如何影响每个块的感知质量。

8.一种处理方法，其包括：

计算将第一滤波器应用于图片的第一块的成本和将与所述第一滤波器不同的第二滤波器应用于所述图片的所述第一块的成本，其中所述第一滤波器的所述成本是基于表征，所述表征基于度量，所述度量包括空间梯度、色彩度、对比度或噪声、所述第一块的第一预测大小和第一预测误差中的至少一者，其中所述第一块使用所述第一滤波器进行滤波并使用第一量化参数进行编码，并且所述第二滤波器的所述成本是基于所述表征、所述第一块的第二大小和第二误差，其中所述第一块使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码；

基于所述第一滤波器的所述成本和所述第二滤波器的所述成本，选择所述第一滤波器或所述第二滤波器；

应用所选择的滤波器以对所述第一块进行滤波；以及

将所述滤波后的第一块提供给编码器以对所述滤波后的第一块进行编码。

9.根据权利要求8所述的处理方法，其中所述第一滤波器和所述第二滤波器是模糊滤波器，所述模糊滤波器包括：

第一控件设置，所述第一控件设置指示所述第一块的样本像素与所述第一块的用于包括在包括所述样本像素的模糊区中的候选像素之间的值的差异；以及

第二控件设置，所述第二控件设置指示所述样本像素与用于包括在包括所述样本像素的所述模糊区中的所述候选像素之间的距离，其中

所述第一滤波器的所述第一控件设置和所述第二控件设置中的至少一者不同于所述第二滤波器的所述第一控件设置和所述第二控件设置。

10.根据权利要求8所述的处理方法，其中所述第一滤波器和所述第二滤波器中的每一者包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中的一者。

11.根据权利要求8所述的处理方法，其进一步包括：

表征所述图片的所述第一块。

12.根据权利要求8所述的处理方法，其进一步包括：

预测所述第一块的所述第一预测大小和所述第一预测误差，其中所述第一块使用所述第一滤波器进行滤波并使用所述第一量化参数进行编码；以及

预测所述第一块的所述第二大小和所述第二误差，其中所述第一块使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码。

13.根据权利要求12所述的处理方法，其进一步包括：

基于所述第一滤波器和所述第一量化参数来训练用于预测所述第一块的所述第一预测 大小的模型和用于预测所述第一块的所述第一预测 误差的模型；以及

基于所述第二滤波器和所述第一量化参数来训练用于预测所述第一块的所述第二大小的模型和用于预测所述第一块的所述第二误差的模型。

14.根据权利要求8所述的处理方法，其中所述表征是基于所述第一块的多尺度度量，所述多尺度度量包括基于在多个空间压缩尺度和多个动态范围尺度中的至少一者下所述第一块的像素活动的估计水平的系数，所述多尺度度量指示量化参数的位分配或分派被预测如何影响所述第一块的感知质量。

15.一种处理装置，其包括：

成本计算器，所述成本计算器用于估计将第一滤波器应用于图片的第一块和将与所述第一滤波器不同的第二滤波器应用于所述图片的所述第一块的成本，其中所述第一滤波器的所述成本是基于所述第一块的表征，所述表征基于度量，所述度量包括空间梯度、色彩度、对比度或噪声以及所述第一块的第一预测大小和第一预测误差中的至少一者，其中所述第一块使用所述第一滤波器进行滤波并使用第一量化参数进行编码，并且所述第二滤波器的所述成本是基于所述第一块的所述表征以及所述第一块的第二大小和第二误差，其中所述第一块使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码；

滤波器选择器，所述滤波器选择器用于基于所述第一滤波器的所述成本和所述第二滤波器的所述成本来选择所述第一滤波器或所述第二滤波器，并应用所选择的滤波器以对所述第一块进行滤波；以及

编码器，所述编码器用于对所述滤波后的第一块进行编码。

16.根据权利要求15所述的处理装置，其中所述第一滤波器和所述第二滤波器是模糊滤波器，所述模糊滤波器包括：

第一控件设置，所述第一控件设置指示所述第一块的样本像素与所述第一块的用于包括在包括所述样本像素的模糊区中的候选像素之间的值的差异；以及

第二控件设置，所述第二控件设置指示所述样本像素与用于包括在包括所述样本像素的所述模糊区中的所述候选像素之间的距离，其中

所述第一滤波器的所述第一控件设置和所述第二控件设置中的至少一者不同于所述第二滤波器的所述第一控件设置和所述第二控件设置。

17.根据权利要求15所述的处理装置，其中所述第一滤波器和所述第二滤波器中的每一者包括双边模糊滤波器、时间滤波器、时空滤波器和运动补偿滤波器中的一者。

18.根据权利要求15所述的处理装置，其进一步包括：

表征模块，所述表征模块用于表征所述图片的所述第一块。

19.根据权利要求18所述的处理装置，其中所述表征模块用于基于所述第一块的多尺度度量来表征所述第一块，所述多尺度度量包括基于在多个空间压缩尺度和多个动态范围尺度中的至少一者下所述第一块的像素活动的估计水平的系数，所述多尺度度量指示量化参数的位分配或分派被预测如何影响所述第一块的感知质量。

20.根据权利要求19所述的处理装置，其进一步包括：

预测器，所述预测器被配置为：

基于使用所述第一滤波器进行滤波并使用所述第一量化参数进行编码的多个块的表征来训练用于预测所述第一块的所述第一预测大小的模型和用于预测所述第一块的所述第一预测误差的模型；以及

基于使用所述第二滤波器进行滤波并使用所述第一量化参数进行编码的所述多个块的表征来训练用于预测所述第一块的所述第二大小的模型和用于预测所述第一块的所述第二误差的模型。

Images