CN102067604B - 确定对帧的一个或多个像素进行内插的滤波器的方法 - Google Patents

Abstract

本发明涉及一种确定用于对包括在帧中的一个或多个像素进行内插的滤波器的方法。所提出的方法包括以下步骤：基于帧的其余部分中的其他像素来确定滤波器，其中，与所述像素相关联的运动矢量具有与所述其他像素相关联的另一运动矢量共同的至少一个运动参数；以及确定所述滤波器，使得所述其他像素的内插的质量达到或超过借助于包括在滤波器候选集合中的不同滤波器候选之一可确定的所述其他像素的任何其他内插的质量，其中所述内插借助于所确定的滤波器来确定。在仅基于相同帧的不同的其他像素确定滤波器时，确定用于内插的滤波器的所述方法允许实现单次编码框架。

Description

确定对帧的一个或多个像素进行内插的滤波器的方法

技术领域

本发明涉及一种确定用于对包括在帧中的一个或多个像素进行内插的滤波器的方法。本发明还涉及一种对帧进行编码或解码的方法，其中，所述编码或解码方法利用确定滤波器的所述方法。本发明还涉及一种用于对帧进行编码或解码的设备，其中，所述设备适于利用所述编码或解码方法。

背景技术

为了对帧间画面进行编码，一些视频编码方案使用时间预测，所述时间预测借助于基于运动矢量的运动补偿以及与水平相位和/或垂直相位相关联的相应内插滤波器，其中所述运动矢量具有由水平相位和/或垂直相位来指示的分数像素分辨率。

为了降低混叠伪像，内插滤波器可以是自适应的。该方法包括以下步骤：

在一次编码(first encoding pass)中，利用缺省内插滤波器对帧进行编码。

基于所计算的运动矢量，计算最优多相内插滤波器。即，确定那些使当前信号与所述当前信号的运动补偿后的内插之间的预测误差能量最小化的内插滤波器。

在二次编码(second encoding pass)中，使用所计算的内插滤波器。将所计算的内插滤波器的滤波器系数连同帧一起进行编码。

美国专利申请2004/0076333描述了位于搜索空间中的多个离散内插滤波器。基于选定的当前最小滤波器，识别包括多个候选滤波器的搜索区域。将引起最小预测误差的候选滤波器识别为当前最小滤波器，并且重复搜索，直到使预测误差最小化为止。

本领域中，正在努力以改善内插以及减小编码时间延迟和传输带宽。

发明内容

本发明进行上述努力。提出了一种确定用于对包括在帧中的一个或多个像素进行内插的滤波器的方法，所述方法包括权利要求1的特征。

即，所述方法包括以下步骤：确定帧的其余部分中的其他像素，其中，与所述其他像素相关联的运动矢量和与所述像素相关联的另一运动矢量参考相同的参考帧、相同的水平相位和/或相同的垂直相位；以及基于帧的其余部分中的其他像素确定滤波器，其中，确定所述滤波器，使得所述其他像素的内插的质量达到或超过使用包括在滤波器候选集合中的不同滤波器候选之一可确定的所述其他像素的任何其他内插的质量，其中所述内插使用所确定的滤波器来确定。

如果仅在包括在相同帧中的其他不同像素上转达内插滤波器的确定，并且使至少一个运动矢量参数与要被滤波的像素相同，则确定用于内插的滤波器的所述方法允许实现单次编码(single passencoding)框架。

在实施例中，所述不同的滤波器候选的滤波器类型、滤波参数的数目、和/或分配给滤波参数的值是不同的。

所述滤波器类型可以是中值内插、线性内插、双线性内插、双三次内插以及基于梯度的内插中的一个。

存在另一实施例，其中，所述不同的滤波器候选与所述参考帧、所述水平相位和/或所述垂直相位相关联。

在又一实施例中，所述滤波器候选包括与所述水平相位和/或所述垂直相位相关联的偏移。

然后，可以根据照明的变化来确定滤波器。

如果所述滤波器候选是一维的，则所确定的滤波器可以是一维滤波器，并且所述方法还可以包括：通过将所确定的一维滤波器与另一一维滤波器相组合，来确定二维滤波器。

将二维滤波器的确定分成确定一维滤波器以及与另一一维滤波器组合实现了快速计算。

具体地，如果所确定的一维滤波器和所述另一一维滤波器中的一个是垂直滤波器，则另一个是水平滤波器。

如果所述另一一维滤波器是借助于确定用于对像素进行内插的滤波器的方法的实施例之一来确定的，则所确定的二维滤波器更适于对像素进行内插。

在又一实施例中，将所述其他像素的内插的质量确定为所述其他像素的所述内插与所述其他像素的全重构(full reconstruction)之间的均方差(mean square difference)或平均绝对差(mean absolutedifference)，确定滤波器包括在针对所述其他像素的不同内插而确定的多个质量之中确定最优质量。

均方差是用于确定质量的良好度量。取而代之，可以使用方差(squared difference)之和以及绝对差(absolute difference)之和。

本发明还涉及一种在空间和/或信噪比可缩放视频编码框架中确定用于对与运动矢量相关联的增强层块进行内插的滤波器的方法。所述方法包括以下步骤：确定同一位置的较低层块是否与相同的分别相应精度的相应运动矢量相关联，其中，所述相应运动矢量具有至少一个与所述运动矢量相同的运动参数，并且如果是，则将滤波器确定为在所述同一位置的较低层块的内插中使用的较低层滤波器。至少在所述相应运动矢量不具有与所述运动矢量相同的任何运动参数的情况下，利用确定用于内插的滤波器的方法的实施例之一，来确定增强层内使用的滤波器。

这允许在可缩放视频编码框架中使用本发明的方法，而无需每个层中以及针对每个块的最优化。

本发明还涉及一种对帧进行编码或解码的方法，所述方法包括：将运动矢量与所述帧的当前块的像素相关联；以及使用所述运动矢量和利用确定用于内插的滤波器的方法的实施例之一而确定的滤波器，来确定所述当前块的像素的内插。

使用本发明的编码方法，允许块的更好内插，并继而允许更好的可压缩残差。使用本发明的解码方法使解码与滤波器参数和/或滤波器类型的正确传输无关。

在对帧进行编码或解码的所述方法的实施例中，在执行确定用于内插的滤波器的方法的实施例之一中确定的所述其他像素包括在帧的一个或多个其他块中，已经使用另一运动矢量来编码或解码所述其他块。

这允许利用单次(single pass)的自适应内插滤波器对帧进行编码或解码。

在对帧进行编码或解码的所述方法的所述实施例中，所述其他块可以包括在与所述当前块邻近或围绕所述当前块的窗中。

那么，滤波器适于局部画面内容。

在对帧进行编码或解码的所述方法的另一实施例中，所述方法还包括：确定当前块的残差；以及对残差进行编码，或者使用所述残差对当前块进行解码。

本发明还涉及一种用于对帧进行编码或解码的设备。所述设备包括：用于根据对帧进行编码或解码的所述方法的实施例之一对所述帧进行编码或解码的装置。

附图说明

在附图中示出且在以下描述中更说明了本发明的示例实施例。在附图中：

图1示出了示例当前图像，所述示例当前图像具有示例第一块和周围的窗以及示例第二块和示例第三块，

图2更详细示出了窗，并示例性示出了所述窗内的选定像素集合，

图3示出了水平滤波器组件更新方法的示例流程图，

图4示出了垂直滤波器组件更新方法的示例流程图，

图5示出了用于发射或广播画面数据的示例系统。

具体实施方式

本发明提出了运行中适配在帧间编码中使用的内插滤波器。这种适配可以包括滤波器参数数目、滤波器参数值和/或滤波器类型的适配。

在运行中适配允许用几乎最优内插滤波器进行一次编码。

帧间编码中使用的内插滤波器与参考画面相关联，或者涉及参考画面。此外，帧间编码中使用的内插滤波器与水平相位和/或垂直相位相关联，或者涉及水平相位和/或垂直相位。

如果当前帧的块具有运动矢量，所述运动矢量的分数像素分辨率(fractional pixel resolution)与所述特定水平和垂直相位相对应并且参考所述特定参考画面中的相对位置，则在对所述块进行编码或解码时，使用与特定参考画面以及特定水平和垂直相位相关联的内插滤波器。

使用内插滤波器，从参考画面中的参考区域产生内插后的参考块，所述参考区域的位置由运动矢量的相对位置信息来确定，所述参考区域的垂直和/或水平扩展(extension)由内插滤波器的维数确定。即，利用所述内插滤波器，通过对使用运动矢量产生的运动补偿像素进行滤波，来确定内插。

在下文中，使用块的运动矢量向所述块的位置移位的内插后的参考块被称作运动补偿块。

图1示出了示例当前图像ICUR，示例当前图像ICUR具有示例第一块FB、被窗WIN包围的示例第二块SB以及示例第三块TB。

如果第一块FB的第一运动矢量首次参考给定参考画面，则缺省滤波器用于确定第一运动补偿块。

在示例编码框架中，在第一块FB与第一运动补偿块之间确定第一残差。例如通过离散余弦变换、快速傅里叶变换或小波变换来对所述第一残差进行变换。对变换后的残差进行量化，并与第一运动矢量一起编码。此外，形成第一全重构块，包括：对量化后的残差进行去量化、逆变换以及与第一运动补偿块相组合。在示例编码框架中，在滤波器适配中使用第一全重构块。

在示例解码框架中，从接收到的流中解码出第一残差。然后如在编码框架中一样形成第一全重构块。

在第一示例实施例中，在对第一块FB进行编码或解码之后，更新缺省滤波器。即，使用不同的内插滤波器候选产生多个不同的内插后的参考块。不同内插滤波器候选的滤波器类型和/或滤波器参数是不同的，但是均与缺省滤波器的水平和/或垂直相位相对应。

将不同的内插后的参考块中的每一个与第一全重构块相比较。将更新后的缺省滤波器确定为获得第一全重构块的最佳或最近近似的内插滤波器。用于评价近似程度的适合度量是例如被确定为均方差或平均绝对差的失真。

如果对缺省滤波器的更新导致滤波器的显著变化，则可以第二次对第一块FB进行编码，其中使用更新后的滤波器。第一块FB的二次编码伴随着的优点是允许简单的缺省滤波器。不利地，需要二次编码。

然后利用更新后的缺省滤波器对第二块SB进行编码，所述第二块SB具有参考与更新后的缺省滤波器参考相同的参考帧以及相同的水平和/或垂直相位的运动矢量。在对所述第二块SB进行编码或解码之后，确定针对更新后的滤波器的另一次更新，这次基于所述第二块SB的第二全重构块。

在第二示例实施例中，一旦要对所述第二块SB进行编码或解码，就更新缺省滤波器。

在第二示例实施例中，使用不同内插滤波器候选，来产生内插后的参考像素集合，所述不同内插滤波器候选的滤波器类型和/或滤波器参数不同，但均与缺省滤波器的水平相位和/或垂直相位相对应。

在下文中，借助于图2来说明内插后的参考像素集合的形成。

在围绕或邻近第二块SB的窗WIN中，确定全重构像素的集合PS，该集合包括已经使用运动矢量而编码或解码的像素的全重构，所述运动矢量与第二块SB的运动矢量具有相同的水平和/或垂直相位且参考相同的参考画面。集合PS更加受限于已使用进一步参考相同参考画面中的相同相对位置的运动矢量而编码或解码像素。

窗WIN可以包括已编码或解码的所有像素，或者仅包括所述已编码或解码像素中的一些。

为了所确定的全重构像素的集合PS，使用不同的内插滤波器候选，来产生多个不同的内插后的参考像素集合。不同的内插滤波器候选的滤波器类型和/或滤波器参数是不同的，但是如第一示例实施例中一样，均与缺省滤波器的水平和/或垂直相位相对应。

将不同的内插后的参考像素集合中的每一个与全重构像素的集合PS相比较。将更新后的缺省滤波器确定为相对于滤波器候选集合获得最优质量的内插滤波器。质量的度量(即，所实现的近似程度)例如可以基于与全重构像素的集合PS相比较而言的失真。可以使用例如均方差或平均绝对差来确定所述近似程度。

所确定的全重构像素的集合PS可以是由于以下事实而为空：已编码或解码的像素并不是使用与第二块SB的运动矢量具有相同水平和垂直相位且参考相同参考画面的运动矢量来编码或解码的。或者，还没有对当前帧的单个像素进行编码或解码。

然后，滤波器保持不变。

一旦要对第三块TB进行编码或解码，则再次更新更新后的缺省滤波器，所述第三块TB具有与更新后的缺省滤波器参考相同的参考帧和相同的水平和/或垂直相位的运动矢量。

从而，根据位于应当应用适配后的滤波器的块附近的画面内容的内插要求，来反复适配滤波器。

使用当前画面的使用其参考画面来处理的至少一部分的重构信号，在编码器侧和解码器侧处均执行相同滤波器适配。自适应内插滤波器的不同集合可以与每个参考画面相关联。因此，不需要对这些滤波器进行编码，这节省了带宽。此外，内插滤波器更适于局部画面内容。

滤波器更新

一般选择最优化的内插滤波器作为使失真度量最小化的滤波器，失真度量评价全重构画面与运动补偿画面之间超过所考虑的承受能力(support)(根据选定的示例实施例，刚刚编码的(just encoded)块或全重构像素的集合PS)的差异。

可以使用多种不同的内插方法中的一个或多个，例如中值内插、线性或双线性内插、双三次内插或基于梯度的内插。

对于每种可参数化的内插方法候选类型，在所述内插方法候选类型的可能参数化之中，确定使失真最小化的最优参数化。对于每种非可参数化的内插方法候选，还确定失真度量。

在确定的失真之中，确定最小失真。然后选择与确定的失真之中最小失真相对应的内插方法候选(如果可以利用参数化)。

在另一示例实施例中，滤波器更新包括：在内插方法候选的有限集合之中进行选择。例如，内插方法候选可以限于线性内插滤波器，并且更新可以限于对最优化(即，失真度量最小化)的系数的确定。

线性内插滤波器

参考参考画面IREF的线性内插滤波器的集合包括M×M多相线性滤波器H_{IREF，px，py}，其中，px＝0...M-1，py＝0...M-1。M×M多相线性滤波器H_{IREF，px，py}中的每一个是包含线性滤波系数的2D矩阵P×Q。

如果H_{IREF，px，py}是可分离的，则可以被写成F_IREF，px*G_IREF，py，其中，F_IREF，px和G_IREF，py是分别具有可调整参数P、Q的1D矩阵。

那么，可以将滤波器更新过程分成更新F_IREF，px和更新G_IREF，py。

如图3所示更新F_IREF，px的过程以三个步骤进行操作：

1.相邻适合像素的识别IDHPL；

2.垂直信号内插VINPL；

3.滤波器确定HUPDT。

以下更详细描述这三个步骤：

1.步骤IDHPL。在邻近或围绕要利用水平相位px编码或解码的块的窗WIN内，确定像素集合PS，该集合属于使用参考画面I_REF且利用具有水平相位px的运动矢量来帧间编码的块。对应于所述像素集合PS，在参考画面I_REF中存在参考像素集合。使用所述参考像素集合，在空白画面中完全重构所述像素集合PS中的像素，从而在还没有进行全重构的情况下获得所谓的全重构画面I_REC。全重构画面不必须指的是所有像素都被重构的画面，而是指所重构的像素是被完全重构的画面。

2.步骤VINPL。使用与要内插的像素的垂直相位相对应的垂直滤波器G_IREF，pz，对参考像素集合进行垂直内插。然后将垂直内插的像素分别放置在空白或空画面中相应全重构像素的位置处。这获得所谓的垂直运动补偿画面I_vert。

3.步骤HUPDT。使用以下公式对垂直运动补偿画面I_vert进一步进行水平内插：

${\tilde{I}}_{\mathrm{REF}}^h(x,y)=O_{\mathrm{IREF},\mathrm{px}}+\underset{k=0}{\overset{P}{\mathrm{\Σ}}}{F}_{\mathrm{IREF},\mathrm{px}}\left(k\right)*I_{\mathrm{VERT}}(x-\mathrm{Dx}+k-[P/2],y).$

其中，Dx是像素(x，y)处水平运动矢量分量的整数部分，[.]返回其自变量的整数部分。

所包括的偏移O_IREF，px考虑照明变化。偏移O_IREF，px可以是零。在这种情况下，得出：

${\tilde{I}}_{\mathrm{REF}}^h(x,y)=\underset{k=0}{\overset{P}{\mathrm{\Σ}}}{F}_{\mathrm{IREF},\mathrm{px}}\left(k\right)*I_{\mathrm{VERT}}(x-\mathrm{Dx}+k-[P/2],y)$

均方分辨率在于，计算使以下能量函数最小化的F_IREF，px：

$\underset{(x,y)\∈\mathrm{PS}}{\mathrm{\Σ}}{I}_{\mathrm{REC}}(x,y)-{\tilde{I}}_{\mathrm{REF}}^h{(x,y))}^2$

这获得P方程的线性系统的典型分辨率，其中，P未知，一个或多个方程可以反映归一化约束。

更新G_IREF，py的过程相应地如图4所示进行操作：

1.步骤IDVPL。在邻近或围绕要利用垂直相位py编码或解码的块的窗WIN内，确定另一像素集合PS，该另一像素集合PS属于使用参考画面I_REF且利用具有垂直相位py的运动矢量进行帧间编码的块。对应于所述另一像素集合PS，在参考画面I_REF中存在另一参考像素集合。使用所述另一参考像素集合，在空白画面中完全重构所述另一像素集合中的像素，获得所谓的另一全重构画面。同样，另一全重构画面不必指全部重构的画面，而是指所重构的像素是被完全重构的画面。

2.步骤HINPL。使用与要内插的像素的水平相位相对应的水平滤波器F_IREF，pz(可以被更新)，对另一参考像素集合进行水平内插。然后将水平内插的像素分别放置在空白或空画面中相应全重构像素的位置处。这获得所谓的水平运动补偿画面I_HORZ。

3.步骤VUPDT。使用以下公式对水平运动补偿画面I_HORZ进一步进行垂直内插：

${\tilde{I}}_{\mathrm{REF}}^v(x,y)=O_{\mathrm{IREF},\mathrm{py}}+\underset{l=0}{\overset{Q}{\mathrm{\Σ}}}{G}_{\mathrm{IREF},\mathrm{py}}\left(l\right)*I_{\mathrm{HORZ}}(x,y-\mathrm{Dy}+l-[Q/2\left]\right).$

其中，Dx是像素(x，y)处垂直运动矢量分量的整数部分，所包括的垂直偏移O_IREF，py可以是零。

均方分辨率在于，计算使以下能量函数最小化的G_IREF，px：

$\underset{(x,y)\∈E}{\mathrm{\Σ}}{(I_{\mathrm{REC}}(x,y)-{\tilde{I}}_{\mathrm{REF}}^v(x,y))}^2$

这获得Q方程的线性系统的典型分辨率，其中，Q未知，一个或多个方程可以反映归一化约束。

水平更新限于要由具有垂直相位py＝0的运动矢量来编码或解码的块。垂直更新可以限于要由具有水平相位px＝0的运动矢量来编码或解码的块。信噪比(SNR)和空间可缩放视频编码(SVC)是引入了空时和质量可缩放性的分层视频编码方案。在SVC方案内，较高或增强层的当前块的运动补偿可以利用子像素滤波器，该子像素滤波器可从较低层或基本层中同一位置的块获得或是针对该块而确定的。

在SNR可缩放性的情况下，如果同一位置的较低层块与当前块包含相同的子像素矢量，则针对较低层块定义的子像素滤波器可以用于增强层块。

在空间可缩放性的情况下，如果当前子像素矢量与同一位置的块中所包含的子像素矢量之一相对应，则相同子像素滤波器可以分别用于2*子像素分辨率(仅针对二元(dyadic)空间svc)，例如：

四分之一像素滤波器->二分之一子像素滤波器，

一高度(one heighth)像素滤波器->四分之一像素滤波器...

在图5所示的示例实施例中，在广播或发射端BE的编码器ENC中包含的相应滤波器适配设备FAD中，以及在接收端的解码器DEC中包含的相同类型和参数设置的相应滤波器适配设备FAD中，以相同方式在运行中适配内插滤波器。那么，经由连接CON(可以是有线连接或无线连接)来广播或传输滤波参数变得过时。

本发明具有以下优点：

通过内联(inline)确定或更新内插滤波器，实现这些滤波器的局部适配。

通过避免传输滤波器系数，节省了专用于相应辅助信息比特的带宽，潜在地获得了编码效率的提高。

以及，通过避免二次编码处理，实现了编码器复杂度的降低。

本发明适用于涉及视频压缩的任何框架。本发明尤其适合但不限于关于高分辨率视频的低比特率应用，例如，用于移动电话的HD和类似于HD等的超分辨率视频应用等等。

Claims (15)

1.一种确定用于对构成帧的块的一个或多个像素进行内插的滤波器的方法，所述方法包括以下步骤：

-确定所述帧的其余部分中的其他像素，其中，与所述一个或多个像素相关联的运动矢量和与所述其他像素相关联的另一运动矢量参考相同的参考帧和相同的分数像素分辨率；以及

-如果帧的其余部分中不存在这种其他像素，则将所述滤波器确定为缺省滤波器，或者，

-如果在帧的其余部分中有至少一个这种其他像素，则基于所述其他像素确定所述滤波器，使得通过所确定的滤波器而确定的所述其他像素的内插的质量达到或超过所述其他像素的任何其他内插的质量，所述其他像素的任何其他内插的质量是使用包括在滤波器候选集合中的不同滤波器候选之一确定的。

2.根据权利要求1所述的方法，其中

-所述不同滤波器候选的滤波器类型、滤波参数的数目、和/或分配给滤波参数的值是不同的。

3.根据权利要求2所述的方法，其中

-所述滤波器类型是中值内插、线性内插、双线性内插、双三次内插以及基于梯度的内插中的一个。

4.根据前述权利要求中任一项所述的方法，其中

-所述不同滤波器候选与所述参考帧以及缺省滤波器的水平相位和/或垂直相位相关联。

5.根据权利要求4所述的方法，其中

-所述滤波器候选包括与所述水平相位和/或所述垂直相位相关联的偏移。

6.根据权利要求4所述的方法，其中

-所述滤波器候选是一维的，

-所确定的滤波器是一维滤波器，并且所述方法还包括：

-通过将所确定的一维滤波器与另一一维滤波器相组合，来确定二维滤波器。

7.根据权利要求6所述的方法，其中

-所确定的一维滤波器和所述另一一维滤波器中，一个是垂直滤波器，而另一个是水平滤波器。

8.根据权利要求6所述的方法，其中

-利用根据权利要求6所述的方法，确定所述另一一维滤波器。

9.根据权利要求1-3中任一项权利要求所述的方法，其中

-将所述其他像素的内插的质量确定为所述其他像素的所述内插与所述其他像素的全重构之间的均方差或平均绝对差，以及

-确定滤波器包括：在针对所述其他像素的不同内插而确定的多个质量之中确定最优质量。

10.一种在空间和/或信噪比可缩放视频编码框架中确定用于对与运动矢量相关联的增强层块进行内插的滤波器的方法，所述方法包括以下步骤：

-确定协同定位的低层块是否与具有相同的分别相应精度的相应运动矢量相关联，其中，所述相应运动矢量具有与所述运动矢量共同的至少一个运动参数，以及

-如果是，则将滤波器确定为在所述协同定位的低层块的内插中使用的低层滤波器，以及

-否则，利用根据权利要求1-3之一所述的方法，来确定增强层内的滤波器。

11.一种对帧进行编码或解码的方法，所述方法包括：

-将运动矢量与所述帧的当前块的像素相关联；以及

-使用另一运动矢量和根据权利要求1-3之一而确定的滤波器，来确定所述当前块的像素的内插。

12.根据权利要求11所述的方法，其中

-针对根据权利要求1-3之一的滤波器确定而确定的所述其他像素包括在所述帧的一个或多个其他块中，所述其他块是已经借助于所述运动矢量而编码的或解码的。

13.根据权利要求12所述的方法，其中

-所述其他块包括在与所述当前块邻近的窗中。

14.根据权利要求11所述的方法，所述方法还包括：

-确定当前块的残差；以及

-对残差进行编码，或者借助于所述残差对当前块进行解码。

15.一种用于对帧进行编码或解码的设备，所述设备包括：

-用于通过执行根据权利要求11所述的方法来对帧进行编码或解码的装置。

Images