CN102804771B - 基于匹配追踪编码图像序列的视频数据的方法 - Google Patents

Abstract

方法包括将图像划分为块，使用基于匹配追踪算法的空间预测帧内编码当前块，从原子字典中选择与当前块的因果邻域最相关的原子，其特征在于，该方法执行以下步骤：-确定因果邻域和所选原子之间的二维移位，-考虑二维空间移位的值生成至少一个新定相原子，-如果该新原子比所选原子更好地相关，则根据匹配追踪算法使用新原子用于帧内预测。视频数据压缩的应用。

Description

基于匹配追踪编码图像序列的视频数据的方法

技术领域

本发明涉及视频编码和解码方法，尤其涉及基于稀疏表示的图像预测的相位细化(phase refinement)方法。

背景技术

目的是提出一种在编码器和解码器上使用的、将通过对较低比特率保持相同质量来改进视频编码性能的工具。本发明解决的问题是在空间和帧间图像预测情况下的改进预测。

在H264/AV中，如例如在文献T.Wiegand，G.J.Sullivan，G.Bjontegaard，和A.Luthra，名称“Overview of the H.264/AVC”Circuits and Systems for VideoTechnology，IEEE Transactions，Vol 13，7，560-576，2003年7月中公开的，基于与当前块相邻的像素行和列的知识执行帧内预测以对邻近块去相关。规定若干定向模式。通过沿着一个预定方向“传播”像素值来完成外插。除了这些几何模式之外，DC预测，邻近之前编码样本的平均值可用。H264/AVC帧内编码对于重构均匀区域或定向结构很高效，特别是当帧内模式的一个方向最符合轮廓时。

为了在高度纹理区中解决信号预测的问题，在此考虑基于稀疏信号逼近(approximation)的方法。稀疏逼近技术的目的是根据从大的并且冗余的集合(即，字典)中选取的函数来寻找逼近分析信号的线性展开。MP(匹配追踪)算法是通过对来自字典的所谓原子进行迭代选择来计算自适应信号表示的可行技术。见Mallat，S.和Zhang，Z.，名称“Matching pursuits with timefrequency dictionaries，”IEEE Sig.Processing 41(1993年12月)的论文。在此，我们考虑闭环空间图像预测或外插的问题。其可以看作依据取自因果邻域的噪声数据的信号扩展的问题。考虑MP稀疏表示算法。我们还呈现一种通过基函数的相位细化来改进原子分解的方式。

发明内容

本发明的主题是一种对图像序列的视频数据进行编码的方法，包括将图像划分为块，使用基于匹配追踪算法的空间预测帧内编码当前块，从原子字典中选择与当前块的因果邻域最相关的原子，其特征在于，该方法执行以下步骤：

-确定因果邻域和所选原子之间的二维移位，

-考虑二维空间移位的值生成至少一个新定相原子，

-如果该新原子比所选原子更好地相关，则根据匹配追踪算法使用新原子用于帧内预测。

根据具体实施，依据DCT(离散余弦变换)和/或DFT(离散傅立叶变换)和/或其他变换提取字典的原子。

根据具体实施例，确定二维空间移位Δx，Δy包括：

-计算互功率谱的步骤：

$C=\frac{F_{\mathrm{input}}{\×F}_{\mathrm{atom}}^{*}}{|F_{\mathrm{input}}\×F_{\mathrm{atom}}^{*}|}$

其中

F_input是当前残差的傅立叶变换，

F_atom是所选原子的傅立叶变换，

F^* _atom对应于F_atom的复共轭

-计算C的逆傅立叶变换c的步骤

-确定相关性峰的二维位置的步骤

$\{\mathrm{\Δx},\mathrm{\Δy}\}=\arg \underset{x,y}{\max }\left\{c\right\}.$

根据具体实施例，因果邻域对应于与当前块相邻的之前编码块。

根据具体实施例，由原子构成的、与像素的预测向量X相乘以给出与原始信号的像素有关的向量Y的矩阵A，从考虑与当前块相邻的所有块的区域被构建，并且通过掩蔽对应于不在邻域的因果区的像素的矩阵A的行来将其压缩。

本发明的另一主题是一种对根据之前编码方法来编码的视频数据进行解码的方法，其特征在于，对于解码当前块，该方法包括以下步骤：

-通过使用匹配追踪算法计算帧内预测，以从原子字典中选择与要解码的当前图像块的因果邻域最相关的原子，

-确定当前块的因果邻域和所选原子之间的二维移位，

-考虑二维空间移位的值生成新定相原子，

-如果该定向原子比所选原子更好地相关，则使用定相原子用于帧内预测。

附图说明

其他特征和优点在通过以非限制性示例的方式呈现并且参考附图的以下描述中将变得清楚，在附图中：

-图1是块P的用于预测的因果区；

-图2是用于仿真的两个测试图像。

具体实施方式

匹配追踪算法

使Y是N维向量并且A是N×M维矩阵，其中M＞＞N。A的列a_k可以视为将用于表示向量Y的基函数或者字典的原子。注意有无限数量的方式选取M维向量X，使得Y＝AX。稀疏表示的目标是在Y＝AX的所有这些解中搜索是稀疏的那些，即向量X仅仅具有小数量的非零分量(component)的那些。实际上，大多一般地不寻求精确重构而是寻求稀疏表示满足：

$\left|\right|Y-\mathrm{AX}|{|}_2^2\≤\mathrm{\ρ}$

其中，ρ表征为可允许的重构误差。由于搜索对于满足该约束的最稀疏表示是NP难的(NP-hard)并且因此计算上难处理，所以寻求近似解。该MP算法经由迭代算法对该问题提供次优解。其以下面的方式生成具有增加数量的非零分量的M维向量的序列X_k。在第一次迭代X₀＝0，计算初始残差向量R₀＝Y-AX₀＝Y。在迭代k中，算法选择具有与当前残差向量R_k-1＝Y-AX_k-1最大相关性的基函数a_jk。也就是，使得

$j_k=\arg \underset{j}{\max }\frac{{\left(a_j^T{R}_{k-1}\right)}^2}{a_j^T{a}_j}.$

然后选取该新原子的权重x_jk，以最小化新残差向量的能量，该新残差向量由此变得等于：

$R_k=R_{k-1}-\frac{a_j^T{R}_{k-1}}{a_j^T{a}_j}{a}_{\mathrm{jk}}.$

新的最优权重被引入X_k-1以产生X_k。注意，MP可以选取同一原子若干次。在该情况下，将系数值添加到前一个。进行算法直至满足停止判据(criterion)

||Y-AX_k||²≤ρ(1)

其中ρ是控制稀疏性表示的容差参数。

基于MP的预测

在图1中，我们使用块P的大小为4n2的因果邻域C来定义要预测的n×n个像素的块P。

C是因果区，P是要预测的当前块，以及L是围绕P的整个区。

在整个区域L包含9个块以及因此包含3n×3n个像素的情况下，我们关联分别如下表达的离散傅立叶和/或余弦基函数

$g_{p,q}(m,n)=e^{2\mathrm{i\π}(\frac{\mathrm{mp}}{M}+\frac{\mathrm{ng}}{N})}---\left(2\right)$

以及

$g_{p,q}(m,n)=\cos \left(\frac{(2m+1)\mathrm{p\π}}{2M}\right)\cos \left(\frac{(2n+1)\mathrm{q\π}}{2N}\right)---\left(3\right)$

其中m和n是预测块的像素坐标，p和q是空间频率。

我们用这些原子建立矩阵A。在实验中，该矩阵由9n²个原子(DCT或DFT)或者18n²个原子(DCT和DFT)组成。就基函数：Y＝AX而言我们用Y表示以区L的像素值形成的9n²维向量，X表示包含代表Y的系数的向量。通过掩蔽(mask)其对应于未在已知区C中的像素的行来修改矩阵A。如果仅仅考虑DCT基我们由此获得其大小是4n²x9n²的压缩矩阵Ac。类似地删除Y中的对应分量，以得到4n²个像素的向量Y_c。然后将MP算法应用于Ac和Y_c。

对于以后的使用，我们类似地定义与要预测的区P相关联的大小是n²x9n²和n2x1的A_p和Y_p。

记住MP算法的目标是得到Yc的稀疏表示。这意味着当表示的复杂性增加时，即当X中非零分量的数量k增加时，重构误差单调地减少。

||Y_c-A_cX_k||²

在此，X_k代表k个步骤之后MP算法提出的表示。但是由于我们的目的是得到区P的良好预测，所以当然毫无理由的是区C的表示越好，区P的相关联的预测越好。我们将因此将趋于满足该目标(即，趋于最小化P的重构误差)的停止判据应用于MP。我们实现该算法使得其生成增加复杂性的一序列表示X_k并且对于每个X_k我们计算预测误差能量

||Y_p-A_pX_k||²

并且一般地开始减小的该预测误差一旦增加我们就由此停止。但是由于更复杂的表示不能实际上产生较小的预测误差是没有理由的，我们实际不同地进行并且考虑两步骤例程。

首先，运行MP算法直至达到在(4)中对重构误差预先规定的阈值并且存储结果X_k序列。固定阈值的值，使得最终表示具有相当大数量的分量，比如K。在第二步骤中，然后选择作为给出要预测的区P的最小误差能量的最优表示：

$k_{\mathrm{opt}}=\underset{k\∈[1,K]}{\min }{\left|\right|Y_p-A_p{X}_k\left|\right|}_2^2---\left(4\right)$

相位细化

如之前公开的，MP算法利用邻近样本选择最相关的原子。然后外插信号的质量高度依赖于选择原子的性质。如果考虑的原子良好适合信号则实现稀疏性的要求。实际上，稀疏表示的一个大问题是能够确定基函数的有关集合，以表示图像中任一种类的特征。理想的字典由用以记起(recollect)低频率的平滑函数、对于诸如边缘或轮廓之类的在空间上更多针对高频率定位的其他函数组成。

在这部分中，我们解决了对于该疑问找到非穷尽解的问题。我们提出利用有限词典工作，并且实际通过定相原子来增加其冗余度。主要构思是由于相位相关性通过搜索适当空间相位来最佳地符合输入数据。

该频率域途径估计两个图像之间的相对转移(translative)移动。在稀疏预测的背景中，我们的目标是检测观察信号(在第一步骤中，输入信号是其本身的因果邻域，并且然后在其他步骤中，其对应于残差信号)与选择的二维基函数之间的移位。两个信号的空间移位反映为傅立叶域中的相位改变。我们首先选取在由MP选取最佳相关原子之后插入相位相关性处理。注意，与环细化(loop refinement)相比其是必然次优的后验处理。该第一步骤是确定可能呈现在输入数据和选择原子之间的二维移位。使F_input是输入信号的傅立叶变换并且F_atom是基函数的傅立叶变换。

互功率谱定义如下：

$C=\frac{F_{\mathrm{input}}{\×F}_{\mathrm{atom}}^{*}}{|F_{\mathrm{input}}\×F_{\mathrm{atom}}^{*}|}$

其中，是F_atom的复共轭。两个信号之间的相关性c通过计算C的逆傅立叶变换获得。然后，检测c中峰值的二维位置：

$\{\mathrm{\Δx},\mathrm{\Δy}\}=\arg \underset{x,y}{\max }\left\{c\right\}$

为了增加处理的可靠性，使用子像素检测。第二步骤在于考虑空间移位的值{Δx，Δy}生成定相原子(phased atoms)。由于字典中基函数的理论表达是已知的，所以明确地计算移位函数。

结果和实现

我们考虑4×4，8×8和16×16个像素(n＝4，8或16)块的空间预测。已经使用余弦函数构建冗余字典A。将阈值设置为产生具有相当大数量K个非零分量的最终表示的值。然后选择与最优表示有关的向量X，见(2)。在我们所有的仿真中，在(2)中将ρ设置为1。在不需要改变任何编码器语法的情况下，将基于MP的预测结合到JM 11.0KTA 1.2(关键技术区)软件中。

提出的预测模式替代帧内预测的每种类型的一个AVC模式。选择的AVC模式对应于最少选取的模式。呈现关于以下测试的结果：当组合三种预测类型时或者仅仅当帧内4×4和8×8可用或者仅帧内4×4可用时，基于MP的预测替代一个AVC模式。注意将软件调至将帧内16×16预测关闭。对大范围的量化级执行仿真，以评估亮度分量的Bjontegaard平均PSNR改进和比特率节省。见“Calculation of average PSNR differences between RD curves”，作者Gisle Bjontegaard，文献VCEG-M33，ITU-T Video Coding Experts Group(VCEG)Meeting，2001年四月。表1呈现根据三种类型的帧内预测对Barbara和表示在图2中的测试图像(720x576)的两个其他画面(水池和羊毛)的MP预测的结果。当在源帧中有很多2D图案时获得较高的率节省。

表1MP的Bjontegaard结果(PSNR增益(dB)和率节省(％))

基于MP的帧内预测的该新途径比较于H264/AVC的定向模式提供感兴趣的方面。对于复杂纹理，MP算法变成对于帧内预测并且还对于预测的感兴趣的替代物。通过使用相关性相位细化，我们能够利用通过原子的定相而实际上进行增加的有限字典的工作。多亏相位细化，减小复杂度并且改进重构可靠性。此外，由于相位相关性算法的子像素精确度，该类型的算法的性能特别高效。

该算法特别集中在例如基于相关性峰值的邻近能量的重心的移位确定并且考虑主要峰值。

关于相位相关性的背景技术是例如文献：作者C D Kuglin和D C Hines，名称“The phase correlation image alignment method”Proc IEEE 1975，ConfCybernetics and Society第163-165页1975年9月，以及专利申请，发明人DThoreau，C Chevance，名称“Image matching process and device using a weightedphase correlation for determining a shift”，EP0480807，1992年4月15日。

当前的建议关注与视频压缩画面编码方案有关的所有申请。

Claims (5)

1.一种对图像序列的视频数据进行编码的方法，包括将图像划分为块，使用基于匹配追踪算法的空间预测对当前块帧内编码，从其中基函数的理论表达已知的原子字典中选择与当前块的因果邻域最相关的原子，该因果邻域对应于与当前块相邻的之前编码块，其特征在于，该方法执行以下步骤：

-通过以下来确定因果邻域和所选原子之间的二维空间移位Δx,Δy，-计算互功率谱：

其中

F_input是当前残差的傅立叶变换，

F_atom是所选原子的傅立叶变换，

F^* _atom对应于F_atom的复共轭，

-计算C的逆傅立叶变换c，

-确定相关性峰值的二维位置

，

-考虑二维空间移位的值生成至少一个新定相原子，

-如果该新定相原子比所选原子更好地相关，则根据匹配追踪算法使用该新定相原子用于帧内预测。

2.根据权利要求1所述的方法，其特征在于，依据DCT(离散余弦变换)和/或DFT(离散傅立叶变换)和/或其他变换提取字典的原子。

3.根据权利要求1所述的方法，其特征在于，由原子构成的、与像素的预测向量X相乘以给出与原始信号的像素有关的向量Y的矩阵A，从考虑与当前块相邻的所有块的区域中构建，并且然后通过掩蔽对应于不在邻域的因果区的像素的矩阵A的行来将矩阵A压缩，其中矩阵A是所述原子字典。

4.一种用于解码当前块的方法，

-包括通过使用匹配追踪算法计算帧内预测，以及从其中基函数的理论表达已知的原子字典中选择与要解码的当前块的因果邻域最相关的原子，其中，该因果邻域对应于与要解码的当前块相邻的之前编码块，

其特征在于，还包括以下步骤：

-通过以下来确定当前块的因果邻域和所选原子之间的二维空间移位Δx,Δy，

-计算互功率谱：

其中

F_input是当前残差的傅立叶变换，

F_atom是所选原子的傅立叶变换，

F^* _atom对应于F_atom的复共轭，

-计算C的逆傅立叶变换c，

-确定相关性峰值的二维位置

，

-考虑二维空间移位的值生成新定相原子；

-如果该新定相原子比所选原子更好地相关，则使用该新定相原子用于帧内预测。

5.根据权利要求4所述的方法，其特征在于，由原子构成的、与像素的预测向量X相乘以给出与原始信号的像素有关的向量Y的矩阵A，从考虑与当前块相邻的所有块的区域中构建，并且然后通过掩蔽对应于不在邻域的因果区的像素的矩阵A的行来将矩阵A压缩，其中矩阵A是所述原子字典。