CN102740080A - 一种基于压缩感知的错误隐藏方法 - Google Patents

Abstract

本发明提出了一种基于压缩感知的错误隐藏方法，其包括如下步骤：首先，构建丢失宏块的稀疏基模型；然后，确定稀疏系数；最后，根据稀疏基模型和稀疏系数重构已丢失宏块。本发明的错误隐藏方法能够根据前一帧正确解码的宏块形成稀疏基，然后结合规整化最小二乘方法确定出比较合理的稀疏系数，从而重构出较高质量的宏块。另外，本发明的算法具有较好的收敛性，其充分运用视频序列的时间连续性和空间相关性，增强了所重构丢失块的精度。

Description

一种基于压缩感知的错误隐藏方法

技术领域

本发明属于数据传输技术领域，涉及重构解码视频序列中丢失块的方法，特别涉及一种基于压缩感知的错误隐藏方法。

背景技术

目前，广泛使用的编码,如H.26x（T.Wiegand,G.J.Sullivan,G.Bjontegaard,and A.Luthra,“Overview of the H.264/AVC video coding standard,”IEEETransactions on Circuits and Systems for Video Technology,vol.13,no.7,pp.560-576,Jul.,2003）和MPEG-x（Int.Telecommun.Union-Telecommun.(ITU-T)and Int.Standards Org./Int.Electrotech.Comm.(ISO/IEC)JTC 1,Rec.H.262andISO/IEC 13 818-2(MPEG-2Video),Generic Coding of Moving Pictures andAssociated Audio Information-Part 2:Video Nov.1994.），在获得高压缩效率的同时，也降低了码流对丢包问题的鲁棒性。但是由于互联网和无线网中网络环境的变化，丢包现象难以避免。作为一种后处理方法，错误隐藏技术可以根据正确解码的宏块恢复出丢失的块，因此既不像前向纠错（FEC）技术需要增加额外的带宽，也不像自动重传请求（ARQ）技术需要引入重新传输机制。错误隐藏技术在互联网和无线网上的视频流传输问题上有着广阔的应用前景。

由于视频序列连续帧之间存在很强的相关性，时域错误隐藏方法可以根据前一帧的相关信息恢复出丢失块的细节。使用该方法的一个关键问题是如何确定最合理的运动向量，如果运动向量可以从解码端正确解码的，则可以直接用来进行错误隐藏。但是，在大部分情况下，丢失宏块的运动矢量也无法正确解码。有一种解决方法是结合与其空间相邻宏块对应的可能矢量中给出一个统计结果，但是，这种方法依赖于运动矢量均匀分布这一前提。还有一种方法是基于边界匹配的运动矢量匹配方法，该方法根据内边界和外边界的平滑性选择一个最合理的运动矢量，这种方法得到的运动矢量精度高，复杂度低。

时域错误隐藏方法的另一个关键问题是如何刻画和描述丢失的宏块与上一帧对应宏块之间的对应关系。X.Xiang等(X.Xiang,Y.Zhang,D.Zhao,S.Ma,and W.Gao,“A high efficient error concealment scheme based on auto-regressivemodel for video coding,”in PCS,Chicago,USA,2009)提出了一种基于自回归模型的错误隐藏方法，在这种方法中，首先，自回归系数通过空间相邻的宏块估计出来。然后，丢失的宏块由沿着所选择的最优运动矢量所选宏块加权估计出来。此外，Y.Zhang等(Y.Zhang,X.Xiang,S.Ma,D.Zhao,and W.Gao,“AutoRegressive Model and Weighted Least Squares Based Packet Video ErrorConcealment,”in DCC,Snowbird,2010,pp.455-464)结合时域的连续性来提高自回归系数的准确性，并考虑空间距离与观测噪声之间的相关关系，从而大大提高了基于自回归模型错误隐藏技术的重构质量。但是，由于自回归模型容易受到欠定和超定问题的影响，通常用一个低阶的自回归模型来描述，利用时空相关性的能力上将受到很大的限制。

压缩感知（D.L.Donoho,“Compressed sensing,”IEEE Transactions onInformation Theory,vol.52,no.4,pp.1289-1306,Apr.,2006.）是另外一种描述自然图像和视频序列中的千变万化细节信息的方法，这种方法可以应用于图像超分辨率和图像修复中，能够将各种复杂的纹理很好地表示出来，因此，利用压缩感知进行错误隐藏是非常有意义的一个课题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于压缩感知的错误隐藏方法。

为了实现本发明的上述目的，本发明提供了一种基于压缩感知的错误隐藏方法，其包括如下步骤：

S1：构建丢失宏块的稀疏基模型；

S2：确定稀疏系数；

S3：根据稀疏基模型和稀疏系数重构已丢失宏块。

本发明的基于压缩感知的错误隐藏方法能够根据前一帧正确解码的宏块形成稀疏基，然后结合规整化最小二乘方法确定出比较合理的系数，从而重构出较高质量的宏块。本发明的算法具有较好的收敛性，其充分运用视频序列的时间连续性和空间相关性，增强了所重构丢失块的精度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于压缩感知的错误隐藏方法的流程图；

图2是本发明一种优选实施方式中丢失宏块的稀疏基的构造方法示意图；

图3是在QP为24，丢包率为5%的情况下，不同方法对Mobile序列前30帧恢复结果的PSNR对比图；

图4是在QP为24，丢包率为5%的情况下，不同方法对Mobile序列第十帧的恢复结果。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明提出了一种基于压缩感知的错误隐藏方法，如图1所示，该错误隐藏方法包括如下步骤：

S1：构建丢失宏块的稀疏基模型；

S2：确定稀疏系数；

S3：根据稀疏基模型和稀疏系数重构已丢失宏块。

在本实施方式中，构建丢失宏块的稀疏基模型包括如下步骤：

S11：确定丢失宏块的运动矢量；

S12：对步骤S11确定的运动矢量进行偏移，得到运动矢量组；

S13：判断与得到的运动矢量组对应的宏块是否正确解码，如果正确解码，则对其进列拉直，形成丢失宏块和临近像素点的稀疏基模型。

用公式具体表示构建丢失宏块的稀疏基模型的具体过程为:

假设

是第i帧中第j个丢失的宏块，

可以由稀疏基

稀疏表示出来，记为：

$B_i^j={\mathrm{\ψ}}_{B_i^j}\mathrm{\α}---\left(1\right)$

其中，α是稀疏系数。

设

为与

相邻的像素点集合，并进一步假设

可以由稀疏基

和稀疏系数α稀疏表示出来：

${\stackrel{\‾}{B}}_i^j={\stackrel{\‾}{\mathrm{\ψ}}}_{{\stackrel{\‾}{B}}_i^j}\mathrm{\α}---\left(2\right)$

设

是与

对应的运动矢量，

是由衍生的运动矢量，

是宏块

在i-1帧与运动矢量对应的图像块，如果该图像块正确解码，则对

进行列拉直，如图2所示，得到稀疏基对

和

在构建丢失宏块的稀疏基模型后，需要确定稀疏系数，由于形成的稀疏基对

和

虽然能够有效的稀疏表示丢失宏块

和邻近像素

但是各个稀疏基之间存在很强的相关性，为此，在本实施方式中，采用一范数和二范数联合最优化方法利用视频序列的相关性来确定稀疏系数：

$\begin{array}{cc}\min & {\left|\right|\mathrm{\α}\left|\right|}_1+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_2\end{array}$

$\begin{array}{cc}s.t& {\stackrel{\‾}{B}}_i^j={\stackrel{\‾}{\mathrm{\ψ}}}_{{\stackrel{\‾}{B}}_i^j}\mathrm{\α}\end{array}---\left(3\right)$

此外，由于视频序列的连续性，第i帧的图像块

与由第i-1帧形成的稀疏基

的关系与第i-1帧的图像块

与由第i-1帧形成的稀疏基

存在一致性，利用这一特性，有助于改进所得稀疏系数的精度，即有：

$\begin{array}{cc}\min & {\left|\right|\mathrm{\α}\left|\right|}_1+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_2\end{array}$

$\begin{array}{cc}s.t& {\stackrel{\‾}{B}}_i^j={\stackrel{\‾}{\mathrm{\ψ}}}_{{\stackrel{\‾}{B}}_i^j}\mathrm{\α}\end{array}$

${\stackrel{\‾}{B}}_{i-1}^j\left(\mathrm{0,0}\right)={\stackrel{\‾}{\mathrm{\ψ}}}_{{\stackrel{\‾}{B}}_{i-1}^j\left(\mathrm{0,0}\right)}\mathrm{\α}---\left(4\right)$

由于与具有较大偏移量

对应的稀疏基函数的系数为非零元素的概率通常比较大，因此，在本实施方式中，采用加权方法来确定稀疏系数：

$\begin{array}{cc}\min & {\left|\right|\mathrm{W\α}\left|\right|}_1+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_2\end{array}$

$\begin{array}{cc}s.t& {\stackrel{\‾}{B}}_i^j={\stackrel{\‾}{\mathrm{\ψ}}}_{{\stackrel{\‾}{B}}_i^j}\mathrm{\α}\end{array}$

${\stackrel{\‾}{B}}_{i-1}^j\left(\mathrm{0,0}\right)={\stackrel{\‾}{\mathrm{\ψ}}}_{{\stackrel{\‾}{B}}_{i-1}^j\left(\mathrm{0,0}\right)}\mathrm{\α}---\left(5\right)$

其中，W=diag(W₁,W₂,…),

d_k为所选宏块与待表示宏块之间的距离，为了便于描述,公式（5）记为:

$\begin{array}{cc}\min & {\left|\right|\mathrm{W\α}\left|\right|}_1+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_2\end{array}$

$\begin{array}{cc}s.t& \stackrel{\‾}{B}=\stackrel{\‾}{\mathrm{\ψ}}\text{\α}\end{array}---\left(6\right)$

其中， $\stackrel{\‾}{B}={[{\stackrel{\‾}{B}}_i^j,{\stackrel{\‾}{B}}_{i-1}^j\left(\mathrm{0,0}\right)]}^T,$ $\stackrel{\‾}{\mathrm{\ψ}}={[{\mathrm{\ψ}}_{{\stackrel{\‾}{B}}_i^j},{\mathrm{\ψ}}_{{\stackrel{\‾}{B}}_{i-1}^j\left(\mathrm{0,0}\right)}]}^T,$ λ为规整化因子。

在本实施方式中，对稀疏系数具体的求解过程中，利用规整化最小二乘法确定稀疏系数，当确定了稀疏系数后，根据稀疏基模型和稀疏系数重构已丢失宏块，具体包括如下步骤：

S31：对步骤S2确定的稀疏系数进行硬阈值截断；

S32：求解所述稀疏系数和与之对应的稀疏基形成的线性方程组，取最小二乘解作为最终的稀疏系数；

S33：利用最终的稀疏系数和稀疏基实现丢失宏块的重构。

用公式表示具体为:

给定足够小的规整化因子λ，公式（6）的最优化问题即变为：

min L(I,λ)=F(I)+λP(I)    （7）

其中，

P(α)=||Wα||₁，由于F(I)是一个Lipchitz常数为

的连续可微函数，即有：

$\left|\right|\▿F\left({\mathrm{\α}}_1\right)-\▿F\left({\mathrm{\α}}_2\right)\left|\right|\≤\mathrm{\τ}\left|\right|{\mathrm{\α}}_1-{\mathrm{\α}}_2\left|\right|---\left(8\right)$

因此：

$L(\mathrm{\α},{\mathrm{\α}}_0)=F\left(\mathrm{\α}\right)+P\left(\mathrm{\α}\right)$

$\&le;F\left({\mathrm{\&alpha;}}_0\right)+<\&dtri;F\left({\mathrm{\&alpha;}}_0\right),\mathrm{\&alpha;}-{\mathrm{\&alpha;}}_0>+\frac{\mathrm{\&tau;}}{2}{\left|\right|\mathrm{\&alpha;}-{\mathrm{\&alpha;}}_0\left|\right|}_2^2+{\mathrm{\&lambda;}}_1{\left|\right|\mathrm{W\&alpha;}\left|\right|}_1$

$=Q(\mathrm{\&alpha;},{\mathrm{\&alpha;}}_0)---\left(9\right)$

公式（6）的稀疏系数的最优解通过迭代极小化其代价函数Q(α,α₀)来实现。由代数知识可知：

$\underset{\mathrm{\&alpha;}}{\min }Q(\mathrm{\&alpha;},{\mathrm{\&alpha;}}_0)$

$=\underset{\mathrm{\&alpha;}}{\min }<\&dtri;F\left({\mathrm{\&alpha;}}_0\right),\mathrm{\&alpha;}-{\mathrm{\&alpha;}}_0>+\frac{\mathrm{\&tau;}}{2}{\left|\right|\mathrm{\&alpha;}-{\mathrm{\&alpha;}}_0\left|\right|}_2^2$

$=\underset{\mathrm{\&alpha;}}{\min }{\left|\right|\mathrm{\&alpha;}-a^{\&prime;}\left|\right|}_2^2+\mathrm{\&lambda;}{\left|\mathrm{W\&alpha;}\right|}_1---\left(10\right)$

其中， $a^{\&prime;}=a_k-\frac{1}{\mathrm{\&tau;}}\&dtri;F\left(a_k\right).$

公式（10）的最小值由下式给出：

$\hat{a}={(a^{\&prime;}-\mathrm{\&lambda;W})}_{+}---\left(11\right)$

其中，x₊＝max(x,0)。

公式(6)的迭代求解方法为:

${\mathrm{\&alpha;}}_{k+1}={({\mathrm{\&alpha;}}_k-\frac{1}{\mathrm{\&tau;}}\&dtri;F\left(a_k\right)-\mathrm{\&lambda;W})}_{+}---\left(12\right)$

由于此处Lipchitz常数τ的值非常大，收敛速率将会受到很大影响。为此在本实施方式中，采用的迭代求解方法为:

$\widehat{\mathrm{\&alpha;}}={({\mathrm{\&alpha;}}_k+{({\stackrel{\&OverBar;}{\mathrm{\&psi;}}}^T\stackrel{\&OverBar;}{\mathrm{\&psi;}}+{\mathrm{\&lambda;}}_2)}^{-1}(\stackrel{\&OverBar;}{B}-\stackrel{\&OverBar;}{\mathrm{\&psi;}}{\mathrm{\&alpha;}}_k)-\mathrm{\&lambda;W})}_{+}---\left(13\right)$

当确定稀疏系数后，进行硬阈值截断。然后，将非零的稀疏系数对应的稀疏基向量挑选出来形成新的矩阵

为了避免其他为零的稀疏系数对应的稀疏基向量的干扰,非零的稀疏系数进一步由更新为:

$\widehat{\mathrm{\&alpha;}}={({\widetilde{\mathrm{\&psi;}}}_{\stackrel{\&OverBar;}{B}}^T{\widetilde{\mathrm{\&psi;}}}_{\stackrel{\&OverBar;}{B}}+{\mathrm{\&lambda;}}_2)}^{-1}\stackrel{\&OverBar;}{B}---\left(14\right)$

在本发明的一个优选实施方式中，利用H.264软件JM10.0中的运动矢量估计方法确定出每一个丢失块

的运动矢量

随后生成运动矢量组

按照

选取对应块

然后将正确解码的图像块进行拉直，组成稀疏基对

和按照运动矢量

找到与之在第i-2帧对应的图像块并形成相应的

取规整化因子λ₁=1e-3，λ₂=1e-3，对每一帧视频进行计算，如果与第i-2帧视频对应的块被正确解码，那么有 $\stackrel{\&OverBar;}{B}={[{\stackrel{\&OverBar;}{B}}_i^j,{\stackrel{\&OverBar;}{B}}_{i-1}^j\left(\mathrm{0,0}\right)]}^T,$ $\stackrel{\&OverBar;}{\mathrm{\&psi;}}={[{\mathrm{\&psi;}}_{{\stackrel{\&OverBar;}{B}}_{i-1}^j\left(\mathrm{0,0}\right)},{\mathrm{\&psi;}}_{{\stackrel{\&OverBar;}{B}}_{i-2}^j\left(\mathrm{0,0}\right)}]}^T,$ 否则有 $\stackrel{\&OverBar;}{B}={\stackrel{\&OverBar;}{B}}_i^j,$ $\stackrel{\&OverBar;}{\mathrm{\&psi;}}={\mathrm{\&psi;}}_{{\stackrel{\&OverBar;}{B}}_i^j},$ 然后，迭代计算 $\widehat{\mathrm{\&alpha;}}={({\mathrm{\&alpha;}}_k+{({\stackrel{\&OverBar;}{\mathrm{\&psi;}}}^T\stackrel{\&OverBar;}{\mathrm{\&psi;}}+{\mathrm{\&lambda;}}_2)}^{-1}(\stackrel{\&OverBar;}{B}-\stackrel{\&OverBar;}{\mathrm{\&psi;}}{\mathrm{\&alpha;}}_k)-\mathrm{\&lambda;W})}_{+},$ 至到满足综合和ψ_B中与非零稀疏系数对应的基函数形成

和然后，更新非零稀疏系数

最后，利用估计出的非零稀疏系数对丢失宏块进行恢复：

表1为在不同丢包率和量化参数的情况下，采用不同方法进行恢复的平均峰值信噪比（PSNR）的对比值。

表1在不同丢包率和QP的情况下，不同方法恢复结果的平均PSNR对比

图3是QP为24，丢包率为5%的情况下，不同方法对Mobile序列前30帧恢复结果的PSNR对比图。图4是QP为24，丢包率为5%的情况下，不同方法对Mobile序列第十帧的恢复结果。从表1以及图3、图4中可以看出，本发明重构出来的视觉效果明显优于标准JM中包含的错误隐藏方法和X.Xiang等和Y.Zhang等采用的基于自回归模型的插值结果（MARX方法）。另外，从客观评价指标PSNR的角度来看，本发明提出的错误隐藏方法同其他方法相比，重构质量得到了较大程度的改善。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种基于压缩感知的错误隐藏方法，其特征在于，包括如下步骤：

S1：构建丢失宏块的稀疏基模型；

S2：确定稀疏系数；

S3：根据稀疏基模型和稀疏系数重构已丢失宏块。

2.如权利要求1所述的基于压缩感知的错误隐藏方法，其特征在于，所述步骤S1中包括如下步骤：

S11：确定丢失宏块的运动矢量；

S12：对步骤S11确定的运动矢量进行偏移，得到运动矢量组；

S13：判断与得到的运动矢量组对应的宏块是否正确解码，如果正确解码，则对其进列拉直，形成丢失宏块和临近像素点的稀疏基模型。

3.如权利要求1所述的基于压缩感知的错误隐藏方法，其特征在于，采用加权方法来确定稀疏系数：

$\begin{array}{cc}\min & {\left|\right|\mathrm{W\&alpha;}\left|\right|}_1+\mathrm{\&lambda;}{\left|\right|\mathrm{\&alpha;}\left|\right|}_2\end{array}$

$\begin{array}{cc}s.t& \stackrel{\&OverBar;}{B}=\stackrel{\&OverBar;}{\mathrm{\&psi;}}\mathrm{\&alpha;}\end{array}$

其中，α为稀疏系数，W=diag(W₁,W₂,…), $W_k=\frac{1}{\max {(d_k,1)}^2},$

d_k为所选宏块与待表示宏块之间的距离，

$\stackrel{\&OverBar;}{B}={[{\stackrel{\&OverBar;}{B}}_i^j,{\stackrel{\&OverBar;}{B}}_{i-1}^j\left(\mathrm{0,0}\right)]}^T,$ $\stackrel{\&OverBar;}{\mathrm{\&psi;}}={[{\mathrm{\&psi;}}_{{\stackrel{\&OverBar;}{B}}_i^j},{\mathrm{\&psi;}}_{{\stackrel{\&OverBar;}{B}}_{i-1}^j\left(\mathrm{0,0}\right)}]}^T,$ λ为规整化因子。

4.如权利要求1或3所述的基于压缩感知的错误隐藏方法，其特征在于，利用规整化最小二乘法确定稀疏系数。

5.如权利要求1所述的基于压缩感知的错误隐藏方法，其特征在于，所述步骤S3中包括如下步骤：

S31：对步骤S2确定的稀疏系数进行硬阈值截断；

S32：求解所述稀疏系数和与之对应的稀疏基形成的线性方程组，取最小二乘解作为最终的稀疏系数；

S33：利用最终的稀疏系数和稀疏基实现丢失宏块的重构。

Images