CN102891684B - 一种压缩感知含噪重构系统的构建方法 - Google Patents

Abstract

本发明公开一种压缩感知含噪重构系统的构建方法，包括如下步骤：针对具有块稀疏性或块可压缩性的信源，采用块对角随机矩阵对源信号进行投影，获取含噪的观测序列，再采用一个随机矩阵对前述含噪的观测序列实现二次压缩，该用于二次压缩的随机矩阵与前述用于投影的观测矩阵是相互独立的；在接收端，获得经过二次压缩的序列，通过滤波获得观测序列的估计；在获得观测序列的估计后，采用基于交叉验证方法的稀疏度自适应匹配追踪算法实现稀疏信号重构。此方法可增强压缩感知含噪重构系统的鲁棒性。

Description

一种压缩感知含噪重构系统的构建方法

技术领域

本发明属于信号采样、降噪技术领域，特别涉及一种基于贝叶斯估计和交叉验证的压缩感知含噪重构系统的构建方法。

背景技术

传统的数字系统以奈奎斯特采样定理为基础，要求采样速率是模拟信号带宽的两倍才能精确地恢复出原始模拟信号。而在当今宽带信息时代，宽带模拟信号的A/D转换则需要很高的采样频率，这将对数字系统的硬件制造和信号处理能力带来新的挑战。而且，在传统的数字系统中，我们通常会对数据进行压缩来节省存储空间和传输成本，降低计算复杂度。这也将意味着原本采集到的大量数据将被丢弃，从而造成了资源的浪费。

近年来，提出的压缩感知理论可以很好地解决上述问题。压缩感知理论以随机矩阵理论、随机几何学、泛函分析、优化理论等为基础，提出了一种对信号实现“边采样边压缩”的框架。压缩感知理论指出，只要信号在某个变换域上是稀疏的或者可压缩的，在解码端可以通过一个非线性的重构算法精确地从观测序列中恢复出原始信号，而观测序列则是通过欠定的随机矩阵将原信号投影到低维空间所获得的。压缩感知理论已经在很多领域得到了应用，包括传感器网络、图像、医学、雷达及盲源分离等。

在实际的应用中，噪声总是存在的。当原信号受到噪声污染的时候，信号将不再是稀疏的，而且此时的观测序列中也将受到噪声的影响。而且传统的非线性的压缩感知的重构算法对噪声是非常敏感的，其表现为噪声在重构的过程中将被放大，因而重构性能将会急剧下降。在CS理论中，通常使用误差的l₂范数来实现精度与稀疏度的折中。但是在稀疏性不能完全满足的情况下，无法恢复出真正信号的幅度，因而在含噪的情况下，重构的误差是必然存在的。

发明内容

本发明的目的，在于提供一种压缩感知含噪重构系统的构建方法，其可增强压缩感知含噪重构系统的鲁棒性。

为了达成上述目的，本发明的解决方案是：

一种压缩感知含噪重构系统的构建方法，包括如下步骤：

（1）针对具有块稀疏性或块可压缩性的信源，采用块对角随机矩阵对源信号进行投影，获取含噪的观测序列，再采用一个随机矩阵对前述含噪的观测序列实现二次压缩，该用于二次压缩的随机矩阵与前述用于投影的观测矩阵是相互独立的；

（2）在接收端，获得经过二次压缩的序列，通过滤波获得观测序列的估计；

（3）在获得观测序列的估计后，采用以下基于交叉验证方法的稀疏度自适应匹配追踪算法实现稀疏信号重构：设用于交叉验证的样本向量记作t_cv,在每一阶段迭代终止的情况下，利用已获得的信号向量的估计，获得交叉验证向量t_cv所对应的余部当后一阶段交叉验证向量的余部的能量大于前一阶段交叉验证向量的余部的能量时，整个算法迭代终止。

上述步骤（1）的详细内容是：

（11）利用观测矩阵Φ获得含噪的观测序列y₁，即有：

y₁=Φx₁=Φ(x+e)=Φx+Φe

其中，x₁表示受到噪声污染的噪声矢量，x₁=x+e，向量x表示干净的信号，e为噪声向量；

所述观测矩阵Φ采用具有如下块状结构的矩阵：

其中，m为块数，每一个子块的矩阵均是相互独立的高斯随机矩阵；

（12）再利用密集的高斯随机矩阵来实现对含噪的观测序列y₁的二次压缩，从而获得二次压缩的观测序列

$\tilde{y}=\widetilde{\mathrm{\Φ}}{y}_1=\widetilde{\mathrm{\Φ}}(\mathrm{\Φx}+e_1)=\widetilde{\mathrm{\Φ}}y+w$

其中，随机矩阵中的元素是满足独立同分布的均值为0、方差为的高斯分布。

上述步骤（2）的详细内容是：设∑为对角矩阵，利用下式获得经过二次压缩的观测序列的估计

$\hat{y}=\mathrm{\Σ}\widetilde{\mathrm{\Φ}}{(\widetilde{\mathrm{\Φ}}\mathrm{\Σ}{\widetilde{\mathrm{\Φ}}}^T+C_w)}^{-1}\tilde{y}$

其中，为获取二次压缩的观测序列所采用的随机矩阵，为二次压缩后所得的序列，C_w是噪声向量w的协方差矩阵。

采用上述方案后，本发明的改进点在于：

（1）本发明首先采用一种块对角矩阵来实现对源信号的投影，获得第一次压缩的观测序列，再利用一种与用于投影的观测矩阵相互独立的随机矩阵对受到噪声污染的观测序列进行二次压缩，在接收端根据贝叶斯理论和最小均方误差算法对获得的二次压缩的样本序列进行滤波，获得对干净的观测序列的估计。我们已经从理论上分析了这种用于二次压缩的随机矩阵的性质，并且分析了这样一种二次压缩再滤波的方式将会降低噪声对观测序列的影响，从而增强了系统的鲁棒性；

（2）压缩感知的重构算法也将很大程度上影响整个系统的性能。针对稀疏度自适应匹配追踪算法而言，算法的迭代终止条件将会很大程度上影响算法的重构性能。本发明中将交叉验证和k-重交叉验证方法引用到稀疏度自适应匹配追踪算法中，并且从理论上说明了交叉验证和k-重交叉验证方法可以很好地防止算法的过拟合。

附图说明

图1是本发明中信源的结构特性示意图；

图2是本发明中观测序列的统计特性图；

图3是本发明中压缩感知含噪重构系统的系统框架图。

具体实施方式

本发明提供一种压缩感知含噪重构系统的构建方法，基于贝叶斯估计和交叉验证方法而实现，包括二次压缩与滤波和基于交叉验证方法的稀疏度自适应匹配追踪算法两部分内容。首先，本方法所构建的系统适用于具有块稀疏性或者块可压缩性的信源，这种信源的结构见图1所示。针对这种信源，通常可以采用块对角随机矩阵来对源信号进行投影，实现压缩。考虑到观测噪声的情况，也即考虑源信号受到加性高斯白噪声污染的情况，此时获得的观测序列便不再是干净的了。此时采用一个随机算子对含噪的观测序列实现二次压缩，也即这一观测矩阵仍然是欠定的。这一用于二次压缩的随机矩阵与原本用于投影的观测矩阵是相互独立的，通常可以采用密集的高斯随机矩阵。

在接收端，获得了经过二次压缩的序列，再通过滤波的方法来获得原本干净的观测序列的估计。干净的观测序列的统计特性使用Q-Q plot的形式来说明，见图2所示。通过Q-Q plot可以清晰地看到观测序列具有很明显的高斯分布特性。在这种情况下，利用MMSE估计量来获得干净的观测序列的估计。从理论上可以证明，这样一种再压缩、预处理的方案不仅可以降低系统信号传输的负担，而且可以很好地降低噪声对于观测序列的影响，增强压缩感知重构系统的鲁棒性。

在获得观测序列的估计后，利用基于交叉验证方法的稀疏度自适应匹配追踪算法来实现稀疏信号重构。然而，对于稀疏度自适应匹配追踪算法而言，迭代终止条件将很大程度上影响算法的性能。交叉验证方法通过预留出一部分的观测样本来验证重构性能。k-重交叉验证方法则是将观测序列分成k个部分，每个部分均可作为验证的样本，从而可以对重构的性能多次取平均。k-重交叉验证方法可以更进一步地改善算法的鲁棒性，但是k值的选取则是在算法性能和计算复杂度之间的一个折中。通过本发明所构建的基于贝叶斯估计和交叉验证方法的压缩感知含噪重构系统框图见图3所示。

以下将结合具体实施例，对本发明的技术方案进行详细说明。

A、随机矩阵二次压缩与滤波

本发明中所采用的是源信号受到噪声污染的模型，即：

x₁＝x+e                                                    （1）

其中，向量x表示干净的信号，e为噪声向量，x₁表示受到噪声污染的噪声矢量。此时可以利用一个观测矩阵Φ获得观测序列y₁，即有：

y₁=Φx₁=Φ(x+e)=Φx+Φe=y+e₁                            （2）

其中，y=Φx，e₁＝Φe，y表示干净的观测序列，e₁表示投影后的噪声向量。本发明中的用于投影的观测矩阵一般采用具有如下块状结构的矩阵：

其中，m为块数。每一个子块的矩阵均可以是相互独立的高斯随机矩阵。

在本发明中，我们利用一个随机矩阵来实现对观测序列y₁的二次压缩，要求这一随机矩阵与用于投影的观测矩阵Φ是相互独立的。我们利用一个密集的高斯随机矩阵来实现二次压缩，从而获得二次压缩的观测序列

$\tilde{y}=\widetilde{\mathrm{\Φ}}{y}_1=\widetilde{\mathrm{\Φ}}(\mathrm{\Φx}+e_1)=\widetilde{\mathrm{\Φ}}y+w---\left(4\right)$

这种随机矩阵中的元素是满足独立同分布的均值为0、方差为的高斯分布，这种随机矩阵满足如下的性质。

∑∈R^M×M为一个具有如下结构的对角矩阵，即：

令z＝[γ₁  γ₂  …γ_M]^T，并且z为稀疏向量，即z的支撑集supp(z)的势小于M。则对于任意的ζ≥0，存在一个常数ε使得式（6）至少以1-2 exp(-cζ²)的概率成立，其中，c为一个常数。

${\left|\right|\widetilde{\mathrm{\Φ}}\mathrm{\Σ}{\widetilde{\mathrm{\Φ}}}^T-\left(\frac{1}{\tilde{M}}\underset{i\∈\mathrm{supp}\left(z\right)}{\mathrm{\Σ}}{\mathrm{\γ}}_i\right)I\left|\right|}_2\≤\mathrm{\ϵ}---\left(6\right)$

其中，I为单位矩阵，表示的转置矩阵。

在获得二次压缩的序列之后，我们基于贝叶斯理论，使用最小均方误差（MMSE）估计量的方法来获得干净的观测序列的估计。

$\hat{y}=\mathrm{\Σ}\widetilde{\mathrm{\Φ}}{(\widetilde{\mathrm{\Φ}}\mathrm{\Σ}{\widetilde{\mathrm{\Φ}}}^T+C_w)}^{-1}\tilde{y}---\left(7\right)$

其中，C_w是噪声向量w的协方差矩阵。

我们从理论上对这种二次压缩后再滤波所带来的有益效果进行分析，得到如下结论。

Δ表示为滤波后所获得观测序列均方误差与噪声向量e₁的能量之间的差值。Λ表示为具有统计稀疏性的观测向量y的支撑集，则有

$\mathrm{\&Delta;}\&le;\frac{(\frac{\left|\mathrm{\&Lambda;}\right|}{\tilde{M}}-1)\underset{i\&Element;A}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_i^2-\tilde{M}{\mathrm{\&sigma;}}_w^4}{\frac{1}{\tilde{M}}\underset{i\&Element;\mathrm{\&Lambda;}}{\mathrm{\&Sigma;}}{\mathrm{\&gamma;}}_i+{\mathrm{\&sigma;}}_w^2}<0---\left(8\right)$

因而，这种二次压缩再滤波的方式不仅实现信源的再次压缩，而且可以有效地降低噪声对于观测向量的影响，从而增强了整个系统的鲁棒性。

B、基于交叉验证方法的稀疏度自适应匹配追踪算法

在本发明中，压缩感知重构算法也是影响系统性能的一个很重要的方面。稀疏度自适应匹配追踪算法是比较常用的一种压缩感知的重构算法。对于稀疏度自适应匹配追踪算法而言，迭代终止条件将会很大程度上影响算法的性能。在本发明中，我们将交叉验证方法应用于稀疏度自适应匹配追踪算法，所获得的基于交叉验证方法的稀疏度自适应匹配追踪算法的内容是：我们需要在观测向量中预留一部分样本用于交叉验证，在传统的稀疏度自适应匹配追踪算法中，通常采用余部的能量小于某一阈值来作为迭代终止的门限，这一方式看似十分简单，但是在实际的应用中，如何设置最优阈值是非常困难的，因此本发明提出将交叉验证与现有的稀疏度自适应匹配追踪算法相结合，采用交叉验证的方法可以在不要任何先验信息的情况下解决现有的问题。用于交叉验证的样本向量记作t_cv,在每一阶段迭代终止的情况下，利用已获得的信号向量的估计，我们可以获得交叉验证向量t_cv所对应的余部当后一阶段交叉验证向量的余部的能量大于前一阶段交叉验证向量的余部的能量时，整个算法迭代终止。具体的伪代码如下：

输入：观测序列t，用于交叉验证的样本向量t_cv，观测矩阵Φ，交叉验证矩阵Φ_cv，步长s；

初始化：

(1) $\hat{x}=0$

(2)r₀＝t（余部初始化）

(3)（支撑集估计初始化）

(4)q=s（检测集的势）

(5)k=1（迭代次数）

(6)j=1（阶段指数）

(7)r^cv＝t_cv（交叉验证的迭代终止门限）

(8) $r_j^{\mathrm{cv}}=t_{\mathrm{cv}}$ （交叉验证余部的初始化）

迭代：

(1)S_k＝max(|Φ^Tr_k-1|，q)（检测集）

(2)C_k＝F_k-1∪S_k（候选集）

(3)（支撑集估计）

(4)（观测序列余部）

(5)如果 ${\left|\right|r_j^{\mathrm{cv}}\left|\right|}_2^2>{\left|\right|r^{\mathrm{cv}}\left|\right|}_2^2,$ 则

退出迭代；

否则如果 ${\left|\right|r\left|\right|}_2\&GreaterEqual;{\left|\right|r_{k-1}\left|\right|}_2^2$ 则

$r^{\mathrm{cv}}=r_j^{\mathrm{cv}}$

j＝j+1

$r_j^{\mathrm{cv}}=t_{\mathrm{cv}}-{\mathrm{\&Phi;}}_{\mathrm{cv}}\hat{x}$

q＝j×s

F_k=F

r_k=r

k=k+1

输出：

基于交叉验证方法的稀疏度自适应匹配追踪算法与原本的稀疏度自适应匹配追踪算法的区别主要在将一部分观测序列作为交叉验证样本，通过交叉验证的余部来确定算法何时迭代终止。我们对交叉验证样本产生的余部做一个理论上的分析。我们可以获得

对交叉验证的余部求取均值，则有

为了方便分析，我们用单位矩阵来逼近矩阵根据随机观测矩阵列之间的近似正交性，我们用零矩阵来逼近矩阵因而，我们有：

$E{\left|\right|r_j^{\mathrm{cv}}\left|\right|}_2^2\&ap;{\left|\right|{\mathrm{\&Phi;}}_{\mathrm{cv}(T_0\backslash T_j)}{x}_{(T_0\backslash T_j)}\left|\right|}_2^2+E{\left|\right|b_{\mathrm{cv}}\left|\right|}_2^2+{\mathrm{\&sigma;}}^2\mathrm{tr}\left({\mathrm{\&Phi;}}_{\mathrm{cv}\left(T_j\right)}{\mathrm{\&Phi;}}_{\mathrm{cv}\left(T_j\right)}^T\right)$

$={\left|\right|{\mathrm{\&Phi;}}_{\mathrm{cv}(T_0\backslash T_j)}{x}_{(T_0\backslash T_j)}\left|\right|}_2^2+{\mathrm{\&sigma;}}^2{M}_{\mathrm{cv}}+{\mathrm{\&sigma;}}^2\mathrm{tr}\left({\mathrm{\&Phi;}}_{\mathrm{cv}\left(T_j\right)}{\mathrm{\&Phi;}}_{\mathrm{cv}\left(T_j\right)}^T\right)---\left(11\right)$

对交叉验证矩阵做均值处理，我们可以得到

$E_{{\mathrm{\&Phi;}}_{\mathrm{cv}}}{\left|\right|r_j^{\mathrm{cv}}\left|\right|}_2^2\&ap;\frac{M_{\mathrm{cv}}}{M}{\left|\right|x_{(T_0\backslash T_j)}\left|\right|}_2^2+{\mathrm{\&sigma;}}^2{M}_{\mathrm{cv}}+\frac{M_{\mathrm{cv}}\left|T_j\right|}{M}{\mathrm{\&sigma;}}^2---\left(12\right)$

因而，

$E_{{\mathrm{\&Phi;}}_{\mathrm{cv}}}{\left|\right|r_j^{\mathrm{cv}}\left|\right|}_2^2-E_{{\mathrm{\&Phi;}}_{\mathrm{cv}}}{\left|\right|r_{j-1}^{\mathrm{cv}}\left|\right|}_2^2\&ap;\frac{M_{\mathrm{cv}}}{M}({\left|\right|x_{(T_0\backslash T_j)}\left|\right|}_2^2-{\left|\right|x_{(T_0\backslash T_{j-1})}\left|\right|}_2^2)+\frac{M_{\mathrm{cv}}\left(\right|T_j|-|T_{j-1}\left|\right)}{M}{\mathrm{\&sigma;}}^2---\left(13\right)$

因而，从式（13）我们可以看出，交叉验证余部的差值，取决于噪声的方差与新加入的元素的能量之间的差值。因而，交叉验证方法可以很好地防止稀疏度自适应匹配追踪算法过拟合。

k-重交叉验证方法可以利用不同的观测样本来作为交叉验证的样本，从而选取性能最优的解。k-重交叉验证方法可以认为的改变噪声能量，我们可以通过布尔不等式来说明。

假设任意噪声向量b_i∈R^M×1(i＝1，2，…k)满足

$P\{{\left|\right|b_i\left|\right|}_2^2\&le;c\}=p---\left(14\right)$

我们将事件记作事件f_i，则有

$P\left\{\underset{i}{\&cup;}{f}_i\right\}\&le;\mathrm{kp}---\left(15\right)$

所以，k-重交叉验证方法改变了噪声能量的分布。因而系统的鲁棒性得到了更好的增强，当然这种情况下相比于一般的交叉验证方法的计算复杂度要高一点。

综上所述，本发明一种压缩感知含噪重构系统的构建方法，具有以下特点：

（1）前置滤波后，噪声对于观测序列的影响会明显地下降，表现在滤波后的归一化的噪声能量有了明显的下降。表1显示了在不同的二次压缩比（即二次压缩的所得的序列的长度与原观测序列的长度之比）和不同的加性高斯白噪声的标准差下，滤波前与滤波后的归一化的噪声能量的对比。实验中的测试信号长度为800，块长为40，观测数为430，再压缩比表示为α，加性高斯白噪声的标准差记作std。

表1不同二次压缩比和不同加性高斯白噪声标准差下的归一化的噪声能量

（2）通过对二次压缩得到的序列滤波，获得原始观测序列的估计，从而使得噪声的能量有了明显的降低，这也将提升压缩感知重构后所得到信号估计量的性能。表2给出本发明滤波前与滤波后Lasso(least-absolute shrinkage andselection operator)算法的重构性能的对比。表3给出本发明滤波前与滤波后SP(subspace pursuit)算法的重构性能的对比。

表2 Lasso算法滤波前后的重构信号误差对比

表3 SP算法滤波前后的重构信号误差对比

（3）当稀疏度自适应追踪算法获得正确的稀疏度的时候，其便是子空间追踪算法（即SP算法）。这类算法相比于凸松弛类的算法，计算度复杂度低，而重构的性能相当，所以这类算法是压缩感知系统中主要使用的重构算法，而算法迭代终止的条件也将很大程度上影响重构的性能。表4给出使用交叉验证方法作为迭代终止条件下重构信号的误差与使用正确的阈值情况下重构信号的误差之间的对比，此时用于交叉验证的样本数为64。使用交叉验证的方法下的重构误差与使用正确阈值情况下的重构信号的误差是相近，也就是说在实际环境中，因为无法获得正确的阈值，那么交叉验证方法是比较好的替代方案。

表4稀疏度自适应匹配追踪算法不同迭代终止条件下重构信号误差对比

（4）使用k-重交叉验证方法可以进一步改进稀疏度自适应匹配追踪算法的鲁棒性。表5中给出了k-重交叉验证方法与交叉验证方法下稀疏度自适应匹配追踪算法重构信号误差的对比，此时用于交叉验证的样本数为40。

表5稀疏度自适应匹配追踪算法不同迭代终止条件下重构信号误差对比

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (1)

1.一种压缩感知含噪重构系统的构建方法，其特征在于包括如下步骤：

(1)针对具有块稀疏性或块可压缩性的信源，采用块对角随机矩阵对源信号进行投影，获取含噪的观测序列，再采用一个随机矩阵对前述含噪的观测序列实现二次压缩，该用于二次压缩的随机矩阵与前述用于投影的观测矩阵是相互独立的；

所述步骤(1)的详细内容是：

(11)利用观测矩阵Φ获得含噪的观测序列y₁，即有：

y₁＝Φx₁＝Φ(x+e)＝Φx+Φe

其中，x₁表示受到噪声污染的噪声矢量，x₁＝x+e，向量x表示干净的信号，e为噪声向量；

所述观测矩阵Φ采用具有如下块状结构的矩阵：

其中，m为块数，每一个子块的矩阵均是相互独立的高斯随机矩阵；

(12)再利用密集的高斯随机矩阵来实现对含噪的观测序列y₁的二次压缩，从而获得二次压缩的观测序列

$\tilde{y}=\widetilde{\mathrm{\&Phi;}}{y}_1=\widetilde{\mathrm{\&Phi;}}(\mathrm{\&Phi;x}+e_1)=\widetilde{\mathrm{\&Phi;}}y+w$

其中，随机矩阵中的元素是满足独立同分布的均值为0、方差为的高斯分布；

(2)在接收端，获得经过二次压缩的序列，通过滤波获得观测序列的估计；

所述步骤(2)的详细内容是：设Σ为对角矩阵，利用下式获得经过二次压缩的观测序列的估计

$\hat{y}=\mathrm{\&Sigma;}\widetilde{\mathrm{\&Phi;}}{(\widetilde{\mathrm{\&Phi;}}\mathrm{\&Sigma;}{\widetilde{\mathrm{\&Phi;}}}^T+C_w)}^{-1}\tilde{y}$

其中，为获取二次压缩的观测序列所采用的随机矩阵，为二次压缩后所得的序列，C_w是噪声向量w的协方差矩阵；

(3)在获得观测序列的估计后，采用以下基于交叉验证方法的稀疏度自适应匹配追踪算法实现稀疏信号重构：设用于交叉验证的样本向量记作t_cv,在每一阶段迭代终止的情况下，利用已获得的信号向量的估计，获得交叉验证向量t_cv所对应的余部当后一阶段交叉验证向量的余部的能量大于前一阶段交叉验证向量的余部的能量时，整个算法迭代终止。