CN106599903B - 基于相关性的加权最小二乘字典学习的信号重构方法 - Google Patents

Abstract

本发明公开了一种基于相关性的加权最小二乘字典学习的信号重构方法。本发明首先利用聚类的方法将训练数据中具有相关性的信号样本归类为一组，然后以一组信号为单位更新每组字典，使得每组字典能充分地学习到每组信号的特征，最后依据得到的子字典进行集中字典学习。实验结果表明，相对于较为经典的加权最小二乘法以及K奇异值分解算法，本发明能够获得更低的均方误差，并且应用于压缩感知重构恢复领域时能获得更高的信噪比。

Description

基于相关性的加权最小二乘字典学习的信号重构方法

技术领域

本发明属于信号处理领域，具体涉及一种基于相关性的加权最小二乘字典学习算法，用于基于压缩感知的信号重构恢复。

背景技术

近些年，人们在日常生活中对设备的便携性的需求使基于可穿戴远程健康监护系统得到较快的发展。如何降低传感节点的数据采集量，计算和传输功耗是远程健康监护系统面临的主要问题之一，压缩感知理论的出现较好地解决了该问题。信号的稀疏表示是压缩感知理论应用的前提。其中，稀疏基(字典)的选择影响着信号重构的时间长短和质量好坏。研究表明，信号在字典下的表示系数越稀疏则重构质量越高，因此字典的选择十分重要。目前，字典构造方法一般分为两种：解析方法和学习方法。基于解析方法的变换有：离散余弦变换、小波变换、Ridgelet，Gabor等。该方法虽然构造相对简单，但原子的基本形状固定，原子的形态不够丰富。学习方法根据数据或信号本身来学习过完备字典，获得的字典原子形态更丰富，能更好地与信号或图像本身的结构匹配，具有更稀疏的表示。近几年的研究成果表明，通过学习获得的字典比解析方法构造的字典在应用领域有更出色的性能。因此基于字典学习算法获得的过完备字典对面向压缩感知重构的应用(可穿戴远程健康监护系统)具有重要意义。

到目前为止，许多字典学习算法不断被提出以适应多种输入信号类型。经典的算法有最优方向法,加权最小二乘字典学习(Weighted Least Squares–DictionaryLearning,WLS-DL)算法,K奇异值分解(K-Singular Value Decomposition,K-SVD)算法等。这些算法大都应用于去噪或分类。最近有一些研究学者将字典学习算法应用到压缩感知的信号重构中。例如将K奇异值分解算法应用于可穿戴远程健康监护系统的压缩感知心电重构，以及将使用字典学习方法获得的过完备字典对三维超声图像进行压缩感知重构。但是，这些算法没有充分考虑训练信号内部隐含的特征，从而影响了获得的过完备字典在压缩感知的信号重构精度。

发明内容

本发明的发明目的在于：针对现有的字典学习算法应用于压缩感知重构恢复时的精度不高等技术问题,提出了一种基于相关性的加权最小二乘字典学习(简写为CWLS-DL(Correlation Weighted Least Squares–Dictionary Learning))的信号重构方法。

本发明利用信号间隐含的相关性信息来提高基于过完备字典的重构恢复精度。利用聚类 的方法将训练数据中具有相关性的信号样本归类为一组，然后以一组信号为单位更新每组字典，使得每组字典能充分地学习到每组信号的特征，最后依据得到的子字典进行集中字典学习。通过该算法对字典进行更新,形成更能表示生理信号结构的过完备字典，提高基于过完备字典的压缩感知重构恢复精度。

本发明的基于相关性的加权最小二乘字典学习的信号重构方法，包括下列步骤：

步骤1：从信号库中获取字典学习的训练样本集X，其中训练样本集X的个体为：与待重构信号同一类别的原始信号；

步骤2：采用基于皮尔逊相关系数的K均值聚类方法对训练样本集X进行聚类处理，将训练样本集X聚为N个子训练样本集X^j，子训练样本集的样本数为K_j，其中j＝1,2,…N，其中N为预设的类别数目；

步骤3：设置N个子字典，分别对应N个子训练样本集X^j，随机初始化子字典，得到其中的维度为L×K_j，K_j表示中的原子个数，L表示每个原子的长度，K_j＞＞L，j＝1,2,…N；

步骤4：迭代方式进行子字典学习：

步骤401：固定子字典基于子训练样本集X^j，采用正交匹配追踪法得到稀疏系数

其中k表示迭代次数，初始值为0；

步骤402：固定稀疏系数

基于子训练样本集X^j，采用加权最小二乘算法训练子字典，得到

步骤403：判断迭代是否收敛，若是，则将N个子字典合并为字典Φ₀；否则，令k＝k+1，继续执行步骤401；

步骤5：迭代方式进行过完备字典Φ学习：

步骤501：固定子字典Φ_t，基于训练样本集X，采用正交匹配追踪法得到稀疏系数A_t，其中t表示迭代次数，初始值为0；

步骤502：固定稀疏系数A_t，基于训练样本集X，采用加权最小二乘算法训练子字典，得到Φ_t+1；

步骤503：判断迭代是否收敛，若是，则将Φ_t+1作为过完备字典Φ；否则令t＝t+1，并对字典Φ_t进行字典原子去重处理后，继续执行步骤501；

其中字典原子去重处理具体为：计算Φ_t中任意两列字典原子之间之间的欧式距离，若小于预设阈值Thr，则将所述两列字典原子中的任意一列从Φ_t中删除；

步骤6：基于过完备字典Φ、随机生成的P×L维随机稀疏二值矩阵M，根据公式y＝MΦα得到重构稀疏系数α，其中y表示待重构信号；再根据

得到重构信号

其中迭代收敛的判断可以是两次迭代的基于字典的重构信号(Φ_tA_t)与输入信号(X^j、X)的带有权重的误差的Frobenius范数的变化量很小，即变化量不超过预设阈值，或者迭代次数达到最大迭代次数等设置迭代收敛的方式。另外，在步骤403、503中，也可以先更新迭代次数，即迭代次数自加1后，再基于第k(t)次迭代与第k-1(t-1)次迭代对应的基于字典的重构信号(

Φ_tA_t)与输入信号(X^j、X)的带有权重的误差的Frobenius范数的变化量是否达到迭代收敛，若是，则将第k(t)次迭代得到的字典作为迭代输出。

由于采用了上述技术方案，本发明的有益效果是：本发明方法(基于相关性的加权最小二乘字典学习算法)与现有技术(加权最小二乘字典学习算法)相比较，本发明先聚类再进行字典学习，充分利用了原始信号样本集内部隐含的相关性信息使得信号在字典下的表示系数的稀疏度提高；对每一类子训练样本集分别进行字典训练从而得到对应于每一类的子字典，每一类样本信号的特征能被充分地捕捉到，使得字典训练时能够获得较低的均方误差，进而提高应用于压缩感知重构恢复领域时的信噪比；再将各类的子字典进行合并作为过完备字典的初始字典并基于原始训练样本集进行训练，而非加权最小二乘字典学习算法中：初始字典设置为随机选取的原始样本，在过完备字典训练的同时，将重复的字典原子去除，使得过完备字典中原子个数能自适应地调整。最终使得信号在得到的字典下的表示系数足够稀疏，从而提高压缩感知重构恢复的精度，使得通过重构算法恢复的信号与原始信号非常接近。

附图说明

图1是具体实施中，本发明的重构过程示意图；

图2是本发明的字典学习方法(CWLS-DL算法)与现有的字典学习算法(WLS-DL算法、K-SVD算法)的ECG(Electrocardiogram)信号的RMSE(Root Mean Squared Error,均方根误差)的对比图；

图3是本发明与基于WLS-DL、K-SVD的现有重构方法对ECG重构信号波形与原始ECG信 号波形的对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

参照图1，本发明的重构处理具体包括下列步骤：

步骤1：从信号库中获取字典学习的训练样本集X，其中训练样本集X的个体为：与待重构信号同一类别的原始信号。

本实施例中，为了便于检验重构信号能力，从信号数据库中提取信号样本包，从而得到训练样本集和测试样本集。例如从MIT-BIH数据库中的Apnea-ECG Database(Apnea-ECG,采样频率为100Hz)，Combined Measurement of ECG,Breathing andSeismocardiograms Database(CEBSDB,采样频率为5000Hz)中提取信号样本包。由于字典训练需要大量的信号样本，所以对下载的信号样本进行分割，分割方法为：

(1)Apnea-ECG数据库中的一个信号样本包含1280个采样点，将此信号分割成6段子信号，分割成的第n段子信号对应原始信号的采样点为：

[(n-1)*200+1,(n-1)*200+2,…,(n-1)*200+200](n＝1,2,3,4,5,6)

(2)对于CEBSDB，每个信号样本包含2500个采样点，则按照分割方式(1)可将此数据库中的每个信号分割为12个子信号。经过分割，从这两个数据库会得到840个子ECG信号，每个信号维度为200。

分别从分割后的ECG信号中选取一定数量的信号作为训练样本集，例如关于ECG信号的实验，用作字典学习的原始训练样本集X包括800个子ECG信号，用作压缩感知被观测的数据X(测试样本集)包括40个子ECG信号。

步骤2：使用K-means算法，基于皮尔逊相关系数的决策标准(即认为两个对象间的皮尔逊相关系数值越大，其相似度就越大)。将训练样本集X中具有相关性的信号聚在一起，得到N个子训练样本集，充分利用了原始信号样本集内部隐含的相关性信息。

步骤3：设置N个子字典，分别对应N个子训练样本集，并基于子训练样本集初始化子字典。

步骤4：基于各类子训练样本集，基于迭代方式完成各子字典的学习。其中进行字典学习的代价函数是：

其中D表示待学习的字典，A表示待学习的稀疏系数矩阵，X表示用于字典学习的训练样本集，const表示预置的常数，Ψ表示误差加权矩阵，α_i表示A的个体，||·||_F表示F范数，||·||₀表示0范数；

即，迭代学习包括两部分：

(401)稀疏编码：固定字典D，然后使用常用的正交匹配追踪得到每个子训练样本集对应的稀疏系数，记为：

其涉及的代价函数f(A)为：

其中，A表示待求的稀疏系数。

(402)字典训练：基于(401)计算得到的稀疏系数，采用加权最小二乘算法训练子训练字典，得到新的字典，即

(k为迭代标识符，初始值为0，j为子字典的标识符)。在字典的学习中要解决的问题是如何使得基于字典的重构信号与输入信号(X^j)的带权重的误差的Frobenius范数最小,即：

其中，

上式中，tr(·)表示某个实数或者矩阵的迹，

为误差加权矩阵，

则

所以，

令

后的字典更新迭代公式为：

用符号l表示子训练样本集的数目，则第k次迭代中第j个训练样本集对应的权重的设置方式为：

其中

表示

的个体；

因此，最终会得到N个子字典的迭代公式，其中：

j＝1,2,…N，

为字典更新时的加权矩阵。

依据步骤(401)和(402)交替更新每一类的稀疏系数

与每一类的子字典

直到算法收敛得到最优解。

步骤5：将步骤4输出的N个子字典合并为一个字典，作为过完备字典Φ的初始值Φ₀，并基于训练样本集X对过完备字典Φ进行迭代学习：

具体迭代过程类似于步骤401、402，但是所涉及的训练样本集为X，而非每个类别的子训练样本集。

(501)稀疏编码：使用常用的正交匹配追踪法得到稀疏系数矩阵记为A_t，其中t表示迭代次数，初始值为0；

(502)字典训练：基于当前训练样本集X以及得到的A_t，使用加权最小二乘算法训练过完备字典，得到新的过完备字典，得到的迭代公式为：

其中W_t为字典更新时的加权矩阵；

同时，在每次使用加权最小二乘法训练过完备字典后，需要计算新的过完备字典中任意 两个信号样本之间的欧式距离，若值小于设定的阈值(本实施例中设置为0.2)，则去除其中一个信号样本。

依据(501)和(502)交替更新稀疏系数A_t与合并字典Φ_t。直到迭代收敛得到最优解。

步骤6：对测试样本集

进行感知压缩处理，得到待重构信号。再对待重构信号基于步骤5得到的过完备字典进行重构处理。

压缩感知理论指出，如果测试信号

本身是稀疏的或者在某个变换域上的变换系数是稀疏的，就可以用一个与变换基不相干的观测矩阵M∈R^P×L(P＜＜L)对测试信号

进行线性投影，得到观测向量y∈R^P×1。然后利用优化求解方法从观测信号精确或高概率地重构原始信号，其观测模型为：

本实施例中，采用基于块稀疏贝叶斯学习(Block sparse Bayesian learning，BSBL)框架的重构算法，即基于随机生成的P×L维随机稀疏二值观测矩阵M，由

得到对L维数据

进行投影得到P维观测值y，即本具体实施方式中，用作检验本发明的重构能力的待重构信号；

基于观测值y、观测矩阵M、过完备字典Φ，根据得到重构稀疏系数α；最后，通过

得到重构信号

为了衡量字典学习误差，较为常用的有均方误差，均方根误差等。本具体实施方式中，采用均方根误差。

令E＝X-DA,则

其中，均方根误差越小表示学习得到的过完备字典能够较好地捕捉原始信号的特征。

为了衡量学习到的过完备字典应用于压缩感知重构恢复领域时的精度，本具体实施方式中，使用常用指标信噪比(Signal to Noise Ratio,SNR)来衡量：

其中

为原始信号，

为重构的信号。且SNR越大，则重构误差越小，说明重构恢复出的信号与压缩前的原始信号更接近。

图2给出了本发明的字典学习算法(CWLS-DL算法)与现有的字典学习算法(WLS-DL算法、K-SVD算法)的ECG信号的RMSE的对比。由于ECG数据来源于两类子数据库，因此N＝2。由图2可知，相比于WLS-DL算法与K-SVD算法，CWLS-DL算法得到RMSE值比较小，说明本文提出的CWLS-DL算法能更加精确地学习到原始ECG信号的特征。

图3是基于CWLS-DL字典(CWLS-DL学习方式得到的字典)，WLS-DL字典(WLS-DL学习方式得到的字典)，K-SVD字典(K-SVD学习方式得到的字典)下，关于测试集中(除去用作训练集的800个信号，测试集有40个信号)第10个ECG信号的重构信号波形。从图中可知，相对于WLS-DL算法和K-SVD算法，本发明的CWLS-DL算法能获得更加准确的波形，说明基于本文提出的CWLS-DL算法获得的字典在压缩感知的应用中具有更高的信号重构精度。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.基于相关性的加权最小二乘字典学习的压缩感知的心电信号重构方法，其特征在于，包括下列步骤：

步骤1：从心电信号库中获取字典学习的训练样本集X，其中训练样本集X的个体为：与压缩感知的待重构的心电信号同一类别的原始信号；

步骤2：采用基于皮尔逊相关系数的K均值聚类方法对训练样本集X进行聚类处理，将训练样本集X聚为N个子训练样本集X^j，其中N为预设的类别数目；

步骤3：设置N个子字典，分别对应N个子训练样本集X^j，基于子训练样本集初始化子字典，得到

其中

的维度为L×K_j，K_j表示

中的原子个数，L表示每个原子的长度，K_j＞＞L，j＝1,2,…N；

步骤4：迭代方式进行子字典学习：

步骤401：固定子字典

基于子训练样本集X^j，采用正交匹配追踪法得到稀疏系数

其中k表示迭代次数，初始值为0；

步骤402：固定稀疏系数

基于子训练样本集X^j，采用加权最小二乘算法训练子字典，得到

步骤403：判断迭代是否收敛，若是，则将N个子字典

合并为字典Φ₀；否则，令k＝k+1，继续执行步骤401；

步骤5：迭代方式对表示心电信号结构的过完备字典Φ进行学习：

步骤501：固定子字典Φ_t，基于训练样本集X，采用正交匹配追踪法得到稀疏系数A_t，其中t表示迭代次数，初始值为0；

步骤502：固定稀疏系数A_t，基于训练样本集X，采用加权最小二乘算法训练子字典，得到Φ_t+1；

步骤503：判断迭代是否收敛，若是，则将Φ_t+1作为过完备字典Φ；否则令t＝t+1，并对字典Φ_t进行字典原子去重处理后，继续执行步骤501；

其中字典原子去重处理具体为：计算Φ_t中任意两列字典原子之间的欧式距离，若小于预设阈值Thr，则将所述两列字典原子中的任意一列从Φ_t中删除；

步骤6：基于表示心电信号结构的过完备字典Φ、随机生成的随机稀疏二值矩阵M，根据公式y＝ΜΦα得到重构稀疏系数α，其中y表示压缩感知的待重构信号；其中，矩阵M的维度为P×L，且P＜＜L；

根据

得到压缩感知的重构心电信号

2.如权利要求1所述的方法，其特征在于，步骤503中，阈值Thr的取值为0.2。

Images