CN113111313A - 一种基于期望传播的多任务稀疏重构和聚类方法 - Google Patents

Abstract

本发明公开了一种基于期望传播的多任务稀疏重构和聚类方法，1)通过引入“spikeand slab”和“Dirichlet Process”先验概率分布，构造一种具有多任务稀疏结构聚类的贝叶斯生成模型；(2)使用期望传播技术，将上述模型参数后验分布求解问题转换所选指数类分布的参数优化问题；(3)初始模型近似概率分布，(4)对每个q_1j、q_2j、q_3j，分别计算其cavity分布，以更新对应参数，模型参数收敛至最优值时停止，本发明可以显著降低信号重构误差，具有更强的抗噪声能力，并能基于信号的稀疏结构特性对任务进行自主聚类，且无需事先设置类别数。

Description

一种基于期望传播的多任务稀疏重构和聚类方法

技术领域

本发明属于信号处理压缩感知领域，具体涉及一种多任务稀疏重构和聚类方法。

背景技术

20世纪以来，稀疏性在信号重建和压缩感知领域掀起巨大的浪潮，吸引了无数的科研人员和工程师相继投入研究。在信号稀疏的条件下，压缩感知技术就可以通过较少的测量，以很高的精度重建原始信号。特别是处于现今的信息大爆炸时代，稀疏信号重构能够压缩数据，去除冗余信息，这使得它在雷达成像，射电天文学，字典学习，图片降噪，图片分类等领域得到广泛的应用。

稀疏重构的方法就是使用远少于原始测量数据条件下重建信号。针对这一问题，研究人员相继提出了各种压缩感知重构方法。比如基于贪婪策略的匹配追踪算法，基于优化的LASSO方法等。贝叶斯压缩感知方法作为稀疏重构方法中的一种，由于其优异的重构性能越来越多引起了研究者的关注。

研究人员发现，自然界中的不同原始信号往往具有大量的重复性信息，如果利用好这些重复性信息可以进一步提高信号的压缩比，即以更少的观测量，以更高的精度重建原始信号。这种重复性一方面体现在单一信号中，连续位置的信号值往往具有延续性，为了利用这一信息，人们提出了组稀疏的概念，著名的重构方法有组对称匹配追踪法，组LASSO法等。另外一方面，不同信号的对应位置的信号也具有延续性，基于这一点，科研人员提出了多任务稀疏重构方法，包括MT-CS方法，DP-MTCS方法。

目前存在多种技术给信号施加约束，以限制信号重构的稀疏性，“spike andslab”先验概率分布就是其中之一，它是一种典型的混合概率分布。“spike and slab”在概率论角度很好地描述了信号的稀疏性特性，被誉为保证稀疏性的“黄金”先验。

目前以存在的多任务稀疏重建方法中，大多默认多个信号的稀疏结构相似，因此利用全部信号的信息延续性提高重建精度。然而在实际问题中是不现实的，很多情况下，多个信号往往具有几种不同的稀疏结构，这时仍然利用全部信号信息分享重构信号不仅无法提高重建精度，还会导致性能的急剧下降。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于期望传播的多任务稀疏重构和聚类方法，利用同类任务具有信息共享的策略，在利用“spike and slab”先验概率模型实现多任务稀疏重构的同时，进一步引入“Dirichlet”过程自主学习多任务间的聚类。本发明可以显著降低信号重构误差，具有更强的抗噪声能力，并能基于信号的稀疏结构特性对任务进行自主聚类，且无需事先设置类别数。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于期望传播的多任务稀疏重构和聚类方法，包括以下步骤：

步骤1，引入“spike and slab”和Dirichlet过程先验概率分布，构造具有多任务稀疏结构聚类的贝叶斯生成模型：

y_i＝Dx_i+ε_i

f_i～Disc rete(β₁，β₂，...，β_L)

v_h～Beta(1，λ)

其中，y_i表示P维观测向量，D为P×K维观测矩阵，x_i为K维向量，且P＜＜K，ε_i表示K维观测噪声，N(·)为高斯分布，δ(·)为狄拉克函数，该函数在原点处有一冲激，其余地方均为0，z_i是服从Bernoulli分布的二元变量，下标i表示第i个任务，zij表示向量z_i的第j个元素，xij表示向量x_i的第j个元素，参数π_i为Bernoulli分布参数，在参数π_i上引入Dirichlet过程并使用sticking breaking构造形式构造，其中，v_h表示第h次从原来长度为1的绳子剩余部分截取的长度，βl表示任务属于第l类的先验概率，下标l表示第l类，λ表示v_h服从的Beta分布的超参数，a和b表示π_l服从的Beta分布的超参数，G₀表示Dirichlet过程的基础分布。

步骤2，使用期望传播方法(Expectation Propagation)将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类(Exponential Family)分布的参数优化问题。

步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法：

步骤2.1，关于模型参数后验概率分布满足如下关系：

其中，r＝{σ₀，τ₀，a，b，λ，L}表示模型已知的超参数，{y_i}_{i＝1，2...M}表示需要重构的M个信号，H＝{{x_i}_{i＝1，2...M}，{z_i}_{i＝1，2...M}，{π_l}_{i＝1，2...L}，{v_l}_{l＝1，2...L}}为需要求解其后验分布的模型参数，Y表示{y_i}_{i＝1，2...M}，p(H|Y，τ)表示模型真实的后验分布，L表示所设定的Dirichlet过程截断数目，即多任务聚类的先验类别总数。

根据贝叶斯准则，求得隐变量H的后验分布为：

其中，Z为边缘概率分布p(Y)，

步骤2.2，将式(1)分解为3项：

其中，f₁(x_i)表示P(y_i|x_i)，N(·)表示高斯分布，σ表示噪声服从的高斯分布的协方差矩阵参数，I表示单位矩阵，f₂(x_i，z_i)表示P(x_i|z_i)，τ0表示真实信号服从高斯分布的方差参数，f_2.j(x_ij，z_ij)表示f₂(x_i，z_i)的第j项，x_ij表示向量x_i的第j项，z_ij表示向量z_i的第j项，f₃(z_i，f_i，v_l，π_l)表示

f_i表示分解式的第i项，ν_l表示目标属于第1类的先验概率，π_l表示第1类的Bernoulli分布的参数，Ber(z_ij|π_lj)表示第i个任务的第j个支撑向量服从的二维分布，p(v_l)表示目标属于第1类的先验概率分布。

步骤2.3，从属于Exponential Family概率分布中选择互相共轭的分布，以确定近似分布的形式，其具体表达式如下：

q₁(x_i)＝N(x_i|m_i1，∑_i1)

其中，q₁(x_i)表示f₁(x_i)的近似分布，∑_i1表示q₁(x_i)的协方差矩阵，m_i1表示q₁(x_i)的均值向量，q₂(x_i，z_i)表示f₂(x_i，z_i)的近似分布，∑_i2表示q₂(x_i，z_i)中高斯分布协方差矩阵，m_i2表示q₂(x_i，z_i)中高斯分布的均值向量，μ_i1j表示q₂(x_i，z_i)中Bernoulli分布的参数，q₃(z_i，f_i，v_l，π_l)表示f₃(z_i，f_i，v_l，π_l)的近似分布，μ_i2j表示q₃(z_i，f_i，v_l，π_l)中Bernoulli分布的参数，c_il和d_il表示q₃(z_i，f_i，υ_l，π_l)中υ_l服从的Beta分布参数，a_il和b_il表示q₃(z_i，f_i，v_l，π_l)中π_lj服从的Beta分布参数，w_il表示q₃(z_i，f_i，v_l，π_l)中f_i服从的离散分布参数。

步骤3，初始模型近似概率分布，q_a，a＝1，2，3和Q，q_a表示第a个近似分布，下标a表示第a个近似分布，

步骤4，对每个q_1j，计算其cavity分布

最小化KL(q_1jQ^\1j||Q^new)w.r.t.Q^new，计算

以更新参数m_i1j，∑_i1j，其中，Q^new表示表示更新后的近似分布，即Q。

步骤5，对每个q_2j，计算其cavity分布

最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，计算

以更新参数m_i2j，∑_i2j，μ_i1j。

步骤6，对每个q_3j，计算其cavity分布

最小化KL(q_3jQ^\3j||Q^new)w.r.t.Q^new，计算

以更新参数a_ilj，b_ilj，c_il，d_il，μ_i2jw_il。

步骤7，更新联合近似参数m_i，∑_i，μ_ij，a_lj，b_lj，c_l，d_l，w_i。

步骤8，收敛条件为满足时候，重复步骤，4-7，否则，停止重复，模型参数收敛至最优值。

步骤9对应m_i即重构出的信号，w_i即为该信号的类别的后验分布概率。

优选的：步骤3中所述初始化模型近似概率分布q_a，a＝1，2，3和Q的方法如下：

m_i1＝m_i2＝0

∑_i1＝∑_i2＝∞

μ_i1j＝μ_i2j＝0.5

a_il＝c_ilj＝1

其中，a＝K，b＝1。

优选的：步骤4中所述对每个q_1j，计算其cavity分布

最小化KL(q_1jQ^\1j||Q^new)w.r.t.Q^new，计算

以更新参数m_i1j，∑_i1j的方法：

其中

m_i1＝(m_i11，m_i12，...，m_i1K)^T

∑_i1＝diag(∑_i11，∑_i12，...，∑_i1K)。

优选的：步骤5中对每个q_2j，计算其cavity分布

最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，计算

以更新参数m_i2j，∑_i2j，μ_i1j的方法：

步骤5.1，计算cavity分布：

积分得到边缘分布：

p(x_ij，z_ij)＝N(x_ij|m_ij ^\2j，∑_ij ^\2j)Ber(z_ij|μ_ij ^\2j)

步骤5.2，计算归一化常数：

步骤5.3，最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，矩量匹配得到参数的更新表达式：

优选的：步骤6中对每个q_3j，计算其cavity分布

最小化KL(q_3jQ^\3j||Q^new)w.r.t.Q^new，计算

以更新参数a_ilj，b_ilj，c_il，d_il，μ_i2j，w_il的方法：

步骤6.1，计算cavity分布参数：

步骤6.2，计算归一化常数：

步骤6.3，矩量匹配

优选的：步骤8中收敛条件为参数前后更新误差不小于1e-5。

本发明相比现有技术，具有以下有益效果：

1)本方法通过引入“spike and slab”和“Dirichlet Process”先验分布，构造了一种基于多任务稀疏结构聚类的贝叶斯生成模型，充分挖掘了信号间潜在的稀疏结构相似信息。与传统方法如多任务稀疏重建，本方法引入的“spike and slab”和“DirichletProcess”先验分布假设使得重构信号更加接近原信号的真实分布和真实聚类信息，从而获得更好的重构性能。

2)本方法基于期望传播算法，不同于传统方法，本算法使用迭代的方法，在每一步都优化一个子式的分布，使得近似分布更加接近真实后验分布，大大减少了计算量，加快了运行速度。得益于这些优点，本方法可以有效改善信号的稀疏重构均方误差，减少重构原信号所需的观测数与运行速度，具有更强的抗噪声能力，并能基于信号的稀疏结构特性对任务进行自主聚类，且无需事先设置类别数。

附图说明

图1为本发明方法的流程图；

图2为实施例1中用本发明方法重构出的稀疏信号与原信号的对比图；

图3为实施例1中本发明方法给出的不同信号聚类类别情况；

图4为实施例2中本发明方法与现有方法在不同观测值下重构误差的对比。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

实施例1：

一种基于期望传播的多任务稀疏重构和聚类方法，如图1所示，包括以下步骤：

步骤1，引入“spike and slab”和Dirichlet Process先验概率分布，构造具有多任务稀疏结构聚类的贝叶斯生成模型：

y_i＝Dx_i+ε_i

f_i～Discrete(β₁，β₂，...，β_L)

v_h～Beta(1，λ)

其中，y_i表示P维观测向量，D为P×K维观测矩阵，x_i为K维向量，且P＜＜K，ε_i表示K维观测噪声，N(·)为高斯分布，δ(·)为Dirac delta函数，该函数在原点处有一冲激，其余地方均为0，z_i是服从Bernoulli分布的二元变量，下标i表示第i个任务，z_ij表示向量z_i的第j个元素，x_ij表示向量x_i的第j个元素，参数π_i为Bernoulli分布参数，在参数π_i上引入Dirichlet Process并使用sticking breaking构造形式构造，其中，u_h表示第h次从原来长度为1的绳子剩余部分截取的长度，β_l表示任务属于第l类的先验概率，下标l表示第l类，λ表示u_h服从的Beta分布的超参数，a和b表示π₁服从的Beta分布的超参数，G₀表示Dirichlet过程的基础分布。引入该过程揭示多任务在其稀疏结构的聚类特性，并基于类间的分享提高信号的重构精度。

本实施例中，选用70×128维的观测矩阵，128×1维的稀疏向量，稀疏向量共分为5类，每类10个样例，每个稀疏向量均包含20个非0值。每个类中，不同样例仅有两个非零元素的位置不同。而不同类中，任意两个样例的20个非零元素出现的位置均不相同。模型超参数设置选择为：τ₀为1，σ₀为0.01。

步骤2，使用期望传播(Expectation Propagation)方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布(Exponential Family)的参数优化问题。

步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法：

步骤2.1，关于模型参数后验概率分布满足如下关系：

其中，r＝{σ₀，τ₀，a，b，λ，L}表示模型已知的超参数，{y_i}_{i＝1，2...M}表示需要重构的M个信号，H＝{{x_i}_{i＝1，2...M}，{z_i}_{i＝1，2...M}，{π_l}_{i＝1，2...L}，{v_l}_{l＝1，2...L}}为需要求解其后验分布的模型参数，Y表示{y_i}_i＝1.2...N，p(H|Y，τ)表示模型真实的后验分布，L表示所设定的Dirichlet过程截断数目，即多任务聚类的先验类别总数。

根据贝叶斯准则，求得隐变量H的后验分布为：

其中，Z为边缘概率分布p(Y)，

步骤2.2，将式(1)分解为3项：

其中，f₁(x_i)表示P(y_i|x_i)，N(·)表示高斯分布，σ表示噪声服从的高斯分布协方差矩阵参数，I表示单位矩阵，f₂(x_i，z_i)表示P(x_i|z_i)，τ₀表示信号服从的高斯分布的方差参数，f_2.j(x_ij，z_ij)表示f₂(x_i，z_i)的第j项，x_ij表示向量x_i的第j项，z_ij表示向量z_i的第j项，f₃(z_i，f_i，v_l，π_l)表示

f_i表示分解式的第i项，ν_l表示目标属于第l类的先验概率，π_l表示第l类的Bernoulli分布的参数，Ber(z_ij|π_lj)表示第i个任务的第j个支撑向量服从的二维分布，p(v_l)表示目标属于第l类的先验概率分布。

步骤2.3，从属于指数类(Exponential Family)概率分布中选择互相共轭的分布，以确定近似分布的形式，其具体表达式如下：

q₁(x_i)＝N(x_i|m_i1，∑_i1)

其中，q₁(x_i)表示f₁(x_i)的近似分布，∑_i1表示q₁(x_i)的协方差矩阵，m_i1表示q₁(x_i)的均值向量，q₂(x_i，z_i)表示f₂(x_i，z_i)的近似分布，∑_i2表示q₂(x_i，z_i)中高斯分布协方差矩阵，m_i2表示q₂(x_i，z_i)中高斯分布的均值向量，μ_i1j表示q₂(x_j，z_i)中Bernoulli分布的参数，q₃(z_i，f_i，v_l，π_l)表示f₃(z_i，f_i，v_l，π_l)的近似分布，μ_i2j表示q₃(z_i，f_i，v_l，π_l)中Bernoulli分布的参数，c_il和d_il表示q₃(z_i，f_i，υ_l，π_l)中υ_l服从的Beta分布参数，a_il和b_il表示q₃(z_i，f_i，v_l，π_l)中π_lj服从的Beta分布参数，w_il表示q₃(z_i，f_i，v_l，π_l)中f_i服从的离散分布参数。

步骤3，初始模型近似概率分布，q_a，a＝1，2，3和Q，q_a表示第a个近似分布，下标a表示第a个近似分布：

m_i1＝m_i2＝0

∑_i1＝∑_i2＝∞

μ_i1j＝μ_i2j＝0.5

a_il＝c_ilj＝1

其中，a＝K，b＝1。。

步骤4，对每个q_1j，计算其cavity分布

最小化KL(q_1jQ^\1j||Q^new)w.r.t.Q^new，计算

以更新参数m_i1j，∑_i1j，其中，Q^new表示表示更新后的近似分布，即Q。可通过线性高斯模型得到其参数更新表达式：

其中

m_i1＝(m_i11，m_i12，...，m_i1K)^T

∑_i1＝diag(∑_i11，∑_i12，...，∑_i1K)。

步骤5，对每个q_2j，计算其cavity分布

最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，计算

以更新参数m_i2j，∑_i2j，μ_i1j，通过参数的矩量匹配，得到参数的更新表达式，其过程为：

步骤5.1，计算cavity分布：

积分得到边缘分布：

p(x_ij，z_ij)＝N(x_ij|m_ij ^\2j，∑_ij ^\2j)Ber(z_ij|μ_ij ^\2j)

步骤5.2，计算归一化常数：

步骤5.3，最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，矩量匹配得到参数的更新表达式：

步骤6，对每个q_3j，计算其cavity分布

最小化KL(q_3jQ^\3j||Q^new)w.r.t.Q^new，计算

以更新参数a_ilj，b_ilj，c_il，d_il，μ_i2j，w_il，具体方法如下：

步骤6.1，计算cavity分布参数：

步骤6.2，计算归一化常数：

步骤6.3，矩量匹配

步骤7，更新联合近似参数m_i，∑_i，μ_ij，a_lj，b_li，c_l，d_l，w_i。

步骤8，收敛条件为满足时候，重复步骤，4-7，否则，停止重复，模型参数收敛至最优值。收敛条件为参数前后更新误差不小于1e-5。

步骤9对应m_i即重构出的信号，w_i即为该信号的类别的后验分布概率。

图2给出了本实例中其中一个原信号与其重构信号的对比图，其中实线表示原信号，虚线表示重构信号。从图中可以看到，实线与虚线高度重合，说明本发明公开的信号重构方法可以有效的对具有稀疏结构聚类特性的信号重构。

图3给出了本实施例中所示信号重构方法给出的不同稀疏结构的信号的分类情况，可以看出，具有相似0和非0位置的信号均被本发明的方法成功聚类，这是其他多任务稀疏重建方法所不具备的能力。

本实例主要对比了本发明公开的一种基于期望传播的多任务稀疏重构和聚类方法与现有其它组稀疏信号重构方法在不同观测数量下的均方误差，除信噪比恒为20dB且观测数量不断变化外，其余参数设置均与实施例1相同。如图4所示，横轴表示观测数量，纵轴表示均方误差，各条折线所对应的信号重构方法名称如图中所示。本方法在利用不同类别稀疏信号类间信息延续特性，从而大幅提高信号的重建精度。从图中可以看出，本发明公开的方法的均方误差显著低于其余方法。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于期望传播的多任务稀疏重构和聚类方法，其特征在于，包括以下步骤：

步骤1，引入“spike and slab”和Dirichlet Process先验概率分布，构造具有多任务稀疏结构聚类的贝叶斯生成模型：

y_i＝Dx_i+ε_i

f_i～Discrete(β₁，β₂，...，β_L)

v_h～Beta(1，λ)

其中，y_i表示P维观测向量，D为P×K维观测矩阵，x_i为K维向量，且P＜＜K，ε_i表示K维观测噪声，N(·)为高斯分布，δ(·)为狄拉克函数，该函数在原点处有一冲激，其余地方均为0，z_i是服从Bernoulli分布的二元变量，下标i表示第i个任务，z_ij表示向量z_i的第j个元素，x_ij表示向量x_i的第j个元素，参数π_i为Bernoulli分布参数，在参数π_i上引入Dirichlet过程并使用sticking breaking构造形式构造，其中，v_h表示第h次从原来长度为1的绳子剩余部分截取的长度，βl表示任务属于第l类的先验概率，下标l表示第l类，λ表示υ_h服从的Beta分布的超参数，a和b表示π_l服从的Beta分布的超参数，G0表示Dirichlet过程的基础分布；

步骤2，使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题；

步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法：

步骤2.1，关于模型参数后验概率分布满足如下关系:

其中，r＝{σ₀，τ₀，a，b，λ，L}表示模型已知的超参数，{y_i}_{i＝1，2...M}表示需要重构的M个信号，H＝{{x_i}_i＝1,2,...M,{z_i}_i＝1,2...M,{π_l}_i＝1,2...L,{v_l}_l＝1,2...L}为需要求解其后验分布的模型参数，Y表示{y_i}_{i＝1，2...M}，p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目，即多任务聚类的先验类别总数；

根据贝叶斯准则，求得隐变量H的后验分布为:

其中,Z为边缘概率分布p(Y)，

步骤2.2，将式(1)分解为3项：

步骤2.3，从属于指数类概率分布中选择互相共轭的分布，以确定近似分布的形式，其具体表达式如下：

q₁(x_i)＝N(x_i|m_i1，∑_i1)

其中，q₁(x_i)表示f₁(x_i)的近似分布，Σ_i1表示q₁(x_i)的协方差矩阵，m_i1表示q₁(x_i)的均值向量，q₂(x_i,z_i)表示f₂(x_i，z_i)的近似分布，Σ_i2表示q₂(x_i,z_i)中高斯分布协方差矩阵，m_i2表示q₂(x_i，z_i)中高斯分布的均值向量，μ_i1j表示q₂(x_j，z_i)中Bernoulli分布的参数，q₃(z_i，f_i,v_l,π_l)表示f₃(z_i，f_i，υ_l，π_l)的近似分布，μ_i2j表示q₃(z_i，f_i，v_l，π_l)中Bernoulli分布的参数，c_il和d_il表示q₃(z_i，f_i，v_l，π_l)中v_l服从的Beta分布参数，a_il和b_il表示q₃(z_i，f_i，v_l，π_l)中π_lj服从的Beta分布参数，w_il表示q₃(z_i，f_i，v_l，π_l)中f_i服从的离散分布参数；

步骤3，初始模型近似概率分布，q_a，a＝1，2，3和Q，q_a表示第a个近似分布，下标a表示第a个近似分布，

步骤4，对每个q_1j，计算其cavity分布

最小化KL(q_1jQ^\1j||Q^new)w.r.t.Q^new,计算

以更新参数m_i1j，∑_i1j，其中，Q^new表示更新后的总近似分布，即Q；

步骤5，对每个q_2j，计算其cavity分布

最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new,计算

以更新参数m_i2j，∑_i2j，μ_i1j；

步骤6，对每个q_3j，计算其cavity分布

最小化KL(q_3jQ^\3j||Q^new)w.r.t.Q^new,计算

以更新参数a_ilj，b_ilj，c_il，d_il，μ_i2j，w_il；

步骤7，更新联合近似参数m_i，∑_i，μ_ij，a_lj，b_lj，c_l，d_l，w_i；

步骤8，收敛条件为满足时候，重复步骤，4-7，否则，停止重复，模型参数收敛至最优值；

步骤9对应m_i即重构出的信号，w_i即为该信号的类别的后验分布概率。

2.根据权利要求1所述基于期望传播的多任务稀疏重构和聚类方法，其特征在于：步骤3中所述初始化模型近似概率分布q_a，a＝1，2，3和Q的方法如下：

m_i1＝m_i2＝0

∑_i1＝∑_i2＝∞

μ_i1j＝μ_i2j＝0.5

a_il＝c_ilj＝1

其中，a＝K，b＝1。

3.根据权利要求2所述基于期望传播的多任务稀疏重构和聚类方法，其特征在于：步骤4中所述对每个q_1j，计算其cavity分布

最小化KL(q_1jQ^\1j||Q^new)w.r.t.Q^new，计算

以更新参数m_i1j，∑_i1j的方法：

其中

m_i1＝(m_i11，m_i12，...，m_i1K)^T

∑_i1＝diag(∑_i11，∑_i12，...，∑_i1K)。

4.根据权利要求3所述基于期望传播的多任务稀疏重构和聚类方法，其特征在于：步骤5中对每个q_2j，计算其cavity分布

最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，计算

以更新参数m_i2j，∑_i2j，μ_i1j的方法：

步骤5.1，计算cavity分布：

积分得到边缘分布：

p(x_ij，z_ij)＝N(x_ij|m_ij ^\2j，∑_ij ^\2j)Ber(z_ij|μ_ij ^\2j)

步骤5.2，计算归一化常数：

步骤5.3，最小化KL(q_2jQ^\2j||Q^new)w.r.t.Q^new，矩量匹配得到参数的更新表达式：

5.根据权利要求4所述基于期望传播的多任务稀疏重构和聚类方法，其特征在于：步骤6中对每个q_3j，计算其cavity分布

最小化KL(q_3jQ^\3j||Q^new)w.r.t.Q^new,计算

以更新参数a_ilj，b_ilj，c_il，d_il，μ_i2j，w_il的方法：

步骤6.1，计算cavity分布参数：

步骤6.2，计算归一化常数：

步骤6.3，矩量匹配

6.根据权利要求5所述基于期望传播的多任务稀疏重构和聚类方法，其特征在于：步骤8中收敛条件为参数前后更新误差不小于1e-5。

Images