CN113111313A - 一种基于期望传播的多任务稀疏重构和聚类方法 - Google Patents
一种基于期望传播的多任务稀疏重构和聚类方法 Download PDFInfo
- Publication number
- CN113111313A CN113111313A CN202110407828.9A CN202110407828A CN113111313A CN 113111313 A CN113111313 A CN 113111313A CN 202110407828 A CN202110407828 A CN 202110407828A CN 113111313 A CN113111313 A CN 113111313A
- Authority
- CN
- China
- Prior art keywords
- distribution
- parameter
- denotes
- calculating
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000009826 distribution Methods 0.000 claims abstract description 148
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 3
- 238000012856 packing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Mathematical Analysis (AREA)
- Operations Research (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于期望传播的多任务稀疏重构和聚类方法,1)通过引入“spikeand slab”和“Dirichlet Process”先验概率分布,构造一种具有多任务稀疏结构聚类的贝叶斯生成模型;(2)使用期望传播技术,将上述模型参数后验分布求解问题转换所选指数类分布的参数优化问题;(3)初始模型近似概率分布,(4)对每个q1j、q2j、q3j,分别计算其cavity分布,以更新对应参数,模型参数收敛至最优值时停止,本发明可以显著降低信号重构误差,具有更强的抗噪声能力,并能基于信号的稀疏结构特性对任务进行自主聚类,且无需事先设置类别数。
Description
技术领域
本发明属于信号处理压缩感知领域,具体涉及一种多任务稀疏重构和聚类方法。
背景技术
20世纪以来,稀疏性在信号重建和压缩感知领域掀起巨大的浪潮,吸引了无数的科研人员和工程师相继投入研究。在信号稀疏的条件下,压缩感知技术就可以通过较少的测量,以很高的精度重建原始信号。特别是处于现今的信息大爆炸时代,稀疏信号重构能够压缩数据,去除冗余信息,这使得它在雷达成像,射电天文学,字典学习,图片降噪,图片分类等领域得到广泛的应用。
稀疏重构的方法就是使用远少于原始测量数据条件下重建信号。针对这一问题,研究人员相继提出了各种压缩感知重构方法。比如基于贪婪策略的匹配追踪算法,基于优化的LASSO方法等。贝叶斯压缩感知方法作为稀疏重构方法中的一种,由于其优异的重构性能越来越多引起了研究者的关注。
研究人员发现,自然界中的不同原始信号往往具有大量的重复性信息,如果利用好这些重复性信息可以进一步提高信号的压缩比,即以更少的观测量,以更高的精度重建原始信号。这种重复性一方面体现在单一信号中,连续位置的信号值往往具有延续性,为了利用这一信息,人们提出了组稀疏的概念,著名的重构方法有组对称匹配追踪法,组LASSO法等。另外一方面,不同信号的对应位置的信号也具有延续性,基于这一点,科研人员提出了多任务稀疏重构方法,包括MT-CS方法,DP-MTCS方法。
目前存在多种技术给信号施加约束,以限制信号重构的稀疏性,“spike andslab”先验概率分布就是其中之一,它是一种典型的混合概率分布。“spike and slab”在概率论角度很好地描述了信号的稀疏性特性,被誉为保证稀疏性的“黄金”先验。
目前以存在的多任务稀疏重建方法中,大多默认多个信号的稀疏结构相似,因此利用全部信号的信息延续性提高重建精度。然而在实际问题中是不现实的,很多情况下,多个信号往往具有几种不同的稀疏结构,这时仍然利用全部信号信息分享重构信号不仅无法提高重建精度,还会导致性能的急剧下降。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于期望传播的多任务稀疏重构和聚类方法,利用同类任务具有信息共享的策略,在利用“spike and slab”先验概率模型实现多任务稀疏重构的同时,进一步引入“Dirichlet”过程自主学习多任务间的聚类。本发明可以显著降低信号重构误差,具有更强的抗噪声能力,并能基于信号的稀疏结构特性对任务进行自主聚类,且无需事先设置类别数。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于期望传播的多任务稀疏重构和聚类方法,包括以下步骤:
步骤1,引入“spike and slab”和Dirichlet过程先验概率分布,构造具有多任务稀疏结构聚类的贝叶斯生成模型:
yi=Dxi+εi
fi~Disc rete(β1,β2,...,βL)
vh~Beta(1,λ)
其中,yi表示P维观测向量,D为P×K维观测矩阵,xi为K维向量,且P<<K,εi表示K维观测噪声,N(·)为高斯分布,δ(·)为狄拉克函数,该函数在原点处有一冲激,其余地方均为0,zi是服从Bernoulli分布的二元变量,下标i表示第i个任务,zij表示向量zi的第j个元素,xij表示向量xi的第j个元素,参数πi为Bernoulli分布参数,在参数πi上引入Dirichlet过程并使用sticking breaking构造形式构造,其中,vh表示第h次从原来长度为1的绳子剩余部分截取的长度,βl表示任务属于第l类的先验概率,下标l表示第l类,λ表示vh服从的Beta分布的超参数,a和b表示πl服从的Beta分布的超参数,G0表示Dirichlet过程的基础分布。
步骤2,使用期望传播方法(Expectation Propagation)将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类(Exponential Family)分布的参数优化问题。
步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法:
步骤2.1,关于模型参数后验概率分布满足如下关系:
其中,r={σ0,τ0,a,b,λ,L}表示模型已知的超参数,{yi}i=1,2...M表示需要重构的M个信号,H={{xi}i=1,2...M,{zi}i=1,2...M,{πl}i=1,2...L,{vl}l=1,2...L}为需要求解其后验分布的模型参数,Y表示{yi}i=1,2...M,p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目,即多任务聚类的先验类别总数。
根据贝叶斯准则,求得隐变量H的后验分布为:
其中,Z为边缘概率分布p(Y),
步骤2.2,将式(1)分解为3项:
其中,f1(xi)表示P(yi|xi),N(·)表示高斯分布,σ表示噪声服从的高斯分布的协方差矩阵参数,I表示单位矩阵,f2(xi,zi)表示P(xi|zi),τ0表示真实信号服从高斯分布的方差参数,f2.j(xij,zij)表示f2(xi,zi)的第j项,xij表示向量xi的第j项,zij表示向量zi的第j项,f3(zi,fi,vl,πl)表示fi表示分解式的第i项,νl表示目标属于第1类的先验概率,πl表示第1类的Bernoulli分布的参数,Ber(zij|πlj)表示第i个任务的第j个支撑向量服从的二维分布,p(vl)表示目标属于第1类的先验概率分布。
步骤2.3,从属于Exponential Family概率分布中选择互相共轭的分布,以确定近似分布的形式,其具体表达式如下:
q1(xi)=N(xi|mi1,∑i1)
其中,q1(xi)表示f1(xi)的近似分布,∑i1表示q1(xi)的协方差矩阵,mi1表示q1(xi)的均值向量,q2(xi,zi)表示f2(xi,zi)的近似分布,∑i2表示q2(xi,zi)中高斯分布协方差矩阵,mi2表示q2(xi,zi)中高斯分布的均值向量,μi1j表示q2(xi,zi)中Bernoulli分布的参数,q3(zi,fi,vl,πl)表示f3(zi,fi,vl,πl)的近似分布,μi2j表示q3(zi,fi,vl,πl)中Bernoulli分布的参数,cil和dil表示q3(zi,fi,υl,πl)中υl服从的Beta分布参数,ail和bil表示q3(zi,fi,vl,πl)中πlj服从的Beta分布参数,wil表示q3(zi,fi,vl,πl)中fi服从的离散分布参数。
步骤7,更新联合近似参数mi,∑i,μij,alj,blj,cl,dl,wi。
步骤8,收敛条件为满足时候,重复步骤,4-7,否则,停止重复,模型参数收敛至最优值。
步骤9对应mi即重构出的信号,wi即为该信号的类别的后验分布概率。
优选的:步骤3中所述初始化模型近似概率分布qa,a=1,2,3和Q的方法如下:
mi1=mi2=0
∑i1=∑i2=∞
μi1j=μi2j=0.5
ail=cilj=1
其中,a=K,b=1。
其中
mi1=(mi11,mi12,...,mi1K)T
∑i1=diag(∑i11,∑i12,...,∑i1K)。
步骤5.1,计算cavity分布:
积分得到边缘分布:
p(xij,zij)=N(xij|mij \2j,∑ij \2j)Ber(zij|μij \2j)
步骤5.2,计算归一化常数:
步骤5.3,最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,矩量匹配得到参数的更新表达式:
步骤6.1,计算cavity分布参数:
步骤6.2,计算归一化常数:
步骤6.3,矩量匹配
优选的:步骤8中收敛条件为参数前后更新误差不小于1e-5。
本发明相比现有技术,具有以下有益效果:
1)本方法通过引入“spike and slab”和“Dirichlet Process”先验分布,构造了一种基于多任务稀疏结构聚类的贝叶斯生成模型,充分挖掘了信号间潜在的稀疏结构相似信息。与传统方法如多任务稀疏重建,本方法引入的“spike and slab”和“DirichletProcess”先验分布假设使得重构信号更加接近原信号的真实分布和真实聚类信息,从而获得更好的重构性能。
2)本方法基于期望传播算法,不同于传统方法,本算法使用迭代的方法,在每一步都优化一个子式的分布,使得近似分布更加接近真实后验分布,大大减少了计算量,加快了运行速度。得益于这些优点,本方法可以有效改善信号的稀疏重构均方误差,减少重构原信号所需的观测数与运行速度,具有更强的抗噪声能力,并能基于信号的稀疏结构特性对任务进行自主聚类,且无需事先设置类别数。
附图说明
图1为本发明方法的流程图;
图2为实施例1中用本发明方法重构出的稀疏信号与原信号的对比图;
图3为实施例1中本发明方法给出的不同信号聚类类别情况;
图4为实施例2中本发明方法与现有方法在不同观测值下重构误差的对比。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例1:
一种基于期望传播的多任务稀疏重构和聚类方法,如图1所示,包括以下步骤:
步骤1,引入“spike and slab”和Dirichlet Process先验概率分布,构造具有多任务稀疏结构聚类的贝叶斯生成模型:
yi=Dxi+εi
fi~Discrete(β1,β2,...,βL)
vh~Beta(1,λ)
其中,yi表示P维观测向量,D为P×K维观测矩阵,xi为K维向量,且P<<K,εi表示K维观测噪声,N(·)为高斯分布,δ(·)为Dirac delta函数,该函数在原点处有一冲激,其余地方均为0,zi是服从Bernoulli分布的二元变量,下标i表示第i个任务,zij表示向量zi的第j个元素,xij表示向量xi的第j个元素,参数πi为Bernoulli分布参数,在参数πi上引入Dirichlet Process并使用sticking breaking构造形式构造,其中,uh表示第h次从原来长度为1的绳子剩余部分截取的长度,βl表示任务属于第l类的先验概率,下标l表示第l类,λ表示uh服从的Beta分布的超参数,a和b表示π1服从的Beta分布的超参数,G0表示Dirichlet过程的基础分布。引入该过程揭示多任务在其稀疏结构的聚类特性,并基于类间的分享提高信号的重构精度。
本实施例中,选用70×128维的观测矩阵,128×1维的稀疏向量,稀疏向量共分为5类,每类10个样例,每个稀疏向量均包含20个非0值。每个类中,不同样例仅有两个非零元素的位置不同。而不同类中,任意两个样例的20个非零元素出现的位置均不相同。模型超参数设置选择为:τ0为1,σ0为0.01。
步骤2,使用期望传播(Expectation Propagation)方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布(Exponential Family)的参数优化问题。
步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法:
步骤2.1,关于模型参数后验概率分布满足如下关系:
其中,r={σ0,τ0,a,b,λ,L}表示模型已知的超参数,{yi}i=1,2...M表示需要重构的M个信号,H={{xi}i=1,2...M,{zi}i=1,2...M,{πl}i=1,2...L,{vl}l=1,2...L}为需要求解其后验分布的模型参数,Y表示{yi}i=1.2...N,p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目,即多任务聚类的先验类别总数。
根据贝叶斯准则,求得隐变量H的后验分布为:
其中,Z为边缘概率分布p(Y),
步骤2.2,将式(1)分解为3项:
其中,f1(xi)表示P(yi|xi),N(·)表示高斯分布,σ表示噪声服从的高斯分布协方差矩阵参数,I表示单位矩阵,f2(xi,zi)表示P(xi|zi),τ0表示信号服从的高斯分布的方差参数,f2.j(xij,zij)表示f2(xi,zi)的第j项,xij表示向量xi的第j项,zij表示向量zi的第j项,f3(zi,fi,vl,πl)表示fi表示分解式的第i项,νl表示目标属于第l类的先验概率,πl表示第l类的Bernoulli分布的参数,Ber(zij|πlj)表示第i个任务的第j个支撑向量服从的二维分布,p(vl)表示目标属于第l类的先验概率分布。
步骤2.3,从属于指数类(Exponential Family)概率分布中选择互相共轭的分布,以确定近似分布的形式,其具体表达式如下:
q1(xi)=N(xi|mi1,∑i1)
其中,q1(xi)表示f1(xi)的近似分布,∑i1表示q1(xi)的协方差矩阵,mi1表示q1(xi)的均值向量,q2(xi,zi)表示f2(xi,zi)的近似分布,∑i2表示q2(xi,zi)中高斯分布协方差矩阵,mi2表示q2(xi,zi)中高斯分布的均值向量,μi1j表示q2(xj,zi)中Bernoulli分布的参数,q3(zi,fi,vl,πl)表示f3(zi,fi,vl,πl)的近似分布,μi2j表示q3(zi,fi,vl,πl)中Bernoulli分布的参数,cil和dil表示q3(zi,fi,υl,πl)中υl服从的Beta分布参数,ail和bil表示q3(zi,fi,vl,πl)中πlj服从的Beta分布参数,wil表示q3(zi,fi,vl,πl)中fi服从的离散分布参数。
步骤3,初始模型近似概率分布,qa,a=1,2,3和Q,qa表示第a个近似分布,下标a表示第a个近似分布:
mi1=mi2=0
∑i1=∑i2=∞
μi1j=μi2j=0.5
ail=cilj=1
其中,a=K,b=1。。
步骤4,对每个q1j,计算其cavity分布最小化KL(q1jQ\1j||Qnew)w.r.t.Qnew,计算以更新参数mi1j,∑i1j,其中,Qnew表示表示更新后的近似分布,即Q。可通过线性高斯模型得到其参数更新表达式:
其中
mi1=(mi11,mi12,...,mi1K)T
∑i1=diag(∑i11,∑i12,...,∑i1K)。
步骤5,对每个q2j,计算其cavity分布最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,计算以更新参数mi2j,∑i2j,μi1j,通过参数的矩量匹配,得到参数的更新表达式,其过程为:
步骤5.1,计算cavity分布:
积分得到边缘分布:
p(xij,zij)=N(xij|mij \2j,∑ij \2j)Ber(zij|μij \2j)
步骤5.2,计算归一化常数:
步骤5.3,最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,矩量匹配得到参数的更新表达式:
步骤6.1,计算cavity分布参数:
步骤6.2,计算归一化常数:
步骤6.3,矩量匹配
步骤7,更新联合近似参数mi,∑i,μij,alj,bli,cl,dl,wi。
步骤8,收敛条件为满足时候,重复步骤,4-7,否则,停止重复,模型参数收敛至最优值。收敛条件为参数前后更新误差不小于1e-5。
步骤9对应mi即重构出的信号,wi即为该信号的类别的后验分布概率。
图2给出了本实例中其中一个原信号与其重构信号的对比图,其中实线表示原信号,虚线表示重构信号。从图中可以看到,实线与虚线高度重合,说明本发明公开的信号重构方法可以有效的对具有稀疏结构聚类特性的信号重构。
图3给出了本实施例中所示信号重构方法给出的不同稀疏结构的信号的分类情况,可以看出,具有相似0和非0位置的信号均被本发明的方法成功聚类,这是其他多任务稀疏重建方法所不具备的能力。
本实例主要对比了本发明公开的一种基于期望传播的多任务稀疏重构和聚类方法与现有其它组稀疏信号重构方法在不同观测数量下的均方误差,除信噪比恒为20dB且观测数量不断变化外,其余参数设置均与实施例1相同。如图4所示,横轴表示观测数量,纵轴表示均方误差,各条折线所对应的信号重构方法名称如图中所示。本方法在利用不同类别稀疏信号类间信息延续特性,从而大幅提高信号的重建精度。从图中可以看出,本发明公开的方法的均方误差显著低于其余方法。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于期望传播的多任务稀疏重构和聚类方法,其特征在于,包括以下步骤:
步骤1,引入“spike and slab”和Dirichlet Process先验概率分布,构造具有多任务稀疏结构聚类的贝叶斯生成模型:
yi=Dxi+εi
fi~Discrete(β1,β2,...,βL)
vh~Beta(1,λ)
其中,yi表示P维观测向量,D为P×K维观测矩阵,xi为K维向量,且P<<K,εi表示K维观测噪声,N(·)为高斯分布,δ(·)为狄拉克函数,该函数在原点处有一冲激,其余地方均为0,zi是服从Bernoulli分布的二元变量,下标i表示第i个任务,zij表示向量zi的第j个元素,xij表示向量xi的第j个元素,参数πi为Bernoulli分布参数,在参数πi上引入Dirichlet过程并使用sticking breaking构造形式构造,其中,vh表示第h次从原来长度为1的绳子剩余部分截取的长度,βl表示任务属于第l类的先验概率,下标l表示第l类,λ表示υh服从的Beta分布的超参数,a和b表示πl服从的Beta分布的超参数,G0表示Dirichlet过程的基础分布;
步骤2,使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题;
步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法:
步骤2.1,关于模型参数后验概率分布满足如下关系:
其中,r={σ0,τ0,a,b,λ,L}表示模型已知的超参数,{yi}i=1,2...M表示需要重构的M个信号,H={{xi}i=1,2,...M,{zi}i=1,2...M,{πl}i=1,2...L,{vl}l=1,2...L}为需要求解其后验分布的模型参数,Y表示{yi}i=1,2...M,p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目,即多任务聚类的先验类别总数;
根据贝叶斯准则,求得隐变量H的后验分布为:
其中,Z为边缘概率分布p(Y),
步骤2.2,将式(1)分解为3项:
步骤2.3,从属于指数类概率分布中选择互相共轭的分布,以确定近似分布的形式,其具体表达式如下:
q1(xi)=N(xi|mi1,∑i1)
其中,q1(xi)表示f1(xi)的近似分布,Σi1表示q1(xi)的协方差矩阵,mi1表示q1(xi)的均值向量,q2(xi,zi)表示f2(xi,zi)的近似分布,Σi2表示q2(xi,zi)中高斯分布协方差矩阵,mi2表示q2(xi,zi)中高斯分布的均值向量,μi1j表示q2(xj,zi)中Bernoulli分布的参数,q3(zi,fi,vl,πl)表示f3(zi,fi,υl,πl)的近似分布,μi2j表示q3(zi,fi,vl,πl)中Bernoulli分布的参数,cil和dil表示q3(zi,fi,vl,πl)中vl服从的Beta分布参数,ail和bil表示q3(zi,fi,vl,πl)中πlj服从的Beta分布参数,wil表示q3(zi,fi,vl,πl)中fi服从的离散分布参数;
步骤7,更新联合近似参数mi,∑i,μij,alj,blj,cl,dl,wi;
步骤8,收敛条件为满足时候,重复步骤,4-7,否则,停止重复,模型参数收敛至最优值;
步骤9对应mi即重构出的信号,wi即为该信号的类别的后验分布概率。
6.根据权利要求5所述基于期望传播的多任务稀疏重构和聚类方法,其特征在于:步骤8中收敛条件为参数前后更新误差不小于1e-5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110407828.9A CN113111313B (zh) | 2021-04-15 | 2021-04-15 | 一种基于期望传播的多任务稀疏重构和聚类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110407828.9A CN113111313B (zh) | 2021-04-15 | 2021-04-15 | 一种基于期望传播的多任务稀疏重构和聚类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113111313A true CN113111313A (zh) | 2021-07-13 |
CN113111313B CN113111313B (zh) | 2024-03-12 |
Family
ID=76717502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110407828.9A Active CN113111313B (zh) | 2021-04-15 | 2021-04-15 | 一种基于期望传播的多任务稀疏重构和聚类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111313B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130151441A1 (en) * | 2011-12-13 | 2013-06-13 | Xerox Corporation | Multi-task learning using bayesian model with enforced sparsity and leveraging of task correlations |
CN107483056A (zh) * | 2017-08-07 | 2017-12-15 | 电子科技大学 | 变分贝叶斯推理下信号自适应聚类和智能重构方法 |
CN109547029A (zh) * | 2018-11-05 | 2019-03-29 | 东南大学 | 一种基于组稀疏结构的自适应匹配追踪信号重构方法 |
-
2021
- 2021-04-15 CN CN202110407828.9A patent/CN113111313B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130151441A1 (en) * | 2011-12-13 | 2013-06-13 | Xerox Corporation | Multi-task learning using bayesian model with enforced sparsity and leveraging of task correlations |
CN107483056A (zh) * | 2017-08-07 | 2017-12-15 | 电子科技大学 | 变分贝叶斯推理下信号自适应聚类和智能重构方法 |
CN109547029A (zh) * | 2018-11-05 | 2019-03-29 | 东南大学 | 一种基于组稀疏结构的自适应匹配追踪信号重构方法 |
Non-Patent Citations (2)
Title |
---|
QISONG WU等: "Structured Bayesian compressive sensing exploiting dirichlet process priors", SIGNAL PROCESSING, vol. 201, no. 108680, pages 1 - 15 * |
YIN FU等: "Multi-Task Sparse Signal Recovery with Dirichlet Process Priors Based on Expectation Propagation Technique", 2022 7TH INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING, pages 195 - 199 * |
Also Published As
Publication number | Publication date |
---|---|
CN113111313B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110728360B (zh) | 一种基于bp神经网络的微能源器件能量识别方法 | |
Kuptametee et al. | A review of resampling techniques in particle filtering framework | |
Errington et al. | Application of artificial neural networks to chromosome classification | |
CN109389166A (zh) | 基于局部结构保存的深度迁移嵌入聚类机器学习方法 | |
CN110956312B (zh) | 基于emd-cnn深度神经网络的光伏配电网电压预测方法 | |
CN109583635B (zh) | 一种面向运行可靠性的短期负荷预测建模方法 | |
CN110766084B (zh) | 基于cae与hl-cnn的小样本sar目标识别方法 | |
Qiu et al. | A sparse fuzzy c-means algorithm based on sparse clustering framework | |
CN111506868B (zh) | 一种基于hht权值优化的超短期风速预测方法 | |
CN110335160B (zh) | 一种基于分组和注意力改进Bi-GRU的就医迁移行为预测方法及系统 | |
CN112966544B (zh) | 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法 | |
CN113111313A (zh) | 一种基于期望传播的多任务稀疏重构和聚类方法 | |
Jakaria et al. | Comparison of classification of birds using lightweight deep convolutional neural networks | |
CN111798531B (zh) | 一种应用于植株监测的图像深度卷积压缩感知重构方法 | |
Baras et al. | Combined compression and classification with learning vector quantization | |
CN115017934B (zh) | 种群熵量子雷莫拉鱼搜索机制的欠定盲源分离方法 | |
CN114004295B (zh) | 一种基于对抗增强的小样本图像数据拓展方法 | |
Sajama et al. | Semi-parametric exponential family PCA | |
Ali et al. | A review of calibration methods for biometric systems in forensic applications | |
Cai et al. | Real-Time Classification of Disaster Images from Social Media with a Self-Supervised Learning Framework | |
CN113126052A (zh) | 基于逐级分段训练的高分辨距离像目标识别在线建库方法 | |
CN113269024A (zh) | 顾及极化统计特性的非监督域自适应网络极化sar地物分类方法及设备 | |
Thomas et al. | Generalised Bayes Updates with $ f $-divergences through Probabilistic Classifiers | |
Wang et al. | A novel genetic algorithim based on immunity | |
Li et al. | Continuous optimization based-on boosting Gaussian mixture model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |