CN113111313A - 一种基于期望传播的多任务稀疏重构和聚类方法 - Google Patents

一种基于期望传播的多任务稀疏重构和聚类方法 Download PDF

Info

Publication number
CN113111313A
CN113111313A CN202110407828.9A CN202110407828A CN113111313A CN 113111313 A CN113111313 A CN 113111313A CN 202110407828 A CN202110407828 A CN 202110407828A CN 113111313 A CN113111313 A CN 113111313A
Authority
CN
China
Prior art keywords
distribution
parameter
denotes
calculating
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110407828.9A
Other languages
English (en)
Other versions
CN113111313B (zh
Inventor
武其松
付银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110407828.9A priority Critical patent/CN113111313B/zh
Publication of CN113111313A publication Critical patent/CN113111313A/zh
Application granted granted Critical
Publication of CN113111313B publication Critical patent/CN113111313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于期望传播的多任务稀疏重构和聚类方法,1)通过引入“spikeand slab”和“Dirichlet Process”先验概率分布,构造一种具有多任务稀疏结构聚类的贝叶斯生成模型;(2)使用期望传播技术,将上述模型参数后验分布求解问题转换所选指数类分布的参数优化问题;(3)初始模型近似概率分布,(4)对每个q1j、q2j、q3j,分别计算其cavity分布,以更新对应参数,模型参数收敛至最优值时停止,本发明可以显著降低信号重构误差,具有更强的抗噪声能力,并能基于信号的稀疏结构特性对任务进行自主聚类,且无需事先设置类别数。

Description

一种基于期望传播的多任务稀疏重构和聚类方法
技术领域
本发明属于信号处理压缩感知领域,具体涉及一种多任务稀疏重构和聚类方法。
背景技术
20世纪以来,稀疏性在信号重建和压缩感知领域掀起巨大的浪潮,吸引了无数的科研人员和工程师相继投入研究。在信号稀疏的条件下,压缩感知技术就可以通过较少的测量,以很高的精度重建原始信号。特别是处于现今的信息大爆炸时代,稀疏信号重构能够压缩数据,去除冗余信息,这使得它在雷达成像,射电天文学,字典学习,图片降噪,图片分类等领域得到广泛的应用。
稀疏重构的方法就是使用远少于原始测量数据条件下重建信号。针对这一问题,研究人员相继提出了各种压缩感知重构方法。比如基于贪婪策略的匹配追踪算法,基于优化的LASSO方法等。贝叶斯压缩感知方法作为稀疏重构方法中的一种,由于其优异的重构性能越来越多引起了研究者的关注。
研究人员发现,自然界中的不同原始信号往往具有大量的重复性信息,如果利用好这些重复性信息可以进一步提高信号的压缩比,即以更少的观测量,以更高的精度重建原始信号。这种重复性一方面体现在单一信号中,连续位置的信号值往往具有延续性,为了利用这一信息,人们提出了组稀疏的概念,著名的重构方法有组对称匹配追踪法,组LASSO法等。另外一方面,不同信号的对应位置的信号也具有延续性,基于这一点,科研人员提出了多任务稀疏重构方法,包括MT-CS方法,DP-MTCS方法。
目前存在多种技术给信号施加约束,以限制信号重构的稀疏性,“spike andslab”先验概率分布就是其中之一,它是一种典型的混合概率分布。“spike and slab”在概率论角度很好地描述了信号的稀疏性特性,被誉为保证稀疏性的“黄金”先验。
目前以存在的多任务稀疏重建方法中,大多默认多个信号的稀疏结构相似,因此利用全部信号的信息延续性提高重建精度。然而在实际问题中是不现实的,很多情况下,多个信号往往具有几种不同的稀疏结构,这时仍然利用全部信号信息分享重构信号不仅无法提高重建精度,还会导致性能的急剧下降。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种基于期望传播的多任务稀疏重构和聚类方法,利用同类任务具有信息共享的策略,在利用“spike and slab”先验概率模型实现多任务稀疏重构的同时,进一步引入“Dirichlet”过程自主学习多任务间的聚类。本发明可以显著降低信号重构误差,具有更强的抗噪声能力,并能基于信号的稀疏结构特性对任务进行自主聚类,且无需事先设置类别数。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于期望传播的多任务稀疏重构和聚类方法,包括以下步骤:
步骤1,引入“spike and slab”和Dirichlet过程先验概率分布,构造具有多任务稀疏结构聚类的贝叶斯生成模型:
yi=Dxii
Figure BDA0003023012110000021
Figure BDA0003023012110000022
fi~Disc rete(β1,β2,...,βL)
Figure BDA0003023012110000023
Figure BDA0003023012110000024
vh~Beta(1,λ)
Figure BDA0003023012110000025
其中,yi表示P维观测向量,D为P×K维观测矩阵,xi为K维向量,且P<<K,εi表示K维观测噪声,N(·)为高斯分布,δ(·)为狄拉克函数,该函数在原点处有一冲激,其余地方均为0,zi是服从Bernoulli分布的二元变量,下标i表示第i个任务,zij表示向量zi的第j个元素,xij表示向量xi的第j个元素,参数πi为Bernoulli分布参数,在参数πi上引入Dirichlet过程并使用sticking breaking构造形式构造,其中,vh表示第h次从原来长度为1的绳子剩余部分截取的长度,βl表示任务属于第l类的先验概率,下标l表示第l类,λ表示vh服从的Beta分布的超参数,a和b表示πl服从的Beta分布的超参数,G0表示Dirichlet过程的基础分布。
步骤2,使用期望传播方法(Expectation Propagation)将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类(Exponential Family)分布的参数优化问题。
步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法:
步骤2.1,关于模型参数后验概率分布满足如下关系:
Figure BDA0003023012110000031
其中,r={σ0,τ0,a,b,λ,L}表示模型已知的超参数,{yi}i=1,2...M表示需要重构的M个信号,H={{xi}i=1,2...M,{zi}i=1,2...M,{πl}i=1,2...L,{vl}l=1,2...L}为需要求解其后验分布的模型参数,Y表示{yi}i=1,2...M,p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目,即多任务聚类的先验类别总数。
根据贝叶斯准则,求得隐变量H的后验分布为:
Figure BDA0003023012110000032
其中,Z为边缘概率分布p(Y),
步骤2.2,将式(1)分解为3项:
Figure BDA0003023012110000033
Figure BDA0003023012110000034
Figure BDA0003023012110000035
其中,f1(xi)表示P(yi|xi),N(·)表示高斯分布,σ表示噪声服从的高斯分布的协方差矩阵参数,I表示单位矩阵,f2(xi,zi)表示P(xi|zi),τ0表示真实信号服从高斯分布的方差参数,f2.j(xij,zij)表示f2(xi,zi)的第j项,xij表示向量xi的第j项,zij表示向量zi的第j项,f3(zi,fi,vl,πl)表示
Figure BDA0003023012110000041
fi表示分解式的第i项,νl表示目标属于第1类的先验概率,πl表示第1类的Bernoulli分布的参数,Ber(zijlj)表示第i个任务的第j个支撑向量服从的二维分布,p(vl)表示目标属于第1类的先验概率分布。
步骤2.3,从属于Exponential Family概率分布中选择互相共轭的分布,以确定近似分布的形式,其具体表达式如下:
q1(xi)=N(xi|mi1,∑i1)
Figure BDA0003023012110000042
Figure BDA0003023012110000043
其中,q1(xi)表示f1(xi)的近似分布,∑i1表示q1(xi)的协方差矩阵,mi1表示q1(xi)的均值向量,q2(xi,zi)表示f2(xi,zi)的近似分布,∑i2表示q2(xi,zi)中高斯分布协方差矩阵,mi2表示q2(xi,zi)中高斯分布的均值向量,μi1j表示q2(xi,zi)中Bernoulli分布的参数,q3(zi,fi,vl,πl)表示f3(zi,fi,vl,πl)的近似分布,μi2j表示q3(zi,fi,vl,πl)中Bernoulli分布的参数,cil和dil表示q3(zi,fi,υl,πl)中υl服从的Beta分布参数,ail和bil表示q3(zi,fi,vl,πl)中πlj服从的Beta分布参数,wil表示q3(zi,fi,vl,πl)中fi服从的离散分布参数。
步骤3,初始模型近似概率分布,qa,a=1,2,3和Q,qa表示第a个近似分布,下标a表示第a个近似分布,
Figure BDA0003023012110000044
步骤4,对每个q1j,计算其cavity分布
Figure BDA0003023012110000045
最小化KL(q1jQ\1j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000051
以更新参数mi1j,∑i1j,其中,Qnew表示表示更新后的近似分布,即Q。
步骤5,对每个q2j,计算其cavity分布
Figure BDA0003023012110000052
最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000053
以更新参数mi2j,∑i2j,μi1j
步骤6,对每个q3j,计算其cavity分布
Figure BDA0003023012110000054
最小化KL(q3jQ\3j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000055
以更新参数ailj,bilj,cil,dil,μi2jwil
步骤7,更新联合近似参数mi,∑i,μij,alj,blj,cl,dl,wi
Figure BDA0003023012110000056
Figure BDA0003023012110000057
Figure BDA0003023012110000058
步骤8,收敛条件为满足时候,重复步骤,4-7,否则,停止重复,模型参数收敛至最优值。
步骤9对应mi即重构出的信号,wi即为该信号的类别的后验分布概率。
优选的:步骤3中所述初始化模型近似概率分布qa,a=1,2,3和Q的方法如下:
mi1=mi2=0
i1=∑i2=∞
μi1j=μi2j=0.5
ail=cilj=1
Figure BDA0003023012110000059
Figure BDA00030230121100000510
其中,a=K,b=1。
优选的:步骤4中所述对每个q1j,计算其cavity分布
Figure BDA00030230121100000511
最小化KL(q1jQ\1j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000061
以更新参数mi1j,∑i1j的方法:
Figure BDA0003023012110000062
Figure BDA0003023012110000063
其中
mi1=(mi11,mi12,...,mi1K)T
i1=diag(∑i11,∑i12,...,∑i1K)。
优选的:步骤5中对每个q2j,计算其cavity分布
Figure BDA0003023012110000064
最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000065
以更新参数mi2j,∑i2j,μi1j的方法:
步骤5.1,计算cavity分布:
Figure BDA0003023012110000066
积分得到边缘分布:
p(xij,zij)=N(xij|mij \2j,∑ij \2j)Ber(zijij \2j)
步骤5.2,计算归一化常数:
Figure BDA0003023012110000067
步骤5.3,最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,矩量匹配得到参数的更新表达式:
Figure BDA0003023012110000071
Figure BDA0003023012110000072
Figure BDA0003023012110000073
Figure BDA0003023012110000074
Figure BDA0003023012110000075
Figure BDA0003023012110000076
优选的:步骤6中对每个q3j,计算其cavity分布
Figure BDA0003023012110000077
最小化KL(q3jQ\3j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000078
以更新参数ailj,bilj,cil,dil,μi2j,wil的方法:
步骤6.1,计算cavity分布参数:
Figure BDA0003023012110000079
Figure BDA00030230121100000710
Figure BDA00030230121100000812
Figure BDA00030230121100000813
步骤6.2,计算归一化常数:
Figure BDA0003023012110000081
步骤6.3,矩量匹配
Figure BDA0003023012110000082
Figure BDA0003023012110000083
Figure BDA0003023012110000084
Figure BDA0003023012110000085
Figure BDA0003023012110000086
Figure BDA0003023012110000087
Figure BDA0003023012110000088
Figure BDA0003023012110000089
Figure BDA00030230121100000810
Figure BDA00030230121100000811
优选的:步骤8中收敛条件为参数前后更新误差不小于1e-5。
本发明相比现有技术,具有以下有益效果:
1)本方法通过引入“spike and slab”和“Dirichlet Process”先验分布,构造了一种基于多任务稀疏结构聚类的贝叶斯生成模型,充分挖掘了信号间潜在的稀疏结构相似信息。与传统方法如多任务稀疏重建,本方法引入的“spike and slab”和“DirichletProcess”先验分布假设使得重构信号更加接近原信号的真实分布和真实聚类信息,从而获得更好的重构性能。
2)本方法基于期望传播算法,不同于传统方法,本算法使用迭代的方法,在每一步都优化一个子式的分布,使得近似分布更加接近真实后验分布,大大减少了计算量,加快了运行速度。得益于这些优点,本方法可以有效改善信号的稀疏重构均方误差,减少重构原信号所需的观测数与运行速度,具有更强的抗噪声能力,并能基于信号的稀疏结构特性对任务进行自主聚类,且无需事先设置类别数。
附图说明
图1为本发明方法的流程图;
图2为实施例1中用本发明方法重构出的稀疏信号与原信号的对比图;
图3为实施例1中本发明方法给出的不同信号聚类类别情况;
图4为实施例2中本发明方法与现有方法在不同观测值下重构误差的对比。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例1:
一种基于期望传播的多任务稀疏重构和聚类方法,如图1所示,包括以下步骤:
步骤1,引入“spike and slab”和Dirichlet Process先验概率分布,构造具有多任务稀疏结构聚类的贝叶斯生成模型:
yi=Dxii
Figure BDA0003023012110000091
Figure BDA0003023012110000092
fi~Discrete(β1,β2,...,βL)
Figure BDA0003023012110000101
Figure BDA0003023012110000102
vh~Beta(1,λ)
Figure BDA0003023012110000103
其中,yi表示P维观测向量,D为P×K维观测矩阵,xi为K维向量,且P<<K,εi表示K维观测噪声,N(·)为高斯分布,δ(·)为Dirac delta函数,该函数在原点处有一冲激,其余地方均为0,zi是服从Bernoulli分布的二元变量,下标i表示第i个任务,zij表示向量zi的第j个元素,xij表示向量xi的第j个元素,参数πi为Bernoulli分布参数,在参数πi上引入Dirichlet Process并使用sticking breaking构造形式构造,其中,uh表示第h次从原来长度为1的绳子剩余部分截取的长度,βl表示任务属于第l类的先验概率,下标l表示第l类,λ表示uh服从的Beta分布的超参数,a和b表示π1服从的Beta分布的超参数,G0表示Dirichlet过程的基础分布。引入该过程揭示多任务在其稀疏结构的聚类特性,并基于类间的分享提高信号的重构精度。
本实施例中,选用70×128维的观测矩阵,128×1维的稀疏向量,稀疏向量共分为5类,每类10个样例,每个稀疏向量均包含20个非0值。每个类中,不同样例仅有两个非零元素的位置不同。而不同类中,任意两个样例的20个非零元素出现的位置均不相同。模型超参数设置选择为:τ0为1,σ0为0.01。
步骤2,使用期望传播(Expectation Propagation)方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布(Exponential Family)的参数优化问题。
步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法:
步骤2.1,关于模型参数后验概率分布满足如下关系:
Figure BDA0003023012110000111
其中,r={σ0,τ0,a,b,λ,L}表示模型已知的超参数,{yi}i=1,2...M表示需要重构的M个信号,H={{xi}i=1,2...M,{zi}i=1,2...M,{πl}i=1,2...L,{vl}l=1,2...L}为需要求解其后验分布的模型参数,Y表示{yi}i=1.2...N,p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目,即多任务聚类的先验类别总数。
根据贝叶斯准则,求得隐变量H的后验分布为:
Figure BDA0003023012110000112
其中,Z为边缘概率分布p(Y),
步骤2.2,将式(1)分解为3项:
Figure BDA0003023012110000113
Figure BDA0003023012110000114
Figure BDA0003023012110000115
其中,f1(xi)表示P(yi|xi),N(·)表示高斯分布,σ表示噪声服从的高斯分布协方差矩阵参数,I表示单位矩阵,f2(xi,zi)表示P(xi|zi),τ0表示信号服从的高斯分布的方差参数,f2.j(xij,zij)表示f2(xi,zi)的第j项,xij表示向量xi的第j项,zij表示向量zi的第j项,f3(zi,fi,vl,πl)表示
Figure BDA0003023012110000116
fi表示分解式的第i项,νl表示目标属于第l类的先验概率,πl表示第l类的Bernoulli分布的参数,Ber(zijlj)表示第i个任务的第j个支撑向量服从的二维分布,p(vl)表示目标属于第l类的先验概率分布。
步骤2.3,从属于指数类(Exponential Family)概率分布中选择互相共轭的分布,以确定近似分布的形式,其具体表达式如下:
q1(xi)=N(xi|mi1,∑i1)
Figure BDA0003023012110000121
Figure BDA0003023012110000122
其中,q1(xi)表示f1(xi)的近似分布,∑i1表示q1(xi)的协方差矩阵,mi1表示q1(xi)的均值向量,q2(xi,zi)表示f2(xi,zi)的近似分布,∑i2表示q2(xi,zi)中高斯分布协方差矩阵,mi2表示q2(xi,zi)中高斯分布的均值向量,μi1j表示q2(xj,zi)中Bernoulli分布的参数,q3(zi,fi,vl,πl)表示f3(zi,fi,vl,πl)的近似分布,μi2j表示q3(zi,fi,vl,πl)中Bernoulli分布的参数,cil和dil表示q3(zi,fi,υl,πl)中υl服从的Beta分布参数,ail和bil表示q3(zi,fi,vl,πl)中πlj服从的Beta分布参数,wil表示q3(zi,fi,vl,πl)中fi服从的离散分布参数。
步骤3,初始模型近似概率分布,qa,a=1,2,3和Q,qa表示第a个近似分布,下标a表示第a个近似分布:
mi1=mi2=0
i1=∑i2=∞
μi1j=μi2j=0.5
ail=cilj=1
Figure BDA0003023012110000123
Figure BDA0003023012110000124
其中,a=K,b=1。。
步骤4,对每个q1j,计算其cavity分布
Figure BDA0003023012110000131
最小化KL(q1jQ\1j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000132
以更新参数mi1j,∑i1j,其中,Qnew表示表示更新后的近似分布,即Q。可通过线性高斯模型得到其参数更新表达式:
Figure BDA0003023012110000133
Figure BDA0003023012110000134
其中
mi1=(mi11,mi12,...,mi1K)T
i1=diag(∑i11,∑i12,...,∑i1K)。
步骤5,对每个q2j,计算其cavity分布
Figure BDA0003023012110000135
最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000136
以更新参数mi2j,∑i2j,μi1j,通过参数的矩量匹配,得到参数的更新表达式,其过程为:
步骤5.1,计算cavity分布:
Figure BDA0003023012110000137
积分得到边缘分布:
p(xij,zij)=N(xij|mij \2j,∑ij \2j)Ber(zijij \2j)
步骤5.2,计算归一化常数:
Figure BDA0003023012110000138
步骤5.3,最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,矩量匹配得到参数的更新表达式:
Figure BDA0003023012110000141
Figure BDA0003023012110000142
Figure BDA0003023012110000143
Figure BDA0003023012110000144
Figure BDA0003023012110000145
步骤6,对每个q3j,计算其cavity分布
Figure BDA0003023012110000146
最小化KL(q3jQ\3j||Qnew)w.r.t.Qnew,计算
Figure BDA0003023012110000147
以更新参数ailj,bilj,cil,dil,μi2j,wil,具体方法如下:
步骤6.1,计算cavity分布参数:
Figure BDA0003023012110000148
Figure BDA0003023012110000149
Figure BDA0003023012110000151
Figure BDA0003023012110000152
步骤6.2,计算归一化常数:
Figure BDA0003023012110000153
步骤6.3,矩量匹配
Figure BDA0003023012110000154
Figure BDA0003023012110000155
Figure BDA0003023012110000156
Figure BDA0003023012110000157
Figure BDA0003023012110000158
Figure BDA0003023012110000159
Figure BDA00030230121100001510
Figure BDA00030230121100001511
Figure BDA00030230121100001512
Figure BDA00030230121100001513
步骤7,更新联合近似参数mi,∑i,μij,alj,bli,cl,dl,wi
Figure BDA00030230121100001514
Figure BDA00030230121100001515
Figure BDA00030230121100001516
步骤8,收敛条件为满足时候,重复步骤,4-7,否则,停止重复,模型参数收敛至最优值。收敛条件为参数前后更新误差不小于1e-5。
步骤9对应mi即重构出的信号,wi即为该信号的类别的后验分布概率。
图2给出了本实例中其中一个原信号与其重构信号的对比图,其中实线表示原信号,虚线表示重构信号。从图中可以看到,实线与虚线高度重合,说明本发明公开的信号重构方法可以有效的对具有稀疏结构聚类特性的信号重构。
图3给出了本实施例中所示信号重构方法给出的不同稀疏结构的信号的分类情况,可以看出,具有相似0和非0位置的信号均被本发明的方法成功聚类,这是其他多任务稀疏重建方法所不具备的能力。
本实例主要对比了本发明公开的一种基于期望传播的多任务稀疏重构和聚类方法与现有其它组稀疏信号重构方法在不同观测数量下的均方误差,除信噪比恒为20dB且观测数量不断变化外,其余参数设置均与实施例1相同。如图4所示,横轴表示观测数量,纵轴表示均方误差,各条折线所对应的信号重构方法名称如图中所示。本方法在利用不同类别稀疏信号类间信息延续特性,从而大幅提高信号的重建精度。从图中可以看出,本发明公开的方法的均方误差显著低于其余方法。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于期望传播的多任务稀疏重构和聚类方法,其特征在于,包括以下步骤:
步骤1,引入“spike and slab”和Dirichlet Process先验概率分布,构造具有多任务稀疏结构聚类的贝叶斯生成模型:
yi=Dxii
Figure FDA0003023012100000011
Figure FDA0003023012100000012
fi~Discrete(β1,β2,...,βL)
Figure FDA0003023012100000013
Figure FDA0003023012100000014
vh~Beta(1,λ)
Figure FDA0003023012100000015
其中,yi表示P维观测向量,D为P×K维观测矩阵,xi为K维向量,且P<<K,εi表示K维观测噪声,N(·)为高斯分布,δ(·)为狄拉克函数,该函数在原点处有一冲激,其余地方均为0,zi是服从Bernoulli分布的二元变量,下标i表示第i个任务,zij表示向量zi的第j个元素,xij表示向量xi的第j个元素,参数πi为Bernoulli分布参数,在参数πi上引入Dirichlet过程并使用sticking breaking构造形式构造,其中,vh表示第h次从原来长度为1的绳子剩余部分截取的长度,βl表示任务属于第l类的先验概率,下标l表示第l类,λ表示υh服从的Beta分布的超参数,a和b表示πl服从的Beta分布的超参数,G0表示Dirichlet过程的基础分布;
步骤2,使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题;
步骤2中使用期望传播方法将步骤1得到的具有多任务稀疏结构聚类的贝叶斯生成模型的参数后验分布求解问题转换所选指数类分布的参数优化问题的方法:
步骤2.1,关于模型参数后验概率分布满足如下关系:
Figure FDA0003023012100000021
其中,r={σ0,τ0,a,b,λ,L}表示模型已知的超参数,{yi}i=1,2...M表示需要重构的M个信号,H={{xi}i=1,2,...M,{zi}i=1,2...M,{πl}i=1,2...L,{vl}l=1,2...L}为需要求解其后验分布的模型参数,Y表示{yi}i=1,2...M,p(H|Y,τ)表示模型真实的后验分布,L表示所设定的Dirichlet过程截断数目,即多任务聚类的先验类别总数;
根据贝叶斯准则,求得隐变量H的后验分布为:
Figure FDA0003023012100000022
其中,Z为边缘概率分布p(Y),
步骤2.2,将式(1)分解为3项:
Figure FDA0003023012100000023
Figure FDA0003023012100000024
Figure FDA0003023012100000025
步骤2.3,从属于指数类概率分布中选择互相共轭的分布,以确定近似分布的形式,其具体表达式如下:
q1(xi)=N(xi|mi1,∑i1)
Figure FDA0003023012100000031
Figure FDA0003023012100000032
其中,q1(xi)表示f1(xi)的近似分布,Σi1表示q1(xi)的协方差矩阵,mi1表示q1(xi)的均值向量,q2(xi,zi)表示f2(xi,zi)的近似分布,Σi2表示q2(xi,zi)中高斯分布协方差矩阵,mi2表示q2(xi,zi)中高斯分布的均值向量,μi1j表示q2(xj,zi)中Bernoulli分布的参数,q3(zi,fi,vll)表示f3(zi,fi,υl,πl)的近似分布,μi2j表示q3(zi,fi,vl,πl)中Bernoulli分布的参数,cil和dil表示q3(zi,fi,vl,πl)中vl服从的Beta分布参数,ail和bil表示q3(zi,fi,vl,πl)中πlj服从的Beta分布参数,wil表示q3(zi,fi,vl,πl)中fi服从的离散分布参数;
步骤3,初始模型近似概率分布,qa,a=1,2,3和Q,qa表示第a个近似分布,下标a表示第a个近似分布,
Figure FDA0003023012100000033
步骤4,对每个q1j,计算其cavity分布
Figure FDA0003023012100000034
最小化KL(q1jQ\1j||Qnew)w.r.t.Qnew,计算
Figure FDA0003023012100000035
以更新参数mi1j,∑i1j,其中,Qnew表示更新后的总近似分布,即Q;
步骤5,对每个q2j,计算其cavity分布
Figure FDA0003023012100000036
最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,计算
Figure FDA0003023012100000037
以更新参数mi2j,∑i2j,μi1j
步骤6,对每个q3j,计算其cavity分布
Figure FDA0003023012100000038
最小化KL(q3jQ\3j||Qnew)w.r.t.Qnew,计算
Figure FDA0003023012100000039
以更新参数ailj,bilj,cil,dil,μi2j,wil
步骤7,更新联合近似参数mi,∑i,μij,alj,blj,cl,dl,wi
Figure FDA0003023012100000041
Figure FDA0003023012100000042
Figure FDA0003023012100000043
步骤8,收敛条件为满足时候,重复步骤,4-7,否则,停止重复,模型参数收敛至最优值;
步骤9对应mi即重构出的信号,wi即为该信号的类别的后验分布概率。
2.根据权利要求1所述基于期望传播的多任务稀疏重构和聚类方法,其特征在于:步骤3中所述初始化模型近似概率分布qa,a=1,2,3和Q的方法如下:
mi1=mi2=0
i1=∑i2=∞
μi1j=μi2j=0.5
ail=cilj=1
Figure FDA0003023012100000044
Figure FDA0003023012100000045
其中,a=K,b=1。
3.根据权利要求2所述基于期望传播的多任务稀疏重构和聚类方法,其特征在于:步骤4中所述对每个q1j,计算其cavity分布
Figure FDA0003023012100000046
最小化KL(q1jQ\1j||Qnew)w.r.t.Qnew,计算
Figure FDA0003023012100000047
以更新参数mi1j,∑i1j的方法:
Figure FDA0003023012100000048
Figure FDA0003023012100000049
其中
mi1=(mi11,mi12,...,mi1K)T
i1=diag(∑i11,∑i12,...,∑i1K)。
4.根据权利要求3所述基于期望传播的多任务稀疏重构和聚类方法,其特征在于:步骤5中对每个q2j,计算其cavity分布
Figure FDA0003023012100000051
最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,计算
Figure FDA0003023012100000052
以更新参数mi2j,∑i2j,μi1j的方法:
步骤5.1,计算cavity分布:
Figure FDA0003023012100000053
积分得到边缘分布:
p(xij,zij)=N(xij|mij \2j,∑ij \2j)Ber(zijij \2j)
步骤5.2,计算归一化常数:
Figure FDA0003023012100000054
步骤5.3,最小化KL(q2jQ\2j||Qnew)w.r.t.Qnew,矩量匹配得到参数的更新表达式:
Figure FDA0003023012100000055
Figure FDA0003023012100000056
Figure FDA0003023012100000061
Figure FDA0003023012100000062
Figure FDA0003023012100000063
Figure FDA0003023012100000064
5.根据权利要求4所述基于期望传播的多任务稀疏重构和聚类方法,其特征在于:步骤6中对每个q3j,计算其cavity分布
Figure FDA0003023012100000065
最小化KL(q3jQ\3j||Qnew)w.r.t.Qnew,计算
Figure FDA0003023012100000066
以更新参数ailj,bilj,cil,dil,μi2j,wil的方法:
步骤6.1,计算cavity分布参数:
Figure FDA0003023012100000067
Figure FDA0003023012100000068
Figure FDA0003023012100000069
Figure FDA00030230121000000610
步骤6.2,计算归一化常数:
Figure FDA0003023012100000071
步骤6.3,矩量匹配
Figure FDA0003023012100000072
Figure FDA0003023012100000073
Figure FDA0003023012100000074
Figure FDA0003023012100000075
Figure FDA0003023012100000076
Figure FDA0003023012100000077
Figure FDA0003023012100000078
Figure FDA0003023012100000079
Figure FDA00030230121000000710
Figure FDA00030230121000000711
6.根据权利要求5所述基于期望传播的多任务稀疏重构和聚类方法,其特征在于:步骤8中收敛条件为参数前后更新误差不小于1e-5。
CN202110407828.9A 2021-04-15 2021-04-15 一种基于期望传播的多任务稀疏重构和聚类方法 Active CN113111313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110407828.9A CN113111313B (zh) 2021-04-15 2021-04-15 一种基于期望传播的多任务稀疏重构和聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110407828.9A CN113111313B (zh) 2021-04-15 2021-04-15 一种基于期望传播的多任务稀疏重构和聚类方法

Publications (2)

Publication Number Publication Date
CN113111313A true CN113111313A (zh) 2021-07-13
CN113111313B CN113111313B (zh) 2024-03-12

Family

ID=76717502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110407828.9A Active CN113111313B (zh) 2021-04-15 2021-04-15 一种基于期望传播的多任务稀疏重构和聚类方法

Country Status (1)

Country Link
CN (1) CN113111313B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151441A1 (en) * 2011-12-13 2013-06-13 Xerox Corporation Multi-task learning using bayesian model with enforced sparsity and leveraging of task correlations
CN107483056A (zh) * 2017-08-07 2017-12-15 电子科技大学 变分贝叶斯推理下信号自适应聚类和智能重构方法
CN109547029A (zh) * 2018-11-05 2019-03-29 东南大学 一种基于组稀疏结构的自适应匹配追踪信号重构方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151441A1 (en) * 2011-12-13 2013-06-13 Xerox Corporation Multi-task learning using bayesian model with enforced sparsity and leveraging of task correlations
CN107483056A (zh) * 2017-08-07 2017-12-15 电子科技大学 变分贝叶斯推理下信号自适应聚类和智能重构方法
CN109547029A (zh) * 2018-11-05 2019-03-29 东南大学 一种基于组稀疏结构的自适应匹配追踪信号重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QISONG WU等: "Structured Bayesian compressive sensing exploiting dirichlet process priors", SIGNAL PROCESSING, vol. 201, no. 108680, pages 1 - 15 *
YIN FU等: "Multi-Task Sparse Signal Recovery with Dirichlet Process Priors Based on Expectation Propagation Technique", 2022 7TH INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING, pages 195 - 199 *

Also Published As

Publication number Publication date
CN113111313B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110728360B (zh) 一种基于bp神经网络的微能源器件能量识别方法
Kuptametee et al. A review of resampling techniques in particle filtering framework
Errington et al. Application of artificial neural networks to chromosome classification
CN109389166A (zh) 基于局部结构保存的深度迁移嵌入聚类机器学习方法
CN110956312B (zh) 基于emd-cnn深度神经网络的光伏配电网电压预测方法
CN109583635B (zh) 一种面向运行可靠性的短期负荷预测建模方法
CN110766084B (zh) 基于cae与hl-cnn的小样本sar目标识别方法
Qiu et al. A sparse fuzzy c-means algorithm based on sparse clustering framework
CN111506868B (zh) 一种基于hht权值优化的超短期风速预测方法
CN110335160B (zh) 一种基于分组和注意力改进Bi-GRU的就医迁移行为预测方法及系统
CN112966544B (zh) 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法
CN113111313A (zh) 一种基于期望传播的多任务稀疏重构和聚类方法
Jakaria et al. Comparison of classification of birds using lightweight deep convolutional neural networks
CN111798531B (zh) 一种应用于植株监测的图像深度卷积压缩感知重构方法
Baras et al. Combined compression and classification with learning vector quantization
CN115017934B (zh) 种群熵量子雷莫拉鱼搜索机制的欠定盲源分离方法
CN114004295B (zh) 一种基于对抗增强的小样本图像数据拓展方法
Sajama et al. Semi-parametric exponential family PCA
Ali et al. A review of calibration methods for biometric systems in forensic applications
Cai et al. Real-Time Classification of Disaster Images from Social Media with a Self-Supervised Learning Framework
CN113126052A (zh) 基于逐级分段训练的高分辨距离像目标识别在线建库方法
CN113269024A (zh) 顾及极化统计特性的非监督域自适应网络极化sar地物分类方法及设备
Thomas et al. Generalised Bayes Updates with $ f $-divergences through Probabilistic Classifiers
Wang et al. A novel genetic algorithim based on immunity
Li et al. Continuous optimization based-on boosting Gaussian mixture model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant