CN112865748B - 基于递归最小二乘的在线分布式多任务图滤波器构建方法 - Google Patents

基于递归最小二乘的在线分布式多任务图滤波器构建方法 Download PDF

Info

Publication number
CN112865748B
CN112865748B CN202110040434.4A CN202110040434A CN112865748B CN 112865748 B CN112865748 B CN 112865748B CN 202110040434 A CN202110040434 A CN 202110040434A CN 112865748 B CN112865748 B CN 112865748B
Authority
CN
China
Prior art keywords
node
graph
filter
time
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110040434.4A
Other languages
English (en)
Other versions
CN112865748A (zh
Inventor
陈枫
赖莹橙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202110040434.4A priority Critical patent/CN112865748B/zh
Publication of CN112865748A publication Critical patent/CN112865748A/zh
Application granted granted Critical
Publication of CN112865748B publication Critical patent/CN112865748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/0211Frequency selective networks using specific transformation algorithms, e.g. WALSH functions, Fermat transforms, Mersenne transforms, polynomial transforms, Hilbert transforms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图形信号处理技术领域,具体公开了一种基于递归最小二乘的在线分布式多任务图滤波器构建方法,包括步骤:S1:构建节点可变的图滤波器;S2:构建分布式学习模型来追踪未知的图滤波器的系数向量;S3:使用在线的分布式交替方向乘子法对分布式学习模型进行求解;S4:利用步骤S3求解所得系数向量更新步骤S1中构建的节点可变的图滤波器。本发明利用递归最小二乘方法进行模型的求解,加快了图滤波的估计速度;在节点可变的图滤波器模型中,图滤波器系数不同但相似的情况下,考虑多任务情况,能够促进节点之间的合作,提高估计速度和估计精度;将算法改进为一种在线的方式,解决了计算复杂度大的问题。

Description

基于递归最小二乘的在线分布式多任务图滤波器构建方法
技术领域
本发明涉及图形信号处理技术领域,尤其涉及一种基于递归最小二乘的在线分布式多任务图滤波器构建方法。
背景技术
传统的信号处理可以解决欧几里德结构中的大量数据。然而,在传感器、交通、社会或生物网络等许多应用中,观测数据往往呈现非欧式结构,使得传统的信号处理技术难以处理。因此,近年来研究者致力于开发新的图形信号分析方法,形成了图形信号处理的研究领域。例如,在生物网络中,顶点可能是蛋白质、基因、酶等,边缘的存在意味着这些分子会发生化学反应。因此,需要注意的是,图信号的信号域不是度量空间。图形信号处理的研究领域主要包括采样、滤波、推理和学习。图形信号处理主要依赖于两个组成部分:一个是图傅立叶变换和一个是图移位算子。前者在图的频域内描述图形信号,而后者则表示图的拓扑结构。
基于图傅立叶变换的定义,将传统信号处理中的谐波分析工具应用到图形信号处理中,研究出了图滤波器。图滤波器是处理图形信号频率的关键工具,它通过选择频率分量来放大或衰减。它们已应用于信号分析、分类、重建、降噪和聚类。图滤波器的结构主要分为有限冲激响应和无限冲激响应。具体地说,对于无限冲激响应图滤波器,有自回归滑动平均图滤波器和梯度下降无限冲激响应图滤波器。对于有限冲激响应图滤波器,它们在数学上被实现为图移位算子的多项式。因此,滤波器的设计可以看作是滤波器系数的选择过程。例如,现有的发明中,有设计了一个移位不变的图滤波器,使有限冲激响应图滤波器的图频响应符合期望谱,还有利用移位切比雪夫多项式设计了图乘法器。然而,在大规模网络中,信号处理可能受到能量和带宽的限制。受此启发,分布式图滤波器得到了迅速的发展,主要是因为每个节点只需与相邻节点交换局部信息,以减少能量消耗和通信带宽。
在目前的自适应网络研究中,主要分为单任务网络和多任务网络,其中把最优参数向量估计作为一个任务来处理。对于单任务网络,节点与邻居协作来估计单个参数的兴趣向量。在多任务网络中,节点可以利用任务间的相似性来估计多个相关参数向量,从而提高估计精度,例如跟踪一组运动目标。如果把图滤波器系数的设计看作一项任务,那么节点可变图滤波器系数的估计与自适应网络中的多任务估计类似。在现有文献中,多任务的概念已经被引入到图滤波器的设计中。大多数关于图形信号处理的发明都对静态图信号感兴趣,其中图上的信号随着时刻的推移是不变的。不幸的是,在大多数实际应用中,如传感器网络、电网和社交网络,图上的信号是时变的。在自适应网络中,一些适用于数据流的早期工作也可以应用于图形信号处理,如最小均方、递归最小二乘、仿射投影自适应滤波等。
在这种背景下,本发明感兴趣的是在线学习一个基于递归最小二乘的线性多任务图滤波器模型来表示流图信号。在最近的技术中,研究人员致力于发展图形信号处理算法来处理时变图形信号,如提出了一种用于时变图信号估计的集中式自适应最小均方策略,还有探讨了向量自回归和向量自回归滑动平均模型来预测时变图形信号,以及提供了一个有向加权图,用于捕捉时刻序列之间的相互关系及其在时刻上的相互关系。以上这些工作都是针对集中式解决方案,在大规模网络中比分布式解决方案更不适用。
针对分布式的图信号处理解决方案,一些工作提出了一种二维可分离图时刻滤波器来捕捉信号随时刻的变化,以及研究了随机时变图信号的有限冲激响应图滤波器和自回归滑动平均图滤波器,并将随机性作为降低确定性图上分布图滤波开销的工具。在图形信号带宽受限的前提下,对图形信号的采样和重构算法的设计进行了一系列的研究,如基于最小均方的策略,基于卡尔曼的方法,基于递归最小二乘的策略,以及基于核的策略。但是,这些算法需要预先计算图的傅立叶分解(特征向量)。最近,研究者在没有带限假设和分解图移算子的情况下,在时刻顶点域中使用了图滤波模型,并将有限冲激响应图滤波器的分布估计作为一致性估计问题,提出了一种在线预处理的图扩散最小均方算法。该策略虽然解决了最小均方导致图信号处理收敛慢的问题,但是引入预处理技术也会带来一定的估计误差。
发明内容
本发明提供一种基于递归最小二乘的在线分布式多任务图滤波器构建方法,解决的技术问题在于:如何设计一种在线分布式多任务图滤波器,并使其具有较快的收敛速度和更稳定的性能。
为解决以上技术问题,本发明提供一种基于递归最小二乘的在线分布式多任务图滤波器构建方法,包括步骤:
S1:构建节点可变的图滤波器;
S2:构建分布式学习模型来追踪未知的所述图滤波器的系数向量;
S3:使用在线的分布式交替方向乘子法对所述分布式学习模型进行求解;
S4:利用步骤S3求解所得系数向量更新步骤S1中构建的节点可变的图滤波器。
进一步地,在所述步骤S1中,所述图滤波器表示为:
y(t)=P(t)diag(h(m))+v(t)
其中,y(t)表示过滤后的图形信号,h(m)(m=1,2,...,M)表示第m跳移位后的系数向量,v(t)表示在时刻t上独立同分布的零均值噪声,
Figure BDA0002895621750000031
表示由移位信号组成的移位信号矩阵,x(t)~x(t-M+1)表示输入图形信号,S=[S0,S1,...,SM-1]表示移位矩阵,M表示空间移位的总跳数,diag表示对角函数。
进一步地,对于一具体的节点n(n=1,2,...,N,N为节点总数),其在时刻t(t=1,2,...,T,T为采样周期)过滤后的图形信号yn(t)表示为:
Figure BDA0002895621750000032
其中,
Figure BDA0002895621750000033
表示节点n处的滤波系数向量收集到h(m)中,即
Figure BDA0002895621750000034
Figure BDA0002895621750000041
表示矩阵P(t)的第n行,col表示取出行列。
进一步地,在所述步骤S2中,所述分布式学习模型表示为:
Figure BDA0002895621750000042
其中,
Figure BDA0002895621750000043
表示理想的滤波系数,β>0表示节点n与其相邻节点i之间的正则化相似系数,hn(n=1,2,...,N)表示节点n的滤波器系数,
Figure BDA0002895621750000044
表示相邻节点i的滤波器系数,
Figure BDA0002895621750000045
表示节点n的相邻节点的集合,相邻节点i的总个数表示为
Figure BDA0002895621750000046
λT-t(t=1,2,...,T)表示递归最小二乘算法的遗忘因子,Minimize表示最小化。
进一步地,所述步骤S3具体包括步骤:
S31:引入辅助变量vn和wn,i,
Figure BDA0002895621750000047
将所述分布式学习模型这一问题模型转变为交替方向乘子法的形式;
S32:更新时刻T时节点n的滤波器系数hn(T),然后该节点向其相邻节点发送hn(T);
S33:固定其余变量,在线更新时刻T时的辅助变量vn(T)和wn,i(T);
S34:每个节点向其相邻节点传输步骤S33更新后的辅助变量wn,i(T);
S35:在线更新每个节点的拉格朗日乘子。
进一步地,在所述步骤S31中,所述分布式学习模型具体转变为:
Figure BDA0002895621750000048
s.t.hn=vn,n=1,...,N,
Figure BDA0002895621750000049
通过引入时刻T时节点n的拉格朗日乘子
Figure BDA00028956217500000410
Figure BDA00028956217500000411
以及正常数ρ,进一步形成增广拉格朗日函数:
Figure BDA0002895621750000051
进一步地,所述步骤S32具体包括步骤:
S321:节点n计算相关矩阵Rn(T)和向量rn(T):
Figure BDA0002895621750000052
Figure BDA0002895621750000053
其中,pn(t)(t=1,2,...,T)表示节点n在时刻t的移位信号矩阵;
S322:使用交替方向乘子法更新节点n在时刻T时的滤波器系数hn(T)并修正其余变量;更新hn(T)的计算式如下:
Figure BDA0002895621750000054
其中,I表示单位矩阵,T-1表示时刻T的前一时刻。
进一步地,在所述步骤S33中,更新辅助变量vn(T)和wn,i(T)的计算式如下:
Figure BDA0002895621750000055
其中,k表示交替方向乘子法迭代的次数,
Figure BDA0002895621750000056
Figure BDA0002895621750000057
表示交替方向乘子法第k次更新后的拉格朗日乘子,
Figure BDA0002895621750000058
表示第k次更新后的节点n的滤波器系数,
Figure BDA0002895621750000059
表示第k次更新后的节点n的邻居节点i的滤波器系数;
然后用在线方法进行更新,即在上式中用T-1代替k,得到适合于变化时刻T的更新:
Figure BDA00028956217500000510
Figure BDA0002895621750000061
进一步地,所述步骤S35中,拉格朗日乘子γn和un,i的更新跨节点分解为:
Figure BDA0002895621750000062
Figure BDA0002895621750000063
并使用在线的方法更新为:
γn(T)=γn(T-1)+ρ(hn(T)-vn(T))
μn,i(T)=μn,i(T-1)+ρ(hi(T)-wn,i(T))。
本发明提供的一种基于递归最小二乘的在线分布式多任务图滤波器构建方法,利用采集的在线流数据,结合递归最小二乘方法设计了多任务图滤波器,并且设计了一个分布式在线交替方向乘子法算法进行求解。本发明利用递归最小二乘方法进行模型的求解,加快了图滤波的估计速度;在节点可变的图滤波器模型中,图滤波器系数不同但相似的情况下,将多任务情况考虑到图滤波模型中,能够促进节点之间的合作,从而提高估计速度和估计精度;将该算法改进为一种在线的方式,从而解决了计算复杂度大的问题;可应用在电力系统网络、社交网络、生物网络等诸多网络中。
附图说明
图1是本发明实施例提供的一种基于递归最小二乘的在线分布式多任务图滤波器构建方法的步骤流程图;
图2是本发明实施例提供的单任务情况下的网络MSD性能比较图;
图3是本发明实施例提供的多任务情况下的网络MSD性能比较图;
图4是本发明实施例提供的美国温度数据集的图形拓扑;
图5是本发明实施例提供的真实温度和未观测节点的重建温度的对比图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,实施例的给出仅仅是为了说明目的,并不能理解为对本发明的限定,包括附图仅供参考和说明使用,不构成对本发明专利保护范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
本发明实施例提供的一种基于递归最小二乘的在线分布式多任务图滤波器构建方法,如图1所示,主要包括S1~S4这三个步骤。
(1)步骤S1
S1:构建节点可变的图滤波器。
首先考虑一个连通的、无向的加权图
Figure BDA0002895621750000071
Figure BDA0002895621750000072
和ε分别表示节点集和边集,W表示邻接矩阵。如果节点n和i是连通的,则(n,i)∈ε。邻接矩阵
Figure BDA0002895621750000073
的项表示节点n与i之间关系的权重。节点n的相邻节点的集合表示为
Figure BDA0002895621750000074
同样,矩阵S表示图移位算子,只有当其n=i或者
Figure BDA0002895621750000075
矩阵S中的元素sni为非零,否则为零。一般情况下,移位矩阵S被选为拉普拉斯矩阵或邻接矩阵。图
Figure BDA0002895621750000076
上的信号定义为
Figure BDA0002895621750000077
其第n个元素表示节点n的信号样本xn
经典的图过滤器称为(节点不变)图滤波器,其定义如下:
Figure BDA0002895621750000078
其中
Figure BDA0002895621750000079
表示所有节点的系数向量,Sm是移位矩阵,m表示第m跳移位,M代表总移位跳数。很明显,图滤波器是图移位算子的多项式。而本实施例着眼于节点可变的图滤波器,定义为变量:
Figure BDA00028956217500000710
其中h(m)表示系数向量,每个节点的系数不同,diag表示对角函数。
滤波后的图形信号由输入图形信号x(t)(t=1,2,…,T,T为采样周期)生成,如下所示:
Figure BDA0002895621750000081
式中v(t)表示在时刻t上的零平均噪声。
注意,这里考虑一个嵌入时间维的更一般的模型,即m跳空间移位在m个时隙中执行。如果保留由移位信号组成的以下矩阵:
Figure BDA0002895621750000082
那么只需要一次移位就可以产生滤波后的图形信号y(t),用P(t)表示矩阵:
Figure BDA0002895621750000083
则滤波图信号的输出公式可替换为:
y(t)=P(t)diag(h(m))+v(t)
其中,y(t)表示过滤后的图形信号,h(m)(m=1,2,...,M)表示第m跳移位后的系数向量,v(t)表示在时刻t上独立同分布的零均值噪声,
Figure BDA0002895621750000084
表示由移位信号组成的移位信号矩阵,x(t)~x(t-M+1)表示输入图形信号,S=[S0,S1,...,SM-1]表示移位矩阵,M表示空间移位的总跳数,diag表示对角函数。
上式可以拆分为节点n处时刻t时每个样本yn(t)的形式:
Figure BDA0002895621750000085
其中,
Figure BDA0002895621750000086
表示节点n处的滤波系数向量收集到h(m)中,即
Figure BDA0002895621750000087
pn T(t)是P(t)的第n行:
Figure BDA0002895621750000088
这里,col表示取出行列。
(2)步骤S2
S2:构建分布式学习模型来追踪未知的图滤波器的系数向量。
在这一步骤中,本实施例生成了一个全局目标函数,并将其转变为交替方向乘子法的形式。本实施例提出一种基于递归最小二乘的估计器来追踪未知的滤波器系数向量,同时加强邻域权重向量间的相似度。在不丧失一般性的前提下,假设是零均值联合广义平稳随机过程。时刻t的估计量是以下优化问题(分布式学习模型)的最优解:
Figure BDA0002895621750000091
其中,
Figure BDA0002895621750000092
表示理想的滤波系数,β>0表示节点n与其相邻节点i之间的正则化相似系数,hn(n=1,2,...,N)表示节点n的滤波器系数,
Figure BDA0002895621750000093
表示相邻节点i的滤波器系数,
Figure BDA0002895621750000094
表示节点n的相邻节点i的集合,λT-t(t=1,2,...,T)表示递归最小二乘算法的遗忘因子,Minimize表示最小化。
(3)步骤S3
S3:使用在线的分布式交替方向乘子法对步骤S2建立的分布式学习模型进行求解。
为了解决上述问题,本实施例设计了一个基于递归最小二乘的多任务图过滤模型的分布式交替方向乘子法算法,采用交替方向乘子法算法,通过引入辅助变量和一些线性约束,将上述问题分解为单个节点。
具体的,整个求解过程包括步骤S31~S35:
S31:引入辅助变量,将所述分布式学习模型这一问题模型转变为交替方向乘子法的形式:
Figure BDA0002895621750000095
s.t.hn=vn,n=1,...,N,
hi=wn,i,n=1,...,N,i=1,...,
其中,vn和wn,i,
Figure BDA0002895621750000096
为辅助变量。
进一步引入拉格朗日乘子γnn,i,以及正常数ρ,形成如下增广拉格朗日函数:
Figure BDA0002895621750000097
为了便于记法,把所有的{hn}都收集到一个向量h中,对于v,w,γ,μ来说也是类似的。
然后,交替方向乘子法的更新步骤如下:
Figure BDA0002895621750000101
Figure BDA0002895621750000102
Figure BDA0002895621750000103
Figure BDA0002895621750000104
这里的k表示交替方向乘子法迭代的次数。
由于在代价函数中使用递归最小二乘算法,每个节点首先计算相关矩阵Rn(T)和向量rn(T)。
Figure BDA0002895621750000105
Figure BDA0002895621750000106
交替方向乘子法中h的更新如下:
Figure BDA0002895621750000107
其中,
Figure BDA0002895621750000108
Figure BDA0002895621750000109
分别表示时刻T时的拉格朗日乘子。
S32:更新时刻T时节点n的滤波器系数hn(T),然后该节点向其相邻节点发送hn(T)。
这里使用具有可变T的在线算法,即每个时隙中只执行一次交替方向乘子法更新迭代。经典的交替方向乘子法算法需要逐步迭代才能得到最优解。因此,每次T都要进行多次交替方向乘子法迭代,这会导致大量的计算。这种处理类似于现有的一些自适应算法,其中每个时隙只执行一次梯度下降。具体地说,这里用上式中的T-1替换,并得到适合于变化时刻T的更新。
Figure BDA0002895621750000111
其中,I表示单位矩阵,T-1表示时刻T的前一时刻。
在计算每个节点的滤波器系数hn(T)后,该节点向其相邻节点发送信号hn(T)。
S33:固定其余变量,在线更新时刻T时的辅助变量vn(T)和wn,i(T)。
与hn(T)的更新类似,本实施例得出交替方向乘子法中vn(T)和wn,i(T)的更新如下:
Figure BDA0002895621750000112
其中,k表示交替方向乘子法(ADMM方法)迭代的次数,
Figure BDA0002895621750000113
表示交替方向乘子法第k次更新后的拉格朗日乘子,
Figure BDA0002895621750000114
表示第k次更新后的节点n的滤波器系数,
Figure BDA0002895621750000115
表示第k次更新后的节点n的邻居节点i的滤波器系数;
上式可以拆分为单个节点形式:
Figure BDA0002895621750000116
然后用在线方法进行更新,即在上式中用T-1代替k,得到适合于变化时刻T的辅助变量的更新:
Figure BDA0002895621750000117
Figure BDA0002895621750000118
S34:每个节点向其相邻节点传输wn,i(T)。
S35:在线更新每个节点的拉格朗日乘子。
这里,拉格朗日乘子γn和μn,i的更新也会跨节点分解为:
Figure BDA0002895621750000121
Figure BDA0002895621750000122
并使用在线的方法更新为:
γn(T)=γn(T-1)+ρ(hn(T)-vn(T))
μn,i(T)=μn,i(T-1)+ρ(hi(T)-wn,i(T))。
(4)步骤S4
S4:利用步骤S3求解所得系数向量更新步骤S1中构建的节点可变的图滤波器。
综上,本发明实施例提供的一种基于递归最小二乘的在线分布式多任务图滤波器构建方法,利用采集的在线流数据,结合递归最小二乘方法设计了多任务图滤波器,并且设计了一个分布式在线交替方向乘子法算法进行求解。本发明实施例利用递归最小二乘方法进行模型的求解,加快了图滤波的估计速度;在节点可变的图滤波器模型中,图滤波器系数不同但相似的情况下,将多任务情况考虑到图滤波模型中,能够促进节点之间的合作,从而提高估计速度和估计精度;将该算法改进为一种在线的方式,从而解决了计算复杂度大的问题;可应用在电力系统网络、社交网络、生物网络等诸多网络中。
为了详细说明本发明的可行性和有效性,下面结合实例和附图对本发明的检测特性做进一步验证:
A、单任务情况下的模型验证
考虑单任务场景,即所有节点的图滤波器系数
Figure BDA0002895621750000123
相同,假设过程{x(t),v(t)}为零均值高斯过程有:1)
Figure BDA0002895621750000124
2)
Figure BDA0002895621750000125
3)x(t)和v(t)彼此独立。方差
Figure BDA0002895621750000126
Figure BDA0002895621750000127
分别根据均匀分布
Figure BDA0002895621750000128
Figure BDA0002895621750000129
生成。图滤波阶数设为L=3,理想系数
Figure BDA00028956217500001210
按均匀分布
Figure BDA00028956217500001211
生成。该数据模型适用于一个有N=60个节点的传感器网络。传感器网络的生成需要GSPBOX。在传感器网络图中,移位矩阵S被设置为归一化邻接矩阵,即S=W/1.1λmax(W)。此时,S的所有特征值都小于1。因此,移位信号Smx的能量随着m的增加而减小。
在仿真中,本实施例比较了扩散最小均方算法(①)、预处理最小均方算法(②)和本实施例提出的策略(③)。模拟结果平均超过500次蒙特卡罗模拟。对于扩散最小均方算法,仿真中将步长参数设置为μ=0.05。对于预处理最小均方算法和预处理最小均方算法,仿真中将步长参数设为μ=0.05。对于本实施例提出的策略,仿真中将参数设置为λ=0.98,β=0.9,ρ=0.1。采用MSD网络结构(多尺度密集网络)的这三种算法的网络性能如图2所示。从图2可以看出,本实施例所提算法的收敛速度比其他两种算法快,性能也更好。
B、多任务情况下的模型验证
考虑输入数据为独立同分布时的多任务场景,即节点的图滤波系数不同但相似。该数据模型也适用于由N=60个节点组成的传感器网络。移位矩阵是归一化邻接矩阵,即S=W/1.1λmax(W)。图形信号x(t)和噪声v(t)的设置与单任务场景中的设置相同。滤波器系数的阶数设置为L=3。理想滤波器系数产生如下:
Figure BDA0002895621750000131
θn=2π(n-1)/N+π/8表示旋转调度,是为了达到任务之间具有相关性。
这里,本次实验比较了合作的扩散多任务最小均方算法(④)与不合作的扩散多任务最小均方算法(⑤)和本实施例所提出的算法(⑥)。对于扩散多任务最小均方算法,仿真中将步长参数设为μ=0.05。对于本实施例所提出的算法,仿真中将参数设置为λ=0.98,β=0.9,ρ=0.1。三种算法的网络MSD性能如图3所示。从图3可以看出,该策略在多任务场景下仍然具有较快的收敛速度和良好的性能。
C、应用:美国温度数据集
以一个温度测量跟踪的应用为例子,考虑一个数据集,其中收集了2010年美国109个台站(节点)的8759个小时温度测量值。在每个不同的地理位置上放置温度测量传感器,由于在大型网络中,观察所有节点的温度需要消耗大量的能量,可以通过采样少量的节点温度来对整个网络的所有节点的温度进行重构。并且由于相邻的节点温度虽然不同,但是相似的,所以可以通过节点之间相互合作来共同估计各个地理位置的温度。利用7近邻图构造节点间的无向图,它依赖于地理距离。每个顶点处的图形信号对应于在第n站观测到的温度值。在图4中,颜色较深的圆点表示被采样的节点,颜色较浅的圆点表示未被采样的节点。数据分为两部分,前6570小时是训练集,后是测试集。在测试集的最后220小时内,本例提供了一未观测节点(图4中黑色圆环圈出的节点)的真实温度和重建温度,其测试结果如图5所示,可以看出,本实施例所提算法具有良好的重建性能。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (1)

1.基于递归最小二乘的在线分布式多任务图滤波器构建方法,其特征在于,包括步骤:
S1:构建节点可变的图滤波器;所述图滤波器表示为:
y(t)=P(t)diag(h(m))+v(t)
其中,y(t)表示过滤后的图形信号,h(m)(m=1,2,...,M)表示第m跳移位后的系数向量,v(t)表示在时刻t上独立同分布的零均值噪声,
Figure FDA0003581820270000011
表示由移位信号组成的移位信号矩阵,x(t)~x(t-M+1)表示输入图形信号,S=[S0,S1,...,SM-1]表示移位矩阵,M表示空间移位的总跳数,diag表示对角函数;
对于某个具体的节点n(n=1,2,...,N,N为节点总数),其在时刻t(t=1,2,...,T,T为采样周期)过滤后的图形信号yn(t)表示为:
Figure FDA0003581820270000012
其中,
Figure FDA0003581820270000013
表示节点n处的滤波系数向量收集到h(m)中,即
Figure FDA0003581820270000014
Figure FDA0003581820270000015
表示矩阵P(t)的第n行,col表示取出行列;
S2:构建分布式学习模型来追踪未知的所述图滤波器的系数向量;
在所述步骤S2中,所述分布式学习模型表示为:
Figure FDA0003581820270000016
其中,
Figure FDA0003581820270000017
表示理想的滤波系数,β>0表示节点n与其相邻节点i之间的正则化相似系数,hn(n=1,2,...,N)表示节点n的滤波器系数,
Figure FDA0003581820270000018
表示相邻节点i的滤波器系数,
Figure FDA0003581820270000019
表示节点n的相邻节点的集合,相邻节点i的总个数表示为
Figure FDA00035818202700000110
λT-t(t=1,2,...,T)表示递归最小二乘算法的遗忘因子,Minimize表示最小化;
S3:使用在线的分布式交替方向乘子法对所述分布式学习模型进行求解;
所述步骤S3具体包括步骤:
S31:引入辅助变量vn
Figure FDA0003581820270000021
将所述分布式学习模型这一问题模型转变为交替方向乘子法的形式;
在所述步骤S31中,所述分布式学习模型具体转变为:
Figure FDA0003581820270000022
s.t.hn=vn,n=1,...,N,
Figure FDA0003581820270000023
通过引入时刻T时节点n的拉格朗日乘子
Figure FDA0003581820270000024
Figure FDA0003581820270000025
以及正常数ρ,进一步形成增广拉格朗日函数:
Figure FDA0003581820270000026
S32:更新时刻T时节点n的滤波器系数hn(T),然后该节点向其相邻节点发送hn(T);
所述步骤S32具体包括步骤:
S321:节点n计算相关矩阵Rn(T)和向量rn(T):
Figure FDA0003581820270000027
Figure FDA0003581820270000028
其中,pn(t)(t=1,2,...,T)表示节点n在时刻t的移位信号矩阵;
S322:使用交替方向乘子法更新节点n在时刻T时的滤波器系数hn(T)并修正其余变量;更新hn(T)的计算式如下:
Figure FDA0003581820270000029
其中,I表示单位矩阵,T-1表示时刻T的前一时刻;
S33:固定其余变量,在线更新时刻T时的辅助变量vn(T)和wn,i(T);
在所述步骤S33中,更新辅助变量vn(T)和wn,i(T)的计算式如下:
Figure FDA0003581820270000031
其中,k表示交替方向乘子法迭代的次数,
Figure FDA0003581820270000032
Figure FDA0003581820270000033
表示交替方向乘子法第k次更新后的拉格朗日乘子,
Figure FDA0003581820270000034
表示第k次更新后的节点n的滤波器系数,
Figure FDA0003581820270000035
表示第k次更新后的节点n的邻居节点i的滤波器系数;
然后用在线方法进行更新,即在上式中用T-1代替k,得到适合于变化时刻T的更新:
Figure FDA0003581820270000036
Figure FDA0003581820270000037
S34:每个节点向其相邻节点传输步骤S33更新后的辅助变量wn,i(T);
S35:在线更新每个节点的拉格朗日乘子;
所述步骤S35中,拉格朗日乘子γn和μn,i的更新跨节点分解为:
Figure FDA0003581820270000038
Figure FDA0003581820270000039
并使用在线的方法更新为:
γn(T)=γn(T-1)+ρ(hn(T)-vn(T))
μn,i(T)=μn,i(T-1)+ρ(hi(T)-wn,i(T));
S4:利用步骤S3求解所得系数向量更新步骤S1中构建的节点可变的图滤波器。
CN202110040434.4A 2021-01-13 2021-01-13 基于递归最小二乘的在线分布式多任务图滤波器构建方法 Active CN112865748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110040434.4A CN112865748B (zh) 2021-01-13 2021-01-13 基于递归最小二乘的在线分布式多任务图滤波器构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110040434.4A CN112865748B (zh) 2021-01-13 2021-01-13 基于递归最小二乘的在线分布式多任务图滤波器构建方法

Publications (2)

Publication Number Publication Date
CN112865748A CN112865748A (zh) 2021-05-28
CN112865748B true CN112865748B (zh) 2022-05-10

Family

ID=76003266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110040434.4A Active CN112865748B (zh) 2021-01-13 2021-01-13 基于递归最小二乘的在线分布式多任务图滤波器构建方法

Country Status (1)

Country Link
CN (1) CN112865748B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571200B (zh) * 2021-07-30 2023-09-19 桂林电子科技大学 基于图滤波器-向量自回归模型的传染病传播预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109586688A (zh) * 2018-12-07 2019-04-05 桂林电子科技大学 基于迭代计算的时变可分非下采样图滤波器组的设计方法
CN110766769A (zh) * 2019-10-23 2020-02-07 深圳先进技术研究院 一种磁共振图像重建方法、装置、设备和介质
CN111010145A (zh) * 2019-12-10 2020-04-14 西南大学 基于范数正则化离散线性系统的滤波方法、离散线性系统
CN111581852A (zh) * 2020-05-29 2020-08-25 桂林电子科技大学 一种联合时间顶点节点变图滤波器的优化设计方法
CN111724428A (zh) * 2020-05-08 2020-09-29 天津大学 基于图上信号模型的深度图采样与重构方法
CN111737639A (zh) * 2020-06-24 2020-10-02 桂林电子科技大学 一种1-范数和2-范数混合的时变图信号分布式修复方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289841B2 (en) * 2015-04-16 2019-05-14 Nec Corporation Graph-based attack chain discovery in enterprise security systems
US11080776B2 (en) * 2017-08-28 2021-08-03 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for predicting ratings using graph filters
US11106189B2 (en) * 2019-03-06 2021-08-31 Mitsubishi Electric Research Laboratories, Inc. System and method for data-driven control of constrained system
CN111666533B (zh) * 2020-06-02 2022-04-22 浙江大学 一种低能耗分布式图信号采样重建方法
AU2020103329A4 (en) * 2020-11-09 2021-01-21 Southwest University A based on recursive least squares online distributed multitask graph filter algorithm.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109586688A (zh) * 2018-12-07 2019-04-05 桂林电子科技大学 基于迭代计算的时变可分非下采样图滤波器组的设计方法
CN110766769A (zh) * 2019-10-23 2020-02-07 深圳先进技术研究院 一种磁共振图像重建方法、装置、设备和介质
CN111010145A (zh) * 2019-12-10 2020-04-14 西南大学 基于范数正则化离散线性系统的滤波方法、离散线性系统
CN111724428A (zh) * 2020-05-08 2020-09-29 天津大学 基于图上信号模型的深度图采样与重构方法
CN111581852A (zh) * 2020-05-29 2020-08-25 桂林电子科技大学 一种联合时间顶点节点变图滤波器的优化设计方法
CN111737639A (zh) * 2020-06-24 2020-10-02 桂林电子科技大学 一种1-范数和2-范数混合的时变图信号分布式修复方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
decentralized sarse multitask rls over networks;xuanyu cao等;《IEEE transactions on signal procession》;20171201;第65卷(第23期);6217-6232 *
多媒体信号处理的数学理论前沿进展;熊红凯等;《中国图象图形学报》;20200116(第01期);5-22 *
最小二乘与加权最小二乘空域矩阵滤波器设计;依力娜艾克拜等;《电声技术》;20171217;35-39 *
采用超节点协同的多智能体系统一致性算法;李龙斌;《信息与控制》;20191215(第06期);58-63+70 *

Also Published As

Publication number Publication date
CN112865748A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Chu et al. Weighted broad learning system and its application in nonlinear industrial process modeling
Chen et al. Event-triggered zero-gradient-sum distributed consensus optimization over directed networks
Kantas et al. Distributed maximum likelihood for simultaneous self-localization and tracking in sensor networks
Niaki et al. A particle swarm optimization approach on economic and economic-statistical designs of MEWMA control charts
CN112115419A (zh) 系统状态估计方法、系统状态估计装置
Mao et al. Event-based distributed adaptive Kalman filtering with unknown covariance of process noises
CN112865748B (zh) 基于递归最小二乘的在线分布式多任务图滤波器构建方法
Lin et al. Variational inference based distributed noise adaptive Bayesian filter
AU2020103329A4 (en) A based on recursive least squares online distributed multitask graph filter algorithm.
Wang et al. Furnace thermal efficiency modeling using an improved convolution neural network based on parameter-adaptive mnemonic enhancement optimization
Wang et al. Hybrid neural network predictor for distributed parameter system based on nonlinear dimension reduction
Ramezani-Mayiami et al. Graph recursive least squares filter for topology inference in causal data processes
Ghosh et al. Danse: Data-driven non-linear state estimation of model-free process in unsupervised bayesian setup
Ji et al. Data-driven distributed information-weighted consensus filtering in discrete-time sensor networks with switching topologies
Xie et al. Less conservative global asymptotic stability of 2-D state-space digital filter described by Roesser model with polytopic-type uncertainty
Wang et al. Neighborhood kalman estimation for distributed localization in wireless sensor networks
Jiang et al. A sensor self-aware distributed consensus filter for simultaneous localization and tracking
Han et al. Filter Transfer Learning Algorithm for Missing Data Imputation in Wastewater Treatment Process
Buchnik et al. GSP-KalmanNet: Tracking Graph Signals via Neural-Aided Kalman Filtering
Wang et al. Constrained two-stage Kalman filter for real-time state estimation of systems with time-varying measurement noise covariance
Zhang et al. Neural network-assisted simulation optimization with covariates
Wang et al. Improving particle filter with better proposal distribution for nonlinear filtering problems
Zhang et al. Gaussian mixture unscented particle filter with adaptive residual resample for nonlinear model
Yang et al. Distributed information filter for linear systems with colored measurement noise
Yu et al. Scalable Distributed Data-Driven State Estimation Algorithm via Gaussian Processes With Guaranteed Stability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant