CN113762069A - 一种任意噪声下长序列鲁棒增强快速趋势滤波方法 - Google Patents

一种任意噪声下长序列鲁棒增强快速趋势滤波方法 Download PDF

Info

Publication number
CN113762069A
CN113762069A CN202110839564.4A CN202110839564A CN113762069A CN 113762069 A CN113762069 A CN 113762069A CN 202110839564 A CN202110839564 A CN 202110839564A CN 113762069 A CN113762069 A CN 113762069A
Authority
CN
China
Prior art keywords
trend
signal
signals
filtering
robust
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110839564.4A
Other languages
English (en)
Other versions
CN113762069B (zh
Inventor
赵志斌
郭艳婕
丁宝庆
王诗彬
陈雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202110839564.4A priority Critical patent/CN113762069B/zh
Publication of CN113762069A publication Critical patent/CN113762069A/zh
Application granted granted Critical
Publication of CN113762069B publication Critical patent/CN113762069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)

Abstract

本发明公开了一种任意噪声下长序列鲁棒增强快速趋势滤波方法，首先采用滑窗的办法将信号进行分割，将每段信号分别采用鲁棒增强趋势滤波方法进行提取趋势信号，通过求取在2个窗内重叠部分信号之间距离最小点，即可确定拼接点，分别将2个窗内信号在拼接点处分别截取，即可获得较为平滑的曲线；本发明可以用于提取天气信号、摩擦系数信号、振动信号等随时间变化的一维信号，本方法克服了原有的趋势滤波方法只能提取高斯白噪声分布下的信号趋势，可以提取非高斯白噪声下的趋势信号，并且本方法能够对长序列信号进行提取，极大的提高了长序列信号的提取效率，缩短了提取时间。

Description

一种任意噪声下长序列鲁棒增强快速趋势滤波方法
技术领域
本发明属于信号处理领域，特别涉及一种任意噪声下长序列鲁棒增强快速趋势滤波方 法。
背景技术
随着物理信息系统(CPS)和物联网(IoT)的发展，海量时间序列数据不断被积累。时间序列分析重点之一就是提取序列中潜在的趋势，即根据采集的序列准确地表示原始数据中的全局变化时间序列。但是，真正的特征趋势往往被复杂的背景噪声(尤其是非高斯噪声或离群值)所淹没。特别地，离群值的存在将导致高斯噪声假设下的趋势滤波方法性能大大降低。因此，如何设计一个对非高斯噪声以及离群值具有鲁棒性的算法正在成为时间序列分析及其应用中的主要挑战。
趋势滤波中最广泛使用的方法之一是Hodrick-Prescott(H-P)滤波。该方法旨在通过 最小化基于高斯噪声假设的数据保真项和平滑正则项来提取序列变化趋势。在这种情况 下，数据保真项通过残差的l2范数定义，正则项假设所需提取趋势的二阶差分服从高斯 分布。但是，该方法在这些条件下，会使趋势过度平滑，并且对离群值非常敏感。随后，采用基于l1范数的趋势滤波方法——l1趋势滤波被广泛使用，l1趋势滤波非常适合于提取分段线性的趋势，但是它常常低估了提取趋势的幅度，并且它对于类似于离群值等非高斯噪声的影响同样敏感。本发明提出了一种增强趋势滤波方法，可以自适应地适应复杂的背景噪声，对离群值具有鲁棒性，并通过非凸增强来尽可能保留原有趋势的能量。
发明内容
为了克服上述现有技术不足，本发明提出一种任意噪声下长序列鲁棒增强快速趋势滤 波方法，该方法可以同时克服H-P滤波和l1趋势滤波的缺点。首先，不假设噪声服从某个固定的分布是，而是将噪声建模为混合高斯分布(MoG)。在万有逼近定理的保证下， 这意味着理论上任何噪声分布该方法均可以建模。然后，通过最大后验概率(MAP)推 导鲁棒趋势滤波的整体模型。另外，为了处理l1范数的有偏估计问题，我们使用嵌入非 凸稀疏诱导函数的吉布斯(Gibbs)分布作为所需提取趋势的先验，该先验可以尽可能保 留原有趋势的能量。还设计了扩展的期望最大化(EM)算法来优化求解鲁棒增强趋势滤 波模型。
在实用过程中，我们首先采用滑窗的办法将信号进行分割，将每段信号分别采用鲁棒 增强趋势滤波方法进行提取趋势信号，通过求取在2个窗内重叠部分信号之间距离最小 点，即可确定拼接点，分别将2个窗内信号在拼接点处分别截取，即可获得较为平滑的曲线。
在类似于离群值等任何非高斯噪声干扰下，从原始信号中针对异常值进行准确的趋势 提取是一项艰巨的任务。为了解决这一挑战，本发明通过将混合高斯(MoG)分布和嵌入非凸稀疏诱导函数的吉布斯(Gibbs)分布分别作为模型的似然和先验分布，将l1趋势 滤波扩展为鲁棒增强趋势滤波。我们首先将背景噪声建模为MoG分布，以使鲁棒增强趋 势滤波在存在类似于离群值等任何非高斯噪声时都具有较好的鲁棒性。随后，为了处理 l1范数的偏差估计问题，使用嵌入非凸稀疏诱导函数的吉布斯(Gibbs)分布作为所需提 取趋势的先验，来尽可能地保留所需提取趋势的能量。此外，还设计了扩展的期望最大化 (EM)算法来优化求解鲁棒增强趋势滤波模型所形成的非凸优化问题。最终，通过滑窗 拼接的方法将长序列信号快速进行趋势提取。
本方法的实现流程如下：
本方法中分析信号为y，所需提取的趋势为x。
1)独立常数c(0)＝1，混合高斯分布个数M＝5，迭代次数t＝1000，信号长度num＝600， 滑窗间隔delta＝500；
2)将信号y划分为若干段长度为600的数据，第k段数据为 {[y](k-1)*delta+1,[y](k-1)*delta+2,…,[y](k-1)*delta+num}，该段信号记为yk，其滤波后信号为xk；
3)对信号进行趋势滤波
当k＝1时，令
Figure BDA0003178319980000022
(1)过以下公式，更新参数
Figure BDA0003178319980000023
其中
Figure BDA0003178319980000024
(2)过
Figure BDA0003178319980000025
更新矩阵Π(t+1),Σ(t+1)中参数
Figure BDA0003178319980000026
和
Figure BDA0003178319980000027
Figure BDA0003178319980000031
Figure BDA0003178319980000032
(3)通过
Figure BDA0003178319980000033
Figure BDA0003178319980000034
更新对角矩阵Λ(t)，其对角元素可以计算为
Figure BDA0003178319980000035
(4)通过
Figure BDA0003178319980000036
更新对角矩阵W(t)，其对角元素可以计算为
Figure BDA0003178319980000037
(5)通过W(t)，Π(t+1),Σ(t+1)，按照如下公式，更新
Figure BDA0003178319980000038
Figure BDA0003178319980000039
(6)选取{10-8,c(t)/10}中最大数，更新c(t+1)。
(7)当迭代次数为1000时，迭代终止，输出滤波信号
Figure BDA00031783199800000310
此时
Figure BDA00031783199800000311
4)信号yk的趋势滤波信号即为xk，但是信号在分割过程中每段信号的趋势并不一致，即 xk-1与xk在重叠部分的信号趋势不一致，当数据量较大时，会发生明显跳变。xk-1中后100 个点与信号xk-1中的前100个点不同，因此计算2个信号之间最短距离点所在位置为localk-1，则x1的信号为
Figure BDA00031783199800000312
同理可知，x2中提取的信号为
Figure BDA00031783199800000313
xk中提取的信号为
Figure BDA00031783199800000314
5、重复步骤4，直到拼接完成。
本发明可以用于提取天气信号、摩擦系数信号、振动信号等随时间变化的一维信号， 本方法克服了原有的趋势滤波方法只能提取高斯白噪声分布下的信号趋势，可以提取非高 斯白噪声下的趋势信号，并且本方法能够对长序列信号进行提取，极大的提高了长序列信 号的提取效率，缩短了提取时间。
附图说明
图1为摩擦系数的趋势滤波图
具体实施方式
工作原理及实际应用过程描述。
图1中信号采用算法如下，在此认为独立常数c(0)＝1，混合高斯分布个数M＝5，迭代次数t＝1000，信号长度num＝600，滑窗间隔delta＝500。
1、将信号y根据信号长度，划分为若干段长度为600的数据，第k段数据为{[y](k-1)*delta+1,[y](k-1)*delta+2,…,[y](k-1)*delta+num}，该段信号记为yk，其滤波后信号为xk。
2、对信号进行趋势滤波
当k＝1时，令
Figure BDA0003178319980000041
其滤波参数k＝100。
(1)过以下公式，更新参数
Figure BDA0003178319980000042
其中
Figure BDA0003178319980000043
(2)过
Figure BDA0003178319980000044
更新矩阵Π(t+1),Σ(t+1)中参数
Figure BDA0003178319980000045
和
Figure BDA0003178319980000046
Figure BDA0003178319980000047
Figure BDA0003178319980000048
(3)通过
Figure BDA0003178319980000049
Figure BDA00031783199800000410
更新对角矩阵Λ(t)，其对角元素可以计算为
Figure BDA00031783199800000411
(4)通过
Figure BDA00031783199800000412
更新对角矩阵W(t)，其对角元素可以计算为
Figure BDA00031783199800000413
(5)通过W(t)，Π(t+1),Σ(t+1)，按照如下公式，更新
Figure BDA00031783199800000414
Figure BDA00031783199800000415
(6)选取{10-8,c(t)/10}中最大数，更新c(t+1)。
(7)当迭代次数为1000时，迭代终止，输出滤波信号
Figure BDA00031783199800000416
此时
Figure BDA00031783199800000417
4、信号yk的趋势滤波信号即为xk，但是信号在分割过程中每段信号的趋势并不一致， 即xk-1与xk在重叠部分的信号趋势不一致，当数据量较大时，会发生明显跳变。xk-1中后100个点与信号xk-1中的前100个点不同，因此计算2个信号之间最短距离点所在位置为localk-1，则x1的信号为
Figure BDA0003178319980000051
同理可知，x2中提取的信号为
Figure BDA0003178319980000052
xk中提取的信号为
Figure BDA0003178319980000053
重复步骤4，直到拼接完成。

Claims (1)

1.一种任意噪声下长序列鲁棒增强快速趋势滤波方法，其特征在于，
首先采用滑窗的办法将信号进行分割，将每段信号分别采用鲁棒增强趋势滤波方法进行提取趋势信号，通过求取在2个窗内重叠部分信号之间距离最小点，即可确定拼接点，分别将2个窗内信号在拼接点处分别截取，即可获得较为平滑的曲线；
趋势滤波处理中，通过将混合高斯MoG分布和嵌入非凸稀疏诱导函数的吉布斯Gibbs分布分别作为模型的似然和先验分布，将l1趋势滤波扩展为鲁棒增强趋势滤波，首先将背景噪声建模为MoG分布，以使鲁棒增强趋势滤波在存在类似于离群值等任何非高斯噪声时都具有较好的鲁棒性，随后，为了处理l1范数的偏差估计问题，使用嵌入非凸稀疏诱导函数的吉布斯Gibbs分布作为所需提取趋势的先验，来尽可能地保留所需提取趋势的能量，此外，还设计了扩展的期望最大化EM算法来优化求解鲁棒增强趋势滤波模型所形成的非凸优化问题，最终，通过滑窗拼接的方法将长序列信号快速进行趋势提取：
具体步骤如下：
分析信号为y，所需提取的趋势为x；
1)独立常数c(0)＝1，混合高斯分布个数M＝5，迭代次数t＝1000，信号长度num＝600，滑窗间隔delta＝500；
2)将信号y划分为若干段长度为600的数据，第k段数据为 {[y](k-1)*delta+1,[y](k-1)*delta+2,…,[y](k-1)*delta+num}，该段信号记为yk，其滤波后信号为xk；
3)对信号进行趋势滤波
当k＝1时，令
Figure FDA0003178319970000012
(1)过以下公式，更新参数
Figure FDA0003178319970000013
其中
Figure FDA0003178319970000014
(2)过
Figure FDA00031783199700000110
更新矩阵Π(t+1),Σ(t+1)中参数
Figure FDA0003178319970000016
和
Figure FDA0003178319970000017
Figure FDA0003178319970000018
Figure FDA0003178319970000019
(3)通过
Figure FDA0003178319970000021
更新对角矩阵Λ(t)，其对角元素可以计算为
Figure FDA0003178319970000022
(4)通过
Figure FDA0003178319970000023
更新对角矩阵W(t)，其对角元素可以计算为
Figure FDA0003178319970000024
(5)通过W(t)，Π(t+1),Σ(t+1)，按照如下公式，更新
Figure FDA0003178319970000025
Figure FDA0003178319970000026
(6)选取{10-8,c(t)/10}中最大数，更新c(t+1)；
(7)当迭代次数为1000时，迭代终止，输出滤波信号
Figure FDA0003178319970000027
此时
Figure FDA0003178319970000028
4)信号yk的趋势滤波信号即为xk，但是信号在分割过程中每段信号的趋势并不一致，即xk-1与xk在重叠部分的信号趋势不一致，当数据量较大时，会发生明显跳变，xk-1中后100个点与信号xk-1中的前100个点不同，因此计算2个信号之间最短距离点所在位置为localk-1，则x1的信号为
Figure FDA0003178319970000029
同理可知，x2中提取的信号为
Figure FDA00031783199700000210
xk中提取的信号为
Figure FDA00031783199700000211
5)重复步骤4)，直到拼接完成。
CN202110839564.4A 2021-07-23 2021-07-23 一种任意噪声下长序列鲁棒增强快速趋势滤波方法 Active CN113762069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110839564.4A CN113762069B (zh) 2021-07-23 2021-07-23 一种任意噪声下长序列鲁棒增强快速趋势滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110839564.4A CN113762069B (zh) 2021-07-23 2021-07-23 一种任意噪声下长序列鲁棒增强快速趋势滤波方法

Publications (2)

Publication Number Publication Date
CN113762069A true CN113762069A (zh) 2021-12-07
CN113762069B CN113762069B (zh) 2022-12-09

Family

ID=78787884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110839564.4A Active CN113762069B (zh) 2021-07-23 2021-07-23 一种任意噪声下长序列鲁棒增强快速趋势滤波方法

Country Status (1)

Country Link
CN (1) CN113762069B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741659A (zh) * 2022-04-24 2022-07-12 江苏集萃清联智控科技有限公司 一种自适应模型在线重构建鲁棒滤波方法、设备及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485014A (zh) * 2016-10-20 2017-03-08 电子科技大学 一种强鲁棒性1比特压缩贝叶斯感知方法
CN112561161A (zh) * 2020-12-14 2021-03-26 南京航空航天大学 一种基于压缩感知的时间序列趋势提取和预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485014A (zh) * 2016-10-20 2017-03-08 电子科技大学 一种强鲁棒性1比特压缩贝叶斯感知方法
CN112561161A (zh) * 2020-12-14 2021-03-26 南京航空航天大学 一种基于压缩感知的时间序列趋势提取和预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任守纲等: "混合范数趋势滤波时间序列分类算法研究", 《小型微型计算机系统》 *
何鹏举等: "加速度信号随机噪声及趋势项实时消除方法研究", 《电子设计工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741659A (zh) * 2022-04-24 2022-07-12 江苏集萃清联智控科技有限公司 一种自适应模型在线重构建鲁棒滤波方法、设备及系统

Also Published As

Publication number Publication date
CN113762069B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN109035163B (zh) 一种基于深度学习的自适应图像去噪方法
CN109785854B (zh) 一种经验模态分解和小波阈值去噪相结合的语音增强方法
CN111723329B (zh) 一种基于全卷积神经网络的震相特征识别波形反演方法
CN109345472B (zh) 一种复杂场景的红外运动小目标检测方法
CN111934711B (zh) 一种时频混叠跳频信号的参数估计方法
CN110458773B (zh) 一种基于边缘增强算子的各向异性扩散噪声处理方法
CN113762069B (zh) 一种任意噪声下长序列鲁棒增强快速趋势滤波方法
CN113568058B (zh) 一种基于多分辨率奇异值分解的大地电磁信噪分离方法及系统
CN112396567B (zh) 基于法向修正与位置滤波两步法的散乱点云去噪方法
CN105913382B (zh) 阈值寻优的高保真各向异性滤波方法
Satya et al. Stripe noise removal from remote sensing images
US10762657B2 (en) Mesh denoising
CN112364291A (zh) 一种前置滤波极值点优化集合经验模态分解方法及装置
CN110569728A (zh) 一种基于字典训练和正交匹配追踪的核信号提取方法
CN106199693B (zh) 地震数据速度谱自动拾取方法和装置
Ghosh et al. Bilevel Learning of ℓ 1 Regularizers with Closed-Form Gradients (BLORC)
Bandyopadhyay et al. A relook and renovation over state-of-art salt and pepper noise removal techniques
CN105844593A (zh) 一种单幅干涉圆条纹预处理的自动化处理方法
Seddik et al. Efficient noise removing based optimized smart dynamic Gaussian filter
CN115097391A (zh) 一种基于自动编码器的合成孔径雷达干扰抑制方法
CN113095394B (zh) 一种基于鲁棒聚类粒子群优化的欠定盲源分离方法
CN108133203B (zh) 一种基于稀疏表示的拉曼光谱特征提取方法
CN109100441B (zh) 一种液相色谱曲线去除脉冲干扰的方法
Buch Decision based non-linear filtering using interquartile range estimator for Gaussian signals
Barbu et al. Novel stochastic differential model for image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant