CN108595528A - 一种多元时间序列基于傅里叶系数符号化类别集生成方法 - Google Patents

一种多元时间序列基于傅里叶系数符号化类别集生成方法 Download PDF

Info

Publication number
CN108595528A
CN108595528A CN201810271174.XA CN201810271174A CN108595528A CN 108595528 A CN108595528 A CN 108595528A CN 201810271174 A CN201810271174 A CN 201810271174A CN 108595528 A CN108595528 A CN 108595528A
Authority
CN
China
Prior art keywords
time series
sequence
data
multivariate time
symbolism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810271174.XA
Other languages
English (en)
Inventor
张可
柴毅
李媛
赵晓航
游丹妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810271174.XA priority Critical patent/CN108595528A/zh
Publication of CN108595528A publication Critical patent/CN108595528A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多元时间序列基于傅里叶系数符号化类别集生成方法,它包括:获取多元时间序列数据;对多元时间序列数据进行预处理,获得具有高斯分布的均值为0且方差为1的标准序列;采用分段聚合近似表示算法对多元时间序列进行分段,获取各序列的分段信息;将各序列的分段数据分别进行离散傅里叶变换,得到由傅里叶系数表示的序列段内的趋势特征;采用符号聚合近似表示方法对多元时间序列的序列段进行符号化表示,每个序列段所对应的符号和傅里叶系数即为该序列段完整的符号化类别集。本发明取得的有益效果是:可以将高维、海量的多元时间序列数据进行降维,保留符号聚合近似的优点;通过频域过滤方法进行降维保持欧氏距离的不变性。

Description

一种多元时间序列基于傅里叶系数符号化类别集生成方法
技术领域
本发明涉及时间序列的数据挖掘技术领域,特别是一种多元时间序列基于傅里叶系数符号化类别集生成方法。
背景技术
针对时间序列数据的数据量大、海量性、复杂性、高维性等特点,已有分类、聚类、相似性查询、异常检测、模式挖掘等方面的研究,在金融、工业、气象、交通、互联网等领域有着广泛的应用。但大多数研究都是对一元时间序列数据进行分析,多元时间序列的研究还比较少。多元时间序列时间序列数据中,如何有效地提取多元时间序列数据特征,通过降维后分析其中蕴含的信息和知识,对科学研究和实际应用都具有重要的理论意义和现实意义。
传统的时间序列数据符号化方法(Symbolic Aggregate Approximation,SAX)首先要通过分段聚合近似表示方法(Piecewise Aggregate Approximation,PAA)实现分段求均值。然后根据正态分布将每个分段的均值数据转换为字符表示。SAX在时间序列数据降维与特征提取方面虽然简便高效,但是SAX算法均取各子序列段中的均值来符号化。因此不可避免会产生一些局限,即:SAX对子序列段的信息描述不够精准,难以反映子序列段内数据更细微的特征,如极大、极小值和统计特征与趋势特征等。这些局限性限制了其在具有明显形态特征的序列数据中的应用。如金融时间序列数据分析常有变化趋势的要求,复杂工业过程的流数据的趋势变化也在过程状态检测中占有重要的地位。因此,SAX只能近似的描述时间序列数据的大致特征。
缺点:当前符号化的时间序列数据表示由于只提取自序列段均值,存在难以描述分段内数据变化趋势等特征提取问题。因此亟需一种能表征分段内趋势特征的多元时间序列数据符号化算法。
发明内容
有鉴于现有技术的上述缺陷,本发明的目的就是提供一种多元时间序列基于傅里叶系数符号化类别集生成方法,克服了经典符号化表示算法的缺点,使用傅里叶逆变换后,保留的时域时间序列将变得更加平滑,从而达到去噪的效果。仅使用频域数据表示傅里叶变换时,对高频数据的过滤即为降维的过程;实现了具有分段趋势特征的符号化表示方法。
本发明的目的是通过这样的技术方案实现的,一种多元时间序列基于傅里叶系数符号化类别集生成方法,它包括有:所述方法步骤如下:
S1:获取多元时间序列数据;
S2:对多元时间序列数据进行预处理,获得具有高斯分布的均值为0且方差为1的标准序列;
S3:采用分段聚合近似表示算法对多元时间序列进行分段,并获取各序列的所有分段信息;
S4:将各序列的分段数据分别进行离散傅里叶变换,得到由傅里叶系数表示的序列段内的趋势特征;
S5:采用符号聚合近似表示方法对多元时间序列的序列段进行符号化表示,每个序列段所对应的符号和傅里叶系数即为该序列段完整的符号化类别集。
进一步,所述步骤S2中对多元时间序列进行预处理的具体步骤如下:
S21:设多元时间序列为分别有n个观测值的m个独立的时间序列组成,式中,Xi表示第i条原始时间序列,xij表示第i条时间序列在j时刻的原始观测值数据大小):计算各个序列数据的均值和标准差
S22:归一化的过程即消除各序列数据的维度量纲,对多元时间序列数据进行归一化处理得到符合正态分布的新多元序列为式中,X′i表示第i条归一化得到的时间序列,x′ij表示第i条时间序列在j时刻的归一化后的观测值数据大小。
进一步,所述步骤S3的多元序列采用分段聚合近似方法进行分段的具体步骤如下:
S31:根据数据特征,对每个序列进行分段数目wi(1≤i≤m)的确定;
S32:采用分段聚合近似的方法,输入各序列的分段数目,经过计算得到各序列分段的平均值,由此获取一个由各分段的平均值组成的新的多元序列为式中,表示第i条分段聚合近似得到的时间序列,表示第i条时间序列在j时刻的分段聚合近似得到的观测值数据大小。
进一步,所述步骤S4包括有:
由每个序列被分为了w段,则每段内的数据个数为作为子序列段;每条序列都有w个子序列段,依次将其从原序列中提取出来,对提取出来的子序列段分别进行离散傅里叶变换,选择其傅里叶系数的前3个数据作为该序列内第K个子序列段的趋势特征表示;将所有子序列段的都集合起来就得到该多元时间序列的整体分段趋势特征表示式中,表示第i条离散傅里叶变换得到的时间序列,其中由表示第i条时间序列在j时刻的离散傅里叶变换得到的3个傅里叶系数组成。
进一步,所述步骤S5具体包括有:
S51:采用符号聚合近似方法对由分段聚合近似算法计算得到的每个子序列段的均值进行符号化,得到相应的符号序列;
S52:在每个分段所表示的符号后面加上由离散傅里叶变换得到的傅里叶系数按照序列顺序合成一个新的序列,作为一个完整的多元时间序列的符号化类别集式中,表示第i条符号化得到的符号序列,其中由1个符号和3个傅里叶系数组成。
进一步,所述步骤S51具体包括有:
S511:首先确定字母表的大小,即定义符号的种类数α;
S512:通过把步骤S511得到的符合高斯分布的序列按照分割点的大小划分为α个等概率区间,每个区间对应表示一种符号,其中分割点的定义和字母表大小的关系按照从低到高的方式进行分配,即从下而上依次为A,B,C,...;
S513:比较序列段的均值和分割点的大小,如果序列段的均值在分割区间内,则将该序列段表示为这个分割区间所对应的符号。
由于采用了上述技术方案,本发明具有如下的优点:
1、本发明结合专家经验知识将分段聚合近似表示方法用于时间序列数据的降维,保证了距离下界准则从而避免了后续相似查询中的漏查行为。
2、本发明应用了经典的符号化表示算法,使得其能在数据降维的基础上进行距离计算,为后续应用如相似查询、分类、异常检测等提供理论依据。
3、本发明通过傅里叶系数表征子序列段内时间序列数据的趋势特征,克服了经典符号化表示算法的缺点,如无法表征段内数据的精确性及其变化趋势,而这可能会错误的引导后续相似性度量、异常检测等数据挖掘任务。因此趋势特征的引入解决了上述问题。经过傅里叶变换将原始时间序列从时域转变为频域,然后在频域内对高频数据进行过滤,保留K维的低频数据,可以实现去除短时噪声的效果,当使用傅里叶逆变换后,保留的时域时间序列将变得更加平滑,从而达到去噪的效果,当仅使用频域数据表示傅里叶变换时,对高频数据的过滤即为降维的过程。实现了具有分段趋势特征的符号化表示方法。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
本发明的附图说明如下:
图1为多元时间序列基于傅里叶系数符号化类别集生成方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例:如图1所示;一种多元时间序列基于傅里叶系数符号化类别集生成方法,它包括有:方法步骤如下:
S1:获取多元时间序列数据;
S2:对多元时间序列数据进行预处理,获得具有高斯分布的均值为0且方差为1的标准序列;
S3:采用分段聚合近似表示算法对多元时间序列进行分段,并获取各序列的所有分段信息;
S4:将各序列的分段数据分别进行离散傅里叶变换,得到由傅里叶系数表示的序列段内的趋势特征;
S5:采用符号聚合近似表示方法对多元时间序列的序列段进行符号化表示,每个序列段所对应的符号和傅里叶系数即为该序列段完整的符号化类别集。
本实施例中,选取某监控系统记录的12根管道的温度数据进行实施,其记录频率为每秒1次,共选取16个小时内记录的数据,则其维度为57570,即多元时间序列分别由57570个观测值的12个独立的时间序列组成:
首先根据步骤S21对其进行标准化处理,分别计算12个时间序列数据的均值及其标准差再通过公式计算第j条序列在第i时刻的标准化后的数据值大小。得到新的标准序列
然后根据步骤S3对标准序列进行分段,将每个序列都平均划分为101个等长的子序列,每个子序列含有570个数据点,通过公式计算每个子序列段的570个数据点的平均值,组成新的序列进一步,通过步骤S4中的离散傅里叶变换公式对每个序列中的含有570个数据的子序列段分别进行离散傅里叶变换,取前3个频域数据作为子序列段的趋势特征表示,则得到12条新的序列,每个序列的数据由101个子序列组成,每个子序列段由1个平均值和3个傅里叶系数组成。
最后,通过步骤S5对上述得到的新序列进行符号化表示。
步骤S51具体包括有:
S511:首先确定字母表的大小,即定义符号的种类数α;
S512:通过把步骤S511得到的符合高斯分布的序列按照分割点的大小划分为α个等概率区间,每个区间对应表示一种符号,其中分割点的定义和字母表大小的关系如表1所示符号按照从低到高的方式进行分配,即从下而上依次为A,B,C,...;
S513:比较序列段的均值和分割点的大小,如果序列段的均值在分割区间内,则将该序列段表示为这个分割区间所对应的符号。
表1字母表大小从5到10分别对应的分割点
S52:在每个分段所表示的符号后面加上由离散傅里叶变换得到的傅里叶系数按照序列顺序合成一个新的序列,作为一个完整的多元时间序列的符号化类别集其中由1个符号和3个傅里叶系数组成。
定义字母表的大小为7,则符号种类有A,B,C,D,E,F,G共7类。根据SAX符号化方法对其进行符号化表示,得到相应的符号序列。由此合成每个子序列段对应的符号和趋势数据表示该序列的符号化类别集,将12个57570维的时间序列转换为12个404维的新序列。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种多元时间序列基于傅里叶系数符号化类别集生成方法,其特征在于,所述方法步骤如下:
S1:获取多元时间序列数据;
S2:对多元时间序列数据进行预处理,获得具有高斯分布的均值为0且方差为1的标准序列;
S3:采用分段聚合近似表示算法对多元时间序列进行分段,并获取各序列的所有分段信息;
S4:将各序列的分段数据分别进行离散傅里叶变换,得到由傅里叶系数表示的序列段内的趋势特征;
S5:采用符号聚合近似表示方法对多元时间序列的序列段进行符号化表示,每个序列段所对应的符号和傅里叶系数即为该序列段完整的符号化类别集。
2.如权利要求1所述的多元时间序列基于傅里叶系数符号化类别集生成方法,其特征在于,所述步骤S2中对多元时间序列进行预处理的具体步骤如下:
S21:设多元时间序列为分别有n个观测值的m个独立的时间序列组成,式中,Xi表示第i条原始时间序列,xij表示第i条时间序列在j时刻的原始观测值数据大小):
计算各个序列数据的均值和标准差
S22:归一化的过程即消除各序列数据的维度量纲,对多元时间序列数据进行归一化处理得到符合正态分布的新多元序列为式中,X′i表示第i条归一化得到的时间序列,x′ij表示第i条时间序列在j时刻的归一化后的观测值数据大小。
3.如权利要求1所述的多元时间序列基于傅里叶系数符号化类别集生成方法,其特征在于,所述步骤S3的多元序列采用分段聚合近似方法进行分段的具体步骤如下:
S31:根据数据特征,对每个序列进行分段数目wi(1≤i≤m)的确定;
S32:采用分段聚合近似的方法,输入各序列的分段数目,经过计算得到各序列分段的平均值,由此获取一个由各分段的平均值组成的新的多元序列为式中,表示第i条分段聚合近似得到的时间序列,表示第i条时间序列在j时刻的分段聚合近似得到的观测值数据大小。
4.如权利要求3所述的多元时间序列基于傅里叶系数符号化类别集生成方法,其特征在于,所述步骤S4包括有:
由每个序列被分为了w段,则每段内的数据个数为作为子序列段;每条序列都有w个子序列段,依次将其从原序列中提取出来,对提取出来的子序列段分别进行离散傅里叶变换,选择其傅里叶系数的前3个数据作为该序列内第K个子序列段的趋势特征表示;将所有子序列段的都集合起来就得到该多元时间序列的整体分段趋势特征表示式中,表示第i条离散傅里叶变换得到的时间序列,其中由表示第i条时间序列在j时刻的离散傅里叶变换得到的3个傅里叶系数组成。
5.如权利要求3所述的多元时间序列基于傅里叶系数符号化类别集生成方法,其特征在于,所述步骤S5具体包括有:
S51:采用符号聚合近似方法对由分段聚合近似算法计算得到的每个子序列段的均值进行符号化,得到相应的符号序列;
S52:在每个分段所表示的符号后面加上由离散傅里叶变换得到的傅里叶系数按照序列顺序合成一个新的序列,作为一个完整的多元时间序列的符号化类别集式中,表示第i条符号化得到的符号序列,其中由1个符号和3个傅里叶系数组成。
6.如权利要求5所述的多元时间序列基于傅里叶系数符号化类别集生成方法,其特征在于,所述步骤S51具体包括有:
S511:首先确定字母表的大小,即定义符号的种类数α;
S512:通过把步骤S511得到的符合高斯分布的序列按照分割点的大小划分为α个等概率区间,每个区间对应表示一种符号,其中分割点的定义和字母表大小的关系按照从低到高的方式进行分配,即从下而上依次为A,B,C,...;
S513:比较序列段的均值和分割点的大小,如果序列段的均值在分割区间内,则将该序列段表示为这个分割区间所对应的符号。
CN201810271174.XA 2018-03-29 2018-03-29 一种多元时间序列基于傅里叶系数符号化类别集生成方法 Pending CN108595528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810271174.XA CN108595528A (zh) 2018-03-29 2018-03-29 一种多元时间序列基于傅里叶系数符号化类别集生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810271174.XA CN108595528A (zh) 2018-03-29 2018-03-29 一种多元时间序列基于傅里叶系数符号化类别集生成方法

Publications (1)

Publication Number Publication Date
CN108595528A true CN108595528A (zh) 2018-09-28

Family

ID=63623864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810271174.XA Pending CN108595528A (zh) 2018-03-29 2018-03-29 一种多元时间序列基于傅里叶系数符号化类别集生成方法

Country Status (1)

Country Link
CN (1) CN108595528A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032585A (zh) * 2019-04-02 2019-07-19 北京科技大学 一种时间序列双层符号化方法及装置
CN110265151A (zh) * 2019-04-02 2019-09-20 莫毓昌 一种基于ehr中异构时态数据的学习方法
CN110955294A (zh) * 2019-11-25 2020-04-03 重庆大学 一种可配置有序键值类数据模拟发生方法及其发生装置
CN110990449A (zh) * 2019-10-29 2020-04-10 贝壳技术有限公司 时间序列处理方法、装置、存储介质及处理器
CN111241150A (zh) * 2019-12-18 2020-06-05 重庆大学 用于监测数据处理的多元时间序列符号化映射方法
CN113760881A (zh) * 2021-09-13 2021-12-07 国网冀北电力有限公司秦皇岛供电公司 一种基于sax的电能质量数据处理的方法及电子设备
CN114579554A (zh) * 2022-03-08 2022-06-03 京东科技信息技术有限公司 运维时间序列数据处理方法及装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488790A (zh) * 2013-10-08 2014-01-01 河海大学 基于加权borda计数法的多元时间序列相似分析方法
CN106095787A (zh) * 2016-05-30 2016-11-09 重庆大学 时间序列数据的一种符号化表示方法
US20170116524A1 (en) * 2015-10-23 2017-04-27 Oracle International Corporation Sensor time series data: functional segmentation for effective machine learning
CN107169062A (zh) * 2017-05-02 2017-09-15 江苏大学 一种基于始末距离的时间序列符号聚合近似表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488790A (zh) * 2013-10-08 2014-01-01 河海大学 基于加权borda计数法的多元时间序列相似分析方法
US20170116524A1 (en) * 2015-10-23 2017-04-27 Oracle International Corporation Sensor time series data: functional segmentation for effective machine learning
CN106095787A (zh) * 2016-05-30 2016-11-09 重庆大学 时间序列数据的一种符号化表示方法
CN107169062A (zh) * 2017-05-02 2017-09-15 江苏大学 一种基于始末距离的时间序列符号聚合近似表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUILING LI 等: "TSX: A Novel Symbolic Representation for Financial Time Series", 《PRICAI 2012: TRENDS IN ARTIFICIAL INTELLIGENCE》 *
熊英志: "时间序列的特征表示与聚类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032585A (zh) * 2019-04-02 2019-07-19 北京科技大学 一种时间序列双层符号化方法及装置
CN110265151A (zh) * 2019-04-02 2019-09-20 莫毓昌 一种基于ehr中异构时态数据的学习方法
CN110265151B (zh) * 2019-04-02 2022-06-21 莫毓昌 一种基于ehr中异构时态数据的学习方法
CN110990449A (zh) * 2019-10-29 2020-04-10 贝壳技术有限公司 时间序列处理方法、装置、存储介质及处理器
CN110955294A (zh) * 2019-11-25 2020-04-03 重庆大学 一种可配置有序键值类数据模拟发生方法及其发生装置
CN111241150A (zh) * 2019-12-18 2020-06-05 重庆大学 用于监测数据处理的多元时间序列符号化映射方法
CN113760881A (zh) * 2021-09-13 2021-12-07 国网冀北电力有限公司秦皇岛供电公司 一种基于sax的电能质量数据处理的方法及电子设备
CN113760881B (zh) * 2021-09-13 2023-09-19 国网冀北电力有限公司秦皇岛供电公司 一种基于sax的电能质量数据处理的方法及电子设备
CN114579554A (zh) * 2022-03-08 2022-06-03 京东科技信息技术有限公司 运维时间序列数据处理方法及装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108595528A (zh) 一种多元时间序列基于傅里叶系数符号化类别集生成方法
CN106371610B (zh) 一种基于脑电信号的驾驶疲劳的检测方法
Cabello et al. Fast and accurate time series classification through supervised interval search
CN104182460B (zh) 基于倒排索引的时间序列相似性查询方法
CN108985380B (zh) 一种基于聚类集成的转辙机故障识别方法
CN110444011B (zh) 交通流高峰识别方法、装置、电子设备及存储介质
CN112508105A (zh) 一种采油机故障检测与检索方法
CN110782658A (zh) 一种基于LightGBM算法的交通量预测方法
CN110288003B (zh) 数据变化识别方法及设备
CN104572886A (zh) 基于k线图表示的金融时间序列相似性查询方法
CN112765562B (zh) 一种基于动态网格划分的时序数据趋势特征提取方法
CN106452934B (zh) 一种网络性能指标变化趋势的分析方法和装置
CN102663447A (zh) 基于判别相关分析的跨媒体检索方法
CN114897242B (zh) 一种自适应分割时段场次降雨径流的方法
CN116010795A (zh) 基于图像特征和深度学习的相似场次降雨模式库构建方法
CN101853503A (zh) 一种谱线拐点多尺度寻优分段方法及其应用
US10169364B2 (en) Gauging accuracy of sampling-based distinct element estimation
CN111340645A (zh) 一种针对电力负荷的改进关联分析方法
CN111625578B (zh) 适用于文化科技融合领域时间序列数据的特征提取方法
CN109409407A (zh) 一种基于le算法的工业监测数据聚类方法
CN104850740A (zh) 基于动态时间弯曲的数据流模式匹配方法
JP6207405B2 (ja) データ処理装置
CN102262679A (zh) 一种水文时间序列模体挖掘方法
CN115309805A (zh) 一种基于极值点划分和l-k模式距离的降雨过程相似性搜索方法及系统
CN114969638A (zh) 一种基于模态当量标准化的桥梁性能异常预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928

WD01 Invention patent application deemed withdrawn after publication