CN114004286A - 一种基于频繁项挖掘的多维时间序列同步模体发现方法 - Google Patents

Abstract

本发明公开了一种基于频繁项挖掘的多维时间序列同步模体发现方法，首先，使用单维时间序列模体挖掘方法发现单个维度内的K‑模体；根据多个维度中每个模体实例出现的时间，构造同步模体实例；其次，每个同步模体实例视为关联规则挖掘中的一个事务，每个模体实例作为事务中的一个事务项，将多维模体挖掘转化为频繁项集挖掘；然后，利用改进的Apriori挖掘同步模体实例中的频繁模体实例集；最后，根据预定的支持度阈值，得到最终的多维模体。相比较与目前已有的多维模体挖掘方法只能发现最相近的模体，本发明能够挖掘出多维时间序列中同时出现或者在时间上相近出现的模体，同时发现多个维度上的多种模体实例组合可能。

Description

一种基于频繁项挖掘的多维时间序列同步模体发现方法

技术领域

本发明属于信息技术领域，具体涉及一种基于频繁项挖掘的多维时间序列同步模体发现方法。

背景技术

模体被定义为近似重复的序列、形状、频繁的趋势、重复的模式等。模体挖掘可以通过无监督的方式地发现时间序列数据中重复出现、未知的、有意义的片段，进而发现时间序列中的潜在规则和特定事件。随着大数据时代的到来，在科学实验和正常的业务操作过程中时刻都在产生大量的数据，同时这些数据呈现多变量、高维度、大容量等特点。多维时间序列模体是指在多维时间序列的若干个维度上同时出现的重复模式或者片段。多维时间序列模体分析可以从由时序序列组成的多维序列数据中寻找有用的信息，在发现时序序列数据中内在行为和规律的同时，反映不同维度时序序列之间的相互关系。在环境管理、医疗健康、基因工程等领域，进行多维模体挖掘具有重要的现实意义。

定义1.K-模体。给定一个单维时间序列T，子序列长度为m和距离阈值范围R。在距离阈值范围R内，如果一个子序列C₁在T中非平凡匹配的子序列数最多，则C₁和这些匹配的子序列共同构成T中最重要的模体，即1-模体。同理，K-模体是T中子序列C_k非平凡匹配子序列数量第K多的子序列集合，并且满足D(C_k,C_i)>2R，其中1≤i＜k，D(,)表示距离度量方式。

定义2.多维同步模体。给定阈值td和两个不同维度的单维模体S₁＝{A₁,A₂}、S₂＝{B₁,B₂}，其中A₁、A₂和B₁、B₂分别表示模体S₁和S₂的模体实例。如果满足T(A₁,B₁)<td且T(A₂,B₂)<td，则S₁和S₂构成一个2维模体；其中T(,)计算两个模体实例的开始位置之差。

发明内容

发明目的：为了克服现有技术中存在的问题，本发明提供了一种基于频繁项挖掘的多维时间序列同步模体发现方法，能够发现多维时间序列中同时出现或者相近出现的多实例模体信息，在给定阈值下，给出多个维度上所有的多实例模体的组合。

技术方案：本发明提供了一种基于频繁项挖掘的多维时间序列同步模体发现方法，具体包括以下步骤：

(1)在每个维度发现单维K-模体，即：1-模体、2-模体、…、以及k-模体；

(2)利用单维K-模体实例构造同步模体实例集SI；

(3)将所有同步模体实例集转换成事务集T：提取同步模体实例集中的每个模体实例的标识，每个标识描述一个事务项，即同一个维度同一个体中的所有模体实例都认为是同一个事务项，同步模体实例集中的标识构成事务t；

(4)设置支持度计数minsup，采用改进Apriori算法对TS进行频繁项集挖掘，并输出频繁项集；

(5)多维模体的输出：根据挖掘出的频繁项集到同步模体实例集MI中检索对应的模体实例。

进一步地，所述步骤(1)包括以下步骤：

(11)提取子序列：采用长度为w的滑动窗口对时间序列按照步长1截取生成子序列；

(12)计算子序列之间的距离矩阵：计算任意两个子序列s_i和s_j之间的距离，形成距离矩阵D_ij，D_ij表示子序列s_i和s_j之间的距离；采用两个子序列之间的相关系数矩表示两个子序列之间的相似程度，相关系数越大表示相似程度越大；

(13)设置相关系数矩阵中相关系数低于阈值c的元素为0，为0的元素表示两个子序列不相似；

(14)计算每个子序列s_i的相似子序列个数：将所有子序列的集合作为初始处理集S_o，剔除所有与s_i相关系数为0的子序列；剔除S_o中与当前子序列s_i平凡匹配的子序列；将S_o中将与当前子序列s_i距离最近的子序列sm_i作为候选加入s_i的相似集S_s中，并将sm_i从S_o中剔除；剔除S_o中与sm_i平凡匹配的子序列；递归处理子序列S_o，直到S_o中子序列为空；记录子序列s_i的相似子序列的位置以及总个数；

(15)提取K-模体：提取相似子序列总数前k多的子序列及其相似子序列，相似子序列最多的子序列及其相似子序列构成1-模体，相似子序列第二多的子序列及其相似子序列构成2-模体，依次类推。

进一步地，所述步骤(2)包括以下步骤：

(21)使用四元组[d,k,t,l]描述所有的单维模体实例mi，其中，d表示该模体实例所属的维度；k表示属于该d维度中第k重要的模体；t描述该模体实例在原始时间序列中的开始位置；l描述该模体实例的标识，标识中包括所在维度信息以及所在的模体信息，标识的格式为：“M”+两位维度标识+两位模体标识；若维数和模体数量更加，可以扩展编码位数；对模体实例分配标识后，同一维度同一模体中的所有模体实例的标识都相同；

(22)基于预先定义的时间阈值td，将满足阈值条件的不同维度的单维模体实例置入同一个同步模体实例集SI中；对于两个不同维度的模体实例[d1,k1,t1,l1]和[d2,k2,t2,l2]，如果满足条件|t1-t2|＜td，则这两个模体实例属于同步模体实例；多个互相同步的模体实例构成一个同步模体实例集，在同一个同步模体实例集中任意两个实例之间的时间距离小于td；其中td取值为模体实例长度w的百分比，用户根据业务领域需求设置，td取值越小，模体实例同步越高。

进一步地，所述步骤(4)包括以下步骤：

(41)产生频繁项集和候选项集时，项集内部按照项所在的维度顺序对项进行排序，假设i<j，则第i维的项放置第j维的项前面；频繁项集的支持度minsup>＝2；

(42)对T中所有事务中的项进行计数，去掉支持度小于minsup的项，所有支持度不小于minsup的项组成频繁1项集的集合F₁；

(43)采用F₁*F₁产生候选2项集，即将F₁中任意两个非同一个维度的项进行组合，产生候选2项集集合CF₂；

(44)采用F_k-1*F_k-1的方式利用k-1频繁项集产生候选k项集(k>3)；合并两个k-1频繁项产生候选k项集，合并的两个k-1频繁项满足：这两个k-1频繁项的前k-2个项相同且第k-1项不属于同一个维度的；

(45)统计候选项集集CF_k中k项集的支持度计数，剔除CF_k中支持度计数小于minsup的k项集，剩下的k项集构成频繁k项集集合F_k；针对事务t_i，产生事务项的所有k项集集合；对CF_k中的任一k项集，若该k项集在当前事务t_i产生的k项集集合中，则该k项集支持度计数增加1，循环处理完所有事务；

(46)最终的频繁项集为：1维模体的项和

的并集。

进一步地，步骤(5)所述输出多维模体的具体操作为：根据挖掘出的频繁项集到同步模体实例集中检索对应的模体实例；若同步模体实例集包含该频繁项集的所有项，则输出频繁项集中项对应的模体实例。

有益效果：与现有技术相比，本发明的有益效果：1、现有方法主要挖掘的是单维模体或者多维时间序列的最近邻模体，本发明可以挖掘多维时间序列中的多实例模体；2、本发明充分利用了已有的成熟的频繁项集算法，同时结合多维时间序列模体的特点改进了利用k-1频繁项集产生候选k项集时的处理，提高了效率；3、本发明可以输出任意维度组合的高于支持度的模体。

附图说明

图1为本发明的流程图；

图2为同步模体实例集示例；

图3为不同数据集、不同时刻多维模体结果图；

图4为Dataset1下不同时刻多维模体结果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于频繁项挖掘的多维时间序列同步模体发现方法，主要包括：挖掘单维的K-模体、构造频繁项集挖掘的事务集、采用Apriori挖掘频繁项集和输出多维时间序列，如图1所示，具体包括以下步骤：

步骤1：在每个维度发现单维K-模体，即在每个维度上挖掘前k个模体：1-模体、2-模体、…、以及k-模体。具体包括如下步骤：

(1)提取子序列。采用长度为w的滑动窗口对时间序列按照步长1截取生成子序列。

(2)计算子序列之间的距离矩阵。计算任意两个子序列s_i和s_j之间的距离，形成距离矩阵D，D_ij表示子序列s_i和s_j之间的距离。本发明采用两个子序列之间的相关系数矩表示两个子序列之间的相似程度，相关系数越大表示相似程度越大。

(3)设置相关系数矩阵中相关系数低于阈值c的元素为0(表示两个子序列不相似)。阈值c由用户根据需要设置，可以在分析的过程中设置不同的c，获得不同的模体数量。

(4)计算每个子序列s_i的相似子序列个数。将所有子序列的集合作为初始处理集S_o，剔除所有与s_i相关系数为0的子序列；剔除S_o中与当前子序列s_i平凡匹配的子序列；将S_o中将与当前子序列s_i距离最近的子序列sm_i作为候选加入s_i的相似集S_s中，并将sm_i从S_o中剔除；剔除S_o中与sm_i平凡匹配的子序列；递归处理子序列S_o，直到S_o中子序列为空。记录子序列s_i的相似子序列的位置以及总个数。

(5)提取K-模体。提取相似子序列总数前k多的子序列及其相似子序列，相似子序列最多的子序列及其相似子序列构成1-模体，相似子序列第二多的子序列及其相似子序列构成2-模体，依次类推。

步骤2：利用单维模体实例构造同步模体实例集SI。同步模体实例集是同时出现或者出现时间相近的多个维度模体实例的集合，一个同步模体实例集可能包含多个维度的模体实例，但是一个维度只会包含一个实例。如图2所示，模体实例集SI₁包含第1,2,3维各一个实例，这是三个模体实例起始时间相近；模体实例集SI₂包含第1,2维各一个实例。构造同步模体实例集包括如下步骤：

(1)使用四元组[d,k,t,l]描述所有的单维模体实例mi，即：

mi＝[d,k,t,l] (1)

其中，d表示该模体实例所属的维度，k表示属于该d维度中第k重要的模体，t表示该模体实例在原始时间序列中的开始位置，l描述该模体实例的标识。标识中包括所在维度信息以及所在的模体信息，标识的格式为：“M”+两位维度标识+两位模体标识，如某模体实例为第1维度中2-模体的实例，则其标识为：M0102。若维数和模体数量更加，可以扩展编码位数。如第1维中2-模体中起始位置为100的模体实例其四元组为[1,2,100,‘M0102’]。对模体实例分配标识后，同一维度同一模体中的所有模体实例的标识都相同。所有模体实例构成模体实例集MI，即：

MI＝{所有模体实例mi的集合} (2)

(2)基于预先定义的时间阈值td，将满足阈值条件的不同维度的单维模体实例置入同一个同步模体实例集SI中。对于两个不同维度的模体实例[d1,k1,t1,l1]和[d2,k2,t2,l2]，如果满足条件|t1-t2|＜td，则这两个模体实例属于同步模体实例。多个互相同步的模体实例构成一个同步模体实例集，在同一个同步模体实例集中任意两个实例之间的起始时间距离小于td，SI的描述为：

其中，mi_i.d表示SI中第i个模体实例所属维度。td取值为模体实例长度w的百分比，比如10％，或者用户根据业务领域需求设置。模体实例之间同步性要求越高，td的取值就需要越小。

步骤3：将所有同步模体实例集转换成事务T。提取同步模体实例集中的每个模体实例的标识，每个标识描述一个事务项，即同一个维度同一个体中的所有模体实例都认为是同一个事务项，同步模体实例集中的标识构成事务t：

t＝{一个同步模体实例集中实例的标识} (4)

如图2中同步模体实例集SI₁转换的事务t₁为：{M0101,M0202,M0301}。所有的同步模体实例集形成的事务构成事务集T。

步骤4：假设多维时间序列维数为p，设置支持度计数minsup，一般minsup>＝2，采用改进的Apriori算法对T进行频繁项集挖掘，并输出频繁项集。具体步骤如下：

(1)对T中所有事务中的项进行计数，所有支持度不小于minsup的项组成频繁1项集集合F₁。如图2中的F1＝{{M0101},{M0201},{M0202},{M0301}}。

(2)采用F₁*F₁产生候选2项集，即将F₁中任意两个非同一个维度的项进行组合(因为同一个维度的项是不可能存在同一个事务中)，产生候选2项集集合CF₂。如图2中，产生的候选2项集的集合CF₂＝{{M0101,M0201},{M0101,M0202},{M0101,M0301},{M0101,M0301}}。在产生候选项集时，在项集中，将项的顺序按照维度顺序给出，即，假设i<j，则在项集中，第i维的项放置第j维的项前面。

(3)根据候选2项集集合CF₂生成频繁2项集集合F₂。统计CF₂中2项集的支持度计数。针对事务t_i，两两组合该事务的项生成2项集集合。如SI₁所对应的t₁的2项集集合为：{{M0101,M0202},{M0101,M0301},{M0101,M0301}}。对CF₂中的任一2项集，若该2项集在当前事务t_i产生的2项集集合中，则该2项集支持度计数增加1。循环处理完所有事务。剔除CF₂中支持度计数小于minsup的2项集，剩下的2项集构成频繁2项集集合F₂。

(4)采用F_k-1*F_k-1的方式两两组合k-1频繁项集产生候选k项集(k>3)，所有候选k项集构成候选k项集集合CF_k。要求：两个k-1频繁项集的前k-2项要相同，两个k-1频繁项集的第k-1项要属于不同的维度。步骤包括：

a)构建临时集合F_k-1’，F_k-1’内容和F_k-1相同。

b)取出F_k-1’中的一个k-1频繁项集f_{k-1_i}。

c)在CF_k中查找是否有候选k项集包含f_{k-1_i}，若有转b)。

d)在F_k-1’中检索与f_{k-1_i}前k-2个项相同，同时第k-1项不属于同一个维度的k-1项集f_{k-1_i}’；找不到则转b)。

e)从F_k-1’中去掉f_{k-1_i}’，合并f_{k-1_i}和f_{k-1_i}’，构成候选k项集加入CF_k。项集中，将项的顺序按照所在维度顺序给出，即，假设i<j，则在项集中，第i维的项放置第j维的项前面。

f)若F_k-1’中项集处理完，则结束，否则转b)。

(5)根据候选k项集集合CF_k，参考步骤(3)生成频繁k项集集合F_k。

(6)若k＝＝p,则频繁项集挖掘结束，否则k增加1，转(4)；最终的频繁项集为：1维模体的项和

的并集。

步骤5：多维模体的输出。根据挖掘出的频繁项集到同步模体实例集MI中检索对应的模体实例，若同步模体实例集的实例标识包含频繁项集，则根据相应的模体实例信息输出模体实例。如挖掘出{M0101,M0201}为频繁2项集，即第1维1-模体中的实例和第2维1-模体中的实例构成多维模体，根据该频繁项集标识，遍历所有的同步模体实例集，在同步模体实例集SI₁,SI₂中可以找到这两个频繁项对应的模体实例。如图2中SI₁中有两个模体实例的标识分别和{M0101,M0201}中项相同，则分别输出SI₁中标识为M0101和标识为M0201的模体实例的四元组信息。

本实施方式构造随机游走数据。随机产生长度为n的随机数，构造时间序列{X₁,X₂,…,X_n}，并对序列中的每个值去均值化，使用如下公式计算得到一个新序列{x₁,x₂,…,x_n}。

使用如下公式计算新序列{x₁,x₂,…,x_n}的部分和，构造随机游走序列Y＝{y₁,y₂,…,y_n}：

在随机游走数据Y中植入UCR数据集，如表1所示，将UCR数据集中每个模体实例，使用长度两倍于模体实例的随机游走数据分离连接，以模拟真实世界的应用程序。

表1合成数据集描述表

基于合成数据集Dataset1，固定模体长度为植入模式的长度80，滑动窗口大小为500，基本窗口大小为100，相关系数阈值为0.99。验证本发明可以有效地找到多维模体，实验结果如图3和图4所示。分析图3和图4可以发现，在合成数据集中，本发明可以在多维流时间序列中，将多维模体结果挖掘并展示其有效性。

Claims (5)

1.一种基于频繁项挖掘的多维时间序列同步模体发现方法，其特征在于，包括以下步骤：

(1)在每个维度发现单维K-模体，即：1-模体、2-模体、…、以及k-模体；

(2)利用单维K-模体实例构造同步模体实例集SI；

(3)将所有同步模体实例集转换成事务T：提取同步模体实例集中的每个模体实例的标识，每个标识描述一个事务项，即同一个维度同一个体中的所有模体实例都认为是同一个事务项，同步模体实例集中的标识构成事务t；

(4)设置支持度计数minsup，采用改进Apriori算法对TS进行频繁项集挖掘，并输出频繁项集；

(5)输出多维模体。

2.根据权利要求1所述的基于频繁项挖掘的多维时间序列同步模体发现方法，其特征在于，所述步骤(1)包括以下步骤：

(11)提取子序列：采用长度为w的滑动窗口对时间序列按照步长1截取生成子序列；

(12)计算子序列之间的距离矩阵：计算任意两个子序列s_i和s_j之间的距离，形成距离矩阵D_ij，D_ij表示子序列s_i和s_j之间的距离；采用两个子序列之间的相关系数矩表示两个子序列之间的相似程度，相关系数越大表示相似程度越大；

(13)设置相关系数矩阵中相关系数低于阈值c的元素为0，为0的元素表示两个子序列不相似；

(14)计算每个子序列s_i的相似子序列个数：将所有子序列的集合作为初始处理集S_o，剔除所有与s_i相关系数为0的子序列；剔除S_o中与当前子序列s_i平凡匹配的子序列；将S_o中将与当前子序列s_i距离最近的子序列sm_i作为候选加入s_i的相似集S_s中，并将sm_i从S_o中剔除；剔除S_o中与sm_i平凡匹配的子序列；递归处理子序列S_o，直到S_o中子序列为空；记录子序列s_i的相似子序列的位置以及总个数；

(15)提取K-模体：提取相似子序列总数前k多的子序列及其相似子序列，相似子序列最多的子序列及其相似子序列构成1-模体，相似子序列第二多的子序列及其相似子序列构成2-模体，依次类推。

3.根据权利要求1所述的基于频繁项挖掘的多维时间序列同步模体发现方法，其特征在于，所述步骤(2)包括以下步骤：

(21)使用四元组[d,k,t,l]描述所有的单维模体实例mi，其中，d表示该模体实例所属的维度；k表示属于该d维度中第k重要的模体；t描述该模体实例在原始时间序列中的开始位置；l描述该模体实例的标识，标识中包括所在维度信息以及所在的模体信息，标识的格式为：“M”+两位维度标识+两位模体标识；若维数和模体数量更加，可以扩展编码位数；对模体实例分配标识后，同一维度同一模体中的所有模体实例的标识都相同；

(22)基于预先定义的时间阈值td，将满足阈值条件的不同维度的单维模体实例置入同一个同步模体实例集SI中；对于两个不同维度的模体实例[d1,k1,t1,l1]和[d2,k2,t2,l2]，如果满足条件|t1-t2|＜td，则这两个模体实例属于同步模体实例；多个互相同步的模体实例构成一个同步模体实例集，在同一个同步模体实例集中任意两个实例之间的时间距离小于td；其中td取值为模体实例长度w的百分比，用户根据业务领域需求设置。

4.根据权利要求1所述的基于频繁项挖掘的多维时间序列同步模体发现方法，其特征在于，所述步骤(4)包括以下步骤：

(41)产生频繁项集和候选项集时，项集内部按照项所在的维度顺序对项进行排序，假设i<j，则第i维的项放置第j维的项前面；频繁项集的支持度minsup>＝2；

(42)对T中所有事务中的项进行计数，去掉支持度小于minsup的项，所有支持度不小于minsup的项组成频繁1项集的集合F₁；

(43)采用F₁*F₁产生候选2项集，即将F₁中任意两个非同一个维度的项进行组合，产生候选2项集集合CF₂；

(44)采用F_k-1*F_k-1的方式利用k-1频繁项集产生候选k项集(k>3)；合并两个k-1频繁项产生候选k项集，合并的两个k-1频繁项满足：这两个k-1频繁项的前k-2个项相同且第k-1项不属于同一个维度的；

(45)统计候选项集集CF_k中k项集的支持度计数，剔除CF_k中支持度计数小于minsup的k项集，剩下的k项集构成频繁k项集集合F_k；针对事务t_i，产生事务项的所有k项集集合；对CF_k中的任一k项集，若该k项集在当前事务t_i产生的k项集集合中，则该k项集支持度计数增加1，循环处理完所有事务；

(46)最终的频繁项集为：1维模体的项和

的并集。

5.根据权利要求1所述的基于频繁项挖掘的多维时间序列同步模体发现方法，其特征在于，步骤(5)所述输出多维模体的具体操作为：根据挖掘出的频繁项集到同步模体实例集中检索对应的模体实例；若同步模体实例集包含该频繁项集的所有项，则输出频繁项集中项对应的模体实例。

Images