CN103341506A - 一种基于数据模式的板形时间序列数据挖掘方法 - Google Patents

Abstract

本发明提供一种基于数据模式的板形时间序列数据挖掘方法，采用数据模式对冷轧板生产的PDA监测数据进行数据预处理，排除原始数据中的噪声数据、空缺数据及不一致数据；对数据预处理完的数据进行频繁一项集和多项集的发现，找出频繁一项集和多项集；对频繁项集发现过程中找出的频繁项集进行关联规则的发现，找出隐藏在数据里面潜在的关联规则。本发明通过在Apriori算法中引入和使用平均支持度和平均置信度阈值，可高效挖掘出时间序列数据中有意义的频繁项集和关联规则，有效去除无意义的数据关联，为高精度板形控制提供数据依据，极大缩短板形调整时间，提高板形控制精度，使板形综合指标稳定控制在5I以内。

Description

一种基于数据模式的板形时间序列数据挖掘方法

技术领域

本发明属于过程自动控制领域，特别涉及一种基于数据模式的冷连轧板形控制时间序列数据挖掘方法。

背景技术

时间序列数据挖掘是时间序列数据库知识发现的重要步骤之一，板形数据时间序列的一种。板形控制是冷轧板带加工的核心技术之一，近年来随着科学技术的不断进步，先进的板形控制技术不断涌现，在众多高精度板形控制方法中，具有代表性的方法有：优化轧制规程、液压弯辊、轧辊倾斜、轧辊横移、轧辊分段冷却等。板形控制技术的发展，促进了冷轧板带工业的装备进步和产业升级，生产效益和效率大幅度提升。目前，国内大部分的冷轧生产线都安装了板形仪，板形仪的安装使得板形控制有了长足的进步，板形仪上分布的众多传感器采集了海量的板形数据信息，大部分的公司对这些数据并没有很好进行利用，许多可以进一步提高板形控制精度和解决板形相关问题的数据知识并没有得到发现。

数据挖掘就是从大量的﹑不完全的、有噪声的﹑模糊的、随机的数据中，提取隐含在其中的﹑人们事先不知道的﹑但又是潜在的有用信息和知识的过程。数据挖掘的主要方法有：关联规则、神经网络、统计方法、决策树、K-近邻法﹑遗传算法﹑数据可视化、OLAP联机分析等。

关联规则是数据挖掘中最重要的方法之一。所谓关联规则数据挖掘就是发现数据中项集之间有趣的关联和相关联系，这种发现的相关关系可以帮助进行商务决策等。在关联规则发现算法之中，Apriori算法是最经典的算法之一，然而Apriori算法本身亦存在固有的局限性。

Apriori算法本身固有的局限性主要体现在：

1、在支持度方面

如果挖掘的最小支持度定得较高，那么覆盖较少数据但却有意义的关联知识将不能被发现；

如果最小支持度定得过低，那么大量的无实际意义的数据关联将充斥在挖掘过程中，大大降低挖掘的效率和得到规则的可用性。

2、在置信度方面

如果采用唯一的置信度，它的前提条件就是各个规则用于推理的强度非常相似,但在现实生活中这个条件很难成立。

针对以上问题，最早在1996年就有学者提出采用变支持度和变置信度阈值来进行关联规则的挖掘的算法。专利公开号CN1627292A公开的“一种自适应快速关联规则挖掘算法”中，提出一种自适应快速关联规则挖掘算法，该算法构造一种伸缩超结构，设计了一种能够自动适应计算机内存要求来构建超结构并进行关联规则挖掘。专利公开号CN101127037A提供了一种“基于时序向量差异序列法聚类的周期关联规则发现算法”，公开了一种基于时序向量差异序列聚类的周期关联规则，提出了CSDMA算法和CFP-tree。CSDMA算法选择由项目支持度组成的时序向量作为时域数据特征点进行聚类，CFP-tree算法采用了基于条件FP树的周期性剪枝技术。专利公开号CN1479902提供的“工作流挖掘系统和方法”则披露了一种通过在工作流系统的运行过程中积累的工作流纪录数据中使用特定的数据挖掘技术，而可以评价、分析和确定过程和活动的先前执行结果的工作流系统，以及由此得到的方法。

上述方法虽各有所长，但均未解决Apriori算法固有的局限，同时在已经公开的各类文献中也没有检索有关解决Apriori算法固有局限的报道，更未见到在板形控制中的应用的先例。但却仍未本发明应用平均阈值的概念，

发明内容

本发明旨在克服Apriori算法的固有缺限，提供一种在时间序列数据挖掘时，利用数据模式高效挖掘出有意义的频繁项集和关联规则，有效去除无意义的数据关联，从而为高精度板形控制提供数据依据的板形时间序列数据挖掘方法。

为此，本发明所采取的解决方案是：

一种基于数据模式的板形时间序列数据挖掘方法，采用Apriori算法，其特征在于，通过引入和使用平均支持度和平均置信度阈值，高效挖掘出时间序列数据中有意义的频繁项集和关联规则，有效去除无意义的数据关联，为高精度板形控制提供数据依据；包括数据预处理、频繁项集发现、关联规则发现三个步骤；

数据预处理：采用数据模式对冷连轧生产现场的PDA监测数据进行数据预处理，排除原始数据中的噪声数据、空缺数据及不一致数据，为数据频繁项集和关联规则进行数据准备；

频繁项集发现：对数据预处理完的数据进行频繁一项集和多项集的发现，找出频繁一项集和多项集，为快速调整板形提供数据参考；

关联规则发现：对频繁项集发现过程中找出的频繁项集进行关联规则的发现，找出隐藏在数据里面潜在的关联规则，为冷连轧板形调整提供数据参考；

数据模式：

若某一时刻TI数据能够反映某一段时间TI T(I+N)数据的综合信息，则定义

的数据为一类数据模式；这段时间数据的最大值TIS_max和最小值TIS_min，则TI时刻数据模式的数值M_TI为TI T(I+N)这段时间的平均值；其中，I为任意时间，N为时间间隔；

数据模式包含：若TI时刻数据的最大值TIS_max和最小值TIS_min，定义为数据模式A；另一时刻T(I+N)数据的最大值T(I+N)S_max和最小值T(I+N)S_min，定义为数据模式B；若存在关系TIS_max T(I+N)S_max且TIS_min T(I+N)S_min,则称数据模式A包含数据模式B，即B A；

数据模式预处理算法流程如下：

⑴、定义数据模式时间间隔N，找出所有数据模式以及所对应的最大值和最小值；

(2)、合并数据模式，循环处理，根据数据模式包含，找出相似模式，进行合并处理，同时该种数据模式支持度加1；

(3)、对各个数据模式进行分类汇总；

经对冷连轧板形PDA监测数据进行以上处理后，构建板形相关数据空间{T_i,B_i,B_w,CVC}，T_I为倾斜，B_I为中间辊弯辊力，B_W为工作辊弯辊力，CVC为辊型；

利用Apriori算法寻找最大项目集：算法需要对数据集进行多步处理；第一步,简单统计所有含一个元素项目集出现的频率,并找出那些不小于最小支持度的项目集,即一维最大项目集；从第二步开始循环处理直到再没有最大项目集生成；循环过程是：第k步中,根据第k-1步生成的(k-1)维最大项目集产生k维候项目集，然后对数据库进行搜索，得到候项目集的项集支持度,与最小支持度比较,从而找到k维最大项目集；一旦由数据库D中的事务找出频繁项集，则由这些频繁项集产生强关联规则，规则的支持度和置信度需满足最小支持度阈值和最小置信度阈值，最小支持度阈值和最小置信度阈值均为预先设定的经验值；

基于平均阈值的Apriori算法关联规则挖掘流程如下：

⑴、频繁项集的生成：根据数据库计算一项集的支持度及其平均值，找出支持度大于等于平均支持度的项,作为频繁一项集；循环处理；第k步，根据k-1步频繁的k-1项集L_k-1按照Apriori_gen产生候选的k项集C_k集，对候选的k项集计算每项的支持度及其平均值，找出支持度大于等于平均支持度的项，作为频繁k项集；

(2)、根据规则结论中的项目数，把规则进行分类，计算每类中各个规则的置信度及其每类的平均置信度，把每类的平均置信度作为该类的最小置信度，找出置信度不低于

度的规则即为关联规则。

与已有技术相比，本发明的有益效果为：

本发明提出了一种采用数据模式进行冷连轧板形时间序列数据挖掘的方法，利用数据模式的预处理算法对原始数据进行预处理，通过引入和使用平均支持度和平均置信度阈值的Apriori算法进行频繁项集和关联规则的数据挖掘，可以高效挖掘出时间序列数据中有意义的频繁项集和关联规则，有效去除无意义的数据关联，同时可建立板形仪控制指标间的相互影响的关联关系，从而为高精度板形控制提供数据依据，极大缩短板形调整时间，简化调整程序，提高板形控制精度，使板形综合指标稳定控制在5I以内。

附图说明

图1是平均阈值Apriori算法频繁项集挖掘流程图；

图2是平均阈值Apriori算法关联规则挖掘流程图；

图3是板形仪快速调整结果图。

具体实施方式

本发明基于数据模式的板形时间序列数据挖掘方法，主要是在应用Apriori算法时引入了平均支持度和平均置信度阈值，从而挖掘出时间序列数据中有意义的频繁项集和关联规则，并去除无意义的数据关联，为高精度板形控制提供数据依据。

以某冷轧生产线为例，对本发明作具体说明。

首先，根据数据预处理算法对生产线PDA监测数据进行数据预处理。数据选自某一天正常生产数据，板型控制综合指标在5I(平直度)之内，时间从9时36分到14时42分，数据时间间隔为1分钟，共306组数据。

如14:00的数据模式为14:00到14:01之间的平均值，

数据最大值TIS_max=[0.0188,0.4518,0.2323,-0.0754]，

最小值TIS_min=[-0.0427,0.0905,0.0578,-0.3765]，

M_14:00=[-0.0173,0.2910,0.1548,-0.2425]。

14:01数据模式为14:01到14:02之间的平均值，从PDA查知，数据为

TIS_max=[-0.00853,0.4865,0.2476,-0.2949]

TIS_min=[-0.04193,0.3539,0.1828,-0.4054],

M_14:01=[-0.02911,0.411,0.210,-0.3425]，共有306组数据。

利用数据模式预处理算法进行数据预处理。具体预处理算法如下：

1)Begin

2)N：为数据模式的时间间隔

3)k=0

4)For I=1to n do;n为总步数

5)k=k+1

6)M_TK=￠

7)For M=1to n-1

8)If TISmax≥T(I+MN)Smax and TISmin≤T(I+MN)Smin

9)Then supp(M_TK)=supp(M_TK)+1

10)Else M_TK=M_TK∪M_(T+N)k

11)NEXT M

12)NEXT I

13)Sort(M_TK)；对各个数据模式进行分类汇总

14)END

经过数据预处理之后数据模式由306组，降为270组。具体频繁项集发现算法的流程如图1所示：

1)C₁;supp_sum=zeros;n=zeros;minsup=zeros//C₁为候选一项集，zero为零矩阵；

2)n[1]=count(C₁)//候选一项集的数目

3)for each transaction t∈D//扫描数据库

4)C_t=subset(C₁,t)//得到候选一项集的事物集合

5)for each candidate c∈C_t//扫描候选一项集

6)c.count++//候选一项集子集支持数计数

7)supp_sum[1]=supp_sum[1]+c.count;

8)end

9)minsup[1]=supp_sum[1]/n[1]//最小支持度

10)L₁={c∈C₁,c.count>=minsup[1]}//频繁一项集

11)end

12)for(k=2;L_k-1!=φ；k++)do begin

13)C_k=apriori_gen(L_k-1);n[k]=count(C_k)//产生候选k项集并计数

14)for each transaction t∈D do begin//扫描数据库

15)C_t=subset(C_k,t)//得到候选k项集的事物集合

16)for each candidate c∈C_t do//扫描候选集

17)c.count++//项集支持度计数

18)supp_sum[k]=supp_sum[k]+c.count;

19)end

20)minsup[k]=supp_sum[k]/n[k]//最小支持度

21)L_k={c∈C_k,c.count>=minsup[k]};

22)end

23)end

24)return L=∪L_k;

多维频繁项集的发现{T_i,B_i,B_w,CVC}

根据发现的频繁项集可以进一步发现多维关联规则，找出关联项目。具体平均阈值关联规则发现算法如图2：

1)for each frequent k-items L_k do begin//对每一个频繁k项集操作；

2)mt-ap-genrules(L_k,H₁);//mt-ap-genrules函数,H₁规则L_k的结论部分有一个项目的

3)end

4)procedure mt-ap-genrules(L_k,H_m)//函数mt-ap-genrules

5)if(k>=m+1)then begin

6)H_m+1=apriori-gen(H_m)//由结论部分有m个项目产生，结论部分有m+1个候选的规则；

7)N_m+1=count(H_m+1)//H_m+1的子项个数计数

8)conf_sum=zeros//置信度和初值为零矩阵

9)for i=1to N_m+1do begin//循环计算置信度

10)conf[i]=supp(L_k)/supp(L_k-h_m+1(i))//h_m+1(i)表示的是属于H_m+1的第i个子规则；

11)conf_sum[i]=conf_sum[i]+conf[i]

12)end

13)minconf[i]=conf_sum[i]/N_m+1//把平均置信度作为最小置信度阈值

14)if conf[i]>=minconf[i]then//对每一子项判断是否大于等于阈值

15)output rule(L_k-h_m+1)(h_m+1),confidence=conf[i],support=supp(L_k)//输出规则；

16)else delete h_m+1from H_m+1//从H_m+1中删除h_m+1

17)end

18)mt-ap-genrules(L_k,H_m+1)

19)end

本发明应用平均域值Apriori算法对频繁项集进行挖掘，从多维频繁项集的发现来看，多维关系的意义是在列号为231和270时为频繁多项集，即在13:26和14:42两个时刻的数据模式为频繁数据模式，这两个时刻数据模式分别为{0.0125,0.2031,0.4064,-0.3252}和(0.0307,0.2049,0.396,-0.3303)。

在板形事故中应用此挖掘结果对板形仪进行快速调整，从图3中可以看出，点线是正常调整板形仪需要的时间顺序点图形，B点开始板形仪调整到位，需要6个时间顺序点。实线是应用本方法后调整板形需要的时间顺序点图形，A点开始板形调整到位，能够看出使用本发明方法只需2个时间顺序点就可以将板形仪调整完毕，且板形平直度综合指标可稳定控制在5I之内。

Claims (1)

1.一种基于数据模式的板形时间序列数据挖掘方法，采用Apriori算法，其特征在于，通过引入和使用平均支持度和平均置信度阈值，高效挖掘出时间序列数据中有意义的频繁项集和关联规则，有效去除无意义的数据关联，为高精度板形控制提供数据依据；包括数据预处理、频繁项集发现、关联规则发现三个步骤；

数据预处理：采用数据模式对冷连轧生产现场的PDA监测数据进行数据预处理，排除原始数据中的噪声数据、空缺数据及不一致数据，为数据频繁项集和关联规则进行数据准备；

频繁项集发现：对数据预处理完的数据进行频繁一项集和多项集的发现，找出频繁一项集和多项集，为快速调整板形提供数据参考；

关联规则发现：对频繁项集发现过程中找出的频繁项集进行关联规则的发现，找出隐藏在数据里面潜在的关联规则，为冷连轧板形调整提供数据参考；

数据模式：

若某一时刻                                               数据能够反映某一段时间数据的综合信息，则定义这一时刻的数据为一类数据模式；这段时间数据的最大值 和最小值

，则

时刻数据模式的数值

为

这段时间的平均值；其中，I为任意时间，N为时间间隔；

数据模式包含：若

时刻数据的最大值

 和最小值

，定义为数据模式；另一时刻

数据的最大值

和最小值，定义为数据模式

；若存在关系且

,则称数据模式

包含数据模式

，即；

数据模式预处理算法流程如下：

、 定义数据模式时间间隔N，找出所有数据模式以及所对应的最大值和最小值；

(2)、合并数据模式，循环处理，根据数据模式包含，找出相似模式，进行合并处理，同时该种数据模式支持度加1；

(3)、对各个数据模式进行分类汇总；

经对冷连轧板形PDA监测数据进行以上处理后，构建板形相关数据空间

，T_I 为倾斜，B_I为中间辊弯辊力， B_W为工作辊弯辊力，CVC为辊型；

利用Apriori算法寻找最大项目集：算法需要对数据集进行多步处理；第一步,简单统计所有含一个元素项目集出现的频率,并找出那些不小于最小支持度的项目集, 即一维最大项目集；从第二步开始循环处理直到再没有最大项目集生成；循环过程是：第k步中, 根据第k-1步生成的(k-1)维最大项目集产生k维候项目集，然后对数据库进行搜索，得到候项目集的项集支持度, 与最小支持度比较, 从而找到k维最大项目集；一旦由数据库D中的事务找出频繁项集，则由这些频繁项集产生强关联规则，规则的支持度和置信度需满足最小支持度阈值和最小置信度阈值，最小支持度阈值和最小置信度阈值均为预先设定的经验值；

基于平均阈值的Apriori算法关联规则挖掘流程如下：

 、频繁项集的生成：根据数据库计算一项集的支持度及其平均值，找出支持度大于等于平均支持度的项,作为频繁一项集；循环处理；第k步，根据k-1步频繁的k-1项集L_k-1按照Apriori_gen产生候选的k项集C_k集，对候选的k项集计算每项的支持度及其平均值，找出支持度大于等于平均支持度的项，作为频繁k项集；

(2)、根据规则结论中的项目数，把规则进行分类，计算每类中各个规则的置信度及其每类的平均置信度，把每类的平均置信度作为该类的最小置信度，找出置信度不低于最小置信度的规则即为关联规则。

Images