CN103106321A - 一种基于Apriori方法的气象灾害智能感知方法 - Google Patents

Abstract

一种基于Apriori方法的气象灾害智能感知方法，利用该方法可以对知识库中的气象灾害信息和感知信息进行关联分析，并可以导出规则加入规则库。该方法的优化主要包括一下内容：通过矩阵存储法降低磁盘访问率，进一步减少候选项目集ck中的候选项的数量的事务压缩方法，经典约束规则的改进。这个改进方法具有磁盘访问率低，运行效率高，冗余规则少等特点。

Description

一种基于Apriori方法的气象灾害智能感知方法

技术领域

本发明涉及智能感知和数据挖掘领域，尤其是一种基于Apriori方法的气象灾害智能感知方法。

 

背景技术

目前，决策支持系统(DSS)是指综合利用大量数据，将数学模型和数据处理模型、管理学、控制论、运筹学等多学科知识有机组合，通过人机交互辅助各级决策者实现科学决策的系统。它通过信息、仿真和计算机等技术手段综合利用现有的数据模型，辅助决策者解决半结构化或非结构化决策问题。从决策支持系统的定义来看，信息、决策者和模型是决策支持系统的三个最基本要素，DSS的目的是辅助决策者做出决策方案，提高决策者的决策技能和组织决策的水平，最终提高组织技能，取得更好的经济效益。

目前DSS发展的重要方向及其衍生主要有以下几个方向:(l)模型驱动的智能决策支持系统(Model- driven IDSS)，(2)数据驱动的智能决策支持系统(Data-Driven IDSS), (3)知识驱动的决策支持系统(Knowledge-Driven IDSS)。

IDSS主要通过对关联隐藏的数据进行处理并模型化，利用数值模型的计算结果来进行决策支持。对于一个智能系统来说，知识库是其核心，在这个知识库中，往往包含大量模糊、随机、不可靠或不确定性因素的数据，显然用于海量数据的处理的数据挖掘技术是实现智能感知与优化发展的核心。

Apriori方法的基本思想是“利用频繁项集的先验知识，也就是说使用一种逐层搜索的迭代方法来寻找频繁项集进而求出关联规则”。该方法是一种寻找频繁项集的最基本方法，至今仍作为关联规则挖掘的经典方法被广泛研究改进应用。

Apriori具有良好可伸缩性和实用性能，尤其是在处理离散数据时能够有突出的表现。不过，在产生候选项目集类方法中存在固有不足，比如在处理高相关性的稠密数据时，存在着以下缺点: 容易并呈现组合式的增长速度，产生巨大的候选项目集。必须要对数据库多次扫描。如果最长的模式是n的话，则需要(n+l)次数据库扫描。产生大量冗余规则等。

发明内容

本发明在基于传统Apriori关联方法的基础上，提出一种改进的Apriori方法，并应用于一个气象灾害智能感知系统。相较传统方法的不足之处，该方法降低了磁盘访问率，提升了运行效率，减少了冗余规则。

这个改进方法主要通过矩阵存储法和事务压缩提升了系统效率，并通过约束规则降低了规则冗余。该方法可以直接运用在该气象灾害智能感知系统中，经过实验验证，该系统可以通过知识库中的数据利用关联规则导出到规则库。

本发明的技术方案是：

一种基于Apriori方法的气象灾害智能感知方法，它包括如下步骤： 

1）定义知识库和规则库；

2）采用矩阵存储法降低磁盘访问率；

3）采用事务压缩方法进一步减少候选项目集ck中的候选项的数量；

4）采用约束规则更新项目集，

进行智能感知，得到相应的气象灾害预测信息。

本发明的知识库中包含了气象灾害历史感知数据，气象灾害预警预案数据，法律法规数据的内容；规则库用于存储通过关联规则方法导出的规则数据，包含气象灾害数据及其对应的智能感知信息。 

本发明的矩阵存储法为：首先对数据库进行编码，采用矩阵存储方法一次性将数据全部读进内存并存储项集。

本发明的事务压缩方法：在候选项目集Ck产生前，对Lk-1进一步裁剪，统计Lk-1中所有的项目出现的次数，删除Lk-1中包含出现次数小于k-1的项目的项目集，以减少参加连接的k-1项目集的数量。

本发明的约束规则为：直接将不符合社会基本事实的连接生成项从候选项集中删除。

本发明的有益效果：

本发明提出的一种改进的Apriori关联方法在现在的气象灾害智能感知系统中有明显的优化作用。相对于传统的Apriori关联方法，本方法在运行过程中需要扫描数据库次数减少，减轻了数据库负担，并大大减少了生成的候选数据项。显著提高了运行效率。

 

附图说明

图1为气象灾害智能感知系统业务流程图。

图2为传统方法和改进后的方法时间对比图。

 

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，Apriori方法采用一种逐步搜索的方式，它需要枚举出所有的频繁项集，从以上学习过程中可以得知，该方法的不足表现有以下几个方面。首先，在运行过程中需要反复扫描数据库，这样就会造成方法需要计算机IO负荷过重和运行时间长等缺点。其次，当事务数据库较小时，由这类数据得到的频繁项集模式通常比较短，普通的关联规则挖掘方法都能获得良好的性能。但是当该方法需要运用到大型事务数据库中时(如医学领域、商业领域等等)，由于大量场模式的出现，导致方法性能急剧下降。这有以下三方面的原因:

(1)若事务数据库的最长的频集的长度为n，则方法需要扫描数据库n次。多次扫描大型数据库大大增加了方法的FO负荷。

(2)生成一个频集模式意味着需要生成大量额外的频集并计算其支持度，生成大量候选集并计算其支持度，消耗了大量的时间。

(3)不考虑任何现实意义，将连接生成的任意一项都作为候选项集来考虑，需要做无用的搜索与计数。

本发明主要通过以下三点对Apriori方法进行改进：

矩阵存储法

数据库中的矩阵存储法(即数组存储)，就是指在处理大量数据的问题时，为了方便起见，把具有相同类型的若干数据按有序的形式组织起来，这些按顺序排列的同类数据元素的集合称为数组。在对方法优化处理时，首先对数据库进行编码，采用矩阵存储方法一次性将数据全部读进内存并存储项集，这样可以高速缓存中扫描数据库，有效的避免扫描物理数据库多次执行。经过上述处理以二元数组形式把数据存放在数据库中，大大减少了计算机处理1/0负载，提高方法效率。

事务压缩

虽然目前相关学者对事务压缩已有大量的研究，本课题仍将进一步减少候

选项目集Ck中的候选项的数量。在经典Apriori方法中，事务压缩主要是在Ck-1，产生后，将Ck-1中的项与支持度进行比较，小于支持度的项集将被去掉，剩下的大项集将生成Lk-1，然后Lk-1与Lk-1进行连接产生Ck。

为了压缩Ck容量，利用Apriori性质这一原理来裁剪候选项集中的项目数量。根据Apriori性质，任何非频繁的(k-l)项集都不能包含在频繁K-项集中。因此如果一个候选k-项集的(k一l)子集不在Lk-1中，则该候选绝对不可能是频繁的，可以直接从候选项集Ck中删除掉，达到了压缩Ck的目的。在改进过程中，压缩事务在产生候选项目集Ck之前。主要是对Lk-1进行分析修剪，统计Lk-1中各项目出现的次数，将一些项目集(包含Lk-1中出现次数小于k一1的项目)删除掉，这样就减少了Lk-1自连接时的项目集数量，从而减少了所产生Ck中候选项的数量。

约束规则

经典Apriori方法在其剪枝过程中，对连接生成的所有项不做任何分析，均作为候选项在数据库中来查找其出现的计数。比如气象灾害规则库中可能会出现如下候选频繁项集:：{“灾害名=高温”，“等级=暴雨”。。。}而这不符合社会基本事实的，应该直接将该项从候选项集中删除掉，从而减少候选集内项的数量。而传统APriori方法把连接生成的项都作为候选项，通过扫描数据库，获取该项集的支持度，并不考虑其现实意义，增加了没必要的计算量。

由上面的讨论可知，在生成候选项时加入相关条件的约束规则，可以减少候选项集中的项目数量，生成的候选项更可能是频繁项，且减轻扫描数据库的负担。这就大大提高了方法的效率，尤其是在拥有海量数据的数据库中，其效果更加明显本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (5)

1.一种基于Apriori方法的气象灾害智能感知方法，其特征是它包括如下步骤： 

1）定义知识库和规则库；

2）采用矩阵存储法降低磁盘访问率；

3）采用事务压缩方法进一步减少候选项目集ck中的候选项的数量；

4）采用约束规则更新项目集，

进行智能感知，得到相应的气象灾害预测信息。

2.根据权利要求1所述的基于Apriori方法的气象灾害智能感知方法，其特征在于：所述的知识库中包含了气象灾害历史感知数据，气象灾害预警预案数据，法律法规数据的内容；规则库用于存储通过关联规则方法导出的规则数据，包含气象灾害数据及其对应的智能感知信息。

3.根据权利要求1所述的基于Apriori方法的气象灾害智能感知方法，其特征在于所述的矩阵存储法为：首先对数据库进行编码，采用矩阵存储方法一次性将数据全部读进内存并存储项集。

4.根据权利要求1所述的基于Apriori方法的气象灾害智能感知方法，其特征在于所述的事务压缩方法：在候选项目集Ck产生前，对Lk-1进一步裁剪，统计Lk-1中所有的项目出现的次数，删除Lk-1中包含出现次数小于k-1的项目的项目集，以减少参加连接的k-1项目集的数量。

5.根据权利要求1所述的基于Apriori方法的气象灾害智能感知方法，其特征在于所述的约束规则为：直接将不符合社会基本事实的连接生成项从候选项集中删除。

Images