CN101794296A - 一种基于空中活动目标数据的挖掘方法 - Google Patents

Abstract

本发明公开了一种空中活动目标数据的挖掘方法，它涉及数据挖掘应用领域中的关联及序列算法挖掘技术，本发明以传统事务型数据挖掘方法为基础，融入空间数据挖掘技术，完成从空中活动目标数据预处理、统计分析、挖掘数据抽取到挖掘结果知识解释的完整挖掘流程与策略，完成空中活动目标数据的挖掘。还具有能适合各类活动目标数据的挖掘，通过挖掘能与实时数据态势进行对比，对空中目标活动进行预测等优点。特别适用于通过计算机辅助在长期累积的空中活动目标数据中寻找未知的空中目标活动信息，提高工程应用决策能力。

Description

一种基于空中活动目标数据的挖掘方法

技术领域

本发明涉及数据挖掘应用领域中的一种基于关联及序列算法挖掘技术的空中活动目标数据挖掘方法，特别适用于通过计算机辅助在长期累积的空中活动目标数据中寻找未知的空中目标活动信息，提高工程应用决策能力。

背景技术

目前，数据挖掘的研究领域已遍及的行业包括金融业、电信业、网络相关行业、零售商、制造业、医疗保健、制药业及科学领域等。尽管数据挖掘应用方面的论文统计数相当可观，但我国的数据挖掘应用尚处于尝试性的萌芽阶段，企业大规模地运用数据挖掘技术尚不普遍，个别企业或部门仅零星地运用数据挖掘技术。在通信工程及特定领域中的数据挖掘技术已成为工程应用关键技术。

发明内容

本发明所要解决的技术问题就是以传统事务型数据挖掘方法为基础，融入空间数据挖掘技术，完成从空中活动目标数据预处理、统计分析、挖掘数据抽取到挖掘结果知识解释的完整挖掘流程与策略的空中活动目标数据挖掘方法。该方法通过分析空中活动目标数据存在依赖地域及时间，数据质量差等特点，通过聚类，分类等数据预处理手段，将原始数据变换成适于挖掘的数据形式，建立挖掘模型，并对挖掘出的结果进行知识解释，筛选出挖掘结果。本发明还具有能适合各类活动目标数据的挖掘，通过挖掘能与实时数据态势进行对比，对空中目标活动进行预测等特点。

本发明的目的是这样实现的，包括步骤：

①通过对空中活动目标原始数据中的字符型字段、数值型字段的独立或结合分析得到原始数据字符型字段、数值型字段间的依赖关系，值域的分布情况；

②根据原始数据字符型字段、数值型字段间的依赖关系，值域的分布情况，通过数据清理、数据变换、分类、聚类方法填充空中活动目标原始数据中空缺值，识别孤立点，消除噪声，划分空中活动目标的活动区域，纠正数据表现形式的不一致，完成数据预处理；

③根据数据预处理中对空中活动目标架次的统计结果，对空中活动目标主要型号在主要时间段内的架次进行统计分析，得到空中活动目标数据量分布比较平稳的几个时间段，根据数据预处理中划分的目标活动区域，抽取出各活动区域内的数据作为挖掘数据；

④挖掘数据过程中的调节参数包括：最大规则长度，最大规则数，最小支持度，最小置信度，名称映射，类别映射；

⑤根据空中活动目标数据量分布比较平稳的几个时间段及挖掘数据，构造空中活动目标主要型号对应到Apriori算法中的单维项集，设置关联挖掘模型，根据单个项集去查找两个或多个项集，最终挖掘出符合最小支持度与置信度的频繁集作为关联信息，根据第④步中的调节参数，反复进行符合最小支持度与置信度的关联信息的挖掘；

⑥根据空中活动目标数据量分布比较平稳的几个时间段及挖掘数据，进行序列挖掘，序列挖掘根据空中活动目标出现的先后顺序构造单维项集，依据第④、⑤步程序构建序列挖掘模型，挖掘空中活动目标的序列信息；

⑦根据挖掘出的空中活动目标的关联信息和序列信息，对挖掘结果进行归纳整理，结合空中活动目标数据的特性，筛选挖掘结果，根据挖掘结果进一步优化第⑤步中的关联挖掘模型、第⑥步中的序列挖掘模型，反复试验；

进行空中活动目标数据的挖掘。

本发明与背景技术相比具有如下优点：

1 本发明通过对空中活动目标数据进行预处理，有效去除数据中的噪声，数据形式不一致，以及填补空缺值，提高数据质量。

2 本发明能适合各类活动目标数据的挖掘，通过挖掘能与实时数据态势进行对比，对空中目标活动进行预测等优点。

3 本发明通过将挖掘结果进行横向及纵向的比对，扩展了挖掘结果的知识解释，并利用挖掘结果优化挖掘模型，达到建立良好挖掘模型的目的，具有工程应用价值。

附图说明

图1是本发明数据挖掘应用的工作流程图。

图2是本发明关联挖掘模型的工作流程图。

图3是本发明实施例的关联挖掘结果的效果示意图。图3中可以观察出规则1不仅在整体数据中存在，在每个月的数据中也存在，这说明规则1的普遍存在性。除去9月份，规则1每月得到支持度与置信度的值比较平稳。而9月却急剧下降，表明经历了5个月的平稳表现之后，规则1可能发生了变更，这对提高决策能力非常有帮助。

图4本发明实施例的序列挖掘结果的效果示意图。图4中可以观察出各类空中目标间先后出现顺序，出现的间隔时间以及该挖掘结果的频度。

具体实施方式

参照图1至图4，本发明针对空中目标数据依赖于地域，时间分布的特点，利用分类方法、聚类分析解决了目标活动区域的划分以及目标点选取的问题。然后对处理后的数据进行数据分析，掌握数据字段的质量、饱和度、取值范围，并对关联度较强的字段进行数据泛化、概要描述，在已有字段基础上进行抽象或细化，构造出字段间的概念层次树，有效扩充空中活动目标数据的知识表示，丰富挖掘结果，增强了结果可解释性。根据具体的挖掘目的定义，构造合理的挖掘模型以及如何调节挖掘算法中的内部参数，从而充分提高挖掘结果的有效性。运用单维布尔型关联算法、多层关联算法、序列算法得到空中活动目标间的挖掘结果。最后将挖掘结果进行筛选，选出普遍存在或异常的挖掘结果。

本发明数据挖掘应用的工作流程如图1所示，图1是本发明数据挖掘应用的工作流程图，本发明包括步骤：

①通过对空中活动目标原始数据中的字符型字段、数值型字段的独立或结合分析得到原始数据字符型字段、数值型字段间的依赖关系，值域的分布情况。实施例本发明将字段划分为概念字段与数值字段。概念字段即字符型字段，存在语义概念。数值字段即数值型的字段，包括布尔型、整型、浮点型等，统计数据库中各字段的饱和程度，缺失情况。利用直方图或饼图统计得到概念字段中的概念集合。选取空中活动目标数据中的饱满数据片段，运用数据挖掘分类模式对数据字段中的概念字段进行分类学习，分析得到两字段或多字段间存在的关联关系、依赖关系，指导预处理填补空缺值。运用数据变换理论中的属性构造，如将时间属性进行拆分，得到不同粒度的新的时间属性。通过统计目标出现数量在不同时间粒度上的分布。

②根据原始数据字符型字段、数值型字段间的依赖关系，值域的分布情况，通过数据清理、数据变换、分类、聚类方法填充空中活动目标原始数据中空缺值，识别孤立点，消除噪声，划分空中活动目标的活动区域，纠正数据表现形式的不一致，完成数据预处理。实施例本发明空中活动目标数据中目标的型号以及该目标航迹点的经纬度信息、时间信息都较为完整，其它属性信息都不同程度的存在有噪声、缺失、不一致等现象，本发明利用忽略元组，计算机辅助填写空值，聚类，回归分析、判定树等数据清理方法来预测具有同一属性的空缺值，通过规范化，精度转换，属性构造等数据变换方法提高数据质量。

③根据数据预处理中对空中活动目标架次的统计结果，对空中活动目标主要型号在主要时间段内的架次进行统计分析，得到空中活动目标数据量分布比较平稳的几个时间段，根据数据预处理中划分的目标活动区域，抽取出各活动区域内的数据作为挖掘数据。实施例本发明以挖掘出指定区域内以每日上午，中午，晚上以及星期为时间粒度的空中目标间的关联信息为目的，采用10个月的空中活动目标数据作为基本挖掘数据，并以统计分析中目标型号与之所属的目标类型构成的层次结构树进行多层关联及序列挖掘。根据预处理中对每个月目标架次的统计结果以及一天中几个主要型号在5:00-22:00的架次分布结果，观察到目标在4-9月中数据量比较平稳，并且数据量与目标架次的比值基本为2，即平均一个目标有两个航迹点。这就减少了数据转换中将目标划分到一个活动区域的工作量。根据划分的目标活动区域{A1，A2，A3，...A10，}，抽取出各活动区域内的数据，统计区域内部的目标出现数量、目标类型数量，根据各区域内数据量的分布情况，观察到A1，A2，A3，A4区域目标覆盖较多，试验针对以上4个区域实施关联挖掘，由于目标类型丰富，还有可能存在多层关联挖掘信息。

④挖掘数据过程中的调节参数包括：最大规则长度，最大规则数，最小支持度，最小置信度，名称映射，类别映射。实施例本发明目标型号每天的频繁时间段内均构成了一组出现序列，Apriori算法可以找出该序列中的频繁项集，设置项目列为目标型号，最大规则长度为3，最大规则数为100，类别映射中选择目标类型为父列，目标型号为子列进行挖掘。

⑤根据空中活动目标数据量分布比较平稳的几个时间段及挖掘数据，构造空中活动目标主要型号对应到Apriori算法中的单维项集，设置关联挖掘模型，根据单个项集去查找两个或多个项集，最终挖掘出符合最小支持度与置信度的频繁集作为关联信息，根据第④步中的调节参数，反复进行符合最小支持度与置信度的关联信息的挖掘。实施例本发明通过关联挖掘，发现规则1“在A地区，每日上午[IDF]与[F16]协同出现的概率为69.23％，[IDF]出现的基础上[F16]出现的概率为87.37％(不分先后顺序)”。而且通过早、中、晚，相同规则的支持度、置信度比较，可以比较直观的观察到飞机间协同出现的情况变化，规则1(IDF-F16)呈明显递减趋势，而规则2“幻影2000-IDF”则是中午才以较高的概率出现并在晚间也有存在，这为挖掘出空中目标间的活动提供了帮助。对规则1进行的统计可以得到观察出规则1不仅在整体数据中存在，在每个月的数据中也存在，这说明规则1的普遍存在性。除去9月份，该规则每月得到支持度与置信度的值比较平稳。而9月却急剧下降，表明经历了5个月的平稳表现之后，规则可能发生了变更。

试验变换时间粒度为星期挖掘A1区域内目标间的关联信息。将六个月中的每个周一到周五上午的数据实施关联挖掘。结果中规则1从周一到周五分布平稳，但规则2却不像各月中规则支持度、置信度的平稳分布；其中星期一出现概率较大，星期二急剧下降，之后稳步攀升到星期五，又重新与星期一的概率相近。以星期作为挖掘的时间粒度能够考查到周中目标活动的变换，得到其中挖掘结果。一旦发生变化，有效提供异常提示。如图3所示。

⑥根据空中活动目标数据量分布比较平稳的几个时间段及挖掘数据，进行序列挖掘，序列挖掘根据空中活动目标出现的先后顺序构造单维项集，依据第④、⑤步程序构建序列挖掘模型，挖掘空中活动目标的序列信息。实施例本发明序列挖掘结果中发现规则“F16-(平均间隔32分钟)-F16”，表明4-9月中，在A1地区每天两架F16依次出现的概率接近80％，第一架出现的前提下出现第二架的概率接近92％，也就是说，135天中有108天都有这种序列出现，可见该序列模式较为频繁。

挖掘结果中的平均间隔时间只反映了目标出现间隔的平均值，但如果该平均间隔时间由震荡强烈的时间平均得到，该平均间隔并无意义。通过在算法中捕捉各序列挖掘结果中间隔时间形成的间隔时间向量，形如{t₁，t₂，t₃...t_n}。运用数理统计中的方差来衡量其变化情况，通过计算得到各序列挖掘结果中平均间隔时间的方差值。本文将计算所得的所有方差值的平均值作为衡量的分界线，认为方差值小于平均值的对应挖掘结果中平均间隔时间是可信的。反之亦然。如图4所示。

⑦根据挖掘出的空中活动目标的关联信息和序列信息，对挖掘结果进行归纳整理，结合空中活动目标数据的特性，筛选挖掘结果，根据挖掘结果进一步优化第⑤步中的关联挖掘模型、第⑥步中的序列挖掘模型，反复试验。实施例本发明挖掘结果的评估，单次的关联及序列挖掘结果可以放到一个地域及时间段内进行解释，得到的挖掘结果往往有很高的支持度与置信度，但这些信息有可能是人们熟知的常识性知识，其实际价值可能很低。本发明采用针对目标之间的活动特性依赖于地域，时间的特点，在相同地域，不同时间段的对比；不同地域，相同时间段的对比；不同地域，不同时间段的对比，能够从另一个层面挖掘出目标活动价值所在。

进行空中活动目标数据的挖掘。

Claims (1)

1.一种基于空中活动目标数据的挖掘方法，其特征在于该方法包括步骤：

①通过对空中活动目标原始数据中的字符型字段、数值型字段的独立或结合分析得到原始数据字符型字段、数值型字段间的依赖关系，值域的分布情况；

②根据原始数据字符型字段、数值型字段间的依赖关系，值域的分布情况，通过数据清理、数据变换、分类、聚类方法填充空中活动目标原始数据中空缺值，识别孤立点，消除噪声，划分空中活动目标的活动区域，纠正数据表现形式的不一致，完成数据预处理；

③根据数据预处理中对空中活动目标架次的统计结果，对空中活动目标主要型号在主要时间段内的架次进行统计分析，得到空中活动目标数据量分布比较平稳的几个时间段，根据数据预处理中划分的目标活动区域，抽取出各活动区域内的数据作为挖掘数据；

④挖掘数据过程中的调节参数包括：最大规则长度，最大规则数，最小支持度，最小置信度，名称映射，类别映射；

⑤根据空中活动目标数据量分布比较平稳的几个时间段及挖掘数据，构造空中活动目标主要型号对应到Apriori算法中的单维项集，设置关联挖掘模型，根据单个项集去查找两个或多个项集，最终挖掘出符合最小支持度与置信度的频繁集作为关联信息，根据第④步中的调节参数，反复进行符合最小支持度与置信度的关联信息的挖掘；

⑥根据空中活动目标数据量分布比较平稳的几个时间段及挖掘数据，进行序列挖掘，序列挖掘根据空中活动目标出现的先后顺序构造单维项集，依据第④、⑤步程序构建序列挖掘模型，挖掘空中活动目标的序列信息；

⑦根据挖掘出的空中活动目标的关联信息和序列信息，对挖掘结果进行归纳整理，结合空中活动目标数据的特性，筛选挖掘结果，根据挖掘结果进一步优化第⑤步中的关联挖掘模型、第⑥步中的序列挖掘模型，反复试验；

进行空中活动目标数据的挖掘。

Images