CN109033497B - 一种面向高并发的多阶段数据挖掘算法智能选择方法 - Google Patents

Abstract

本发明公开了一种面向高并发的多阶段数据挖掘算法智能选择方法，包括如下步骤：步骤1：数据特征分析：针对冷热电混合能源系统海量数据进行分析；步骤2：数据预处理：采用多阶段数据处理方法，对原始数据进行有效预处理；步骤3：初步设计可行性数据挖掘模型：选择并且设计可能有效的挖掘模型；步骤4：可行性数据挖掘模型调整：删除不能成立的模型，获得可行的数据挖掘模型集合；步骤5：挖掘模型评估：综合评价，选择出最适合目标领域应用的挖掘模型；步骤6：模型部署：将模型投入应用，若挖掘模型不能满足业务需求，则调整挖掘数据，通过反馈重新建模。本发明实现数据挖掘模型的自动选择和有效建立，从而提高模型设计的质量及效率。

Description

一种面向高并发的多阶段数据挖掘算法智能选择方法

技术领域

本发明涉及一种面向高并发的多阶段数据挖掘算法智能选择方法，属于智能配电网技术领域。

背景技术

目前，电力企业进入大数据时代后，各种设备运行和负荷的数据规模巨大，迫切需要将这些数据转换成有用的信息和知识，然而光靠传统的数据处理方法就显得不合时宜。面对不断增加的海量数据，从数据中提取信息或知识为决策服务成为更深层次的研究目标，就急需有新的方法处理各个行业的海量数据，并且发现隐藏在数据背后的知识，来为高层次的应用服务提供支持。

结合统计学、数据库、机器学习等技术，数据挖掘技术的实现为解决这一难题提供了新的出路，数据挖掘技术主要是以当代计算机技术和其他相关领域的技术为基础，以多年累积的现场应用数据作为研究对象，从数据中找出隐藏的相关有用知识，来为决策提供重要依据。因此，数据挖掘技术在电力系统负荷预测和系统运行状态监控、用户特征值提取、电价预测等方面有很好的应用前景。

应用数据挖掘技术去解决各类实际问题，数据挖掘模型的选择与设计是主要的环节，也是能否有效处理应用问题的关键。传统的数据挖掘模型设计依赖建模人员的专业知识，在分析应用领域业务特征的基础上，通过重复的数据探索和算法测试建立挖掘模型，大大降低了工作效率与模型准确程度。

为了解决数据挖掘人工建模效率低、知识复用困难等问题，针对数据挖掘应用特征、技术特征及业务数据特征进行研究，建立数据挖掘模型自动选择框架，以数据挖掘模型设计知识与应用领域知识为基础，实现数据挖掘模型的自动选择系统。不仅提高建模过程的测试准确程度，而且避免了人工测试效率低、容易出现遗漏和失误等缺点。开展数据挖掘模型的自动建模方法技术研究具有重要意义。因此设计一种数据挖掘算法智能选择模型显得尤为重要。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种面向高并发的多阶段数据挖掘算法智能选择方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种面向高并发的多阶段数据挖掘算法智能选择方法，包括如下步骤:

步骤1:针对冷热电混合能源系统海量数据进行分析，明确挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象；

步骤2:采用多阶段数据处理方法，对原始数据进行有效预处理，进一步调整挖掘数据；

步骤3:解读业务数据的各项特征，选择并且自动设计可能有效的挖掘模型；

步骤4:通过可能有效模型的实际运行，删除不能成立的模型，获得可行的数据挖掘模型集合；

步骤5:对挖掘模型进行综合评价，选择出最适合目标领域应用的挖掘模型；

步骤6:将模型投入应用，若挖掘模型不能满足业务需求，则调整挖掘数据，通过反馈重新建模。

作为优选方案，所述步骤1包括：分别在采集的冷热电混合能源系统的原数据集的基础上附加主题词网，通过挖掘业务范围内主题词的设计，对挖掘任务相关联的多种因素进行分析、解释，理解因素层次及各层次的关联，明确不同挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象，以及有效数据的提取，为数据的进一步自动预处理进行准备工作。

作为优选方案，所述步骤2包括：启动多阶段处理模型自动设计，并对数据进行预处理,具体如下：

2-1：采用多阶段方式处理数据，每个阶段都对数据进行校验，从而保证了数据的准确性和完整性，并发现、解决错误；

2-2：在保证系统可用的情况下，高并发、高速的处理数据，以提高数据挖掘的准确率；包括对字段的分析，去除不可能含有业务信息的挖掘属性，转换不合理的表达方式，及去除在初步选择中，并不能实现有意义的业务分类，但是被划分为标号类型的字段，主要处理以下问题：

①数据字段问题

②时间错误问题

③数据表达问题。

作为优选方案，所述步骤3包括：挖掘模型的设计基于对不同业务数据的各项特征的解读，包括挖掘模式、挖掘目标、输入输出形式各项特征的解析，在此基础上，选择并且设计可能有效的挖掘模型，具体步骤如下；

3-1：首先分析挖掘数据特征；

3-2：基于附加信息、类型视图、数据，解读数据相关特征，包括解读挖掘模式、输入输出形式、挖掘目标；

3-3：建立初始可行挖掘模型集合，探索可能有效的挖掘模型。

作为优选方案，所述步骤4包括：模型调整阶段需要反复对模型的输入参数进行调整，以提高模型对潜在规律的拟合度，具体步骤如下：

4-1：首先获得的可能有效数据挖掘模型，设计挖掘模型的结构与属性；

4-2：通过模型的实际运行，删除由于方案配置或者属性设计原因而不能成立的模型；

4-3：根据挖掘经验，获得挖掘模型设计知识，分析应用业务的建模特征与需求；

4-4：根据挖掘模型设计知识，最终选择适用于当前状态的挖掘模型，获得相对有效并且可行的数据挖掘模型集合。

作为优选方案，所述步骤5包括：针对可能有效的数据挖掘模型集合，在平衡模型优点及缺点的基础上，针对不同的业务的约束条件，通过计算出挖掘模型评估的综合质量值，从初步获得的挖掘方案中选择出最适合目标领域应用的挖掘模型；所述挖掘模型评估的步骤如下：

5-1：基于目标、活动、方法基本概念针对挖掘模型评价目标建模，实现挖掘模型自动选择机制中的模型评价目标的规范描述，建模过程如下：

5-1-1：获取评价模型的模型信息与特征信息；

5-1-2：基于评估框架求解各项评价因子，分别对数据挖掘模型进行正确性评估、价值性评估以及代价评估；

5-1-3：综合评价模型，度量模型价值，获得挖掘评价因子度量值；

5-1-4：基于评估模型，求解模型性能；

5-2：探讨数据挖掘模型的综合评价方法，包括评价框架和评价因子的设计，具体设计如下：

5-2-1：将层次分析法应用于数据挖掘模型评估中，评价因子对模型价值影响程度的判定，即评价因子所占权重的设计；

5-2-2：采用模糊综合处理技术对业务人员做出的对各个因素的评价结果模糊综合处理，明确各个评价因素的等级顺序；

5-2-3：结合层次分析与模糊综合评价技术，建立基于AHP-FCE的数据挖掘模型模糊综合评价方法DMEM-AF；

DMEM-AF一级模型评判方法，具体步骤如下：

5-2-3-1：建立评判对象的指标集U＝{u₁,u₂,...,u_n}，指标集就是对象的各种属性和性能，综合反映出对象的质量；

5-2-3-2：建立评语集V＝{v₁,v₂,...,v_m}，即等级集合；

5-2-3-3：建立单因素评判，即建立一个从U到F(V)的模糊映射，

由f可诱导出模糊关系R，得到单因素评矩阵：

5-2-3-4：利用AHP方法得到U中的各因素的不同的权重W，W是U上的一个模糊子集，记W＝{w₁,w₂,...,w_n}，并且

5-2-3-5：计算评价结果

其中，B＝{b₁,b₂,...,b_m}是V上的一个模糊子集；

对于二级模型的评估，先对每个指标子集u_i按上述步骤进行评估，最后将所得评估结果再进行一次一级评估，即可得到评价结果；

5-3：对于评价因子的层次位置及权重采用可调整设计的方法，以全面性、平衡性、实用性为原则，建立一个较全面的数据挖掘模型评价体系，实现挖掘模型质量的综合评价。

作为优选方案，所述步骤6包括：数据挖掘的最终目标是得到数据中的潜在规律，并将该规律转化为人类理解的知识，并加以应用推广，以指导和影响实际的行为和决策；部署阶段将上述所有步骤转化为相关的结果报告或者可执行的系统，具体步骤如下：

6-1：将评估后推荐的优秀挖掘模型投入应用，验证模型是否能够有效地为挖掘业务服务，是否满足领域需求；

6-2：若挖掘模型不能满足业务需求，则重新调整挖掘数据、调整特征描述、调整主题词设计，转回步骤2；

6-3：若挖掘模型能够高效满足业务需求，则将部署该模型并服务于冷热电混合能源管理系统。

有益效果：本发明提供的一种面向高并发的多阶段数据挖掘算法智能选择方法，基于多阶段数据处理模式，对数据进行集成、选择和预处理，最大化数据利用效率以及不良数据辨识。通过计算机自动分析不同类型数据的高并发特征需求，系统自主设计了相应的数据挖掘模型，实现不同功能的数据挖掘。不仅提高了系统的建模效率与质量，而且避免了人工测试效率低、容易出现遗漏和失误等缺点。

附图说明

图1为本发明的智能选择方法流程示意图；

图2为数据挖掘算法的流程示意图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1-2所示，一种面向高并发的多阶段数据挖掘算法智能选择方法，其对象为冷热电混合能源综合管理系统中设备层、系统层、用户层采集的海量数据。针对冷热电混合系统中多源数据高并发特征需求，建立多阶段数据挖掘模型，开展关联数据、预测数据及安全数据等数据挖掘技术，为冷热电混合能源综合管理系统提供决策数据。

本发明首先明确能够有效挖掘的数据源，并且将其组织成为适合挖掘的数据形式，然后设计可能有效的挖掘模型，初步建立挖掘模型，最终对挖掘模型进行评估，并且建立适合开发目标的挖掘系统，为应用部门部署应用，通过反馈可能进一步调整系统，详细步骤为：

步骤1：分别在采集的冷热电混合能源系统的原数据集的基础上附加主题词网，通过挖掘业务范围内主题词的设计，对挖掘任务相关联的多种因素进行分析、解释，理解因素层次及各层次的关联，明确不同挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象，以及有效数据的提取，为数据的进一步自动预处理进行准备工作。

步骤2：本阶段启动多阶段处理模型自动设计，并对数据进行预处理；

2-1：采用多阶段方式处理数据，每个阶段都对数据进行校验，从而保证了数据的准确性和完整性，并能及早发现、及早解决错误；

2-2：在保证系统可用的情况下尽量做到高并发、高速的处理数据，以提高数据挖掘的准确率。包括对字段的分析，去除不可能含有业务信息的挖掘属性，转换不合理的表达方式，及去除在初步选择中，并不能实现有意义的业务分类，但是被划分为标号类型的字段，主要处理以下几个问题：

①数据字段问题

②时间错误问题

③数据表达问题

步骤3：挖掘模型的设计基于对不同业务数据的各项特征的解读，包括挖掘模式、挖掘目标、输入输出形式等各项特征的解析，在此基础上，选择并且设计可能有效的挖掘模型，具体步骤如下；

3-1：首先分析挖掘数据特征；

3-2：基于附加信息、类型视图、数据，解读数据相关特征，包括解读挖掘模式、输入输出形式、挖掘目标等；

3-3：建立初始可行挖掘模型集合，探索可能有效的挖掘模型。

步骤4：模型调整阶段需要反复对模型的输入参数进行调整，以提高模型对潜在规律的拟合度，具体步骤如下：

4-1：首先获得的可能有效数据挖掘模型，设计挖掘模型的结构与属性；

4-2：通过模型的实际运行，删除由于方案配置或者属性设计原因而不能成立的模型(例如网络收敛、训练精度等要求)；

4-3：根据挖掘经验，获得挖掘模型设计知识，分析应用业务的建模特征与需求；

4-4：根据挖掘模型设计知识，最终选择适用于当前状态的挖掘模型，获得相对有效并且可行的数据挖掘模型集合。

步骤5：针对可能有效的数据挖掘模型集合，在平衡模型优点及缺点的基础上，针对不同的业务的约束条件，通过计算出挖掘模型评估的综合质量值，从初步获得的挖掘方案中选择出最适合目标领域应用的挖掘模型。挖掘模型评估的步骤如下：

5-1：基于目标、活动、方法等基本概念针对挖掘模型评价目标建模，实现挖掘模型自动选择机制中的模型评价目标的规范描述，建模过程如下；

5-1-1：获取评价模型的模型信息与特征信息；

5-1-2：基于评估框架求解各项评价因子，分别对数据挖掘模型进行正确性评估、价值性评估以及代价评估；

5-1-3：综合评价模型，度量模型价值，获得挖掘评价因子度量值；

5-1-4：基于评估模型，求解模型性能。

5-2：探讨数据挖掘模型的综合评价方法，包括评价框架和评价因子的设计，具体设计如下；

5-2-1：将层次分析法应用于数据挖掘模型评估中，评价因子对模型价值影响程度的判定，即评价因子所占权重的设计；

5-2-2：采用模糊综合处理技术对业务人员做出的对各个因素的评价结果模糊综合处理，明确各个评价因素的等级顺序；

5-2-3：结合层次分析与模糊综合评价技术，建立基于AHP-FCE的数据挖掘模型模糊综合评价方法(DMEM-AF)。

DMEM-AF一级模型评判方法具体步骤如下：

5-2-3-1：建立评判对象的指标集U＝{u₁,u₂,...,u_n}，指标集就是对象的各种属性和性能，综合反映出对象的质量

5-2-3-2：建立评语集V＝{v₁,v₂,...,v_m}，即等级集合。

5-2-3-3：建立单因素评判，即建立一个从U到F(V)的模糊映射，

由f可诱导出模糊关系R，得到单因素评矩阵

5-2-3-4：利用AHP方法得到U中的各因素的不同的权重W，W是U上的一个模糊子集，记W＝{w₁,w₂,...,w_n}，并且

5-2-3-5：计算评价结果

其中，B＝{b₁,b₂,...,b_m}是V上的一个模糊子集。

对于二级模型的评估，可以先对每个指标子集u_i按上述步骤进行评估，最后将所得评估结果再进行一次一级评估，即可得到评价结果。

5-3：对于评价因子的层次位置及权重采用可调整设计的方法，以全面性、平衡性、实用性为原则建立一个较全面的数据挖掘模型评价体系，实现挖掘模型质量的综合评价。

步骤6：数据挖掘的最终目标是得到数据中的潜在规律，并将该规律转化为人类理解的知识，并加以应用推广以指导和影响实际的行为和决策。部署阶段将上述所有步骤转化为相关的结果报告或者可执行的系统，具体步骤如下：

6-1：将评估后推荐的优秀挖掘模型投入应用，验证模型是否能够有效地为挖掘业务服务，是否满足领域需求；

6-2：若挖掘模型不能满足业务需求，则重新调整挖掘数据、调整特征描述、调整主题词设计，转回步骤2；

6-3：若挖掘模型能够高效满足业务需求，则将部署该模型并服务于冷热电混合能源管理系统。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：包括如下步骤:

步骤1:针对冷热电混合能源系统海量数据进行分析，明确挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象；

步骤2:采用多阶段数据处理方法，对原始数据进行有效预处理，进一步调整挖掘数据；

步骤3:解读业务数据的各项特征，选择并且自动设计可能有效的挖掘模型；

步骤4:通过可能有效模型的实际运行，删除不能成立的模型，获得可行的数据挖掘模型集合；

步骤5:对挖掘模型进行综合评价，选择出最适合目标领域应用的挖掘模型；

步骤6:将模型投入应用，若挖掘模型不能满足业务需求，则调整挖掘数据，通过反馈重新建模。

2.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤1包括：分别在采集的冷热电混合能源系统的原数据集的基础上附加主题词网，通过挖掘业务范围内主题词的设计，对挖掘任务相关联的多种因素进行分析、解释，理解因素层次及各层次的关联，明确不同挖掘目标的高并发数据特征，实现挖掘数据属性的特征抽象，以及有效数据的提取，为数据的进一步自动预处理进行准备工作。

3.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤2包括：启动多阶段处理模型自动设计，并对数据进行预处理,具体如下：

2-1：采用多阶段方式处理数据，每个阶段都对数据进行校验，从而保证了数据的准确性和完整性，并发现、解决错误；

2-2：在保证系统可用的情况下，高并发、高速的处理数据，以提高数据挖掘的准确率；包括对字段的分析，去除不可能含有业务信息的挖掘属性，转换不合理的表达方式，及去除在初步选择中，并不能实现有意义的业务分类，但是被划分为标号类型的字段，主要处理以下问题：

①数据字段问题

②时间错误问题

③数据表达问题。

4.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤3包括：挖掘模型的设计基于对不同业务数据的各项特征的解读，包括挖掘模式、挖掘目标、输入输出形式各项特征的解析，在此基础上，选择并且设计可能有效的挖掘模型，具体步骤如下；

3-1：首先分析挖掘数据特征；

3-2：基于附加信息、类型视图、数据，解读数据相关特征，包括解读挖掘模式、输入输出形式、挖掘目标；

3-3：建立初始可行挖掘模型集合，探索可能有效的挖掘模型。

5.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤4包括：模型调整阶段需要反复对模型的输入参数进行调整，以提高模型对潜在规律的拟合度，具体步骤如下：

4-1：首先获得的可能有效数据挖掘模型，设计挖掘模型的结构与属性；

4-2：通过模型的实际运行，删除由于方案配置或者属性设计原因而不能成立的模型；

4-3：根据挖掘经验，获得挖掘模型设计知识，分析应用业务的建模特征与需求；

4-4：根据挖掘模型设计知识，最终选择适用于当前状态的挖掘模型，获得相对有效并且可行的数据挖掘模型集合。

6.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤5包括：针对可能有效的数据挖掘模型集合，在平衡模型优点及缺点的基础上，针对不同的业务的约束条件，通过计算出挖掘模型评估的综合质量值，从初步获得的挖掘方案中选择出最适合目标领域应用的挖掘模型；所述挖掘模型评估的步骤如下：

5-1：基于目标、活动、方法基本概念针对挖掘模型评价目标建模，实现挖掘模型自动选择机制中的模型评价目标的规范描述，建模过程如下：

5-1-1：获取评价模型的模型信息与特征信息；

5-1-2：基于评估框架求解各项评价因子，分别对数据挖掘模型进行正确性评估、价值性评估以及代价评估；

5-1-3：综合评价模型，度量模型价值，获得挖掘评价因子度量值；

5-1-4：基于评估模型，求解模型性能；

5-2：探讨数据挖掘模型的综合评价方法，包括评价框架和评价因子的设计，具体设计如下：

5-2-1：将层次分析法应用于数据挖掘模型评估中，评价因子对模型价值影响程度的判定，即评价因子所占权重的设计；

5-2-2：采用模糊综合处理技术对业务人员做出的对各个因素的评价结果模糊综合处理，明确各个评价因素的等级顺序；

5-2-3：结合层次分析与模糊综合评价技术，建立基于AHP-FCE的数据挖掘模型模糊综合评价方法DMEM-AF；

DMEM-AF一级模型评判方法，具体步骤如下：

5-2-3-1：建立评判对象的指标集U＝{u₁,u₂,...,u_n}，指标集就是对象的各种属性和性能，综合反映出对象的质量；

5-2-3-2：建立评语集V＝{v₁,v₂,...,v_m}，即等级集合；

5-2-3-3：建立单因素评判，即建立一个从U到F(V)的模糊映射，

0≤r_ij≤1,0≤i≤n,0≤j≤m；

由f可诱导出模糊关系R，得到单因素评矩阵：

5-2-3-4：利用AHP方法得到U中的各因素的不同的权重W，W是U上的一个模糊子集，记W＝{w₁,w₂,...,w_n}，并且

5-2-3-5：计算评价结果

其中，B＝{b₁,b₂,...,b_m}是V上的一个模糊子集；

对于二级模型的评估，先对每个指标子集u_i按上述步骤进行评估，最后将所得评估结果再进行一次一级评估，即可得到评价结果；

5-3：对于评价因子的层次位置及权重采用可调整设计的方法，以全面性、平衡性、实用性为原则，建立一个较全面的数据挖掘模型评价体系，实现挖掘模型质量的综合评价。

7.根据权利要求1所述的一种面向高并发的多阶段数据挖掘算法智能选择方法，其特征在于：所述步骤6包括：数据挖掘的最终目标是得到数据中的潜在规律，并将该规律转化为人类理解的知识，并加以应用推广，以指导和影响实际的行为和决策；部署阶段将上述所有步骤转化为相关的结果报告或者可执行的系统，具体步骤如下：

6-1：将评估后推荐的优秀挖掘模型投入应用，验证模型是否能够有效地为挖掘业务服务，是否满足领域需求；

6-2：若挖掘模型不能满足业务需求，则重新调整挖掘数据、调整特征描述、调整主题词设计，转回步骤2；

6-3：若挖掘模型能够高效满足业务需求，则将部署该模型并服务于冷热电混合能源管理系统。

Images