CN105005570A - 基于云计算的海量智能用电数据挖掘方法及装置 - Google Patents

Abstract

本发明公开了基于云计算的海量智能用电数据挖掘方法及装置，其中方法包括以下步骤：将外围系统产生的海量用电数据存入分布式文件系统；用户主动发起业务请求，主节点接收请求，并对业务请求进行分析，根据具体实际情况，选择需要参与挖掘的从节点以及挖掘算法，将维度分解后的任务分配给从节点；各从节点根据分配到的任务，数据存储与任务执行相互配合，使用主节点选择的数据挖掘算法独立进行用电数据挖掘任务，并与任务管理进行交互。装置包括数据管理模块、任务管理模块、任务执行模块、数据存储模块、挖掘模型库模块和数据维度模型模块。它能够高效地对海量用户用电信息进行挖掘，实现对家庭用户用电量进行预测，制定最优用电策略。

Description

基于云计算的海量智能用电数据挖掘方法及装置

技术领域

本发明涉及计算机领域，特别涉及一种基于云计算的海量智能用电数据挖掘方法及装置。

背景技术

面对强劲增长的电力需求和日渐紧张的电力供应，以及不断提高的节能减排任务，国家电网公司积极应对，加快建设坚强智能电网，深入推进“两个转变”，积极构建“三集五大”体系。随着用户用电信息的“全覆盖”和“全采集”，每日将获取海量的数据，这些海量数据不但全面反映了用户的电量消费，还包含着大量有价值的信息，涵盖电网运行状态、电力市场动态、电能计量工况、客户能源消耗、供电服务质量和采集设备运行等各个方面，及时掌握和充分利用这些有价值的信息，可彻底改变在电费电价分析、有序用电管理、线损统计分析、电能质量监测、配电网规划和运行、用户异常用电分析、采集设备运行分析、计量装置运行监测、反窃电管理、客户增值服务以及指导用户节能改造等工作中的被动和滞后，全面促进和支撑实现电网业务的创新，实现以客户为导向的配电网发展战略思路。但由于这些有价值的信息“隐藏”在“汪洋大海”般的采集信息中，这就需要针对上述业务，明确需求，深度开展海量数据的挖掘处理和智能分析，为电网生产和营销业务提供支持。

专利《一种智能电网海量数据流的分布式数据挖掘方法》中，数据分流器对数据进行分流是数据挖掘开始后首先对数据的预处理，会大量增加整个数据挖掘时间，本专利是在存储数据时就已经提前对数据进行了预处理，可以直接用来进行数据挖掘；此专利在数据挖掘过程中，需要对所有挖掘数据进行传输，对于海量数据，此过程会浪费大量时间，并且占用大量带宽资源，本专利仅需对少量数据进行传输。

专利《基于分布式数据挖掘的协同入侵检测系统》只是在对数据进行收集和集成时实现并行执行，而在数据挖掘时，控制台模块只是选择负载最轻的客户端模块，进行数据挖掘，其它的客户端模块并未参与数据挖掘，因此数据挖掘过程并不是并行进行。

专利《一种基于云计算的数据挖掘系统功能层析架构》提出用户层、应用层和算法层三层架构以及之间的关系，并未对每一层具体实现进行描述，并未对数据存储和共享问题进行描述，是否实现数据挖掘并行执行也未描述。

专利《一种基于云计算的数据挖掘方法、系统及装置》设计的方法和装置，虽然涉及实现数据挖掘的并行执行，但未涉及数据存储方法问题，也未涉及对计算节点数据挖掘过程的监控及控制，未对数据挖掘任务拆分成多个子任务方式进行描述。

目前仅仅单纯地依靠统计手段和数据库管理系统的查询检索机制等方法已经远不能满足现实需要，迫切要求数据处理技术能够自动、智能地将待处理的海量数据转化为有用的信息和知识。目前虽然数据挖掘技术已经广泛的应用到电力系统的各个领域，在存在大量数据的地方都有对使用数据挖掘技术提供有价值信息的尝试。但是首先，针对数据存储，特别是针对多数据源、海量用电数据的存储问题并没有得到很好地解决，其次数据挖掘效率目前较低，如何真正实现数据挖据的并行执行，提高挖掘效率，是需要解决的一个问题。

发明内容

本发明的目的就是为解决上述数据挖掘问题，特别是针对海量智能用电数据挖掘提供一种基于云计算的海量智能用电数据挖掘方法及装置，利用云计算中的分布式存储方法和MapReduce并行计算技术对海量用户用电信息进行高效地挖掘，实现对家庭用户用电量进行预测，制定最优用能策略；判断企业用户是否适合分时电价，形成用户设备节能方案；为物价管理部门制定阶梯电价政策和分时电价政策提供依据；为供电企业对停电故障分析及恢复供电时间分析、用户细分提供依据等功能。

为实现上述目的，本发明采用如下技术方案：

基于云计算的海量智能用电数据挖掘方法，主要包括以下工作步骤：

步骤A:将用电信息采集系统、SG186营销业务应用系统、智能小区管理系统和企业能源管理系统外围系统产生的海量用电数据存入云计算的分布式文件系统；

步骤B:用户主动发起业务请求，主节点接收请求，并对业务请求进行分析，根据具体实际情况，选择需要参与挖掘的从节点以及挖掘算法，将维度分解后的任务分配给从节点；

步骤C:各从节点根据分配到的任务，数据存储模块与任务执行模块相互配合，使用主节点选择的数据挖掘算法独立进行用电数据挖掘任务，实现并行计算，并与任务管理模块进行交互。

所述步骤C中的数据挖掘算法是云计算的分布式存储技术或云计算的MapReduce并行计算技术。

所述步骤A中，将海量用电数据存入分布式文件系统的过程为：

A1.解析外围系统用电数据，对用电数据所包含的维度进行定义，选择用户类型、时间等有价值维度或共有维度，对所选择的维度分别定义度量值组，根据业务需要将多个度量值组组合在一起，这些组合构成数据维度模型，对数据进行存储；所述数据维度模型是根据外围系统数据一个或几个能够用来分类的主属性来定义的，例如用户名。

A2.从节点的数据存储模块负责存储和检索数据块，并定期向数据管理模块发送从节点所存储块的列表；

A3.数据管理模块依据数据维度模型将用电数据分布到各从节点上之后，负责存储文件系统的元数据和编辑日志、管理文件系统的命名空间、集群配置信息、文件各数据块及其副本的存储位置，并根据数据存储的存储列表，对数据块完整性和安全性进行维护。

所述步骤B中，具体步骤如下：

B1.确定用户发出的业务请求范围；

B2.主节点接收业务后，对业务请求进行分析：分析出业务请求需要从哪些维度对数据进行挖掘，任务管理模块根据这些维度中，数据维度模型进行数据存储时所依据的维度，从数据管理模块获取n个存储相关数据的从节点参与挖掘，并且将维度分解后的任务分配到上述从节点；

B3.主节点对用户业务请求分析之后，根据实际情况，从挖掘模型库中选择一种或多种适用此业务请求的数据挖掘算法进行挖掘；

B4.任务管理模块将任务分配给从节点之后，同时监控所有任务的执行，当某一节点上的任务失败时，要对失败任务进行重新分配，一般是将此任务分配到不同的节点上，同时，任务管理模块还负责对各节点任务完成之后提交的执行结果进行统一处理。

所述步骤B1中，用户的业务请求范围包括以下：

B11.针对家庭用户，对用户用电习惯及一年中过去几个月的电量数据进行挖掘，从而实现电量预测以及最优用能策略制定；

B12.针对企业用户，通过挖掘用户在过去几年的用电行为大多数发生时段、各时段用电量等数据判断是否适用分时电价政策；详细分析用户负荷分布情况，耗电设备、用电规律、负荷特性从而进行能效诊断；

B13.针对物价管理部门，通过对不同阶层居民用电量进行估算，从而确定各分档电量的阶梯电价；通过对大范围用户用电时段、各时段用电量、当前分时电价对用户用电行为的影响方面进行挖掘制定分时电价政策；

B14.针对供电企业，根据报停信息、95598停电受理和停电信息采集，进行停电故障范围分析及恢复供电时间分析；通过对客户用电资产信息、信用信息、用电信息等资源进行深度挖掘，从而对用户进行细分。

所述步骤C中，各从节点使用数据挖掘算法对用电数据进行挖掘过程为：

C1.假设数据维度模型按照用户类别、时间两个维度分配节点，各从节点在接收到分配的任务之后，数据管理根据用户类别、时间两个维度对需要进行挖掘的数据块进行检索，任务执行与数据存储相配合，独立管理自己的任务；

C2.根据不同数据挖掘算法以及业务请求，对用电数据进行格式化，产生key-value对，例如当业务请求从用户类别、时间、用户房屋面积、家庭成员数、用电量五个维度进行挖掘时，用户房屋面积、家庭成员数、用电量三个维度作为value值由分配了map任务的从节点并发执行map函数，对key-value对进行处理。

C3.执行map任务之后得到新的key-value对，例如新的key表示用电量，value包含其它用户信息。对新key-value进行排序和分区，然后将每个分区指定给分配了reduce任务的从节点；

C4.分配到reduce任务的从节点并发执行reduce函数,对得到的分区进行处理，例如对key表示的用电量进行排序，将执行结果交由任务管理统一处理，就能得出不同用户在用户信息不同的情况下反应出的用电量不同情况。

基于云计算的海量智能用电数据挖掘装置，该装置包括：云计算主控服务器，所述云计算主控服务器负责接收业务请求，将来自数据源的数据处理后的存储到云计算从服务器，以及控制云计算从服务器执行挖掘任务；

所述数据源包括用电信息采集系统、SG186营销业务应用系统、智能小区管理系统和企业能源管理系统等；

所述云计算主控服务器包括数据管理模块、数据维度模型、任务管理模块、挖掘模型库；所述数据管理模块依据数据维度模型进行数据存储，所述任务管理模块从挖掘模型库中选择数据挖掘算法；

所述云计算从服务器包括数据存储模块和任务执行模块；

所述数据管理模块，用于存储文件系统的元数据和编辑日志，主要负责管理文件系统的命名空间，集群配置信息，文件中各块及其副本的存储位置；

所述任务管理模块，决定哪个文件将被处理，并且为不同的任务分配节点。同时监控所有运行的任务，当某一任务失败之后，任务管理就会自动重新开启这个任务，在大多数情况下，这个任务会被放在不同的节点上；

所述任务执行模块，与负责存储数据的数据存储相结合，独立管理各自的任务，并与任务管理交互，如果任务管理无法准时获取任务执行提交的信息，任务管理就判定任务执行已经崩溃，并将任务分配给其他节点处理；

所述数据存储模块，根据需要存储并检索数据块，并定期向数据管理发送它们所存储的块的列表；

所述挖掘模型库，定义本次项目需要用到的各类挖掘算法；

所述数据维度模型，定义抽取的数据用于分配到各个节点的维度。在数据抽取的过程中，数据管理模块依据维度模型将数据分布到从节点上；当存在挖掘业务请求的时候，数据管理模块依据维度模型挖掘业务请求，分析得出需要参与挖掘的节点。

本发明的有益效果是：

1.对于家庭用户，通过对海量家庭用户信息进行挖掘，需要根据用户用电习惯及一年中过去几个月的电量数据，实现对家庭用户电量预测，并提供最优用能策略功能；

2.对于企业用户，通过挖掘用户在过去几年的历史数据，包括用电行为大多数发生时段、各时段用电量等，为企业用户判断是否适合分时电价，形成设备节能方案，实现最大节约电力、节约电量潜力提供依据；

3.对于物价管理部门，通过对不同阶层居民用电量进行估算，从而确定各分档电量，为阶梯电价政策，通过对大范围用户用电时段、各时段用电量、当前分时电价对用户用电行为的影响等方面进行挖掘为分时电价政策的制定提供依据；

4.对于供电企业，根据报停信息、95598停电受理和停电信息采集，分析停电范围(线路台区)，实现对停电故障范围及恢复供电时间分析。对客户用电资产信息、信用信息、用电信息等资源进行深度挖掘、有效利用；对客户进行分类管理，实现对用户进行细分。

附图说明

图1为基于云计算的海量智能用电数据挖掘方法流程图；

图2为用户智能用电数据挖掘业务请求范围图；

图3为改进聚类算法实现并行数据挖掘流程图；

图4为基于云计算的海量智能用电数据挖掘装置图；

其中，401、数据管理模块，402、任务管理模块，403、任务执行模块，404、数据存储模块，405、挖掘模型库，406、数据维度模型。

具体实施方式

下面结合附图和实施例对本发明进行进一步详细说明。

参考图1，是本发明基于云计算的海量智能用电数据挖掘方法流程图，包括以下步骤：

步骤A:将用电信息采集系统、SG186营销业务应用系统、智能小区管理系统和企业能源管理系统等外围系统产生的海量用电数据存入分布式文件系统；

步骤B:用户主动发起业务请求，主节点接收请求，并对业务请求进行分析，根据具体实际情况，选择需要参与挖掘的从节点以及挖掘算法，将维度分解后的任务分配给从节点；

步骤C:各从节点根据分配到的任务，数据存储模块404与任务执行模块403相互配合，使用主节点选择的数据挖掘算法独立进行用电数据挖掘任务，并与任务管理模块402进行交互。

所示步骤B中的用户智能用电数据挖掘业务请求范围如下图2所示，包括针对家庭用户的电量预测以及最优用能策略制定；针对企业用户的分时电价适用判断以及能效诊断；针对物价管理部门的阶梯电价政策制定以及分时电价政策制定；针对供电企业的停电故障范围分析及恢复供电时间分析、用户细分。

参考图3，改进聚类算法实现并行数据挖掘步骤包括：

步骤1.数据集存入分布式文件系统，任务管理随机选取k个簇中心点，发送到m个执行Map任务的节点；

步骤2.对分布式文件系统中的数据子集进行格式化，产生<key1,value1>对，具体格式化为<UserID，list>，这里UserID表示家庭用户ID，list为家庭用户信息，包括房屋面积、家庭成员数、用电量等；

步骤3.Map函数的任务是对输入的数据子集的每个记录<UserID，list>进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin。Map函数生成并输出中间<key2,value2>对，这里定义为<kmin,list>对，kmin表示该用户所属簇的标识，list为用户的其他信息；

步骤4.分区函数Partitioner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数；

步骤5.被分配了Reduce任务的节点从m个Map任务处读取响应的中间结果<kmin,list>，并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起。节点遍历排序后的中间数据，将<kmin,list>传递给Reduce函数，然后Reduce函数根据list值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点；

步骤6.判断簇中心点是否变化，如果是就重复步骤2-步骤5，如果否就分别输出k个簇的数据，并进入步骤7；

步骤7.对于第i个簇的数据集，重新进行格式化，产生key-value对<EC,list>，其中EC为用户用电量，list为其他用户信息。划分数据集为数据子集，交由m个执行Map任务的节点处理；

步骤8.Map函数对输入的数据子集进行扫描，MapReduce内部机制将完成一个对map任务内所有数据按照key值排序的任务，故Map任务完成后，其处理的数据按key即用电量排序，中间结果仍未<EC,list>；

步骤9.为保证每个Map任务输出的数据顺序在Reduce任务读取数据后不被打乱，分区函数Partitioner将对中间结果进行范围划分，即将所有数据按EC的取值范围划分为r个分区，每个Reduce任务处理一个分区；

步骤10.每个Reduce任务读取中间结果后，MapReduce内部机制将完成中间结果按照key值排序的任务，从而使得Reduce任务的输出为第i个簇的数据集按用电量排序后的一段连续的数据子集，将所有Reduce任务的输出按序合并，得到第i个簇内按用电量排序的有序数据集。

参考图4是基于云计算的海量智能用电数据挖掘装置，该装置包括：

数据管理模块401，用于存储文件系统的元数据和编辑日志，主要负责管理文件系统的命名空间，集群配置信息，文件中各块及其副本的存储位置；

任务管理模块402，决定哪个文件将被处理，并且为不同的任务分配节点。同时监控所有运行的任务，当某一任务失败之后，任务管理就会自动重新开启这个任务，在大多数情况下，这个任务会被放在不同的节点上；

任务执行模块403，与负责存储数据的数据存储相结合，独立管理各自的任务，并与任务管理模块402交互，如果任务管理模块402无法准时获取任务执行提交的信息，任务管理模块402就判定任务执行已经崩溃，并将任务分配给其他节点处理；

数据存储模块404，根据需要存储并检索数据块，并定期向数据管理模块401发送它们所存储的块的列表；

挖掘模型库405，定义本次项目需要用到的各类挖掘算法；

数据维度模型406，定义抽取的数据用于分配到各个节点的维度。在数据抽取的过程中，数据管理模块401依据维度模型将数据分布到从节点上；当存在挖掘业务请求的时候，数据管理模块401依据维度模型挖掘业务请求，分析得出需要参与挖掘的节点。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于云计算的海量智能用电数据挖掘方法，其特征是，主要包括以下工作步骤：

步骤A:将用电信息采集系统、SG186营销业务应用系统、智能小区管理系统和企业能源管理系统外围系统产生的海量用电数据存入云计算的分布式文件系统；

步骤B:用户主动发起业务请求，主节点接收请求，并对业务请求进行分析，根据具体实际情况，选择需要参与挖掘的从节点以及挖掘算法，将维度分解后的任务分配给从节点；

步骤C:各从节点根据分配到的任务，数据存储模块与任务执行模块相互配合，使用主节点选择的数据挖掘算法独立进行用电数据挖掘任务，实现并行计算，并与任务管理模块进行交互。

2.如权利要求1所述的基于云计算的海量智能用电数据挖掘方法，其特征是，所述步骤C中的数据挖掘算法是云计算的分布式存储技术或云计算的MapReduce并行计算技术。

3.如权利要求1所述的基于云计算的海量智能用电数据挖掘方法，其特征是，所述步骤A中，将海量用电数据存入分布式文件系统的过程为：

A1.解析外围系统用电数据，对用电数据所包含的维度进行定义，选择用户类型、时间有价值维度或共有维度，对所选择的维度分别定义度量值组，根据业务需要将多个度量值组组合在一起，这些组合构成数据维度模型，对数据进行存储；所述数据维度模型是根据外围系统数据一个或几个能够用来分类的主属性来定义的；

A2.从节点的数据存储模块负责存储和检索数据块，并定期向数据管理模块发送从节点所存储块的列表；

A3.数据管理模块依据数据维度模型将用电数据分布到各从节点上之后，负责存储文件系统的元数据和编辑日志、管理文件系统的命名空间、集群配置信息、文件各数据块及其副本的存储位置，并根据数据存储的存储列表，对数据块完整性和安全性进行维护。

4.如权利要求1所述的基于云计算的海量智能用电数据挖掘方法，其特征是，所述步骤B中，具体步骤如下：

B1.确定用户发出的业务请求范围；

B2.主节点接收业务后，对业务请求进行分析：分析出业务请求需要从哪些维度对数据进行挖掘，任务管理模块根据这些维度中，数据维度模型进行数据存储时所依据的维度，从数据管理模块获取n个存储相关数据的从节点参与挖掘，并且将维度分解后的任务分配到上述从节点；

B3.主节点对用户业务请求分析之后，根据实际情况，从挖掘模型库中选择一种或多种适用此业务请求的数据挖掘算法进行挖掘；

B4.任务管理模块将任务分配给从节点之后，同时监控所有任务的执行，当某一节点上的任务失败时，要对失败任务进行重新分配，一般是将此任务分配到不同的节点上，同时，任务管理模块还负责对各节点任务完成之后提交的执行结果进行统一处理。

5.如权利要求4所述的基于云计算的海量智能用电数据挖掘方法，其特征是，所述步骤B1中，用户的业务请求范围包括以下：

B11.针对家庭用户，对用户用电习惯及一年中过去几个月的电量数据进行挖掘，从而实现电量预测以及最优用能策略制定；

B12.针对企业用户，通过挖掘用户在过去几年的用电行为大多数发生时段、各时段用电量数据判断是否适用分时电价政策；详细分析用户负荷分布情况，耗电设备、用电规律、负荷特性从而进行能效诊断；

B13.针对物价管理部门，通过对不同阶层居民用电量进行估算，从而确定各分档电量的阶梯电价；通过对大范围用户用电时段、各时段用电量、当前分时电价对用户用电行为的影响方面进行挖掘制定分时电价政策；

B14.针对供电企业，根据报停信息、95598停电受理和停电信息采集，进行停电故障范围分析及恢复供电时间分析；通过对客户用电资产信息、信用信息、用电信息资源进行深度挖掘，从而对用户进行细分。

6.如权利要求1所述的基于云计算的海量智能用电数据挖掘方法，其特征是，所述步骤C中，各从节点使用数据挖掘算法对用电数据进行挖掘过程为：

C1.假设数据维度模型按照用户类别、时间两个维度分配节点，各从节点在接收到分配的任务之后，数据管理根据用户类别、时间两个维度对需要进行挖掘的数据块进行检索，任务执行与数据存储相配合，独立管理自己的任务；

C2.根据不同数据挖掘算法以及业务请求，对用电数据进行格式化，产生key-value对；当业务请求从用户类别、时间、用户房屋面积、家庭成员数、用电量五个维度进行挖掘时，用户房屋面积、家庭成员数、用电量三个维度作为value值由分配了map任务的从节点并发执行map函数，对key-value对进行处理；

C3.执行map任务之后得到新的key-value对，新的key表示用电量，value包含其它用户信息；对新key-value进行排序和分区，然后将每个分区指定给分配了reduce任务的从节点；

C4.分配到reduce任务的从节点并发执行reduce函数,对得到的分区进行处理，对key表示的用电量进行排序，将执行结果交由任务管理统一处理，就能得出不同用户在用户信息不同的情况下反应出的用电量不同情况。

7.如上述任一权利要求所述的基于云计算的海量智能用电数据挖掘方法所使用的数据挖掘装置，其特征是，该装置包括：云计算主控服务器，

所述云计算主控服务器负责接收业务请求，将来自数据源的数据处理后的存储到从服务器，以及控制云计算从服务器执行挖掘任务。

8.如权利要求7所述的基于云计算的海量智能用电数据挖掘装置，其特征是，

所述云计算主控服务器包括数据管理模块、数据维度模型、任务管理模块、挖掘模型库；

所述数据管理模块依据数据维度模型进行数据存储，所述任务管理模块从挖掘模型库中选择数据挖掘算法；

所述数据管理模块，用于存储文件系统的元数据和编辑日志，主要负责管理文件系统的命名空间，集群配置信息，文件中各块及其副本的存储位置；

所述数据维度模型，定义抽取的数据用于分配到各个节点的维度；在数据抽取的过程中，数据管理模块依据维度模型将数据分布到从节点上；当存在挖掘业务请求的时候，数据管理模块依据维度模型挖掘业务请求，分析得出需要参与挖掘的节点；

所述任务管理模块，决定哪个文件将被处理，并且为不同的任务分配节点；同时监控所有运行的任务，当某一任务失败之后，任务管理就会自动重新开启这个任务，在大多数情况下，这个任务会被放在不同的节点上；

所述挖掘模型库，定义本次项目需要用到的各类挖掘算法。

9.如权利要求7所述的基于云计算的海量智能用电数据挖掘装置，其特征是，

所述云计算从服务器包括数据存储模块和任务执行模块；

所述任务执行模块，与负责存储数据的数据存储相结合，独立管理各自的任务，并与任务管理交互，如果任务管理无法准时获取任务执行提交的信息，任务管理就判定任务执行已经崩溃，并将任务分配给其他节点处理；

所述数据存储模块，根据需要存储并检索数据块，并定期向数据管理发送它们所存储的块的列表。

10.如权利要求7所述的基于云计算的海量智能用电数据挖掘装置，其特征是，

所述数据源包括用电信息采集系统、SG186营销业务应用系统、智能小区管理系统和企业能源管理系统。