CN106776903A - 一种适用于智能电网营配调的大数据共享系统及方法 - Google Patents

Abstract

一种适用于智能电网营配调的大数据共享系统及方法，所述系统包括有：用户接口、分解/合成器、提取/包装器和数据源。将不同网点、不同系统、不同类型、不同功能的数据进行整合、分享、分析，实现在线监测、在线分析、半离线分析，提供包括采集、监测、预警、决策等功能于一体的综合应用。

Description

一种适用于智能电网营配调的大数据共享系统及方法

技术领域

本发明涉及电网大数据处理技术领域，特别是一种电网营配调的大数据共享系统及方法。

背景技术

目前，大数据已在业务流程优化、金融交易、需求分析等诸多领域开展了相关应用，在智能电网行业的应用基本处于小规模的尝试和探索阶段，特别是对于电网的营销、配电、调度系统而言，存在互操作、数据结构异化、系统兼容等问题，难以满足对跨平台、跨区域、多源化数据进行分析处理的要求，缺乏汇聚各类数据资源并且支持大数据统一管理、透明访问的大数据体系架构，给数据的获取、整合、共享、应用带来实际困难。

发明内容

本发明的一个目的就是提供一种适用于智能电网营配调的大数据共享系统，它将不同网点、不同系统、不同类型、不同功能的数据进行整合共享。

本发明的该目的是通过这样的技术方案实现的，所述系统包括有用户接口、分解/合成器、提取/包装器和数据源；

用户接口，负责提供统一的数据查询接口，并负责提供数据展示UI；

分解/合成器，分解器负责接收用户接口的查询逻辑，将查询逻辑分解成多个查询逻辑，并将查询逻辑发送至提取/包装器，每个查询逻辑均与数据源的数据相对应；合成器负责将提取/包装器上传的查询结果合成为一个整体查询结果，并上传至用户接口；

提取/包装器，提取器负责将分解/合成器发送的查询逻辑改写为下层数据源所对应的格式语句，并向数据源发送查询指令；包装器负责将下层返回的数据源格式的查询结果，转换为统一数据格式，并发送至合成器；

数据源，负责本地数据的持久化保存，生成数据实体配置集，记录每个数据源中的数据实体以及它们之间的映射关系,完成数据查询执行及查询结果反馈。

进一步，所述系统还包括有数据分析服务器，数据分析服务器分别与用户接口、分解/合成器、提取/包装器和数据源数据交互。

进一步，所述数据分析服务器从数据源取得大量数据集，根据数据的不同类型和来源形成多个数据文件，使用SequenceFile作为基本数据交互格式，通过调用mahout内置解析器，扫描所有目录和文件，通过数据合并转换融合一个系列化的大文件，其中存储庞大数据流；将系列化的大文件一致的形式转换成数据，融合数据进行向量空间模型化操作，该过程每个数据集成进来的每一类数据都有一个编号，这个编号就是它在数据向量中所拥有的维度；利用向量化数据，通过mahout的朴素贝叶斯算法或决策算法，对计算机训练处一套规则，根据这些规则构建专家模块规则库，对后续收集的数据进行自动分类和整理，并不断完善专家模块规则库。

本发明的另一个目的就是提供一种适用于智能电网营配调的大数据共享方法，它可以将多个来源，不同类型的电网数据进行大融合，实现数据共享。

本发明的该目的是通过这样的技术方案实现的，具体步骤如下：

1)用户通过用户接口输入查询指令，用户接口将查询指令发送至分解/合成器；

2)分解器根据数据实体配置集和索引，读取到相应数据源信息，并将查询所需的数据实体拆分到各个数据源中，生成查询语句集合，并将查询语句集合发送至提取/包装器；

3)提取器先查询语句集合的关键字对照表，将查询语句集合提取为数据字段名与关键字两部分，再通过语法对应关系于数据字段名，重写该语句为数据源语法查询语句，最后向数据源发送查询语句执行请求并执行数据查询；

4)数据源根据请求进行数据查询，将查询到的结果反馈到提取/包装器；

5)包装器在收到数据源发送的查询结果后，根据配置文件，将查询结果重新组装为统一数据格式，再发送至分解/合成器；

6)合成器对多数据源返回的多组数据结果进行组合，最终将查询结果全部发送至用户接口。

进一步，所述方法还包括有步骤7)数据分析，具体步骤如下：

7-1)从数据源取得大量数据集；

7-2)根据数据的不同类型和来源生成数据文件，使用SequenceFile作为基本的数据交换格式，通过调用mahout内置的解析器，扫描所有目录和文件，融合成一个系列化的大文件，用于存储庞大的数据流；

7-3)对7-2)中融合的大文件的数据文件，进行向量空间模型化操作，对每个数据集成进来的每一类都编号，这个编号就是它在数据向量中所拥有的维度；

7-4)利用向量化数据，通过mahout的朴素贝叶斯算法或决策树算法，对计算机训练出一套规则，根据规则构建专家系统规则库，对后续的数据进行自动分类和整理，并不断完善和补充专家系统规则库。

由于采用了上述技术方案，本发明具有如下的优点：

本发明将不同网点、不同系统、不同类型、不同功能的数据进行整合、分享、分析，实现在线监测、在线分析、半离线分析，提供包括采集、监测、预警、决策等功能于一体的综合应用。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明所述系统的结构示意图；

图2为用户的查询指令的拆分流程示意图；

图3为数据提取器的执行流程示意图；

图4为包装器的工作流程示意图；

图5为智能电网数据挖掘执行流程示意图；

图6为决策树算法生成规则集流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

构建电网营配调系统的大数据共享分析架构的第一步就是获取数据，在数据获取后，需要对多源化的数据进行整理和集成，以实现在线和离线使用，本发明通过建立数据信息流拓扑，构建分布式组网的数据共享系统来实现信息的实时采集与共享。数据集成和共享过程中，需要可以执行用户自主操作，可以查询和查看。数据集成和共享查询部分设计为模块化部件，数据集成和共享流程图设计如图1所示。

用户接口负责两方面内容，第一，负责提供统一的数据查询接口；第二，负责提供数据展示UI。该层并不关心数据组织形式，将数据源理解为单一的，种类明确的数据源。分解器负责将上层的查询逻辑，根据数据分布情况拆分成多个查询逻辑。每个查询逻辑对应下层一个数据源。合成器负责将下层返回的查询结果，合并为一个整体的查询结果。该层了解下层数据分布情况，清楚各个数据实体的分布状况，且清楚各个数据实体之间的逻辑对应关系，但其不需要知道每个数据源的类型和存储格式。提取器负责将上层发送的查询逻辑，改写为本数据源所对应的格式语句，并执行查询。包装器负责将下层返回的，本数据源格式的查询结果，转换为系统定义的统一数据格式，并向上返回。本层需要关注本数据源的格式，以及系统的统一格式，并对二者的相互转换提供支撑。数据源负责本地数据的持久化保存，数据查询执行及查询结果反馈。通过这一过程，用户可以自由的查询和查看所需类型的数据，进行结论和数据结果的可视化操作。

对于用户的查询指令，用户只需提交查询条件，系统将自动执行命令识别和查询拆分，查询拆分过程的分支流程如图2所示。

系统维护数据源配置文件，记录每个数据源的名字、位置、类型、识别信息，以及其他用于连接数据源的信息。同时，系统维护数据实体配置集，记录每个数据源中的数据实体，以及它们之间的映射关系。同时，维护倒排索引以提高效率。当收到上层查询逻辑时，分解器根据倒排索引，读取到相应数据源信息，并将查询所需的数据实体拆分到各个数据源中，生成查询语句集合，并向下层传递。

查询条件分解后，系统需要按照分解后的指令从数据源中分配数据流向，将上一级制定的查询条件传递给满足查询条件的数据源，对指定数据源进行数据查询操作。这个过程就是数据提取器模块的功能，数据提取器的执行过程如图3所示。

系统为每个数据源定义一个数据源格式与系统格式的映射关系配置文件，文件中保存两方面信息，一是数据源格式与系统格式的关键字对照表，二是数据源格式与系统格式的语法对应关系。当收到上层查询语句时，提取器先查询关键字对照表，将接收到的上层原语句提取为数据字段名与关键字两部分，再通过语法对应关系于数据字段名，重写该语句为数据源语法查询语句，最后向数据源发送查询语句执行请求并执行数据查询。该部分配置为规则的形式，对现有的数据库、数据形式、数据规则进行匹配，对于将来可能要追加进来的新的系统或者数据类型进行深度的自定义规则兼容。

向数据源发送数据查询请求并执行数据查询后，反馈查询到的数据结果，系统将数据结果进行匹配封装，封装完毕的数据经过转换后向回传递。这一过程执行的是包装器流程，该过程流程如图4所示。

包装器在收到下层返回的查询结果后，根据配置文件，将查询结果重新组装为系统统一的数据格式，然后向上返回。数据返回后对多数据源返回的多组数据结果进行组合，最终将查询结果全部呈现给用户，这样一次查询即执行完毕。

系统中用户接口仅提供用户查询接入，支持多用户接入；分解/合成、提取/包装部署在同一位置，提供中间转换；数据源按照各自所处位置和来源进行布局，使用分布式部署，各处数据源通过数据源服务器统一管理，数据源直接接入终端设备，数据源服务器和终端设备可以实现数据实时性。系统中每个数据源均对接通信接口，系统各模块间采用RESTful接口，传递无状态的信息，减少模块间的耦合，提高系统分布式部署能力。系统各模块间、系统与数据源间鉴权采用httpdigest鉴权，可有效屏蔽可能的攻击请求，保证系统数据的安全性，同时对性能影响较小。

通过上面所展示的系统部署，完成了数据集成、数据共享复合功能的实现，通过软硬件结合，有权限的用户可以对部署在内的全系统网络上的数据源和设备终端进行监测和管理，实现数据信息本地数字化、远程网络化、监测与预警自动化等功能，快速精准的对故障、问题、信息进行定位和分析。

数据分析系统按照指定的要求和规则，从全部数据源服务器请求特定类别的数据，使用模块化的融合分析软件构建多个决策专家系统，构建为集监测、统计、故障预判、故障诊断、配电调度优化、人员调度优化、销售决策评估、设备分配评估、设备运行预判等专家系统于一体的开放式半离线分析系统。

在系统运转过程中取得的大量数据集，根据数据的不同类型和来源形成非常多的小的数据文件，使用SequenceFile作为基本的数据交换格式，通过调用mahout内置的解析器，扫描所有目录和文件，通过数据合并转换融合一个系列化的大文件，其中存储庞大的数据流。将这个大文件一致的形式转换成数据，就对融合的数据进行了向量空间模型化操作，该过程每个数据集成进来的每一类数据都有一个编号，这个编号就是它在数据向量中所拥有的维度。利用向量化数据，通过mahout的朴素贝叶斯算法或决策树算法等，就可以对计算机训练处一套规则，根据这些规则构建专家系统规则库就可以对后续收集的数据进行自动的分类和整理，并不断完善和补充专家系统规则库，形成一个大规模数据融合的智能电网专家系统。

对智能电网获取饿大规模数据进行信息挖掘和知识发现，就是对全网或互联区域网络采集的规模性带有模糊、噪音、不完整等不确定性信息的数据进行处理，发现并找出有价值的且目前尚不清晰的信息和知识。该过程主要有5个阶段，分别是数据选择、数据预处理、数据转换、数据挖掘、评估表示，执行流程如图5所示。

数据挖掘部分的基本组成单位是数据挖掘引擎，由一组功能模块组成，包括关联、聚类、分类等。针对特定的要求或者通用的要求，将这些要求与功能模块连接，在进行数据信息搜索、计算和推理的时候将权重和关注程度放在这些要求上。通过大规模的度量和标准计算、参照，得出大量数据中的有效结论，对其进行筛选和验证后，将通过验证的结论表示出来。根据需要将这些信息中的特定部分分发给分布式部署的互联区域服务器的各个专家系统或子系统中，当有实时或离线数据传至互联区域服务器的时候，分支机构的专家系统依据本地部署的专家系统库进行判定、推理，得出应对措施集，并实施呈现给特定用户。采用决策树法生成规则集的流程如图6所示。

经过多次挖掘和推理可以得到很多规则集，从而构成规则库。使用规则库进行分发部署，并将规则库与互联区域服务器上的在线系统连接，进行实时监测和诊断。

通过上述过程进行系统软体布局，即可完成在线监测和专家系统在智能电网大数据分析系统中的构建。实时数据经过转换和处理后进入区域服务器，使用专家系统分发的本地规则库，进行数据的检验和验证；由规则判定可得到状态结果，则根据规则判定是否发生可能发生故障，若存在故障可能，则处置方式以可理解的直观结果反馈到监测端；监测端可以根据设定的故障类型和对应的处理方式选择进行自动处置或手动处置，并将处理结果反馈至互联区域服务器，并上传至中央服务器。若无故障可能性，则进行监测和验证后系统不做响应，仅回传给监测端和服务器。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种适用于智能电网营配调的大数据共享系统，其特征在于，所述系统包括有：用户接口、分解/合成器、提取/包装器和数据源；

用户接口，负责提供统一的数据查询接口，并负责提供数据展示UI；

分解/合成器，分解器负责接收用户接口的查询逻辑，将查询逻辑分解成多个查询逻辑，并将查询逻辑发送至提取/包装器，每个查询逻辑均与数据源的数据相对应；合成器负责将提取/包装器上传的查询结果合成为一个整体查询结果，并上传至用户接口；

提取/包装器，提取器负责将分解/合成器发送的查询逻辑改写为下层数据源所对应的格式语句，并向数据源发送查询指令；包装器负责将下层返回的数据源格式的查询结果，转换为统一数据格式，并发送至合成器；

数据源，负责本地数据的持久化保存，生成数据实体配置集，记录每个数据源中的数据实体以及它们之间的映射关系,完成数据查询执行及查询结果反馈。

2.如权利要求1所述的一种适用于智能电网营配调的大数据共享系统，其特征在于：所述系统还包括有数据分析服务器，数据分析服务器分别与用户接口、分解/合成器、提取/包装器和数据源数据交互。

3.如权利要求2所述的一种适用于智能电网营配调的大数据共享系统，其特征在于：所述数据分析服务器从数据源取得大量数据集，根据数据的不同类型和来源形成多个数据文件，使用SequenceFile作为基本数据交互格式，通过调用mahout内置解析器，扫描所有目录和文件，通过数据合并转换融合一个系列化的大文件，其中存储庞大数据流；将系列化的大文件一致的形式转换成数据，融合数据进行向量空间模型化操作，该过程每个数据集成进来的每一类数据都有一个编号，这个编号就是它在数据向量中所拥有的维度；利用向量化数据，通过mahout的朴素贝叶斯算法或决策算法，对计算机训练处一套规则，根据这些规则构建专家模块规则库，对后续收集的数据进行自动分类和整理，并不断完善专家模块规则库。

4.利用权利要求1至3任意一项所述系统进行适用于智能电网营配调的大数据共享的方法，其特征在于，具体步骤如下：

1)用户通过用户接口输入查询指令，用户接口将查询指令发送至分解/合成器；

2)分解器根据数据实体配置集和索引，读取到相应数据源信息，并将查询所需的数据实体拆分到各个数据源中，生成查询语句集合，并将查询语句集合发送至提取/包装器；

3)提取器先查询语句集合的关键字对照表，将查询语句集合提取为数据字段名与关键字两部分，再通过语法对应关系于数据字段名，重写该语句为数据源语法查询语句，最后向数据源发送查询语句执行请求并执行数据查询；

4)数据源根据请求进行数据查询，将查询到的结果反馈到提取/包装器；

5)包装器在收到数据源发送的查询结果后，根据配置文件，将查询结果重新组装为统一数据格式，再发送至分解/合成器；

6)合成器对多数据源返回的多组数据结果进行组合，最终将查询结果全部发送至用户接口。

5.如权利要求4所述的适用于智能电网营配调的大数据共享方法，其特征在于，所述方法还包括有步骤7)数据分析，具体步骤如下：

7-1)从数据源取得大量数据集；

7-2)根据数据的不同类型和来源生成数据文件，使用SequenceFile作为基本的数据交换格式，通过调用mahout内置的解析器，扫描所有目录和文件，融合成一个系列化的大文件，用于存储庞大的数据流；

7-3)对7-2)中融合的大文件的数据文件，进行向量空间模型化操作，对每个数据集成进来的每一类都编号，这个编号就是它在数据向量中所拥有的维度；

7-4)利用向量化数据，通过mahout的朴素贝叶斯算法或决策树算法，对计算机训练出一套规则，根据规则构建专家系统规则库，对后续的数据进行自动分类和整理，并不断完善和补充专家系统规则库。