CN111145038B - 基于可视化数据流图的电网调控大数据交互式分析方法 - Google Patents

Abstract

本发明涉及一种基于可视化数据流图的电网调控大数据交互式分析方法，针对每个电网对象类，构建电网对象查询节点，供编辑和执行数据计算流图时使用；创建一组原子化的数据处理节点，供编辑或执行数据计算流图时使用；构建基于Web页面的数据计算流图编辑器；构建数据计算流图执行器，接收执行命令，对数据计算流图进行解析并计算，返回计算结果，数据计算流图执行器由执行体和一组接口构成；绘制数据计算流图并进行计算分析，根据需要保存或关闭数据计算流图。本发明将复杂的数据计算过程可视化、在线化，操作简单，使用方便，可以满足各级电力调控中心各专业人员对电网调控数据急剧增加且变化多样的个性化分析计算要求，具有重要的现实意义。

Description

基于可视化数据流图的电网调控大数据交互式分析方法

技术领域

本发明属于电力系统电网调控技术领域，具体涉及一种基于可视化数据流图的电网调控大数据交互式分析方法。

背景技术

近几年来，国家电网大力开展调控云的研究与试点推广建设工作。依托云计算、大数据等先进IT技术构建调控云，建立电网调控运行大数据平台，实现调控数据标准化管理和共享，并以服务的形式提供各种调控云应用。调控大数据平台汇集了模型数据、遥测历史数据、开关变位、遥测越限、保护动作、操作事件、检修计划数据、调度日志、操作票、事故跳闸数据、保信及故障录波数据等各种电网运行数据，并根据数据的特点分别存储在关系数据库、Hbase、Hive等各种数据库中。

当前，调控云平台上的数据分析应用通常是根据具体的业务需要，采用专门的数据统计分析程序和数据查询展示界面，实现特定的数据分析与展示功能。但是，特定的数据分析与展示应用无法满足快速多变的数据统计分析需要。

采用基于BI或数据集市技术实现的OLAP分析工具，可以实现个性化的多维数据透视分析及报表查询展示。但是，一方面，数据集市需要预先定义维度模型和主题模型并完成数据的抽取与组织，需要对物理层数据库结构非常了解。另一方面，OLAP分析工具一般适用于对某个主题事实表的透视分析，难以适应异构数据库且计算过程复杂的分析需求，灵活度不足，难以满足业务分析人员的需要。

随着三型两网、世界一流能源互联网企业建设的推进，各种业务创新对电网调控数据的共享与分析计算需求急剧增加且变化多样。

复杂多变的调控数据分析需求，迫切需要一种灵活方便的交互式电网调控数据分析工具，使业务分析人员可以根据自己的分析需要自主定义数据分析计算的逻辑过程并得到计算结果。

发明内容

为解决上述技术问题，本发明提出了一种基于可视化数据流图的电网调控大数据交互式分析方法，解决的主要问题包括：

1)现有的电网调控数据分析工具，通常提供固定的数据统计与查询分析功能，无法满足快速变化的数据统计分析需求。

2)通用的在线数据分析工具，要求数据分析人员深入了解数据库与数据表结构，难以实现复杂的计算逻辑过程，操作复杂，使用不便，无法满足电网调控人员自主分析计算的需要。

本发明所采用的技术方案如下：

基于可视化数据流图的电网调控大数据交互式分析方法，包括以下步骤：

步骤1、针对每个电网对象类，构建电网对象查询节点，供编辑和执行数据计算流图时使用，电网对象查询节点由设置界面、查询执行器和一组接口构成。电网对象数据查询节点以拓扑图的形式显示与关联对象间的关系，可以在任一个关联对象上设置过滤选择条件，数据分析人员不需要了解具体的数据库与表结构，通过简单的选择即可实现面向电网对象的数据过滤查询，操作方法简单灵活。

步骤2、根据常用的数据统计处理需要，创建一组原子化的数据处理节点，供编辑或执行数据计算流图时使用，每个数据处理节点提供一种特定的数据处理功能，对输入的数据流处理完成后将处理结果向后输出。通过电网对象数据查询节点和各种数据处理节点的组合，可以实现复杂多变的计算逻辑。

步骤3、构建基于Web页面的数据计算流图编辑器。利用此编辑器，数据分析人员通过鼠标拖拽的方式，选择需要的电网对象数据查询节点和各种数据处理节点，并通过连接线将各种节点组合起来构成数据计算流图，实现复杂数据查询与统计处理逻辑过程的可视化自由定义，操作简单，容易掌握。

步骤4、构建数据计算流图执行器，接收执行命令，对数据计算流图进行解析并计算，返回计算结果，数据计算流图执行器由执行体和一组接口构成。数据分析人员可以在自由定义数据计算流图的过程中随时提交给执行器在线计算，查看最终计算结果以及各步骤的中间计算结果，方便数据分析人员判断数据计算逻辑的正确性，实现数据计算处理过程的“所见即所得”。

步骤5、绘制数据计算流图并进行计算分析，根据需要保存或关闭数据计算流图。此种数据分析方法基于Web实现，所定制的数据流图可保存个人文件夹或分享到公共文件夹，可满足各级调控中心各专业数据分析人员分析计算的需要。

本发明的优点或其有益效果：

本发明提出了一种基于可视化数据流图的电网调控大数据交互式分析方法，可以让各级调控业务人员以及其他业务部门人员在不需要了解具体的数据库表结构的前提下，通过交互式的自由定义数据查询与处理流程并获得计算结果，将复杂的数据计算过程可视化、在线化，操作简单，使用方便，可以满足各级电力调控中心各专业人员对电网调控数据急剧增加且变化多样的个性化分析计算要求，具有重要的现实意义。

附图说明

为了更清楚地说明本发明的具体实施方式、或者现有技术中的技术方案，下面将对具体实施方式或现有技术的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图是本发明的一些具体实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的属于本申请保护范围之内的附图。

图1是本发明实施例的步骤逻辑框图；

图2是本发明实施例的变压器绕组的关联对象拓扑图；

图3是本发明实施例的电网对象查询节点执行过程示意图；

图4是本发明实施例的数据计算流图编辑器界面布局示意图；

图5是本发明实施例的大数据交互式分析过程示意图；

图6是本发明实施例的典型数据计算流程图。

具体实施方式

下面结合附图，具体说明实现本发明的实施方式。

如图1所示，是本发明实施例的步骤逻辑框图。基于可视化数据流图的电网调控大数据交互式分析方法，包括以下步骤：

步骤1、构建电网对象查询节点。

针对每个电网对象类，构建电网对象查询节点，供编辑和执行数据计算流图时使用。电网对象查询节点由设置界面、查询执行器和一组接口构成。

1.1)电网对象查询节点设置界面构建过程如下:

1.1.a)从电网对象查询节点树上选择某个电网对象节点。

1.1.b)查询元数据描述表，读取该电网对象类的属性、数据对象以及与其他电网对象类的关联描述信息。

1.1.c)以该电网对象类为中心绘制关联对象拓扑图，显示与该对象相关联的电网对象和数据对象，并用连线表示关联关系。

1.1.d)为该电网对象创建属性选择器，供查询对象属性时选择。

1.1.e)为关联对象拓扑图上每个关联对象创建属性过滤编辑器，供设置查询过滤条件时选择。

1.1.f)为每个相关联的数据对象创建一个互斥的选中开关、属性选择器和过滤条件编辑器，供查询数据对象时选择。

说明：

电网对象是指对有关的电网设备、设备容器等相关实体的对象化描述。电网对象的元数据描述信息主要包括电网对象的属性以及与其他对象的关联关系。

数据对象是指对某类电网对象相关的各类运行数据或统计数据的对象化描述。数据对象的元数据描述信息包括数据类型、统计周期、各种度量属性以及所关联的电网对象。

下面以变压器绕组对象绘制的关联对象拓扑图为例进行说明。如图2所示，是本发明实施例的变压器绕组的关联对象拓扑图。

1.2)电网对象查询节点查询执行器执行过程：

1.2.a)通过执行接口收到执行命令(包含数据流图与参数信息)。

1.2.b)加载电网对象查询节点的设置信息。

1.2.c)根据电网对象的属性选择信息和过滤条件，构建电网对象模型信息查询SQL语句：根据电网对象的属性选择信息，构建select子句。根据属性过滤条件信息，构建where子句。根据关联对象上的过滤条件设置信息，生成join子句。

1.2.d)判断是否设置为只查模型，若是，则执行前面步骤生成的查询SQL语句，并返回查询结果，完成执行。若否，则根据数据对象的属性选择和过滤条件选择生成数据对象查询SQL语句。

1.2.e)判断数据对象对应的数据库类型，若与电网模型库一致，则根据电网对象查询SQL语句和数据对象查询SQL语句，组成连接查询SQL语句，执行连接查询SQL语句、返回查询结果。若数据库不一致，则先执行电网对象查询SQL语句并读取电网对象的记录集写入缓存，并根据查询结果、利用其中的关键字组织数据对象查询SQL的过滤条件；执行数据对象查询SQL并读取结果数据后，与缓存中的电网对象记录集进行查询结果连接并返回查询结果。

如图3所示，是本发明实施例的电网对象查询节点执行过程示意图。

1.3)电网对象查询节点接口。

每个电网对象查询节点继承实现一组公共的接口，由数据计算流图编辑器和数据计算流图执行器调用。包括配置信息接口、元数据接口、执行接口。

步骤2、构建数据处理节点。

根据常用的数据统计处理需要，创建一组基本的数据处理节点，供编辑或执行数据计算流图时使用。每个数据处理节点提供一种特定的数据处理功能，对输入的数据流处理完成后将处理结果向后输出。

已构建的常用数据处理节点包括计算器(自定义公式)、分组统计、极值统计、越限统计、字段选择、记录过滤、排序、TOPN、数据集连接、行列转换、离散化、归一化以及其他各种常用算法等，并可以扩展。

每个数据处理节点由1个设置界面、1个执行器和1组接口组构成。

设置界面：提供输入流内容选择、处理逻辑、输出内容的设置界面。

执行器：由数据计算流图通过执行接口调用，根据处理逻辑设置信息，对输入数据流数据进行处理，并根据输出设置向后面节点输出处理结果数据。

接口组：每个数据处理节点继承实现一组公共的接口，由数据计算流图编辑器和数据计算流图执行器调用等。包括元数据接口、配置信息接口、执行接口。

步骤3、构建基于Web页面的数据计算流图编辑器。

如图4所示，是本发明实施例的数据计算流图编辑器界面布局示意图；包括：电网对象查询节点树、数据处理节点树、操作按钮区、数据计算流图绘制区、计算结果展示区。采用如图4所示的界面布局，构建基于Web页面的数据计算流图编辑器。

3.1)电网对象查询节点树。

列出所有电网对象查询节点，供绘制数据计算流程节点时选择。

3.2)数据处理节点树。

列出所有的数据处理节点，供数据计算流图编辑使用。

3.3)数据计算流图绘制区。

从电网对象查询节点树和构建数据处理节点树上，可以拖拽相关的节点到绘图区域(数据计算流图绘制区)，绘制其图标，在节点图标之间可以绘制连线表示数据流动关系，通过鼠标双击可以弹出节点的配置界面，对节点进行配置。

3.4)操作按钮区。

在操作按钮区构建数据计算流图文件操作按钮和执行操作按钮。

文件操作按钮提供新建、保存、打开、关闭数据计算流图的操作功能。

按下执行按钮时，调用数据计算流图执行器的执行接口，并提交数据计算流图的配置信息。

按下停止按钮时，调用数据计算流图执行器的停止接口，停止计算。

3.5)计算结果展示区。

计算完毕后，在计算结果展示区展示计算结果表格或各步骤的中间计算结果表格。

步骤4、构建数据计算流图执行器。

构建数据计算流图执行器，接收执行命令，对数据计算流图进行解析并计算，返回计算结果。数据计算流图执行器由执行体和一组接口构成。

4.1)数据计算流图执行器接口。

数据计算流图执行器接口包括执行计算接口、执行状态查询接口、计算结果查询接口。

数据计算流图编辑器调用执行计算接口启动计算，并通过调用执行状态查询接口查询执行状态并显示，调用计算结果查询接口查询计算结果并展示。

4.2)数据计算流图执行体。

数据计算流图执行体对数据计算流图进行解析，生成执行步骤计划，并按执行计划调用各个节点的执行接口，执行各个节点并把查询或处理结果流动到下一个节点，直至最终计算完毕，计算状态日志、最终计算结果写入缓存，供客户端查询。

步骤5、绘制数据计算流图并进行计算分析。

如图5所示，是本发明实施例的大数据交互式分析过程示意图。数据分析人员利用数据计算流图编辑器绘制数据计算流图并进行计算分析过程如下：

5.1)根据计算分析的需求，从电网对象查询节点树上选择需要的电网对象查询节点并拖拽到数据计算流图绘制区适当位置。

5.2)根据计算分析的需求，从数据处理节点树上选择需要的数据处理节点并拖拽到数据计算流图绘制区适当位置。

5.3)在前后节点间绘制连接线，表示数据流动方向。

5.4)利用每个节点的设置界面，对每个节点进行设置，包括：选择数据或设置计算。

5.5)判断是否绘制完成，若是，则执行下一步；若否，如果还需要查询其他数据，则循环执行第5.1步至第5.4步，如果不需要查询其他数据、只需要增加数据处理步骤，则循环执行第5.2步至第5.4步。

5.6)启动执行数据计算流程图，在图上显示每个节点的执行状态，在计算结果展示区显示计算结果。

5.7)查看计算结果和中间结果。

5.8)分析人员检查计算结果是否符合预期，若是，则执行第5.9步，若不是，执行第5.10步。

5.9)根据需要修改数据计算流程图、对出错的节点修改配置信息，然后重复执行第5.6步。

5.10)判断是否执行完毕，如果是、转下一步，如果否、转步骤5.9；

5.11)根据需要保存或关闭数据计算流图。

如图6所示，是本发明实施例的典型数据计算流程图；图6所示为利用数据计算流图编辑器所绘制的一个典型数据流图。

最后需要说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此。本领域技术人员应该理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (9)

1.基于可视化数据流图的电网调控大数据交互式分析方法，其特征在于，包括以下步骤：

步骤1、针对每个电网对象类，构建电网对象查询节点，供编辑和执行数据计算流图时使用，电网对象查询节点由设置界面、查询执行器和一组接口构成；

步骤2、根据常用的数据统计处理需要，创建一组原子化的数据处理节点，供编辑或执行数据计算流图时使用，每个数据处理节点提供一种特定的数据处理功能，对输入的数据流处理完成后将处理结果向后输出；

步骤3、构建基于Web页面的数据计算流图编辑器；

步骤4、构建数据计算流图执行器，接收执行命令，对数据计算流图进行解析并计算，返回计算结果，数据计算流图执行器由执行体和一组接口构成；

步骤5、绘制数据计算流图并进行计算分析，根据需要保存或关闭数据计算流图；

步骤1中电网对象查询节点设置界面构建过程如下:

1.1.a）从电网对象查询节点树上选择某个电网对象节点；

1.1.b）查询元数据描述表，读取该电网对象类的属性、数据对象以及与其他电网对象类的关联描述信息；

1.1.c）以该电网对象类为中心绘制关联对象拓扑图，显示与该对象相关联的电网对象和数据对象，并用连线表示关联关系；

1.1.d）为该电网对象创建属性选择器，供查询对象属性时选择；

1.1.e）为关联对象拓扑图上每个关联对象创建属性过滤编辑器，供设置查询过滤条件时选择；

1.1.f）为每个相关联的数据对象创建一个互斥的选中开关、属性选择器和过滤条件编辑器，供查询数据对象时选择。

2.根据权利要求1所述的电网调控大数据交互式分析方法，其特征在于，步骤5所述的绘制数据计算流图并进行计算分析的具体步骤如下：

5.1）根据计算分析的需求，从电网对象查询节点树上选择需要的电网对象查询节点并拖拽到数据计算流图绘制区适当位置；

5.2）根据计算分析的需求，从数据处理节点树上选择需要的数据处理节点并拖拽到数据计算流图绘制区适当位置；

5.3）在前后节点间绘制连接线，表示数据流动方向；

5.4）利用每个节点的设置界面，对每个节点进行设置，包括：选择数据或设置计算；

5.5）判断是否绘制完成，若是，则执行下一步；若否，如果还需要查询其他数据，则循环执行第5.1步至第5.4步，如果不需要查询其他数据、只需要增加数据处理步骤，则循环执行第5.2步至第5.4步；

5.6）启动执行数据计算流程图，在图上显示每个节点的执行状态，在计算结果展示区显示计算结果；

5.7）查看计算结果和中间结果；

5.8）分析人员检查计算结果是否符合预期，若是，则执行第5.9步，若不是，执行第5.10步；

5.9）根据需要修改数据计算流程图、对出错的节点修改配置信息，然后重复执行第5.6步；

5.10）判断是否执行完毕，如果是、转下一步，如果否、转步骤5.9；

5.11）根据需要保存或关闭数据计算流图。

3.根据权利要求1或2所述的电网调控大数据交互式分析方法，其特征在于，步骤1中电网对象查询节点查询执行器执行过程如下：

1.2.a）通过执行接口收到执行命令；

1.2.b）加载电网对象查询节点的设置信息；

1.2.c）根据电网对象的属性选择信息和过滤条件，构建电网对象模型信息查询SQL语句；

1.2.d）判断是否设置为只查模型，若是，则执行前面步骤生成的查询SQL语句，并返回查询结果；若否，则根据数据对象的属性选择和过滤条件选择生成数据对象查询SQL语句；

1.2.e）判断数据对象对应的数据库类型，若与电网模型库一致，则根据电网对象查询SQL语句和数据对象查询SQL语句，组成连接查询SQL语句，执行连接查询SQL语句、返回查询结果；若数据库不一致，则先执行电网对象查询SQL语句并读取电网对象的记录集写入缓存，并根据查询结果、利用其中的关键字组织数据对象查询SQL的过滤条件；执行数据对象查询SQL并读取结果数据后，与缓存中的电网对象记录集进行查询结果连接并返回查询结果。

4.根据权利要求1或2所述的电网调控大数据交互式分析方法，其特征在于，步骤1中电网对象查询节点接口包括：配置信息接口、元数据接口、执行接口。

5.根据权利要求1或2所述的电网调控大数据交互式分析方法，其特征在于，步骤2中每个数据处理节点由1个设置界面、1个执行器和1组接口组构成。

6.根据权利要求5所述的电网调控大数据交互式分析方法，其特征在于，

设置界面：提供输入流内容选择、处理逻辑、输出内容的设置界面；

执行器：由数据计算流图通过执行接口调用，根据处理逻辑设置信息，对输入数据流数据进行处理，并根据输出设置向后面节点输出处理结果数据；

接口组：每个数据处理节点继承实现一组公共的接口，由数据计算流图编辑器和数据计算流图执行器调用，包括元数据接口、配置信息接口、执行接口。

7.根据权利要求1或2所述的电网调控大数据交互式分析方法，其特征在于，步骤3所述的的数据计算流图编辑器包括：电网对象查询节点树、数据处理节点树、操作按钮区、数据计算流图绘制区、计算结果展示区。

8.根据权利要求7所述的电网调控大数据交互式分析方法，其特征在于，

电网对象查询节点树：列出所有电网对象查询节点，供绘制数据计算流程节点时选择；

数据处理节点树：列出所有的数据处理节点，供数据计算流图编辑使用；

数据计算流图绘制区：从电网对象查询节点树和构建数据处理节点树上，可以拖拽相关的节点到数据计算流图绘制区，绘制其图标，在节点图标之间可以绘制连线表示数据流动关系，通过鼠标双击可以弹出节点的配置界面，对节点进行配置；

操作按钮区：构建数据计算流图文件操作按钮和执行操作按钮；

计算结果展示区：展示计算结果表格或各步骤的中间计算结果表格。

9.根据权利要求1或2所述的电网调控大数据交互式分析方法，其特征在于，步骤4中，数据计算流图执行器接口包括：执行计算接口、执行状态查询接口、计算结果查询接口；数据计算流图执行体对数据计算流图进行解析，生成执行步骤计划，并按执行计划调用各个节点的执行接口，执行各个节点并把查询或处理结果流动到下一个节点，直至最终计算完毕，计算状态日志、最终计算结果写入缓存。