CN110428159A - 一种输变电工程质量管理大数据统计分析系统及方法 - Google Patents

Abstract

本发明公开了一种输变电工程质量管理大数据统计分析系统，包括：平台层，用于完成输变电工程质量管理大数据处理结果整合；数据层，用于完成多源异构数据的获取和处理；应用层，用于响应客户端请求，将客户端请求发送至数据层，并将平台层处理结果整合返回至客户端。还公开了一种输变电工程质量管理大数据统计分析方法，充分利用长期积累的数据，通过数据的变化趋势有针对性的提升工程质量水平。可以对不同工程同一阶段发现的质量问题进行统计分析，获得不同质量问题出现的频次等相关信息并对其背后的原因进行分析；可以对同一工程不同阶段出现的质量问题进行统计分析；能够对质量问题的发展趋势进行研判。

Description

一种输变电工程质量管理大数据统计分析系统及方法

技术领域

本发明涉及电网智能管控技术领域，尤其是一种输变电工程质量管理大数据统计分析系统及方法。

背景技术

近年来，全国电力工程安全质量事故频发。特别是2016年11月24日，江西宜春丰城电厂三期在建项目冷却塔施工平台发生坍塌，造成74人遇难和2人受伤的特别重大责任事故。输变电工程建设规模大、影响面广，工程质量问题直接影响人身安全、供电可靠性。国网山东省电力公司通过近年来开展的各项专业质量检查工作积累了大量的基础数据，并且数据的真实性、有效性可以得到切实保证。经研院技经中心质监室作为质量监督中心站办公室，对质量管理大数据已完成初步整理归类，借助信息化手段，通过创新数据分析手段，正确高效的利用好这些数据，整理分析得出结论，可以有针对性的提高工程质量水平，促进质量管理工作的开展。目前，山东电力已经大量工程质量管理基础数据，但是缺少对大数据进行分析的工具，造成了数据资源的严重浪费。

发明内容

本发明的目的是提供一种输变电工程质量管理大数据统计分析系统及方法，保证在业务调研、整体实施规划制定、核心业务模块深化应用实施、数据采集及推广培训等各阶段工作可控在控。根据整个项目实施工作计划，对阶段性工作成果进行审查和测试，通过保证各阶段性成果的质量，最终保障项目实施整体工作成果质量。

为实现上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种输变电工程质量管理大数据统计分析系统，包括：

平台层，用于完成输变电工程质量管理大数据处理结果整合；

数据层，用于完成多源异构数据的获取和处理；

应用层，用于响应客户端请求，将客户端请求发送至数据层，并将平台层处理结果整合返回至客户端。

结合第一方面，在第一方面第一种可能的实现方式中，所述平台层包括：

请求转换模块，接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

运算模块，用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

资源管理模块，完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列；

存储监控模块，包含了告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。

结合第一方面，在第一方面第二种可能的实现方式中，所述数据层包括：

多源数据接口模块，提供了Web Service接口与云资源管理平台集成，为创建对象提供接口；

数据抽取模块，通过多源数据接口从外部异构存储系统和分布式存储系统抽取数据；

数据转换模块，完成通过数据抽取获取的不同数据库之间的数据结构的转换和统一；

数据清洗模块，依据设定数据清洗规则完成数据字段统一定义规划。

结合第一方面，在第一方面第三种可能的实现方式中，所述应用层包括：

数据访问接口模块，对外提供页面集成、单点登录和Web Service数据访问；

交互式展示模块，基于用户需求将查询结果通过大数据平台可视化组件进行展示。

本发明第二方面提供了一种输变电工程质量管理大数据统计分析方法，包括以下步骤：

应用层响应客户端请求，将客户端请求发送至数据层；

数据层完成多源异构数据的获取、处理，并将处理后数据发送至平台层；

平台层完成输变电工程质量管理大数据处理结果整合并发送至应用层；

应用层将大数据处理整合结果返回至客户端。

结合第二方面，在第二方面第一种可能的实现方式中，所述应用层响应客户端请求，将客户端请求发送至数据层，具体包括：

通过搜索引擎获取用户的数据请求任务，并将数据请求任务发送至数据层。

结合第二方面，在第二方面第二种可能的实现方式中，所述数据层完成多源异构数据的获取、处理，具体包括：

通过多源数据接口从外部异构存储系统和分布式存储系统抽取数据；

完成通过数据抽取获取的不同数据库之间的数据结构的转换和统一；

依据设定数据清洗规则完成数据字段统一定义规划。

结合第二方面，在第二方面第三种可能的实现方式中，所述平台层完成输变电工程质量管理大数据处理结果整合，具体包括：

接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列。

结合第二方面，在第二方面第四种可能的实现方式中，所述平台层完成输变电工程质量管理大数据处理结果整合步骤之后，还包括：完成告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。

结合第二方面，在第二方面第五种可能的实现方式中，所述应用层将大数据处理整合结果返回至客户端，具体包括：

应用层基于用户需求将查询结果通过大数据平台可视化组件进行展示，包括从基础数据、中间数据到结果数据的逐级展示。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明构建资源共享的平台可以实现全省范围内所有电力建设工程质量问题数据的同步录入和存储，施工、设计、监理等工程参与各方也可以通过数据管控软件对数据库进行实时查询，实现资源共享。可以充分利用长期积累的数据，让数据活起来，通过数据的变化趋势有针对性的提升工程质量水平。从横向来看，可以对不同工程同一阶段发现的质量问题进行统计分析，获得不同质量问题出现的频次等相关信息并对其背后的原因进行分析；从纵向来看，可以对同一工程不同阶段出现的质量问题进行统计分析；实现横向和纵向的交互查询、存储、统计和分析，能够对质量问题的发展趋势进行研判。

本发明数据分析工具实现对质量数据的自动化分析，包括但不限于实现质量问题发展趋势、质量问题统计分布、具体工程质量状况等分析功能。

本发明提升了质量管理工作效率，质量检查的过程是发现问题的过程，但发现问题并不是目的，而是促进工程质量提升的手段，通过对质量大数据的分析，既可以实现对某个具体工程质量的全面的了解，也可以找出所有工程中的共性问题，为提高工程质量管理水平提供借鉴。

本发明打破信息孤岛，可和其他业务系统数据链路访问，借助大数据技术进行可视化数据展现(包括数据挖掘、多维分析、仪表盘等)，深层挖掘表面数据下存在的有效信息，最终分别为执行层、管理层、决策层提供工程质量分析支持。

附图说明

图1是本发明系统实施例一示意图；

图2是本发明系统实施例二示意图；

图3是本发明系统实施例三示意图；

图4是本发明系统实施例四示意图；

图5是本发明方法实施例一流程图；

图6是本发明方法实施例二流程图；

图7是本发明方法实施例三流程图；

图8是本发明方法实施例四流程图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，一种输变电工程质量管理大数据统计分析系统，包括：

平台层11，用于完成输变电工程质量管理大数据处理结果整合；

数据层12，用于完成多源异构数据的获取和处理；

应用层13，用于响应客户端请求，将客户端请求发送至数据层，并将平台层处理结果整合返回至客户端。

如图2所示，平台层11包括：

请求转换模块111，接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

运算模块112，用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

资源管理模块113，完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列；

存储监控模块114，包含了告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。

如图3所示，数据层12包括：

多源数据接口模块121，提供了Web Service接口与云资源管理平台集成，为创建对象提供接口；

数据抽取模块122，通过多源数据接口从外部异构存储系统和分布式存储系统抽取数据；

数据转换模块123，完成通过数据抽取获取的不同数据库之间的数据结构的转换和统一；

数据清洗模块124，依据设定数据清洗规则完成数据字段统一定义规划。

如图4所示，应用层13包括：

数据访问接口模块131，对外提供页面集成、单点登录和Web Service数据访问；

交互式展示模块132，基于用户需求将查询结果通过大数据平台可视化组件进行展示。

如图5所示，一种输变电工程质量管理大数据统计分析方法，包括以下步骤：

S1、应用层响应客户端请求，将客户端请求发送至数据层。

S2、数据层完成多源异构数据的获取、处理，并将处理后数据发送至平台层。

S3、平台层完成输变电工程质量管理大数据处理结果整合并发送至应用层。

S4、应用层将大数据处理整合结果返回至客户端。

步骤S1中，应用层响应客户端请求，将客户端请求发送至数据层，具体包括：

通过搜索引擎获取用户的数据请求任务，并将数据请求任务发送至数据层。

如图6所示，步骤S2中，数据层完成多源异构数据的获取、处理，具体包括：

S21、通过多源数据接口从外部异构存储系统和分布式存储系统抽取数据；

S22、完成通过数据抽取获取的不同数据库之间的数据结构的转换和统一；

S23、依据设定数据清洗规则完成数据字段统一定义规划。

如图7所示，步骤S3中，平台层完成输变电工程质量管理大数据处理结果整合，具体包括：

S31、接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

S32、用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

S33、完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列。

如图8所示，步骤S3中，平台层完成输变电工程质量管理大数据处理结果整合，具体包括：

S31、接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

S32、用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

S33、完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列。

S34、完成告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。

步骤S4中，应用层将大数据处理整合结果返回至客户端，具体包括：

应用层基于用户需求将查询结果通过大数据平台可视化组件进行展示，包括从基础数据、中间数据到结果数据的逐级展示。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种输变电工程质量管理大数据统计分析系统，其特征是，包括：

平台层，用于完成输变电工程质量管理大数据处理结果整合；

数据层，用于完成多源异构数据的获取和处理；

应用层，用于响应客户端请求，将客户端请求发送至数据层，并将平台层处理结果整合返回至客户端。

2.如权利要求1所述的输变电工程质量管理大数据统计分析系统，其特征是，所述平台层包括：

请求转换模块，接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

运算模块，用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

资源管理模块，完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列；

存储监控模块，包含了告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。

3.如权利要求2所述的输变电工程质量管理大数据统计分析系统，其特征是，所述数据层包括：

多源数据接口模块，提供了Web Service接口与云资源管理平台集成，为创建对象提供接口；

数据抽取模块，通过多源数据接口从外部异构存储系统和分布式存储系统抽取数据；

数据转换模块，完成通过数据抽取获取的不同数据库之间的数据结构的转换和统一；

数据清洗模块，依据设定数据清洗规则完成数据字段统一定义规划。

4.如权利要求3所述的输变电工程质量管理大数据统计分析系统，其特征是，所述应用层包括：

数据访问接口模块，对外提供页面集成、单点登录和Web Service数据访问；

交互式展示模块，基于用户需求将查询结果通过大数据平台可视化组件进行展示。

5.一种输变电工程质量管理大数据统计分析方法，其特征是，包括以下步骤：

应用层响应客户端请求，将客户端请求发送至数据层；

数据层完成多源异构数据的获取、处理，并将处理后数据发送至平台层；

平台层完成输变电工程质量管理大数据处理结果整合并发送至应用层；

应用层将大数据处理整合结果返回至客户端。

6.如权利要求5所述的输变电工程质量管理大数据统计分析方法，其特征是，所述应用层响应客户端请求，将客户端请求发送至数据层，具体包括：

通过搜索引擎获取用户的数据请求任务，并将数据请求任务发送至数据层。

7.如权利要求6所述的输变电工程质量管理大数据统计分析方法，其特征是，所述数据层完成多源异构数据的获取、处理，具体包括：

通过多源数据接口从外部异构存储系统和分布式存储系统抽取数据；

完成通过数据抽取获取的不同数据库之间的数据结构的转换和统一；

依据设定数据清洗规则完成数据字段统一定义规划。

8.如权利要求7所述的输变电工程质量管理大数据统计分析方法，其特征是，所述平台层完成输变电工程质量管理大数据处理结果整合，具体包括：

接收完成数据处理后的数据计算任务，基于大数据分析算法、条件完成数据计算任务的工作节点和算力资源分配；

用于具体的数据计算处理，将数据计算处理任务分配至若干个工作节点实现并行处理；

完成分布式运算中对计算任务的负载均衡优化处理，将数据计算任务处理过程中的数据存储在分布式文件系统和分布式消息队列。

9.如权利要求8所述的输变电工程质量管理大数据统计分析方法，其特征是，所述平台层完成输变电工程质量管理大数据处理结果整合步骤之后，还包括：完成告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。

10.如权利要求9所述的输变电工程质量管理大数据统计分析方法，其特征是，所述应用层将大数据处理整合结果返回至客户端，具体包括：

应用层基于用户需求将查询结果通过大数据平台可视化组件进行展示，包括从基础数据、中间数据到结果数据的逐级展示。