CN110865997A - 一种电力系统设备隐患在线识别方法及其应用平台 - Google Patents
一种电力系统设备隐患在线识别方法及其应用平台 Download PDFInfo
- Publication number
- CN110865997A CN110865997A CN201911087461.6A CN201911087461A CN110865997A CN 110865997 A CN110865997 A CN 110865997A CN 201911087461 A CN201911087461 A CN 201911087461A CN 110865997 A CN110865997 A CN 110865997A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- management
- access
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000007405 data analysis Methods 0.000 claims abstract description 23
- 238000012423 maintenance Methods 0.000 claims abstract description 16
- 238000003860 storage Methods 0.000 claims abstract description 10
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 238000007418 data mining Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 45
- 238000007726 management method Methods 0.000 claims description 34
- 238000005192 partition Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 11
- 238000013523 data management Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000004044 response Effects 0.000 description 6
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- General Business, Economics & Management (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种电力系统设备隐患在线识别方法及应用平台，将各类数据从外部数据源导入数据分析域存储系统，包括结构化数据的抽取清洗、实时数据的采集接入、非结构化数据的采集接入；将各类数据集中存储；为数据分析域提供分布式运行引擎和协同计算，提供离线计算、实时计算；为业务人员提供数据挖掘工具、自助式分析；同时提供数据路由、数据网关，实现对外提供统一的数据服务及展现服务；为数据分析域提供元数据管理、系统监控、接口监控、运行调度、运维辅助，为管理、运维人员提供系统管理、系统实时监测的技术支撑工具。本发明实现了在线检测，利于能保证整个电力系统安全稳定地运行，同时能够快速而可靠地识别电力系统设备隐患。
Description
技术领域
本发明涉及电力系统的技术领域，具体涉及一种电力系统设备隐患在线识别方法及其应用平台。
背景技术
对于电力系统而言，传统的隐患识别主要是使用漏洞扫描器，在信息系统现场进行漏洞扫描。但是电网控制着工业，能源，交通等国家重要基础设施的运行，一旦电网不能正常提供服务，则这些重要基础设施的运行也将会瘫痪。由于漏洞扫描工具会对检测环境发出很多攻击包，很可能会影响工业控制系统的正常服务，所以为了保证可靠性，不可能应用漏洞扫描工具在工控系统环境下进行扫描，因为电力系统不能容忍由扫描可能导致的崩溃。
针对电力系统的设备隐患，目前普遍实行定期检修制度，但是定期检修盲目性大，并且容易引入新的故障隐患，降低设备的可靠性。
发明内容
本发明所要解决的技术问题是：现行的定期检修制度，但是定期检修盲目性大，并且容易引入新的故障隐患，降低设备的可靠性，本发明提供了解决上述问题的一种电力系统设备隐患在线识别方法及其应用平台，实现了在线检测，利于能保证整个电力系统安全稳定地运行，同时能够快速而可靠地识别电力系统设备隐患，为切实提高调控专业及设备监控专业对电网和设备的掌控能力和监控运行的分析水平提供助力。
本发明通过下述技术方案实现：
一种电力系统设备隐患在线识别方法，包括以下步骤：
S1.数据接入：将各类数据从外部数据源导入数据分析域存储系统，以备计算、分析；所述数据接入方式包括结构化数据的抽取清洗、实时数据的采集接入、非结构化数据的采集接入；
S2.数据存储：将上述接入的结构化数据、实时数据和非结构化数据进行集中存储，用于后期查询；
S3.数据计算：为数据分析域提供分布式运行引擎和协同计算，提供离线计算、实时计算，满足各类业务应用不同时效性的数据计算需求；
S4.统一分析：为业务人员提供数据挖掘工具、自助式分析；同时提供数据路由、数据网关，实现对外提供统一的数据服务及展现服务；
S5.系统管理：为数据分析域提供元数据管理、系统监控、接口监控、运行调度、运维辅助，为管理、运维人员提供系统管理、系统实时监测的技术支撑工具；
其中，通过跨域协同、两级数据级联，实现跨域计算任务协同，实现两级数据分析域数据交互；
所述S1.中，结构化数据的抽取清洗采用数据ETL工具、数据批量加载工具、数据复制工具；实时数据的采集接入采用消息队列组件和流计算组件。
进一步地，所述S1.中，实时数据的采集接入，采用Apache Kafka作为消息队列，使用Spark Streaming作为实时流处理引擎。
进一步地，所述Apache Kafka包括两类客户端分别是消息生产者和消息消费者；所述消息生产者将应用程序的流式数据发送到Apache Kafka，Apache Kafka集群中每个节点都有一个被称为broker的实例，负责缓存数据；Apache Kafka中不同业务系统的消息通过topic进行区分，每个消息被分区，用以分担消息读写负载，每个分区又有多个副本以防止数据丢失；所述消息消费者在具体消费某个topic消息时，指定起始偏移量。
进一步地，所述S1.中，Spark Streaming通过以下模式读取Apache Kafka数据源：Spark Streaming基于Receiver接收Apache Kafka数据流，Receiver是使用Apache Kafka的高层次Consumer API来实现的，receiver从Apache Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job去处理数据。
进一步地，所述S1.中，Spark Streaming通过以下模式读取Kafka数据源：定期地从Apache Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据；当作业需要处理的数据来临时，spark通过调用Apache Kafka的简单消费者API读取一定范围的数据。
进一步地，所述S1.中，SparkStreaming接收到数据流后，使用spark进行数据业务逻辑的处理，处理之后的数据再实时的存入到数据库。
进一步地，所述S1.中，通过RDD实现非结构化数据的采集接入；所述RDD为一个分布式对象集合，是一个只读的分区记录集合；每个RDD分成多个分区，每个分区就是一个数据集片段；一个RDD的不同分区保存到集群。
进一步地，所述S1.中，通过RDD实现非结构化数据的采集接入包括以下步骤：
S11.从当前目录读取一个文件；
S12.从当前目录读取多个文件；
S13.从本地系统读取一个文件；
S14.从本地系统读取整个文件夹；
S15.从本地系统读取多个文件；
S16.从本地系统读取多个文件夹下的文件；
S17.采用通配符，来读取多个文件名类似的文件；
S18.采用通配符读取相同后缀的文件；
S19.从HDFS读取一个文件，从HDFS分布式文件系统中读取文件的形式和本地上一样，只是前面的路径表明是HDFS中的。
一种电力系统设备隐患在线识别的应用平台，包括数据源层、数据层、业务应用层和展现层；
所述数据源层中包含数据的来源于全业务数据中心，所述全业务数据中心包括营销业务系统、生产管理系统、用电信息采集系统；
所述数据层包括数据管理层和数据访问层，所述数据管理层采用数据定时抽取、同步复制文件采集的方式，将数据源层中各业务系统按结构化数据、实时数据与非结构化数据进行技术对应、并分别接入；所述数据访问层包括数据访问组件和数据缓存组件；
所述业务应用层，通过数据访问层获取各类业务数据，依据获取的各类业务数据完成设备异常状态诊断、设备运维检修辅助建议、设备故障预警监测研判、抢修资源合理评判及配电网能效分析；
所述展现层，其基于业务应用层、采用系统管理组件及可视化组件将全景监测和智能预警信息全方位的呈现出来，实现用户与数据的交互，将配电网全域的分析结果和辅助建议分层次、分维度的进行优化；
所述一种电力系统设备隐患在线识别的应用平台用于实现上述的的一种电力系统设备隐患在线识别方法。
进一步地，所述数据管理层包括数据存储组件和数据计算组件，所述数据存储组件包括对图像数据、业务过程数据、地理数据进行管理；所述数据计算组件基于流计算组件、内存计算组件、批量计算组件、查询计算组件完成各类数据计算工作；最后依托基础服务层，实现工作流服务、身份认证服务、权限管理、组织机构管理、日志管理、报表服务、调度任务的管理。
本发明具有如下的优点和有益效果：
本发明的数据接入将各类数据从外部数据源导入数据分析域存储系统，数据存储为公司结构化数据、实时数据及非结构化数据提供集中存储和查询的载体，数据计算为数据分析域提供分布式运行引擎和协同计算，提供离线计算、实时计算，统一分析为公司业务人员提供数据挖掘工具、自助式分析，系统管理为数据分析域提供元数据管理、系统监控、接口监控、运行调度、运维辅助，通过跨域协同、两级数据级联，实现跨域计算任务协同，实现两级数据分析域数据交互，并且实时数据采集接入采用消息队列组件+流计算组件，因此能够快速而可靠地识别电力系统设备隐患，为切实提高调控专业及设备监控专业对电网和设备的掌控能力和监控运行的分析水平提供助力。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1是根据本发明的电力系统设备隐患在线识别方法的示意图；
图2是根据本发明的电力系统设备隐患在线识别的应用平台的示意图；
图3是根据本发明的实时数据采集接入的技术架构；
图4是Apache Kafka基本结构。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提供了一种电力系统设备隐患在线识别方法，具体步骤如下所示：
S1.数据接入：将各类数据从外部数据源导入数据分析域存储系统，以备计算、分析；所述数据接入方式包括结构化数据的抽取清洗、实时数据的采集接入、非结构化数据的采集接入；
S2.数据存储：为公司结构化数据、实时数据及非结构化数据，提供集中存储和查询的载体，海量规模低成本存储、快速高效查询读取；
S3.数据计算：为数据分析域提供分布式运行引擎和协同计算，提供离线计算、实时计算，满足各类业务应用不同时效性的数据计算需求；
S4.统一分析：为公司业务人员提供数据挖掘工具、自助式分析，以满足易用、快速、灵活自做的业务报表和大数据挖掘应用，同时提供数据路由、数据网关，实现对外提供统一的数据服务及展现服务；
S5.系统管理：为数据分析域提供元数据管理、系统监控、接口监控、运行调度、运维辅助，为管理、运维人员提供系统管理、系统实时监测的技术支撑工具；
其中，通过跨域协同、两级数据级联，实现跨域计算任务协同，实现两级数据分析域数据交互；在S1.中，结构化数据的抽取清洗采用数据ETL工具、数据批量加载工具、数据复制工具；实时数据的采集接入采用消息队列组件和流计算组件。
本发明的数据接入将各类数据从外部数据源导入数据分析域存储系统，数据存储为公司结构化数据、实时数据，提供集中存储和查询的载体，数据计算为数据分析域提供分布式运行引擎和协同计算，提供离线计算、实时计算，统一分析为公司业务人员提供数据挖掘工具、自助式分析，系统管理为数据分析域提供元数据管理、系统监控、接口监控、运行调度、运维辅助，通过跨域协同、两级数据级联，实现跨域计算任务协同，实现两级数据分析域数据交互，并且实时数据采集接入采用消息队列组件+流计算组件，因此能够快速而可靠地识别电力系统设备隐患，为切实提高调控专业及设备监控专业对电网和设备的掌控能力和监控运行的分析水平提供助力。
(1)实时数据的接入：实时数据的采集接入，采用Apache Kafka作为消息队列，使用Spark Streaming作为实时流处理引擎。
Apache Kafka包括两类客户端分别是消息生产者和消息消费者；消息生产者将应用程序的流式数据发送到Apache Kafka，Apache Kafka集群中每个节点都有一个被称为broker的实例，负责缓存数据；Apache Kafka中不同业务系统的消息通过topic进行区分，每个消息被分区，用以分担消息读写负载，每个分区又有多个副本以防止数据丢失；消息消费者在具体消费某个topic消息时，指定起始偏移量。
Spark Streaming通过以下两种模式读取Apache Kafka数据源：
A、Spark Streaming通过模式一读取Apache Kafka数据源：Spark Streaming基于Receiver接收Apache Kafka数据流，Receiver是使用Apache Kafka的高层次Consumer API来实现的，receiver从Apache Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job去处理数据。
B、Spark Streaming通过模式二读取Kafka数据源：定期地从Apache Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据；当作业需要处理的数据来临时，spark通过调用Apache Kafka的简单消费者API读取一定范围的数据。
SparkStreaming接收到数据流后，使用spark进行数据业务逻辑的处理，处理之后的数据再实时的存入到数据库。
(2)通过RDD实现非结构化数据的采集接入；RDD为一个分布式对象集合，是一个只读的分区记录集合；每个RDD分成多个分区，每个分区就是一个数据集片段；一个RDD的不同分区保存到集群。通过RDD实现非结构化数据的采集接入步骤如下所示：
S11.从当前目录读取一个文件；
S12.从当前目录读取多个文件；
S13.从本地系统读取一个文件；
S14.从本地系统读取整个文件夹；
S15.从本地系统读取多个文件；
S16.从本地系统读取多个文件夹下的文件；
S17.采用通配符，来读取多个文件名类似的文件；
S18.采用通配符读取相同后缀的文件；
S19.从HDFS读取一个文件，从HDFS分布式文件系统中读取文件的形式和本地上一样，只是前面的路径表明是HDFS中的。
实施例2
本实施例提供了一种电力系统设备隐患在线识别的应用平台，用于实现实施例1提供的电力系统设备隐患在线识别方法。应用平台依次包括数据源层、数据层、业务应用层、基础服务层和展现层；
数据源层中包含数据的来源于全业务数据中心，所述全业务数据中心包括营销业务系统、生产管理系统、用电信息采集系统；并对全业务数据中心的数据接入要求全面
数据层包括数据管理层和数据访问层，数据管理层采用数据定时抽取、同步复制文件采集的方式，将数据源层中各业务系统按结构化数据、实时数据与非结构化数据进行技术对应、并分别接入；数据访问层包括数据访问组件和数据缓存组件；
业务应用层，通过数据访问层获取各类业务数据，依据获取的各类业务数据完成设备异常状态诊断、设备运维检修辅助建议、设备故障预警监测研判、抢修资源合理评判及配电网能效分析；
展现层，其基于业务应用层、采用系统管理组件及可视化组件将全景监测和智能预警信息全方位的呈现出来，实现用户与数据的交互，将配电网全域的分析结果和辅助建议分层次、分维度的进行优化；
进一步地，数据管理层包括数据存储组件和数据计算组件，所述数据存储组件包括对图像数据、业务过程数据、地理数据进行管理；所述数据计算组件基于流计算组件、内存计算组件、批量计算组件、查询计算组件完成各类数据计算工作；最后依托基础服务层，实现工作流服务、身份认证服务、权限管理、组织机构管理、日志管理、报表服务、调度任务的管理。
实施例3
本发明性能评价：
1、性能与可靠性
当系统进行多用户并发操作时，满足如下要求：首页访问平均响应时间不得超过5秒；系统登录平均响应时间不超过5秒；执行简单查询、添加和删除业务时，平均响应时间不超过5秒；执行复杂的综合业务(同时包括查询、添加、删除等操作请求)时，平均响应时间不超过10秒；在执行统计业务时，月统计业务的平均响应时间不超过20秒，年统计业务的平均响应时间不超过30秒。
日常平均CPU占用率小于40％，忙时小于75％，内存占用率小于50％，最大并发时小于75％。
系统稳定试运行三个月以上，运行安全、稳定，达到7×24h的可靠运行能力，年可用率＞99.97％，满足使用单位的有关要求。
2、信息安全
本项目信息系统，其安全防护依据《国家电网公司智能电网信息安全防护总体方案》(国家电网信息〔2011〕1727号)要求，遵循“分区分域、安全接入、动态感知、全面防护”的安全策略，按照等级保护三级系统要求进行安全防护设计，并根据业务系统的不断完善加强对网站的防护，最大限度的保障营配数据治理工具的安全、可靠和稳定运行。
3、可维护性
为了便于运维人员对系统进行及时有效的维护，系统满足易理解、易分析、易配置、易修改、易测试的要求。
4、易用性
系统从用户体验维度出发，应满足页面布局合理，通用操作规范，出错处理、反馈与提示人性化等要求。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种电力系统设备隐患在线识别方法，其特征在于，包括以下步骤：
S1.数据接入：将各类数据从外部数据源导入数据分析域存储系统，以备计算、分析；所述数据接入方式包括结构化数据的抽取清洗、实时数据的采集接入、非结构化数据的采集接入；
S2.数据存储：将上述接入的结构化数据、实时数据和非结构化数据进行集中存储，用于后期查询；
S3.数据计算：为数据分析域提供分布式运行引擎和协同计算，提供离线计算、实时计算，满足各类业务应用不同时效性的数据计算需求；
S4.统一分析：为业务人员提供数据挖掘工具、自助式分析；同时提供数据路由、数据网关，实现对外提供统一的数据服务及展现服务；
S5.系统管理：为数据分析域提供元数据管理、系统监控、接口监控、运行调度、运维辅助，为管理、运维人员提供系统管理、系统实时监测的技术支撑工具；
其中，通过跨域协同、两级数据级联，实现跨域计算任务协同，实现两级数据分析域数据交互；
所述S1.中，结构化数据的抽取清洗采用数据ETL工具、数据批量加载工具、数据复制工具；实时数据的采集接入采用消息队列组件和流计算组件。
2.根据权利要求1所述的一种电力系统设备隐患在线识别方法，其特征在于，所述S1.中，实时数据的采集接入，采用Apache Kafka作为消息队列，使用Spark Streaming作为实时流处理引擎。
3.根据权利要求2所述的一种电力系统设备隐患在线识别方法，其特征在于，所述Apache Kafka包括两类客户端分别是消息生产者和消息消费者；所述消息生产者将应用程序的流式数据发送到Apache Kafka，Apache Kafka集群中每个节点都有一个被称为broker的实例，负责缓存数据；Apache Kafka中不同业务系统的消息通过topic进行区分，每个消息被分区，用以分担消息读写负载，每个分区又有多个副本以防止数据丢失；所述消息消费者在具体消费某个topic消息时，指定起始偏移量。
4.根据权利要求2或3所述的一种电力系统设备隐患在线识别方法，其特征在于，所述S1.中，Spark Streaming通过以下模式读取Apache Kafka数据源：Spark Streaming基于Receiver接收Apache Kafka数据流，Receiver是使用Apache Kafka的高层次Consumer API来实现的，receiver从Apache Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job去处理数据。
5.根据权利要求2或3所述的一种电力系统设备隐患在线识别方法，其特征在于，所述S1.中，Spark Streaming通过以下模式读取Kafka数据源：定期地从Apache Kafka的topic+partition中查询最新的偏移量，再根据定义的偏移量范围在每个batch里面处理数据；当作业需要处理的数据来临时，spark通过调用Apache Kafka的简单消费者API读取一定范围的数据。
6.根据权利要求2所述的一种电力系统设备隐患在线识别方法，其特征在于，所述S1.中，SparkStreaming接收到数据流后，使用spark进行数据业务逻辑的处理，处理之后的数据再实时的存入到数据库。
7.根据权利要求1所述的一种电力系统设备隐患在线识别方法，其特征在于，所述S1.中，通过RDD实现非结构化数据的采集接入；所述RDD为一个分布式对象集合，是一个只读的分区记录集合；每个RDD分成多个分区，每个分区就是一个数据集片段；一个RDD的不同分区保存到集群。
8.根据权利要求7所述的一种电力系统设备隐患在线识别方法，其特征在于，所述S1.中，通过RDD实现非结构化数据的采集接入包括以下步骤：
S11.从当前目录读取一个文件；
S12.从当前目录读取多个文件；
S13.从本地系统读取一个文件；
S14.从本地系统读取整个文件夹；
S15.从本地系统读取多个文件；
S16.从本地系统读取多个文件夹下的文件；
S17.采用通配符，来读取多个文件名类似的文件；
S18.采用通配符读取相同后缀的文件；
S19.从HDFS读取一个文件，从HDFS分布式文件系统中读取文件的形式和本地上一样，只是前面的路径表明是HDFS中的。
9.一种电力系统设备隐患在线识别的应用平台，其特征在于，包括数据源层、数据层、业务应用层和展现层；
所述数据源层中包含数据的来源于全业务数据中心，所述全业务数据中心包括营销业务系统、生产管理系统、用电信息采集系统；
所述数据层包括数据管理层和数据访问层，所述数据管理层采用数据定时抽取、同步复制文件采集的方式，将数据源层中各业务系统按结构化数据、实时数据与非结构化数据进行技术对应、并分别接入；所述数据访问层包括数据访问组件和数据缓存组件；
所述业务应用层，通过数据访问层获取各类业务数据，依据获取的各类业务数据完成设备异常状态诊断、设备运维检修辅助建议、设备故障预警监测研判、抢修资源合理评判及配电网能效分析；
所述展现层，其基于业务应用层、采用系统管理组件及可视化组件将全景监测和智能预警信息全方位的呈现出来，实现用户与数据的交互，将配电网全域的分析结果和辅助建议分层次、分维度的进行优化；
所述一种电力系统设备隐患在线识别的应用平台用于实现权利要求1至8任一项所述的一种电力系统设备隐患在线识别方法。
10.根据权利要求9所述的一种电力系统设备隐患在线识别的应用平台，其特征在于，所述数据管理层包括数据存储组件和数据计算组件，所述数据存储组件包括对图像数据、业务过程数据、地理数据进行管理；所述数据计算组件基于流计算组件、内存计算组件、批量计算组件、查询计算组件完成各类数据计算工作；最后依托基础服务层，实现工作流服务、身份认证服务、权限管理、组织机构管理、日志管理、报表服务、调度任务的管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911087461.6A CN110865997A (zh) | 2019-11-08 | 2019-11-08 | 一种电力系统设备隐患在线识别方法及其应用平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911087461.6A CN110865997A (zh) | 2019-11-08 | 2019-11-08 | 一种电力系统设备隐患在线识别方法及其应用平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110865997A true CN110865997A (zh) | 2020-03-06 |
Family
ID=69654571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911087461.6A Pending CN110865997A (zh) | 2019-11-08 | 2019-11-08 | 一种电力系统设备隐患在线识别方法及其应用平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110865997A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035208A (zh) * | 2020-09-23 | 2020-12-04 | 国网江苏省电力有限公司南京供电分公司 | 变电站多形态电力设备及物联网采集展示大数据接入方法 |
| CN112149438A (zh) * | 2020-09-17 | 2020-12-29 | 宁波天德创新智能科技有限公司 | 一种安全管理系统 |
| CN112269765A (zh) * | 2020-11-13 | 2021-01-26 | 中盈优创资讯科技有限公司 | 提升Spark结构化流文件数据源读取性能方法及装置 |
| CN112271821A (zh) * | 2020-12-21 | 2021-01-26 | 华南理工大学 | 基于云计算的用电终端降损节能智能化监测与分析系统 |
| CN112308738A (zh) * | 2020-11-19 | 2021-02-02 | 海天水务集团股份公司 | 一种水务数据分析处理系统 |
| CN112508677A (zh) * | 2020-11-06 | 2021-03-16 | 无锡艺界科技有限公司 | 一种基于大数据风控的金融系统 |
| CN112699162A (zh) * | 2020-12-15 | 2021-04-23 | 中国电力科学研究院有限公司 | 一种用于源网荷多元数据处理的系统 |
| CN113157795A (zh) * | 2021-05-18 | 2021-07-23 | 国网宁夏电力有限公司 | 适用于移动应用的电网调控运行多源数据建模与管理系统 |
| CN113495774A (zh) * | 2021-07-08 | 2021-10-12 | 上海浦东发展银行股份有限公司 | 一种运维系统的控制方法、装置、设备及存储介质 |
| CN115168474A (zh) * | 2022-07-26 | 2022-10-11 | 成都智元汇信息技术股份有限公司 | 一种基于大数据模型的物联中台系统搭建方法 |
| CN115550257A (zh) * | 2022-10-17 | 2022-12-30 | 昆明能讯科技有限责任公司 | 实现电力分布式系统间数据路由处理的方法及存储介质 |
| CN117250439A (zh) * | 2023-11-08 | 2023-12-19 | 国网四川省电力公司电力科学研究院 | 一种面向多源接地故障的三层式研判分析系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN109492991A (zh) * | 2018-10-18 | 2019-03-19 | 华南理工大学 | 配电工程建设智能化综合管理系统 |
| CN109977158A (zh) * | 2019-02-28 | 2019-07-05 | 武汉烽火众智智慧之星科技有限公司 | 公安大数据分析处理系统及方法 |
-
2019
- 2019-11-08 CN CN201911087461.6A patent/CN110865997A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463492A (zh) * | 2014-12-23 | 2015-03-25 | 国家电网公司 | 一种电力系统云仿真平台的运营管理方法 |
| CN109492991A (zh) * | 2018-10-18 | 2019-03-19 | 华南理工大学 | 配电工程建设智能化综合管理系统 |
| CN109977158A (zh) * | 2019-02-28 | 2019-07-05 | 武汉烽火众智智慧之星科技有限公司 | 公安大数据分析处理系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| NICHOLASECHO: "Spark Streaming整合kafka实战", 《HTTPS://BLOG.CSDN.NET/WEIXIN_41615494/ARTICLE/DETAILS/79521737》 * |
| 曹洁: "全业务统一数据中心支撑"量价费"日监测初探", 《电力信息与通信技术》 * |
| 朱碧钦 等: "基于大数据的全业务统一数据中心数据分析域建设研究", 《电力信息与通信技术》 * |
| 魏焱: "基于VR的变电站智能巡检场景研究与设计", 《科技视界》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149438A (zh) * | 2020-09-17 | 2020-12-29 | 宁波天德创新智能科技有限公司 | 一种安全管理系统 |
| CN112149438B (zh) * | 2020-09-17 | 2022-08-05 | 宁波天德创新智能科技有限公司 | 一种安全管理系统 |
| CN112035208A (zh) * | 2020-09-23 | 2020-12-04 | 国网江苏省电力有限公司南京供电分公司 | 变电站多形态电力设备及物联网采集展示大数据接入方法 |
| CN112508677A (zh) * | 2020-11-06 | 2021-03-16 | 无锡艺界科技有限公司 | 一种基于大数据风控的金融系统 |
| CN112269765A (zh) * | 2020-11-13 | 2021-01-26 | 中盈优创资讯科技有限公司 | 提升Spark结构化流文件数据源读取性能方法及装置 |
| CN112308738A (zh) * | 2020-11-19 | 2021-02-02 | 海天水务集团股份公司 | 一种水务数据分析处理系统 |
| CN112699162A (zh) * | 2020-12-15 | 2021-04-23 | 中国电力科学研究院有限公司 | 一种用于源网荷多元数据处理的系统 |
| CN112271821A (zh) * | 2020-12-21 | 2021-01-26 | 华南理工大学 | 基于云计算的用电终端降损节能智能化监测与分析系统 |
| CN113157795A (zh) * | 2021-05-18 | 2021-07-23 | 国网宁夏电力有限公司 | 适用于移动应用的电网调控运行多源数据建模与管理系统 |
| CN113495774A (zh) * | 2021-07-08 | 2021-10-12 | 上海浦东发展银行股份有限公司 | 一种运维系统的控制方法、装置、设备及存储介质 |
| CN115168474A (zh) * | 2022-07-26 | 2022-10-11 | 成都智元汇信息技术股份有限公司 | 一种基于大数据模型的物联中台系统搭建方法 |
| CN115550257A (zh) * | 2022-10-17 | 2022-12-30 | 昆明能讯科技有限责任公司 | 实现电力分布式系统间数据路由处理的方法及存储介质 |
| CN117250439A (zh) * | 2023-11-08 | 2023-12-19 | 国网四川省电力公司电力科学研究院 | 一种面向多源接地故障的三层式研判分析系统 |
| CN117250439B (zh) * | 2023-11-08 | 2024-01-30 | 国网四川省电力公司电力科学研究院 | 一种面向多源接地故障的三层式研判分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110865997A (zh) | 一种电力系统设备隐患在线识别方法及其应用平台 | |
| RU2554540C2 (ru) | Система фильтра команд местной электрораспределительной сети | |
| CN112130999B (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
| US9280437B2 (en) | Dynamically scalable real-time system monitoring | |
| CN107070890A (zh) | 一种通信网优系统中的流数据处理装置及通信网优系统 | |
| CN111240861A (zh) | 服务提供方法、装置、电子设备及存储介质 | |
| CN103995807B (zh) | 一种基于Web架构下海量数据查询和二次处理的方法 | |
| CN113254466A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN102208991A (zh) | 一种日志处理方法、设备和系统 | |
| CN102833111B (zh) | 一种可视化http数据监管方法及装置 | |
| CN109636307B (zh) | 河长app系统 | |
| CN104504014A (zh) | 基于大数据平台的数据处理方法和装置 | |
| CN104104702A (zh) | 面向家庭物联网的云计算架构 | |
| CN103457802A (zh) | 一种信息传输系统及方法 | |
| CN114281790A (zh) | 一种多类型负荷资源聚合商接入系统及方法 | |
| CN115038083A (zh) | 一种应用ai运营商行业的电信欺诈预警识别方法及系统 | |
| CN113326148A (zh) | 一种基于微服务的数据交互系统 | |
| CN104679805B (zh) | 一种面向电网综合信息的远程调阅方法 | |
| CN102316122A (zh) | 基于协同方式的内网安全管理方法 | |
| CN208046653U (zh) | 一种电力监控系统网络安全监测主站平台系统 | |
| CN117149909A (zh) | 数据同步方法、装置、存储介质及处理器 | |
| CN111698301A (zh) | 一种保证服务延续的服务管理方法、装置及存储介质 | |
| CN110913018A (zh) | 一种分布式调控服务系统 | |
| CN109522349A (zh) | 跨类型数据计算及共享方法、系统、设备 | |
| CN115766782A (zh) | 一种检验检测工业物联网平台及其应用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200306 |
|
| RJ01 | Rejection of invention patent application after publication |