CN110598051A - 一种电力行业监控系统、方法及装置 - Google Patents
一种电力行业监控系统、方法及装置 Download PDFInfo
- Publication number
- CN110598051A CN110598051A CN201910877561.2A CN201910877561A CN110598051A CN 110598051 A CN110598051 A CN 110598051A CN 201910877561 A CN201910877561 A CN 201910877561A CN 110598051 A CN110598051 A CN 110598051A
- Authority
- CN
- China
- Prior art keywords
- real
- data
- time
- time database
- power industry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims description 25
- 238000012806 monitoring device Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000012550 audit Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种电力行业监控系统。该电力行业监控系统包括:实时数据库,实时数据库中的数据按照预定周期进行更新,并且,实时数据库中的实时数据常驻内存,其中,实时数据包括采集到的电力系统中的实时运行的硬件和/或软件的运行信息,运行信息包括非结构化数据;积算系统,用于获取实时数据库中的运行信息,从非结构化的运行信息中读取相应内容并将处理结果写入到实时数据库中的对应字段;归档服务器,用于将实时数据库中数据按照预定要求进行归档存储在磁盘上。通过本申请,解决了技术控制对参数的采集精度和控制的复杂程度要求越来越高,而现有技术无法满足当前技术需求的问题。
Description
技术领域
本申请涉及电力数据领域,具体而言,涉及一种电力行业监控系统、方法及装置。
背景技术
在能源领域里,长期以来计量流量一直是计量工作中的重点和难点,它直接影响着企业运行的稳定和企业成本的控制。随着能源互联网的不断完善和发展,技术控制对参数的采集精度和控制的复杂程度要求越来越高,而当下技术方案已经无法满足当前技术需求了。
针对现有技术无法满足当前技术需求的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种电力行业监控系统、方法及装置,以解决技术控制对参数的采集精度和控制的复杂程度要求越来越高,而现有技术无法满足当前技术需求的问题。
根据本申请的一个方面,提供了一种电力行业监控方法。该电力行业监控系统包括:实时数据库,所述实时数据库中的数据按照预定周期进行更新,并且,所述实时数据库中的实时数据常驻内存,其中,所述实时数据包括采集到的电力系统中的实时运行的硬件和/或软件的运行信息,所述运行信息包括非结构化数据;积算系统,用于获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;归档服务器,用于将所述实时数据库中数据按照预定要求进行归档存储在磁盘上。
可选的,所述电力行业监控系统还包括:云显控平台,用于将归档存储在所述磁盘上的数据提供可视化显示以及可视化编辑。
可选的,所述运行信息包括日志文件。
可选的,所述电力行业监控系统与现场采集控制设备之间建立套接字(Socket)连接,并通过传递XML格式的文本信息进行通信。
可选的,所述归档服务器用于将所述实时数据库中数据按照时间顺序进行归档存储在磁盘上。
根据本申请的另一方面,提供了一种电力行业监控方法。该方法包括:采集电力系统中实时运行的硬件和/或软件的运行信息;将所述运行信息保存在实时数据库中,其中,所述实时数据库中的实时数据常驻内存,所述运行信息包括非结构化数据;获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;将所述实时数据库中数据按照预定要求进行归档存储在磁盘上。
根据本申请的另一方面,提供了一种电力行业监控装置。该装置包括:采集单元,用于采集电力系统中实时运行的硬件和/或软件的运行信息;保存单元,用于将所述运行信息保存在实时数据库中,其中,所述实时数据库中的实时数据常驻内存,所述运行信息包括非结构化数据;获取单元,用于获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;存储单元,用于将所述实时数据库中数据按照预定要求进行归档存储在磁盘上根据本申请的另一方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述任意一项所述的电力行业监控方法。
根据本申请的另一方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述的电力行业监控方法。
通过本申请,通过实时数据库,所述实时数据库中的数据按照预定周期进行更新,并且,所述实时数据库中的实时数据常驻内存,其中,所述实时数据包括采集到的电力系统中的实时运行的硬件和/或软件的运行信息,所述运行信息包括非结构化数据;积算系统,用于获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;归档服务器,用于将所述实时数据库中数据按照预定要求进行归档存储在磁盘上,解决了技术控制对参数的采集精度和控制的复杂程度要求越来越高,而现有技术无法满足当前技术需求的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的电力行业监控系统的示意图;
图2是根据本申请实施例提供的电力行业监控方法的流程图;以及
图3是根据本申请实施例提供的电力行业监控装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请的实施例,提供了一种电力行业监控系统。
图1是根据本申请实施例的电力行业监控系统的示意图。如图1所示,该系统包括:
实时数据库10,所述实时数据库10中的数据按照预定周期进行更新,并且,所述实时数据库10中的实时数据常驻内存,其中,所述实时数据包括采集到的电力系统中的实时运行的硬件和/或软件的运行信息,所述运行信息包括非结构化数据。
在一个可选的示例中,上述电力系统中的实时运行的硬件和/或软件可以为:电力系统中的多个分布式采集监控设备,和/或,分布式实时数据服务器和嵌入式远程终端服务器。
在一个可选的示例中,所述运行信息包括:日志文件。例如,分布式采集监控设备推送的实时数据及周期性批量数据。
在一个可选的示例中,所述电力系统中的实时运行的硬件和/或软件的运行信息包括以下至少之一:主机(物理机及虚拟机)CPU使用率、主机(物理机及虚拟机)内存使用率、主机(物理机及虚拟机)硬盘使用率、主机(物理机及虚拟机)硬盘IO、主机(物理机及虚拟机)网卡使用率、云操作系统服务组件运行情况、分布式服务总线服务组件运行情况、容器集群服务组件运行情况、SDN服务组件运行情况、负载均衡组件运行情况、即时消息总线组件运行情况。
在一个可选的示例中,所述实时数据库10通过监控采集工具针对电力系统中的实时运行的硬件和/或软件的运行信息进行采集存储,其中,监控采集工具可以依据1小时、6小时、1天、1周、1月等的不同周期进行监控;另外,该监控采集工具还具备告警功能,允许用户针对监控指标设置指标的阀值、告警的方式及告警的接收者,当指标达到或超过阀值时,将告警通知发送到对应的接收者。
在一个可选的示例中,上述监控采集工具可以为influxed+grafana、prometheus等监控工具。
举例说明:实时数据库10主要负责接收分布式采集监控设备推送的实时数据及周期性批量数据,并对实时数据进行管理和维护,以便为积算系统20、归档服务器30和云显控平台(电力行业监控系统中的其他部件)提供数据资源。其中,上述实时数据常驻内存,并随着时间的变化不断更新,以反映现场过程的变化。
在一个可选的示例中,分布式数据采集设备之间通过工业以太网相互连接,形成覆盖全网的工业环网,并通过Internet连接至电力行业监控系统(具体的,连接至实时数据库10)。其中,电力行业监控系统通过TCP/IP协议与现场的分布式数据采集设备进行实时通信,以保证数据的实时性、安全性和可靠性。
在一个可选的示例中,在电力行业监控系统与现场采集控制设备之间建立套接字(Socket)连接,并通过传递XML格式的文本信息进行通信。
针对XML格式需要说明的是:可扩展标记语言(Extensible Markup Language,XML),用于标记电子文件使其具有结构性的标记语言,可以用来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。XML是标准通用标记语言(SGML)的子集,非常适合Web传输。XML提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。
XML定义了一套将文档分成许多部件并对这些部件加以标识的语义标记的规则。XML是一种元标记语言,并能够通过元素之间的嵌套包含来体现层次结构。但是这些标记必须根据某些通用的原理来创建,XML标记不是描述页面元素的格式化,而是描述文档内容的结构和含义。
积算系统20,用于获取所述实时数据库10中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库10中的对应字段。
举例说明:积算系统20主要用于执行流量数据的统一积算,具体的,积算系统20通过访问实时数据库10中的实时数据,对来自不同采集设备的数据进行补偿积算,并将所生成的处理结果写入实时数据库10中的对应字段中,以供云显控平台调用。
需要说明的是:所述积算系统20可以通过日志分析工具(例如:ELK,其中,ELK是elastic公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合)实现根据预先定义的解析规则将非结构化的运行信息,进行结构化存储。
还需要说明的是:ElasticSearch是一个基于全文检索引擎lucene实现的一个面向文档的schema free的数据库。所有对数据库的配置、监控及操作都通过Restful接口完成。数据格式为json。默认支持节点自动发现,数据自动复制,自动分布扩展,自动负载均衡。适合处理最大千万级别的数据的检索。处理效率非常高。可以理解为elasticSearch是一个在lucene基础上增加了restful接口及分布式技术的整合。
Logstash是一个对文件日志或者syslog日志以及其他各种类型的输入数据流进行解码,过滤,转换并转换为其他类型的数据流的软件,最常见的用法是将系统日志分析,结构化处理后倒入到ElasticSearch中。当然logstash也可以独立的完成很多日志/事件处理的工作,并不是必须要和ElasticSearch配合使用。
Kibana是一个通过Restful接口对ElasticSearch数据库进行检索,通过HTML5形式以柱状图,饼图,线图,地理位置分布图以及表格等形式展示数据的软件。
归档服务器30,用于将所述实时数据库10中数据按照预定要求进行归档存储在磁盘上。
在一个可选的示例中,所述归档服务器30通过网页服务器(例如:Web Server),执行接收到的交互指令,以对存储于磁盘上的数据进行查询展示处理,以及对所述归档服务的配置参数(例如,预定要求)的调整处理。此外,上述查询展示处理和/或调整处理还可以是通过云显控平台执行。
在一个可选的示例中,所述归档服务器30用于将所述实时数据库10中数据按照时间顺序进行归档存储在磁盘上。
也即,归档服务器30接收实时数据库10中的实时数据,并依据用户要求对数据进行归档处理,以将数据压缩归档存储于指定磁盘中,进而令用户便捷地了解到数据的变化历史。
其中,实时数据库10和归档服务器30的结合可以作为云数据中心,在所述电力行业监控系统中存在。
可选地,在本申请实施例提供的电力行业监控系统中,电力行业监控系统包括:云显控平台,用于将归档存储在所述磁盘上的数据提供可视化显示以及可视化编辑。
需要说明的是:云显控平台既是数据实时运行监控、平衡调度指挥的操作性平台,又是基于数据的综合管理平台。具体的,该云显控平台的主要功能包括:用户界面Web服务器、日志监控、综合分析、能源预警、平衡调度等。
例如,所有接入互联网的终端设备均可以通过云显控平台的Web Server,访问本申请实施例提供的电力行业监控系统,进行查询实时数据库10中所存储的实时数据和归档服务器30进行归档存储的历史数据。此外,用户还可以通过云显控平台的web server对现场设备(例如:电力系统中的实时运行的硬件和/或软件)进行控制,以及对积算系统20本身进行配置。
本申请实施例提供的电力行业监控系统,通过实时数据库10,所述实时数据库10中的数据按照预定周期进行更新,并且,所述实时数据库10中的实时数据常驻内存,其中,所述实时数据包括采集到的电力系统中的实时运行的硬件和/或软件的运行信息,所述运行信息包括非结构化数据;积算系统20,用于获取所述实时数据库10中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库10中的对应字段;归档服务器30,用于将所述实时数据库10中数据按照预定要求进行归档存储在磁盘上,解决了技术控制对参数的采集精度和控制的复杂程度要求越来越高,而现有技术无法满足当前技术需求的问题。
也即,本申请实施例提供的电力行业监控系统,通过借助高速可靠的云基础设施平台,实现了如下功能:实时数据的采集存储、流量积算与补偿的计算、数据归档存储以及向终端用户提供监测和控制的Web访问接口,通过网络实现随时随地对全局和局部流量的监控。
需要说明的是:在本申请实施例提供的电力行业监控系统中,积算系统20、归档服务器30、云显控平台均是以实时数据库10为中心进行相关关联的。具体的,积算系统20是通过读取实时数据库10总的实时流量数据,并对该实时流量数据进行流量补偿积算的,进而将得到的处理结果存储于实时数据库10中;归档服务器30则是读取实时数据库10中的数据,并对该数据进行归档存储处理的;云显控平台则读取实时数据库10中的数据,以进行实时显示和图形化展示。
还需要说明的是:本申请实施例提供的电力行业监控系统架设在云端,并使用高速、稳定、可靠的专用服务器运行;而电力系统中的实时运行的硬件和电力系统中的实时运行的软件所应用的终端设备,采用具有web浏览器的移动设备。进而实现电力行业监控系统具备高效率积算能力,终端设备具备低成本、使用便捷的技术效果。
在一个可选的示例中,本申请实施例所提供的电力行业监控系统与现场采集控制设备(即:电力系统中的实时运行的硬件和/或软件)之间的传递通讯,可以从功能上分为如下三种不同模式:
其一、传递基础文件:
现场采集控制设备启动并完成配置之后,会主动向电力行业监控系统发送一个记录有该设备的设备信息、配置信息以及该设备下面连接的数据表文件,该文件称为基础文件。电力行业监控系统接收到该文件后,将其添加到实时数据库10中,从而对该设备以及其下连接的点位信息进行记录,为之后的采集实时数据和发布控制指令奠定基础。
其二、读取实时数据:
有了基础文件之后,电力行业监控系统就会按照基础文件中的点位信息以及数据采集频率等方面的要求,进行实时数据的采集读取。读取实时数据是通过与现场采集控制设备建立Socket连接,发送SQL语句或XML数据请求文件来进行的,采集控制设备按照要求将需要的实时数据写入一个XML文件中,并将该文件返回给电力行业监控系统的实时数据库10中。
其三、发布控制指令:
用户通过云显控平台可以向现场采集控制设备发送控制指令,控制指令包含在一个XML文件中,电力行业监控系统将该XML文件传递给相应的现场采集控制设备,现场设备接收到该文件后进行解析,按照文件中的点位信息和控制指令进行相关操作,将控制指令转发给执行机构或者直接输出控制信号对现场设备进行控制。
综上所述,本申请实施例所提供的电力行业监控系统,基于生产现场分布式架构,将现场的每一个数据采集环节联网,并在云端进行集中管理和控制,使监控技术发挥最高的效用,为系统管理大大提供方便。
也即,本申请实施例所提供的电力行业监控系统,针对电力行业云基础设施、数据、服务、应用的易用性低、资源分散、管理复杂的特点,所属分布式日志监控有分布式实时数据服务器和远程终端服务器阻证,数据采集通过分布式网络结构实现对实时数据的采集、存储、汇总、推送、统一流量积算,并通过Web方式对外提供数据监视、服务器配置;电力行业监控系统建立在互联网云端的高性能服务器上,采用IaaS或者PaaS云服务模式,为企业提供一个资源调配更弹性灵活,数据利用更集中智能,服务集成更统一高效,应用开发更快速便捷的云平台。
现对本申请实施例所提供的电力行业监控系统所能达到的技术优点进行论述:
首先,本申请实施例所提供的电力行业监控系统具备如下功能:
1、日志收集:日志收集是使用日志分析工具的第一步。典型的日志数据包括:服务器的access.log和error.log,各个应用组件的日志,Linux系统日志和数据库MySQL日志、应用的日志等。日志服务支持自动部署Agent/SDK进行日志采集。SDK适合运行在容器中的应用记录业务日志,作为log4j/logback的扩展,对应用无侵入。agent适合中间件、系统模块、接入层、数据库等非业务模块的接入。便捷实时采集跨地域、多渠道、多平台、不同数据源的日志数据。
2、数据存储:日志数据存储可为高可扩展性的分布式系统架构部署,也可为本地磁盘。系统可以支持每日TB级的日志数据。支持多冗余备份,提供不低于99.999%的数据持久性,与不低于99.9%的服务可靠性。
3、日志解析规则识别:用户上传的原生日志是一种半结构化数据,一般按行分为不同的记录,每条记录则根据日志类型的不同,可以拆分成不同的字段。解析日志就是按照预先定义的解析规则将非结构化的日志数据变成结构化的数据。日志分析工具需要提供常用的日志解析规则,能够识别和解析常见的日志格式。对于不支持的日志格式,用户可以自定义解析规则。
4、日志搜索:支持对日志做全文索引,方便检索;自动识别各种日志类型,自动抽取关键字段;支持搜索处理语言(SPL),支持相关逻辑表达式的关联运算,同时也支持聚合函数的运算(如count,sum),字符串/数字/时间操作函数。
5、日志统计:统计分析是针对搜索结果创建不同展示方式的统计图表,需要支持的统计图有:事件统计,时间分段,数值分段,字段值分类等。
6、事件计数:事件计数是在当前搜索结果中针对不同的字段值进行事件数量的统计,包括总数量(相当于SQL语句中的count),和独立值数量(相当于SQL语句中的countdistinct)。通过事件计数的统计分析,可以探索不同字段的事件数的分布情况。
7、时间分段:时间分段是自定义不同的区间对事件进行统计分析,并且支持总计(sum),最大值(max),最小值(min)和平均值(avg)统计。时间区间维度可以任意指定,统计字段则只支持数值型,不支持字符型。
8、数值分段:数值分段和时间分段类似,不同的是分段维度。前者是根据数值来分段,后者是根据时间来分段。
9、字段值分类:字段值分类对于分析字段的具体值分布的情况非常有用。可以指定任意字段,将TOP N的值得数量以直方图的形式展示出来。
10、日志可视化:仪表盘通过可视化配置的方式,让用户能够根据不同场景的需求自定义日志分析。日志分析工具需要支持图形面板、数字面板以及表格面板。其中图形面板包括区域图、柱状图、折线图以及饼图。通过组合不同的面板来完成复杂得报表呈现,支持根据设定的时间范围查询统计数据,可以通过设置自动更新动态更新面板数据,同时面板还支持拖拽缩放等功能。
11、日志实时查看:从日志产生到查询可见,要求达到秒级完成数据的采集、处理和搜索统计。可以根据主机名、应用名和日志类型来进行筛选,不再需要登录服务器。
12、日志源管理:日志平台中的日志源需要按照应用来划分,每个分类对应一个数据源。需要能够知道日志来源,接入主机,文件名,解析规则,应用名,上传日志总数,最后上传时间。并且需要提供数据源的删除、暂停和启动操作。
13、日志审计:
日志审计记录所有系统及相关用户行为的信息,并且可以自动分析、处理、展示。通过主被动结合的手段,实时不间断地采集用户网络中各种不同厂商的网络设备、主机、操作系统、以及各种应用系统产生的海量日志信息,并将这些信息汇集到审计中心,进行集中化存储、备份、查询、审计、告警、响应,并出具丰富的报表报告。主要是针对各个组件,例如云操作系统及容器集群,不同用户对资源的操作,包括:资源申请、变更、删除等操作进行日志审计,并在自动化运维工具集的页面展示出来。
14、分析告警:支持针对日志设置分析策略,分析结果能协助运维人员快速定位问题所在;支持针对日志设置条件触发式的监控告警。通过对日志设定不同的触发条件,可以实现基于业务逻辑的监控告警;告警条件触发后,可以通过微信发送给预先设置的告警接收人;日志的告警规则类型分为事件数监控、字段统计监控和连续统计监控三种。
15、事件监控:事件数监控,即,在给定的时间范围内搜索结果的总数达到阈值,则触发告警;字段统计监控,即,在触发条件中填写你需要监测的字段,当该字段在一段时间出现的次数达到阈值,则出发告警;连续统计监控,即,当触发条件中需要监测的字段,在某个时间内连续出现次数达到阈值,则触发告警。
首先,本申请实施例所提供的电力行业监控系统具备如下特点:
1、优秀的性能与可靠性,具体的,可对应用系统进行7×24小时业务,稳定可靠运行;对应用系统的性能影响不超过3%;日常平均CPU占用率<40%,忙时<75%,内存占用率<50%,最大并发时<75%;系统应满足易理解、易分析、易配置、易修改、易测试的要求;系统从用户体验维度出发,满足页面布局合理,通用操作规范,出错处理、反馈与提示人性化等要求。
2、易用性,具体的,系统从用户体验维度出发,应满足页面布局合理,通用操作规范,出错处理、反馈与提示人性化等要求,需支持Windows7及以上操作系统,IE8浏览器及以上或Chrome浏览器进行客户端对APM系统的访问。
3、易维护性,具体的,为了便于运维人员对系统进行及时有效的维护,系统满足易理解、易分析、易配置、易修改、易测试的要求。
4、可灾备性,具体的,根据国家电网公司灾备建设相关要求、应用和数据的特点,充分利用项目单位已有的软硬件资源,明确提出项目模块具体的备份、恢复方案,包括但不限于全备份、增量备份、归档日志备份、逻辑备份等策略。支持多节点冗余部署,效降低单点故障,保证产品的高可靠性。
5、安全性,具体的,依据《国家电网公司智能电网信息安全防护总体方案》(国家电网信息〔2011〕1727号)安全防护要求,遵循“分区分域、安全接入、动态感知、全面防护”的安全策略,最大限度的保障系统的安全、可靠和稳定运行;系统应具备全面的安全防护能力,支持对各种DoS/DDoS攻击、ARP欺骗攻击、超大ICMP报文攻击、地址/端口扫描等各种攻击的防范。
6、可扩展性,具体的,系统具备开放的架构和动态扩展能力,可以根据不同数据的负载情况增加处理节点,进行动态伸缩。
本申请实施例还提供了一种电力行业监控方法,需要说明的是,本申请实施例的电力行业监控系统可以用于执行本申请实施例所提供的用于电力行业监控方法。以下对本申请实施例提供的电力行业监控方法进行介绍。
图2是根据本申请实施例的电力行业监控方法的示意图。如图2所示,该电力行业监控方法包括如下步骤:
步骤S202,采集电力系统中实时运行的硬件和/或软件的运行信息;
步骤S204,将所述运行信息保存在实时数据库10中,其中,所述实时数据库10中的实时数据常驻内存,所述运行信息包括非结构化数据;
步骤S206,获取所述实时数据库10中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库10中的对应字段;
步骤S208,将所述实时数据库10中数据按照预定要求进行归档存储在磁盘上。
本申请实施例提供的电力行业监控方法,通过借助高速可靠的云基础设施平台,实现了如下功能:实时数据的采集存储、流量积算与补偿的计算、数据归档存储以及向终端用户提供监测和控制的Web访问接口,通过网络实现随时随地对全局和局部流量的监控。
需要说明的是:运行电力行业监控方法的系统架设在云端,并使用高速、稳定、可靠的专用服务器运行;而电力系统中的实时运行的硬件和电力系统中的实时运行的软件所应用的终端设备,采用具有web浏览器的移动设备。进而实现运行电力行业监控方法的系统具备高效率积算能力,终端设备具备低成本、使用便捷的技术效果。
还需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种电力行业监控装置,需要说明的是,本申请实施例的电力行业监控装置可以用于执行本申请实施例所提供的用于电力行业监控方法。以下对本申请实施例提供的电力行业监控装置进行介绍。
图3是根据本申请实施例的电力行业监控装置的示意图。如图3所示,该电力行业监控装置包括:采集单元31、保存单元33、获取单元35和存储单元37。
采集单元31,用于采集电力系统中实时运行的硬件和/或软件的运行信息;
保存单元33,用于将所述运行信息保存在实时数据库10中,其中,所述实时数据库10中的实时数据常驻内存,所述运行信息包括非结构化数据;
获取单元35,用于获取所述实时数据库10中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库10中的对应字段;
存储单元37,用于将所述实时数据库10中数据按照预定要求进行归档存储在磁盘上。
本申请实施例提供的电力行业监控装置,通过借助高速可靠的云基础设施平台,实现了如下功能:实时数据的采集存储、流量积算与补偿的计算、数据归档存储以及向终端用户提供监测和控制的Web访问接口,通过网络实现随时随地对全局和局部流量的监控。
需要说明的是:电力行业监控装置架设在云端,并使用高速、稳定、可靠的专用服务器运行;而电力系统中的实时运行的硬件和电力系统中的实时运行的软件所应用的终端设备,采用具有web浏览器的移动设备。进而实现电力行业监控装置具备高效率积算能力,终端设备具备低成本、使用便捷的技术效果。
所述Z装置包括处理器和存储器,上述采集单元31、保存单元33、获取单元35和存储单元37等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决技术控制对参数的采集精度和控制的复杂程度要求越来越高,而现有技术无法满足当前技术需求的技术问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述电力行业监控方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述电力行业监控方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:采集电力系统中实时运行的硬件和/或软件的运行信息;将所述运行信息保存在实时数据库10中,其中,所述实时数据库10中的实时数据常驻内存,所述运行信息包括非结构化数据;获取所述实时数据库10中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库10中的对应字段;将所述实时数据库10中数据按照预定要求进行归档存储在磁盘上。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:采集电力系统中实时运行的硬件和/或软件的运行信息;将所述运行信息保存在实时数据库10中,其中,所述实时数据库10中的实时数据常驻内存,所述运行信息包括非结构化数据;获取所述实时数据库10中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库10中的对应字段;将所述实时数据库10中数据按照预定要求进行归档存储在磁盘上。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种电力行业监控系统,其特征在于,包括:
实时数据库,所述实时数据库中的数据按照预定周期进行更新,并且,所述实时数据库中的实时数据常驻内存,其中,所述实时数据包括采集到的电力系统中的实时运行的硬件和/或软件的运行信息,所述运行信息包括非结构化数据;
积算系统,用于获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;
归档服务器,用于将所述实时数据库中数据按照预定要求进行归档存储在磁盘上。
2.根据权利要求1所述的系统,其特征在于,还包括:
云显控平台,用于将归档存储在所述磁盘上的数据提供可视化显示以及可视化编辑。
3.根据权利要求1所述的系统,其特征在于,所述运行信息包括日志文件。
4.根据权利要求1所述的系统,其特征在于,所述电力行业监控系统与现场采集控制设备之间建立套接字(Socket)连接,并通过传递XML格式的文本信息进行通信。
5.根据权利要求1所述的系统,其特征在于,所述归档服务器用于将所述实时数据库中数据按照时间顺序进行归档存储在磁盘上。
6.一种电力行业监控方法,其特征在于,包括:
采集电力系统中实时运行的硬件和/或软件的运行信息;
将所述运行信息保存在实时数据库中,其中,所述实时数据库中的实时数据常驻内存,所述运行信息包括非结构化数据;
获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;
将所述实时数据库中数据按照预定要求进行归档存储在磁盘上。
7.一种电力行业监控装置,其特征在于,包括:
采集单元,用于采集电力系统中实时运行的硬件和/或软件的运行信息;
保存单元,用于将所述运行信息保存在实时数据库中,其中,所述实时数据库中的实时数据常驻内存,所述运行信息包括非结构化数据;
获取单元,用于获取所述实时数据库中的运行信息,从所述非结构化的运行信息中读取相应内容并将处理结果写入到所述实时数据库中的对应字段;
存储单元,用于将所述实时数据库中数据按照预定要求进行归档存储在磁盘上。
8.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求6中所述的电力行业监控方法。
9.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求6中所述的电力行业监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910877561.2A CN110598051A (zh) | 2019-09-17 | 2019-09-17 | 一种电力行业监控系统、方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910877561.2A CN110598051A (zh) | 2019-09-17 | 2019-09-17 | 一种电力行业监控系统、方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110598051A true CN110598051A (zh) | 2019-12-20 |
Family
ID=68860280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910877561.2A Pending CN110598051A (zh) | 2019-09-17 | 2019-09-17 | 一种电力行业监控系统、方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110598051A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
CN112269859A (zh) * | 2020-11-16 | 2021-01-26 | 国网山东省电力公司聊城供电公司 | 一种供配电数据优化快速处理系统、设备以及可读存储介质 |
CN113256132A (zh) * | 2021-06-01 | 2021-08-13 | 国网青海省电力公司信息通信公司 | 一种运维检修专区管理系统 |
CN113468269A (zh) * | 2021-07-02 | 2021-10-01 | 杭州轻舟科技有限公司 | 储能电站远程监控系统的数据传输方法、装置、介质 |
CN113806163A (zh) * | 2020-06-12 | 2021-12-17 | 航天信息股份有限公司 | 一种系统监测方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
CN107426273A (zh) * | 2017-04-06 | 2017-12-01 | 邹霞 | 分布式流量积算云服务系统 |
CN107707596A (zh) * | 2017-04-06 | 2018-02-16 | 邹霞 | 流量积算云服务中心系统 |
-
2019
- 2019-09-17 CN CN201910877561.2A patent/CN110598051A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
CN107426273A (zh) * | 2017-04-06 | 2017-12-01 | 邹霞 | 分布式流量积算云服务系统 |
CN107707596A (zh) * | 2017-04-06 | 2018-02-16 | 邹霞 | 流量积算云服务中心系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
CN111581054B (zh) * | 2020-04-30 | 2024-04-09 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警系统及方法 |
CN113806163A (zh) * | 2020-06-12 | 2021-12-17 | 航天信息股份有限公司 | 一种系统监测方法、装置、设备及存储介质 |
CN112269859A (zh) * | 2020-11-16 | 2021-01-26 | 国网山东省电力公司聊城供电公司 | 一种供配电数据优化快速处理系统、设备以及可读存储介质 |
CN112269859B (zh) * | 2020-11-16 | 2023-05-26 | 国网山东省电力公司聊城供电公司 | 一种供配电数据优化快速处理系统、设备以及可读存储介质 |
CN113256132A (zh) * | 2021-06-01 | 2021-08-13 | 国网青海省电力公司信息通信公司 | 一种运维检修专区管理系统 |
CN113468269A (zh) * | 2021-07-02 | 2021-10-01 | 杭州轻舟科技有限公司 | 储能电站远程监控系统的数据传输方法、装置、介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598051A (zh) | 一种电力行业监控系统、方法及装置 | |
CN107943668B (zh) | 计算机服务器集群日志监控方法及监控平台 | |
US9953066B2 (en) | Automatically generating and reporting merged performance and capacity statistics | |
EP3425524A1 (en) | Cloud platform-based client application data calculation method and device | |
CN108365985A (zh) | 一种集群管理方法、装置、终端设备及存储介质 | |
CN108509326B (zh) | 一种基于nginx日志的服务状态统计方法及系统 | |
CN106487574A (zh) | 自动化运行维护监测系统 | |
CA3059738A1 (en) | Behaviour data processing method, device, electronic device and computer readable medium | |
CN110427307A (zh) | 日志解析方法、装置、计算机设备及存储介质 | |
CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
CN104881352A (zh) | 基于移动端的系统资源监控装置 | |
CN108021809A (zh) | 一种数据处理方法及系统 | |
CN113179173B (zh) | 一种用于高速公路系统的运维监控系统 | |
CN113468019A (zh) | 基于Hbase的指标监控方法、装置、设备及存储介质 | |
CN112162821A (zh) | 容器集群资源监视方法、装置及系统 | |
CN104113605A (zh) | 一种企业云应用开发的监控处理方法 | |
CN111221831A (zh) | 一种对广告效果数据实时处理的计算系统 | |
Diotalevi et al. | Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre | |
CN117149909A (zh) | 数据同步方法、装置、存储介质及处理器 | |
US10769218B2 (en) | Display for network time series data with adaptable zoom intervals | |
CN105761164A (zh) | 一种基于Hadoop的电力系统事故追忆的方法 | |
CN115766768A (zh) | 一种算力网络操作系统中感知中枢设计方法及装置 | |
Wu et al. | Application research of Hadoop resource monitoring system based on Ganglia and Nagios | |
CN113760856A (zh) | 数据库管理方法及装置、计算机可读存储介质、电子设备 | |
Zeng et al. | Research and implementation of campus network mass log collection platform based on elastic stack |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |