CN110555005A - 应用于电网监控系统的可扩展开放式范式化方法与装置 - Google Patents
应用于电网监控系统的可扩展开放式范式化方法与装置 Download PDFInfo
- Publication number
- CN110555005A CN110555005A CN201910739920.8A CN201910739920A CN110555005A CN 110555005 A CN110555005 A CN 110555005A CN 201910739920 A CN201910739920 A CN 201910739920A CN 110555005 A CN110555005 A CN 110555005A
- Authority
- CN
- China
- Prior art keywords
- logs
- unresolved
- data
- acquisition device
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000013500 data storage Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 23
- 239000013604 expression vector Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000000547 structure data Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种应用于电网监控系统的可扩展开放式范式化方法、装置、计算机设备和存储介质，其中，方法包括：采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志，对数量最多的同类日志进行规范化文件编写，对编写后的数据按照预设数据存储结构存储，得到结构数据，获取该结构数据中资产信息并组装成范式化文件，下发范式化文件至采集装置，采集装置根据范式化文件对未解析日志进行匹配解析，当存在未解析日志时，返回开始步骤重新执行新一轮数据处理。先对未解析日志进行聚类处理，选择数量最多的同类日志作为规范化文件编写，减小范化文件编写的数据处理量，提高范式化编写效率，实现电网监控数据的高效处理。
Description
技术领域
本申请涉及电力电网技术领域，特别是涉及一种应用于电网监控系统的可扩展开放式范式化方法、装置、计算机设备和存储介质。
背景技术
电力监控系统网络安全态势感知系统由主站、部署在发电厂/变电站的采集装置组成，其原理是采集装置收集未解析日志后发送至主站，主站分析后，通过网络向采集装置下发日志范式化解析文件，厂站接收范式化文件，对相应的日志进行解析，以更有效地掌握电力监控系统运行状况。
然而，在传统应用于电网监控系统的可扩展开放式范式化方案中，一方面，主站收集到的未解析日志数量较大，类型多样，缺乏高效的管理方法；另一方面，主站往往是将所有的范式化文件下发给采集装置，采集装置将未解析日志与所有的范式化文件进行从头到尾匹配，一旦匹配上，就进行解析，这种方法效率低。
因此，目前急需一种高效的应用于电网监控系统的可扩展开放式范式化方案。
发明内容
基于此，有必要针对上述技术问题，提供一种高效的应用于电网监控系统的可扩展开放式范式化方法、装置、计算机设备和存储介质。
一种应用于电网监控系统的可扩展开放式范式化方法，所述方法包括：
接收电网监控系统中采集装置发送的未解析日志；
采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志；
对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据；
获取所述结构数据中携带的资产信息，将所述资产信息组装成范式化文件、并下发至所述采集装置；
接收所述采集装置根据所述范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将所述未成功解析的日志作为未解析日志的一部分，返回所述接收电网监控系统中采集装置发送的未解析日志的步骤。
在其中一个实施例中，所述采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志包括：
采用K-means算法对所述未解析日志进行聚类，查找数量最多的同类日志。
在其中一个实施例中，采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志包括：
对于每条所述未解析日志，使用空格作为分隔符，提取出相应的字段；
对每个所述字段进行长度计算；
将每个字段的长度串联，作为该条所述未解析日志的表达向量；
采用k-means算法对每条所述未解析日志对应的表达向量进行聚类，查找数量最多的同类日志。
在其中一个实施例中，所述对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据包括：
推送所述数量最多的同类日志至第三方；
接收所述第三方对所述数量最多的同类日志的规范化文件编写数据；
根据所述规范化文件编写数据对所述数量最多的同类日志进行规范化文件编写；
对编写后的数据按照设备-厂商-型号-软件版本数据存储结构存储，得到结构数据。
在其中一个实施例中，所述对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据之后，还包括：
将结构数据下发至所述采集装置；
所述获取所述结构数据中携带的资产信息包括：
接收所述采集装置通过资产发现功能从所述结构数据中提取的资产信息，所述资产信息包括厂商、型号以及软件版本信息。
在其中一个实施例中，所述未解析日志包括所述采集装置根据所述范式化文件，通过正则表达式对未解析日志进行匹配解析时未解析的日志。
在其中一个实施例中，所述采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志之后，还包括：
根据电力监控系统网络安全的特点，将所述数量最多的同类日志归类为不同业务类型对应日志，业务类型包括设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作以及代码程序。
一种应用于电网监控系统的可扩展开放式范式化装置，所述装置包括：
接收模块，用于接收电网监控系统中采集装置发送的未解析日志；
聚类模块，用于采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志；
编写存储模块，用于对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据；
资产信息获取模块，用于获取所述结构数据中携带的资产信息，将所述资产信息组装成范式化文件、并下发至所述采集装置；
循环模块，用于接收所述采集装置根据所述范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将所述未成功解析的日志作为未解析日志的一部分，控制所述接收模块重新执行接收电网监控系统中采集装置发送的未解析日志的操作。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。
上述应用于电网监控系统的可扩展开放式范式化方法、装置、计算机设备和存储介质，主站接收电网监控系统中采集装置发送的未解析日志，采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志，对数量最多的同类日志进行规范化文件编写，对编写后的数据按照预设数据存储结构存储，得到结构数据，获取该结构数据中资产信息并组装成范式化文件，下发范式化文件至采集装置，采集装置根据范式化文件对未解析日志进行匹配解析，当存在未解析日志时，返回开始步骤重新执行新一轮数据处理。整个过程中，先对未解析日志进行聚类处理，选择数量最多的同类日志作为规范化文件编写，减小范化文件编写的数据处理量，提高范式化编写效率，实现电网监控数据的高效处理。
附图说明
图1为一个实施例中应用于电网监控系统的可扩展开放式范式化方法的应用环境图；
图2为一个实施例中应用于电网监控系统的可扩展开放式范式化方法的流程示意图；
图3为一个实施例中图2步骤S400的子流程示意图；
图4为一个实施例中图2步骤S600的子流程示意图；
图5为一个应用实例中主站与采集装置交互数据流程示意图；
图6为一个实施例中应用于电网监控系统的可扩展开放式范式化装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的应用于电网监控系统的可扩展开放式范式化方法，可以应用于如图1所示的应用环境中。在电网监控系统中包括主站100和多个采集装置200，主站100通过网络与各个采集装置200通信，采集装置200可以采用分布式设置于整个电网中。采集装置200负责收集未解析日志，并将未解析日志上传至主站100，主站100接收未解析日志，采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志，对数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据，获取结构数据中携带的资产信息，将资产信息组装成范式化文件、并下发至采集装置200，采集装置200根据范式化文件对未解析日志进行匹配解析，将未能匹配解析的日志作为未解析日志重新上传至主站100，开始新一轮的处理，直至主站100不存在未解析日志。
在一个实施例中，如图2所示，提供了一种应用于电网监控系统的可扩展开放式范式化方法，以该方法应用于图1中的主站为例进行说明，包括以下步骤：
S200：接收电网监控系统中采集装置发送的未解析日志。
未解析日志包括但不限于SNMP(Simple Network Management Protocol，简单网络管理协议)、SNMP Trap以及syslog。主站接收采集装置发送的未解析日志，该未解析日志包括两种类型，一种是采集装置采集电网中各设备的未解析日志，另一种是在上一轮处理中，采集装置根据主站下发的范式化文件对未解析日志进行匹配解析，当存在未能成功匹配解析的数据时，这部分未能成功解析的数据作为本轮未解析日志一种。简单来说，主站与采集装置之间是一个持续、循环交互的过程，采集装置将未解析日志发送至主站，主站在经过下述一系列处理之后，将范式化文件下发至采集装置，采集装置将范式化文件与未解析日志匹配解析，将未能成功匹配解析的日志重新作为未解析日志再次上传至主站，进入下一轮处理，直至主站中不再存在未解析的日志。
S400：采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志。
主站采用聚类算法对接收到的未解析日志进行聚类，查找出数量最多的同类日志。具体来说，聚类算法可以包括K-means算法。非必要的，在查找到数量最多的同类日志之后，可以对该日志进行归类，根据电力监控系统网络安全的特点，归类到十种业务类型中，十种业务类型包括设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作、代码程序等，但并不限定于十种业务类型，方便扩展。
S600：对数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据。
规范化文件编写具体可以是由第三方输入数据至主站，主站基于第三方输入的数据完成规范化文件编写。在具体应用中，主站可以将数量最多的同类日志推送至第三方，第三方在接收到数量最多的同类日志之后，反馈规范化文件编写数据至主站，主站根据规范化文件编写数据对数量最多的同类日志进行规范化文件编写。具体来说，第三方可以为管理者操作的终端。主站针对编写后的数据按照预设数据存储结构存储，以便于后续读取以及保护编写后的数据。
S800：获取结构数据中携带的资产信息，将资产信息组装成范式化文件、并下发至采集装置。
主站获取结构数据中携带的资产信息，将这些资产信息组装成范式化文件，并且下发至采集装置。具体来说，主站可以将结构数据发送至采集装置，由采集装置提取其中资产信息，采集装置再将提取的资产信息反馈至主站。资产信息包括厂商、型号以及软件版本等信息，主站将这些信息组装成范式化文件。
S900：接收采集装置根据范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将未成功解析的日志作为未解析日志的一部分，返回步骤S200。
采集装置在接收到范式化文件之后，将现有的范式化文件与未解析日志进行匹配解析，当存在未能功能解析的日志时，将未能成功解析的日志作为未解析日志再次上传至主站，进入下一轮处理，循环上述处理过程直至最终主站中不再有未解析日志。
上述应用于电网监控系统的可扩展开放式范式化方法，主站接收电网监控系统中采集装置发送的未解析日志，采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志，对数量最多的同类日志进行规范化文件编写，对编写后的数据按照预设数据存储结构存储，得到结构数据，获取该结构数据中资产信息并组装成范式化文件，下发范式化文件至采集装置，采集装置根据范式化文件对未解析日志进行匹配解析，当存在未解析日志时，返回开始步骤重新执行新一轮数据处理。整个过程中，先对未解析日志进行聚类处理，选择数量最多的同类日志作为规范化文件编写，减小范化文件编写的数据处理量，提高范式化编写效率，实现电网监控数据的高效处理。
如图3所示，在其中一个实施例中，步骤S400包括：
S420：对于每条未解析日志，使用空格作为分隔符，提取出相应的字段。
S440：对每个字段进行长度计算。
S460：将每个字段的长度串联，作为该条未解析日志的表达向量。
S480：采用k-means算法对每条未解析日志对应的表达向量进行聚类，查找数量最多的同类日志。
主站对于每一条原始日志，使用空格作为分隔符，提取出相应的字段，对每个字段进行长度计算，将每个字段的长度串联起来，作为该条日志的表达向量，使用k-means算法对所有的日志对应的表达向量进行聚类，找出数量最多的同类日志。
如图4所示，在其中一个实施例中，步骤S600包括：
S620：推送数量最多的同类日志至第三方。
S640：接收第三方对数量最多的同类日志的规范化文件编写数据。
S660：根据规范化文件编写数据对数量最多的同类日志进行规范化文件编写。
S680：对编写后的数据按照设备-厂商-型号-软件版本数据存储结构存储，得到结构数据。
第三方具体可以是管理者操作的终端或服务器，主站将数量最多的同类日志推送至管理者操作的终端，管理者在终端上操作生成规范化文件编写数据，终端将该规范化文件编写数据发送至主站，主站根据这部分数据对数量最多的同类日志进行规范化文件编写，并且按照设备-厂商-型号-软件版本数据存储结构存储编写后的数据，得到结构数据。采用该数据存储结构存储一方面有利于后期扩展，另一方面也可以保护编写后的数据，防止后续某台装置泄露所有范式化文件。
在其中一个实施例中，对数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据之后，还包括：将结构数据下发至采集装置；获取结构数据中携带的资产信息包括：接收采集装置通过资产发现功能从结构数据中提取的资产信息，资产信息包括厂商、型号以及软件版本信息。
采集装置通过资产发现功能获取资产的厂商、型号、软件版本等各类信息，并将资产信息上送主站，主站根据各类资产的厂商、型号、软件版本信息组装成一个范式化文件，范式化文件可以采用xml(Extensible Markup Language，可扩展标记语言)文件的方式，组装完成后下发到相应的采集装置。
如图5所示，在其中一个应用实例中，本申请应用于电网监控系统的可扩展开放式范式化方法包括以下处理步骤：
S1、主站范式化管理平台使用K-means算法对未解析日志进行聚类，具体实施方式为：对于每一条原始日志，使用空格作为分隔符，提取出相应的字段，对每个字段进行长度计算，将每个字段的长度串联起来，作为该条日志的表达向量，使用k-means算法对所有的日志向量进行聚类，找出数量最多的同类日志。
S2、将该类日志进行归类，根据电力监控系统网络安全的特点，归类到十种业务类型中，十种业务类型包括：设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作、代码程序等，但并不限定于十种业务类型，方便扩展。分类完毕后，维护人员对该类日志进行范式化文件编写，按照“设备-厂商-型号-软件版本”的数据存储结构进行存储；
S3、采集装置通过资产发现功能获取资产的厂商，型号，软件版本等各类信息，并将资产信息上送主站系统，主站系统根据各类资产的厂商，型号，软件版本信息组装成一个范式化文件，范式化文件采用xml文件的方式，当并不限于该种方式，组装完成后下发到相应的采集装置；
S4、采集装置接收到范式化文件，使用正则表达式的方式解析对应的日志，装置只保留最新的范式化文件，并且范式化文件的名字不得修改，为了保证范式化文件作为关键文件不被修改或者窃取，需要定期向主站平台上送md5值；
S5、如果步骤S4无法将现有的范式化文件与日志进行匹配解析，则把未能解析的日志重新上传到主站，作为主站更新范式化文件的依据，重复步骤S1-S4，直到主站系统不存在未解析日志。
在上述应用实例中，本申请应用于电网监控系统的可扩展开放式范式化方法在应用实例中具有以下显著的效果：1、对未解析日志进行预分类，可以有效合并同类项，提高范式化编写的效率；2、优化范式化文件的存储方式，并且范式化文件与未解析日志一一对应，不仅可以提高日志的解析速度，提高日志解析的准确率，而且可以有效保护所有的范式化文件，防止某台装置泄露所有范式化文件；3、可扩展性强。对于新增的日志类型，主站可以在存储结构树进行扩展。；4、可以自定义日志的采集字段，通过增加范式化文件的字段，增加原始日志提取的内容，方便业务的拓展；5、可以自定义扩展范式化文件的业务类型字段，实现更多种类业务的告警，让主站系统更加强大；6、未解析日志不断上送及归类，可以不断扩展范式化文件库。
应该理解的是，虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行
如图6所示，本申请还提供一种应用于电网监控系统的可扩展开放式范式化装置，装置包括：
接收模块200，用于接收电网监控系统中采集装置发送的未解析日志；
聚类模块400，用于采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志；
编写存储模块600，用于对数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据。
资产信息获取模块800，用于获取结构数据中携带的资产信息，将资产信息组装成范式化文件、并下发至采集装置；
循环模块900，用于接收采集装置根据范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将未成功解析的日志作为未解析日志的一部分，控制接收模块200重新执行接收电网监控系统中采集装置发送的未解析日志的操作。
上述应用于电网监控系统的可扩展开放式范式化装置，主站接收电网监控系统中采集装置发送的未解析日志，采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志，对数量最多的同类日志进行规范化文件编写，对编写后的数据按照预设数据存储结构存储，得到结构数据，获取该结构数据中资产信息并组装成范式化文件，下发范式化文件至采集装置，采集装置根据范式化文件对未解析日志进行匹配解析，当存在未解析日志时，返回开始步骤重新执行新一轮数据处理。整个过程中，先对未解析日志进行聚类处理，选择数量最多的同类日志作为规范化文件编写，减小范化文件编写的数据处理量，提高范式化编写效率，实现电网监控数据的高效处理。
在其中一个实施例中，聚类模块400还用于采用K-means算法对未解析日志进行聚类，查找数量最多的同类日志。
在其中一个实施例中，聚类模块400还用于对于每条未解析日志，使用空格作为分隔符，提取出相应的字段；对每个字段进行长度计算；将每个字段的长度串联，作为该条未解析日志的表达向量；采用k-means算法对每条未解析日志对应的表达向量进行聚类，查找数量最多的同类日志。
在其中一个实施例中，编写存储模块600还用于推送数量最多的同类日志至第三方；接收第三方对数量最多的同类日志的规范化文件编写数据；根据规范化文件编写数据对数量最多的同类日志进行规范化文件编写；对编写后的数据按照设备-厂商-型号-软件版本数据存储结构存储，得到结构数据。
在其中一个实施例中，资产信息获取模块800还用于将结构数据下发至采集装置；接收采集装置通过资产发现功能从结构数据中提取的资产信息，资产信息包括厂商、型号以及软件版本信息。
在其中一个实施例中，未解析日志包括采集装置根据范式化文件，通过正则表达式对未解析日志进行匹配解析时未解析的日志。
在其中一个实施例中，上述应用于电网监控系统的可扩展开放式范式化装置还包括：
分类模块，用于根据电力监控系统网络安全的特点，将数量最多的同类日志归类为不同业务类型对应日志，业务类型包括设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作以及代码程序。
关于应用于电网监控系统的可扩展开放式范式化装置的具体限定可以参见上文中对于应用于电网监控系统的可扩展开放式范式化方法的限定，在此不再赘述。上述应用于电网监控系统的可扩展开放式范式化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史记录中未解析日志、电网监控系统其他运行参数等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种应用于电网监控系统的可扩展开放式范式化方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
接收电网监控系统中采集装置发送的未解析日志；
采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志；
对数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据。
获取结构数据中携带的资产信息，将资产信息组装成范式化文件、并下发至采集装置；
接收采集装置根据范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将未成功解析的日志作为未解析日志的一部分，返回接收电网监控系统中采集装置发送的未解析日志的步骤。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用K-means算法对未解析日志进行聚类，查找数量最多的同类日志。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对于每条未解析日志，使用空格作为分隔符，提取出相应的字段；对每个字段进行长度计算；将每个字段的长度串联，作为该条未解析日志的表达向量；采用k-means算法对每条未解析日志对应的表达向量进行聚类，查找数量最多的同类日志。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
推送数量最多的同类日志至第三方；接收第三方对数量最多的同类日志的规范化文件编写数据；根据规范化文件编写数据对数量最多的同类日志进行规范化文件编写；对编写后的数据按照设备-厂商-型号-软件版本数据存储结构存储，得到结构数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将结构数据下发至采集装置；获取结构数据中携带的资产信息包括：接收采集装置通过资产发现功能从结构数据中提取的资产信息，资产信息包括厂商、型号以及软件版本信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据电力监控系统网络安全的特点，将数量最多的同类日志归类为不同业务类型对应日志，业务类型包括设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作以及代码程序。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收电网监控系统中采集装置发送的未解析日志；
采用聚类算法对接收到的未解析日志进行聚类，查找数量最多的同类日志；
对数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据。
获取结构数据中携带的资产信息，将资产信息组装成范式化文件、并下发至采集装置；
接收采集装置根据范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将未成功解析的日志作为未解析日志的一部分，返回接收电网监控系统中采集装置发送的未解析日志的步骤。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用K-means算法对未解析日志进行聚类，查找数量最多的同类日志。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于每条未解析日志，使用空格作为分隔符，提取出相应的字段；对每个字段进行长度计算；将每个字段的长度串联，作为该条未解析日志的表达向量；采用k-means算法对每条未解析日志对应的表达向量进行聚类，查找数量最多的同类日志。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
推送数量最多的同类日志至第三方；接收第三方对数量最多的同类日志的规范化文件编写数据；根据规范化文件编写数据对数量最多的同类日志进行规范化文件编写；对编写后的数据按照设备-厂商-型号-软件版本数据存储结构存储，得到结构数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将结构数据下发至采集装置；获取结构数据中携带的资产信息包括：接收采集装置通过资产发现功能从结构数据中提取的资产信息，资产信息包括厂商、型号以及软件版本信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据电力监控系统网络安全的特点，将数量最多的同类日志归类为不同业务类型对应日志，业务类型包括设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作以及代码程序。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种应用于电网监控系统的可扩展开放式范式化方法，所述方法包括：
接收电网监控系统中采集装置发送的未解析日志；
采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志；
对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据；
获取所述结构数据中携带的资产信息，将所述资产信息组装成范式化文件、并下发至所述采集装置；
接收所述采集装置根据所述范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将所述未成功解析的日志作为未解析日志的一部分，返回所述接收电网监控系统中采集装置发送的未解析日志的步骤。
2.根据权利要求1所述的方法，其特征在于，所述采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志包括：
采用K-means算法对所述未解析日志进行聚类，查找数量最多的同类日志。
3.根据权利要求1所述的方法，其特征在于，所述采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志包括：
对于每条所述未解析日志，使用空格作为分隔符，提取出相应的字段；
对每个所述字段进行长度计算；
将每个字段的长度串联，作为该条所述未解析日志的表达向量；
采用k-means算法对每条所述未解析日志对应的表达向量进行聚类，查找数量最多的同类日志。
4.根据权利要求1所述的方法，其特征在于，所述对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据包括：
推送所述数量最多的同类日志至第三方；
接收所述第三方对所述数量最多的同类日志的规范化文件编写数据；
根据所述规范化文件编写数据对所述数量最多的同类日志进行规范化文件编写；
对编写后的数据按照设备-厂商-型号-软件版本数据存储结构存储，得到结构数据。
5.根据权利要求4所述的方法，其特征在于，所述对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据之后，还包括：
将结构数据下发至所述采集装置；
所述获取所述结构数据中携带的资产信息包括：
接收所述采集装置通过资产发现功能从所述结构数据中提取的资产信息，所述资产信息包括厂商、型号以及软件版本信息。
6.根据权利要求1所述的方法，其特征在于，所述未解析日志包括所述采集装置根据所述范式化文件，通过正则表达式对未解析日志进行匹配解析时未解析的日志。
7.根据权利要求1所述的方法，其特征在于，所述采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志之后，还包括：
根据电力监控系统网络安全的特点，将所述数量最多的同类日志归类为不同业务类型对应日志，业务类型包括设备发现、互联拓扑、运行状态、开放服务、配置合规、系统漏洞、网络互连、外设接入、登录操作以及代码程序。
8.一种应用于电网监控系统的可扩展开放式范式化装置，其特征在于，所述装置包括：
接收模块，用于接收电网监控系统中采集装置发送的未解析日志；
聚类模块，用于采用聚类算法对接收到的所述未解析日志进行聚类，查找数量最多的同类日志；
编写存储模块，用于对所述数量最多的同类日志进行规范化文件编写，并对编写后的数据按照预设数据存储结构存储，得到结构数据；
资产信息获取模块，用于获取所述结构数据中携带的资产信息，将所述资产信息组装成范式化文件、并下发至所述采集装置；
循环模块，用于接收所述采集装置根据所述范式化文件对未解析日志进行匹配解析过程中未成功解析的日志，将所述未成功解析的日志作为未解析日志的一部分，控制所述接收模块重新执行接收电网监控系统中采集装置发送的未解析日志的操作。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910739920.8A CN110555005B (zh) | 2019-08-12 | 2019-08-12 | 应用于电网监控系统的可扩展开放式范式化方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910739920.8A CN110555005B (zh) | 2019-08-12 | 2019-08-12 | 应用于电网监控系统的可扩展开放式范式化方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555005A true CN110555005A (zh) | 2019-12-10 |
| CN110555005B CN110555005B (zh) | 2020-05-19 |
Family
ID=68737302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910739920.8A Active CN110555005B (zh) | 2019-08-12 | 2019-08-12 | 应用于电网监控系统的可扩展开放式范式化方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110555005B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111309696A (zh) * | 2020-03-20 | 2020-06-19 | 中电长城网际系统应用有限公司 | 日志处理方法及装置、电子设备、可读介质 |
| CN111767355A (zh) * | 2020-06-24 | 2020-10-13 | 中电科华云信息技术有限公司 | 一种基于活动中心点圈层扩散组织监控感知区的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030167278A1 (en) * | 2002-02-28 | 2003-09-04 | Thomas Baudel | Interactive generation of graphical visualizations of large data structures |
| CN104007942A (zh) * | 2014-05-30 | 2014-08-27 | 乐视致新电子科技（天津）有限公司 | 日志的打印控制方法和打印控制装置 |
| CN105550378A (zh) * | 2016-02-04 | 2016-05-04 | 贵州电网有限责任公司信息中心 | 一种复杂网络体系下异构安全日志信息的提取与分析方法 |
| CN107660283A (zh) * | 2015-04-03 | 2018-02-02 | 甲骨文国际公司 | 用于在日志分析系统中实现日志解析器的方法和系统 |
| CN109768623A (zh) * | 2019-02-02 | 2019-05-17 | 鼎信信息科技有限责任公司 | 电力系统的监控方法、装置、计算机设备和存储介质 |
| CN109885689A (zh) * | 2019-03-25 | 2019-06-14 | 山东浪潮云信息技术有限公司 | 一种基于规则引擎的实时分类统计日志的方法及系统 |
-
2019
- 2019-08-12 CN CN201910739920.8A patent/CN110555005B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030167278A1 (en) * | 2002-02-28 | 2003-09-04 | Thomas Baudel | Interactive generation of graphical visualizations of large data structures |
| CN104007942A (zh) * | 2014-05-30 | 2014-08-27 | 乐视致新电子科技（天津）有限公司 | 日志的打印控制方法和打印控制装置 |
| CN107660283A (zh) * | 2015-04-03 | 2018-02-02 | 甲骨文国际公司 | 用于在日志分析系统中实现日志解析器的方法和系统 |
| CN105550378A (zh) * | 2016-02-04 | 2016-05-04 | 贵州电网有限责任公司信息中心 | 一种复杂网络体系下异构安全日志信息的提取与分析方法 |
| CN109768623A (zh) * | 2019-02-02 | 2019-05-17 | 鼎信信息科技有限责任公司 | 电力系统的监控方法、装置、计算机设备和存储介质 |
| CN109885689A (zh) * | 2019-03-25 | 2019-06-14 | 山东浪潮云信息技术有限公司 | 一种基于规则引擎的实时分类统计日志的方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111309696A (zh) * | 2020-03-20 | 2020-06-19 | 中电长城网际系统应用有限公司 | 日志处理方法及装置、电子设备、可读介质 |
| CN111767355A (zh) * | 2020-06-24 | 2020-10-13 | 中电科华云信息技术有限公司 | 一种基于活动中心点圈层扩散组织监控感知区的方法 |
| CN111767355B (zh) * | 2020-06-24 | 2024-02-27 | 中电科华云信息技术有限公司 | 一种基于活动中心点圈层扩散组织监控感知区的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110555005B (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109768623B (zh) | 电力系统的监控方法、装置、计算机设备和存储介质 | |
| CN107220142B (zh) | 执行数据恢复操作的方法及装置 | |
| CN110162414B (zh) | 基于微服务架构实现人工智能服务的方法及装置 | |
| US9489189B2 (en) | Dynamically generate and execute a context-specific patch installation procedure on a computing system | |
| CN109657107B (zh) | 一种基于第三方应用的终端匹配方法和装置 | |
| CN110555005B (zh) | 应用于电网监控系统的可扩展开放式范式化方法与装置 | |
| CN111866016A (zh) | 日志的分析方法及系统 | |
| CN114911830B (zh) | 基于时序数据库的索引缓存方法、装置、设备及存储介质 | |
| CN111046000B (zh) | 一种面向政府数据交换共享的安全监管元数据组织方法 | |
| CN111061498A (zh) | 一种配置信息管理系统 | |
| CN113626241A (zh) | 应用程序的异常处理方法、装置、设备及存储介质 | |
| US20230252136A1 (en) | Apparatus for processing cyber threat information, method for processing cyber threat information, and medium for storing a program processing cyber threat information | |
| CN112507010B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN109218131B (zh) | 网络监控方法、装置、计算机设备和存储介质 | |
| US8136012B2 (en) | Method and system for updating topology changes of a computer network | |
| CN117376092A (zh) | 故障根因定位方法、装置、设备及存储介质 | |
| CN111767168B (zh) | 基于区块链的便于数据回溯的存储系统 | |
| CN112579705A (zh) | 元数据采集方法、装置、计算机设备和存储介质 | |
| CN117234738B (zh) | 基于人工智能模型的区块链系统和智能合约处理方法 | |
| CN109324951A (zh) | 服务器中硬盘信息的获取方法和装置 | |
| WO2014176954A1 (zh) | 分布式存储系统的数据的处理方法、装置及系统 | |
| CN113467888B (zh) | 智能合约的跨链调用方法及装置、电子设备、存储介质 | |
| CN117573428B (zh) | 容灾备份方法、装置、计算机设备和存储介质 | |
| CN112988457B (zh) | 一种数据备份方法、装置、系统及计算机设备 | |
| CN113835711A (zh) | 操作系统源码包的编译控制方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 510000 No. 11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Patentee after: CHINA SOUTHERN POWER GRID Co.,Ltd. Country or region after: China Patentee after: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Address before: 510000 No. 11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Patentee before: CHINA SOUTHERN POWER GRID Co.,Ltd. Country or region before: China Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240313 Address after: 518101, 3rd Floor, Building 40, Baotian Industrial Zone, Chentian Community, Xixiang Street, Bao'an District, Shenzhen City, Guangdong Province Patentee after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd. Country or region after: China Address before: 510000 No. 11 Kexiang Road, Science City, Luogang District, Guangzhou City, Guangdong Province Patentee before: CHINA SOUTHERN POWER GRID Co.,Ltd. Country or region before: China Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |