CN110908957A - 电力行业网络安全日志审计分析方法 - Google Patents

电力行业网络安全日志审计分析方法 Download PDF

Info

Publication number
CN110908957A
CN110908957A CN201911138115.6A CN201911138115A CN110908957A CN 110908957 A CN110908957 A CN 110908957A CN 201911138115 A CN201911138115 A CN 201911138115A CN 110908957 A CN110908957 A CN 110908957A
Authority
CN
China
Prior art keywords
log
model
analysis
network security
power industry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911138115.6A
Other languages
English (en)
Inventor
孙毅臻
陈中伟
田峥
戴大维
李树
曾少华
贺泽华
姚施情
何宜校
黄佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911138115.6A priority Critical patent/CN110908957A/zh
Publication of CN110908957A publication Critical patent/CN110908957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种电力行业网络安全日志审计分析方法，包括获取所有原始日志文件；将获取的原始日志文件区分来源后进行存储；将得到的区分来源后的日志文件，进行白名单过滤；对过滤后的日志文件进行进行审计分析。本发明具有实时性，可以对原始数据在多维度进行日志信息分析，能够满足用户多维度数据查询的需求；本发明方案，通过日志采集、日志分析、检测过程、日志告警和日志存储查询检索的方式，完善了日志分析系统的快速扩容、吞吐、高实时、高并行机制，提高日志文件的分析处理能力，并可以提供日志文件信息的实时查询和预警操作；而且本发明方法针对电力系统的特点所设计，适用于电力系统，可靠性高、效率高且成本低廉。

Description

电力行业网络安全日志审计分析方法
技术领域
本发明属于网络安全领域，具体涉及一种电力行业网络安全日志审计分析方法。
背景技术
随着经济技术的发展和人们生活水平的提高，电能已经成为了人们生产和生活中必不可少的二次能源，给人们的生产和生活带来了无尽的便利。因此，保证自身的安全稳定运行，就成为了电力系统的最重要的任务之一。
而随着大数据时代和物联网时代的到来，互联网也已经广泛融入传统的电力行业，使得电力行业更加智能化。但是，随着云计算、移动互联、物联网、工业控制以及大数据等技术融入电网，对其进行全面安全防护，确保关键信息基础设施安全也成为了重中之重。
电力系统工作人员在每天的操作中，操作系统、硬件、网络行为、应用程序的运行状况，用户的操作记录等等，每天都会形成大量的日志。日志记录着工作人员所有的操作记录。对日志进行审计和分析，能够有效获取工作人员和系统的运行状态。
但是，面对海量的日志文件，如果采用人工进行分析和审计，不仅费时费力，成本高昂，而且效率极差，可靠性不高。
发明内容
本发明的目的在于提供一种可靠性高、效率高且成本低廉的电力行业网络安全日志审计分析方法。
本发明提供的这种电力行业网络安全日志审计分析方法，包括如下步骤：
S1.获取所有原始日志文件；
S2.将步骤S1获取的原始日志文件区分来源后进行存储；
S3.将步骤S2得到的区分来源后的日志文件，进行白名单过滤；
S4.对步骤S3过滤后的日志文件进行进行审计分析。
步骤S1所述的获取所有原始日志文件，具体为采集Nginx、Weblog和Tomcat中间件。
步骤S2所述的将步骤S1获取的原始日志文件区分来源，具体为采用Flume-Interceptor拦截器进行原始日志的来源区分。
步骤S2所述的存储，具体为将区分来源后的日志文件，输送至不同的Kafka数据缓存队列进行存储。
步骤S4所述的对步骤S3过滤后的日志文件进行进行审计分析，具体包括采用Drools业务引擎通过用户自定义规则解析日志，采用CEP行为分析引擎根据用户自定义行为捕获规则、根据日志解析结果预测攻击者下一步的攻击路线并报警，以及通过机器学习并进行日志分析。
所述的通过机器学习并进行日志分析，具体为通过隐马尔科夫统计模型给定观察序列、学习模型参数、评估观察序列模型下的概率并求出可能性最大的隐藏状态序列。
所述的机器学习，具体为机器学习的模型包括抽取器、训练器、检测器和重训练器；对每条日志数据，先经过抽取器进行提取后再进行参数解析；然后根据抽取器解析出来的数据，根据是否已经有对应的训练好的模型，拆分为两部分：没有对应模型的数据进入训练器开始训练流程，有对应模型的数据则直接进入检测器；重训练器用于持续迭代训练模型以抵消模型衰减期的影响。
本发明提供的这种电力行业网络安全日志审计分析方法，具有实时性，可以对原始数据在多维度进行日志信息分析，能够满足用户多维度数据查询的需求；本发明方案，通过日志采集、日志分析、检测过程、日志告警和日志存储查询检索的方式，完善了日志分析系统的快速扩容、吞吐、高实时、高并行机制，提高日志文件的分析处理能力，并可以提供日志文件信息的实时查询和预警操作；而且本发明方法针对电力系统的特点所设计，适用于电力系统，可靠性高、效率高且成本低廉。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法的隐马尔可夫参数识别异常模型的模型原理示意图。
图3为本发明方法的抽取器的结构示意图。
图4为本发明方法的训练器的过滤流程示意图。
图5为本发明方法的重训练器的结构示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种电力行业网络安全日志审计分析方法，包括如下步骤：
S1.获取所有原始日志文件；具体为采集Nginx、Weblog和Tomcat等中间件；
S2.将步骤S1获取的原始日志文件区分来源后进行存储；具体为采用Flume-Interceptor拦截器进行原始日志的来源区分，同时将区分来源后的日志文件，输送至不同的Kafka数据缓存队列进行存储；
由Flink分布式流数据引擎处理后原始日志转储至Elasticsearch(ES)分布式全文检索装置，ES的高扩展、高实时的能力能很好的支撑历史日志检索查询功能，存储的期限可由用户自定义；
S3.将步骤S2得到的区分来源后的日志文件，进行白名单过滤；
S4.对步骤S3过滤后的日志文件进行进行审计分析；具体包括采用Drools业务引擎通过用户自定义规则解析日志，采用CEP行为分析引擎根据用户自定义行为捕获规则、根据日志解析结果预测攻击者下一步的攻击路线并报警，以及通过机器学习并进行日志分析；
所述的通过机器学习并进行日志分析，具体为通过隐马尔科夫统计模型(如图2所示)给定观察序列、学习模型参数、评估观察序列模型下的概率并求出可能性最大的隐藏状态序列；
图2所示两组日志数据参数量不一致，正常总是基本相似，异常却各有各的异常。所以这里采取搜集大量参数id的正常的参数值，建立起一个能表达所有正常值的正常模型，那么一切不满足于该正常模型的参数值，即为异常。不同的参数，正常的值不同。同时，有参数传递的地方，就有可能发生参数注入型攻击。所以，需要对站点下所有路径下，所有GET、POST、PATH、COOKIE中的所有参数都训练各自的正常模型。
所述的机器学习，具体为机器学习的模型包括抽取器Extractor(如图3所示)、训练器Trainer(如图4所示)、检测器Detector和重训练器reTrainer(如图5所示)；对每条日志数据，先经过抽取器进行提取后再进行参数解析；然后根据抽取器解析出来的数据，根据是否已经有对应的训练好的模型，拆分为两部分：没有对应模型的数据进入训练器开始训练流程，有对应模型的数据则直接进入检测器；重训练器用于持续迭代训练模型以抵消模型衰减期的影响。
具体的，对每条日志数据，先经过Extractor提取后进行参数解析，分解出ip、address等参数，然后Extractor通过出来的数据，根据是否已经有对应的训练好的模型，拆分为两部分，没有对应模型的数据进入Trainer开始训练流程，有对应model的直接进行Detector。图4为Trainer的过滤流程，首选会通过WAF等手段拦截掉异常日志数据，保证进入训练集中的数据都必须是数据，对某个ip，只要其当天内所有请求中有一条命中了WAF，其余所有请求不管是正常的还是异常的，均不进入Trainer；之后经过Trainer抽样每个ip每天只能贡献一次参数值。这样能保证上述过滤失效的情况下也只能有一条异常数据混进该参数的Trainer中。训练部分结束后，开始Detector部分。从Extractor出来的有对应Model的数据，直接开始检测，如果概率P<异常概率阈值H-epsilon小量，则认为是异常，异常部分的日志将保存至基础数据库展示在web应用。图5的重训练模块reTrainer用来持续迭代训练模型以抵消模型衰减期的影响。(例如：昨天的异常不一定今天就是异常)所以重训练模块能很好的解决这一问题。

Claims (7)

1.一种电力行业网络安全日志审计分析方法，包括如下步骤：
S1.获取所有原始日志文件；
S2.将步骤S1获取的原始日志文件区分来源后进行存储；
S3.将步骤S2得到的区分来源后的日志文件，进行白名单过滤；
S4.对步骤S3过滤后的日志文件进行进行审计分析。
2.根据权利要求1所述的电力行业网络安全日志审计分析方法，其特征在于步骤S1所述的获取所有原始日志文件，具体为采集Nginx、Weblog和Tomcat中间件。
3.根据权利要求2所述的电力行业网络安全日志审计分析方法，其特征在于步骤S2所述的将步骤S1获取的原始日志文件区分来源，具体为采用Flume-Interceptor拦截器进行原始日志的来源区分。
4.根据权利要求3所述的电力行业网络安全日志审计分析方法，其特征在于步骤S2所述的存储，具体为将区分来源后的日志文件，输送至不同的Kafka数据缓存队列进行存储。
5.根据权利要求4所述的电力行业网络安全日志审计分析方法，其特征在于步骤S4所述的对步骤S3过滤后的日志文件进行进行审计分析，具体包括采用Drools业务引擎通过用户自定义规则解析日志，采用CEP行为分析引擎根据用户自定义行为捕获规则、根据日志解析结果预测攻击者下一步的攻击路线并报警，以及通过机器学习并进行日志分析。
6.根据权利要求5所述的电力行业网络安全日志审计分析方法，其特征在于所述的通过机器学习并进行日志分析，具体为通过隐马尔科夫统计模型给定观察序列、学习模型参数、评估观察序列模型下的概率并求出可能性最大的隐藏状态序列。
7.根据权利要求6所述的电力行业网络安全日志审计分析方法，其特征在于所述的机器学习，具体为机器学习的模型包括抽取器、训练器、检测器和重训练器；对每条日志数据，先经过抽取器进行提取后再进行参数解析；然后根据抽取器解析出来的数据，根据是否已经有对应的训练好的模型，拆分为两部分：没有对应模型的数据进入训练器开始训练流程，有对应模型的数据则直接进入检测器；重训练器用于持续迭代训练模型以抵消模型衰减期的影响。
CN201911138115.6A 2019-11-20 2019-11-20 电力行业网络安全日志审计分析方法 Pending CN110908957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911138115.6A CN110908957A (zh) 2019-11-20 2019-11-20 电力行业网络安全日志审计分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911138115.6A CN110908957A (zh) 2019-11-20 2019-11-20 电力行业网络安全日志审计分析方法

Publications (1)

Publication Number Publication Date
CN110908957A true CN110908957A (zh) 2020-03-24

Family

ID=69818108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911138115.6A Pending CN110908957A (zh) 2019-11-20 2019-11-20 电力行业网络安全日志审计分析方法

Country Status (1)

Country Link
CN (1) CN110908957A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769774A (zh) * 2020-12-24 2021-05-07 国网冀北电力有限公司信息通信分公司 数据摆渡系统及方法
CN113190426A (zh) * 2020-07-02 2021-07-30 北京睿知图远科技有限公司 一种大数据评分系统稳定性监控方法
CN114448672A (zh) * 2021-12-27 2022-05-06 奇安信科技集团股份有限公司 一种多源网络安全数据处理方法及装置
CN115134260A (zh) * 2022-07-12 2022-09-30 北京东土拓明科技有限公司 用户感知提升方法及装置、计算设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110191394A1 (en) * 2010-01-29 2011-08-04 Winteregg Joel Method of processing log files in an information system, and log file processing system
CN109376532A (zh) * 2018-10-31 2019-02-22 云南电网有限责任公司 基于elk日志采集分析的电力网络安全监测方法及系统
CN110400169A (zh) * 2019-07-02 2019-11-01 阿里巴巴集团控股有限公司 一种信息推送方法、装置及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110191394A1 (en) * 2010-01-29 2011-08-04 Winteregg Joel Method of processing log files in an information system, and log file processing system
CN109376532A (zh) * 2018-10-31 2019-02-22 云南电网有限责任公司 基于elk日志采集分析的电力网络安全监测方法及系统
CN110400169A (zh) * 2019-07-02 2019-11-01 阿里巴巴集团控股有限公司 一种信息推送方法、装置及设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190426A (zh) * 2020-07-02 2021-07-30 北京睿知图远科技有限公司 一种大数据评分系统稳定性监控方法
CN113190426B (zh) * 2020-07-02 2023-10-20 北京睿知图远科技有限公司 一种大数据评分系统稳定性监控方法
CN112769774A (zh) * 2020-12-24 2021-05-07 国网冀北电力有限公司信息通信分公司 数据摆渡系统及方法
CN112769774B (zh) * 2020-12-24 2023-04-18 国网冀北电力有限公司信息通信分公司 数据摆渡系统及方法
CN114448672A (zh) * 2021-12-27 2022-05-06 奇安信科技集团股份有限公司 一种多源网络安全数据处理方法及装置
CN115134260A (zh) * 2022-07-12 2022-09-30 北京东土拓明科技有限公司 用户感知提升方法及装置、计算设备和存储介质

Similar Documents

Publication Publication Date Title
CN108881194B (zh) 企业内部用户异常行为检测方法和装置
CN110908957A (zh) 电力行业网络安全日志审计分析方法
CN103368979B (zh) 一种基于改进K-means算法的网络安全性验证装置
CN102724059B (zh) 基于MapReduce的网站运行状态监控与异常检测
CN107391598B (zh) 一种威胁情报自动生成方法及系统
CN108920954B (zh) 一种恶意代码自动化检测平台及方法
CN114039758B (zh) 一种基于事件检测模式的网络安全威胁识别方法
CN116662989B (zh) 一种安全数据解析方法及系统
CN104363106A (zh) 一种基于大数据技术的电力信息通信故障预警分析方法
CN105376193A (zh) 安全事件的智能关联分析方法与装置
CN111581956A (zh) 基于bert模型和k近邻的敏感信息识别方法及系统
CN110519231A (zh) 一种跨域数据交换监管系统及方法
CN111666978B (zh) 一种it系统运维大数据的智能故障预警系统
CN112257076A (zh) 一种基于随机探测算法和信息聚合的漏洞检测方法
CN110855461A (zh) 一种基于关联分析和规则库的日志分析方法
CN118300860A (zh) 一种基于机器学习和高级语义映射的电力网络异常检测系统
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN107493275A (zh) 异构网络安全日志信息的自适应提取和分析方法及系统
CN111651760B (zh) 一种设备安全状态综合分析的方法及计算机可读存储介质
CN112073396A (zh) 一种内网横向移动攻击行为的检测方法及装置
CN117614712A (zh) 一种基于用户画像及关联分析的安全审计方法与系统
CN116723005A (zh) 多态隐藏下的恶意代码隐式情报追踪方法及系统
Xu Research on network intrusion detection method based on machine learning
CN111026940A (zh) 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备
CN113691562A (zh) 一种精确识别恶意网络通讯的规则引擎实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324

RJ01 Rejection of invention patent application after publication