CN109376532A - 基于elk日志采集分析的电力网络安全监测方法及系统 - Google Patents

Abstract

本申请提供了一种基于ELK日志采集分析的电力网络安全监测方法及系统，所述方法包括：采用集中式的日志管理方法，采集电力监控系统网络安全设备日志；对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储；采用分布式日志检索方法，对存储的日志进行检索及统计；汇总展示日志数据。本申请提供的基于ELK日志采集分析的电力网络安全监测方法及系统，采用集群的方式，数据存储、查询高效、快速，实现实时日志监视及存储，满足日志存储要求；并通过可视化模式进行日志展示，界面友好、简单易用，日志分析规则可自定义设置，便于工作人员实时监测网络安全事件，提高电力监控系统网络安全监测水平。

Description

基于ELK日志采集分析的电力网络安全监测方法及系统

技术领域

本申请涉及电力系统信息安全技术领域，尤其涉及一种基于ELK日志采集分析的电力网络安全监测方法及系统。

背景技术

电力监控系统采用通用网络与信息技术，不可避免的引入了信息安全问题。尽管通过网络隔离技术将电力监控系统的生产控制大区与管理信息大区隔离开来，使得电力监控系统处于相对封闭安全的环境；但随着针对工业控制系统安全攻击的增加，以及各界对工控系统信息安全问题的关注，使得包括电力监控系统在内的控制系统的产品信息获取渠道更丰富，攻击者学习各种控制系统软件、固件和通信协议的机会增加。如随着勒索病毒爆发，电力监控系统面临了前所未有的安全挑战。

目前，电力监控系统防护基本已按照“安全分区、网络专用、横向隔离、纵向认证”总体策略，建立了较为完备的安全防护技术体系，初步建成责任清晰、管理规范的管理体系。然而，随着《中华人民共和国网络安全法》的颁布施行，国家及行业对网络安全的要求不断提高。目前，仍然缺乏有力的网络安全监视手段，防火墙、IDS、IPS、安全审计日志等安全设备日志留存时间不足、日志格式不统一、查看难度大、实时处理海量的日志等技术要求已成为公司亟待解决的问题。

发明内容

本申请提供了一种基于ELK日志采集分析的电力网络安全监测方法及系统，解决了防火墙、IDS、IPS、安全审计日志等安全设备日志留存时间不足、日志格式不统一查看难度大、日志信息庞杂且难于理解、难以实现对安全事件实时监测等问题。

第一方面，本申请提供了一种基于ELK日志采集分析的电力网络安全监测方法，所述方法包括：

采用集中式的日志管理方法，采集电力监控系统网络安全设备日志；

对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储；

采用分布式日志检索方法，对存储的日志进行检索及统计；

汇总展示日志数据。

可选的，上述基于ELK日志采集分析的电力网络安全监测方法中，所述采用集中式的日志管理方法，采集电力监控系统网络安全设备日志，包括：基于syslog协议，通过UDP514端口进行电力监控系统网络安全设备日志的收集。

可选的，上述基于ELK日志采集分析的电力网络安全监测方法中，所述过滤包括：根据设定的过滤规则对日志进行过滤，所述过滤规则包括源IP、目的IP、源端口、目的端口和事件类型。

可选的，上述基于ELK日志采集分析的电力网络安全监测方法中，所述范式化包括：按照设定格式将不同厂商、不同型号、不同种类的设备日志进行整合。

可选的，上述基于ELK日志采集分析的电力网络安全监测方法中，所述对存储的日志进行检索及统计包括：

采用分布式检索技术，返回包含关键词并符合预设限制条件的日志；

对所述日志进行字段内容计数统计或对日志数量变化趋势进行统计。

第二方面，本申请还提供了一种基于ELK日志采集分析的电力网络安全监测系统，所述系统包括：

日志采集模块，用于采用集中式的日志管理方法，采集电力监控系统网络安全设备日志；

日志处理模块，对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储；

统计检索模块，用于采用分布式日志检索方法，对存储的日志进行检索及统计；

可视化模块，用于汇总展示日志采集模块和统计检索模块的日志数据。

可选的，上述基于ELK日志采集分析的电力网络安全监测系统中，所述日志处理模块包括日志过滤模块，用于根据设定的过滤规则对日志进行过滤，所述过滤规则包括源IP、目的IP、源端口、目的端口和事件类型。

可选的，上述基于ELK日志采集分析的电力网络安全监测系统中，所述日志处理模块包括日志范式化模块，用于按照设定格式将不同厂商、不同型号、不同种类的设备日志进行整合。

可选的，上述基于ELK日志采集分析的电力网络安全监测系统中，所述统计检索模块包括：

日志检索模块，用于采用分布式检索技术，返回包含关键词并符合预设限制条件的日志；

日志统计模块，对所述日志进行字段内容计数统计或对日志数量变化趋势进行统计。

本申请提供的一种基于ELK日志采集分析的电力网络安全监测方法及系统，针对用户在对电力监控系统安全检测时，集中采集各场站、地调防火墙、IDS、IPS、安全审计日志等安全设备日志产生的日志和事件，并从海量日志数据中精确查找关键有用的事件数据，准确定位网络故障并提前识别安全威胁，系统预置丰富的报表，进行可视化展示，满足合规性审计需要。本申请提供的基于ELK日志采集分析的电力网络安全监测方法及系统，告别传统依次登录每台机器的传统方法查阅日志方式，解决了防火墙、IDS、IPS、安全审计日志等安全设备日志留存时间不足、日志格式不统一查看难度大、实时处理海量的日志等问题。本申请提供的基于ELK日志采集分析的电力网络安全监测方法及系统，采用集群的方式，数据存储、查询高效、快速，实现实时日志监视及存储，满足日志存储要求；并通过可视化模式进行日志展示，界面友好、简单易用，日志分析规则可自定义设置，便于工作人员实时监测网络安全事件，提高电力监控系统网络安全监测水平。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的基于ELK日志采集分析的电力网络安全监测方法的结构流程图；

图2为本申请实施例提供的基于ELK日志采集分析的电力网络安全监测系统的结构图。

具体实施方式

本申请提供了一种基于ELK日志采集分析的电力网络安全监测方法及系统，解决了防火墙、IDS、IPS、安全审计日志等安全设备日志留存时间不足、日志格式不统一查看难度大、日志信息庞杂且难于理解、难以实现对安全事件实时监测等问题。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

附图1为基于ELK日志采集分析的电力网络安全监测方法的结构流程图。如附图1所示，本申请实施例提供的基于ELK日志采集分析的电力网络安全监测方法包括：

S101：采用集中式的日志管理方法，采集电力监控系统网络安全设备日志。

具体的，在本申请实施例中日志的收集基于syslog协议，通过UDP 514端口进行日志的收集。目前，syslog协议广泛用于包括防火墙、服务器在内的大多数设备，基于ELK的分布式日志采集分析的电力监控系统网络安全监测系统通过logstash可以对多个设备的syslog日志消息进行统一的收集存储。

S102：对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储。

日志消息数量庞大，为实现更有效的监测，一种基于ELK分布式日志采集分析的电力监控系统网络安全监测系统通过设定不同的过滤规则对日志进行过滤，过滤规则包括但不限于源IP、目的IP、源端口、目的端口、事件类型等。

日志的范式化主要是解决不同设备、不同软件的日志字段格式不统一的问题。长期以来，没有一个标准来规范syslog的格式，导致syslog的格式是非常随意的。最坏的情况下，根本就没有任何格式，导致程序不能对syslog消息进行解析，只能将它看作是一个字符串。因此，本申请在收集日志的基础上，通过范式化将不同厂商、不同型号、不同种类的设备日志进行整合，统一展示，告别日志难懂，日志分析人员门槛高的现状。

按照统一要求的格式类型进行日志范式化处理，格式类型可包括日志名称、产生该日志的设备类型、日志产生的时间等。

日志经过范式化处理后，可针对不同的字段进行选择过滤，如针对源端口、源地址、目标端口、目标地址、日志状态(成功/失败)等进行筛选，完成日志的过滤分析。

如此，实现日志搜集、分析及过滤功能，支持大量的数据获取方式。

S103：采用分布式日志检索方法，对存储的日志进行检索及统计。

日志检索：统计检索模块接收系统前端输入的检索关键词及限制条件，采用分布式检索技术返回包含关键词并符合限制条件的所有日志。

日志统计：基于日志检索结果，用户可指定对1至n个日志有效字段进行字段内容计数统计(包括数量、分布、比例等)或对日志数量变化趋势进行统计(基于时间、特定字段内容等)。可实现分析特定时间段高危端口的访问轨迹等信息，根据实时的日志对业务情况进行监控。

每一个分片均具备冗余，防止硬件故障造成的数据丢失。无论是增加节点，还是移除节点，分片都可以做到无缝的扩展和迁移。具体过程如下：

将采集的日志分区到不同的容器或者分片中，它们可以存在于一个或多个节点中。

将分片均匀的分配到各个节点，各节点分别对存储在本节点的分片日志内容进行分词后进行倒排索引形成索引表单。

分布式系统中通过人工配置或自动推选选择一个主节点，主节点对各节点的索引进行收集并形成总索引。

在主节点接收到检索请求后对，根据总索引明确包含相关日志的节点及分片，并将检索请求转发到包含相关日志的节点，实现索引和搜索的负载均衡。

相应数据所在的节点在接收到检索请求后利用本地索引查找具体日志，并按请求的排序要求排序后以JSON格式返回给请求发起节点。

请求发起节点在获取到相关检索结果后，按搜索指定的排序要求进行总体排序，并通过人机界面进行展示。即使仅部分节点反馈结果，也能够在页面进行提示的情况下展示获取到的结果。

采用分布式搜索引擎，实现电力监控系统网络安全设备日志的搜索、分析以及存储，实现零配置、自动发现、索引自动分片、索引副本机制，实时处理海量多源异构数据。

在日志分析的基础上，通过业务白名单的方式进行异常日志展示分析。通过对业务端口进行收集整理，在日志巡检时可一键过滤掉正常业务流量，仅展示异常流量。

支持业务白名单的过滤方式，对所有运行的业务端口、业务IP进行全面的梳理，并根据业务类型进行分类，在查询页面设置基于端口、IP的策略，实现对正常的业务类型日志进行一键过滤。

本申请实施例中，对日志的收集、过滤、范式化及存储，采用集中式的日志管理办法，将各场站日志汇总进行存储分析，告别传统依次登录每台机器的传统方法查阅日志。

S104：汇总展示日志数据。

进行日志数据的汇总展示，多维度的搜索、查看、交互存放在索引里的数据，使用各种不同的图表、表格、地图等进行数据展示及高级数据分析与可视化。可设置不同的搜索条件，对结果进行可视化展示。通过梳理业务流向及应用所使用的端口、服务，可快速识别异常访问，及时产生告警，便于快速开展应急响应服务。实时展示新入库的日志或者按人工设定的规则展示过滤后的日志。

基于本申请实施例提供的基于ELK日志采集分析的电力网络安全监测方法，本申请实施例还提供了一种基于ELK日志采集分析的电力网络安全监测系统。如附图2所示，本申请实施例提供的基于ELK日志采集分析的电力网络安全监测系统，所述系统包括：

日志采集模块，用于采用集中式的日志管理方法，采集电力监控系统网络安全设备日志；

日志处理模块，对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储；

统计检索模块，用于采用分布式日志检索方法，对存储的日志进行检索及统计；

可视化模块，用于汇总展示日志采集模块和统计检索模块的日志数据。

进一步，本申请实施例提供的基于ELK日志采集分析的电力网络安全监测系统中，所述日志处理模块包括日志过滤模块，用于根据设定的过滤规则对日志进行过滤，所述过滤规则包括源IP、目的IP、源端口、目的端口和事件类型。

进一步，本申请实施例提供的基于ELK日志采集分析的电力网络安全监测系统中，所述日志处理模块包括日志范式化模块，用于按照设定格式将不同厂商、不同型号、不同种类的设备日志进行整合。

进一步，本申请实施例提供的基于ELK日志采集分析的电力网络安全监测系统中，所述统计检索模块包括：

日志检索模块，用于采用分布式检索技术，返回包含关键词并符合预设限制条件的日志；

日志统计模块，对所述日志进行字段内容计数统计或对日志数量变化趋势进行统计。

本申请实施例提供的基于ELK日志采集分析的电力网络安全监测系统，采用ElasticSearch、Logstash及Kibana三个开源的工具搭建日志分析平台，Logstash收集、过滤、范式化日志，传输并存储到ElasticSearch集群中并自动生成索引，而Kibana则提供人机友好的图形化检索与统计任务下发界面，向ElasticSearch集群查询数据并生成图表展示。

日志采集模块采用Logstash完成对日志的收集、过滤、范式化及传输到存储服务或上一级采集服务，采用集中式的日志管理办法，将各场站日志汇总进行存储分析，告别传统依次登录每台机器的传统方法查阅日志。

日志的采集模块基于syslog协议，通过UDP 514端口进行日志的收集，并通过logstash可以对多个设备的syslog日志消息进行统一的收集存储。

日志采集模块通过设定不同的过滤规则对日志进行过滤，过滤规则包括但不限于源IP、目的IP、源端口、目的端口、事件类型等。

日志采集模块采集的日志经过范式化处理后，可针对不同的字段进行选择过滤，如针对源端口、源地址、目标端口、目标地址、日志状态(成功/失败)等进行筛选，完成日志的过滤分析。

统计检索模块采用ElasticSearch完成对日志的存储、统计及检索，采用分布式的日志存储与检索方式，检索高效、快速。Elasticsearch是一个分布式的搜索引擎，具有分布式、零配置，自动发现，索引自动分片，索引副本机制，自动搜索负载等特点。

统计检索模块采用分布式检索，将采集的日志分区到不同的容器或者分片中，它们可以存在于一个或多个节点中，并将分片均匀的分配到各个节点，对索引和搜索做负载均衡，冗余每一个分片，防止硬件故障造成的数据丢失。将集群中任意一个节点上的请求路由到相应数据所在的节点。

可视化模块采用Kibana完成日志分析平台的前端展示，为Logstash和ElasticSearch提供的日志分析友好的Web界面，汇总、分析和搜索重要数据日志。

Kibana作为前端展示，可访问与选定索引模式匹配的每个索引中的每个文档，可以提交搜索请求、过滤搜索结果、查看文档数据等。可看到与搜索查询匹配的文档数，并获取字段值的统计信息。通过再索引模式中配置时间字段，可以查询得到基于时间分布的文档数量柱状图。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处，相关之处参见方法实施例的部分说明即可。本领域技术人员在考虑说明书及实践这里的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种基于ELK日志采集分析的电力网络安全监测方法，其特征在于，所述方法包括：

采用集中式的日志管理方法，采集电力监控系统网络安全设备日志；

对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储；

采用分布式日志检索方法，对存储的日志进行检索及统计；

汇总展示日志数据。

2.根据权利要求1所述的方法，其特征在于，所述采用集中式的日志管理方法，采集电力监控系统网络安全设备日志，包括：基于syslog协议，通过UDP 514端口进行电力监控系统网络安全设备日志的收集。

3.根据权利要求1所述的方法，其特征在于，所述过滤包括：根据设定的过滤规则对日志进行过滤，所述过滤规则包括源IP、目的IP、源端口、目的端口和事件类型。

4.根据权利要求1所述的方法，其特征在于，所述范式化包括：按照设定格式将不同厂商、不同型号、不同种类的设备日志进行整合。

5.根据权利要求1所述的方法，其特征在于，所述对存储的日志进行检索及统计包括：

采用分布式检索技术，返回包含关键词并符合预设限制条件的日志；

对所述日志进行字段内容计数统计或对日志数量变化趋势进行统计。

6.一种基于ELK日志采集分析的电力网络安全监测系统，其特征在于，所述系统包括：

日志采集模块，用于采用集中式的日志管理方法，采集电力监控系统网络安全设备日志；

日志处理模块，对采集到的电力监控系统网络安全设备日志进行过滤、范式化处理及存储；

统计检索模块，用于采用分布式日志检索方法，对存储的日志进行检索及统计；

可视化模块，用于汇总展示日志采集模块和统计检索模块的日志数据。

7.根据权利要求6所述的系统，其特征在于，所述日志处理模块包括日志过滤模块，用于根据设定的过滤规则对日志进行过滤，所述过滤规则包括源IP、目的IP、源端口、目的端口和事件类型。

8.根据权利要求6所述的系统，其特征在于，所述日志处理模块包括日志范式化模块，用于按照设定格式将不同厂商、不同型号、不同种类的设备日志进行整合。

9.根据权利要求6所述的系统，其特征在于，所述统计检索模块包括：

日志检索模块，用于采用分布式检索技术，返回包含关键词并符合预设限制条件的日志；

日志统计模块，对所述日志进行字段内容计数统计或对日志数量变化趋势进行统计。