CN110650038B - 面向多类监管对象的安全事件日志采集处理方法和系统 - Google Patents

Abstract

本发明公开了一种面向多类监管对象的安全事件日志采集处理方法和系统，多类监管对象包括主机设备、网络设备、数据库、安全设备以及应用操作行为；将所有采集的安全事件日志的结构转换为统一数据结构；基于统一数据格式的数据提取预先定义的关键字段信息，对监视对象全覆盖，动态发现监视对象，实现对新一代电网调度控制系统安全对象状态的有效掌控。

Description

面向多类监管对象的安全事件日志采集处理方法和系统

技术领域

本发明涉及电力系统安全监视技术领域，特别涉及面向多类监管对象的安全事件日志处理方法和系统。

背景技术

现有的安全防护方案中的监视技术对电力调度控制系统涉及相关设备进行监视，通过数据采集模块将收集到的信息发送给分析服务模块，分析服务模块处理收集到的数据，将必要的数据存入实时库，生成具体的监视、告警信息推送给人机，人机的监听模块收集到相关信息后展示给用户，并根据用户的操作向分析服务模块发送请求，分析服务模块收到请求后再从实时库中提取相关数据，发送给人机进行数据展示。

随着特高压交直流混联大电网和清洁能源的快速发展，电力系统特性发生了深刻变化。电网运行的一体化特征凸显，全局监视、全网防控、集中决策的需求日益突出，上述监视技术中的数据采集处理方法已经不能满足需求,现有的安全防护方案重点是对电力调度控制系统涉及的相关设备进行了监视，针对主机类设备的监视仅涵盖了普通主机，安全事件的监视对象覆盖范围较小，难以适应新架构特点下的监视需求。

为了应对上述挑战，亟需提出一种面向多类监管对象的安全事件监视方法。

发明内容

本发明所要解决的技术问题是克服现有技术监视对象的覆盖范围较小、采集的监视对象信息格式不统一包含了很多无用数据的缺陷，提供一种面向多类监管对象的安全事件采集方法。

为解决上述技术问题，本发明采用以下技术方案：

在一方面，本发明提供了一种面向多类监管对象的安全事件日志采集处理方法，所述多类监管对象包括主机设备、网络设备、数据库、安全设备以及应用操作行为；所述安全事件日志采集处理方法包括分别采集主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息；将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；

基于统一数据结构的数据提取预先定义的关键字段信息；

其中采集主机设备安全事件信息，包括在主机设备上部署agent采集主机设备的安全事件信息；采集网络设备安全事件信息，包括建立SNMP轮询机制周期查询网络设备安全运行情况；建立SNMP TRAP监听收集网络设备网口状态变化信息；建立SYSLOG监听收集网络设备操作信息；采集安全设备安全事件信息，包括建立Syslog网络监听，接收安全设备发送的安全事件信息，所述安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统和防火墙设备；采集数据库信息：读取数据库获取数据库自身的使用信息；采集应用操作行为信息：从系统中采集操作行为信息。

进一步地，所述关键字段数据包括安全事件的监管对象名称、安全事件的日期、安全事件的时间、安全事件的类型、安全事件的源IP、安全事件的目标IP、安全事件的源端口、安全事件的目标端口和安全事件的威胁等级。

进一步地，将采集到的主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息保存到非关系型数据库。

再进一步地，所述非关系型数据库将数据传送到数据总线，所述数据总线对采集上来的数据进行格式判断，将不符合格式要求的数据，记录到文件中对符合格式要求的数据进行解析分类，应用操作行为数据归类为操作信息一类。

再进一步地，所述非关系型数据库采用键值对的形式存储，每个值对应于一个键值。

再进一步地，通过日志解析服务，从统一格式的安全事件日志中确定设备的状态日志，所述非关系型数据库分别以表名加设备ID为主键分别将设备的实时的状态日志进行存储，采用键-值存储的数据结构和基于对象的散列算法，并采用哈希表作为内存数据存储结构。

进一步地，所述统一数据结构为JSON数据格式。

进一步地，还包括通过日志解析服务，将统一格式的安全事件日志分为告警日志、操作日志和状态日志。

在另一个方面，本发明提供了面向多类监管对象的安全事件日志采集处理系统，其特征是，包括：

主机设备安全事件采集模块，用于采集主机设备安全事件信息，包括在主机设备上部署agent采集主机设备的安全事件信息；

网络设安全事件采集模块：用于采集网络设备安全事件信息，包括建立SNMP轮询机制周期查询网络设备安全运行情况；建立SNMP TRAP监听收集网络设备网口状态变化信息；建立SYSLOG监听收集网络设备操作信息；

安全设备安全事件信息采集模块：用于采集安全设备安全事件信息，包括建立Syslog网络监听，接收安全设备发送的安全事件信息，所述安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统和防火墙设备；

数据库信息采集模块：用于采集数据库信息：读取数据库获取数据库自身的使用信息；

业务应用操作行为信息采集模块：用于采集应用操作行为信息，包括从系统中采集操作行为信息；

格式转换模块，用于将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；

关键字提取模块：用于基于统一数据结构的数据提取预先定义的关键字段信息。

进一步地，还包括非关系型数据库，所述非关系型数据库用于保存采集到的主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息，并采用键值对的形式存储，每个值对应于一个键值。

进一步地，所述系统还包括数据总线，所述数据总线用于对非关系型数据库传送的数据进行格式判断，将不符合格式要求的数据，记录到文件中；对符合格式要求的数据进行解析分类，存入数据库。

本发明所达到的有益效果：

本发明扩大监视对象的安全事件采集范围，对隶属于监控系统的主机、网络设备、安全设备、操作系统、数据库等软硬件及远程登陆后的操作行为进行监视，实现监视对象的全覆盖；解决了现有技术监视对象的覆盖范围较小的缺陷。

本发明将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；基于统一数据结构的数据提取预先定义的关键字段信息。本发明对各种安全数据进行格式化转换，运用流式处理技术，实时反馈系统安全运行状况；通过对采集的安全事件日志提取关键字段，强化数据库稳定性、满足高并发，大容的特点、提高数据库处理效率；解决了现有技术采集的监视对象信息格式不统一包含了很多无用数据的缺陷。

附图说明

图1为本发明具体实施例的安全事件日志采集处理方法流程示意图；

图2为本发明具体实施例的应用操作行为处理流程；

图3为本发明具体实施例的安全事件日志采集处理流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

新一代电力调度控制系统中，资源分布具有动态性，即资源的位置是动态变化的，使用场景具有开放性，即用户不是固定的使用或访问自己所在域的系统和资源，存在跨域访问的情况。因此新一代电力调度控制系统中安全防护监视应该以网络安全、主机安全、应用安全、数据安全为核心，对安全事件的数据采集和处理应该针对设备、网络、主机、业务系统等安全主体的安全事件和数据访问、服务请求等用户行为(监视对象见表1)。而现有技术针对主机类设备的监视仅涵盖了普通主机，对于虚拟机和容器等主机类设备没有有效的监视手段，对于应用行为监视所采集的数据没有进行分类也无法针对其格式进行判断。

表1全域监视对象

本发明提供一种面向多类监管对象的安全事件日志采集处理方法，对隶属于监控系统的主机、网络设备、安全设备、操作系统、数据库等软硬件及远程登陆后的操作行为进行安全事件日志采集处理，为实现监视对象的全覆盖提供了支持，其中数据库可以采用云存储设备实现。

实施例：一种面向多类监管对象的安全事件采集处理方法(流程示意图参考图1)图1示出了所述多类监管对象包括主机设备、网络设备、数据库、安全设备以及应用操作行为；

所述安全事件日志采集处理方法包括：分别采集主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息；

将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；

基于统一数据结构的数据提取预先定义的关键字段信息；

其中采集主机设备安全事件信息，包括在主机设备上部署agent采集主机设备的安全事件信息；采集网络设备安全事件信息，包括建立SNMP轮询机制周期查询网络设备安全运行情况；建立SNMP TRAP监听收集网络设备网口状态变化信息；建立SYSLOG监听收集网络设备操作信息；采集安全设备安全事件信息，包括建立Syslog网络监听，接收安全设备发送的安全事件信息，所述安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统和防火墙设备；采集数据库信息，包括读取数据库获取数据库自身的使用信息；采集应用操作行为信息，包括从系统中采集操作行为信息；

本实施例具体包括：

1)主机设备安全事件采集：

在采集主机上部署agent，实现对主机安全事件的收集，如文件权限变更、用户权限变更、外设设备接入、用户危险操作等信息；

2)网络设备安全事件采集：

SNMP是专门设计用于在IP网络管理网络节点的一种标准协议，它是一种应用层协议。电力监控系统应用的网络设备均支持使用SNMP协议进行设备管理。SNMP中的MIB是一种树状数据库，MIB管理的对象，就是树的端节点，每个节点都有唯一位置和唯一名字.IETF规定管理信息库对象识别符(OID，Object Identifier)唯一指定，其命名规则就是父节点的名字作为子节点名字的前缀。各网络设备厂家在共有MIB库基础上扩展各自的私有MIB库。基于网络设备设计实现，采用SNMP、SNMP TRAP、SYSLOG相结合的方式实现对网络设备安全事件信息的采集，如IP、MAC地址冲突等信息。

本实施例通过建立SNMP轮询机制周期查询网络设备安全运行情况包括CPU、内存等信息；建立SNMP TRAP监听收集设备网口状态变化信息；建立SYSLOG监听收集设备登录、退出、配置变更等操作信息。

3)安全设备安全事件信息采集：

系统内安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统、防火墙设备。各类安防设备均实现了自身运行状态及安全事件信息的收集，并基于Syslog方式实现设备采集到安全事件信息的外送，基于对设备日志传输规范的研究，采集不同设备研究设备安全事件信息，例如不符合安全策略访问、设备故障告警等信息。

本实施例通过建立Syslog网络监听，接收安全设备发送的安全事件信息，主要实现隔离设备、纵向设备、入侵检测系统、防病毒系统、防火墙设备安全事件的接收处理。

4)数据库信息采集

数据库的使用信息都记录在其自身提供的系统表中，因此，可以直接通过读取数据库来获取数据库自身的使用信息，如数据库连接信息，长时间执行sql、锁表等原始日志，如采集数据库用户连续多次登录失败、数据库计划任务执行失败、数据库锁表异常等信息。

5)业务应用操作行为信息采集新一代电力调度控制系统中的业务应用都会记录用户的操作行为信息，并根据新一代电力调度控制系统的通用日志采集规范以指定的格式保存在数据库中，因此，可以直接通过读取数据库来获取这些用户操作行为信息，从数据库获取这些原始日志。

采集应用的登录行为，数据访问行为，数据写入，权限申请等操作行为；通过采集应用的登录行为，数据访问行为，数据写入，权限申请等操作行为实现对于应用操作行为的监视。应用操作行为处理流程如图2所示，图2示出了应用操作行为采用触发方式，当应用产生需要被采集的操作行为时，应用调用数据发送接口，将操作行为信息发送给采集agent，采集agent对信息进行格式化处理后，存入数据库。应用操作行为监视的具体处理流程如下：

·应用行为触发上报：应用产生需要被采集的操作行为时，应用主动调用数据发送接口，将操作行为信息上报，发送给网络安全管理应用的数据总线；

·数据格式判断：对采集上来的数据进行格式判断，将不符合格式要求的数据，记录到文件中，便于以后查找问题；

·数据分类：对符合格式要求的数据进行解析分类，应用操作行为数据归类为操作信息一类；

·存入数据库：将处理后的采集信息，写入数据库；

·返回结果：返回流程执行结果。

以上采集的这些安全事件一般由多路协议类型和日志文件格式组成，如SYSLOG、SNMP、TRAP，以及通过JDBC和ODBC获得的相关数据库信息等。为了提高数据处理效率，对收集到的多元数据结构的安全事件信息进行格式重构，统一所有采集的安全事件日志。优选地，在具体实施例中统一的数据格式采用JSON数据结构。

为了更好地对这些安全事件进行分析，需从这些数据中提取关键字信息，从而使不同类型的安全事件具有相同的描述方式。通过定义关键字段，对安全事件的采集信息进行描述，同时方便对安全事件进行整理和分析。

关键字段数据如表2所示。

表2关键字段数据结构表

字段名称	描述内容
		Device_id	安全事件的监管对象名称
Date	安全事件的日期
		Time	安全事件的时间
Type	安全事件的类型
		Source_ip	安全事件的源IP
Target_name	安全事件的目标IP
		Source_port	安全事件的源端口
Target_port	安全事件的目标端口
		Severity	安全事件的威胁等级

通过关键字段结构体，字段Device_id存储采集到的主机设备、服务器、操作系统、路由器、防火墙、云存储设备、数据库、业务系统应用用户行为等安全事件监管对象名称，字段Type存储采集到的安全事件类型，包括SNMP、TRAP，SYSLOG等多种类型的安全事件采集协议，字段Date存储采集到的安全事件日期，字段Time存储采集到的安全事件时间，Source_ip存储采集到的安全事件源ip，Target_ip存储采集到的安全事件目的ip，Source_port存储采集到的安全事件源端口，Target_port存储采集到的安全事件目的端口，Severity存储采集到的安全事件威胁等级，比如紧急安全事件威胁级别，重要安全事件威胁级别，与普通安全事件威胁级别。

通过构建安全事件关键字段数据结构，以及设定过滤和关联规则，有利于大量不同类型安全事件的采集，可过滤掉格式错误以及不需要的安全事件，转化成系统关注的新安全事件，将多类监管对象的安全日志统一转换成符合安全日志数据结构，最终满足新一代调控系统的通用告警格式日志采集规范，

考虑所采集数据体量的庞大，为了保证安全事件采集后其数据可以高效的存储与访问，需要通非关系型分布式和可持久化技术，来进行满足和适应。

在以上实施例的基础上，采用非关系型分布式方法、数据的可持久化方法对所采集的数据进行存储。

非关系型分布式方法：存储使用键值对的形式，即每个值(value)对应于一个键(key)。在概念上与JavaScript中的对象相似，属于一种简单的数据表示方式，易于理解、分析和存储，同时能够支持空(null)、布尔型(boolean)、数字(numeric)、字符串(string)、数组(array)和对象等六种数据类型。另外，还增加了一些额外的数据类型，如正则表达式(regular expression)、嵌套文档(embedded document)、二进制数据(binary data)和代码(code)。

数据的可持久化方法：通过RDB持久化和AOF持久化备份到磁盘。

如果内存数据库将用户全部键值对数据存储在内存空间，若因故障服务器进程退出，会造成服务器数据库的键值对数据丢失。因此为了避免服务进程意外退出造成数据丢失，需通过RDB持久化和AOF持久化功能把服务器所有数据库的键值对数据定期保存到磁盘。

RDB技术与AOF技术各有优势，RDB是一种表示某个即时点的数据紧凑文件，可能出现数分钟以内的数据丢失，但适合用于备份和进行灾难恢复。AOF是一个追加文件，不需要定位，具有可持久性，在断电时也不会出现文件损坏的问题。基于对两种持久化技术的研究，为了保证数据安全性，对RDB和AOF两种技术相结合进行使用。

RDB持久化功能包括设置服务器配置文件相关参数定期执行与使用SAVE命令、BGSAVE命令手动执行两种实现方式，其会把服务器所有数据库的键值对数据存储到一个经过压缩的二进制RDB文件中。当用户通过SAVE命令执行RDB持久化功能时会阻塞服务器进程创建RDB文件，而使用BGSAVE命令执行RDB持久化功能时，服务器进程会派生一个子进程创建RDB文件，父进程继续处理相关操作。当用户通过设置配置文件参数定期执行持久化功能时，服务器会每100ms执行一次遍历配置文件中设置的条件，只要任意条件满足，将使用命令BGSAVE更新RDB文件。

RDB持久化功能包括设置服务器配置文件相关参数定期执行与使用SAVE命令、BGSAVE命令手动执行两种实现方式，其会把服务器所有数据库的键值对数据存储到一个经过压缩的二进制RDB文件中。当用户通过SAVE命令执行RDB持久化功能时会阻塞服务器进程创建RDB文件，而使用BGSAVE命令执行RDB持久化功能时，服务器进程会派生一个子进程创建RDB文件，父进程继续处理相关操作。当用户通过设置配置文件参数定期执行持久化功能时，服务器会每100ms执行一次遍历配置文件中设置的条件，只要任意条件满足，将使用命令BGSAVE更新RDB文件。

AOF(Append Only File)持久化功能通过以命令请求协议格式保存服务器执行的写命令到AOF文件实现。服务器数据库某个写命令执行完成后将以命令请求协议格式追加到缓冲区aof_buf末尾，根据服务器配置文件appendfsync选项的值来确定将缓冲区aof_buf的内容保存到AOF文件的方式，在每次事件循环结束前调用。随着服务器的运行与AOF持久化功能的持续，AOF文件会变得越来越膨胀。为防止AOF文件内容过于庞大对服务器的性能造成影响，服务进程会定期生成子进程根据数据库状态以协议格式构造写命令操作保存到新的AOF文件中，且为了防止AOF文件重写时父进程处理写命令操作造成数据不一致问题，设置了AOF缓冲区保存父进程处理的写命令协议格式请求数据。构造写命令协议格式请求数据操作完成之后，服务器会将AOF重写缓冲区缓存的数据保存到新AOF文件中。完成AOF文件重写操作之后服务器会把旧AOF文件替换为新AOF文件。

在具体实施例中，分布式数据库中存储的设备发出的原始日志进行范式化处理，统一处理成JSON格式，

然后通过日志解析服务，对范式化的日志进行自定义的数据分析和日志区分，将告警日志、操作日志、状态日志分开处理。

非关系型分布式技术主要对平台资产的变化的、实时的状态日志进行存储，以表名+设备ID为主键分别将设备的，采用键-值存储的数据结构和基于对象的散列算法，并采用哈希表作为内存数据存储结构，实现实时数据存储过程的高速缓存、高可靠性和可扩展性。

以下表3～表6分部列出主机、数据库、网络设备、安防设备的实时数据存储表结构(截取部分关键属性字段)。

表3主机实时库字段

表4数据库实时库字段

字段名称	描述内容
		ID	设备ID
DEVICENAME	设备名称
		CPURATE	CPU使用率
MEMRATE	内存使用率
		WARNINGNUM	告警数量
RUNSTATUS	数据库运行状态
		DISKRATE_DATA_FILE	磁盘使用率
STORAGEUSAGE	表空间使用率
		RUNTIME	运行时长
ONLINESTATUS	设备在线状态

表5网络设备实时库字段

字段名称	描述内容
		ID	设备ID
DEVICENAME	设备名称
		CPURATE	CPU使用率
MEMRATE	内存使用率
		WARNINGNUM	告警数量
RUNTIME	运行时长
		ONLINESTATUS	设备在线状态

表6安防设备实时库字段

字段名称	描述内容
		ID	设备ID
DEVICENAME	设备名称
		CPURATE	CPU使用率
MEMRATE	内存使用率
		WARNINGNUM	告警数量
POWERSTATUS	电源状态
		FANTROUBLE	风扇转数
TEMPERATURESTATUS	温度状态
		NETWORKPORTSTATUS	网口状态
ONLINESTATUS	设备在线状态

同样，以表名+设备ID为主键，并通过不同编程语言的哈希算法直接读取某设备的指定状态数值，能够更为快速和直观的将实时数据展现给界面。

通过上述的技术，实现安全监管数据的实时高效存储与访问，充分实现数据的分布式高速缓存，使具有数据一致性、系统可靠性、数据读写分离、数据切片原理，冗余备份热切换、系统高可扩展性等多维度的分布式缓存。

在满足了安全监管数据的实时高效存储与访问之后，为了保证大量数据处理业务频发的情况，数据信息可以得到有效分析同时高效的发布通过采用数据总线技术保证消息的实时性、可扩展性和高吞吐率，实现数据信息的高效、准确的分析与发布。

在以上实施例的基础上，具体实施例还包括：如图3所示，非关系型数据库将数据传送到数据总线，所述数据总线对采集上来的数据进行格式判断，将不符合格式要求的数据，记录到文件中对符合格式要求的数据进行解析分类，应用操作行为数据归类为操作信息一类，存入数据库：将处理后的采集信息，写入数据库。

数据总线是一个分布式、多分区、多订阅者的分布日志系统。

数据总线的基本结构包括消息原语、共享内存通信模块和网络传输模块。

其中，消息原语用于完成应用程序和消息总线间的信息交换；

共享内存通信模块用于节点内的消息传递，以实现实时数据的高效传输；

网络通信模块用于节点间的消息传递，利用组播技术和点对点分别实现一对多、一对一的消息传输方式。

数据总线采用消息原语的方式，为应用程序提供注册、撤销注册、订阅消息、撤销订阅、发布消息、接收消息等功能。

各消息原语的功能模块如下：

·注册：应用程序注册消息总线以获取相关资源，以便后续调用其他消息原语。

·撤销注册：应用程序撤销自己对消息总线的注册，以释放相关资源。应用程序撤销注册后，将不能使用发布消息、接收消息、订阅消息和撤销订阅等功能。

·订阅消息：已注册消息总线的应用程序向消息总线订阅所需消息的事件集，只有在订阅消息后，应用程序才能从消息总线接收消息。

·撤销订阅：应用程序对已订阅事件集的撤销，应用程序撤销订阅某个事件集后，消息总线不再把属于该事件集的任何消息发送给该应用程序。

·发布消息：应用程序调用该原语来发布消息。发布消息时需要在消息中指定消息所属的事件集，消息总线将该消息发送给已订阅此事件集的所有应用程序。

·接收消息：已订阅某个事件集的应用程序从消息总线上接收属于该事件集的消息。

在设计数据总线时，通过新的技术方式处理生产者与消费者之间的关系，以topic作为数据总线最基本的单位，对于同一个topic只存储同一类消息，每个topic内部实现又被分成多个partition，每个partition在存储层面是append log文件。同一topic的一条消息，只能被同一个consumer group内的一个consumer消费，但多个consumer group可同时消费这一个消息。满足高并发和大数据分析应用的需求。

采用零拷贝的系统调用机制，跳过用户缓冲区的拷贝，建立了一个磁盘空间和内存空间的直接映射，数据不再复制到用户态缓冲区，系统上下文切换减少2次，可以提升一倍的性能。通过mmap，进程像读写硬盘一样读写内存，用这种方式可以获取很大的I/O提升，省去了用户空间到内核空间的复制开销，直接将数据从内核空间(DMA)拷贝到内核空间(Socket)，然后发送给网卡等设备，实现数据总线的高并发。

通过上述的数据总线技术，实现提高数据总线的实时性、可扩展性和高吞吐率，适应高并发需求，满足对大数据分析应用的需求。

另一实施方式，面向多类监管对象的安全事件日志采集处理系统，包括：

主机设备安全事件采集模块，用于采集主机设备安全事件信息，包括在主机设备上部署agent采集主机设备的安全事件信息；

网络设安全事件采集模块：用于采集网络设备安全事件信息，包括建立SNMP轮询机制周期查询网络设备安全运行情况；建立SNMP TRAP监听收集网络设备网口状态变化信息；建立SYSLOG监听收集网络设备操作信息；

安全设备安全事件信息采集模块：用于采集安全设备安全事件信息，包括建立Syslog网络监听，接收安全设备发送的安全事件信息，所述安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统和防火墙设备；

数据库信息采集模块：用于采集数据库信息：读取数据库获取数据库自身的使用信息；

业务应用操作行为信息采集模块：用于采集应用操作行为信息，包括从系统中采集操作行为信息；

格式转换模块，用于将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；

关键字提取模块：用于基于统一数据结构的数据提取预先定义的关键字段信息。

在以上实施例的基础上，还包括非关系型数据库，所述非关系型数据库用于保存采集到的主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息，并采用键值对的形式存储，每个值对应于一个键值。

在以上实施例的基础上，所述系统还包括数据总线，所述数据总线用于对非关系型数据库传送的数据进行格式判断，将不符合格式要求的数据，记录到文件中；对符合格式要求的数据进行解析分类，存入数据库。

本发明提供的面向多类监管对象的安全事件采集方法，对隶属于监控系统的主机、网络设备、安全设备、云存储设备、操作系统、数据库等软硬件及远程登陆后的操作行为进行安全事件日志采集处理，对监视对象全覆盖，动态发现监视对象，实现对新一代电网调度控制系统安全对象状态的有效掌控。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (11)

1.面向多类监管对象的安全事件日志采集处理方法，其特征是，所述多类监管对象包括主机设备、网络设备、数据库、安全设备以及应用操作行为；

所述安全事件日志采集处理方法包括分别采集主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息；将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；基于统一数据结构的数据提取预先定义的关键字段信息；

其中采集主机设备安全事件信息，包括在主机设备上部署agent采集主机设备的安全事件信息；采集网络设备安全事件信息，包括建立SNMP轮询机制周期查询网络设备安全运行情况；建立SNMP TRAP监听收集网络设备网口状态变化信息；建立SYSLOG监听收集网络设备操作信息；采集安全设备安全事件信息，包括建立Syslog网络监听，接收安全设备发送的安全事件信息，所述安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统和防火墙设备；

采集数据库信息，包括读取数据库获取数据库自身的使用信息，具体包括数据库连接信息，长时间执行sql、锁表原始日志，采集数据库用户连续多次登录失败、数据库计划任务执行失败、数据库锁表异常信息；

采集应用操作行为信息，包括从系统中采集操作行为信息；所述应用操作行为采用触发方式，当应用产生需要被采集的操作行为时，应用调用数据发送接口，将操作行为信息发送给采集agent，采集agent对信息进行格式化处理后，存入数据库。

2.根据权利要求1所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，所述关键字段信息包括安全事件的监管对象名称、安全事件的日期、安全事件的时间、安全事件的类型、安全事件的源IP、安全事件的目标IP、安全事件的源端口、安全事件的目标端口和安全事件的威胁等级。

3.根据权利要求1所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，将采集到的主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息保存到非关系型数据库，所述非关系型数据库采用键值对的形式存储，每个值对应于一个键值。

4.根据权利要求3所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，所述非关系型数据库将数据传送到数据总线，所述数据总线对采集上来的数据进行格式判断，将不符合格式要求的数据，记录到文件中； 对符合格式要求的数据进行解析分类，应用操作行为数据归类为操作信息一类，存入数据库：将处理后的采集信息，写入数据库。

5.根据权利要求1所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，通过 RDB 持久化和 AOF 持久化功能把服务器所有数据库的键值对数据定期保存到磁盘。

6.根据权利要求3所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，通过日志解析服务，从统一格式的安全事件日志中确定设备的状态日志，所述非关系型数据库分别以表名加设备ID为主键分别将设备的实时的状态日志进行存储，采用键-值存储的数据结构和基于对象的散列算法，并采用哈希表作为内存数据存储结构。

7.根据权利要求1所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，所述统一数据结构为JSON数据格式。

8.根据权利要求1所述的面向多类监管对象的安全事件日志采集处理方法，其特征是，还包括通过日志解析服务，将统一格式的安全事件日志分为告警日志、操作日志和状态日志。

9.面向多类监管对象的安全事件日志采集处理系统，其特征是，包括：

主机设备安全事件采集模块，用于采集主机设备安全事件信息，包括在主机设备上部署agent采集主机设备的安全事件信息；

网络设安全事件采集模块：用于采集网络设备安全事件信息，包括建立SNMP轮询机制周期查询网络设备安全运行情况；建立SNMP TRAP监听收集网络设备网口状态变化信息；建立SYSLOG监听收集网络设备操作信息；

安全设备安全事件信息采集模块：用于采集安全设备安全事件信息，包括建立Syslog网络监听，接收安全设备发送的安全事件信息，所述安全设备包括隔离设备、纵向设备、入侵检测系统、防病毒系统和防火墙设备；

数据库信息采集模块：用于采集数据库信息：读取数据库获取数据库自身的使用信息，具体包括数据库连接信息，长时间执行sql、锁表原始日志，采集数据库用户连续多次登录失败、数据库计划任务执行失败、数据库锁表异常信息

业务应用操作行为信息采集模块：用于采集应用操作行为信息，包括从系统中采集操作行为信息；所述应用操作行为采用触发方式，当应用产生需要被采集的操作行为时，应用调用数据发送接口，将操作行为信息发送给采集agent，采集agent对信息进行格式化处理后，存入数据库；

格式转换模块，用于将所有采集的信息对应的安全日志的文本结构转换为统一数据结构；

关键字提取模块：用于基于统一数据结构的数据提取预先定义的关键字段信息。

10.根据权利要求9所述的面向多类监管对象的安全事件日志采集处理系统，其特征是，包括：非关系型数据库，所述非关系型数据库用于保存采集到的主机设备安全事件信息、网络设备安全事件信息、安全设备安全事件信息、数据库信息以及应用操作行为信息，并采用键值对的形式存储，每个值对应于一个键值。

11.根据权利要求9所述的面向多类监管对象的安全事件日志采集处理系统，其特征是，所述系统还包括数据总线，所述数据总线用于对非关系型数据库传送的数据进行格式判断，将不符合格式要求的数据，记录到文件中；对符合格式要求的数据进行解析分类，存入数据库。

Images