CN111885012B - 基于多种网络设备信息采集的网络态势感知方法及系统 - Google Patents

Abstract

本发明公开了基于多种网络设备信息采集的网络态势感知方法及系统，包括：基于多种网络设备采集日志数据，并进行日志信息过滤、范式化和归并处理；基于日志数据形成的原子事件流进行复杂事件查询任务和复杂事件监控告警任务，复杂事件查询任务用于查询检测复杂场景事件的发生情况，所述复杂事件监控任务用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，本发明通过多种网络资源的多维度信息采集，并通过复杂事件处理技术进行多事件的关联分析，及时发现网络当中的威胁和异常行为从而达到网络态势感知，提醒用户可能发生的异常主动式故障排除。

Description

基于多种网络设备信息采集的网络态势感知方法及系统

技术领域

本发明涉及网络安全技术领域，具体涉及基于多种网络设备信息采集的网络态势感知方法及系统。

背景技术

随着信息化建设发展，作为信息化承载的网络设备数量随之不断增长，而网络设备的管理则逐渐引起重视。由最初的人工管理、分散管理无法及时掌握全网状态及各部分状态存在滞后性，不能有效针对网络设备软件进行管理；发展至通过软件统一集中管控的方式来及时发现设备与网络状态异常，使整体的网络管理从被动无序过渡至主动观察，能够全面准确的及时的掌握整个网络的运行状态。

随着信息化技术的深入发展，网络空间产生的数据数量级迅速加大、数据类型更为复杂、数据的来源愈加多样、病毒和攻击事件更加隐蔽，亟需研究大数据环境下的网络态势感知技术，以便于对大数据进行快速分析，获取直观的网络总体态势数据，并迅速做出判断和决策。

发明内容

针对上述现有技术存在的问题，本发明提供了基于多种网络设备信息采集的网络态势感知方法及系统，通过多种网络资源的多维度信息采集，并通过复杂事件处理技术进行多事件的关联分析，及时发现网络当中的威胁和异常行为从而达到网络态势感知，具体的，本发明的基于多种网络设备信息采集的网络态势感知方法，包括：

(1)数据采集，基于多种网络设备采集日志数据，并进行日志信息过滤、范式化、归并处理；

(2)基于日志数据形成的原子事件流进行复杂事件查询任务和复杂事件监控告警任务，所述复杂事件查询任务用于基于原子事件流查询检测复杂场景事件的发生情况，所述复杂事件监控任务用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；

(3)对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，获取事件类型分布、事件的发生源分布、各等级告警事件汇总结果、以及事件发生的时间趋势。

作为上述方案的进一步优化，所述数据采集采用采集器分布式部署模式，所述采集器分布式部署模式的采集流程为：

采集器接收数据分析中心模块的采集策略配置信息，所述采集策略配置中包括该采集器需要采集数据的数据源设备信息、日志信息过滤规则和归并规则；

采集器接收设备发送的日志数据，判断是否在配置的数据源设备列表中；

如果在列表中，则按照预设的过滤处理周期对缓存的数据进行过滤规则匹配；

匹配后的日志作为原始日志进行压缩后转发到数据分析中心模块，同时，匹配后的日志流传输到日志范式化处理队列中进行范式化处理；

范式化处理完成后，封装成系统定义的Event对象，并将Event对象分别放入事件归并队列；

按照预设的转发周期将归并完成的事件数据进行压缩后转发到数据分析中心模块。

作为上述方案的进一步优化，所述复杂事件查询任务的处理步骤包括：

根据预设的查询策略获取策略配置数据，所述策略配置数据包括事件查询的语言、查询的复杂场景事件模型中的原子事件类型以及组成逻辑规则；

根据查询的复杂场景事件模型解析为复杂事件匹配规则；

根据复杂事件匹配规则对原子事件流进行匹配，将匹配到的复杂场景事件进行分表存储并建立存储索引。

作为上述方案的进一步优化，所述对原子事件流进行匹配的方法包括：

将复杂场景事件模型中的多个原子事件类型作为叶节点，并获取多个原子事件类型的约束条件以及事件类型时序；

接收原子事件流；

对多个原子事件类型的约束条件进行数量排序，优先匹配约束条件多的事件类型；

当约束条件数量相同时，获取所述预设时间长度内事件类型的事件出现频次，优先匹配事件频次小的事件；

获取到事件类型匹配处理的顺序后，获取第一处理顺序的事件类型中的发生时间最小的第一事件实例和第二处理顺序的事件类型中的发生时间最小的第二事件实例进行逻辑操作，获取第一处理结果；

根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的第三事件实例并与第一处理结果进行逻辑操作获得第二处理结果；

根据第四处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一、第二和第三处理顺序的事件类型的先后关系，获取符合条件的第四处理顺序的事件类型中的事件实例并与第二处理结果进行逻辑操作获得第三处理结果；

依次类推直到复杂场景事件模型中的多个原子事件类型匹配完成获得复杂场景事件实例。

作为上述方案的进一步优化，所述根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的事件实例，具体为：

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型的左侧，则将第三处理顺序的事件类型中发生时间同时小于第一和第二事件实例发生时间的事件实例作为第三事件实例；

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型之间，则将第三处理顺序的事件类型中发生时间在第一和第二事件实例发生时间的之间的事件实例作为第三事件实例；

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型的右侧，则将第三处理顺序的事件类型中发生时间同时大于第一和第二事件实例发生时间的事件实例作为第三事件实例。

作为上述方案的进一步优化，所述复杂事件监控告警任务的处理步骤包括：

根据预设的监控策略获取策略配置数据，所述策略配置数据包括事件流获取的路径、监控的复杂事件类型、复杂事件类型对应的关联规则库配置信息，所述关联规则库包括多种告警事件的关联融合规则，以及多种原子事件和对应告警事件的因果关联规则；

基于获取的事件流和事件关联融合匹配规则，关联分析引擎进行多种告警事件的关联融合，获取需要监控的复杂事件告警场景；

基于获取的事件流和因果关联规则，关联分析引擎进行多种原子事件的关联匹配，并对结果事件预测告警。

作为上述方案的进一步优化，所述关联规则库中的因果关联规则包括专家经验手动添加的关联规则和基于关联规则挖掘算法的增量更新的关联规则，所述增量更新的关联规则的获取方法为：基于原有数据库中的事件，基于频繁项和预设关联规则挖掘算法进行挖掘，获取多事件因果关联规则，对于预设时间片段内事件流中新增的事件，分析新增事件中的频繁项是否在原有数据库和新增事件形成的整体数据库中属于频繁项，若是，则针对新增频繁项通过预设关联规则挖掘算法进行关联规则挖掘，获取增量更新的多事件因果关联规则。

本发明的基于多种网络设备信息采集的网络态势感知系统，包括：

数据采集模块，用于基于多种网络设备采集日志数据，并进行日志信息过滤、范式化和归并处理；

数据分析中心模块，包括复杂事件处理模块和统计分析模块，

所述复杂事件处理模块包括复杂事件查询单元和复杂事件监控单元，所述复杂事件查询单元用于基于原子事件流查询检测复杂场景事件的发生情况，所述复杂事件监控单元用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；

统计分析模块，用于对复杂事件查询单元和复杂事件监控告警单元输出的数据进行二次统计分析，获取事件类型分布、事件的发生源分布、各等级告警事件汇总结果、以及事件发生的时间趋势

作为上述方案的进一步优化，所述数据采集模块采用采集器分布式部署模式，多个采集器和数据分析中心模块之间数据进行通信，所述采集器用于接收数据分析中心模块的采集策略配置信息，并基于采集策略配置信息进行日志数据的采集、过滤、范式化、归并、压缩转发处理。

作为上述方案的进一步优化，所述复杂事件监控模块包括关联规则动态更新单元和手动输入单元，所述关联规则手动输入单元用于获取专家经验手动添加的关联规则，所述关联规则动态更新单元用于获取基于关联规则挖掘算法的增量更新的关联规则。

本发明的基于多种网络设备信息采集的网络态势感知方法及系统，具备的有益效果包括：

(1)通过多种网络资源的多维度信息采集，并通过复杂事件处理技术进行多事件的关联分析，及时发现网络当中的威胁和异常行为从而达到网络态势感知，提醒用户可能发生的异常主动式故障排除；

(2)通过复杂事件查询任务实现了将时间相关性强、规模大、关联性弱的原始日志数据形成符合预设多条件事件查询规则的复杂事件，获取由多事件组成的用户感兴趣的复杂事件和有特定意义的事件，便于用户直观获取有意义的信息，以进行决策判断；

(3)通过复杂事件监控任务实现了对多种关联告警事件的关联分析，以及根据因果关联规则的多条件事件匹配获取告警预测，实现了网络的整体网络安全威胁报警、重要安全事件的实时监测和告警预警；

(4)通过对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，获取复杂事件的统计结果，直观获取复杂事件发生的趋势和事件发生分布等信息，以进行进一步的网络态势分析。

附图说明

图1为本发明基于多种网络设备信息采集的网络态势感知方法的整体流程框图；

图2为本发明基于多种网络设备信息采集的网络态势感知方法中，基于采集数据的具体分析流程框图；

图3为本发明基于多种网络设备信息采集的网络态势感知方法的采集器分布式部署方式的采集器和数据分析中心模块示意图；

图4为本发明基于多种网络设备信息采集的网络态势感知方法中，数据中心与日志采集器调用时序图；

图5为本发明基于多种网络设备信息采集的网络态势感知方法中，单个设备部署方式下的采集数据处理流程；

图6为本发明基于多种网络设备信息采集的网络态势感知方法中，采集器分布式部署方式下的采集数据处理流程；

图7为本发明基于多种网络设备信息采集的网络态势感知系统的结构框图。

具体实施方式

下面结合具体实施例和附图对本发明的技术方案进一步说明。

本发明针对的网络态势分析主要由三部分构成：

第一是组成整个网络的设备运行状况，包括系统日志、设备环境状况等；

第二是网络设备之间的通信传递、自动处理、应急等行为即网络行为；

第三是用户针对设备和网络采取的各种操作集合即用户行为；

这三个部分构成了网络的整体态势，基于上述引起网络态势变化的各安全要素进行采集、过滤、融合、关联告警分析和关联统计分析。

本发明以多种网络设备作为信息采集源，多种网络设备包括网络设备、服务器设备、数据库系统、中间件，主机等多种设备，其中网络设备包括路由器、交换机、防火墙、负载均衡、IPS\IDS等多种网络安全设备，所述信息采集方式包括通过tcp、udp、file、ftp、snmp等多种协议采集，采集的信息包括设备运行信息如CPU、MEM、流量、告警信息等，本发明基于多种网络设备的多维度信息进行网络态势分析，具体包括：

(1)数据采集，基于多种网络设备采集日志数据，并进行日志信息过滤、范式化和归并处理；

(2)基于日志数据形成的原子事件流进行复杂事件查询任务和复杂事件监控告警任务，所述复杂事件查询任务用于基于原子事件流查询检测复杂场景事件的发生情况，所述复杂事件监控任务用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；

(3)对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，获取事件类型分布、事件的发生源分布、各等级告警事件汇总结果、以及事件发生的时间趋势，将二次统计分析后的结果以报表等形式进行页面直观展示。在本实施例中，事件类型的统计，比如接口事件、系统信息事件、设备登录事件等，事件发生源分布，比如外网出口、城域网接入、城域网汇聚、外网资源池业务、短信平台接入等、各等级告警事件的汇总结果是指，将注意、调试、告警、通知、紧急、严重等级事件以圆环图表形式展现，将各等级告警事件按时间顺序作出趋势图，并将各等级告警事件在同一发生源的时间分布作出趋势图。

本发明中，通过多种网络资源的多维度信息采集，并通过复杂事件处理技术进行多事件的关联分析，及时发现网络当中的威胁和异常行为从而达到网络态势感知，提醒用户可能发生的异常主动式故障排除；通过复杂事件查询任务实现了将时间相关性强、规模大、关联性弱的原始日志数据形成符合预设多条件事件查询规则的复杂事件，获取由多事件组成的用户感兴趣的复杂事件和有特定意义的事件，便于用户直观获取有意义的信息，以进行决策判断；通过复杂事件监控任务实现了对多种关联告警事件的关联分析，以及根据因果关联规则的多条件事件匹配获取告警预测，实现了网络的整体网络安全威胁报警、重要安全事件的实时监测和告警预警；通过对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，获取复杂事件的统计结果，直观获取复杂事件发生的趋势和事件发生分布等信息，以进行进一步的网络态势分析。

数据采集可考虑采用采集器单设备部署方式和采集器分布式部署模式，在采集设备种类和数量较少时，可以考虑采用采集器单设备部署模式进行数据采集，在该模式下，采集器和数据分析系统在同一个设备内部署，该设备同时实现数据采集和数据分析的功能，具体的，单个设备部署方式中，获取数据的过程包括：

采集器接收设备发送的日志；

判断设备是否在配置的数据源设备列表中；

如果不在，则不处理；否则，日志过滤模块按照管理员配置的过滤规则对日志进行过滤；

过滤后的日志存储一份原始日志到原始日志库，同时，过滤后的日志会以日志流放入范式化处理模块的日志范式化处理队列中进行范式化处理；

范式化处理模块实时的从范式化队列中获取日志信息，并执行范式化处理，范式化处理完成后，封装成系统定义的Event对象；

将所述Event对象放入事件归并队列和数据分析队列，等待事件归并和数据分析，以进行事件分类存储和数据关联告警分析和关联统计分析。；

基于对上述方案的改进，本实施例中采用采集器分布式部署模式，将采集器和数据分析模块分离，数据分析中心可接收多个采集器的日志数据，采集器实现按照采集策略要求，进行日志的采集、过滤、归并处理，并上传或上报给上级数据分析中心模块，数据分析中心模块实现复杂事件处理分析以及统计分析，采集器主要部署在日志源的网络中，数据分析中心模块主要部署在管理人员网络里，负责进行采集器的集中配置管理、接收采集器的日志，进行分析、事件关联、告警等，具体的采集流程为：

采集器接收数据分析中心模块的采集策略配置信息，所述采集策略配置中包括该采集器需要采集数据的数据源设备信息、日志信息过滤规则和归并规则；

采集器接收设备发送的日志数据，判断是否在配置的数据源设备列表中；

如果在列表中，则按照预设的过滤处理周期对缓存的数据进行过滤规则匹配；

匹配后的日志作为原始日志进行压缩后转发到数据分析中心模块，同时，匹配后的日志流传输到日志范式化处理队列中进行范式化处理；

范式化处理完成后，封装成系统定义的Event对象，并将Event对象分别放入事件归并队列；

按照预设的转发周期将归并完成的事件数据进行压缩后转发到数据分析中心模块。

本实施例中，复杂事件查询任务、复杂事件监控任务以及对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，采用复杂事件处理引擎进行处理，在复杂事件处理引擎中集成关联分析引擎，更好的做到实时性的事件关联统计，借助其EPL语言，将系统中多个事件分析统计业务，载入Esper框架，以达到更高性能、更高实时性的统计分析。

本实施例中，复杂事件查询任务的处理步骤包括：

根据预设的查询策略获取策略配置数据，所述策略配置数据包括事件查询的语言、查询的复杂场景事件模型中的原子事件类型以及组成逻辑规则，本实施例中采用复杂事件处理引擎的SASE语言；

根据查询的复杂场景事件模型解析为复杂事件匹配规则，比如将复杂场景事件模型翻译为复杂事件处理引擎能处理的EPL语言；

根据复杂事件匹配规则对原子事件流进行匹配，将匹配到的复杂场景事件进行分表存储并建立存储索引。

具体的，网络安全态势中的原子事件例如CPU超过了80％的单一事件，而复杂事件是指一个情景下发生的事件，例如在过去一段时间内，多个设备的CPU的平均值进行大小排序事件。

本实施例中的复杂事件查询任务，用于根据简单原子事件获取有意义的复杂事件数据，将一些简单原子事件进行融合组合为复杂事件进行分表存储，以便于用户在后期根据存储索引进行多条件事件查询请求，进行网络的各个设备的运行状况、网络行为和用户行为的多条件事件结果获取，当然，如果用户在查询时没有找到已经存储的多条件事件查询结果，数据分析模块，可以根据用户提交的查询请求，建立查询记录索引，当同一查询的次数达到预设数量时，将该多条件事件查询作为复杂事件查询任务需要处理的复杂事件获取。

对于原子事件流进行多条件事件匹配可以采用基于树的模式匹配方法，采用将多条件事件作为叶节点，按照复杂事件模型中的多事件时序依次根据约束条件进行复杂事件组合，采用递归调用方式，从叶子节点开始，根据对应表达式和约束条件进行原子事件的组合，知直到根节点获取最终的复杂事件实例，本实施例中对原子事件流进行匹配的方法包括：

将复杂场景事件模型中的多个原子事件类型作为叶节点，并获取多个原子事件类型的约束条件以及事件类型时序；

接收原子事件流；

对多个原子事件类型的约束条件进行数量排序，优先匹配约束条件多的事件类型；

当约束条件数量相同时，获取所述预设时间长度内事件类型的事件出现频次，优先匹配事件频次小的事件；

获取到事件类型匹配处理的顺序后，获取第一处理顺序的事件类型中的发生时间最小的第一事件实例和第二处理顺序的事件类型中的发生时间最小的第二事件实例进行逻辑操作，获取第一处理结果；

根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的第三事件实例并与第一处理结果进行逻辑操作获得第二处理结果；

根据第四处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一、第二和第三处理顺序的事件类型的先后关系，获取符合条件的第四处理顺序的事件类型中的事件实例并与第二处理结果进行逻辑操作获得第三处理结果；

依次类推直到复杂场景事件模型中的多个原子事件类型匹配完成获得复杂场景事件实例。

采用上述匹配方式，是考虑到在输入事件流时，不同类型事件数量上的差异和谓词约束条件都会对处理的效率产生影响，上述匹配方式针对不同类型事件数量上的差异和谓词约束条件的差异，对于复杂事件模型中多事件组合顺序进行调整，先找到约束条件个数多的事件进行匹配，以减少通过满足约束条件的事件个数，减少后续匹配过程中多事件的计算量，在约束条件个数相同时，采用先匹配事件频次小的事件，上述两个匹配顺序的调整过程，有效减少了一个复杂事件模型的整个匹配过程中的匹配判断次数，提高事件流的复杂事件匹配效率。

对于多条件时间的匹配，基于树的模式匹配的复杂事件处理方法有着结构灵活、扩展方便等特点，但在输入事件流中，不同类型事件数量上的差异和谓词约束条件都会对处理的效率产生影响。本

章针对当查询的事件流中不同类型事件数量上存在较大差异，以及匹配模式中定义的不

同约束条件的特点，根据事件流特征和谓词约束调整模式匹配的顺序，提出基于树的优

化匹配顺序算法OMSTree(Optimize Matching Sequence of Tree-based),通过分析对处

理开销有影响的因素，找出产生最小开销的匹配顺序进行模式匹配树构建,并通过作用

域参数得到匹配结果。算法可以有效提高处理效率，更好地满足减少模式匹配开销、提

高吞吐量等要求，最后通过实验验证了算法OMSTree相比于传统模式匹配树算法

PMTree在提高CEP处理效率上的有效性。

所述根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的事件实例，具体为：

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型的左侧，则将第三处理顺序的事件类型中发生时间同时小于第一和第二事件实例发生时间的事件实例作为第三事件实例；

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型之间，则将第三处理顺序的事件类型中发生时间在第一和第二事件实例发生时间的之间的事件实例作为第三事件实例；

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型的右侧，则将第三处理顺序的事件类型中发生时间同时大于第一和第二事件实例发生时间的事件实例作为第三事件实例。

具体的，以复杂场景事件模型包括事件A、B、C、D四种事件类型，且该事件模型中，四种事件类型的时序为A、B、C、D，四种事件类型的where约束条件个数分别为1,1,0,2，在事件流的观测预设时间观测窗口内检测到A、B事件类型的事件实例分别为5个和3个，则事件类型匹配处理的顺序为D、A、B、C，

然后在事件类型D中找到发生时间最小的第一事件实例，和事件类型A中找到发生时间最小的第二事件实例，记该发生时间分别为t1和t2，假设t1<t2,根据事件类型D和A的逻辑操作运算符对第一事件实例和第二事件实例进行逻辑操作获得第一处理结果；

接下来匹配处理事件类型B，由于事件类型B的时序在复杂场景事件模型中位于D和A之间，所以选择事件类型B中发生时间t3在t1和t2之间的事件实例作为第三事件实例与第一处理结果进行逻辑操作；

接下来匹配处理事件类型C，由于事件类C的时序在复杂场景事件模型中位于B和D之间，所以选择事件类型C中发生时间在t3和t1之间的事件实例作为第四事件实例与第二处理结果进行逻辑操作，获取第三处理结果，即获取复杂场景事件模型中的一个复杂场景事件实例。

本实施例中，复杂事件监控告警任务的处理步骤包括：

根据预设的监控策略获取策略配置数据，所述策略配置数据包括事件流获取的路径、监控的复杂事件类型、复杂事件类型对应的关联规则库配置信息，所述关联规则库包括多种告警事件的关联融合规则，以及多种原子事件和对应告警事件的因果关联规则；

基于获取的事件流和事件关联融合匹配规则，关联分析引擎进行多种告警事件的关联融合，获取需要监控的复杂事件告警场景；

基于获取的事件流和因果关联规则，关联分析引擎进行多种原子事件的关联匹配，并对结果事件预测告警。

复杂事件监控告警任务的功能包括：一是对同一安全事件的发生而引起的多种网络设备的告警日志事件记录，根据其中的关联关系，进行事件合并，去冗余，减少事件复杂度，更准确地生成安全态势；二是对于多种网络设备按照预设规则发生正常日志事件导致某一告警事件发生的预测告警，即多种事件因其事件关联性而引起的问题分析；

传统的监控系统对CPU、MEM、流量等指标是单独设置告警规则的，如其中一个达到阈值就会发送相应的告警。多种原子事件的关联匹配就是指多个不同采集源和多个指标的融合，如通过SNMP采集的性能指标和syslog采集的日志信息、SSH采集的配置信息进行关联产生一个综合的因果关联规则，如果同时满足则表示是某一个具体原因导致的。发出的预测告警信息为：XXX对XX设ru备进行了XX误操作，导致XX故障。

关联规则库中的因果关联规则包括专家经验手动添加的关联规则和基于关联规则挖掘算法的增量更新的关联规则，所述增量更新的关联规则的获取方法为：基于原有数据库中的事件，基于频繁项和预设关联规则挖掘算法进行挖掘，获取多事件因果关联规则，对于预设时间片段内事件流中新增的事件，分析新增事件中的频繁项是否在原有数据库和新增事件形成的整体数据库中属于频繁项，若是，则针对新增频繁项通过预设关联规则挖掘算法进行关联规则挖掘，获取增量更新的多事件因果关联规则。

另外，本申请中基于事件流进行告警预测还采用了基于动态贝叶斯网络获取实时预警信息，将基于因果关联规则获得的预测结果和基于动态贝叶斯网络获得的预测结果相结合，以确保告警事件的准确预测，该动态贝叶斯网络获取方法为：

基于历史的原子事件流数据库，将预设观测时间窗口内的事件进行聚类，获取多个类别的事件流，并通过多个搭建的贝叶斯网络进行训练，获取多个贝叶斯网络预测模型，基于新增的事件流，将预设观测时间窗口内的事件进行聚类，对每个类中的事件来源确定可能受影响的网络结点集合A和边集合B。对于集合A中的所有结点，逐个连接其所有候选父结点，对与候选父结点连接形成的新边的进行分析，将所述新边加入网络中，计算评分搜索方法的BDe评分函数，当BDe评分函数增大时，则保留新加入的边，对边集合B的所有边进行判断，如果去除该边后BDe评分函数值并不下降，则去除该边，在贝叶斯网络学习过程中，采用EM算法进行网络参数的优化更新。

本发明还提供了基于多种网络设备信息采集的网络态势感知系统，包括：

数据采集模块，用于基于多种网络设备采集日志数据，并进行日志信息过滤、范式化和归并处理；数据采集模块采用采集器分布式部署模式，多个采集器和数据分析中心模块之间数据进行通信，所述采集器用于接收数据分析中心模块的采集策略配置信息，并基于采集策略配置信息进行日志数据的采集、过滤、范式化、归并、压缩转发处理。

数据分析中心模块，包括复杂事件处理模块和统计分析模块，

所述复杂事件处理模块包括复杂事件查询单元和复杂事件监控单元，所述复杂事件查询单元用于基于原子事件流查询检测复杂场景事件的发生情况，所述复杂事件监控单元用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；复杂事件监控模块包括关联规则动态更新单元和手动输入单元，所述关联规则手动输入单元用于获取专家经验手动添加的关联规则，所述关联规则动态更新单元用于获取基于关联规则挖掘算法的增量更新的关联规则。

统计分析模块，用于对复杂事件查询单元和复杂事件监控告警单元输出的数据进行二次统计分析，获取事件类型分布、事件的发生源分布、各等级告警事件汇总结果、以及事件发生的时间趋势

本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (8)

1.基于多种网络设备信息采集的网络态势感知方法，其特征在于：包括：

（1）数据采集，基于多种网络设备采集日志数据，并进行日志信息过滤、范式化、归并处理；

（2）基于日志数据形成的原子事件流进行复杂事件查询任务和复杂事件监控告警任务，所述复杂事件查询任务用于基于原子事件流查询检测复杂场景事件的发生情况，所述复杂事件监控告警任务用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；

（3）对复杂事件查询任务和复杂事件监控告警任务处理后的数据进行二次统计分析，获取事件类型分布、事件的发生源分布、各等级告警事件汇总结果、以及事件发生的时间趋势；

所述复杂事件查询任务的处理步骤包括：

根据预设的查询策略获取策略配置数据，所述策略配置数据包括事件查询的语言、查询的复杂场景事件模型中的原子事件类型以及组成逻辑规则；

根据查询的复杂场景事件模型解析为复杂事件匹配规则；

根据复杂事件匹配规则对原子事件流进行匹配，将匹配到的复杂场景事件进行分表存储并建立存储索引；

所述对原子事件流进行匹配的方法包括：

将复杂场景事件模型中的多个原子事件类型作为叶节点，并获取多个原子事件类型的约束条件以及事件类型时序；

接收原子事件流；

对多个原子事件类型的约束条件进行数量排序，优先匹配约束条件多的事件类型；

当约束条件数量相同时，获取所述预设时间长度内事件类型的事件出现频次，优先匹配事件频次小的事件；

获取到事件类型匹配处理的顺序后，获取第一处理顺序的事件类型中的发生时间最小的第一事件实例和第二处理顺序的事件类型中的发生时间最小的第二事件实例进行逻辑操作，获取第一处理结果；

根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的第三事件实例并与第一处理结果进行逻辑操作获得第二处理结果；

根据第四处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一、第二和第三处理顺序的事件类型的先后关系，获取符合条件的第四处理顺序的事件类型中的事件实例并与第二处理结果进行逻辑操作获得第三处理结果；

依次类推直到复杂场景事件模型中的多个原子事件类型匹配完成获得复杂场景事件实例。

2.根据权利要求1所述的基于多种网络设备信息采集的网络态势感知方法，其特征在于：所述数据采集采用采集器分布式部署模式，所述采集器分布式部署模式的采集流程为：

采集器接收数据分析中心模块的采集策略配置信息，所述采集策略配置中包括该采集器需要采集数据的数据源设备信息、日志信息过滤规则和归并规则；

采集器接收设备发送的日志数据，判断是否在配置的数据源设备列表中；

如果在列表中，则按照预设的过滤处理周期对缓存的数据进行过滤规则匹配；

匹配后的日志作为原始日志进行压缩后转发到数据分析中心模块，同时，匹配后的日志流传输到日志范式化处理队列中进行范式化处理；

范式化处理完成后，封装成系统定义的Event对象，并将Event对象分别放入事件归并队列；

按照预设的转发周期将归并完成的事件数据进行压缩后转发到数据分析中心模块。

3.根据权利要求1所述的基于多种网络设备信息采集的网络态势感知方法，其特征在于：所述根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的事件实例，具体为：

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型的左侧，则将第三处理顺序的事件类型中发生时间同时小于第一和第二事件实例发生时间的事件实例作为第三事件实例；

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型之间，则将第三处理顺序的事件类型中发生时间在第一和第二事件实例发生时间的之间的事件实例作为第三事件实例；

当第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序在第一处理顺序的事件类型和第二处理顺序的事件类型的右侧，则将第三处理顺序的事件类型中发生时间同时大于第一和第二事件实例发生时间的事件实例作为第三事件实例。

4.根据权利要求1所述的基于多种网络设备信息采集的网络态势感知方法，其特征在于：所述复杂事件监控告警任务的处理步骤包括：

根据预设的监控策略获取策略配置数据，所述策略配置数据包括事件流获取的路径、监控的复杂事件类型、复杂事件类型对应的关联规则库配置信息，所述关联规则库包括多种告警事件的关联融合规则，以及多种原子事件和对应告警事件的因果关联规则；

基于获取的事件流和事件关联融合匹配规则，关联分析引擎进行多种告警事件的关联融合，获取需要监控的复杂事件告警场景；

基于获取的事件流和因果关联规则，关联分析引擎进行多种原子事件的关联匹配，并对结果事件预测告警。

5.根据权利要求4所述的基于多种网络设备信息采集的网络态势感知方法，其特征在于：所述关联规则库中的因果关联规则包括专家经验手动添加的关联规则和基于关联规则挖掘算法的增量更新的关联规则，所述增量更新的关联规则的获取方法为：基于原有数据库中的事件，基于频繁项和预设关联规则挖掘算法进行挖掘，获取多事件因果关联规则，对于预设时间片段内事件流中新增的事件，分析新增事件中的频繁项是否在原有数据库和新增事件形成的整体数据库中属于频繁项，若是，则针对新增频繁项通过预设关联规则挖掘算法进行关联规则挖掘，获取增量更新的多事件因果关联规则。

6.基于多种网络设备信息采集的网络态势感知系统，其特征在于：包括：

数据采集模块，用于基于多种网络设备采集日志数据，并进行日志信息过滤、范式化和归并处理；

数据分析中心模块，包括复杂事件处理模块和统计分析模块，

所述复杂事件处理模块包括复杂事件查询单元和复杂事件监控告警单元，所述复杂事件查询单元用于基于原子事件流查询检测复杂场景事件的发生情况，所述复杂事件监控告警单元用于对复杂事件场景进行多种关联事件的融合以及对因果关联事件的预测告警；

统计分析模块，用于对复杂事件查询单元和复杂事件监控告警单元输出的数据进行二次统计分析，获取事件类型分布、事件的发生源分布、各等级告警事件汇总结果、以及事件发生的时间趋势；

所述复杂事件查询单元用于执行以下步骤：

根据预设的查询策略获取策略配置数据，所述策略配置数据包括事件查询的语言、查询的复杂场景事件模型中的原子事件类型以及组成逻辑规则；

根据查询的复杂场景事件模型解析为复杂事件匹配规则；

根据复杂事件匹配规则对原子事件流进行匹配，将匹配到的复杂场景事件进行分表存储并建立存储索引；

其中，对原子事件流进行匹配的方法包括：

将复杂场景事件模型中的多个原子事件类型作为叶节点，并获取多个原子事件类型的约束条件以及事件类型时序；

接收原子事件流；

对多个原子事件类型的约束条件进行数量排序，优先匹配约束条件多的事件类型；

当约束条件数量相同时，获取所述预设时间长度内事件类型的事件出现频次，优先匹配事件频次小的事件；

获取到事件类型匹配处理的顺序后，获取第一处理顺序的事件类型中的发生时间最小的第一事件实例和第二处理顺序的事件类型中的发生时间最小的第二事件实例进行逻辑操作，获取第一处理结果；

根据第三处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一处理顺序的事件类型和第二处理顺序的事件类型的先后关系，获取符合条件的第三处理顺序的事件类型中的第三事件实例并与第一处理结果进行逻辑操作获得第二处理结果；

根据第四处理顺序的事件类型在复杂场景事件模型中的事件类型时序与第一、第二和第三处理顺序的事件类型的先后关系，获取符合条件的第四处理顺序的事件类型中的事件实例并与第二处理结果进行逻辑操作获得第三处理结果；

依次类推直到复杂场景事件模型中的多个原子事件类型匹配完成获得复杂场景事件实例。

7.根据权利要求6所述的基于多种网络设备信息采集的网络态势感知系统，其特征在于：所述数据采集模块采用采集器分布式部署模式，多个采集器和数据分析中心模块之间数据进行通信，所述采集器用于接收数据分析中心模块的采集策略配置信息，并基于采集策略配置信息进行日志数据的采集、过滤、范式化、归并、压缩转发处理。

8.根据权利要求6所述的基于多种网络设备信息采集的网络态势感知系统，其特征在于：所述复杂事件监控告警单元包括关联规则动态更新单元和手动输入单元，所述关联规则手动输入单元用于获取专家经验手动添加的关联规则，所述关联规则动态更新单元用于获取基于关联规则挖掘算法的增量更新的关联规则。

Images