CN107864056A - 一种分布式事件采集探针、分布式事件高速采集系统及方法 - Google Patents

Abstract

本发明公开了一种分布式事件采集探针、分布式事件高速采集系统及方法，本方案通过分布式探针进行事件采集，结合使用Redis、ZeroMQ、Elasticsearch等技术手段提出了一种分布式的日志采集分析系统，本采集分析系统由分布式事件采集探针和分析平台配合构成，可针对Nginx的访问日志进行了实时采集和分析及展示，从根本上解决了由于日志数据的规模剧增对日志采集及分析系统所带来的挑战；同时针对互联网安全的攻击活动，能够在海量的日志中及时提取有效的信息为企业安全提供信息支撑。本发明提供的分布式事件采集方案支持复杂环境和数据量巨大条件下的数据采集与处理。

Description

一种分布式事件采集探针、分布式事件高速采集系统及方法

技术领域

本发明涉及网络数据技术，具体涉及数据的采集与处理。

背景技术

现有日志采集方式至少包括Syslog、SNMP Trap、Log File、JDBC、WMI、Ftp等，支持包括NetFlow、sFlow、NetStream等在内的流量数据采集。

其中，Syslog是以明文的形式存储数据，如果遭到黑客的攻击，可以被盗取信息，当入侵者获得root权限后可以篡改文件，而这些操作系统管理员根本无法发现这些入侵行为。Syslog使用UDP打包的数据很难分辨真伪。

FTP文件传输协议的问题是它以明文方式发送用户名和口令。任何人只要在网络中合适的位置放置一个协议分析仪就可以看到用户名和口令；再者FTP发送的数据也是以明文方式传输，通过对FTP连接的监控和数据收集就可以收集和重现FTP的数据传输并实现协议连接回放。

而在实际操作过程中很多用户把相同的用户名和口令用在不同的应用中，这样造成如果黑客收集到FTP口令,也可能就得到了用户的在线帐号或者其他一些机密数据的口令，给用户的数据安全带来了极大的危害。

同时，随着日志数据规模的剧增，现有日志数据的采集及分析方案已经无法满足要求。由此可见，本领域亟需一种高效且安全的日志数据的采集及分析方案，以满足需求。

发明内容

针对现有事件采集方案所存在的问题，需要一种高效的事件采集方案。

由此，本发明的目的在于提供一种分布式事件采集探针、分布式事件高速采集系统及方法，以实现事件的高效采集。

为了达到上述目的，本发明提供的分布式事件采集探针，包括若干事件采集探针，若干事件采集探针基于自适应算法分布在管理域中的适当位置，每个事件采集探针支持多种传输机制，都采用多种传输机制接收设备发送的日志，统一发送给规则引擎，进行筛选过滤。

进一步的，分布式事件采集探针可针对网络的变化进行局部事件采集探针分布的动态调整；事件采集探针可以根据网络环境特点，选择最佳传输协议。

进一步的，分布式事件采集探针使用基于编码的遗传算法进行采集探针的工作部署；所有事件采集探针均独立工作，并行处理接收的日志并进行转发。

进一步的，事件采集探针通过被动监听端口采集相应的日志数据。为了达到上述目的，本发明提供的分布式事件高速采集系统，包括：上述的事件采集探针和分析平台，事件采集探针向分析平台进行注册；所述分析平台可监测并控制事件采集探针的运行状态，且可向事件采集探针下发管理策略，事件采集探针根据管理策略接收设备发送过来的日志和/或流量数据，并传输到规则引擎，规则引擎通过规则进行选择过滤，产生相关告警信息，并将告警信息以及筛选后的数据发送到分析平台的ES中。

进一步的，所述分析平台采用基于时间差的心跳策略以及双向交替通信的方式来实时监测事件采集探针的运行状态。

进一步的，所述分析平台根据事件采集探针注册主动上报的设备状态信息，基于遗传算法的筛选出需要的事件采集探针，以向其发送管理策略，调整工作状态。

进一步的，所述分析平台通过事件采集探针注册上报的设备状态信息，以及负载情况，为每一个事件采集探针设置一个格雷码编码，并采用无回放随机选择为选择算子，以及算术交叉的交叉方式，进行高斯近似变异，得到最优的事件采集探针种群个体，并记录下事件采集探针个体，将管理策略下发到对应的事件采集探针。

进一步的，所述系统对于新增设备类型可通过加载配置文件的方式进行快速支持；所述系统通过XSD文件，定义不同设备类型设备需要传输的指标参数，在新增设备类型时，只需要将对应设备类型的指标项在XSD文件中注册，系统通过OTA升级来根据XSD文件对新添加设备的XML配置文件进行动态加载解析。

为了达到上述目的，本发明提供的分布式事件高速采集方法，包括：

设备通过配置发送地址后，基于相应的通信协议将日志和/或流量数据发送至接收服务器，该接收服务器在部署时将地址设为相应平台的事件采集探针的地址；

事件采集探针采集相应的日志和/或流量数据，并将事件采集探针采集的数据进行处理和文件存储。

进一步的，跨域部署多个事件采集探针，在网络环境复杂的区域，重点部署，而网络环境较简单的区域简单部署，所有事件采集探针均向分析平台发送注册信息，事件采集探针管理器会根据事件采集探针上报的状态信息，为每个事件采集探针设置编码，从而根据遗传算法选择哪些事件采集探针进行工作，下发相关策略，所有的事件采集探针均独立工作，并行处理接收的日志并转发到分析平台的规则引擎进行进一步的过滤筛选，最后存储到大数据引擎ES中，根据业务需求，将数据可视化呈现。

本发明提供的分布式事件采集方案支持复杂环境和数据量巨大条件下的数据采集与处理，能够从根本上解决了由于日志数据的规模剧增对日志采集及分析系统所带来的挑战；同时针对互联网安全的攻击活动，能够在海量的日志中及时提取有效的信息为企业安全提供信息支撑。

再者，本发明提供的分布式事件采集方案支持的日志采集方式至少包括Syslog、SNMP Trap、Log File、JDBC、WMI、Ftp等，支持包括NetFlow、sFlow、NetStream等在内的流量数据采集；可采用统一日志格式进行存储，具有高速日志采集能力。

再者，本发明提供的分布式事件采集方案支持的数据源设备或系统的类型涵盖主流的网络设备、安全设备、服务器、数据库、中间件、应用系统等，直接支持的设备类型不低于100种，对于新增设备类型，不需修改代码，仅通过加载配置文件的方式快速实现支持。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实例中接收Syslog、Netflow日志的处理流程图；

图2为本发明实例中进行Windows系统日志采集流程图；

图3为本发明实例中进行事件源日志采集流程图；

图4为本发明实例中进行数据库表日志采集流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本方案中涉及到的事件类型包括日志和流量信息。

本方案基于分布式事件采集探针进行事件采集，由此来实现在复杂环境和数据量巨大条件下的数据采集与处理。

其中，本方案中采用的分布式事件采集探针，支持多种传输机制，弥补了单一传输机制的缺点，每个事件采集探针都采用多种机制接收设备发送的日志，统一发送给规则引擎，进行筛选过滤，增加了对日志的准确性及可靠性要求。

本分布式事件采集探针支持多种传输协议，无需规定设备必须采用特定的传输机制，增加了运维人员的可操作性，提高实施效率。

本分布式事件采集探针具有多个事件采集探针个体，这些多个事件采集探针个体跨域部署，在网络环境复杂的区域，重点部署，而网络环境较简单的区域简单部署。具体的，本方案根据用户实际网络环境，跨域部署多套事件采集探针，事件采集探针的部署在代价和覆盖范围之间进行权衡，以最小化事件采集探针数目以及最大化采集效率为目标。可以根据自适应算法在管理域中的适当位置放置适当数目的事件采集探针，提高事件接收及转发效率，减小负载不均衡，提高传输效率。

据此，本方案在链路覆盖和消息覆盖约束条件下，具体采用基于遗传算法的网络事件采集探针部署方案，使用基于可编码的遗传算法来指导事件采集探针的部署，实现以最小化事件采集探针数目达到最大化采集效率。

再者，本方案部署的多套事件采集探针能够针对网络的变化自动地进行局部事件采集探针分布的动态调整，使与之配合的分析平台达到最优状态。同时，事件采集探针可以根据用户网络环境特点，选择最佳传输协议，分析平台根据不同的事件采集探针，进行不同维度的接收与解析。

本方案部署的分布式事件采集探针，通过“数据采集层”被动监听端口采集syslog和*flow数据，即代理或原始设备将原始日志发送到事件采集探针被动监听端口。

具体的，采集探针接收设备发送过来的Syslog日志以及流量日志，并通过ZEROMQ消息缓存队列传输到规则引擎，规则引擎通过规则进行选择过滤，产生相关告警信息，根据需要将告警信息以及筛选后的日志发送到大数据存储引擎ES中。

另外，基于多数设备和Linux、Unix系统，可通过配置记录指定类型和级别的日志，并可指定接收日志的服务器，通过Syslog协议将日志发送至接收日志的服务器；本方案在部署时将接收日志的服务器地址设为相应平台(如审计追查平台)的事件采集探针的地址，即可将日志转发至相应平台(如审计追查平台)的事件采集探针。

本功能接收的设备转发日志的类型包括Syslog日志和Netflow日志。日志接收器可采用C语言编写，主要负责接收和转发日志。

本分布式事件采集探针在应用时需向相应的管理分析平台进行注册，由相应的管理分析平台监测事件探针的运行状态，并可向探针下发管理策略；事件采集探针的数量可根据实际需要动态增减(如可根据遗传算法选择哪些事件采集探针进行工作)；同时，所有的事件采集探针均独立工作，并行处理接收的日志和/或流量信息，根据需要将这些信息转发到相应的分析平台。

在此基础上，本方案进一步形成分布式事件高速采集系统，用于完成分布式事件高速采集。

该分布式事件高速采集系统主要由分布式事件采集探针和分析平台相互配合完成，分布式事件采集探针需向分析平台进行注册；而分析平台可监测并控制所有的事件采集探针的运行状态，并且可向事件采集探针下发管理策略，事件采集探针根据管理策略接收设备发送过来的日志和/或流量数据，并传输到规则引擎，规则引擎通过规则进行选择过滤，产生相关告警信息，并将告警信息以及筛选后的数据发送到分析平台的ES中。

的事件采集探针和分析平台，事件采集探针向分析平台进行注册

本分析平台采用基于时间差的心跳策略，同时采取双向交替通信方式来实时地监测事件探针的运行状态。

这里基于时间差的心跳策略，具体为收到一个心跳后，记录当前时间(记为recvedTime)。判断定时器时间到达，计算多久没收到心跳的时间(T)＝当前时间-recvedTime(上面记录的时间)。如果T大于某个设定值，就可以认为Client超时了。

这里的双向交替通信探测运行，即通信的双方都可以发送信息，但不能双方同时发送(当然也就不能同时接收)。这种通信方式是一方发送另一方接收，过一段时间后再反过来。这样可以达到传输效率最高的要求，最大化实时行性地监测事件探针的运行状态。

事件采集探针在向分析平台进行注册时，事件采集探针主动向分析平台上报自己的就绪信息，如IP地址，MAC地址，性能指标如CPU利用率、内存利用率等，使得分析平台了解每一个事件采集探针的设备状态；据此分析平台可遗传算法的筛选出最佳的事件采集探针种群，时刻准备接收分析平台下发的策略，进入工作状态。

在该分布式事件高速采集系统中，分析平台可根据实际需要对事件采集探针的数量进行动态增减，本分析平台中具有事件采集探针统一管理器，该探针管理器通过事件采集探针上报的设备状态信息，以及负载情况，为每一个事件采集探针设置一个格雷码编码，并采用无回放随机选择为选择算子，以及算术交叉的交叉方式，据此进行高斯近似变异，得到最优事件采集探针种群个体，并记录下事件采集探针个体，通过策略下发到对应的事件采集探针。

再者，本分布式事件高速采集系统对于新增设备类型能够通过加载配置文件的方式快速实现支持。具体的，本系统通过XSD文件，定义不同设备类型设备需要传输的指标参数，新增设备类型时，只需要将对应设备类型的指标项在XSD文件中注册，系统通过OTA升级，再根据XSD文件对新添加设备的XML配置文件进行动态加载解析。

据此构成的分布式事件高速采集系统支持通过分布式探针进行事件采集，事件类型包括日志和流量信息，并且支持多种日志采集方式。支持的日志采集方式至少包括Syslog、SNMP Trap、Log File、JDBC、WMI、Ftp等，支持包括NetFlow、sFlow、NetStream等在内的流量数据采集。支持的数据源设备或系统的类型涵盖主流的网络设备、安全设备、服务器、数据库、中间件、应用系统等，直接支持的设备类型不低于100种，对于新增设备类型，不需修改代码，仅通过加载配置文件的方式快速实现支持；

基于上述方案构成的分布式事件高速采集系统，进行分布式事件高速采集时，相关的设备通过配置发送地址后，基于相应的通信协议将日志和/或流量数据发送至接收服务器，该接收服务器在部署时将地址设为相应平台的事件采集探针的地址；事件采集探针采集相应的日志和/或流量数据，并将事件采集探针采集的数据进行处理和文件存储。

具体的，跨域部署多个事件采集探针，在网络环境复杂的区域，重点部署，而网络环境较简单的区域简单部署；

所有事件采集探针均向分析平台发送注册信息，事件采集探针管理器会根据事件采集探针上报的状态信息，为每个事件采集探针设置编码，从而根据遗传算法选择哪些事件采集探针进行工作，下发相关策略；

所有的事件采集探针根据分析平台发送的管理策略均独立工作，并行处理接收的日志并转发到分析平台的规则引擎进行进一步的过滤筛选，最后存储到大数据引擎ES中，根据业务需求，将数据可视化呈现。

据此可见，本方案支持通过分布式探针进行事件采集，事件类型包括日志和流量信息。支持的日志采集方式至少包括Syslog、SNMP Trap、Log File、JDBC、WMI、Ftp等，支持包括NetFlow、sFlow、NetStream等在内的流量数据采集。支持的数据源设备或系统的类型涵盖主流的网络设备、安全设备、服务器、数据库、中间件、应用系统等，直接支持的设备类型不低于100种，对于新增设备类型，不需修改代码，仅通过加载配置文件的方式快速实现支持。

下面结合具体实施例，进一步阐述本方案。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。

实例1

本实例实现接收Syslog、Netflow日志的采集。

针对多数设备和Linux、Unix系统，可通过配置记录指定类型和级别的日志，并指定接收日志的服务器，由此通过Syslog协议将日志发送至接收日志的服务器。本实例在部署时将接收日志的服务器地址设为审计追查平台的事件采集探针的地址，由此实现将日志转发至审计追查平台的事件采集探针。

据此，本实例能够接收的设备转发日志的类型包括Syslog日志和Netflow日志。日志接收器采用C语言编写，其主要负责接收和转发日志。

参见图1，其所示为本实例接收Syslog、Netflow日志的处理流程图。由图可知，本实例接收Syslog、Netflow日志的处理流程如下：

1.设备发送Syslog、Netflow日志数据到日志采集探针中的日志采集器。

2.日志采集器将收集到的日志发送到日志采集探针中的日志解析器。

3.日志解析器根据日志类型、等级、日志解析规则将日志数据格式归一化，将统一格式的日志数据发送到规则引擎的规则过滤器，并由规则过滤器转发到大数据平台的ES中。

本实例在进行Syslog、Netflow日志采集时，应预先配置日志发送等级和采集器的IP地址；同时日志解析应根据日志类型预先配置解析规则。

实例2

本实例实现通过WMI服务获取Windows主机日志。

Windows系统自身不支持日志转发，要获取Windows的日志信息，通常使用在Windows系统上安装插件进行转发或打开Windows系统WMI服务，通过调用WMI服务相应接口来获取。事件采集探针支持通过Windows系统的WMI服务方式获取Windows的日志，要配置时需启用Windows的WMI服务并为采集探针提供必要的访问权限。

采集Windows系统日志，需要安装Sensor插件；该插件通过WMI服务接口获取日志，并将此日志转发到日志采集器。

参见图2，其所示为本实例Windows系统日志采集流程图。由图可知，本实例中进行Windows系统日志采集的流程下：

1.下载Windows日志采集Sensor插件，并安装；

2.成功安装Sensor插件后，点击启动Sensor；

3.在Sensor系统中填写要监控的系统名称、IP地址、管理员用户名、密码，并将状态设置为生效，此处支持批量操作；在Sensor的服务器内添加日志采集器地址和使用协议。

4.在Sensor的服务器内启动Sensor日志转发功能。

5.Windows系统通过Sensor插件将日志发送到日志采集探针的日志采集器。

本实例在进行Windows系统日志采集时，需要安装Sensor插件；同时在安装Sensor插件时，需根据提示将Sensor加入杀毒软件信任列表。

实例3

本实例实现读取事件源本地日志文件。

本实例中对于某些设备或系统不支持日志转发，而将日志保存在本地的日志文件中，并可能设置某种策略，轮换使用这些文件。需要在事件源所在的设备中安装插件，插件定时去轮询日志文件，通过时间戳或事件ID(视事件源设备或系统实现方式而定)判断新增日志，读取新增日志后通过Syslog协议转发给事件采集探针。

在此情况下，本实例在读取事件源本地日志文件时，需要安装Sensor插件；该插件通过配置事件源信息，将事件源的日志文件转发到日志采集器。

这里的事件源监控支持事件源目录监控和事件源日志文件监控；在目录监控时，需指定文件类型，即文件后缀名；在文件监控时，需选择要监控的文件，在此支持选择多个文件。

据此，本实例读取事件源本地日志文件的具体实现流程如下(参见图3)：

1.用户在本系统下载日志采集Sensor插件，并安装；

2.成功安装Sensor插件后，启动Sensor；

3.在Sensor文件监控配置模块中，填写需要监控的文件名称，目录监控需填写监控目录、后缀名、事件处理器，文件监控需选择要监控的文件(可多选)、内容分隔符、事件处理器，并将此状态设置为生效；在Sensor的服务器中添加日志采集器地址和使用协议。

4.在Sensor的服务器中启动Sensor日志转发功能。

5.Sensor插件将获取的事件源日志发送到日志采集探针的日志采集器。

本实例在进行读取事件源本地日志文件时，需要安装Sensor插件；同时在安装Sensor插件时，需根据提示将Sensor加入杀毒软件信任列表。

实例4

本实例实现通过JDBC连接访问事件源日志数据库。

对于有些设备或系统将日志保存在本地或指定服务器上的数据库表中的情况下，本实例中的事件采集探针支持通过JDBC连接远程数据库，访问相应的数据库表获取日志信息。在部署时要提供事件采集探针访问数据库的账号和对日志数据表的访问权限。

本实例在采集数据库日志，需要安装Sensor插件；该插件通过JDBC连接远程数据库，根据预先设置SQL语句定时查询数据表，并将查询结果作为日志转发到日志采集器。这里的数据库类型支持MySql、SQL Server、Oracle、SQLite。

据此，本实例通过JDBC连接访问事件源日志数据库的具体实现流程如下(参见图4)：

1.用户在本系统下载日志采集Sensor插件，并安装；

2.成功安装Sensor插件后，启动Sensor；

3.在Sensor数据量模块中填写要监控的名称、数据库类型、数据库驱动、数据库名称、用户名、密码、IP地址、端口号、监控表SQL(如多个表用“:”分隔)、采集频率(秒)，并将状态设置为生效；在Sensor的服务器中添加日志采集器地址和使用协议。

4.在Sensor的服务器中启动Sensor日志转发功能。

5.Sensor插件将采集的数据库表日志发送到日志采集探针的日志采集器。

本实例在通过JDBC连接访问事件源日志数据库时，需要安装Sensor插件；同时在安装Sensor插件时，需根据提示将Sensor加入杀毒软件信任列表。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (11)

1.分布式事件采集探针，其特征在于，包括若干事件采集探针，若干事件采集探针基于自适应算法分布在管理域中的适当位置，每个事件采集探针支持多种传输机制，都采用多种传输机制接收设备发送的日志，统一发送给规则引擎，进行筛选过滤。

2.根据权利要求1所述的分布式事件采集探针，其特征在于，分布式事件采集探针可针对网络的变化进行局部事件采集探针分布的动态调整；事件采集探针可以根据网络环境特点，选择最佳传输协议。

3.根据权利要求1所述的分布式事件采集探针，其特征在于，分布式事件采集探针使用基于编码的遗传算法进行采集探针的工作部署；所有事件采集探针均独立工作，并行处理接收的日志并进行转发。

4.根据权利要求1所述的分布式事件采集探针，其特征在于，事件采集探针通过被动监听端口采集相应的日志数据。

5.分布式事件高速采集系统，其特征在于，包括：权利要求1-4中任一项所述的事件采集探针和分析平台，事件采集探针向分析平台进行注册；所述分析平台可监测并控制事件采集探针的运行状态，且可向事件采集探针下发管理策略，事件采集探针根据管理策略接收设备发送过来的日志和/或流量数据，并传输到规则引擎，规则引擎通过规则进行选择过滤，产生相关告警信息，并将告警信息以及筛选后的数据发送到分析平台的ES中。

6.根据权利要求5所述的分布式事件高速采集系统，其特征在于，所述分析平台采用基于时间差的心跳策略以及双向交替通信的方式来实时监测事件采集探针的运行状态。

7.根据权利要求5所述的分布式事件高速采集系统，其特征在于，所述分析平台根据事件采集探针注册主动上报的设备状态信息，基于遗传算法的筛选出需要的事件采集探针，以向其发送管理策略，调整工作状态。

8.根据权利要求7所述的分布式事件高速采集系统，其特征在于，所述分析平台通过事件采集探针注册上报的设备状态信息，以及负载情况，为每一个事件采集探针设置一个格雷码编码，并采用无回放随机选择为选择算子，以及算术交叉的交叉方式，进行高斯近似变异，得到最优的事件采集探针种群个体，并记录下事件采集探针个体，将管理策略下发到对应的事件采集探针。

9.根据权利要求5所述的分布式事件高速采集系统，其特征在于，所述系统对于新增设备类型可通过加载配置文件的方式进行快速支持；所述系统通过XSD文件，定义不同设备类型设备需要传输的指标参数，在新增设备类型时，只需要将对应设备类型的指标项在XSD文件中注册，系统通过OTA升级来根据XSD文件对新添加设备的XML配置文件进行动态加载解析。

10.分布式事件高速采集方法，其特征在于，包括：

设备通过配置发送地址后，基于相应的通信协议将日志和/或流量数据发送至接收服务器，该接收服务器在部署时将地址设为相应平台的事件采集探针的地址；

事件采集探针采集相应的日志和/或流量数据，并将事件采集探针采集的数据进行处理和文件存储。

11.根据权利要求10所述的分布式事件高速采集方法，其特征在于，跨域部署多个事件采集探针，在网络环境复杂的区域，重点部署，而网络环境较简单的区域简单部署，所有事件采集探针均向分析平台发送注册信息，事件采集探针管理器会根据事件采集探针上报的状态信息，为每个事件采集探针设置编码，从而根据遗传算法选择哪些事件采集探针进行工作，下发相关策略，所有的事件采集探针均独立工作，并行处理接收的日志并转发到分析平台的规则引擎进行进一步的过滤筛选，最后存储到大数据引擎ES中，根据业务需求，将数据可视化呈现。