CN106534257A - 一种多层次集群式架构的多源安全日志采集系统及方法 - Google Patents

Abstract

本发明公开了一种多层次集群式架构的多源安全日志采集系统及方法，在交换机和防火墙等网络设备日志和网络行为日志等多源异构日志的进行统一采集；在日志源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置，并实现对单个日志源采集任务的启停操作，保障日志采集的不间断性；在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量日志数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase数据库和ES索引中，既能够支持智能化的大数据分析，也能够支持日志在线查询分析。

Description

一种多层次集群式架构的多源安全日志采集系统及方法

技术领域

本发明涉及一种多层次集群式架构的多源安全日志采集系统及方法。

背景技术

根据国家互联网中心的调查报告，2015年针对我国信息系统的高强度有组织攻击威胁形势严峻。构成信息系统的主机、防火墙、交换机和Web服务等软硬件设备都有记录用户访问行为的日志数据，包括用户操作行为、访问请求和系统错误异常等。因此要全面掌握系统安全状况、追溯攻击源头和定位系统漏洞，采集信息系统安全日志非常必要。

信息系统中与安全事件相关的日志主要包括主机日志、访问日志、防火墙日志、网络设备日志和网络行为日志等。针对信息系统的网络攻击呈现复杂化，一次攻击事件往往由多个攻击步骤构成，会在不同的设备日志中留下痕迹。依靠单个日志事件，不能捕捉复杂有步骤的攻击行为。为溯源整个的攻击事件的步骤，对安全事件进行印证，需对多源安全日志进行采集，进而进行关联分析。海量的多源日志数据对日志采集方法的性能和可靠性提出了很高的要求：一是要支持异构多源日志的数据采集、解析和存储，包括对信息系统主机日志、Web服务访问日志、网络设备日志、安全设备日志和网络行为日志的采集、解析和存储；二是采集方法要具有可控性，日志源的增加、删除不影响其他日志源的采集任务的运行；三是采集方法要具有冗余性，当一个采集节点出现故障或者性能出现瓶颈时，不能影响日志采集的可靠性和实时性。四是采集方法要考虑日志分析的兼容性问题，即采集的安全数据既支持攻击路径挖掘、威胁态势感知等大数据挖掘，也要支持用户的在线统计查询。

当前关于安全日志采集方法侧重于研究数据的采集方式和解析效率，以满足海量安全事件信息采集需求。专利(CN201310572103.0)“一种大规模分布式网络安全数据采集方法与系统”公开了一种海量网络安全数据采集方法。该方法实现了对海量安全数据的全面采集、数据格式的快速解析和采集系统之间弹性组合，满足了数据信息海量采集的要求。但是，该方法没有考虑多源主机、访问日志、防火墙日志、网络设备日志和网络行为日志等多源异构日志的采集需求，无法实现日志源的动态配置和负载的动态调配，难以满足多源安全日志数据采集的可靠性和实时性要求。

发明内容

针对以上问题，本发明提出了一种多层次集群式架构多源安全日志采集方法。在日志源采集方面，采用标准的Syslog协议，对Linux和Windows主机日志，Apache、Weblogic、IIS、Tomcat、Nginx等主流Web服务访问日志，以及交换机和防火墙等网络设备日志和网络行为日志等多源异构日志的进行统一采集；在日志源控制方面，采用访问控制技术，能够在不影响其他日志源采集的条件下，动态新增、删除和修改日志源配置，并实现对单个日志源采集任务的启停操作，保障日志采集的不间断性；在采集方法上，采用集群式架构设计，当一个采集节点出现故障或性能出现瓶颈时，能够动态调配负载，保障海量日志数据采集的可靠性和实时性。在数据的存储上，将安全日志同时存储至Hbase(一种分布式开源数据库)数据库和ES(Elastic Search，一种分布式开源搜索引擎)索引中，既能够支持智能化的大数据分析，也能够支持日志在线查询分析。

为了实现上述技术目的，本发明的技术方案是，

一种多层次集群式架构的多源安全日志采集系统，包括Syslog客户端、访问控制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库集群和ES集群；

所述的Syslog客户端将安全日志封装成Syslog消息，并发送至访问控制服务器；

所述的访问控制服务器与Syslog客户端、负载均衡器通信连接，并控制Syslog客户端和负载均衡模块监听端口的网络连通性；

所述的负载均衡器与采集前置服务集群、访问控制服务器通信连接，并根据负载均衡策略，将采集日志流分发至采集前置服务集群；

所述的采集前置服务集群包括至少两个采集前置服务模块，并与负载均衡器、Hbase存储服务集群、ES存储服务集群通信连接，以将日志流分发转发至Hbase存储服务集群和ES存储服务集群；

所述的Hbase数据存储服务集群包括至少两个Hbase数据存储服务模块，并与采集前置服务集群、Hbase数据库集群通信连接，将接收到的Syslog消息解析成Hbase数据表格式，并存储到Hbase数据库集群中；

所述的ES存储服务集群包括至少两个ES存储服务模块，并与采集前置服务集群、ES集群通信连接，ES存储服务集群将接收到的Syslog消息解析成ES消息格式，并存储到ES集群中。

所述的系统，所述的采集前置服务模块包括第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程；所述的第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路；第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列；第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；组包线程用于将第一缓存队列的消息对象取出，打包成遵守Java消息服务规范的消息体；负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。

所述的系统，Hbase数据存储服务模块包括第二侦听线程和第二接收线程、第二缓存队列、第一解析线程和第一数据存储线程；第二侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路；接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第二缓存队列；第二缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息对象；第一解析线程将第二缓存队列的消息对象取出，按照预先定义的Hbase日志数据表格式解析第二缓存队列块的消息对象；第一数据存储线程调用Hbase数据库集群的接口，将解析后的日志数据存储Hbase数据库集群中；其中安全日志数据表格式包括日期时间、客户端IP、服务器IP、请求方法、状态码、用户代理、Cookie信息、链接网址、访问路径、请求参数、事件ID、进程ID、对象名、源端口、日志级别、消息描述、协议、目的端口、动作19个数据字段。

所述的系统，ES存储服务模块包括第三侦听线程和第三接收线程、第三缓存队列、第二解析线程和第二数据存储线程组成，第三侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。第三接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到缓存子模块。第三缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息；第二解析线程将第三缓存队列的消息对象取出，按照定义的安全日志数据表格式解析第三缓存队列的消息对象；第二数据存储线程调用ES索引接口，将解析后的日志数据存储ES集群中。

一种多层次集群式架构的多源安全日志采集方法，采用权利要求1-4任一所述的系统，包括以下步骤：

步骤一，初始化多源安全日志采集系统；

步骤二，Syslog客户端向负载均衡器发送安全日志数据，访问控制服务器根据访问控制服务器的访问控制策略转发或拒绝发往负载均衡器的安全日志数据，负载均衡器根据配置中的负载策略，将Syslog消息发送至采集前置服务模块；

步骤三，采集前置服务模块采用先来先服务的原则对Syslog消息进行流量控制和速度控制，负载分发线程根据权重为1/N的负载策略，将JMS消息发送到Hbase数据存储服务模块和ES数据存储服务模块；

步骤四，Hbase数据存储服务模块和ES数据存储服务模块对JMS消息进行解析，分别存储至Hbase数据库集群和ES集群中；

步骤五，当需要进行查询和统计数据时，则从ES集群中取出相应数据并发送至需求方。

所述的方法，所述的步骤一中，初始化多源安全日志采集系统包括以下步骤：

步骤1、在负载均衡器上建立日志源信息和负载均衡通信端口的映射关系档案；

步骤2、在负载均衡器上配置负载策略，包括采集前置服务模块的IP地址和端口号，指定权重为1/N的负载策略，其中N为采集前置服务模块的数量；

步骤3、对日志源进行初始化配置；

步骤4、在任意一台网络可达的计算机上连接访问控制远程调用服务模块，并根据 日志源和负载均衡器端口的映射关系表下发参数，远程调用侦听线程将接收的参数，写入 Linux服务器的防火墙iptables的访问控制策略中，并重启防火墙。

所述的方法，所述的步骤1中，日志源信息包括日志源IP、日志类型和Syslog的Facility字段值，负载均衡器的通信端口为513至555的端口。

所述的方法，所述的步骤三中，采集前置服务模块采用先来先服务的原则对Syslog消息进行流量控制和速度控制包括以下步骤：

第一侦听线程对Syslog消息进行监听，当监听到Syslog消息后，由第一接收线程将Syslog消息放入第一缓存队列队尾，如果第一缓存队列已满，暂停接收报文，此时收到的Syslog消息将被丢弃，等待第一缓存队列有空单元时再接收报文；若第一缓存队列不为空，组包线程从第一缓存队列的队尾元素中取出Syslog消息，打包成JMS消息体，并将该队尾元素置空，以释放第一缓存队列的空间，唤醒负载分发线程。

所述的方法，所述的步骤四中，具体步骤包括：

步骤1、Hbase数据存储服务模块采用先来先服务的原则对JMS消息进行流量控制和速度控制：第二侦听线程对JMS消息体进行监听，当监听到JMS消息体后，由第二接收线程将JMS消息放入第二缓存队列队尾，如果第二缓存队列已满，暂停接收报文，此时收到的JMS消息将被丢弃，等待第二缓存队列有空单元时再接收报文；若第二缓存队列不为空，第一解析线程从第二缓存队列的队尾元素中取出JMS消息，将JMS消息解析成安全日志数据表字段，并将该队尾元素置空，以释放第二缓存队列的空间，唤醒第一数据存储线程；第一数据存储线程调用Hbase数据库接口，将解析后的Hbase数据存储到安全日志数据表中。

步骤2、ES数据存储服务模块采用先来先服务的原则对JMS消息进行流量控制和速度控制：第三侦听线程对JMS消息体进行监听，当监听到JMS消息体后，由第三接收线程将JMS消息放入第三缓存队列队尾，如果第三缓存队列已满，暂停接收报文，此时收到的JMS消息将被丢弃，等待第三缓存队列有空单元时再接收报文；若第三缓存队列不为空，第二解析线程从第三缓存队列的队尾元素中取出JMS消息，将JMS消息解析成安全日志数据表字段，并将该队尾元素置空，以释放第三缓存队列的空间，唤醒第二数据存储线程；第二数据存储线程调用ES索引接口，将解析后的日志字段存储到安全日志数据表中。

本发明的技术效果在于，1、通过标准的Syslog协议实现多源日志的采集，采集方法具有较高的扩展性；

2、通过在方法中引入访问控制服务器，能够在不影响其他日志源采集任务的条件下，控制单个日志源采集任务的启停，保障日志采集的不间断性

3、采用多层集群框架设计，整个安全日志数据处理流程由采集前置、存储服务、数据库集群完成，能够实现负载均衡和解决单点故障，提高数据处理的实时性和可靠性；

4、将安全日志同时存储至Hbase数据库集群和ES集群中，不仅可以为后续日志挖掘提供Hbase大数据平台，同时也可以利用ES强大的数据检索功能，支持用户在线的日志查询统计分析，使得采集方法具有很高的兼容性；

综上所述，采多层集群式机构多源安全日志采集方法，实现了对海量多源安全日志的采集和存储，可用于支持大型安全日志采集分析系统的构建。

附图说明

图1是本发明构建的多源安全日志采集系统结构图；

图2是本发明提供的多层集群式架构的多源安全日志采集框架图；

图3是日志源档案和负载均衡通信端口的映射关系表。

具体实施方式

在具体实施时，第一步，搭建多源安全日志采集系统，系统由Syslog客户端、访问 控制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据 库集群和ES集群组成。Syslog客户端是一种将安全日志封装成Syslog(是一种用来在互联 网协议的网络中传递记录档讯息的标准)消息格式的客户端软件，常见的开源Syslog软件 有NXLog和Evtsys，本发明在Windows和Linux主机使用Syslog软件的是NXLog，在网络设备 上的日志使用的是设备默认的Syslog软件。Syslog客户端将安全日志封装成Syslog消息， 并发送至访问控制服务器。访问控制服务器是2台安装有防火墙软件(iptables)和访问控 制远程调用服务模块的计算机组成的HA(High Available，高可用集群)，通过以太网与 Syslog客户端、负载均衡器连接，控制Syslog客户端和负载均衡模块监听端口的网络连通 性。负载均衡器是2台安装负载均衡软件计算机组成的HA(High Available，高可用集群)， 本发明使用的是Nginx负载均衡软件。负载均衡器通过以太网与采集前置服务集群、访问控 制服务器连接。负载均衡器根据负载均衡策略，将采集日志流分发至采集前置集群。采集前 置服务集群由n个(n>1)采集前置服务模块组成。采集前置服务集群通过以太网与负载均衡 器、Hbase存储服务集群、ES存储服务集群连接，将日志流分发转发至Hbase数据存储服务集 群和ES存储服务集群。Hbase数据存储服务集群由n个(n>1)Hbase数据存储服务模块组成， 通过以太网与采集前置服务集群、Hbase数据集群连接，它接收到的Syslog消息解析成 Hbase数据表格式，并存储到Hbase数据库中。ES存储服务集群由n个(n>1)ES存储服务模块 组成，通过以太网与采集前置服务集群、ES集群连接；ES存储服务集群将接收到的Syslog消 息解析成ES消息格式，并存储到ES索引中。Hbase数据集群是一组安装配置Hbase数据库软 件的计算机集群。ES集群是一组安装ES软件的计算机集群。

访问控制远程调用服务模块是一个远程调用侦听线程，监听远程服务连接请求， 调用本地iptables命令，将请求中的参数写入Linux防火墙iptables中。iptables中规则默 认是拒绝。

采集前置服务模块由第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程组成。第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路。第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列。第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；Syslog队列长度根据消息对象的规模进行配置，通常一个采集前置服务消息对象最大接收规模为1000个每秒，队列长度设置为1000。组包线程将第一缓存队列的消息对象取出，打包成遵守JMS(Java消息服务)规范的消息体。负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略(轮巡策略或权重策略)，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。

Hbase数据存储服务模块由第二侦听线程和第二接收线程、第二缓存队列、第一解析线程和第一数据存储线程组成。第二侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第二缓存队列。第二缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息对象；队列长度根据消息对象的规模进行配置，通常一个采集前置服务消息对象最大接收规模为1000个每秒，队列长度设置为1000。第一解析线程将第二缓存队列的消息对象取出，按照定义的Hbase日志数据表格式解析第二缓存队列块的消息对象。第一数据存储线程调用Hbase数据库接口，将解析后的日志数据存储Hbase数据库集群中。

ES数据存储服务模块由第三侦听线程和第三接收线程、第三缓存队列、第二解析线程和第二数据存储线程。第三侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。第三接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到缓存子模块。第三缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息；队列长度根据消息对象的规模进行配置，通常一个采集前置服务消息对象最大接收规模为1000个每秒，队列长度设置为1000。第二解析线程将第三缓存队列的消息对象取出，按照定义的ES日志索引表格式解析第三缓存队列的消息对象。第二数据存储线程调用ES索引接口，将解析后的日志数据存储ES集群中。

Hbase数据库集群和ES集群中建立了一个安全日志数据表，有日期时间、客户端IP、服务器IP、请求方法、状态码、用户代理、Cookie信息、链接网址、访问路径、请求参数、事件ID、进程ID、对象名、源端口、日志级别、消息描述、协议、目的端口、动作19个数据字段。

第二步，初始化多源安全日志采集系统。

2.1在负载均衡器上建立日志源信息和负载均衡通信端口的映射关系档案，日志源信息包括日志源IP、日志类型和Syslog的Facility字段值，负载均衡器的通信端口为513至555的端口。

2.2在Nginx软件的配置文件中配置负载策略，包括采集前置服务模块的IP地址和端口号，指定权重为1/N的负载策略，其中N为采集前置服务模块的数量。

2.3在日志源安装Syslog客户端软件(对于交换机和防火墙等默认已安装Syslog客户端的设备则不再需要安装)，并配置Syslog的facility字段值。

2.4在任意一台网络可达的计算机上连接访问控制远程调用服务模块，并根据映 射关系表下发参数(日志源IP，通信端口)，远程调用侦听线程将接收的参数，写入Linux服 务器的防火墙iptables的访问控制策略中，并重启防火墙。

第三步，Syslog客户端启动Syslog程序，向负载均衡器发送安全日志数据。访问控 制服务器根据iptables中的访问控制策略转发或拒绝发往负载均衡器的安全日志数据。负 载均衡器根据配置中的负载策略，将Syslog消息发送至采集前置服务模块。

第四步，采集前置服务模块采用先来先服务的原则对Syslog消息进行流量控制和速度控制：第一侦听线程对Syslog消息进行监听，当监听到Syslog消息后，由第一接收线程将Syslog消息放入第一缓存队列队尾，如果第一缓存队列已满，暂停接收报文，此时收到的Syslog消息将被丢弃，等待第一缓存队列有空单元时再接收报文。若第一缓存队列不为空，组包线程从第一缓存队列的队尾元素中取出Syslog消息，打包成JMS消息体，并将该队尾元素置空，以释放第一缓存队列的空间，唤醒负载分发线程。负载分发线程根据权重为1/N的负载策略，将JMS消息发送到Hbase数据存储服务模块和ES数据存储服务模块。

第五步，Hbase数据存储服务模块和ES数据存储服务模块对JMS消息进行解析，分别存储至Hbase数据库集群和ES集群中。

5.1Hbase数据存储服务模块采用先来先服务的原则对JMS消息进行流量控制和速度控制：第二侦听线程对JMS消息体进行监听，当监听到JMS消息体后，由第二接收线程将JMS消息放入第二缓存队列队尾，如果第二缓存队列已满，暂停接收报文，此时收到的JMS消息将被丢弃，等待第二缓存队列有空单元时再接收报文。若第二缓存队列不为空，第一解析线程从第二缓存队列的队尾元素中取出JMS消息，将JMS消息解析成安全日志数据表字段，并将该队尾元素置空，以释放第二缓存队列的空间，唤醒第一数据存储线程。第一数据存储线程调用Hbase数据库接口，将解析后的Hbase数据存储到安全日志数据表中。

5.2ES数据存储服务模块采用先来先服务的原则对JMS消息进行流量控制和速度控制：第三侦听线程对JMS消息体进行监听，当监听到JMS消息体后，由第三接收线程将JMS消息放入第三缓存队列队尾，如果第三缓存队列已满，暂停接收报文，此时收到的JMS消息将被丢弃，等待第三缓存队列有空单元时再接收报文。若第三缓存队列不为空，第二解析线程从第三缓存队列的队尾元素中取出JMS消息，将JMS消息解析成安全日志数据表字段，并将该队尾元素置空，以释放第三缓存队列的空间，唤醒第二数据存储线程。第而数据存储线程调用ES索引接口，将解析后的日志字段存储到安全日志数据表中。

第六步，当客户端通过Web浏览器查询和统计数据时，ES集群从安全日志数据表中取出数据返回给Web浏览器。

图1是本发明涉及的多源安全日志采集系统结构图，系统由Syslog客户端、访问控 制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库 集群和ES集群组成。Syslog客户端是一种将安全日志封装成Syslog(是一种用来在互联网 协议的网络中传递记录档讯息的标准)消息格式的客户端软件，常见的开源Syslog软件有 NXLog和Evtsys，本发明在Windows和Linux主机使用Syslog软件的是NXLog，在网络设备上 的日志使用的是设备默认的Syslog软件。Syslog客户端将安全日志封装成Syslog消息，并 发送至访问控制服务器。访问控制服务器是2台安装有防火墙软件(iptables)和访问控制 远程调用服务模块的计算机组成的HA(High Available，高可用集群)，通过以太网与 Syslog客户端、负载均衡器连接，控制Syslog客户端和负载均衡模块监听端口的网络连通 性。负载均衡器是2台安装负载均衡软件计算机组成的HA(High Available，高可用集群)， 本发明使用的是Nginx负载均衡软件。负载均衡器通过以太网与采集前置服务集群、访问控 制服务器连接。负载均衡器根据负载均衡策略，将采集日志流分发至采集前置集群。采集前 置服务集群由n个(n>1)采集前置服务模块组成。采集前置服务集群通过以太网与负载均衡 器、Hbase存储服务集群、ES存储服务集群连接，将日志流分发转发至Hbase数据存储服务集 群和ES存储服务集群。Hbase数据存储服务集群由n个(n>1)Hbase数据存储服务模块组成， 通过以太网与采集前置服务集群、Hbase数据集群连接，它接收到的Syslog消息解析成 Hbase数据表格式，并存储到Hbase数据库中。ES存储服务集群由n个(n>1)ES存储服务模块 组成，通过以太网与采集前置服务集群、ES集群连接；ES存储服务集群将接收到的Syslog消 息解析成ES消息格式，并存储到ES索引中。Hbase数据集群是一组安装配置Hbase数据库软 件的计算机集群。ES集群是一组安装ES软件的计算机集群。

访问控制远程调用服务模块是一个远程调用侦听线程，监听远程服务连接请求， 并将调用本地iptables命令，将请求中的参数写入Linux防火墙iptables中。iptables中规 则默认是拒绝。

图2是本发明中由采集前置服务模块、Hbase存储服务模块、ES存储服务模块Hbase数据库集群和ES集群组成的多层集群式多源安全日志采集框架图。采集前置服务模块由第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程组成。第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路。第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列。第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；Syslog队列长度根据消息对象的规模进行配置，通常一个采集前置服务消息对象最大接收规模为1000个每秒，队列长度设置为1000。组包线程将第一缓存队列的消息对象取出，打包成遵守JMS(Java消息服务)规范的消息体。负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略(轮巡策略或权重策略)，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。Hbase数据存储服务模块由第二侦听线程和第二接收线程、第二缓存队列、第一解析线程和第一数据存储线程组成。第二侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第二缓存队列。第二缓存队列是为先入先出的队列，队列中的一个元素即为一个事件对象；队列长度根据消息对象的规模进行配置，大于前置服务消息对象接收规模，通常一个采集前置服务消息对象最大接收规模为1000个每秒，队列长度设置为1000。第一解析线程将第二缓存队列的消息对象取出，按照定义的Hbase日志数据表格式解析第二缓存队列块的消息对象。第一数据存储线程调用Hbase数据库接口，将解析后的日志数据存储Hbase数据库集群中。ES数据存储服务模块由第三侦听线程和第三接收线程、第三缓存队列、第二解析线程和第二数据存储线程。第三侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。第三接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第三缓存队列。第三缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息对象；队列长度根据消息对象的规模进行配置，通常一个采集前置服务消息对象最大接收规模为1000个每秒，队列长度设置为1000。第二解析线程将第三缓存队列的消息对象取出，按照定义的ES日志索引表格式解析第三缓存队列的消息对象。第二数据存储线程调用ES索引接口，将解析后的日志数据存储ES集群中。Hbase数据库集群和ES集群中主要建立了一个安全日志数据表，如下表1所示，有日期时间、客户端IP、服务器IP、请求方法、状态码、用户代理、Cookie信息、链接网址、访问路径、请求参数、事件ID、进程ID、对象名、源端口、日志级别、消息描述、协议、目的端口、动作19个数据字段。

表1安全日志数据表

第二步，图3是本发明中日志源档案和负载均衡通信端口的映射关系表。在负载均 衡器上建立日志源信息和负载均衡通信端口的映射关系档案，日志源信息包括日志源IP、 日志类型和Syslog的Facility字段值，负载均衡器的通信端口为513至555的端口。在Nginx 软件的配置文件中配置负载策略，包括采集前置服务模块的IP地址和端口号，指定权重为 1/N的负载策略，其中N为采集前置服务模块的数量。在日志源安装Syslog客户端软件(对于 交换机和防火墙等默认已安装Syslog客户端的设备则不再需要安装)，并配置Syslog的 facility字段值。在任意一台网络可达的计算机上连接访问控制远程调用服务模块，并根 据映射关系表下发参数(日志源IP，通信端口)，远程调用侦听线程将接收的参数，写入 Linux服务器的防火墙iptables的访问控制策略中，并重启防火墙。

当客户端通过Web浏览器查询和统计数据时，ES集群从安全日志数据表中取出数据返回给Web浏览器。

Claims (9)

1.一种多层次集群式架构的多源安全日志采集系统，其特征在于，包括Syslog客户端、访问控制服务器、负载均衡器、采集前置集群、Hbase存储服务集群、ES存储服务集群、Hbase数据库集群和ES集群；

所述的Syslog客户端将安全日志封装成Syslog消息，并发送至访问控制服务器；

所述的访问控制服务器与Syslog客户端、负载均衡器通信连接，并控制Syslog客户端和负载均衡模块监听端口的网络连通性；

所述的负载均衡器与采集前置服务集群、访问控制服务器通信连接，并根据负载均衡策略，将采集日志流分发至采集前置服务集群；

所述的采集前置服务集群包括至少两个采集前置服务模块，并与负载均衡器、Hbase存储服务集群、ES存储服务集群通信连接，以将日志流分发转发至Hbase存储服务集群和ES存储服务集群；

所述的Hbase数据存储服务集群包括至少两个Hbase数据存储服务模块，并与采集前置服务集群、Hbase数据库集群通信连接，将接收到的Syslog消息解析成Hbase数据表格式，并存储到Hbase数据库集群中；

所述的ES存储服务集群包括至少两个ES存储服务模块，并与采集前置服务集群、ES集群通信连接，ES存储服务集群将接收到的Syslog消息解析成ES消息格式，并存储到ES集群中。

2.根据权利要求1所述的系统，其特征在于，所述的采集前置服务模块包括第一侦听线程和第一接收线程、第一缓存队列、组包线程和分发线程；所述的第一侦听线程侦听负载均衡器的连接请求，如果收到负载均衡器的连接请求，则与负载均衡器建立一个TCP数据通信链路；第一接收线程从TCP数据通信链路中接收来自负载均衡器的Syslog消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第一缓存队列；第一缓存队列是为先入先出的队列，队列中的一个元素即为一个Syslog消息对象；组包线程用于将第一缓存队列的消息对象取出，打包成遵守Java消息服务规范的消息体；负载分发线程根据IP地址和端口号探测Hbase数据存储服务模块和ES数据存储服务模块的连通性，并根据负载均衡策略，将JMS消息体发送到Hbase数据存储服务模块和ES数据存储服务模块。

3.根据权利要求1所述的系统，其特征在于，Hbase数据存储服务模块包括第二侦听线程和第二接收线程、第二缓存队列、第一解析线程和第一数据存储线程；第二侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路；接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到第二缓存队列；第二缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息对象；第一解析线程将第二缓存队列的消息对象取出，按照预先定义的Hbase日志数据表格式解析第二缓存队列块的消息对象；第一数据存储线程调用Hbase数据库集群的接口，将解析后的日志数据存储Hbase数据库集群中；其中安全日志数据表格式包括日期时间、客户端IP、服务器IP、请求方法、状态码、用户代理、Cookie信息、链接网址、访问路径、请求参数、事件ID、进程ID、对象名、源端口、日志级别、消息描述、协议、目的端口、动作19个数据字段。

4.根据权利要求3所述的系统，其特征在于，ES存储服务模块包括第三侦听线程和第三接收线程、第三缓存队列、第二解析线程和第二数据存储线程组成，第三侦听线程侦听采集前置服务模块的连接请求，如果收到采集前置服务模块的连接请求，则与采集前置服务模块建立一个TCP数据通信链路。第三接收线程从TCP数据通信链路中接收来自采集前置服务模块的JMS消息，并转化为统一格式的消息对象，格式为<消息头，消息体>，再将消息对象传递到缓存子模块。第三缓存队列是为先入先出的队列，队列中的一个元素即为一个JMS消息；第二解析线程将第三缓存队列的消息对象取出，按照定义的安全日志数据表格式解析第三缓存队列的消息对象；第二数据存储线程调用ES索引接口，将解析后的日志数据存储ES集群中。

5.一种多层次集群式架构的多源安全日志采集方法，其特征在于，采用权利要求1-4任一所述的系统，包括以下步骤：

步骤一，初始化多源安全日志采集系统；

步骤二，Syslog客户端向负载均衡器发送安全日志数据，访问控制服务器根据访问控制服务器的访问控制策略转发或拒绝发往负载均衡器的安全日志数据，负载均衡器根据配置中的负载策略，将Syslog消息发送至采集前置服务模块；

步骤三，采集前置服务模块采用先来先服务的原则对Syslog消息进行流量控制和速度控制，负载分发线程根据权重为1/N的负载策略，将JMS消息发送到Hbase数据存储服务模块和ES数据存储服务模块；

步骤四，Hbase数据存储服务模块和ES数据存储服务模块对JMS消息进行解析，分别存储至Hbase数据库集群和ES集群中；

步骤五，当需要进行查询和统计数据时，则从ES集群中取出相应数据并发送至需求方。

6.根据权利要求5所述的方法，其特征在于，所述的步骤一中，初始化多源安全日志采集系统包括以下步骤：

步骤1、在负载均衡器上建立日志源信息和负载均衡通信端口的映射关系档案；

步骤2、在负载均衡器上配置负载策略，包括采集前置服务模块的IP地址和端口号，指定权重为1/N的负载策略，其中N为采集前置服务模块的数量；

步骤3、对日志源进行初始化配置；

步骤4、在任意一台网络可达的计算机上连接访问控制远程调用服务模块，并根据日志源和负载均衡器端口的映射关系表下发参数，远程调用侦听线程将接收的参数，写入Linux服务器的防火墙iptables的访问控制策略中，并重启防火墙。

7.根据权利要求6所述的方法，其特征在于，所述的步骤1中，日志源信息包括日志源IP、日志类型和Syslog的Facility字段值，负载均衡器的通信端口为513至555的端口。

8.根据权利要求5所述的方法，其特征在于，所述的步骤三中，采集前置服务模块采用先来先服务的原则对Syslog消息进行流量控制和速度控制包括以下步骤：

第一侦听线程对Syslog消息进行监听，当监听到Syslog消息后，由第一接收线程将Syslog消息放入第一缓存队列队尾，如果第一缓存队列已满，暂停接收报文，此时收到的Syslog消息将被丢弃，等待第一缓存队列有空单元时再接收报文；若第一缓存队列不为空，组包线程从第一缓存队列的队尾元素中取出Syslog消息，打包成JMS消息体，并将该队尾元素置空，以释放第一缓存队列的空间，唤醒负载分发线程。

9.根据权利要求5所述的方法，其特征在于，所述的步骤四中，具体步骤包括：

步骤1、Hbase数据存储服务模块采用先来先服务的原则对JMS消息进行流量控制和速度控制：第二侦听线程对JMS消息体进行监听，当监听到JMS消息体后，由第二接收线程将JMS消息放入第二缓存队列队尾，如果第二缓存队列已满，暂停接收报文，此时收到的JMS消息将被丢弃，等待第二缓存队列有空单元时再接收报文；若第二缓存队列不为空，第一解析线程从第二缓存队列的队尾元素中取出JMS消息，将JMS消息解析成安全日志数据表字段，并将该队尾元素置空，以释放第二缓存队列的空间，唤醒第一数据存储线程；第一数据存储线程调用Hbase数据库接口，将解析后的Hbase数据存储到安全日志数据表中。

步骤2、ES数据存储服务模块采用先来先服务的原则对JMS消息进行流量控制和速度控制：第三侦听线程对JMS消息体进行监听，当监听到JMS消息体后，由第三接收线程将JMS消息放入第三缓存队列队尾，如果第三缓存队列已满，暂停接收报文，此时收到的JMS消息将被丢弃，等待第三缓存队列有空单元时再接收报文；若第三缓存队列不为空，第二解析线程从第三缓存队列的队尾元素中取出JMS消息，将JMS消息解析成安全日志数据表字段，并将该队尾元素置空，以释放第三缓存队列的空间，唤醒第二数据存储线程；第二数据存储线程调用ES索引接口，将解析后的日志字段存储到安全日志数据表中。