CN110392039A - 基于日志和流量采集的网络系统事件溯源方法及系统 - Google Patents

Abstract

本发明涉及信息安全技术，能够提供基于日志和流量采集的网络系统事件溯源方法及系统，所述方法包括：通过分布式日志采集方法，在核心交换机通过流量镜像方式获取所有网络安全设备的入网出网流量数据并保存到各采集实例的流量数据库中；采用集中式的日志收集方法，采集各网络安全设备产生的日志；对采集到的日志进行过滤、处理、并存储到日志数据库中；抽取日志标识的IP和发生时间，在流量数据库中检索事件发生时间点和之后一段时间内的此IP的全部流量数据；汇总展现数据。本发明实例解决了在攻击事件发生后，难以溯源和无法分析攻击手段的问题，并可根据相应的事件展现具体攻击路径和攻击目标。

Description

基于日志和流量采集的网络系统事件溯源方法及系统

本申请涉及网络和信息安全技术领域，具体涉及一种基于日志和流量采集的网络系统事件溯源方法及系统

技术背景

互联网的发展使得任何个人或组织在任何地方都能连接到网络，保障网络安全、服务的连续性也一直是服务提供者的首要目标，但是，不可避免的，跟外界有联通的系统均有被攻击的可能，当网络安全事件发生时，除了依靠安全设备对攻击进行防御时，我们还想知道恶意攻击是如何影响服务器的，具体的恶意攻击方法是什么，今后又该从何处着手杜绝此类事件的再次发生。依靠网络安全设备的日志，我们能够在一定程度上了解恶意攻击的分类，但是市面上绝大多数的安全设备都不提供基于网络流量采集的具体攻击负载展示和分析功能，如果我们能用一种更加专业的手段来获取攻击者的恶意代码和攻击手段，我们便能在对抗中占据更多主动权，无疑对我们的业务环境和安全保障都是有极大益处的。

现在市场上的安全设备，均是针对安全事件发生后，对存储在安全设备上的日志进行查看，人工判断分析事件的影响程度

人工分析判断时，缺乏一个综合性的日志展现和专业的攻击负载展现平台，效率低下，无法还原攻击者的攻击路径。

发明内容

基于此种情况，本发明的目的在于提供一种基于日志和流量采集的网络系统事件溯源方法及系统，以缓解人工分析对网络安全事件处理的效率低下，无法还原攻击路径的技术问题。

第一方面，本申请实施例提供了一种基于日志和流量采集的网络系统事件溯源方法，所述方法包括：

通过分布式日志采集方法，采集所有网络安全设备的流量并保存；

采用集中式的日志收集方法，采集网络安全设备产生的日志

对采集到的日志进行过滤、处理、并存储到日志数据库中

抽取事件日志对应的IP和发生时间，在流量数据库中检索事件流量数据

汇总展现数据

可选的，上述溯源方法中，所述采用分布式日志采集方法，采集所有入网出网流量并保存，包括：

基于流量镜像和策略路由，对每个网络安全设备，均配置一个流量镜像端口，通过流量镜像的方式，采集经过流量镜像端口的数据并保存为标准PCAP格式文件

可选的，上述溯源方法中，所述采用集中式的日志收集方法，采集网络安全设备产生的日志，包括：

使用syslog方式，通过自定义的UDP端口10514进行收集

可选的，上述溯源方法中，所述对采集到的日志进行过滤、处理、并存储到日志数据库中，包括：

使用logstash软件收集各设备的syslog日志，使用grok方法对不同来源的日志作处理

可选的，上述溯源方法中，所述抽取事件日志对应的IP和发生时间，在流量数据库中检索事件流量数据，包括：

采用IP+时间点的方式，构造查询语句，使用elastic search作为流量数据库的搜索引擎，采用分布式查询方法，对各网络安全设备的流量数据库进行查询，输出查询结果，查询结果为JSON格式，同时可提供标准PCAP格式文件下载

第二方面，本申请实施例提供了一种基于日志和流量采集的网络系统事件溯源系统，所述系统包括：

流量采集模块，用于采集各网络安全设备的入网出网流量

日志采集模块，用于采集各安全设备产生的日志

事件处理模块，用于抽取日志，匹配日志和流量，处理日志和流量数据

前台展现模块，用于在前台展现事件和此事件对应的原始数据

可选的，所述流量采集模块，包括流量采集单元，用于采集镜像端口的流量

流量索引单元，使用elastic search搜索引擎对采集到的流量数据做索引并保存

可选的，所述日志采集模块，包括日志采集单元，用于接收安全设备通过 syslog发送的日志并保存

日志索引单元，使用elastic search搜索引擎对保存的日志数据做索引并保存索引结果

可选的，所述事件处理模块，包括日志处理单元，用于抽取事件日志对应的IP和发生时间，在流量数据库中检索事件流量数据，包括使用正则表达式取到网络安全事件的源IP和发生时间

数据分布式查询单元，用于构造查询语句，在流量索引单元中使用API接口查询源IP在事件发生时间点和前后一段时间，在各个安全设备流量数据库中的数据

查询结果处理单元，用于处理获取到的查询结果，返回JSON和PCAP两种格式，其中JSON用于前台展现，PCAP文件用于下载分析。

查询结果存储单元，用于存储每个事件的查询结果文件，以JSON和PCAP 文件格式存储

进一步地，所述日志处理单元，在抽取时间日志时，仅针对syslog日志级别在0-3级的事件，分别为：Emergency，Alert，Critical，Error。

进一步地，所述数据分布式查询单元，在查询源IP在事件发生时间点前后一段时间时，默认时间设置为前2分钟，后10分钟，并且可以自定义。

进一步地，所述查询结果处理单元，在返回查询到的JSON和PCAP数据时，附带数据的来源IP，以供管理员识别流量数据的来源设备。

本发明的主要特点是：针对黑客攻击行为难溯源，难排查，人工排查耗费精力，准确度不高的情况，采取流量全采集并针对高危事件进行事件流量及关联流量展示的方法，有效追溯黑客攻击路线图，对于成功的攻击和失败的攻击，均能根据事件和关联流量，确定攻击者的IP和攻击手段，不仅能对攻击事件做展示供管理员查看判断，特殊情况下，采集的流量还可作为追溯攻击行为的证据

与现有技术相比，本发明在接收到安全设备发出的日志之后，针对日志提供的IP和时间点，查询所有安全设备流量数据库中的此IP在时间点前后通过的流量并展示，能够帮助管理员有效判断攻击是否被正确拦截，是否有后续攻击，后续攻击是否被安全设备拦截，如果被攻击，为何此种攻击手段未被安全设备拦截等问题，针对性的进行排查，大幅提高对内网被攻击与否，安全与否的判断能力。相较于传统安全设备仅仅提供拦截成功的日志，更能帮助管理员提高事件分析的准确度和对未知攻击的防御能力。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1是根据本发明实施例的基于日志和流量采集的网络系统事件溯源方法的流程图

图2是根据本发明实施例的基于日志和流量采集的网络系统事件溯源系统的架构图.

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。附图不一定按比例绘制；某些功能可能被夸大或最小化以显示特定部件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为用于教导本领域技术人员以各种方式使用本发明的代表性基础。如本领域普通技术人员将理解的，参考任何一个附图所示出和描述的各种特征可以与一个或多个其他附图中所示的特征组合以产生没有明确示出或描述的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过实施结合附图对本发明进一步的描述。

参考图1，该系统流程图是实现网络事件溯源方法的一种方式，包含以下步骤

步骤101为获取安全设备的事件日志，使用的是通过syslog方式获取，在采集设备中监听10514自定义UDP端口，同时在防火墙，入侵检测系统，网络应用防火墙中设置syslog转发地址到采集设备的10514端口，通过logstash 开源工具存储并将日志转发给elasticsearch开源工具做索引，集中式的日志收集。

步骤102为采集所有经过安全设备的流量，通过多个实例在核心交换机上通过端口镜像的方式采集通过各安全设备的流量，并分别存储到实例中，采集过程中使用libpcap工具，数据以PCAP标准格式存储，并通过elastic search 开源工具做索引，能够实现分布式存储，集中式搜索。

步骤103为抽取符合预设事件等级的时间日志中包含的IP和时间点，此为处理事件日志，syslog是一个消息日志的标准.允许软件生成消息交由系统储存, 再由另外的软件进行传达和分析，syslog中日志的级别定义一共有八级，通过 Severity level这个标签注明此事件的紧急程度，从紧急到轻微为0-7级，为了提供更好的处理效率，内置的处理策略为只抽取0-3级的事件，分别为： Emergency，Alert，Critical，Error。由于不同厂商对syslog的message标签定义不同，因此需要grok函数、正则表达式等方式方法对来自不同厂商的syslog做标准化处理，提取出来源IP字段对应的IP和事件发生时间

步骤104为根据源IP和时间点查询流量数据库，此处根据elastic search 的API，构造查询语句，在elastic search中使用API接口查询源IP在事件发生时间点和前后一段时间，在各个安全设备的流量数据库中的数据，并返回给前台展现模块。

步骤105为整合事件信息，流量信息，输出事件详细信息，此处使用开源工具kibana作为前台展现模块，kibana为人机友好的数据展现工具，并支持通过不同字段组合来创建不同的图表，kibana中展现的字段可以根据需要做修改以提高事件的可读性，在本实施例中，输出的字段为事件来源，来源IP，事件发生时间，事件包含的具体流量信息，其中流量信息中包含了此来源IP在事件时间点前后一段时间内，在各系统中的流量详细情况，包含访问的目的地址， http请求头，传输的协议等全部流量信息，当管理员在判断此事件是否是攻击事件，攻击的具体攻击负载，攻击是否成功等问题时，这些信息可以判断能提供重要辅助功能。

基于此种方法，本申请实施例还提供了一种基于日志和流量采集的网络系统事件溯源系统，如附图2所示，本申请实施例提供的基于日志和流量采集的网络系统事件溯源系统，所述系统包括：

流量采集模块201，用于分布式采集所有经过安全设备的流量并建立索引

日志采集模块202，用于采集安全设备发送的syslog日志并建立索引

事件处理模块203，用于用于抽取日志，匹配日志和流量，处理日志和流量数据

前台展现模块204，用于用于在前台展现事件和此事件对应的原始数据

进一步地，本实施例所述的流量采集模块201，包括流量采集单元，用于采集镜像端口的流量

流量索引单元，使用elastic search搜索引擎对采集到的流量数据做索引并保存

进一步地，本实施例所述的日志采集模块202，包括日志采集单元，用于接收安全设备通过syslog发送的日志并保存

日志索引单元，使用elastic search搜索引擎对保存的日志数据做索引并保存索引结果

进一步地，本实施例所述事件处理模块203，包括日志处理单元，用于抽取事件日志对应的IP和发生时间，在流量数据库中检索事件流量数据，包括使用grok函数，正则表达式等方式方法取到网络安全事件的源IP和发生时间

数据分布式查询单元，用于构造查询语句，在流量索引单元中使用API接口查询源IP在事件发生时间点和前后一段时间，在各个安全设备流量数据库中的数据

查询结果处理单元，用于处理获取到的查询结果，返回JSON和PCAP两种格式，其中JSON用于前台展现，PCAP文件用于下载分析。

查询结果存储单元，用于存储每个事件的查询结果文件，以JSON和PCAP 文件格式存储

进一步地，所述日志处理单元，在抽取时间日志时，仅针对syslog日志级别在0-3级的事件，分别为：Emergency，Alert，Critical，Error。

进一步地，所述数据分布式查询单元，在查询源IP在事件发生时间点前后一段时间时，默认时间设置为前2分钟，后10分钟，并且可以自定义。

进一步地，所述查询结果处理单元，在返回查询到的JSON和PCAP数据时，附带数据的来源IP，以供管理员识别流量数据的来源设备。

进一步地，本实施例所述前台展现模块204，用于在前台展现事件和此事件对应的原始流量数据。

本申请实施例提供的基于日志和流量采集的网络系统事件溯源系统，采用libpcap、logstash、elastic search、kibana四个开源工具搭建，libpcap用于采集安全设备的流量，logstash用于收集，处理syslog日志，elastic search 提供了索引和搜索引擎，kibana提供了前台展示界面。本系统提供了安全事件的基于日志和流量采集的网络系统事件溯源能力，能够准确把握黑客在攻击时的网络流量数据，对管理员防御黑客攻击，判断高级持续性威胁，有非常重要的帮助作用。

本发明实施例所提供的基于日志和流量采集的网络系统事件溯源方法及系统，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法及系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.基于日志和流量采集的网络系统事件溯源方法及系统，其特征在于，

1，采用分布式流量采集方法，采集网络安全设备的流量并保存；

2，用集中式的日志收集方法，采集网络安全设备产生的日志；

3，对采集到的日志进行过滤、处理、并存储到日志数据库中；

4，抽取事件日志对应的IP和发生时间，在流量数据库中检索事件流量数据；

5，汇总展现数据。

2.根据权利要求1所述方法，其特征在于，步骤1所述采用分布式流量采集方法，采集所有网络安全设备的入网出网流量时，采用标准PCAP格式存储和索引网络流量；各安全设备产生的流量数据文件分布式地存放于采集实例的流量数据库中。

3.根据权利要求1所述方法，其特征在于，步骤2所述集中式的日志收集方法，使用syslog方式，通过自定义的UDP端口10514进行收集。

4.根据权利要求1所述方法，其特征在于，步骤3所述对采集到的日志进行过滤、处理、并存储到日志数据库中，包括使用系统内置的规则、自行编写的过滤规则、正则表达式来过滤收集到的日志；对日志的处理过程，包括对来自不同设备厂商的设备产生的日志，进行整合处理，使之符合预定的数据格式。

5.根据权利要求1所述方法，其特征在于，步骤4所述对抽取事件日志对应的IP和发生时间，在流量数据库中检索事件流量数据，包括使用正则表达式取到网络安全事件的源IP和发生时间；构造查询语句，使用API接口查询源IP在事件发生时间点和前后一段时间，在各个安全设备流量数据库中的数据。

6.根据权利要求1所述方法，其特征在于，步骤5所述汇总展现数据，包括整合从步骤2中获取的网络安全事件和从步骤4中获取的安全设备流量数据库中流量数据，并在前台展现。

7.基于日志和流量采集的web系统事件溯源系统，其特征在于，所述系统包括：

流量采集模块，用于采集各安全设备的入网出网流量

日志采集模块，用于采集各安全设备产生的日志

事件处理模块，用于抽取日志，匹配日志和流量，处理日志和流量数据

前台展现模块，用于在前台展现事件和此事件对应的原始数据。

8.根据权利要求7所述系统，其特征在于，流量采集模块采用分布式采集，分布式存储，统一查询架构。

9.根据权利要求7所述系统，其特征在于，事件处理模块，使用elastic search作为流量数据库的搜索引擎；构造的查询语句使用API的方式，基于源IP和事件发生时间进行查询。