CN107733941A

CN107733941A - 一种基于大数据的数据采集平台的实现方法及系统

Info

Publication number: CN107733941A
Application number: CN201610653618.7A
Authority: CN
Inventors: 李木金; 凌飞
Original assignee: Nanjing Liancheng Science And Technology Development Ltd By Share Ltd
Current assignee: Nanjing Liancheng Science And Technology Development Ltd By Share Ltd
Priority date: 2016-08-11
Filing date: 2016-08-11
Publication date: 2018-02-23
Anticipated expiration: 2036-08-11
Also published as: CN107733941B

Abstract

本发明公开了一种基于大数据的数据采集平台的实现方法及系统，包括协议代理、应用代理、实时消息交换中心和数据库。本发明通过数据采集平台的各种不同协议代理、应用代理模块，以及实时消息交换中心之间的松耦合和即插即用，实现了对安全设备、网络设备、数据库和中间件等的漏洞、配置、安全事件、网络故障等信息的实时采集、实时预处理和实时存储，提升了安全运维服务平台的实时性能和可扩展性。

Description

一种基于大数据的数据采集平台的实现方法及系统

技术领域

本发明涉及信息安全、大数据应用技术领域，尤其涉及到基于大数据的数据采集平台的实现方法。

背景技术

本发明中包含的英文简称如下：

SOC：Security Operation Center安全管理中心

IDS：Intrusion Detection Systems入侵检测系统

SNMP：Simple Network Management Protocol简单网络管理协议

CLF：Common Log Format 普通日志格式

JSON：JavaScript Object Notation JAVA脚本对象符号

HDFS：Hadoop Distribute File SystemHadoop分布式文件系统。

安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。

当前，企业IT系统都不同程度地部署了各种不同的业务系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，因为一旦网络及各业务系统出现安全事件或故障，如果不能及时发现、及时处理、及时恢复，这势必直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到用户的系统将直接导致用户投诉，满意度下降，企业形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，由于各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行；日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪系统事件和实时检测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营。

然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和Web服务器等所产生的日志，随着企业IT系统规模的不断扩大，尤其是它的种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT系统的日志规模的这样海量地增长，迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来对日志进行集中存储、对日志进行集中处理和日志分析，对系统事件进行实时跟踪，对安全攻击进行实时检测。

目前，已有的安全运维服务平台的数据采集的实现方法，存在可扩展性差和系统性能低的缺陷，已无法胜任当前企业的安全运维服务平台对系统实时性能和可扩展性的任务。因此，迫切需要一种全新的数据采集平台来对海量日志和漏洞信息等进行实时采集、分析和管理。

为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。

发明内容

本发明提供了一种基于大数据的数据采集平台的实现方法及系统，以解决现有技术问题存在数据采集可扩展性差、性能差、成本高等缺陷。

本发明的一种基于大数据的数据采集平台的实现方法及系统，应用于能够为多个企业提供各种安全服务和运维监控服务的安全运维监控服务平台中。

所述安全服务包括配置管理、安全风险评估、威胁检测、漏洞扫描、防病毒等。

所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理等。

所述方法包括协议代理、应用代理、实时消息交换中心和数据库。

所述协议代理，负责及时接收各种被管设备的消息，并将它发送到数据采集平台的实时消息交换中心。

所述实时消息交换中心，负责接收各个协议代理发送过来的消息，并按照其优先级，及时地发送到相应的应用代理中。

所述应用代理，负责实时地处理所述实时消息交换中心发送过来的消息，包括：告警/事件过滤、告警/事件归并压制和告警/事件的标准化。

所述数据库，负责及时地存储所采集的告警/事件的信息。

进一步地，告警/事件的信息存储方式，以非结构数据方式存储在HDFS/HDB中，或者是结构数据方式存储在Oracle等数据库中。

本发明通过数据采集平台的各种不同协议代理、实时消息交换中心和应用代理模块之间的松耦合和即插即用，实现了对安全设备、网络设备、数据库和中间件等的漏洞、配置、安全事件、网络故障等信息的实时采集、预处理和存储，提升了安全运维服务平台的实时性能和可扩展性。

附图说明

图1为本发明所述的一种基于大数据的数据采集平台的实现方法及系统的示意图；

图2为本发明所述的一种基于大数据的数据采集平台的实现方法的流程图示意图；

图3为本发明所述的一种基于大数据的数据采集平台的实现方法及系统的数据结构的示意图。

具体实施方式

下面是根据附图和实例对本发明的进一步详细说明：

图1为本发明所述的一种基于大数据的数据采集平台的实现方法及系统的示意图，它具有如下功能：

1、接收信息

2、转发给相应的应用代理进行预处理，消息格标准化

3、输出消息到基于大数据的数据库存储

被管设备包括安全设备和网络设备等。安全设备诸如深信服、绿盟、趋势科技等，网络设备（路由器、交换机等）诸如中兴通讯、华为等，服务器诸如浪潮。它从被管设备中采集数据，例如：

10.1.62.90:<33>IDS[29036]: [1:974:2] WEB-IIS . access

[Classification: Attempted Information Leak] [Priority: 3]: {TCP}

10.1.21.186:4597/10.1.62.90:80

数据采集平台支持syslog，SNMP，SMTP，WMI、HTML等传输协议以采集异构数据。它由协议代理（protocol agent、应用代理（application agent）和实时消息交换中心所组成。

所述各种不同协议代理、所述各种不同应用代理模块，以及所述实时消息交换中心之间是松耦合的，并具有即插即用的特征。

图2为本发明所述的一种基于大数据的数据采集平台的实现方法及系统的流程图。协议代理负责及时接收各种被管设备的消息，应用代理负责分析这些信息和存储到数据库中。这两个代理通过实时消息交换中心实现互联。例如：

if ($line¼ w /.*IDS: \[\dþ:\dþ:\dþ\] .*){

send_to_IDS_application_agent($line)}

协议代理接收通过诸如syslog、SNMP等传输协议发送过来的信息，并使所收集的数据发送给实时消息交换中心。协议代理的简单性使得它们很容易地实现和维护。实时消息交换中心的目的是在确定一个输入信息的类型之后，转发这个消息给相关的应用代理。

应用代理的功能包括：

1、告警/事件标准化

数据采集平台采集多种类型的安全设备和安全相关系统的事件，而这些安全设备和系统对事件定义的格式不尽相同，所以，数据采集平台就必须把这些不同格式的告警/事件转化成标准格式的事件，然后写入数据库/HDFS/HDB。除上述工作外，数据采集平台更加重要的目的是能够对安全事件重新定级。这是因为不同的设备，对安全事件的严重程度定义方式，侧重点和表示方式各不相同。安全事件集中监控模块应能根据统一的安全策略，按照安全设备识别名、事件类别、事件级别等所有可能的条件及各种条件的组合对事件严重级别进行重定义。

通过标准化过程中，安全事件属性如下：

（1）事件编号：每个时间具有唯一的一个事件编号；

（2）事件名称：对事件内容的简单概要描述；

（3）事件严重级别：安全事件的严重程度表示；

（4）事件时间：事件发生时间；

（5）事件内容：事件的相关安全信息；

（6）事件原始级别：事件未作调整前的级别；

（7）事件相关协议：产生事件的相关协议；

（8）源地址：事件中包含的源地址；

（9）目的地址：事件中包含的目的地址；

（10）源主机名称；

（11）目的主机名称；

（12）源端口：事件中包含的源端口；

（13）目的端口：事件中包含的目的端口；

（14）事件类型：事件的类型，比如原始事件、关联事件、归并事件等；

（15）……

2、告警/事件过滤，包括：

（1）多条件组合过滤：

（2）过滤优先权：

设定过滤的优先权，采集到安全事件后首先匹配优先权高的进行过滤，然后再匹配优先权低的进行过滤；同时，可以设定，在匹配到第一个过滤后，是否继续匹配其他过滤。

（3）过滤后的安全事件多种处理操作

数据采集平台对过滤后的事件有丢弃、存储、事件信息调整等处理方式。其中丢弃代表直接丢掉该安全事件，不再进入下一环节进行计算；存储代表将该安全事件存储到数据库中，但是不把该安全事件发送到上层处理程序；事件信息调整代表可以对安全事件的相关属性，比如事件名称、风险级别等进行调整，以满足客户日常运维的习惯。

3、告警/事件归并压制，包括：

（1）根据事件名称进行归并分析；

（2）根据事件的类型进行归并分析；

（3）根据源进程进行归并分析；

（4）根据目标进程进行归并分析；

（5）根据攻击源进行归并分析；

（6）根据攻击目标地址进行归并分析；

（7）根据事件的原始时间进行归并；

（8）根据事件的进入平台事件进行归并；

（9）根据受攻击的设备类型进行归并分析；

（10）根据受攻击的系统类型及版本信息进行归并分析；

（11）根据特定时间要求和用户策略进行横向事后关联分析。

图3为本发明所述的一种基于大数据的数据采集平台的实现方法及系统的数据结构。通过应用代理预处理之后已格式化的消息结构，输出到数据库存储。例如：

所述数据采集平台的数据采集模式分为两种大类：

1、直接从被各类管理对象采集配置、日志、漏洞、性能信息；

2、从网管系统/或SOC数据采集平台通过数据共享同步获取被管理对象的相关信息，如果客户已经上线了网络管理系统/或SOC的话。

以下数据采集平台的采集内容及方式：

下表是数据采集平台采集路由器的内容及方式：

下表是数据采集平台采集交换机的内容及方式

下表是数据采集平台采集主机设备的内容及方式：

下表是数据采集平台采集终端设备的内容及方式：

下表是数据采集平台采集数据库的内容及方式：

下表是数据采集平台采集应用系统的内容及方式：

下表是数据采集平台采集中间件的内容及方式：

下表是数据采集平台采集防火墙\UTM设备的内容及方式:

下表是数据采集平台采集IDS\IPS入侵检测系统的内容及方式:

下表是数据采集平台采集防病毒系统的内容及方式:

下表是数据采集平台采集终端的内容及方式:

下表是数据采集平台采集漏洞扫描的内容及方式:

下表是数据采集平台采集防垃圾邮件网关的内容及方式:

下表是数据采集平台采集防DDos攻击设备的内容及方式:

Claims

1.本发明提供了一种基于大数据的数据采集平台的实现方法及系统，所述方法及系统包括协议代理、应用代理、实时消息交换中心和数据库

如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述协议代理，负责及时接收各种被管设备的消息，并将它发送到数据采集平台的实时消息交换中心。

2.如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述实时消息交换中心，负责接收各个协议代理发送过来的消息，并按照其优先级，及时地发送到相应的应用代理中。

3.如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述应用代理，负责实时地处理所述实时消息交换中心发送过来的消息，包括：告警/事件过滤、告警/事件归并压制和告警/事件的标准化。

4.如权利要求1所述的一种基于大数据的数据采集平台的实现方法及系统，所述数据库，负责及时地存储所采集的告警/事件的信息。

5.如权利要求3所述的一种基于大数据的数据采集平台的实现方法及系统，所述协议代理发送过来的消息，包括安全日志、漏洞、配置、故障告警等。

6.如权利要求5所述的一种基于大数据的数据采集平台的实现方法及系统，所述告警/事件的信息存储，包括非结构数据方式HDFS/HDB和结构数据方式。