CN103561018A

CN103561018A - 一种面向大数据应用平台的入侵检测的实时分析系统

Info

Publication number: CN103561018A
Application number: CN201310526461.8A
Authority: CN
Inventors: 柯宗贵; 柯宗庆; 杨育斌; 赵必厦
Original assignee: Bluedon Information Security Technologies Co Ltd
Current assignee: Bluedon Information Security Technologies Co Ltd
Priority date: 2013-10-30
Filing date: 2013-10-30
Publication date: 2014-02-05

Abstract

本发明公开了一种面向大数据应用平台的入侵检测的实时分析系统。本系统主要分为3层，信息采集层、运算层、展示层。信息采集层，主要包含监控模块及2个相互通信的组件：部署在大数据应用平台节点上面的Agent与部署在入侵检测系统的Server；运算层，包括特征库模块、实时分析模块、趋势分析模块；展示层，包括告警模块和统一报表模块。通过本发明能够实时地对大数据应用平台进行入侵检测，实时监控，主动发现，主动防御，联动管控。其次，基于大数据的入侵检测，可以无限扩展。大数据应用平台在入侵检测系统的协助下，可以只关注业务，无需花费精力担心内外部用户的入侵。

Description

一种面向大数据应用平台的入侵检测的实时分析系统

技术领域

本发明涉及网络安全技术领域，尤其涉及一种面向大数据应用平台的入侵检测的实时分析系统。

背景技术

随着云计算、移动互联网、物联网的崛起与发展，大数据的时代已经来临。大数据应用平台已经在各个大型公司中运行推广开来。但是，一般大数据应用平台都关注于性能和功能，而较少考虑安全方面的因素。因此，在大数据应用平台中附加一个入侵检测系统，有其应用意义和商业价值。

常规的入侵检测系统，可以监控网络、系统、主机、存储、应用等。入侵检测系统所采用的技术可分为特征检测与异常检测两种。入侵可以分为3类：1)基于主机、2)基于网络、3)分布式。一个成功的入侵检测系统，可使系统管理员时刻了解网络系统，包括程序、文件和硬件设备等的任何变更，给网络安全策略的制订提供指南，管理、配置简单，使非专业人员非常容易地获得网络安全的管理配置等。而且入侵检测的规模还应根据网络威胁、系统构造和安全需求的改变而改变。入侵检测系统在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和报警等。

但是常规的入侵检测技术，一般是单机安装部署的，无法对大数据应用平台进行分析，因为大数据应用平台一般都是分布式集群架构，流量和信息量比较大。因此，大数据的入侵检测平台，必然架构在集群技术之上。

此外，基于Hadoop的入侵检测系统，可以实现对大数据应用平台的入侵检测。Hadoop是一个基于云计算思想的开源云计算平台框架。Hadoop具备诸多优点，如高可靠性、高扩展性、高效性、高容错性等。它能够部署在大量廉价硬件设备上，组成组成成本较低而规模大的云计算集群。Hadoop用户可以在不了解该平台上底层细节的情况下，开发自己的应用程序。

Hadoop云计算平台具有强大的数据收集与运算的能力，将其融合到入侵检测系统，能够为其提供强大的技术支持。如Hadoop云计算平台能够为入侵检测系统提供分布式计算、分布式文件存储服务、管理作业、文件系统等服务。应用Hadoop云计算平台能够更好的对海量数据进行分析，对相应的信息进行挖掘，提高IDS对海量数据的处理能力，从而进一步提高入侵检测系统的相关性能。

基于Hadoop的入侵检测系统，无法实现实时性，只能做事后弥补，这是由Hadoop的批处理特性所决定的。

狭义上来说，Hadoop是MapReduce和HDFS的结合，采用一种离线模式或者批处理的模式。Hadoop处理数据的方式是数据并行，处理串行。在Hadoop所采用的批处理的工作方式下，每个job并行只发生在一个map段和一个reduce段中，并且这两个阶段不能并行执行，所有被map过程访问的数据都会被冻结，直至整个工作job执行结束。并且Hadoop中的数据通过分布式文件系统(HDFS)进行组织，网络I/O开销会带来相应的延迟。因此Hadoop也有许多缺点——延迟大，响应缓慢，运维复杂。这意味着Hadoop并不适合实现对延迟要求很严格的场景中，如在线的实时应用。基于Hadoop的入侵检测系统，也因此很难做到较好的实时性。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种面向大数据应用平台的入侵检测的实时分析系统。本系统主要分为3层，信息采集层、运算层、展示层。

信息采集层，主要包含监控模块及2个相互通信的组件：部署在大数据应用平台节点上面的Agent与部署在入侵检测系统的Server。

运算层，包括特征库模块、实时分析模块、趋势分析模块。特征库模块，主要包括正则匹配组件与HBase数据库；实时分析模块，基于Storm实现；趋势分析模块，基于RHadoop实现。

展示层，包括告警模块和统一报表模块。

本发明技术方案带来的有益效果：

通过本发明能够实时地对大数据应用平台进行入侵检测，实时监控，主动发现，主动防御，联动管控。其次，基于大数据的入侵检测，可以无限扩展。另外，大数据应用平台在入侵检测系统的协助下，可以只关注业务，无需花费精力担心内外部用户的入侵。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是典型的大数据应用平台的拓扑结构图；

图2是本发明的面向大数据应用平台的入侵检测的实时分析系统的拓扑结构图；

图3是本发明的面向大数据应用平台的入侵检测的实时分析系统的部署图；

图4是本发明的面向大数据应用平台的入侵检测的实时分析系统的架构图；

图5是本发明系统中节点信息采集的流程图；

图6是本发明系统中实时分析的流程图；

图7是本发明系统中趋势分析的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于对大数据应用平台的安全性重视程度不够，从而导致平台出现一系列的安全隐患，本发明采用了一种面向大数据应用平台的入侵检测的实时分析系统，通过实时监控，主动发现，主动防御，联动管控的方案，从而提高大数据应用平台的信息安全性。

如图1所示为典型的大数据应用平台的拓扑结构图，本发明系统是在大数据应用平台的基础上部署入侵检测系统，其拓扑结构图如图2所示。入侵检测系统，部署在大数据应用平台与用户访问接口之间，用户想要访问大数据应用平台，必须先经过入侵检测系统。入侵检测系统允许用户安全的访问请求，拒绝用户的恶意攻击。

本发明系统的部署如图3所示：在大数据应用平台的配置管理节点、元数据节点、数据节点等节点安装部署入侵检测系统的Agent。Agent根据入侵检测的策略，打开不同的通信端口，主动发送信息到入侵检测系统的监控模块。

在入侵检测系统服务器端，实时分析模块协同特征库模块对监控模块推送过来的信息进行实时分析，发现威胁，调用告警模块对用户进行告警处理。趋势分析模块对历史记录进行趋势分析、挖掘。

本发明系统的架构如图4所示：

本系统主要分为3层，信息采集层、运算层、展示层。

信息采集层，主要包含监控模块，包括2个相互通信的组件：部署在大数据应用平台节点上面的Agent与部署在入侵检测系统的Server。

展示层，包括告警模块和统一报表模块。

本发明系统中节点信息采集的处理流程如图5所示，具体为：

（1）如果收到退出命令，跳转到（4），否则，跳转到（2）；

（2）Agent主动推送信息到监控模块；

（3）监控模块接收信息，转发到消息队列，并跳转到（1）；

（4）节点的信息采集结束。

本发明系统中实时分析的处理流程如图6所示，具体为：

（1）如果收到退出命令，跳转到（7），否则，跳转到（2）；

（2）Storm在消息队列中取消息；

（3）Storm对消息进行模式匹配；

（4）如果存在威胁，跳转到（4），否则，跳转到（1）；

（5）Storm通知告警模块；

（6）告警模块发送信息，并跳转到（1）；

（7）节点的信息采集结束。

本发明系统中趋势分析的处理流程如图7所示，具体为：

（1）从HBase数据库中读取历史记录；

（2）运行RHadoop的趋势分析算法Storm对消息进行模式匹配；

（3）运行结果保存在HDFS上；

（4）趋势分析结束。

以上对本发明实施例所提供的一种面向大数据应用平台的入侵检测的实时分析系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种面向大数据应用平台的入侵检测的实时分析系统，其特征在于，该系统包括信息采集层、运算层、展示层；

信息采集层，包括监控模块及2个相互通信的组件：即部署在大数据应用平台节点上面的Agent与部署在入侵检测系统的Server；

运算层，包括特征库模块、实时分析模块、趋势分析模块；特征库模块，包括正则匹配组件与HBase数据库；实时分析模块，基于Storm实现；趋势分析模块，基于RHadoop实现；

展示层，包括告警模块和统一报表模块。

2.根据权利要求1所述的系统，其特征在于，大数据应用平台节点包括配置管理节点、元数据节点、数据节点。

3.根据权利要求1或2所述的系统，其特征在于，该系统的部署为：在大数据应用平台的配置管理节点、元数据节点、数据节点安装部署入侵检测系统的Agent，Agent根据入侵检测的策略，打开不同的通信端口，主动发送信息到入侵检测系统的监控模块；

在入侵检测系统服务器端，实时分析模块协同特征库模块对监控模块推送过来的信息进行实时分析，发现威胁，调用告警模块对用户进行告警处理，趋势分析模块对历史记录进行趋势分析、挖掘。

4.根据权利要求1或2所述的系统，其特征在于，该系统中节点信息采集的处理流程为：

41）如果收到退出命令，跳转到44），否则，跳转到42）；

42）Agent主动推送信息到监控模块；

43）监控模块接收信息，转发到消息队列，并跳转到41）；

44）节点的信息采集结束。

5.根据权利要求1或2所述的系统，其特征在于，该系统中实时分析的处理流程为：

51）如果收到退出命令，跳转到57），否则，跳转到52）；

52）Storm在消息队列中取消息；

53）Storm对消息进行模式匹配；

54）如果存在威胁，跳转到54），否则，跳转到51）；

55）Storm通知告警模块；

56）告警模块发送信息，并跳转到51）；

57）节点的信息采集结束。

6.根据权利要求1或2所述的系统，其特征在于，该系统中趋势分析的处理流程为：

61）从HBase数据库中读取历史记录；

62）运行RHadoop的趋势分析算法Storm对消息进行模式匹配；

63）运行结果保存在HDFS上；

64）趋势分析结束。