CN204669399U - 基于Hadoop架构的网络病毒和威胁监测系统 - Google Patents

Abstract

本实用新型公开了一种基于Hadoop架构的网络病毒和威胁监测系统，包括：病毒及威胁统计分析装置，将网络中海量数据包自动分割成数据块，并且分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；病毒检测装置，对接收的含有网络病毒特征的数据块进行病毒扫描、分类以及查杀；网络威胁检测装置，对接收的含有入侵行为的数据块进行检测，检测到含有入侵行为时报警。病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接；通过本实用新型实现在高带宽、大容量数据环境下对网络上的病毒和威胁进行监测，提升海量数据的处理能力和效率，满足电信级别骨干网络病毒和威胁的实时监测。

Description

基于Hadoop架构的网络病毒和威胁监测系统

技术领域

本实用新型涉及一种网络病毒和威胁的监测技术，特别涉及一种基于Hadoop架构的网络病毒和威胁监测系统。

背景技术

计算机病毒是指在计算机程序中编制或插入的破坏计算机功能和数据，能够影响计算机的使用并拥有自我复制功能的一组计算机指令或者程序代码。它具有传染性、复制性和破坏性，它潜伏在计算机的存储设备里，等达到一定的外部条件时就会激活，复制自身到其他程序中，感染其他文件，破坏计算机资源。网络性病毒是威胁计算机网络安全的重要原因之一，因此，做好计算机网络病毒的防范，可以有效提高计算机网络的安全水兵。随着互联网的发展，计算机病毒进化的速度越来越快，为了更好的对付这些病毒，保证计算机的安全，系统的云安全成为未来的发展方向，现在许多杀毒厂商都推出了云墙、云杀毒等网络安全产品。另外除计算机病毒会影响网络安全之外，还有一些对计算机和网络资源的恶意使用行为，例如来自外部的入侵行为和来自内部用户的非授权行为等均会威胁到网络的安全。

目前，国外安全厂家的病毒与网络威胁监测分析技术主要侧重在杀毒软件开发及安全服务，通过服务器端加客户端模式，从中央控制中心对整个网络进行监控，该模式通常是在主服务器上安装杀毒软件服务端，客户PC安装客户端，以此实现对整个网络的统一监测及结果处理。国内病毒及网络威胁监测分析技术主要侧重病毒监测防护及威胁监测防护方面，通过使用一主一备的网络设备工作模式，将病毒扫描、威胁检测及网络检测功能集合于一体。这类产品一般是单套设备对整个网络进行安全防护，对数据流量不是很大的环境，基本上能满足日常的安全要求，但是对于电信运营商、银行、电力、大型企业等高带宽、大容量数据环境下，便会出现数据分析遗漏而产生误差的情况。由于受设备自身吞吐量的限制，无法做到对大容量数据的完全监测，如此出现的误差的情况也极大。

实用新型内容

本实用新型的目的在于克服现有技术的缺点与不足，提供一种基于Hadoop架构的网络病毒和威胁监测系统，该系统能够在高带宽、大容量数据环境下对网络上的病毒和威胁进行监测，提升海量数据的处理能力和效率，满足电信级别骨干网络病毒和威胁的实时监测。

本实用新型的目的通过下述技术方案实现：一种基于Hadoop架构的网络病毒和威胁监测系统，包括：病毒及威胁统计分析装置、病毒检测装置和网络威胁检测装置，所述病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接。

优选的，还包括与病毒及威胁统计分析装置连接的可扩展接口模块，用于与第三方网络设备或4A系统连接，使得网络病毒和威胁监测系统配合第三方网络设备或4A系统联动处理网络病毒和威胁。

更进一步的，所述可扩展接口模块包括防火墙、交换机、流量控制设备和防DDos设备接口。

更进一步的，与可扩展接口模块连接的第三方网络设备为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种。

优选的，所述病毒及威胁统计分析装置包括数据分割模块和数据分析模块，数据分割模块的输出端和数据分析模块的输入端连接。

优选的，所述病毒检测装置包括依次连接的病毒扫描模块、信息分类模块、病毒查杀模块以及病毒特征更新模块，其中病毒扫描模块的输入端连接病毒及威胁统计分析装置的输出端。

优选的，所述网络威胁检测装置包括依次连接的信息收集模块、入侵迹象分析引擎模块以及主动协同学习功能模块，信息收集模块的输入端连接病毒及威胁统计分析装置的输出端。

本实用新型相对于现有技术具有如下的优点及效果：

(1)本实用新型监测系统病毒及威胁统计分析装置采用云计算环境下Hadoop架构中的MapReduce技术将网络中海量数据包自动分割成若干个Map任务，即若干个数据块，然后将各数据块分配到计算机集群中的各个节点中，在各个节点中同时对各数据块进行分布式分析处理，将含有网络病毒特征以及入侵行为的数据块分别传送到病毒检测装置和网络威胁检测装置进行病毒检测和网络威胁检测，检测出含有网络病毒的数据块以及含有网络威胁的数据，并且进行病毒查杀，和入侵行为的阻截，实现了病毒扫描、入侵检测和网络监视的功能。本实用新型将病毒及威胁统计分析装置将网络海量数据分割成数据块后分配到计算机集群的各个节点进行并行分布式处理，大大提高了海量数据的处理能力和效率，可满足电信级别骨干网络病毒及威胁的分析监测要求，并可平滑扩展到更高带宽的链路环境。采用云环境下这种Hadoop虚拟话架构，大大节省了由于要处理海量信息所花费的成本，同时也避免了由于单系统节点处理出现信息遗漏的问题。

(2)本实用新型监测系统中设置有与第三方网络设备或4A系统连接的可扩展接口模块，网络病毒和威胁监测系统能够配合第三方网络设备或4A系统实现联动处理网络病毒和威胁的功能。第三方网络设备可为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种，通过第三方网络设备实现对电信级别的海量数据环境下的网络病和毒威胁做到了精确定位。

附图说明

图1是本实用新型监测系统结构组成框图。

具体实施方式

下面结合实施例及附图对本实用新型作进一步详细的描述，但本实用新型的实施方式不限于此。

实施例

如图1所示，本实施例公开了一种基于Hadoop架构的网络病毒和威胁监测系统，包括病毒及威胁统计分析装置、病毒检测装置、网络威胁检测装置以及可扩展接口模块，其中病毒检测装置、网络威胁检测装置和可扩展接口模块分别与病毒及威胁统计分析装置连接。

病毒及威胁统计分析装置，采用云计算环境下Hadoop架构中的MapReduce技术，利用分光器将网络海量数据包分光复制出一份，再将网络海量数据包自动分割成若干个Map任务，即若干个数据块，实现对TCP/IP数据报文进行高速的拆封，并且将这些数据块分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为即网络威胁的数据块；被分割的数据块能够通过Map函数在计算机集群各节点中进行分布式并行的分析处理。解决了在电信级别等网络环境下大规模数据处理的特定需求，大大提高了海量数据的处理能力和效率。在本实施例中病毒及威胁统计分析装置包括数据分割模块和数据分析模块，其中数据分割模块的输出端连接数据分析模块的输入端：

数据分割模块，采用Hadoop架构中的MapReduce技术将网络中海量数据包自动分割成数据块，即将网络中海量数据包拆分成若干个Map任务，这些Map任务被分配到计算机集群的各个节点上去执行，每个Map任务处理输入数据中的一部分；

以及数据分析模块，对分配到计算机集群各个节点的数据块进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；并且将含有网络被病毒特征的数据块转入到病毒检测装置，将含有入侵行为的数块据转让到网络威胁检测装置。

病毒检测装置，接收病毒及威胁统计分析装置发送的含有网络病毒特征的数据块，并且对接收到的数据进行病毒扫描、分类以及查杀；其中本实施中病毒检测装置包括依次连接的病毒扫描(Virus scan)模块、信息分类(INFO classify)模块、病毒查杀(Kill virus)模块和病毒特征更新(Live update)模块，其中病毒扫描模块的输入端连接病毒及威胁统计分析装置的输出端；

病毒扫描(Virus scan)模块，对分配到计算机集群各节点中含有网络病毒特征的数据块进行病毒扫描，检测出数据中是否存在病毒潜在的可疑信息；

信息分类(INFO classify)模块，用于对病毒扫描模块扫描出的存在病毒潜在的可疑信息进行分类，并将这些信息上传，管理员根据这些信息判断含有网络病毒特征的数据是否感染病毒；

病毒查杀(Kill virus)模块，对感染病毒的数据进行病毒的查杀；

以及病毒特征更新(Live update)模块，对病毒特征库进行更新。

网络威胁检测装置，用于接收病毒及威胁统计分析装置发送的含有入侵行为的数据块，并且采用入侵检测方法对接收的数据块进行检测，在检测到含有入侵行为时进行报警，并且对入侵行为进行阻截。通过网络威胁检测装置检测网络中是否存在违反安全策略的行为和被入侵的迹象。在本实施例中网络威胁检测装置包括依次连接的信息收集模块、入侵迹象分析引擎模块和主动协同学习功能模块；其中信息收集模块的输入端连接病毒及威胁统计分析装置的输出端。

信息收集模块，用于收集进入到网络威胁检测装置的含有入侵行为的数据块以及日志文件；

入侵迹象分析引擎模块，用于对信息收集模块手机的数据块进行分析，并且与日志文件进行文联，确定数据块是否存在入侵行为，若是存在，则进行报警；

主动协同学习功能模块，与其他安全软件平台或系统协同工作，获得病毒信息以及网络威胁等安全信息数据，以更新自身信息库。

本实施例可扩展接口模块用于与第三方网络设备或4A系统连接，使得网络病毒和威胁监测系统能够配合第三方网络设备或4A系统实现联动处理网络病毒和威胁的功能。其中包含设备接口控制协议，传输速率等。本实施例中可扩展接口模块包括防火墙、交换机、流量控制设备和防DDos设备接口；本实施例中第三方网络设备为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种，通过第三方网络设备实现对电信级别的海量数据环境下的网络病和毒威胁做到了精确定位。

在本实施例为基于云环境Hadoop架构下的网络病毒和威胁监测系统。其中Hadoop为一个多系统节点的架构，多个系统节点构成了一个集群，且集群中的系统节点可无限扩展，同一集群可实现并行处理同一个任务，大大提高了海量数据的处理能力和效率，可满足电信级别链路的网络病毒及威胁的监测要求，并可平滑扩展到更高带宽的链路环境。在云环境下采用虚拟化架构，大大节省了由于要处理海量信息所待的成本，同时也避免了由于单系统节点处理信息遗漏的问题。

本实施例Hadoop架构的网络病毒和威胁监测系统的工作过程如下：

(1)病毒及威胁统计分析模块采用云计算环境下Hadoop架构中的MapReduce技术，利用分光器将网络海量数据包分光复制出一份，再将海量数据包自动分割成成Map函数能够完全并行处理的独立数据块并且分配到计算机集群的各个节点中进行数据特征分析，分析出含有网络病毒特征和含有入侵行为的数据块；其中每个独立的数据块相对于一个Map任务，这些Map任务被分配到计算机集群的各个节点中进行分布式执行。

(2)病毒检测模块对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描、分类和查杀；具体过程为：

首先，病毒扫描(Virus scan)模块采用启发式代码扫描方法结合传统知识库即病毒特征库对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描，检测出数据块中是否存在木马、蠕虫、间谍程序等潜在的可疑信息。本实施例中在采用启发式代码扫描方法后，再利用传统知识库即病毒特征库实现病毒扫描，其中传统知识库即病毒特征库扫描方法具体过程如下：

网络病毒及威胁监测引擎VEngine遍历目录，生成被扫描对象AScanObj，并生成的将扫描对象AScanObj传递到病毒特征库m_pcVDB；

病毒特征库m_pcVDB搜索自身的记录，并调用被扫描对象的Compaare()ID，将被扫描对象与病毒特征库中的信息进行匹配；

返回被扫描对象匹配结果，根据匹配结果判断被扫描对象是否为病毒身份，以得出计算机集群各节点含有网络病毒特征的数据块是否存在网络病毒潜在的可疑信息。

然后，信息分类(INFO classify)模块对可疑信息进行分类并且上传，管理员根据上传的分类可疑信息判断对应数据块是否感染病毒；

最后，病毒查杀(Kill virus)模块针对存在病毒感染的数据块进行病毒查杀，同时通过病毒特征更新(Live update)模块对病毒特征库进行更新。

(3)、网络威胁检测模块采用入侵检测方法对分配到计算机集群各个节点中含有入侵行为的数据块进行入侵检测，通过信息收集模块收集进入到网络威胁检测模块的含有入侵行为的数据块以及日志文件，在发现有入侵迹象时，入侵迹象分析引擎模块对其入侵迹象分析模式匹配性，确认是否为入侵行为，在进行数据完整性分析，确认数据块是否已经被串改，在确认入侵行为时，进行报警并且对入侵行为进行阻截，并记录入侵行为来源，将来源进行封堵；管理人员在接收到报警后，及时进行相关处理。

(4)、采用云计算环境下Hadoop架构中MapReduce技术的Reduce函数对计算机集群节点上被感染网络病毒的各数据块以及获取的计算机集群节点上存在网络入侵行为的各数据块进行信息统计汇总，其中计算机集群节点上被感染网络病毒的各数据块以及计算机集群节点上存在网络入侵行为的各数据块为Map任务完成时声称的中间文件，这些中间文件作为Reduce任务的输入数据，输出网络病毒和网络威胁的分析汇总信息。

本实施例病毒检测模块中病毒扫描模块采用启发式代码扫描方法结合传统知识库即病毒特征库对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描。当然本实施例也可以采用检查常规内存数法、系统数据对比法、实时检测法或软件模拟法结合传统知识库即病毒特征库对分配到计算机集群各个节点中含有网络病毒特征的数据块进行病毒扫描。

其中启发式代码扫描方法利用自主的查杀功能对病毒进行处理，其中包含原始代码分析、特征代码标示和人工分析，当启发式代码扫描完成后，将启用传统的特征病毒库扫描，双层对比扫描，将病毒完全阻截出来。启发式代码扫描方法是把程序员对病毒与程序的区别的这种经验和知识移植到一个防病毒产品中。所谓启发式指“自我发现的能力”或“运用某种方式或方法去判定事物的知识和技能”。一个运用启发式代码扫描方法的病毒检测产品，实际上就是以特定方式实现的动态反编译器，通过对有关指令序列的反编译足部理解和去顶其蕴藏的真正动机。

上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。

Claims (7)

1.一种基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，包括：病毒及威胁统计分析装置、病毒检测装置和网络威胁检测装置，所述病毒检测装置和网络威胁检测装置分别与病毒及威胁统计分析装置连接。

2.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，还包括与病毒及威胁统计分析装置连接的可扩展接口模块，用于与第三方网络设备或4A系统连接，使得网络病毒和威胁监测系统配合第三方网络设备或4A系统联动处理网络病毒和威胁。

3.根据权利要求2所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述可扩展接口模块包括防火墙、交换机、流量控制设备和防DDos设备接口。

4.根据权利要求3所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，与可扩展接口模块连接的第三方网络设备为防火墙、交换机、流量控制设备或防DDos设备中的其中一种或多种。

5.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述病毒及威胁统计分析装置包括数据分割模块和数据分析模块，数据分割模块的输出端和数据分析模块的输入端连接。

6.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述病毒检测装置包括依次连接的病毒扫描模块、信息分类模块、病毒查杀模块以及病毒特征更新模块，其中病毒扫描模块的输入端连接病毒及威胁统计分析装置的输出端。

7.根据权利要求1所述的基于Hadoop架构的网络病毒和威胁监测系统，其特征在于，所述网络威胁检测装置包括依次连接的信息收集模块、入侵迹象分析引擎模块以及主动协同学习功能模块，信息收集模块的输入端连接病毒及威胁统计分析装置的输出端。