CN102385677B - 一种统一威胁管理系统及其数据处理方法 - Google Patents

Abstract

本发明提供了一种统一威胁管理系统及其数据处理方法；系统包括：数据存储模块，包括多个数据池，各所述数据池分别用于存储一种类型的数据；服务处理模块，包括一个或多个计算池，各计算池分别用于进行实现一种服务功能的处理操作，从用于存储本计算池所需类型的数据的所述数据池读取数据，将处理后的数据输出给用于存储该类型数据的数据池；管理中心，用于保存各数据池和数据的类型之间的第一对应关系，及各计算池与服务功能之间的第二对应关系。本发明可以避免直接耦合的一体化安全网关存在的动态扩展性和容错性方面的不足。

Description

一种统一威胁管理系统及其数据处理方法

技术领域

本发明涉及网络安全领域，具体涉及一种统一威胁管理系统及其数据处理方法。

背景技术

UTM(Unified Threat Management，安全网关)作为网关类产品，软件结构要有利于提升整体性能。UTM作为统一威胁管理类产品，功能涵盖了入侵防御、防病毒、防垃圾邮件、内容过滤和流量管理等多项功能，那么必然包含多项的分析处理引擎，如何融合分析处理引擎，合并性能消耗关键业务单元成为UTM产品软件结构设计首要考虑的问题。当前业界比较流行的方式是在一体化安全网关的软件结构设计上引入了一体化的设计理念。即将入侵防御、防病毒、防垃圾邮件、内容过滤和流量管理等各项功能的分析处理引擎进行一体化设计，以达到性能最优的目的。

研究表明，网关类产品性能消耗50％来自于模式匹配，25％来自于协议重组、25％来自于报文重组。因为模式匹配是分析处理引擎的关键性能消耗单元，因此，分析处理引擎的一体化首先是模式匹配单元的融合。对于不同的功能模块，模式匹配是基于不同特征库的，因此模式匹配的融合主要是特征库的统一。

一体化安全网关实现了特征库的统一，通过对病毒特征库、入侵特征库、内容过滤特征库、垃圾邮件特征库等统一进行格式化和归并处理，并采用标签的方式转发到不同模块的处理引擎进行分项处理。完全实现了分析处理引擎的一体化设计，极大的提高了多功能模块同时运行时的运行效率。

一体化安全网关本着安全高效原则，采用“检测与控制相分离，引擎特征相统一”的一体化设计思想，最终形成了如图1的总体软件结构。其中包括，人机界面、报文接收模块、报文处理模块、报文发送模块和支撑库，网络报文首先通过报文接收模块进行报文预处理和流分类后进入报文处理模块，在报文处理模块，防火墙FW进行2-3层过滤，VPN(Virtual PrivateNetwork，虚拟专用网络)负责接入控制；其次模块匹配引擎和行为分析引擎分别根据支撑库中的统一特征库和行为知识库进行匹配查找；最后，对于合法报文直接交由报文发送模块进行报文转发，对于非法报文，送交相应的处理引擎(包括内容过滤处理引擎、互联网协议群IPS处理引擎、防病毒处理引擎、防垃圾邮件处理引擎)进行处理。整个过程的日志信息和数据流量信息送数据中心监控和备案，管理中心负责整体的配置和调整。

在一体化安全网关软件结构中，虽然通过一体化的方法将多种匹配引擎特征统一起来，以提高系统的处理速率，但系统中各模块之间仍然是直接耦合的关系，也就是说，一个处理模块的输出直接作为另一个或多个模块的输入。这种直接耦合的结构具有以下特点：(1)各个功能模块的输入和输出数据被耦合的模块所私有，不被其它模块所知。(2)各功耦合模块之间直接进行通信，将自己的输出推送给下一模块的输入端。(3)各个功能模块的输入是被动的，表现在数据输入要靠其它模块推送，输入数据的类型自己不能主动提出。

直接耦合的一体化安全网关软件结构存在以下不足：(1)直接耦合的造成的数据私有化，不利于系统功能的动态扩展。因为私有化的输入输出数据不为耦合模块之外的其它模块所知，当要加入一个处理模块时，不知道可以从哪个模块获得适应的输入数据。还有，由于各个功能模块的直接输入输出数据推送，当要加入一个处理模块时，已存在的模块不能将输出数据推送给新加的模块。(2)耦合模块之间数据的直接推送，使得耦合模块之间形成了一种依赖关系，即后向依赖。当一个模块输出数据时，要保证数据的接收方是存活的，并且能接收数据，一旦后继模块不能及时接收处理数据，则可能影响前继模块的功能处理。这种后向依赖，使得系统对故障的传播比较敏感，不利于系统的容错和稳定。

发明内容

本发明要解决的技术问题是提供一种统一威胁管理系统及其数据处理方法，可以避免直接耦合的一体化安全网关存在的动态扩展性和容错性方面的不足。

为了解决上述问题，本发明提供了一种统一威胁管理系统，包括：

数据存储模块，包括多个数据池，各所述数据池分别用于存储一种类型的数据；

服务处理模块，包括一个或多个计算池，各计算池分别用于进行实现一种服务功能的处理操作，从用于存储本计算池所需类型的数据的所述数据池读取数据，将处理后的数据输出给用于存储该类型数据的数据池；

管理中心，用于保存各数据池和数据的类型之间的第一对应关系，及各计算池与服务功能之间的第二对应关系。

进一步地，各所述数据池分别包括：

存储器，用于保存本数据池对应的类型的数据，以及保存所有需要该类型的数据的计算池的标识；

数据监控器，用于当接收到数据时，保存在所述存储器中并记录该数据的数据存储位置；每次保存后产生一个数据提取通知，发送给所述存储器保存的标识对应的计算池，在所述数据提取通知中携带本次记录的数据存储位置；以及当收到一计算池的数据提取消息时，按该数据提取消息中携带的数据存储位置从所述存储器中读取数据，发送给该计算池。

进一步地，所述存储器通过一个计算池标识列表保存所有需要该类型数据的计算池的标识；

所述管理中心还用于当建立/注销一个计算池后，查找该计算池所需数据的类型对应的数据池，在查找到的数据池的所述计算池标识列表中增加/删除该计算池的标识。

进一步地，各所述计算池分别包括：

执行器，用于执行一个或多个实现本计算池对应的服务功能的处理进程；各处理进程对输入的数据进行处理后输出；

服务管理器，用于接收到一数据池的所述数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，其中携带所述数据提取通知里携带的数据存储位置；从该数据池中提取到数据后，输入给所述执行器中各处理进程；接收所述执行器中各处理进程输出的数据，发送给用于存储该类型数据的数据池。

进一步地，所述管理中心还用于当系统增加一个服务功能时，建立用于进行实现该服务功能的处理的计算池，在所述第二对应关系中记录该服务功能和该计算池的对应关系；根据所述第一对应关系，将该计算池的输入指向该计算池所需数据的类型对应的数据池，输出指向该计算池处理后的数据的类型对应的数据池。

进一步地，所述管理中心在建立计算池时，还用于先根据所述第一对应关系判断，是否存在该计算池所需数据的类型对应的数据池，如果没有，则不建立该计算池；

所述管理中心将计算池的输出指向该计算池处理后的数据的类型对应的数据池是指：

所述管理中心根据所述第一对应关系查找该计算池处理后的数据的类型对应的数据池，将该计算池的输出指向所查找到的数据池；如果查找不到，则建立用于存储新的数据池，将该计算池的输出指向该新的数据池，在所述第一对应关系中记录该新的数据池和该计算池输出数据的类型之间的对应关系。

进一步地，所述计算池还用于定时向管理中心发送心跳信息；当本计算池不能实现所对应的服务功能时，停止发送心跳信息；

所述管理中心当未收到某计算池的心跳信息的持续时间大于或等于一预设的时间阈值时，注销该计算池；注销后，判断是否还有其它计算池输出的数据的类型与该计算池输出数据的类型相同，如果没有，则注销该计算池输出数据的类型对应的数据池。

本发明还提供了一种统一威胁管理系统的数据处理方法，包括：

建立多个数据池，各所述数据池分别存储一种类型的数据，保存各数据池和数据的类型之间的第一对应关系；

按照所述统一威胁管理系统要实现的服务功能建立一个或多个计算池，各计算池分别进行实现一种服务功能的处理操作，保存各计算池与服务功能之间的第二对应关系；

所述计算池从存储本计算池所需类型的数据的所述数据池读取数据，对数据进行处理，将处理后的数据输出给存储该类型数据的数据池。

进一步地，所述计算池从存储本计算池所需类型的数据的所述数据池读取数据的步骤包括：

各所述数据池分别保存所有需要本数据池对应类型的数据的计算池的标识；

所述数据池当接收到数据时，保存该数据并记录该数据的数据存储位置；每次保存后产生一个数据提取通知，发送给所保存的标识对应的计算池，在所述数据提取通知中携带本次记录的数据存储位置；

所述计算池接收到数据池的所述数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，携带所述数据提取通知里携带的所述数据存储位置；

所述数据池当收到所述计算池的数据提取消息时，按所述数据存储位置读取数据，发送给该计算池。

进一步地，所述计算池对数据进行处理的步骤包括：

所述计算池执行一个或多个实现本计算池对应的服务功能的处理进程；

各处理进程对输入的数据进行处理。

进一步地，所述的方法还包括：

所述数据池通过一个计算池标识列表保存所有需要本数据池对应类型的数据的计算池的标识；

当建立/注销一个计算池后，查找该计算池所需数据的类型对应的数据池，在查找到的数据池的所述计算池标识列表中增加/删除该计算池的标识。

进一步地，所述的方法还包括：

当系统增加一个服务功能时，建立用于进行实现该服务功能的处理的计算池，在所述第二对应关系中记录该服务功能和该计算池的对应关系；根据所述第一对应关系，将该计算池的输入指向该计算池所需数据的类型对应的数据池，输出指向该计算池处理后的数据的类型对应的数据池。

进一步地，在建立计算池的步骤前，还包括步骤：根据所述第一对应关系判断，是否存在该计算池所需数据的类型对应的数据池，如果没有，则不建立该计算池；如果有，则建立该计算池；

所述将计算池的输出指向该计算池处理后的数据的类型对应的数据池的步骤包括：

根据所述第一对应关系查找该计算池处理后的数据的类型对应的数据池，将该计算池的输出指向所查找到的数据池；

如果查找不到，则建立用于存储新的数据池，将该计算池的输出指向该新的数据池，在所述第一对应关系中记录该新的数据池和该计算池输出数据的类型之间的对应关系。

进一步地，所述的方法还包括：

所述计算池定时发送心跳信息；当本计算池不能实现所对应的服务功能时，停止发送心跳信息；

当某计算池不发送心跳信息的持续时间大于或等于一预设的时间阈值时，注销该计算池；注销后，判断是否还有其它计算池输出的数据的类型与该计算池输出数据的类型相同，如果没有，则注销该计算池输出数据的类型对应的数据池。

本发明的技术方案通过将数据和功能池化，可以克服直接耦合系统的以上不足，将各处理模块的直接耦合变为通过数据缓冲区形成的间接耦合，有效地限制了故障的传播，具有极强的动态扩展性、可靠性以及可维护性；另外还通过数据驱动，实现存储、传输以及处理的分布式全并行处理，可以有效地提高整个系统的处理速度及整体的性价比。

附图说明

图1是现有的一体化安全网关的总体软件结构示意图；

图2是实施例一的统一威胁管理系统整体结构示意图；

图3是实施例一的统一威胁管理系统的数据池结构示意图；

图4是实施例一的统一威胁管理系统的计算池结构示意图；

图5是实施例二的统一威胁管理系统的数据存储模块组成示意图；

图6是实施例三的统一威胁管理系统的服务处理模块组成示意图；

图7是实施例四的统一威胁管理系统的工作流程图；

图8是实施例十四的统一威胁管理系统的网页木马检测处理流程图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一，一种统一威胁管理系统，如图2所示，包括：

数据存储模块102，包括多个数据池，各数据池分别用于存储一种类型的数据，各数据池存储的数据的类型互不相同；也就是说，所述数据存储模块102按存储的数据类型划分成不同的存储子模块，将每个存储子模块称为一个数据池；

服务处理模块103，包括一个或多个计算池，各计算池分别用于进行实现一种服务功能的处理操作，从用于存储本计算池所需类型的数据的所述数据池读取数据，将处理后的数据输出给用于存储该类型数据的数据池；各计算池提供的服务功能互不相同；也就是说，服务处理模块103按提供服务功能的不同划分成不同的服务子模块，将每个服务子模块称为一个计算池。

管理中心101，用于保存各数据池和数据的类型之间的第一对应关系(即各数据池所存储的数据的类型)，及各计算池与服务功能之间的第二对应关系(即各计算池所实现的服务功能)。

本实施例中，不同的“服务功能”可以按照对报文数据的不同处理任务来划分；可以认为一个独立的处理任务提供一种服务功能，由一个独立的处理过程作为一个服务子模块，形成一个计算池；所述“独立的处理任务”是指，该处理任务在读取完所需数据后，到处理完成的整个任务中，不需要再获取其它处理任务的数据，也没有中间数据(即处理过程中得到的数据，而不是“处理后的数据”)是其它处理任务所需要的；当然，该独立的处理任务可产生只供本处理任务使用的中间数据，处理后的数据也可供其它处理任务使用。

本实施例中，一个计算池可需要一种或多种类型的数据，可产生一种或多种类型的数据，相应的，一个计算池从一个或多个数据池读取数据，将处理后的数据输出给一个或多个数据池。

本实施例中，当加入新的计算池时，根据其输入/输出数据的类型，就可以有效地与相应数据池进行耦合，因此提高了系统的可扩展性；而完成不同处理功能的计算池之间通过数据池来中转数据，即使进行后继处理的计算池出错而不能及时接收数据，也不会影响前一计算池，因此加强了系统的容错性和稳定。

本实施例中，所述管理中心101可以但不限于通过维持一个全局的数据池注册表保存所述第一对应关系，还可以在该数据池注册表中保存各数据池输入和输出数据的计算池。

本实施例中，所述管理中心101可以但不限于通过一个全局的计算池注册表保存所述第二对应关系，还可以在该计算池注册表中保存各计算池输入和输出数据的数据池(即所需数据的类型对应的数据池，和输出数据的类型对应的数据池)、需要/输出的数据的类型等。

实际应用时也可以采用其它形式保存第一、第二对应关系。

本实施例中，所述管理中心101还可以根据当前所述数据池注册表和计算池注册表的内容，提供系统的数据类型报告和服务功能报告，以指示该系统当前保存了哪些类型的数据，以及可以提供哪些服务功能。

本实施例中，所述管理中心101还可以用于建立计算池及数据池；如果采用计算池/数据池注册表，则当建立计算池/数据池时在所述计算池/数据池注册表中添加新的表项。

本实施例中，所述管理中心101还可以用于注销计算池及数据池；如果采用计算池/数据池注册表，则当注销计算池/数据池时在所述计算池/数据池注册表中删去相应的表项。

本实施例的一种实施方式中，所述数据池还可以用于每当接收到新的数据并保存时，产生一个数据提取通知，在其中携带该新数据的数据存储位置，发送给所有需要使用本数据池所保存类型的数据的计算池；当收到一计算池的数据提取消息后，根据其中携带的数据存储位置，读取数据发送给该计算池；

所述计算池收到一数据池发送的数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，其中携带所述数据提取通知中的数据存储位置。

本实施例的其它实施方式中，也可以是所述数据池收到新的数据后，就直接发送给所有需要该类型的数据的计算池；还可以是计算池当需要时再从相应的数据池获取数据，或定期监测相应数据池，当发现有新数据到达时进行获取。

实际应用时，数据如何从数据池传输给计算池的方案并不限于以上实施方式。

本实施例中，不同的数据池可以分布在不同的物理执行单元上；每个数据池有一个唯一的第一标识。所述物理执行单元可以是一台独立的网络计算机或是服务器集群中的一台主机，也可以是高级电信计算机体系结构(Advanced TCA或ATCA)的刀片式服务器上的一个刀片。

本实施例中，不同的计算池可以分布在不同的物理执行单元上，同一个计算池也可以分布在不同的物理执行单元上；每个计算池有一个唯一的第二标识。

本实施例中，所述管理中心101可以独立于数据存储模块102和服务处理模块103之外；也可以将全部或部分功能分布在数据存储模块102和服务处理模块103中实现，比如一部分位于数据存储模块102中，用于保存各数据池和数据的类型之间的第一对应关系；而另一部分位于服务处理模块103中，用于保存各计算池与服务功能之间的第二对应关系。

本实施例的一个具体例子中的数据存储模块102如图3所示，包括：

网络原始报文数据池301、IP报文池302、UDP报文数据池303、TCP报文数据池304、HTTP报文数据池305、SMTP报文数据池306、POP3报文数据池307、报警数据池308、其它数据池。

实际应用时，所述数据存储模块102至少包括网络原始报文数据池301，可以但不限于包括上述任一种数据池或其任意组合；可根据实际可能用到的数据类型来选择。

本实施例的一个具体例子中的服务处理储模块103如图4所示，包括：

报文碎片处理计算池401、流重组计算池402、协议解析计算池403、特征检测计算池404、关联分析计算池405、报警输出计算池406、其它计算池。

实际应用时，所述服务处理储模块103可以但不限于包括上述任一种计算池或其任意组合；可根据实际可能要实现的服务功能来选择；各计算池的实现可采用现有实现相应服务功能的处理方案。

实施例二，一种统一威胁管理系统，包括实施例一中的服务处理模块103、数据存储模块102和管理中心101。

本实施例中，各所述数据池如图5所示，分别可以具体包括：

存储器，用于保存本数据池对应的类型的数据，以及保存所有需要该类型的数据的计算池的第二标识；

数据监控器1021，用于当接收到数据(可以是网络原始报文数据，也可以是所述服务处理模块103中计算池输出的数据)时，保存在所述存储器中并记录该数据的数据存储位置；每次保存后产生一个数据提取通知，发送给所述存储器保存的第二标识对应的计算池，在所述数据提取通知中携带本次记录的数据存储位置；以及当收到一计算池的数据提取消息时，按该数据提取消息携带的数据存储位置从所述存储器中读取数据，发送给该计算池。

本实施例中，所述存储器可以但不限于通过一个计算池标识列表1022保存需要使用所保存类型的数据的计算池的第二标识；可以但不限于采用一数据队列1023保存数据，此时，所述数据监控器1021各次保存数据时，将数据封装为一个数据单元，保存在所述数据队列1023中。

本实施例中，所述数据监控器1021还可以用于向所述管理中心101发送心跳信息，以表示该数据池正常工作，即可以接收和输出数据；

所述管理中心101还可以用于当未收到某个数据池的心跳信息的持续时间大于或等于第一时间阈值时，注销该数据池。

本实施例中，所述管理中心101还可以用于当建立/注销一个计算池后，根据所述第一对应关系或计算池注册表查找该计算池所需数据的类型对应的数据池，在查找到的数据池的所述计算池标识列表1022中增加/删除该计算池的第二标识。

本实施例中，所述数据存储位置可以但不限于为存储地址，也可以是数据单元在数据队列中的序号等。

实施例三，一种统一威胁管理系统，包括实施例一或二中的服务处理模块103、数据存储模块102和管理中心101。

本实施例中，各所述计算池如图6所示，分别可以具体包括：

执行器1032，用于执行一个或多个实现本计算池对应的服务功能的处理进程；当有多个处理进程时，这些处理进程可以相同或不同；各处理进程对输入的数据进行处理后输出；执行器1032可以看成是一个处理进程集；

服务管理器1031，用于接收到一数据池的所述数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，其中携带所述数据提取通知里携带的数据存储位置；从该数据池中提取到数据后，输入给所述执行器中各处理进程；接收所述执行器中各处理进程输出的数据，发送给用于存储该类型数据的数据池。

本实施例中，所述服务管理器1031可以保存本计算池输出数据的类型对应的数据池的第一标识，输出处理后的数据时，就输出给所保存的第一标识表示的数据池。

本实施例中，所述计算池还可以用于定时向管理中心101发送心跳信息，以表示其提供的服务是活动的，可以但不限于由所述服务管理器1031发送；当本计算池发生故障，不能提供所对应的服务功能(比如其所在的执行单元死机或掉电)时，就停止发送心跳信息。

所述管理中心101当未收到某计算池的心跳信息的持续时间大于或等于一预设的第二时间阈值时，注销该计算池。

本实施例中，所述服务管理器1031还可以用于对本计算池中的处理进程进行管理，包括任务划分，负载均衡等。

本实施例中，所述计算池可通过服务管理器1031形成一个自治系统，当收到一个数据池的数据提取通知时，可以根据本计算池中处理进程的要求自行决定要从哪些数据池中所提取所需的数据以及提取多少数据；提取数据之后，如何在计算池中分发数据也可以由所述服务管理器1031自行负责。

本实施例中，所述计算池可以部署在由多个服务器形成的集群上，服务管理器1031所在的节点为主节点，其余节点作为副节点。

实施例四，参见图7，一种实施例三中的统一威胁管理系统的数据处理流程可以包括以下步骤：

步骤701，启动至少一台计算机；

步骤702，在其中一台计算机上运行管理中心；

步骤703，注册第一个数据池作为网络原始报文数据池，保存由网络捕包器件捕获的网络原始数据包；

步骤704，注册其它数据池和计算池；

步骤705，执行各种处理操作，进行统一威胁管理所需的各种服务功能对应的处理操作；

步骤706，当要添加一个新的服务功能时，配置新的服务管理器并运行新的服务管理器，注册一个新的计算池。

步骤707，当要删除一个服务功能时，直接将其对应的计算池的服务管理器和其管理的处理进程关闭，注销相应计算池。

实施例五，一种统一威胁管理系统，包括实施例一、二或三中的服务处理模块103、数据存储模块102和管理中心101。

本实施例中，所述管理中心101还可以用于当系统增加一个服务功能时，建立用于进行实现该服务功能的处理的计算池，在所述第二对应关系中记录该服务功能和该计算池的对应关系；根据所述第一对应关系，将该计算池的输入指向该计算池所需数据的类型对应的数据池，输出指向该计算池处理后的数据的类型对应的数据池。

本实施例中，如果采用的是实施例二中的数据池，则将计算池的输入指向该数据池，即将该计算池的第二标识添加进该数据池的所述计算池标识列表1023中。如果采用的是实施例三中的计算池，则将计算池的输出指向相应的数据池，即将该数据池的第一标识保存进该计算池的所述服务管理器1031。

本实施例中，所述管理中心101在建立计算池时，还可以用于先根据所述第一对应关系判断，是否存在该计算池所需数据的类型对应的数据池，如果没有，则不建立该计算池；如果有，则建立该计算池。

本实施例中，所述管理中心101将计算池的输出指向该计算池处理后的数据的类型对应的数据池具体可以是指：

所述管理中心101根据所述第一对应关系查找该计算池处理后的数据的类型对应的数据池，将该计算池的输出指向所查找到的数据池；如果查找不到，则建立用于存储新的数据池，将该计算池的输出指向该新的数据池，在所述第一对应关系中记录该新的数据池和该计算池输出数据的类型之间的对应关系。

本实施例中，所述管理中心101当添加一个已有服务功能的处理进程时，直接根据所述第二对应关系将该处理进程添加入该服务功能对应的计算池中。

本实施例中，所述管理中心101还可以用于当注销一个计算池后，判断是否还有其它计算池输出的数据的类型与该计算池输出数据的类型相同，如果没有，则注销该计算池输出数据的类型对应的数据池。

实施例六，实施例五中的管理中心101的一种工作流程包括以下步骤：

步骤601，在选中的一台计算机上创建数据池注册表和计算池注册表；

步骤602，在至少一台计算机上申请适当大小的存储空间，作为数据存储模块102，并建立一个网络原始报文数据池；

步骤603，维护数据存储模块102和服务处理模块103。

本实施例中，管理中心101建立一个数据池的一种实施工作方式为：

步骤801，在一台计算机上中按数据类型及预设的数据队列的大小，建立数据队列；

步骤802，启动一个数据池监控进程；

步骤803，管理中心在数据池注册表中增加一个表项，并填写数据池名称及数据池标识；数据池标识可以由数据监控器所在的主机地址、进程号等组成。

本实施例中，管理中心101建立一个计算池的一种实施工作方式为：

步骤901，在一台计算机上启动一个服务管理器，如果本计算池有新的类型的数据输出，还要向管理中心注册一个数据池；

步骤902，在至少一台计算机上启动至少一个处理进程；

步骤903，在计算池注册表中增加一个表项，并填写服务名称及计算池标识；计算池标识可以由服务管理器所在的主机地址、进程号等组成；

步骤904，在数据池注册表中查找所建立的计算池所需数据的类型对应的数据池名称及相应的数据池标识，并将建立的计算池的标识添加到该数据池的计算池标识列表中。

实施例七，一种统一威胁管理系统的数据处理方法，包括：

建立多个数据池，各所述数据池分别存储一种类型的数据，保存各数据池和数据的类型之间的第一对应关系；可以但不限于以数据池注册表保存该第一对应关系；

按照所述统一威胁管理系统要实现的服务功能建立一个或多个计算池，各计算池分别进行实现一种服务功能的处理操作，保存各计算池与服务功能之间的第二对应关系；可以但不限于以计算池注册表保存该第二对应关系；

所述计算池从存储本计算池所需类型的数据的所述数据池读取数据，对数据进行处理，将处理后的数据输出给存储该类型数据的数据池。

本实施例中，所述计算池从存储本计算池所需类型的数据的所述数据池读取数据的步骤具体可以包括：

各所述数据池分别保存所有需要本数据池对应类型的数据的计算池的标识；可以但不限于以一个计算池标识列表保存；

所述数据池当接收到数据时，保存该数据并记录该数据的数据存储位置；每次保存后产生一个数据提取通知，发送给所保存的标识对应的计算池，在所述数据提取通知中携带本次记录的数据存储位置；

所述计算池接收到数据池的所述数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，携带所述数据提取通知里携带的所述数据存储位置；

所述数据池当收到所述计算池的数据提取消息时，按所述数据存储位置读取数据，发送给该计算池。

本实施例中，所述计算池对数据进行处理的步骤具体可以包括：

所述计算池执行一个或多个实现本计算池对应的服务功能的处理进程；

各处理进程对输入的数据进行处理。

本实施例中，所述的方法还可以包括：

当添加一个已有服务功能的处理进程时，直接在将该处理进程添加入相应的计算池中。

本实施例中，所述的方法还可以包括：

所述数据池通过一个计算池标识列表保存所有需要本数据池对应类型的数据的计算池的标识；

当建立/注销一个计算池后，查找该计算池所需数据的类型对应的数据池，在查找到的数据池的所述计算池标识列表中增加/删除该计算池的标识。

其中，对于计算池的划分等实现细节可同实施例一。

实施例八，一种统一威胁管理系统的数据处理方法，除了实施例七中的步骤外，还包括步骤：

当系统添加一个新的服务功能时，建立用于进行实现该服务功能的处理的计算池，在所述第二对应关系中记录该服务功能和该计算池的对应关系；根据所述第一对应关系，将该计算池的输入指向该计算池所需数据的类型对应的数据池，输出指向该计算池处理后的数据的类型对应的数据池。

本实施例中，在建立计算池的步骤前，还可以包括步骤：根据所述第一对应关系判断，是否存在该计算池所需数据的类型对应的数据池，如果没有，则不建立该计算池；如果有，则建立该计算池；

所述将计算池的输出指向该计算池处理后的数据的类型对应的数据池的步骤具体可以包括：

根据所述第一对应关系查找该计算池处理后的数据的类型对应的数据池，将该计算池的输出指向所查找到的数据池；

如果查找不到，则建立用于存储新的数据池，将该计算池的输出指向该新的数据池，在所述第一对应关系中记录该新的数据池和该计算池输出数据的类型之间的对应关系。

实施例九，一种统一威胁管理系统的数据处理方法，除了实施例七和八中的步骤外，还包括步骤：

所述计算池定时发送心跳信息；当本计算池不能实现所对应的服务功能时，停止发送心跳信息；

当某计算池不发送心跳信息的持续时间大于或等于一预设的时间阈值时，注销该计算池。

本实施例中，注销计算池后，判断是否还有其它计算池输出的数据的类型与该计算池输出数据的类型相同，如果没有，则注销该计算池输出数据的类型对应的数据池。

本实施例中，数据池也可以定时发送心跳消息；如果某个数据池未能在规定的时间间隔内发送心跳信息，则注销该数据池。

实施例十，实施例九的统一威胁管理系统的数据处理方法中，注销一个数据池的一种实施工作方式为：

步骤1001，在数据池注册表中找到并删除相应的表项；

步骤1002，终止该数据池的监控进程；

步骤1003，释放该数据池的数据队列。

实施例十一，实施例九的统一威胁管理系统的数据处理方法中，注销一个计算池的一种实施工作方式为：

步骤1101，在计算池注册表中找到并删除相应的表项；

步骤1102，注销该计算池输出数据的数据池。

步骤1103，在其获取输入数据的数据池的计算池标识列表中删除该计算池标识。

实施例十二，一种计算池在分布式服务器集群上的统一威胁管理系统，工作方式为：

步骤1201，在一台服务器上安装服务管理器软件；

步骤1202，在各节点服务器上安装池化设置软件，池化设置软件的任务是进行协议、端口号、池策略、池名以及消息通讯等设置(同一服务器池内的节点服务器，池策略必须一致)；

步骤1203，服务管理器通过定时发布组播协议监控计算池内服务器的运行状况，并收集服务器性能信息；

步骤1204，当服务管理器从数据池中提取出要计算的数据时，自动切割任务后根据预先设置好的负载均衡略将任务“撒进”计算池。各节点服务器接收任务后进行任务计算，最后将各自计算结果汇总至服务管理器，再由它写入相应的数据池。

步骤1205，在需要扩展计算池中的服务器时，节点服务器只需安装池化设置软件即可加入计算池。

步骤1206，服务管理器定时发送组播消息，收集各节点服务器运行状态，计算性能信息，并根据这些信息制定任务分配策略。服务管理器一旦发现某节点服务器发生故障，即可迅速将该台服务器计算任务转发给池内另一台服务器，并将故障服务器“迁出”计算池。

步骤1207，服务管理器定时发送向管理中心101发送心跳信息，以告知其所代表的服务是存活的。

实施例十三，一种数据池分布于不同的物理执行单元上的统一威胁管理系统，工作方式为：

步骤1301，检查每个数据池的计算池标识列表中各计算池所在的物理执行单元，找出在其上部署计算池最多的物理执行单元，如果所述计算池的数目超过预设的阈值则执行步骤1302，否则执行步骤1304；

步骤1302，将所述数据池迁移到该所述物理执行单元上；

步骤1303，修改数据池注册表中的相应信息；

步骤1304，结束。

实施例十四，一种实施例一的统一威胁管理系统进行网页木马检测任务的具体处理过程如图8所示，包括：

步骤1401，外部报文捕获工具将捕获的网络报文放入网络原始报文数据池；

步骤1402，网络原始报文数据池201通知报文碎片处理计算池301提取数据；

步骤1403，报文碎片处理计算池301从网络原始报文数据池201提取数据并进行碎片处理，将结果输出到IP报文池202；

步骤1404，IP报文池202通知协议解析计算池303提取数据；

步骤1405，协议解析计算池303从IP报文池202提取数据并进行应用协议解析，并将结果输出到HTTP报文数据池205；

步骤1406，HTTP报文数据池205通知特征检测计算池304提取数据；

步骤1407，特征检测计算池304从HTTP报文数据池205提取数据并进行特征检测；如果发现恶意代码特征，则执行步骤1408，否则执行步骤1411；

步骤1408，将结果输出到报警数据池208；

步骤1409，报警数据池208通知报警输出计算池306提取数据；

步骤1410，报警输出计算池306从报警数据池208，并根据报警数据的内容，做出报警或响应处理；

步骤1411，结束。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (14)

1.一种统一威胁管理系统，其特征在于，包括：

数据存储模块，包括多个数据池，各所述数据池分别用于存储一种类型的数据；

服务处理模块，包括两个计算池，各计算池分别用于进行实现一种服务功能的处理操作，从用于存储本计算池所需类型的数据的所述数据池读取数据，将处理后的数据输出给用于存储该类型数据的数据池；

处理威胁的过程包括：HTTP报文数据池通知特征检测计算池提取数据；特征检测计算池从HTTP报文数据池提取数据并进行特征检测；如果发现恶意代码特征，则将结果输出到报警数据池；报警数据池通知报警输出计算池提取数据；报警输出计算池从报警数据池，并根据报警数据的内容，做出报警或响应处理；

管理中心，用于保存各数据池和数据的类型之间的第一对应关系，及各计算池与服务功能之间的第二对应关系。

2.如权利要求1所述的系统，其特征在于，各所述数据池分别包括：

存储模块，用于保存本数据池对应的类型的数据，以及保存所有需要该类型的数据的计算池的标识；

数据监控器，用于当接收到数据时，保存在所述存储器中并记录该数据的数据存储位置；每次保存后产生一个数据提取通知，发送给所述存储器保存的标识对应的计算池，在所述数据提取通知中携带本次记录的数据存储位置；以及当收到一计算池的数据提取消息时，按该数据提取消息中携带的数据存储位置从所述存储器中读取数据，发送给该计算池。

3.如权利要求2所述的系统，其特征在于：

所述存储器通过一个计算池标识列表保存所有需要该类型数据的计算池的标识；

所述管理中心还用于当建立/注销一个计算池后，查找该计算池所需数据的类型对应的数据池，在查找到的数据池的所述计算池标识列表中增加/删除该计算池的标识。

4.如权利要求2所述的系统，其特征在于，各所述计算池分别包括：

执行器，用于执行一个或多个实现本计算池对应的服务功能的处理进程；各处理进程对输入的数据进行处理后输出；

服务管理器，用于接收到一数据池的所述数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，其中携带所述数据提取通知里携带的数据存储位置；从该数据池中提取到数据后，输入给所述执行器中各处理进程；接收所述执行器中各处理进程输出的数据，发送给用于存储该类型数据的数据池。

5.如权利要求1到4中任一项所述的系统，其特征在于，

所述管理中心还用于当系统增加一个服务功能时，建立用于进行实现该服务功能的处理的计算池，在所述第二对应关系中记录该服务功能和该计算池的对应关系；根据所述第一对应关系，将该计算池的输入指向该计算池所需数据的类型对应的数据池，输出指向该计算池处理后的数据的类型对应的数据池。

6.如权利要求5所述的系统，其特征在于：

所述管理中心在建立计算池时，还用于先根据所述第一对应关系判断，是否存在该计算池所需数据的类型对应的数据池，如果没有，则不建立该计算池；

所述管理中心将计算池的输出指向该计算池处理后的数据的类型对应的数据池是指：

所述管理中心根据所述第一对应关系查找该计算池处理后的数据的类型对应的数据池，将该计算池的输出指向所查找到的数据池；如果查找不到，则建立用于存储新的数据池，将该计算池的输出指向该新的数据池，在所述第一对应关系中记录该新的数据池和该计算池输出数据的类型之间的对应关系。

7.如权利要求5所述的系统，其特征在于：

所述计算池还用于定时向管理中心发送心跳信息；当本计算池不能实现所对应的服务功能时，停止发送心跳信息；

所述管理中心当未收到某计算池的心跳信息的持续时间大于或等于一预设的时间阈值时，注销该计算池；注销后，判断是否还有其它计算池输出的数据的类型与该计算池输出数据的类型相同，如果没有，则注销该计算池输出数据的类型对应的数据池。

8.一种统一威胁管理系统的数据处理方法，包括：

建立多个数据池，各所述数据池分别存储一种类型的数据，保存各数据池和数据的类型之间的第一对应关系；

按照所述统一威胁管理系统要实现的服务功能建立两个计算池，各计算池分别进行实现一种服务功能的处理操作，保存各计算池与服务功能之间的第二对应关系；

处理威胁的过程包括：HTTP报文数据池通知特征检测计算池提取数据；特征检测计算池从HTTP报文数据池提取数据并进行特征检测；如果发现恶意代码特征，则将结果输出到报警数据池；报警数据池通知报警输出计算池提取数据；报警输出计算池从报警数据池，并根据报警数据的内容，做出报警或响应处理；

所述计算池从存储本计算池所需类型的数据的所述数据池读取数据，对数据进行处理，将处理后的数据输出给存储该类型数据的数据池。

9.如权利要求8所述的方法，其特征在于，所述计算池从存储本计算池所需类型的数据的所述数据池读取数据的步骤包括：

各所述数据池分别保存所有需要本数据池对应类型的数据的计算池的标识；

所述数据池当接收到数据时，保存该数据并记录该数据的数据存储位置；每次保存后产生一个数据提取通知，发送给所保存的标识对应的计算池，在所述数据提取通知中携带本次记录的数据存储位置；

所述计算池接收到数据池的所述数据提取通知后，当需要使用数据时返回一个数据提取消息给该数据池，携带所述数据提取通知里携带的所述数据存储位置；

所述数据池当收到所述计算池的数据提取消息时，按所述数据存储位置读取数据，发送给该计算池。

10.如权利要求8所述的方法，其特征在于，所述计算池对数据进行处理的步骤包括：

所述计算池执行一个或多个实现本计算池对应的服务功能的处理进程；

各处理进程对输入的数据进行处理。

11.如权利要求8所述的方法，其特征在于，还包括：

所述数据池通过一个计算池标识列表保存所有需要本数据池对应类型的数据的计算池的标识；

当建立/注销一个计算池后，查找该计算池所需数据的类型对应的数据池，在查找到的数据池的所述计算池标识列表中增加/删除该计算池的标识。

12.如权利要求8到11中任一项所述的方法，其特征在于，还包括：

当系统增加一个服务功能时，建立用于进行实现该服务功能的处理的计算池，在所述第二对应关系中记录该服务功能和该计算池的对应关系；根据所述第一对应关系，将该计算池的输入指向该计算池所需数据的类型对应的数据池，输出指向该计算池处理后的数据的类型对应的数据池。

13.如权利要求12所述的方法，其特征在于：

在建立计算池的步骤前，还包括步骤：根据所述第一对应关系判断，是否存在该计算池所需数据的类型对应的数据池，如果没有，则不建立该计算池；如果有，则建立该计算池；

所述将计算池的输出指向该计算池处理后的数据的类型对应的数据池的步骤包括：

根据所述第一对应关系查找该计算池处理后的数据的类型对应的数据池，将该计算池的输出指向所查找到的数据池；

如果查找不到，则建立用于存储新的数据池，将该计算池的输出指向该新的数据池，在所述第一对应关系中记录该新的数据池和该计算池输出数据的类型之间的对应关系。

14.如权利要求13所述的方法，其特征在于，还包括：

所述计算池定时发送心跳信息；当本计算池不能实现所对应的服务功能时，停止发送心跳信息；

当某计算池不发送心跳信息的持续时间大于或等于一预设的时间阈值时，注销该计算池；注销后，判断是否还有其它计算池输出的数据的类型与该计算池输出数据的类型相同，如果没有，则注销该计算池输出数据的类型对应的数据池。