CN110430098A - 数据处理系统 - Google Patents

Abstract

本发明涉及一种数据处理系统。该系统包括：采集模块、通信模块、和数据中心处理模块；所述通信模块分别与采集模块和数据中心处理模块进行通信连接；采集模块用于对通信模块的身份进行认证；通信模块用于在身份认证通过后，将控制信息和/或代理信息下发至采集模块；采集模块还用于根据控制信息和/或代理信息采集网络安全数据，并通过通信模块将网络安全数据上传至数据中心处理模块。由于上述采集模块只有在通信模块通过了身份认证后，采集模块才能将采集到的数据通过通信模块传送给数据中心模块进行分析处理，上述过程进一步的提高了网络中数据传输、分析、处理时的安全性。

Description

数据处理系统

技术领域

本申请涉及信息安全技术领域，尤其涉及一种数据处理系统。

背景技术

随着计算机网络技术的不断普及应用，近年来，网络安全问题日益突出，黑客入侵以及网络攻击现象日益增多，特别是针对一些涉及国计民生的业务、系统受到了前所未有的安全挑战，因此，如何有效提高网络传输的安全性成为了现下重点关注的问题。

目前，传统的网络架构是通过在各个网络节点上部署安全设备，以及在安全设备上安装用于保障安全信息采集的应用软件程序，实现数据的安全采集，再进一步的通过后台管理服务器获取并统一管理各网络节点上采集到的网络数据，实现网络中数据的安全传输和管理。

但是，应用上述网络架构进行数据的采集、处理、传输、存储均存在安全性低的问题。

发明内容

本申请实施例提供了一种数据处理系统，可执行网络数据的传输、分析、存储等数据处理工作，且极大的提高了各种类型数据在网络中传输、存储、以及处理的安全性，为一种安全性能极高的数据处理系统。

第一方面，一种数据处理系统，所述系统包括：

采集模块、通信模块、和数据中心处理模块；所述通信模块分别与采集模块和数据中心处理模块进行通信连接；

采集模块用于对通信模块的身份进行认证；

通信模块用于在身份认证通过后，将控制信息和/或代理信息下发至采集模块；

采集模块还用于根据控制信息和/或代理信息采集网络安全数据，并通过通信模块将网络安全数据上传至数据中心处理模块。

在其中一个实施例中，上述通信模块还用于接收数据中心处理模块下发的控制信令，并根据控制信令生成控制信息；和/或，通信模块还用于接收数据中心处理模块下发的代理请求，并根据代理请求生成代理信息。

在其中一个实施例中，上述通信模块包括：通信管理单元和至少一个通信单元；

通信单元用于向采集模块发送通信连接请求，以指示采集模块对通信单元的身份进行认证，并在身份认证通过后，将控制信息和/或代理信息下发至采集模块，以及将采集模块采集到的网络安全数据上传至通信管理单元。

通信管理单元用于根据数据中心处理模块下发的控制信令生成控制信息，并将控制信息下发至至少一个通信单元，和/或，通信管理单元用于根据数据中心处理模块下发的代理请求生成代理信息，并将代理信息下发至至少一个通信单元；通信管理单元还用于将通信单元上传的网络安全数据上传至数据中心处理模块。

在其中一个实施例中，上述网络安全数据包括控制数据、安全数据、正向代理数据、以及反向代理数据，上述至少一个通信单元包括：通信子单元、正向代理通信子单元和反向代理通信子单元；

通信子单元用于向采集模块发送通信连接请求，以指示采集模块对通信单元的身份进行认证，并在身份认证通过后，将控制信息下发至采集模块，以及将采集模块采集到的控制数据和安全数据上传至通信管理单元；

正向代理通信子单元用于在身份认证通过后，将代理信息下发至采集模块，以及将采集模块采集到的正向代理数据上传至通信管理单元；

反向代理通信子单元用于在身份认证通过后，将接收到的采集模块采集到的反向代理数据上传至通信管理单元。

在其中一个实施例中，上述采集模块包括：至少一个采集单元；采集单元与通信单元一一对应。

在其中一个实施例中，上述采集单元包括：采集子单元、正向代理采集子单元和反向代理采集子单元；

采集子单元用于根据对应的通信子单元下发的通信连接请求，对通信单元进行身份认证，在通过身份认证后，根据对应的通信子单元下发的控制信息采集控制数据和安全数据，以及用于将控制数据和安全数据上传至对应的通信子单元；

正向代理采集子单元用于根据对应的正向代理通信子单元下发的代理信息采集正向代理数据，以及用于将正向代理数据上传至对应的正向代理通信子单元；

反向代理采集子单元用于将采集到的反向代理数据上传至对应的反向代理通信子单元。

在其中一个实施例中，上述数据中心处理模块用于下发控制信令和/或代理请求，以及用于对网络安全数据执行分析、处理、存储、展示中的至少一项操作。

在其中一个实施例中，上述数据中心处理模块包括：计算子模块、存储子模块、接口子模块、应用子模块；

计算子模块用于对通信管理单元上传的网络安全数据进行分析和处理，并将分析和处理后的数据上传至存储子模块；

存储子模块用于按照数据类型对计算子模块上传的数据分别进行存储；

接口子模块用于提供应用子模块与存储子模块之间的连接接口；

应用子模块用于根据输入信息下发控制指令和第一读取指令至接口子模块，并用于配置第三方安全应用的功能接口，并根据第三方安全应用的功能接口下发第二读取指令至接口子模块，以及下发代理请求至通信模块。

在其中一个实施例中，上述计算子模块包括：队列单元、分析单元、以及分类检索单元；

队列单元用于对通信管理单元上传的安全数据进行分类，并根据分类结果确定不同类别的安全数据的优先等级，以及按照优先等级的高低进行排序，并依次将不同类别的安全数据发送给分析单元；

分类检索单元用于对通信管理单元上传的控制数据进行分类，得到每个类别的类别标识，并建立类别标识与控制数据的报文标识之间的索引关系，并将索引关系和所述控制数据上传至所述存储子模块。

在其中一个实施例中，上述存储子模块包括：控制配置库、热数据库、和冷数据库；

控制配置库用于存储分类检索单元发送的控制数据和索引关系；

热数据库用于存储分析单元发送的分析结果数据，以及将预设时效性和/或预设类别的分析结果数据传送给冷数据库进行存储；

冷数据库用于存储预设时效性和/或预设类别的分析结果数据，以及用于分析预设时效性和/或预设类别的分析结果数据，得到分析存储数据。

在其中一个实施例中，上述接口子模块包括：控制接口和数据接口；

控制接口用于根据应用子模块下发的控制指令生成控制信令和读取控制数据信令，并将控制信令下发至通信管理单元，以及根据读取控制数据信令从控制配置库中读取控制数据；

数据接口用于根据应用子模块下发的第一读取指令或第二读取指令生成读取热数据信令，以及根据热数据信令从热数据库中读取所述分析结果数据，和/或，根据应用子模块下发的第一读取指令或第二读取指令生成读取冷数据信令，以及根据读取冷数据信令从冷数据库中读取预设时效性和/或预设类别的分析结果数据，和/或分析存储数据。

本申请提供的一种数据处理系统，由于通信模块将处于外网络中的采集模块与处于内网络中的数据处理模块进行了隔离，极大的提升了外网络中的数据传输到内网络时的安全性，以及由于采集模块在每次需要通过通信模块将采集到的数据传送给数据中心模块进行分析处理时，采集模块都需要预先对通信模块进行身份认证，且只有在通信模块通过了身份认证后，采集模块才能将采集到的数据通过通信模块传送给数据中心模块进行分析处理，上述过程进一步的提高了网络中数据传输、分析、处理时的安全性。

附图说明

图1为一个实施例提供的一种数据处理系统的结构示意图；

图2为一个实施例提供的一种通信模块的结构示意图；

图3为一个实施例提供的一种通信单元的结构示意图；

图4为一个实施例提供的一种采集模块的结构示意图；

图5为一个实施例提供的一种数据中心处理模块的结构示意图；

图6为一个实施例提供的一种计算子模块的结构示意图；

图7为一个实施例提供的一种存储子模块的结构示意图；

图7A为一个实施例提供的另一种存储子模块的结构示意图；

图8为一个实施例提供的一种接口子模块的结构示意图；

图9为一个实施例提供的一种应用子模块的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面主要介绍本申请使用的数据处理系统，以及该数据处理系统中的各模块、各电路、以及各接口的具体实现方法和组成。

图1为一个实施例提供的一种数据处理系统的结构示意图，该数据处理系统可以通过硬件或者软硬件结合的方式实现。如图1所示，该数据处理系统包括：采集模块11、通信模块12、和数据中心处理模块13；通信模块12分别与采集模块11和数据中心处理模块13进行通信连接；其中的采集模块11用于对通信模块12的身份进行认证；通信模块12用于在身份认证通过后，将控制信息和/或代理信息下发至采集模块11；采集模块11还用于根据控制信息和/或代理信息采集网络安全数据，并通过通信模块12将网络安全数据上传至数据中心处理模块13。

在实际应用中，安全网络中的各网络节点上部署上述采集模块11，实现分布式的布局结构，且该采集模块11可以通过诸如系统日志(syslog)收集、流量监听、简单网络管理协议(simple network management protocol，SNMP)、或第三方安全应用软件等方式采集安全网络中的网络安全数据。上述采集模块11具体可以为一种采集装置，可选的，也可以为一种轻量级的采集设备，可选的，还可以为一种采集程序，且可以被安装在专业安全设备上，也可以被安装在普通计算机设备，可选的，也可以被安装在移动终端上，对此本实施不做限制。

上述通信模块12具体可以为一种无线通信装置，可选的，也可以为一种无线通信程序，且可以是被安装在通信服务器上，可选的，也可以被安装在网络中的数据中心处理服务器上。

上述控制信息用于指示采集模块11采集控制类的数据或安全类的数据，还用于指示采集模块11修改与采集方式相关的配置参数。上述代理信息用于指示采集模块11采集代理类的数据。上述网络安全数据可以包括任一种类型的数据，其具体可以是一种表示安全信息的安全数据，也可以是一种表示控制信息的控制数据，还可以是一种表示从代理服务器上获取到的安全数据，即代理数据，当为代理数据时，还可以通过代理方式的不同(正向代理和反向代理)被分为正向代理数据和反向代理数据。

上述数据中心处理模块13具体可以为一种数据处理装置，可选的，也可以为一种数据处理程序，且可以是被安装在一个数据处理服务器上，可选的，也可以被安装在集群的各数据处理服务器上。

参见图1说明上述数据处理系统的工作过程：该过程根据应用场景的不同分为两个具体过程，下面分别进行详细阐述：

第一种应用场景，该应用场景描述的是采集模块11与通信模块12之间进行身份认证的过程，身份认证的过程可以包括：通信模块12主动向采集模块11发起连接请求，要求与采集模块11进行通信连接，当采集模块11接收到该连接请求时，对发起该连接请求的通信模块12进行身份信息查询，并对查询到的身份信息进行校验，完成身份认证，若身份认证通过，则采集模块11向通信模块12发送响应连接信息，通信模块12根据该响应连接信息建立与采集模块11之间的通信连接，若身份认证未能通过，则采集模块11不向通信模块12发送响应连接信息，通信模块12放弃与采集模块11之间的通信连接。

第二种应用场景，该应用场景描述的是当通信模块12与采集模块11之间的通信连接建立完成后，通信模块12与采集模块11即可进行数据交互，具体的数据交互过程包括：通信模块12将控制信息和/或代理信息下发至采集模块11，采集模块11根据控制信息采集控制类的数据或安全类的数据(例如，控制数据和安全数据)，并将采集得到的数据上传至通信模块12，和/或，采集模块11根据代理信息采集代理类的数据(例如，正向代理数据和反向代理数据)，并将采集得到的数据上传至通信模块12。当通信模块12获取到采集模块11上传的数据后，可以进一步的将数据转送给数据中心处理模块13，以便数据中心处理模块13对上述的数据进行分析、处理、存储、显示等工作。

需要说明的是，上述采集模块11所在的网络为外部网络，而数据中心处理模块13所在的网络为内部网络，在实际应用中常常属于保密级别较高的网络。

上述实施例提供的数据处理系统，由于通信模块将处于外网络中的采集模块与处于内网络中的数据处理模块进行了隔离，极大的提升了外网络中的数据传输到内网络时的安全性，以及由于采集模块在每次需要通过通信模块将采集到的数据传送给数据中心模块进行分析处理时，采集模块都需要预先对通信模块进行身份认证，且只有在通信模块通过了身份认证后，采集模块才能将采集到的数据通过通信模块传送给数据中心模块进行分析处理，上述过程进一步的提高了网络中数据传输、分析、处理时的安全性。

基于图1实施例所述的系统，上述系统中的通信模块12还用于接收数据中心处理模块13下发的控制信令，并根据控制信令生成控制信息；和/或，通信模块12还用于接收数据中心处理模块13下发的代理请求，并根据代理请求生成代理信息。

其中，控制信令为数据中心处理模块13根据用户输入的控制指令生成的一种控制信号，且通信模块12可以根据该控制信令分发通信任务给相关的通信程序或通信单元，以使通信程序或通信单元执行相关通信操作。控制信息为控制信令生成的信息，具体用于指示采集模块11执行相关采集操作。代理请求为数据中心处理模块13根据第三方应用的需求生成的一种请求信号，且通信模块12可以根据该代理请求分发代理任务给相关的通信程序或通信单元，以使通信程序或通信单元执行相关代理操作。代理信息为代理请求生成的信息，具体用于指示采集模块11执行相关代理操作。

本实施例中，上述通信模块12在接收到数据中心处理模块13下发的控制信令后，可以进一步的对该控制信令进行解析，并对应生成至少一个控制信息，分别调用相应的通信程序或通信单元将生成的控制信息下发给对应的采集模块11，以指示采集模块11执行相关采集操作。相应的，上述通信模块12在接收到数据中心处理模块13下发的代理请求后，可以进一步的对该代理请求进行解析，并对应生成至少一个代理信息，分别调用相应的通信程序或通信单元将生成的代理信息下发给对应的采集模块11，以指示采集模块11执行相关采集操作。

图2为一个实施例提供的一种通信模块的结构示意图，该通信模块12可以通过硬件或者软硬件结合的方式实现。如图2所示，上述数据处理系统中的通信模块12具体包括：通信管理单元121和至少一个通信单元122。

其中的通信单元122用于向采集模块11发送通信连接请求，以指示采集模块11对通信单元122的身份进行认证，并在身份认证通过后，将控制信息和/或代理信息下发至采集模块11，以及将采集模块11采集到的网络安全数据上传至通信管理单元121。

通信管理单元121用于根据数据中心处理模块13下发的控制信令生成控制信息，并将控制信息下发至至少一个通信单元122，和/或，通信管理单元121用于根据数据中心处理模块13下发的代理请求生成代理信息，并将代理信息下发至至少一个通信单元122；通信管理单元121还用于将通信单元122上传的网络安全数据上传至数据中心处理模块13。

上述通信连接请求用于指示采集模块11对通信模块12中的通信单元122进行身份认证。

参见图2说明上述通信模块12的工作过程：该过程根据应用场景的不同分为两个具体过程，下面分别进行详细阐述：

第一种应用场景，该应用场景描述的是采集模块11与各通信单元122之间进行身份认证的过程，身份认证的过程可以包括：各通信单元122主动向采集模块11发起通信连接请求，要求与采集模块11进行通信连接，当采集模块11接收到该连接请求时，对发起该连接请求的通信单元122进行身份信息查询，并对查询到的身份信息进行校验，完成身份认证。若身份认证通过，则采集模块11向认证通过的通信单元122发送响应连接信息，该通信单元122根据接收到的响应连接信息建立与采集模块11之间的通信连接，若身份认证未能通过，则采集模块11不向没能通过认证的通信单元122发送响应连接信息，该通信单元122放弃与采集模块11之间的通信连接。

需要说明的是，在实际应用中，通信模块12可以根据实际应用需求添加新的通信单元122，实现通信单元122的扩展应用，且在添加新的通信单元122后，可以将与该新的通信单元122相关的身份认证信息添加到已注册的认证信息记录中，以使该新的通信单元122能够通过采集模块11的身份认证。另外，通信模块12中的各通信单元122在获取到采集模块11上传的任一种类型的网络安全数据时，可以先将该网络安全数据进行缓存，以维持通信模块12的数据吞吐量稳定，保障在数据中心处理模块13应用繁忙时不丢失数据。

第二种应用场景，该应用场景描述的是当通信单元122与采集模块11之间的通信连接建立完成后，通信单元122与采集模块11即可进行数据交互，具体的数据交互过程包括：通信单元122将控制信息和/或代理信息下发至采集模块11，采集模块11根据控制信息采集控制类的数据或安全类的数据，并将采集得到的控制类的数据或安全类的数据上传至通信单元122，和/或，采集模块11根据代理信息采集代理类的数据，并将采集得到的代理类的数据上传至通信单元122。当通信单元122获取到采集模块11上传的数据后，可以进一步的将数据转送给通信管理单元121，以便通信管理单元121将上传的数据转送给数据中心处理模块13，以对采集模块11采集到的数据进行分析、处理、存储、显示等工作。

另外，上述通信管理单元121还用于接收数据中心处理模块13下发的控制信令，并对控制信令进行解析，生成至少一个的控制信息，并分发至不同的至少一个通信单元122，以使通信单元122可以将控制信息转发给采集模块11，以指示采集模块11执行相关采集操作。还存在一种应用场景，即上述通信管理单元121还用于接收数据中心处理模块13下发的代理请求，并对代理请求进行解析，生成至少一个的代理信息，并分发至不同的至少一个通信单元122，以使通信单元122可以将代理信息转发给采集模块11，以指示采集模块11执行相关代理的采集操作。

在一种应用中，上述网络安全数据具体可以包括控制数据、安全数据、正向代理数据、以及反向代理数据，在此应用下，本申请还提供了一种数据处理系统，接下来的实施例基于上述应用背景进行说明。

图3为一个实施例提供的一种通信单元的结构示意图，该通信单元122可以通过硬件或者软硬件结合的方式实现，上述通信模块12中的至少一个通信单元122，如图3所示，具体包括：通信子单元1221、正向代理通信子单元1222和反向代理通信子单元1223。

上述通信子单元1221用于向采集模块11发送通信连接请求，以指示采集模块11对通信单元122的身份进行认证，并在身份认证通过后，将控制信息下发至采集模块11，以及将采集模块11采集到的控制数据和安全数据上传至通信管理单元121。

上述正向代理通信子单元1222用于在身份认证通过后，将代理信息下发至采集模块11，以及将采集模块11采集到的正向代理数据上传至通信管理单元121。

上述反向代理通信子单元1223用于在身份认证通过后，将接收到的采集模块11采集到的反向代理数据上传至通信管理单元121。

上述控制数据表示与采集模块11相关的配置信息，例如，采集模块11的相关性能指标、采集模块11的采集方式等。上述控制数据还表示与采集模块11所安装设备的相关配置信息，例如，设备的内存信息、设配的硬件信息等。上述安全数据表示安全网络中各网络节点上部署的采集模块11从外部的设备或系统中采集到的与安全相关的数据。上述正向代理数据表示采集模块11通过正向代理的方式采集到的数据，例如，采集模块11通过正向代理服务器获取第三方应用设备上的数据。相应的，上述反向代理数据表示采集模块11通过反向代理的方式采集到的数据。

参见图3说明上述通信单元122的工作过程，该过程根据应用场景的不同分为四个具体过程，下面分别进行详细阐述：

第一种应用场景，该应用场景描述的是采集模块11与通信单元122之间进行身份认证的过程，身份认证的过程可以包括：各通信单元122中的通信子单元1221主动向采集模块11发起通信连接请求，要求与采集模块11进行通信连接，当采集模块11接收到该连接请求时，对发起通信连接请求的通信子单元1221所在的通信单元122进行身份信息查询，并对查询到的身份信息进行校验，完成身份认证。若身份认证通过，则采集模块11向通信子单元1221发送响应连接信息，通信子单元1221根据接收到的响应连接信息建立该通信子单元1221所在的通信单元12与采集模块11之间的通信连接，若身份认证未能通过，则采集模块11不向通信子单元1221发送响应连接信息，该通信子单元1221所在的通信单元122放弃与采集模块11之间的通信连接。

第二种应用场景，该应用场景描述的是，当通信单元122与采集模块11之间的通信连接建立完成后，通信子单元1221与采集模块11即可进行数据交互，具体的数据交互过程包括：通信子单元1221将控制信息下发至采集模块11，采集模块11根据控制信息采集控制数据和安全数据，并将采集得到的控制数据和安全数据上传至通信子单元1221。当通信子单元1221获取到采集模块11上传的控制数据和安全数据后，可以进一步的将控制数据和安全数据转送给通信管理单元122，以便通信管理单元122将上传的控制数据和安全数据转送给数据中心处理模块13，以对采集模块11采集到的控制数据和安全数据进行分析、处理、存储、显示等工作。

第三种应用场景，该应用场景描述的是，当通信单元122与采集模块11之间的通信连接建立完成后，正向代理通信子单元1222与采集模块11即可进行数据交互，具体的数据交互过程包括：正向代理通信子单元1222将代理信息下发至采集模块11，采集模块11根据代理信息采集正向代理数据，并将采集得到的正向代理数据上传至正向代理通信子单元122。当正向代理通信子单元1222获取到采集模块11上传的正向代理数据后，可以进一步的将正向代理数据转送给通信管理单元121，以便通信管理单元121将上传的正向代理数据转送给数据中心处理模块13。

第四种应用场景，该应用场景描述的是，当通信单元122与采集模块11之间的通信连接建立完成后，反向代理通信子单元1223与采集模块11即可进行数据交互，具体的数据交互过程包括：采集模块11采集反向代理数据，并将该反向代理数据发送给反向代理通信子单元1223，反向代理通信子单元1223将获取到的反向代理数据上传至通信管理单元121，以便通信管理单元121将上传的反向代理数据转送给数据中心处理模块13。

图4为一个实施例提供的一种采集模块的结构示意图，该采集模块11可以通过硬件或者软硬件结合的方式实现。如图4所示，该模块包括：至少一个采集单元111；采集单元111与通信单元122一一对应。其中采集单元111包括：采集子单元1111、正向代理采集子单元1112和反向代理采集子单元1113。

上述采集子单元1111用于根据通信子单元1221下发的通信连接请求，对通信单元122进行身份认证，在通过身份认证后，根据对应的通信子单元1221下发的控制信息采集控制数据和安全数据，以及用于将控制数据和安全数据上传至对应的通信子单元1221。

正向代理采集子单元1112用于根据对应的正向代理通信子单元1222下发的代理信息采集正向代理数据，以及用于将正向代理数据上传至对应的正向代理通信子单元1222。

反向代理采集子单元1113用于将采集到的反向代理数据上传至对应的反向代理通信子单元1223。

参见图4说明上述采集模块11的工作过程：该过程根据应用场景的不同分为四个具体过程，下面分别进行详细阐述：

第一种应用场景，该应用场景描述的是采集子单元1111对通信单元122进行身份认证的过程，身份认证的过程可以包括：通信单元122中的通信子单元1221主动向采集单元111中的采集子单元1111发起通信连接请求，要求与采集子单元1111所在的采集单元111进行通信连接，当采集子单元1111接收到该连接请求时，对发起通信连接请求的通信子单元1221所在的通信单元122进行身份信息查询，并对查询到的身份信息进行校验，完成身份认证。若身份认证通过，则采集子单元1111向通信子单元1221发送响应连接信息，通信子单元1221根据接收到的响应连接信息建立通信子单元1221所在的通信单元12与采集子单元1111所在的采集单元111之间的通信连接，若身份认证未能通过，则采集子单元1111不向通信子单元1221发送响应连接信息，通信子单元1221所在的通信单元122放弃与采集单元111之间的通信连接。

第二种应用场景，该应用场景描述的是，当通信单元122与采集单元111之间的通信连接建立完成后，通信子单元1221与采集子单元1111即可进行数据交互，具体的数据交互过程包括：通信子单元1221将控制信息下发至采集子单元1111，采集子单元1111根据控制信息采集控制数据和安全数据，并将采集得到的控制数据和安全数据上传至通信子单元1221。当通信子单元1221获取到采集子单元1111上传的控制数据和安全数据后，可以进一步的将控制数据和安全数据转送给通信管理单元122，以便通信管理单元122将上传的控制数据和安全数据转送给数据中心处理模块13，以对采集模块11采集到的控制数据和安全数据进行分析、处理、存储、显示等工作。

第三种应用场景，该应用场景描述的是，当通信单元122与采集单元111之间的通信连接建立完成后，正向代理通信子单元1222与正向代理采集子单元1112即可进行数据交互，具体的数据交互过程包括：正向代理通信子单元1222将代理信息下发至正向代理采集子单元1112，正向代理采集子单元1112根据代理信息采集正向代理数据，并将采集得到的正向代理数据上传至正向代理通信子单元1222。当正向代理通信子单元1222获取到正向代理采集子单元1112上传的正向代理数据后，可以进一步的将正向代理数据转送给通信管理单元121，以便通信管理单元121将上传的正向代理数据转送给数据中心处理模块13。

第四种应用场景，该应用场景描述的是，当通信单元122与采集单元111之间的通信连接建立完成后，反向代理采集子单元1113与反向代理通信子单元1223即可进行数据交互，具体的数据交互过程包括：反向代理采集子单元1113采集反向代理数据，并将该反向代理数据发送给反向代理通信子单元1223，反向代理通信子单元1223将获取到的反向代理数据上传至通信管理单元121，以便通信管理单元121将上传的反向代理数据转送给数据中心处理模块13。

在上述图1-图4任一实施例所述的数据处理系统中，数据中心处理模块13用于下发控制信令和/或代理请求，以及用于对网络安全数据执行分析、处理、存储、展示中的至少一项操作。下面图5-图8实施例对数据中心处理模块13进行说明。

图5为一个实施例提供的一种数据中心处理模块的结构示意图，该数据中心处理模块可以通过硬件或者软硬件结合的方式实现。如图5所示，该上述数据处理系统中的数据中心处理模块13包括：计算子模块131、存储子模块132、接口子模块133、应用子模块134；

上述计算子模块131用于对通信管理单元121上传的网络安全数据进行分析和处理，并将分析和处理后的数据上传至存储子模块132；上述存储子模块132用于按照数据类型对计算子模块131上传的数据分别进行存储；上述接口子模块133用于提供应用子模块134与存储子模块132之间的连接接口；

上述应用子模块134用于根据用户的输入信息下发控制指令和第一读取指令至接口子模块133，并用于配置第三方安全应用的功能接口，并根据第三方安全应用的功能接口下发第二读取指令至接口子模块133，以及下发代理请求至通信模块12。

需要说明的是，上述第一读取指令为应用子模块134中基础应用下发的读取安全数据的指令，而第二读取指令为应用子模块134中第三方安全应用下发的读取安全数据的指令。

参见图5说明上述数据处理系统的工作过程：该过程根据应用场景的不同分为四个具体过程，下面分别进行详细阐述：

第一种应用场景，该应用场景描述的是计算子模块131进行数据处理的过程，该过程包括：当通信模块12中的通信管理单元121将网络安全数据上传至计算子模块131后，计算子模块131可以对该网络安全数据进行分类排序、分析、检索、提取、加工等数据处理，并将处理后的数据上传至存储子模块132进行存储。

第二种应用场景，该应用场景描述的是存储子模块132进行数据存储的过程，该过程包括：当计算子模块131将处理后的数据上传至存储子模块132后，存储子模块132可以对该处理后的数据按照数据类型进行分类别的存储，且还可以对处理后的数据进行进一步的分析和挖掘，实现大数据分析和数据挖掘功能。可选的，存储子模块132还可以实现实时存储数据，以及大批量的存储数据，为上述数据处理系统提供了庞大的数据量储备。

第三种应用场景，该应用场景描述的是接口子模块133进行数据传递的过程，该过程包括：当接口子模块133接收到应用子模块134下发的控制指令和第一读取指令时，可以进一步的根据控制指令生成控制信令，并将该控制信令下发至通信模块12中的通信管理单元121,以及可以进一步的根据控制指令生成读取控制数据信令，并根据读取控制数据信令读取存储子模块132中存储的控制数据，以及根据第一读取指令读取存储子模块132中存储的安全数据。当接口子模块133接收到应用子模块134下发的第二读取指令时，也可以进一步的根据该第二读取指令读取存储子模块132中存储的安全数据。

第四种应用场景，该应用场景描述的是应用子模块134进行数据传输的过程，该过程包括：当应用子模块134接收到用户输入的获取数据信息或控制数据信息时，应用子模块134生成控制指令，并将控制指令下发至接口子模块133。若在实际应用中需要兼容第三方安全方应用时，应用子模块134还可以配置第三方安全应用的功能接口，当用户在第三方安全方应用上输入获取数据信息时，第三方安全应用的功能接口可以生成相关第三方应用的第二读取指令，并将该第二读取指令通过接口模块133传递到存储子模块132进行安全数据读取。当用户在第三方安全方应用上输入获取代理数据信息时，第三方安全应用的功能接口可以生成代理请求，并将该代理请求下发至通信模块12中的通信管理单元121，使通信管理单元121能够根据代理请求下派代理数据获取任务。

下面实施例分别对上述数据中心处理模块13中包括的各子模块进行说明：

图6为一个实施例提供的一种计算子模块的结构示意图，该计算子模块131可以通过硬件或者软硬件结合的方式实现。如图6所示，该上述数据中心处理模块13中的计算子模块131，包括：队列单元1311、分析单元1312、以及分类检索单元1313。

上述队列单元1311用于对通信管理单元121上传的安全数据进行分类，并根据分类结果确定不同类别的安全数据的优先等级，以及按照优先等级的高低进行排序，并依次将不同类别的安全数据发送给分析单元1312。

上述分析单元1312用于对队列单元1311传送的安全数据进行分析，得到分析结果数据，并将分析结果数据上传至存储子模块132。

上述分类检索单元1313用于对通信管理单元121上传的控制数据进行分类，得到每个类别的类别标识，并建立类别标识与控制数据的报文标识之间的索引关系，并将索引关系和控制数据上传至存储子模块132。

参见图6说明上述计算子模块的工作过程：该过程根据应用场景的不同分为三个具体过程，下面分别进行详细阐述：

第一种应用场景，该应用场景描述的是上述队列单元1311进行数据分类排序的过程，该过程包括：当通信模块12中的通信管理单元121将安全数据上传至队列单元1311后，队列单元1311可以按照预设的分类规则对该安全数据进行分类，并根据分类结果确定不同类别的安全数据的优先等级，以及按照优先等级的高低进行排序，然后依次将不同类别的安全数据发送给分析单元1312，以便分析单元1312对安全数据进行分析和处理。需要说明的是，上述预设的分类规则可以由用户预先定义，例如，可以按照接收安全数据的时间顺序、安全数据的数据量大小的顺序等，对此本实施例不做限制。

第二种应用场景，该应用场景描述的是上述分析单元1312进行数据分析、计算、处理的过程，该过程包括：当队列单元1311将安全数据传送给分析单元1312后，分析单元1312可以采用预设的计算模型对该安全数据进行分析，或是对该安全数据进行诸如信息提取、病毒去除等数据处理工作，最后得到分析结果数据，并将该分析结果数据上传至存储子模块132进行存储。

第三种应用场景，该应用场景描述的是上述分类检索单元1313进行数据分类检索的过程，该过程包括：当通信模块12中的通信管理单元121将控制数据传送给分类检索单元1313后，分类检索单元1313可以按照预设的分类规则对控制数据进行分类，得到各类别的类别标识。然后将属于同一类别的控制数据的报文标识与该类别的类别标识进行关联，形成类别标识与控制数据的报文标识之间的索引关系，并将该索引关系上传至存储子模块132，以便应用子模块134在读取存储子模块132中的控制数据时可以根据该索引关系分类查找控制数据。分类检索单元1313还需要将控制数据上传至存储子模块132进行存储。

图7为一个实施例提供的一种存储子模块的结构示意图，该存储子模块132可以通过硬件或者软硬件结合的方式实现。如图7所示，该存储子模块132，包括：控制配置库1321、热数据库1322、和冷数据库1323。

上述控制配置库1321用于存储分类检索单元1313发送的控制数据和索引关系。

上述热数据库1322用于存储分析单元1312发送的分析结果数据，以及将预设时效性和/或预设类别的分析结果数据传送给冷数据库1323进行存储。

上述冷数据库1323用于存储预设时效性和/或预设类别的分析结果数据，以及用于分析预设时效性和/或预设类别的分析结果数据，得到分析存储数据。

上述预设时效性可以由用户根据实际应用需求预先定义。预设类别可以由用户根据实际应用需求预先定义，预设类别的数据为一些用户通常不需要用到的数据。

需要说明的是，上述热数据库1322在将部分数据传送给冷数据库1323进行存储之前，需要先确定哪部分数据传送到冷数据库1323，而确定方法具体可以通过判断热数据库1322中存储的数据的时效性或使用频率，还可以通过判断数据类别，来确定传送到冷数据库1323的数据。例如，可以具体将时效性低的，或是将使用频率低的，或是将特定类别的数据传送到冷数据库1323。上述冷数据库1323还为一种共享数据库，即可以跨多个安全网络部署，相当于多个安全网络均可以访问一个冷数据库1323中的数据，例如，如图7A所示的数据处理系统，实现了两个数据处理系统共享一个冷数据库1323。

上述实施例实现了数据的分类存储，且还实现了实时存储以及大批量数据的存储，这样的存储方法极大的提高了存储效率，进而提高了应用该存储方法的数据处理系统在读取各类型的数据时的读取效率。

图8为一个实施例提供的一种接口子模块的结构示意图，该接口子模块133可以通过硬件或者软硬件结合的方式实现。如图8所示，该接口子模块133，包括：控制接口1331和数据接口1332。

上述控制接口1331用于根据应用子模块134下发的控制指令生成控制信令和读取控制数据信令，并将控制信令下发至通信管理单元121，以及根据读取控制数据信令从控制配置库1321中读取控制数据；

上述数据接口1332用于根据应用子模块134下发的第一读取指令或第二读取指令生成读取热数据信令，以及根据读取热数据信令从热数据库1322中读取分析结果数据，和/或，根据应用子模块134下发的第一读取指令或第二读取指令生成读取冷数据信令，以及根据读取冷数据信令从冷数据库1323中读取预设时效性和/或预设类别的分析结果数据，和/或分析存储数据。

参见图8说明上述接口子模块133的工作过程：当应用子模块134下发控制指令给控制接口1331时，控制接口1331对控制指令进行解析，生成控制信令和读取控制数据信令，并将控制信令下发至通信管理单元121，以使通信管理单元121根据控制信令分派任务，以及根据读取控制数据信令从控制配置库1321中读取控制数据，并将该控制数据回传给应用子模块134，以使应用子模块可以将该控制数据进行显示。

当应用子模块134下发第一读取指令或第二读取指令给数据接口1332时，数据接口1332可对该第一读取指令或第二读取指令进行解析，并生成读取热数据信令，以及根据读取热数据信令从热数据库1322中读取分析结果数据，并将该分析结果数据回传给应用子模块134，以使应用子模块134将该分析结果数据进行显示。可选的，数据接口1332还可对该第一读取指令或第二读取指令进行解析，并生成读取冷数据信令，以及根据读取冷数据信令从冷数据库1323中读取预设时效性和/或预设类别的分析结果数据，并将该分析结果数据回传给应用子模块134，以使应用子模块134将该分析结果数据进行显示。

图9为一个实施例提供的一种应用子模块的结构示意图，该接应用子模块134可以通过硬件或者软硬件结合的方式实现。如图9所示，该应用子模块134，包括：基础系统应用1341和第三方安全应用1342。

上述基础系统应用1341用于根据用户的输入信息下发控制指令和第一读取指令至控制接口1331，以通过控制接口1331向下分派控制任务，或从存储子模块132中读取相关数据。上述基础系统应用1341还用于在设备显示屏上展示数据子模块132推送的安全数据或控制数据。另外，若存在第三方安全应用1342的需求，则基础系统应用1341还用于配置第三方安全应用1342的功能接口，使第三方安全应用1342可以根据该功能接口下发指令和读取数据。

上述第三方安全应用1342在基础系统应用1341配置完成第三方安全应用1342的功能接口时，可以具体的通过该功能接口下发第二读取指令至接口子模块133中的数据接口1332，以通过该数据接口1332从存储子模块132中的热数据库1322或冷数据库1323中读取数据，或者具体的通过该功能接口下发代理请求至通信模块12，以使通信模块12和与之连接的采集模块11以代理的方式获取代理类的安全数据。

上述实施例实现了数据处理系统对于第三方安全应用的兼容，使第三方安全应用的功能使用、数据处理、和数据传输能够透明接入使用，提高了上述数据处理系统的兼容性，以及普及应用性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种数据处理系统，其特征在于，所述系统包括：采集模块、通信模块、和数据中心处理模块；所述通信模块分别与所述采集模块和所述数据中心处理模块进行通信连接；

所述采集模块用于对所述通信模块的身份进行认证；

所述通信模块用于在所述身份认证通过后，将控制信息和/或代理信息下发至所述采集模块；

所述采集模块还用于根据所述控制信息和/或代理信息采集网络安全数据，并通过所述通信模块将所述网络安全数据上传至所述数据中心处理模块。

2.根据权利要求1所述的系统，其特征在于，所述通信模块还用于接收所述数据中心处理模块下发的控制信令，并根据所述控制信令生成所述控制信息；和/或，所述通信模块还用于接收所述数据中心处理模块下发的代理请求，并根据所述代理请求生成所述代理信息。

3.根据权利要求2所述的系统，其特征在于，所述通信模块包括：通信管理单元和至少一个通信单元；

所述通信单元用于向所述采集模块发送通信连接请求，以指示所述采集模块对所述通信单元的身份进行认证，并在所述身份认证通过后，将所述控制信息和/或所述代理信息下发至所述采集模块，以及将所述采集模块采集到的网络安全数据上传至所述通信管理单元；

所述通信管理单元用于根据所述数据中心处理模块下发的控制信令生成所述控制信息，并将所述控制信息下发至所述至少一个通信单元，和/或，所述通信管理单元用于根据所述数据中心处理模块下发的代理请求生成所述代理信息，并将所述代理信息下发至所述至少一个通信单元；所述通信管理单元还用于将所述通信单元上传的网络安全数据上传至所述数据中心处理模块。

4.根据权利要求3所述的系统，其特征在于，所述网络安全数据包括控制数据、安全数据、正向代理数据、以及反向代理数据，所述至少一个通信单元包括：通信子单元、正向代理通信子单元和反向代理通信子单元；

所述通信子单元用于向所述采集模块发送通信连接请求，以指示所述采集模块对所述通信单元的身份进行认证，并在所述身份认证通过后，将所述控制信息下发至所述采集模块，以及将所述采集模块采集到的所述控制数据和所述安全数据上传至所述通信管理单元；

所述正向代理通信子单元用于在所述身份认证通过后，将所述代理信息下发至所述采集模块，以及将所述采集模块采集到的所述正向代理数据上传至所述通信管理单元；

所述反向代理通信子单元用于在所述身份认证通过后，将接收到的所述采集模块采集到的所述反向代理数据上传至所述通信管理单元。

5.根据权利要求4所述的系统，其特征在于，所述采集模块包括：至少一个采集单元；所述采集单元与所述通信单元一一对应。

6.根据权利要求5所述的系统，其特征在于，所述采集单元包括：采集子单元、正向代理采集子单元和反向代理采集子单元；

所述采集子单元用于根据对应的所述通信子单元下发的通信连接请求，对所述通信单元进行身份认证，在通过所述身份认证后，根据对应的所述通信子单元下发的所述控制信息采集所述控制数据和所述安全数据，以及用于将所述控制数据和所述安全数据上传至对应的所述通信子单元；

所述正向代理采集子单元用于根据对应的所述正向代理通信子单元下发的所述代理信息采集所述正向代理数据，以及用于将所述正向代理数据上传至对应的所述正向代理通信子单元；

所述反向代理采集子单元用于将采集到的所述反向代理数据上传至对应的所述反向代理通信子单元。

7.根据权利要求1所述的系统，其特征在于，所述数据中心处理模块用于下发所述控制信令和/或代理请求，以及用于对所述网络安全数据执行分析、处理、存储、展示中的至少一项操作。

8.根据权利要求7所述的系统，其特征在于，所述数据中心处理模块包括：计算子模块、存储子模块、接口子模块、应用子模块；

所述计算子模块用于对所述通信管理单元上传的网络安全数据进行分析和处理，并将分析和处理后的数据上传至所述存储子模块；

所述存储子模块用于按照数据类型对所述计算子模块上传的数据分别进行存储；

所述接口子模块用于提供所述应用子模块与所述存储子模块之间的连接接口；

所述应用子模块用于根据用户的输入信息下发控制指令和第一读取指令至所述接口子模块，并用于配置第三方安全应用的功能接口，并根据所述第三方安全应用的功能接口下发第二读取指令至所述接口子模块，以及下发所述代理请求至所述通信模块。

9.根据权利要求8所述的系统，其特征在于，所述计算子模块包括：队列单元、分析单元、以及分类检索单元；

所述队列单元用于对所述通信管理单元上传的安全数据进行分类，并根据分类结果确定不同类别的安全数据的优先等级，以及按照所述优先等级的高低进行排序，并依次将不同类别的所述安全数据发送给所述分析单元；

所述分析单元用于对所述队列单元传送的安全数据进行分析，得到分析结果数据，并将所述分析结果数据上传至所述存储子模块；

所述分类检索单元用于对所述通信管理单元上传的控制数据进行分类，得到每个类别的类别标识，并建立所述类别标识与所述控制数据的报文标识之间的索引关系，并将所述索引关系和所述控制数据上传至所述存储子模块。

10.根据权利要求9所述的系统，其特征在于，所述存储子模块包括：控制配置库、热数据库、和冷数据库；

所述控制配置库用于存储所述分类检索单元发送的控制数据和索引关系；

所述热数据库用于存储所述分析单元发送的所述分析结果数据，以及将预设时效性和/或预设类别的所述分析结果数据传送给所述冷数据库进行存储；

所述冷数据库用于存储所述预设时效性和/或所述预设类别的分析结果数据，以及用于分析所述预设时效性和/或所述预设类别的分析结果数据，得到分析存储数据。

11.根据权利要求10所述的系统，其特征在于，所述接口子模块包括：控制接口和数据接口；

所述控制接口用于根据所述应用子模块下发的控制指令生成所述控制信令和读取控制数据信令，并将所述控制信令下发至所述通信管理单元，以及根据所述读取控制数据信令从所述控制配置库中读取所述控制数据；

所述数据接口用于根据所述应用子模块下发的所述第一读取指令或所述第二读取指令生成读取热数据信令，以及根据所述读取热数据信令从所述热数据库中读取所述分析结果数据，和/或，根据所述应用子模块下发的所述第一读取指令或所述第二读取指令生成读取冷数据信令，以及根据所述读取冷数据信令从所述冷数据库中读取所述预设时效性和/或所述预设类别的分析结果数据，和/或所述分析存储数据。