CN109474602A - 一种海量数据的安全审计系统及其方法 - Google Patents

Abstract

本发明公开了一种海量数据的安全审计系统及其方法，涉及安全审计技术领域。本系统是：镜像网络数据（A）、海量数据采集单元（10）、海量数据实时分析单元（20）、海量数据存储单元（30）和用户接口（B）依次交互，将捕获到的镜像网络数据（A）进行实时的安全审计，并对审计后的全量数据的审计结果进行存储，用于用户查询；接口（B）和授权和报警单元（40）交互，设置用户审计权限；海量数据实时分析单元（20）和授权和报警单元（40）前后交互，对审计预判威胁的数据进行报警。本发明①能够很好地解决特殊局域网的网络安全审计问题；②能够分布式处理海量数据，实现海量数据的实时高效的安全审计；③数据标签化的方法能够节省CPU及网络资源；④扩展性好，实用性强。

Description

一种海量数据的安全审计系统及其方法

技术领域

本发明涉及安全审计技术领域，尤其涉及一种海量数据的安全审计系统及其方法，主要应用于特殊局域网的海量上网数据的合规性及安全性的审计，对局域网中出现的攻击行为进行报警。

背景技术

随着互联网的高速发展和电子通信产品的普及，现代人类的生活和互联网有了紧密的联系。办公、生活、日常沟通所产生的网络数据，其数据特点是，数据量非常庞大，数据来源多样，数据复杂度高，非结构化数据多。针对目前网络数据的特点，区别于传统数据的分析和存储方式，分布式的数据采集、分布式的数据处理和分布式的数据存储就是满足大数据时代的海量数据处理的很好的解决方案。

局域网，作为互联网的组成部分，具有互联网的大部分属性，在大数据时代自然包括海量数据。同时，在特殊局域网中，存在海量的网络数据、系统数据、和业务数据，存在大量的安全问题，因此有了网络安全审计。网络安全审计能够帮助我们对网络安全进行实时监控，及时发现整个网络的动态，发现网络入侵和违规行为，忠实记录网络上发生的一切，提供取证手段。

现有的网络安全审计系统仍然是针对传统网络数据的审计系统，没有针对大流量的海量数据审计系统，现有的网络安全审计系统在数据存储、处理及分析的数据量都相对较少。因此现有的网络安全审计系统对海量数据没有审计能力，缺乏针对海量数据开发的审计系统。

发明内容

本发明的目的就在于克服现有技术存在的缺点和不足，提供一种海量数据的安全审计系统及其方法。

本发明的目的是这样实现的：

采用分布式采集、分布式存储和分布式处理的方式，使能够很好地解决海量数据的审计问题，实现对特殊局域网中数据的合规性检查，并对违规操作进行报警。

一、海量数据的安全审计系统（简称系统），

本系统100采用了分布式采集、分布式处理和分布式存储的审计方式，包括海量数据采集单元10、海量数据实时分析单元20、海量数据存储单元30和授权和报警单元40；

其交互关系是：

镜像网络数据A、海量数据采集单元10、海量数据实时分析单元20、海量数据存储单元30和用户接口B依次交互，将捕获到的镜像网络数据A进行实时的安全审计，并对审计后的全量数据的审计结果进行存储，用于用户查询；

用户接口B和授权和报警单元40交互，设置用户审计权限；

海量数据实时分析单元20和授权和报警单元40前后交互，对审计预判威胁的数据进行报警。

二、海量数据的安全审计方法（简称方法）

本方法包括以下步骤：

①海量数据采集单元，采集特殊局域网中用户的海量网络数据，然后海量数据实时分析单元进行分布式多节点分析，对局域网中的海量数据进行无差别的数据分析，并研判是否报警，海量数据存储单元记录响应的操作信息；

②在特殊局域网域设备安装审计控制插件，如果审计管理人员需要对某类型数据进行审计，授权和报警单元授权安全审计软件对用户数据进行标签化处理，海量数据采集单元采集标签上网数据，然后海量数据实时分析单元对标签数据和非标签数据进行不同的处理；对标签数据进行标签分类识别之后进行进一步解析；对非标签数据中不存在、不涉及危险的数据进行过滤，对其他数据发送到海量数据实时分析单元进行分布式多节点分析，并研判是否报警，并由海量数据存储单元记录；

③不同的数据需要有不同的解析方式和解析深度，在识别标签之后，对系统潜在攻击的签名事件匹配时，需要使用DPI技术或者旁接其他数据深度挖掘的设备来解析数据后研判是否报警，并有海量数据存储单元记录；

④授权和报警单元检测特殊局域网内不同等级用户的行为记录，当用户等级超过其限定的等级，授权和报警单元40报警此攻击，并在特殊局域网域设备安装审计控制插件的情况下，能够控制用户的行为权限。

本发明具有下列优点和积极效果：

①能够很好地解决特殊局域网的网络安全审计问题；

②能够分布式处理海量数据，实现海量数据的实时高效的安全审计；

③数据标签化的方法能够节省CPU及网络资源；

④扩展性好，实用性强。

附图说明

图1为本系统的结构方框图；

图2为本系统的网络拓扑图；

图3为海量数据采集单元10的结构方框图；

图4为海量数据实时分析单元20的结构方框图。

图中：

10—海量数据采集单元；

20—海量数据实时分析单元；

30—海量数据存储单元；

40—授权和报警单元。

A—镜像网络数据；

B—用户接口。

英译汉

1、DPI：Deep Packet Inspection，深度包检测技术。

具体实施方式

下面结合附图和实施例详细说明。

一、系统

1、总体

如图1，本系统100采用了分布式采集、分布式处理和分布式存储的审计方式，包括海量数据采集单元10、海量数据实时分析单元20、海量数据存储单元30和授权和报警单元40；

其交互关系是：

镜像网络数据A、海量数据采集单元10、海量数据实时分析单元20、海量数据存储单元30和用户接口B依次交互，将审计后的海量数据的审计记录用于用户查询；

用户接口B和授权和报警单元40交互，设置用户审计权限；

海量数据实时分析单元20和授权和报警单元40前后交互，对审计预判威胁的数据进行报警。

2、功能单元

1）海量数据采集单元10

海量数据采集单元10捕获特殊局域网上的镜像网络数据A。

如图3，海量数据采集单元10包括前后交互的分布式采集模块11和预处理模块12；

分布式采集模块11包括并行的第1、2……N采集模块111、112……11N，N是自然数，2≤N≤500。

2）海量数据实时分析单元20

海量数据实时分析单元20对海量数据采集单元10预处理后的数据进行实时分析处理，将分析后的威胁数据审计记录传输给授权和报警单元40，将分析后的全量审计记录传输给海量数据存储单元30进行存储。

如图4，海量数据实时分析单元20包括前后交互的标签分类模块21、过滤模块22和解析模块23。

标签分类模块21识别数据标签，对打标数据进行差异化解析处理；

过滤模块22对此网络中安全审计不关心的数据进行过滤；

解析模块23包括并行的数据分析处理流程，包括HTTP数据处理子模块231、FTP数据处理子模块232、Email数据处理子模块233、VOIP数据处理子模块234和DPI处理子模块235；并且解析模块23可以继续新增子模块，子模块数量为自然数，不大于100。

3）海量数据存储单元30

海量数据存储单元30通过分布式文件存储方式对海量数据的海量审计结果进行存储。

4）授权和报警单元40

授权和报警单元40对审计或上网用户进行授权和进行实时报警。

3、工作机理

如图2，本系统100适用的网络环境包括管理设备C、环形网络D、特殊局域网E；特殊局域网E的镜像数据接入环形局域网E，并采集镜像网络数据A；管理设备C接入环形网络D并能管理本系统100和特殊局域网E。

管理设备C管理本系统100海量数据审计记录、威胁报警记录；管理设备C管理特殊局域网的上网设备权限、上网用户权限和数据便签化等。

二、方法：

1、步骤①

A、光线接入海量数据；

B、按照网络数据的流量和海量数据采集单元10的个数进行分发，保证同一个IP发到同一个海量数据采集单元10中去；

C、按照数据包中的MAC地址进行分发到分布式采集模块11中去；

D、对数据进行预处理，包括处理GTP封装、L2TP封装等；

E、将数据发送到海量数据实时分析单元20进行分布式多节点分析；

F、对局域网中的海量数据进行无差别的数据分析，并研判是否报警，海量数据存储单元30记录响应的操作信息。

2、步骤②

a、获取特殊局域网中的全部上网设备的设备类型和设备网络接口，新进入特殊局域网的上网设备都会被默认安装审计控制插件；

b、按植码的方式将审计控制插件安装到特殊局域网中的所有上网设备；

c、审计控制插件对上网设备的网络数据进行尾部打标签；

d、捕获特殊局域网内用户的上网数据；

e、判断数据是否已经打标，为打标签的数据进行无差别处理，直接由解析子模块23处理；

f、标签数据，通过标签判断该数据是否需要过滤。网络审计不关心的数据就直接释放掉内存，需要审计的数据发送到解析子模块23处理；

g、数据解析结果研判是否报警，如果需要预警，就将审计结果发到授权和报警单元40，其他结果海量数据存储单元30记录响应的操作信息。

3、步骤③

ⅰ、根据标签，将数据与潜在攻击的签名事件匹配；

ⅱ、对匹配中的数据，调用DPI接口或者其他数据深度挖掘的设备来解析；

ⅲ、数据解析结果研判是否报警，如果需要预警，就将审计结果发到授权和报警单元40，其他结果海量数据存储单元30记录响应的操作信息。

4、步骤④

Ⅰ、授权和报警单元40检测特殊局域网内不同等级用户的行为记录，当用户等级超过其限定的等级，授权和报警单元40报警此攻击;

Ⅱ、并在特殊局域网域设备安装审计控制插件的情况下，能够控制用户的行为权限。

Claims (7)

1.一种海量数据的安全审计系统，其特征在于：

包括海量数据采集单元（10）、海量数据实时分析单元（20）、海量数据存储单元（30）和授权和报警单元（40）；

其交互关系是：

镜像网络数据（A）、海量数据采集单元（10）、海量数据实时分析单元（20）、海量数据存储单元（30）和用户接口（B）依次交互，将捕获到的镜像网络数据（A）进行实时的安全审计，并对审计后的全量数据的审计结果进行存储，用于用户查询；

用户接口（B）和授权和报警单元40交互，设置用户审计权限；

海量数据实时分析单元（20）和授权和报警单元（40）前后交互，对审计预判威胁的数据进行报警。

2.按权利要求1所述的一种海量数据的安全审计系统，其特征在于：

所述的海量数据采集单元（10）包括前后交互的分布式采集模块（11）和预处理模块（12）；分布式采集模块（11）包括并行的第1、2……N采集模块111、112……11N，N是自然数，2≤N≤500；

所述的海量数据实时分析单元（20）包括前后交互的标签分类模块（21）、过滤模块（22）和解析模块（23）；

标签分类模块（21）识别数据标签，对打标数据进行差异化解析处理；

过滤模块（22）对此网络中安全审计不关心的数据进行过滤；

解析模块（23）包括并行的数据分析处理流程，包括HTTP数据处理子模块（231）、FTP数据处理子模块（232）、Email数据处理子模块（233）、VOIP数据处理子模块（234）和DPI处理子模块（235）；并且解析模块（23）可以继续新增子模块，子模块数量为自然数，不大于100。

3.一种基于权利要求1、2所述系统的安全审计方法，其特征在于：

①海量数据采集单元（10），采集特殊局域网中用户的海量网络数据，然后海量数据实时分析单元（20）进行分布式多节点分析，对局域网中的海量数据进行无差别的数据分析，并研判是否报警，海量数据存储单元（30）记录响应的操作信息；

②在特殊局域网域设备安装审计控制插件，如果审计管理人员需要对某类型数据进行审计，授权和报警单元（40）授权安全审计软件对用户数据进行标签化处理，海量数据采集单元（10）采集标签上网数据，然后海量数据实时分析单元（20）对标签数据和非标签数据进行不同的处理；对标签数据进行标签分类识别之后进行进一步解析；对非标签数据中不存在、不涉及危险的数据进行过滤，对其他数据发送到海量数据实时分析单元（20）进行分布式多节点分析，并研判是否报警，并由海量数据存储单元（30）记录；

③不同的数据需要有不同的解析方式和解析深度，在识别标签之后，对系统潜在攻击的签名事件匹配时，需要使用DPI技术或者旁接其他数据深度挖掘的设备来解析数据后研判是否报警，并有海量数据存储单元（30）记录；

④授权和报警单元（40）检测特殊局域网内不同等级用户的行为记录，当用户等级超过其限定的等级，授权和报警单元（40）报警此攻击，并在特殊局域网域设备安装审计控制插件的情况下，能够控制用户的行为权限。

4.按权利要求3所述的海量数据安全审计方法，其特征在于所述的步骤①：

A、光线接入海量数据；

B、按照网络数据的流量和海量数据采集单元（10）的个数进行分发，保证同一个IP发到同一个海量数据采集单元（10）中去；

C、按照数据包中的MAC地址进行分发到分布式采集模块（11）中去；

D、对数据进行预处理，包括处理GTP封装、L2TP封装等；

E、将数据发送到海量数据实时分析单元（20）进行分布式多节点分析；

F、对局域网中的海量数据进行无差别的数据分析，并研判是否报警，海量数据存储单元（30）记录响应的操作信息。

5.按权利要求3所述的海量数据安全审计方法，其特征在于所述的步骤②：

a、获取特殊局域网中的全部上网设备的设备类型和设备网络接口，新进入特殊局域网的上网设备都会被默认安装审计控制插件；

b、按植码的方式将审计控制插件安装到特殊局域网中的所有上网设备；

c、审计控制插件对上网设备的网络数据进行尾部打标签；

d、捕获特殊局域网内用户的上网数据；

e、判断数据是否已经打标，为打标签的数据进行无差别处理，直接由解析子模块（23）处理；

f、标签数据，通过标签判断该数据是否需要过滤，网络审计不关心的数据就直接释放掉内存，需要审计的数据发送到解析子模块（23）处理；

g、数据解析结果研判是否报警，如果需要预警，就将审计结果发到授权和报警单元（40），其他结果海量数据存储单元（30）记录响应的操作信息。

6.按权利要求3所述的海量数据安全审计方法，其特征在于所述的步骤③：

ⅰ、根据标签，将数据与潜在攻击的签名事件匹配；

ⅱ、对匹配中的数据，调用DPI接口或者其他数据深度挖掘的设备来解析；

ⅲ、数据解析结果研判是否报警，如果需要预警，就将审计结果发到授权和报警单元（40），其他结果海量数据存储单元（30）记录响应的操作信息。

7.按权利要求3所述的海量数据安全审计方法，其特征在于所述的步骤④：

Ⅰ、授权和报警单元（40）检测特殊局域网内不同等级用户的行为记录，当用户等级超过其限定的等级，授权和报警单元（40）报警此攻击;

Ⅱ、并在特殊局域网域设备安装审计控制插件的情况下，能够控制用户的行为权限。