CN110519231A

CN110519231A - 一种跨域数据交换监管系统及方法

Info

Publication number: CN110519231A
Application number: CN201910676922.7A
Authority: CN
Inventors: 王淳
Original assignee: Zhejiang Common Safety Technology Research Institute Co Ltd
Current assignee: Zhejiang Common Safety Technology Research Institute Co Ltd
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2019-11-29

Abstract

本发明提公开一种跨域数据交换的监管系统及方法，属于数据交换技术领域。监管系统包括数据采集模块、数据预处理模块、数据存储和检索模块、大数据计算模块、历史数据计算模块、数据挖掘模块；监管方法包括；S1：采集网络设备、安全设备和信息系统及各种网络攻击知识体系的信息；S2：完成所述数据采集模块采集的数据的辨析、抽取、清洗操作；S3：采用异构非关系型数据库方式进行数据存储，自适应任何格式的数据来源；检索采用实时分布式搜索和分析引擎；S4：计算较长时间段内的安全事件之间的相关性、影响程度、规律性；采用数据分析方法，对事件日志等数据进行自动化的学习和模型归纳，总结和分析出网络安全事件发生和发展的规律趋势。

Description

一种跨域数据交换监管系统及方法

技术领域

本发明涉及数据交换技术领域，具体涉及一种跨域数据交换的监管系统及方法。

背景技术

当前网络安全防护不仅涵盖基本的防火墙、入侵检测、防病毒系统，还包括网上行为审计、堡垒机系统、数据库设计系统、web应用防火墙、抗拒绝服务系统和高级持续性威胁防御系统，这些系统只能完成单独的防护，只能在安全事件发生后进行补救，这种“亡羊补牢”式的滞后防护方法造成补丁越打越多、病毒库越来越大、系统负担越来越重、运营开销越来越贵，不仅影响系统的运行效率，而且因为关闭网络端口等措施还会造成正常的系统功能不能使用，这样的防护效果令人不可接受。

发明内容

针对现有技术中存在的问题，本发明提供了一种跨域数据交换监管系统及方法，对各种安全事件进行统计处理，从而挖掘出隐秘在企业内部的安全风险。

一种跨域数据交换监管系统，包括：

（一）数据采集模块：提供多种数据采集方式，采集器分布部署于网络中任何位置；

（二）数据预处理模块：完成所述数据采集模块采集的数据的辨析、抽取、清洗操作；

（三）数据存储和检索模块：采用异构非关系型数据库方式进行数据存储，自适应任何格式的数据来源；检索采用实时分布式搜索和分析引擎；

（四）大数据计算模块：集成流计算引擎、历史数据计算引擎、数据挖掘引擎；

（五）历史数据计算模块：通过数据挖掘模块计算较长时间段内的安全事件之间的相关性、安全事件之间的影响程度、安全事件之间的规律性；

（六）数据挖掘模块：采用数据分析方法，对事件日志等数据进行自动化的学习和模型归纳，总结和分析出网络安全事件发生和发展的规律和趋势。

进一步的，所述的数据采集方式包括Syslog、SNMP、WMI、HTTP、HTTPS、TCP、UDP、WebSocket、JDBC。

进一步的，所述数据预处理的具体步骤为：

（1）对于各种网络设备、安全设备和信息系统及各种网络攻击知识体系进行抽象化，运用大数据处理和分析，建立各种算法模型，形成知识库；

（2）不停的形成样本数据和预处理数据样本，供机器学习迭代计算使用，并将各阶段数据进行识别、抽取、去噪。

进一步的，所述识别为将网络设备、安全设备、信息系统及各种网络攻击进行标签归类；所述抽取即共性特征的提取；所述去燥为每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

进一步的，所述的数据存储和检索模块采用分布式搜索和分析引擎，分布式实时文件存储，采用全文索引技术，将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎，可以按需扩展到上百台服务器，处理PB级别的结构化或非结构化数据；同时支持跨域、跨服务器、跨数据源、分布式的信息索引技术，实现索引时间最小化。

进一步的，所述的集成流计算引擎、历史数据计算引擎、数据挖掘引擎支持分布式部署、按需扩展，随着数据量的不断增大，可以将分析引擎部署到更多的服务器上，实现分布式并行计算和计算资源按需配备。

进一步的，所述的数据挖掘模块通过对历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值定义事件级别，进行安全事件预警，把预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。

一种跨域数据交换监管方法，包括以下步骤：

S1：采集网络设备、安全设备和信息系统及各种网络攻击知识体系的信息，

S2：完成所述数据采集模块采集的数据的辨析、抽取、清洗操作；

S3：采用异构非关系型数据库方式进行数据存储，自适应任何格式的数据来源；检索采用实时分布式搜索和分析引擎；

S4：计算较长时间段内的安全事件之间的相关性、安全事件之间的影响程度、安全事件之间的规律性；采用数据分析方法，对事件日志等数据进行自动化的学习和模型归纳，总结和分析出网络安全事件发生和发展的规律和趋势。

进一步的，所述的对于各种网络设备、安全设备和信息系统及各种网络攻击知识体系进行抽象化，运用大数据处理和分析，建立各种算法模型，形成知识库；不停的形成样本数据和预处理数据样本，供机器学习迭代计算使用，并将各阶段数据进行识别、抽取、去噪；所述识别为将网络设备、安全设备、信息系统及各种网络攻击进行标签归类；所述抽取即共性特征的提取；所述去燥为每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

进一步的，所述的S4中数据分析方法：对历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值定义事件级别，进行安全事件预警，把预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。

本发明能够实现对不同安全系统的监控与处理，总结安全问题出现的规律与趋势，发现网络内部隐藏问题隐患，提醒即时修复，避免对单位或公司造成难以弥补的损失。

附图说明

图1为本发明模块连接图。

具体实施方式

下面对本发明的技术方案作进一步说明，如图1所示。

（一）多维异构数据采集模块

系统提供Syslog、SNMP、WMI、HTTP（HTTPS）、TCP、UDP、WebSocket、JDBC等多种数据采集方式，同时提供采集接口的定制开发。采集器作为系统的一个独立组件可以分布部署于网络中的任何位置，可以完整的实现从终端到服务器、从设备到网络、从应用到业务的各种日志、状态等异构数据的全面采集。

（二）面向网络安全数据分析需要的数据预处理模块

数据预处理主要是完成数据的辨析、抽取、清洗等操作。如何从海量的数据中找到真正有用的、符合业务需要的数据是数据预处理的关键，会直接影响到后续数据分析的质量和结果的可信度。结合公共安全研究的经验、对于各种网络设备、安全设备和信息系统的理解以及各种网络攻击知识体系进行抽象化，融入到数据预处理过程中，真正实现了针对网络安全数据分析需要的数据识别、抽取和去噪。

首先对各种攻击手段进行特征抽象，运用大数据处理和分析，建立各种算法模型，形成知识库；不停的形成样本数据和预处理数据样本，供机器学习迭代计算使用，并将各阶段数据进行识别即打标签、归类，抽取即共性特征提取，去噪即每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

（三）高性能数据存储和检索模块

数据交换监管与安全审计采用高性能的分布式集群数据存储系统，核心数据存储采用异构非关系型数据库（NoSQL）方式，能自适应任何格式的数据来源。利用实时的分布式搜索和分析引擎，高效实时的处理海量数据，用于全文搜索、结构化搜索以及分析。

分布式实时文件存储，采用全文索引技术，将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎，可以按需扩展到上百台服务器，处理PB级别的结构化或非结构化数据；同时支持跨域、跨服务器、跨数据源、分布式的信息索引技术，实现索引时间最小化。

（四）大数据计算模块

采用最新的大数据分析技术，集成流计算引擎、历史数据计算引擎、数据挖掘引擎等强大的计算模块，为各专项分析提供强有力的基础支撑。各类引擎支持分布式部署、按需扩展，随着数据量的不断增大，可以将分析引擎部署到更多的服务器上，实现分布式并行计算和计算资源按需配备。

（五）历史数据计算模块

借助历史数据计算可以在小时级别内完成对PB数量级的数据挖掘，如较长时间段内的安全事件之间的相关性、安全事件之间的影响程度、安全事件之间的规律性等。依托历史数据计算引擎能够实现历史数据追溯、安全规律统计、安全风险分布分析等功能。

安全事件是通过定义一组算法（聚类分析、类比算法、回归迭代、概率统计等）和预警阀值（比如单位区域内人流量峰值、区域面积内最高温度、压力等），通过算法去采集分析实时数据（称之为动态样本数据），同时根据历次算法分析达到或超过预警阀值的安全事件数据样本（称之为静态样本）进行类比回归分析，统计发掘规律、趋势概率等，进行提前预警预案，我们称之为一次安全事件预警，并将该次预警概率趋势数据形成一次安全事件样本数据（静态样本）存入安全事件样本库（也叫安全事件知识库），供自动化学习和模型归纳计算使用，依次往复机器学习。

（六）数据挖掘模块

数据挖掘采用包括决策树、规则归纳、聚类分析、回归分析、判别分析等多种数据分析方法，对事件日志等数据进行自动化的学习和模型归纳，总结和分析出网络安全事件发生和发展的规律和趋势。

通过历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值，来定义事件级别，进行安全事件预警，这个预警本身也就是一条知识库，把这条预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。

一种跨域数据交换监管方法，包括以下步骤：

S2：完成所述数据采集模块采集的数据的辨析、抽取、清洗操作；所述的对于各种网络设备、安全设备和信息系统及各种网络攻击知识体系进行抽象化，运用大数据处理和分析，建立各种算法模型，形成知识库；不停的形成样本数据和预处理数据样本，供机器学习迭代计算使用，并将各阶段数据进行识别、抽取、去噪；所述识别为将网络设备、安全设备、信息系统及各种网络攻击进行标签归类；所述抽取即共性特征的提取；所述去燥为每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

对历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值定义事件级别，进行安全事件预警，把预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。

Claims

1.一种跨域数据交换监管系统，其特征在于包括：

2.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的数据采集方式包括Syslog、SNMP、WMI、HTTP、HTTPS、TCP、UDP、WebSocket、JDBC。

3.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述数据预处理的具体步骤为：

4.根据权利要求3所述的一种跨域数据交换监管系统，其特征在于所述识别为将网络设备、安全设备、信息系统及各种网络攻击进行标签归类；所述抽取即共性特征的提取；所述去燥为每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

5.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的数据存储和检索模块采用分布式搜索和分析引擎，分布式实时文件存储，采用全文索引技术，将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎，可以按需扩展到上百台服务器，处理PB级别的结构化或非结构化数据；同时支持跨域、跨服务器、跨数据源、分布式的信息索引技术，实现索引时间最小化。

6.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的集成流计算引擎、历史数据计算引擎、数据挖掘引擎支持分布式部署、按需扩展，随着数据量的不断增大，可以将分析引擎部署到更多的服务器上，实现分布式并行计算和计算资源按需配备。

7.根据权利要求1所述的一种跨域数据交换监管系统，其特征在于所述的数据挖掘模块通过对历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值定义事件级别，进行安全事件预警，把预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。

8.一种跨域数据交换监管方法，其特征在于包括以下步骤：

9.根据权利要求8所述的一种跨域数据交换监管方法，其特征在于所述的对于各种网络设备、安全设备和信息系统及各种网络攻击知识体系进行抽象化，运用大数据处理和分析，建立各种算法模型，形成知识库；不停的形成样本数据和预处理数据样本，供机器学习迭代计算使用，并将各阶段数据进行识别、抽取、去噪；所述识别为将网络设备、安全设备、信息系统及各种网络攻击进行标签归类；所述抽取即共性特征的提取；所述去燥为每次样本迭代的结果，没有归类或者标签，都认为是噪音，直接剔除。

10.根据权利要求8所述的一种跨域数据交换监管方法，其特征在于所述的S4中数据分析方法对历史数据进行决策树、规则归纳、聚类分析、回归分析、判别分析，通过设定预警阀值定义事件级别，进行安全事件预警，把预警进行归类和打标签形成样本知识库，在同样安全事件再发生时，只是对该样本知识库再进行一次聚类、回归分析，形成一次迭代结果，如果超过阀值，进行告警。