CN111611589A

CN111611589A - 一种数据安全平台、计算机设备及可读存储介质

Info

Publication number: CN111611589A
Application number: CN202010424546.5A
Authority: CN
Inventors: 刘维炜; 谢永胜
Original assignee: Zhejiang Vamtoo Information Safety Technology Co ltd
Current assignee: Zhejiang Vamtoo Information Safety Technology Co ltd
Priority date: 2020-05-19
Filing date: 2020-05-19
Publication date: 2020-09-01
Anticipated expiration: 2040-05-19
Also published as: CN111611589B

Abstract

本发明公开了一种数据安全平台、计算机设备及可读存储介质，涉及数据安全技术领域。本发明所提供的数据安全平台包括数据采集层、数据存储层、数据计算层、数据分析层以及数据应用层，打通数据孤岛，主动检测用户异常行为，为企业提供立体防护，将传统的应急响应机制转型为持续响应机制。

Description

一种数据安全平台、计算机设备及可读存储介质

【技术领域】

本发明涉及数据安全技术领域，具体涉及一种数据安全平台、计算机设备及可读存储介质。

【背景技术】

数据安全的根本目的是保护内部敏感信息数据不受外部威胁和非法获取。基于这一原则，国内数据安全防护产品大多是基于数据的加密管控结合端口管理控制相结合的技术和方案。现有技术主要包括如下几种方式：数据加密技术、数据认证和身份识别技术、终端安全防护和网络安全防护。

但是，企业内网承载大量的核心数据资产和机密数据，虽然用户采用了多层次的安全防护产品，但针对内网的攻击和泄露事件愈演愈烈。究其缘由，这与内网数据安全数年来的传统防护技术有关。内网防护现状是采用离散的、非体系化的防护方法，而大量的安全事件多是由内部员工恶意、无意造成，或者是长期的潜伏或离职意向前的突发行为。

现有防护技术都是基于数据资产的某一侧面进行防护，数据不能互联互通，形成了数据孤岛，敏感数据分布和流动状态分散在各个环节，缺少整体态势呈现；数据安全控制漏洞较多，缺少针对数据全生命周期的协同，难以通过大数据分析发现员工的异常行为；现有的检测方案仍处于静态检测、被动应对阶段，数据安全事件无法及时处置，多产品协同困难，难以发现潜伏的高级持续威胁。

【发明内容】

为解决前述问题，本发明提供了一种数据安全平台，统一进行海量多源异构数据的接入、存储、融合分析，打通数据孤岛，实现交互式安全分析、人工智能算法建模、安全事件溯源、数据分类分级，主动检测用户异常行为，发现潜伏性的威胁，使企业获得未知和突发的数据安全检测、响应和协同和态势感知能力，为企业提供立体防护，将传统的应急响应机制转型为持续响应机制。

为了达到上述目的，本发明采用如下技术方案：

一种数据安全平台，包括：

数据采集层，用以从主机终端、网络端、业务系统端采集数据；

数据存储层，用以存储所述数据采集层采集的数据；

数据计算层，用以对所述数据存储层存储的数据进行资源管理调度；

数据分析层，所述数据分析层通过免疫算法生成待应用模型；

数据应用层，根据生成的待应用模型实现安全应用。

可选的，所述数据采集层采集的主机终端数据包括终端管理数据、终端防泄漏数据和文档安全数据，采集的网络端数据包括深度包检测数据、网络防泄漏数据和安全网关数据，采集的业务系统端数据包括办公系统数据、生产管理数据。

可选的，所述数据采集层采集数据的方式包括实时数据采集、离线数据采集和自定义采集。

可选的，所述数据采集层根据不同的大数据采集框架对采集到的原始数据进行数据预处理，不同的大数据采集框架包括Syslog、FTP、Flume、Kafka。

可选的，所述数据存储层利用分布式文件系统和/或分布式数据库对数据采集层采集的数据进行存储。

可选的，所述数据计算层为YARN资源管理系统，所述YARN资源管理系统运行MapReduce计算框架、Hive离线计算平台、Spark迭代计算平台、Flink流式计算平台、Storm流式计算平台，对所述数据存储层存储的数据进行实时和/或离线计算。

可选的，所述数据分析层包括机器学习模型、深度学习模型以及集成学习模型，所述数据分析层通过免疫算法整合全部机器学习模型、深度学习模型以及集成学习模型，或整合机器学习模型、深度学习模型以及集成学习模型其中任意两个，或直接调用机器学习模型、深度学习模型以及集成学习模型其中之一。

可选的，根据生成的待应用模型实现安全应用包括：威胁协同与预警、多维态势感知、用户行为分析、攻击溯源追踪；

威胁协同与预警：通过历史安全事件对所述数据分析层生成的模型进行训练以及调整安全策略，以提高安全事件的预测能力和检测精度；

多维态势感知：所述数据存储层存储的数据包括敏感数据，根据所述数据存储层存储的数据，通过所述数据分析层保护敏感数据的安全，并对所述数据分析层计算出的异常结果数据警报；

用户行为分析：数据采集层采集的数据包括用户行为数据，所述数据安全平台根据用户行为数据生成用户画像，并根据用户行为数据，由所述数据分析层分析出用户异常行为并对用户异常行为所对应的用户标记。

本发明具有如下有益效果：

本发明所提供的技术方案，可完成海量多源异构的安全大数据分析，相对于原有方案单一数据源，本方案采集全流量、设备日志、应用日志等，解决了数据源单一，数据孤岛化的问题，通过构建数据中心，实现对海量数据的存储、运算、高效检索和挖掘分析，帮助用户站在更高的视角洞悉更全面的数据。

此外，本发明所提供的技术方案，还可基于用户行为检测的高级威胁发现相对于传统基于外部安全防护的检测方法，平台通过对用户行为的记录、汇总和分析，来评估用户和其他实体的互动行为，来发现与用户行为偏离正常行为基线的潜在事件。通过对用户日常行为的聚类和数据安全大数据分析平台的AI算法模型分析，将不同类别的使用者区分出来。这种检测方法将能发现绕过防护设备的隐蔽性、低频率的高级威胁。

此外，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的数据安全平台。

同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的数据安全平台。

本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。

【附图说明】

下面结合附图对本发明作进一步说明：

图1为本发明实施例一的框架示意图。

【具体实施方式】

下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。

在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。

实施例一：

数据安全的根本目的是保护内部敏感信息数据不受外部威胁和非法获取。基于这一原则，国内数据安全防护产品大多是基于数据的加密管控结合端口管理控制相结合的技术和方案。现有技术主要包括如下几种方式：

(1)数据加密技术

数据加密技术从实现上分为软件和硬件两方面。按作用不同，数据加密主要分为数据传输、数据存储、数据完整性的鉴别及密钥管理技术四种。

在实际应用中一般采取两种加密形式：对称密钥和公开密钥，采用何种加密算法则要结合具体应用环境和系统。

(2)数据认证和身份识别技术

认证是指用户必须提供个人身份的证明，如某个雇员、某个组织的代理、某个软件过程等。认证的标准方法就是确认身份、特征以及其他可以用于识别的信息。网络通过一般通过智能卡或者其它特殊形式的标志，这类标志可以从连接到计算机上的读出器读出，或采用口令，口令具有共享秘密的属性。

(3)终端安全防护

在终端上部署终端安全防护系统，包括身份认证、端口控制、终端上的设备控制、网络使用控制、终端软硬件配置管理、文件加解密服务、病毒防治、操作系统升级、系统和应用补丁分发及软件分发等一系列功能，涵盖终端自身安全性、终端防泄漏和终端运行维护管理等主要功能模块。

(4)网络安全防护

在网关部署入侵检测和防御系统、内容过滤和流量控制及防火墙等设备，其目的是为了防止通信网络中对互联网的入侵行为，互联网和通信网络之间的不良信息传播，防止由移动通信网发起的拒绝服务攻击。

而如图1所示，本实施例提供了一种与现有技术不同的数据安全平台，包括：

数据采集层，针对主机终端、网络、业务系统等多种数据来源，从主机终端、网络端、业务系统端采集数据，数据采集层采集的主机终端数据包括终端管理数据、终端防泄漏数据和文档安全数据，采集的网络端数据包括深度包检测数据、网络防泄漏数据和安全网关数据，采集的业务系统端数据包括办公系统数据、生产管理数据。数据采集层采集数据的方式包括实时数据采集、离线数据采集和自定义采集，以提供对各类异构安全数据、全流量数据以及业务相关数据的采集能力。数据采集层根据Syslog、FTP、Flume、Kafka等不同的大数据采集框架对采集到的原始数据进行数据预处理，实现可适配数据源的方式，对各类安全设备、系统数据通过Syslog、FTP、Flume等大数据采集框架进行多源异构数据的采集、清洗、标准化、预处理，实现了平台的数据规范，为数据安全平台的上层提供数据，提供数据泛化和归一化能力。

数据存储层，用以存储数据采集层采集的数据，数据存储层利用分布式文件系统和/或分布式数据库对数据采集层采集的结构化、半结构化和非结构化数据进行存储。其中，分布式文件系统是整体的存储基础，分布式数据库是一种分布式Key/Value系统，主要以表格的形式存储数据。数据存储层集中管理各类数据，对数据安全平台的上层和外部提供数据服务能力。

数据计算层，用以对数据存储层存储的数据进行资源管理调度。数据计算层为YARN资源管理系统，提供资源管理和调度能力。YARN资源管理系统运行MapReduce计算框架、Hive离线计算平台、Spark迭代计算平台、Flink流式计算平台、Storm流式计算平台，根据安全业务应用的需要，按照是否实时、可扩展性、批处理效率、是否进行关系运算等选择适合的计算模式和/或框架，利用Hive离线计算平台，Spark迭代计算平台，Flink流式计算平台、Storm流式计算平台等提供强大的数据抽取、转换和加载能力，对数据存储层存储的数据进行实时和/或离线计算。

数据分析层，数据分析层通过免疫算法生成待应用模型。大数据的价值需要依靠数据分析、人工智能算法等技术的加持，提炼出有效的模型，才能达成数据安全应用。数据分析层包括机器学习模型、深度学习模型以及集成学习模型，数据分析层通过免疫算法整合全部机器学习模型、深度学习模型以及集成学习模型，或整合机器学习模型、深度学习模型以及集成学习模型其中任意两个，或直接调用机器学习模型、深度学习模型以及集成学习模型其中之一，可实现对各类AI模型的智能集成，同时，支持用户自定义实现数据挖掘和集群学习基础算法，用户可以自定义数据分析模型的整合和调用，可实时输出模型的计算结果，并且可直接调用已有模型作为下一个模型的输入。

现有传统机器学习、神经网络、深度学习等方法都是基于单一数据、适应于单一任务的学习方法，不能直接用于多源数据和复杂任务的安全大数据挖掘。免疫算法是借鉴生物中免疫的一种自适应机体保护机制，包括反馈机制、刺激机制、记忆机制和平衡等机制，这些机制形成了一个全面的保护体系，维持机体状态的平衡。本实施例中所提供的技术方案，利用计算机免疫算法，建立统一的智能框架，融合多种智能算法对安全大数据进行深度挖掘分析，采用计算机免疫中的危险理论模型和免疫协作机制，作为一个集成学习器，融合决策树、LSTM、RNN等单一方法，通过将多个学习器进行结合，获得比单一学习器显著优越的泛化性能。

数据应用层，根据生成的待应用模型实现安全应用，根据生成的待应用模型实现安全应用包括：威胁协同与预警、多维态势感知、用户行为分析、攻击溯源追踪，具体如下：

威胁协同与预警：通过历史安全事件和安全产品告警对数据分析层生成的模型进行维度的训练以及调整安全策略，协同各安全产品，从而提高预警准确率和一致性，以提高安全事件的预测能力和检测精度；

多维态势感知：数据存储层存储的数据包括敏感数据，根据数据存储层存储的数据，通过DLP、安全网关等安全产品的安全日志以及各类业务系统数据的全量数据采集和存储，通过数据分析层保护敏感数据的安全，并对数据分析层计算出的异常结果数据进行展示以及及时警报；

用户行为分析：数据采集层采集的数据包括用户行为数据，数据安全平台根据用户行为数据生成用户画像，通过对用户平台行为的记录、分析和汇报，根据用户行为数据，由数据分析层分析出用户异常行为并对用户异常行为所对应的用户标记。在本实施例中，采用基本分析方法来评估用户和其他实体(主机、应用程序、网络、数据库等)的互动行为，来发现与用户行为与正常行为基线的异常活动所相关的潜在事件。这些活动包括内部或第三方人员对系统的异常访问，或者外部攻击者绕过防御性安全控制的入侵。通过对用户日常行为的聚类和数据分析层的分析，将不同类别的使用者区分出来。当这些用户实体有非职责内操作时，平台会将该用户标记较高异常评分。

攻击溯源追踪：高级网络安全事件隐蔽而复杂，安全运维人员难以进行溯源分析，对安全事件的判断、安全决策的制定带来了巨大的困难。而本实施例所提供的数据安全平台通过利用威胁情报、大数据安全分析、建立情报共享，协同分析、全生命周期跟踪安全事件的溯源流程，极大程度的方便运维人员进行安全威胁排除、攻击链分析、事件溯源等，提升用户的整体安全事件分析能力。通过对资产的多维度关联分析，还原完整的攻击链，帮助客户从根源上解决安全威胁。针对内外网提供不同的解决方案定位攻击源头。

本实施例所提供的数据安全平台，可完成海量多源异构的安全大数据分析，相对于原有方案单一数据源，本方案采集全流量、设备日志、应用日志等，解决了数据源单一，数据孤岛化的问题，通过构建数据中心，实现对海量数据的存储、运算、高效检索和挖掘分析，帮助用户站在更高的视角洞悉更全面的数据。

此外，本实施例所提供的数据安全平台，还可基于用户行为检测的高级威胁发现相对于传统基于外部安全防护的检测方法，平台通过对用户行为的记录、汇总和分析，来评估用户和其他实体的互动行为，来发现与用户行为偏离正常行为基线的潜在事件。通过对用户日常行为的聚类和数据安全大数据分析平台的AI算法模型分析，将不同类别的使用者区分出来。这种检测方法将能发现绕过防护设备的隐蔽性、低频率的高级威胁。

实施例二

本实施例提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如上的任意实施例中的方法。本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。据此，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims

1.一种数据安全平台，其特征在于，所述数据安全平台包括：

数据存储层，用以存储所述数据采集层采集的数据；

数据应用层，根据生成的待应用模型实现安全应用。

2.根据权利要求1所述的数据安全平台，其特征在于，所述数据采集层采集的主机终端数据包括终端管理数据、终端防泄漏数据和文档安全数据，采集的网络端数据包括深度包检测数据、网络防泄漏数据和安全网关数据，采集的业务系统端数据包括办公系统数据、生产管理数据。

3.根据权利要求2所述的数据安全平台，其特征在于，所述数据采集层采集数据的方式包括实时数据采集、离线数据采集和自定义采集。

4.根据权利要求2所述的数据安全平台，其特征在于，所述数据采集层根据不同的大数据采集框架对采集到的原始数据进行数据预处理，不同的大数据采集框架包括Syslog、FTP、Flume、Kafka。

5.根据权利要求1所述的数据安全平台，其特征在于，所述数据存储层利用分布式文件系统和/或分布式数据库对数据采集层采集的数据进行存储。

6.根据权利要求1所述的数据安全平台，其特征在于，所述数据计算层为YARN资源管理系统，所述YARN资源管理系统运行MapReduce计算框架、Hive离线计算平台、Spark迭代计算平台、Flink流式计算平台、Storm流式计算平台，对所述数据存储层存储的数据进行实时和/或离线计算。

7.根据权利要求1所述的数据安全平台，其特征在于，所述数据分析层包括机器学习模型、深度学习模型以及集成学习模型，所述数据分析层通过免疫算法整合全部机器学习模型、深度学习模型以及集成学习模型，或整合机器学习模型、深度学习模型以及集成学习模型其中任意两个，或直接调用机器学习模型、深度学习模型以及集成学习模型其中之一。

8.根据权利要求1所述的数据安全平台，其特征在于，根据生成的待应用模型实现安全应用包括：威胁协同与预警、多维态势感知、用户行为分析、攻击溯源追踪；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的数据安全平台。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的数据安全平台。