CN111339050A - 一种基于大数据平台集中安全审计的方法及系统 - Google Patents

Abstract

一种基于大数据平台集中安全审计的方法及系统,其系统,包括数据收集模块，用于收集日志数据；全同态数据加密模块；支撑模块，用于对全同态数据加密模块加密后的日志数据分布式存储；审计分析模块，用于对支撑模块分布式存储的日志数据进行审计分析；审计管理模块，用于对审计分析后的日志数据经过全同态数据加密模块解密后进行集中管理。本发明采用特殊的自定义匹配规则，高效地筛选出敏感操作，可以准确分析系统内存在的风险。本发明采用改进的聚类算法，提高了聚类的速度、准确，聚类算法的使用为定义敏感操作、特殊事件提供了辅助。本发明采用改进的关联分析算法去还原发现的违规事件，为审计取证提供了更直接的实现方式。

Description

一种基于大数据平台集中安全审计的方法及系统

技术领域

本发明涉及大数据信息安全的技术领域，尤其涉及一种基于大数据平台集中安全审计的方法及系统。

背景技术

近些年来，信息技术的高速发展不断为各行各业提供了新的技术服务，随之而来的是各行业每天产生的新的信息数据量的持续增长。近些年更是出现了指数级增长的态势。这些促进了海量数据的产生，也就是所谓的大数据。大数据平台可以统一为公司各类应用建设提供包括存储、计算在内的多方面的支撑功能，因此建设大数据平台已然成为各大公司的必然选择。但大数据平台在处理庞大信息量的同时，其快速获得有价值信息的能力使得它更易成为网络攻击的目标。因此，保护大数据平台安全的急迫性日益突出。

在信息安全维护中，由于审计是在对内网进行保护的最后一个环节，它经常会被忽略。而日志作为大数据平台运行过程中记录用户行为的重要信息，能够用来提取用户行为特征或攻击行为。因此在大数据平台实际的安全运维中，日志审计能够针对用户的各种行为来监控平台的安全及对已产生的安全问题究本溯源。

大数据平台为公司内部各个应用提供了基础的存储、计算等功能，其访问量也因此十分庞大。大数据平台因其高使用率及其所处理数据的自身特点(大量、高速、多样、高价值)，使得平台自身在处理数据的过程中也会产生大量的日志数据。这些数据对于平台自身的安全防护具有重要价值。但由于这些平台日志数据具备大数据的特点，对它们进行再处理时不能使用传统的人工逐条审计的方式，应该使用分布式处理的方式来进行。同时，这些数据本身也需要特别保护，特别是一些敏感领域的数据。

在分布式计算环境下，数据提供方希望能够在不清楚数据内容含义的情况下对数据进行相应的处理和分析，这样可以避免由于在数据处理过程中数据暴露而造成的数据泄密事件。利用密码技术可以有效解决数据处理分析过程中的安全问题。然而对数据加密等同于将数据进行锁定，在处理过程中无法对锁定数据进行任何正确的操作，而以明文形式存储数据又可能导致明文信息泄密。

为了保证大数据平台日志数据处理的正确性和安全性，需要实现对加密数据处理后再将处理结果解密，所得到的结果等同于对明文数据做相应的处理后所得到的结果。因此使用全同态加密技术对该问题进行解决。全同态加密技术能够有效分割数据拥有者和使用者，在不解密的前提下完成对加密数据的相应计算，保证了数据的安全性。对数据的加密解密过程，实际就是数据计算的过程，普通的加密方式往往仅适用于少量数据，不适合像大数据平台日志数据这样的海量数据，其加密效率往往很低、加密方式不够灵活。同时，在其他的日志审计平台中，加密往往被作为一种附加功能附加于数据收集或是数据预处理模块中，这也导致了加密效率低下、加密方式不够灵活等等问题。

发明内容

针对大数据平台日志数据存在的亟待解决的安全性问题，本发明提出一种基于大数据平台集中安全审计的方法及系统,本发明结合大数据平台的日志信息源，通过审计功能模块化管理，采用一种对海量日志数据高效可行的加密方案实现了海量日志数据的集中采集、处理和分析，解决大数据平台在安全审计方面的缺陷，提高大数据平台的安全性，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于大数据平台集中安全审计的方法,包括如下步骤：

S1,收集日志数据；

S2,将收集的日志数据传输至全同态数据加密模块进行加密，作为加密数据；

S3,将所述加密数据传输至支撑模块进行分布式存储，作为存储数据；

S4,将所述存储数据进行审计分析，得到分析数据；

S5,将所述分析数据传输至全同态数据加密模块进行解密，作为解密数据；

S6,将所述解密数据进行集中管理，作为审计管理数据。

优选的，步骤S1中还对收集的日志数据进行预处理；预处理的方法为：

S21，实时监控收集的日志信息；

S22,将收集的日志信息进行去重、排序和筛选，作为预处理数据，并将所述预处理数据导入到HDFS中；

S23,对HDFS中的所述预处理数据采用正则表达式来对不同日志数据进行标准化匹配，提取所需变量，得到可处理的日志字段属性及属性值，作为日志数据。

优选的，步骤S4中审计分析的方法包括：根据预设规则将所述存储数据进行分类匹配、关联、统计和聚类分析。

进一步优选的，所述分类匹配包括：

根据警告信息进行敏感分级；所述警告信息为用户在单位时间内累积敏感操作的次数；

根据异常警告信息进行异常识别；所述异常警告信息为用户在发生的异常事件的频率信息。

一种基于大数据平台集中安全审计的系统,包括

数据收集模块，用于收集日志数据；

全同态数据加密模块，用于对数据收集模块收集的日志数据进行加密；

用于对审计分析模块审计分析后的日志数据进行解密；

支撑模块，用于对全同态数据加密模块加密后的日志数据分布式存储；

审计分析模块，用于对支撑模块分布式存储的日志数据进行审计分析；

审计管理模块，用于对审计分析后的日志数据经过全同态数据加密模块解密后进行集中管理。

优选的，所述数据收集模块包括原始数据解析子模块和数据标准化子模块；

所述原始数据解析子模块，采用Chukwa采集办法实时监控产生的日志信息，并将实时的日志信息进行去重、排序和筛选工作，然后将这些数据导入到HDFS 中，作为原始数据；

所述数据标准化子模块利用正则表达式对不同原始数据进行标准化，从而对数据进行规则匹配并提取所需变量，得到可处理的日志字段属性及属性值，作为日志数据。

优选的，所述全同态数据加密模块包括资源调度子模块和加解密计算模块；

所述加解密计算模块，用于对所述日志数据加解密；

所述资源调度子模块，用于按照预先设置的策略，根据获取的所述日志数据的实时心跳信息及即时运行信息，响应给所述数据收集模块及所述加解密计算模块双方；响应给所述数据收集模块及所述加解密计算模块双方的内容包括加密数据信息和本次加密服务所需要的令牌；

所述资源调度子模块，还用于根据令牌与所述审计管理模块通信，并进行数据解密。

优选的，所述审计分析模块包括规则匹配子模块和关联分析子模块；

所述规则匹配子模块，基于分布式处理计算使用正则匹配来快速匹配日志信息；其中匹配规则方式有两种，分别为：自定义敏感操作和自定义特殊事件；所述自定义敏感操作，是对操作内容进行分级处理，依据同一账户累积的预设等级进行处理；自定义特殊事件，是在某一时间段内，同一事件以不同的识别特征频繁发生事件的处理；

所述关联分析子模块，用于关联所述日志数据，发现违规事件后，对该违规事件进行还原，以获得事件发生的前后信息。

本发明的有益效果是：本发明在收集日志信息的同时可以对原始日志数据进行去重、排序和筛选等预处理操作，配合后续的正则表达式匹配算法能够对原始日志数据进行良好的预处理，为后续数据分析打下坚实基础。本发明采用特殊的自定义匹配规则，高效地筛选出敏感操作，可以准确分析系统内存在的风险。本发明采用改进的聚类算法，提高了聚类的速度、准确，聚类算法的使用为定义敏感操作、特殊事件提供了辅助。本发明采用改进的关联分析算法去还原发现的违规事件，为审计取证提供了更直接的实现方式。

附图说明

图1为本系统架构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

一种基于大数据平台集中安全审计的方法,包括如下步骤：

S1,收集日志数据；

S2,将收集的日志数据传输至全同态数据加密模块进行加密，作为加密数据；

S3,将加密数据传输至支撑模块进行分布式存储，作为存储数据；

S4,将存储数据进行审计分析，得到分析数据；

S5,将分析数据传输至全同态数据加密模块进行解密，作为解密数据；

S6,将解密数据进行集中管理，作为审计管理数据。

步骤S1中还对收集的日志数据进行预处理；预处理的方法为：

S21，实时监控收集的日志信息；

S22,将收集的日志信息进行去重、排序和筛选，作为预处理数据，并将预处理数据导入到HDFS中；

S23,对HDFS中的预处理数据采用正则表达式来对不同日志数据进行标准化匹配，提取所需变量，得到可处理的日志字段属性及属性值，作为日志数据。

步骤S4中审计分析的方法包括：根据预设规则将存储数据进行分类匹配、关联、统计和聚类分析。

分类匹配包括：

根据警告信息进行敏感分级；警告信息为用户在单位时间内累积敏感操作的次数；

根据异常警告信息进行异常识别；异常警告信息为用户在发生的异常事件的频率信息。

一种基于大数据平台集中安全审计的系统,包括

数据收集模块，用于收集日志数据；

全同态数据加密模块，用于对数据收集模块收集的日志数据进行加密；

用于对审计分析模块审计分析后的日志数据进行解密；

支撑模块，用于对全同态数据加密模块加密后的日志数据分布式存储；

审计分析模块，用于对支撑模块分布式存储的日志数据进行审计分析；

审计管理模块，用于对审计分析后的日志数据经过全同态数据加密模块解密后进行集中管理。

数据收集模块包括原始数据解析子模块和数据标准化子模块；

原始数据解析子模块，采用Chukwa采集办法实时监控产生的日志信息，并将实时的日志信息进行去重、排序和筛选工作，然后将这些数据导入到HDFS中，作为原始数据；

数据标准化子模块利用正则表达式对不同原始数据进行标准化，从而对数据进行规则匹配并提取所需变量，得到可处理的日志字段属性及属性值，作为日志数据。

全同态数据加密模块包括资源调度子模块和加解密计算模块；

加解密计算模块，用于对日志数据加解密；

资源调度子模块，用于按照预先设置的策略，根据获取的日志数据的实时心跳信息及即时运行信息，响应给数据收集模块及加解密计算模块双方；响应给数据收集模块及加解密计算模块双方的内容包括加密数据信息和本次加密服务所需要的令牌；

资源调度子模块，还用于根据令牌与审计管理模块通信，并进行数据解密。

审计分析模块包括规则匹配子模块和关联分析子模块；

规则匹配子模块，基于分布式处理计算使用正则匹配来快速匹配日志信息；其中匹配规则方式有两种，分别为：自定义敏感操作和自定义特殊事件；自定义敏感操作，是对操作内容进行分级处理，依据同一账户累积的预设等级进行处理；自定义特殊事件，是在某一时间段内，同一事件以不同的识别特征频繁发生事件的处理；

关联分析子模块，用于关联日志数据，发现违规事件后，对该违规事件进行还原，以获得事件发生的前后信息。

在本实施例中描述的Chukwa是一个开源的用于监控大型分布式系统的数据收集系统。是Apache提出的集群自身的相关信息收集和分析解决方案。

HDFS(Hadoop Distributed File System)是一套用来存储大型文件和非结构化数据的分布式文件系统；MapReduce是一种并行编程模型，与HDFS配合使用，可以高效便捷地完成复杂的分布式计算任务。

如图1所示，本实施例中数据收集模块是整个系统的最底层模块，负责将大数据平台产生的日志数据采集整理起来，为日志数据的后续分析提供预处理方案。数据收集模块包括原始数据解析子模块和数据标准化子模块。原始数据解析子模块利用Chukwa分布式数据采集办法实时监控在线服务器在生产进程中产生的日志信息，并将实时日志数据进行去重、排序和筛选工作，然后将这些数据导入到HDFS中，方便后续对数据的预处理。数据标准化子模块利用正则表达式匹配技术来对不同日志数据进行标准化，该模块通过正则匹配的特殊字符构建统一的匹配模式，从而对数据进行规则匹配并提取所需变量，得到可处理的日志字段属性及属性值。

全同态数据加密模块加密模块采用了分布式的结构来提供对预处理后的日志数据进行加密解密处理的服务，使数据处理权与数据所有权可以分离，保障大数据平台的日志数据安全。

数据收集模块对数据完成处理后，请求对数据进行加密。此时，数据收集模块与全同态数据加密模块的资源调度子模块进行请求通信。请求通信内容包括了两类信息，一类是加密数据的字节数，数据来源等数据有关信息，另一类为加密方式及其他加密相关的信息。资源调度子模块依据各加解密计算模块的心跳信息及即时运行信息，并按照预先设置的策略来计算服务分配结果，并将结果响应给数据收集模块及加解密计算模块双方。

响应信息中包含了本次加密数据的信息，特别地，也包含了本次加密服务所需要的令牌。数据收集模块依据结果信息请求数据加解密模块进行服务，在进行服务前，数据加解密模块会验证本次服务令牌，以确保正确执行资源调度子模块的决定。这样即实现了对加解密计算资源的负载均衡。其中，负载均衡算法包括了最低负载、响应最快、最低资源占用等多种可选算法。

而具体的数据加解密计算模块应用可选的基于格的全同态加密算法等多种算法对日志数据进行加密，加密后的数据被传输至支撑模块存储。在后续的整个数据处理分析过程中，也就是数据在支撑模块中的存储和计算均以密文形式存在。即实现了数据所有权和处理权的分离。

支撑模块是集中安全审计系统的枢纽模块，向下连接全同态数据加密模块、向上连接审计分析模块。支撑模块可以更细致地分为数据存储子模块与数据处理子模块。其中，数据存储子模块为下层的数据收集模块提供了存储的功能，数据处理子模块在存储模块之上为上层审计分析模块提供审计分析处理功能。具体地，存储子模块的实现依靠Hadoop框架中的HDFS文件系统，该系统区别于普通文件系统之处是提供了大数据存储的能力，也正是因为这样，在数据收集模块中对一些零散的文件进行了预处理。数据处理子模块的实现依靠MapReduce 组件，在本系统中，MapReduce依赖HDFS提供数据来进行数据处理，同时处理子模块也包含有为实现审计分析模块功能而编写的多个jar包。

审计分析模块向下连接支撑模块，向上连接在审计管理模块。审计分析模块提供了不同的功能模块，使用支撑模块的处理来完成上层审计管理模块的不同需求。其中，审计分析模块提供了规则匹配子模块、统计分析子模块、信息搜索子模块、聚类分析子模块、关联分析子模块。

规则匹配子模块是本系统中基础的功能模块，基于分布式处理计算使用正则匹配来快速匹配日志信息，其中匹配规则主要有两种——自定义敏感操作与自定义特殊事件。自定义敏感操作，是指对平台运行可能会造成有极大影响的操作，对操作内容进行分级处理，依据同一账户累积的等级进行处理，例如某高级权限账户多次修改系统配置。自定义特殊事件是指在平台上发生的异常事件，这类事件是指对平台安全运行存有潜在的危险，某一时间段内，同一事件以不同的识别特征频繁发生，如同一账号登录事件在同一时间段内在不同IP地址发生。

统计分析子模块是本系统中的基础功能模块，该模块利用分布式处理快速计算平台相关指标，如访问量、访问用户名单等等信息，提供大数据平台的各项运行指标，并将结果传递至审计管理模块进行图形化展示。

信息搜索子模块是本系统中的基础功能模块，该模块利用分布式处理技术，为审计管理模块提供搜索服务功能。

聚类分析子模块提供了对日志信息进行聚类分析的功能，该模块的聚类分析实现基于分布式处理技术采用改进的K-MEANS算法完成，使用该模块可以发现新的特殊事件或是行为，对人工定义特殊事件、敏感操作进行辅助。

关联分析子模块提供了审计取证的功能，在规则匹配中发现违规事件后，使用该模块来对该行为进行整体还原，以获得事件发生的前后信息，该模块实现主要基于分布式处理技术采用改进的FP-growth算法完成。

审计管理模块处于本系统最顶层，提供行为检测业务、统计分析业务、信息搜索业务、规则发现业务、审计取证业务和审计结果管理业务。其中，行为检测业务、统计分析业务、信息搜索业务、规则发现业务、审计取证业务分别提供了对审计分析模块中对应模块的管理功能，如可视化的配置界面、结果展示界面。而审计结果管理业务则提供了对审计结果采用AES对称加密、MySQL数据库保存、审计结果集中展示和审计结果搜索等功能，其中在数据库保存时使用基于Sqoop数据库导入工具的方法实现HDFS与MySQL之间的相互通信。由于本系统采用了全同态的加密方式对数据进行了加密，因此计算结果在使用前需要进行解密操作。在审计结果管理业务提供上述服务前，需要进行类似于数据收集模块请求加密的操作，但不同的是，数据加解密模块此时响应给审计管理业务的内容，除解密结果标志信息外还包括了具体的解密结果内容。

本发明在收集日志信息的同时可以对原始日志数据进行去重、排序和筛选等预处理操作，配合后续的正则表达式匹配算法能够对原始日志数据进行良好的预处理，为后续数据分析打下坚实基础。本发明采用特殊的自定义匹配规则，高效地筛选出敏感操作，可以准确分析系统内存在的风险。本发明采用改进的聚类算法，提高了聚类的速度、准确，聚类算法的使用为定义敏感操作、特殊事件提供了辅助。本发明采用改进的关联分析算法去还原发现的违规事件，为审计取证提供了更直接的实现方式。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种基于大数据平台集中安全审计的方法,其特征在于，包括如下步骤：

S1,收集日志数据；

S2,将收集的日志数据传输至全同态数据加密模块进行加密，作为加密数据；

S3,将所述加密数据传输至支撑模块进行分布式存储，作为存储数据；

S4,将所述存储数据进行审计分析，得到分析数据；

S5,将所述分析数据传输至全同态数据加密模块进行解密，作为解密数据；

S6,将所述解密数据进行集中管理，作为审计管理数据。

2.根据权利要求1所述的基于大数据平台集中安全审计的方法,其特征在于，步骤S1中还对收集的日志数据进行预处理；预处理的方法为：

S21，实时监控收集的日志信息；

S22,将收集的日志信息进行去重、排序和筛选，作为预处理数据，并将所述预处理数据导入到HDFS中；

S23,对HDFS中的所述预处理数据采用正则表达式来对不同日志数据进行标准化匹配，提取所需变量，得到可处理的日志字段属性及属性值，作为日志数据。

3.根据权利要求1所述的基于大数据平台集中安全审计的方法,其特征在于，步骤S4中审计分析的方法包括：根据预设规则将所述存储数据进行分类匹配、关联、统计和聚类分析。

4.根据权利要求3所述的基于大数据平台集中安全审计的方法,其特征在于，所述分类匹配包括：

根据警告信息进行敏感分级；所述警告信息为用户在单位时间内累积敏感操作的次数；

根据异常警告信息进行异常识别；所述异常警告信息为用户在发生的异常事件的频率信息。

5.一种基于大数据平台集中安全审计的系统,其特征在于：包括

数据收集模块，用于收集日志数据；

全同态数据加密模块，用于对数据收集模块收集的日志数据进行加密；

用于对审计分析模块审计分析后的日志数据进行解密；

支撑模块，用于对全同态数据加密模块加密后的日志数据分布式存储；

审计分析模块，用于对支撑模块分布式存储的日志数据进行审计分析；

审计管理模块，用于对审计分析后的日志数据经过全同态数据加密模块解密后进行集中管理。

6.根据权利要求5所述的基于大数据平台集中安全审计的系统,其特征在于：所述数据收集模块包括原始数据解析子模块和数据标准化子模块；

所述原始数据解析子模块，采用Chukwa采集办法实时监控产生的日志信息，并将实时的日志信息进行去重、排序和筛选工作，然后将这些数据导入到HDFS中，作为原始数据；

所述数据标准化子模块利用正则表达式对不同原始数据进行标准化，从而对数据进行规则匹配并提取所需变量，得到可处理的日志字段属性及属性值，作为日志数据。

7.根据权利要求5所述的基于大数据平台集中安全审计的系统,其特征在于：所述全同态数据加密模块包括资源调度子模块和加解密计算模块；

所述加解密计算模块，用于对所述日志数据加解密；

所述资源调度子模块，用于按照预先设置的策略，根据获取的所述日志数据的实时心跳信息及即时运行信息，响应给所述数据收集模块及所述加解密计算模块双方；响应给所述数据收集模块及所述加解密计算模块双方的内容包括加密数据信息和本次加密服务所需要的令牌；

所述资源调度子模块，还用于根据令牌与所述审计管理模块通信，并进行数据解密。

8.根据权利要求5所述的基于大数据平台集中安全审计的系统,其特征在于：所述审计分析模块包括规则匹配子模块和关联分析子模块；

所述规则匹配子模块，基于分布式处理计算使用正则匹配来快速匹配日志信息；其中匹配规则方式有两种，分别为：自定义敏感操作和自定义特殊事件；所述自定义敏感操作，是对操作内容进行分级处理，依据同一账户累积的预设等级进行处理；自定义特殊事件，是在某一时间段内，同一事件以不同的识别特征频繁发生事件的处理；

所述关联分析子模块，用于关联所述日志数据，发现违规事件后，对该违规事件进行还原，以获得事件发生的前后信息。

Images