CN104504014B - 基于大数据平台的数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种基于大数据平台的数据处理方法和装置，该数据处理方法包括：根据用户发送的访问请求信息，记录用户的访问行为及访问数据；对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等级划分；根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。本发明通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处理，解决了大数据平台的数据结构复杂性导致系统安全性低的问题。

Description

基于大数据平台的数据处理方法和装置

技术领域

本发明涉及数据处理领域，具体来说，涉及一种基于大数据平台的数据处理方法和装置。

背景技术

信息技术的飞速发展迎来了大数据时代，数据越来越成为国家和企业的战略资产。大数据是近年来兴起的一种新型计算模式，大数据技术也在各个行业和领域得到了广泛的应用。当用户建立起了大数据平台后，由于数据的集中和数据的重要性，对于数据访问的行为管理员需要直观的掌握，并对关键的敏感信息访问能够实施控制，以保障核心数据的安全性。

而当前主流的大数据软件并没有提供完善的数据安全防护措施，只有基本的数据读写功能。一旦用户能够访问大数据平台，几乎就可以获取所有数据。

目前大数据技术处于起步阶段，由于大数据平台的数据结构复杂性，并没有足够完善的数据安全防护措施，如果用户进入数据库中，而这些数据中对于某些用户是不应该能够使用，或者过度使用的，这就给系统带来了极大的安全隐患。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于大数据平台的数据处理方法和装置，能够大大提高大数据平台数据的安全性。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种基于大数据平台的数据处理方法。

该数据处理方法，包括：

根据用户发送的访问请求信息，记录用户的访问行为及访问数据；

对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等级划分；

根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。

其中，大数据平台由多个不同的数据处理平台并行组成。

其中，根据用户发送的访问请求信息，记录用户的访问行为及访问数据，进一步包括：

将用户的访问请求转换成与构成大数据平台的数据处理平台相对应的请求格式。

其中，安全策略包括以下至少之一：

记录日志、发送告警、阻断访问；

其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理行为。

其中，在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端，并记录用户的访问数据及访问日志；

在当前访问行为为告警的情况下，向监控服务器发送告警，并记录用户的访问数据及访问日志；

在当前访问行为为危险的情况下，阻断当前用户的访问请求，并向监控服务器发送告警，同时记录用户的访问数据及访问日志。

根据本发明的另一方面，提供了一种基于大数据平台的数据处理装置，该数据处理装置包括：

记录模块，用于根据用户发送的访问请求信息，记录用户的访问行为及访问数据；

分析模块，用于对记录的访问行为及访问数据进行分析；

划分模块，用于根据分析模块的分析结果对访问行为进行安全等级划分；

处理模块，用于根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。

其中，大数据平台由多个不同的数据处理平台并行组成。

此外，记录模块进一步包括：

格式转换单元，用于将用户的访问请求转换成与构成大数据平台的数据处理平台相对应的请求格式。

其中，安全策略包括以下至少之一：

记录日志、发送告警、阻断访问；

其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理行为。

此外，该数据处理装置还可以包括：

第一发送模块，用于在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端；

记录模块进一步用于，记录用户的房屋内数据及访问日志；

第二发送模块用于，在当前访问行为为告警的情况下，向监控服务器发送告警；

阻断模块，用于在当前访问行为为危险的情况下，阻断当前用户的访问请求。

本发明通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处理，并且由于大数据平台的数据结构复杂性本发明通过对访问行为进行安全等级划分，实现了根据不同的用户访问信息只能访问自己权限范围内的数据，从而大大提高了大数据平台的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于大数据平台的数据处理方法的流程图；

图2是根据本发明实施例的基于大数据平台的数据处理方法的示意性流程图；

图3是根据本发明实施例的软件架构示意图；

图4是根据本发明实施例的硬件架构示意图；

图5是根据本发明实施例的基于大数据平台的数据处理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于大数据平台的数据处理方法，其中，大数据处理平台由多个不同和/或相同的数据处理平台组成，比如可以有hadoop平台和nosql数据库以及其他分布式并行数据库组合构成。

如图1所示，根据本发明实施例的基于大数据平台的数据处理方法，包括：

步骤S101，根据用户发送的访问请求信息，记录用户的访问行为及访问数据；

步骤S103，对记录的访问行为及访问数据进行分析，并根据分析结果对访问行为进行安全等级划分；

步骤S105，根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。

其中，在对用户的访问行为及访问数据进行记录时，同时将用户的访问请求转换成与构成大数据平台的数据处理平台相对应的请求格式，比如用户需要访问hadoop组件的数据，则将访问请求转换成与hadoop平台相对应的请求格式。

其中，安全策略包括以下至少之一：

记录日志、发送告警、阻断访问；

其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理行为。

比如，在当前访问行为为安全的情况下，安全策略为记录日志，则将用户所要访问的数据发送至客户端，并记录用户的访问数据及访问日志；

在当前访问行为为告警的情况下，安全策略为发送告警，则向监控服务器发送告警，并记录用户的访问数据及访问日志；

在当前访问行为为危险的情况下，安全策略为阻断访问，则阻断当前用户的访问请求，并向监控服务器发送告警，同时记录用户的访问数据及访问日志。

上述在触发相应的安全策略后进行记录可以有助于数据的统计及数据使用情况的追溯。

在一个具体的实施例中，如图2所示，在大数据安全处理引擎中，增加对用户访问数据的内容审计和属性分析的功能，对数据访问行为进行记录，包括数据的类别、属主、访问用户、访问时间等信息；分析模块对这些记录进行合规性检查和异常检测，生成数据访问统计报表，对访问行为进行安全等级划分，根据不同的级别采取不同的反馈措施。以确保用户访问数据的合法性。

如图3示出了本发明实施例的软件架构，本发明支持对hadoop平台各组件以及数据库等用户访问行为的监控和追踪。在软件层面，将在Hadooop组件和数据库之上，构建大数据安全访问引擎，和数据访问支撑工具，大数据应用系统通过数据访问接口和支撑工具，对底层数据进行访问，中间经过大数据安全访问引擎，会对用户的访问数据行为进行监控和追踪，并进行相应的控制和处理。

如图4示出了本发明实施例的硬件结构，应用节点访问安全引擎集群，安全引擎集群将从安全引擎数据库中获取到对应的安全策略，然后对应用的数据访问进行相应的处理，对于不允许的数据访问将直接阻断，对于允许的数据访问将数据请求转发到相应的大数据组件上，然后将最终数据返回给客户端，并在此过程中对用户访问数据的内容和行为进行日志审计和记录，并将结果存入数据库中，用于后期追踪和分析。

请再参见图2，本发明支持大数据常用组件的数据访问监控和追踪，包括hdfs、hive、数据库等，对用户的数据访问监控支持多种安全策略设置(包括策略的增删改查)，监控对象支持对文件、数据库表空间、表、关键字段等对象的监控，追踪策略支持记录日志、告警(发送告警邮件)、阻断三种模式，三种模式为依次包含关系，即后者会包含前者的功能，例如阻断模式会同时记录日志，并发送告警邮件。

具体的，管理员首先登陆安全处理引擎的Web界面，根据需求设置对关键数据的安全策略，安全处理引擎将预先设定的安全策略存入安全引擎数据库中。当用户发送访问请求时，通过安全访问接口发送数据访问请求，安全引擎根据用户的访问请求中的信息，从安全引擎数据库中查询对应的安全策略。如果策略为阻断请求，则直接拒绝用户发送的访问请求，并记录日志同时发送告警。否则则将访问请求转发到相应的大数据平台，例如hdfs或者oracle数据库，安全引擎通过调用大数据平台相应的数据访问接口获得相应数据，然后将数据返回给客户端。同时在处理过程中记录应用访问的数据信息，形成数据访问日志，包括数据的类别、属主、访问用户、访问时间等信息，并实时分析处理这些信息对其进行安全等级划分，如果其中满足告警条件，则发送相应的告警。

此外，安全处理引擎需要根据用户的请求，进行相应的语义转换，包括解析用户请求的数据对象、数据内容、所对应的大数据平台，在解析过程中除了安全相关的监控和追踪外，还需将用户的数据请求转换成对应大数据平台相应的请求格式，例如hdfs、hive、oracle都有不同的数据访问请求形式，安全处理引擎需进行相应的隐式转换。

此外，安全处理引擎和应用之间支持加密安全传输，协议支持https、ssh以及私有加密协议。

此外，由于大数据软件组件众多，语义复杂繁多，本发明支持的数据访问请求范围如下：

Oracle数据平台数据访问请求为Oracle所能够支持的所有的查询语句。

Hive大数据平台数据访问请求为底层所用Hive版本对应的所有的Hive SQL语句。

Hdfs大数据平台数据访问请求分为Hdfs Shell的命令封装以及Hadoop作为提交命令。调用文件系统(FS)Shell命令应使用hdfs.<CMDNAME>的形式。所有的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child，大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下表中举例介绍，下表中所举例说明的特殊命令并不完全包括其他特殊命令，仅作为介绍使用。出错信息会输出到stderr，其他信息输出到stdout。

表一

表二

根据本发明的实施例还提供了一种基于大数据平台的数据处理装置，该数据处理装置包括：

记录模块51，用于根据用户发送的访问请求信息，记录用户的访问行为及访问数据；

分析模块52，用于对记录的访问行为及访问数据进行分析；

划分模块53，用于根据分析模块的分析结果对访问行为进行安全等级划分；

处理模块54，用于根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。

其中，大数据平台由多个不同的数据处理平台并行组成。

此外，记录模块可以进一步包括：

格式转换单元，用于将用户的访问请求转换成与构成大数据平台的数据处理平台相对应的请求格式。

其中，安全策略包括以下至少之一：

记录日志、发送告警、阻断访问；

其中，发送告警包括记录日志的处理行为，阻断包括发送告警和记录日志的处理行为。

此外，该数据处理装置还可以包括：

第一发送模块，用于在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端；

记录模块进一步用于，记录用户的房屋内数据及访问日志；

第二发送模块用于，在当前访问行为为告警的情况下，向监控服务器发送告警；

阻断模块，用于在当前访问行为为危险的情况下，阻断当前用户的访问请求。

综上所述，借助于本发明的上述技术方案，本发明通过记录用户的访问请求信息并分析用户的访问请求信息，对用户的访问请求情况进行安全等级划分，并根据预先设定的安全策略对不同的用户请求进行相应的处理，并且由于大数据平台的数据结构复杂性本发明通过对访问行为进行安全等级划分，实现了根据不同的用户访问信息只能访问自己权限范围内的数据，以确保用户访问数据的合法性，从而大大提高了大数据平台的安全性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于大数据平台的数据处理方法，其特征在于，包括：

根据用户发送的访问请求信息，记录所述用户的访问行为及访问数据；

对记录的所述访问行为及访问数据进行分析，并根据分析结果对所述访问行为进行安全等级划分；

根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略；

其中，所述大数据平台由多个不同的数据处理平台并行组成；

根据所述用户发送的访问请求信息，记录所述用户的访问行为及访问数据，进一步包括：

将所述用户的访问请求转换成与构成所述大数据平台的数据处理平台相对应的请求格式。

2.根据权利要求1的所述方法，其特征在于，所述安全策略包括以下至少之一：

记录日志、发送告警、阻断访问；

其中，所述发送告警包括记录日志的处理行为，所述阻断包括发送告警和记录日志的处理行为。

3.根据权利要求2的所述方法，其特征在于，

在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端，并记录所述用户的访问数据及访问日志；

在当前访问行为为告警的情况下，向监控服务器发送告警，并记录所述用户的访问数据及访问日志；

在当前访问行为为危险的情况下，阻断当前用户的访问请求，并向监控服务器发送告警，同时记录所述用户的访问数据及访问日志。

4.一种基于大数据平台的数据处理装置，其特征在于，包括：

记录模块，用于根据用户发送的访问请求信息，记录所述用户的访问行为及访问数据；

分析模块，用于对记录的所述访问行为及访问数据进行分析；

划分模块，用于根据所述分析模块的分析结果对所述访问行为进行安全等级划分；

处理模块，用于根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略；

其中，所述大数据平台由多个不同的数据处理平台并行组成；

所述记录模块进一步包括：

格式转换单元，用于将所述用户的访问请求转换成与构成所述大数据平台的数据处理平台相对应的请求格式。

5.根据权利要求4的所述装置，其特征在于，所述安全策略包括以下至少之一：

记录日志、发送告警、阻断访问；

其中，所述发送告警包括记录日志的处理行为，所述阻断包括发送告警和记录日志的处理行为。

6.根据权利要求5的所述装置，其特征在于，包括：

第一发送模块，用于在当前访问行为为安全的情况下，将用户所要访问的数据发送至客户端；

记录模块进一步用于，记录所述用户的房屋内数据及访问日志；

第二发送模块用于，在当前访问行为为告警的情况下，向监控服务器发送告警；

阻断模块，用于在当前访问行为为危险的情况下，阻断当前用户的访问请求。