CN107392051A - 一种大数据处理方法和系统 - Google Patents

Abstract

本发明提供了一种大数据处理方法和系统，该方法应用于包括数据库代理模块、数据探查模块、数据脱敏模块的数据库代理系统，该方法包括：数据库代理模块接收应用客户端数据访问请求，根据数据访问请求确定目标源数据库中的目标数据和对目标数据的操作类型；数据库代理模块按照操作类型对目标数据进行操作，得到目标源数据库返回的操作结果；数据探查模块按照目标探查策略对操作结果进行敏感数据的探查，确定操作结果中的敏感数据；数据脱敏模块按照预设脱敏策略对操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；数据库代理模块将响应数据返回至应用客户端。本发明能够使数据库代理系统在进行数据传输的同时实现对所传输数据的数据脱敏。

Description

一种大数据处理方法和系统

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种大数据处理方法和系统。

背景技术

随着大数据的发展给人们的生活带来便利，大数据的安全问题也越来越引起人们的关注。大数据中可能涉及敏感数据，例如：姓名、身份证号码、地址、电话号码、银行账号、邮箱地址、所属城市、邮编、密码类数据、组织机构名称、营业执照号码、银行帐号、交易日期、交易金额等。

而目前各种数据库的代理服务器机制中，如图1所示，客户端应用通过代理服务器组来实现对源数据库的数据查询，其中，代理服务器组只起到数据代传的作用，而不能够将源数据库中的敏感数据进行脱敏处理。

那么通过集成代理服务器的方式实现数据库代理的方式在代理服务器维护、源数据库维护和数据安全方面都存在着较大的问题：

(1)代理服务器的搭建和维护

较大型的应用程序系统都会应用到多种数据库来保存不同的业务数据同而且不同的业务系统所采用的数据库类型也可能不一样，在这种情况下，如果将代理服务器的架构整合到系统中将是一个庞大的工程，不同的数据库搭建代理服务的方式也会不同；

在数据处理方面，各种数据库都有自己的处理方式，不便于统一管理；

在扩展方面，大部分数据库的代理处理方式不是开源的，难于再次开发；

在硬件方面，不同的数据库需要单独搭建服务器，耗费大量的硬件资源。

(2)源数据库的维护

因为源数据库的多样化，在更改代理服务器的数据处理方式的同时，可能就会牵涉到源数据库的相应配置的修改，因此在维护源数据库的时候，也会是一个非常困难的工作，出现差错的概率成倍增长。

(3)敏感数据维护

传统的数据库代理方式，不涉及到敏感数据的维护工作。这就给系统的安全性造成的威胁，一些非常重要的数据会直接暴露在终端用户面前，最终未达到保护数据的最终效果。随着信息技术的发展与大数据时代的到来，数据流通成为释放数据红利与价值的主要手段和途径，敏感数据在流通中缺乏有效管控，处于高风险状态。近年来，敏感数据泄漏事件屡见不鲜。敏感数据泄漏带来的不仅仅是经济损失，同时损害了金融机构和政府部门等权威机构的公信力，严重破坏了社会信用体系，影响了相关产业与全社会健康和谐发展。

发明内容

本发明提供了一种大数据处理方法和系统，以解决现有技术中的代理服务器只能对访问的数据进行代传而无法实现数据脱敏的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种大数据处理方法，应用于数据库代理系统，所述数据库代理系统包括数据库代理模块、数据探查模块、数据脱敏模块，该方法包括：

所述数据库代理模块接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块将所述响应数据返回至所述应用客户端。

根据本发明的另一方面，本发明还公开了一种大数据处理系统，包括：

数据库代理系统、源数据库；

所述数据库代理系统包括：数据库代理模块、数据探查模块、数据脱敏模块；

所述数据库代理模块，用于接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块，用于按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块，用于按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块，用于按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块，用于将所述响应数据返回至所述应用客户端。

与现有技术相比，本发明包括以下优点：

本发明通过在数据库代理系统中设置数据库代理模块、数据探查模块和数据脱敏模块，能够在数据库代理模块接收到应用客户端的数据访问请求时，对从源数据库中获取到的原始操作数据；并由数据探查模块来探查该原始操作数据中的敏感数据，从而由数据脱敏模块实现对原始操作数据中的敏感数据脱敏，再将脱敏后的操作数据返回至应用客户端，使得数据库代理系统能够在进行数据传输时实现对所传输数据的数据脱敏。

附图说明

图1是现有技术的一种大数据查询方法实施例的步骤流程图；

图2是本发明的一种大数据处理方法实施例的步骤流程图；

图3是本发明的一种数据库代理系统实施例的工作流程图；

图4是本发明的一种数据库代理模块实施例的工作流程图；

图5是本发明的一种大数据处理系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图2，示出了本发明的一种大数据处理方法实施例的步骤流程图，应用于如图3所示的数据库代理系统，所述数据库代理系统包括数据库代理模块、数据探查模块、数据脱敏模块，具体可以包括如下步骤：

步骤101，所述数据库代理模块接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

其中，如图3所示，当应用客户端(这里为应用查询客户端，即执行的操作为查询操作)需要对源数据库中的大数据进行数据操作时，可以发送数据访问请求，那么本发明的数据库代理系统的数据库代理模块会拦截该数据访问请求，从而确定该应用客户端所要访问的位于源数据库中的目标数据，以及确定对该目标数据的操作类型(包括增加、删除、修改、查询)。

在一个具体实例中，如图4所示，数据库代理模块可以拦截应用客户端想要发送至源数据库的数据访问请求，该拦截操作建立在网络传输TCP/IP协议基础之上，可以从端口上捕获应用客户端请求的二进制数据(即数据访问请求)；

然后，数据库代理模块解析该二进制数据，将其还原成请求的真实数据；

接着，根据该真实数据确定该应用客户端想要访问的源数据库的数据库类型(其中，数据库类型包括但不限于Oracle、Sql Server、MySQL、Informix、DB2等等)，即目标源数据库(例如Oracle)；

可选地，可以判断本发明实施例的数据库代理模块是否支持该Oracle数据库类型的连接，即本发明实施例的数据库代理模块是否对Oracle进行数据访问代理；

那么如果支持，则可选地，数据库代理模块还可以从上述真实数据中提取客户端信息(例如客户端ID等标识信息)，然后查询数据库代理模块中预先设置的客户端与具有访问权限的数据库之间的对应关系，即，通过该对应关系来查询该应用客户端是否对Oracle数据库具有访问权限(即连接权限)；

如果该应用客户端不具有对该Oracle数据的连接权限，则数据库代理模块返回拒绝访问信息至该应用客户端；

如果该应用客户端具有对该Oracle数据库的连接权限，则继续操作，如图4所示，可以继续分析上述真实数据中的操作类型(即增加、删除、修改和查询)并从真实数据中截取所要执行的SQL语句(即数据库操作语句)，根据该SQL语句可以确定应用客户端所要访问的目标源数据库中的目标数据；

接着，判断数据库代理模块当前是否存在与该目标源数据库的连接；

如果不存在，则创建数据库代理模块与该目标源数据库的连接，并将连接缓存起来，设置操作的有效时间(即，当数据库连接的时间达到该有效时间，则连接断开)等。

步骤102，所述数据库代理模块按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

继续参照图4，如果存在数据库代理模块与该目标源数据库的连接，则数据库代理模块通过该数据库的连接来对目标源数据库中的目标数据执行相应操作类型的操作；

可选地，如图4所示，可以判断是否相应操作类型的操作失败；

若操作失败，则返回操作失败异常；

若操作成功，则可以得到该目标源数据库返回的操作结果，例如，数据访问请求中的操作类型为修改，则该操作结果(即原始操作数据)为对目标数据修改后的结果。

步骤103，所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

继续参照图3，当数据库代理模块从目标源数据库中获取到对目标数据的操作结果后，数据库代理模块会将操作结果发送给数据探查模块从而探查操作结果中的敏感数据。

步骤104，所述数据脱敏模块按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

继续参照图3，当数据探查模块探查到操作结果中的敏感数据时，则知识数据脱敏模块来对该敏感数据进行脱敏，而数据脱敏模块在进行数据脱敏时则可以按照预设的脱敏策略来进行脱敏处理，该预设的脱敏策略可以是用户指定的脱敏策略，也可以是预先设置的脱敏策略。

其中，脱敏策略包括但不限于：原态、身份证、电话号码、邮箱、邮编、替换、覆盖、随机替换、随机覆盖、长度治理、置空和乱序。

其中，原态：不进行任何治理，原态输出；

身份证：将原数据用一个随机有效的身份证进行替换；

电话号码:将原数据用一个随机有效的电话号码进行替换；

邮箱：将原数据用一个随机邮箱进行替换；

邮编：将原数据替换成一个邮编；

替换：将指定的数据用给定的字符进行替换，如将“1”替换成”星号“*”；

覆盖：将指定位置的数据用指定的字符进行替换，如将第2到第5位置的数据替换成星号；

随机替换：将指定的数值随机用一个新的字符替换；

随机覆盖：将指定位置的数据随机用一个新的字符进行替换；

长度治理：将原数据截取成给定的标准长度；

置空：将原数据置空；

乱序：打乱数据的顺序。

步骤105，所述数据库代理模块将所述响应数据返回至所述应用客户端。

其中，所谓应用客户端包括具有应用程序的各种客户端，包括浏览器客户端、手机应用客户端等等。

其中，如图3所示，在数据脱敏模块来对操作结果进行脱敏后，可以将脱敏后的响应数据转给数据库代理模块，由数据库代理模块将该响应数据返回至这里的应用查询客户端。

借助于本发明上述实施例的技术方案，本发明通过在数据库代理系统中设置数据库代理模块、数据探查模块和数据脱敏模块，能够在数据库代理模块接收到应用客户端的数据访问请求时，对从源数据库中获取到的原始操作数据；并由数据探查模块来探查该原始操作数据中的敏感数据，从而由数据脱敏模块实现对原始操作数据中的敏感数据脱敏，再将脱敏后的操作数据返回至应用客户端，使得数据库代理系统能够在进行数据传输时实现对所传输数据的数据脱敏。

可选地，所述数据探查模块包括预设探查策略，在执行步骤103之前，根据本发明实施例的方法还可包括：

所述数据探查模块接收目标探查策略的配置信息，根据所述目标探查策略的配置信息对所述预设探查策略进行配置，得到目标探查策略。

其中，预设探查策略中可以包括预设的敏感数据字典，该敏感数据字典中包括各种预设的敏感数据。

但是，在实际应用场景中，由于不同的数据访问请求中涉及的访问数据、应用客户端、源数据库类型均不一一相同，因此，预设的敏感数据字典并不适用于所有的被探查数据(即上述操作结果)。所以，数据探查模块在进行敏感数据的探查前会接收到满足业务需求和特定敏感探查目标的目标探查策略的配置信息，从而根据该配置信息来对该预设探查策略进行配置(这里包括修改、删除和增加)，从而得到满足业务需求特定敏感探查目标的目标探查策略。

在一个具体实例中，该数据探查模块可以包括探查配置子模块、探查管理子模块。

其中，探查配置子模块包括：探查配置单元。

其中，探查配置单元，用于定义扫描配置信息(包括定义扫描数据、扫描对象和扫描范围)、定义凭证配置信息(包括添加目标数据库的IP、端口、主机名、服务类型、服务ID、用户名和密码等)、定义任务配置信息(包括定义立即扫描或定时扫描)和定义高级配置信息(包括通过添加关键字、正则表达式、特征值等来自定义的探查规则，并对预定义和自定义的探查规则进行增、删、改、查等管理操作)；定义扫描条件配置信息(包括定义文件路径、文件名关键字、文件类型、文件最小值、文件最大值、扫描启动条件、扫描持续条件、扫描时间条件等)；定义扫描策略配置信息(包括选择全量扫描或增量扫描)；定义智能配置信息(包括文件识别配置、内容提取配置、文件自动聚类配置、特征提取与规则生成配置、文件指纹生成配置和选择机器学习模式)。

其中，探查配置单元，在定义扫描数据时，可以按照扫描需求，选择预定义探查规则中的数据类型；在定义扫描对象时，可以按照扫描需求，选择按视图扫描和按数据库扫描；在定义扫描范围时，可以通过添加数据库及数据库表，指定扫描范围，可以分为扫描时只扫指定范围或排除指定范围两种模式。

其中，探查配置子模块在定义上述各种配置信息时，是按照业务需求和特定探查目标的情况下进行定义的，即定义的上述配置信息是满足业务需求和特定探查目标的，因此，上述配置信息可以理解为目标探查策略的配置信息；然后，探查配置子模块将上述配置信息发送给探查管理子模块；探查管理子模块接收目标探查策略的配置信息，并根据所述目标探查策略的配置信息来对所述预设探查策略进行配置(这里包括增加策略、修改策略和删除策略)，得到目标探查策略。

可选地，在一个实施例中，所述预设探查策略还可以包括：不同类型的源数据库的属性信息。

其中，对于需要进行代理的数据库，本发明实施例预先可以将各种类型的源数据库的属性信息添加到预设探查策略中，其中，该属性信息即为上述实施例中描述的凭证配置信息(包括目标数据库的IP、端口、主机名、服务类型、服务ID、用户名和密码等)。

因此，在目标探查策略中设置了源数据库的属性信息的源数据库是支持对其进行敏感数据探查的，相反，未在在目标探查策略中的源数据库的属性信息所对应的源数据库，本发明是无法进行敏感数据探查的。

而本发明实施例可以预先在预设探查策略中设置支持的源数据库的属性信息，而在实际应用中，又可以根据实际的业务需求和特定的探查目标来对所支持的源数据库进行灵活的调整，这样，使得本发明实施例的数据库代理系统能够灵活的实现对各种类型的数据库的代理服务搭建，避免现有技术中对多种数据库类型的代理服务器的搭建难度大和维护难度大的问题，而且对不同类型的源数据库的代理服务可扩展性强；此外，通过使数据库代理系统能够代理不同类型的数据库，只需要在凭证配置时定义相应类型的源数据库的属性信息，并不会对源数据库本身的配置进行修改，进一步降低了源数据库的维护难度。

在另一个具体实例中，数据探查模块还包括发现引擎子模块，该发现引擎子模块，用于接收探查管理子模块发送的目标探查策略，并按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据。

可选地，在另一个实施例中，根据本发明实施例的方法还包括：

所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，生成探查过程中的探查日志；

所述数据探查模块根据所述探查日志对所述探查过程进行审计处理，生成探查审计报告数据。

在一个具体的实例中，数据探查模块的发现引擎子模块，用于按照目标探查策略对所述操作结果进行敏感数据的探查，生成探查过程中的探查日志，并将探查日志发送给探查管理子模块进行记录；探查管理子模块，用于根据所述探查日志对所述探查过程进行审计处理，生成探查审计报告数据；

可选地，探查管理子模块，还用于将探查审计报告数据进行展现和导出，从而为探查过程的监管提供支持。

可选地，在上述步骤103之后，根据本发明实施例的方法还包括：

所述数据探查模块根据预设的数据库或数据表与具有访问权限的客户端的对应关系，确定所述应用客户端是否对所述敏感数据所对应的数据库或数据表具有访问权限；

若是，则所述数据探查模块将所述敏感数据进行可视化展现；

若否，则执行上述步骤104。

在一个具体的实例中，数据探查模块还可以包括：展现引擎子模块。

上述引擎子模块在确定所述操作结果中的敏感数据后，可以将该敏感数据发送给展现引擎子模块进行分析处理，展现引擎子模块会据预设的数据库或数据表与具有访问权限的客户端的对应关系，确定所述应用客户端是否对所述敏感数据所对应的数据库或数据表具有访问权限，若是，则展现引擎子模块会将所述敏感数据进行可视化展现。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的方法相对应，参照图5，示出了本发明一种大数据处理系统实施例的结构框图，具体可以包括数据库代理系统51、源数据库52；

其中，所述数据库代理系统51包括：数据库代理模块511、数据探查模块512、数据脱敏模块513；

所述数据库代理模块511，用于接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块511，用于按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块512，用于按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块513，用于按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块511，用于将所述响应数据返回至所述应用客户端。

可选地，所述数据探查模块512包括预设探查策略，所述数据探查模块512，用于接收目标探查策略的配置信息，根据所述目标探查策略的配置信息对所述预设探查策略进行配置，得到目标探查策略。

可选地，所述预设探查策略包括：不同类型的源数据库的属性信息。

可选地，

所述数据探查模块512，用于按照目标探查策略对所述操作结果进行敏感数据的探查，生成探查过程中的探查日志；

所述数据探查模块512，用于根据所述探查日志对所述探查过程进行审计处理，生成探查审计报告数据。

可选地，

所述数据探查模块512，用于根据预设的数据库或数据表与具有访问权限的客户端的对应关系，确定所述应用客户端是否对所述敏感数据所对应的数据库或数据表具有访问权限；

所述数据探查模块512，用于若确定所述应用客户端对所述敏感数据所对应的数据库或数据表具有访问权限，则将所述敏感数据进行可视化展现；

所述数据探查模块512，用于若确定所述应用客户端对所述敏感数据所对应的数据库或数据表不具有访问权限，则按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据。

对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种大数据处理方法和一种大数据处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种大数据处理方法，其特征在于，应用于数据库代理系统，所述数据库代理系统包括数据库代理模块、数据探查模块、数据脱敏模块，所述方法包括：

所述数据库代理模块接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块将所述响应数据返回至所述应用客户端。

2.根据权利要求1所述的方法，其特征在于，所述数据探查模块包括预设探查策略，所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据之前，所述方法还包括：

所述数据探查模块接收目标探查策略的配置信息，根据所述目标探查策略的配置信息对所述预设探查策略进行配置，得到目标探查策略。

3.根据权利要求2所述的方法，其特征在于，所述预设探查策略包括：不同类型的源数据库的属性信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，生成探查过程中的探查日志；

所述数据探查模块根据所述探查日志对所述探查过程进行审计处理，生成探查审计报告数据。

5.根据权利要求1所述的方法，其特征在于，所述数据探查模块按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据之后，所述方法还包括：

所述数据探查模块根据预设的数据库或数据表与具有访问权限的客户端的对应关系，确定所述应用客户端是否对所述敏感数据所对应的数据库或数据表具有访问权限；

若是，则所述数据探查模块将所述敏感数据进行可视化展现；

若否，则所述数据探查模块按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据。

6.一种大数据处理系统，其特征在于，包括：

数据库代理系统、源数据库；

所述数据库代理系统包括：数据库代理模块、数据探查模块、数据脱敏模块；

所述数据库代理模块，用于接收应用客户端数据访问请求，根据所述数据访问请求确定目标源数据库中的目标数据和对所述目标数据的操作类型；

所述数据库代理模块，用于按照所述操作类型对所述目标数据进行操作，得到所述目标源数据库返回的操作结果；

所述数据探查模块，用于按照目标探查策略对所述操作结果进行敏感数据的探查，确定所述操作结果中的敏感数据；

所述数据脱敏模块，用于按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据；

所述数据库代理模块，用于将所述响应数据返回至所述应用客户端。

7.根据权利要求6所述的系统，其特征在于，所述数据探查模块包括预设探查策略，所述数据探查模块，用于接收目标探查策略的配置信息，根据所述目标探查策略的配置信息对所述预设探查策略进行配置，得到目标探查策略。

8.根据权利要求7所述的系统，其特征在于，所述预设探查策略包括：不同类型的源数据库的属性信息。

9.根据权利要求6所述的系统，其特征在于，

所述数据探查模块，用于按照目标探查策略对所述操作结果进行敏感数据的探查，生成探查过程中的探查日志；

所述数据探查模块，用于根据所述探查日志对所述探查过程进行审计处理，生成探查审计报告数据。

10.根据权利要求6所述的系统，其特征在于，

所述数据探查模块，用于根据预设的数据库或数据表与具有访问权限的客户端的对应关系，确定所述应用客户端是否对所述敏感数据所对应的数据库或数据表具有访问权限；

所述数据探查模块，用于若确定所述应用客户端对所述敏感数据所对应的数据库或数据表具有访问权限，则将所述敏感数据进行可视化展现；

所述数据探查模块，用于若确定所述应用客户端对所述敏感数据所对应的数据库或数据表不具有访问权限，则按照预设脱敏策略对所述操作结果中的敏感数据进行脱敏处理，得到脱敏后的响应数据。