CN111639081A - 敏感数据采集方法、装置及数据处理设备 - Google Patents

Abstract

本发明实施例提供的敏感数据采集方法、装置及数据处理设备，涉及数据库数据采集领域，所述方法包括：将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中；子集合中包括至少两个数据库表；异步子任务对子集合中的敏感数据进行采集，获得采集结果；待所有异步子任务采集完对应的子集合中的数据库表后，主线程汇聚异步子任务的采集结果，输出敏感数据信息。通过将数据库表均匀划分为多个子集合，再通过不同的异步子任务同时对子集合中的数据进行采集，减少了SQL语句执行时间，提升了数据库查询性能。

Description

敏感数据采集方法、装置及数据处理设备

技术领域

本发明涉及数据库数据采集领域，具体而言，涉及一种敏感数据采集方法、装置及数据处理设备。

背景技术

通常发现数据库中的敏感数据包括如下步骤：先对敏感数据进行分类分级，定义敏感数据规则，配置敏感数据的发现规则及发现策略，然后通过程序连接目标数据库，按序采集每张表一定数量的随机数据，再根据策略库对采集到的数据进行规则模式匹配，分析敏感数据信息，最终形成敏感数据视图。上述实现了数据库的敏感数据查询，但是在性能上存在诸多缺点：数据库随机查询性能很差，在数据量较多的情况下，往往sql执行时间会很久；很多生产数据库表数量非常巨大，几万甚至几十万张表，按序采集和规则模式匹配性能较差，花费时间较长；生产数据库中会存在大量按年、月、日区分的表，表结构内容和数据模式一样，重复采集这些相同结构数据消耗大量资源。

发明内容

有鉴于此，本发明的目的在于提供一种敏感数据采集方法、装置及数据处理设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种敏感数据采集方法，应用于一数据处理设备，所述数据处理设备执行的主线程下包括至少两个异步子任务；所述方法包括：

将全部数据库表均匀划分为至少两个子集合，并将所述子集合发送到各个所述异步子任务中；所述子集合中包括至少两个所述数据库表；

所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果；

待所有所述异步子任务采集完对应的子集合中的所述数据库表后，所述主线程汇聚所述异步子任务的采集结果，输出敏感数据信息。

在可选的实施方式中，所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果的步骤，包括：

所述异步子任务对所述子集合中的数据库表的表名称、表结构进行采集；

判断表结构临时库中是否存在所述表结构对应的数据库表；所述表结构临时库用于临时存储被采集的所述数据库表；

若否，则将所述数据库表存入所述表结构临时库，并采集所述数据库表的表数据，获得采集结果；若是，则对所述子集合中的下一个数据库表进行所述表名称及所述表结构的采集。

在可选的实施方式中，采集所述数据库表的表数据，获得采集结果的步骤，包括：

从所述数据库表中随机抽取第一预定数量的表数据作为所述采集结果。

在可选的实施方式中，将数据库表均匀划分为至少两个子集合的步骤，包括：

获取数据库表的总数量和异步子任务的第一数量；

将所述数据库表均匀拆分成所述第一数量个所述子集合。

在可选的实施方式中，所述数据处理设备与目标数据库采用第二预定数量的数据源连接；所述目标数据库用于存储数据库表。

第二方面，本发明实施例提供一种敏感数据采集装置，应用于一数据处理设备，所述数据处理设备执行的主线程下包括至少两个异步子任务；所述敏感数据采集装置包括：

处理模块，用于将全部数据库表均匀划分为至少两个子集合，并将所述子集合发送到各个所述异步子任务中；所述子集合中包括至少两个所述数据库表；

以及还用于执行所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果；

以及还用于待所有所述异步子任务采集完对应的子集合中的所述数据库表后，执行所述主线程汇聚所述异步子任务的采集结果，输出敏感数据信息。

在可选的实施方式中，所述敏感数据采集装置还包括：判断模块；

所述处理模块，还用于执行所述异步子任务对所述子集合中的数据库表的表名称、表结构进行采集；

所述判断模块，用于判断表结构临时库中是否存在所述表结构对应的数据库表；所述表结构临时库用于临时存储被采集的所述数据库表；

若否，则将所述数据库表存入所述表结构临时库，并采集所述数据库表的表数据，获得采集结果；若是，则对所述子集合中的下一个数据库表进行所述表名称及所述表结构的采集。

在可选的实施方式中，所述处理模块，还用于从所述数据库表中随机抽取第一预定数量的表数据作为所述采集结果。

在可选的实施方式中，所述处理模块将数据库表均匀划分为至少两个子集合的方式，包括：

获取数据库表的总数量和异步子任务的第一数量；

将所述数据库表均匀拆分成所述第一数量个所述子集合。

第三方面，本发明实施例提供一种数据处理设备，其包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述的敏感数据采集方法。

本发明实施例提供的敏感数据采集方法、装置及数据处理设备，所述方法包括：将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中；子集合中包括至少两个数据库表；异步子任务对子集合中的敏感数据进行采集，获得采集结果；待所有异步子任务采集完对应的子集合中的数据库表后，主线程汇聚异步子任务的采集结果，输出敏感数据信息。通过将数据库表均匀划分为多个子集合，再通过不同的异步子任务同时对子集合中的数据进行采集，减少了SQL语句执行时间，提升了数据库查询性能。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种敏感数据采集方法的流程示意图。

图2示出了本发明实施例提供的另一种敏感数据采集方法的流程示意图。

图3示出了本发明实施例提供的一种敏感数据采集的功能模块图。

图4示出了本发明实施例提供的一种数据处理设备的功能模块图。

图标：100-敏感数据采集装置；110-处理模块；120-判断模块；200-数据处理设备；210-存储器；220-处理器；230-通信模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

现有的数据库的敏感数据查询方法，在性能上存在诸多缺点：

一、连接数据库查询数据，会对目标数据库建立频繁的连接，影响生产数据库的性能。

二、数据库随机查询性能很差，在数据量较多的情况下，往往SQL执行时间会很久。

三、很多生产数据库表数量非常巨大，几万甚至几十万张表，按序采集和规则模式匹配性能较差，花费时间较长。

四、生产数据库中会存在大量按年、月、日区分的表，表结构内容和数据模式一样，重复采集这些相同结构数据消耗大量资源。

为克服上述上述缺点，本发明实施例提出一种敏感数据采集方法。

请参照图1，为本发明实施例提供的一种敏感数据采集方法的流程示意图。

步骤101，将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中。

步骤102，异步子任务对子集合中的敏感数据进行采集，获得采集结果。

步骤103，待所有异步子任务采集完对应的子集合中的数据库表后，主线程汇聚所述异步子任务的采集结果，输出敏感数据信息。

在本实施例中，通过数据处理设备执行主线程来完成的数据库的敏感数据采集，主线程下包括多个异步子任务；首先将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中，每个子集合中包括多个数据库表；然后异步子任务对子集合中的敏感数据进行采集，获得采集结果；最后，待所有异步子任务采集完对应的子集合中的所述数据库表后，主线程汇聚异步子任务的采集结果，输出敏感数据信息。通过将数据库表均匀划分为多个子集合，再通过不同的异步子任务同时对子集合中的数据进行采集，减少了SQL语句执行时间，提升了数据库查询性能。

请参照图2，为本发明实施例提供的另一种敏感数据采集方法的流程示意图。

需要说明的是，本实施例所提供的敏感数据采集方法，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

需要说明的是，现有技术中目标数据库一般为生产数据库，为避免在采集敏感数据时对生产数据库造成影响，一般访问生产数据库时，就新创建一个连接，用完后就关闭该连接，这样会极大的减低系统的性能；因此，本发明采用资源池模式，在数据处理设备的系统内存中与目标数据库维护一定数量的连接，并对外暴露目标数据库连接获取方法和返回方法，采用固定数量的数据源连接，避免了频繁创建、释放连接引起的大量性能开销。

步骤101，将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中。

传统的敏感数据采集直接从目标数据库随机采集数据，这样会引起全库扫描，在数据量较大的情况下非常明显，尤其当目标数据库中存在大量表名称不一样但是表结构一样的数据表时，例如按年月日区分的日志表，统一采集和模式匹配效率极低。因此，本发明采用将全部数据库表均匀划分为多个子集合，从每个子集合中随机抽取数据的方式，以提高数据采集的速度。

主线程首先连接目标数据库，统计目标数据库内数据库表的总数量，根据该总数量和预先定义好的异步子任务数量，将全部数据库表均匀划分为多个子集合。

将全部数据库表均匀划分为多个子集合的方式为：获取数据库表的总数量和异步子任务的第一数量，如数据库表的总数为500000，异步子任务的数量为50，异步子任务的数量取决于需要抽样的数据量，按每个子集合10000条数据量进行划分，可分成50个子集合，然后将每个子集合发送到各个异步子任务中。

步骤102，异步子任务对子集合中的敏感数据进行采集，获得采集结果。

需要说明的是，各个异步子任务对子集合中的敏感数据的采集为同时进行的。

需要说明的是，步骤102包括三个子步骤，本步骤中未提及之处将在其子步骤中进行详细的阐述。

步骤102-1，异步子任务对子集合中的数据库表的表名称、表结构进行采集。

异步子任务领取各自子集合，针对子集合中的表名称、表结构进行采集，每采集完成一张数据库表后，存入各异步子任务共享的表结构临时库中；表结构临时库用于临时存储被采集的所述数据库表。

步骤102-2，判断表结构临时库中是否存在表结构对应的数据库表。

若是，则执行步骤步骤102-1；若否，则执行步骤步骤102-3。

若表结构临时库中已经存在表结构对应的数据库表，则不再进行该数据库表的表数据采集，并对子集合中的下一个数据库表进行表名称及表结构的采集。

步骤102-3，将数据库表存入表结构临时库，并采集数据库表的表数据，获得采集结果。

本实施例中，按照数据库表的总数为500000，50个子集合，每个子集合10000条表数据进行说明。从每个子集合中随机抽取第一预定数量的表数据作为采集结果，第一预定数量可以是但不限于1条、2条。

步骤103，待所有异步子任务采集完对应的子集合中的数据库表后，主线程汇聚异步子任务的采集结果，输出敏感数据信息。

主线程汇聚所有异步子任务的采集结果，统一输出敏感数据信息。

综上所述，本发明实施例提供的敏感数据采集方法、装置及数据处理设备，所述方法包括：将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中；子集合中包括至少两个数据库表；异步子任务对子集合中的敏感数据进行采集，获得采集结果；待所有异步子任务采集完对应的子集合中的数据库表后，主线程汇聚异步子任务的采集结果，输出敏感数据信息。通过采用资源池模式，与目标数据库建立固定数量的数据源连接，避免了频繁创建、释放连接引起的大量性能开销；通过表结构进行数据采集，避免了对表名称不一样但表结构一样的数据库表的重复采集，提高了敏感数据的采集效率，同时也避免了资源浪费；通过将数据库表均匀划分为多个子集合，再通过不同的异步子任务同时对子集合中的数据进行采集，减少了SQL语句执行时间，提升了数据库查询性能。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种敏感数据采集装置的实现方式。进一步地，请参阅图3，图3为本发明实施例提供的一种敏感数据采集装置的功能模块图。需要说明的是，本实施例所提供的敏感数据采集装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该敏感数据采集装置100包括：处理模块110及判断模块120。

可以理解的，在一种实施例中，通过处理模块110执行步骤101、步骤102-1、步骤102-3及步骤103。

可以理解的，在一种实施例中，通过判断模块120执行步骤步骤102-2。

请参阅图4，图4为本发明实施例提供的一种数据处理设备的功能模块图。

所述数据处理设备200包括存储器210、处理器220及通信模块230。所述存储器210、处理器220以及通信模块230各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

其中，存储器用于存储程序或者数据。所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。

处理器用于读/写存储器中存储的数据或程序，并执行相应地功能。

通信模块用于通过所述网络建立所述智能终端与其它通信终端之间的通信连接，并用于通过所述网络收发数据。

应当理解的是，图4所示的结构仅为数据处理设备的结构示意图，所述数据处理设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种敏感数据采集方法，应用于一数据处理设备，其特征在于，所述数据处理设备执行的主线程下包括至少两个异步子任务；所述方法包括：

将全部数据库表均匀划分为至少两个子集合，并将所述子集合发送到各个所述异步子任务中；所述子集合中包括至少两个所述数据库表；

所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果；

待所有所述异步子任务采集完对应的子集合中的所述数据库表后，所述主线程汇聚所述异步子任务的采集结果，输出敏感数据信息。

2.根据权利要求1所述的方法，其特征在于，所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果的步骤，包括：

所述异步子任务对所述子集合中的数据库表的表名称、表结构进行采集；

判断表结构临时库中是否存在所述表结构对应的数据库表；所述表结构临时库用于临时存储被采集的所述数据库表；

若否，则将所述数据库表存入所述表结构临时库，并采集所述数据库表的表数据，获得采集结果；若是，则对所述子集合中的下一个数据库表进行所述表名称及所述表结构的采集。

3.根据权利要求2所述的方法，其特征在于，采集所述数据库表的表数据，获得采集结果的步骤，包括：

从所述数据库表中随机抽取第一预定数量的表数据作为所述采集结果。

4.根据权利要求1所述的方法，其特征在于，将数据库表均匀划分为至少两个子集合的步骤，包括：

获取数据库表的总数量和异步子任务的第一数量；

将所述数据库表均匀拆分成所述第一数量个所述子集合。

5.根据权利要求1所述的方法，其特征在于，

所述数据处理设备与目标数据库采用第二预定数量的数据源连接；所述目标数据库用于存储数据库表。

6.一种敏感数据采集装置，应用于一数据处理设备，其特征在于，所述数据处理设备执行的主线程下包括至少两个异步子任务；所述敏感数据采集装置包括：

处理模块，用于将全部数据库表均匀划分为至少两个子集合，并将所述子集合发送到各个所述异步子任务中；所述子集合中包括至少两个所述数据库表；

以及还用于执行所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果；

以及还用于待所有所述异步子任务采集完对应的子集合中的所述数据库表后，执行所述主线程汇聚所述异步子任务的采集结果，输出敏感数据信息。

7.根据权利要求6所述的装置，其特征在于，还包括判断模块；

所述处理模块，还用于执行所述异步子任务对所述子集合中的数据库表的表名称、表结构进行采集；

所述判断模块，用于判断表结构临时库中是否存在所述表结构对应的数据库表；所述表结构临时库用于临时存储被采集的所述数据库表；

若否，则将所述数据库表存入所述表结构临时库，并采集所述数据库表的表数据，获得采集结果；若是，则对所述子集合中的下一个数据库表进行所述表名称及所述表结构的采集。

8.根据权利要求7所述的装置，其特征在于，

所述处理模块，还用于从所述数据库表中随机抽取第一预定数量的表数据作为所述采集结果。

9.根据权利要求6所述的装置，其特征在于，所述处理模块将数据库表均匀划分为至少两个子集合的方式，包括：

获取数据库表的总数量和异步子任务的第一数量；

将所述数据库表均匀拆分成所述第一数量个所述子集合。

10.一种数据处理设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-5任一所述的敏感数据采集方法。

Images