CN107832464B - 一种数据漂白方法及装置 - Google Patents

Abstract

本发明公开了一种数据漂白方法及装置，该方法包括：获取源数据，将所述源数据按照分布式存储方式进行存储；将存储后的源数据进行分块漂白处理，得到漂白后的数据；生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。通过本发明实现了提高数据漂白效率和方便对漂白后的数据进行统计分析的目的。

Description

一种数据漂白方法及装置

技术领域

本发明涉及数据处理领域，特别是涉及一种数据漂白方法及装置。

背景技术

随着信息技术的发展，信息数据量越来越大，人们可以通过多种渠道访问到海量数据信息。通常的数据中包含了各种信息，这些信息有些并不是用户想要得到的，或者有些信息包含着敏感信息，因此需要对数据进行漂白，然后才能更好地利用数据信息。

现有的数据漂白系统通常是将待漂白的数据存放至中间处理平台环境中，然后按漂白需求编写漂白脚本，在中间平台环境上运行该漂白脚本，对待漂白数据进行漂白生成漂白后的数据，最后将漂白后的数据导入另一个环境中进行统计分析，得到统计分析报告。但是，现有的数据漂白脚本主要是对数据进行逐条漂白，这样会降低大数据的漂白效率，并且对漂白后的数据直接导入到另一系统或环境中进行分析，没有通用的数据加工过程，使得数据统计过程复杂并且效率低。

发明内容

针对于上述问题，本发明提供一种数据漂白方法及装置，实现了提高数据漂白效率和方便对漂白后的数据进行统计分析的目的。

为了实现上述目的，根据本发明的第一方面，提供了一种数据漂白方法，包括：

获取源数据，将所述源数据按照分布式存储方式进行存储；

将存储后的源数据进行分块漂白处理，得到漂白后的数据；

生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；

根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

优选地，所述将所述存储后的源数据进行分块漂白处理，得到漂白后的数据，包括：

将所述存储后的源数据进行分块处理，得到若干个数据块；

对所述若干个数据块同时进行漂白处理，得到漂白后的数据。

优选地，在生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库之前，该方法包括：

统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量，如果是，则生成所述漂白后的数据索引。

优选地，所述生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库，包括：

根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

优选地，还包括：

创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

根据本发明的第二方面，提供了一种数据漂白装置，包括：

获取模块，用于获取源数据，将所述源数据按照分布式存储方式进行存储；

漂白模块，用于将存储后的源数据进行分块漂白处理，得到漂白后的数据；

存储模块，用于生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；

提取模块，用于根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

优选地，所述漂白模块包括：

分块单元，用于将所述存储后的源数据进行分块处理，得到若干个数据块；

处理单元，用于对所述若干个数据块同时进行漂白处理，得到漂白后的数据。

优选地，还包括：

判断模块，用于统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量，如果是，则生成所述漂白后的数据索引。

优选地，所述存储模块包括：

创建单元，用于根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

存储单元，用于按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

优选地，还包括：

加密模块，用于创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

相较于现有技术，本发明将获取的源数据采用分布式存储方式进行存储，这样在对源数据进行读取存储时，可以将大量的源数据进行分块后同时进行漂白处理，提高了数据漂白的效率，并且对漂白后的数据进行了按索引的分布式存储，实现了对漂白后的数据访问或者统计时的按索引获取的目的，进而解决了现有技术中的逐条对漂白后的数据进行统计的复杂性，提高了数据统计的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一提供的一种数据漂白方法的流程示意图；

图2为本发明实施例二提供的一种数据漂白装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

实施例一

参见图1为本发明实施例一提供的一种数据漂白方法，包括：

S11、获取源数据，将所述源数据按照分布式存储方式进行存储；

由于源数据具有多种类型，并且每种类型的数据基于的传输协议是不同的，所以在本发明实施例获取源数据时，需要预先这只支持多种数据传输模式的数据统一接口，这样可以获得各种类型的源数据，可以对不同的数据类型进行处理。同时支持加密的源数据传输，也就是在本发明中可以设置对应的解密方式，如果源数据是加密模式的数据，可以对该源数据进行解密。

由于现有技术中对源数据存储后就直接存储到了单一的存储节点上，这样在对源数据进行访问时，只能通过该存储节点进行访问，如果数据量较为庞大会使得访问速度大大降低。在本发明中采用了分布式存储方式，即当获取到源数据后，就会被复制分发到不同的存储节点中。在后续对源数据进行访问的时候，可以实现一次写入，多次读取的高效模式。

S12、将存储后的源数据进行分块漂白处理，得到漂白后的数据；

具体的包括：

将所述存储后的源数据进行分块处理，得到若干个数据块；

对所述若干个数据块同时进行漂白处理，得到漂白后的数据。

需要说明的是，在数据漂白之前，需要对源数据进行访问，而对应采用的是流式数据访问形式，流式数据访问形式区别于传统将要访问的源数据进行一次性获取的方式，而是一部分一部进行处理的，也就是把海量数据分成大量的块同时处理，因为如果全部收到数据以后再处理，那么延迟会很大，而且在很多应用场景中会消耗大量内存，降低了处理速度。

漂白处理可以理解为对数据的过滤处理。例如，在金融系统中，当用户访问数据时，首先要将源数据中携带的敏感信息处理掉，才能保证数据的安全性。除此以外，还可以根据具体的应用场景设置数据漂白处理规则，对数据进行漂白。

S13、生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；

在执行该步骤S13之前，还可以包括：

统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量，如果是，则生成所述漂白后的数据索引。

需要说明的是，通常数据会以数据表的形式存在，在现有技术中获取数据通常是逐条进行获取的，这样会造成数据获取速度较慢。因此在本发明中设计了数据索引，但是由于数据量庞大，对于某些数据是不适合生成数据索引的。例如，漂白后的数据包括了多个类别，而这些类别超出了预设的数量，再建立索引也无法较明显地提高数据访问效率时，则不对该漂白后的数据生成索引。假设预设数量为50，如果初步统计得到的漂白后的数据的类别数量远远超过50，则不再对漂白后的数据创建索引。

当漂白后的数据满足创建数据索引规则时，对漂白后的数据创建索引并进行存储，具体可以为：

根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

需要说明的是，在数据漂白处理的同时生成该索引，也就是在对源数据进行漂白的同时，可以根据漂白数据的类别对漂白后的数据进行存储。由于该索引中保存了数据类别和漂白后的数据内容之间的对应关系，便于后续数据的访问。举例说明，当数据为数据表的呈现方式时，可以通过创建数据透视表的对漂白后的数据进行加工。

将漂白后的数据仍然采用分布式存储方式进行存储，即漂白后的数据会被复制分发到不同的存储节点中。在后续对源数据进行访问的时候，可以实现一次写入，多次读取的高效模式。

S14、根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

用户对漂白后的数据进行访问，主要是为了对该漂白后的数据进行统计处理，当然也可能为展示或者其他需求。在本发明实施例中以统计为例进行说明。由于对数据进行统计往往是基于同一类别的数据才能具有统计意义，在传统的方法中，对漂白后的数据进行统计时，需要逐条获取漂白后的数据，然后根据统计规则再次获得具有统计意义的数据。而在本发明的实施例中可以直接定位到索引，依据索引提取同类别的漂白后的数据，这样可以提高数据获取效率。同样，当对漂白后的数据进行展示时，可以依据该索引进行数据的快速加载和展示。

为了保证数据的安全性，该方法还包括：

创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

可以理解的是，在对漂白后的数据进行传输时，具备数据加密传输功能。此外，还可以支持多种传输模式，和多种数据传输的时间设置，比如在每个固定的时间进行数据传输，或者一次性的数据输出。

通过本发明实施例一公开的技术方案，由于对源数据和漂白后的数据都采用了分布时存储方式，便于后续对数据的查询、访问和分析。在数据漂白处理过程中通过分块处理方式，将海量数据分成大量的数据库同时处理，改变了现有的顺序处理模式，实现了数据的并行处理，提高了数据漂白的效率。并且在数据漂白过程中同步生成漂白后的数据索引，后续对漂白后的数据进行统计或者展示时，可以定位到该索引然后获取漂白后的数据，不仅方便对漂白后的数据进行统计分析，也提高了数据统计或者展示的效率。

实施例二

参照本发明实施例一和图1中所描述的S11到S14步骤的具体过程，本发明实施例二还提供了一种数据漂白装置，包括：

获取模块1，用于获取源数据，将所述源数据按照分布式存储方式进行存储；

漂白模块2，用于将存储后的源数据进行分块漂白处理，得到漂白后的数据；

存储模块3，用于生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库；

提取模块4，用于根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

具体的，所述漂白模块包括：

分块单元，用于将所述存储后的源数据进行分块处理，得到若干个数据块；

处理单元，用于对所述若干个数据块同时进行漂白处理，得到漂白后的数据。

相应的，该装置还包括：

判断模块，用于统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量，如果是，则生成所述漂白后的数据索引。

具体的，所述存储模块包括：

创建单元，用于根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

存储单元，用于按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

对应的，该装置还包括：

加密模块，用于创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

在本发明的实施例二中，将获取的源数据采用分布式存储方式进行存储，这样在对源数据进行读取存储时，可以将大量的源数据进行分块后同时进行漂白处理，提高了数据漂白的效率，并且对漂白后的数据进行了按索引的分布式存储，实现了对漂白后的数据访问或者统计时的按索引获取的目的，进而解决了现有技术中的逐条对漂白后的数据进行统计的复杂性，提高了数据统计的效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种数据漂白方法，其特征在于，包括：

获取源数据，将所述源数据按照分布式存储方式进行存储；

采用流式数据访问形式对所述源数据进行访问；

将存储后的源数据进行分块漂白处理，得到漂白后的数据，包括：将所述存储后的源数据进行分块处理，得到若干个数据块；对所述若干个数据块同时进行漂白处理，得到漂白后的数据；

统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量；

当所述源数据的类别数据量是满足预设的数量时，则生成所述漂白后的数据索引，并按照所述索引将所述漂白后的数据存储至数据库；

根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

2.根据权利要求1所述的方法，其特征在于，所述生成所述漂白后的数据索引，按照所述索引将所述漂白后的数据存储至数据库，包括：

根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

3.根据权利要求1所述的方法，其特征在于，还包括：

创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

4.一种数据漂白装置，其特征在于，包括：

获取模块，用于获取源数据，将所述源数据按照分布式存储方式进行存储；

所述装置，用于采用流式数据访问形式对所述源数据进行访问；

漂白模块，用于将存储后的源数据进行分块漂白处理，得到漂白后的数据；

所述漂白模块还包括：分块单元与处理单元；

所述分块单元，用于将所述存储后的源数据进行分块处理，得到若干个数据块；

所述处理单元，用于对所述若干个数据块同时进行漂白处理，得到漂白后的数据；

判断模块，用于统计所述源数据的类别信息，判断所述源数据的类别数据量是否满足预设的数量；

存储模块，用于当所述源数据的类别数据量是满足预设的数量时，则生成所述漂白后的数据索引，并按照所述索引将所述漂白后的数据存储至数据库；

提取模块，用于根据待统计数据的类别，查找所述类别对应的索引，根据所述索引提取所述数据库中的漂白后的数据，并对提取的漂白后的数据进行统计。

5.根据权利要求4所述的装置，其特征在于，所述存储模块包括：

创建单元，用于根据所述源数据的类别，生成所述类别与漂白后的数据的对应关系，将所述对应关系建立为索引；

存储单元，用于按照所述索引中的类别信息，将所述漂白后的数据采用分布式存储方式存储至数据库。

6.根据权利要求4所述的装置，其特征在于，还包括：

加密模块，用于创建数据加密模式，并依据所述数据加密模式对所述漂白后的数据进行加密处理。

Images