CN114201772B - 一种存量数据脱敏方法及装置 - Google Patents

Abstract

本发明公开了一种存量数据脱敏方法及装置，所述方法包括：先获取待脱敏数据，并根据待脱敏数据的时间字段识别并获取存量数据；再根据预设调度规则，确定存量数据的清洗时段和清洗频率；最后根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理，完成存量数据的脱敏。采用本发明实施例能提高业务系统的安全性。

Description

一种存量数据脱敏方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种存量数据脱敏方法及装置。

背景技术

在任何数据交互的过程中，数据安全扮演着重要角色，因为隐私数据或敏感数据的泄露，会对数据主体的合法利益造成严重损害，所以严格控制对数据的访问、实现数据脱敏是一项非常重要的工作。数据脱敏是指对某些隐私数据通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护，常见的处理方法有：替换、重排、加密、截断、掩码、偏移等。

对于已上线的业务系统来说，业务系统的数据仓库中拥有大量的明文历史数据，即存量数据。大多数情况下，在数据迁移过程中是不允许长时间停止业务并对存量数据进行脱敏处理的。现有的动态脱敏技术仅能对增量的数据进行实时脱敏处理，若使用动态脱敏技术对存量数据进行脱敏，由于存量数据量较大，需要频繁访问存量数据库再进行脱敏操作，过程繁琐，且频繁访问容易导致业务系统的崩溃，进而导致业务系统的安全性降低。

综上所述，现有的动态脱敏技术无法在保证业务系统的安全性的基础上，实现对大量存量数据的脱敏操作。

发明内容

本发明实施例提供一种存量数据脱敏方法及装置，提高了业务系统的安全性。

本申请实施例的第一方面提供了一种存量数据脱敏方法，包括：

获取待脱敏数据，并根据待脱敏数据的时间字段识别并获取存量数据；

根据预设调度规则，确定存量数据的清洗时段和清洗频率；

根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

在第一方面的一种可能的实现方式中，获取待脱敏数据，具体为：

获取查询隐私数据请求中的待加密字段；

根据待加密字段生成结构化查询语言后，根据结构化查询语言进行拦截，并生成拦截结果；

根据拦截结果生成请求报文信息；

根据请求报文信息得到待脱敏数据。

在第一方面的一种可能的实现方式中，还包括：

根据请求报文信息，查询待脱敏数据是否存在清洗记录；若存在清洗记录、且未完成清洗操作时，从清洗记录所在位置继续进行清洗；若不存在清洗记录，则新建一条清洗记录，并开始进行清洗。

在第一方面的一种可能的实现方式中，还包括：

异步生成数据清洗状态；其中，数据清洗状态包括：清洗中、清洗完毕。

在第一方面的一种可能的实现方式中，根据待脱敏数据的时间字段识别并获取存量数据，具体为：

根据请求报文信息，查询待脱敏数据的第一规则；

根据第一规则，得到待脱敏数据的时间字段；

根据待脱敏数据的时间字段，识别待脱敏数据中的历史数据后，将历史数据作为存量数据并获取。

本申请实施例的第二方面提供了一种存量数据脱敏装置，包括：获取模块、清洗模块和脱敏模块；

其中，获取模块用于获取待脱敏数据，并根据待脱敏数据的时间字段识别并获取存量数据；

清洗模块用于根据预设调度规则，确定存量数据的清洗时段和清洗频率；

脱敏模块用于根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

在第二方面的一种可能的实现方式中，获取待脱敏数据，具体为：

获取查询隐私数据请求中的待加密字段；

根据待加密字段生成结构化查询语言后，根据结构化查询语言进行拦截，并生成拦截结果；

根据拦截结果生成请求报文信息；

根据请求报文信息得到待脱敏数据。

在第二方面的一种可能的实现方式中，还包括：

根据请求报文信息，查询待脱敏数据是否存在清洗记录；若存在清洗记录、且未完成清洗操作时，从清洗记录所在位置继续进行清洗；若不存在清洗记录，则新建一条清洗记录，并开始进行清洗。

在第二方面的一种可能的实现方式中，还包括：

异步生成数据清洗状态；其中，数据清洗状态包括：清洗中、清洗完毕。

在第二方面的一种可能的实现方式中，根据待脱敏数据的时间字段识别并获取存量数据，具体为：

根据请求报文信息，查询待脱敏数据的第一规则；

根据第一规则，得到待脱敏数据的时间字段；

根据待脱敏数据的时间字段，识别待脱敏数据中的历史数据后，将历史数据作为存量数据并获取。

相比于现有技术，本发明实施例提供的一种存量数据脱敏方法及装置，方法包括：先获取待脱敏数据，并根据待脱敏数据的时间字段识别并获取存量数据；再根据预设调度规则，确定存量数据的清洗时段和清洗频率；最后根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

其有益效果在于：本发明实施例根据预设调度规则，确定存量数据的清洗时段和清洗频率后，根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理。所以本发明实施例能够按照清洗时段、清洗频率实现对存量数据的规律性地脱敏，进而能够规律性的访问存量数据库，避免了现有技术中由于一次性脱敏大量存量数据、频繁访问存量数据库最终导致的业务系统崩溃的情况，提高了业务系统的安全性。

再者，通过调度系统生成任务清洗算法实现对存量数据的清洗、加密，大大减少了系统代码的侵入性，提高了隔离性；同时降低了技术人员改造原来业务系统的风险，从而保障存量数据能安全平滑进行迁移和清洗。

此外，清洗时段和清洗频率可根据生产环境的存量数据量和访问情况进行合理调整，有规律并平缓地执行清洗任务，避免频繁更新对生产环境造成无法预估的后果，大大提高灵活性和安全性。

最后，本发明实施例在进行存量数据的脱敏任务时，同时更新业务库表的加密字段，生成加工日志；在处理完每次任务时，更新总体的数据处理进度记录。保证数据的可溯源性，从而保证数据处理过程中的透明化。

附图说明

图1是本发明一实施例提供的一种存量数据脱敏方法的流程示意图；

图2是本发明一实施例提供的调度系统数据结构图；

图3是本发明一实施例提供的一种存量数据脱敏装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，是本发明一实施例提供的一种存量数据脱敏方法的流程示意图，包括：

S101：获取待脱敏数据，并根据待脱敏数据的时间字段识别并获取存量数据。

在本实施例中，所述获取待脱敏数据，具体为：

获取查询隐私数据请求中的待加密字段；根据所述待加密字段生成结构化查询语言后，根据所述结构化查询语言进行拦截，并生成拦截结果；根据所述拦截结果生成请求报文信息；根据所述请求报文信息得到所述待脱敏数据。

在一具体实施例中，所述查询隐私数据请求由用户发起。

在一具体实施例中，根据所述结构化查询语言进行拦截，具体为：

通过开源技术Apache ShardingSphere的SPI扩展，在解析阶段中根据结构化查询语言进行拦截。

其中，结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。Apache ShardingSphere是一套开源的分布式数据库解决方案组成的生态圈，它由JDBC、Proxy和Sidecar(规划中)这3款既能够独立部署，又支持混合部署配合使用的产品组成。SPI全称Service Provider Interface，是Java提供的一套用来被第三方实现或者扩展的接口，它可以用来启用框架扩展和替换组件。

在一具体实施例中，根据所述拦截结果生成请求报文信息，具体为：

将所述拦截结果于配置项进行对比，若所述拦截结果属于配置项中的表和字段，则形成请求报文信息。其中，所述请求信息报文包括：库、表、原字段、加密字段等。

在本实施例中，所述根据所述待脱敏数据的时间字段识别并获取存量数据，具体为：

根据所述请求报文信息，查询所述待脱敏数据的第一规则；

根据所述第一规则，得到所述待脱敏数据的时间字段；

根据所述待脱敏数据的时间字段，识别所述待脱敏数据中的历史数据后，将所述历史数据作为存量数据并获取。

S102：根据预设调度规则，确定存量数据的清洗时段和清洗频率。

S103：根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

在本实施例中，还包括：

根据所述请求报文信息，查询所述待脱敏数据是否存在清洗记录；若存在所述清洗记录、且未完成清洗操作时，从所述清洗记录所在位置继续进行清洗；若不存在所述清洗记录，则新建一条清洗记录，并开始进行清洗。

在本实施例中，还包括：

异步生成数据清洗状态；其中，所述数据清洗状态包括：清洗中、清洗完毕。

在一具体实施例中，所述进行加密处理，具体为：采用JDK自带的Fork/Join并行任务处理框架，完成加密处理并提升性能。其中，Fork/Join框架是在java 7中引入的框架，这个框架的引入主要是为了提升并行计算的能力。Fork/Join框架主要有两个步骤，第一就是Fork，将一个大任务分成很多个小任务，第二就是join，将第一个任务的结果Join框架起来，生成最后的结果。

进一步地，在进行存量数据的脱敏任务时，同时更新业务库表的加密字段，生成加工日志；在处理完每次任务时，更新总体的数据处理进度记录。其中，所述数据处理进度记录包括：完成数据量，剩余数据量等。

在一具体实施例中，存量数据的脱敏方法由调度系统执行，请参照图2，图2是本发明一实施例提供的调度系统数据结构图。由图2可得，调度系统的数据结构包括：数据库信息表t1(db_info)、数据表格信息表t2(table_info)、字段查询规则信息表t3(col_info)、任务调度规则信息表t4(job_rule)、数据清洗进度表t5(data_clean_progress)、数据清洗日志详细表t6(data_clean_log)。

调度系统可以根据请求报文信息，查询待加密字段相关的第一规则和清洗记录。先查询t3表确认待加密字段是否存在其相应的第一规则，同时判断t3表中清洗开关是否开启(t3表中包括：is_open意味着清洗开关已开启；若不包括，则意味着清洗开关未开启)。如果t3表中既有待加密字段相应的第一规则、也开启了清洗开关，则进一步查询t5表，查询待脱敏数据是否存在清洗记录；否则异步生成调度结果(即数据清洗状态)。

查询t5表时，有两种情况：

1、存在清洗记录。则进一步判断是否已完成清洗操作，若否，则从所述清洗记录所在位置继续进行清洗，并异步生成调度结果(即数据清洗状态)，调度结果为清洗中；若是，则直接生成调度结果(即数据清洗状态)，调度结果为清洗完毕。其中，t5表中的has_finished表示是否已完成清洗操作，0表示未完成，1表示已完成。

2、不存在清洗记录。则新建一条清洗记录后，开始进行清洗，且异步生成调度结果(即数据清洗状态)，调度结果为清洗中。

进一步地，调度系统查询待加密字段相关的第一规则和清洗记录后，加载第一规则和预设调度规则。其中，第一规则也即数据查询规则，用于根据待脱敏数据的时间字段(对应t3中的开始时间begin_time和结束时间end_time)来查询待脱敏数据中的所有历史数据(如果没有时间字段原则上需要往原表增加时间字段，以区分增量数据和存量数据)。预设调度规则用于确定存量数据的清洗时段和清洗频率，预设调度规则包括：枚举值、数据量区间、任务阈值、调度规则描述、cron表达式(定时调度算法)等。最终结合数据查询规则(即第一规则)和预设调度规则，形成定时任务清洗算法。比如：存量数据量为10万，根据预设调度规则，数据量属于10001-100000的数据量区间内，读取其cron表达式，通过开源调度技术quartz生成定时任务清洗算法(比如：在上线当天起10天内，每天凌晨0到5点，每半小时清洗一次，一共清洗10次，每次1000条)。

其中，cron表达式是由若干数字、空格、符号按一定的规则组成的一组字符串，用于表达时间的信息。

进一步地，根据定时任务清洗算法，读取cron表达式，动态启动和生成清洗/调度任务后，定时执行每个清洗/调度任务(任务内容包含查询数据、加工数据等操作)。其中，采用java开源项目quartz,可以对调度任务进行有效管理，这里要注意quartz框架支持分布式调用，为解决重复调度问题，需要在配置文件里配置org.quartz.jobStore.acqui reTriggersWithi nLock＝true。

其中，quartz是一个功能丰富的开源的任务调用系统，它可以创建简单或者复杂的几十、几百、甚至成千上万的任务。

进一步地，根据每次清洗任务的阈值对待脱敏数据进行加密，具体为：用JDK自带的Fork/Join并行任务处理框架，完成加密处理并提升性能。在进行存量数据的脱敏任务时，同时更新业务库表的加密字段，生成加工日志；在处理完每次任务时，更新总体的数据处理进度记录。其中，所述数据处理进度记录包括：完成数据量，剩余数据量等。

为了进一步说明存量数据脱敏方法及装置，请参照图3，图3是本发明一实施例提供的一种存量数据脱敏方法及装置的结构示意图，包括：获取模块301、清洗模块302和脱敏模块303；

其中，所述获取模块301用于获取待脱敏数据，并根据所述待脱敏数据的时间字段识别并获取存量数据；

所述清洗模块302用于根据预设调度规则，确定所述存量数据的清洗时段和清洗频率；

所述脱敏模块303用于根据所述清洗时段和所述清洗频率对所述存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

在本实施例中，所述获取待脱敏数据，具体为：

获取查询隐私数据请求中的待加密字段；

根据所述待加密字段生成结构化查询语言后，根据所述结构化查询语言进行拦截，并生成拦截结果；

根据所述拦截结果生成请求报文信息；

根据所述请求报文信息得到所述待脱敏数据。

在本实施例中，还包括：

根据所述请求报文信息，查询所述待脱敏数据是否存在清洗记录；若存在所述清洗记录、且未完成清洗操作时，从所述清洗记录所在位置继续进行清洗；若不存在所述清洗记录，则新建一条清洗记录，并开始进行清洗。

在本实施例中，还包括：

异步生成数据清洗状态；其中，所述数据清洗状态包括：清洗中、清洗完毕。

在本实施例中，所述根据所述待脱敏数据的时间字段识别并获取存量数据，具体为：

根据所述请求报文信息，查询所述待脱敏数据的第一规则；

根据所述第一规则，得到所述待脱敏数据的时间字段；

根据所述待脱敏数据的时间字段，识别所述待脱敏数据中的历史数据后，将所述历史数据作为存量数据并获取。

本发明实施例先通过获取模块301获取待脱敏数据，并根据待脱敏数据的时间字段识别并获取存量数据；再通过清洗模块302根据预设调度规则，确定存量数据的清洗时段和清洗频率；最后通过脱敏模块303根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

本发明实施例根据预设调度规则，确定存量数据的清洗时段和清洗频率后，根据清洗时段和清洗频率对存量数据进行清洗后进行加密处理。所以本发明实施例能够按照清洗时段、清洗频率实现对存量数据的规律性地脱敏，进而能够规律性的访问存量数据库，避免了现有技术中由于一次性脱敏大量存量数据、频繁访问存量数据库最终导致的业务系统崩溃的情况，提高了业务系统的安全性。

再者，通过调度系统生成任务清洗算法实现对存量数据的清洗、加密，大大减少了系统代码的侵入性，提高了隔离性；同时降低了技术人员改造原来业务系统的风险，从而保障存量数据能安全平滑进行迁移和清洗。

此外，清洗时段和清洗频率可根据生产环境的存量数据量和访问情况进行合理调整，有规律并平缓地执行清洗任务，避免频繁更新对生产环境造成无法预估的后果，大大提高灵活性和安全性。

最后，本发明实施例在进行存量数据的脱敏任务时，同时更新业务库表的加密字段，生成加工日志；在处理完每次任务时，更新总体的数据处理进度记录。保证数据的可溯源性，从而保证数据处理过程中的透明化。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种存量数据脱敏方法，其特征在于，包括：

获取待脱敏数据，并根据所述待脱敏数据的时间字段识别并获取存量数据；其中，所述获取待脱敏数据，具体为：获取查询隐私数据请求中的待加密字段；根据所述待加密字段生成结构化查询语言后，根据所述结构化查询语言进行拦截，并生成拦截结果；根据所述拦截结果生成请求报文信息；根据所述请求报文信息得到所述待脱敏数据；

所述根据所述待脱敏数据的时间字段识别并获取存量数据，具体为：根据所述请求报文信息，查询所述待脱敏数据的第一规则；根据所述第一规则，得到所述待脱敏数据的时间字段；根据所述待脱敏数据的时间字段，识别所述待脱敏数据中的历史数据后，将所述历史数据作为存量数据并获取；

根据预设调度规则，确定所述存量数据的清洗时段和清洗频率；

根据所述清洗时段和所述清洗频率对所述存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

2.根据权利要求1所述的一种存量数据脱敏方法，其特征在于，还包括：

根据所述请求报文信息，查询所述待脱敏数据是否存在清洗记录；若存在所述清洗记录、且未完成清洗操作时，从所述清洗记录所在位置继续进行清洗；若不存在所述清洗记录，则新建一条清洗记录，并开始进行清洗。

3.根据权利要求2所述的一种存量数据脱敏方法，其特征在于，还包括：

异步生成数据清洗状态；其中，所述数据清洗状态包括：清洗中、清洗完毕。

4.一种存量数据脱敏装置，其特征在于，包括：获取模块、清洗模块和脱敏模块；

其中，所述获取模块用于获取待脱敏数据，并根据所述待脱敏数据的时间字段识别并获取存量数据；其中，所述获取待脱敏数据，具体为：获取查询隐私数据请求中的待加密字段；根据所述待加密字段生成结构化查询语言后，根据所述结构化查询语言进行拦截，并生成拦截结果；根据所述拦截结果生成请求报文信息；根据所述请求报文信息得到所述待脱敏数据；

所述根据所述待脱敏数据的时间字段识别并获取存量数据，具体为：根据所述请求报文信息，查询所述待脱敏数据的第一规则；根据所述第一规则，得到所述待脱敏数据的时间字段；根据所述待脱敏数据的时间字段，识别所述待脱敏数据中的历史数据后，将所述历史数据作为存量数据并获取；

所述清洗模块用于根据预设调度规则，确定所述存量数据的清洗时段和清洗频率；

所述脱敏模块用于根据所述清洗时段和所述清洗频率对所述存量数据进行清洗后进行加密处理，完成存量数据的脱敏。

5.根据权利要求4所述的一种存量数据脱敏装置，其特征在于，还包括：

根据所述请求报文信息，查询所述待脱敏数据是否存在清洗记录；若存在所述清洗记录、且未完成清洗操作时，从所述清洗记录所在位置继续进行清洗；若不存在所述清洗记录，则新建一条清洗记录，并开始进行清洗。

6.根据权利要求5所述的一种存量数据脱敏装置，其特征在于，还包括：

异步生成数据清洗状态；其中，所述数据清洗状态包括：清洗中、清洗完毕。

Images